colab_notebook.ipynb

{
  "cells": [
    {
      "attachments": {},
      "cell_type": "markdown",
      "metadata": {
        "id": "f8NgMnd42sOt"
      },
      "source": [
        "<div dir=\"rtl\">\n",
        "  <center>\n",
        "    <img src=\"https://user-images.githubusercontent.com/7662492/229289746-89c5a4c7-afa6-4d46-a0e6-63dfdeb98285.jpg\" width=\"250px\"/>\n",
        "\n",
        "  <h1>تفريغ - الكتب المُيسّرة</h1>\n",
        "  </center>\n",
        "\n",
        "  <p>مرحبًا بك في تفريغ لتفريغ المواد الصوتية والمرئية باستخدام تقنيات الذكاء الاصطناعي. لاستخدام تفريغ:</p>\n",
        "\n",
        "  <ol>\n",
        "    <li>قم بإدخال روابط المواد المطلوب تحويلها من منصة YouTube في حقل \"urls\" وتأكد من فصلها بمسافة، أو قم بترك الحقل فارغًا لتفريغ المواد التي قمت برفعها</li>\n",
        "    <li>(اختياري) قم بتحديد أقل عدد من الكلمات في كل جزء من أجزاء التفريغ. يؤثر هذا في طول الأجزاء التي سيتم تفريغها</li>\n",
        "    <li>\n",
        "      إذا كنت تريد استخدام مجموعة نماذج Whisper:\n",
        "      <ul>\n",
        "        <li>قم باختيار النموذج المُراد استخدامه في حقل \"model\"</li>\n",
        "        <li>قم باختيار لغة المادة في حقل \"language\"</li>\n",
        "      </ul>\n",
        "    </li>\n",
        "    <li>\n",
        "      إذا كنت تريد استخدام تقنية wit.ai:\n",
        "      <ul>\n",
        "        <li>قم بوضع مفتاح wit.ai الخاص بك في حقل \"wit_api_key\"</li>\n",
        "        <li>(اختياري) قم بتحديد أقصى مدة للتقطيع والتي ستؤثر على طول الجمل في ملف المخرجات</li>\n",
        "      </ul>\n",
        "    </li>\n",
        "    <li>قم بتشغيل الخلية في الأسفل من خلال الضغط على الدائرة المحتوية على السهم</li>\n",
        "  </ol>\n",
        "\n",
        "  <p>يمكنك تجربة التفريغ باستخدام نماذج Whisper وتقنية wit.ai واستخدام التفريغ الأفضل لحالتك. كملاحظة عامة، نماذج Whisper تقوم بتفريغ الهمزات والتشكيلات وعلامات الترقيم بشكل أفضل من wit.ai، لكن wit.ai يُنتج أخطاء إملائية أقل.</p>\n",
        "\n",
        "  <p>عندما ينتهي التحويل سيتم تنزيل الملفات النصية بشكل تلقائي بصيغة <code>txt</code> و <code>srt</code> وسيكون اسم الملف هو مُعرّف المادة على منصة YouTube الذي يكون في آخر رابط المادة: https://youtu.be/<strong>4h5P7jXvW98</strong>.</p>\n",
        "\n",
        "  <hr>\n",
        "\n",
        "  <p>يمكنك متابعة مشروع <strong>الكتب المُيسّرة</strong> والتواصل معنا من خلال:</p>\n",
        "\n",
        "  <ul>\n",
        "    <li><a href=\"https://t.me/ieasybooks\">قناتنا على تيليجرام</a></li>\n",
        "    <li><a href=\"https://www.youtube.com/@ieasybooks\">قناتنا على يوتيوب</a></li>\n",
        "    <li><a href=\"https://twitter.com/iieasybooks\">حسابنا على تويتر</a></li>\n",
        "    <li><a href=\"https://www.facebook.com/ieasybooks\">صفحتنا على فيسبوك</a></li>\n",
        "    <li><a href=\"https://github.com/ieasybooks\">حسابنا على GitHub (للمبرمجين)</a></li>\n",
        "    <li>بريدنا الالكتروني: easybooksdev@gmail.com</li>\n",
        "  </ul>\n",
        "</div>"
      ]
    },
    {
      "cell_type": "code",
      "execution_count": null,
      "metadata": {
        "cellView": "form",
        "id": "uY05i198xi3D"
      },
      "outputs": [],
      "source": [
        "# @title <h1><center>تفريغ</center></h1>\n",
        "\n",
        "print('جارٍ تجهيز بيئة العمل.')\n",
        "\n",
        "# Setup Tafrigh.\n",
        "%pip install -U tafrigh[wit,whisper]==1.1.0 > install_logs.txt\n",
        "\n",
        "# Get inputs.\n",
        "\n",
        "# @markdown <h1 dir=\"rtl\">مدخلات عامة</h1>\n",
        "\n",
        "# @markdown <p dir=\"rtl\">روابط المواد المطلوب تفريغها وتأكد من فصلها بمسافة، أو أترك الحقل فارغًا لتفريغ المواد التي قمت برفعها</p>\n",
        "urls = 'https://youtu.be/4h5P7jXvW98 https://youtu.be/jpfndVSROpw'  # @param { type: \"string\" }\n",
        "\n",
        "# @markdown <p dir=\"rtl\">أقل عدد من الكلمات في كل جزء من أجزاء التفريغ</p>\n",
        "min_words_per_segment = 1  # @param {type:\"slider\", min:1, max:100, step:1}\n",
        "\n",
        "# @markdown ---\n",
        "\n",
        "# @markdown <h1 dir=\"rtl\">مدخلات خاصة بنماذج Whisper</h1>\n",
        "\n",
        "# @markdown <p dir=\"rtl\">النموذج المُراد استخدامه للتفريغ</p>\n",
        "model = 'large-v2 (\\u0623\\u0641\\u0636\\u0644 \\u062F\\u0642\\u0629)'  # @param [\"large-v2 (أفضل دقة)\", \"medium\", \"base\", \"small\", \"tiny (أقل دقة)\"]\n",
        "\n",
        "# @markdown <p dir=\"rtl\">(اختياري) لغة المادة</p>\n",
        "language = 'ar'  # @param [\"ar\", \"af\", \"am\", \"as\", \"az\", \"ba\", \"be\", \"bg\", \"bn\", \"bo\", \"br\", \"bs\", \"ca\", \"cs\", \"cy\", \"da\", \"de\", \"el\", \"en\", \"es\", \"et\", \"eu\", \"fa\", \"fi\", \"fo\", \"fr\", \"gl\", \"gu\", \"ha\", \"haw\", \"he\", \"hi\", \"hr\", \"ht\", \"hu\", \"hy\", \"id\", \"is\", \"it\", \"ja\", \"jw\", \"ka\", \"kk\", \"km\", \"kn\", \"ko\", \"la\", \"lb\", \"ln\", \"lo\", \"lt\", \"lv\", \"mg\", \"mi\", \"mk\", \"ml\", \"mn\", \"mr\", \"ms\", \"mt\", \"my\", \"ne\", \"nl\", \"nn\", \"no\", \"oc\", \"pa\", \"pl\", \"ps\", \"pt\", \"ro\", \"ru\", \"sa\", \"sd\", \"si\", \"sk\", \"sl\", \"sn\", \"so\", \"sq\", \"sr\", \"su\", \"sv\", \"sw\", \"ta\", \"te\", \"tg\", \"th\", \"tk\", \"tl\", \"tr\", \"tt\", \"uk\", \"ur\", \"uz\", \"vi\", \"yi\", \"yo\", \"zh\"]\n",
        "\n",
        "# @markdown ---\n",
        "\n",
        "# @markdown <h1 dir=\"rtl\">مدخلات خاصة بتقنية wit.ai</h1>\n",
        "\n",
        "# @markdown <p dir=\"rtl\">المفتاح الخاص بك على موقع wit.ai</p>\n",
        "wit_api_key = ''  # @param { type: \"string\" }\n",
        "\n",
        "# @markdown <p dir=\"rtl\">(اختياري) أقصى مدة للتقطيع والتي ستؤثر على طول الجمل في ملف SRT</p>\n",
        "max_cutting_duration = 15  # @param {type:\"slider\", min:1, max:17, step:1}\n",
        "\n",
        "if model == 'large-v2 (\\u0623\\u0641\\u0636\\u0644 \\u062F\\u0642\\u0629)':\n",
        "    model = 'large-v2'\n",
        "elif model == 'tiny (\\u0623\\u0642\\u0644 \\u062F\\u0642\\u0629)':\n",
        "    model = 'tiny'\n",
        "\n",
        "# Imports.\n",
        "import glob\n",
        "import os\n",
        "\n",
        "from collections import deque\n",
        "\n",
        "from google.colab import files\n",
        "from tafrigh import farrigh, Config\n",
        "\n",
        "# Setup directories.\n",
        "output_dir = 'output'\n",
        "if not os.path.exists(output_dir):\n",
        "    os.mkdir(output_dir)\n",
        "\n",
        "# Start Tafrigh.\n",
        "if wit_api_key:\n",
        "    print('جارٍ تحويل المواد إلى نصوص باستخدام تقنيات wit.ai.')\n",
        "else:\n",
        "    print('جارٍ تحويل المواد إلى نصوص باستخدام نماذج Whisper.')\n",
        "\n",
        "config = Config(\n",
        "    urls_or_paths=list(map(str.strip, urls.split(' '))) if len(urls.strip()) else ['.'],\n",
        "    skip_if_output_exist=False,\n",
        "    playlist_items='',\n",
        "    verbose=False,\n",
        "    model_name_or_path=model,\n",
        "    task='transcribe',\n",
        "    language=language,\n",
        "    use_faster_whisper=True,\n",
        "    beam_size=5,\n",
        "    ct2_compute_type='default',\n",
        "    wit_client_access_tokens=[wit_api_key],\n",
        "    max_cutting_duration=max_cutting_duration,\n",
        "    min_words_per_segment=min_words_per_segment,\n",
        "    save_files_before_compact=False,\n",
        "    save_yt_dlp_responses=False,\n",
        "    output_sample=0,\n",
        "    output_formats=['txt', 'srt'],\n",
        "    output_dir=output_dir,\n",
        ")\n",
        "\n",
        "deque(farrigh(config), maxlen=0)\n",
        "\n",
        "# Download all txt and srt files.\n",
        "print('جارٍ تنزيل الملفات النصية.')\n",
        "\n",
        "txt_files = glob.glob(f\"{output_dir}/*.txt\")\n",
        "srt_files = glob.glob(f\"{output_dir}/*.srt\")\n",
        "\n",
        "try:\n",
        "    txt_files.remove('output/archive.txt')\n",
        "except ValueError:\n",
        "    pass\n",
        "\n",
        "for file in txt_files + srt_files:\n",
        "    files.download(file)"
      ]
    }
  ],
  "metadata": {
    "accelerator": "GPU",
    "colab": {
      "provenance": []
    },
    "gpuClass": "standard",
    "kernelspec": {
      "display_name": "Python 3",
      "name": "python3"
    },
    "language_info": {
      "name": "python",
      "version": "3.10.12"
    }
  },
  "nbformat": 4,
  "nbformat_minor": 0
}