build_arabic_language_model.ipynb

{
 "cells": [
  {
   "cell_type": "code",
   "execution_count": 4,
   "metadata": {},
   "outputs": [],
   "source": [
    "torch.cuda.empty_cache()"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 1,
   "metadata": {},
   "outputs": [],
   "source": [
    "%reload_ext autoreload\n",
    "%autoreload 2\n",
    "%matplotlib inline"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 2,
   "metadata": {},
   "outputs": [],
   "source": [
    "from fastai import *\n",
    "from fastai.text import *\n",
    "from fastai.callbacks import *"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 3,
   "metadata": {},
   "outputs": [
    {
     "data": {
      "text/plain": [
       "[WindowsPath('.ipynb_checkpoints'),\n",
       " WindowsPath('build_arabic_language_model.ipynb'),\n",
       " WindowsPath('data'),\n",
       " WindowsPath('fine_tune_LM.ipynb'),\n",
       " WindowsPath('models')]"
      ]
     },
     "execution_count": 3,
     "metadata": {},
     "output_type": "execute_result"
    }
   ],
   "source": [
    "path = Path('.')\n",
    "path.ls()"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 5,
   "metadata": {},
   "outputs": [
    {
     "data": {
      "text/html": [
       "<div>\n",
       "<style scoped>\n",
       "    .dataframe tbody tr th:only-of-type {\n",
       "        vertical-align: middle;\n",
       "    }\n",
       "\n",
       "    .dataframe tbody tr th {\n",
       "        vertical-align: top;\n",
       "    }\n",
       "\n",
       "    .dataframe thead th {\n",
       "        text-align: right;\n",
       "    }\n",
       "</style>\n",
       "<table border=\"1\" class=\"dataframe\">\n",
       "  <thead>\n",
       "    <tr style=\"text-align: right;\">\n",
       "      <th></th>\n",
       "      <th>text</th>\n",
       "    </tr>\n",
       "  </thead>\n",
       "  <tbody>\n",
       "    <tr>\n",
       "      <th>0</th>\n",
       "      <td>ماء  ال+ ماء  ماده  شفافه  عديمه  ال+ لون  و+...</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>1</th>\n",
       "      <td>رياضيات  ال+ رياضيات  علم  عباره  عن  مفاهيم ...</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>2</th>\n",
       "      <td>استونيا  استونيا  ,  رسميا  جمهوريه  استونيا ...</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>3</th>\n",
       "      <td>س+ نجاب  ال+ سنجاب  حيوان  من  ال+ قوارض  ,  ...</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>4</th>\n",
       "      <td>تلفاز  ال+ تلفاز  او  ال+ تلفزه  او  ال+ تلفز...</td>\n",
       "    </tr>\n",
       "  </tbody>\n",
       "</table>\n",
       "</div>"
      ],
      "text/plain": [
       "                                                text\n",
       "0   ماء  ال+ ماء  ماده  شفافه  عديمه  ال+ لون  و+...\n",
       "1   رياضيات  ال+ رياضيات  علم  عباره  عن  مفاهيم ...\n",
       "2   استونيا  استونيا  ,  رسميا  جمهوريه  استونيا ...\n",
       "3   س+ نجاب  ال+ سنجاب  حيوان  من  ال+ قوارض  ,  ...\n",
       "4   تلفاز  ال+ تلفاز  او  ال+ تلفزه  او  ال+ تلفز..."
      ]
     },
     "execution_count": 5,
     "metadata": {},
     "output_type": "execute_result"
    }
   ],
   "source": [
    "df = pd.read_csv(path/'data'/'all_arabic_wiki_2019.txt.MyD3.tok', sep='\\t', header=None, names=['text'])\n",
    "df.head()"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 8,
   "metadata": {},
   "outputs": [
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "(540503, 1) (60056, 1)\n"
     ]
    }
   ],
   "source": [
    "np.random.seed(42)\n",
    "from sklearn.model_selection import train_test_split\n",
    "df_train, df_val = train_test_split(df, test_size=0.1)\n",
    "print(df_train.shape, df_val.shape)"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 6,
   "metadata": {},
   "outputs": [],
   "source": [
    "bs = 32"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 9,
   "metadata": {},
   "outputs": [],
   "source": [
    "ar_tok = Tokenizer(lang='ar')"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 11,
   "metadata": {},
   "outputs": [],
   "source": [
    "data_lm = TextLMDataBunch.from_df(path, train_df=df_train, valid_df=df_val, bs=bs, tokenizer=ar_tok, text_cols=0, label_cols=None, min_freq=5)"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 13,
   "metadata": {},
   "outputs": [
    {
     "data": {
      "text/html": [
       "<table border=\"1\" class=\"dataframe\">\n",
       "  <thead>\n",
       "    <tr style=\"text-align: right;\">\n",
       "      <th>idx</th>\n",
       "      <th>text</th>\n",
       "    </tr>\n",
       "  </thead>\n",
       "  <tbody>\n",
       "    <tr>\n",
       "      <td>0</td>\n",
       "      <td>ال+ نوادي , ف+ قد لعب مع و . xxbos جوهانس ريتر جوهانس ريتر هو مدرب كره قدم و+ لاعب كره قدم دانمركي في مركز ال+ وسط . لعب مع نادي نوردشيلاند . xxbos جيري xxunk جيري ريكاردو xxunk بودن هو لاعب كره قدم هندوراسي يجيد ال+ لعب ك+ مهاجم ل+ نادي xxunk ال+ ايراني . xxbos اسامه عبد ال+ واحد اسامه حمدي عبد ال+ واحد , استاذ جامعي مصري</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <td>1</td>\n",
       "      <td>xxunk عن حبيبات ارز xxunk و+ تواريخ ال+ كربون ال+ مشع , يشار ان زراعه ا ل+ ارز في ال+ حقول ال+ جافه قد تكون بدات في وقت مبكر من فتره فخار xxunk ال+ وسطي قبل ال+ ميلاد في شبه ال+ جزيره ال+ كوريه . تم اكتشاف حقول ال+ ارز من قبل معاهد مثل متحف جامعه xxunk في xxunk قاموا ب+ حفر مواقع حقول ال+ ارز في موقع xxunk ني</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <td>2</td>\n",
       "      <td>ل+ مجلس ال+ قياده , ثم تم اختيار + ه ك+ احد اعضاء ال+ مكتب ال+ سياسي ل+ ال+ حزب ال+ ديمقراطي ال+ كردستاني . في عام رقم م , تم تعيين + ه من قبل والد + ه رءيس اقليم كردستان ال+ سابق مسعود بارزاني رءيسا ل+ مجلس امن اقليم كردستان ل+ ال+ اشراف علي ال+ امن و+ ال+ مخابرات ال+ عسكريه و+ اجهزه ال+ مخابرات ال+ حاليه .</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <td>3</td>\n",
       "      <td>و+ هم يقومون ب+ وزن ال+ مواد ب+ ميزان , ثم صهر + ه في عده xxunk , ثم الي يمين ال+ صوره صب ال+ برونز ال+ منصهر علي لوحه صب بحيث ينتج من + ها لوحا xxunk . اثناء عمليه ال+ صب يري احد ال+ عمال جالسا و+ يمنع ب+ واسطه قطعه خشب في يد + ه , نزول ال+ شواءب ال+ طافيه علي سطح ال+ برونز ال+ منصهر</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <td>4</td>\n",
       "      <td>جمع ال+ قراءات , الا ان وفاه ال+ شيخ محمد سليم حالت دون ذلك , ف+ اتصل ب+ ولد + ه , ال+ شيخ احمد ال+ حلواني ال+ حفيد , و+ جمع علي + ه ال+ قراءات ال+ عشر من طريق الشاطبيه و+ ال+ دره , ثم جمع بعد ذلك ال+ عشر ال+ صغري ايضا علي ال+ شيخ محمود فاءز xxunk , ثم اتصل ب+ ال+ شيخ عبد ال+ قادر</td>\n",
       "    </tr>\n",
       "  </tbody>\n",
       "</table>"
      ],
      "text/plain": [
       "<IPython.core.display.HTML object>"
      ]
     },
     "metadata": {},
     "output_type": "display_data"
    }
   ],
   "source": [
    "data_lm.show_batch()"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 12,
   "metadata": {},
   "outputs": [],
   "source": [
    "data_lm.save(path/'data'/'data_lm.pkl')"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 4,
   "metadata": {},
   "outputs": [],
   "source": [
    "data_lm = load_data(path, path/'data'/'data_lm.pkl', bs = 32)"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 49,
   "metadata": {},
   "outputs": [],
   "source": [
    "#pickle.dump(data_lm.train_ds.x.vocab.itos, path/'data'/'itos.pkl')\n",
    "with open( path/'data'/'itos.pkl', 'wb') as pickle_file:\n",
    "    pickle.dump(data_lm.train_ds.x.vocab.itos, pickle_file)"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 27,
   "metadata": {},
   "outputs": [
    {
     "data": {
      "text/plain": [
       "'xxbos فيت نغوين نغوين فيت نغوين نغوين هو مدرب كره قدم و+ لاعب كره قدم امريكي في مركز ال+ هجوم . شارك مع . اما مع ال+ نوادي , ف+ قد لعب مع و .'"
      ]
     },
     "execution_count": 27,
     "metadata": {},
     "output_type": "execute_result"
    }
   ],
   "source": [
    "data_lm.train_ds.x[1].text"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "## Load data for LM"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 7,
   "metadata": {},
   "outputs": [],
   "source": [
    "data_lm = load_data(path/'data', 'data_lm.pkl', bs=32)"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "## Train LM"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 6,
   "metadata": {},
   "outputs": [],
   "source": [
    "learn_lm = language_model_learner(data_lm, AWD_LSTM, drop_mult=0.1, pretrained=False)"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 6,
   "metadata": {},
   "outputs": [
    {
     "data": {
      "text/html": [],
      "text/plain": [
       "<IPython.core.display.HTML object>"
      ]
     },
     "metadata": {},
     "output_type": "display_data"
    },
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "LR Finder is complete, type {learner_name}.recorder.plot() to see the graph.\n"
     ]
    }
   ],
   "source": [
    "learn_lm.lr_find()"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 7,
   "metadata": {},
   "outputs": [
    {
     "data": {
      "image/png": "iVBORw0KGgoAAAANSUhEUgAAAYIAAAEKCAYAAAAfGVI8AAAABHNCSVQICAgIfAhkiAAAAAlwSFlzAAALEgAACxIB0t1+/AAAADl0RVh0U29mdHdhcmUAbWF0cGxvdGxpYiB2ZXJzaW9uIDMuMC4zLCBodHRwOi8vbWF0cGxvdGxpYi5vcmcvnQurowAAIABJREFUeJzt3Xl8VdW5//HPkxFCGJMwTzKIUq+ixAEUxbFUrdWq9+q1rba2dNSitf7a6/21/dVXr50dr7bO1lpbx17HKrUXEYUqyCAqlUECQSWBkEBIyPj8/jg7EtKMkHP2Pud836/XeeXstffJehaHc56svfZey9wdERFJXxlhByAiIuFSIhARSXNKBCIiaU6JQEQkzSkRiIikOSUCEZE0p0QgIpLmlAhERNKcEoGISJrLCjuA7igsLPTx48eHHYaISFJZtmzZNncv6uq4pEgE48ePZ+nSpWGHISKSVMyspDvH6dSQiEiaUyIQEUlzSgQiImlOiUBEJM0pEYiIpDklAhGRNKdEICKS5pQIREQiaOvOPfzqxX+wobw67nUpEYiIRFDJ9hpu/ds6PqjcE/e6lAhERCKosqYegEF52XGvS4lARCSCKmsbABjYV4lARCQtVdXEEoF6BCIiaaqqtoHMDCM/N/5zgyoRiIhEUGVtPQP7ZmNmca9LiUBEJIIqaxoYlIDxAVAiEBGJpKraBgYmYHwAlAhERCKpsqYhIVcMQRwTgZnda2ZlZra6VdmPzGyLma0IHmfGq34RkWRWVZsap4buB+a0U36ju08LHs/FsX4RkaRVWVPPoLychNQVt0Tg7guBinj9fhGRVNXU7Ozc05j8p4Y68S0zWxWcOhocQv0iIpG2M4F3FUPiE8EdwERgGvAh8KuODjSzuWa21MyWlpeXJyo+EZHQVdUm7q5iSHAicPet7t7k7s3AXcAxnRx7p7sXu3txUVFR4oIUEQlZZSonAjMb0WrzPGB1R8eKiKSrlplHB/ZNzGBx3CaxMLOHgdlAoZmVAj8EZpvZNMCBjcBX41W/iEiySvSpobglAne/uJ3ie+JVn4hIqqhK8cFiERHpQmWNEoGISFqrrGkgPzeL7MzEfEUrEYiIREzLFNSJokQgIhIxVQmccA6UCEREIqeqtiFhVwyBEoGISORUKhGIiKS32FoEibmZDJQIREQixd2p0mCxiEj6qm1ooqHJdWpIRCRdtdxMlqjVyUCJQEQkUj5OBOoRiIikp8ra2MyjA9QjEBFJTy2rkw3SVUMiIulJp4ZERNJcolcnAyUCEZFIqaxpICczg77ZmQmrU4lARCRCqmrrGdA3GzNLWJ1KBCIiEZLoCedAiUBEJFIqaxoSejMZKBGIiERKZY16BCIiaa2qtiGhN5NBHBOBmd1rZmVmtrqdfdeYmZtZYbzqFxFJRlW1DQm9mQzi2yO4H5jTttDMxgCnA5viWLeISNJpaGqmuq4xdU4NuftCoKKdXTcC1wIer7pFRJJRVQg3k0GCxwjM7Bxgi7uv7Maxc81sqZktLS8vT0B0IiLhapleIpGL0kACE4GZ5QHXAT/ozvHufqe7F7t7cVFRUXyDExGJgJYeQcomAmAicBCw0sw2AqOBN81seAJjEBGJrKpgCupBeYkdLM5KVEXu/hYwtGU7SAbF7r4tUTGIiERZGKuTQXwvH30YWAxMMbNSM7s8XnWJiKSCsMYI4tYjcPeLu9g/Pl51i4gko5YpqFPmhjIREemZnbUNDOiTRWZG4mYeBSUCEZHIqKypT/hAMSgRiIhERmUIU1CDEoGISGRU1jQkfKAYlAhERCJjZ60SgYhIWtOpIRGRNNbc7LHB4gRPQQ1KBCIikVBd30izJ/5mMlAiEBGJhMrdwV3FOjUkIpKeyqvrACjKz0143UoEIiIRsK0lEfRXIhARSUvlu2KJoFA9AhGR9NTSIyjI11VDIiJpqXxXHYPzssnOTPzXshKBiEgEbKuuC2V8AJQIREQioXxXXSjjA6BEICISCduq69UjEBFJZ+oRiIiksd11jdQ2NKlHICKSrlouHU25HoGZ3WtmZWa2ulXZ9Wa2ysxWmNmLZjYyXvWLiCSLlpvJUrFHcD8wp03ZL9z9cHefBjwD/CCO9YuIJIW9PYLE30wGcUwE7r4QqGhTtrPVZj/A41W/iEiy+LhHENKpoaxEV2hmPwG+AFQBJ3dy3FxgLsDYsWMTE5yISAjKq+sxgyH9UqxH0BF3v87dxwAPAd/q5Lg73b3Y3YuLiooSF6CISIKV76pjSF4OWSFMLwHhXjX0B+D8EOsXEYmEMKeXgAQnAjOb3GrzHGBNIusXEYmiMG8mgziOEZjZw8BsoNDMSoEfAmea2RSgGSgBvhav+kVEksW26joOKuwXWv1xSwTufnE7xffEqz4RkWTk7kGPIJyBYtCdxSIioaqua6SusTl9xghERGRfYS5R2UKJQEQkRNuq64HwppcAJQIRkVCpRyAikuZa5hlSj0BEJE2V76ojw2Bwnq4aEhFJS9uq6yjIzyUzw0KLQYlARCREYd9VDEoEIiKhCnueIVAiEBEJVdh3FYMSgYhIaNydbdX1oS1I00KJQEQkJDv3NFLfFO70EqBEICISmijcTAbdTARmNtHMcoPns83sSjMbFN/QRERSWxRuJoPu9wgeB5rMbBKxqaQPIrbCmIiI7Kek6hEAze7eCJwH3OTuVwEj4heWiEjqS7YeQYOZXQxcCjwTlGXHJyQRkfRQvquOzAxjUN9wv067mwi+CMwAfuLu75vZQcDv4xeWiEjq21Ydu4cgI8TpJaCbS1W6+zvAlQBmNhjo7+4/jWdgIiKpLgrTS0D3rxpaYGYDzGwIsBK4z8x+Hd/QRERS27bq+tDHB6D7p4YGuvtO4LPAfe4+HTitsxeY2b1mVmZmq1uV/cLM1pjZKjN7Upegikg6S6oeAZBlZiOAf2XvYHFX7gfmtCmbDxzm7ocD7wHf7+bvEhFJKe7O9t3hTzgH3U8EPwZeANa7+xtmNgFY29kL3H0hUNGm7MXgMlSAJcDoHsYrIpISynfV0dDkDB/QJ+xQuj1Y/CjwaKvtDcD5B1j3l4A/HeDvEBFJSiUVNQCMLcgLOZLuDxaPDs7pl5nZVjN73Mz2+695M7sOaAQe6uSYuWa21MyWlpeX729VIiKRVLI9lgjGDUmSRADcBzwFjARGAU8HZT1mZpcCZwOXuLt3dJy73+nuxe5eXFRUtD9ViYhE1qbtu8kwGD04eRJBkbvf5+6NweN+oMffzmY2B/g/wDnuXtPT14uIpIqSihpGDOxLTlb4k0B3N4JtZvY5M8sMHp8Dtnf2AjN7GFgMTDGzUjO7HLgN6A/MN7MVZvabA4peRCRJlWyvYVwExgegm4PFxAZ2bwNuBBx4jdi0Ex1y94vbKb6nR9GJiKSoTRU1fPITw8IOA+hmj8DdN7n7Oe5e5O5D3f1cYjeXiYhID+3a00DF7nrGDukXdijAga1QdnWvRSEikkY+vmIoIqeGDiQRhDtdnohIktpUkTqJoMNLP0VEpGN7ewTRODXU6WCxme2i/S98A/rGJSIRkRS3qWI3Bf1yyM/t7vU68dVpFO7eP1GBiIiki5LtNZGYWqJF+HcyiIikmZLtNZGYWqKFEoGISALVNTbxQVUtYyMyPgBKBCIiCVW6oxb3aEw210KJQEQkgTZF7B4CUCIQEUmoku27gWisQ9BCiUBEJIFKKmrIy8mkKAJrFbdQIhARSaBN22sYOyQPs+hMzqBEICKSQCUVsUQQJUoEIiIJ0tzsbKqIzjoELZQIREQSZOuuPdQ3NkfqHgJQIhARSZgoLVjfmhKBiEiCRPEeAlAiEBFJmJKK3WRmGCMHRWvyZiUCEZEEKdlew6hBfcnOjNZXb9yiMbN7zazMzFa3KrvQzN42s2YzK45X3SIiURTFK4Ygvj2C+4E5bcpWE1v0fmEc6xURiRx3j61DELGBYuhiYZoD4e4LzWx8m7J3gYTdUfePj3axpbImIXV1xLpa2tk63dx3X/DvZh9vd15Xy37be8A+x5m1/l328ba1ekFLWcbH+4Oftrcswyx4nZERbH+8L2PfsgyDzAwjI8PINCMzI/bIyrBI3Wkp0tu2VddTVdvApKH5YYfyT6KxTlqc/H5JCQ8uKQk7DOmm1kkhK8PIycogOzP2yM3KIDc7g5zMDPpkZ5KXk0W/3EzycjIZ0Cebov65Hz8mFeUzdECfsJsjso+1ZbsAmDw0egs/RjYRmNlcYC7A2LFj9+t3fPWkCVwwfXRvhtUj7S32vM9+3/eIzo7fe6i32W7/tS37W+rwtuX4x4UelDvean/stR5sNLsHx8TKm4Mdze3sa2qObbeUN7nTHLymuTm2vzk4rsmdpianMShvbHYam5ppbHYampppaGqmvrGZ+qZm6hqaqWtsprahiR01tdTUN7K7romdtQ3UNzXv0/6Dh+Uza3IRJ0wuZMaEAvpkZ3byrysSf+vKqgHUI+gJd78TuBOguLi4q+/Udo0enMfowdE7Hye9y93ZWdtI2a49lO2qY/WWKl5Zu40Hl5Rwz6L36d8ni/OOHMVFR49l6sgBYYcraWrt1mr652YxbEB0Zh1tEdlEINJdZsbAvGwG5mUzeVh/jp9UyFdPmsiehiaWbNjOk8u38Mc3NvO7xSUcMXoglxw3jnOOGKlegiTUurJqJg3Lj+RYWDwvH30YWAxMMbNSM7vczM4zs1JgBvCsmb0Qr/pF+mRnMnvKUG6+6Ehe/49T+eGnp1Lb0MS1j63ihJ/9jRvnv0fZrj1hhylpYm1ZNZOKondaCOJ71dDFHex6Ml51inRkUF4OXzz+IC6bOZ7F67dzz6L3ufmltdyxYD3nHjmSuSdOjOS5W0kNlTX1bKuuY/KwaP4f06khSStmxsxJhcycVMiG8mrue3UjjyzdzKPLSjlj6jC+dtJEjhw7OOwwJcW0DBRH8YohUCKQNDahKJ/rzz2Mb582mQde28jvFpfwwttbOfagIXxt9kRmH1wUyfO5knzWRviKIdBcQyIU5ufynTOm8Or3TuE/zzqUku01fPG+N/jUza/w5+VbaGxzaapIT63dWk3f7ExGRWyyuRZKBCKB/NwsvjxrAguvPZlfXngETc3OvD+t4NRfv8wjb2ymQQlB9tO68momDu1HRkY0e5hKBCJt5GRlcMH00bww70Tu/Px0BvTJ5trHVzH7Fwt46O8lSgjSY+u27ors+AAoEYh0KCPDOOMTw3nqW8dz32VHU9Q/l+ueXM0nb1zIi29/9E93hou0p7qukQ+q9kR2fACUCES6ZGacfMhQnvzGTO65tBgzmPvgMi66cwmrSivDDk8ibn3EB4pBiUCk28yMUw8dxgvzTuT6cw9jXVk159z2Ktc8upKynboxTdq39uNLR5UIRFJGVmYGnz9uHAu+O5uvnTSRp1Z8wMm/XMDtC9axp6Ep7PAkYtaW7SInMyOS6xC0UCIQ2U/9+2TzvU8dwotXncjMSYX8/C//4JM3LeSVteVhhyYRsr6smoMK+5EVseUpW4tuZCJJYnxhP+76QjG/v/xYMs34/D2vc/WfVrC9ui7s0CQC1gaTzUWZEoFILzlhciHPfXsWV54yiadXfcBpv36ZJ94s1dVFaWxPQxObKmoiPT4ASgQivapPdiZXnzGFZ6+cxYSifK5+ZCVzH1xG+S71DtLRhvLduEf7iiFQIhCJi4OH9eeRr87gP886lJffK+eMG1/mubc+DDssSbAoL0/ZmhKBSJxkZhhfnjWB5648gTFD8vjGQ28y74/Lqa5rDDs0SZB1ZdVkZhjjC6N7xRAoEYjE3aSh/Xn86zOZd9pknlr5AZ++dRFvf1AVdliSAGu3VjOuII/crGivhqdEIJIA2ZkZzDvtYB7+ynHU1Ddy3u2v8eCSEg0kp7j3tu6K/EAxKBGIJNSxEwp47spZzJhQwP/982queHg5u3WqKCVV1tSzYdtuDh89KOxQuqREIJJgBfm53HfZ0Vw7ZwrPvfUhn/nvV1kXDCpK6lixOTYP1ZFjlQhEpB0ZGcY3Zk/i918+lsqaes657VWeXvlB2GFJL1q+qZIMI717BGZ2r5mVmdnqVmVDzGy+ma0NfmpxWElrMycW8swVszh0xACueHg5P3rqbeobtd5BKli+uZKDh/UnPzf6KwLHs0dwPzCnTdn3gJfcfTLwUrAtktaGD+zDH+cex+UnHMT9r23kwt8upnRHTdhhyQFobnZWbNrBkWOT42/duCUCd18IVLQp/gzwQPD8AeDceNUvkkyyMzP4v2dP5Y5LjmJDWTVn3bKIv63ZGnZYsp82bNvNzj2NSTE+AIkfIxjm7h8CBD+HJrh+kUj71L+M4OkrTmDkoL586f6l/PT5NVoaMwkt37QDgKOUCA6Mmc01s6VmtrS8XNP6SvoYX9iPJ78xk4uPGcNvXl7Pv+lUUdJZvrmS/n2ymFAY/XsIIPGJYKuZjQAIfpZ1dKC73+nuxe5eXFRUlLAARaKgT3YmN3z2cG69+Eje21rNmTe/wgtvfxR2WNJNKzZVMm3MIDIyLOxQuiXRieAp4NLg+aXA/yS4fpGk8ukjRvLslScwrqAfX31wGT/8n9VaBS3iauobWfPRzqQZKIb4Xj76MLAYmGJmpWZ2OfBT4HQzWwucHmyLSCfGFfTj8a/P5PITDuKBxSV89vbXWF9eHXZY0oFVpVU0e3LcSNYibhe4uvvFHew6NV51iqSqnKzYVUUzJxZwzaMr+fSti7j+M4dx/vTRYYcmbSzfFLujeFoS3EjWIrKDxSLyz049dBjPfXsWh40ayHceXcm8Py5n556GsMOSVpZv2sFBhf0Y3C8n7FC6TYlAJMmMGNiXh79yHFeddjBPr/qQM29+hWUlbW/ZkTC4O8s3V3LkmOTpDYASgUhSyswwvn3aZB756gzM4F9/u4Sb/voejbrnIFRbKmsp31WXVOMDoEQgktSmjxvMc1fO4pwjRnLTX9fy2TteY+1WzWQalpbxgWS6YgiUCESSXv8+2dz4b9P4738/itIdtZx1yyLuWLBevYMQLN9USZ/sDKYMj/YaxW0pEYikiLMOH8GLV53IqYcO5Wd/WcMFv1nMe+odJIy7s3BtOdPGDCI7M7m+WpMrWhHpVGF+LrdfchS3XHwkJdt3c/Yti7jlpbWa2joBVpZWsa6sms9MGxV2KD2mRCCSYsyMc44YyV+vPolPHjacX89/j3NuW8Sq0sqwQ0tpjy3bTJ/sDM46fETYofSYEoFIiirIz+XWi4/kri8Us6OmnnP/+1Wuf+YdrZEcB3samnhqxQfM+cRwBvTJDjucHlMiEElxp08dxotXncTFx4zlnkXvc8aNC7XWQS+b/85Wdu5p5ILpY8IOZb8oEYikgYF9s/nJef/Co1+bQd+cTL50/1K++dCbfFS1J+zQUsJjy0oZObAPMycWhB3KflEiEEkjR48fwrNXnsDVpx/MX9/dyim/WsBvX16vweQD8FHVHl5ZW87500cnzbTTbSkRiKSZ3KxMrjx1MvOvOomZEwu44fk1nHnLK7y2blvYoSWlJ5aX0uxw/lHJOwGgEoFImhpbkMfdlx7NPZcWU9fYxL/f/XeueHi5Thf1gLvz2NJSjhk/hPGF/cIOZ78pEYikuVMPHcb8q05i3mmTeeHtjzj1Vwu4a+EGrZXcDW9uqmTDtt1ckOTTgSsRiAh9sjOZd9rBzL/qRI6dUMBPnnuXOTct5KV3t+LuYYcXWQ8tKaFvdiZnJuG9A60pEYjIx8YV9OPey47m7i8U4w6XP7CUS+7+O29/UBV2aJHzVmkVT67YwudnjCM/N25rfCWEEoGI/JPTpg7jhatO5Eefnsq7H+7k7FsX8Z1HVvJBZW3YoUWCu/PjZ95mSF4O3zplUtjhHDAlAhFpV3ZmBpcdfxALvnsyc2dN4OlVH3DyLxfws7+sSftV0Z5960Pe2LiD75wxJSnvJG5LiUBEOjWwbzbfP/NQ/vadk/jUYcO5Y8F6Tvr5/3LPovfZ09AUdngJt6ehiRueW8OhIwbwb0cn553EbSkRiEi3jB6cx00XHckzV5zA1JEDuP6Zdzj5lwt4+PVNaXWF0d2vbGBLZS0/OHsqmUl6A1lboSQCM/u2ma02s7fNbF4YMYjI/jls1EAe+vJx/OHLxzJ8YB++/8RbnPbrl3nizdKUXwxn68493L5gPXM+MZwZSTqdRHsSngjM7DDgK8AxwBHA2WY2OdFxiMiBmTmpkCe+PpN7Li0mLyeLqx9ZyRk3LuTPy7fQ1Jx6l5w2NTvXPraKxibnP848NOxwelUYPYJDgSXuXuPujcDLwHkhxCEiB8jMOPXQYTx7xQn85nPTycnKYN6fVnD6jS/zx9c3pdQYwg3PvcvL75Xzw3OmMrYgL+xwelUYiWA1cKKZFZhZHnAm8E8jLmY218yWmtnS8vLyhAcpIt2XkWHMOWw4z105i9987ij6ZGXyvSfe4vif/o1fz3+P8l11YYd4QB55YzN3L3qfy2aO55Jjx4UdTq+zMO4aNLPLgW8C1cA7QK27X9XR8cXFxb506dJEhSciB8jdWbKhgnsWvc9La7aSnZHB6Z8YxkVHj+H4iYVJNUvnGxsr+Pe7lnDsQQXc/8WjyUqi9YjNbJm7F3d5XNi3j5vZfwGl7n57R8coEYgkr/e37eZ3izfy5PItVNY0MHpwXy6cPobzp49i9OBon2Ip2b6bz97+GgP6ZvPnbxzPwLzkumcg0onAzIa6e5mZjQVeBGa4+46OjlciEEl+exqamP/OVv70xmYWBVNez5xYwAXTRzPnsOHk5URrmoblm3bwld8tpaHJefzrM5k0ND/skHos6ongFaAAaACudveXOjteiUAktWyuqOHJ5Vt4bFkpmypqyMvJ5JRDhnLWv4xg9pSh9M3JDDW+59/6kHl/WsHQAbncd9kxSZkEIOKJoKeUCERSk7vzxsYd/HnFFl5Y/RHbd9eTl5PJyYcM5czDRnDyIUUJ7Sm4O3cu3MANz6/hqLGDuOsLxRTk5yas/t6mRCAiSaWxqZnX36/g2bc+5IW3P2JbdT19sjM46eAizpg6nFkHFzK0f5+41O3uLFy7jZv++h7LN1Vy9uEj+OWFR9AnO9yeyYFSIhCRpNXU7LyxsYLn3/qQ51d/RFlw+ekhw/sza3IhMyYWcMToQQf813pjUzOvrNvGLS+tZfmmSkYN6ss3T57ERUePSaormzqiRCAiKaG52Xnnw528snYbr6wtZ+nGHdQHU1mMGdKXaWMGc8jw/owv6Me4gjzGFeTRv50ZQZuanR019XxUtYe/v1/B4vXb+PuGCnbVNX6cAC6YPpqcrOS5PLQrSgQikpJq65tYVVrJis17Hx+2WWc5O9Pom51JXk4WfXMy2bWngYrd9bSe+WJ8QR4zJhZywqRCTp86LKUSQIvuJoJoXa8lItKFvjmZHDuhgGMn7J30rbqukU3ba9hUsZuS7TVU1jZQW99ETX0jtQ3N5OdmUZifQ2F+LoX5uUwbO4hRg/qG2IpoUSIQkaSXn5vF1JEDmDpyQNihJKXU6wuJiEiPKBGIiKQ5JQIRkTSnRCAikuaUCERE0pwSgYhImlMiEBFJc0oEIiJpLimmmDCzcqCknV0Dgapubnf1vBDYtp8htq23u/vbK+9pG1qX7W8buoq/s2N6sw3xfA86O6arNnSnPVFrQzp+Flo/T/bPAvROG8a5e1GXr3D3pH0Ad3Z3u6vnwNLeiqO7+9sr72kb2pTtVxu6ij9RbYjne3AgbehOe6LWhnT8LPRGG6LyWYh3G9o+kv3U0NM92O7O896Ko7v72yvvaRsSEX9nx6RDG7rTnqi1IR0/C92pvyvp8lnYR1KcGkoEM1vq3ZilL8qSvQ3JHj+oDVGhNvRMsvcIetOdYQfQC5K9DckeP6gNUaE29IB6BCIiaU49AhGRNJeSicDM7jWzMjNbvR+vnW5mb5nZOjO7xcys1b4rzOwfZva2mf28d6PeJ4Zej9/MfmRmW8xsRfA4s/cj3yeOuLwHwf5rzMzNrLD3Im43jni8D9eb2argPXjRzEb2fuT7xBGPNvzCzNYE7XjSzAb1fuT7xBGPNlwYfI6bzSwu5+EPJO4Oft+lZrY2eFzaqrzTz0u37O9lYlF+ACcCRwGr9+O1rwMzAAOeBz4VlJ8M/BXIDbaHJln8PwKuSeb3INg3BniB2H0lhcnWBmBAq2OuBH6ThG04A8gKnv8M+FkStuFQYAqwACiOUtxBTOPblA0BNgQ/BwfPB3fWxp48UrJH4O4LgYrWZWY20cz+YmbLzOwVMzuk7evMbASxD+pij/0L/w44N9j9deCn7l4X1FGWZPEnVBzbcCNwLRD3wa14tMHdd7Y6tB9xbkec2vCiuzcGhy4BRidhG951939EMe4OfBKY7+4V7r4DmA/M6a3PfEomgg7cCVzh7tOBa4Db2zlmFFDaars0KAM4GJhlZn83s5fN7Oi4RvvPDjR+gG8F3fl7zWxw/ELt0AG1wczOAba4+8p4B9qJA34fzOwnZrYZuAT4QRxj7Uhv/F9q8SVif4UmWm+2IZG6E3d7RgGbW223tKVX2pgWaxabWT4wE3i01emz3PYObaes5S+2LGJdsuOAo4FHzGxCkIXjqpfivwO4Pti+HvgVsQ9xQhxoG8wsD7iO2GmJUPTS+4C7XwdcZ2bfB74F/LCXQ+1Qb7Uh+F3XAY3AQ70ZY1d6sw2J1FncZvZF4NtB2STgOTOrB9539/PouC290sa0SATEej6V7j6tdaGZZQLLgs2niH1Ztu7mjgY+CJ6XAk8EX/yvm1kzsblAyuMZeOCA43f3ra1edxfwTDwDbseBtmEicBCwMvgQjQbeNLNj3P2jOMfeojf+H7X2B+BZEpgI6KU2BIOVZwOnJuKPoTZ6+31IlHbjBnD3+4D7AMxsAXCZu29sdUgpMLvV9mhiYwml9EYb4zFIEoUHMJ5WgzTAa8CFwXMDjujgdW8Q+6u/ZeDlzKD8a8CPg+cHE+umWRLFP6LVMVcBf0y296DNMRuJ82BxnN6Hya2OuQJ4LAnbMAd4ByiKd+zx/r9EHAeL9zduOh4sfp/YWYnBwfMh3Wljt+JM1BuZyAfwMPAh0EAsY15O7K/JvwCQ3DpiAAADkUlEQVQrg//EP+jgtcXAamA9cBt7b7rLAX4f7HsTOCXJ4n8QeAtYReyvpRHxij9ebWhzzEbif9VQPN6Hx4PyVcTmhBmVhG1YR+wPoRXBI95XPsWjDecFv6sO2Aq8EJW4aScRBOVfCv7t1wFf7MnnpauH7iwWEUlz6XTVkIiItEOJQEQkzSkRiIikOSUCEZE0p0QgIpLmlAgkKZlZdYLru9vMpvbS72qy2Oyjq83s6a5m7zSzQWb2jd6oW6Q9unxUkpKZVbt7fi/+vizfO5FaXLWO3cweAN5z9590cvx44Bl3PywR8Un6UY9AUoaZFZnZ42b2RvA4Pig/xsxeM7Plwc8pQfllZvaomT0NvGhms81sgZk9ZrH59h9qmds9KC8OnlcHE8etNLMlZjYsKJ8YbL9hZj/uZq9lMXsn1cs3s5fM7E2LzS//meCYnwITg17EL4JjvxvUs8rM/l8v/jNKGlIikFRyM3Cjux8NnA/cHZSvAU509yOJzfb5X61eMwO41N1PCbaPBOYBU4EJwPHt1NMPWOLuRwALga+0qv/moP4u53sJ5sY5ldid3gB7gPPc/Shi61/8KkhE3wPWu/s0d/+umZ0BTAaOAaYB083sxK7qE+lIukw6J+nhNGBqq5kdB5hZf2Ag8ICZTSY2M2N2q9fMd/fWc8a/7u6lAGa2gthcMYva1FPP3kn7lgGnB89nsHcu+D8Av+wgzr6tfvcyYnPLQ2yumP8KvtSbifUUhrXz+jOCx/JgO59YYljYQX0inVIikFSSAcxw99rWhWZ2K/C/7n5ecL59Qavdu9v8jrpWz5to/zPS4HsH1zo6pjO17j7NzAYSSyjfBG4htj5BETDd3RvMbCPQp53XG3CDu/+2h/WKtEunhiSVvEhsfn8AzKxlut+BwJbg+WVxrH8JsVNSABd1dbC7VxFbrvIaM8smFmdZkAROBsYFh+4C+rd66QvAl4L57TGzUWY2tJfaIGlIiUCSVZ6ZlbZ6XE3sS7U4GEB9h9jU4QA/B24ws1eBzDjGNA+42sxeB0YAVV29wN2XE5uJ8iJiC7wUm9lSYr2DNcEx24FXg8tNf+HuLxI79bTYzN4CHmPfRCHSI7p8VKSXBKuo1bq7m9lFwMXu/pmuXicSNo0RiPSe6cBtwZU+lSRwKVCRA6EegYhImtMYgYhImlMiEBFJc0oEIiJpTolARCTNKRGIiKQ5JQIRkTT3/wHwSHr1/bEzRAAAAABJRU5ErkJggg==\n",
      "text/plain": [
       "<Figure size 432x288 with 1 Axes>"
      ]
     },
     "metadata": {
      "needs_background": "light"
     },
     "output_type": "display_data"
    }
   ],
   "source": [
    "learn_lm.recorder.plot()"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 8,
   "metadata": {},
   "outputs": [
    {
     "data": {
      "text/html": [
       "Total time: 3:02:59 <p><table border=\"1\" class=\"dataframe\">\n",
       "  <thead>\n",
       "    <tr style=\"text-align: left;\">\n",
       "      <th>epoch</th>\n",
       "      <th>train_loss</th>\n",
       "      <th>valid_loss</th>\n",
       "      <th>accuracy</th>\n",
       "      <th>time</th>\n",
       "    </tr>\n",
       "  </thead>\n",
       "  <tbody>\n",
       "    <tr>\n",
       "      <td>0</td>\n",
       "      <td>3.337320</td>\n",
       "      <td>3.258058</td>\n",
       "      <td>0.437729</td>\n",
       "      <td>3:02:59</td>\n",
       "    </tr>\n",
       "  </tbody>\n",
       "</table>"
      ],
      "text/plain": [
       "<IPython.core.display.HTML object>"
      ]
     },
     "metadata": {},
     "output_type": "display_data"
    }
   ],
   "source": [
    "learn_lm.fit_one_cycle(1, 3e-3)"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 9,
   "metadata": {},
   "outputs": [],
   "source": [
    "learn_lm.save('Ar-LM-epoch1-acc43')"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 70,
   "metadata": {},
   "outputs": [
    {
     "data": {
      "text/plain": [
       "LanguageLearner(data=TextLMDataBunch;\n",
       "\n",
       "Train: LabelList (540503 items)\n",
       "x: LMTextList\n",
       "xxbos روبرت بيكر روبرت بيكر هو سياسي امريكي , ولد في رقم ابريل رقم في ال+ مملكه ال+ متحده , و+ توفي في رقم يونيو رقم ببروكلين في ال+ ولايات ال+ متحده . حزبيا , نشط في ال+ حزب ال+ ديمقراطي . انتخب .,xxbos فيت نغوين نغوين فيت نغوين نغوين هو مدرب كره قدم و+ لاعب كره قدم امريكي في مركز ال+ هجوم . شارك مع . اما مع ال+ نوادي , ف+ قد لعب مع و .,xxbos جوهانس ريتر جوهانس ريتر هو مدرب كره قدم و+ لاعب كره قدم دانمركي في مركز ال+ وسط . لعب مع نادي نوردشيلاند .,xxbos جيري xxunk جيري ريكاردو xxunk بودن هو لاعب كره قدم هندوراسي يجيد ال+ لعب ك+ مهاجم ل+ نادي xxunk ال+ ايراني .,xxbos اسامه عبد ال+ واحد اسامه حمدي عبد ال+ واحد , استاذ جامعي مصري ب+ جامعه عين شمس , و+ محافظ كفر ال+ شيخ ال+ سابق منذ رقم فبراير رقم حتي رقم ديسمبر رقم . ولد اسامه عبد ال+ واحد ب+ ال+ قاهره عام رقم . درس و+ تخرج في كليه ال+ هندسه ب+ جامعه عين شمس عام رقم , و+ حصل علي درجه ال+ ماجستير عام رقم , ثم ال+ دكتوراه عام رقم . شغل منصب استاذ هندسه ال+ انشاءات و+ ال+ كباري ب+ جامعه عين شمس , كما شغل منصب رءيس جهاز ال+ تفتيش ال+ فني علي ال+ بناء ب+ وزاره ال+ اسكان و+ ال+ مرافق و+ ال+ مجتمعات ال+ عمرانيه .\n",
       "y: LMLabelList\n",
       ",,,,\n",
       "Path: .;\n",
       "\n",
       "Valid: LabelList (60056 items)\n",
       "x: LMTextList\n",
       "xxbos مبارك xxunk ال+ بلوشي مبارك xxunk هو لاعب كره قدم قطري يلعب في خط ال+ وسط . لعب سابقا مع انديه ال+ ريان و السيليه و ال+ اهلي و قطر و ام صلال و الشحانيه . مبارك xxunk ال+ بلوشي,xxbos عنصر اولي ال+ عنصر ال+ اولي في ال+ رياضيات و+ خاصه في ال+ جبر ال+ مجرد هو عنصر غير صفري دون معاكس رقم من حلقه رقم يولد مثاليا اوليا . و+ يمكن ملاحظه ان + ه عندما + ما يكون رقم xxunk ل+ جداء في رقم , يكون رقم xxunk ل+ احد ال+ عوامل . نجد في ال+ مجال ال+ صحيح ان كل عنصر اولي غير قابل ل+ ال+ اختزال , و+ لكن ال+ عكس لا يتحقق الا في مجالات ال+ تحليل ال+ وحيد . ال+ حلقه رقم , حيث رقم وحده تخيليه , ليست مجال تحليل وحيدا , ف+ حيث ان ال+ عنصر رقم غير قابل ل+ ال+ اختزال , الا ان + ه ليس اوليا , ان + ه قاسم ل+ ال+ جداء رقم , لكن + ه ليس xxunk ل+ اي من عوامل هذا ال+ جداء .,xxbos ثقافه حيويه ثقافه حيويه ثقافه حيويه , و+ تضم ال+ مجالات ال+ مندمجه و+ ال+ مختلفه في ال+ علوم ال+ طبيه و+ ال+ علوم ال+ اجتماعيه و+ دراسات ال+ منطقه , و+ ال+ دراسات و+ ال+ ثقافه , و+ ال+ تكنولوجيا ال+ حيويه , و+ دراسات ال+ عجز او ال+ xxunk , و+ ال+ علوم ال+ انسانيه , و+ ال+ بيءه ال+ اقتصاديه و+ ال+ عالميه . ال+ ثقافه ال+ حيويه تحدد ال+ نشاط و+ توطيد ال+ افكار التي تنشا عندما + ما يتقاطع ال+ انسان مع ال+ تكنولوجيه .,xxbos ريفا xxunk ريفا xxunk هي بلديه في مقاطعه فرشيلي ال+ تابعه ل+ اقليم بييمونتي ال+ ايطالي , تقع علي بعد حوال + ي الي ال+ شمال من مدينه تورينو و+ حوال + ي شمال غرب مدينه فيرتشيلي . تقع ريفا xxunk علي حدود ال+ بلديات ال+ تاليه الانيا xxunk , xxunk , xxunk , راسا , ريما سان جيوسيبي , في بييمونتي xxunk لا ترينيتي xxunk سانت جين عبر ال+ حدود ال+ غربيه الي وادي اوستا .,xxbos براد ديفيز روبرت كريل براد ديفيز , , و+ هو ممثل امريكي اشتهر خلال دور + ه في فيلم سريع في قطار منتصف ال+ ليل\n",
       "y: LMLabelList\n",
       ",,,,\n",
       "Path: .;\n",
       "\n",
       "Test: None, model=SequentialRNN(\n",
       "  (0): AWD_LSTM(\n",
       "    (encoder): Embedding(60006, 400, padding_idx=1)\n",
       "    (encoder_dp): EmbeddingDropout(\n",
       "      (emb): Embedding(60006, 400, padding_idx=1)\n",
       "    )\n",
       "    (rnns): ModuleList(\n",
       "      (0): WeightDropout(\n",
       "        (module): LSTM(400, 1150, batch_first=True)\n",
       "      )\n",
       "      (1): WeightDropout(\n",
       "        (module): LSTM(1150, 1150, batch_first=True)\n",
       "      )\n",
       "      (2): WeightDropout(\n",
       "        (module): LSTM(1150, 400, batch_first=True)\n",
       "      )\n",
       "    )\n",
       "    (input_dp): RNNDropout()\n",
       "    (hidden_dps): ModuleList(\n",
       "      (0): RNNDropout()\n",
       "      (1): RNNDropout()\n",
       "      (2): RNNDropout()\n",
       "    )\n",
       "  )\n",
       "  (1): LinearDecoder(\n",
       "    (decoder): Linear(in_features=400, out_features=60006, bias=True)\n",
       "    (output_dp): RNNDropout()\n",
       "  )\n",
       "), opt_func=functools.partial(<class 'torch.optim.adam.Adam'>, betas=(0.9, 0.99)), loss_func=FlattenedLoss of CrossEntropyLoss(), metrics=[<function accuracy at 0x000001DD5904A0D0>], true_wd=True, bn_wd=True, wd=0.01, train_bn=True, path=WindowsPath('data'), model_dir='models', callback_fns=[functools.partial(<class 'fastai.basic_train.Recorder'>, add_time=True)], callbacks=[RNNTrainer\n",
       "learn: LanguageLearner(data=TextLMDataBunch;\n",
       "\n",
       "Train: LabelList (540503 items)\n",
       "x: LMTextList\n",
       "xxbos روبرت بيكر روبرت بيكر هو سياسي امريكي , ولد في رقم ابريل رقم في ال+ مملكه ال+ متحده , و+ توفي في رقم يونيو رقم ببروكلين في ال+ ولايات ال+ متحده . حزبيا , نشط في ال+ حزب ال+ ديمقراطي . انتخب .,xxbos فيت نغوين نغوين فيت نغوين نغوين هو مدرب كره قدم و+ لاعب كره قدم امريكي في مركز ال+ هجوم . شارك مع . اما مع ال+ نوادي , ف+ قد لعب مع و .,xxbos جوهانس ريتر جوهانس ريتر هو مدرب كره قدم و+ لاعب كره قدم دانمركي في مركز ال+ وسط . لعب مع نادي نوردشيلاند .,xxbos جيري xxunk جيري ريكاردو xxunk بودن هو لاعب كره قدم هندوراسي يجيد ال+ لعب ك+ مهاجم ل+ نادي xxunk ال+ ايراني .,xxbos اسامه عبد ال+ واحد اسامه حمدي عبد ال+ واحد , استاذ جامعي مصري ب+ جامعه عين شمس , و+ محافظ كفر ال+ شيخ ال+ سابق منذ رقم فبراير رقم حتي رقم ديسمبر رقم . ولد اسامه عبد ال+ واحد ب+ ال+ قاهره عام رقم . درس و+ تخرج في كليه ال+ هندسه ب+ جامعه عين شمس عام رقم , و+ حصل علي درجه ال+ ماجستير عام رقم , ثم ال+ دكتوراه عام رقم . شغل منصب استاذ هندسه ال+ انشاءات و+ ال+ كباري ب+ جامعه عين شمس , كما شغل منصب رءيس جهاز ال+ تفتيش ال+ فني علي ال+ بناء ب+ وزاره ال+ اسكان و+ ال+ مرافق و+ ال+ مجتمعات ال+ عمرانيه .\n",
       "y: LMLabelList\n",
       ",,,,\n",
       "Path: .;\n",
       "\n",
       "Valid: LabelList (60056 items)\n",
       "x: LMTextList\n",
       "xxbos مبارك xxunk ال+ بلوشي مبارك xxunk هو لاعب كره قدم قطري يلعب في خط ال+ وسط . لعب سابقا مع انديه ال+ ريان و السيليه و ال+ اهلي و قطر و ام صلال و الشحانيه . مبارك xxunk ال+ بلوشي,xxbos عنصر اولي ال+ عنصر ال+ اولي في ال+ رياضيات و+ خاصه في ال+ جبر ال+ مجرد هو عنصر غير صفري دون معاكس رقم من حلقه رقم يولد مثاليا اوليا . و+ يمكن ملاحظه ان + ه عندما + ما يكون رقم xxunk ل+ جداء في رقم , يكون رقم xxunk ل+ احد ال+ عوامل . نجد في ال+ مجال ال+ صحيح ان كل عنصر اولي غير قابل ل+ ال+ اختزال , و+ لكن ال+ عكس لا يتحقق الا في مجالات ال+ تحليل ال+ وحيد . ال+ حلقه رقم , حيث رقم وحده تخيليه , ليست مجال تحليل وحيدا , ف+ حيث ان ال+ عنصر رقم غير قابل ل+ ال+ اختزال , الا ان + ه ليس اوليا , ان + ه قاسم ل+ ال+ جداء رقم , لكن + ه ليس xxunk ل+ اي من عوامل هذا ال+ جداء .,xxbos ثقافه حيويه ثقافه حيويه ثقافه حيويه , و+ تضم ال+ مجالات ال+ مندمجه و+ ال+ مختلفه في ال+ علوم ال+ طبيه و+ ال+ علوم ال+ اجتماعيه و+ دراسات ال+ منطقه , و+ ال+ دراسات و+ ال+ ثقافه , و+ ال+ تكنولوجيا ال+ حيويه , و+ دراسات ال+ عجز او ال+ xxunk , و+ ال+ علوم ال+ انسانيه , و+ ال+ بيءه ال+ اقتصاديه و+ ال+ عالميه . ال+ ثقافه ال+ حيويه تحدد ال+ نشاط و+ توطيد ال+ افكار التي تنشا عندما + ما يتقاطع ال+ انسان مع ال+ تكنولوجيه .,xxbos ريفا xxunk ريفا xxunk هي بلديه في مقاطعه فرشيلي ال+ تابعه ل+ اقليم بييمونتي ال+ ايطالي , تقع علي بعد حوال + ي الي ال+ شمال من مدينه تورينو و+ حوال + ي شمال غرب مدينه فيرتشيلي . تقع ريفا xxunk علي حدود ال+ بلديات ال+ تاليه الانيا xxunk , xxunk , xxunk , راسا , ريما سان جيوسيبي , في بييمونتي xxunk لا ترينيتي xxunk سانت جين عبر ال+ حدود ال+ غربيه الي وادي اوستا .,xxbos براد ديفيز روبرت كريل براد ديفيز , , و+ هو ممثل امريكي اشتهر خلال دور + ه في فيلم سريع في قطار منتصف ال+ ليل\n",
       "y: LMLabelList\n",
       ",,,,\n",
       "Path: .;\n",
       "\n",
       "Test: None, model=SequentialRNN(\n",
       "  (0): AWD_LSTM(\n",
       "    (encoder): Embedding(60006, 400, padding_idx=1)\n",
       "    (encoder_dp): EmbeddingDropout(\n",
       "      (emb): Embedding(60006, 400, padding_idx=1)\n",
       "    )\n",
       "    (rnns): ModuleList(\n",
       "      (0): WeightDropout(\n",
       "        (module): LSTM(400, 1150, batch_first=True)\n",
       "      )\n",
       "      (1): WeightDropout(\n",
       "        (module): LSTM(1150, 1150, batch_first=True)\n",
       "      )\n",
       "      (2): WeightDropout(\n",
       "        (module): LSTM(1150, 400, batch_first=True)\n",
       "      )\n",
       "    )\n",
       "    (input_dp): RNNDropout()\n",
       "    (hidden_dps): ModuleList(\n",
       "      (0): RNNDropout()\n",
       "      (1): RNNDropout()\n",
       "      (2): RNNDropout()\n",
       "    )\n",
       "  )\n",
       "  (1): LinearDecoder(\n",
       "    (decoder): Linear(in_features=400, out_features=60006, bias=True)\n",
       "    (output_dp): RNNDropout()\n",
       "  )\n",
       "), opt_func=functools.partial(<class 'torch.optim.adam.Adam'>, betas=(0.9, 0.99)), loss_func=FlattenedLoss of CrossEntropyLoss(), metrics=[<function accuracy at 0x000001DD5904A0D0>], true_wd=True, bn_wd=True, wd=0.01, train_bn=True, path=WindowsPath('data'), model_dir='models', callback_fns=[functools.partial(<class 'fastai.basic_train.Recorder'>, add_time=True)], callbacks=[...], layer_groups=[Sequential(\n",
       "  (0): WeightDropout(\n",
       "    (module): LSTM(400, 1150, batch_first=True)\n",
       "  )\n",
       "  (1): RNNDropout()\n",
       "), Sequential(\n",
       "  (0): WeightDropout(\n",
       "    (module): LSTM(1150, 1150, batch_first=True)\n",
       "  )\n",
       "  (1): RNNDropout()\n",
       "), Sequential(\n",
       "  (0): WeightDropout(\n",
       "    (module): LSTM(1150, 400, batch_first=True)\n",
       "  )\n",
       "  (1): RNNDropout()\n",
       "), Sequential(\n",
       "  (0): Embedding(60006, 400, padding_idx=1)\n",
       "  (1): EmbeddingDropout(\n",
       "    (emb): Embedding(60006, 400, padding_idx=1)\n",
       "  )\n",
       "  (2): LinearDecoder(\n",
       "    (decoder): Linear(in_features=400, out_features=60006, bias=True)\n",
       "    (output_dp): RNNDropout()\n",
       "  )\n",
       ")], add_time=True)\n",
       "alpha: 2.0\n",
       "beta: 1.0], layer_groups=[Sequential(\n",
       "  (0): WeightDropout(\n",
       "    (module): LSTM(400, 1150, batch_first=True)\n",
       "  )\n",
       "  (1): RNNDropout()\n",
       "), Sequential(\n",
       "  (0): WeightDropout(\n",
       "    (module): LSTM(1150, 1150, batch_first=True)\n",
       "  )\n",
       "  (1): RNNDropout()\n",
       "), Sequential(\n",
       "  (0): WeightDropout(\n",
       "    (module): LSTM(1150, 400, batch_first=True)\n",
       "  )\n",
       "  (1): RNNDropout()\n",
       "), Sequential(\n",
       "  (0): Embedding(60006, 400, padding_idx=1)\n",
       "  (1): EmbeddingDropout(\n",
       "    (emb): Embedding(60006, 400, padding_idx=1)\n",
       "  )\n",
       "  (2): LinearDecoder(\n",
       "    (decoder): Linear(in_features=400, out_features=60006, bias=True)\n",
       "    (output_dp): RNNDropout()\n",
       "  )\n",
       ")], add_time=True)"
      ]
     },
     "execution_count": 70,
     "metadata": {},
     "output_type": "execute_result"
    }
   ],
   "source": [
    "learn_lm.load('Ar-LM-epoch1-acc43')"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 9,
   "metadata": {},
   "outputs": [
    {
     "data": {
      "text/plain": [
       "'ال+ ماء من اهم  مناطق فلسطين ال+ صناعيه ال+ شمول ال+ نهري شيوعا في فلسطين حيث ان + ه مثبط ل + ها , و+ مغطاه و+ هي محصنه من بنيه متناظر , ب+ اسنان + ها ال+ ثاقب , و+ ال+ اخشاب ال+'"
      ]
     },
     "execution_count": 9,
     "metadata": {},
     "output_type": "execute_result"
    }
   ],
   "source": [
    "learn_lm.predict('ال+ ماء من اهم ', n_words=40)"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 32,
   "metadata": {},
   "outputs": [
    {
     "data": {
      "text/plain": [
       "'درس ال+ ولد  في ال+ صف ال+ اول تعلم ال+ صف ال+ اخير كتاب تفسير ابي صامت ل+ ال+ علامه سعيد احمد ف+ ال+ ين كتاب السيوطي ال+ مشرف علي ال+ تكمله في ال+ مدرسه ال+'"
      ]
     },
     "execution_count": 32,
     "metadata": {},
     "output_type": "execute_result"
    }
   ],
   "source": [
    "learn_lm.predict('درس ال+ ولد ', n_words=33)"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {},
   "outputs": [],
   "source": [
    "# train more..."
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 71,
   "metadata": {},
   "outputs": [
    {
     "data": {
      "text/html": [],
      "text/plain": [
       "<IPython.core.display.HTML object>"
      ]
     },
     "metadata": {},
     "output_type": "display_data"
    },
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "LR Finder is complete, type {learner_name}.recorder.plot() to see the graph.\n"
     ]
    },
    {
     "data": {
      "image/png": "iVBORw0KGgoAAAANSUhEUgAAAYUAAAEKCAYAAAD9xUlFAAAABHNCSVQICAgIfAhkiAAAAAlwSFlzAAALEgAACxIB0t1+/AAAADl0RVh0U29mdHdhcmUAbWF0cGxvdGxpYiB2ZXJzaW9uIDMuMC4zLCBodHRwOi8vbWF0cGxvdGxpYi5vcmcvnQurowAAIABJREFUeJzt3Xl8XXWd//HXJ3vSbF3SNl1DSylLoaUUZPkNq8M2UFDh98PRGUFnUEdFh1EHxoc6w4yOiDOI+lNkQMRRBlkGWVQ2mQqILCl0oy10b9MkTdo0+3rv/cwf9ySEkLQpzblb3s/H4z567znfe887t8n93HO+3/M95u6IiIgAZCU7gIiIpA4VBRERGaCiICIiA1QURERkgIqCiIgMUFEQEZEBKgoiIjJARUFERAaoKIiIyICcZAc4VFOmTPGqqqpkxxARSSsrV67c6+4VB2uXdkWhqqqK6urqZMcQEUkrZrZjNO10+EhERAaoKIiIyAAVBRERGaCiICIiA1QURERkgIqCiIgMUFEQEZEBKgoiImngu8+8xfObGkPfjoqCiEiK64vGuO13m3h1W1Po21JREBFJcQ1tPbhDZXlh6NtSURARSXH1LV0ATC8rCH1bKgoiIimurqUbgEoVBRERqWvuLwo6fCQiMu7VtXRTlJdNaUH4E1urKIiIpLj61i6mlxVgZqFvS0VBRCTF1TZ3MyMBh45ARUFEJOXVt3QnZOQRqCiIiKS0SDRGQ1s3MzKhKJhZuZk9aGYbzWyDmZ02ZL2Z2ffMbLOZrTGzpWHmERFJNw1tPcQcpifo8FHYXdm3AU+4+xVmlgcUDVl/EbAguL0P+FHwr4iIkNhzFCDEPQUzKwXOBO4CcPded28e0uwy4Gce9xJQbmaVYWUSEUk39f1FoTzNiwIwD2gE7jaz183sTjObMKTNTGDXoMc1wTIREQHqgikuKkvTf/RRDrAU+JG7nwh0ADcMaTPcoFsfusDMrjWzajOrbmwMf+pYEZFUUdfSTWFuNqWF4Z+4BuEWhRqgxt1fDh4/SLxIDG0ze9DjWUDt0Bdy9zvcfZm7L6uoqAglrIhIKqpr6aKyPDEnrkGIRcHd64FdZrYwWHQesH5Is0eBvwxGIZ0KtLh7XViZRETSTV1Ld8I6mSH80UefA34RjDzaClxjZp8CcPfbgd8AFwObgU7gmpDziIiklfqWbk6fPyVh2wu1KLj7KmDZkMW3D1rvwGfCzCAikq4i0Rh7WruZkaCRR6AzmkVEUlZje/+JayoKIiLjXqJPXAMVBRGRlJXIi+v0U1EQEUlRAyeuaU9BRETqW7opyM2irDA3YdtUURARSVF1LfGL6yTqxDVQURARSVl1LV0JHXkEKgoiIikrkVdc66eiICKSgqIxZ09bT8KuzdxPRUFEJAU1tvUQjbn2FERE5O3hqImc4gJUFEREUlL/2czTE3RxnX4qCiIiKSgZU1yAioKISEqqb+miIDeL8qLEnbgGKgoiIimptqWb6aWJu+JaPxUFEZEUtKupk9mTihK+XRUFEZEU4+5s29tB1eQJCd+2ioKISIpp7uyjrTvC3MnaUxARGfe27+sA0J6CiIjAjn2dAFRN0Z6CiMi4t31fB2Ywa6KKgojIuLdzXyczygopyM1O+LZVFEREUsz2fR1J6WQGFQURkZSzY19n0opCTpgvbmbbgTYgCkTcfdmQ9WcDjwDbgkX/7e43hZlJRCSVtXb3sa+jl7lJGHkEIReFwDnuvvcA659390sSkENEJOXt7B95pMNHIiLSf45CsvYUwi4KDjxlZivN7NoR2pxmZqvN7LdmdtxwDczsWjOrNrPqxsbG8NKKiCRZ/zkKGdmnAJzh7rVmNhV42sw2uvtzg9a/Bsx193Yzuxj4FbBg6Iu4+x3AHQDLli3zkDOLiCTN9r0dTC3JpygvEUf33y3UPQV3rw3+bQAeBk4Zsr7V3duD+78Bcs1sSpiZRERS2Y59nUmZ3qJfaEXBzCaYWUn/feB8YN2QNtMtmCzczE4J8uwLK5OISKpL5jkKEO7ho2nAw8Fnfg5wr7s/YWafAnD324ErgE+bWQToAq5ydx0eEpFxqbM3QkNbD1VTkrenEFpRcPetwOJhlt8+6P4PgB+ElUFEJJ3sbEpuJzNoSKqISMrYvrf/HIUM7FMQEZFDsyM4R2GO9hRERGT7vk4mTcijtCA3aRlUFEREUsSOJI88AhUFEZGUkexzFEBFQUQkJXT3Ralt6dKegoiIQM3+TtyTO/IIVBRERFJC/3BU7SmIiAhbGtsBOCKJZzODioKISErYWN9GZVkB5UV5Sc2hoiAikgI21LVy9PSSZMdQURARSbbeSIzNDe0cU1ma7CgqCiIiyba5oZ1IzDlaRUFERDbWtwJwbKUOH4mIjHsb6lrJz8lK+jkKoKIgIpJ0G+raOGpaCTnZyf9ITn4CEZFxbmN9K8ekwKEjUFEQEUmqhrZu9rb3cvT05Hcyg4qCiEhSbaxrA0iJ4aigoiAiklQb6uIjj3T4SEREUmZ6i34qCiIiSbShrjVlDh2BioKISNL0T2+RCnMe9Qu1KJjZdjNba2arzKx6mPVmZt8zs81mtsbMloaZR0QklfRPb5FKewo5CdjGOe6+d4R1FwELgtv7gB8F/4qIZLz+6S1SpZMZkn/46DLgZx73ElBuZpVJziQikhCpNL1Fv7CLggNPmdlKM7t2mPUzgV2DHtcEy0REMt6GujYWTk+N6S36hZ3kDHdfSvww0WfM7Mwh622Y5/jQBWZ2rZlVm1l1Y2NjGDlFRBJuY31qXFhnsFCLgrvXBv82AA8DpwxpUgPMHvR4FlA7zOvc4e7L3H1ZRUVFWHFFRBJmT2t8eotU6mSGEIuCmU0ws5L++8D5wLohzR4F/jIYhXQq0OLudWFlEhFJFdXb9wOwdM7EJCd5pzBHH00DHjaz/u3c6+5PmNmnANz9duA3wMXAZqATuCbEPCIiKePV7U0U5WVz3IzU2lMIrSi4+1Zg8TDLbx9034HPhJVBRCRVvbytiaVzJqZUJzMkf0iqiMi409LVx8b6Vk6umpTsKO+ioiAikmCv7diPO5x8RGr1J4CKgohIwr2yvYncbOPE2SoKIiLj3qvbmlg0s4zCvOxkR3kXFQURkQTq7ouyuqaZU45Ivf4EUFEQEUmoVbua6Ys6p6RgJzOMsiiY2Xwzyw/un21m15lZebjRREQyz6vbmjCDZXPTuCgADwFRMzsSuAs4Arg3tFQiIhnqle1NLJxWQllRbrKjDGu0RSHm7hHgA8B33f1vAU1xLSJyCCLRGK/t2J+S5yf0G21R6DOzDwMfAx4PlqVmmRMRSVHr61rp6I1ycop2MsPoi8I1wGnAN9x9m5kdAfw8vFgiIpnnlW1NACnbyQyjnPvI3dcD1wGY2USgxN2/FWYwEZFM8+r2JmZPKmR6WUGyo4xotKOPVphZqZlNAlYDd5vZv4cbTUQkc3T1RvnD5n2cMX9KsqMc0GgPH5W5eyvwQeBudz8JeH94sUREMsszG/bQ3hNh+ZIZyY5yQKMtCjlmVgn8X97uaBYRkVF6ZNVuppcWcOoRk5Md5YBGWxRuAp4Etrj7q2Y2D9gUXiwRkczR1NHLijcbWb5kBllZw12aPnWMtqP5AeCBQY+3Ah8KK5SISCb59do6IjHn8iUzkx3loEbb0TzLzB42swYz22NmD5nZrLDDiYhkgkde381R04o5prIk2VEOarSHj+4GHgVmADOBx4JlIiJyALuaOqnesZ/LlswkuGZ9ShttUahw97vdPRLcfgpUhJhLRCQjPLJqNwCXpfioo36jLQp7zeyjZpYd3D4K7AszmIhIunN3frWqllOqJjFrYlGy44zKaIvCx4kPR60H6oAriE99ISIiI3ijtpXNDe1cdmJ67CXAKIuCu+909+XuXuHuU939cuInsomIyAjue3UnudnGnx2fPpNKH86V164fsxQiIhlmT2s391fX8KGlsygvykt2nFE7nKIwqm70oA/idTN715nQZna1mTWa2arg9leHkUdEJGX8+Pdbicacvzn7yGRHOSSjOnltBD7Kdp8HNgClI6z/pbt/9jByiIiklMa2Hu59ZQeXL5nJnMnp0cHc74B7CmbWZmatw9zaiJ+zcEDBCW5/Btw5RnlFRFLenc9vpTcS4zPnzE92lEN2wKLg7iXuXjrMrcTdR7OX8V3gy0DsAG0+ZGZrzOxBM5s9XAMzu9bMqs2surGxcRSbFRFJjqaOXv7zpR1cungG8yqKkx3nkB1On8IBmdklQIO7rzxAs8eAKnc/AXgGuGe4Ru5+h7svc/dlFRU6Z05EUtdPXthGV1+Uz56TXn0J/UIrCsAZwHIz2w7cB5xrZu+4hKe773P3nuDhfwAnhZhHRCRULZ19/PTF7Vy8qJIF01J/nqPhhFYU3P1Gd5/l7lXAVcCz7v7RwW2CazT0W068Q1pEJC3d8fwW2nsifPbc9NxLgMMbffSemNlNQLW7PwpcZ2bLgQjQBFyd6DwiImOhsa2Hu/+wnUsXz+CYypEGW6a+hBQFd18BrAjuf23Q8huBGxORQUQkTD9csZmeSIy/ff+CZEc5LGH2KYiIjAu7m7v4xUs7uWLprLQccTSYioKIyGH6/u/iVye+Ls33EkBFQUTksGxtbOeBlTV85NQ5zCwvTHacw6aiICJyGG59ZhN52VlpN8fRSFQURETeo9d37uex1bV8/P9UUVGSn+w4Y0JFQUTkPXB3bnp8PRUl+Xw6Q/YSQEVBROQ9eWRVLa/vbOZLFyykOD/hp3yFRkVBROQQdfZG+NZvN3L8zDKuWDor2XHGlIqCiMghuv33W6lv7ebrlx5LVtaorjeWNlQUREQOQc3+Tn78+y1cungGy6omJTvOmFNREBE5BN/8zQbM4IaLjk52lFCoKIiIjNKzG/fwm7X1fObsIzPiRLXhqCiIiIxCZ2+Er/7qDY6cWswnz0q/y2yOVuaMoxIRCdF3n9nE7uYu7v/kaeTlZO736cz9yURExsgbtS3c9cI2rjp5NqcckXmdy4OpKIiIHEA05vzDw+uYWJSbsZ3Lg6koiIgcwE9f3M7qXc189ZJjKS/KS3ac0KkoiIiMYEtjO99+YiPnHj2V5YtnJDtOQqgoiIgMIxKN8cUHVlOQm823Png8Zpl15vJINPpIRGQYdzy/ldd3NnPbVUuYWlqQ7DgJoz0FEZEhNta38t2nN3HRounj5rBRPxUFEZFBeiMx/u7+1ZQU5PAvly8aN4eN+unwkYjIIP/+9Fu8UdvKj//iJCYXZ8bV1A5F6HsKZpZtZq+b2ePDrMs3s1+a2WYze9nMqsLOIyIykhe37OXHz23hw6fM5oLjpic7TlIk4vDR54ENI6z7BLDf3Y8EbgVuTkAeEZF3ae7s5fpfruaIyRP46iXHJjtO0oRaFMxsFvBnwJ0jNLkMuCe4/yBwno23A3giknTuzo3/vZZ9HT3cdtWJFOWN3yPrYe8pfBf4MhAbYf1MYBeAu0eAFmByyJlERN7hgeoafruunr87fyHHzypLdpykCq0omNklQIO7rzxQs2GW+TCvda2ZVZtZdWNj45hlFBHZUNfK1x5dx2nzJnPtn8xLdpykC3NP4QxguZltB+4DzjWznw9pUwPMBjCzHKAMaBr6Qu5+h7svc/dlFRUVIUYWkfGkpauPT/98JaUFudz24SUZd73l9yK0ouDuN7r7LHevAq4CnnX3jw5p9ijwseD+FUGbd+0piIiMtVjM+eIDq6nZ38UPP7KUqSXj56zlA0n4yWtmdpOZLQ8e3gVMNrPNwPXADYnOIyLj0+3PbeHp9Xu48eJjWFaV2ddIOBQJ6WJ39xXAiuD+1wYt7wauTEQGEZF+L27ey3eefJNLTqjk42dUJTtOStE0FyIyruxp7ea6+15nXkUxN3/ohHE3jcXBjN/BuCIy7kSiMT73X6/T0RPlv/56KRPy9RE4lN4RERk3/u3pt3hlWxO3/r/FLJhWkuw4KUmHj0RkXPjdhj38aEV8XqMPnDgr2XFSloqCiGS8XU2dXH//ao6tLOXrlx6X7DgpTUVBRDJaZ2+Ev/5ZNTF3fviRpRTkZic7UkpTURCRjOXufOmBNby1p43vf/hEqqZMSHaklKeiICIZ64crtvDrtXV8+cKjOXvh1GTHSQsqCiKSkZ7duIfvPPUmyxfP4JNnaqK70VJREJGMs7u5i8/ft4pjK0t1gtohUlEQkYwSizl/d/8qYrF4x3JhnjqWD4WKgohklDtf2MpLW5v4+qXHMXeyOpYPlYqCiGSM9bWt3PLkm1xw3DSuXKYT1N4LFQURyQjdfVG+8MvXKS/K418/qH6E90pzH4lI2nN3bnp8PW/taeen15zMpAl5yY6UtrSnICJp74crtnDvyzv55FnzdD7CYVJREJG09uDKGm558k0uWzKDv7/g6GTHSXsqCiKStla82cAND63hjCMnc8sVi8nKUj/C4VJREJG0tG53C3/zi9dYMK2E2z96Enk5+jgbC3oXRSTt1Ld084l7XqW8MJd7rjmZkoLcZEfKGBp9JCJppaMnwifueZX27ggPfvp0ppYWJDtSRlFREJG0EY05X/jlKjbUtXLXx07mmMrSZEfKODp8JCJp4+YnNvL0+j189ZJjOedoDT0NQ2hFwcwKzOwVM1ttZm+Y2T8N0+ZqM2s0s1XB7a/CyiMi6cvdufmJjdzx3Fb+4tS5XH16VbIjZawwDx/1AOe6e7uZ5QIvmNlv3f2lIe1+6e6fDTGHiKSxaMz52iPr+MXLO/nz983hH5cfpyksQhRaUXB3B9qDh7nBzcPanohknr5ojOvvX81jq2v59Nnz+fIFC1UQQhZqn4KZZZvZKqABeNrdXx6m2YfMbI2ZPWhms8PMIyLpY3dzF3951ys8trqWGy46mr+/8GgVhAQItSi4e9TdlwCzgFPMbNGQJo8BVe5+AvAMcM9wr2Nm15pZtZlVNzY2hhlZRJLM3bn35Z1ccOtzrK5p5jtXLuZTZ81Pdqxxw+JHeRKwIbOvAx3u/p0R1mcDTe5edqDXWbZsmVdXV4cRUUSSbNveDr76q3W8sHkvp82bzLevOIHZk4qSHSsjmNlKd192sHah9SmYWQXQ5+7NZlYIvB+4eUibSnevCx4uBzaElUdEUtf2vR18/9nN/GrVbgpysviXyxfx56fM0VxGSRDm6KNK4J5gDyALuN/dHzezm4Bqd38UuM7MlgMRoAm4OsQ8IpJi1ta0cPeL23hkVS252cY1p1dx7VnzmFqis5STJWGHj8aKDh+JpLeOngiPra7l3ld2sqamhYLcLD76vrkqBiFL+uEjEZF+2/Z2sOLNBla82chLW/fRE4mxcFoJ/7T8OC4/cSZlhZrQLlWoKIikoN5IjKaOXvZ19NDU0UtXb5SYO9EYOE5hbjZFeTkU5+dQmJdNdpaRbYYZ5GQb2VlGTlYW2WY4TiTmxGJOzAnWGTnZRjTmtHT1DdwaWnuob+2mtrmLve09FOXlUF6Uy6SiPEoKcsjOMsyMrOB13eOjhaIxpzcao7svRndflPaeCLXN3exu7mL3/k5auyMAHDFlAh8+ZQ6XnFDJSXMnaohpCho3ReG1nfu59em3WDSzjEUzylg0s5Q5k4r0SykJE4s5XX1ROnojdPVGaeuO0NrVR2t3hKaOXjY3tLOpoY1Ne9qpb+1OataJRblUlOTT2RulubOP9p7IqJ+bk2UU5mUzo6yQWRMLOblqIgumFnPmURXMnTwhxNQyFsZNUWgP/vDufH4rfdF4P0p+ThaVZQVUlhVSWVbA0rkTuWjRdCYX5yc5raSTaMzZ19FDQ2sPdS3d1LV0sbu5i/qWbhpae2ho66axrWfg2/JICnKzOHJqMafPn8zcyROYUpLH5Al5TJqQT1FeNllmwTd16OqNF5eOniidvZGBvYhYzIkG39yjsfgeQpbF9w6ygm/4UXci0RjRmJNlRllhLqWFuZQVxgtBZVkBBbnZ78jWG4nR3hPfTsydWAzM4rf+183LyaIgJ4ucbM2zmc7GXUdzTyTKpj3trNvdwpbGdupauqlv6aZmfxf1rd1kZxmnz5/MpSfM4LITZ5Cfk33wF5Vxo7Gth5U79vPazv28tmM/O5s62dfRSzT2zr+jvOwsppXlM62kgIqSfKaW5FNelMeE/GwK83Ioys2mpCCH0sJcSgpyKC/Ko7K0QEMwJTSj7Wged0VhJO7Oxvo2Hl9Ty+Nr6tixr5OF00q45coTOGFW+ZhvT1JbTyTKG7WtrNnVzObGdrY0dLClsZ2Gth4g/qG/aGYpR04tZmpJAVNL4x/8lWWFVJYXMGVCvj7gJaWoKBwGd+fZjQ38w8Nr2dvey6fOmsd15y3QXkOGikRjbGns4I3aFtbtbuX1Xft5Y3crvdEYAKUFOcyfWsz8imKOmlbMSXMnctyMsncdYhFJZRqSehjMjPOOmcZTVZP4xq/X8///ZwtPvbGH71y5mMWztdeQbD2RKK1dEfJzsyjKzR7VMezuvii1zV3U7O9i1/5Odu7rZMe+TnY2dbKlsZ2eSLwAFORmcfzMMq45o4oT55SzZPZEppXma0CCjBvaUxiFFW82cMNDa2ls79FeQwL0RmLsae1mV1Mnm4IROZsb2tnT2sPe9h7ahnTY5udkUVqYy9Tg2P3UkgIiMWdvew+NbT00tMWfN1heThazJxYyZ1IR8yuKOW5mKYtmlHHElAnqKJWMpMNHY6ylq49/eXw9D6ysYeG0Er75weM5ae7EhOfIJJ29EdbXtrJ2dwtrd7fw1p426lu62dve+452JQU5LJhazIzyQqYU5zN5Qh5lRbn0RmIDo29auvpoaIuP9NnT2kNuljGlJJ+K4nymFOczc2J8eOTsSUXMLC9kujp1ZZxRUQjJsxv3cMNDa2lo6+HUeZP45FnzOfuoCh1eOAB3Z19HL1sbO1hf28Ka3S2s293C5oZ2+gftVJTkc0xl6cAH9vSyfGZNLGLB1GIqSnT4RuRwqSiEqL0nwn2v7OSuF7ZR19LN0dNLuGzJTM48agrHVpaOyw+waHC4pq6lmx37Oti+t5Md+zrYureDrY3t7xijP6U4n+NnlnL8zDKOn1XO8TPLdNxeJGQqCgnQG4nx2OpafvKHbbxR2wrEP/DOXDCF846ZxlkLKyjOT4++fPf4FAjRmNMdibK2poVXtjXx6vYmNjW0U5CbxYS8HCbk55CTFZ8eoS8WPwmqqaOXhraed43Vn1FWwNzJE5g/dQLzphQzr2ICR08vVQEQSQIVhQTb09rN85v28vymRp57q5H9nX3kZWdx2vzJ/Omx0zj/uGkpMQOku7OpoZ1XtzfxVn0bG+vbeGtPG/s7+97V1gyOmV7KcTNKicScjp4IHb0R+qJObraRnZVFbpZRXpTH9LL84LBPIXMnFzFnUpGGbIqkEBWFJIrGnJU79vP0+nqeXr+H7fs6MYOT5kzkwkXTOW3+ZI6cWnxYI5g6eyNs3xt/3Zys+PQH0ZjT1hOhrTtCe3d8SoLsYF13X5Q/btnH799qpK4lPq9OcX4OR00rZuH0EiqK88nOyiI7C3Kys1g4vYST5k6ktECzV4pkAhWFFOHuvLWnnSfW1fPbdXVsrG8D4h/kR04t5tjKUo6fVcbi2eUcW1lKQW427s7+zj7qW7pp7uylvSdCe098hM2GulZW72phU0MbsUP8ryvJz+GMI6dw9sIKTp8/hdmTCnUYR2ScUFFIUTv3dbK6ppn1da1sqGvljdpWGoOpE3KyjKkl+ext7x04m3aoiUW5LJ5dzgmzyjl6eglZBpFg8jMzi8+nU5BDcX4u2VnxdZFofOKzBdOKydUYfJFxSWc0p6g5k4uYM7mISxfPGFhW39LNql3NrK5ppr6lm6kl+UwrLWB6WQETg3nsi/NzKC7IYfKEPH27F5HQqCikgOllBVxYNp0LF01PdhQRGed0LEFERAaoKIiIyAAVBRERGaCiICIiA1QURERkgIqCiIgMUFEQEZEBKgoiIjIg7aa5MLMWYNMwq8qAlgMsG7q+//FwbaYAe99DvOEyjGb9SNmGezzc/VTJPZqsg++HnXs0GUdadqC8g5cl+z0fL78rg+8nO3u6vudz3b3ioFtz97S6AXeMdvngZUPX9z8erg1QPZbZDjX7gR6PkDclco8mayJzjybjobzn+l1J3u9KKmVP5/d8NLd0PHz02CEsf+wA6x8bRZtDdbDnjzb7gR4Pdz9Vcg9dluzcI7UZzbKD5U2V93y8/K6MZtsHo/d8FNLu8FEimFm1j2I2wVSj3ImXrtnTNTekb/Z0yZ2OewqJcEeyA7xHyp146Zo9XXND+mZPi9zaUxARkQHaUxARkQEZXRTM7Cdm1mBm697Dc08ys7VmttnMvmeDrmxjZp8zszfN7A0z+/bYph7YxphnN7N/NLPdZrYquF2cDrkHrf+imbmZTRm7xO94/TDe8382szXB+/2Umc042GulSO5bzGxjkP1hMytPk9xXBn+XMTMb8+P3h5N5hNf7mJltCm4fG7T8gH8LoXovQ5bS5QacCSwF1r2H574CnAYY8FvgomD5OcAzQH7weGoaZf9H4Ivp9p4H62YDTwI7gCnpkh0oHdTmOuD2NMl9PpAT3L8ZuDlNch8DLARWAMtSJXOQp2rIsknA1uDficH9iQf6+RJxy+g9BXd/DmgavMzM5pvZE2a20syeN7Ojhz7PzCqJ/zH/0eP/Qz8DLg9Wfxr4lrv3BNtoSKPsoQsx963Al4HQOsHCyO7urYOaTggjf0i5n3L3SND0JWBWmuTe4O5vjnXWw808gguAp929yd33A08DFyb7bziji8II7gA+5+4nAV8EfjhMm5lAzaDHNcEygKOAPzGzl83s92Z2cqhp3+lwswN8Njgk8BMzmxhe1Hc4rNxmthzY7e6rww46jMN+z83sG2a2C/gI8LUQsw42Fr8r/T5O/NtqIoxl7kQZTebhzAR2DXrc/3Mk9ecbV9doNrNi4HTggUGH6PKHazrMsv5veDnEd/VOBU4G7jezeUFFD80YZf8R8M/B438G/o34H3xoDje3mRUBXyF+OCOhxug9x92/AnzFzG4EPgt8fYyjvjPMGOUOXusrQAT4xVhmHM5Y5k7GOu3/AAAEvElEQVSUA2U2s2uAzwfLjgR+Y2a9wDZ3/wAj/xxJ/fnGVVEgvmfU7O5LBi80s2xgZfDwUeIfnoN3l2cBtcH9GuC/gyLwipnFiM9p0hhmcMYgu7vvGfS8/wAeDzNw4HBzzweOAFYHf3SzgNfM7BR3r0/x7EPdC/yakIsCY5Q76Pi8BDgv7C89gbF+vxNh2MwA7n43cDeAma0Arnb37YOa1ABnD3o8i3jfQw3J/PkS1XmRrBtQxaBOIeBF4MrgvgGLR3jeq8T3Bvo7ei4Oln8KuCm4fxTx3T9Lk+yVg9r8LXBfOuQe0mY7IXU0h/SeLxjU5nPAg2mS+0JgPVAR1nsd5u8KIXU0v9fMjNzRvI34kYeJwf1Jo/n5Qv0/SdSGknED/guoA/qIV99PEP/W+QSwOvil/9oIz10GrAO2AD/g7RP98oCfB+teA85No+z/CawF1hD/xlWZDrmHtNlOeKOPwnjPHwqWryE+F83MNMm9mfgXnlXBLYxRU2Hk/kDwWj3AHuDJVMjMMEUhWP7x4L3eDFxzKH8LYd10RrOIiAwYj6OPRERkBCoKIiIyQEVBREQGqCiIiMgAFQURERmgoiAZwczaE7y9O83s2DF6rajFZ1FdZ2aPHWxGUjMrN7O/GYttiwylIamSEcys3d2Lx/D1cvztCeFCNTi7md0DvOXu3zhA+yrgcXdflIh8Mr5oT0EylplVmNlDZvZqcDsjWH6Kmb1oZq8H/y4Mll9tZg+Y2WPAU2Z2tpmtMLMHLX5tgV/0z2sfLF8W3G8PJr1bbWYvmdm0YPn84PGrZnbTKPdm/sjbEwEWm9nvzOw1i8+tf1nQ5lvA/GDv4pag7ZeC7awxs38aw7dRxhkVBclktwG3uvvJwIeAO4PlG4Ez3f1E4rOWfnPQc04DPubu5waPTwS+ABwLzAPOGGY7E4CX3H0x8Bzw14O2f1uw/YPOXRPM8XMe8bPNAbqBD7j7UuLX8fi3oCjdAGxx9yXu/iUzOx9YAJwCLAFOMrMzD7Y9keGMtwnxZHx5P3DsoNkrS82sBCgD7jGzBcRnn8wd9Jyn3X3wfPmvuHsNgJmtIj7vzQtDttPL25MLrgT+NLh/Gm/Pg38v8J0RchYOeu2VxOfVh/i8N98MPuBjxPcgpg3z/POD2+vB42LiReK5EbYnMiIVBclkWcBp7t41eKGZfR/4H3f/QHB8fsWg1R1DXqNn0P0ow//N9PnbnXMjtTmQLndfYmZlxIvLZ4DvEb/+QgVwkrv3mdl2oGCY5xvwr+7+40Pcrsi76PCRZLKniF+/AAAz65/euAzYHdy/OsTtv0T8sBXAVQdr7O4txC/Z+UUzyyWesyEoCOcAc4OmbUDJoKc+CXw8mNsfM5tpZlPH6GeQcUZFQTJFkZnVDLpdT/wDdlnQ+bqe+LTnAN8G/tXM/gBkh5jpC8D1ZvYKUAm0HOwJ7v468dk2ryJ+YZtlZlZNfK9hY9BmH/CHYAjrLe7+FPHDU380s7XAg7yzaIiMmoakioQkuGpcl7u7mV0FfNjdLzvY80SSSX0KIuE5CfhBMGKomZAvfSoyFrSnICIiA9SnICIiA1QURERkgIqCiIgMUFEQEZEBKgoiIjJARUFERAb8L3phkOH4r694AAAAAElFTkSuQmCC\n",
      "text/plain": [
       "<Figure size 432x288 with 1 Axes>"
      ]
     },
     "metadata": {
      "needs_background": "light"
     },
     "output_type": "display_data"
    }
   ],
   "source": [
    "learn_lm.unfreeze()\n",
    "#learn_lm.freeze_to(-1)\n",
    "learn_lm.lr_find()\n",
    "learn_lm.recorder.plot()"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 57,
   "metadata": {},
   "outputs": [
    {
     "data": {
      "text/html": [
       "Total time: 19:09:42 <p><table border=\"1\" class=\"dataframe\">\n",
       "  <thead>\n",
       "    <tr style=\"text-align: left;\">\n",
       "      <th>epoch</th>\n",
       "      <th>train_loss</th>\n",
       "      <th>valid_loss</th>\n",
       "      <th>accuracy</th>\n",
       "      <th>time</th>\n",
       "    </tr>\n",
       "  </thead>\n",
       "  <tbody>\n",
       "    <tr>\n",
       "      <td>0</td>\n",
       "      <td>3.363239</td>\n",
       "      <td>3.758562</td>\n",
       "      <td>0.371429</td>\n",
       "      <td>11:49:32</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <td>1</td>\n",
       "      <td>3.410845</td>\n",
       "      <td>3.742307</td>\n",
       "      <td>0.371429</td>\n",
       "      <td>3:28:51</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <td>2</td>\n",
       "      <td>3.249457</td>\n",
       "      <td>3.634851</td>\n",
       "      <td>0.414286</td>\n",
       "      <td>3:51:16</td>\n",
       "    </tr>\n",
       "  </tbody>\n",
       "</table>"
      ],
      "text/plain": [
       "<IPython.core.display.HTML object>"
      ]
     },
     "metadata": {},
     "output_type": "display_data"
    }
   ],
   "source": [
    "learn_lm.fit_one_cycle(3, slice(1e-3/(2.6**4),1e-3),\n",
    "    callbacks=[SaveModelCallback(learn_lm, every='epoch', monitor='accuracy', name='Ar-LM_unfreeze_1e-3')])"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 54,
   "metadata": {},
   "outputs": [],
   "source": [
    "learn_lm.save('Ar-LM-epoch4-acc443')"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 58,
   "metadata": {},
   "outputs": [
    {
     "data": {
      "text/plain": [
       "'قال ال+ ولد  لقد ذكر احمال ما هو كلام الله يرمز الي ال+ حوار ان + ه فاءده فساد ال+ تغير , و+ يلعب ب+ ال+ طرد من + ه , و+ يجبر ال+ جماهير علي'"
      ]
     },
     "execution_count": 58,
     "metadata": {},
     "output_type": "execute_result"
    }
   ],
   "source": [
    "learn_lm.predict('قال ال+ ولد ', n_words=33)"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 59,
   "metadata": {},
   "outputs": [
    {
     "data": {
      "image/png": "iVBORw0KGgoAAAANSUhEUgAAAYoAAAEKCAYAAAAMzhLIAAAABHNCSVQICAgIfAhkiAAAAAlwSFlzAAALEgAACxIB0t1+/AAAADl0RVh0U29mdHdhcmUAbWF0cGxvdGxpYiB2ZXJzaW9uIDMuMC4zLCBodHRwOi8vbWF0cGxvdGxpYi5vcmcvnQurowAAIABJREFUeJztnXecVNX1wL+HLfS6LIoiLh3pZcWOIETBgiUmihoVY0xMsf00GjUqlogxMSaxN4zGrlEUBUQFFZQuXZqwIL33tuX+/nhvdmdn5715U97M7M75fj7z2dk399175s1799x7zrnnijEGRVEURXGiVqoFUBRFUdIbVRSKoiiKK6ooFEVRFFdUUSiKoiiuqKJQFEVRXFFFoSiKoriiikJRFEVxRRWFoiiK4ooqCkVRFMWV7FQLEC3Nmzc3BQUFqRZDURSlWjF79uytxpj8WM6tdoqioKCAWbNmpVoMRVGUaoWIrI71XDU9KYqiKK6oolAURVFcUUWhKIqiuFLtfBThKC4uZu3atRw8eDDVotQY6tSpQ6tWrcjJyUm1KIqipJgaoSjWrl1Lw4YNKSgoQERSLU61xxjDtm3bWLt2LW3atEm1OIqipJgaYXo6ePAgeXl5qiQShIiQl5enMzRFUYAaoigAVRIJRq+noigBaoTpSanGfPEgZNeB3AaQWw9y61vvcwLvg1459SE7N9USK0rGoYoiAWzbto1BgwYBsHHjRrKyssjPtxZAzpgxg9zcyJ3biBEjuOOOO+jUqZOvsqYVpSUw5R9QVuL9nFo5tkJpYCuPepWVTE6wcqkXonScytWHrFzQWZSihEUVRQLIy8tj7ty5ANx33300aNCAW2+9tVIZYwzGGGrVCm/tGz16tO9yph1Z2XDPNig5DIf3wuF9ULzffr/f+v/wXvvYvsqv4sB7+7N9W2BHUeUyZcXeZamVHaQ8XGY2OUFKyosiyq6tCkip9qii8JEVK1ZwwQUXcOqppzJ9+nTGjh3LyJEjmTNnDgcOHOCSSy7hnnvuAeDUU0/liSeeoFu3bjRv3pzf/OY3jBs3jnr16jFmzBhatGiR4m/jI9m5kN0M6jVLbL0lh0MUSrDSCVJGoWXKFdY+2L8Ndq6pXK70sHcZJCtEyYQxpwUrnYizpIACqqMKSEkaNU5RjPxoEYvX705onV2OasS953WN6dzFixczevRonnnmGQBGjRpFs2bNKCkpYeDAgVx88cV06dKl0jm7du3i9NNPZ9SoUdxyyy289NJL3HHHHXF/j4wjO9d61W2a2HpLiysrk7BKJ3j2E2aWdGAH7FpbWTmVHvIug9SqOgPyonQizZJy6qoCUqpQ4xRFutGuXTuOP/748v/feOMNXnzxRUpKSli/fj2LFy+uoijq1q3L0KFDAejbty9ff/11UmVWIpCVA3WbWK9EUlpiKxovSsdhlnRwF+xeX3mWVHIgCiHEUhgNj4T2P4FOQ6D1yRpEkOHUOEUR68jfL+rXr1/+fvny5fzzn/9kxowZNGnShCuuuCLsWoVg53dWVhYlJVE4e5XqS1Y2ZDWGOo0TW29ZacgMKJyvZ1/lMluXwezRMP1pqN0I2p0BnYZayqN+XmLlU9KeGqco0pndu3fTsGFDGjVqxIYNG5gwYQJDhgxJtVhKTadWFtRpZL2i4fA+WPklLBsPyybA4g8sk1erftDxLEtx5HdWU1UGoIoiifTp04cuXbrQrVs32rZtyymnnJJqkRTFmdz60Pls61VWBhvmWgpj2Tj4fKT1anIsdBximaiOPcWK8lJqHGKMSbUMUVFYWGhCNy76/vvvOe6441IkUc1Fr6viyO71ttKYACsnW36Q3AaWiarjEOhwJjSIaTM1xSdEZLYxpjCWc3VGoShK9DQ6CgpHWK/D+6Hoa1g6zlIc338ICLQ6vsJE1aKLmqiqMaooFEWJj9x6lkLoeBYYAxvnw9LxlonqiwesV+PWdpkhUHAq5NRJtdRKFKiiUBQlcYhAy57Wa8DtsGdjhYlq7msw83lrvUe7gZbS6HgWNKjBi0lrCKooFEXxj4ZHQt+rrFfxASiaUmGiWjLWKnN0X+g41FIaR3ZXE1Ua4puiEJE6wFdAbbudd40x94aU+Qcw0P63HtDCGJPgVUyKoqQFOXWhw0+slzGwaaFtohoPkx6CSQ9Co6NtE9VQaNNfTVRpgp8zikPAGcaYvSKSA0wRkXHGmGmBAsaYmwPvReQPQG8f5VEUJV0QsWYPR3aH02+DvZth+afWbGPeWzDrJSu1SNsBFSaqhkemWuqMxbeNi4zFXvvfHPvlFos7HHjDL3n8ZMCAAUyYMKHSsccff5zf/va3juc0aNAAgPXr13PxxRc71hsaChzK448/zv79+8v/P/vss9m5c6dX0RUlPWjQAnpfAZe+Bn9cCVe8B70uh40L4KMb4O+d4LkBMPkRWD/XmpEoScPXHe5EJEtE5gKbgYnGmOkO5Y4F2gBf+CmPXwwfPpw333yz0rE333yT4cOHRzz3qKOO4t1334257VBF8cknn9CkiVrvlGpMTh1oPxjO+RvctACu/wbO+LO1F8nkh+G50+Gx4+CjGy3T1eH9ketU4sJXRWGMKTXG9AJaAf1EpJtD0UuxfBil4T4UketEZJaIzNqyZYtf4sbMxRdfzNixYzl0yMr+WVRUxPr16+nVqxeDBg2iT58+dO/enTFjxlQ5t6ioiG7drMty4MABLr30Unr06MEll1zCgQMVydyuv/56CgsL6dq1K/fea7l6/vWvf7F+/XoGDhzIwIGWq6egoICtW7cC8Nhjj9GtWze6devG448/Xt7ecccdx69+9Su6du3KmWeeWakdRUkrROCIrtD/Vrh2Ity6HC542lqjseBdeOMS+GtbeP0SmDXaWgioJJykRD0ZY3aKyGRgCLAwTJFLgd+5nP8c8BxYK7NdGxt3hzVdTSRHdoehoxw/zsvLo1+/fowfP57zzz+fN998k0suuYS6devy/vvv06hRI7Zu3cqJJ57IsGHDHPejfvrpp6lXrx7z589n/vz59OnTp/yzhx56iGbNmlFaWsqgQYOYP38+N9xwA4899hiTJk2iefPmleqaPXs2o0ePZvr06RhjOOGEEzj99NNp2rQpy5cv54033uD555/n5z//Oe+99x5XXHFFYq6VovhJg3zodZn1KjkEq6dWrNlYNt4q07Kn7dcYAi17gcNmYYp3fLuCIpIvIk3s93WBwcCSMOU6AU2Bb/2SJRkEm58CZidjDHfeeSc9evRg8ODBrFu3jk2bNjnW8dVXX5V32D169KBHjx7ln7399tv06dOH3r17s2jRIhYvXuwqz5QpU7jwwgupX78+DRo04KKLLipPV96mTRt69eoFWGnMi4qK4vnqipIasmtbKUPO/ivcOB9+Ow0G3wfZdeGrR+H5gZaJ6sM/wJJPrCSHSkz4OaNoCfxHRLKwFNLbxpixInI/MMsY86FdbjjwpklU0imXkb+fXHDBBdxyyy3lu9f16dOHl19+mS1btjB79mxycnIoKCgIm1Y8mHCzjVWrVvG3v/2NmTNn0rRpU66++uqI9bhdztq1KxK3ZWVlqelJqf6IQIvjrNepN8O+bbBiohVFtegDmPOKtStgm/4VK8Qbt0q11NUGP6Oe5htjehtjehhjuhlj7reP3xOkJDDG3GeMqfbbtzVo0IABAwZwzTXXlDuxd+3aRYsWLcjJyWHSpEmsXr3atY7+/fvz2muvAbBw4ULmz58PWOnJ69evT+PGjdm0aRPjxo0rP6dhw4bs2bMnbF0ffPAB+/fvZ9++fbz//vucdtppifq6ipLe1M+DnpfCz/8Dt/0AV46Bwmtg63L4+P/gH13hmVPhiwdh7WwrO67iiK7MTiDDhw/noosuKjdBXX755Zx33nkUFhbSq1cvOnfu7Hr+9ddfz4gRI+jRowe9evWiX79+APTs2ZPevXvTtWvXKunJr7vuOoYOHUrLli2ZNGlS+fE+ffpw9dVXl9dx7bXX0rt3bzUzKZlHdq61HqPtADjrL9amTMvGW76Nr/9umanqt4COZ1ozjbYDoXaD1MqcZmiaccURva5KjWf/dljxmWWiWvE5HNoFWblQcJqV9bbjWdCkdaqlTAiaZlxRFCUW6jWDHj+3XqXFsOZbKw/V0nHwya3Wq0VXa2OmjkOsvFS1slItddJRRaEoigKQlWM5u9v0h7Megq0r7LDbCTDlcctMVa95RUr1dmdA7Yapljop1BhFYYxxXJ+gRE91M0kqSsJp3h6a/wFO/gMc2GGZppaNhyUfWynTa+VYe2t0GmrNNpoem2qJfaNG+ChWrVpFw4YNycvLU2WRAIwxbNu2jT179tCmTZtUi6Mo6UVpCfw4rcIhvm25dTz/uAoTVavj085EFY+PokYoiuLiYtauXRtxbYHinTp16tCqVStycnJSLYqipDfbfrCUxrLxsPobKCuBus2sfcM7DbFMVHUap1pKVRSKoihpwYGd8MPnll9j+aeWyapWNhx7SkUUVbO2KRFNFYWiKEq6UVoCa2daDvGl42HrUut4806Wwug0FFr1g6zkuIpVUSiKoqQ721fa+4ePh6KpUFYMdZtC+5/YJqpBUNe/LQJUUSiKolQnDu6GH76wlMbyT2H/NstE1fokyxneaSjktUtok6ooFEVRqitlpbB2VsWajc12Zui8DhUmqmNOjNtEpYpCURSlprCjqMJEtepry0RVp7Floup3HbQ+IaZqNYWHoihKTaFpAZzwa+t1aA/8MMkOv51gzS6ITVHEgyoKRVGUdKV2Q+gyzHqVlUH43aJ9RxWFoihKdaBWLXzcQsi96ZS0qiiKolQbVFEoiqIorqiiUBRFUVzxTVGISB0RmSEi80RkkYiMdCj3cxFZbJd53S95FEVRlNjw05l9CDjDGLNXRHKAKSIyzhgzLVBARDoAfwJOMcbsEJEWPsqjKIqixIBvisJYK/n22v/m2K/Q1X2/Ap40xuywz9nslzyKoihKbPjqoxCRLBGZC2wGJhpjpocU6Qh0FJGpIjJNRIb4KY+iKIoSPb4qCmNMqTGmF9AK6Cci3UKKZAMdgAHAcOAFEamSPlFErhORWSIya8uWLX6KrCiKooSQlKgnY8xOYDIQOmNYC4wxxhQbY1YBS7EUR+j5zxljCo0xhfn5+b7LqyiKolTgZ9RTfmB2ICJ1gcHAkpBiHwAD7TLNsUxRK/2SSVEURYkeP6OeWgL/EZEsLIX0tjFmrIjcD8wyxnwITADOFJHFQClwmzFmm48yKYqiKFGiacYVRVEygHjSjOvKbEVRFMUVVRSKoiiKK6ooFEVRFFdUUSiKoiiuqKJQ4mLHvsMsXLcr1WIoiuIjqihSyL5DJTw4djEHi1OzvWEiOP/JqZz77ympFiPt2X+4hAufmsqSjbtTLYqiRI0qihTy1OQVvDBlFf+dtjrVosTMmu37PZc9WFxKSWmZj9KkL9NXbee7NTt5+JPQNaeKkv6ookghh0usTrO0rHqtZYmVzn8ez69e0TUwilLdUEWRQgJrHUVSK4cbuw4U8/xXK0nUwsxJSzWpo6JUN/xM4aFEIND1CumrKe7+YCEfzVtP16MacXL75pU++2bF1hRJVX3JjLmjUtPQGUUKqQ4zit0HigE4FMa3cNkLoduLKIpSE1FFobgSPAIuLi3jd6/NYfmmPSmTp7qTxmMCJYVs23uIL5ZsSrUYjqiiUDwhwPy1u/h4wQb++N78VIsTF9v3HU5YAIExhm9/2JYwH46SmfzixRlc8/KstA2VV0WRQoxHi/X3G3bz2MRlPkuTGew+WEyfBybyl0++T0h9ExZtZPjz03jVIcT5vg8XMXrqqoS0pfjDnDU7Ut5Br9q6D4CyNB1wqKJIMmVlhsc/W8bWvYfKj0kEJ8VFT33Dvz5fzqGSxN/MAXl27S9OSH3XvTKLLveMr3TsnVk/UnDHxwmpP172HCwBYNyCDQmpb+2OAwAUbQ2/nuTlb4oY+dHihLTlF2PmrmPjroMJq+/16WtYsLZ6rNZft/MAFz31DXf+b0GqRQEq/JbphiqKJDOjaDuPf7ac29+d7/mmKLYdyYHoqEMlpTwyfgn7D5fELc/E7zfx+GfL+f0bc+KuC+DTxZvYf7iyQnt9xpqE1B0Lh0vKKi3yC6jkNH0ek8ZbM9cws2g7B4tLufHNuQx/flrC6r7z/QWc90T1WK2/56A1QFq03tuKeWMMk5duTripMTBWTNf7UhVFkikptW6FA0FTXa8OzsDN9N9pa3h68g88PfmHuOWJdL8HPxCJUEzJpuPd4zj/yanl/wem9hvsEfT4hRv55ofqEeY7atyShM3Mbn9vAT975tvy67Fx10GWbNzNre/My5gFoMEUl3nLGPDO7LVcPXomz321koI7PuajeesT0n66BzmookgRwdamSOGxgcf28+83s3DdrvIR8qGSxKXDqJuTFbHML16c4fiZ0wjriyWb+G7NzrCfvTZ9dVISCgaPFkM7wd/8dzaXPV89wnyf+TK+gcGr01bzyrdFjp9f/985vDt7Lau37YurnerETtvkunLLPj5bvIm3ZrrPfgOmxq+XW4OLl78pYse+w+U+hnhJ16AIXXCXZIId2F5vikDn9pv/zgbgzrM7A5Z/IRKHS8rIqiVk1UrumGX/4RLq5Wbz2jTnB++u9xcCUDTqnGSJldaLG/3mzx9Y1/vKkwqqfGYwGWmW23uwYpZ8rZ1e5pLjW1cpN2PVdnq0alw+BQ/MxGoJ9H5gIhDffRzJT5lqdEaRIgQJWpkdHbXsm8rLA93x7nEJya8UfCOH02+hx7rcM4EftuxNaRTH5j1VHbRp/jxWYszcdYyZu87XNiopzoCdPE1HtV758wcLKXxwoqeyXu6HNdv28/Nnv+XO/y0gMDb75odtAMws2hGrmGFJ1yvvm6IQkToiMkNE5onIIhEZGabM1SKyRUTm2q9r/ZInnYl1NOG1E/5iyWaGJdC5OPfHqqakrfsOsWZb5cifQX//MqW5nfo99HmVY7nZ1WdsdOObc7nxzbmuZbbuPUTBHR/HnE4lMMM9WFzGyi2W+aSa6wlenbaarXsP0/+vk6p8VnDHx/xtwlIA9h4qKTchubHbdnh/v3GPbwOf8tlcml57P5+aQ8AZxpieQC9giIicGKbcW8aYXvbrBR/lSQuCbwQvN8XO/YerHAsolh37DjNl+VYK7viYuz9wD++b7xiumJg7s99Dn9P/0aoPZrqRbZvgGtfNcSxz45vfcdFTU8Neeyf8nKls2XPIcZ3G7NXWiPalqUWe63t4nPsakkT5sues2ZHSAIg12/dz0VNTy316gbUST0xaAcBNb87l5W+KItYT/Nv61o+nud3PN0VhLPba/+bYrzS9DMnHa8eyM8z6hoC74YO567niRcsR+18XX0AoG3cdZN6PO/n358vLjx0uLeNQSSn3fbgoYWsq0omCOz4uHxkCrj6bMXPXM2fNTnrdP5HF63ezY593hREtZWWGR8YvCWsmC/C71+aU+xfCnQ8VCtALz3650l2mBA1rL3rqG25+y31G5Ddz1uxku/37hT5zK7fsDXOGM8YY302pBsOCtbt45ssfeDmNFmr66swWkSxgNtAeeNIYEy685Kci0h9YBtxsjPkxTD3XAdcBtG5d1dFUXQlM+92URq0wH4Y7Fg0nPlxhkvnjkE4ATF66hffnrOPlb4ooKSvjwQu6x9VGOrJlzyEOFVujy+0eO/+z//U1ENlRuXLLXmav3kHfY5tGJdO3K7fx9OQfWLpxDy9dfXzYMjtcZjYltqKINVjBi78pHhaui39Hv0lLN3Na++ZkZyV2XOv1awb7cfzQE7NX7yhfCGoMldagnNn1SI5qUjfxjUaJrwZbY0ypMaYX0AroJyLdQop8BBQYY3oAnwH/cajnOWNMoTGmMD8/30+RU8Lr06NbkJbIUc3+QxXrOUrteotLqtfEb/Pug55mQcbAsggJDYtiDHOctHQLP336m6jPC3T0xS47/7mNCwL3QsyKwqXOSJSUlnlWuLHy5bItjBg9kycmreDhT77n8hdiWBhY7qSvOOQlYjAcXs/bdaDYc1qQd2evrag/5NqnS/BFUjx7xpidwGRgSMjxbcaYQC6L54G+yZAnlYS7zZZsdO68XptR1TbtlhLCGFPFqeyVwD361qwfeX36Gt8WXiW63n5/+Zx+f/nMU9lID96Av032VM/Tk3/gigSkWa8Is3QWbNkmZxNJYAGnk6JYs20/W/YcCvsZhI9wenf2Wk+/0ciPFtPngYnsO+Tsh4i3owvIvmb7fp79aiVTV2yLuo5wIdHR3IGx+Ch6jvyUsx7/CrDShLj9BsEmsND6kx3W7oSfUU/5ItLEfl8XGAwsCSnTMujfYUBiMrWlMYEH8+vlWz35FZZsiC6l9/vfraP/o5M8R8EEPwTBjsc731/A27MqrICJDJkM3Wf7mxVb+TGKvbcB3v9ubaWHz+viw8D+GvHyyPglTEnAxk2B6xqr0zfQoe85GP579X90Esc/5E2JBnj5myLXhXkBPrbzZcWTUK+szPD05B8q+Y8ikag8XU739Nod+/nzBwurKEtjopvNr7YHbKeM+sL1N5i+anulNoJJF3+hnzOKlsAkEZkPzAQmGmPGisj9IjLMLnODHTo7D7gBuNpHeaol0TgpD5eUla+CjmRiCT4nQCA8MsD0lRWjNz+NUZe9MJ3TwoQyOrF17yFufmse17w8M+q2/jxmkeNnL06J3nkYr/5cutEaTQbH4384b71rBxGsVKfa6Uc++35zTO07ib/DQwflZTYUiUlLN/PI+CXcH0XixOtfiy4v2e9en8N5/55SqZN3G/jc8vY8Xp22mllFVgce+HpLN+1hnb0y2y9CM0rvO5weacf9jHqab4zpbYzpYYzpZoy53z5+jzHmQ/v9n4wxXY0xPY0xA40xS9xrzTyimXqu2b6vPIxy3U5vN/SzX1VEwIQ+7x/MXV9uO0/kjMKpru837Gby0sgdXsDcsml34jKeAjwwNnlZXo0xGGPYe6iiQy4tM9z9wQJueOM7/vDmd47nnvbXSXw83xpVTw5Zp2KMYdF672lRDjh0RF7uukBE3t44TE8H7eACJ/OV231XVmYYPXVVxBnNjFXbWbBuV7k/CKwgAkdMpT+V+HRx/JsLLdu0x/l7hRyOZqDoJ9Vn9VENx+nGyc7yfqMEL9zbECZtdKROONzCv4BYyVgINPSfX3P16PCzhA27DsTtOF27IzbfTTDFpWWc+++v466nzZ8+4YY351Zas3D16Bnl5sj1ERT9/HXWzHFXiCntvTnrOOdfU5josUM74S9VFyVCdLOEjXEo7MAIOtDeS1NWeQ6p/cdnyxj50eLyBXSRCA7c+GKJy7PgY9/82eJNnPmPrxgzN3wywY9DzGrxRjgmClUUSSba/raOh2R9AYJvqXDtOHXC4c4PELCfhiqKxR7TMocjFp1z0sNf0OeByGkZVmy2wlTDrR6P9P29sGn3Qc8hn+H2D9m462B5BtiP5q2vFEUTvEo40gzOKWdVwOQY7RqBUKIZyLqVjZRbq/zr28XuH7uY97/zlrbk319YC+e8+jeCw8K9UL6nfQI1x7LN1u/jFMASmhG6Vpr00JoUMAGUlRkOlpRSL9fD5XSacZrw0/Ropp7Bo49ob+1T2ud5CsMMEFhf4DevfltUxa/gJOe6nQcY/NiXMbXj1acTzcxq696qM6ClIe04RRfFokyneEhH4ZVoBrJuKWgCH3W6exw/6XIET1zWp9LnAYXoVMOXyyzTWiIzJVvtOn8WeOQCs51EhqOXKx+HLxw6g0iXJJZpoq+qF+t3HuC3r80ut43e++EiutwzwTUWPlaSdaMUlxrXtlK1suKR8c5mhc0hIYenjPoi5naG/tNd8Y1fuJG3Z/4YlaIIXtE9wmE284KDAz00sCAUkaqmxCtenB7zOpCq9Xu/77I8lD1UUsbY+c7RSk4mlsA5a6OMiouEq1+lfOGFNeuLdG8EM3npZs5xGET96pVZEVf5p4lLogqqKGLgwY8X88mCjXxuR5oEwkjjWR8Q7szSMsNbs6osVHck9FmLZq8HwX3klGgfhddrFe6BDg6L9eq0D0dwLqdI8vzmv7P543vzPe9zDlTZ6S+RCOFNafvsMNvDcY7Ao5lRRGNH//fny8ujiSDyCDsagQ4Wl3peQ9S0nnOurwAG+MMbzkEFoew+WMxt78533C1v4uJN5QMDp28TqqDPevyrtNhGWBVFDAQ2w0qk9g+2SX+2eBODH/vSUyx7MK98W3lx3rn/9p4xduG6XbzmskI8mkiaSBgDY+fHvjPYnDUVoaTxzCIueTb6Vb6R9Nu0oGiaEo+7piWSwG3094nL4qonuPM/WFzK+U9M4bs14VNqu9nRQx+Rv09cxsXPfMtbM9cwZ82OijQ2EeRx+zwwA7jl7bmeE1Ma45zGpXxb0igHRz3u+5RDHteUBNoIjfZyupZfLdsS16AoXlRRhOFgcanrAqhAB3AwjLMyEk4j0jFz1/P9Bmskcu0rs1ixea/rCuxwvBqkKJx2lXNarBQpXjvgOEwUgZxLsRBtyhMnQv0FXgh1MofOwi59bhoPjF1MwR0fl4fx+oHTADuwTwLAfR9W+HbmOHTyXliycQ/z1u6qVF8wgRDuktIyPvS4Nejt7y3goqe+Kb8PPpi7nuP+PL78czfTkBOfR7mWZPfB8G2Up1uPweDq1ZcSUG6jQxL/Oc3OrnxpBmfG6H9LBKoowjDg0cl0uWeC4+eBxU1//9R91LZj3+Eq5h+nUcr/vTMvKltoJJxGH9EuVvKLmUHmh1DcUkKAe8oTvykO6fwfHld16U9g4Z6fe097CRUOTqF90VPR5aFyM0O+/91aNgeFxAY6t2e/WskNIaaaSL6OO/5XkR4/eB/50JG5F+tWNA5vt18mEO4bi7nVqxVu/c4DrNm2n027K/vZ3EyGqVx8p1FPYfAaF752xwHH1AkAP33mG1Zu2Ze0rT5jGQGlCreFS49OWMq953VxdWSniv98W+S5bImPiuKrZYmLcApHuAg6g5VS4ua35tH5yIZBZa2/G3ZVHZx4NcW4tR+O0PDfaGcgXpTAr1+dHVWdULGAMIDTXtr/+27165WJAAAgAElEQVQd/wsTBhxu/VM6oDOKKNkY8kO6rScIF7kSacQRbc6jYNJ1d6yqGNfrsO9QCet3HeSZL39wLpQitu11Tu4WyotT3Pd9iAe/k8UFVx9ssw+YXStHnDnLsi3GRZKh90doC4GEewF+F+VM2cug6kAcOawCvBriN6yuqKKIkg9C9jAOvt3cOuqVW/by5KTIdv5och6Fksr9qaPFrZszwNQErglIJNFc4mkrnc1r8eJ3GGU42Y1D97p5z0HHBYKHSsoSFrIbTKgJcN7a8D45J5L1qLyURpsPxYMnRSEi7USktv1+gIjcEMgMq3hj+PPTeHTC0iopFxKJj5aOhBPJdp2uZjQ/zUnRUBRjKnmvBKe4CDhegzvX4F/vsuen89jEZfy4Pbxf7McYUqdEs35IJPr9JVIZQRQPq7clXul6weuM4j2gVETaAy8CbYDXfZMqjQm9fb2MTA4Wl5YnX6tGg35fcesG3p291mWP79TimiOohhLQ6Wu27S9PBBhqUvr3FyvKV1EnptHKEWaRBxbR4TUXVrrxtwgBNH7hVVGUGWNKgAuBx40xN2OlEc84Qu9XLyNfkYob2c9ImOpEpKvgtqZDSQ17DpXElCIlluwCIjBu4UZPZfccLEld6oAMwWvUU7GIDAeuAs6zj0Ve2pgBBCfxClYar35bVP5eqNAUt707P0mSpS+DH/uKBrVjC7iLZrW5khhSkcD0rvcXMn6htw2KZq3eXq38c/GQqgwfXmcUI4CTgIeMMatEpA3wX//ESl9CR0dfL99aJX773dlrqySyy4zb2DuxLKiC6FabK4khnkzBsfLRvPWVHNZuHWR2rVrVyj8XD6nKOu5pWGeMWYy1Ax0i0hRoaIwZ5adg1ZFXvl3NqDALsNLVMasoXpjjsMo/mbgFEazfdUB9fz7jNeppsog0EpFmwDxgtIg85q9o6YmbRg+nJBSluhPvKDYRZqFw+4sEyCQlke6mp8bGmN3ARcBoY0xfYLB/YqUfu/YXs2HXAb5zuWHdSORWoopSnXhqcmLzhGUy0aR/TyRePYrZItIS+Dlwl5cTRKQO8BVQ227nXWPMvQ5lLwbeAY43xszyKFNS6Xn/p6kWQVFSQrxd07wfNQAhUaRqRuFVUdwPTACmGmNmikhbYHmEcw4BZxhj9opIDjBFRMYZYyrldhaRhlj+j+lRyp5w/jdnLU3r5Sa83lVb96U0oZeixEO8g9g02fZZiQOvzux3sEb8gf9XAj+NcI4BApm7cuxXOPvLA8BfgVu9yOInt7w9z5d6hzyenG1DFcUP0mU7ToWUTSm8OrNbicj7IrJZRDaJyHsi0srDeVkiMhfYDEw0xkwP+bw3cIwxZmxM0iuK4hvvzl7L6m374p4R+LnTn5IcvDqzRwMfAkcBRwMf2cdcMcaUGmN6Aa2AfiLSLfCZiNQC/gH8X6R6ROQ6EZklIrO2bElgmoAIfL18S9Q5ZBSlpnDrO/M4/dHJOp9II1I1u/OqKPKNMaONMSX262Ug32sjxpidwGRgSNDhhkA3YLKIFAEnAh+KSGGY858zxhQaYwrz8z03Gze/eHFGjcn+qCixkqpIGyV98KootorIFbYpKUtErgC2uZ0gIvmBDLMiUhcrnLZ8oYExZpcxprkxpsAYUwBMA4alW9TT2h3VM8ukoiSKLXu878Gh1Ey8KoprsEJjNwIbgIux0nq40RKYJCLzgZlYPoqxInK/iAyLVeBkU0uEBWmayVRRksHHDvusK8kn3VN4rAEqde4ichPwuMs584HeYY7f41B+gBdZks1LU1ep+UlRlIwmnh3ubkmYFClmxea93DtmYarFUBRFSUtiy/VsUWM8XL/8z0xW+7xjmKIoSryke66ncNSYuNHte2PbAF5RFCUTcJ1RiMgewisEAer6IlGSeGvmGp6YtIJ7zu3Knhj3RlAURckEXBWFMaZhsgRJNre/twCAmUXbUyyJoiiKN9I66qkmUVpmGPnRosgFFUVRFCA+H0W1ZP7anbzy7ery/3WfCEVRFHcyTlGEEuvezYqiKJlCximK0PnDGzN+TIkciqIo1YWMUxSKoijVlQ/nrU9JuxmnKGrMKkFFUTKOg8VlKWk34xSFuq4VRVGiI+MUhaIoihIdGacoNuw8mGoRFEVRqhUZpygOl+r+vYqiKNGQMYpiyvKtFNzxsW70riiKEiUZoygmLNoIwMxVmttJUZTqSb3crJS0mzGKwtjxTqt03wlFUaopV55UkJJ2M0ZRBJj3485Ui6AoihITudmp6bJ9a1VE6ojIDBGZJyKLRGRkmDK/EZEFIjJXRKaISBe/5NHcf4qiVHdqpWjFsJ/q6RBwhjGmJ9ALGCIiJ4aUed0Y090Y0wv4K/CYj/IoiqJUa2qlaEMK3xSFsdhr/5tjv0xImd1B/9YP/TyRzFurJifFG6lyGCpKJFKVgsjXjYtEJAuYDbQHnjTGTA9T5nfALUAucIZfsmzZc8ivqpUahuYDU9KVWimyPfnqGTHGlNpmpVZAPxHpFqbMk8aYdsDtwN3h6hGR60RklojM2rJlS0yylNVgH0XrZvWS1lbDOjV/U8RUTe+VzOWZK/qkWgRXkuJCN8bsBCYDQ1yKvQlc4HD+c8aYQmNMYX5+fqwyxHRedWDSrQOS1lZ+g9pJaytlqJ5Qko63m67G+ShEJF9Emtjv6wKDgSUhZToE/XsOsNwveWryjCIridPRshgU7lGN6/ggiX+onlCST3p3UH7aEVoC/7H9FLWAt40xY0XkfmCWMeZD4PciMhgoBnYAV/klTGlN1hQutGhYm80J9M/EchnX76peiRhFTU+KUgnfFIUxZj7QO8zxe4Le3+hX+6HEMhKuCfxxSGdufWdewurLVIWrKP7ibXCSqjFMxqzMTlc90emIhr7Wn2gFmQmKQicUSrqSqlszYxRFunZw5/Zo6W8DUX7tJy9zj74oTVeNqyiKb2SMojBp7izyi2b1c6Mqf04ExZWuCjeR7NxfnGoRHHn1l/1SLYLiA7nZ6T2NzRhFkQH9W1gSaUZ56vI+GaEo0pkeRzfxtf42zev7Wr8SnhPa5Hkqpz4KnylL0w4uPaUKz9ndW6bNdRw94vhUi5AS/M4e+sJVhb7Wn47UT4OULV5D3CVFXoqMURRqW3emIM9a2d2vTbOIZWvnpO6hCn6YcrP8u3WTuS4lWuqmQadW02hcNyfVIlDH43OVKhN6xiiKTNUT0Xzvv1zYPWKZOjmpu2WCU5X4OQX36tep6/Jwt2/RIFHiKErKyRhFkalEox8TPZK+9PhjALjtrE4JqS9YOcSbyuDOszvHKQ0M7OycTiZVc5Jex8Tnw0jfuZR/pIk11RNqesogmqdZvqTLTzgWgLwG0UVIRSLHNg81qJ1NdgKUUHANBXmpd7q6zdaqUd9TiUSuSm9YO/kJJNvG4Iw/ohqlmJm0dHNK2lVFkQICz2LnI/1dbOeVX/VvS9Goc2hUJ7G22sD3NMZEZSpa+uAQFo08q8rxTkHXq05OLZ65om+8IsZFYYGzT2fN9tTszR6vgspvmLhBzIV9jk5YXX7y0zSWs3/HyrPWjbtTkw5HFUUKCIxE6ydhxJXKrLmxjk1rZ2dVujantM9j0q0DOD3ooRGEId2O5IhGqZud9T22qeNnh0vKkihJEHH83n8a2pkGtbNplKBU8ulkxmpaz3kQlOyMyNee2sZz2WOa1q18IEWPsyqKFJJOD5KfxHtvG2PF94czN318w2mV/ndzMIfW6YTX38VNCcdiAnEi2WsbWjRKjCkmnZIrtst3Di4Y0u3IJEoCd5/bpdL/Rzep61AS/hxSNlWdhiqKFLB1r5XNtXfrxC2eevc3J1U5tmjkWXQ9unHC2vDKWV2P4I6hnSt1FPE44QL98QltIy9KuvknHSKWSRRuCjD4s6JR53iq7/SO4Z3j/732hITIBDC8X+uIdSSqL0qFnohlUOKm0ALrVpyi/bz+tm5MuX2g42d1crIq+Xo011OGMe7G07h9SOyRN31ClEw4e3n92tkc3aRuQm7maHj2F4X85vR25f8bAy9eXcigzi1iqi87q+LxCN1hL/TBua5/O5Y9OLRKHad1aB5T224YA/+4pCejRxzPPy/txQtXxrdYrU/r8KaselGsXTkywmwgz0Pob6I6+FRssuM0y4t1VvvOr60BWMcjGlI7gYsdbxhUMaCJNPMK/jhVszRVFCniuJaNyI5j0VinNHGEe+W0Dvm8eHVsq6n/9rOeCZYGftLliATUYriwdysGdmrB+b2OZnBQnV5NYJVri98A/befV71WAztVzFSae4hsS1QIph9dWoMURFJB4tdhdY9ipt8wwUEmsaCKIsW0rEahebES7zN2RIJs5sG0dbFZJ4JYoofcOqORw7rSs5V75zL4uCNoVCeHz245vdLxC3pXRPX84qQCx/N/Vmite0kj10IVkr2KuvJoPv76Ftx3JhBdkEm3oxtVyBC/CDGhiiLFXNy3VdjjoaalqqTmlonmYfFSNsc2K3kxiYRvo2ojfnd0gWinWEaZhS6RUk7VicBVJxcw5venutZ9ekfLvBa6KjywJ8nvBrYjq5Y4RjUFVqQnyryRKh/FrWd2TH7DHgnMDqLZJ6ZebpCPQp3Z1ZdwjmQ3LjuhwqHo9FDmBJml/jik6srmSDdMTlbsd5TbqC2WztFt9HR6R8tv8ZeLuvPGr07kh7+c7a3SFI56A017dWZ7OW59GN/cy2mFcVmZ5XS97SzLJ3ZRn/CDkwCJc2ZXrunTm/vHdV965fdnVA1oiDSCf+3aE/jqNmencrBZ8JGfRk51E4mSKJaD/+q0tnG3Fy+qKNKUYEfgbwe0r/J5pMctnj5nwk39GX318bTNjy8s04utO7Bg2xg4qV2e9zQi9ver50OSvEhKOPDbuK7Mtj8MdaK7dVjxppJwqrtjyC6Kfz63S7kJJBw9j0lMpFzoZex4REMKj3VepOjm1zm1feKDEYI5pX1zWufVi1wQOK/nUVzY+2j+c03se4OE/iZuBEdc1bgUHiJSR0RmiMg8EVkkIiPDlLlFRBaLyHwR+VxEjvVLHi9OvFiJ9gGP1IkXHtuUWhF+mUidmVeRrjqp6iU/snEdBnZuwYhTIi8MuqDXUY6feZkmV3S6sfWSdXKyeCdkRheu2UQ6Ix+7pCdXnnSs64K7E+1Q3usHtHMsE+Aku6zB8NjPe/LA+V09ydEzJK+T033YuWXlTimrlrg6SO8b1pUPfneKa9tPXe6+EyIQ9oeIdF878dCF3WI70SZwaY5p5rxmIRJN6lb0If+4pJdjOLMXErnOJhn4OaM4BJxhjOkJ9AKGiMiJIWW+AwqNMT2Ad4G/+iiPb0Tq5KrmvHEvf/2AdhFDC39uOx5jlen8Xkfx3Z9/wsjznR/AcBKEm91EwnVxm91IuE7OayrxaFOPXBLh2kWiVdN63H9+N9fZT6umVljyye1CZhRhyp3S3lYUxjILha4XcRxFetR+OVFG19XOzoqYXPDs7pG38A2Wu4ftiHe7r50+KsirR5N6VicdKVotcElCfV6B47cP6RwxKKCSTEHf4e1fn8QD53et5DOIlWj8QJXWI9U0H4Wx2Gv/m2O/TEiZScaYQFKcaYC78TRNiRSVE7rZjJfn2+lG6tCiAUWjzqFHK/cHOVITAjSNwYHc8Qjv0UIBx23XoyqiNkJTbpTPKMJIPP3OQUy944yoZQxH8OW8b5i3EXs8OCV+DJdJN1bncegVi8ZB6jejRxxPg9oVpqQ7zz4OiG1txXvXn0zjujnMuGsQd59znKdzgv2AUPn3f3lEP179ZT9euLKQayLMmo+2U2hcUngMrfPquUaNhXLfeV0cP4t1Bu23Cc4JX4OSRSQLmA20B540xkx3Kf5LYJyf8vhB0ahzOFhc6lom9Nnwco84DVa92vAjteGlc4r2oT6mWV3uH1YxQxnavSUz7hxUKSXE1NvPwAAd7hpny2EdDzejaFo/F2fjTgV+bOYysFM+k5Zuifl8p9+pygzDwJUnHcvyTXv4df/IZqrQc4NplAYb8IAVFTawUwu27DlUfiwgq9v963TP5tlKt0VD5wHZ8QVNmVm0ozwZYyBXWPsWDVixeS/N6lUMiprWz+W0DpbZaLDLDOV/vz2ZZvVzY16wOqBTC/hocdjPYl2MePNPUhPR5asz2xhTaozphTVT6CciYe0cInIFUAg86vD5dSIyS0RmbdkS+8PrF153pwrgpWPLcriRvNxgudm1GBkyaj65Xag5IzJedFLwNxnQsQUDQ1Zfh+YNys6qRU5WrfIQzXh9FOGIN7zz+IJmjB4Rm6MysDI6Ggka1snh8Ut709ghcZ14fEoHdqq49n5smXqOB3NTMMHXIHDPx7IQ0QuB7xu4Z0ecUsBNgzsw9g+nUjTqHGrbDmGvzuBexzRxXCnvleCNtkKpFUXa/eA1OX5dv0gkJerJGLMTmAwMCf1MRAYDdwHDjDGHQj+3z3/OGFNojCnMz4/dgZQKwq3AvLhvZBu5U2cX7Ax8+KLuXNe/aujcsgeHctXJBZWOvRSyKvq0jrFNYd2Sq0XD5NsG8sX/nV7+YMdjNok2EsRNUU+4qX9cK8HvtE0j7RK4w53XfR2Cv5dbVFMozRvkujrmAb6/fwhPXNbbc50QMqixRXvggvic0k780Q79DZiKamdncdPgjlEP4gJEcuYnkwa1sykadQ5Fo86JSsEkEt9MTyKSDxQbY3aKSF1gMPBISJnewLPAEGOMrztypMp8+/avT+LO9xfw/nfrAO9JxLq0bMhn32+qcjz44fOS4C1A8AMz754zHUevwYTTVU3tqXjBHR8Dse+K16x+Ls3q55YrxDKPWbnDRjTFaHp6+KLu3DNmIcWl1vnn9GgZd2qUYT2PYljP8JFggVDe4f1a88aMNRHrErHi+50GDaHfO3gWWjvbewc56+6fRCzjtlf3n4Z2pri0jFZN63HTW3PLj4fRE563mY2WprZpKdJznqo9p8f+4dSEbwyWTPz0UbQE/mP7KWoBbxtjxorI/cAsY8yHWKamBsA79sOwxhgzzA9hEnF7RGu3/vqPA6mbm8Won3YvVxReuXFwR/71xYoqxxOxataLkojU1uvXnkCZgS5HNeL979bFrIjLNzeK7fRKuDnaw32X4f1akyXCH9+bz8V9W0WcSXQ+siGDj4stR9Srv+xXnjbk4Yu6c+uZHen74GeV0jOE0i6/QRWfRjAB5XrT4A60zW9QbstPNr+2E0DOKtpe6fhRQemz/RqorbQXaK7becBTO6lah9AtBVmcE4lvisIYMx+oMlc1xtwT9H6wX+37QWD0fPXJBbz8TVHE8sfYNspoRnehbYWSoplnldXhJwdFX4wc1pV7xiyKabQWmCGlLGInius5/qb+MTcTcJ4GyGtQm/d/e3JcM5hj8+qxeMNuurRsxJldk7unghdObJtH7exaHPJxE6doTTHJnFGkc86saNGV2XFwfEF8zq5YSGbq5uCWYlk/4YWKldmxP8AdWjTkZ31b8cRlfSrVeWXQYsIOts/gp31aJSQOPhH0bt00rCxef+G7z+3CK9f0c1xb8MKVhfz1pz3ikDB+xvz+FAqPbVrJB9LCIWFiPDs+Bsw6V50cfs1uqmYSNYX0eGKSQCKiagJViMCqhz3mJIoCL6Ytp2goP4jWzBXLwxg4J570FVm1hEeDzEYiwrIHh5JdS3jl29WAtdBq0HEtXE051Y2jm9R13R3NLfQTrDDWaFcIf3nbgIi/VfCz1vnIRrx7/clV5Hp9emUfTe/WTdi1v7h8U69oqZeb7er/83smkZtVi8Ol0c2c/npxD5Zs2FP+/8Sb+zNp6Wb+8smSRIsXNxmjKGKl29GNWLhuN1DZju7nBiJuVcfT7IhTCqIyAyRDJZX7KDw+xw1qZ7P7YEnEcqHhobnZtVyVRBqtVUsa74V04F44Nsx2tLHS85gmzPtxJ/8e3pvzeh7FGX+bnLC6k8m3fzqDOtlZ9H5gYlTnhWZX6HBEQzoc0ZD1Ow96Mm0nk4xRFLH2A6d1yK9QFHZv4jZyblIvh537i6Nq47iWjTiiUW3+78xOrN62n+PD7FYXIB7T073nRbciOda8PNEw4pQ2jF+0kcHHedv97vVfncinizd6dshHQg0S8RFP7qSf9W3FmKAw1LwGuazcui8RYlXBT9NTy8bhr0Gsg8k/DumkiqI6cOOgDvzz8+UxnVs/N5t7z+tCm+be4+jH3Xha+fsvbh1Q/v7L2wZUUQzJ6LwDJMOu2+nIhsy9x3vMf0Hz+lwX5Qrm6koiFyH6wff3D6l0P0YbwRZa7qnL+/L71+cwfdX2sOUzhXTxoQWTMc7saJ65GwdVzWcfDRf2bhUxqZoXjs2rXx45FSCpzuwaMNzu4TEBXKri68MRGImmj0ThqZubFVNEn9Ntld+wNqNHxLZdruIv6ae6fCKa0VlwyF3lNASR8TvMM13y+QQTSFtxrMd8/snkretOYs/B6EyBqSbgoL4lRXl9UomXTLcdWjRg+ea9EctVd9xSgCSbjFEUXgndCyA4z4oXHeCXnhja7UjGLdzIGZ282fITgVcb60+6HMF/f3lClXxS6UDd3CzXVcXpSN3cLNcIno9+fyolXpeyJ5Uop6BhHhZvOciqz1T36pMLOK9ndDmyABaNPCvmrAd+kDGmJ6+EphG+OiRnEvgXleRGIBmY281zUZ+jE9qm1/0gRIRTOzRPWR6aeIikDNPxK3Vv1ZjecSas84Jb6G048u2V4W77gicCP/VEPM75cNw3rCt9XXb1c6J+7eyY81T5QcYoitCxyx1DO3s6T0TKN5bxglPGyZdHHB9XorG7zjmOy09o7bphzN9/1tP7ntMeCMym0mkKnGjO6d6Sc3q05PYhVe+Hz27pz7Q7B6VAqvQg2r1AWufV47Nb+oe9ll7xMouNJzQ90oz/g9+ewoe/j+05Pbt7+q2OTxSZY3oKuUHaR5EFtWJRWCA81pmC5uE71QFxmozyGtTmoQvdN3UXERK5d33geYxlg6PqQt3cLJ68LPy2nu1bxJcgsCZwUts8ftji3R/g5Zq5zsg9t+QPeQ1qpyxnVjqTMTOKUBI9fX3mCquzCSRIqwmUX6I0D9NU/OON605kxl3+pGQLd1d5eS5TrUy88LuBNacfgAyaUYTelNEoCi9lh3RrGfNOWOlKdQnTVDKLnFimzUnULk9e1odzekTvwE5nMnZGEQ3n2j96ojbtqS4Eni2dUCjJwjcfRRLu4Zr8nGSMoohnleslx7dm2YNDOaqJ8569NZGKlbY1+AnwSHO1WyeMmp7JtRpF73omYxRF15CNQyLdrM0b1KZhnQrLXHCSuZp4I4QjcI1q8kjJC8/9om/MkTBKVQKReye2TeK6myQ8szX5OckYRVElL3+EG2f6nYOiykFUE4k2s2tN5cyuR1barU2Jj5Pa5VE06hw6HpG8qLK+dti6n6HeOfZgsjotCPRKxjizvSxe6dO6Ij9TuIVtmdphZujXVlLMZ7eczq4DiUm/MuKUAgZ2bkGbKPffiIb7zuvCEQ1re86EXJ3IGEURSjidXxDhJgrkMmqbIU7tihmFqgol+bRvkbjnTER8VRJgrcG4+9wuvraRKjJGUTQLWTQWS+TEkG4tee/6kxxXX9c0auIUWlGU6PHNRyEidURkhojME5FFIjIyTJn+IjJHREpE5GK/ZIGqO54BVWOdPQyc+x7bzNfd7dKJwNf0OyOuoijpjZ/O7EPAGcaYnkAvYIiInBhSZg1wNfC6j3I4Epq6QbvDytT0MEZFUbzhm+nJWIbtQJKYHPtlQsoUAYhIWuRM7tKyUapFSCta2utGrjmlTYolUZSq3Hl27MkHlejw1UchIlnAbKA98KQxZnqM9VwHXAfQunXrxMgW8v9/runHae2bJ6TumkKjOjk1Li2JUnOIJX23Ehu+rqMwxpQaY3oBrYB+ItItxnqeM8YUGmMK8/PzY5Zn7B9OLX8f6mbo0rJRtdxPQVEUxW+SsuDOGLMTmAwMSUZ7TnQ7unH53hKh9vcM8U8rSrVHn9Xk42fUU76INLHf1wUGA0v8as8roQE8eTV4rwVFUZRE4OeMoiUwSUTmAzOBicaYsSJyv4gMAxCR40VkLfAz4FkRWeSjPEDFimsdlShKdUfjFJOFn1FP84HeYY7fE/R+Jpb/Imn89eIePPvlyuQmJFMUJWHoGC/5ZMzK7AAtG9flvmFdy//XMYmiKIo7GZM9NhI6SlEURQmPKgobnVkoSvrQ65gmEctoZpnkkXGmJ0VR0ptpfxpEo7raNaUT+mvYqOlJUdKDIxtn1pbD1YGMNz3V9bChkaIo6UNg//La2frsJouMn1G8du0JfLxgA3n2zacoSnrz6MU9GbBgA92O1iSeyUKq2+5lhYWFZtasWakWQ1EUpVohIrONMYWxnJvxpidFURTFHVUUiqIoiiuqKBRFURRXVFEoiqIorqiiUBRFUVxRRaEoiqK4oopCURRFcUUVhaIoiuJKtVtwJyJbgNUxnt4c2JpAcRJJusqWrnKByhYL6SoXpK9s6SoXRCfbscaY/FgaqXaKIh5EZFasKxP9Jl1lS1e5QGWLhXSVC9JXtnSVC5Inm5qeFEVRFFdUUSiKoiiuZJqieC7VAriQrrKlq1ygssVCusoF6StbusoFSZIto3wUiqIoSvRk2oxCURRFiRZjTEa8gCHAUmAFcIdPbRwDTAK+BxYBN9rH7wPWAXPt19lB5/zJlmkpcFYkeYE2wHRgOfAWkBuFfEXAAluGWfaxZsBEu76JQFP7uAD/stufD/QJqucqu/xy4Kqg433t+lfY54oHmToFXZe5wG7gplRdM+AlYDOwMOiY79fIqY0Icj0KLLHbfh9oYh8vAA4EXbtnYm3f7TtGkM333w+obf+/wv68wKNsbwXJVQTMTfZ1w7mvSPm9Fva58KPDTLcXkAX8ALQFcoF5QBcf2mkZ+JOghIAAAAiqSURBVAGBhsAyoIv90NwapnwXW5ba9sPwgy2ro7zA28Cl9vtngOujkK8IaB5y7K+BhxK4A3jEfn82MM6+QU8EpgfdZCvtv03t94GbeQZwkn3OOGBoDL/TRuDYVF0zoD/Qh8odi+/XyKmNCHKdCWTb7x8JkqsguFxIPVG17/QdPcjm++8H/Ba7MwcuBd7yIlvI538H7kn2dcO5r0j5vRb2+0fzIFfXl32xJgT9/yfgT0lodwzwE5eHppIcwARb1rDy2j/4Vio6h0rlPMhTRFVFsRRoGXTzLrXfPwsMDy0HDAeeDTr+rH2sJbAk6Hilch7lOxOYar9P2TUjpMNIxjVyasNNrpDPLgRecysXS/tO39HDNfP99wuca7/PtstVmcW6XA8BfgQ6pOq6BX0e6CvS4l4LfWWKj+JorBsiwFr7mG+ISAHQG2tKDPB7EZkvIi+JSNMIcjkdzwN2GmNKQo57xQCfishsEbnOPnaEMWYDgP23RYyyHW2/Dz0eDZcCbwT9nw7XDJJzjZza8Mo1WKPGAG1E5DsR+VJETguSN9r243l2/P79ys+xP99ll/fKacAmY8zyoGNJv24hfUVa3muZoigkzDHjW2MiDYD3gJuMMbuBp4F2QC9gA9Z0102uaI975RRjTB9gKPA7EenvUjapsolILjAMeMc+lC7XzI20kEVE7gJKgNfsQxuA1saY3sAtwOsi0ijG9mOVORm/X7zXcziVByZJv25h+opo60vKvZYpimItlvMoQCtgvR8NiUgO1g//mjHmfwDGmE3GmFJjTBnwPNAvglxOx7cCTUQkO5bvYYxZb//djOX87AdsEpGWtuwtsRx/sci21n4fetwrQ4E5xphNtoxpcc1sknGNnNpwRUSuAs4FLje2LcEYc8gYs81+PxvL9t8xxvZjenaS9PuVn2N/3hjYHkm2oPIXYTm2AzIn9bqF6ytiqC8p91qmKIqZQAcRaWOPXC8FPkx0IyIiwIvA98aYx4KOtwwqdiGw0H7/IXCpiNQWkTZABywHVFh57Y5gEnCxff5VWLZNL7LVF5GGgfdY/oCFtgxXhanvQ+BKsTgR2GVPUycAZ4pIU9uccCaWzXgDsEdETrSvw5VeZbOpNLpLh2sWRDKukVMbjojIEOB2YJgxZn/Q8XwRybLft8W6RitjbN/pO0aSLRm/X7DMFwNfBJSlBwZj2fDLzTPJvG5OfUUM9SXlXku4AzddX1hRA8uwRgl3+dTGqVjTu/kEhQUCr2KFqc23f6SWQefcZcu0lKAoISd5saJCZmCFvL0D1PYoW1usSJJ5WOF4d9nH84DPsULlPgea2ccFeNJufwFQGFTXNXb7K4ARQccLsTqEH4An8BAea59XD9gGNA46lpJrhqWsNgDFWKOyXybjGjm1EUGuFVj26UrhnMBP7d94HjAHOC/W9t2+YwTZfP/9gDr2/yvsz9t6kc0+/jLwm5CySbtuOPcVKb/Xwr10ZbaiKIriSqaYnhRFUZQYUUWhKIqiuKKKQlEURXFFFYWiKIriiioKRVEUxRVVFEraISKlIjJXROaJyBwROTlC+SYi8lsP9U4WkbTc+zhViMjLInJx5JJKJqOKQklHDhhjehljemIlhns4QvkmWJlE05KgVcWKUi1RRaGkO42AHWDlxRGRz+1ZxgIROd8uMwpoZ89CHrXL/tEuM09ERgXV9zMRmSEiy8RO+iYiWSLyqIjMFCuJ3a/t4y1F5Cu73oVSkSSuHBEpEpFH7DpniEh7+/jLIvKYiEwCHhGRZiLygV3/NBHpEfSdRtuyzheRn9rHzxSRb+3v+o5YOYEQkVEistgu+zf72M9s+eaJyFcRvpOIyBN2HR8TffJBJQPRkY6SjtQVkblYK29bAmfYxw8CFxpjdotIc2CaiHyIlVO/mzGmF4CIDAUuAE4wxuwXkWZBdWcbY/qJyNnAvVipHH6JlRLheBGpDUwVkU+xcgFNMMY8ZKd2qOcg7267ziuBx7FyL4GVJ2iwMaZURP4NfGeMuUBEzgBewUqY92e77e627E3t73a3fe4+EbkduEVEnsBKh9HZGGNEpIndzj1YGwCtCzrm9J16Y20W1R04AliMtbmPojiiikJJRw4EdfonAa+ISDesNAZ/ESvrbRlW2uQjwpw/GBht7PxHxpjgRHGB5GuzsfYfACs/To8gW31jrDw/M4GXxEre9oExZq6DvG8E/f1H0PF3jDGl9vtTsVJEYIz5QkTyRKSxLeulgROMMTtE5FysTWymWml6yAW+xdr97yDwgj0bGGufNhV4WUTeDvp+Tt+pP/CGLdd6EfnC4TspSjmqKJS0xhjzrT3CzsfKhZMP9DXGFItIEdasIxTBOaXyIftvKRX3vwB/MMZMqFKRpZTOAV4VkUeNMa+EE9Ph/b4QmcKdF05WASYaY4aHkacfMAhLufweOMMY8xsROcGWc66I9HL6TvZMSvP2KFGhPgolrRGRzljbZG7DGhVvtpXEQKwtUwH2YG0nGeBT4BoRqWfXEWx6CscE4Hp75oCIdBQr2+6xdnvPY2X67ONw/iVBf791KPMVcLld/wBgq7H2H/gUq8MPfN+mwDTglCB/Rz1bpgZYiRM/wdpXPDDrameMmW6MuQcrLfcxTt/JluNS24fREhgY4doois4olLQk4KMAa2R8lW3nfw34SERmYWXbXAJgjNkmIlNFZCEwzhhzmz2qniUih4FPgDtd2nsByww1RyxbzxYsH8cA4DYRKQb2YqVqDkdtEZmONfCqMguwuQ8YLSLzgf1UpHl+EHjSlr0UGGmM+Z+IXA28YfsXwPJZ7AHGiEgd+7rcbH/2qIh0sI99jpX9dL7Dd3ofy+ezACtT65cu10VRADR7rKLEg23+KjTGbE21LIriF2p6UhRFUVzRGYWiKIriis4oFEVRFFdUUSiKoiiuqKJQFEVRXFFFoSiKoriiikJRFEVxRRWFoiiK4sr/A0btAL8MbTg6AAAAAElFTkSuQmCC\n",
      "text/plain": [
       "<Figure size 432x288 with 1 Axes>"
      ]
     },
     "metadata": {
      "needs_background": "light"
     },
     "output_type": "display_data"
    }
   ],
   "source": [
    "learn_lm.recorder.plot_losses()"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 53,
   "metadata": {},
   "outputs": [
    {
     "data": {
      "text/plain": [
       "======================================================================\n",
       "Layer (type)         Output Shape         Param #    Trainable \n",
       "======================================================================\n",
       "RNNDropout           [70, 400]            0          False     \n",
       "______________________________________________________________________\n",
       "RNNDropout           [70, 1150]           0          False     \n",
       "______________________________________________________________________\n",
       "RNNDropout           [70, 1150]           0          False     \n",
       "______________________________________________________________________\n",
       "Linear               [70, 60006]          24,062,406 True      \n",
       "______________________________________________________________________\n",
       "RNNDropout           [70, 400]            0          False     \n",
       "______________________________________________________________________\n",
       "\n",
       "Total params: 24,062,406\n",
       "Total trainable params: 24,062,406\n",
       "Total non-trainable params: 0"
      ]
     },
     "execution_count": 53,
     "metadata": {},
     "output_type": "execute_result"
    }
   ],
   "source": [
    "#learn_lm.lr_find()\n",
    "#learn_lm.unfreeze()\n",
    "learn_lm.summary()"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 64,
   "metadata": {},
   "outputs": [
    {
     "data": {
      "text/html": [],
      "text/plain": [
       "<IPython.core.display.HTML object>"
      ]
     },
     "metadata": {},
     "output_type": "display_data"
    },
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "LR Finder is complete, type {learner_name}.recorder.plot() to see the graph.\n"
     ]
    },
    {
     "data": {
      "image/png": "iVBORw0KGgoAAAANSUhEUgAAAYUAAAEKCAYAAAD9xUlFAAAABHNCSVQICAgIfAhkiAAAAAlwSFlzAAALEgAACxIB0t1+/AAAADl0RVh0U29mdHdhcmUAbWF0cGxvdGxpYiB2ZXJzaW9uIDMuMC4zLCBodHRwOi8vbWF0cGxvdGxpYi5vcmcvnQurowAAIABJREFUeJzt3Xl0XPV99/H3V6N9ty15wTYYYxvMZgPChNL4EKBpSCgJSaD0ScqSxQ1NQkibtuGkSVv6ZE+zPWlDCIFCloYAIQFKWLIQCGGTwTY2Nra8gCXbSJa17zPzff6YKyGEZMm27twZ6fM65x7fbeZ+ZqyZ7/zu8rvm7oiIiADkRB1AREQyh4qCiIgMUVEQEZEhKgoiIjJERUFERIaoKIiIyBAVBRERGaKiICIiQ1QURERkSG7UAQ5VVVWVL1q0KOoYIiJZZe3atfvdvXq89bKuKCxatIja2tqoY4iIZBUze3ki62n3kYiIDFFREBGRISoKIiIyREVBRESGqCiIiMgQFQURERmioiAiIkNCLQpmVmlmd5nZFjPbbGZnj1huZvZtM6szsw1mdnqYeUREstU3f72Vx7c1hb6dsFsK3wIedPcTgBXA5hHLLwSWBsMa4Lsh5xERyTr98STf/s02nt3VEvq2QisKZlYOrAZ+AODu/e7eOmK1dwK3e8pTQKWZzQsrk4hINtrX1kvSYcGMotC3FWZLYTHQBNxqZs+b2c1mVjJinfnA7mHT9cE8EREJ1Ld0A7CgMruLQi5wOvBddz8N6AI+PWIdG+VxPnKGma0xs1ozq21qCn+fmohIJqlv7QFgwYzi0LcVZlGoB+rd/elg+i5SRWLkOguHTS8A9ox8Ine/yd1r3L2munrcTv5ERKaU+pYezGBuRWHo2wqtKLj7PmC3mR0fzDofeHHEavcCVwRnIb0JaHP3vWFlEhHJRg0tPcwtLyQ/N/yrCMLuOvvjwI/NLB/YAVxtZh8BcPcbgQeAtwN1QDdwdch5RESyTn1Ld1oOMkPIRcHd1wE1I2bfOGy5Ax8NM4OISLarb+nhzEUz0rItXdEsIpLB4okk+9p703KQGVQUREQy2r72XhJJT9vuIxUFEZEMVt+SOh11voqCiIg0tKTvGgVQURARyWiDLYV5abhGAVQUREQyWn1LN7PLCijMi6VleyoKIiIZrKG1J20HmUFFQUQko9W39DA/TccTQEVBRCRjJZLO3ja1FEREBGjs6GUg4cxPQ5fZg1QUREQyVP3Q6agqCiIi0166r1EAFQURkYw1eMc17T4SERHqW3qoKs2nKD891yiAioKISMZqaO1JaysBVBRERDJWfUtPWo8ngIqCiEhGSiadhpb0XqMAKgoiIhlpf2cf/Ylk2rrMHqSiICKSgXZHcI0CqCiIiGSkhtbg5jqVOqYgIjLtDV2joJaCiIjUt/QwoziP0oLctG5XRUFEJAPtbOri6Fklad+uioKISAaqa+pkSXVp2rcbarvEzHYBHUACiLt7zYjl5wK/BHYGs37u7jeEmUlEJNO19QzQ1NHHktlTrCgE3uLu+w+y/HF3vygNOUREskJdYydAJEVBu49ERDLM9ilcFBx42MzWmtmaMdY528zWm9mvzOykkPOIiGS8uqZO8mM5LEzz6agQ/u6jc9x9j5nNBh4xsy3u/tiw5c8Bx7h7p5m9HfgFsHTkkwQFZQ3A0UcfHXJkEZFo1TV2cmxVCbmx9O/MCXWL7r4n+LcRuAdYNWJ5u7t3BuMPAHlmVjXK89zk7jXuXlNdXR1mZBGRyG1v6oxk1xGEWBTMrMTMygbHgbcCG0esM9fMLBhfFeRpDiuTiEim6x1IsPtAN8dFVBTC3H00B7gn+M7PBX7i7g+a2UcA3P1G4L3ANWYWB3qAy93dQ8wkIpLRdu7vIunRHGSGEIuCu+8AVowy/8Zh498BvhNWBhGRbDN0OmoEF66BTkkVEckodY2dmMHi6vR3cQEqCiIiGaWuqZOFM4opzItFsn0VBRGRDLK9Mbozj0BFQUQkYySSzo79XSoKIiICuw900x9PRnaQGVQUREQyxuCZR1FdowAqCiIiGaOuKbqO8AapKIiIZIi6xk6qywqoKMqLLIOKgohIhqhrjOZua8OpKIiIZAB3j/x0VFBREBHJCI0dfXT0xVUURERk2JlH2n0kIiIbG9oAOPGo8khzqCiIiGSADfVtLJhRxMyS/EhzqCiIiGSAdbtbWbGwMuoYKgoiIlFr7uyjobWHFQsqoo6ioiAiErUN9anjCacuUEtBRGTaW7e7FTM4eb5aCiIi096G+laWzi6ltCC0OyRPmIqCiEiE3J0N9W0ZsesIVBRERCLV0NpDc1d/RhxkBhUFEZFIrd+dOQeZQUVBRCRSG+pbyY/lcMK8sqijACoKIiKRWl/fyvJ5ZRTkxqKOAqgoiIhEJpF0Xsigg8wQclEws11m9oKZrTOz2lGWm5l928zqzGyDmZ0eZh4RkUyyo6mTrv5ERnRvMSgdJ8W+xd33j7HsQmBpMJwFfDf4V0RkylsfXMmcKWceQfS7j94J3O4pTwGVZjYv4kwiImmxfncrJfkxFkd8D4Xhwi4KDjxsZmvNbM0oy+cDu4dN1wfzXsfM1phZrZnVNjU1hRRVRCS9NtS3cvL8CmI5FnWUIWEXhXPc/XRSu4k+amarRywf7Z3wN8xwv8nda9y9prq6OoycIiJp1dOfYPPeDlZm0PEECLkouPue4N9G4B5g1YhV6oGFw6YXAHvCzCQikgme2tlMfyLJOUuqoo7yOqEVBTMrMbOywXHgrcDGEavdC1wRnIX0JqDN3feGlUlEJFM8vnU/+bk5rDp2ZtRRXifMs4/mAPeY2eB2fuLuD5rZRwDc/UbgAeDtQB3QDVwdYh4RkYzx+LYmzjp2JoV5mXHR2qDQioK77wBWjDL/xmHjDnw0rAwiIplob1sP2xo7ubRmQdRR3iDqU1JFRKadx7emLt1avSzzTpxRURARSbPHtjVRXVbA8XMyoxO84VQURETSKJF0/lC3nzcvrSI45ppRVBRERNJo0542WrsHWL0083YdgYqCiEhaPbY11SvDny7NrOsTBqkoiIik0WPb9nPSUeVUlRZEHWVUKgoiImnS2RfnuZdbeHOG7joCFQURkbR5ansz8aSzOkN3HYGKgohI2vx+axNFeTHOWDQj6ihjUlEQEUmDRNJ5cNM+Vi+rypj7MY9GRUFEJA2e2XmApo4+Ljr1qKijHJSKgohIGty/YQ9FeTHOXz476igHpaIgIhKyeCLJgxv3cd7y2RTnh9k59ZFTURARCdmTO5pp7urnL07N/FvQqyiIiITs/vV7KcmPce7xmb3rCCZYFMzsODMrCMbPNbNrzSyzbiwqIpKB+uNJHty0jz87cU7G3VBnNBNtKdwNJMxsCfAD4FjgJ6GlEhGZIp6o209bz0DGn3U0aKJFIenuceAS4Jvu/kkg83eOiYhE7L4NeygrzOXNyzL3KubhJloUBszsr4ArgfuDeXnhRBIRmRp6BxI8sulV/vykuRl9wdpwEy0KVwNnA593951mdizwo/BiiYhkv0dfaqSjL85FWXDW0aAJnTDr7i8C1wKY2QygzN2/FGYwEZFs99NndzOnvIA/XZIdu45g4mcfPWpm5WY2E1gP3GpmXw83mohI9mpo7eH3W5u4rGYhubHsOft/okkr3L0deDdwq7ufAVwQXiwRkez2s2d3A3BZzcKIkxyaiRaFXDObB1zGaweaRURkFImkc2ftbv50SRULZxZHHeeQTLQo3AA8BGx392fNbDGwbSIPNLOYmT1vZm8oJmZ2lZk1mdm6YPjQxKOLiGSmx7Y2saetl79adXTUUQ7ZRA803wncOWx6B/CeCW7jE8BmoHyM5Xe4+8cm+FwiIhnvf555hVkl+VywfE7UUQ7ZRA80LzCze8ys0cxeNbO7zWzBRB4HvAO4+UiDiohkg8b2Xn6zpZH3nrGA/NzsOcA8aKKJbwXuBY4C5gP3BfPG803gH4HkQdZ5j5ltMLO7zCy7jsiIiIxw59p6EknnL8/Mzq+ziRaFane/1d3jwfDfQPXBHmBmFwGN7r72IKvdByxy91OBXwO3jfFca8ys1sxqm5qaJhhZRCS9Eknnjmd386bFM1lcXRp1nMMy0aKw38zeHxw0jpnZ+4HmcR5zDnCxme0CfgqcZ2avuwra3ZvdvS+Y/D5wxmhP5O43uXuNu9dUVx+0FomIROaBF/byyoFurjh7UdRRDttEi8IHSJ2Oug/YC7yXVNcXY3L36919gbsvAi4Hfuvu7x++TnCa66CLSR2QFhHJOu7Of/6ujuOqS3jbSXOjjnPYJlQU3P0Vd7/Y3avdfba7v4vUhWyHzMxuMLOLg8lrzWyTma0n1Y3GVYfznCIiUfvN5ka27Ovgb89dQk6ORR3nsJm7H94DzV5x97SfhFtTU+O1tbXp3qyIyJjcnXf91x9p7uzjd586l7wM7NbCzNa6e8146x1J8uwthSIik+iJumbW727lmnOPy8iCcCiOJP3hNTFERKaY7/xuG3PKC3jvGeNevpXxDnpFs5l1MPqXvwFFoSQSEckia18+wFM7DvDP71ieNTfSOZiDFgV3L0tXEBGRbOPufPnBl5hZks//OSv7+jkaTXbv/BIRidBda+t5ZucB/uHPj6c4f0JdyWU8FQURkcNwoKufLzywmZpjZvCXWXbPhINRURAROQxfeGAzHb1xvvDuU7L6uoSRVBRERA7Rk9ubuWttPR9evZhlc6bWoVcVBRGRQ9AXT/CZX7zAwplFXHve0qjjTLqpcWRERCRNvvSrLexo6uK/rz6TovzsPwV1JLUUREQm6P4Ne7j1iV1cfc4izj1+dtRxQqGiICIyAXWNnfzTXRs4/ehKrr9wedRxQqOiICIyju7+OH/747UU5MX4z/ednpW32ZwoHVMQETkId+cz92xkW2Mnt39gFfMqpnYPP1O33ImITIJfrtvDPc83cN35y3jz0ql/50cVBRGRMTS09vDZX27kjGNm8NG3HBd1nLRQURARGUUy6fz9z9aRTDrfuGwluVl+n4SJmh6vUkTkEP3gDzt5ascB/uUvTuLoWcVRx0kbFQURkRG27Gvnqw+9xFtPnMOlNdl/45xDoaIgIjJMa3c/1/zoOcqL8vjiu0/BbOp0djcRKgoiIoH+eJJrfvQcDS093Pj+05lVWhB1pLTTdQoiIqSuR/jsLzby5I5mvvGXK6hZNDPqSJFQS0FEBLj58Z3cUbubj5+3hEtOm17HEYZTURCRae9XL+zlC7/azDtOmccnL1gWdZxIqSiIyLT2x+37+cRP13H60TP42qUrptRd1A5H6EXBzGJm9ryZ3T/KsgIzu8PM6szsaTNbFHYeEZFBGxvaWHP7WhZVFXPLlVPz/giHKh0thU8Am8dY9kGgxd2XAN8AvpyGPCIi7NzfxZW3PENFUR63f+AsKorzoo6UEUItCma2AHgHcPMYq7wTuC0Yvws436bbScEiknb7O/u44panceD2D65ibkVh1JEyRtgthW8C/wgkx1g+H9gN4O5xoA2YNXIlM1tjZrVmVtvU1BRWVhGZBvriCT7yw7U0tvdxy1Vnclx1adSRMkpoRcHMLgIa3X3twVYbZZ6/YYb7Te5e4+411dVTv+taEQmHu3P9z1+g9uUW/uOyFaxcWBl1pIwTZkvhHOBiM9sF/BQ4z8x+NGKdemAhgJnlAhXAgRAzicg09r3HdvDz5xq47oKlXHTqUVHHyUihFQV3v97dF7j7IuBy4Lfu/v4Rq90LXBmMvzdY5w0tBRGRI/Xwpn18+cEtXHTqPD5x/tKo42SstHdzYWY3ALXufi/wA+CHZlZHqoVwebrziMjUt2lPG9fdsY5T51fwtUtXTLtO7g5FWoqCuz8KPBqMf27Y/F7g0nRkEJHpqbG9lw/dVktFUR7fv6KGwjxdi3Aw6hBPRKas3oEEH769lraeAe78yNnMLtepp+NRURCRKSmZdP7+zvVsaGjje+8/g5OOqog6UlZQ30ciMiX95+/q+N8Ne/n0207grSfNjTpO1lBREJEp53cvNfL1X2/lXSuPYs3qxVHHySoqCiIypbzc3MUn/ud5ls8t54vvPlVnGh0iFQURmTK6++P8zQ/XkpNjfO+vz1Cvp4dBB5pFZEpwdz599wu89GoHt129ioUzi6OOlJXUUhCRKeHu5xq4d/0e/v7PlrF6mfpIO1wqCiKS9XYf6OZf793EqmNncs25S6KOk9VUFEQkqyWSzifvWIcBX79sBbFpfjvNI6VjCiKS1W78/XZqX27h65etYMEMHUc4UmopiEjW2tjQxjce2co7TpnHJafNjzrOlKCiICJZqXcgwXV3rGNWaT6fv+RkXY8wSbT7SESy0lcefIm6xk5u/8AqKovzo44zZailICJZ5491+7nliZ1ccfYxOv10kqkoiEhWaesZ4FN3rmdxVQnXX7g86jhTjnYfiUhW+dd7N/FqRx93X/Mn6sYiBGopiEjWeHDjPu55voGPvWUJKxdWRh1nSlJREJGs0NY9wGd/uZET55XzsfN01XJYtPtIRLLC//3fFznQ1c+tV51JXky/Z8Oid1ZEMt7j25q4c209f7N6MSfP1201w6SiICIZrasvzqfvfoHF1SVce/7SqONMedp9JCIZ7asPvcSeth7u/JuzKczT2UZhU0tBRDJWXWMHtz+5i79+0zHULJoZdZxpIbSiYGaFZvaMma03s01m9m+jrHOVmTWZ2bpg+FBYeUQk+3z9ka0U5cW47oJlUUeZNsLcfdQHnOfunWaWB/zBzH7l7k+NWO8Od/9YiDlEJAttbGjjgRf2ce15S5hZor6N0iW0ouDuDnQGk3nB4GFtT0Smlq8/spWKojw++ObFUUeZVkI9pmBmMTNbBzQCj7j706Os9h4z22Bmd5nZwjDziEh2WPtyC7/d0sia1YupKMqLOs60EmpRcPeEu68EFgCrzOzkEavcByxy91OBXwO3jfY8ZrbGzGrNrLapqSnMyCKSAb7+yEtUleZz9TmLoo4y7aTl7CN3bwUeBd42Yn6zu/cFk98Hzhjj8Te5e42711RXq5tckansj9v380RdM9ecu4TifJ01n25hnn1UbWaVwXgRcAGwZcQ684ZNXgxsDiuPiGS+vniCG+57kXkVhbzvrKOjjjMthVmG5wG3mVmMVPH5mbvfb2Y3ALXufi9wrZldDMSBA8BVIeYRkQz37d9sY8u+Dn5wZY0uVItImGcfbQBOG2X+54aNXw9cH1YGEckez73Swncf3c5lNQs4f/mcqONMW7qiWUQi19Of4FM/W8+8iiI+e9GJUceZ1nQUR0Qi95WHtrBjfxc//tBZlBXqFNQoqaUgIpF6ZucBbn1iF1eefQznLKmKOs60p6IgIpEZSCT5zD0vML+yiH+68ISo4wjafSQiEbrlDzvZ1tjJzVfU6JqEDKGWgohEYk9rD9/89TYuWD6HC07U2UaZQkVBRCJxw30v4jj/8hc62yiTqCiISNr9bksjD27ax8fPW8rCmcVRx5FhVBREJK32tfXyz7/YyHHVJXxY3WJnHBUFEUmb+pZuLvvek7T1DPC1S1eQn6uvoEyjw/0ikha79nfxvpufpqN3gB996CxWLqyMOpKMQkVBREL30r4OrrjlafrjSX7y4Tdx8vyKqCPJGFQURCQ0zZ19fOs32/jJ069QWZzHT9eczfFzy6KOJQehoiAik667P86tT+ziu49up2cgweVnLuS6C5ZRXVYQdTQZh4qCiEya7v44P3rqZb73+x00d/VzwfI5fPrCE1gyuzTqaDJBKgoicsT2tfVy93P13PKHnTR39fPmpVV84vyl1CyaGXU0OUQqCiJyyNydV9v7eGxrE79Y18CTO5pxR8VgClBRmGJauvr59eZXeXFvO82d/TR39XGga4Bk0smNGbk5Rl4sh6L8GIV5qWFmcR7HzCphUVUxx8wqYcGMIgpydStESensi7Nlbzub97bz4t4Otr3awdZXO2jvjQOwaFYx1563lHedNp9jq0oiTitHSkUhy/UOJKhr7OT53a08tHEfT+5oJpF0SvJjVJcVMKu0gPmVRcRyIJ5wBpLOQDxJV1+c/Z399A4k2N/RR0df/HXPW12WetyCGUUsnFnM0cOG+ZVF5ORYRK94+nB3AMzS9167Oy83d/PMrgM8u/MAtS+3sHN/19Dy8sJcTphbzsUrj2LZnDJWLqzklPkVac0o4VJROATtvQNsamhny752KoryWDanjCWzS4duMN7dH6epo4+BRJLSgjxKC3MpyY/R1Z/64m3q7KO1e4BYDuTFcsiL5TCrJJ/F1aXERnzJujv1LT0890oLz73cwtpXWmjq6KOsMI+ywlxKC3JpaO1h1/4ukqnvDo6tKmHN6sVcePLcQ/qgujsHuvrZ1dzNrv1d1Lf00NDaTUNrDy80tPHgxn3EBzcCFOblcGxVKYurSygryB32PNCfSNIXT9A3kCSedHIMcswwM4ryY5QWxCjJz6U0eA3lhan3KenO/o4+9nf2s7+zj86+OL0DCXoGEsQTzpzyQubPKGJ+ZRFzyguZUZxHZXE+lcV5lBfmHdaVsQOJJC1d/TR39XMgGFq7+2npHqC1e4BEMomZYQb5uTkcO6uEpXNKWTK7jIqi0e8O1h9P0jOQwAxiZsRyjI7eOK8c6OLl5m5eOdBNz0ACd0gmnf5Eksb2Pva19/Jqey/tPQMMJJ1EMADEcoyYGbkxo6Iob2goL8qjtCCX4vwYpQW5mBlJd+IJx3Hyc3MozE21BksKYlQW5zMzeM96BxI0d/XT0tVPY0cfO/d3saOpkx1NXUM/ECqL86g5ZibvPm0+y+eVc+JR5cyrKFQBmOJs8NdItqipqfHa2trQt9PVF2djQxsb6ttYX9/KxoY2djV3v2G9HIM55YW09wzQ1Z94w3Kz1JflwRTm5bB8XjnL55XT1RdnR1PqAzr4fMX5MVYurGTBjCI6++J09KaGOeUFHD+njOPnlrN8XhnHVpWE8oGNJ5Lsa+/lleZudjV3s6Opk+1Nnezc30XPwOtfc0FujILcHArycoiZ4UDSnUQy1arp7IvT2Rt/w+MGxXKMmSX5lBXmUpQXoygvhhnsa+9lb2vv64rTcPm5OZQVpIpNZVEeFcX5VBblkRszOnvjqe0ODsF09yj/X4NK8mPkxnJwd9yhL56kP5EcWl5akEtezMiN5ZCXY/TGk3T2xemPJ8d8Tkj9PeTHcsgxI8dSr3d2eSFzywuZU15IZXEqc15OzlBrLJFMkkimilh7zwBtPQO09gwEf3NxuvpS7yu8VogM6Eskx80zaF5FIYurS1hcVcrxc8tYdexMllSXqkU4hZjZWnevGXe96VIUdh/o5rFtTRxXXcpx1aVUleYD8Gp7H5v3tbNlbwe79nfx8oEuXmnuZm9779CX+fzKIk6ZX8EpCyo46ahyTpxXTnvvAC/t6+Slfe3Ut/ZQWZRPdVkBVaX5FOTFgi+eATp745QU5FJVWkBVWQGVRXmpX3PBbpy9bb1s2tPOpj1tbN7bTllhHourS1I5Z5dy2sJKTphbRm5savURE08k6epL0NE3QEdvHDOoLi1gRnH+mF9EiaTT1NFHY0dv8Gs+9Uu3sy9OR/Bl39EbH/rSbOvuZyDhQy2rkoJcygpzh6ZLC/KYWZrPrJJ8ZgZDZXEelUX5b2h5JJOpltvWVzvY2thBU0cf8YQTTyYZSDiFeTmp5y/IHWo5JpJOwp2ivBiLZpVw9KzitB+vGWyNdPTGh1pBLd39FObFmFWSz4yS1OsfzCxTl4rCCD9/rp6/+9n6oenywlxiOUZL98DQvKrSfI6emTrYumhWCacsKOfUBZVUleqCGxHJbhMtCtPmmMK7Vs7nrMWz2N7YyY6mTuqaOkkknRPmlnPC3DJOmFtORfHo+4lFRKaLaVMUcnKM+ZWpA5Wrl1VHHUdEJCOFtqPazArN7BkzW29mm8zs30ZZp8DM7jCzOjN72swWhZVHRETGF+bRyz7gPHdfAawE3mZmbxqxzgeBFndfAnwD+HKIeUREZByhFQVP6Qwm84Jh5FHtdwK3BeN3AeebToIWEYlMqOc5mlnMzNYBjcAj7v70iFXmA7sB3D0OtAGzRnmeNWZWa2a1TU1NYUYWEZnWQi0K7p5w95XAAmCVmZ08YpXRWgVvOEfW3W9y9xp3r6mu1kFiEZGwpOWKKHdvBR4F3jZiUT2wEMDMcoEK4EA6MomIyBuFefZRtZlVBuNFwAXAlhGr3QtcGYy/F/itZ9vVdCIiU0iY1ynMA24zsxip4vMzd7/fzG4Aat39XuAHwA/NrI5UC+HyEPOIiMg4sq6bCzNrAlpJHZQermKceeOND59XBew/xGijbX8iyycr9+FkPliu8ZaPnH+waeUeP9d4yw8n92jzlHv85YfymRw+PVm5w/ouWeruFeNuPdULZHYNwE2HOm+88RHzaicj00SWT1buw8k8mbkPNq3c0eQeY55yj7P8UD6TYeROx3fJwYZs7XrzvsOYN974aI8/0kwTWT5Vch9sWrnH3t5Elx9O7rFey+GYTrkP5TM5fHqycqfju2RMWbf7KB3MrNYn0JtgJsnGzKDc6abc6ZWNubO1pRC2m6IOcBiyMTMod7opd3plXW61FEREZIhaCiIiMmRKFwUzu8XMGs1s42E89gwzeyHo1vvbwzvqM7OPm9lLQZfgX5nc1OHkNrN/NbMGM1sXDG/PhtzDln/KzNzMqiYv8dBzh/F+/7uZbQje64fN7Kgsyf1VM9sSZL9n8ALULMh9afB5TJrZpO3DP5KsYzzflWa2LRiuHDb/oH//aXU4p3llywCsBk4HNh7GY58BzibVP9OvgAuD+W8Bfg0UBNOzsyT3vwKfyrb3O1i2EHgIeBmoyobcQPmwda4FbsyS3G8FcoPxLwNfzpLcy4HjSXWnUxN11iDHohHzZgI7gn9nBOMzDva6ohimdEvB3R9jRF9KZnacmT1oZmvN7HEzO2Hk48xsHqkP9ZOe+h+7HXhXsPga4Evu3hdsozFLcocuxNzfAP6RUTpLzNTc7t4+bNWSMLKHlPthT/VYDPAUqc4ssyH3Znd/KVOyjuHPSfUWfcDdW4AZ6W+0AAAFp0lEQVRHSN1nJtLP7UhTuiiM4Sbg4+5+BvAp4L9GWWc+qc76BtUH8wCWAW+21J3ifm9mZ4aa9jVHmhvgY8FugVvMbEZ4UV/niHKb2cVAg7uvDzvoCEf8fpvZ581sN/A+4HMhZh1uMv5OBn2A1K/WdJjM3GGbSNbRDN0qIDCYP1NeFzCN7tEMYGalwJ8Adw7bZVcw2qqjzBv8pZdLqun3JuBM4Gdmtjio8KGYpNzfBf49mP534D9IfehDc6S5zawY+AypXRppM0nvN+7+GeAzZnY98DHgXyY56uvDTFLu4Lk+A8SBH09mxtFMZu6wHSyrmV0NfCKYtwR4wMz6gZ3ufglj54/8dQ03rYoCqZZRq6fu8TDEUp32rQ0m7yX1BTq82bwA2BOM1wM/D4rAM2aWJNW/SZh3/zni3O7+6rDHfR+4P8S8g44093HAscD64AO4AHjOzFa5+74Mzj3ST4D/JeSiwCTlDg6AXgScH+aPnWEm+/0O06hZAdz9VuBWADN7FLjK3XcNW6UeOHfY9AJSxx7qif51vSaqgxnpGoBFDDtIBPwRuDQYN2DFGI97llRrYPDAz9uD+R8BbgjGl5FqDloW5J43bJ1PAj/Nhvd7xDq7COFAc0jv99Jh63wcuCtLcr8NeBGoDiNv2H8nTPKB5sPNytgHmneS2tMwIxifOZHXlc4hko2m7cXB/wB7gQFS1fiDpH55PgisD/74PzfGY2uAjcB24Du8dqFfPvCjYNlzwHlZkvuHwAvABlK/uuZlQ+4R6+winLOPwni/7w7mbyDV58z8LMldR+qHzrpgCOOsqTByXxI8Vx/wKvBQlFkZpSgE8z8QvMd1wNWH8vefrkFXNIuIyJDpePaRiIiMQUVBRESGqCiIiMgQFQURERmioiAiIkNUFGRKMLPONG/vZjM7cZKeK2Gp3lQ3mtl94/VMamaVZva3k7FtkZF0SqpMCWbW6e6lk/h8uf5ax3ChGp7dzG4Dtrr75w+y/iLgfnc/OR35ZHpRS0GmLDOrNrO7zezZYDgnmL/KzP5oZs8H/x4fzL/KzO40s/uAh83sXDN71MzustQ9Bn482M99ML8mGO8MOr9bb2ZPmdmcYP5xwfSzZnbDBFszT/JaZ4ClZvYbM3vOUn3tvzNY50vAcUHr4qvBuv8QbGeDmf3bJL6NMs2oKMhU9i3gG+5+JvAe4OZg/hZgtbufRqr30i8Me8zZwJXufl4wfRpwHXAisBg4Z5TtlABPufsK4DHgw8O2/61g++P2ZRP09XM+qSvOAXqBS9z9dFL38fiPoCh9Gtju7ivd/R/M7K3AUmAVsBI4w8xWj7c9kdFMtw7xZHq5ADhxWG+W5WZWBlQAt5nZUlK9UeYNe8wj7j68//xn3L0ewMzWkeoH5w8jttPPax0MrgX+LBg/m9f6xf8J8LUxchYNe+61pPrZh1Q/OF8IvuCTpFoQc0Z5/FuD4flgupRUkXhsjO2JjElFQaayHOBsd+8ZPtPM/h/wO3e/JNg//+iwxV0jnqNv2HiC0T8zA/7awbmx1jmYHndfaWYVpIrLR4Fvk7oPQzVwhrsPmNkuoHCUxxvwRXf/3iFuV+QNtPtIprKHSd3HAAAzG+zuuAJoCMavCnH7T5HabQVw+Xgru3sbqVt3fsrM8kjlbAwKwluAY4JVO4CyYQ99CPhA0Nc/ZjbfzGZP0muQaUZFQaaKYjOrHzb8Hakv2Jrg4OuLpLo9B/gK8EUzewKIhZjpOuDvzOwZYB7QNt4D3P15Ur1vXk7qBjc1ZlZLqtWwJVinGXgiOIX1q+7+MKndU0+a2QvAXby+aIhMmE5JFQlJcOe4Hnd3M7sc+Ct3f+d4jxOJko4piITnDOA7wRlDrYR8+1ORyaCWgoiIDNExBRERGaKiICIiQ1QURERkiIqCiIgMUVEQEZEhKgoiIjLk/wP77WGjk6mR9wAAAABJRU5ErkJggg==\n",
      "text/plain": [
       "<Figure size 432x288 with 1 Axes>"
      ]
     },
     "metadata": {
      "needs_background": "light"
     },
     "output_type": "display_data"
    }
   ],
   "source": [
    "#learn_lm.load('Ar-LM-epoch4-acc443')\n",
    "#learn_lm.unfreeze()\n",
    "learn_lm.lr_find()\n",
    "learn_lm.recorder.plot()"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 72,
   "metadata": {},
   "outputs": [
    {
     "data": {
      "text/html": [
       "Total time: 9:57:35 <p><table border=\"1\" class=\"dataframe\">\n",
       "  <thead>\n",
       "    <tr style=\"text-align: left;\">\n",
       "      <th>epoch</th>\n",
       "      <th>train_loss</th>\n",
       "      <th>valid_loss</th>\n",
       "      <th>accuracy</th>\n",
       "      <th>time</th>\n",
       "    </tr>\n",
       "  </thead>\n",
       "  <tbody>\n",
       "    <tr>\n",
       "      <td>0</td>\n",
       "      <td>3.377989</td>\n",
       "      <td>3.854942</td>\n",
       "      <td>0.400000</td>\n",
       "      <td>3:19:10</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <td>1</td>\n",
       "      <td>3.310036</td>\n",
       "      <td>3.466055</td>\n",
       "      <td>0.457143</td>\n",
       "      <td>3:19:19</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <td>2</td>\n",
       "      <td>3.196206</td>\n",
       "      <td>3.423015</td>\n",
       "      <td>0.428571</td>\n",
       "      <td>3:19:03</td>\n",
       "    </tr>\n",
       "  </tbody>\n",
       "</table>"
      ],
      "text/plain": [
       "<IPython.core.display.HTML object>"
      ]
     },
     "metadata": {},
     "output_type": "display_data"
    }
   ],
   "source": [
    "learn_lm.fit_one_cycle(3, 1e-3,\n",
    "    callbacks=[SaveModelCallback(learn_lm, every='epoch', monitor='accuracy', name='Ar-LM_unfreeze_1e-3_after1')])"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 76,
   "metadata": {},
   "outputs": [
    {
     "data": {
      "text/plain": [
       "'التاريخ المعاصر حمص تاريخ العراق الحديث جنيننا كربلاء النصيه محاطه بتونس والخصاءص الشخصيه لثوره رقم ابريل الجبهه المءذنه هجوما يعرف بالثوره ال+'"
      ]
     },
     "execution_count": 76,
     "metadata": {},
     "output_type": "execute_result"
    }
   ],
   "source": [
    "pred = learn_lm.predict('ال+ تاريخ ال+ معاصر', n_words=33)\n",
    "pred = pred.replace(' + ', '').replace('+ ', '').replace(' +', '')\n",
    "pred"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "### test LM"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 20,
   "metadata": {},
   "outputs": [
    {
     "data": {
      "text/plain": [
       "LanguageLearner(data=TextLMDataBunch;\n",
       "\n",
       "Train: LabelList (540503 items)\n",
       "x: LMTextList\n",
       "xxbos روبرت بيكر روبرت بيكر هو سياسي امريكي , ولد في رقم ابريل رقم في ال+ مملكه ال+ متحده , و+ توفي في رقم يونيو رقم ببروكلين في ال+ ولايات ال+ متحده . حزبيا , نشط في ال+ حزب ال+ ديمقراطي . انتخب .,xxbos فيت نغوين نغوين فيت نغوين نغوين هو مدرب كره قدم و+ لاعب كره قدم امريكي في مركز ال+ هجوم . شارك مع . اما مع ال+ نوادي , ف+ قد لعب مع و .,xxbos جوهانس ريتر جوهانس ريتر هو مدرب كره قدم و+ لاعب كره قدم دانمركي في مركز ال+ وسط . لعب مع نادي نوردشيلاند .,xxbos جيري xxunk جيري ريكاردو xxunk بودن هو لاعب كره قدم هندوراسي يجيد ال+ لعب ك+ مهاجم ل+ نادي xxunk ال+ ايراني .,xxbos اسامه عبد ال+ واحد اسامه حمدي عبد ال+ واحد , استاذ جامعي مصري ب+ جامعه عين شمس , و+ محافظ كفر ال+ شيخ ال+ سابق منذ رقم فبراير رقم حتي رقم ديسمبر رقم . ولد اسامه عبد ال+ واحد ب+ ال+ قاهره عام رقم . درس و+ تخرج في كليه ال+ هندسه ب+ جامعه عين شمس عام رقم , و+ حصل علي درجه ال+ ماجستير عام رقم , ثم ال+ دكتوراه عام رقم . شغل منصب استاذ هندسه ال+ انشاءات و+ ال+ كباري ب+ جامعه عين شمس , كما شغل منصب رءيس جهاز ال+ تفتيش ال+ فني علي ال+ بناء ب+ وزاره ال+ اسكان و+ ال+ مرافق و+ ال+ مجتمعات ال+ عمرانيه .\n",
       "y: LMLabelList\n",
       ",,,,\n",
       "Path: .;\n",
       "\n",
       "Valid: LabelList (60056 items)\n",
       "x: LMTextList\n",
       "xxbos مبارك xxunk ال+ بلوشي مبارك xxunk هو لاعب كره قدم قطري يلعب في خط ال+ وسط . لعب سابقا مع انديه ال+ ريان و السيليه و ال+ اهلي و قطر و ام صلال و الشحانيه . مبارك xxunk ال+ بلوشي,xxbos عنصر اولي ال+ عنصر ال+ اولي في ال+ رياضيات و+ خاصه في ال+ جبر ال+ مجرد هو عنصر غير صفري دون معاكس رقم من حلقه رقم يولد مثاليا اوليا . و+ يمكن ملاحظه ان + ه عندما + ما يكون رقم xxunk ل+ جداء في رقم , يكون رقم xxunk ل+ احد ال+ عوامل . نجد في ال+ مجال ال+ صحيح ان كل عنصر اولي غير قابل ل+ ال+ اختزال , و+ لكن ال+ عكس لا يتحقق الا في مجالات ال+ تحليل ال+ وحيد . ال+ حلقه رقم , حيث رقم وحده تخيليه , ليست مجال تحليل وحيدا , ف+ حيث ان ال+ عنصر رقم غير قابل ل+ ال+ اختزال , الا ان + ه ليس اوليا , ان + ه قاسم ل+ ال+ جداء رقم , لكن + ه ليس xxunk ل+ اي من عوامل هذا ال+ جداء .,xxbos ثقافه حيويه ثقافه حيويه ثقافه حيويه , و+ تضم ال+ مجالات ال+ مندمجه و+ ال+ مختلفه في ال+ علوم ال+ طبيه و+ ال+ علوم ال+ اجتماعيه و+ دراسات ال+ منطقه , و+ ال+ دراسات و+ ال+ ثقافه , و+ ال+ تكنولوجيا ال+ حيويه , و+ دراسات ال+ عجز او ال+ xxunk , و+ ال+ علوم ال+ انسانيه , و+ ال+ بيءه ال+ اقتصاديه و+ ال+ عالميه . ال+ ثقافه ال+ حيويه تحدد ال+ نشاط و+ توطيد ال+ افكار التي تنشا عندما + ما يتقاطع ال+ انسان مع ال+ تكنولوجيه .,xxbos ريفا xxunk ريفا xxunk هي بلديه في مقاطعه فرشيلي ال+ تابعه ل+ اقليم بييمونتي ال+ ايطالي , تقع علي بعد حوال + ي الي ال+ شمال من مدينه تورينو و+ حوال + ي شمال غرب مدينه فيرتشيلي . تقع ريفا xxunk علي حدود ال+ بلديات ال+ تاليه الانيا xxunk , xxunk , xxunk , راسا , ريما سان جيوسيبي , في بييمونتي xxunk لا ترينيتي xxunk سانت جين عبر ال+ حدود ال+ غربيه الي وادي اوستا .,xxbos براد ديفيز روبرت كريل براد ديفيز , , و+ هو ممثل امريكي اشتهر خلال دور + ه في فيلم سريع في قطار منتصف ال+ ليل\n",
       "y: LMLabelList\n",
       ",,,,\n",
       "Path: .;\n",
       "\n",
       "Test: None, model=SequentialRNN(\n",
       "  (0): AWD_LSTM(\n",
       "    (encoder): Embedding(60006, 400, padding_idx=1)\n",
       "    (encoder_dp): EmbeddingDropout(\n",
       "      (emb): Embedding(60006, 400, padding_idx=1)\n",
       "    )\n",
       "    (rnns): ModuleList(\n",
       "      (0): WeightDropout(\n",
       "        (module): LSTM(400, 1150, batch_first=True)\n",
       "      )\n",
       "      (1): WeightDropout(\n",
       "        (module): LSTM(1150, 1150, batch_first=True)\n",
       "      )\n",
       "      (2): WeightDropout(\n",
       "        (module): LSTM(1150, 400, batch_first=True)\n",
       "      )\n",
       "    )\n",
       "    (input_dp): RNNDropout()\n",
       "    (hidden_dps): ModuleList(\n",
       "      (0): RNNDropout()\n",
       "      (1): RNNDropout()\n",
       "      (2): RNNDropout()\n",
       "    )\n",
       "  )\n",
       "  (1): LinearDecoder(\n",
       "    (decoder): Linear(in_features=400, out_features=60006, bias=True)\n",
       "    (output_dp): RNNDropout()\n",
       "  )\n",
       "), opt_func=functools.partial(<class 'torch.optim.adam.Adam'>, betas=(0.9, 0.99)), loss_func=FlattenedLoss of CrossEntropyLoss(), metrics=[<function accuracy at 0x0000027F4DA08D08>], true_wd=True, bn_wd=True, wd=0.01, train_bn=True, path=WindowsPath('data'), model_dir='models', callback_fns=[functools.partial(<class 'fastai.basic_train.Recorder'>, add_time=True)], callbacks=[RNNTrainer\n",
       "learn: LanguageLearner(data=TextLMDataBunch;\n",
       "\n",
       "Train: LabelList (540503 items)\n",
       "x: LMTextList\n",
       "xxbos روبرت بيكر روبرت بيكر هو سياسي امريكي , ولد في رقم ابريل رقم في ال+ مملكه ال+ متحده , و+ توفي في رقم يونيو رقم ببروكلين في ال+ ولايات ال+ متحده . حزبيا , نشط في ال+ حزب ال+ ديمقراطي . انتخب .,xxbos فيت نغوين نغوين فيت نغوين نغوين هو مدرب كره قدم و+ لاعب كره قدم امريكي في مركز ال+ هجوم . شارك مع . اما مع ال+ نوادي , ف+ قد لعب مع و .,xxbos جوهانس ريتر جوهانس ريتر هو مدرب كره قدم و+ لاعب كره قدم دانمركي في مركز ال+ وسط . لعب مع نادي نوردشيلاند .,xxbos جيري xxunk جيري ريكاردو xxunk بودن هو لاعب كره قدم هندوراسي يجيد ال+ لعب ك+ مهاجم ل+ نادي xxunk ال+ ايراني .,xxbos اسامه عبد ال+ واحد اسامه حمدي عبد ال+ واحد , استاذ جامعي مصري ب+ جامعه عين شمس , و+ محافظ كفر ال+ شيخ ال+ سابق منذ رقم فبراير رقم حتي رقم ديسمبر رقم . ولد اسامه عبد ال+ واحد ب+ ال+ قاهره عام رقم . درس و+ تخرج في كليه ال+ هندسه ب+ جامعه عين شمس عام رقم , و+ حصل علي درجه ال+ ماجستير عام رقم , ثم ال+ دكتوراه عام رقم . شغل منصب استاذ هندسه ال+ انشاءات و+ ال+ كباري ب+ جامعه عين شمس , كما شغل منصب رءيس جهاز ال+ تفتيش ال+ فني علي ال+ بناء ب+ وزاره ال+ اسكان و+ ال+ مرافق و+ ال+ مجتمعات ال+ عمرانيه .\n",
       "y: LMLabelList\n",
       ",,,,\n",
       "Path: .;\n",
       "\n",
       "Valid: LabelList (60056 items)\n",
       "x: LMTextList\n",
       "xxbos مبارك xxunk ال+ بلوشي مبارك xxunk هو لاعب كره قدم قطري يلعب في خط ال+ وسط . لعب سابقا مع انديه ال+ ريان و السيليه و ال+ اهلي و قطر و ام صلال و الشحانيه . مبارك xxunk ال+ بلوشي,xxbos عنصر اولي ال+ عنصر ال+ اولي في ال+ رياضيات و+ خاصه في ال+ جبر ال+ مجرد هو عنصر غير صفري دون معاكس رقم من حلقه رقم يولد مثاليا اوليا . و+ يمكن ملاحظه ان + ه عندما + ما يكون رقم xxunk ل+ جداء في رقم , يكون رقم xxunk ل+ احد ال+ عوامل . نجد في ال+ مجال ال+ صحيح ان كل عنصر اولي غير قابل ل+ ال+ اختزال , و+ لكن ال+ عكس لا يتحقق الا في مجالات ال+ تحليل ال+ وحيد . ال+ حلقه رقم , حيث رقم وحده تخيليه , ليست مجال تحليل وحيدا , ف+ حيث ان ال+ عنصر رقم غير قابل ل+ ال+ اختزال , الا ان + ه ليس اوليا , ان + ه قاسم ل+ ال+ جداء رقم , لكن + ه ليس xxunk ل+ اي من عوامل هذا ال+ جداء .,xxbos ثقافه حيويه ثقافه حيويه ثقافه حيويه , و+ تضم ال+ مجالات ال+ مندمجه و+ ال+ مختلفه في ال+ علوم ال+ طبيه و+ ال+ علوم ال+ اجتماعيه و+ دراسات ال+ منطقه , و+ ال+ دراسات و+ ال+ ثقافه , و+ ال+ تكنولوجيا ال+ حيويه , و+ دراسات ال+ عجز او ال+ xxunk , و+ ال+ علوم ال+ انسانيه , و+ ال+ بيءه ال+ اقتصاديه و+ ال+ عالميه . ال+ ثقافه ال+ حيويه تحدد ال+ نشاط و+ توطيد ال+ افكار التي تنشا عندما + ما يتقاطع ال+ انسان مع ال+ تكنولوجيه .,xxbos ريفا xxunk ريفا xxunk هي بلديه في مقاطعه فرشيلي ال+ تابعه ل+ اقليم بييمونتي ال+ ايطالي , تقع علي بعد حوال + ي الي ال+ شمال من مدينه تورينو و+ حوال + ي شمال غرب مدينه فيرتشيلي . تقع ريفا xxunk علي حدود ال+ بلديات ال+ تاليه الانيا xxunk , xxunk , xxunk , راسا , ريما سان جيوسيبي , في بييمونتي xxunk لا ترينيتي xxunk سانت جين عبر ال+ حدود ال+ غربيه الي وادي اوستا .,xxbos براد ديفيز روبرت كريل براد ديفيز , , و+ هو ممثل امريكي اشتهر خلال دور + ه في فيلم سريع في قطار منتصف ال+ ليل\n",
       "y: LMLabelList\n",
       ",,,,\n",
       "Path: .;\n",
       "\n",
       "Test: None, model=SequentialRNN(\n",
       "  (0): AWD_LSTM(\n",
       "    (encoder): Embedding(60006, 400, padding_idx=1)\n",
       "    (encoder_dp): EmbeddingDropout(\n",
       "      (emb): Embedding(60006, 400, padding_idx=1)\n",
       "    )\n",
       "    (rnns): ModuleList(\n",
       "      (0): WeightDropout(\n",
       "        (module): LSTM(400, 1150, batch_first=True)\n",
       "      )\n",
       "      (1): WeightDropout(\n",
       "        (module): LSTM(1150, 1150, batch_first=True)\n",
       "      )\n",
       "      (2): WeightDropout(\n",
       "        (module): LSTM(1150, 400, batch_first=True)\n",
       "      )\n",
       "    )\n",
       "    (input_dp): RNNDropout()\n",
       "    (hidden_dps): ModuleList(\n",
       "      (0): RNNDropout()\n",
       "      (1): RNNDropout()\n",
       "      (2): RNNDropout()\n",
       "    )\n",
       "  )\n",
       "  (1): LinearDecoder(\n",
       "    (decoder): Linear(in_features=400, out_features=60006, bias=True)\n",
       "    (output_dp): RNNDropout()\n",
       "  )\n",
       "), opt_func=functools.partial(<class 'torch.optim.adam.Adam'>, betas=(0.9, 0.99)), loss_func=FlattenedLoss of CrossEntropyLoss(), metrics=[<function accuracy at 0x0000027F4DA08D08>], true_wd=True, bn_wd=True, wd=0.01, train_bn=True, path=WindowsPath('data'), model_dir='models', callback_fns=[functools.partial(<class 'fastai.basic_train.Recorder'>, add_time=True)], callbacks=[...], layer_groups=[Sequential(\n",
       "  (0): WeightDropout(\n",
       "    (module): LSTM(400, 1150, batch_first=True)\n",
       "  )\n",
       "  (1): RNNDropout()\n",
       "), Sequential(\n",
       "  (0): WeightDropout(\n",
       "    (module): LSTM(1150, 1150, batch_first=True)\n",
       "  )\n",
       "  (1): RNNDropout()\n",
       "), Sequential(\n",
       "  (0): WeightDropout(\n",
       "    (module): LSTM(1150, 400, batch_first=True)\n",
       "  )\n",
       "  (1): RNNDropout()\n",
       "), Sequential(\n",
       "  (0): Embedding(60006, 400, padding_idx=1)\n",
       "  (1): EmbeddingDropout(\n",
       "    (emb): Embedding(60006, 400, padding_idx=1)\n",
       "  )\n",
       "  (2): LinearDecoder(\n",
       "    (decoder): Linear(in_features=400, out_features=60006, bias=True)\n",
       "    (output_dp): RNNDropout()\n",
       "  )\n",
       ")], add_time=True)\n",
       "alpha: 2.0\n",
       "beta: 1.0], layer_groups=[Sequential(\n",
       "  (0): WeightDropout(\n",
       "    (module): LSTM(400, 1150, batch_first=True)\n",
       "  )\n",
       "  (1): RNNDropout()\n",
       "), Sequential(\n",
       "  (0): WeightDropout(\n",
       "    (module): LSTM(1150, 1150, batch_first=True)\n",
       "  )\n",
       "  (1): RNNDropout()\n",
       "), Sequential(\n",
       "  (0): WeightDropout(\n",
       "    (module): LSTM(1150, 400, batch_first=True)\n",
       "  )\n",
       "  (1): RNNDropout()\n",
       "), Sequential(\n",
       "  (0): Embedding(60006, 400, padding_idx=1)\n",
       "  (1): EmbeddingDropout(\n",
       "    (emb): Embedding(60006, 400, padding_idx=1)\n",
       "  )\n",
       "  (2): LinearDecoder(\n",
       "    (decoder): Linear(in_features=400, out_features=60006, bias=True)\n",
       "    (output_dp): RNNDropout()\n",
       "  )\n",
       ")], add_time=True)"
      ]
     },
     "execution_count": 20,
     "metadata": {},
     "output_type": "execute_result"
    }
   ],
   "source": [
    "#learn_lm = load_learner(path / 'data' / 'models', 'Ar-LM_unfreeze_1e-4_after3_2_acc475.pth')\n",
    "learn_lm = language_model_learner(data_lm, AWD_LSTM, drop_mult=0.1, pretrained=False)\n",
    "learn_lm.load('Ar-LM-epoch1-acc43')"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 66,
   "metadata": {},
   "outputs": [
    {
     "data": {
      "text/plain": [
       "'وتقع دوله الامارات العربيه المتحده في المملكه العربيه السعوديه وتعمل الدوله علي دوله الامارات العربيه المتحده ودوله الامارات ال+'"
      ]
     },
     "execution_count": 66,
     "metadata": {},
     "output_type": "execute_result"
    }
   ],
   "source": [
    "pred = 'و+ تقع دوله'\n",
    "pred = learn_lm.predict(pred, n_words=30, temperature=0.6)\n",
    "pred = pred.replace(' + ', '').replace('+ ', '').replace(' +', '')\n",
    "pred"
   ]
  }
 ],
 "metadata": {
  "kernelspec": {
   "display_name": "Python 3",
   "language": "python",
   "name": "python3"
  },
  "language_info": {
   "codemirror_mode": {
    "name": "ipython",
    "version": 3
   },
   "file_extension": ".py",
   "mimetype": "text/x-python",
   "name": "python",
   "nbconvert_exporter": "python",
   "pygments_lexer": "ipython3",
   "version": "3.6.8"
  }
 },
 "nbformat": 4,
 "nbformat_minor": 2
}