sentiment_analysis_arabic_hotel_reviews.ipynb

{
  "nbformat": 4,
  "nbformat_minor": 0,
  "metadata": {
    "colab": {
      "name": "sentiment-analysis-arabic-hotel-reviews.ipynb",
      "version": "0.3.2",
      "provenance": [],
      "collapsed_sections": [],
      "toc_visible": true
    },
    "language_info": {
      "codemirror_mode": {
        "name": "ipython",
        "version": 3
      },
      "file_extension": ".py",
      "mimetype": "text/x-python",
      "name": "python",
      "nbconvert_exporter": "python",
      "pygments_lexer": "ipython3",
      "version": "3.7.0"
    },
    "kernelspec": {
      "name": "python3",
      "display_name": "Python 3"
    },
    "accelerator": "GPU"
  },
  "cells": [
    {
      "cell_type": "markdown",
      "metadata": {
        "id": "uFwhSHZR7VGH",
        "colab_type": "text"
      },
      "source": [
        "# Dataset\n",
        "\n",
        "Dataset of Hotel Reviews scrapped from TripAdvisor.com [source: [large-arabic-sentiment-analysis-resouces](https://github.com/hadyelsahar/large-arabic-sentiment-analysis-resouces)]"
      ]
    },
    {
      "cell_type": "code",
      "metadata": {
        "id": "W_YWQpz8SPqz",
        "colab_type": "code",
        "colab": {}
      },
      "source": [
        "!wget https://github.com/hadyelsahar/large-arabic-sentiment-analysis-resouces/raw/master/datasets/HTL.csv"
      ],
      "execution_count": 0,
      "outputs": []
    },
    {
      "cell_type": "markdown",
      "metadata": {
        "id": "sZ5dtX48_-F7",
        "colab_type": "text"
      },
      "source": [
        "# Imports"
      ]
    },
    {
      "cell_type": "code",
      "metadata": {
        "id": "Rb5HfcPPPND7",
        "colab_type": "code",
        "outputId": "69d056d1-4088-42a2-faa5-561ab8f201e9",
        "colab": {
          "base_uri": "https://localhost:8080/",
          "height": 34
        }
      },
      "source": [
        "import os\n",
        "import re\n",
        "import pickle\n",
        "import numpy as np\n",
        "import pandas as pd\n",
        "\n",
        "from sklearn.model_selection import train_test_split\n",
        "from sklearn.metrics import accuracy_score\n",
        "\n",
        "from keras.preprocessing.text import Tokenizer\n",
        "from keras.preprocessing.sequence import pad_sequences\n",
        "from keras.models import Sequential\n",
        "from keras import layers\n",
        "from keras.backend import clear_session"
      ],
      "execution_count": 2,
      "outputs": [
        {
          "output_type": "stream",
          "text": [
            "Using TensorFlow backend.\n"
          ],
          "name": "stderr"
        }
      ]
    },
    {
      "cell_type": "code",
      "metadata": {
        "id": "SI2SwiNRuUcR",
        "colab_type": "code",
        "colab": {}
      },
      "source": [
        "pd.set_option('display.max_colwidth', -1)"
      ],
      "execution_count": 0,
      "outputs": []
    },
    {
      "cell_type": "code",
      "metadata": {
        "id": "bhuriJkvPNEE",
        "colab_type": "code",
        "colab": {}
      },
      "source": [
        "seed = 42"
      ],
      "execution_count": 0,
      "outputs": []
    },
    {
      "cell_type": "markdown",
      "metadata": {
        "id": "hcI-UnhWAGng",
        "colab_type": "text"
      },
      "source": [
        "# Preprocessing"
      ]
    },
    {
      "cell_type": "code",
      "metadata": {
        "id": "gJQwVoFTT0Td",
        "colab_type": "code",
        "colab": {}
      },
      "source": [
        "def clean_text(text):  \n",
        "    # ref: https://github.com/bakrianoo/aravec\n",
        "    search = [\"أ\",\"إ\",\"آ\",\"ة\",\"_\",\"-\",\"/\",\".\",\"،\",\" و \",\" يا \",'\"',\"ـ\",\"'\",\"ى\",\n",
        "              \"\\\\\",'\\n', '\\t','&quot;','?','؟','!']\n",
        "    replace = [\"ا\",\"ا\",\"ا\",\"ه\",\" \",\" \",\"\",\"\",\"\",\" و\",\" يا\",\n",
        "               \"\",\"\",\"\",\"ي\",\"\",' ', ' ',' ',' ? ',' ؟ ', ' ! ']\n",
        "    \n",
        "    tashkeel = re.compile(r'[\\u0617-\\u061A\\u064B-\\u0652]')\n",
        "    text = re.sub(tashkeel,\"\", text)\n",
        "    \n",
        "    longation = re.compile(r'(.)\\1+')\n",
        "    subst = r\"\\1\\1\"\n",
        "    text = re.sub(longation, subst, text)\n",
        "    \n",
        "    text = re.sub(r\"[^\\w\\s]\", '', text)\n",
        "    text = re.sub(r\"[a-zA-Z]\", '', text)\n",
        "    text = re.sub(r\"\\d+\", ' ', text)\n",
        "    text = re.sub(r\"\\n+\", ' ', text)\n",
        "    text = re.sub(r\"\\t+\", ' ', text)\n",
        "    text = re.sub(r\"\\r+\", ' ', text)\n",
        "    text = re.sub(r\"\\s+\", ' ', text)\n",
        "    text = text.replace('وو', 'و')\n",
        "    text = text.replace('يي', 'ي')\n",
        "    text = text.replace('اا', 'ا')\n",
        "    \n",
        "    for i in range(0, len(search)):\n",
        "        text = text.replace(search[i], replace[i])\n",
        "    \n",
        "    text = text.strip()\n",
        "    \n",
        "    return text"
      ],
      "execution_count": 0,
      "outputs": []
    },
    {
      "cell_type": "markdown",
      "metadata": {
        "id": "6KcajF8rAd2p",
        "colab_type": "text"
      },
      "source": [
        "# Create DataFrame"
      ]
    },
    {
      "cell_type": "code",
      "metadata": {
        "id": "8jqJbSS2PNEL",
        "colab_type": "code",
        "outputId": "655526dc-f5e0-468e-a638-59e0d1d7c43f",
        "colab": {
          "base_uri": "https://localhost:8080/",
          "height": 374
        }
      },
      "source": [
        "data = pd.read_csv('HTL.csv')\n",
        "data.head()"
      ],
      "execution_count": 6,
      "outputs": [
        {
          "output_type": "execute_result",
          "data": {
            "text/html": [
              "<div>\n",
              "<style scoped>\n",
              "    .dataframe tbody tr th:only-of-type {\n",
              "        vertical-align: middle;\n",
              "    }\n",
              "\n",
              "    .dataframe tbody tr th {\n",
              "        vertical-align: top;\n",
              "    }\n",
              "\n",
              "    .dataframe thead th {\n",
              "        text-align: right;\n",
              "    }\n",
              "</style>\n",
              "<table border=\"1\" class=\"dataframe\">\n",
              "  <thead>\n",
              "    <tr style=\"text-align: right;\">\n",
              "      <th></th>\n",
              "      <th>text</th>\n",
              "      <th>polarity</th>\n",
              "    </tr>\n",
              "  </thead>\n",
              "  <tbody>\n",
              "    <tr>\n",
              "      <th>0</th>\n",
              "      <td>المكان الذي يمكنك فيه مراجعة الذات والتفكر هو كوكروبيت، غانا....  \\r\\nثمة الكثير عند زيارة غانا. وعلى الرغم من الفقر الذي سوف تلاحظه على طريقك إلى بيغ ميلي باكيارد، وجدت أن الناس في غانا يملكون ثراء القلب حتى رغم العوز. بيغ ميلي باكيارد هو مكان يمكنني فيه مراجعة الذات والتفكر . التقيت أشخاصاً كانوا يعملون على مبادرات مختلفة. بيغ ميلي هو مكان يمكننا فيه تبادل الملاحظات والآراء. بيغ ميلي مليء بالسلام وهادئ للغاية . الطعام ممتاز جداً! الطهاة ممتازون! وبالإضافة إلى ذلك, لا بد من الإشارة إلى أن العمال الذين لا يكلون، ويحرصون على سعادة نزلائهم هم من يجعلون المكان مضيافاً. هناك خيبة أمل واحدة كبيرة!! رغم أن الفنون والأشغال اليدوية يمكن شراؤها في الموقع إلا أن الأسعار غالية!!! مؤخراً أزالت السلطات في كوكروبيت محلات التجار الواقعة خارج شاطئ بيغ ميلي. كانت منتجات التجار أرخص! لا يزال هناك محل تجاري \"متجر مايسترو للفن الإفريقي في كوكروبيت\" يعرض الفنون والأشغال اليدوية الفريدة والملابس واللوحات. اشتريت لوحات مذهلة لايمكنك أن تجدها في بيغ ميلي. عندما تزور بيغ ميلي من فضلك خذ لحظة للذهاب إلى الشاطئ وعلى يمينك ستجد \"متجر مايسترو للفن الإفريقي\" المذهل. لا تنخدع بأسعار التجار في بيغ ميلي باكيارد. استمتع بالموسيقى والناس! الرجاء أن تقضي وقتاً ممتعاً.</td>\n",
              "      <td>1</td>\n",
              "    </tr>\n",
              "    <tr>\n",
              "      <th>1</th>\n",
              "      <td>موقع رائع وحديقة رائعة ويستحق نجمةّ إضافية  \\r\\nعلى الرغم من أن الغرف ليست فاخرة، فهي نظيفة جداً وتعمل بشكل مثالي. بالتأكيد هناك بعض التصرفات الفردية والجماعية، ولكن كان هناك تكييف هواء كبير وجيد ونوافذ مزدوجة جيدة مع شاشات. منطقة الحديقة تحتوى على 3 مطاعم بالإضافة إلى بار رياضي. تبلغ تكلفة الإنترنت اللاسلكي 1:50 دولار للساعة، ولا يوجد خصم على الفترات الأطول، لذلك اضطررت إلى إغلاق حاسوبي أكثر. إف و بي رخيص جداً. يبدو أن هناك العديد من الزوار الأجانب هناك. 85 دولار أمريكي لليلة بما في ذلك بوفيه إفطار بمستوى نجمة واحدة. إقامة أفضل بكثير مما اعتقدت، سنعود بالتأكيد. شملت الإقامات السابقة فندق الأفريقية ريجنت و الدخول بالمطار غرب فندق (خيارريجينت أفريكان وفندق إيربيورت ويست (خيار قوي لتلك المنطقة من المدينة). حركة المرور في أكرا مُصابة بالشلل، لذا قم بعقد اجتماعاتك في فندق بالوما - وهو معروف جيداً.</td>\n",
              "      <td>0</td>\n",
              "    </tr>\n",
              "    <tr>\n",
              "      <th>2</th>\n",
              "      <td>أسوأ فندق أقمت فيه على الإطلاق  \\r\\nيستغرق تسجيل الوصول حوالي 30 دقيقة، باهظ الثمن، غرف قديمة جداً وقذرة، سجادة قذرة جداً... فى المجمل تجربة سيئة للغاية.\\r\\nمثل هذا الفندق سيكون في آسيا، نجمة واحدة، ويمكن أن أذهب في مايو.\\r\\n30 دولار أمريكي.\\r\\nالسعر في فندق نوفوتيل حوالي 250 دولار أمريكي\\r\\n</td>\n",
              "      <td>-1</td>\n",
              "    </tr>\n",
              "    <tr>\n",
              "      <th>3</th>\n",
              "      <td>بدون روح كأنه فندق ثلاثة نجوم  \\r\\nبدون إدارة احترافية، فإن هذا الفندق يبدو كمركب ضائع في البحر.\\r\\nالغرف موزعة بطريقة عشوائية والإفطار هو نقانق باردة سخيفة ونفس السلطة القديمة في كل يوم.\\r\\nكان مكيف الهواء يثير الضوضاء في الغرفة ومن المستحيل إيقافه.\\r\\nولكن مركز صحي رائع\\r\\n</td>\n",
              "      <td>0</td>\n",
              "    </tr>\n",
              "    <tr>\n",
              "      <th>4</th>\n",
              "      <td>فندق جميل مع سوء الإدارة والخدمات.  \\r\\nمن الخارج بدا مبشرًا، لكن خيبة الأمل بدأت في وقت الغداء، جودة الطعام سيئة سيئة سيئة، والحساء كان مزريًا جدًا، والفواكه جودتها سيئة (البكيخ كان متعفنًا، واو!). اشتكى زملائي من عدم وجود مناشف في غرفهم في حوالي الساعة 8 مساءً، والبعض لم تكن أسرّتهم مرتبة حتى الساعة 5 مساءً. تناولنا عشاء مكسيكيًا ومرة أخرى كانت قائمة الطعام مزرية. لن أقيم هنا أبدًا، على الأقل أتحدث عن نفسي!</td>\n",
              "      <td>-1</td>\n",
              "    </tr>\n",
              "  </tbody>\n",
              "</table>\n",
              "</div>"
            ],
            "text/plain": [
              "                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                             text  polarity\n",
              "0  المكان الذي يمكنك فيه مراجعة الذات والتفكر هو كوكروبيت، غانا....  \\r\\nثمة الكثير عند زيارة غانا. وعلى الرغم من الفقر الذي سوف تلاحظه على طريقك إلى بيغ ميلي باكيارد، وجدت أن الناس في غانا يملكون ثراء القلب حتى رغم العوز. بيغ ميلي باكيارد هو مكان يمكنني فيه مراجعة الذات والتفكر . التقيت أشخاصاً كانوا يعملون على مبادرات مختلفة. بيغ ميلي هو مكان يمكننا فيه تبادل الملاحظات والآراء. بيغ ميلي مليء بالسلام وهادئ للغاية . الطعام ممتاز جداً! الطهاة ممتازون! وبالإضافة إلى ذلك, لا بد من الإشارة إلى أن العمال الذين لا يكلون، ويحرصون على سعادة نزلائهم هم من يجعلون المكان مضيافاً. هناك خيبة أمل واحدة كبيرة!! رغم أن الفنون والأشغال اليدوية يمكن شراؤها في الموقع إلا أن الأسعار غالية!!! مؤخراً أزالت السلطات في كوكروبيت محلات التجار الواقعة خارج شاطئ بيغ ميلي. كانت منتجات التجار أرخص! لا يزال هناك محل تجاري \"متجر مايسترو للفن الإفريقي في كوكروبيت\" يعرض الفنون والأشغال اليدوية الفريدة والملابس واللوحات. اشتريت لوحات مذهلة لايمكنك أن تجدها في بيغ ميلي. عندما تزور بيغ ميلي من فضلك خذ لحظة للذهاب إلى الشاطئ وعلى يمينك ستجد \"متجر مايسترو للفن الإفريقي\" المذهل. لا تنخدع بأسعار التجار في بيغ ميلي باكيارد. استمتع بالموسيقى والناس! الرجاء أن تقضي وقتاً ممتعاً.  1       \n",
              "1  موقع رائع وحديقة رائعة ويستحق نجمةّ إضافية  \\r\\nعلى الرغم من أن الغرف ليست فاخرة، فهي نظيفة جداً وتعمل بشكل مثالي. بالتأكيد هناك بعض التصرفات الفردية والجماعية، ولكن كان هناك تكييف هواء كبير وجيد ونوافذ مزدوجة جيدة مع شاشات. منطقة الحديقة تحتوى على 3 مطاعم بالإضافة إلى بار رياضي. تبلغ تكلفة الإنترنت اللاسلكي 1:50 دولار للساعة، ولا يوجد خصم على الفترات الأطول، لذلك اضطررت إلى إغلاق حاسوبي أكثر. إف و بي رخيص جداً. يبدو أن هناك العديد من الزوار الأجانب هناك. 85 دولار أمريكي لليلة بما في ذلك بوفيه إفطار بمستوى نجمة واحدة. إقامة أفضل بكثير مما اعتقدت، سنعود بالتأكيد. شملت الإقامات السابقة فندق الأفريقية ريجنت و الدخول بالمطار غرب فندق (خيارريجينت أفريكان وفندق إيربيورت ويست (خيار قوي لتلك المنطقة من المدينة). حركة المرور في أكرا مُصابة بالشلل، لذا قم بعقد اجتماعاتك في فندق بالوما - وهو معروف جيداً.                                                                                                                                                                                                                                                                                                                                                            0       \n",
              "2  أسوأ فندق أقمت فيه على الإطلاق  \\r\\nيستغرق تسجيل الوصول حوالي 30 دقيقة، باهظ الثمن، غرف قديمة جداً وقذرة، سجادة قذرة جداً... فى المجمل تجربة سيئة للغاية.\\r\\nمثل هذا الفندق سيكون في آسيا، نجمة واحدة، ويمكن أن أذهب في مايو.\\r\\n30 دولار أمريكي.\\r\\nالسعر في فندق نوفوتيل حوالي 250 دولار أمريكي\\r\\n                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                          -1       \n",
              "3  بدون روح كأنه فندق ثلاثة نجوم  \\r\\nبدون إدارة احترافية، فإن هذا الفندق يبدو كمركب ضائع في البحر.\\r\\nالغرف موزعة بطريقة عشوائية والإفطار هو نقانق باردة سخيفة ونفس السلطة القديمة في كل يوم.\\r\\nكان مكيف الهواء يثير الضوضاء في الغرفة ومن المستحيل إيقافه.\\r\\nولكن مركز صحي رائع\\r\\n                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                            0       \n",
              "4  فندق جميل مع سوء الإدارة والخدمات.  \\r\\nمن الخارج بدا مبشرًا، لكن خيبة الأمل بدأت في وقت الغداء، جودة الطعام سيئة سيئة سيئة، والحساء كان مزريًا جدًا، والفواكه جودتها سيئة (البكيخ كان متعفنًا، واو!). اشتكى زملائي من عدم وجود مناشف في غرفهم في حوالي الساعة 8 مساءً، والبعض لم تكن أسرّتهم مرتبة حتى الساعة 5 مساءً. تناولنا عشاء مكسيكيًا ومرة أخرى كانت قائمة الطعام مزرية. لن أقيم هنا أبدًا، على الأقل أتحدث عن نفسي!                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                   -1       "
            ]
          },
          "metadata": {
            "tags": []
          },
          "execution_count": 6
        }
      ]
    },
    {
      "cell_type": "markdown",
      "metadata": {
        "id": "tIW4yJETAxuX",
        "colab_type": "text"
      },
      "source": [
        "Only include postive and negative reviews:"
      ]
    },
    {
      "cell_type": "code",
      "metadata": {
        "id": "cE-UyvZpYnOs",
        "colab_type": "code",
        "colab": {}
      },
      "source": [
        "data = data[data.polarity.isin([-1, 1])]"
      ],
      "execution_count": 0,
      "outputs": []
    },
    {
      "cell_type": "markdown",
      "metadata": {
        "id": "MXmmZ8B1BiBN",
        "colab_type": "text"
      },
      "source": [
        "Apply text preprocessing/cleaning:"
      ]
    },
    {
      "cell_type": "code",
      "metadata": {
        "id": "uBcQxZT_PNEP",
        "colab_type": "code",
        "colab": {}
      },
      "source": [
        "data['cleaned_text'] = data.text.apply(clean_text)"
      ],
      "execution_count": 0,
      "outputs": []
    },
    {
      "cell_type": "markdown",
      "metadata": {
        "id": "7u5P0fuzBoxk",
        "colab_type": "text"
      },
      "source": [
        "Remove empty string reviews:"
      ]
    },
    {
      "cell_type": "code",
      "metadata": {
        "id": "ufE8zx9HULgF",
        "colab_type": "code",
        "outputId": "2050eb42-4be6-4b92-fd42-6a4dcbcfd84d",
        "colab": {
          "base_uri": "https://localhost:8080/",
          "height": 380
        }
      },
      "source": [
        "data = data[data.cleaned_text != \"\"]\n",
        "data.head(3)"
      ],
      "execution_count": 9,
      "outputs": [
        {
          "output_type": "execute_result",
          "data": {
            "text/html": [
              "<div>\n",
              "<style scoped>\n",
              "    .dataframe tbody tr th:only-of-type {\n",
              "        vertical-align: middle;\n",
              "    }\n",
              "\n",
              "    .dataframe tbody tr th {\n",
              "        vertical-align: top;\n",
              "    }\n",
              "\n",
              "    .dataframe thead th {\n",
              "        text-align: right;\n",
              "    }\n",
              "</style>\n",
              "<table border=\"1\" class=\"dataframe\">\n",
              "  <thead>\n",
              "    <tr style=\"text-align: right;\">\n",
              "      <th></th>\n",
              "      <th>text</th>\n",
              "      <th>polarity</th>\n",
              "      <th>cleaned_text</th>\n",
              "    </tr>\n",
              "  </thead>\n",
              "  <tbody>\n",
              "    <tr>\n",
              "      <th>0</th>\n",
              "      <td>المكان الذي يمكنك فيه مراجعة الذات والتفكر هو كوكروبيت، غانا....  \\r\\nثمة الكثير عند زيارة غانا. وعلى الرغم من الفقر الذي سوف تلاحظه على طريقك إلى بيغ ميلي باكيارد، وجدت أن الناس في غانا يملكون ثراء القلب حتى رغم العوز. بيغ ميلي باكيارد هو مكان يمكنني فيه مراجعة الذات والتفكر . التقيت أشخاصاً كانوا يعملون على مبادرات مختلفة. بيغ ميلي هو مكان يمكننا فيه تبادل الملاحظات والآراء. بيغ ميلي مليء بالسلام وهادئ للغاية . الطعام ممتاز جداً! الطهاة ممتازون! وبالإضافة إلى ذلك, لا بد من الإشارة إلى أن العمال الذين لا يكلون، ويحرصون على سعادة نزلائهم هم من يجعلون المكان مضيافاً. هناك خيبة أمل واحدة كبيرة!! رغم أن الفنون والأشغال اليدوية يمكن شراؤها في الموقع إلا أن الأسعار غالية!!! مؤخراً أزالت السلطات في كوكروبيت محلات التجار الواقعة خارج شاطئ بيغ ميلي. كانت منتجات التجار أرخص! لا يزال هناك محل تجاري \"متجر مايسترو للفن الإفريقي في كوكروبيت\" يعرض الفنون والأشغال اليدوية الفريدة والملابس واللوحات. اشتريت لوحات مذهلة لايمكنك أن تجدها في بيغ ميلي. عندما تزور بيغ ميلي من فضلك خذ لحظة للذهاب إلى الشاطئ وعلى يمينك ستجد \"متجر مايسترو للفن الإفريقي\" المذهل. لا تنخدع بأسعار التجار في بيغ ميلي باكيارد. استمتع بالموسيقى والناس! الرجاء أن تقضي وقتاً ممتعاً.</td>\n",
              "      <td>1</td>\n",
              "      <td>المكان الذي يمكنك فيه مراجعه الذات والتفكر هو كوكروبيت غانا ثمه الكثير عند زياره غانا وعلي الرغم من الفقر الذي سوف تلاحظه علي طريقك الي بيغ ميلي باكيارد وجدت ان الناس في غانا يملكون ثراء القلب حتي رغم العوز بيغ ميلي باكيارد هو مكان يمكنني فيه مراجعه الذات والتفكر التقيت اشخاصا كانوا يعملون علي مبادرات مختلفه بيغ ميلي هو مكان يمكننا فيه تبادل الملاحظات والاراء بيغ ميلي مليء بالسلام وهادئ للغايه الطعام ممتاز جدا الطهاه ممتازون وبالاضافه الي ذلك لا بد من الاشاره الي ان العمال الذين لا يكلون ويحرصون علي سعاده نزلائهم هم من يجعلون المكان مضيافا هناك خيبه امل واحده كبيره رغم ان الفنون والاشغال اليدويه يمكن شراؤها في الموقع الا ان الاسعار غاليه مؤخرا ازالت السلطات في كوكروبيت محلات التجار الواقعه خارج شاطئ بيغ ميلي كانت منتجات التجار ارخص لا يزال هناك محل تجاري متجر مايسترو للفن الافريقي في كوكروبيت يعرض الفنون والاشغال اليدويه الفريده والملابس واللوحات اشتريت لوحات مذهله لايمكنك ان تجدها في بيغ ميلي عندما تزور بيغ ميلي من فضلك خذ لحظه للذهاب الي الشاطئ وعلي يمينك ستجد متجر مايسترو للفن الافريقي المذهل لا تنخدع باسعار التجار في بيغ ميلي باكيارد استمتع بالموسيقي والناس الرجاء ان تقضي وقتا ممتعا</td>\n",
              "    </tr>\n",
              "    <tr>\n",
              "      <th>2</th>\n",
              "      <td>أسوأ فندق أقمت فيه على الإطلاق  \\r\\nيستغرق تسجيل الوصول حوالي 30 دقيقة، باهظ الثمن، غرف قديمة جداً وقذرة، سجادة قذرة جداً... فى المجمل تجربة سيئة للغاية.\\r\\nمثل هذا الفندق سيكون في آسيا، نجمة واحدة، ويمكن أن أذهب في مايو.\\r\\n30 دولار أمريكي.\\r\\nالسعر في فندق نوفوتيل حوالي 250 دولار أمريكي\\r\\n</td>\n",
              "      <td>-1</td>\n",
              "      <td>اسوا فندق اقمت فيه علي الاطلاق يستغرق تسجيل الوصول حوالي دقيقه باهظ الثمن غرف قديمه جدا وقذره سجاده قذره جدا في المجمل تجربه سيئه للغايه مثل هذا الفندق سيكون في اسيا نجمه واحده ويمكن ان اذهب في مايو دولار امريكي السعر في فندق نوفوتيل حوالي دولار امريكي</td>\n",
              "    </tr>\n",
              "    <tr>\n",
              "      <th>4</th>\n",
              "      <td>فندق جميل مع سوء الإدارة والخدمات.  \\r\\nمن الخارج بدا مبشرًا، لكن خيبة الأمل بدأت في وقت الغداء، جودة الطعام سيئة سيئة سيئة، والحساء كان مزريًا جدًا، والفواكه جودتها سيئة (البكيخ كان متعفنًا، واو!). اشتكى زملائي من عدم وجود مناشف في غرفهم في حوالي الساعة 8 مساءً، والبعض لم تكن أسرّتهم مرتبة حتى الساعة 5 مساءً. تناولنا عشاء مكسيكيًا ومرة أخرى كانت قائمة الطعام مزرية. لن أقيم هنا أبدًا، على الأقل أتحدث عن نفسي!</td>\n",
              "      <td>-1</td>\n",
              "      <td>فندق جميل مع سوء الاداره والخدمات من الخارج بدا مبشرا لكن خيبه الامل بدات في وقت الغداء جوده الطعام سيئه سيئه سيئه والحساء كان مزريا جدا والفواكه جودتها سيئه البكيخ كان متعفنا واو اشتكي زملائي من عدم وجود مناشف في غرفهم في حوالي الساعه مساء والبعض لم تكن اسرتهم مرتبه حتي الساعه مساء تناولنا عشاء مكسيكيا ومره اخري كانت قائمه الطعام مزريه لن اقيم هنا ابدا علي الاقل اتحدث عن نفسي</td>\n",
              "    </tr>\n",
              "  </tbody>\n",
              "</table>\n",
              "</div>"
            ],
            "text/plain": [
              "                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                             text  ...                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                     cleaned_text\n",
              "0  المكان الذي يمكنك فيه مراجعة الذات والتفكر هو كوكروبيت، غانا....  \\r\\nثمة الكثير عند زيارة غانا. وعلى الرغم من الفقر الذي سوف تلاحظه على طريقك إلى بيغ ميلي باكيارد، وجدت أن الناس في غانا يملكون ثراء القلب حتى رغم العوز. بيغ ميلي باكيارد هو مكان يمكنني فيه مراجعة الذات والتفكر . التقيت أشخاصاً كانوا يعملون على مبادرات مختلفة. بيغ ميلي هو مكان يمكننا فيه تبادل الملاحظات والآراء. بيغ ميلي مليء بالسلام وهادئ للغاية . الطعام ممتاز جداً! الطهاة ممتازون! وبالإضافة إلى ذلك, لا بد من الإشارة إلى أن العمال الذين لا يكلون، ويحرصون على سعادة نزلائهم هم من يجعلون المكان مضيافاً. هناك خيبة أمل واحدة كبيرة!! رغم أن الفنون والأشغال اليدوية يمكن شراؤها في الموقع إلا أن الأسعار غالية!!! مؤخراً أزالت السلطات في كوكروبيت محلات التجار الواقعة خارج شاطئ بيغ ميلي. كانت منتجات التجار أرخص! لا يزال هناك محل تجاري \"متجر مايسترو للفن الإفريقي في كوكروبيت\" يعرض الفنون والأشغال اليدوية الفريدة والملابس واللوحات. اشتريت لوحات مذهلة لايمكنك أن تجدها في بيغ ميلي. عندما تزور بيغ ميلي من فضلك خذ لحظة للذهاب إلى الشاطئ وعلى يمينك ستجد \"متجر مايسترو للفن الإفريقي\" المذهل. لا تنخدع بأسعار التجار في بيغ ميلي باكيارد. استمتع بالموسيقى والناس! الرجاء أن تقضي وقتاً ممتعاً.  ...  المكان الذي يمكنك فيه مراجعه الذات والتفكر هو كوكروبيت غانا ثمه الكثير عند زياره غانا وعلي الرغم من الفقر الذي سوف تلاحظه علي طريقك الي بيغ ميلي باكيارد وجدت ان الناس في غانا يملكون ثراء القلب حتي رغم العوز بيغ ميلي باكيارد هو مكان يمكنني فيه مراجعه الذات والتفكر التقيت اشخاصا كانوا يعملون علي مبادرات مختلفه بيغ ميلي هو مكان يمكننا فيه تبادل الملاحظات والاراء بيغ ميلي مليء بالسلام وهادئ للغايه الطعام ممتاز جدا الطهاه ممتازون وبالاضافه الي ذلك لا بد من الاشاره الي ان العمال الذين لا يكلون ويحرصون علي سعاده نزلائهم هم من يجعلون المكان مضيافا هناك خيبه امل واحده كبيره رغم ان الفنون والاشغال اليدويه يمكن شراؤها في الموقع الا ان الاسعار غاليه مؤخرا ازالت السلطات في كوكروبيت محلات التجار الواقعه خارج شاطئ بيغ ميلي كانت منتجات التجار ارخص لا يزال هناك محل تجاري متجر مايسترو للفن الافريقي في كوكروبيت يعرض الفنون والاشغال اليدويه الفريده والملابس واللوحات اشتريت لوحات مذهله لايمكنك ان تجدها في بيغ ميلي عندما تزور بيغ ميلي من فضلك خذ لحظه للذهاب الي الشاطئ وعلي يمينك ستجد متجر مايسترو للفن الافريقي المذهل لا تنخدع باسعار التجار في بيغ ميلي باكيارد استمتع بالموسيقي والناس الرجاء ان تقضي وقتا ممتعا\n",
              "2  أسوأ فندق أقمت فيه على الإطلاق  \\r\\nيستغرق تسجيل الوصول حوالي 30 دقيقة، باهظ الثمن، غرف قديمة جداً وقذرة، سجادة قذرة جداً... فى المجمل تجربة سيئة للغاية.\\r\\nمثل هذا الفندق سيكون في آسيا، نجمة واحدة، ويمكن أن أذهب في مايو.\\r\\n30 دولار أمريكي.\\r\\nالسعر في فندق نوفوتيل حوالي 250 دولار أمريكي\\r\\n                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                           ...  اسوا فندق اقمت فيه علي الاطلاق يستغرق تسجيل الوصول حوالي دقيقه باهظ الثمن غرف قديمه جدا وقذره سجاده قذره جدا في المجمل تجربه سيئه للغايه مثل هذا الفندق سيكون في اسيا نجمه واحده ويمكن ان اذهب في مايو دولار امريكي السعر في فندق نوفوتيل حوالي دولار امريكي                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                   \n",
              "4  فندق جميل مع سوء الإدارة والخدمات.  \\r\\nمن الخارج بدا مبشرًا، لكن خيبة الأمل بدأت في وقت الغداء، جودة الطعام سيئة سيئة سيئة، والحساء كان مزريًا جدًا، والفواكه جودتها سيئة (البكيخ كان متعفنًا، واو!). اشتكى زملائي من عدم وجود مناشف في غرفهم في حوالي الساعة 8 مساءً، والبعض لم تكن أسرّتهم مرتبة حتى الساعة 5 مساءً. تناولنا عشاء مكسيكيًا ومرة أخرى كانت قائمة الطعام مزرية. لن أقيم هنا أبدًا، على الأقل أتحدث عن نفسي!                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                    ...  فندق جميل مع سوء الاداره والخدمات من الخارج بدا مبشرا لكن خيبه الامل بدات في وقت الغداء جوده الطعام سيئه سيئه سيئه والحساء كان مزريا جدا والفواكه جودتها سيئه البكيخ كان متعفنا واو اشتكي زملائي من عدم وجود مناشف في غرفهم في حوالي الساعه مساء والبعض لم تكن اسرتهم مرتبه حتي الساعه مساء تناولنا عشاء مكسيكيا ومره اخري كانت قائمه الطعام مزريه لن اقيم هنا ابدا علي الاقل اتحدث عن نفسي                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                    \n",
              "\n",
              "[3 rows x 3 columns]"
            ]
          },
          "metadata": {
            "tags": []
          },
          "execution_count": 9
        }
      ]
    },
    {
      "cell_type": "markdown",
      "metadata": {
        "id": "yO1ubWrBBvW_",
        "colab_type": "text"
      },
      "source": [
        "Balance input data (same size postive and negative reviews):"
      ]
    },
    {
      "cell_type": "code",
      "metadata": {
        "id": "u4nkauNCZK02",
        "colab_type": "code",
        "outputId": "0768be54-491a-45e5-d10f-da23d3f6015f",
        "colab": {
          "base_uri": "https://localhost:8080/",
          "height": 142
        }
      },
      "source": [
        "min_sample = data.groupby(['polarity']).count().text.min()\n",
        "input_data = pd.concat([data[data.polarity == 1].head(min_sample), \n",
        "                        data[data.polarity == -1].head(min_sample)])\n",
        "input_data.groupby(['polarity']).count()"
      ],
      "execution_count": 10,
      "outputs": [
        {
          "output_type": "execute_result",
          "data": {
            "text/html": [
              "<div>\n",
              "<style scoped>\n",
              "    .dataframe tbody tr th:only-of-type {\n",
              "        vertical-align: middle;\n",
              "    }\n",
              "\n",
              "    .dataframe tbody tr th {\n",
              "        vertical-align: top;\n",
              "    }\n",
              "\n",
              "    .dataframe thead th {\n",
              "        text-align: right;\n",
              "    }\n",
              "</style>\n",
              "<table border=\"1\" class=\"dataframe\">\n",
              "  <thead>\n",
              "    <tr style=\"text-align: right;\">\n",
              "      <th></th>\n",
              "      <th>text</th>\n",
              "      <th>cleaned_text</th>\n",
              "    </tr>\n",
              "    <tr>\n",
              "      <th>polarity</th>\n",
              "      <th></th>\n",
              "      <th></th>\n",
              "    </tr>\n",
              "  </thead>\n",
              "  <tbody>\n",
              "    <tr>\n",
              "      <th>-1</th>\n",
              "      <td>2645</td>\n",
              "      <td>2645</td>\n",
              "    </tr>\n",
              "    <tr>\n",
              "      <th>1</th>\n",
              "      <td>2645</td>\n",
              "      <td>2645</td>\n",
              "    </tr>\n",
              "  </tbody>\n",
              "</table>\n",
              "</div>"
            ],
            "text/plain": [
              "          text  cleaned_text\n",
              "polarity                    \n",
              "-1        2645  2645        \n",
              " 1        2645  2645        "
            ]
          },
          "metadata": {
            "tags": []
          },
          "execution_count": 10
        }
      ]
    },
    {
      "cell_type": "markdown",
      "metadata": {
        "id": "Fulu47HgCKzG",
        "colab_type": "text"
      },
      "source": [
        "# Create Numpy Arrays"
      ]
    },
    {
      "cell_type": "code",
      "metadata": {
        "id": "2vCd4GxQPNES",
        "colab_type": "code",
        "colab": {}
      },
      "source": [
        "X = input_data.cleaned_text.values"
      ],
      "execution_count": 0,
      "outputs": []
    },
    {
      "cell_type": "code",
      "metadata": {
        "id": "WpaAwXA3mnTD",
        "colab_type": "code",
        "colab": {}
      },
      "source": [
        "Y = np.asarray(input_data.polarity.values).astype('float32')\n",
        "Y = Y.clip(0, 1)"
      ],
      "execution_count": 0,
      "outputs": []
    },
    {
      "cell_type": "markdown",
      "metadata": {
        "id": "kOzP2fK_CVqE",
        "colab_type": "text"
      },
      "source": [
        "# Create Sequences"
      ]
    },
    {
      "cell_type": "code",
      "metadata": {
        "id": "S808ayHEPNEZ",
        "colab_type": "code",
        "outputId": "6ea042e3-d74e-4914-f157-022cbcc9f47c",
        "colab": {
          "base_uri": "https://localhost:8080/",
          "height": 34
        }
      },
      "source": [
        "num_words = 10000\n",
        "tokenizer = Tokenizer(num_words=num_words)\n",
        "tokenizer.fit_on_texts(X)\n",
        "\n",
        "X = tokenizer.texts_to_sequences(X)\n",
        "\n",
        "vocab_size = len(tokenizer.word_index) + 1\n",
        "print(\"vocab size:\", vocab_size)"
      ],
      "execution_count": 13,
      "outputs": [
        {
          "output_type": "stream",
          "text": [
            "vocab size: 48682\n"
          ],
          "name": "stdout"
        }
      ]
    },
    {
      "cell_type": "code",
      "metadata": {
        "id": "TAcHs9jvPNEc",
        "colab_type": "code",
        "colab": {}
      },
      "source": [
        "maxlen = 300\n",
        "X = pad_sequences(X, padding='post', maxlen=maxlen)"
      ],
      "execution_count": 0,
      "outputs": []
    },
    {
      "cell_type": "markdown",
      "metadata": {
        "id": "FZj1d9LfCpkV",
        "colab_type": "text"
      },
      "source": [
        "Store tokenizer:"
      ]
    },
    {
      "cell_type": "code",
      "metadata": {
        "id": "1OAGOd_24M6m",
        "colab_type": "code",
        "colab": {}
      },
      "source": [
        "with open('tokenizer.pkl', 'wb') as f:\n",
        "    pickle.dump(tokenizer, f)"
      ],
      "execution_count": 0,
      "outputs": []
    },
    {
      "cell_type": "markdown",
      "metadata": {
        "id": "reXpZVU9CSc0",
        "colab_type": "text"
      },
      "source": [
        "# Split Data"
      ]
    },
    {
      "cell_type": "code",
      "metadata": {
        "id": "zGtFcSQGPNEX",
        "colab_type": "code",
        "colab": {}
      },
      "source": [
        "X_train, X_test, label_train, label_test = train_test_split(X, Y, test_size=0.3,\n",
        "                                                            random_state=seed)"
      ],
      "execution_count": 0,
      "outputs": []
    },
    {
      "cell_type": "markdown",
      "metadata": {
        "id": "NU_W1lCgC1Dr",
        "colab_type": "text"
      },
      "source": [
        "Size of train and test data:"
      ]
    },
    {
      "cell_type": "code",
      "metadata": {
        "id": "w1u0cUcRhLAx",
        "colab_type": "code",
        "outputId": "35a9855f-0d9b-43c2-e539-3c0b13e4344b",
        "colab": {
          "base_uri": "https://localhost:8080/",
          "height": 51
        }
      },
      "source": [
        "print(\"Training:\", len(X_train), len(label_train))\n",
        "print(\"Testing: \", len(X_test), len(label_test))"
      ],
      "execution_count": 17,
      "outputs": [
        {
          "output_type": "stream",
          "text": [
            "Training: 3703 3703\n",
            "Testing:  1587 1587\n"
          ],
          "name": "stdout"
        }
      ]
    },
    {
      "cell_type": "markdown",
      "metadata": {
        "id": "o_mmy7W3C8we",
        "colab_type": "text"
      },
      "source": [
        "# Create Model"
      ]
    },
    {
      "cell_type": "markdown",
      "metadata": {
        "id": "8NraPzu2DLnA",
        "colab_type": "text"
      },
      "source": [
        "Bidirectional LSTM model:"
      ]
    },
    {
      "cell_type": "code",
      "metadata": {
        "id": "nAxzVlwAPNEg",
        "colab_type": "code",
        "outputId": "58e48593-c404-40dd-dd8c-13230335e124",
        "colab": {
          "base_uri": "https://localhost:8080/",
          "height": 598
        }
      },
      "source": [
        "embedding_dim = 100\n",
        "dropout = 0.5\n",
        "opt = 'adam'\n",
        "clear_session()\n",
        "\n",
        "model = Sequential()\n",
        "model.add(layers.Embedding(input_dim=num_words, \n",
        "                           output_dim=embedding_dim, \n",
        "                           input_length=maxlen))\n",
        "model.add(layers.Bidirectional(layers.LSTM(100, dropout=dropout, \n",
        "                                           recurrent_dropout=dropout, \n",
        "                                           return_sequences=True)))\n",
        "model.add(layers.GlobalMaxPool1D())\n",
        "model.add(layers.Dense(128, activation='relu'))\n",
        "model.add(layers.Dropout(dropout))\n",
        "model.add(layers.Dense(64, activation='relu'))\n",
        "model.add(layers.Dropout(dropout))\n",
        "model.add(layers.Dense(32, activation='relu'))\n",
        "model.add(layers.Dropout(dropout))\n",
        "model.add(layers.Dense(1, activation='sigmoid'))\n",
        "\n",
        "model.compile(optimizer=opt, \n",
        "              loss='binary_crossentropy', \n",
        "              metrics=['accuracy'])\n",
        "model.summary()"
      ],
      "execution_count": 18,
      "outputs": [
        {
          "output_type": "stream",
          "text": [
            "WARNING:tensorflow:From /usr/local/lib/python3.6/dist-packages/tensorflow/python/framework/op_def_library.py:263: colocate_with (from tensorflow.python.framework.ops) is deprecated and will be removed in a future version.\n",
            "Instructions for updating:\n",
            "Colocations handled automatically by placer.\n",
            "WARNING:tensorflow:From /usr/local/lib/python3.6/dist-packages/keras/backend/tensorflow_backend.py:3445: calling dropout (from tensorflow.python.ops.nn_ops) with keep_prob is deprecated and will be removed in a future version.\n",
            "Instructions for updating:\n",
            "Please use `rate` instead of `keep_prob`. Rate should be set to `rate = 1 - keep_prob`.\n",
            "_________________________________________________________________\n",
            "Layer (type)                 Output Shape              Param #   \n",
            "=================================================================\n",
            "embedding_1 (Embedding)      (None, 300, 100)          1000000   \n",
            "_________________________________________________________________\n",
            "bidirectional_1 (Bidirection (None, 300, 200)          160800    \n",
            "_________________________________________________________________\n",
            "global_max_pooling1d_1 (Glob (None, 200)               0         \n",
            "_________________________________________________________________\n",
            "dense_1 (Dense)              (None, 128)               25728     \n",
            "_________________________________________________________________\n",
            "dropout_1 (Dropout)          (None, 128)               0         \n",
            "_________________________________________________________________\n",
            "dense_2 (Dense)              (None, 64)                8256      \n",
            "_________________________________________________________________\n",
            "dropout_2 (Dropout)          (None, 64)                0         \n",
            "_________________________________________________________________\n",
            "dense_3 (Dense)              (None, 32)                2080      \n",
            "_________________________________________________________________\n",
            "dropout_3 (Dropout)          (None, 32)                0         \n",
            "_________________________________________________________________\n",
            "dense_4 (Dense)              (None, 1)                 33        \n",
            "=================================================================\n",
            "Total params: 1,196,897\n",
            "Trainable params: 1,196,897\n",
            "Non-trainable params: 0\n",
            "_________________________________________________________________\n"
          ],
          "name": "stdout"
        }
      ]
    },
    {
      "cell_type": "markdown",
      "metadata": {
        "id": "1nCjAo8XDVEo",
        "colab_type": "text"
      },
      "source": [
        "# Training"
      ]
    },
    {
      "cell_type": "code",
      "metadata": {
        "id": "KwhHFj3nPNEo",
        "colab_type": "code",
        "outputId": "bd2cebb3-4442-4394-ae9c-4314df0b7c10",
        "colab": {
          "base_uri": "https://localhost:8080/",
          "height": 360
        }
      },
      "source": [
        "history = model.fit(X_train, label_train,\n",
        "                    epochs=4,\n",
        "                    verbose=True,\n",
        "                    validation_data=(X_test, label_test),\n",
        "                    batch_size=64)\n",
        "loss, accuracy = model.evaluate(X_train, label_train, verbose=True)\n",
        "print(\"Training Accuracy: {:.4f}\".format(accuracy))\n",
        "loss_val, accuracy_val = model.evaluate(X_test, label_test, verbose=True)\n",
        "print(\"Testing Accuracy:  {:.4f}\".format(accuracy_val))"
      ],
      "execution_count": 19,
      "outputs": [
        {
          "output_type": "stream",
          "text": [
            "WARNING:tensorflow:From /usr/local/lib/python3.6/dist-packages/tensorflow/python/ops/math_ops.py:3066: to_int32 (from tensorflow.python.ops.math_ops) is deprecated and will be removed in a future version.\n",
            "Instructions for updating:\n",
            "Use tf.cast instead.\n",
            "WARNING:tensorflow:From /usr/local/lib/python3.6/dist-packages/tensorflow/python/ops/math_grad.py:102: div (from tensorflow.python.ops.math_ops) is deprecated and will be removed in a future version.\n",
            "Instructions for updating:\n",
            "Deprecated in favor of operator or tf.math.divide.\n",
            "Train on 3703 samples, validate on 1587 samples\n",
            "Epoch 1/4\n",
            "3703/3703 [==============================] - 75s 20ms/step - loss: 0.6943 - acc: 0.4953 - val_loss: 0.6925 - val_acc: 0.4890\n",
            "Epoch 2/4\n",
            "3703/3703 [==============================] - 71s 19ms/step - loss: 0.6907 - acc: 0.5166 - val_loss: 0.6773 - val_acc: 0.8267\n",
            "Epoch 3/4\n",
            "3703/3703 [==============================] - 72s 19ms/step - loss: 0.5084 - acc: 0.7853 - val_loss: 0.2446 - val_acc: 0.9124\n",
            "Epoch 4/4\n",
            "3703/3703 [==============================] - 72s 19ms/step - loss: 0.2698 - acc: 0.9139 - val_loss: 0.2038 - val_acc: 0.9288\n",
            "3703/3703 [==============================] - 47s 13ms/step\n",
            "Training Accuracy: 0.9614\n",
            "1587/1587 [==============================] - 20s 13ms/step\n",
            "Testing Accuracy:  0.9288\n"
          ],
          "name": "stdout"
        }
      ]
    },
    {
      "cell_type": "markdown",
      "metadata": {
        "id": "qOh_Crm1DaNv",
        "colab_type": "text"
      },
      "source": [
        "# Evaluation"
      ]
    },
    {
      "cell_type": "code",
      "metadata": {
        "id": "ybMMxNiIo8qB",
        "colab_type": "code",
        "colab": {}
      },
      "source": [
        "blind_sample = 200\n",
        "blind_test = pd.concat([data[data.polarity == 1].tail(blind_sample), \n",
        "                        data[data.polarity == -1].tail(blind_sample)])"
      ],
      "execution_count": 0,
      "outputs": []
    },
    {
      "cell_type": "markdown",
      "metadata": {
        "id": "IsKvS7cWDtEv",
        "colab_type": "text"
      },
      "source": [
        "Create Numpy arrays:"
      ]
    },
    {
      "cell_type": "code",
      "metadata": {
        "id": "BVmogBc2qIpD",
        "colab_type": "code",
        "colab": {}
      },
      "source": [
        "X_blind = blind_test.cleaned_text.values\n",
        "Y_blind = np.asarray(blind_test.polarity.values).astype('float32')\n",
        "Y_blind = Y_blind.clip(0, 1)"
      ],
      "execution_count": 0,
      "outputs": []
    },
    {
      "cell_type": "markdown",
      "metadata": {
        "id": "WZY9T4c5Dwnm",
        "colab_type": "text"
      },
      "source": [
        "Create sequences:"
      ]
    },
    {
      "cell_type": "code",
      "metadata": {
        "id": "axZJ-ctfqiXK",
        "colab_type": "code",
        "colab": {}
      },
      "source": [
        "X_blind = tokenizer.texts_to_sequences(X_blind)\n",
        "X_blind = pad_sequences(X_blind, padding='post', maxlen=maxlen)"
      ],
      "execution_count": 0,
      "outputs": []
    },
    {
      "cell_type": "markdown",
      "metadata": {
        "id": "hQTNOel7Dz7O",
        "colab_type": "text"
      },
      "source": [
        "Predict:"
      ]
    },
    {
      "cell_type": "code",
      "metadata": {
        "id": "sUXhTURWrSp8",
        "colab_type": "code",
        "outputId": "9e2f8a20-53b8-4294-824d-8e5e1beec8fa",
        "colab": {
          "base_uri": "https://localhost:8080/",
          "height": 34
        }
      },
      "source": [
        "pred_blind = model.predict(X_blind, verbose=True)"
      ],
      "execution_count": 74,
      "outputs": [
        {
          "output_type": "stream",
          "text": [
            "400/400 [==============================] - 5s 14ms/step\n"
          ],
          "name": "stdout"
        }
      ]
    },
    {
      "cell_type": "markdown",
      "metadata": {
        "id": "G1khL7UHD180",
        "colab_type": "text"
      },
      "source": [
        "Compre results:"
      ]
    },
    {
      "cell_type": "code",
      "metadata": {
        "id": "f9emOzCFrhiO",
        "colab_type": "code",
        "colab": {}
      },
      "source": [
        "df_blind = pd.DataFrame({'REAL': Y_blind, \n",
        "                         'PRED': pred_blind.reshape(pred_blind.shape[0],), \n",
        "                         'TEXT': blind_test.cleaned_text})\n",
        "df_blind = df_blind.reset_index()[['REAL', 'PRED', 'TEXT']]\n",
        "df_blind.PRED = df_blind.PRED.round()\n",
        "error_records = df_blind[df_blind.REAL != df_blind.PRED]"
      ],
      "execution_count": 0,
      "outputs": []
    },
    {
      "cell_type": "code",
      "metadata": {
        "id": "HkVKwYiWt0RL",
        "colab_type": "code",
        "outputId": "4995e581-e28e-44c1-b98f-4768fb84365b",
        "colab": {
          "base_uri": "https://localhost:8080/",
          "height": 51
        }
      },
      "source": [
        "print(\"Number of misclassified reviews: {} out of {}\".format(error_records.shape[0], df_blind.shape[0]))\n",
        "print(\"Blind Test Accuracy:  {:.4f}\".format(accuracy_score(df_blind.REAL, df_blind.PRED)))"
      ],
      "execution_count": 76,
      "outputs": [
        {
          "output_type": "stream",
          "text": [
            "Number of misclassified reviews: 38 out of 400\n",
            "Blind Test Accuracy:  0.9050\n"
          ],
          "name": "stdout"
        }
      ]
    },
    {
      "cell_type": "markdown",
      "metadata": {
        "id": "mUPhC-z4JT2O",
        "colab_type": "text"
      },
      "source": [
        "Sample outputs:"
      ]
    },
    {
      "cell_type": "code",
      "metadata": {
        "id": "fiYTDrtxJWRN",
        "colab_type": "code",
        "outputId": "a8e26819-0438-49d6-e6b0-968a8534546f",
        "colab": {
          "base_uri": "https://localhost:8080/",
          "height": 210
        }
      },
      "source": [
        "df_blind.sample(n=3)"
      ],
      "execution_count": 81,
      "outputs": [
        {
          "output_type": "execute_result",
          "data": {
            "text/html": [
              "<div>\n",
              "<style scoped>\n",
              "    .dataframe tbody tr th:only-of-type {\n",
              "        vertical-align: middle;\n",
              "    }\n",
              "\n",
              "    .dataframe tbody tr th {\n",
              "        vertical-align: top;\n",
              "    }\n",
              "\n",
              "    .dataframe thead th {\n",
              "        text-align: right;\n",
              "    }\n",
              "</style>\n",
              "<table border=\"1\" class=\"dataframe\">\n",
              "  <thead>\n",
              "    <tr style=\"text-align: right;\">\n",
              "      <th></th>\n",
              "      <th>REAL</th>\n",
              "      <th>PRED</th>\n",
              "      <th>TEXT</th>\n",
              "    </tr>\n",
              "  </thead>\n",
              "  <tbody>\n",
              "    <tr>\n",
              "      <th>224</th>\n",
              "      <td>0.0</td>\n",
              "      <td>0.0</td>\n",
              "      <td>مختلف جدا عن فتره ازدهاره قديم وبحاجه الي ترميم عام موقع ممتاز مبني قديم وبالي وفي حاجه الي التجديدات والتحديثات يدعي صاحب الفندق ان المكانه التاريخيه تمنع وجود مخارج طوارئ واو اضاءه في حالات الطوارئ ومخارج حريق ذات علامات في هذا المبني المكون من طوابق والذي ليس فيه مصعد بل سلم مركزي ضيق في القاعه المضيفه لطيفه جدا لكن ليس هناك امر اخر جيد الافطار هو نفسه كل يوم وليس فيه ابتكار نفس الاومليت الممل كل يوم او الحبوب الجافه ولا توجد غرفه جلوس الخ ابحث عن مكان اخر الميزه الوحيده في هذا المكان هو الموقع والسعر في حي صاخب</td>\n",
              "    </tr>\n",
              "    <tr>\n",
              "      <th>94</th>\n",
              "      <td>1.0</td>\n",
              "      <td>1.0</td>\n",
              "      <td>فندق جميل فندق جميل ورائع وموظفينه بشوشين والغرف نظيفه وقد ماتكلم ماوفي حقه والصراحه الخدمه اعلي من النجوم الممنوحه للفندق جميل ورائع زي ماوضحت في ما سبق الغرف نظيفه والموقع جميل جدا جدا جدا وصراحه استمتعنا في الفندق وايضا الموظفين ممتازين وبشوشين واخلاقهم جميله وروحهم مرحه صراحه انا واصدقائي حنرجع مره اخري الي نفس الفندق صراحه ماقدر اوصف اكثر من كذا لانه شهادتي مجروحه والغرف والحمامات نظيفه والخدمه رائعه</td>\n",
              "    </tr>\n",
              "    <tr>\n",
              "      <th>214</th>\n",
              "      <td>0.0</td>\n",
              "      <td>0.0</td>\n",
              "      <td>اسوا خدمه عملاء لم نتوقع الكثير من فندق رخيص كان ملائما للمناسبه الخاصه بنا ولكن مكتب الاستقبال كان فظيعا طريقه التعامل السيئه كانت ظاهره من خلال عمل مكالمات شخصيه بينما كنا نحاول القيام باجراءات تسجيل الدخول عندما حاولنا الحصول علي مساعده قيل لنا انه لا يوجد مدير او مساعد في المكان بعد الساعه مساء بدا فريق العمل مستاء تقريبا لاننا حصلنا علي الغرفه بتكلفه رخيصه من</td>\n",
              "    </tr>\n",
              "  </tbody>\n",
              "</table>\n",
              "</div>"
            ],
            "text/plain": [
              "     REAL  ...                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                      TEXT\n",
              "224  0.0   ...  مختلف جدا عن فتره ازدهاره قديم وبحاجه الي ترميم عام موقع ممتاز مبني قديم وبالي وفي حاجه الي التجديدات والتحديثات يدعي صاحب الفندق ان المكانه التاريخيه تمنع وجود مخارج طوارئ واو اضاءه في حالات الطوارئ ومخارج حريق ذات علامات في هذا المبني المكون من طوابق والذي ليس فيه مصعد بل سلم مركزي ضيق في القاعه المضيفه لطيفه جدا لكن ليس هناك امر اخر جيد الافطار هو نفسه كل يوم وليس فيه ابتكار نفس الاومليت الممل كل يوم او الحبوب الجافه ولا توجد غرفه جلوس الخ ابحث عن مكان اخر الميزه الوحيده في هذا المكان هو الموقع والسعر في حي صاخب\n",
              "94   1.0   ...  فندق جميل فندق جميل ورائع وموظفينه بشوشين والغرف نظيفه وقد ماتكلم ماوفي حقه والصراحه الخدمه اعلي من النجوم الممنوحه للفندق جميل ورائع زي ماوضحت في ما سبق الغرف نظيفه والموقع جميل جدا جدا جدا وصراحه استمتعنا في الفندق وايضا الموظفين ممتازين وبشوشين واخلاقهم جميله وروحهم مرحه صراحه انا واصدقائي حنرجع مره اخري الي نفس الفندق صراحه ماقدر اوصف اكثر من كذا لانه شهادتي مجروحه والغرف والحمامات نظيفه والخدمه رائعه                                                                                                                \n",
              "214  0.0   ...  اسوا خدمه عملاء لم نتوقع الكثير من فندق رخيص كان ملائما للمناسبه الخاصه بنا ولكن مكتب الاستقبال كان فظيعا طريقه التعامل السيئه كانت ظاهره من خلال عمل مكالمات شخصيه بينما كنا نحاول القيام باجراءات تسجيل الدخول عندما حاولنا الحصول علي مساعده قيل لنا انه لا يوجد مدير او مساعد في المكان بعد الساعه مساء بدا فريق العمل مستاء تقريبا لاننا حصلنا علي الغرفه بتكلفه رخيصه من                                                                                                                                                          \n",
              "\n",
              "[3 rows x 3 columns]"
            ]
          },
          "metadata": {
            "tags": []
          },
          "execution_count": 81
        }
      ]
    },
    {
      "cell_type": "markdown",
      "metadata": {
        "id": "9IAMzgZIEImT",
        "colab_type": "text"
      },
      "source": [
        "# Store Model and Weights"
      ]
    },
    {
      "cell_type": "code",
      "metadata": {
        "id": "iTR6julI0huw",
        "colab_type": "code",
        "colab": {}
      },
      "source": [
        "with open('model_acc{}.json'.format(round(accuracy_val, 4)), 'w') as f:\n",
        "    f.write(model.to_json())\n",
        "    f.close()"
      ],
      "execution_count": 0,
      "outputs": []
    },
    {
      "cell_type": "code",
      "metadata": {
        "id": "E9jjcfz-2I-w",
        "colab_type": "code",
        "colab": {}
      },
      "source": [
        "model.save_weights('model_acc{}.h5'.format(round(accuracy_val, 4)))"
      ],
      "execution_count": 0,
      "outputs": []
    }
  ]
}