1. 뉴스 카테고리 분류 모델 딥러닝 훈련.ipynb

{
 "cells": [
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "# 뉴스 카테고리 분류 모델 (딥러닝)\n",
    "* https://wikidocs.net/22933"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "뉴스 추천 모델을 만들기 위해서 사용자 로그 데이터와 사용자들에게 추천해 줄 뉴스 데이터가 필요합니다. 하지만 뉴스 데이터 중 분류가 제대로 되지 않은 데이터가 절반 가량 됩니다. 이러한 이유에서 뉴스 분류 모델을 만들어 뉴스 데이터를 카테고리에 맞게 분류하고자 한다. 또한 뉴스 추천 모델을 만들어 사용자들의 취향에 맞추어 뉴스를 서비스 하고 장기적으로 사용자를 늘릴 수 있게 하려한다."
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 1,
   "metadata": {},
   "outputs": [],
   "source": [
    "import os\n",
    "import re\n",
    "import pandas as pd\n",
    "import numpy as np\n",
    "from bs4 import BeautifulSoup\n",
    "from konlpy.tag import Mecab\n",
    "from sklearn.feature_extraction.text import CountVectorizer\n",
    "from sklearn.metrics import accuracy_score\n",
    "from sklearn.model_selection import cross_val_score\n",
    "from sklearn.neighbors import KNeighborsClassifier\n",
    "from sklearn.tree import DecisionTreeClassifier\n",
    "from sklearn.naive_bayes import MultinomialNB\n",
    "from sklearn.naive_bayes import BernoulliNB\n",
    "from tensorflow.keras.models import Sequential, load_model\n",
    "from tensorflow.keras.layers import Dense, LSTM, Embedding\n",
    "from tensorflow.keras.preprocessing.text import Tokenizer\n",
    "from tensorflow.keras.preprocessing.sequence import pad_sequences\n",
    "from tensorflow.keras.callbacks import EarlyStopping, ModelCheckpoint\n",
    "from tensorflow.keras.utils import to_categorical"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "## 데이터 준비 및 전처리"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "뉴스데이터를 전처리하여 분류 및 추천 모델에 사용할 수 있게 합니다."
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 2,
   "metadata": {},
   "outputs": [],
   "source": [
    "def new_df(p):\n",
    "    name = []\n",
    "    by = []\n",
    "    date = []\n",
    "    main = []\n",
    "    content = []\n",
    "    subject = []\n",
    "    hangul = re.compile('[^ 가-힣]+')\n",
    "    for (path, dir, files) in os.walk(p):\n",
    "        for filename in files:\n",
    "            ext = os.path.splitext(filename)[-1]\n",
    "            title = os.path.splitext(filename)[0]\n",
    "            if ext == '.xml':\n",
    "                name.append(title[9:])\n",
    "                by.append(title[:8])\n",
    "                date.append(title[9:13])\n",
    "                with open('%s/%s' % (path, filename), 'r') as f:\n",
    "                    soup = BeautifulSoup(f, 'html.parser')\n",
    "                    dataheadline = soup.find('headline')\n",
    "                    head = dataheadline.get_text()\n",
    "                    heads = hangul.sub('', head)\n",
    "                    main.append(heads)\n",
    "                    datacontent = soup.find('datacontent')\n",
    "                    text = datacontent.get_text()\n",
    "                    texts = hangul.sub('', text)\n",
    "                    content.append(texts)\n",
    "                    datasubject = soup.find(formalname = 'SubjectInfo')\n",
    "                    ns = datasubject.attrs['value']\n",
    "                    if ns == '':\n",
    "                        datasubject = soup.find(formalname = 'AutoSubjectInfo')\n",
    "                        ns = datasubject.attrs['value']\n",
    "                    subject.append(ns[:3])\n",
    "    return name, by, date, main, content, subject"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 3,
   "metadata": {},
   "outputs": [
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "CPU times: user 1h 11min 29s, sys: 2min 3s, total: 1h 13min 32s\n",
      "Wall time: 1h 19min 9s\n"
     ]
    }
   ],
   "source": [
    "%%time\n",
    "a,b,c,d,e,f = new_df(os.getcwd())"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 4,
   "metadata": {},
   "outputs": [
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "CPU times: user 7.51 s, sys: 344 ms, total: 7.86 s\n",
      "Wall time: 7.86 s\n"
     ]
    }
   ],
   "source": [
    "%%time\n",
    "g = []\n",
    "h = []\n",
    "df = pd.DataFrame(a, columns = ['ID'])\n",
    "df['Company'] = b\n",
    "df['Year'] = c\n",
    "df['Headline'] = d\n",
    "df['Content'] = e\n",
    "for i in range(len(df)):\n",
    "    j = df['Headline'][i] + df['Content'][i]\n",
    "    g.append(j)\n",
    "df['News'] = g\n",
    "for i in f:\n",
    "    k = re.sub('[^A-Za-z0-9가-힣]', '', i)\n",
    "    h.append(k)\n",
    "df['Subject'] = h"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 5,
   "metadata": {},
   "outputs": [
    {
     "data": {
      "text/html": [
       "<div>\n",
       "<style scoped>\n",
       "    .dataframe tbody tr th:only-of-type {\n",
       "        vertical-align: middle;\n",
       "    }\n",
       "\n",
       "    .dataframe tbody tr th {\n",
       "        vertical-align: top;\n",
       "    }\n",
       "\n",
       "    .dataframe thead th {\n",
       "        text-align: right;\n",
       "    }\n",
       "</style>\n",
       "<table border=\"1\" class=\"dataframe\">\n",
       "  <thead>\n",
       "    <tr style=\"text-align: right;\">\n",
       "      <th></th>\n",
       "      <th>ID</th>\n",
       "      <th>Company</th>\n",
       "      <th>Year</th>\n",
       "      <th>Headline</th>\n",
       "      <th>Content</th>\n",
       "      <th>News</th>\n",
       "      <th>Subject</th>\n",
       "    </tr>\n",
       "  </thead>\n",
       "  <tbody>\n",
       "    <tr>\n",
       "      <th>0</th>\n",
       "      <td>20191103170130003</td>\n",
       "      <td>07100501</td>\n",
       "      <td>2019</td>\n",
       "      <td>내년 커넥티드카 기술방식 확정과기정통부국토부  기술분과회의 가동</td>\n",
       "      <td>과학기술정보통신부와 국토교통부가 년 커넥티드카 통신 기술을 확정한다 주요 기술 방식...</td>\n",
       "      <td>내년 커넥티드카 기술방식 확정과기정통부국토부  기술분과회의 가동과학기술정보통신부와 ...</td>\n",
       "      <td>통신</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>1</th>\n",
       "      <td>20191103185930001</td>\n",
       "      <td>07100501</td>\n",
       "      <td>2019</td>\n",
       "      <td>취미플랫폼 덕업덧컴 김지훈 트레이너  챌린저 프로젝트 오픈</td>\n",
       "      <td>분야별 전문가와 함께하는 취미플랫폼 덕업닷컴이 연예인 전담 트레이너로 잘 알려진 김...</td>\n",
       "      <td>취미플랫폼 덕업덧컴 김지훈 트레이너  챌린저 프로젝트 오픈분야별 전문가와 함께하는 ...</td>\n",
       "      <td>이코노</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>2</th>\n",
       "      <td>20191103124208001</td>\n",
       "      <td>07100501</td>\n",
       "      <td>2019</td>\n",
       "      <td>제주삼다수 소외 아동 여명 초청 희망의 직업 체험 진행</td>\n",
       "      <td>제주삼다수가 직업 체험 기회를 제공하는 등 어린이의 꿈을 응원하는데 앞장서고 있다제...</td>\n",
       "      <td>제주삼다수 소외 아동 여명 초청 희망의 직업 체험 진행제주삼다수가 직업 체험 기회를...</td>\n",
       "      <td>전자</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>3</th>\n",
       "      <td>20191103130204001</td>\n",
       "      <td>07100501</td>\n",
       "      <td>2019</td>\n",
       "      <td>동아오츠카 자랑스러운 청소년 대상서 포카리스웨트 장학금 수여</td>\n",
       "      <td>동아오츠카대표 양동영 사장가 일 한국스카우트연맹회관 층 스카우트홀에서 개최한 제회 ...</td>\n",
       "      <td>동아오츠카 자랑스러운 청소년 대상서 포카리스웨트 장학금 수여동아오츠카대표 양동영 사...</td>\n",
       "      <td>전자</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>4</th>\n",
       "      <td>20191103090136001</td>\n",
       "      <td>07100501</td>\n",
       "      <td>2019</td>\n",
       "      <td>기획삼성   초대형로 프리미엄 시장서도 초격차</td>\n",
       "      <td>삼성전자는 글로벌  시장에서 년부터 년 연속 위를 하고 있다최근 발표한  마킷에 따...</td>\n",
       "      <td>기획삼성   초대형로 프리미엄 시장서도 초격차삼성전자는 글로벌  시장에서 년부터 년...</td>\n",
       "      <td>전자</td>\n",
       "    </tr>\n",
       "  </tbody>\n",
       "</table>\n",
       "</div>"
      ],
      "text/plain": [
       "                  ID   Company  Year                             Headline  \\\n",
       "0  20191103170130003  07100501  2019  내년 커넥티드카 기술방식 확정과기정통부국토부  기술분과회의 가동   \n",
       "1  20191103185930001  07100501  2019     취미플랫폼 덕업덧컴 김지훈 트레이너  챌린저 프로젝트 오픈   \n",
       "2  20191103124208001  07100501  2019       제주삼다수 소외 아동 여명 초청 희망의 직업 체험 진행   \n",
       "3  20191103130204001  07100501  2019    동아오츠카 자랑스러운 청소년 대상서 포카리스웨트 장학금 수여   \n",
       "4  20191103090136001  07100501  2019            기획삼성   초대형로 프리미엄 시장서도 초격차   \n",
       "\n",
       "                                             Content  \\\n",
       "0  과학기술정보통신부와 국토교통부가 년 커넥티드카 통신 기술을 확정한다 주요 기술 방식...   \n",
       "1  분야별 전문가와 함께하는 취미플랫폼 덕업닷컴이 연예인 전담 트레이너로 잘 알려진 김...   \n",
       "2  제주삼다수가 직업 체험 기회를 제공하는 등 어린이의 꿈을 응원하는데 앞장서고 있다제...   \n",
       "3  동아오츠카대표 양동영 사장가 일 한국스카우트연맹회관 층 스카우트홀에서 개최한 제회 ...   \n",
       "4  삼성전자는 글로벌  시장에서 년부터 년 연속 위를 하고 있다최근 발표한  마킷에 따...   \n",
       "\n",
       "                                                News Subject  \n",
       "0  내년 커넥티드카 기술방식 확정과기정통부국토부  기술분과회의 가동과학기술정보통신부와 ...      통신  \n",
       "1  취미플랫폼 덕업덧컴 김지훈 트레이너  챌린저 프로젝트 오픈분야별 전문가와 함께하는 ...     이코노  \n",
       "2  제주삼다수 소외 아동 여명 초청 희망의 직업 체험 진행제주삼다수가 직업 체험 기회를...      전자  \n",
       "3  동아오츠카 자랑스러운 청소년 대상서 포카리스웨트 장학금 수여동아오츠카대표 양동영 사...      전자  \n",
       "4  기획삼성   초대형로 프리미엄 시장서도 초격차삼성전자는 글로벌  시장에서 년부터 년...      전자  "
      ]
     },
     "execution_count": 5,
     "metadata": {},
     "output_type": "execute_result"
    }
   ],
   "source": [
    "df.head()"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 6,
   "metadata": {},
   "outputs": [
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "<class 'pandas.core.frame.DataFrame'>\n",
      "RangeIndex: 824874 entries, 0 to 824873\n",
      "Data columns (total 7 columns):\n",
      " #   Column    Non-Null Count   Dtype \n",
      "---  ------    --------------   ----- \n",
      " 0   ID        824874 non-null  object\n",
      " 1   Company   824874 non-null  object\n",
      " 2   Year      824874 non-null  object\n",
      " 3   Headline  824874 non-null  object\n",
      " 4   Content   824874 non-null  object\n",
      " 5   News      824874 non-null  object\n",
      " 6   Subject   824874 non-null  object\n",
      "dtypes: object(7)\n",
      "memory usage: 44.1+ MB\n"
     ]
    }
   ],
   "source": [
    "df.info()"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 7,
   "metadata": {},
   "outputs": [
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "경제 : 188713\n",
      "사회 : 140406\n",
      "정치 : 72950\n",
      "문화 : 32703\n",
      "국제 : 62004\n",
      "IT : 18822\n",
      "스포츠 : 17645\n"
     ]
    }
   ],
   "source": [
    "print('경제 :', len(df[df.Subject == '경제']))\n",
    "print('사회 :', len(df[df.Subject == '사회']))\n",
    "print('정치 :', len(df[df.Subject == '정치']))\n",
    "print('문화 :', len(df[df.Subject == '문화']))\n",
    "print('국제 :', len(df[df.Subject == '국제']))\n",
    "print('IT :', len(df[df.Subject == 'IT']))\n",
    "print('스포츠 :', len(df[df.Subject == '스포츠']))"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 8,
   "metadata": {},
   "outputs": [
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "CPU times: user 31.2 s, sys: 1.99 s, total: 33.1 s\n",
      "Wall time: 33.4 s\n"
     ]
    }
   ],
   "source": [
    "%%time\n",
    "df.to_csv('news_df.csv', index = False)"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 9,
   "metadata": {},
   "outputs": [
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "CPU times: user 27.7 s, sys: 4.88 s, total: 32.6 s\n",
      "Wall time: 32.7 s\n"
     ]
    },
    {
     "data": {
      "text/html": [
       "<div>\n",
       "<style scoped>\n",
       "    .dataframe tbody tr th:only-of-type {\n",
       "        vertical-align: middle;\n",
       "    }\n",
       "\n",
       "    .dataframe tbody tr th {\n",
       "        vertical-align: top;\n",
       "    }\n",
       "\n",
       "    .dataframe thead th {\n",
       "        text-align: right;\n",
       "    }\n",
       "</style>\n",
       "<table border=\"1\" class=\"dataframe\">\n",
       "  <thead>\n",
       "    <tr style=\"text-align: right;\">\n",
       "      <th></th>\n",
       "      <th>ID</th>\n",
       "      <th>Company</th>\n",
       "      <th>Year</th>\n",
       "      <th>Headline</th>\n",
       "      <th>Content</th>\n",
       "      <th>News</th>\n",
       "      <th>Subject</th>\n",
       "    </tr>\n",
       "  </thead>\n",
       "  <tbody>\n",
       "    <tr>\n",
       "      <th>0</th>\n",
       "      <td>20191103170130003</td>\n",
       "      <td>7100501</td>\n",
       "      <td>2019</td>\n",
       "      <td>내년 커넥티드카 기술방식 확정과기정통부국토부  기술분과회의 가동</td>\n",
       "      <td>과학기술정보통신부와 국토교통부가 년 커넥티드카 통신 기술을 확정한다 주요 기술 방식...</td>\n",
       "      <td>내년 커넥티드카 기술방식 확정과기정통부국토부  기술분과회의 가동과학기술정보통신부와 ...</td>\n",
       "      <td>통신</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>1</th>\n",
       "      <td>20191103185930001</td>\n",
       "      <td>7100501</td>\n",
       "      <td>2019</td>\n",
       "      <td>취미플랫폼 덕업덧컴 김지훈 트레이너  챌린저 프로젝트 오픈</td>\n",
       "      <td>분야별 전문가와 함께하는 취미플랫폼 덕업닷컴이 연예인 전담 트레이너로 잘 알려진 김...</td>\n",
       "      <td>취미플랫폼 덕업덧컴 김지훈 트레이너  챌린저 프로젝트 오픈분야별 전문가와 함께하는 ...</td>\n",
       "      <td>이코노</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>2</th>\n",
       "      <td>20191103124208001</td>\n",
       "      <td>7100501</td>\n",
       "      <td>2019</td>\n",
       "      <td>제주삼다수 소외 아동 여명 초청 희망의 직업 체험 진행</td>\n",
       "      <td>제주삼다수가 직업 체험 기회를 제공하는 등 어린이의 꿈을 응원하는데 앞장서고 있다제...</td>\n",
       "      <td>제주삼다수 소외 아동 여명 초청 희망의 직업 체험 진행제주삼다수가 직업 체험 기회를...</td>\n",
       "      <td>전자</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>3</th>\n",
       "      <td>20191103130204001</td>\n",
       "      <td>7100501</td>\n",
       "      <td>2019</td>\n",
       "      <td>동아오츠카 자랑스러운 청소년 대상서 포카리스웨트 장학금 수여</td>\n",
       "      <td>동아오츠카대표 양동영 사장가 일 한국스카우트연맹회관 층 스카우트홀에서 개최한 제회 ...</td>\n",
       "      <td>동아오츠카 자랑스러운 청소년 대상서 포카리스웨트 장학금 수여동아오츠카대표 양동영 사...</td>\n",
       "      <td>전자</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>4</th>\n",
       "      <td>20191103090136001</td>\n",
       "      <td>7100501</td>\n",
       "      <td>2019</td>\n",
       "      <td>기획삼성   초대형로 프리미엄 시장서도 초격차</td>\n",
       "      <td>삼성전자는 글로벌  시장에서 년부터 년 연속 위를 하고 있다최근 발표한  마킷에 따...</td>\n",
       "      <td>기획삼성   초대형로 프리미엄 시장서도 초격차삼성전자는 글로벌  시장에서 년부터 년...</td>\n",
       "      <td>전자</td>\n",
       "    </tr>\n",
       "  </tbody>\n",
       "</table>\n",
       "</div>"
      ],
      "text/plain": [
       "                  ID  Company  Year                             Headline  \\\n",
       "0  20191103170130003  7100501  2019  내년 커넥티드카 기술방식 확정과기정통부국토부  기술분과회의 가동   \n",
       "1  20191103185930001  7100501  2019     취미플랫폼 덕업덧컴 김지훈 트레이너  챌린저 프로젝트 오픈   \n",
       "2  20191103124208001  7100501  2019       제주삼다수 소외 아동 여명 초청 희망의 직업 체험 진행   \n",
       "3  20191103130204001  7100501  2019    동아오츠카 자랑스러운 청소년 대상서 포카리스웨트 장학금 수여   \n",
       "4  20191103090136001  7100501  2019            기획삼성   초대형로 프리미엄 시장서도 초격차   \n",
       "\n",
       "                                             Content  \\\n",
       "0  과학기술정보통신부와 국토교통부가 년 커넥티드카 통신 기술을 확정한다 주요 기술 방식...   \n",
       "1  분야별 전문가와 함께하는 취미플랫폼 덕업닷컴이 연예인 전담 트레이너로 잘 알려진 김...   \n",
       "2  제주삼다수가 직업 체험 기회를 제공하는 등 어린이의 꿈을 응원하는데 앞장서고 있다제...   \n",
       "3  동아오츠카대표 양동영 사장가 일 한국스카우트연맹회관 층 스카우트홀에서 개최한 제회 ...   \n",
       "4  삼성전자는 글로벌  시장에서 년부터 년 연속 위를 하고 있다최근 발표한  마킷에 따...   \n",
       "\n",
       "                                                News Subject  \n",
       "0  내년 커넥티드카 기술방식 확정과기정통부국토부  기술분과회의 가동과학기술정보통신부와 ...      통신  \n",
       "1  취미플랫폼 덕업덧컴 김지훈 트레이너  챌린저 프로젝트 오픈분야별 전문가와 함께하는 ...     이코노  \n",
       "2  제주삼다수 소외 아동 여명 초청 희망의 직업 체험 진행제주삼다수가 직업 체험 기회를...      전자  \n",
       "3  동아오츠카 자랑스러운 청소년 대상서 포카리스웨트 장학금 수여동아오츠카대표 양동영 사...      전자  \n",
       "4  기획삼성   초대형로 프리미엄 시장서도 초격차삼성전자는 글로벌  시장에서 년부터 년...      전자  "
      ]
     },
     "execution_count": 9,
     "metadata": {},
     "output_type": "execute_result"
    }
   ],
   "source": [
    "%%time\n",
    "data = pd.read_csv('news_df.csv')\n",
    "data.head()"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 10,
   "metadata": {},
   "outputs": [
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "CPU times: user 188 ms, sys: 31.5 ms, total: 220 ms\n",
      "Wall time: 218 ms\n"
     ]
    },
    {
     "data": {
      "text/plain": [
       "경제     55412\n",
       "사회     27513\n",
       "정치     25530\n",
       "미분류    18355\n",
       "문화     17849\n",
       "국제     17497\n",
       "IT     15889\n",
       "지역     13841\n",
       "스포츠     1527\n",
       "Name: Subject, dtype: int64"
      ]
     },
     "execution_count": 10,
     "metadata": {},
     "output_type": "execute_result"
    }
   ],
   "source": [
    "%%time\n",
    "news_df = df.loc[(df.Company == '02100201')]\n",
    "news_df['Subject'].value_counts()"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 11,
   "metadata": {},
   "outputs": [
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "CPU times: user 268 ms, sys: 11.2 ms, total: 279 ms\n",
      "Wall time: 280 ms\n"
     ]
    }
   ],
   "source": [
    "%%time\n",
    "n1 = news_df[news_df['Subject'] == '미분류'].index\n",
    "news_df = news_df.drop(n1)\n",
    "n2 = news_df[news_df['Subject'] == '지역'].index\n",
    "news_df = news_df.drop(n2)\n",
    "\n",
    "# 경제 0, 사회 1, 정치 2, 문화 3, 국제 4, IT 5, 스포츠 6\n",
    "news_df.loc[(news_df.Subject == '경제'), 'Subject'] = 0\n",
    "news_df.loc[(news_df.Subject == '사회'), 'Subject'] = 1\n",
    "news_df.loc[(news_df.Subject == '정치'), 'Subject'] = 2\n",
    "news_df.loc[(news_df.Subject == '문화'), 'Subject'] = 3\n",
    "news_df.loc[(news_df.Subject == '국제'), 'Subject'] = 4\n",
    "news_df.loc[(news_df.Subject == 'IT'), 'Subject'] = 5\n",
    "news_df.loc[(news_df.Subject == '스포츠'), 'Subject'] = 6\n",
    "news_df = news_df.astype({'Subject' : int})"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 12,
   "metadata": {},
   "outputs": [
    {
     "data": {
      "text/html": [
       "<div>\n",
       "<style scoped>\n",
       "    .dataframe tbody tr th:only-of-type {\n",
       "        vertical-align: middle;\n",
       "    }\n",
       "\n",
       "    .dataframe tbody tr th {\n",
       "        vertical-align: top;\n",
       "    }\n",
       "\n",
       "    .dataframe thead th {\n",
       "        text-align: right;\n",
       "    }\n",
       "</style>\n",
       "<table border=\"1\" class=\"dataframe\">\n",
       "  <thead>\n",
       "    <tr style=\"text-align: right;\">\n",
       "      <th></th>\n",
       "      <th>ID</th>\n",
       "      <th>Company</th>\n",
       "      <th>Year</th>\n",
       "      <th>Headline</th>\n",
       "      <th>Content</th>\n",
       "      <th>News</th>\n",
       "      <th>Subject</th>\n",
       "    </tr>\n",
       "  </thead>\n",
       "  <tbody>\n",
       "    <tr>\n",
       "      <th>63013</th>\n",
       "      <td>20191103192315001</td>\n",
       "      <td>02100201</td>\n",
       "      <td>2019</td>\n",
       "      <td>한인도네시아 자유무역협정 월 타결아반떼 딜레마 극복</td>\n",
       "      <td>머니투데이 방콕태국김성휘 기자  경쟁력 높은 시장 진출 위한 교두보 주형철 청와대 ...</td>\n",
       "      <td>한인도네시아 자유무역협정 월 타결아반떼 딜레마 극복머니투데이 방콕태국김성휘 기자  ...</td>\n",
       "      <td>0</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>63014</th>\n",
       "      <td>20191103153210001</td>\n",
       "      <td>02100201</td>\n",
       "      <td>2019</td>\n",
       "      <td>사진코리아 세일 페스타 즐겨볼까</td>\n",
       "      <td>머니투데이 김휘선 기자   코리아세일페스타가 시작한 후 첫 주말인 일 오후 서울 중...</td>\n",
       "      <td>사진코리아 세일 페스타 즐겨볼까머니투데이 김휘선 기자   코리아세일페스타가 시작한 ...</td>\n",
       "      <td>0</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>63015</th>\n",
       "      <td>20191103120110001</td>\n",
       "      <td>02100201</td>\n",
       "      <td>2019</td>\n",
       "      <td>대기업 거래   신평사 지정 관행 부담</td>\n",
       "      <td>머니투데이 김지훈 기자 중기중앙회 대기업 자발적 거래관행 개선 촉구 자료중소기업중앙...</td>\n",
       "      <td>대기업 거래   신평사 지정 관행 부담머니투데이 김지훈 기자 중기중앙회 대기업 자발...</td>\n",
       "      <td>0</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>63016</th>\n",
       "      <td>20191103173816001</td>\n",
       "      <td>02100201</td>\n",
       "      <td>2019</td>\n",
       "      <td>년째 썩지않은 맥도날드 치즈버거 정말</td>\n",
       "      <td>머니투데이 김도엽 인턴 아이슬란드의 한 고객이 년 구매 현재도 썩지 않고 그대로 보...</td>\n",
       "      <td>년째 썩지않은 맥도날드 치즈버거 정말머니투데이 김도엽 인턴 아이슬란드의 한 고객이 ...</td>\n",
       "      <td>3</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>63018</th>\n",
       "      <td>20191103152648001</td>\n",
       "      <td>02100201</td>\n",
       "      <td>2019</td>\n",
       "      <td>사진첫 주말 코리아 세일 페스타 북적이는 명동</td>\n",
       "      <td>머니투데이 김휘선 기자  코리아세일페스타가 시작한 후 첫 주말인 일 오후 서울 중구...</td>\n",
       "      <td>사진첫 주말 코리아 세일 페스타 북적이는 명동머니투데이 김휘선 기자  코리아세일페스...</td>\n",
       "      <td>0</td>\n",
       "    </tr>\n",
       "  </tbody>\n",
       "</table>\n",
       "</div>"
      ],
      "text/plain": [
       "                      ID   Company  Year                      Headline  \\\n",
       "63013  20191103192315001  02100201  2019  한인도네시아 자유무역협정 월 타결아반떼 딜레마 극복   \n",
       "63014  20191103153210001  02100201  2019             사진코리아 세일 페스타 즐겨볼까   \n",
       "63015  20191103120110001  02100201  2019         대기업 거래   신평사 지정 관행 부담   \n",
       "63016  20191103173816001  02100201  2019          년째 썩지않은 맥도날드 치즈버거 정말   \n",
       "63018  20191103152648001  02100201  2019     사진첫 주말 코리아 세일 페스타 북적이는 명동   \n",
       "\n",
       "                                                 Content  \\\n",
       "63013  머니투데이 방콕태국김성휘 기자  경쟁력 높은 시장 진출 위한 교두보 주형철 청와대 ...   \n",
       "63014  머니투데이 김휘선 기자   코리아세일페스타가 시작한 후 첫 주말인 일 오후 서울 중...   \n",
       "63015  머니투데이 김지훈 기자 중기중앙회 대기업 자발적 거래관행 개선 촉구 자료중소기업중앙...   \n",
       "63016  머니투데이 김도엽 인턴 아이슬란드의 한 고객이 년 구매 현재도 썩지 않고 그대로 보...   \n",
       "63018  머니투데이 김휘선 기자  코리아세일페스타가 시작한 후 첫 주말인 일 오후 서울 중구...   \n",
       "\n",
       "                                                    News  Subject  \n",
       "63013  한인도네시아 자유무역협정 월 타결아반떼 딜레마 극복머니투데이 방콕태국김성휘 기자  ...        0  \n",
       "63014  사진코리아 세일 페스타 즐겨볼까머니투데이 김휘선 기자   코리아세일페스타가 시작한 ...        0  \n",
       "63015  대기업 거래   신평사 지정 관행 부담머니투데이 김지훈 기자 중기중앙회 대기업 자발...        0  \n",
       "63016  년째 썩지않은 맥도날드 치즈버거 정말머니투데이 김도엽 인턴 아이슬란드의 한 고객이 ...        3  \n",
       "63018  사진첫 주말 코리아 세일 페스타 북적이는 명동머니투데이 김휘선 기자  코리아세일페스...        0  "
      ]
     },
     "execution_count": 12,
     "metadata": {},
     "output_type": "execute_result"
    }
   ],
   "source": [
    "news_df.head()"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 13,
   "metadata": {},
   "outputs": [
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "<class 'pandas.core.frame.DataFrame'>\n",
      "Int64Index: 161217 entries, 63013 to 256426\n",
      "Data columns (total 7 columns):\n",
      " #   Column    Non-Null Count   Dtype \n",
      "---  ------    --------------   ----- \n",
      " 0   ID        161217 non-null  object\n",
      " 1   Company   161217 non-null  object\n",
      " 2   Year      161217 non-null  object\n",
      " 3   Headline  161217 non-null  object\n",
      " 4   Content   161217 non-null  object\n",
      " 5   News      161217 non-null  object\n",
      " 6   Subject   161217 non-null  int64 \n",
      "dtypes: int64(1), object(6)\n",
      "memory usage: 9.8+ MB\n"
     ]
    }
   ],
   "source": [
    "news_df.info()"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 14,
   "metadata": {},
   "outputs": [
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "CPU times: user 6.49 s, sys: 445 ms, total: 6.94 s\n",
      "Wall time: 7 s\n"
     ]
    }
   ],
   "source": [
    "%%time\n",
    "news_df.to_csv('news_df_02100201.csv', index = False)"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 15,
   "metadata": {},
   "outputs": [
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "CPU times: user 5.62 s, sys: 499 ms, total: 6.12 s\n",
      "Wall time: 6.2 s\n"
     ]
    },
    {
     "data": {
      "text/html": [
       "<div>\n",
       "<style scoped>\n",
       "    .dataframe tbody tr th:only-of-type {\n",
       "        vertical-align: middle;\n",
       "    }\n",
       "\n",
       "    .dataframe tbody tr th {\n",
       "        vertical-align: top;\n",
       "    }\n",
       "\n",
       "    .dataframe thead th {\n",
       "        text-align: right;\n",
       "    }\n",
       "</style>\n",
       "<table border=\"1\" class=\"dataframe\">\n",
       "  <thead>\n",
       "    <tr style=\"text-align: right;\">\n",
       "      <th></th>\n",
       "      <th>ID</th>\n",
       "      <th>Company</th>\n",
       "      <th>Year</th>\n",
       "      <th>Headline</th>\n",
       "      <th>Content</th>\n",
       "      <th>News</th>\n",
       "      <th>Subject</th>\n",
       "    </tr>\n",
       "  </thead>\n",
       "  <tbody>\n",
       "    <tr>\n",
       "      <th>0</th>\n",
       "      <td>20191103192315001</td>\n",
       "      <td>2100201</td>\n",
       "      <td>2019</td>\n",
       "      <td>한인도네시아 자유무역협정 월 타결아반떼 딜레마 극복</td>\n",
       "      <td>머니투데이 방콕태국김성휘 기자  경쟁력 높은 시장 진출 위한 교두보 주형철 청와대 ...</td>\n",
       "      <td>한인도네시아 자유무역협정 월 타결아반떼 딜레마 극복머니투데이 방콕태국김성휘 기자  ...</td>\n",
       "      <td>0</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>1</th>\n",
       "      <td>20191103153210001</td>\n",
       "      <td>2100201</td>\n",
       "      <td>2019</td>\n",
       "      <td>사진코리아 세일 페스타 즐겨볼까</td>\n",
       "      <td>머니투데이 김휘선 기자   코리아세일페스타가 시작한 후 첫 주말인 일 오후 서울 중...</td>\n",
       "      <td>사진코리아 세일 페스타 즐겨볼까머니투데이 김휘선 기자   코리아세일페스타가 시작한 ...</td>\n",
       "      <td>0</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>2</th>\n",
       "      <td>20191103120110001</td>\n",
       "      <td>2100201</td>\n",
       "      <td>2019</td>\n",
       "      <td>대기업 거래   신평사 지정 관행 부담</td>\n",
       "      <td>머니투데이 김지훈 기자 중기중앙회 대기업 자발적 거래관행 개선 촉구 자료중소기업중앙...</td>\n",
       "      <td>대기업 거래   신평사 지정 관행 부담머니투데이 김지훈 기자 중기중앙회 대기업 자발...</td>\n",
       "      <td>0</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>3</th>\n",
       "      <td>20191103173816001</td>\n",
       "      <td>2100201</td>\n",
       "      <td>2019</td>\n",
       "      <td>년째 썩지않은 맥도날드 치즈버거 정말</td>\n",
       "      <td>머니투데이 김도엽 인턴 아이슬란드의 한 고객이 년 구매 현재도 썩지 않고 그대로 보...</td>\n",
       "      <td>년째 썩지않은 맥도날드 치즈버거 정말머니투데이 김도엽 인턴 아이슬란드의 한 고객이 ...</td>\n",
       "      <td>3</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>4</th>\n",
       "      <td>20191103152648001</td>\n",
       "      <td>2100201</td>\n",
       "      <td>2019</td>\n",
       "      <td>사진첫 주말 코리아 세일 페스타 북적이는 명동</td>\n",
       "      <td>머니투데이 김휘선 기자  코리아세일페스타가 시작한 후 첫 주말인 일 오후 서울 중구...</td>\n",
       "      <td>사진첫 주말 코리아 세일 페스타 북적이는 명동머니투데이 김휘선 기자  코리아세일페스...</td>\n",
       "      <td>0</td>\n",
       "    </tr>\n",
       "  </tbody>\n",
       "</table>\n",
       "</div>"
      ],
      "text/plain": [
       "                  ID  Company  Year                      Headline  \\\n",
       "0  20191103192315001  2100201  2019  한인도네시아 자유무역협정 월 타결아반떼 딜레마 극복   \n",
       "1  20191103153210001  2100201  2019             사진코리아 세일 페스타 즐겨볼까   \n",
       "2  20191103120110001  2100201  2019         대기업 거래   신평사 지정 관행 부담   \n",
       "3  20191103173816001  2100201  2019          년째 썩지않은 맥도날드 치즈버거 정말   \n",
       "4  20191103152648001  2100201  2019     사진첫 주말 코리아 세일 페스타 북적이는 명동   \n",
       "\n",
       "                                             Content  \\\n",
       "0  머니투데이 방콕태국김성휘 기자  경쟁력 높은 시장 진출 위한 교두보 주형철 청와대 ...   \n",
       "1  머니투데이 김휘선 기자   코리아세일페스타가 시작한 후 첫 주말인 일 오후 서울 중...   \n",
       "2  머니투데이 김지훈 기자 중기중앙회 대기업 자발적 거래관행 개선 촉구 자료중소기업중앙...   \n",
       "3  머니투데이 김도엽 인턴 아이슬란드의 한 고객이 년 구매 현재도 썩지 않고 그대로 보...   \n",
       "4  머니투데이 김휘선 기자  코리아세일페스타가 시작한 후 첫 주말인 일 오후 서울 중구...   \n",
       "\n",
       "                                                News  Subject  \n",
       "0  한인도네시아 자유무역협정 월 타결아반떼 딜레마 극복머니투데이 방콕태국김성휘 기자  ...        0  \n",
       "1  사진코리아 세일 페스타 즐겨볼까머니투데이 김휘선 기자   코리아세일페스타가 시작한 ...        0  \n",
       "2  대기업 거래   신평사 지정 관행 부담머니투데이 김지훈 기자 중기중앙회 대기업 자발...        0  \n",
       "3  년째 썩지않은 맥도날드 치즈버거 정말머니투데이 김도엽 인턴 아이슬란드의 한 고객이 ...        3  \n",
       "4  사진첫 주말 코리아 세일 페스타 북적이는 명동머니투데이 김휘선 기자  코리아세일페스...        0  "
      ]
     },
     "execution_count": 15,
     "metadata": {},
     "output_type": "execute_result"
    }
   ],
   "source": [
    "%%time\n",
    "data = pd.read_csv('news_df_02100201.csv')\n",
    "data.head()"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 38,
   "metadata": {},
   "outputs": [
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "112851\n",
      "48366\n"
     ]
    }
   ],
   "source": [
    "num = int(len(data) * 0.7)\n",
    "train_data = data[:num]\n",
    "test_data = data[num:]\n",
    "print(len(train_data))\n",
    "print(len(test_data))"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 17,
   "metadata": {},
   "outputs": [
    {
     "data": {
      "text/plain": [
       "0    39001\n",
       "1    19038\n",
       "2    17954\n",
       "3    12535\n",
       "4    12197\n",
       "5    11039\n",
       "6     1087\n",
       "Name: Subject, dtype: int64"
      ]
     },
     "execution_count": 17,
     "metadata": {},
     "output_type": "execute_result"
    }
   ],
   "source": [
    "train_data['Subject'].value_counts()"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 18,
   "metadata": {},
   "outputs": [
    {
     "data": {
      "text/plain": [
       "0    16411\n",
       "1     8475\n",
       "2     7576\n",
       "3     5314\n",
       "4     5300\n",
       "5     4850\n",
       "6      440\n",
       "Name: Subject, dtype: int64"
      ]
     },
     "execution_count": 18,
     "metadata": {},
     "output_type": "execute_result"
    }
   ],
   "source": [
    "test_data['Subject'].value_counts()"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "## 토큰화"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "konlpy의 mecab을 이용하여 뉴스 데이터를 토큰화 시켜 피쳐로 사용할 수 있도록 합니다"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 19,
   "metadata": {},
   "outputs": [],
   "source": [
    "mecab = Mecab()"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 20,
   "metadata": {},
   "outputs": [
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "CPU times: user 1min 50s, sys: 2.78 s, total: 1min 52s\n",
      "Wall time: 1min 52s\n"
     ]
    }
   ],
   "source": [
    "%%time\n",
    "X_train = []\n",
    "for sentence in train_data['News']:\n",
    "    temp_X = mecab.nouns(sentence)\n",
    "    temp_X = [i for i in temp_X if len(i) > 1]\n",
    "    X_train.append(temp_X)"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 24,
   "metadata": {},
   "outputs": [
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "CPU times: user 1min 18s, sys: 4.12 s, total: 1min 22s\n",
      "Wall time: 1min 23s\n"
     ]
    }
   ],
   "source": [
    "%%time\n",
    "df = pd.DataFrame(X_train)\n",
    "df.to_csv('X_train.csv', index = None, header = None)"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 25,
   "metadata": {},
   "outputs": [
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "CPU times: user 50 s, sys: 515 ms, total: 50.5 s\n",
      "Wall time: 51 s\n"
     ]
    }
   ],
   "source": [
    "%%time\n",
    "X_test = []\n",
    "for sentence in test_data['News']:\n",
    "    temp_X = mecab.nouns(sentence)\n",
    "    temp_X = [i for i in temp_X if len(i) > 1]\n",
    "    X_test.append(temp_X)"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 30,
   "metadata": {},
   "outputs": [
    {
     "data": {
      "text/plain": [
       "[['현아',\n",
       "  '란제리',\n",
       "  '룩',\n",
       "  '패턴',\n",
       "  '슈트',\n",
       "  '스타일',\n",
       "  '투데이',\n",
       "  '이은',\n",
       "  '기자',\n",
       "  '가수',\n",
       "  '현아',\n",
       "  '사진',\n",
       "  '제공',\n",
       "  '가수',\n",
       "  '현아',\n",
       "  '던',\n",
       "  '커플',\n",
       "  '패션',\n",
       "  '화보',\n",
       "  '속',\n",
       "  '스타일',\n",
       "  '패션',\n",
       "  '매거진',\n",
       "  '코리아',\n",
       "  '월호',\n",
       "  '커버',\n",
       "  '모델',\n",
       "  '현아',\n",
       "  '던',\n",
       "  '발탁',\n",
       "  '이',\n",
       "  '화보',\n",
       "  '공개',\n",
       "  '앤',\n",
       "  '리치',\n",
       "  '콘셉트',\n",
       "  '진행',\n",
       "  '이번',\n",
       "  '화보',\n",
       "  '현아',\n",
       "  '던',\n",
       "  '자동차',\n",
       "  '브랜드',\n",
       "  '아우디',\n",
       "  '뉴',\n",
       "  '아우디',\n",
       "  '뉴',\n",
       "  '아우디',\n",
       "  '스타일리시',\n",
       "  '드라이빙',\n",
       "  '모습',\n",
       "  '화보',\n",
       "  '속',\n",
       "  '현아',\n",
       "  '패턴',\n",
       "  '멋',\n",
       "  '란제리',\n",
       "  '컬러',\n",
       "  '배색',\n",
       "  '멋',\n",
       "  '핑크',\n",
       "  '빛',\n",
       "  '재킷',\n",
       "  '파격',\n",
       "  '룩',\n",
       "  '완성',\n",
       "  '여기',\n",
       "  '현아',\n",
       "  '버건',\n",
       "  '디',\n",
       "  '색',\n",
       "  '롱',\n",
       "  '부츠',\n",
       "  '매치',\n",
       "  '눈길',\n",
       "  '팬',\n",
       "  '턴',\n",
       "  '패턴',\n",
       "  '슈트',\n",
       "  '셔츠',\n",
       "  '매혹',\n",
       "  '스타일',\n",
       "  '연출',\n",
       "  '가수',\n",
       "  '현아',\n",
       "  '사진',\n",
       "  '제공',\n",
       "  '현아',\n",
       "  '던',\n",
       "  '아우디',\n",
       "  '자동차',\n",
       "  '배경',\n",
       "  '매혹',\n",
       "  '분위기',\n",
       "  '커플',\n",
       "  '화보',\n",
       "  '다리',\n",
       "  '라인',\n",
       "  '레이스',\n",
       "  '드레스',\n",
       "  '현아',\n",
       "  '화이트',\n",
       "  '슈트',\n",
       "  '던',\n",
       "  '포옹',\n",
       "  '듯',\n",
       "  '자연',\n",
       "  '포즈',\n",
       "  '눈길',\n",
       "  '뉴',\n",
       "  '아우디',\n",
       "  '에서',\n",
       "  '포즈',\n",
       "  '가수',\n",
       "  '사진',\n",
       "  '제공',\n",
       "  '코리아',\n",
       "  '화보',\n",
       "  '속',\n",
       "  '던',\n",
       "  '크리스탈',\n",
       "  '재킷',\n",
       "  '청바지',\n",
       "  '매치',\n",
       "  '차림',\n",
       "  '뉴',\n",
       "  '아우디',\n",
       "  '자연',\n",
       "  '포즈',\n",
       "  '촬영',\n",
       "  '후',\n",
       "  '인터뷰',\n",
       "  '현아',\n",
       "  '말',\n",
       "  '촬영',\n",
       "  '자동차',\n",
       "  '주',\n",
       "  '얼리',\n",
       "  '내',\n",
       "  '패션',\n",
       "  '무드',\n",
       "  '던',\n",
       "  '화보',\n",
       "  '공개',\n",
       "  '자동차',\n",
       "  '사람',\n",
       "  '패션',\n",
       "  '사랑',\n",
       "  '사람',\n",
       "  '마음',\n",
       "  '것',\n",
       "  '말',\n",
       "  '한편',\n",
       "  '현아',\n",
       "  '던',\n",
       "  '커버',\n",
       "  '화보',\n",
       "  '인터뷰',\n",
       "  '코리아',\n",
       "  '월호',\n",
       "  '수']]"
      ]
     },
     "execution_count": 30,
     "metadata": {},
     "output_type": "execute_result"
    }
   ],
   "source": [
    "test = data['News'][150000]\n",
    "test_n = [mecab.nouns(test)]\n",
    "test_n"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "## 정수 인코딩"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "토큰화 된 단어를 정수로 인코딩합니다"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 31,
   "metadata": {},
   "outputs": [],
   "source": [
    "tokenizer = Tokenizer()\n",
    "tokenizer.fit_on_texts(X_train)"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 32,
   "metadata": {},
   "outputs": [
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "단어 집합(vocabulary)의 크기 : 106099\n",
      "등장 빈도가 2번 이하인 희귀 단어의 수: 39420\n",
      "단어 집합에서 희귀 단어의 비율: 37.15397883109171\n",
      "전체 등장 빈도에서 희귀 단어 등장 빈도 비율: 0.2765843954972957\n"
     ]
    }
   ],
   "source": [
    "threshold = 3\n",
    "total_cnt = len(tokenizer.word_index) # 단어의 수\n",
    "rare_cnt = 0 # 등장 빈도수가 threshold보다 작은 단어의 개수를 카운트\n",
    "total_freq = 0 # 훈련 데이터의 전체 단어 빈도수 총 합\n",
    "rare_freq = 0 # 등장 빈도수가 threshold보다 작은 단어의 등장 빈도수의 총 합\n",
    "\n",
    "# 단어와 빈도수의 쌍(pair)을 key와 value로 받는다.\n",
    "for key, value in tokenizer.word_counts.items():\n",
    "    total_freq = total_freq + value\n",
    "\n",
    "    # 단어의 등장 빈도수가 threshold보다 작으면\n",
    "    if(value < threshold):\n",
    "        rare_cnt = rare_cnt + 1\n",
    "        rare_freq = rare_freq + value\n",
    "\n",
    "print('단어 집합(vocabulary)의 크기 :',total_cnt)\n",
    "print('등장 빈도가 %s번 이하인 희귀 단어의 수: %s'%(threshold - 1, rare_cnt))\n",
    "print(\"단어 집합에서 희귀 단어의 비율:\", (rare_cnt / total_cnt)*100)\n",
    "print(\"전체 등장 빈도에서 희귀 단어 등장 빈도 비율:\", (rare_freq / total_freq)*100)"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 33,
   "metadata": {},
   "outputs": [
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "단어 집합의 크기 : 66681\n"
     ]
    }
   ],
   "source": [
    "# 전체 단어 개수 중 빈도수 5이하인 단어 개수는 제거.\n",
    "# 0번 패딩 토큰과 1번 OOV 토큰을 고려하여 +2\n",
    "vocab_size = total_cnt - rare_cnt + 2\n",
    "print('단어 집합의 크기 :',vocab_size)"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 34,
   "metadata": {},
   "outputs": [
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "CPU times: user 19.5 s, sys: 946 ms, total: 20.5 s\n",
      "Wall time: 20.7 s\n"
     ]
    }
   ],
   "source": [
    "%%time\n",
    "tokenizer = Tokenizer(vocab_size, oov_token = 'OOV') \n",
    "tokenizer.fit_on_texts(X_train)\n",
    "X_train = tokenizer.texts_to_sequences(X_train)\n",
    "X_test = tokenizer.texts_to_sequences(X_test)"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 35,
   "metadata": {},
   "outputs": [],
   "source": [
    "y_train = np.array(train_data['Subject'])\n",
    "y_test = np.array(test_data['Subject'])"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "## 빈 샘플 제거"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 39,
   "metadata": {},
   "outputs": [],
   "source": [
    "drop_train = [index for index, sentence in enumerate(X_train) if len(sentence) < 1]"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 40,
   "metadata": {
    "scrolled": true
   },
   "outputs": [
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "112851\n",
      "112851\n"
     ]
    },
    {
     "name": "stderr",
     "output_type": "stream",
     "text": [
      "/Users/donghyeon/opt/anaconda3/lib/python3.8/site-packages/numpy/core/_asarray.py:83: VisibleDeprecationWarning: Creating an ndarray from ragged nested sequences (which is a list-or-tuple of lists-or-tuples-or ndarrays with different lengths or shapes) is deprecated. If you meant to do this, you must specify 'dtype=object' when creating the ndarray\n",
      "  return array(a, dtype, copy=False, order=order)\n"
     ]
    }
   ],
   "source": [
    "X_train = np.delete(X_train, drop_train, axis=0)\n",
    "y_train = np.delete(y_train, drop_train, axis=0)\n",
    "print(len(X_train))\n",
    "print(len(y_train))"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "## 패딩"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "정수로 인코딩된 토큰화 파일을 행렬로 변환하여 딥러닝 모델에 맞추어 예측할 수 있게 합니다"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 41,
   "metadata": {},
   "outputs": [
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "리뷰의 최대 길이 : 2751\n",
      "리뷰의 평균 길이 : 167.20370222683007\n"
     ]
    }
   ],
   "source": [
    "print('리뷰의 최대 길이 :',max(len(l) for l in X_train))\n",
    "print('리뷰의 평균 길이 :',sum(map(len, X_train))/len(X_train))"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 42,
   "metadata": {},
   "outputs": [],
   "source": [
    "def below_threshold_len(max_len, nested_list):\n",
    "  cnt = 0\n",
    "  for s in nested_list:\n",
    "    if(len(s) <= max_len):\n",
    "        cnt = cnt + 1\n",
    "  print('전체 샘플 중 길이가 %s 이하인 샘플의 비율: %s'%(max_len, (cnt / len(nested_list))*100))"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 43,
   "metadata": {},
   "outputs": [
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "전체 샘플 중 길이가 500 이하인 샘플의 비율: 98.33320041470611\n"
     ]
    }
   ],
   "source": [
    "max_len = 500\n",
    "below_threshold_len(max_len, X_train)"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 44,
   "metadata": {},
   "outputs": [],
   "source": [
    "X_train = pad_sequences(X_train, maxlen = max_len)\n",
    "X_test = pad_sequences(X_test, maxlen = max_len)"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 45,
   "metadata": {},
   "outputs": [],
   "source": [
    "y_train = to_categorical(y_train) # 훈련용 뉴스 기사 레이블의 원-핫 인코딩\n",
    "y_test = to_categorical(y_test) # 테스트용 뉴스 기사 레이블의 원-핫 인코딩"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "## 딥러닝 모델 생성"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "분류를 위해 딥러닝 모델을 생성합니다"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 47,
   "metadata": {},
   "outputs": [],
   "source": [
    "model = Sequential()\n",
    "model.add(Embedding(vocab_size, 120))\n",
    "model.add(LSTM(120))\n",
    "model.add(Dense(7, activation='softmax'))"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 48,
   "metadata": {},
   "outputs": [],
   "source": [
    "es = EarlyStopping(monitor='val_loss', mode='min', verbose=1, patience=4)\n",
    "mc = ModelCheckpoint('best_model.h5', monitor='val_acc', mode='max', verbose=1,\n",
    "                     save_best_only=True)"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 49,
   "metadata": {},
   "outputs": [],
   "source": [
    "model.compile(loss='categorical_crossentropy', optimizer='adam', metrics=['acc'])"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 50,
   "metadata": {},
   "outputs": [
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "Epoch 1/30\n",
      "882/882 [==============================] - 753s 852ms/step - loss: 1.0517 - acc: 0.6351 - val_loss: 0.6356 - val_acc: 0.7981\n",
      "\n",
      "Epoch 00001: val_acc improved from -inf to 0.79810, saving model to best_model.h5\n",
      "Epoch 2/30\n",
      "882/882 [==============================] - 746s 846ms/step - loss: 0.5254 - acc: 0.8356 - val_loss: 0.5768 - val_acc: 0.8102\n",
      "\n",
      "Epoch 00002: val_acc improved from 0.79810 to 0.81018, saving model to best_model.h5\n",
      "Epoch 3/30\n",
      "882/882 [==============================] - 743s 843ms/step - loss: 0.3664 - acc: 0.8790 - val_loss: 0.6201 - val_acc: 0.8039\n",
      "\n",
      "Epoch 00003: val_acc did not improve from 0.81018\n",
      "Epoch 4/30\n",
      "882/882 [==============================] - 744s 843ms/step - loss: 0.3060 - acc: 0.9000 - val_loss: 0.6060 - val_acc: 0.8103\n",
      "\n",
      "Epoch 00004: val_acc improved from 0.81018 to 0.81026, saving model to best_model.h5\n",
      "Epoch 5/30\n",
      "882/882 [==============================] - 736s 834ms/step - loss: 0.2350 - acc: 0.9232 - val_loss: 0.6321 - val_acc: 0.8059\n",
      "\n",
      "Epoch 00005: val_acc did not improve from 0.81026\n",
      "Epoch 6/30\n",
      "882/882 [==============================] - 739s 837ms/step - loss: 0.1977 - acc: 0.9346 - val_loss: 0.6560 - val_acc: 0.8061\n",
      "\n",
      "Epoch 00006: val_acc did not improve from 0.81026\n",
      "Epoch 00006: early stopping\n"
     ]
    }
   ],
   "source": [
    "history = model.fit(X_train, y_train, batch_size=128, epochs=30, callbacks=[es, mc],\n",
    "                    validation_data=(X_test, y_test))"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 51,
   "metadata": {},
   "outputs": [],
   "source": [
    "model.save('best_model.h5')"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 52,
   "metadata": {
    "scrolled": true
   },
   "outputs": [],
   "source": [
    "loaded_model = load_model('best_model.h5')"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 53,
   "metadata": {},
   "outputs": [
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "1512/1512 [==============================] - 81s 54ms/step - loss: 0.6560 - acc: 0.8061\n"
     ]
    },
    {
     "data": {
      "text/plain": [
       "0.8061448335647583"
      ]
     },
     "execution_count": 53,
     "metadata": {},
     "output_type": "execute_result"
    }
   ],
   "source": [
    "loaded_model.evaluate(X_test, y_test)[1]"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 54,
   "metadata": {},
   "outputs": [
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "1512/1512 [==============================] - 80s 53ms/step - loss: 0.6560 - acc: 0.8061\n",
      "\n",
      " 테스트 정확도: 0.8061\n"
     ]
    }
   ],
   "source": [
    "print(\"\\n 테스트 정확도: %.4f\" % (loaded_model.evaluate(X_test, y_test)[1]))"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 58,
   "metadata": {},
   "outputs": [],
   "source": [
    "predict = loaded_model.predict(X_test)"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 59,
   "metadata": {},
   "outputs": [
    {
     "data": {
      "text/plain": [
       "array([2.2367476e-02, 9.4359778e-02, 8.7769860e-01, 1.1295389e-03,\n",
       "       3.3867511e-03, 9.6512225e-04, 9.2726776e-05], dtype=float32)"
      ]
     },
     "execution_count": 59,
     "metadata": {},
     "output_type": "execute_result"
    }
   ],
   "source": [
    "predict[0]"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 60,
   "metadata": {},
   "outputs": [
    {
     "data": {
      "text/plain": [
       "2"
      ]
     },
     "execution_count": 60,
     "metadata": {},
     "output_type": "execute_result"
    }
   ],
   "source": [
    "np.argmax(predict[0])"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {},
   "outputs": [],
   "source": []
  }
 ],
 "metadata": {
  "kernelspec": {
   "display_name": "Python 3",
   "language": "python",
   "name": "python3"
  },
  "language_info": {
   "codemirror_mode": {
    "name": "ipython",
    "version": 3
   },
   "file_extension": ".py",
   "mimetype": "text/x-python",
   "name": "python",
   "nbconvert_exporter": "python",
   "pygments_lexer": "ipython3",
   "version": "3.7.4"
  }
 },
 "nbformat": 4,
 "nbformat_minor": 4
}