2. keyword 추출.ipynb

{
 "cells": [
  {
   "cell_type": "code",
   "execution_count": 1,
   "metadata": {},
   "outputs": [],
   "source": [
    "import datetime\n",
    "import pandas as pd\n",
    "import numpy as np\n",
    "from konlpy.tag import Mecab\n",
    "from soykeyword.proportion import CorpusbasedKeywordExtractor\n",
    "from collections import Counter"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 2,
   "metadata": {},
   "outputs": [
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "<class 'pandas.core.frame.DataFrame'>\n",
      "RangeIndex: 161217 entries, 0 to 161216\n",
      "Data columns (total 7 columns):\n",
      " #   Column    Non-Null Count   Dtype \n",
      "---  ------    --------------   ----- \n",
      " 0   ID        161217 non-null  int64 \n",
      " 1   Company   161217 non-null  int64 \n",
      " 2   Year      161217 non-null  int64 \n",
      " 3   Headline  161215 non-null  object\n",
      " 4   Content   161217 non-null  object\n",
      " 5   News      161217 non-null  object\n",
      " 6   Subject   161217 non-null  int64 \n",
      "dtypes: int64(4), object(3)\n",
      "memory usage: 8.6+ MB\n",
      "CPU times: user 6.16 s, sys: 816 ms, total: 6.97 s\n",
      "Wall time: 6.97 s\n"
     ]
    }
   ],
   "source": [
    "%%time\n",
    "data = pd.read_csv('news_df_02100201.csv')\n",
    "data.info()"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 3,
   "metadata": {},
   "outputs": [
    {
     "data": {
      "text/html": [
       "<div>\n",
       "<style scoped>\n",
       "    .dataframe tbody tr th:only-of-type {\n",
       "        vertical-align: middle;\n",
       "    }\n",
       "\n",
       "    .dataframe tbody tr th {\n",
       "        vertical-align: top;\n",
       "    }\n",
       "\n",
       "    .dataframe thead th {\n",
       "        text-align: right;\n",
       "    }\n",
       "</style>\n",
       "<table border=\"1\" class=\"dataframe\">\n",
       "  <thead>\n",
       "    <tr style=\"text-align: right;\">\n",
       "      <th></th>\n",
       "      <th>ID</th>\n",
       "      <th>Company</th>\n",
       "      <th>Year</th>\n",
       "      <th>Headline</th>\n",
       "      <th>Content</th>\n",
       "      <th>News</th>\n",
       "      <th>Subject</th>\n",
       "    </tr>\n",
       "  </thead>\n",
       "  <tbody>\n",
       "    <tr>\n",
       "      <th>0</th>\n",
       "      <td>20191103192315001</td>\n",
       "      <td>2100201</td>\n",
       "      <td>2019</td>\n",
       "      <td>한인도네시아 자유무역협정 월 타결아반떼 딜레마 극복</td>\n",
       "      <td>머니투데이 방콕태국김성휘 기자  경쟁력 높은 시장 진출 위한 교두보 주형철 청와대 ...</td>\n",
       "      <td>한인도네시아 자유무역협정 월 타결아반떼 딜레마 극복머니투데이 방콕태국김성휘 기자  ...</td>\n",
       "      <td>0</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>1</th>\n",
       "      <td>20191103153210001</td>\n",
       "      <td>2100201</td>\n",
       "      <td>2019</td>\n",
       "      <td>사진코리아 세일 페스타 즐겨볼까</td>\n",
       "      <td>머니투데이 김휘선 기자   코리아세일페스타가 시작한 후 첫 주말인 일 오후 서울 중...</td>\n",
       "      <td>사진코리아 세일 페스타 즐겨볼까머니투데이 김휘선 기자   코리아세일페스타가 시작한 ...</td>\n",
       "      <td>0</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>2</th>\n",
       "      <td>20191103120110001</td>\n",
       "      <td>2100201</td>\n",
       "      <td>2019</td>\n",
       "      <td>대기업 거래   신평사 지정 관행 부담</td>\n",
       "      <td>머니투데이 김지훈 기자 중기중앙회 대기업 자발적 거래관행 개선 촉구 자료중소기업중앙...</td>\n",
       "      <td>대기업 거래   신평사 지정 관행 부담머니투데이 김지훈 기자 중기중앙회 대기업 자발...</td>\n",
       "      <td>0</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>3</th>\n",
       "      <td>20191103173816001</td>\n",
       "      <td>2100201</td>\n",
       "      <td>2019</td>\n",
       "      <td>년째 썩지않은 맥도날드 치즈버거 정말</td>\n",
       "      <td>머니투데이 김도엽 인턴 아이슬란드의 한 고객이 년 구매 현재도 썩지 않고 그대로 보...</td>\n",
       "      <td>년째 썩지않은 맥도날드 치즈버거 정말머니투데이 김도엽 인턴 아이슬란드의 한 고객이 ...</td>\n",
       "      <td>3</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>4</th>\n",
       "      <td>20191103152648001</td>\n",
       "      <td>2100201</td>\n",
       "      <td>2019</td>\n",
       "      <td>사진첫 주말 코리아 세일 페스타 북적이는 명동</td>\n",
       "      <td>머니투데이 김휘선 기자  코리아세일페스타가 시작한 후 첫 주말인 일 오후 서울 중구...</td>\n",
       "      <td>사진첫 주말 코리아 세일 페스타 북적이는 명동머니투데이 김휘선 기자  코리아세일페스...</td>\n",
       "      <td>0</td>\n",
       "    </tr>\n",
       "  </tbody>\n",
       "</table>\n",
       "</div>"
      ],
      "text/plain": [
       "                  ID  Company  Year                      Headline  \\\n",
       "0  20191103192315001  2100201  2019  한인도네시아 자유무역협정 월 타결아반떼 딜레마 극복   \n",
       "1  20191103153210001  2100201  2019             사진코리아 세일 페스타 즐겨볼까   \n",
       "2  20191103120110001  2100201  2019         대기업 거래   신평사 지정 관행 부담   \n",
       "3  20191103173816001  2100201  2019          년째 썩지않은 맥도날드 치즈버거 정말   \n",
       "4  20191103152648001  2100201  2019     사진첫 주말 코리아 세일 페스타 북적이는 명동   \n",
       "\n",
       "                                             Content  \\\n",
       "0  머니투데이 방콕태국김성휘 기자  경쟁력 높은 시장 진출 위한 교두보 주형철 청와대 ...   \n",
       "1  머니투데이 김휘선 기자   코리아세일페스타가 시작한 후 첫 주말인 일 오후 서울 중...   \n",
       "2  머니투데이 김지훈 기자 중기중앙회 대기업 자발적 거래관행 개선 촉구 자료중소기업중앙...   \n",
       "3  머니투데이 김도엽 인턴 아이슬란드의 한 고객이 년 구매 현재도 썩지 않고 그대로 보...   \n",
       "4  머니투데이 김휘선 기자  코리아세일페스타가 시작한 후 첫 주말인 일 오후 서울 중구...   \n",
       "\n",
       "                                                News  Subject  \n",
       "0  한인도네시아 자유무역협정 월 타결아반떼 딜레마 극복머니투데이 방콕태국김성휘 기자  ...        0  \n",
       "1  사진코리아 세일 페스타 즐겨볼까머니투데이 김휘선 기자   코리아세일페스타가 시작한 ...        0  \n",
       "2  대기업 거래   신평사 지정 관행 부담머니투데이 김지훈 기자 중기중앙회 대기업 자발...        0  \n",
       "3  년째 썩지않은 맥도날드 치즈버거 정말머니투데이 김도엽 인턴 아이슬란드의 한 고객이 ...        3  \n",
       "4  사진첫 주말 코리아 세일 페스타 북적이는 명동머니투데이 김휘선 기자  코리아세일페스...        0  "
      ]
     },
     "execution_count": 3,
     "metadata": {},
     "output_type": "execute_result"
    }
   ],
   "source": [
    "data.head()"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 4,
   "metadata": {},
   "outputs": [],
   "source": [
    "ti = []\n",
    "for i in data['ID']:\n",
    "    ti.append(datetime.datetime.strptime(str(i)[:8], '%Y%m%d'))\n",
    "data['Time'] = ti"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 5,
   "metadata": {},
   "outputs": [],
   "source": [
    "num = int(len(data) * 0.7)\n",
    "train_data = data[:num]\n",
    "test_data = data[num:]"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 6,
   "metadata": {},
   "outputs": [
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "110000\n",
      "51217\n"
     ]
    }
   ],
   "source": [
    "# 훈련, 테스트 분리\n",
    "train_data = data[:110000]\n",
    "test_data = data[110000:]\n",
    "print(len(train_data))\n",
    "print(len(test_data))"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "# 키워드 생성"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "soykeyword를 이용하여 기사 데이터 중 keyword로 인식할 만한 단어를 추출하여 저장합니다"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 7,
   "metadata": {},
   "outputs": [],
   "source": [
    "mecab = Mecab() # 명사 추출 모듈 불러오기\n",
    "\n",
    "# 키워드 추출기 생성\n",
    "# min_tf : 단어 빈도, min_df : 문서 빈도\n",
    "# min_tf = 100, min_df = 10\n",
    "corpusbased_extractor = CorpusbasedKeywordExtractor(\n",
    "    min_tf=1,\n",
    "    min_df=1,\n",
    "    tokenize=mecab.nouns,\n",
    "    verbose=True\n",
    ")"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 8,
   "metadata": {},
   "outputs": [
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "training was done 55160 terms, 110000 docs, memory = 2.918 Gb82 Gb\n",
      "CPU times: user 2min 21s, sys: 1.14 s, total: 2min 22s\n",
      "Wall time: 2min 23s\n"
     ]
    }
   ],
   "source": [
    "%%time\n",
    "corpusbased_extractor.train(train_data['News'])"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 9,
   "metadata": {
    "scrolled": true
   },
   "outputs": [
    {
     "data": {
      "text/plain": [
       "46"
      ]
     },
     "execution_count": 9,
     "metadata": {},
     "output_type": "execute_result"
    }
   ],
   "source": [
    "len(corpusbased_extractor._d2t[10])"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 10,
   "metadata": {
    "scrolled": true
   },
   "outputs": [
    {
     "data": {
      "text/plain": [
       "81"
      ]
     },
     "execution_count": 10,
     "metadata": {},
     "output_type": "execute_result"
    }
   ],
   "source": [
    "len(mecab.nouns(train_data['News'][10]))"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 11,
   "metadata": {},
   "outputs": [],
   "source": [
    "# corpusbased_extractor._tfs.keys() # 키워드 추출 목록\n",
    "# corpusbased_extractor._t2d"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 12,
   "metadata": {},
   "outputs": [
    {
     "data": {
      "text/plain": [
       "1069"
      ]
     },
     "execution_count": 12,
     "metadata": {},
     "output_type": "execute_result"
    }
   ],
   "source": [
    "cnt = 0 \n",
    "for i in corpusbased_extractor._tfs.keys():\n",
    "    if len(i) == 1:\n",
    "        cnt += 1\n",
    "cnt # 길이가 1인 키워드 갯수"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 13,
   "metadata": {},
   "outputs": [
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "CPU times: user 15.7 ms, sys: 793 µs, total: 16.5 ms\n",
      "Wall time: 16.1 ms\n"
     ]
    },
    {
     "data": {
      "text/plain": [
       "54091"
      ]
     },
     "execution_count": 13,
     "metadata": {},
     "output_type": "execute_result"
    }
   ],
   "source": [
    "%%time\n",
    "word = [] # 함수에 쓰일 단어장\n",
    "for i in corpusbased_extractor._tfs.keys():\n",
    "    if len(i) > 1:\n",
    "        word.append(i)\n",
    "len(word)"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 14,
   "metadata": {},
   "outputs": [
    {
     "data": {
      "text/plain": [
       "0"
      ]
     },
     "execution_count": 14,
     "metadata": {},
     "output_type": "execute_result"
    }
   ],
   "source": [
    "cnt = 0 \n",
    "for i in word:\n",
    "    if len(i) == 1:\n",
    "        cnt += 1\n",
    "cnt # 길이가 1인 키워드 갯수"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 15,
   "metadata": {},
   "outputs": [
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "CPU times: user 17.6 ms, sys: 1.68 ms, total: 19.3 ms\n",
      "Wall time: 18.9 ms\n"
     ]
    }
   ],
   "source": [
    "%%time\n",
    "with open('keyword_mecab.txt', 'w') as f: # 함수에 쓰일 단어장 저장\n",
    "    for line in word:\n",
    "        f.write(line + ' ')"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 16,
   "metadata": {},
   "outputs": [
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "CPU times: user 7.09 ms, sys: 2.53 ms, total: 9.63 ms\n",
      "Wall time: 8.5 ms\n"
     ]
    },
    {
     "data": {
      "text/plain": [
       "54091"
      ]
     },
     "execution_count": 16,
     "metadata": {},
     "output_type": "execute_result"
    }
   ],
   "source": [
    "%%time\n",
    "with open('keyword_mecab.txt', 'r') as t: # 잘 저장 되었나 확인\n",
    "    word = t.readlines()\n",
    "word = word[0].split()\n",
    "len(word)"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 17,
   "metadata": {},
   "outputs": [],
   "source": [
    "# corpusbased_extractor._d2t[1300] # 문서당 키워드와 언급된 횟수"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 18,
   "metadata": {
    "scrolled": true
   },
   "outputs": [
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "CPU times: user 2.26 s, sys: 17.7 ms, total: 2.28 s\n",
      "Wall time: 2.27 s\n"
     ]
    },
    {
     "name": "stderr",
     "output_type": "stream",
     "text": [
      "<timed exec>:10: SettingWithCopyWarning: \n",
      "A value is trying to be set on a copy of a slice from a DataFrame.\n",
      "Try using .loc[row_indexer,col_indexer] = value instead\n",
      "\n",
      "See the caveats in the documentation: https://pandas.pydata.org/pandas-docs/stable/user_guide/indexing.html#returning-a-view-versus-a-copy\n"
     ]
    }
   ],
   "source": [
    "%%time\n",
    "kw_data = [] # 문서당 키워드\n",
    "for i in range(len(corpusbased_extractor._d2t)):\n",
    "    rd_data = []\n",
    "    for j, k in enumerate(corpusbased_extractor._d2t[i]):\n",
    "        if len(k[0]) > 1:\n",
    "            rd_data.append(k[0])\n",
    "        if len(rd_data) == 10: # 키워드 많이 언급된 상위 10개 추출\n",
    "            break\n",
    "    kw_data.append(rd_data)\n",
    "train_data['Keyword'] = kw_data"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 19,
   "metadata": {},
   "outputs": [
    {
     "data": {
      "text/html": [
       "<div>\n",
       "<style scoped>\n",
       "    .dataframe tbody tr th:only-of-type {\n",
       "        vertical-align: middle;\n",
       "    }\n",
       "\n",
       "    .dataframe tbody tr th {\n",
       "        vertical-align: top;\n",
       "    }\n",
       "\n",
       "    .dataframe thead th {\n",
       "        text-align: right;\n",
       "    }\n",
       "</style>\n",
       "<table border=\"1\" class=\"dataframe\">\n",
       "  <thead>\n",
       "    <tr style=\"text-align: right;\">\n",
       "      <th></th>\n",
       "      <th>ID</th>\n",
       "      <th>Company</th>\n",
       "      <th>Year</th>\n",
       "      <th>Headline</th>\n",
       "      <th>Content</th>\n",
       "      <th>News</th>\n",
       "      <th>Subject</th>\n",
       "      <th>Time</th>\n",
       "      <th>Keyword</th>\n",
       "    </tr>\n",
       "  </thead>\n",
       "  <tbody>\n",
       "    <tr>\n",
       "      <th>0</th>\n",
       "      <td>20191103192315001</td>\n",
       "      <td>2100201</td>\n",
       "      <td>2019</td>\n",
       "      <td>한인도네시아 자유무역협정 월 타결아반떼 딜레마 극복</td>\n",
       "      <td>머니투데이 방콕태국김성휘 기자  경쟁력 높은 시장 진출 위한 교두보 주형철 청와대 ...</td>\n",
       "      <td>한인도네시아 자유무역협정 월 타결아반떼 딜레마 극복머니투데이 방콕태국김성휘 기자  ...</td>\n",
       "      <td>0</td>\n",
       "      <td>2019-11-03</td>\n",
       "      <td>[아세안, 인도네시아, 정상, 회의, 타결, 태국, 양자, 보좌관, 특별, 일본]</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>1</th>\n",
       "      <td>20191103153210001</td>\n",
       "      <td>2100201</td>\n",
       "      <td>2019</td>\n",
       "      <td>사진코리아 세일 페스타 즐겨볼까</td>\n",
       "      <td>머니투데이 김휘선 기자   코리아세일페스타가 시작한 후 첫 주말인 일 오후 서울 중...</td>\n",
       "      <td>사진코리아 세일 페스타 즐겨볼까머니투데이 김휘선 기자   코리아세일페스타가 시작한 ...</td>\n",
       "      <td>0</td>\n",
       "      <td>2019-11-03</td>\n",
       "      <td>[페스타, 세일, 코리아, 명동, 관광객, 주말, 휘선, 거리, 중구, 시민]</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>2</th>\n",
       "      <td>20191103120110001</td>\n",
       "      <td>2100201</td>\n",
       "      <td>2019</td>\n",
       "      <td>대기업 거래   신평사 지정 관행 부담</td>\n",
       "      <td>머니투데이 김지훈 기자 중기중앙회 대기업 자발적 거래관행 개선 촉구 자료중소기업중앙...</td>\n",
       "      <td>대기업 거래   신평사 지정 관행 부담머니투데이 김지훈 기자 중기중앙회 대기업 자발...</td>\n",
       "      <td>0</td>\n",
       "      <td>2019-11-03</td>\n",
       "      <td>[신용, 중소기업, 거래, 평가서, 기업, 발급, 평가, 관행, 요구, 중앙]</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>3</th>\n",
       "      <td>20191103173816001</td>\n",
       "      <td>2100201</td>\n",
       "      <td>2019</td>\n",
       "      <td>년째 썩지않은 맥도날드 치즈버거 정말</td>\n",
       "      <td>머니투데이 김도엽 인턴 아이슬란드의 한 고객이 년 구매 현재도 썩지 않고 그대로 보...</td>\n",
       "      <td>년째 썩지않은 맥도날드 치즈버거 정말머니투데이 김도엽 인턴 아이슬란드의 한 고객이 ...</td>\n",
       "      <td>3</td>\n",
       "      <td>2019-11-03</td>\n",
       "      <td>[햄버거, 스노, 감자튀김, 맥도날드, 아이슬란드, 하우스, 트라, 구매, 버거, 보관]</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>4</th>\n",
       "      <td>20191103152648001</td>\n",
       "      <td>2100201</td>\n",
       "      <td>2019</td>\n",
       "      <td>사진첫 주말 코리아 세일 페스타 북적이는 명동</td>\n",
       "      <td>머니투데이 김휘선 기자  코리아세일페스타가 시작한 후 첫 주말인 일 오후 서울 중구...</td>\n",
       "      <td>사진첫 주말 코리아 세일 페스타 북적이는 명동머니투데이 김휘선 기자  코리아세일페스...</td>\n",
       "      <td>0</td>\n",
       "      <td>2019-11-03</td>\n",
       "      <td>[페스타, 세일, 명동, 주말, 코리아, 관광객, 휘선, 거리, 중구, 시민]</td>\n",
       "    </tr>\n",
       "  </tbody>\n",
       "</table>\n",
       "</div>"
      ],
      "text/plain": [
       "                  ID  Company  Year                      Headline  \\\n",
       "0  20191103192315001  2100201  2019  한인도네시아 자유무역협정 월 타결아반떼 딜레마 극복   \n",
       "1  20191103153210001  2100201  2019             사진코리아 세일 페스타 즐겨볼까   \n",
       "2  20191103120110001  2100201  2019         대기업 거래   신평사 지정 관행 부담   \n",
       "3  20191103173816001  2100201  2019          년째 썩지않은 맥도날드 치즈버거 정말   \n",
       "4  20191103152648001  2100201  2019     사진첫 주말 코리아 세일 페스타 북적이는 명동   \n",
       "\n",
       "                                             Content  \\\n",
       "0  머니투데이 방콕태국김성휘 기자  경쟁력 높은 시장 진출 위한 교두보 주형철 청와대 ...   \n",
       "1  머니투데이 김휘선 기자   코리아세일페스타가 시작한 후 첫 주말인 일 오후 서울 중...   \n",
       "2  머니투데이 김지훈 기자 중기중앙회 대기업 자발적 거래관행 개선 촉구 자료중소기업중앙...   \n",
       "3  머니투데이 김도엽 인턴 아이슬란드의 한 고객이 년 구매 현재도 썩지 않고 그대로 보...   \n",
       "4  머니투데이 김휘선 기자  코리아세일페스타가 시작한 후 첫 주말인 일 오후 서울 중구...   \n",
       "\n",
       "                                                News  Subject       Time  \\\n",
       "0  한인도네시아 자유무역협정 월 타결아반떼 딜레마 극복머니투데이 방콕태국김성휘 기자  ...        0 2019-11-03   \n",
       "1  사진코리아 세일 페스타 즐겨볼까머니투데이 김휘선 기자   코리아세일페스타가 시작한 ...        0 2019-11-03   \n",
       "2  대기업 거래   신평사 지정 관행 부담머니투데이 김지훈 기자 중기중앙회 대기업 자발...        0 2019-11-03   \n",
       "3  년째 썩지않은 맥도날드 치즈버거 정말머니투데이 김도엽 인턴 아이슬란드의 한 고객이 ...        3 2019-11-03   \n",
       "4  사진첫 주말 코리아 세일 페스타 북적이는 명동머니투데이 김휘선 기자  코리아세일페스...        0 2019-11-03   \n",
       "\n",
       "                                             Keyword  \n",
       "0      [아세안, 인도네시아, 정상, 회의, 타결, 태국, 양자, 보좌관, 특별, 일본]  \n",
       "1        [페스타, 세일, 코리아, 명동, 관광객, 주말, 휘선, 거리, 중구, 시민]  \n",
       "2        [신용, 중소기업, 거래, 평가서, 기업, 발급, 평가, 관행, 요구, 중앙]  \n",
       "3  [햄버거, 스노, 감자튀김, 맥도날드, 아이슬란드, 하우스, 트라, 구매, 버거, 보관]  \n",
       "4        [페스타, 세일, 명동, 주말, 코리아, 관광객, 휘선, 거리, 중구, 시민]  "
      ]
     },
     "execution_count": 19,
     "metadata": {},
     "output_type": "execute_result"
    }
   ],
   "source": [
    "train_data.head()"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 20,
   "metadata": {},
   "outputs": [],
   "source": [
    "train_data.to_csv('news_recommend.csv', index = False)"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 21,
   "metadata": {},
   "outputs": [
    {
     "data": {
      "text/html": [
       "<div>\n",
       "<style scoped>\n",
       "    .dataframe tbody tr th:only-of-type {\n",
       "        vertical-align: middle;\n",
       "    }\n",
       "\n",
       "    .dataframe tbody tr th {\n",
       "        vertical-align: top;\n",
       "    }\n",
       "\n",
       "    .dataframe thead th {\n",
       "        text-align: right;\n",
       "    }\n",
       "</style>\n",
       "<table border=\"1\" class=\"dataframe\">\n",
       "  <thead>\n",
       "    <tr style=\"text-align: right;\">\n",
       "      <th></th>\n",
       "      <th>ID</th>\n",
       "      <th>Company</th>\n",
       "      <th>Year</th>\n",
       "      <th>Headline</th>\n",
       "      <th>Content</th>\n",
       "      <th>News</th>\n",
       "      <th>Subject</th>\n",
       "      <th>Time</th>\n",
       "      <th>Keyword</th>\n",
       "    </tr>\n",
       "  </thead>\n",
       "  <tbody>\n",
       "    <tr>\n",
       "      <th>0</th>\n",
       "      <td>20191103192315001</td>\n",
       "      <td>2100201</td>\n",
       "      <td>2019</td>\n",
       "      <td>한인도네시아 자유무역협정 월 타결아반떼 딜레마 극복</td>\n",
       "      <td>머니투데이 방콕태국김성휘 기자  경쟁력 높은 시장 진출 위한 교두보 주형철 청와대 ...</td>\n",
       "      <td>한인도네시아 자유무역협정 월 타결아반떼 딜레마 극복머니투데이 방콕태국김성휘 기자  ...</td>\n",
       "      <td>0</td>\n",
       "      <td>2019-11-03</td>\n",
       "      <td>['아세안', '인도네시아', '정상', '회의', '타결', '태국', '양자',...</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>1</th>\n",
       "      <td>20191103153210001</td>\n",
       "      <td>2100201</td>\n",
       "      <td>2019</td>\n",
       "      <td>사진코리아 세일 페스타 즐겨볼까</td>\n",
       "      <td>머니투데이 김휘선 기자   코리아세일페스타가 시작한 후 첫 주말인 일 오후 서울 중...</td>\n",
       "      <td>사진코리아 세일 페스타 즐겨볼까머니투데이 김휘선 기자   코리아세일페스타가 시작한 ...</td>\n",
       "      <td>0</td>\n",
       "      <td>2019-11-03</td>\n",
       "      <td>['페스타', '세일', '코리아', '명동', '관광객', '주말', '휘선', ...</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>2</th>\n",
       "      <td>20191103120110001</td>\n",
       "      <td>2100201</td>\n",
       "      <td>2019</td>\n",
       "      <td>대기업 거래   신평사 지정 관행 부담</td>\n",
       "      <td>머니투데이 김지훈 기자 중기중앙회 대기업 자발적 거래관행 개선 촉구 자료중소기업중앙...</td>\n",
       "      <td>대기업 거래   신평사 지정 관행 부담머니투데이 김지훈 기자 중기중앙회 대기업 자발...</td>\n",
       "      <td>0</td>\n",
       "      <td>2019-11-03</td>\n",
       "      <td>['신용', '중소기업', '거래', '평가서', '기업', '발급', '평가', ...</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>3</th>\n",
       "      <td>20191103173816001</td>\n",
       "      <td>2100201</td>\n",
       "      <td>2019</td>\n",
       "      <td>년째 썩지않은 맥도날드 치즈버거 정말</td>\n",
       "      <td>머니투데이 김도엽 인턴 아이슬란드의 한 고객이 년 구매 현재도 썩지 않고 그대로 보...</td>\n",
       "      <td>년째 썩지않은 맥도날드 치즈버거 정말머니투데이 김도엽 인턴 아이슬란드의 한 고객이 ...</td>\n",
       "      <td>3</td>\n",
       "      <td>2019-11-03</td>\n",
       "      <td>['햄버거', '스노', '감자튀김', '맥도날드', '아이슬란드', '하우스', ...</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>4</th>\n",
       "      <td>20191103152648001</td>\n",
       "      <td>2100201</td>\n",
       "      <td>2019</td>\n",
       "      <td>사진첫 주말 코리아 세일 페스타 북적이는 명동</td>\n",
       "      <td>머니투데이 김휘선 기자  코리아세일페스타가 시작한 후 첫 주말인 일 오후 서울 중구...</td>\n",
       "      <td>사진첫 주말 코리아 세일 페스타 북적이는 명동머니투데이 김휘선 기자  코리아세일페스...</td>\n",
       "      <td>0</td>\n",
       "      <td>2019-11-03</td>\n",
       "      <td>['페스타', '세일', '명동', '주말', '코리아', '관광객', '휘선', ...</td>\n",
       "    </tr>\n",
       "  </tbody>\n",
       "</table>\n",
       "</div>"
      ],
      "text/plain": [
       "                  ID  Company  Year                      Headline  \\\n",
       "0  20191103192315001  2100201  2019  한인도네시아 자유무역협정 월 타결아반떼 딜레마 극복   \n",
       "1  20191103153210001  2100201  2019             사진코리아 세일 페스타 즐겨볼까   \n",
       "2  20191103120110001  2100201  2019         대기업 거래   신평사 지정 관행 부담   \n",
       "3  20191103173816001  2100201  2019          년째 썩지않은 맥도날드 치즈버거 정말   \n",
       "4  20191103152648001  2100201  2019     사진첫 주말 코리아 세일 페스타 북적이는 명동   \n",
       "\n",
       "                                             Content  \\\n",
       "0  머니투데이 방콕태국김성휘 기자  경쟁력 높은 시장 진출 위한 교두보 주형철 청와대 ...   \n",
       "1  머니투데이 김휘선 기자   코리아세일페스타가 시작한 후 첫 주말인 일 오후 서울 중...   \n",
       "2  머니투데이 김지훈 기자 중기중앙회 대기업 자발적 거래관행 개선 촉구 자료중소기업중앙...   \n",
       "3  머니투데이 김도엽 인턴 아이슬란드의 한 고객이 년 구매 현재도 썩지 않고 그대로 보...   \n",
       "4  머니투데이 김휘선 기자  코리아세일페스타가 시작한 후 첫 주말인 일 오후 서울 중구...   \n",
       "\n",
       "                                                News  Subject        Time  \\\n",
       "0  한인도네시아 자유무역협정 월 타결아반떼 딜레마 극복머니투데이 방콕태국김성휘 기자  ...        0  2019-11-03   \n",
       "1  사진코리아 세일 페스타 즐겨볼까머니투데이 김휘선 기자   코리아세일페스타가 시작한 ...        0  2019-11-03   \n",
       "2  대기업 거래   신평사 지정 관행 부담머니투데이 김지훈 기자 중기중앙회 대기업 자발...        0  2019-11-03   \n",
       "3  년째 썩지않은 맥도날드 치즈버거 정말머니투데이 김도엽 인턴 아이슬란드의 한 고객이 ...        3  2019-11-03   \n",
       "4  사진첫 주말 코리아 세일 페스타 북적이는 명동머니투데이 김휘선 기자  코리아세일페스...        0  2019-11-03   \n",
       "\n",
       "                                             Keyword  \n",
       "0  ['아세안', '인도네시아', '정상', '회의', '타결', '태국', '양자',...  \n",
       "1  ['페스타', '세일', '코리아', '명동', '관광객', '주말', '휘선', ...  \n",
       "2  ['신용', '중소기업', '거래', '평가서', '기업', '발급', '평가', ...  \n",
       "3  ['햄버거', '스노', '감자튀김', '맥도날드', '아이슬란드', '하우스', ...  \n",
       "4  ['페스타', '세일', '명동', '주말', '코리아', '관광객', '휘선', ...  "
      ]
     },
     "execution_count": 21,
     "metadata": {},
     "output_type": "execute_result"
    }
   ],
   "source": [
    "train_data = pd.read_csv('news_recommend.csv')\n",
    "train_data.head()"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {},
   "outputs": [],
   "source": []
  }
 ],
 "metadata": {
  "kernelspec": {
   "display_name": "Python 3",
   "language": "python",
   "name": "python3"
  },
  "language_info": {
   "codemirror_mode": {
    "name": "ipython",
    "version": 3
   },
   "file_extension": ".py",
   "mimetype": "text/x-python",
   "name": "python",
   "nbconvert_exporter": "python",
   "pygments_lexer": "ipython3",
   "version": "3.7.4"
  }
 },
 "nbformat": 4,
 "nbformat_minor": 4
}