[Baseline]_2. POS 태깅, TF-IDF를 이용한 데이터 분석 & 분류.ipynb

{
 "cells": [
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "# 데이콘 Basic Summer\n",
    "## 쇼핑몰 리뷰 평점 분류 경진대회 \n",
    "\n",
    "## 두번째 Baseline"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "안녕하세요 데이커 여러분!  \n",
    "데이콘 Basic Summer에 오신 것을 환영합니다.\n",
    "\n",
    "올해도 무더운 여름이 찾아왔습니다.  \n",
    "하지만 여름이라고 하면 역시 Shopping 🛒을 빼놓을 순 없겠죠! \n",
    "\n",
    "<img src='https://user-images.githubusercontent.com/92353013/177723710-5b62e89f-f46b-4575-b356-f2899e288017.png' align=center>\n",
    "\n",
    "데이콘과 함께, 초보부터 고수까지 모두가 참여하는 데이콘 Basic Summer   \n",
    "**쇼핑몰 리뷰 평점 분류 대회**를 소개합니다.\n",
    "\n",
    "이번 대회는 쇼핑몰 리뷰 데이터를 통해 평점을 분류하는 대회입니다.\n",
    "\n",
    "리뷰를 보고 1, 2, 4, 5점을 분류하는 간단한 대회 처럼 보이지만,   \n",
    "자연어 처리를 처음 접하는 분들에게는 어디부터 시작해야 하는지 막막하실 겁니다.\n",
    "\n",
    "베이스라인을 통해 자연어 처리 기초에 입문하여 멋진 데이커🥇가 되어보세요.\n",
    "\n",
    "이번 두번째 베이스라인에서는 **TF-IDF를 활용**해 문장 벡터를 만들기 위한\n",
    "\n",
    "**TfidfVectorizer 을 적용**하여 모델의 성능을 높여보겠습니다.\n",
    "\n",
    "베이스라인을 통해 자연어 처리 기초에 입문해보세요!\n",
    "\n",
    "<p style='text-align: right;'> July, 2022 | All rights reserved by Dacon</p>"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {
    "id": "bOWORo2sijgT"
   },
   "source": [
    "# I. 데이터 살펴보기\n",
    "\n",
    "데이터 분석을 하기 위해 가장 먼저 해야할 일이 무엇일까요?\n",
    "\n",
    "바로 데이터를 살펴보는 일입니다.  \n",
    "주어진 데이터를 살펴보며 데이터의 모양과 대략적인 내용을 파악하고, 무슨 분석이 가능한지 확인하여 분석의 방향을 잡는 과정이 필요합니다.\n",
    "\n",
    "대회 페이지의 [데이터] 탭에서 압축 파일을 다운받아 압축을 풀어주었다면 현재 폴더 구조는 아래와 같을 것입니다.\n",
    "\n",
    "(현재 위치)  \n",
    "- baseline.ipynb\n",
    "- dataset (폴더)\n",
    "  - train.csv\n",
    "  - test.csv\n",
    "  - sample_submission.csv\n",
    "\n",
    "이번 대회의 데이터는 총 3가지이며 모두 csv 파일입니다.\n",
    "1. train.csv : 데이터 분석 모델을 학습(train)하기 위해 사용하는 데이터\n",
    "2. test.csv : 데이터 분석 모델을 통해 정답을 예측하기 위해 사용하는 데이터\n",
    "3. sample_submission.csv : 예측한 정답 값을 기록하여 제출하기 위한 샘플 정답 파일"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "## 1. 데이터 준비\n",
    "\n",
    "먼저 분석하려는 데이터를 작업장으로 가져오는 작업이 필요합니다.\n",
    "\n",
    "이를 위해서 파이썬 라이브러리 중 하나인 Pandas를 이용합니다.\n",
    "\n",
    "pandas 라이브러리는 엑셀과 같은 행과 열로 이루어진 테이블(table) 형식의 데이터를 편하게 다루도록 해주는 라이브러리입니다."
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 1,
   "metadata": {
    "colab": {
     "base_uri": "https://localhost:8080/",
     "height": 206
    },
    "executionInfo": {
     "elapsed": 13,
     "status": "ok",
     "timestamp": 1648442939829,
     "user": {
      "displayName": "World Papa",
      "photoUrl": "https://lh3.googleusercontent.com/a/default-user=s64",
      "userId": "02589349459586782651"
     },
     "user_tz": -540
    },
    "id": "xNMcfxP0idCZ",
    "outputId": "e90ce08f-24dc-4f32-f13a-a913fa1ace9b"
   },
   "outputs": [
    {
     "data": {
      "text/html": [
       "<div>\n",
       "<style scoped>\n",
       "    .dataframe tbody tr th:only-of-type {\n",
       "        vertical-align: middle;\n",
       "    }\n",
       "\n",
       "    .dataframe tbody tr th {\n",
       "        vertical-align: top;\n",
       "    }\n",
       "\n",
       "    .dataframe thead th {\n",
       "        text-align: right;\n",
       "    }\n",
       "</style>\n",
       "<table border=\"1\" class=\"dataframe\">\n",
       "  <thead>\n",
       "    <tr style=\"text-align: right;\">\n",
       "      <th></th>\n",
       "      <th>id</th>\n",
       "      <th>reviews</th>\n",
       "      <th>target</th>\n",
       "    </tr>\n",
       "  </thead>\n",
       "  <tbody>\n",
       "    <tr>\n",
       "      <th>0</th>\n",
       "      <td>0</td>\n",
       "      <td>조아요 처음구입 싸게햇어요</td>\n",
       "      <td>2</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>1</th>\n",
       "      <td>1</td>\n",
       "      <td>생각보다 잘 안돼요 매지 바른지 하루밖에 안됐는데ㅠㅠ 25천원가량 주고 사기 너무 ...</td>\n",
       "      <td>1</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>2</th>\n",
       "      <td>2</td>\n",
       "      <td>디자인은괜찮은데 상품이 금이가서 교환했는데 두번째받은상품도 까져있고 안쪽에 금이가져...</td>\n",
       "      <td>2</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>3</th>\n",
       "      <td>3</td>\n",
       "      <td>기전에 이 제품말고 이마트 트레이더스에서만 팔던 프리미엄 제품을 사용했었습니다. 샘...</td>\n",
       "      <td>2</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>4</th>\n",
       "      <td>4</td>\n",
       "      <td>튼튼하고 손목을 잘 받쳐주네요~</td>\n",
       "      <td>5</td>\n",
       "    </tr>\n",
       "  </tbody>\n",
       "</table>\n",
       "</div>"
      ],
      "text/plain": [
       "   id                                            reviews  target\n",
       "0   0                                     조아요 처음구입 싸게햇어요       2\n",
       "1   1  생각보다 잘 안돼요 매지 바른지 하루밖에 안됐는데ㅠㅠ 25천원가량 주고 사기 너무 ...       1\n",
       "2   2  디자인은괜찮은데 상품이 금이가서 교환했는데 두번째받은상품도 까져있고 안쪽에 금이가져...       2\n",
       "3   3  기전에 이 제품말고 이마트 트레이더스에서만 팔던 프리미엄 제품을 사용했었습니다. 샘...       2\n",
       "4   4                                  튼튼하고 손목을 잘 받쳐주네요~       5"
      ]
     },
     "execution_count": 1,
     "metadata": {},
     "output_type": "execute_result"
    }
   ],
   "source": [
    "#csv 형식의 training 데이터를 로드합니다.\n",
    "import pandas as pd \n",
    "\n",
    "train = pd.read_csv('dataset/train.csv')\n",
    "test = pd.read_csv('dataset/test.csv')\n",
    "\n",
    "#데이터 살펴보기 위해 데이터 최상단의 5줄을 표시합니다.\n",
    "train.head() "
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "## 2. 데이터 확인\n",
    "\n",
    "이제 데이터가 어떻게 생겼는지 살펴봅시다.\n",
    "\n",
    "처음 데이터를 살펴 볼 때에는 pandas의 **head()**, **tail()** 그리고 **info()** 메소드를 활용하여 데이터를 살펴보는 경우가 많습니다.\n",
    "\n",
    "이는 데이터와 처음과 끝을 살펴봄으로서, **이상치나 결측치**와 같은 데이터를 살펴보기 위함입니다."
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 2,
   "metadata": {},
   "outputs": [
    {
     "data": {
      "text/html": [
       "<div>\n",
       "<style scoped>\n",
       "    .dataframe tbody tr th:only-of-type {\n",
       "        vertical-align: middle;\n",
       "    }\n",
       "\n",
       "    .dataframe tbody tr th {\n",
       "        vertical-align: top;\n",
       "    }\n",
       "\n",
       "    .dataframe thead th {\n",
       "        text-align: right;\n",
       "    }\n",
       "</style>\n",
       "<table border=\"1\" class=\"dataframe\">\n",
       "  <thead>\n",
       "    <tr style=\"text-align: right;\">\n",
       "      <th></th>\n",
       "      <th>id</th>\n",
       "      <th>reviews</th>\n",
       "      <th>target</th>\n",
       "    </tr>\n",
       "  </thead>\n",
       "  <tbody>\n",
       "    <tr>\n",
       "      <th>0</th>\n",
       "      <td>0</td>\n",
       "      <td>조아요 처음구입 싸게햇어요</td>\n",
       "      <td>2</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>1</th>\n",
       "      <td>1</td>\n",
       "      <td>생각보다 잘 안돼요 매지 바른지 하루밖에 안됐는데ㅠㅠ 25천원가량 주고 사기 너무 ...</td>\n",
       "      <td>1</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>2</th>\n",
       "      <td>2</td>\n",
       "      <td>디자인은괜찮은데 상품이 금이가서 교환했는데 두번째받은상품도 까져있고 안쪽에 금이가져...</td>\n",
       "      <td>2</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>3</th>\n",
       "      <td>3</td>\n",
       "      <td>기전에 이 제품말고 이마트 트레이더스에서만 팔던 프리미엄 제품을 사용했었습니다. 샘...</td>\n",
       "      <td>2</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>4</th>\n",
       "      <td>4</td>\n",
       "      <td>튼튼하고 손목을 잘 받쳐주네요~</td>\n",
       "      <td>5</td>\n",
       "    </tr>\n",
       "  </tbody>\n",
       "</table>\n",
       "</div>"
      ],
      "text/plain": [
       "   id                                            reviews  target\n",
       "0   0                                     조아요 처음구입 싸게햇어요       2\n",
       "1   1  생각보다 잘 안돼요 매지 바른지 하루밖에 안됐는데ㅠㅠ 25천원가량 주고 사기 너무 ...       1\n",
       "2   2  디자인은괜찮은데 상품이 금이가서 교환했는데 두번째받은상품도 까져있고 안쪽에 금이가져...       2\n",
       "3   3  기전에 이 제품말고 이마트 트레이더스에서만 팔던 프리미엄 제품을 사용했었습니다. 샘...       2\n",
       "4   4                                  튼튼하고 손목을 잘 받쳐주네요~       5"
      ]
     },
     "execution_count": 2,
     "metadata": {},
     "output_type": "execute_result"
    }
   ],
   "source": [
    "# 데이터를 살펴보기 위해 데이터 최상단의 5줄을 표시합니다.\n",
    "train.head()"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 3,
   "metadata": {},
   "outputs": [
    {
     "data": {
      "text/html": [
       "<div>\n",
       "<style scoped>\n",
       "    .dataframe tbody tr th:only-of-type {\n",
       "        vertical-align: middle;\n",
       "    }\n",
       "\n",
       "    .dataframe tbody tr th {\n",
       "        vertical-align: top;\n",
       "    }\n",
       "\n",
       "    .dataframe thead th {\n",
       "        text-align: right;\n",
       "    }\n",
       "</style>\n",
       "<table border=\"1\" class=\"dataframe\">\n",
       "  <thead>\n",
       "    <tr style=\"text-align: right;\">\n",
       "      <th></th>\n",
       "      <th>id</th>\n",
       "      <th>reviews</th>\n",
       "      <th>target</th>\n",
       "    </tr>\n",
       "  </thead>\n",
       "  <tbody>\n",
       "    <tr>\n",
       "      <th>24995</th>\n",
       "      <td>24995</td>\n",
       "      <td>일단향이너무너무좋은데지속력만좋다면좋겠지만..워낙저렴해그래도좋아여</td>\n",
       "      <td>5</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>24996</th>\n",
       "      <td>24996</td>\n",
       "      <td>동일한 업체에서 발송하고 한 상자로 배송되었는데 택배비는 이중 처리되었습니다.</td>\n",
       "      <td>2</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>24997</th>\n",
       "      <td>24997</td>\n",
       "      <td>향이 좋아요!! 다른 향도 시켜보고 싶어요</td>\n",
       "      <td>4</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>24998</th>\n",
       "      <td>24998</td>\n",
       "      <td>펼쳐보니 끝부분쯤에 50cm정도 찟어져 있습니다 날짜관계로 구냥 사용합니다</td>\n",
       "      <td>2</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>24999</th>\n",
       "      <td>24999</td>\n",
       "      <td>호호애미 제품은 늘 믿고 써요</td>\n",
       "      <td>5</td>\n",
       "    </tr>\n",
       "  </tbody>\n",
       "</table>\n",
       "</div>"
      ],
      "text/plain": [
       "          id                                      reviews  target\n",
       "24995  24995          일단향이너무너무좋은데지속력만좋다면좋겠지만..워낙저렴해그래도좋아여       5\n",
       "24996  24996  동일한 업체에서 발송하고 한 상자로 배송되었는데 택배비는 이중 처리되었습니다.       2\n",
       "24997  24997                      향이 좋아요!! 다른 향도 시켜보고 싶어요       4\n",
       "24998  24998    펼쳐보니 끝부분쯤에 50cm정도 찟어져 있습니다 날짜관계로 구냥 사용합니다       2\n",
       "24999  24999                             호호애미 제품은 늘 믿고 써요       5"
      ]
     },
     "execution_count": 3,
     "metadata": {},
     "output_type": "execute_result"
    }
   ],
   "source": [
    "# 데이터를 살펴보기 위해 데이터 최하단의 5줄을 표시합니다.\n",
    "train.tail()"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 4,
   "metadata": {},
   "outputs": [
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "<class 'pandas.core.frame.DataFrame'>\n",
      "RangeIndex: 25000 entries, 0 to 24999\n",
      "Data columns (total 3 columns):\n",
      " #   Column   Non-Null Count  Dtype \n",
      "---  ------   --------------  ----- \n",
      " 0   id       25000 non-null  int64 \n",
      " 1   reviews  25000 non-null  object\n",
      " 2   target   25000 non-null  int64 \n",
      "dtypes: int64(2), object(1)\n",
      "memory usage: 586.1+ KB\n"
     ]
    }
   ],
   "source": [
    "# 데이터 결측치 및 변수들의 타입 확인\n",
    "train.info()"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "info() 메소드를 이용해 데이터 결측치 및 변수들의 타입을 확인해본 결과,           \n",
    "타겟 변수를 포함하여 총 3개의 변수와 25000 행으로 이루어져 있습니다.     \n",
    "\n",
    "Non-Null Count 부분을 보니 모든 행에서 결측치(NA)는 발견되지 않았네요!"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "# II. 데이터 전처리"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "## 1. Feature Selection\n",
    "\n",
    "모델링을 하기 앞서, 독립변수 X와 종속변수(타겟변수) y를 설정해야 합니다.  \n",
    "\n",
    "우리의 목적은 주어진 쇼핑몰 리뷰 데이터(독립변수)를 이용하여 평점(target)을 예측하는 것입니다.\n",
    "\n",
    "그럼 쇼핑몰 리뷰가 X, 평점(target)이 y가 되겠죠?"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 5,
   "metadata": {
    "executionInfo": {
     "elapsed": 10,
     "status": "ok",
     "timestamp": 1648442940215,
     "user": {
      "displayName": "World Papa",
      "photoUrl": "https://lh3.googleusercontent.com/a/default-user=s64",
      "userId": "02589349459586782651"
     },
     "user_tz": -540
    },
    "id": "pQIPVi3XlNY9"
   },
   "outputs": [],
   "source": [
    "X = train.reviews #training 데이터에서 피쳐 추출\n",
    "y = train.target #training 데이터에서 타겟 추출"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 6,
   "metadata": {
    "colab": {
     "base_uri": "https://localhost:8080/"
    },
    "executionInfo": {
     "elapsed": 10,
     "status": "ok",
     "timestamp": 1648442940215,
     "user": {
      "displayName": "World Papa",
      "photoUrl": "https://lh3.googleusercontent.com/a/default-user=s64",
      "userId": "02589349459586782651"
     },
     "user_tz": -540
    },
    "id": "kPrOPG-dlQlw",
    "outputId": "bc8b3b5d-1bb2-4649-aafc-90e6641b21ad"
   },
   "outputs": [
    {
     "data": {
      "text/plain": [
       "0                                       조아요 처음구입 싸게햇어요\n",
       "1    생각보다 잘 안돼요 매지 바른지 하루밖에 안됐는데ㅠㅠ 25천원가량 주고 사기 너무 ...\n",
       "2    디자인은괜찮은데 상품이 금이가서 교환했는데 두번째받은상품도 까져있고 안쪽에 금이가져...\n",
       "3    기전에 이 제품말고 이마트 트레이더스에서만 팔던 프리미엄 제품을 사용했었습니다. 샘...\n",
       "4                                    튼튼하고 손목을 잘 받쳐주네요~\n",
       "Name: reviews, dtype: object"
      ]
     },
     "execution_count": 6,
     "metadata": {},
     "output_type": "execute_result"
    }
   ],
   "source": [
    "X.head() #데이터 살펴보기"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 7,
   "metadata": {
    "colab": {
     "base_uri": "https://localhost:8080/"
    },
    "executionInfo": {
     "elapsed": 9,
     "status": "ok",
     "timestamp": 1648442940216,
     "user": {
      "displayName": "World Papa",
      "photoUrl": "https://lh3.googleusercontent.com/a/default-user=s64",
      "userId": "02589349459586782651"
     },
     "user_tz": -540
    },
    "id": "AukNWGBBlR0q",
    "outputId": "888c6b4c-4e62-4161-e0ae-6d5220233cba"
   },
   "outputs": [
    {
     "data": {
      "text/plain": [
       "0    2\n",
       "1    1\n",
       "2    2\n",
       "3    2\n",
       "4    5\n",
       "Name: target, dtype: int64"
      ]
     },
     "execution_count": 7,
     "metadata": {},
     "output_type": "execute_result"
    }
   ],
   "source": [
    "y.head() #데이터 살펴보기"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {
    "id": "0chBUZqHlmAy"
   },
   "source": [
    "위의 데이터프레임과 같이 text가 깔끔히 정리되었습니다!"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {
    "id": "9zPij2Nqmoqs"
   },
   "source": [
    "## 2. 토큰화"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {
    "id": "FsdDAwfgmrjI"
   },
   "source": [
    "토큰화(Tokenization)란 말뭉치(Corpus)를 주어진 단위(Token)로 나누는 과정을 의미합니다.\n",
    "\n",
    "단어 단위로 나누는 단어 토큰화(word tokenization)의 예시를 살펴보겠습니다."
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 8,
   "metadata": {
    "executionInfo": {
     "elapsed": 11,
     "status": "ok",
     "timestamp": 1648442944304,
     "user": {
      "displayName": "World Papa",
      "photoUrl": "https://lh3.googleusercontent.com/a/default-user=s64",
      "userId": "02589349459586782651"
     },
     "user_tz": -540
    },
    "id": "xp5kCRVflfDD"
   },
   "outputs": [],
   "source": [
    "text = \"Dacon 베이직 서머에서, 시원하게 데이터 분석 하자 !\" # 예시 문장을 정의합니다."
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {
    "id": "_8wHfahxm4Ak"
   },
   "source": [
    "한국어에 대한 전처리는 대표적으로 okt 패키지를 사용합니다. "
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 9,
   "metadata": {
    "colab": {
     "base_uri": "https://localhost:8080/"
    },
    "executionInfo": {
     "elapsed": 33,
     "status": "ok",
     "timestamp": 1648442949954,
     "user": {
      "displayName": "World Papa",
      "photoUrl": "https://lh3.googleusercontent.com/a/default-user=s64",
      "userId": "02589349459586782651"
     },
     "user_tz": -540
    },
    "id": "oh9H4U32m3Dw",
    "outputId": "c7939c16-0edb-4ceb-81bc-90ca9c4a69f5"
   },
   "outputs": [
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "단어 토큰화 결과 ==> ['Dacon', '베이직', '서머', '에서', ',', '시원하게', '데이터', '분석', '하자', '!']\n",
      "명사 추출 결과 ==> ['베이직', '서머', '데이터', '분석', '하자']\n"
     ]
    }
   ],
   "source": [
    "from konlpy.tag import Okt\n",
    "okt=Okt()  \n",
    "\n",
    "print('단어 토큰화 결과 ==>', okt.morphs(text))\n",
    "print('명사 추출 결과 ==>', okt.nouns(text)) "
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {
    "id": "d6b0UdlEnsHB"
   },
   "source": [
    "단어 단위로 깔끔하게 분리되네요. \"!\", \".\" 등의 구두점도 하나의 단어로 취급되는 것을 확인할 수 있습니다.\n",
    "\n",
    "이렇게 토큰화에 대해서 간단히 살펴보았습니다.\n",
    "\n",
    "그럼 쇼핑몰 리뷰 데이터에서도 같은 방법으로 토큰화를 진행시켜  \n",
    "'tokenized_stem' 열에 새로 토큰화 된 데이터를 생성해보겠습니다."
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 10,
   "metadata": {
    "colab": {
     "base_uri": "https://localhost:8080/",
     "height": 206
    },
    "executionInfo": {
     "elapsed": 67896,
     "status": "ok",
     "timestamp": 1648443017833,
     "user": {
      "displayName": "World Papa",
      "photoUrl": "https://lh3.googleusercontent.com/a/default-user=s64",
      "userId": "02589349459586782651"
     },
     "user_tz": -540
    },
    "id": "I7_o2TDAnoCI",
    "outputId": "926bdfc1-ff57-490f-e4f1-0088383d719a"
   },
   "outputs": [
    {
     "data": {
      "text/html": [
       "<div>\n",
       "<style scoped>\n",
       "    .dataframe tbody tr th:only-of-type {\n",
       "        vertical-align: middle;\n",
       "    }\n",
       "\n",
       "    .dataframe tbody tr th {\n",
       "        vertical-align: top;\n",
       "    }\n",
       "\n",
       "    .dataframe thead th {\n",
       "        text-align: right;\n",
       "    }\n",
       "</style>\n",
       "<table border=\"1\" class=\"dataframe\">\n",
       "  <thead>\n",
       "    <tr style=\"text-align: right;\">\n",
       "      <th></th>\n",
       "      <th>id</th>\n",
       "      <th>reviews</th>\n",
       "      <th>target</th>\n",
       "      <th>tokenized_stem</th>\n",
       "    </tr>\n",
       "  </thead>\n",
       "  <tbody>\n",
       "    <tr>\n",
       "      <th>0</th>\n",
       "      <td>0</td>\n",
       "      <td>조아요 처음구입 싸게햇어요</td>\n",
       "      <td>2</td>\n",
       "      <td>조아요 처음 구입 싸게 햇 어 요</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>1</th>\n",
       "      <td>1</td>\n",
       "      <td>생각보다 잘 안돼요 매지 바른지 하루밖에 안됐는데ㅠㅠ 25천원가량 주고 사기 너무 ...</td>\n",
       "      <td>1</td>\n",
       "      <td>생각 보다 잘 안 돼요 매지 바른지 하루 밖에 안 됐는데 ㅠㅠ 25천원 가량 주고 ...</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>2</th>\n",
       "      <td>2</td>\n",
       "      <td>디자인은괜찮은데 상품이 금이가서 교환했는데 두번째받은상품도 까져있고 안쪽에 금이가져...</td>\n",
       "      <td>2</td>\n",
       "      <td>디자인 은 괜찮은데 상품 이 금 이 가서 교환 했는데 두번째 받은 상품 도 까져있고...</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>3</th>\n",
       "      <td>3</td>\n",
       "      <td>기전에 이 제품말고 이마트 트레이더스에서만 팔던 프리미엄 제품을 사용했었습니다. 샘...</td>\n",
       "      <td>2</td>\n",
       "      <td>기전 에 이 제품 말고 이마트 트 레이더스 에서만 팔던 프리미엄 제품 을 사용 했었...</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>4</th>\n",
       "      <td>4</td>\n",
       "      <td>튼튼하고 손목을 잘 받쳐주네요~</td>\n",
       "      <td>5</td>\n",
       "      <td>튼튼하고 손목 을 잘 받쳐주네요 ~</td>\n",
       "    </tr>\n",
       "  </tbody>\n",
       "</table>\n",
       "</div>"
      ],
      "text/plain": [
       "   id                                            reviews  target  \\\n",
       "0   0                                     조아요 처음구입 싸게햇어요       2   \n",
       "1   1  생각보다 잘 안돼요 매지 바른지 하루밖에 안됐는데ㅠㅠ 25천원가량 주고 사기 너무 ...       1   \n",
       "2   2  디자인은괜찮은데 상품이 금이가서 교환했는데 두번째받은상품도 까져있고 안쪽에 금이가져...       2   \n",
       "3   3  기전에 이 제품말고 이마트 트레이더스에서만 팔던 프리미엄 제품을 사용했었습니다. 샘...       2   \n",
       "4   4                                  튼튼하고 손목을 잘 받쳐주네요~       5   \n",
       "\n",
       "                                      tokenized_stem  \n",
       "0                                 조아요 처음 구입 싸게 햇 어 요  \n",
       "1  생각 보다 잘 안 돼요 매지 바른지 하루 밖에 안 됐는데 ㅠㅠ 25천원 가량 주고 ...  \n",
       "2  디자인 은 괜찮은데 상품 이 금 이 가서 교환 했는데 두번째 받은 상품 도 까져있고...  \n",
       "3  기전 에 이 제품 말고 이마트 트 레이더스 에서만 팔던 프리미엄 제품 을 사용 했었...  \n",
       "4                                튼튼하고 손목 을 잘 받쳐주네요 ~  "
      ]
     },
     "execution_count": 10,
     "metadata": {},
     "output_type": "execute_result"
    }
   ],
   "source": [
    "tokenized = [] # 데이터프레임의 한 컬럼으로 추가할 리스트\n",
    "def token(dataframe):\n",
    "    for sentence in dataframe['reviews']: # 전처리된 리뷰들을 하나씩 꺼내옵니다\n",
    "        tokens = okt.morphs(sentence)\n",
    "        tokenize = \" \".join(tokens) # tokens라는 리스트 안의 형태소들을 띄어쓰기로 분리된 하나의 문자열로 join시켜줍니다.\n",
    "        tokenized.append(tokenize) # 형태소 단위로 띄어쓰기된 문자열을 최종 리스트에 추가해줍니다\n",
    "        dataframe[\"tokenized_stem\"] = pd.DataFrame(tokenized) # 리스트를 데이터프레임으로 변환해 tokenized_stem라는 컬럼명으로 추가해줍니다.\n",
    "    \n",
    "token(train)\n",
    "token(test)\n",
    "\n",
    "train.head() # 데이터 확인"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {
    "id": "UCHu8rYAqFGF"
   },
   "source": [
    "## 3. 품사 태깅(POS Tagging)\n",
    "\n",
    "자 이제 다음 단계인 품사 태깅에 대해 알아봅시다.\n",
    "\n",
    "품사 태깅이란 주어진 텍스트를 형태소 단위로 나눈 뒤, 각 형태소에 해당 품사를 태깅하여 리스트화 하는 것입니다.\n",
    "\n",
    "그럼 토큰화된 단어의 품사를 nltk의 pos_tag메소드를 이용하여 분리해보도록 하겠습니다."
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 11,
   "metadata": {
    "colab": {
     "base_uri": "https://localhost:8080/"
    },
    "executionInfo": {
     "elapsed": 14,
     "status": "ok",
     "timestamp": 1648443017834,
     "user": {
      "displayName": "World Papa",
      "photoUrl": "https://lh3.googleusercontent.com/a/default-user=s64",
      "userId": "02589349459586782651"
     },
     "user_tz": -540
    },
    "id": "rt_QcYZSoo-0",
    "outputId": "41bf9fc7-8849-46f8-ac3d-1288265b41b8"
   },
   "outputs": [
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "품사 태깅 결과 ==> [('Dacon', 'Alpha'), ('베이직', 'Noun'), ('서머', 'Noun'), ('에서', 'Josa'), (',', 'Punctuation'), ('시원하게', 'Adjective'), ('데이터', 'Noun'), ('분석', 'Noun'), ('하자', 'Noun'), ('!', 'Punctuation')]\n"
     ]
    }
   ],
   "source": [
    "# okt.pos() 를 이용\n",
    "print('품사 태깅 결과 ==>', okt.pos(text))  "
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {
    "id": "G28eZBrurGfG"
   },
   "source": [
    "품사 태깅은 꼭 필요한 품사(ex. 명사, 동사)를 추출할 때 유용하게 쓰일 수 있습니다!"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {
    "id": "j-QifldUSweF"
   },
   "source": [
    "뉴스 텍스트는 명사만으로 그룹 분류를 판단하기 어렵기 때문에\n",
    "\n",
    "우선 임의로 명사, 동사, 형용사, 부사를 추출하여 사용해보겠습니다. (판단에 따라 설정해주세요 !)"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 12,
   "metadata": {},
   "outputs": [
    {
     "data": {
      "text/html": [
       "<div>\n",
       "<style scoped>\n",
       "    .dataframe tbody tr th:only-of-type {\n",
       "        vertical-align: middle;\n",
       "    }\n",
       "\n",
       "    .dataframe tbody tr th {\n",
       "        vertical-align: top;\n",
       "    }\n",
       "\n",
       "    .dataframe thead th {\n",
       "        text-align: right;\n",
       "    }\n",
       "</style>\n",
       "<table border=\"1\" class=\"dataframe\">\n",
       "  <thead>\n",
       "    <tr style=\"text-align: right;\">\n",
       "      <th></th>\n",
       "      <th>id</th>\n",
       "      <th>reviews</th>\n",
       "      <th>target</th>\n",
       "      <th>tokenized_stem</th>\n",
       "      <th>main_pos</th>\n",
       "    </tr>\n",
       "  </thead>\n",
       "  <tbody>\n",
       "    <tr>\n",
       "      <th>0</th>\n",
       "      <td>0</td>\n",
       "      <td>조아요 처음구입 싸게햇어요</td>\n",
       "      <td>2</td>\n",
       "      <td>조아요 처음 구입 싸게 햇 어 요</td>\n",
       "      <td>조아요 처음 구입 싸게 햇 요</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>1</th>\n",
       "      <td>1</td>\n",
       "      <td>생각보다 잘 안돼요 매지 바른지 하루밖에 안됐는데ㅠㅠ 25천원가량 주고 사기 너무 ...</td>\n",
       "      <td>1</td>\n",
       "      <td>생각 보다 잘 안 돼요 매지 바른지 하루 밖에 안 됐는데 ㅠㅠ 25천원 가량 주고 ...</td>\n",
       "      <td>생각 보다 잘 안 돼요 매지 바른지 하루 안 됐는데 ㅠㅠ 25천원 가량 주고 사기 ...</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>2</th>\n",
       "      <td>2</td>\n",
       "      <td>디자인은괜찮은데 상품이 금이가서 교환했는데 두번째받은상품도 까져있고 안쪽에 금이가져...</td>\n",
       "      <td>2</td>\n",
       "      <td>디자인 은 괜찮은데 상품 이 금 이 가서 교환 했는데 두번째 받은 상품 도 까져있고...</td>\n",
       "      <td>디자인 은 괜찮은데 상품 이 금 이 가서 교환 했는데 두번째 받은 상품 도 까져있고...</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>3</th>\n",
       "      <td>3</td>\n",
       "      <td>기전에 이 제품말고 이마트 트레이더스에서만 팔던 프리미엄 제품을 사용했었습니다. 샘...</td>\n",
       "      <td>2</td>\n",
       "      <td>기전 에 이 제품 말고 이마트 트 레이더스 에서만 팔던 프리미엄 제품 을 사용 했었...</td>\n",
       "      <td>기전 이 제품 이마트 트 레이더스 팔던 프리미엄 제품 사용 했었습니다 샘플 써 보고...</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>4</th>\n",
       "      <td>4</td>\n",
       "      <td>튼튼하고 손목을 잘 받쳐주네요~</td>\n",
       "      <td>5</td>\n",
       "      <td>튼튼하고 손목 을 잘 받쳐주네요 ~</td>\n",
       "      <td>튼튼하고 손목 잘 받쳐주네요</td>\n",
       "    </tr>\n",
       "  </tbody>\n",
       "</table>\n",
       "</div>"
      ],
      "text/plain": [
       "   id                                            reviews  target  \\\n",
       "0   0                                     조아요 처음구입 싸게햇어요       2   \n",
       "1   1  생각보다 잘 안돼요 매지 바른지 하루밖에 안됐는데ㅠㅠ 25천원가량 주고 사기 너무 ...       1   \n",
       "2   2  디자인은괜찮은데 상품이 금이가서 교환했는데 두번째받은상품도 까져있고 안쪽에 금이가져...       2   \n",
       "3   3  기전에 이 제품말고 이마트 트레이더스에서만 팔던 프리미엄 제품을 사용했었습니다. 샘...       2   \n",
       "4   4                                  튼튼하고 손목을 잘 받쳐주네요~       5   \n",
       "\n",
       "                                      tokenized_stem  \\\n",
       "0                                 조아요 처음 구입 싸게 햇 어 요   \n",
       "1  생각 보다 잘 안 돼요 매지 바른지 하루 밖에 안 됐는데 ㅠㅠ 25천원 가량 주고 ...   \n",
       "2  디자인 은 괜찮은데 상품 이 금 이 가서 교환 했는데 두번째 받은 상품 도 까져있고...   \n",
       "3  기전 에 이 제품 말고 이마트 트 레이더스 에서만 팔던 프리미엄 제품 을 사용 했었...   \n",
       "4                                튼튼하고 손목 을 잘 받쳐주네요 ~   \n",
       "\n",
       "                                            main_pos  \n",
       "0                                   조아요 처음 구입 싸게 햇 요  \n",
       "1  생각 보다 잘 안 돼요 매지 바른지 하루 안 됐는데 ㅠㅠ 25천원 가량 주고 사기 ...  \n",
       "2  디자인 은 괜찮은데 상품 이 금 이 가서 교환 했는데 두번째 받은 상품 도 까져있고...  \n",
       "3  기전 이 제품 이마트 트 레이더스 팔던 프리미엄 제품 사용 했었습니다 샘플 써 보고...  \n",
       "4                                    튼튼하고 손목 잘 받쳐주네요  "
      ]
     },
     "execution_count": 12,
     "metadata": {},
     "output_type": "execute_result"
    }
   ],
   "source": [
    "def postagging(dataframe):\n",
    "    main_pos = [] # 데이터프레임의 새 컬럼이 될 리스트\n",
    "    for sentence in dataframe['tokenized_stem']: # 리뷰들을 하나씩 가져옵니다\n",
    "        pos = okt.pos(sentence) # 형태소 분석을 진행하고 해당 리스트를 pos라는 변수로 받습니다\n",
    "        main_words = [word_pos[0] for word_pos in pos if word_pos[1] in ('Adjective', #형용사\n",
    "                                                                         'Noun', #명사\n",
    "                                                                         'Adjective', #부사\n",
    "                                                                         'Verb', #동사\n",
    "                                                                         'Number',\n",
    "                                                                         'KoreanParticle'\n",
    "                                                                         )] # 가져오고자 하는 품사에 해당하면 해당 형태소를 main_words 리스트에 추가합니다.\n",
    "        main_words_str = \" \".join(main_words) # main_words 리스트 안의 형태소들을 띄어쓰기로 분리된 하나의 문자열로 join시켜줍니다.\n",
    "        main_pos.append(main_words_str) # 선택한 형태소들로 이루어진 문자열을 최종 리스트에 추가해줍니다\n",
    "        dataframe[\"main_pos\"] = pd.DataFrame(main_pos) # 리스트를 데이터프레임으로 변환해 main_pos라는 컬럼명으로 추가해줍니다.\n",
    "\n",
    "postagging(train)\n",
    "#postagging(test) ## test셋도 똑같이 품사태깅을 적용해줍니다.\n",
    "train.head() # 데이터 확인"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 27,
   "metadata": {},
   "outputs": [],
   "source": [
    "postagging(test)"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {
    "id": "b-cjSZ9RTMc-",
    "tags": []
   },
   "source": [
    "자 이제 총 두 개의 전처리된 컬럼이 생성되었습니다!\n",
    "\n",
    "어떤 전처리 과정이 성능이 가장 잘 나올지는 미지수입니다. 직접 다양한 시도를 통해 최적의 전처리 프로세스를 찾아보세요!\n",
    "\n",
    "이번 베이스라인에서는 마지막에 생성한 main_pos 컬럼을 이용해 모델 학습을 진행하겠습니다.\n",
    "\n"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "# III. 모델링"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {
    "id": "qi13gJY0TiC3"
   },
   "source": [
    "## 1. train/vaildation 정의\n",
    "\n",
    "이제 우리는 모델을 만들어야 하는데,   \n",
    "모델을 만들기 앞서 내가 만들 모델이 유의미한지 알아야 좋은 결론을 도출 할 수 있겠죠?   \n",
    "\n",
    "하지만 단순히 주어진 데이터로 train셋 데이터를 학습시켜서 목표값인 test 셋에 집어 넣어 예측값을 도출하면,   \n",
    "모델이 적합한지 알 방법이 없습니다.   \n",
    "\n",
    "\n",
    "따라서 train 셋에서 70%를 학습을 시키는데 쓰고, 나머지 25%를 모델이 유의미한지 검증하는데 사용할 것입니다.   \n",
    "이후 유의미하다면, 실제로 제출할 모델을 만들 때, train 셋 100%를 학습을 시키면 되겠죠?\n",
    "\n",
    "자 그럼 train 셋에서 학습시킬 셋 train_data와 검증할 셋 val_data를 만들어 봅시다!"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 13,
   "metadata": {
    "executionInfo": {
     "elapsed": 23,
     "status": "ok",
     "timestamp": 1648443168397,
     "user": {
      "displayName": "World Papa",
      "photoUrl": "https://lh3.googleusercontent.com/a/default-user=s64",
      "userId": "02589349459586782651"
     },
     "user_tz": -540
    },
    "id": "ihyOU0ERTodN"
   },
   "outputs": [],
   "source": [
    "from sklearn.model_selection import train_test_split\n",
    "\n",
    "data = train.copy()\n",
    "train, val = train_test_split(data)\n",
    "train.reset_index(inplace=True) # 전처리 과정에서 데이터가 뒤섞이지 않도록 인덱스를 초기화해주었습니다.\n",
    "val.reset_index(inplace=True)"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 14,
   "metadata": {
    "colab": {
     "base_uri": "https://localhost:8080/"
    },
    "executionInfo": {
     "elapsed": 22,
     "status": "ok",
     "timestamp": 1648443168399,
     "user": {
      "displayName": "World Papa",
      "photoUrl": "https://lh3.googleusercontent.com/a/default-user=s64",
      "userId": "02589349459586782651"
     },
     "user_tz": -540
    },
    "id": "1cRcuEcOT8Oe",
    "outputId": "3e178c7f-d9c8-407c-d256-2dbf3af4ba81"
   },
   "outputs": [
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "train 데이터 셋 모양 : (18750, 6)\n",
      "val 데이터 셋 모양 : (6250, 6)\n"
     ]
    }
   ],
   "source": [
    "print( 'train 데이터 셋 모양 :', train.shape)\n",
    "print( 'val 데이터 셋 모양 :', val.shape)"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {
    "id": "6vbLThgdUMvw"
   },
   "source": [
    "train 셋은 18750개, val 셋은 6250개 데이터로 나뉘어 진 것을 확인할 수 있습니다."
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {
    "id": "OTby2_4tTV-3"
   },
   "source": [
    "## 2. 벡터화\n",
    "\n",
    "CountVectorizer를 사용하였습니다.\n",
    "\n",
    "이 부분에 대한 설명은 [첫번째 베이스라인](https://dacon.io/competitions/official/235938/codeshare/5365?page=1&dtype=recent)에 자세히 나와있으니 참고 바랍니다."
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 15,
   "metadata": {
    "executionInfo": {
     "elapsed": 18,
     "status": "ok",
     "timestamp": 1648443168401,
     "user": {
      "displayName": "World Papa",
      "photoUrl": "https://lh3.googleusercontent.com/a/default-user=s64",
      "userId": "02589349459586782651"
     },
     "user_tz": -540
    },
    "id": "_3e5aN-nyJZl"
   },
   "outputs": [],
   "source": [
    "X_train = train.main_pos #training 데이터에서 문서 추출\n",
    "y_train = train.target #training 데이터에서 라벨 추출"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 16,
   "metadata": {
    "executionInfo": {
     "elapsed": 1853,
     "status": "ok",
     "timestamp": 1648443170238,
     "user": {
      "displayName": "World Papa",
      "photoUrl": "https://lh3.googleusercontent.com/a/default-user=s64",
      "userId": "02589349459586782651"
     },
     "user_tz": -540
    },
    "id": "5cHPWRJEUYbU"
   },
   "outputs": [],
   "source": [
    "from sklearn.feature_extraction.text import CountVectorizer\n",
    "\n",
    "vectorizer = CountVectorizer() #countvectorizer 생성\n",
    "vectorizer.fit(X_train) # countvectorizer 학습\n",
    "X_train_vec = vectorizer.transform(X_train) # transform"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {
    "id": "Ias3N3yfW70Q"
   },
   "source": [
    "## 3. 모델 학습"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 17,
   "metadata": {
    "colab": {
     "base_uri": "https://localhost:8080/"
    },
    "executionInfo": {
     "elapsed": 82318,
     "status": "ok",
     "timestamp": 1648443252548,
     "user": {
      "displayName": "World Papa",
      "photoUrl": "https://lh3.googleusercontent.com/a/default-user=s64",
      "userId": "02589349459586782651"
     },
     "user_tz": -540
    },
    "id": "2eXcsVLxUaAe",
    "outputId": "5467c5fd-365a-46ff-fb19-bc5aa5f60d7e"
   },
   "outputs": [
    {
     "data": {
      "text/html": [
       "<style>#sk-container-id-1 {color: black;background-color: white;}#sk-container-id-1 pre{padding: 0;}#sk-container-id-1 div.sk-toggleable {background-color: white;}#sk-container-id-1 label.sk-toggleable__label {cursor: pointer;display: block;width: 100%;margin-bottom: 0;padding: 0.3em;box-sizing: border-box;text-align: center;}#sk-container-id-1 label.sk-toggleable__label-arrow:before {content: \"▸\";float: left;margin-right: 0.25em;color: #696969;}#sk-container-id-1 label.sk-toggleable__label-arrow:hover:before {color: black;}#sk-container-id-1 div.sk-estimator:hover label.sk-toggleable__label-arrow:before {color: black;}#sk-container-id-1 div.sk-toggleable__content {max-height: 0;max-width: 0;overflow: hidden;text-align: left;background-color: #f0f8ff;}#sk-container-id-1 div.sk-toggleable__content pre {margin: 0.2em;color: black;border-radius: 0.25em;background-color: #f0f8ff;}#sk-container-id-1 input.sk-toggleable__control:checked~div.sk-toggleable__content {max-height: 200px;max-width: 100%;overflow: auto;}#sk-container-id-1 input.sk-toggleable__control:checked~label.sk-toggleable__label-arrow:before {content: \"▾\";}#sk-container-id-1 div.sk-estimator input.sk-toggleable__control:checked~label.sk-toggleable__label {background-color: #d4ebff;}#sk-container-id-1 div.sk-label input.sk-toggleable__control:checked~label.sk-toggleable__label {background-color: #d4ebff;}#sk-container-id-1 input.sk-hidden--visually {border: 0;clip: rect(1px 1px 1px 1px);clip: rect(1px, 1px, 1px, 1px);height: 1px;margin: -1px;overflow: hidden;padding: 0;position: absolute;width: 1px;}#sk-container-id-1 div.sk-estimator {font-family: monospace;background-color: #f0f8ff;border: 1px dotted black;border-radius: 0.25em;box-sizing: border-box;margin-bottom: 0.5em;}#sk-container-id-1 div.sk-estimator:hover {background-color: #d4ebff;}#sk-container-id-1 div.sk-parallel-item::after {content: \"\";width: 100%;border-bottom: 1px solid gray;flex-grow: 1;}#sk-container-id-1 div.sk-label:hover label.sk-toggleable__label {background-color: #d4ebff;}#sk-container-id-1 div.sk-serial::before {content: \"\";position: absolute;border-left: 1px solid gray;box-sizing: border-box;top: 0;bottom: 0;left: 50%;z-index: 0;}#sk-container-id-1 div.sk-serial {display: flex;flex-direction: column;align-items: center;background-color: white;padding-right: 0.2em;padding-left: 0.2em;position: relative;}#sk-container-id-1 div.sk-item {position: relative;z-index: 1;}#sk-container-id-1 div.sk-parallel {display: flex;align-items: stretch;justify-content: center;background-color: white;position: relative;}#sk-container-id-1 div.sk-item::before, #sk-container-id-1 div.sk-parallel-item::before {content: \"\";position: absolute;border-left: 1px solid gray;box-sizing: border-box;top: 0;bottom: 0;left: 50%;z-index: -1;}#sk-container-id-1 div.sk-parallel-item {display: flex;flex-direction: column;z-index: 1;position: relative;background-color: white;}#sk-container-id-1 div.sk-parallel-item:first-child::after {align-self: flex-end;width: 50%;}#sk-container-id-1 div.sk-parallel-item:last-child::after {align-self: flex-start;width: 50%;}#sk-container-id-1 div.sk-parallel-item:only-child::after {width: 0;}#sk-container-id-1 div.sk-dashed-wrapped {border: 1px dashed gray;margin: 0 0.4em 0.5em 0.4em;box-sizing: border-box;padding-bottom: 0.4em;background-color: white;}#sk-container-id-1 div.sk-label label {font-family: monospace;font-weight: bold;display: inline-block;line-height: 1.2em;}#sk-container-id-1 div.sk-label-container {text-align: center;}#sk-container-id-1 div.sk-container {/* jupyter's `normalize.less` sets `[hidden] { display: none; }` but bootstrap.min.css set `[hidden] { display: none !important; }` so we also need the `!important` here to be able to override the default hidden behavior on the sphinx rendered scikit-learn.org. See: https://github.com/scikit-learn/scikit-learn/issues/21755 */display: inline-block !important;position: relative;}#sk-container-id-1 div.sk-text-repr-fallback {display: none;}</style><div id=\"sk-container-id-1\" class=\"sk-top-container\"><div class=\"sk-text-repr-fallback\"><pre>LogisticRegression(max_iter=500)</pre><b>In a Jupyter environment, please rerun this cell to show the HTML representation or trust the notebook. <br />On GitHub, the HTML representation is unable to render, please try loading this page with nbviewer.org.</b></div><div class=\"sk-container\" hidden><div class=\"sk-item\"><div class=\"sk-estimator sk-toggleable\"><input class=\"sk-toggleable__control sk-hidden--visually\" id=\"sk-estimator-id-1\" type=\"checkbox\" checked><label for=\"sk-estimator-id-1\" class=\"sk-toggleable__label sk-toggleable__label-arrow\">LogisticRegression</label><div class=\"sk-toggleable__content\"><pre>LogisticRegression(max_iter=500)</pre></div></div></div></div></div>"
      ],
      "text/plain": [
       "LogisticRegression(max_iter=500)"
      ]
     },
     "execution_count": 17,
     "metadata": {},
     "output_type": "execute_result"
    }
   ],
   "source": [
    "from sklearn.linear_model import LogisticRegression #모델 불러오기\n",
    "model = LogisticRegression(max_iter=500) #객체에 모델 할당\n",
    "model.fit(X_train_vec, y_train) #모델 학습"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {
    "id": "74kftNbTb-LB"
   },
   "source": [
    "## 4. 검증셋으로 모델 성능 검증\n",
    "\n",
    "트레인 셋에서 학습된 모델을   \n",
    "검증 셋을 통해서 얼마나 성능이 나오는지 확인해보도록 하겠습니다."
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 18,
   "metadata": {
    "executionInfo": {
     "elapsed": 23,
     "status": "ok",
     "timestamp": 1648443252550,
     "user": {
      "displayName": "World Papa",
      "photoUrl": "https://lh3.googleusercontent.com/a/default-user=s64",
      "userId": "02589349459586782651"
     },
     "user_tz": -540
    },
    "id": "c7cEr76mW66D"
   },
   "outputs": [],
   "source": [
    "X_val = val.main_pos #validation 데이터에서 전처리된 문서 추출\n",
    "y_val = val.target #validation 데이터에서 라벨 추출\n",
    "\n",
    "X_val_vec = vectorizer.transform(X_val) # train셋으로 fit한 벡터라이저 이용해 transform"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 19,
   "metadata": {
    "colab": {
     "base_uri": "https://localhost:8080/"
    },
    "executionInfo": {
     "elapsed": 22,
     "status": "ok",
     "timestamp": 1648443252551,
     "user": {
      "displayName": "World Papa",
      "photoUrl": "https://lh3.googleusercontent.com/a/default-user=s64",
      "userId": "02589349459586782651"
     },
     "user_tz": -540
    },
    "id": "1Y3sTTCVXqA9",
    "outputId": "1273675b-6f67-4a58-e533-f0de242a83f5"
   },
   "outputs": [
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "[2 2 2 ... 5 5 2]\n"
     ]
    }
   ],
   "source": [
    "y_pred = model.predict(X_val_vec)\n",
    "print(y_pred)"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 20,
   "metadata": {
    "colab": {
     "base_uri": "https://localhost:8080/"
    },
    "executionInfo": {
     "elapsed": 20,
     "status": "ok",
     "timestamp": 1648443252552,
     "user": {
      "displayName": "World Papa",
      "photoUrl": "https://lh3.googleusercontent.com/a/default-user=s64",
      "userId": "02589349459586782651"
     },
     "user_tz": -540
    },
    "id": "YS8N-JDVXwZF",
    "outputId": "051d6023-e796-4874-cad4-238848f9fcd8"
   },
   "outputs": [
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "Logistic Regression 의 예측 정확도는 0.624\n"
     ]
    }
   ],
   "source": [
    "from sklearn import metrics\n",
    "print('Logistic Regression 의 예측 정확도는', round(metrics.accuracy_score(y_val, y_pred),3)) # 정확도 확인"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {
    "id": "2EWl3HSqcJLr"
   },
   "source": [
    "검증 셋을 예측해본 결과 61.2%의 정확도를 얻었습니다!\n",
    "\n",
    "조금 더 성능을 끌어 올려보는 작업을 해보겠습니다."
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {
    "id": "DntLmgOKY-2k"
   },
   "source": [
    "# 5. TF-IDF\n",
    "\n",
    "Tf-Idf (Term Frequency - Inverse Document Frequency)는 \n",
    "\n",
    "TF(단어 빈도, term frequency) : 특정한 단어가 문서 내에 얼마나 자주 등장하는지를 나타내는 값  \n",
    "IDF(역문서 빈도, inverse document frequency) : 단어 자체가 문서군 내에서 자주 사용하여 얼마나 그 단어가 흔하게 등장하는지를 나타내는 값의 역수   \n",
    "를 곱한 값입니다.\n",
    "\n",
    "즉, 특정 문서 내에서 단어 빈도가 높을 수록, 그리고 전체 문서들 중 그 단어를 포함한 문서가 적을 수록 TF-IDF값이 높아집니다.\n",
    "\n",
    "특정 단어를 포함하는 문서들이 많을 수록 로그 함수 안의 값이 1에 가까워지게 되고,   \n",
    "이 경우 IDF값과 TF-IDF값은 0에 가까워지게 되는 것입니다.\n",
    "\n",
    "따라서 이 값을 이용하면 모든 문서에 흔하게 나타나는 단어를 걸러내는 효과를 얻을 수 있습니다. \n",
    "\n",
    "TF-IDF는 주로 문서의 유사도를 구하는 작업, 검색 시스템에서 검색 결과의 중요도를 정하는 작업,  \n",
    " 문서 내에서 특정 단어의 중요도를 구하는 작업 등에 쓰입니다.\n",
    "\n",
    "그럼, TF-IDF를 활용해 문장 벡터를 만들기 위한   \n",
    "TfidfVectorizer 을 적용하여 모델의 성능을 높여보겠습니다!"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 21,
   "metadata": {
    "colab": {
     "base_uri": "https://localhost:8080/"
    },
    "executionInfo": {
     "elapsed": 32535,
     "status": "ok",
     "timestamp": 1648443285074,
     "user": {
      "displayName": "World Papa",
      "photoUrl": "https://lh3.googleusercontent.com/a/default-user=s64",
      "userId": "02589349459586782651"
     },
     "user_tz": -540
    },
    "id": "Epr-sI9VXyKf",
    "outputId": "ff0e5521-df4a-44ad-8396-c0e29638d43e"
   },
   "outputs": [
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "학습 & 테스트 데이터 Text의 TfidfVectorizer Shape: (18750, 27238) (6250, 27238)\n",
      "TF-IDF Logistic Regression 의 예측 정확도는 0.647\n"
     ]
    }
   ],
   "source": [
    "from sklearn.feature_extraction.text import TfidfVectorizer\n",
    "\n",
    "X_train = train.main_pos #training 데이터에서 문서 추출\n",
    "y_train = train.target #training 데이터에서 라벨 추출\n",
    "\n",
    "# TF-IDF Vectorization 적용하여 학습 데이터셋과 테스트 데이터 셋 변환. \n",
    "tfidf_vect = TfidfVectorizer()\n",
    "tfidf_vect.fit(X_train)\n",
    "\n",
    "X_val = val.main_pos #validation 데이터에서 전처리된 문서 추출\n",
    "y_val = val.target #validation 데이터에서 라벨 추출\n",
    "\n",
    "X_train_tfidf_vect = tfidf_vect.transform(X_train)\n",
    "X_val_tfidf_vect = tfidf_vect.transform(X_val) # train셋으로 fit한 벡터라이저 이용해 transform\n",
    "print('학습 & 테스트 데이터 Text의 TfidfVectorizer Shape:',X_train_tfidf_vect.shape, X_val_tfidf_vect.shape)\n",
    "\n",
    "# LogisticRegression을 이용하여 학습/예측/평가 수행. \n",
    "lr_clf = LogisticRegression(solver='liblinear') \n",
    "lr_clf.fit(X_train_tfidf_vect , y_train)\n",
    "pred = lr_clf.predict(X_val_tfidf_vect)\n",
    "print('TF-IDF Logistic Regression 의 예측 정확도는 {0:.3f}'.format(metrics.accuracy_score(y_val ,pred)))"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {
    "id": "Ik2AHKgnhsQT"
   },
   "source": [
    "TF-IDF를 적용하여 검증 셋을 예측해본 결과 64.1%의 정확도로 정확도가 상승한 것을 알 수 있습니다 !\n",
    "\n"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {
    "id": "RRisTfV8iI8P",
    "tags": []
   },
   "source": [
    "## 5. test.csv 분류하기\n",
    "\n",
    "\n",
    "이제 본격적으로 대회에서 주어진 정답이 없는 test 데이터의 라벨을 예측해보겠습니다.\n",
    "\n",
    "그럼, 트레인 셋과 검증 셋으로 나누어 성능을 확인해 준 것을 하나의 트레인 셋으로 통합하여\n",
    "\n",
    "다시 모델을 만들어주겠습니다."
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 22,
   "metadata": {
    "colab": {
     "base_uri": "https://localhost:8080/"
    },
    "executionInfo": {
     "elapsed": 30340,
     "status": "ok",
     "timestamp": 1648443435899,
     "user": {
      "displayName": "World Papa",
      "photoUrl": "https://lh3.googleusercontent.com/a/default-user=s64",
      "userId": "02589349459586782651"
     },
     "user_tz": -540
    },
    "id": "xf2SaX-S2P5P",
    "outputId": "bffdafc2-22ad-42bc-998c-5d8d8cfad60a"
   },
   "outputs": [
    {
     "data": {
      "text/html": [
       "<style>#sk-container-id-2 {color: black;background-color: white;}#sk-container-id-2 pre{padding: 0;}#sk-container-id-2 div.sk-toggleable {background-color: white;}#sk-container-id-2 label.sk-toggleable__label {cursor: pointer;display: block;width: 100%;margin-bottom: 0;padding: 0.3em;box-sizing: border-box;text-align: center;}#sk-container-id-2 label.sk-toggleable__label-arrow:before {content: \"▸\";float: left;margin-right: 0.25em;color: #696969;}#sk-container-id-2 label.sk-toggleable__label-arrow:hover:before {color: black;}#sk-container-id-2 div.sk-estimator:hover label.sk-toggleable__label-arrow:before {color: black;}#sk-container-id-2 div.sk-toggleable__content {max-height: 0;max-width: 0;overflow: hidden;text-align: left;background-color: #f0f8ff;}#sk-container-id-2 div.sk-toggleable__content pre {margin: 0.2em;color: black;border-radius: 0.25em;background-color: #f0f8ff;}#sk-container-id-2 input.sk-toggleable__control:checked~div.sk-toggleable__content {max-height: 200px;max-width: 100%;overflow: auto;}#sk-container-id-2 input.sk-toggleable__control:checked~label.sk-toggleable__label-arrow:before {content: \"▾\";}#sk-container-id-2 div.sk-estimator input.sk-toggleable__control:checked~label.sk-toggleable__label {background-color: #d4ebff;}#sk-container-id-2 div.sk-label input.sk-toggleable__control:checked~label.sk-toggleable__label {background-color: #d4ebff;}#sk-container-id-2 input.sk-hidden--visually {border: 0;clip: rect(1px 1px 1px 1px);clip: rect(1px, 1px, 1px, 1px);height: 1px;margin: -1px;overflow: hidden;padding: 0;position: absolute;width: 1px;}#sk-container-id-2 div.sk-estimator {font-family: monospace;background-color: #f0f8ff;border: 1px dotted black;border-radius: 0.25em;box-sizing: border-box;margin-bottom: 0.5em;}#sk-container-id-2 div.sk-estimator:hover {background-color: #d4ebff;}#sk-container-id-2 div.sk-parallel-item::after {content: \"\";width: 100%;border-bottom: 1px solid gray;flex-grow: 1;}#sk-container-id-2 div.sk-label:hover label.sk-toggleable__label {background-color: #d4ebff;}#sk-container-id-2 div.sk-serial::before {content: \"\";position: absolute;border-left: 1px solid gray;box-sizing: border-box;top: 0;bottom: 0;left: 50%;z-index: 0;}#sk-container-id-2 div.sk-serial {display: flex;flex-direction: column;align-items: center;background-color: white;padding-right: 0.2em;padding-left: 0.2em;position: relative;}#sk-container-id-2 div.sk-item {position: relative;z-index: 1;}#sk-container-id-2 div.sk-parallel {display: flex;align-items: stretch;justify-content: center;background-color: white;position: relative;}#sk-container-id-2 div.sk-item::before, #sk-container-id-2 div.sk-parallel-item::before {content: \"\";position: absolute;border-left: 1px solid gray;box-sizing: border-box;top: 0;bottom: 0;left: 50%;z-index: -1;}#sk-container-id-2 div.sk-parallel-item {display: flex;flex-direction: column;z-index: 1;position: relative;background-color: white;}#sk-container-id-2 div.sk-parallel-item:first-child::after {align-self: flex-end;width: 50%;}#sk-container-id-2 div.sk-parallel-item:last-child::after {align-self: flex-start;width: 50%;}#sk-container-id-2 div.sk-parallel-item:only-child::after {width: 0;}#sk-container-id-2 div.sk-dashed-wrapped {border: 1px dashed gray;margin: 0 0.4em 0.5em 0.4em;box-sizing: border-box;padding-bottom: 0.4em;background-color: white;}#sk-container-id-2 div.sk-label label {font-family: monospace;font-weight: bold;display: inline-block;line-height: 1.2em;}#sk-container-id-2 div.sk-label-container {text-align: center;}#sk-container-id-2 div.sk-container {/* jupyter's `normalize.less` sets `[hidden] { display: none; }` but bootstrap.min.css set `[hidden] { display: none !important; }` so we also need the `!important` here to be able to override the default hidden behavior on the sphinx rendered scikit-learn.org. See: https://github.com/scikit-learn/scikit-learn/issues/21755 */display: inline-block !important;position: relative;}#sk-container-id-2 div.sk-text-repr-fallback {display: none;}</style><div id=\"sk-container-id-2\" class=\"sk-top-container\"><div class=\"sk-text-repr-fallback\"><pre>LogisticRegression(C=10, solver=&#x27;liblinear&#x27;)</pre><b>In a Jupyter environment, please rerun this cell to show the HTML representation or trust the notebook. <br />On GitHub, the HTML representation is unable to render, please try loading this page with nbviewer.org.</b></div><div class=\"sk-container\" hidden><div class=\"sk-item\"><div class=\"sk-estimator sk-toggleable\"><input class=\"sk-toggleable__control sk-hidden--visually\" id=\"sk-estimator-id-2\" type=\"checkbox\" checked><label for=\"sk-estimator-id-2\" class=\"sk-toggleable__label sk-toggleable__label-arrow\">LogisticRegression</label><div class=\"sk-toggleable__content\"><pre>LogisticRegression(C=10, solver=&#x27;liblinear&#x27;)</pre></div></div></div></div></div>"
      ],
      "text/plain": [
       "LogisticRegression(C=10, solver='liblinear')"
      ]
     },
     "execution_count": 22,
     "metadata": {},
     "output_type": "execute_result"
    }
   ],
   "source": [
    "X_train = data.main_pos #전체 training 데이터에서 문서 추출\n",
    "y_train = data.target #전체 training 데이터에서 라벨 추출\n",
    "\n",
    "# TF-IDF Vectorization 적용하여 학습 데이터셋과 테스트 데이터 셋 변환. \n",
    "tfidf_vect = TfidfVectorizer(ngram_range=(1,2), max_df=300)\n",
    "tfidf_vect.fit(X_train)\n",
    "\n",
    "X_train_tfidf_vect = tfidf_vect.transform(X_train)\n",
    "\n",
    "# LogisticRegression을 이용하여 학습/예측/평가 수행. \n",
    "lr_clf = LogisticRegression(solver='liblinear', C = 10) \n",
    "lr_clf.fit(X_train_tfidf_vect , y_train)"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {
    "id": "_zjx9Hdt2X6p"
   },
   "source": [
    "이제 test셋을 모델에 넣어 예측값을 만들어 줍니다!"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 26,
   "metadata": {},
   "outputs": [
    {
     "data": {
      "text/html": [
       "<div>\n",
       "<style scoped>\n",
       "    .dataframe tbody tr th:only-of-type {\n",
       "        vertical-align: middle;\n",
       "    }\n",
       "\n",
       "    .dataframe tbody tr th {\n",
       "        vertical-align: top;\n",
       "    }\n",
       "\n",
       "    .dataframe thead th {\n",
       "        text-align: right;\n",
       "    }\n",
       "</style>\n",
       "<table border=\"1\" class=\"dataframe\">\n",
       "  <thead>\n",
       "    <tr style=\"text-align: right;\">\n",
       "      <th></th>\n",
       "      <th>index</th>\n",
       "      <th>id</th>\n",
       "      <th>reviews</th>\n",
       "      <th>target</th>\n",
       "      <th>tokenized_stem</th>\n",
       "      <th>main_pos</th>\n",
       "    </tr>\n",
       "  </thead>\n",
       "  <tbody>\n",
       "    <tr>\n",
       "      <th>0</th>\n",
       "      <td>22210</td>\n",
       "      <td>22210</td>\n",
       "      <td>맛이 더럽게 없고 물탄거같음 반은 물러서 버리고 터져서왔고 나머지 안터진것마저 맛이...</td>\n",
       "      <td>1</td>\n",
       "      <td>맛 이 더럽게 없고 물탄 거 같음 반 은 물러서 버리고 터져서 왔고 나머지 안 터진...</td>\n",
       "      <td>맛 이 더럽게 없고 물탄 거 같음 반 은 물러서 버리고 터져서 왔고 나머지 안 터진...</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>1</th>\n",
       "      <td>15826</td>\n",
       "      <td>15826</td>\n",
       "      <td>성분빼고 딱히 만족할만한 점이 없어요 보습도 잘안되고 냄새도 별로고 근데 오일을 섞...</td>\n",
       "      <td>2</td>\n",
       "      <td>성분 빼고 딱히 만족할만 한 점 이 없어요 보습 도 잘 안되고 냄새 도 별로 고 근...</td>\n",
       "      <td>성분 빼고 딱히 만족할만 한 점 이 없어요 보습 도 잘 안되고 냄새 도 별로 고 오...</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>2</th>\n",
       "      <td>23053</td>\n",
       "      <td>23053</td>\n",
       "      <td>가운데 다리를 끼웠더니 다리높이들이 안맞고 움직여요 그래서 빼 놓았어요~</td>\n",
       "      <td>2</td>\n",
       "      <td>가운데 다리 를 끼웠더니 다리 높이 들 이 안 맞고 움직여요 그래서 빼 놓았어요 ~</td>\n",
       "      <td>가운데 다리 를 끼웠더니 다리 높이 들 이 안 맞고 움직여요 빼 놓았어요</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>3</th>\n",
       "      <td>1086</td>\n",
       "      <td>1086</td>\n",
       "      <td>핏이 좋아서 가성비 좋은 상품같아요~ 다만 얇아서 쉽게 뜯어지진 않을까 걱정은 되지...</td>\n",
       "      <td>5</td>\n",
       "      <td>핏 이 좋아서 가성 비 좋은 상품 같아요 ~ 다만 얇아서 쉽게 뜯어지진 않을까 걱정...</td>\n",
       "      <td>핏 이 좋아서 가성 비 좋은 상품 같아요 다만 얇아서 쉽게 뜯어지진 않을까 걱정 은...</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>4</th>\n",
       "      <td>24468</td>\n",
       "      <td>24468</td>\n",
       "      <td>소음만크고,때는잘안밀립니다. 쓸데없는돈을쓴것같아.무지아깝습니다</td>\n",
       "      <td>2</td>\n",
       "      <td>소음 만 크고 , 때 는 잘 안 밀립니다 . 쓸데없는 돈 을 쓴것 같아 . 무지 아...</td>\n",
       "      <td>소음 만 크고 때 는 잘 안 밀립니다 쓸데없는 돈 쓴것 같아 무지 아깝습니다</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>...</th>\n",
       "      <td>...</td>\n",
       "      <td>...</td>\n",
       "      <td>...</td>\n",
       "      <td>...</td>\n",
       "      <td>...</td>\n",
       "      <td>...</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>18745</th>\n",
       "      <td>18908</td>\n",
       "      <td>18908</td>\n",
       "      <td>오랜만에 시켜먹는 씨알상사~~ 여전히 맛 좋아요 :)</td>\n",
       "      <td>5</td>\n",
       "      <td>오랜 만 에 시켜 먹는 씨알 상사 ~~ 여전히 맛 좋아요 :)</td>\n",
       "      <td>만 시켜 먹는 씨알 상사 여전히 맛 좋아요</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>18746</th>\n",
       "      <td>23524</td>\n",
       "      <td>23524</td>\n",
       "      <td>이거 중고아닌가싶음... 의심은가지만 귀찮아서 그냥대충쓰겠음</td>\n",
       "      <td>1</td>\n",
       "      <td>이 거 중고 아닌가싶음 ... 의심 은 가지 만 귀찮아서 그냥 대충 쓰겠음</td>\n",
       "      <td>이 거 중고 아닌가싶음 의심 은 가지 만 귀찮아서 그냥 대충 쓰겠음</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>18747</th>\n",
       "      <td>18185</td>\n",
       "      <td>18185</td>\n",
       "      <td>저는 백산수만 마셔요 물맛이 좋아요</td>\n",
       "      <td>5</td>\n",
       "      <td>저 는 백 산수 만 마셔요 물맛 이 좋아요</td>\n",
       "      <td>저 는 백 산수 만 마셔요 물맛 이 좋아요</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>18748</th>\n",
       "      <td>11218</td>\n",
       "      <td>11218</td>\n",
       "      <td>좋습니다. 가격도 착하네요</td>\n",
       "      <td>5</td>\n",
       "      <td>좋습니다 . 가격 도 착하네요</td>\n",
       "      <td>좋습니다 가격 도 착하네요</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>18749</th>\n",
       "      <td>18197</td>\n",
       "      <td>18197</td>\n",
       "      <td>한번입고 못입게생겼어요. 다 늘어지고 후질근해지고. 허리는 왜이리 큰지...돈 아까...</td>\n",
       "      <td>1</td>\n",
       "      <td>한번 입고 못 입게 생겼어요 . 다 늘어지고 후질 근 해지 고 . 허리 는 왜 이리...</td>\n",
       "      <td>한번 입고 못 입게 생겼어요 늘어지고 후질 해지 고 허리 는 왜 큰지 돈 아까워요 ㅠ</td>\n",
       "    </tr>\n",
       "  </tbody>\n",
       "</table>\n",
       "<p>18750 rows × 6 columns</p>\n",
       "</div>"
      ],
      "text/plain": [
       "       index     id                                            reviews  \\\n",
       "0      22210  22210  맛이 더럽게 없고 물탄거같음 반은 물러서 버리고 터져서왔고 나머지 안터진것마저 맛이...   \n",
       "1      15826  15826  성분빼고 딱히 만족할만한 점이 없어요 보습도 잘안되고 냄새도 별로고 근데 오일을 섞...   \n",
       "2      23053  23053           가운데 다리를 끼웠더니 다리높이들이 안맞고 움직여요 그래서 빼 놓았어요~   \n",
       "3       1086   1086  핏이 좋아서 가성비 좋은 상품같아요~ 다만 얇아서 쉽게 뜯어지진 않을까 걱정은 되지...   \n",
       "4      24468  24468                 소음만크고,때는잘안밀립니다. 쓸데없는돈을쓴것같아.무지아깝습니다   \n",
       "...      ...    ...                                                ...   \n",
       "18745  18908  18908                      오랜만에 시켜먹는 씨알상사~~ 여전히 맛 좋아요 :)   \n",
       "18746  23524  23524                  이거 중고아닌가싶음... 의심은가지만 귀찮아서 그냥대충쓰겠음   \n",
       "18747  18185  18185                                저는 백산수만 마셔요 물맛이 좋아요   \n",
       "18748  11218  11218                                     좋습니다. 가격도 착하네요   \n",
       "18749  18197  18197  한번입고 못입게생겼어요. 다 늘어지고 후질근해지고. 허리는 왜이리 큰지...돈 아까...   \n",
       "\n",
       "       target                                     tokenized_stem  \\\n",
       "0           1  맛 이 더럽게 없고 물탄 거 같음 반 은 물러서 버리고 터져서 왔고 나머지 안 터진...   \n",
       "1           2  성분 빼고 딱히 만족할만 한 점 이 없어요 보습 도 잘 안되고 냄새 도 별로 고 근...   \n",
       "2           2     가운데 다리 를 끼웠더니 다리 높이 들 이 안 맞고 움직여요 그래서 빼 놓았어요 ~   \n",
       "3           5  핏 이 좋아서 가성 비 좋은 상품 같아요 ~ 다만 얇아서 쉽게 뜯어지진 않을까 걱정...   \n",
       "4           2  소음 만 크고 , 때 는 잘 안 밀립니다 . 쓸데없는 돈 을 쓴것 같아 . 무지 아...   \n",
       "...       ...                                                ...   \n",
       "18745       5                 오랜 만 에 시켜 먹는 씨알 상사 ~~ 여전히 맛 좋아요 :)   \n",
       "18746       1          이 거 중고 아닌가싶음 ... 의심 은 가지 만 귀찮아서 그냥 대충 쓰겠음   \n",
       "18747       5                            저 는 백 산수 만 마셔요 물맛 이 좋아요   \n",
       "18748       5                                   좋습니다 . 가격 도 착하네요   \n",
       "18749       1  한번 입고 못 입게 생겼어요 . 다 늘어지고 후질 근 해지 고 . 허리 는 왜 이리...   \n",
       "\n",
       "                                                main_pos  \n",
       "0      맛 이 더럽게 없고 물탄 거 같음 반 은 물러서 버리고 터져서 왔고 나머지 안 터진...  \n",
       "1      성분 빼고 딱히 만족할만 한 점 이 없어요 보습 도 잘 안되고 냄새 도 별로 고 오...  \n",
       "2               가운데 다리 를 끼웠더니 다리 높이 들 이 안 맞고 움직여요 빼 놓았어요  \n",
       "3      핏 이 좋아서 가성 비 좋은 상품 같아요 다만 얇아서 쉽게 뜯어지진 않을까 걱정 은...  \n",
       "4             소음 만 크고 때 는 잘 안 밀립니다 쓸데없는 돈 쓴것 같아 무지 아깝습니다  \n",
       "...                                                  ...  \n",
       "18745                            만 시켜 먹는 씨알 상사 여전히 맛 좋아요  \n",
       "18746              이 거 중고 아닌가싶음 의심 은 가지 만 귀찮아서 그냥 대충 쓰겠음  \n",
       "18747                            저 는 백 산수 만 마셔요 물맛 이 좋아요  \n",
       "18748                                     좋습니다 가격 도 착하네요  \n",
       "18749    한번 입고 못 입게 생겼어요 늘어지고 후질 해지 고 허리 는 왜 큰지 돈 아까워요 ㅠ  \n",
       "\n",
       "[18750 rows x 6 columns]"
      ]
     },
     "execution_count": 26,
     "metadata": {},
     "output_type": "execute_result"
    }
   ],
   "source": [
    "train"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 28,
   "metadata": {
    "colab": {
     "base_uri": "https://localhost:8080/"
    },
    "executionInfo": {
     "elapsed": 2067,
     "status": "ok",
     "timestamp": 1648443437923,
     "user": {
      "displayName": "World Papa",
      "photoUrl": "https://lh3.googleusercontent.com/a/default-user=s64",
      "userId": "02589349459586782651"
     },
     "user_tz": -540
    },
    "id": "rd6Pma-FzKz1",
    "outputId": "c5f180ec-44d9-4491-f421-f74bf5e8d0d2"
   },
   "outputs": [
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "[2 1 2 ... 4 2 5]\n"
     ]
    }
   ],
   "source": [
    "X_test = test.main_pos\n",
    "X_test_vec = tfidf_vect.transform(X_test)\n",
    "pred_test = lr_clf.predict(X_test_vec)\n",
    "print(pred_test)"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {
    "id": "r-96pRuKz2vK"
   },
   "source": [
    "# IV. 데이콘 제출하기\n",
    "\n",
    "## 1. submission 파일 생성\n",
    "\n",
    "이제 예측한 값을 **sample_submission.csv**에 넣어 제출용 파일을 생성해봅시다.            \n",
    "\n",
    "제출한 뒤 리더보드를 통해 결과를 확인합시다."
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 32,
   "metadata": {
    "colab": {
     "base_uri": "https://localhost:8080/",
     "height": 206
    },
    "executionInfo": {
     "elapsed": 28,
     "status": "ok",
     "timestamp": 1648443437924,
     "user": {
      "displayName": "World Papa",
      "photoUrl": "https://lh3.googleusercontent.com/a/default-user=s64",
      "userId": "02589349459586782651"
     },
     "user_tz": -540
    },
    "id": "P4XnPzXqzjPR",
    "outputId": "6a9607fa-4cfc-4688-87a2-889601426054"
   },
   "outputs": [
    {
     "data": {
      "text/html": [
       "<div>\n",
       "<style scoped>\n",
       "    .dataframe tbody tr th:only-of-type {\n",
       "        vertical-align: middle;\n",
       "    }\n",
       "\n",
       "    .dataframe tbody tr th {\n",
       "        vertical-align: top;\n",
       "    }\n",
       "\n",
       "    .dataframe thead th {\n",
       "        text-align: right;\n",
       "    }\n",
       "</style>\n",
       "<table border=\"1\" class=\"dataframe\">\n",
       "  <thead>\n",
       "    <tr style=\"text-align: right;\">\n",
       "      <th></th>\n",
       "      <th>id</th>\n",
       "      <th>target</th>\n",
       "    </tr>\n",
       "  </thead>\n",
       "  <tbody>\n",
       "    <tr>\n",
       "      <th>0</th>\n",
       "      <td>0</td>\n",
       "      <td>0</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>1</th>\n",
       "      <td>1</td>\n",
       "      <td>0</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>2</th>\n",
       "      <td>2</td>\n",
       "      <td>0</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>3</th>\n",
       "      <td>3</td>\n",
       "      <td>0</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>4</th>\n",
       "      <td>4</td>\n",
       "      <td>0</td>\n",
       "    </tr>\n",
       "  </tbody>\n",
       "</table>\n",
       "</div>"
      ],
      "text/plain": [
       "   id  target\n",
       "0   0       0\n",
       "1   1       0\n",
       "2   2       0\n",
       "3   3       0\n",
       "4   4       0"
      ]
     },
     "execution_count": 32,
     "metadata": {},
     "output_type": "execute_result"
    }
   ],
   "source": [
    "# 제출용 sample 파일을 불러옵니다.\n",
    "submission = pd.read_csv('dataset/sample_submission.csv')\n",
    "submission.head()"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 33,
   "metadata": {
    "colab": {
     "base_uri": "https://localhost:8080/",
     "height": 424
    },
    "executionInfo": {
     "elapsed": 24,
     "status": "ok",
     "timestamp": 1648443437925,
     "user": {
      "displayName": "World Papa",
      "photoUrl": "https://lh3.googleusercontent.com/a/default-user=s64",
      "userId": "02589349459586782651"
     },
     "user_tz": -540
    },
    "id": "TfNcJu1A0E-w",
    "outputId": "67bbfdcd-3914-4801-a797-b5af71088cc5"
   },
   "outputs": [
    {
     "data": {
      "text/html": [
       "<div>\n",
       "<style scoped>\n",
       "    .dataframe tbody tr th:only-of-type {\n",
       "        vertical-align: middle;\n",
       "    }\n",
       "\n",
       "    .dataframe tbody tr th {\n",
       "        vertical-align: top;\n",
       "    }\n",
       "\n",
       "    .dataframe thead th {\n",
       "        text-align: right;\n",
       "    }\n",
       "</style>\n",
       "<table border=\"1\" class=\"dataframe\">\n",
       "  <thead>\n",
       "    <tr style=\"text-align: right;\">\n",
       "      <th></th>\n",
       "      <th>id</th>\n",
       "      <th>target</th>\n",
       "    </tr>\n",
       "  </thead>\n",
       "  <tbody>\n",
       "    <tr>\n",
       "      <th>0</th>\n",
       "      <td>0</td>\n",
       "      <td>2</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>1</th>\n",
       "      <td>1</td>\n",
       "      <td>1</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>2</th>\n",
       "      <td>2</td>\n",
       "      <td>2</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>3</th>\n",
       "      <td>3</td>\n",
       "      <td>2</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>4</th>\n",
       "      <td>4</td>\n",
       "      <td>5</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>...</th>\n",
       "      <td>...</td>\n",
       "      <td>...</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>24995</th>\n",
       "      <td>24995</td>\n",
       "      <td>5</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>24996</th>\n",
       "      <td>24996</td>\n",
       "      <td>2</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>24997</th>\n",
       "      <td>24997</td>\n",
       "      <td>4</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>24998</th>\n",
       "      <td>24998</td>\n",
       "      <td>2</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>24999</th>\n",
       "      <td>24999</td>\n",
       "      <td>5</td>\n",
       "    </tr>\n",
       "  </tbody>\n",
       "</table>\n",
       "<p>25000 rows × 2 columns</p>\n",
       "</div>"
      ],
      "text/plain": [
       "          id  target\n",
       "0          0       2\n",
       "1          1       1\n",
       "2          2       2\n",
       "3          3       2\n",
       "4          4       5\n",
       "...      ...     ...\n",
       "24995  24995       5\n",
       "24996  24996       2\n",
       "24997  24997       4\n",
       "24998  24998       2\n",
       "24999  24999       5\n",
       "\n",
       "[25000 rows x 2 columns]"
      ]
     },
     "execution_count": 33,
     "metadata": {},
     "output_type": "execute_result"
    }
   ],
   "source": [
    "# 위에서 구한 예측값을 그대로 넣어줍니다.\n",
    "submission['target'] = pred_test\n",
    "\n",
    "# 데이터가 잘 들어갔는지 확인합니다.\n",
    "submission"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {
    "id": "K3Rfv8OQ7q5X"
   },
   "source": [
    "submission을 csv 파일로 저장합니다.   \n",
    "index=False란 추가적인 id를 부여할 필요가 없다는 뜻입니다.    \n",
    "정확한 채점을 위해 꼭 index=False를 넣어주세요."
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {
    "executionInfo": {
     "elapsed": 20,
     "status": "ok",
     "timestamp": 1648443437925,
     "user": {
      "displayName": "World Papa",
      "photoUrl": "https://lh3.googleusercontent.com/a/default-user=s64",
      "userId": "02589349459586782651"
     },
     "user_tz": -540
    },
    "id": "aGtUiaue0JCZ"
   },
   "outputs": [],
   "source": [
    "submission.to_csv(\"submission_baseline2.csv\", index=False)"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "## 2. 데이콘 페이지 제출\n",
    "다음으로, 실제 데이콘 홈페이지에서 제출해보도록 하겠습니다.\n",
    "\n",
    "이 과정을 통해 우리의 모델이 목표로 하는 데이터에 대해 어느 정도의 성능을 가지는지, 다른 사람들은 어느 정도의 성능을 얻었는지 확인할 수 있습니다."
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "<img src='https://user-images.githubusercontent.com/92353013/177723966-77b77340-c0f6-4873-95fc-9eb8c3812700.png'>\n",
    "\n",
    "1. 먼저 대회 페이지에서 제출 탭의 버튼을 누르면 파일 업로드 화면으로 전환됩니다.\n",
    "\n",
    "2. 전환된 화면에서 서류모양 아이콘을 클릭하여 제출할 파일을 선택하거나 파일을 마우스로 끌어와 서류모양 아이콘 위에 던져두면 파일을 업로드 할 수 있습니다.\n",
    "\n",
    "3. 업로드가 완료되었다면 까만색 제출 버튼을 클릭합니다."
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "# V. 마치며\n",
    "\n",
    "<img src='https://user-images.githubusercontent.com/92353013/177723980-8d4c4662-9ba7-4834-9827-0b88824480fb.png'>\n",
    "\n",
    "축하합니다! 데이콘 베이직 자연어 처리를 완료하셨습니다!  \n",
    "\n",
    "이번 두번째 Baseline 통해 어떤 방식으로 분석을 진행해야겠다는 인사이트를 얻으셨으면 좋겠습니다.\n",
    "\n",
    "여러분도 여러분만의 분석을 진행하시고 **코드공유**에 올려주세요!\n",
    "\n",
    "데이콘 스쿨 장학금, 스타벅스 기프티콘, 데이콘 굿즈 등 특별한 선물이 기다립니다!"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {},
   "outputs": [],
   "source": []
  }
 ],
 "metadata": {
  "colab": {
   "authorship_tag": "ABX9TyPp43xsqEcyg7EyS80nkUjA",
   "collapsed_sections": [],
   "name": "news_basline2_3.ipynb",
   "provenance": []
  },
  "kernelspec": {
   "display_name": "Python 3.10.4 ('gpt': conda)",
   "language": "python",
   "name": "python3"
  },
  "language_info": {
   "codemirror_mode": {
    "name": "ipython",
    "version": 3
   },
   "file_extension": ".py",
   "mimetype": "text/x-python",
   "name": "python",
   "nbconvert_exporter": "python",
   "pygments_lexer": "ipython3",
   "version": "3.10.4"
  },
  "vscode": {
   "interpreter": {
    "hash": "082e44aa39888b62946496d409c0dd543525ef6515931937b5a7160c1331fe0e"
   }
  }
 },
 "nbformat": 4,
 "nbformat_minor": 4
}