Zeppelin 노트북: NSMC Word2Vec & Sentiment Classification

2017년 6월 27일 (화) Spark Day 2017의 세션 Spark & Zeppelin을 활용한 한국어 텍스트 분류 발표에 사용된 노트북입니다.

슬라이드: Spark & Zeppelin을 활용한 한국어 텍스트 분류

노트북 개요

네이버 영화 리뷰 데이터셋에 대해 Word2Vec을 적용해보고 감정 분류를 합니다. (영화 리뷰가 긍정적인지 부정적인지)

미리 보기: ZEPL Viewer

전체 목록 (총 7개의 노트)

• 0.Settings
• 1.NSMC
• 2.Spark NKP
• 3.TF & TF-IDF
• 4.Word2Vec
• 5.Word2VecViz
• 6.Classification

Naver Sentiment Movie Corpus

네이버 영화 리뷰 데이터셋입니다. 총 20만개의 리뷰로 구성되어 있으며 긍정적인 리뷰는 1, 부정적인 리뷰는 0으로 labeling 되어 있습니다. 자세한 내용은 아래의 출처를 참고해주세요!

출처: https://github.com/e9t/nsmc

사용법

Spark와 Zeppelin은 설치하셨다고 가정합니다.

1. 노트북 추가하기

저장소를 원하는 곳에 복제합니다.

git clone [email protected]:uosdmlab/playdata-zeppelin-notebook.git

방법1. 노트북 복사

복제한 저장소의 notebook 디렉터리 안의 내용물들을 $ZEPPELIN_HOME/notebook/ 밑으로 복사

방법2. 노트북 폴더 설정

기존에 사용하던 노트들과 저장소의 노트들이 섞이는 것이 싫다면 추천하는 방법!

$ZEPPELIN_HOME/conf/zeppelin-env.sh 파일을 열어 다음과 같은 라인 추가.

export ZEPPELIN_NOTEBOOK_DIR="<저장소경로>/notebook"

추가 후 Zeppelin을 재시작합니다.

$ZEPPELIN_HOME/bin/zeppelin-daemon.sh restart

다시 원래 노트들을 사용하려면 $ZEPPELIN_HOME/conf/zeppelin-env.sh에 추가한 라인을 지우거나 주석처리하고 Zeppelin을 재실행하시면 됩니다.

2. Dependency 추가

한국어 형태소 분석기 spark-nkp을 사용하기 위해 Spark interpreter dependency에 다음과 같이 추가해주세요.

artifact com.github.uosdmlab:spark-nkp_2.11:0.2.1

Issue

GitHub issue로 올려주셔도 되고(한국어 가능), 아래 주소로 메일주셔도 됩니다.

김태준([email protected])

Data Mining Lab, University of Seoul