Skip to content
New issue

Have a question about this project? Sign up for a free GitHub account to open an issue and contact its maintainers and the community.

Sign up for GitHub

By clicking “Sign up for GitHub”, you agree to our terms of service and privacy statement. We’ll occasionally send you account related emails.

Already on GitHub? Sign in to your account

Jump to bottom

ML Study 2019~2020 #1

Open
dingdongx2 opened this issue Feb 10, 2019 · 55 comments
Open

ML Study 2019~2020 #1

dingdongx2 opened this issue Feb 10, 2019 · 55 comments

Comments

@dingdongx2
Copy link
Member

190126~
@dingdongx2
Copy link
Member Author

dingdongx2 commented Feb 10, 2019 •
edited
Loading

190126 (토)

장소 : 강남 카페나인

진행

  • trello 생성 : link
    • 두가지 version으로 만들기로 함 (Hyuk, William)
  • git repo 생성 : link

계획

조금 더 상세히 생각해보도록 함

@dingdongx2
Copy link
Member Author

190210 (일)

장소 : 강남 카페나인

진행

데이터 파싱 방식에 대해 의논함.

  • JSON으로 문제/본문/보기/답 형식으로 하자는 의견이 나왔으나 모델 학습에 문제 풀이는 필요치 않다는 결론 하에 본문 만을 파싱하기로 결정함
  • text형식으로 doc은 \n기준, 단락은 \t기준으로 저장하기로 함.

데이터 수집을 시작함.

  • 19년도 특강/특강_독해/완성 pdf에 어려움을 겪을 뻔했으나 hwp를 구할 수 있어 무사히 파싱이 가능했다.
  • parser 작성 중
  • 14-19년도 수능/모의/특강/완성 pdf까지 수집함

계획

  • parser 완성
  • conherence 논문 읽기
  • 유형 별 어떻게 해결해야 할지 고민 시작
  • test set 번역 전처리

@warmwall
Copy link
Collaborator

warmwall commented Feb 18, 2019 •
edited
Loading

190217 (일)

장소: 강남 카페나인

진행

필요한 모델 의논

  • 모델을 일치불일치, 감정 분석, 문장 간 연관성, 지칭 추론으로 나누었음
    • 일치불일치: ???
    • 감정 분석 모델: 긍부정 분석 등 응용, 단어 단위로 처리
    • 문장 간 연관성: CNN 모델을 응용
    • 지칭 추론: 온톨리지 활용
  • 답안지 번역은 Papago 사용

계획

  • 도표 및 본문을 잘 뽑아낼 수 있는 방법 찾기
    • 한글/영어를 동시에 사용할 수 있는 OCR 툴
    • pyOCR
  • Text Coherence 모델 개발 기획
    • 사용할 네트워크 설정

Input

  1. 모델 선택
  2. 문제
  3. 문제 유형
  4. 본문
  5. 보기

@dingdongx2
Copy link
Member Author

dingdongx2 commented Feb 18, 2019 •
edited
Loading

190218 (월)

장소 : 왕십리 아리가또

진행

  • Study2019에 논문 기록 시작 : link
    • 스터디가 있을 때마다 과제로 논문 한 편씩 summary
    • 최대 5줄 이내로 요약.
    • 기존 발표와는 달리 상대방이 아닌 스스로에게 논문을 상기시키기 위함
    • 목적 :
      • 영어 논문을 빠르게 읽게 한다
      • 핵심 내용만을 짚고 술술 넘어갈 수 있다
      • 다시 봤을 때, summary만 보고 혼자서 대략적으로 내용을 짐작할 수 있다
  • 논문을 몇 개 찾아보았으나 딱 알맞는 논문을 찾지 못하였다.
  • BD-SEARCH 스터디의 의의에 대해 유익한 점을 논의하였다.

계획

  • text coherence에 관련된 자료 및 논문 검색

@warmwall
Copy link
Collaborator

warmwall commented Mar 6, 2019 •
edited
Loading

190306 (수)

장소: 강남역 카페나인

진행

  • Tensorflow-tutorial 설명
    • 간단한 행렬 덧셈/곱셈부터 Linear Regression, Word2Vec까지 기본적인 행렬 연산을 가지고 구현
    • loss 함수(cross-entropy 등)
    • 정확히 알지 못하던 기본 개념을 복습하는 과정
  • TextCNN 관련 논문 설명
    • 모델의 구조 및 실험 방법, 의의 기준
  • Text Coherence에 대한 논의
    • 목적에 따라 text coherence를 판단하는 기준은 달라질 수 있다
    • 한 글 내 한 문장만 coherence하지 않다면, 이 글 전체를 coherence하다고 볼 수 있는가

계획

  • 프로젝트와 관련된 논문 찾기 (⭐️)
  • 공부한 것 보고하기

@warmwall
Copy link
Collaborator

warmwall commented Mar 23, 2019 •
edited
Loading

190317 (일)

장소: 강남 카페나인 등

진행

  • Wiki 정리
    • 기존 문제점: 내용 분류가 제대로 되어 있지 않아 Wiki에 새로운 내용을 집어넣기가 어려움
    • 개선: 개념을 Tree 형태로 나누고 Wiki 문서도 Tree 형태로 구성되게끔 변경. 보다 체계적으로 정리를 해서 새로운 내용을 넣기 상대적으로 용이함.

@dingdongx2
Copy link
Member Author

dingdongx2 commented Mar 24, 2019 •
edited
Loading

190324 (일)

장소 : 강남역 카페나인

진행

  • Seminar 발표
    • 소영 : adversarial training methods for semi-supervised text classification
    • 원태 : Structure-Preserving Image-Text Embeddings
  • 201901 - 201903 논문 정리 및 wiki 정리

계획

  • 프로젝트와 관련된 논문 찾기 (도대체 언제!!!)
  • seminar 자료에 일주일 정도의 노력 투자하기
  • ML wiki - 외부자료 / 외부자료 아닌 것 모아두기
    • 내부자료
      • 네이버의 링크로 이동해보자 : link
    • 외부자료

@warmwall
Copy link
Collaborator

warmwall commented Mar 31, 2019 •
edited
Loading

190331 (일)

장소: 강남역 카페나인

진행

  • 지난 주에 한 것/겪은 것 공유
  • 스터디 진행이 늘어져 있는데, 다시 스터디를 열심히 하기 위한 방안 탐색
    • (계획 참고)
  • 맥북이 고장나서 스터디를 제대로 할 수 없었다 ㅠ
    • 정신적 충격을 극복하기 위해 아이패드에 스티커를 채움 / 음악 감상

계획

  • 매주 스터디 시간에, 한 주에 서로 문서 하나씩 선택해서 내용 채우기
    • 서로 작성한 문서를 검토해서 빠진 부분 채우기
    • 목적: 자기가 알고 있는 지식을 복습하고, 모르는 지식은 공부하면서 채우기
  • 문서를 작성하다가 새로운 문서를 작성하지 않으면, 그것도 작성해 본다..

@dingdongx2
Copy link
Member Author

dingdongx2 commented Apr 10, 2019 •
edited
Loading

190410 (수)

장소 : 강남역 카페나인

진행

  • colloquium PPT 합본 생성
  • neural embedding의 back-propagation에 대해 토론
  • paper wiki에 대해 어떻게 정렬할지에 대해 논의
    • 페이지명 예시: Layer+기법, Optimization, NLP, Image

계획

  • colloquium 자료 어떻게 올릴지 고민을 해본다
  • colloquium 발표 정리
  • 우리 기존 스터디는 어떻게?
    • 조금 더 작은 목표를 세워서 그것부터 차근차근
    • 논문 : text coherence 구현
  • 논문 위키를 어떻게 정리할 것인지 방법 생각해 보기
  • 일요일까지 word2vec기법 공부해오기

@warmwall
Copy link
Collaborator

warmwall commented Apr 28, 2019 •
edited
Loading

190428 (일)

장소: 왕십리 아리가또

진행

계획

  • 다음 주에도 이번과 마찬가지로 WIKI를 정리한다.
  • Text Coherence에 대해 공부해 오기
  • 논문위키 정리 방법 생각해 보기

@dingdongx2
Copy link
Member Author

dingdongx2 commented Apr 30, 2019 •
edited
Loading

190430 (화)

장소 : 강남 카페나인

진행

  • Apr2019 seminar 진행
    • 소영 : FastText
    • 원태 : CNN모델의 invarient
  • Study2019 논문 WIKI 정리
    • 양식 확정 및 폴더 분류

계획

  • BERT 공부
    • 각자 BERT논문 읽어온 후 정리
    • 다음 스터디 때 함께 PR12 논문 해석 영상 함께 본 후, 서로 정리한 BERT에 대해 의견 나누기
  • bert-toeic
    • github
    • BERT로 toeic 문제 풀이. 현재 우리의 문제와 비슷하다
    • 어떻게 해결했는지를 보고 앞으로의 진행 결정
    • 코드 분석 필요

@warmwall
Copy link
Collaborator

warmwall commented May 13, 2019 •
edited by dingdongx2
Loading

190512 (일)

장소 : 강남역 카페 나인

진행

  • BERT 공부
    • BERT 강의 듣기
    • BERT 정리해 둔 블로그 글 읽기
  • 소영의 찡찡

계획

  • BERT 재 리뷰 및 논문 다시 읽기

@warmwall
Copy link
Collaborator

190519 (일)

장소: 카페루보브

진행

  • 발표 준비

계획

  • 발표 😕

@dingdongx2
Copy link
Member Author

dingdongx2 commented May 26, 2019 •
edited
Loading

190526 (일)

장소 : 강남역 스타벅스

진행

  • 발표
    • Exploring Randomly Wired Neural Networks for Image Recognition
    • Consistent Comic Colorization with Pixel-wise Background Classification
  • wiki에 논문에 대한 설명 추가

계획

@dingdongx2
Copy link
Member Author

dingdongx2 commented Jun 9, 2019 •
edited
Loading

190609 (일)

장소 : 왕십리 cafe MAMAs

진행

  • Attention is all you need 인터넷 강의 듣기 (5분): link
  • 스터디가 너무 늘어지는 것 같아 책을 다 공부하기를 목표로 진행하기로 결정.
  • Batch normalization 강의 : link

계획

@dingdongx2
Copy link
Member Author

dingdongx2 commented Jun 16, 2019 •
edited
Loading

190616 (일)

장소 : 강남역 스타벅스

진행

  • MRNet-Product2Vec 인터넷 강의 듣기 (12분): link
  • Deep learning교재 : 2장_퍼셉트론 기록 : link

계획

  • 세미나
  • kakao arena 준비

@dingdongx2
Copy link
Member Author

dingdongx2 commented Jul 28, 2019 •
edited
Loading

190728 (일)

장소 : 왕십리 요거프레소

진행

  • 발표
    • Photo Wake-up: 3D Character Animation From a Single Photo
    • Image Localization with Weakly Supervised Learning

계획

  • 스터디..

@dingdongx2
Copy link
Member Author

dingdongx2 commented Aug 11, 2019 •
edited
Loading

190811 (일)

장소 : 강남 카페나인

진행

계획

  • 세미나

@dingdongx2
Copy link
Member Author

dingdongx2 commented Aug 30, 2019 •
edited
Loading

190830 (금)

장소 : 강남 카페나인

진행

  • 발표
    • Lightweight Network Architecture for Real-Time Action Recognition
    • Adversarial Neural Trees
  • wiki 논문 정리

계획

  • 강의 듣기
  • 5장 학습

@dingdongx2
Copy link
Member Author

dingdongx2 commented Sep 8, 2019 •
edited
Loading

190908 (일)

장소 : 강남 카페나인

진행

계획

  • 0915 추석휴무

@dingdongx2
Copy link
Member Author

190921 (일)

장소 : 한양대 엔터식스 커피빈

진행

  • 오류 해결

계획

  • 세미나

@dingdongx2
Copy link
Member Author

dingdongx2 commented Sep 28, 2019 •
edited
Loading

190928 (토)

장소 : 강남역 카페나인

진행

계획

  • 세미나

@warmwall
Copy link
Collaborator

warmwall commented Oct 7, 2019 •
edited
Loading

191002 (수)

장소: 강남역 스타벅스

진행

위키 정리

계획

  • 세미나

@dingdongx2
Copy link
Member Author

191007 (월)

장소 : 강남역 스타벅스

진행

  • 7장 -

계획

  • 세미나 (도대체 언제?)

@warmwall
Copy link
Collaborator

warmwall commented Oct 20, 2019 •
edited by dingdongx2
Loading

191020 (일)

장소 : 강남역 스타벅스

진행

  • 3d convolution에 대한 의문
      1. kernel 2x2x1 아니고 왜 1x2x2?
      1. 3d convolution의 output은 몇차원이 되는가?
      1. video 통째로 conv에 넣는데 왜 output 비교 한번에 나올 수 있는가?

계획

  • 세미나

@warmwall
Copy link
Collaborator

191110 (일)

장소: 강남역 스타벅스

진행

  • Convolution에 대한 깊은 이해 시도

계획

  • 밑바닥부터 시작하는 딥러닝 책 마지막장 읽기

@dingdongx2
Copy link
Member Author

dingdongx2 commented Nov 16, 2019 •
edited
Loading

191116 (토)

장소 : 강남역 카페나인

진행

  • 밑바닥부터 시작하는 딥러닝1 완독
      1. 딥러닝 읽고 정리
    • softmax cross entropy 읽기

계획

  • 11월 논문 리뷰
  • 밑바닥부터 시작하는 딥러닝2 시작 or 인터넷 강의

@dingdongx2 dingdongx2 changed the title CSAT-english ML Study Dec 22, 2019
@dingdongx2
Copy link
Member Author

dingdongx2 commented Jan 12, 2020 •
edited
Loading

200112 (일)

  • 장소 : 강남역 스타벅스

진행

계획

  • 영상 리뷰 및 정리
  • 4과

@dingdongx2
Copy link
Member Author

dingdongx2 commented Jan 19, 2020 •
edited
Loading

200119 (일)

  • 장소: 강남역 스타벅스

진행

  • A Closer Look at Few Shot Classification 영상 리뷰 및 정리: link
  • 논문 non abbreviation에서 따로 페이지 파생 (이미지 추가 위함)
    • Everybody dance now: link
    • Quo Vadis, Action Recognition? A New Model and the Kinetics Dataset: link
    • A Closer Look at Few shot Classification: link

계획

  • EfficientNet 영상 리뷰: link
  • non abbreviation 추가적으로 페이지 파생

@dingdongx2
Copy link
Member Author

dingdongx2 commented Feb 2, 2020 •
edited
Loading

20200202 (일)

  • 장소: 왕십리 아리가또

진행

  • W-TALC 논문 리뷰
  • non abbreviation 추가적으로 페이지 파생
    • Multi channel CNN for Korean Sentiment Analysis: link
    • Character Aware Neural Language Models: link
    • Learning Spatiotemporal Features with 3D Convolutional Networks: link
  • Wiki 페이지 추가: mAP
  • Wiki 내용 추가 및 정리
    • CNN: link
    • Text Embedding: link
    • Natural Language Processing: link
    • TextCNN: link
    • Image Processing: link

계획

  • 영상 리뷰

@dingdongx2
Copy link
Member Author

dingdongx2 commented Feb 9, 2020 •
edited
Loading

20200209 (일)

  • 장소: 강남역 스타벅스

진행

  • recycle-GAN 영상 리뷰: link
  • 밑바닥부터 시작하는 딥러닝2 시작
    • 2과 : 자연어와 단어의 분산 표현

계획

  • 논문 리뷰 영상 시청
  • 밑바닥부터 시작하는 딥러닝2 3과

@dingdongx2
Copy link
Member Author

dingdongx2 commented Feb 16, 2020 •
edited by warmwall
Loading

20200216 (일)

  • 장소: 강남역 스타벅스

진행

  • Adversarial Examples Are Not Bugs, They Are Features 영상 리뷰: link

계획

  • 논문 리뷰 영상 시청
  • 밑바닥부터 시작하는 딥러닝2 3과

@dingdongx2
Copy link
Member Author

dingdongx2 commented Mar 8, 2020 •
edited
Loading

20200308 (일)

  • 장소: 강남역 스타벅스

진행

  • Dropout wiki 정리 : link
  • 왜 classification에는 cross-entropy, regression에는 MSE를 사용하는가 : link

계획

  • L1, L2 norm 정리
  • regularization 정리 : link
  • 논문 리뷰 영상 시청

@dingdongx2
Copy link
Member Author

20200315 (일)

  • 장소: 강남역 스타벅스

진행

  • regularization wiki 정리 : link
  • l1,l2 regularization wiki 정리 : link

계획

  • l1,l2 regularization 재점검(소영 개인)
  • normalization wiki 정리
  • 논문 리뷰 영상 시청

@dingdongx2
Copy link
Member Author

20200322 (일)

  • 장소: 강남역 스타벅스

진행

계획

  • 글 완전히 이사 및 정리

@warmwall
Copy link
Collaborator

20200412 (일)

  • 장소: 강남역 스타벅스

진행

  • wiki blog 이전 완료: link

계획

  • 인강 듣기

@dingdongx2
Copy link
Member Author

dingdongx2 commented Apr 26, 2020 •
edited
Loading

20200426

  • 장소: 강남역 스타벅스

진행

  • 담주 내내 비온다고 박소영이 존나짜증냄
  • ObamaNet 리뷰 : link

계획

  • 논문발표

@warmwall
Copy link
Collaborator

warmwall commented May 10, 2020 •
edited by dingdongx2
Loading

20200510

  • 장소: 강남역 스타벅스

진행

  • YOLO 영상 듣기: link
  • 밑바닥부터 시작하는 딥러닝 2 (3장)
    • word2vec 정리 : link
    • word2vec 만들어보기 : link

계획

@dingdongx2
Copy link
Member Author

20200516

  • 장소: 강남역 스타벅스

진행

  • YOLO, fast-rcnn 정리

계획

  • yolo, fast-rcnn 정리

@dingdongx2
Copy link
Member Author

20200524

  • 장소: 교대역 스타벅스

진행

  • wiki paper 이사

@dingdongx2
Copy link
Member Author

dingdongx2 commented May 31, 2020 •
edited
Loading

20200531

  • 장소: 교대역 스타벅스

진행

  • tistory css 수정
    • 폰트, 사이즈 수정
  • 교재 정리 : 4장. word2vec 속도 개선

계획

  • 논문 발표

@dingdongx2
Copy link
Member Author

dingdongx2 commented Jun 28, 2020 •
edited
Loading

20200614

  • 장소: 강남역 스타벅스

진행

  • tistory 이사 및 논문리뷰 정리

@dingdongx2
Copy link
Member Author

dingdongx2 commented Jul 4, 2020 •
edited
Loading

20200628

  • 장소: 강남역 스타벅스

진행

  • "밑바닥부터 시작하는 딥러닝2 5장"
  • tistory css 수정: 링크 디자인, 문단간격 수정

계획

  • 밑바닥부터 시작하는 딥러닝2 6장

@dingdongx2
Copy link
Member Author

20200704

  • 장소: 강남역 스타벅스

진행

  • PR12: BERT4Rec -Sequential Recommendation with BERT 리뷰 : link

계획

  • 논문 리뷰
  • 밑바닥부터 시작하는 딥러닝2 6장

@dingdongx2
Copy link
Member Author

dingdongx2 commented Jul 19, 2020 •
edited
Loading

20200719

  • 장소: 강남역 스타벅스

진행

  • colab 사용
  • 논문구현
    • Variational Autoencoders for Collaborative Filtering : link

계획

  • 논문 리딩 : Variational Autoencoders for Collaborative Filtering
    • 소영 : 논문 뽑아오기
  • colab 사용법 작성

@warmwall
Copy link
Collaborator

warmwall commented Aug 9, 2020

20200802

  • 장소: 강남역 스타벅스

진행

  • colab 사용
  • ml-20 데이터셋 가져오기
  • 논문 구현
    • Variational Autoencoders for Collaborative Filtering : link

@dingdongx2
Copy link
Member Author

20200823

  • 장소: 교대역 커피빈

진행

  • 논문 구현(2)
    • Variational Autoencoders for Collaborative Filtering
    • model, train 작성
    • ip/output 사이즈 맞추기

계획

  • 논문 구현

@dingdongx2
Copy link
Member Author

20200913

  • 장소 : 숑하우스

진행

  • torch 라이브러리 분석

계획

  • 논문 구현

@dingdongx2
Copy link
Member Author

20200920

  • 장소 : 강남역 엔젤리너스

진행

  • 논문구현 : GAN

계획

  • 논문구현

@dingdongx2
Copy link
Member Author

dingdongx2 commented Sep 26, 2020 •
edited
Loading

20200926

  • 장소 : 왕십리 아리가또

진행

  • 논문구현 및 마무리 : GAN

계획

  • Ani2Pic
    • dataset에 따른 Output 수집
  • 논문 발표
    • 소영 : cycleGAN
    • 원태 : pix2pix

@warmwall
Copy link
Collaborator

20201011

  • 장소 : 강남역 스타벅스

진행

  • 논문구현 및 마무리 : GAN
  • 블로그 카테고리 수정
  • 블로그 포스트 문체 수정

@dingdongx2
Copy link
Member Author

20201018

진행

계획

  • GAN 다음 모델 논문 읽기
  • 티스토리 게시글 정리

@warmwall
Copy link
Collaborator

warmwall commented Oct 25, 2020 •
edited by dingdongx2
Loading

20201025

진행

계획

  • GAN 다음 모델 논문 리뷰

@warmwall
Copy link
Collaborator

20201115

진행

계획

  • GAN 다음 모델 논문 리뷰

@dingdongx2
Copy link
Member Author

20201122

진행

계획

  • pix2pix 논문 읽고 정리

@warmwall warmwall changed the title ML Study ML Study 2019 Jan 14, 2021
@warmwall warmwall changed the title ML Study 2019 ML Study 2019~2020 Jan 14, 2021
@dingdongx2 dingdongx2 mentioned this issue Jan 28, 2021
Open
9 tasks
Sign up for free to join this conversation on GitHub. Already have an account? Sign in to comment
Assignees
No one assigned
Labels
None yet
Projects
None yet
Milestone
No milestone
Development

No branches or pull requests
2 participants
@dingdongx2 @warmwall