개발로그 #1! (4주차)

[HangryDev]

여기 댓글에다가 남겨주시면 됩니다.

개발로그 예시!

1. Last week

• 대화, 스피치, 담론에 대한 연구 저널들을 조사했다. 관련 저널들을 살펴보고 필요한 자료를 수집했다.

2. What I found

• [**Journal of Pragmatics](https://www.sciencedirect.com/journal/journal-of-pragmatics)**
  • 무슨 내용을 찾았다. 3줄 요약
• [Research on Language and Social Interaction](https://www.tandfonline.com/journals/hrls20)
• [Discourse Studies](https://journals.sagepub.com/home/dis)
• [Discourse Processes](https://www.tandfonline.com/journals/hdsp20)
• [Argumentation](https://link.springer.com/journal/10503)

찾아야 할 분야:

• communicative language teaching

논문: Learning-to-Determine-Who-is-the-Better-Speaker (https://www.researchgate.net/profile/Timo-Baumann-2/publication/325744392_Learning_to_Determine_Who_is_the_Better_Speaker/links/5b5646d8aca27217ffb6c935/Learning-to-Determine-Who-is-the-Better-Speaker.pdf)

• corpus of 5440 pairwise preference ratings
• prosodic structure
• LSTM

논문: How to be better Speaker / Teaching conversational skills

Teaching conversational skills intensively: course content and rational ([링크](https://academic.oup.com/eltj/article-abstract/48/1/40/3114001))

• random, intuition-based selection of general communicative activities.
• oral discourse theory and conversation analysis
• conversational teaching points 가르치기.

전제:

• 모든 대화는 특정 패턴을 따른다.
  • 누가 언제 얼마나 말할지 결정하는 미묘한 규칙들.
  • 대화를 시작하거나 끝내고 주제를 바꾸는 의식과 정해진 공식들.
  • 중단하는 방법과 발언권을 유지하는 방법.

Two approaches to teaching conversational skills

• Indirect Approach - 학습자가 대화형 상호작용에 참여하도록 하는 간접 접근법.
• Direct Approach - 특정 마이크로 기술 및 전략을 계획적으로 학습시키는 직접 접근법.
  • 대화 규칙, 전략, 프로세스에 대한 인식을 강화.

Conversational Strategies:

• Message adjustment or avoidance
• Paraphrase
• Approximation
• Appeal for help
• Asking for repetition
• Asking for clarification
• Interpretive summary
• Checking whether the other person has understood
• Use of fillers/hesitation devices

구현할 수 있는 TASK 예시:

• 예의바르게 거절하기
• 예의바르게 중단하기
• 격식 없이 실행
• 전화 품질이 안좋아서, 되물어야 하는 상황에서 실행

교과서들:

• Brown, G. and G. Yule. 1983. Teaching the Spoken Language. Cambridge: Cambridge University Press.

5. Planning`

다음 주에는 수집한 대화 교육 전략들을 기반으로 구체적인 수업 계획을 세우고, 교재에 사용할 수 있는 활동들을 정리해 볼 계획이다. 또한, 교과서에 제시된 이론을 실제 수업에 어떻게 적용할지에 대한 방안을 고민할 것이다.

[sinjy1203]

Last week

LangGraph를 활용한 agent 구현

• LangGraph의 특징
  • 복잡한 agent의 flow를 그래프 형태(노드, 엣지)로 표현 => 직관적으로 flow를 구현 가능
  • 노드간에는 상태(state)로 전달 => 디버깅에 용이
  • 조건부 라우팅 가능 => 조건에 따른 브랜치 구현에 용이
• 기존 stockelper agent 분석
  1. LLM -> action_name, action_input
  2. 선택된 action 실행
  3. action result + LLM -> 최종 답변 생성
• LangGraph로 구현한 stockelper agent
  

Next week

사용하고 있는 tool 분석

• 기존 코드에서 사용중인 answer, basic, dart, news, report, stock 툴 코드 분석

React agent 구현

• 기존 코드에서 안되는 React flow 구현

[HangryDev]

오 1등 정열맨! 형식 잘 맞춰 주시는거 좋습니다.

[cheonsol-lee]

주제: 지식 그래프 연구 및 적용 방안 개발

이번주 목표: IDEA 선정/지식그래프 사례/그래프 모델 특징 조사

---

1. Have Done

- IDEA
    - 금융 데이터 활용 → 여러 데이터의 연계성을 활용하여 인사이트 도출
    - RAG 한계 탈피 → GraphRAG 적용
- NH 투자증권 사례
    - MTS → 종목 탐험 기능 → 올해 8월 서비스 종료
    - 서울대 데이터사이언스 대학원 MOU 결과물 → 주식 키워드 및 공급망사슬 기반의 주식 연관도 분석 연구
    - 인포시즈 → 지식그래프 기반 스마트 주식 검색 서비스
- Graph 모델링 - 지식그래프 구축 단계
    - 정이태님 Linkedin → Doc2Graph

2. Next Item

- 지식그래프 사례 논문 읽기 - “네트워크 분석과 자산배분전략 한국투자증권“ (논문)
- 문서 지식그래프화(Doc2Graph) 구현
    - 데이터: 뉴스 기사, 증권사 레포트

[MinwooKim1990]

1 주: 채용공고 및 기업 뉴스 크롤링

목표:

• Jobspy와 News API를 활용하여 채용공고 및 기업 뉴스를 수집하고, 이를 CSV 파일로 저장.
• 두 개의 크롤링 코드를 통합하여 데이터 수집 과정을 자동화.

실행 내용:

• 채용공고 크롤링:
  • Jobspy API를 이용하여 다양한 기업의 채용공고를 수집.
  • 각 공고의 상세 설명(description), 직무, 위치 등의 정보를 포함하여 데이터 저장.
• 기업 뉴스 크롤링:
  • News API를 사용하여 관련 기업의 최신 뉴스를 수집.
  • 뉴스 제목, 본문, 발행일 등의 정보를 CSV 파일로 저장.
• 코드 통합:
  • 채용공고와 뉴스 크롤링 코드를 하나의 파이프라인으로 통합.
  • 스케줄러를 설정하여 주기적으로 데이터를 업데이트하도록 설정.

결과:

• 채용공고 데이터는 상세 설명과 함께 정상적으로 CSV 파일에 저장됨.
• 뉴스 데이터는 일부 기사에서 텍스트가 깨지는 현상이 발생하여 추가적인 문제 해결이 필요함.

---

2 주: 뉴스 크롤링 시 인코딩 문제 해결 시도

문제 발생:

• News API를 통해 수집한 일부 뉴스 기사 내용이 깨져서 저장됨.
• 초기 시도에서는 UTF-8 인코딩을 적용했으나 문제 해결되지 않음.
• 기사 전체 내용은 너무 많고 쓸데없는 글이 많음.

원인 분석:

• 크롤링 대상 웹사이트가 명확한 인코딩 정보를 제공하지 않거나, 웹 페이지 내 일부 요소가 다른 인코딩 방식을 사용할 가능성.
• 웹 페이지의 특정 부분에서만 인코딩 문제가 발생하여 전체 페이지의 인코딩을 일괄 적용하는 방식으로는 문제를 해결할 수 없음.
• 중간 광고나 기사 내용 상 필요 없는 부분들을 가져올 필요가 없음. 기사의 사실적인 결과 및 원인이 중요하지 세부적인 기사 내용은 중요하지 않다.

해결 방안:

• 간략한 description fetching:
  • 기사에 관한 간략한 설명을 가져와서 더 많은 데이터를 RAG에 활용할 수 있게 한다.
• BeautifulSoup 활용:
  • BeautifulSoup 라이브러리를 사용하여 웹 페이지의 실제 인코딩 방식을 자동으로 감지.
  • 감지된 인코딩 방식을 기반으로 텍스트를 올바르게 디코딩.
• 추가 라이브러리 사용:
  • chardet 라이브러리를 도입하여 웹 페이지의 인코딩을 추정 후 적용.
• 예외 처리:
  • 특정 인코딩에서 오류가 발생할 경우, 대체 인코딩을 시도하는 예외 처리 로직 추가.

진행 상황:

• BeautifulSoup를 이용한 인코딩 감지 및 처리 로직을 이용해도 인코딩 문제.

---

3 주 계획: 크롤링 안정성 향상 및 데이터 통합

목표:

• 뉴스 크롤링의 인코딩 문제를 완벽히 해결하여 모든 기사 내용을 정확하게 수집.
• 수집된 채용공고와 뉴스 데이터를 통합하여 분석 가능한 형태로 정제.

구체적인 작업:

1. 인코딩 문제 완전 해결:
   • 다양한 인코딩 방식을 사용하는 웹사이트에 대한 추가 테스트 수행.
   • 자동 인코딩 감지 및 적용 로직의 안정성 강화.
   • 에러 발생 시 자동 재시도 또는 대체 인코딩 적용 예외 처리 추가.
2. 데이터 정제 및 통합:
   • 채용공고와 뉴스 데이터를 기업별로 매칭.
   • 중복 제거, 결측치 처리 등 데이터 품질 향상 작업 수행.
   • 필요없는 컬럼 및 정보 정제

[videorighter]

Stockelper

Last week

• 전체 프로젝트 구체화 리스트 정리 완료
• 네이버 뉴스 크롤링 코드 정리
• 로컬 MongoDB 구축
  
• 네이버 뉴스 크롤링 진행
  

What I found

• 네이버 뉴스 플랫폼 크롤링 전용 URL 접속 확인 완료
• requests와 bs4 만으로 짜여진 코드 유지하기
• 멀티세션 처리
• 로컬 MongoDB 서버 구축 필요 -> 구축 완료(10/23)
• 현재 백엔드, 프론트엔드 서버 돌아가는지 확인 필요

Next week

• LangGraph 기반 프레임워크 연구 후 적용
• 백엔드, 프론트엔드 서버 점검
• LLM 및 백엔드 서버 간 통신 방식 점검
• 웹기반 챗봇 레이아웃 기획

[minglet]

Last Week

유저 이력서와 가장 유사한 JD 추천

• 샘플데이터 수집
  • JD & 이력서 수집
• 샘플 이력서 간단한 전처리
• word2vec 문서 유사도 검사 실험
• RAG pipeline 제작
• JD chunk에 대한 retrieval Test

Next Week

• RAG pipeline 검증
  • 더 많은 샘플 데이터 실험
• VectorDB 셋업
• Prompt Engineering
• 유저 이력서 parsing 테스트

[HangryDev]

Dead Project Snipper 개발로그 #1

1. Last week

데이터포인트 셋업과 데이터 적재 로직이 막바지다! 예진님이 프롬프트푸 셋업을 해 주셨고, 기훈님이 트위터 스크레이핑을 툴을 만들고 있다. 나와 찬호님은 Near Indexer를 찾고 있다.

2. What I found / did

• 발표준비!
• 운영용 미니PC를 한대 샀고, 셋업해보고 있다.
• 인덱서란 무엇인지, 내가 사용할 수 있는 부분이 무엇인지를 찾았다. near indexer for explorer는 사실상 폐지되었다. Near - lake indexer는 s3 접속에 성공했지만 데이터를 파싱하는게 어렵게 느껴졌다. 다행히 nearblocks가 해주는 걸 찾음. https://api.nearblocks.io/api-docs/#/ 에다가 api 콜을 날리면 된다.
• BI 툴로 해커톤용 대시보드를 만들어야 하는데, 그게 쉽지가 않다. AWS Quicksight 써봤다가 지금 $300 해먹었다.

4. Planning
   다음 주는 BI 툴로 대외용 화면이 나오게 하는게 목표다.

[SangMini2]

한국어 특화 요약 태스크 수행을 위한 경량화된 LLM 개발하기

Last week

• 학습에 필요한 데이터 서치
• 평가에 필요한 데이터 서치
• 사용할 수 있는 모델 서치
• 회의를 통해 "평가 데이터셋", "사용할 모델의 크기 제한 사항" 등 확립

Next Week

• 경량화된(3B 이하) 한국어 LLM을 통해 test 진행
• 실험해 볼 경량화 논문 선정 및 리딩

[jh941213]

API 조사 및 분석

한국투자증권 오픈 API 검토
Nasdaq Data Link API 검토
실시간/지연 데이터 수집 방법 파악

레퍼런스 자료 수집

파이썬 주식 자동매매 관련 문서
pykrx, pykis 등 관련 라이브러리 조사
야후 파이낸스 API 활용 사례 검토

하이퍼클로바 슈카 LLM 활용계획

기존에 만들어두었던, 슈카를 활용한 주가 예측 답변 구상

다음 주 계획 :

기존 코드와 비교 분석
필요한 데이터 항목 선정
API 호출 코드 구현 시작

지난주 외부활동 :

https://www.linkedin.com/posts/kjh941213_graphrag-with-document-graphwoody-activity-7254025514154143744-jcA7?utm_source=share&utm_medium=member_desktop
깃잔심 참여 링크드인 게시글 작성

[kihoon71]

법령 데이터 그래프 스키마 구조를 위한 도메인 지식 탐색

1. 법의 위계 구조

법 체계는 [법령] -> [시행령] -> [시행규칙]의 3단계를 가지고 있다. 각 하위령 및 규칙은 상위령으로부터 권한을 위임 받아 법적 구속권을 갖게 되며, 하위령은 상위의 령에 반할 수 없었다. 예(시행규칙은 시행령과 모순되는 내용을 지닐 수 없다.)

2. 법의 대상

위는 도로교통법 2조에서 제한하는 대상의 예시이다. 대부분의 법령의 경우 2조를 통해 제한하는 대상을 정의하고 있다. 위의 예시를 통해 도로교통법이 다루고 있는 대상에 대해 알 수 있다. 따라서, 그래프에서 법령과의 관계를 맺을 떄, 대상->지정->법령 으로 이어지는 관계를 통해 특정 민원이 포함하고 있는 대상과 그에 관한 관계를알 수 있다. 또한 위의 '도로'의 예시로부터 다양한 법률로부터 참조하여 대상을 구하는 모습을 볼 수 있다. 이를 통해 법률과 법률이 참조하고 있는 대상의 관계를 통해 법령의 대상을 추론가능하다는 결론에 이를 수 있다.

3. 대상끼리의 관계

위는 도로교통법 8조에 관한 예시이다. 이를 통해 우리는 각 법령에서 제한되는 대상끼리의 관계를 (허가, 금지, 예외..) 가지고 있다는 것을 알 수 있다. 실제로 LLM과 fewshot을 활용하여 데이터 모델링을 잘하면 할 수도 있다. 예를 들어 8조 1항에 '보행자는 보도와 차도가 구분된 도로에서는 언제나 보도로 통행하여야 한다' 라는 구절로부터, [보행자] -> [금지] -> [차도]의 관계와, [보행자] -> [허가] -> [보도]의 관계를 가진다는 것을 볼 수 있고, 이 때, 금지와 허가의 라벨에 : "도로교통법 8조 1항"이 붙을 수도 있을 것이다.

4. 결론

법령 데이터를 들여다 본 결과 법령이 정의하고 있는 관계들이 매우 복잡하긴 하나, 이미 잘 나와있는 LLM과 fewshot을 활용하면 이를 다시, 그래프 형태의 데이터로 모델링을 할 수 있을 것이라는 판단이 들었다. 즉, 하나의 법령에 대해 잘 정의된 fewshot을 모델에게 줄 수 있다면, 이를 통해 각 법령의 항목들을 손쉽게 그래포를 통해 모델링 할 수 있을 것이다.

[workdd]

Last Week

뉴스 데이터 요약 업무 진행

• 뉴스 요약 샘플데이터 수집

  • 벤치마크 데이터셋 발견
    https://github.com/Tiiiger/benchmark_llm_summarization/tree/main
  • 추가적으로 ChatGPT를 통한 한국어 기반 요약 데이터 생성

• 요약을 위한 모델 선정

  • 모델별 추론 시간, Max Context Length, 크기 등 정리

• 추론 코드 작성

• 평가 메트릭 정의

  • 정성적 평가 (직접 결과 데이터를 보며 판단)
  • 정량적 평가: Rouge Score를 이용한 점수 도출

Next Week

• 모델별 추론 성능 검증 및 평가를 통해 모델 확정
• 모델 확정 후 요약 성능 증가를 위한 Prompt Engineering 진행

[deliciouscat]

업무분장
Naver api 사용 체크
MongoDB용 JSON 데이터 구조 설계
전처리 코드 작성 시작

• 좋은 자료
  https://docs.outcode.biz/use_cases/naver-news

• DB 구조

hotArticle DB

{
"searchQuery": {
"content": "윤석열",
"queryType": "keyword",
"searchDate": "2024-10-22T00:00:00Z",
"searchEngine": "naver",
},
"summary": "윤석열 대통령과 한동훈 국민의힘 대표의 회동에서 김여사 관련 3대 요구사항이 논의되었으며, 원탁 테이블 논란이 발생함",
"articleIds": [
"article_20241022_00001", "article_20241022_00002", ...
],
},
...

---

article DB

{
"articleInfo": {
"articleId": "article_20241022_001",
"articleTitle": "尹 "어처구니없는 의혹, 당이 같이 싸워 달라"... "3대 요구 韓, 尹 설명에 반론 안 했다"",
"articleHash": "B8E6D5FFFBE0983220 ... 223841DB29678163CB", // 기사제목[SEP]매체명 -> hashing(SHA256)
},
"articleSummary": "윤석열 대통령과 한동훈 국민의힘 대표의 회동에서 김건희 여사 관련 3대 요구사항에 대한 논의가 있었다. 윤 대통령은 인적 쇄신, 대외활동 자제, 의혹 해명에 대해 각각 답변했으며, 대통령실은 윤 대통령이 입장을 분명히 밝혔고 한 대표가 이에 반론을 제기하지 않았다고 강조했다.",
"factIds": [
"fact_20241022_00001_0001", "fact_20241022_00001_0002", ...
],
"body":"윤석열 대통령이 한동훈 국민의힘 대표와의 회동에서 ... 하겠다고 했으니 그런 수순이 되지 않을까 싶다"고 설명했다.",
},
...

---

fact DB (Google CloudSQL with Postgre)

factId	fact	factKeywords	factType	lexicalExtention	lexicalNegative	embeddingKoVector	embeddingKoModel	embeddingEnVector	embeddingEnModel
fact_20241022_00001_0001	윤석열 대통령이 한동훈 국민의힘 대표와 회동을 가짐	["윤석열", "한동훈", "회동", "국민의힘"]	사건	윤석열 대통령 한동훈 president Yoon 국민의힘 …	문재인 해리스 트럼프 정책 …	[n dim vector]	upskyy/kf-deberta-multitask	[n dim vector]

필요 기능: 중복성 검사(유사도 측정 → 클러스터링 → Cross-NLI)

[tomatojams]

Last Week

캐릭터 스토리 구성

• 캐릭터 디자인에 어울리 스토리 구성
• 캐릭터별 상담기능 분화

기능명세서

• 기초 기능 명세서 구성
• 세분화 추가 예정

디자인시안

• 프론트 개발자와 관련 이펙트 아이디어 토론

경쟁서비스 분석

• 유사 서비스 시장조사와 분석

신규멤버 FastAPI 스터디

• (RestFul API 제작과 ORM 관련 사항 수강)

[Garurubi]

Last Week

• 한국어 요약 태스크 base 모델 선정을 위한 조사

1. LLM 모델을 SFT + DPO 학습으로 한국어를 잘하는 모델을 만들고 경량화
   - 2~3B 모델
   - Phi-3.5-mini-instruct
   - gemma-2-2b-it
   - Qwen2.5-1.5B-Instruct
2. 경량화에 초점을 맞춰 한국어 리더보드에서 모델을 선정해 경량화만 수행
   - Open-ko-llm-leaderboard(2~3B 모델이 없는 듯)

Next Week

• 프로젝트에 수행할 모델들을 선정(maximum gpu vram 12GB)
• 모델 구조 파악 및 instruction-tuning dataset 확인

[data-sign]

Last week

• 증권가 레포트 요약 사이트 크롤링

What I found

• 증권사 레포트 요약 사이트(seibro, fnguide) 비교
  • Seibro : Fnguide 데이터 활용, 주간 업데이트, 버튼으로 페이지 이동
  • Fnguide : 일간 업데이트, 한 페이지 내 모든 정보 존재
• Fnguide 사이트 크롤링
  • BeautifulSoup으로 데이터 수집이 되지 않아 Selenium으로 진행
  • 일자, 종목 리포트 요약, 투자의견, 목표주가, 전일종가, 제공처/작성자 데이터 수집
  • 현재는 csv 파일로 저장, 추후 DB 생성 후 DB 적재로 변경 예정
• 스케쥴링
  • crontab을 이용해 매일 9시 데이터 수집 진행

Next week

1. 매수/매도 분류 알고리즘 개발 설계
2. 필요 데이터 수집

[hidden719]

Last Week

• 구글 확장프로그램 기본 구조 튜토리얼
• 협업파이프라인 구성
• 구글 확장 프로그램 기본 구조생성 및 확인
• 프로젝트 구조 정리 및 시각화

Next week

• 구글 계정 로그인 기능 구현 및 확인
• LLM API 서치 및 선정
• Readme file 생성 및 구체화

[johnny9210]

한국어 특화 요약 태스크 수행을 위한 경량화된 LLM 개발하기

Last week

• 태스크에 사용할 데이터 서치
• 메트릭 서치
• 회의를 통해 "평가 데이터셋", "사용할 모델의 크기 제한 사항" 등 확립

Next week

• 사용할 Sllm 모델 테스트 및 서치

[onun1059]

Last Week

• 프로젝트 참여 위한 FastAPI 스터디

• FastAPI 관련 데이터 서치

• DB & ORM 관련 사항 수강

Next Week

• 기존 프로젝트 기반 데이터 수집 및 정리
• 프로젝트 관련 LLM 논문 선정 후 정리

[ranian963]

Last week

• RAG 파이프라인 리서치
• LangGraph 리서치
• 기본 RAG 파이프라인 구현
• 벡터 DB 테스트

Next Week

• RAG 파이프라인 확정 및 구현
• 임베딩 모델 비교

[xodhx4]

Last week

• 자료 조사
  • https://tulip-phalange-a1e.notion.site/a947f0efb8eb4813a533b0d957134f6d
  • https://pub.towardsai.net/the-best-rag-stack-to-date-8dc035075e13
  • https://huggingface.co/blog/1_58_llm_extreme_quantization

Next week

• 전반적인 quantaziation 조사
• 체계적 자료 조사

[LewisVille-flow]

한국어 특화 요약 태스크 수행을 위한 경량화된 LLM 개발 프로젝트

Last Week

• 테스트 데이터를 정했습니다.
  • 일상 대화 데이터세트
  • 특정 도메인 문서 데이터세트(법률)
• 어떤 메트�릭이 주로 사용되는지 찾아보았습니다.
  • ROUGE / BLEU / METEOR / BLEURT
  • BERT SCORE
  • GPT SCORE(llm-as-judge)
• 어떤 모델을 사용할 지에 얘기했습니다.
  • 최적화하고자하는 데이터세트 및 모델을 취향껏 선택해서 진행
  • 경량화에 대한 최소한의 제한사항: 입문 레벨 고려
    • MAX gpu vram 12GB(RTX 3080 vram 정도)

Next Week

• 한국어오픈소스 경량화모델 (≤ 3B) 테스트해보면 좋을 것 같습니다.
  • 어떤 경량화 모델이 있는지 찾아보기로 하였고,
  • 테스트데이터세트 구조를 파악하기 위해, Input output 디테일 살펴보기로 했습니다.
  • 환경 세팅(깃허브 레포지토리 세팅 및 기초 메트릭 함수 설계)

[yesinkim]

Last Week

• 협업 툴 구성 및 프로젝트 구조 및 필수 기능 구체화
• 크롬 확장 프로그램 튜토리얼 및 구조 확인
• 크롬 오른쪽 마우스(Text Drag, Image) 구별 기능 확인
• 초안 레포 생성

This Week

• 크롬 확장 구글 로그인 기능 확인 및 구현.
• repository README 및 설명서 작성.