개발로그 #2! (5주차 ~10/30)

[HangryDev]

여기에 써주세여!

[hidden719]

Last Week

• 구글 확장프로그램 구조 변형 및 코드 파악
• 드래그한 부분 right-click시 넣기
• 팝업창 뜨게 하기 (없애고 익스텐션에만 적용할 에정)
• LLM : llama 3.2, gemma, gemini
• Readme file 생성

Next week

• LLM과 드래그 후 연결
• OCR 모델 서치

[HangryDev]

1등 굿! 이것도 충분히 좋지만, 기왕 쓰시는거 블로그에 올릴법하게 좀 더 풀어서 써버리시구 블로그에도 올려버리시면 어떨까여?

[MinwooKim1990]

2 주: 뉴스 크롤링 시 인코딩 문제 해결 시도

문제 발생:

• News API를 통해 수집한 일부 뉴스 기사 내용이 깨져서 저장됨.
• 초기 시도에서는 UTF-8 인코딩을 적용했으나 문제 해결되지 않음.
• 기사 전체 내용은 너무 많고 쓸데없는 글이 많음.

원인 분석:

• 크롤링 대상 웹사이트가 명확한 인코딩 정보를 제공하지 않거나, 웹 페이지 내 일부 요소가 다른 인코딩 방식을 사용할 가능성.
• 웹 페이지의 특정 부분에서만 인코딩 문제가 발생하여 전체 페이지의 인코딩을 일괄 적용하는 방식으로는 문제를 해결할 수 없음.
• 중간 광고나 기사 내용 상 필요 없는 부분들을 가져올 필요가 없음. 기사의 사실적인 결과 및 원인이 중요하지 세부적인 기사 내용은 중요하지 않다.

해결 방안:

• 간략한 description fetching:
  • 기사에 관한 간략한 설명을 가져와서 더 많은 데이터를 RAG에 활용할 수 있게 한다.
• BeautifulSoup 활용:
  • BeautifulSoup 라이브러리를 사용하여 웹 페이지의 실제 인코딩 방식을 자동으로 감지.
  • 감지된 인코딩 방식을 기반으로 텍스트를 올바르게 디코딩.
• 추가 라이브러리 사용:
  • chardet 라이브러리를 도입하여 웹 페이지의 인코딩을 추정 후 적용.
• 예외 처리:
  • 특정 인코딩에서 오류가 발생할 경우, 대체 인코딩을 시도하는 예외 처리 로직 추가.

진행 상황:

• BeautifulSoup를 이용한 인코딩 감지 및 처리 로직을 이용해도 인코딩 문제.

---

3 주: 크롤링 안정성 향상 및 데이터 통합

목표:

• 뉴스 크롤링의 인코딩 문제를 완벽히 해결하여 모든 기사 내용을 정확하게 수집.
• 수집된 채용공고와 뉴스 데이터를 통합하여 분석 가능한 형태로 정제.

구체적인 작업:

1. 인코딩 문제 완전 해결:
   • 다양한 인코딩 방식을 사용하는 웹사이트에 대한 추가 테스트 수행.
   • 문서 인코딩의 문제가 아니라 csv파일로 임포팅 할 때의 인코딩의 문제로 판명
   • csv import 시 utf-8 인코딩 후 문제 해결
2. 팀원의 API key를 이용해 더 많은 뉴스 데이터 크롤링
   • News api와 [Newsdata.io](http://Newsdata.io) api를 이용한 뉴스 크롤링
3. 더 많은 데이터와 간략한 기업의 최신 사항을 관리하기 위해 뉴스의 description 부분만 crawling

---

4 주 계획: 데이터 수집 및 전 처리

목표:

• 더 많은 양의 데이터를 수집
• 수집된 데이터에서 불필요한 부분 확인 후 삭제
• 코드 git 공유

[HangryDev]

완전 잘 써주셨어요! 감사합니다

[HyunJunLEE-Hub]

Last Week

회사 관련 대응

• MS Azure OpenAI Whisper Test
• Qwern2-VL 2B, OCR 기능으로 배포
• PydanticOutput Parser 적용

Next week

회사 관련 대응

• MS Azure OpenAI Whisper 배포
  • v2만 지원하는데 v3 및 turbo 사용하는 방법 리서치 필요
• MS Azure OpenAI Whisper 화자분리 Test
  • 화자분리가 안될 경우는 공백으로 처리, 기획 및 백엔드랑 논의 필요

개인 프로젝트 관련

• 자유수영 LLM 로드맵 작성
  • 컨셉
  • 각 수영장 웹 사이트 크롤링

[HangryDev]

ㅋㅋㅋㅋ 회사에서 열심히 실력 업글하고 계시는군여 좋습니다. 저 화자분리 궁금해요 전에 딥그램으로 disfluency detection 하다가 막혔던 기억이 납니다.

[LewisVille-flow]

한국어 특화 요약 태스크 수행을 위한 경량화된 LLM 개발 프로젝트

Last Week

• Knowledge distillation 분야의 논문 리스트 스키밍
• 간단한 논문 리딩 진행(원리 정도만 간단히 이해했습니다)
  • Patient knowledge distillation for bert model compression, 2019
• 테스트데이터들의 포맷 스키밍
• 오픈소스 한국어 sllm 모델 탐색

Next Week

• Knowledge distillation 발전 방향 확인(논문 리딩)
• 오픈소스 한국어 sllm 모델 테스트 (keep going)
• sft for summarization 오픈소스 코드 찾아보기

[HangryDev]

좋습니다! 찾은 논문을 한 줄 소개+ 개발에 어떻게 쓸지 정도 더 써주면 좋겠습니다. 궁금해여

[tomatojams]

Last Week

• 기능명세서 보완 정리
• llm 관련기능탐색을 위한 논문 스터디
• figma로 디자인구상
• DB 스키마설계

Next Week

• 디자인 화면 제작
• llm 기능 구체 명세서
• 프론트 서버파트 실제작

[HangryDev]

논문 어떤거 읽으셨는지 공유해주면 좋을 것 같아요!

[jh941213]

📈 해외 주식 데이터 수집 및 추천 서비스 개발 - 나스닥 차트정보

Last week

• nasdaq api 조회 및 코드 구현(google finance, 한투증권)
• hyperclovaX langchain 랩핑
• 조코딩 gpt-bitcoin 레퍼런스 참조하여 타겟 참조

Next week

• 프롬프트 엔지니어링
• RAG 구현
• 데이터 저장 관리 구현 관련 리서치

외부활동

• https://www.linkedin.com/posts/kjh941213_langchain-%EC%9C%BC%EB%A1%9C-hyperclovax-%EC%A0%81%EC%9A%A9%ED%95%98%EB%8A%94-%EB%B0%A9%EB%B2%95-activity-7257311134951604224-o5F4?utm_source=share&utm_medium=member_desktop
  랭체인 x hyperclovaX 연동 게시글

[HangryDev]

크 블로그 작성 너무 좋습니다 👍

[videorighter]

Stockelper

Last week

• 종목 뉴스 데이터 크롤링 고도화
• 챗봇(웹페이지) 레이아웃 기획

What I found

• docker compose를 통해 mongodb와 news_crawler 컨테이너 빌드
• external docker volume을 사용하여 docker compose down을 하더라도 volume이 사라지지 않도록 함
• docker network 설정 → stockelper
• news_crawler 컨테이너는 Dockerfile에 이미지 정의하여 설치
  • docker-entrypoint를 만들고 내부에 실행되어야 할 cronjob 설정
• 오전 6시부터 자정까지 1시간마다 run.sh를 통해 크롤링 코드가 실행되도록 설정
  
• 토스증권 주식 골라보기 목록 조사 및 정리
• v0를 통한 챗봇 레이아웃 디자인
  

Next week

• 로컬 환경 외부 접속용 포트포워딩 및 MongoDB, Milvus 접속 테스트
• LangGraph 기반 프레임워크 연구 후 적용(feat. 정열님)
• 챗봇(웹페이지) 레이아웃 기획 고도화

[HangryDev]

상세한 작성 감사합니다!

[ranian963]

매일 아침 스트리밍 뉴스 개발

Last week

• 주제나 키워드들과 뉴스, 블로그 정보를 전달하면 요약해주는 Multi-Document Summarizer 리서치 및 테스트 (링크)
• Continuos Batching 리서치 (링크)

Next week

• Multi-Document Summarizer 프롬프트 고도화
• RAG 프레임워크 및 파이프라인 확정 및 개발

[HangryDev]

발표준비 화이팅입니다

[HangryDev]

Last week

지난 주 발표했습니다! 데이터 적재를 마무리했네요.

What I found / did

웹 개발 막바지! 화면에 CRUD 로직으로 데모 준비를 하고 있습니다.
제가 한건 거의 없고, 배포 / UI 연동 / 쪽에 신경쓴 한 주였습니다 (기훈님 고마워요)

Next week

목요일이 해커톤 제출일 마감입니다! 이거 내놓고 좀 쉬어갈 예정입니다.

[onun1059]

Last Week

• 프로젝트 관련 LLM 논문 선정 후 정리
• LLM 논문 스터디 시작

Next Week

• 기존 프로젝트 기반 데이터 수집 및 정리
• LLM 논문 스터디 마무리

[HangryDev]

쬐금더자세히! 공부 한게 있으면 노트를 업로드하구 / 논문을 읽은것도 마찬가지로, 정리한걸 업로드하면 좋겠어요

[cheonsol-lee]

Last Week

- 지식그래프 활용 사례 조사: How to build a knowledge graph on Stocks | AWS Neptune
- FMP API 테스트 (financial modeling prep): 해외주식 정보 제공
- 그래프 DB - 활성화 에러(AWS Neptune) → Neo4J 대체중
- Apple 주식에 대한 그래프 시각화

Next Week

- GraphRAG-Neo4J 튜토리얼
- 국내 주식을 지식 그래프 제작
- 그래프 DB - 활성화 에러(AWS Neptune) → Neo4J 대체중
- GraphRAG-Neo4J 튜토리얼 - GraphRAG 벤치마킹 예정
- 국내 주식에 대한 그래프 시각화

[SangMini2]

한국어 특화 요약 태스크 수행을 위한 경량화된 LLM 개발 프로젝트

Last week

• 개발 환경 세팅
• 평가 데이터셋 다운로드 및 파악 (모두의 말뭉치 일상 대화 요약 데이터 & AI hub 법률 데이터)
• 평가 메트릭 준비 (rouge, bleu, meteor, bert score, BLEURT score 등)
• 사용할 수 있는 모델 서치 및 준비 (llama 3.2 1b 등)

Next week

• 시도할 수 있는 경량화 방법 서치
• 시도해 볼 경량화 방법 논문 리딩
• 학습 전 평가 데이터에 대한 모델 성능 평가

[workdd]

Last Week

뉴스 데이터 요약 업무 진행

• 요약을 위한 모델 선정
  • 모델별 추론 시간, Max Context Length, 크기 등 정리
• 추론 코드 작성
  • T5, Qwen2.5, Gemma2 모델 추론 환경 구성
  • 추론 테스트 진행
• LLM-As-a-Judge를 통한 모델 평가 시도

Next Week

• 모델별 테스트 마무리 및 결과 데이터 정리
• 모델별 추론 성능 검증 및 평가를 통해 모델 확정
  • LLM-As-a-Judge를 통한 모델 평가 시도
• 모델 확정 후 요약 성능 증가를 위한 Prompt Engineering 진행
  • PromptFoo를 활용한 프롬프트별 평가

[sinjy1203]

Last week

Stockelper Workflow

• stockelper nodes: React_prompt_formatting, Call_model, execute_action, finish
• state

  @dataclass
  class State:
      messages: List[AnyMessage] = field(default_factory=list)
      llm_output: str = field(default="", metadata={"description": "LLM output"})
      react_prompt: str = field(default="")
      n_try: int = field(default=0)
      action_name: str = field(default="")
      contexts: List[str] = field(default_factory=list)
      documents: str = field(default="")
      observation: str = field(default="")
      final_answer: str = field(default="")

• configuration

  @dataclass
  class Configuration:
      max_try: int = field(
          default=5,
          metadata={
              "description": "tool 사용 횟수 제한",
          },
      )
      tools: Dict[str, BaseTool] = field(
          default_factory=dict, metadata={"description": "사용 가능한 tools"}
      )
      llm: LLMAgent = field(default=None, metadata={"description": "LLM agent"})

Next week

• agent에 사용하는 tool 들 재구성
• 재무제표 분석 tool 고도화

[deliciouscat]

지난 주 까지 한 것:
검색-parsing api 개발!
발표자료 준비
(개발로그 발표자료로 대체합니다~)
#3 (comment)

다음 주 할 것:
DB 다 클라우드에 띄우고, 연결 해서 제대로 디버깅 하기

[yesinkim]

This Week

• 크롬 익스텐션 구조 학습 및 Oauth 조사
• Google Oauth2 기능이 꼭 필요한가? -> (token을 얻기 위해 필요함)
• 활용가능한 chrome extension API 탐색 -> 정리 필요함.

Next Week

• Oauth2 에 대한 이해를 바탕으로 Oauth login 구현
• Oauth2에서 토큰 얻어오기
• 토큰 바탕으로 Calendar API 테스트
• UI 와이어프레임이라도 있었으면 좋겠음 (다다음주쯤 고려)

[minglet]

Last Week

이력서와 가장 유사한 JD간 찾는 업무

• 샘플데이터 더 모으기
• RAG pipeline test
• 평가 기준 프롬프트 테스트

Next Week

• 평가 결과 검증
• vectorDB 적재
• RAG pipeline fix하기

[johnny9210]

한국어 특화 요약 태스크 수행을 위한 경량화된 LLM 개발 프로젝트

Last Week

• LLM as a Judge 관련 평가 논문
  • Prometheus 생성 텍스트 평가 관련 내용 확인
• 데이터 및 모델
  • 데이터 다운
  • 모델 환경 설정

Next Week

• 데이터 정리 및 학습 테스트

[data-sign]

Last Week

주식 변동률 예측 모델 설계

• LSTM 모델로 향후 5일 변동률 예측
• 변동률(+)일 때 매수 추천, (-)일 때 매도 추천

What I Found

주요 피처

• 경제지표: 한국은행 API 일간 수집
• 기업가치 지표: DART 분기 수집
• 시장 심리: 네이버 뉴스 감정 분석
• 전문가 분석: 증권사 리포트 긍/부정 점수화
• 보조 지표: 거래량, 변동성, 추세 등 실시간 수집

모델 설명

• 경제 지표(GDP, 금리 등), 기업가치 지표(ROE, PBR 등)로 거시적 흐름과 기업 재무 상태 분석
• 시장 심리와 전문가 리포트를 LLM으로 긍/부정 점수화하여 모델 성능 강화
• 한국투자증권 API로 거래량, 변동성, 추세 등 보조지표 실시간 수집
• 최종적으로 예측 변동률로 매수·매도 추천 혹은 주식 종목 추천 가능하도록 설계

Next Week

• 설계한 피처 기반 데이터 수집
  • 경제 지표 : 한국은행 API 테스트
  • 기업 가치 : DART API 테스트
  • 보조 지표 : 한국투자증권 API 테스트

[kihoon71]

Last-Week

---

• 민원 데이터 스크래퍼 제작
• 데이터 스키마 변경 및 재탐색