개발로그 #3 (6주차 ~11/6)

[HangryDev]

댓글로 써주세요!

[hidden719]

#Last Week

• LLM : �groq, gemma2 (바뀔 수 있음) 선정을 했지만 아직 적용을 하지 못하였습니다.
• 팝업이 뜨는 대신에 클릭시만 보일 수 있도록 바꿨습니다.

#Next week

• LLM과 드래그 후 연결(진행중!) : LLM api를 연결하는 부분을 아직 적용을 못하여서 코드 이해 후 적용 하려고 합니다.
• 코드 리뷰하면서 정리를 하여 예신님과 코드 합칠 때 설명 및 주석 처리를 하면서 서로 이해할 수 있도록 하려고 합니다.

[SangMini2]

한국어 특화 요약 태스크 수행을 위한 경량화된 LLM 개발 프로젝트

Last week

• 경량화 기법 논문 리뷰(LLM.int8()): https://velog.io/@smkm1568/논문-리뷰-LLM.int8
• LLaMa 3.2 1b instruct를 base model로 '평가 데이터셋' 사용해서 성능 평가 → 당연히 성능이 좋지 않음(크기가 크지 않고, 학습도 진행하지 않았기 때문) → 그렇기에 다른 모델은 base model 성능 평가를 굳이 할 필요가 있을까 싶음

Next week

• 경량화 학습 논문 리서치
• 경량화 학습 논문 리뷰
• (가능하면) LLM 학습 진행

[jh941213]

주식 종목 매수/ 매도 추천 개발

https://github.com/jh941213?tab=repositories

개요 : 기존의 ETF 레버리지 만 추천을 하려고 했으나 본주인(본종목)과 연관성이 있기 때문에 Nasdaq 종목을 모두 추천을 해도 무방하다고 판단하여, 심볼을 추출해서 매수 매도 판단 결정 짓는 플로우를 개발 하기로 결정

사용기술 : LangChain, LangGraph, ChatGPT, HyperCLOVAX, Fastapi, typescript, react, GoogleNews(라이브러리), yf(야후파이낸스)

설명 : 사용자가 쿼리를 던지면 먼저 LLM 이 먼저 사용자가 주식관련 질문인지 아닌지를 먼저 판단하고, 그 후 주식 질문에서 심볼이 담겨있는 쿼리라면 json 형태로 심볼과 회사명을 추출함 심볼은 그회사 종목의 OHLC, PER, PBR, 거래량 등 다양한 지표를 가져오고 그 걸 토대로 LLM 이 한번 요약을 함 그 후 회사명 value 값을 통해 최신기사 3개를 가져오고 프롬프트에 들어감.

• 사용자 쿼리 분석 (check_if_stock_query 함수)
  • LLM(ChatOpenAI)이 사용자의 질문이 주식 관련인지 판단
  • 시스템 프롬프트를 통해 주식/ETF 관련 키워드 탐지
  • True/False 반환
• 주식 심볼 및 회사명 추출 (extract_stock 함수)
  • 주식 관련 질문인 경우, LLM이 텍스트에서 심볼과 회사명 추출
  • 예: "애플 주가 어때?" → {"AAPL": "Apple Inc."}
  • yfinance를 통해 해당 종목의 주가 데이터 수집:
    • OHLC (시가, 고가, 저가, 종가)
    • 거래량
    • 주가 변동률
• 종합 분석 (ResearchAgent 클래스)
  • 기업 정보 수집:
    • PER(주가수익비율)
    • 시가총액
    • 섹터/산업
    • 배당수익률
  • 히스토리컬 데이터 분석:
    • 52주 최고/최저가
    • 연간 수익률
    • 변동성
• 뉴스 수집 (get_company_news, get_market_news 함수)
  • GoogleNews API를 사용하여:
    • 개별 종목 관련 최신 뉴스 3개
    • 미국 3대 지수(S&P 500, 다우존스, 나스닥) 현재가
    • 미국 증시 전반의 주요 뉴스
• 최종 투자 추천 생성 (generate_investment_recommendation 함수)

  • 수집된 모든 정보를 종합하여 투자 추천 생성

  • 프롬프트 구성:

    Copy
    - 3대 지수 현황 (가격, 등락률)
    - 미국 증시 주요 뉴스
    - 종목 요약 분석
    - 해당 종목 관련 뉴스
    - 기술적 지표 (RSI, 볼린저밴드, MACD, 이동평균선)
    
    

  • 최종 출력:

    • 매수/매도 의견
    • 투자 근거
    • 위험도
    • 적정매수가/손절가/목표가

그 외에 쿼리가 들어오면 하이퍼클로바X를 통해 토큰 절약 및 일상대화를 진행함.

프론트엔드 구현

1. 실시간 주식 모니터링
   • NASDAQ 주요 종목들의 실시간 가격, 등락률 표시
   • 30초마다 자동 업데이트
2. 실시간 뉴스 피드
   • NASDAQ 관련 최신 뉴스 표시
   • 긍정/부정/중립 뉴스 구분
3. AI 채팅 기능
   • 사용자 질문 입력 및 AI 응답
   • 주식 관련 질문/답변 기능
   • 마크다운 형식 지원 (코드, 표 등 표시 가능)

시연 영상 : https://www.youtube.com/watch?v=CnUbbEkmiLs

Next week

프론트엔드 고도화 및 api 고도화 퍼블렉시티처럼 속도를 줄이기 위한 방법 DB를 통해 뉴스를 가져오는 방법을 연구 개발

[videorighter]

Stockelper

Last Week

• 상반기 이후 상장 폐지 또는 회사명 변경으로 인한 변동사항 적용 → set.csv, set.json
• 뉴스 데이터 계속 수집 -> Timestamp, Title, Content 병합하여 벡터임베딩 적용
  • Timestamp를 임베딩 하는 이유?
    • User가 Query를 날릴 때, 특정 날짜를 언급하는 경우 고려함
    • 하지만 메타정보로 남기고 제외한 뒤 다시 임베딩 완료

Next Week

• 레이아웃 기획 고도화
• 뉴스 데이터 임베딩 자동화
• 랭그래프 기반 코드 파악하기

[sinjy1203]

Last week

Financial Agent Tool 리서치

• 재무제표 분석 툴
  • https://bfi.uchicago.edu/wp-content/uploads/2024/06/BFI_WP_2024-65.pdf
  • 시카고 대학 연구 논문
  • 익명화된 재무제표를 GPT-4 + cot를 통해 Direction, magnitude, confidence를 예측
  • 사람분석(52.71% acc)를 능가하고 ANNs(60.45% acc)에 견주는 성능을 보임 (60.35% acc)

Next week

• https://github.com/YBSener/financial_Agent 벤치마킹

[xodhx4]

This week

• https://springcoolers.github.io/llm-handbook 공부

Next week

• 발표자료 조사하기

[Garurubi]

Last week

• 경량화 기법 중 pruning 관련 논문 LLM-Pruner 리뷰
  https://velog.io/@jjhee3156/LLM-Pruner
• gemma-2b-it 모델로 법률안 검토 보고서 요약 데이터를 통해 base-model 평가(rougeL, meteor)
  • 의미론적 평가방식이 아니라 LLM-Judge 평가를 고려해 봐야할듯

Next week

• 특정 task의 성능을 유지시키는 pruning 방법을 찾기

[minglet]

Last Week

이력서와 가장 유사한 JD를 찾는 Task

• 평가 기준 프롬프트 테스트
• Judge llm 논문 리뷰
• 회사 업무가.. 참 많았습니다ㅠㅠ 많이 진행하지 못했어요

Next Week

• VectorDB 적재 방법 테스트
• 샘플 데이터로 가장 비슷한 JD 추천 feature 1차 마무리

[data-sign]

Have Done

• 피처 기반 데이터 수집
  • 경제 지표 수집
    • 한국은행 API를 통해 주요 경제 지표(예: 연간 GDP 데이터 등) 100개 항목 수집 완료
  • 기업 가치 데이터 수집
    • OpenDartReader 라이브러리 설치 및 DART API 테스트 코드 작성
    • 종목별로 배당 현황, 당기순이익, 주당순이익, 현금배당금 총액, 배당성향 등 주요 재무 데이터 수집
  • 주가 정보 수집
    • FinanceDataReader 라이브러리로 KOSPI, KOSDAQ 지수 및 개별 종목의 주가 데이터 확보

Next Week

• 데이터 전처리
  • 수집한 경제 지표, 기업 가치 및 주가 데이터를 모델에 활용할 수 있도록 정리 및 전처리 수
• 보조 지표 피처 생성
  • 보조 지표(예: 이동평균선, 거래량 기반 지표 등)와 같은 추가 피처 생성
  • 수집된 데이터를 기반으로 보조 지표를 계산하여 모델의 예측 성능 향상 도모
• FinanceDataReader 라이브러리 조사
  • 실시간 여부 및 최대 호출 건수 확인

[ranian963]

매일 아침 스트리밍 뉴스 개발

Last week

LangGraph 리서치 및 LangGraph를 이용한 RAG 구현
회사 인사 평가

Next week

선모님이 만들어주신 뉴스&블로그 가져오기와 LangGraph 연동하여 동작 확인

[workdd]

Last Week

뉴스 요약 모델 선정을 위한 테스트 진행

• T5
  • 5가지의 T5 모델에 대한 테스트 진행 (small, base, large, 3b, new 데이터로 finetuned된 버전)
  • 가장 높은 rouge score가 도출된 base 모델에 대해 팀원들과 정성적 평가
  • 요약 수준이 사용할 수 없겠다고 판단되어 T5 모델은 사용하지 않기로 함
• Qwen2.5-7b-instruct(int4 quantized)
  • 괜찮은 수준의 요약 결과가 확인됨, 간혹 추론을 끝내지 않고 무한 생성되는 경우가 있어 추가 프롬프팅 필요할 듯 보임
• Gemma2-9b-it(int4 quantized)
  • 사용하지 못할 수준의 요약 결과를 보여줌
  • 요약이라고 볼 수 없는 긴 텍스트와, 무한 반복 현상 발견
• Llama3.2-3b-instruct
  • 길게 요약해주는 경우도 있었으나, 사용할 수준의 요약결과를 뱉기도함
  • 프롬프트를 고도화 한다면 사용할 수 있을 것으로 예상됨

Next Week

공유할 수 있을 수준으로 테스트 결과 시트로 정리

선정한 요약 모델(Llama3.2, Qwen2.5)을 가지고 Prompt Engineer 추가 진행

• PromptFoo를 이용한 프롬프트별 평가
• 최종 모델 및 프롬프트 확정 !

LLM 추론 성능 증가를 위한 vLLM 사용

• vLLM 추론 속도 증가 원리 스터디
• vLLM 실제 적용 및 추론 속도 비교

[MinwooKim1990]

3 주: 크롤링 안정성 향상 및 데이터 통합

목표:

• 뉴스 크롤링의 인코딩 문제를 완벽히 해결하여 모든 기사 내용을 정확하게 수집.
• 수집된 채용공고와 뉴스 데이터를 통합하여 분석 가능한 형태로 정제.

구체적인 작업:

1. 인코딩 문제 완전 해결:
   • 다양한 인코딩 방식을 사용하는 웹사이트에 대한 추가 테스트 수행.
   • 문서 인코딩의 문제가 아니라 csv파일로 임포팅 할 때의 인코딩의 문제로 판명
   • csv import 시 utf-8 인코딩 후 문제 해결
2. 팀원의 API key를 이용해 더 많은 뉴스 데이터 크롤링
   • News api와 [Newsdata.io](http://Newsdata.io) api를 이용한 뉴스 크롤링
3. 더 많은 데이터와 간략한 기업의 최신 사항을 관리하기 위해 뉴스의 description 부분만 crawling

---

4 주 계획: 데이터 수집 및 전 처리

목표:

• 크롤링 데이터 수집 업무 완료
• 수집된 데이터에서 불필요한 부분 확인 후 삭제 완료
• 이후 작업인 CV Parsing 업무로 진입
• 기본적인 CV Parsing 코드 작성

---

4 주 계획: Parsing 최적화

• 어떤 CV 구성에도 완벽하게 데이터를 가져올 수 있게 최적화 작업
• Transformer 이용 parsing 안정성 테스트
• Vision을 이용한 Parsing 연구

[onun1059]

Last Week

• O'REILLY AI 논문 스터디
• Fastapi 관련 스터디 마무리 ( inflearn)

Next Week

• 웹페이지 개설 관련 스터디 진행( html/css ,react)

[yesinkim]

이번 주

• OAuth 2.0: Google로 사용자 인증 | Chrome Extensions | Chrome for Developers
  -> 공개 키 얻어오는 부분 어떻게 접근해야 하는 지 모르겠음.
• timekeeper GCP project 사용할 계정생성. -> 공유할 것.
• Google Project 생성 및 Oauth2 기본 설정

짧은 회고

• 현재 Whale을 사용하고 있기 때문에 Chrome 환경에서의 테스트 및 개발이 필요함
• 집중력 이슈 심각함

Reference

#stackoverflow

• [Chrome Extension Manifest v3 MV3 authentication - Stack Overflow](https://stackoverflow.com/questions/72514608/chrome-extension-manifest-v3-mv3-authentication)
• [Timeline for answer to Chrome Extension example of oAuth 2.0 by Dmitry Sadakov - Stack Overflow](https://stackoverflow.com/posts/28349790/timeline)
  The right answer was to use [Google Identity api](https://developer.chrome.com/apps/identity), which under the covers uses oAuth 2.0 endpoints to [https://.chromiumapp.org/* urls](https://developer.chrome.com/apps/identity#method-launchWebAuthFlow).

Chrome Extension 기본 참고자료

• [[Unsolved.wa 개발기 - 2] chrome extension 시작부터 끝까지](https://80000coding.oopy.io/34a2083b-c159-4524-b5f2-750d3ab4fbba)

다음 주

• Oauth2 Google Login 코드 마무리
• Calendar API 기능 확인
• Extension 개발 콘솔 출력 확인
• 코드 리뷰

[cheonsol-lee]

Last Week

• 용도
  • Neo4j: Graph 구축
  • LangChain: LLM과 DB 연결
• 절차
  1. User 질문
  2. LLM 기반 Cypher 쿼리 작성
  3. Cypher 쿼리문을 Neo4j DB에 접근해 결과 도출
  4. DB 내용 기반 LLM이 답변

Next Week

• GraphRAG: Neo4j 생성형 AI 패키지로 영화 줄거리 검색 엔진 만들기
  

  • Neo4j 생성형 AI 패키지
  • Cypher 쿼리 자동 생성
  • 이용: Neo4J, 한투 API ([링크](https://apiportal.koreainvestment.com/apiservice/oauth2#L_5c87ba63-740a-4166-93ac-803510bb9c02))

• 요청: OpenAI API

• 목표

  • 국내 주식을 이용하여 KG 구축
  • LLM으로 삼성전자의 주식 가격을 물으면 → Cypher 변경 → Graph DB 조회 → GraphRAG 활용하여 답변