개발로그 #5 (8주차 ~11/20)

[HangryDev]

올려주세요!

[MinwooKim1990]

5 주 계획: Parsing 최적화

• 어떤 CV 구성에도 완벽하게 데이터를 가져올 수 있게 최적화 작업
• Transformer 이용 parsing 안정성 테스트 → Dictionary 형태로 반환. 정확히 다 parsing 했는지 판단 어려움
• Vision을 이용한 Parsing 연구 → OmniParser를 이용한 파싱. 적절하게 값들 가져옴
• 다양한 형태의 CV 파싱 가능성. 위치 및 bounding box까지 생성 가능

---

6 주 계획: Parsing 이 끝났을 경우 llm 연구계획

• llm 관련 자료 연구 및 스터디 계획
• Quantization관련 Cuda에서 진행 불가.. 이유 모름 —> pytorch에서 cuda 사용 양자화 방법이 없음. 그러나 cpu도 문제 발생 —> onnx로 변환 후 양자화 진행
• Paged-Attention 논문 리딩. 기존 Autoregressive generation의 kv 캐시가 차지하는 메모리의 비효율성을 개선하기 위해 진행된 연구로 paged-attention은 kv캐시를 블락으로 비연속적으로 나누고 일정 수의 키와 밸류 값을 가지며 가상 메모리와 copy on write 같은 기술을 사용해 효율적으로 캐시를 관리한다.

---

7 주 계획: Quantization 시도 및 Distillation 시도

• 경량화 관련하여 Quantization 과 Distillation 부분의 실습 심화 시도
• Pruning 관련 개념 연구
• paged-attention 사용 실습.

[tomatojams]

Last week

프롬프트 엔지니어링 수정보완 작업 지속
Figma로 애플리케이션 디자인작업

Next week

Figma 애플리케이션 디자인 작업 마무리
프론트 작업 시작

[jh941213]

Last week

• 발표준비
• 프롬프트 엔지니어링 시도

Next week

• NoSQL 몽고디비 관련 학습
• 검색엔진 레퍼런스 찾기

[LewisVille-flow]

한국어 특화 요약 태스크 수행을 위한 경량화된 LLM 개발 프로젝트

Last Week

• LLM에서의 Knowledge Distillation 방법론 이해
  • Baby Llama: knowledge distillation from an ensemble of teachers trained on a small dataset with no performance penalty, 2023, University of Copenhagen
  • decoder에서의 KD도 방법론에서 큰 차이가 없음을 발견(teacher model의 output으로 soft label 설정; 특정한 태스크(ex. classification)로 한정된다는 한계가 있음)
  • 논문선정이슈; 생각보다 임팩트 있는 논문은 아니었음.
  • next token prediction 레벨에서의 KD 방법론 탐색의 필요성 확인(summarization의 경우 classification과 다르게 문장 이상의 긴 답변을 생성해야하므로; perplexity 단위의 metric으로 KD 성능을 측정한 논문 탐색 필요)

Next Week

• Less is More: Task-aware Layer-wise Distillation for Language Model Compression, (ICML 2023), Microsoft
• KD를 이용한 실험 진행을 위한 아이디어 정리

[HangryDev]

dead project snipper

지난주 까지 한 일

DPS는 수상 이후로 리빌딩 준비중입니다! 다음 페이즈에는 무엇을 만들지에 대해 회의중입니다.

이번 주 한 일

쉬어가는 주! 해커톤을 진행하며, 미리 만들 걸 당겨 만들었습니다.

앞으로 할 일

다음 주에는 본격 사이드 허슬 팀을 빌딩하기 시작하구, 잠재 고객과의 대화를 진행해요.
이후 새로 만들어달라는 사람들의 요구사항을 받는 한편 내부적으로 로드맵에 있던 본격 실험과 데이터셋 구성, 평가 시스템 구축을 진행할까 해요.

[workdd]

This Week

뉴스 요약 테스크 모델, 프롬프트 선정

• PromptFoo를 통한 프롬프트 엔지니어링 진행
  Qwen2.5-7b(quantized int4) vs Llama3.2-3b

test1

• https://app.promptfoo.dev/eval/f:6f6ed193-144a-4d96-b04c-87ca0dcdb692/

test2

• https://app.promptfoo.dev/eval/f:9a83e789-b9d5-4d24-8b80-c8128629b4d3/

• 모델별 프롬프트를 점진적으로 발전해가며 실험 진행

• 요약 결과를 GPT-4o이 판단하도록 하여 Pass와 Fail을 산정

결과 요약

• 11개의 요약 벤치마크 데이터에 대해 평가 진행
• qwen2.5 모델이 기본적으로 81.82% llama3.2의 63.64% 통과율에 비해 높음
• 정성적으로 내용을 확인해보았을 때, 요약 결과가 합리적인 것으로 보임
• 정량적, 정성적 평가 결과 Qwen2.5 모델을 사용하는 것이 적합하다고 판단됨

temperature별 비교(0.4 vs 0.85)

• https://app.promptfoo.dev/eval/f:98f00043-b67c-466c-90de-2993ac982fea/
• temperature를 낮게 했을 때 답변 형식 자체가 이상한 경우가 적어 안정성이 높음을 확인

결론

• temperature 0.4, prompt v1(5 times) 버전을 최종 확정

Next Week

• 수집된 실 뉴스 데이터 기반 모델 테스트, 요약 데이터 수집
• vLLM 리서치
• Paged Attention 논문 리뷰

[yesinkim]

Last Week

• authorization token 생성 및 Google Oauth 2.0 Login구현
• Google Calendar insert, get API 확인 및 구현

Next Week

• LLM API + Calendar API 연결
• Calendar API 권한 변경
• 코드 정리

[kihoon71]

Last Week

• ollama와 COT를 활용한 민원 요약 (Cypher 생성 시 활용) 테스트\

---

Next Week

• NaiveRAG 테스트
• ollama 한국어 모델 민원 요약 개선
• (가능하면) ollama를 통한 법률 정보 추출 및 개인정보 마스킹

[xodhx4]

Last week

• LLM이 실제 기업에서 쓰이는 사례를 더 조사하여 사용한 기술 분류

This week

• 조사한 내용 기반으로 아티클 쓰기

[onun1059]

Last Week

• 웹페이지 개설 관련 스터디( html/css ,react)
• 프롬프트 개발 진행

Next Week

• 프롬프트 개발 및 스터디

[data-sign]

Last Week

• 발표준비
• 감성분석 프롬프트 고도화 : 긍/부정 내용 분류 후 각각 점수화 & 퓨샷 프롬프트로 출력 형식 개선
• 리포트 요약 데이터 감성 분석 테스트

Next Week

• 증권사 리포트 요약 데이터 mongoDB 적재
• 데이터마트 생성

[minglet]

Last Week

• JD Data Preprocessing
• 정답 데이터 셋 샘플 제작
• Paged Attention 논문 개요 파악

Next Week

• RAPTOR 방법론 실험
• Paged Attention 논문 background 리뷰

[deliciouscat]

개더링 준비로 이번주는 쉬어갑니다,,

[videorighter]

Stockelper

Last week

• 발표준비

Next week

• MongoDB 포트포워딩
• 챗봇 레이아웃 기획 고도화
• 벡터 임베딩 자동화

[HyunJunLEE-Hub]

Last week

회사 관련

• LLM 평가 관련 리서치(G-Eval로 결정, 단점이 gpt-4o 이상만 쓸만한듯)
• hwp, hwpx -> md 변환
• promptfoo Test(설치 및 간단 실행)

개인 프로젝트(자유수영 LLM)

• 구조도 작성
• neo4j, duckduckgo 리서치

Next week

회사 관련

G-Eval로 4o-mini, EEVE, Llama 3.1 ITA 비교

개인 프로젝트(자유수영 LLM)

• 데이터 크롤링.. 일단 관악구만

[hidden719]

Last week

• 스크린샷 extension 확인

Next week

• 스크린샷 구현
• 코드 병합 및 정리

[cheonsol-lee]

Last Week

• GUG 세미나 후기 정리: https://www.linkedin.com/posts/cheonsol-lee_ontology-graphrag-rag-activity-7263583279042179073-_slp?utm_source=share&utm_medium=member_desktop

• 발표정리: 지식그래프, LLM 논문 리뷰

Next Week

• 실제 데이터 기반의 GraphRAG 적용

[SangMini2]

Last Week

• efficient LLM survey 논문 읽으며, 경량화에 대한 큰틀 다시 이해: https://velog.io/@smkm1568/Efficient-Large-Language-Models-A-Survey

Next Week

• Survey 논문 리뷰 블로그 게재 완성
• 특정 방법론 논문 리딩 및 블로그 게재