스터디 소개! 깃헙에 NLP 잔디심기 5

[HangryDev]

이번 회차 스케쥴

날짜	내용	발표자	매체
2024/09/25	OT (스터디 소개, 방향 논의, Ice breaking)
2024/10/02	컨트리뷰션 가이드라인 설치, 기획 작성 방식 소개!
2024/10/09	한글날 휴강!
2024/10/16	전체 기획 리뷰!
2024/10/23	'Dead Project Snipper : 지원금 받고 튄 사업 탐지기' & Prompt Evaluation and Versioning with Promptfoo	한결, 기훈
2024/10/30	'매일 아침 스트리밍 뉴스' & Tensor parallelism and model parallelism, mixed precision, Continuous batching	선모, 상윤, 현정
2024/11/06	'Servant Chatbot' & Multi-GPU strategies, (Securing and governing models with LLMOps), (Evaluating binary, multi-class, and multi-label metrics)	기훈, 현준
2024/11/13	'TARO-Night ' & (Evaluating reliability and robustness), (Evaluating perplexity, BLUE, and ROUGE), Evaluating conversational flow	지한, 동건, 태오
2024/11/20	'공시정보를 활용한 주식투자 도우미' & Operationalizing inference strategies, Model pruning, Trade-offs between inference speed and output quality, (Comparing serverless, containerized, and microservices architectures), ()	영상, 천솔, 재현, 정열, 희주
2024/11/27	쉬어가는 주! 주말에 다같이 놀러가여
2024/12/04	'한국어 특화 요약 태스크 수행을 위한 경량화된 LLM 개발하기' 님 개인 플젝 발표! Model Quantization(가이드북 ch6), Inference, serving, and scalability - CPU & GPU Inference, Model Distillation for Optimization , Trade-offs between inference speed and output quality	주형, 재희, 상민, 일균
2024/12/11	'제목 미정' & Incorporating continuous improvement, Key metrics to monitor, Actions in response to metrics	예신, 경표, 병철
2024/12/18	'제목 미정' & Monitoring LLMs fundamentals, Compliance and security, Monitoring tools	민아, 민우, 재강
2024/12/25	크리스마스! 쉬어갑니다
2025/01/04	최종발표회! 토요일인 점 유의해주세요!!!
2025/01/08	프리시즌 시작!!!
2025/01/15	프리시즌 컨텐츠
2025/01/22	프리시즌 컨텐츠
2025/01/29	프리시즌 컨텐츠
2025/02/05	프리시즌 컨텐츠
2025/02/12	프리시즌 컨텐츠
2025/02/19	프리시즌 컨텐츠
2025/02/26	프리시즌 컨텐츠
2025/03/05	프리시즌 컨텐츠

VLLM, Quantization (INT8, FP16),
KV-caching, Attention optimizations (FlashAttention, xFormers), Kernel Fusion
Monitoring LLMs fundamentals, Compliance and security, Monitoring tools

프로젝트 소개 & 목표

<깃헙에 NLP 잔디심기>는 LLM 엔지니어에게 필요한 모든 내용의 로드맵을 만들고, 차근하지만 꾸준히 전부 다뤄보는 컨셉의 스터디입니다.
벌써 시즌 5인데요 - 정말 고전 NLP 기초부터 최전선까지 같이 왔네요 감개무량합니다.
지난 시즌은 'RAG, 프롬프트 엔지니어링'을 다뤘습니다.
이번 시즌은 '경량화, 추론 최적화, 서빙, 로깅'을 다룰 예정입니다.

새로운 요소 - LLM Engineer Handbook 만들기 도입

• 2024년 “AI 뉴스”는… 중대한 내용들이 쉴 새 없이 쏟아져 나옵니다. 이걸 그냥 따라가는 것 만으로도 전업 일자리 수준의 시간이 필요합니다. 특히 이제 막 관심을 가지기 시작한 입장이라면 어디서부터 시작해야 할 지 모를 수도 있습니다.
• 혁신이 워낙 많다보니… 어디서 시작해야 하지? 어떤 토픽들은 꼭 알아야 하고, 어떤 순서로 배우고, 어떤 건 좀 버려도 될까? 이런 질문이 들며 막막한 느낌이 드실 겁니다.
• 고퀄리티고 접근하기 쉬운 컨텐츠가 매우 많지만 정리가 안 되어 있습니다. 요즘 배우기 제일 좋은 자료들은 단발성 블로그 글이나 유튜브 비디오 형태로 이곳저곳에 흩어져 있거든요.
• 이 문서의 목적은 이 모든 컨텐츠를 엄선한 후 학습 순서대로 정리해 놓은 로드맵을 만들어서 텍스트북 형태로 보여줄 수 있게 가공해두는 겁니다. 세상에 흩어져있는 ‘컨텐츠’라는 구슬들을 꿰어서 하나의 육기적인 목걸이로 만드는 셈이죠. 영상, 블로그, 논문들 중 가장 이해에 도움이 되는 것들을 순서대로 나열하고, 이 토픽들을 이해하기 위한 “멘탈 모델” 및 그 토픽들의 관계를 설명하는 부분을 낼 까 합니다.
• 궁극적으로 LLM Engineering Handbook 프로젝트는 개인 학습자들의 소요시간을 줄여주는 것이 목표입니다. 최초 시작의 시행착오를 줄여줄 수 있게 되는게 물론이고, 어느 정도 따라온 뒤에는 정보수집과 관계 이해에 드는 시간을 줄이게 되는 거죠. 즉, “내가 안 본 사이 새로운 것이 무엇이 나왔나?” 궁금해졌을 때 여기에 접속하면 바로 정리된 리포트를 볼 수 있게 하는게 목표인 것입니다.

프로젝트 내용 & 운영 방식

이런 모습입니다! 링크

모집 대상

지원 대상
LLM에 대한 사전 지식이 필요합니다.

• Prompt Engineering과 RAG의 기초 개념부터 COT, ReACT등 논문 내용에 익숙하여야 합니다
• Foundation Model/Vector DB/Orchestration 3가지 요소를 쓰는 LLM App을 만들 수 있어야 합니다. (정확한 기술 스택은 상관없습니다)
• Traditional NLP의 지식을 몰라도 참여에는 큰 문제가 없지만, 대화에 참여하기 어렵다고 느낄 수도 있습니다.

우대사항:

• Agent로 실제 서비스 가능한 프로젝트(개인, 회사 상관없습니다)를 만들고 계시거나, 만들 의향이 있으신 분을 우대합니다.
• 꾸준한 오픈 소스 활동(블로그 업로드, 커뮤니티 활동)이 있으시다면 판단에 도움이 됩니다.
• LLM Engineering handbook을 만드는 과정에서, 컨텐츠 큐레이션 이외의 일이 생깁니다. 쥬피터 북의 문서 관리, 내부 소통 사항 확인, 등등 오픈소스 운영에서 필요한 일들입니다. 이 쪽에 관심과 열정 있으신 분을 환영합니다.
• 끝나구 최종발표회 겸 네트워킹 뒷풀이 합니다! 새로운 사람 만나는 걸 좋아하시는 분이면 더 좋습니다.

모집 인원

• 99명

활동 기간

첫 모임 날짜 & 시간 & 장소

• 날짜: 9월 4일 25일! (미뤄졌습니다!)
• 시간: 오후 7시 30분
• 장소: 첫 모임 오프라인 필참! 장소: 공덕역 4번출구 프론트원 6층 ICT COC 커뮤니티룸 https://naver.me/52lhhtMv
• 이후는 온라인 #ROOM-YL

정기 모임 시간 & 장소

• 시간: 수요일 오후 7시 30분
• 장소: 온오프믹스: 공덕 프론트원 & 디스코드 #ROOM-YL

학습 활동 및 활동 방법

학습 자료

스터디 활동 방법

💡 오픈 아카데미 형태(=청강 가능)로 진행하며, 발표자료는 가짜연구소를 통해 공개적으로 배포할 수 있도록 할 예정입니

1. 진행 & 발표

   • 출석체크를 위해 실명으로 참여 부탁드립니다.
   • 온라인에서 여러분을 만나는 환경이므로 웹캠을 꼭 준비해 주세요~
   • 발표자는 OT 날 선정 (참여 인원에 따라 1인 1-2회 정도 발표 예상)

2. 학습 활동

   • 담당한 이론을 정리하고, 발표를 준비합니다.
   • 개인 프로젝트를 진행하고, 진행사항을 공유합니다 (선택)
   • 발표 후 LLM Engineering handbook 템플릿 형태로 정리, 업로드합니다. (필수)
   • 학습 내용에 대한 질문 및 공유
   • 최종 발표회: 프로젝트 진행하시는 분들은 시즌 완성된 내용을 데모합니다. (발표는 선택, 참여는 필수)

3. 신청 전 주의사항

   • 시즌 마지막에 최종 발표회 겸 뒷풀이 있습니다. 널찍한 파티룸 빌려서 진행합니다! 시즌 중간에 미리 회비를 걷고 진행하겠습니다. (공간 대여료만 인당 2-3만원 선, 총합 5-6만원 선으로 예상됩니다)

주차별 목표와 학습 내용

💡 주차별 진행계획은 러너(스터디원)분들과 협의에 의해 변경될 수 있습니다.

다른 스터디들은 기간을 정해두지만, 우리는 그냥 계속 모입니다.
전반부는 대충 두 책으로 정했고, 후반부는 스터디 중간에 회의해서 정해여.
습관 형성 및 형평성 문제로, 첫 12주동안 출석(~12/21까지, 2회까지 결석 가능)하시는 분들을 수료로 처리 합니다. 이후는 자유롭게 오셔도 좋습니다. (너무 많이 빠지면 안되여...)
중간중간 쉬어갑니다. 다 같이 모여서 놀러가기두 하구, 그냥 2주정도 쉬고 다시 모이고 그럽니다.
아래에 다루는 컨셉트만 정해져 있습니다! 자기 프로젝트를 진행한 후 발표하는 시간이 있습니다!
(프로젝트와 컨셉 발표를 1회 할지, 2회 할지는 참가자 인원 보고 정해야 할 것 같습니다)

[HangryDev]

왜 닫혀있지?