[N회차 정보 모음] 1/12일 이번 주 뉴스!

[HangryDev]

제일 아래 최신 댓글로 이동하셔서 새 소식 달아주세요!

[HangryDev]

2024/8/31 이번 주 다룰 내용들!
대댓글로 달아주세요~~

[stats-dev]

이번주는, 9/12 출시된 o1-preview 모델에 대한 영상 중 "한국어 Cipher"를 리뷰해보려고 합니다.
https://www.youtube.com/watch?v=eZDmDn6Iq9Y

[deliciouscat]

이번주는 퍼플렉시티 CEO의 인터뷰, 빅테크 사이에서 스타트업이 포지셔닝하는 법에 대해 말씀 나누도록 하겠습니다.
https://youtu.be/f3ltgYvrP5Y?si=6nO93_J9WwtXSX3A

[HangryDev]

Rise of the Protein Foundation Model 이라는 제목에 꽃혀서 가져와야만 했답니다! 대체 프로틴 파운데이션 모델이 뭘까 해서 봤더니, 사람 단백질 구조를 학습시킨 거대 모델이라고 하네요. 같이 보시져
https://newsletter.towardsai.net/p/tai-116-rise-of-the-protein-foundation?utm_source=post-email-title&publication_id=1617575&post_id=148728011&utm_campaign=email-post-title&isFreemail=true&r=29hzl6&triedRedirect=true&utm_medium=email

[Yushin-L]

gpt-o1에 대한 설명 글입니다
https://www.interconnects.ai/p/reverse-engineering-openai-o1

[HangryDev]

9/21일 이번 주 뉴스!

이번 주 댓글은 여기다 달아주세여!

[HangryDev]

유신님: gpt-o1에 대한 설명 글입니다.
https://www.interconnects.ai/p/reverse-engineering-openai-o1

[HangryDev]

'AI로 돈 버는 방법'은 늘 막연했어요. 각종 기업들이 그에 대한 답을 실험해보고 있는데요, 메타는 어떤 시도를 하고 있는지 박종천님이 소개해주십니다.
https://www.youtube.com/watch?v=_Jm3fuF7WlE

[HangryDev]

o1의 비결일거라고 추측되는 논문인가봐여. TLDR; '인퍼런스 시간을 늘려주는 것으로 파라미터 14배 키우는 것과 비슷한 효과를 냈다' https://arxiv.org/abs/2408.03314

Yeah, I already tested the basic premise behind this in a much simpler way that’s trivial to implement, and it can be highly effective.

You can basically do something like this:

Give the model a prompt, get a response

Pass the original prompt, the response, and an additional “Could <assistant>’s response be improved in any way? If so, rewrite it to be better. If not, just respond with <COMPLETE>.”

Then you basically run that in a loop until you either get a <COMPLETE> response, or reach a maximum defined N iterations and break out of it. Of course, all of this is done behind the scenes - the user just provides the initial prompt and gets a single “final” response that takes longer to compute than a single-shot one would.

[YunSeok-Kang]

DeepMind에서 Doom 게임 자체를 학습하여 실제로 플레이 가능한 게임 씬을 만들어내는 것과 관련된 논문 'Diffusion Models Are Real-Time Game Engines'을 발표하였습니다. 아직 3초 정도의 시간만 기억할 수 있으며, 하드웨어 자원도 많이 필요하여 당장 상용화될 수는 없지만, 게임 개발에서의 새로운 지평을 열어줄 것으로 기대되네요.

[stats-dev]

2024/9/28 이번 주 다룰 내용들!
대댓글로 달아주세요.

[stats-dev]

최신 ChatGPT의 고급 음성 모드(Advanced Voice mode)에 대한 소개뿐만 아니라 AI의 미래에 대한 흥미로운 이야기도 담고 있습니다. 영상은 최신 AI 기술의 발전, 특히 초지능의 도래와 그에 따른 교육 시스템의 변화, AI 모델들의 성능 비교, 그리고 구글의 무료라서 더 혁신적인 도구인 Notebook LM에 대해 다룹니다. 노트북 LM을 좀 공부해보면 좋겠네요!

https://www.youtube.com/watch?v=E4nShMpFBF4

[HangryDev]

https://substack.com/redirect/479e4383-6ccc-4d72-9cdb-6af3b7b2fbf4?j=eyJ1IjoiMjloemw2In0.-K_Ets4sD1LFAiL1OZdKv2LZUCiNIVGa6ehgFOSAW9E

인간대 ai 모델 실험입니다! 일반적인 코딩 능력부터 엣지 케이스 고려하는 것 까지를 커버해요. Ai copilot을 어떻게 디자인 해야할지 생각해볼 수 있게 됩니다.

한장 요약;

[Garurubi]

https://www.reddit.com/r/LocalLLaMA/comments/1fno6d4/open_dataset_release_by_openai/

openAI에서 MMMLU(Massive Multitask Language Understanding)이라는 벤치마크 데이터셋을 공개했습니다.
이 데이터셋은 197k개로 MMLU의 데이터셋을 14개의 언어로 번역해서 구축한 데이터셋입니다.
openAI가 오랜만에 공개했지만 벤치마크치고 데이터가 너무 많고 단순 번역만 수행한 느낌이라 주목받지는 못하고 있네요.

[deliciouscat]

AI 서비스의 수익성에 대한 의심에 대해 반박하는 도표입니다!
근데 지금은 LLM api 제공처들의 프로모션 기간이라는 점도 생각해야 할 것 같아요.

https://www.linkedin.com/posts/golbin_ai-%EA%B8%B0%EC%97%85%EC%9D%B4-%EB%8F%88%EC%9D%84-%EB%AA%BB%EB%B2%88%EB%8B%A4%EB%8A%94-%EC%A3%BC%EC%9E%A5%EC%97%90-%EB%8C%80%ED%95%9C-%ED%8C%8C%EC%9D%B4%EB%82%B8%EC%85%9C-%ED%83%80%EC%9E%84%EC%A6%88%EC%9D%98-%EB%B0%98%EB%A1%A0-%EC%9C%A0%EB%A3%8C-activity-7245633747323101184-9b-C?utm_source=share&utm_medium=member_ios

[HangryDev]

2024/10/4 이번 주 다룰 내용들!
대댓글로 달아주세요.

[HangryDev]

https://www.ai-supremacy.com/p/is-notebooklm-the-chatgpt-moment notebooklm 이 본격적으로 유저 트랙션을 받고 있는 것 같습니다!! 유저들이 학습하는 내용을 보조하는 ai 실험 툴로 등장했지만 현재는 일반 소비자들도 자기 지식베이스에 효과적으로 rag를 구축할 수 있는 툴로 주목받고 있는 것 같습니다

[Garurubi]

https://www.genspark.ai/autopilotagent

Genspark Autopilot Agent 라는 검색 서비스 입니다. 검색어를 입력하면 Agent를 활용해 여러 사이트에서 정보를 검색하고 분석 및 교차 검증을 반복적으로 수행해 최종 결과를 만들어냅니다. 아직은 검색 결과가 그렇게 만족스럽지 못하지만 나중에는 이런 서비스가 기존의 검색엔진을 대체하지 않을까 싶습니다. Perplexity 유료 버전에도 비슷한 기능이 있다고 하는데 이건 무료입니다.

[deliciouscat]

https://medium.com/insiderengineering/utilizing-gan-models-for-query-expansion-7e25d2028513

GAN으로 Query Expansion하는 모델에 대한 글입니다.

[hidden719]

https://github.com/anthropics/courses/tree/master/prompt_evaluations
앤트로픽에서 나온 프롬프트 evaluation에 대한 강의
https://openai.com/index/introducing-canvas/
오픈 AI의 캔버스 출시

[yunha-p]

https://yozm.wishket.com/magazine/detail/2781/

AI 모더레이터 툴 리뷰입니다.

최근 UX리서치에 AI툴들이 많이 사용되고 있다고 해서, UX 리서처와 AI가 함께 협업하여 사용자 데이터를 기반으로 디지털 프로덕트와 서비스 전략을 설계하는 pxd의 사례를 찾아봤습니다. 다양한 리서치 분야 중, 특히 인터뷰 진행 과정에서 AI툴의 활용이 증가하고 있다고 합니다.
AI툴들은 UX 리서치의 효율성을 높일 수 있지만, 인간의 미묘한 감정, 비언어적 신호, 문화적 맥락을 이해하거나 휴리스틱한 부분들에 대해서는 아직 한계가 있다고 하네요!

[HangryDev]

10/11일 이번 주 뉴스! 여기다 올려주세요

[Garurubi]

https://ai.meta.com/blog/movie-gen-media-foundation-models-generative-ai-video/

Meta에서 출시한 비디오 생성 모델 Movie Gen입니다. text to video(30B), image to video, editing video, generate audio(130B) 이렇게 4가지의 기능을 수행하는 모델이라고 합니다. 앞으로 모델 추로 시간을 단축하고 최적화 하는 과정에서 영화 제작자 및 creator들과 협력하여 그들의 피드백을 통합할 것이라고 합니다. Meta에서는 이 모델을 본인들의 sns 서비스에 통합하여 아래 예시와 같은 미래를 그리고 있는것 같습니다.

• 하루 일과를 애니메이션으로 만들어서 릴스로 공유
• 친구에게 맞춤형 애니메이션 생일 인사를 만들어 보내기

[HangryDev]

https://www.ai-supremacy.com/p/the-google-for-work 이 글은 Glean이라는 AI에 회사에 소개하고 있어요. 지금 파악한 바로는 사내 검색엔진 + LLM 솔루션(=RAG)을 파는 회사입니다. 저는 초반에 샘 알트만이 VC들한테 '이 회사는 지지하지 말아주세요' 라는 블랙리스트(?)에 올라갔다는 부분이 흥미로왔어요. 회사를 자동화하는 측면에서 무척 뜨는 솔루션인가봅니다. 관심깊게 팔로업해봐야겠어요

[stats-dev]

https://www.youtube.com/watch?v=CyOL_4K2Nyo
2024년 인공지능 상태 보고서의 주요 내용을 정리한 영상으로, 인공지능 기술의 발전 현황과 미래 예측을 다룹니다. 이 보고서는 다양한 AI 모델의 발전과 연구 동향, 그리고 이와 관련된 투자 비용과 환경 문제 등에 대한 심도 있는 통찰을 제공합니다. 특히, AI가 미래의 과학적 발견과 사회적 문제 해결에 미칠 영향에 대한 경고와 논의를 하고 있어요.

[deliciouscat]

https://www.linkedin.com/posts/golbin_dario-amodei-machines-of-loving-grace-activity-7250726648482840577-YL7L?utm_source=share&utm_medium=member_desktop
다리오 아모데이(앤트로픽 CEO)가 AI가 세상을 어떻게 바꿀지에 대해 장문의 글을 썼습니다.
글이 너무 길어서 다 읽진 못했지만 역시 뉴로사이언스 하시던 분이라는게 느껴지네요.
요약: https://getliner.com/ko/search/s/18821459/t/68377811?msg-entry-type=main

[yesinkim]

https://www.medrxiv.org/content/10.1101/2024.03.12.24303785v1.full

잠깐 공유 했던 GPT-4를 사용한 진단 예측 연구입니다. 인공지능의 잠재성에 대해서 한번 더 생각해볼 수 있습니다.

• GPT-4 alone
  In the three runs of GPT-4 alone, the median score per case was 92.1 percentage points (IQR 82.2 to 97.4). Comparing GPT-4 alone to the human with conventional resources group found a score difference of 15.5 percentage points (95% CI 1.5 to 29.5 percentage points; p=0.03) favoring GPT-4 alone (Supplementary 4, eTable 4).

[Yushin-L]

10/19일 이번 주 뉴스 정리입니다~

https://arxiv.org/abs/2407.14933 '데이터 코몬스', 즉 모두가 쓸 수 있는 양질의 공공재 학습 데이터가 AI 개발자들에 대해 문을 닫고 있습니다. 일년간 이런 사이트들의 45%가 약관으로 학습하지 말라고 막아놨답니다.. ㅠㅠ 오픈 소스 기여자들의 동기부여를 해치지 않는 방안에 대한 실험이 필요할 것 같습니다.

https://news.hada.io/topic?id=17228 팔란티어서 일한 분의 이야기입니다! 팔란티어는 엔비디아 다음이 될 수 있다(?)는 설이 도는, 파견근무 많이 나가는 빅데이터 솔루션 회사랍니다! Forward Deploy Engineer의 경험이 창업으로 이어진다는 부분, 특유의 문화적인 부분들에 대한 인사이트가 인상적이었습니다.

https://news.hada.io/topic?id=17294 컨텐츠 파는 비즈니스는 별로다... 고 컨텐츠로 수익 낸 사람이 회고하는 글입니다. 혹시 유튜브 하시려는 분들 있으면 꼭 읽으시구, 아니면 흥미 위주로 추천드립니다.

https://youtu.be/LBih635lzps?si=fmlIB3qJkv-wKYvM OpenAI Swarm입니다! OpenAI 모델을 활용한 경량 멀티 에이전트 오케스트레이션 프레임워크로, 에이전트 간의 핸드오프와 루틴을 통해 에이전트 간 협업을 구현합니다. 상태 머신 기반으로 설계되어 사용자 정의가 용이하며, 에이전트와 핸드오프라는 두 가지 추상화를 통해 에이전트 조정 및 실행을 제어 가능합니다. 원리를 소개하는 글이므로, 이 참에 영상 한번 봐두시면 좋겠습니다.

https://arxiv.org/abs/2310.04475 : 대규모 언어 모델(LLM)을 활용하여 임베딩 공간을 해석 가능하게 만드는 방법을 제시합니다. LLM을 통해 임베딩을 이해 가능한 설명으로 변환하여 복잡한 임베딩 데이터에 대한 질의 및 탐색을 가능하게 합니다. 본 연구는 임베딩의 정보 잠재력과 LLM의 해석 능력을 결합하여 다양한 작업에서 임베딩의 해석성을 향상시킵니다.

https://arxiv.org/abs/2410.07095: OpenAI에서 공개한 머신러닝 에이전트 평가를 위한 벤치마크 MLE-bench입니다. 모델학습, 데이터 셋 준비, 실험 테스트 등 머신러닝 엔지니어링 기술을 측정하도록 설계되었습니다. Kaggle 75개의 대회에서 o1-preview 모델은 동메달 수준의 성적을 거두었다고 합니다.

오늘의 토론: RAG도 유니버설 솔루션이 나올 수 있을까?
운영체제를 개별 회사에서 개발하는 일이 없듯이, RAG도 전가의 보도가 언제 나올 수 있을까에 대해서 이야기 나눠봤습니다. 한 쪽에서는 앞으로 5년 내는 힘들 것 같다 - 인덱싱과 크롤링은 사람 손을 탈 것이라는 이야기를 말씀주셨고, 다른 쪽에서는 agent가 나오면 그 부분까지도 강화 정렬하여 가능할 수도 있지 않을까 (그리고 그게 AGI 아닐까) 하는 의견 주셨습니다.

[Garurubi]

https://arxiv.org/abs/2410.07095

OpenAI에서 공개한 머신러닝 에이전트 평가를 위한 벤치마크 MLE-bench입니다. 모델학습, 데이터 셋 준비, 실험 테스트 등 머신러닝 엔지니어링 기술을 측정하도록 설계되었습니다. Kaggle 75개의 대회에서 o1-preview 모델은 동메달 수준의 성적을 거두었다고 합니다.

[stats-dev]

11/2(토) 뉴스를 정리해봅시다!

[hidden719]

https://www.analyticsvidhya.com/blog/2024/09/guide-to-building-multimodal-rag-systems/

멀티모달 rag 시스템 관련 블로그 글입니다.

[deliciouscat]

https://www.linkedin.com/posts/gim-gyungjin-7430aab4_the-future-of-ai-is-here-fei-fei-li-unveils-activity-7250796645833945088-qDhN?utm_source=share&utm_medium=member_desktop
왜 언어가 아닌 이미지 기반으로 World Model을 만들려고 하는지에 대한 대담입니다. 이 외에 김경진님께서 링크드인에 좋은 글들 많이 올리시니 같이 보시면 좋을 것 같습니다.

[Garurubi]

https://github.com/meta-llama/llama-recipes/tree/main/recipes/quickstart/NotebookLlama

Llama 모델로 notebookLM과 같이 구성한 notebookLlama 입니다. PDF 처리에는 1B, 팟캐스트 스크립트 작성에는 70B, 스크립트를 좀 더 드라마틱하게 수정하는데는 8B, 최종적으로 TTS로 대화형 팟캐스트를 생성합니다.

[stats-dev]

11/9(토) 뉴스를 정리해봅시다!

[deliciouscat]

Character.ai의 나무위키 문서인데, ai 채팅 관련한 갈등이 흥미로운 부분이 많은 것 같습니다
https://namu.wiki/w/Character.AI

[stats-dev]

캐릭터 AI의 문제 사례 입니다.
https://www.hani.co.kr/arti/international/international_general/1164119.html

[HangryDev]

11/16 (토) 이주의 뉴스를 정리해봅시다!

---

[HangryDev]

오랜만에 올리는 커리어 관련 기사입니다. AI 분야에서 왕성하게 활동하는 전문가들의 회고와 조언이 인터뷰 형식으로 들어가 있습니다. 뉴스레터 잘 써서 일자리를 얻었다는 부분이 재밌네요 ㅎㅎ 다른 기업 분들은 어떻게 일하는지 엿볼 수 있는 점이 좋습니다. 대기업에서 AI 코드 짜는 분의 일반적인 이야기도 있지만, 도메인의 문제를 해결하는 회사를 세워서 접근하는 분들의 이야기를 관심있게 봤습니다. https://open.substack.com/pub/societysbackend/p/what-its-like-to-work-in-ai?r=29hzl6&utm_campaign=post&utm_medium=email

[deliciouscat]

LLM-as-Judge에 대한 고찰(?) 입니다. 평가 방식에 큰 변화가 필요하지 않은지를 제안하고 있어요.
https://www.linkedin.com/posts/byeongheon-lee-2b83aa222_llm%EC%9D%84-%ED%8F%89%EA%B0%80%ED%95%98%EB%8A%94-%EB%8D%B0-llm%EC%9D%84-%ED%99%9C%EC%9A%A9%ED%95%98%EB%8A%94-llm-as-a-judge-%ED%8A%B8%EB%A0%8C%EB%93%9C%EC%99%80-activity-7258525798356148225-qxj4?utm_source=share&utm_medium=member_desktop

[YunSeok-Kang]

3D 장면 편집 분야에서 재밌는 논문이 나와서 소개드려요. LLM과 3D 재구성 기술, Blender 툴의 결합으로 텍스트 프롬프트를 통해 3D 장면 편집을 가능케 하는 기술입니다.

AutoVFX: Physically Realistic Video Editing from Natural Language Instructions
https://haoyuhsu.github.io/autovfx-website/

[stats-dev]

12/7 (토) 이주의 뉴스를 정리해봅시다!

[Garurubi]

https://discuss.pytorch.kr/t/meta-llm/5625

Meta와 같은 큰 조직에서 코드를 수정했을 때 발생할 수 있는 사이드 이펙트는 상상하기 어렵습니다. 그래서 Meta에서는 Llama 7B를 활용해 문제의 원인을 분석할 수 있게 시스템을 구성했고 42%의 정확도가 나왔다고 합니다.

[seojw9292]

https://www.chosun.com/economy/science/2024/08/07/LVHWIHFA37QYFWZ5INKE5FSQWM/

1. AI 기술의 성과
   구글 딥마인드의 AI 시스템인 GraphCast는 허리케인 베릴의 경로를 정확히 예측하며, 기존 슈퍼컴퓨터보다 빠르고 효율적인 성과를 보였습니다. GraphCast는 10일치 예보를 1분 내에 완료할 수 있는 성능을 자랑하며, 단기 예보(1주~10일)에서는 슈퍼컴퓨터를 능가하는 정확도를 입증했습니다. 이 AI 시스템은 일반 PC에서도 작동 가능하며, 비용 절감과 높은 정확도를 동시에 제공하는 것이 주요 강점으로 꼽힙니다.

2. 글로벌 AI 기상예보 경쟁
   기상예보 시장은 빠르게 성장하고 있으며, 2023년 19억 달러에서 2028년 28억 달러로 연평균 10%의 성장이 예상됩니다. NVIDIA는 디지털 트윈 지구 기술을 활용한 'Earth-2' AI를, Microsoft는 공기오염 예측에 특화된 'Aurora'를 개발하며 시장에 참여하고 있습니다. Google 역시 단기와 장기 예보의 장점을 결합한 '뉴럴 GCM'을 공개하며 경쟁에 뛰어들었습니다. 이들 AI 기술은 GPU를 활용해 빠른 학습 및 처리 속도를 자랑하며, 단기 예보에서 기존 수치예보모델보다 높은 효율성을 보여주고 있습니다.

3. 한국의 AI 기상예보 개발
   한국도 AI 기상예보 기술 개발에 박차를 가하고 있습니다. 국립기상과학원과 KAIST는 '알파웨더(AlphaWeather)'라는 초단기 강수 예측 모델을 개발해 6시간 이내 강수 예측을 실증하고 있습니다. 또한, KIST는 '카리나(Karina)'라는 모델을 통해 장기적인 기상 예측과 산업계 활용 데이터를 제공하는 것을 목표로 하고 있습니다. 이러한 프로젝트는 기존 슈퍼컴퓨터 중심의 예보 체계를 혁신하고, 더 효율적이고 정교한 예보 시스템을 구축하는 데 기여할 것으로 기대됩니다.

[stats-dev]

12/14(토) 이주의 뉴스를 정리해봅시다!

[stats-dev]

https://www.youtube.com/watch?v=iBfQTnA2n2s

1. OpenAI, 새로운 o1-pro 서비스 출시
   OpenAI의 혁신적인 모델인 01과 새로운 프로 서비스의 출시에 대한 설명을 담고 있습니다. 모델은 속도와 정확성을 개선하여 복잡한 문제 해결에서 한층 더 나은 성능을 보입니다. 특히, 이번 출시에서는 텍스트와 이미지 입력이 가능해지는 멀티모달 기능이 추가되어 사용 경험을 더욱 향상시켰습니다. 또한, Power user를 위한 ChatGPT Pro 서비스가 도입되어 무제한 접근과 더 높은 성능을 경험할 수 있는 기회를 제공합니다. 이 모든 업데이트는 사용자들에게 더욱 효율적이고 유용한 도구가 될 것입니다.

[stats-dev]

https://www.youtube.com/watch?v=yCIYS9fx56U

2. Reinforcement Fine-Tuning : 강화학습 파인 튜닝(RFT)
   이 모델은 사용자들이 자신의 데이터셋에 맞게 조정할 수 있도록 해 주며, 특히 강화 학습 알고리즘을 활용해 특정 분야에서 전문성을 갖출 수 있게 돕습니다. 강력한 성능 향상을 보여줄 수 있으며, 특히 희귀 질병 관련 연구와 같은 복잡한 작업에서 그 효과를 기대할 수 있습니다. 이 컨텐츠는 사용자들이 AI 모델을 통해 실질 문제 해결에 더욱 밀접하게 참여할 수 있는 기회를 제공합니다. 마지막으로, 강화 학습을 통해 알고리즘이 어떻게 발전해 나갈 수 있는지를 보여주는 좋은 예시입니다

[YunSeok-Kang]

페이페이 리 교수님을 필두로 레전드끼리 모여 창업한 스타트업, World labs에 대해 소개해보고자 합니다.

https://www.worldlabs.ai

[YunSeok-Kang]

비용 효율적인 딥러닝 시대에 대해 논의해보고자 합니다

https://github.com/exo-explore/exo

https://www.geeky-gadgets.com/exploring-the-potential-of-m4-mac-mini-clusters-for-machine-learning/

https://appleinsider.com/articles/24/11/25/m4-mac-minis-in-a-computing-cluster-is-an-incredibly-cool-project-but-not-hugely-effective/amp/

[stats-dev]

이재준님

https://github.com/metaopt/torchopt/tree/main

이번에 뉴립스에서 좋은 논문 + 토치 기반 framework가 나왔네요 ㅎㅎ

[HangryDev]

12/21(토) 이주의 뉴스를 정리해봅시다!

[seojw9292]

OpenAI o3, o3-mini 모델 공개

1. 핵심 요약

• 새 모델 공개
  • 기존 모델 o1의 다음 버전이자 차세대 프론티어 모델인 o3 및 o3-mini가 공개됨
• 주요 특징: “압도적인 성능”
  • 코딩 능력(코드포스, Codeforces) 기준, 인간 전 세계 175위급 최상위권 성적
  • ARC-AGI, Epic AI Frontier Math 등 난이도가 높은 벤치마크에서도 이전 모델 대비 압도적인 성능 개선

---

2. 모델별 상세

2.1. 모델 o3

• 소프트웨어 벤치마크 (SWE-bench Verified): 71.7%
• 경쟁 프로그래밍 벤치마크 (Codeforces): ELO 2727
• 경쟁 수학 벤치마크 (AMY): 96.7%
• PhD 수준 과학 문제 벤치마크 (GPQ Diamond): 87.7% 정확도
• 가장 어려운 수학 벤치마크 (Epic AI Frontier Math): 25% 이상 정확도
  • 기존 모델은 2% 미만이었음
• ARC-AGI 벤치마크: 87.5%
  • 기존 SOTA가 53.5%, 인간 평균이 85%

2.2. 모델 o3-mini

• 추론 노력 조절 옵션: 저(low), 중(medium), 고(high) 총 3가지
• 코딩 벤치마크 (Codeforces) 성능:
  • o3-mini(medium) 버전이 기존 o1보다 우수
• 대기 시간: 크게 감소 (GPT-4와 유사한 수준)
• 라이브 데모:
  • 즉석으로 UI 및 API 서버를 만들고, GPQA 벤치마크를 스스로 측정하는 시연 진행

---

3. 안전성 테스트

• o3 및 o3-mini에 대한 공개 안전성 테스트를 시작
• 안전성·보안 연구자 대상 신청:
  • 1월 10일까지 신청 가능

---

[HangryDev]

2024/12/28 올해 마지막!
대댓글로 달아주세요~~

[HangryDev]

TL;DR

Open Source LLMs

• CogAgent-9B (Project, Github)
• Qwen QvQ 72B - open weights visual reasoning (X, HF, Demo, Project)
• GoodFire Ember - MechInterp API - GoldenGate LLama 70B
• 🔥 DeepSeek v3 658B MoE - Open Source Claude level model at $6M (X, Paper, HF, Chat)

Big CO LLMs + APIs

• 🔥 OpenAI reveals o3 and o3 mini (Blog, X)
• X.ai raises ANOTHER 6B dollars - on their way to 200K H200s (X)

This weeks Buzz

Two W&B workshops upcoming in January

• SF - January 11

• Seattle - January 13 (workshop by yours truly!)

• New Evals course with Paige Bailey and Graham Neubig - pre-sign up for free

Vision & Video

• Kling 1.6 update (Tweet)

Voice & Audio

• Hume OCTAVE - 3B speech-language model (X, Blog)

Tools

• OpenRouter added Web Search Grounding to 300+ models (X)

[HangryDev]

2025/1/4 새해 첫 소식들!
대댓글로 달아주세요~~

[deliciouscat]

새해 소식은 역시 DeepSeek v3 소식 아닐까요? 4o에 필적하는 오픈소스모델..!
https://news.hada.io/topic?id=18560

[Garurubi]

https://arca.live/b/alpaca/124777918?p=1
super weight라는 핵심 가중치가 있다는 내용의 논문을 정리한 글입니다. LLM의 동작원리를 파악하기 위해 연구되고 있는 부분중 하나로 보입니다. 경량화 측면에서도 매우 의미있는 개념이라고 생각됩니다.

[Yushin-L]

2025/1/12 이주의 소식들!
대댓글로 달아주세요~~

[hidden719]

LLM을 통한 업무자동화를 잘한 사례중 하나가 아닐까 싶습니다. 이미 나온 툴을 잘 사용하는 것도 정말 중요한 것 같아요.

https://youtu.be/US8B5LxHl7Y?si=swZRCSzf0NWew-QD