AI新闻动态（2024-09-22到2024-09-28)

[ikaijua]

AI新闻动态（2024-09-22到2024-09-28)

目录

AI产品

1. OpenAI发布GPT-4o高级语音功能
2. Meta推出新一代模型Llama 3.2
3. 字节跳动发布两款视频生成大模型：PixelDance和Seaweed
4. GitHub 官宣在 VSCode 中为 GitHub Copilot Chat 开放 o1-preview 和 o1-mini
5. 多邻国（Duolingo）推出AI视频通话的AI口语对练功能
6. 支付宝进军大模型医疗应用
7. 美图AI向所有用户开放短片创作工具MOKI

AI研究

1. 谷歌发布一个语音克隆的研究，仅需几秒的参考音频，即可实现声音克隆
2. 北大与阿里联合开发了奥数水平数学评测基准 Omni-MATH

AI洞察

1. OpenAI动荡一周，CTO米拉·穆拉蒂（Mira Murati）和两位研究员高管宣布离职
2. Meta Connect 2024大会
3. OpenAI o1研发团队采访
4. 李飞飞创业之后首个专访：视觉空间智能与语言一样根本
5. 三只羊公司卢某录音门事件的调查结果：警方通报确认录音是由AI生成的

[ikaijua]

2024-09-26 OpenAI动荡一周，CTO米拉·穆拉蒂（Mira Murati）和两位研究员高管宣布离职

1. OpenAI CTO Mira宣布离职，结束了六年半的任职。
2. OpenAI计划重组，取消非营利性董事会的控制权，CEO萨姆·阿尔特曼将获得股权。
3. 此外，OpenAI 首席研究官 Bob McGrew和OpenAI 后训练研究副总裁 Barret Zoph也官宣了离职。
4. 今年已有11位高管离职，包括联合创始人Ilya Sutskever和John Schulman。OpenAI总裁格雷格·布罗克曼也在休假中。
5. 人事变动和公司可能的转型引发了外界对OpenAI未来方向的关注。

米拉·穆拉蒂的离职发文：

以下为转译内容：

大家好，

我有事情想和大家分享。经过深思熟虑，我做出了一个艰难的决定：离开OpenAI。

我在OpenAl团队工作的六年半对我来说是无比珍贵的经历。
虽然在接下来的日子里我会向许多人表达我的感激之情，但我想首先感谢Sam和Greg，
感谢他们信任我领导技术团队，并给予了我巨大的支持。

离开一个珍爱的地方从来没有一个理想的时间，但此刻对我来说是合适的。
我们最近发布的实时语音交互和OpenAI o1模型标志着交互和智能新时代的开始，这些成就是由你们的智慧和精湛技艺实现的。
我们不仅建立了更智能的模型，而且从根本上改变了AI系统在复杂问题中的学习和推理的方式。
我们将安全研究从理论层面带入到实际应用中，创造了比以往更加稳健、一致和更易控制的模型。
我们的工作使尖端的AI研究变得直观和易于访问，开发了基于每个人输入不断适应和进化的技术。
这一成功是我们杰出的团队合作的见证，正是由于你们的才华、奉献和承诺，OpenAI才能站在AI创新的顶峰。

我选择离开是因为我想腾出时间和空间来进行自我探索。
目前，我的首要任务是尽我所能确保顺利过渡，保持我们已经建立起来的势头。

我将永远感激有机会与这个了不起的团队一起建设和工作。
我们一起推动了科学理解的边界，以提升人类福祉而努力。
虽然我可能不再与你们并肩作战，但我依然会为你们加油打气。

衷心感谢我们结下的友谊、取得的成就，最重要的是，共同克服的挑战。

Mira

• Mira在X上的发文：https://x.com/miramurati/status/1839025700009030027

媒体文章：

• 量子位：突发！OpenAI CTO离职，同日奥特曼被曝将获得股权
• 机器之心：OpenAI CTO Mira Murati离职，高层动荡继续
• 机器之心：CTO前脚刚走，OpenAI后训练负责人、首席研究官也走了，网传公司要给奥特曼7%股权
• 机器之心：OpenAI人事地震24小时，奥特曼盟友Greg休假中发声，网友：你留下吗？
• 机器之心：苹果反水：OpenAI的1500亿「史上最大」融资轮，难了
• 量子位：OpenAI连丢3高管，光杆司令奥特曼紧急扶持华人上位！半年流失15员大将
• 量子位：OpenAI高管震荡内幕：CEO无视安全仓促上马4o，员工每天干20小时赶进度，追名逐利不再理想主义

[ikaijua]

2024-09-22 OpenAI o1研发团队采访

1. OpenAI 的 o1 是一个强大的推理模型，超越了人类专家。
2. o1 将强化学习和监督学习两种范式结合起来。
3. o1 项目的关键人物包括 Jakub Pachocki、Łukasz Kaiser 和 Jerry Tworek。
4. o1 的关键时刻是 Jerry Tworek 整合了早期探索并推动项目。
5. o1 在数学和科学问答方面表现出色，能够质疑自己并进行反思。
6. 训练 o1 的挑战包括模型规模大、偏见和验证困难。
7. o1 可用于编程、调试、学习、头脑风暴和改进内部想法。

youtube视频：Building OpenAI o1 (Extended Cut)
B站视频：[中英字幕] OpenAI o1 官方视频

媒体文章：

• 机器之心：o1 研发团队完整采访：Ilya早期曾参与，灵感源于AlphaGo

[ikaijua]

2024-09-23 李飞飞创业之后首个专访：视觉空间智能与语言一样根本

1. 李飞飞创立了空间智能公司 World Labs后接受 a16z 的专访，探讨空间智能的重要性。
2. 李飞飞认为AI目前正处于一个激动人心的时刻，类似于寒武纪大爆发，AI技术在文本、图像、视频和音频等多个方面都取得了显著进展。
3. 李飞飞认为视觉空间智能被认为与语言同样根本。AI 的终极目标包括在三维空间中感知和行动。
4. 未来期望实现完全动态的三维世界生成，未来技术应用包括游戏、教育和增强现实。

youtube视频：a16z/“The Future of AI is Here” — Fei-Fei Li Unveils the Next Frontier of AI
B站视频：Web3天空之城/"AI的未来就在这里"| 李飞飞最新九月a16z投资人访谈【高清收藏·中英字幕】

媒体文章：

• 机器之心：李飞飞创业之后首个专访：视觉空间智能与语言一样根本

[ikaijua]

2024-09-24 字节跳动发布两款视频生成大模型：PixelDance和Seaweed

1. 模型基于全新DiT扩散模型架构，能够精准理解复杂提示词，且具备高保真高美感的影视级生成水准，解决了多个主体运动的复杂交互，保持多镜头切换内容的一致性难题。
2. 镜头多样，变焦、环绕等控制视角灵活，细节丰富。
3. 支持多种风格，包括黑白、3D动画等，细节表现到位。
4. 新款豆包视频生成模型正在即梦 AI 内测版小范围测试，未来将逐步开放给所有用户。
5. 在火山引擎可以申请体验，地址：console.volcengine.com

媒体文章：

• 机器之心：字节版Sora终于来了！一口气两款视频模型，带来的震撼不只一点点
• 量子位：字节版Sora火爆24小时，同名论文再次被热议
• 钛媒体：“中国版Sora”再落一子，火山引擎如何赢战中国AI大模型下半场？

[ikaijua]

2024-09-25 OpenAI发布GPT-4o高级语音功能

1. 语音多模态效果整体不错，能说方言，能模拟人声。可以用作英语口语指导，能告诉你哪里该重读哪里该轻读，但是一些音节发音的错误会被忽略。
2. OpenAI宣布向Plus和Team用户开放GPT-4o高级语音功能，但免费用户无法体验。
3. Plus用户需支付20美元/月，Team用户支付30美元/月，拥有更多使用次数。
4. 新功能包括自定义指令、记忆、五种新声音和改进的口音，支持50多种语言。
5. 演示视频中展示了用户与模型的流畅对话，GPT-4o甚至用中文进行交流。
6. 新推出的声音命名为Arbor、Maple、Sol、Spruce和Vale，由世界各地的专业配音演员制作。

媒体文章：

• 机器之心：终于来了！OpenAI开放GPT-4o高级语音，还用中文说「对不起」
• APPSO：ChatGPT 高级语音模式首批体验来了！网友玩坏了，但还是个阉割版

[ikaijua]

2024-09-26 Meta推出新一代模型Llama 3.2

1. 包括支持图像推理任务的新一代Llama 11B和90B模型。
2. 可在边缘和移动设备上运行的轻量级模型Llama 3.2 1B和3B。
3. 发布Llama Stack Distribution，集成了多个API提供者。
4. Llama 3.2视觉模型评估数据发布，表现优于业界领先模型。
5. Meta训练了支持图像输入的全新模型架构和适应器权重。
6. 发布了一系列性能提升的轻量级Llama模型，通过剪枝和蒸馏技术减少模型体积。

模型：https://huggingface.co/collections/meta-llama/llama-32-66f448ffc8c32f949b04c8cf
11B在线体验：https://huggingface.co/spaces/huggingface-projects/llama-3.2-vision-11B

官方博客：https://ai.meta.com/blog/llama-3-2-connect-2024-vision-edge-mobile-devices/

媒体文章：

• 机器之心：刚刚，Llama 3.2 来了！支持图像推理，还有可在手机上运行的版本

[ikaijua]

2024-09-23 北大与阿里联合开发了奥数水平数学评测基准 Omni-MATH

1. Omni-MATH 包含 4428 道竞赛级别问题，覆盖 33 个子领域和 10 个难度级别。
2. o1-mini 小型模型在 Omni-MATH 上的表现优于 o1-preview。
3. 开源模型 Qwen2-MATH-72b 超过了 GPT-4o 的表现。
4. Omni-MATH 数据经过人工验证，难度分类清晰合理，题目类型广泛。
5. Omni-MATH 提供了开放的答案验证器 Omni-Judge。

项目地址：https://github.com/KbsdJames/Omni-MATH/

媒体文章：

• 量子位：北大AI奥数评测，o1-mini比o1-preview分数还高

[ikaijua]

2024-09-28 支付宝进军大模型医疗应用

1. 支付宝在医疗AI领域有四个切入点：医保问答、全科医生、院内服务串联、专科智能体。
2. 支付宝医疗大模型在中英文医疗考试、基准测试达到或超过GPT-4水准。
3. 医疗领域中，情感、道德和人文关怀非常重要，AI的主要作用是提高效率。
4. 数据处理是大模型医疗应用的最大挑战，需要两到三年时间解决。
5. 专科智能体的挑战在于数据问题，需要医生参与数据标注和改写。
6. 创业公司在医疗AI领域仍有机会，关键是找到合适的切入点。
7. 支付宝医疗AI的评测标准包括专业性、事实性、完整性和用户体感。

媒体文章：

• 量子位：支付宝进军大模型医疗应用，技术一号位：我们有4个切入点

[ikaijua]

2024-09-26 美图AI向所有用户开放短片创作工具MOKI

1. MOKI专注于AI短片创作，支持动画短片、网文短剧、故事绘本、MV等多种视频内容。
2. 使用MOKI创作短片只需三步：输入故事梗概或导入脚本、自动生成分镜脚本和画面、一键生成视频。
3. MOKI具备AI驱动的脚本、分镜、视频生成、配音、配乐能力，简化了创作流程。
4. 内测用户反馈MOKI在理解中文语意和东方视觉风格上表现出色。
5. 美图奇想大模型（MiracleVision）升级后，MOKI支持1分钟长视频生成，并计划提供4K分辨率和自定义图片生成视频等功能。
6. 视频生成上会有些画面异常和人脸变形的前况，可以尝试不同的风格看看。

MOKI官网：www.moki.cn

美图官方公众号：美图公司旗下MOKI全面开放，重塑AI短片创作工作流

[ikaijua]

2024-09-22 GitHub 官宣在 VSCode 中为 GitHub Copilot Chat 开放 o1-preview 和 o1-mini

1. 用户可在 Github Models 模型托管平台选择使用 o1-preview 和 o1-mini。
2. o1 是 OpenAI 最新发布的大模型，具备强大的推理和编程能力。
3. o1-preview 在数据分析、编程和数学等推理能力上受欢迎程度高于 GPT-4o。
4. 用户现在可以在 VS Code 中选择使用 o1-preview 或 o1-mini 支持 Copilot Chat。

Github博客文章：Try out OpenAI o1 in GitHub Copilot and Models

媒体文章：

• 机器之心：别Cursor了，集成o1的GitHub Copilot让网友直呼要回归

[ikaijua]

2024-09-22 谷歌发布一个语音克隆的研究，仅需几秒的参考音频，即可实现声音克隆

支持合成跨语言的音频。目前没有开源，仅有Demo和论文。

项目地址：https://google.github.io/tacotron/publications/zero_shot_voice_transfer/
论文：https://arxiv.org/abs/2409.13910

[ikaijua]

2024-09-25 多邻国（Duolingo）推出AI视频通话的AI口语对练功能

视频通话功能允许用户与多邻国角色Lily进行对话练习，内容会根据用户语言水平调整

youtube视频介绍：Duolingo/Video Call: Real Chats With Lily

[ikaijua]

2024-09-26 Meta Connect 2024大会

1. 扎克伯格在大会上展示了Meta在元宇宙和AI领域的最新进展。
2. Meta Quest 3S发布，作为开场新品，Quest 3S VR眼镜以299.99美元的价格发布，比Quest 3便宜200美元，但配置相近。
3. AI大模型Llama 3.2：Meta发布了AI大模型Llama的最新3.2版本，提供视觉多模态能力，并联合AI语音对话能力AI Voice。
4. AI应用展示：Meta展示了AI实时翻译和实时AI数字人等应用，这些应用在业界解决方案上更进一步，有成为杀手级应用的潜力。
5. AR眼镜Orion：被称为地表最强AR眼镜的Orion发布，Orion AR眼镜重量轻，需要通过腕带和计算主体协同工作，提供全息投影和AI交互功能，但续航时间有限。
6. 雷朋眼镜更新：Meta与雷朋合作的二代AI眼镜增加了更多AI功能，如实时人工智能图像识别和语言翻译。

youtube视频：Meta Connect 2024
B站视频：Web3天空之城/【精校完整版】Meta Connect 2024开发者大会全程【中英字幕】

媒体文章：

• 腾讯科技：一文读懂Meta Connect 2024：小扎称地表最强AR眼镜来了

[ikaijua]

2024-09-28 三只羊公司卢某录音门事件的调查结果：警方通报确认录音是由AI生成的

1. Reecho 睿声公司声称与事件相关，是使用该公司的语音克隆工具合成的，并晒出了警方的调查证据通知书。
2. 该公司是一个TTS模型生成网站。
3. AI语音合成技术已经相当成熟，能够克隆人的音色和语气。
4. TTS技术广泛应用于AI数字人、有声书、视频配音等领域。
5. AI语音技术的潜在风险：技术进步同时带来了滥用风险，如诈骗等犯罪行为。

B站视频：【【言域科技/睿声】对于三只羊AI录音门事件的回应-哔哩哔哩】 https://b23.tv/15gtOOf)

媒体文章：

• 差评君：三只羊“财色录音”是假的，但背后技术是真的恐怖。