AI新闻动态（2024-07-28到2024-08-03)

[ikaijua]

AI新闻动态（2024-07-28到2024-08-03)

目录

AI产品

1. Meta发布了Segment Anything Model 2 (SAM 2)，可以实时分割静态图像和动态视频内容
2. 字节上线AI音乐创作产品“海绵音乐”
3. OpenAI 向部分 ChatGPT Plus 用户开放了高级语音模式，首次提供 GPT-4o 的超现实音频响应
4. 谷歌新推出实验版本AI模型Gemini 1.5 Pro
5. 谷歌开源新型端侧小模型Gemma 2 2B
6. GitHub推出新功能“GitHub Models”，提供AI大模型的试用平台
7. 巴黎奥运会首次广泛应用AI技术，展示了中国科技的力量
8. Stable Diffusion原班人马的黑森林实验室发布图片生成模型FLUX.1
9. 斯坦福大学学生创建arXiv论文讨论平台alphaXiv

AI洞察

1. 苹果发布AI模型训练细节
2. 黄仁勋与扎克伯格在SIGGRAPH 2024大会上对话，讨论AI的未来及其在技术创新中的作用
3. AI专家李沐在B站复更并解读Llama 3.1论文

AI投资

1. 明星AI独角兽Character.AI被谷歌收购，Transformer作者即两位创始人重返谷歌

[ikaijua]

2024-07-30 Meta发布了Segment Anything Model 2 (SAM 2)，可以实时分割静态图像和动态视频内容

1. SAM 2 可以分割任何视频或图像中的任何对象，甚至是它以前没有见过的对象和视觉域，从而支持各种不同的用例，而无需自定义适配。
2. 该模型在图像分割准确率上超越了前身，并在视频分割性能上实现了更好的结果，同时减少了交互时间。
3. SAM 2采用流式内存设计，适合实时应用，对算力要求较高，但展示了计算效率的进步。
4. Meta发布了一个大型带注释的数据库，包括51,000个视频和600,000个masklets，以支持模型训练。
5. SAM 2将开源并免费使用，遵循宽松的Apache 2.0协议共享代码和模型权重。
6. SAM 2的发布可能会使其他相关技术黯然失色，但模型在处理快速移动对象、遮挡和拥挤场景时仍有挑战。

sam2.mp4

SAM 2的演示体验地址：https://sam2.metademolab.com/demo
官方博客：https://ai.meta.com/blog/segment-anything-2-video/
github地址：facebookresearch/segment-anything-2

媒体文章：

• 机器之心：刚刚，Meta开源「分割一切」2.0模型，视频也能分割了

[ikaijua]

2024-07-31 OpenAI 向部分 ChatGPT Plus 用户开放了高级语音模式，首次提供 GPT-4o 的超现实音频响应

1. 该功能将在 2024 年秋季逐步向所有 Plus 用户推出。
2. 高级语音模式支持多种语言，包括法语、西班牙语和乌尔都语，但中文和德语的表达和口音存在问题。
3. GPT-4o 与旧语音模式不同，是多模态的，能独立处理语音到文本和文本到语音的任务，降低对话延迟。
4. GPT-4o 能感知用户声音中的情绪语调，如悲伤、兴奋等。
5. OpenAI 曾因使用斯嘉丽・约翰逊的声音而引发争议，现高级语音模式使用四种预设语音，避免 Deepfake 争议。
6. OpenAI 引入过滤器阻止生成受版权保护的音频，与外部「红队」成员测试语音功能，将于 8 月发布详细报告。

媒体文章：

• 机器之心：ChatGPT的高级语音模式终于上线了：中文一开口，就暴露了「歪果仁」身份

[ikaijua]

2024-08-01 斯坦福大学学生创建arXiv论文讨论平台alphaXiv

1. 用户可以通过将arXiv的URL中的"arXiv"替换为"alphaXiv"来直接访问对应论文的讨论区。
2. 平台支持用户精准定位到论文的段落或句子，并在该部分发表问题和评论。
3. 用户可以在讨论区发表问题、评论，并与其他用户互动，包括回应、点赞和反对评论。
4. 图灵奖得主Yann LeCun对alphaXiv平台表示赞赏。
5. 论文作者也在alphaXiv上积极参与讨论，回应社区的问题。
6. alphaXiv被认为使研究更易于协作，推动了学术交流的发展。

网站链接：https://alphaxiv.org/

媒体文章：

• 机器之心：arXiv论文可以发「弹幕」了，斯坦福alphaXiv讨论平台上线，LeCun点赞

[ikaijua]

2024-08-04 谷歌开源新型端侧小模型Gemma 2 2B

1. 谷歌发布了Gemma 2 2B模型，这是一个参数数量较少但性能出色的AI模型。
2. 尽管只有20亿参数，在LLM竞技场超过了GPT-3.5和Mixtral-8x7b模型。
3. 谷歌同时构建了安全内容分类器模型ShieldGemma和模型可解释性工具Gemma Scope，以增强模型的安全性和透明度。
4. Gemma 2 2B特别适合端侧设备应用，如在iPhone 15 Pro上运行表现出色。
5. Gemma 2 2B模型开源，提供了灵活的部署选项，可以在多种硬件上运行。
6. Gemma 2 2B的成功挑战了“模型越大性能越好”的传统观念，展示了小模型的潜力。
7. Gemma 2 2B的开发凸显了模型压缩和蒸馏技术的重要性，为创建更小、更高效的AI工具提供了新方向。

下载权重地址：https://huggingface.co/collections/google/gemma-2-2b-release-66a20f3796a2ff2a7c76f98f
Gemma Scope 技术报告：https://storage.googleapis.com/gemma-scope/gemma-scope-report.pdf

媒体文章：

• 机器之心：谷歌开源最强端侧小模型：2B参数越级跑赢GPT-3.5-Turbo，苹果15Pro运行飞快

[ikaijua]

2024-08-04 谷歌新推出实验版本AI模型Gemini 1.5 Pro

1. 谷歌推出了Gemini 1.5 Pro实验版本 (0801) ，并向用户免费提供测试。
2. 在测试中，Gemini 1.5 Pro能够正确回答9.9和9.11哪个数大的问题，但在处理"Strawberry"单词中"r"的数量时出现错误。
3. Gemini 1.5 Pro在LMSYS Chatbot Arena排行榜上以1300分的ELO分数领先，超越了OpenAI的GPT-4o和其他竞争对手。
4. 该模型在多语言任务、数学、Hard Prompt和编码等领域表现出色，尤其在中文、日语、德语、俄语上表现第一。
5. 尽管Gemini 1.5 Pro取得了高成绩，但仍处于实验阶段，可能会在广泛使用前进行修改。
6. 网友对模型的内容提取能力、代码生成能力和推理能力进行了测试，表现出接近GPT-4o和Claude 3.5 Sonnet的能力。

使用地址：https://aistudio.google.com/app/prompts/new_chat

媒体文章：

• 机器之心：谷歌终于赢了OpenAI一回：实验版本Gemini 1.5 Pro超越GPT-4o
• 量子位：谷歌推出Gemini 1.5 Pro（0801实验版），首次夺得lmsys竞技场第一

[ikaijua]

2024-08-04 GitHub推出新功能“GitHub Models”，提供AI大模型的试用平台

1. 支持业界流行的大模型，如微软Phi-3、OpenAI GPT-4o等，未来将添加更多语言、视觉等类型的模型。
2. 个人每天限制150次，每分钟不能超过15次。需要排队申请。
3. 开发者可将模型导入AI项目，降低部署AI模型的门槛。
4. 通过GitHub CLI、GitHub Actions等工具，实现模型的快速集成和部署。
5. 与Azure AI无缝集成，提供企业级安全保护。

网址：https://github.com/marketplace/models

官方博客：Introducing GitHub Models: A new generation of AI engineers building on GitHub

媒体文章：

• 机器之心：从现在起，GitHub上超1亿开发者可直接访问全球顶级大模型，构建AI应用

[ikaijua]

2024-08-04 明星AI独角兽Character.AI被谷歌收购，Transformer作者即两位创始人重返谷歌

1. 谷歌将按照25亿美元估值收购Character.AI投资者股票，高于此前10亿美元估值。
2. Character.AI的创始人Noam Shazeer和Daniel De Freitas将重新加入谷歌，他们之前因对谷歌官僚主义的失望而离开。
3. Noam Shazeer和Daniel De Freitas以及约30人的研究团队将回到Google DeepMind工作。
4. Character.AI将继续作为独立公司存在，其140名员工中的大多数将留下，由临时首席执行官Dominic Perella领导。
5. Character.AI与谷歌签订非独占许可协议，向谷歌提供LLM技术许可。另外协议将为Character.AI提供资金，以继续发展其个性化AI产品。

character.ai博客：https://blog.character.ai/our-next-phase-of-growth/

媒体文章：

• 机器之心：Transformer作者回流谷歌，Character.AI创始团队被「收购」，只要人不要公司
• 量子位：硅谷大模型独角兽打折卖身谷歌！Transformer作者创办，估值179亿，盈利难以预计

[ikaijua]

2024-08-04 巴黎奥运会首次广泛应用AI技术，展示了中国科技的力量

1. 由阿里巴巴与国际奥委会合作制作短片《永不失色的她》，致敬历史上杰出的女性运动员。采用图像超分辨率、图像上色和视频插帧等技术，提升了历史影像的表现。
2. 在巴黎奥运会上，云计算正在替代卫星，成为奥运赛事直播的主要方式。超过三分之二奥运直播信号将通过阿里云支撑的奥运转播云，从巴黎传输到全球200多个国家和地区，走向数十亿观众。
3. “子弹时间”式的回放画面给观赛带了全新的体验。

媒体文章：

• 量子位：燃爆！奥运8分钟AI影片火了，巴赫主席：感谢中国黑科技

[ikaijua]

2024-08-02 Stable Diffusion原班人马的黑森林实验室发布图片生成模型FLUX.1

1. 目前分3个版本，Pro：效果最佳，闭源； Dev：开源但不可商用，至少需要24G显存运行； Schnell：开源可商用
2. Dev和Pro版本明显超过了Stable Diffusion 3，可以媲美Midjourney V6。
3. 黑森林实验室已完成3200万美元融资，由a16z领投，多位业界大佬投资。
4. 黑森林模型效果展示，包括文字生成、非真实场景、真实世界场景、真实人物和动漫人物、动物形象生成。
5. 黑森林实验室的下一步目标是进军视频生成领域，成为“SOTA”。

官网：https://blackforestlabs.ai/

Discord内使用Pro版本：https://discord.gg/deforum
在线使用Dev版本：https://tost.ai/
在线使用：https://flux1.ai/create
ComfyUI：https://comfyanonymous.github.io/ComfyUI_examples/flux/

媒体文章：

• 量子位：Stable Diffusion原班人马新公司官宣！新模型一夜刷新AI绘画格局，已获2.3亿元融资

[ikaijua]

2024-07-30 苹果发布AI模型训练细节

文章详细介绍了苹果的LLM是如何训练的。

PDF文档：https://machinelearning.apple.com/papers/apple_intelligence_foundation_language_models.pdf

[ikaijua]

2024-07-31 字节上线AI音乐创作产品“海绵音乐”

效果很好，人声没有杂音，支持中文，生成的音乐可以媲美Suno
官网：https://haimian.com/

default.mp4

[ikaijua]

2024-07-30 黄仁勋与扎克伯格在SIGGRAPH 2024大会上对话，讨论AI的未来及其在技术创新中的作用

1. 扎克伯格预测未来AI将用于内容生成和推荐，改变社交平台的信息流。
2. 黄仁勋赞扬Meta的开源模型Llama 3.1，扎克伯格强调开源提升AI生态系统的实用性。
3. 扎克伯格谈及智能眼镜的未来，认为全息AR眼镜仍需时间开发。
4. 扎克伯格分享了Meta AI的愿景，计划开发可帮助用户完成各种任务的AI助手。
5. 两人讨论了多模态推荐系统的优势，强调统一不同内容类型的重要性。
6. 扎克伯格提到希望赋能用户创建个性化的AI Agent，从而提升与客户的互动。

youtube视频：AI and The Next Computing Platforms With Jensen Huang and Mark Zuckerberg

媒体文章：

• 华尔街见闻：黄仁勋对话扎克伯格：AI的未来

[ikaijua]

2024-07-31 AI专家李沐在B站复更并解读Llama 3.1论文

1. AI领域的知名人物李沐在时隔一年多后，在B站恢复更新其“经典论文精读系列”。
2. 李沐发布了一个约18分钟的视频，详细解读了Llama 3.1的技术论文，并分享了一些背后的八卦。
3. 李沐提到Llama团队最初同时训练了MoE模型和稠密模型，但MoE模型训练失败，因此只发布了简单版本。
4. Llama 3.1-405B作为开源模型首次跻身大模型竞技场前三，位于GPT-4o和Claude-3.5-Sonnet之后。
5. 在编码、数学、指令遵循、硬提示等单项中，Llama 3.1-405B依然保持前三的位置。
6. Llama 3.1-70B在总榜中排名第9，整体置信水平有显著提升。
7. 社区成员已经开始使用Llama 3.1-405B进行多种应用尝试，如在树莓派上运行、创建GitHub仓库聊天机器人等。

B站视频：Llama 3.1论文精读 · 1. 导言【论文精读·54】

媒体文章：

• 量子位：失联大神李沐B站复更：领读Llama 3.1论文；竞技场Llama 3.1排第三