AI新闻动态（2024-10-27到2024-11-02)

[ikaijua]

AI新闻动态（2024-10-27到2024-11-02)

这里记录每周值得分享的AI新闻动态，周日发布。

欢迎投稿。另有AI招人板块发布AI领域相关招聘信息。合作请邮件联系。

目录

AI产品

1. Apple Intelligence本周正式上线
2. 苹果M4 Max芯片首发，具备高性能AI和基础运算能力，支持开发数十亿参数的Transformer模型
3. 苹果新iMac发布，搭载M4芯片和Apple Intelligence
4. ChatGPT新增搜索功能，成为AI搜索引擎
5. GitHub Copilot 模型更新，可以选择更多的模型，包括Claude 3.5 Sonnet、Gemini 1.5 Pro 以及 OpenAI 的 o1-preview 和 o1-mini
6. Runway第三代Alpha Turbo的更新，新增高级镜头控制功能
7. 爱诗科技发布了视频生成大模型PixVerse V3版本

机器人

1. 波士顿动力Atlas机器人分装物件的工作视频在youtube获百万播放
2. 初创公司Physical Intelligence开发了一个名为π0的机器人控制模型，用于控制机器人完成家务如叠衣服和冲咖啡等

AI研究

1. 由浙江大学、上海人工智能实验室、上海交通大学和香港中文大学联合提出的视频理解评测基准MMBench-Video
2. OpenAI在Arxiv上发布了一篇论文，详细介绍了GPT-4o的能力、局限和安全性

AI洞察

1. OpenAI的AI语音转写工具Whisper被曝存在严重幻觉问题，700万次医疗就诊转录文本存在问题
2. 一个名为“red_panda”（小熊猫）的神秘文生图模型突然走红，排名超过Flux、Midjourney等顶尖模型

AI投资

1. 苹果计划收购Pixelmator，旨在增强其AI图像编辑能力
2. 谷歌的三季度财报电话会议
3. 英伟达纳入道琼斯工业指数，取代英特尔

[ikaijua]

2024-10-28 Apple Intelligence本周正式上线

1. 苹果公司宣布其AI功能Apple Intelligence将与iOS 18.1一同在当地时间10月28日发布。
2. iOS 18.1中的AI功能包括写作工具套件，优化用户文本输入以提高写作质量；照片清理，自动识别整理相册文件以优化存储空间，通知摘要，智能识别生成APP通知摘要以帮助用户获取重点信息；Siri增强功能，令语音助手提供更准确的信息。
3. 计划在12月份推出的iOS 18.2版本中，苹果将融合Siri和ChatGPT，提供图片生成工具Image Playground、智能表情包Genmoji和图像处理工具Image Wand。
4. 尽管Apple Intelligence的发布，市场普遍对其短期内推动iPhone销量持悲观态度，认为苹果在AI发展上落后，且iPhone 16的砍单行为表明短期内销量增长预期不高。
5. Apple Intelligence进入中国市场的时间和可能性仍不确定，存在监管和云技术挑战。
6. 尽管短期内不被看好，但有观点认为Apple Intelligence将成为苹果在2025年新的增长动力之一，且有望成为受欢迎的收费服务。
7. 财信证券研报指出，Apple Intelligence的本土化改造可能需要国内企业配合，国内的AI应用和算力产业链有望受益。

Apple Intelligence官方页面：https://www.apple.com/apple-intelligence/

媒体文章：

• 36kr：苹果AI即将正式上线

[ikaijua]

2024-10-28 OpenAI的AI语音转录工具Whisper被曝存在严重幻觉问题，700万次医疗就诊转录文本存在问题

1. 100多小时转录，被工程师发现约一半都在瞎扯。更严重的是，美联社爆料有医疗机构利用Whisper来转录医生与患者的会诊，瞬间引发大量网友关注。
2. 明尼苏达州的曼卡托诊所和洛杉矶儿童医院在内的超过30000名临床医生和40个卫生系统已使用法国AI诊疗公司Nabla基于Whisper打造的工具。转录了约700万次医疗就诊。
3. OpenAI曾警告不应在高风险领域使用Whisper，但警告未被充分重视。
4. Whisper幻觉问题在停顿、背景声音或音乐播放时更易发生。
5. Nabla公司表示正在解决Whisper的问题，但由于“数据安全原因”，Nabla的工具会删除原始音频，无法将Nabla生成的AI文本与原始录音进行比较。。
6. OpenAI表示将研究减少幻觉现象，并在模型更新中加入反馈机制。

x文章：https://x.com/AP/status/1850150400424345858

媒体文章：

• 量子位：OpenAI语音转录工具被曝严重幻觉：转录100小时，一半儿在瞎扯
• 宝玉xp微博：https://m.weibo.cn/detail/5094463003691629

[ikaijua]

2024-10-29 苹果新iMac发布，搭载M4芯片和Apple Intelligence

1. 与搭载M1芯片的iMac相比，新款iMac在日常生产力任务中性能提升高达1.7倍，在照片编辑和游戏等高负载工作流程中性能提升高达2.1倍。
2. Apple Intelligence为Mac带来个人智能，通过强大的生成模型和行业领先的隐私保护，结合苹果芯片和神经引擎，为用户提供新的工作、沟通和表达方式。
3. 新款iMac提供七种鲜艳的颜色选择，背面颜色鲜明，正面则展现新色彩的微妙变化，所有配件包括Magic Keyboard和Magic Mouse或Magic Trackpad都与iMac颜色相匹配。
4. 24英寸4.5K Retina显示屏首次提供纳米纹理玻璃选项，大幅减少反射和眩光，同时保持出色的图像质量。
5. 新款iMac配备了支持Desk View的12MP Center Stage摄像头，使视频通话更加引人入胜，Center Stage功能可以在用户移动时保持他们居中。
6. 新款iMac的所有四个USB-C端口都支持Thunderbolt 4，实现超快的数据传输，支持连接更多配件，如外部存储、扩展坞和高达两个6K的外部显示器。同时支持Wi-Fi 6E和蓝牙5.3，以及带有Touch ID的高级安全性。

官方介绍：https://www.apple.com/newsroom/2024/10/apple-introduces-new-imac-supercharged-by-m4-and-apple-intelligence/

[ikaijua]

2024-10-29 谷歌的三季度财报电话会议

1. 财务表现：谷歌母公司Alphabet三季度总营收同比增长15%，EPS盈利增近37%，远超预期。其中，云业务营收增长最迅猛，三季度谷歌云营收113.5亿美元，同比增长约35%，超出分析师预期。
2. AI投资回报：谷歌CEO Sundar Pichai表示对云业务的发展“非常满意”，并介绍了公司在AI领域的进展。谷歌超过四分之一的新代码由AI生成，AI概览月活已达到10亿，并向100多个新的国家和地区推广。
3. 资本支出：谷歌CFO Anat Ashkenazi透露，第四季度的支出将保持在同一水平，公司计划在2025年进行更高的资本支出，以支持云和AI产品。
4. 云业务发展：谷歌云在第三季度创造了114亿美元的收入，比去年增长了35%，运营利润率为17%。Pichai提到，有30%的现有客户更深层次地采用了AI产品组合。
5. AI产品和平台：谷歌旗下七大月活超过20亿的产品和平台都在接入Gemini模型。公司内部使用AI来改进编码流程，提高生产力和效率。
6. 未来计划：Pichai还透露，谷歌的多模态助理Astra项目将会在2025年上线。
7. 股价反应：Alphabet股价在财报公布后盘后跳涨近6%。

媒体文章：

• 华尔街见闻：谷歌电话会焦点：AI投资回报、下季度与下一年的资本开支

[ikaijua]

2024-11-02 苹果计划收购Pixelmator，旨在增强其AI图像编辑能力。

1. Pixelmator是一家成立于2007年的图像编辑软件公司，与Adobe Photoshop竞争。
2. 苹果曾在产品发布会上展示Pixelmator，并在2018年授予其年度Mac应用奖。
3. Pixelmator强调产品设计、易用性和性能，与苹果理念相符。
4. 苹果倾向于收购小公司以增加产品特色，而非大规模收购。
5. Pixelmator的应用将保持不变，收购将强化苹果图像编辑能力。
6. 苹果通过收购增强服务范围，提升用户体验，如收购Dark Sky和Workflow。

媒体文章：

• 华尔街见闻：苹果同意收购照片编辑应用开发商Pixelma，加强AI图像编辑能力

[ikaijua]

2024-10-30 GitHub Copilot 模型更新，可以选择更多的模型，包括Claude 3.5 Sonnet、Gemini 1.5 Pro 以及 OpenAI 的 o1-preview 和 o1-mini

1. 模型特点：
   • Claude 3.5 Sonnet：擅长处理整个软件开发生命周期的编码任务，从设计到维护优化。
   • Gemini 1.5 Pro：在多种编码场景中表现出色，上下文窗口达200万个token，支持多模态处理。
   • o1-preview 和 o1-mini：具备比 GPT-4 更先进的推理能力，能深入理解代码约束和边缘情况。
2. 除了对模型更新外，现在 Perplexity 也已经集成到 GitHub Copilot 中，可以帮助用户回答编程中遇到的问题，这项新功能还能提供实时可验证的参考来源，增加答案的可靠性。
3. GitHub Spark 推出，GitHub Spark 是一款以自然语言构建应用程序的 AI 原生工具，集成了 AI 功能和外部数据源，无需管理云资源。
4. GitHub Copilot 接入更多模型，可能是为了吸引那些转向使用 Claude 的 Cursor 用户。
5. 对于 GitHub Copilot 的更新，社区有不同的看法，有人认为这将帮助 Copilot 赢回用户，也有人认为 Cursor 在速度方面仍然领先。
   

github的博客：https://github.blog/news-insights/product-news/bringing-developer-choice-to-copilot/

媒体文章：

• 机器之心：o1之后，GitHub又接入Claude、Gemini，网友：也杀不死Cursor
• 量子位：GitHub把OpenAI当备胎，Copilot接入Claude+Gemini，网友：Cursor的商业模式没了

[ikaijua]

2024-11-02 英伟达纳入道琼斯工业指数，取代英特尔

1. 英伟达将在2024年11月8日替代英特尔成为道琼斯工业平均指数的组成成员，这是该指数历史上的一次重要变动。
2. 消息公布后，英伟达股价上涨2.9%，而英特尔股价下跌1.85%，道琼斯指数下跌0.9%。
3. 英特尔结束了在道琼斯指数中25年的任期，今年以来股价下跌超过一半，市值缩水2000亿美元。
4. 英伟达股价今年上涨了180%，市值膨胀至3.3万亿美元，成为全球市值第二大的公司。
5. 英伟达的加入意味着道琼斯指数中将包含4家市值超万亿美元的科技公司，包括微软、苹果、亚马逊。
6. 英特尔在市场份额流失、制造挑战以及被收购等压力下，宣布裁员16500名员工，并缩减房地产占用面积。
7. 英伟达凭借CUDA技术在AI领域产生深刻影响，其GPU产品在AI热潮中备受市场追捧，而英特尔未能抓住新增长时机。

媒体文章：

• 量子位：时代变了！英伟达纳入道琼斯指数，英特尔被取代

[ikaijua]

2024-11-01 ChatGPT新增搜索功能，成为AI搜索引擎

1. 基于GPT-4o微调模型支持，功能覆盖网页版、手机版和桌面版，Chrome扩展升级为ChatGPT Search。
2. ChatGPT搜索功能旨在提供快速准确的答案和相关网页链接，无需切换搜索引擎。
3. 付费用户和候补名单用户成为首批公测玩家，企业用户和教育用户将在未来几周内获得访问权限。
4. ChatGPT搜索与新闻和数据提供商合作，为天气、股票、体育、新闻等类别增加小组件式展示效果。
5. 与Perplexity等AI搜索引擎相比，ChatGPT搜索在某些方面如Github仓库搜索上表现更优。

官网介绍：https://openai.com/index/introducing-chatgpt-search/

媒体文章：

• 量子位：ChatGPT终于变AI搜索引擎了！网页/手机/桌面版同时上线，即将人人可用

[ikaijua]

2024-10-31 波士顿动力Atlas机器人分装物件的工作视频在youtube获百万播放

1. Atlas机器人展示了完全自主工作的能力，无需远程遥控，能够全自动分装物件。
2. Atlas使用机器学习视觉模型来检测和定位环境固定装置和单个箱子，并使用专门的抓取策略完成任务。
3. 在演示中，Atlas展示了头部、上半身、髋关节360°旋转的能力，能够随时转向和倒退行走。
4. Atlas的表现引起了网友的广泛关注和讨论，有人对它的能力表示惊讶，也有人对它的设计和成本控制提出疑问。
5. 网友们将Atlas与特斯拉的Optimus机器人进行比较，认为Atlas在单兵能力上领先，而特斯拉在商业化量产方面更具优势。
6. 一些网友对Atlas的技术表示担忧，认为其泛化能力可能不如神经网络，并质疑其在现实生活中的应用意义。

youtube视频：Boston Dynamics/Atlas Goes Hands On

媒体文章：

• 量子位：波士顿动力电驱机器人进厂打工，全程自主无遥控，50万人在线围观

[ikaijua]

2204-10-31 苹果M4 Max芯片首发，具备高性能AI和基础运算能力，支持开发数十亿参数的Transformer模型

1. M4 Max芯片采用第二代3nm工艺，CPU性能是M1 Max的2.2倍，GPU性能是1.9倍，且耗电量低，支持24小时续航。
2. 支持最高128GB统一内存，可本地运行2000亿参数大模型。
3. M4系列芯片专为AI设计，神经引擎速度提升2倍，ML加速器增强，适用于Apple Intelligence等AI工作负载。
4. M4 Max芯片包含16个CPU核心和40个GPU核心，性能强劲，适用于视频后期等重负载任务。
5. M4 Max版MacBook Pro国行版预售即将开始，价格从26999元至57099元不等。

官方介绍：

• https://www.apple.com/newsroom/2024/10/apple-introduces-m4-pro-and-m4-max/
• https://apple.com/newsroom/2024/10/new-macbook-pro-features-m4-family-of-chips-and-apple-intelligence/

媒体文章：

• 量子位：苹果最强芯M4 Max首发！官方定位可开发大模型，新MacBook Pro顶配57099元

[ikaijua]

2024-10-29 一个名为“red_panda”（小熊猫）的神秘文生图模型突然走红，排名超过Flux、Midjourney等顶尖模型

1. red_panda的ELO得分比Flux 1.1 Pro高出100多，胜率高达79%，每7秒能生成一张图像。
2. red_panda的来源不明，引发广泛猜测，可能与Midjourney V7、Stable Diffusion 3.5、OpenAI的DALL-E 4或Mistral AI的新模型有关。
3. 有猜测认为red_panda可能出自中国厂商之手，因其名称和logo具有浓厚的中国元素。
4. 量子位进行了red_panda与其他模型的同题对比测试，结果显示red_panda并未取得压倒性胜利，可能受个人审美影响。
5. 网友对red_panda的来源有多种猜测，包括中国大厂和Midjourney V7等。
6. 尽管red_panda目前仍占据榜首，但与其他模型的差距正在缩小。

媒体文章：

• 量子位：神秘模型“小熊猫”一夜刷屏：排名超Flux、Midjourney

[ikaijua]

2024-10-30 由浙江大学、上海人工智能实验室、上海交通大学和香港中文大学联合提出的视频理解评测基准MMBench-Video

1. MMBench-Video是一个全面的开放性，旨在评估多模态大模型的视频理解能力。
2. MMBench-Video视频理解评测基准包含感知和推理两个部分，细分为26个细粒度能力，通过数十到数百个问答对进行评估。
3. 该基准采集的视频时长远超过一般评测基准，从30秒到6分钟不等，镜头数多变，最多可达210个镜头，以考察模型的长时序理解能力。
4. 覆盖16个主要领域，包括人文、体育、科教、美食、金融等，问答对长度和语义丰富度提升，不局限于简单问题类型。
5. MMBench-Video具有较低的时序独立性，能够更好地考察模型的时序理解能力，标注经过详细规则限制和二次核验，确保高质量。
6. 在11个视频语言模型和6个图文多模态大模型的评估中，GPT-4o和Gemini-Pro-v1.5表现出色，而开源图文多模态大模型整体优于视频-问答对微调的视频语言模型。
7. MMBench-Video支持在VLMEvalKit中一键评测，这是一个专为大型视觉语言模型评测设计的开源工具包，支持一键评估，无需繁重的数据准备工作。

Github项目：https://github.com/open-compass/VLMEvalKit
论文链接：https://arxiv.org/abs/2406.14515

媒体文章：

• 量子位：突破短视频局限！MMBench 团队构建中长视频开放问答评测基准，全面评估多模态大模型视频理解能力

[ikaijua]

2024-10-27 字节跳动的视频口型编辑技术PersonaTalk技术入选SIGGRAPH Asia 2024-Conference Track

1. 该技术能够通过语音修改视频中人物的口型，实现高质量视频编辑和数字人视频制作。
2. PersonaTalk采用基于注意力机制的双阶段框架，包括风格感知的动画生成模块和双分支并行的注意力模块，以提升视频生成质量和口型动画的个性化。
3. 实验结果表明，PersonaTalk在唇动同步、视觉质量与个性化特征保留方面优于其他zero-shot方法，甚至在某些方面超过了最新的定制化训练方案。
4. 通过对目标用户的问卷调查和访谈，大多数用户对PersonaTalk生成的视频质量感到满意，认为其逼真且高度还原了人物特征。
5. 该技术可应用于视频翻译、虚拟教师、AIGC创作等多个场景，为多领域的创新提供新思路。

论文链接：https://arxiv.org/pdf/2409.05379
项目地址：https://grisoon.github.io/PersonaTalk

媒体文章：

• 机器之心：无需训练即可创建数字人，字节PersonaTalk视频口型编辑超SOTA

[ikaijua]

2024-10-19 爱诗科技发布了视频生成大模型PixVerse V3版本

1. PixVerse V3在底层模型能力上有了大幅提升，能够传达情感、质感、镜头语言等创作细节，实现现实与虚拟的融合。
2. 提供了创意模板、口型匹配（LipSync）、故事续写（Extend）和风格转换（Style）等多模态生成能力和丰富的AI玩法。
3. PixVerse V3推出了多个创意模板，如Alive Art、Monster Invasion、Wizard Hat、Leggy Run等，使用户能够轻松创作有趣的AI视频内容。
4. 支持多语言人物声音同步，使用口型匹配（LipSync）功能让视频中的人物开口说话。
5. 使用故事续写（Extend）功能在已生成视频的基础上添加提示词，实现情节递进，同时保持人物和动作高度连贯一致。
   

PixVerse V3 官方使用教程：https://wiuswkbgux0.feishu.cn/docx/C0wJdhxksoIDCSxMwapcXGCdnze

爱诗科技：爱诗科技发布PixVerse V3，模型能力重磅升级，多种玩法上线

媒体文章：

• 极客公园：我跟万圣节的AI次元壁，看起来要被 PixVerse V3 打破了

[ikaijua]

2024-11-02 OpenAI在Arxiv上发布了一篇论文，详细介绍了GPT-4o的能力、局限和安全性

OpenAI分享了GPT-4o的系统卡片，包括准备框架评估，详细查看了模型的能力、局限性和安全性评估，特别关注语音到语音的能力。

论文：https://arxiv.org/abs/2410.21276

[ikaijua]

2024-11-02 Runway第三代Alpha Turbo的更新，新增高级镜头控制功能

更新后支持高级相机控制，提升视频创作的自由度。用户可以完全掌控镜头的移动方向和速度，增加视频的创意表达。可以拍出电影大片般的流畅运镜效果。

youtube视频：Using Camera Control in Gen-3 Alpha Turbo | Runway Academy

[ikaijua]

2024-11-02 初创公司Physical Intelligence开发了一个名为π0的机器人控制模型，用于控制机器人完成家务如叠衣服和冲咖啡等

1. π0是一个3B参数的通用型机器人控制模型，能够适应不同种类的机器人，实现自主控制，无需遥控。
2. π公司获得了7000万美元的A轮融资，投资者包括OpenAI，公司目标是开发通用的机器人控制模型。
3. π0展示了在零样本泛化能力、语言控制响应、新任务学习和多阶段任务等方面的优异表现，能够在没有专门训练的情况下完成开放性任务。
4. π0基于视觉模型PaLM-ViT改造，增加了投影层、多层感知机和动作专家模块，使用条件流匹配方法建模连续动作分布。
5. π0在包括开源数据和团队收集的数据集上进行训练，涉及单臂和双臂任务，数据采用50Hz高频控制。
6. π公司不生产机器人硬件，只负责训练模型，目标是通过一个通用模型将AI带入物理世界。公司的创始人和团队成员在机器人和AI领域拥有深厚的经验和背景。

技术报告：https://www.physicalintelligence.company/download/pi0.pdf
官方博客：https://www.physicalintelligence.company/blog/pi0

媒体文章：

• 量子位：3B模型打通机器人任督二脉！冲咖啡叠衣服都能干，7种形态适配，OpenAI也投了