AI新闻动态（2024-02-11到2024-02-17）

[ikaijua]

AI新闻动态（2024-02-11到2024-02-17）

目录

AI产品

• OpenAI 发布文生视频模型 Sora，引发业界热议
• 谷歌推出Gemini 1.5
• Stability AI 发布文本到图像生成模型"Stable Cascade"
• OpenAI推出了记忆功能，使ChatGPT具备了记忆能力
• 英伟达版ChatGPT，Chat With RTX，可在个人电脑上进行部署

机器人

• 2024-02-15 加州大学伯克利分校开发的Cassie双足机器人学会了急转弯

AI研究

• 亚马逊推出10亿参数文本到语音模型BASE TTS，基于10万小时数据训练

AI洞察

• 扒一扒Sora的开发团队
• Reddit与一家大型AI公司达成数据授权协议，协议的年价值约为6000万美元（约合4.32亿元人民币）
• NVIDIA 成为全球市值第四大公司市值超过亚马逊和谷歌

AI融资

• 融资超10亿美元，AI公司「月之暗面」获得红杉资本、小红书、美团和阿里巴巴的新一轮投资

[ikaijua]

2023-02-17 OpenAI 发布文生视频模型 Sora，引发业界热议

1. OpenAI发布了首个视频生成模型Sora，它可以生成高质量、流畅的视频，长度可达1分钟。
2. 相比已有的视频生成模型，OpenAI 提出的新模型不论是效果还是理念上，似乎都具有划时代的意义。有人第一时间总结道，Sora 不是一个简单的视频生成器，它是一个数据驱动的物理引擎，其对于虚拟和现实世界进行模拟。OpenAI 认为，新展示的结果表明，扩展视频生成模型是构建物理世界通用模拟器的一条有前途的途径。
3. Sora继承了DALL·E 3的画质和指令遵循能力，可以根据用户的提示生成复杂场景和多个角色的视频。
4. Sora能够理解和模拟运动中的物理世界，包括物体之间的碰撞和光影变化。
5. 尽管Sora在生成视频方面取得了显著进展，但仍存在一些弱点，如难以准确模拟复杂场景的物理原理和理解因果关系。
6. Sora使用了扩散模型和Transformer架构，具有强大的扩展性。
7. Sora建立在DALL·E和GPT模型的研究基础上，使用了重述提示词技术来生成高度描述性的标注，以更好地遵循用户的文本指令。
8. Sora不仅可以根据文本指令生成视频，还可以从现有的静态图像或视频中生成新的内容。
9. 目前，部分视觉艺术家、设计师和电影制作人已经获得了Sora的访问权限，并开始创作各种作品。
10. OpenAI 发布了技术报告，Sora是Diffusion Transformer，核心是Transformer，像训练LLM一样训练视频模型。把视频压缩成Transformer能处理的patch，对应的就是LLM的token，训练的素材和推理的结果都是patch，最后用Diffusion还原成一帧帧图片。令人遗憾的是，OpenAI 的报告不包含模型和训练的细节。

官方介绍：https://openai.com/sora
OpenAI技术报告：https://openai.com/research/video-generation-models-as-world-simulators

媒体文章：

• 量子位：效果炸裂！OpenAI首个视频生成模型发布，1分钟流畅高清，网友：整个行业RIP
• 机器之心：我在模拟世界！OpenAI刚刚公布Sora技术细节：是数据驱动物理引擎

[ikaijua]

2023-02-16 谷歌推出Gemini 1.5

1. Gemini 1.5采用了新的专家混合（MoE）架构，混合专家模型，支持多模态，能理解文字、图片、视频、音频，标配128K上下文，可以申请体验100万上下文的版本，足以分析1小时长度的视频。
2. Gemini 1.5 Pro是Gemini 1.5的早期测试版本，是一种中型多模态模型，针对多种任务进行了优化，并引入了长上下文理解方面的突破性实验特征。
3. Gemini 1.5 Pro具有128,000个token的上下文窗口容量，可以处理大量信息，如视频、音频、代码等。
4. Gemini 1.5 Pro可以进行复杂推理，包括分析、分类和总结大量内容，并能在不同模态下执行高度复杂的理解和推理任务。
5. Gemini 1.5 Pro可以跨较长的代码块执行问题解决任务，推理示例、提出有用的修改并解释代码不同部分的工作原理。
6. 在基准测试中，Gemini 1.5 Pro在大型语言模型开发方面表现出高水平的性能，并展示了令人印象深刻的上下文学习技能。
7. 谷歌计划通过AI Studio和Vertex AI向开发者和企业客户提供Gemini 1.5 Pro的预览版，并计划逐步扩大模型的发布范围和上下文窗口容量。

官方博客：https://blog.google/technology/ai/google-gemini-next-generation-model-february-2024/

媒体文章：

• 机器之心：谷歌Gemini1.5火速上线：MoE架构，100万上下文
• 量子位：谷歌全新大模型突然发布！100万token完爆GPT-4，仅靠提示词就能学会新语言

[ikaijua]

2024-02-18 Reddit与一家大型AI公司达成数据授权协议，协议的年价值约为6000万美元（约合4.32亿元人民币）

• 这项协议允许该AI公司访问Reddit用户生成的内容平台。具体细节可能会有变动，因为Reddit目前仍在制定上市计划。
• 过去，许多人工智能公司在未经许可的情况下从开放网络获取训练数据。然而，这种做法的合法性备受质疑，迫使这些公司寻求更正规的数据来源。
• 目前还不清楚Reddit与哪家公司达成了协议，但该协议的金额明显高于OpenAI为新闻出版商提供数据所支付的500万美元年费。
• 据报道，苹果公司也在与各大新闻公司商谈多年期协议，金额至少为5000万美元。
• Reddit在过去曾威胁要切断谷歌和必应搜索爬虫的访问权限，除非能与人工智能公司达成数据授权协议。虽然传闻是否属实尚不确定，但Reddit在过去展现过强硬的谈判姿态。
• 截至2023年底，Reddit的同比收入增长了20%，但仍比其两年前设定的10亿美元目标少了2亿。Reddit计划于3月份上市，估值目标为50亿美元，比2021年申请上市时的估值目标减半。
• Reddit在过去经历了第三方API访问定价变更的抗议活动，但最终没有改变其政策。
• 这项协议的达成表明大型AI公司对Reddit的用户生成内容具有很高的价值，也反映了AI公司寻求更可靠数据来源的趋势。

媒体文章：

• IT之家：消息称社交平台 Reddit 与大型 AI 公司达成数据授权协议，每年 6000 万美元

[ikaijua]

2024-02-15 加州大学伯克利分校开发的Cassie双足机器人学会了急转弯

1. 双足机器人Cassie之前曾创下百米跑世界纪录。
2. 加州大学伯克利分校得研究者开发了一种新的深度强化学习算法，让Cassie学会了急转弯等技能，并能够对抗各种干扰。
3. 研究者使用强化学习为双足机器人创建控制器的方法，该控制器可以适应不确定动态和新环境，并在突发情况下表现出稳健的行为。
4. 通过在现实世界中的实验验证了所提出的控制策略的有效性，包括行走、奔跑和跳跃等多种任务的控制。

媒体文章：

• 机器之心：陪跑又快又稳，机器人跑步搭子来了

[ikaijua]

2024-02-18 扒一扒Sora的开发团队

1. Sora团队的负责人包括Tim Brooks和William Peebles等年轻而出色的成员。
2. Tim Brooks在加州大学伯克利分校获得博士学位，是DALL-E 3的作者和InstructPix2Pix项目的作者，在图像和视频生成研究方面有丰富的经验。
3. William Peebles在MIT本科毕业后攻读博士学位，他在GAN和计算机视觉领域有丰富的研究成果，William Peebles与谢赛宁合作开发了DiT模型，这是Sora技术基础之一，该模型被ICCV 2023录用为Oral论文候选。
4. Sora团队中还有其他成员，包括Aditya Ramesh，他是DALL-E的创造者，并领导了Sora团队。
5. Sora团队的成员都非常年轻，其中包括应届博士生，Sora团队还招募了一位00后的本科生Will DePue，他在密西根大学计算机系本科毕业后加入了团队。

媒体文章：

• 量子位：扒一扒OpenAI Sora的开发团队

[ikaijua]

2024-02-15 Stability AI 发布文本到图像生成模型"Stable Cascade"

1. 与扩散模型不同，Stable Cascade是类似解压缩的过程，由A、B、C三个阶段来完成图片生成。占用的显存空间更少，官方称效果也比SD好。
2. 即使使用只有9GB的GPU内存，Stable Cascade仍然能够保持良好的性能。
3. Stable Cascade采用了三阶段的方法，为模型质量、灵活性、微调和效率设定了新的基准。
4. Stability AI发布了训练和推理代码，允许用户进一步自定义模型及其输出。
5. Stable Cascade在构图、细节和文字生成方面有明显的提升，能够生成较短的单词/词组和较长的句子，并且文字与画面的融合效果好。
6. Stable Cascade采用了由三个不同模型组成的管道架构，可以对图像进行分层压缩，实现出色的输出。
7. Stable Cascade发布了不同参数的模型，用户可以根据需求选择适合的模型，其中参数最高的模型具有最高质量的输出。
8. 除了文本到图像生成外，Stable Cascade还可以生成图像变体和图像到图像的生成。
9. Stability AI发布了用于训练、微调和控制的代码，方便用户进一步研究和实验。

官方博客：https://ja.stability.ai/blog/stable-cascade
Github：https://github.com/Stability-AI/StableCascade

媒体文章：

• 机器之心：生成速度快SDXL一倍，9GB GPU也能运行，Stable Cascade来搞性价比了

[ikaijua]

2024-02-19 融资超10亿美元，AI公司「月之暗面」获得红杉资本、小红书、美团和阿里巴巴的新一轮投资

1. 月之暗面的上一轮融资为2023年获得的超2亿美金融资，投资方包括红杉中国、真格基金等。本轮融资后，月之暗面估值已达约25亿美金，为国内大模型领域的头部企业之一。自ChatGPT掀起全球浪潮以来，这也是国内AI大模型公司迄今获得的单轮最大金额融资。
2. 月之暗面（Moonshot AI）成立于2023年3月，是国内大模型领域的关键玩家。其核心团队曾参与到Google Gemini、Google Bard、盘古NLP、悟道等多个大模型的研发中——这是一支在大模型道路上已探索多年的队伍。36氪了解到，目前月之暗面团队人数已超80人。
3. 月之暗面的创始人杨植麟，为中国35岁以下NLP领域引用最高的研究者，Transformer-XL和XLNet两篇论文的第一作者——两者均为大语言模型领域的核心技术；另外两位联合创始人周昕宇和吴育昕，则有超过10000+的Google Scholar引用。
4. 2023年10月，月之暗面正式推出首个面向C端的产品“Kimi智能助手”，这是月之暗面做To C超级应用的第一次尝试。Kimi智能助手支持20万汉字的长文本输入，主打无损记忆。
5. 月之暗面当前已经在秘密研发通用多模态模型，预计今年内将推出。

媒体文章：

• 36kr：融资超10亿美金，AI公司「月之暗面」获红杉、小红书、美团、阿里新一轮投资 | 36氪独家

[ikaijua]

2024-02-14 OpenAI推出了记忆功能，使ChatGPT具备了记忆能力

1. ChatGPT开始小范围测试永久记忆功能，越来越像个人助理，目前仅部分用户有这个功能
2. 记忆功能完全由用户掌控，可以在设置中随时关闭、删除或清除记忆。
3. 开启状态时，也可以新建不用于记忆的临时会话。
4. OpenAI关注隐私和安全问题，努力减少偏见并避免主动记住敏感信息。
5. 记忆功能对于团队和企业客户的工作效率提升很有帮助，可以节省时间并提供更相关和洞察力的回复。

官方博客：https://openai.com/blog/memory-and-new-controls-for-chatgpt

媒体文章：

• 机器之心：OpenAI赋予ChatGPT记忆功能，由你掌控

[ikaijua]

2024-02-14 英伟达版ChatGPT，Chat With RTX，可在个人电脑上进行部署

1. Chat With RTX的优势在于可以在本地运行，速度更快，并且在聊天内容上可能没有太多限制。
2. 用户可以选择两款开源语言模型Mistral和Llama 2，并可以上传本地文件进行提问
3. Chat With RTX支持根据在线视频做回答，用户可以提供视频链接进行查询
4. 在配置上，Chat With RTX需要至少8GB的RTX 30或40系列显卡，以及Windows 10或Windows 11操作系统和至少16GB的RAM。
5. 实测中发现，Chat With RTX在搜索视频功能和处理大量文件时存在一些问题，且不能记住上下文。
6. Chat With RTX在搜索本地文档的速度和精准度上表现出色，为用户的文件安全性提供了保障。

nvidia_chatgpt.mp4

• 软件下载地址（35G大小）：https://www.nvidia.com/en-us/ai-on-rtx/chat-with-rtx-generative-ai/
• Github地址：https://github.com/NVIDIA/trt-llm-rag-windows

媒体文章：

• 英伟达GeForce：Chat With RTX 为 NVIDIA RTX AI PC 信息定制聊天机器人
• 量子位：英伟达版ChatGPT来了，PC端部署，很GPU

[ikaijua]

2024-02-15 亚马逊推出10亿参数文本到语音模型BASE TTS，基于10万小时数据训练

1. 生成式深度学习模型的发展随着生成式深度学习模型的发展，自然语言处理（NLP）和计算机视觉（CV）经历了根本性的转变，从专门模型的有监督训练转向通用模型，只需有限的明确指令即可完成各种任务。
2. 在语音处理和TTS领域，模型能够利用数千小时的数据，使合成结果越来越接近类人语音。亚马逊推出的BASE TTS是一个多语言、多说话人的大型TTS系统。
3. BASE TTS是迄今为止最大的TTS模型，模型架构中包含10亿参数的Transformer，并在由10万小时公共领域语音数据组成的数据集上进行了训练。在主观评估中，BASE TTS的表现优于公开的LTTS基线模型。
4. 目前模型未开源，仅有论文。

项目地址：https://amazon-ltts-paper.com/
论文：https://arxiv.org/abs/2402.08093

媒体文章：

• 机器之心：语音生成的「智能涌现」：10万小时数据训练，亚马逊祭出10亿参数BASE TTS

[ikaijua]

2024-02-13 NVIDIA 成为全球市值第四大公司市值超过亚马逊和谷歌

1. 2024年初6周内市值增加6500亿美元，超特斯拉公司市值达到1.831万亿美元。
2. 全球市值排名更新，微软、苹果、沙特阿美领先。