AI新闻动态（2023-12-17到2023-12-23）

[ikaijua]

AI新闻动态（2023-12-17到2023-12-23）

[ikaijua]

2023-12-18 OpenAI官方发布Prompt工程指南

随着大型语言模型如ChatGPT和GPT-4的出现，Prompt工程变得越来越重要，因为prompt的质量直接影响模型输出的结果。

写好指令的策略：

1. 写清楚指令：用户需要清楚地表达想要的结果，可以提供详细的查询信息和示例，指定步骤和输出长度，并使用分隔符划分不同部分。
2. 控制模型角色：通过让模型扮演不同的角色来控制生成的内容。
3. 使用参考文本：为了减少错误输出，可以提供参考文本来指导模型回答问题，包括指示模型使用参考文本回答问题和从参考文本中引用答案。
4. 将复杂任务拆分为简单子任务：像软件工程中将复杂系统分解为模块化组件一样，语言模型的任务也可以拆分为更简单的子任务，包括使用意图分类、总结或过滤对话、分段总结长文档等。
5. 给模型时间去思考：模型在得出结论之前可以进行推理和思考，可以使用思维链或一系列查询来隐藏模型的推理过程，并询问模型是否遗漏了任何内容。
6. 使用外部工具弥补模型的弱点：通过提供其他工具的输出来补充模型的不足，如文本检索系统、Code Interpreter等。
7. 系统的测试变化：对提示的修改可能会在一组示例上改进性能，但在更具代表性的示例上性能可能变差，因此需要定义一个全面的测试套件来确保改变对最终性能产生积极影响。

指南地址：https://platform.openai.com/docs/guides/prompt-engineering
宝玉翻译的中文版：https://baoyu.io/translations/openai/openai-prompt-engineering-guides

媒体报道：

• 机器之心：OpenAI官方的Prompt工程指南：你可以这么玩ChatGPT

[ikaijua]

2023-12-19 百川智能发布了Baichuan2—Turbo系列API

1. 百川智能宣布开放Baichuan2-Turbo系列API，包括Baichuan2-Turbo-192K和Baichuan2-Turbo。
2. 这些API支持192K超长上下文窗口，并增加了搜索增强知识库的能力。
3. 用户可以上传文本资料创建自身专属知识库，从而根据业务需求打造更完整、高效的智能解决方案。
4. 百川智能升级了官网模型体验，支持PDF、Word等多种文本上传以及URL网址输入，用户可以通过官网入口体验搜索增强和长窗口加持后的通用智能。
5. 大模型+搜索构成完整技术栈，实现了大模型和领域知识、全网知识的全新链接。

百川大模型：百川智能发布Baichuan2—Turbo系列API，开启企业定制化新生态

[ikaijua]

2023-12-20 谷歌推出视频生成大模型VideoPoet

1. VideoPoet可以执行多种视频生成任务，包括文本到视频、图像到视频、视频风格化、视频修复和扩展，以及视频转音频。
2. 该模型展示了令人惊叹的画面质量，并解决了传统视频生成模型中产生连贯大动作的问题。
3. 该模型还具有交互式视频编辑功能，用户可以改变物体的运动来执行不同的动作。
4. VideoPoet还能够在视频被遮住的部分添加细节，并且可以通过文本引导进行修复。

谷歌官方博客：https://blog.research.google/2023/12/videopoet-large-language-model-for-zero.html
演示网站：https://sites.research.google/videopoet/
论文：https://storage.googleapis.com/videopoet/paper.pdf

媒体报道：

• 机器之心：视频生成可以无限长？谷歌VideoPoet大模型上线，网友：革命性技术
• 量子位：谷歌发布新大语言模型：零样本生成10秒视频达SOTA！网友：压力给到Runway/Pika

[ikaijua]

2023-12-24 Midjourney推出V6版本的大升级版本，网友惊呼效果太逼真

1. 与之前的版本相比，V6版本在生成效果方面有显著提升，细节刻画更加精细，纹理和褶皱表现更好。
2. 使用Midjourney V6生成的图像，包括人物、食物、汽车场景、字母、动物等，这些图像在真实度上与现实世界几乎无差别。
3. 新版本允许输入更长的提示，以生成更丰富的细节，并且可以向照片中添加文本。
4. V6是在人工智能超级集群上从头训练的第三个模型，开发时间为九个月。
5. V6版本对输入提示的理解更加准确，不再需要奇怪的短语或单词，用户可以使用更直接的方式来指定生成结果的真实度。
6. 目前V6版本缺少一些V5.2版本的功能，但这些功能将在后续更新中提供。

推文介绍：https://twitter.com/chaseleantj/status/1737750592314040438

媒体报道：

• 机器之心：Midjourney V6迎来大升级：网友惊呼生成效果太逼真
• 量子位：Midjourney能生成文字了！V6版5大升级惊艳网友

[ikaijua]

2023-12-20 DomoAI 画面稳定的AI风格化视频转换

目前有6种风格可以选择

官方Discord：http://discord.gg/domoai

domo.mp4

[ikaijua]

2023-11-20 微软Copilot与人工智能音乐创作公司Suno的合作，使Microsoft Copilot拥有通过提示生成音乐的能力

1. 微软与Suno合作，将Suno的基于人工智能的音乐创作能力引入Microsoft Copilot。
2. 通过这个合作，无论音乐背景如何，人们都可以轻松创建有趣、巧妙和个性化的歌曲。
3. Suno在AI音乐技术方面处于领先地位，可以从一个简单的句子生成完整的歌曲，包括歌词、乐器和演唱声音。
4. 使用Microsoft Copilot和Suno，你不需要知道如何唱歌、演奏乐器或阅读乐谱，它们会为你完成所有的艰苦工作，并将歌曲与你的提示相匹配。
5. 要开始创建音乐，只需打开Microsoft Edge，访问copilot.microsoft.com并确保已使用Microsoft账户登录，然后启用Suno插件或点击标有“与Suno一起制作音乐”的Suno标志。
6. 只需向Copilot提出要求，比如“为你的家人冒险创作一首流行歌曲”，就可以开始演奏全新的旋律。
7. 这个合作将为创造力和乐趣开启新的视野，使音乐创作对每个人都可达到。该体验将从今天开始向用户推出，并在未来几周逐步扩大推广。

bing官方博客：Turn your ideas into songs with Suno on Microsoft Copilot

媒体报道：

• the verge报道：You can create your own AI songs with this new Copilot extension

[ikaijua]

2023-12-12 阿里巴巴最新的研究项目"DreaMoving"，该项目利用一张人脸照片和简短的描述句子，可以让人物在不同背景下跳舞，并实现服装背景的自动更换。

1. 阿里巴巴的研究项目"DreaMoving"旨在让任何人在任何地方随时跳舞，只需提供一张人脸照片和描述句子。
2. 通过"DreaMoving"，人物的背景和服装可以根据提供的描述句子进行自动更换，实现多样化的舞蹈场景。
3. 为了实现这一效果，阿里团队首先收集了约1000个高质量的人类舞蹈视频，并将其分割成短视频片段用于训练模型。
4. 为了生成视频的文本描述，他们使用了Minigpt-v2作为视频字幕器，并详细描述了每个帧的指令。
5. 阿里团队提出了一种名为"DreaMoving"的基于Stable Diffusion的模型，由去噪U-Net、视频控制网络和内容引导器组成。
6. 通过这些神经网络的协作，"DreaMoving"可以生成高质量、高保真度的视频，根据给定的引导序列和简单的内容描述。
7. 目前，"DreaMoving"项目的代码尚未开源，但文章提供了几个参考链接以了解更多相关信息。

媒体报道：

• 量子位报道：阿里又整活儿：一张人脸一句话就能跳《擦玻璃》，服装背景随意换！

[ikaijua]

2023-12-21 谷歌Gemini技术报告发布，作者多达900余人

1. 谷歌Gemini技术报告发布：该报告介绍了谷歌的原生多模态大模型Gemini，宣称其具有超越GPT-4的强大性能和对图像、视频等领域的理解能力。
2. 作者和团队：Gemini技术报告的作者包括谷歌研究大佬Jeff Dean、Oriol Vinyals、Koray Kavukcuoglu、Demis Hassabis等，以及其他900多名研究人员。
3. Gemini的重要性和期望：Gemini被认为是生成式AI领域的重要进展，人们对其表现和应用前景抱有高度期待。
4. Gemini的能力和版本：Gemini是一个多模态大模型体系，包括Ultra、Pro和Nano三个版本，适用于复杂推理任务和移动设备等各种应用。
5. Gemini在基准测试中的表现：Gemini Ultra在32个基准中的30个中刷新了业内最佳水平，表现出卓越的性能。
6. Gemini的应用示例：文章以教育环境为例，展示了Gemini在多模态推理方面的能力，可以理解凌乱的笔迹、正确理解问题，并给出正确解法。
7. Gemini的模型架构和训练基础设施：文章介绍了Gemini的模型架构、训练基础设施和训练数据集，以及在TPUv5e和TPUv4上进行训练的情况。
8. Gemini的更广泛影响和潜在应用：谷歌认为Gemini在跨模态推理和语言理解方面的突出能力将支持各种用例，并提出了基于Gemini的AlphaCode 2。

论文链接：https://arxiv.org/abs/2312.11805

媒体报道：

• 机器之心：谷歌Gemini技术报告出炉，作者多达900余人

[ikaijua]

2023-12-23 腾讯发表AppAgent 的智能代理研究，智能代理可以操作任何 App，它在 50 个复杂手机任务上展示了强大的能力。

1. AppAgent 是一种智能代理技术，可以用于操作任何智能手机应用。
2. 与传统的智能助手不同，AppAgent 不依赖于系统后端访问，而是通过模拟人类的点击和滑动等操作，直接与手机应用的图形用户界面（GUI）互动。
3. 通过引入大型语言模型（LLMs）的多模态智能代理框架，AppAgent 赋予了智能体操作智能手机应用的能力。
4. AppAgent 的学习方式包括自主探索和观察人类演示。智能体通过与应用互动并观察界面变化来学习如何导航和使用新应用。
5. AppAgent 在广泛测试中展示了出色的性能，在社交媒体、电子邮件、地图、购物和图像编辑等不同应用的任务中表现良好。
6. 该技术引起了一些担忧，如机器人用户参与度指标的不可靠性和可能被用于非法牟利等问题。
7. AppAgent 的实验环境基于命令行界面（CLI），代理通过屏幕截图和描述交互元素的 XML 文件进行交互。
8. 代理的动作空间模拟了人类与智能手机的常见交互方式，包括点击、长按、滑动和文本输入等功能。
9. 探索阶段是 AppAgent 框架的核心，代理通过自主交互或观察人类演示来学习应用程序的功能和特性。
10. 部署阶段中，代理利用经过探索阶段的训练，执行基于其累积经验的复杂任务。

Github地址：https://github.com/mnotgod96/AppAgent
论文地址：https://arxiv.org/abs/2312.13771
主页地址：https://appagent-official.github.io/

媒体报道：

• 机器之心：大模型竟然能玩手机了，还能用软件修图：「AppAgent」会成为2024年的新趋势吗？