Skip to content

Commit

Permalink
Merge pull request #510 from Anhforth/update_docs
Browse files Browse the repository at this point in the history 
docs updated
  • Loading branch information
@BAAI-OpenPlatform
BAAI-OpenPlatform authored Jul 24, 2023
2 parents 0f0506b + 8cec864 commit b9b73ff
Show file tree
Hide file tree
Showing 17 changed files with 217 additions and 67 deletions.
22 changes: 13 additions & 9 deletions examples/Aquila/Aquila-chat/README.md
View file
Original file line number Diff line number Diff line change
Expand Up @@ -21,31 +21,35 @@
| :---------------- | :------- | :-- |:-- | :-- | :-- | :-- |
| Aquila-7B | 基础模型，70亿参数 | **Aquila 基础模型**在技术上继承了 GPT-3、LLaMA 等的架构设计优点，替换了一批更高效的底层算子实现、重新设计实现了中英双语的 tokenizer，升级了 BMTrain 并行训练方法，实现了比 Magtron+DeepSpeed ZeRO-2 将近８倍的训练效率。 | [./examples/Aquila/Aquila-pretrain](https://github.com/FlagAI-Open/FlagAI/tree/master/examples/Aquila/Aquila-pretrain) | [下载Aquila-7B](http://model.baai.ac.cn/model-detail/100098) | 已发布 | Nvidia-A100 |
| Aquila-33B |基础模型，330亿参数 | 同上 | —— | —— | **敬请期待** | Nvidia-A100 |
| AquilaChat-7B |SFT model，基于 Aquila-7B 进行微调和强化学习 | **AquilaChat 对话模型**支持流畅的文本对话及多种语言类生成任务，通过定义可扩展的特殊指令规范，实现 AquilaChat对其它模型和工具的调用，且易于扩展。 <br><br>例如，调用智源开源的 **[AltDiffusion](https://github.com/FlagAI-Open/FlagAI/tree/master/examples/AltDiffusion-m18) 多语言文图生成模型**，实现了流畅的文图生成能力。配合智源 **InstructFace 多步可控文生图模型**，轻松实现对人脸图像的多步可控编辑。 | [./examples/Aquila/Aquila-chat](https://github.com/FlagAI-Open/FlagAI/tree/master/examples/Aquila/Aquila-chat) | [下载AquilaChat-7B](https://model.baai.ac.cn/model-detail/100101) | 已发布 | Nvidia-A100 |
| AquilaChat-33B |SFT model，基于 Aquila-33B 进行微调和强化学习 | 同上 | —— |—— | **敬请期待** | Nvidia-A100 |
| AquilaCode-7B-NV | 基础模型，“文本-代码”生成模型，基于 Aquila-7B继续预训练，在英伟达芯片完成训练 | AquilaCode-7B 以小数据集、小参数量，实现高性能，是目前支持中英双语的、性能最好的开源代码模型，经过了高质量过滤、使用有合规开源许可的训练代码数据进行训练。<br><br> AquilaCode-7B 分别在英伟达和国产芯片上完成了代码模型的训练。 | [./examples/Aquila/Aquila-code](https://github.com/FlagAI-Open/FlagAI/tree/master/examples/Aquila/Aquila-code) |[下载AquilaCode-7B-NV](https://model.baai.ac.cn/model-detail/100102) | 已发布 | Nvidia-A100 |
| AquilaCode-7B-TS |基础模型，“文本-代码”生成模型，基于 Aquila-7B继续预训练，在天数智芯芯片上完成训练 | 同上 | [./examples/Aquila/Aquila-code](https://github.com/FlagAI-Open/FlagAI/tree/master/examples/Aquila/Aquila-code) | [下载AquilaCode-7B-TS](https://model.baai.ac.cn/model-detail/100099) | 已发布 | Tianshu-BI-V100 |
| AquilaChat-7B |SFT 模型，基于 Aquila-7B 进行微调和强化学习 | **AquilaChat 对话模型**支持流畅的文本对话及多种语言类生成任务，通过定义可扩展的特殊指令规范，实现 AquilaChat对其它模型和工具的调用，且易于扩展。 <br><br>例如，调用智源开源的 **[AltDiffusion](https://github.com/FlagAI-Open/FlagAI/tree/master/examples/AltDiffusion-m18) 多语言文图生成模型**，实现了流畅的文图生成能力。配合智源 **InstructFace 多步可控文生图模型**，轻松实现对人脸图像的多步可控编辑。 | [./examples/Aquila/Aquila-chat](https://github.com/FlagAI-Open/FlagAI/tree/master/examples/Aquila/Aquila-chat) | [下载AquilaChat-7B](https://model.baai.ac.cn/model-detail/100101) | 已发布 | Nvidia-A100 |
| AquilaChat-33B |SFT 模型，基于 Aquila-33B 进行微调和强化学习 | 同上 | —— |—— | **敬请期待** | Nvidia-A100 |
| AquilaCode-multi | 基础模型，“文本-代码”生成模型，基于 Aquila-7B继续预训练 | AquilaCode 使用经过高质量过滤且有合规开源许可的代码数据进行训练，数据量约为其他开源代码生成模型的 10～40%。通过参考官方提供的操作指南，开发者可以利用 AquilaCode 模型来定制自己的代码助手。 | [./examples/Aquila/Aquila-code](https://github.com/FlagAI-Open/FlagAI/tree/master/examples/Aquila/Aquila-code) |[下载AquilaCode-7B-multi](https://model.baai.ac.cn/model-detail/100104) | 已发布 | Nvidia-A100 |
| AquilaCode-py |基础模型，“文本-代码”生成模型，基于 Aquila-7B继续预训练。 | AquilaCode 使用经过高质量过滤且有合规开源许可的代码数据进行训练，数据量约为其他开源代码生成模型的 10～40%。通过参考官方提供的操作指南，开发者可以利用 AquilaCode 模型定制自己的代码助手。 | [./examples/Aquila/Aquila-code](https://github.com/FlagAI-Open/FlagAI/tree/master/examples/Aquila/Aquila-code) | [下载AquilaCode-py](https://model.baai.ac.cn/model-detail/100103) | 已发布 | Nvidia-A100 |

悟道·天鹰Aquila系列模型将持续开源更优版本，大家可以先删除原来目录下的`checkpoints_in/aquilachat-7b`，再下载新权重，其他使用方式不变。

- 2023/07/13 ：发布权重文件 v0.8，开源了 Aquila-7B、AquilaChat-7B 最新权重，AquilaCode 权重无更新。
- 2023/07/24 ：发布权重文件 v0.9，开源了 AquilaCode-multi、AquilaCode-py。 AquilaChat-7B和Aquila-7B权重无更新, AquilaCode-7B-NV和AquilaCode-7B-TS权重暂时不会有更新计划。
- Aquila-7B md5: 18eac56434db0198494b22b321633785
- AquilaChat-7B md5: 465683009c8b536ef4cca85febb0227c
- AquilaCode-7B-NV md5：91115e72a7fc7f780b410696eae6259c
- AquilaCode-7B-TS md5：5dae2486bc5a885279be87c13872cd5c
- AquilaCode-multi md5：07cfce9440a0fa1ac2768b39d2cf4286
- AquilaCode-py md5：3faa85fc03d8fda70a73064f48d02d85

其中AquilaChat-7B v0.8 在 FlagEval 大模型评测中（ “主观+客观”）相比0.7的版本整体稍有提，其在Chinese-MMLU上提升10%左右，详细评测结果请通过 http://flageval.baai.ac.cn 网站查看。历史版本变更详情见：[变更日志](https://github.com/FlagAI-Open/FlagAI/blob/master/examples/Aquila/changelog.md) 。
其中AquilaChat-7B新版本模型在 FlagEval 大模型评测中（ “主观+客观”）相比0.7的版本整体稍有提，其在Chinese-MMLU上提升10%左右，详细评测结果请通过 http://flageval.baai.ac.cn 网站查看。历史版本变更详情见：[变更日志](https://github.com/FlagAI-Open/FlagAI/blob/master/examples/Aquila/changelog_zh.md) 。


<br>如有使用问题请先查看 [FAQ](https://github.com/FlagAI-Open/FlagAI/issues/371)，若不能解决，请直接提交 [issue](https://github.com/FlagAI-Open/FlagAI/issues) ~


## 快速开始使用 AquilaChat-7B 对话模型

### VScode上部署推理线上服务

<br>具体部署流程见[FAQ](../vscode_inference_service.md)

### 基础模型的环境准备

1. 在本地克隆FlagAI github仓库

```
git clone https://github.com/FlagAI-Open/FlagAI.git
```
Expand Down
10 changes: 5 additions & 5 deletions examples/Aquila/Aquila-chat/README_en.md
View file
Original file line number Diff line number Diff line change
Expand Up @@ -24,17 +24,17 @@ The additional details of the Aquila model will be presented in the official tec
| Aquila-33B | Base model, 33 billion parameters | Same as above | —— | —— | Coming soon | Nvidia-A100 |
| AquilaChat-7B | SFT model, fine-tuned and RL based on Aquila-7B | **AquilaChat Dialog Model** supports fluent text dialogue and multiple language generation tasks, and realizes the call of AquilaChat to other models and tools by defining an expandable special instruction specification, which is easy to extend. For example, calling the open source **[AltDiffusion](https://github.com/FlagAI-Open/FlagAI/tree/master/examples/AltDiffusion-m18) multimodal language image generation model** of Flagship Intelligence achieved smooth image generation capability. Together with Flagship Intelligence's **InstructFace multi-step controllable text-picture model**, it is easy to achieve multi-step controllable editing of human face images. | [./examples/Aquila/Aquila-chat](https://github.com/FlagAI-Open/FlagAI/tree/master/examples/Aquila/Aquila-chat) | [Download AquilaChat-7B](https://model.baai.ac.cn/model-detail/100101) | Released | Nvidia-A100 |
| AquilaChat-33B | SFT model, fine-tuned and RL based on Aquila-33B | Same as above| —— | —— |Coming soon | Nvidia-A100 |
| AquilaCode-7B-NV | Base model, "text-code" generation model, further pre-trained based on Aquila-7B, trained on Nvidia | AquilaCode-7B achieves high performance with small data sets and parameters, and is currently the best open source code model that supports both Chinese and English, trained using training code data with compliant open source licenses after high-quality filtering. AquilaCode-7B has been trained on both Nvidia and domestic chips for code models. | [./examples/Aquila/Aquila-code](https://github.com/FlagAI-Open/FlagAI/tree/master/examples/Aquila/Aquila-code) | [Download AquilaCode-7B-NV](https://model.baai.ac.cn/model-detail/100102) | Released | Nvidia-A100 |
| AquilaCode-7B-TS | Base model, "text-code" generation model, further pre-trained based on Aquila-7B, trained on Horizon Robotics chips | Same as above | [./examples/Aquila/Aquila-code](https://github.com/FlagAI-Open/FlagAI/tree/master/examples/Aquila/Aquila-code) | [Download AquilaCode-7B-TS](https://model.baai.ac.cn/model-detail/100099) | Released | Tianshu-BI-V100 |
| AquilaCode-multi | Base model, "text-code" generation model, continue-pre-trained based on Aquila-7B. | AquilaCode utilizes high-quality, filtered, and compliant open-source code data for training, with a dataset size of approximately 10-40% compared to other open-source code generation models. By following the provided official guidelines, developers can harness the power of the AquilaCode model to customize their own code assistant. | [./examples/Aquila/Aquila-code](https://github.com/FlagAI-Open/FlagAI/tree/master/examples/Aquila/Aquila-code) | [Download AquilaCode-multi](https://model.baai.ac.cn/model-detail/100104) | Released | Nvidia-A100 |
| AquilaCode-py | Base model, "text-code" generation model, continue-pre-trained based on Aquila-7B, trained on Horizon Robotics chips | Same as above | [./examples/Aquila/Aquila-code](https://github.com/FlagAI-Open/FlagAI/tree/master/examples/Aquila/Aquila-code) | [Download AquilaCode-py](https://model.baai.ac.cn/model-detail/100103) | Released | Nvidia-A100 |


We will continue to release improved versions of Aquila model as open source. You can start by deleting the `checkpoints_in/aquilachat-7b` in the original directory and then download the new weights. Other usage methods remain unchanged. For more details, please refer to the folloing change log:

- 2023/07/13 ：Released v0.8 checkpoint files，The latest weights of Aquila-7B and AquilaChat-7B have been open sourced, but there are no updates for the weights of AquilaCode.
- 2023/07/24 ：Released v0.8 checkpoint files，AquilaCode-multi and AquilaCode-python have been released while AquilaCode-7B-NV and AquilaCode-7B-TS are temporarily not maintained. There are no updates for the weights of Aquila-7B and AquilaChat-7B.
- Aquila-7B md5: 18eac56434db0198494b22b321633785
- AquilaChat-7B md5: 465683009c8b536ef4cca85febb0227c
- AquilaCode-7B-NV md5：91115e72a7fc7f780b410696eae6259c
- AquilaCode-7B-TS md5：5dae2486bc5a885279be87c13872cd5c
- AquilaCode-multi md5：07cfce9440a0fa1ac2768b39d2cf4286
- AquilaCode-py md5：3faa85fc03d8fda70a73064f48d02d85

In the FlagEval large model evaluation ("Subjective + Objective"), AquilaChat-7B v0.8 has shown a slight overall improvement compared to version 0.7. It achieved an improvement of around 10% on the Chinese-MMLU dataset. For detailed evaluation results, please refer to the website http://flageval.baai.ac.cn.
For detailed version change history, see [Change Log](https://github.com/FlagAI-Open/FlagAI/blob/master/examples/Aquila/changelog.md).
Expand Down
23 changes: 14 additions & 9 deletions examples/Aquila/Aquila-code/README.md
View file
Original file line number Diff line number Diff line change
Expand Up @@ -21,19 +21,24 @@
| :---------------- | :------- | :-- |:-- | :-- | :-- | :-- |
| Aquila-7B | 基础模型，70亿参数 | **Aquila 基础模型**在技术上继承了 GPT-3、LLaMA 等的架构设计优点，替换了一批更高效的底层算子实现、重新设计实现了中英双语的 tokenizer，升级了 BMTrain 并行训练方法，实现了比 Magtron+DeepSpeed ZeRO-2 将近８倍的训练效率。 | [./examples/Aquila/Aquila-pretrain](https://github.com/FlagAI-Open/FlagAI/tree/master/examples/Aquila/Aquila-pretrain) | [下载Aquila-7B](http://model.baai.ac.cn/model-detail/100098) | 已发布 | Nvidia-A100 |
| Aquila-33B |基础模型，330亿参数 | 同上 | —— | —— | **敬请期待** | Nvidia-A100 |
| AquilaChat-7B |SFT model，基于 Aquila-7B 进行微调和强化学习 | **AquilaChat 对话模型**支持流畅的文本对话及多种语言类生成任务，通过定义可扩展的特殊指令规范，实现 AquilaChat对其它模型和工具的调用，且易于扩展。 <br><br>例如，调用智源开源的 **[AltDiffusion](https://github.com/FlagAI-Open/FlagAI/tree/master/examples/AltDiffusion-m18) 多语言文图生成模型**，实现了流畅的文图生成能力。配合智源 **InstructFace 多步可控文生图模型**，轻松实现对人脸图像的多步可控编辑。 | [./examples/Aquila/Aquila-chat](https://github.com/FlagAI-Open/FlagAI/tree/master/examples/Aquila/Aquila-chat) | [下载AquilaChat-7B](https://model.baai.ac.cn/model-detail/100101) | 已发布 | Nvidia-A100 |
| AquilaChat-33B |SFT model，基于 Aquila-33B 进行微调和强化学习 | 同上 | —— |—— | **敬请期待** | Nvidia-A100 |
| AquilaCode-7B-NV | 基础模型，“文本-代码”生成模型，基于 Aquila-7B继续预训练，在英伟达芯片完成训练 | AquilaCode-7B 以小数据集、小参数量，实现高性能，是目前支持中英双语的、性能最好的开源代码模型，经过了高质量过滤、使用有合规开源许可的训练代码数据进行训练。<br><br> AquilaCode-7B 分别在英伟达和国产芯片上完成了代码模型的训练。 | [./examples/Aquila/Aquila-code](https://github.com/FlagAI-Open/FlagAI/tree/master/examples/Aquila/Aquila-code) |[下载AquilaCode-7B-NV](https://model.baai.ac.cn/model-detail/100102) | 已发布 | Nvidia-A100 |
| AquilaCode-7B-TS |基础模型，“文本-代码”生成模型，基于 Aquila-7B继续预训练，在天数智芯芯片上完成训练 | 同上 | [./examples/Aquila/Aquila-code](https://github.com/FlagAI-Open/FlagAI/tree/master/examples/Aquila/Aquila-code) | [下载AquilaCode-7B-TS](https://model.baai.ac.cn/model-detail/100099) | 已发布 | Tianshu-BI-V100 |
| AquilaChat-7B |SFT 模型，基于 Aquila-7B 进行微调和强化学习 | **AquilaChat 对话模型**支持流畅的文本对话及多种语言类生成任务，通过定义可扩展的特殊指令规范，实现 AquilaChat对其它模型和工具的调用，且易于扩展。 <br><br>例如，调用智源开源的 **[AltDiffusion](https://github.com/FlagAI-Open/FlagAI/tree/master/examples/AltDiffusion-m18) 多语言文图生成模型**，实现了流畅的文图生成能力。配合智源 **InstructFace 多步可控文生图模型**，轻松实现对人脸图像的多步可控编辑。 | [./examples/Aquila/Aquila-chat](https://github.com/FlagAI-Open/FlagAI/tree/master/examples/Aquila/Aquila-chat) | [下载AquilaChat-7B](https://model.baai.ac.cn/model-detail/100101) | 已发布 | Nvidia-A100 |
| AquilaChat-33B |SFT 模型，基于 Aquila-33B 进行微调和强化学习 | 同上 | —— |—— | **敬请期待** | Nvidia-A100 |
| AquilaCode-multi | 基础模型，“文本-代码”生成模型，基于 Aquila-7B继续预训练 | AquilaCode 使用经过高质量过滤且有合规开源许可的代码数据进行训练，数据量约为其他开源代码生成模型的 10～40%。通过参考官方提供的操作指南，开发者可以利用 AquilaCode 模型来定制自己的代码助手。 | [./examples/Aquila/Aquila-code](https://github.com/FlagAI-Open/FlagAI/tree/master/examples/Aquila/Aquila-code) |[下载AquilaCode-7B-multi](https://model.baai.ac.cn/model-detail/100104) | 已发布 | Nvidia-A100 |
| AquilaCode-py |基础模型，“文本-代码”生成模型，基于 Aquila-7B继续预训练。 | AquilaCode 使用经过高质量过滤且有合规开源许可的代码数据进行训练，数据量约为其他开源代码生成模型的 10～40%。通过参考官方提供的操作指南，开发者可以利用 AquilaCode 模型定制自己的代码助手。 | [./examples/Aquila/Aquila-code](https://github.com/FlagAI-Open/FlagAI/tree/master/examples/Aquila/Aquila-code) | [下载AquilaCode-py](https://model.baai.ac.cn/model-detail/100103) | 已发布 | Nvidia-A100 |

悟道·天鹰Aquila系列模型将持续开源更优版本，大家可以先删除原来目录下的code模型路径，再下载新权重，其他使用方式不变。

- 2023/07/13 ：发布权重文件 v0.8，开源了 Aquila-7B、AquilaChat-7B 最新权重，AquilaCode 权重无更新。
- 2023/07/24 ：发布权重文件 v0.9，开源了 AquilaCode-multi、AquilaCode-py。 AquilaChat-7B和Aquila-7B权重无更新, AquilaCode-7B-NV和AquilaCode-7B-TS权重暂时不会有更新计划。
- Aquila-7B md5: 18eac56434db0198494b22b321633785
- AquilaChat-7B md5: 465683009c8b536ef4cca85febb0227c
- AquilaCode-7B-NV md5：91115e72a7fc7f780b410696eae6259c
- AquilaCode-7B-TS md5：5dae2486bc5a885279be87c13872cd5c

- AquilaCode-multi md5：07cfce9440a0fa1ac2768b39d2cf4286
- AquilaCode-py md5：3faa85fc03d8fda70a73064f48d02d85

AquilaCode-multi多语言模型支持多种编程语言高准确率生成，包括 Python/C++/Java/Javascript/Go 等。HumanEval（Python）评测结果 Pass@1、Pass@10、Pass@100 分别为 26/45.7/71.6，并在 HumanEval-X 多语言代码生成评测中显著领先于其他同参数等级的开源模型（2023.7.19）。

AquilaCode-py单语言python版模型专注于 Python 代码生成，HumanEval 评测结果 Pass@1、Pass@10、Pass@100 分别为 28.8 / 50.6 / 76.9（2023.7.19）。

历史版本变更详情见：[变更日志](https://github.com/FlagAI-Open/FlagAI/blob/master/examples/Aquila/changelog_zh.md) 。

<br>如有使用问题请先查看 [FAQ](https://github.com/FlagAI-Open/FlagAI/issues/371)，若不能解决，请直接提交 [issue](https://github.com/FlagAI-Open/FlagAI/issues) ~

Expand Down Expand Up @@ -178,5 +183,5 @@ python generate_code_bminf.py

## 证书

AquilaCode-7B-NV和AquilaCode-7B-TS开源模型使用 [智源Aquila系列模型许可协议](../../../BAAI_Aquila_Model_License.pdf), 原始代码基于[Apache Licence 2.0](https://www.apache.org/licenses/LICENSE-2.0)。
AquilaCode-7B-multi和AquilaCode-py开源模型使用 [智源Aquila系列模型许可协议](../../../BAAI_Aquila_Model_License.pdf), 原始代码基于[Apache Licence 2.0](https://www.apache.org/licenses/LICENSE-2.0)。

Loading

0 comments on commit b9b73ff

Please sign in to comment.