Skip to content

Commit

Permalink
change readme
Browse files Browse the repository at this point in the history
  • Loading branch information
nlpzhezhao committed Mar 9, 2024
1 parent b0a9591 commit c13cf17
Show file tree
Hide file tree
Showing 2 changed files with 13 additions and 13 deletions.
12 changes: 6 additions & 6 deletions README.md
Original file line number Diff line number Diff line change
Expand Up @@ -153,12 +153,12 @@ TencentPretrain is organized as follows:
```
TencentPretrain/
|--tencentpretrain/
| |--embeddings/ # contains embedding modules
| |--encoders/ # contains encoder modules such as RNN, CNN, Transformer
| |--decoders/ # contains decoder modules
| |--targets/ # contains target modules such as language modeling, masked language modeling
| |--layers/ # contains frequently-used NN layers, such as normalization layer
| |--models/ # contains model.py, which combines modules of different parts
| |--embeddings/ # contains modules of embedding component
| |--encoders/ # contains modules of encoder component such as RNN, CNN, Transformer
| |--decoders/ # contains modules of decoder component
| |--targets/ # contains modules of target component such as language modeling, masked language modeling
| |--layers/ # contains frequently-used NN layers
| |--models/ # contains model.py, which combines modules of different components
| |--utils/ # contains frequently-used utilities
| |--model_builder.py
| |--model_loader.py
Expand Down
14 changes: 7 additions & 7 deletions README_ZH.md
Original file line number Diff line number Diff line change
Expand Up @@ -27,10 +27,10 @@ TencentPretrain有如下几方面优势:
- __可复现__ TencentPretrain已在许多数据集上进行了测试,与原始预训练模型实现(例如BERT、GPT-2、ELMo、T5、CLIP)的表现相匹配
- __模块化__ TencentPretrain使用解耦的模块化设计框架。框架分成Embedding、Encoder、Target等多个部分。各个部分之间有着清晰的接口并且每个部分包括了丰富的模块。可以对不同模块进行组合,构建出性质不同的预训练模型
- __多模态__ TencentPretrain支持文本、图像、语音模态的预训练模型,并支持模态之间的翻译、融合等操作
- __模型训练__ TencentPretrain支持CPU、单机单GPU、单机多GPU、多机多GPU训练模式,并支持使用DeepSpeed优化库进行超大模型训练
- __模型仓库__ 我们维护并持续发布预训练模型。用户可以根据具体任务的要求,从中选择合适的预训练模型使用
- __模型训练__ TencentPretrain支持CPU、单机GPU、多机多GPU训练模式,并支持使用DeepSpeed优化库进行超大模型训练
- __模型仓库__ 我们维护并发布预训练模型。用户可以根据具体任务的要求,从中选择合适的预训练模型使用
- __SOTA结果__ TencentPretrain支持全面的下游任务,包括文本/图像分类、序列标注、阅读理解、语音识别等,并提供了多个竞赛获胜解决方案
- __预训练相关功能__ TencentPretrain提供了丰富的预训练相关的功能和优化,包括特征抽取、近义词检索、预训练模型转换、模型集成、文本生成等
- __预训练相关功能__ TencentPretrain提供了丰富的预训练相关的功能,包括特征抽取、近义词检索、预训练模型转换、模型集成、文本生成等

<br>

Expand Down Expand Up @@ -150,10 +150,10 @@ TencentPretrain使用解耦的设计框架,方便用户使用和扩展,项
```
TencentPretrain/
|--tencentpretrain/
| |--embeddings/ # 包括词向量模块
| |--encoders/ # 包括编码器模块,例如RNN, CNN, Transformer
| |--decoders/ # 包括解码器模块
| |--targets/ # 包括目标任务模块,例如语言模型, 遮罩语言模型
| |--embeddings/ # 包括词向量(embedding)部分的模块
| |--encoders/ # 包括编码器(encoder)部分的模块,例如RNN, CNN, Transformer
| |--decoders/ # 包括解码器(decoder)部分的模块
| |--targets/ # 包括目标任务(target)部分的模块,例如语言模型, 遮罩语言模型
| |--layers/ # 包括常用的神经网络层
| |--models/ # 包括 model.py,用于组合词向量(embedding)、编码器(encoder)、目标任务(target)等模块
| |--utils/ # 包括常用的功能模块
Expand Down

0 comments on commit c13cf17

Please sign in to comment.