torch-action

Learning Pytorch

1、使用Accelerate库 在Kaggle T4*2 进行DDP 单机多卡数据并行训练

pytorch_DDP_training.ipynb Kaggle代码链接： https://www.kaggle.com/code/leonyiyi/pytorch-ddp/edit

相比单卡GPU，训练速度提升（模型单卡能训练时）

参考文章

• https://huggingface.co/blog/pytorch-ddp-accelerate-transformers
• https://cloud.tencent.com/developer/article/2221941

2、BERT进行外卖数据 情感2分类

基于外卖数据集，微调roberta-wwm-chinese-large