请问DPO训练的时候有什么注意事项吗？我训练出来效果很差。

[zlh-source]

Reminder

• I have read the README and searched the existing issues.

System Info

训练命令：

llamafactory-cli train
--stage dpo
--do_train
--finetuning_type full
--deepspeed examples/deepspeed/ds_z0_config.json
--model_name_or_path "LLaMA3"
--dataset ""
--dataset_dir ./data/
--template empty
--output_dir ${save_model}
--overwrite_cache
--overwrite_output_dir
--cutoff_len 2048
--preprocessing_num_workers 16
--per_device_train_batch_size 4
--gradient_accumulation_steps 4
--lr_scheduler_type cosine
--logging_steps 10
--save_steps 200
--learning_rate 5e-6
--num_train_epochs 2
--plot_loss
--bf16
--save_total_limit 1
--pref_beta 0.1
--pref_loss sigmoid

推理命令：
llamafactory-cli train
--stage sft
--do_predict
--model_name_or_path ${save_model}
--eval_dataset ${eval_dataset}
--dataset_dir ./data
--template empty
--finetuning_type full
--output_dir ${pred_path}
--overwrite_cache
--overwrite_output_dir
--cutoff_len 2048
--preprocessing_num_workers 16
--per_device_eval_batch_size 16
--predict_with_generate

Reproduction

None

Expected behavior

请问DPO训练的时候有什么注意事项吗？我训练出来效果很差。

例如:

1. rejected数据需要很高的质量么？
   例如，我用SFT模型的response作为rejected，chatgpt的response作为chosen。这样是否合理？

2. 2k数据，全量dpo微调3B模型的话，学习率，epoch一般怎么设置？

感谢！

Others

No response

[owenliang]

DPO很严重的破坏了原先模型能力。。奇怪

[zlh-source]

+1。但是没确定出来是什么原因。
仅似乎用chosen数据做SFT，效果能到70.
但是用chosen+rejected数据做DPO，只能到31
差的也太多了

[divisionblur]

+1。但是没确定出来是什么原因。 仅似乎用chosen数据做SFT，效果能到70. 但是用chosen+rejected数据做DPO，只能到31 差的也太多了

你用的哪个评估集？

[zlh-source]

+1。但是没确定出来是什么原因。 仅似乎用chosen数据做SFT，效果能到70. 但是用chosen+rejected数据做DPO，只能到31 差的也太多了

你用的哪个评估集？

自己的一个代码生成的评估集合。dpo之后，模型基本上就不能生成正常代码了。很奇怪

[muziyongshixin]

+1。但是没确定出来是什么原因。 仅似乎用chosen数据做SFT，效果能到70. 但是用chosen+rejected数据做DPO，只能到31 差的也太多了

你用的哪个评估集？

自己的一个代码生成的评估集合。dpo之后，模型基本上就不能生成正常代码了。很奇怪

dpo通常只能训练一个epoch，多了显著过拟合。另外lr可以调小一点
另外训练数据使用sft模型自己生产的可能效果会好一些（之前试过开源的数据不如自己跑多条然后让gpt打分构造的数据好）

[zlh-source]

+1。但是没确定出来是什么原因。 仅似乎用chosen数据做SFT，效果能到70. 但是用chosen+rejected数据做DPO，只能到31 差的也太多了

你用的哪个评估集？

自己的一个代码生成的评估集合。dpo之后，模型基本上就不能生成正常代码了。很奇怪

dpo通常只能训练一个epoch，多了显著过拟合。另外lr可以调小一点 另外训练数据使用sft模型自己生产的可能效果会好一些（之前试过开源的数据不如自己跑多条然后让gpt打分构造的数据好）

非常感谢 我试一下

[Uooga]

+1，请问你现在进展怎么样了，我也自己设计了一个数据集，大概是4w条，只用chosen的去sft效果不错，但是加上rejected的，模型直接崩溃了，学习率是1e-5

[zlh-source]

+1，请问你现在进展怎么样了，我也自己设计了一个数据集，大概是4w条，只用chosen的去sft效果不错，但是加上rejected的，模型直接崩溃了，学习率是1e-5

没有用dpo了，放弃了。不知道怎么回事，尝试了学习率、epoch的修改，但是都没救回来。😫

[lzzzx666]

+1，请问你现在进展怎么样了，我也自己设计了一个数据集，大概是4w条，只用chosen的去sft效果不错，但是加上rejected的，模型直接崩溃了，学习率是1e-5

没有用dpo了，放弃了。不知道怎么回事，尝试了学习率、epoch的修改，但是都没救回来。😫

可以看一下chosen和rejected的log_probs变化，dpo可能会让二者都变的很小。可以尝试加一点sft_loss, Llamafactory应该是在dpo里面直接支持加入sft loss的