关于 增量预训练+领域微调 的输出疑问 #752
关于 增量预训练+领域微调 的输出疑问
#752
Replies: 0 comments
Sign up for free
to join this conversation on GitHub.
Already have an account?
Sign in to comment
-
在llama-plus-7b的基础上，我们首先在领域数据上进行了增量预训练（run_pt)，然后通过通用问答语料进行微调对齐（run_sft），结果是在run_sft的max_length = 512的输出要远远好于max_length = 2048的，前者会输出答案到512截断为止，后者反而会只输出很短的结果
Beta Was this translation helpful? Give feedback.
All reactions