替换LLM重新进行训练

[SuHuaFeng]

我现在把llm换成了qwen2-coder-7b，这是一个代码生成模型，然后我进行了第一阶段的训练，我使用20000步的checkpoint推理发现结果很差（如下图），

我觉得可能是训练的步数不够也可能是我的训练数据格式就是错的，下图是我目前的训练数据格式，输入是图像和指令，gpt输出是代码，

看了论文，第一阶段做的是对比学习，输入是不是应该是图像和代码，然后gpt的输出应该是一个标签，0或者1，代表图像和代码是否匹配，然后之后进行第二阶段的全参微调才使用我目前这样的格式。
希望您能解答一下我的疑问，应该怎么修改数据格式，然后我的替换llm的这个想法在实现的过程需要注意些什么，万分感激！