qlora继续微调alpaca-plus模型 #683
Unanswered
changye-chen
asked this question in
Q&A
Replies: 0 comments
Sign up for free
to join this conversation on GitHub.
Already have an account?
Sign in to comment
-
我想使用qlora方法基于alpaca-7b-plus继续微调模型，我尝试直接使用下面的伪命令
python qlora.py
--model_name_or_path path_to_alpaca_7b_plus_hf
--data_path path_to_my_data.json
--output_path output_dir
直接执行似乎是可行的，经过一段时间训练后，我得到了一些适配器模型，但我无法使用它们进行合并推理。
请问直接使用qlora微调是否有问题呢，后续会不会推出继续微调alpaca模型的方案
Beta Was this translation helpful? Give feedback.
All reactions