STF后发现模型的基础能力丢失

[babybboy]

Reminder

• I have read the README and searched the existing issues.

System Info

用一波客服的对话数据做SFT(Qwen2.5-0.5B-Instruct)，LoRA微调后(默认参数，最终loss=2.0)，发现模型的一部分基础能力没了(比如system prompt: 用英文回答所有问题，实际回复还是中文，base模型没问题的)，而换一个对话数据集就没事，确认可能是数据集有问题，但目测都是很正常的对话，完全看不出区别。有人遇到过类似问题么？

Reproduction

Expected behavior

No response

Others

No response

[Coding-Zuo]

+1 SFT qwen2.5后发现 system prompt的灵活感知能力没有了。qwen2没有这种情况

[njzfw1024]

同样的问题

[babybboy]

也就是说，这是qwen2.5的问题？
我当时更换数据集后测试没问题，但那个数据集比较小，是个测试的demo
我去试试其他LLM，确认下是数据集的问题，还是模型的问题

[babybboy]

确认是模型问题，不是 llama-factory 的坑
同样数据，换了 Gemma2 就没问题了