微调的一些问题

[zhouzhou0322]

🐛 bug 说明

1. 请问微调m3e-base需要多少数据量才有效果，我使用条左右训练，貌似没有效果，微调前后embedding的l2距离是一样
2. 微调时候loss为0
3. 合同签订前 ，合同签订后。 这两个目前我使用m3e 他们的语义很近似，但是在我的业务场景他们应该是最不接近的。微调的很多数据也是类似的后缀的意思不一样 但是总体的语义是接近的。这样可以微调吗？

谢谢

Python Version

None

[wangyuxinwhy]

1. 一般至少数百条数据
2. 微调主要应该看验证集的 Loss 不要看训练集的 Loss
3. 可以微调的

[suna0922]

1. 一般至少数百条数据
2. 微调主要应该看验证集的 Loss 不要看训练集的 Loss
3. 可以微调的

您好，请问在微调时，不同数据量的数据选择微调策略（全参数/bitfit）有什么建议嘛～

[wangyuxinwhy]

我建议最好都是全参数微调，bitfit 是为了微调 7B 以上的模型，但这个算法的效果我自己实验下来不是很理想...