关于MLM pretraining时，做句子对Classfication的咨询？

[done520]

您好，想请教下句子对Pretraining，我看了Task/TaskForPretraining.py，是 MLM和NSP的组合任务，受到启发想咨询下，如果做句子对分类（即判断句子a和句子b是否属于同一类），是不是相应的调整一下句子对的处理（即模型输入token_type_ids改为[0] * (len(token_a_ids) + 2) + [1] * (len(token_b_ids) + 1)），用句子对label替换 nsp_label即可？还是说有其他的方法？

[done520]

或者请大佬提供一些做句子对分类 Pretraining思路？ 感谢