https://arxiv.org/abs/2005.10389
Pretraining with Contrastive Sentence Objectives Improves Discourse Performance of Language Models (Dan Iter, Kelvin Guu, Larry Lansing, Dan Jurafsky)
담화분석을 위한 프리트레이닝. 문장 사이의 거리가 얼마나 떨어져있는지를 예측하는 과제를 사용해 contrastive learning. 오랜만에 보는 문장 단위 프리트레이닝 방법인 듯.
#pretraining #contrastive_learning #sentence_embedding