https://arxiv.org/abs/2006.15020
Pre-training via Paraphrasing (Mike Lewis, Marjan Ghazvininejad, Gargi Ghosh, Armen Aghajanyan, Sida Wang, Luke Zettlemoyer)
문서 X와 유사도가 높은 문서들 Z를 찾고 Z를 조건으로 해서 X를 생성하도록 학습시켜 seq2seq를 학습시키는 방법. 생성 과제의 조건으로 유사도 스코어를 줘서 유사도 또한 생성 과제의 학습 과정에서 같이 학습되도록 만든 것이 재미있는 부분.
#retrieval #pretraining