https://arxiv.org/abs/2305.11778
Cross-Lingual Supervision improves Large Language Models Pre-training (Andrea Schioppa, Xavier Garcia, Orhan Firat)
T5 pretraining에 NMT objective를 추가해서 학습했을 때의 효과. QA나 summarization 같은 과제에 대한 in context learning 시나리오에서 영어 성능에는 영향을 미치지 않고 다른 언어에 대한 성능을 끌어올릴 수 있다는 결과군요.
#nmt #llm #multilingual