https://arxiv.org/abs/2004.10964
Don't Stop Pretraining: Adapt Language Models to Domains and Tasks (Suchin Gururangan, Ana Marasović, Swabha Swayamdipta, Kyle Lo, Iz Beltagy, Doug Downey, Noah A. Smith)
프리트레이닝된 모델을 과제와 가까운 도메인의 데이터에 다시 프리트레이닝하고, 이 모델을 다시 과제 데이터에 대해 프리트레이닝하는 것이 성능 향상에 유의미한 도움이 된다는 연구. 요즘 딥 러닝은 결국 도메인과의 싸움인 듯.
#pretraining #domain