https://arxiv.org/abs/2002.09599
Training Question Answering Models From Synthetic Data (Raul Puri, Ryan Spring, Mostofa Patwary, Mohammad Shoeybi, Bryan Catanzaro)
QA 데이터를 생성해서 학습시키기. answer span 찾기는 BERT가 하면 되고 question 생성은 GPT-2가 하면 되고. 큰 파이프라인 내에서 BERT와 GPT-2를 부품으로 집어넣는 사례들이 자주 나오는 듯.
#qa #bert #language_model