https://arxiv.org/abs/2109.01652
Finetuned Language Models Are Zero-Shot Learners (Jason Wei, Maarten Bosma, Vincent Y. Zhao, Kelvin Guu, Adams Wei Yu, Brian Lester, Nan Du, Andrew M. Dai, Quoc V. Le)
구글 사람들은 llm 가지고 뭘 안 하나 싶었는데 이런 걸 하고 있었군요. 다양한 nlp 과제를 일정한 템플릿(일종의 과제 지시문) 형태로 변형해서 이 과제를 풀도록 파인튜닝 했을 때 학습에 나오지 않은 과제에 대해서도 성능이 크게 향상된다...는 아이디어군요.
#lm #zero-shot