https://arxiv.org/abs/2105.11447
True Few-Shot Learning with Language Models (Ethan Perez, Douwe Kiela, Kyunghyun Cho)
lm few shot learning (prompt 튜닝 등)이 validation 셋을 사용해 튜닝을 해버려서 validation 셋의 정보가 누출되었다는 결과. 이 문제를 해소한 상황에서 few shot을 시도해보면 성능이 크게 저하됨. 여러모로 few shot 성능이 과대평가되어 있다는 교훈은 체크하고 넘어가야겠군요.
#lm #few_shot