https://arxiv.org/abs/2201.06910
ZeroPrompt: Scaling Prompt-Based Pretraining to 1,000 Tasks Improves Zero-Shot Generalization (Hanwei Xu, Yujun Chen, Yulun Du, Nan Shao, Yanggang Wang, Haiyu Li, Zhilin Yang)
프롬프트 기반 제로샷 트랜스퍼. 유전 알고리즘 기반으로 프롬프트 서치를 했다는 것을 제외하면 익히 아시는 방법인데...가장 큰 포인트는 학습 과제를 1000개까지 증가시켰다는 것이겠네요. 이걸로 파인튜닝 기반 방법 이상의 성능을 냈다는 것이 요점입니다. 1000개 단위의 과제에 대한 자체 데이터셋을 가지고 있었다는 것 자체도 놀랍네요.
#zero-shot #prompt