https://arxiv.org/abs/2109.01247
Do Prompt-Based Models Really Understand the Meaning of their Prompts? (Albert Webson, Ellie Pavlick)
프롬프트를 사용해서 파인튜닝을 했을 때 프롬프트가 어떤 형태인지가 영향을 미치는가에 대한 실험. 그러니까 말도 안 되는 프롬프트를 주면 어떻게 되는가인데...이런 실험을 했다는 것에서 이미 결론을 알 수 있듯 별 차이가 안 보인다는 발견입니다. 역으로 중요한 건 예측 대상 단어, 즉 yes/no를 예측하도록 학습시키는가 혹은 true/false 같은 걸 예측하도록 학습시키는가였다고 하네요.
#lm #prompt