https://arxiv.org/abs/2305.08298
Symbol tuning improves in-context learning in language models (Jerry Wei, Le Hou, Andrew Lampinen, Xiangning Chen, Da Huang, Yi Tay, Xinyun Chen, Yifeng Lu, Denny Zhou, Tengyu Ma, Quoc V. Le)
파인튜닝을 고려한 프롬프팅이라는 느낌이네요. instruction을 제시하지 않고, answer도 자연어 토큰이 아니라 그냥 임의의 토큰을 사용하는 방식으로 튜닝하면 성능이 오른다는 것인데...사실 in context learning 이전의 정석이 아닌가 싶기도 합니다.
#llm #prompt