https://arxiv.org/abs/2002.01808
K-Adapter: Infusing Knowledge into Pre-Trained Models with Adapters (Ruize Wang, Duyu Tang, Nan Duan, Zhongyu Wei, Xuanjing Huang, Jianshu ji, Guihong Cao, Daxin Jiang, Ming Zhou)
요즘 많이 하는 어댑터 붙이기.
- LM을 multitask에 프리트레이닝해보고 싶은데 catastrophic forgetting이 신경쓰임.
- LM은 고정하고 adapter를 붙여서 각 task에 트레이닝하자.
#language_model #multitask #adapter