https://arxiv.org/abs/2106.03164
On the Effectiveness of Adapter-based Tuning for Pretrained Language Model Adaptation (Ruidan He, Linlin Liu, Hai Ye, Qingyu Tan, Bosheng Ding, Liying Cheng, Jia-Wei Low, Lidong Bing, Luo Si)
어댑터 기반 파인튜닝에 대한 분석. 더 적은 데이터 영역에서 풀 파인튜닝보다 더 나은 성능을 내준다고. 어댑터를 사용하는 것이 아무래도 프리트레이닝된 웨이트를 좀 더 효과적으로 활용하는 방법일 수 있겠죠. 풀 파인튜닝과의 성능 격차는 스크래치 트레이닝에서 획득할 수 있는 모델의 구조적 변화와 아무래도 관계가 있을 것 같고요.
adapterhub 같은 야심찬 기획도 있었는데 좀 더 traction을 끌 수 있을지 궁금하네요.
#finetuning #adapter #pretraining