https://arxiv.org/abs/2208.05592
Patching open-vocabulary models by interpolating weights (Gabriel Ilharco, Mitchell Wortsman, Samir Yitzhak Gadre, Shuran Song, Hannaneh Hajishirzi, Simon Kornblith, Ali Farhadi, Ludwig Schmidt)
이미 clip으로 분류가 잘 되는 데이터셋에서의 성능을 유지하면서 새로운 데이터셋에 대한 성능을 높이고 싶을 때. 새로운 데이터셋에 대해 파인튜닝한 다음 기존 weight와 convex combination을 하면 된다는 결과. 흥미롭네요.
#vision-language #clip #multitask #domain