https://arxiv.org/abs/2305.03053
ZipIt! Merging Models from Different Tasks without Training (George Stoica, Daniel Bolya, Jakob Bjorner, Taylor Hearn, Judy Hoffman)
모델 두 개를 합쳐 두 모델의 기능을 통합하는 하나의 모델을 만들기. 각 모델의 레이어에서 correlation이 높은 feature들을 골라 합치는 행렬과, 이 합쳐진 feature를 분리하는 행렬의 조합으로 새 weight 행렬을 만드는 식이군요. 재미있네요.