https://arxiv.org/abs/2002.08258
Knapsack Pruning with Inner Distillation (Yonathan Aflalo, Asaf Noy, Ming Lin, Itamar Friedman, Lihi Zelnik)
채널 단위 프루닝과 distillation을 결합해서 원본보다 더 작고 더 정확한 모델을 만들기. 새로운 프루닝 방법도 제안하고 distillation도 문제에 맞게 고쳐서 붙이고 SE 같은 추가적은 구조가 붙은 상황에서도 돌아가게 만들고 하는 시도들이 의미있는 듯.
#pruning #distillation #lightweight