https://arxiv.org/abs/2003.04289
Knowledge distillation via adaptive instance normalization (Jing Yang, Brais Martinez, Adrian Bulat, Georgios Tzimiropoulos)
feature map의 통계량과 adain으로 normalize된 feature map의 차이를 사용하여 KD를 수행.
#normalization #distillation