https://arxiv.org/abs/2003.13964
Regularizing Class-wise Predictions via Self-knowledge Distillation (Sukmin Yun, Jongjin Park, Kimin Lee, Jinwoo Shin)
레이블이 같은 샘플들에 대한 모델의 출력 분포를 매칭시키기. 어떻게 생각하면 일종의 consistency regularization일지도?
#distillation #regularization #consistency_regularization