https://arxiv.org/abs/2012.12896
Noisy Labels Can Induce Good Representations (Jingling Li, Mozhi Zhang, Keyulu Xu, John P. Dickerson, Jimmy Ba)
noisy label로 학습시켜도 초반부 레이어의 representation은 잘 학습된다. 후반부 레이어가 문제이니 이 레이어를 linear classifier로 갈아치우고 clean label에 대해서 학습시킨다는 아이디어.
#noise #representation