https://arxiv.org/abs/2002.10365
The Early Phase of Neural Network Training (Jonathan Frankle, David J. Schwab, Ari S. Morcos)
뉴럴넷 학습 초기에 발생하는 변화를 분석. 학습 초기부터 weight 분포가 iid 하지 않다는 것이 흥미로움. 이런 학습 과정에 레이블이 반드시 필요한 것은 아니고 레이블 없이 self supervision을 사용해도 비슷한 변화가 발생.
#optimization