https://arxiv.org/abs/2007.01038
Beyond Signal Propagation: Is Feature Diversity Necessary in Deep Neural Network Initialization? (Yaniv Blumenfeld, Dar Gilboa, Daniel Soudry)
random init로 발생하는 feature의 diversity가 학습에 중요한가? diversity를 억제하고 feature를 symmetric하게 초기화한 상황에서도 GPU 커널의 nondeterminism 정도의 symmetry breaking만으로도 학습이 가능한다는 것을 보임.
#training