https://arxiv.org/abs/2004.04690
Orthogonal Over-Parameterized Training (Weiyang Liu, Rongmei Lin, Zhen Liu, James M. Rehg, Liam Paull, Li Xiong, Le Song, Adrian Weller)
요즘 많이 나오는 orthogonality. random init weight는 고정시켜두고 이를 변환하는 orthogonal matrix를 학습시키는 방법. 이렇게 했을 때 낮은 hyperspherical energy - 높은 뉴런들의 diversity를 보장할 수 있다는 것을 제안. 흥미로움.
#regularization