https://arxiv.org/abs/2004.06093
Topology of deep neural networks (Gregory Naitzat, Andrey Zhitnikov, Lek-Heng Lim)
위상수학적 관점에서 DNN의 특징을 분석. 1. DNN은 공통적으로 데이터의 복잡한 위상을 단순한 위상으로 변환한다. 2. ReLU 같은 homeomorphic하지 않은 activation이 homeomorphic한 activation보다 위상을 변환하기 쉽다. 3. 네트워크가 깊을수록 위상의 변환이 점진적으로 일어난다. 흥미로운 관점.
#theory #topology