https://arxiv.org/abs/2003.11241
What Deep CNNs Benefit from Global Covariance Pooling: An Optimization Perspective (Qilong Wang, Li Zhang, Banggu Wu, Dongwei Ren, Peihua Li, Wangmeng Zuo, Qinghua Hu)
이미지 분류에서 흔히 쓰이는 global avg pool을 global covariance pool (GCP) 로 교체했을 때 어떤 일이 일어나는가에 대한 분석. GCP가 loss surface를 부드럽게 만들어줘서 학습 속도가 빨라진다는 주장. 몰랐는데 학습 속도에서 차이가 큰 듯...
#pooling