https://arxiv.org/abs/2011.10944
Run Away From your Teacher: Understanding BYOL by a Novel Self-Supervised Approach (Haizhou Shi, Dongliang Luo, Siliang Tang, Jian Wang, Yueting Zhuang)
batch norm 덕분이라는 설명이 날아가고 나온 byol이 되는 이유 분석 2탄. view 사이의 consistency와 mean teacher로부터 멀어지는 loss로 결합된 직관적으로 이해가 가는 framework (raft)를 만들고, byol이 특정 조건 하에서 이 프레임워크와 동등하다는 것을 보임.
#contrastive_learning