https://arxiv.org/abs/2104.02057
An Empirical Study of Training Self-Supervised Vision Transformers (Xinlei Chen, Saining Xie, Kaiming He)
mocov3로 vit 학습시키기. 요즘 트렌드에 맞게 큐도 없애버리고 단순화. Kaiming He 선생님도 비죤- 트랜스포머를 만지기 시작하셨군요.
#vision_transformer #contrastive_learning