https://arxiv.org/abs/2207.13532
Contrastive Masked Autoencoders are Stronger Vision Learners (Zhicheng Huang, Xiaojie Jin, Chengze Lu, Qibin Hou, Ming-Ming Cheng, Dongmei Fu, Xiaohui Shen, Jiashi Feng)
mae하고 contrastive learning을 결합해보려는 시도도 좀 나오는군요. mae처럼 reconstruction으로 학습 + ema traget encoder로 contrsative learning. 사실 mae에서 가장 흥미로운 부분은 scaling behavior라고 생각하는데 여기서는 어떨지 모르겠네요. (특별히 다를 이유가 없을 것 같긴 합니다.)
#self_supervised #contrastive_learning #mlm