https://arxiv.org/abs/2210.09304
Non-Contrastive Learning Meets Language-Image Pre-Training (Jinghao Zhou, Li Dong, Zhe Gan, Lijuan Wang, Furu Wei)
negative 없이 학습하는 방법에 non-contrastive learning이라는 이름이 붙었었군요. clip objective + non-contrastive object를 결합하면 상승 효과가 있다는 결과입니다.
#contrastive_learning #clip