https://arxiv.org/abs/2304.03283
Diffusion Models as Masked Autoencoders (Chen Wei, Karttikeya Mangalam, Po-Yao Huang, Yanghao Li, Haoqi Fan, Hu Xu, Huiyu Wang, Cihang Xie, Alan Yuille, Christoph Feichtenhofer)
얼마 전에 generative model들이 representation 측면에서는 contrastive model에 미치지 못하지 않았냐...라고 했을 때 mae를 보면 꼭 그렇지도 않을 수 있지 않겠나 하는 생각을 했었는데요. 마침 (메타에서!) diffusion과 masked autoencoding을 결합해 inpainting과 downstream task에 대한 transfer가 가능한 모델을 만들었네요.
#ddpm #representation