https://arxiv.org/abs/2210.09276
Imagic: Text-Based Real Image Editing with Diffusion Models (Bahjat Kawar, Shiran Zada, Oran Lang, Omer Tov, Huiwen Chang, Tali Dekel, Inbar Mosseri, Michal Irani)
ddpm & single image editing. 일단 이미지와 편집 텍스트를 입력으로 받고, 편집 텍스트 임베딩 입력으로 나오는 출력이 이미지가 되도록 임베딩을 업데이트, 그 다음 임베딩을 고정하고 이미지에 대해 모델을 업데이트, 그리고 이렇게 나온 업데이트된 임베딩을 원 텍스트 임베딩과 interpolation해서 editing이라는 흐름이군요. 약간 GAN 시절에 사람들이 많이 하던 편집 방법들의 냄새가 나네요.
#image_editing #ddpm