https://arxiv.org/abs/2302.05872
I$^2$SB: Image-to-Image Schrödinger Bridge (Guan-Horng Liu, Arash Vahdat, De-An Huang, Evangelos A. Theodorou, Weili Nie, Anima Anandkumar)
gan에서 optimal transport로 묘기하던 것이 diffusion의 등장과 함께 지나가는가 했더니 이젠 optimal transport와 sde를 결합한 묘기가 등장하고 있네요. image restoration에 schrodigner bridge를 적용한 방법인데 수학을 다 걷어내고 나면 핵심은 프로세스의 양 끝단, 입력과 출력 사이의 중간 지점을 샘플링하고 이 샘플을 모델에 통과시켜 입력과 출력의 차이를 예측하게 하는 방식으로 보입니다.
흥미로운 건 이 접근을 쓰니 super resolution 같은 경우엔 low res 이미지에서 점진적으로 high res로 이미지가 향상되는 프로세스가 나타난다는 것이네요.
#ddpm #sde #image_restoration