https://arxiv.org/abs/2303.04248
TRACT: Denoising Diffusion Models with Transitive Closure Time-Distillation (David Berthelot, Arnaud Autef, Jierui Lin, Dian Ang Yap, Shuangfei Zhai, Siyuan Hu, Daniel Zheng, Walter Talbot, Eric Gu)
Apple에서 diffusion model에 대한 distillation 연구가 나왔군요. progressive distillation의 반복적인 distillation 과정에서 오류가 누적되면서 발생하는 퀄리티 저하를 해소하기 위해 (그리고 성가시기도 할 테니) distillation phase를 한두 번으로 줄여보고자 하는 시도입니다. 결과적으로는 2:1이 아닌 더 큰 distillation ratio를 위한 방법이네요.
얼마 전 나온 Consistency Models가 생각나는군요. 그런데, 물론 실험 세팅을 고려해서 fair하게 비교하는 것이 어렵긴 하지만, 놀랍게도 Consistency Models가 보고한 스코어가 더 좋습니다.
#ddpm #distillation