https://arxiv.org/abs/2112.06749
Step-unrolled Denoising Autoencoders for Text Generation (Nikolay Savinov, Junyoung Chung, Mikolaj Binkowski, Erich Elsen, Aaron van den Oord)
denoising autoencoder를 사용해서 nonautoregressive decoding. 인위적인 노이즈 샘플만 사용하는 것이 아니라 모델 출력 결과를 노이즈를 사용한다는 것이 핵심 아이디어네요. 이전에 비슷한 시도가 있었을 것 같았는데 없나요?
#non-autoregressive