https://arxiv.org/abs/2002.02492
Consistency of a Recurrent Language Model With Respect to Incomplete Decoding (Sean Welleck, Ilia Kulikov, Jaedeok Kim, Richard Yuanzhe Pang, Kyunghyun Cho)
Consistent한 RNN LM, 즉 무한한 길이의 시퀀스에 대해 확률 0을 부여하는 모델의 경우에도 Inconsistent한 디코딩 알고리즘으로 인해 무한히 반복되는 시퀀스를 생성하는 문제가 발생할 수 있음을 증명. Consistent한 디코딩 알고리즘과 EOS의 확률을 단조적으로 증가시키는 LM을 제안.
#language_model #decoding #hallucination #language_generation