https://arxiv.org/abs/2004.11579
Probabilistically Masked Language Model Capable of Autoregressive Generation in Arbitrary Word Order (Yi Liao, Xin Jiang, Qun Liu)
생성이 가능한 MLM 만들기. 핵심은 token의 마스킹 확률 p를 예를 들어 Uniform(0, 1)에서 샘플링해오는 것.
#language_generation #mlm