https://arxiv.org/abs/2002.12804
UniLMv2: Pseudo-Masked Language Models for Unified Language Model Pre-Training (Hangbo Bao, Li Dong, Furu Wei, Wenhui Wang, Nan Yang, Xiaodong Liu, Yu Wang, Songhao Piao, Jianfeng Gao, Ming Zhou, Hsiao-Wuen Hon)
UniLM처럼 MLM과 LM을 결합한 시도. LM에서 토큰 단위 대신 span 단위로 처리(Partially Autoregressive). 그리고 이 둘을 결합하기 위한 작업. 임베딩과 생성 모두 잘 되는 모델이라는 방향도 흥미롭지 않을지.
POTD!
#language_model #pretraining