https://arxiv.org/abs/2110.08413
Invariant Language Modeling (Maxime Peyrard, Sarvjeet Singh Ghotra, Martin Josifoski, Vidhan Agarwal, Barun Patra, Dean Carignan, Emre Kiciman, Robert West)
invariant risk minimization (https://arxiv.org/abs/1907.02893) 의 lm에 대한 적용. environment별로 lm head를 만들어서 학습시키는 것이 핵심이 되겠네요. 사실 causality가 엮이는 문제가 다 그렇듯 이 environment를 어떻게 설정할 것인가가 가장 중요한 문제가 되겠죠.
#lm #irm