https://evanjconrad.com/posts/world-models
LM이 사실을 생성할 수 있는가 아닌가가 문제가 되는 상황에서, 세계에 대한 각종 사실들을 LM에 정확하게 주입하는 것이 중요한 혹은 맞는 방향인가 하는 생각을 했습니다. LM은 일종의 추론 엔진으로 기능하고 사실은 사실들의 데이터베이스, 또는 확인할 수 있는 인터페이스를 제공하는 것이 맞지 않은가 하는 생각이네요. 사람이 레퍼런스를 찾거나 혹은 직접 확인해보는 것처럼. retrieval augment가 그런 선상에 있는 접근이겠죠. 마치 Knowledge Base 같은 발상이긴 하네요.
관련해서 자연어로 된 증거를 토대로 사실에 대한 믿음을 설정할 수 있을까에 대한 간단한 시도가 있어서 읽어봤습니다.