https://arxiv.org/abs/2302.00083
In-Context Retrieval-Augmented Language Models (Ori Ram, Yoav Levine, Itay Dalmedigos, Dor Muhlgay, Amnon Shashua, Kevin Leyton-Brown, Yoav Shoham)
이쪽도 retrieve된 텍스트를 lm 입력 앞에 붙여서 활용한다는 아이디어군요. 사실 retrieval을 사용하는 것이 좀 더 효율적인 모델을 만든다는 보고는 이전부터 있었는데 폭넓게 쓰이게 될지 궁금하긴 하네요. (사실 이건 gpt 같은 모델들에 retrieval이 들어갈 것인가가 결정할 것 같다는 생각이 들긴 합니다.)
(이 논문과는 별개로) retrieval이나 knowledge base가 붙으면 사실 제공과 관련된 많은 문제들이 해결될 것이라는 것이 약간 자연스럽게 가정으로 깔리는 경우가 많은 것 같은데 전 사실 이쪽이 요즘 의문스럽긴 합니다. 우리가 원하는 사실이라는 것이 수집된 정보에서 바로 도출되는 종류는 아닐 것 같다는 생각이 있네요. 자체적인 판단 기준에 따른 의사 결정과 불확실함에 대한 증거의 비율, 더 나아가 적극적인 증거 수집과 창출이 필요한 문제가 아닐까 싶기도 합니다.
#lm #retrieval