https://arxiv.org/abs/2208.03299
Few-shot Learning with Retrieval Augmented Language Model (Gautier Izacard, Patrick Lewis, Maria Lomeli, Lucas Hosseini, Fabio Petroni, Timo Schick, Jane Yu, Armand Joulin, Sebastian Riedel, Edouard Grave)
메타가 llm 작업을 한 지 그렇게 오래 되지는 않은 것 같은데 속도를 좀 내는 느낌이네요. retriever와 retriever로 획득한 문서를 encoding해서 접근하는 T5 기반 모델입니다.
#retrieval #few_shot #lm