https://arxiv.org/abs/2107.07567
Beyond Goldfish Memory: Long-Term Open-Domain Conversation (Jing Xu, Arthur Szlam, Jason Weston)
blenderbot2의 기반 연구 1. long/multisession conversation을 모델링하려는 시도. retrieval, summarization, memory 같은 클래시컬(?)한 해법을 결합시켰군요. 사실 이런 모델들은 이런 모델링을 한 것 이상으로 모델이 실제로 long context를 사용하도록 학습이 된다는 것이 더 신기해집니다.
#dialog