https://arxiv.org/abs/2308.04592
Shepherd: A Critic for Language Model Generation (Tianlu Wang, Ping Yu, Xiaoqing Ellen Tan, Sean O'Brien, Ramakanth Pasunuru, Jane Dwivedi-Yu, Olga Golovneva, Luke Zettlemoyer, Maryam Fazel-Zarandi, Asli Celikyilmaz)
LM 모델의 응답 결과에 대해 비평문을 생성하는 모델. 그냥 되는 것은 아니고 이를 위한 데이터 구축 작업을 했네요.
이렇게 피드백을 제공할 수 있는 모델이 있다면 할 수 있는 게 꽤 많을 것 같긴 하네요. 메타에서 한 작업이니 llama의 개선에 도입될지도.
#alignment