https://arxiv.org/abs/2106.00840
Comparing Test Sets with Item Response Theory (Clara Vania, Phu Mon Htut, William Huang, Dhara Mungra, Richard Yuanzhe Pang, Jason Phang, Haokun Liu, Kyunghyun Cho, Samuel R. Bowman)
item response theory로 테스트 데이터셋을 분석하고 모델의 실력을 평가해보기. 사람의 실력/특성을 추정하기 위해 irt가 활용되는 방법들을 생각해보면 모델을 평가하기 위해 사용하는 것 또한 자연스럽기는 합니다. 아주 흥미로운 연구네요.
#dataset