https://arxiv.org/abs/2305.09617
Towards Expert-Level Medical Question Answering with Large Language Models (Karan Singhal, Tao Tu, Juraj Gottweis, Rory Sayres, Ellery Wulczyn, Le Hou, Kevin Clark, Stephen Pfohl, Heather Cole-Lewis, Darlene Neal, Mike Schaekermann, Amy Wang, Mohamed Amin, Sami Lachgar, Philip Mansfield, Sushant Prakash, Bradley Green, Ewa Dominowska, Blaise Aguera y Arcas, Nenad Tomasev, Yun Liu, Renee Wong, Christopher Semturs, S. Sara Mahdavi, Joelle Barral, Dale Webster, Greg S. Corrado, Yossi Matias, Shekoofeh Azizi, Alan Karthikesalingam, Vivek Natarajan)
Med-PaLM 2에 대한 추가 정보가 나왔길래 가져왔습니다. 특별한 건 아니고 벤치마크네요. 중간에 GPT-4 스코어도 나오는데 스코어가 살벌하네요. Med-PaLM 2는 도메인 특화 모델인데 대체로 비슷하고 더 나은 스코어를 찍기도 합니다.
#llm