Skip to content

Latest commit

 

History

History
7 lines (4 loc) · 624 Bytes

230615 Exploring the MIT Mathematics and EECS Curriculum Using Large Language Models.md

File metadata and controls

7 lines (4 loc) · 624 Bytes

https://arxiv.org/abs/2306.08997

Exploring the MIT Mathematics and EECS Curriculum Using Large Language Models (Sarah J. Zhang, Samuel Florin, Ariel N. Lee, Eamon Niknafs, Andrei Marginean, Annie Wang, Keith Tyser, Zad Chin, Yann Hicke, Nikhil Singh, Madeleine Udell, Yoon Kim, Tonio Buonassisi, Armando Solar-Lezama, Iddo Drori)

MIT 전공 시험 문제들을 대해 GPT-4 + 프롬프트 엔지니어링으로 풀어봤더니 정답율 100% (!) 가 나왔다는 결과. 데이터 leak일 수도 있고 평가에 뭔가 문제가 있었을 가능성도 있지만...여하간 너무 높은 수치가 나오는군요.

#llm