https://arxiv.org/abs/2010.14701
Scaling Laws for Autoregressive Generative Modeling (Tom Henighan, Jared Kaplan, Mor Katz, Mark Chen, Christopher Hesse, Jacob Jackson, Heewoo Jun, Tom B. Brown, Prafulla Dhariwal, Scott Gray, Chris Hallacy, Benjamin Mann, Alec Radford, Aditya Ramesh, Nick Ryder, Daniel M. Ziegler, John Schulman, Dario Amodei, Sam McCandlish)
openai가 또. 이미지나 영상, 수학 문제 같은 다양한 도메인에서 power law scaling을 확인. 한동안 자연/사회현상에서 power law를 찾아내던 때가 생각남. 더 많은 데이터! 더 큰 모델! 더 강력한 연산량!
#autoregressive_model #scale