https://arxiv.org/abs/2302.08007
Shared Microexponents: A Little Shifting Goes a Long Way (Bita Rouhani, Ritchie Zhao, Venmugil Elango, Rasoul Shafipour, Mathew Hall, Maral Mesmakhosroshahi, Ankit More, Levi Melnick, Maximilian Golub, Girish Varatkar, Lei Shao, Gaurav Kolhe, Dimitry Melts, Jasmine Klar, Renee L'Heureux, Matt Perry, Doug Burger, Eric Chung, Zhaoxia Deng, Sam Naghshineh, Jongsoo Park, Maxim Naumov)
마이크로소프트와 메타에서 나온 새로운 low precision 포맷이네요. 이전 같으면 어차피 하드웨어 지원이 없으면 못 쓰는데...정도로 생각했지만 지금 같이 대규모 추론과 학습이 필요한 상황에서 이 두 회사 레벨이라면 칩을 만드는 것도 가능하겠다 하는 생각이 드네요.
#quantization