https://arxiv.org/abs/2306.10209
ZeRO++: Extremely Efficient Collective Communication for Giant Model Training (Guanhua Wang, Heyang Qin, Sam Ade Jacobs, Connor Holmes, Samyam Rajbhandari, Olatunji Ruwase, Feng Yan, Lei Yang, Yuxiong He)
소문이 돌던 ZeRO++가 나왔군요. 주로 weight/gradient에 대한 quantization으로 communication volume를 축소시킨 것이 주요한 방법이군요. 괜찮을지 모르겠네요.