Sonar-MoE: In-Backward Expert Updates for Memory-Efficient Mixture-of-Experts Training

Avni Mittal, Avinash Anand, Ashutosh Kumar, Dikshant Kukreja, Kritarth Prasad, Chaitanya Lakhchaura, Rishitej Reddy Vyalla, Erik Cambria, Zhengkui Wang, Rajiv Ratn Shah

На странице источника доступны аннотация, полный текст или сведения о том, где его прочитать. Препринт может ещё не пройти рецензирование; проверьте, появилась ли журнальная версия.