Accelerating Offloading-Based MoE Inference by Interleaving Concurrent Requests

Hongseung Yu, In Gim, Kyunghan Lee, Lin Zhong

На странице источника доступны аннотация, полный текст или сведения о том, где его прочитать. Препринт может ещё не пройти рецензирование; проверьте, появилась ли журнальная версия.