RTP-LLM: Building an Evolvable and Reliable LLM Inference Engine at Alibaba Scale

Jiarui Guo, Zhi Zhang, Boyu Tan, Zongwei Lv, Haobo Sun, Na He, Ziqing Wang, Xinfei Shi, Wei Zhang, Xi Yang, Haosheng Hu, Wending Bao, Zetao Hu, Dong Cao, Yong Li, Lining Wang, Chengjun Yang, Tianpeng Wang, Huanbing Lu, Yidan Wang, Hengyi Bao, Yaxin Yu, Hanyun Guo, Huidong Zhang, Haiyu Zhou, Zefeng Liu, Weixiang Huang, Ziyi Wang, Chenyi Song, Ruixuan Zhang, Zhengkai Ao, Haocheng Luo, Zhichen Xue, Jialin Zhang, Chi Zhang, Lingjun Zhu, Silu Zhou, Zongyuan Wu, Yinghao Yu, Yi Zheng

На странице источника доступны аннотация, полный текст или сведения о том, где его прочитать. Препринт может ещё не пройти рецензирование; проверьте, появилась ли журнальная версия.