HiState: Hierarchical Prefix Cache Management for Hybrid LLM Serving in Agentic Workloads

Zaifeng Pan, Lucas Wang, Xinwei Qiang, Yanbo Zhou, Chang Chen, Zhengding Hu, Yue Guan, Yufei Ding

На странице источника доступны аннотация, полный текст или сведения о том, где его прочитать. Препринт может ещё не пройти рецензирование; проверьте, появилась ли журнальная версия.