Fairway: Load-Aware KV Cache Reuse for LLM Prefill Scheduling

Hamidreza Alikhani, Nazmul Takbir, Matin Khajavi, Rajat Bhattacharjya, Sangeetha Abdu Jyothi, Nikil Dutt

На странице источника доступны аннотация, полный текст или сведения о том, где его прочитать. Препринт может ещё не пройти рецензирование; проверьте, появилась ли журнальная версия.