Distributed LLM Inference via Communication-Efficient Speculative Decoding

Joohyun Shin, Byeonghyeon Park, Keumseo Ryum, Joonhyuk Kang

На странице источника доступны аннотация, полный текст или сведения о том, где его прочитать. Препринт может ещё не пройти рецензирование; проверьте, появилась ли журнальная версия.