Twice as Fast, Until It Isn't: Quantized Serving of Mid-Size Open LLMs

Smit Kadvani, Kriti Faujdar, Spurthi Tallam

На странице источника доступны аннотация, полный текст или сведения о том, где его прочитать. Препринт может ещё не пройти рецензирование; проверьте, появилась ли журнальная версия.