What You Are Actually Measuring When You Benchmark Speculative Decoding Under FP8: A measurement case study on vLLM 0.29.0 and NVIDIA L4

Tiwari, Akshath

DOI: 10.5281/zenodo.23837084

На странице источника доступны аннотация, полный текст или сведения о том, где его прочитать.