The Real Cost of Context: Predicting Compute Time and Energy Consumption in LLM Prefill and Decode Phases

Lars Krupp, Daniel Geißler, Francisco M. Calatrava-Nicolas, Stefan Gerd Fritsch, Paul Lukowicz, Jakob Karolus

На странице источника доступны аннотация, полный текст или сведения о том, где его прочитать. Препринт может ещё не пройти рецензирование; проверьте, появилась ли журнальная версия.