本文翻译自 2024 年的一篇文章： LLM inference speed of light， 分析了大模型推理的速度瓶颈及量化评估方式，并给出了一些实测数据（我们在国产模型上的实测结果也大体吻合）， 对理解大模型推理内部工作机制和推理优化较有帮助。