LLM Inference

本章节是介绍LLM的推理过程，主要包括了LLM的推理过程，以及LLM的推理过程的一些优化方法，量化方法等。

是以先导杯LLama3-8b赛题为导向，主要聚焦于单卡的推理部署优化。

---

Last update: 2024年7月6日 23:49:25
Created: 2024年7月6日 23:49:25