logoGopherDing's Blog
  • 主页
  • 搜索
  • 标签
  • 时间轴
  • 关于
  • 开往
主页 » 标签

Quantization

大语言模型训练机制全解·第三篇:高效推理与轻量部署核心技术

聚焦大语言模型推理优化与部署:模型量化(GPTQ/AWQ/SmoothQuant)、KV Cache 优化(GQA/PagedAttention)、投机解码、连续批处理、推理框架对比与边缘部署。 ...

2026-03-04    8101字    17分钟    GopherDing    LLM  Artificial Intelligence  Quantization



Copyright © 2021-2026 GopherDing's Blog All Rights Reserved. Generated with Hugo .Version 0.147.9.
Loading Loading