大模型瓶颈不是算力，是内存带宽
三个月前，我差点被一个70B模型搞崩溃。
团队要上线一个产品，简单部署了一下，结果一个请求要等十几秒才出结果。用户等十几秒——这哪是体验？这是折磨。老板看了一眼，转身就走，丢下一句：“这东西能用？”那个眼神，我到现在都记得。
我的反应：不行，得让这玩意儿跑快点。
你以为瓶颈是算力？错。大模型真正的命门，是内存带宽
推理加速其实就两件事：吞吐量和延迟。
吞吐量是系统同时能处理多少任务，延迟是单个任务从发起到返回花了多久。这两个东西天生矛盾——你想多接客，单个客人就得等久一点；你想让每个客人都快，那一次就只能伺候一个人。
但大模型有个特别要命的特性：它特别吃内存带宽。
GPU干活分三步：先从HBM（显存）把数据搬到寄存器，然后在SRAM（高速缓存）里算，最后再写回HBM。绝大多数情况下，计算本身根本不慢，慢的是数据搬来搬去。就像你做饭，炒菜只花10秒，但去冰箱拿菜、洗菜、切菜花了5分钟——谁才是真正的瓶颈？
所以，所有加速方法都在折腾一件事：怎么少搬数据。
2023年：两个“Attention”改写了游戏规则
先说FlashAttention。这玩意儿2022年就有人提了，但真正火起来是2023年。核心思路很简单——别把整个注意力矩阵都算完再存起来，而是分块计算，减少对HBM的读写。就像吃牛排，别整块端上来再切，切一块吃一块，省得盘子太大搬不动。
我实测过，在A100上，FlashAttention能让推理速度提升2到4倍。
然后是PageAttention。这个想法更绝——它直接借用了操作系统里虚拟内存的分页思想。传统做法是给每个请求预分配一整块连续显存，但实际用的时候发现，好多显存都浪费了，就像你订了个大包间，结果只坐了两三个人。PageAttention把KV cache切成小块，按需分配，既省显存，又能塞下更大的batch size。
vLLM就是靠PageAttention火起来的。我去年年底测试vLLM 0.2.0的时候，发现它比HuggingFace的Transformers库快了一个数量级。不过也有坑——它对多模态支持极差，我们想跑LLaVA，折腾了半天没跑通，气得想摔键盘。
框架大战：谁才是真正的王者？
我花了一周时间，在A100 80G上测了六个主流框架。每个框架都有自己的脾气，跟养孩子似的。
TensorRT-LLM，英伟达亲儿子，性能确实强。但你想用？先学它那一套配置系统，光是把模型转成trt格式就能折腾三个小时，中间还报两个错。我试过转一个7B模型，三个小时后终于成功，差点哭出来。
vLLM呢，简单啊，pip install就能跑。但它的Continuous Batching有个毛病——当请求量突然增大时，调度器会卡住，导致部分请求超时。我遇到过两次，排查了半天才发现是batch size设置太大。线上服务超时，那是什么后果？
LMDeploy是我最近比较看好的。商汤出品，支持W8A8量化，在保持精度的同时能把推理速度再提30%。我测试过InternLM-20B，用LMDeploy部署，吞吐量是vLLM的1.6倍。不过它社区小，遇到问题得自己啃源码，跟考古似的。
还有llama.cpp，纯C++，适合本地部署，但GPU利用率一般。rtp-llm，阿里的，文档有点乱，像迷宫。fastllm，纯C++，适合嵌入式场景，但一般人用不上。
每个框架都有坑，没有银弹。 你选框架，不是选最强的，而是选跟你场景最匹配的。
投机算法：让模型自己给自己打草稿
说到2024年最让我兴奋的技术，必须是EAGLE系列。这思路太反直觉了——让目标模型自己生成草稿，再自己检查。
传统投机算法需要一个单独的草稿模型，比如用7B模型给70B模型打草稿。但问题来了：你上哪儿找那么合适的草稿模型？太大了吧，推理开销也不小；太小了吧，草稿质量差，接受率低。就像你写文章，找个水平差的人帮你写初稿，你还得改半天，不如自己写。
EAGLE的做法是在目标模型上增加几个输出头，让模型自己生成多个候选token，然后用树形Attention并行检查。我测试EAGLE-2的时候，差点叫出来——在70B模型上实现了2.5倍加速，而且精度损失可以忽略。
2025年3月发布的EAGLE-3更猛。它在草稿生成阶段做了优化，让模型能一次性生成更多候选token。论文里说在LLaMA-70B上实现了3倍加速。我还没机会实测，但看代码实现，确实比EAGLE-2更优雅。
不过，投机算法有个硬伤：它对计算密集型场景效果好，但对内存密集型场景效果一般。如果你的GPU计算资源充足，但内存带宽是瓶颈，那投机算法帮不了太多。就像你给一个堵车的人配个跑车，有啥用？
2025年新方向：KV cache压缩和动态稀疏化
今年KV cache方向特别火。RocketKV在ICML 2025上发了，核心思路是对KV cache做分层压缩。我看实验数据，在保持95%精度的前提下，压缩率能做到4倍。这意味着同样的显存，可以支持更长的上下文。以前只能聊2000字的对话，现在能聊8000字了。
另一个有意思的方向是Dynamic-LLaVA。它同时稀疏化视觉和文本token，在解码阶段能降低50%的计算量。我测试过它们的13B模型，在A100上，2K输出长度的推理时间从3.2秒降到了1.7秒。更有意思的是，稀疏化后模型质量反而略有提升——可能因为去掉了那些干扰信息。就像你整理房间，丢掉垃圾，反而更舒服了。
实操建议：别盲目追新，先搞清楚你的瓶颈在哪
踩了这么多坑，我总结了几条血泪经验：
第一，先搞清楚你的瓶颈在哪。 用nvidia-smi看GPU利用率。如果利用率低，说明是内存带宽瓶颈；如果利用率高，说明是计算瓶颈。不同瓶颈对应不同优化方案。别一上来就搞量化，结果发现是网络传输慢，白忙活。
第二，量化是性价比最高的优化。 int8量化基本无损，int4量化会有轻微精度损失，但速度能翻倍。我推荐先用AWQ做权重量化，再用KV cache量化。就像减肥，先减脂肪，再塑形，别搞反了。
第三，框架选型看场景。 要部署到生产环境，vLLM最稳；要做本地推理，llama.cpp最省心；要极致性能，TensorRT-LLM值得折腾——但你要有心理准备，折腾它就像学一门新语言。
第四，别忽视工程细节。 我遇到过很多次，优化了半天发现是tokenizer太慢，或者网络传输有瓶颈。先做profiling，再动手优化。 就像看病，先做检查，再开药。
未来走向：三个趋势正在加速
我觉得未来一年，这几件事会越来越热：
多模态推理加速会成为热点。 现在多模态模型越来越火，但推理效率远不如纯文本模型。Dynamic-LLaVA这类方案会越来越多。你想想，以后一个模型既能看又能听还能说，那得多快才够用？
KV cache压缩会越来越成熟。 RocketKV、KVCompose这些方法已经证明了可行性，接下来会进入工程化阶段。就像当年的FlashAttention，从论文到落地，也就一两年。
投机算法会变得更智能。 EAGLE-3已经展示了潜力，未来可能会有自适应的投机策略，根据当前输入动态调整草稿生成方式。就像老司机开车，会根据路况自动换挡。
硬件和软件的协同优化会更深。 英伟达的TensorRT-LLM和AMD的ROCm都在做这件事，未来可能会有更多针对特定硬件的优化方案。别光盯着模型，看看你的卡，它也在等你。
最后一句实在话
别指望一个技术方案能解决所有问题。推理加速是个系统工程，从模型结构、量化策略、框架选择到硬件配置，每个环节都可能成为瓶颈。我现在做新项目，都会先花一周时间做profiling和benchmark，找到真正的瓶颈再动手。
毕竟，在AI这个领域，纸上谈兵的人太多了。真正动手踩过坑的人，才懂那些坑有多深——但踩过去，你就飞起来了。
读者评论 2