当AI工厂开始"烧电生字"：香港科技大学等机构联合呼吁重新丈量大模型的真实代价

这项由香港科技大学（广州校区）、中国科学院大学、香港科技大学、XGRIDS、哈尔滨工业大学（深圳）及广州香港科技大学霍英东研究院联合开展的研究，以预印本形式发布于2026年5月12日，论文编号为arXiv:2605.11733，感兴趣的读者可通过该编号查阅完整原文。

每次你打开手机，向某个AI助手提问，屏幕上跳出一行行文字的背后，有一台或多台服务器正在嗡嗡运转，消耗着真实的电力。这件事本来很容易被忽视——毕竟文字轻飘飘的，哪像烧煤炼钢那样看得见火花？但随着全球AI使用量像滚雪球一样膨胀，研究者们开始意识到：我们对AI推理系统的评价方式，从根子上就漏掉了最重要的一块拼图。

这篇论文的核心主张可以用一句话概括：衡量AI大模型的好坏，不能只看它聪不聪明、跑得快不快，还必须算清楚它每生成一个字究竟烧掉了多少电。研究者们把这个框架称为"能量换词元生产"（energy-to-token production），并构建了一套完整的理论体系来支撑这个主张。

一、为什么我们一直在用错误的尺子量AI

把AI推理系统的评价方式比作量衣服，当前的主流做法就像只量了领口和袖长，却完全忘记量腰围。现在学术界和工业界评价一个大模型推理系统，主要看四件事：准确率（模型回答得对不对）、延迟（多快给出答案）、吞吐量（每秒能处理多少请求）、以及硬件利用率（计算芯片被用了多少比例）。这四把尺子当然有用，但它们共同忽略了一个越来越紧迫的现实问题：当数据中心的电力供应开始跟不上需求时，这套评价体系就完全失灵了。

研究者举了一个很说明问题的数字对比。截至2026年初，不同服务商提供的大模型API定价，在功能相当的条件下相差超过十倍。中国头部推理服务的输出价格在每百万词元1到4美元之间，而美国顶级服务则在12到30美元之间。这种悬殊的差距，显然不只是商业策略不同造成的——它暗示着不同生产体系在能源消耗效率上存在根本性的结构差异。当然，研究者非常谨慎地指出，这个价格差距只是一个方向性信号，不能直接等同于成本差异，因为服务质量、响应速度、上下文窗口长度等因素都没有被控制。但这个信号足以提醒我们：有什么重要的东西被我们的评价体系遗漏了。

这"什么"，就是电。更准确地说，是在固定质量标准和服务水平下，生产每一个词元（你可以把词元理解为大模型处理文字的最小单位，大约等于半个中文字或四分之三个英文单词）所消耗的能量。研究者把这个指标记作"焦耳/词元"（J/token），主张它应该与准确率、延迟一起，成为评价推理系统的一等公民。

二、把AI工厂的运转逻辑写成一个数学公式

为了让这套理念从口号变成可操作的工具，研究团队构建了一个他们称之为"词元生产函数"的数学框架。这个公式看起来有些吓人，但背后的道理可以用一个非常日常的比喻来理解。

假设你开了一家榨汁店。你的产量取决于两件事：榨汁机的处理速度，以及你能用到的水果供应量。如果机器处理速度是瓶颈，那买更多水果也没用；如果水果供应是瓶颈，那再买几台机器也是浪费。这家榨汁店的日产量，就是由那个"更紧的约束"决定的——机器速度和水果量取两者中的较小值。

AI推理系统的逻辑完全一样。它的词元产出速率，受到两个上限的同时约束：一是计算能力上限，即服务器芯片每秒能跑多少次浮点运算，除以生成每个词元需要的运算量；二是电力供应上限，即数据中心实际能送到IT设备的电功率，除以生成每个词元消耗的能量。这两个数字哪个小，哪个就是当前的瓶颈，系统实际产出就被那个较小的数字限制住了。研究者把这种"两个约束取小值"的结构，称为列昂惕夫生产结构，这是经济学里描述"固定比例投入"的经典模型——你同时需要计算和电力，缺了哪个都不行，二者不能互相替代。

在这个框架里，还有另外几个重要组成部分。数据中心的设施总用电量，要除以一个叫做PUE（电力使用效率）的系数，才能得到真正用于IT设备的有效电力。PUE是指数据中心总用电量与IT设备用电量的比值：如果PUE是1.5，意味着你每花1.5度电，才有1度真正用于计算，另外0.5度被空调、照明、配电损耗等吃掉了。全球数据中心的平均PUE约为1.56，而最优秀的设施可以做到1.08到1.09，这中间的差距非常可观。

此外，还有一个代表"系统效率"的乘数，研究者用希腊字母Φ来标记。这个乘数反映的是：在物理上限已经确定的情况下，具体的软件架构和算法选择能把系统效率发挥到几成。它可以被拆解为六个具体维度：预填充效率（处理用户输入时的效率）、解码效率（逐词生成输出时的效率）、显存访问效率、计算内核效率、调度效率和路由效率。这六个维度各自对应不同的优化手段，也各自有不同的测量方法。最后，把以上所有因素算出来的词元产出速率，再乘以一个"有效利用率"系数（反映实际需求有多充分地用满了物理产能），就得到了系统在某段时间内的总产出。

这个公式有一个非常重要的前提：所有比较都必须在固定的质量标准和服务水平下进行。你不能把一个回答问题准确率90%的系统和一个准确率60%的系统的焦耳/词元直接对比，就好比你不能把一顿满汉全席和一碗泡面的制作成本直接对比一样——产品根本不是同一个东西。

三、是计算卡脖子，还是电力卡脖子？

这套框架最实用的地方在于，它提供了一个诊断工具，能告诉你一个具体的AI部署系统，当下究竟是被计算能力限制住了，还是被电力供应限制住了。

研究者把判断标准写成了一个非常简洁的比较。定义ρ为系统实际的"每次浮点运算消耗的能量"（用IT交付功率除以有效计算吞吐量得到），再定义ρ*为当前工作负载"需要的每次浮点运算能量"（用测量到的焦耳/词元除以FLOPs/词元得到）。如果ρ大于ρ*，说明系统能提供的能量相对于它的计算能力是充足的，瓶颈在计算；如果ρ小于ρ*，说明电力供应相对于计算能力已经不够用了，瓶颈在电力。

这个诊断看似简单，但研究者发现它非常依赖于你如何测量"有效计算吞吐量"。如果你用芯片的峰值理论算力（比如H100 GPU的BF16峰值约为每秒2×10^15次浮点运算），那么算出来的ρ往往很小，系统看起来像是电力受限；但如果你用实际服务场景下的真实吞吐量（受到显存压力、批处理不足、内核调度开销等因素影响，通常只有峰值的十分之一甚至更低），那ρ会大很多，同样的系统就可能表现为计算受限。正因如此，研究者明确建议：报告这个指标时，必须注明用的是峰值算力还是实际服务吞吐量，以及测量时的上下文长度、批处理大小和质量目标，否则结果没有可比性。

以一个具体的数字例子来说明这种区别。对于65B参数量级的稠密注意力模型（这是一种常见的大型语言模型规模），每生成一个词元大约需要4×10^11次浮点运算，实测能耗约为3.5焦耳。这意味着工作负载需要的ρ*约为9皮焦每次浮点运算。一块H100 GPU在700瓦功耗下，峰值算力约为10^15次每秒，按峰值计算出的ρ只有约0.7皮焦每次浮点运算——远小于9，所以看起来是电力受限。但如果这块GPU在长上下文推理场景下，因为显存带宽压力导致实际吞吐量降低了5到10倍，那ρ就会上升到与ρ*相当的量级，系统反而变成了计算受限。同一块硬件、同一个模型，测量方式不同，得出完全相反的结论——这正是研究者强调必须统一报告规范的原因。

四、推理系统的三个历史时代

为了让这套理论框架有更直观的历史感，研究者把大模型推理的发展史划分为三个时期，就像地质学家划分地层一样，每个时期都有标志性的"地质事件"。

第一个时期是2020年到2022年，研究者戏称为"寒武纪前时代"。在这个阶段，GPT-3规模的模型刚刚出现，计算资源和电力资源相对于需求都是充裕的，系统效率几乎为1——没有什么精巧的内存管理或调度优化，直接跑就行。整个领域笃信"缩放定律"：参数越多、算力越大，模型就越好。能耗问题被埋在运营预算里，没人特别在意。

第二个时期是2023年到2024年，随着ChatGPT引爆大模型热潮，进入了"大爆炸时代"。需求爆炸式增长，倒逼出了第一波系统效率提升。FlashAttention算法把注意力机制的显存访问量从平方级别压缩到线性级别，同时降低了计算量和能耗；PagedAttention和vLLM实现了动态显存分配，让KV缓存（存储历史对话信息的显存区域）的利用率大幅提升；INT4/INT8量化技术（把模型参数从高精度浮点数压缩成低精度整数）在不扩大电力预算的情况下拉伸了计算能力。这个阶段的一个重要发现来自研究团队自身较早期的工作：实际测量表明，真正限制大模型推理速度的不是浮点运算次数，而是显存数据传输量——这个洞察预示了后来的优化方向。此时API定价还比较统一，电力还没有成为主导约束。

第三个时期是2025年到2026年，研究者称之为"上下文战争与算力墙时代"。上下文长度突破了百万词元大关，而全球数据中心电力消耗在2024年已达到4150亿度，国际能源署预测到2030年将攀升至9450亿度。美国几大超级云厂商的资本开支自2023年第二季度以来年增速约72%，2025年合计超过4000亿美元。与此同时，中国每日词元调用量在2026年3月已超过140万亿次，较2024年初增长约1000倍，仅字节跳动旗下的豆包一家每天就处理约120万亿次词元。部分地区已经撞上了电力供给的天花板，而API定价的分化，正是这种约束差异的外在表现。

五、让每一度电多生产几倍文字：系统优化的真实含义

明白了能量换词元的框架之后，那些看起来只是"工程小技巧"的系统优化，就有了全新的宏观意义。研究者把这类优化统称为"Φ系统增益"，核心逻辑是：在不扩大电力和计算基础设施的前提下，让系统产出更多符合质量要求的词元。

第一大类优化聚焦于KV缓存的压缩。KV缓存是大模型在生成每一个新词元时，必须从显存中读取的"历史记忆"——它记录了之前所有词元的键（Key）和值（Value）向量。上下文越长，这块缓存就越大，读取它消耗的显存带宽就越多，最终芯片的计算单元大部分时间都在等待数据，白白浪费了算力。DeepSeek团队开发的多头潜在注意力（MLA）机制，把KV缓存替换成一个低秩压缩表示，压缩比约达16倍。从数字上看，标准多头注意力（MHA）的实测能耗约为每词元3.5焦耳；切换到MLA之后，能耗降至约1.1焦耳，降幅约69%，同时批处理大小（同时处理的请求数量）可以从8增加到24，相当于在同样的电力预算下，产出提升了约2.5倍。这不是魔法——这是因为显存带宽从瓶颈变成了非瓶颈，芯片得以被充分利用。

如果在MLA的基础上再叠加INT4量化（把模型权重从16位浮点数压缩为4位整数），研究者预测能耗可进一步降至约0.35焦耳每词元，相当于基线的约十分之一。当然，研究者明确说明这是一个推算值，而非在完全相同的测试环境下直接测量得到的结果，实际效果会因工作负载和服务配置而异。

与此同时，DeepSeek-V4技术报告中描述的压缩稀疏注意力（CSA）和重度压缩注意力（HCA）机制，进一步把这个思路推向了百万词元上下文的服务场景。据该开发者报告（尚待第三方独立复现），这套系统只需要V3.2版本约27%的单词元FLOPs，以及约10%的KV缓存占用。

第二大类优化是稀疏注意力和混合注意力。标准的注意力机制对序列中所有词元对都进行运算，计算量随序列长度的平方增长——序列翻倍，计算量变四倍。但实际上，大多数词元对之间的关联非常弱，计算它们是在浪费能量。NSA（原生稀疏注意力）通过硬件对齐的动态块选择，只对真正重要的词元对进行全精度计算，在64K以上长序列上可以实现6到11倍的速度提升（单一来源数据，配置相关）。MiniMax推出的混合线性/二次路由方案，则让不同的注意力头根据任务需要选择线性复杂度或平方复杂度的计算路径，实测能耗约为每词元1.2焦耳。此外，一种叫做"难度自适应推理"的技术（研究团队自身的工作之一），通过对每个词元按其熵（信息不确定程度）来分配计算资源，在无质量损失的前提下减少了约22.4%的词元输出。

研究者特别指出，所有这些优化只有在保持相同质量和服务水平的前提下才算真正的"生产函数增益"。如果一个优化手段让模型在某个基准测试上表现更好，但悄悄损害了检索准确率或推理可靠性，那它只是换了一个工作点，并没有真正拓展生产边界。

六、两条岔路：基础设施受限型与效率优先型

掌握了这套分析框架，研究者描绘了全球AI推理生态系统可能走向的两种典型路径。

第一条路可以叫做"基础设施受限型"：计算规模扩张很快，但电网承载能力受到历史基础设施的制约，PUE高达1.5到2.0，系统效率投入有限。在这种情况下，随着电力逐渐成为主导约束，每个词元的边际成本会上升，最终走向高价格、强调前沿能力的路线。

第二条路叫做"效率优先型"：计算扩张较为谨慎，同时推进可再生能源部署和电网现代化，激进地应用MLA、CSA/HCA、稀疏注意力等系统优化，把PUE压缩到1.1到1.2。这种路线倾向于支撑较低的词元价格，并在推理优化上持续投入。OpenRouter平台在2026年第一季度对1000万亿词元样本的统计显示，开源和中国开发的开放权重模型的词元份额在快速增长，且这类流量以编程和自动化工作流为主。

当然，研究者明确表示，这两条路只是理想化的极端类型，现实中的生态系统往往混合了两者的特征。更重要的是，研究者援引经济学中的"杰文斯悖论"指出：技术效率提升并不一定减少总能耗。每词元的价格自2023年以来急剧下降，但总词元消费量增长得更快，抵消乃至超过了效率改善带来的节约效应。这意味着，单靠硬件进步或电网扩容，并不能从根本上解决算力墙问题；只有把系统效率（Φ系统）提升列为与基础设施扩张同等重要的战略目标，才能真正改变能量换词元的生产边界。

七、研究者的呼吁：把焦耳/词元列为一等公民

研究团队的行动建议指向三个层面。对于发表推理系统论文的研究者，他们要求在报告准确率和延迟的同时，必须同时披露：焦耳/词元、当前主导约束（计算受限还是电力受限）、经PUE调整的交付功率，以及利用率调整后的词元产出，并且所有数据都必须注明测量时的质量目标、服务水平、工作负载构成、批处理协议、硬件配置和能量统计边界——缺少这些上下文，孤立的焦耳/词元数字没有任何可比性。对于学术会议和评测排行榜，他们建议增设能量归一化赛道，例如把MLPerf Power（一个现有的硬件能效评测标准）扩展到大模型服务场景。对于资助机构、系统运营者和论文审稿人，他们呼吁把提升系统效率（Φ系统）的研究工作视为一流学术贡献，并把缺少功率效率和利用率披露视为可提出审稿意见的实质性缺陷，而不是可以忽视的格式问题。

研究者也非常坦诚地列出了这套框架的边界和局限。列昂惕夫生产结构（取两个约束的最小值）是一个短期近似，而非长期结构模型；论文中引用的焦耳/词元数据来自不同团队、不同测量环境，只能说明方向和数量级，不能做精确的横向对比；ρ-ρ*诊断指标依赖于有效计算吞吐量的测量惯例。每一处局限，研究者都在正文或附录中明确说明，并指出相应的披露要求。用他们自己的话说，每一条需要控制的变量，恰恰是他们提出的报告标准已经要求披露的维度——标准越严格，框架反而越有说服力。

说到底，这篇论文做的事情有点像一位厂长在工厂里挂上了一块以前从没有的计量表——不是为了吓人，而是因为不量就不知道瓶颈在哪里，就没办法做出正确的决策。AI系统的电力消耗已经从一个可以忽略的运营成本，变成了一个可以决定谁能提供更多服务、谁先撞上天花板的核心战略变量。在这个背景下，继续只用准确率和速度来评价推理系统，就像只盯着汽车的加速性能而完全忽视油耗——在燃油便宜的时代无所谓，但当加油站开始排起长队，油耗就成了最重要的参数。

研究者并不预言哪个生态系统会赢得这场竞争，也不断言电力成本是唯一决定因素。他们真正想传达的信息是：我们现在正处于一个关键的评价体系转型期，ML社区需要在效率指标被彻底忽视之前，把焦耳/词元这个维度纳入正式的评价标准。如果你对这套完整的理论框架感兴趣，特别是附录中那个H100具体数字案例的推导，或者关于API定价的详细厂商对比数据，都可以通过arXiv编号2605.11733查阅完整论文。

Q&A

Q1：焦耳/词元（J/token）这个指标为什么重要，和现有的延迟、吞吐量指标有什么本质区别？

A：延迟和吞吐量反映的是系统有多快，焦耳/词元反映的是系统有多省。在数据中心电力充裕的时代，快就够了；但当电网供给开始跟不上需求，一个系统在同样的电力预算下能产出多少合格质量的词元，才是真正决定服务容量上限的指标。延迟再低，如果每个词元烧掉十倍的电，在电力受限的地区实际能服务的用户就少了十倍。两类指标衡量的是不同维度的性能，不能互相替代。

Q2：KV缓存压缩技术（如MLA）是怎么减少能耗的，它有没有代价？

A：KV缓存存储着模型生成每个新词时需要"回顾"的历史信息，缓存越大读取越慢，显存带宽越早成为瓶颈。MLA通过低秩压缩把这块缓存缩小约16倍，让读取速度不再卡住芯片，从而在同样的电力预算下处理更多并发请求。代价是：如果压缩损害了模型的检索准确性或推理可靠性，产出的词元就不再是等价的，所谓"节能"只是降低了质量标准，并非真正的效率提升。所以研究者强调，所有能耗比较都必须在固定质量目标下进行。

Q3：论文里的"词元生产函数"和传统评测基准（如MLPerf）有什么不同，为什么现有标准不够用？

A：传统MLPerf等基准主要测量固定模型在固定硬件上的速度表现，不区分系统是被计算限制还是被电力限制，也不要求披露能耗和数据中心的实际电力效率（PUE）。词元生产函数则把计算能力和电力供应都纳入同一个约束框架，要求明确标注当前的"主导瓶颈"是哪一个，并在固定质量和服务水平的前提下比较系统产出。通俗来说，传统基准测的是赛道上的最高速度，词元生产函数测的是在现实路况和油箱容量限制下真正能跑多远。