《AI大模型推理优化技术领域综述：基于容度原理的P4-P7跨层级计算框架——从Scaling Law失效到计算结构的“自指性”重构》
专知智库“前沿领域综述”系列第3期
发布机构：专知智库（成都专知利乎数字科技有限公司）
实务转化：余行智库（成都余行专利代理事务所）
摘要
大语言模型（Large Language Model, LLM）的推理（Inference）阶段——即模型训练完成后的实际使用阶段——正成为制约AI产业化的核心瓶颈。尽管模型参数量在Scaling Law的驱动下以每年约10倍的速度增长，但推理硬件的算力提升速度（约每年2-3倍）和内存带宽增速（约每年1.5-2倍）远落后于模型规模的增长，导致推理成本居高不下、延迟不可控、部署场景受限。过去五年，学术界和工业界提出了大量推理优化技术——包括量化（Quantization）、剪枝（Pruning）、蒸馏（Distillation）、稀疏化（Sparsity）、KV Cache优化、投机解码（Speculative Decoding）、MoE（Mixture of Experts）架构、以及各类推理系统层面的调度优化——但推理效率的“实际提升幅度”始终低于理论预期。这一“效率鸿沟”背后隐藏着三个反常现象：Scaling Law在推理阶段的边际效益递减、推理优化技术的“平台期效应”（即单一技术优化到一定程度后性能不再提升）、以及优化技术的“负协同效应”（多项技术叠加使用后性能反而下降）。本文综述了LLM推理优化的四大技术路径（模型压缩、架构创新、推理系统优化、硬件-软件协同设计），系统梳理了近五年的关键进展与产业化瓶颈，并基于容度原理提出一个统合解释框架：推理优化的“效率鸿沟”本质上是P4层（模型参数的知识编码结构）、P5层（推理时的计算图与内存访问模式）、P6层（硬件指令级并行与存储层次）与P7层（端到端推理任务的语义完整性与时延约束）之间的“跨层级信息-能量失配”。本文进一步提出了推理优化的“计算自指性”假说——即推理计算的效率受限于模型自身“以自身输出为输入”的自指性循环结构（YX={YX}），这是Scaling Law在推理阶段失效的根本原因——并基于此提出三条产业化技术路线和四项可验证假说。
关键词：大语言模型、推理优化、容度原理、Scaling Law、KV Cache、量化、计算自指性、信息-能量失配
一、引言：AI推理——人工智能产业化的“阿喀琉斯之踵”
1.1 Scaling Law的胜利与推理成本的诅咒
2020年，OpenAI的研究者在论文《Scaling Laws for Neural Language Models》中首次系统性地描述了语言模型性能与模型规模、数据规模、计算量之间的幂律关系（Power Law）：模型性能随参数量、训练数据和计算量的增加而可预测地提升。 这一发现被后人称为“Scaling Law”，它直接指导了GPT-3（175B）、GPT-4（1.8T）、Claude 3、DeepSeek-V3（671B MoE）等一系列超大模型的研发路线。
Scaling Law的“推理”效应是：更大的模型在更多数据上训练更长时间，就能获得更强的智能。 这一规律在过去五年中已被反复验证，但很少有人意识到它的“另一面”——推理阶段的成本增长曲线比训练阶段更陡峭。
具体来说：
· 训练成本：GPT-3（175B）的训练成本约为460万美元（2020年估算）；GPT-4（1.8T）的训练成本约为1-2亿美元（2023-2024年估算）。从175B到1.8T，参数量增长约10倍，训练成本增长约30-50倍。
· 推理成本：GPT-3生成每百万tokens的成本约为20-30美元（2023年早期价格）；GPT-4生成每百万tokens的成本约为60-120美元（取决于输入/输出比例）。然而，如果考虑“同等智能水平”下的应用需求（如复杂Agent任务中的多轮推理、长上下文处理等），实际推理成本的增长远超“参数规模的线性增长”。
· 推理延迟：175B模型的单次推理延迟约为2-5秒（A100 GPU）；1.8T模型的单次推理延迟可达15-30秒，且需多卡并行。
核心困境：AI模型的智能在提升（Scaling Law的正向效应），但将这种智能“输出”给用户的成本（推理成本）也在加速攀升。如果推理成本无法有效降低，那么Scaling Law带来的智能提升将无法被普惠地应用于实际场景——这就是AI产业化的“阿喀琉斯之踵”。
1.2 推理优化领域的“三个反常”
反常一：Scaling Law在推理阶段的边际效益递减。
从GPT-3到GPT-4，训练阶段参数量增长约10倍带来了显著的智能提升（在MMLU、GSM-8K等基准测试上提升了20-30个百分点）。然而，推理阶段的“投入产出比”却截然不同：即使用户愿意支付10倍的推理成本，其获得的功能增益（如回答质量提升、准确率提高）可能只有10%-20%，远低于训练阶段的“智能增益/参数增长”的斜率。这意味着Scaling Law在推理阶段的边际效益递减——更大模型在推理时带来的“性能增益”被“成本增长”所严重稀释。
反常二：单一优化技术的“平台期效应”。
量化（从FP32到INT8再到INT4）、剪枝（从30%稀疏度到90%稀疏度）、KV Cache优化（从MHA到MQA再到GQA）等推理优化技术，在早期发展阶段（如INT8量化的首次应用、MQA的首次提出）都带来了显著的推理加速（通常为2-3倍）。然而，当这些技术被优化到“极致”后（如INT4量化、80%以上稀疏度的结构化剪枝、GQA的大规模应用），进一步优化带来的性能提升急剧下降——从早期“每10%的稀疏度提升带来20%的加速”，变为“每10%的稀疏度提升带来2%的加速”。这暗示：存在一个“技术平台期”，在该平台期之上，单一层级的优化无法打破“信息-能量”转换的物理约束。
反常三：多项优化技术的“负协同效应”。
多个推理优化技术叠加使用后，性能提升并非“加法”甚至“乘法”——在部分情况下，叠加使用多项技术后性能反而下降。 例如，INT4量化 + 4倍稀疏化 + MQA + 投机解码的“四重优化”组合，在某些模型上推理延迟的“理论预期加速”为20-30倍，但实际测得的加速仅为5-8倍——远低于理论值。更令人困惑的是：在某些架构（如MoE模型）上，量化+稀疏化的组合甚至可能导致解码质量（如困惑度、BLEU分数）显著下降（相比单一量化或单一稀疏化）。
1.3 本综述的目的与独特视角
尽管推理优化领域已有大量高质量的研究工作，但这些研究大多采取“技术问题-技术解法”的范式——即“遇到延迟问题→设计新的量化方案/剪枝策略/架构创新”。鲜有研究试图回答一个更根本的问题：为什么推理优化的“效率提升”会随着优化深度的增加而递减？是否存在一个底层的信息论约束，决定了推理效率的“天花板”？
本文综述的目的，并非简单地“罗列”各种推理优化技术，而是提出一个统合的理论框架——基于容度原理的P4-P7跨层级计算框架——来解释推理效率的“反常”现象，并为推理优化的“下一阶段”提供理论指导。
二、推理优化的四大技术路径——进展与边界
2.1 模型压缩——从量化到蒸馏的“减法”策略
量化（Quantization）——信息精度的“降维”
量化是最早被应用且最为成熟的推理优化技术之一。其核心思想是将模型参数的精度从高比特（如FP32/FP16）降低到低比特（如INT8/INT4），从而减少内存占用和计算量。
技术演变路径：
阶段 时间 代表性技术 精度 加速比 质量损失
第一阶段 2020-2021 训练后量化（PTQ） FP16→INT8 ~2× 可忽略
第二阶段 2022-2023 量化感知训练（QAT） INT8→INT4 ~4× 可控（<5%）
第三阶段 2024-2025 混合精度量化、GPTQ/AWQ INT4→INT3/2 ~6-8× 显著（10-20%）
第四阶段 2025-2026 1.58-bit量化（BitNet）、三值化 INT2→1.58bit ~10× 大（>30%，特定任务）
平台期信号： 从FP16到INT8，质量损失几乎为零（加速2倍）；从INT8到INT4，质量损失可控（加速4倍）；但从INT4到INT3/2，质量损失急剧增大，而加速比的提升有限（从4倍到6倍，仅提升50%）。这一“递减曲线”提示我们：量化精度存在一个“最优比特率窗口”（约4-8比特），低于该窗口后，“能量输入”（模型容量）的减少已无法通过“信息压缩”来弥补。
剪枝（Pruning）与蒸馏（Distillation）——结构的“裁剪”与“迁移”
剪枝通过移除模型中“不重要”的权重或神经元来减小模型规模。蒸馏通过用“教师模型”的输出（logits或中间层表示）来训练一个更小的“学生模型”。
关键发展：
· 2022-2023年：结构化剪枝（如去除整个注意力头或前馈网络层）取得了显著进展，可在减少30%-50%参数量的同时保持90%以上的性能。
· 2024-2025年：半结构化剪枝（如2:4稀疏模式）与GPU硬件的结合（NVIDIA的Ampere架构支持稀疏张量核心）带来了“无损加速”的突破，但该类加速受限于特定硬件架构。
· 2025-2026年：知识蒸馏的“教师-学生”差距问题引发广泛关注。当教师模型（如GPT-4）与学生模型（如7B模型）的规模差距超过100倍时，蒸馏的效果显著下降——学生模型无法“吸收”教师模型的深层推理能力，只能“模仿”其表面输出分布。
2.2 架构创新——从MHA到MoE的“结构”变革
注意力机制的进化（MHA→MQA→GQA→MLA）
多头注意力（MHA）是Transformer的核心组件，但KV Cache的存储和访问是推理效率的关键瓶颈。为了降低KV Cache的存储开销，研究者提出了多个变体：
· MQA（Multi-Query Attention, 2019） ：所有注意力头共享一个KV投影，将KV Cache减少到1/8。
· GQA（Grouped-Query Attention, 2023） ：将注意力头分组，组内共享KV，是MHA和MQA之间的折中方案（Google PaLM 2、Llama 3采用）。
· MLA（Multi-head Latent Attention, 2024） ：DeepSeek-V2/V3采用的方案，通过低秩分解将KV Cache压缩至MHA的约1/16。
平台期信号： MQA将KV Cache减少至1/8，质量损失约5%-10%；GQA将KV Cache减少至1/4-1/6，质量损失约2%-5%；MLA将KV Cache减少至1/16，质量损失约3%-8%（具体依赖于模型规模和训练数据）。从“单位压缩率下的质量损失”来看，MQA→GQA的改进是显著的（压缩率提升的同时质量损失下降），但GQA→MLA的改进已经触及“质量-压缩”权衡的帕累托边界。
MoE（Mixture of Experts）——稀疏性的“极致”
MoE架构通过将前馈网络（FFN）层替换为多个“专家”（Expert），并在每次推理时仅激活其中一小部分专家（Top-K路由），实现了“参数量巨大、但计算量可控”的效果。
· Switch Transformer（2021） ：首次在Transformer中大规模应用MoE，实现1.6T参数的模型（但推理时仅激活约10%的专家）。
· GLaM（2021） ：Google的1.2T MoE模型，推理成本仅为密集模型的1/3。
· DeepSeek-V3（2024-2025） ：671B参数（37B激活参数），MoE架构结合MLA，实现了“密集模型的性能，稀疏模型的计算”。
MoE的核心挑战： 路由负载不均衡（少数专家被过度激活，多数专家“闲置”）；跨设备通信开销大（专家分布在不同GPU上时，All-to-All通信成为瓶颈）；训练稳定性（路由器的梯度噪声大）；推理时的“专家选择”延迟（路由器本身的计算也成为开销）。
2.3 推理系统优化——从KV Cache到投机解码的“调度”艺术
KV Cache优化与PagedAttention
KV Cache的存储和访问是推理系统中最大的“隐性成本”。Transformer的自回归生成过程中，每生成一个新token，都需要重新读取之前所有token的KV向量，导致内存访问成为瓶颈。
· PagedAttention（2023，vLLM） ：将操作系统“虚拟内存”和“分页”的思想引入KV Cache管理，实现了“按需分配、动态释放”的显存管理策略，将KV Cache的利用效率提升至接近100%。
· 连续批处理（Continuous Batching） ：允许在序列粒度上动态调度推理任务（而非等待整个批次完成后再进行下一批），大幅提高了GPU利用率。
投机解码（Speculative Decoding）——用“小模型猜、大模型验”
投机解码（Speculative Decoding）是2023-2024年间最具突破性的推理加速技术之一。核心思想是：用一个“小模型”（Draft Model）快速生成多个候选token，然后用“大模型”（Target Model）并行验证这些候选token——如果验证通过，则一次生成多个token（而非逐个生成），从而“跳过多步自回归”。
关键发展：
· 2023年（DeepMind等） ：提出投机解码的通用框架，使用一个较小的draft模型（参数规模为目标模型的1/10-1/100）生成4-6个候选token，验证通过率约为60%-80%，实现约2-3倍的解码加速。
· 2024年（Medusa、Eagle等） ：Medusa引入多个“解码头”（多个独立的分类头，直接预测未来token），无需独立的draft模型，效率更高，但训练成本增加。Eagle采用“上下文推测”方式，利用模型的中间层表示来预测未来token，准确率比Medusa更高。
· 2025-2026年（Lookahead Decoding等） ：Lookahead Decoding无需额外训练，通过“构建N-gram前缀树”实现多token生成，且与现有模型完全兼容，成为工业界广泛采用的“最后一公里”优化。
平台期信号： 投机解码的加速比从早期的2倍提升至目前最优的3-4倍。但进一步增加draft模型规模或候选token数量（如从5个增加到10个）带来的加速增益已十分有限——这提示投机解码的“瓶颈”已从“猜的准不准”转向“验的快不快”（即大模型的验证成本）。
2.4 硬件-软件协同设计——突破“内存墙”的物理路径
内存墙（Memory Wall）——推理效率的根本瓶颈
在Transformer的推理过程中，计算量（FLOPs）和内存访问量（Bytes）之间存在严重的不匹配。以Llama 3-70B为例，单次前向传播需约280 TFLOPs的计算量，但需访问约140 GB的模型权重和KV Cache。在H100 GPU上，计算峰值（989 TFLOPS FP16）与内存带宽（3.35 TB/s）之间的比例约为“计算能力是内存带宽的约300倍”——这意味着，如果每个参数仅被计算一次，则计算远非瓶颈，内存访问才是。
硬件级优化：
· H100的Transformer Engine：自动FP8量化，在Transformer的特定层（如GEMM）中实现约2倍的加速。
· Groq的LPU：采用SRAM而非DRAM，将内存带宽提升至80 TB/s以上（H100的约24倍），实现了“计算受限”而非“内存受限”的推理架构。
· Cerebras WSE-3：晶圆级集成，将模型完全存储在片上SRAM中，消除了外部内存访问。
· AMD MI300X：192 GB HBM3，针对大模型推理的显存容量进行了优化。
2.5 小节：各技术路径的“不可通约性”
技术路径 代表技术 加速比 质量损失 主要瓶颈
量化 INT4 GPTQ 3-4× <5% 精度损失在极低比特率下不可接受
剪枝 2:4稀疏 1.5-2× <3% 硬件支持有限，稀疏结构受限
蒸馏 大→小模型 5-10× 10-30% 推理能力无法迁移
KV优化 MLA 5-8× ~5% 质量-压缩的帕累托边界
MoE DeepSeek-V3 5-10× ~2% 通信开销、负载不均衡
投机解码 Medusa/Eagle 2-3× ~0% 验证成本、接受率上限
硬件加速 H100/Groq 3-10× ~0% 成本高昂，通用性差
三、反常现象的容度原理解码
3.1 推理计算作为“跨层级信息-能量转换”的容度定义
在容度原理框架下，我们将LLM推理过程重新定义为一个“跨层级信息-能量转换系统”——模型的“智能”（训练阶段编码在P4层的参数结构中）在推理阶段被“解码”为实际输出（P7层的用户可感知回答），这一过程涉及多个层级的协同工作。
P4层——参数化知识编码层（“信息存储结构”）：
· 模型参数（权重、偏置、嵌入向量）以“分布式表示”的形式存储了训练数据的统计规律和语言知识。
· P4层的“容度特征”包括：参数总量的信息容量、参数的“可压缩性”（即信息冗余度）、参数之间的耦合强度（不同层/头之间的交互关系）。
· 关键观察：P4层的信息存储结构是“静态”的，但推理过程需要“动态”地访问和组合这些信息。
P5层——计算图与内存访问层（“信息-能量转换中介”）：
· 推理计算图（Attention、FFN、LayerNorm等操作的序列）定义了从P4层参数到P7层输出的“计算路径”。
· P5层的“容度特征”包括：计算图的“可并行性”（决定GPU利用率）、KV Cache的访问模式（顺序、随机、重复）、中间激活的内存占用。
· 关键观察：P5层是“瓶颈集中地”——它承载了从P4层读取参数（内存访问）和在P6层执行计算（算术运算）之间的“流量控制”功能。
P6层——硬件指令级执行层（“能量转换物理层”）：
· 实际的FP16/INT8/INT4算术运算、内存读写、通信传输在此层完成。
· P6层的“容度特征”包括：峰值计算吞吐量（TFLOPS）、实际内存带宽（GB/s）、指令级并行度、内存层次结构（SRAM→HBM→DRAM）。
· 关键观察：P6层的“物理容度”决定了P5层计算图的“可执行效率”。如果P5层要求的“信息访问模式”与P6层的“物理访问特征”不匹配（如频繁访问非连续内存地址、大量小数据包传输），则产生“层级失配损耗”。
P7层——端到端推理任务层（“信息产出评价层”）：
· 用户可感知的推理结果（生成的文本、答案质量、推理延迟、连贯性）。
· P7层的“容度特征”包括：任务的语义复杂性（如GSM-8K数学推理 vs 简单文本续写）、用户对延迟的容忍度（实时对话 vs 离线批处理）、任务的“自指性”强度（多轮对话中的上下文依赖）。
· 关键观察：P7层的“任务需求”决定了P5层需要执行的计算图复杂度——越复杂的推理任务，需要的计算路径越长、KV Cache越大。
3.2 “效率鸿沟”的统一解释
命题一：Scaling Law在推理阶段的边际递减 = P4→P7跨层级“信息-能量”转换损耗。
Scaling Law描述了P4层（参数规模）增加与模型智能（近似P7层某些指标，如语言建模损失）之间的关系。然而，Scaling Law描述的是“静态智能”，而非“动态推理效率”。
当P4层参数规模增加N倍时，P5层和P6层需要承载的“信息-能量转换量”至少增加α·N倍（α>1），因为更大模型的KV Cache更大（注意力运算的复杂度增加）、内存访问更频繁（参数读取量增加）、生成过程中的“自指性”循环更长（上下文长度增加）。
损耗的来源：P4层增加的“信息容量”在P5层和P6层的转换过程中被“衰减”——更大模型中的“知识”需要更多的计算步骤来“提取”，而每一额外步骤都会引入新的“转换损耗”（如KV Cache的缓存未命中、GPU之间的通信延迟、量化带来的精度损失）。因此，推理效率的“收益递减”并非模型的“错”，而是跨层级转换的物理/信息论损耗在更高参数规模下“暴露”得更加充分。
命题二：单一优化技术的“平台期效应” = 各层级“容度”接近其物理极限。
量化（P6层的精度降低）优化到4比特时，P4层的信息损失已经不可忽视（模型参数的“可区分性”降低）。进一步降低到2比特，P4层的信息损失急剧增大，但P6层的速度提升却很小——因为现代GPU的INT2算术运算在硬件层面并不比INT4更快（可能需要额外的解码/解压缩步骤）。
剪枝（P5层计算图的稀疏化）优化到一定程度后，稀疏模式变得“不规律”，导致P6层的实际利用率下降（GPU对不规则稀疏数据的加速效果差）。进一步增加稀疏度，反而增加了P5层的“计算图复杂度”（需要额外的索引计算和内存访问），其负效应超过了“计算量减少”的正效应。
这就是“平台期效应”的本质： 每一个层级都存在一个“容度阈值”——当某一优化手段试图“越过”该阈值时，该层级与其他层级之间的“耦合”开始产生“损耗”而非“增益”。优化在早期（阈值之下）是“增益型”的，在后期（阈值之上）是“损耗型”的。
命题三：多项优化的“负协同效应” = 跨层级“共振失稳”。
当INT4量化（作用于P6层）与4倍稀疏化（作用于P5层）叠加时，二者的效应并非独立。稀疏化改变了KV Cache的访问模式（P5层），使其变得更“碎片化”；量化降低了内存传输的数据量（P6层），但增加了“解量化”的延迟（额外的计算步骤）。二者结合时，P5层的“碎片化访问”与P6层的“解量化开销”叠加，产生了“共振失稳”——“负协同效应”本质上就是跨层级优化之间缺乏统一的“设计语言”，导致不同层级的优化措施在特定条件下相互“冲突”。
3.3 “计算自指性”——YX={YX}在推理优化中的体现
在容度原理第10期的框架中，我们提出了“系统自指性”（YX={YX}）作为癌症治疗困境的终极解释。同样地，LLM推理效率的困境也可以被理解为“计算自指性”的体现。
在自回归生成中，模型的输出（第t+1步的token）依赖于模型的先前输出（第1-t步的token）——即输出作为下一次推理的“输入”。这就是一个典型的自指性循环。
这一自指性循环意味着：推理过程中每一步的计算量取决于之前所有步骤的累积状态（即KV Cache的内容）。 随着生成步骤的增加，KV Cache线性增长（内存访问量增加），而每一步的“信息增益”却在递减（文本越长，每个新token的信息量越低）。这就是“计算自指性”对推理效率的约束——模型越是“自指”（即越依赖先前的输出来生成后续输出），其推理效率就越低。
这一约束与模型规模无关。即使未来有更大的模型、更快的GPU，只要推理过程是“自回归”的，就必然面临这一根本性的效率上限。
四、可验证假说与产业转化建议
4.1 四项可验证假说
假说一：“层级失配指数”可预测推理优化技术的最大有效深度。
定义层级失配指数 = max(P4量化损失占比, P5计算图不规则度, P6内存带宽利用率, P7质量损失占比)。验证方法：对多种推理优化技术（量化、剪枝、投机解码、KV压缩等）在不同层级维度上的参数进行测量，建立“失配指数-优化增益”的关系曲线。预期：失配指数超过0.3后，额外优化带来的增益趋于饱和。
假说二：“自指性深度”与推理成本的超线性关系。
自指性深度定义为生成序列中“长距离依赖”的数量（如跨段落引用、多轮对话中的上下文依赖）。验证方法：分析LLM在不同任务（简单QA vs 复杂推理 vs 创意写作）上的推理成本和KV Cache访问模式，测量自指性深度与单位token推理成本的比值。预期：自指性深度每增加1倍，推理成本增加>2倍（超线性）。
假说三：投机解码的“接受率”与draft-target模型之间的“层级一致性”相关。
投机解码的效率取决于draft模型的生成分布与target模型的验证分布之间的“匹配度”。验证方法：测量不同draft模型（同系列小模型 vs 异构小模型 vs 无训练Lookahead）在多个任务上的接受率，并测量其与target模型的层级一致性（如中间层表示的相似度）。预期：层级一致性越高，接受率越高。
假说四：MoE架构中“专家负载不均衡”的容度原理解释。
MoE路由器的负载不均衡是系统效率的关键瓶颈。验证方法：分析MoE模型在不同任务上的专家激活模式，测量“专家激活熵”与推理效率的相关性。预期：当专家激活熵低于某一阈值时，路由开销开始超过稀疏化带来的收益。
4.2 对AI产业的三条技术路线建议
路线一：放弃“单一优化追求极致”的范式，转向“跨层级联合设计”。
建议：在设计推理优化方案时，同步考虑P4（量化/剪枝）、P5（KV Cache/计算图）、P6（硬件指令/内存访问）和P7（任务语义）四个层级的匹配性。例如，在选择量化比特率时，不仅要考虑P6层的加速比，还要评估P5层的计算图是否适合低精度计算（如是否存在大量小矩阵乘法）、以及P7层的任务对精度损失的容忍度。
路线二：重视“计算自指性”的设计约束，开发“非自回归”或“半自回归”的生成架构。
建议：探索并行生成（如MaskGIT、Non-autoregressive Generation）、Speculative Decoding的“智能提前终止”策略（当生成的多样性或质量达到阈值时自动停止）、以及针对特定任务（如摘要、翻译）的定制化生成策略。
路线三：硬件与算法的“协同演化”而非“线性升级”。
建议：AI公司与芯片设计公司应进行“需求-架构”的交叉定义——而不是在算法优化完成后“被动适配”已有硬件。具体方向包括：针对KV Cache访问模式优化的专用内存架构（如HBM的更高带宽、SRAM的更大容量）、针对MoE路由通信优化的片上网络（NoC）设计、以及针对投机解码验证阶段的专用加速器。
参考文献说明
本综述引用的关键研究与数据来源：
1. Scaling Law与推理成本：
· Kaplan J, et al. Scaling Laws for Neural Language Models. arXiv:2001.08361. 2020.
· Hoffmann J, et al. Training Compute-Optimal Large Language Models. arXiv:2203.15556. 2022.
· OpenAI. GPT-4 Technical Report. arXiv:2303.08774. 2023.
· DeepSeek-AI. DeepSeek-V3 Technical Report. arXiv:2412.19437. 2024.
2. 量化（Quantization）：
· Dettmers T, et al. GPTQ: Accurate Post-Training Quantization for Generative Pre-trained Transformers. ICLR 2023.
· Lin J, et al. AWQ: Activation-aware Weight Quantization for LLM Compression. arXiv:2306.00978. 2023.
· Wang H, et al. BitNet: Scaling 1-bit Transformers for Large Language Models. arXiv:2310.11453. 2023.
3. KV Cache优化与注意力变体：
· Shazeer N. Fast Transformer Decoding: One Write-Head is All You Need. arXiv:1911.02150. 2019.（MQA）
· Ainslie J, et al. GQA: Training Generalized Multi-Query Transformer Models from Multi-Head Checkpoints. arXiv:2305.13245. 2023.
· Liu A, et al. DeepSeek-V2: A Strong, Economical, and Efficient Mixture-of-Experts Language Model. arXiv:2405.04434. 2024.（MLA）
4. 剪枝与稀疏化：
· Frantar E, Alistarh D. SparseGPT: Massive Language Models Can Be Accurately Pruned in One-Shot. ICML 2023.
· Sun M, et al. A Comprehensive Study of Sparsity in Large Language Models. ICLR 2024.
5. MoE架构：
· Fedus W, et al. Switch Transformers: Scaling to Trillion Parameter Models with Simple and Efficient Sparsity. JMLR 2022.
· Du N, et al. GLaM: Efficient Scaling of Language Models with Mixture-of-Experts. ICML 2022.
· DeepSeek-AI. DeepSeekMoE: Towards Ultimate Expert Specialization in Mixture-of-Experts Language Models. arXiv:2401.06066. 2024.
6. 投机解码与推理系统：
· Leviathan Y, et al. Fast Inference from Transformers via Speculative Decoding. ICML 2023.
· Cai T, et al. Medusa: Simple LLM Inference Acceleration Framework with Multiple Decoding Heads. arXiv:2401.10774. 2024.
· Li Y, et al. Eagle: Speculative Sampling Requires Rethinking Feature Uncertainty. ICML 2024.
· Kwon W, et al. Efficient Memory Management for Large Language Model Serving with PagedAttention. SOSP 2023.（vLLM）
· Liu F, et al. Lookahead Decoding: Breaking the Sequential Bottleneck in LLM Inference. arXiv:2403.07652. 2024.
7. 硬件-软件协同设计：
· NVIDIA. NVIDIA H100 Tensor Core GPU Architecture. 2022.
· Groq. GroqChip: The First Language Processing Unit. 2023.
· Cerebras. Wafer Scale Engine-3: The Next Generation. 2024.
专知智库内部互链
本文与以下专知智库“容度原理解码反常现象”系列文章密切关联：
· 第3期：《全球癌症统计悖论——P1-P10全层级统一框架》（zzzk.org.cn/decoding-anomalies/003）
· 第10期：《系统自指YX={YX}——从群体到个体的范式革命》（zzzk.org.cn/decoding-anomalies/010）
术语索引：本文中“容度原理”、“P4-P7层级”、“信息-能量转换”、“计算自指性”等关键概念，详见专知智库官网术语词典（zzzk.org.cn/glossary）。
结语
AI大模型的推理效率优化正处在一个关键的“范式转折点”上。过去五年的“单项技术突破”阶段（量化、剪枝、投机解码、MoE）即将结束，接下来的竞争将在“跨层级系统级设计”层面展开。
专知智库（成都专知利乎数字科技有限公司）与余行智库（成都余行专利代理事务所）基于容度原理提出的P4-P7跨层级计算框架，将推理优化重新定义为“信息存储结构（P4）、计算图与内存访问（P5）、硬件执行（P6）、任务语义（P7）之间的协同设计问题”。这一框架不仅解释了推理效率的“反常”，也为下一阶段的“AI计算架构”创新提供了理论指引。
我们相信，真正的推理效率革命，不是“更大模型+更快硬件”的线性升级，而是“从以模型为中心转向以系统为中心”的范式转型。 当产业链各方（算法科学家、系统工程师、芯片设计者）用同一套“层级语言”沟通时，跨层级的联合优化才成为可能。
专知智库“前沿领域综述”系列第3期
发布日期：2026年8月
在线阅读及PDF下载：zzzk.org.cn/reviews/003
版权声明：专知智库（成都专知利乎数字科技有限公司）保留所有权利。学术引用请标注出处。实务转化请咨询余行智库（成都余行专利代理事务所）。
关于“月球知识产权登记”的特别说明
专知智库联合余行智库，已于2026年全球率先推出 “月球知识产权登记” 服务。AI大模型的推理优化技术在月球基地的部署和知识产权保护，将是下一阶段的重要探索方向。了解更多：hrpp.org.cn/moon-ip
