1 为什么要量化:算力、带宽、功耗、存储四本账

1.1 为什么要量化:把"四本账"算清楚

是什么:量化(Quantization)就是把神经网络里的 FP32 浮点权重和激活,近似映射成低位宽的整数(INT8 甚至 INT4)来存储和计算。为什么:因为在机器人端侧,你被四本账同时卡死 —— 存储装不装得下、带宽喂不喂得动、电池供不供得起、算力转不转得快。只要把下面这本账算清楚,你就明白为什么业界几乎所有 NPU 都把 INT8 当作"第一公民"。

机器人端侧的例子:一台人形机器人的头部 SoC(如瑞芯微 RK3588 的 6 TOPS INT8 NPU,或 Jetson Orin Nano),要同时跑双目深度、人体检测、VSLAM、语音 VAD,还可能要给 VLA 小模型留算力。若全部用 FP32:一个检测模型就占上百 MB 内存、NPU 的浮点吞吐只有 INT8 的零头,30 fps 的感知闭环根本转不起来;量化到 INT8 后模型缩小 4×、NPU 跑满 6 TOPS、发热也压得住 —— 这就是"量化是部署的第一课"的原因。

一个粗算的"感知预算"例子:三路模型(检测 1.5 TOPS + 深度 1.2 TOPS + VSLAM 1.0 TOPS)按 30 fps 连续跑,平均需求约 (1.5+1.2+1.0) TOPS;在 6 TOPS 的 NPU 上,若全用 FP32(算力按 INT8 的 1/4 计,有效约 1.5 TOPS),连一路都跑不满 —— 全 INT8 量化则是用掉 62% 算力,还给语音和 VLA 留了余量。学会算这本账,你在选型会上就有话语权。

2 数值表示与量化数学

2.1 数值表示基础:FP32 / FP16 / BF16 / INT8 到底差在哪

是什么:浮点数用「符号 + 指数 + 尾数」三段表示一个实数:FP32 是 1 位符号 + 8 位指数 + 23 位尾数,解码为 (-1)^S × 2^E-127 × (1 + M/2²³);定点整数(INT8/INT16)则只有一段裸整数,靠一个外挂的 scale 系数还原量纲。为什么 FP32 对硬件不友好:浮点加法必须先「对阶」—— 比较两个数的指数、把小指数的尾数右移对齐,再相加、再规格化;这条路径让浮点 MAC 的面积、功耗、流水线深度都远大于纯整数 MAC。这就是为什么 NPU 的 MAC 阵列几乎都做成 INT8/INT16 整数阵列(衔接 08-07 脉动阵列)。

记忆锚点:指数位决定动态范围,尾数位决定分辨率。BF16 把尾数砍到 7 位却保留 8 位指数,就是"牺牲分辨率保范围不溢出"的典型取舍;INT8 更激进 —— 直接把范围交给人工选定的量化区间 [r_min, r_max],256 级台阶全花在分辨率上。

2.2 量化数学:scale、zero_point 与反量化

是什么:量化就是把实数区间 [r_min, r_max] 线性映射到整数区间,映射关系由两个参数唯一确定:scale(步长 s)决定一个整数台阶代表多大实数,zero_point(零点 z)记录实数 0 落在哪个整数上(保证 0 被精确表示,否则卷积的 padding 全部产生误差)。

对称量化是非对称的特例:令 r_min = −r_max,则 z = 0,公式简化为 q = clip(round(r/s), −127, 127),其中 s = max|W| / 127。权重常用对称(有正负、分布近零对称),激活常用非对称(如 ReLU 后全为非负,zero_point=0 的对称量化会浪费一半编码空间)。

2.3 量化粒度:per-tensor vs per-channel

是什么:一组 (s, z) 作用在多大范围上,就是量化粒度。per-tensor:整个张量共用一组参数,硬件最友好;per-channel:卷积权重的每个输出通道各有一组参数(激活通常仍用 per-tensor,因为推理时激活的统计范围随输入变化,逐通道 scale 会拖垮硬件调度)。

为什么 per-channel 救精度:不同输出通道的权重动态范围可能相差一个数量级(有的通道权重普遍偏大,有的接近 0)。per-tensor 用"最大通道的最大值"定 scale,等于让小范围通道只能用 256 级台阶里很窄的一段,分辨率被白白浪费;per-channel 让每个通道都吃满 ±127 的整数刻度,舍入误差整体缩小。这就是 08-07 里说的"硬件要让算法有得选"—— 好的量化方案必须能映射成可实现的 RTL。

3 PTQ 与 QAT:两条量化路线

3.1 PTQ 训练后量化:不训练,靠校准数据算 scale

是什么:PTQ(Post-Training Quantization)在模型训练完成之后做量化:拿几百张有代表性的数据"喂"进模型跑前向(不训练),统计每层激活的数值分布,据此算出 scale/zero_point,然后一次性把权重和激活转成整数。为什么常用:零训练成本、不需要原始训练代码和数据集,几十分钟就能出结果,是端侧部署的默认第一步。

PTQ 的灵魂在校准方法 —— 怎么从激活的统计分布里选出量化区间 [r_min, r_max]。三种主流方法对比:

3.2 QAT 量化感知训练:伪量化节点与直通估计器 STE

是什么:QAT(Quantization-Aware Training)把量化"搬进"训练过程:在网络的每个权重/激活后面插入伪量化节点(fake-quantize),前向传播时先把数值量化成 INT8 再反量化回浮点 —— 网络每一步都在"亲身体验"量化后的台阶值;为什么精度更高:训练时损失函数已经包含量化噪声,梯度下降会自动把权重调整到"量化后依然正确"的位置,相当于网络对量化误差产生了免疫力。奠基性工作是 Google 的 INT8 白皮书(arXiv:1712.05877),TFLite 全整型方案即源于此。

STE 为什么必须存在:round 是阶梯函数,梯度几乎处处为 0 —— 反向传播一遇到 round 梯度就"断流"。直通估计器(Steal-Through Estimator)粗暴地把 round 的梯度当成 1,让上层梯度"原样穿过"伪量化节点,训练得以继续。数学上不严格,但工程上极其有效,是 QAT 的标准做法。

怎么做(量化 + 微调流程):① 加载训练好的 FP32 模型;② prepare:插入观测器(统计 min/max)与伪量化节点;③ 用训练集(或其子集)以小学习率(如原学习率的 1/100)微调几个 epoch,BN 统计照常更新;④ convert:把观测器统计转成最终 scale,伪量化替换为真量化算子,导出 INT8 模型。

3.3 量化误差从哪来:舍入、截断与"敏感层"

是什么:量化误差主要有两笔:舍入误差 —— round 把实数吸附到最近的台阶,误差均匀分布在 ±s/2 内,温和且各层互相抵消;截断(削峰)误差 —— 超出校准区间的异常值被 clip 到边界,单个值的误差可达数个 s,是掉点的主要元凶。误差还会逐层累积放大:上一层的输出误差成为下一层的输入扰动。

• 首层最敏感:输入图像的动态范围随光照、传感器噪声剧烈变化,首层分布不稳定,scale 估不准会直接污染整张特征图;
• 末层最敏感:分类 logits 之间往往只差零点几,量化误差足以翻转 argmax,表现为"精度凭空掉几个点";
• 中间层相对扛造:特征冗余大,小扰动影响有限。

怎么做(救精度清单):① 权重 per-channel 量化(第一救命稻草);② 首层、末层保持 FP16/INT16 高精度(混合精度量化);③ 换校准方法(min-max → 百分位/KL);④ 补充校准数据覆盖实机真实分布;⑤ 用逐层余弦相似度/SQNR 定位误差最大的层,精准 QAT 只救那一两层。

4 稀疏化与推理引擎

4.1 稀疏化性能优化:剪枝、2:4 结构化稀疏与硬件跳零

是什么:稀疏化(Sparsity)把权重矩阵中"不重要"的连接置零 —— 剪枝依据通常是权重大小(magnitude):数值接近 0 的权重对输出贡献小,砍掉后微调几步即可恢复精度。它与量化正交:量化压"每个数的位宽",稀疏化压"有多少个数",两者收益可以叠加。

硬件跳零加速原理:权重按"非零值 + 2 bit 位置索引"压缩存放,MAC 阵列读数时遇到 0 直接跳过乘法——乘法器不翻转,省动态功耗;对 2:4 这种规则模式,硬件还能成对复用加法树,等效数学吞吐翻倍。NVIDIA 官方数据:A100 的 Sparse Tensor Core 下 FP16 达 624 TOPS(稠密 312)、INT8 达 1248 TOPS(稠密 624);TensorRT 8.0 实测稀疏 ResNeXt-101 推理性能提升约 20%、小批量场景性能/功耗比提升约 36%,且精度与稠密基线持平。

# 2:4 稀疏微观示例:每 4 个连续权重为一组,每组保留绝对值最大的 2 个
dense  = [ 0.42, -0.03,  0.51,  0.11 ]     # 剪枝前的稠密权重组
sparse = [ 0.42,  0.00,  0.51,  0.00 ]     # 剪掉 -0.03 和 0.11(幅度最小)
indices= [   00,     --,     10,     -- ] # 每个非零值附带 2 bit 位置索引
# 硬件视角:Y = 0.42*x0 + 0.51*x2,两次乘加完成"四次乘加"的等效工作量 → 2× 吞吐
# 注意:剪完必须微调,让剩余 2 个权重"接管"被剪权重原本承担的输出分量

剪枝-量化组合流水线:顺序必须是先剪后量 —— 剪枝会改变权重分布,先量化再剪会让 scale 全部作废。标准流水线:① 稠密训练 → ② 按 2:4 / 通道粒度剪枝 → ③ 微调恢复精度 → ④ INT8 量化(PTQ 校准或 QAT 微调)→ ⑤ 导出部署。收益叠加:2:4 让权重数减半,INT8 让每权重位宽减为 1/4,合计权重量约 1/8。

4.2 推理引擎原理:计算图、图优化与内存规划

是什么:推理引擎(Inference Engine)是把训练框架导出的模型,变成目标芯片上高效可执行程序的那套运行时。它拿到的是一个计算图(算子为节点、张量为边),核心工作有三件:图优化、内存规划、算子调度。

• 算子融合(最经典的图优化):conv + BN + ReLU 三个算子合成一个。BN 在推理时是固定的逐通道仿射变换,可直接折叠进 conv 权重:W' = W·γ/√(σ²+ε),b' = (b−μ)·γ/√(σ²+ε)+β。融合后 BN 和 ReLU 不再产生中间张量 —— 省的不只是计算,更是两次"中间结果写回内存再读出"的访存,这在 NPU 上往往比乘法本身还贵。
• 其他图优化:常量折叠(编译期算完固定表达式)、算子替换(把目标硬件不擅长的算子换成等效组合)、布局变换(NCHW ↔ NHWC,选硬件最爱的排布)。
• 内存规划(tensor arena):端侧没有给你随意 malloc 的资本。TFLite Micro 的做法是:编译期分析所有张量的生命周期,把整个网络需要的内存一次性规划成一块静态内存池(tensor arena),生命周期不重叠的张量复用同一块 buffer(乒乓复用),既零碎片化又可预知内存峰值 —— 这也是 MCU 部署"arena 大小要反复试"的由来。
• 算子调度:按拓扑序执行,配合分块(tiling)让数据在片上 SRAM 里停留更久;NPU 上则由指令序列驱动 MAC 阵列(衔接 08-07 的脉动阵列数据流)。

与编译器的关系(一句话定位):TVM 是"把计算图编译成目标硬件高效代码"的深度学习编译器(图优化 + 自动算子代码生成);MLIR 是"提供多层级中间表示"的编译器基础设施,让各家芯片厂在自己的 IR 层上接入 —— 前者是产品,后者是造产品的框架。

5 端侧部署实战与代码

5.1 端侧部署实战要点:格式、算子支持度、arena 与时延

是什么:从"量化好的模型"到"机器人上跑起来的推理",中间隔着模型格式、转换工具、运行时内存和实测时延四道坎。怎么做:按下面的流水线走,每一步都有明确的检查物。

• 算子支持度检查:模型 95% 的算子引擎都支持,剩下 5% 不支持的部分会静默回退到 CPU —— 精度没坏但时延爆炸。转换后务必用引擎日志/Netron 确认"每个算子落在哪个设备上"。
• 内存峰值与 arena:MCU 上 arena 大小靠实测:先给大跑通,二分缩小到刚好不失败;SoC 上关注峰值内存(权重 + 最大激活 + 引擎开销),别只看模型文件大小。
• Cortex-M 与 CMSIS-NN:Arm 官方的 int8/int16 优化 kernel 库,自动调用 M4 的 DSP SIMD 指令与 M55/M85 的 Helium(MVE),与 TFLite Micro 量化规格位精确对齐 —— MCU 部署的标准答案是"TFLite Micro 框架 + CMSIS-NN kernel"。
• 时延测量:板端计时必须预热若干帧再取多次平均,并区分预处理/推理/后处理三段;对比基线时固定 CPU 频率、关掉省电模式,否则数据飘得没意义。

部署翻车案例速查(现象 → 根因 → 修复)

5.2 实战:PyTorch 量化流水线代码 + LeNet 精度对比实验

动态量化最简单:权重提前转 INT8,激活在推理时动态量化,只适合 Linear/LSTM 类算子。FX/静态 PTQ 是端侧标准做法:整图捕捉 → 插观测器 → 校准 → 转换。下面是一套可直接跑的完整流水线(MNIST LeNet 为例):

import torch, torch.nn as nn
from torch.ao.quantization import quantize_dynamic, get_default_qconfig

# ---------- 1) 动态量化:3 行搞定,只量 nn.Linear / LSTM 等算子 ----------
model_fp32 = my_lenet.eval()                     # 训练好的 FP32 模型
model_dyn  = quantize_dynamic(
    model_fp32.cpu(), {nn.Linear}, dtype=torch.qint8)

# ---------- 2) FX 静态 PTQ:校准数据 → 统计分布 → 算 scale ----------
from torch.ao.quantization import quantize_fx, fuse_fx
example_input = torch.randn(1, 1, 28, 28)        # 校准样本,与训练同分布
qconfig_dict  = {"": get_default_qconfig("qnnpack")}  # Arm 端用 qnnpack,x86 用 x86
model_fused   = fuse_fx(model_fp32.cpu().eval(), example_input)  # conv+BN+ReLU 先融合
model_pre     = quantize_fx.prepare_fx(model_fused, qconfig_dict)
with torch.inference_mode():                     # 校准:只前向,统计 min/max
    for _ in range(100):
        model_pre(torch.randn(1, 1, 28, 28))
model_int8 = quantize_fx.convert_fx(model_pre)   # 伪量化 → 真 INT8 模型

# ---------- 3) 导出 ONNX,交给 NCNN / MNN / TensorRT ----------
torch.onnx.export(
    model_int8, example_input, "lenet_int8.onnx",
    opset_version=13, input_names=["input"], output_names=["logits"])
# 之后:onnx2ncnn / pnnx 转 NCNN;或 MNNConvert 转 .mnn 上板

LeNet INT8 量化前后对比实验设计(建议当成你的第一次量化实验,所有指标自己测、自己填表):

# 实验主循环:三个模型同一套测试集,输出对比表
import os
def evaluate(model, loader):
    model.eval(); correct = total = 0
    with torch.inference_mode():
        for x, y in loader:
            correct += (model(x).argmax(1) == y).sum().item()
            total   += y.size(0)
    return correct / total

def size_mb(model):
    torch.save(model.state_dict(), "_tmp.p")
    s = os.path.getsize("_tmp.p") / 1e6; os.remove("_tmp.p"); return s

for name, m in [("FP32", model_fp32), ("Dynamic", model_dyn),
                ("PTQ-INT8", model_int8)]:
    print(f"{name:10s} acc={evaluate(m, test_loader):.4f}  "
          f"size={size_mb(m):.3f}MB")   # 期待:精度微降,大小降到约 1/4

5.3 NPU 工程师视角:量化如何反向塑造 RTL 设计

是什么:量化不只是算法侧的事 —— 你选定的量化方案,直接决定 NPU 数据通路的每一根线。为什么:算法侧的"精度承诺"要靠硬件侧的"位宽预算"兑现,两端必须共同设计(衔接 08-07 脉动阵列与本板块后续 MAC 阵列 RTL 页 08-11)。

• INT8 MAC:乘法器面积随位宽近平方增长,8×8 无符号乘法阵列比 16×16 小约 3/4 —— 这就是 NPU 宣称"INT8 TOPS = 4×FP16"的物理来源;MAC 阵列输入是否支持 int8 有符号、是否复用同一阵列跑 INT4/INT16,是微架构第一个要拍板的问题。
• 累加位宽:INT8×INT8 乘积是 16 bit,连续累加 K 项还需加 ⌈log₂K⌉ 位:3×3 卷积 K=9 时约 16+4=20 bit,加上激活通道维度冗余,INT32 累加器是行业标准答案(TFLite 全整型规范即按 INT32 累加设计)。
• 饱和处理:累加器溢出时必须饱和(saturate)而非回绕(wrap),否则一个大数值变成负数,输出直接花屏;最终 requantize 用"定点乘数 + 移位"完成 scale 换算:q_out = saturate_int8((acc × M) >> shift),per-channel 量化意味着每个输出通道一组 (M, shift) 寄存器。
• 对验证的联动要求:RTL 验证要用量化对拍脚本(同输入比对 NPU 输出与 Python 位精确模型),位精确(bit-exact)是 NPU 验证的金标准。

6 高频疑问 FAQ 与术语速查

本节收录量化/部署学习中最常被问到的"边缘问题",以及大模型时代的新概念与本页 CNN 量化的关系,建议通读一遍再进入自测。

量化参数(scale/zero_point)最终存在哪里?硬件怎么拿到?

存在模型文件里:ONNX 里是 Q/DQ 节点携带的量化参数,TFLite flatbuffer 里是每个张量的 quantization 元数据,NCNN/MNN 转换后写进各自的权重文件;推理引擎加载时读出并交给运行时,NPU 上则由编译器把 per-channel 的 (multiplier, shift) 编译进指令流或常量表。所以"量化方案"从来不是只属于算法或只属于硬件 —— 它是双方共同遵守的数据契约。

为什么不能直接在 INT8 上训练(原生低比特训练)?

整数没有连续梯度、round 不可导,反向传播在数学上无法直接进行;现有方案要么像 QAT 一样"浮点训练 + 伪量化模拟",要么用随机舍入、低精度梯度累加等技巧逼近(如 8-bit 训练、二值网络等研究方向)。端侧工程界的共识:训练归浮点世界,部署归整数世界,QAT 是两者之间的桥 —— 这也是为什么量化参数必须作为"契约"从训练侧一路传递到硬件侧。

INT4、FP8 又是什么?和 INT8 什么关系?

INT4把整数刻度压到 16 级,模型再小一半以上,常见做法是"权重 INT4 + 激活保持 FP16"(权重-only 量化),靠 per-channel / 分组(group-wise)量化兜住精度;FP8(E4M3/E5M2 两种格式)是新一代 GPU 的 8 位浮点类型 —— 位宽与 INT8 相同但保留指数位,动态范围更大,主要服务大模型训练/推理。一句话:INT8 是 NPU 端 CNN 部署主力,INT4/FP8 是大模型时代向更低位宽的自然延伸。

大模型量化常听到的 GPTQ / AWQ / llama.cpp,和本页讲的 PTQ/QAT 是什么关系?

它们都属于训练后量化(PTQ)大家族,只是"怎么选量化参数"更聪明:GPTQ 用二阶信息逐层最小化量化误差;AWQ 依据激活统计保护少数"重要权重通道";llama.cpp 的 GGUF 用混合位宽(不同层不同 bit)。与本页 CNN 全整型方案的最大差异:LLM 量化通常只量权重、激活保持高精度,因为 Transformer 激活分布有大量离群值,全整型极难。原理根基( scale、round、clip )完全一致。

量化后的模型还能继续训练吗?

真整型模型不能训练:整数没有梯度,round 不可导。QAT 的本质是在浮点副本上插入伪量化节点"模拟"量化效果做训练,训练完成后 convert 成真整型模型用于部署。记住分工:训练在浮点世界,推理在整数世界,QAT 是两个世界之间的"预演"。

为什么激活不做 per-channel 量化?

权重的取值范围是静态的(部署前就定死),per-channel 只是给每个输出通道存一组常量 (multiplier, shift),寄存器堆就能放下;激活的范围随输入变化,逐通道 scale 意味着推理时逐通道在线统计与存储,硬件代价和调度复杂度剧增。所以业界默认:权重 per-channel + 激活 per-tensor。

校准数据可以用随机噪声凑数吗?为什么强调"与实机同分布"?

不能。校准的全部产出就是每层激活的 min/max(或分布直方图),scale 由分布决定 —— 拿噪声校准等于给一个不存在的输入分布定标,实机数据一进来大量值被 clip,精度崩掉。正确做法:从实机传感器采集几百张覆盖典型工况(不同光照/姿态/场景)的数据做校准。

tflite-micro 的 tensor arena 一直分配失败,怎么排查?

三步:① 打开框架的内存报告(记录每算子 arena 占用),看峰值出现在哪一层;② 常规手段:输入分辨率降一档、深度可分离卷积替换标准卷积、确认全模型 INT8(而不是 int16);③ arena 大小二分逼近:先给大跑通,再逐步缩小到刚好通过。注意 arena 除模型激活外还要留算子临时缓冲,别按"激活总量"贴地估算。

量化、剪枝、蒸馏怎么组合成完整压缩流水线?

典型顺序:蒸馏(大模型教小模型)→ 剪枝(2:4 或通道级)→ 微调恢复 → 量化(PTQ/QAT)→ 导出部署。原则:越靠近训练的变换先做(蒸馏/剪枝都在训练期),量化放最后收尾;每两步之间留出恢复期,每步都和 FP32 基线对拍。切忌三件套一步到位同时做。

PTQ Dynamic 和 PTQ Static 有什么区别?(面试常问)

PTQ Dynamic(动态量化)只提前量化权重,激活在推理时按每个 tensor 的实际范围在线算 scale —— 零校准、精度好,但"在线算 scale"本身有开销,且多数 NPU 不支持动态激活量化,主要用在 CPU 上加速 Linear/LSTM。PTQ Static(静态量化)权重和激活都提前定死 scale(靠校准数据),是 NPU/端侧部署的标准形态 —— 硬件全程纯整数运算。记忆:动态省校准、静态上板子。

什么是混合精度量化?什么时候用它?

混合精度量化 = 不同层用不同位宽:对误差敏感的少数层(首层、末层、深度可分离卷积通道数少的层)保持 FP16/INT16,其余层 INT8,在精度与收益间逐层做权衡。典型工作流:先全模型 INT8 → 逐层对拍找"最伤精度的层" → 只把这几层升位宽 → 复测。它也是排查掉点的诊断工具:如果"只保护首末层"就能恢复大部分精度,说明误差确实集中在两端。

机器人端侧推理为什么一般 batch=1?这和量化部署有什么关系?

机器人感知是流式任务:相机一帧来一帧,推理必须跟着帧率走,攒不满 batch;而且 batch 越大时延越高,控制闭环等不起。这决定了端侧优化方向与服务器不同:不追求吞吐,追求单帧时延与确定性 —— 所以 kernel 要针对 batch=1 手工优化(如 ncnn 的做法),量化收益也要按"单帧省多少毫秒"来评估,而不是服务器那边"每秒多处理多少张图"。

术语速查表(随用随查)

7 精选资源与延伸阅读

以下 12 条资源均已于 2026-09 逐一核实可访问(论文/官方文档/官方仓库/官方博客/可播放视频),按"理论 → 工具 → 中文社区"排序,⭐ 为强烈推荐。

📄

⭐ Google INT8 白皮书:Quantization and Training of Neural Networks for Efficient Integer-Arithmetic-Only Inference

量化领域奠基论文(Jacob et al., 2017):提出全整型 INT8 量化方案与量化感知训练(QAT),TFLite 的 scale/zero_point 设计即源于此。本页 2.2/3.2 节的理论源头。

arXiv 论文⭐ 必读进阶

📘

⭐ PyTorch 官方量化文档(torch.ao.quantization)

动态量化 / FX 静态 PTQ / QAT 三条路径的官方权威文档(新版本正向 torchao/PT2E 迁移)。本页 5.2 节代码的直接依据,动手前先通读一遍。

官方文档⭐ 配套代码中级

📄

⭐ NVIDIA 官方博客:Accelerating Inference with Sparsity Using the NVIDIA Ampere and TensorRT

2:4 结构化稀疏的官方定义与实测:A100 Sparse Tensor Core 理论吞吐 2×(INT8 1248 TOPS),TensorRT 实测 ResNeXt-101 性能 +20%、性能/功耗比 +36% 且精度无损。本页 4.1 节数据出处。

NVIDIA 官方⭐ 2:4 权威进阶

🔧

⭐ Tencent ncnn:手机端极致优化推理框架(23k+ Star)

纯 C++ 零第三方依赖,ARM NEON 手工优化,支持 INT8 量化与 FP16,走 pnnx/ONNX 从 PyTorch 转入;QQ/微信等腾讯产品生产验证。端侧 CPU 部署首选之一(.param + .bin 双文件格式)。

GitHub 开源⭐ 上手部署中级

🔧

Alibaba MNN:轻量级推理引擎(淘宝/天猫等 30+ App 验证)

CPU/GPU(OpenCL/Vulkan/Metal)/NPU 多后端,支持训练与 MNN-LLM 端侧大模型;Apache 2.0 协议,转换器支持 ONNX/TensorFlow/Caffe/TorchScript 输入。

GitHub 开源中级

🔧

TensorFlow Lite Micro(TFLM):MCU 级推理框架

TFLite 的微控制器移植版,静态内存 tensor arena、零动态分配,支持 Cortex-M/RISC-V/Hexagon/Xtensa;全整型 INT8 量化规格与 CMSIS-NN 位精确对齐。Cortex-M 部署标准答案。

官方开源中级

🔧

Arm CMSIS-NN:Cortex-M 神经网络优化内核库

int8/int16 高效 kernel,自动利用 M4 的 DSP SIMD 与 M55/M85 的 Helium(MVE)指令,目标"最大化性能、最小化内存";与 TFLM 量化规范位精确一致,配合使用。

Arm 官方中级

📘

ONNX 官网:开放神经网络交换格式

框架无关的标准算子集 + 文件格式,是"训练框架 → 端侧引擎"转换链路的枢纽;部署前了解 opset 版本与 Q/DQ 量化算子约定必备。

官方文档入门

🔧

AMD/Xilinx Vitis AI:FPGA/自适应平台 AI 推理开发栈

含 DPU IP、模型 zoo、量化器与编译器,完整走通"量化 → 编译 → DPU 部署";想理解"NPU 工具链长什么样"最好的开源参照(与 08-11 节 RTL 视角互补)。

GitHub 开源进阶

📄

PyTorch 官方博客:Accelerating Neural Network Training with Semi-Structured (2:4) Sparsity

PyTorch 原生 2:4 稀疏支持(to_sparse_semi_structured)官方教程:剪枝到 2:4 掩码、转稀疏格式、加速推理的完整代码路径,配合本页 4.1 节食用。

官方博客进阶

📄

🎬

⭐ B站·ZOMI酱:训练后量化 PTQ 深度解读!与量化部署核心原理【推理引擎】

模型压缩系列第 4 集(14 分钟):PTQ Dynamic/Static 两条路线、校准原理与量化部署核心逻辑,动画讲解直观,适合配合本页 3.1 节食用;同系列还有剪枝/蒸馏/量化训练各集。

B站视频⭐ 入门视频入门

8 本节自测

9 参考来源

以下链接均于 2026-09 逐一核实可访问。理论以 Google INT8 白皮书与 PyTorch 官方文档为纲,工具以官方仓库为准,中文社区选高赞实战文/视频。

• Jacob et al., Quantization and Training of Neural Networks for Efficient Integer-Arithmetic-Only Inference(Google INT8 白皮书,arXiv:1712.05877)
• PyTorch 官方量化文档(torch.ao.quantization:动态量化 / FX 静态 PTQ / QAT)
• NVIDIA:Accelerating Inference with Sparsity Using the NVIDIA Ampere and NVIDIA TensorRT(2:4 结构化稀疏官方博客)
• PyTorch 官方博客:Accelerating Neural Network Training with Semi-Structured (2:4) Sparsity
• Tencent ncnn(手机端高性能推理框架,GitHub)
• Alibaba MNN(轻量级端侧推理与训练引擎,GitHub)
• TensorFlow Lite Micro(MCU/微控制器推理框架,GitHub)
• Arm CMSIS-NN(Cortex-M 神经网络优化内核库,GitHub)
• ONNX 官网(开放神经网络交换格式)
• AMD/Xilinx Vitis AI(FPGA/自适应平台 AI 推理开发栈,GitHub)
• 知乎·老潘:老潘的 AI 部署以及工业落地学习之路(高赞量化/部署实战)(镜像:腾讯云开发者社区转载版)
• B站·ZOMI酱:训练后量化 PTQ 深度解读!与量化部署核心原理【推理引擎·模型压缩系列 04】