视觉算法优化 ​

模型在服务器上跑得好好的，一到边缘设备上就掉到几帧——这个项目就是干这个的：让视觉模型在算力受限的设备上跑得又快又准。

一、项目背景 ​

视觉检测算法在实验室环境里指标漂亮，但落地到实际设备（安防摄像头、巡检机器人、工业相机）上会面对三个现实：

1. 算力弱：边缘设备的算力可能只有服务器的几十分之一
2. 功耗墙：性能拉满意味着发热降频，稳定帧率比峰值帧率重要
3. 精度底线：业务能接受的漏检误检是有红线的，不能一味压模型

优化的本质是在「精度、速度、内存」三角里找业务能接受的平衡点。

二、优化路线图 ​

整个优化分四条线推进：

模型结构优化          数值优化              部署优化            系统优化
─────────────       ─────────────       ─────────────       ─────────────
换轻量骨干网络   →    训练后量化(PTQ)  →    TensorRT/ONNX   →   零拷贝
剪枝低贡献通道        量化感知训练(QAT)     Runtime 算子融合      流水线并行
重参数化结构          混合精度              内存池复用            多路视频分流
知识蒸馏              INT8/FP16            Dynamic Shape        批处理策略

三、关键优化点详解 ​

1. 量化：精度和速度的第一杠杆 ​

训练后量化（PTQ）见效最快：把 FP32 权重和激活压到 INT8，模型体积直接缩到 1/4，推理速度普遍能翻 2~3 倍。但直接量化掉点严重时，就上量化感知训练（QAT）——让模型在训练时就「适应」低精度：

# 伪代码：QAT 训练流程
model = prepare_qat(model)          # 插入伪量化节点
for epoch in train(model):          # 正常训练，前向模拟量化误差
    ...
model = convert(model)              # 导出真正的 INT8 模型

踩过的坑：检测头对量化最敏感，尤其是回归分支。最后用的是混合精度——骨干网络 INT8，检测头保留 FP16，掉点控制在 1 个点以内【待补充：具体 mAP 数据】。

2. 剪枝与蒸馏：结构瘦身 ​

• 通道剪枝：按 BN 层 gamma 系数评估通道重要性，剪掉低贡献通道再微调恢复
• 知识蒸馏：大模型当老师，蒸 logits 和中间特征给轻量学生模型，学生模型的精度上限能拉高 2~3 个点

3. 推理引擎层面 ​

• 算子融合（Conv + BN + ReLU 融成单个 kernel），减少显存搬运
• 预热 + 内存池：避免运行时反复分配释放
• 开启引擎的 FP16 模式作为 INT8 的对照组，有的场景 FP16 反而性价比更高

4. 系统层：别浪费每一帧 ​

单帧推理快了还不够，工程上还有：

• 视频流解码和推理流水线化：解码第 N+1 帧的同时推理第 N 帧，GPU 和 CPU 都不闲着
• 动态跳帧：画面静止时降低推理频率，检测到运动再拉满
• ROI 级联：先用小模型粗筛，有目标的区域再用大模型精检

四、效果 ​

五、收获 ​

视觉优化不是「调一个参数」的事，是一条从训练侧到部署侧到系统侧的完整链路。最大的经验是：先 profile 再动手——用 Nsight 之类的工具看清楚时间到底花在哪（是算子计算还是内存拷贝），再决定优化哪一层，比上来就无脑量化有效得多。