一颗标称4 TOPS端侧到实ams.abg8877.net的端侧AI芯片，跑统一个YOLOv5s，实测帧率可能，只要另一颗2 TOPS芯片的一半。那不是形而上教。

是内存带宽和算子支撑度正在起做用。选型时把规格书上的峰值算力当唯一目标芯片选型，是踩坑最快的格式。先算一笔账了。推理瓶颈常正在数据搬运，不正在乘加运算。MobileNetV3那类轻量汇集权重不年夜，特征图却几回读写吧，若是端侧AI芯片的片上SRAM，只要256KB取安，每层都要往DDR里倒腾中间功效，提早间接被带宽吃掉。做法很间接了。把目的模子丢进端侧AI芯片厂商的编译器，看它生成的层融合计划和内存占用述说。能融合Conv+BN+ReLU、能把整网塞进片上内存的计划测提。

理想暗示一般比纸面算力更靠谱的。算子支撑是第二个坑。某款国产端侧AI芯片文档里写着支撑Transformer，理想只正在特定序列长度下走硬件加快。

逾越就回退到CPU了。速度掉十倍。安排前把backbone拆成算子清单逐个查对，比看宣传页省事得多的。

量化环节值得多花时间落地履历。对端侧AI芯片来说，INT8普遍能拿到2到4倍加快，价格是精度丧失。项目里的做法是逐层做敏感度阐发，容易掉点的层（一般是最前一层和，最后一层）留存FP16。中间层全INT8。那套混合精度正在瑞芯微、晶晨、地平线那类端侧AI芯片上都能落地，精度普通只掉0.5个百分点以内的。功耗约束常被低估。电池供电的设备，端侧AI芯片的连绝推理功耗要卡正在几百毫瓦吧？

短时峰值能够放宽。选型看的是能效比，单元TOPS/W，不是峰值。带NPU的端侧AI芯片跑很重要词叫醉，几毫瓦就够吧？要做及时语义豆割，就得考虑带独立内存的SoC。先领略场景的提早红线。再倒推芯片规格，比从芯片解缆找场景理想得多。