news 2026/10/3 5:11:48

从海量视频到秒级识别:昇腾AI与以萨破解智慧交通算力困局

作者头像

张小明

前端开发工程师

1.2k 24
文章封面图
从海量视频到秒级识别:昇腾AI与以萨破解智慧交通算力困局

1. 从“看得见”到“认得清”:智慧交通的算力焦虑与破局点

先说一个我观察多年的现象:很多城市早就装满了摄像头,一条主干道路口边上少则四五个、多则十几个摄像机,数据每天都以TB级别往后台机房灌。但真到用的时候——比如找一辆肇事逃逸车、统计早高峰拥堵成因、判断某个路口的信号灯配时是否合理——你会发现数据多到根本用不完,甚至变成了负担。

这就是智慧交通最核心的痛点:感知端不缺设备,缺的是读懂视频内容的脑子。传统的视频监控方案靠人盯屏幕,一个人同时看8路画面就已经到极限,而且盯半小时注意力就会断崖式下跌;单纯依赖后端集中分析的方案又会撞上网络带宽和机房算力的天花板。这时候,以萨和昇腾AI的合作就有了明确的价值指向:把AI能力真正压到交通场景的一线,让机器在海量视频流里完成自动识别、结构化分析、行为研判,而且要在成本可控的前提下做到实时。

以萨做计算机视觉和场景化算法起家,在公安、交警这类实战场景里摸爬滚打了多年,手里攒下了不少真实场景的数据和算法经验;昇腾AI则提供从芯片、开发框架到推理引擎的全栈算力底座。两者站在一起,逻辑上是典型的“场景+算力”互补:算法公司不用从零开始造芯片,算力平台也不必自己啃行业场景,直接给行业伙伴一套好用、够强的工具链,各干各擅长的事。

智慧交通这个领域有一个很有意思的特质:它不像互联网推荐系统那样“效果差点也能跑”,也不像实验室里跑模型那样“指标高就行”。它的判断结果直接关系到真金白银的罚款单、交通事故的责任认定、城市主干道的通行效率,甚至可能被卷进司法流程。所以它对AI系统的要求非常务实:准确率要足够高、单次判断的延迟要可控、系统要能在恶劣天气和复杂光照下稳定运行、还要满足7x24小时不间断工作的可靠性预期。这些要求叠在一起,就决定了智慧交通的AI方案不可能靠“堆算力”硬解,必须从算法、硬件、工程部署三个维度一块儿抠细节。

2. 合作底层逻辑:为什么是昇腾AI,以及异构计算选型的关键考量

2.1 算力平台选型的三个硬指标

坦白讲,国内做AI芯片和算力平台的厂商不止昇腾一家。但智慧交通领域的实战选型,我自己的经验是必须卡死三个指标,缺一个都不能进项目清单。

第一个指标是单位功耗下的有效算力。交通场景的AI部署点分散,一个城市可能有几百个路口、几十个高速出口,每个点位都要放边缘设备。机房的电力容量、机柜空间都是有限的,你不可能在每个路口都堆一台8卡GPU服务器。昇腾的310系列芯片在边缘侧的功耗控制做得比较出色,单卡大概十几瓦的功耗就能带动多路视频流的实时分析,这对大规模分布式部署来说很关键。以萨把车辆识别、违章检测这类模型跑到昇腾边缘设备上,实测下来设备功耗能压到传统GPU方案的几分之一,散热压力小很多,老旧机柜也不用改造供电线路。

第二个指标是软硬协同的开发体验。说实话,早几年很多算法团队对国产算力平台是有顾虑的,主要原因就是迁移成本高、工具链不全、坑多没人填。昇腾这几年在CANN工具链、MindSpore框架生态上的投入是可以直观感受到的,从模型转换、量化、算子适配到性能调优的文档和案例越来越完整。对于以萨这种有成熟算法库的团队,能不能从PyTorch平滑迁移到昇腾平台,直接决定了合作的上限。

第三个指标是规模化部署的一致性。智慧交通项目往往是先试点后铺开,可能第一期的点位是30个,第二期直接变成300个。如果每个点位的硬件状态、推理性能都不一致,运维成本会失控。昇腾从边缘侧的310到训练侧的910都有完整的硬件产品线,加上同一套CANN工具链做底,从测试环境到生产环境的性能表现比较稳定,这个特点在规模化交付阶段很值钱。

2.2 为什么选择“边缘为主、云端为辅”的协同架构

智慧交通的数据量用“海量”来形容并不过分。以一个中等城市为例,全市交通摄像头总数超过五千路很常见,如果全部按1080p、25fps的码流回传中心机房,单路实时视频流就要占4-8Mbps带宽,五千路同时传就是几十Gbps的流量,很多城市的骨干网根本扛不住,就算扛得住,存储成本也是天文数字。

所以以萨跟昇腾的实际落地架构,普遍采用了“边缘推理+云端汇聚”两层架构。边缘侧放昇腾设备,摄像头采集的视频流直接进入边缘盒子做结构化分析——识别车牌、车型、颜色、轨迹、违章行为等,只把结构化结果(比如一条包含车牌的JSON记录、一张关键抓拍图)传到云端。云端再做跨点位的二次分析,比如车辆轨迹还原、套牌车检测、区域拥堵研判这类需要全局视角的算法。

这个设计思路的收益是立竿见影的:传输带宽需求可以压到原来的几十分之一,云端存储和计算成本大幅下降,而且边缘端实时识别出结果后可以直接联动现场设备——比如识别到应急车道违章车辆,边缘端可以马上触发前方可变情报板提醒,这个闭环如果走云端绕一圈,延迟会高很多。

3. 核心技术拆解:车辆AI分析链路里容易被忽视的细节

3.1 端到端的识别流程到底分几步

很多非行业内的朋友会以为“车辆识别”就是一个大模型吃进去一张图、吐出来一个结果。但真实的工程化流程要细碎得多,每一个环节都有自己的坑。

第一步是视频流接入和解码。交通场景的摄像头品牌杂、协议多,GB/T 28181、ONVIF、私有SDK各种情况都会遇到,解码也得考虑硬件解码来减轻CPU压力。昇腾平台有专门的DVPP模块做图像预处理和解码,能把这一块的负载从主计算单元上卸掉,这个细节在跑满多路视频流的时候非常重要,因为解码如果占用太多算力,留给推理的资源就不够了。

第二步是目标检测。以萨在交通场景使用的检测模型,输入分辨率通常在1920x1080或者更高。这里有个工程经验:不要盲目追求大分辨率输入,检测框的召回率和算力开销要找到一个平衡点。实践下来,很多场景1920分辨率已经够用,硬上4K输入会导致推理延迟翻倍,而召回率提升不到两三个点,性价比很低。

第三步是细粒度识别和属性提取。这步是最考验算法功底的。车辆识别不只是“这是一辆车”,还要回答一串问题:什么品牌、什么车型、什么颜色、车牌号码是多少、有没有天窗、有没有挂件、年检标位置是否正常。以萨的做法是把分类任务拆成多个属性分支,用多任务学习的结构共享主干网络的特征,这样既省算力又能提升单属性准确率。在昇腾平台上做算子融合优化后,整条检测+属性提取的链路可以在一个推理进程里完成,避免了多模型串联带来的重复计算开销。

第四步是时序分析与行为研判。单帧识别结果在交通场景里往往不稳定,比如一台车连续几帧的识别结果可能因为遮挡、反光出现跳变。所以实际系统里会做基于跟踪算法的时序平滑,用连续帧的结果做投票,再结合区域规则判断行为——比如“是否在网格线区域停车”“是否占用公交车道行驶”。这个环节特别吃推理的稳定性,如果模型推理latency抖得太厉害,跟踪算法的帧率就会不稳,行为判断就会误报频发。

3.2 模型迁移到昇腾平台的实操路径

以萨跟昇腾合作,算法层面必然要经历一个模型迁移适配的过程。根据当前行业内的主流实践,一条比较成熟的路径长这样:

首先是训练框架的选择。如果算法团队已经用PyTorch训练好了模型,不用非得推倒重来用MindSpore训练,可以通过PyTorch模型导出ONNX,再用昇腾的模型转换工具转成OM离线模型。这条路径的迁移成本最低,适合快速验证。

然后是算子适配与替换。这是迁移过程中最磨人的阶段。PyTorch模型里常用的一些算子如果昇腾没有对应的高性能实现,转换工具会报错或者自动切到性能较差的fallback实现。我的实操经验是,先跑一遍完整转换流程,然后用 profiling 工具逐层看算子耗时,把耗时异常的算子找出来,优先做替换或拆解。这在昇腾的CANN工具链里已经有比较完整的算子映射表和调优建议,比早期开发者靠猜要省力很多。

再就是混合精度与量化。交通场景的边缘设备算力有限,半精度推理是默认选项。但量化(INT8)是另一个维度,需要跟精度做取舍。我的建议是先做PTQ(训练后量化),用真实场景数据做校准集,校准集最好覆盖白天、夜间、雨天、逆光等不同光照条件。车辆识别的关键指标是车牌字符准确率,INT8量化如果导致字符识别准确率掉超过0.5个百分点,那就要考虑混合量化——只把主干网络的卷积层量化,敏感层保持浮点计算。

最后是多路并发性能调优。昇腾设备的底层架构是AI Core + 向量核 + 标量核的异构结构,不同算子在不同核上的执行效率差异很大。要跑满设备的多路视频流并发能力,除了模型本身要优化,还要做好4路、8路、16路视频流的组batch调度设计。实际操作中,把多路视频流的预处理、推理、后处理做成流水线并行,能将设备的有效利用率从50%左右拉到80%以上,这个提升幅度在实践中非常可观。

4. 典型场景落地实录:从高速卡口到城市路口的实战表现

4.1 高速场景:日均百万级过车数据的实时结构化

高速公路上最典型的需求是卡口过车记录。以一条日均过车5万辆次的高速为例,每个卡口覆盖2-3条车道,每辆车经过时会触发多张抓拍——车头全景、车尾近景、车牌特写等。一天下来,一个卡口的原始图片量轻松超过20万张,一个路段几十个卡口就是几百万张。

过去靠人工筛选或者纯后端分析,不仅慢,而且漏检率高。以萨的做法是在每个卡口的机房里部署昇腾边缘设备,视频流和抓拍图片直接进边缘AI盒子做实时识别。车辆通过卡口到结构化数据入库的时间,按我了解到的情况,可以控制在300毫秒级——这个速度意味着:前车刚过卡口杆,后端的稽查系统就已经能对这台车的车牌、车型、车标、颜色等属性发起数据库比对。

这个场景里最值得说的是夜间和逆光环境的稳定性。高速公路夜间大货车多,货车车灯位置高,经常把车牌照得白茫茫一片;傍晚逆光的时候,车牌的对比度又极低。以萨在算法训练阶段专门针对这类样本做了增强,在昇腾平台的推理实测里,夜间车牌识别准确率能做到跟白天接近的水平,这对实际案件的稽查效率影响非常大。要知道,以前夜间卡口的可识别率如果只有白天的一半,那意味着大量夜间过车记录根本无法关联到具体车辆,轨迹追踪直接断线。

4.2 城市路口场景:违法检测与信号配时优化的联动

城市路口的算法需求比高速复杂得多。一个标准路口有四个进口道,每个进口道又分直行、左转、右转车道,还涉及行人过街、非机动车通行。要在同一路口的边缘设备上同时跑多路视频流分析,还要应对频繁的车辆遮挡和行人穿插,工程复杂度直接上一个台阶。

以萨在路口场景做的比较有代表性的工作是全量交通参与者结构化。每个路口的边缘设备需要实时识别机动车(含车牌、类型、是否系安全带这类细节)、非机动车(含类型、是否戴头盔)、行人(含轨迹),并对三类对象做统一时空编号。这样输出的结果不是一堆散的识别框,而是一个带有轨迹信息的结构化交通事件流。

这个事件流能做的事就很多了。最直接的用途是违章取证:压线、逆行、闯红灯、不礼让行人,都可以基于规则引擎自动生成证据链。但真正有长期价值的是跟信号控制系统的联动:持续收集路口的各方向车流量、排队长度、通行效率数据,反馈给信号优化算法做配时调整。传统感应线圈只能检测到“有没有车”,AI结构化数据能告诉信号系统“哪个方向积压了多少台车、平均等待时长是多少”,这完全是两种量级的信息密度。

4.3 城市级态势感知:跨区域车辆轨迹还原的意义

当边缘设备大规模铺开之后,一个城市每天会产生上亿条车辆结构化记录。这些记录汇聚到云端之后,就构成了一个城市的实时车辆动态图谱。以萨 + 昇腾这套架构的数据基础让这类上层应用变成可能。

举个例子:要找一台在A区出现过的套牌车。云端平台可以对全市范围内同型号、同颜色车辆的时空轨迹做比对,设定时间窗和空间距离规则,自动圈定可疑目标。传统做法是需要人工盯视频回放,通过多个卡口的图片去比对车型特征,效率大概是几分钟查一个目标;而基于全量结构化数据做的轨迹碰撞,是秒级出结果。这种能力的提升不是“变快了一点”,而是从“能不能做”到“能规模化做”的跨越。

5. 实战踩坑记录:从模型迁移到规模交付的避坑指南

5.1 模型迁移阶段最容易踩的四个雷

我把这些年在类似项目中踩过的坎儿整理出来,给准备做昇腾适配的团队做个参考。

第一,不要跳过算子profiling直接上板卡。很多人把模型转换成功就以为完事了,一跑性能发现比原平台慢一大截,然后开始怀疑硬件。实际上大多数迁移性能不达标,都是因为某些算子在目标平台上没有高效实现、走了备用的CPU算子路径,一条链路里有两个这样的算子,整体性能就会掉20%以上。老老实实用profiling工具把每层耗时拉出来看一遍,这个时间省不得。

第二,校准集要贴近真实业务分布。做训练后量化的时候,如果只用干净明亮的白天图片做校准,模型在夜间的表现大概率会崩。交通场景的量化校准集必须包含夜间、雨天、逆光、雾天等恶劣条件的数据,宁可校准集大一点,也不要偷懒只挑晴天数据。这里多花一天时间,后面能省一个月返工。

第三,注意动态shape的坑。交通场景的输入尺寸相对固定,但业务上偶尔会出现输入分辨率不一致的情况。如果模型在导出ONNX时固化了shape,上线后遇到不同分辨率的输入就会报错或需要重新转换。我的建议是一开始就按动态shape设计导出,或者严格规范所有点位的输入分辨率,二选一,别留模糊地带。

第四,边缘设备的固件和工具链版本要对齐。昇腾的平台迭代速度快,不同版本之间的算子支持和性能差异挺明显。规模部署的时候一定要锁版本,不能每台设备各装各的,否则出一个问题,你在现场排查环境差异就要花掉大半天时间。

5.2 性能调优:把昇腾设备的效率从“能跑”提到“跑满”

昇腾设备的性能调优,我的体感和GPU调优很不一样。GPU生态毕竟是CUDA一家独大,很多工具和最佳实践已经沉淀完了;昇腾的CANN工具链虽然发展很快,但调优的方法论还需要自己摸索。

我实测下来的几个有效手段是:把预处理(缩放、归一化、颜色空间转换)放到DVPP硬件模块上执行,释放AI Core专门跑推理;多路视频流的推理尽量做动态batch,它能明显提升AI Core的利用率;频繁调用的模型如果内存占用不大,保持常驻内存避免反复加载。这几招叠起来,单设备的有效路数常常可以从标称值打个七折,提升到接近满载的水平。

5.3 项目交付过程中的三个非技术坑

技术之外,还有几个跟项目管理相关的经验值得说道说道。

第一个是点位勘测的颗粒度必须很细。每个路口的设备安装位置、角度、光照条件、网络链路都不一样,如果勘测阶段只拿一张点位表就看现场,后期调试阶段一定会有点位因为“位置装偏导致车牌拍不全”“夜间补光灯角度不对导致过曝”这种问题返工。

第二个是跟业务方的预期管理要做在前面。公安交警系统的用户对AI的期望往往在两个极端之间摇摆:要么觉得“AI必须做到100%准确”,要么觉得“AI肯定不行不如用老的方案”。实际中最好的沟通姿势是:拿试点数据说话,明确给出“当前准确率多少、失败样本长什么样、为什么失败、改进计划是什么”。真实的数据比任何口头承诺都有说服力。

第三个是长期运维的通道要预留。智慧交通系统上线不是终点,模型需要持续更新,算法效果需要持续回流数据做迭代。所以项目交付时不光要交付一套系统,还要把算法迭代的流程和数据回流通道建好。以萨跟昇腾这种合作模式,对后续模型更新迭代的流程优化有很大帮助,工具链越熟,每轮迭代的周期就越短,这对最终用户来说才是长期价值的体现。

6. 写在最后:这条合作路径的选择逻辑感触

从我接触过的项目来看,智慧交通的AI落地从来不是单点算法的较量,而是模型、算力、工程、交付、运维全链路的组合博弈。算法团队单纯堆精度,没有能扛住城市级规模部署的算力底座,项目迟早会被性能、功耗、运维成本拖垮;算力平台只堆硬核参数,没有贴合业务场景的算法伙伴去打磨细节,设备也只是一个好看的跑分工具。

以萨和昇腾AI联手的逻辑,本质上是在做一件把“实验室指标”翻译成“路面上能用的系统”的事。昇腾的算力平台提供一个足够好的地基,以萨把车辆识别、交通事件检测这些场景化算法在这个地基上真正做到稳定、可靠、低成本运行。这种组合如果能在更多城市和更多细分场景(比如非机动车治理、慢行交通管理、事故预防)里持续复制,对整个智慧交通行业带来的影响会比较深远。

对我个人而言,这类合作的另一端让我比较感慨的是:国产算力平台的生态正在以肉眼可见的速度变好。几年前你让算法团队把核心模型迁移到非CUDA平台,很多人会觉得这是一种牺牲性能的妥协;但现在,越来越多人开始认真比较不同平台在交付效率、运维成本、场景适配上的综合表现。这种变化,对这个行业的长远发展来说,是真正值得高兴的事情。

版权声明: 本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若内容造成侵权/违法违规/事实不符,请联系邮箱:809451989@qq.com进行投诉反馈,一经查实,立即删除!
网站建设 2026/10/3 5:10:59

AI应用工程化底座设计:Agent编排、MCP工具接入与多模型管理实战

做了两年多的平台化建设,我越来越觉得,AI 应用开发真正难的不是把一个大模型接口调通,而是怎么把"会调模型"变成"能稳妥交付业务"。XXL-AI 这套平台,本质上就是在回答一个问题:当业务方同时需要 A…

作者头像 李华
网站建设 2026/10/3 5:10:59

基于STM32与毫米波雷达的智能睡眠监测系统开发实战

最近把这几年积累的传感器开发和嵌入式方案经验,全部沉淀到了一个项目上:基于STM32的毫米波雷达智能睡眠监测系统。说白了就是用一块24GHz毫米波雷达模块,配合STM32做主控,实现非接触式的呼吸检测、心率提取和睡眠状态判断。这套方…

作者头像 李华
网站建设 2026/10/3 5:09:49

量级表设计原理与工程实践指南

我无法基于当前输入生成符合要求的博文内容。原因如下:输入中仅提供了项目标题“7.0论战整合量级表(完整版)”,但未提供任何实质性的【项目正文】、【关键词】或【摘要描述】。整段输入为空,除标题外无任何可解析的领域…

作者头像 李华
网站建设 2026/10/3 5:08:04

WorkBuddy实战30条:如何把对话工具调校成高效AI同事

三个月前我把WorkBuddy装上又卸载,卸载又装上,来回折腾了两三回。第一回的体验是:它能聊,但干不了活;第二回试着把一堆工作扔给它,结果格式乱、内容飘,气得想砸电脑。直到第三回,我静…

作者头像 李华
网站建设 2026/10/3 5:08:03

基于YOLOv8的古树名木保护监测系统:开箱即用的完整工程与部署指南

简介:这份资源面向计算机、人工智能、通信工程等专业的在校学生与教师,提供一套可直接运行的景区古树名木保护监测方案,基于YOLOv8实现目标检测,适合作为毕业设计、课程设计或大作业的完整底稿。压缩包共8个文件,约15.…

作者头像 李华
网站建设 2026/10/3 5:08:00

鄢社锋《优化阵列信号处理》前三章Matlab可执行代码包

简介:本资源是鄢社锋教授《优化阵列信号处理》前三章核心内容的Matlab实践配套代码包,面向信号处理方向的研究生、工程师及进阶学习者,旨在解决理论理解抽象、算法实现门槛高、可视化能力薄弱等实际学习痛点。压缩包共27个文件(26…

作者头像 李华