news 2026/3/17 2:15:07

解锁多路GMSL摄像头输入,基于瑞芯微RK3576的触觉智能硬件方案

作者头像

张小明

前端开发工程师

1.2k 24
文章封面图
解锁多路GMSL摄像头输入,基于瑞芯微RK3576的触觉智能硬件方案

本文介绍多路GMSL车规级高速摄像头输入,并详细剖析GMSL解串原理,附Demo适配教程与测试数据,基于触觉智能RK3576核心板方案,使用配套开发板Purple Pi OH2演示。

GMSL千兆多媒体串行链路

GMSL千兆多媒体串行链路,全称为Gigabit Multimedia Serial Link,由 Maxim(现并入 ADI)研发的车规级高速 SerDes技术。其核心优势在于,仅需单根同轴电缆或屏蔽双绞线,即可同步完成无压缩高清视频、双向控制信号与PoC同轴供电的长距离一体化传输,并能满足严苛的车规与工业级宽温、抗干扰和高可靠性要求。触觉智能针对此已适配相关方案Demo,可点我们B站视频了解:https://www.bilibili.com/video/BV1XQzTBME5L/?spm_id_from=333.1387

  • 应用场景

GMSL千兆多媒体串行链路,广泛应用于车载环视(CMS/AVM)、工业机器视觉及高端安防监控等领域。

  • GMSL摄像头 & AHD摄像头对比优势

GMSL原理说明

  • RK3576+GMSL方案架构

在第一章节已展示了基于RK3576平台实现4路GMSL摄像头同时采集并在显示器上预览相关实测,相关框图如下:

  • GMSL解串器介绍

GMSL解串器是 GMSL SerDes(串行器 / 解串器)对中的接收端核心器件,负责将单根同轴电缆或屏蔽双绞线(STP)传输的高速串行数据流,还原为 SoC可直接处理的视频 / 数据信号。本次案例使用的GMSL 解串器为MAX96724这款芯片,可将四路 GMSL2/1 输入转换为 1 路、2 路或 4 路 MIPI D-PHY 或 C-PHY 输出,即对应系统框图中的MIPI转GMSL转接板的功能。

GMSL 系统基本架构:

发送端(串行器 Serializer):将摄像头的视频信号、控制数据、音频等复合为高速串行流(GMSL2/GMSL1),通过单根同轴或 STP 电缆传输到GSML解串器。

接收端(解串器 Deserializer):接收串行信号通过时钟恢复、解码、解复用等操作,输出标准接口信号(MIPI CSI-2)至 SoC 处理器(RK3576),同时通过反向控制通道实现对远端设备的配置与管理。

  • GMSL解串基本原理与步骤

步骤1:GMSL 信号接收与均衡(AEQ)

SIOA/SIOB/SIOC/SIOD 是4路独立的GMSL高速差分输入通道,对应4路摄像头的GMSL串行输出。每路信号先经过AEQ(自适应均衡器),完成补偿长距离传输后的信号衰减、码间串扰,恢复高速串行信号的完整性,为后续处理提供可靠的输入。

步骤2:串转并(Serial to Parallel)

经过 AEQ(自适应均衡器)后,需通过SERIAL TO PARALLEL模块将串行比特流转换为并行总线格式,降低后续模块的处理速率压力,提升效率。

步骤3: 解码与解扰(Decode & Descramble)

GMSL 传输时为了抗干扰、优化频谱效率,会对原始视频数据进行解码、解扰:

解码(Decode):还原 8b/10b 等编码的原始数据(将传输的 10 位码转回 8 位有效数据)。

解扰(Descramble):消除传输时添加的伪随机扰码,恢复原始视频数据的比特序列。

步骤4: 视频拆分与转发控制(SPLIT VIDEO AND FORWARD CONTROL DATA)

四路 GMSL 输入的视频数据进入该模块,需完成数据流解析、同步对齐和拆分。识别不同通道的视频时序(如行同步、场同步),确保多路输入的时间一致性。分离视频数据与控制数据,将视频流分配到对应的 LINE BUFFER(行缓冲器)。

步骤5:行缓存(LINE BUFFER)LINE BUFFER 是 FIFO 缓冲器, 缓存一行视频数据,解决多路输入的时序差异(如不同摄像头的行频偏移) , 实现速率匹配,让后续聚合模块(VIDEO AGGREGATOR)能稳定接收数据 。

步骤6:视频聚合(VIDEO AGGREGATOR)

多路 LINE BUFFER 的输出进入VIDEO AGGREGATOR,将4路GMSL输入的视频流(或部分通道)聚合成 1~2 路符合 MIPI CSI-2 带宽的数据流(MAX96724 支持 2 路 MIPI 输出端口:PORTA、PORTB)并处理多摄像头的画面拼接、时序同步,生成统一的视频帧格式输出到隧道与像素控制器模块(TUNNEL & PIXEL CONTROLLER)。

步骤7:隧道与像素控制器(TUNNEL & PIXEL CONTROLLER)

像素控制器(PIXEL CONTROLLER):将步骤6聚合的数据进行处理像素格式转换(如 RGB/RAW 格式适配)、分辨率调整、时序校准,确保输出符合 MIPI CSI-2 的像素传输规范。隧道控制器(TUNNEL CONTROLLER)将像素控制器转换后的像素数据封装为 MIPI CSI-2 数据包,包括短包(同步包、控制包)和长包(像素数据包),添加包头、有效负载、校验位等协议字段最终输出到MIPI CSI-2 控制器模块(MIPI CONTROLLER + PORTA/PORTB)。

步骤8:MIPI CSI-2 控制器与输出(MIPI CONTROLLER + PORTA/PORTB)

MIPI CSI-2 控制器负责将隧道控制器输出的数据包通过MIPI D-PHY物理层发送,其中PORTA/PORTB:是 MIPI CSI-2 的物理输出接口,支持 1/2/4 lane 配置(如 PORTA 的 DA0-DA3 是数据 lane,CKA 是时钟 lane),输出符合 MIPI CSI-2 时序的高速差分信号,供主机SoC接收。

GMSL摄像头驱动&设备树适配

  • 驱动适配

(1)以MAX96724摄像头驱动为例,将max96724_isx031.c驱动拷贝至RK3576板子的kernel-6.1/drivers/media/i2c/目录下。

(2)修改Makefile文件

修改kernel/drivers/media/i2c/Makefile添加驱动编译支持:

obj-y += max96724_isx031.o

(3)替换头文件

替换内核默认kernel-6.1/include/media/v4l2-mediabus.h的头文件。

  • 设备树适配

代码参考如下,相关驱动、内核、设备树等资料,请关注深圳触觉智能CSDN获取。

功能测试说明

  • 硬件连接

负责监测和控制蓝牙开关状态,确保BLE功能正常启用。

使用扩展GPIO的11pin,13pin,15pin作为J25接口摄像头的power12v-gpios、power1v8-gpios、power1v2-gpios引脚,引脚对应的GPIO如下:

  • 查看支持格式

执行如下命令查看摄像头支持的像素格式:

  • gstreamer工具预览环视图像

使用gstreamer工具预览图像(RK3576 Debian12系统gstreamer不支持预览heigh 1300分辨率,取最接近且整除8的数值1296),命令如下:

# 预览J25接口 gst-launch-1.0 v4l2src device=/dev/video0 ! "video/x-raw, format=(string)NV12, width=(int)1920, height=(int)1296" ! videoconvert ! autovideosink gst-launch-1.0 v4l2src device=/dev/video1 ! "video/x-raw, format=(string)NV12, width=(int)1920, height=(int)1296" ! videoconvert ! autovideosink gst-launch-1.0 v4l2src device=/dev/video2 ! "video/x-raw, format=(string)NV12, width=(int)1920, height=(int)1296" ! videoconvert ! autovideosink gst-launch-1.0 v4l2src device=/dev/video3 ! "video/x-raw, format=(string)NV12, width=(int)1920, height=(int)1296" ! videoconvert ! autovideosink

四路图像同时预览(基于Debian12系统测试):

#!/bin/bash gst-launch-1.0 v4l2src device=/dev/video0 ! video/x-raw, format=NV12, width=1920, height=1296, framerate=30/1 ! videoconvert ! xvimagesink render-rectangle="<0,0,950,720>" sync=false & sleep 2 gst-launch-1.0 v4l2src device=/dev/video1 ! video/x-raw, format=NV12, width=1920, height=1296, framerate=30/1 ! videoconvert ! xvimagesink render-rectangle="<960,0,950,720>" sync=false & sleep 2 gst-launch-1.0 v4l2src device=/dev/video2 ! video/x-raw, format=NV12, width=1920, height=1296, framerate=30/1 ! videoconvert ! xvimagesink render-rectangle="<0,550,950,490>" sync=false & sleep 2 gst-launch-1.0 v4l2src device=/dev/video3 ! video/x-raw, format=NV12, width=1920, height=1296, framerate=30/1 ! videoconvert ! xvimagesink render-rectangle="<960,550,950,500>" sync=false &

执行如下命令关闭预览:

killall gst-launch-1.0
  • 测试延迟数据

版权声明: 本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若内容造成侵权/违法违规/事实不符,请联系邮箱:809451989@qq.com进行投诉反馈,一经查实,立即删除!
网站建设 2026/3/15 7:55:18

基于微信小程序的咖啡店点餐系统_56v41c6q

一、项目技术介绍 开发语言&#xff1a;Java 框架&#xff1a;springboot JDK版本&#xff1a;JDK1.8 服务器&#xff1a;tomcat7 数据库&#xff1a;mysql 5.7&#xff08;一定要5.7版本&#xff09; 数据库工具&#xff1a;Navicat11 开发软件&#xff1a;eclipse/myeclipse/…

作者头像 李华
网站建设 2026/3/14 9:32:57

某金融App智能风控提示工程:架构师的合规性提示词设计指南

某金融App智能风控提示工程:架构师的合规性提示词设计指南 一、引言:当智能风控遇到“合规魔咒” 1.1 一个真实的“痛点时刻” 某股份制银行的信用卡App上线了基于大模型的“交易欺诈检测”功能:用户在境外发生大额交易时,系统会自动触发风险提示。但上线3天就收到12起投…

作者头像 李华
网站建设 2026/3/11 15:57:27

基于微信小程序的乐器宣传平台开题报告

目录项目背景与意义核心功能设计技术实现方案创新点与特色预期成果项目进度计划项目技术支持可定制开发之功能亮点源码获取详细视频演示 &#xff1a;文章底部获取博主联系方式&#xff01;同行可合作项目背景与意义 随着移动互联网的普及&#xff0c;微信小程序凭借其轻量化、…

作者头像 李华
网站建设 2026/3/13 4:06:05

以曲求直:校平技术中的反直觉哲学

"矫枉过正"这个成语通常带有贬义&#xff0c;指纠正错误超过了应有的限度。但在金属校平领域&#xff0c;这却是一项必须遵循的物理定律——要想让弯曲的板材变直&#xff0c;必须先让它弯得更厉害。这种看似矛盾的操作逻辑&#xff0c;构成了校平技术最迷人的反直觉…

作者头像 李华
网站建设 2026/3/15 2:08:17

【易经系列】六二:直方大,不习无不利。

文章目录 1. 词义拆解2. 整体释义3. 深层哲学含义总结 六二&#xff0c;直方大&#xff0c;不习无不利。 《象》曰&#xff1a;六二之动&#xff0c;直以方也&#xff0c;"不习无不利"&#xff0c;地道光也。这句话出自《易经》&#xff08;周易&#xff09;中的坤卦…

作者头像 李华
网站建设 2026/3/12 15:48:48

理解巴菲特的财务指标分析

理解巴菲特的财务指标分析 关键词:巴菲特、财务指标分析、价值投资、财务报表、投资决策 摘要:本文旨在深入探讨巴菲特的财务指标分析方法。通过对巴菲特投资理念和所关注的关键财务指标进行剖析,阐述其在价值投资中的重要性。从核心概念、算法原理、数学模型到实际案例分析…

作者头像 李华