我做了一个很有意义的盲人出行辅助系统原型，主要是结合现有导航OSRM/高德，实时感知前方潜在危险目标，辅助视障人士出行。 持续优化中（20260519），欢迎大家尝试，有一些想法也可以提出来。
开源地址：https://github.com/Lii-sir/Eye-Guide.git
1. 项目背景
对于视障人群来说，日常出行可以通过高德等等进行路线导航，但是在到达过程中最困难的是持续感知环境风险。传统导航软件可以告诉用户“往哪里走”，但是没法告诉用户“前方是否有行人、障碍物、台阶或者车辆”。而纯视觉系统虽然能识别环境，却缺少路径导航和实时位置联动功能。
针对以上问题，我做了一个原型项目EyeGuide。这个系统通将摄像头视觉感知、地图导航、GPS定位和语音播报串成一条完整链路，让系统不仅能“规划路线”，还能“观察前方环境实时提醒用户”。
这个项目更偏向一个工程原型和技术验证系统，终点不是做成商业的最终产品，如果要商用，后面可以嵌入开发板。但是嵌入之前还有一些工作需要做，比如功能的完善、推理加速等等，这些内容我还在持续优化中。
2. 项目目标
项目核心目标：
- 实时感知用户前方环境，识别潜在危险目标。
- 支持步行导航，并结合当前GPS定位实时推进导航。
- 通过语音播报，把环境信息和导航信息及时传递给用户。
3. 系统主要功能
界面目前比较简单，还请忽略我这个太草率了。后面功能完善之后会优化界面。
3.1 自由探索模式
在自由探索模式下，程序会调用摄像头实时读取画面，并进行目标识别。系统会重点关注以下几类对象：行人、汽车、摩托车、台阶/高度变化区域。
对于靠近用户、存在风险的目标，系统会进行语音提示，比如：“注意，正前方，行人，1.0米”
3.2 路线导航模式
在路线导航模式下，用户输入起点和终点后，系统会调用地图服务生成步行路线，并在导航过程中实时播报当前导航步骤以及前方的危险目标。
项目目前支持两类导航来源：
OSM：基于Nominatim + OSRM
高德：基于高德Web服务API
3.3 GPS定位接入
为了实现边走边导航，项目支持接入USB/NMEA GPS模块，读取串口中的定位信息。如果没有外接GPS，系统会尝试调用Windows自带定位服务作为补充。这样可以实现获取当前位置、自动将当前位置填入导航起点、根据实时位置动态推进路线步骤。
4. 核心技术方案
4.1 视觉感知：YOLO 与 OpenCV双路径检测
在视觉感知部分，项目优先采用 Ultralytics YOLO 进行目标检测与目标跟踪，用于识别行人、车辆、自行车、障碍物等目标；在深度模型可用时，再结合 Depth Anything V2 对目标距离进行估计。
与此同时，系统并不完全依赖 YOLO。为了保证在依赖不完整、模型不可用或部署环境受限时仍能运行，项目还实现了一套基于 OpenCV 的启发式检测方案，主要包括：
- 行人检测
- 地面障碍物检测
- 台阶/高度变化风险检测
目前 YOLO 检测用的还是开源权重，后面可能会爬一些数据，针对盲人出行常会遇到的障碍再进行微调训练。
4.2 深度估计：Depth Anything V2
仅仅知道前面有什么肯定不够，所有引入了深度估计进行单目深度估计，用来辅助计算目标和用户之间的大致距离。这里的距离并不是激光雷达那种严格物理测距，而是基于深度模型对单帧图像做推理得到的近似值。这里的距离也会用于风险等级评估，比如估计距离为0.8m以内，那这个风险等级就比较高。
4.3 方位判断
方位判断目前采用的是比较直接但很实用的方法，根据目标框中心点在画面中的横向位置，把目标划分成几个区域：左侧、左前方、正前方、右前方、右侧。这样系统就可以播报更具体的提示，比如：“左前方，行人，1.2米”。
4.4 地图导航
导航采用了两种实现路线。
OSM路线
- 使用 Nominatim 做地理编码与地点搜索
- 使用 OSRM 的 foot 模式做步行路线规划
高德路线
- 使用高德的 POI 搜索、地理编码和步行导航接口
- 更适合中文地址场景，尤其是国内地点检索
此外，为了避免地址模糊匹配错误，系统对候选地点做了多结果展示，让用户自己确认终点，而不是强行只用第一条结果。
4.5 语音播报机制
语音播报使用 Windows 下的 SAPI / pyttsx3 作为输出后端。为了避免播报过于频繁和混乱，系统在语音层做了几项处理：
- 去重
- 冷却时间控制
- 优先级控制
- 队列替换策略
这样可以尽量减少“同一目标每一帧都播报一次”的问题，让播报更接近真实辅助场景。
5. 项目整体架构
整个系统大体可以分成四层：
感知层
负责摄像头读取、YOLO 检测、深度估计、障碍物识别与方位判断。
定位与导航层
负责 GPS 接入、当前位置更新、地址解析、路线规划和自动导航推进。
播报层
负责把检测事件与导航事件统一送入语音队列，再根据优先级和冷却策略进行播报。
界面层
使用桌面 GUI 展示控制面板，同时显示视频窗口、导航信息和运行日志。
6. 当前存在的问题
这个项目目前仍然是原型系统，还存在不少问题：
- 单目深度估计的距离误差仍然比较明显
- 复杂场景下目标检测稳定性还有提升空间
- 语音播报策略还需要继续优化，避免漏报或重复播报
- 导航与视觉提示的融合逻辑还不够细腻
- 打包部署体积较大，依赖项较重
这些问题也说明，视障辅助出行系统并不是单一模型就能解决的，而是一个需要持续工程优化和多模块协同的复杂系统。
7. 后续优化方向（持续优化中）
后续我计划继续完善：
- 优化 YOLO 与深度估计的推理效率
- 进一步减少语音播报重复和队列冲突
- 增强对台阶、坑洞、盲道、路沿等关键场景的识别能力
- 提升路线跟踪与自动重规划能力
- 做更轻量的部署方案，降低安装包体积
- 进一步适配新电脑开箱即用的安装流程
8. 展示
高清视频：
https://live.csdn.net/v/527244https://live.csdn.net/v/527244
