← 返回项目经历
驾驶培训 · 多模块视觉分析

双摄驾驶诊断:把复杂判断拆成可追溯证据

项目技术负责人 · 需求拆解、技术验证与 MVP 提案

01目标

为驾驶培训提供行后安全诊断的技术验证与 MVP 提案,让教练利用前向与车内双摄视频复盘转弯、变道等行为,形成可追溯的教学证据。

我承担需求拆解、关键视觉能力验证、系统路线与传感器方案评估。核心问题不是让模型直接回答“是否安全”,而是明确一次驾驶行为需要哪些证据,哪些判断仍由教练作出。

02输入

  • 前向与车内摄像头视频,包含道路环境与驾驶员行为。
  • 转弯、变道等行为窗口,以及头姿、视线和确认动作的标注需求。
  • 用于配对、预处理和网格化标注的视频片段。
  • 现场安装条件、摄像头标定信息与可用计算资源。

当前条件缺少 GPS、CAN、IMU,也没有统一标定。双摄提供的信息有限,Ground Truth 的缺口需要在设计和评估时明确。

03用户流程

以下为 MVP 提案中的教学使用路径,并非已完成的生产产品流程:

  1. 教练或分析人员导入一次驾驶过程的双摄视频。
  2. 系统定位需要复盘的行为窗口,关联道路对象、结构与规则信息。
  3. 分析车内头姿、视线及后视镜、盲区确认行为。
  4. 将两路视频的线索组织为带时序信息的证据,呈现可视化视线方向等结果。
  5. 教练回看原视频、核对证据,作出教学判断并给出反馈。

04输出

需求被拆成“行为窗口、道路风险与规则、驾驶员确认行为、时序证据、人工复核”几个相互连接的问题。

关键验证使用 L2CS-Net 与 MediaPipe Iris 生成可解释的视线方向与箭头,以直行目视前方作为锚点校正安装差异造成的全局偏移。我完成双摄片段的预处理、配对、网格化标注,以及口罩、眼镜和头部动作等条件的评估。

系统设计结合视觉光流、道路结构、目标检测与跟踪、信号灯和标志识别,并比较纯双摄、加入 CAN 或加入 IMU 的方案,为 PoC、部署和传感器投入提供依据。

05任务边界

  • 已有结果包括需求拆解、视线相关验证、数据处理与 MVP 提案;多模块系统路线不等同于全部模块已实现。
  • 输出用于行后教学复盘,不承担实时车辆控制,也不替代教练作安全判定。
  • 无统一标定和传感器信息时,视线投影与行为理解存在适用边界,需要用数据验证。
  • 客户名称、原始驾驶视频与具体内部评估记录保持匿名。

06验收标准

以下按验证与提案目标整理,不表示已经完成产品验收:

  • 双摄片段配对与预处理结果可核对,标注方式能支持后续评估。
  • 视线箭头与原始画面一起展示,安装偏移校正方式及失效条件清楚。
  • 口罩、眼镜和头部动作等条件单独分析,不以正常样本代替全场景评估。
  • MVP 对输入、输出、人工复核和缺失证据作出明确说明。
  • 传感器方案比较包含信息增益、部署复杂度和投入条件,便于客户决定下一步验证范围。

07迭代

先将宽泛的安全判断改写为可复核的证据任务,再验证双摄条件下可实现的视线能力。随后围绕行为窗口和道路理解组织模块,检查哪些信息可从视觉获得,哪些需要补充传感器或标注。

下一步应优先补齐 Ground Truth 与关键场景评估,而不是直接扩大系统承诺。可视化帮助教练参与验证,也让工程团队知道下一轮真正需要改善什么。

客户信息已匿名化 · 仅展示个人参与范围
向 Agent 了解更多 →