01目标
为驾驶培训提供行后安全诊断的技术验证与 MVP 提案,让教练利用前向与车内双摄视频复盘转弯、变道等行为,形成可追溯的教学证据。
我承担需求拆解、关键视觉能力验证、系统路线与传感器方案评估。核心问题不是让模型直接回答“是否安全”,而是明确一次驾驶行为需要哪些证据,哪些判断仍由教练作出。
02输入
- 前向与车内摄像头视频,包含道路环境与驾驶员行为。
- 转弯、变道等行为窗口,以及头姿、视线和确认动作的标注需求。
- 用于配对、预处理和网格化标注的视频片段。
- 现场安装条件、摄像头标定信息与可用计算资源。
当前条件缺少 GPS、CAN、IMU,也没有统一标定。双摄提供的信息有限,Ground Truth 的缺口需要在设计和评估时明确。
03用户流程
以下为 MVP 提案中的教学使用路径,并非已完成的生产产品流程:
- 教练或分析人员导入一次驾驶过程的双摄视频。
- 系统定位需要复盘的行为窗口,关联道路对象、结构与规则信息。
- 分析车内头姿、视线及后视镜、盲区确认行为。
- 将两路视频的线索组织为带时序信息的证据,呈现可视化视线方向等结果。
- 教练回看原视频、核对证据,作出教学判断并给出反馈。
04输出
需求被拆成“行为窗口、道路风险与规则、驾驶员确认行为、时序证据、人工复核”几个相互连接的问题。
关键验证使用 L2CS-Net 与 MediaPipe Iris 生成可解释的视线方向与箭头,以直行目视前方作为锚点校正安装差异造成的全局偏移。我完成双摄片段的预处理、配对、网格化标注,以及口罩、眼镜和头部动作等条件的评估。
系统设计结合视觉光流、道路结构、目标检测与跟踪、信号灯和标志识别,并比较纯双摄、加入 CAN 或加入 IMU 的方案,为 PoC、部署和传感器投入提供依据。
05任务边界
- 已有结果包括需求拆解、视线相关验证、数据处理与 MVP 提案;多模块系统路线不等同于全部模块已实现。
- 输出用于行后教学复盘,不承担实时车辆控制,也不替代教练作安全判定。
- 无统一标定和传感器信息时,视线投影与行为理解存在适用边界,需要用数据验证。
- 客户名称、原始驾驶视频与具体内部评估记录保持匿名。
06验收标准
以下按验证与提案目标整理,不表示已经完成产品验收:
- 双摄片段配对与预处理结果可核对,标注方式能支持后续评估。
- 视线箭头与原始画面一起展示,安装偏移校正方式及失效条件清楚。
- 口罩、眼镜和头部动作等条件单独分析,不以正常样本代替全场景评估。
- MVP 对输入、输出、人工复核和缺失证据作出明确说明。
- 传感器方案比较包含信息增益、部署复杂度和投入条件,便于客户决定下一步验证范围。
07迭代
先将宽泛的安全判断改写为可复核的证据任务,再验证双摄条件下可实现的视线能力。随后围绕行为窗口和道路理解组织模块,检查哪些信息可从视觉获得,哪些需要补充传感器或标注。
下一步应优先补齐 Ground Truth 与关键场景评估,而不是直接扩大系统承诺。可视化帮助教练参与验证,也让工程团队知道下一轮真正需要改善什么。