← 返回项目经历
制造与物流 · 视频分析与交付

视频分析 SaaS:从客户 PoC 到产品取舍

AI Engineer / FDE · 客户部署、问题闭环与产品复盘

01目标

CONFIDE WA 是面向工厂与仓储作业的视频分析平台,将视频中的人体、手部位置等观测转成可核对的作业事件与时间统计。本文以某客户的物流仓库检品分拣场景为例,介绍如何验证自动统计能否减少现场负责人看录像、手工计时的工作,为流程改善提供依据。

项目使用公司开发的 CONFIDE Workflow Analysis 平台,分别评估工序耗时、作业者之间的作业构成差异,以及在席和离席时间。我参与平台后端开发、工作流相关问题排查和客户概念验证(PoC),与团队一起核对分析结果及现场适用范围。

02输入

输入包括两位作业者的现场视频、人工梳理的业务动作清单、人体和手部标注,以及工作区域和动作条件。细工序分析采用选出的短片段,离席统计使用较长原视频,并分别与人工记录核对。

输入存在可变帧率、遮挡、盲区和快速连续动作。业务上名称不同的动作,也可能在相同区域发生,具有非常相似的手部轨迹。

03用户流程

项目人员先与现场负责人确认计时对象和动作含义,检查视频并建立人工参考。随后在平台选择模型、设置检测区域与工作流,运行分析并查看视频叠加结果、时间轴和汇总统计。

平台通过视觉检测提供人体、手等观测,再将区域与持续性条件转为候选动作,由状态机组织成可统计的作业状态。使用者对照原视频检查误差,团队据此区分输入规范、检测能力和工作流配置问题。

04输出

我参与后端与数据迁移相关开发、工作流问题修复,以及该客户的视频预处理、配置和验证。针对可变帧率导致结果与播放时间轴错位的问题,采用 FFmpeg 统一帧率,再对照视频核验。

PoC 输出包括工序时间、两位作业者的对比、在席/离席统计、验证录屏及报告。结论并不一致:离席相关统计在测试条件下较好,细粒度工序计时仍受共享区域、快速动作和盲区影响,需要进一步调整。

例如,手经过同一个区域,可能是在放商品,也可能是在放不同托盘。仅依靠手的位置,状态机无法补出缺失的对象信息。基于这些限制,改进方向包括调整镜头和工作区、合并不易区分的动作、增加对象标注,以及评估多视角的收益和成本。

05任务边界

这个案例聚焦仓储工位的作业分析 PoC,采用目标检测和状态机组织业务事件。累计时间接近人工值,不代表动作发生时刻完全正确;对个人效率的比较,还要考虑处理件数、产品组合和作业路径。

本次验证运行在公司服务器。我也参与过另一客户的离线 Windows 部署与本地训练支持。该项目具有不同的数据和部署约束,本文的效果结论仅针对该客户的验证场景。

06验收标准

实际验证按业务指标分别对照人工结果,说明可用范围、失败条件和改进成本。后续应进一步核对事件起止时间、漏检与错检、不同工位的表现,以及现场人员复核所需的工作量。

07迭代

我的方法是将“提高作业效率”先简化为“获得可信的作业记录”,把问题对应到视觉事件与状态转换。效果不足时,重新检查画面是否足以区分动作,再逐层拆解时间基准、检测、区域、状态与统计。从可核验的结果倒推输入规范和标注要求,沉淀能用于下一工位的配置与排障经验。

客户信息已匿名化 · 仅展示个人参与范围
向 Agent 了解更多 →