01目标
帮助门店人员从未知零件的照片定位产品规格,缩小人工查找目录的范围。
我的工作重点是视觉测量、规格匹配和后端能力;后续探索通过多模态模型与文本检索补充视觉属性。
02输入
- 用户拍摄的零件图片,以及用于尺度换算的参考物。
- 产品目录中的直径、长度、螺距等结构化规格。
- 零件和参考物的检测、分割标注数据。
- 用户角色、门店归属和检索历史等业务数据。
主要约束:拍摄角度与光照不固定,产品目录中大量条目没有实物图片。
03用户流程
以下按门店检索任务梳理使用路径:
- 门店人员登录,在参考物旁拍摄待识别零件并提交图片。
- 系统检测与分割目标,做方向对齐和尺寸、螺距测量。
- 测量结果与产品规格库匹配,返回 Top-3 候选。
- 使用者核对候选规格,完成产品查找。
- 管理人员在权限范围内管理用户、查看或导出检索历史。
多模态属性提取与文本向量检索属于后续设计,不混入已开发的基础使用流程。
04输出
- 零件检测、分割、测量与规格匹配的视觉流水线。
- 面向前端的后端接口与 Top-3 产品候选。
- 分层角色权限、登录鉴权和检索历史管理能力。
- 后续 RAG 架构设计文档与模型调用成本估算。
05任务边界
**个人贡献:**视觉核心算法、尺寸与螺距测量、规格匹配,以及后端和用户管理相关开发。
**阶段边界:**已有 CV 与后端开发;RAG 部分为后续架构设计与可行性研究,不表述为已上线的 RAG 产品。
**能力边界:**候选推荐用于辅助查找,需要核对规格;实验中的匹配表现不能直接等同于所有现场条件下的准确率。客户名称与内部商业数据保持匿名。
06验收标准
以下是依据项目材料整理的验证口径,不代表已披露的客户正式验收条款;具体阈值与最终签收结果未公开。
- **测量与匹配:**在带参考规格的样本上比较尺寸、螺距误差与 Top-3 命中情况,并保留拍摄条件和样本范围。
- **系统流程:**从图片提交到候选返回的链路可复现,接口结果能被前端使用。
- **权限隔离:**不同门店只能访问授权范围内的检索历史;管理角色按权限管理账号与导出数据。
- **安全与交付:**密码使用哈希存储,鉴权和历史导出可测试,后端与视觉流水线的运行方式有文档。
- **RAG 方案:**后续应验证候选召回、精排效果、延迟与单次成本,当前不宣称已经通过生产验收。
07迭代
- **视觉流水线:**比选检测与分割方案,加入参考物尺度换算、方向对齐和频域螺距分析,改善规格测量。
- **业务系统:**补齐分层权限、登录鉴权、用户管理和历史导出,让视觉能力进入实际业务流程。
- **检索方案探索:**针对产品侧缺少图片的问题,设计“规格文本建库 → 多模态属性提取 → 候选检索 → CV 精排”的路径,并进行模型成本估算。
下一步验证重点是 RAG 与既有 CV 方案在同一评估集上的收益和成本,而不是仅增加一个模型调用。