B.Bing Bai / 白冰AI SOLUTIONS & ENGINEERING
← 返回项目经历
工业零件 · 视觉识别与检索

从一张图片,找到产品规格

视觉算法与后端开发;RAG 方案设计

01目标

帮助门店人员从未知零件的照片定位产品规格,缩小人工查找目录的范围。

我的工作重点是视觉测量、规格匹配和后端能力;后续探索通过多模态模型与文本检索补充视觉属性。

02输入

  • 用户拍摄的零件图片,以及用于尺度换算的参考物。
  • 产品目录中的直径、长度、螺距等结构化规格。
  • 零件和参考物的检测、分割标注数据。
  • 用户角色、门店归属和检索历史等业务数据。

主要约束:拍摄角度与光照不固定,产品目录中大量条目没有实物图片。

03用户流程

以下按门店检索任务梳理使用路径:

  1. 门店人员登录,在参考物旁拍摄待识别零件并提交图片。
  2. 系统检测与分割目标,做方向对齐和尺寸、螺距测量。
  3. 测量结果与产品规格库匹配,返回 Top-3 候选。
  4. 使用者核对候选规格,完成产品查找。
  5. 管理人员在权限范围内管理用户、查看或导出检索历史。

多模态属性提取与文本向量检索属于后续设计,不混入已开发的基础使用流程。

04输出

  • 零件检测、分割、测量与规格匹配的视觉流水线。
  • 面向前端的后端接口与 Top-3 产品候选。
  • 分层角色权限、登录鉴权和检索历史管理能力。
  • 后续 RAG 架构设计文档与模型调用成本估算。

05任务边界

**个人贡献:**视觉核心算法、尺寸与螺距测量、规格匹配,以及后端和用户管理相关开发。

**阶段边界:**已有 CV 与后端开发;RAG 部分为后续架构设计与可行性研究,不表述为已上线的 RAG 产品。

**能力边界:**候选推荐用于辅助查找,需要核对规格;实验中的匹配表现不能直接等同于所有现场条件下的准确率。客户名称与内部商业数据保持匿名。

06验收标准

以下是依据项目材料整理的验证口径,不代表已披露的客户正式验收条款;具体阈值与最终签收结果未公开。

  • **测量与匹配:**在带参考规格的样本上比较尺寸、螺距误差与 Top-3 命中情况,并保留拍摄条件和样本范围。
  • **系统流程:**从图片提交到候选返回的链路可复现,接口结果能被前端使用。
  • **权限隔离:**不同门店只能访问授权范围内的检索历史;管理角色按权限管理账号与导出数据。
  • **安全与交付:**密码使用哈希存储,鉴权和历史导出可测试,后端与视觉流水线的运行方式有文档。
  • **RAG 方案:**后续应验证候选召回、精排效果、延迟与单次成本,当前不宣称已经通过生产验收。

07迭代

  1. **视觉流水线:**比选检测与分割方案,加入参考物尺度换算、方向对齐和频域螺距分析,改善规格测量。
  2. **业务系统:**补齐分层权限、登录鉴权、用户管理和历史导出,让视觉能力进入实际业务流程。
  3. **检索方案探索:**针对产品侧缺少图片的问题,设计“规格文本建库 → 多模态属性提取 → 候选检索 → CV 精排”的路径,并进行模型成本估算。

下一步验证重点是 RAG 与既有 CV 方案在同一评估集上的收益和成本,而不是仅增加一个模型调用。

客户信息已匿名化 · 仅展示个人参与范围
向 AI 助手了解更多 →