01目标
帮助家居建材卖场(Home Center)的店员把顾客带来的未知螺丝、螺母或垫片,对应到客户产品目录中的可核对候选。业务难点既包括相近规格难区分,也包括店员不熟悉专业属性、需要填写过多筛选条件。
我负责从算法、前后端到分级账户管理的应用开发与交付,并通过方案对比和 Claude 原型,验证 Agent 如何简化门店查询流程。第一阶段,我负责识别与匹配算法、后端开发,推进产品匹配网页应用交付;第二阶段进一步开发 API、前后端和分级账户管理,随后探索大模型与目录工具协作的交互方式。
除直接帮助找零件外,查询记录还为生产商提供需求侧线索:用户查过什么、筛选了哪些规格、返回了什么候选。结合销售、库存与交期分析供应链,是这些数据的后续用途。
02输入
输入包括零件照片、必要的尺寸参照物、目录中的真实品番及规格,以及用户选择或模型识别的属性。多数产品缺少实物图片,因此不能假设存在一套完整的产品图片库。
形状、尺寸、螺距、材质与表面处理的可观察性不同。对于图片无法可靠支持的属性,应保留不确定性;对于需要精细尺寸的匹配,需要额外的拍摄条件、测量或人工核对。
03用户流程
已有应用中,使用者选择属性并按引导拍照,系统检测与分割目标,通过参照物换算尺寸、估计螺距,再结合目录规格返回候选。查询历史与管理端导出用于后续核对和分析。
为了减少输入负担,我进一步用 Claude Skill 验证了另一种交互:模型从照片识别属性,缺少必要视角时补问,调用 Python 工具筛选 CSV 产品目录,再整理 Top-3 候选与判断依据。没有匹配结果时,可以调整筛选条件重新查询。
这一步用于 Demo 验证,大模型 API 接入按客户批准后的阶段推进。规格文本向量检索是另外评估的设计方向,与已验证的 CSV 工具流程分开说明。
04输出
算法工作覆盖检测分割方案验证、PCA 平面方向对齐、参照物尺度换算、DFT 螺距估计及规格匹配。工程交付包括产品匹配网页应用、FastAPI/PostgreSQL 后端,以及 API、前端页面、分级账户管理、查询历史与导出功能,让店员和生产商管理人员按各自角色使用系统。
大模型部分输出了 Claude Skill 原型,以及属性消息构造、枚举校验和低置信字段处理代码。模型负责视觉语义和交互,产品记录来自目录工具,精确规格由测量及用户核对补足。
05任务边界
候选推荐用于辅助查找,不保证照片能唯一确定零件。PCA 只能修正平面方向,参照物测量仍受透视、分辨率和相对位置影响;相对匹配分数也不是购买正确性的概率。
受控样本上的测量与匹配结果不能直接代表扩展目录后的门店效果。Skill Demo 不等于生产级网页 Agent,查询数据也不等于实际购买数据。供应链分析是基于查询数据继续探索的方向,尚未形成可量化的供应链收益。
06验收标准
验证需要固定目录版本、测试图像和正确产品,分别检查测量误差、候选命中、完成任务所需的输入与时间,以及无候选和低质量图片的处理。工程侧需要确认查询权限、历史记录和结果可追溯。
07迭代
我的工作方法是先把“识别所有零件”简化成“找到可核对的候选”,用目录检索与几何测量承接可确定的部分。当客户反馈操作复杂时,重新提问如何减少人工属性选择,再通过 Skill 快速验证模型与工具分工。从真实品番和结果核对要求倒推接口、数据和拍摄条件,最后将有效部分沉淀为可复用的属性 Schema、工具与评测方法。