01目标
从用户在用热水器的铭牌照片中提取制造年份和厂商品牌,为能源服务客户的换新筛选与售后巡检提供设备信息。任务聚焦于图片到字段的转换,由后续业务流程结合其他资料作出判断。
我负责数据准备、VLM 微调验证、云端运行和效果评估。重点是让结果能够重复核验,并明确图片不足以支持判断时如何处理。
02输入
输入包括现场铭牌照片、与文件名对应的年份和品牌标注,以及训练和评估所需的模型与容器环境。照片覆盖不同清晰度、反光和标签完整程度。
品牌与年份需要分别标注未知情况。模型的资源需求也是输入约束:必须在实际可用的显存与运行环境中完成实验,而不能仅凭参数规模选择模型。
03用户流程
照片输入后,模型按固定格式输出 YEAR; BRAND,无法确认的字段要求返回 None。程序解析并标准化字段,再与参考信息核对。对缺失、模糊或疑似误填的结果,应回看原图并由人员确认,作为后续业务筛选的依据。
开发阶段通过批量预测、字段级比较和失败样本复盘,检查哪些输入可靠、哪些仍需要改进。完整业务工作台和下游系统集成,与这一模型验证任务分开看待。
04输出
我完成标注转换、Qwen2.5-VL-3B LoRA 验证、GCP/Docker 运行和批量评估相关工作。在当时训练配置下,7B 受到显存限制,因此选择能够完成训练和复现的 3B 方案。
评估分别关注年份、品牌、联合匹配,以及真实未知字段能否正确返回空值,并保留预测与错例记录。这些产出用于解释模型能力、输入限制和进一步投入方向。
05任务边界
制造年份不等于安装时间或设备剩余寿命;信息抽取也不等于安全巡检、故障诊断或最终换新判定。识别对象是用户在用设备,抽取结果为能源服务业务提供信息依据。
Prompt 要求返回空值,并不保证模型已经消除误填。评估还要统一未知值表示、年份格式和品牌匹配规则,区分严格匹配与允许名称变体的匹配。不同模型版本、不同实验阶段的结果不能直接合并。
06验收标准
验收应覆盖字段与格式、已知和未知样本表现、失败条件、运行环境与资源需求。需要固定数据、模型和处理规则,检查训练与评估隔离,再确定哪些结果能自动接受、哪些必须人工复核。
07迭代
我的方法是先把设备理解简化为两个可验证字段,将其对应到结构化信息抽取。随后重新提问:业务需要的是一个看似完整的答案,还是有依据且能核对的信息?据此拆解标注、训练、解析和评估,从复核要求倒推输出与数据条件,再把有效的数据和评估流程推广到新的设备字段;推广前重新验证品牌、图像质量和场景差异。