铭牌 OCR 两阶段管线:Qwen-VL 多模态大模型的工业落地实录(含 130s→3s 性能修复)

> 本文与已发布的同名技术文章内容一致。完整版见项目根目录 基于Qwen-VL的OCR铭牌自动建设备台账的实现方案.md。此处保留核心概要,并补充与整体架构的关联说明。

管线全景

``<br>用户拍照上传<br> │<br> ├─ IntentAgent 判断"设备建档"意图<br> │<br> ├─ [Stage 1] Qwen-VL 视觉模型 → 忠实提取键值对 → RawField[]<br> │ 模型:Qwen/Qwen3-VL-32B-Instruct<br> │ Prompt:工业铭牌 OCR 专用,要求输出标准 JSON<br> │ 性能:130s(思维链全开)→ 3-8s(enable_thinking=false)<br> │<br> ├─ [Stage 2] FIELD_MAP 纯代码查表 → 分类为 A/C 类<br> │ 60 条映射规则,精确匹配→模糊匹配→未命中进 technicalSpecs<br> │ 耗时:<0.5ms,零网络 IO<br> │<br> └─ [Stage 3] prepare_equipment_form → DynamicForm UI Card<br> A 类(铭牌绿色)+ B 类(AI 推断黄色)+ C 类(技术参数 JSONB)<br>``

核心设计决策

| 决策 | 理由 |<br>|---|---|<br>| 两阶段分离 | Stage 1 不涉台账 Schema,Stage 2 不依赖 LLM |<br>| 静态 FIELD_MAP(60 条) | 新增字段追加入口,不改 Prompt |<br>| OpenAI 原生客户端 | Vercel AI SDK 的 enable_thinking 参数未正确转发 |<br>| 有效性检查 | 无效图片不展空表单,走 LLM 降级路径 |<br>| 多源冲突处理 | 铭牌+合同+发票并行提取,取高置信度值 |

与本系列的关系

铭牌 OCR 是 AI Pipeline(03)的特殊快速通道——当意图明确且输入确定时,绕过 LLM Tool Calling,直接走两阶段管线。它也是 DynamicForm(06)的最大数据源——A 类字段的置信度直接来自视觉模型的提取质量。

详细内容

完整的 Prompt 工程、JSON 容错解析、Qwen3-VL 思维链陷阱修复过程、DynamicForm 构造细节,请参阅:

基于Qwen-VL的OCR铭牌自动建设备台账的实现方案.md

下一篇:pgvector 语义检索 + RAG——故障知识库的自动积累与向量检索。

作者:白杨,十余年设备资产管理从业经验,EAMX 产品负责人。