用大模型做数据清洗，分享一个实用的 pipeline

数据清洗是我日常工作里很烦的一块，最近把 LLM 接进来之后效率提升很多，分享一下思路。 场景：从各种格式不一致的表单里提取标准化信息，比如日期格式混乱、地址写法五花八门、姓名有全称有缩写。 pipeline 大概是这样： 1. 先用规则处理能规则处理的（正则、标准化映射），降低 LLM 的工作量 2. 规则处理不了的再送给模型，prompt 里给几个示例，告诉它期望的输出格式 3. 模型输出用 structured output 约束成 JSON，避免格式混乱 4. 低置信度的结果（让模型同时输出置信度分数）单独捞出来人工复查 实测效果：之前纯人工处理 1000 条数据大概需要 3-4 小时，现在自动处理完需要人工复查的大概只有 5-8%，整体耗时降到 30 分钟以内。 成本：1000 条数据大概花 ¥2-4 的 API 费用，比人工便宜太多了。 关键点是不要让 LLM 做所有事，先用规则把简单的处理掉，LLM 只处理规则搞不定的边界情况。