很多人第一次用Codex,仍然把它当成一个更会回答问题的聊天框。
CSV看起来只是表格,里面却常有编码、分隔符、前导零、日期格式和空值含义差异。直接批量清洗很容易把有效数据改坏。
所以这篇文章只解决一件事:用可复查的规则清洗CSV,同时保留原始数据和异常记录。接下来不讲空泛功能,直接看要准备什么、每一步留下什么,以及最后怎样判断合格。
适合谁
适合经常收到不同来源导出的CSV,需要统一字段、日期和重复记录的运营与分析人员。
如果当前只有一个宽泛想法,先把它改成一项可交付任务;如果涉及唯一原件、生产环境或专业结论,必须保留人工确认。
Codex可以读取项目、修改文件和执行命令,因此先使用副本或版本控制,明确禁止触碰的目录与生产环境。高风险操作、唯一原件和最终判断必须留给人工。
开始前准备
- 原始CSV只读副本
- 字段说明和业务口径
- 少量已知正确与错误样本
- 建立一个测试副本或新目录,不直接操作唯一原件。
- 写下一句验收标准:清洗前后行数和关键字段变化可解释,原始文件未覆盖,所有异常都有单独记录
不要只准备输入,还要准备验收依据。没有对照样本、来源、测试或负责人判断,生成再多内容也无法证明已经完成。
完整步骤
第一步之前:先做一个最小样本
最小样本可以是一份文件、一页内容、一组数据或一个只读任务。它的作用不是展示效果,而是验证材料能读、规则能执行、结果能复查。
第一步:读取结构和编码
确认分隔符、编码、列名、行数和每列示例,先找出解析错位与乱码。
先停在这里检查一次。此时应已经形成“CSV结构报告”,并且能回到原始材料说明它从哪里来。
第二步:定义逐列清洗规则
分别规定空值、日期、数字、前导零、枚举和文本空格怎么处理。
这一阶段的完成标志不是工具有回复,而是“字段清洗规则表”已经可供人工检查。
第三步:先生成异常清单
对无法确定、违反规则或疑似重复的行单独输出,不静默删除或补值。
继续下一步之前,抽查“异常与重复候选文件”中的边界项和异常项;发现前提不成立就先修正。
第四步:导出新文件并对账
保留原文件,比较清洗前后行数、唯一键、空值和关键汇总。
把“清洗结果与对账报告”作为本轮留存证据。后续合并或扩大范围时,都应能用它复盘。
第五步:人工验收并沉淀流程
正式交付前,由真正负责这项工作的人做最后判断。流程如果会重复,再保存输入模板、执行顺序、异常处理和合格样例。
实际示例
客户编号00123不能转成数字123;“未知”和空白也可能含义不同。先把这些字段设为文本并固定空值规则,再处理日期和重复记录。
可以先这样描述任务:
我正在处理“用可复查的规则清洗CSV,同时保留原始数据和异常记录”。已有材料包括原始CSV只读副本、字段说明和业务口径、少量已知正确与错误样本。请先不要扩大任务范围,也不要补造缺失信息。先完成“读取结构和编码”,输出可以人工检查的中间结果;我确认后,再继续“定义逐列清洗规则”。最终请按照“清洗前后行数和关键字段变化可解释,原始文件未覆盖,所有异常都有单独记录”列出验收结果和仍需人工确认的内容。
实际使用时把示例中的材料名替换成你的真实文件,同时保留“不要补造缺失信息”和“列出待确认项”两条约束。
常见问题与报错
Excel打开CSV后中文正常,脚本读取却乱码
不要以一个软件的显示为准;检测并记录原始编码,在读取和写出时显式指定同一编码,再抽查中文和特殊符号。
任务跑了很久,却说不清改了什么
先要求列出计划和预计修改文件,每个阶段输出变更摘要、diff、命令和未解决项;没有检查点的长任务应暂停后重新拆分。
一次修改太多文件,出现问题无法定位
回到版本控制或副本,按一个目标一组文件重新执行;每批修改后立即运行对应检查,不把多个不相关需求放进同一次任务。
排查时先看实际读取文件、修改diff、命令和输出。一次只调整一个范围或规则,避免把多个故障叠在同一次执行里。
完成后的检查方法
- 清洗前后行数和关键字段变化可解释,原始文件未覆盖,所有异常都有单独记录
- 关键结论能回到原始材料、文件、命令输出或当前控制台。
- 没有把缺失信息、推测内容或示例数字写成已经确认的事实。
- 重要文件保留原件、版本或可恢复副本,敏感信息没有进入公开内容。
- 结果已经由真正负责这项工作的人审阅,而不是只看页面是否生成。
工具负责推进,人负责边界和最终判断。把两者分清,这项工作才会越做越省时间,而不是越积越乱。
资料来源
- OpenAI Codex文档
用于核对Codex的产品定位和当前官方使用说明。
- Microsoft Excel帮助与学习
用于核对表格、公式、数据导入和文件格式的基础操作。
FAQ
可以一次把整个任务交给Codex完成吗?
不建议一次交付全部范围。先按本文步骤完成一个小样,用“清洗前后行数和关键字段变化可解释,原始文件未覆盖,所有异常都有单独记录”验收,再决定是否扩大范围。
遇到“Excel打开CSV后中文正常,脚本读取却乱码”应该先检查什么?
不要以一个软件的显示为准;检测并记录原始编码,在读取和写出时显式指定同一编码,再抽查中文和特殊符号
完成后还需要人工检查吗?
需要。AI或执行工具负责推进流程,最终仍要由你根据原始材料、任务规则和“清洗前后行数和关键字段变化可解释,原始文件未覆盖,所有异常都有单独记录”完成验收。
