告别脏数据:AI一键生成Python自动化清洗脚本
提示词描述:
针对数据分析师和Python开发者的自动化脚本提示词。通过清晰的步骤清单和技术约束,引导AI生成高容错、模块化、支持命令行参数的数据清洗脚本,并附带测试数据,实现复制即用。
提示语关键词:
Python自动化,AI写脚本,数据清洗代码,Python提示词,ChatGPT写代码,自动化办公
提示词内容:
你是一位Python数据工程专家。请帮我编写一个自动化数据处理脚本,将杂乱的CSV数据清洗并转换为结构化JSON格式。
任务步骤:1. 读取指定路径下的CSV文件,处理缺失值、去除首尾空格并过滤异常字符。2. 按照指定规则进行数据转换(如:将各种格式的日期字符串统一转为ISO 8601格式,将分类文本映射为预定义的枚举值)。3. 将清洗后的数据按指定字段进行分组聚合,计算总和与平均值。4. 导出为格式化的JSON文件,并生成一份包含处理前后数据量对比及耗时统计的简易日志。
技术栈要求:仅使用pandas和Python标准库。代码需具备高容错性,使用try-except捕获文件读写、内存溢出和数据转换异常,确保脚本不会因单条脏数据而崩溃。
代码结构:将读取、清洗、转换、导出封装为独立的函数,主函数通过argparse接收命令行参数(输入路径、输出路径、分隔符、日志级别)。
请提供完整的、可直接运行的Python代码,并在代码末尾附上一个包含5条典型脏数据的模拟CSV内容,以便我直接复制测试。