告别重复劳动:AI编写Python自动化数据处理脚本
提示词描述:
面向数据工程师与运营人员,通过清晰的步骤清单,指导AI编写包含数据读取、清洗、聚合到导出的完整Python脚本。特别强调内存优化与异常处理,确保大数据量下的脚本稳定运行,彻底告别重复劳动。
提示语关键词:
AI写代码,Python自动化,AI代码生成,Python自动化脚本提示词,AI写数据处理脚本,ChatGPT写Python
提示词内容:
假设你是一位资深Python数据工程师,精通Pandas、NumPy、Polars及各类自动化脚本编写。请帮我编写一个高效、健壮的自动化数据处理脚本。
任务背景:
我需要处理[在此输入数据类型,如:每日销售报表/用户行为日志/CSV财务对账单],数据量约为[输入数据量,如:50万行/2GB]。当前手动处理耗时过长且易出错。
处理步骤清单:
请严格按照以下步骤编写代码,并在代码中对应步骤添加清晰的注释:
步骤1:数据读取与预处理。支持读取[CSV/Excel/JSON/SQL],处理缺失值(填充或剔除)、重复项,统一日期格式和时区。
步骤2:数据清洗与转换。执行[输入具体清洗规则,如:金额字段去除货币符号并转为浮点数/文本字段去除特殊字符/分类字段进行One-Hot编码]。
步骤3:核心数据聚合。按[输入分组维度,如:日期/地区/产品类别]进行分组,计算[输入聚合指标,如:总销售额/平均转化率/去重用户数/同比环比增长率]。
步骤4:数据校验与异常拦截。在输出前检查数据完整性,若关键指标波动超过[如:20%],或出现空值,则触发告警并记录异常明细。
步骤5:结果导出。将处理后的数据保存为[输出格式,如:Excel/CSV/数据库表],并生成一份简要的处理摘要日志(包含处理行数、耗时、异常数)。
性能与稳定性要求:
1. 内存优化:针对大数据量,请使用分块读取(chunksize)或Polars/Dask等高效库,避免内存溢出(OOM)。
2. 异常处理:使用try-except捕获文件读取、格式转换等异常,并记录到本地日志文件,支持日志轮转。
3. 配置分离:将文件路径、阈值、数据库连接等参数提取到配置字典或YAML/JSON文件中,方便后续修改。
4. 进度反馈:对于耗时较长的操作,请集成tqdm进度条,实时显示处理进度。
输出要求:
1. 提供完整的、可直接运行的Python代码,遵循PEP 8规范。
2. 提供 requirements.txt 依赖列表及版本建议。
3. 提供一段简短的代码运行说明、参数配置指南及常见报错排查指南。