高阶数据清洗：用AI自动生成Pandas复杂处理脚本
提示词描述：
专为进阶数据分析师打造，通过结构化提示词引导大模型生成高鲁棒性的Pandas数据清洗脚本。适用于处理非结构化、多源异构脏数据，涵盖缺失值填充、异常值检测及复杂透视。结合具体案例与进阶技巧，助您快速构建自动化数据处理管道，大幅提升数据预处理效率与代码质量。
提示语关键词：
AI写Python代码,Pandas数据处理,AI数据清洗,Python代码生成提示词,自动化数据清洗脚本,大模型写代码
提示词内容：
【使用场景】
当面临非结构化、多源异构的脏数据时，传统手写Pandas脚本耗时且易错。本提示词适用于需要处理缺失值、异常值检测、时间序列对齐及复杂数据透视的进阶数据分析师，通过大模型直接生成高鲁棒性的Python数据处理管道，大幅降低数据预处理的试错成本。
【操作步骤】
1. 明确数据Schema：在 {填写数据集列名及数据类型} 中详细输入特征字段，如“user_id(int), login_time(str), duration(float)”。
2. 定义清洗规则：在 {填写具体清洗需求，如缺失值填充策略、异常值阈值} 中描述业务逻辑，如“duration为负数视为异常并剔除”。
3. 注入上下文：在 {填写数据量级及运行环境限制} 中补充内存和性能约束，如“数据量100万行，服务器内存8G”。
4. 执行生成：将完整提示词输入大模型，获取包含类型提示(Type Hints)和异常处理的Pandas代码。
【效果示例】
输入：处理包含10万行用户行为日志的CSV，需将时间戳转为datetime，剔除停留时间为负的异常值，并按用户ID进行分组聚合计算平均停留时间。
输出：AI生成包含 `pd.to_datetime`、布尔索引过滤及 `groupby.agg` 的完整代码，并附带内存优化建议（如使用 `category` 类型优化字符串列），代码包含详细的中文注释和边界条件处理。
【进阶技巧】
对于超大数据集，在提示词中追加“请使用Polars库替代Pandas以提升并行计算效率”，或要求模型采用分块读取（Chunking）策略（如 `pd.read_csv(chunksize=10000)`）以规避OOM（内存溢出）风险。同时，可要求模型生成对应的Pytest单元测试用例，确保清洗逻辑的绝对正确性。