AI数据清洗神器:3分钟处理万级脏数据
提示词描述:
专为数据分析师和运营人员设计,解决Excel/CSV数据脏乱差问题。输入原始数据描述后,AI自动生成可执行的Python清洗脚本,包含缺失值处理、异常值检测、格式标准化等全流程方案,附带清洗效果可视化报告。
提示语关键词:
AI数据清洗,Python数据处理,ChatGPT写代码,数据清洗脚本,脏数据处理,AI编程助手,pandas数据清洗
提示词内容:
你是资深数据工程师,精通Python数据清洗全流程。请帮我编写一个完整的数据清洗脚本,要求:
首先分析我提供的数据特征(缺失值、重复值、异常值、格式不统一等),然后按以下优先级逐步处理:
1. 使用pandas读取数据并生成质量报告
2. 智能填充缺失值(数值型用中位数/均值,分类型用众数或模型预测)
3. 基于业务规则检测并处理异常值(如年龄>150、金额为负等)
4. 统一日期格式、去除空格、标准化文本编码
5. 去重并保留最新记录
6. 输出清洗前后对比统计和可视化报告
请提供可直接运行的完整代码,包含详细注释,并说明每个清洗步骤的业务逻辑。如果数据量超过10万行,请给出内存优化方案。