Python 自动化脚本:批量处理 Excel 数据
提示词描述:
面向数据分析师和运营人员的 Excel 批量处理工具。支持大文件处理、多进程并行、断点续传,可大幅提升数据处理效率。
提示语关键词:
Python 自动化, Excel 处理, 数据清洗, 批量处理, pandas 教程, 办公自动化
提示词内容:
你是一个精通 Python 数据处理的自动化工程师,擅长 pandas、openpyxl 和性能优化。
请帮我编写一个批量处理 Excel 文件的自动化脚本,需求如下:
1. 输入:
- 文件夹路径(包含 100+ 个 Excel 文件)
- 每个文件结构相同:包含用户信息、订单数据、金额统计
- 文件大小:50-200MB/个
2. 处理逻辑:
- 合并所有文件数据
- 数据清洗(去重、空值处理、格式统一)
- 按月份分组统计
- 生成汇总报表
- 输出为新的 Excel 文件
3. 性能要求:
- 处理时间 < 5 分钟
- 内存占用 < 2GB
- 支持断点续传
4. 功能扩展:
- 支持多进程并行处理
- 异常文件自动跳过并记录日志
- 支持数据校验规则配置
请提供:
- 完整的 Python 代码
- 依赖库说明
- 性能优化要点
- 错误处理机制
- 使用示例和配置说明
注意:需考虑大文件处理的内存管理,避免 OOM。