供应链ETL脚本生成：Python vs Spark 数据清洗方案评测
提示词描述：
专为供应链数据工程师设计，对比Pandas与PySpark在ETL场景的优劣。通过结构化提示词，一键生成包含数据倾斜处理的高性能数据清洗脚本，将ETL开发效率提升数倍。
提示语关键词：
AI写代码,Python数据清洗,供应链ETL脚本,PySpark代码生成,AI生成ETL代码
提示词内容：
【需求分析】
在供应链数字化中，海量SKU与物流数据的清洗是核心痛点。面对日均百万级订单数据，传统SQL处理效率低下，亟需高效的脚本生成方案。本模板旨在通过AI生成高性能数据清洗代码，提升数据流转效率。
【方法对比】
方案A：Python Pandas。优势在于生态丰富、语法简洁，适合单机内存可容纳的中等规模数据；劣势是处理超大规模数据时易触发OOM（内存溢出）。
方案B：PySpark。优势在于分布式计算、内存管理优秀，适合TB级数据；劣势是环境配置复杂、微批处理启动开销大。
【推荐方案】
推荐采用“PySpark为主，Pandas辅助”的混合架构。对于核心流水数据使用PySpark进行分布式清洗，对于小型配置表使用Pandas，兼顾性能与开发效率。
【使用步骤】
1. 在 {数据源类型} 中填入如CSV/MySQL/Hive。
2. 在 {核心清洗逻辑} 中填入如去重、空值填充、时间戳转换。
3. 在 {输出目标} 中填入如Parquet/ClickHouse。
⚠️注意事项：生成代码后，务必在测试环境进行数据倾斜检查，必要时添加salting（加盐）或repartition操作。
【效果展示】
生成代码包含完整的SparkSession配置、DataFrame转换算子（map/filter/agg）以及异常处理机制，直接执行即可将ETL耗时从小时级缩短至分钟级，并附带资源调优参数建议。