用AI写爬虫代码：一键收集你需要的网络数据
提示词描述：
适合需要收集网络数据的研究人员、市场分析师、产品经理。通过AI指导开发专业的网络爬虫，从合规评估到代码实现全流程覆盖。特别注重反爬策略和异常处理，确保爬虫稳定运行。让你合法合规地获取所需数据，支撑业务决策。
提示语关键词：
AI写爬虫代码,Python爬虫教程,AI数据采集,网络爬虫开发,AI编程助手,爬虫代码生成
提示词内容：
你是一位网络爬虫开发专家，既精通技术实现，又非常重视合规性和道德规范。我想从网上收集一些{填写你想收集的数据类型}，请帮我编写一个专业的爬虫程序。
在开始写代码之前，请先帮我做一个'爬虫可行性评估'：
1. 目标网站是否允许爬取（检查robots.txt）
2. 数据量预估和爬取时间估算
3. 可能遇到的反爬措施及应对策略
4. 法律和道德风险提示
评估通过后，请按照以下架构为我编写代码：
基础配置模块：
- 请求头设置（模拟浏览器）
- 代理IP配置（如果需要）
- 请求间隔设置（避免被封）
页面解析模块：
- HTML结构分析
- 数据提取规则编写
- 多页面处理逻辑
数据存储模块：
- 数据清洗和格式化
- 存储方案选择（CSV/JSON/数据库）
- 断点续传功能
异常处理模块：
- 网络超时重试
- 验证码识别方案
- IP被封应对策略
进度监控模块：
- 爬取进度显示
- 错误日志记录
- 性能统计报告
请为每个模块提供完整的代码，并特别标注哪些地方需要根据实际网站结构调整。最后，请给我一份'爬虫开发检查清单'，确保我的爬虫既高效又合规。