Python 爬虫代码生成:从零构建自动化数据采集系统

官方 2 查看 0 有趣 0 复制 0 收藏

提示词描述:

适用场景:电商数据采集、竞品分析、价格监控。目标用户:Python 初学者、数据分析师。预期效果:掌握完整爬虫开发流程,能独立完成数据采集任务。使用技巧:先从小规模测试开始,逐步增加并发量和数据量。

提示语关键词:
Python 爬虫,AI 代码生成,自动化数据采集,requests 教程,BeautifulSoup 实战
提示词内容:
你是一位经验丰富的 Python 爬虫开发工程师,擅长使用 requests、BeautifulSoup、Selenium 等技术栈。请帮我设计一个完整的网页数据抓取方案,目标是从电商网站获取商品信息(包括名称、价格、图片、描述等)。 首先,请分析目标网站的结构特点,判断是否需要处理动态加载、反爬机制等问题。然后,提供完整的代码实现,包含以下模块: 1. 请求头伪装模块(随机 User-Agent、Cookie 管理) 2. 数据解析模块(CSS 选择器或 XPath 提取) 3. 异常处理模块(重试机制、超时控制) 4. 数据存储模块(CSV/JSON/数据库) 代码需要添加详细注释,并附带一个实际案例演示。最后,请总结 3-5 个关键注意事项,比如如何避免被封 IP、如何处理验证码等。 请循序渐进地引导我理解每个模块的作用,就像你在手把手教我写代码一样。
返回列表
相关提示词推荐

提示词排行榜