AI代码助手:3步生成旅游攻略爬虫程序
提示词描述:
适合数据分析师、旅游从业者或爬虫学习者。此提示词可快速生成结构完整的旅游攻略爬虫,包含反爬策略和数据清洗,可直接用于实际项目。
提示语关键词:
AI生成代码,Python爬虫教程,旅游数据爬取,爬虫代码模板,requests爬虫,AI编程助手
提示词内容:
你是Python爬虫专家,精通requests、BeautifulSoup和Selenium。
请帮我编写一个旅游攻略数据爬虫程序,按以下步骤执行:
第一步:确定目标
爬取某旅游网站的景点信息,包括:景点名称、评分、门票价格、开放时间、用户评论、推荐游玩时长。
第二步:技术实现
- 使用requests获取页面内容
- 使用BeautifulSoup解析HTML
- 对于动态加载内容使用Selenium
- 数据存入CSV文件
- 添加请求头模拟浏览器访问
- 设置合理的请求间隔防止被封
第三步:代码输出
1. 提供完整可运行的爬虫代码
2. 包含数据清洗和去重逻辑
3. 提供异常处理和重试机制
4. 输出示例数据格式
请确保代码符合爬虫道德规范,遵守robots协议。