忘记密码

成功验证手机号即可找回密码

请输入密码
请确认密码
用户登录
请输入密码
忘记密码
注册免费试用
注册后联系客服获取免费资格
请输入密码
复制成功
请粘贴在新的浏览器或标签页内打开
确定
账户余额不足10元

为了不影响您的正常使用,请及时充值!

我知道了

恭喜您注册成功!
已成功领取账户余额

25 1
立即领取

手机号绑定成功!
已成功领取账户余额

25 1
立即领取
首页> 最新资讯> 爬虫如何爬取去哪儿网的攻略数据

爬虫如何爬取去哪儿网的攻略数据

最新资讯 发布日期 2019-04-26         

  做好旅游攻略,才能玩的更加开心。在去哪儿网的攻略库里,有着海量的攻略分享。今天芝麻HTTP就为大家分享一下,爬虫是如何爬取去哪儿网的攻略数据的。我们主要抓取的内容有攻略标题、人均费用、天数、出发时间等相关攻略信息。

  代码如下:

from pyspider.libs.base_handler import *

class Handler(BaseHandler):

    crawl_config = {

    }

    @every(minutes=24 * 60)

    def on_start(self):

      self.crawl('http://travel.qunar.com/travelbook/list.htm', callback=self.index_page)

 

    @config(age=10 * 24 * 60 * 60)

    def index_page(self, response):

        for each in response.doc('li > .tit > a').items():

            self.crawl(each.attr.href, callback=self.detail_page, fetch_type="js")

        next = response.doc(".next").attr.href

        self.crawl(next, callback=self.index_page)

    @config(priority=2)

    def detail_page(self, response):

        costing = response.doc("li.f_item.howmuch > p > span.data").text() + "元"

        title = response.doc("#booktitle").text()

        days = response.doc(" li.f_item.howlong > p > span.data").text() + "天"

        departure_date = response.doc(" li.f_item.when > p > span.data").text()

        cover_img = response.doc(".cover_img").attr.src

        text = response.doc(".imglst").text()

        return {

            "cover_img"

            "url": response.url,

            "标题": title,

            "人均费用": costing,

            "天数": days,

            "出发日期": departure_date,

            "封面": cover_img,

            "正文": text

        }

  通过上述代码,我们就可以获取到大量的攻略数据了。芝麻HTTP为您提供安全稳定、高效便捷的爬虫代理IP服务,更多问题请点击官网咨询客服。


爬虫 攻略 数据
客户经理
835658804 18115265829
在线咨询

售后客服

在线售后,实时响应

渠道/企业/大客户合作

大汉:153-0544-5551
芝麻HTTP公众号 微信客服
免费套餐
客户定制
专属客户经理
2890289832
15963368937

微信二维码

大客户
专属客户经理
1214413489
17696587966

微信二维码

公众号

关注公众号

意见反馈
置顶