忘记密码

成功验证手机号即可找回密码

请输入密码
请确认密码
用户登录
请输入密码
忘记密码
注册免费试用
注册后联系客服获取免费资格
请输入密码
复制成功
请粘贴在新的浏览器或标签页内打开
确定
账户余额不足10元

为了不影响您的正常使用,请及时充值!

我知道了

恭喜您注册成功!
已成功领取账户余额

25 1
立即领取

手机号绑定成功!
已成功领取账户余额

25 1
立即领取

为IP需求定制
提供专业解决方案

首页> 最新资讯> 爬虫如何爬取58同城二手物品信息数据

爬虫如何爬取58同城二手物品信息数据

最新资讯 发布日期 2019-04-25         

  今天芝麻HTTP就为大家分享一下,爬虫是如何爬取58同城二手物品信息数据的。这里我们主要抓取的信息有:二手物品的标题、价格和发布时间。在抓取之前,我们可先打开58的二手物品页面,F12审查元素,查找我们需要的信息所在的位置。

  代码如下:

import requests

from bs4 import BeautifulSoup

 

def get_links_from():

    urls = []

    list_view = '目标网址/'

    wb_data = requests.get(list_view)

    soup = BeautifulSoup(wb_data.text,'lxml')

    for link in soup.select('a.title.t'):

        urls.append(link.get('href'))

    return urls

# print(get_links_from())

 

def get_item_info():

    urls = get_links_from()

    for url in urls:

        wb_data = requests.get(url)

        soup = BeautifulSoup(wb_data.text,'lxml')

 

        title = soup.title.text

        price = soup.select('span.price.c_f50')[0].get_text() if len(soup.select('span.price.c_f50'))>0 else None

        time = soup.select('li.time')[0].get_text()

        data = {

            'title':title,

            'price':price,

            'time':time

        }

        print(data)

 

get_item_info()

  通过上述代码,我们就可以获取到58同城二手物品的相关内容了。芝麻HTTP为您提供安全稳定、高效便捷的爬虫代理IP服务,更多问题请点击官网咨询客服。


爬虫 二手物品 数据
客户经理
761372738 17696580188
在线咨询

售后客服1

在线售后,实时响应

售后客服2

在线售后,实时响应

渠道/企业/大客户合作

大汉:153-0544-5551
芝麻HTTP公众号 微信客服