忘记密码

成功验证手机号即可找回密码

请输入密码
请确认密码
用户登录
请输入密码
忘记密码
注册免费试用
注册后联系客服获取免费资格
请输入密码
复制成功
请粘贴在新的浏览器或标签页内打开
确定
账户余额不足10元

为了不影响您的正常使用,请及时充值!

我知道了

恭喜您注册成功!
已成功领取账户余额

25 1
立即领取

手机号绑定成功!
已成功领取账户余额

25 1
立即领取
首页> 最新资讯> 爬虫如何爬取赶集网的岗位招聘信息

爬虫如何爬取赶集网的岗位招聘信息

最新资讯 发布日期 2019-04-27         

  想要快速获取某个岗位的招聘信息,就用爬虫来爬取吧!今天芝麻HTTP就为大家分享一下,爬虫是如何爬取赶集网的岗位招聘信息的。在抓取之前,我们可先打开赶集网的招聘页面,F12审查元素,查找我们需要的信息所在的位置。

  代码如下:

import requests

import csv

import traceback

from bs4 import BeautifulSoup as bs

 

def get_page():

    try:

        url = '赶集网的招聘网址/'

        # 访问请求头

        headers = { 'User-Agent': 'agent信息'}

        r = requests.get(url, headers=headers)

        r.encoding = r.apparent_encoding

        return r.text

    except:

        traceback.print_exc()

        return "爬取失败"

 

def get_page_parse(html):

    # 打开文件设置好格式

    csv_file = open('D:\\data.csv', 'wt', newline='')

    writer = csv.writer(csv_file)

    writer.writerow(['url', '公司', '地点', '时间', '福利', '职位', '薪水'])

    content = []

    soup = bs(html, 'html.parser')

    for dl in soup.find_all('dl', class_='list-noimg job-list clearfix new-dl'):

        link1 = dl.find('a').get('post_url')  # 爬取网页地址

        div = dl.find('div', class_="new-dl-company").find('a')  # 爬取公司名称

        adress = soup.find('dd', class_='pay')  # 爬取地址

        time = dl.find('dd', class_='pub-time').find('span')  # 爬取发布时间

        for info in dl.find('div', class_="new-dl-tags").find_all('i'):  # 爬取公司福利

            content.append(info.text)

        job = dl.find('a', class_='list_title gj_tongji')  # 爬取职位

        salary = dl.find('div', class_='new-dl-salary')  # 爬取提供的薪水

        writer.writerow([link1, div.text, adress.text, time.text, content, job.text, salary.text])

    csv_file.close()

    print('所有数据成功放入CSV中')

 

# 主函数:

if __name__ == '__main__':

    html = get_page()

    get_page_parse(html)

  通过以上代码,我们就可以获取到赶集网某个岗位的招聘信息了。芝麻HTTP为您提供安全稳定、高效便捷的爬虫代理IP服务,更多问题请点击官网咨询客服。


爬虫 招聘 信息
客户经理
835658804 18115265829
在线咨询

售后客服

在线售后,实时响应

渠道/企业/大客户合作

大汉:153-0544-5551
芝麻HTTP公众号 微信客服
免费套餐
客户定制
专属客户经理
2890289832
15963368937

微信二维码

大客户
专属客户经理
1214413489
17696587966

微信二维码

公众号

关注公众号

意见反馈
置顶