忘记密码

成功验证手机号即可找回密码

请输入密码
请确认密码
用户登录
请输入密码
忘记密码
注册免费试用
注册后联系客服获取免费资格
请输入密码
复制成功
请粘贴在新的浏览器或标签页内打开
确定
账户余额不足10元

为了不影响您的正常使用,请及时充值!

我知道了

恭喜您注册成功!
已成功领取账户余额

25 1
立即领取

手机号绑定成功!
已成功领取账户余额

25 1
立即领取
首页> 最新资讯> 爬虫是如何爬取微博评论信息的

爬虫是如何爬取微博评论信息的

最新资讯 发布日期 2019-06-06         

  今天芝麻HTTP就为大家分享一下,爬虫是如何爬取微博评论信息的。在抓取之前,我们可以先打开微博,并登陆账号。通过开发者工具保存cookie,并根据翻页来找出url的变化规律。

  代码如下:

# -*- coding:utf-8 -*-

import requests

import re

import time

import pandas as pd

# id可以写自己想爬的地址id

urls = 'https://m.weibo.cn/api/comments/show?id=******&page={}'

headers = {'Cookies':'cookies信息',

       'User-Agent': 'agent信息'}

# 找到html标签

tags = re.compile('</?\w+[^>]*>')

# 设置提取评论function

def get_comment(url):

    j = requests.get(url, headers=headers).json()

    comment_data = j['data']['data']

    for data in comment_data:

        try:

            comment = tags.sub('', data['text']) # 去掉html标签

            reply = tags.sub('', data['reply_text'])

            weibo_id = data['id']

            reply_id = data['reply_id']

            comments.append(comment)

            comments.append(reply)

            ids.append(weibo_id)

            ids.append(reply_id)

        except KeyError:

            pass

for i in range(1, 101):

    url = urls.format(str(i))

    get_comment(url)

    time.sleep(1) # 防止爬得太快被封

df = pd.DataFrame({'ID': ids, '评论': comments})

df = df.drop_duplicates()

df.to_csv('微博.csv', index=False, encoding='gb18030')

  通过上述代码,我们就可以获取到微博评论的相关信息了。芝麻HTTP为您提供安全稳定、高效便捷的爬虫代理IP服务,更多问题请点击官网咨询客服。


爬虫 爬取 微博评论
客户经理
835658804 18115265829
在线咨询

售后客服

在线售后,实时响应

渠道/企业/大客户合作

大汉:153-0544-5551
芝麻HTTP公众号 微信客服
免费套餐
客户定制
专属客户经理
2890289832
15963368937

微信二维码

大客户
专属客户经理
1214413489
17696587966

微信二维码

公众号

关注公众号

意见反馈
置顶