忘记密码

成功验证手机号即可找回密码

请输入密码
请确认密码
用户登录
请输入密码
忘记密码
注册免费试用
注册后联系客服获取免费资格
请输入密码
复制成功
请粘贴在新的浏览器或标签页内打开
确定
账户余额不足10元

为了不影响您的正常使用,请及时充值!

我知道了

恭喜您注册成功!
已成功领取账户余额

25 1
立即领取

手机号绑定成功!
已成功领取账户余额

25 1
立即领取
首页> 最新资讯> 爬虫是如何爬取淘宝上的图片的

爬虫是如何爬取淘宝上的图片的

发布日期 2019-04-30         

  今天芝麻HTTP就为大家分享一下,爬虫是如何爬取淘宝上的图片的。在抓取之前,我们可以先打开淘宝,输入我们要爬取的图片关键词,研究分析一下页面,查找所需信息所在的位置,然后开始爬取。

  代码如下:

import os

import re

import urllib.request

import requests

def getHtml(url,headers):

# 芝麻代理设置

proxy = urllib.request.ProxyHandler({'http': '115.213.177.144:4223'})

opener = urllib.request.build_opener(proxy, urllib.request.HTTPHandler)

urllib.request.install_opener(opener)

opener.addheaders = [headers]  # 列表

data = urllib.request.urlopen(url).read().decode('utf-8', 'ignore')

pat='"pic_url":"(.*?)"'

imgUrls=re.findall(pat,data)

return data,imgUrls

if __name__=='__main__':

keyword='关键词信息'

#quote编码

keyword=urllib.request.quote(keyword)

pageString='0'

url='目标网址'+pageString

headers = ('User-Agent','agent信息')

data = getHtml(url,headers)[0]

print(data)

pat='"totalPage":(.*?),'

totalPage=int(re.findall(pat,data)[1])

print(totalPage)

path = os.path.join(os.getcwd(), 'img')

os.makedirs(path)

for page in range(totalPage):

pathpage = os.path.join(path, '第'+str(page+1)+'页')

os.makedirs(pathpage)

pageString=str(page*44)

url = '目标网址' + pageString

imgUrls=getHtml(url, headers)[1]

for i in range(1, len(imgUrls)):

try:

url='http:'+imgUrls[i]

print(url)

fileurl=pathpage+'/'+str(i)+'.jpg'

r=requests.get(url)

with open(fileurl,"wb") as f:

f.write(r.content)

except :

print('fuck off')

  通过上述代码,我们就可以获取到淘宝上的相关图片信息了。芝麻HTTP为您提供安全稳定、高效便捷的爬虫代理IP服务,更多问题请点击官网咨询客服。


爬虫 淘宝 图片
客户经理
1214413489 17696587966
在线咨询

售后客服

在线售后,实时响应

渠道/企业/大客户合作

大汉:153-0544-5551
芝麻HTTP公众号 微信客服
免费套餐
大客户
专属客户经理
2781589383
18905201785

微信二维码

公众号

关注公众号

免费领试用

意见反馈
置顶