您的位置: 首页 > 新闻资讯 > 正文

爬虫如何爬取京东上的手机图片?

发布时间:2019-07-16 17:37:38 来源:互联网

爬虫如何爬取京东上的手机图片?今天黑洞代理ip就为大家分享一下爬虫是如何爬取京东上的手机图片的。首先我们先打开京东,输入要爬取的商品,比如手机。然后分析页面和网址,查看我们要爬取的信息位置和网址的变化。


爬虫如何爬取京东上的手机图片?


代码如下:


import re


import urllib.request


def craw(url,page):


#获取网页源代码


html1 = urllib.request.urlopen(url).read()


html1 = str(html1)


#对网页源码进行过滤,只保留和产品列表相关的信息


pat1 = '<div id="plist".+?

'


result1 = re.compile(pat1).findall(html1)


result1 = result1[0]


#print(result1)


#再次过滤,提取网页中图片的链接,并将链接地址存储在列表中


pat2 = '爬虫如何爬取京东上的手机图片?'


imagelist = re.compile(pat2).findall(result1)


x = 1


#遍历列表,将链接存储到本地


for imageurl in imagelist:


imagename = "D:/jd/img1/" + str(page) + str(x) + ".jpg"


imageurl = "http://" + imageurl


try:


urllib.request.urlretrieve(imageurl,filename=imagename)


except urllib.error.URLError as e:


if hasattr(e,"code"):


x+=1


if hasattr(e,"reason"):


x+=1


x+=1


#通过for循环,将该分类下的所有网页都爬取一遍


for i in range(1,88):


url = "https://list.jd.com/list.html?cat=9987,653,655&page="+str(i)


craw(url,i)


以上就是关于爬虫如何爬取京东上的手机图片的介绍了,黑洞代理ip可为您提供海量IP资源,助您不间断获取行业数据,赢在大数据时代!


相关文章内容简介

1 爬虫如何爬取京东上的手机图片?

  爬虫如何爬取京东上的手机图片?今天黑洞代理ip就为大家分享一下爬虫是如何爬取京东上的手机图片的。首先我们先打开京东,输入要爬取的商品,比如手机。然后分析页面和网址,查看我们要爬取的信息位置和网址的变化。  代码如下:  import∵re  import∵urllib.request  def∵craw(url,page):  #获取网页源代码  html1∵=∵urllib.request.urlopen(url).rea... [阅读全文]

最新标签