您的位置: 首页 > 新闻资讯 > 正文

网络爬虫如何用代理IP?

发布时间:2019-05-31 16:29:25 来源:互联网

网络爬虫如何用代理IP?Python爬虫层出不穷,所有网站都利用反爬虫制度,限制大批爬虫的浏览,因此Python爬虫必须利用代理IP实现破解限制,才可以顺利的爬取到数据。那么网络爬虫如何使用代理IP,在使用代理IP过程中,必须留意哪些?接下来和芝麻代理一起了解下使用代理IP常见问题。

网络爬虫如何用代理IP?

一、Python网络爬虫如何使用代理IP

1.打开Python3,导入urllib的request,调用ProxyHandler,它可以接收代理IP的参数。

2.把IP地址以字典的形式放入其中,设置键为http,当然有些是https的,然后后面就是IP地址以及端口号,具体看你的IP地址是什么类型的,不同IP端口号可能不同。

3.用build_opener()来构建一个opener对象。

4.调用构建好的opener对象里面的open方法来发生请求。实际上urlopen也是类似这样使用内部定义好的opener.open(),这里就相当于我们自己重写。如果我们使用install_opener(),就可以把之前自定义的opener设置成全局的。

5.设置成全局之后,如果我们再使用urlopen来发送请求,那么发送请求使用的IP地址就是代理IP,而不是本机的IP地址了。


相关文章内容简介

1 网络爬虫如何用代理IP?

  网络爬虫如何用代理IP?Python爬虫层出不穷,所有网站都利用反爬虫制度,限制大批爬虫的浏览,因此Python爬虫必须利用代理IP实现破解限制,才可以顺利的爬取到数据。那么网络爬虫如何使用代理IP,在使用代理IP过程中,必须留意哪些?接下来和芝麻代理一起了解下使用代理IP常见问题。  一、Python网络爬虫如何使用代理IP。  1.打开Python3,导入urlli... [阅读全文]

最新标签