您的位置: 首页 > 新闻资讯 > 正文

Python如何设置代理IP

发布时间:2021-04-19 17:54:00 来源:黑洞代理ip

Python如何设置代理IP?随着社会科技的飞速发展,互联网行业的兴起,从事爬虫工作的朋友越来越多,大家都知道,为了对抗反爬虫策略,设置代理IP是必须的一项工作,没有这个,爬虫工作将会变得无比艰难,接下来黑洞代理ip小编就给大家介绍一下Python设置代理ip,请看下面介绍。

Python如何设置代理IP

做爬虫的朋友都知道,使用install_opener方法之后,会将程序默认的urlopen方法替换掉。也就是说,如果使用install_opener之后,在该文件中,再次调用urlopen会使用自己创建好的opener。如果不想替换掉,只是想临时使用一下,可以使用opener.open(url),这样就不会对程序默认的urlopen有影响。

from urllib import request

if __name__ == "__main__":

url = 'http://ip.zdaye.com/'

#这是代理IP

proxy = {'http':'168.68.8.88:66666'}

#创建ProxyHandler

proxy_support = request.ProxyHandler(proxy)

#创建Opener

opener = request.build_opener(proxy_support)

#添加User Angent

opener.addheaders = [('User-Agent','Mozilla/5.0 (Windows NT 6.1; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/56.0.2924.87 Safari/537.36')]

#安装OPener

request.install_opener(opener)

#使用自己安装好的Opener

response = request.urlopen(url)

html = response.read().decode("utf-8")

print(html)

这就是小编给大家介绍的方法了,有从事爬虫工作的朋友可以按这个方法试试,操作简单,效果是很好的。

相关文章内容简介

1 Python如何设置代理IP

Python如何设置代理IP?随着社会科技的飞速发展,互联网行业的兴起,从事爬虫工作的朋友越来越多,大家都知道,为了对抗反爬虫策略,设置代理IP是必须的一项工作,没有这个,爬虫工作将会变得无比艰难,接下来黑洞代理ip小编就给大家介绍一下Python设置代理ip,请看下面介绍。做爬虫的朋友都知道,使用install_opener方法之后,会将程序默认的urlopen方法替换... [阅读全文]

最新标签