您的位置: 首页 > 新闻资讯 > 正文

基于Requests使用黑洞代理进行爬虫工作

发布时间:2019-06-27 17:13:42 来源:互联网

基于Requests使用极光ip代理进行爬虫工作!大家应该都了解,大型网站都会设置相对的反爬虫机制,例如检测ip的浏览频率、次数等,如果超出了真实用户的浏览速度ip就会受限或被禁,因此大家在完成爬虫工作的时候也要采用一些方式,例如选择黑洞代理ip,降低浏览频次,设置UA等,下面就和大家简单介绍下如何使用黑洞代理ip。


基于Requests使用黑洞代理进行爬虫工作


基于Requests使用黑洞代理ip代理进行爬虫工作


#!/usr/bin/env python


# -*- coding:utf-8 -*-


import requests


import random


if __name__ == "__main__":


#不同浏览器的UA


header_list = [


# 遨游


{"user-agent": "Mozilla/4.0 (compatible; MSIE 7.0; Windows NT 5.1; Maxthon 2.0)"},


# 火狐


{"user-agent": "Mozilla/5.0 (Windows NT 6.1; rv:2.0.1) Gecko/20100101 Firefox/4.0.1"},


# 谷歌


{


"user-agent": "Mozilla/5.0 (Macintosh; Intel Mac OS X 10_7_0) AppleWebKit/535.11 (KHTML, like Gecko) Chrome/17.0.963.56 Safari/535.11"}


]


#不同的代理IP(该代理ip可能失效了,请自行到黑洞代理ip官网购买开通)


proxy_list = [


{"http": "112.115.57.20:33128"},


{‘http‘: ‘121.41.171.223:32128‘}


]


#随机获取UA和代理IP


header = random.choice(header_list)


proxy = random.choice(proxy_list)


url = ‘http://www.baidu.com/s?ie=UTF-8&wd=ip‘


#参数3:设置代理


response = requests.get(url=url,headers=header,proxies=proxy)


response.encoding = ‘utf-8‘


with open(‘daili.html‘, ‘wb‘) as fp:


fp.write(response.content)


#切换成原来的IP


requests.get(url, proxies={"http": ""})


相关文章内容简介

1 基于Requests使用黑洞代理进行爬虫工作

  基于Requests使用极光ip代理进行爬虫工作!大家应该都了解,大型网站都会设置相对的反爬虫机制,例如检测ip的浏览频率、次数等,如果超出了真实用户的浏览速度ip就会受限或被禁,因此大家在完成爬虫工作的时候也要采用一些方式,例如选择黑洞代理ip,降低浏览频次,设置UA等,下面就和大家简单介绍下如何使用黑洞代理ip。  基于Requests使用黑洞... [阅读全文]

最新标签