您的位置: 首页 > 新闻资讯 > 正文

用代理IP爬取糗事百科信息

发布时间:2020-08-10 16:20:07 来源:黑洞代理

用代理IP爬取糗事百科信息!在ET代理这里购买了代理IP服务的用户,如果是用来爬虫的话,不妨先看看这里分享的爬虫案例。爬取糗事百科文字信息的时候,爬虫刚开始不久,然后就被禁止了,出现以下的提醒:

用代理IP爬取糗事百科信息

这是因为很多网站都有反爬措施,最常见的就是封ip,请求次数过多服务器会拒绝连接,所以这个时候就是我们的代理IP派上用场的大好时机。

在程序中设置一个代理ip,可有效的解决这种问题,代码如下;

# 需要的库

import requests

import re

from multiprocessing import Pool

# 设置代理ip

proxy = {

'https':'111.231.140.109:8888'

}

# 请求头

headers = {

'User-Agent': 'Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/65.0.3325.181 Safari/537.36'

}

# 主函数

def get_character(url):

# 请求网页,里面加入代理ip

response = requests.get(url,headers,proxies=proxy)

# 正则提取内容(作者昵称,内容,好笑数量,评论数量)

data = re.findall('<h2>(.*?)</h2>.*?<div class="content">.*?<span>(.*?)</span>.*?</div>.*?<span class="stats-vote">.*?'

'<i class="number">(.*?)</i>(.*?)</span>.*?<i class="number">(.*?)</i>(.*?)</a>',response.text,re.S)

# 遍历获取到的数据

for i in data:

# 以追加方式写入当前文件加下的qiubai.txt

with open('qiubai.txt','a+',encoding='utf8') as f:

# 转换为字符串格式,去空格,替换掉多余内容每条内容加换行

f.write(str(i).strip().replace(r'\n','')+'\n')

# 控制台打印查看爬取过程

print(str(i).strip().replace(r'\n','')+'\n')

# 程序入口

if __name__ == '__main__':

# 构造所有url

urls = ['https://www.qiushibaike.com/text/page/{}/'.format(i) for i in range(1,14)]

# 开启多进程

pool = Pool()

# 启动程序

pool.map(get_character,urls)

print('爬取完毕')

下面我们来看看抓取效果,控制台输出;


用代理IP爬取糗事百科信息

打开文件夹查看是否下载成功:


用代理IP爬取糗事百科信息

这样我们发现之前出现了禁止访问没有再提醒了,而且我们所需要的数据也能够在本地保存,这就是代理IP在爬虫中能够起到的帮助。


相关文章内容简介

1 用代理IP爬取糗事百科信息

用代理IP爬取糗事百科信息!在ET代理这里购买了代理IP服务的用户,如果是用来爬虫的话,不妨先看看这里分享的爬虫案例。爬取糗事百科文字信息的时候,爬虫刚开始不久,然后就被禁止了,出现以下的提醒:这是因为很多网站都有反爬措施,最常见的就是封ip,请求次数过多服务器会拒绝连接,所以这个时候就是我们的代理IP派上用场的大好时机。在程序中... [阅读全文]

最新标签