您的位置: 首页 > 新闻资讯 > 正文

使用IP代理防止被反爬

发布时间:2019-04-03 15:00:49 来源:互联网

爬虫与反爬虫之间的对抗,不可谓不激烈,今天我们主要来讨论应对反爬虫中非常重要的一种手段,那就是IP代理。


正常来说,我们访问一个URL是这样的:


使用IP代理防止被反爬


客户端向URL所在的服务器发起请求,是会携带本机IP地址的,这样服务器就能获取到我们的IP地址,当这个IP地址在一个时间段内发起请求过于频繁,可能就会限制其一段时间内无法访问。


在编写爬虫程序的过程中,为了防止这种情况发生,就需要用到IP代理,IP代理的原理是这样的:


使用IP代理防止被反爬


第一步:我们会向代理服务器发起请求,告诉代理服务器我们要访问https://www.zhihu.com


第二步:代理服务器会代替我们向https://www.zhihu.com发起请求


第三步:服务器接收到代理服务器发来的请求后,就会将数据返回给代理服务器


第四步:代理服务器接收到服务器返回的数据后,就会将数据发送给客户端


这样,通过代理服务器向URL所在的服务器发起请求,就能完美地隐藏我们自身的IP,从而使得我们的IP不会被限制访问。

但是这样做,当然会有代价,我们通过IP代理来获取我们想要的数据,需要通过代理服务器转发一下,这样自然就会导致爬取的速度变慢,只有使用本机IP发起请求才是最快的。

接下来,我们还是老规矩,通过代码来演示下如何通过IP代理来发起请求:


import requests


# 免费代理可以从https://www.xicidaili.com/中获取到,但是免费的ip代理存活率很低

proxy = {

    'http': '183.148.158.64:9999'

}


res = requests.get('https://www.baidu.com', proxies=proxy)

print(res.text)

# 如果能正确返回结果,那么就说明当前ip代理是存活的,是可以用的,否则当前ip代理是失效的


仅仅有一个代理ip是不够的,我们应该维护一个属于自己的ip代理池,当某一个ip代理失效的时候,就将它剔除出去,那么如何维护一个可用的ip代理池呢?



# 第一步:通过https://www.xicidaili.com/wt/获取到ip_list


import requests

from bs4 import BeautifulSoup

import random


def get_ip_list(url):

    headers = {

        'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/66.0.3359.139 Safari/537.36'

    }

    res = requests.get(url, headers=headers)

    res = BeautifulSoup(res.text, 'html.parser')

    results = res.select('#ip_list tr')

    for result in results[1:]:

        ip = result.select('td')[1].text

        port = result.select('td')[2].text

        judge(ip, port)

        # 获取到了ip之后,并不能直接保存,首先应该判断是否可用


# 第二步:判断获取到的ip是否有效


ip_list = []


def judge(ip, port):

    proxy = {'http': ip+':'+port}

    try:

        res = requests.get('https://www.baidu.com', proxies=proxy)

    except Exception:

        print('该ip:' + ip + '无效')

        return False

    else:

        if 200 <= res.status_code < 300:

        # 返回的状态码在200到300之间表示请求成功

            ip_list.append((ip, port))

            return True

        else:

            print('该ip:' + ip + '无效')

            return False


# 第三步:从ip_list中随机获取一个ip


def get_random_ip():

    ip, port = random.choice(ip_list)

    result = judge(ip, port)

    if result:

        return ip + ':' + port

    else:

        ip_list.remove((ip, port))


# 第四步:调用上述函数


if __name__ == '__main__':

    get_ip_list('https://www.xicidaili.com/wt/')

    print(ip_list)

    print(len(ip_list))


这样,我们就得到了一个可用的ip代理池,可惜,遗憾的是免费的ip代理往往不稳定,绝大多数ip都是不可用的,大家可以去尝试下。


相关文章内容简介

1 使用IP代理防止被反爬

爬虫与反爬虫之间的对抗,不可谓不激烈,今天我们主要来讨论应对反爬虫中非常重要的一种手段,那就是IP代理。正常来说,我们访问一个URL是这样的:客户端向URL所在的服务器发起请求,是会携带本机IP地址的,这样服务器就能获取到我们的IP地址,当这个IP地址在一个时间段内发起请求过于频繁,可能就会限制其一段时间内无法访问。在编写爬虫程序的过... [阅读全文]

最新标签