您的位置: 首页 > 新闻资讯 > 正文

如何抓取免费代理IP?如何验证代理IP是否有效?

发布时间:2018-11-16 14:55:48 来源:互联网

    虽然免费代理IP可用率低,但是不花钱,所以还是有不少人选择抓取免费代理IP使用,那么如何抓取免费代理IP?因为免费代理IP的可用率低于10%,所以在使用前,还是需要先验证是否可用,那么如何验证代理IP是否有效?下面跟黑洞代理小编一起去了解一下代理IP。

    一、如何抓取免费代理IP

    免费代理ip很多都是扫出来的,扫ip段,端口,特征码。发现可以使用,那就是代理ip。

    代理ip不好用,一般是因为以下几个原因:

    1.扫到的代理ip是临时的;

    2.访问量太大,服务器都挂了;

    3.本来就不是代理ip;

    4.有验证;

    5.本来是http的代理,你用来访问https,那当然不行;

    6.代理异常,连接中断,带宽被沾满,返回错误。

    如果不想花钱,那么就只能自己找到稳定的代理ip,然后来使用。而一般的代理池,都是拿百度、知乎阿、豆瓣阿啥的网址访问,成了说明能用,不成就是失败。

    之前看了下haipproxy的代码,成功率高就得自己写验证,说白了,在爬虫使用之前,先尝试访问下,来提高成功率。

如何抓取免费代理IP?如何验证代理IP是否有效?

    二、如何验证代理IP是否有效

    importurllib.request

    url="http://www.***.com/***"#打算抓取内容的网页

    proxy_ip={'http':'37.27.32.42:80'}#想验证的代理IP

    proxy_support=urllib.request.ProxyHandler(proxy_ip)

    opener=urllib.request.build_opener(proxy_support)

    opener.addheaders=[("User-Agent","Mozilla/5.0(WindowsNT10.0;WOW64)")]

    urllib.request.install_opener(opener)

    print(urllib.request.urlopen(url).read())

    若IP是有效的,则可打印出网页源码,否则会出现错误。所以我们可以通过以上代码对所抓取的代理IP逐个进行验证。

    以上是关于“如何抓取免费代理IP”与“如何验证代理IP是否有效”的知识,想抓取免费代理IP的朋友,可用自己尝试一下。

    每个网站提高的免费IP有限,如果数量不能满足,就需要找更多的IP资源,并进行验证,这需要花大量的时间,这其中的时间成本可不少了。因此,小编建议,有条件的可用选择使用付费的代理IP,比如黑洞代理,千万IP资源,可以满足绝大部分用户的需求了。


相关文章内容简介

1 如何抓取免费代理IP?如何验证代理IP是否有效?

 ∵ ∵虽然免费代理IP可用率低,但是不花钱,所以还是有不少人选择抓取免费代理IP使用,那么如何抓取免费代理IP?因为免费代理IP的可用率低于10%,所以在使用前,还是需要先验证是否可用,那么如何验证代理IP是否有效?下面跟黑洞代理小编一起去了解一下代理IP。 ∵ ∵一、如何抓取免费代理IP ∵ ∵免费代理ip很多都是扫出来的,扫ip段,端口,特征码。发现... [阅读全文]

最新标签

在线客服

QQ咨询

上班时间