您的位置: 首页 > 新闻资讯 > 正文

网络爬虫伪装用户--伪装浏览器

发布时间:2019-03-16 09:16:00 来源:互联网

网站限制网络爬虫的方法不少,为了便于操作,网络爬虫也可以伪装用户的,通常的方法是伪装成为浏览器,这是为什么呢?

User-Agent参数,简称为UA,该参数的作用是用于表明本次请求载体的身份标识。如果我们通过浏览器发起的请求,则该请求的载体为当前浏览器,则UA参数的值表明的是当前浏览器的身份标识表示的一串数据。如果我们使用爬虫程序发起的一个请求,则该请求的载体为爬虫程序,那么该请求的UA为爬虫程序的身份标识表示的一串数据。

有些网站会通过辨别请求的UA来判别该请求的载体是否为爬虫程序,如果为爬虫程序,则不会给该请求返回响应,那么我们的爬虫程序则也无法通过请求爬取到该网站中的数据值,这也是反爬虫的一种初级技术手段。那么为了防止该问题的出现,则我们可以给爬虫程序的UA进行伪装,伪装成某款浏览器的身份标识。

当网站检查你是不是真的浏览器访问,还是机器自动访问的时候,我们可以加上User-Agent,表明你是浏览器访问即可。

服务器会识别headers中的referer是不是它自己,如果不是,有的服务器不会响应,所以我们还可以在headers中加入referer。以谷歌浏览器的开发者工具为例(右键检查或Ctrl+Shift+I),刷新页面,在Network模块中我们点开左边name中项目,可以看到一些信息,其中我们就可以看到Referer和User-Agent的信息,把它们复制下。

网络爬虫伪装用户--伪装浏览器

伪装的格式为:

网络爬虫伪装用户--伪装浏览器

方法一:使用requests模块

网络爬虫伪装用户--伪装浏览器

方法二:使用urllib模块

网络爬虫伪装用户--伪装浏览器

这样网络爬虫伪装成为浏览器访问,效果就会好很多的,爬取也不会被拦住了,当然也是需要注意一些行为的,避免被发现。


相关文章内容简介

1 网络爬虫伪装用户--伪装浏览器

网站限制网络爬虫的方法不少,为了便于操作,网络爬虫也可以伪装用户的,通常的方法是伪装成为浏览器,这是为什么呢?User-Agent参数,简称为UA,该参数的作用是用于表明本次请求载体的身份标识。如果我们通过浏览器发起的请求,则该请求的载体为当前浏览器,则UA参数的值表明的是当前浏览器的身份标识表示的一串数据。如果我们使用爬虫程序发起的... [阅读全文]

最新标签