代理ip如何协助爬虫爬取安居客二手房源信息!今天黑洞代理就为大家分享一下爬虫如何爬取安居客二手房源信息的。主要抓取目标是北京二手房信息,在爬取之前,我们先对要爬取的信息进行简单的数据分析。首先打开二手房信息的页面,右键检查,查找我们需要的信息所在的位置,然后进行抓取。
代码如下:
import requests,time,random
from bs4 import BeautifulSoup
headers = {'User-Agent' : 'Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/57.0.2987.98 Safari/537.36'}
for i in range(1,30):
url='https://beijing.anjuke.com/sale/p{}/'.format(i)
print(i)
#print(url)
respomse=requests.get(url,headers=headers)
time.sleep(random.randint(0,5)) #防止反爬
#print(respomse.text)
soup=BeautifulSoup(respomse.text,'lxml')
house_list = soup.find_all('li', class_="list-item")
for house in house_list:
title=house.find('div',class_='house-title').a.text.strip()
price=house.find('span',class_='price-det').text.strip()
#带增加
print('title:'+title+ ' price: '+price)
通过上述代码,我们就可以获取到安居客北京二手房源信息了,黑洞代理为您提供安全稳定、高效便捷的爬虫代理IP服务,更多问题请点击官网咨询客服。
相关文章内容简介
1 代理ip如何协助爬虫爬取安居客二手房源信息
代理ip如何协助爬虫爬取安居客二手房源信息!今天黑洞代理就为大家分享一下爬虫如何爬取安居客二手房源信息的。主要抓取目标是北京二手房信息,在爬取之前,我们先对要爬取的信息进行简单的数据分析。首先打开二手房信息的页面,右键检查,查找我们需要的信息所在的位置,然后进行抓取。 代码如下: import∵requests,time,random from∵bs4∵imp... [阅读全文]
最新标签
推荐阅读
13
2019-07
注册账号需代理IP吗及可以注册吗?
很多用户在注册账号时都遇到IP受限问题,这是目标网站为了防止用户恶意注册达到某种目的的限制。这种限制除了影响了恶意注册用户,也影响了一些有多账号操作需求的常规用户,对此该怎
18
2019-01
本地连接没有有效的ip配置怎么办?
常常使用电脑上网的朋友,有木有碰到过这样的奇怪的事,用无线网络WiFi可以上网,可是网线直接插上电脑就上不了网,出现了“本地连接没有有效的ip配置”的提示信息,那要怎么解决呢?下
13
2019-05
高匿ip代理工具的特殊功能
这种代理工具,能够对访问的远端服务器隐藏原本的原始IP,ip代理的高匿名性是通过非常规的技术手段这种方式,直接将代理ip地址运管用于用户端,从而达到高匿名性,从而确保用户访问网站
10
2019-04
如何判断代理IP是否是匿名代理?
如何判断代理IP是否是匿名代理?
热门文章
公众号
关注公众号,免费领试用