小程序开发定制基于大数据的房价数据可视化分析预测系统

温馨提示：文末有 CSDN 小程序开发定制平台官方提供的博主 Wechat / QQ 名片 :)

1. 项目背景

        小程序开发定制房地产是促进我国经济小程序开发定制持续增长的基础性、小程序开发定制主导性产业，小程序开发定制二手房市场是我国房地小程序开发定制产市场不可或缺的组成部分。小程序开发定制由于二手房的特殊性，小程序开发定制目前市场上实时监测二小程序开发定制手房市场房价涨幅的情况较少，影响二手房价的因素错综复杂，价格并非呈传统的线性变化。

        本项目利用Python实现某一城市二手房相关信息的爬取，并对爬取的原始数据进行数据清洗，存储到数据库中，通过 搭建后台，分析影响二手房房价的各类因素，并构建递归决策树模型，实现房价预测建模。

2. 二手房数据

        二手房信息爬取流程为，先获取该市所有在售楼盘，以保定市为例，其中，p1 表示分页的页码，因此可以构造循环，抓取所有分页下的楼盘数据。

  1. base_url = 'https://baoding.xxxx.com/community/p{}/'
  2.  
  3. all_xqlb_links = set()
  4. for page in range(1, 51):
  5.     url = base_url.format(page)
  6.     # 获取 html 页码，并进行dom解析
  7.     # ...

 通过分析 html 页面的 Dom 结构，利用 Bootstrap 进行解析，获取楼盘的详细字段信息。​

同理，获取楼盘下所有在售房源信息： ​

  1. def get_house_info(house_link):
  2.     """获取房屋的信息"""
  3.     headers = {
  4.         'accept': '*/*',
  5.         'accept-encoding': 'gzip, deflate, br',
  6.         'accept-language': 'zh-CN,zh;q=0.9,en;q=0.8',
  7.         'cookie': 'Your cookie',
  8.         'referer': house_link,
  9.         'sec-fetch-dest': 'empty',
  10.         'sec-fetch-mode': 'cors',
  11.         'sec-fetch-site': 'same-origin',
  12.         'user-agent': 'Mozilla/5.0 (Macintosh; Intel Mac OS X 10_14_3) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/80.0.3987.116 Safari/537.36'
  13.     }
  14.  
  15.     response = requests.get(house_link, headers=headers)
  16.     response.encoding = 'utf8'
  17.     soup = BeautifulSoup(response.text, 'lxml')
  18.     
  19.     house_info = {
  20.         '链接': house_link,
  21.          '产权性质': '未知',
  22.          '房屋类型': '未知',
  23.          '产权年限': '未知',
  24.          '房本年限': '未知',
  25.         '唯一住房': '未知',
  26.          '参考首付': '未知',
  27.          '发布时间': '未知',
  28.          '总价': '',
  29.          '单价': '',
  30.          '房屋户型': '未知',
  31.          '所在楼层': '未知',
  32.          '建筑面积': '',
  33.          '装修程度': '未知',
  34.          '房屋朝向': '未知',
  35.          '建造年代': '未知',
  36.         '配套电梯': '无',
  37.         '所属小区': '未知',
  38.         '所在位置': '未知'
  39.     }
  40.     
  41.     tbody = soup.select('tbody.houseInfo-main')[0]
  42.     tds = tbody.select('td')
  43.     for td in tds:
  44.         datas = td.text.split(' ')
  45.         if '产权性质' in datas[0]:
  46.             house_info['产权性质'] = datas[0].replace('产权性质', '')
  47.         if '产权年限' in datas[0]:
  48.             house_info['产权年限'] = datas[0].replace('产权年限', '')
  49.         if '发布时间' in datas[0]:
  50.             house_info['发布时间'] = datas[0].replace('发布时间', '')
  51.         if '唯一住房' in datas[0]:
  52.             house_info['唯一住房'] = datas[0].replace('唯一住房', '')
  53.         if '房屋类型' in datas[0]:
  54.             house_info['房屋类型'] = datas[0].replace('房屋类型', '')
  55.         if '房本年限' in datas[0]:
  56.             house_info['房本年限'] = datas[0].replace('房本年限', '')
  57.         if '参考预算' in datas[0]:
  58.             yusuan = datas[0].replace('参考预算', '')
  59.             house_info['参考首付'] = yusuan[2:].split('，')[0]
  60.     
  61.     total_price = soup.select('span.maininfo-price-num')[0]
  62.     total_price = total_price.text.strip()
  63.     house_info['总价'] = total_price
  64.     
  65.     avgprice = soup.select('div.maininfo-avgprice-price')[0]
  66.     avgprice = avgprice.text.strip()
  67.     house_info['单价'] = avgprice
  68.     
  69.     huxing = soup.select('div.maininfo-model-item.maininfo-model-item-1')[0]
  70.     huxing = huxing.text.strip()
  71.     
  72.     house_info['房屋户型'] = huxing.split(' ')[0]
  73.     house_info['所在楼层'] = huxing.split(' ')[1]
  74.     
  75.     daxiao = soup.select('div.maininfo-model-item.maininfo-model-item-2')[0]
  76.     daxiao = daxiao.text.strip()
  77.     house_info['建筑面积'] = daxiao.split('  ')[0]
  78.     house_info['装修程度'] = daxiao.split('  ')[1]
  79.     
  80.     chaoxiang = soup.select('div.maininfo-model-item.maininfo-model-item-3')[0]
  81.     chaoxiang = chaoxiang.text.strip()
  82.     house_info['房屋朝向'] = chaoxiang.split(' ')[0]
  83.     house_info['建造年代'] = chaoxiang.split(' ')[1].split('/')[0][:-2]
  84.     
  85.     bar = soup.select('div.crumbs.crumbs-middle')[0]
  86.     xiaoqu = bar.select('a.anchor.anchor-weak')[-1]
  87.     house_info['所属小区'] = xiaoqu.text.strip()
  88.     
  89.     tags = soup.select('div.maininfo-tags')[0].text
  90.     if '电梯' in tags:
  91.         house_info['配套电梯'] = '有'
  92.     
  93.     # 所属区域
  94.     for line in soup.select('div.maininfo-community-item'):
  95.         text = line.text.strip()
  96.         if '所属区域' in text:
  97.             house_info['所在位置'] = text.split(' ')[1].split('\xa0')[0]
  98.             
  99.     return house_info

3. 二手房数据清洗与存储

抓取的原始数据可能存在数据异常、缺失等情况，需要进行数据清洗和数据类型转换等预处理操作。清洗后的数据存储到 mysql 或 sqlite 等关系型数据库中。

  1. for house_info in all_house_infos:
  2.     for key in all_keys:
  3.         if key not in house_info:
  4.             house_info[key] = '暂无'
  5.     
  6.     if isinstance(house_info['单价'], float):
  7.         continue
  8.         
  9.     house_info['单价'] = float(house_info['单价'][:-3].strip())
  10.     house_info['总价'] = float(house_info['总价'].strip())
  11.     
  12.     house_info['建筑面积'] = float(house_info['建筑面积'][:-1].strip())
  13.     house_info['参考首付'] = float(house_info['参考首付'][:-1].strip())
  14.     
  15.     tmp = list(map(int, re.findall(r'(\d+)', house_info['房屋户型'])))
  16.     house_info['房屋户型_室数'] = tmp[0]
  17.     house_info['房屋户型_厅数'] = tmp[1]
  18.     house_info['房屋户型_卫数'] = tmp[2]
  19.     del house_info['房屋户型']
  20.     
  21.     if '(' not in house_info['所在楼层']:
  22.         house_info['所在楼层'] = '底层({})'.format(house_info['所在楼层'])
  23.     
  24.     house_info['总楼层'] = list(map(int, re.findall(r'(\d+)', house_info['所在楼层'])))[0]
  25.     house_info['所在楼层'] = house_info['所在楼层'][:2]
  26.

4. 二手房价分析预测系统

系统采用 flask 搭建 web 后台，利用 pandas 等工具包实现对当前城市二手房现状、二手房价格影响因素等进行统计分析，并利用 bootstrap + echarts 进行前端渲染可视化。系统通过构建机器学习模型（、随机森林、神经网络等模型），对二手房价格进行预测。

4.1 系统首页/注册登录

​

4.2 小区楼盘名称关键词抽取与词云展示

​

4.3 二手房房屋类型与产权年限分布

​

4.4 不同区域在售二手房房源数量与均价对比

​

​

4.5 房价影响因素分析 

 房价影响因素包括：建造年代、建筑面积、房屋户型、朝向、房屋类型、楼层、装修程度、配套电梯、房本年限、产权性质、唯一住房、所在区域、周边设施等等诸多因素。我们对每类因素的影响情况分别进行可视化展示：

​

​

​

4.6 基于机器学习模型的二手房价格预测

通过一些列的特征工程、数据标准化、训练集验证集构造、决策树模型构建等操作，完成决策树模型的交叉验证训练和模型评估：

  1. print('---> cv train to choose best_num_boost_round')
  2. dtrain = xgb.DMatrix(train_X, label=train_Y, feature_names=df_columns)
  3.  
  4. xgb_params = {
  5.     'learning_rate': 0.005,
  6.     'n_estimators': 4000,
  7.     'max_depth': 3,
  8.     'min_child_weight': 1.5,
  9.     'eval_metric': 'rmse',
  10.     'objective': 'reg:linear',
  11.     'nthread': -1,
  12.     'silent': 1,
  13.     'booster': 'gbtree'
  14. }
  15.  
  16. cv_result = xgb.cv(dict(xgb_params),
  17.                    dtrain,
  18.                    num_boost_round=4000,
  19.                    early_stopping_rounds=100,
  20.                    verbose_eval=400,
  21.                    show_stdv=False,
  22.                    )
  23. best_num_boost_rounds = len(cv_result)
  24. mean_train_logloss = cv_result.loc[best_num_boost_rounds-11 : best_num_boost_rounds-1, 'train-rmse-mean'].mean()
  25. mean_test_logloss = cv_result.loc[best_num_boost_rounds-11 : best_num_boost_rounds-1, 'test-rmse-mean'].mean()
  26. print('best_num_boost_rounds = {}'.format(best_num_boost_rounds))
  27.  
  28. print('mean_train_rmse = {:.7f} , mean_valid_rmse = {:.7f}'.format(mean_train_logloss, mean_test_logloss))

模型训练结果：

  1. ---> cv train to choose best_num_boost_round
  2. [0]	train-rmse:4.10205	test-rmse:4.10205
  3. [400]	train-rmse:0.59919	test-rmse:0.605451
  4. [800]	train-rmse:0.20857	test-rmse:0.230669
  5. [1200]	train-rmse:0.185981	test-rmse:0.21354
  6. [1600]	train-rmse:0.181188	test-rmse:0.211841
  7. [2000]	train-rmse:0.177933	test-rmse:0.211291
  8. [2400]	train-rmse:0.174346	test-rmse:0.210886
  9. best_num_boost_rounds = 2512
  10. mean_train_rmse = 0.1733781 , mean_valid_rmse = 0.2108875

测试集预测结果与真实值分布情况：

  1. print('决策树模型在验证集上的均方误差 RMSE 为：', rmse(valid_Y, predict_valid))
  2.  
  3. >> 决策树模型在验证集上的均方误差 RMSE 为： 0.19991482173207226

​

 二手房价格预测模型交互式页面：

​

5. 总结

        本项目利用Python实现某城市二手房相关信息的爬取，并对爬取的原始数据进行数据清洗，存储到数据库中，通过 flask 搭建后台，分析影响二手房房价的各类因素，并构建递归决策树模型，实现房价预测建模。

欢迎大家点赞、收藏、关注、评论啦 ，由于篇幅有限，只展示了部分核心代码。

技术交流认准下方 CSDN 官方提供的学长 Wechat / QQ 名片 :)

精彩专栏推荐订阅：



网站建设定制开发 软件系统开发定制 定制软件开发 软件开发定制 定制app开发 app开发定制 app开发定制公司 电商商城定制开发 定制小程序开发 定制开发小程序 客户管理系统开发定制 定制网站 定制开发 crm开发定制 开发公司 小程序开发定制 定制软件 收款定制开发 企业网站定制开发 定制化开发 android系统定制开发 定制小程序开发费用 定制设计 专注app软件定制开发 软件开发定制定制 知名网站建设定制 软件定制开发供应商 应用系统定制开发 软件系统定制开发 企业管理系统定制开发 系统定制开发