摘 要
随着社会经济的快速发展，城镇化的加速建设，房地产交易越来越火，尤其二手房交易市场居高不下，互联网涌现大批网上二手房交易网站，但是由于提供的房源质量参差不齐，对于个人用户的需求不够精确，无法做到房源精准投放，因此需要实现二手房房源推荐系统来解决用户需求，而房源推荐系统的实现首要就是需要获得足够多的房源信息，所以本毕设通过实现二手房数据爬取系统来爬取房源数据，为房源推荐系统提供数据支持。
本系统使用多线程多端爬虫的优势，设计一个基于Redis的分布式主题爬虫。本系统采用Scrapy爬虫框架来开发，使用Xpath网页提取技术对下载网页进行内容解析，使用Redis做分布式，使用MongoDB对提取的数据进行存储，使用Django开发可视化界面对爬取的结果进行友好展示，设计并实现了针对链家网二手房数据的分布式爬虫系统。
经过开发验证，本系统可以完成对链家二手房房源数据的分布式爬取，可以为房源推荐系统提供数据支持，也可以为数据分析师提供二手房数据分析的数据源。
关键词：二手房：分布式爬虫：Scrapy：可视化
2022-05-17 22:35:47
1.77MB
1 绪论 1
2相关技术简介
3 系统需求分析
3.1 需求分析
3.1.1 设计的原则 11
3.1.2 系统设计目标 11
3.2 系统可行性分析 11
3.2.1 经济可行性分析 12
3.2.2技术可行性分析
3.3 用户需求
3.4 系统功能需求概述 13
3.5 运行环境
4 系统概要设计 15
4.1 概要设计的概论 15
4.2 架构设计 15
4.3 系统功能结构图及分析
4.3.1 系统功能结构图
4.3.2 系统基本功能
4.4 系统用例图
4.4.1 UML用例图简介
4.4.2 系统用例图 18
4.5 技术架构 19
4.6 数据库结构设计 19
4.6.1 数据库设计的原则
4.6.2 数据库结构分析 19
4.6.3 数据库概念模型 20
4.6.4 部分数据库数据表字段设计 21
5 系统详细设计
5.1 系统数据库连接配置
5.2 系统流程图的分析设计
5.3 系统登陆模块实现 26
5.4 前台功能模块设计 27
5.4.1 公交查询设计 27
5.4.2 热门线路功能模块设计 29
........
2022-05-17 22:04:51
1.51MB