摘 要
随着社会经济的快速发展，城镇化的加速建设，房地产交易越来越火，尤其二手房交易市场居高不下，互联网涌现大批网上二手房交易网站，但是由于提供的房源质量参差不齐，对于个人用户的需求不够精确，无法做到房源精准投放，因此需要实现二手房房源推荐系统来解决用户需求，而房源推荐系统的实现首要就是需要获得足够多的房源信息，所以本毕设通过实现二手房数据爬取系统来爬取房源数据，为房源推荐系统提供数据支持。
本系统使用多线程多端爬虫的优势，设计一个基于Redis的分布式主题爬虫。本系统采用Scrapy爬虫框架来开发，使用Xpath网页提取技术对下载网页进行内容解析，使用Redis做分布式，使用MongoDB对提取的数据进行存储，使用Django开发可视化界面对爬取的结果进行友好展示，设计并实现了针对链家网二手房数据的分布式爬虫系统。
经过开发验证，本系统可以完成对链家二手房房源数据的分布式爬取，可以为房源推荐系统提供数据支持，也可以为数据分析师提供二手房数据分析的数据源。
关键词：二手房：分布式爬虫：Scrapy：可视化
2022-08-30 13:01:41
1.06MB
1
项目上要用 使用python3 + Tkinter 开发，pyinstaller 打包降低使用门槛
仅需要输入目标网址+xpath规则即可进行测试xpath是否有效。
SHA256: bbaf93f27776e6b9c1cb614ea147bc29f91d7cb6d8bd1432f94bf4a246c24162
查毒地址: https://www.virscan.org/report/bbaf93f27776e6b9c1cb614ea147bc29f91d7cb6d8bd1432f94bf4a246c24162
2022-08-24 22:05:13
15.64MB
1
天气抓取与可视化分析
:hugging_face:
django + scrapy
统计目录，然后不知道是不是玄学的问题，直接可以调用django内app，只是未来方便使用models进行一对多表的查询
todo
明天看看这个django-database-view
这个是视图表，研究研究。
城市太多的问题，请求的东西太多了，
对城市做一个塞选。然后再来看看怎么进行处理。
加代理？ 其实不需要全国的所有城市的。是的。这是不太合理的东西。
2022-08-23 09:32:44
4.1MB
1
利用全媒体大数据、多语言文本语义理解、跨平台信息传播追踪等技术提供信息监测与预警、深度分析与研判、舆情疏导与效果评估等一站式闭环智能服务为海内外政府和企业在舆情应对、情报收集、业务决策等方面提供全套解决方案。市面上关于Go的案例很少，将舆情系统于Go爬虫相结合可以便于学习者快速掌握Go语言技术的综合应用，让你真实体验企业的开发环境和实战。
2022-08-22 21:52:41
476KB
1