美团民宿房源分析
此项目包括网络爬虫和基本的数据可视化展示工作,主要使用了Scrapy和Django,可视化部分则使用了Pyecharts ,matplotlib 等来进行实现。前台为可视化展示模块,后台为管理员数据管理模块。
欢迎大家交流使用,如果觉得对你有帮助,可以点个赞:face_blowing_a_kiss:
这个就是一个Django+ scrapy结合的模板
scrapy使用djangoItem 库,来使用django的models。这样就可以使用scrapy将爬取到的数据通过django orm框架,然后在admin中可以直接显示出来。这样就可以很方便的统一数据库,并且因为使用了orm来操作,scrapy保存的时候更为方便,就是配置的时候麻烦点,故把合并后的模板放在这儿,:beaming_face_with_smiling_eyes:功能就是合并好后方便以后结合这两个继续开发新的东西做准备
大概的结合步骤
项目的目录如下:
Scrapy-django
├───mydjango(
2021-07-07 16:27:56
11.88MB
Python
1