house_spider
Lianjia house spider链家二手房爬虫~ Springboot + Webmagic + Mysql + Redis
简介
- 基于Java8 +、开源爬虫框架WebMagic、Springboot的一个链家爬虫，上手即用，可以指定需要爬取的城市名称、或者爬取全国。
- 数据存Mysql，默认根据搜索城市+日期自动建表，如搜索“南京”，则会通过JDBC新建表：“南京_20191127”
- 没有用WebMagic的Pipeline来存DB，而是直接用JDBC存的，默认爬虫线程数为1，每翻页1页批量插入Mysql。
- 由于链家限制爬取页数为100页，所以一个城市下，先查出所有行政区，再遍历行政区下的所有街道，以每个街道为单位，进行最大100页的爬取，这样基本上能爬下城市的所有房源数据。（部分别墅、车位直接忽略没存DB）
使用
基础依赖：安装mysq
2022-05-28 23:58:23
80KB
1
spring-cloud-microservices-development：Spring Cloud微服务开发。《 Spring Cloud微服务架构开发实战》
2022-05-28 14:45:45
2.5MB
1
基于MySQL、Redis和MongoDB数据库开发命令行新闻管理系统，通俗易懂，适合python初学者学习了解
2022-05-27 21:24:59
4.6MB
1
GUL
本资源是从 https://github.com/uglide/RedisDesktopManager.git 下载官方已经编译好的源码，可以直接安装，安全可靠，值得信赖；
也可在官网下载源码编译安装；
2022-05-27 19:05:35
27.18MB
1
使用VsCode工具调试Redis-6.2的代码。代码已经编译完成，可以用VSCode打开后直接调试。需要VSCode安装C\C++的插件。
2022-05-27 19:05:34
37.16MB
1
基于WSL2的Linux发行版CentOS8基础镜像(vim ssh tar net-tools wget)
预安装了数据库：mysql5.7.38 redis-7.0.0 mongodb5.0.8
安装路径：
mysql：安装路径/usr/local/mysql，配置文件路径/etc/my.cnf
redis：安装路径/usr/local/redis，配置文件redis.cnf路径/usr/local/redis/bin/
mongodb：安装路径/usr/local/mongodb
启动命令：
mysqld --user=root
/usr/local/redis/bin/redis-server /usr/local/redis/bin/redis.conf
mongod --dbpath /var/lib/mongo --logpath /var/log/mongodb/mongod.log --fork
2022-05-27 19:00:45
726.64MB
1
windows可视化Redis管理工具
官方链接：https://redis.com/redis-enterprise/redis-insight/#insight-form
2022-05-27 14:06:16
73.31MB
1