博客地址：https://mp.csdn.net/mp_blog/creation/editor/127772666

本人java小白一个，写的代码可能不会很规范，欢迎交流(*^▽^*)

内涵多个爬虫案例，通过python实现。

毕业设计-宜居城市信息可视化平台 1.数据来源 1.1招聘信息   招聘信息的数据来源为智联招聘，首先构造出城市+工作职位的url，以便我们更好的搜索数据和解析页面数据。例如 （jl后边的是城市，kw为职位名）， 根据此url解析第一页获取工作数量，智联招聘一页最多显示60条工作职位的信息，一共显示90页，所以我们根据获取的工作数量来确定需要抓取数据的页数，条数大于90页的则获取90页，小于90页的则使用实际页数。然后根据页数构建出最终的url： 。最后抓取每一页上对应具体工作的url所对应的工作信息及其公司信息。统计出最大工资与最小工资的平均工资，中位数工资，以及工资和工作经验的关系等 1.2房租信息   房租信息数据主要来源于赶集网，同样首先构建出对应城市url，例如：http://{}.ganji.com/fang1/o{}/ （第一个{}表示城市的汉子拼音首字母，第二个{}为页数）

baidu地图poi爬虫软件，输入城市/地区名称，和想要查询的业态，即可爬取。

Python爬虫+Flask+Echarts构建全疫情实时可视化大屏。 主要涉及的知识点为前端三剑客（html,css,js），python爬虫，Flask,echarts等。 适合学习了python爬虫，以及flask知识，以及前端（这个不需要懂太多），有半年以上编程学习基础。

python实现项目代码，里面包括了python爬虫，运用框架scrapy，redis，以及数据剔除，数据分析，决策树回归分析的代码。采用的是pycharm软件，数据库对应的是SqlServer，也可以写到MongoDB。

GO语言高级编程，go语言越来越流行，开发爬虫，区块链等应用。

Bigdata-movie 本项目以电影数据为主题，以数据采集、处理、分析及数据可视化为项目流程，可实现百万级电影数据离线处理与计算。 项目详解：. 开发环境：IDEA+Pycharm+Python3+hadoop2.8+hive2.3.0+mysql5.7+sqoop+spark 1.数据采集(pachong.py)、预处理： 采集豆瓣电影top250电影信息，采集电影名称、电影简介、电影评分、其他信息、电影连接等字段，抓取电影票房总收入排名情况（取前20），删除冗余和空值字，利用Python的PyMysql库连接本地Mysql数据库并导入movies表，可以将数据保存到本地，从而进行数据可视化展示，也可将数据导入到大数据的Hive数仓工具中，用于大数据分析。 采集数据展示： 排序 影片名称 类型 总票房（万） 场均人次 上映日期 1 战狼2 动作 567928 38 2017/7/27

中国大学mooc-Python爬虫与信息获取第一周测试题及答案中国大学mooc-Python爬虫与信息获取第一周测试题及答案