毕业设计-宜居城市信息可视化平台
1.数据来源
1.1招聘信息
招聘信息的数据来源为智联招聘,首先构造出城市+工作职位的url,以便我们更好的搜索数据和解析页面数据。例如 (jl后边的是城市,kw为职位名), 根据此url解析第一页获取工作数量,智联招聘一页最多显示60条工作职位的信息,一共显示90页,所以我们根据获取的工作数量来确定需要抓取数据的页数,条数大于90页的则获取90页,小于90页的则使用实际页数。然后根据页数构建出最终的url: 。最后抓取每一页上对应具体工作的url所对应的工作信息及其公司信息。统计出最大工资与最小工资的平均工资,中位数工资,以及工资和工作经验的关系等
1.2房租信息
房租信息数据主要来源于赶集网,同样首先构建出对应城市url,例如:http://{}.ganji.com/fang1/o{}/ (第一个{}表示城市的汉子拼音首字母,第二个{}为页数)
1