使用selenium对Boss直聘进行爬虫，将工作信息（岗位头衔、薪资、地点、经验要求、学历要求、公司名称、所属行业、融资情况、人员规模、岗位详情）使用MongoDB存储到本地数据库中
筛选符合要求的工作，保存对应的岗位要求
对所有岗位要求分词，并生成词云
2021-06-18 18:04:17
314KB
该项目一共分为三个子任务完成，数据采集—数据预处理—数据分析/可视化。
爬取 Boss直聘热门城市岗位数据，并将数据以 CSV 文件格式进行保存。如下图所示：
爬取到的数据出现了大量的脏数据和高耦合的数据。我们需要对这些脏数据进行清洗与预处理后才能正常使用。最后使用 python + sql 脚本的方式对数据进行多维度分析，并使用 Pyecharts 工具进行数据可视化。整个分析可视化通过轻量化 WEB 框架 Flask 来进行部署。
2021-06-18 18:04:16
241KB
据国内IT、通讯等行业招聘数据，发布的岗位中有10%和大数据相关，且比例还在上升。而从薪酬来看，大数据人才月薪一般在12-20k之间，且随着工龄增加而明显增长，薪资待遇处在高位
2021-06-11 09:02:03
4.51MB