该课题要求爬取目标网站:https://www.51job.com中,输入关键字后工作岗位的基本信息如岗位名字、岗位薪资、base地、福利、岗位要求、岗位需求公司、发布日期、公司所属行业、公司性质、招聘岗位简介、公司简介等,爬取过程中需要注意网页反爬机制。
(1)编写代码,模仿浏览器人为操作,通过关键字爬取人才网的职位信息;
(2)将爬取到的网页信息进行信息预处理、清洗等。
(3)将处理完的数据存储在Mysql数据库中,数据库名为job,或者数据存储在名为job的Excel表格或名为job的记事本文件中。
(4)用数据可视化处理数据,生成岗位在地图上面的热力图、热门地区岗位薪资待遇柱状图、热门地区岗位招聘个数折线图以及以招聘地区出现次数的云图,从而反馈出岗位的热门地区以及薪资待遇。
(5)设计对抓取数据的备份还原机制,确保数据安全。
1