实验：CentOS7配置Python爬虫环境.docx，该实验给出了配置Python爬虫环境的详细过程，每一步骤都有文字说明和截图
一、实验目的：熟悉爬虫和Python常用爬虫库，在CentOS7上掌握用于存储爬取的数据的MySQL、MongoDB数据库的配置方法。
二、实验内容：爬虫的原理、Python常用爬虫库、配置MySQL数据库、配置MongoDB数据库
三、实验环境：Google浏览器、CentOS7.5、MySQL8.0.28、MongoDB5.0.6
四、实验步骤
五、实验结果
2022-02-09 19:05:18
2.23MB
清洗后的数据：招聘就业88759行，包含招聘职位、招聘公司、公司性质 、公司规模 、招聘省会 、招聘地区 、最低工资 、最高工资 、工资单位 、学历要求 、工作经验 、福利补贴 、招聘人数 、招聘信息发布时间等十一个字段
原始数据集：为文本文件在Word之中一共5738页，687万字，清洗后的数据为Excel格式
爬虫项目源码：
1.开发语言及环境：基于python3.8环境下运用pycharm编辑器
2.运用技术：Requests-BeautigulSoup模式
3.整体思路：分析爬取对象，获取招聘职位，招聘公司，公司性质，公司规模，招聘地区，薪水，学历，工作经验，福利补贴，招聘人数，招聘信息发布等要素。
分析结果PPT：分析过程采用Tableau软件，就业数据总结如下
1、本科生的需求量最大，规模越大的公司对于学历要求也越高，而小规模企业需求量最大的反而是大专生。
2、目前的各种岗位招聘员工时，更倾向于选择有工作经验且年龄较为年轻的员工，这样可以保证公司的工作效率。
3、沿海城市的薪资待遇和提供就业岗位的数量都位居前列。国内平均薪资前三依次是北京、上海、广州，这三所城
2022-01-21 14:04:38
14.43MB
爬取微博话题和文章爬取微博话题和文章爬取微博话题和文章爬取微博话题和文章爬取微博话题和文章爬取微博话题和文章爬取微博话题和文章爬取微博话题和文章爬取微博话题和文章爬取微博话题和文章爬取微博话题和文章爬取微博话题和文章
2022-01-18 21:59:14
3KB
1
使用python编写的，可以免费获取ip地址，用于爬虫使用，希望大家能用到，谢谢大家的支持和关注。也希望有更好的方法的提供参考。
2022-01-16 10:56:29
1KB
1