上传者: 52001949
|
上传时间: 2025-04-24 22:20:52
|
文件大小: 17KB
|
文件类型: PY
该Python脚本是一个用于爬取BOSS直聘网站上岗位信息的工具。它具备以下主要功能:
1. **配置和初始化**:导入必要的库,设置浏览器选项,禁用图片加载,禁用GPU,设置窗口大小等,以优化爬虫性能。
2. **发送企业微信消息**:当遇到需要验证的情况时,脚本会自动发送消息到企业微信。
3. **等待元素出现**:定义了一个函数,用于等待页面上的特定元素出现。
4. **获取城市各区区号**:通过请求BOSS直聘API,获取不同城市各区的区号信息,并保存到CSV文件。
5. **查看每个区的岗位页数**:爬取每个区域的岗位列表页面,获取总页数,并保存到CSV文件。
6. **爬取岗位信息**:访问每个岗位的列表页面,爬取岗位名称、工资、位置、公司信息等,并保存到CSV文件。
7. **获取岗位职责**:对已爬取的岗位链接进行访问,爬取岗位职责描述,并更新到CSV文件。
8. **获取和使用Cookies**:自动获取BOSS直聘网站的Cookies,并保存到文件,用于之后的自动登录和数据爬取。
9. **自动投递简历**:读取包含岗位链接的CSV文件,自动访问链接