python数据分析与可视化
项目主要使用boos直聘网数据作为数据源，其中数据文件的主要栏位有职位、城市、公司、薪资、学历、工作经验、行业标签。其中本项目所使用的可计算的栏位为最低薪资、最高薪资、平均薪资、奖金率。 本项目所使用的可分类的栏位为职位、城市、学历、工作经验、行业标签。通过对数据进行清洗重塑和分析，再使用plotly等工具进行绘图，实现图表的交互式数据可视化，最后使用flask框架（利用了bootstrap）进行网页上的可视化展示。最后展示了关于数据分析岗位的人才需求分布情况、薪资情况以及发展前景。
2024-06-17 12:47:10
6.15MB
1
环境准备
Python 3.7
Mysql
requests
PyMySQL
BeautifulSoup
获取数据
分析数据请求过程
首先我们打开boss直聘网查看正常的请求过程
打开万能的 F12，刷新，查看下当前网络发生了什么
通过上图能够看到请求参数中包含了职位，页数等信息。
构造模拟请求
import requests
url = "https://www.zhipin.com/c101120100/?query=" + kw+"&page="+str(page)+"&ka=page-"+str(page)
headers = {
'Host': 'www.zhipin.co
2023-03-06 11:23:25
682KB
1
压缩包内含——jupyter代码、保存的HTML图片、答辩PPT 、Word文档
作品介绍
（源文件），基本期末作业所需的知识点全覆盖。
2023-03-06 11:16:31
5.85MB
1
利用selenium进行爬取，数据为CSV文件
编写时间：2020年03月16日（若爬取失败，应该是网站更新造成的。）
from selenium import webdriver
from selenium.webdriver.chrome.options import Options
import time
from selenium.webdriver.common.by import By
from selenium.webdriver.support.ui import WebDriverWait # available since 2.4.0
2023-02-03 10:55:26
232KB
1