MOOC_Scrapy
基于Scrapy的小爬虫，主要包括：
各个学科频道下的所有科目的基本信息(包括课程二级界面的评分信息)
指定关键词的搜索页面课程信息
爬取数据的存储和两种可视化库的小试水( & )
主要目的是写一个走Ajax接口的爬虫练手（和交作业:sad_but_relieved_face:，初期的测试都是从零开始查看XHR信息，再fiddler抓包和模拟POST，测试完成再开写。
可视化试了 和 ，都各有各的优缺点，dash的页面写的真的很戳
（当时还没学完web基础！）数据分析意义其实感觉不是很大，尽量多花了几张图熟悉库操作而已。
ps ：cookie文件内容如失效请自行替换
2021-12-28 14:35:25
421KB
1
因为之前写的接口改了，更新了下
一：数据准备阶段
此次数据所有来源均从这两个地方得到
1.腾讯各省份市的疫情接口
2.腾讯疫情历史每日数据接口和国外疫情数据接口
二：工具和环境
IDE：Pycharm
第三方模块
1.json 主要功能：处理接口数据
2.requests 主要功能：获取接口数据
3.pandas 主要功能：将数据保存为csv
4.datetime 主要功能：文件保存时间
5.pyecahrts 主要功能：数据可视化制作地图等 版本1.7.0
6.flask 主要功能：web展示
环境 python3.7
浏览器：Chrome浏览器
三 绘制地图
获取数据方法
返回的是数据需
2021-12-26 17:26:50
625KB
1
LIANJIA-data-analysis
链家广州二手房爬虫-数据分析-可视化
使用requests + pandas进行数据获取
分析各区房价情况（平均值-最大值）
分析房价总价分布情况
分析房间类型受关注情况
分析朝向单价影响程度
分析标签词云
分析二手房频次地理热力图
2021-12-24 16:22:01
1.49MB
1
基于pyecharts的可视化项目同学们，请利用提供的数据在中国地图上展示每个省的高考人数或大学数量！完成后将整个项目（rar或zip格式）提交
2021-12-22 16:50:09
63.95MB
1
采用爬虫获取河南省18个市的降水过程，基于pyechats中的map和timeline进行动态可视化展示降雨过程的分布情况。
2021-12-19 17:07:46
560KB
1
本课程是pyecharts的入门课程。主要介绍了pyecharts函数库的基本使用方法。主要内容包括pyecharts简介，用pyecharts绘制离散点、折线、柱状图、柱状图和折线图组合、饼图、地理图等，而且这些图表是可交互的。
2021-12-19 14:26:49
559B
1
根据网站资源引用说明：pyecharts 使用的所有静态资源文件存放于 pyecharts-assets 项目中，默认挂载在 https://assets.pyecharts.org/assets/
因为默认优先从远程引用资源，这就导致有的时候无法加载js文件，图表显示不出来
解决办法：
下载所需js文件到本地，修改资源引用地址
看网站的介绍，pyecharts 提供了更改全局 HOST 的快捷方式
官方下载
pyecharts-assets 提供了 pyecharts 的静态资源文件。
可通过 localhost-server 或者 notebook-server 启动本地服务。首先将项目
2021-12-19 09:54:12
89KB
1
python3.7 pyecharts离线安装所需所有安装包， pyecharts1.9、pyecharts_javascripthon、javascripthon、pytest_runner、 macropy3、 dukpy、lml、Jinja2、Pillow、MarkupSafe、prettytable、pyecharts_jupyter_installer，simplejson，jupyter-echarts-pypkg-0.1.5
2021-12-18 16:07:18
6.04MB
1
【声明：因时间关系，爬虫部分代码有所借鉴，本人主要想将该三部分结合起来，供读者学习交流，如有冒犯，尽请原谅！】
一、本地环境：
1.python 3.7
2.mysql 8.0.17(Navicat)
3.beautifulsoup 4-4.8.0
4.pyecharts-0.5.11
！！！（若pyecharts导入过程之中遇到较难解决的问题，读者可尝试Anaconda3,其自带pyecharts）
二、爬取数据放置MySQL
import requests
from bs4 import BeautifulSoup
import re
import pymysql
db = pymysq
2021-12-07 20:26:21
318KB
1