最近在各个平台上学习python爬虫技术，林林总总接触到了三大类型的爬虫技术——【1】利用urllib3实现，【2】使用Requests库实现，【3】使用Scrapy框架实现。
虽然是按照以上的顺序进行学习的，但是在学习scrapy的过程中问题比较多，所以先从它开始。Python爬虫学习（一）之简单实现、Python爬虫学习（二）之Requests库将先添加至@TO-DO list里。
对于Scrapy的学习采取了阅读文档然后直接上手一个小项目的方式。这个项目的任务是爬取豆瓣电影 Top 250，把250部电影的名字、封面图以及评价数爬下来并储存至文件中。
文章目录一、简介二、安装以及新建项
2022-06-03 16:09:38
762KB
1
先说点题外话，我一开始想使用Sina Weibo API来获取微博内容，但后来发现新浪微博的API限制实在太多，大家感受一下：
只能获取当前授权的用户（就是自己），而且只能返回最新的5条，WTF！
所以果断放弃掉这条路，改为『生爬』，因为PC端的微博是Ajax的动态加载，爬取起来有些困难，我果断知难而退，改为对移动端的微博进行爬取，因为移动端的微博可以通过分页爬取的方式来一次性爬取所有微博内容，这样工作就简化了不少。
最后实现的功能：
1、输入要爬取的微博用户的user_id，获得该用户的所有微博
2、文字内容保存到以%user_id命名文本文件中，所有高清原图保存在weibo_image
2022-06-02 21:34:14
1.22MB
1
python将全国各地感染新型肺炎信息爬取下来，存储在mysql数据库，并用flask框架将数据展示在web上，并绘制出疫情地图
运行环境
python3(需要安装的库在InfectionStat\src文件夹下的requirements.txt文件中)
项目技术(必填)
python,flask+layui+mysql5.6+pymysql
>pip install flask
>pip install pymysql
>pip install requests bs4
>pip3 install html5lib
2022-06-01 19:43:04
2.8MB
1
1. 背景
最近在爬取某个站点时，发现在POST数据时，使用的数据格式是request payload，有别于之前常见的 POST数据格式（Form data）。而使用Form data数据的提交方式时，无法提交成功。
1.1. Http请求中Form Data 和 Request Payload的区别
AJAX Post请求中常用的两种传参数的形式：form data 和 request payload
1.1.1. Form data
get请求的时候，我们的参数直接反映在url里面，形式为key1=value1&key2=value2形式，比如：
http://news.baidu.
2022-06-01 16:47:12
720KB
1
Request Payload 和 Form Data 请求头上的参数差别在于：
Content-Type
Form Data
Post表单请求
代码示例
headers = {
"Content-Type": "application/x-www-form-urlencoded"
}
requests.post(url, data=data, headers=headers)
Request Payload
传递json数据
headers = {
"Content-Type": "application/json"
}
requests.post(url, data=jso
2022-06-01 16:45:14
48KB
1