爬取ts流电影文件需求程序结构目录编写代码基本思路代码编写优化
需求
**前言**
最近学习Python，语法规则、变量等也看完了，但是觉得啥也没记住，打开
py不知道写啥，只能print（“xxx”）（ps:此处手动尴尬）。听说py网络爬取
挺不错就想着，通过爬取网上的电影来增加兴趣吧，找了一些电影网站，
F12后发现很多网站上电影格式都是ts分流的ts这个东东也是刚知道的。ts
流数据简单理解就是把一个高清电影分割成成千上万个ts格式的小文件。这
些小文件的时长、顺序以及加密方式都放在一个xxx.m3u8文件中，所以只要
下载m3u8文件，然后构造并下载所有ts文件就可以将
2021-08-31 12:08:12
47KB
1
python一、安装requests库 和 bs4二、分析步骤三、实践（爬取文章）1、代码：2、效果：3、说明：四、合并txt文件五、解决爬虫获取网页，出现乱码问题六、实践（爬取小说）1、代码：2、效果：3、说明
一、安装requests库 和 bs4
pip install requests
pip install bs4
二、分析步骤
原创文章 14获赞 16访问量 297
关注
2021-08-29 14:28:54
153KB
1
教程地址https://blog.csdn.net/weixin_47128472/article/details/119977226
2021-08-29 13:08:38
5KB
pkulaw_spider
爬取北大法宝网
1.打开网站，导航栏点击司法案例，看左边法律文档按案由分类，可以看见大概一共2kw左右的文书，实时与裁判文书网同步更新。
2.可以看见文书案例顶部有筛选条件，可以按照日期、法院等筛选。（本爬虫按照日期爬取所有的文书）
3.分析网站内容时发现，点击下一页按钮地址栏的链接并无变化，属于动态网页。
4.使用浏览器自带抓包工具或者fidder,点击下一页按钮，查看http请求。
5.发现记录由/Recod传送，该请求即是需要模拟的请求link，使用requests模拟浏览器直接请求数据库，带上浏览器headers和post data
6.分析得到的url，可以发现start和end参数，我们修改其为我们所需的日期范围。
7.pagesize我们设置为1000，太小页数过多，太大网页加载太慢。pageIndex为页号，其它参数默认。
8.模拟请求数据库，得
2021-08-29 12:18:07
898KB
1
某疾病下SNP与gene关联关系下载，采用python爬取ajax网页，用json形式获取数据，并存入excel中。亲测可行。主要是获得https的隐藏url, 具体百度都有。
2021-08-28 22:41:05
657B
1