上传者: 32465127
|
上传时间: 2025-10-19 16:28:56
|
文件大小: 3KB
|
文件类型: PY
python+urllib+selenium爬取CSDN单个博主的所有博文。步骤:
1.通过selenium获取js动态加载的页数
页数是javascript动态加载,不能直接通过urllib获取。改为通过selenium获取页数。
2.通过urllib获取一页内所有文章的链接
根据页数、链接,获取每一页的文章链接,存入数组。
3.遍历文章链接,获取对应的文章的html文件,写好标题存储起来
请自行阅读代码修改食用