本程序可以连续爬取一个或多个新浪微博用户(如胡歌、迪丽热巴、郭碧婷)的数据,并将结果信息写入文件或数据库。写入信息几乎包括用户微博的所有数据,包括用户信息和微博信息两大类。因为内容太多,这里不再赘述,详细内容见获取到的字段。如果只需要用户信息,可以通过设置实现只爬取微博用户信息的功能。本程序需设置cookie来获取微博访问权限,后面会讲解如何获取cookie。如果不想设置cookie,可以使用免cookie版,二者功能类似。 爬取结果可写入文件和数据库,具体的写入文件类型如下: txt文件(默认) csv文件(默认) json文件(可选) MySQL数据库(可选) MongoDB数据库(可选) SQLite数据库(可选) 同时支持下载微博中的图片和视频,具体的可下载文件如下: 原创微博中的原始图片(可选) 转发微博中的原始图片(可选) 原创微博中的视频(可选) 转发微博中的视频(可选) 原创微博Live Photo中的视频(免cookie版特有) 转发微博Live Photo中的视频(免cookie版特有)
2023-03-04 11:00:59 111KB python 爬虫 新浪微博
1
本程序可以连续爬取一个或多个新浪微博用户(如胡歌、迪丽热巴、郭碧婷)的数据,并将结果信息写入文件或数据库。写入信息几乎包括用户微博的所有数据,包括用户信息和微博信息两大类。
2023-02-28 14:16:16 102KB Web爬虫
1
提供批量截取子网页.py的全部源码,py3运行,适应性修改有说明 - 用于大批量的资源链接拷贝到Excel表,集中后可分类排序规整。 - 生成子网页文件a.html,可本地打开此网页,拷入Excel表格,主列取得资源标题和链接,以及其他列。
1
使用python爬虫,爬取苹果商店指定App下的评论!
2023-02-13 16:23:38 4KB python 爬虫 文档资料 开发语言
1
主要介绍了python 爬取古诗文存入mysql数据库的方法,本文通过实例代码给大家介绍的非常详细,具有一定的参考借鉴价值,需要的朋友可以参考下
2023-02-11 17:20:26 41KB python 爬取古诗文 python mysql
1
本文主要介绍了Python爬虫:通过关键字爬取百度图片的方法。具有很好的参考价值,下面跟着小编一起来看下吧
2023-02-03 08:47:35 405KB Python 爬虫 Python 爬取图片
1
python_toutiao 小白用python爬取今日头条列表以及今日头条详情 详情分析请参见
2023-01-11 15:46:04 3KB Python
1
主要介绍了python 爬取疫情数据,,程序源码简单易懂,非常不错,具有一定的参考借鉴价值,需要的朋友可以参考下
2022-11-27 13:47:27 120KB python 爬取疫情数据 python 疫情数据
1
baidu地图poi爬虫软件,输入城市/地区名称,和想要查询的业态,即可爬取。
2022-11-07 02:13:52 3KB python爬虫 poi爬取软件 POI 地图爬虫
1
python爬取NBA球员并进行数据可视化
2022-11-03 17:13:24 2KB
1