Weibo Spider
本程序可以连续爬取一个或多个新浪微博用户(如、、)的数据,并将结果信息写入文件或数据库。写入信息几乎包括用户微博的所有数据,包括用户信息和微博信息两大类。因为内容太多,这里不再赘述,详细内容见。如果只需要用户信息,可以通过设置实现只爬取微博用户信息的功能。本程序需设置cookie来获取微博访问权限,后面会讲解。如果不想设置cookie,可以使用,二者功能类似。
爬取结果可写入文件和数据库,具体的写入文件类型如下:
txt文件(默认)
csv文件(默认)
json文件(可选)
MySQL数据库(可选)
MongoDB数据库(可选)
SQLite数据库(可选)
同时支持下载微博中的图片和视频,具体的可下载文件如下:
原创微博中的原始图片(可选)
转发微博中的原始图片(可选)
原创微博中的视频(可选)
转发微博中的视频(可选)
原创微博Live Photo中的视频(特有
1