这是新浪微博爬虫,采用python+selenium实现。 免费资源,希望对你有所帮助,虽然是傻瓜式爬虫,但是至少能运行。同时rar中包括源码及爬取的示例。 参考我的文章: http://blog.csdn.net/eastmount/article/details/50720436 [python爬虫] Selenium爬取新浪微博内容及用户信息 http://blog.csdn.net/eastmount/article/details/51231852 [Python爬虫] Selenium爬取新浪微博客户端用户信息、热点话题及评论 (上) 主要爬取内容包括: 新浪微博手机端用户信息
2022-07-28 23:48:27 110KB 源码
1
先说点题外话,我一开始想使用Sina Weibo API来获取微博内容,但后来发现新浪微博的API限制实在太多,大家感受一下: 只能获取当前授权的用户(就是自己),而且只能返回最新的5条,WTF! 所以果断放弃掉这条路,改为『生爬』,因为PC端的微博是Ajax的动态加载,爬取起来有些困难,我果断知难而退,改为对移动端的微博进行爬取,因为移动端的微博可以通过分页爬取的方式来一次性爬取所有微博内容,这样工作就简化了不少。 最后实现的功能: 1、输入要爬取的微博用户的user_id,获得该用户的所有微博 2、文字内容保存到以%user_id命名文本文件中,所有高清原图保存在weibo_image
2022-06-02 21:34:14 1.22MB cookie lxml python
1
一个网上找到的JAVA开发的关于微博的爬虫程序,希望能够分享给大家,详细内容请看压缩文件
2022-05-13 09:19:29 1.42MB 微博 网络 JAVA
1
微博爬虫 新浪微博爬虫 该工具首先模拟用户登录新浪微博,目的是获取cookie ; 然后用keyword抓取微博结果。 要求 查看 pip 需求文件requirements.txt rsa 快速开始 运行工具:python run.py 去做 拿来 线程池 邮件
2022-03-22 19:30:45 186KB Python
1
这是新浪微博爬虫,采用python+selenium实现。 免费资源,希望对你有所帮助,虽然是傻瓜式爬虫,但是至少能运行。同时rar中包括源码及爬取的示例。 参考我的文章: http://blog.csdn.net/eastmount/article/details/50720436 [python爬虫] Selenium爬取新浪微博内容及用户信息 http://blog.csdn.net/eastmount/article/details/51231852 [Python爬虫] Selenium爬取新浪微博客户端用户信息、热点话题及评论 (上) 主要爬取内容包括: 新浪微博手机端用户信息
2022-02-24 21:03:11 110KB python 新浪爬虫 新浪微博 selenium
1
爬取微博话题和文章爬取微博话题和文章爬取微博话题和文章爬取微博话题和文章爬取微博话题和文章爬取微博话题和文章爬取微博话题和文章爬取微博话题和文章爬取微博话题和文章爬取微博话题和文章爬取微博话题和文章爬取微博话题和文章
2022-01-18 21:59:14 3KB 微博 爬虫 python
1
作者简介 作者 QQ交流群 个人博客 项目详情请参考微信原文链接: 如有疑问可通过公众号找到作者,微信扫描下方二维码或者在微信内搜索 微信公众号:月小水长(ID:inspurer); WeiboSuperScrapy 最强微博爬虫,用户、话题、评论一网打尽。 GUI 功能集中版 运行 GUI.py 即可爬取用户/话题微博 运行 WeiboCommentScrapy.py 并修改里面的微博id (wid) 即可爬取指定微博的所有评论。 无 GUI 功能独立版 单独的 py 文件分别对立一个 功能 WeiboCommentScrapy.py 爬取评论 WeiboTopicScrapy.py 爬取指定关键词的所有微博,突破了 50 页的限制,可指定截至日期时间段搜索(比如 20200101-20200102) WeiboSuperCommentScrapy.py 可爬取一条微博的所有评论,更
1
这是一个能够全自动无限制连续爬取新浪微博的图形界面工具。利用代理IP的方式实现全自动获取s.weibo.com站点的搜索结果的html文件。输入你想获取微博数据的关键字,例如“马航”,“章泽天”后,程序自动获取html文件保存到本地,然后解析得到微博数据,保存为txt和xml文件格式。微博数据包括: 微博文本,微博作者名,微博作者id,微博id,评论数,转发数,微博发送日期时间。 解压后有软件工程文件夹,包含源码。一个可执行jar包,需要jdk环境,win和mac下双击可运行。一个readme文件以及所有需要用到的第三方jar包。 如果你想了解更多关于此工具的原理和内容,请参考我的博客: http://blog.csdn.net/codingmirai/article/category/1836377 如果你积分不够下载,可以给我发邮件索要:hainanlxs(at)gmail(dot)com 也欢迎email交流代码的问题。
1
WeiboSpider 微博爬虫,直接输入姓名和密码就可以了,需要安装selenium和ChromeDriver Huazhong University of Science and Technology Computer Science and Technology Wang Tong
2021-12-05 15:02:23 8KB Python
1
功能:连续爬取一个或多个新浪微博用户(如胡歌、迪丽热巴、郭碧婷)的数据,并将结果信息写入文件或数据库。写入信息几乎包括了用户微博的所有数据,主要有用户信息和微博信息两大类,前者包含用户昵称、关注数、粉丝数、微博数等等;后者包含微博正文、发布时间、发布工具、评论数等等,因为内容太多,这里不再赘述。
2021-12-01 20:41:34 27KB 微博 爬虫
1