微博爬虫，一个基于Scrapy框架的轻量微博爬虫，Sina Weibo Spider.zip

包含code代码、data数据、报告文档、报告PPT和报告视频 2022年12月27日，为期3天的全国硕士研究生招生考试正式落下帷幕，今年的赶考之路因为病毒的肆意蔓延显得格外坎坷。而在网络上，针对今年的考研热议也迎来一轮一轮的高潮，或为自己加油打气，期待能够考出一个满意的成绩，或交流考试心得吸取复习经验，或担心自己的身体状况和考场的安全问题...... 围绕着考研相关话题的网络舆论在以微博为首的社交媒体上不断发酵。微博诞生于2009年，是移动互联网和Web2.0时代的代表产品。通过微博，用户可以利用140字的短文本形式发布信息，也可以浏览到正在发生的事件，满足了用户的社交需求和咨询需求，迅速占领国内市场。 通常情况下，舆论主体的情感倾向可以影响舆情事件的发展趋势，同时有效反映其对事件积极或消极的态度。本文通过微博话题“考研”作为研究对象并收集相关数据，研究舆情参与主体的情感强度。

我们的微博舆情分析系统收到了大量用户反馈，通过不断优化和升级，系统的稳定性和准确性得到了进一步提高。在分析中，我们发现用户对某些热点事件的情绪波动较大，需要更加敏锐地捕捉用户情感变化，以便更好地为用户提供服务。 微博舆情分析系统的主要开发目标如下： （1）实现管理系统信息关系的系统化、规范化和自动化； （2）减少维护人员的工作量以及实现用户对信息的控制和管理； （3）方便查询信息及管理信息等； （4）通过网络操作，改善处理问题的效率，提高操作人员利用率； （5）考虑到用户多样性特点，要求界面简单，操作简便。

本程序可以连续爬取一个或多个新浪微博用户（如胡歌、迪丽热巴、郭碧婷）的数据，并将结果信息写入文件或数据库。写入信息几乎包括用户微博的所有数据，包括用户信息和微博信息两大类。因为内容太多，这里不再赘述，详细内容见获取到的字段。如果只需要用户信息，可以通过设置实现只爬取微博用户信息的功能。本程序需设置cookie来获取微博访问权限，后面会讲解如何获取cookie。如果不想设置cookie，可以使用免cookie版，二者功能类似。 爬取结果可写入文件和数据库，具体的写入文件类型如下： txt文件（默认） csv文件（默认） json文件（可选） MySQL数据库（可选） MongoDB数据库（可选） SQLite数据库（可选） 同时支持下载微博中的图片和视频，具体的可下载文件如下： 原创微博中的原始图片（可选） 转发微博中的原始图片（可选） 原创微博中的视频（可选） 转发微博中的视频（可选） 原创微博Live Photo中的视频（免cookie版特有） 转发微博Live Photo中的视频（免cookie版特有）

本程序可以连续爬取一个或多个新浪微博用户（如胡歌、迪丽热巴、郭碧婷）的数据，并将结果信息写入文件或数据库。写入信息几乎包括用户微博的所有数据，包括用户信息和微博信息两大类。

基于weibo.com的新版API构建，拥有最丰富的字段信息 多种采集模式，包含微博用户,推文,粉丝,关注,转发,评论,关键词搜索 支持针对单个关键词获取单天超过1200页的检索结果 #257 支持长微博全文的获取 基于关键词微博搜索支持指定时间范围 添加IP归属地信息的采集，包括用户数据，微博数据和微博评论数据 该项目需要安装Python环境和MongoDB数据库，可以直接使用

主要使用Python中第三方库Scrapy爬虫框架，首先你需要阅读README.md文件说明，然后输入你的微博cookie，然后输入关键词、爬取日期等等信息，最后运行即可。

这是新浪微博爬虫，采用python+selenium实现。 免费资源，希望对你有所帮助，虽然是傻瓜式爬虫，但是至少能运行。同时rar中包括源码及爬取的示例。 参考我的文章： http://blog.csdn.net/eastmount/article/details/50720436 [python爬虫] Selenium爬取新浪微博内容及用户信息 http://blog.csdn.net/eastmount/article/details/51231852 [Python爬虫] Selenium爬取新浪微博客户端用户信息、热点话题及评论 (上) 主要爬取内容包括： 新浪微博手机端用户信息和微博信息。 用户信息：包括用户ID、用户名、微博数、粉丝数、关注数等。 微博信息：包括转发或原创、点赞数、转发数、评论数、发布时间、微博内容等。 安装过程： 1.先安装Python环境，作者是Python 2.7.8 2.再安装PIP或者easy_install 3.通过命令pip install selenium安装selenium，它是自动测试、爬虫的工具 4.然后修改代码中的用户名和密码

和名字一样，这是一款专注于微博的爬虫工具，相对而言比较简单， 功能全面：包括了用户信息抓取、指定关键字搜索结果增量抓取、指定用户主页所有原创微博抓取、评论抓取和转发关系抓取等。

这是新浪微博爬虫，采用python+selenium实现。 免费资源，希望对你有所帮助，虽然是傻瓜式爬虫，但是至少能运行。同时rar中包括源码及爬取的示例。 参考我的文章： http://blog.csdn.net/eastmount/article/details/50720436 [python爬虫] Selenium爬取新浪微博内容及用户信息 http://blog.csdn.net/eastmount/article/details/51231852 [Python爬虫] Selenium爬取新浪微博客户端用户信息、热点话题及评论 (上) 主要爬取内容包括： 新浪微博手机端用户信息