微博爬虫,一个基于Scrapy框架的轻量微博爬虫,Sina Weibo Spider.zip
2024-03-03 02:49:49 647KB 爬虫 scrapy
1
中文微博情感数据库(2分类数据集) 带情感标注的微博语料数量: 10000(train.txt)+500(test.txt) 数据格式: 文档的每一行代表一条语料 每条语料的第一个数据为微博对应的mid,是每条微博的唯一标签,可以通过"https://m.weibo.cn/status/" + mid 访问到该条微博的网页(部分微博可能已被博主删除) 第二个数据为情感标签, 0表示负面, 1表示正面 其余后面部分都是微博文本 微博表情都被转义成[xx]的格式, 如: avatar被标记为[doge] avatar被标记为[允悲] 微博话题/地理定位/视频、文本超链接等都转义成了{%xxxx%}的格式,使用正则可以很方便地将其清洗
2024-02-03 19:51:46 1.73MB 数据集 情感分析
1
针对K-means算法因随机选取聚类中心而易造成聚类结果不稳定的问题,提出PCA-KDKM算法。该算法使用主成分分析法对数据集的属性降维,提取主属性;利用k′dist曲线自动获取k值;计算平缓曲线上所含数据对象的均值并选取其中一值,作为首个初始聚类中心;利用基于密度和最大最小距离的算法思想进行聚类;结合类间距离和类内聚类提出聚类质量评价函数。将该算法与K-means、KNE-KM、QMC-KM、CFSFDP-KM在UCI数据集上进行聚类比较,结果表明该算法聚类结果稳定,聚类准确率高。将PCA-KDKM算法应用在微博舆情分析中,抓取不同类别的数万条数据进行聚类分析。实验结果表明,PCA-KDKM算法在微博舆情分析中有更高的准确性和稳定性,有利于及时发现热点舆情。
2024-01-11 11:38:00 437KB K-means算法 聚类 质量评价函数
1
新浪微博转发精灵 V2.0  一键转发,相当方便!一、软件功能如下: 1.定向转发微博 2.定向转发指定的微博内容 3.可以批量导入微博帐号 4.可以设置转发微博的间隔时间 5.可以设置自动转发时间区段 6.自定义老板键 7.可以加入windows自启动,每天自动转发 8.转发日志跟踪 9.随机给小号加粉,使其更真实 二、软件使用方法如下: 第一步:启动新浪微博转发精灵,输入被转发的微博ID或者昵称;(可以是数字ID,也可以是微博的昵称),然后点击“验证”按钮; 第二步:进入“设置”后,需要自己注册N个新浪微博帐号用来转发自己的主号上的内容,亦可通过软件包中的import.txt文件按照格式批量导入微博帐号; 第三步:进入“定时设置”选项卡,设定转发间隔时间(建议时间间隔不要设置太短,至少90秒以上,以防被封)设置工作时间段,然后点击“加入列表”;(建议不要设置在半夜进行) 第四部:回到主界面,点击开始按钮即可开始。
2024-01-10 14:13:15 3.75MB 网络软件
1
.net4.0使用qq登录、新浪微博、网易微博第三方登录 简单易用一目了然,愉快借鉴
2024-01-08 23:09:02 434KB qq 第三方登录
1
本项目基于 weibo_senti_100k.csv 数据集,分别使用朴素贝叶斯、逻辑回归、LSTM、CNN、BERT等模型进行了实验,其中涉及的词向量表示方式包括one-hot、Bag of Words、TF-IDF、Word2Vec、Glove等。对于Word2Vec和Glove词向量的构建过程,本项目也提供了相关代码。项目中模型的训练运行脚本为train.sh,如bert_train.sh,模型的测试运行脚本为test.sh,如bert_test.sh。此外,本项目也会给出如何将训练好的BERT模型以服务的形式进行部署,以满足商业应用中的实时性需求。针对具体模型的使用,请读者查看*_README.md文件。希望通过本项目的学习,读者能够对情感分析中常用的模型技术有进一步的理解。
1
本科毕业设计-微博舆情管理平台:数据分析系统的设计与实现.doc
2023-12-19 21:17:58 623KB
1
微博的静态页面,框架一样。有些内容是重复的,用了乱数假文。花费了一周时间,因为电脑分辨率不同,可能显示效果有些偏差。
2023-12-16 17:38:15 2.4MB html
1
这是我用业余时间开发的新浪微博客户端,供大家参考学习,用的是C#开发的新浪微博客户端
1
计算机毕业设计:基于python微博舆情分析可视化系统+爬虫+情感分析+Flask框架 项目源码 本次就是在微博方面,通过建立微博情感分析可视化系统,来让用户可以通过简单的微博信息、评价有计算机来自动进行情感的判断,从而为判断出用户对于微博的情感好坏,能够通过对评价的统计分析来实现情感分析、舆情分析的功能。本次的开发是利用了Python技术和Flask框架来搭建网站,采用MySQL数据库存储数据,通过网络爬虫技术采集数据,最终搭建网页的形式展现。 项目截图 1、首页-----数据概况 2、舆情分析 3、中国地图----各省份IP分析 4、文章分析页面 在这里插入图片描述 5、评论分析页面 在这里插入图片描述 6、数据管理页面 7、微博舆情统计页面 8、爬虫数据采集页面 9、系统注册登录功能
2023-11-12 19:44:16 87.79MB 毕业设计 python 爬虫 舆情分析
1