针对传统词项之间语义关系抽取难以适用于微博，导致发现微博热点事件不敏感的问题，提出一种基于词项语义共现和社团划分的方法发现热点事件。首先利用热度定义对微博数据进行初次筛选，通过构建共现词项图来模拟词项间的语义相关性，并结合修改的TF-IDF公式计算词项间的语义相关度；借助社区划分和模块度的概念对词项图进行划分，完成词项聚类，进而获得热点事件。实验结果表明，与同类方法相比，该方法的准确率较高，发现的热点事件与实时事件基本保持一致，具有较好的热点识别效果。
2021-11-24 23:58:38
1.37MB
1
概述
这是一个简单的python爬虫程序，仅用作技术学习与交流，主要是通过一个简单的实际案例来对网络爬虫有个基础的认识。
什么是网络爬虫
简单的讲，网络爬虫就是模拟人访问web站点的行为来获取有价值的数据。专业的解释:百度百科
分析爬虫需求
确定目标
爬取豆瓣热度在Top100以内的电影的一些信息，包括电影的名称、豆瓣评分、导演、编剧、主演、类型、制片国家／地区、语言、上映日期、片长、IMDb链接等信息。
分析目标
1.借助工具分析目标网页
首先，我们打开豆瓣电影·热门电影，会发现页面总共20部电影，但当查看页面源代码当时候，在源代码中根本找不到这些电影当信息。这是为什么呢？原来豆瓣在这里是
2021-11-02 19:56:56
306KB
1
爬取视频热度排行的 从本地记录里获取曾经爬取过的视频号，视频数据 bilibili.py，结合了PHP实现的。
* 只需输入一个大模块名，如游戏模块名为'game'，自行会爬取下面几个小类，并按播放数、硬币数等排行分别爬取
* 已解析出数据接口，直接获取视频数据，不使用webDriver，爬取速度提升数十倍,并且不会丢失数据。
* @TODO 对爬取到的视频做日期归类（待完成）
* 目前爬取的信息有：up主id、up主名、视频AV号、播放数、收藏数、弹幕数、视频描述、硬币数(获取不稳定，少数会获取不到)
* 分享数(同上)
2021-10-27 19:15:48
6KB
1