本项目主要实现了首先通过python编写的爬虫程序，对今日头条的新闻进行爬取，爬取的内容相对丰富，内容，图片都有爬取，另外，将获取到的新闻进行了实体分析，用textrank图算法计算了关联程度，得到了每篇新闻的一个关键词，高频词，实体对象的力引导图，同时结合大数据流处理的storm技术，在进行实体分析的同时进行了新闻数据的存储，即新闻数据的持久化，整个项目比较有学习价值，欢迎大家下载
2021-05-10 07:29:45
27.22MB
1
大家好，今天很高兴在这里与大家分享、探讨和学习分布式流处理技术。随着计算机和网络技术的迅猛发展以及数据获取手段的不断丰富，在越来越多的领域出现了对海量、高速数据进行实时处理的需求，这类需求的数据普遍具有以下特征：数据已经渗透到每一个行业和业务职能领域，对数据的占有、控制、挖掘和运用已成为国家间和企业间新的争夺焦点。营销时机转瞬即逝、风险防控分秒必争、重大决策快速精准，数据处理必须在秒级或更短的时间内得到结果。数据规模大，往往达到PB级别。根据IDC的“数字宇宙”的报告，预计到2020年，全球数据使用量将达到35.2ZB。数据产生速度快，可以达到GB/S级别，数据量暴增场景频现。由于此类需求往往
2021-02-25 22:04:55
965KB
1
真是不好意思, 也是笑死人了,我竟然没有上传资源, 幸好大家提醒, 要不然我还没有发现, 博文地址https://mp.csdn.net/console/editor/html/108757669 多协议转换推流， 可以添加音频流作为上传流的音轨，自动循环，断开重连多重保护
2021-02-19 11:30:34
15.88MB
1