最近几年,以微博为首的社交网络迅猛发展,这些平台上包含了网民对于时事热点的观点,对生活和人际关系的看法等大量有价值的信息和资源。由于微博数据非常庞大又难以获取等困难,如何有效地对社交网络进行数据挖掘,是近两年数据挖掘研究的重点和热点。本工作设计和实现了一个基于Hadoop 的并行社交网络挖掘系统,包含了分布式数据库,并行爬虫,并行数据处理和并行数据挖掘算法集,可以有效地获取和分析挖掘海量的社交网络数据,为社团分析,用户行为分析,用户分类,微博分类等工作提供支持。
2022-05-22 02:01:33
2.32MB
1
基于Hadoop视频图像水印应用
基于Java实现。
使用说明
打包
mvn package
运行
注意这里的作业在运行时，需要等所有的Map任务完成时才能运行Reduce任务。
配置如下：
mapred.reduce.slowstart.completed.maps : 1.0
执行命令：
hadoop jar hadoop-wm-1.0.0-job.jar input-video watermark-image output-video
注意只能处理.mp4视频和.png图片。
开发人员
WeChat: wgybzb
QQ: 1010437118
E-mail:
2022-05-22 01:55:29
6.94MB
1
在DigitalOcean上使用Docker Swarm运行Spark
想学习如何构建它吗？
查看。
要使用这个项目吗？
货叉/克隆
Digital Ocean并访问令牌
将令牌添加到您的环境中：
$ export DIGITAL_OCEAN_ACCESS_TOKEN=[your_token]
启动三个Droplet并部署Docker Swarm：
$ sh scripts/create.sh
运行脚本：
$ sh scripts/run.sh
减少资源：
$ sh scripts/destroy.sh
2022-05-21 22:53:33
5KB
1
sqoop-1.4.6.bin__hadoop-0.23.tar.gz
2022-05-21 20:46:10
16.09MB
1
windows系统下eclipse集成hadoop,spark,hive开发环境
2022-05-21 14:10:15
11KB
1