PageRank对网页排名的算法，曾是Google发家致富的法宝。以前虽然有实验过，但理解还是不透彻，这几天又看了一下，这里总结一下PageRank算法的基本原理。PageRank的Page可是认为是网页，表示网页排名，也可以认为是LarryPage(google产品经理)，因为他是这个算法的发明者之一，还是googleCEO（^_^）。PageRank算法计算每一个网页的PageRank值，然后根据这个值的大小对网页的重要性进行排序。它的思想是模拟一个悠闲的上网者，上网者首先随机选择一个网页打开，然后在这个网页上呆了几分钟后，跳转到该网页所指向的链接，这样无所事事、漫无目的地在网页上跳来跳去
2022-04-06 19:44:56
929KB
1
介绍
基于HadoopETL和Hadoop和Storm的各种实用程序类
哲学
使用简单
CSV格式的输入输出
在简单的JSON文件中定义的元数据
可以通过许多配置旋钮进行高度配置
解决方案
各种关系代数运算，包括投影，联接等
数据提取ETL，可从非结构化数据中提取结构化记录
数据提取ETL以从JSON数据中提取结构化记录
具有可配置规则和统计参数的数据验证ETL
使用各种技术进行数据分析ETL
具有可配置转换规则的数据转换ETL
各种统计数据探索解决方案
数据归一化
季节性数据分析
各种统计参数计算
使用增量数据进行各种长期统计参数计算
批量插入，更新和删除Hadoop数据
Storm Spout和Bolt的基类
字符串，配置的实用程序类
Storm和Redis的实用程序类
网志
我的以下博客是详细信息的好来源。 这些是详细文档的唯一来源。 该项目中的Map reduce作业可用于其
2022-04-01 20:43:52
579KB
1
NULL
博文链接：https://kf47453.iteye.com/blog/2273912
2021-12-15 16:54:07
2.31MB
1
为古腾堡免费书籍实现搜索引擎。 索引是使用 Apache Hadoop 使用 TF-IDF 算法完成的。内置索引使用数据存储存储在托管在Google App 引擎中。
2021-12-09 09:31:18
18.58MB
1
伦敦
使用Python和GraphX的Spark中的身份图。
参考
指示
创建虚拟环境
virtualenv -p python3 .env
source .env/bin/activate
pip install -r requirements.txt
构建Docker映像
./bin/build.sh slave
./bin/build.sh master
./bin/build.sh zoo
./bin/build.sh network
运行Docker容器
./bin/start.sh slave
./bin/start.sh master
./bin/start.sh zoo
使用Hadoop集群UI
访问http://0.0.0.0:8088/cluster 。
监控Docker容器
./bin/status.sh
停止Docker容器
./bin/stop.sh slave
2021-10-31 20:04:26
694KB
1