许多大数据都是以大规模图或网络的形式呈现。许多非图结构的大数据,也常常会被转换为图模型后进行分析。图数据结构很好地表达了数据之间的关联性。关联性计算是大数据计算的核心——通过获得数据的关联性,可以从噪音很多的海量数据中抽取有用的信息。很多传统的图计算算法都存在以下几个典型问题:常常表现出比较差的内存访问局部性针对单个顶点的处理工作过少计算过程中伴随着并行度的改变针对大型图(比如社交网络和网络图)的计算问题,可能的解决方案及其不足之处具体如下:为特定的图应用定制相应的分布式实现基于现有的分布式计算平台进行图计算使用单机的图算法库:比如BGL、LEAD、NetworkX、JDSL、Standfor
2022-09-03 09:50:09 498KB Pregel(图计算)技术原理
1
Google在2003年到2004年公布了关于GFS、MapReduce和BigTable三篇技术论文,这也成为后来云计算发展的重要基石,如今Google在后Hadoop时代的新“三驾马车”——Caffeine、Pregel、Dremel再一次影响着全球大数据技术的发展潮流
2022-04-06 09:48:14 2.75MB hadoop caffeine pregel dremel
1
预凝胶最短路径 Pregel 系统的最短路径算法。 使用 Apache Spark 和 GraphX API 实现。 Scala
2022-02-11 19:31:56 9KB Scala
1