上传者: anyueyang1986
|
上传时间: 2021-12-03 21:34:13
|
文件大小: 4.01MB
|
文件类型: -
本文重点阐述了通信数据分布式存储与查询在Hadoop
平台上的实现。据Hbase数据库的特色设计了通信社会网络数据模型。实现了基于Hbase数据库上的条件查询。并对设计好的数据模型进行了优化。最后在Hadoop数据服务平台上实现了面向软件客户端的数据访问服务。设计了适合通信社会网络数据特色的 Map/Reduce算法。通过MaP和Reduee函数实现了数据的并行查询和处理。在数据查询过程中,还将数据遍历过程放Reduce函数中,从而使广度优先搜索算法的层次遍历过程也能够并行运行。这在很大程度上优化了数据查询和分层扩展的效率