文章《windows10配置spark与pyspark》安装包02，安装包较多分两批上传，每批1.9元
2022-05-16 09:09:35
768.84MB
本论文的主要工作是在基于云计算理论的基础上设计适合JEPAY 虚拟银行数据特点的云存储系统，系统的设计工作主要分为两个方面：
一个方面是设计能够为银行数据库提供文件支持的分布式文件系统。对于当前的云计算系统，因为文件只能写入不能修改，不能为银行提供数据支持。我们的工作就是在底层构架能够满足银行数据要求的分布式系统， 传统的分布式数据库的扩展性是不够灵活的，比如他们在动态的增减节点时付出的代价很大，并且他们把这种情况当作一种错误处理，严重影响系统的性能和扩展。在论文中我们参考了Hadoop的构架以后设计了能够弥补以上缺点的系统，同时使系统保持了云计算平台的优势。
工作的另一个方面是在我们构架的分布式文件系统的基础上设计我们的数据库管理系统，相对于云计算而言分布式数据库的技术是比较成熟的，也正因为如此他们不能很好的和基于云计算的文件系统很好的兼容，我们的工作是利用已经成熟的分布式数据库的技术在我们的云存储文件系统上面构架相应的数据库管理系统，因为我们的系统是针对JEPAY 虚拟银行的，所以我们的系统设计是基于关系数据模型的，在设计中主要包括如下几个方面：系统的查询，事务处理，目录管理，容错处理，和安全性等等。
2022-05-15 23:16:33
701KB
1
随着互联网技术的发展，数宇信息正在成指数增加，根据InternetDataCente：发布的DigitalUniverse报告显示，在未来8年中所产生的数据量将达到40ZB，相当于每人产生5200G的数据，如何高效地计算和存储这些海量数据成为互联网企业所要而对的挑战。传统的大规模数据处理大多采用并行计算、网格计算、分布式高性能计算等，耗费昂贵的存储与计算资源，而且对于大规模数据计算任务的有效分配和数据合理分割都需要复杂的编程才可以实现。基于Hadoop分布式云平台的出现成为解决此类问题的良好途径，本文将在综述Hadoop核心技术：HDFS和MapReduce基础上，利用VMware虚拟机搭建一
2022-05-15 22:40:35
627KB
1
运行说明：在linux终端输入
$ hadoop jar test-1.0-SNAPSHOT.jar WordCount /input/* /MyOutput1/
后两个参数是hdfs上面【输入】的文本文件目录和【输出】目录。
记得清空输出目录。
2022-05-15 10:45:42
6KB
1
火花物品
spark流式计算电商商品关注度+推荐系统/关联系统
火花：2.6.5
Hadoop：2.6.0
Scala：2.11.8
开发方式：maven（java + scala）
前端：boostrap + springboot + echarts
spark-goods：后台springboot1：前端
2022-05-14 16:47:57
5.54MB
1