Spark-terasort:Spark Terasort基准测试

上传者: 42121725 | 上传时间: 2022-11-27 02:17:40 | 文件大小: 24KB | 文件类型: ZIP
Spark-Terasort TeraSort是一种流行的基准测试,用于衡量在给定群集上对1 TB随机分布的数据(或所需的任何其他数据量)进行排序的时间。 它最初是用来测量Apache:trade_mark:Hadoop:registered:集群的MapReduce性能的。 在此项目中,代码将在Scala中重写,以测量Spark集群的性能。 它是对Hadoop集群的存储层(HDFS)和计算层(YARN / Spark)进行组合测试的基准。 完整的TeraSort基准测试运行包含以下三个步骤: 通过TeraGen生成输入数据。 在输入数据上运行实际的TeraSort。 通过TeraValidate验证排序的输出数据。 您无需在每次TeraSort运行之前重新生成输入数据(步骤2)。 因此,如果对生成的数据感到满意,则可以跳过第1步(TeraGen),以便以后的TeraSort运行。 包装方式 $ sbt assembly

文件下载

资源详情

[{"title":"( 17 个子文件 24KB ) Spark-terasort:Spark Terasort基准测试","children":[{"title":"Spark-terasort-master","children":[{"title":".gitignore <span style='color:#111;'> 405B </span>","children":null,"spread":false},{"title":"project","children":[{"title":"plugins.sbt <span style='color:#111;'> 534B </span>","children":null,"spread":false},{"title":"build.properties <span style='color:#111;'> 128B </span>","children":null,"spread":false},{"title":"Dependencies.scala <span style='color:#111;'> 931B </span>","children":null,"spread":false},{"title":"ProjectBuild.scala <span style='color:#111;'> 771B </span>","children":null,"spread":false},{"title":"BuildSettings.scala <span style='color:#111;'> 1.81KB </span>","children":null,"spread":false}],"spread":true},{"title":"src","children":[{"title":"main","children":[{"title":"scala","children":[{"title":"com","children":[{"title":"lbattini","children":[{"title":"spark","children":[{"title":"terasort","children":[{"title":"TeraValidate.scala <span style='color:#111;'> 3.58KB </span>","children":null,"spread":false},{"title":"TeraSortPartitioner.scala <span style='color:#111;'> 760B </span>","children":null,"spread":false},{"title":"TeraScheduler.java <span style='color:#111;'> 6.99KB </span>","children":null,"spread":false},{"title":"TeraGen.scala <span style='color:#111;'> 5.90KB </span>","children":null,"spread":false},{"title":"TeraSort.scala <span style='color:#111;'> 2.08KB </span>","children":null,"spread":false},{"title":"TeraInputFormat.scala <span style='color:#111;'> 3.79KB </span>","children":null,"spread":false},{"title":"TeraOutputFormat.scala <span style='color:#111;'> 3.17KB </span>","children":null,"spread":false}],"spread":true}],"spread":true}],"spread":true}],"spread":true}],"spread":true},{"title":"java","children":[{"title":"com","children":[{"title":"lbattini","children":[{"title":"spark","children":[{"title":"terasort","children":[{"title":"Random16.java <span style='color:#111;'> 18.60KB </span>","children":null,"spread":false},{"title":"Unsigned16.java <span style='color:#111;'> 6.53KB </span>","children":null,"spread":false}],"spread":true}],"spread":true}],"spread":true}],"spread":true}],"spread":true}],"spread":true}],"spread":true},{"title":"README.md <span style='color:#111;'> 2.71KB </span>","children":null,"spread":false},{"title":"build.sbt <span style='color:#111;'> 73B </span>","children":null,"spread":false}],"spread":true}],"spread":true}]

评论信息

免责申明

【只为小站】的资源来自网友分享,仅供学习研究,请务必在下载后24小时内给予删除,不得用于其他任何用途,否则后果自负。基于互联网的特殊性,【只为小站】 无法对用户传输的作品、信息、内容的权属或合法性、合规性、真实性、科学性、完整权、有效性等进行实质审查;无论 【只为小站】 经营者是否已进行审查,用户均应自行承担因其传输的作品、信息、内容而可能或已经产生的侵权或权属纠纷等法律责任。
本站所有资源不代表本站的观点或立场,基于网友分享,根据中国法律《信息网络传播权保护条例》第二十二条之规定,若资源存在侵权或相关问题请联系本站客服人员,zhiweidada#qq.com,请把#换成@,本站将给予最大的支持与配合,做到及时反馈和处理。关于更多版权及免责申明参见 版权及免责申明