spark-ais-multi:使用 SparkSQL 导入、分区和查询 AIS 数据

上传者: 42121725 | 上传时间: 2022-12-15 19:30:13 | 文件大小: 22.2MB | 文件类型: ZIP
使用 SparkSQL 导入、分区和查询 AIS 数据 这个基于的项目由多个容器组成,用于实现数据的导入、分区和查询。 解析原始 CSV AIS 数据,并根据广播时间戳,将记录以hdfs:///yyyy/mm/dd/ais.csv的形式放入多个路径中,其中yyyy为年份, mm为月和dd是日。 HDFS 由它自己的 docker 容器提供服务。 外部表映射到这些 HDFS 路径上,以便可以使用查询 AIS 记录。 后者使用在同一个 HDFS 容器中执行,并作为公开。 Hive 位于数据库中,并从其自己的容器中提供服务。 临时导入过程在另一个容器中执行,该容器从映射到主机文件系统的卷中读取数据。 记录根据其数据/时间字段进行解析和分区,并使用多输出写入器写入 HDFS。 最后, 用于使用 Hive Server 2 节俭协议通过查询和呈现数据。 我在 Mac 上使用来启动这个项目。 提示

文件下载

资源详情

[{"title":"( 30 个子文件 22.2MB ) spark-ais-multi:使用 SparkSQL 导入、分区和查询 AIS 数据","children":[{"title":"spark-ais-multi-master","children":[{"title":"docker","children":[{"title":".dockerignore <span style='color:#111;'> 24B </span>","children":null,"spread":false},{"title":"hive-template.xml <span style='color:#111;'> 849B </span>","children":null,"spread":false},{"title":"create-table.sh <span style='color:#111;'> 850B </span>","children":null,"spread":false},{"title":"Dockerfile <span style='color:#111;'> 1.17KB </span>","children":null,"spread":false},{"title":"start-all.sh <span style='color:#111;'> 1019B </span>","children":null,"spread":false},{"title":"log4j.properties <span style='color:#111;'> 611B </span>","children":null,"spread":false},{"title":"core-template.xml <span style='color:#111;'> 281B </span>","children":null,"spread":false},{"title":"db.sh <span style='color:#111;'> 56B </span>","children":null,"spread":false},{"title":"dp.sh <span style='color:#111;'> 43B </span>","children":null,"spread":false},{"title":"stop-all.sh <span style='color:#111;'> 250B </span>","children":null,"spread":false},{"title":"yarn-template.xml <span style='color:#111;'> 1.08KB </span>","children":null,"spread":false},{"title":"dr.sh <span style='color:#111;'> 92B </span>","children":null,"spread":false},{"title":"spark-sql.sh <span style='color:#111;'> 155B </span>","children":null,"spread":false}],"spread":false},{"title":"src","children":[{"title":"main","children":[{"title":"scala","children":[{"title":"com","children":[{"title":"esri","children":[{"title":"ais","children":[{"title":"TargetWriter.scala <span style='color:#111;'> 674B </span>","children":null,"spread":false},{"title":"Target.scala <span style='color:#111;'> 112B </span>","children":null,"spread":false},{"title":"MultipleTargetOutputFormat.scala <span style='color:#111;'> 785B </span>","children":null,"spread":false},{"title":"YYMMDD.scala <span style='color:#111;'> 88B </span>","children":null,"spread":false},{"title":"DateTimeParser.scala <span style='color:#111;'> 413B </span>","children":null,"spread":false},{"title":"AISImport.scala <span style='color:#111;'> 1.43KB </span>","children":null,"spread":false}],"spread":true}],"spread":true}],"spread":true}],"spread":true},{"title":"resources","children":[{"title":"log4j.properties <span style='color:#111;'> 611B </span>","children":null,"spread":false},{"title":"logback.xml <span style='color:#111;'> 534B </span>","children":null,"spread":false}],"spread":true},{"title":"python","children":[{"title":"SparkSQLToolbox.pyt <span style='color:#111;'> 3.61KB </span>","children":null,"spread":false}],"spread":true}],"spread":true}],"spread":true},{"title":"images","children":[{"title":"arcmap.png <span style='color:#111;'> 115.31KB </span>","children":null,"spread":false},{"title":"overview.png <span style='color:#111;'> 71.74KB </span>","children":null,"spread":false}],"spread":true},{"title":"LICENSE <span style='color:#111;'> 11.06KB </span>","children":null,"spread":false},{"title":"README.md <span style='color:#111;'> 8.29KB </span>","children":null,"spread":false},{"title":"pom.xml <span style='color:#111;'> 9.70KB </span>","children":null,"spread":false},{"title":"data","children":[{"title":"ais.csv.zip <span style='color:#111;'> 22.00MB </span>","children":null,"spread":false}],"spread":true},{"title":".gitignore <span style='color:#111;'> 167B </span>","children":null,"spread":false},{"title":"dr.sh <span style='color:#111;'> 224B </span>","children":null,"spread":false}],"spread":true}],"spread":true}]

评论信息

免责申明

【只为小站】的资源来自网友分享,仅供学习研究,请务必在下载后24小时内给予删除,不得用于其他任何用途,否则后果自负。基于互联网的特殊性,【只为小站】 无法对用户传输的作品、信息、内容的权属或合法性、合规性、真实性、科学性、完整权、有效性等进行实质审查;无论 【只为小站】 经营者是否已进行审查,用户均应自行承担因其传输的作品、信息、内容而可能或已经产生的侵权或权属纠纷等法律责任。
本站所有资源不代表本站的观点或立场,基于网友分享,根据中国法律《信息网络传播权保护条例》第二十二条之规定,若资源存在侵权或相关问题请联系本站客服人员,zhiweidada#qq.com,请把#换成@,本站将给予最大的支持与配合,做到及时反馈和处理。关于更多版权及免责申明参见 版权及免责申明