一、实验目的 1.理解Spark Streaming的工作流程。 2.理解Spark Streaming的工作原理。 3.学会使用Spark Streaming处理流式数据。 二、实验环境 Windows 10 VMware Workstation Pro虚拟机 Hadoop环境 Jdk1.8 三、实验内容 (一)Spark Streaming处理套接字流 1:编写处理套接字流的java程序代码 2:导入缺失的jar包 3:把java程序导出为jar包 4:start-all.sh,启动所有进程,并查看情况 5:启动Spark分布式集群并查看信息 6:启动9999端口 7:切换到jar包所在路径 8:提交程序到spark集群上运行 9:监测端口内容,每隔10秒钟输出一次,当有内容出现的时候,单词计数输出内容 10:退出监测,Ctrl+Z,但是这样并没有完全退出监测,到http://localhost:8080/里杀死该任务,也可以使用Ctrl+C完全退出 (二)Spark Streaming处理RDD队列流 (三)Spark Streaming处理文件流
2022-05-25 12:04:47 10.27MB hadoop spark 文档资料 大数据
一、实验目的 1. 理解Spark编程思想; 2. 学会在Spark Shell中编写Scala程序; 3. 学会在Spark Shell中运行Scala程序。 二、实验环境 Windows 10 VMware Workstation Pro虚拟机 Hadoop环境 Jdk1.8 三、实验内容 (一)Spark基础知识 (1)输入start-all.sh启动hadoop相应进程和相关的端口号 (2)启动Spark分布式集群并查看信息 (3)网页端查看集群信息 (4)启动spark-shell控制台 1:local模式启动 2:登录master服务器,在集群模式下启动 (5)访问http://localhost:4040可以看到spark web界面 (6)从本地文件系统中加载数据 (7)从分布式文件系统HDFS中加载数据 (8)可以调用SparkContext的parallelize方法,在Driver中一个已经存在的数组上创建RDD。 (9)可以调用SparkContext的parallelize方法,在Drive (二)spark运行wordcount程序
2022-05-25 12:04:47 6.74MB hadoop spark 文档资料 大数据
一、实验目的 Hadoop运行在Linux系统上,因此,需要学习实践一些常用的Linux命令。本实验旨在熟悉常用的Linux操作,为顺利开展后续其他实验奠定基础。 二、实验环境 Windows 10 VMware Workstation Pro虚拟机 Hadoop环境 Jdk1.8 三、实验内容 1:Linus常见命令: (1)创建目录:mkdir 文件夹名 (2)建多层次目录:mkdir -p 文件夹名/文件夹名/文件夹名 (3)同层次建多个文件夹:mkdir 文件夹名/文件夹名 文件夹名/文件夹名 文件夹名/文件夹名 (4)切换目录:cd 文件夹名 (5)显示当前目录路径:pwd (6)显示当前目录下的文件或目录:ls (7)创建空文件:touch 文件夹名 (8)编辑文件内容:vi 文件名 (9)容许编辑文件内容:i (10)保存并退出::wq (11)查看文件内容:cat 文件名 (12)删除文件:rm 文件名字 (13)返回上一层目录:cd.. (14)返回根目录:cd (15)删除文件夹:rm -rf 文件夹名 (16)显示文件系统使用情况:du
2022-05-25 09:07:51 2.01MB hadoop 文档资料 大数据 big
AN108 原理图技术资料
2022-05-16 10:28:26 48KB AN108 原理图 技术资料
1
信息安全原理与技术
2022-05-11 19:04:59 781KB 文档资料 信息安全原理与技术
13.1实验一:熟悉常用的Linux 操作和Hadoop操作 本实验对应第3章的内容。 13.1.1 实验目的 Hadoop运行在 Linux系统上,因此,需要学习实践一些常用的 Linux命令。本实验旨在熟悉常用的 Linux操作和 Hadoop操作,为顺利开展后续其他实验奠定基础。 13.1.2 实验平台 (1)操作系统:Linux(建议Ubuntu 16.04)。(2)Hadoop版本:2.7.1。
2022-05-05 18:06:00 3.29MB big data 文档资料 大数据
Spring+SpringMVC+Mybatis SSM三大框架的运行流程、原理、核心技术详解 理解很透彻, 入门五星推荐
2022-04-28 21:52:21 909KB SSM Spring SpringMVC Mybatis
1
信息安全原理与技术ch05-Hash函数和数字签名
2022-04-27 09:08:33 1.05MB 哈希算法 文档资料 算法
2.4 确定下列系统是否因果的?是否稳定的? (1) y(n) = g(n) x(n), g(n) 有界 (2) 0 ( ) ( ) n k y n x k n=− = ∑ n > n0 (3) y(n) = x(n-n0) (4) x(n) = a n u(n), h(n) = u(n) (5) x(n) = a n u(n), h(n) = (1/2) n u(n) 解:(1)令 Mng ≤|)(| , 若 Mnx ≤|)(| ∞<≤= |)(||)()(||)(| nxMnxngny ,故稳定。 设当 kn ≤ 时, )()( 21 nxnx = )()()( 11 ngnxny = , )()()( 22 ngnxny = , )()( 21 nyny = 故因果。 (2) 若 Mnx ≤|)(| , |)(||)(| 0 ∑ −= = n nk kxny ,当 ∞→n 时, |)(| ny 有可能趋于∞,故非稳定。 设当 kn ≤ 时, )()( 21 nxnx = ∑ −= = n nk kxny 0 )()( 11 , ∑ −= = n nk kxny 0 )()( 22 , )()( 21 nyny = 故因果。 (3) 若 Mnx ≤|)(| , ∞<≤−= Mnnxny |)(||)(| 0 ,故稳定。 显然,对于 )()( 0nnxny −= ,当 0
2022-04-27 00:04:55 1.09MB 门爱东 答案
1
信息安全原理与技术之消息认证与数字签名
2022-04-26 21:05:19 1.07MB 文档资料