1. 训练要点
(1) 使用socket连接方式获取数据源。
(2) DStream的转换操作。
2. 需求说明
从一台服务器的8888端口上收到一个以换行符为分隔符的多行文本,要从中筛选出包含单词error的记录,并把它打印出来。
3. 实现步骤
(1) 启动Spark独立集群模式并启动spark-shell。
spark-shell –master local[2]
2022-05-06 18:12:31
20KB
spark项目：数组也是一种复杂数据类型，表示一组有序的值的列表，可以通过数值索引来访问其中的值。数组的值也可以是任意类型——简单值、对象或数组
JSON数组也没有变量和分号，把数组和对象结合起来，可以构成更复杂的数据集合
[注意]数组或对象最后一个成员的后面，不能加逗号
2022-05-06 11:44:44
154.83MB
1
windows10版本下运行的hadoop2.7.7
解决spark启动问题
包含可执行的winutils.exe文件，解决spark-shell命令的问题
2022-05-06 09:07:07
208.66MB
1