EBay开源出来的apache griffin是一款数据质量检测工具，结合Livy、spark、hive、hdfs去使用的。但是开源的代码质量有些差，而且报错日志不友好，楼主踩了很多坑才部署好，实测可用，特将文档记录下来分享给大家。这个文档中包含了操作系统+Livy+HDFS的配置与集成
2021-07-01 18:07:41
975KB
1
野生物联网
该项目支持The Internet of Wild Thing课程。 该课程的目标是教没有电子或编程经验的学生如何开始将互联网与现实世界相结合。 通过使用和 ，学生可以组合电子元件、配置网络界面，并使现实世界和网络事件协同工作。
固件生成
固件是通过用户界面根据引脚选择生成的。 按Save and Bootload将生成一个新文件，将其上传到正确的 spark core，并触发 core reset。 我目前的代码生成方法有点草率，可能可以改进。 查看duino/template.ino以查看原型文件。
设置引脚状态
生成的代码有一个 API 端点setState ，可以通过访问它，并且可用于明确设置为输入的每个引脚。
curl https://api.spark.io/v1/devices/{deviceId}/setState \
-d access_token={a
2021-07-01 17:03:51
77KB
1
spark图计算 ConnectedComponent 连通图 '好友关系',顶点数据可以为字符串，封装的方法内部自动处理为long类型，代码有具体示例数据，并且能学习到并行化，持久化，广播等知识点，附有详细注释。计算结果为每个连接图的顶点数据,Tuple2的第二个元素标识为哪个连通图，同一连通图的各个 第一个元素 间为 '好友关系'
2021-06-28 12:05:52
6KB
1