Apache Spark - Apache HBase Connector 可以使用此jar包基于shc框架使用spark读写hbase

搭建基于Spark技术的网络大数据分析平台,对信令进行分析和处理,提升了分析效率。通过现网实际数据验证,该平台具有高效和可扩展性强的特点,未来可适用范围较广。

spark实验1：linux系统的安装和常用命令

最近在学习Apache Spark，搜集些资料（共5个文档），供大家分享。 1、《Spark实战高手之路-从零开始》 2、《Spark开发环境配置及流程(Intellij_IDEA)》 3、《spark官方文档中文版》 4、《Spark 入门之 Scala 语言解释及示例讲解》 5、《Scala编码规范》 总结： Hadoop MapReduce会被新一代的大数据处理平台替代是技术发展的趋势，而在新一代的大数据处理平台中，Spark目前得到了最广泛的认可和支持。

Adafruit_mfGFX_Library 带有 Adafruit ST7735 显示驱动程序和演示的 Adafruit_GFX 库的多字体版本。 该库支持任何兼容的 Adafruit_GFX 显示驱动程序。 推荐使用免费的 TheDotFactory Windows 程序来创建与 Adafruit_mfGFX 库兼容的数据。 有关创建和添加新字体的说明，请参阅 README.pdf 文件。 基础库带有 4 种字体和一种“测试”字体，因此在永久添加到库中之前，可以轻松添加和测试新的候选字体数据。 请注意，虽然字体数据不占用 Spark RAM，但它们会占用闪存空间，因此过多的字体可能会出现问题。 ** 更新了字体编译选项，2014 年 6 月 这是 Adafruit 1.8" SPI 显示器的库。该库与 Adafruit 1.8" TFT Breakout w/SD 卡一起使用

BLAST（基本局部比对搜索工具）是一种局部比对算法，具有很高的准确度，被广泛使用。 它可以在保持高精度的同时减少程序的运行时间，但是在比较大型基因数据集时却存在性能瓶颈和低效率。 因此，提出了一种基于Spark的分布式并行方法Spark_BLAST。 该方法利用Spark内存计算来识别和划分任务，并实现了BLAST算法的分布式并行计算。 最后，该方法在5个节点的Spark集群上实现。 与单机比较表明，Spark .cluster的加速可以达到约4，而不会改变比较结果的准确性。 该方法为生物信息学提供了一种有效的比对方法。

spark_livy_java_rest_api 在Java中使用REST API在Kerberos和SSL中使用Livy提交Spark作业 mvn exec：java -Dexec.mainClass =“ o9.sparklivy.poc.SparkYarnRestClient” mvn clean编译程序集：单个 java -cp target / spark_livy_api-1.0-SNAPSHOT-jar-with-dependencies.jar o9.sparklivy.poc.SparkYarnRestClient

1

scala安装包，虚拟机中进行环境进行搭建

Spark ml pipline交叉验证之线性回归 工具开发 //创建回归评估器，用于基于训练集的多次训练后的模型选择 //创建交叉验证器，他会把训练集分成NumFolds份，然后在其中(NumFolds-1)份里进行训练 //在其中一份里进行测试，针对上面的每一组参数都会训练出NumFolds个模型，最后选择一个最优的模型 //对最优的模型做一个模型评估