从高铁数据中分析得到高速列车的运行状况对保障高铁安全至关重要.列车的振动数据就是其中之一,这些振动数据是通过多个传感器以一定的采样频率得来的.一个1～2d的测试实验将得到GB以上的数据,因此振动数据分析之前的预处理过程必不可少,包括异常点处理、消除线性趋势项等.异常点处理是指先用通用规则发现异常点,并用其邻近的数据点来恢复它的值.线性趋势项是指测试设备的原因使得采集的数据有一个线性的偏移,不处理偏移,则误差将会进一步累积.传统的振动数据预处理方法是顺序逐个处理文件,处理时间长,不能满足要求,且受内存的限制

DbVisualizer连接Hive数据库所需jar包，包含commons-codec-1.8.jar，commons-collections.jar，commons-configuration-1.6.jar，commons-lang.jar，commons-logging.jar，guava-18.0.jar，hadoop-common-2.6.5.jar，hive-common-2.1.0.jar，hive-jdbc-0.13.1.jar，hive-service-1.1.0.jar，httpclient-4.5.3.jar，httpcore-4.4.6.jar，libthrift-0.9.2.jar，log4j-1.2.17.jar，slf4j-api-1.5.0.jar，slf4j-log4j12-1.5.0.jar等jar包

MapReduce-机器学习 一些机器学习算法的 Map-Reduce 实现

基于Mapreduce的大规模图强连通分量算法，吕璐，谢磊，有向图强连通分量是图论中的基本问题。强连通分量算法一般都是基于深度优先搜索，但难于在大规模图上并行实现。本文提出了一种基

hive-exec-1.2.1.spark2.jar spark2-shell 支持 hive2 hadoop3

单词计数是最简单也是最能体现 MapReduce 思想的程序之一，可以称为 MapReduce 版“Hello World”。单词计数的主要功能是统计一系列文本文件中每个单词出现的次数。本节通过单词计数实例来阐述采用 MapReduce 解决实际问题的基本思路和具体实现过程。 设计思路 首先，检查单词计数是否可以使用 MapReduce 进行处理。因为在单词计数程序任务中，不同单词的出现次数之间不存在相关性，相互独立，所以，可以把不同的单词分发给不同的机器进行并行处理。因此，可以采用 MapReduce 来实现单词计数的统计任务。 其次，确定 MapReduce 程序的设计思路。把文件内容分

Hadoop hbase hive sqoop集群环境安装配置及使用文档

一篇基于Mapreduce的频繁项集挖掘的综合性论文，很有实用性。

CDH安装后各种jar包在一起，有时用hive的standalone包，发现有包冲突，所以探索了用非standalone包的方式。亲测这些jar包可用于Datart的连接hive。

Google File System，MapReduce，BigTable三大论文英文原版+中文翻译。分布式，大数据必读论文。