1.Numpy：Numpy是python科学计算的基础包，它提供以下功能（不限于此）：(1)快速高效的多维数组对象naarray(2)用于对数组执行元素级计算以及直接对数组执行数学运算的函数(3)用于读写硬盘上基于数组的数据集的工具(4)线性代数运算、傅里叶变换，以及随机数生成(5)用于将C、C++、Fortran代码集成到python的工具2.pandaspandas提供了使我们能够快速便捷地处理结构化数据的大量数据结构和函数。pandas兼具Numpy高性能的数组计算功能以及电子表格和关系型数据（如SQL）灵活的数据处理能力。它提供了复杂精细的索引功能，以便更为便捷地完成重塑、切片和切块、

hivesql解析 支持版本 2.0.1 2.7.2

hive udaf 实现按位取与或 hive udaf 实现按位取与或 hive udaf 实现按位取与或

CDH6.3.2所有安装包+配套博客教程地址

集群搭建测试所需数据

Hive是一个数据仓库;3.1.2版本，可用于集群安装；Hive是一个数据仓库，它部署在Hadoop集群上，它的数据是存储在HDFS上的，Hive所建的表在HDFS上对应的是一个文件夹，表的内容对应的是一个文件。它不仅可以存储大量的数据而且可以对存储的数据进行分析，但它有个缺点就是不能实时的更新数据，无法直接修改和删除数据，如果想要修改数据需要先把数据所在的文件下载下来，修改完之后再上传上去。Hive的语法非常类似于我们的MySQL语句，所以上起手来特别容易。HIve特别神奇的地方是我们只需写一条SQL语句它就会自动转换为MapReduce任务去执行，不用我们再手动去写MapReduce了

关于Criteo数据的FFM 尝试使用以下现场感知分解机（FFM）的实施方式来复制的结果： 数据 下载完整的数据集并将其转换为CSV格式： ./data.sh ln -s train.csv tr.csv ln -s test.csv te.csv 或者，使用微小的数据： ln -s train.tiny.csv tr.csv ln -s test.tiny.csv te.csv 用法 建立LIBFFM并预处理数据，就像： make 移至或并按照说明进行操作。 参考

Spark权威指南：hadoop从入门到精通课程，hadoop是大数据的基本，包括mapreduce,hdfs

hive的12道sql.sql

应用spark2.1的api对hive对进行读写，代码中有明确的操作步骤。