集合Maven,hdfs,mapreduce等相关所有jar包及依赖包

毕业前期，找工作时整理的大数据试题，带有部分面试题。 内容概要：包含单选160道、多选54道、判断86道、简答38道、大赛题目及源码1套、期末试卷（空白）1张。 文档格式：word，适用人群：大数据先关专业学生、老师、企业工作人员 适用场景：考前复习、面试题刷题、试卷出题。 试题部分均已按照顺序整理好，部分题目带有答案解析，整理不易，不喜勿喷，感谢支持！

本篇博客，Alice为大家带来关于如何搭建Spark的on yarn集群模式的教程。 文章目录准备工作cluster模式client模式[了解]两种模式的区别 官方文档: http://spark.apache.org/docs/latest/running-on-yarn.html 准备工作 安装启动Hadoop(需要使用HDFS和YARN，已经ok) 安装单机版Spark(已经ok) 注意：不需要集群，因为把Spark程序提交给YARN运行本质上是把字节码给YARN集群上的JVM运行，但是得有一个东西帮我去把任务提交上个YARN，所以需要一个单机版的Spark，里面的有spark-sh

Hadoop培训讲义（3天课程），内容包括大数据概述、HBase、Hive、HDFS 、MapReduce等

里面包含着所有的项目源码，图片资源和课程学习安排文档，我们可以根据每天浏览某网站的人数和访客量来判断该网站的好坏和受欢迎程度， 同时也可以根据外链的跳转率和访客或会员所用的浏览器等工具的分析来进行精准的广告推广，我们也可以根据地区的点击量和访客或是会员访问的时间的分析来进行合理的商品推广、精准推荐等操作

core-site.xml hdfs-site.xml mapred-site.xml yarn-site.xml yarn-env.sh workers hadoop-env.sh activation-1.1.1.jar #涉及的参数，只需要根据自己的情况，适当更改即可，本人亲测有效！ 试用hadoop-3.1.1版本。

1.Spark及其生态圈简介.pdf 2.Spark编译与部署（上）--基础环境搭建.pdf 2.Spark编译与部署（下）--Spark编译安装.pdf 2.Spark编译与部署（中）--Hadoop编译安装.pdf 3.Spark编程模型（上）--概念及SparkShell实战.pdf 3.Spark编程模型（下）--IDEA搭建及实战.pdf 4.Spark运行架构.pdf 5.Hive（上）--Hive介绍及部署.pdf 5.Hive（下）--Hive实战.pdf 6.SparkSQL（上）--SparkSQL简介.pdf 6.SparkSQL（下）--Spark实战应用.pdf 6.SparkSQL（中）--深入了解运行计划及调优.pdf 7.SparkStreaming（上）--SparkStreaming原理介绍.pdf 7.SparkStreaming（下）--SparkStreaming实战.pdf 8.SparkMLlib（上）--机器学习及SparkMLlib简介.pdf 8.SparkMLlib（下）--SparkMLlib实战.pdf 9.SparkGraphX介绍及实例.pdf 10.分布式内存文件系统Tachyon介绍及安装部署.pdf

1，商城：是单商家，多买家的商城系统。数据库是mysql，语言java。2，sqoop1.9.33：在mysql和hadoop中交换数据。3，hadoop2.2.0：这里用于练习的是伪分布模式。4，完成内容：喜欢该商品的人还喜欢，相同购物喜好的好友推荐。1，通过sqoop从mysql中将“用户收藏商品”（这里用的是用户收藏商品信息表作为推荐系统业务上的依据，业务依据可以很复杂。这里主要介绍推荐系统的基本原理，所以推荐依据很简单）的表数据导入到hdfs中。2，用MapReduce实现推荐算法。3，通过sqoop将推荐系统的结果写回mysql。4，java商城通过推荐系统的数据实现<喜欢该商品的人

完整的Hadoop分布式文件系统架构，以及源码分析报告

Hadoop安装和配置，Hadoop安装和配置，Hadoop安装和配置