hadoop2.7.x_winutils_exe&&hadoop_dll

day01_spark核心概念.pdf

图计算技术应用探索.pptx; 券商大数据平台实践以及应用探讨—华泰证券李文强.pdf; 基于spark集群的券商个性化推荐系统架构设计最佳实践.pdf 基于Spark的数据湖项目初步实践.pdf 大数据建设及应用分享_20170923.pptx

大数据相关框架学习 本仓库主要存放了一些学习大数据的实战项目代码，项目来源主要来自慕课网 1. 集群搭建 这里面的项目都可以通过搭建单机standalone模式完成整个流程 这学期云计算课程需要使用集群环境，刚好学校有云资源，记录下集群搭建过程 2. 目录结构 hadoop-train Hadoop基础与电商行为日志分析 新手入门大数据 本课程从Hadoop核心技术入手，以电商项目为依托，带领你从0基础开始上手，逐步掌握大数据核心技术（如：HDFS、YARN、MapReduce以及Hive），并使用这些技术进行实战，最终完成电商行为日志分析项目，让你轻松入门大数据！ 项目博客 spark-train, spark-data-visualization Spark Streaming实时流处理项目实战 本课程从实时数据产生和流向的各个环节出发，通过集成主流的分布式日志收集框架Flume、分布

目录网盘文件永久链接 互联网电商大数据环境 - 1 互联网电商大数据环境 - 2 商业智能与数据仓库基础理论 - 1 - BI的作用 商业智能与数据仓库基础理论 - 2 - BI的构建 商业智能与数据仓库基础理论 - 3 - 数据仓库理论 商业智能与数据仓库基础理论 - 4 - 数据仓库理论 维度建模基础理论 - 1 - 理论 维度建模基础理论 - 2 - 实例 电商大数据一般架构 - 1 电商大数据一般架构 - 2 电商数据平台从零搭建............

用ecplise来进行大数据项目开发所必备的jar包 。 。

说明： 1. 安装软件版本： jdk1.8.0_131、apache-zookeeper-3.8.0、hadoop-3.3.2、hbase-2.4.12 mysql5.7.38、mysql jdbc驱动mysql-connector-java-8.0.8-dmr-bin.jar、 apache-hive-3.1.3 2.本文软件均安装在自建的目录/export/server/下 ：sudo mkdir -p /export/server 创建好目录后要改变该目录的属主和属组 ：sudo chown -R ljr:ljr /export 修改目录权限：sudo +771 -R /export -R 表示递归，即export目录下的所有文件及目录的属组和属组以及权限均跟随着改变 3.集群能正常运行的条件是集群可节点宕机数应保证有超过集群机器总数一半的机器在运行，因此从经济和实用性来说，集群的节点一般是奇数个，本文部署4台机器，其容灾能力与部署3台机器一致，即只能宕机1台

spark学习资料111

Spark 项目流 org.apache.spark/spark-streaming_2.12/3.1.2/spark-streaming_2.12-3.1.2.jar

用户windows下开发大数据，从2.6到3.0各个版本。将bin目录下的文件覆盖到你hadoop目录的bin目录下