开放实时数据处理平台 Twitter Storm

大数据相关框架学习 本仓库主要存放了一些学习大数据的实战项目代码，项目来源主要来自慕课网 1. 集群搭建 这里面的项目都可以通过搭建单机standalone模式完成整个流程 这学期云计算课程需要使用集群环境，刚好学校有云资源，记录下集群搭建过程 2. 目录结构 hadoop-train Hadoop基础与电商行为日志分析 新手入门大数据 本课程从Hadoop核心技术入手，以电商项目为依托，带领你从0基础开始上手，逐步掌握大数据核心技术（如：HDFS、YARN、MapReduce以及Hive），并使用这些技术进行实战，最终完成电商行为日志分析项目，让你轻松入门大数据！ 项目博客 spark-train, spark-data-visualization Spark Streaming实时流处理项目实战 本课程从实时数据产生和流向的各个环节出发，通过集成主流的分布式日志收集框架Flume、分布

说明： 1. 安装软件版本： jdk1.8.0_131、apache-zookeeper-3.8.0、hadoop-3.3.2、hbase-2.4.12 mysql5.7.38、mysql jdbc驱动mysql-connector-java-8.0.8-dmr-bin.jar、 apache-hive-3.1.3 2.本文软件均安装在自建的目录/export/server/下 ：sudo mkdir -p /export/server 创建好目录后要改变该目录的属主和属组 ：sudo chown -R ljr:ljr /export 修改目录权限：sudo +771 -R /export -R 表示递归，即export目录下的所有文件及目录的属组和属组以及权限均跟随着改变 3.集群能正常运行的条件是集群可节点宕机数应保证有超过集群机器总数一半的机器在运行，因此从经济和实用性来说，集群的节点一般是奇数个，本文部署4台机器，其容灾能力与部署3台机器一致，即只能宕机1台

HBase3.0参考指南 This is the official reference guide for the HBase version it ships with. Herein you will find either the definitive documentation on an HBase topic as of its standing when the referenced HBase version shipped, or it will point to the location in Javadoc or JIRA where the pertinent information can be found. About This Guide This reference guide is a work in progress. The source for this guide can be found in the _src/main/asciidoc directory of the HBase source. This reference guide is marked up using AsciiDoc from which the finished guide is generated as part of the 'site' build target. Run mvn site to generate this documentation. Amendments and improvements to the documentation are welcomed. Click this link to file a new documentation bug against Apache HBase with some values pre-selected.

Hbse工具包 包含hbase中各种增删改查

此案例使用的是IDEA开发工具，项目属于maven项目 该词频统计案例中，数据源是自动产生的（java程序自定义生成的），针对自定义生成的数据完成词频统计，完成后打包上传到storm程序中执行

此案例使用的是IDEA开发工具，项目属于maven项目 该案例中主要使用MapReduce作为处理组件进行数据处理，实现的案例有如通过javaapi实现hbase数据写入hdfs、hbase表数据复制到另一个表中等操作 对应（《HBase分布式存储系统应用》胡鑫喆 张志刚著）教材中案例

Hbase shell及常用命令

一、实验目的 上机实操，熟悉指令操作Hbase和java代码操作Hbase 二、实验环境 Windows 10 VMware Workstation Pro虚拟机 Hadoop环境 Jdk1.8 三、实验内容 1：指令操作Hbase (1)：start-all.sh，启动所有进程 (2)：start-hbase.sh，启动hbase (3)：hbase shell，进入hbase (4)：list，显示所有表 (5)：解决显示所有表遇到的错误（由于集群处于安全模式，该模式下只能进行只读操作，要解除安全状态才能运行） (6)：create 'tempTable', 'f1', 'f2', 'f3'，创建tempTable表，'f1', 'f2', 'f3'是列族 (7)：put 'tempTable', 'r1', 'f1:c1', 'hello'，插入数据，r1是行名， f1:c1中f1是列族，c1是列，hello是数据 (8)：scan 'tempTable'，显示tempTable表的数据 (9)：get 'tempTable', 'r1', {COLUMN=>'f1:c1'}，

storm所需组件资源