在大数据领域，Hadoop无疑是最炙手可热的技术。作为分布式系统架构，Hadoop具有高可靠性、高扩展性、高效性、高容错性和低成本的优点。然而随着数据体积越来越大，实时处理能力成为了许多机构需要面对的首要挑战。Hadoop是一个批处理系统，在实时计算处理方面显得十分乏力。storm是一个类似于Hadoop勺实时数据处理框架，也是一个非常有效的开源实时计算工具，通常被比作“实时的Hadoop”。 　　《大数据技术丛书：Storm实时数据处理》通过丰富的实例，系统讲解Storm的基础知识和实时数据处理的最佳实践方法，内容涵盖Storm本地开发环境搭建、日志流数据处理、Trident、分布式远程过程调用、Topology在不同编程语言中的实现方法、Storm与Hadoop的集成方法、实时机器学习、持续交付和如何在AWS上部署Storm。此外，《大数据技术丛书：Storm实时数据处理》旨在围绕Storm技术促进DevOps实践，使读者能够开发Storm解决方案，同时可靠地交付有价值的产品。 　　《大数据技术丛书：Storm实时数据处理》适合想学习实时处理技术或者想通过Storm实现实时处理方法的开发者阅读。

Storm本地模式【亲测可用】基于Java版本的Storm WordCount

Hadoop hbase hive sqoop集群环境安装配置及使用文档

storm接口测试用例.xls

无奈没有积分，逐个问题修复，免费给大家，喜欢的点个赞，python3读取Hbase通过Thrift操作时用到hbase-thrift包，但是运行时报错IOError，ttypes，xrange，iteritems等错误。

带有详细目录的 HBase权威指南中文版.pdf

flink-kafka-hbase 功能：实现kafka消息实时落地hbase，支持csv/json字符串两种格式的消息，支持自定义组合rowkey,列簇和列名，支持按照kafka消息流中不同字段join不同的hbase表，并自定义写入列簇和列(join时需评估一下性能) 支持at least once语义 外部依赖：apollo配置中心，本项目依靠配置驱动，配置存储在apollo配置中心 配置： { "indexColumnMapping": { --indexColumnMapping即CSV格式消息的key和value按照value里的分隔符拼接后再分割后下标及写入hbase列的对应关系 "0": "basic:time", --第0列始终是kafka消息的key，如果不需要可以不指定 "1": "basic:user_id",

出现此问题时使用：java.lang.NullPointerException at org.json.JSONObject.(JSONObject.java:144) at org.apache.sqoop.util.SqoopJsonUtil.getJsonStringforMap(SqoopJsonUtil.java:43) at org.apache.sqoop.SqoopOptions.writeProperties(SqoopOptions.java:784) at org.apache.sqoop.mapreduce.JobBase.putSqoopOptionsToConfiguration(JobBase.java:392) at org.apache.sqoop.mapreduce.JobBase.createJob(JobBase.java:378) at org.apache.sqoop.mapreduce.ImportJobBase.runImport(ImportJobBase.java:256) at org.apache.sqoop.manager.SqlManager.importQuery(SqlManager.java:748) at org.apache.sqoop.tool.ImportTool.importTable(ImportTool.java:515) at org.apache.sqoop.tool.ImportTool.run(ImportTool.java:621) at org.apache.sqoop.Sqoop.run(Sqoop.java:147) at org.apache.hadoop.util.ToolRunner.run(ToolRunner.java:70) at org.apache.sqoop.Sqoop.runSqoop(Sqoop.java:183) at org.apache.sqoop.Sqoop.runTool(Sqoop.java:234) at org.apache.sqoop.Sqoop.runTool(Sqoop.java:243) at org.apache.sqoop.Sqoop.main(Sqoop.java:252)

hbase的Rowkey设计⽅案 1.1 hbase的概述 的概述 HBase由于其存储和读写的⾼性能，在OLAP即时分析中越来越发挥重要的作⽤。作为Nosql数据库的⼀员，HBase查询只能通过其 Rowkey来查询(Rowkey⽤来表⽰唯⼀⼀⾏记录)，Rowkey设计的优劣直接影响读写性能。 由于HBase是通过Rowkey查询的，⼀般Rowkey上都会存⼀些⽐较关键的检索信息，我们需要提前想好数据具体需要如何查询，根据查询 ⽅式进⾏数据存储格式的设计，要避免做全表扫描，因为效率特别低。 此外易观⽅⾈也使⽤HBase做⽤户画像的标签存储⽅案，存储每个app的⽤户的⼈⼝学属性和商业属性等标签信息。 HBase中设计有MemStore和BlockCache，分别对应列族/Store级别的写⼊缓存，和RegionServer级别的读取缓存。如果RowKey过 长，缓存中存储数据的密度就会降低，影响数据落地或查询效率。 1.2 hbase的设计原则以及解决⽅法 的设计原则以及解决⽅法 1.3 预分区 预分区 1.3.1 什么是预分区 什么是预分区 HBase表在刚刚被创建时，只有1个分区（

第一部分、详细介绍了分布式数据库和Hbase的发展由来，基本原理，应用场景。第二部分，对Hbase进行基本的概述，主要介绍其中基本原理，第三部分对Hbase的技术进行详解，包括关键成员和技术优化。第四部分，通过一个小的java api案例，介绍Hbase的开发使用，详细分析hbase的应用场景和优化方式。