Storm企业级应用实战、运维和调优书籍资料以及相关storm学习笔记ppt

暴风影音也就是一些相关插件的集合，这里给出源代码，大家可交流学习，切勿商用……

Storm-Java项目 ，storm_wordcount，英语单词统计

一、基于nginx+lua完成商品详情页访问流量实时上报kafka的开发 ==================================== 在nginx这一层，接收到访问请求的时候，就把请求的流量上报发送给kafka 这样的话，storm才能去消费kafka中的实时的访问日志，然后去进行缓存热数据的统计 用得技术方案非常简单，从lua脚本直接创建一个kafka producer，发送数据到kafka ``` wget https://github.com/doujiang24/lua-resty-kafka/archive/master.zip yum install -y unzip unzip lua-resty-kafka-master.zip cp -rf /usr/local/lua-resty-kafka-master/lib/resty /usr/hello/lualib nginx -s reload local cjson = require("cjson") local producer = require("resty.kafka.producer") local broker_list = { { host = "192.168.31.187", port = 9092 }, { host = "192.168.31.19", port = 9092 }, { host = "192.168.31.227", port = 9092 } } local log_json = {} log_json["headers"] = ngx.req.get_headers() log_json["uri_args"] = ngx.req.get_uri_args() log_json["body"] = ngx.req.read_body() log_json["http_version"] = ngx.req.http_version() log_json["method"] =ngx.req.get_method() log_json["raw_reader"] = ngx.req.raw_header() log_json["body_data"] = ngx.req.get_body_data() local message = cjson.encode(log_json); local productId = ngx.req.get_uri_args()["productId"] local async_producer = producer:new(broker_list, { producer_type = "async" }) local ok, err = async_producer:send("access-log", productId, message) if not ok then ngx.log(ngx.ERR, "kafka send err:", err) return end ``` 两台机器上都这样做，才能统一上报流量到kafka ``` bin/kafka-topics.sh --zookeeper 192.168.31.187:2181,192.168.31.19:2181,192.168.31.227:2181 --topic access-log --replication-factor 1 --partitions 1 --create bin/kafka-console-consumer.sh --zookeeper 192.168.31.187:2181,192.168.31.19:2181,192.168.31.227:2181 --topic access-log --from-beginning ``` （1）kafka在187上的节点死掉了，可能是虚拟机的问题，杀掉进程，重新启动一下 nohup bin/kafka-server-start.sh config/server.properties & （2）需要在nginx.conf中，http部分，加入resolver 8.8.8.8; （3）需要在kafka中加入advertised.host.name = 192.168.31.187，重启三个kafka进程 （4）需要启动eshop-cache缓存服务，因为nginx中的本地缓存可能不在了 二、基于storm+kafka完成商品访问次数实时统计拓扑的开发 ==============

storm-wordcount例子 storm-wordcount例子 storm-wordcount例子 storm-wordcount例子

视频详细讲解，需要的小伙伴自行百度网盘下载，链接见附件，永久有效。 Storm视频教程通过含3个Storm完整项目,均为企业实际项目，其中一个是完全由Storm Trident开发。本课程每个技术均采用最新稳定版本，学完后可以从Kafka到Storm项目开发及HighCharts图表开发一个人搞定！涨工资？身价大增？那是必须的！通过课程的学习，可以搭建CDH5生态环境完整平台，且采用Cloudera Manager界面化管理CDH5平台。让Hadoop平台环境搭建和维护都变得轻而易举。

XBeach XBeach是一个开放源代码的数值模型，最初被开发为模拟流体动力和形态动力过程以及对面积为数千米的沙质海岸和风暴时间尺度的影响。 此后，该模型已应用于其他类型的海岸和目的。 该模型包括短波转变（折射，浅滩和破裂），长波（次重力波）转变（产生，传播和耗散），波浪感应的建立和非恒定流以及过冲和淹没的水动力过程。 形态动力学过程包括河床荷载和悬浮泥沙运移，沙丘面崩塌，河床更新和破坏。 包括植被和硬质结构的影响。 使用一组标准的参数设置，已通过一系列分析，实验室和现场测试案例对模型进行了验证。 社区 可以在上找到XBeach社区网站，该网站主持了一个用户论坛，每日构建和测试报告。 Github XBeach源代码托管在的Deltares开源软件（OSS）Subversion存储库中。 这个Github存储库是Subversion存储库的镜像，方便了诸如 ， 或类的自动化服务。

风暴样本 在 Hortonworks HDP 中构建风暴拓扑的示例代码。 这不是一个完整或有效的解决方案，但提供了启动风暴项目所需的所有示例位。 入门： 在 src/main/java/com/hortonworks/streaming/impl 下查看 在topologies目录下我们可以看到Storm拓扑（基类和实现类） 在螺栓下，您可以看到 HDFS（带旋转）、hive 和 solr 的螺栓 StormKafka方案在kafka目录下 此拓扑中的所有项目都是可选的，您可以禁用除 Kafka spout 之外的所有内容来启动，并根据需要添加螺栓。 在 src/main/resources 下查看 修改 config.properties 和 hbase-site.xml 中的所有内容以匹配您的环境 编译： 编译 建造： mvn 包 部署示例脚本： scp target/

从零开始学Storm+第2版(2016).pdf从零开始学Storm+第2版(2016).pdf

在开发时候导入这个包和storm、kafka的核心包即可