Apache Spark 是专为大规模数据处理而设计的快速通用的计算引擎。Spark是UC Berkeley AMP lab (加州大学伯克利分校的AMP实验室)所开源的类Hadoop MapReduce的通用并行框架，Spark，拥有Hadoop MapReduce所具有的优点；但不同于MapReduce的是——Job中间输出结果可以保存在内存中，从而不再需要读写HDFS，因此Spark能更好地适用于数据挖掘与机器学习等需要迭代的MapReduce的算法。 Spark 是一种与 Hadoop 相似的开源集群计算环境，但是两者之间还存在一些不同之处，这些有用的不同之处使 Spark 在某些工作负载方面表现得更加优越，换句话说，Spark 启用了内存分布数据集，除了能够提供交互式查询外，它还可以优化迭代工作负载。 Spark 是在 Scala 语言中实现的，它将 Scala 用作其应用程序框架。与 Hadoop 不同，Spark 和 Scala 能够紧密集成，其中的 Scala 可以像操作本地集合对象一样轻松地操作分布式数据集。

手动的 指示 按此顺序运行pre-install.sh ， download.sh ， install.sh 。 编辑文件/opt/kafka_2.10-0.8.2.2/config/server.properties 。 在第20行中设置broker.id。 在第28行中添加您的hostname：port。 在第118行中添加Zookeeper主机的地址。 编辑文件/opt/kibana-4.1.2-linux-x64/config/kibana.yml 。 在第8行中添加Elasticsearch主机的地址。 执行命令 在节点（例如dbnode）上运行Elasticsearch。 /opt/elasticsearch-1.7.2/bin/elasticsearch 运行Kafka zookeeper，然后运行节点上的服务器（例如node0）。 /opt/kafka_2

前言 由于logstash内存占用较大,灵活性相对没那么好,ELK正在被EFK逐步替代.其中本文所讲的EFK是Elasticsearch+Fluentd+Kfka,实际上K应该是Kibana用于日志的展示,这一块不做演示,本文只讲述数据的采集流程. 前提 docker docker-compose apache kafka服务 架构 数据采集流程 数据的产生使用cadvisor采集容器的监控数据并将数据传输到Kafka. 数据的传输链路是这样: Cadvisor->Kafka->Fluentd->elasticsearch 每一个服务都可以横向扩展,添加服务到日志系统中. 配置文件 dock

使用docker离线安装 zookpeer，kafka，kafka-ui，资源包含镜像，docker-compose文件，以及一键启动脚本。

基于Ｓｐａｒｋ框架的新闻推荐系统的设计与实现

如果你的计算机上已经安装了Hadoop，本步骤可以略过。这里假设没有安装。如果没有安装Hadoop，请访问Hadoop安装教程_单机/伪分布式配置_Hadoop2.6.0/Ubuntu14.04,依照教程学习安装即可。注意，在这个Hadoop安装教程中，就包含了Java的安装，所以，按照这个教程，就可以完成JDK和Hadoop这二者的安装。

文档非常详细，分为四个部分： ①VMware的安装 ②VMware下安装Ubuntu ③Hadoop的安装与配置 ④Spark的安装配置

基于hadoop2.7.2，scala2.11的sparklinux软件包，解压到指定目录后即可使用，实测可行

该资源包包含了zookeeper，Kafka，gpmall-repo包以及搭建所需要的全部资源。单节点在线商城通常是指一个简单的、单一实例的在线商城系统，它运行在一个服务器节点上。这种系统通常用于小型的电子商务业务或者用于学习和测试的目的。要搭建一个单节点在线商城系统，你可以考虑以下步骤： 选择合适的电子商务平台：选择一个适合你需求的开源电子商务平台，比如 Magento、WooCommerce、OpenCart 等 准备服务器环境：在你的服务器上安装并配置合适的 web 服务器（比如 Nginx 或 Apache）、数据库（比如 MySQL 或 PostgreSQL）以及 PHP 或其他必要的后端语言环境。 安装和配置选定的电子商务平台 添加商品和设置商城参数：使用平台提供的管理界面，添加商品信息，设置商城的基本参数，比如配送方式、支付方式等 测试商城功能：在搭建完毕后，对商城进行功能测试，确保用户可以浏览商品、下订单并完成支付等基本操作。 部署安全策略

基于xml方式，spring整合kafka demo实例。该实例直接下载即可正常运行