能独立熟练完成Hadoop的安装及熟悉Hadoop的配置与管理 熟练地在Hadoop和操作系统以及关系型数据库之前传递数据 能独立制定数据集成方案 熟练地向Hadoop提交作业以及查询作业运行情况 了解Map-Reduce原理，能书写Map-Reduce程序 了解HDFS原理，能熟练地对HDFS中的文件进行管理 能独立完成pig的安装并且利用pig做简单的数据分析工作 能独立完成Hbase的安装和配置 了解Hbase的原理并能进行简单的shell操作 能独立完成Hive的安装和配置 了解Hive的原理及进行HiveQL操作

软件环境：?Jenkins & Pipeline + Kubernetes & Docker + Git + Maven + Harbor?工作流程：手动/自动构建 -> Jenkins 调度 K8S API?-＞动态生成 Jenkins Slave pod -＞ Slave pod 拉取 Git 代码／编译／打包镜像 -＞推送到镜像仓库?Harbor -＞?Slave 工作完成，Pod 自动销毁 -＞部署到测试或生产 Kubernetes平台 。学完这门课程会获得什么？首先学习架构设计及目标，然后一步步部署这套架构，**结合JAVA项目具体说明如何使用Jenkins实现企业CI（持续集成）/CD（持续部署/交付）及自动化。通过这个企业案例贯穿软件生命周期，学习实现思路及技巧，学完能独立打造一套健壮高效的CI/CD环境。

1 初识HADOOP 3 1.1 MAPREDUCE模型介绍 3 1.2 HADOOP介绍 5 1.2.1 Hadoop的核心MapReduce 6 1.2.2 Hadoop的分布式文件系统 7 1.3 安装HADOOP 8 1.3.1 安装的前提条件 8 1.3.2 安装Hadoop 13 1.3.3 检查你的环境 14 1.4 执行和测试HADOOP样例程序 18 1.4.1 Hadoop的样例代码 18 1.4.2 测试Hadoop 23 1.5 解决问题 24 1.6 总结 25 2 MAPREDUCE任务的基础知识 26 2.1 HADOOP MAPREDUCE作业的基本构成要素 26 2.1.1 输入分割块 30 2.1.2 一个简单的Map任务：IdentityMapper 30 2.1.3 一个简单的Reduce任务：IdentityReducer 32 2.2 配置作业 34 2.2.1 指定输入格式 43 2.2.2 设置输出参数 45 2.2.3 配置Reduce阶段 50 2.3 执行作业 52 2.4 创建客户化的MAPPER和REDUCER 54 2.4.1 设置客户化的Mapper 54 2.4.2 作业完成 60 2.4.3 创建客户化的Reducer 62 2.4.4 为什么Mapper和Reducer继承自MapReduceBase 65 2.4.5 使用客户化分割器 66 2.5 总结 68

Splunk是一个分析计算机系统产生的机器数据，并在广泛的场景中提供数据收集、分析、可视化分布式的数据计算平台。客户可使用 Splunk 来搜索、监测、分析和可视化机器数据。本套课程为2018年录制，共23集，软件版本7.1。

apache kylin 3.1,

云计算与大数据安全论坛 基于硬件的云计算平台安全架构 威胁感知与攻防转换之道 基于真实应用的大数据仿真和云安全测试 连接用户与互联网应用的信任桥梁 如何防范云计算服务商的上帝之手-云平台的审计与监管 虚拟化平台的安全研究现状与趋势

伴随互联网科技、云计算、大数据和人工智能的发展，未来的医疗模式应该是这样的：更全面的医疗 资讯在个人健康管理和病患就医中的广泛应用，患者方便地拥有自身个性化的全健康信息和贴身服务； 医生不再受限于自身的局限而能够方便地获得医疗领域最新成果、资源和 医护辅助，并通过安全的云服务方式使得医生和患者之间能够充分地相互 合作；医生对患者的医护不再局限于医院设备、地点和时间，可以通过云 服务方式进行随需服务，提供广范围的、准实时的医治和救护；患者无论 身在何时何地都能通过远程医疗享受高质量医疗服务，并且通过云服务获 得及时的健康提醒和医疗资源互联互通。

ES运维实践： 注意内容涉及： 1、基本原理概述 2、运维监控 3、数据安全 4、数据质量 5、常见问题与案例

本课程主要讲解在实际项目开发中，企业构建大数据平台的方案及实战。详细阐述企业级大数据平台的架构设计、机器选型、集群规划、技术选型、资源规划等技术方案。实战演练基于Cloudera Manager(CDH6)安装部署、监控管理、运营维护大数据平台的各个服务组件。从理论经验到实战演练，从设计思想到流程实施，亲力亲测，你也绝对可以。推荐进阶课程：大数据运维尖刀班

6.1 云数据库概述 6.2 云数据库产品 6.3 云数据库系统架构 6.4 Amazon AWS和云数据库