目 录 2 运营、应用 3 项目案例 1 方案、产品 城市大数据平台全文共31页，当前为第1页。 智慧城市大数据建设背景 城市大数据平台全文共31页，当前为第2页。 大数据平台在智慧城市中的位置 城市大数据平台全文共31页，当前为第3页。 智慧城市大数据建设目标 城市大数据平台全文共31页，当前为第4页。 智慧城市大数据推进思路 城市大数据平台全文共31页，当前为第5页。 智慧城市大数据平台系统架构 人口 法人 自然 经济 空间 基础数据库 WEB 手机终端 音视频/流媒体 传感器 ETL 工作流定制 状态监控 质量 管理 数据管理平台 决策分析平台 大数据开放门户 数据应用 …… 发改 工商 公安 民政 城管 教育 水利 … 业务数据库 主题应用库 数据中心 分析建模设计 可视化设计 HDFS Storm Spark Hive …… 数据服务器 Yarn HBase 业务 …… 业务1 主题1 Weka 监控 预警 主题 …… 数据采集处理 多源 异构 数据权限 用户管理 目录权限 服务发布 数据源、模型管理 目录管理 资源编目 服务监控 跨域服务（API） 服务规划、编排、部署、发
2022-06-21 17:06:18
6.43MB
HDFS架构
HDFS架构图
1
NameNode
2
SecondaryNameNode
3
DataNode
4
Hearbeats
5
Block块
6
目 录
一、HDFS架构图
HDFS的架构是较为经典的主/从架构，在架构图中NameNode是主节点，DataNode是从节点，HDFS Client是客户端、HDFS提供了比较丰富的客户端像cli、api、gui等等支持，SecondaryNameNode作为辅助NameNode工作的一个辅助节点。
HDFS架构图
二、NameNode
首先是NameNode，它是HDFS主从架构当中的主节点，其实主要负责接受客户端提交过来的读写请求、以及一些类似管理的工作，比如说，数据存到HDFS当中每个文件都会对应一份元数据信息，这些元数据信息都是存放在NameNode的内存当中、由NameNode来进行维护。
NameNode
三、SecondaryNameNode
SecondaryNameNode，属于NameNode的辅助结点，主要帮助NameNode完成元数据文件的合并处理工作，HDFS当中元数据持久化文件包含了fsimage、
2022-06-21 16:06:45
473KB
目 录 2 运营、应用 3 项目案例 1 方案、产品 1城市大数据平台全文共31页，当前为第1页。 智慧城市大数据建设背景 1城市大数据平台全文共31页，当前为第2页。 大数据平台在智慧城市中的位置 1城市大数据平台全文共31页，当前为第3页。 智慧城市大数据建设目标 1城市大数据平台全文共31页，当前为第4页。 智慧城市大数据推进思路 1城市大数据平台全文共31页，当前为第5页。 智慧城市大数据平台系统架构 人口 法人 自然 经济 空间 基础数据库 WEB 手机终端 音视频/流媒体 传感器 ETL 工作流定制 状态监控 质量 管理 数据管理平台 决策分析平台 大数据开放门户 数据应用 …… 发改 工商 公安 民政 城管 教育 水利 … 业务数据库 主题应用库 数据中心 分析建模设计 可视化设计 HDFS Storm Spark Hive …… 数据服务器 Yarn HBase 业务 …… 业务1 主题1 Weka 监控 预警 主题 …… 数据采集处理 多源 异构 数据权限 用户管理 目录权限 服务发布 数据源、模型管理 目录管理 资源编目 服务监控 跨域服务（API） 服务规划、编排
2022-06-21 13:04:45
6.42MB
Audience-Oriented & Intelligent Communication 人群定向，智慧传播 人群精准广告投放解决方案 1大数据平台介绍全文共36页，当前为第1页。 网络传播环境 您的目标受众混杂在全国5.91亿网民中，分散在全国超过294万个网站里! 中国互联网规模有多大 ? 中国网民规模已达5.91亿人 全国网站数量达到294万个 网页数量更是突破1,200亿页 中国网民的浏览行为数据 ? 中国网民每月人均访问网站数为75.2个 人均月访问网站时长51.5 小时 平均每网站访问时长0.685 小时 人均月页面浏览数达2236.9 页 1大数据平台介绍全文共36页，当前为第2页。 网络人群趋于 碎片化 分布 随着网站数量爆炸式的增长 综合门户 行业门户 垂直 论坛…… ——网络人群 分流 严重 网民的注意力会分散在越来越多的网络媒体上 1大数据平台介绍全文共36页，当前为第3页。 广告主的困惑 单一的行业网站再也无法覆盖所有本行业的潜在消费者 对企业来说以媒体采购为导向的互联网营销模式已经低效 1大数据平台介绍全文共36页，当前为第4页。 网络广告投放的挑战 单一行
2022-06-21 13:04:38
10.04MB
YARN配置、启动与验证
YARN配置、启动与验证
序号
任务名称
任务一
YARN组件参数配置
任务二
MapReduce组件参数配置
任务三
配置SSH无密钥登录（slave1为主节点）
任务四
分发YARN与MapReduce配置文件
任务五
启动YARN集群
任务六
启动历史服务
任务七
验证YARN集群与历史服务
任务一 YARN组件参数配置
编辑 yarn-site.xml 配置文件（yarn参数配置文件）
yarn.nodemanager.aux-services
mapreduce_shuffle
yarn.resourcemanager.hostname
slave1
yarn.log-aggregation-enable
true
2022-06-21 12:05:03
425KB
MapReduce运行原理
MapReduce运行阶段
1
MapReduce运行架构
2
目 录
一、MapReduce运行阶段
MapReduce重点会分为四个运行阶段，分别是：Split、Map、Shuffle、Reduce。
什么是MapReduce
一、MapReduce运行阶段
此阶段，每个输入文件被分片输入到map。如一个文件有200M，默认会被分成2片，因为每片的默认最大值和每块的默认值128M相同。
如果输入为大量的小文件，则会造成过多的map数，导致效率下降，可采用压缩输入格式。
Split阶段
一、MapReduce运行阶段
执行map任务。map数由分片决定。
Map阶段
Shuffle阶段
将map的输出经过“整理”后给到reduce，也称为“混洗”。分为map端操作和reduce端操作。在map端，map的输出先写入缓存，当每次缓存快满时，由缓存“溢写”至磁盘，每次溢写都先进行“分区”，并对每个分区的数据进行“排序”和“合并”（可选）。一般会产生多个溢写的文件，这些文件会在map端先被“归并”为一个大的磁盘文件，通知reduce任务来领取自己的分区。在red
2022-06-21 12:05:01
499KB
YARN的任务调度
Yarn任务调度机制
1
FIFO Scheduler
2
Capacity Scheduler
3
Fair Scheduler
4
目 录
一、Yarn任务调度机制
现实生产环境当中资源往往是非常紧张的，尤其是在一个很繁忙的集群，一个应用资源的请求经常需要等待一段时间才能的到相应的资源，Yarn提供了多种调度器和可配置的策略供我们选择，来解决这一系列复杂的应用场景。
在Yarn中有三种调度器可以选择：FIFO Scheduler ，Capacity Scheduler，Fair Scheduler。
Yarn任务调度机制
二、FIFO Scheduler
FIFO Scheduler是最简单也是最容易理解的调度器，也不需要任何配置，但它并不适用于共享集群。大的应用可能会占用所有集群资源，这就导致其它应用被阻塞。在共享集群中，更适合采用Capacity Scheduler或Fair Scheduler，这两个调度器都允许大任务和小任务在提交的同时获得一定的系统资源。
FIFO Scheduler
三、Capacity Scheduler
Capacity 调度器允
2022-06-21 12:05:00
624KB
访问HDFS
一、HDFS Shell命令
HDFS Shell命令允许使用命令行的方式在HDFS存储中进行文件夹和文件操作，包括像：文件夹的增删改查、文件的增删改查等等。
HDFS Shell命令
调用文件系统(FS)Shell命令应使用 bin/hadoop fs 的形式。 所有的的FS shell命令使用URI路径作为参数。URI格式是scheme://authority/path。对HDFS文件系统，scheme是hdfs，对本地文件系统，scheme是file。其中scheme和authority参数都是可选的，如果未加指定，就会使用配置中指定的默认scheme。一个HDFS文件或目录比如/parent/child可以表示成hdfs://namenode:namenodeport/parent/child，或者更简单的/parent/child（假设你配置文件中的默认值是namenode:namenodeport）。大多数FS Shell命令的行为和对应的Unix Shell命令类似，不同之处会在下面介绍各命令使用详情时指出。出错信息会输出到stderr，其他信息
2022-06-21 12:05:00
240KB
测试Job
序号
任务名称
任务一
准备MapReduce输入文件
任务二
将输入文件上传到HDFS
任务三
运行MapReduce程序测试Job
任务一 准备MapReduce输入文件
在master主节点，使用 root 用户登录，然后切换为 hadoop用户
[root@master ~]# su – hadoop --从root用户切换为hadoop身份
[hadoop@master ~]$
创建新文件：wc.input 作为 MapReduce输入文件，输入以下内容，然后保存文件
[hadoop@master ~]$ vi wc.input
hadoop mapreduce hive spark
hbase spack storm
sqoop hadoop hive
spark hadoop
查看输入的文件内容
[hadoop@master ~]$ more wc.input
任务二 将输入文件上传到HDFS
在master主节点，使用 root 用户登录，然后切换为 hadoop用户
[root@master ~]# su – hadoop --从root用户切换为hado
2022-06-21 12:04:49
486KB