能独立熟练完成Hadoop的安装及熟悉Hadoop的配置与管理 熟练地在Hadoop和操作系统以及关系型数据库之前传递数据 能独立制定数据集成方案 熟练地向Hadoop提交作业以及查询作业运行情况 了解Map-Reduce原理，能书写Map-Reduce程序 了解HDFS原理，能熟练地对HDFS中的文件进行管理 能独立完成pig的安装并且利用pig做简单的数据分析工作 能独立完成Hbase的安装和配置 了解Hbase的原理并能进行简单的shell操作 能独立完成Hive的安装和配置 了解Hive的原理及进行HiveQL操作

Hadoop, Apache开源的分布式框架。源自Google GFS,BigTable,MapReduce 论文。 == HDFS == HDFS (Hadoop Distributed File System),Hadoop 分布式文件系统。 NameNode,HDFS命名服务器,负责与DataNode文件元信息保存。 DataNode,HDFS数据节点，负责存储数据存储并汇报给NameNode。 SecondaryNamenode,NameNode的镜像备份节点 ==Map Reduce== JobTracker，hadoop的Map/Reduce调度器，负责与TackTracker通信分配计算任务并跟踪任务进度。 TaskTracker,启动和管理Map和Reduce子任务的节点。

一些大数据的习题，关于基础知识和HDFS,MapReduce的 Hadoop是一个由Apache基金会所开发的分布式系统基础架构。

一、关系运算： 4 1. 等值比较: = 4 2. 不等值比较: 4 3. 小于比较: < 4 4. 小于等于比较: 5 6. 大于等于比较: >= 5 7. 空值判断: IS NULL 5 8. 非空判断: IS NOT NULL 6 9. LIKE比较: LIKE 6 10. JAVA的LIKE操作: RLIKE 6 11. REGEXP操作: REGEXP 7 二、数学运算： 7 1. 加法操作: + 7 2. 减法操作: - 7 3. 乘法操作: * 8 4. 除法操作: / 8 5. 取余操作: % 8 6. 位与操作: & 9 7. 位或操作: | 9 8. 位异或操作: ^ 9 9．位取反操作: ~ 10 三、逻辑运算： 10 1. 逻辑与操作: AND 10 2. 逻辑或操作: OR 10 3. 逻辑非操作: NOT 10 四、数值计算 11 1. 取整函数: round 11 2. 指定精度取整函数: round 11 3. 向下取整函数: floor 11 4. 向上取整函数: ceil 12 5. 向上取整函数: ceiling 12 6. 取随机数函数: rand 12 7. 自然指数函数: exp 13 8. 以10为底对数函数: log10 13 9. 以2为底对数函数: log2 13 10. 对数函数: log 13 11. 幂运算函数: pow 14 12. 幂运算函数: power 14 13. 开平方函数: sqrt 14 14. 二进制函数: bin 14 15. 十六进制函数: hex 15 16. 反转十六进制函数: unhex 15 17. 进制转换函数: conv 15 18. 绝对值函数: abs 16 19. 正取余函数: pmod 16 20. 正弦函数: sin 16 21. 反正弦函数: asin 16 22. 余弦函数: cos 17 23. 反余弦函数: acos 17 24. positive函数: positive 17 25. negative函数: negative 17 五、日期函数 18 1. UNIX时间戳转日期函数: from_unixtime 18 2. 获取当前UNIX时间戳函数: unix_timestamp 18 3. 日期转UNIX时间戳函数: unix_timestamp 18 4. 指定格式日期转UNIX时间戳函数: unix_timestamp 18 5. 日期时间转日期函数: to_date 19 6. 日期转年函数: year 19 7. 日期转月函数: month 19 8. 日期转天函数: day 19 9. 日期转小时函数: hour 20 10. 日期转分钟函数: minute 20 11. 日期转秒函数: second 20 12. 日期转周函数: weekofyear 20 13. 日期比较函数: datediff 21 14. 日期增加函数: date_add 21 15. 日期减少函数: date_sub 21 六、条件函数 21 1. If函数: if 21 2. 非空查找函数: COALESCE 22 3. 条件判断函数：CASE 22 4. 条件判断函数：CASE 22 七、字符串函数 23 1. 字符串长度函数：length 23 2. 字符串反转函数：reverse 23 3. 字符串连接函数：concat 23 4. 带分隔符字符串连接函数：concat_ws 23 5. 字符串截取函数：substr,substring 24 6. 字符串截取函数：substr,substring 24 7. 字符串转大写函数：upper,ucase 24 8. 字符串转小写函数：lower,lcase 25 9. 去空格函数：trim 25 10. 左边去空格函数：ltrim 25 11. 右边去空格函数：rtrim 25 12. 正则表达式替换函数：regexp_replace 26 13. 正则表达式解析函数：regexp_extract 26 14. URL解析函数：parse_url 26 15. json解析函数：get_json_object 27 16. 空格字符串函数：space 27 17. 重复字符串函数：repeat 27 18. 首字符ascii函数：ascii 28 19. 左补足函数：lpad 28 20. 右补足函数：rpad 28 21. 分割字符串函数: split 28 22. 集合查找函数: find_in_set 29 八、集合统计函数 29 1. 个数统计函数: count 29 2. 总和统计函数: sum 29 3. 平均值统计函数:

1、将com.constants.Constans.java中的ip地址和端口号改为您Hadoop集群中主节点的IP地址以及端口号（默认为9000）。 2、将MyStream.html中video标签中的url：http://localhost:8080/HDFSVideoDemo/stream?fpath=/test.mp4 中的fpath参数改为您Hadoop集群中视频文件的路径。 3、将工程部署在web服务器并启动。 4、访问http://localhost:8080/HDFSVideoDemo/MyStream.html即可。

hadoop中HDFS部分内容学习

01_大数据项目之电商数仓_用户行为采集平台.docx

100节课详细讲解，需要的小伙伴自行百度网盘下载，链接见附件，永久有效。 01_hadoop_hdfs1分布式文件系统01 02_hadoop_hdfs1分布式文件系统02 03_hadoop_hdfs1分布式文件系统03 04_hadoop_hdfs1分布式文件系统04 05_hadoop_hdfs1分布式文件系统05 06_hadoop_hdfs1分布式文件系统06 07_hadoop_hdfs1分布式文件系统07 08_hadoop_hdfs1分布式文件系统08_io 09_hadoop_hdfs1分布式文件系统09_io 10_hadoop_hdfs1分布式文件系统10 11_hadoop_hdfs1分布式文件系统11 12_hadoop_hdfs1分布式文件系统12 13_hadoop_hdfs1分布式文件系统13 14_mr分布式计算框架_理论1 15_mr分布式计算框架_理论2 16_mr分布式计算框架_理论3 17_mr分布式计算框架_理论4 18_mr分布式计算框架_理论5 19_mr分布式计算框架_理论6 20_mr分布式计算框架_install01 21_mr分布式计算框架_install02 22_mr分布式计算框架_wc01 23_mr分布式计算框架_wc02 24_mr分布式计算框架_wc03 25_mr分布式计算框架_wc04 26_mr_qq推荐好友01 27_mr_qq推荐好友02 28_mr_精准广告推送01 29_mr_精准广告推送02 30_mr_精准广告推送03 31_mr_精准广告推送04 32_hadoop2.x_介绍01 33_hadoop2.x_介绍02 34_hadoop2.x_ha介绍01 35_hadoop2.x_ha介绍02 36_hadoop2.x_ha介绍03 37_hadoop2.x_ha介绍04 38_hadoop_hadoop2.5.2的安装部署01 39_hadoop_hadoop2.5.2的安装部署02 40_hadoop_hadoop2.5.2的安装部署03 41_hadoop_hadoop2.5.2的安装部署04 42_hadoop_hadoop2.5.2的安装部署05 43_hadoop_hadoop2.5.2的安装部署06 44_hadoop2.x_温度排序，分区，分组，自定义封装类01 45_hadoop2.x_温度排序，分区，分组，自定义封装类02 46_hadoop2.x_温度排序，分区，分组，自定义封装类03 47_hadoop2.x_温度排序，分区，分组，自定义封装类04 48_hadoop2.x_温度排序，分区，分组，自定义封装类05 49_hadoop2.x_温度排序，分区，分组，自定义封装类06 50_hadoop2.x_广告推送用户轨迹01 51_hadoop2.x_广告推送用户轨迹02 52_hadoop2.x_广告推送用户轨迹03 53_hadoop2.x_广告推送用户轨迹04 54_hadoop2.x_广告推送用户轨迹05 55_hadoop2.x_广告推送用户轨迹06 56_hive_介绍和安装01 57_hive_介绍和安装02 58_hive_介绍和安装03 59_hive_介绍和安装04 60_hive_ddl数据定义语言01 61_hive_ddl数据定义语言02 62_hive_ddl数据定义语言03 63_hive_ddl数据定义语言04 64_hive_dml数据操作语言_select01 65_hive_dml数据操作语言_select02 66_hive_dml数据操作语言_select03 67_hive_dml数据操作语言_select04 68_hive_server2服务器01 69_hive_server2服务器02 70_hive_server2服务器03 71_hive_server2服务器04 72_hadoop_轨迹分析01 73_hadoop_轨迹分析02 74_hadoop_轨迹分析03 75_hadoop_轨迹分析04 76mr分布式计算框架_理论01 77mr分布式计算框架_理论02 78_hbase_介绍01 79_hbase_介绍02 80_hbase_介绍03 81_hbase_介绍04 82_hbase_介绍05 83_hbase_介绍06 84_hbase_介绍07 85_hbase_介绍08 86_hbase_介绍09 87_hbase_介绍10 88_hbase_完全分布式01 89_hbase_完全分布式02 90_hbase_代码01 91_hbase_代码02 92_hbase_代码03 93_hbase_代码04 等等

回顾复习了Hadoop知识，绘制思维导图帮助记忆和复习。知识点包括Hadoop环境构建 、hdfs、yarn、hive、hbase和mapreduce。

第3章分布式文件系统.pdf