大数据开发笔试全文共4页,当前为第1页。大数据开发笔试全文共4页,当前为第1页。1、 hdfs原理,以及各个模块的职责 大数据开发笔试全文共4页,当前为第1页。 大数据开发笔试全文共4页,当前为第1页。 答:Hadoop Distributed File System即: Hadoop分布式文件系统,就是把数据划分成不同的Block分别存储在不同节点的设备上。它分为两个部分:NameNode和DateNode,NameNode相当于一个领导,将文件系统的Meta-data存储在内存中,这些信息主要包括了文件信息、每一个文件对应的文件块的信息和每一个文件块在DataNode的信息等。它管理集群内的DataNode,当客户发送请求过来后,NameNode会根据Meta-data指定存储到哪些DataNode上,而其本身并不存储真实的数据。 2、 mr的工作原理 答:当客户提交作业后,MapReduce库先把任务splits不同的块,然后根据"移动计算比移动数据更明智"的思想,把任务分发到各个DataNode上。在不同的DataNode上分别执行Map操作,产生键值对,然后通过shuffl
2022-06-21 22:03:43
109KB
文档资料