大数据与分布式计算.pptx

大数据与分布式计算 大数据与分布式计算全文共64页，当前为第1页。 HDFS Hadoop Distributed File System 大数据与分布式计算全文共64页，当前为第2页。 1990年，一个普通的硬盘驱动器可存储1370 MB的数据并拥有4.4 MB/s的传输速度 ，所以，只需五分钟的时间就可以读取整个磁盘的数据。 20年过去了，1 TB级别的磁盘驱动器是很正常的，但是数据传输的速度却在100 MB/s左右。所以它需要花两个半小时以上的时间读取整个驱动器的数据。 从一个驱动器上读取所有的数据需要很长的时间，写甚至更慢。 如何解决？ 磁盘损坏数据丢失怎么办？ 如果需要存储计算1000T数据怎么办？ 大数据与分布式计算全文共64页，当前为第3页。 常用RAID技术 大数据与分布式计算全文共64页，当前为第4页。 RAID类型 访问速度 数据可靠性 磁盘利用率 RAID0 很快 很低 100% RAID1 很慢 很高 50% RAID10 中等 很高 50% RAID5 较快 较高 （N-1）/N RAID6 较快 较（RAID5）高 （N-2）/N 大数据与分布式计算全文共6