大数据与分布式计算 大数据与分布式计算全文共64页,当前为第1页。 HDFS Hadoop Distributed File System 大数据与分布式计算全文共64页,当前为第2页。 1990年,一个普通的硬盘驱动器可存储1370 MB的数据并拥有4.4 MB/s的传输速度 ,所以,只需五分钟的时间就可以读取整个磁盘的数据。 20年过去了,1 TB级别的磁盘驱动器是很正常的,但是数据传输的速度却在100 MB/s左右。所以它需要花两个半小时以上的时间读取整个驱动器的数据。 从一个驱动器上读取所有的数据需要很长的时间,写甚至更慢。 如何解决? 磁盘损坏数据丢失怎么办? 如果需要存储计算1000T数据怎么办? 大数据与分布式计算全文共64页,当前为第3页。 常用RAID技术 大数据与分布式计算全文共64页,当前为第4页。 RAID类型 访问速度 数据可靠性 磁盘利用率 RAID0 很快 很低 100% RAID1 很慢 很高 50% RAID10 中等 很高 50% RAID5 较快 较高 (N-1)/N RAID6 较快 较(RAID5)高 (N-2)/N 大数据与分布式计算全文共6
2022-06-21 17:05:52
4.2MB
文档资料