paulwong
          

          

          



          
	
					
	
          
		
          
			【轉載】經典漫畫講解HDFS原理 
		
          
		分布式文件系統比較出名的有HDFS  和 GFS，其中HDFS比較簡單一點。本文是一篇描述非常簡潔易懂的漫畫形式講解HDFS的原理。比一般PPT要通俗易懂很多。不難得的學習資料。


          1、三個部分: 客戶端、nameserver（可理解為主控和文件索引,類似linux的inode）、datanode（存放實際數據）

          在這里，client的形式我所了解的有兩種，通過hadoop提供的api所編寫的程序可以和hdfs進行交互，另外一種就是安裝了hadoop的datanode其也可以通過命令行與hdfs系統進行交互，如在datanode上上傳則使用如下命令行：bin/hadoop fs -put example1 user/chunk/


          2、如何寫數據過程





          3、讀取數據過程



          4、容錯：第一部分：故障類型及其檢測方法（nodeserver 故障，和網絡故障，和臟數據問題）




          5、容錯第二部分：讀寫容錯



          6、容錯第三部分：dataNode 失效



          7、備份規則



          8、結束語
          
		
          
			posted on 2013-10-26 09:15 paulwong 閱讀(637) 評論(0)  編輯  收藏  所屬分類: 分布式 、HADOOP 、云計算 
		
          
	
          
	
	





          
	    
    




          








          

				

          



    







          
        
	




主站蜘蛛池模板：
永康市|
基隆市|
高陵县|
神木县|
康乐县|
康定县|
西和县|
巢湖市|
民权县|
余姚市|
乃东县|
台南县|
洪洞县|
彝良县|
扬中市|
阿尔山市|
邓州市|
扶绥县|
大邑县|
白玉县|
乳山市|
天长市|
兴安盟|
孝义市|
绵竹市|
衢州市|
洛浦县|
合山市|
峨边|
西峡县|
轮台县|
凉城县|
上饶县|
遵义县|
广河县|
昌吉市|
墨玉县|
青河县|
时尚|
阳高县|
扎赉特旗|