paulwong
          

          

          



          
	
					
	
          
		
          
			MAPREDUCE運行原理
		
          
		
            
     
          1. 將INPUT通過SPLIT成M個MAP任務
            
     
            2. 
     
            
     
          2. JOB TRACKER將這M個任務分派給TASK TRACKER執行
     
            3. 
     
            
     
          3. TASK TRACKER執行完MAP任務后，會在本地生成文件，然后通知JOB TRACKER
     
            4. 
     
            
     
          4. JOB TRACKER收到通知后，將此任務標記為已完成，如果收到失敗的消息，會將此任務重置為原始狀態，再分派給另一TASK TRACKER執行
     
            5. 
     
            
     
          5. 當所有的MAP任務完成后，JOB TRACKER將MAP執行后生成的LIST重新整理，整合相同的KEY，根據KEY的數量生成R個REDUCE任務，再分派給TASK TRACKER執行
     
            6. 
     
            
     
          6. TASK TRACKER執行完REDUCE任務后，會在HDFS生成文件，然后通知JOB TRACKER
            
     
            
     
            7. 
     
            
     
          7. JOB TRACKER等到所有的REDUCE任務執行完后，進行合并，產生最后結果，通知CLIENT
            
     
            
     
            8. 
     
            
     
          8. TASK TRACKER執行完MAP任務時，可以重新生成新的KEY VALUE對，從而影響REDUCE個數
            
     
            
     
            9. 
     
            

          
		
          
			posted on 2013-01-29 12:54 paulwong 閱讀(283) 評論(0)  編輯  收藏  所屬分類: HADOOP 、云計算 
		
          
	
          
	
	





          
	    
    




          








          

				

          



    







          
        
	




主站蜘蛛池模板：
陵水|
微博|
竹山县|
辛集市|
行唐县|
石城县|
武功县|
庆安县|
乾安县|
威信县|
山阴县|
化州市|
阿合奇县|
通山县|
正安县|
长垣县|
重庆市|
兴业县|
永顺县|
名山县|
富阳市|
长丰县|
吴桥县|
新龙县|
新蔡县|
宣化县|
宝鸡市|
仁化县|
涿州市|
枣阳市|
长子县|
长沙县|
若羌县|
瑞安市|
衡南县|
江川县|
麻江县|
喀喇|
都安|
安平县|
化德县|