paulwong
          

          

          



          
	
					
	
          
		
          
			MAPREDUCE運行原理
		
          
		
            
     
          1. 將INPUT通過SPLIT成M個MAP任務
            
     
            2. 
     
            
     
          2. JOB TRACKER將這M個任務分派給TASK TRACKER執行
     
            3. 
     
            
     
          3. TASK TRACKER執行完MAP任務后，會在本地生成文件，然后通知JOB TRACKER
     
            4. 
     
            
     
          4. JOB TRACKER收到通知后，將此任務標記為已完成，如果收到失敗的消息，會將此任務重置為原始狀態，再分派給另一TASK TRACKER執行
     
            5. 
     
            
     
          5. 當所有的MAP任務完成后，JOB TRACKER將MAP執行后生成的LIST重新整理，整合相同的KEY，根據KEY的數量生成R個REDUCE任務，再分派給TASK TRACKER執行
     
            6. 
     
            
     
          6. TASK TRACKER執行完REDUCE任務后，會在HDFS生成文件，然后通知JOB TRACKER
            
     
            
     
            7. 
     
            
     
          7. JOB TRACKER等到所有的REDUCE任務執行完后，進行合并，產生最后結果，通知CLIENT
            
     
            
     
            8. 
     
            
     
          8. TASK TRACKER執行完MAP任務時，可以重新生成新的KEY VALUE對，從而影響REDUCE個數
            
     
            
     
            9. 
     
            

          
		
          
			posted on 2013-01-29 12:54 paulwong 閱讀(275) 評論(0)  編輯  收藏  所屬分類: HADOOP 、云計算 
		
          
	
          
	
	





          
	    
    




          








          

				

          



    







          
        
	




主站蜘蛛池模板：
美姑县|
阜平县|
潞西市|
瑞昌市|
汉川市|
汽车|
格尔木市|
潮州市|
麦盖提县|
岳西县|
桐梓县|
那曲县|
东港市|
平江县|
芷江|
普陀区|
阜宁县|
东乌|
永修县|
抚宁县|
九江县|
永丰县|
玉田县|
兴业县|
大理市|
宝山区|
仲巴县|
分宜县|
贵阳市|
衡阳县|
江门市|
安图县|
碌曲县|
化德县|
神农架林区|
建瓯市|
望谟县|
徐闻县|
麻城市|
清丰县|
屯门区|