paulwong
          

          

          



          
	
					
	
          
		
          
			MAPREDUCE運行原理
		
          
		
            
     
          1. 將INPUT通過SPLIT成M個MAP任務
            
     
            2. 
     
            
     
          2. JOB TRACKER將這M個任務分派給TASK TRACKER執行
     
            3. 
     
            
     
          3. TASK TRACKER執行完MAP任務后，會在本地生成文件，然后通知JOB TRACKER
     
            4. 
     
            
     
          4. JOB TRACKER收到通知后，將此任務標記為已完成，如果收到失敗的消息，會將此任務重置為原始狀態，再分派給另一TASK TRACKER執行
     
            5. 
     
            
     
          5. 當所有的MAP任務完成后，JOB TRACKER將MAP執行后生成的LIST重新整理，整合相同的KEY，根據KEY的數量生成R個REDUCE任務，再分派給TASK TRACKER執行
     
            6. 
     
            
     
          6. TASK TRACKER執行完REDUCE任務后，會在HDFS生成文件，然后通知JOB TRACKER
            
     
            
     
            7. 
     
            
     
          7. JOB TRACKER等到所有的REDUCE任務執行完后，進行合并，產生最后結果，通知CLIENT
            
     
            
     
            8. 
     
            
     
          8. TASK TRACKER執行完MAP任務時，可以重新生成新的KEY VALUE對，從而影響REDUCE個數
            
     
            
     
            9. 
     
            

          
		
          
			posted on 2013-01-29 12:54 paulwong 閱讀(283) 評論(0)  編輯  收藏  所屬分類: HADOOP 、云計算 
		
          
	
          
	
	





          
	    
    




          








          

				

          



    







          
        
	




主站蜘蛛池模板：
内黄县|
抚州市|
盐城市|
德保县|
务川|
句容市|
得荣县|
栾川县|
兴化市|
阜城县|
延川县|
上杭县|
陕西省|
舟山市|
台南县|
崇左市|
咸阳市|
曲水县|
哈巴河县|
郸城县|
巫山县|
洛隆县|
夏邑县|
辉县市|
岳池县|
星子县|
黔西县|
永德县|
香港
|
陵水|
吉水县|
洪湖市|
依兰县|
武威市|
西充县|
株洲县|
河西区|
尉氏县|
水城县|
仲巴县|
务川|