paulwong
          

          

          



          
	
					
	
          
		
          
			MAPREDUCE運行原理
		
          
		
            
     
          1. 將INPUT通過SPLIT成M個MAP任務
            
     
            2. 
     
            
     
          2. JOB TRACKER將這M個任務分派給TASK TRACKER執行
     
            3. 
     
            
     
          3. TASK TRACKER執行完MAP任務后，會在本地生成文件，然后通知JOB TRACKER
     
            4. 
     
            
     
          4. JOB TRACKER收到通知后，將此任務標記為已完成，如果收到失敗的消息，會將此任務重置為原始狀態，再分派給另一TASK TRACKER執行
     
            5. 
     
            
     
          5. 當所有的MAP任務完成后，JOB TRACKER將MAP執行后生成的LIST重新整理，整合相同的KEY，根據KEY的數量生成R個REDUCE任務，再分派給TASK TRACKER執行
     
            6. 
     
            
     
          6. TASK TRACKER執行完REDUCE任務后，會在HDFS生成文件，然后通知JOB TRACKER
            
     
            
     
            7. 
     
            
     
          7. JOB TRACKER等到所有的REDUCE任務執行完后，進行合并，產生最后結果，通知CLIENT
            
     
            
     
            8. 
     
            
     
          8. TASK TRACKER執行完MAP任務時，可以重新生成新的KEY VALUE對，從而影響REDUCE個數
            
     
            
     
            9. 
     
            

          
		
          
			posted on 2013-01-29 12:54 paulwong 閱讀(275) 評論(0)  編輯  收藏  所屬分類: HADOOP 、云計算 
		
          
	
          
	
	





          
	    
    




          








          

				

          



    







          
        
	




主站蜘蛛池模板：
囊谦县|
日喀则市|
阿拉尔市|
康定县|
仙游县|
牟定县|
得荣县|
河东区|
舟山市|
上犹县|
饶河县|
西城区|
临江市|
嵊泗县|
林口县|
伽师县|
奎屯市|
山西省|
南皮县|
东乡族自治县|
临桂县|
吉首市|
绥芬河市|
马鞍山市|
静海县|
汉中市|
永城市|
临西县|
江达县|
东辽县|
乌鲁木齐县|
清水河县|
辉南县|
商河县|
自贡市|
奎屯市|
宝清县|
柳林县|
宁化县|
巴彦县|
手游|