MapReduce是google發明的一種編程模型。在這種編程模型下,用戶通過定義一個map函數和一個reduce函數來解決問題。map函數對用戶輸入的鍵/值對(key/value pair)進行處理(處理時可能只有值這一項有用),生成一系列新的鍵/值對作為中間結果;系統(MapReduce的實現)對map函數生成的鍵/值對進行處理,將同屬于一個鍵(key)的值(value)組合在一起,生成鍵/值列表((key/list of values) pair)對;reduce函數將鍵/值列表對作為輸入,對同屬于一個鍵的值列表進行處理,生成最終處理結果輸出。
如果一個問題可以通過MapReduce編程模型來表達和解決,就可以通過MapReduce系統自動獲得并行執行能力。程序員不需要有并行程序設計的經驗,只需要定義map和reduce函數。 閱讀全文
posted @ 2010-04-21 11:29 泰仔在線 閱讀(1579) | 評論 (0) | 編輯 收藏