posted @ 2011-09-08 08:59 itspy 閱讀(337) | 評論 (0) | 編輯 收藏
posted @ 2011-09-07 21:02 itspy 閱讀(16324) | 評論 (0) | 編輯 收藏
摘要: Hadoop在做Join時, Bloom Filter可以在Mapper階段就幫助過濾掉大部分無用數(shù)據(jù), 同時也不需要把大量的List數(shù)據(jù)復(fù)制到每個Mapper節(jié)點. 相比下面的幾種方法十分具有優(yōu)勢.
1) 在Reduce階段進行Join,這樣運算量比較小.(這個適合被Join的數(shù)據(jù)比較小的情況下.)
2) 壓縮字段,對數(shù)據(jù)預(yù)處理,過濾不需要的字段.
閱讀全文
1) 在Reduce階段進行Join,這樣運算量比較小.(這個適合被Join的數(shù)據(jù)比較小的情況下.)
2) 壓縮字段,對數(shù)據(jù)預(yù)處理,過濾不需要的字段.
閱讀全文
posted @ 2011-08-22 21:43 itspy 閱讀(1576) | 評論 (0) | 編輯 收藏
摘要: class Student {
public String email="lilao#163.com";
//下面這個代碼符合語法嗎?這段代碼有實際用處嗎?
{System.out.println("Hello, I'm in Student: "+getClass());}
}
閱讀全文
public String email="lilao#163.com";
//下面這個代碼符合語法嗎?這段代碼有實際用處嗎?
{System.out.println("Hello, I'm in Student: "+getClass());}
}
閱讀全文
posted @ 2011-08-12 15:09 itspy 閱讀(477) | 評論 (0) | 編輯 收藏
posted @ 2011-08-10 18:12 itspy 閱讀(465) | 評論 (0) | 編輯 收藏
posted @ 2009-12-15 12:37 itspy 閱讀(473) | 評論 (0) | 編輯 收藏
posted @ 2009-08-07 10:30 itspy 閱讀(311) | 評論 (0) | 編輯 收藏