導(dǎo)航

留言簿(1)

隨筆分類(31)

文章分類(4)

收藏夾(21)

搜索

積分與排名

積分 - 30078
排名 - 1390

閱讀排行榜

Java

（轉(zhuǎn)）TB級(jí)別的網(wǎng)頁容器實(shí)現(xiàn)方法參考摘要: 轉(zhuǎn)自javaeye。一個(gè)高性能的Web爬蟲，必須有一個(gè)合適的網(wǎng)頁容器。該容量最大的特點(diǎn)是要能夠通過URL直接存取網(wǎng)頁內(nèi)容，并且要求有很高的性能，在一個(gè)千萬級(jí)別的容器中存取一萬次的時(shí)間應(yīng)在1分鐘左右(普通PC上)。采用拆衷的辦法，在文件系統(tǒng)的基礎(chǔ)上建立一組大文件和一組輔助文件，輔助文件實(shí)現(xiàn)通過URL定位該URL代表的網(wǎng)頁在大文件中的位置，從頁實(shí)現(xiàn)不隨文件數(shù)量增長而性能變化的快速存取。以下將描述一個(gè)簡(jiǎn)潔的實(shí)現(xiàn)。閱讀全文
posted @ 2009-06-04 21:04 Dest| 編輯
常用中文分詞- 整理收集摘要: 在網(wǎng)上搜集并整理了一些常用中文分詞包，后面慢慢補(bǔ)全：庖丁解牛分詞包；LingPipe，開源自然語言處理的Java開源工具包；JE分詞包；LibMMSeg；IKAnalyzer；PHPCWS 閱讀全文
posted @ 2009-06-04 21:01 Dest| 編輯
字符集編碼和編碼字符集（轉(zhuǎn)摘）
posted @ 2009-02-20 21:58 Dest| 編輯
Base64編碼學(xué)習(xí)和java源程序?qū)崿F(xiàn)
posted @ 2008-12-23 17:36 Dest| 編輯
Java 生成隨機(jī)序列摘要: 從網(wǎng)上總結(jié)的比較好的生成隨機(jī)序列的算法：）閱讀全文
posted @ 2008-12-23 17:32 Dest| 編輯


Copyright © Dest	Powered by: 博客園模板提供：滬江博客

導(dǎo)航

留言簿(1)

隨筆分類(31)

文章分類(4)

收藏夾(21)

搜索

積分與排名

最新隨筆

最新評(píng)論

閱讀排行榜