隨筆分類(31)

文章分類(4)

Java

（轉(zhuǎn)）TB級別的網(wǎng)頁容器實現(xiàn)方法參考摘要: 轉(zhuǎn)自javaeye。一個高性能的Web爬蟲，必須有一個合適的網(wǎng)頁容器。該容量最大的特點是要能夠通過URL直接存取網(wǎng)頁內(nèi)容，并且要求有很高的性能，在一個千萬級別的容器中存取一萬次的時間應在1分鐘左右(普通PC上)。采用拆衷的辦法，在文件系統(tǒng)的基礎上建立一組大文件和一組輔助文件，輔助文件實現(xiàn)通過URL定位該URL代表的網(wǎng)頁在大文件中的位置，從頁實現(xiàn)不隨文件數(shù)量增長而性能變化的快速存取。以下將描述一個簡潔的實現(xiàn)。閱讀全文
posted @ 2009-06-04 21:04 Dest| 編輯
常用中文分詞- 整理收集摘要: 在網(wǎng)上搜集并整理了一些常用中文分詞包，后面慢慢補全：庖丁解牛分詞包；LingPipe，開源自然語言處理的Java開源工具包；JE分詞包；LibMMSeg；IKAnalyzer；PHPCWS 閱讀全文
posted @ 2009-06-04 21:01 Dest| 編輯
字符集編碼和編碼字符集（轉(zhuǎn)摘）
posted @ 2009-02-20 21:58 Dest| 編輯
Base64編碼學習和java源程序?qū)崿F(xiàn)
posted @ 2008-12-23 17:36 Dest| 編輯
Java 生成隨機序列摘要: 從網(wǎng)上總結(jié)的比較好的生成隨機序列的算法：）閱讀全文
posted @ 2008-12-23 17:32 Dest| 編輯


Copyright © Dest	Powered by: 博客園模板提供：滬江博客