泰仔在線

          java學習,心情日記,繽紛時刻
          posts - 100, comments - 34, trackbacks - 0, articles - 0

          2009年9月5日

               摘要: Linuxのポート狀況を確認する(netstat)
          Linuxのポート狀況を確認するには、netstatコマンドを使用します。
          netstatコマンドが表示する情報には、ポート情報以外に、ルーティング
          テーブル、IPマスカレードなど様々な情報を得ることができます。
          netstatは表示できる情報が多いため、オプションを使い分けることで
          必要な情報のみを表示する使い方が宜しいと思います。  閱讀全文

          posted @ 2016-01-15 12:10 泰仔在線 閱讀(284) | 評論 (0)編輯 收藏

               摘要: JdkにSSLルート証明書をインストールする(例として、GeoTrustのRapidSSLSHA2(SHA256))  閱讀全文

          posted @ 2015-10-21 09:46 泰仔在線 閱讀(281) | 評論 (0)編輯 收藏

               摘要: 常用Maven plugin使用  閱讀全文

          posted @ 2015-10-21 09:29 泰仔在線 閱讀(242) | 評論 (0)編輯 收藏

               摘要: 那如何查看進程的全路徑呢?
          其實每個進程啟動之后在 /proc下面有一個于pid對應的路徑

          # ll /proc/31723
          總用量 0
          dr-xr-xr-x 2 root root 0 3月 19 18:13 attr
          -r-------- 1 root root 0 3月 19 18:13 auxv
          -r--r--r-- 1 root root 0 3月 19 18:04 cmdline
          -rw-r--r-- 1 root root 0 3月 19 18:13 coredump_filter
          -r--r--r-- 1 root root 0 3月 19 18:13 cpuset
          lrwxrwxrwx 1 root root 0 3月 19 18:13 cwd -> /
          -r-------- 1 root root 0 3月 19 18:13 environ
          lrwxrwxrwx 1 root root 0 3月 19 18:13 exe -> /usr/sbin/htt  閱讀全文

          posted @ 2014-03-19 17:21 泰仔在線 閱讀(4108) | 評論 (0)編輯 收藏

               摘要: 1、 什么是SSL?
          SSL 是一個安全協(xié)議,最初是由美國網(wǎng)景 Netscape Communication 公司設計開發(fā)的,全稱為安全套接層協(xié)議 (Secure Sockets Layer) 。它采用公開密鑰技術為傳輸通信提供如下幫助:
          1. 信息傳輸?shù)谋C苄裕?
          2. 數(shù)據(jù)交換的完整性;
          3. 信息的不可否認性;
          4. 交易者身份確定性。
          換句話說,服務器部署SSL證書后,其核心能就是確保服務器與瀏覽器之間的數(shù)據(jù)傳輸是加密傳輸?shù)模跀?shù)據(jù)傳輸過程中不被篡改或被解密。瀏覽器上,用戶可通過“金色鎖型”標記,得知是否已處于SSL安全保護,如果更先進的VeriSign EV SSL證書,那么除了“鎖型”標記外,瀏覽器的地址欄還會變成綠色。
            閱讀全文

          posted @ 2013-08-21 13:47 泰仔在線 閱讀(296) | 評論 (0)編輯 收藏

               摘要: linux如何查看端口被誰占用
          使用 netstat 進行查看!
          >netstat -noap | grep 80 | grep tcp
          使用 lsof 進行查看!
          >/usr/sbin/lsof -i tcp:8080
          >/usr/sbin/lsof -i :22
          >/usr/sbin/lsof -i | grep http
            閱讀全文

          posted @ 2013-05-13 11:44 泰仔在線 閱讀(15834) | 評論 (0)編輯 收藏

               摘要: 想使用的端口又被誰給占用了,想確認一下被誰占用了嗎。
          首先打開命令行窗口CMD,使用 netstat 進行查看!
          >netstat -aon | findstr 端口號
          >tasklist | findstr PID
          App Name PID Session ID Memory
          -----------------------------------------------------------------------  閱讀全文

          posted @ 2013-05-13 11:07 泰仔在線 閱讀(357) | 評論 (0)編輯 收藏

               摘要: Q:IBM has its own JVM called J9. Linux versions can be downloaded from DeveloperWorks, but not the Windows versions (except for one requiring IBM hardware). This is most likely a licensing issue. We develop against IBM non-x86 hardware with J9 so it is interesting to use the same JVM for development too.
          What is the official way of getting IBM Java 7 for Windows? (and how expensive is it?)   閱讀全文

          posted @ 2013-04-08 11:41 泰仔在線 閱讀(283) | 評論 (0)編輯 收藏

               摘要: ALTER SYSTEM SET
          UTL_FILE_DIR='C:\oracle\oradata','C:\oracle\oradata\log'
          SCOPE = SPFILE ;"

          select name,value,description from V$PARAMETER where name like 'u%';  閱讀全文

          posted @ 2010-11-04 14:53 泰仔在線 閱讀(277) | 評論 (0)編輯 收藏

               摘要: mount -t cifs -o username=root,password=root //192.168.0.194/share /mnt/share_194

          mount -t nfs 192.168.0.196:/home/share /mnt/share_196  閱讀全文

          posted @ 2010-10-22 10:49 泰仔在線 閱讀(312) | 評論 (0)編輯 收藏

               摘要: Oracle 實在太強了,本篇文章詳細介紹了Oracle的遞歸查詢語法,利用此語法,可以方便地實現(xiàn)遞歸的雙向查詢:

          -- Tirle : Recursion query for TREE with "connect by/start with"
          -- Author : Rake Gao
          -- Create Date : 2005-08-22
          -- Version : 2.0
          -- Last Modify : 2005-08-22

          目 錄
          一、測試準備
          二、實現(xiàn)各種查詢要求
          三、要點總結(jié)  閱讀全文

          posted @ 2010-10-13 14:41 泰仔在線 閱讀(352) | 評論 (0)編輯 收藏

               摘要: 軟件版本Beta,RC,Demo,Build等是什么意思呢?  閱讀全文

          posted @ 2010-09-24 14:54 泰仔在線 閱讀(328) | 評論 (0)編輯 收藏

               摘要: 一、下載
          1、PowerDesigner 12.5官方下載地址
           http://download.sybase.com/eval/PowerDesigner/powerdesigner125_eval.exe
           大小125 MB (132,006,349 字節(jié))

          二、破解
          環(huán)境:Window 2003 Server Enterprise+sp1+PowerDesigner12.5_eval.exe(12.5.0.2169)
          1、制作license.lic文件
          拷貝以下內(nèi)容,并保存為license.lic文件(注意擴展名是lic)
          FEATURE PD_SHELL SYBASE 12.50 permanent uncounted 1 TS_OK HOSTID=ANY SIGN2=1
          FEATURE PD_DEV SYBASE 12.50 permanent uncounted 1 TS_OK HOSTID=ANY SIGN2=2  閱讀全文

          posted @ 2010-05-07 12:49 泰仔在線 閱讀(2529) | 評論 (16)編輯 收藏

               摘要: nutch網(wǎng)上有不少有它的源碼解析,但是采集這塊還是不太讓人容易理解.今天終于知道怎么,弄的.現(xiàn)在把crawl-urlfilter.txt文件貼出來,讓大家一塊交流,也給自己備忘錄一個。  閱讀全文

          posted @ 2010-04-30 10:12 泰仔在線 閱讀(3396) | 評論 (0)編輯 收藏

               摘要: 解決搜索動態(tài)內(nèi)容的問題:
          需要注意在conf下面的2個文件:regex-urlfilter.txt,crawl-urlfilter.txt
          # skip URLs containing certain characters as probable queries, etc.
          -[?*!@=] (-改+)
          這段意思是跳過在連接中存在? * ! @ = 的頁面,因為默認是跳過所以,在動態(tài)頁中存在?一般按照默認的是不能抓取到的。可以在上面2個文件中都修改成:
          # skip URLs containing certain characters as probable queries, etc.
          # -[?*!@=]
          另外增加允許的一行
          # accept URLs containing certain characters as probable queries, etc.
          +[?=&]
          意思是抓取時候允許抓取連接中帶 ? = & 這三個符號的連接
          注意:兩個文件都需要修改,因為NUTCH加載規(guī)則的順序是cr  閱讀全文

          posted @ 2010-04-24 19:06 泰仔在線 閱讀(2215) | 評論 (1)編輯 收藏

               摘要: 今天主要研究了Nutch中的html頁面的解析問題,因為我的任務是從頁面中提取特定的文本,因此首先要找到Nutch如何將html中的文本提取出來。Nutch提供了兩種html解析器,nekohtml和tagsoup,我采用了neko的解析器,在看了代碼后,發(fā)現(xiàn)其提取文本的方法在org.apache.nutch.parse.html中的DOMContentUtils文件中,主要的函數(shù)是getTextHelper。  閱讀全文

          posted @ 2010-04-23 17:38 泰仔在線 閱讀(3084) | 評論 (1)編輯 收藏

               摘要: 今天主要解決了Nutch中的一些小的問題,下面分別簡述一下。

          1.網(wǎng)頁快照亂碼問題

          Nutch的網(wǎng)頁快照是亂碼,解決辦法是修改tomcat/webapps/nutch目錄下的cached.jsp文件,修改其中的第63行。

          原來的代碼是:content = new String(bean.getContent(details);

          修改后的代碼是:content = new String(bean.getContent(details),"gb2312");
            閱讀全文

          posted @ 2010-04-23 17:36 泰仔在線 閱讀(440) | 評論 (0)編輯 收藏

               摘要: 當某個插件需要被加載時, Nutch 會加載所有插件的相關接口到緩存,此后每個插件需要實例的時候,根據(jù)相關接口和相關接口實現(xiàn)實例在緩存內(nèi)的記錄,使用反射實現(xiàn)一個實例并返回,下面以 QueryFilter 的所有插件被加載例子進行說明。  閱讀全文

          posted @ 2010-04-23 11:30 泰仔在線 閱讀(491) | 評論 (0)編輯 收藏

               摘要: 主要類分析:
          一、 org.apache.nutch.crawl.Injector:
          1,注入url.txt
          2,url標準化
          3,攔截url,進行正則校驗(regex-urlfilter.txt)
          4,對符URL標準的url進行map對構(gòu)造,在構(gòu)造過程中給CrawlDatum初始化得分,分數(shù)可影響url host的搜索排序,和采集優(yōu)先級!
          5,reduce只做一件事,判斷url是不是在crawldb中已經(jīng)存在,如果存在則直接讀取原來CrawlDatum,如果是新host,則把相應狀態(tài)存儲到里邊(STATUS_DB_UNFETCHED(狀態(tài)意思為沒有采集過))

          二、org.apache.nutch.crawl.Generator:   閱讀全文

          posted @ 2010-04-23 11:05 泰仔在線 閱讀(1064) | 評論 (0)編輯 收藏

               摘要: 讀者是沒有耐心的,我也沒有,所以先說結(jié)論:你可以不用編程序,只要鼠標點幾下拖動些圖標,改改參數(shù),就能完成過億數(shù)據(jù)的分布處理程序。

          當然,這么理想的目標現(xiàn)在還沒有達到,但路已經(jīng)明明白白的展現(xiàn)在面前了,至少我們已經(jīng)走了接近一半了。  閱讀全文

          posted @ 2010-04-21 11:41 泰仔在線 閱讀(801) | 評論 (0)編輯 收藏

               摘要: 1. 介紹
          MapReduce是google發(fā)明的一種編程模型。在這種編程模型下,用戶通過定義一個map函數(shù)和一個reduce函數(shù)來解決問題。map函數(shù)對用戶輸入的鍵/值對(key/value pair)進行處理(處理時可能只有值這一項有用),生成一系列新的鍵/值對作為中間結(jié)果;系統(tǒng)(MapReduce的實現(xiàn))對map函數(shù)生成的鍵/值對進行處理,將同屬于一個鍵(key)的值(value)組合在一起,生成鍵/值列表((key/list of values) pair)對;reduce函數(shù)將鍵/值列表對作為輸入,對同屬于一個鍵的值列表進行處理,生成最終處理結(jié)果輸出。

          如果一個問題可以通過MapReduce編程模型來表達和解決,就可以通過MapReduce系統(tǒng)自動獲得并行執(zhí)行能力。程序員不需要有并行程序設計的經(jīng)驗,只需要定義map和reduce函數(shù)。  閱讀全文

          posted @ 2010-04-21 11:29 泰仔在線 閱讀(1583) | 評論 (0)編輯 收藏

               摘要: eclipse 起動后報JVM terminated. Exit code=127的解決辦法  閱讀全文

          posted @ 2009-12-28 16:11 泰仔在線 閱讀(1647) | 評論 (0)編輯 收藏

               摘要: jnlp是什么?是java提供的一種讓你可以通過瀏覽器直接執(zhí)行java應用程序的途徑,它使你可以直接通過一個網(wǎng)頁上的url連接打開一個java應 用程序.好處就不用說了,如果你的java應用程序以jnlp 的方式發(fā)布,如果版本升級后,不需要再向所有用戶發(fā)布版本,只需要更新服務器的版本,這就相當于讓java應用程序有了web應用的優(yōu)點了  閱讀全文

          posted @ 2009-12-25 16:43 泰仔在線 閱讀(273) | 評論 (0)編輯 收藏

               摘要: 1.創(chuàng)建工作簿 (WORKBOOK)
          HSSFWorkbook wb = new HSSFWorkbook();
          FileOutputStream fileOut = new FileOutputStream("workbook.xls");
          wb.write(fileOut);
          fileOut.close();
          2.創(chuàng)建工作表(SHEET)
          HSSFWorkbook wb = new HSSFWorkbook();
          HSSFSheet sheet1 = wb.createSheet("new sheet");
          HSSFSheet sheet2 = wb.createSheet("second sheet");
          FileOutputStream fileOut = new FileOutputStream("workbook.xls");
          wb.write(fileOut);
          fileOut.close();  閱讀全文

          posted @ 2009-09-23 19:48 泰仔在線 閱讀(362) | 評論 (0)編輯 收藏

               摘要: Nutch的內(nèi)部網(wǎng)增量縮影是可以通過recrawl腳本(nutch的wiki上有發(fā)布)進行增量更新,但是對于對于全網(wǎng)爬取的URL如何做到增量更新,目前來說還沒有相關的方法,尤其是對于上TB級別數(shù)據(jù)的索引更新和合并,直接把Nutch似乎還有相當多的問題需要解決(比如分布式大索引分割、合并等等,在Nutch的mailing list上大家討論了非常多,但還是沒有一個合理的解決方案),因此,作者期望通過解讀源碼的方式來對Nutch的索引構(gòu)建機制和源碼做一個較為初淺的解讀,以期通過修改解決Nutch的索引面臨的問題,期望能得到廣大網(wǎng)友的意見。
          考慮到筆者的需求是Nutch對于海量的數(shù)據(jù)的索引,因此基于集群的方式對Nutch的源碼進行解讀。
          本文是針對Nutch1.0而寫,Nutch1.0相比0.9更多的功能采用了Map/reduce算法結(jié)構(gòu),若不是先前對MapReduce有一番了解,看起來將是非常費解。
          首先:補充一點最基礎的知識,就是Nutch的文件目錄所包含的內(nèi)容:   閱讀全文

          posted @ 2009-09-05 17:00 泰仔在線 閱讀(1539) | 評論 (1)編輯 收藏

               摘要: 關鍵字: nutch 命令
          Nutch采用了一種命令的方式進行工作,其命令可以是對局域網(wǎng)方式的單一命令也可以是對整個Web進行爬取的分步命令。主要的命令如下:

          1. Crawl
          Crawl是“org.apache.nutch.crawl.Crawl”的別稱,它是一個完整的爬取和索引過程命令。
          2. Readdb
          Readdb命令是“org.apache.nutch.crawl.CrawlDbReader”的別稱,返回或者導出Crawl數(shù)據(jù)庫(crawldb)中的信息。
          3. readlinkdb
          它是"org.apache.nutch.crawl.LinkDbReader"的別稱,導出鏈接庫中信息或者返回其中一個URL信息。
          4. inject
          它是"org.apache.nutch.crawl.Injector"的別稱,注入新URL到crawldb中。
          5. generate
          它是“org.apache.nutch.crawl.Generator”,從Cra  閱讀全文

          posted @ 2009-09-05 16:55 泰仔在線 閱讀(8106) | 評論 (0)編輯 收藏

          主站蜘蛛池模板: 盐城市| 旺苍县| 财经| 常宁市| 平乡县| 新巴尔虎左旗| 咸宁市| 伊春市| 洛川县| 南宁市| 台中县| 黄冈市| 临清市| 高陵县| 宝坻区| 沂水县| 曲麻莱县| 昌图县| 永丰县| 咸阳市| 北京市| 无锡市| 寿宁县| 沈阳市| 饶河县| 宁海县| 怀远县| 鄢陵县| 五大连池市| 碌曲县| 大方县| 广丰县| 灵丘县| 思茅市| 定安县| 顺平县| 柳江县| 石楼县| 龙门县| 格尔木市| 大田县|