spark的自留地(ofbiz/eclipse rcp/shark/opentaps)

            BlogJava :: 首頁 :: 聯系 :: 聚合  :: 管理
            54 Posts :: 0 Stories :: 112 Comments :: 0 Trackbacks

          #

          因為/ 下的磁盤空間快用完了,所以將mysql的data目錄遷移到/mnt/mysql下,先修改/etc/my.conf:
          [mysqld]
          datadir
          =/mnt/mysql/data
          socket
          =/mnt/mysql/mysql.sock

          然后重啟mysql, service mysqld restart
          但始終提示啟動失敗,查看日志/var/log/mysqld.log,發現實際mysql已經啟動。

          編輯/usr/lib/mysql/mysql_config將
          socket='/var/lib/mysql/mysql.sock'
          修改為
          socket
          ='/mnt/mysql/mysql.sock'

          問題消除。

          但使用mysql本機訪問時總是提示無法通過/var/lib/mysql/mysql.sock連接數據庫,噢,原來是忘記在/etc/my.cnf中加入client配置了,
          增加:
          [client]
          socket
          =/mnt/mysql/mysql.sock

          后故障消除。怕自己以后遷移數據庫忘記了,還是寫篇blog記下為妙。
          posted @ 2009-09-05 11:36 shanghai_spark 閱讀(653) | 評論 (0)編輯 收藏

          好象有日子沒更新過blog了,寫篇來證明博主的存在吧。

          好多哥們建了網站,都不知道如何吸引別人的眼球。其實我覺得的,要么功能,要么內容。可是個人辦的網站,就是二十四小時掛在網上不停的拷貝粘貼又能做得了多少內容? 懶人自有懶辦法,寫個程序去抓去?


          嗯,想到就得動手,不然過陣就忘記了,當然嘍,還是謀定而后動,打算怎么整呢?先選擇好技術:

          1、誰去抓?好象好多人都推薦使用nutch或是herixtrix,不過我覺得象一般的小網站玩玩,就不必這么費事了,就用HTMLParser吧,抓取與解析一體化解決吧。

          2、誰來格式化數據?同上了,俺用正則習慣了,正好node + regex 夠你用了。

          3、如何存儲抓來的數據? 我是用慣JavaEE了,那就 ibatis + mysql 吧,hiberate 就不必了,雖然我沒打算做個多高負載的應用,但hibernate怎么也感覺不是很合適吧? (喜歡hiberate別拍磚,我不喜歡口水戰,各人有自喜好,而且hibernate我也很喜歡)

          4、如何把你抓來的數據表現出來呢? 這個就得看你自己的需要嘍,CMS 還是 B2B電子商務程序? 還是一個 CRM或ERP程序(如果這樣的話,倒不妨試試opentaps?)

          5、性能是不是問題? 如果你打算做個專業的搜索引擎或是阿里巴巴之類的電子商務引擎,除去硬件的考慮、數據庫的優化,也許你要更多地考慮cache的管理,還有可能考慮文件索引(如用lunece)

          6、差點忘記了,誰來調度這些爬蟲及程序之間的任務執行順序呢? 試試Quartz?!

          又犯困了,先寫這吧,正好有個朋友要我幫忙指導做個類似玩意兒,下次再記錄吧。

          posted @ 2009-08-04 21:33 shanghai_spark 閱讀(1473) | 評論 (5)編輯 收藏

          所有 HTTP 狀態代碼及其定義。
          代碼  指示  
          2xx  成功  
          200  正常;請求已完成。  
          201  正常;緊接 POST 命令。  
          202  正常;已接受用于處理,但處理尚未完成。  
          203  正常;部分信息 — 返回的信息只是一部分。  
          204  正常;無響應 — 已接收請求,但不存在要回送的信息。  
          3xx  重定向  
          301  已移動 — 請求的數據具有新的位置且更改是永久的。  
          302  已找到 — 請求的數據臨時具有不同 URI。  
          303  請參閱其它 — 可在另一 URI 下找到對請求的響應,且應使用 GET 方法檢索此響應。  
          304  未修改 — 未按預期修改文檔。  
          305  使用代理 — 必須通過位置字段中提供的代理來訪問請求的資源。  
          306  未使用 — 不再使用;保留此代碼以便將來使用。  
          4xx  客戶機中出現的錯誤  
          400  錯誤請求 — 請求中有語法問題,或不能滿足請求。  
          401  未授權 — 未授權客戶機訪問數據。  
          402  需要付款 — 表示計費系統已有效。  
          403  禁止 — 即使有授權也不需要訪問。  
          404  找不到 — 服務器找不到給定的資源;文檔不存在。  
          407  代理認證請求 — 客戶機首先必須使用代理認證自身。  
          415  介質類型不受支持 — 服務器拒絕服務請求,因為不支持請求實體的格式。  
          5xx  服務器中出現的錯誤  
          500  內部錯誤 — 因為意外情況,服務器不能完成請求。  
          501  未執行 — 服務器不支持請求的工具。  
          502  錯誤網關 — 服務器接收到來自上游服務器的無效響應。  
          503  無法獲得服務 — 由于臨時過載或維護,服務器無法處理請求。
          -----------------------------------------------------------------------------------------------------------------------
          HTTP 400 - 請求無效 
          HTTP 401.1 - 未授權:登錄失敗 
          HTTP 401.2 - 未授權:服務器配置問題導致登錄失敗 
          HTTP 401.3 - ACL 禁止訪問資源 
          HTTP 401.4 - 未授權:授權被篩選器拒絕 
          HTTP 401.5 - 未授權:ISAPI 或 CGI 授權失敗  
          HTTP 403 - 禁止訪問 
          HTTP 403 - 對 Internet 服務管理器 (HTML) 的訪問僅限于 Localhost 
          HTTP 403.1 禁止訪問:禁止可執行訪問 
          HTTP 403.2 - 禁止訪問:禁止讀訪問 
          HTTP 403.3 - 禁止訪問:禁止寫訪問 
          HTTP 403.4 - 禁止訪問:要求 SSL 
          HTTP 403.5 - 禁止訪問:要求 SSL 128 
          HTTP 403.6 - 禁止訪問:IP 地址被拒絕 
          HTTP 403.7 - 禁止訪問:要求客戶證書 
          HTTP 403.8 - 禁止訪問:禁止站點訪問 
          HTTP 403.9 - 禁止訪問:連接的用戶過多 
          HTTP 403.10 - 禁止訪問:配置無效 
          HTTP 403.11 - 禁止訪問:密碼更改 
          HTTP 403.12 - 禁止訪問:映射器拒絕訪問 
          HTTP 403.13 - 禁止訪問:客戶證書已被吊銷 
          HTTP 403.15 - 禁止訪問:客戶訪問許可過多 
          HTTP 403.16 - 禁止訪問:客戶證書不可信或者無效 
          HTTP 403.17 - 禁止訪問:客戶證書已經到期或者尚未生效 
          HTTP 404.1 - 無法找到 Web 站點 
          HTTP 404 - 無法找到文件 
          HTTP 405 - 資源被禁止 
          HTTP 406 - 無法接受 
          HTTP 407 - 要求代理身份驗證 
          HTTP 410 - 永遠不可用 
          HTTP 412 - 先決條件失敗 
          HTTP 414 - 請求 - URI 太長 
          HTTP 500 - 內部服務器錯誤 
          HTTP 500.100 - 內部服務器錯誤 - ASP 錯誤 
          HTTP 500-11 服務器關閉 
          HTTP 500-12 應用程序重新啟動 
          HTTP 500-13 - 服務器太忙 
          HTTP 500-14 - 應用程序無效 
          HTTP 500-15 - 不允許請求 global.asa 
          Error 501 - 未實現 
          HTTP 502 - 網關錯誤 
          posted @ 2009-02-05 22:40 shanghai_spark 閱讀(568) | 評論 (0)編輯 收藏

          為了進一步了解ofbiz/opentaps的ER模型,硬著頭皮看了《The Data Model Resource Book》差不多兩周。雖然還是有些地方有點吃不準,總體來說還是收益良多。我嘗試將它的思想與我以往用過或是我了解的對業務建模的ER模型進行對比,可以在以后的開發中汲取經驗:

          1、實體之間的關系或是本身的描述都是有生命周期的,這一點從ER Diagram中隨處可見的From Date 與Thru Date可以充分體現出來。

          2、以第三方角度對業務建模而非“我”方角度建模,這個比較有趣,通常來說我們會把銷售訂單與采購訂單分成兩個實體,這是因為我們從使用者角度來看銷售訂單與采購訂單是不同的業務類型,而從第三方角度來著,銷售訂單與采購訂單都是當事人之間發生的采購/銷售業務,關心的業務內容與屬性完全一致,而這樣建模可以帶來大量的業務邏輯共用與可擴展性。

          3、抽象層次較高的業務實體,通過屬性內容進一步細化業務對象。

          這是我感覺比較重點的幾個點,先記下!
          posted @ 2009-01-14 10:57 shanghai_spark 閱讀(2048) | 評論 (1)編輯 收藏

          看opentaps關于庫存管理的文檔時,總是被Serialized Inventory Item與Non Serialized Inventory Item弄得一頭霧水.

          看了一下<<The Data Model Resource Book>>的這段話才弄明白:
          The INVENTORY ITEM may be either a SERIALIZED INVENTORY ITEM,which means each item's serial num(ber) is tracked, or a NON-SERIALIZED
          INVENTORY ITEM, which means a group of items is tracked together and the quantity on hand for these is maintained by their location.

          即產品是按個體單獨跟蹤,還是按相同群體特征進行數據和存放地點跟蹤管理.

          記下來,不要下次再忘記了!
          posted @ 2009-01-07 16:42 shanghai_spark 閱讀(560) | 評論 (1)編輯 收藏

          今天又是一陣頭痛,上午網絡超不好,老是連不入服務器,搞得服務器越來越慢,也不知道原因,在服務器上運行
          netstat -anp|grep 服務端口號 |grep TIME_WAIT|wc -l 一看,幾百個死連接在等待處理呢.

          怎么辦?上網查了下資料,原來是可惡的TCP/IP棧,調整一下timeout相關參數:

          echo "30">/proc/sys/net/ipv4/tcp_fin_timeout
          echo 
          "1800">/proc/sys/net/ipv4/tcp_keepalive_time
          echo 
          "0">/proc/sys/net/ipv4/tcp_window_scaling
          echo 
          "0">/proc/sys/net/ipv4/tcp_sack
          echo 
          "0">/proc/sys/net/ipv4/tcp_timestamps

          嘿,立竿見影,死連接數立即就下去了,很少看得到TIME_WAIT的連接了.
          posted @ 2008-12-11 19:05 shanghai_spark 閱讀(1337) | 評論 (0)編輯 收藏

          兄弟們不知道是否有被要求24小時不允許關機的痛苦經歷,有時半夜正在做著美夢卻被客戶或老板抓起來一通臭罵,服務器怎么回事down了,網站訪問不了... 唉,真是痛不欲生呀!

          經歷過N次折磨后,我下定決心要改變這種情況,想一下,也許我可以寫個crontab來監控程序的運行情況,如果服務停止或發生了不可修復的錯誤時,自動重啟服務器,這樣我就不用擔心半夜被人抓起來罵了。

          說動手就動手,雖說我linux/unix腳本不是很熟,但我想應該也難不到我,左瞧瞧右看看,拼出了一個腳本,給大家參考下,大家可以修改下路徑與端口適應自己的程序:

          #查找當前工作日志文件,判斷是否發生不可修復的錯誤,若有則重啟
          LOG
          =`ls /workdir/server-*.log -lrt |tail -1`
          ERROR_NUM
          =`cat $LOG | grep java.lang.OutOfMemoryError | wc -l`
          if [ $ERROR_NUM -ne 0 ];then
                  echo 
          "found $ERROR_NUM times at $LOG"
                  kill 
          -9 `netstat -anp|grep :::8080 | awk '{print substr($7,1,index($7,"/java")-1)}'`
                  cd 
          /workdir;exec startserver.sh
                  exit
          fi
          #檢查當前服務是否還在運行,若已停止,則重新啟動
          PROCESS_NUM
          =`netstat -anp|grep :::8080 | awk '{print substr($7,1,index($7,"/java")-1)}' | wc -l`
          if [ $PROCESS_NUM -eq 0 ];
          then
                  cd 
          /workdir;exec startserver.sh
          fi

          然后在crontab中定時執行此腳本,就可以了!嘿... 這下鬧心的電話少多了,當然不要忘記定時去看下日志哦!

          本人原創文章,轉載請注明出處!
          posted @ 2008-12-10 16:54 shanghai_spark 閱讀(2240) | 評論 (3)編輯 收藏

          在同si chen的溝通中,他覺得pentaho是一個很不錯的東東,如果把它同業務數據結合起來進行分析,可能會產生一些非常美妙的結果.于是有想好好了解一下pentaho的愿望.

          本人的學習習慣一直的方針是:如果一個東東不能讓我在30分鐘內跑出它的demo,我暫時是不會去了解它的(竊以為這叫不夠友好也不夠成品化)

          pentaho這點很爭氣,下載下來解壓,雙擊"start-pentaho.bat" 文件就順利的跑起來了. (不過究竟應該下載哪個文件讓我頭痛好久, 網上大多都是介紹1.x的安裝,我睜大眼也沒找到啥pre-install版本,犯迷糊的兄弟直接在 http://sourceforge.net/projects/pentaho/ 下載 Business Intelligence Server 吧)

          接下來先看看它包含的內容 (http://www.pentaho.com/about/) :

           

          依慣例開篇先吹水:

          Pentaho是一個可以替代商業智能的開源方案.Pentaho Open BI套件提供全面的報表,OLAP分析,儀表板,數據集成,數據采集及商業智能平臺,是世界領先而且廣泛使用的開源商業智能套件.Pentaho商業開源業務模型減少了軟件授權費用,提供支持,服務以及產品增強年度訂閱.從Pentaho開創至今一直是開源商業智能的先鋒,Pentaho產品已經被下載超過3百萬次,產品應用于從小企業到全球2000強的企業中.


          經驗豐富的團隊

          由包括 Business Objects, Cognos, Hyperion, IBM, JBoss, Oracle, Red Hat, 及SAS協會等業界領導者供應商的退休人士創建


          廣泛的能力

          報表                            數據集成                    
          分析                            數據采集
          儀表板                        商業智能平臺

           

          高伸縮性

          Pentaho是世界廣泛部署的開源商業智能套件.可以提供給不同規模不同行業的企業使用.

          Pentaho是在開源領域內首個且唯一的全面商業智能平臺,全部來源于開源社區中.

          Pentaho是唯一在開源商業智能套件領域內即是核心項目領導者也是贊助者的產品.其它整合非他們贊助或控制的第三方商業智能模塊的商業智能套件,不能提供專業水準、服務承諾、或產品路線圖。而Pentaho可以做到。

          Pentaho商業開源業務模型減少軟件授權費用,提供支持,服務以及通過年度訂閱獲得產品增強內容。


          可伸縮的部署

          完整,集成的商業智能平臺
          獨立的,開箱即用的產品
          為Java開發人員提供可嵌入的組件

           

          高品質的專業服務

          特制的支持提供
          有經驗的顧問及世界范圍內的顧問合作者
          一站式,公共,在線培訓及專業認證項
          提供使用Pentaho技術進行OEM服務

          嗯,看著好象很不錯的樣子,以后每天看半小時!



          本人譯自 http://www.pentaho.com/about/ , 轉載請注明出處!
          posted @ 2008-11-28 18:17 shanghai_spark 閱讀(4364) | 評論 (3)編輯 收藏

               摘要: 我們在制作單證或報表時,客戶經常要我們把最后的合計數轉寫中文大寫金額。這個需求很合理,但感覺并不容易實現,如何在JasperReport中加入大寫金額的實現呢?提供一種實現的方法給大家參考。 實現思路: 在報表執行過程中使用scirptlet將存放著數字金額的變量讀出轉換成大寫金額字符串后放入大寫金額變量中。報表即可象顯示普通字符變量一樣顯示大寫金額。 TransChineseMon...  閱讀全文
          posted @ 2008-11-19 12:20 shanghai_spark 閱讀(4125) | 評論 (13)編輯 收藏

          明明不是DBA,時不時也得干下屬于他們的活。

          “老大,我刪除數據庫用戶時老是出錯呀!報"ORA-01940: 無法刪除當前已連接的用戶"的錯”

          “廢話,全世界都掛在上面,你看會話中幾十個主連在上面,怎么刪除呀?”

          小弟一臉無辜的站在面前:“這個數據要更新一下,我總不能一個個去求他們斷線吧?腿都要跑斷的啦!”

          “唉,那就強斷吧!”

          select username,sid,serial# from v$session where username='UNTWORLD'


          ORACLE會話列表

          挨個踢吧!

          alter system kill session'127,59560';


          喂,你怎么把我踢出來了?我的結果還沒跑完呢...

          posted @ 2008-11-18 11:36 shanghai_spark 閱讀(5161) | 評論 (1)編輯 收藏

          僅列出標題
          共6頁: 上一頁 1 2 3 4 5 6 下一頁 
          主站蜘蛛池模板: 和龙市| 陇南市| 六枝特区| 通城县| 土默特右旗| 荔波县| 佛学| 浪卡子县| 陕西省| 嘉峪关市| 彭山县| 保康县| 扎兰屯市| 额敏县| 成武县| 安泽县| 内黄县| 曲沃县| 寻乌县| 鄂温| 辽阳县| 沅江市| 雷山县| 海城市| 公安县| 南投县| 津南区| 盐城市| 泰安市| 西林县| 南川市| 陆良县| 临高县| 景洪市| 凤山县| 大埔县| 嵊州市| 徐汇区| 张北县| 永胜县| 临安市|