cerulean

ClassNotFoundException : Cannot load SchemaTypeSystem. Unable to load class with name schemaorg_apache_xmlbeans.system.s68C41DB812F52C975439BA10FE4FEE54.TypeSystemHolder. Make sure the generated binary files are on the classpath.

Bug categories：

Correctness bug

Probable bug - an apparent coding mistake resulting in code that was probably not what the developer intended. We strive for a low false positive rate.

Bad Practice

Violations of recommended and essential coding practice. Examples include hash code and equals problems, cloneable idiom, dropped exceptions, serializable problems, and misuse of finalize. We strive to make this analysis accurate, although some groups may not care about some of the bad practices.

Dodgy

Code that is confusing, anomalous, or written in a way that leads itself to errors. Examples include dead local stores, switch fall through, unconfirmed casts, and redundant null check of value known to be null. More false positives accepted. In previous versions of FindBugs, this category was known as Style.

創(chuàng)建本地證書：

keytool -genkey -alias testserver-keyalg RSA -keystore keystore

其中alias自己起一個別名，keystore為證書庫的文件路徑

還可以加上-keysize 1024、2048、4096等來指定公鑰的大小，由此導(dǎo)出的證書查看時可以看到公鑰的大小是與之一致的。keysize越大genkey時耗費時間越長。

會要求鍵入一個密碼，為這個證書庫的訪問密碼

會要求填寫一些信息，姓名、單位、地區(qū)之類

最后要求鍵入一個密碼，為這條證書別名的密碼

導(dǎo)出cert：

keytool -export -alias testserver-file testcert.cer -keystore keystore

這里的別名和文件名同上一步

Client：

直接導(dǎo)入cert：

Truststore文件中存儲的是作為client，信任那些server的證書。所以需要將server提供的證書導(dǎo)入進來（當然可以導(dǎo)入n個），client才能信任。

keytool -import -alias testserver-file testcert.cer -keystore truststore

導(dǎo)入時需要輸入密碼，該密碼應(yīng)該是truststore文件的訪問密碼，密碼正確才能修改其信息。

提示是否信任該證書信息，確認。

查看證書信息：

keytool –list –v –keystore truststore

如果導(dǎo)入過多個，則可以看到多條entry

刪除某一個證書entry，通過指定別名來刪：

keytool -delete -alias testserver-keystore truststore

上述是自簽名的證書，證書鏈的長度只為1

真正商用時，需要找相關(guān)機構(gòu)（例如verisign）認證通過才能成為有效的證書：

生成證書簽名請求：

keytool -certreq -keyalg RSA -alias testserver -file certreq.csr -keystore keystore

之后能夠收到一個證書文件，證書鏈信息包含了該機構(gòu)的一些信息，然后再導(dǎo)入。

有兩種方法建立HTTPS連接，

一種是，在java中可以設(shè)置相關(guān)的4個系統(tǒng)參數(shù)，指向相關(guān)的keystore,truststore，一旦設(shè)置，在運行時就不可改變了。除非一定要使用多個不同的證書庫文件，否則可以把多個不同證書都導(dǎo)入到同一個證書庫里，這樣，設(shè)置系統(tǒng)參數(shù)為唯一的值也夠用，而且也比較簡單一些。

另一種是，自己繼承相關(guān)接口實現(xiàn)自己的證書管理器，這樣可以自定義相關(guān)行為，也可以load不同的證書庫。


如果不設(shè)置password，就認為不檢查文件完整性，也能通過。如果設(shè)置了password，但是不正確，則會遇到密碼錯誤的異常；如果server證書沒有導(dǎo)入到client得信任列表里，則會遇到找不到可信證書的異常。

MySQL Cluster 不支持windows
之前的說法是max版支持集群，standard版不支持，但是官方下載點里已經(jīng)看不出任何關(guān)于max,standard的標志。官方網(wǎng)站上又說5.0版本已經(jīng)包含了MySQL Cluster，所以還是下了個5.0的試試，結(jié)果是可以的。

基本的安裝：
linux下官方網(wǎng)站的安裝說明還是挺明確的，一步一步做就是了。
遇到了一個問題與這篇文章一模一樣：http://www.91linux.com/html/linux_pub/fedora/20071114/8195.html
按它的方法修改之后再次

cd /usr/local/mysql
bin/mysqld_safe --user=mysql &

Starting mysqld daemon with databases from /var/lib/mysql
看到上面這一行說明啟動成功。

修改密碼：

bin/mysqladmin -u root password yourpassword

允許遠程訪問：

bin/mysql -u root -p
grant all on *.* to root@"202.11.10.253" Identified by "dboomysql"

允許地址202.11.10.253上用root用戶，密碼dboomysql來連接mysql的所有數(shù)據(jù)庫，付給所有權(quán)限。
實質(zhì)上是修改了自帶的database:mysql中user這一張表，與PostgreSQL需要修改配置文件相比還是方便一些。
另外就是MySQL的GUI客戶端(MySQL Administrator)也比PostgreSQL的漂亮很多。

停止MySQL：
bin/mysqladmin -u root shutdown -p

安裝完成后，按照這篇文章配置雙機互備：
http://hi.baidu.com/%CA%AB%D5%B9/blog/item/3b99dbc48140f7ca38db49f7.html
但是這篇文章有筆誤：

四、初始化集群
在Server1中
# ndbd --nodeid=3 --initial
在Server2中
# ndbd --nodeid=4 --iniitial

應(yīng)該改為——
四、初始化集群
在Server1中
# ndbd --ndb_nodeid=3 --initial
在Server2中
# ndbd --ndb_nodeid=4 --initial

這樣的集群配置兩臺機器都是一樣的，所以有2個管理節(jié)點，2個SQL節(jié)點，2個數(shù)據(jù)節(jié)點。集群的驗證：從任何一臺機器登上去操作數(shù)據(jù)都能雙寫。

ndb_mgm -e show

可以看到集群節(jié)點的信息。
從官方網(wǎng)站上看到的例子都是用了多于3臺的機器來做的集群，僅用兩臺來做的方法好像是大家特意這么做的。

盡管集群配置完畢，但是應(yīng)用程序與數(shù)據(jù)庫建立連接不能使用其中任何一臺機器的真實IP，否則一旦該機器網(wǎng)絡(luò)連接出問題還是不行，所以還是要給DB集群的機器配置虛擬IP以供外部訪問。

遇到過的問題：
無法mysqld_safe啟動，也找不到日志
解決方法：加啟動參數(shù)以指定日志

mysqld_safe --log-error=/var/log/mysqld.log

可以查看到錯誤日志了。

[ERROR] Fatal error: Can't open and lock privilege tables: Table 'mysql.host' doesn't exist
沒轍，google唄，好像是系統(tǒng)數(shù)據(jù)庫mysql里host表的權(quán)限有問題什么的，而mysql這個庫是之前安裝時初始化過的。

解決方法：刪除data，重新install_db

rm -rf /usr/local/mysql/data
cd /usr/local/mysql
scripts/mysql_install_db --user=mysql
chown -R root .
chown -R mysql data
chgrp -R mysql .

bin/mysqld_safe --log-error=/var/log/mysqld.log --ndb_nodeid=5 --user=mysql &

啟動成功了。

btw, mysql官方網(wǎng)的forum好像不能“平板顯示”，好不方便。

關(guān)閉Cluster，在管理節(jié)點所在的機器上：
/usr/local/mysql/ndb_mgm -e shutdown
關(guān)閉SQL節(jié)點的mysqld服務(wù)：
/usr/local/mysql/bin/mysqladmin -uroot shutdown

遇到經(jīng)典的getParameter中文亂碼的問題，網(wǎng)上已經(jīng)有很多總結(jié)和討論了。
在jsp里調(diào)用了*.do?param=name，當name本身的值為中文時，在action里獲取時有亂碼問題。

調(diào)用.do的jsp頁面頭已經(jīng)設(shè)置過

<%@ page language="java" import="java.util.*" pageEncoding="gb2312"%>

即便在action里設(shè)置了

request.setCharacterEncoding 

也沒有效果。

最后的解決方法：

String str = request.getParameter("param");

改為

String str = new String(request.getParameter("param").getBytes("ISO-8859-1"),"GB2312");

struts的<html:form>標簽中沒有"name"屬性，但是使用"styleId"屬性可以替代。
需要注意的問題是，假如定義了：

<html:form styleId="test" action="testIt.do">

function test(){
   alert('hello');
}

<a onclick="test()">click me</a>

Linux和windows下，文件中的換行符好像是不同的，當在windows下用UE打開一來自linux的文件時，好像會問你是不是要轉(zhuǎn)換到DOS格式什么的。在eclipse中打開代碼時，有時也會遇到類似的問題，尤其是.xml文件。
今天在看weka的網(wǎng)站時，無意看到在eclipse中有一個設(shè)置貌似是專門用來做這個的：
eclipse->Window -> Preferences -> General -> Editors 里面有一個"New text file line delimiter"，可以在other中選擇Unix。

windows命令行支持的ftp命令，下載東西時默認是ASCII編碼，于是一個.war文件下載后的文件大小就不大對，部署時tomcat也不認識，報出invalid header的錯誤。
因此用這個命令下載時需要轉(zhuǎn)換成二進制。而如果用現(xiàn)成的FTP工具下載就不會有問題。

以前天真的認為只要把兩個tomcat的端口號修改成不同的就哦了呢，結(jié)果不行。
實際情況是（轉(zhuǎn)自CSDN）：
1.特別要注意：不要設(shè)置CATALINA_HOME
2.分別修改安裝目錄下的conf子目錄中的server.xml文件：
a.修改http訪問端口（默認為8080端口），將8080修改為tomcat不在使用的端口號。此處所設(shè)的端口號即是以后訪問web時所用的端口號。
b.修改Shutdown端口（默認為8005端口），將8005修改為沒有在使用的端口號，例如8055。
c.修改8009端口，將8009修改為沒有在使用的端口號，例如8099
（注意：兩個文件中對應(yīng)的端口號要不一樣）
3.依次啟動兩個tomcat。

另外，因為打開了axis2的SOAPMonitor，今天不知道怎么回事兒monitor頁面無法正常顯示了，tomcat啟動時也報出了address in use:5001的錯誤。一開始以為是兩個tomcat的問題，后來才意識到是SOAPMonitor的端口沖突了（也不知道是和誰沖突了。。。）反正改吧：
webapps/axis2/WEB-INF/web.xml
<init-param>
          <param-name>SOAPMonitorPort</param-name>
          <param-value>5011</param-value>
</init-param>
把原來的5001改成比如5011就哦了。

????以前上學的時候數(shù)據(jù)庫學的是皮毛中的皮毛，唯一的課程設(shè)計也只是跑幾個簡單得很得SQL語句而已。無論是數(shù)據(jù)庫設(shè)計，還是SQL語句的各種經(jīng)典寫法和強大功能都沒有怎么好好地研究過。
??????? 功能上的學習都不全面，就更不要提性能、安全和大數(shù)據(jù)量等等在實際應(yīng)用中會遇到的問題勒。參與的一個項目中，就涉及到比較大量的數(shù)據(jù)量的處理和存儲（當然處理大數(shù)據(jù)量就是另外一個問題勒）。加之分配給數(shù)據(jù)庫所在的磁盤空間相當有限，造成了非常捉襟見肘的局面。
??????? 幻想著有朝一日可以不為這些事情煩惱，像google,sina一樣，用幾十上百臺配置一般的機器連起來也能作為一個強壯的server。

從網(wǎng)上看到一些關(guān)于存儲海量數(shù)據(jù)的討論：
1、分表、分數(shù)據(jù)庫
根據(jù)一定的規(guī)則把不同的數(shù)據(jù)庫表分開
缺點：有一定風險，因為一旦分開存放的兩個數(shù)據(jù)庫表有朝一日需要“聯(lián)表”操作，那么就郁悶了，而且最好是把幾個數(shù)據(jù)量大的表分開，單獨拎出來幾個小表意義很不大，而且業(yè)務(wù)邏輯層的代碼需要知道自己要處理的數(shù)據(jù)存在哪個服務(wù)器里，有一點兒奇怪。

例如：（來自ball_lei）
??????? 我現(xiàn)在采用的架構(gòu)采用數(shù)據(jù)庫群的方式，每個客戶的數(shù)據(jù)單獨存在一臺數(shù)據(jù)庫服務(wù)器上，所有的客戶根據(jù)一定的規(guī)則安排存放的數(shù)據(jù)庫服務(wù)器，在主數(shù)據(jù)庫服務(wù)器上有一張-索引表保存客戶與數(shù)據(jù)庫服務(wù)器的對應(yīng)關(guān)系，每臺數(shù)據(jù)庫服務(wù)器中用于存放這些數(shù)據(jù)的表按照月份分成12張，每張存放當月的全部客戶的數(shù)據(jù)，目前計算出單臺服務(wù)器-單表需要容納9億條數(shù)據(jù)，并且每臺服務(wù)器在這種方式下可以容納10000個客戶的數(shù)據(jù)，以后客戶數(shù)量增加時只需要增加數(shù)據(jù)庫服務(wù)器即可。
??????? 程序邏輯，我采用業(yè)務(wù)邏輯層的概念，對外提供應(yīng)用服務(wù)器接口，全部的客戶端通過應(yīng)用服務(wù)器接口進行業(yè)務(wù)運算，應(yīng)用服務(wù)器我也采用服務(wù)器群的概念，有一個主的應(yīng)用服務(wù)器，有幾個副應(yīng)用服務(wù)器，全部客戶端只知道該主應(yīng)用服務(wù)器的地址，上線時登陸主應(yīng)用服務(wù)器，然后主應(yīng)用服務(wù)器根據(jù)各臺應(yīng)用服務(wù)器的負載情況返回給客戶端真正的登陸地址（副應(yīng)用服務(wù)器的地址），然后客戶端再登陸到上面進行業(yè)務(wù)處理，每臺應(yīng)用服務(wù)器都能夠訪問各臺數(shù)據(jù)服務(wù)器進行數(shù)據(jù)提取。

問題：需要每臺應(yīng)用服務(wù)器都配備一個公網(wǎng)ip么，還是有其他的方式可以只需要一個公網(wǎng)ip可以給全部的服務(wù)器公用？Nat能夠?qū)崿F(xiàn)么？或者能否進行更好的負載均衡，就是客戶端的各種業(yè)務(wù)都可以在不同的服務(wù)器上運算

改進：
用戶規(guī)則配置應(yīng)該不大，所以也可以做成配置一次Load到內(nèi)存中。

如此大數(shù)據(jù)量的項目竟不用Oracle,實在讓人費解。我現(xiàn)在的月數(shù)據(jù)量大概2.5億，用了3臺HP
SUPERDEMO,9個CUSTERMOR DB。其中一個CATALOG數(shù)據(jù)庫，相當于你的客戶索引。
你的插入操作很多，所以建議少建幾個索引，其實一些業(yè)務(wù)完全可以在數(shù)據(jù)庫中完成，通過觸發(fā)器，約束和存儲過程，這樣性能會有大的提高。大數(shù)據(jù)的表，分區(qū)的確是必須的，當然，還需要更完善的維護計劃，否則很容易，你的業(yè)務(wù)可能就會因為性能問題掛起了。

1、通過（數(shù)據(jù)庫+文件)方式進行數(shù)據(jù)存儲

2、集群方案

還有當初選修的“分布式數(shù)據(jù)庫”，不知道這個概念是不是能夠活生生的用到項目中來。。。

DAO層： JUnit test,需要用dbunit恢復(fù)現(xiàn)場;
service層：JUnit test,需要用dbunit恢復(fù)現(xiàn)場,邏輯更重要些,分支覆蓋更重要些;
action：不做測試;
selenium：做集成測試。
????盡管有人認為struts action不需要做測試，不過無意中看到strutsTestCase這個東東,還沒有試,用途是測試struts的action.覺得比較有用.
????尤其是,如果web頁面交由第三方來做的話,那么單獨對action進行測試就是十分有必要的.
????但是,如果整個web系統(tǒng)從前臺到后臺都是一個team來做,那么個人認為還不如跟頁面一起集成測,畢竟這是真實情況,而且從頁面上可視性更強,更容易發(fā)現(xiàn)問題.與此同時,使用腳本錄制回放測試工具(還沒有試過)提高效率.

“jMock利用mock objects思想來對Java code進行測試。jMock具有以下特點:容易擴展，讓你快速簡單地定義mock objects,因此不必打破程序間的關(guān)聯(lián)，你定義靈活的超越對象之間交互作用而帶來測試局限，減少你測試地脆弱性。”

??? 跟JMock功能類似的還有EasyMock。
??? 簡單試驗后的感覺沒有試驗DBUnit后的感覺強烈,試了DBUnit的感覺是這東西以后一定要用.
??? 但個人認為mock object這種東西能不用就不用,模擬來模擬去,最后還是要和真東西聯(lián)調(diào),所以mock的階段應(yīng)該是盡可能的短才是.

使用模仿對象進行測試的常用編碼樣式是：
· 創(chuàng)建模仿對象的實例
· 設(shè)置模仿對象中的狀態(tài)和期望值
· 將模仿對象作為參數(shù)來調(diào)用域代碼
· 驗證模仿對象中的一致性

代碼中的大概過程：
???? Mock mock = new Mock(**.class);//構(gòu)造一個那個類的mock對象，把這個類傳入Mock
???? 使用mock.expects方法，來設(shè)置想要執(zhí)行的操作：執(zhí)行幾次、執(zhí)行哪個方法、傳什么參、返回什么值
?????獲得那個mock對象：** x = (**)mock.proxy();//proxy方法返回代理類實例，即虛擬對象實例
???? 然后run **.class的那個方法（call methods on the mock object, expectation on it will deliver the result set up by yourself）

???? 寫mock-object 測試，需要有獨立的接口作為mock的對象(從而促進了針對接口編程的習慣)，還有個好的副作用：他迫使你來重寫一些代碼。實際上，代碼常常寫的不好。你讓類和環(huán)境之間產(chǎn)生了不必要的耦合。

DBUnit擴展自JUnit.在使用DBUnit之前,為了驗證自己編寫的涉及數(shù)據(jù)庫操作方法的正確性,每次都要執(zhí)行一個簡單的sql腳本,灌些數(shù)據(jù),然后人眼觀察著數(shù)據(jù)表中的數(shù)據(jù).然后,代碼執(zhí)行完畢后,再次觀察數(shù)據(jù)變化情況.久而久之,表里面的數(shù)據(jù)就變得雜亂,一般會全部刪除,重新來過.
??? DBUnit的目標正是保證數(shù)據(jù)庫數(shù)據(jù)環(huán)境的穩(wěn)定性,具備將數(shù)據(jù)庫中數(shù)據(jù)與xml文件之間雙向轉(zhuǎn)換的能力.
試驗了一下,

首先,下載dbunit的jar包,加入工程即可.
1.從xml中將數(shù)據(jù)導(dǎo)入數(shù)據(jù)庫表
tc不再繼承自TestCase,而是繼承DatabaseTestCase
覆蓋幾個方法,包括獲得xml文件內(nèi)容,獲得DB連接,以及在setup方法和teardown方法中調(diào)用提供的dbunit操作類型,構(gòu)建數(shù)據(jù)庫內(nèi)數(shù)據(jù)環(huán)境.

這時,我以為如果只有幾個簡單的數(shù)據(jù),寫xml固然簡單,但想測試大數(shù)據(jù)量時(雖然UT主要是測試功能而非性能,但是大數(shù)據(jù)量也方便驗證)就有點問題,好在是雙向的,可以先把數(shù)據(jù)用function灌入數(shù)據(jù)庫,再導(dǎo)進xml里面:

2.從數(shù)據(jù)庫表數(shù)據(jù)導(dǎo)入xml文件
??? 用ant+DBUnit來完成這個任務(wù)非常方便!

< target? name ="export" >
???????? < taskdef? name ="dbunit" ?classname ="org.dbunit.ant.DbUnitTask" ?classpathref ="compile.path" ? />
???????? < dbunit? driver ="com.mysql.jdbc.Driver" ?url ="jdbc:mysql://127.0.0.1:3306/mydb" ?userid ="root" ?password ="root" ?supportBatchStatement ="true" >
???????????? < export? dest ="${test.srcpath}/export.xml" > ????????????????
???????????????? < query? name ="test_table" ?sql ="SELECT?*?FROM?test_table" ? /> ????????
???????????????? < table? name ="user_table" ? />
???????????? </ export >
???????? </ dbunit >
???? </ target >

??? 疑問,看到有人說DBUnit在清除數(shù)據(jù)時,有時不能徹底,原因是分析不出來外鍵等表之間的約束.因為在試驗中采用的數(shù)據(jù)庫里沒啥表之間的約束,所以還沒有體會到.

??? DatabaseTestCase類提供了兩個方法來控制測試前和測試后的數(shù)據(jù)庫狀態(tài)：getSetUpOperation() 和 getTearDownOperation().???????
??? 一種高效的實施方案就是讓getSetUpOperation()方法執(zhí)行REFRESH操作，通過這個操作,我們可以用種子文件中的數(shù)據(jù)去更新目標數(shù)據(jù)庫里的數(shù)據(jù)。
??? 接下來，就是getTearDownOperation()，讓他去執(zhí)行一個NONE操作，也就是什么也不執(zhí)行
??? 常用操作：
??? DatabaseOperation.CLEAN_INSERT;?先刪除表中所有，再插入準備的數(shù)據(jù)
??? DatabaseOperation.REFRESH;?使用準備數(shù)據(jù)更新表，存在則update，不存在則insert
??? DatabaseOperation.DELETE;??只刪除準備的數(shù)據(jù)
??? DatabaseOperation.NONE;??啥都不做

前提:testlink已經(jīng)跟mantis安裝在同一個環(huán)境下
步驟:
參照http://crystaliris.bokee.com/5588155.html，testlink網(wǎng)站也給出了比較清楚的文檔說明。
1.修改testlink關(guān)于interface的配置為"MANTIS"，如果用別的BTS(Bug Trace System)，有其他的對應(yīng)值。
2.修改testlink目錄下cfg/mantis.cfg.php（如果用別的BTS，修改其他對應(yīng)目錄下的配置），配置一些關(guān)于mantis的數(shù)據(jù)庫和url屬性。
3.修改mantis的配置文件,打開匿名登錄,由于匿名登錄的用戶名需要是一個已經(jīng)存在的真實用戶,而我又沒在mantis上創(chuàng)建新的用戶,所以就填寫成administrator了。

環(huán)境：windows
下載scarab-1.0-b20.zip,直接解壓即可.
需要JDK,Ant(或者maven,scarab推薦maven),DB(推薦MySQL)
在解壓后的\scarab-1.0-b20目錄中,創(chuàng)建build.properties,以指定數(shù)據(jù)庫連接的參數(shù).

例如:
scarab.database.type=mysql
scarab.database.name=scarab
scarab.database.jdbc.driver=org.gjt.mm.mysql.Driver
scarab.database.host=localhost
scarab.database.port=3306
scarab.database.username=root
scarab.database.password=root
scarab.database.admin.username=${scarab.database.username}
scarab.database.admin.password=${scarab.database.password}

#發(fā)送郵件的郵件服務(wù)器也可以寫在這里
system.mail.host=smtp.126.com

數(shù)據(jù)庫方面,本來想使用postgreSQL,結(jié)果發(fā)現(xiàn)對于scarab來說配置比較特殊,于是就裝了MySQL[見MySQL的那篇文吧].
數(shù)據(jù)庫配置寫好以后,進入\scarab-1.0-b20\build\目錄,運行ant,就對scarab進行構(gòu)建啦,能夠看到BUILD SUCCESSFULLY就成功啦!!
感覺scarab可以配置的地方很多很多,不過配置修改后還是需要重新build的.之前遇到過的錯誤就是在寫好數(shù)據(jù)庫配置后沒有重新build造成的.

構(gòu)建成功后,就可以使用啦: 進入\scarab-1.0-b20\tomcat\bin目錄,運行startup.bat,tomcat就啟動起來了,訪問http://localhost:8080/scarab/就可以啦。

因為很多功能都需要發(fā)郵件來協(xié)助,所以要使用SMTP服務(wù)器,比方說smtp.126.com,user=realuser,password=realuserpassword

總得來說，覺得scarab界面不是很友好，也不是很美觀。
由于一開始郵件服務(wù)器不能用，所以直接到數(shù)據(jù)庫中update用戶的狀態(tài)為CONFIRMED。這樣子成功登錄后，點擊“申請新角色”時，竟然拋出錯誤了，不知道是什么原因，無法繼續(xù)了，挺郁悶的。

C-JDBC(Java 數(shù)據(jù)庫連接群集)作為開發(fā)源碼的數(shù)據(jù)庫群集中間件，可以讓任何應(yīng)用程序通過JDBC能夠透明的訪問數(shù)據(jù)庫群集。數(shù)據(jù)庫可以分布在多個節(jié)點并可以進行數(shù)據(jù)復(fù)制，C-JDBC能夠均衡在這些節(jié)點之間的查詢負載。 C-JDBC通過軟件來實現(xiàn)RAIDb(廉價數(shù)據(jù)庫冗余陣列)。C-JDBC是GNU LGPL許可證下的ObjectWeb項目。
http://c-jdbc.objectweb.org/網(wǎng)站上的C-JDBC-Brochure-EN.pdf寫的內(nèi)容挺好。(C-JDBC)tutorial.pdf內(nèi)容也挺翔實。

大型應(yīng)用隨著用戶量訪問越來越大，增加數(shù)據(jù)庫存儲和做好數(shù)據(jù)庫冗余可以增加系統(tǒng)的可靠性和性能。

無需修改客戶端應(yīng)用程序，無需變更應(yīng)用服務(wù)器或數(shù)據(jù)庫服務(wù)器軟件。C-JDBC的JDBC driver把SQL請求轉(zhuǎn)給C-JDBC controller(負責在databases之間做負載均衡）
The database is distributed and replicated among several nodes and C-JDBC load balances the queries between these nodes.
就這一句話就太誘人了！

上周的某一個上午，搞定C-JDBC的安裝配置啦~
主要根據(jù)官方的user guide和這篇好文: http://huaronghu.spaces.live.com/blog/cns!B9A68E1C1CA857AD!288.entry

準備工作：
環(huán)境：windows,postgreSQL,JDK
建立數(shù)據(jù)庫“們”，安裝若干db在若干server上，所以如果使用商業(yè)數(shù)據(jù)庫的話，就會需要好幾套的錢哪。
安裝C-JDBC：
下載了binary版的c-jdbc-2.0.2-bin.zip，解壓到作為C-JDBC server的機器上（e.g. C:\software\c-jdbc-2.0.2-bin），
設(shè)置環(huán)境變量,新增系統(tǒng)變量:CJDBC_HOME =C:\software\c-jdbc-2.0.2-bin
把實際使用的數(shù)據(jù)庫的JDBC driver（例如mysql-connector-java-3.1.12-bin.jar ，postgresql-8.0.309.jdbc2.jar）拷貝到c-jdbc/drivers 中

配置文件：
在c-jdbc-2.0.2-bin/config/virtualdatabase目錄中創(chuàng)建虛擬數(shù)據(jù)庫配置文件。
里面DatabaseBackend 標簽中定義的就是被集群的數(shù)據(jù)庫。
試驗時，創(chuàng)建了文件：postgresql-raidb1-distribution.xml，使用了2個postgreSQL數(shù)據(jù)庫，采用了全復(fù)制的方法。
注意，如果采用全復(fù)制，所以在2個數(shù)據(jù)庫上建庫、建表的全部腳本都要完全相同，否則將會報出mismatch的錯誤。
目前感覺配置里面最有用的配置就是<AuthenticationManager>，<DatabaseBackend>和<LoadBalancer>（還沒有仔細看）。
配置時可以參考已經(jīng)提供的例子，c-jdbc-2.0.2-bin/config/RAIDb-1-full-example.xml，里面對每一個屬性都有比較詳細的注釋，DatabaseBackend中還有各個開源數(shù)據(jù)庫連接的例子，挺貼心的。

<? xml?version="1.0"?encoding="UTF8" ?>
<! DOCTYPE?C-JDBC?PUBLIC?"-//ObjectWeb//DTD?C-JDBC?2.0.2//EN"?"http://c-jdbc.objectweb.org/dtds/c-jdbc-2.0.2.dtd" >

< C-JDBC >
??
?? < VirtualDatabase? name ="myDB" ?maxNbOfConnections ="20" ?minNbOfThreads ="1" ?maxNbOfThreads ="20" ?blobEncodingMethod ="hexa" >
???? < AuthenticationManager >
?????? < Admin >
??????? < User? username ="admin" ?password ="c-jdbc" />
?????? </ Admin > ?
?????? < VirtualUsers >
???????? < VirtualLogin? vLogin ="boss" ?vPassword ="boss" />
?????? </ VirtualUsers >
???? </ AuthenticationManager >

??? < DatabaseBackend? name ="postgreSQLNode114" ?driver ="org.postgresql.Driver" ?url ="jdbc:postgresql://10.10.0.114:5432/clusterdb" ?connectionTestStatement ="select?now()" >
? < DatabaseSchema? dynamicPrecision ="column" />
?????? < ConnectionManager? vLogin ="boss" ?rLogin ="postgres9" ?rPassword ="12345" >
? < RandomWaitPoolConnectionManager? poolSize ="20" />
?????? </ ConnectionManager >
???? </ DatabaseBackend >

???? < DatabaseBackend? name ="postgreSQLNode155" ?driver ="org.postgresql.Driver" ?url ="jdbc:postgresql://10.10.0.155:5432/clusterdb" ?connectionTestStatement ="select?now()" >
? < DatabaseSchema? dynamicPrecision ="column" />
?????? < ConnectionManager? vLogin ="boss" ?rLogin ="postgres" ?rPassword ="abcde" >
? < RandomWaitPoolConnectionManager? poolSize ="20" />
?????? </ ConnectionManager >
???? </ DatabaseBackend >

???? < RequestManager >
?????? < RequestScheduler >
????????? < RAIDb-1Scheduler? level ="passThrough" /> ???
?????? </ RequestScheduler >

?????? < RequestCache >
????????? < MetadataCache? maxNbOfMetadata ="10000" ?maxNbOfField ="0" />
????????? < ParsingCache? backgroundParsing ="false" ?maxNbOfEntries ="5000" /> ???
????????? < ResultCache? granularity ="table" ?maxNbOfEntries ="100000" ?pendingTimeout ="0" >
??????? < ResultCacheRule? queryPattern ="default" ?timestampResolution ="1000" >
????????????? < EagerCaching />
????????? </ ResultCacheRule >
????????? </ ResultCache >
?????? </ RequestCache >

?????? < LoadBalancer >
????????? < RAIDb-1 >
????????? < RAIDb-1-LeastPendingRequestsFirst /> ??
????????? </ RAIDb-1 >
?????? </ LoadBalancer > ????????
???? </ RequestManager >
?? </ VirtualDatabase >
</ C-JDBC >

?

在c-jdbc-2.0.2-bin/config/controller目錄中創(chuàng)建一個c-jdbc controller的配置文件。
試驗時，創(chuàng)建的配置文件為：uud-controller-distributed.xml

<? xml?version="1.0"?encoding="UTF8"? ?>
<! DOCTYPE?C-JDBC-CONTROLLER?PUBLIC?"-//ObjectWeb//DTD?C-JDBC-CONTROLLER?2.0.2//EN"??"http://c-jdbc.objectweb.org/dtds/c-jdbc-controller-2.0.2.dtd" >
< C-JDBC-CONTROLLER >
?? < Controller? port ="25322" >
???? < Report />
???? < JmxSettings >
?????? < RmiJmxAdaptor? port ="1091" />
???? </ JmxSettings >
???? < VirtualDatabase? configFile ="postgresql-raidb1-distribution.xml" ?virtualDatabaseName ="myDB" ?autoEnableBackends ="true" ?checkpointName ="Initial_empty_recovery_log" />
?? </ Controller >
</ C-JDBC-CONTROLLER >

?

注意：Controller和VirtualMachine的配置文件不能采用相同的文件名

啟動：
在c-jdbc-2.0.2-bin\bin目錄下，運行controller.bat -f ../config/controller/uud-controller-distributed.xml
unix用戶使用controller.sh來啟動controller

截圖：（下回補）
湊合看一下吧，控制臺的正常輸出：
C:\software\c-jdbc-2.0.2-bin\bin>controller.bat -f ../config/controller/uud-cont
roller-distributed.xml
2007-03-07 15:16:44,017 INFO? controller.core.Controller C-JDBC controller (2.0.
2)
2007-03-07 15:16:44,439 INFO? controller.core.Controller Loading configuration f
ile: ../config/controller/uud-controller-distributed.xml
2007-03-07 15:16:44,752 INFO? controller.core.Controller JMX is enabled
2007-03-07 15:16:44,830 INFO? controller.core.Controller Starting JMX server on
host: 10.10.0.155
2007-03-07 15:16:46,376 INFO? backend.DatabaseBackend.postgreSQLNode114 Adding c
onnection manager for virtual user "boss"
2007-03-07 15:16:46,501 INFO? backend.DatabaseBackend.postgreSQLNode155 Adding c
onnection manager for virtual user "boss"
2007-03-07 15:16:46,642 INFO? controller.RequestManager.myDB Request manager wil
l parse requests with the following granularity: TABLE
2007-03-07 15:16:46,657 WARN? controller.virtualdatabase.myDB No recovery log ha
s been configured, enabling backend without checkpoint.
2007-03-07 15:16:48,641 INFO? backend.DatabaseBackend.postgreSQLNode114 Detected
?backend as: PostgreSQL
2007-03-07 15:16:49,063 WARN? backend.DatabaseBackend.postgreSQLNode114 Statemen
t.getGeneratedKeys not supported.
2007-03-07 15:16:49,579 INFO? backend.DatabaseBackend.postgreSQLNode114 Gatherin
g database schema
2007-03-07 15:16:49,782 INFO? controller.RequestManager.myDB Setting new virtual
?database schema.
2007-03-07 15:16:49,782 INFO? cjdbc.controller.cache Setting new database schema
.
2007-03-07 15:16:49,782 INFO? controller.loadbalancer.RAIDb1 Adding blocking tas
k worker thread for backend postgreSQLNode114
2007-03-07 15:16:49,797 INFO? controller.loadbalancer.RAIDb1 Adding non blocking
?task worker thread for backend postgreSQLNode114
2007-03-07 15:16:49,797 INFO? controller.RequestManager.myDB Database backend po
stgreSQLNode114 is now enabled
2007-03-07 15:16:50,922 INFO? backend.DatabaseBackend.postgreSQLNode155 Detected
?backend as: PostgreSQL
2007-03-07 15:16:51,328 WARN? backend.DatabaseBackend.postgreSQLNode155 Statemen
t.getGeneratedKeys not supported.
2007-03-07 15:16:52,172 INFO? backend.DatabaseBackend.postgreSQLNode155 Gatherin
g database schema
2007-03-07 15:16:52,390 INFO? controller.RequestManager.myDB Virtual database sc
hema merged with new schema.
2007-03-07 15:16:52,390 INFO? cjdbc.controller.cache Merging new database schema

2007-03-07 15:16:52,390 INFO? controller.loadbalancer.RAIDb1 Adding blocking tas
k worker thread for backend postgreSQLNode155
2007-03-07 15:16:52,390 INFO? controller.loadbalancer.RAIDb1 Adding non blocking
?task worker thread for backend postgreSQLNode155
2007-03-07 15:16:52,406 INFO? controller.RequestManager.myDB Database backend po
stgreSQLNode155 is now enabled
2007-03-07 15:16:52,422 WARN? VirtualDatabaseWorkerThread.myDB.metadata Metadata
?key [getMaxColumnsInIndex] is not compatible. (Backends are: [jdbc:postgresql:/
/10.10.0.114:5432/clusterdb] and [jdbc:postgresql://10.10.0.155:5432/clu
sterdb] ; Values are:[32] and [0])
2007-03-07 15:16:52,422 INFO? controller.core.Controller Adding VirtualDatabase
myDB
2007-03-07 15:16:52,437 INFO? controller.core.Controller Waiting for connections
?on 0.0.0.0:25322
2007-03-07 15:16:52,469 INFO? controller.core.Controller Controller started on 2
007.03.07 10 at 03:16:52 下午 GMT+08:00
2007-03-07 15:16:52,484 INFO? controller.core.Controller Controller 10.10.0.
155:25322 ready, listening to requests ...

遇到過的問題：
1、
剛啟動沒一會兒，就看到config文件讀取錯誤，控制臺信息也就此結(jié)束。
解決方法：controller.bat -f filename中filename的相對路徑和文件名竟然都寫錯了，汗。。。。

2、
啟動時，控制臺拋出ERROR以及exception，大意是connection failed, IP沒有配置到pg_hba.conf中
解決方法：雖然是連本機的一個數(shù)據(jù)庫，但是由于數(shù)據(jù)庫連接的url里面寫的是IP地址，所以仍然要把本機的IP地址配置到pg_hba.conf以允許其訪問。

3、
還是啟動時拋錯了，Connection test failed(org.postgresql.util.PSQLException:Backend start-up failed:FATAL:role "boss_user" does not exist.)
解決方法：原來是在自己寫的.xml配置文件中，DatabaseBackend標簽里面寫的用戶名和密碼需要是真實數(shù)據(jù)庫的真實用戶名和密碼。

最后都整好了,但是遇到一個warn的log：
backend.DatabaseBackend.postgreSQLNode155 Statement.getGeneratedKeys not supported
至今不知道是什么問題,有什么影響.

代碼部分：
只需要修改應(yīng)用程序用到的jdbc driver的配置，把c-jdbc/drivers/目錄下的c-jdbc-driver.jar拷貝到應(yīng)用程序的工程里，并加入到class-path中。
之前是使用 Class.forName("com.somevendor.jdbcDriver.Driver") 去連接某特定的數(shù)據(jù)庫
現(xiàn)在是使用 Class.forName("org.objectweb.cjdbc.driver.Driver") 統(tǒng)一處理。
連接字符串：DriverManager.getConnection("jdbc:cjdbc://localhost:25322/mycjdbc") 取得數(shù)據(jù)庫連接。

c-jdbc server稱為c-jdbc controller，聆聽請求們
其他所有通過c-jdbc來訪問的DB們稱為db backends.

jdbc:cjdbc://host1:port1,host2:port2/database
host是指跑著c-jdbc controller的機器IP，port是指controller監(jiān)聽客戶端鏈接的端口，默認端口號：25322
注意，不僅真正的DB安裝多個在多個機器上，c-jdbc controller也可以安在不同的機器上,這樣可以防止一個c-jdbc 壞掉帶來的風險。
例如：

Class.forName( " org.objectweb.cjdbc.driver.Driver " );?
DriverManager.getConnection( " jdbc:cjdbc://c1.objectweb.org,c2.objectweb.org/tpcw " );? // 不驗證用戶名密碼
DriverManager.getConnection( " jdbc:cjdbc://host/db?user=me&password=secret " ) // 驗證用戶名密碼的寫法1
DriverManager.getConnection( " jdbc:cjdbc://host/db;user=me;password=secret " ) // 驗證用戶名密碼的寫法2

然后可以在代碼中insert/update幾個記錄，再單獨到各個數(shù)據(jù)庫中去查一下，應(yīng)該都受到影響就對了。

問題：
1、管理C-JDBC，不知道C-JDBC需要啥管理，不過好像是已經(jīng)有一個簡單的 Desktop Application 可以控制相關(guān)的 administration 介面, 最重要的是, 他結(jié)合了 JMX , 可以讓整個監(jiān)控的環(huán)境更完整.. （等待嘗試）
2、不知道通過C-JDBC來操作速度如何
3、RAIdb的3種類型，采取哪個更好？把表分開在不同server上對聯(lián)表查應(yīng)該不會有影響吧？

其他：
1、Configuring C-JDBC with Jakarta Tomcat
Copy the c-jdbc-driver.jar file to the lib directory of your web application (for example: $TOMCAT_HOME/webapps/mywebapp/WEB-INF/lib).
There are many ways to obtain connections from a Tomcat application. Just ensure that you are using org.objectweb.cjdbc.driver.Driver as the driver class name and that the JDBC URL is a C-JDBC URL

2、Configuring C-JDBC with Hibernate
C-JDBC just has to be defined as any JDBC driver in Hibernate, leaving the syntax set to the proper database. Here is a configuration example to use Hibernate with a C-JDBC cluster made of Sybase backends:
## C-JDBC
hibernate.dialect???????????????? net.sf.hibernate.dialect.SybaseDialect
hibernate.connection.driver_class org.objectweb.cjdbc.driver.Driver
hibernate.connection.username???? user
hibernate.connection.password???? pass
hibernate.connection.url????????? jdbc:cjdbc://localhost:25322/test???????