2007年4月24日

log4j 將日志以流輸出

這幾天做項(xiàng)目，需要做一個(gè)類似于控制臺(tái)的界面，可以將日志回顯到一個(gè)文本區(qū)域里，幾經(jīng)查找，反復(fù)測(cè)試寫了以下測(cè)試代碼。

這是log4j.properties的配置內(nèi)容
log4j.rootCategory= ,WriterAppender

log4j.appender.WriterAppender=org.apache.log4j.WriterAppender

log4j.appender.WriterAppender.Threshold=debug

log4j.appender.WriterAppender.layout=org.apache.log4j.PatternLayout

log4j.appender.WriterAppender.layout.ConversionPattern=%d{ISO8601} - %p - %m%n

主程序

import java.io.PipedReader;

import java.io.PipedWriter;

import java.io.Writer;

import org.apache.log4j.Appender;

import org.apache.log4j.Logger;

import org.apache.log4j.WriterAppender;

public class Log4jMain {

static public Logger logger = Logger.getLogger(Log4jMain.class);

public static void main(String[] arg) {

Logger root = Logger.getRootLogger();

try {

Appender appender = root.getAppender("WriterAppender");

PipedReader reader = new PipedReader();

Writer writer = new PipedWriter( reader) ;

((WriterAppender) appender).setWriter(writer);

Thread t = new AaaThread(reader);

t.start();

Logger logger = Logger.getLogger(Log4jMain.class);

logger.error("asdf");

logger.info("asdf");

logger.debug("asdf");

logger.fatal("asdf");
//hh是一個(gè)class，test方法里只有幾個(gè)logger.info("aaa"),用于測(cè)試用，這東西可以去掉

new HH().test();

} catch (Exception e) {

}

因?yàn)閘og4j提供的是 Writer，所以通過使用PipedWriter連接到PipedReader，并通過一個(gè)thread來處理PipedReader的數(shù)據(jù)就可以回顯了。如果你需要的話可以將下面的System.out.println(scanner.nextLine());改成你需要顯示的地方就行了。

import java.io.PipedReader;

import java.util.Scanner;

public class AaaThread extends Thread {

PipedReader reader;

public AaaThread(PipedReader reader) {

this.reader = reader;

}

public void run() {

Scanner scanner = new Scanner(reader);

while (scanner.hasNext()) {

System.out.println(scanner.nextLine());

}

posted @ 2008-06-06 09:31 小平閱讀(1224) | 評(píng)論 (0) | 編輯收藏

怎樣用hibernate的hql查詢查詢成map或list

這里制作一個(gè)引子，具體內(nèi)容比較多，而且hibernate文檔里的hql篇寫的很詳細(xì)
可以這么用：
List list = getHibernateTemplate().find("select new map(t1.c1,t2.c3) from table1 t1 ,table2 t2 where t1.c1=t2.c2");
這樣的話list里的每個(gè)元素都是一個(gè)map，每個(gè)map里包含兩個(gè)元素
注意：這里的table1和table2都是class名并不是真的表名，畢竟這是hql。除了可以用map還還支持list和自定義的bean。

posted @ 2008-04-17 17:05 小平閱讀(1893) | 評(píng)論 (0) | 編輯收藏

DB2的jdbc type-4驅(qū)動(dòng)

DB2的Type-4驅(qū)動(dòng)真的很詭異，配了兩天沒配上，發(fā)現(xiàn)是多引了一個(gè)包。就是他----“db2java.zip（db2java.jar）”只要有了他就算你已經(jīng)引入了db2jcc.jar、db2jcc_license_cisuz.jar、db2jcc_license_cu.jar也沒用。
不知道怎么回事，本以為多引就沒錯(cuò)，沒想到載這了。
順便吧db2 type-4的配置方法貼下面：
jdbc:db2://ip:port/數(shù)據(jù)庫(kù)
驅(qū)動(dòng)名：com.ibm.db2.jcc.DB2Driver

我日他IBM！該死的IBM，我算是服了，配好的type-4驅(qū)動(dòng)中文數(shù)據(jù)顯示的全是亂碼，準(zhǔn)備切到type-2上試試，結(jié)構(gòu)還是不行，查來查去是數(shù)據(jù)庫(kù)pagecode的事，數(shù)據(jù)庫(kù)的字符集改成gbk，客戶端的pagecode也改成跟數(shù)據(jù)庫(kù)一樣的，ODBC算是能用了，type-2也能用了，然后又用type-4一試！連不上了！說字符集不匹配，上網(wǎng)一查說要使用IBM專用的JDK，我日了，換了IBM的JDK，配好環(huán)境變量eclipse又不能用了！我算是被IBM搞死了，一氣之下也不準(zhǔn)備再嘗試type-4了。
我這里用的IBM JDK1.4，db2 V8

posted @ 2008-04-17 16:51 小平閱讀(2530) | 評(píng)論 (3) | 編輯收藏

java 、串口和并口

近日抽風(fēng)，想了解以下java與串口并口通訊的問題，上網(wǎng)查了半天，找到了sun幾年前的一個(gè)破包，comm.jar

2.0版的，遇到一個(gè)比較奇怪的問題，這個(gè)包里的demo程序用cmd可以運(yùn)行，但是用eclipse編譯就不能運(yùn)行，一直以為是dll庫(kù)和配置文件的問題，幾乎將兩個(gè)文件copy到了系統(tǒng)中全部可能出現(xiàn)的地方都沒有解決。百般無奈之下，找到了http://blog.csdn.net/djsl6071/archive/2007/04/25/1583979.aspx這個(gè)博客，下載了rxtx把問題搞定了。

posted @ 2008-04-17 16:40 小平閱讀(575) | 評(píng)論 (0) | 編輯收藏

Spring RMI服務(wù)的一點(diǎn)點(diǎn)心得

如果RMI客戶端鏈接補(bǔ)上服務(wù)器可能是以下情況導(dǎo)致的：
1、網(wǎng)絡(luò)不通
2、端口占用
3、防火墻（客戶端機(jī)器的防火墻和服務(wù)器端的防火墻都有可能）
4、服務(wù)器端所在機(jī)器安裝了linux虛擬機(jī)，或者使用的linux或者unix系統(tǒng)
排除辦法：
前三種情況都很好解決，主要是最后一個(gè)，需要在rmi服務(wù)啟動(dòng)時(shí)加上一句
java -Djava.rmi.server.hostname=localhost ……
其中l(wèi)ocalhost可以強(qiáng)制定義為機(jī)器的IP地址

posted @ 2008-02-15 14:11 小平閱讀(887) | 評(píng)論 (0) | 編輯收藏

eclipse plugin 加載 spring 配置文件

為了滿足將plugin工程打成jar包，但是spring的配置文件不打進(jìn)jar包的需求。很多時(shí)候我們?yōu)榱丝梢苑奖闶止づ渲胹pring的一些信息，而不用將jar解壓而從新壓縮，我們需要把Spring的配置文件放在plugin的jar包外這時(shí)，如果沒有正確的使用spring的Resource就不能加載spring的配置文件，經(jīng)過多次嘗試終于找到一個(gè)比較合適的方法，與大家交流。

public static BeanFactory getFactory() {

if (factory == null) {

FileSystemResource resource = new FileSystemResource("appcontextclient.xml");

factory = new XmlBeanFactory(resource);

}

return factory;

}

        將appcontextclient.xml文件放到工程根目錄下，發(fā)布時(shí)將appcontextclient.xml放入到你的eclipse的安裝目錄即可(與eclipse的exe執(zhí)行文件相同的位置)，如果需要可在appcontextclient.xml文件前加入相關(guān)的路徑來更改你的目錄(但是有可能在調(diào)試過程中必須要把a(bǔ)ppcontextclient.xml文件放到你的eclipse IDE的安裝目錄里，因?yàn)榇蟛糠謺r(shí)間我們的eclipse IDE是何 workspace分開存放的，這樣我們?cè)谡{(diào)試的時(shí)候非常別扭，要到IDE里去修改配置文件)。
        以上方法并不是唯一的，只是我感覺用起來比較合適的，這樣在調(diào)試時(shí)既可以保證appcontextclient.xml文件在工程目錄范圍內(nèi)，有可以在發(fā)布時(shí)使文件保持在安裝目錄而不是運(yùn)行環(huán)境的workspace的臨時(shí)目錄里。
        同時(shí)介紹幾個(gè)方法可以eclipse方法獲得eclipse工具的幾個(gè)重要路徑（注："IDE"為我的plugin工程的PLUGIN_ID）
        Platform.getInstallLocation().getURL()
        file:/F:/tools/java/eclipse/eclipse-SDK-3.3-win32/eclipse/
        這是我的eclipse IDE的安裝目錄

        Platform.getLocation()
        D:/runtime-IDE.product
        這是我調(diào)試插件時(shí)生成的臨時(shí)運(yùn)行環(huán)境目錄，是在調(diào)試IDE工程時(shí)生成的，就是發(fā)布時(shí)插件所屬eclipse運(yùn)行環(huán)境的WorkSpace目錄

        Platform.getInstanceLocation().getURL()
        file:/D:/runtime-IDE.product/
         這個(gè)跟上面的一樣

        Platform.getLocation()
        D:/runtime-IDE.product
         這個(gè)跟上面的也一樣

        Platform.getLogFileLocation()
        D:/runtime-IDE.product/.metadata/.log
        運(yùn)行環(huán)境的日志文件路徑，發(fā)布時(shí)插件所屬eclipse運(yùn)行環(huán)境的WorkSpace目錄下的/.metadata/.log

        Platform.getStateLocation(Platform.getBundle("IDE"))
        D:/runtime-IDE.product/.metadata/.plugins/IDE
        運(yùn)行環(huán)境中IDE的一個(gè)臨時(shí)目錄，發(fā)布時(shí)插件所屬eclipse運(yùn)行環(huán)境的WorkSpace目錄下/.metadata/.plugins/IDE

        Platform.getUserLocation()
        file:/C:/Documents and Settings/XX/user
         這是我的文檔的路徑(把用戶名X掉，哈哈)

        Platform.getBundle("IDE").getLocation()
        update@D:/WorkSpace/IDE/
        我的IDE工程的路徑，對(duì)應(yīng)發(fā)布時(shí)插件的jar本身，在這個(gè)目錄下的文件將全部包含在發(fā)不得jar里。

        Platform.getConfigurationLocation().getURL()
        file:/D:/WorkSpace/.metadata/.plugins/org.eclipse.pde.core/IDE.product/
        eclipse IDE 自己建的目錄

        eclipse 本身也有很多加載資源文件的方法可以在org.eclipse.core.runtime.Platform這個(gè)類里找到，具體的就請(qǐng)大家找找API吧

posted @ 2008-01-05 21:35 小平閱讀(2014) | 評(píng)論 (0) | 編輯收藏

ibatis批量代碼

應(yīng)要求在此提供ibatis批量插入demo下載，謝謝大家的關(guān)注，不過對(duì)于一些人的不禮貌行為我非常痛心。由于工作地點(diǎn)不能上網(wǎng)，不能上網(wǎng)，不能及時(shí)回復(fù)大家的留言我深表道歉。下載

posted @ 2007-12-27 19:52 小平閱讀(3423) | 評(píng)論 (9) | 編輯收藏

Apache服務(wù)器的WSASocket failed to open the inherited socket錯(cuò)誤

此問題網(wǎng)上大部分解決方法是這樣的：
1.網(wǎng)上鄰居->本地連接->屬性->internet協(xié)議(TCP/IP)->屬性->高級(jí)->wins標(biāo)簽->去掉啟用LMhosts查詢前的勾.
2.控制面版->windows防火墻->高級(jí)標(biāo)簽->本地連接設(shè)置->服務(wù)的標(biāo)簽里勾選安全Web服務(wù)器(HTTPS)即可
但是我的機(jī)器按照上面操作apache服務(wù)仍然不可以使用，于是索性將服務(wù)中的Windows Firewall/Internet Connection Sharing (ICS的服務(wù)關(guān)掉了，發(fā)現(xiàn)問題解決了，apache可以用了。對(duì)于安全問題可以選擇第3方的防火墻來解決。
注意：費(fèi)爾防火墻好像和apache沖突，也會(huì)導(dǎo)致WSASocket failed to open the inherited socket

posted @ 2007-10-21 14:53 小平閱讀(1462) | 評(píng)論 (1) | 編輯收藏

AIX IBM JDK 上運(yùn)行Informix 與oralce之間的數(shù)據(jù)批量抽取的java程序的字符集問題

今天用sun的jdk調(diào)的沒有一點(diǎn)問題的數(shù)據(jù)抽取程序，方放到AIX上后不能用了，oralce報(bào)出向一個(gè)字段中插入了過長(zhǎng)的數(shù)據(jù)，可是程序在幾天前還是沒有問題的，后來分析可能是字符集導(dǎo)致的，因?yàn)榍皫滋煨薷倪^informix數(shù)據(jù)庫(kù)的字符集由8859-1轉(zhuǎn)為了zh_cn.gb18030-2000，但解決過程異常艱難，后來吧informix的url改為<value>jdbc:informix-sqli://xx.xx.xx.xx:8888/XXXX:informixserver=whcspdev;DB_LOCALE=zh_cn.gb18030-2000;CLIENT_LOCALE=zh_cn.UTF8（原為zh_cn.gb18030-2000）;NEWCODESET=gb18030,gb18030-2000,5488,utf8</value>就可以了。后來猜測(cè)了一下原因：
1、oracle數(shù)據(jù)庫(kù)的jdbc驅(qū)動(dòng)是是自動(dòng)將數(shù)據(jù)庫(kù)的數(shù)據(jù)轉(zhuǎn)為unicode格式，這可能跟java的String默認(rèn)為unicode有關(guān)，為了讓大家方便操作，
2、sun jdk的String在初始時(shí)用的是Unicode格式，ibm的jdk應(yīng)該也是，但是有一點(diǎn)，sun的jdk在通過informix jdbc驅(qū)動(dòng)取數(shù)據(jù)時(shí)不會(huì)將數(shù)據(jù)轉(zhuǎn)成其他字符集，而是仍然使用Unicode，而IBM的則是通過CLIENT_LOCALE=zh_cn.gb18030-2000配置將數(shù)據(jù)格式轉(zhuǎn)為了zh_cn.gb18030-2000。
所以在oracle作insert的時(shí)候就會(huì)由于字符集不匹配而報(bào)錯(cuò)

posted @ 2007-07-18 19:23 小平閱讀(1000) | 評(píng)論 (2) | 編輯收藏

為org.eclipse.jface.text.TextViewer添加undo、redo 并添加Ctrl+z,與Ctrl+y功能

前兩天遇到為org.eclipse.jface.text.TextViewer添加undo、redo 并添加Ctrl+z,與Ctrl+y功能這個(gè)問題，搜遍了國(guó)內(nèi)網(wǎng)站，也沒有個(gè)好結(jié)果，終于多天后在一個(gè)國(guó)外的svn服務(wù)器上找到了一段代碼，解決了問題
1、為TextViewer添加TextViewerUndoManager來管理記錄

protected TextViewer textViewer;

protected TextViewerUndoManager undoManager;

//20是保存記錄的數(shù)量。

undoManager = new TextViewerUndoManager(20);

//綁定對(duì)textViewer控件的數(shù)據(jù)進(jìn)行管理

undoManager.connect(textViewer);

textViewer.setUndoManager(undoManager);

2、添加Ctrl+z,與Ctrl+y事件

StyledText styledText = textViewer.getTextWidget();

styledText.addKeyListener(new KeyListener( ) {

public void keyPressed( KeyEvent e )

{

if ( isUndoKeyPress( e ) )

{

textViewer.doOperation( ITextOperationTarget.UNDO );

}

else if ( isRedoKeyPress( e ) )

{

textViewer.doOperation( ITextOperationTarget.REDO );

}

private boolean isUndoKeyPress( KeyEvent e )

{

// CTRL + z

return ( ( e.stateMask & SWT.CONTROL ) > 0 )

&& ( ( e.keyCode == 'z' ) || ( e.keyCode == 'Z' ) );

}

private boolean isRedoKeyPress( KeyEvent e )

{

// CTRL + y

return ( ( e.stateMask & SWT.CONTROL ) > 0 )

&& ( ( e.keyCode == 'y' ) || ( e.keyCode == 'Y' ) );

}

public void keyReleased( KeyEvent e )

{

// do nothing

}

});

posted @ 2007-07-16 10:49 小平閱讀(1870) | 評(píng)論 (3) | 編輯收藏

Spring+ibatis批量處理心得3

到一個(gè)這東西都寫到3了，針對(duì)上回說到30000條數(shù)據(jù)的批量插入工作。30000條數(shù)據(jù)的批量插入在一個(gè)事務(wù)里處理固然是快，但是這只是測(cè)試環(huán)境，30000條數(shù)據(jù)在數(shù)據(jù)庫(kù)的緩存里必然對(duì)數(shù)數(shù)據(jù)庫(kù)的緩存和鎖數(shù)量都是一個(gè)大的挑戰(zhàn)，固在新的程序中我們使用了分批事務(wù)提交的方式，這樣為了保持?jǐn)?shù)據(jù)的正確行就只能人為控制數(shù)據(jù)庫(kù)中已被插入的數(shù)據(jù)是否delete掉。另外，使用Batch塊提交會(huì)引發(fā)一個(gè)問題就是，如果batch塊中發(fā)生了異常，我們得不到異常數(shù)據(jù)的行號(hào)即任何信息，所以只能是魚和熊掌不可兼得（我已關(guān)注過insert方法中返回pk的方法了，但好像在batch中他反回不了出錯(cuò)的行號(hào)，也許是我沒有找到方法，如有人有好方法請(qǐng)共享一下，在這里表示感謝），大家酌情考慮吧，只能到到自己需要的平衡點(diǎn)了。
建議：如果對(duì)數(shù)據(jù)的準(zhǔn)確性毋庸置疑的話就是用batch處理。如果不能確定準(zhǔn)確性的話，如果對(duì)那條數(shù)據(jù)出錯(cuò)無所謂的話就也可以用batch，但是非要返回出錯(cuò)行號(hào)的話就不要用batch了，直接在外面套用一個(gè)事務(wù)，然后try catch一下，處理一下行號(hào)。

posted @ 2007-06-28 21:32 小平閱讀(3291) | 評(píng)論 (4) | 編輯收藏

oracle 的ORA-01461錯(cuò)誤

今天發(fā)生了ORA-01461 ：can bind a LONG value only for insert into a LONG ...到處查詢發(fā)現(xiàn)是一個(gè)字段中的中文內(nèi)容導(dǎo)致，仔細(xì)分析了一下原因，是因?yàn)閖dk1.5的String類型為utf-16編碼方式，而jdk1.4為utf-8，通過在oracle網(wǎng)上查詢10g的jdbc驅(qū)動(dòng)有兩個(gè)版本，舊版的不持jdk1.5，只支持jdk1.4，通過換jdbc驅(qū)動(dòng)問題解決。

posted @ 2007-06-20 10:53 小平閱讀(2804) | 評(píng)論 (0) | 編輯收藏

Spring+ibatis批量存儲(chǔ)心得 2

1、上回的心得中我強(qiáng)調(diào)了startBatch()的批處理的作用，但是其中的使用是個(gè)錯(cuò)誤用法，并沒有發(fā)揮出startBatch()的實(shí)力，對(duì)此給與觀眾的誤導(dǎo)我將在此表示到欠，并貼出正確的用法

public class LocalDaoImpl extends SqlMapClientDaoSupport implements LocalDao {

public void insertBuNaTaxBatLst(final PaginatedList list)

{

getSqlMapClientTemplate().execute(new SqlMapClientCallback() {

public Object doInSqlMapClient(SqlMapExecutor executor)

throws SQLException {

executor.startBatch();

// do some iBatis operations here

for(int i=0,count=list.size();i<count;i++)

{

executor.insert("insertBuNaTaxBatLst", list.get(i));

if (i % 50 == 0) {

System.out.println("----" + i);//沒有意義只為測(cè)試

}

executor.executeBatch();

return null;

}

});

}

這樣才能利用上startBatch()威力。
2、注意ibatis的事物默認(rèn)情況下是自動(dòng)提交的，如果發(fā)現(xiàn)速度上有問題可以留意一下，ibatis只有在顯示的聲明事物管理的情況下才自動(dòng)將事物管理改為不自動(dòng)方式。
3、還是startBatch()，據(jù)我測(cè)試分析這個(gè)鬼東西只有在executeBatch()，才把所有的語句提交到數(shù)據(jù)庫(kù)，在提交之前緩存中保留了大量的sql語句和數(shù)據(jù)對(duì)象，很有可能out of memony，對(duì)此要留意，可以在大量數(shù)據(jù)要做插入時(shí)，分批用Batch，如：有40000條數(shù)據(jù)可將其分為4個(gè)Batch塊，讓后將這4個(gè)Batch用一個(gè)事物提交以保證數(shù)據(jù)完整性。
注：最近在做數(shù)據(jù)抽取項(xiàng)目，愿與大家溝通心得

posted @ 2007-05-30 21:46 小平閱讀(5963) | 評(píng)論 (6) | 編輯收藏

ibatis +spring批量操作心得

程序功能：
使用ibatis+spring將oracle數(shù)據(jù)庫(kù)中的tfile表中的數(shù)據(jù)抽取到db2數(shù)據(jù)庫(kù)的tfile表，這兩個(gè)表的結(jié)構(gòu)相同。

測(cè)試環(huán)境：
celeron M 1.4/512M/mysql 5.0數(shù)據(jù)庫(kù)
代碼：

public static void main(String[] args) {

// TODO Auto-generated method stub

ClassPathResource resource = new ClassPathResource(

"applicationContext.xml");

BeanFactory factory = new XmlBeanFactory(resource);

TFileDAO tFileDao = (TFileDAO) factory.getBean("tfile");

TFileDAO test2FileDao = (TFileDAO) factory.getBean("test2tfile");

//獲取全部數(shù)據(jù)

List list = tFileDao.getAll();

//開啟事務(wù)

DataSourceTransactionManager txm = (DataSourceTransactionManager) factory

.getBean("test2transactionManager");

DefaultTransactionDefinition def = new DefaultTransactionDefinition();

def.setPropagationBehavior(TransactionDefinition.PROPAGATION_REQUIRED);

TransactionStatus status = txm.getTransaction(def);

try {

test2FileDao.getSqlMapClient().startBatch();

for (int i = 0, count = list.size(); i < count; i++) {

//插入數(shù)據(jù)

test2FileDao.insert((TFile) list.get(i));

}

test2FileDao.getSqlMapClient().executeBatch();// 這兩句有問題,請(qǐng)見Spring+ibatis心得2!

} catch (Exception e) {

txm.rollback(status);

System.out.println(e);

}

txm.commit(status);

System.out.println(list.size());

}

1、保證使用長(zhǎng)事務(wù)，不要在每個(gè)插入都事務(wù)提交，這樣性能可以有很大幅度的提升
2、使用 test2FileDao.getSqlMapClient().startBatch();
              test2FileDao.getSqlMapClient().executeBatch();
             可以發(fā)起jdbc對(duì)批量數(shù)據(jù)插入的優(yōu)化與自動(dòng)代碼壓縮功能。

      結(jié)語：這次使用ibatis在同樣的硬件、數(shù)據(jù)庫(kù)、數(shù)據(jù)條數(shù)的環(huán)境下測(cè)試，在不起用batch，所有數(shù)據(jù)庫(kù)，數(shù)據(jù)池特性均使用默認(rèn)設(shè)置情況下使用19秒，并且使用一次性將數(shù)據(jù)讀入內(nèi)存的方式，效果優(yōu)于hibernate，所以真信優(yōu)化后的程序應(yīng)該比hibernate效率更高。但是從程序編寫方面來講，hibernate省去了過多的代碼，可以讓程序員更輕松些。

posted @ 2007-04-26 19:54 小平閱讀(3204) | 評(píng)論 (1) | 編輯收藏

hibernate 作批量數(shù)據(jù)操作心得

程序功能：
使用hibernate+spring將oracle數(shù)據(jù)庫(kù)中的tfile表中的數(shù)據(jù)抽取到db2數(shù)據(jù)庫(kù)的tfile表，這兩個(gè)表的結(jié)構(gòu)相同。（原本要使用一些Spring的特性，但是程序改來改去發(fā)現(xiàn)Spring特性一個(gè)都沒用上，實(shí)際上完全可以由hibernate創(chuàng)建兩個(gè)sessionFactory完成）
測(cè)試環(huán)境：
celeron M 1.4/512M/mysql 5.0數(shù)據(jù)庫(kù)
代碼：

public void save() {

Session session= fileDAO.getDataSession();

Session session2= fileDAO2.getDataSession();

Transaction tx =session2.beginTransaction();

int count=0;

List list =fileDAO.getList(session, count);

while(list.size()!=0)

{

for(int i=0,num =list.size();i<num;i++)

{

session2.save(list.get(i));

session.evict(list.get(i));

if(num%50==0)

{

session2.flush();

session2.clear();

}

count= count+500;

list =fileDAO.getList(session, count);

// System.out.println(count);

}

tx.commit();

session.close();

session2.close();

}

配置文件：

<prop key="hibernate.cache.use_second_level_cache">false</prop>

1、為保證不會(huì)出現(xiàn)內(nèi)存溢出
   hibernate.jdbc.batch_size 設(shè)為 20-50
   并在代碼中沒隔50個(gè)insert后手工清理數(shù)據(jù)

if(num%50==0)

{

session2.flush();

session2.clear();

}

2、為保證減少二級(jí)緩存導(dǎo)致的過多的內(nèi)存開銷關(guān)，閉二級(jí)緩存
hibernate.cache.use_second_level_cache 設(shè)為false
3、保證使用長(zhǎng)事務(wù)，不要在每個(gè)插入都事務(wù)提交，這樣性能可以有很大幅度的提升（由于原先配的事務(wù)沒有正常運(yùn)行，在初次測(cè)試時(shí)此程序插入4萬條數(shù)據(jù)用了12分鐘，使用了長(zhǎng)事務(wù)后僅為34秒）
4、使用ScrollableResults（提供了數(shù)據(jù)庫(kù)的游標(biāo)特性）然后插入的效果好像要優(yōu)于分批抓取分批插入的效果，(4萬條數(shù)據(jù)，用ScrollableResult耗時(shí)29秒）但網(wǎng)上有人聲稱批量抓取插入的效果要好可能在遠(yuǎn)程數(shù)據(jù)庫(kù)的情況下批量抓取的可靠性更高一點(diǎn)的原因。這一點(diǎn)我詢問過公司里做數(shù)據(jù)庫(kù)比較好的人，批量處理數(shù)據(jù)是要使用游標(biāo)處理的。就游標(biāo)而言分為動(dòng)態(tài)游標(biāo)，靜態(tài)游標(biāo)，動(dòng)態(tài)游標(biāo)慢于靜態(tài)游標(biāo)，靜態(tài)游標(biāo)慢于靜態(tài)查詢，但是如果用分批抓取數(shù)據(jù)的話就涉及到數(shù)據(jù)分段截取，為保證每次分段截取時(shí)數(shù)據(jù)的正確性，應(yīng)該要預(yù)先對(duì)數(shù)據(jù)處理，所以批量抽取數(shù)據(jù)的速度可能會(huì)慢一些。以下為使用ScrollableResult的程序

Session session= fileDAO.getDataSession();

Session session2= fileDAO2.getDataSession();

Transaction tx =session2.beginTransaction();

ScrollableResults tFiles = session.createQuery(

"from TFile as model ").setCacheMode(CacheMode.IGNORE).scroll(ScrollMode.FORWARD_ONLY);

int count=0;

while(tFiles.next())

{

session2.save(tFiles.get(0));

if(++count%50==0)

{

session2.flush();

session2.clear();

}

tx.commit();

session.close();

session2.close();

posted @ 2007-04-24 19:30 小平閱讀(1800) | 評(píng)論 (0) | 編輯收藏

2007年4月

日

一

二

三

四

五

六

常用鏈接

留言簿(2)

隨筆分類

隨筆檔案

framework

eclipse 幫助
ibm開發(fā)文檔
spring中文論壇
webwork中文計(jì)劃
中國(guó)eclipse社區(qū)

j2me

j2medev
j2me開發(fā)專題
nokia
wap之家

java

csdn
hibernate SessionFactory配置
java開源大全
j道
sun的java 社區(qū)

linux

linux伊甸園

web

javascript參考
w3schools

其他

IBM
MSDN
oracle
UML
w3china

常用鏈接

留言簿(2)

隨筆分類

隨筆檔案

framework

j2me

java

linux

web

其他

友情鏈接

素材

最新評(píng)論

閱讀排行榜

評(píng)論排行榜