隨筆 - 18, 文章 - 0, 評論 - 8, 引用 - 0
          數(shù)據(jù)加載中……

          2017年7月13日

          CyclicBarrier 簡單舉例

          一句話解釋:預(yù)備~~~開始

           1 import java.util.concurrent.BrokenBarrierException;
           2 import java.util.concurrent.CyclicBarrier;
           3 
           4 import org.slf4j.Logger;
           5 import org.slf4j.LoggerFactory;
           6 
           7 public class CyclicBarrierLearn {
           8     
           9     private Logger log = LoggerFactory.getLogger(CyclicBarrierLearn.class);
          10     
          11     private class Work extends Thread {
          12         
          13         private String name;
          14         private CyclicBarrier cyclicBarrier;
          15         
          16         public Work(String name, CyclicBarrier cyclicBarrier) {
          17             this.name = name;
          18             this.cyclicBarrier = cyclicBarrier;
          19         }
          20         
          21         @Override
          22         public void run() {
          23             try {
          24                 log.debug("thread name: " + name + " waiting work");
          25                 cyclicBarrier.await();
          26                 log.debug("thread name: " + name + " working");
          27             } catch (InterruptedException e) {
          28                 e.printStackTrace();
          29             } catch (BrokenBarrierException e) {
          30                 e.printStackTrace();
          31             }
          32             
          33         }
          34     }
          35     
          36     public void cyclicBarrier() {
          37         CyclicBarrier cyclicBarrier = new CyclicBarrier(50, new Runnable() {
          38             
          39             @Override
          40             public void run() {
          41                 log.debug("let's begin work");
          42             }
          43         });
          44         
          45         for (int i = 0; i < cyclicBarrier.getParties(); i++) {
          46             Work work = new Work(String.valueOf(i), cyclicBarrier);
          47             work.start();
          48         }
          49         
          50     }
          51 
          52     public static void main(String[] args) {
          53         CyclicBarrierLearn cyclicBarrierLearn = new CyclicBarrierLearn();
          54         cyclicBarrierLearn.cyclicBarrier();
          55 
          56     }
          57 
          58 }
          59 

          posted @ 2017-07-13 11:39 丑男 閱讀(173) | 評論 (0)編輯 收藏

          CountDownLatch 簡單舉例

          一句話解釋:主線程阻塞,其他線程完成后,主線程被喚醒后繼續(xù)執(zhí)行

           1 import java.util.Random;
           2 import java.util.concurrent.CountDownLatch;
           3 
           4 import org.slf4j.Logger;
           5 import org.slf4j.LoggerFactory;
           6 
           7 public class CountDownLatchLearn {
           8     
           9     private Logger log = LoggerFactory.getLogger(CountDownLatchLearn.class);
          10     private CountDownLatch countDownLatch;
          11     
          12     public CountDownLatchLearn() {
          13         countDownLatch = new CountDownLatch(50);
          14     }
          15     
          16     public void countDown() {
          17         Long count = countDownLatch.getCount();
          18         log.debug("countDownLatch count is:" + count.toString());
          19         
          20         for (int i = 0; i < count; i++) {
          21             Work work = new Work(String.valueOf(i), countDownLatch);
          22             work.start();
          23         }
          24         try {
          25             countDownLatch.await();
          26         } catch (InterruptedException e) {
          27             e.printStackTrace();
          28         }
          29         log.debug("work finish!!!");
          30     }
          31     
          32     private class Work extends Thread {
          33         
          34         private String name;
          35         private CountDownLatch countDownLatch;
          36         
          37         public Work(String name, CountDownLatch countDownLatch) {
          38             this.name = name;
          39             this.countDownLatch = countDownLatch;
          40         }
          41         
          42         @Override
          43         public void run() {
          44             Random r = new Random();
          45             int sleep = r.nextInt(2000);
          46             try {
          47                 log.debug("thread sleep: "+ sleep);
          48                 Thread.sleep(sleep);
          49             } catch (InterruptedException e) {
          50                 e.printStackTrace();
          51             }
          52             log.debug("thread: " + name + ": do work");
          53             countDownLatch.countDown();
          54         }
          55     }
          56 
          57     public static void main(String[] args) {
          58         System.out.println("main start!!!");
          59         
          60         CountDownLatchLearn countDownLatchLearn = new CountDownLatchLearn();
          61         countDownLatchLearn.countDown();
          62         
          63         System.out.println("main end!!!");
          64     }
          65 
          66 }

          posted @ 2017-07-13 11:18 丑男 閱讀(306) | 評論 (0)編輯 收藏

          2017年7月10日

          mysql 5.7 for windows安裝過程

          環(huán)境說明:

          OSwindows 7 64bit Databasemysql-5.7.18-winx64 Noinstall版本

           

          1. 解壓Mysql安裝目錄

          2. 編寫my.ini配置文件

          3. mysqld --defaults-file=../my.ini --initialize

          4. ALTER USER 'root'@'localhost' IDENTIFIED BY 'password';

          5. mysql –u root –p

          6. 密碼在logs/*.err日志中

           
          my.ini文件內(nèi)容

           1 # my.ini文件內(nèi)容
           2 # For advice on how to change settings please see
           3 # http://dev.mysql.com/doc/refman/5.7/en/server-configuration-defaults.html
           4 # *** DO NOT EDIT THIS FILE. It's a template which will be copied to the
           5 # *** default location during install, and will be replaced if you
           6 # *** upgrade to a newer version of MySQL.
           7 
           8 [mysqld]
           9 
          10 # Remove leading # and set to the amount of RAM for the most important data
          11 # cache in MySQL. Start at 70% of total RAM for dedicated server, else 10%.
          12 # innodb_buffer_pool_size = 128M
          13 
          14 # Remove leading # to turn on a very important data integrity option: logging
          15 # changes to the binary log between backups.
          16 # log_bin
          17 
          18 # These are commonly set, remove the # and set as required.
          19 basedir=D:\\mysql-5.7.18-winx64
          20 datadir=D:\\mysql-5.7.18-winx64\\data
          21 # port = ..
          22 # server_id = ..
          23 
          24 
          25 # Remove leading # to set options mainly useful for reporting servers.
          26 # The server defaults are faster for transactions and fast SELECTs.
          27 # Adjust sizes as needed, experiment to find the optimal values.
          28 # join_buffer_size = 128M
          29 # sort_buffer_size = 2M
          30 # read_rnd_buffer_size = 2M 
          31 
          32 sql_mode=NO_ENGINE_SUBSTITUTION,STRICT_TRANS_TABLES
          33 
          34 long_query_time=0.1
          35 slow_query_log=on
          36 slow_query_log_file=D:\\mysql-5.7.18-winx64\\logs\\mysqlslow.log
          37 

          posted @ 2017-07-10 00:53 丑男 閱讀(207) | 評論 (0)編輯 收藏

          2013年5月6日

          添加用戶【備份】

          useradd -g 501 -s /sbin/nologin builder

          posted @ 2013-05-06 17:25 丑男 閱讀(123) | 評論 (0)編輯 收藏

          2009年4月29日

          [ZT]Java虛擬機(jī)JVM的調(diào)優(yōu)參數(shù)選擇

          在任何一個的生產(chǎn)系統(tǒng)上線前,系統(tǒng)性能調(diào)優(yōu)(Tuning)都是很重要的一步。通常,應(yīng)用系統(tǒng)的軟硬件的缺省值都是給開發(fā)平臺(或小規(guī)模系統(tǒng))設(shè)計(jì)的,用來跑生產(chǎn)系統(tǒng)幾乎都無法發(fā)揮出軟硬件的最佳性能。有時,系統(tǒng)調(diào)優(yōu)前后的性能會差好幾倍。另一方面,由于應(yīng)用程序的開發(fā)人員通常都是針對功能作開發(fā)的,因此,開發(fā)硬件都是比生產(chǎn)環(huán)境要小的機(jī)器。例如,生產(chǎn)系統(tǒng)是一臺8個CPU,64GB內(nèi)存服務(wù)器,而開發(fā)服務(wù)器可能只有1個CPU和4GB內(nèi)存。所以,在開發(fā)人員中常常不具備做性能方面測試的軟硬件環(huán)境。另外,有的程序員甚至在開發(fā)時都沒有考慮到多用戶并發(fā)的環(huán)境,程序中存在單點(diǎn)瓶頸等問題。在做壓力測試和調(diào)優(yōu)時,往往就會發(fā)現(xiàn)這些關(guān)鍵點(diǎn)。

            由于應(yīng)用系統(tǒng)是個軟硬件的完整統(tǒng)一體,系統(tǒng)調(diào)優(yōu)往往需要涉及硬件、網(wǎng)絡(luò)操作系統(tǒng)、中間件,應(yīng)用程序和數(shù)據(jù)庫等方面。在調(diào)優(yōu)的過程中,往往需要發(fā)現(xiàn)存在瓶頸的地方(也就是導(dǎo)致系統(tǒng)變慢的部分),分析原因,從而改進(jìn)和確定較優(yōu)的參數(shù)。

            我們在作JVM的調(diào)優(yōu)前,通常先要了解運(yùn)行的硬件平臺,操作系統(tǒng)和中間件,然后針對這些情況配置相應(yīng)的系統(tǒng)參數(shù),在測試中不斷完善參數(shù)。由于性能調(diào)優(yōu)需要對系統(tǒng)非常了解,并且需要豐富的經(jīng)驗(yàn),因此不是一件容易的事情。這里介紹一些很好的參考資料,就是SPEC.org的網(wǎng)站。這是硬件廠商公布benchmark測試結(jié)果的地方,通常硬件廠商會把系統(tǒng)調(diào)到最優(yōu)化才公布結(jié)果的,因此很有借鑒意義。常見和JVM有關(guān)的benchmark值主要有SPECjAppServer2004和SPECjbb2005。前者是J2EE應(yīng)用服務(wù)器的性能指標(biāo),后者是服務(wù)器端Java虛擬機(jī)的性能指標(biāo)。給大家介紹這個網(wǎng)站的目的是說大家可以參考硬件廠商給出的JVM配置,在根據(jù)自己應(yīng)用環(huán)境的特點(diǎn),較快的得出較好的參數(shù)。例如,這個網(wǎng)頁給出了SUN公司T5120服務(wù)器+應(yīng)用服務(wù)器9.1 +JDK1.5的SPECjAppServer2004值是8,439.36:

            http://www.spec.org/jAppServer2004/results/res2007q4/jAppServer2004-20071106-00092.html

            我們現(xiàn)在要關(guān)心的不是Benchmark的值(注:實(shí)際上,Sun公司的這個值是個很不錯的結(jié)果),而是留意在這種環(huán)境下JVM的參數(shù)配置,可以找到一個欄目“Notes / Tuning Information”:

            JVM Options: -server -XX:+AggressiveHeap

          -Xmx2560m -Xms2560m -Xmn1024m -Xss128k

          -XX:PermSize=256m

          -XX:+DisableExplicitGC

          -XX:ParallelGCThreads=24

          -XX:LargePageSizeInBytes=256m

          -XX:+UseParallelOldGC

          -XX:+AggressiveOpts

          -DAllowManagedFieldsInDefaultFetchGroup=true

          -DAllowMediatedWriteInDefaultFetchGroup=true

          -XX:-UseBiasedLocking

          -Dcom.sun.ejb.containers.readonly.relative.refresh.mode=true

          -Dcom.sun.jts.dblogging.insertquery=insert into

          txn_log_table_0 values (
          ? , ? , ? )

          -Dcom.sun.jts.dblogging.deletequery=delete from

          txn_log_table_0 where localtid
          = ? and servername = ?

          -Dcom.sun.jdo.spi.persistence.support.sqlstore.

          MULTILEVEL_PREFETCH
          =true

            那么上面那些參數(shù)是什么意思呢?上述段落中“-XX”的參數(shù)是SUN JVM的擴(kuò)展選項(xiàng),其中以下的這些都是和垃圾回收(GC)有關(guān):

            -XX:PermSize=256m

          -XX:+DisableExplicitGC

          -XX:ParallelGCThreads=24

          -XX:+UseParallelOldGC

          -XX:+AggressiveHeap

            下面這個選項(xiàng)是選擇大的內(nèi)存頁面:

            -XX:LargePageSizeInBytes=256m

            "-XX:+AggressiveOpts"是一些試驗(yàn)性優(yōu)化參數(shù),“-XX:-UseBiasedLocking”是非競爭性的同步選項(xiàng)。

            而選項(xiàng)“-Xmx2560m -Xms2560m -Xmn1024m -Xss128k”則是初始堆棧的內(nèi)存值,注意-Xmx和-Xms的值是一樣的,這樣系統(tǒng)性能會較平穩(wěn)些。

            至于這些參數(shù)詳細(xì)代表什么意義,大家可以google一下就很容易了解。這是Sun網(wǎng)站上的說明,有興趣的可以讀一下: http://java.sun.com/performance/reference/whitepapers/tuning.html

            如果你的應(yīng)用系統(tǒng)是JDK1.5,硬件是T5120,操作系統(tǒng)是Solaris,那么這些參數(shù)就很有借鑒意義。如果你的硬件系統(tǒng)不是T5120,但是使用SUN的JDK1.5 ,這些參數(shù)也是有一定參考作用。當(dāng)然,最理想的是選擇一個和自己的環(huán)境最近似的結(jié)果來參考。大多數(shù)軟硬件的測試結(jié)果都可以在SPEC.org上找到,如果你的系統(tǒng)是J2EE的3層架構(gòu),可以用jAppServer2004指標(biāo),如果是純JAVA的應(yīng)用,可用jbb2005的結(jié)果:

            http://www.spec.org/jAppServer2004/

            http://www.spec.org/jbb2005/

            需要注意的是,這些調(diào)優(yōu)參數(shù)只是提供了一個思路,具體是否合適你的應(yīng)用還要看實(shí)測結(jié)果。

          posted @ 2009-04-29 19:24 丑男 閱讀(268) | 評論 (0)編輯 收藏

          2008年8月23日

          [轉(zhuǎn)帖]Hibernate常用保存

          hibernate對于對象的保存提供了太多的方法,他們之間有很多不同,這里細(xì)說一下,以便區(qū)別:
          一、預(yù)備知識:
          在所有之前,說明一下,對于hibernate,它的對象有三種狀態(tài),transient、persistent、detached
          下邊是常見的翻譯辦法:
          transient:瞬態(tài)或者自由態(tài)
          persistent:持久化狀態(tài)
          detached:脫管狀態(tài)或者游離態(tài)
          脫管狀態(tài)的實(shí)例可以通過調(diào)用save()、persist()或者saveOrUpdate()方法進(jìn)行持久化。
          持久化實(shí)例可以通過調(diào)用 delete()變成脫管狀態(tài)。通過get()或load()方法得到的實(shí)例都是持久化狀態(tài)的。
          脫管狀態(tài)的實(shí)例可以通過調(diào)用 update()、0saveOrUpdate()、lock()或者replicate()進(jìn)行持久化。
          save() 和persist()將會引發(fā)SQL的INSERT,delete()會引發(fā)SQLDELETE,而update()或merge()會引發(fā) SQLUPDATE.對持久化(persistent)實(shí)例的修改在刷新提交的時候會被檢測到,它也會引起 SQLUPDATE.saveOrUpdate()或者replicate()會引發(fā)SQLINSERT或者UPDATE
          二、save 和update區(qū)別
          把這一對放在第一位的原因是因?yàn)檫@一對是最常用的。
          save的作用是把一個新的對象保存
          update是把一個脫管狀態(tài)的對象保存
          三、update 和saveOrUpdate區(qū)別
          這個是比較好理解的,顧名思義,saveOrUpdate基本上就是合成了save和update引用hibernate reference中的一段話來解釋他們的使用場合和區(qū)別。
          通常下面的場景會使用update()或saveOrUpdate():
          程序在第一個session中加載對象
          該對象被傳遞到表現(xiàn)層
          對象發(fā)生了一些改動
          該對象被返回到業(yè)務(wù)邏輯層
          程序調(diào)用第二個session的update()方法持久這些改動
          saveOrUpdate()做下面的事:
          如果對象已經(jīng)在本session中持久化了,不做任何事
          如果另一個與本session關(guān)聯(lián)的對象擁有相同的持久化標(biāo)識(identifier),拋出一個異常
          如果對象沒有持久化標(biāo)識(identifier)屬性,對其調(diào)用save()
          如果對象的持久標(biāo)識(identifier)表明其是一個新實(shí)例化的對象,對其調(diào)用save()
          如果對象是附帶版本信息的(通過或) 并且版本屬性的值表明其是一個新實(shí)例化的對象,save()它。
          四、persist和save區(qū)別
          這個是最迷離的一對,表面上看起來使用哪個都行,在hibernate reference文檔中也沒有明確的區(qū)分他們。
          這里給出一個明確的區(qū)分。(可以跟進(jìn)src看一下,雖然實(shí)現(xiàn)步驟類似,但是還是有細(xì)微的差別)
          1.persist把一個瞬態(tài)的實(shí)例持久化,但是并"不保證"標(biāo)識符被立刻填入到持久化實(shí)例中,標(biāo)識符的填入可能被推遲到flush的時間。
          2.persist" 保證",當(dāng)它在一個transaction外部被調(diào)用的時候并不觸發(fā)一個Sql Insert,這個功能是很有用的,當(dāng)我們通過繼承Session/persistence context來封裝一個長會話流程的時候,一個persist這樣的函數(shù)是需要的。
          3.save"不保證"第2條,它要返回標(biāo)識符,所以它會立即執(zhí)行Sql insert,不管是不是在transaction內(nèi)部。
          五、saveOrUpdateCopy,merge和update區(qū)別
          首先說明merge是用來代替saveOrUpdateCopy的,然后比較update和merge,update的作用上邊說了,這里說一下merge的作用。
          如果session中存在相同持久化標(biāo)識(identifier)的實(shí)例,用用戶給出的對象的狀態(tài)覆蓋舊有的持久實(shí)例
          如果session沒有相應(yīng)的持久實(shí)例,則嘗試從數(shù)據(jù)庫中加載,或創(chuàng)建新的持久化實(shí)例,最后返回該持久實(shí)例
          用戶給出的這個對象沒有被關(guān)聯(lián)到session上,它依舊是脫管的
          重點(diǎn)是最后一句:
          當(dāng)我們使用update的時候,執(zhí)行完成后,我們提供的對象A的狀態(tài)變成持久化狀態(tài)
          但當(dāng)我們使用merge的時候,執(zhí)行完成,我們提供的對象A還是脫管狀態(tài),hibernate或者new了一個B,或者檢索到一個持久對象,并把我們提供的對象A的所有的值拷貝到這個B,執(zhí)行完成后B是持久狀態(tài),而我們提供的A還是托管狀態(tài)。
          六、flush和update區(qū)別
          這兩個的區(qū)別好理解
          update操作的是在脫管狀態(tài)的對象,而flush是操作的在持久狀態(tài)的對象。
          默認(rèn)情況下,一個持久狀態(tài)的對象是不需要update的,只要你更改了對象的值,等待hibernate flush就自動保存到數(shù)據(jù)庫了。hibernate flush發(fā)生再幾種情況下:
          1.調(diào)用某些查詢的時候
          2.transaction commit的時候
          3.手動調(diào)用flush的時候
          七、lock和update區(qū)別
          update是把一個已經(jīng)更改過的脫管狀態(tài)的對象變成持久狀態(tài)
          lock是把一個沒有更改過的脫管狀態(tài)的對象變成持久狀態(tài)
          對應(yīng)更改一個記錄的內(nèi)容,兩個的操作不同:
          update的操作步驟是:
          更改脫管的對象->調(diào)用update
          lock的操作步驟是:
          調(diào)用lock把對象從脫管狀態(tài)變成持久狀態(tài)——>更改持久狀態(tài)的對象的內(nèi)容——>等待flush或者手動flush

          posted @ 2008-08-23 21:22 丑男 閱讀(238) | 評論 (0)編輯 收藏

          2008年8月22日

          [轉(zhuǎn)帖]Oracle執(zhí)行計(jì)劃解釋

          一.相關(guān)的概念

              Rowid的概念:rowid是一個偽列,既然是偽列,那么這個列就不是用戶定義,而是系統(tǒng)自己給加上的。 對每個表都有一個rowid的偽列,但是表中并不物理存儲ROWID列的值。不過你可以像使用其它列那樣使用它,但是不能刪除改列,也不能對該列的值進(jìn)行 修改、插入。一旦一行數(shù)據(jù)插入數(shù)據(jù)庫,則rowid在該行的生命周期內(nèi)是唯一的,即即使該行產(chǎn)生行遷移,行的rowid也不會改變。

              Recursive SQL概念:有時為了執(zhí)行用戶發(fā)出的一個sql語句,oracle必須執(zhí)行一些額外的語句,我們將這些額外的語句稱之為''recursive calls''或''recursive sql statements''.如當(dāng)一個DDL語句發(fā)出后,ORACLE總是隱含的發(fā)出一些recursive SQL語句,來修改數(shù)據(jù)字典信息,以便用戶可以成功的執(zhí)行該DDL語句。當(dāng)需要的數(shù)據(jù)字典信息沒有在共享內(nèi)存中時,經(jīng)常會發(fā)生Recursive calls,這些Recursive calls會將數(shù)據(jù)字典信息從硬盤讀入內(nèi)存中。用戶不比關(guān)心這些recursive SQL語句的執(zhí)行情況,在需要的時候,ORACLE會自動的在內(nèi)部執(zhí)行這些語句。當(dāng)然DML語句與SELECT都可能引起recursive sql.簡單的說,我們可以將觸發(fā)器視為recursive sql.

              Row Source(行源):用在查詢中,由上一操作返回的符合條件的行的集合,即可以是表的全部行數(shù)據(jù)的集合;也可以是表的部分行數(shù)據(jù)的集合;也可以為對上2個row source進(jìn)行連接操作(如join連接)后得到的行數(shù)據(jù)集合。

              Predicate(謂詞):一個查詢中的WHERE限制條件

              Driving table(驅(qū)動表):該表又稱為外層表(OUTER table)。 這個概念用于嵌套與HASH連接中。如果該row source返回較多的行數(shù)據(jù),則對所有的后續(xù)操作有負(fù)面影響。注意此處雖然翻譯為驅(qū)動表,但實(shí)際上翻譯為驅(qū)動行源(driving row source)更為確切。一般說來,是應(yīng)用查詢的限制條件后,返回較少行源的表作為驅(qū)動表,所以如果一個大表在WHERE條件有有限制條件(如等值限 制),則該大表作為驅(qū)動表也是合適的,所以并不是只有較小的表可以作為驅(qū)動表,正確說法應(yīng)該為應(yīng)用查詢的限制條件后,返回較少行源的表作為驅(qū)動表。在執(zhí)行 計(jì)劃中,應(yīng)該為靠上的那個row source,后面會給出具體說明。在我們后面的描述中,一般將該表稱為連接操作的row source 1.

              Probed table(被探查表):該表又稱為內(nèi)層表(INNER table)。在我們從驅(qū)動表中得到具體一行的數(shù)據(jù)后,在該表中尋找符合連接條件的行。所以該表應(yīng)當(dāng)為大表(實(shí)際上應(yīng)該為返回較大row source的表)且相應(yīng)的列上應(yīng)該有索引。在我們后面的描述中,一般將該表稱為連接操作的row source 2.

              組合索引(concatenated index):由多個列構(gòu)成的索引,如create index idx_emp on emp(col1, col2, col3, ……),則我們稱idx_emp索引為組合索引。在組合索引中有一個重要的概念:引導(dǎo)列(leading column),在上面的例子中,col1列為引導(dǎo)列。當(dāng)我們進(jìn)行查詢時可以使用“where col1 = ? ”,也可以使用“where col1 = ? and col2 = ?”,這樣的限制條件都會使用索引,但是“where col2 = ? ”查詢就不會使用該索引。所以限制條件中包含先導(dǎo)列時,該限制條件才會使用該組合索引。

              可選擇性(selectivity):比較一下列中唯一鍵的數(shù)量和表中的行數(shù),就可以判斷該列的可選擇性。 如果該列的“唯一鍵的數(shù)量/表中的行數(shù)”的比值越接近1,則該列的可選擇性越高,該列就越適合創(chuàng)建索引,同樣索引的可選擇性也越高。在可選擇性高的列上進(jìn) 行查詢時,返回的數(shù)據(jù)就較少,比較適合使用索引查詢。

          歡迎進(jìn)入Oracle社區(qū)論壇,與200萬技術(shù)人員互動交流 >>進(jìn)入
          二.oracle訪問數(shù)據(jù)的存取方法

              1) 全表掃描(Full table Scans, FTS)

              為實(shí)現(xiàn)全表掃描,oracle讀 取表中所有的行,并檢查每一行是否滿足語句的WHERE限制條件一個多塊讀 操作可以使一次I/O能讀取多塊數(shù)據(jù)塊(db_block_multiblock_read_count參數(shù)設(shè)定),而不是只讀取一個數(shù)據(jù)塊,這極大的減 少了I/O總次數(shù),提高了系統(tǒng)的吞吐量,所以利用多塊讀的方法可以十分高效地實(shí)現(xiàn)全表掃描,而且只有在全表掃描的情況下才能使用多塊讀操作。在這種訪問模 式下,每個數(shù)據(jù)塊只被讀一次。

              使用FTS的前提條件:在較大的表上不建議使用全表掃描,除非取出數(shù)據(jù)的比較多,超過總量的5% —— 10%,或你想使用并行查詢功能時。

              使用全表掃描的例子:

              ~~~~~~~~~~~~~~~~~~~~~~~~ sql> explain plan for select * from dual;

              Query Plan

              -----------------------------------------

              SELECT STATEMENT[CHOOSE] Cost=

              table ACCESS FULL DUAL

              2) 通過ROWID的表存取(Table Access by ROWID或rowid lookup)

              行的ROWID指出了該行所在的數(shù)據(jù)文件、數(shù)據(jù)塊以及行在該塊中的位置,所以通過ROWID來存取數(shù)據(jù)可以快速定位到目標(biāo)數(shù)據(jù)上,是Oracle存取單行數(shù)據(jù)的最快方法。

              這種存取方法不會用到多塊讀操作,一次I/O只能讀取一個數(shù)據(jù)塊。我們會經(jīng)常在執(zhí)行計(jì)劃中看到該存取方法,如通過索引查詢數(shù)據(jù)。

              使用ROWID存取的方法: sql> explain plan for select * from dept where rowid = ''AAAAyGAADAAAAATAAF'';

              Query Plan

              ------------------------------------

              SELECT STATEMENT [CHOOSE] Cost=1

              table ACCESS BY ROWID DEPT [ANALYZED]


              3)索引掃描(Index Scan或index lookup)

              我們先通過index查找到數(shù)據(jù)對應(yīng)的rowid值(對于非唯一索引可能返回多個rowid值),然后根據(jù)rowid直接從表中得到具體的數(shù)據(jù),這 種查找方式稱為索引掃描或索引查找(index lookup)。一個rowid唯一的表示一行數(shù)據(jù),該行對應(yīng)的數(shù)據(jù)塊是通過一次i/o得到的,在此情況下該次i/o只會讀取一個數(shù)據(jù)庫塊。

              在索引中,除了存儲每個索引的值外,索引還存儲具有此值 的行對應(yīng)的ROWID值。索引掃描可以由2步組成:(1) 掃描索引得到對應(yīng)的rowid值。 (2) 通過找到的rowid從表中讀出具體的數(shù)據(jù)。每步都是單獨(dú)的一次I/O,但是對于索引,由于經(jīng)常使用,絕大多數(shù)都已經(jīng)CACHE到內(nèi)存中,所以第1步的 I/O經(jīng)常是邏輯I/O,即數(shù)據(jù)可以從內(nèi)存中得到。但是對于第2步來說,如果表比較大,則其數(shù)據(jù)不可能全在內(nèi)存中,所以其I/O很有可能是物理I/O,這 是一個機(jī)械操作,相對邏輯I/O來說,是極其費(fèi)時間的。所以如果多大表進(jìn)行索引掃描,取出的數(shù)據(jù)如果大于總量的5% —— 10%,使用索引掃描會效率下降很多。如下列所示:SQL> explain plan for select empno, ename from emp where empno=10;

              Query Plan

              ------------------------------------

              SELECT STATEMENT [CHOOSE] Cost=1

              table ACCESS BY ROWID EMP [ANALYZED]

              INDEX UNIQUE SCAN EMP_I1


              但是如果查詢的數(shù)據(jù)能全在索引中找到,就可以避免進(jìn)行第2步操作,避免了不必要的I/O,此時即使通過索引掃描取出的數(shù)據(jù)比較多,效率還是很高的

              sql> explain plan for select empno from emp where empno=10;-- 只查詢empno列值

              Query Plan

              ------------------------------------

              SELECT STATEMENT [CHOOSE] Cost=1

              INDEX UNIQUE SCAN EMP_I1

              進(jìn)一步講,如果sql語句中對索引列進(jìn)行排序,因?yàn)樗饕呀?jīng)預(yù)先排序好了,所以在執(zhí)行計(jì)劃中不需要再對索引列進(jìn)行排序
              sql> explain plan for select empno, ename from emp

              where empno > 7876 order by empno;

              Query Plan

              --------------------------------------------------------------------------------

              SELECT STATEMENT[CHOOSE] Cost=1

              table ACCESS BY ROWID EMP [ANALYZED]

              INDEX RANGE SCAN EMP_I1 [ANALYZED]


              從這個例子中可以看到:因?yàn)樗饕且呀?jīng)排序了的,所以將按照索引的順序查詢出符合條件的行,因此避免了進(jìn)一步排序操作。

          根據(jù)索引的類型與where限制條件的不同,有4種類型的索引掃描:

              索引唯一掃描(index unique scan)

              索引范圍掃描(index range scan)

              索引全掃描(index full scan)

              索引快速掃描(index fast full scan)

              (1) 索引唯一掃描(index unique scan)

              通過唯一索引查找一個數(shù)值經(jīng)常返回單個ROWID.如果存在UNIQUE 或PRIMARY KEY 約束(它保證了語句只存取單行)的話,Oracle經(jīng)常實(shí)現(xiàn)唯一性掃描。

              使用唯一性約束的例子:

              sql> explain plan for

              select empno,ename from emp where empno=10;

              Query Plan

          ------------------------------------

              SELECT STATEMENT [CHOOSE] Cost=1

              table ACCESS BY ROWID EMP [ANALYZED]

              INDEX UNIQUE SCAN EMP_I1

              (2) 索引范圍掃描(index range scan)

              使用一個索引存取多行數(shù)據(jù),在唯一索引上使用索引范圍掃描的典型情況下是在謂詞(where限制條件)中使用了范圍操作符(如>、<、<>、>=、<=、between)

              使用索引范圍掃描的例子:

              sql> explain plan for select empno,ename from emp

              where empno > 7876 order by empno;

              Query Plan

          --------------------------------------------------------------------------------

              SELECT STATEMENT[CHOOSE] Cost=1

              table ACCESS BY ROWID EMP [ANALYZED]

              INDEX RANGE SCAN EMP_I1 [ANALYZED]

              在非唯一索引上,謂詞col = 5可能返回多行數(shù)據(jù),所以在非唯一索引上都使用索引范圍掃描。

              使用index rang scan的3種情況:

              (a) 在唯一索引列上使用了range操作符(> < <> >= <= between)

              (b) 在組合索引上,只使用部分列進(jìn)行查詢,導(dǎo)致查詢出多行

              (c) 對非唯一索引列上進(jìn)行的任何查詢。

              (3) 索引全掃描(index full scan)

              與全表掃描對應(yīng),也有相應(yīng)的全索引掃描。而且此時查詢出的數(shù)據(jù)都必須從索引中可以直接得到。

              全索引掃描的例子:

              An Index full scan will not perform single block i/o''s and so it may prove to be inefficient.

              e.g.

              Index BE_IX is a concatenated index on big_emp (empno, ename)

              sql> explain plan for select empno, ename from big_emp order by empno,ename;

              Query Plan

          --------------------------------------------------------------------------------

              SELECT STATEMENT[CHOOSE] Cost=26

              INDEX FULL SCAN BE_IX [ANALYZED]

              (4) 索引快速掃描(index fast full scan)

              掃描索引中的所有的數(shù)據(jù)塊,與 index full scan很類似,但是一個顯著的區(qū)別就是它不對查詢出的數(shù)據(jù)進(jìn)行排序,即數(shù)據(jù)不是以排序順序被返回。在這種存取方法中,可以使用多塊讀功能,也可以使用并行讀入,以便獲得最大吞吐量與縮短執(zhí)行時間。

              索引快速掃描的例子:

              BE_IX索引是一個多列索引: big_emp (empno,ename)

              sql> explain plan for select empno,ename from big_emp;

              Query Plan

          ------------------------------------------

              SELECT STATEMENT[CHOOSE] Cost=1

              INDEX FAST FULL SCAN BE_IX [ANALYZED]

              只選擇多列索引的第2列:

              sql> explain plan for select ename from big_emp;

              Query Plan

          ------------------------------------------

              SELECT STATEMENT[CHOOSE] Cost=1

              INDEX FAST FULL SCAN BE_IX [ANALYZED]

             三、表之間的連接

              Join是一種試圖將兩個表結(jié)合在一起的謂詞,一次只能連接2個表,表連接也可以被稱為表關(guān)聯(lián)。在后面的敘 述中,我們將會使用“row source”來代替“表”,因?yàn)槭褂胷ow source更嚴(yán)謹(jǐn)一些,并且將參與連接的2個row source分別稱為row source1和row source 2.Join過程的各個步驟經(jīng)常是串行操作,即使相關(guān)的row source可以被并行訪問,即可以并行的讀取做join連接的兩個row source的數(shù)據(jù),但是在將表中符合限制條件的數(shù)據(jù)讀入到內(nèi)存形成row source后,join的其它步驟一般是串行的。有多種方法可以將2個表連接起來,當(dāng)然每種方法都有自己的優(yōu)缺點(diǎn),每種連接類型只有在特定的條件下才會 發(fā)揮出其最大優(yōu)勢。

              row source(表)之間的連接順序?qū)τ诓樵兊男视蟹浅4蟮挠绊憽Mㄟ^首先存取特定的表,即將該表作為驅(qū)動表,這樣可以先應(yīng)用某些限制條件,從而得到一個 較小的row source,使連接的效率較高,這也就是我們常說的要先執(zhí)行限制條件的原因。一般是在將表讀入內(nèi)存時,應(yīng)用where子句中對該表的限制條件。

              根據(jù)2個row source的連接條件的中操作符的不同,可以將連接分為等值連接(如WHERE A.COL3 = B.COL4)、非等值連接(WHERE A.COL3 > B.COL4)、外連接(WHERE A.COL3 = B.COL4(+))。上面的各個連接的連接原理都基本一樣,所以為了簡單期間,下面以等值連接為例進(jìn)行介紹。

              在后面的介紹中,都已:

              SELECT A.COL1, B.COL2

              FROM A, B

              WHERE A.COL3 = B.COL4;

              為例進(jìn)行說明,假設(shè)A表為Row Soruce1,則其對應(yīng)的連接操作關(guān)聯(lián)列為COL 3;B表為Row Soruce2,則其對應(yīng)的連接操作關(guān)聯(lián)列為COL 4;

              連接類型:

              目前為止,無論連接操作符如何,典型的連接類型共有3種:

              排序 - - 合并連接(Sort Merge Join (SMJ) )

              嵌套循環(huán)(Nested Loops (NL) )

              哈希連接(Hash Join)

              排序 - - 合并連接(Sort Merge Join, SMJ)

              內(nèi)部連接過程:

              1) 首先生成row source1需要的數(shù)據(jù),然后對這些數(shù)據(jù)按照連接操作關(guān)聯(lián)列(如A.col3)進(jìn)行排序。

              2) 隨后生成row source2需要的數(shù)據(jù),然后對這些數(shù)據(jù)按照與sort source1對應(yīng)的連接操作關(guān)聯(lián)列(如B.col4)進(jìn)行排序。

              3) 最后兩邊已排序的行被放在一起執(zhí)行合并操作,即將2個row source按照連接條件連接起來

              下面是連接步驟的圖形表示:

              MERGE

              /"

              SORTSORT

              ||

              Row Source 1Row Source 2

              如果row source已經(jīng)在連接關(guān)聯(lián)列上被排序,則該連接操作就不需要再進(jìn)行sort操作,這樣可以大大提高這種連接操作的連接速度,因?yàn)榕判蚴莻€極其費(fèi)資源的操 作,特別是對于較大的表。預(yù)先排序的row source包括已經(jīng)被索引的列(如a.col3或b.col4上有索引)或row source已經(jīng)在前面的步驟中被排序了。盡管合并兩個row source的過程是串行的,但是可以并行訪問這兩個row source(如并行讀入數(shù)據(jù),并行排序)。

              SMJ連接的例子:SQL> explain plan for

              select /*+ ordered */ e.deptno, d.deptno

              from emp e, dept d

              where e.deptno = d.deptno

              order by e.deptno, d.deptno;

              Query Plan

          -------------------------------------

              SELECT STATEMENT [CHOOSE] Cost=17

              MERGE JOIN

              SORT JOIN

              table ACCESS FULL EMP [ANALYZED]

              SORT JOIN

              table ACCESS FULL DEPT [ANALYZED]


              排序是一個費(fèi)時、費(fèi)資源的操作,特別對于大表。基于這個原因,SMJ經(jīng)常不是一個特別有效的連接方法,但是如果2個row source都已經(jīng)預(yù)先排序,則這種連接方法的效率也是蠻高的。

              嵌套循環(huán)(Nested Loops, NL)

              這個連接方法有驅(qū)動表(外部表)的概念。其實(shí),該連接過程就是一個2層嵌套循環(huán),所以外層循環(huán)的次數(shù)越少越好,這也就是我們?yōu)槭裁磳⑿”砘蚍祷剌^小 row source的表作為驅(qū)動表(用于外層循環(huán))的理論依據(jù)。但是這個理論只是一般指導(dǎo)原則,因?yàn)樽裱@個理論并不能總保證使語句產(chǎn)生的I/O次數(shù)最少。有時 不遵守這個理論依據(jù),反而會獲得更好的效率。如果使用這種方法,決定使用哪個表作為驅(qū)動表很重要。有時如果驅(qū)動表選擇不正確,將會導(dǎo)致語句的性能很差、很 差。

              內(nèi)部連接過程:

              Row source1的Row 1 —— Probe ->Row source 2

              Row source1的Row 2 —— Probe ->Row source 2

              Row source1的Row 3 —— Probe ->Row source 2

              ……。

              Row source1的Row n —— Probe ->Row source 2

              從內(nèi)部連接過程來看,需要用row source1中的每一行,去匹配row source2中的所有行,所以此時保持row source1盡可能的小與高效的訪問row source2(一般通過索引實(shí)現(xiàn))是影響這個連接效率的關(guān)鍵問題。這只是理論指導(dǎo)原則,目的是使整個連接操作產(chǎn)生最少的物理I/O次數(shù),而且如果遵守這 個原則,一般也會使總的物理I/O數(shù)最少。但是如果不遵從這個指導(dǎo)原則,反而能用更少的物理I/O實(shí)現(xiàn)連接操作,那盡管違反指導(dǎo)原則吧!因?yàn)樽钌俚奈锢? I/O次數(shù)才是我們應(yīng)該遵從的真正的指導(dǎo)原則,在后面的具體案例分析中就給出這樣的例子。

              在上面的連接過程中,我們稱Row source1為驅(qū)動表或外部表。Row Source2被稱為被探查表或內(nèi)部表。

              在NESTED LOOPS連接中,Oracle讀取row source1中的每一行,然后在row sourc2中檢查是否有匹配的行,所有被匹配的行都被放到結(jié)果集中,然后處理row source1中的下一行。這個過程一直繼續(xù),直到row source1中的所有行都被處理。這是從連接操作中可以得到第一個匹配行的最快的方法之一,這種類型的連接可以用在需要快速響應(yīng)的語句中,以響應(yīng)速度為 主要目標(biāo)。

              如果driving row source(外部表)比較小,并且在inner row source(內(nèi)部表)上有唯一索引,或有高選擇性非唯一索引時,使用這種方法可以得到較好的效率。NESTED LOOPS有其它連接方法沒有的的一個優(yōu)點(diǎn)是:可以先返回已經(jīng)連接的行,而不必等待所有的連接操作處理完才返回?cái)?shù)據(jù),這可以實(shí)現(xiàn)快速的響應(yīng)時間。

              如果不使用并行操作,最好的驅(qū)動表是那些應(yīng)用了where 限制條件后,可以返回較少行數(shù)據(jù)的的表,所以大表也可能稱為驅(qū)動表,關(guān)鍵看限制條件。對于并行查詢,我們經(jīng)常選擇大表作為驅(qū)動表,因?yàn)榇蟊砜梢猿浞掷貌? 行功能。當(dāng)然,有時對查詢使用并行操作并不一定會比查詢不使用并行操作效率高,因?yàn)樽詈罂赡苊總€表只有很少的行符合限制條件,而且還要看你的硬件配置是否 可以支持并行(如是否有多個CPU,多個硬盤控制器),所以要具體問題具體對待。

              NL連接的例子:

              sql> explain plan for

              select a.dname,b.sql

              from dept a,emp b

              where a.deptno = b.deptno;

              Query Plan

          -------------------------

              SELECT STATEMENT [CHOOSE] Cost=5

              NESTED LOOPS

              table ACCESS FULL DEPT [ANALYZED]

              table ACCESS FULL EMP [ANALYZED]


              哈希連接(Hash Join, HJ)

              這種連接是在oracle 7.3以后引入的,從理論上來說比NL與SMJ更高效,而且只用在CBO優(yōu)化器中。

              較小的row source被用來構(gòu)建hash table與bitmap,第2個row source被用來被hansed,并與第一個row source生成的hash table進(jìn)行匹配,以便進(jìn)行進(jìn)一步的連接。Bitmap被用來作為一種比較快的查找方法,來檢查在hash table中是否有匹配的行。特別的,當(dāng)hash table比較大而不能全部容納在內(nèi)存中時,這種查找方法更為有用。這種連接方法也有NL連接中所謂的驅(qū)動表的概念,被構(gòu)建為hash table與bitmap的表為驅(qū)動表,當(dāng)被構(gòu)建的hash table與bitmap能被容納在內(nèi)存中時,這種連接方式的效率極高。

              HASH連接的例子:

              sql> explain plan for

              select /*+ use_hash(emp) */ empno

              from emp, dept

              where emp.deptno = dept.deptno;

              Query Plan

          ----------------------------

              SELECT STATEMENT[CHOOSE] Cost=3

              HASH JOIN

              table ACCESS FULL DEPT

              table ACCESS FULL EMP


              要使哈希連接有效,需要設(shè)置HASH_JOIN_ENABLED=TRUE,缺省情況下該參數(shù)為TRUE,另外,不要忘了還要設(shè)置 hash_area_size參數(shù),以使哈希連接高效運(yùn)行,因?yàn)楣_B接會在該參數(shù)指定大小的內(nèi)存中運(yùn)行,過小的參數(shù)會使哈希連接的性能比其他連接方式還 要低。

              總結(jié)一下,在哪種情況下用哪種連接方法比較好:

              排序 - - 合并連接(Sort Merge Join, SMJ):

              a) 對于非等值連接,這種連接方式的效率是比較高的。

              b) 如果在關(guān)聯(lián)的列上都有索引,效果更好。

              c) 對于將2個較大的row source做連接,該連接方法比NL連接要好一些。

              d) 但是如果sort merge返回的row source過大,則又會導(dǎo)致使用過多的rowid在表中查詢數(shù)據(jù)時,數(shù)據(jù)庫性能下降,因?yàn)檫^多的I/O.

              嵌套循環(huán)(Nested Loops, NL):

              a) 如果driving row source(外部表)比較小,并且在inner row source(內(nèi)部表)上有唯一索引,或有高選擇性非唯一索引時,使用這種方法可以得到較好的效率。

              b) NESTED LOOPS有其它連接方法沒有的的一個優(yōu)點(diǎn)是:可以先返回已經(jīng)連接的行,而不必等待所有的連接操作處理完才返回?cái)?shù)據(jù),這可以實(shí)現(xiàn)快速的響應(yīng)時間。

              哈希連接(Hash Join, HJ):

              a) 這種方法是在oracle7后來引入的,使用了比較先進(jìn)的連接理論,一般來說,其效率應(yīng)該好于其它2種連接,但是這種連接只能用在CBO優(yōu)化器中,而且需要設(shè)置合適的hash_area_size參數(shù),才能取得較好的性能。

              b) 在2個較大的row source之間連接時會取得相對較好的效率,在一個row source較小時則能取得更好的效率。

              c) 只能用于等值連接中

              笛卡兒乘積(Cartesian Product)

              當(dāng)兩個row source做連接,但是它們之間沒有關(guān)聯(lián)條件時,就會在兩個row source中做笛卡兒乘積,這通常由編寫代碼疏漏造成(即程序員忘了寫關(guān)聯(lián)條件)。笛卡爾乘積是一個表的每一行依次與另一個表中的所有行匹配。在特殊情 況下我們可以使用笛卡兒乘積,如在星形連接中,除此之外,我們要盡量使用笛卡兒乘積,否則,自己想結(jié)果是什么吧!

              注意在下面的語句中,在2個表之間沒有連接。

              sql> explain plan for

              select emp.deptno,dept,deptno

              from emp,dept

              Query Plan

          ------------------------

              SLECT STATEMENT [CHOOSE] Cost=5

              MERGE JOIN CARTESIAN

              table ACCESS FULL DEPT

              SORT JOIN

              table ACCESS FULL EMP

              CARTESIAN關(guān)鍵字指出了在2個表之間做笛卡爾乘積。假如表emp有n行,dept表有m行,笛卡爾乘積的結(jié)果就是得到n * m行結(jié)果。

          posted @ 2008-08-22 22:33 丑男 閱讀(2502) | 評論 (0)編輯 收藏

          2007年7月29日

          Fedora 7 安裝 nvidia顯卡驅(qū)動

          第一步,到nvidia官方下載驅(qū)動,根據(jù)自己顯卡的型號選擇,一定要看readme
          第二步,驅(qū)動只能在命令行方式下安裝,所以要修改/etc/inittab文件
              id:3:initdefault
                          3代表文本方式,5代表圖形方式
              修改后重啟系統(tǒng)
          第三步,執(zhí)行驅(qū)動,不出意外會非常的順利,之后shutdown -r now就完成了

          本人也是第一次安裝,有不對的地方請大家指正,祝好運(yùn)

          posted @ 2007-07-29 13:48 丑男 閱讀(777) | 評論 (0)編輯 收藏

          2007年7月16日

          apache rewrite 簡單應(yīng)用

          主要需求,DNSwww.mydomain.com指向www.mydomain.com/app/login.do

          目前是DNS指向某一個IP,不能將IP對應(yīng)到10.11.xxx.xxx/app/login.do

          生產(chǎn)環(huán)境WEB服務(wù)器是apache server


          解決辦法
          利用apache rewriter功能,在httpd.conf中找到

          #LoadModule rewrite_module modules/mod_rewrite.so

          將#號去掉,也就是把mod_rewrite.so模塊加載進(jìn)來

          之后在文件結(jié)尾處添加

          rewriteengine on
          rewriterule ^/$ http://10.11.xxx.xxx/app/login.do [R]

          posted @ 2007-07-16 21:47 丑男 閱讀(309) | 評論 (0)編輯 收藏

          2005年12月11日

          [轉(zhuǎn)貼]jasperreport可以用Collection做為數(shù)據(jù)源



          jasperreport可以用Collection做為數(shù)據(jù)源,這種方式比用Connection方式更為靈活方便
           

          posted @ 2005-12-11 18:12 丑男 閱讀(413) | 評論 (0)編輯 收藏

          主站蜘蛛池模板: 光山县| 封丘县| 韶关市| 襄汾县| 吴旗县| 南安市| 瓦房店市| 阿拉善左旗| 武山县| 崇仁县| 南岸区| 中牟县| 化隆| 尚志市| 枞阳县| 镇雄县| 二手房| 简阳市| 南木林县| 望都县| 前郭尔| 高清| 丰原市| 肥乡县| 化隆| 且末县| 嘉祥县| 湖北省| 辽中县| 稻城县| 湘潭市| 奈曼旗| 临潭县| 兴业县| 郯城县| 巴东县| 宜君县| 特克斯县| 上虞市| 濮阳市| 辰溪县|