99视频精品免费观看,久久综合九色综合97_久久久,一区二区三区在线免费

EXECUTE IMMEDIATE及Using的使用方法...

這段代碼同樣是執行了1000條insert語句，但是每一條語句都是不同的，因此ORACLE會把每條語句硬解析一次，其效率就比前面那段就低得多了。如果要提高效率，不妨使用綁定變量將循環中的語句改為

sqlstr:='insert into 測試表 (:i,:i+1,:i*1,:i*2,:i-1) ';

execute immediate sqlstr using i,i,i,i,i;

這樣執行的效率就高得多了。

我曾試著使用綁定變量來代替表名、過程名、字段名等，結果是語句錯誤，結論就是綁定變量不能當作嵌入的字符串來使用，只能當作語句中的變量來用。

從效率來看，由于oracle10G放棄了RBO，全面引入CBO，因此，在10G中使用綁定變量效率的提升比9i中更為明顯。

最后，前面說到綁定變量是在通常情況下能提升效率，那哪些是不通常的情況呢？

答案是：在字段(包括字段集)建有索引，且字段(集)的集的勢非常大（也就是有個值在字段中出現的比例特別的大）的情況下，使用綁定變量可能會導致查詢計劃錯誤，因而會使查詢效率非常低。這種情況最好不要使用綁定變量。

EXECUTE IMMEDIATE代替了以前Oracle8i中DBMS_SQL package包.它解析并馬上執行動態的SQL語句或非運行時創建的PL/SQL塊.動態創建和執行SQL語句性能超前，EXECUTE IMMEDIATE的目標在于減小企業費用并獲得較高的性能，較之以前它相當容易編碼.盡管DBMS_SQL仍然可用，但是推薦使用EXECUTE IMMEDIATE,因為它獲的收益在包之上。

使用技巧

1. EXECUTE IMMEDIATE將不會提交一個DML事務執行，應該顯式提交
如果通過EXECUTE IMMEDIATE處理DML命令，那么在完成以前需要顯式提交或者作為EXECUTE IMMEDIATE自己的一部分. 如果通過EXECUTE IMMEDIATE處理DDL命令,它提交所有以前改變的數據

2. 不支持返回多行的查詢,這種交互將用臨時表來存儲記錄(參照例子如下)或者用REF cursors.

3. 當執行SQL語句時，不要用分號，當執行PL/SQL塊時，在其尾部用分號.

4. 在Oracle手冊中，未詳細覆蓋這些功能。下面的例子展示了所有用到Execute immediate的可能方面.希望能給你帶來方便.

5. 對于Forms開發者,當在PL/SQL 8.0.6.3.版本中，Forms 6i不能使用此功能.

EXECUTE IMMEDIATE用法例子

1. 在PL/SQL運行DDL語句

begin
execute immediate 'set role all';
end;

2. 給動態語句傳值(USING 子句)

declare
l_depnam varchar2(20) := 'testing';
l_loc varchar2(10) := 'Dubai';
begin
execute immediate 'insert into dept values (:1, :2, :3)'
using 50, l_depnam, l_loc;
commit;
end;

3. 從動態語句檢索值(INTO子句)

declare
l_cnt varchar2(20);
begin
execute immediate 'select count(1) from emp'
into l_cnt;
dbms_output.put_line(l_cnt);
end;

4. 動態調用例程.例程中用到的綁定變量參數必須指定參數類型.黓認為IN類型,其它類型必須顯式指定

declare
l_routin   varchar2(100) := 'gen2161.get_rowcnt';
l_tblnam   varchar2(20) := 'emp';
l_cnt      number;
l_status   varchar2(200);
begin
execute immediate 'begin ' || l_routin || '(:2, :3, :4); end;'
    using in l_tblnam, out l_cnt, in out l_status;

if l_status != 'OK' then
dbms_output.put_line('error');
end if;
end;

5. 將返回值傳遞到PL/SQL記錄類型;同樣也可用%rowtype變量

declare
type empdtlrec is record (empno number(4),
                           ename varchar2(20),
                           deptno number(2));
empdtl empdtlrec;
begin
execute immediate 'select empno, ename, deptno ' ||
                   'from emp where empno = 7934'
    into empdtl;
end;

6. 傳遞并檢索值.INTO子句用在USING子句前

declare
l_dept    pls_integer := 20;
l_nam     varchar2(20);
l_loc     varchar2(20);
begin
execute immediate 'select dname, loc from dept where deptno = :1'
    into l_nam, l_loc
    using l_dept ;
end;

7. 多行查詢選項.對此選項用insert語句填充臨時表，用臨時表進行進一步的處理,也可以用REF cursors糾正此缺憾.

declare
l_sal   pls_integer := 2000;
begin
execute immediate 'insert into temp(empno, ename) ' ||
                   '          select empno, ename from emp ' ||
                   '          where sal > :1'
    using l_sal;
commit;
end;

對于處理動態語句,EXECUTE IMMEDIATE比以前可能用到的更容易并且更高效.當意圖執行動態語句時，適當地處理異常更加重要.應該關注于捕獲所有可能的異常.

posted @ 2010-11-01 14:42 xzc 閱讀(965) | 評論 (0) | 編輯收藏

oracle nologging append 注意

insert append需要注意的

2010-07-28 11:34

1. append方式添加記錄對insert into ... values語句不起作用。

2. 以append方式批量插入的記錄，其存儲位置在hwm 之上，即使hwm之下存在空閑塊也不能使用。

3. 以append方式插入記錄后，要執行commit，才能對表進行查詢。否則會出現錯誤：

ORA-12838: 無法在并行模式下修改之后讀/修改對象

4. 在歸檔模式下，要把表設置為nologging，然后以append方式批量添加記錄，才會顯著減少redo數量。在非歸檔模式下，不必設置表的nologging屬性，即可減少redo數量。如果表上有索引，則append方式批量添加記錄，不會減少索引上產生的redo數量，索引上的redo數量可能比表的redo數量還要大。

用insert append可以實現直接路徑加載，速度比常規加載方式快。但有一點需要注意: insert append時在表上加“6”類型的鎖，會阻塞表上的所有DML語句。因此在有業務運行的情況下要慎重使用。若同時執行多個insert append對同一個表并行加載數據，并不一定會提高速度。因為每一時刻只能有一個進程在加載(排它鎖造成)。

SQL> create table test as select * from dba_objects where 1=2;

表已創建。

SQL> insert into test select * from dba_objects;

已創建11344行。

SQL> set lines 150
SQL> col object_type for a10
SQL> col object for a30
SQL> col username for a10
SQL> col osuser for a10
SQL> col program for a30
SQL> col sid for 99,999
SQL> col locked_mode for 99
SQL> col spid for 999,999
SQL> select o.object_type,o.owner||'.'||o.object_name object,s.sid,s.serial#,p.spid,s.username,s.osuser,s.program,l.lock
ed_mode
2 from v$locked_object l,dba_objects o,v$session s,v$process p
3 where l.object_id = o.object_id
4 and s.sid=l.session_id
5 and s.paddr=p.addr
6 and o.object_name = upper('&obj');
輸入 obj 的值: test
原值 6: and o.object_name = upper('&obj')
新值 6: and o.object_name = upper('test')

OBJECT_TYP OBJECT                             SID    SERIAL# SPID         USERNAME   OSUSER     PROGRAM
       LOCKED_MODE
---------- ------------------------------ ------- ---------- ------------ ---------- ---------- ------------------------
------ -----------
TABLE      SYS.TEST                           147         19 784          SYS        CNPEKALT02 sqlplus.exe
                 3
                                                                                     2\jyu
可以看到,insert 時在表上加的是“3”類型的鎖。

SQL> rollback;

回退已完成。

SQL> insert /*+ append */ into test select * from dba_objects;

已創建11344行。

OBJECT_TYP OBJECT                             SID    SERIAL# SPID         USERNAME   OSUSER     PROGRAM
       LOCKED_MODE
---------- ------------------------------ ------- ---------- ------------ ---------- ---------- ------------------------
------ -----------
TABLE      SYS.TEST                           147         19 784          SYS        CNPEKALT02 sqlplus.exe
                 6
                                                                                     2\jyu

而執行insert append時在表上加的是“6”類型的鎖。

insert append與一般的insert在表上加的鎖不一樣。insert append加的是exclusive的鎖。因此要注意在執行insert append盡快提交，否則會阻塞其它事務對同一張表的DML語句。
此外， ORA-12838:是由于在執行insert append之后沒有提交或回滾，接著又執行DML語句造成的。解決辦法是在insert append 之后加上commit或rollback。
請看下面的測試：
SQL> delete from test;
已刪除9831行。
SQL> insert /*+ append */ into test select * from temp_fsum_od;
已創建3277行。
SQL> insert into test select * from temp_fsum_od;
insert into test select * from temp_fsum_od
*
第 1 行出現錯誤:
ORA-12838: 無法在并行模式下修改之后讀/修改對象

SQL> update test set OD_CODE=upper(OD_CODE) ;
update test set OD_CODE=upper(OD_CODE)
*
第 1 行出現錯誤:
ORA-12838: 無法在并行模式下修改之后讀/修改對象

SQL> delete from test;
delete from test
*
第 1 行出現錯誤:
ORA-12838: 無法在并行模式下修改之后讀/修改對象

SQL>
SQL> insert /*+ append */ into test select * from temp_fsum_od;
insert /*+ append */ into test select * from temp_fsum_od
*
第 1 行出現錯誤:
ORA-12838: 無法在并行模式下修改之后讀/修改對象
注意，我先執行了一個delete語句，又執行了insert append. 這個delete語句并沒有造成后面的insert append報錯。
但在我執行了一個insert append之后，再執行任何DML語句都會報錯。
這說明，在執行了insert append 之后，必須commit或rollback，才能再執行其它DML語句。
但在insert append之前可以執行DML語句，而不會對insert append造成影響。
所以我們注意一點就可以了，即只要業務允許，在執行insert

insert append方法的使用

大家眾所周知，向數據庫里插入數據有很多種方法，insert、sqlloader、for update等。每種方法都有其不同的特點。

但是每一種方法在其服務器設置不同的情況下也是有不同的執行情況的。例如：insert。

insert 屬于DML語言（即數據操作語言，還包括select，delete，update）。網上介紹過一種insert append方法，語句格式為 insert /* +append+ */ into table_name select column_name1…… from table_name2 ; 這種方法據說可以占用很少的redo表空間，占用很少的redo表空間也就是省略了一些歸檔的時間，這樣是可以提高insert的執行效率的！但是經過測試我發現insert append并不是在任何時候都可以節省時間的。

第一種情況：database為archivelog狀態，這種情況下，就算你用insert append也是不一定提高插入效率的。但是如果你在建表的時候，將目標表建成nologging的，然后再使用insert append就會很快。

第二種情況：database為noarchivelog狀態，這種情況下，如果情況下采用insert方法向表中插入數據，占用的redo空間的大小與archivelog狀態下占用的大小是相當的，不論表是否為nologging。但是如果采用insert append方法的話，通過redo的占用值大家可以發現，不論表是否為nologging，所占用的redo的大小都是很小的。也就說明：在數據庫為noarchivelog的狀態下，采用insert append方法，如果表不是nologging，系統也會自動將表轉換為nologging（即在執行insert append之前，先執行一個alter table arch1 nologging;）。

以下為測試的具體過程：

-------- 數據庫為歸檔模式
create table arch (status varchar(2)) nologging; ----- create a nologging table
Table created

create table arch1 (status varchar(2)) ; ----- create a logging table
Table created

select a.name, b.value
from v$statname a, v$mystat b
where a.statistic# = b.statistic#
and a.name = 'redo size'
and b.value > 0; ----- view redo engross space

NAME VALUE
---------------------------------------------------------------- ----------
redo size 1332780

insert into arch select 'ok' from dba_objects

29514 rows inserted

---- view redo engross space

NAME VALUE
---------------------------------------------------------------- ----------
redo size 1744516 ----- +411736

insert into arch1 select 'ok' from dba_objects

29514 rows inserted

---- view redo engross space

NAME VALUE
---------------------------------------------------------------- ----------
redo size 2156000 ------ +411484

insert /*+append*/ into arch select 'ok' from dba_objects

29514 rows inserted

---- view redo engross space

NAME VALUE
---------------------------------------------------------------- ----------
redo size 2169864 ----- +13864
insert /*+append*/ into arch1 select 'ok' from dba_objects

29514 rows inserted

---- view redo engross space

NAME VALUE
---------------------------------------------------------------- ----------
redo size 2555448 ----- +385584

spool off;

-------- 數據庫為非歸檔模式
create table arch (status varchar(2)) nologging; ----- create a nologging table
Table created

create table arch1 (status varchar(2)) ; ----- create a logging table
Table created

---- view redo engross space

NAME VALUE
---------------------------------------------------------------- ----------
redo size 33208

insert into arch select 'ok' from dba_objects

29514 rows inserted

---- view redo engross space

NAME VALUE
---------------------------------------------------------------- ----------
redo size 444704 ----- +411496

insert into arch1 select 'ok' from dba_objects

29514 rows inserted

---- view redo engross space

NAME VALUE
---------------------------------------------------------------- ----------
redo size 856160 ----- +411456

insert /*+append*/ into arch select 'ok' from dba_objects

29514 rows inserted

---- view redo engross space

NAME VALUE
---------------------------------------------------------------- ----------
redo size 870024 ----- +13864

insert /*+append*/ into arch1 select 'ok' from dba_objects

29514 rows inserted

---- view redo engross space

NAME VALUE
---------------------------------------------------------------- ----------
redo size 884004----- +13980

spool off;

posted @ 2010-10-28 14:56 xzc 閱讀(3616) | 評論 (0) | 編輯收藏

shell判斷文件是否存在

Java代碼

shell判斷文件,目錄是否存在或者具有權限
#!/bin/sh
myPath="/var/log/httpd/"
myFile="/var /log/httpd/access.log"
#這里的-x 參數判斷$myPath是否存在并且是否具有可執行權限
if [ ! -x "$myPath"]; then
mkdir "$myPath"
fi
#這里的-d 參數判斷$myPath是否存在
if [ ! -d "$myPath"]; then
mkdir "$myPath"
fi
#這里的-f參數判斷$myFile是否存在
if [ ! -f "$myFile" ]; then
touch "$myFile"
fi
#其他參數還有-n,-n是判斷一個變量是否是否有值
if [ ! -n "$myVar" ]; then
echo "$myVar is empty"
exit 0
fi
#兩個變量判斷是否相等
if [ "$var1" = "$var2" ]; then
echo '$var1 eq $var2'
else
echo '$var1 not eq $var2'
fi

posted @ 2010-09-29 19:34 xzc 閱讀(613) | 評論 (1) | 編輯收藏

Java通過Telnet連接執行shell腳本

/**

* commons-net-2.0.jar是工程依賴包

package telnet2;

import java.io.InputStream;

import java.io.PrintStream;

import org.apache.commons.net.telnet.TelnetClient;

/**

* @descript NetTelenet.java

* @author sinclair

* @date Jun 10, 2010

public class NetTelnet {

private TelnetClient telnet = new TelnetClient();

private InputStream in;

private PrintStream out;

private char prompt = '$';// 普通用戶結束

public NetTelnet( String ip, int port, String user, String password ) {

try {

telnet.connect( ip, port );

in = telnet.getInputStream();

out = new PrintStream( telnet.getOutputStream() );

// 根據root用戶設置結束符

this.prompt = user.equals( "root" ) ? '#' : '$';

} catch ( Exception e ) {

e.printStackTrace();

}

/**

* 登錄

* @param user

* @param password

public void login( String user, String password ) {

readUntil( "login:" );

write( user );

readUntil( "Password:" );

write( password );

readUntil( prompt + " " );

}

/**

* 讀取分析結果

* @param pattern

* @return

public String readUntil( String pattern ) {

try {

char lastChar = pattern.charAt( pattern.length() - 1 );

StringBuffer sb = new StringBuffer();

char ch = ( char ) in.read();

while ( true ) {

sb.append( ch );

if (ch == lastChar) {

if (sb.toString().endsWith( pattern )) {

return sb.toString();

}

ch = ( char ) in.read();

}

} catch ( Exception e ) {

e.printStackTrace();

}

return null;

}

/**

* 寫操作

* @param value

public void write( String value ) {

try {

out.println( value );

out.flush();

} catch ( Exception e ) {

e.printStackTrace();

}

/**

* 向目標發送命令字符串

* @param command

* @return

public String sendCommand( String command ) {

try {

write( command );

return readUntil( prompt + " " );

} catch ( Exception e ) {

e.printStackTrace();

}

return null;

}

/**

* 關閉連接

public void disconnect() {

try {

telnet.disconnect();

} catch ( Exception e ) {

e.printStackTrace();

}

public static void main( String[] args ) {

try {

System.out.println( "啟動Telnet..." );

String ip = "192.168.0.11";

int port = 23;

String user = "user";

String password = "111111";

NetTelnet telnet = new NetTelnet( ip, port, user, password );

telnet.sendCommand( "export LANG=en" );

String r1 = telnet.sendCommand( "cd /home/project/" );

String r2 = telnet.sendCommand( "pwd" );

String r3 = telnet.sendCommand( "sh a.sh" );

System.out.println( "顯示結果" );

System.out.println( r1 );

System.out.println( r2 );

System.out.println( r3 );

telnet.disconnect();

} catch ( Exception e ) {

e.printStackTrace();

}

posted @ 2010-09-29 15:56 xzc 閱讀(4439) | 評論 (0) | 編輯收藏

shell 文件操作(轉)

read一次可以為多個變量賦值——但一次只能讀一行，比如：

#!/bin/bash

IFS=:

read aa bb cc < /etc/passwd

echo $aa $bb $cc

（注：默認shell是無法將/etc/passwd中那些以冒號分割的字符串分割的，通過設置IFS可以實現這一點，詳情見本文底部）

我們將看到的結果是前兩個變量被賦予了正確的值，最后一個變量被賦予了文件第一行剩下的所有值。（因為read一次只能讀一行）

而現實中如果一個文件保存了這樣一個電話本：

路人甲 13900000000

主角A 23320000

神秘人 12x0x0x0000

旁白 85600000

……

如果我們要寫一個腳本來實現該電話本的查詢，通常會這樣寫：

#!/bin/bash

while read name num

if [ $name = $1 ]

then echo $num

done

當我們把想查詢的人名作為參數來啟動腳本，就可以看到他的號碼，然后給他打騷擾電話……

（關于while等流程控制語句，我會在稍后整理）

抽取行

head -x 文件 //抽取前x行

tail -x 文件 //抽取末尾x行

sed -n xp 文件 //抽取文件中的第x行注：這里的-n就是-n，不代表別的。

抽取列

cut -fx -dy 文件 //以y作為分隔符，抽取第x列

awk -Fy '{print $x}' 文件 //以y作為分隔符，抽取第x列

注：awk可以抽取多列，在指令中使用逗號分割，例：

awk -F: '{print $3,$5}' /etc/passwd

將會抽取文件中的第3列和第5列

排序

sort -ty +xn 文件 //以y作為分隔符，以第1+x列為基準排序

注：如果使用了該指令，則不能在同一語句內使用其它參數，如有需要，只能在管道中再sort一次，如： sort +4n /etc/fstab | sort -r

其它參數： n 對數字排序

d 對字母排序

M 對月份排序（諸如JAN,FEB....DEC之類）

r 逆向

$IFS

很多時候我們并不需要指定分隔符，因為$IFS默認包含了空格,\t和換行符。

只有遇到其它分隔符是我們才需要特別指定，比如$PATH和/etc/passwd中就是以冒號分割，遇到類似這種情況，我們才需要對$IFS進行指定。

posted @ 2010-09-17 16:05 xzc 閱讀(736) | 評論 (0) | 編輯收藏

shell 編程筆記

這段時間學習shell整理的筆記

第1章文件安全與權限
顯示文件
ls -l

d   目錄。
l   符號鏈接(指向另一個文件
s   套接字文件。
b   塊設備文件。
c   字符設備文件。
p   命名管道文件。

創建一個文件:
touch myfile

更改文件權限:
     chmod [who] operator [permission] filenam
      who: u g o a
      operator:+ - =
      operator: r(4) w(2) x(1)

chown -R owner file
chgrp groupname file

     id 自己信息
     umask 002
     ln [-s] source_path target_path
       ln -s /usr/opt/monitor/regstar/reg.log /var/adm/logs/monitor.log

   $ H O M E中查找文件名符合* . t x t的文件
       $ find ~ -name "*.txt" -print
   $ H O M E中查找文件名以一個大寫字母開頭的文件
       $ find . -name "[A-Z]*" -print
   /etc目錄中查找文件名以host開頭的文件
       $ find /etc -name "host*" -print
   查找文件權限位為 7 5 5的文件
       $ find . -perm 755 -print
   在/apps目錄下查找文件，但不希望在/ a p p s / b i n目錄下查找
       $ find /apps -name "/apps/bin" -prune -o -print
   在 $ H O M E目錄中查找文件屬主為d a v e的文件
       $ find ~ -user dave -print
   在/apps目錄下查找屬于a c c t s用戶組的文件
       $ find /apps -group accts -print
   查找沒有有效所屬用戶組的所有文件
       $ fine/-nogroup-print
   查找屬主帳戶已經被刪除的文件(在/ e t c / p a s s w d文件中沒有有效帳戶的文件)
       $ find /home -nouser -print
   查找更改時間在5日以內的文件
       $ find / -mtime -5 -print
   在/var/ a d m目錄下查找更改時間在3日以前的文件
       $ find /var/adm -mtime +3 -print
   假設現在的時間是2 3 : 4 0，希望查找更改時間在兩個小時以內的文件
       $ touch -t 03111750 file
       $ ls -l file
       $ find . -newer file -print
   為了在/ e t c目錄下查找所有的符號鏈接文件
       $ find /etc -type l -print
   為了在當前目錄下查找除目錄以外的所有類型的文件
       $ find . ! -type d -print
   查找文件長度大于1 M字節的文件
       $ find . -size +1000000c -print
   查找文件長度恰好為1 0 0字節的文件
       $ find /home/apache -size 100c -print
   查找長度超過1 0塊的文件（一塊等于5 1 2字節）
       $ find . -size +10 -print
   在當前的文件系統中查找文件（不進入其他文件系統）
       $ find . -name "*.XC" -mount -print
   首先匹配所有的文件然后再進入子目錄中查找
       $ find / -name "CON.FILE" -depth -print

crontab 舉例: *(分鐘) *(小時) *(每月的幾日) *(月) *(每周星期幾)

第1列分鐘1～5 9
第2列小時1～2 3（0表示子夜）
第3列日1～3 1
第4列月1～1 2
第5列星期0～6（0表示星期天）
第6列要運行的命令

-u   用戶名。
-e   編輯c r o n t a b文件。
-l   列出c r o n t a b文件中的內容。
-r   刪除c r o n t a b文件。

     表示每晚的2 1 : 3 0運行/ a p p s / b i n目錄下的c l e a n u p . s h
        30 21* * * /apps/bin/cleanup.sh
     每月1、1 0、2 2日的4 : 4 5運行/ a p p s / b i n目錄下的b a c k u p . s h
        45 4 1,10,22 * * /apps/bin/backup.sh
     在每天1 8 : 0 0至2 3 : 0 0之間每隔3 0分鐘運行/ a p p s / b i n目錄下的d b c h e c k . sh
        0,30 18-23 * * * /apps/bin/dbcheck.sh
     表示每星期六的11 : 0 0 p m運行/ a p p s / b i n目錄下的q t r e n d . s h
        0 23 * * 6 /apps/bin/qtrend.sh

linux系統重起cron服務的方法為：/sbin/service crond restart
aix系統重起cron服務的方法為：kill -9 pid（cron服務），cron服務后自動重起。

創建一個新的crontab文件:
     在 $ H O M E目錄下的. p r o f i l e文件
        加入 EDITOR=vi; export EDITOR
        vi davecron                    建一個新的crontab文件
$ crontab davecron             提交crontab

如果你正在運行一個進程，而且你覺得在退出帳戶時該進程還不會結束，那么可以使用n o h u p命令
nohup command &

echo string

定義變量:
    read name
      輸入hello
    echo $name

輸入文件—標準輸入 0
輸出文件—標準輸出 1
錯誤輸出文件—標準錯誤 2

command > filename 把把標準輸出重定向到一個新文件中
command > filename 2>&1 把把標準輸出和標準錯誤一起重定向到一個文件中
command 2 > filename 把把標準錯誤重定向到一個文件中
command >> filename 2>&1 把把標準輸出和標準錯誤一起重定向到一個文件中 (追加)

&&左邊的命令（命令1）返回真(即返回0，成功被執行后，&&右邊的命令（命令2）才能夠被執行
mv who.ini awho.ini && echo "it's success

sort file.txt 對文件排序
--------------------------------------------------

正則表達式介紹:
^ 只只匹配行首
$ 只只匹配行尾
* 只一個單字符后緊跟*，匹配0個或多個此單字符
[ ] 只匹配[ ]內字符。可以是一個單字符，也可以是字符序列。可以使用 -
表示[ ]內字符序列范圍，如用[ 1 - 5 ]代替[ 1 2 3 4 5 ]
\ 只用來屏蔽一個元字符的特殊含義。因為有時在 s h e l l中一些元字符有
特殊含義。\可以使其失去應有意義
. 只匹配任意單字符
pattern \ { n \ } 只用來匹配前面pattern出現次數。n為次數
pattern \ { n，\ } m 只含義同上，但次數最少為n
pattern \ { n，m \ } 只含義同上，但pattern出現次數在n與m之間

匹配以單詞t r o u b l e結尾的所有行
    t r o u b l e $
要匹配所有空行
    ^ $
    ^ . $
使用\屏蔽一個特殊字符的含義
下列字符可以認為是特殊字符
     $ . ' " * [ ] ^ | () \ + ?

注意^符號的使用，當直接用在第一個括號里，意指否定或不匹配括號里內容
[ ^ 0 - 9 ] 匹配任一非數字型字符

匹配字母A出現兩次，并以B結尾
    A \ { 2 \ } B
匹配A至少4次
    A \ { 4 , \ } B
A出現2次到4次之間
    A \ { 2 , 4 \ } B

grep 查匹配的字符

-c   只輸出匹配行的計數。
-i   不區分大小寫（只適用于單字符）。
-h   查詢多文件時不顯示文件名。
-l   查詢多文件時只輸出包含匹配字符的文件名。
-n   顯示匹配行及行號。
-s   不顯示不存在或無匹配文本的錯誤信息。
-v   顯示不包含匹配文本的所有行。

所有. d o c文件中查找字符串“s o r t”
     $ grep "sort" *.doc
精確匹配
     $ grep "sort<tab>" *.doc
抽取包含S e p t的所有月份，不管其大小寫，并且此行包含字符串 4 8 3
     $ grep "[Ss]ept' data.f | grep 483
對一個字符串使用grep
     str="hello every one"
     echo $str | grep "one"

測試是否已設置或初始化變量。如果未設置或初始化，就可以使用另一值:
$ { v a r i a b l e : - v a l u e }

$ cu='chen'
$ echo "the ask is ${cu:-hi} today" (如果未設置或初始化，就可以使用hi)

readonly 變量變量設置為只讀

設置環境變量:
   VARIABLE-NAME = v a l u e
   Export VARIABLE-NAME
pg 分頁顯示
   變量 ARIABLE-NAME ='chen' 輸出'chen'
   變量 ARIABLE-NAME ="chen" 輸出 chen

打印當前系統上用戶數目:
echo "ther are 'who | wc -l' users on the system "

test測試:
- d 目錄             - s 文件長度大于0、非空
- f 正規文件         - w 可寫
- L 符號連接         - u 文件有s u i d位設置
- r 可讀             - x 可執行

test -r tt.txt
echo $? (正確顯示0,錯誤顯示1)

確定當前的運行級別:
$ who -r
$ runlevel
查看doc_part文件是否被打開，有哪些進程在使用:
$ fuser -m /root/doc_part
該命令可以顯示當前所使用的登錄用戶名
$ logname
可以使用tty來報告所連接的設備或終端
$tty
記錄當前會話
$script. 文件名
exit
意味著系統在10秒鐘之內不進行任何操作
$sleep 10
可以看二進制文件中所包含的文本
$strings 文件名
whereis命令能夠給出系統命令的二進制文件及其在線手冊的路徑
$whereis 命令
tr用法(字符轉換)
# tr -s "[a-z]" < a.txt >b.txt a.txt的字符有重復的小寫轉為b.txt文件
# cat da|tr -s "[a-z]"

# tr -s "[\012]" < a.txt 去掉空行
# tr -s "[\n]" < a.txt
# tr -s "[\015\032]" "[\012*]" < input_file 一般的dos到unix轉換命令
# echo "may May"|tr "[a-z]" "[A-Z]" 小寫轉大小
# cat a.txt|tr "[a-z]" "[A-Z]" >b.txt
# cat a.txt|tr "[A-Z]" "[a-z]" > b.txt 大小轉小寫
# tr -cs "[a-z][A-Z]" "[\012*]" < a.txt 只保留大小字母,并分行

sort分類:
# sort a.txt > b.txt
# uniq a.txt > b.txt 消除重復的行(只在行連續重復時才有效)
    # uniq -u a.txt   只顯示不重復行
    # uniq -d a.txt   只顯示有重復數據行
join(將來自兩個分類文本文件的行連在一起)
# join a.txt b.txt
# join -a1 a.txt b.txt      當有不匹配時,只顯示a.txt
# join -a1 -a2 a.txt b.txt 當有不匹配時,都顯示出來
split用來將大文件分割成小文件(將文件按每個最多1000行分割)
# split 文件
# split -100 文件指定每個文件100行分割
paste按行將不同文件行信息放在一行
# ls | paste -d "" 以一列格式顯示輸出
# paste a.txt b.txt
cut用來從標準輸入或文本文件中剪切列或
# cut -c 1-3 c.txt          顯示每行從開頭算起1到3的字母
# cut -c 1-2,5-10 c.txt     顯示從1到2,還有5到10的字母
# cut -f 1,3 c.txt          顯示1和3欄的字符(使用tab分隔)

sed用法:文本編輯器(強大的文本過濾工具)
刪除：d命令
     $ sed '2d' example-----刪除example文件的第二行。
     $ sed '2,$d' example-----刪除example文件的第二行到末尾所有行。
     $ sed '$d' example-----刪除example文件的最后一行。
     $ sed '/test/'d example-----刪除example文件所有包含test的行。
替換：s命令
     $ sed 's/test/mytest/g' example-----在整行范圍內把test替換為mytest。如果沒有g標記，則只有每行第一個匹配的test被替換成mytest
     $ sed 's/^192.168.0.1/&localhost/' example-----&符號表示替換換字符串中被找到的部份。所有以192.168.0.1開頭的行都會被替換成它自已加 localhost，變成192.168.0.1localhost
寫入文件：w命令
     $ sed -n '/test/w file' example 在example中所有包含test的行都被寫入file里
     # sed '/^kai/a\\ this is a example' b.txt   " this is a example"被插入到以kai開頭后面的新一行
     # sed '/^kai/i\\ this is a example' b.txt   " this is a example"被插入到以kai開頭后面的前一行

posted @ 2010-09-17 15:43 xzc 閱讀(226) | 評論 (0) | 編輯收藏

《SED 單行腳本快速參考》的 awk 實現

轉自:http://linuxtoy.org/archives/sed-awk.html
sed 和 awk 都是 Linux 下常用的流編輯器，他們各有各的特色，本文并不是要做什么對比，而是權當好玩，把《SED 單行腳本快速參考》這文章，用 awk 做了一遍~ 至于孰好孰壞，那真是很難評論了。一般來說，sed 的命令會更短小一些，同時也更難讀懂；而 awk 稍微長點，但是 if、while 這樣的，邏輯性比較強，更加像“程序”。到底喜歡用哪個，就讓各位看官自己決定吧！

文本間隔：

# 在每一行后面增加一空行

sed G
awk '{printf("%s\n\n",$0)}'

# 將原來的所有空行刪除并在每一行后面增加一空行。
# 這樣在輸出的文本中每一行后面將有且只有一空行。

sed '/^$/d;G'
awk '!/^$/{printf("%s\n\n",$0)}'

# 在每一行后面增加兩行空行

sed 'G;G'
awk '{printf("%s\n\n\n",$0)}'

# 將第一個腳本所產生的所有空行刪除（即刪除所有偶數行）

sed 'n;d'
awk '{f=!f;if(f)print $0}'

# 在匹配式樣“regex”的行之前插入一空行

sed '/regex/{x;p;x;}'
awk '{if(/regex/)printf("\n%s\n",$0);else print $0}'

# 在匹配式樣“regex”的行之后插入一空行

sed '/regex/G'
awk '{if(/regex/)printf("%s\n\n",$0);else print $0}'

# 在匹配式樣“regex”的行之前和之后各插入一空行

sed '/regex/{x;p;x;G;}'
awk '{if(/regex/)printf("\n%s\n\n",$0);else print $0}'

編號：

# 為文件中的每一行進行編號（簡單的左對齊方式）。這里使用了“制表符”
# （tab，見本文末尾關于’\t’的用法的描述）而不是空格來對齊邊緣。

sed = filename | sed 'N;s/\n/\t/'
awk '{i++;printf("%d\t%s\n",i,$0)}'

# 對文件中的所有行編號（行號在左，文字右端對齊）。

sed = filename | sed 'N; s/^/     /; s/ *\(.\{6,\}\)\n/\1  /'
awk '{i++;printf("%6d  %s\n",i,$0)}'

# 對文件中的所有行編號，但只顯示非空白行的行號。

sed '/./=' filename | sed '/./N; s/\n/ /'
awk '{i++;if(!/^$/)printf("%d %s\n",i,$0);else print}'

# 計算行數（模擬 “wc -l”）

sed -n '$='
awk '{i++}END{print i}'

文本轉換和替代：

# Unix環境：轉換DOS的新行符（CR/LF）為Unix格式。

sed 's/.$//'                     # 假設所有行以CR/LF結束
sed 's/^M$//'                    # 在bash/tcsh中，將按Ctrl-M改為按Ctrl-V
sed 's/\x0D$//'                  # ssed、gsed 3.02.80，及更高版本
awk '{sub(/\x0D$/,"");print $0}'

# Unix環境：轉換Unix的新行符（LF）為DOS格式。

sed "s/$/`echo -e \\\r`/"        # 在ksh下所使用的命令
sed 's/$'"/`echo \\\r`/"         # 在bash下所使用的命令
sed "s/$/`echo \\\r`/"           # 在zsh下所使用的命令
sed 's/$/\r/'                    # gsed 3.02.80 及更高版本
awk '{printf("%s\r\n",$0)}'

# DOS環境：轉換Unix新行符（LF）為DOS格式。

sed "s/$//"                      # 方法 1
sed -n p                         # 方法 2

DOS環境的略過

# DOS環境：轉換DOS新行符（CR/LF）為Unix格式。
# 下面的腳本只對UnxUtils sed 4.0.7 及更高版本有效。要識別UnxUtils版本的
# sed可以通過其特有的“–text”選項。你可以使用幫助選項（“–help”）看
# 其中有無一個“–text”項以此來判斷所使用的是否是UnxUtils版本。其它DOS
# 版本的的sed則無法進行這一轉換。但可以用“tr”來實現這一轉換。

sed "s/\r//" infile >outfile     # UnxUtils sed v4.0.7 或更高版本
tr -d \r <infile >outfile        # GNU tr 1.22 或更高版本

DOS環境的略過

# 將每一行前導的“空白字符”（空格，制表符）刪除
# 使之左對齊

sed 's/^[ \t]*//'                # 見本文末尾關于'\t'用法的描述
awk '{sub(/^[ \t]+/,"");print $0}'

# 將每一行拖尾的“空白字符”（空格，制表符）刪除

sed 's/[ \t]*$//'                # 見本文末尾關于'\t'用法的描述
awk '{sub(/[ \t]+$/,"");print $0}'

# 將每一行中的前導和拖尾的空白字符刪除

sed 's/^[ \t]*//;s/[ \t]*$//'
awk '{sub(/^[ \t]+/,"");sub(/[ \t]+$/,"");print $0}'

# 在每一行開頭處插入5個空格（使全文向右移動5個字符的位置）

sed 's/^/     /'
awk '{printf("     %s\n",$0)}'

# 以79個字符為寬度，將所有文本右對齊
# 78個字符外加最后的一個空格

sed -e :a -e 's/^.\{1,78\}$/ &/;ta'
awk '{printf("%79s\n",$0)}'

# 以79個字符為寬度，使所有文本居中。在方法1中，為了讓文本居中每一行的前
# 頭和后頭都填充了空格。在方法2中，在居中文本的過程中只在文本的前面填充
# 空格，并且最終這些空格將有一半會被刪除。此外每一行的后頭并未填充空格。

sed  -e :a -e 's/^.\{1,77\}$/ & /;ta'                     # 方法1
sed  -e :a -e 's/^.\{1,77\}$/ &/;ta' -e 's/\( *\)\1/\1/'  # 方法2
awk '{for(i=0;i<39-length($0)/2;i++)printf(" ");printf("%s\n",$0)}'  #相當于上面的方法二

# 在每一行中查找字串“foo”，并將找到的“foo”替換為“bar”

sed 's/foo/bar/'                 # 只替換每一行中的第一個“foo”字串
sed 's/foo/bar/4'                # 只替換每一行中的第四個“foo”字串
sed 's/foo/bar/g'                # 將每一行中的所有“foo”都換成“bar”
sed 's/\(.*\)foo\(.*foo\)/\1bar\2/' # 替換倒數第二個“foo”
sed 's/\(.*\)foo/\1bar/'            # 替換最后一個“foo”
awk '{gsub(/foo/,"bar");print $0}'   # 將每一行中的所有“foo”都換成“bar”

# 只在行中出現字串“baz”的情況下將“foo”替換成“bar”

sed '/baz/s/foo/bar/g'
awk '{if(/baz/)gsub(/foo/,"bar");print $0}'

# 將“foo”替換成“bar”，并且只在行中未出現字串“baz”的情況下替換

sed '/baz/!s/foo/bar/g'
awk '{if(/baz$/)gsub(/foo/,"bar");print $0}'

# 不管是“scarlet”“ruby”還是“puce”，一律換成“red”

sed 's/scarlet/red/g;s/ruby/red/g;s/puce/red/g'  #對多數的sed都有效
gsed 's/scarlet\|ruby\|puce/red/g'               # 只對GNU sed有效
awk '{gsub(/scarlet|ruby|puce/,"red");print $0}'

# 倒置所有行，第一行成為最后一行，依次類推（模擬“tac”）。
# 由于某些原因，使用下面命令時HHsed v1.5會將文件中的空行刪除

sed '1!G;h;$!d'               # 方法1
sed -n '1!G;h;$p'             # 方法2
awk '{A[i++]=$0}END{for(j=i-1;j>=0;j--)print A[j]}'

# 將行中的字符逆序排列，第一個字成為最后一字，……（模擬“rev”）

sed '/\n/!G;s/\(.\)\(.*\n\)/&\2\1/;//D;s/.//'
awk '{for(i=length($0);i>0;i--)printf("%s",substr($0,i,1));printf("\n")}'

# 將每兩行連接成一行（類似“paste”）

sed '$!N;s/\n/ /'
awk '{f=!f;if(f)printf("%s",$0);else printf(" %s\n",$0)}'

# 如果當前行以反斜杠“\”結束，則將下一行并到當前行末尾
# 并去掉原來行尾的反斜杠

sed -e :a -e '/\\$/N; s/\\\n//; ta'
awk '{if(/\\$/)printf("%s",substr($0,0,length($0)-1));else printf("%s\n",$0)}'

# 如果當前行以等號開頭，將當前行并到上一行末尾
# 并以單個空格代替原來行頭的“=”

sed -e :a -e '$!N;s/\n=/ /;ta' -e 'P;D'
awk '{if(/^=/)printf(" %s",substr($0,2));else printf("%s%s",a,$0);a="\n"}END{printf("\n")}'

# 為數字字串增加逗號分隔符號，將“1234567”改為“1,234,567”

gsed ':a;s/\B[0-9]\{3\}\>/,&/;ta'                     # GNU sed
sed -e :a -e 's/\(.*[0-9]\)\([0-9]\{3\}\)/\1,\2/;ta'  # 其他sed

#awk的正則沒有后向匹配和引用，搞的比較狼狽，呵呵。

awk '{while(match($0,/[0-9][0-9][0-9][0-9]+/)){$0=sprintf("%s,%s",substr($0,0,RSTART+RLENGTH-4),substr($0,RSTART+RLENGTH-3))}print $0}'

# 為帶有小數點和負號的數值增加逗號分隔符（GNU sed）

gsed -r ':a;s/(^|[^0-9.])([0-9]+)([0-9]{3})/\1\2,\3/g;ta'

#和上例差不多

awk '{while(match($0,/[^\.0-9][0-9][0-9][0-9][0-9]+/)){$0=sprintf("%s,%s",substr($0,0,RSTART+RLENGTH-4),substr($0,RSTART+RLENGTH-3))}print $0}'

# 在每5行后增加一空白行（在第5，10，15，20，等行后增加一空白行）

gsed '0~5G'                      # 只對GNU sed有效
sed 'n;n;n;n;G;'                 # 其他sed
awk '{print $0;i++;if(i==5){printf("\n");i=0}}'

選擇性地顯示特定行：

# 顯示文件中的前10行（模擬“head”的行為）

sed 10q
awk '{print;if(NR==10)exit}'

# 顯示文件中的第一行（模擬“head -1”命令）

sed q
awk '{print;exit}'

# 顯示文件中的最后10行（模擬“tail”）

sed -e :a -e '$q;N;11,$D;ba'

#用awk干這個有點虧，得全文緩存，對于大文件肯定很慢

awk '{A[NR]=$0}END{for(i=NR-9;i<=NR;i++)print A[i]}'

# 顯示文件中的最后2行（模擬“tail -2”命令）

sed '$!N;$!D'
awk '{A[NR]=$0}END{for(i=NR-1;i<=NR;i++)print A[i]}'

# 顯示文件中的最后一行（模擬“tail -1”）

sed '$!d'                        # 方法1
sed -n '$p'                      # 方法2

#這個比較好辦，只存最后一行了。

awk '{A=$0}END{print A}'

# 顯示文件中的倒數第二行

sed -e '$!{h;d;}' -e x              # 當文件中只有一行時，輸出空行
sed -e '1{$q;}' -e '$!{h;d;}' -e x  # 當文件中只有一行時，顯示該行
sed -e '1{$d;}' -e '$!{h;d;}' -e x  # 當文件中只有一行時，不輸出

#存兩行唄（當文件中只有一行時，輸出空行）

awk '{B=A;A=$0}END{print B}'

# 只顯示匹配正則表達式的行（模擬“grep”）

sed -n '/regexp/p'               # 方法1
sed '/regexp/!d'                 # 方法2
awk '/regexp/{print}'

# 只顯示“不”匹配正則表達式的行（模擬“grep -v”）

sed -n '/regexp/!p'              # 方法1，與前面的命令相對應
sed '/regexp/d'                  # 方法2，類似的語法
awk '!/regexp/{print}'

# 查找“regexp”并將匹配行的上一行顯示出來，但并不顯示匹配行

sed -n '/regexp/{g;1!p;};h'
awk '/regexp/{print A}{A=$0}'

# 查找“regexp”并將匹配行的下一行顯示出來，但并不顯示匹配行

sed -n '/regexp/{n;p;}'
awk '{if(A)print;A=0}/regexp/{A=1}'

# 顯示包含“regexp”的行及其前后行，并在第一行之前加上“regexp”所在行的行號（類似“grep -A1 -B1”）

sed -n -e '/regexp/{=;x;1!p;g;$!N;p;D;}' -e h
awk '{if(F)print;F=0}/regexp/{print NR;print b;print;F=1}{b=$0}'

# 顯示包含“AAA”、“BBB”和“CCC”的行（任意次序）

sed '/AAA/!d; /BBB/!d; /CCC/!d'   # 字串的次序不影響結果
awk '{if(match($0,/AAA/) && match($0,/BBB/) && match($0,/CCC/))print}'

# 顯示包含“AAA”、“BBB”和“CCC”的行（固定次序）

sed '/AAA.*BBB.*CCC/!d'
awk '{if(match($0,/AAA.*BBB.*CCC/))print}'

# 顯示包含“AAA”“BBB”或“CCC”的行（模擬“egrep”）

sed -e '/AAA/b' -e '/BBB/b' -e '/CCC/b' -e d    # 多數sed
gsed '/AAA\|BBB\|CCC/!d'                        # 對GNU sed有效
awk '/AAA/{print;next}/BBB/{print;next}/CCC/{print}'
awk '/AAA|BBB|CCC/{print}'

# 顯示包含“AAA”的段落（段落間以空行分隔）
# HHsed v1.5 必須在“x;”后加入“G;”，接下來的3個腳本都是這樣

sed -e '/./{H;$!d;}' -e 'x;/AAA/!d;'
awk 'BEGIN{RS=""}/AAA/{print}'
awk -vRS= '/AAA/{print}'

# 顯示包含“AAA”“BBB”和“CCC”三個字串的段落（任意次序）

sed -e '/./{H;$!d;}' -e 'x;/AAA/!d;/BBB/!d;/CCC/!d'
awk -vRS= '{if(match($0,/AAA/) && match($0,/BBB/) && match($0,/CCC/))print}'

# 顯示包含“AAA”、“BBB”、“CCC”三者中任一字串的段落（任意次序）

sed -e '/./{H;$!d;}' -e 'x;/AAA/b' -e '/BBB/b' -e '/CCC/b' -e d
gsed '/./{H;$!d;};x;/AAA\|BBB\|CCC/b;d'         # 只對GNU sed有效
awk -vRS= '/AAA|BBB|CCC/{print "";print}'

# 顯示包含65個或以上字符的行

sed -n '/^.\{65\}/p'

cat ll.txt | awk '{if(length($0)>=65)print}'

# 顯示包含65個以下字符的行

sed -n '/^.\{65\}/!p'            # 方法1，與上面的腳本相對應
sed '/^.\{65\}/d'                # 方法2，更簡便一點的方法
awk '{if(length($0)<=65)print}'

# 顯示部分文本——從包含正則表達式的行開始到最后一行結束

sed -n '/regexp/,$p'
awk '/regexp/{F=1}{if(F)print}'

# 顯示部分文本——指定行號范圍（從第8至第12行，含8和12行）

sed -n '8,12p'                   # 方法1
sed '8,12!d'                     # 方法2
awk '{if(NR>=8 && NR<12)print}'

# 顯示第52行

sed -n '52p'                     # 方法1
sed '52!d'                       # 方法2
sed '52q;d'                      # 方法3, 處理大文件時更有效率
awk '{if(NR==52){print;exit}}'

# 從第3行開始，每7行顯示一次

gsed -n '3~7p'                   # 只對GNU sed有效
sed -n '3,${p;n;n;n;n;n;n;}'     # 其他sed
awk '{if(NR==3)F=1}{if(F){i++;if(i%7==1)print}}'

# 顯示兩個正則表達式之間的文本（包含）

sed -n '/Iowa/,/Montana/p'       # 區分大小寫方式
awk '/Iowa/{F=1}{if(F)print}/Montana/{F=0}'

選擇性地刪除特定行：

# 顯示通篇文檔，除了兩個正則表達式之間的內容

sed '/Iowa/,/Montana/d'
awk '/Iowa/{F=1}{if(!F)print}/Montana/{F=0}'

# 刪除文件中相鄰的重復行（模擬“uniq”）
# 只保留重復行中的第一行，其他行刪除

sed '$!N; /^\(.*\)\n\1$/!P; D'
awk '{if($0!=B)print;B=$0}'

# 刪除文件中的重復行，不管有無相鄰。注意hold space所能支持的緩存大小，或者使用GNU sed。

sed -n 'G; s/\n/&&/; /^\([ -~]*\n\).*\n\1/d; s/\n//; h; P'  #bones7456注：我這里此命令并不能正常工作
awk '{if(!($0 in B))print;B[$0]=1}'

# 刪除除重復行外的所有行（模擬“uniq -d”）

sed '$!N; s/^\(.*\)\n\1$/\1/; t; D'
awk '{if($0==B && $0!=l){print;l=$0}B=$0}'

# 刪除文件中開頭的10行

sed '1,10d'
awk '{if(NR>10)print}'

# 刪除文件中的最后一行

sed '$d'

#awk在過程中并不知道文件一共有幾行，所以只能通篇緩存，大文件可能不適合，下面兩個也一樣

awk '{B[NR]=$0}END{for(i=0;i<=NR-1;i++)print B[i]}'

# 刪除文件中的最后兩行

sed 'N;$!P;$!D;$d'
awk '{B[NR]=$0}END{for(i=0;i<=NR-2;i++)print B[i]}'

# 刪除文件中的最后10行

sed -e :a -e '$d;N;2,10ba' -e 'P;D'   # 方法1
sed -n -e :a -e '1,10!{P;N;D;};N;ba'  # 方法2
awk '{B[NR]=$0}END{for(i=0;i<=NR-10;i++)print B[i]}'

# 刪除8的倍數行

gsed '0~8d'                           # 只對GNU sed有效
sed 'n;n;n;n;n;n;n;d;'                # 其他sed
awk '{if(NR%8!=0)print}' |head

# 刪除匹配式樣的行

sed '/pattern/d'                      # 刪除含pattern的行。當然pattern可以換成任何有效的正則表達式
awk '{if(!match($0,/pattern/))print}'

# 刪除文件中的所有空行（與“grep ‘.’ ”效果相同）

sed '/^$/d'                           # 方法1
sed '/./!d'                           # 方法2
awk '{if(!match($0,/^$/))print}'

# 只保留多個相鄰空行的第一行。并且刪除文件頂部和尾部的空行。
# （模擬“cat -s”）

sed '/./,/^$/!d'        #方法1，刪除文件頂部的空行，允許尾部保留一空行
sed '/^$/N;/\n$/D'      #方法2，允許頂部保留一空行，尾部不留空行
awk '{if(!match($0,/^$/)){print;F=1}else{if(F)print;F=0}}'  #同上面的方法2

# 只保留多個相鄰空行的前兩行。

sed '/^$/N;/\n$/N;//D'
awk '{if(!match($0,/^$/)){print;F=0}else{if(F<2)print;F++}}'

# 刪除文件頂部的所有空行

sed '/./,$!d'
awk '{if(F || !match($0,/^$/)){print;F=1}}'

# 刪除文件尾部的所有空行

sed -e :a -e '/^\n*$/{$d;N;ba' -e '}'  # 對所有sed有效
sed -e :a -e '/^\n*$/N;/\n$/ba'        # 同上，但只對 gsed 3.02.*有效
awk '/^.+$/{for(i=l;i<NR-1;i++)print "";print;l=NR}'

# 刪除每個段落的最后一行

sed -n '/^$/{p;h;};/./{x;/./p;}'

#很長，很ugly，應該有更好的辦法

awk -vRS= '{B=$0;l=0;f=1;while(match(B,/\n/)>0){print substr(B,l,RSTART-l-f);l=RSTART;sub(/\n/,"",B);f=0};print ""}'

特殊應用：

# 移除手冊頁（man page）中的nroff標記。在Unix System V或bash shell下使
# 用’echo’命令時可能需要加上 -e 選項。

sed "s/.`echo \\\b`//g"    # 外層的雙括號是必須的（Unix環境）
sed 's/.^H//g'             # 在bash或tcsh中, 按 Ctrl-V 再按 Ctrl-H
sed 's/.\x08//g'           # sed 1.5，GNU sed，ssed所使用的十六進制的表示方法
awk '{gsub(/.\x08/,"",$0);print}'

# 提取新聞組或 e-mail 的郵件頭

sed '/^$/q'                # 刪除第一行空行后的所有內容
awk '{print}/^$/{exit}'

# 提取新聞組或 e-mail 的正文部分

sed '1,/^$/d'              # 刪除第一行空行之前的所有內容
awk '{if(F)print}/^$/{F=1}'

# 從郵件頭提取“Subject”（標題欄字段），并移除開頭的“Subject:”字樣

sed '/^Subject: */!d; s///;q'
awk '/^Subject:.*/{print substr($0,10)}/^$/{exit}'

# 從郵件頭獲得回復地址

sed '/^Reply-To:/q; /^From:/h; /./d;g;q'

#好像是輸出第一個Reply-To:開頭的行？From是干啥用的？不清楚規則。。

awk '/^Reply-To:.*/{print;exit}/^$/{exit}'

# 獲取郵件地址。在上一個腳本所產生的那一行郵件頭的基礎上進一步的將非電郵地址的部分剃除。（見上一腳本）

sed 's/ *(.*)//; s/>.*//; s/.*[:<] *//'

#取尖括號里的東西吧？

awk -F'[<>]+' '{print $2}'

# 在每一行開頭加上一個尖括號和空格（引用信息）

sed 's/^/> /'
awk '{print "> " $0}'

# 將每一行開頭處的尖括號和空格刪除（解除引用）

sed 's/^> //'
awk '/^> /{print substr($0,3)}'

# 移除大部分的HTML標簽（包括跨行標簽）

sed -e :a -e 's/<[^>]*>//g;/</N;//ba'
awk '{gsub(/<[^>]*>/,"",$0);print}'

# 將分成多卷的uuencode文件解碼。移除文件頭信息，只保留uuencode編碼部分。
# 文件必須以特定順序傳給sed。下面第一種版本的腳本可以直接在命令行下輸入；
# 第二種版本則可以放入一個帶執行權限的shell腳本中。（由Rahul Dhesi的一
# 個腳本修改而來。）

sed '/^end/,/^begin/d' file1 file2 ... fileX | uudecode   # vers. 1
sed '/^end/,/^begin/d' "$@" | uudecode                    # vers. 2

#我不想裝個uudecode驗證，大致寫個吧

awk '/^end/{F=0}{if(F)print}/^begin/{F=1}' file1 file2 ... fileX

# 將文件中的段落以字母順序排序。段落間以（一行或多行）空行分隔。GNU sed使用
# 字元“\v”來表示垂直制表符，這里用它來作為換行符的占位符——當然你也可以
# 用其他未在文件中使用的字符來代替它。

sed '/./{H;d;};x;s/\n/={NL}=/g' file | sort | sed '1s/={NL}=//;s/={NL}=/\n/g'
gsed '/./{H;d};x;y/\n/\v/' file | sort | sed '1s/\v//;y/\v/\n/'
awk -vRS= '{gsub(/\n/,"\v",$0);print}' ll.txt | sort | awk '{gsub(/\v/,"\n",$0);print;print ""}'

# 分別壓縮每個.TXT文件，壓縮后刪除原來的文件并將壓縮后的.ZIP文件
# 命名為與原來相同的名字（只是擴展名不同）。（DOS環境：“dir /b”
# 顯示不帶路徑的文件名）。

echo @echo off >zipup.bat
dir /b *.txt | sed "s/^\(.*\)\.TXT/pkzip -mo \1 \1.TXT/" >>zipup.bat

DOS 環境再次略過，而且我覺得這里用 bash 的參數 ${i%.TXT}.zip 替換更帥。

下面的一些 SED 說明略過，需要的朋友自行查看原文。

posted @ 2010-09-17 15:23 xzc 閱讀(347) | 評論 (1) | 編輯收藏

Statspack的使用

Statspack是Oracle自帶的強大的性能分析工具。他可以對當前數據庫的運行狀況作出全面的分析（包括實例信息、PGA顧問信息、命中率、top sql、top 5 wait event等等），是個好東西吧！下面切入正題：

1.以sysdba身份登陸，查看數據文件路徑

Sql代碼

C:\Documents and Settings\Administrator>sqlplus / as sysdba
SQL*Plus: Release 10.2.0.1.0 - Production on 星期三 4月 14 10:51:41 2010
連接到:
Oracle Database 10g Enterprise Edition Release 10.2.0.1.0 - Production
With the Partitioning, OLAP and Data Mining options
sys@AAA>show user;
USER 為 "SYS"
sys@AAA>select file_name from dba_data_files;
FILE_NAME
--------------------------------------------------
D:\ORACLE\PRODUCT\10.2.0\ORADATA\AAA\USERS01.DBF
D:\ORACLE\PRODUCT\10.2.0\ORADATA\AAA\SYSAUX01.DBF
D:\ORACLE\PRODUCT\10.2.0\ORADATA\AAA\UNDOTBS01.DBF
D:\ORACLE\PRODUCT\10.2.0\ORADATA\AAA\SYSTEM01.DBF
D:\ORACLE\PRODUCT\10.2.0\ORADATA\AAA\BBB.DBF
D:\ORACLE\PRODUCT\10.2.0\ORADATA\AAA\PERFSTAT.DBF
已選擇6行。

C:\Documents and Settings\Administrator>sqlplus / as sysdba
SQL*Plus: Release 10.2.0.1.0 - Production on 星期三 4月 14 10:51:41 2010
Copyright (c) 1982, 2005, Oracle.  All rights reserved.
連接到:
Oracle Database 10g Enterprise Edition Release 10.2.0.1.0 - Production
With the Partitioning, OLAP and Data Mining options
sys@AAA>show user;
USER 為 "SYS"
sys@AAA>select file_name from dba_data_files;
FILE_NAME
--------------------------------------------------
D:\ORACLE\PRODUCT\10.2.0\ORADATA\AAA\USERS01.DBF
D:\ORACLE\PRODUCT\10.2.0\ORADATA\AAA\SYSAUX01.DBF
D:\ORACLE\PRODUCT\10.2.0\ORADATA\AAA\UNDOTBS01.DBF
D:\ORACLE\PRODUCT\10.2.0\ORADATA\AAA\SYSTEM01.DBF
D:\ORACLE\PRODUCT\10.2.0\ORADATA\AAA\BBB.DBF
D:\ORACLE\PRODUCT\10.2.0\ORADATA\AAA\PERFSTAT.DBF
已選擇6行。

2.創建statspack存儲數據的表空間，（注：statspack往往會產生大量的分析數據，所以表空間還是大點為好）。

Sql代碼

create tablespace perfstat datafile 'D:\ORACLE\PRODUCT\10.2.0\ORADATA\AAA\PERFSTAT.DBF' size 2G;

create tablespace perfstat datafile 'D:\ORACLE\PRODUCT\10.2.0\ORADATA\AAA\PERFSTAT.DBF' size 2G;

3.運行statspack安裝腳本。默認位置在$oracle_home\rdbms\admin\spcreate.sql

Sql代碼

sys@AAA> @D:\oracle\product\10.2.0\db_1\RDBMS\ADMIN\spcreate.sql
...................
輸入 perfstat_password 的值: perfstat
...
輸入 default_tablespace 的值: perfstat
..........
..........
輸入 temporary_tablespace 的值: temp
..........
..........

sys@AAA> @D:\oracle\product\10.2.0\db_1\RDBMS\ADMIN\spcreate.sql
...................
輸入 perfstat_password 的值:  perfstat
...
輸入 default_tablespace 的值:  perfstat
..........
..........
輸入 temporary_tablespace 的值: temp
..........
..........

安裝完之后會自動切換用戶到perfstat下：

Sql代碼

PERFSTAT@AAA> show user;
USER is "PERFSTAT"

PERFSTAT@AAA> show user;
USER is "PERFSTAT"

安裝完畢！

4.接下來采樣分析，設定一個job，每小時執行一次采樣。

首先查看當前DB中有沒有正在運行的JOB：

Sql代碼

perfstat@AAA>select job,schema_user,next_date,interval,what from user_jobs;
未選定行

perfstat@AAA>select job,schema_user,next_date,interval,what from user_jobs;
未選定行

創建statspack采樣的job，沒每個小時采樣一次。

Sql代碼

perfstat@AAA>variable job number;
perfstat@AAA>begin
2 dbms_job.submit(:job,'statspack.snap;',trunc(sysdate+1/24,'hh24'),'trunc(sysdate+1/24,''hh24'')');
3 commit;
4 end;
5 /
PL/SQL 過程已成功完成。

perfstat@AAA>variable job number;
perfstat@AAA>begin
2  dbms_job.submit(:job,'statspack.snap;',trunc(sysdate+1/24,'hh24'),'trunc(sysdate+1/24,''hh24'')');
3  commit;
4  end;
5  /
PL/SQL 過程已成功完成。

查看當前正在運行的job有哪些？

Sql代碼

perfstat@AAA>select job as j,schema_user,next_date,interval,what from user_jobs;
J SCHEMA_USER NEXT_DATE INTERVAL WHAT
---------- ------------------------------ -------------- ---------- ----------
1 PERFSTAT 14-4月 -10 trunc(sysd statspack.
ate+1/24,' snap;
hh24')

perfstat@AAA>select job as j,schema_user,next_date,interval,what from user_jobs;
J SCHEMA_USER                    NEXT_DATE      INTERVAL   WHAT
---------- ------------------------------ -------------- ---------- ----------
1 PERFSTAT                       14-4月 -10     trunc(sysd statspack.
ate+1/24,' snap;
hh24')

5.由于statspack的采集和分析會做很多DB的分析，產生大量的分析數據，所以頻繁的采樣肯定會消耗系統性能，特別是在生產庫中，所以當你建立了上面每小時執行一次的那個job，請務必在不需要的時候停止它。不然的話，這個失誤可能會是致命的（ statspack job每小時都會跑，永不停的跑下去，呵呵。），尤其在生產庫中。

明天凌晨，系統比較清閑，采樣已經沒多大意義（采樣分析的最終目的是分析高峰時段的系統瓶頸），所以停止這個job.

Sql代碼

perfstat@AAA>variable job number;
perfstat@AAA>begin
2 dbms_job.submit(:job,'dbms_job.broken(1,true);',trunc(sysdate+1),'null');
3 commit;
4 end;
5 /
PL/SQL 過程已成功完成。

perfstat@AAA>variable job number;
perfstat@AAA>begin
2  dbms_job.submit(:job,'dbms_job.broken(1,true);',trunc(sysdate+1),'null');
3  commit;
4  end;
5  /
PL/SQL 過程已成功完成。

6.幾個小時候后，看看生成的哪些快照。

Sql代碼

perfstat@AAA>select snap_id,snap_time,startup_time from stats$snapshot;
SNAP_ID SNAP_TIME STARTUP_TIME
---------- -------------- --------------
1 14-4月 -10 14-4月 -10
2 14-4月 -10 14-4月 -10

perfstat@AAA>select snap_id,snap_time,startup_time from stats$snapshot;
SNAP_ID SNAP_TIME      STARTUP_TIME
---------- -------------- --------------
1 14-4月 -10     14-4月 -10
2 14-4月 -10     14-4月 -10

7.設定任意兩個快照，產生這段時間內的性能分析報告（此時需要跑spreport腳本，路徑和剛才那個腳本一致）。

Sql代碼

perfstat@AAA>@D:\oracle\product\10.2.0\db_1\RDBMS\ADMIN\spreport.sql
Current Instance
~~~~~~~~~~~~~~~~
DB Id DB Name Inst Num Instance
----------- ------------ -------- ------------
1858440386 AAA 1 aaa
Instances in this Statspack schema
~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~
DB Id Inst Num DB Name Instance Host
----------- -------- ------------ ------------ ------------
1858440386 1 AAA aaa 6979580041BD
490
Using 1858440386 for database Id
Using 1 for instance number
Specify the number of days of snapshots to choose from
~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~
Entering the number of days (n) will result in the most recent
(n) days of snapshots being listed. Pressing <return> without
specifying a number lists all completed snapshots.
Listing all Completed Snapshots
Snap
Instance DB Name Snap Id Snap Started Level Comment
------------ ------------ --------- ----------------- ----- -------------
aaa AAA 1 14 4月 2010 09:5 5
2
2 14 4月 2010 09:5 5
3
3 14 4月 2010 11:0 5
0
Specify the Begin and End Snapshot Ids
~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~
輸入 begin_snap 的值: 1
Begin Snapshot Id specified: 1
輸入 end_snap 的值: 2
End Snapshot Id specified: 2
Specify the Report Name
~~~~~~~~~~~~~~~~~~~~~~~
The default report file name is sp_1_2. To use this name,
press <return> to continue, otherwise enter an alternative.
輸入 report_name 的值: d:\myreport.txt

perfstat@AAA>@D:\oracle\product\10.2.0\db_1\RDBMS\ADMIN\spreport.sql
Current Instance
~~~~~~~~~~~~~~~~
DB Id    DB Name     Inst Num Instance
----------- ------------ -------- ------------
1858440386 AAA                 1 aaa
Instances in this Statspack schema
~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~
DB Id    Inst Num DB Name      Instance     Host
----------- -------- ------------ ------------ ------------
1858440386        1 AAA          aaa          6979580041BD
490
Using 1858440386 for database Id
Using          1 for instance number
Specify the number of days of snapshots to choose from
~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~
Entering the number of days (n) will result in the most recent
(n) days of snapshots being listed.  Pressing <return> without
specifying a number lists all completed snapshots.
Listing all Completed Snapshots
Snap
Instance     DB Name        Snap Id   Snap Started    Level Comment
------------ ------------ --------- ----------------- ----- -------------
aaa          AAA                  1 14 4月  2010 09:5     5
2
2 14 4月  2010 09:5     5
3
3 14 4月  2010 11:0     5
0
Specify the Begin and End Snapshot Ids
~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~
輸入 begin_snap 的值:  1
Begin Snapshot Id specified: 1
輸入 end_snap 的值:  2
End   Snapshot Id specified: 2
Specify the Report Name
~~~~~~~~~~~~~~~~~~~~~~~
The default report file name is sp_1_2.  To use this name,
press <return> to continue, otherwise enter an alternative.
輸入 report_name 的值:  d:\myreport.txt

Sql代碼

...回車

...回車

8.完成后，會產生一個分析報告（d:\myreport.txt）。

附件：報告的截取片段：

Sql代碼

STATSPACK report for
Database DB Id Instance Inst Num Startup Time Release RAC
~~~~~~~~ ----------- ------------ -------- --------------- ----------- ---
1858440386 aaa 1 14-4月 -10 09:2 10.2.0.1.0 NO
2
Host Name: 6979580041BD490 Num CPUs: 2 Phys Memory (MB): 3,326
~~~~
Snapshot Snap Id Snap Time Sessions Curs/Sess Comment
~~~~~~~~ ---------- ------------------ -------- --------- -------------------
Begin Snap: 1 14-4月 -10 09:52:22 15 4.3
End Snap: 2 14-4月 -10 09:53:20 15 5.8
Elapsed: 0.97 (mins)
Cache Sizes Begin End
~~~~~~~~~~~ ---------- ----------
Buffer Cache: 184M Std Block Size: 8K
Shared Pool Size: 380M Log Buffer: 6,860K
Load Profile Per Second Per Transaction
~~~~~~~~~~~~ --------------- ---------------
Redo size: 10,075.66 584,388.00
Logical reads: 58.41 3,388.00
Block changes: 18.81 1,091.00
Physical reads: 0.22 13.00
Physical writes: 0.00 0.00
User calls: 0.52 30.00
Parses: 2.83 164.00
Hard parses: 0.72 42.00
Sorts: 1.76 102.00
Logons: 0.02 1.00
Executes: 10.88 631.00
Transactions: 0.02
% Blocks changed per Read: 32.20 Recursive Call %: 99.69
Rollback per transaction %: 0.00 Rows per Sort: 70.69
Instance Efficiency Percentages
~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~
Buffer Nowait %: 100.00 Redo NoWait %: 100.00
Buffer Hit %: 99.62 In-memory Sort %: 100.00
Library Hit %: 90.06 Soft Parse %: 74.39
Execute to Parse %: 74.01 Latch Hit %: 100.00
Parse CPU to Parse Elapsd %: 14.29 % Non-Parse CPU: 98.41
Shared Pool Statistics Begin End
------ ------
Memory Usage %: 21.05 20.98
% SQL with executions>1: 54.05 60.06
% Memory for SQL w/exec>1: 80.51 83.00
Top 5 Timed Events Avg %Total
~~~~~~~~~~~~~~~~~~ wait Call
Event Waits Time (s) (ms) Time
----------------------------------------- ------------ ----------- ------ ------
CPU time 1 70.7
control file sequential read 189 0 1 23.6
db file sequential read 8 0 3 2.5
control file parallel write 27 0 1 1.9
log file sync 1 0 5 .6
.....................
.........................
...........................

STATSPACK report for
Database    DB Id    Instance     Inst Num Startup Time    Release     RAC
~~~~~~~~ ----------- ------------ -------- --------------- ----------- ---
1858440386 aaa                 1 14-4月 -10 09:2 10.2.0.1.0  NO
2
Host  Name:   6979580041BD490  Num CPUs:    2        Phys Memory (MB):    3,326
~~~~
Snapshot       Snap Id     Snap Time      Sessions Curs/Sess Comment
~~~~~~~~    ---------- ------------------ -------- --------- -------------------
Begin Snap:          1 14-4月 -10 09:52:22      15       4.3
End Snap:          2 14-4月 -10 09:53:20      15       5.8
Elapsed:                0.97 (mins)
Cache Sizes                       Begin        End
~~~~~~~~~~~                  ---------- ----------
Buffer Cache:       184M             Std Block Size:         8K
Shared Pool Size:       380M                 Log Buffer:     6,860K
Load Profile                            Per Second       Per Transaction
~~~~~~~~~~~~                       ---------------       ---------------
Redo size:             10,075.66            584,388.00
Logical reads:                 58.41              3,388.00
Block changes:                 18.81              1,091.00
Physical reads:                  0.22                 13.00
Physical writes:                  0.00                  0.00
User calls:                  0.52                 30.00
Parses:                  2.83                164.00
Hard parses:                  0.72                 42.00
Sorts:                  1.76                102.00
Logons:                  0.02                  1.00
Executes:                 10.88                631.00
Transactions:                  0.02
% Blocks changed per Read:   32.20    Recursive Call %:    99.69
Rollback per transaction %:    0.00       Rows per Sort:    70.69
Instance Efficiency Percentages
~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~
Buffer Nowait %:  100.00       Redo NoWait %:  100.00
Buffer  Hit   %:   99.62    In-memory Sort %:  100.00
Library Hit   %:   90.06        Soft Parse %:   74.39
Execute to Parse %:   74.01         Latch Hit %:  100.00
Parse CPU to Parse Elapsd %:   14.29     % Non-Parse CPU:   98.41
Shared Pool Statistics        Begin   End
------  ------
Memory Usage %:   21.05   20.98
% SQL with executions>1:   54.05   60.06
% Memory for SQL w/exec>1:   80.51   83.00
Top 5 Timed Events                                                    Avg %Total
~~~~~~~~~~~~~~~~~~                                                   wait   Call
Event                                            Waits    Time (s)   (ms)   Time
----------------------------------------- ------------ ----------- ------ ------
CPU time                                                         1          70.7
control file sequential read                       189           0      1   23.6
db file sequential read                              8           0      3    2.5
control file parallel write                         27           0      1    1.9
log file sync                                        1           0      5     .6
.....................
.........................
...........................

9.若想刪除某個快照，制定snapid直接delete

Sql代碼

delete stats$snapshot where snap_id=1;

delete stats$snapshot where snap_id=1;

若想刪除所有快照，只保留statspack結構，執行@sptrunc。腳本路徑也在rdbms/admin下。若想連statspack一起干掉，也可以，請執行下面的腳本：@spdrop

從此你也可以利用statspack來了解當前數據庫的運行狀況了。

posted @ 2010-08-07 11:18 xzc 閱讀(1351) | 評論 (0) | 編輯收藏

Statspack使用中存在的幾個誤區

偶然間發現,幾年前，馮老師關于statspack的一篇文章，寫的不錯，收下了先。

http://www.dbanotes.net/Oracle/AboutStatspack.htm

Statspack 是 Oracle 提供的一個實例級的Tuning工具。很多DBA都喜歡用這個工具來進行數據庫的優化調整。不過在交流中發現很多朋友對這個工具的的運用還有一些問題。下面就其中比較容易出問題的幾個方面進行一下簡單的分析。

快照的采樣時間間隔問題

我們知道，Statspack的report實際上也就是對比兩個快照 (Snapshot，也就是數據庫當前狀態 ) 得出的結果。

一般情況下，專家建議生成Statspack報告的快照時間間隔為15-30分鐘。

試想，一個人去醫院看病，醫生對其測量體溫，一般也就是5-10分鐘左右就可以了，為什么是這麼長的時間？因為5-10分鐘這段時間基本可以近似的得到你的體溫。如果時間過短，可能達不到既定的目的，測到的體溫會偏低，時間過長，甚至長達幾個小時的話(假設有這種情況)，病人可能都昏迷幾次了 ;) 。

對生成Statspack報告的快照時間間隔也是這樣，如果兩個Snap Time時間過短，數據庫的一些主要周期性事務可能還沒有運行，信息收集不完全。如果間隔過長，數據一樣會有偏差。

假設如下的情況：系統一直正常，但是最近幾天有用戶反映，在A時間段應用程序執行很慢。B時間段正常，而 A時間段有一個主要的事務X運行（也是用戶使用到的事務）。 B時間段有另外一個比較消耗資源的事務Y在運行。A和B時間段的跨度比較大。本來你的快照如果覆蓋A時間段內就已經能夠的收集到比較準確的數據了，但不巧的是，你的Report 所用的兩個Snap ID的時間跨度太長，從而把B時間段內的統計數據也收集了進來。 Statspack 經過比較，“認為”事務Y是對系統有主要影響(這也會在Report上體現出來)，而你，經過分析，認為Y才是罪魁禍首，接下來，你不遺余力的對Y進行了tuning......

問題出現了！調整了B之后，用戶繼續報告，A時間段內系統不但沒有變快，反而變得更慢，甚至不可忍受。這種情況是很危險的，可能會對系統造成不同程序的損害。在比較嚴格的環境中，這已經構成了一次比較嚴重的事故。

或許你也要承認，Statspack的快照的采樣時間間隔還真需要重視呢......

這是一個Oracle　8.1.7.0.1　版本下的Statspack報告：

                      Snap Id          Snap Time Sessions
------- ------------------ --------
Begin Snap:            637 04-Aug-03 11:59:33       25
End Snap:              646 04-Aug-03 16:29:06       25
Elapsed:                        269.55 (mins)

從中可以看到快照637和快照646之間為269.55 (mins)。這么長的時間跨度，即使數據庫在一定時間間隔內有問題，在這里的體現也會有偏差。
下面的這個Statspack 報告的時間有點不靠譜了：

	                                                                Snap Length
Start Id  End Id              Start Time  End Time                (Minutes)
--------  --------  --------------------  --------------------  -----------
314  1053        11-Dec-03 18:07:13  19-Dec-03 10:53:02      11,085.82

11,085.82分鐘? 這么長時間內的數據采集分析，怕是絕大部分內容都是不能相信的了。

還要注意的是，我們說的時間間隔，是Begin Snap和End Snap之間的間隔，而不是相鄰兩個Snap 之間的間隔。對于Snap收集的間隔，建議以不要影響性能為準，收集的太過于頻繁，會對性能和存儲都造成壓力。對于所謂的15-30分鐘，不能墨守成規。具體的環境下應該加以調整。

以偏概全

Statspack從本質上說，是對系統的性能統計數據進行采樣，然后進行分析，采樣，就會有偏差。如何消除偏差？統計學指出差值隨樣品個數的增加而降低。所以，只憑借一個Report文檔就斷定數據庫的性能問題出在某處，是比較武斷的做法（個別情況除外）。需要DBA創建多個Report，包括不同時間段，對比進行分析，這樣才會起到很好的效果。在尋求技術支持的時候也最好能夠多提交幾份Report，便于支持人員迅速幫助解決問題。

有關Timed_statistics參數

雖然這算是一個低級的錯誤，還是很遺憾，常常看到一些朋友對這個參數的忽略．如果在 Timed_statistics的值設置為False的時候進行收集，可以說，收集到的東西用處不是很大 (我想你不會只想看一些實例名字、初始化參數之類的信息吧)。甚至可以說，如果該參數不設置為True，性能分析無從說起。

你成了泄密者?

Statspack 報告會匯集到你的數據庫系統比較全面的信息，如果不對報告加以"偽裝"就隨意發布到一些技術論壇上尋求支持，無疑給一些黑客以可乘之機。你的數據庫名字、實例名字、主機名、數據庫版本號、兼容參數、關鍵的表名字、文件路徑等等，尤其是關鍵的SQL都是黑客們或是惡意入侵者的最好的參考信息。

商業競爭對手也可能正在對你的數據庫虎視眈眈。

如果你有意積極配合這些惡意窺探者，那么就把你的Statspack公之于眾吧 :-)

posted @ 2010-08-07 11:18 xzc 閱讀(125) | 評論 (0) | 編輯收藏

閃回刪除(Flashback drop)

大家在平時開發中，有時意外的刪除過表，可能就是直接重新創建該表。在oracle10g中，可以用Flashback drop恢復用一個被刪除(drop)了的對象，oracle自動將該對象放入回收站。Flashback drop恢復的原理也是利用oracle的回收站來恢復被刪除(drop)的對象。

回收站，是一個虛擬的容器，用于存放所有被刪除的對象。其實，對于一個對象的刪除，數據庫僅僅是簡單的重命名操作。

數據庫參數recyclebin設置為on.(即默認設置)。參數recyclebin為on，則表示把Drop的對象放入回收站。為off，則表示直接刪除對象而不放入回收站。

查看recyclebin值命令如：

SQL> show parameter bin;

NAME TYPE VALUE

------------------------------------ ----------- ------------------------------

recyclebin string on

在系統或會話級別中修改參數recyclebin值的命令為：

SQL>alter system set recyclebin = on|off;

SQL>alter session set recyclebin = on|off;

查看回收站的相關信息視圖有：recyclebin/user_recyclebin/dba_recyclebin.

手動清除回收站的信息為：purge recyclebin(或purge table original_name);

刪除一張表而不想放入回收站的命令為：drop table table_name purge;

示例1：

1.查看用戶下回收站的信息，此時回收站為空

SQL>selectOBJECT_NAME,ORIGINAL_NAME,TYPEfromuser_recyclebin;
OBJECT_NAME ORIGINAL_NAME TYPE
------------------------------ ------------- ------
2.創建測試表tab_test,并為該表增加ind_test索引
SQL>createtabletab_testasselect*fromall_objects;
Tablecreated
SQL>createindexind_testontab_test(object_id);
Indexcreated

SQL> select count(*) from tab_test;

COUNT(*)

----------

    40699
3。用drop命令刪除tab_test表
SQL>droptabletab_test;

Tabledropped
4。查看用戶回收站信息,此時會記錄刪除后的對象在回收站中的相關信息，此時還能正常操作回收站中的對象，但不能操作DDL/DML語句
SQL>selectOBJECT_NAME,ORIGINAL_NAME,TYPEfromuser_recyclebin;

OBJECT_NAME                   ORIGINAL_NAME TYPE
------------------------------ ------------- ------
BIN$a+iPOcq+QXiwUT8B3c3QoA==$0 IND_TEST      INDEX
BIN$zFJjV8zFSlqbLecXbDeANQ==$0 TAB_TEST      TABLE

SQL>selectcount(*)from"BIN$zFJjV8zFSlqbLecXbDeANQ==$0";

COUNT(*)
----------
    40699

SQL>deletefrom"BIN$zFJjV8zFSlqbLecXbDeANQ==$0";

deletefrom"BIN$zFJjV8zFSlqbLecXbDeANQ==$0"
ORA-38301:無法對回收站中的對象執行DDL/DML

5．用flashback恢復表到刪除之前的狀態
SQL>flashbacktabletab_testtobeforedrop;
Done

SQL> select count(*) from tab_test;

COUNT(*)

----------

40699

6.恢復表的索引（此時表中的索引同時也被恢復了，只不過該索引還是保留回收站中的索引名稱）

SQL> select index_name from user_indexes where table_name = 'TAB_TEST';

INDEX_NAME

------------------------------

BIN$a+iPOcq+QXiwUT8B3c3QoA==$0

SQL> alter index "BIN$a+iPOcq+QXiwUT8B3c3QoA==$0" rename to ind_test;

Index altered

SQL> select index_name from user_indexes where table_name = 'TAB_TEST';

INDEX_NAME

------------------------------

IND_TEST

示例2：

1.查看用戶下回收站的信息，此時回收站為空

SQL>selectOBJECT_NAME,ORIGINAL_NAME,TYPEfromuser_recyclebin;
OBJECT_NAME ORIGINAL_NAME TYPE
------------------------------ ------------- ------
2.創建測試表test1，并輸入數據
SQL> create table test1(id number);

Table created

SQL> insert into test1 values(1);

1 row inserted

SQL> insert into test1 values(2);

1 row inserted

SQL> insert into test1 values(3);

1 row inserted

SQL> insert into test1 values(4);

1 row inserted

SQL> commit;

Commit complete

SQL> select count(*) from test1;

COUNT(*)

----------

3．刪除test1表，然后在重新創建test1表

SQL> drop table test1;

Table dropped

SQL> create table test1(id number);

Table created

SQL> insert into test1 values(1);

1 row inserted

SQL> commit;

Commit complete

SQL> select count(*) from test1;

COUNT(*)

----------

4.再次刪除test1表

SQL> drop table test1;

Table dropped

5．查詢回收站信息(此時回收站中有兩條test1表的數據)

SQL>select*fromuser_recyclebin;

OBJECT_NAME                   ORIGINAL_NAME  TYPE
------------------------------ --------------------
BIN$Uk69X077TQWqQ0OQ3u1FdQ==$0 TEST1         TABLE
BIN$kpG5ZWdlRUi/jO6X0EYP+A==$0 TEST1         TABLE

5.用flashback恢復表到刪除之前的狀態

SQL> flashback table test1 to before drop;

Done

SQL> select count(*) from test1;

COUNT(*)

----------

此時查看恢復后的test1，發現恢復到最近一次的信息，因此可說明多次刪除后，在回收站中會存在多條與test1有關的數據，而用flashback table test1 to before drop命令恢復到的是test1表中最近一次刪除的信息

posted @ 2010-08-04 20:40 xzc 閱讀(793) | 評論 (0) | 編輯收藏

僅列出標題

insert append方法的使用

快照的采樣時間間隔問題

以偏概全

有關Timed_statistics參數

你成了泄密者?

常用鏈接

留言簿(12)

隨筆分類

隨筆檔案

收藏夾

搜索

最新評論

閱讀排行榜

評論排行榜