The important thing in life is to have a great aim , and the determination

模式與框架

posted @ 2008-10-10 09:39 鴻雁 閱讀(252) | 評論 (0) | 編輯 收藏

Javascript中最常用的55個經典技巧

1. oncontextmenu="window.event.returnValue=false" 將徹底屏蔽鼠標右鍵
<table border oncontextmenu=return(false)><td>no</table> 可用于Table

posted @ 2008-10-09 20:10 鴻雁 閱讀(222) | 評論 (0) | 編輯 收藏

struts+spring+hibernate的web應用示例

posted @ 2008-03-01 21:39 鴻雁 閱讀(828) | 評論 (0) | 編輯 收藏

如何查找、刪除表中重復的記錄

軟件環境：

1、Windows NT4.0+ORACLE 8.0.4

2、ORACLE安裝路徑為：C:"ORANT

問題提出：

1、當我們想要為一個表創建唯一索引時，如果該表有重復的記錄，則無法創建成功。

方法原理：

1、Oracle中，每一條記錄都有一個rowid，rowid在整個數據庫中是唯一的，

　 rowid確定了每條記錄是在ORACLE中的哪一個數據文件、塊、行上。

2、在重復的記錄中，可能所有列的內容都相同，但rowid不會相同，所以只要確定出重復記錄中

　 那些具有最大rowid的就可以了，其余全部刪除。

3、以下語句用到了3項技巧：rowid、子查詢、別名。

實現方法：

SQL> create table a (

 2 bm char(4),            --編碼

 3 mc varchar2(20)            --名稱

 4 )

 5 /

表已建立.

SQL> insert into a values('1111','1111');

SQL> insert into a values('1112','1111');

SQL> insert into a values('1113','1111');

SQL> insert into a values('1114','1111');

SQL> insert into a select * from a;

插入4個記錄.

SQL> commit;

完全提交.

SQL> select rowid,bm,mc from a;

ROWID              BM   MC

------------------ ---- -------

000000D5.0000.0002 1111 1111

000000D5.0001.0002 1112 1111

000000D5.0002.0002 1113 1111

000000D5.0003.0002 1114 1111

000000D5.0004.0002 1111 1111

000000D5.0005.0002 1112 1111

000000D5.0006.0002 1113 1111

000000D5.0007.0002 1114 1111

查詢到8記錄.

查出重復記錄

SQL> select rowid,bm,mc from a where a.rowid!=(select max(rowid) from a b where a.bm=b.bm and a.mc=b.mc);

ROWID              BM   MC

------------------ ---- --------------------

000000D5.0000.0002 1111 1111

000000D5.0001.0002 1112 1111

000000D5.0002.0002 1113 1111

000000D5.0003.0002 1114 1111

刪除重復記錄

SQL> delete from a a where a.rowid!=(select max(rowid) from a b where a.bm=b.bm and a.mc=b.mc);

刪除4個記錄.

SQL> select rowid,bm,mc from a;

ROWID              BM   MC

------------------ ---- --------------------

000000D5.0004.0002 1111 1111

000000D5.0005.0002 1112 1111

000000D5.0006.0002 1113 1111

000000D5.0007.0002 1114 1111

come from :: http://dev.csdn.net/article/59/59333.shtm

-測試數據

/*-----------------------------

select * from tt

-----------------------------*/

id          pid        

----------- -----------

1           1

1           1

2           2

3           3

3           3

3           3

（所影響的行數為 6 行）

首先，如何查詢table中有重復記錄

select *,count(1) as rownum

from tt

group by id, pid

having count(1) > 1

id          pid         rownum     

----------- ----------- -----------

1           1           2

3           3           3

（所影響的行數為 2 行）

方法一:使用distinct和臨時表

if object_id('tempdb..#tmp') is not null

drop table #tmp

select distinct * into #tmp from tt

truncate table tt

insert into tt select * from #tmp

方法二:添加標識列

alter table tt add NewID int identity(1,1)

go 

delete from tt where exists(select 1 from tt a where a.newid>tt.newid and tt.id=a.id and tt.pid=a.pid)

go

alter table tt drop column NewID

go

--測試結果

/*-----------------------------

select * from tt

-----------------------------*/

id          pid        

----------- -----------

1           1

2           2

3           3

（所影響的行數為 3 行）

*---*-- * 8 8 * * * * 8* * * * 8 8 *

USE CEO

CREATE TABLE TT

(

TTNO CHAR(4),

TTNAME VARCHAR(10)

)

INSERT INTO TT (TTNO,TTNAME) VALUES ('1425','WHERE')

INSERT INTO TT (TTNO,TTNAME) VALUES ('1425','WHERE')

INSERT INTO TT (TTNO,TTNAME) VALUES ('1424','WHEREIS')

INSERT INTO TT (TTNO,TTNAME) VALUES ('1435','WHEREIS')

INSERT INTO TT (TTNO,TTNAME) VALUES ('1435','WHEREIS')

方法二:添加標識列(最有效方法)

alter table tt add newid2 int identity(1,1)

go

delete from tt where exists( select 1 from tt   a where a.newid2>tt.newid2 and tt.ttno=a.ttno and tt.ttname=a.ttname)

alter table tt drop column newid2

go

select * from tt

posted @ 2008-01-22 01:57 鴻雁 閱讀(297) | 評論 (0) | 編輯 收藏

Java程序員：一刻鐘精通正則表達式

　　"^The": 開頭一定要有"The"字符串;

　　"of despair$": 結尾一定要有"of despair" 的字符串;

　　那么,

　　"^abc$": 就是要求以abc開頭和以abc結尾的字符串，實際上是只有abc匹配。

　　"notice": 匹配包含notice的字符串。

　　你可以看見如果你沒有用我們提到的兩個字符(最后一個例子)，就是說 模式(正則表達式) 可以出現在被檢驗字符串的任何地方，你沒有把他鎖定到兩邊。

　　接著,說說 '*', '+',和 '?',

　　他們用來表示一個字符可以出現的次數或者順序. 他們分別表示：

1. 　　"zero or more"相當于{0,},
2. 　　"one or more"相當于{1,},
3. 　　"zero or one."相當于{0,1}, 這里是一些例子:
4. 　　"ab*": 和ab{0,}同義,匹配以a開頭,后面可以接0個或者N個b組成的字符串("a", "ab", "abbb", 等);
5. 　　"ab+": 和ab{1,}同義,同上條一樣，但最少要有一個b存在 ("ab", "abbb", 等.);
6. 　　"ab?":和ab{0,1}同義,可以沒有或者只有一個b;
7. 　　"a?b+$": 匹配以一個或者0個a再加上一個以上的b結尾的字符串.

　　要點, '*', '+',和 '?'只管它前面那個字符.

　　你也可以在大括號里面限制字符出現的個數，比如

1. 　　"ab{2}": 要求a后面一定要跟兩個b(一個也不能少)("abb");
2. 　　"ab{2,}": 要求a后面一定要有兩個或者兩個以上b(如"abb", "abbbb", 等.);
3. 　　"ab{3,5}": 要求a后面可以有2-5個b("abbb", "abbbb", or "abbbbb").

　　現在我們把一定幾個字符放到小括號里，比如：

1. 　　"a(bc)*": 匹配 a 后面跟0個或者一個"bc";
2. 　　"a(bc){1,5}": 一個到5個 "bc."

　　還有一個字符 '│', 相當于OR 操作:

　　"hi│hello": 匹配含有"hi" 或者 "hello" 的 字符串;

　　"(b│cd)ef": 匹配含有 "bef" 或者 "cdef"的字符串;

　　"(a│b)*c": 匹配含有這樣多個(包括0個)a或b，后面跟一個c的字符串;

　　一個點('.')可以代表所有的單一字符,不包括"\n"

　　如果,要匹配包括"\n"在內的所有單個字符,怎么辦?

　　對了,用'[\n.]'這種模式.

　　"a.[0-9]": 一個a加一個字符再加一個0到9的數字

　　"^.{3}$": 三個任意字符結尾 .

　　中括號括住的內容只匹配一個單一的字符

　　"[ab]": 匹配單個的 a 或者 b ( 和 "a│b" 一樣);

　　"[a-d]": 匹配'a' 到'd'的單個字符 (和"a│b│c│d" 還有 "[abcd]"效果一樣); 一般我們都用[a-zA-Z]來指定字符為一個大小寫英文

　　"^[a-zA-Z]": 匹配以大小寫字母開頭的字符串

　　"[0-9]%": 匹配含有 形如 x% 的字符串

　　",[a-zA-Z0-9]$": 匹配以逗號再加一個數字或字母結尾的字符串

　　你也可以把你不想要得字符列在中括號里，你只需要在總括號里面使用'^' 作為開頭 "%[^a-zA-Z]%" 匹配含有兩個百分號里面有一個非字母的字符串.

　　要點:^用在中括號開頭的時候,就表示排除括號里的字符。為了PHP能夠解釋，你必須在這些字符面前后加'',并且將一些字符轉義.

　　不要忘記在中括號里面的字符是這條規路的例外?在中括號里面, 所有的特殊字符，包括(''), 都將失去他們的特殊性質 "[*\+?{}.]"匹配含有這些字符的字符串.

　　還有,正如regx的手冊告訴我們: "如果列表里含有 ']', 最好把它作為列表里的第一個字符(可能跟在'^'后面). 如果含有'-', 最好把它放在最前面或者最后面, or 或者一個范圍的第二個結束點[a-d-0-9]中間的‘-’將有效.

　　看了上面的例子,你對{n,m}應該理解了吧.要注意的是,n和m都不能為負整數,而且n總是小于m. 這樣,才能 最少匹配n次且最多匹配m次. 如"p{1,5}"將匹配 "pvpppppp"中的前五個p.

　　\b 書上說他是用來匹配一個單詞邊界,就是...比如've\b',可以匹配love里的ve而不匹配very里有ve

　　\B 正好和上面的\b相反.例子我就不舉了

　　.....突然想起來....可以到http://www.phpv.net/article.php/251 看看其它用\ 開頭的語法

　　好,我們來做個應用:

　　如何構建一個模式來匹配 貨幣數量 的輸入

　　構建一個匹配模式去檢查輸入的信息是否為一個表示money的數字。我們認為一個表示money的數量有四種方式： "10000.00" 和 "10,000.00",或者沒有小數部分, "10000" and "10,000". 現在讓我們開始構建這個匹配模式:

^[1-9][0-9]*$

^(0│[1-9][0-9]*)$

　　"只有0和不以0開頭的數字與之匹配"，我們也可以允許一個負號在數字之前:

^(0│-?[1-9][0-9]*)$

　　這就是: "0 或者 一個以0開頭 且可能 有一個負號在前面的數字." 好了,現在讓我們別那么嚴謹，允許以0開頭.現在讓我們放棄 負號 , 因為我們在表示錢幣的時候并不需要用到. 我們現在指定 模式 用來匹配小數部分:

^[0-9]+(\.[0-9]+)?$

　　這暗示匹配的字符串必須最少以一個阿拉伯數字開頭. 但是注意，在上面模式中 "10." 是不匹配的, 只有 "10" 和 "10.2" 才可以. (你知道為什么嗎)

^[0-9]+(\.[0-9]{2})?$

　　我們上面指定小數點后面必須有兩位小數.如果你認為這樣太苛刻,你可以改成:

^[0-9]+(\.[0-9]{1,2})?$

　　這將允許小數點后面有一到兩個字符. 現在我們加上用來增加可讀性的逗號(每隔三位), 我們可以這樣表示:

^[0-9]{1,3}(,[0-9]{3})*(\.[0-9]{1,2})?$

　　不要忘記 '+' 可以被 '*' 替代 如果你想允許空白字符串被輸入話 (為什么?). 也不要忘記反斜桿 ’\’ 在php字符串中可能會出現錯誤 (很普遍的錯誤).

　　現在，我們已經可以確認字符串了, 我們現在把所有逗號都去掉 str_replace(",", "", $money) 然后在把類型看成 double然后我們就可以通過他做數學計算了.

再來一個:

　　構造檢查email的正則表達式

　　在一個完整的email地址中有三個部分:

　　1. 用戶名 (在 '@' 左邊的一切),

　　2.'@',

　　3. 服務器名(就是剩下那部分).

　　用戶名可以含有大小寫字母阿拉伯數字,句號 ('.'), 減號('-'), and 下劃線 ('_'). 服務器名字也是符合這個規則,當然下劃線除外.

　　現在, 用戶名的開始和結束都不能是句點. 服務器也是這樣. 還有你不能有兩個連續的句點他們之間至少存在一個字符，好現在我們來看一下怎么為用戶名寫一個匹配模式:

^[_a-zA-Z0-9-]+$

　　現在還不能允許句號的存在. 我們把它加上:

^[_a-zA-Z0-9-]+(\.[_a-zA-Z0-9-]+)*$

　　上面的意思就是說: "以至少一個規范字符(除了.)開頭,后面跟著0個或者多個以點開始的字符串."

　　簡單化一點, 我們可以用 eregi()取代 ereg().eregi()對大小寫不敏感, 我們就不需要指定兩個范圍 "a-z" 和 "A-Z" ? 只需要指定一個就可以了:

^[_a-z0-9-]+(\.[_a-z0-9-]+)*$

　　后面的服務器名字也是一樣,但要去掉下劃線:

^[a-z0-9-]+(\.[a-z0-9-]+)*$

　　好. 現在只需要用”@”把兩部分連接:

^[_a-z0-9-]+(\.[_a-z0-9-]+)*@[a-z0-9-]+(\.[a-z0-9-]+)*$

　　這就是完整的email認證匹配模式了,只需要調用

eregi(‘^[_a-z0-9-]+(\.[_a-z0-9-]+)*@[a-z0-9-]+(\.[a-z0-9-]+)*$ ’,$eamil)

　　就可以得到是否為email了.

　　提取字符串

　　ereg() and eregi() 有一個特性是允許用戶通過正則表達式去提取字符串的一部分(具體用法你可以閱讀手冊). 比如說,我們想從 path/URL 提取文件名 ? 下面的代碼就是你需要:

ereg("([^\\/]*)$", $pathOrUrl, $regs); echo $regs[1];

　　高級的代換

　　ereg_replace() 和 eregi_replace()也是非常有用的: 假如我們想把所有的間隔負號都替換成逗號:

ereg_replace("[ \n\r\t]+", ",", trim($str));

　　最后,我把另一串檢查EMAIL的正則表達式讓看文章的你來分析一下.

"^[-!#$%&\'*+\\./0-9=?A-Z^_`a-z{|}~]+'.'@'.'[-!#$%&\'*+\\/0-9=?A-Z^_`a-z{|}~]+\.'.'[-!#$%&\'*+\\./0-9=?A-Z^_`a-z{|}~]+$"

　　如果能方便的讀懂,那這篇文章的目的就達到了.

posted @ 2008-01-16 15:59 鴻雁 閱讀(297) | 評論 (0) | 編輯 收藏

Hibernate3調用存儲過程用法

posted @ 2008-01-11 18:31 鴻雁 閱讀(273) | 評論 (0) | 編輯 收藏

數字智力測試題

    回答智力測試的一些基本方法如下。
    （1）排除法
    把一些無關的問題先予以排除，可以確定的問題先確定，盡可能縮小未知的范圍，以便于問題的分析和解決。這種思維方式在我們的工作和生活中都是很有用處的。

    （2）遞推法
    由已知條件層層向下分析，要確保每一步都能準確無誤。可能會有幾個分支，應本著先易后難的原則，先從簡單的一支入手。

    （3）倒推法
    從問題最后的結果開始，一步一步往前推，直到求出問題的答案。有些問題用此法解起來很簡單，如用其他方法則很難。

    （4）假設法
    對給定的問題，先做一個或一些假設，然后根據已給的條件進行分析，如果出現與題目給的條件有矛盾的情況，說明假設錯誤，可再做另一個或另一些假設。如果結果只有兩種可能，那么問題就已經解決了。在科學史上，“假設”曾起了極大的作用。

    （5）計算法
    有些問題必須經計算才能解決。要注意的是，智力測驗中的問題往往含有隱含的條件，有時給出的數是無用的。

    （6）分析法
    這是最基本的方法。各種方法常常要用到分析法。可以說，分析能力的高低，是一個人的智力水平的體現。分析能力不僅是先天性的，在很大程度上取決于后天的訓練，應養成對客觀事物進行分析的良好習慣。

    （7）作圖法
    根據問題中已知的條件，采用適當的方法畫出圖形，有助于問題的解決。有些問題，在沒畫圖之前，會覺得無處下手，畫了圖后就一目了然了。

    （8）綜合法
    事實上，許多問題都要運用幾種不同的方法才能解決。所謂綜合法，就是綜合各種方法（包括前述各種方法以外的方法）去解決某些問題。

    面試例題1：100美元哪里去了？

    3個朋友住進了一家賓館。結賬時，賬單總計3 000美元。3個朋友每人分攤1 000美元，并把這3 000美元如數交給了服務員，委托他代到總臺交賬。但在交賬時，正逢賓館實施價格優惠，總臺退還給服務員500美元，實收2 500美元。服務員從這500美元退款中扣下了200美元，只退還3個客人300美元。3個客人平分了這300美元，每人取回了100美元。這樣，3個客人每人實際支付900美元，共支付2 700美元，加上服務員扣的200美元，共計2 900美元，那么這100美元的差額到哪里去了？

    答案：這道題純粹是文字游戲，但是如果你的頭腦不夠清晰，很可能把你搞糊涂了。客人實際支付2 700美元，就等于總臺實際結收的2 500美元加上服務員克扣的200美元。在這2 700美元上加上200美元是毫無道理的，而在這2 700美元上加退回的300美元，這是有道理的，因為這等于客人原先交給服務員的3 000美元。

    面試例題2：擊鼠標比賽現在開始！參賽者有拉爾夫、威利和保羅。

    拉爾夫10秒鐘能擊10下鼠標，威利20秒鐘能擊20下鼠標，保羅5秒鐘能擊5下鼠標。以上各人所用的時間是這樣計算的：從第一擊開始，到最后一擊結束。

    他們是否打平手？如果不是，誰最先擊完40下鼠標？

    解析：n秒鐘擊n下鼠標其實是擊第一下鼠標時才開始計時的，實際上擊n-1下需要n秒鐘，那么若擊40下鼠標，拉爾夫需要(40-1)/(9/10)=39/0.9秒，威利需要(40-1)/(19/20)=39/0.95秒，保羅需要(40-1)/(4/5)=39/0.8秒，因此威利先擊完。

    答案：威利先擊完。

    面試例題3：父親打電話給女兒，要她替自己買一些生活用品，同時告訴她，錢放在書桌上的一個信封里。女兒找到信封，看見上面寫著98，以為信封內有98元，就把錢拿出來，數也沒數放進書包里。在商店里，她買了90元的東西，付款時才發現，她不僅沒有剩下8元，反而差了4元。回到家里，她把這事告訴了父親，懷疑父親把錢點錯了。父親笑著說，他并沒有數錯，錯在女兒身上。

    問：女兒錯在什么地方？

    答案：拿倒了，86看成是98了。

    面試例題4：3個孩子翻衣兜，他們把兜里所有的錢都掏出來，看看一共有多少錢。結果一共有320日元。其中有兩枚硬幣是100日元的，兩枚是50日元的，兩枚是10日元的。每一個孩子所帶的硬幣中沒有相同的。而且，沒帶100日元硬幣的孩子也沒帶10日元的硬幣，沒帶50日元硬幣的孩子也沒帶100日元的硬幣。你能弄清楚這3個日本孩子原來各自帶了什么硬幣嗎？

    答案：第一個小孩：100，50，10；第二個小孩：100，50；第三個小孩：10。

    面試例題5：有一種小蟲，每隔2秒鐘分裂一次。分裂后的2只新的小蟲經過2秒鐘后又會分裂。如果最初某瓶中只有一只小蟲，那么2秒后變2只，再過2秒后就變4只……2分鐘后，正好滿滿一瓶小蟲。假設這個瓶內最初放入2只這樣的小蟲。

    問：經過多少時間后，正巧也是滿滿的一瓶？

    答案：經過1分58秒時間，也正巧是滿滿一瓶。因為從一只蟲蛻變為2只蟲只需2秒鐘。在瓶內只有一只蟲子的情況下，經過2秒鐘后就變成2只。這時的情況和瓶內一開始就有2只蟲子的情況是一樣的。出現這兩種情況的時間差是2秒鐘。所以，經過1分58秒后，也正好是滿滿一瓶。

    面試例題6：斯芬克斯是古代希臘神話中的帶翅膀的獅子女魔。傳說她在底比斯附近要人猜謎，猜不出來就要殺人。一次，她要底比斯王子猜謎：“有一種動物，早上4條腿，中午2條腿，晚上3條腿，是什么動物？”聰明的王子說：“是人。”他猜中了。

    如果你是現代的斯芬克斯，會提出什么樣的問題呢？比如，1和0之間加上什么符號才可以使得到的數比0大又比1小呢？你知道嗎？

    答案：0.1

    面試例題7：你讓工人為你工作７天，給工人的回報是一根金條。金條平分成相連的７段，你必須在每天結束時給他們一段金條，如果只許你兩次把金條弄斷，你如何給你的工人付費？你讓工人為你工作７天，給工人的回報是一根金條。金條平分成相連的７段，你必須在每天結束時給他們一段金條，如果只許你兩次把金條弄斷，你如何給你的工人付費？

    答案：兩次弄斷就應分成三份，我把金條分成１／７、２／７和４／７三份。這樣，第１天我就可以給他１／７；第２天我給他２／７，讓他找回我１／７；第３天我就再給他１／７，加上原先的２／７就是３／７；第４天我給他那塊４／７，讓他找回那兩塊１／７和２／７的金條；第５天，再給他１／７；第６天和第２天一樣；第７天給他找回的那個１／７。

     面試題8：對一批編號為1-100全部開關朝上（開）的燈進行以下操作：凡是1的倍數反方向撥一次開關；2的倍數反方向又撥一次開關；3的倍數反方向又撥一次開關。。。。。問：最后為關熄狀態的燈的編號。    
   
  答案：  
  1，4，9，16，25，36，47，64，81，100關 

     面試題9：  
  小明和小強都是王老師的學生。王老師的生日是m月n日，2人都指導王老師的生日是下列10組中的一天，王老師把m值告訴了小明，把n值告訴了小強。王老師文他們知道他的生日是那一天嗎？  
  3月4   日，3月5   日，3月9   日  
  6月   4日，6月   7日  
  9月   1日，9月   5日  
  12月   1日，12月   2日，12月   8日  
  小明說：我不知道的話，小強肯定也不知道  
  小強說：笨來我不知道，但是現在我知道了  
  小明說：哦，那我也知道了  
  情根據上面的對話推斷出王老師的生日是哪一天？
  
   答案：9月1號準沒錯  
  首先小明是不知道的,所以不可能在某月的   2號,7號,8號,9號.去掉一些日子后;簡化如下  
  3月4   日，3月5   日，  
  6月   4日，  
  9月   1日，9月   5日  
  12月   1日，  
  小強說他不知道,小明也不會知道.即小強知道的月數不會在有   2號,7號,8號,9號   的這些月數,因為如果在這些月數,小明是有可能知道的.最后只剩下   9月1日   和   9月5日.  
  這時候小明也清楚M是9月了,小強也因此知道N是1號.   


     神的交通工具是什么------神奇(騎)寶貝
　　什么動物可以貼在墻上------海豹（報）
　　什么顏色最會模仿------紅（磨坊）模仿
　　什么雞最慢------尼可基（雞）曼
　　辣妹什么地方最香------臘梅處處香
　　哪位古人跑得最快------曹操（說曹操曹操就到）
　　什么動物沒有方向感------麋鹿（迷路）
　　茉莉花、太陽花、玫瑰花，哪一朵花最沒力------茉莉花[好一朵美麗（沒力）的茉莉花]
　　猴子最付厭什么錢------平行線[沒有相交（香蕉）]
　　象皮、老虎皮、獅子つ囊桓霰冉喜?-----象皮擦（象皮差）
　　木魚掉進海里會變成什么------虱目魚(濕木魚)
　　哪一位藝人講的笑話最冷------蔡依琳(衣淋濕就冷)
　　狼、老虎和獅子誰玩游戲一定會被淘汰------狼，桃太郎（淘汰狼）
　　孔子有三位徒弟子貢、子路和子游，請問哪一位不是人------子路（指鹿為馬）
　　布跟紙怕什么------不怕一萬只怕萬一 (布怕一萬紙怕萬一)
　　麒麟飛到北極會變成什么------冰淇淋（冰麒麟）
　　哪個歷史人物游泳必定沉下去------阿斗，扶（浮）不起的阿斗
　　星星、月亮、太陽哪一個是啞巴------星星，歌中有「天上的星星不說話 」
　　鉛筆姓什么------蕭，削（蕭）鉛筆
　　糖果是公的還是母的------母的，因為它會生螞蟻
　　請問哪一種花沒有孩子------五月花, 五月花衛生紙（未生子）
　　左和右，誰喜歡獨奏，誰又比較好------左solo, 右so good (左手鑼，右手鼓)
　　為什么蠶寶寶很有錢------蠶會結繭(節儉)
　　周瑜與諸葛亮的母親分別姓什么------[既]生瑜，[何]生亮
　　和誰交往最辛苦------莉莉，粒粒（莉莉）皆辛苦
　　蝴蝶、螞蟻、蜘蛛、蜈蚣，哪一個沒有領到酬勞------蜈蚣，無功（蜈蚣）不受祿
　　哪位歷史人物最欠扁------蘇武，蘇武牧羊北海邊（被海扁）
　　123456789哪個數字最勤勞，哪個數字最懶惰------1最勤勞2最懶惰（一不做二不休）
　　誰家沒有電話------天衣（天衣無縫 phone）
　　怎樣使麻雀安靜下來------壓它一下（鴉雀無聲）
　　哪一家的路最窄------冤家（冤家路窄）
　　紅豆的小孩是誰------南國（紅豆生南國）
　　有位媽媽生了連體嬰，姐姐叫瑪麗，那么妹妹叫什么------夢露，瑪麗蓮（連）夢露

posted @ 2008-01-05 15:05 鴻雁 閱讀(1690) | 評論 (0) | 編輯 收藏

常用正則表達式

正則表達式用于字符串處理、表單驗證等場合，實用高效。現將一些常用的表達式收集于此，以備不時之需。

匹配中文字符的正則表達式： [\u4e00-\u9fa5]
評注：匹配中文還真是個頭疼的事，有了這個表達式就好辦了

匹配雙字節字符(包括漢字在內)：[^\x00-\xff]
評注：可以用來計算字符串的長度（一個雙字節字符長度計2，ASCII字符計1）

匹配空白行的正則表達式：\n\s*\r
評注：可以用來刪除空白行

匹配HTML標記的正則表達式：<(\S*?)[^>]*>.*?</\1>|<.*? />
評注：網上流傳的版本太糟糕，上面這個也僅僅能匹配部分，對于復雜的嵌套標記依舊無能為力

匹配首尾空白字符的正則表達式：^\s*|\s*$
評注：可以用來刪除行首行尾的空白字符(包括空格、制表符、換頁符等等)，非常有用的表達式

匹配Email地址的正則表達式：\w+([-+.]\w+)*@\w+([-.]\w+)*\.\w+([-.]\w+)*
評注：表單驗證時很實用

匹配網址URL的正則表達式：[a-zA-z]+://[^\s]*
評注：網上流傳的版本功能很有限，上面這個基本可以滿足需求

匹配帳號是否合法(字母開頭，允許5-16字節，允許字母數字下劃線)：^[a-zA-Z][a-zA-Z0-9_]{4,15}$
評注：表單驗證時很實用

匹配國內電話號碼：\d{3}-\d{8}|\d{4}-\d{7}
評注：匹配形式如 0511-4405222 或 021-87888822

匹配騰訊QQ號：[1-9][0-9]{4,}
評注：騰訊QQ號從10000開始

匹配中國郵政編碼：[1-9]\d{5}(?!\d)
評注：中國郵政編碼為6位數字

匹配身份證：\d{15}|\d{18}
評注：中國的身份證為15位或18位

匹配ip地址：\d+\.\d+\.\d+\.\d+
評注：提取ip地址時有用

匹配特定數字：
^[1-9]\d*$　 　 //匹配正整數
^-[1-9]\d*$ 　 //匹配負整數
^-?[1-9]\d*$　　 //匹配整數
^[1-9]\d*|0$　 //匹配非負整數（正整數 + 0）
^-[1-9]\d*|0$　　 //匹配非正整數（負整數 + 0）
^[1-9]\d*\.\d*|0\.\d*[1-9]\d*$　　 //匹配正浮點數
^-([1-9]\d*\.\d*|0\.\d*[1-9]\d*)$　 //匹配負浮點數
^-?([1-9]\d*\.\d*|0\.\d*[1-9]\d*|0?\.0+|0)$　 //匹配浮點數
^[1-9]\d*\.\d*|0\.\d*[1-9]\d*|0?\.0+|0$　　 //匹配非負浮點數（正浮點數 + 0）
^(-([1-9]\d*\.\d*|0\.\d*[1-9]\d*))|0?\.0+|0$　　//匹配非正浮點數（負浮點數 + 0）
評注：處理大量數據時有用，具體應用時注意修正

匹配特定字符串：
^[A-Za-z]+$　　//匹配由26個英文字母組成的字符串
^[A-Z]+$　　//匹配由26個英文字母的大寫組成的字符串
^[a-z]+$　　//匹配由26個英文字母的小寫組成的字符串
^[A-Za-z0-9]+$　　//匹配由數字和26個英文字母組成的字符串
^\w+$　　//匹配由數字、26個英文字母或者下劃線組成的字符串
評注：最基本也是最常用的一些表達式

原載地址：http://lifesinger.3322.org/myblog/?p=185

posted @ 2007-12-24 00:02 鴻雁 閱讀(399) | 評論 (0) | 編輯 收藏

數據庫和數據倉庫的區別

數據庫是面向事務的設計，數據倉庫是面向主題設計的。數據庫一般存儲在線交易數據，數據倉庫存儲的一般是歷史數據。

數據庫設計是盡量避免冗余，一般采用符合范式的規則來設計，數據倉庫在設計是有意引入冗余，采用反范式的方式來設計。

數據庫是為捕獲數據而設計，數據倉庫是為分析數據而設計，它的兩個基本的元素是維表和事實表。（維是看問題的角度，比如時間，部門，維表放的就是這些東西的定義，事實表里放著要查詢的數據，同時有維的ID）

數據倉庫，是在數據庫已經大量存在的情況下，為了進一步挖掘數據資源、為了決策需要而產生的，它決不是所謂的“大型數據庫”。那么，數據倉庫與傳統數據庫比較，有哪些不同呢？讓我們先看看W.H.Inmon關于數據倉庫的定義：面向主題的、集成的、與時間相關且不可修改的數據集合。

“面向主題的”：傳統數據庫主要是為應用程序進行數據處理，未必按照同一主題存儲數據；數據倉庫側重于數據分析工作，是按照主題存儲的。這一點，類似于傳統農貿市場與超市的區別—市場里面，白菜、蘿卜、香菜會在一個攤位上，如果它們是一個小販賣的；而超市里，白菜、蘿卜、香菜則各自一塊。也就是說，市場里的菜（數據）是按照小販（應用程序）歸堆（存儲）的，超市里面則是按照菜的類型（同主題）歸堆的。

“與時間相關”：數據庫保存信息的時候，并不強調一定有時間信息。數據倉庫則不同，出于決策的需要，數據倉庫中的數據都要標明時間屬性。決策中，時間屬性很重要。同樣都是累計購買過九車產品的顧客，一位是最近三個月購買九車，一位是最近一年從未買過，這對于決策者意義是不同的。

“不可修改”：數據倉庫中的數據并不是最新的，而是來源于其它數據源。數據倉庫反映的是歷史信息，并不是很多數據庫處理的那種日常事務數據（有的數據庫例如電信計費數據庫甚至處理實時信息）。因此，數據倉庫中的數據是極少或根本不修改的；當然，向數據倉庫添加數據是允許的。

數據倉庫的出現，并不是要取代數據庫。目前，大部分數據倉庫還是用關系數據庫管理系統來管理的。可以說，數據庫、數據倉庫相輔相成、各有千秋

補充一下，數據倉庫的方案建設的目的，是為前端查詢和分析作為基礎，由于有較大的冗余，所以需要的存儲也較大。為了更好地為前端應用服務，數據倉庫必須有如下幾點優點，否則是失敗的數據倉庫方案。

1.效率足夠高。客戶要求的分析數據一般分為日、周、月、季、年等，可以看出，日為周期的數據要求的效率最高，要求24小時甚至12小時內，客戶能看到昨天的數據分析。由于有的企業每日的數據量很大，設計不好的數據倉庫經常會出問題，延遲1-3日才能給出數據，顯然不行的。

2.數據質量。客戶要看各種信息，肯定要準確的數據，但由于數據倉庫流程至少分為3步，2次ETL，復雜的架構會更多層次，那么由于數據源有臟數據或者代碼不嚴謹，都可以導致數據失真，客戶看到錯誤的信息就可能導致分析出錯誤的決策，造成損失，而不是效益。

3.擴展性。之所以有的大型數據倉庫系統架構設計復雜，是因為考慮到了未來3-5年的擴展性，這樣的話，客戶不用太快花錢去重建數據倉庫系統，就能很穩定運行。主要體現在數據建模的合理性，數據倉庫方案中多出一些中間層，使海量數據流有足夠的緩沖，不至于數據量大很多，就運行不起來了.

posted @ 2007-12-05 00:07 鴻雁 閱讀(201) | 評論 (0) | 編輯 收藏

數據抽取、清洗與轉換 BI項目中ETL設計

       ETL是將業務系統的數據經過抽取、清洗轉換之后加載到數據倉庫的過程，目的是將企業中的分散、零亂、標準不統一的數據整合到一起，為企業的決策提供分析的依據

　　ETL是BI項目最重要的一個環節，通常情況下ETL會花掉整個項目的1/3的時間，ETL設計的好壞直接關接到BI項目的成敗。ETL也是一個長期的過程，只有不斷的發現問題并解決問題，才能使ETL運行效率更高，為項目后期開發提供準確的數據。

　　ETL的設計分三部分：數據抽取、數據的清洗轉換、數據的加載。在設計ETL的時候也是從這三部分出發。數據的抽取是從各個不同的數據源抽取到ODS中(這個過程也可以做一些數據的清洗和轉換)，在抽取的過程中需要挑選不同的抽取方法，盡可能的提高ETL的運行效率。ETL三個部分中，花費時間最長的是T(清洗、轉換)的部分，一般情況下這部分工作量是整個ETL的2/3。數據的加載一般在數據清洗完了之后直接寫入DW中去。

　　ETL的實現有多種方法，常用的有三種，第一種是借助ETL工具如Oracle的OWB、SQL server 2000的DTS、SQL Server2005的SSIS服務、informatic等實現，第二種是SQL方式實現，第三種是ETL工具和SQL相結合。前兩種方法各有優缺點，借助工具可以快速的建立起ETL工程，屏蔽復雜的編碼任務，提高速度，降低難度，但是欠缺靈活性。SQL的方法優點是靈活，提高ETL運行效率，但是編碼復雜，對技術要求比較高。第三種是綜合了前面二種的優點，極大的提高ETL的開發速度和效率。

　　數據的抽取

　　數據的抽取需要在調研階段做大量工作，首先要搞清楚以下幾個問題：數據是從幾個業務系統中來?各個業務系統的數據庫服務器運行什么DBMS?是否存在手工數據，手工數據量有多大?是否存在非結構化的數據?等等類似問題，當收集完這些信息之后才可以進行數據抽取的設計。

　　1、與存放DW的數據庫系統相同的數據源處理方法

　　這一類數源在設計比較容易，一般情況下，DBMS(包括SQLServer，Oracle)都會提供數據庫鏈接功能，在DW數據庫服務器和原業務系統之間建立直接的鏈接關系就可以寫Select 語句直接訪問。

　　2、與DW數據庫系統不同的數據源的處理方法。

　　這一類數據源一般情況下也可以通過ODBC的方式建立數據庫鏈接，如SQL Server和Oracle之間。如果不能建立數據庫鏈接，可以有兩種方式完成，一種是通過工具將源數據導出成.txt或者是.xls文件，然后再將這些源系統文件導入到ODS中。另外一種方法通過程序接口來完成。

　　3、對于文件類型數據源(.txt,，xls)，可以培訓業務人員利用數據庫工具將這些數據導入到指定的數據庫，然后從指定的數據庫抽取。或者可以借助工具實現，如SQL SERVER 2005 的SSIS服務的平面數據源和平面目標等組件導入ODS中去。

　　4、增量更新問題

　　對于數據量大的系統，必須考慮增量抽取。一般情況，業務系統會記錄業務發生的時間，可以用作增量的標志，每次抽取之前首先判斷ODS中記錄最大的時間，然后根據這個時間去業務系統取大于這個時間的所有記錄。利用業務系統的時間戳，一般情況下，業務系統沒有或者部分有時間戳。

　　數據的清洗轉換

　　一般情況下，數據倉庫分為ODS、DW兩部分，通常的做法是從業務系統到ODS做清洗，將臟數據和不完整數據過濾掉，再從ODS到DW的過程中轉換，進行一些業務規則的計算和聚合。

　　數據清洗的任務是過濾那些不符合要求的數據，將過濾的結果交給業務主管部門，確認是否過濾掉還是由業務單位修正之后再進行抽取。不符合要求的數據主要是有不完整的數據、錯誤的數據和重復的數據三大類。

• 　　A、不完整的數據，其特征是是一些應該有的信息缺失，如供應商的名稱，分公司的名稱，客戶的區域信息缺失、業務系統中主表與明細表不能匹配等。需要將這一類數據過濾出來，按缺失的內容分別寫入不同Excel文件向客戶提交，要求在規定的時間內補全。補全后才寫入數據倉庫。
• 　　B、錯誤的數據，產生原因是業務系統不夠健全，在接收輸入后沒有進行判斷直接寫入后臺數據庫造成的，比如數值數據輸成全角數字字符、字符串數據后面有一個回車、日期格式不正確、日期越界等。這一類數據也要分類，對于類似于全角字符、數據前后有不面見字符的問題只能寫SQL的方式找出來，然后要求客戶在業務系統修正之后抽取;日期格式不正確的或者是日期越界的這一類錯誤會導致ETL運行失敗，這一類錯誤需要去業務系統數據庫用SQL的方式挑出來，交給業務主管部門要求限期修正，修正之后再抽取。
• 　　C、重復的數據，特別是維表中比較常見，將重復的數據的記錄所有字段導出來，讓客戶確認并整理。

　　數據清洗是一個反復的過程，不可能在幾天內完成，只有不斷的發現問題，解決問題。對于是否過濾、是否修正一般要求客戶確認;對于過濾掉的數據，寫入Excel文件或者將過濾數據寫入數據表，在ETL開發的初期可以每天向業務單位發送過濾數據的郵件，促使他們盡快的修正錯誤，同時也可以作為將來驗證數據的依據。數據清洗需要注意的是不要將有用的數據過濾掉了，對于每個過濾規則認真進行驗證，并要用戶確認才行。

　　2、數據轉換

　　數據轉換的任務主要是進行不一致的數據轉換、數據粒度的轉換和一些商務規則的計算。

• 　　A、不一致數據轉換，這個過程是一個整合的過程，將不同業務系統的相同類型的數據統一，比如同一個供應商在結算系統的編碼是XX0001，而在CRM中編碼是YY0001，這樣在抽取過來之后統一轉換成一個編碼。
• 　　B、數據粒度的轉換，業務系統一般存儲非常明細的數據，而數據倉庫中的數據是用來分析的，不需要非常明細的數據，一般情況下，會將業務系統數據按照數據倉庫粒度進行聚合。
• 　　C、商務規則的計算，不同的企業有不同的業務規則，不同的數據指標，這些指標有的時候不是簡單的加加減減就能完成，這個時候需要在ETL中將這些數據指標計算好了之后存儲在數據倉庫中，供分析使用。

　　ETL日志與警告發送

　　1、ETL日志，記錄日志的目的是隨時可以知道ETL運行情況，如果出錯了，出錯在那里。

　　ETL日志分為三類。第一類是執行過程日志，是在ETL執行過程中每執行一步的記錄，記錄每次運行每一步驟的起始時間，影響了多少行數據，流水賬形式。第二類是錯誤日志，當某個模塊出錯的時候需要寫錯誤日志，記錄每次出錯的時間，出錯的模塊以及出錯的信息等。第三類日志是總體日志，只記錄ETL開始時間，結束時間是否成功信息。

　　如果使用ETL工具，工具會自動產生一些日志，這一類日志也可以作為ETL日志的一部分。

　　2、警告發送

　　ETL出錯了，不僅要寫ETL出錯日志而且要向系統管理員發送警告，發送警告的方式有多種，常用的就是給系統管理員發送郵件，并附上出錯的信息，方便管理員排查錯誤。

posted @ 2007-06-21 21:36 鴻雁 閱讀(503) | 評論 (0) | 編輯 收藏