athrunwang

          紀元
          數據加載中……

          11 個重要的數據庫設計規則

          • 簡介

            在您開始閱讀這篇文章之前,我得明確地告訴您,我并不是一個數據庫設計領域的大師。以下列出的11點是我對自己在平時項目實踐和閱讀中學習到的經驗總結出來的個人見解。我個人認為它們對我的數據庫設計提供了很大的幫助。實屬一家之言,歡迎拍磚 : )

            我之所以寫下這篇這么完整的文章是因為,很多開發者一參與到數據庫設計,就會很自然地把 “三范式” 當作銀彈一樣來使用。他們往往認為遵循這個規范就是數據庫設計的唯一標準。由于這種心態,他們往往盡管一路碰壁也會堅持把項目做下去。

            如果你對 “三范式” 不清楚,請點擊這里(FQ)一步一步的了解什么是“三范式”。

            大家都說標準規范是重要的指導方針并且也這么做著,但是把它當作石頭上的一塊標記來記著(死記硬背)還是會帶來麻煩的。以下11點是我在數據庫設計時最優先考慮的規則。

          • 規則 1:弄清楚將要開發的應用程序是什么性質的(OLTP 還是 OPAP)?

            當你要開始設計一個數據庫的時候,你應該首先要分析出你為之設計的應用程序是什么類型的,它是 “事務處理型”(Transactional) 的還是 “分析型” (Analytical)的?你會發現許多開發人員采用標準化做法去設計數據庫,而不考慮目標程序是什么類型的,這樣做出來的程序很快就會陷入性能、客戶定制化的問題當中。正如前面所說的,這里有兩種應用程序類型, “基于事務處理” 和 “基于分析”,下面讓我們來了解一下這兩種類型究竟說的是什么意思。

            事務處理型:這種類型的應用程序,你的最終用戶更關注數據的增查改刪(CRUD,Creating/Reading/Updating/Deleting)。這種類型更加官方的叫法是 “OLTP” 。
            分析型:這種類型的應用程序,你的最終用戶更關注數據分析、報表、趨勢預測等等功能。這一類的數據庫的 “插入” 和 “更新” 操作相對來說是比較少的。它們主要的目的是更加快速地查詢、分析數據。這種類型更加官方的叫法是 “OLAP” 。

             

            那么換句話說,如果你認為插入、更新、刪除數據這些操作在你的程序中更為突出的話,那就設計一個規范化的表否則的話就去創建一個扁平的、不規范化的數據庫結構。 

            以下這個簡單的圖表顯示了像左邊Names和Address這樣的簡單規范化的表,怎么通過應用不規范化結構來創建一個扁平的表結構。 

             

          • 規則 2:將你的數據按照邏輯意義分成不同的塊,讓事情做起來更簡單

            這個規則其實就是 “三范式” 中的第一范式。違反這條規則的一個標志就是,你的查詢使用了很多字符串解析函數
            例如 substring、charindex等等。若真如此,那就需要應用這條規則了。

            比如你看到的下面圖片上有一個有學生名字的表,如果你想要查詢學生名字中包含“Koirala”,但不包含“Harisingh”的記錄,你可以想象一下你將會得到什么樣的結果。

            所以更好的做法是將這個字段拆分為更深層次的邏輯分塊,以便我們的表數據寫起來更干凈,以及優化查詢。


             

          • 規則 3:不要過度使用 “規則 2”

            開發者都是一群很可愛的生物。如果你告訴他們這是一條解決問題的正路,他們就會一直這么做下去,做到過了頭導致了一些不必要的后果。這也可以應用于我們剛剛在前面提到的規則2。當你考慮字段分解時,先暫停一下,并且問問你自己是否真的需要這么做。正如所說的,分解應該是要符合邏輯的。

            例如,你可以看到電話號碼這個字段,你很少會把電話號碼的ISD代碼單獨分開來操作(除非你的應用程序要求這么做)。所以一個很明智的決定就是讓它保持原樣,否則這會帶來更多的問題。

             

          • 規則 4:把重復、不統一的數據當成你最大的敵人來對待

            集中那些重復的數據然后重構它們。我個人更加擔心的是這些重復數據帶來的混亂而不是它們占用了多少磁盤空間。

            例如下面這個圖表,你可以看到 "5th Standard" 和 "Fifth standard" 是一樣的意思,它們是重復數據。現在你可能會說是由于那些錄入者錄入了這些重復的數據或者是差勁的驗證程序沒有攔住,讓這些重復的數據進入到了你的系統。現在,如果你想導出一份將原本在用戶眼里十分困惑的數據顯示為不同實體數據的報告,該怎么做呢?



            解決方法之一是將這些數據完整地移到另外一個主表,然后通過外鍵引用過來。在下面這個圖表中你可以看到我們是如何創建一個名為 “Standards”(課程級別) 的主表,然后同樣地使用簡單的外鍵連接過去。



          • 規則 5:當心被分隔符分割的數據,它們違反了“字段不可再分”

            前面的規則2即“第一范式”說的是避免 “重復組” 。下面這個圖表作為其中的一個例子解釋了 “重復組”是什么樣子的。如果你仔細的觀察 syllabus(課程) 這個字段,會發現在這一個字段里實在是填充了太多的數據了。像這些字段就被稱為 “重復組” 了。如果我們又得必須使用這些數據,那么這些查詢將會十分復雜并且我也懷疑這些查詢會有性能問題。


            這些被塞滿了分隔符的數據列需要特別注意,并且一個較好的辦法是將這些字段移到另外一個表中,使用外鍵連接過去,同樣地以便于更好的管理。



            那么,讓我們現在就應用規則2(第一范式) “避免重復組” 吧。你可以看到上面這個圖表,我創建了一個單獨的 syllabus(課程) 表,然后使用 “多對多” 關系將它與 subject(科目) 表關聯起來。

            通過這個方法,主表(student表)的 syllabus(課程) 字段就不再有重復數據和分隔符了。

          • 規則 6:當心那些僅僅部分依賴主鍵的列



            留心注意那些僅僅部分依賴主鍵的列。例如上面這個圖表,我們可以看到這個表的主鍵是 Roll No.+Standard
            。現在請仔細觀察 syllabus 字段,可以看到 syllabus(課程) 字段僅僅關聯(依賴) Standard(課程級別) 字段而不是直接地關聯(依賴)某個學生(Roll No. 字段)。

            Syllabus(課程) 字段關聯的是學生正在學習的哪個課程級別(Standard字段)而不是直接關聯到學生本身。那如果明天我們要更新教學大綱(課程)的話還要痛苦地為每個同學也修改一下,這明顯是不符合邏輯的(不正常的做法)。更有意義的做法是將這些字段從這個表移到另外一個表,然后將它們與 Standard(課程級別)表關聯起來。

            你可以看到我們是如何移動 syllabus(課程)字段并且同樣地附上 Standard 表。

            這條規則只不過是 “三范式” 里的 “第二范式”:“所有字段都必須完整地依賴主鍵而不是部分依賴”。

          • 規則 7:仔細地選擇派生列



            如果你正在開發一個 OLTP 型的應用程序,那強制不去使用派生字段會是一個很好的思路,除非有迫切的性能要求,比如經常需要求和、計算的 OLAP 程序,為了性能,這些派生字段就有必要存在了。

            通過上面的這個圖表,你可以看到 Average 字段是如何依賴 Marks 和 Subjects 字段的。這也是冗余的一種形式。因此對于這樣的由其他字段得到的字段,需要思考一下它們是否真的有必要存在。

            這個規則也被稱為 “三范式” 里的第三條:“不應該有依賴于非主鍵的列” 。 我的個人看法是不要盲目地運用這條規則,應該要看實際情況,冗余數據并不總是壞的。如果冗余數據是計算出來的,看看實際情況再來決定是否應用這第三范式。

          • 規則 8:如果性能是關鍵,不要固執地去避免冗余


            不要把 “避免冗余” 當作是一條絕對的規則去遵循。如果對性能有迫切的需求,考慮一下打破常規。常規情況下你需要做多個表的連接操作,而在非常規的情況下這樣的多表連接是會大大地降低性能的。

          • 規則 9:多維數據是各種不同數據的聚合

            OLAP 
            項目主要是解決多維數據問題。比如你可以看看下面這個圖表,你會想拿到每個國家、每個顧客、每段時期的銷售額情況。簡單的說你正在看的銷售額數據包含了三個維度的交叉。



            為這種情況做一個實際的設計是一個更好的辦法。簡單的說,你可以創建一個簡單的主要銷售表,它包含了銷售額字段,通過外鍵將其他所有不同維度的表連接起來。

             

             

          • 規則 10:將那些具有“名值表”特點的表統一起來設計

            很多次我都遇到過這種 “名值表” 。 “名值表” 意味著它有一些鍵,這些鍵被其他數據關聯著。比如下面這個圖表,你可以看到我們有 Currency(貨幣型)和 Country(國家)這兩張表。如果你仔細觀察你會發現實際上這些表都只有鍵和值。


            對于這種表,創建一個主要的表,通過一個 Type(類型)字段來區分不同的數據將會更有意義。

          • 規則 11:無限分級結構的數據,引用自己的主鍵作為外鍵

            我們會經常碰到一些無限父子分級結構的數據(樹形結構?)。例如考慮一個多級銷售方案的情況,一個銷售人員之下可以有多個銷售人員。注意到都是 “銷售人員” 。也就是說數據本身都是一種。但是層級不同。這時候我們可以引用自己的主鍵作為外鍵來表達這種層級關系,從而達成目的。


            這篇文章的用意不是叫大家不要遵循范式,而是叫大家不要盲目地遵循范式。根據你的項目性質和需要處理的數據類型來做出正確的選擇。

             

          英文原文,OSChina原創翻譯。

          posted @ 2012-04-18 21:57 AthrunWang 閱讀(210) | 評論 (0)編輯 收藏
          Oracle常用SQL命令

          --創建用戶
          CREATE USER "APITEST"  PROFILE "DEFAULT"
              IDENTIFIED BY "apitest" DEFAULT TABLESPACE "LOUSHANG"
              TEMPORARY TABLESPACE "TEMP"
              ACCOUNT UNLOCK;

          --為用戶指定表空間
          GRANT UNLIMITED TABLESPACE TO "APITEST";

          --為用戶授權
          GRANT "CONNECT" TO "APITEST";
          GRANT "DBA" TO "APITEST";
          GRANT "RESOURCE" TO "APITEST";

          --將鎖定用戶解鎖
          alter user <用戶名> account unlock;

          --修改用戶密碼
          alter user <用戶名> identified by <新密碼>;

          --刪除用戶
          drop user  apitest; ----僅僅是刪除用戶,
          drop user apitest cascade ;----會刪除此用戶名下的所有表和視圖。

          ---查看當前用戶信息
          select * from user_users;

          ---查詢當前數據庫實例中有哪些用戶
          select * from dba_users order by username;

          ---查看當前用戶擁有的角色
          select * from user_role_privs;

          ---查看當前用戶所擁有的表
          select * from user_tables;

          ---查看當前用戶所擁有表的列
          select * from USER_TAB_COLUMNS ;

          ---顯示特權用戶(一般包括sys、system)
          select * from v$pwfile_users;

          ---查詢當前用戶所擁有的所有對象(表、視圖、索引、存儲函數和過程等)
          select * from user_objects

          ----查看序列號
          select * from user_sequences;

          ---查看當前用戶所有的視圖
          select * from  user_views;

          --查看當前連接信息
          select SID,SERIAL#,USERNAME,MACHINE,LOGON_TIME from v$session where username='APITEST';

          --斷開指定連接
          alter system kill session '530,49177';

           

          posted @ 2012-03-27 11:13 AthrunWang 閱讀(217) | 評論 (0)編輯 收藏
          分頁欄

          DAO層的代碼分頁代碼:
          public PageModel findByPageModel(String hql,PageModel pm) {
            pm.setTotalCount(this.getHibernateTemplate().find(hql).size());
            pm.setGoToHref(ServletActionContext.getRequest().getServletPath().replace("/",""));
            int totalCount = pm.getTotalCount();
            int pageSize = pm.getPageSize();
            int totalPage = (totalCount+pageSize-1)/pageSize ;
            int currentPage = pm.getCurrentPage() ;
            pm.setTotalPage(totalPage);
            int offset = (currentPage-1)*pageSize;
            pm.setList(this.getSession().createQuery(hql).setFirstResult(offset).setMaxResults(pageSize).list());
            return pm;
           }


          分頁的JAVABEAN:
          public class PageModel {
           private int currentPage;
           private int pageSize;
           private int totalCount;
           private int totalPage;
           private List list ;
           private String goToHref;
           
           public int getCurrentPage() {
            if(currentPage<=0) currentPage=1;
            return currentPage;
           }
           public void setCurrentPage(int currentPage) {
            this.currentPage = currentPage;
           }
           public int getPageSize() {
            if(pageSize<=0) pageSize=10;
            return pageSize;
           }
           public void setPageSize(int pageSize) {
            this.pageSize = pageSize;
           }
           public int getTotalCount() {
            return totalCount;
           }
           public void setTotalCount(int totalCount) {
            this.totalCount = totalCount;
           }
           public int getTotalPage() {
            return totalPage;
           }
           public void setTotalPage(int totalPage) {
            this.totalPage = totalPage;
           }
           public List getList() {
            return list;
           }
           public void setList(List list) {
            this.list = list;
           }
           public String getGoToHref() {
            return goToHref;
           }
           public void setGoToHref(String goToHref) {
            this.goToHref = goToHref;
           }
          }


          JSP頁面:
          <%@ page language="java" import="java.util.*" pageEncoding="UTF-8"%>
          <%
          String path = request.getContextPath();
          String basePath = request.getScheme()+"://"+request.getServerName()+":"+request.getServerPort()+path+"/";
          %>

          <link rel="stylesheet" type="text/css" href="<%=basePath %>findByHql/pagingBar/css/pagingBar.css">

           <input type="button" class="firstPage commonPage"  alt="首頁"   title="首頁"/>
           <input type="button" class="beforePage commonPage" alt="上一頁" title="上一頁"/>
           <input type="button" class="nextPage commonPage"   alt="下一頁" title="下一頁"/>
           <input type="button" class="lastPage commonPage"   alt="尾頁"   title="尾頁" />
           
           <input type="hidden" id="currentPage" value="${requestScope.pm.currentPage }" />
           <input type="hidden" id="totalPage" value="${requestScope.pm.totalPage }" />
           <input type="hidden" id="goToHref" value="${requestScope.pm.goToHref }" />
           
           <span class="cp">當前第${requestScope.pm.currentPage }頁</span>
           <span class="tc"> 相關資訊:${requestScope.pm.totalCount }條</span>
           <span class="ps">每頁${requestScope.pm.pageSize }條 </span>
           <span class="tp">共${requestScope.pm.totalPage}頁</span>

          <script type="text/javascript" src="<%=basePath%>js/jquery.js"></script>
          <script type="text/javascript">
           (function($) {
            var currentPage = parseInt($('#currentPage').val());
            var totalPage = parseInt($('#totalPage').val());
            var toHref = $('#goToHref').val();
            $('.firstPage').bind('click', function() {
             goToHref(1);
            });
            $('.nextPage').bind('click', function() {
             if (currentPage >= totalPage)
              goToHref(totalPage);
             else
              goToHref(currentPage + 1);
            });
            $('.beforePage').bind('click', function() {
             if (currentPage <= 1)
              goToHref(1);
             else
              goToHref(currentPage - 1);
            });
            $('.lastPage').bind('click', function() {
             goToHref(totalPage);
            });
            function goToHref(cp) {
             document.location.href = toHref+"?currentPage=" + cp;
            }
           })(jQuery)
          </script>


          CSS:下面有幾張圖片需要自己找...
          /*點擊欄*/
          .commonPage{
           width: 16px;
           height: 16px;
           border: none;
           cursor: pointer;
          }
          .firstPage{
           background: url("../images/page-first.png") no-repeat;
          }

          .nextPage{
           background: url("../images/page-next.png") no-repeat;
          }

          .beforePage{
           background: url("../images/page-prev.png") no-repeat;
          }

          .lastPage{
           background: url("../images/page-last.png") no-repeat;
          }

          /*顯示欄*/
          .cp,.tc,.ps,.tp{
           font-size: 14px;
          }

          在action中調用DAO層的方法,給currentPage和pageSize設置初始值,然后就返回一個list到你分頁的頁面迭代,以后就直接嵌套在分頁頁面中就行

          posted @ 2012-03-27 10:19 AthrunWang 閱讀(334) | 評論 (0)編輯 收藏
          主題:Oracle面試問題-技術篇

          這也許是你一直期待的文章,在關注這部分技術問題的同時,請務必閱讀有關面試中有關個人的問題和解答。這里的回答并不是十分全面,這些問題可以通過多個角度來進行解釋,也許你不必在面試過程中給出完全詳盡的答案,只需要通過你的解答使面試考官了解你對ORACLE概念的熟悉程度。

          1.解釋冷備份和熱備份的不同點以及各自的優點

          解答:熱備份針對歸檔模式的數據庫,在數據庫仍舊處于工作狀態時進行備份。而冷備份指在數據庫關閉后,進行備份,適用于所有模式的數據庫。熱備份的優點在于當備份時,數據庫仍舊可以被使用并且可以將數據庫恢復到任意一個時間點。冷備份的優點在于它的備份和恢復操作相當簡單,并且由于冷備份的數據庫可以工作在非歸檔模式下,數據庫性能會比歸檔模式稍好。(因為不必將archive log寫入硬盤)

          2.你必須利用備份恢復數據庫,但是你沒有控制文件,該如何解決問題呢?

          解答:重建控制文件,用帶backup control file 子句的recover 命令恢復數據庫。

          3.如何轉換init.ora到spfile?

          解答:使用create spfile from pfile 命令.

          4.解釋data block , extent 和 segment的區別(這里建議用英文術語)

          解答:data block是數據庫中最小的邏輯存儲單元。當數據庫的對象需要更多的物理存儲空間時,連續的data block就組成了extent . 一個數據庫對象擁有的所有extents被稱為該對象的segment.

          5.給出兩個檢查表結構的方法

          解答:1.DESCRIBE命令

          2.DBMS_METADATA.GET_DDL 包

          6.怎樣查看數據庫引擎的報錯

          解答:alert log.

          7.比較truncate和delete 命令

          解答:兩者都可以用來刪除表中所有的記錄。區別在于:truncate是DDL操作,它移動HWK,不需要rollback segment .而Delete是DML操作, 需要rollback segment 且花費較長時間.

          8.使用索引的理由

          解答:快速訪問表中的data block

          9.給出在STAR SCHEMA中的兩種表及它們分別含有的數據

          解答:Fact tables 和dimension tables. fact table包含大量的主要的信息而dimension tables 存放對fact table 某些屬性描述的信息

          10.FACT Table上需要建立何種索引?

          解答:位圖索引 (bitmap index)

          11. 給出兩種相關約束?

          解答:主鍵和外鍵

          12. 如何在不影響子表的前提下,重建一個母表

          解答:子表的外鍵強制實效,重建母表,激活外鍵

          13. 解釋歸檔和非歸檔模式之間的不同和它們各自的優缺點

          解答:歸檔模式是指你可以備份所有的數據庫 transactions并恢復到任意一個時間點。非歸檔模式則相反,不能恢復到任意一個時間點。但是非歸檔模式可以帶來數據庫性能上的少許提高.

          14. 如何建立一個備份控制文件?

          解答:Alter database backup control file to trace.

          15. 給出數據庫正常啟動所經歷的幾種狀態 ?

          解答:STARTUP NOMOUNT – 數據庫實例啟動

          STARTUP MOUNT - 數據庫裝載

          STARTUP OPEN – 數據庫打開

          16. 哪個column可以用來區別V$視圖和GV$視圖?

          解答:INST_ID 指明集群環境中具體的 某個instance 。

          17. 如何生成explain plan?

          解答:運行utlxplan.sql. 建立plan 表

          針對特定SQL語句,使用 explain plan set statement_id = 'tst1' into plan_table

          運行utlxplp.sql 或 utlxpls.sql察看explain plan

          18. 如何增加buffer cache的命中率?

          解答:在數據庫較繁忙時,適用buffer cache advisory 工具,查詢v$db_cache_advice.如果有必要更改,可以使用 alter system set db_cache_size 命令

          19. ORA-01555的應對方法?

          解答:具體的出錯信息是snapshot too old within rollback seg , 通常可以通過增大rollback seg來解決問題。當然也需要察看一下具體造成錯誤的SQL文本

          20. 解釋$ORACLE_HOME和$ORACLE_BASE的區別?

          解答:ORACLE_BASE是oracle的根目錄,ORACLE_HOME是oracle產品的目錄。

          posted @ 2012-03-21 17:33 AthrunWang 閱讀(205) | 評論 (0)編輯 收藏
          技術債務(母雞的遭遇)

          技術債務, 是指匆忙的實現一個功能,卻對現有的程序庫造成了破壞(在實現的過程中污染了代碼庫的設計),這對于一些項目經理/客戶來說就像是天書奇談。也許他們是明 白的,只是不愿意承認罷了,我估計是這樣的。不管怎樣,我想起來一個小故事,當下次遇到這種情況,需要向他們解釋增加某些新功能的代價時,也可用講這個故 事給他們聽。

          一個農夫有3只母雞。每只母雞每天下一個蛋。農夫跟當地的一個食品店老板做生意。食品店老板每天從農夫那里買2給雞蛋放在店里出售。一切都很好,直到有一天,食品店老板出現在農夫家里:

          食品店老板: 哎呀,今天我需要一些雞肉。

          農夫: 雞肉?你和我的生意里可不包括這些。

          食品店老板: 我知道。但我真的需要一些雞肉。我計劃要做一個B2S(S是胃的縮寫)模式的PaaS(P是肉禽的縮寫)平臺。

          農夫: 什么?

          食品店老板: 非常重要的東西。你可以提供我一些雞肉嗎?

          農夫: 這樣呀,事情不是那么容易辦到 — 我要孵化雞蛋,等小雞長大了才能給你…少說也要一個月吧。

          食品店老板: 一個月?太久了…我以為你現在就能給我呢。

          農夫: 時間有自己的腳步,你必須耐心一點等。

          食品店老板: 可是,為什么你不能在現有的母雞中殺一個呢?這樣一來,我有了雞肉,你每天還能產兩個蛋。這就夠了,不是嗎?

          農夫: 可是,我不覺得這是一個好主意。這會把我推向一個沒有回旋余地的境況,萬一剩下的雞中有一只突然出了什么意外怎么辦。

          食品店老板: 放心啦,不會發生那樣的事的…我真的非常非常需要雞肉!殺一只雞吧!

          農夫: 那好吧,我想我可以…

          于是,農夫拿起一把刀,把他的一只母雞送入了天堂。食品店老板得到了他的雞肉,返回了食品店。

          一周后,食品店老板又一次來到了農夫家里:

          食品店老板: 你好,我來了!

          農夫: 你好,有什么事?

          食品店老板: 你聽我說 — 你的雞肉好極了。事實上,它是如此的鮮美,賣的如此的好,你必須要再給我一只雞。最遲明天早上。

          農夫: 這是不可能的事。如果我要再殺一只雞給你,我就沒法每天提供你兩個雞蛋了。

          食品店老板: 哦,別那么緊張!客戶需要雞肉,我已經答應客戶明天早上提供給他們了…

          農夫: 不行,絕對不能這么干。如果我這么做,我就履行不了我和你的協議了,你知道嗎?如果我這么做,我就沒法提供你足夠的雞蛋了。

          食品店老板: 可是我真的真的需要雞肉!明天早上之前!否則客戶會發飆的,地球將會塌陷,世界末日將會到來!給我一只雞吧,現在!

          農夫: 那好吧,如果你非要這么不顧后果的想要,那就拿去吧!但是,從現在開始,雞蛋我是沒法提供你了,明白?

          食品店老板: 當然,當然。但我相信是個很聰明的人,我猜你能找到方法解決這個問題。再見!

          食品店老板離開回到了店里。

          第二天:

          食品店老板: 嗨,雞蛋呢?

          農夫: 你什么意思?

          食品店老板: 雞蛋。你只給了我一個雞蛋。發生了什么事?

          農夫: 發生了什么事?我有3只雞,你拿走了兩只。現在就剩下一只。一只雞,一個雞蛋。我認為我解釋的已經很清楚了。

          食品店老板: 但是合同里并沒有這些!合同里說的很清楚 — 你每天提供我2給雞蛋!你現在讓我向客戶怎么交代?

          農夫: 哦,情況我很明白。我無能為力。

          食品店老板: 好吧,好吧,不談這事了。咱們聊點其它事情…要是能再能點雞肉就好了。你再給我一些吧?

          所以,千萬別學農夫 — 堅決拒絕為了當前利益而長久的破壞你的代碼庫的無理要求,如果你被強迫這樣做,拒絕承擔這樣的任務 — 也不要做食品店老板 — 不要做提出這樣不合理的要求,你要為自己的決定承擔后果。

          posted @ 2012-03-19 10:00 AthrunWang 閱讀(292) | 評論 (1)編輯 收藏
          apache shiro與spring的環境搭建

          [代碼] web.xml
          <context-param>
                  <param-name>contextConfigLocation</param-name>
                  <param-value>
                       <!--spring 的配置文件-->
                       classpath:/applicationContext-hibernate.xml
                  </param-value>
             </context-param>
           
             <!-- shiro -->
             <filter>
                  <filter-name>shiroFilter</filter-name>
                  <filter-class>org.springframework.web.filter.DelegatingFilterProxy</filter-class>
                  <init-param>
                       <param-name>targetFilterLifecycle</param-name>
                       <param-value>true</param-value>
                  </init-param>
             </filter>
           
             <filter-mapping>
                  <filter-name>shiroFilter</filter-name>
                  <url-pattern>/*</url-pattern>
             </filter-mapping>
           
             <!-- Listeners -->
             <listener>
                  <listener-class>org.springframework.web.context.ContextLoaderListener</listener-class>
             </listener>
          [代碼] applicationContext-hibernate.xml

          <?xml version="1.0" encoding="UTF-8"?>
          <beans xmlns="     xmlns:xsi="     xsi:schemaLocation="
                
          http://www.springframework.org/schema/beans
                 http://www.springframework.org/schema/beans/spring-beans-3.0.xsd
                 http://www.springframework.org/schema/tx
                 http://www.springframework.org/schema/tx/spring-tx-3.0.xsd
                 http://www.springframework.org/schema/aop
                

               <!-- SessionFactory, DataSource, etc. omitted -->

               <bean id="dataSource" class="org.apache.commons.dbcp.BasicDataSource"
                    destroy-method="close">
                    <property name="driverClassName" value="${jdbc.driverClassName}" />
                    <property name="url" value="${jdbc.url}" />
                    <property name="username" value="${jdbc.username}" />
                    <property name="password" value="${jdbc.password}" />
               </bean>

               <bean id="sessionFactory"
                    class="org.springframework.orm.hibernate3.annotation.AnnotationSessionFactoryBean">
                    <property name="dataSource" ref="dataSource" />
                    <property name="packagesToScan">
                         <list>
                              <value>org.projects.graduates.domain</value>
                         </list>
                    </property>
                    <property name="hibernateProperties">
                         <value>hibernate.dialect=${hibernate.dialect}</value>
                    </property>
               </bean>

               <bean id="txManager"
                    class="org.springframework.orm.hibernate3.HibernateTransactionManager">
                    <property name="sessionFactory" ref="sessionFactory" />
               </bean>

               <tx:advice id="txAdvice" transaction-manager="txManager">
                    <tx:attributes>
                         <tx:method name="get*" read-only="true" />
                         <tx:method name="find*" read-only="true" />
                         <tx:method name="*" propagation="REQUIRED" />
                    </tx:attributes>
               </tx:advice>

               <aop:config>
                    <aop:pointcut id="appOperation"
                         expression="execution(* org.projects.graduates.app.GradApplication.*(..))" />
                    <aop:advisor advice-ref="txAdvice" pointcut-ref="appOperation" />
               </aop:config>

               <!-- shiro -->
               <bean id="shiroFilter" class="org.apache.shiro.spring.web.ShiroFilterFactoryBean">
                    <property name="securityManager" ref="securityManager" />
                    <property name="loginUrl" value="/login.action" />
                    <property name="successUrl" value="/main.action" />
                    <property name="unauthorizedUrl" value="/login.action" />
                    <property name="filterChainDefinitions">
                         <value>
                              /index.action = anon
                              /login.action = anon
                              /main.action = authc, roles[admin]
                              /course/** = authc, roles[admin]
                         </value>
                    </property>
               </bean>

             
               <bean id="securityManager" class="org.apache.shiro.web.mgt.DefaultWebSecurityManager">
               <!--設置自定義realm-->
                    <property name="realm" ref="myRealm" />
               </bean>
             
               <bean id="lifecycleBeanPostProcessor" class="org.apache.shiro.spring.LifecycleBeanPostProcessor" />
             
               <!--myRealm 繼承自AuthorizingRealm-->
               <bean id="myRealm" class="org.projects.graduates.shiro.GradRealm" ></bean>

               <bean
                    class="org.springframework.beans.factory.config.MethodInvokingFactoryBean">
                    <property name="staticMethod"
                         value="org.apache.shiro.SecurityUtils.setSecurityManager" />
                    <property name="arguments" ref="securityManager" />
               </bean>

          </beans>

          [代碼] org.projects.graduates.shiro.GradRealm

          public class GradRealm extends AuthorizingRealm {

               private SecurityApplication securityApplication = new SecurityApplicationImpl();

               public GradRealm() {
                    super();
                    //設置認證token的實現類
                    setAuthenticationTokenClass(UsernamePasswordToken.class);
                    //設置加密算法
                    setCredentialsMatcher(new HashedCredentialsMatcher(Sha1Hash.ALGORITHM_NAME));
                  
               }
               //授權
               protected AuthorizationInfo doGetAuthorizationInfo(PrincipalCollection principalCollection) {
                    String loginName = (String) principalCollection.fromRealm(getName()).iterator().next();
                    User user = securityApplication.findby(loginName);
                    if (null == user) {
                         return null;
                    } else {
                         SimpleAuthorizationInfo result = new SimpleAuthorizationInfo();
                       
                         result.addRoles(UserRoles.findRoleNamesOf(user));
                         for (Role role : UserRoles.findRolesOf(user)) {
                              result.addStringPermissions(role.getPermissions());
                         }
                       
                         return result;

                    }
               }

               //認證
               protected AuthenticationInfo doGetAuthenticationInfo(AuthenticationToken token) throws AuthenticationException {
                    UsernamePasswordToken upToken = (UsernamePasswordToken) token;
                    User user = securityApplication.findby(upToken.getUsername());
                    if (user != null) {
                         return new SimpleAuthenticationInfo(user.getUsername(), user.getPassword(), getName());
                    }
                    return null;
               }
          }


          posted @ 2012-03-06 10:07 AthrunWang 閱讀(4985) | 評論 (0)編輯 收藏
          海量用戶積分排名算法探討

          問題

          某海量用戶網站,用戶擁有積分,積分可能會在使用過程中隨時更新。現在要為該網站設計一種算法,在每次用戶登錄時顯示其當前積分排名。用戶最大規模為2億;積分為非負整數,且小于100萬。

          PS: 據說這是迅雷的一道面試題,不過問題本身具有很強的真實性,所以本文打算按照真實場景來考慮,而不局限于面試題的理想環境。

          存儲結構

          首先,我們用一張用戶積分表user_score來保存用戶的積分信息:

          表結構:

          image

          示例數據:

          image 

          下面的算法會基于這個基本的表結構來進行。

          算法1:簡單SQL查詢

          首先,我們很容易想到用一條簡單的SQL語句查詢出積分大于該用戶積分的用戶數量:

          select 1 + count(t2.uid) as rank

          from user_score t1, user_score t2

          where t1.uid = @uid and t2.score > t1.score

          對于4號用戶我們可以得到下面的結果:

          image

          算法1總結

          優點:簡單,利用了SQL的功能,不需要復雜的查詢邏輯,也不引入額外的存儲結構,對小規模或性能要求不高的應用不失為一種良好的解決方案。

          缺點:需要對user_score表進行全表掃描,還需要考慮到查詢的同時若有積分更新會對表造成鎖定,在海量數據規模和高并發的應用中,性能是無法接受的。

          算法2:均勻分區設計

          在許多應用中緩存是解決性能問題的重要途徑,我們自然會想能不能把用戶排名用Memcached緩存下來呢?不過再一想發現緩存似乎幫不上什么忙,因為用戶排名是一個全局性的統計性指標,而并非用戶的私有屬性,其他用戶的積分變化可能會馬上影響到本用戶的排名。然而,真實的應用中積分的變化其實也是有一定規律的,通常一個用戶的積分不會突然暴增減,一般用戶總是要在低分區混跡很長一段時間才會慢慢升入高分區,也就是說用戶積分的分布總體說來是有區段的,我們進一步注意到高分區用戶積分的細微變化其實對低分段用戶的排名影響不大。于是,我們可以想到按積分區段進行統計的方法,引入一張分區積分表score_range:

          表結構:

          image

          數據示例:

          image

          表示[from_score, to_score)區間有count個用戶。若我們按每1000分劃分一個區間則有[0, 1000), [1000, 2000), …, [999000, 1000000)這1000個區間,以后對用戶積分的更新要相應地更新score_range表的區間值。在分區積分表的輔助下查詢積分為s的用戶的排名,可以首先確定其所屬區間,把高于s的積分區間的count值累加,然后再查詢出該用戶在本區間內的排名,二者相加即可獲得用戶的排名。

          乍一看,這個方法貌似通過區間聚合減少了查詢計算量,實則不然。最大的問題在于如何查詢用戶在本區間內的排名呢?如果是在算法1中的SQL中加上積分條件:

          select 1 + count(t2.uid) as rank

          from user_score t1, user_score t2

          where t1.uid = @uid and t2.score > t1.score and t2.score < @to_score

          在理想情況下,由于把t2.score的范圍限制在了1000以內,如果對score字段建立索引,我們期望本條SQL語句將通過索引大大減少掃描的user_score表的行數。不過真實情況并非如此,t2.score的范圍在1000以內并不意味著該區間內的用戶數也是1000,因為這里有積分相同的情況存在!二八定律告訴我們,前20%的低分區往往集中了80%的用戶,這就是說對于大量低分區用戶進行區間內排名查詢的性能遠不及對少數的高分區用戶,所以在一般情況下這種分區方法不會帶來實質性的性能提升。

          算法2總結

          優點:注意到了積分區間的存在,并通過預先聚合消除查詢的全表掃描

          缺點:積分非均勻分布的特點使得性能提升并不理想

          算法3:樹形分區設計

          均勻分區查詢算法的失敗是由于積分分布的非均勻性,那么我們自然就會想,能不能按二八定律,把score_range表設計為非均勻區間呢?比如,把低分區劃密集一點,10分一個區間,然后逐漸變成100分,1000分,10000分 … 當然,這不失為一種方法,不過這種分法有一定的隨意性,不容易把握好,而且整個系統的積分分布會隨著使用而逐漸發生變化,最初的較好的分區方法可能會變得不適應未來的情況了。我們希望找到一種分區方法,既可以適應積分非均勻性,又可以適應系統積分分布的變化,這就是樹形分區。

          我們可以把[0, 1,000,000)作為一級區間;再把一級區間分為兩個2級區間[0, 500,000), [500,000, 1,000,000),然后把二級區間二分為4個3級區間[0, 250,000), [250,000, 500,000), [500,000, 750,000), [750,000, 1,000,000),依此類推,最終我們會得到1,000,000個21級區間[0,1), [1,2) … [999,999, 1,000,000)。這實際上是把區間組織成了一種平衡二叉樹結構,根結點代表一級區間,每個非葉子結點有兩個子結點,左子結點代表低分區間,右子結點代表高分區間。樹形分區結構需要在更新時保持一種不變量(Invariant):非葉子結點的count值總是等于其左右子結點的count值之和。

          image

          以后,每次用戶積分有變化所需要更新的區間數量和積分變化量有關系,積分變化越小更新的區間層次越低。總體上,每次所需要更新的區間數量是用戶積分變量的log(n)級別的,也就是說如果用戶積分一次變化在百萬級,更新區間的數量在二十這個級別。在這種樹形分區積分表的輔助下查詢積分為s的用戶排名,實際上是一個在區間樹上由上至下、由粗到細一步步明確s所在位置的過程。比如,對于積分499,000,我們用一個初值為0的排名變量來做累加;首先,它屬于1級區間的左子樹[0, 500,000),那么該用戶排名應該在右子樹[500,000, 1,000,000)的用戶數count之后,我們把該count值累加到該用戶排名變量,進入下一級區間;其次,它屬于3級區間的[250,000, 500,000),這是2級區間的右子樹,所以不用累加count到排名變量,直接進入下一級區間;再次,它屬于4級區間的…;直到最后我們把用戶積分精確定位在21級區間[499,000, 499,001),整個累加過程完成,得出排名!

          雖然,本算法的更新和查詢都涉及到若干個操作,但如果我們為區間的from_score和to_score建立索引,這些操作都是基于鍵的查詢和更新,不會產生表掃描,因此效率更高。另外,本算法并不依賴于關系數據模型和SQL運算,可以輕易地改造為NoSQL等其他存儲方式,而基于鍵的操作也很容易引入緩存機制進一步優化性能。

          算法3總結

          優點:結構穩定,不受積分分布影響;每次查詢或更新的復雜度為積分最大值的log(n)級別,且與用戶規模無關,可以應對海量規模;不依賴于SQL,容易改造為NoSQL等其他存儲方式

          缺點:算法相對更復雜

          總結

          上面介紹了用戶積分排名的3種算法,算法1簡單易于理解和實現,適用于小規模和低并發應用;算法3引入了更復雜的樹形分區結構,但是性能優越,可以應用于海量規模和高并發。本問題是一個開放性的問題,相信一定還有其他優秀的算法和解決方案,歡迎探討!

          posted @ 2012-03-02 17:27 AthrunWang 閱讀(251) | 評論 (0)編輯 收藏
          StringUtils詳細介紹

          public static void TestStr(){
              //null 和 ""操作~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~
              //判斷是否Null 或者 ""
              //System.out.println(StringUtils.isEmpty(null));
              //System.out.println(StringUtils.isNotEmpty(null));
              //判斷是否null 或者 "" 去空格~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~
              //System.out.println(StringUtils.isBlank("  "));
              //System.out.println(StringUtils.isNotBlank(null));
              //去空格.Null返回null~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~
              //System.out.println(StringUtils.trim(null));
              //去空格,將Null和"" 轉換為Null
              //System.out.println(StringUtils.trimToNull(""));
              //去空格,將NULL 和 "" 轉換為""
              //System.out.println(StringUtils.trimToEmpty(null));
              //可能是對特殊空格符號去除??
              //System.out.println(StringUtils.strip("大家好  啊  \t"));
              //同上,將""和null轉換為Null
              //System.out.println(StringUtils.stripToNull(" \t"));
              //同上,將""和null轉換為""
              //System.out.println(StringUtils.stripToEmpty(null));
              //將""或者Null 轉換為 ""
              //System.out.println(StringUtils.defaultString(null));
              //僅當字符串為Null時 轉換為指定的字符串(二參數)
              //System.out.println(StringUtils.defaultString("", "df"));
              //當字符串為null或者""時,轉換為指定的字符串(二參數)
              //System.out.println(StringUtils.defaultIfEmpty(null, "sos"));
              //去空格.去字符~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~
              //如果第二個參數為null去空格(否則去掉字符串2邊一樣的字符,到不一樣為止)
              //System.out.println(StringUtils.strip("fsfsdf", "f"));
              //如果第二個參數為null只去前面空格(否則去掉字符串前面一樣的字符,到不一樣為止)
              //System.out.println(StringUtils.stripStart("ddsuuu ", "d"));
              //如果第二個參數為null只去后面空格,(否則去掉字符串后面一樣的字符,到不一樣為止)
              //System.out.println(StringUtils.stripEnd("dabads", "das"));
              //對數組沒個字符串進行去空格。
              //ArrayToList(StringUtils.stripAll(new String[]{" 中華 ", "民 國 ", "共和 "}));
              //如果第二個參數為null.對數組每個字符串進行去空格。(否則去掉數組每個元素開始和結尾一樣的字符)
              //ArrayToList(StringUtils.stripAll(new String[]{" 中華 ", "民 國", "國共和國"}, "國"));
              //查找,判斷~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~
              //判斷2個字符串是否相等相等,Null也相等
              //System.out.println(StringUtils.equals(null, null));
              //不區分大小寫比較
              //System.out.println(StringUtils.equalsIgnoreCase("abc", "ABc"));
              //查找,不知道怎么弄這么多查找,很多不知道區別在哪?費勁~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~
              //普通查找字符,如果一參數為null或者""返回-1
              //System.out.println(StringUtils.indexOf(null, "a"));
              //從指定位置(三參數)開始查找,本例從第2個字符開始查找k字符
              //System.out.println(StringUtils.indexOf("akfekcd中華", "k", 2));
              //未發現不同之處
              //System.out.println(StringUtils.ordinalIndexOf("akfekcd中華", "k", 2));
              //查找,不區分大小寫
              //System.out.println(StringUtils.indexOfIgnoreCase("adfs", "D"));
              //從指定位置(三參數)開始查找,不區分大小寫
              //System.out.println(StringUtils.indexOfIgnoreCase("adfs", "a", 3));
              //從后往前查找
              //System.out.println(StringUtils.lastIndexOf("adfas", "a"));
              //未理解,此結果為2
              //System.out.println(StringUtils.lastIndexOf("d餓abasdafs我", "a", 3));
              //未解,此結果為-1
              //System.out.println(StringUtils.lastOrdinalIndexOf("yksdfdht", "f", 2));
              //從后往前查,不區分大小寫
              //System.out.println(StringUtils.lastIndexOfIgnoreCase("sdffet", "E"));
              //未解,此結果為1
              //System.out.println(StringUtils.lastIndexOfIgnoreCase("efefrfs看", "F" , 2));
              //檢查是否查到,返回boolean,null返回假
              //System.out.println(StringUtils.contains("sdf", "dg"));
              //檢查是否查到,返回boolean,null返回假,不區分大小寫
              //System.out.println(StringUtils.containsIgnoreCase("sdf", "D"));
              //檢查是否有含有空格,返回boolean
              //System.out.println(StringUtils.containsWhitespace(" d"));
              //查詢字符串跟數組任一元素相同的第一次相同的位置
              //System.out.println(StringUtils.indexOfAny("absfekf", new String[]{"f", "b"}));
              //查詢字符串中指定字符串(參數二)出現的次數
              //System.out.println(StringUtils.indexOfAny("afefes", "e"));
              //查找字符串中是否有字符數組中相同的字符,返回boolean
              //System.out.println(StringUtils.containsAny("asfsd", new char[]{'k', 'e', 's'}));
              //未理解與lastIndexOf不同之處。是否查到,返回boolean
              //System.out.println(StringUtils.containsAny("啡f咖啡", "咖"));
              //未解
              //System.out.println(StringUtils.indexOfAnyBut("seefaff", "af"));
              //判斷字符串中所有字符,都是出自參數二中。
              //System.out.println(StringUtils.containsOnly("中華華", "華"));
              //判斷字符串中所有字符,都是出自參數二的數組中。
              //System.out.println(StringUtils.containsOnly("中華中", new char[]{'中', '華'}));
              //判斷字符串中所有字符,都不在參數二中。
              //System.out.println(StringUtils.containsNone("中華華", "國"));
              //判斷字符串中所有字符,都不在參數二的數組中。
              //System.out.println(StringUtils.containsNone("中華中", new char[]{'中', '達人'}));
              //從后往前查找字符串中與字符數組中相同的元素第一次出現的位置。本例為4
              //System.out.println(StringUtils.lastIndexOfAny("中國人民共和國", new String[]{"國人", "共和"}));
              //未發現與indexOfAny不同之處  查詢字符串中指定字符串(參數二)出現的次數
              //System.out.println(StringUtils.countMatches("中國人民共和中國", "中國"));
              //檢查是否CharSequence的只包含Unicode的字母。空將返回false。一個空的CharSequence(長()= 0)將返回true
              //System.out.println(StringUtils.isAlpha("這是干什么的2"));
              //檢查是否只包含Unicode的CharSequence的字母和空格('')。空將返回一個空的CharSequence假(長()= 0)將返回true。
              //System.out.println(StringUtils.isAlphaSpace("NBA直播 "));
              //檢查是否只包含Unicode的CharSequence的字母或數字。空將返回false。一個空的CharSequence(長()= 0)將返回true。
              //System.out.println(StringUtils.isAlphanumeric("NBA直播"));
              //如果檢查的Unicode CharSequence的只包含字母,數字或空格('')。空將返回false。一個空的CharSequence(長()= 0)將返回true。
              //System.out.println(StringUtils.isAlphanumericSpace("NBA直播"));
              //檢查是否只包含ASCII可CharSequence的字符。空將返回false。一個空的CharSequence(長()= 0)將返回true。
              //System.out.println(StringUtils.isAsciiPrintable("NBA直播"));
              //檢查是否只包含數值。
              //System.out.println(StringUtils.isNumeric("NBA直播"));
              //檢查是否只包含數值或者空格
              //System.out.println(StringUtils.isNumericSpace("33 545"));
              //檢查是否只是空格或""。
              //System.out.println(StringUtils.isWhitespace(" "));
              //檢查是否全是英文小寫。
              //System.out.println(StringUtils.isAllLowerCase("kjk33"));
              //檢查是否全是英文大寫。
              //System.out.println(StringUtils.isAllUpperCase("KJKJ"));
              //交集操作~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~
              //去掉參數2字符串中在參數一中開頭部分共有的部分,結果為:人民共和加油
              //System.out.println(StringUtils.difference("中國加油", "中國人民共和加油"));
              //統計2個字符串開始部分共有的字符個數
              //System.out.println(StringUtils.indexOfDifference("ww.taobao", "www.taobao.com"));
              //統計數組中各個元素的字符串開始都一樣的字符個數
              //System.out.println(StringUtils.indexOfDifference(new String[] {"中國加油", "中國共和", "中國人民"}));
              //取數組每個元素共同的部分字符串
              //System.out.println(StringUtils.getCommonPrefix(new String[] {"中國加油", "中國共和", "中國人民"}));
              //統計參數一中每個字符與參數二中每個字符不同部分的字符個數
              //System.out.println(StringUtils.getLevenshteinDistance("中國共和發國人民", "共和國"));
              //判斷開始部分是否與二參數相同
              //System.out.println(StringUtils.startsWith("中國共和國人民", "中國"));
              //判斷開始部分是否與二參數相同。不區分大小寫
              //System.out.println(StringUtils.startsWithIgnoreCase("中國共和國人民", "中國"));
              //判斷字符串開始部分是否與數組中的某一元素相同
              //System.out.println(StringUtils.startsWithAny("abef", new String[]{"ge", "af", "ab"}));
              //判斷結尾是否相同
              //System.out.println(StringUtils.endsWith("abcdef", "def"));
              //判斷結尾是否相同,不區分大小寫
              //System.out.println(StringUtils.endsWithIgnoreCase("abcdef", "Def"));
              //字符串截取~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~
              //截取指定位置的字符,null返回null.""返回""
              //System.out.println(StringUtils.substring("國民黨", 2));
              //截取指定區間的字符
              //System.out.println(StringUtils.substring("中國人民共和國", 2, 4));
              //從左截取指定長度的字符串
              //System.out.println(StringUtils.left("說點什么好呢", 3));
              //從右截取指定長度的字符串
              //System.out.println(StringUtils.right("說點什么好呢", 3));
              //從第幾個開始截取,三參數表示截取的長度
              //System.out.println(StringUtils.mid("說點什么好呢", 3, 2));
              //截取到等于第二個參數的字符串為止
              //System.out.println(StringUtils.substringBefore("說點什么好呢", "好"));
              //從左往右查到相等的字符開始,保留后邊的,不包含等于的字符。本例:什么好呢
              //System.out.println(StringUtils.substringAfter("說點什么好呢", "點"));
              //這個也是截取到相等的字符,但是是從右往左.本例結果:說點什么好
              //System.out.println(StringUtils.substringBeforeLast("說點什么好點呢", "點"));
              //這個截取同上是從右往左。但是保留右邊的字符
              //System.out.println(StringUtils.substringAfterLast("說點什么好點呢?", "點"));
              //截取查找到第一次的位置,和第二次的位置中間的字符。如果沒找到第二個返回null。本例結果:2010世界杯在
              //System.out.println(StringUtils.substringBetween("南非2010世界杯在南非,在南非", "南非"));
              //返回參數二和參數三中間的字符串,返回數組形式
              //ArrayToList(StringUtils.substringsBetween("[a][b][c]", "[", "]"));
              //分割~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~
              //用空格分割成數組,null為null
              //ArrayToList(StringUtils.split("中華 人民  共和"));
              //以指定字符分割成數組
              //ArrayToList(StringUtils.split("中華 ,人民,共和", ","));
              //以指定字符分割成數組,第三個參數表示分隔成數組的長度,如果為0全體分割
              //ArrayToList(StringUtils.split("中華 :人民:共和", ":", 2));
              //未發現不同的地方,指定字符分割成數組
              //ArrayToList(StringUtils.splitByWholeSeparator("ab-!-cd-!-ef", "-!-"));
              //未發現不同的地方,以指定字符分割成數組,第三個參數表示分隔成數組的長度
              //ArrayToList(StringUtils.splitByWholeSeparator("ab-!-cd-!-ef", "-!-", 2));
              //分割,但" "不會被忽略算一個元素,二參數為null默認為空格分隔
              //ArrayToList(StringUtils.splitByWholeSeparatorPreserveAllTokens(" ab   de fg ", null));
              //同上,分割," "不會被忽略算一個元素。第三個參數代表分割的數組長度。
              //ArrayToList(StringUtils.splitByWholeSeparatorPreserveAllTokens("ab   de fg", null, 3));
              //未發現不同地方,分割
              //ArrayToList(StringUtils.splitPreserveAllTokens(" ab   de fg "));
              //未發現不同地方,指定字符分割成數組
              //ArrayToList(StringUtils.splitPreserveAllTokens(" ab   de fg ", null));
              //未發現不同地方,以指定字符分割成數組,第三個參數表示分隔成數組的長度
              //ArrayToList(StringUtils.splitPreserveAllTokens(" ab   de fg ", null, 2));
              //以不同類型進行分隔
              //ArrayToList(StringUtils.splitByCharacterType("AEkjKr i39:。中文"));
              //未解
              //ArrayToList(StringUtils.splitByCharacterTypeCamelCase("ASFSRules234"));
              //拼接~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~
              //將數組轉換為字符串形式
              //System.out.println(StringUtils.concat(getArrayData()));
              //拼接時用參數一得字符相連接.注意null也用連接符連接了
              //System.out.println(StringUtils.concatWith(",", getArrayData()));
              //也是拼接。未發現區別
              //System.out.println(StringUtils.join(getArrayData()));
              //用連接符拼接,為發現區別
              //System.out.println(StringUtils.join(getArrayData(), ":"));
              //拼接指定數組下標的開始(三參數)和結束(四參數,不包含)的中間這些元素,用連接符連接
              //System.out.println(StringUtils.join(getArrayData(), ":", 1, 3));
              //用于集合連接字符串.用于集合
              //System.out.println(StringUtils.join(getListData(), ":"));
              //移除,刪除~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~
              //刪除所有空格符
              //System.out.println(StringUtils.deleteWhitespace(" s 中 你 4j"));
              //移除開始部分的相同的字符
              //System.out.println(StringUtils.removeStart("www.baidu.com", "www."));
              //移除開始部分的相同的字符,不區分大小寫
              //System.out.println(StringUtils.removeStartIgnoreCase("www.baidu.com", "WWW"));
              //移除后面相同的部分
              //System.out.println(StringUtils.removeEnd("www.baidu.com", ".com"));
              //移除后面相同的部分,不區分大小寫
              //System.out.println(StringUtils.removeEndIgnoreCase("www.baidu.com", ".COM"));
              //移除所有相同的部分
              //System.out.println(StringUtils.remove("www.baidu.com/baidu", "bai"));
              //移除結尾字符為"\n", "\r", 或者 "\r\n".
              //System.out.println(StringUtils.chomp("abcrabc\r"));
              //也是移除,未解。去結尾相同字符
              //System.out.println(StringUtils.chomp("baidu.com", "com"));
              //去掉末尾最后一個字符.如果是"\n", "\r", 或者 "\r\n"也去除
              //System.out.println(StringUtils.chop("wwe.baidu"));
              //替換~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~
              //替換指定的字符,只替換第一次出現的
              //System.out.println(StringUtils.replaceOnce("www.baidu.com/baidu", "baidu", "hao123"));
              //替換所有出現過的字符
              //System.out.println(StringUtils.replace("www.baidu.com/baidu", "baidu", "hao123"));
              //也是替換,最后一個參數表示替換幾個
              //System.out.println(StringUtils.replace("www.baidu.com/baidu", "baidu", "hao123", 1));
              //這個有意識,二三參數對應的數組,查找二參數數組一樣的值,替換三參數對應數組的值。本例:baidu替換為taobao。com替換為net
              //System.out.println(StringUtils.replaceEach("www.baidu.com/baidu", new String[]{"baidu", "com"}, new String[]{"taobao", "net"}));
              //同上,未發現不同
              //System.out.println(StringUtils.replaceEachRepeatedly("www.baidu.com/baidu", new String[]{"baidu", "com"}, new String[]{"taobao", "net"}));
              //這個更好,不是數組對應,是字符串參數二和參數三對應替換.(二三參數不對應的話,自己看后果)
              //System.out.println(StringUtils.replaceChars("www.baidu.com", "bdm", "qo"));
              //替換指定開始(參數三)和結束(參數四)中間的所有字符
              //System.out.println(StringUtils.overlay("www.baidu.com", "hao123", 4, 9));
              //添加,增加~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~
              //復制參數一的字符串,參數二為復制的次數
              //System.out.println(StringUtils.repeat("ba", 3));
              //復制參數一的字符串,參數三為復制的次數。參數二為復制字符串中間的連接字符串
              //System.out.println(StringUtils.repeat("ab", "ou", 3));
              //如何字符串長度小于參數二的值,末尾加空格補全。(小于字符串長度不處理返回)
              //System.out.println(StringUtils.rightPad("海川", 4));
              //字符串長度小于二參數,末尾用參數三補上,多于的截取(截取補上的字符串)
              //System.out.println(StringUtils.rightPad("海川", 4, "河流啊"));
              //同上在前面補全空格
              //System.out.println(StringUtils.leftPad("海川", 4));
              //字符串長度小于二參數,前面用參數三補上,多于的截取(截取補上的字符串)
              //System.out.println(StringUtils.leftPad("海川", 4, "大家好"));
              //字符串長度小于二參數。在兩側用空格平均補全(測試后面補空格優先)
              //System.out.println(StringUtils.center("海川", 3));
              //字符串長度小于二參數。在兩側用三參數的字符串平均補全(測試后面補空格優先)
              //System.out.println(StringUtils.center("海川", 5, "流"));
              //只顯示指定數量(二參數)的字符,后面以三個點補充(參數一截取+三個點=二參數)
              //System.out.println(StringUtils.abbreviate("中華人民共和國", 5));
              //2頭加點這個有點亂。本例結果: ...ijklmno
              //System.out.println(StringUtils.abbreviate("abcdefghijklmno", 12, 10));
              //保留指定長度,最后一個字符前加點.本例結果: ab.f
              //System.out.println(StringUtils.abbreviateMiddle("abcdef", ".", 4));
              //轉換,刷選~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~
              //轉換第一個字符為大寫.如何第一個字符是大寫原始返回
              //System.out.println(StringUtils.capitalize("Ddf"));
              //轉換第一個字符為大寫.如何第一個字符是大寫原始返回
              //System.out.println(StringUtils.uncapitalize("DTf"));
              //反向轉換,大寫變小寫,小寫變大寫
              //System.out.println(StringUtils.swapCase("I am Jiang, Hello"));
              //將字符串倒序排列
              //System.out.println(StringUtils.reverse("中國人民"));
              //根據特定字符(二參數)分隔進行反轉
              //System.out.println(StringUtils.reverseDelimited("中:國:人民", ':'));
          }

          //將數組轉換為List
          private static void ArrayToList(String[] str){
              System.out.println(Arrays.asList(str) + " 長度:" + str.length);
          }

          //獲得集合數據
          private static List getListData(){
              List list = new ArrayList();
              list.add("你好");
              list.add(null);
              list.add("他好");
              list.add("大家好");
              return list;
          }

          //獲得數組數據
          private static String[] getArrayData(){
              return (String[]) getListData().toArray(new String[0]);
          }

          public static void main(String[] args) {
              TestStr();
          }

          posted @ 2012-02-20 10:02 AthrunWang 閱讀(27302) | 評論 (3)編輯 收藏
          myeclipse優化方案 myeclipse 10 優化

          1 、關閉MyEclipse的自動validation        windows > perferences > myeclipse > validation        將Build下全部勾取消        如果你需要驗證某個文件的時候,我們可以單獨去驗證它。方法是:        在需要驗證的文件上( 右鍵 -> MyEclipse -> Run   Validation 。
          2、 啟動優化,關閉不需要使用的模塊       所以可以將一些不使用的模塊禁止 加載啟動。       Window > Preferences > General > Startup andy Shutdown 在這里列出的是MyEclipse啟動時加載的模塊       我這里只讓它加載tomcat6 勾選 MyEclipse EASIE Tomcat 7 。            WTP :一個跟myeclipse差不多的東西,主要差別是 WTP 是免費的,如果使用myeclipse,這個可以取消            Mylyn:組隊任務管理工具,類似于 CVS ,以任務為單位管理項目進度,沒用到的可以取消            Derby:一種保存成 jar 形式的數據庫,我沒用到,取消            一大排以 MyEclipse EASIE 打頭的啟動項:myeclipse 支持的服務器,只選自己用的,其他取消,           比如我只選了    tomcat 。  

          第一項: 啟動功能介紹和樣例(紅色為需要保留的文件,此為本人樣例,請按需選擇)

          1. Automatic Updates Scheduler  //自動升級調度   
          2. MyEclipse QuickSetup  //快速啟動   
          3. MyEclipse Derby  //derby是一個開源數據庫的名字
          4. MyEclipse EASIE Geronimo  1   //同色都是應用服務器的名字   
          5. MyEclipse EASIE Geronimo  2     
          6. MyEclipse EASIE JBOSS  2     
          7. MyEclipse EASIE JBOSS  3     
          8. MyEclipse EASIE JBOSS  4     
          9. MyEclipse EASIE JBOSS  5     
          10. MyEclipse EASIE JBOSS    
          11. MyEclipse EASIE Jetty  4     
          12. MyEclipse EASIE Jetty  5     
          13. MyEclipse EASIE Jetty  6     
          14. MyEclipse EASIE Jetty    
          15. MyEclipse EASIE JOnAS  3     
          16. MyEclipse EASIE JOnAS  4     
          17. MyEclipse EASIE JOnAS    
          18. MyEclipse EASIE JRun  4     
          19. MyEclipse EASIE JRun    
          20. MyEclipse EASIE Oracle  10  AS    
          21. MyEclipse EASIE Oracle  9  AS     
          22. MyEclipse EASIE Oracle AS    
          23. MyEclipse EASIE Orion  1     
          24. MyEclipse EASIE Orion  2     
          25. MyEclipse EASIE Resin  2     
          26. MyEclipse EASIE Resin  3     
          27. MyEclipse EASIE Resin    
          28. MyEclipse EASIE Sun  8 .x    
          29. MyEclipse EASIE Sun  8     
          30. MyEclipse EASIE Sun  9     
          31. MyEclipse EASIE Glassfish  2     
          32. MyEclipse EASIE Glassfish  1     
          33. MyEclipse EASIE Sun One    
          34. MyEclipse EASIE MyEclipse Tomcat  6  Server     
          35. MyEclipse EASIE Tomcat  4     
          36. MyEclipse EASIE Tomcat  5     
          37. MyEclipse EASIE Tomcat  6   
          38. MyEclipse EASIE Tomcat  7    
          39. MyEclipse EASIE Tomcat     
          40. MyEclipse EASIE WebLogic  10     
          41. MyEclipse EASIE WebLogic  6     
          42. MyEclipse EASIE WebLogic  7     
          43. MyEclipse EASIE WebLogic  8     
          44. MyEclipse EASIE WebLogic  9     
          45. MyEclipse EASIE WebLogic    
          46. MyEclipse EASIE WebSphere  5     
          47. MyEclipse EASIE WebSphere  6.1     
          48. MyEclipse EASIE WebSphere  6     
          49. MyEclipse EASIE WebSphere  4     
          50. MyEclipse Examples  //樣例   
          51. MyEclipse Memory Monitor  //內存監控   
          52. MyEclipse Tapestry Integration  //插件集成   
          53. MyEclipse JSP Debug Tooling  //jsp調試插件   
          54. MyEclipse File Creation Wizards  //文件創建程序    
          55. ICEfaces Integration for MyEclipse //基于Ajax的JSF開發框架()
          56. MyEclipse Backward Compatibility  //后臺功能   
          57. MyEclipse Perspective Plug-in  //透視圖插件     
          58. Pluse Collaboration Control Center //Eclipse的網頁管理中心
          59. eclipse-cs 4.x.x -> 5.0.0 Migration Plug-in  //Eclipse插件兼容組件
          60. Mozilla Debug UI Plug-in(Incubation)  //Mozilla調試插件(Mozilla是一款瀏覽器)    
          61. Dynamic Languages ToolKit Core UI //對入PHP等動態語言支持的用戶接口
          62. WTP Webservice UI Plug-in  //Web 服務視圖插件   
          63. JavaServer Faces Tools - Core  //jsf工具核心包    
          64. Automatic Updates Scheduler //自動更新
          65. Service policy  //Web提供的服務性能目標定義,自動管理
          66. Atfdebug Plug-in(Incubation)  //動態語言的調試工具
          67. Auxiliary Web Module Support for MeEclipse// 輔助的Web模塊支持.(可能是Struts等文件自動添加)
          68. JSF Editor Preview Support  for  MyEclipse //jsf編輯器   

          第二項: MyEclipse Validation

           

            由于文件導入的時候,不能保證文件的正確性.所以在啟動服務前需要做一下驗證.包括語法等.

            另外可以自己添加需要的驗證模塊.如checkStyle的驗證.

          3 、去掉MyEclipse的拼寫檢查(如果你覺的有用可以不去) 拼寫檢查會給我們帶來不少的麻煩,我們的方法命名都會是單詞的縮寫,他也會提示有錯, 所以最好去掉,沒有多大的用處 Window > perferences > General > Editors > Text Editors > Spelling > 將Enable spell checking復選框的勾選去掉。 4 、修改MyEclipse編輯JSP頁面時的編輯工具 Window > perferences > General > Editors > File Associations > 在File types 中選擇 *.jsp > 在Associated editors 中將"MyEclipse JSP Editor"設置為默認。 還有XML文件的默認編輯器
          5. 關閉自動更新  1).window->Perferences->General->Startup and Shutdown 勾掉 Automatic Updates Scheduler(自動更新調度程序)   2).window->Perferences->MyEclipse->Maven4MyEclipse 勾上 Enable Maven4MyEclipse featrures ;確定關閉窗口;該步驟是為了顯示第3步中的Maven節點   3).window->Perferences->MyEclipse->Maven4MyEclipse  勾掉 Download repository index updates on startup

          第六步: 更改內存使用文件

          1、打開 eclipse.ini


          -showsplash
          com.genuitec.myeclipse.product
          --launcher.XXMaxPermSize
          256M
          -vmargs
          -Dosgi.requiredJavaVersion=1.5
          -Xms256m
          -Xmx1024m   
          -Dosgi.splashLocation=e:MyEclipse 6.0eclipseMyEclipseSplash.bmp
          -Duser.language=en
          -XX:PermSize=128M
          -XX:MaxPermSize=256M
          把下面的那個 -XX:MaxPermSize 調大,比如 -XX:MaxPermSize=512M,再把 -XX:PermSize 調成跟 -XX:MaxPermSize一樣大
          原因:大家一定對這個畫面很熟悉吧:

          幾乎每次 eclipse 卡到當都是因為這個非堆內存不足造成的,把最大跟最小調成一樣是因為不讓 myeclipse 頻繁的換內存區域大小

          注意:XX:MaxPermSize 和 Xmx 的大小之和不能超過你的電腦內存大小

          第七步: 修改Struts-config.xml文件打開錯誤

          有時點擊myeclipse里的struts的xml配置文件,會報錯:

          Error opening the editorUnable to open the editor ,unknow the editor id…..

          把這個窗口關閉后才出正確的xml文件顯示,這個我們這樣改:

          windows–>perferences–>general–>editors->file associations選擇*.xml,選擇myeclipse xml editor點default,ok

          posted @ 2012-01-15 10:56 AthrunWang 閱讀(26816) | 評論 (2)編輯 收藏
          InputStream與String,Byte之間互轉

          import java.io.ByteArrayInputStream;
          import java.io.ByteArrayOutputStream;
          import java.io.IOException;
          import java.io.InputStream;

          /**
           *
           * @author Andy.Chen
           * @mail Chenjunjun.ZJ@gmail.com
           *
           */
          public class InputStreamUtils {
              
              final static int BUFFER_SIZE = 4096;
              
              /**
               * 將InputStream轉換成String
               * @param in InputStream
               * @return String
               * @throws Exception
               *
               */
              public static String InputStreamTOString(InputStream in) throws Exception{
                  
                  ByteArrayOutputStream outStream = new ByteArrayOutputStream();
                  byte[] data = new byte[BUFFER_SIZE];
                  int count = -1;
                  while((count = in.read(data,0,BUFFER_SIZE)) != -1)
                      outStream.write(data, 0, count);
                  
                  data = null;
                  return new String(outStream.toByteArray(),"ISO-8859-1");
              }
              
              /**
               * 將InputStream轉換成某種字符編碼的String
               * @param in
               * @param encoding
               * @return
               * @throws Exception
               */
                   public static String InputStreamTOString(InputStream in,String encoding) throws Exception{
                  
                  ByteArrayOutputStream outStream = new ByteArrayOutputStream();
                  byte[] data = new byte[BUFFER_SIZE];
                  int count = -1;
                  while((count = in.read(data,0,BUFFER_SIZE)) != -1)
                      outStream.write(data, 0, count);
                  
                  data = null;
                  return new String(outStream.toByteArray(),"ISO-8859-1");
              }
              
              /**
               * 將String轉換成InputStream
               * @param in
               * @return
               * @throws Exception
               */
              public static InputStream StringTOInputStream(String in) throws Exception{
                  
                  ByteArrayInputStream is = new ByteArrayInputStream(in.getBytes("ISO-8859-1"));
                  return is;
              }
              
              /**
               * 將InputStream轉換成byte數組
               * @param in InputStream
               * @return byte[]
               * @throws IOException
               */
              public static byte[] InputStreamTOByte(InputStream in) throws IOException{
                  
                  ByteArrayOutputStream outStream = new ByteArrayOutputStream();
                  byte[] data = new byte[BUFFER_SIZE];
                  int count = -1;
                  while((count = in.read(data,0,BUFFER_SIZE)) != -1)
                      outStream.write(data, 0, count);
                  
                  data = null;
                  return outStream.toByteArray();
              }
              
              /**
               * 將byte數組轉換成InputStream
               * @param in
               * @return
               * @throws Exception
               */
              public static InputStream byteTOInputStream(byte[] in) throws Exception{
                  
                  ByteArrayInputStream is = new ByteArrayInputStream(in);
                  return is;
              }
              
              /**
               * 將byte數組轉換成String
               * @param in
               * @return
               * @throws Exception
               */
              public static String byteTOString(byte[] in) throws Exception{
                  
                  InputStream is = byteTOInputStream(in);
                  return InputStreamTOString(is);
              }

          }

          posted @ 2012-01-09 20:02 AthrunWang 閱讀(1458) | 評論 (0)編輯 收藏
          僅列出標題
          共8頁: 上一頁 1 2 3 4 5 6 7 8 下一頁 
          主站蜘蛛池模板: 江孜县| 贵港市| 沙田区| 高阳县| 罗城| 霞浦县| 东方市| 宾川县| 佛学| 葵青区| 邯郸县| 车险| 临安市| 隆尧县| 日土县| 万源市| 全州县| 文水县| 兰坪| 德格县| 济南市| 保德县| 宜宾县| 玉山县| 旅游| 庐江县| 乐山市| 临猗县| 湖口县| 大同县| 鹤壁市| 拉萨市| 奎屯市| 绥中县| 庆元县| 惠东县| 锦屏县| 新源县| 斗六市| 花莲市| 永德县|