posts - 110, comments - 101, trackbacks - 0, articles - 7
            BlogJava :: 首頁 :: 新隨筆 :: 聯(lián)系 :: 聚合  :: 管理

          2013年4月1日

          轉(zhuǎn)自:http://blog.csdn.net/jeffreynicole/article/details/46953059 


          一個性能較好的web服務(wù)器jvm參數(shù)配置:


          1. -server //服務(wù)器模式  
          2. -Xmx2g //JVM最大允許分配的堆內(nèi)存,按需分配  
          3. -Xms2g //JVM初始分配的堆內(nèi)存,一般和Xmx配置成一樣以避免每次gc后JVM重新分配內(nèi)存。  
          4. -Xmn256m //年輕代內(nèi)存大小,整個JVM內(nèi)存=年輕代 + 年老代 + 持久代  
          5. -XX:PermSize=128m //持久代內(nèi)存大小  
          6. -Xss256k //設(shè)置每個線程的堆棧大小  
          7. -XX:+DisableExplicitGC //忽略手動調(diào)用GC, System.gc()的調(diào)用就會變成一個空調(diào)用,完全不觸發(fā)GC  
          8. -XX:+UseConcMarkSweepGC //并發(fā)標(biāo)記清除(CMS)收集器  
          9. -XX:+CMSParallelRemarkEnabled //降低標(biāo)記停頓  
          10. -XX:+UseCMSCompactAtFullCollection //在FULL GC的時候?qū)δ昀洗膲嚎s  
          11. -XX:LargePageSizeInBytes=128m //內(nèi)存頁的大小  
          12. -XX:+UseFastAccessorMethods //原始類型的快速優(yōu)化  
          13. -XX:+UseCMSInitiatingOccupancyOnly //使用手動定義初始化定義開始CMS收集  
          14. -XX:CMSInitiatingOccupancyFraction=70 //使用cms作為垃圾回收使用70%后開始CMS收集  


          說明:

          -Xmn和-Xmx之比大概是1:9,如果把新生代內(nèi)存設(shè)置得太大會導(dǎo)致young gc時間較長

          一個好的Web系統(tǒng)應(yīng)該是每次http請求申請內(nèi)存都能在young gc回收掉,full gc永不發(fā)生,當(dāng)然這是最理想的情況

          xmn的值應(yīng)該是保證夠用(夠http并發(fā)請求之用)的前提下設(shè)置得盡量小

          web服務(wù)器和游戲服務(wù)器的配置思路不太一樣,最重要的區(qū)別是對游戲服務(wù)器的xmn即年輕代設(shè)置比較大,和Xmx大概1:3的關(guān)系,因為游戲服務(wù)器一般是長連接,在保持一定的并發(fā)量后需要較大的年輕代堆內(nèi)存,如果設(shè)置得大小了會經(jīng)常引發(fā)young gc


          • 對JVM的簡介


          由上圖可以看出jvm堆內(nèi)存的分類情況,JVM內(nèi)存被分成多個獨立的部分。
          廣泛地說,JVM堆內(nèi)存被分為兩部分——年輕代(Young Generation)和老年代(Old Generation)。


          • 年輕代
          年輕代是所有新對象產(chǎn)生的地方。當(dāng)年輕代內(nèi)存空間被用完時,就會觸發(fā)垃圾回收。這個垃圾回收叫做Minor GC。年輕代被分為3個部分——Enden區(qū)和兩個Survivor區(qū)。


          年輕代空間的要點:
          大多數(shù)新建的對象都位于Eden區(qū)。
          當(dāng)Eden區(qū)被對象填滿時,就會執(zhí)行Minor GC。并把所有存活下來的對象轉(zhuǎn)移到其中一個survivor區(qū)。
          Minor GC同樣會檢查存活下來的對象,并把它們轉(zhuǎn)移到另一個survivor區(qū)。這樣在一段時間內(nèi),總會有一個空的survivor區(qū)。
          經(jīng)過多次GC周期后,仍然存活下來的對象會被轉(zhuǎn)移到年老代內(nèi)存空間。通常這是在年輕代有資格提升到年老代前通過設(shè)定年齡閾值來完成的。

          • 年老代
          年老代內(nèi)存里包含了長期存活的對象和經(jīng)過多次Minor GC后依然存活下來的對象。通常會在老年代內(nèi)存被占滿時進行垃圾回收。老年代的垃圾收集叫做Major GC。Major GC會花費更多的時間。


          Stop the World事件
          所有的垃圾收集都是“Stop the World”事件,因為所有的應(yīng)用線程都會停下來直到操作完成(所以叫“Stop the World”)。

          因為年輕代里的對象都是一些臨時(short-lived )對象,執(zhí)行Minor GC非常快,所以應(yīng)用不會受到(“Stop the World”)影響。

          由于Major GC會檢查所有存活的對象,因此會花費更長的時間。應(yīng)該盡量減少Major GC。因為Major GC會在垃圾回收期間讓你的應(yīng)用反應(yīng)遲鈍,所以如果你有一個需要快速響應(yīng)的應(yīng)用發(fā)生多次Major GC,你會看到超時錯誤。

          垃圾回收時間取決于垃圾回收策略。這就是為什么有必要去監(jiān)控垃圾收集和對垃圾收集進行調(diào)優(yōu)。從而避免要求快速響應(yīng)的應(yīng)用出現(xiàn)超時錯誤。


          • 永久代
          永久代或者“Perm Gen”包含了JVM需要的應(yīng)用元數(shù)據(jù),這些元數(shù)據(jù)描述了在應(yīng)用里使用的類和方法。注意,永久代不是Java堆內(nèi)存的一部分。
          永久代存放JVM運行時使用的類。永久代同樣包含了Java SE庫的類和方法。永久代的對象在full GC時進行垃圾收集。


          方法區(qū)
          方法區(qū)是永久代空間的一部分,并用來存儲類型信息(運行時常量和靜態(tài)變量)和方法代碼和構(gòu)造函數(shù)代碼。


          內(nèi)存池
          如果JVM實現(xiàn)支持,JVM內(nèi)存管理會為創(chuàng)建內(nèi)存池,用來為不變對象創(chuàng)建對象池。字符串池就是內(nèi)存池類型的一個很好的例子。內(nèi)存池可以屬于堆或者永久代,這取決于JVM內(nèi)存管理的實現(xiàn)。


          運行時常量池
          運行時常量池是每個類常量池的運行時代表。它包含了類的運行時常量和靜態(tài)方法。運行時常量池是方法區(qū)的一部分。


          Java棧內(nèi)存
          Java棧內(nèi)存用于運行線程。它們包含了方法里的臨時數(shù)據(jù)、堆里其它對象引用的特定數(shù)據(jù)。

          Java垃圾回收
          Java垃圾回收會找出沒用的對象,把它從內(nèi)存中移除并釋放出內(nèi)存給以后創(chuàng)建的對象使用。Java程序語言中的一個最大優(yōu)點是自動垃圾回收,不像其他的程序語言那樣需要手動分配和釋放內(nèi)存,比如C語言。

          垃圾收集器是一個后臺運行程序。它管理著內(nèi)存中的所有對象并找出沒被引用的對象。所有的這些未引用的對象都會被刪除,回收它們的空間并分配給其他對象。

          一個基本的垃圾回收過程涉及三個步驟:
          標(biāo)記:這是第一步。在這一步,垃圾收集器會找出哪些對象正在使用和哪些對象不在使用。
          正常清除:垃圾收集器清會除不在使用的對象,回收它們的空間分配給其他對象。
          壓縮清除:為了提升性能,壓縮清除會在刪除沒用的對象后,把所有存活的對象移到一起。這樣可以提高分配新對象的效率。


          簡單標(biāo)記和清除方法存在兩個問題:
          效率很低。因為大多數(shù)新建對象都會成為“沒用對象”。
          經(jīng)過多次垃圾回收周期的對象很有可能在以后的周期也會存活下來。
          上面簡單清除方法的問題在于Java垃圾收集的分代回收的,而且在堆內(nèi)存里有年輕代和年老代兩個區(qū)域。


          • Java垃圾回收類型
          這里有五種可以在應(yīng)用里使用的垃圾回收類型。

          僅需要使用JVM開關(guān)就可以在我們的應(yīng)用里啟用垃圾回收策略。

          Serial GC(-XX:+UseSerialGC):Serial GC使用簡單的標(biāo)記、清除、壓縮方法對年輕代和年老代進行垃圾回收,即Minor GC和Major GC。Serial GC在client模式(客戶端模式)很有用,比如在簡單的獨立應(yīng)用和CPU配置較低的機器。這個模式對占有內(nèi)存較少的應(yīng)用很管用。
          Parallel GC(-XX:+UseParallelGC):除了會產(chǎn)生N個線程來進行年輕代的垃圾收集外,Parallel GC和Serial GC幾乎一樣。這里的N是系統(tǒng)CPU的核數(shù)。我們可以使用 -XX:ParallelGCThreads=n 這個JVM選項來控制線程數(shù)量。并行垃圾收集器也叫throughput收集器。因為它使用了多CPU加快垃圾回收性能。Parallel GC在進行年老代垃圾收集時使用單線程。
          Parallel Old GC(-XX:+UseParallelOldGC):和Parallel GC一樣。不同之處,Parallel Old GC在年輕代垃圾收集和年老代垃圾回收時都使用多線程收集。
          并發(fā)標(biāo)記清除(CMS)收集器(-XX:+UseConcMarkSweepGC):CMS收集器也被稱為短暫停頓并發(fā)收集器。它是對年老代進行垃圾收集的。CMS收集器通過多線程并發(fā)進行垃圾回收,盡量減少垃圾收集造成的停頓。CMS收集器對年輕代進行垃圾回收使用的算法和Parallel收集器一樣。這個垃圾收集器適用于不能忍受長時間停頓要求快速響應(yīng)的應(yīng)用。可使用 -XX:ParallelCMSThreads=n JVM選項來限制CMS收集器的線程數(shù)量。
          G1垃圾收集器(-XX:+UseG1GC) G1(Garbage First):垃圾收集器是在Java 7后才可以使用的特性,它的長遠目標(biāo)時代替CMS收集器。G1收集器是一個并行的、并發(fā)的和增量式壓縮短暫停頓的垃圾收集器。G1收集器和其他的收集器運行方式不一樣,不區(qū)分年輕代和年老代空間。它把堆空間劃分為多個大小相等的區(qū)域。當(dāng)進行垃圾收集時,它會優(yōu)先收集存活對象較少的區(qū)域,因此叫“Garbage First”。

          posted @ 2015-07-19 22:57 云云 閱讀(1212) | 評論 (0)編輯 收藏

          posted @ 2014-09-28 23:45 云云| 編輯 收藏

               摘要: class文件簡介及加載     Java編譯器編譯好Java文件之后,產(chǎn)生.class 文件在磁盤中。這種class文件是二進制文件,內(nèi)容是只有JVM虛擬機能夠識別的機器碼。JVM虛擬機讀取字節(jié)碼文件,取出二進制數(shù)據(jù),加載到內(nèi)存中,解析.class 文件內(nèi)的信息,生成對應(yīng)的 Class對象:     &nb...  閱讀全文

          posted @ 2014-09-28 23:44 云云| 編輯 收藏

           
          package com.qiyi.appstore.util;
          import java.lang.reflect.Field;
          import java.lang.reflect.InvocationTargetException;
          import org.apache.commons.beanutils.BeanUtils;
          import org.apache.commons.lang.StringUtils;
          import org.slf4j.Logger;
          import org.slf4j.LoggerFactory;
          import com.qiyi.appstore.exception.AppStoreException;
          import com.qiyi.cloud.user.ApiCode;
          public class XssUtils {
          private static final Logger logger=LoggerFactory.getLogger(XssUtils.class);
          public static String getSafeStringXSS(String s){
                if (StringUtils.isBlank(s)) {  
                    return s;  
                }  
                StringBuilder sb = new StringBuilder(s.length() + 16);  
                for (int i = 0; i < s.length(); i++) {  
                    char c = s.charAt(i);  
                    switch (c) {  
                    case '<':  
                        sb.append("&lt;");  
                        break; 
                    case '>':  
                        sb.append("&gt;");  
                        break;  
                    case '\'':  
                        sb.append("&prime;");// &acute;");  
                        break;  
                    case '′':  
                        sb.append("&prime;");// &acute;");  
                        break;  
                    case '\"':  
                        sb.append("&quot;");  
                        break;  
                    case '"':  
                        sb.append("&quot;");  
                        break;  
                    case '&':  
                        sb.append("&");  
                        break;  
                    case '#':  
                        sb.append("#");  
                        break;  
                    case '\\':  
                        sb.append('¥');  
                        break; 
                    case '=':  
                        sb.append("=");  
                        break;
                    default:  
                        sb.append(c);  
                        break;  
                    }  
                }  
                return sb.toString(); 
            }
          public static <T> void getXssSaftBean(Class<?> clz,T bean) throws IllegalAccessException, InvocationTargetException, NoSuchMethodException{
          String classname = clz.getSimpleName();
          logger.info("map target class name is {} .",classname);
          Field[] fields = clz.getDeclaredFields();
          for(Field field : fields){
          Class<?> type = field.getType();
          if(type.equals(String.class)){
          String fieldname = field.getName();
          String value = BeanUtils.getProperty(bean, fieldname);
          if(StringUtils.isNotBlank(value)){
          BeanUtils.setProperty(bean, fieldname, getSafeStringXSS(value));
          }
          }
          }
          }
          }

          posted @ 2014-09-28 13:49 云云 閱讀(732) | 評論 (0)編輯 收藏

          提升tomcat 性能 apr擴展lib
          使用apr類庫 可以讓tomcat的性能提升到3到4倍  
          目前項目中都使用這樣的配置
          <Connector port="8080" protocol="org.apache.coyote.http11.Http11AprProtocol" URIEncoding="UTF-8"
                         enableLookups="false"
                         acceptCount="300"
                         connectionTimeout="20000"
                         disableUploadTimeout="true" maxThreads="1000" maxSpareThreads="50" minSpareThreads="25"
                         redirectPort="8443" />


          catalia.sh 
          CATALINA_OPTS="$CATALINA_OPTS -Djava.library.path=/usr/local/apr/lib"

          posted @ 2014-01-16 14:50 云云 閱讀(917) | 評論 (0)編輯 收藏

               摘要: public static boolean acquireLock(String lock) {    // 1. 通過SETNX試圖獲取一個lock    boolean success = false;    Jedis jedis = pool.getResource();...  閱讀全文

          posted @ 2014-01-15 19:00 云云 閱讀(13409) | 評論 (1)編輯 收藏

          對eclipse的默認(rèn)配置很不爽,黑色字體白色底好刺眼,而且字體習(xí)慣用Courier New
          改變背景顏色:
          windows->Preferences->General->Editor->Text Editors
          右邊選擇Appearance color options 
          選Background color 選擇背景顏色
          個人比較舒服的豆沙綠色和黑色背景,但黑色背景還要把其他的字體顏色也改了才好看,而且豆沙綠色跟默認(rèn)的字體顏色搭配的很好。
          豆沙綠色(色調(diào):85   飽和度:123   亮度:205 )
          據(jù)說這個色調(diào)是眼科專家配的, 因其顏色比較柔和,據(jù)說閱讀的時候用這種顏色做背景有利于保護眼睛, word底色就許多人設(shè)置成豆沙綠色。
          xml的字體調(diào)整: 
          window--preferences--General--appearance--colors and fonts--Basic-- "Text font "  
          然后點change,可以設(shè)置字體,我喜歡Courier New
          Java的字體調(diào)整: 
          window--preferences--General--appearance--colors and fonts--java 

          posted @ 2014-01-09 16:41 云云 閱讀(1816) | 評論 (0)編輯 收藏

          有時候在項目中 會變化路徑 把原有路徑的文件拷到新的路徑下面
          再刪除原來不想的路徑再提交一次 這樣以來 原來的路徑確實不存在了
          但是拷過來的文件帶有原來路徑的svn信息 這樣以來 在提交的時候 就無法提交
          想要文件按照的路徑提交 但始終svn還是再往以前的路徑提交 并提示你路徑不存在
          在網(wǎng)上搜了下 如何刪除文件自帶的svn路徑信息
          按照下面的方式來操作即可

          Windows Registry Editor Version 5.00
          [HKEY_LOCAL_MACHINE\SOFTWARE\Classes\Folder\shell\DeleteSVN] 
          @="刪除該目錄下面.svn文件"
          [HKEY_LOCAL_MACHINE\SOFTWARE\Classes\Folder\shell\DeleteSVN\command] 
          @="cmd.exe /c \"TITLE Removing SVN Folders in %1 && COLOR 9A && FOR /r \"%1\" %%f IN (.svn) DO RD /s /q \"%%f\" \""


          把上面這段文字保存問一個Done.reg文件
          然后執(zhí)行,導(dǎo)入到注冊表
          就會在你右鍵一個文件夾的時候多出來一個菜單"刪除該目錄下面.svn文件"
          執(zhí)行該命令即可

           

          posted @ 2013-12-05 17:17 云云 閱讀(726) | 評論 (0)編輯 收藏

          在ibatis中不需要關(guān)注這些參數(shù) 而轉(zhuǎn)到mybatis后 如果字段值為空 必須設(shè)置jdbcType

          insert into testTable
             (ID,
             NAME,
             DESCRIPTION,
             IMAGEURL,
             LINKURL,
             ISALWAYS,
             ISDISPLAYINDEX,
             DISPLAYWEIGHT,
             STARTTIME,
             ENDTIME,
             CREATOR,
             CREATTIME,
             MODIFYTIME)
            values
             (SEQ_ACTIVITY_TABLE.NEXTVAL,
             #{name},
             #{desc,jdbcType=VARCHAR},
             #{imageUrl,jdbcType=VARCHAR},
             #{linkUrl,jdbcType=VARCHAR},
             #{isAlways,jdbcType=CHAR},
             #{isDisplayIndex,jdbcType=CHAR},
             #{displayWeight,jdbcType=VARCHAR},
             #{startTime,jdbcType=DATE},
             #{endTime,jdbcType=DATE},
             #{creator,jdbcType=VARCHAR},
             sysdate,
             sysdate
             )
           </insert>

          這些設(shè)置之多,太煩了,最讓人煩的是  jdbcType = DATE,類型還必須大寫,不能小寫。
          如下面的例子,將DATE 改成 Date 。結(jié)果讓人很抓狂啊!!!
          insert into testTable
             (ID,
             NAME,
             DESCRIPTION,
             IMAGEURL,
             LINKURL,
             ISALWAYS,
             ISDISPLAYINDEX,
             DISPLAYWEIGHT,
             STARTTIME,
             ENDTIME,
             CREATOR,
             CREATTIME,
             MODIFYTIME)
            values
             (SEQ_ACTIVITY_TABLE.NEXTVAL,
             #{name},
             #{desc,jdbcType=VARCHAR},
             #{imageUrl,jdbcType=VARCHAR},
             #{linkUrl,jdbcType=VARCHAR},
             #{isAlways,jdbcType=CHAR},
             #{isDisplayIndex,jdbcType=CHAR},
             #{displayWeight,jdbcType=VARCHAR},
             #{startTime,jdbcType=Date},
             #{endTime,jdbcType=DATE},
             #{creator,jdbcType=VARCHAR},
             sysdate,
             sysdate
             )
           </insert>
          org.mybatis.spring.MyBatisSystemException: nested exception is org.apache.ibatis.builder.BuilderException: Error resolving JdbcType. Cause: java.lang.IllegalArgumentException: No enum const class org.apache.ibatis.type.JdbcType.Date
          	org.mybatis.spring.MyBatisExceptionTranslator.translateExceptionIfPossible(MyBatisExceptionTranslator.java:75)
          	org.mybatis.spring.SqlSessionTemplate$SqlSessionInterceptor.invoke(SqlSessionTemplate.java:368)
          更坑爹的在后面,上面insert時的時候用#{endTime,jdbcType=DATE},可以將時間插入成功,且可以精確到時分秒
          但如果在update語句中也這樣使用,那你得到的只會有日期,這夠坑爹的了吧 ,尼瑪  比起ibatis方便之處差遠了
          要想在update語句中 將時間格式化成時分秒 不得不再加一個類型 如下面:
          startTime = #{startTime,javaType=DATE, jdbcType=VARCHAR}













          posted @ 2013-11-26 21:02 云云 閱讀(21436) | 評論 (1)編輯 收藏

          CSRF 背景與介紹

          CSRF(Cross Site Request Forgery, 跨站域請求偽造)是一種網(wǎng)絡(luò)的攻擊方式,它在 2007 年曾被列為互聯(lián)網(wǎng) 20 大安全隱患之一。其他安全隱患,比如 SQL 腳本注入,跨站域腳本攻擊等在近年來已經(jīng)逐漸為眾人熟知,很多網(wǎng)站也都針對他們進行了防御。然而,對于大多數(shù)人來說,CSRF 卻依然是一個陌生的概念。即便是大名鼎鼎的 Gmail, 在 2007 年底也存在著 CSRF 漏洞,從而被黑客攻擊而使 Gmail 的用戶造成巨大的損失。

          CSRF 攻擊實例

          CSRF 攻擊可以在受害者毫不知情的情況下以受害者名義偽造請求發(fā)送給受攻擊站點,從而在并未授權(quán)的情況下執(zhí)行在權(quán)限保護之下的操作。比如說,受害者 Bob 在銀行有一筆存款,通過對銀行的網(wǎng)站發(fā)送請求 http://bank.example/withdraw?account=bob&amount=1000000&for=bob2 可以使 Bob 把 1000000 的存款轉(zhuǎn)到 bob2 的賬號下。通常情況下,該請求發(fā)送到網(wǎng)站后,服務(wù)器會先驗證該請求是否來自一個合法的 session,并且該 session 的用戶 Bob 已經(jīng)成功登陸。黑客 Mallory 自己在該銀行也有賬戶,他知道上文中的 URL 可以把錢進行轉(zhuǎn)帳操作。Mallory 可以自己發(fā)送一個請求給銀行:http://bank.example/withdraw?account=bob&amount=1000000&for=Mallory。但是這個請求來自 Mallory 而非 Bob,他不能通過安全認(rèn)證,因此該請求不會起作用。這時,Mallory 想到使用 CSRF 的攻擊方式,他先自己做一個網(wǎng)站,在網(wǎng)站中放入如下代碼: src=”http://bank.example/withdraw?account=bob&amount=1000000&for=Mallory ”,并且通過廣告等誘使 Bob 來訪問他的網(wǎng)站。當(dāng) Bob 訪問該網(wǎng)站時,上述 url 就會從 Bob 的瀏覽器發(fā)向銀行,而這個請求會附帶 Bob 瀏覽器中的 cookie 一起發(fā)向銀行服務(wù)器。大多數(shù)情況下,該請求會失敗,因為他要求 Bob 的認(rèn)證信息。但是,如果 Bob 當(dāng)時恰巧剛訪問他的銀行后不久,他的瀏覽器與銀行網(wǎng)站之間的 session 尚未過期,瀏覽器的 cookie 之中含有 Bob 的認(rèn)證信息。這時,悲劇發(fā)生了,這個 url 請求就會得到響應(yīng),錢將從 Bob 的賬號轉(zhuǎn)移到 Mallory 的賬號,而 Bob 當(dāng)時毫不知情。等以后 Bob 發(fā)現(xiàn)賬戶錢少了,即使他去銀行查詢?nèi)罩荆仓荒馨l(fā)現(xiàn)確實有一個來自于他本人的合法請求轉(zhuǎn)移了資金,沒有任何被攻擊的痕跡。而 Mallory 則可以拿到錢后逍遙法外。

          CSRF 攻擊的對象

          在討論如何抵御 CSRF 之前,先要明確 CSRF 攻擊的對象,也就是要保護的對象。從以上的例子可知,CSRF 攻擊是黑客借助受害者的 cookie 騙取服務(wù)器的信任,但是黑客并不能拿到 cookie,也看不到 cookie 的內(nèi)容。另外,對于服務(wù)器返回的結(jié)果,由于瀏覽器同源策略的限制,黑客也無法進行解析。因此,黑客無法從返回的結(jié)果中得到任何東西,他所能做的就是給服務(wù)器發(fā)送請求,以執(zhí)行請求中所描述的命令,在服務(wù)器端直接改變數(shù)據(jù)的值,而非竊取服務(wù)器中的數(shù)據(jù)。所以,我們要保護的對象是那些可以直接產(chǎn)生數(shù)據(jù)改變的服務(wù),而對于讀取數(shù)據(jù)的服務(wù),則不需要進行 CSRF 的保護。比如銀行系統(tǒng)中轉(zhuǎn)賬的請求會直接改變賬戶的金額,會遭到 CSRF 攻擊,需要保護。而查詢余額是對金額的讀取操作,不會改變數(shù)據(jù),CSRF 攻擊無法解析服務(wù)器返回的結(jié)果,無需保護。

          當(dāng)前防御 CSRF 的幾種策略

          在業(yè)界目前防御 CSRF 攻擊主要有三種策略:驗證 HTTP Referer 字段;在請求地址中添加 token 并驗證;在 HTTP 頭中自定義屬性并驗證。下面就分別對這三種策略進行詳細(xì)介紹。

          驗證 HTTP Referer 字段

          根據(jù) HTTP 協(xié)議,在 HTTP 頭中有一個字段叫 Referer,它記錄了該 HTTP 請求的來源地址。在通常情況下,訪問一個安全受限頁面的請求來自于同一個網(wǎng)站,比如需要訪問 http://bank.example/withdraw?account=bob&amount=1000000&for=Mallory,用戶必須先登陸 bank.example,然后通過點擊頁面上的按鈕來觸發(fā)轉(zhuǎn)賬事件。這時,該轉(zhuǎn)帳請求的 Referer 值就會是轉(zhuǎn)賬按鈕所在的頁面的 URL,通常是以 bank.example 域名開頭的地址。而如果黑客要對銀行網(wǎng)站實施 CSRF 攻擊,他只能在他自己的網(wǎng)站構(gòu)造請求,當(dāng)用戶通過黑客的網(wǎng)站發(fā)送請求到銀行時,該請求的 Referer 是指向黑客自己的網(wǎng)站。因此,要防御 CSRF 攻擊,銀行網(wǎng)站只需要對于每一個轉(zhuǎn)賬請求驗證其 Referer 值,如果是以 bank.example 開頭的域名,則說明該請求是來自銀行網(wǎng)站自己的請求,是合法的。如果 Referer 是其他網(wǎng)站的話,則有可能是黑客的 CSRF 攻擊,拒絕該請求。

          這種方法的顯而易見的好處就是簡單易行,網(wǎng)站的普通開發(fā)人員不需要操心 CSRF 的漏洞,只需要在最后給所有安全敏感的請求統(tǒng)一增加一個攔截器來檢查 Referer 的值就可以。特別是對于當(dāng)前現(xiàn)有的系統(tǒng),不需要改變當(dāng)前系統(tǒng)的任何已有代碼和邏輯,沒有風(fēng)險,非常便捷。

          然而,這種方法并非萬無一失。Referer 的值是由瀏覽器提供的,雖然 HTTP 協(xié)議上有明確的要求,但是每個瀏覽器對于 Referer 的具體實現(xiàn)可能有差別,并不能保證瀏覽器自身沒有安全漏洞。使用驗證 Referer 值的方法,就是把安全性都依賴于第三方(即瀏覽器)來保障,從理論上來講,這樣并不安全。事實上,對于某些瀏覽器,比如 IE6 或 FF2,目前已經(jīng)有一些方法可以篡改 Referer 值。如果 bank.example 網(wǎng)站支持 IE6 瀏覽器,黑客完全可以把用戶瀏覽器的 Referer 值設(shè)為以 bank.example 域名開頭的地址,這樣就可以通過驗證,從而進行 CSRF 攻擊。

          即便是使用最新的瀏覽器,黑客無法篡改 Referer 值,這種方法仍然有問題。因為 Referer 值會記錄下用戶的訪問來源,有些用戶認(rèn)為這樣會侵犯到他們自己的隱私權(quán),特別是有些組織擔(dān)心 Referer 值會把組織內(nèi)網(wǎng)中的某些信息泄露到外網(wǎng)中。因此,用戶自己可以設(shè)置瀏覽器使其在發(fā)送請求時不再提供 Referer。當(dāng)他們正常訪問銀行網(wǎng)站時,網(wǎng)站會因為請求沒有 Referer 值而認(rèn)為是 CSRF 攻擊,拒絕合法用戶的訪問。

          在請求地址中添加 token 并驗證

          CSRF 攻擊之所以能夠成功,是因為黑客可以完全偽造用戶的請求,該請求中所有的用戶驗證信息都是存在于 cookie 中,因此黑客可以在不知道這些驗證信息的情況下直接利用用戶自己的 cookie 來通過安全驗證。要抵御 CSRF,關(guān)鍵在于在請求中放入黑客所不能偽造的信息,并且該信息不存在于 cookie 之中。可以在 HTTP 請求中以參數(shù)的形式加入一個隨機產(chǎn)生的 token,并在服務(wù)器端建立一個攔截器來驗證這個 token,如果請求中沒有 token 或者 token 內(nèi)容不正確,則認(rèn)為可能是 CSRF 攻擊而拒絕該請求。

          這種方法要比檢查 Referer 要安全一些,token 可以在用戶登陸后產(chǎn)生并放于 session 之中,然后在每次請求時把 token 從 session 中拿出,與請求中的 token 進行比對,但這種方法的難點在于如何把 token 以參數(shù)的形式加入請求。對于 GET 請求,token 將附在請求地址之后,這樣 URL 就變成 http://url?csrftoken=tokenvalue。 而對于 POST 請求來說,要在 form 的最后加上 <input type=”hidden” name=”csrftoken” value=”tokenvalue”/>,這樣就把 token 以參數(shù)的形式加入請求了。但是,在一個網(wǎng)站中,可以接受請求的地方非常多,要對于每一個請求都加上 token 是很麻煩的,并且很容易漏掉,通常使用的方法就是在每次頁面加載時,使用 javascript 遍歷整個 dom 樹,對于 dom 中所有的 a 和 form 標(biāo)簽后加入 token。這樣可以解決大部分的請求,但是對于在頁面加載之后動態(tài)生成的 html 代碼,這種方法就沒有作用,還需要程序員在編碼時手動添加 token。

          該方法還有一個缺點是難以保證 token 本身的安全。特別是在一些論壇之類支持用戶自己發(fā)表內(nèi)容的網(wǎng)站,黑客可以在上面發(fā)布自己個人網(wǎng)站的地址。由于系統(tǒng)也會在這個地址后面加上 token,黑客可以在自己的網(wǎng)站上得到這個 token,并馬上就可以發(fā)動 CSRF 攻擊。為了避免這一點,系統(tǒng)可以在添加 token 的時候增加一個判斷,如果這個鏈接是鏈到自己本站的,就在后面添加 token,如果是通向外網(wǎng)則不加。不過,即使這個 csrftoken 不以參數(shù)的形式附加在請求之中,黑客的網(wǎng)站也同樣可以通過 Referer 來得到這個 token 值以發(fā)動 CSRF 攻擊。這也是一些用戶喜歡手動關(guān)閉瀏覽器 Referer 功能的原因。

          在 HTTP 頭中自定義屬性并驗證

          這種方法也是使用 token 并進行驗證,和上一種方法不同的是,這里并不是把 token 以參數(shù)的形式置于 HTTP 請求之中,而是把它放到 HTTP 頭中自定義的屬性里。通過 XMLHttpRequest 這個類,可以一次性給所有該類請求加上 csrftoken 這個 HTTP 頭屬性,并把 token 值放入其中。這樣解決了上種方法在請求中加入 token 的不便,同時,通過 XMLHttpRequest 請求的地址不會被記錄到瀏覽器的地址欄,也不用擔(dān)心 token 會透過 Referer 泄露到其他網(wǎng)站中去。

          然而這種方法的局限性非常大。XMLHttpRequest 請求通常用于 Ajax 方法中對于頁面局部的異步刷新,并非所有的請求都適合用這個類來發(fā)起,而且通過該類請求得到的頁面不能被瀏覽器所記錄下,從而進行前進,后退,刷新,收藏等操作,給用戶帶來不便。另外,對于沒有進行 CSRF 防護的遺留系統(tǒng)來說,要采用這種方法來進行防護,要把所有請求都改為 XMLHttpRequest 請求,這樣幾乎是要重寫整個網(wǎng)站,這代價無疑是不能接受的。

          Java 代碼示例

          下文將以 Java 為例,對上述三種方法分別用代碼進行示例。無論使用何種方法,在服務(wù)器端的攔截器必不可少,它將負(fù)責(zé)檢查到來的請求是否符合要求,然后視結(jié)果而決定是否繼續(xù)請求或者丟棄。在 Java 中,攔截器是由 Filter 來實現(xiàn)的。我們可以編寫一個 Filter,并在 web.xml 中對其進行配置,使其對于訪問所有需要 CSRF 保護的資源的請求進行攔截。

          在 filter 中對請求的 Referer 驗證代碼如下
          清單 1. 在 Filter 中驗證 Referer

          1
          2
          3
          4
          5
          6
          7
          8
          // 從 HTTP 頭中取得 Referer 值
           String referer=request.getHeader("Referer"); 
           // 判斷 Referer 是否以 bank.example 開頭
           if((referer!=null) &&(referer.trim().startsWith(“bank.example”))){ 
              chain.doFilter(request, response); 
           }else
              request.getRequestDispatcher(“error.jsp”).forward(request,response); 
           }

          以上代碼先取得 Referer 值,然后進行判斷,當(dāng)其非空并以 bank.example 開頭時,則繼續(xù)請求,否則的話可能是 CSRF 攻擊,轉(zhuǎn)到 error.jsp 頁面。

          如果要進一步驗證請求中的 token 值,代碼如下

          1
          <em><strong>清單 2. 在 filter 中驗證請求中的</strong></em> token
          1
          2
          3
          4
          5
          6
          7
          8
          9
          10
          11
          12
          13
          14
          15
          16
          17
          18
          19
          20
          21
          22
          23
          24
          25
          26
          HttpServletRequest req = (HttpServletRequest)request; 
           HttpSession s = req.getSession(); 
            
           // 從 session 中得到 csrftoken 屬性
           String sToken = (String)s.getAttribute(“csrftoken”); 
           if(sToken == null){ 
            
              // 產(chǎn)生新的 token 放入 session 中
              sToken = generateToken(); 
              s.setAttribute(“csrftoken”,sToken); 
              chain.doFilter(request, response); 
           } else
            
              // 從 HTTP 頭中取得 csrftoken 
              String xhrToken = req.getHeader(“csrftoken”); 
            
              // 從請求參數(shù)中取得 csrftoken 
              String pToken = req.getParameter(“csrftoken”); 
              if(sToken != null && xhrToken != null && sToken.equals(xhrToken)){ 
                  chain.doFilter(request, response); 
              }else if(sToken != null && pToken != null && sToken.equals(pToken)){ 
                  chain.doFilter(request, response); 
              }else
                  request.getRequestDispatcher(“error.jsp”).forward(request,response); 
              
           }

          首先判斷 session 中有沒有 csrftoken,如果沒有,則認(rèn)為是第一次訪問,session 是新建立的,這時生成一個新的 token,放于 session 之中,并繼續(xù)執(zhí)行請求。如果 session 中已經(jīng)有 csrftoken,則說明用戶已經(jīng)與服務(wù)器之間建立了一個活躍的 session,這時要看這個請求中有沒有同時附帶這個 token,由于請求可能來自于常規(guī)的訪問或是 XMLHttpRequest 異步訪問,我們分別嘗試從請求中獲取 csrftoken 參數(shù)以及從 HTTP 頭中獲取 csrftoken 自定義屬性并與 session 中的值進行比較,只要有一個地方帶有有效 token,就判定請求合法,可以繼續(xù)執(zhí)行,否則就轉(zhuǎn)到錯誤頁面。生成 token 有很多種方法,任何的隨機算法都可以使用,Java 的 UUID 類也是一個不錯的選擇。

          除了在服務(wù)器端利用 filter 來驗證 token 的值以外,我們還需要在客戶端給每個請求附加上這個 token,這是利用 js 來給 html 中的鏈接和表單請求地址附加 csrftoken 代碼,其中已定義 token 為全局變量,其值可以從 session 中得到。

          1
          <em><strong>清單 3. 在客戶端對于請求附加</strong> </em>token
          1
          2
          3
          4
          5
          6
          7
          8
          9
          10
          11
          12
          13
          14
          15
          16
          17
          18
          19
          20
          21
          22
          23
          24
          25
          26
          27
          28
          29
          30
          31
          32
          33
          34
          35
          36
          37
          38
          39
          40
          41
          42
          43
          44
          45
          46
          47
          48
          49
          50
          51
          52
          53
          54
          55
          56
          57
          58
          59
          60
          61
          62
          function appendToken(){ 
              updateForms(); 
              updateTags(); 
           
            
           function updateForms() { 
              // 得到頁面中所有的 form 元素
              var forms = document.getElementsByTagName('form'); 
              for(i=0; i<forms.length; i++) { 
                  var url = forms[i].action; 
            
                  // 如果這個 form 的 action 值為空,則不附加 csrftoken 
                  if(url == null || url == "" ) continue
            
                  // 動態(tài)生成 input 元素,加入到 form 之后
                  var e = document.createElement("input"); 
                  e.name = "csrftoken"
                  e.value = token; 
                  e.type="hidden"
                  forms[i].appendChild(e); 
              
           
            
           function updateTags() { 
              var all = document.getElementsByTagName('a'); 
              var len = all.length; 
            
              // 遍歷所有 a 元素
              for(var i=0; i<len; i++) { 
                  var e = all[i]; 
                  updateTag(e, 'href', token); 
              
           
            
           function updateTag(element, attr, token) { 
              var location = element.getAttribute(attr); 
              if(location != null && location != '' '' ) { 
                  var fragmentIndex = location.indexOf('#'); 
                  var fragment = null
                  if(fragmentIndex != -1){ 
            
                      //url 中含有只相當(dāng)頁的錨標(biāo)記
                      fragment = location.substring(fragmentIndex); 
                      location = location.substring(0,fragmentIndex); 
                  
            
                  var index = location.indexOf('?'); 
            
                  if(index != -1) { 
                      //url 中已含有其他參數(shù)
                      location = location + '&csrftoken=' + token; 
                  } else
                      //url 中沒有其他參數(shù)
                      location = location + '?csrftoken=' + token; 
                  
                  if(fragment != null){ 
                      location += fragment; 
                  
            
                  element.setAttribute(attr, location); 
              
           }

          在客戶端 html 中,主要是有兩個地方需要加上 token,一個是表單 form,另一個就是鏈接 a。這段代碼首先遍歷所有的 form,在 form 最后添加一隱藏字段,把 csrftoken 放入其中。然后,代碼遍歷所有的鏈接標(biāo)記 a,在其 href 屬性中加入 csrftoken 參數(shù)。注意對于 a.href 來說,可能該屬性已經(jīng)有參數(shù),或者有錨標(biāo)記。因此需要分情況討論,以不同的格式把 csrftoken 加入其中。

          如果你的網(wǎng)站使用 XMLHttpRequest,那么還需要在 HTTP 頭中自定義 csrftoken 屬性,利用 dojo.xhr 給 XMLHttpRequest 加上自定義屬性代碼如下:

          1
          <strong><em>清單 4. 在 HTTP 頭中自定義屬性</em></strong>
          1
          2
          3
          4
          5
          6
          7
          8
          9
          10
          11
          12
          13
          14
          15
                           
          var plainXhr = dojo.xhr; 
           
          // 重寫 dojo.xhr 方法
          dojo.xhr = function(method,args,hasBody) { 
             // 確保 header 對象存在
             args.headers = args.header || {}; 
           
             tokenValue = '<%=request.getSession(false).getAttribute("csrftoken")%>'
             var token = dojo.getObject("tokenValue"); 
           
             // 把 csrftoken 屬性放到頭中
             args.headers["csrftoken"] = (token) ? token : "  "
             return plainXhr(method,args,hasBody); 
          };

          這里改寫了 dojo.xhr 的方法,首先確保 dojo.xhr 中存在 HTTP 頭,然后在 args.headers 中添加 csrftoken 字段,并把 token 值從 session 里拿出放入字段中。

          CSRF 防御方法選擇之道

          通過上文討論可知,目前業(yè)界應(yīng)對 CSRF 攻擊有一些克制方法,但是每種方法都有利弊,沒有一種方法是完美的。如何選擇合適的方法非常重要。如果網(wǎng)站是一個現(xiàn)有系統(tǒng),想要在最短時間內(nèi)獲得一定程度的 CSRF 的保護,那么驗證 Referer 的方法是最方便的,要想增加安全性的話,可以選擇不支持低版本瀏覽器,畢竟就目前來說,IE7+, FF3+ 這類高版本瀏覽器的 Referer 值還無法被篡改。

          如果系統(tǒng)必須支持 IE6,并且仍然需要高安全性。那么就要使用 token 來進行驗證,在大部分情況下,使用 XmlHttpRequest 并不合適,token 只能以參數(shù)的形式放于請求之中,若你的系統(tǒng)不支持用戶自己發(fā)布信息,那這種程度的防護已經(jīng)足夠,否則的話,你仍然難以防范 token 被黑客竊取并發(fā)動攻擊。在這種情況下,你需要小心規(guī)劃你網(wǎng)站提供的各種服務(wù),從中間找出那些允許用戶自己發(fā)布信息的部分,把它們與其他服務(wù)分開,使用不同的 token 進行保護,這樣可以有效抵御黑客對于你關(guān)鍵服務(wù)的攻擊,把危害降到最低。畢竟,刪除別人一個帖子比直接從別人賬號中轉(zhuǎn)走大筆存款嚴(yán)重程度要輕的多。

          如果是開發(fā)一個全新的系統(tǒng),則抵御 CSRF 的選擇要大得多。筆者建議對于重要的服務(wù),可以盡量使用 XMLHttpRequest 來訪問,這樣增加 token 要容易很多。另外盡量避免在 js 代碼中使用復(fù)雜邏輯來構(gòu)造常規(guī)的同步請求來訪問需要 CSRF 保護的資源,比如 window.location 和 document.createElement(“a”) 之類,這樣也可以減少在附加 token 時產(chǎn)生的不必要的麻煩。

          最后,要記住 CSRF 不是黑客唯一的攻擊手段,無論你 CSRF 防范有多么嚴(yán)密,如果你系統(tǒng)有其他安全漏洞,比如跨站域腳本攻擊 XSS,那么黑客就可以繞過你的安全防護,展開包括 CSRF 在內(nèi)的各種攻擊,你的防線將如同虛設(shè)。

          總結(jié)與展望

          可見,CSRF 是一種危害非常大的攻擊,又很難以防范。目前幾種防御策略雖然可以很大程度上抵御 CSRF 的攻擊,但并沒有一種完美的解決方案。一些新的方案正在研究之中,比如對于每次請求都使用不同的動態(tài)口令,把 Referer 和 token 方案結(jié)合起來,甚至嘗試修改 HTTP 規(guī)范,但是這些新的方案尚不成熟,要正式投入使用并被業(yè)界廣為接受還需時日。在這之前,我們只有充分重視 CSRF,根據(jù)系統(tǒng)的實際情況選擇最合適的策略,這樣才能把 CSRF 的危害降到最低。

          posted @ 2013-11-05 20:53 云云 閱讀(753) | 評論 (0)編輯 收藏

          “為什么存儲密碼用字符數(shù)組比字符串更合適”這個問題是我的一個朋友在最近一次面試中提到的。那哥們是應(yīng)聘的是一個技術(shù)lead的職位,有超過六年的工作經(jīng)驗。字符數(shù)組和字符串都可以用于存儲文本數(shù)據(jù),但是在選擇具體哪一種時,如果你沒有針對具體的情況是很難回答這個問題的。但是正如這哥們說的任何與字符串相關(guān)的問題一定有線索可以在字符串的屬性里面找到,比如不可變性。他就用這種方式去說服面試官。這里我們就來探討一些關(guān)于為什么你應(yīng)該使用char[] 來存儲密碼而不是字符串。

          1. 因為字符串是不可變對象,如果作為普通文本存儲密碼,那么它會一直存在內(nèi)存中直至被垃圾收集器回收。因為字符串從字符串池中取出的(如果池中有該字符串就直接從池中獲取,否則new 一個出來,然后把它放入池中),這樣有很大的機會長期保留在內(nèi)存中,這樣會引發(fā)安全問題。因為任何可以訪問內(nèi)存的人能以明碼的方式把密碼dump出來。另外你還應(yīng)該始終以加密而不是普通的文本來表示密碼。因為字符串是不可變,因此沒有任何方法可以改變其內(nèi)容,任何改變都將產(chǎn)生一個新的字符串,而如果使用char[],你就可以設(shè)置所有的元素為空或者為零(這里作者的意思是說,讓認(rèn)證完后該數(shù)組不再使用了,就可以用零或者null覆蓋原來的密碼,防止別人從內(nèi)存中dump出來)。所以存儲密碼用字符數(shù)組可以明顯的減輕密碼被盜的危險。

          2. Java官方本身也推薦字符數(shù)組,JpasswordField的方法getPassword()就是返回一個字符數(shù)組,而由于安全原因getText()方法是被廢棄掉的,因為它返回一個純文本字符串。跟隨Java 團隊的步伐吧,沒有錯。

          3. 字符串以普通文本打印在在log文件或控制臺中也易引起危險,但是如果使用數(shù)組你不能打印數(shù)組的內(nèi)容,而是它的內(nèi)存地址。盡管這不是它的真正原因,但仍值得注意。

          1
          2
          3
          4
          5
          6
          7
          String strPassword="Unknown";
          char[] charPassword= new char[]{'U','n','k','w','o','n'};
          System.out.println("String password: " + strPassword);
          System.out.println("Character password: " + charPassword);
            
          String password: Unknown
          Character password: [C@110b053
          1
           

          以上所有就是為什么字符數(shù)組比字符串保存密碼要好的原因,盡管使用char[]還不足以安全。我同樣建議你用hash或者密碼加密代替普通文本,而且一旦認(rèn)證完成盡可能快的把他清除掉。

          posted @ 2013-11-05 20:00 云云 閱讀(1014) | 評論 (0)編輯 收藏

          MyISAM:這個是默認(rèn)類型,它是基于傳統(tǒng)的ISAM類型,ISAM是Indexed Sequential Access Method (有索引的順序訪問方法) 的縮寫,它是存儲記錄和文件的標(biāo)準(zhǔn)方法.與其他存儲引擎比較,MyISAM具有檢查和修復(fù)表格的大多數(shù)工具. MyISAM表格可以被壓縮,而且它們支持全文搜索.它們不是事務(wù)安全的,而且也不支持外鍵。如果事物回滾將造成不完全回滾,不具有原子性。如果執(zhí)行大量的SELECT,MyISAM是更好的選擇。

            InnoDB:這種類型是事務(wù)安全的.它與BDB類型具有相同的特性,它們還支持外鍵.InnoDB表格速度很快.具有比BDB還豐富的特性, 因此如果需要一個事務(wù)安全的存儲引擎,建議使用它.如果你的數(shù)據(jù)執(zhí)行大量的INSERT或UPDATE,出于性能方面的考慮,應(yīng)該使用InnoDB表,

            對于支持事物的InnoDB類型的標(biāo),影響速度的主要原因是AUTOCOMMIT默認(rèn)設(shè)置是打開的,而且程序沒有顯式調(diào)用BEGIN 開始事務(wù),導(dǎo)致每插入一條都自動Commit,嚴(yán)重影響了速度。可以在執(zhí)行sql前調(diào)用begin,多條sql形成一個事物(即使autocommit打開也可以),將大大提高性能。

            ===============================================================

            InnoDB和MyISAM是在使用MySQL最常用的兩個表類型,各有優(yōu)缺點,視具體應(yīng)用而定。下面是已知的兩者之間的差別,僅供參考。

            innodb

            InnoDB 給 MySQL 提供了具有事務(wù)(commit)、回滾(rollback)和崩潰修復(fù)能力(crash recovery capabilities)的事務(wù)安全(transaction-safe (ACID compliant))型表。InnoDB 提供了行鎖(locking on row level),提供與 Oracle 類型一致的不加鎖讀取(non-locking read in SELECTs)。這些特性均提高了多用戶并發(fā)操作的性能表現(xiàn)。在InnoDB表中不需要擴大鎖定(lock escalation),因為 InnoDB 的列鎖定(row level locks)適宜非常小的空間。InnoDB 是 MySQL 上第一個提供外鍵約束(FOREIGN KEY constraints)的表引擎。

            InnoDB 的設(shè)計目標(biāo)是處理大容量數(shù)據(jù)庫系統(tǒng),它的 CPU 利用率是其它基于磁盤的關(guān)系數(shù)據(jù)庫引擎所不能比的。在技術(shù)上,InnoDB 是一套放在 MySQL 后臺的完整數(shù)據(jù)庫系統(tǒng),InnoDB 在主內(nèi)存中建立其專用的緩沖池用于高速緩沖數(shù)據(jù)和索引。 InnoDB 把數(shù)據(jù)和索引存放在表空間里,可能包含多個文件,這與其它的不一樣,舉例來說,在 MyISAM 中,表被存放在單獨的文件中。InnoDB 表的大小只受限于操作系統(tǒng)的文件大小,一般為 2 GB。

            InnoDB所有的表都保存在同一個數(shù)據(jù)文件 ibdata1 中(也可能是多個文件,或者是獨立的表空間文件),相對來說比較不好備份,免費的方案可以是拷貝數(shù)據(jù)文件、備份 binlog,或者用 mysqldump。

            MyISAM

            MyISAM 是MySQL缺省存貯引擎 .

            每張MyISAM 表被存放在三個文件 。frm 文件存放表格定義。 數(shù)據(jù)文件是MYD (MYData) 。 索引文件是MYI (MYIndex) 引伸。

            因為MyISAM相對簡單所以在效率上要優(yōu)于InnoDB..小型應(yīng)用使用MyISAM是不錯的選擇.

            MyISAM表是保存成文件的形式,在跨平臺的數(shù)據(jù)轉(zhuǎn)移中使用MyISAM存儲會省去不少的麻煩

            以下是一些細(xì)節(jié)和具體實現(xiàn)的差別:

            1.InnoDB不支持FULLTEXT類型的索引。

            2.InnoDB 中不保存表的具體行數(shù),也就是說,執(zhí)行select count(*) from table時,InnoDB要掃描一遍整個表來計算有多少行,但是MyISAM只要簡單的讀出保存好的行數(shù)即可。注意的是,當(dāng)count(*)語句包含 where條件時,兩種表的操作是一樣的。

            3.對于AUTO_INCREMENT類型的字段,InnoDB中必須包含只有該字段的索引,但是在MyISAM表中,可以和其他字段一起建立聯(lián)合索引。

            4.DELETE FROM table時,InnoDB不會重新建立表,而是一行一行的刪除。

            5.LOAD TABLE FROM MASTER操作對InnoDB是不起作用的,解決方法是首先把InnoDB表改成MyISAM表,導(dǎo)入數(shù)據(jù)后再改成InnoDB表,但是對于使用的額外的InnoDB特性(例如外鍵)的表不適用。

            另外,InnoDB表的行鎖也不是絕對的,如果在執(zhí)行一個SQL語句時MySQL不能確定要掃描的范圍,InnoDB表同樣會鎖全表,例如update table set num=1 where name like “%aaa%”

            任何一種表都不是萬能的,只用恰當(dāng)?shù)尼槍I(yè)務(wù)類型來選擇合適的表類型,才能最大的發(fā)揮MySQL的性能優(yōu)勢。

            ===============================================================

            以下是InnoDB和MyISAM的一些聯(lián)系和區(qū)別!

            1. 4.0以上mysqld都支持事務(wù),包括非max版本。3.23的需要max版本mysqld才能支持事務(wù)。

            2. 創(chuàng)建表時如果不指定type則默認(rèn)為myisam,不支持事務(wù)。

            可以用 show create table tablename 命令看表的類型。

            2.1 對不支持事務(wù)的表做start/commit操作沒有任何效果,在執(zhí)行commit前已經(jīng)提交,測試:

            執(zhí)行一個msyql:

            use test;

            drop table if exists tn;

            create table tn (a varchar(10)) type=myisam;

            drop table if exists ty;

            create table ty (a varchar(10)) type=innodb;

            begin;

            insert into tn values('a');

            insert into ty values('a');

            select * from tn;

            select * from ty;

            都能看到一條記錄

            執(zhí)行另一個mysql:

            use test;

            select * from tn;

            select * from ty;

            只有tn能看到一條記錄

            然后在另一邊

            commit;

            才都能看到記錄。

            3. 可以執(zhí)行以下命令來切換非事務(wù)表到事務(wù)(數(shù)據(jù)不會丟失),innodb表比myisam表更安全:

            alter table tablename type=innodb;

            3.1 innodb表不能用repair table命令和myisamchk -r table_name

            但可以用check table,以及mysqlcheck [OPTIONS] database [tables]

            4. 啟動mysql數(shù)據(jù)庫的命令行中添加了以下參數(shù)可以使新發(fā)布的mysql數(shù)據(jù)表都默認(rèn)為使用事務(wù)(

            只影響到create語句。)

            --default-table-type=InnoDB

            測試命令:

            use test;

            drop table if exists tn;

            create table tn (a varchar(10));

            show create table tn;

            5. 臨時改變默認(rèn)表類型可以用:

            set table_type=InnoDB;

            show variables like 'table_type';

            或:

            c:\mysql\bin\mysqld-max-nt --standalone --default-table-type=InnoDB

          posted @ 2013-11-05 14:27 云云 閱讀(324) | 評論 (0)編輯 收藏

          今天遇到這坑爹的事情, eclipse導(dǎo)入的工程運行總是報java.lang.NoNoClassDefFoundError錯誤
          如果是自己創(chuàng)建的工程沒遇到這樣的錯誤
          eclipse沒有把工程編繹到classes目錄下,該目錄下為空


          查看工程目錄中bin路徑下沒有生成對應(yīng)的.class文檔

          網(wǎng)上查閱了很多資料,大部分都指示classpath設(shè)置不對。但是Eclipse本身并不需要配置classpath仍然可以正確運行。

          最終,在網(wǎng)絡(luò)上找到一盞明燈,方法如下:
          把properties屬性里的java compiler-->building-->abort build when build path errors occur 前的勾去掉了
          這樣就ok 了

          posted @ 2013-10-23 15:32 云云 閱讀(398) | 評論 (0)編輯 收藏

          public synchronized void methodA(int a, int b);

          public synchronized void methodB(int a){
          methodA(a, 0);
          }

          這樣的代碼是成立的,一個線程對同一個對象的鎖可以反復(fù)獲取。這種同步鎖稱為可重入的鎖。
          加在非static方法上的synchronized方法是和synchronized(this)塊等價的,均為對象鎖,即對this加鎖。
          獲得當(dāng)前對象鎖的線程,可以繼續(xù)獲得當(dāng)前對象鎖,JVM負(fù)責(zé)跟蹤對象被加鎖的次數(shù)。線程運行B方法,此時如果this鎖可以用,線程獲得該鎖,線程給對象加鎖,計數(shù)器變成1,然后B方法調(diào)用A方法,由于是對同一個對象同一個線程,線程可以繼續(xù)獲得鎖,計數(shù)器變?yōu)?,表示this被加鎖2次。A方法完畢后,線程釋放鎖,計數(shù)器變?yōu)?,此時對象鎖對其他線程依然是不可獲得的。B方法完畢后,線程繼續(xù)釋放鎖,此時計數(shù)器變?yōu)?,表示鎖被完全釋放,其他線程可以獲得對象鎖。

          public synchronized void methodA(int a, int b){

          }


          public synchronized void methodB(int a, int b){

          }

          以上兩方法在同一實例對象上是互斥的,synchronized 加在方法上 即對this加鎖,因此在同一實例對象上 兩方法是互斥的。


          posted @ 2013-10-13 23:17 云云 閱讀(467) | 評論 (0)編輯 收藏

               摘要: 當(dāng)一個類中有聲明為static final的變量,這樣的變量對類的加載器有一定的影響,首先看看下面的例子。package com.bird.classLoad;   class FinalTest{            public static&...  閱讀全文

          posted @ 2013-07-21 15:20 云云 閱讀(310) | 評論 (0)編輯 收藏

          Sequence是數(shù)據(jù)庫系統(tǒng)的特性,有的數(shù)據(jù)庫有Sequence,有的沒有。比如Oracle、DB2、PostgreSQL數(shù)據(jù)庫有Sequence,MySQL、SQL Server、Sybase等數(shù)據(jù)庫沒有Sequence。
          定義一個seq_test,最小值為10000,最大值為99999999999999999,從20000開始,增量的步長為1,緩存為20的循環(huán)排序Sequence。
          Oracle的定義方法:
          create sequence seq_test
          minvalue 10000
          maxvalue 99999999999999999
          start with 20000
          increment by 1
          cache 20
          cycle
          order;
          Sequence與indentity的基本作用都差不多。都可以生成自增數(shù)字序列。
          Sequence是數(shù)據(jù)庫系統(tǒng)中的一個對象,可以在整個數(shù)據(jù)庫中使用,和表沒有任何關(guān)系;indentity僅僅是指定在表中某一列上,作用范圍就是這個表。

          一個表中可以有多個字段使用sequence字段
          insert into temp(event_id,event_priority,event_status) values(sequence1.nextval, sequence1.nextval,sequence1.nextval);

          mysql 實現(xiàn)sequence

          由于mysql不帶sequence,所以要手寫的,創(chuàng)建一張儲存sequence的表(tb_sequence),然后手動插入一條數(shù)據(jù) ,最后自定義一個函數(shù)來處理要增長的值。

          1、創(chuàng)建表tb_sequence,用來存放sequence值:

           create table tb_sequence(name varchar(50) not null,current_value int not null,_increment int not null default 1, primary key(name));   
          2 手動插入數(shù)據(jù): 
            insert into tb_sequence values('userid',100,2);  
          3、定義函數(shù) _nextval:
          1. DELIMITER //  
          2. create function _nextval(n varchar(50)) returns integer   
          3. begin  
          4. declare _cur int;  
          5. set _cur=(select current_value from tb_sequence where name= n);  
          6. update tb_sequence  
          7.  set current_value = _cur + _increment  
          8.  where name=n ;  
          9. return _cur;  
          10. end;  
          檢驗結(jié)果

           

          select _nextval('userid');  



          posted @ 2013-07-19 21:39 云云 閱讀(2896) | 評論 (1)編輯 收藏

               摘要: (1)BitSet類大小可動態(tài)改變, 取值為true或false的位集合。用于表示一組布爾標(biāo)志。 此類實現(xiàn)了一個按需增長的位向量。位 set 的每個組件都有一個 boolean 值。用非負(fù)的整數(shù)將 BitSet 的位編入索引。可以對每個編入索引的位進行測試、設(shè)置或者清除。通過邏輯與、邏輯或和邏輯異或操作,可以使用一個 BitSet 修改另一個 BitSet 的內(nèi)容。 默認(rèn)情況下,set 中所有位...  閱讀全文

          posted @ 2013-06-14 11:24 云云 閱讀(5061) | 評論 (0)編輯 收藏

               摘要: 普通泛型 Java代碼 class Point<T>{ // 此處可以隨便寫標(biāo)識符號,T是type的簡稱 private T var ; // var的類型由T指定,即:由外部指定 public T getVar(){ // 返回值的類型由外部決定 return var ; } public void setVar(T var){ // 設(shè)置的類型也由外部決定 this....  閱讀全文

          posted @ 2013-06-04 21:03 云云 閱讀(307) | 評論 (0)編輯 收藏

          nbtstat -a IP
          nbtstat -anp 10.14x.1x.26x
          通過ip 反查 局域網(wǎng) 機器名
          注冊服務(wù)會經(jīng)常用到

          posted @ 2013-06-04 18:29 云云 閱讀(355) | 評論 (0)編輯 收藏

          1  depoly: 
              mvn clean source:jar deploy -Denforcer.skip=true -Dmaven.test.skip=true -U

          2  packet
              mvn clean install -Dmaven.test.skip=true -Denforcer.skip=true -U

          3 eclipse

            mvn eclipse:eclipse -Dwtpversion=2.0 -Denforcer.skip=true  -DdownloadJavadocs=true -o
          pause

          posted @ 2013-04-07 14:20 云云 閱讀(470) | 評論 (0)編輯 收藏

          前兩天休眠后機器非正常關(guān)機,重新啟動后運行eclipse。悲催的發(fā)現(xiàn)eclipse 無法啟動了。每次雙擊啟動后,確定完workspace后,顯示啟動畫面,沒過一會就進入灰色無響應(yīng)狀態(tài)。啟動畫面始終停留在Loading workbench狀態(tài)。反復(fù)重啟,狀態(tài)依舊。嘗試解決。

          搜索了一下,應(yīng)該是非正常關(guān)機導(dǎo)致eclipse工作區(qū)的文件狀態(tài)錯誤導(dǎo)致。在工作區(qū)目錄中,有一個.metadata目錄,里面是工作區(qū)及各插件的信息,刪除此目錄可以解決問題。

          為保險起見,將.metadata改名移動到/tmp目錄,再重啟eclipse,果然可以正常啟動eclipse了,但原來工作區(qū)的配置和項目信息也都消失,直接顯示的是歡迎界面。

          如何恢復(fù)原來的project配置呢?嘗試對比了當(dāng)前的.metadata和之前備份的那個目錄,發(fā)現(xiàn)缺少了很多配置文件。試著一點點恢復(fù)一些目錄,但效果不理想。因為不知道哪些文件(目錄)可以恢復(fù),哪些恢復(fù)會帶來問題。將備份的整個目錄恢復(fù)試試?Eclipse又回到了無法啟動的狀態(tài)了。

          怎么辦?這時想到啟動停止時顯示的狀態(tài):"Loading workbench",看來和這個workbench插件有關(guān)。查看原來的.metadata/.plugins目錄,在眾多文件夾中
          com.collabnet.subversion.merge          org.eclipse.search
          org.eclipse.compare                           org.eclipse.team.core
          org.eclipse.core.resources                  org.eclipse.team.cvs.core
          org.eclipse.core.runtime               org.eclipse.team.ui
          org.eclipse.debug.core                 org.eclipse.ui.ide
          org.eclipse.debug.ui                   org.eclipse.ui.intro
          org.eclipse.dltk.core                    org.eclipse.ui.views.log
          org.eclipse.dltk.core.index.sql.h2     org.eclipse.ui.workbench
          org.eclipse.dltk.ui                           org.eclipse.ui.workbench.texteditor
          org.eclipse.epp.usagedata.recording    org.eclipse.wb.discovery.core
          org.eclipse.jdt.core                             org.eclipse.wst.internet.cache
          org.eclipse.jdt.ui                                 org.eclipse.wst.jsdt.core
          org.eclipse.ltk.core.refactoring          org.eclipse.wst.jsdt.ui
          org.eclipse.ltk.ui.refactoring            org.eclipse.wst.jsdt.web.core
          org.eclipse.m2e.core                    org.eclipse.wst.sse.ui
          org.eclipse.m2e.logback.configuration  org.eclipse.wst.validation
          org.eclipse.mylyn.bugzilla.core        org.eclipse.wst.xml.core
          org.eclipse.mylyn.tasks.ui             org.tigris.subversion.subclipse.core
          org.eclipse.php.core                   org.tigris.subversion.subclipse.graph
          org.eclipse.php.ui                     org.tigris.subversion.subclipse.ui

          發(fā)現(xiàn)了兩個: org.eclipse.ui.workbenchorg.eclipse.ui.workbench.texteditor

          不管三七二十一,刪了這兩個目錄,重新啟動eclipse。正常啟動且原項目信息正確加載。

          posted @ 2013-04-01 09:57 云云 閱讀(662) | 評論 (0)編輯 收藏

          主站蜘蛛池模板: 泗水县| 石首市| 湘阴县| 聂荣县| 来安县| 高阳县| 堆龙德庆县| 吉木萨尔县| 封丘县| 乌拉特后旗| 金堂县| 津南区| 长葛市| 清原| 中宁县| 大兴区| 洮南市| 安泽县| 庐江县| 营口市| 句容市| 平顺县| 海兴县| 晋城| 仁寿县| 永德县| 蕲春县| 井陉县| 从江县| 通州市| 绿春县| 榆树市| 平乐县| 呼玛县| 中山市| 于田县| 墨江| 朔州市| 太和县| 巴东县| 济源市|