String newStr = new String(oldStr.getBytes(), "UTF-8");

java中的String類是按照unicode進行編碼的,當使用String(byte[] bytes, String encoding)構造字符串時,encoding所指的是bytes中的數據是按照那種方式編碼的,而不是最后產生的String是什么編碼方式,換句話說,是讓系統把bytes中的數據由encoding編碼方式轉換成unicode編碼。如果不指明,bytes的編碼方式將由jdk根據操作系統決定。

當我們從文件中讀數據時,最好使用InputStream方式,然后采用String(byte[] bytes, String encoding)指明文件的編碼方式。不要使用Reader方式,因為Reader方式會自動根據jdk指明的編碼方式把文件內容轉換成unicode 編碼。

當我們從數據庫中讀文本數據時,采用ResultSet.getBytes()方法取得字節數組,同樣采用帶編碼方式的字符串構造方法即可。

ResultSet rs;
bytep[] bytes = rs.getBytes();
String str = new String(bytes, "gb2312");

不要采取下面的步驟。

ResultSet rs;
String str = rs.getString();
str = new String(str.getBytes("iso8859-1"), "gb2312");

這種編碼轉換方式效率底。之所以這么做的原因是,ResultSet在getString()方法執行時,默認數據庫里的數據編碼方式為 iso8859-1。系統會把數據依照iso8859-1的編碼方式轉換成unicode。使用str.getBytes("iso8859-1")把數據還原,然后利用new String(bytes, "gb2312")把數據從gb2312轉換成unicode,中間多了好多步驟。

從HttpRequest中讀參數時,利用reqeust.setCharacterEncoding()方法設置編碼方式,讀出的內容就是正確的了。


先說Java。
JVM里面的任何字符串資源都是Unicode,就是說,任何String類型的數據都是Unicode編碼。沒有例外。既然只有一種編碼,那么,我們可以這么說,JVM里面的String是不帶編碼的。String相當于 char[]。
JVM里面的 byte[] 數據是帶編碼的。比如,Big5,GBK,GB2312,UTF-8之類的。
一個GBK編碼的byte[] 轉換成 String,其實就是從GBK編碼向Unicode編碼轉換。
一個String轉換成一個Big5編碼的byte[],其實就是從Unicode編碼向Big5編碼轉換。
所以,Unicode是所有編碼轉換的中間介質。所有的編碼都有一個轉換器可以轉換到Unicode,而Unicode也可以轉換到其他所有的編碼。這樣構成了一個總線結構。
比如,如果總共有10種編碼,那么只需要 10 + 10 = 20個轉換器就夠了。如果要是兩兩直接轉換,那么,需要的轉換器數量是一個組合數字,需要90個轉換器。

一個系統的不同部分,都有自己的編碼。比如,數據庫,文件,JVM,瀏覽器這4個部分。
在這些部分之間數據交換的地方,就會出現編碼問題。比如,數據庫和JVM之間,文件和JVM之間,瀏覽器和JVM之間。這些問題的原理都是相通的。

編碼問題最容易處理的地方是文件和JVM之間。文件IO API帶有encoding 參數,請自行查閱。
最不容易出現編碼問題的地方是數據庫和JVM之間。這應該是數據庫JDBC連接的基本功能。本文不專門進行討論。
最容易出問題的地方是瀏覽器和服務器JVM之間(其實,代碼里面的字符串更容易出問題,不過,我已經事先聲明,本文不討論代碼中的字符串編碼)。下面主要討論這塊瀏覽器和服務器JVM之間的編碼問題。

我們把瀏覽器編碼叫做 Browser_Charset,把JVM編碼叫做JVM_Charset(通常等于服務器系統編碼)。
當瀏覽器的數據過來的時候,是一個帶有Browser_Charset的byte[]。
如果用戶處理程序需要一個String類型的數據,那么JVM會好心好意地把這個byte[]轉換成String。使用的轉換器是 JVM_Charset -> Unicode。
注意,如果這個時候,Browser_Charset 和 JVM_Charset并不相等。那么,這個自動轉換是錯誤的。
為了彌補這個錯誤。我們需要做兩步工作。
(1) Unicode -> JVM_Charset,把這個String 轉換回到原來的 byte[]。
(2) Browser_Charset -> Unicode,把這個還原的byte[]轉換成 String。

這個效果,和直接從HTTP Request取得byte[],然后執行 (2) Browser_Charset -> Unicode 的效果是一樣的。

如果在Request里面設置了CharacterEncoding,那么POST Data參數就不需要自己手工轉換了,web server的自動轉換就是正確的。URL的參數編碼還涉及到URL編碼,需要考慮的問題多一些,沒有這么簡單。

JVM把數據發到瀏覽器的時候。也需要考慮編碼問題。可以在Response里面設置。另外,HTML Meta Header里面也可以設置編碼,提醒Browser選擇正確編碼。

有些語言的VM或者解釋器的字符串編碼可能不同。比如,Ruby。不過,編碼轉換原理都是一樣的。

That is all.

JAVA字符編碼

一、概要
在JAVA應用程序特別是基于WEB的程序中,經常遇到字符的編碼問題。為了防止出現亂碼,首先需要了解JAVA是如何處理字符的,這樣就可以有目的地在輸入/輸出環節中增加必要的轉碼。其次,由于各種服務器有不同的處理方式,還需要多做試驗,確保使用中不出現亂碼。
二、基本概念
2.1 JAVA中字符的表達
JAVA 中有char、byte、String這幾個概念。char 指的是一個UNICODE字符,為16位的整數。byte 是字節,字符串在網絡傳輸或存儲前需要轉換為byte數組。在從網絡接收或從存儲設備讀取后需要將byte數組轉換成String。String是字符串,可以看成是由char組成的數組。String 和 char 為內存形式,byte是網絡傳輸或存儲的序列化形式。
舉例:

String ying = “英”;
char ying = ying.charAt(0);
String yingHex = Integer.toHexString(ying);
82 F1
byte yingGBBytes = ying.getBytes(“GBK”);
GB編碼的字節數值
D3 A2
2.2 編碼方式的簡介
String序列化成byte數組或反序列化時需要選擇正確的編碼方式。如果編碼方式不正確,就會得到一些0x3F的值。常用的字符編碼方式有ISO8859_1、GB2312、GBK、UTF-8/UTF-16/UTF-32。
ISO8859_1用來編碼拉丁文,它由單字節(0-255)組成。
GB2312、GBK用來編碼簡體中文,它有單字節和雙字節混合組成。最高位為1的字節和下一個字節構成一個漢字,最高位為0的字節是ASCII碼。
UTF-8/UTF-16/UTF-32是國際標準UNICODE的編碼方式。 用得最多的是UTF-8,主要是因為它在對拉丁文編碼時節約空間。
UNICODE值 UTF-8編碼
U-00000000 - U-0000007F: 0xxxxxxx
U-00000080 - U-000007FF: 110xxxxx 10xxxxxx
U-00000800 - U-0000FFFF: 1110xxxx 10xxxxxx 10xxxxxx
U-00010000 - U-001FFFFF: 11110xxx 10xxxxxx 10xxxxxx 10xxxxxx
U-00200000 - U-03FFFFFF: 111110xx 10xxxxxx 10xxxxxx 10xxxxxx 10xxxxxx
U-04000000 - U-7FFFFFFF: 1111110x 10xxxxxx 10xxxxxx 10xxxxxx 10xxxxxx 10xxxxxx
三、J2SE中相關的函數
String str =”英”;
//取得GB2312編碼的字節
byte[] bytesGB2312 = str.getBytes(“GB2312”);
//取得平臺缺省編碼的字節(solaris為ISO8859_1,windows為GB2312)
byte[] bytesDefault = str.getBytes();
//用指定的編碼將字節轉換成字符串
String newStrGB = new String(bytesGB2312, “GB2312”);

//用平臺缺省的編碼將字節轉換成字符串(solaris為ISO8859_1,windows為GB2312)
String newStrDefault = new String(bytesDefault);
//用指定的編碼從字節流里面讀取字符
InputStream in = xxx;
InputStreamReader reader = InputStreamReader( in, “GB2312”);
char aChar = reader.read();
四、JSP、數據庫的編碼
4.1 JSP中的編碼
(1) 靜態聲明:
CHARSET有兩個作用:
JSP文件的編碼方式:在讀取JSP文件、生成JAVA類時,源JSP文件中漢字的編碼
JSP輸出流的編碼方式:在執行JSP時,往response流里面寫入數據的編碼方式
(2) 動態改變:在往response流里面寫數據前可以調用response.setContentType(),設定正確的編碼類型。
(3) 在TOMCAT中,由Request.getParameter() 得到的參數,編碼方式都是ISO8859_1。所以如果在瀏覽器輸入框內輸入一個漢字“英”,在服務器端就得到一個ISO8859_1編碼的(0x00,0xD3,0x00,0xA2)。所以通常在接收參數時轉碼:
String wrongStr = response.getParameter(“name”);
String correctStr = new String(wrongStr.getBytes(“ISO8859_1”),”GB2312”);
在最新的SERVLET規范里面,也可以在獲取參數之前執行如下代碼:
request.setCharacterEncoding(“GB2312”);
4.2 數據庫的編碼
(1) 數據庫使用UTF-16
如果String中是UNICODE字符,寫入讀出時不需要轉碼
(2) 數據庫使用ISO8859_1
如果String中是UNICODE字符,寫入讀出時需要轉碼
寫入:String newStr = new String(oldStr.getByte(“GB2312”), “ISO8859_1”);
讀出:String newStr = new String(oldStr.getByte(“ISO8859_1”),”GB2312”);
五、源文件的編碼
5.1 資源文件
資源文件的編碼方式和編輯平臺相關。在WINDOWS平臺下編寫的資源文件,以GB2312方式編碼。在編譯時需要轉碼,以確保在各個平臺上的正確性:
native2ascii ?encoding GB2312 source.properties
這樣從資源文件中讀出的就是正確的UNICODE字符串。
5.2 源文件
源文件的編碼方式和編輯平臺相關。在WINDOWS平臺下開發的源文件,以GB2312方式編碼。在編譯的時候,需要指定源文件的編碼方式:
javac ?encoding GB2312
JAVA編譯后生成的字節文件的編碼為UTF-8。

①最新版TOMCAT4.1.18支持request.setCharacterEncoding(String enc)
②資源文件轉碼成company.name=u82f1u65afu514b
③如果數據庫使用utf-16則不需要這部分轉碼
④頁面上應有
轉碼?:
String s = new String
(request.getParameter(“name”).getBytes(“ISO8859_1”),”GB2312”);
轉碼?:
String s = new String(name.getBytes(“GB2312”),”ISO8859_1”);
轉碼?:
String s = new String(name.getBytes(“ISO8859_1”),” GB2312”);