引用：http://blog.csdn.net/Mr_IT/archive/2006/10/18/1339656.aspx
>漢字編碼的相關說明
漢字是雙字節(jié)的，要占用兩個BYTE的位置（即16位），分別稱為高位和低位。
中國規(guī)定的漢字編碼為GB2312，這是強制性的，目前幾乎所有的能處理中文的應用程序都支持GB2312。GB2312包括了一二級漢字和9區(qū)符號，高位從0xa1到0xfe，低位也是從0xa1到0xfe，其中，漢字的編碼范圍為0xb0a1到0xf7fe。
另外有一種編碼，叫做GBK，但這是一份規(guī)范，不是強制的。GBK提供了20902個漢字，它兼容GB2312，編碼范圍為0x8140到0xfefe。GBK中的所有字符都可以一一映射到Unicode 2.0。
中國還頒布了另一種標準：GB18030-2000（GBK2K）。它收錄了藏、蒙等少數(shù)民族的字型，從根本上解決了字位不足的問題。注意：它不再是定長的。其二字節(jié)部份與GBK兼容，四字節(jié)部分是擴充的字符、字形。它的首字節(jié)和第三字節(jié)從0x81到0xfe，二字節(jié)和第四字節(jié)從0x30到0x39。
2>不同語言直接的轉換
異種語言之間的轉換是通過Unicode來完成的。假設有兩種不同的語言A和B，轉換的步驟為：先把A轉化為Unicode，再把Unicode轉化為B。
舉例說明。有GB2312中有一個漢字“李”，其編碼為“C0EE”，欲轉化為ISO8859-1編碼。步驟為：先把“李”字轉化為Unicode，得到 “674E”，再把“674E”轉化為ISO8859-1字符。當然，這個映射不會成功，因為ISO8859-1中根本就沒有與“674E”對應的字符。當映射不成功時，問題就發(fā)生了！當從某語言向Unicode轉化時，如果在某語言中沒有該字符，得到的將是Unicode的代碼“\uffffd”（“\ u”表示是Unicode編碼，）。而從Unicode向某語言轉化時，如果某語言沒有對應的字符，則得到的是“0x3f”（“?”）。這就是“?”的由來。例如：把字符流buf =“0x80 0x40 0xb0 0xa1”進行new String(buf, "gb2312")操作，得到的結果是“\ufffd\u554a”，再println出來，得到的結果將是“?啊”，因為“0x80 0x40”是GBK中的字符，在GB2312中沒有。再如，把字符串String="\u00d6\u00ec\u00e9\u0046\u00bb\ u00f9"進行new String (buf.getBytes("GBK"))操作，得到的結果是“3fa8aca8a6463fa8b4”，其中，“\u00d6”在“GBK”中沒有對應的字符，得到“3f”，“\u00ec”對應著“a8ac”，“\u00e9”對應著“a8a6”，“0046”對應著“46”（因為這是ASCII字符），“\u00bb”沒找到，得到“3f”，最后，“\u00f9”對應著“a8b4”。把這個字符串println一下，得到的結果是“?ìéF? ù”。看到?jīng)]？這里并不全是問號，因為GBK與Unicode映射的內(nèi)容中除了漢字外還有字符，本例就是最好的明證。
3>Unicode格式
Unicode默認為UTF-16格式。
UTF-8是Unicode壓縮版本，對于大多數(shù)常用字符集(ASCII中0~127字符)它只使用單字節(jié)，而對其它常用字符(特別是朝鮮和漢語會意文字)，它使用３字節(jié)。如果寫的主要是英語，那么UTF-8可減少文件大小一半左右。
UTF-8就是以8位為單元對UCS進行編碼，以字節(jié)為編碼單元，沒有字節(jié)序的問題。UTF-16以兩個字節(jié)為編碼單元，在解釋一個UTF-16文本前，首先要弄清楚每個編碼單元的字節(jié)序。例如"奎"的Unicode編碼是594E，"乙"的Unicode編碼是4E59。如果我們收到UTF-16字節(jié)流 "594E"，那么這是“奎”還是"乙"？Unicode規(guī)范中推薦的標記字節(jié)順序的方法是BOM(即Byte Order Mark)。如果接收者收到FEFF，就表明這個字節(jié)流是Big-Endian的；如果收到FFFE，就表明這個字節(jié)流是Little-Endian的。
3>UTF格式
UTF，是Unicode Text Format的縮寫，意為Unicode文本格式。對于UTF，是這樣定義的：
● 如果Unicode的16位字符的頭9位是0，則用一個字節(jié)表示，這個字節(jié)的首位是“0”，剩下的7位與原字符中的后7位相同，如“\u0034” （0000 0000 0011 0100），用“34” (0011 0100)表示；（與源Unicode字符是相同的）；
>7位的Unicode: 0 _ _ _ _ _ _ _
● 如果Unicode的16位字符的頭5位是0，則用2個字節(jié)表示，首字節(jié)是“110”開頭，后面的5位與源字符中除去頭5個零后的最高5位相同；第二個字節(jié)以“10”開頭，后面的6位與源字符中的低6位相同。如“\u025d”（0000 0010 0101 1101），轉化后為“c99d”（1100 1001 1001 1101）；
>11位的Unicode: 1 1 0 _ _ _ _ _ 1 0 _ _ _ _ _ _
● 如果不符合上述兩個規(guī)則，則用三個字節(jié)表示。第一個字節(jié)以“1110”開頭，后四位為源字符的高四位；第二個字節(jié)以“10”開頭，后六位為源字符中間的六位；第三個字節(jié)以“10”開頭，后六位為源字符的低六位；如“\u9da7”（1001 1101 1010 0111），轉化為“e9b6a7”（1110 1001 1011 0110 1010 0111）；
>16位的Unicode: 1 1 1 0 _ _ _ _ 1 0 _ _ _ _ _ _ 1 0 _ _ _ _ _ _
>21位的Unicode: 1 1 1 1 0 _ _ _ 1 0 _ _ _ _ _ _ 1 0 _ _ _ _ _ _ 1 0 _ _ _ _ _ _
可以這么描述JAVA程序中Unicode與UTF的關系，雖然不絕對：字符串在內(nèi)存中運行時，表現(xiàn)為Unicode代碼，而當要保存到文件或其它介質中去時，用的是UTF。這個轉化過程是由writeUTF和readUTF來完成的。
4>Java程序中的編碼格式內(nèi)幕
input(charsetA)-＞process(Unicode)-＞output(charsetB)
即輸入、處理和輸出要經(jīng)過“從charsetA到unicode再到charsetB”的轉化。
SourceFile(jsp,java)-＞class-＞output
輸入的是jsp和java源文件，在處理過程中，以Class文件為載體，然后輸出。
● JSP從源文件到Class的過程。
在本節(jié)中，將闡述JSP文件的解釋和編譯過程，并跟蹤其中的中文變化。
1、JSP/Servlet引擎提供的JSP轉換工具（jspc）搜索JSP文件中用＜%@ page contentType ="text/html; charset=＜Jsp-charset＞"%＞中指定的charset。如果在JSP文件中未指定＜Jsp-charset＞，則取JVM中的默認設置file.encoding，一般情況下，這個值是ISO8859-1；
2、jspc用相當于“javac –encoding ＜Jsp-charset＞”的命令解釋JSP文件中出現(xiàn)的所有字符，包括中文字符和ASCII字符，然后把這些字符轉換成Unicode字符，再轉化成 UTF格式，存為JAVA文件。ASCII碼字符轉化為Unicode字符時只是簡單地在前面加“00”，如“A”，轉化為“\u0041”（不需要理由，Unicode的碼表就是這么編的）。然后，經(jīng)過到UTF的轉換，又變回“41”了！這也就是可以使用普通文本編輯器查看由JSP生成的JAVA文件的原因；
3、引擎用相當于“javac –encoding UNICODE”的命令，把JAVA文件編譯成CLASS文件；
先看一下這些過程中中文字符的轉換情況。有如下源代碼：
＜%@ page contentType="text/html; charset=gb2312"%＞
＜html＞＜body＞
＜%
String a="中文";
out.println(a);
%＞
＜/body＞＜/html＞
兩個字的GB2312編碼為“D6 D0 CE C4”。經(jīng)查表，“中文”兩字的Unicode編碼為“\u4E2D\u6587”，用 UTF表示就是“E4 B8 AD E6 96 87”。此JSP文件生成的JAVA文件中的“中文”兩個字被“E4 B8 AD E6 96 87”替代了，再查看由JAVA文件編譯生成的CLASS文件，發(fā)現(xiàn)結果與JAVA文件中的完全一樣。
再看JSP中指定的CharSet為ISO-8859-1的情況。
＜%@ page contentType="text/html; charset=ISO-8859-1"%＞
＜html＞＜body＞
＜%
String a="中文";
out.println(a);
%＞
＜/body＞＜/html＞
先推測一下生成的JAVA文件和CLASS文件的過程：jspc用ISO-8859-1來解釋“中文”，并把它映射到Unicode。由于ISO- 8859-1是8位的，其映射規(guī)則就是在每個字節(jié)前加“00”，所以，映射后的Unicode編碼應為“\u00D6\u00D0\u00CE\ u00C4”，轉化成UTF后應該是“C3 96 C3 90 C3 8E C3 84”。最后，打開文件看一下，JAVA文件和CLASS文件中，“中文”果然都表示為“C3 96 C3 90 C3 8E C3 84”。
如果上述代碼中不指定＜Jsp-charset＞，即把第一行寫成“＜%@ page contentType="text/html" %＞”，JSPC會使用file.encoding的設置來解釋JSP文件。在RedHat 6.2上，其處理結果與指定為ISO-8859-1是完全相同的。
到現(xiàn)在為止，已經(jīng)解釋了從JSP文件到CLASS文件的轉變過程中中文字符的映射過程。一句話：從“JspCharSet到Unicode再到UTF”。
● Servlet從源文件到Class的過程
本節(jié)將討論Servlet的編譯過程并跟蹤其中的中文變化。
用“javac”編譯Servlet源文件。javac可以帶“-encoding ＜Compile-charset＞”參數(shù)，意思是“用＜ Compile-charset ＞中指定的編碼來解釋Serlvet源文件”。
源文件在編譯時，用＜Compile-charset＞來解釋所有字符，包括中文字符和ASCII字符。然后把字符常量轉變成Unicode字符，最后，把Unicode轉變成UTF。
在Servlet中，還有一個地方設置輸出流的CharSet。通常在輸出結果前，調用HttpServletResponse的 setContentType方法來達到與在JSP中設置＜Jsp-charset＞一樣的效果，稱之為＜Servlet-charset＞。
注意，文中一共提到了三個變量：＜Jsp-charset＞、＜Compile-charset＞和＜Servlet-charset＞。其中，JSP文件只與＜Jsp-charset＞有關，而＜Compile-charset＞和＜Servlet-charset＞只與Servlet有關。
import javax.servlet.*;
import javax.servlet.http.*;
class testServlet extends HttpServlet
{
public void doGet(HttpServletRequest req,HttpServletResponse res)
throws ServletException,java.io.IOException
{
res.setContentType("text/html; charset=GB2312");
java.io.PrintWriter out=res.getWriter();
out.println("＜html＞");
out.println("#中文#");
out.println("＜/html＞");
}
}
開始編譯。下表是＜Compile-charset＞不同時，CLASS文件中“中文”兩字的十六進制碼。在編譯過程中，＜Servlet- charset＞不起任何作用。＜Servlet-charset＞只對CLASS文件的輸出產(chǎn)生影響，實際上是＜Servlet-charset＞和＜Compile-charset＞一起，達到與JSP文件中的＜Jsp-charset＞相同的效果，因為＜Jsp-charset＞對編譯和 CLASS文件的輸出都會產(chǎn)生影響。“中文”兩個字的GB2312編碼為“D6 D0 CE C4”
Compile-charset Class文件中 等效的Unicode碼
GB2312 E4 B8 AD E6 96 87(UTF) \u4E2D\u6587 (在Unicode中＝“中文”)
ISO-8859-1 C3 96 C3 90 C3 8E C3 84 (UTF) \u00D6 \u00D0 \u00CE \u00C4 (在D6 D0 CE C4前面各加了一個00)
（默認） 同ISO-8859-1 同ISO-8859-1
普通Java程序的編譯過程與Servlet完全一樣。
接下來看看CLASS又是怎樣輸出中文的呢？
上文說過，字符串在內(nèi)存中表現(xiàn)為Unicode編碼。至于這種Unicode編碼表示了什么，那要看它是從哪種字符集映射過來的，也就是說要看它的祖先。看看上面的例子，如果給一串Unicode編碼“00D6 00D0 00CE 00C4”，如果不作轉換，直接用Unicode碼表來對照它時，是四個字符（而且是特殊字符）；假如把它與“ISO8859-1”進行映射，則直接去掉前面的“00”即可得到“D6 D0 CE C4”，這是ASCII碼表中的四個字符；而假如把它當作GB2312來進行映射，得到的結果很可能是一大堆亂碼，因為在GB2312中有可能沒有（也有可能有）字符與00D6等字符對應（如果對應不上，將得到0x3f，也就是問號，如果對應上了，由于00D6等字符太靠前，估計也是一些特殊符號，真正的漢字在Unicode中的編碼從4E00開始）。
可以，同樣的Unicode字符，可以解釋成不同的樣子。當然，這其中有一種是我們期望的結果。
以上例而論，“D6 D0 CE C4”應該是我們所想要的，當把“D6 D0 CE C4”輸出到IE中時，用“簡體中文”方式查看，就能看到清楚的“中文”兩個字了。
Servlet中，當Compile-charset=Servlet-charset時，顯示結果肯定正常。
● 最終結論：
在Class輸出字符串前，會將Unicode的字符串按照某一種內(nèi)碼重新生成字節(jié)流，然后把字節(jié)流輸入，相當于進行了一步“String.getBytes(???)”操作。???代表某一種字符集。
如果是Servlet，那么，這種內(nèi)碼就是在HttpServletResponse.setContentType()方法中指定的內(nèi)碼，也就是上文定義的＜Servlet-charset＞。
如果是JSP，那么，這種內(nèi)碼就是在＜%@ page contentType=""%＞中指定的內(nèi)碼，也就是上文定義的＜Jsp-charset＞。
如果是Java程序，那么，這種內(nèi)碼就是file.encoding中指定的內(nèi)碼，默認為ISO8859-1。
5>結論
在Jsp文件中，要指定contentType，其中，charset的值要與客戶端瀏覽器所用的字符集一樣；對于其中的字符串常量，不需做任何內(nèi)碼轉換；對于字符串變量，要求能根據(jù)ContentType中指定的字符集還原成客戶端能識別的字節(jié)流，簡單地說，就是“字符串變量是基于＜Jsp- charset＞字符集的”；
在Servlet中，必須用HttpServletResponse.setContentType()設置charset，且設置成與客戶端內(nèi)碼一致；對于其中的字符串常量，需要在Javac編譯時指定encoding，這個encoding必須與編寫源文件的平臺的字符集一樣，一般說來都是 GB2312或GBK；對于字符串變量，與JSP一樣，必須“是基于＜Servlet-charset＞字符集的”。
Trackback: http://tb.blog.csdn.net/TrackBack.aspx?PostId=1339656