Java內(nèi)核是unicode的,就連class文件也是,但是很多媒體,包括文件/流的保存方式是使用字節(jié)流的。 因此Java要對這些字節(jié)流經(jīng)行轉(zhuǎn)化。char是unicode的,而byte是字節(jié).Java中byte/char互轉(zhuǎn)的函數(shù)在sun.io的包中間有。其中ByteToCharConverter類是中調(diào)度,可以用來告訴你,你用的Convertor。其中兩個很常用的靜態(tài)函數(shù)是。

public static ByteToCharConverter getConverter(String encoding);
我們來就一個簡單的例子:
"你"的gb碼是:0xC4E3 ,unicode是0x4F60
你用:












打印出來是0x4F60
但是如果使用8859_1的編碼,打印出來是
0x00C4,0x00E3
例1
反過來:












例2
如果用8859_1就是0x3F,?號,表示無法轉(zhuǎn)化
很多中文問題就是從這兩個最簡單的類派生出來的。而卻有很多類不直接支持把Encoding輸入,這給我們帶來諸多不便。很多程序難得用encoding了,直接用default的encoding,這就給我們移植帶來了很多困難
2.UTF-8
UTF-8是和Unicode一一對應的,其實現(xiàn)很簡單
7位的Unicode: 0 _ _ _ _ _ _ _
11位的Unicode: 1 1 0 _ _ _ _ _ 1 0 _ _ _ _ _ _
16位的Unicode: 1 1 1 0 _ _ _ _ 1 0 _ _ _ _ _ _ 1 0 _ _ _ _ _ _
21位的Unicode: 1 1 1 1 0 _ _ _ 1 0 _ _ _ _ _ _ 1 0 _ _ _ _ _ _ 1 0 _ _ _ _ _ _
大多數(shù)情況是只使用到16位以下的Unicode:
你"的gb碼是:0xC4E3 ,unicode是0x4F60
我們還是用上面的例子
例1:0xC4E3的二進制:
1 1 0 0 0 1 0 0 1 1 1 0 0 0 1 1
由于只有兩位我們按照兩位的編碼來排,但是我們發(fā)現(xiàn)這行不通,
因為第7位不是0因此,返回"?"
例2:0x4F60的二進制:
0 1 0 0 1 1 1 1 0 1 1 0 0 0 0 0
我們用UTF-8補齊,變成:
11100100 10111101 10100000
E4--BD-- A0
于是返回0xE4,0xBD,0xA0
3.String和byte[]
String其實核心是char[],然而要把byte轉(zhuǎn)化成String,必須經(jīng)過編碼。
String.length()其實就是char數(shù)組的長度,如果使用不同的編碼,很可能會錯分,造成散字和亂碼。
例:




如果encoding=8859_1,會有兩個字,但是encoding=gb2312只有一個字
這個問題在處理分頁是經(jīng)常發(fā)生
4.Reader,Writer/InputStream,OutputStream
Reader和Writer核心是char,InputStream和OutputStream核心是byte。
但是Reader和Writer的主要目的是要把Char讀/寫InputStream/OutputStream
一個reader的例子:
文件test.txt只有一個"你"字,0xC4,0xE3







如果encoding是gb2312,則只有一個字符,如果encoding=8859_1,則有兩個字符
2.我們要對Java的編譯器有所了解:
javac -encoding
我們常常沒有用到ENCODING這個參數(shù)。其實Encoding這個參數(shù)對于跨平臺的操作是很重要的。如果沒有指定Encoding,則按照系統(tǒng)的默認Encoding,gb平臺上是gb2312,英文平臺上是ISO8859_1。
Java的編譯器實際上是調(diào)用sun.tools.javac.Main的類,對文件進行編譯,這個類有compile函數(shù)中間有一個encoding的變量,-encoding的參數(shù)其實直接傳給encoding變量。編譯器就是根據(jù)這個變量來讀取java文件的,然后把用UTF-8形式編譯成class文件。
一個例子:









例3
如果用gb2312編譯,你會找到E4 BD A0的字段
如果用8859_1編譯,
00C4 00E3的二進制:
00000000 11000100 00000000 11100011--
因為每個字符都大于7位,因此用11位編碼:
11000001 10000100 11000011 10100011
C1-- 84-- C3-- A3
你會找到C1 84 C3 A3 --
但是我們往往忽略掉這個參數(shù),因此這樣往往會有跨平臺的問題:
例3在中文平臺上編譯,生成ZhClass
例3在英文平臺上編譯,輸出EnClass
1.ZhClass在中文平臺上執(zhí)行OK,但是在英文平臺上不行
2.EnClass在英文平臺上執(zhí)行OK,但是在中文平臺上不行
原因:
1.在中文平臺上編譯后,其實str在運行態(tài)的char[]是0x4F60,在中文平臺上運行,F(xiàn)ileWriter的缺省編碼是gb2312,因此CharToByteConverter會自動用調(diào)用gb2312的converter,把str轉(zhuǎn)化成byte輸入到FileOutputStream中,于是0xC4,0xE3放進了文件。但是如果是在英文平臺下,CharToByteConverter的缺省值是8859_1,F(xiàn)ileWriter會自動調(diào)用8859_1去轉(zhuǎn)化str,但是他無法解釋,因此他會輸出"?".
在英文平臺上編譯后,其實str在運行態(tài)的char[]是0x00C4 0x00E3, --在中文平臺上運行,中文無法識別,因此會出現(xiàn)??
在英文平臺上,0x00C4-->0xC4,0x00E3->0xE3,因此0xC4,0xE3被放進了文件
1.對于JSP正文的解釋:
Tomcat首先看一下你的頁面中有沒有"<%@page include的符號。有,則在相同地方設定response.setContentType(..);按照encoding的來讀,沒有他按照8859_1讀取文件,然后用UTF-8寫成.java文件,然后用sun.tools.Main去讀取這個文件,(當然它使用UTF-8去讀),然后編譯成class文件setContentType改變的是out的屬性,out變量缺省的encoding是8859_1
2.對Parameter的解釋
很不幸Parameter只有ISO8859_1的解釋,這個質(zhì)料可以在servlet的實現(xiàn)代碼中找到。
3.對include的解釋
格式的,但是很不幸,由于那個寫"org.apache.jasper.compiler.Parser"的人
在數(shù)組JspUtil.ValidAttribute[]忘記加了一個參數(shù):encoding,因此導致不支
持這種方式。你完全可以編譯源代碼,加上對encoding的支持
總結(jié):
如果你在NT底下,最簡單的方法就是欺騙java,不加任何Encoding變量:





結(jié)果:你好你
但這種方法局限性較大,比如對上傳的文章分段,這樣的做法是死定的,最好的
解決方案是用這種方案:


