Java內(nèi)核是unicode的,就連class文件也是,但是很多媒體,包括文件/流的保存方式是使用字節(jié)流的。 因此Java要對(duì)這些字節(jié)流經(jīng)行轉(zhuǎn)化。char是unicode的,而byte是字節(jié).Java中byte/char互轉(zhuǎn)的函數(shù)在sun.io的包中間有。其中ByteToCharConverter類是中調(diào)度,可以用來(lái)告訴你,你用的Convertor。其中兩個(gè)很常用的靜態(tài)函數(shù)是。

public static ByteToCharConverter getConverter(String encoding);
我們來(lái)就一個(gè)簡(jiǎn)單的例子:
"你"的gb碼是:0xC4E3 ,unicode是0x4F60
你用:












打印出來(lái)是0x4F60
但是如果使用8859_1的編碼,打印出來(lái)是
0x00C4,0x00E3
例1
反過來(lái):












例2
如果用8859_1就是0x3F,?號(hào),表示無(wú)法轉(zhuǎn)化
很多中文問題就是從這兩個(gè)最簡(jiǎn)單的類派生出來(lái)的。而卻有很多類不直接支持把Encoding輸入,這給我們帶來(lái)諸多不便。很多程序難得用encoding了,直接用default的encoding,這就給我們移植帶來(lái)了很多困難
2.UTF-8
UTF-8是和Unicode一一對(duì)應(yīng)的,其實(shí)現(xiàn)很簡(jiǎn)單
7位的Unicode: 0 _ _ _ _ _ _ _
11位的Unicode: 1 1 0 _ _ _ _ _ 1 0 _ _ _ _ _ _
16位的Unicode: 1 1 1 0 _ _ _ _ 1 0 _ _ _ _ _ _ 1 0 _ _ _ _ _ _
21位的Unicode: 1 1 1 1 0 _ _ _ 1 0 _ _ _ _ _ _ 1 0 _ _ _ _ _ _ 1 0 _ _ _ _ _ _
大多數(shù)情況是只使用到16位以下的Unicode:
你"的gb碼是:0xC4E3 ,unicode是0x4F60
我們還是用上面的例子
例1:0xC4E3的二進(jìn)制:
1 1 0 0 0 1 0 0 1 1 1 0 0 0 1 1
由于只有兩位我們按照兩位的編碼來(lái)排,但是我們發(fā)現(xiàn)這行不通,
因?yàn)榈冢肺徊皇?因此,返回"?"
例2:0x4F60的二進(jìn)制:
0 1 0 0 1 1 1 1 0 1 1 0 0 0 0 0
我們用UTF-8補(bǔ)齊,變成:
11100100 10111101 10100000
E4--BD-- A0
于是返回0xE4,0xBD,0xA0
3.String和byte[]
String其實(shí)核心是char[],然而要把byte轉(zhuǎn)化成String,必須經(jīng)過編碼。
String.length()其實(shí)就是char數(shù)組的長(zhǎng)度,如果使用不同的編碼,很可能會(huì)錯(cuò)分,造成散字和亂碼。
例:




如果encoding=8859_1,會(huì)有兩個(gè)字,但是encoding=gb2312只有一個(gè)字
這個(gè)問題在處理分頁(yè)是經(jīng)常發(fā)生
4.Reader,Writer/InputStream,OutputStream
Reader和Writer核心是char,InputStream和OutputStream核心是byte。
但是Reader和Writer的主要目的是要把Char讀/寫InputStream/OutputStream
一個(gè)reader的例子:
文件test.txt只有一個(gè)"你"字,0xC4,0xE3







如果encoding是gb2312,則只有一個(gè)字符,如果encoding=8859_1,則有兩個(gè)字符
2.我們要對(duì)Java的編譯器有所了解:
javac -encoding
我們常常沒有用到ENCODING這個(gè)參數(shù)。其實(shí)Encoding這個(gè)參數(shù)對(duì)于跨平臺(tái)的操作是很重要的。如果沒有指定Encoding,則按照系統(tǒng)的默認(rèn)Encoding,gb平臺(tái)上是gb2312,英文平臺(tái)上是ISO8859_1。
Java的編譯器實(shí)際上是調(diào)用sun.tools.javac.Main的類,對(duì)文件進(jìn)行編譯,這個(gè)類有compile函數(shù)中間有一個(gè)encoding的變量,-encoding的參數(shù)其實(shí)直接傳給encoding變量。編譯器就是根據(jù)這個(gè)變量來(lái)讀取java文件的,然后把用UTF-8形式編譯成class文件。
一個(gè)例子:









例3
如果用gb2312編譯,你會(huì)找到E4 BD A0的字段
如果用8859_1編譯,
00C4 00E3的二進(jìn)制:
00000000 11000100 00000000 11100011--
因?yàn)槊總€(gè)字符都大于7位,因此用11位編碼:
11000001 10000100 11000011 10100011
C1-- 84-- C3-- A3
你會(huì)找到C1 84 C3 A3 --
但是我們往往忽略掉這個(gè)參數(shù),因此這樣往往會(huì)有跨平臺(tái)的問題:
例3在中文平臺(tái)上編譯,生成ZhClass
例3在英文平臺(tái)上編譯,輸出EnClass
1.ZhClass在中文平臺(tái)上執(zhí)行OK,但是在英文平臺(tái)上不行
2.EnClass在英文平臺(tái)上執(zhí)行OK,但是在中文平臺(tái)上不行
原因:
1.在中文平臺(tái)上編譯后,其實(shí)str在運(yùn)行態(tài)的char[]是0x4F60,在中文平臺(tái)上運(yùn)行,F(xiàn)ileWriter的缺省編碼是gb2312,因此CharToByteConverter會(huì)自動(dòng)用調(diào)用gb2312的converter,把str轉(zhuǎn)化成byte輸入到FileOutputStream中,于是0xC4,0xE3放進(jìn)了文件。但是如果是在英文平臺(tái)下,CharToByteConverter的缺省值是8859_1,F(xiàn)ileWriter會(huì)自動(dòng)調(diào)用8859_1去轉(zhuǎn)化str,但是他無(wú)法解釋,因此他會(huì)輸出"?".
在英文平臺(tái)上編譯后,其實(shí)str在運(yùn)行態(tài)的char[]是0x00C4 0x00E3, --在中文平臺(tái)上運(yùn)行,中文無(wú)法識(shí)別,因此會(huì)出現(xiàn)??
在英文平臺(tái)上,0x00C4-->0xC4,0x00E3->0xE3,因此0xC4,0xE3被放進(jìn)了文件
1.對(duì)于JSP正文的解釋:
Tomcat首先看一下你的頁(yè)面中有沒有"<%@page include的符號(hào)。有,則在相同地方設(shè)定response.setContentType(..);按照encoding的來(lái)讀,沒有他按照8859_1讀取文件,然后用UTF-8寫成.java文件,然后用sun.tools.Main去讀取這個(gè)文件,(當(dāng)然它使用UTF-8去讀),然后編譯成class文件setContentType改變的是out的屬性,out變量缺省的encoding是8859_1
2.對(duì)Parameter的解釋
很不幸Parameter只有ISO8859_1的解釋,這個(gè)質(zhì)料可以在servlet的實(shí)現(xiàn)代碼中找到。
3.對(duì)include的解釋
格式的,但是很不幸,由于那個(gè)寫"org.apache.jasper.compiler.Parser"的人
在數(shù)組JspUtil.ValidAttribute[]忘記加了一個(gè)參數(shù):encoding,因此導(dǎo)致不支
持這種方式。你完全可以編譯源代碼,加上對(duì)encoding的支持
總結(jié):
如果你在NT底下,最簡(jiǎn)單的方法就是欺騙java,不加任何Encoding變量:





結(jié)果:你好你
但這種方法局限性較大,比如對(duì)上傳的文章分段,這樣的做法是死定的,最好的
解決方案是用這種方案:


