1. 概述
本文主要包括以下幾個(gè)方面：編碼基本知識(shí)，java，系統(tǒng)軟件，url，工具軟件等。
在下面的描述中，將以"中文"兩個(gè)字為例，經(jīng)查表可以知道其GB2312編碼是"d6d0 cec4"，Unicode編碼為"4e2d 6587"，UTF編碼就是"e4b8ad e69687"。注意，這兩個(gè)字沒有iso8859-1編碼，但可以用iso8859-1編碼來"表示"。
2. 編碼基本知識(shí)
最早的編碼是iso8859-1，和ascii編碼相似。但為了方便表示各種各樣的語言，逐漸出現(xiàn)了很多標(biāo)準(zhǔn)編碼，重要的有如下幾個(gè)。
2.1. iso8859-1
屬于單字節(jié)編碼，最多能表示的字符范圍是0-255，應(yīng)用于英文系列。比如，字母a的編碼為0x61=97。
很明顯，iso8859-1編碼表示的字符范圍很窄，無法表示中文字符。但是，由于是單字節(jié)編碼，和計(jì)算機(jī)最基礎(chǔ)的表示單位一致，所以很多時(shí)候，仍舊使用iso8859-1編碼來表示。而且在很多協(xié)議上，默認(rèn)使用該編碼。比如，雖然"中文"兩個(gè)字不存在iso8859-1編碼，以gb2312編碼為例，應(yīng)該是"d6d0 cec4"兩個(gè)字符，使用iso8859-1編碼的時(shí)候則將它拆開為4個(gè)字節(jié)來表示："d6 d0 ce c4"（事實(shí)上，在進(jìn)行存儲(chǔ)的時(shí)候，也是以字節(jié)為單位處理的）。而如果是UTF編碼，則是6個(gè)字節(jié)"e4 b8 ad e6 96 87"。很明顯，這種表示方法還需要以另一種編碼為基礎(chǔ)。
2.2. GB2312/GBK
這就是漢子的國標(biāo)碼，專門用來表示漢字，是雙字節(jié)編碼，而英文字母和iso8859-1一致（兼容iso8859-1編碼）。其中g(shù)bk編碼能夠用來同時(shí)表示繁體字和簡體字，而gb2312只能表示簡體字，gbk是兼容gb2312編碼的。
2.3. unicode
這是最統(tǒng)一的編碼，可以用來表示所有語言的字符，而且是定長雙字節(jié)（也有四字節(jié)的）編碼，包括英文字母在內(nèi)。所以可以說它是不兼容iso8859-1編碼的，也不兼容任何編碼。不過，相對(duì)于iso8859-1編碼來說，uniocode編碼只是在前面增加了一個(gè)0字節(jié)，比如字母a為"00 61"。
需要說明的是，定長編碼便于計(jì)算機(jī)處理（注意GB2312/GBK不是定長編碼），而unicode又可以用來表示所有字符，所以在很多軟件內(nèi)部是使用unicode編碼來處理的，比如java。
2.4. UTF
考慮到unicode編碼不兼容iso8859-1編碼，而且容易占用更多的空間：因?yàn)閷?duì)于英文字母，unicode也需要兩個(gè)字節(jié)來表示。所以u(píng)nicode不便于傳輸和存儲(chǔ)。因此而產(chǎn)生了utf編碼，utf編碼兼容iso8859-1編碼，同時(shí)也可以用來表示所有語言的字符，不過，utf編碼是不定長編碼，每一個(gè)字符的長度從1-6個(gè)字節(jié)不等。另外，utf編碼自帶簡單的校驗(yàn)功能。一般來講，英文字母都是用一個(gè)字節(jié)表示，而漢字使用三個(gè)字節(jié)。
注意，雖然說utf是為了使用更少的空間而使用的，但那只是相對(duì)于unicode編碼來說，如果已經(jīng)知道是漢字，則使用GB2312/GBK無疑是最節(jié)省的。不過另一方面，值得說明的是，雖然utf編碼對(duì)漢字使用3個(gè)字節(jié)，但即使對(duì)于漢字網(wǎng)頁，utf編碼也會(huì)比unicode編碼節(jié)省，因?yàn)榫W(wǎng)頁中包含了很多的英文字符。
3. java對(duì)字符的處理
在java應(yīng)用軟件中，會(huì)有多處涉及到字符集編碼，有些地方需要進(jìn)行正確的設(shè)置，有些地方需要進(jìn)行一定程度的處理。
3.1. getBytes(charset)
這是java字符串處理的一個(gè)標(biāo)準(zhǔn)函數(shù)，其作用是將字符串所表示的字符按照charset編碼，并以字節(jié)方式表示。注意字符串在java內(nèi)存中總是按unicode編碼存儲(chǔ)的。比如"中文"，正常情況下（即沒有錯(cuò)誤的時(shí)候）存儲(chǔ)為"4e2d 6587"，如果charset為"gbk"，則被編碼為"d6d0 cec4"，然后返回字節(jié)"d6 d0 ce c4"。如果charset為"utf8"則最后是"e4 b8 ad e6 96 87"。如果是"iso8859-1"，則由于無法編碼，最后返回 "3f 3f"（兩個(gè)問號(hào)）。
3.2. new String(charset)
這是java字符串處理的另一個(gè)標(biāo)準(zhǔn)函數(shù)，和上一個(gè)函數(shù)的作用相反，將字節(jié)數(shù)組按照charset編碼進(jìn)行組合識(shí)別，最后轉(zhuǎn)換為unicode存儲(chǔ)。參考上述getBytes的例子，"gbk" 和"utf8"都可以得出正確的結(jié)果"4e2d 6587"，但iso8859-1最后變成了"003f 003f"（兩個(gè)問號(hào)）。
因?yàn)閡tf8可以用來表示/編碼所有字符，所以new String( str.getBytes( "utf8" ), "utf8" ) === str，即完全可逆。
3.3. setCharacterEncoding()
該函數(shù)用來設(shè)置http請(qǐng)求或者相應(yīng)的編碼。
對(duì)于request，是指提交內(nèi)容的編碼，指定后可以通過getParameter()則直接獲得正確的字符串，如果不指定，則默認(rèn)使用iso8859-1編碼，需要進(jìn)一步處理。參見下述"表單輸入"。值得注意的是在執(zhí)行setCharacterEncoding()之前，不能執(zhí)行任何getParameter()。java doc上說明：This method must be called prior to reading request parameters or reading input using getReader()。而且，該指定只對(duì)POST方法有效，對(duì)GET方法無效。分析原因，應(yīng)該是在執(zhí)行第一個(gè)getParameter()的時(shí)候，java將會(huì)按照編碼分析所有的提交內(nèi)容，而后續(xù)的getParameter()不再進(jìn)行分析，所以setCharacterEncoding()無效。而對(duì)于GET方法提交表單是，提交的內(nèi)容在URL中，一開始就已經(jīng)按照編碼分析所有的提交內(nèi)容，setCharacterEncoding()自然就無效。
對(duì)于response，則是指定輸出內(nèi)容的編碼，同時(shí)，該設(shè)置會(huì)傳遞給瀏覽器，告訴瀏覽器輸出內(nèi)容所采用的編碼。
3.4. 處理過程
下面分析兩個(gè)有代表性的例子，說明java對(duì)編碼有關(guān)問題的處理方法。
3.4.1. 表單輸入
User input *(gbk:d6d0 cec4) browser *(gbk:d6d0 cec4) web server iso8859-1(00d6 00d 000ce 00c4) class，需要在class中進(jìn)行處理：getbytes("iso8859-1")為d6 d0 ce c4，new String("gbk")為d6d0 cec4，內(nèi)存中以u(píng)nicode編碼則為4e2d 6587。
l 用戶輸入的編碼方式和頁面指定的編碼有關(guān)，也和用戶的操作系統(tǒng)有關(guān)，所以是不確定的，上例以gbk為例。
l 從browser到web server，可以在表單中指定提交內(nèi)容時(shí)使用的字符集，否則會(huì)使用頁面指定的編碼。而如果在url中直接用?的方式輸入?yún)?shù)，則其編碼往往是操作系統(tǒng)本身的編碼，因?yàn)檫@時(shí)和頁面無關(guān)。上述仍舊以gbk編碼為例。
l Web server接收到的是字節(jié)流，默認(rèn)時(shí)（getParameter）會(huì)以iso8859-1編碼處理之，結(jié)果是不正確的，所以需要進(jìn)行處理。但如果預(yù)先設(shè)置了編碼（通過request. setCharacterEncoding ()），則能夠直接獲取到正確的結(jié)果。
l 在頁面中指定編碼是個(gè)好習(xí)慣，否則可能失去控制，無法指定正確的編碼。
3.4.2. 文件編譯
假設(shè)文件是gbk編碼保存的，而編譯有兩種編碼選擇：gbk或者iso8859-1，前者是中文windows的默認(rèn)編碼，后者是linux的默認(rèn)編碼，當(dāng)然也可以在編譯時(shí)指定編碼。
Jsp *(gbk:d6d0 cec4) java file *(gbk:d6d0 cec4) compiler read uincode(gbk: 4e2d 6587; iso8859-1: 00d6 00d 000ce 00c4) compiler write utf(gbk: e4b8ad e69687; iso8859-1: *) compiled file unicode(gbk: 4e2d 6587; iso8859-1: 00d6 00d 000ce 00c4) class。所以用gbk編碼保存，而用iso8859-1編譯的結(jié)果是不正確的。
class unicode(4e2d 6587) system.out / jsp.out gbk(d6d0 cec4) os console / browser。
l 文件可以以多種編碼方式保存，中文windows下，默認(rèn)為ansi/gbk。
l 編譯器讀取文件時(shí)，需要得到文件的編碼，如果未指定，則使用系統(tǒng)默認(rèn)編碼。一般class文件，是以系統(tǒng)默認(rèn)編碼保存的，所以編譯不會(huì)出問題，但對(duì)于jsp文件，如果在中文windows下編輯保存，而部署在英文linux下運(yùn)行/編譯，則會(huì)出現(xiàn)問題。所以需要在jsp文件中用pageEncoding指定編碼。
l Java編譯的時(shí)候會(huì)轉(zhuǎn)換成統(tǒng)一的unicode編碼處理，最后保存的時(shí)候再轉(zhuǎn)換為utf編碼。
l 當(dāng)系統(tǒng)輸出字符的時(shí)候，會(huì)按指定編碼輸出，對(duì)于中文windows下，System.out將使用gbk編碼，而對(duì)于response（瀏覽器），則使用jsp文件頭指定的contentType，或者可以直接為response指定編碼。同時(shí)，會(huì)告訴browser網(wǎng)頁的編碼。如果未指定，則會(huì)使用iso8859-1編碼。對(duì)于中文，應(yīng)該為browser指定輸出字符串的編碼。
l browser顯示網(wǎng)頁的時(shí)候，首先使用response中指定的編碼（jsp文件頭指定的contentType最終也反映在response上），如果未指定，則會(huì)使用網(wǎng)頁中meta項(xiàng)指定中的contentType。
3.5. 幾處設(shè)置
對(duì)于web應(yīng)用程序，和編碼有關(guān)的設(shè)置或者函數(shù)如下。
3.5.1. jsp編譯
指定文件的存儲(chǔ)編碼，很明顯，該設(shè)置應(yīng)該置于文件的開頭。例如：<%@page pageEncoding="GBK"%>。另外，對(duì)于一般class文件，可以在編譯的時(shí)候指定編碼。
3.5.2. jsp輸出
指定文件輸出到browser是使用的編碼，該設(shè)置也應(yīng)該置于文件的開頭。例如：<%@ page contentType="text/html; charset= GBK" %>。該設(shè)置和response.setCharacterEncoding("GBK")等效。
3.5.3. meta設(shè)置
指定網(wǎng)頁使用的編碼，該設(shè)置對(duì)靜態(tài)網(wǎng)頁尤其有作用。因?yàn)殪o態(tài)網(wǎng)頁無法采用jsp的設(shè)置，而且也無法執(zhí)行response.setCharacterEncoding()。例如：
如果同時(shí)采用了jsp輸出和meta設(shè)置兩種編碼指定方式，則jsp指定的優(yōu)先。因?yàn)閖sp指定的直接體現(xiàn)在response中。
需要注意的是，apache有一個(gè)設(shè)置可以給無編碼指定的網(wǎng)頁指定編碼，該指定等同于jsp的編碼指定方式，所以會(huì)覆蓋靜態(tài)網(wǎng)頁中的meta指定。所以有人建議關(guān)閉該設(shè)置。
3.5.4. form設(shè)置
當(dāng)瀏覽器提交表單的時(shí)候，可以指定相應(yīng)的編碼。例如：
|
????
|
|
? |
posted on 2006-11-23 15:06
世界上最牛的人！ 閱讀(54)
評(píng)論(0) 編輯 收藏