字符編碼技術專題(一)：快速理解ASCII、Unicode、GBK和UTF-8

Posted on 2023-09-27 10:36 Jack Jiang 閱讀(76) 評論(0) 編輯收藏

本文由阮一峰(ruanyifeng.com）分享，本文收錄時有內容修訂和排版優(yōu)化。

1、引言

今天中午，我突然想搞清楚 Unicode 和 UTF-8 之間的關系，就開始查資料。

這個問題比我想象的復雜，午飯后一直看到晚上9點，才算初步搞清楚。

下面就是我的總結，主要用來整理自己的思路。我盡量寫得通俗易懂，希望能對其他朋友有用。畢竟，字符編碼是計算機技術的基石，對于程序員來說尤其重要，字符編碼的知識是必須要懂的。

技術交流：

- 移動端IM開發(fā)入門文章：《新手入門一篇就夠：從零開發(fā)移動端IM》
- 開源IM框架源碼：https://github.com/JackJiang2011/MobileIMSDK（備用地址點此）

（本文已同步發(fā)布于：http://www.52im.net/thread-4433-1-1.html）

2、專題目錄

本文是“字符編碼技術專題”系列文章的第 1 篇，總目錄如下：

《字符編碼技術專題(一)：快速理解ASCII、Unicode、GBK和UTF-8》（* 本文）
《字符編碼技術專題(二)：史詩級計算機字符編碼知識入門，一文即懂！》
《字符編碼技術專題(三)：徹底搞懂字符亂碼的本質，一篇就夠！》
《字符編碼技術專題(四)：史上最通俗大小端字節(jié)序詳解，一文即懂！》
《字符編碼技術專題(五)：前端必讀的計算機字符編碼知識入門》

3、基礎知識

計算機中儲存的信息都是用二進制數表示的；而我們在屏幕上看到的英文、漢字等字符是二進制數轉換之后的結果。通俗的說，按照何種規(guī)則將字符存儲在計算機中，如'a'用什么表示，稱為"編碼"；反之，將存儲在計算機中的二進制數解析顯示出來，稱為"解碼"，如同密碼學中的加密和解密。在解碼過程中，如果使用了錯誤的解碼規(guī)則，則導致'a'解析成'b'或者亂碼。

字符集（Charset）：是一個系統(tǒng)支持的所有抽象字符的集合。字符是各種文字和符號的總稱，包括各國家文字、標點符號、圖形符號、數字等。

字符編碼（Character Encoding）：是一套法則，使用該法則能夠對自然語言的字符的一個集合（如字母表或音節(jié)表），與其他東西的一個集合（如號碼或電脈沖）進行配對。即在符號集合與數字系統(tǒng)之間建立對應關系，它是信息處理的一項*本技術。通常人們用符號集合（一般情況下就是文字）來表達信息。而以計算機為*礎的信息處理系統(tǒng)則是利用元件（硬件）不同狀態(tài)的組合來存儲和處理信息的。元件不同狀態(tài)的組合能代表數字系統(tǒng)的數字，因此字符編碼就是將符號轉換為計算機可以接受的數字系統(tǒng)的數，稱為數字代碼。

常見字符集名稱：ASCII字符集、GB2312字符集、BIG5字符集、GB18030字符集、Unicode字符集等。計算機要準確的處理各種字符集文字，需要進行字符編碼，以便計算機能夠識別和存儲各種文字。

4、ASCII 碼

我們知道，計算機內部，所有信息最終都是一個二進制值。每一個二進制位（bit）有0和1兩種狀態(tài)，因此八個二進制位就可以組合出256種狀態(tài)，這被稱為一個字節(jié)（byte）。也就是說，一個字節(jié)一共可以用來表示256種不同的狀態(tài)，每一個狀態(tài)對應一個符號，就是256個符號，從00000000到11111111。

上個世紀60年代，美國制定了一套字符編碼，對英語字符與二進制位之間的關系，做了統(tǒng)一規(guī)定。這被稱為 ASCII 碼，一直沿用至今。

ASCII 碼一共規(guī)定了128個字符的編碼，比如空格SPACE是32（二進制00100000），大寫的字母A是65（二進制01000001）。這128個符號（包括32個不能打印出來的控制符號），只占用了一個字節(jié)的后面7位，最前面的一位統(tǒng)一規(guī)定為0。

▲ ASCII編碼表

5、非 ASCII 編碼

英語用128個符號編碼就夠了，但是用來表示其他語言，128個符號是不夠的。比如，在法語中，字母上方有注音符號，它就無法用 ASCII 碼表示。于是，一些歐洲國家就決定，利用字節(jié)中閑置的最高位編入新的符號。比如，法語中的é的編碼為130（二進制10000010）。這樣一來，這些歐洲國家使用的編碼體系，可以表示最多256個符號。

▲ 擴展ASCII編碼表

但是，這里又出現(xiàn)了新的問題。不同的國家有不同的字母，因此，哪怕它們都使用256個符號的編碼方式，代表的字母卻不一樣。比如，130在法語編碼中代表了é，在希伯來語編碼中卻代表了字母Gimel (?)，在俄語編碼中又會代表另一個符號。但是不管怎樣，所有這些編碼方式中，0--127表示的符號是一樣的，不一樣的只是128--255的這一段。

至于亞洲國家的文字，使用的符號就更多了，漢字就多達10萬左右。一個字節(jié)只能表示256種符號，肯定是不夠的，就必須使用多個字節(jié)表達一個符號。比如，簡體中文常見的編碼方式是 GB2312，使用兩個字節(jié)表示一個漢字，所以理論上最多可以表示 256 x 256 = 65536 個符號。

中文編碼的問題比較復雜，將在文末討論。這里先了解下，雖然都是用多個字節(jié)表示一個符號，但是GB類的漢字編碼與后文的 Unicode 和 UTF-8 是毫無關系的。

6、Unicode

正如上一節(jié)所說，世界上存在著多種編碼方式，同一個二進制數字可以被解釋成不同的符號。因此，要想打開一個文本文件，就必須知道它的編碼方式，否則用錯誤的編碼方式解讀，就會出現(xiàn)亂碼。為什么電子郵件常常出現(xiàn)亂碼？就是因為發(fā)信人和收信人使用的編碼方式不一樣。

可以想象，如果有一種編碼，將世界上所有的符號都納入其中。每一個符號都給予一個獨一無二的編碼，那么亂碼問題就會消失。這就是 Unicode，就像它的名字都表示的，這是一種所有符號的編碼。

Unicode 當然是一個很大的集合，現(xiàn)在的規(guī)模可以容納100多萬個符號。每個符號的編碼都不一樣，比如，U+0639表示阿拉伯字母Ain，U+0041表示英語的大寫字母A，U+4E25表示漢字嚴。具體的符號對應表，可以查詢unicode.org，或者專門的漢字對應表。

7、Unicode 的問題

需要注意的是，Unicode 只是一個符號集，它只規(guī)定了符號的二進制代碼，卻沒有規(guī)定這個二進制代碼應該如何存儲。

比如，漢字嚴的 Unicode 是十六進制數4E25，轉換成二進制數足足有15位（100111000100101），也就是說，這個符號的表示至少需要2個字節(jié)。表示其他更大的符號，可能需要3個字節(jié)或者4個字節(jié)，甚至更多。

這里就有兩個嚴重的問題，第一個問題是，如何才能區(qū)別 Unicode 和 ASCII ？計算機怎么知道三個字節(jié)表示一個符號，而不是分別表示三個符號呢？第二個問題是，我們已經知道，英文字母只用一個字節(jié)表示就夠了，如果 Unicode 統(tǒng)一規(guī)定，每個符號用三個或四個字節(jié)表示，那么每個英文字母前都必然有二到三個字節(jié)是0，這對于存儲來說是極大的浪費，文本文件的大小會因此大出二三倍，這是無法接受的。

它們造成的結果是：1）出現(xiàn)了 Unicode 的多種存儲方式，也就是說有許多種不同的二進制格式，可以用來表示 Unicode。2）Unicode 在很長一段時間內無法推廣，直到互聯(lián)網的出現(xiàn)。

8、UTF-8

互聯(lián)網的普及，強烈要求出現(xiàn)一種統(tǒng)一的編碼方式。UTF-8 就是在互聯(lián)網上使用最廣的一種 Unicode 的實現(xiàn)方式。其他實現(xiàn)方式還包括 UTF-16（字符用兩個字節(jié)或四個字節(jié)表示）和 UTF-32（字符用四個字節(jié)表示），不過在互聯(lián)網上*本不用。重復一遍，這里的關系是，UTF-8 是 Unicode 的實現(xiàn)方式之一。

UTF-8 最大的一個特點，就是它是一種變長的編碼方式。它可以使用1~4個字節(jié)表示一個符號，根據不同的符號而變化字節(jié)長度。

UTF-8 的編碼規(guī)則很簡單，只有二條：

1）對于單字節(jié)的符號：字節(jié)的第一位設為0，后面7位為這個符號的 Unicode 碼。因此對于英語字母，UTF-8 編碼和 ASCII 碼是相同的；
2）對于n字節(jié)的符號（n > 1）：第一個字節(jié)的前n位都設為1，第n + 1位設為0，后面字節(jié)的前兩位一律設為10。剩下的沒有提及的二進制位，全部為這個符號的 Unicode 碼。

下表總結了編碼規(guī)則，字母x表示可用編碼的位：

跟據上表，解讀 UTF-8 編碼非常簡單。如果一個字節(jié)的第一位是0，則這個字節(jié)單獨就是一個字符；如果第一位是1，則連續(xù)有多少個1，就表示當前字符占用多少個字節(jié)。

下面，還是以漢字嚴為例，演示如何實現(xiàn) UTF-8 編碼。

嚴的 Unicode 是4E25（100111000100101），根據上表，可以發(fā)現(xiàn)4E25處在第三行的范圍內（0000 0800 - 0000 FFFF），因此嚴的 UTF-8 編碼需要三個字節(jié)，即格式是1110xxxx 10xxxxxx 10xxxxxx。然后，從嚴的最后一個二進制位開始，依次從后向前填入格式中的x，多出的位補0。這樣就得到了，嚴的 UTF-8 編碼是11100100 10111000 10100101，轉換成十六進制就是E4B8A5。

9、Unicode 與 UTF-8 之間的轉換

通過上一節(jié)的例子，可以看到嚴的 Unicode碼是4E25，UTF-8 編碼是E4B8A5，兩者是不一樣的。它們之間的轉換可以通過程序實現(xiàn)。

Windows平臺，有一個最簡單的轉化方法，就是使用內置的記事本小程序notepad.exe。打開文件后，點擊文件菜單中的另存為命令，會跳出一個對話框，在最底部有一個編碼的下拉條。

里面有四個選項：ANSI，Unicode，Unicode big endian和UTF-8

1）ANSI是默認的編碼方式：對于英文文件是ASCII編碼，對于簡體中文文件是GB2312編碼（只針對 Windows 簡體中文版，如果是繁體中文版會采用 Big5 碼）；
2）Unicode編碼這里指的是notepad.exe使用的 UCS-2 編碼方式：即直接用兩個字節(jié)存入字符的 Unicode 碼，這個選項用的 little endian 格式；
3）Unicode big endian編碼與上一個選項相對應：我在下一節(jié)會解釋 little endian 和 big endian 的涵義；
4）UTF-8編碼：也就是上一節(jié)談到的編碼方法。

選擇完"編碼方式"后，點擊"保存"按鈕，文件的編碼方式就立刻轉換好了。

10、Little endian 和 Big endian

上一節(jié)已經提到，UCS-2 格式可以存儲 Unicode 碼（碼點不超過0xFFFF）。以漢字嚴為例，Unicode 碼是4E25，需要用兩個字節(jié)存儲，一個字節(jié)是4E，另一個字節(jié)是25。存儲的時候，4E在前，25在后，這就是 Big endian 方式；25在前，4E在后，這是 Little endian 方式。

這兩個古怪的名稱來自英國作家斯威夫特的《格列佛游記》。在該書中，小人國里爆發(fā)了內戰(zhàn)，戰(zhàn)爭起因是人們爭論，吃雞蛋時究竟是從大頭(Big-endian)敲開還是從小頭(Little-endian)敲開。為了這件事情，前后爆發(fā)了六次戰(zhàn)爭，一個皇帝送了命，另一個皇帝丟了王位。

第一個字節(jié)在前，就是"大頭方式"（Big endian），第二個字節(jié)在前就是"小頭方式"（Little endian）。

那么很自然的，就會出現(xiàn)一個問題：計算機怎么知道某一個文件到底采用哪一種方式編碼？

Unicode 規(guī)范定義，每一個文件的最前面分別加入一個表示編碼順序的字符，這個字符的名字叫做"零寬度非換行空格"（zero width no-break space），用FEFF表示。這正好是兩個字節(jié)，而且FF比FE大1。

如果一個文本文件的頭兩個字節(jié)是FE FF，就表示該文件采用大頭方式；如果頭兩個字節(jié)是FF FE，就表示該文件采用小頭方式。

11、實例講解

下面，舉一個實例。

打開"記事本"程序notepad.exe，新建一個文本文件，內容就是一個嚴字，依次采用ANSI，Unicode，Unicode big endian和UTF-8編碼方式保存。

然后，用文本編輯軟件UltraEdit 中的"十六進制功能"，觀察該文件的內部編碼方式：

1）ANSI：文件的編碼就是兩個字節(jié)D1 CF，這正是嚴的 GB2312 編碼，這也暗示 GB2312 是采用大頭方式存儲的。
2）Unicode：編碼是四個字節(jié)FF FE 25 4E，其中FF FE表明是小頭方式存儲，真正的編碼是4E25。
3）Unicode big endian：編碼是四個字節(jié)FE FF 4E 25，其中FE FF表明是大頭方式存儲。
4）UTF-8：編碼是六個字節(jié)EF BB BF E4 B8 A5，前三個字節(jié)EF BB BF表示這是UTF-8編碼，后三個E4B8A5就是嚴的具體編碼，它的存儲順序與編碼順序是一致的。

UltraEdit下載地址請至官網：https://www.ultraedit.com/

▲ UltraEdit軟件

12、最后簡要看看中文字符集和編碼

12.1GB系列字符集&編碼

計算機發(fā)明之處及后面很長一段時間，只用應用于美國及西方一些發(fā)達國家，ASCII能夠很好滿足用戶的需求。但是當天朝也有了計算機之后，為了顯示中文，必須設計一套編碼規(guī)則用于將漢字轉換為計算機可以接受的數字系統(tǒng)的數。

天朝專家把那些127號之后的奇異符號們（即EASCII）取消掉，規(guī)定：一個小于127的字符的意義與原來相同，但兩個大于127的字符連在一起時，就表示一個漢字，前面的一個字節(jié)（他稱之為高字節(jié)）從0xA1用到 0xF7，后面一個字節(jié)（低字節(jié)）從0xA1到0xFE，這樣我們就可以組合出大約7000多個簡體漢字了。在這些編碼里，還把數學符號、羅馬希臘的字母、日文的假名們都編進去了，連在ASCII里本來就有的數字、標點、字母都統(tǒng)統(tǒng)重新編了兩個字節(jié)長的編碼，這就是常說的"全角"字符，而原來在127號以下的那些就叫"半角"字符了。

上述編碼規(guī)則就是GB2312。GB2312或GB2312-80是中國國家標準簡體中文字符集，全稱《信息交換用漢字編碼字符集·*本集》，又稱GB0，由中國國家標準總局發(fā)布，1981年5月1日實施。GB2312編碼通行于中國大陸；新加坡等地也采用此編碼。中國大陸幾乎所有的中文系統(tǒng)和國際化的軟件都支持GB2312。GB2312的出現(xiàn)，*本滿足了漢字的計算機處理需要，它所收錄的漢字已經覆蓋中國大陸99.75%的使用頻率。對于人名、古漢語等方面出現(xiàn)的罕用字，GB2312不能處理，這導致了后來GBK及GB 18030漢字字符集的出現(xiàn)。下圖是GB2312編碼的開始部分（由于其非常龐大，只列舉開始部分，具體可查看GB2312簡體中文編碼表）。

▲ GB2312編碼表的開始部分

由于GB 2312-80只收錄6763個漢字，有不少漢字，如部分在GB 2312-80推出以后才簡化的漢字（如"啰"），部分人名用字（如中國前總理***的"*"字），臺灣及香港使用的繁體字，日語及朝鮮語漢字等，并未有收錄在內。于是廠商微軟利用GB 2312-80未使用的編碼空間，收錄GB 13000.1-93全部字符制定了GBK編碼。根據微軟資料，GBK是對GB2312-80的擴展，也就是CP936字碼表 (Code Page 936)的擴展（之前CP936和GB 2312-80一模一樣），最早實現(xiàn)于Windows 95簡體中文版。雖然GBK收錄GB 13000.1-93的全部字符，但編碼方式并不相同。GBK自身并非國家標準，只是曾由國家技術監(jiān)督局標準化司、電子工業(yè)部科技與質量監(jiān)督司公布為"技術規(guī)范指導性文件"。原始GB13000一直未被業(yè)界采用，后續(xù)國家標準GB18030技術上兼容GBK而非GB13000。

GB 18030，全稱：國家標準GB 18030-2005《信息技術中文編碼字符集》，是中華人民共和國現(xiàn)時最新的內碼字集，是GB 18030-2000《信息技術信息交換用漢字編碼字符集 *本集的擴充》的修訂版。與GB 2312-1980完全兼容，與GBK*本兼容，支持GB 13000及Unicode的全部統(tǒng)一漢字，共收錄漢字70244個。

GB 18030主要有以下特點：

與UTF-8相同，采用多字節(jié)編碼，每個字可以由1個、2個或4個字節(jié)組成；
編碼空間龐大，最多可定義161萬個字符；
支持中國國內少數民族的文字，不需要動用造字區(qū)；
漢字收錄范圍包含繁體漢字以及日韓漢字。

▲ GB18030編碼總體結構

本規(guī)格的初版使中華人民共和國信息產業(yè)部電子工業(yè)標準化研究所起草，由國家質量技術監(jiān)督局于2000年3月17日發(fā)布。現(xiàn)行版本為國家質量監(jiān)督檢驗總局和中國國家標準化管理委員會于2005年11月8日發(fā)布，2006年5月1日實施。此規(guī)格為在中國境內所有軟件產品支持的強制規(guī)格。

12.2BIG5字符集&編碼

Big5，又稱為大五碼或五大碼，是使用繁體中文（正體中文）社區(qū)中最常用的電腦漢字字符集標準，共收錄13,060個漢字。中文碼分為內碼及交換碼兩類，Big5屬中文內碼，知名的中文交換碼有CCCII、CNS11643。Big5雖普及于臺灣、香港與澳門等繁體中文通行區(qū)，但長期以來并非當地的國家標準，而只是業(yè)界標準。倚天中文系統(tǒng)、Windows等主要系統(tǒng)的字符集都是以Big5為*準，但廠商又各自增加不同的造字與造字區(qū)，派生成多種不同版本。2003年，Big5被收錄到CNS11643中文標準交換碼的附錄當中，取得了較正式的地位。這個最新版本被稱為Big5-2003。

Big5碼是一套雙字節(jié)字符集，使用了雙八碼存儲方法，以兩個字節(jié)來安放一個字。第一個字節(jié)稱為"高位字節(jié)"，第二個字節(jié)稱為"低位字節(jié)"。"高位字節(jié)"使用了0x81-0xFE，"低位字節(jié)"使用了0x40-0x7E，及0xA1-0xFE。

有關Big5的更多技術細節(jié)讀者可單獨深入研究，本文就不贅述了。

13、本文小結

這些字符集和編碼的關系很容易讓程序員混淆，現(xiàn)在小結一下。

簡單來說：Unicode、GBK和Big5碼等就是編碼的值（也就是術語“字符集”），而UTF-8、UTF-16、UTF32之類就是這個值的表現(xiàn)形式（即術語“編碼格式”）。

另外：Unicode、GBK和Big5碼等字符集是不兼容的，同一個漢字在這三個字符集里的碼值是完全不一樣的。如＂漢＂的Unicode值與gbk就是不一樣的，假設Unicode為a040，GBK為b030。以UTF-8為例，UTF-8碼完全只針對Unicode來組織的，如果GBK要轉UTF-8必須先轉Unicode碼，再轉UTF-8就OK了。

即GBK、GB2312等與UTF8之間都必須通過Unicode編碼才能相互轉換：