WebSocket從入門到精通，半小時就夠！

Posted on 2020-10-14 14:40 Jack Jiang 閱讀(385) 評論(0) 編輯收藏

本文原題“WebSocket：5分鐘從入門到精通”，作者“程序猿小卡_casper”，原文鏈接見文末參考資料部分。本次收錄時有改動。

1、引言

自從HTML5里的WebSocket出現后，徹底改變了以往Web端即時通訊技術的基礎通道這個“痛點”（在此之前，開發者們不得不弄出了諸如：短輪詢、長輪詢、Comet、SSE等技術，可謂苦之久矣...），如今再也不用糾結到底該用“輪詢”還是“Comet”技術來保證數據的實時性了，幸福來的就是如此突然 ^-^。

WebSocket如今不僅在Web應用里使用廣泛，也慢慢被開發者們應用到各種那些原本使用TCP、UDP這類協議的富客戶端（比如移動端中）。

有鑒于此，對于即時通訊方向的開發者來說，全面深入的了解WebSocket是非常有必要的，面視時也少不了會考察這方面的知識。

所以，即時通訊網在建站至今的幾年時間里，持續整理了一大批跟Web端即時通訊有關的技術文章（這基中尤其WebSocket方面的文章最多）。本文也是一篇關于WebSocket從入門到精通的文章，內容由淺入深，比較適合想要在短時間內較深入的了解WebSocket協議的開發者學習。

（本文同步發布于：http://www.52im.net/thread-3134-1-1.html）

2、相關文章

《WebSocket詳解（一）：初步認識WebSocket技術》
《WebSocket詳解（二）：技術原理、代碼演示和應用案例》
《WebSocket詳解（三）：深入WebSocket通信協議細節》
《WebSocket詳解（四）：刨根問底HTTP與WebSocket的關系(上篇)》
《WebSocket詳解（五）：刨根問底HTTP與WebSocket的關系(下篇)》
《WebSocket詳解（六）：刨根問底WebSocket與Socket的關系》

3、正文概覽

WebSocket的出現，使得瀏覽器具備了實時雙向通信的能力。

本文將由淺入深，介紹WebSocket如何建立連接、交換數據的細節，以及數據幀的格式。此外，還簡要介紹了針對WebSocket的安全攻擊，以及協議是如何抵御類似攻擊的。

4、什么是WebSocket

4.1 基本介紹

HTML5開始提供的一種瀏覽器與服務器進行全雙工通訊的網絡技術，屬于應用層協議。它基于TCP傳輸協議，并復用HTTP的握手通道。

對大部分web開發者來說，上面這段描述有點枯燥，其實只要記住幾點：

1）WebSocket可以在瀏覽器里使用；
2）支持雙向通信；
3）使用很簡單。

4.2 有哪些優點

說到優點，這里的對比參照物是HTTP協議，概括地說就是：支持雙向通信，更靈活，更高效，可擴展性更好。

1）支持雙向通信，實時性更強；
2）更好的二進制支持；
3）較少的控制開銷。連接創建后，ws客戶端、服務端進行數據交換時，協議控制的數據包頭部較小。在不包含頭部的情況下，服務端到客戶端的包頭只有2~10字節（取決于數據包長度），客戶端到服務端的的話，需要加上額外的4字節的掩碼。而HTTP協議每次通信都需要攜帶完整的頭部；
4）支持擴展。ws協議定義了擴展，用戶可以擴展協議，或者實現自定義的子協議。（比如支持自定義壓縮算法等）

對于后面兩點，沒有研究過WebSocket協議規范的同學可能理解起來不夠直觀，但不影響對WebSocket的學習和使用。

4.3 需要學習哪些東西

對網絡應用層協議的學習來說，最重要的往往就是連接建立過程、數據交換過程。當然，數據的格式是逃不掉的，因為它直接決定了協議本身的能力。好的數據格式能讓協議更高效、擴展性更好。

下文主要圍繞下面幾點展開：

1）如何建立連接；
2）如何交換數據；
3）數據幀格式；
4）如何維持連接。

5、入門演示代碼

在正式介紹協議細節前，先來看一個簡單的例子，有個直觀感受。例子包括了WebSocket服務端、WebSocket客戶端（網頁端）。完整代碼可以在這里找到。

這里服務端用了ws這個庫。相比大家熟悉的socket.io，ws實現更輕量，更適合學習的目的。

5.1 服務端

代碼如下，監聽8080端口。當有新的連接請求到達時，打印日志，同時向客戶端發送消息。當收到到來自客戶端的消息時，同樣打印日志。

var app = require('express')();
var server = require('http').Server(app);
var WebSocket = require('ws');
var wss = newWebSocket.Server({ port: 8080 });
wss.on('connection', function connection(ws) {
    console.log('server: receive connection.');
    ws.on('message', functionincoming(message) {
        console.log('server: received: %s', message);
    });
    ws.send('world');
});
app.get('/', function(req, res) {
  res.sendfile(__dirname + '/index.html');
});
app.listen(3000);

5.2 客戶端

代碼如下，向8080端口發起WebSocket連接。連接建立后，打印日志，同時向服務端發送消息。接收到來自服務端的消息后，同樣打印日志。

<script>
  var ws = new WebSocket('ws://localhost:8080');
  ws.onopen = function() {
    console.log('ws onopen');
    ws.send('from client: hello');
  };
  ws.onmessage = function(e) {
    console.log('ws onmessage');
    console.log('from server: '+ e.data);
  };
</script>

5.3 運行結果

可分別查看服務端、客戶端的日志，這里不展開。

服務端輸出：

server: receive connection.
server: received hello

客戶端輸出：

client: ws connection is open
client: received world

6、如何建立連接

前面提到，WebSocket復用了HTTP的握手通道。具體指的是，客戶端通過HTTP請求與WebSocket服務端協商升級協議。協議升級完成后，后續的數據交換則遵照WebSocket的協議。

6.1 客戶端：申請協議升級

首先，客戶端發起協議升級請求。可以看到，采用的是標準的HTTP報文格式，且只支持GET方法。

GET / HTTP/1.1
Host: localhost:8080
Origin:http: //127.0.0.1:3000
Connection: Upgrade
Upgrade: websocket
Sec-WebSocket-Version: 13
Sec-WebSocket-Key: w4v7O6xFTi36lq3RNcgctw==

重點請求首部意義如下：

1）Connection: Upgrade：表示要升級協議；
2）Upgrade: websocket：表示要升級到websocket協議；
3）Sec-WebSocket-Version: 13：表示websocket的版本。如果服務端不支持該版本，需要返回一個Sec-WebSocket-Versionheader，里面包含服務端支持的版本號；
4）Sec-WebSocket-Key：與后面服務端響應首部的Sec-WebSocket-Accept是配套的，提供基本的防護，比如惡意的連接，或者無意的連接。

注意：上面請求省略了部分非重點請求首部。由于是標準的HTTP請求，類似Host、Origin、Cookie等請求首部會照常發送。在握手階段，可以通過相關請求首部進行安全限制、權限校驗等。

6.2 服務端：響應協議升級

服務端返回內容如下，狀態代碼101表示協議切換。到此完成協議升級，后續的數據交互都按照新的協議來。

HTTP/1.1 101 Switching Protocols
Connection:Upgrade
Upgrade: websocket
Sec-WebSocket-Accept: Oy4NRAQ13jhfONC7bP8dTKb4PTU=

備注：每個header都以\r\n結尾，并且最后一行加上一個額外的空行 \r\n。此外，服務端回應的HTTP狀態碼只能在握手階段使用。過了握手階段后，就只能采用特定的錯誤碼。

6.3 Sec-WebSocket-Accept的計算

Sec-WebSocket-Accept根據客戶端請求首部的Sec-WebSocket-Key計算出來。

計算公式為：

1）將Sec-WebSocket-Key跟258EAFA5-E914-47DA-95CA-C5AB0DC85B11拼接；
2）通過SHA1計算出摘要，并轉成base64字符串。

偽代碼如下：

> toBase64( sha1( Sec-WebSocket-Key + 258EAFA5-E914-47DA-95CA-C5AB0DC85B11 ) )

驗證下前面的返回結果：

const crypto = require('crypto');
const magic = '258EAFA5-E914-47DA-95CA-C5AB0DC85B11';
const secWebSocketKey = 'w4v7O6xFTi36lq3RNcgctw==';
let secWebSocketAccept = crypto.createHash('sha1')
.update(secWebSocketKey + magic)
.digest('base64');
console.log(secWebSocketAccept);
// Oy4NRAQ13jhfONC7bP8dTKb4PTU=

7、數據幀格式

7.1 概述

客戶端、服務端數據的交換，離不開數據幀格式的定義。因此，在實際講解數據交換之前，我們先來看下WebSocket的數據幀格式。

WebSocket客戶端、服務端通信的最小單位是幀（frame），由1個或多個幀組成一條完整的消息（message）。

1）發送端：將消息切割成多個幀，并發送給服務端；
2）接收端：接收消息幀，并將關聯的幀重新組裝成完整的消息。

本節的重點，就是講解數據幀的格式。詳細定義可參考 RFC6455 5.2節。

7.2 數據幀格式概覽

下面給出了WebSocket數據幀的統一格式。熟悉TCP/IP協議的同學對這樣的圖應該不陌生。

1）從左到右，單位是比特。比如FIN、RSV1各占據1比特，opcode占據4比特；
2）內容包括了標識、操作代碼、掩碼、數據、數據長度等。（下一小節會展開）

7.3 數據幀格式詳解

針對前面的格式概覽圖，這里逐個字段進行講解，如有不清楚之處，可參考協議規范，或留言交流。

1）FIN：1個比特。

如果是1，表示這是消息（message）的最后一個分片（fragment），如果是0，表示不是是消息（message）的最后一個分片（fragment）。

2）RSV1, RSV2, RSV3：各占1個比特。

一般情況下全為0。當客戶端、服務端協商采用WebSocket擴展時，這三個標志位可以非0，且值的含義由擴展進行定義。如果出現非零的值，且并沒有采用WebSocket擴展，連接出錯。

3）Opcode：4個比特。

操作代碼，Opcode的值決定了應該如何解析后續的數據載荷（data payload）。如果操作代碼是不認識的，那么接收端應該斷開連接（fail the connection）。

可選的操作代碼如下：

%x0：表示一個延續幀。當Opcode為0時，表示本次數據傳輸采用了數據分片，當前收到的數據幀為其中一個數據分片。
%x1：表示這是一個文本幀（frame）
%x2：表示這是一個二進制幀（frame）
%x3-7：保留的操作代碼，用于后續定義的非控制幀。
%x8：表示連接斷開。
%x9：表示這是一個ping操作。
%xA：表示這是一個pong操作。
%xB-F：保留的操作代碼，用于后續定義的控制幀。

4）Mask：1個比特。

表示是否要對數據載荷進行掩碼操作。從客戶端向服務端發送數據時，需要對數據進行掩碼操作；從服務端向客戶端發送數據時，不需要對數據進行掩碼操作。

如果服務端接收到的數據沒有進行過掩碼操作，服務端需要斷開連接。

如果Mask是1，那么在Masking-key中會定義一個掩碼鍵（masking key），并用這個掩碼鍵來對數據載荷進行反掩碼。所有客戶端發送到服務端的數據幀，Mask都是1。

掩碼的算法、用途在下一小節講解。

5）Payload length：數據載荷的長度，單位是字節。為7位，或7+16位，或1+64位。

假設數Payload length === x，如果：

x為0~126：數據的長度為x字節。
x為126：后續2個字節代表一個16位的無符號整數，該無符號整數的值為數據的長度。
x為127：后續8個字節代表一個64位的無符號整數（最高位為0），該無符號整數的值為數據的長度。

此外，如果payload length占用了多個字節的話，payload length的二進制表達采用網絡序（big endian，重要的位在前）。

6）Masking-key：0或4字節（32位）

所有從客戶端傳送到服務端的數據幀，數據載荷都進行了掩碼操作，Mask為1，且攜帶了4字節的Masking-key。如果Mask為0，則沒有Masking-key。

備注：載荷數據的長度，不包括mask key的長度。

7）Payload data：(x+y) 字節

載荷數據：包括了擴展數據、應用數據。其中，擴展數據x字節，應用數據y字節。

擴展數據：如果沒有協商使用擴展的話，擴展數據數據為0字節。所有的擴展都必須聲明擴展數據的長度，或者可以如何計算出擴展數據的長度。此外，擴展如何使用必須在握手階段就協商好。如果擴展數據存在，那么載荷數據長度必須將擴展數據的長度包含在內。

應用數據：任意的應用數據，在擴展數據之后（如果存在擴展數據），占據了數據幀剩余的位置。載荷數據長度減去擴展數據長度，就得到應用數據的長度。

7.4 掩碼算法

掩碼鍵（Masking-key）是由客戶端挑選出來的32位的隨機數。掩碼操作不會影響數據載荷的長度。

掩碼、反掩碼操作都采用如下算法。

首先，假設：

original-octet-i：為原始數據的第i字節；
transformed-octet-i：為轉換后的數據的第i字節；
j：為i mod 4的結果；
masking-key-octet-j：為mask key第j字節。

算法描述為： original-octet-i 與 masking-key-octet-j 異或后，得到 transformed-octet-i。

j = i MOD 4
transformed-octet-i = original-octet-i XOR masking-key-octet-j

8、數據傳輸

一旦WebSocket客戶端、服務端建立連接后，后續的操作都是基于數據幀的傳遞。

WebSocket根據opcode來區分操作的類型。比如0x8表示斷開連接，0x0-0x2表示數據交互。

8.1 數據分片

WebSocket的每條消息可能被切分成多個數據幀。當WebSocket的接收方收到一個數據幀時，會根據FIN的值來判斷，是否已經收到消息的最后一個數據幀。

FIN=1表示當前數據幀為消息的最后一個數據幀，此時接收方已經收到完整的消息，可以對消息進行處理。FIN=0，則接收方還需要繼續監聽接收其余的數據幀。

此外，opcode在數據交換的場景下，表示的是數據的類型。0x01表示文本，0x02表示二進制。而0x00比較特殊，表示延續幀（continuation frame），顧名思義，就是完整消息對應的數據幀還沒接收完。

8.2 數據分片例子

直接看例子更形象些。下面例子來自 MDN，可以很好地演示數據的分片。客戶端向服務端兩次發送消息，服務端收到消息后回應客戶端，這里主要看客戶端往服務端發送的消息。

第一條消息：

FIN=1, 表示是當前消息的最后一個數據幀。服務端收到當前數據幀后，可以處理消息。opcode=0x1，表示客戶端發送的是文本類型。

第二條消息：

1）FIN=0，opcode=0x1，表示發送的是文本類型，且消息還沒發送完成，還有后續的數據幀；
2）FIN=0，opcode=0x0，表示消息還沒發送完成，還有后續的數據幀，當前的數據幀需要接在上一條數據幀之后；
3）FIN=1，opcode=0x0，表示消息已經發送完成，沒有后續的數據幀，當前的數據幀需要接在上一條數據幀之后。服務端可以將關聯的數據幀組裝成完整的消息。

Client: FIN=1, opcode=0x1, msg="hello"
Server: (process complete message immediately) Hi.
Client: FIN=0, opcode=0x1, msg="and a"
Server: (listening, new message containing text started)
Client: FIN=0, opcode=0x0, msg="happy new"
Server: (listening, payload concatenated to previous message)
Client: FIN=1, opcode=0x0, msg="year!"
Server: (process complete message) Happy new year to you too!

9、連接保持、心跳

WebSocket為了保持客戶端、服務端的實時雙向通信，需要確保客戶端、服務端之間的TCP通道保持連接沒有斷開。

然而，對于長時間沒有數據往來的連接，如果依舊長時間保持著，可能會浪費包括的連接資源。

但不排除有些場景，客戶端、服務端雖然長時間沒有數據往來，但仍需要保持連接。

這個時候，可以采用心跳來實現：

發送方->接收方：ping
接收方->發送方：pong

ping、pong的操作，對應的是WebSocket的兩個控制幀，opcode分別是0x9、0xA。

舉例：WebSocket服務端向客戶端發送ping，只需要如下代碼（采用ws模塊）

ws.ping('', false, true);

10、Sec-WebSocket-Key/Accept的作用

前面提到了，Sec-WebSocket-Key/Sec-WebSocket-Accept 在主要作用在于提供基礎的防護，減少惡意連接、意外連接。

作用大致歸納如下：

1）避免服務端收到非法的websocket連接（比如http客戶端不小心請求連接websocket服務，此時服務端可以直接拒絕連接）
2）確保服務端理解websocket連接。因為ws握手階段采用的是http協議，因此可能ws連接是被一個http服務器處理并返回的，此時客戶端可以通過Sec-WebSocket-Key來確保服務端認識ws協議。（并非百分百保險，比如總是存在那么些無聊的http服務器，光處理Sec-WebSocket-Key，但并沒有實現ws協議。。。）
3）用瀏覽器里發起ajax請求，設置header時，Sec-WebSocket-Key以及其他相關的header是被禁止的。這樣可以避免客戶端發送ajax請求時，意外請求協議升級（websocket upgrade）
4）可以防止反向代理（不理解ws協議）返回錯誤的數據。比如反向代理前后收到兩次ws連接的升級請求，反向代理把第一次請求的返回給cache住，然后第二次請求到來時直接把cache住的請求給返回（無意義的返回）。
5）Sec-WebSocket-Key主要目的并不是確保數據的安全性，因為Sec-WebSocket-Key、Sec-WebSocket-Accept的轉換計算公式是公開的，而且非常簡單，最主要的作用是預防一些常見的意外情況（非故意的）。

強調：Sec-WebSocket-Key/Sec-WebSocket-Accept 的換算，只能帶來基本的保障，但連接是否安全、數據是否安全、客戶端/服務端是否合法的 ws客戶端、ws服務端，其實并沒有實際性的保證。

11、數據掩碼的作用

11.1 概述

WebSocket協議中，數據掩碼的作用是增強協議的安全性。但數據掩碼并不是為了保護數據本身，因為算法本身是公開的，運算也不復雜。除了加密通道本身，似乎沒有太多有效的保護通信安全的辦法。

那么為什么還要引入掩碼計算呢，除了增加計算機器的運算量外似乎并沒有太多的收益（這也是不少同學疑惑的點）。

答案還是兩個字：安全。但并不是為了防止數據泄密，而是為了防止早期版本的協議中存在的代理緩存污染攻擊（proxy cache poisoning attacks）等問題。

11.2 代理緩存污染攻擊

下面摘自2010年關于安全的一段講話。其中提到了代理服務器在協議實現上的缺陷可能導致的安全問題（點此查看出處）。

“We show, empirically, that the current version of the WebSocket consent mechanism is vulnerable to proxy cache poisoning attacks. Even though the WebSocket handshake is based on HTTP, which should be understood by most network intermediaries, the handshake uses the esoteric “Upgrade” mechanism of HTTP. In our experiment, we find that many proxies do not implement the Upgrade mechanism properly, which causes the handshake to succeed even though subsequent traffic over the socket will be misinterpreted by the proxy.”
【TALKING】 Huang, L-S., Chen, E., Barth, A., Rescorla, E., and C.
Jackson, "Talking to Yourself for Fun and Profit", 2010,

在正式描述攻擊步驟之前，我們假設有如下參與者：

1）攻擊者、攻擊者自己控制的服務器（簡稱“邪惡服務器”）、攻擊者偽造的資源（簡稱“邪惡資源”）；
2）受害者、受害者想要訪問的資源（簡稱“正義資源”）；
3）受害者實際想要訪問的服務器（簡稱“正義服務器”）；
4）中間代理服務器。

攻擊步驟一：

1）攻擊者瀏覽器向邪惡服務器發起WebSocket連接。根據前文，首先是一個協議升級請求；
2）協議升級請求實際到達代理服務器；
3）代理服務器將協議升級請求轉發到邪惡服務器；
4）邪惡服務器同意連接，代理服務器將響應轉發給攻擊者。

由于 upgrade 的實現上有缺陷，代理服務器以為之前轉發的是普通的HTTP消息。因此，當協議服務器同意連接，代理服務器以為本次會話已經結束。

攻擊步驟二：

1）攻擊者在之前建立的連接上，通過WebSocket的接口向邪惡服務器發送數據，且數據是精心構造的HTTP格式的文本。其中包含了正義資源的地址，以及一個偽造的host（指向正義服務器）。（見后面報文）
2）請求到達代理服務器。雖然復用了之前的TCP連接，但代理服務器以為是新的HTTP請求。
3）代理服務器向邪惡服務器請求邪惡資源。
4）邪惡服務器返回邪惡資源。代理服務器緩存住邪惡資源（url是對的，但host是正義服務器的地址）。

到這里，受害者可以登場了：

1）受害者通過代理服務器訪問正義服務器的正義資源。
2）代理服務器檢查該資源的url、host，發現本地有一份緩存（偽造的）。
3）代理服務器將邪惡資源返回給受害者。
4）受害者卒。

附：前面提到的精心構造的“HTTP請求報文”。

Client → Server:
POST /path/of/attackers/choice HTTP/1.1 Host: host-of-attackers-choice.com Sec-WebSocket-Key: <connection-key>
Server → Client:
HTTP/1.1 200 OK
Sec-WebSocket-Accept: <connection-key>

11.3 當前解決方案

最初的提案是對數據進行加密處理。基于安全、效率的考慮，最終采用了折中的方案：對數據載荷進行掩碼處理。

需要注意的是，這里只是限制了瀏覽器對數據載荷進行掩碼處理，但是壞人完全可以實現自己的WebSocket客戶端、服務端，不按規則來，攻擊可以照常進行。

但是對瀏覽器加上這個限制后，可以大大增加攻擊的難度，以及攻擊的影響范圍。如果沒有這個限制，只需要在網上放個釣魚網站騙人去訪問，一下子就可以在短時間內展開大范圍的攻擊。

12、寫在后面

WebSocket可寫的東西還挺多，比如WebSocket擴展。客戶端、服務端之間是如何協商、使用擴展的。WebSocket擴展可以給協議本身增加很多能力和想象空間，比如數據的壓縮、加密，以及多路復用等。

篇幅所限，這里先不展開，感興趣的同學可以留言交流。文章如有錯漏，敬請指出。

13、參考資料

[1] RFC6455：websocket規范
[2] 規范：數據幀掩碼細節
[3] 規范：數據幀格式
[4] server-example
[5] 編寫websocket服務器
[6] 對網絡基礎設施的攻擊（數據掩碼操作所要預防的事情）
[7] Talking to Yourself for Fun and Profit（含有攻擊描述）
[8] What is Sec-WebSocket-Key for?
[9] 10.3. Attacks On Infrastructure (Masking)
[10] Talking to Yourself for Fun and Profit
[11] Why are WebSockets masked?
[12] How does websocket frame masking protect against cache poisoning?
[13] What is the mask in a WebSocket frame?

附錄：更多Web端即時通訊資料

《SSE技術詳解：一種全新的HTML5服務器推送事件技術》
《Comet技術詳解：基于HTTP長連接的Web端實時通信技術》
《socket.io實現消息推送的一點實踐及思路》
《LinkedIn的Web端即時通訊實踐：實現單機幾十萬條長連接》
《Web端即時通訊技術的發展與WebSocket、Socket.io的技術實踐》
《Web端即時通訊安全：跨站點WebSocket劫持漏洞詳解(含示例代碼)》
《開源框架Pomelo實踐：搭建Web端高性能分布式IM聊天服務器》
《使用WebSocket和SSE技術實現Web端消息推送》
《詳解Web端通信方式的演進：從Ajax、JSONP 到 SSE、Websocket》
《MobileIMSDK-Web的網絡層框架為何使用的是Socket.io而不是Netty？》
《理論聯系實際：從零理解WebSocket的通信原理、協議格式、安全性》
《微信小程序中如何使用WebSocket實現長連接(含完整源碼)》
《快速了解Electron：新一代基于Web的跨平臺桌面技術》
《一文讀懂前端技術演進：盤點Web前端20年的技術變遷史》
《Web端即時通訊基礎知識補課：一文搞懂跨域的所有問題！》
《Web端即時通訊實踐干貨：如何讓你的WebSocket斷網重連更快速？》
《WebSocket從入門到精通，半小時就夠！》
>> 更多同類文章 ……