我的Java路上那些事兒

1. 基本 概念

IO 是主存和外部設備 ( 硬盤、終端和網絡等 ) 拷貝數據的過程。 IO 是操作系統的底層功能實現，底層通過 I/O 指令進行完成。

所有語言運行時系統提供執行 I/O 較高級別的工具。 (c 的 printf scanf,java 的面向對象封裝 )

2. Java 標準 io 回顧

Java 標準 IO 類庫是 io 面向對象的一種抽象。基于本地方法的底層實現，我們無須關注底層實現。 InputStream\OutputStream( 字節流 ) ：一次傳送一個字節。 Reader\Writer( 字符流 ) ：一次一個字符。

3. nio 簡介

nio 是 java New IO 的簡稱，在 jdk1.4 里提供的新 api 。 Sun 官方標榜的特性如下：

– 為所有的原始類型提供 (Buffer) 緩存支持。

– 字符集編碼解碼解決方案。

– Channel ：一個新的原始 I/O 抽象。

– 支持鎖和內存映射文件的文件訪問接口。

– 提供多路 (non-bloking) 非阻塞式的高伸縮性網絡 I/O 。

本文將圍繞這幾個特性進行學習和介紹。

4. Buffer&Chanel

Channel 和 buffer 是 NIO 是兩個最基本的數據類型抽象。

Buffer:

– 是一塊連續的內存塊。

– 是 NIO 數據讀或寫的中轉地。

Channel:

– 數據的源頭或者數據的目的地

– 用于向 buffer 提供數據或者讀取 buffer 數據 ,buffer 對象的唯一接口。

– 異步 I/O 支持

圖1：channel和buffer關系

例子 1:CopyFile.java:

package sample;

import java.io.FileInputStream;
import java.io.FileOutputStream;
import java.nio.ByteBuffer;
import java.nio.channels.FileChannel;

public class CopyFile {
	public static void main(String[] args) throws Exception {
		String infile = "C:\\copy.sql";
		String outfile = "C:\\copy.txt";
		// 獲取源文件和目標文件的輸入輸出流
		FileInputStream fin = new FileInputStream(infile);
		FileOutputStream fout = new FileOutputStream(outfile);
		// 獲取輸入輸出通道
		FileChannel fcin = fin.getChannel();
		FileChannel fcout = fout.getChannel();
		// 創建緩沖區
		ByteBuffer buffer = ByteBuffer.allocate(1024);
		while (true) {
			// clear方法重設緩沖區，使它可以接受讀入的數據
			buffer.clear();
			// 從輸入通道中將數據讀到緩沖區
			int r = fcin.read(buffer);
			// read方法返回讀取的字節數，可能為零，如果該通道已到達流的末尾，則返回-1
			if (r == -1) {
				break;
			}
			// flip方法讓緩沖區可以將新讀入的數據寫入另一個通道
			buffer.flip();
			// 從輸出通道中將數據寫入緩沖區
			fcout.write(buffer);
		}
	}
}

 

 

其中 buffer 內部結構如下 ( 下圖拷貝自資料 ):

圖2：buffer內部結構

一個 buffer 主要由 position,limit,capacity 三個變量來控制讀寫的過程。此三個變量的含義見如下表格：

Buffer 常見方法：

flip(): 寫模式轉換成讀模式

rewind() ：將 position 重置為 0 ，一般用于重復讀。

clear() ：清空 buffer ，準備再次被寫入 (position 變成 0 ， limit 變成 capacity) 。

compact(): 將未讀取的數據拷貝到 buffer 的頭部位。

mark() 、 reset():mark 可以標記一個位置， reset 可以重置到該位置。

Buffer 常見類型： ByteBuffer 、 MappedByteBuffer 、 CharBuffer 、 DoubleBuffer 、 FloatBuffer 、 IntBuffer 、 LongBuffer 、 ShortBuffer 。

channel 常見類型 :FileChannel 、 DatagramChannel(UDP) 、 SocketChannel(TCP) 、 ServerSocketChannel(TCP)

在本機上面做了個簡單的性能測試。我的筆記本性能一般。 ( 具體代碼可以見附件。見 nio.sample.filecopy 包下面的例子 ) 以下是參考數據：

– 場景 1 ： Copy 一個 370M 的文件

– 場景 2: 三個線程同時拷貝，每個線程拷貝一個 370M 文件

場景	FileInputStream+ FileOutputStream	FileInputStream+ BufferedInputStream+ FileOutputStream	ByteBuffer+ FileChannel	MappedByteBuffer +FileChannel
場景一時間 ( 毫秒 )	25155	17500	19000	16500
場景二時間 ( 毫秒 )	69000	67031	74031	71016

5. nio.charset

字符編碼解碼 : 字節碼本身只是一些數字，放到正確的上下文中被正確被解析。向 ByteBuffer 中存放數據時需要考慮字符集的編碼方式，讀取展示 ByteBuffer 數據時涉及對字符集解碼。

Java.nio.charset 提供了編碼解碼一套解決方案。

以我們最常見的 http 請求為例，在請求的時候必須對請求進行正確的編碼。在得到響應時必須對響應進行正確的解碼。

以下代碼向 baidu 發一次請求，并獲取結果進行顯示。例子演示到了 charset 的使用。

例子 2BaiduReader.java

package nio.readpage;

import java.nio.ByteBuffer;
import java.nio.channels.SocketChannel;
import java.nio.charset.Charset;
import java.net.InetSocketAddress;
import java.io.IOException;
public class BaiduReader {
	private Charset charset = Charset.forName("GBK");// 創建GBK字符集
	private SocketChannel channel;
	public void readHTMLContent() {
		try {
			InetSocketAddress socketAddress = new InetSocketAddress(
"www.baidu.com", 80);
//step1:打開連接
			channel = SocketChannel.open(socketAddress);
		//step2:發送請求，使用GBK編碼
			channel.write(charset.encode("GET " + "/ HTTP/1.1" + "\r\n\r\n"));
			//step3:讀取數據
			ByteBuffer buffer = ByteBuffer.allocate(1024);// 創建1024字節的緩沖
			while (channel.read(buffer) != -1) {
				buffer.flip();// flip方法在讀緩沖區字節操作之前調用。
				System.out.println(charset.decode(buffer));
				// 使用Charset.decode方法將字節轉換為字符串
				buffer.clear();// 清空緩沖
			}
		} catch (IOException e) {
			System.err.println(e.toString());
		} finally {
			if (channel != null) {
				try {
					channel.close();
				} catch (IOException e) {
				}
			}
		}
	}
	public static void main(String[] args) {
		new BaiduReader().readHTMLContent();
	}
}

6. 非阻塞 IO

關于非阻塞 IO 將從何為阻塞、何為非阻塞、非阻塞原理和異步核心 API 幾個方面來理解。

何為阻塞？

一個常見的網絡 IO 通訊流程如下 :

圖3：網絡通訊基本過程

從該網絡通訊過程來理解一下何為阻塞 :

在以上過程中若連接還沒到來，那么 accept 會阻塞 , 程序運行到這里不得不掛起， CPU 轉而執行其他線程。

在以上過程中若數據還沒準備好， read 會一樣也會阻塞。

阻塞式網絡 IO 的特點：多線程處理多個連接。每個線程擁有自己的棧空間并且占用一些 CPU 時間。每個線程遇到外部為準備好的時候，都會阻塞掉。阻塞的結果就是會帶來大量的進程上下文切換。且大部分進程上下文切換可能是無意義的。比如假設一個線程監聽一個端口，一天只會有幾次請求進來，但是該 cpu 不得不為該線程不斷做上下文切換嘗試，大部分的切換以阻塞告終。

何為非阻塞？

下面有個隱喻：

一輛從 A 開往 B 的公共汽車上，路上有很多點可能會有人下車。司機不知道哪些點會有哪些人會下車，對于需要下車的人，如何處理更好？

1. 司機過程中定時詢問每個乘客是否到達目的地，若有人說到了，那么司機停車，乘客下車。 ( 類似阻塞式 )

2. 每個人告訴售票員自己的目的地，然后睡覺，司機只和售票員交互，到了某個點由售票員通知乘客下車。 ( 類似非阻塞 )

很顯然，每個人要到達某個目的地可以認為是一個線程，司機可以認為是 CPU 。在阻塞式里面，每個線程需要不斷的輪詢，上下文切換，以達到找到目的地的結果。而在非阻塞方式里，每個乘客 ( 線程 ) 都在睡覺 ( 休眠 ) ，只在真正外部環境準備好了才喚醒，這樣的喚醒肯定不會阻塞。

非阻塞的原理

把整個過程切換成小的任務，通過任務間協作完成。

由一個專門的線程來處理所有的 IO 事件，并負責分發。

事件驅動機制：事件到的時候觸發，而不是同步的去監視事件。

線程通訊：線程之間通過 wait,notify 等方式通訊。保證每次上下文切換都是有意義的。減少無謂的進程切換。

以下是異步 IO 的結構：

圖4：非阻塞基本原理

Reactor 就是上面隱喻的售票員角色。每個線程的處理流程大概都是讀取數據、解碼、計算處理、編碼、發送響應。

異步 IO 核心 API

Selector

異步 IO 的核心類，它能檢測一個或多個通道 (channel) 上的事件，并將事件分發出去。

使用一個 select 線程就能監聽多個通道上的事件，并基于事件驅動觸發相應的響應。而不需要為每個 channel 去分配一個線程。

SelectionKey

包含了事件的狀態信息和時間對應的通道的綁定。