NIO

（1）基本介紹

1）JAVA NIO全程 java non-blocking IO，是指JDK提供的新API。從JDK1.4開始，Java提供了一系列改進(jìn)的輸入/輸出的新特性，被統(tǒng)稱為NIO，是同步非阻塞的

2）NIO相關(guān)類都被放在java.nio包及子包下，并且對(duì)原java.io包中的很多類進(jìn)行改寫

3）NIO有三大核心部分：Channel(通道)，Buffer(緩沖區(qū))，Selector（選擇器）

4）NIO是面向緩沖區(qū)，或者面向塊編程的。數(shù)據(jù)讀取到一個(gè)它稍后處理的緩沖區(qū)，需要時(shí)可在緩沖區(qū)中前后移動(dòng)，這就增加了處理過程中的靈活性，使用它可以提供非阻塞式高伸縮性網(wǎng)絡(luò)

5）Java NIO的非阻塞模式，使一個(gè)線程從某通道發(fā)送請(qǐng)求或者讀取數(shù)據(jù)，但是它僅能得到目前可用的數(shù)據(jù)，如果目前沒有數(shù)據(jù)可用時(shí)，就什么都不會(huì)獲取，而不是保持線程阻塞，所以直至數(shù)據(jù)變的可以讀取之前，該線程可以繼續(xù)做其它的事情。非阻塞也是如此，一個(gè)線程請(qǐng)求寫入一些數(shù)據(jù)到某通道，但不需要等待它完全寫入，這個(gè)線程同時(shí)可以去做別的事情

6）HTTP2.0使用了多路復(fù)用的技術(shù)，做到同一個(gè)連接并發(fā)處理多個(gè)請(qǐng)求，并且并發(fā)請(qǐng)求的數(shù)量比HTTP1.1大了好幾個(gè)數(shù)量級(jí)

（2）NIO和BIO的比較

1）BIO以流的方式處理數(shù)據(jù)，而NIO以塊的方式處理數(shù)據(jù)，塊I/O的效率比流I/O高很多

2）BIO是阻塞的，NIO是非阻塞的

3）BIO基于字節(jié)流和字符流進(jìn)行操作，而NIO基于Channel(通道)和Buffer(緩沖區(qū))進(jìn)行操作，數(shù)據(jù)總是從通道讀取到緩沖區(qū)中，或者從緩沖區(qū)寫入到通道中。Selector(選擇器)用于監(jiān)聽多個(gè)通道的時(shí)間(比如：連接請(qǐng)求，數(shù)據(jù)到達(dá)等)，因此使用單個(gè)線程就可以監(jiān)聽多個(gè)客戶端通道

（3）NIO三大核心原理

 

 

每個(gè)channel都會(huì)對(duì)應(yīng)一個(gè)Buffer

2）Selector 對(duì)應(yīng)一個(gè)線程， 一個(gè)線程對(duì)應(yīng)多個(gè)channel(連接)

3）該圖反應(yīng)了有三個(gè)channel注冊(cè)到該selector//程序

4）程序切換到哪個(gè)channel是由事件決定的,Event就是一個(gè)重要的概念

5）Selector 會(huì)根據(jù)不同的事件，在各個(gè)通道上切換

6）Buffer 就是一個(gè)內(nèi)存塊 ， 底層是有一個(gè)數(shù)組

7）數(shù)據(jù)的讀取寫入是通過Buffer,這個(gè)和BIO,BIO中或者是輸入流，或者是輸出流, 不能雙向，但是 NIO 的 Buffer 是可以讀也可以寫, 需要 flip 方法切換。channel 是雙向的, 可以返回底層操作系統(tǒng)的情況, 比如 linux ，底層的操作系統(tǒng)通道就是雙向的

緩沖區(qū)(Buffer)

（1）基本介紹

緩沖區(qū)(Buffer):緩沖區(qū)本質(zhì)上是一個(gè)可以讀寫數(shù)據(jù)的內(nèi)存塊，可以理解成是一個(gè)容器對(duì)象(含數(shù)組)，該對(duì)象提供了一組方法，可以更輕松地使用內(nèi)存塊，緩沖區(qū)對(duì)象內(nèi)置了一些機(jī)制，能夠跟蹤和記錄緩沖區(qū)的狀態(tài)變化情況。Channel 提供從文件、網(wǎng)絡(luò)讀取數(shù)據(jù)的渠道，但是讀取或?qū)懭氲臄?shù)據(jù)都必須經(jīng)由 Buffer

 

2）Buffer及其子類

1）在 NIO 中，Buffer 是一個(gè)頂層父類，它是一個(gè)抽象類, 類的層級(jí)關(guān)系圖:

 

 

 

2）Buffer類定義了所有的緩沖區(qū)都具有的四個(gè)屬性來提供關(guān)于其所包含的數(shù)據(jù)元素的信息:

 

 

 

常用方法

 

 通道(Channel)

（1）基本介紹

NIO的通道類似于流，但有些區(qū)別如下：

通道可以同時(shí)進(jìn)行讀寫，而流只能讀或者寫

通道可以實(shí)現(xiàn)異步讀寫數(shù)據(jù)

通道可以從緩沖讀數(shù)據(jù)，也可以寫數(shù)據(jù)到緩沖

BIO中的stream是單向的，例如FileInputStream對(duì)象只能進(jìn)行讀取數(shù)據(jù)的操作，而NIO中的通道(Channel)是雙向的，可以讀操作，也可以寫操作

常見的Channel類有：FileChannel、DatagramChannel、ServerSocketChannel和SocketChannel。

FileChannel用于文件的數(shù)據(jù)讀寫，DatagramChannel用于UDP的數(shù)據(jù)讀寫，ServerSocketChannel和SocketChannel用于TCP的數(shù)據(jù)讀寫

（2）FileChannel

 

 

（3）案例1-本地文件寫數(shù)據(jù)

public class NIOFileChannel01 {

 public static void main(String[] args) throws Exception{


 String str = "hello,NIO";

 //創(chuàng)建一個(gè)輸出流->channel

 FileOutputStream fileOutputStream = new FileOutputStream("/Users/Apple/學(xué)習(xí)/study/test01.txt");


 //通過 fileOutputStream 獲取 對(duì)應(yīng)的 FileChannel

 //這個(gè) fileChannel 真實(shí) 類型是 FileChannelImpl

 FileChannel fileChannel = fileOutputStream.getChannel();


 //創(chuàng)建一個(gè)緩沖區(qū) ByteBuffer

 ByteBuffer byteBuffer = ByteBuffer.allocate(1024);


 //將 str 放入 byteBuffer

 byteBuffer.put(str.getBytes());


 //對(duì)byteBuffer 進(jìn)行flip

 byteBuffer.flip();

 //將byteBuffer 數(shù)據(jù)寫入到 fileChannel

 fileChannel.write(byteBuffer);

 fileOutputStream.close();


 }

}

（4）案例2-本地文件讀數(shù)據(jù)

public class NIOFileChannel02 {

public static void main(String[] args) throws Exception {

//創(chuàng)建文件的輸入流

File file = new File("/Users/apple/學(xué)習(xí)/study/test01.txt");

FileInputStream fileInputStream = new FileInputStream(file);

//通過fileInputStream 獲取對(duì)應(yīng)的FileChannel -> 實(shí)際類型 FileChannelImpl

FileChannel fileChannel = fileInputStream.getChannel();

//創(chuàng)建緩沖區(qū)

ByteBuffer byteBuffer = ByteBuffer.allocate((int) file.length());

//將通道的數(shù)據(jù)讀入到Buffer

fileChannel.read(byteBuffer);

?

//將byteBuffer 的 字節(jié)數(shù)據(jù) 轉(zhuǎn)成String

System.out.println(new String(byteBuffer.array()));

fileInputStream.close();

?

}

}

（5）案例3-使用Buffer完成文件的讀取、寫入

public class NIOFileChannel03 {

public static void main(String[] args) throws Exception {

?

FileInputStream fileInputStream = new FileInputStream("1.txt");

FileChannel fileChannel01 = fileInputStream.getChannel();

?

FileOutputStream fileOutputStream = new FileOutputStream("2.txt");

FileChannel fileChannel02 = fileOutputStream.getChannel();

?

ByteBuffer byteBuffer = ByteBuffer.allocate(512);

?

//循環(huán)讀取

while (true) {

?

//這里有一個(gè)重要的操作，一定不要忘了

/*

public final Buffer clear() {

position = 0;

limit = capacity;

mark = -1;

return this;

}

*/

byteBuffer.clear(); //清空buffer

int read = fileChannel01.read(byteBuffer);

System.out.println("read =" + read);

//表示讀完

if (read == -1) {

break;

}

//將buffer 中的數(shù)據(jù)寫入到 fileChannel02 -- 2.txt

byteBuffer.flip();

fileChannel02.write(byteBuffer);

}

?

//關(guān)閉相關(guān)的流

fileInputStream.close();

fileOutputStream.close();

}

}

（6）案例4-拷貝文件 transferFrom 方法

public class NIOFileChannel04 {

public static void main(String[] args) throws Exception {

?

//創(chuàng)建相關(guān)流

FileInputStream fileInputStream = new FileInputStream("a.jpg");

FileOutputStream fileOutputStream = new FileOutputStream("a1.jpg");

?

//獲取各個(gè)流對(duì)應(yīng)的fileChannel

FileChannel sourceCh = fileInputStream.getChannel();

FileChannel destCh = fileOutputStream.getChannel();

?

//使用transferForm完成拷貝

destCh.transferFrom(sourceCh,0,sourceCh.size());

//關(guān)閉相關(guān)通道和流

sourceCh.close();

destCh.close();

fileInputStream.close();

fileOutputStream.close();

}

}

（7）案例5-零拷貝文件-transferTo文件

零拷貝參考資料：

https://www.cnblogs.com/yibutian/p/9482640.html

http://www.360doc.com/content/19/0528/13/99071_838741319.shtml

public class NewIOClient {

public static void main(String[] args) throws Exception {

String filename = "/Users/apple/password.txt";

?

//得到一個(gè)文件channel

FileChannel fileChannel = new FileInputStream(filename).getChannel();

FileChannel fileChannel1 = new FileOutputStream("/Users/apple/password1.txt").getChannel();

?

//準(zhǔn)備發(fā)送

long startTime = System.currentTimeMillis();

?

//在linux下一個(gè)transferTo 方法就可以完成傳輸

//在windows 下 一次調(diào)用 transferTo 只能發(fā)送8m,就需要分段傳輸文件

//transferTo 底層使用到零拷貝

long transferCount = fileChannel.transferTo(0, fileChannel.size(), fileChannel1);

?

System.out.println("發(fā)送的總的字節(jié)數(shù) =" + transferCount + " 耗時(shí):" + (System.currentTimeMillis() - startTime));

?

//關(guān)閉

fileChannel.close();

?

}

}

?

（8）注意事項(xiàng)和細(xì)節(jié)

1）ByteBuffer 支持類型化的 put 和 get, put 放入的是什么數(shù)據(jù)類型，get 就應(yīng)該使用相應(yīng)的數(shù)據(jù)類型來取出，否則可能有 BufferUnderflowException 異常

public class NIOByteBufferPutGet {

public static void main(String[] args) {

? //創(chuàng)建一個(gè)Buffer

ByteBuffer buffer = ByteBuffer.allocate(64);

?

//類型化方式放入數(shù)據(jù)

buffer.putInt(100);

buffer.putLong(9);

buffer.putChar('a');

buffer.putShort((short) 4);

?

//取出

buffer.flip();

?

System.out.println();

?

System.out.println(buffer.getInt());

System.out.println(buffer.getLong());

System.out.println(buffer.getChar());

System.out.println(buffer.getLong());

}

}

2）可以將一個(gè)普通Buffer轉(zhuǎn)成只讀Buffer

public class ReadOnlyBuffer {

public static void main(String[] args) {

?

//創(chuàng)建一個(gè)buffer

ByteBuffer buffer = ByteBuffer.allocate(64);

?

for(int i = 0; i < 64; i++) {

buffer.put((byte)i);

}

?

//讀取

buffer.flip();

?

//得到一個(gè)只讀的Buffer

ByteBuffer readOnlyBuffer = buffer.asReadOnlyBuffer();

System.out.println(readOnlyBuffer.getClass());

?

//讀取

while (readOnlyBuffer.hasRemaining()) {

System.out.println(readOnlyBuffer.get());

}

?

readOnlyBuffer.put((byte)100); //ReadOnlyBufferException

}

}

3）NIO 還提供了 MappedByteBuffer， 可以讓文件直接在內(nèi)存(堆外的內(nèi)存)中進(jìn)行修改

public class MappedByteBufferTest {

public static void main(String[] args) throws Exception {

?

RandomaccessFile randomAccessFile = new RandomAccessFile("/Users/apple/學(xué)習(xí)/study/test01.txt", "rw");

//獲取對(duì)應(yīng)的通道

FileChannel channel = randomAccessFile.getChannel();

?

/**

* 參數(shù)1: FileChannel.MapMode.READ_WRITE 使用的讀寫模式

* 參數(shù)2： 0 ： 可以直接修改的起始位置

* 參數(shù)3: 5: 是映射到內(nèi)存的大小(不是索引位置) ,即將 1.txt 的多少個(gè)字節(jié)映射到內(nèi)存

* 可以直接修改的范圍就是 0-5

* 實(shí)際類型 DirectByteBuffer

*/

MappedByteBuffer mappedByteBuffer = channel.map(FileChannel.MapMode.READ_WRITE, 0, 5);

?

mappedByteBuffer.put(0, (byte) 'H');

mappedByteBuffer.put(3, (byte) '9');

// mappedByteBuffer.put(5, (byte) 'Y');//IndexOutOfBoundsException

?

randomAccessFile.close();

System.out.println("修改成功~~");

}

}

4）NIO 還支持 通過多個(gè) Buffer (即 Buffer 數(shù)組) 完成讀寫操作，即 Scattering 和 Gathering

/**

* Scattering：將數(shù)據(jù)寫入到buffer時(shí)，可以采用buffer數(shù)組，依次寫入 [分散]

* Gathering: 從buffer讀取數(shù)據(jù)時(shí)，可以采用buffer數(shù)組，依次讀

*/

public class ScatteringAndGatheringTest {

public static void main(String[] args) throws Exception {

?

//使用 ServerSocketChannel 和 SocketChannel 網(wǎng)絡(luò)

?

ServerSocketChannel serverSocketChannel = ServerSocketChannel.open();

InetSocketAddress inetSocketAddress = new InetSocketAddress(7000);

?

//綁定端口到socket ，并啟動(dòng)

serverSocketChannel.socket().bind(inetSocketAddress);

?

//創(chuàng)建buffer數(shù)組

ByteBuffer[] byteBuffers = new ByteBuffer[2];

byteBuffers[0] = ByteBuffer.allocate(5);

byteBuffers[1] = ByteBuffer.allocate(3);

?

//等客戶端連接(telnet)

SocketChannel socketChannel = serverSocketChannel.accept();

//假定從客戶端接收8個(gè)字節(jié)

int messageLength = 8;

//循環(huán)的讀取

while (true) {

?

int byteRead = 0;

?

while (byteRead < messageLength) {

long l = socketChannel.read(byteBuffers);

//累計(jì)讀取的字節(jié)數(shù)

byteRead += l;

System.out.println("byteRead=" + byteRead);

//使用流打印, 看看當(dāng)前的這個(gè)buffer的position 和 limit

Arrays.stream(byteBuffers).map(buffer -> "position=" + buffer.position() + ", limit=" + buffer.limit()).forEach(System.out::println);

}

?

//將所有的buffer進(jìn)行flip

Arrays.asList(byteBuffers).forEach(Buffer::flip);

?

//將數(shù)據(jù)讀出顯示到客戶端

long byteWirte = 0;

while (byteWirte < messageLength) {

long l = socketChannel.write(byteBuffers);

byteWirte += l;

}

?

//將所有的buffer 進(jìn)行clear

Arrays.asList(byteBuffers).forEach(Buffer::clear);

?

System.out.println("byteRead:=" + byteRead + " byteWrite=" + byteWirte + ", messageLength" + messageLength);

}

?

}

}

選擇器(Selector)

（1）基本介紹

1）Java的NIO，用非阻塞的IO方式。可以用一個(gè)線程，處理多個(gè)的客戶端連接，就會(huì)用到選擇器

2）Selector能夠檢測(cè)多個(gè)注冊(cè)的通道上是否有事件發(fā)生。如果有事件發(fā)生，便獲取事件然后針對(duì)每個(gè)事件進(jìn)行相應(yīng)的處理。這樣就可以只用一個(gè)單線程去管理多個(gè)通道，也就是管理多個(gè)連接和請(qǐng)求

3）只有在連接/通道真正有讀寫事件發(fā)生時(shí)，才會(huì)進(jìn)行讀寫，就大大地減少了系統(tǒng)開銷，并且不必為每個(gè)連接都創(chuàng)建一個(gè)線程，不用去維護(hù)多個(gè)線程

4）避免了多線程之間的上下文切換導(dǎo)致的開銷

（2）常用方法

 

 

（3）代碼示例

NIOServer.java

public class NIOServer {

public static void main(String[] args) throws Exception {

?

//創(chuàng)建ServerSocketChannel -> ServerSocket

?

ServerSocketChannel serverSocketChannel = ServerSocketChannel.open();

?

//得到一個(gè)Selector對(duì)象

Selector selector = Selector.open();

?

//綁定一個(gè)端口6666, 在服務(wù)器端監(jiān)聽

serverSocketChannel.socket().bind(new InetSocketAddress(6666));

//設(shè)置為非阻塞

serverSocketChannel.configureBlocking(false);

?

//把 serverSocketChannel 注冊(cè)到 selector 關(guān)心 事件為 OP_ACCEPT

serverSocketChannel.register(selector, SelectionKey.OP_ACCEPT);

?

System.out.println("注冊(cè)后的selectionkey 數(shù)量=" + selector.keys().size());

?

?

//循環(huán)等待客戶端連接

while (true) {

?

//這里我們等待1秒，如果沒有事件發(fā)生, 返回

if (selector.select(1000) == 0) {

System.out.println("服務(wù)器等待了1秒，無連接");

continue;

}

?

//如果返回的>0, 就獲取到相關(guān)的 selectionKey集合

//1.如果返回的>0， 表示已經(jīng)獲取到關(guān)注的事件

//2. selector.selectedKeys() 返回關(guān)注事件的集合

// 通過 selectionKeys 反向獲取通道

Set<SelectionKey> selectionKeys = selector.selectedKeys();

System.out.println("selectionKeys 數(shù)量 = " + selectionKeys.size());

?

//遍歷 Set<SelectionKey>, 使用迭代器遍歷

Iterator<SelectionKey> keyIterator = selectionKeys.iterator();

?

while (keyIterator.hasNext()) {

//獲取到SelectionKey

SelectionKey key = keyIterator.next();

//根據(jù)key 對(duì)應(yīng)的通道發(fā)生的事件做相應(yīng)處理

//如果是 OP_ACCEPT, 有新的客戶端連接

if (key.isAcceptable()) {

//該該客戶端生成一個(gè) SocketChannel

SocketChannel socketChannel = serverSocketChannel.accept();

System.out.println("客戶端連接成功 生成了一個(gè) socketChannel " + socketChannel.hashCode());

//將 SocketChannel 設(shè)置為非阻塞

socketChannel.configureBlocking(false);

//將socketChannel 注冊(cè)到selector, 關(guān)注事件為 OP_READ， 同時(shí)給socketChannel

//關(guān)聯(lián)一個(gè)Buffer

socketChannel.register(selector, SelectionKey.OP_READ, ByteBuffer.allocate(1024));

?

System.out.println("客戶端連接后 ，注冊(cè)的selectionkey 數(shù)量=" + selector.keys().size()); //2,3,4..

?

?

}

//發(fā)生 OP_READ

if (key.isReadable()) {

?

//通過key 反向獲取到對(duì)應(yīng)channel

SocketChannel channel = (SocketChannel) key.channel();

?

//獲取到該channel關(guān)聯(lián)的buffer

ByteBuffer buffer = (ByteBuffer) key.attachment();

channel.read(buffer);

System.out.println("form 客戶端 " + new String(buffer.array()));

?

}

?

//手動(dòng)從集合中移動(dòng)當(dāng)前的selectionKey, 防止重復(fù)操作

keyIterator.remove();

?

}

?

}

?

}

}

NIOClient.java

public class NIOClient {

public static void main(String[] args) throws Exception{

?

//得到一個(gè)網(wǎng)絡(luò)通道

SocketChannel socketChannel = SocketChannel.open();

//設(shè)置非阻塞

socketChannel.configureBlocking(false);

//提供服務(wù)器端的ip 和 端口

InetSocketAddress inetSocketAddress = new InetSocketAddress("127.0.0.1", 6666);

//連接服務(wù)器

if (!socketChannel.connect(inetSocketAddress)) {

?

while (!socketChannel.finishConnect()) {

System.out.println("因?yàn)檫B接需要時(shí)間，客戶端不會(huì)阻塞，可以做其它工作..");

}

}

?

//...如果連接成功，就發(fā)送數(shù)據(jù)

String str = "hello, Selector~";

//Wraps a byte array into a buffer

ByteBuffer buffer = ByteBuffer.wrap(str.getBytes());

//發(fā)送數(shù)據(jù)，將 buffer 數(shù)據(jù)寫入 channel

socketChannel.write(buffer);

System.in.read();

?

}

}

（4）SelectionKey

SelectionKey，表示 Selector 和網(wǎng)絡(luò)通道的注冊(cè)關(guān)系, 共四種:

int OP_ACCEPT：有新的網(wǎng)絡(luò)連接可以 accept，值為 16

int OP_CONNECT：代表連接已經(jīng)建立，值為 8

int OP_READ：代表讀操作，值為 1

int OP_WRITE：代表寫操作，值為 4

相關(guān)方法：