Netty 架构与原理

接下来我们会学习一个 Netty 系列教程Netty 系列由「架构与原理」「源码」「架构」三部分组成今天我们先来看看第一部分Netty 架构与原理初探大纲如下前言1. Netty 基础1.4.1. 缓冲区Buffer1.4.2. 通道Channel1.4.3. 选择器Selector1.1. Netty 是什么1.2. Netty 的应用场景1.3. Java 中的网络 IO 模型1.4. Java NIO API 简单回顾1.5. 零拷贝技术2. Netty 的架构与原理2.2.1. 单 Reactor 单线程模式2.2.2. 单 Reactor 多线程模式2.2.3. 主从 Reactor 多线程模式2.1. 为什么要制造 Netty2.2. 几种 Reactor 线程模式2.3. Netty 的模样2.4. 基于 Netty 的 TCP Server/Client 案例2.5. Netty 的 Handler 组件2.6. Netty 的 Pipeline 组件2.7. Netty 的 EventLoopGroup 组件2.8. Netty 的 TaskQueue2.9. Netty 的 Future 和 Promise3. 结束语前言读者在阅读本文前最好有 Java 的 IO 编程经验知道 Java 的各种 IO 流以及 Java 网络编程经验用 ServerSocket 和 Socket 写过 demo并对 Java NIO 有基本的认识至少知道 Channel、Buffer、Selector 中的核心属性和方法以及三者如何配合使用的以及 JUC 编程经验至少知道其中的 Future 异步处理机制没有也没关系文中多数会介绍不影响整体的理解。文中对于 Reactor 的讲解使用了几张来自网络上的深灰色背景的示意图但未找到原始出处文中已标注“图片来源于网络”。Netty 的设计复杂接口和类体系庞大因此我会从不同的层次对有些 Netty 中的重要组件反复描述以帮助读者理解。1. Netty 基础基础好的同学如果已经掌握了 Java NIO 并对 IO 多路复用的概念有一定的认知可以跳过本章。1.1. Netty 是什么1Netty 是 JBoss 开源项目是异步的、基于事件驱动的网络应用框架它以高性能、高并发著称。所谓基于事件驱动说得简单点就是 Netty 会根据客户端事件连接、读、写等做出响应关于这点随着文章的论述的展开读者自然会明白。2Netty 主要用于开发基于 TCP 协议的网络 IO 程序TCP/IP 是网络通信的基石当然也是 Netty 的基石Netty 并没有去改变这些底层的网络基础设施而是在这之上提供更高层的网络基础设施例如高性能服务器段/客户端、P2P 程序等。3Netty 是基于 Java NIO 构建出来的Java NIO 又是基于 Linux 提供的高性能 IO 接口/系统调用构建出来的。关于 Netty 在网络中的地位下图可以很好地表达出来1.2. Netty 的应用场景在互联网领域Netty 作为异步高并发的网络组件常常用于构建高性能 RPC 框架以提升分布式服务群之间调用或者数据传输的并发度和速度。例如 Dubbo 的网络层就可以但并非一定使用 Netty。一些大数据基础设施比如 Hadoop在处理海量数据的时候数据在多个计算节点之中传输为了提高传输性能也采用 Netty 构建性能更高的网络 IO 层。在游戏行业Netty 被用于构建高性能的游戏交互服务器Netty 提供了 TCP/UDP、HTTP 协议栈方便开发者基于 Netty 进行私有协议的开发。……Netty 作为成熟的高性能异步通信框架无论是应用在互联网分布式应用开发中还是在大数据基础设施构建中亦或是用于实现应用层基于公私协议的服务器等等都有出色的表现是一个极好的轮子。1.3. Java 中的网络 IO 模型Java 中的网络 IO 模型有三种BIO、NIO、AIO。1BIO同步的、阻塞式 IO。在这种模型中服务器上一个线程处理一次连接即客户端每发起一个请求服务端都要开启一个线程专门处理该请求。这种模型对线程量的耗费极大且线程利用率低难以承受请求的高并发。BIO 虽然可以使用线程池等待队列进行优化避免使用过多的线程但是依然无法解决线程利用率低的问题。使用 BIO 构建 C/S 系统的 Java 编程组件是 ServerSocket 和 Socket。服务端示例代码为public static void main(String[]args)throws IOException{ExecutorService threadPoolExecutors.newCachedThreadPool();ServerSocket serverSocketnew ServerSocket(8080);while(true){Socket socketserverSocket.accept();threadPool.execute(()-{ handler(socket);});} }/***处理客户端请求*/private static void handler(Socket socket)throws IOException { byte[] bytesnew byte[1024];InputStream inputStreamsocket.getInputStream();socket.close();while(true){ int readinputStream.read(bytes);if(read!-1){ System.out.println(msg from client:new String(bytes,0,read));}else{break;}}}2NIO同步的、非阻塞式 IO。在这种模型中服务器上一个线程处理多个连接即多个客户端请求都会被注册到多路复用器后文要讲的 Selector上多路复用器会轮训这些连接轮训到连接上有 IO 活动就进行处理。NIO 降低了线程的需求量提高了线程的利用率。Netty 就是基于 NIO 的这里有一个问题前文大力宣扬 Netty 是一个异步高性能网络应用框架为何这里又说 Netty 是基于同步的 NIO 的请读者跟着文章的描述找寻答案。NIO 是面向缓冲区编程的从缓冲区读取数据的时候游标在缓冲区中是可以前后移动的这就增加了数据处理的灵活性。这和面向流的 BIO 只能顺序读取流中数据有很大的不同。Java NIO 的非阻塞模式使得一个线程从某个通道读取数据的时候若当前有可用数据则该线程进行处理若当前无可用数据则该线程不会保持阻塞等待状态而是可以去处理其他工作比如处理其他通道的读写同样一个线程向某个通道写入数据的时候一旦开始写入该线程无需等待写完即可去处理其他工作比如处理其他通道的读写。这种特性使得一个线程能够处理多个客户端请求而不是像 BIO 那样一个线程只能处理一个请求。使用 NIO 构建 C/S 系统的 Java 编程组件是 Channel、Buffer、Selector。服务端示例代码为public static void main(String[]args)throws IOException{ServerSocketChannel serverSocketChannelServerSocketChannel.open();Selector selectorSelector.open();// 绑定端口 serverSocketChannel.socket().bind(new InetSocketAddress(8080));// 设置 serverSocketChannel 为非阻塞模式 serverSocketChannel.configureBlocking(false);// 注册 serverSocketChannel 到 selector关注 OP_ACCEPT 事件 serverSocketChannel.register(selector, SelectionKey.OP_ACCEPT);while(true){// 没有事件发生if(selector.select(1000)0){continue;}// 有事件发生找到发生事件的 Channel 对应的 SelectionKey 的集合 SetSelectionKeyselectionKeysselector.selectedKeys();IteratorSelectionKeyiteratorselectionKeys.iterator();while(iterator.hasNext()){SelectionKey selectionKeyiterator.next();// 发生 OP_ACCEPT 事件处理连接请求if(selectionKey.isAcceptable()){SocketChannel socketChannelserverSocketChannel.accept();// 将 socketChannel 也注册到 selector关注 OP_READ // 事件并给 socketChannel 关联 Buffer socketChannel.register(selector, SelectionKey.OP_READ, ByteBuffer.allocate(1024));}// 发生 OP_READ 事件读客户端数据if(selectionKey.isReadable()){SocketChannel channel(SocketChannel)selectionKey.channel();ByteBuffer buffer(ByteBuffer)selectionKey.attachment();channel.read(buffer);System.out.println(msg form client: new String(buffer.array()));}// 手动从集合中移除当前的 selectionKey防止重复处理事件 iterator.remove();}}}3AIO异步非阻塞式 IO。在这种模型中由操作系统完成与客户端之间的 read/write之后再由操作系统主动通知服务器线程去处理后面的工作在这个过程中服务器线程不必同步等待 read/write 完成。由于不同的操作系统对 AIO 的支持程度不同AIO 目前未得到广泛应用。因此本文对 AIO 不做过多描述。使用 Java NIO 构建的 IO 程序它的工作模式是主动轮训 IO 事件IO 事件发生后程序的线程主动处理 IO 工作这种模式也叫做 Reactor 模式。使用 Java AIO 构建的 IO 程序它的工作模式是将 IO 事件的处理托管给操作系统操作系统完成 IO 工作之后会通知程序的线程去处理后面的工作这种模式也叫做 Proactor 模式。本节最后讨论一下网路 IO 中阻塞、非阻塞、异步、同步这几个术语的含义和关系阻塞如果线程调用 read/write 过程但 read/write 过程没有就绪或没有完成则调用 read/write 过程的线程会一直等待这个过程叫做阻塞式读写。非阻塞如果线程调用 read/write 过程但 read/write 过程没有就绪或没有完成调用 read/write 过程的线程并不会一直等待而是去处理其他工作等到 read/write 过程就绪或完成后再回来处理这个过程叫做阻塞式读写。异步read/write 过程托管给操作系统来完成完成后操作系统会通知通过回调或者事件应用网络 IO 程序其中的线程来进行后续的处理。同步read/write 过程由网络 IO 程序其中的线程来完成。基于以上含义可以看出异步 IO 一定是非阻塞 IO同步 IO 既可以是阻塞 IO、也可以是非阻塞 IO。1.4. Java NIO API 简单回顾BIO 以流的方式处理数据而 NIO 以缓冲区也被叫做块的方式处理数据块 IO 效率比流 IO 效率高很多。BIO 基于字符流或者字节流进行操作而 NIO 基于 Channel 和 Buffer 进行操作数据总是从通道读取到缓冲区或者从缓冲区写入到通道。Selector 用于监听多个通道上的事件比如收到连接请求、数据达到等等因此使用单个线程就可以监听多个客户端通道。如下图所示关于上图再进行几点说明一个 Selector 对应一个处理线程一个 Selector 上可以注册多个 Channel每个 Channel 都会对应一个 Buffer有时候一个 Channel 可以使用多个 Buffer这时候程序要进行多个 Buffer 的分散和聚集操作Buffer 的本质是一个内存块底层是一个数组Selector 会根据不同的事件在各个 Channel 上切换Buffer 是双向的既可以读也可以写切换读写方向要调用 Buffer 的 flip()方法同样Channel 也是双向的数据既可以流入也可以流出1.4.1. 缓冲区Buffer缓冲区Buffer本质上是一个可读可写的内存块可以理解成一个容器对象Channel 读写文件或者网络都要经由 Buffer。在 Java NIO 中Buffer 是一个顶层抽象类它的常用子类有前缀表示该 Buffer 可以存储哪种类型的数据ByteBufferCharBufferShortBufferIntBufferLongBufferDoubleBufferFloatBuffer涵盖了 Java 中除 boolean 之外的所有的基本数据类型。其中 ByteBuffer 支持类型化的数据存取即可以往 ByteBuffer 中放 byte 类型数据、也可以放 char、int、long、double 等类型的数据但读取的时候要做好类型匹配处理否则会抛出 BufferUnderflowException。另外Buffer 体系中还有一个重要的 MappedByteBufferByteBuffer 的子类可以让文件内容直接在堆外内存中被修改而如何同步到文件由 NIO 来完成。本文重点不在于此有兴趣的可以去探究一下 MappedByteBuffer 的底层原理。1.4.2. 通道Channel通道Channel是双向的可读可写。在 Java NIO 中Buffer 是一个顶层接口它的常用子类有FileChannel用于文件读写DatagramChannel用于 UDP 数据包收发ServerSocketChannel用于服务端 TCP 数据包收发SocketChannel用于客户端 TCP 数据包收发1.4.3. 选择器Selector选择器Selector是实现 IO 多路复用的关键多个 Channel 注册到某个 Selector 上当 Channel 上有事件发生时Selector 就会取得事件然后调用线程去处理事件。也就是说只有当连接上真正有读写等事件发生时线程才会去进行读写等操作这就不必为每个连接都创建一个线程一个线程可以应对多个连接。这就是 IO 多路复用的要义。Netty 的 IO 线程 NioEventLoop 聚合了 Selector可以同时并发处理成百上千的客户端连接后文会展开描述。在 Java NIO 中Selector 是一个抽象类它的常用方法有public abstract class Selector implements Closeable{....../** * 得到一个选择器对象 */ public static Selector open()throws IOException{returnSelectorProvider.provider().openSelector();}....../** * 返回所有发生事件的 Channel 对应的 SelectionKey 的集合通过 * SelectionKey 可以找到对应的 Channel */ public abstract SetSelectionKeyselectedKeys();....../** * 返回所有 Channel 对应的 SelectionKey 的集合通过 SelectionKey * 可以找到对应的 Channel */ public abstract SetSelectionKeykeys();....../** * 监控所有注册的 Channel当其中的 Channel 有 IO 操作可以进行时 * 将这些 Channel 对应的 SelectionKey 找到。参数用于设置超时时间 */ public abstract int select(longtimeout)throws IOException;/** * 无超时时间的select过程一直等待直到发现有 Channel 可以进行 * IO 操作 */ public abstract int select()throws IOException;/** * 立即返回的select过程 */ public abstract int selectNow()throws IOException;....../** * 唤醒 Selector对无超时时间的select过程起作用终止其等待 */ public abstract Selector wakeup();......}在上文的使用 Java NIO 编写的服务端示例代码中服务端的工作流程为1当客户端发起连接时会通过 ServerSocketChannel 创建对应的 SocketChannel。2调用 SocketChannel 的注册方法将 SocketChannel 注册到 Selector 上注册方法返回一个 SelectionKey该 SelectionKey 会被放入 Selector 内部的 SelectionKey 集合中。该 SelectionKey 和 Selector 关联即通过 SelectionKey 可以找到对应的 Selector也和 SocketChannel 关联即通过 SelectionKey 可以找到对应的 SocketChannel。4Selector 会调用 select()/select(timeout)/selectNow()方法对内部的 SelectionKey 集合关联的 SocketChannel 集合进行监听找到有事件发生的 SocketChannel 对应的 SelectionKey。5通过 SelectionKey 找到有事件发生的 SocketChannel完成数据处理。以上过程的相关源码为/** * SocketChannel 继承 AbstractSelectableChannel */ public abstract class SocketChannel extends AbstractSelectableChannel implements ByteChannel, ScatteringByteChannel, GatheringByteChannel, NetworkChannel{......}public abstract class AbstractSelectableChannel extends SelectableChannel{....../** * AbstractSelectableChannel 中包含注册方法SocketChannel 实例 * 借助该注册方法注册到 Selector 实例上去该方法返回 SelectionKey */ public final SelectionKey register(// 指明注册到哪个 Selector 实例 Selector sel, // ops 是事件代码告诉 Selector 应该关注该通道的什么事件 int ops, // 附加信息 attachment Object att)throws ClosedChannelException{......}......}public abstract class SelectionKey{....../** * 获取该 SelectionKey 对应的 Channel */ public abstract SelectableChannel channel();/** * 获取该 SelectionKey 对应的 Selector */ public abstract Selector selector();....../** * 事件代码上面的 ops 参数取这里的值 */ public static final int OP_READ10;public static final int OP_WRITE12;public static final int OP_CONNECT13;public static final int OP_ACCEPT14;....../** * 检查该 SelectionKey 对应的 Channel 是否可读 */ public final booleanisReadable(){return(readyOps()OP_READ)!0;}/** * 检查该 SelectionKey 对应的 Channel 是否可写 */ public final booleanisWritable(){return(readyOps()OP_WRITE)!0;}/** * 检查该 SelectionKey 对应的 Channel 是否已经建立起 socket 连接 */ public final booleanisConnectable(){return(readyOps()OP_CONNECT)!0;}/** * 检查该 SelectionKey 对应的 Channel 是否准备好接受一个新的 socket 连接 */ public final booleanisAcceptable(){return(readyOps()OP_ACCEPT)!0;}/** * 添加附件例如 Buffer */ public final Object attach(Object ob){returnattachmentUpdater.getAndSet(this, ob);}/** * 获取附件 */ public final Objectattachment(){returnattachment;}......}下图用于辅助读者理解上面的过程和源码[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-iwvUpaMj-1611114750234)(https://upload-images.jianshu.io/upload_images/24759794-324a1f21c6636894.png?imageMogr2/auto-orient/strip%7CimageView2/2/w/1240)]首先说明本文以 Linux 系统为对象来研究文件 IO 模型和网络 IO 模型。1.5. 零拷贝技术注本节讨论的是 Linux 系统下的 IO 过程。并且对于零拷贝技术的讲解采用了一种浅显易懂但能触及其本质的方式因为这个话题展开来讲实在是有太多的细节要关注。在“将本地磁盘中文件发送到网络中”这一场景中零拷贝技术是提升 IO 效率的一个利器为了对比出零拷贝技术的优越性下面依次给出使用直接 IO 技术、内存映射文件技术、零拷贝技术实现将本地磁盘文件发送到网络中的过程。1直接 IO 技术使用直接 IO 技术实现文件传输的过程如下图所示。上图中内核缓冲区是 Linux 系统的 Page Cahe。为了加快磁盘的 IOLinux 系统会把磁盘上的数据以 Page 为单位缓存在操作系统的内存里这里的 Page 是 Linux 系统定义的一个逻辑概念一个 Page 一般为 4K。可以看出整个过程有四次数据拷贝读进来两次写回去又两次磁盘–内核缓冲区–Socket 缓冲区–网络。直接 IO 过程使用的 Linux 系统 API 为ssize_t read(int filedes, void *buf, size_t nbytes);ssize_t write(int filedes, void *buf, size_t nbytes);等函数。2内存映射文件技术使用内存映射文件技术实现文件传输的过程如下图所示。可以看出整个过程有三次数据拷贝不再经过应用程序内存直接在内核空间中从内核缓冲区拷贝到 Socket 缓冲区。内存映射文件过程使用的 Linux 系统 API 为void *mmap(void *addr, size_t length, int prot, int flags, int fd, off_t offset);3零拷贝技术使用零拷贝技术连内核缓冲区到 Socket 缓冲区的拷贝也省略了如下图所示内核缓冲区到 Socket 缓冲区之间并没有做数据的拷贝只是一个地址的映射。底层的网卡驱动程序要读取数据并发送到网络上的时候看似读取的是 Socket 的缓冲区中的数据其实直接读的是内核缓冲区中的数据。零拷贝中所谓的“零”指的是内存中数据拷贝的次数为 0。零拷贝过程使用的 Linux 系统 API 为ssize_t sendfile(int out_fd, int in_fd, off_t *offset, size_t count);在 JDK 中提供的FileChannel.transderTo(long position, long count, WritableByteChannel target);方法实现了零拷贝过程其中的第三个参数可以传入 SocketChannel 实例。例如客户端使用以上的零拷贝接口向服务器传输文件的代码为public static void main(String[]args)throws IOException{SocketChannel socketChannelSocketChannel.open();socketChannel.connect(new InetSocketAddress(127.0.0.1,8080));String fileNametest.zip;// 得到一个文件 channel FileChannel fileChannelnew FileInputStream(fileName).getChannel();// 使用零拷贝 IO 技术发送 long transferSizefileChannel.transferTo(0, fileChannel.size(), socketChannel);System.out.println(file transfer done, size: transferSize);fileChannel.close();}以上部分为第一章学习 Netty 需要的基础知识。