文章

说说 Netty 如何实现高性能？

发表于
作者 deathwhispers
8 分钟阅读
说说 Netty 如何实现高性能？
  1. 线程模型 ：更加优雅的 Reactor 模式实现、灵活的线程模型、利用 EventLoop 等创新性的机制，可以非常高效地管理成百上千的 Channel 。
  2. 内存池设计 ：使用池化的 Direct Buffer 等技术，在提高 IO 性能的同时，减少了对象的创建和销毁。并且，内吃吃的内部实现是用一颗二叉查找树，更好的管理内存分配情况。
  3. 内存零拷贝 ：使用 Direct Buffer ，可以使用 Zero-Copy 机制。

Zero-Copy ，在操作数据时，不需要将数据 Buffer 从一个内存区域拷贝到另一个内存区域。因为少了一次内存的拷贝，因此 CPU 的效率就得到的提升。

  1. 协议支持 ：提供对 Protobuf 等高性能序列化协议支持。
  2. 使用更多本地代码。例如：
    • 直接利用 JNI 调用 Open SSL 等方式，获得比 Java 内建 SSL 引擎更好的性能。
    • 利用 JNI 提供了 Native Socket Transport ，在使用 Epoll edge-triggered 的情况下，可以有一定的性能提升。
  3. 其它：
    • 利用反射等技术直接操纵 SelectionKey ，使用数组而不是 Java 容器等。
    • 实现 FastThreadLocal 类，当请求频繁时，带来更好的性能。

Netty 的高性能如何体现？

性能是设计出来的，而不是测试出来的。那么，Netty 的架构设计是如何实现高性能的呢？

  1. 线程模型 ：采用异步非阻塞的 I/O 类库，基于 Reactor 模式实现，解决了传统同步阻塞 I/O 模式下服务端无法平滑处理客户端线性增长的问题。
  2. 堆外内存 ：TCP 接收和发送缓冲区采用直接内存代替堆内存，避免了内存复制，提升了 I/O 读取和写入性能。
  3. 内存池设计 ：支持通过内存池的方式循环利用 ByteBuf，避免了频繁创建和销毁 ByteBuf 带来的性能消耗。
  4. 参数配置 ：可配置的 I/O 线程数目和 TCP 参数等，为不同用户提供定制化的调优参数，满足不同的性能场景。
  5. 队列优化 ：采用环形数组缓冲区，实现无锁化并发编程，代替传统的线程安全容器或锁。
  6. 并发能力 ：合理使用线程安全容器、原子类等，提升系统的并发能力。
  7. 降低锁竞争 ：关键资源的使用采用单线程串行化的方式，避免多线程并发访问带来的锁竞争和额外的 CPU 资源消耗问题。
  8. 内存泄露检测 ：通过引用计数器及时地释放不再被引用的对象，细粒度的内存管理降低了 GC 的频率，减少频繁 GC 带来的时延增大和 CPU 损耗。

Netty 的高可靠如何体现？

  1. 链路有效性检测：由于长连接不需要每次发送消息都创建链路，也不需要在消息完成交互时关闭链路，因此相对于短连接性能更高。为了保证长连接的链路有效性，往往需要通过心跳机制周期性地进行链路检测。使用心跳机制的原因是，避免在系统空闲时因网络闪断而断开连接，之后又遇到海量业务冲击导致消息积压无法处理。为了解决这个问题，需要周期性地对链路进行有效性检测，一旦发现问题，可以及时关闭链路，重建 TCP 连接。为了支持心跳，Netty 提供了两种链路空闲检测机制：
    • 读空闲超时机制：连续 T 周期没有消息可读时，发送心跳消息，进行链路检测。如果连续 N 个周期没有读取到心跳消息，可以主动关闭链路，重建连接。
    • 写空闲超时机制：连续 T 周期没有消息需要发送时，发送心跳消息，进行链路检测。如果连续 N 个周期没有读取对方发回的心跳消息，可以主动关闭链路，重建连接。
    • 《精尽 Netty 源码解析 —— ChannelHandler（五）之 IdleStateHandler》
  2. 内存保护机制：Netty 提供多种机制对内存进行保护，包括以下几个方面：
    • 通过对象引用计数器对 ByteBuf 进行细粒度的内存申请和释放，对非法的对象引用进行检测和保护。
    • 可设置的内存容量上限，包括 ByteBuf、线程池线程数等，避免异常请求耗光内存。
  3. 优雅停机：优雅停机功能指的是当系统推出时，JVM 通过注册的 Shutdown Hook 拦截到退出信号量，然后执行推出操作，释放相关模块的资源占用，将缓冲区的消息处理完成或清空，将待刷新的数据持久化到磁盘和数据库中，等到资源回收和缓冲区消息处理完成之后，再退出。
    • 《精尽 Netty 源码解析 —— EventLoop（八）之 EventLoop 优雅关闭》

Netty 的可扩展如何体现？

可定制、易扩展。

  • 责任链模式 ：ChannelPipeline 基于责任链模式开发，便于业务逻辑的拦截、定制和扩展。
  • 基于接口的开发 ：关键的类库都提供了接口或抽象类，便于用户自定义实现。
  • 提供大量的工厂类 ：通过重载这些工厂类，可以按需创建出用户需要的对象。
  • 提供大量系统参数 ：供用户按需设置，增强系统的场景定制性。
interview
Netty
本文由作者按照 CC BY 4.0 进行授权