NIO分散读取与聚集写入技巧分享

NIO的分散读取（Scatter）与聚集写入（Gather）是一种通过Channel与ByteBuffer数组协同实现的高效I/O优化技术，能天然适配结构化数据场景——如协议头+负载解析或HTTP响应头与正文拼装，避免手动内存拷贝和字节数组合并，显著减少GC压力与CPU开销；它支持FileChannel和非阻塞SocketChannel，要求Buffer类型一致、顺序严格，并需谨慎处理返回值与就绪事件，是构建高性能网络服务与文件处理系统不可忽视的核心实践。

NIO 的 Scatter（分散读取）和 Gather（聚集写入）是 Channel 与多个 Buffer 协同工作的高效 I/O 模式，适用于处理结构化网络数据（如协议头+负载）、避免内存拷贝、提升吞吐。核心在于用 ByteBuffer 数组代替单个 Buffer，由底层自动按顺序填充或提取数据。

Scatter：一次 read 填满多个 Buffer

常用于解析固定格式报文，例如：4 字节长度字段 + 可变长内容。可预先分配两个 Buffer，分别对应 header 和 body：

• Header Buffer 设为 capacity = 4，调用 flip() 前不写入；Body Buffer 容量设为预期最大负载大小
• 调用 channel.read(new ByteBuffer[]{header, body})，NIO 自动先填满 header（4 字节），再将剩余字节写入 body
• 读完后需对每个 Buffer 调用 flip()，再分别读取 header 中的长度值、body 中的实际内容
• 注意：若数据未就绪（如只收到 2 字节），read 返回值为 2，两个 Buffer 都不会被 flip；需结合 Selector 等待就绪后再重试

Gather：一次 write 写出多个 Buffer 的连续内容

适合构造响应报文，比如把状态码、JSON 字符串、换行符拼成一个逻辑消息，但物理上分存于不同 Buffer：

• 准备 ByteBuffer[] bufs = {statusBuf, jsonBuf, crlfBuf}，每个 Buffer 内容已写好并调用过 flip()
• 调用 channel.write(bufs)，NIO 按数组顺序依次写出各 Buffer 的 remaining() 字节，等效于拼接后发送
• 返回值为实际写出总字节数；若部分 Buffer 未写完（如网络缓冲区满），未完成的 Buffer 仍保持 position/limit，下次可继续 write
• 无需手动合并字节数组，减少 GC 和复制开销，尤其适合高频小消息场景

关键注意事项

Scatter/Gather 仅支持 FileChannel 和面向流的 SocketChannel/ServerSocketChannel（需配置为非阻塞），DatagramChannel 不支持。

• 所有 Buffer 必须是 direct 或 heap 类型一致（通常建议都用 direct，避免 JVM 堆内拷贝）
• Buffer 顺序严格决定数据布局：Scatter 按索引从左到右填充，Gather 按索引从左到右写出
• 单次操作不保证全部 Buffer 完成，需检查返回值，并在非阻塞模式下配合 Selector 处理 OP_READ/OP_WRITE
• 避免在 scatter/gather 过程中修改 Buffer 的 capacity 或重新分配 backing array，否则行为未定义

简单示例：HTTP 响应头+正文 gather 发送

构造响应时可分离管理：

• headerBuf：写入 "HTTP/1.1 200 OK\r\nContent-Length: 12\r\n\r\n"，然后 flip
• bodyBuf：写入 "Hello World!"，然后 flip
• 调用 channel.write(new ByteBuffer[]{headerBuf, bodyBuf})，一次发出完整响应
• 若返回值小于总长度，说明未发完，保留当前 Buffer 状态，注册 OP_WRITE 后续继续

本篇关于《NIO分散读取与聚集写入技巧分享》的介绍就到此结束啦，但是学无止境，想要了解学习更多关于文章的相关知识，请关注golang学习网公众号！