字节转字符流，文本处理更高效

本文深入剖析了Java中处理文本文件时字节流与字符流的关键区别，指出直接使用FileInputStream读取文本必然导致乱码的根本原因，并系统讲解了InputStreamReader如何通过显式指定编码（如StandardCharsets.UTF_8）配合CharsetDecoder实现准确的字节到字符解码；同时强调其必须与BufferedReader组合使用才能获得高效缓冲和跨平台兼容的按行读取能力，还针对性地给出了BOM（字节顺序标记）问题的实用解决方案——从手动过滤到推荐使用Files.newBufferedReader等现代API，帮助开发者避开编码陷阱、写出健壮可靠的文本处理代码。

为什么不能直接用 FileInputStream 读文本文件

因为 FileInputStream 输出的是原始字节，没有编码信息。比如 UTF-8 中的中文“你好”占 6 字节，read() 返回的只是 0xe40xbd0xa0… 这些整数，不是字符。强行转 (char) 会得到乱码或替代符（），尤其遇到多字节字符时。

InputStreamReader 是怎么把字节变字符的

它本质是桥接流：包装一个 InputStream，内部持有一个 CharsetDecoder，按指定编码逐块解码字节序列。关键点在于——它不自动探测编码，必须显式传入 Charset 或编码名。

常见误用：

• 只传 InputStream 构造器（如 new InputStreamReader(in)）→ 依赖平台默认编码（Windows 是 GBK，Linux/macOS 通常是 UTF-8），跨环境必出问题
• 传错编码名字符串，比如写成 "UTF8"（缺横线）→ 抛 UnsupportedEncodingException

正确写法示例：

InputStream in = new FileInputStream("data.txt");
// 显式指定 UTF-8
InputStreamReader reader = new InputStreamReader(in, StandardCharsets.UTF_8);
// 或用字符串（注意是 "UTF-8"，不是 "UTF8"）
// InputStreamReader reader = new InputStreamReader(in, "UTF-8");

配合 BufferedReader 才算真正可用

InputStreamReader 本身只做解码，不带缓冲、不支持按行读。直接调 read() 效率低，且无法处理换行逻辑（\r\n、\n、\r 的差异）。

所以生产代码几乎总是套一层 BufferedReader：

try (BufferedReader br = new BufferedReader(
        new InputStreamReader(new FileInputStream("log.txt"), StandardCharsets.UTF_8))) {
    String line;
    while ((line = br.readLine()) != null) {
        // 处理每一行
    }
}

注意：BufferedReader 的缓冲区大小默认 8192 字符，对大多数文本足够；若处理超长行（如单行 JSON），可能触发内部数组扩容，但一般无需干预。

遇到 BOM 怎么办

某些编辑器（如 Windows 记事本）保存 UTF-8 文件时会在开头加 3 字节 BOM（0xef 0xbb 0xbf）。InputStreamReader 不会自动跳过它，会导致第一行开头多出一个 '\ufeff' 字符。

解决方案不是改流，而是读取后过滤：

• 用 br.readLine() 后检查 line.startsWith("\ufeff")，再 substring(1)
• 更稳妥：用 Files.newBufferedReader(Path, Charset)（Java 7+），它内置 BOM 检测逻辑（仅对 UTF-8/UTF-16/UTF-32）

BOM 是历史包袱，现代系统建议禁用它——保存文件时选 “UTF-8 无 BOM”。

以上就是《字节转字符流，文本处理更高效》的详细内容，更多关于的资料请关注golang学习网公众号！