Go text/scanner.Scanner Whitespace 怎样保留换行和制表符

如果你用 text/scanner.Scanner 读取制表符分隔文本，默认配置会让换行和制表符直接消失，因为 Scanner.Whitespace 初始值是 scanner.GoWhitespace。解决办法不是改 Mode，而是清除 '\t' 和 '\n' 对应的位：s.Whitespace ^= 1。这样，后续 Scan 会把两个分隔符作为独立字符返回，普通字段仍可通过 TokenText 读取。

默认配置为什么看不到换行和制表符

text/scanner 提供的是 UTF-8 文本扫描器。Scanner.Init 初始化后，Mode 使用 Go 词法 token 的默认组合，Whitespace 则使用 GoWhitespace。官方文档列出的默认空白字符是制表符、换行、回车和普通空格，它们在扫描时会被当作分隔区域跳过。

这里的关键是：Whitespace 不是一个“遇到空白就返回空白 token”的开关，而是一张按字符值索引的位图。对于字符 ch ，第 ch 位为 1 就表示它会被当作空白。换行的字符值是 10，制表符的字符值是 9，因此可以直接操作对应位。

用位运算取消两个字符的跳过行为

最小配置只有三步：初始化扫描器、清除两个空白位、开始扫描。使用异或是因为默认位已经为 1；将这两位翻转为 0 后，扫描器就不会把它们归入跳过集合。

package main

import (
    "fmt"
    "strings"
    "text/scanner"
)

func main() {
    // 用真实的制表符和换行组成两行 TSV 风格文本。
    const src = "aa\tab\nba\tbb"

    var s scanner.Scanner
    s.Init(strings.NewReader(src))

    // GoWhitespace 默认包含制表符和换行；清掉两位后让 Scan 返回它们。
    s.Whitespace ^= 1

这段配置只改变空白判断，不会关闭标识符、数字或字符串的识别。也就是说，改完后 Scan 仍然可能返回 scanner.Ident、scanner.Int 等 token；当返回值是换行或制表符时，它才是对应的字符 rune。

在 Scan 循环中把分隔符和字段分开

处理表格文本时，不要只看 TokenText 是否为空。更稳妥的做法是先判断 tok 是否等于 '\n' 或 '\t'，再把其他结果当作字段内容。这样可以把“换列”和“换行”与普通字段放进不同的分支。

package main

import (
    "fmt"
    "strings"
    "text/scanner"
)

func main() {
    // 每行两个字段，分隔符必须保留下来才能恢复二维结构。
    const src = "aa\tab\nba\tbb\n"

    var s scanner.Scanner
    s.Init(strings.NewReader(src))
    s.Whitespace ^= 1

上面的分支把分隔符消耗掉，但没有把它们混入字段。真实数据如果存在空字段、连续制表符或行尾换行，需要额外设计列计数规则；text/scanner 只负责逐个返回字符和 token，不会替你定义 TSV 的字段补齐策略。

位置和字符范围要怎么理解

Scanner.Position 表示最近一次由 Scan 返回的 token 起始位置，包含文件名、字节偏移、行号和列号。若你调用的是 Next，它只读取下一个 Unicode 字符，不会更新 Position；这时应使用 Pos 获取字符之后的位置。

Whitespace 的文档明确限定了字符范围：只有字符值不大于空格的字符才适合用位图表示。不要把它当作“设置任意 Unicode 空格”的接口，也不要把非 ASCII 空白直接左移后写入这个字段。遇到更宽的 Unicode 空白分类需求，应在扫描结果上做自己的判断或采用更合适的分词方式。

几个容易踩到的坑

• 初始化后再改字段：Init 会把 Whitespace 重置为 GoWhitespace，所以配置应放在 Init 之后。
• 把换行当成 TokenText：换行与制表符是字符 token，优先比较 tok；普通标识符或字面量才通过 TokenText 取文本。
• 误以为修改 Whitespace 会改变 Mode：它只影响空白跳过，字符串、数字、注释等 token 是否识别仍由 Mode 决定。
• 忽略输入边界：连续制表符、空行和没有末尾换行的最后一行都需要由业务层决定如何落入字段模型。

结论

要让 text/scanner.Scanner 保留换行和制表符，先调用 Init，再执行 s.Whitespace ^= 1。扫描循环中用 tok 判断两个分隔符，用 TokenText 读取字段；不要把 Whitespace 当成完整的 Unicode 空白规则，也不要期待扫描器替你处理空字段和列数策略。

相关问题

为什么只改 Whitespace 就能看到换行？

因为默认配置把换行对应的位设为 1，扫描器会跳过它。清除该位后，换行不再属于跳过集合，Scan 就能把它作为字符返回。

能不能只保留制表符而继续跳过换行？

可以。分别操作位即可，例如只清除 1；是否保留换行取决于你的记录边界设计。

调用 Next 也能读取分隔符吗？

可以，Next 读取下一个 Unicode 字符，并不会按 token 模式组合字段；如果需要标识符、数字和字符串等 token，仍应使用 Scan。