Go text/scanner.Scanner.Mode 怎样只扫描标识符和数字

我在做一个很小的源码字段提取器时，只想留下标识符和整数，结果发现 text/scanner 默认并不是“只读我关心的词元”。Scanner.Init 会把 Mode 初始化为 GoTokens，因此字符串、字符、浮点数和注释都在识别范围内。要收窄范围，应显式组合 ScanIdents、ScanInts、ScanComments 与 SkipComments。

官方文档：https://pkg.go.dev/text/scanner#Scanner.Mode

先看清 Scanner.Mode 默认识别什么

text/scanner 解决的是 UTF-8 文本的扫描和词法切分。调用 Init 后，扫描器默认使用 GoTokens，这套组合覆盖 Go 风格的标识符、数字、字符、字符串、原始字符串和注释。它适合“尽量像 Go 源码一样识别”的场景，却不适合只提取变量名和整数的窄任务。

因此，配置 Mode 时要先回答一个问题：哪些内容要被识别成完整词元，哪些内容应该继续作为普通字符返回。这个边界决定了后续循环是处理 scanner.Ident、scanner.Int，还是处理一个普通的 Unicode 字符。

package main

import (
    "fmt"
    "strings"
    "text/scanner"
)

func main() {
    source := "name 42 3.14 // 只保留字段名和整数\n"
    var s scanner.Scanner
    s.Init(strings.NewReader(source))

    // 先打印默认配置，说明 Init 会从完整的 GoTokens 开始。
    fmt.Println("default mode:", s.Mode == scanner.GoTokens)

    // 只保留标识符、整数，并让注释进入可跳过的识别路径。
    s.Mode = scanner.ScanIdents | scanner.ScanInts | scanner.ScanComments | scanner.SkipComments
    fmt.Println("custom mode:", s.Mode)
}

把 Mode 配成只识别标识符和整数

最小配置是四个位的按位或：ScanIdents 识别 Go 风格标识符，ScanInts 识别整数，ScanComments 让扫描器能够识别注释，SkipComments 再把注释当作空白跳过。官方文档给出的组合正是这种写法。

package main

import (
    "fmt"
    "io"
    "strings"
    "text/scanner"
)

func main() {
    source := "user42 17 // 这段注释不会进入业务结果\nnext 8"
    var s scanner.Scanner
    s.Init(strings.NewReader(source))
    // 只打开标识符和整数；注释识别后立即按空白处理。
    s.Mode = scanner.ScanIdents | scanner.ScanInts | scanner.ScanComments | scanner.SkipComments

    for tok := s.Scan(); tok != scanner.EOF; tok = s.Scan() {
        // Scan 返回词元类型；TokenText 返回最近一次扫描到的原文。
        switch tok {
        case scanner.Ident, scanner.Int:
            fmt.Printf("%s=%q\n", scanner.TokenString(tok), s.TokenText())
        default:
            // 这里保留普通字符，避免误以为未启用的类型会被丢弃。
            fmt.Printf("other=%q\n", tok)
        }
    }
    _ = io.EOF // 示例只用 Scan 的 EOF，保留导入位置便于扩展 Reader 错误处理。
}

这里的关键不是把数字“转成整数”，而是让它先以 scanner.Int 词元被识别。真正的类型转换仍由业务层决定；如果把 ScanFloats 也打开，它会同时覆盖整数和十六进制浮点数，适用边界就已经不同了。

未启用的词元为什么没有被静默丢弃

这是 Mode 最容易让人误解的地方：注释可以在 SkipComments 下变成空白，但普通的未识别内容通常不会被过滤掉。官方说明明确指出，未识别 token 会以对应的单个字符或子词元返回。

例如 Mode 只有 ScanIdents 时，输入 "foo" 不会被当作一个字符串词元，而是可能拆成双引号、Ident 和双引号。也就是说，“只扫描标识符和数字”更准确的含义是“只有这两类内容被识别成完整词元”，不是“其它字符从输入中消失”。

package main

import (
    "fmt"
    "strings"
    "text/scanner"
)

func main() {
    var s scanner.Scanner
    s.Init(strings.NewReader(`alpha "beta" 12.5`))
    // 不启用 ScanStrings 和 ScanFloats，专门观察它们的返回边界。
    s.Mode = scanner.ScanIdents | scanner.ScanInts

    for tok := s.Scan(); tok != scanner.EOF; tok = s.Scan() {
        switch tok {
        case scanner.Ident, scanner.Int:
            // 只有启用的词元类型才从 TokenText 读取完整词元文本。
            fmt.Printf("token=%s text=%q\n", scanner.TokenString(tok), s.TokenText())
        default:
            // 引号、小数点等未组合的字符仍然需要由调用方决定如何处理。
            fmt.Printf("rune=%q\n", tok)
        }
    }
}

按任务决定是否扩展识别范围

把 Mode 写成一组明确的常量组合，后面排查会比直接使用 GoTokens 更容易。可以按下面的边界做选择：

Scanner.Mode 可以在扫描过程中修改，但如果一个循环里频繁改变它，阅读代码的人就需要同时理解“当前输入位置”和“当前识别规则”。更稳妥的做法是在进入一个明确字段区域前设置一次，然后在循环里只根据返回的 token 做分派。

常见问题

只设置 ScanIdents 和 ScanInts，注释会自动跳过吗？

不要把注释跳过寄托在默认行为上。若要让注释进入注释识别路径并按空白处理，应同时加入 ScanComments 和 SkipComments。

为什么没有 ScanStrings 时，字符串内容还会出现在结果里？

因为未识别 token 不会普遍被忽略。字符串边界中的引号可能按普通字符返回，内部文本还可能被识别为标识符；调用方应在分派逻辑中决定是保留、拒绝还是自行组合。

ScanInts 和 ScanFloats 应该选哪个？

只接受整数时选 ScanInts；需要把整数和浮点数当作同一类数字字面量处理时选 ScanFloats，因为官方定义中它已经包含整数和十六进制浮点数。

最后可以把结论记成一句话：Mode 决定哪些内容能成为完整词元，Scan 决定下一次返回什么，TokenText 负责读取最近词元文本。把这三层分开，使用 text/scanner 做窄范围源码扫描时就不容易把“未识别”误解成“已过滤”。