Go text/scanner.TokenString 怎样把扫描记号编号变成可读名称
来源:17golang原创
时间:2026-11-18 09:46:51 113浏览 收藏
排查 Go 文本扫描日志时,经常会看到一个不太直观的数字:Scanner.Scan() 返回的是 rune,而不是已经格式化好的 token 名称。要把这个编号变成适合日志和错误信息阅读的文本,可以直接调用 scanner.TokenString(tok)。它会把 scanner.Ident、scanner.Int 这类预定义记号显示成名称,也能把加号、括号或普通 Unicode 字符转换成可打印形式。
官方地址:https://pkg.go.dev/text/scanner#TokenString
TokenString的参数是rune,返回值是string。最稳妥的调用顺序是先判断scanner.EOF,再把仍需记录或展示的扫描结果交给TokenString;不要把返回值当成原始文本,原始文本应使用Scanner.TokenText()获取。
先看清 Scan 返回的不是名称
我第一次把扫描结果写进调试日志时,容易把返回值直接用 %d 打出来。这样虽然能看到一个整数,却不知道它代表标识符、整数、字符串,还是某个实际字符。text/scanner 的扫描器面向 UTF-8 文本,默认识别 Go 风格的字面量和标识符;Scan 返回的是一个 token 或 Unicode 字符。
因此,扫描结果实际上包含两条互补信息:返回的 rune 表示“它属于哪一类”,TokenText() 表示“源文本中具体读到了什么”。例如,输入中的 total 可能返回 scanner.Ident,但它的原始文本仍然是 total;输入中的 + 则可能直接返回字符 '+'。

package main
import (
"fmt"
"strings"
"text/scanner"
)
func main() {
const source = "total + 42"
var s scanner.Scanner
// 用字符串阅读器提供输入,Scanner 会按 token 逐个读取。
s.Init(strings.NewReader(source))
for {
tok := s.Scan()
// EOF 是结束哨兵,不再把它当成普通输入处理。
if tok == scanner.EOF {
break
}
// TokenString 负责显示类别,TokenText 负责显示原始文本。
fmt.Printf("kind=%s value=%q\\n", scanner.TokenString(tok), s.TokenText())
}
}
这里的 kind 与 value 不应混为一谈:前者回答“扫描器把它归为哪种记号”,后者回答“输入里实际出现了什么”。把两者一起输出,排查模式配置或输入内容时会比只记录数字更容易定位。
用 TokenString 把预定义记号变成名称
TokenString(tok) 的函数签名是 func TokenString(tok rune) string。对 scanner.Ident、scanner.Int、scanner.Float、scanner.Char、scanner.String、scanner.RawString 和 scanner.Comment 这类预定义记号,它返回对应的可读名称。这样日志里显示的是 Ident、Int 或 String,而不是难以联想到含义的数值。
一个小提醒是:TokenString 只负责把编号或字符格式化,不负责重新扫描,也不会替你取得 token 的原始内容。要显示字符串字面量本身,仍然应该读取 s.TokenText();要显示源代码位置,则使用扫描器的 Position 或 Pos()。
func describeToken(tok rune, text string) string {
// TokenString 把 token 编号转成稳定的可读名称,适合放进日志。
kind := scanner.TokenString(tok)
// 原始文本来自 TokenText,不要用 kind 代替输入内容。
return fmt.Sprintf("%s: %q", kind, text)
}
如果把这个辅助函数放进扫描循环,输出可以类似下面这样:
Ident: "total" +: "+" Int: "42"
上面的输出里,+ 不是一个名为 Plus 的预定义常量,而是普通 Unicode 字符。它仍然可以由 TokenString 转成可打印字符串,这正是该函数比手写一张常量映射表更方便的地方。
区分预定义记号和普通 Unicode 字符
Scan 的返回值有两种常见形态。第一种是扫描器识别出的预定义 token,例如 Ident 和 Int;第二种是没有被归入这些 token 的单个 Unicode 字符,例如 '+'、'(' 或中文字符。两者的类型都是 rune,但解释方式不同。
不要用“返回值大于某个数字”这种经验规则判断类别。更可靠的做法是先处理 EOF,再用明确的 switch 列出需要特殊处理的预定义 token,其余结果交给 TokenString 展示,并结合 TokenText() 看原文。

func printKind(tok rune, text string) {
switch tok {
case scanner.Ident, scanner.Int, scanner.Float, scanner.Char, scanner.String, scanner.RawString, scanner.Comment:
// 这些值代表 scanner 预定义的记号类别。
fmt.Printf("预定义记号 %s,原文 %q\\n", scanner.TokenString(tok), text)
default:
// 其他非 EOF 值可能就是一个普通 Unicode 字符。
fmt.Printf("字符或其他结果 %s,原文 %q\\n", scanner.TokenString(tok), text)
}
}
在实际项目里,不一定要把两类结果显示成不同的中文标签;关键是不要丢失原始文本,也不要把普通字符误报成某个标准 token。对语法高亮、轻量解析器和诊断工具来说,这个区分尤其重要。
EOF 要先判断,再决定是否格式化
scanner.EOF 是扫描结束的特殊返回值,不代表输入中存在一个名为 EOF 的字符。循环里通常先判断它并退出;如果你正在写通用诊断函数,也可以把它格式化为 EOF 后记录一次结束状态,但不要继续读取或把它加入业务 token 列表。
func scanWithLog(source string) {
var s scanner.Scanner
// 初始化后,Scanner 使用默认的 Go token 模式和空白规则。
s.Init(strings.NewReader(source))
for {
tok := s.Scan()
if tok == scanner.EOF {
// 结束状态只记录一次,避免循环继续读取 EOF。
fmt.Println("scan finished:", scanner.TokenString(tok))
return
}
// 位置、类别和原文分别来自不同字段,便于后续定位问题。
fmt.Printf("%s %s %q\\n", s.Position, scanner.TokenString(tok), s.TokenText())
}
}
如果日志只需要“类别”,保留 TokenString(tok) 即可;如果日志要支持回放或定位,建议同时保存位置和 TokenText()。这能避免看到 Ident 后还要猜具体是哪一个标识符。
把扫描结果写进日志时的速查表
| 场景 | 应读取的值 | 用途 |
|---|---|---|
| 知道 token 属于哪一类 | scanner.TokenString(tok) | 输出 Ident、Int 等可读名称 |
| 知道输入里具体是什么 | s.TokenText() | 输出原始标识符、数字或字符串文本 |
| 知道 token 从哪里开始 | s.Position | 记录文件名、行号和列号 |
| 判断扫描是否结束 | tok == scanner.EOF | 退出循环,不再当作普通 token |
一句话记忆:TokenString 解决“这个返回值叫什么”,TokenText 解决“输入里读到了什么”。两者一起记录,才足够支撑常见的扫描问题排查。
常见问题
TokenString 能替代 TokenText 吗?
不能。前者描述 token 类别或字符的可打印形式,后者返回最近一次扫描到的原始文本。比如多个不同的标识符都可能返回 Ident,但它们的 TokenText() 不同。
为什么加号没有显示成 Plus?
加号通常作为普通 Unicode 字符返回,而不是 scanner 预定义的命名 token。TokenString('+') 的目标是把它格式化成可打印的 +。
可以直接把 token 转成 int 再查表吗?
不建议。token 的含义由 text/scanner 的常量和字符规则决定,手写数字映射容易漏掉普通字符、EOF 或后续的模式变化。需要可读输出时直接调用 TokenString。
最后可以把排查顺序固定下来:先判断 EOF,再用 TokenString 记录类别,用 TokenText 保留原文,用 Position 标出位置。这样,扫描记号的编号就不再是孤立的数字,而会变成能直接帮助定位问题的诊断信息。
-
307 收藏
-
115 收藏
-
146 收藏
-
347 收藏
-
288 收藏
-
182 收藏
-
452 收藏
-
290 收藏
-
452 收藏
-
294 收藏
-
298 收藏
-
135 收藏
-
- 前端进阶之JavaScript设计模式
- 设计模式是开发人员在软件开发过程中面临一般问题时的解决方案,代表了最佳的实践。本课程的主打内容包括JS常见设计模式以及具体应用场景,打造一站式知识长龙服务,适合有JS基础的同学学习。
- 立即学习 543次学习
-
- GO语言核心编程课程
- 本课程采用真实案例,全面具体可落地,从理论到实践,一步一步将GO核心编程技术、编程思想、底层实现融会贯通,使学习者贴近时代脉搏,做IT互联网时代的弄潮儿。
- 立即学习 516次学习
-
- 简单聊聊mysql8与网络通信
- 如有问题加微信:Le-studyg;在课程中,我们将首先介绍MySQL8的新特性,包括性能优化、安全增强、新数据类型等,帮助学生快速熟悉MySQL8的最新功能。接着,我们将深入解析MySQL的网络通信机制,包括协议、连接管理、数据传输等,让
- 立即学习 500次学习
-
- JavaScript正则表达式基础与实战
- 在任何一门编程语言中,正则表达式,都是一项重要的知识,它提供了高效的字符串匹配与捕获机制,可以极大的简化程序设计。
- 立即学习 487次学习
-
- 从零制作响应式网站—Grid布局
- 本系列教程将展示从零制作一个假想的网络科技公司官网,分为导航,轮播,关于我们,成功案例,服务流程,团队介绍,数据部分,公司动态,底部信息等内容区块。网站整体采用CSSGrid布局,支持响应式,有流畅过渡和展现动画。
- 立即学习 485次学习