登录
推荐 文章 Go 技术 课程 下载 专题 AI
首页 >  Golang >  Go问答

Go text/scanner.TokenString 怎样把扫描记号编号变成可读名称

来源:17golang原创

时间:2026-11-18 09:46:51 113浏览 收藏

排查 Go 文本扫描日志时,经常会看到一个不太直观的数字:Scanner.Scan() 返回的是 rune,而不是已经格式化好的 token 名称。要把这个编号变成适合日志和错误信息阅读的文本,可以直接调用 scanner.TokenString(tok)。它会把 scanner.Ident、scanner.Int 这类预定义记号显示成名称,也能把加号、括号或普通 Unicode 字符转换成可打印形式。

官方地址:https://pkg.go.dev/text/scanner#TokenString

TokenString 的参数是 rune,返回值是 string。最稳妥的调用顺序是先判断 scanner.EOF,再把仍需记录或展示的扫描结果交给 TokenString;不要把返回值当成原始文本,原始文本应使用 Scanner.TokenText() 获取。

先看清 Scan 返回的不是名称

我第一次把扫描结果写进调试日志时,容易把返回值直接用 %d 打出来。这样虽然能看到一个整数,却不知道它代表标识符、整数、字符串,还是某个实际字符。text/scanner 的扫描器面向 UTF-8 文本,默认识别 Go 风格的字面量和标识符;Scan 返回的是一个 token 或 Unicode 字符。

因此,扫描结果实际上包含两条互补信息:返回的 rune 表示“它属于哪一类”,TokenText() 表示“源文本中具体读到了什么”。例如,输入中的 total 可能返回 scanner.Ident,但它的原始文本仍然是 total;输入中的 + 则可能直接返回字符 '+'。

Go Scanner.Scan 返回 rune 后由 TokenString 转换为预定义记号名称或字符文本的关系说明图
图1:结构说明图,展示 Scan 返回 rune、TokenString 转换和可读名称之间的关系;不是截图或运行证据。
package main

import (
	"fmt"
	"strings"
	"text/scanner"
)

func main() {
	const source = "total + 42"

	var s scanner.Scanner
	// 用字符串阅读器提供输入,Scanner 会按 token 逐个读取。
	s.Init(strings.NewReader(source))

	for {
		tok := s.Scan()
		// EOF 是结束哨兵,不再把它当成普通输入处理。
		if tok == scanner.EOF {
			break
		}

		// TokenString 负责显示类别,TokenText 负责显示原始文本。
		fmt.Printf("kind=%s value=%q\\n", scanner.TokenString(tok), s.TokenText())
	}
}

这里的 kind 与 value 不应混为一谈:前者回答“扫描器把它归为哪种记号”,后者回答“输入里实际出现了什么”。把两者一起输出,排查模式配置或输入内容时会比只记录数字更容易定位。

用 TokenString 把预定义记号变成名称

TokenString(tok) 的函数签名是 func TokenString(tok rune) string。对 scanner.Ident、scanner.Int、scanner.Float、scanner.Char、scanner.String、scanner.RawString 和 scanner.Comment 这类预定义记号,它返回对应的可读名称。这样日志里显示的是 Ident、Int 或 String,而不是难以联想到含义的数值。

一个小提醒是:TokenString 只负责把编号或字符格式化,不负责重新扫描,也不会替你取得 token 的原始内容。要显示字符串字面量本身,仍然应该读取 s.TokenText();要显示源代码位置,则使用扫描器的 Position 或 Pos()。

func describeToken(tok rune, text string) string {
	// TokenString 把 token 编号转成稳定的可读名称,适合放进日志。
	kind := scanner.TokenString(tok)
	// 原始文本来自 TokenText,不要用 kind 代替输入内容。
	return fmt.Sprintf("%s: %q", kind, text)
}

如果把这个辅助函数放进扫描循环,输出可以类似下面这样:

Ident: "total"
+: "+"
Int: "42"

上面的输出里,+ 不是一个名为 Plus 的预定义常量,而是普通 Unicode 字符。它仍然可以由 TokenString 转成可打印字符串,这正是该函数比手写一张常量映射表更方便的地方。

区分预定义记号和普通 Unicode 字符

Scan 的返回值有两种常见形态。第一种是扫描器识别出的预定义 token,例如 Ident 和 Int;第二种是没有被归入这些 token 的单个 Unicode 字符,例如 '+'、'(' 或中文字符。两者的类型都是 rune,但解释方式不同。

不要用“返回值大于某个数字”这种经验规则判断类别。更可靠的做法是先处理 EOF,再用明确的 switch 列出需要特殊处理的预定义 token,其余结果交给 TokenString 展示,并结合 TokenText() 看原文。

Go 扫描结果在预定义记号、普通 Unicode 字符和 EOF 之间的静态边界说明图
图2:边界说明图,对比预定义记号、普通 Unicode 字符与 EOF 的处理关系;不是截图或运行证据。
func printKind(tok rune, text string) {
	switch tok {
	case scanner.Ident, scanner.Int, scanner.Float, scanner.Char, scanner.String, scanner.RawString, scanner.Comment:
		// 这些值代表 scanner 预定义的记号类别。
		fmt.Printf("预定义记号 %s,原文 %q\\n", scanner.TokenString(tok), text)
	default:
		// 其他非 EOF 值可能就是一个普通 Unicode 字符。
		fmt.Printf("字符或其他结果 %s,原文 %q\\n", scanner.TokenString(tok), text)
	}
}

在实际项目里,不一定要把两类结果显示成不同的中文标签;关键是不要丢失原始文本,也不要把普通字符误报成某个标准 token。对语法高亮、轻量解析器和诊断工具来说,这个区分尤其重要。

EOF 要先判断,再决定是否格式化

scanner.EOF 是扫描结束的特殊返回值,不代表输入中存在一个名为 EOF 的字符。循环里通常先判断它并退出;如果你正在写通用诊断函数,也可以把它格式化为 EOF 后记录一次结束状态,但不要继续读取或把它加入业务 token 列表。

func scanWithLog(source string) {
	var s scanner.Scanner
	// 初始化后,Scanner 使用默认的 Go token 模式和空白规则。
	s.Init(strings.NewReader(source))

	for {
		tok := s.Scan()
		if tok == scanner.EOF {
			// 结束状态只记录一次,避免循环继续读取 EOF。
			fmt.Println("scan finished:", scanner.TokenString(tok))
			return
		}

		// 位置、类别和原文分别来自不同字段,便于后续定位问题。
		fmt.Printf("%s %s %q\\n", s.Position, scanner.TokenString(tok), s.TokenText())
	}
}

如果日志只需要“类别”,保留 TokenString(tok) 即可;如果日志要支持回放或定位,建议同时保存位置和 TokenText()。这能避免看到 Ident 后还要猜具体是哪一个标识符。

把扫描结果写进日志时的速查表

场景应读取的值用途
知道 token 属于哪一类scanner.TokenString(tok)输出 Ident、Int 等可读名称
知道输入里具体是什么s.TokenText()输出原始标识符、数字或字符串文本
知道 token 从哪里开始s.Position记录文件名、行号和列号
判断扫描是否结束tok == scanner.EOF退出循环,不再当作普通 token

一句话记忆:TokenString 解决“这个返回值叫什么”,TokenText 解决“输入里读到了什么”。两者一起记录,才足够支撑常见的扫描问题排查。

常见问题

TokenString 能替代 TokenText 吗?

不能。前者描述 token 类别或字符的可打印形式,后者返回最近一次扫描到的原始文本。比如多个不同的标识符都可能返回 Ident,但它们的 TokenText() 不同。

为什么加号没有显示成 Plus?

加号通常作为普通 Unicode 字符返回,而不是 scanner 预定义的命名 token。TokenString('+') 的目标是把它格式化成可打印的 +。

可以直接把 token 转成 int 再查表吗?

不建议。token 的含义由 text/scanner 的常量和字符规则决定,手写数字映射容易漏掉普通字符、EOF 或后续的模式变化。需要可读输出时直接调用 TokenString。

最后可以把排查顺序固定下来:先判断 EOF,再用 TokenString 记录类别,用 TokenText 保留原文,用 Position 标出位置。这样,扫描记号的编号就不再是孤立的数字,而会变成能直接帮助定位问题的诊断信息。

声明:本文转载于:17golang原创 如有侵犯,请联系study_golang@163.com删除
相关阅读
更多>
最新阅读
更多>
课程推荐
更多>