Go go/scanner 怎样获取 token 的结束位置

用 go/scanner 扫描 Go 源码时，当前 token 的结束位置直接调用 Scanner.End() 即可：它返回“最后一个已扫描 token 紧随其后”的 token.Pos。因此，一次扫描的范围就是 Scan() 返回的起点到 End() 返回的右边界，右边界本身不包含在 token 内。

官方地址：https://pkg.go.dev/go/scanner@go1.27.3#Scanner.End

End() 要放在 Scan() 之后调用；第一次扫描前它返回 token.NoPos。如果还需要行号、列号或原文切片，就继续交给同一个 token.File 转换。

我第一次使用时，误把 token.Pos 当成了字节下标

我在做源码标记时，最初只记录 Scan() 的第一个返回值，然后尝试把它直接拿去切 []byte。这个做法看起来顺手，但 token.Pos 是和文件对象关联的抽象位置，不应该直接当作从零开始的切片下标。真正稳定的做法是保留 token.File，让它负责把位置还原为文件坐标或字节偏移。

从 Go 1.27 开始，Scanner 提供了公开的 End 方法。它解决的是“扫描器已经消费了多少源码”这个边界问题；它不是下一枚 token 的起点，也不会替你把位置转换成行列。

Scan 返回起点，End 返回当前 token 的右边界

下面的循环把三种信息放在一起：pos 是 token 起点，end 是紧随 token 之后的位置，file.Position 把它们转换成可读的文件坐标。

package main

import (
    "fmt"
    "go/scanner"
    "go/token"
)

func main() {
    src := []byte("sum := 7\n")
    files := token.NewFileSet()
    file := files.AddFile("demo.go", -1, len(src))

    var s scanner.Scanner
    // 文件大小必须和源码字节数一致，位置才能映射回原文。
    s.Init(file, src, nil, scanner.ScanIdents|scanner.ScanInts|scanner.SkipComments)

    for {
        pos, tok, lit := s.Scan()
        if tok == token.EOF {
            // EOF 不是要高亮的源码 token，这里结束遍历。
            break
        }

        end := s.End()
        startInfo := file.Position(pos)
        endInfo := file.Position(end)
        fmt.Printf("%s %q: %s -> %s\n", tok, lit, startInfo, endInfo)
    }
}

关键点是调用顺序：每次 Scan() 返回后，扫描器内部已经知道当前 token 的结束位置，此时读取 End() 才能得到与这一枚 token 对应的边界。下一次调用 Scan() 后，扫描器状态会继续前进，不能把旧的 End() 当成永久不变的全局值。

需要切片原文时，用 Offset 而不是直接转换 Pos

如果工具需要把 token 原文复制出来，可以把两个位置都交给 token.File.Offset。它给出相对于源码起点的字节偏移，适合切 []byte；而 file.Position 更适合日志、诊断和编辑器提示。

// tokenRange 返回当前 token 在原始 UTF-8 字节数组中的范围。
func tokenRange(file *token.File, src []byte, pos, end token.Pos) (string, bool) {
    startOffset := file.Offset(pos)
    endOffset := file.Offset(end)
    // 先判断范围，避免错误位置导致切片越界。
    if startOffset  len(src) {
        return "", false
    }
    return string(src[startOffset:endOffset]), true
}

这里的“长度”是字节长度，不是 Unicode 字符数。源码里即使出现中文标识符或注释，token.File 仍然按传入的 []byte 建立位置关系，所以不要用 utf8.RuneCountInString 代替文件大小。

四个容易踩到的边界

所以，做高亮、静态检查或源码重写时，可以把一个 token 的记录设计成“起点 token.Pos、终点 token.Pos、行列快照、字节范围”四部分。位置对象用于继续和 Go 工具链协作，字节范围用于回到原始文本，两者不要混用。

相关问题

End 是下一枚 token 的起点吗？

不必这样假设。它的契约是当前最后扫描 token 的结束位置；空白和注释处理属于 scanner 的扫描规则，下一次 Scan 的返回值才是下一枚返回 token 的起点。

为什么不直接用 lit 的字符串长度计算终点？

注释、字符串、转义、Unicode 和合成 token 都可能让“字面量长度”不能代表源码消费范围，End 才是扫描器给出的边界。

只需要行号时还要保留 token.File 吗？

要保留。token.Pos 本身不是完整的行列信息，调用同一个 token.File 的 Position 才能得到稳定的文件坐标。