登录
推荐 文章 Go 技术 课程 下载 专题 AI
首页 >  Golang >  Go教程

Go go/token.File.Size 怎样读取源码文件登记的字节长度

来源:17golang原创

时间:2026-11-18 15:20:37 345浏览 收藏

go/token.File.Size() 返回这个文件在 FileSet.AddFile 中登记的长度,类型是 int。源码位置以字节偏移表示,因此自行登记时应把实际源码的字节数作为 size 传入。这个方法不会重新读取磁盘文件,也不会统计字符数。

官方地址:https://pkg.go.dev/go/token

编写源码索引工具时,可能发现“编辑器里的文字数量”和 Size 返回值不同。先区分三个对象:源码缓冲区、文件集中的位置登记、磁盘上的当前文件。只有它们来自同一份内容,长度才有比较意义。

先确认 Size 读取的是哪份登记信息

FileSet 保存源码文件的位置范围,AddFile 根据文件名、起始位置和长度创建 token.File。Size 读取的是该对象登记的 size,而非通过文件名执行文件系统查询。给一个并不存在的内存源码名称,也可以完成位置登记。

下文用 src 表示源码缓冲区,len(src) 表示字节长度,file 表示登记对象,file.Size() 表示登记值。文件名是标签,不是自动同步内容的连接。若调用方传入了错误长度,Size 也不会替调用方纠正。

源码缓冲区与文件集长度登记的静态关系
图1:长度登记结构说明图。源码与登记对象分组表示,连线说明长度来源和对象归属,不表示执行顺序。

用源码字节长度登记文件

以下示例故意保留中文注释,让字节计数与 Unicode 码点计数的区别更容易观察。它只演示内存数据,不需要读取同名磁盘文件。

package main

import (
    "fmt"
    "go/token"
    "unicode/utf8"
)

func main() {
    src := []byte("package sample\n// 中文说明\nvar Label = 1\n")
    fset := token.NewFileSet()
    // len([]byte) 是源码字节数;负 base 让文件集分配起始位置。
    file := fset.AddFile("buffer.go", -1, len(src))
    file.SetLinesForContent(src)
    fmt.Printf("registeredBytes=%d sourceBytes=%d runeCount=%d\n",
        file.Size(), len(src), utf8.RuneCount(src))

    // 修改缓冲区不会重写原文件对象已经登记的 size。
    src = append(src, []byte("// 新增注释\n")...)
    fmt.Printf("oldRegisteredBytes=%d currentBufferBytes=%d\n",
        file.Size(), len(src))
}

第一条打印语句把登记值、输入字节数、码点数放在不同字段。对这里的 UTF-8 中文内容,码点数量不能拿来替换字节长度。第二条打印语句展示源码缓冲区追加后的比较方式:变量 src 的内容变长,之前创建的 file 仍保留旧登记值。

SetLinesForContent 设置的是行起始偏移表;不要把它当成重新登记文件总长度的操作。若源码内容已变,应让下次解析或新的登记对象使用更新后的字节数。也不要在同一个文件集里强行复用已经占用的位置范围。

从语法树所属文件读取长度

使用 parser.ParseFile 时,通常不必再手工为同一份源码调用 AddFile。应使用解析时传入的文件集,通过 tree.Pos() 找到所属文件,然后调用 Size。下面是一个独立示例,不与上一个 main 函数放进同一文件。

package main

import (
    "fmt"
    "go/parser"
    "go/token"
    "log"
)

func main() {
    const src = `package sample
var Title = "长度示例"
`
    fset := token.NewFileSet()
    // 显式传入源码,文件名仅用于标记这个内存缓冲区。
    tree, err := parser.ParseFile(fset, "memory.go", src, 0)
    if err != nil {
        log.Fatal(err)
    }
    file := fset.File(tree.Pos())
    // 先处理位置不属于当前文件集的情形,再读取登记长度。
    if file == nil {
        log.Fatal("语法树位置未关联到当前文件集")
    }
    fmt.Printf("name=%s registeredBytes=%d sourceBytes=%d\n",
        file.Name(), file.Size(), len(src))
}

tree 是语法树,fset.File 根据位置查询 file;registeredBytes 保存 Size 的返回值,sourceBytes 保存输入字符串长度。保留 nil 分支是为了明确位置必须来自匹配的文件集,不能拿另一个解析任务的 FileSet 来碰运气。

语法树位置、文件集查找与登记字节数字段关系
图2:解析对象关系说明图。语法树位置用于文件归属查询,登记长度与输入长度作为两个独立字段比较。

遇到长度不一致时检查数据来源

比较对象表示什么不一致时先查什么
file.Size()文件对象登记值AddFile 的 size 参数或解析输入
len(src)当前字符串或字节切片的字节数是否已追加、替换或转换内容
utf8.RuneCount(src)码点计数是否误当字节数使用
磁盘文件大小另一时刻文件系统中的对象属性是否与解析的缓冲区是同一内容

源码若经过换行转换、编辑器未保存修改或生成步骤,磁盘与内存内容就可能不同。处理方式是确定工具究竟分析哪份源码,再围绕这一份输入登记和解释位置。不要为了让数字相等,改用字符数登记,也不要直接把另一次磁盘查询结果覆盖到旧的分析记录中。

空文件返回 0 是否说明失败?

不一定。AddFile 接受非负长度,空内容可以登记为零。读取 Size 没有单独的 error 返回值,失败与否应结合对象来源判断。

Size 包含额外的 EOF 字节吗?

Size 就是登记长度,不额外加一。位置范围允许偏移达到 size,文件集为下一个文件安排位置时还会预留分隔,这些位置规则不等于源码内容多了一个字节。

能否用相同文件名找回唯一的登记对象?

文件集可以登记多个同名文件,名称不保证唯一。已有语法树时保留匹配的 FileSet,通过位置定位所属文件更明确。

参考资料:Go token.File.Size、FileSet.AddFile、FileSet.File。

声明:本文转载于:17golang原创 如有侵犯,请联系study_golang@163.com删除
相关阅读
更多>
最新阅读
更多>
课程推荐
更多>