Go go/token.File.Size 怎样读取源码文件登记的字节长度
来源:17golang原创
时间:2026-11-18 15:20:37 345浏览 收藏
go/token.File.Size() 返回这个文件在 FileSet.AddFile 中登记的长度,类型是 int。源码位置以字节偏移表示,因此自行登记时应把实际源码的字节数作为 size 传入。这个方法不会重新读取磁盘文件,也不会统计字符数。
官方地址:https://pkg.go.dev/go/token
编写源码索引工具时,可能发现“编辑器里的文字数量”和 Size 返回值不同。先区分三个对象:源码缓冲区、文件集中的位置登记、磁盘上的当前文件。只有它们来自同一份内容,长度才有比较意义。
先确认 Size 读取的是哪份登记信息
FileSet 保存源码文件的位置范围,AddFile 根据文件名、起始位置和长度创建 token.File。Size 读取的是该对象登记的 size,而非通过文件名执行文件系统查询。给一个并不存在的内存源码名称,也可以完成位置登记。
下文用 src 表示源码缓冲区,len(src) 表示字节长度,file 表示登记对象,file.Size() 表示登记值。文件名是标签,不是自动同步内容的连接。若调用方传入了错误长度,Size 也不会替调用方纠正。

用源码字节长度登记文件
以下示例故意保留中文注释,让字节计数与 Unicode 码点计数的区别更容易观察。它只演示内存数据,不需要读取同名磁盘文件。
package main
import (
"fmt"
"go/token"
"unicode/utf8"
)
func main() {
src := []byte("package sample\n// 中文说明\nvar Label = 1\n")
fset := token.NewFileSet()
// len([]byte) 是源码字节数;负 base 让文件集分配起始位置。
file := fset.AddFile("buffer.go", -1, len(src))
file.SetLinesForContent(src)
fmt.Printf("registeredBytes=%d sourceBytes=%d runeCount=%d\n",
file.Size(), len(src), utf8.RuneCount(src))
// 修改缓冲区不会重写原文件对象已经登记的 size。
src = append(src, []byte("// 新增注释\n")...)
fmt.Printf("oldRegisteredBytes=%d currentBufferBytes=%d\n",
file.Size(), len(src))
}
第一条打印语句把登记值、输入字节数、码点数放在不同字段。对这里的 UTF-8 中文内容,码点数量不能拿来替换字节长度。第二条打印语句展示源码缓冲区追加后的比较方式:变量 src 的内容变长,之前创建的 file 仍保留旧登记值。
SetLinesForContent 设置的是行起始偏移表;不要把它当成重新登记文件总长度的操作。若源码内容已变,应让下次解析或新的登记对象使用更新后的字节数。也不要在同一个文件集里强行复用已经占用的位置范围。
从语法树所属文件读取长度
使用 parser.ParseFile 时,通常不必再手工为同一份源码调用 AddFile。应使用解析时传入的文件集,通过 tree.Pos() 找到所属文件,然后调用 Size。下面是一个独立示例,不与上一个 main 函数放进同一文件。
package main
import (
"fmt"
"go/parser"
"go/token"
"log"
)
func main() {
const src = `package sample
var Title = "长度示例"
`
fset := token.NewFileSet()
// 显式传入源码,文件名仅用于标记这个内存缓冲区。
tree, err := parser.ParseFile(fset, "memory.go", src, 0)
if err != nil {
log.Fatal(err)
}
file := fset.File(tree.Pos())
// 先处理位置不属于当前文件集的情形,再读取登记长度。
if file == nil {
log.Fatal("语法树位置未关联到当前文件集")
}
fmt.Printf("name=%s registeredBytes=%d sourceBytes=%d\n",
file.Name(), file.Size(), len(src))
}
tree 是语法树,fset.File 根据位置查询 file;registeredBytes 保存 Size 的返回值,sourceBytes 保存输入字符串长度。保留 nil 分支是为了明确位置必须来自匹配的文件集,不能拿另一个解析任务的 FileSet 来碰运气。

遇到长度不一致时检查数据来源
| 比较对象 | 表示什么 | 不一致时先查什么 |
|---|---|---|
| file.Size() | 文件对象登记值 | AddFile 的 size 参数或解析输入 |
| len(src) | 当前字符串或字节切片的字节数 | 是否已追加、替换或转换内容 |
| utf8.RuneCount(src) | 码点计数 | 是否误当字节数使用 |
| 磁盘文件大小 | 另一时刻文件系统中的对象属性 | 是否与解析的缓冲区是同一内容 |
源码若经过换行转换、编辑器未保存修改或生成步骤,磁盘与内存内容就可能不同。处理方式是确定工具究竟分析哪份源码,再围绕这一份输入登记和解释位置。不要为了让数字相等,改用字符数登记,也不要直接把另一次磁盘查询结果覆盖到旧的分析记录中。
空文件返回 0 是否说明失败?
不一定。AddFile 接受非负长度,空内容可以登记为零。读取 Size 没有单独的 error 返回值,失败与否应结合对象来源判断。
Size 包含额外的 EOF 字节吗?
Size 就是登记长度,不额外加一。位置范围允许偏移达到 size,文件集为下一个文件安排位置时还会预留分隔,这些位置规则不等于源码内容多了一个字节。
能否用相同文件名找回唯一的登记对象?
文件集可以登记多个同名文件,名称不保证唯一。已有语法树时保留匹配的 FileSet,通过位置定位所属文件更明确。
-
157 收藏
-
357 收藏
-
171 收藏
-
212 收藏
-
176 收藏
-
185 收藏
-
235 收藏
-
425 收藏
-
439 收藏
-
414 收藏
-
328 收藏
-
332 收藏
-
- 前端进阶之JavaScript设计模式
- 设计模式是开发人员在软件开发过程中面临一般问题时的解决方案,代表了最佳的实践。本课程的主打内容包括JS常见设计模式以及具体应用场景,打造一站式知识长龙服务,适合有JS基础的同学学习。
- 立即学习 543次学习
-
- GO语言核心编程课程
- 本课程采用真实案例,全面具体可落地,从理论到实践,一步一步将GO核心编程技术、编程思想、底层实现融会贯通,使学习者贴近时代脉搏,做IT互联网时代的弄潮儿。
- 立即学习 516次学习
-
- 简单聊聊mysql8与网络通信
- 如有问题加微信:Le-studyg;在课程中,我们将首先介绍MySQL8的新特性,包括性能优化、安全增强、新数据类型等,帮助学生快速熟悉MySQL8的最新功能。接着,我们将深入解析MySQL的网络通信机制,包括协议、连接管理、数据传输等,让
- 立即学习 500次学习
-
- JavaScript正则表达式基础与实战
- 在任何一门编程语言中,正则表达式,都是一项重要的知识,它提供了高效的字符串匹配与捕获机制,可以极大的简化程序设计。
- 立即学习 487次学习
-
- 从零制作响应式网站—Grid布局
- 本系列教程将展示从零制作一个假想的网络科技公司官网,分为导航,轮播,关于我们,成功案例,服务流程,团队介绍,数据部分,公司动态,底部信息等内容区块。网站整体采用CSSGrid布局,支持响应式,有流畅过渡和展现动画。
- 立即学习 485次学习