Go io/fs 怎样遍历文件系统并保留相对路径在批处理代码中减少额外分配

批处理程序遍历一个目录时，最容易被忽略的成本不是回调本身，而是每个条目都重新拼绝对路径、再调用一次文件信息查询。更稳妥的做法是先用 os.DirFS(root) 固定物理根目录，再调用 fs.WalkDir(fsys, ".", fn)。回调拿到的 path 已经是相对根目录的斜杠路径，可以直接作为批处理键或筛选条件使用。

先把物理目录和批处理路径分开

io/fs 的路径是 UTF-8、无根、用斜杠分隔的路径。把 /srv/jobs/input 交给 os.DirFS 后，根目录在遍历 API 中写成 .，文件就会以 daily/a.go 这样的形式出现。业务层无需再把操作系统路径转成相对路径，也不会因为 Windows 分隔符而把路径规则散落在各处。

用 WalkDir 直接筛选文件并保留错误边界

下面的函数统计目录里的 Go 源文件。它只把物理根目录作为输入，回调直接使用相对路径；普通文件不调用 d.Info()，目录读取失败也不会被悄悄当成“没有文件”。

package main

import (
    "fmt"
    "io/fs"
    "os"
    "strings"
)

// CountGoFiles 在指定物理根目录内统计 Go 文件。
// path 始终是相对 root 的 io/fs 路径，不再额外拼接绝对路径。
func CountGoFiles(root string) (int, error) {
    if root == "" {
        return 0, fmt.Errorf("文件系统根目录不能为空") // 提前拒绝不明确的遍历边界
    }

    fileSystem := os.DirFS(root) // 把物理目录封装成 fs.FS
    count := 0
    err := fs.WalkDir(fileSystem, ".", func(path string, d fs.DirEntry, walkErr error) error {
        if walkErr != nil {
            if d != nil && d.IsDir() {
                return fs.SkipDir // 当前目录读失败时，不继续猜测其子项
            }
            return walkErr // 将根目录或文件错误交给调用方
        }
        if d.IsDir() {
            return nil // 目录由 WalkDir 继续展开
        }
        if d.Type()&fs.ModeSymlink != 0 {
            return nil // WalkDir 默认不跟随目录中的符号链接
        }
        if strings.HasSuffix(path, ".go") {
            count++ // 直接消费相对路径，不创建绝对路径副本
        }
        return nil
    })
    return count, err
}

这个写法的关键不是把所有分配都消灭，而是避免业务代码对每个条目重复执行 filepath.Abs、filepath.Rel 或不必要的 Stat。如果后续任务只需要文件名、扩展名或相对清单，回调里的 path 就已经够用。

按任务选择跳过、停止还是继续

WalkDir 会按字典序遍历，因此批处理输出具有确定性，但它需要先读取一个目录的全部条目再继续。回调返回 fs.SkipDir 可以跳过当前目录；返回 fs.SkipAll 可以结束剩余遍历；返回普通错误则停止并把错误交给调用方。目录访问错误会以回调参数出现两次机会：第一次可以提前跳过，真正读取失败后还会再次报告。

性能收益和不能忽略的边界

在大量小文件的批处理里，省掉业务侧的路径重写和逐文件元数据查询，通常比把注意力放在字符串函数微优化上更实际。真正需要验证时，应使用代表性目录运行基准，分别记录总耗时、分配次数和错误比例，不要凭一轮小目录测试下结论。

同时要记住三点：WalkDir 不跟随目录中的符号链接；它为了确定性顺序会把当前目录读入内存；如果任务需要权限、大小、修改时间等完整信息，仍然要在确有需要的条目上调用 d.Info()。这时可以保留相对路径设计，再把元数据查询限制在命中的文件上。

相关问题

WalkDir 的 path 为什么不是操作系统绝对路径？

因为 fs.FS 把根目录作为文件系统边界，路径使用无根、斜杠分隔的形式。需要访问真实磁盘时，再把相对路径交给同一个根目录下的打开操作。

什么时候应该调用 DirEntry.Info？

只有在确实需要大小、时间或权限等完整元数据时调用。仅判断目录、符号链接或文件名后缀时，回调提供的 DirEntry 已经足够。

WalkDir 能自动跟随符号链接吗？

目录中的符号链接默认不会被跟随；如果业务必须追踪链接目标，需要单独设计读取链接和循环保护逻辑，不能把它当成 WalkDir 的默认行为。

把路径边界固定在 os.DirFS，再让 WalkDir 直接服务批处理，代码会更容易复用和测试。优化重点应放在减少重复转换、避免无必要的元数据查询，以及明确错误和链接策略。