登录
推荐 文章 Go 技术 课程 下载 专题 AI
首页 >  科技周边 >  人工智能

Hugging Face Hub HfApi.list_repo_tree 怎样列出模型仓库中的文件

来源:17golang原创

时间:2026-11-20 08:40:18 429浏览 收藏

想知道模型仓库里究竟有哪些配置、权重和目录,不必先把整个仓库下载到本地。HfApi.list_repo_tree 会返回文件与目录对象组成的可迭代结果,先读取这棵树,再按路径筛选即可。

官方地址:https://huggingface.co/

官方 API 文档:https://huggingface.co/docs/huggingface_hub/package_reference/hf_api

最实用的做法是:先用 path_in_repo 缩小目录范围,再根据 RepoFile 与 RepoFolder 区分对象,最后只输出需要的相对路径。这样检查清单和下载文件是两件事,不会因为查看目录而加载权重。

先弄清 list_repo_tree 的输入和返回值

HfApi.list_repo_tree 至少需要一个仓库标识 repo_id,例如 org/model-name。revision 默认指向 main,repo_type 默认是模型,也可以明确写成 dataset 或 space。path_in_repo 为空时查看根目录,填写相对路径时只查看某个子树。

返回值是惰性的 Iterable:元素可能是 RepoFile,也可能是 RepoFolder。文件对象通常包含 path、size、blob_id 等字段;目录对象则表达树中的文件夹。文档还特别说明,返回顺序不保证,所以不要把“第一个元素”当成固定文件。

HfApi list_repo_tree 中 Hub 仓库、revision、path_in_repo、RepoFolder、RepoFile 与 Iterable 的静态关系说明图
图1:HfApi.list_repo_tree 的仓库树结构说明图,展示目录对象与文件对象的关系,不是运行截图。

用一个小脚本列出模型仓库文件

把迭代器转换为列表后,处理逻辑会更直观。下面的示例递归读取一个模型仓库,并把目录与文件分开打印;它只读取元数据,不下载模型权重。

from huggingface_hub import HfApi, RepoFile, RepoFolder

api = HfApi()

# recursive=True 让清单覆盖子目录;revision 固定本次查看的分支或标签。
entries = api.list_repo_tree(
    repo_id="openai-community/gpt2",
    path_in_repo=None,
    recursive=True,
    revision="main",
    repo_type="model",
)

files = []
folders = []
for entry in entries:
    # 用对象类型区分目录和文件,避免把目录路径误当成可下载文件。
    if isinstance(entry, RepoFile):
        files.append(entry)
    elif isinstance(entry, RepoFolder):
        folders.append(entry)

# 返回顺序不保证,展示前按相对路径排序,输出更适合保存或比较。
for folder in sorted(folders, key=lambda item: item.path):
    print(f"[目录] {folder.path}")
for file in sorted(files, key=lambda item: item.path):
    print(f"[文件] {file.path}")

这里的关键不是打印本身,而是保留了对象边界:目录只用于描述结构,文件才进入后续的后缀筛选。若只想看一个子目录,可以把 path_in_repo 换成例如 "tokenizer",不必每次遍历整个仓库。

按路径筛选配置和权重文件

模型仓库通常同时包含说明文档、配置文件、词表和权重。得到 RepoFile 后,可以依据相对路径的后缀或目录前缀构造自己的清单。筛选时不要假定每个模型都拥有同名文件,尤其是权重可能是单文件、分片文件或不同格式。

from huggingface_hub import HfApi, RepoFile

api = HfApi()
entries = api.list_repo_tree(
    repo_id="openai-community/gpt2",
    recursive=True,
    expand=False,
)

# 只收集文件对象;配置与权重按常见后缀分组,名称不存在时自然得到空列表。
config_suffixes = (".json", ".yaml", ".yml")
weight_suffixes = (".safetensors", ".bin", ".msgpack")
config_files = []
weight_files = []

for entry in entries:
    # RepoFolder 没有文件后缀,不应进入文件清单。
    if not isinstance(entry, RepoFile):
        continue
    if entry.path.endswith(config_suffixes):
        config_files.append(entry.path)
    if entry.path.endswith(weight_suffixes):
        weight_files.append(entry.path)

# 排序只服务于本地展示,不代表 Hub 返回了这个顺序。
print("配置文件:", sorted(config_files))
print("权重文件:", sorted(weight_files))
递归读取后区分 RepoFile 与 RepoFolder 并按路径筛选配置文件和权重文件的静态关系图
图2:模型文件清单筛选的静态关系图,展示从树对象到配置与权重路径的映射,不是运行截图。

expand、分页和异常边界怎么处理

expand=False 适合先做轻量清单;如果需要最后一次提交或安全扫描等更详细的元数据,再考虑 expand=True。官方文档说明,展开信息会增加服务端成本,并将每页结果数从 1000 降到 50,但库会把分页细节封装在迭代接口里。

异常也要按资源层级区分:

  • RepositoryNotFoundError 通常对应错误的 repo_id、repo_type,或私有仓库缺少认证。
  • RevisionNotFoundError 表示分支、标签或提交修订不存在。
  • RemoteEntryNotFoundError 表示 path_in_repo 指向的目录不存在。

工程上建议把 repo_id、revision 和 path_in_repo 一起记录到清单文件名或日志中,这样同一个模型的不同分支不会被误认为是同一份目录。若需要严格比较两个清单,还应在本地对路径排序,因为官方不保证返回顺序。

最后记住这三个判断

  1. 查看仓库结构用 list_repo_tree,它返回元数据,不等同于下载文件。
  2. 目录和文件要按 RepoFolder、RepoFile 分开处理,筛选时以 entry.path 为准。
  3. 需要更详细提交信息时再开启 expand,结果比较前自行排序,并对仓库、修订和子目录异常分别处理。

常见问题

list_repo_tree 会把模型权重下载到本地吗?

不会。这个调用返回仓库树中的文件和目录信息;只有后续显式调用下载接口时,才会进入文件内容传输流程。

为什么返回的文件顺序每次不能直接依赖?

官方接口没有保证文件和目录的返回顺序。要生成稳定清单,应使用 path 作为排序键,并把仓库修订一起记录。

声明:本文转载于:17golang原创 如有侵犯,请联系study_golang@163.com删除
相关阅读
更多>
最新阅读
更多>
课程推荐
更多>