登录
推荐 文章 Go 技术 课程 下载 专题 AI
首页 >  文章 >  python教程

Python fileinput.input 怎样连续处理多个输入文件

来源:17golang原创

时间:2026-11-18 05:00:53 192浏览 收藏

如果脚本要按顺序处理一组文本文件,又希望循环内部始终面对同一个“逐行输入流”,可以使用 fileinput.input(files=...)。它会按 files 的顺序打开文件,逐行返回内容;循环中还能通过 fileinput.filename()、fileinput.filelineno() 和 fileinput.lineno() 知道当前行来自哪里。

官方文档:https://docs.python.org/3/library/fileinput.html

最稳妥的写法是把 fileinput.input() 放进 with,显式传入文件列表和文本编码,再在循环里处理每一行。需要区分“当前文件第几行”和“所有文件累计第几行”时,分别使用 filelineno() 与 lineno()。

统一读取多个文件:把 files 变成一条输入流

fileinput.input() 的第一个参数可以接收文件名序列。它不会把所有文件一次性读入内存,而是打开一个文件、逐行迭代,读完后再切换到下一个文件。这样适合日志归档、配置片段或批量文本清洗等顺序处理任务。

多个文本文件通过 FileInput 状态对象汇入统一逐行输入流的结构说明图
图1:fileinput.input 把多个文件接成统一逐行输入流的结构示意图,不是截图或运行证据。

示例中直接传入元组,能避免脚本因为外部 sys.argv 意外变化而读取到不相关的文件。encoding 和 errors 让文本解码策略落在输入层,循环内部只处理已经解码的字符串。

import fileinput

files = ("part-01.txt", "part-02.txt", "part-03.txt")

# 用 with 管理整组输入文件,按元组顺序逐行读取。
with fileinput.input(files=files, encoding="utf-8", errors="strict") as stream:
    for line in stream:
        # 保留原始换行,只对业务内容做最小处理。
        text = line.rstrip("\n")
        if text:
            print(text)

行尾通常会保留在返回的字符串中,最后一行即使没有换行符也会正常返回。文件不存在、无法打开或读取失败时,调用方应让 OSError 暴露出来,或者在业务边界统一记录失败文件。

用上下文管理器关闭整个输入序列

fileinput.input() 返回的对象可以作为上下文管理器。退出 with 后,当前文件和输入序列都会被关闭,即使循环内部抛出异常也能执行清理。与依赖全局状态的 fileinput.close() 相比,局部变量更容易测试和复用。

如果只是单文件读取,普通的 open() 更直观;只有当多个文件需要共享一个循环、统一的编码配置或同一套文件级状态时,才适合使用 fileinput。

定位当前文件:filename、行号与 nextfile

读取过程中有三组容易混淆的位置信息:

  • fileinput.filename():当前正在读取的文件名。
  • fileinput.filelineno():当前文件内的行号,每切换文件会重新从 1 开始。
  • fileinput.lineno():所有输入文件合计的累计行号。

在循环中判断 fileinput.isfirstline(),可以在每个文件的第一行做一次标题处理;如果某个文件已经不需要继续读,调用 fileinput.nextfile() 会关闭当前文件并跳到下一个文件,尚未读出的行不计入累计行号。

当前文件周围连接文件名、当前文件行号、累计行号和 nextfile 的结构说明图
图2:fileinput 文件级定位方法与切换边界的关系示意图,不是截图或运行证据。
import fileinput

files = ("access-a.log", "access-b.log")

# 同时展示当前文件行号与跨文件累计行号。
with fileinput.input(files=files, encoding="utf-8") as stream:
    for line in stream:
        if fileinput.isfirstline():
            # 每个文件的首行可以单独识别,例如跳过重复表头。
            print(f"--- {fileinput.filename()} ---")

        print(
            f"{fileinput.filename()}:{fileinput.filelineno()} "
            f"total={fileinput.lineno()} {line.rstrip()}"
        )

        if line.startswith("# STOP-FILE"):
            # 当前文件后面的内容不再需要,直接切换到下一个文件。
            fileinput.nextfile()

注意,文件名在真正读到下一个文件的第一行后才会更新;因此不要在调用 nextfile() 后立刻读取文件名来推断已经切换完成。

标准输入、编码和压缩文件怎么处理

当 files 为空或省略时,fileinput 默认使用命令行参数中的文件名;如果命令行没有文件名,则从标准输入读取。文件列表里放入 "-" 也表示把这一项替换成标准输入。需要把管道输入和普通文件混排时,可以显式写出这个占位符。

文本场景优先传入 encoding="utf-8",遇到脏数据再根据业务选择 errors="replace" 或 errors="surrogateescape",不要让系统默认编码悄悄改变结果。对于 gzip 或 bzip2 文件,可以把官方提供的 fileinput.hook_compressed 作为 openhook,它会依据 .gz 和 .bz2 后缀选择解压读取。

import fileinput

# 文件名为 '-' 时从标准输入读取;压缩后缀由官方 hook 选择解码器。
files = ("daily.txt.gz", "-", "weekly.txt.bz2")

with fileinput.input(
    files=files,
    openhook=fileinput.hook_compressed,
    encoding="utf-8",
    errors="replace",
) as stream:
    for line in stream:
        # replace 让单个坏字节不阻断整组文件的顺序处理。
        print(line, end="")

什么时候不用 fileinput

需求更合适的选择原因
只读一个文件open()资源边界和异常路径更直接
需要当前文件与累计行号fileinput.input()状态 API 已经提供定位信息
需要随机访问或并行分片按文件独立打开FileInput 是严格顺序迭代模型
需要 gzip/bz2 顺序输入openhook=fileinput.hook_compressed可沿用统一循环和文件级状态

最终可以把判断收敛成一句话:多个文本来源要共用一个顺序循环,并且需要文件级定位时,用 fileinput.input();只处理一个文件、需要随机访问或要并行消费时,直接使用独立的 open() 更清晰。

常见问题

fileinput.input() 会把所有文件一次性读进内存吗?

不会。它按顺序打开并迭代文件,循环变量每次得到一行;但业务代码如果主动把结果转成列表,仍会产生额外内存占用。

filelineno() 和 lineno() 为什么不一样?

filelineno() 是当前文件内的行号,切换文件后重新计数;lineno() 是整个输入序列的累计行号。

什么时候应该用 FileInput 而不是 fileinput.input?

当需要把输入对象作为参数传递、避免模块级全局状态,或希望明确控制上下文管理器生命周期时,直接实例化 FileInput 更合适;两者共享同一套顺序迭代语义。

声明:本文转载于:17golang原创 如有侵犯,请联系study_golang@163.com删除
相关阅读
更多>
最新阅读
更多>
课程推荐
更多>