Python fileinput.input 怎样连续处理多个输入文件
来源:17golang原创
时间:2026-11-18 05:00:53 192浏览 收藏
如果脚本要按顺序处理一组文本文件,又希望循环内部始终面对同一个“逐行输入流”,可以使用 fileinput.input(files=...)。它会按 files 的顺序打开文件,逐行返回内容;循环中还能通过 fileinput.filename()、fileinput.filelineno() 和 fileinput.lineno() 知道当前行来自哪里。
官方文档:https://docs.python.org/3/library/fileinput.html
最稳妥的写法是把fileinput.input()放进with,显式传入文件列表和文本编码,再在循环里处理每一行。需要区分“当前文件第几行”和“所有文件累计第几行”时,分别使用filelineno()与lineno()。
统一读取多个文件:把 files 变成一条输入流
fileinput.input() 的第一个参数可以接收文件名序列。它不会把所有文件一次性读入内存,而是打开一个文件、逐行迭代,读完后再切换到下一个文件。这样适合日志归档、配置片段或批量文本清洗等顺序处理任务。

示例中直接传入元组,能避免脚本因为外部 sys.argv 意外变化而读取到不相关的文件。encoding 和 errors 让文本解码策略落在输入层,循环内部只处理已经解码的字符串。
import fileinput
files = ("part-01.txt", "part-02.txt", "part-03.txt")
# 用 with 管理整组输入文件,按元组顺序逐行读取。
with fileinput.input(files=files, encoding="utf-8", errors="strict") as stream:
for line in stream:
# 保留原始换行,只对业务内容做最小处理。
text = line.rstrip("\n")
if text:
print(text)
行尾通常会保留在返回的字符串中,最后一行即使没有换行符也会正常返回。文件不存在、无法打开或读取失败时,调用方应让 OSError 暴露出来,或者在业务边界统一记录失败文件。
用上下文管理器关闭整个输入序列
fileinput.input() 返回的对象可以作为上下文管理器。退出 with 后,当前文件和输入序列都会被关闭,即使循环内部抛出异常也能执行清理。与依赖全局状态的 fileinput.close() 相比,局部变量更容易测试和复用。
如果只是单文件读取,普通的 open() 更直观;只有当多个文件需要共享一个循环、统一的编码配置或同一套文件级状态时,才适合使用 fileinput。
定位当前文件:filename、行号与 nextfile
读取过程中有三组容易混淆的位置信息:
fileinput.filename():当前正在读取的文件名。fileinput.filelineno():当前文件内的行号,每切换文件会重新从 1 开始。fileinput.lineno():所有输入文件合计的累计行号。
在循环中判断 fileinput.isfirstline(),可以在每个文件的第一行做一次标题处理;如果某个文件已经不需要继续读,调用 fileinput.nextfile() 会关闭当前文件并跳到下一个文件,尚未读出的行不计入累计行号。

import fileinput
files = ("access-a.log", "access-b.log")
# 同时展示当前文件行号与跨文件累计行号。
with fileinput.input(files=files, encoding="utf-8") as stream:
for line in stream:
if fileinput.isfirstline():
# 每个文件的首行可以单独识别,例如跳过重复表头。
print(f"--- {fileinput.filename()} ---")
print(
f"{fileinput.filename()}:{fileinput.filelineno()} "
f"total={fileinput.lineno()} {line.rstrip()}"
)
if line.startswith("# STOP-FILE"):
# 当前文件后面的内容不再需要,直接切换到下一个文件。
fileinput.nextfile()
注意,文件名在真正读到下一个文件的第一行后才会更新;因此不要在调用 nextfile() 后立刻读取文件名来推断已经切换完成。
标准输入、编码和压缩文件怎么处理
当 files 为空或省略时,fileinput 默认使用命令行参数中的文件名;如果命令行没有文件名,则从标准输入读取。文件列表里放入 "-" 也表示把这一项替换成标准输入。需要把管道输入和普通文件混排时,可以显式写出这个占位符。
文本场景优先传入 encoding="utf-8",遇到脏数据再根据业务选择 errors="replace" 或 errors="surrogateescape",不要让系统默认编码悄悄改变结果。对于 gzip 或 bzip2 文件,可以把官方提供的 fileinput.hook_compressed 作为 openhook,它会依据 .gz 和 .bz2 后缀选择解压读取。
import fileinput
# 文件名为 '-' 时从标准输入读取;压缩后缀由官方 hook 选择解码器。
files = ("daily.txt.gz", "-", "weekly.txt.bz2")
with fileinput.input(
files=files,
openhook=fileinput.hook_compressed,
encoding="utf-8",
errors="replace",
) as stream:
for line in stream:
# replace 让单个坏字节不阻断整组文件的顺序处理。
print(line, end="")
什么时候不用 fileinput
| 需求 | 更合适的选择 | 原因 |
|---|---|---|
| 只读一个文件 | open() | 资源边界和异常路径更直接 |
| 需要当前文件与累计行号 | fileinput.input() | 状态 API 已经提供定位信息 |
| 需要随机访问或并行分片 | 按文件独立打开 | FileInput 是严格顺序迭代模型 |
| 需要 gzip/bz2 顺序输入 | openhook=fileinput.hook_compressed | 可沿用统一循环和文件级状态 |
最终可以把判断收敛成一句话:多个文本来源要共用一个顺序循环,并且需要文件级定位时,用 fileinput.input();只处理一个文件、需要随机访问或要并行消费时,直接使用独立的 open() 更清晰。
常见问题
fileinput.input() 会把所有文件一次性读进内存吗?
不会。它按顺序打开并迭代文件,循环变量每次得到一行;但业务代码如果主动把结果转成列表,仍会产生额外内存占用。
filelineno() 和 lineno() 为什么不一样?
filelineno() 是当前文件内的行号,切换文件后重新计数;lineno() 是整个输入序列的累计行号。
什么时候应该用 FileInput 而不是 fileinput.input?
当需要把输入对象作为参数传递、避免模块级全局状态,或希望明确控制上下文管理器生命周期时,直接实例化 FileInput 更合适;两者共享同一套顺序迭代语义。
-
369 收藏
-
344 收藏
-
464 收藏
-
327 收藏
-
349 收藏
-
413 收藏
-
474 收藏
-
331 收藏
-
261 收藏
-
108 收藏
-
267 收藏
-
247 收藏
-
255 收藏
-
文章 · python教程 | 1天前 | SQLite · Python教程 · Python SQLite sqlite3 complete_statement 多语句脚本 CREATE TRIGGER140 收藏
-
290 收藏
-
256 收藏
-
299 收藏
-
- 前端进阶之JavaScript设计模式
- 设计模式是开发人员在软件开发过程中面临一般问题时的解决方案,代表了最佳的实践。本课程的主打内容包括JS常见设计模式以及具体应用场景,打造一站式知识长龙服务,适合有JS基础的同学学习。
- 立即学习 543次学习
-
- GO语言核心编程课程
- 本课程采用真实案例,全面具体可落地,从理论到实践,一步一步将GO核心编程技术、编程思想、底层实现融会贯通,使学习者贴近时代脉搏,做IT互联网时代的弄潮儿。
- 立即学习 516次学习
-
- 简单聊聊mysql8与网络通信
- 如有问题加微信:Le-studyg;在课程中,我们将首先介绍MySQL8的新特性,包括性能优化、安全增强、新数据类型等,帮助学生快速熟悉MySQL8的最新功能。接着,我们将深入解析MySQL的网络通信机制,包括协议、连接管理、数据传输等,让
- 立即学习 500次学习
-
- JavaScript正则表达式基础与实战
- 在任何一门编程语言中,正则表达式,都是一项重要的知识,它提供了高效的字符串匹配与捕获机制,可以极大的简化程序设计。
- 立即学习 487次学习
-
- 从零制作响应式网站—Grid布局
- 本系列教程将展示从零制作一个假想的网络科技公司官网,分为导航,轮播,关于我们,成功案例,服务流程,团队介绍,数据部分,公司动态,底部信息等内容区块。网站整体采用CSSGrid布局,支持响应式,有流畅过渡和展现动画。
- 立即学习 485次学习