PHP Generator 怎样逐行处理大文件

处理日志、CSV 或导出文本时，最容易踩的坑是先用 file()、explode() 把整份内容读进数组。文件一大，内存峰值就会和数据量一起增长。PHP Generator 的合适用法是把 fopen() 与 fgets() 包在生成器函数里，每次只 yield 当前这一行，消费端用 foreach 按需取值。

关键边界也很明确：fopen() 打开失败要立即处理；fgets() 返回 false 表示没有更多数据或读取出错；生成器结束时要关闭文件句柄。这样做能避免“为了省内存却忘了释放资源”，但它不会阻止消费端自己把所有行重新收集起来。

官方手册：https://www.php.net/manual/en/language.generators.overview.php

为什么 Generator 适合读取大文件

Generator 函数不会在调用时马上生成完整数组。函数体中出现 yield 后，调用方拿到的是一个可迭代对象；foreach 需要下一个值时，PHP 才继续执行到下一次 yield。因此读取端只需要保留文件流、生成器状态和当前行。

这和“把大文件完整读入内存”是两种数据形态：前者把处理压力分散到每次迭代，后者先建立一个完整数组再开始业务逻辑。Generator 不提供随机访问，适合顺序扫描、过滤、转换和批量写入。

用 fopen 和 fgets 封装逐行生成器

下面的函数把“打开文件”和“逐行产生数据”放在同一条资源边界内。使用 fgets() 时要写成 !== false，不要只用真假判断来区分空字符串，因为读取接口的结束标记是布尔值 false。

这里的 rb 让读取按二进制方式进行，文本换行由代码统一处理；如果业务已经明确需要某种编码转换，应在当前行上完成，而不是先把整个文件转成大字符串。生成器的调用本身不会立刻读完整文件，第一次迭代时才会推进到第一个 yield。

消费端怎样保持低内存

低内存并不是 Generator 自动保证的，而是消费端要继续保持流式。可以在每行上做轻量清洗和过滤，凑够一个小批次后写入数据库或消息系统，提交后清空批次数组。这个小数组的上限由批大小决定，而不是由文件总行数决定。

= $batchSize) {
        // 批量写入后立即清空，内存只保留当前批次。
        saveUsers($batch);
        $batch = [];
    }
}

if ($batch !== []) {
    // 文件末尾不足一批的数据也不能遗漏。
    saveUsers($batch);
}
?>

不要在这个路径中调用 iterator_to_array(readLines(...))，也不要把每一行不断追加到全局数组；这会重新把 Generator 的流式优势变成全量收集。若业务需要排序、随机访问或多次遍历，就要明确接受额外存储，或者改用外部排序、临时表等方案。

长行、EOF 和资源边界怎么处理

fgets() 没有指定长度时，会持续读取到换行或 EOF；如果指定长度，则可能在一条长行中得到片段。对日志和普通 CSV 可以先使用默认行为；对超长无换行记录，则应单独设计分片协议，不能假设一次 yield 就代表一个完整业务记录。

常见问题

Generator 会让内存永远保持不变吗？

不会。它避免了按文件总量建立数组，但当前行、解析后的记录、批次数组和业务缓存仍会占用内存；消费端的全量收集也会重新制造高峰。

为什么循环条件要写 !== false？

因为 fgets() 成功时返回字符串，失败或没有更多数据时返回 false。显式比较能保留空行和内容为 "0" 的行。

可以在 Generator 外面关闭文件吗？

更稳妥的做法是由打开它的生成器在 finally 中关闭。这样调用方提前 break 或处理异常时，资源边界仍然集中。

小结

PHP Generator 逐行处理大文件的核心不是把 file() 换成一个新语法，而是把读取、产出和消费拆成按需协作的边界：fopen() 建立流，fgets() 读取当前行，yield 暂停并交给 foreach，finally 负责关闭资源。只要消费端不重新全量收集，就能让内存主要受当前行和有限批次影响。