PHP stream 分块大文件 怎样处理

PHP 处理大文件时，最稳妥的做法是让 stream 保持打开状态，每次用 fread() 取固定大小的一块，处理完就释放这块字符串，而不是用 file_get_contents() 或 stream_get_contents() 把全部内容一次性装进内存。只需要原样搬运时，可以交给 stream_copy_to_stream()，但仍要检查返回值并关闭两个流。

官方地址：https://www.php.net/manual/en/book.stream.php

分块处理的关键不是把 chunk 设置得越大越好，而是让读取、业务处理、写入和资源关闭形成一条稳定的链路。普通本地文件可以从 1 MiB 左右开始，再按实际内存和吞吐调整。

先区分一次性读取和分块读取

file_get_contents() 适合把内容作为一个字符串使用；但文件大小一上来，字符串本身、转换副本和业务数组可能同时占用内存。stream_get_contents() 虽然接收已经打开的流，也会把指定范围读成一个字符串，省掉的是打开方式，不是完整内容的内存占用。

分块读取的内存模型更简单：内存中主要是当前 $chunk、业务处理产生的临时对象和输出缓冲。不要在循环里写 $all .= $chunk，否则只是把“一次性读完”拆成了更慢的拼接过程。

用 fread 循环处理每一个 chunk

本地文件通常以二进制读取模式 rb 打开。示例把每块数据交给回调，并写入目标文件；回调可以替换为解压、解析、哈希计算或上传分片。代码里的写入循环不能假设 fwrite() 一次写完全部字符串，因为它返回的是实际写入的字节数。

这个循环只保证“单次读取不超过 $chunkSize”，不保证每次都正好读满。对普通本地文件，读到的块通常接近指定大小；对网络流或其他包装器，短读更常见，所以不能用“本次长度小于 chunk 就结束”替代 feof() 和失败判断。

什么时候直接使用 stream_copy_to_stream

如果业务不需要看懂或改变每一块的内容，只想把输入流复制到输出流，stream_copy_to_stream() 更简洁。它从当前指针复制指定字节数；省略长度时会复制源流剩余内容。返回值是复制的字节数，失败时返回 false。

如果复制前后还要做压缩、转码、逐行解析或过滤，就回到 fread() 循环。若要从某个位置开始复制，先确认包装器支持定位，并明确当前指针；远程流不应默认支持随机访问。

生产代码里最容易漏掉的边界

• 不要混淆 false 和空字符串：fread() 返回 false 是失败，空字符串通常与 EOF 相关，判断时使用严格比较。
• 不要把 chunk 当成一行：二进制块可能在多字节字符或业务记录中间断开；需要按行解析时，要额外保留未完成的尾部。
• 不要忘记输出流的写入结果：大块写入可能短写，通用写入函数应继续写剩余部分或明确抛错。
• 不要默认远程流可 seek：网络流更适合顺序读取；需要断点续传时，应使用协议提供的范围请求或分片机制，而不是盲目调用 fseek()。
• 不要把调参写成承诺：chunk 越大不等于越快，应该结合 PHP 进程内存、下游写入速度和请求超时做小步调整。

相关问题

PHP stream_get_contents 能处理大文件吗？它能从已打开的流读取内容，但指定范围仍会形成一个字符串；如果目标是控制内存，应优先用 fread() 分块消费。

fread 读到的长度为什么小于参数？参数表示最多读取多少字节，实际结果还受 EOF、网络数据到达和包装器行为影响，所以应以返回值、feof() 和 false 判断为准。

什么时候选 stream_copy_to_stream？只做流到流的原样复制时选它；需要逐块解析、改写、限速或统计业务字段时，使用显式的 fread() 循环更容易控制。

归纳起来，PHP stream 分块处理大文件要守住三条线：单个 chunk 有上限，读取和写入都检查返回值，所有打开的资源都有明确的关闭路径。这样才能把内存边界和业务处理边界分开，后续再按真实负载调整 chunk 大小。