前端大文件上传为什么会卡住:分片、并发窗口与断点续传的架构取舍
来源:17golang原创
时间:2026-08-08 22:54:01 127浏览 收藏
上传一个 800MB 的视频时,页面上的进度条停在 37% 并不一定是网络断了。更常见的原因是浏览器同时发出了太多分片请求,某个失败请求没有退出队列,后面的任务一直等着;如果用户刷新页面,已经成功的部分又被当成从零开始。比较稳的做法是把文件切成固定大小的分片,用有限并发窗口上传,并让服务端返回已接收分片清单,刷新后只补缺口。
大文件上传卡住的核心诱因很少是带宽跑满,大多是无节制的并发请求打满浏览器连接池、单点失败阻塞整个队列、没有落盘校验机制导致断点恢复时重传全部内容。用分片切割任务、固定并发槽控住峰值流量、靠服务端返回的已传分片清单做恢复,是多数业务场景下性价比最高的落地方案。
- 先用 File.slice 切片,再用 3~4 个并发槽控制浏览器请求数量。
- 每个分片保存 index、size 和校验信息,失败时只重试当前分片。
- 服务端返回已完成分片,断点续传的核心是跳过成功项,而不是保存一个百分比。
- 暂停、取消和页面刷新都要能让队列停止或恢复,不能只禁用上传按钮。
一次性上传为什么在大文件场景下撑不住
把整个 File 直接放进一个 fetch 请求,代码很短,却把三个问题揉成了一个长事务:连接断开时无法判断已经传了多少,浏览器或网关的请求体限制可能提前截断,重试时还要重新发送完整文件。
切片并不会自动解决问题。假设每片 8MB,800MB 文件会变成 100 个任务;如果用 Promise.all 一口气启动 100 个请求,连接池、内存和服务端临时文件占用都会突然升高。真正需要控制的是“同时在飞的任务数”,而不是只看文件总大小。

分片模型先把文件变成可追踪的任务
客户端至少要给每个分片一个稳定身份。简单项目可以使用文件指纹、分片序号和总片数拼出上传会话;生产项目通常还会把文件大小、修改时间或前端计算的哈希加入指纹,避免两个同名文件互相覆盖。
const PART_SIZE = 8 * 1024 * 1024;
function makeParts(file) {
const parts = [];
let index = 0;
for (let start = 0; start
这里的 index 必须从 0 连续递增,最后一片允许小于 8MB。服务端不要按请求到达顺序拼接,而应按会话 ID 和分片序号写入临时文件夹,例如 uploads/{uploadId}/000042.part,这样并发完成顺序变化也不会破坏文件。
并发窗口比“越多越快”更重要
小文件可以并发 3~4 片;如果每片都较大,继续加到 12 个并发,通常只是让失败重试变得更集中。下面的队列只保留固定数量的活动任务,某一片完成后才补下一片。
async function uploadParts(parts, uploadId, signal) {
const limit = 4;
let cursor = 0;
const done = new Set();
async function worker() {
while (cursor
这个最小实现有一个故意保留的边界:sendWithRetry 失败时应抛出错误,不能在 worker 内静默吞掉。否则进度条可能显示“全部完成”,服务端却缺一片。
重试、暂停和取消要有明确的状态边界
单个分片的网络错误适合做有限重试,例如 3 次,间隔 500ms、1s、2s。服务端返回 4xx 时不要盲目重试,文件过大、会话过期和校验失败都应该回到用户可见的错误状态。
async function sendWithRetry(part, uploadId, signal) {
for (let attempt = 0; attempt = 400 && response.status setTimeout(resolve, 500 * 2 ** attempt));
}
}
暂停可以通过一个队列级别的停止标记实现;取消则调用 AbortController.abort(),并通知服务端清理临时分片。两者不要混为一谈:暂停要保留会话,取消通常意味着删除会话。

断点续传的关键是服务端清单,不是本地进度条
创建会话时,服务端返回 uploadId;查询接口返回已经落盘的分片序号。客户端恢复上传时先把这份清单放进 Set,只把缺少的分片送进并发队列。
const state = await fetch(`/api/upload/${uploadId}`).then(r => r.json());
const received = new Set(state.parts);
const pending = parts.filter(part => !received.has(part.index));
if (pending.length === 0) {
await fetch(`/api/upload/${uploadId}/complete`, { method: 'POST' });
} else {
await uploadParts(pending, uploadId, controller.signal);
}
完成接口还要再做一次服务端校验:分片数量是否齐全、每片大小是否符合约定、合并后的文件大小或哈希是否匹配。客户端显示 100% 只能说明请求都返回了,不能替代这一步。
上线前用三组指标判断架构是否真的变稳
先记录一次性上传的失败率、平均请求体大小和恢复耗时,再与分片方案对比。不要只看平均上传速度,P95 分片耗时、重试比例和临时文件夹占用更能暴露并发窗口的问题。
| 检查项 | 应观察什么 | 异常时先查哪里 |
|---|---|---|
| 浏览器网络面板 | 活动请求是否稳定在 4 个以内 | 队列游标和重复触发 |
| 服务端会话 | parts 清单是否连续、可重复查询 | 分片落盘名和 uploadId |
| 合并接口 | 缺片时拒绝合并,完整时只合并一次 | 幂等键与临时文件夹锁 |
| 失败恢复 | 刷新后只发送缺失分片 | 本地会话保存与过期策略 |
常见问题:大文件上传的几个边界
分片越小,上传一定越快吗?
不一定。分片太小会增加请求数量和服务端文件管理开销;可以从 5~10MB 试起,再根据网络质量和后端临时存储调整。
页面刷新后还能继续上传吗?
可以,但必须保留文件指纹与 uploadId,并向服务端查询已完成分片。只把百分比存到 localStorage 无法判断哪些分片真实落盘。
为什么不直接把并发数调到 16?
并发数受用户带宽、浏览器连接、服务端限流和临时磁盘共同约束。先用 3~4 个槽观察失败率,再按 P95 和重试比例做小步调整。
总结:把上传拆成可检查、可恢复的状态机
大文件上传的稳定性来自三个边界:分片让失败范围变小,并发窗口限制资源峰值,服务端清单让恢复动作有依据。前端可以先实现固定 4 并发和有限重试,再补齐暂停、取消、过期清理与合并幂等;这条路径比一开始堆满复杂功能更容易验证。
-
255 收藏
-
130 收藏
-
459 收藏
-
207 收藏
-
282 收藏
-
- 前端进阶之JavaScript设计模式
- 设计模式是开发人员在软件开发过程中面临一般问题时的解决方案,代表了最佳的实践。本课程的主打内容包括JS常见设计模式以及具体应用场景,打造一站式知识长龙服务,适合有JS基础的同学学习。
- 立即学习 543次学习
-
- GO语言核心编程课程
- 本课程采用真实案例,全面具体可落地,从理论到实践,一步一步将GO核心编程技术、编程思想、底层实现融会贯通,使学习者贴近时代脉搏,做IT互联网时代的弄潮儿。
- 立即学习 516次学习
-
- 简单聊聊mysql8与网络通信
- 如有问题加微信:Le-studyg;在课程中,我们将首先介绍MySQL8的新特性,包括性能优化、安全增强、新数据类型等,帮助学生快速熟悉MySQL8的最新功能。接着,我们将深入解析MySQL的网络通信机制,包括协议、连接管理、数据传输等,让
- 立即学习 500次学习
-
- JavaScript正则表达式基础与实战
- 在任何一门编程语言中,正则表达式,都是一项重要的知识,它提供了高效的字符串匹配与捕获机制,可以极大的简化程序设计。
- 立即学习 487次学习
-
- 从零制作响应式网站—Grid布局
- 本系列教程将展示从零制作一个假想的网络科技公司官网,分为导航,轮播,关于我们,成功案例,服务流程,团队介绍,数据部分,公司动态,底部信息等内容区块。网站整体采用CSSGrid布局,支持响应式,有流畅过渡和展现动画。
- 立即学习 485次学习