首页 > 专题 > AI 流式输出可靠性实战专题

AI 流式输出可靠性

AI 流式输出可靠性实战专题

SSE、断线重连与事件去重

AI 应用把答案逐字展示给用户后，真正的工程问题才开始出现：代理缓冲、半条事件、网络断线、重复重放和停止按钮都可能让最终内容错乱。本专题围绕 SSE 流式链路，整理从协议、服务端 flush 到客户端重连、事件序号和生产排障的完整路径。

官方协议与实现入口

先把流式事件、缓冲和客户端语义对齐

外链

OpenAI Streaming Responses 官方指南

Responses API 的流式事件指南，说明如何在生成过程中接收服务器发送事件。

外链

OpenAI Responses Streaming API Reference

流式 Responses 事件和增量字段的官方 API 参考。

外链

MDN 使用 Server-sent events

覆盖 EventSource、text/event-stream、事件格式、错误处理和连接关闭。

外链

WHATWG Server-sent events 标准

定义 Last-Event-ID、事件流格式与 EventSource 行为。

外链

Go net/http Flusher 文档

说明 ResponseWriter 如何把缓冲数据 flush 到客户端以及代理缓冲限制。

外链

Go bufio.Scanner 文档

提供按行扫描流式响应的标准库 API 与 token 大小边界。

AI 流式链路实战路径

从停止与限流到重连、重放和结果对账

文章

AI 流式输出断线后怎么处理：SSE 事件序号、重放与重复片段去重

通过事件序号、重放窗口和幂等合并恢复断线后的 AI 流式内容。

文章

AI 对话流式输出怎么做停止按钮：AbortController、状态播报和断线收尾

围绕流式对话停止按钮，处理 AbortController、状态切换、断线收尾和用户反馈。

文章

大模型接口 429 怎么排查：区分请求额度、令牌额度和并发积压

拆分请求额度、令牌额度和并发积压，给出流式接口限流排障路径。

文章

Go 接 Ollama API 做模型健康检查：版本、模型存在性与超时处理

用 Go 分层检查本地模型 API、模型清单和短生成探针，并区分超时原因。

文章

RAG 知识库怎么防提示词注入：外部文档只能当资料，不能当指令

说明 RAG 外部资料的信任边界、提示词注入风险和回答前的安全控制。

文章

大模型离线批量任务怎么对账：从 JSONL 提交到结果回写的分步实验

以批量任务为例处理提交、结果回写、失败重试和对账验收。

文章

AI 接口 JSON 返回不稳定排查：从提示词到结构化输出

从提示词、结构化输出和校验处理排查模型返回格式不稳定问题。

可靠性验收清单

用可观测信号判断流式链路是否真的可用

SSE 断线后应该从哪里继续？

服务端应为可重放事件提供稳定的事件 ID，客户端记录最后确认的 ID，并通过 Last-Event-ID 或业务游标请求缺失区间。恢复后按 ID 幂等合并，不能把整段文本直接拼接，否则会产生重复片段。

为什么已经调用 Flush，浏览器仍然看不到增量？

Flusher 只能把应用缓冲交给网络栈，代理、网关、压缩层和客户端仍可能继续缓冲。应确认 Content-Type 为 text/event-stream，关闭不必要的代理缓冲，发送心跳并用真实链路测试首事件和后续事件到达时间。

流式事件重复时怎样避免最终答案重复？

不要按到达次数合并，而应以 event_id 或业务 sequence 去重；为已确认事件保留窗口，重连重放时只接受未确认序号，并在 done 事件后冻结结果，防止迟到事件再次修改内容。

AI 流式接口的超时应该设置多长？

至少区分连接建立、首事件、事件间隔和总时长四类超时。首事件允许模型冷启动，事件间隔用于发现上游卡死，总时长保护成本和连接资源；具体数值应由模型、代理和业务 SLA 的实测数据决定。