流式响应
已收录文章:4篇
-
从首字延迟 TTFT、分段间隔和客户端断线三个信号入手,搭建大模型流式输出的观测口径,并给出 Go 服务端记录与回放验收方法。466 收藏
-
Go SSE 处理器已经 Write,浏览器仍可能迟迟收不到。本文用 ResponseController.Flush、SetWriteDeadline、代理缓冲检查和断连测试拆解完整刷新链路。430 收藏
-
Go 服务接入 Responses API 的流式输出后,最难排查的不是连接建立,而是中途断流、客户端取消和重试重复。本文用事件序列、Context 和请求日志拆开问题,给出可回滚的排查与修复方案。326 收藏
-
Go 服务把模型的流式输出转发给浏览器时,客户端刷新或断网会让上游请求继续消耗连接和配额。本文用 Request.Context、HTTP 流读取和取消信号复盘这个故障,并给出可验证的清理与回滚方案。254 收藏