登录
推荐
文章
Go 技术
课程
下载
专题
AI
大模型API
已收录文章：1篇
三天内
三天内
一周内
一月内
三月内
最新
最热
科技周边
·
人工智能
| 9小时前 |
并发
·
限流
·
错误异常CGO
·
人工智能
·
可观测性
·
大模型API
·
并发控制
限流
大模型API
HTTP 429
请求额度
令牌额度
大模型接口 429 怎么排查：区分请求额度、令牌额度和并发积压
大模型接口出现 429 时，连续立刻再发往往只会让队列更长。本文按运行手册的节奏说明如何保留响应线索，区分请求数量、令牌总量与并发积压三类原因，再用限并发、缩短上下文和带抖动的退避把线上对话从拥塞中拉回来。
432
收藏
