Go语言技术文章
-
大模型返回的工具参数只是建议,不是业务事实。本文用 Go 做一个小型工具调用网关,演示如何校验参数、限制动作范围、用请求键去重,并在失败后安全重试。255 收藏 -
Go 服务把模型的流式输出转发给浏览器时,客户端刷新或断网会让上游请求继续消耗连接和配额。本文用 Request.Context、HTTP 流读取和取消信号复盘这个故障,并给出可验证的清理与回滚方案。254 收藏 -
Rust 团队宣布下一代 trait solver 在 nightly 默认启用,并计划在未来几个月稳定化。本文从兼容性试跑角度拆解 impl Trait、高阶类型关联类型、编译耗时和回退开关,帮助团队判断是否现在就把 nightly 放进验证矩阵。254 收藏 -
排查大模型多轮工具调用中的上下文丢失,梳理 tool_call_id、并行结果配对和消息回放验收。252 收藏 -
Go 1.27 允许具体方法声明自己的类型参数,但接口方法仍不能声明类型参数。本文从作用域、接口边界、函数迁移和兼容性清单四个方面说明升级后应先检查哪些代码。252 收藏 -
从一个知识库问答召回率下降的现场出发,拆解查询与文档向量任务类型、topK基线和Recall@K验证方法,帮助定位RAG检索问题到底在编码、切块还是排序。251 收藏 -
本地大模型推理中,KV cache 容量和 batch size 共享显存预算。本文从输入长度、并发、TTFT、TPOT 与长尾延迟出发,给出可落地的配置起点、压测矩阵和超限回退策略。251 收藏 -
说明 PEFT LoRA 的 target_modules 如何按模型模块树、任务范围和参数预算选择,并给出默认目标、all-linear、MoE 特例与命中检查方法。251 收藏 -
科技周边 · 人工智能 | 1个月前 | 异步任务 · 人工智能 · openai · 工程实践 · OpenAI Batch API 部分结果 cancelling cancelled output_file_id error_file_id
OpenAI Batch API 取消请求后不会瞬间变成最终状态。本文用 cancelling、cancelled、output_file_id、error_file_id 和 request_counts 拆开取消收口流程,说明如何保留部分成功结果、核对失败行,并避免把取消误判成整批回滚。250 收藏 -
Go 1.27 允许具体方法声明自己的类型参数,集合转换等 API 不再只能堆在包级命名空间。本文从 Map 示例、链式调用、方法表达式、接口限制和兼容迁移出发,分析哪些 API 适合改成泛型方法,哪些仍应保留函数形式。250 收藏 -
科技周边 · 人工智能 | 2天前 | JSON · python · 人工智能 · 工程实践 · 结构化输出 · Pydantic JSON Schema AI 结构化输出 模型重试 兜底解析 大模型工程
模型稳定输出 JSON 不能只靠提示词。本文用 JSON Schema、Pydantic 校验、分类重试与受控兜底解析,搭建一条可观测的结构化输出链路。250 收藏 -
科技周边 · 业界新闻 | 3星期前 | kubernetes · 故障排查 · 业界新闻 · Kubernetes v1.37 PodFailurePolicy Job FailureTarget Pod失败策略
Kubernetes v1.37 环境中,PodFailurePolicy 仍按规则顺序把退出码和 Pod 条件分为 FailJob、Ignore、Count 或 FailIndex。本文用一份 Job 配置和 kubectl 核对方法,解释 FailureTarget、Failed 与 backoffLimit 的关系。249 收藏 -
WebAssembly Component Model 更适合拆分契约窄、状态少、权限可列举的规则计算、解析转换和租户插件;本文用 WIT 的 interface、world、imports 与 exports 说明如何判断边界,并列出不适合直接组件化的共享事务和高频状态服务。249 收藏 -
bitsandbytes 4-bit 量化只压缩冻结基座权重,LoRA 参数、梯度、优化器状态、激活与 CUDA 工作区仍会占用显存。本文给出 NF4 配置、峰值测量方法和 OOM 调整顺序,说明 QLoRA 单卡训练的真实边界。249 收藏 -
Redis Iris 里的 Context Retriever 和 Agent Memory 不是两个同义的检索组件:前者回答当前业务数据是什么,后者回答过去对话发生过什么。本文用实际问题拆开两者的边界、组合方式和选型误区。248 收藏