人工智能技术文章
-
扩散模型固定 seed 仍有细节差异，通常不是 seed 失效，而是 Generator 状态、scheduler、精度、CUDA 后端和硬件不同。本文给出一套可复现排查清单。457 收藏 -
Transformers 批量生成时，padding_side 配错会让 decoder-only 模型把补齐 token 当成生成起点。本文用 input_ids、attention_mask 和 generate 的关系说明 left padding 的配置方法、pad_token 处理与回归检查边界。457 收藏 -
面向需要稳定输出的 AI 应用，梳理 JSON Schema 版本兼容中的新增字段、枚举收缩、校验失败与回滚策略。449 收藏 -
Hugging Face Datasets 开启 streaming 后会返回 IterableDataset。本文用 take、skip 和 shard 解释连续取样、并行分片的差异，以及 shuffle 顺序和性能边界。449 收藏 -
远程 MCP 服务器让 AI 应用可以连接外部数据和工具，但接入前必须核对来源、工具权限、读写范围与撤销路径。本文给出一份不依赖具体厂商的上线前检查清单。447 收藏 -
以 Hugging Face InferenceClient 为例，拆解结构化输出失败的三层原因，用最小 JSON Schema 和检查清单快速定位配置、模型兼容性与解析问题。447 收藏 -
向量检索召回低时不要盲目更换嵌入模型。本文用固定评测集、Recall@k 和命中排名，分别拆分切片、嵌入模型与召回阈值问题。446 收藏 -
用多模态模型抽取发票时，不要只保存模型返回的文本。本文用 JSON Schema 设计字段证据对象，把字段值、原图归一化坐标、证据说明和人工复核标记绑定在一起。446 收藏 -
Responses API 的图片输入不是把图片路径直接塞进字符串，而是把 input_text 与 input_image 放进同一条 user content；本文用 Go 代码拆开请求结构、图片 URL 与 output_text 的读取边界。444 收藏 -
大模型工具调用经常把参数省略、传 null 和传空对象混在一起。本文用 Go 的 json.RawMessage 保留原始状态，再按工具契约做缺失、null、空对象和合法参数的分支校验。443 收藏 -
用 OpenAI Agents SDK 的 RunState、session_state 和 snapshot 区分三种恢复边界，再用工作区检查点把沙箱任务拆成可重试、可回滚的阶段。441 收藏 -
Agents SDK 把文件、命令和工具放进受控沙箱后，真正的工程难点变成状态如何跨容器恢复、凭据如何不进入模型生成代码。本文从一次沙箱失效场景出发，拆解 Manifest、外置状态、快照恢复和凭据隔离的落地边界。439 收藏 -
RAG 检索结果太多时，不要只提高 top_k 再把无关片段塞给模型。本文用租户、文档类型、状态和更新时间说明如何先做元数据过滤，再做向量或混合检索，并根据过滤选择性调整召回策略。437 收藏 -
科技周边 · 人工智能 | 2星期前 | websocket · 人工智能 · gemini · 实时语音 · Gemini Live API session resumption SessionResumptionUpdate GoAway
Gemini Live API 的 WebSocket 连接会周期性结束，单纯重连会丢掉上下文。本文用 session resumption 保存最新恢复句柄，再结合 GoAway.timeLeft、generationComplete 和上下文压缩处理重连时机与数据边界。436 收藏 -
本地大模型量化后变慢，不一定是量化本身造成的。本文用显存峰值、首 token 延迟、生成 token/s 和上下文长度的对照实验，区分权重显存压力与 KV Cache 上下文瓶颈，并比较 4/8 bit、缓存卸载和量化缓存的选择。433 收藏