人工智能技术文章
-
本文说明 Transformers 在显存不足时如何启用 KV cache 卸载，并给出直接配置、OOM 回退、方案选择与风险检查清单。499 收藏 -
向量库维度不一致通常源于 embedding 模型输出、批量请求和集合 schema 没有对齐。本文给出从 expected/actual 到模型配置、命名向量和迁移方案的检查清单。498 收藏 -
更换 embedding 模型时，先读取新旧模型的真实向量维度，再用模型版本、维度和距离度量建立双索引迁移边界，最后通过小批量回填验证后切换查询路由。498 收藏 -
Prompt 缓存命中率下降时，先比较最终渲染前缀而不是源模板。本文用 cached_tokens、prefix hash、模型设置和动态字段边界给出一套可复查的排查方法。487 收藏 -
围绕视觉模型图像输入，讲清任务分档、等比缩放、detail 选择、patch/token 成本估算和发送前边界检查。487 收藏 -
向量索引不能只看查询速度。本文以 Redis 的 FLAT、HNSW 和 SVS-VAMANA 为例，拆开比较召回率、内存、写入维护与重建代价，并给出一套可复查的选型压测方法。485 收藏 -
RAG 检索结果重复时，先按 source_id 做同来源去重，再保留 chunk_id、最高分和冲突标记形成证据组，避免重复上下文和来源误合并。484 收藏 -
本地模型选 4-bit 还是 8-bit，不能只看显存节省。本文用统一基线、固定输入和实际测量比较显存、吞吐、延迟与精度风险，并给出 Transformers 加载示例和部署决策表。481 收藏 -
LLM 输出 JSON 不稳定时，不能只靠提示词要求“返回 JSON”。本文用一个工单分类小项目拆解解析、JSON Schema 校验、错误分类和有限重试，并说明为什么业务失败不该混入格式重试。480 收藏 -
模型服务的批处理不是把 batch size 调大就结束。本文用 Triton 动态批处理和 TGI 连续批处理说明如何设置排队等待上限、批量或令牌预算，并用队列长度、prefill/decode 时长与端到端 p95 验证吞吐收益。479 收藏 -
torch.compile 出现 graph break 时，先用 fullgraph=True 暴露首个断点，再用 torch._dynamo.explain 和 TORCH_LOGS 分析原因，最后决定重写、隔离还是保留。478 收藏 -
Reranker 分数不是通用的相关性刻度。本文从分数归一化、候选集标注、分层阈值和 top-k 兜底四个方面，说明如何减少相关答案被过滤的问题。477 收藏 -
避免 Chat Template 角色格式不一致的关键，是让训练、评测和推理共享同一份 role/content 消息契约，并统一交给 tokenizer.apply_chat_template 序列化。本文给出参数区别、重复特殊 token 的规避方法和集中封装示例。477 收藏 -
多智能体系统出错时，单看模型调用或 HTTP 状态往往找不到根因。本文从一次用户任务出发，拆解 agent 委派、交接、工具调用和记忆读写的追踪边界，给出可回放的链路设计与检查清单。474 收藏 -
分类评测集不均衡时，macro 与 micro 不是谁更高级的问题，而是按类别平均还是按样本汇总。本文用统一口径、混淆矩阵和复核清单解释两者差异。473 收藏