人工智能技术文章
-
向量检索不要等拿到 top-k 后才做租户和权限判断。本文用 Qdrant payload filter 说明如何把元数据过滤放进召回边界,并处理索引、相似度阈值、空结果和隔离验收。183 收藏 -
向量检索不应把租户、文档类型等硬约束交给 embedding 猜测。本文以 Qdrant 为例,把过滤字段写入 payload、提前建立 payload index,再用 Filter 绑定向量召回,并说明应用层后置筛选、字段选择性和索引成本的边界。467 收藏 -
围绕视觉模型图像输入,讲清任务分档、等比缩放、detail 选择、patch/token 成本估算和发送前边界检查。487 收藏 -
从应用层响应分支出发,把安全拒答、业务失败和上游错误拆开记录,建立稳定错误码、重试边界与日志字段。310 收藏 -
通过稳定前缀、动态变量和缓存观测三层拆分,整理 Prompt cache 的命中条件、请求排列方式与 cached_tokens 排查清单。199 收藏 -
把模型评测样本按拒答、事实错误、格式错误和工具调用失败等类型切桶,分别计算指标,再用固定分桶对比模型版本,避免总分掩盖局部回归。173 收藏 -
面向离线推理任务,介绍如何用 Transformers pipeline 接入流式数据、按样本长度和显存选择 batch_size,并为显存不足与失败批次保留可恢复的降级路径。301 收藏 -
量化推理选精度不能只看模型参数量,还要扣除 KV cache、激活、运行时余量和量化元数据。本文用显存预算、位宽估算和 Transformers BitsAndBytesConfig,说明何时选择 FP16/BF16、INT8 或 INT4,并给出吞吐与质量的验证边界。398 收藏 -
科技周边 · 人工智能 | 1星期前 | 错误处理 · mcp · 工具调用 · AI工程 · MCP工具错误 isError structuredContent CallToolResult JSON-RPC错误
MCP 工具遇到业务失败时,应在正常工具结果中设置 isError,并把可行动信息放进 content;只有协议层故障才返回 JSON-RPC error。本文用 TypeScript 示例说明结构化错误的设计边界。208 收藏 -
MCP 中 Resource 负责按 URI 提供可读取的上下文,Tool 负责按名称和参数执行能力。本文从发现消息、调用边界、权限审计和错误分层说明两者的实现方法。359 收藏 -
RAG回答要可追溯,关键不是把链接拼到末尾,而是让每个检索片段从入库开始就带有稳定来源身份、位置和引用编号。本文给出证据记录、提示词传递、引用渲染与回归检查的实现方法。171 收藏 -
长文档切分不应只看字符数。本文用标题、段落、代码块和 token 预算建立语义分块,为每块保存章节元数据,再通过 Embedding 建索引并在召回时补回邻近上下文。234 收藏 -
Tool calling 接入业务工具时,先用 JSON Schema 和应用层校验拦截模型参数问题,再把订单不存在、无权限等领域失败转换为稳定的工具结果。本文给出错误分层、Python 示例和重试边界。380 收藏 -
用 Structured Outputs 和 Pydantic 固定模型字段、类型与枚举,并区分正常解析、明确拒答、截断响应和业务校验失败,建立可落地的 JSON Schema 结果兜底方案。191 收藏 -
模型返回 JSON 时,缺字段不等于所有异常都能用默认值修复。本文用解析、归一化、验证三层设计兜底策略,区分可选字段、必填字段、类型错误和无法恢复的响应,并给出 Python 示例。272 收藏