人工智能技术文章
-
科技周边 · 人工智能 | 18小时前 | 性能优化 · 人工智能 · 深度学习 · PyTorch CUDA SDPA scaled_dot_product_attention Flash Attention
PyTorch 的 scaled_dot_product_attention 默认会根据输入和设备选择可用实现。本文用 sdpa_kernel 说明如何做局部后端约束，并从 CUDA、dtype、mask、dropout、GQA 和数值精度几个条件判断 fused kernel 为什么回退。214 收藏 -
科技周边 · 人工智能 | 18小时前 | 性能优化 · python · ONNX Runtime InferenceSession SessionOptions 图优化 Execution Provider
ONNX Runtime 可以在创建推理会话时对模型图做节点消除、常量折叠和算子融合。本文用 Python 说明如何显式设置 ORT_ENABLE_BASIC、ORT_ENABLE_EXTENDED 和 ORT_ENABLE_ALL，并比较在线优化与离线保存优化模型的适用边界。281 收藏 -
OpenTelemetry GenAI 记录 token 的关键是把模型响应里的 usage 字段映射到 gen_ai.usage.input_tokens 和 gen_ai.usage.output_tokens，再用 span 与指标边界控制隐私和重复统计。414 收藏 -
用 LlamaIndex 的 MetadataFilter 和 MetadataFilters 按租户、分类、年份等元数据筛选检索节点，并说明 AND/OR 组合、字段类型和向量库支持边界。157 收藏 -
MLflow Prompt Registry如何把production别名切回稳定版本，通过load_prompt处理缓存和应用重载，并记录实际版本、模板变量与发布依赖。234 收藏 -
LangChain 的工具返回值不是最终数据模型。本文用 Pydantic 与 ToolStrategy 拆开工具消息、结构化响应和错误边界，说明怎样把查询结果稳定地交给业务代码。135 收藏 -
用 Ollama 的 /api/embed 把本地文档切成片段并批量转换为向量，保留文本、模型和元数据映射，再用同一模型生成查询向量完成语义检索。230 收藏 -
Transformers Trainer 默认会移除模型 forward 未声明的数据集列。本文用 sample_weight 说明如何配置 remove_unused_columns 和 forward 参数，让自定义字段继续传入模型。344 收藏 -
vLLM prefix caching怎样复用共同前缀KV缓存：显式启用APC、稳定提示词结构，用冷暖对照观察首字延迟，并区分预填充优化与答案缓存。312 收藏 -
MCP 工具调用返回 input_required 时，如何保存不透明 requestState，处理 sampling、elicitation 或 roots 输入，并携带 inputResponses 重试原始调用。458 收藏 -
Gemini API 复用长文档的关键是创建显式 context cache，后续请求只发送新问题并引用 cachedContent。本文用 Python 示例说明 Files API、TTL、模型绑定、usage metadata 与文档版本切换。394 收藏 -
科技周边 · 人工智能 | 20小时前 | python · 人工智能 · gemini · 结构化输出 · Pydantic JSON Schema Gemini API google-genai structured output
Gemini API structured output 可以让模型按 JSON Schema 返回稳定的对象结构。本文用一个工单字段抽取小例子说明 response_format、application/json、object、enum、array 和本地解析之间的关系，并区分结构约束与业务校验。136 收藏 -
Gemini API Batch 适合输入已准备好、结果不要求实时返回的大量生成任务。本文用 Python 和 JSONL 说明文件上传、批任务创建、状态轮询、逐行结果处理、幂等边界与批次拆分策略。486 收藏 -
Gemini API 的工具参数如果只有有限几个合法值，可以在 function declaration 的属性 Schema 中使用 enum 声明候选集合。本文从参数进入工具声明、模型返回调用到应用侧执行，说明 enum、required、description 和业务校验各自负责什么。322 收藏 -
用 OpenTelemetry 把 AI 代理、模型、工具和下游依赖串成一棵 Trace 树，并用结构化事件记录重试、业务拒绝和异常原因。250 收藏