人工智能技术文章
-
科技周边 · 人工智能 | 3小时前 | 性能优化 · python · ONNX Runtime InferenceSession SessionOptions 图优化 Execution Provider
ONNX Runtime 可以在创建推理会话时对模型图做节点消除、常量折叠和算子融合。本文用 Python 说明如何显式设置 ORT_ENABLE_BASIC、ORT_ENABLE_EXTENDED 和 ORT_ENABLE_ALL，并比较在线优化与离线保存优化模型的适用边界。281 收藏 -
ONNX Runtime 的图优化等级绑定在 SessionOptions 上，EXTENDED 会包含 basic，ALL 还包括 layout。本文给出指定 InferenceSession 的 Python 配置、在线与离线优化的边界，以及按 Execution Provider 和目标硬件做基准、回退的实用方法。269 收藏 -
PyTorch DataLoader 的多进程预取会同时受到 num_workers、prefetch_factor 和 batch_size 影响。本文给出按共享内存预算限制预取批次的配置方法，并区分 worker 生命周期、pin_memory 与真实内存瓶颈。265 收藏 -
用 Gemini API 串联多个工具时，关键是把工具声明、模型决策、本地执行和结果回传拆开，并用依赖顺序控制调用链。265 收藏 -
Safetensors 文件可以先通过 safe_open 查看权重键和文件级元数据，再按目标键读取单个张量。本文说明 get_tensor、get_slice、metadata 的分工，并处理缺键、空元数据和分片模型边界。256 收藏 -
Responses API 的 tool call 不是把一段文本塞回对话，而是用 response.output、function_call、call_id 与 function_call_output 维持调用关联。本文从安全边界、回传控制和审计记录说明状态怎样串联。253 收藏 -
LangChain 的工具调用不是把返回值自动塞进任意列表，而是要用 AIMessage 中的调用记录和匹配的 ToolMessage 组成连续消息历史；工具还需要改状态时，再通过 Command 同时写回 messages 和自定义状态。250 收藏 -
用 OpenTelemetry 把 AI 代理、模型、工具和下游依赖串成一棵 Trace 树，并用结构化事件记录重试、业务拒绝和异常原因。250 收藏 -
Transformers generate 默认主要返回生成序列。本文说明如何打开 return_dict_in_generate 与 output_scores，使用 compute_transition_scores 对齐每个生成 token 的分数，并区分 decoder-only、encoder-decoder 与 beam search 的边界。249 收藏 -
训练在 loss.backward() 阶段出现 NaN 或 Inf 梯度时，可以用 PyTorch autograd anomaly detection 保存前向 traceback，并结合 check_nan、isfinite 和梯度检查把范围收窄到具体算子与输入。248 收藏 -
MLflow Prompt Registry如何把production别名切回稳定版本，通过load_prompt处理缓存和应用重载，并记录实际版本、模板变量与发布依赖。234 收藏 -
SacreBLEU 的分数不能脱离 tokenizer、大小写、平滑方式和版本单独保存。本文比较 JSON 完整记录、短签名和自有清单三种归档方式，给出可复用的命令与选择建议。230 收藏 -
用 Ollama 的 /api/embed 把本地文档切成片段并批量转换为向量，保留文本、模型和元数据映射，再用同一模型生成查询向量完成语义检索。230 收藏 -
用 OpenAI Responses API 的语义事件搭建一个 Go SSE 转发服务：把增量文本、完成信号和错误信号分别映射到消息区、按钮状态和错误提示，避免页面把所有流式事件混成普通文本。228 收藏 -
用CrossEncoder重排候选文档，保留corpus_id与业务ID映射，并区分召回缺失、分数含义、语言不匹配和长文本截断问题。224 收藏