人工智能技术文章
-
用 Sentence Transformers 的 encode 批量处理文本时,batch_size 决定分批边界,convert_to_numpy 控制输出容器,normalize_embeddings=True 让每个向量长度归一到 1。本文给出一段可迁移的 Python 写法,并说明查询、文档、维度、显存和索引兼容性的边界。323 收藏 -
Gemini API 的工具参数如果只有有限几个合法值,可以在 function declaration 的属性 Schema 中使用 enum 声明候选集合。本文从参数进入工具声明、模型返回调用到应用侧执行,说明 enum、required、description 和业务校验各自负责什么。322 收藏 -
LiteLLM Router 可以把同一 model_name 下的多个区域部署组成模型组,并用 enable_weighted_failover 在异步请求失败时先切换同组健康副本。本文用权重、排除集合、max_fallbacks 和 cooldown 说明配置边界,以及它与跨模型 fallback 的区别。322 收藏 -
Hugging Face Spaces 排查失败时,先区分构建日志和运行日志,再用 hf spaces logs 或 fetch_space_logs 读取、截取和持续跟踪输出。322 收藏 -
从工具清单、Agents API 执行环境、工作区挂载、网络白名单和凭据代理五个边界说明如何把 Agent 工具限制在沙箱内,避免把 workspace 路径误当成完整隔离。321 收藏 -
用 Transformers 的 compute_transition_scores 对齐 generate 选中的 token,查看每个 token 的转移分数、对数概率和概率,并区分贪心生成与 beam search 的参数差异。321 收藏 -
科技周边 · 人工智能 | 1星期前 | 缓存 · 人工智能 · mcp · 工具调用 · MCP JSON Schema tools/list tools/list_changed tools/call AI 工具调用
MCP 客户端不要把首次 tools/list 永久缓存;应完整处理分页,收到 notifications/tools/list_changed 后重新拉取,用目录代次和调用前 schema 校验挡住旧定义,并按授权上下文隔离缓存。320 收藏 -
AI 工具调用的幂等键应绑定一次已授权的业务操作,配合原子占位、参数摘要和结果复用。本文用最小决策代码解释重复执行、参数冲突及远程超时后的不确定状态。319 收藏 -
科技周边 · 人工智能 | 2星期前 | 内存优化 · PyTorch DataLoader IterableDataset num_workers prefetch_factor pin_memory persistent_workers
PyTorch DataLoader 的多进程内存主要受单批大小、num_workers 和 prefetch_factor 共同影响。本文用预取批次数估算主机侧占用,并比较低内存、平衡吞吐和高吞吐配置,同时说明 pin_memory、persistent_workers 与 IterableDataset 的边界。319 收藏 -
用 Python 标准库读取 Safetensors 长度前缀和 JSON 头部,获取张量名称、dtype、shape 与偏移,区分自定义元数据及分片索引,无需构造张量或初始化模型。318 收藏 -
OpenAI API 提示词缓存需要稳定前缀与适用模型配置。通过显式缓存边界、读取和写入用量记录及完整请求组算例,判断重复输入是否真正降费,并区分旧模型参数。317 收藏 -
Transformers 处理多模态批次时,关键不是把图片简单塞进列表,而是让每条样本的消息结构、处理器字段和结果顺序保持一致。本文用 AutoProcessor、聊天模板、padding 与 micro-batch 说明一套可落地的批处理写法。317 收藏 -
用 torch.get_default_dtype() 读取 PyTorch 当前默认浮点类型,分清已有张量 dtype、显式 dtype 与新建张量默认类型之间的关系。316 收藏 -
用切片和转置示例说明 PyTorch Tensor.storage_offset() 的读取方式,解释返回值是底层 storage 的元素偏移而非字节数,并把 storage_offset、stride、numel 与 contiguous() 放在同一套布局排查方法中。316 收藏 -
Datasets streaming 大数据集读取教程:使用 JSONL 和 IterableDataset 做有界预览,配置 shuffle 缓冲区,处理空数据与字段错误,避免全量累积内存。313 收藏