人工智能技术文章
-
使用 Transformers Fast tokenizer 的 offset_mapping 把 token 位置还原为原始文本片段，并处理特殊 token、批量溢出、成对输入与预分词边界。330 收藏 -
Tokenizers 的 offset mapping 本质是 token 到原始文本的半开字符区间。本文用 Fast Tokenizer 说明 return_offsets_mapping、特殊 token、空白、规范化和溢出窗口的定位方法。328 收藏 -
RAG 按标题层级切分应先分章节，再按长度细分并继承标题路径和来源元数据。本文用原创 Markdown 示例说明检索文本、生成上下文、引用定位和旧索引迁移的边界，避免切片只剩孤立正文。328 收藏 -
OpenAI Responses API 的 background 模式可以让长耗时任务异步运行。本文用一个可复用的轮询骨架说明如何保存 response_id、区分处理中与终态，并比较取消、流式恢复和数据保留的取舍。327 收藏 -
用Accelerate的save_state与load_state保存和恢复训练随机数状态，通过epoch边界示例说明加载时机、自建生成器登记和数据位置区别，避免将固定seed误当断点恢复。326 收藏 -
讲清 vLLM 在线服务中请求级 max_tokens 的设置位置、上下文边界与 finish_reason 判断方法，帮助按业务预算控制输出长度。326 收藏 -
StoppingCriteriaList 是 Transformers 生成过程中的停止条件容器。本文用长度、时间和自定义条件说明如何组合它们，并解释按 batch 样本合并布尔结果、scores 依赖和 max_length 冲突。325 收藏 -
围绕固定窗口、重叠区和绝对时间线，说明长音频语音转文字如何保留边界语音、裁剪重复文本并合并时间戳。324 收藏 -
从工具清单、Agents API 执行环境、工作区挂载、网络白名单和凭据代理五个边界说明如何把 Agent 工具限制在沙箱内，避免把 workspace 路径误当成完整隔离。321 收藏 -
AI 工具调用的幂等键应绑定一次已授权的业务操作，配合原子占位、参数摘要和结果复用。本文用最小决策代码解释重复执行、参数冲突及远程超时后的不确定状态。319 收藏 -
模型卡不是模型宣传页，而是上线前整理适用范围、潜在限制、数据与评测证据的入口。本文把 Hugging Face 模型卡字段整理成限制清单，并给出缺失字段的记录方式。318 收藏 -
把模型输出规范化、内容过滤和业务授权拆成独立边界，用统一的 allow、deny、review 结果和原因码减少误判、重试与审计混乱。317 收藏 -
排查 PyTorch DataLoader 多进程中的重复随机值与重复样本，说明 worker seed、第三方随机库、IterableDataset 分片和 generator 的正确配置。316 收藏 -
讲清 Diffusers ControlNet 条件图与生成画布的尺寸匹配方法，覆盖等比补边、居中裁切、多 ControlNet 和批量输入检查。314 收藏 -
减少大模型裁判的位置偏差，不能只在提示词里要求公平，而应对同一回答对同时运行 A-B 与 B-A 两种顺序，统一还原答案身份，只合并一致判定，并把翻转样本升级为不确定或人工复核。314 收藏