-
从稳定前缀、动态后缀、完整块、路由条件和租户隔离入手,说明 AI Prompt 前缀缓存怎样处理,以及为什么看起来相似的请求仍可能未命中。
-
围绕 Hugging Face Transformers 的 Fast tokenizer 说明 offset_mapping 如何返回 token 对应的原文半开区间,处理特殊 token、空白、批量句对和截断,并给出实体字符区间转换为 token 范围的 Python 示例。
-
Hugging Face Datasets 用 map 转换样本时,可以通过 remove_columns 一次删除多个旧字段。本文说明单条与批量映射、同名覆盖、DatasetDict 和缓存边界。
-
file search 的 filters 不是正文关键词过滤,而是先按 vector_store.file 的 attributes 缩小候选文件,再做语义和关键词检索。本文用 Python 示例说明 attributes、比较过滤、and/or 组合和无结果排查。
-
RAG 评测不要只看最终答案分数。把检索上下文、模型回答和参考信息记录在同一条样本中,再分别使用 context precision、context recall、faithfulness 与答案正确性指标,才能判断问题来自召回排序还是生成阶段。
-
用 huggingface_hub 的 HfApi.list_models 按 pipeline_tag 筛选模型,并结合排序、数量限制和 ModelInfo 字段整理出可追踪的候选清单。
-
本文围绕 ONNX 动态输入的符号维度,说明 dim_param 与 dim_value 的区别、infer_shapes 的调用方式、value_info 的读取方法,以及动态 Reshape 和变量表达式带来的推断边界。
-
用一个最小 PyTorch 分析项目说明 torch.profiler 的采集范围、schedule 与 export_chrome_trace 的配合方式,导出可分享的 Chrome trace 文件,并区分静态示例、采集时机和结果解释边界。
-
用 OpenAI Responses API 同时提交图片和文本问题,掌握 input_text、input_image、URL、Base64 data URL 与 detail 参数的写法、检查方法和边界。
-
RAG 的 query rewrite 不是把问题改得更长,而是把实体、时间、范围等检索约束整理成稳定查询。本文用一个最小 Python 示例说明改写契约、召回接入和失败回退边界。
-
LLM 可观测性不等于把 prompt 和回答原文写进日志。本文以 OpenAI 兼容的 Chat Completion 响应为例,说明怎样记录 prompt_tokens、completion_tokens、total_tokens 等用量元数据,并在应用边界完成字段白名单、敏感信息脱敏和流式 usage 处理。
-
讲清 Responses API 如何用 input_image 绑定参考图,以及 URL、Base64 data URL、file_id 和 action=edit 的选择边界。
-
ONNX Runtime IOBinding 适合把固定形状的输入输出绑定到 CUDA 等目标设备,通过复用 OrtValue 减少 CPU-GPU 数据搬运和重复分配。本文给出 Python 绑定写法,并说明动态 shape 与 CPU 读回的边界。
-
RAG 的 chunk_overlap 过大,会让相邻分块产生高度相似的向量,top-k 被同一来源的重复内容占满。本文从切分边界、候选池、去重和 MMR 重排四个方面给出可回归的调整方法。
-
上线 AI 模型前不要只看评测分数。本文围绕模型卡中的许可证、训练数据说明和适用范围,整理一份可交接的限制条件清单,并说明如何把缺失信息、人工兜底和提供商选择写进发布决策。