-
Transformers 的 past_key_values 保存已处理上下文的逐层 K/V,use_cache 控制缓存输出。本文用 GPT-2 原创示例解释新增 token、完整掩码与缓存长度的配合,并说明对象复用和内存边界。
-
讲清 MCP 资源清单变更与单资源更新通知的区别,演示当前 subscriptions/listen 的 URI 订阅、旧协议兼容、缓存刷新和断线边界。
-
MCP 长任务进度回报依赖请求中的 progressToken 与 notifications/progress 通知。本文用 TypeScript 示例说明 token 关联、progress 递增、total 缺失、最终结果分离和取消资源边界。
-
向量检索不要先取全局 top_k 再丢弃不合格结果。本文以 Redis Search 为例,把 tenant、状态和时间等元数据作为预过滤条件放到 KNN 前,并用选择率、P95 延迟和召回质量确定参数边界。
-
讲清 Transformers 使用 bitsandbytes 进行 8-bit/4-bit 量化时,如何用 llm_int8_skip_modules 保留指定模块,并区分跳过量化、dtype 与 CPU float32 offload。
-
多模态模型提取表格布局需固定行列索引、合并范围与坐标含义,通过字段约束暴露结构冲突,并保留不确定内容与人工复核记录,避免把格式正确当成识别正确。
-
本文说明 Accelerate 如何用 device_map=auto 将大模型按显存分配到多块 GPU,并讲清 max_memory、不可拆分层、CPU 与磁盘回退以及多卡推理的性能边界。
-
RAG 检索结果不要直接按 top_k 全量送入模型。本文用文档身份、规范化文本和语义多样性三层策略去重,再按系统指令、问题、证据与回答余量分配上下文预算,给出可迁移的 Python 实现与参数调优指标。
-
用 Hugging Face PEFT 训练 LoRA 后,怎样只保存 adapter_model.safetensors 与 adapter_config.json,而不把底模权重打进交付包?本文按资产、风险路径、保存加载代码和文件审计说明适配器交付边界。
-
时间切分不能证明评测集绝对无污染,但能用训练截止时间、样本最早来源时间、冻结时间和评测时间建立可审计边界。本文给出三桶切分、重复检测、检索隔离、分窗报告与滚动换题方案。
-
显存有限时,Accelerate 可以用 gradient_accumulation_steps 把多个 micro-batch 合成一次参数更新。本文说明 Accelerator、accumulate(model)、scheduler 与变长 token loss 归一化的配置边界。
-
AI 应用的流式请求不能用“连接结束”判断模型完成。本文从一次取消被记成成功的故障入手,拆分 AbortSignal、SSE 完成事件和异常断开,给出可落地的状态字段、前端判定代码与日志边界。
-
OpenAI API 的 Responses 流由带类型的语义事件组成。本文说明如何只提取 response.output_text.delta 文本增量,并分别处理 response.completed 与 error,避免控制事件混入回答。
-
ONNX Runtime 普通 run 路径可能让输入输出在 CPU 与加速设备之间来回搬运。本文以 Python IOBinding 为主线,说明如何准备设备 OrtValue、预分配固定形状输出、调用 run_with_iobinding,并区分动态输出、CPU 回读和内存生命周期边界。
-
ONNX Runtime 的线程数不是只改一个参数:intra_op_num_threads 控制算子内部并行,inter_op_num_threads 只在 ORT_PARALLEL 下控制算子之间并行。本文用 Python SessionOptions 说明两类线程池、等待策略和多会话场景的配置边界。