-
OpenAI API 的 Responses 流由带类型的语义事件组成。本文说明如何只提取 response.output_text.delta 文本增量,并分别处理 response.completed 与 error,避免控制事件混入回答。
-
ONNX Runtime 普通 run 路径可能让输入输出在 CPU 与加速设备之间来回搬运。本文以 Python IOBinding 为主线,说明如何准备设备 OrtValue、预分配固定形状输出、调用 run_with_iobinding,并区分动态输出、CPU 回读和内存生命周期边界。
-
Transformers tokenizer 的 return_tensors 只负责把编码结果转换成张量,不会自动解决批量文本长度不同的问题。本文从批量输入无法组装的现象出发,说明 padding、truncation、max_length 和 attention_mask 如何配合,并给出动态长度与固定长度的选择方法。
-
ONNX Runtime 的线程数不是只改一个参数:intra_op_num_threads 控制算子内部并行,inter_op_num_threads 只在 ORT_PARALLEL 下控制算子之间并行。本文用 Python SessionOptions 说明两类线程池、等待策略和多会话场景的配置边界。
-
用 Transformers DataCollatorWithPadding 在 batch 内按最长序列动态补齐,区分 truncation、padding、max_length 和 pad_to_multiple_of,减少无效 token 并排查显存异常。
-
Hugging Face Datasets可用flatten把struct子字段展开成带层级前缀的独立列。本文通过原创样本区分Dataset与Features展开、列表拆行和索引整理,并说明下游列名契约。
-
ONNX Runtime 服务中应按模型和会话配置创建一次 InferenceSession,再复用 session.run;并发数仍需按执行提供程序、输入状态和资源预算限制。本文用架构模式说明单会话、信号量、请求级输入与 DirectML 边界。
-
ONNX Runtime 加载模型后,可以通过 InferenceSession.get_inputs() 读取每个输入 NodeArg 的名称、类型和形状。本文说明如何识别动态维度,并按真实输入名构造 feeds 映射。
-
OpenAI Responses API 保留多轮上下文有两条常用路径:用 conversation 保存可跨会话复用的状态,或用 previous_response_id 串联相邻响应。本文用最小 Node.js 示例说明两种写法、指令重发、token 计费和上下文窗口边界。
-
OpenTelemetry Go 编译期插桩通过 otelc 接管 Go 构建,在不修改业务源码的情况下为支持的依赖注入遥测。本文说明安装、构建替换、OTLP 环境变量、容器接入和与手工埋点及 eBPF 的边界。
-
Transformers 的 4-bit 配置容易把量化类型、计算类型和其它模块 dtype 混在一起。本文用 BitsAndBytesConfig 拆开三者边界,给出 NF4、bfloat16、dtype=auto 和 device_map 的实用配置方法。
-
RAG 多版本文档不要只靠向量相似度区分新旧内容。本文用版本元数据、检索前过滤、索引和压测指标,给出一套可落地的候选过滤方案。
-
使用 vLLM OpenAI 兼容接口时,可以通过 response_format 的 json_schema 或 structured_outputs.json 声明 JSON Schema,约束模型返回字段。本文从字段契约、Python 调用、旧 guided_json 迁移和常见排查边界说明具体写法。
-
torch.is_grad_enabled() 用于读取当前执行上下文是否开启梯度记录。本文用最小示例说明它在默认模式、no_grad 和 enable_grad 中的变化,并区分它与 requires_grad、model.eval()、inference_mode 的职责。
-
Hugging Face Datasets 在 filter、select 或 shuffle 后可能通过索引映射访问原始数据。本文说明 flatten_indices 如何把这些逻辑行重新写成连续数据,并给出缓存路径、写入批次、内存和并行参数的选择方法。