-
LoRA 适配器不是完整基础模型,通常应先加载兼容的基础模型,再用 PeftModel.from_pretrained 或 Transformers 的 load_adapter 挂载。本文说明多个适配器的命名与切换、unload 和 delete_adapter 的区别,以及保持分离和 merge_and_unload 合并部署的取舍。
-
把模型客户端请求包在一个覆盖完整响应生命周期的 OpenTelemetry GenAI span 中,trace 会自动记录这次调用的持续时间;再用稳定语义属性和 histogram 做聚合延迟,注意流式响应、异常取消、敏感内容和重复埋点边界。
-
Moderation 返回的不只是一个 flagged。本文用一个小型 Python 规则层,把 categories、category_scores 和 category_applied_input_types 组合为可维护的放行、拦截与人工复核判断。
-
OpenAI API 的结构化输出不是只打开 JSON mode,而是把 JSON Schema 放进 Responses API 的 text.format 或 Chat Completions API 的 response_format,并配合 strict、required 与 additionalProperties false。本文用 Node.js 示例说明定义、读取和边界处理。