人工智能技术文章
-
RAG 不要只把命中的文本拼成一段 prompt。本文用统一的切片记录保存来源标识、定位信息和分数，再分别投影为模型上下文与前端引用，处理去重、排序、截断和元数据缺失。407 收藏 -
LoRA 合并后输出变化很大，先不要盲目重训。本文从基础模型、适配器缩放、量化与 dtype、推理随机性和 tokenizer 五层排查，并给出确定性对照代码与回归清单。404 收藏 -
连续批处理会在每轮推理后移出已完成请求并补入新请求，减少批次槽位浪费；调优还需同时约束 Token 预算、KV Cache 与延迟。404 收藏 -
多租户模型服务复用上下文时，应把可信租户、主体、有效权限及资源版本纳入缓存描述，并保留命中授权与失效处理，避免仅凭相同问题共享私有材料。400 收藏 -
AI 输出过滤只负责内容风险，业务规则负责领域正确性。本文用三层状态和最小 Python 示例说明如何区分安全拒绝、结构重试、业务冲突与人工复核，避免把所有失败都记成一个 blocked。400 收藏 -
区分 vLLM 连续批处理的序列容量、token 预算、活跃请求和入口在途限制，给出配置示例、版本条件以及排队和多副本的适用边界。397 收藏 -
用 Transformers 按键名筛选 state_dict 只加载目标模块，并区分部分权重加载与 device_map 显存分配，避免把随机初始化层误当成预训练权重。395 收藏 -
AI 结构化输出并不等于业务数据已经可信。本文用 Gemini API 演示如何区分接口失败、JSON 解析失败和语义校验失败，并把不可用结果安全降级到待审核流程。395 收藏 -
AI 工具的函数参数 schema 不应靠改描述文本维持兼容。本文用 strict schema 的可空字段、v1/v2 工具身份和服务端适配器，说明如何处理新增参数、字段改名、类型变化与调用方迁移，并给出可观察的下线指标。391 收藏 -
RAG检索片段应保持为不可信证据，而不是新的控制指令。本文讨论上下文分区、只读抽取和应用侧权限判定的取舍，说明提示词与摘要的局限，以及正常引用、过度拒绝和越权风险应分开观察。390 收藏 -
Accelerator.prepare 不只是把模型搬到设备上；训练时模型包装、参数位置、优化器参数组和状态必须保持一致，所以通常要把模型与优化器一起交给 Accelerate 准备。本文用最小训练骨架说明对象顺序、调度器和推理场景的边界。386 收藏 -
Embedding 模型更换后应隔离新旧向量空间，从原始文本重算文档向量，并成套切换查询配置。本文说明版本化双写、删除同步、缓存隔离和失败回退条件。386 收藏 -
Accelerate 的 fp16 与 bf16 应按当前设备支持和模型数值行为选择。本文限定普通单卡 CUDA 场景，说明保守 BF16 查询、完整参数接入、梯度缩放与 no 模式对照，不以启动成功代替训练稳定性判断。386 收藏 -
从批大小、单条长度和整批预算三个维度拆分 Embedding 请求，并用有限指数退避处理超时、限流等可恢复失败，避免部分成功后的结果错位。383 收藏 -
多语言文档混合检索的关键不是盲目更换模型，而是让文档和查询进入同一向量空间，并统一查询模板、输入长度、归一化与相似度计算。本文结合 BGE-M3 和 multilingual-e5-large-instruct 的官方规则，给出跨语言召回与排序漂移的排查清单。381 收藏