人工智能技术文章
-
把 LLM 结构化输出拆成 JSON 解析、Schema 校验和业务规则三层，只对可定位的格式错误做有限修复，并用固定预算避免无限重试。187 收藏 -
科技周边 · 人工智能 | 2天前 | LoRa PEFT adapter save_pretrained adapter_model.safetensors selected_adapters save_embedding_layers
PEFT 的 save_pretrained 默认只保存 adapter 配置和增量权重，不会把冻结的基础模型一起复制。本文说明多 adapter 的 selected_adapters、embedding 层保存开关、重新加载边界，以及 Trainer checkpoint 与完整模型的区别。483 收藏 -
PEFT 中临时禁用 adapter、移除 LoRA 模块、删除命名 adapter 和合并权重是四种不同操作。本文用 unload 返回基础模型，说明为什么必须接住返回值，并整理多 adapter 与 Notebook 重跑时的排查边界。485 收藏 -
Accelerate 的 fp16 与 bf16 应按当前设备支持和模型数值行为选择。本文限定普通单卡 CUDA 场景，说明保守 BF16 查询、完整参数接入、梯度缩放与 no 模式对照，不以启动成功代替训练稳定性判断。386 收藏 -
显存有限时，Accelerate 可以用 gradient_accumulation_steps 把多个 micro-batch 合成一次参数更新。本文说明 Accelerator、accumulate(model)、scheduler 与变长 token loss 归一化的配置边界。356 收藏 -
Hugging Face Datasets 的 IterableDataset 如果 reshard 后仍只有一个 shard，继续调用物理分片并不能解决切分问题。正确做法是先完成 shuffle，再用 skip 和 take 构造逻辑窗口，并明确 offset、limit、短流和重复遍历的边界。441 收藏 -
Hugging Face Datasets 读取 JSON 的关键是先判断根结构：JSONL 通常直接加载，嵌套数组要用 field 指向数据字段；多个文件则用 data_files 映射到 train、validation 等 split。本文给出最小写法、字段推断观察方式和常见排错边界。266 收藏 -
Transformers 的 past_key_values 保存已处理上下文的逐层 K/V，use_cache 控制缓存输出。本文用 GPT-2 原创示例解释新增 token、完整掩码与缓存长度的配合，并说明对象复用和内存边界。370 收藏 -
Transformers 的 TextIteratorStreamer 可以把 model.generate 放在独立线程中，再由消费端逐段迭代生成文本。本文按线程、队列、提示词、超时和异常边界说明一套可维护的写法。485 收藏 -
Transformers 的 chat template 不是装饰性格式，而是模型训练时使用的控制 token 约定。本文只围绕 apply_chat_template，说明 role/content 消息结构、推理与训练参数、特殊 token 重复和不同模型模板不兼容时的处理方式。118 收藏 -
AI 应用的流式请求不能用“连接结束”判断模型完成。本文从一次取消被记成成功的故障入手，拆分 AbortSignal、SSE 完成事件和异常断开，给出可落地的状态字段、前端判定代码与日志边界。354 收藏 -
把推理请求的输入 token、输出上限、排队等待和生成吞吐拆开计算，再配合 TGI 的 token 与并发参数设置可解释的超时预算。371 收藏 -
Embedding 模型更换后应隔离新旧向量空间，从原始文本重算文档向量，并成套切换查询配置。本文说明版本化双写、删除同步、缓存隔离和失败回退条件。386 收藏 -
AI 生成内容要可追溯，关键不是只保存最终答案，而是把来源实体、检索与生成活动、模型和人工角色拆开记录，再用稳定 ID 串成可查询的引用链。448 收藏 -
AI 工具调用不应把所有失败都重试。本文从参数校验、限流、超时、服务过载和业务拒绝五类场景出发，设计错误分类、指数退避、重试预算、幂等键与最终兜底。203 收藏