人工智能技术文章
-
Accelerate 的 fp16 与 bf16 应按当前设备支持和模型数值行为选择。本文限定普通单卡 CUDA 场景，说明保守 BF16 查询、完整参数接入、梯度缩放与 no 模式对照，不以启动成功代替训练稳定性判断。386 收藏 -
把推理请求的输入 token、输出上限、排队等待和生成吞吐拆开计算，再配合 TGI 的 token 与并发参数设置可解释的超时预算。371 收藏 -
Transformers 的 past_key_values 保存已处理上下文的逐层 K/V，use_cache 控制缓存输出。本文用 GPT-2 原创示例解释新增 token、完整掩码与缓存长度的配合，并说明对象复用和内存边界。370 收藏 -
向量检索不要先取全局 top_k 再丢弃不合格结果。本文以 Redis Search 为例，把 tenant、状态和时间等元数据作为预过滤条件放到 KNN 前，并用选择率、P95 延迟和召回质量确定参数边界。365 收藏 -
显存有限时，Accelerate 可以用 gradient_accumulation_steps 把多个 micro-batch 合成一次参数更新。本文说明 Accelerator、accumulate(model)、scheduler 与变长 token loss 归一化的配置边界。356 收藏 -
AI 应用的流式请求不能用“连接结束”判断模型完成。本文从一次取消被记成成功的故障入手，拆分 AbortSignal、SSE 完成事件和异常断开，给出可落地的状态字段、前端判定代码与日志边界。354 收藏 -
LiteRT int8 量化结果异常时，先检查代表性数据集是否复用了真实推理的预处理、shape、dtype 和数值分布。本文按输入契约拆解多输入签名、校准范围与样本覆盖的排查方法。348 收藏 -
自定义 Keras train_step 时，正则损失可能被遗漏。本文说明如何在前向传播后读取 self.losses，与任务损失合并为 total_loss，并让梯度、fit 指标和 sample_weight 处理保持一致。343 收藏 -
Diffusers直接放入GPU通常速度更快但显存峰值更高，CPU卸载能降低常驻显存却增加设备搬运。本文对比两种方式及model级、sequential级卸载的选择边界。338 收藏 -
Keras mixed_float16 训练出现 NaN 时，先用 float32 建立对照，再检查输入有限性、数值范围、前向损失和梯度，区分数据问题、低精度敏感计算与 loss scale 问题。本文给出最小排查代码和迁移修复顺序。337 收藏 -
使用 Transformers Fast tokenizer 的 offset_mapping 把 token 位置还原为原始文本片段，并处理特殊 token、批量溢出、成对输入与预分词边界。330 收藏 -
RAG 按标题层级切分应先分章节，再按长度细分并继承标题路径和来源元数据。本文用原创 Markdown 示例说明检索文本、生成上下文、引用定位和旧索引迁移的边界，避免切片只剩孤立正文。328 收藏 -
用Accelerate的save_state与load_state保存和恢复训练随机数状态，通过epoch边界示例说明加载时机、自建生成器登记和数据位置区别，避免将固定seed误当断点恢复。326 收藏 -
使用 Hugging Face PEFT 训练适配器后，检查点通常只包含适配器权重和配置，不会复制完整基础模型。本文从目录现象出发，说明保存设计、恢复加载、继续训练与合并导出的区别。301 收藏 -
Hugging Face Datasets 的 streaming 可减少全量预下载和 Arrow 转换需求，但不等于零磁盘。本文给出有限消费示例，比较 Dataset 与 IterableDataset，并说明打乱缓冲、缓存位置、输出落盘和恢复边界。278 收藏