人工智能技术文章
-
使用 Hugging Face PEFT 训练适配器后，检查点通常只包含适配器权重和配置，不会复制完整基础模型。本文从目录现象出发，说明保存设计、恢复加载、继续训练与合并导出的区别。301 收藏 -
Transformers 的 generate 返回完整序列时，GPT 类 decoder-only 模型会把输入提示词和新增 token 一起返回。本文用 token 长度切片、批量 padding 和 max_new_tokens 说明如何稳定取出真正生成的文本。111 收藏 -
讲清 Transformers generate 返回完整序列的原因，分别处理 decoder-only 与 encoder-decoder 模型，用输入长度切出新生成 token，并给出批量解码、特殊 token 和空结果的处理方式。461 收藏 -
使用 Transformers Fast tokenizer 的 offset_mapping 把 token 位置还原为原始文本片段，并处理特殊 token、批量溢出、成对输入与预分词边界。330 收藏 -
比较Transformers批次分词的动态补齐与固定长度补齐，说明截断上限、collator组批职责和部署形状约束，并给出可复制代码与实际观测指标。153 收藏 -
训练翻译或摘要模型时，DataCollatorForSeq2Seq 的 label_pad_token_id 会决定补齐标签是否进入 loss。本文从 -100 的忽略语义、动态补齐和 decoder_input_ids 准备三条链路拆开排查。176 收藏 -
围绕 Hugging Face Datasets 的 map(batched=True) 讲清返回列长度契约、remove_columns 的作用和最小诊断方法，帮助定位预处理函数中的扩行与错配问题。213 收藏 -
Hugging Face Datasets 的 flatten 会把嵌套字典字段展开为点号路径列，同时保留 Features 对字段类型的描述。本文用嵌套 struct、List 和 max_depth 说明如何安全接入后续 map 处理。455 收藏 -
Hugging Face Datasets 的列定义没有因为 with_format 或 set_format 自动改变；真正变化的是 __getitem__ 的读取视图。本文拆解两者的返回新对象与原地修改差异，并给出恢复默认格式和隔离训练视图的写法。228 收藏 -
LiteRT 转换遇到不支持算子时，不是看到报错就直接打开 Select TF Ops。本文从转换器错误边界、模型体积、目标平台运行时依赖和验收清单四个方面，说明什么时候启用、什么时候优先替换算子。226 收藏 -
LiteRT int8 量化结果异常时，先检查代表性数据集是否复用了真实推理的预处理、shape、dtype 和数值分布。本文按输入契约拆解多输入签名、校准范围与样本覆盖的排查方法。348 收藏 -
LiteRT 多输入模型接入时，不要把 tensor index 当成调用契约。本文从 signature key、输入输出名称和张量形状入手，演示如何读取签名、准备多个输入、执行 signature runner，并排查名称与并发边界。191 收藏 -
自定义 Keras train_step 时，正则损失可能被遗漏。本文说明如何在前向传播后读取 self.losses，与任务损失合并为 total_loss，并让梯度、fit 指标和 sample_weight 处理保持一致。343 收藏 -
科技周边 · 人工智能 | 4天前 | 人工智能 · 深度学习 · Keras RaggedTensor keras.Input ragged=True TensorFlow backend 模型保存 load_model 变长序列
Keras RaggedTensor 输入要把 TensorFlow backend、Input(ragged=True) 和调用时的 RaggedTensor 视为同一个契约。本文用一个最小变长序列模型演示如何保存为 .keras 并重新加载，解释动态长度、保存结构和多后端边界。250 收藏 -
Keras mixed_float16 训练出现 NaN 时，先用 float32 建立对照，再检查输入有限性、数值范围、前向损失和梯度，区分数据问题、低精度敏感计算与 loss scale 问题。本文给出最小排查代码和迁移修复顺序。337 收藏