人工智能技术文章
-
Hugging Face Datasets 的 flatten 会把嵌套字典字段展开为点号路径列，同时保留 Features 对字段类型的描述。本文用嵌套 struct、List 和 max_depth 说明如何安全接入后续 map 处理。455 收藏 -
Hugging Face Datasets 的列定义没有因为 with_format 或 set_format 自动改变；真正变化的是 __getitem__ 的读取视图。本文拆解两者的返回新对象与原地修改差异，并给出恢复默认格式和隔离训练视图的写法。228 收藏 -
LiteRT 转换遇到不支持算子时，不是看到报错就直接打开 Select TF Ops。本文从转换器错误边界、模型体积、目标平台运行时依赖和验收清单四个方面，说明什么时候启用、什么时候优先替换算子。226 收藏 -
LiteRT int8 量化结果异常时，先检查代表性数据集是否复用了真实推理的预处理、shape、dtype 和数值分布。本文按输入契约拆解多输入签名、校准范围与样本覆盖的排查方法。348 收藏 -
LiteRT 多输入模型接入时，不要把 tensor index 当成调用契约。本文从 signature key、输入输出名称和张量形状入手，演示如何读取签名、准备多个输入、执行 signature runner，并排查名称与并发边界。191 收藏 -
自定义 Keras train_step 时，正则损失可能被遗漏。本文说明如何在前向传播后读取 self.losses，与任务损失合并为 total_loss，并让梯度、fit 指标和 sample_weight 处理保持一致。343 收藏 -
科技周边 · 人工智能 | 22小时前 | 人工智能 · 深度学习 · Keras RaggedTensor keras.Input ragged=True TensorFlow backend 模型保存 load_model 变长序列
Keras RaggedTensor 输入要把 TensorFlow backend、Input(ragged=True) 和调用时的 RaggedTensor 视为同一个契约。本文用一个最小变长序列模型演示如何保存为 .keras 并重新加载，解释动态长度、保存结构和多后端边界。250 收藏 -
Keras mixed_float16 训练出现 NaN 时，先用 float32 建立对照，再检查输入有限性、数值范围、前向损失和梯度，区分数据问题、低精度敏感计算与 loss scale 问题。本文给出最小排查代码和迁移修复顺序。337 收藏 -
模型从单体改成包装层后，旧检查点常因 module. 前缀出现 missing_keys 和 unexpected_keys。本文用目标模型键集合驱动映射，配合 strict=False 诊断并在对齐后恢复 strict=True。436 收藏 -
科技周边 · 人工智能 | 22小时前 | 人工智能 · 深度学习 · 内存优化 · 内存 PyTorch 按需加载 mmap checkpoint torch.load map_location state_dict
torch.load 的 mmap=True 建立的是检查点文件映射，不是把全部参数立即复制进物理内存。本文结合首次访问、CPU 映射和 to(device) 迁移，解释虚拟地址、驻留页与设备副本的区别，并给出大检查点的加载取舍。475 收藏 -
在 DeepSeek 相关 Ascend NPU 项目中，算子负责单卡计算，HCCL/HCOMM 负责跨卡通信，框架后端负责编排。本文按职责边界拆解 Ascend C、通信原语、MoE dispatch/combine 与多卡排查顺序。375 收藏 -
本地运行 GGUF 模型时，量化格式决定权重占用与精度取舍，上下文长度决定单次请求的提示词和生成空间。本文用一套可执行的判断顺序说明 Q4_K_M、Q5_K_M、Q8_0 与 --ctx-size 的配置方法。273 收藏 -
vLLM 连续批处理并不是并发越高越快。本文从模型权重、KV Cache、序列数和批次 token 预算出发，给出显存与吞吐的调参顺序、压测方法和生产降级路径。209 收藏 -
Reranker 通常只应处理召回后的有限候选。本文从延迟预算、候选规模、输入长度、批量和超时降级几个方面，给出一套可落地的检索重排控制方案。113 收藏 -
Embedding 维度变化不是改一个配置值就结束。稳妥做法是新建版本化索引，回填历史数据，双写新数据，用固定查询集灰度比较后再切换。429 收藏