人工智能技术文章
-
LiteRT 多输入模型接入时，不要把 tensor index 当成调用契约。本文从 signature key、输入输出名称和张量形状入手，演示如何读取签名、准备多个输入、执行 signature runner，并排查名称与并发边界。191 收藏 -
自定义 Keras train_step 时，正则损失可能被遗漏。本文说明如何在前向传播后读取 self.losses，与任务损失合并为 total_loss，并让梯度、fit 指标和 sample_weight 处理保持一致。343 收藏 -
科技周边 · 人工智能 | 1星期前 | 人工智能 · 深度学习 · Keras RaggedTensor keras.Input ragged=True TensorFlow backend 模型保存 load_model 变长序列
Keras RaggedTensor 输入要把 TensorFlow backend、Input(ragged=True) 和调用时的 RaggedTensor 视为同一个契约。本文用一个最小变长序列模型演示如何保存为 .keras 并重新加载，解释动态长度、保存结构和多后端边界。250 收藏 -
Keras mixed_float16 训练出现 NaN 时，先用 float32 建立对照，再检查输入有限性、数值范围、前向损失和梯度，区分数据问题、低精度敏感计算与 loss scale 问题。本文给出最小排查代码和迁移修复顺序。337 收藏 -
模型从单体改成包装层后，旧检查点常因 module. 前缀出现 missing_keys 和 unexpected_keys。本文用目标模型键集合驱动映射，配合 strict=False 诊断并在对齐后恢复 strict=True。436 收藏 -
科技周边 · 人工智能 | 1星期前 | 人工智能 · 深度学习 · 内存优化 · 内存 PyTorch 按需加载 mmap checkpoint torch.load map_location state_dict
torch.load 的 mmap=True 建立的是检查点文件映射，不是把全部参数立即复制进物理内存。本文结合首次访问、CPU 映射和 to(device) 迁移，解释虚拟地址、驻留页与设备副本的区别，并给出大检查点的加载取舍。475 收藏 -
在 DeepSeek 相关 Ascend NPU 项目中，算子负责单卡计算，HCCL/HCOMM 负责跨卡通信，框架后端负责编排。本文按职责边界拆解 Ascend C、通信原语、MoE dispatch/combine 与多卡排查顺序。375 收藏 -
本地运行 GGUF 模型时，量化格式决定权重占用与精度取舍，上下文长度决定单次请求的提示词和生成空间。本文用一套可执行的判断顺序说明 Q4_K_M、Q5_K_M、Q8_0 与 --ctx-size 的配置方法。273 收藏 -
vLLM 连续批处理并不是并发越高越快。本文从模型权重、KV Cache、序列数和批次 token 预算出发，给出显存与吞吐的调参顺序、压测方法和生产降级路径。209 收藏 -
Reranker 通常只应处理召回后的有限候选。本文从延迟预算、候选规模、输入长度、批量和超时降级几个方面，给出一套可落地的检索重排控制方案。113 收藏 -
Embedding 维度变化不是改一个配置值就结束。稳妥做法是新建版本化索引，回填历史数据，双写新数据，用固定查询集灰度比较后再切换。429 收藏 -
智能体失败不一定是模型能力不足。本文用轨迹中的工具参数、工具响应、环境状态和模型后续决策建立证据分层，给出工具错误、模型错误与混合错误的判定规则、Python 记录结构和回归清单。239 收藏 -
从任务拆解、难度信号、试测校准和分层抽样四个环节构建 LLM 评测集，让总分之外还能看清模型在哪个能力层级上变化。343 收藏 -
MCP 客户端不应只靠固定 TTL 缓存工具描述和资源。本文按 tools/list、resources/list、resources/read 拆分缓存键，结合 ttlMs、cacheScope 与变更通知设计可恢复的一致性策略。313 收藏 -
从 HTTP 令牌校验、scope 工具映射、请求级授权上下文和审计字段四个层面，说明如何配置 MCP 服务端的授权范围与会话隔离，避免主体、租户和写入权限混用。161 收藏