人工智能技术文章
-
从 role/content 消息、Jinja 聊天模板、助手生成边界和特殊 token 四个方面，说明 Transformers 模板调用与手写角色标签的兼容条件。492 收藏 -
从 MCP 原生列表分页与工具自定义结果两条路径出发，说明如何用稳定游标、结构化续取信息和可读预览控制长列表，避免一次工具调用挤满模型上下文。486 收藏 -
科技周边 · 人工智能 | 18小时前 | 人工智能 · 深度学习 · 内存优化 · 内存 PyTorch 按需加载 mmap checkpoint torch.load map_location state_dict
torch.load 的 mmap=True 建立的是检查点文件映射，不是把全部参数立即复制进物理内存。本文结合首次访问、CPU 映射和 to(device) 迁移，解释虚拟地址、驻留页与设备副本的区别，并给出大检查点的加载取舍。475 收藏 -
讲清 Transformers generate 返回完整序列的原因，分别处理 decoder-only 与 encoder-decoder 模型，用输入长度切出新生成 token，并给出批量解码、特殊 token 和空结果的处理方式。461 收藏 -
Hugging Face Datasets 的 flatten 会把嵌套字典字段展开为点号路径列，同时保留 Features 对字段类型的描述。本文用嵌套 struct、List 和 max_depth 说明如何安全接入后续 map 处理。455 收藏 -
科技周边 · 人工智能 | 4天前 | 缓存 · 人工智能 · 提示词工程 · 提示词缓存 cache_control Prompt Caching 静态前缀 cache_read_input_tokens
提示词缓存命中率低时，先把工具定义、系统规则和稳定上下文划为前缀，把时间戳、用户问题和检索结果留在后缀，再用 usage 字段判断断点、TTL、长度门槛和并发时序问题。453 收藏 -
语义检索是否需要第二阶段重排，关键不在模型更强，而在第一阶段已能召回正确文档、前排仍错序且业务能承担额外时延。本文用 Recall@K、NDCG/MRR、P95 和单次成本给出决策与实现方法。449 收藏 -
模型从单体改成包装层后，旧检查点常因 module. 前缀出现 missing_keys 和 unexpected_keys。本文用目标模型键集合驱动映射，配合 strict=False 诊断并在对齐后恢复 strict=True。436 收藏 -
Embedding 维度变化不是改一个配置值就结束。稳妥做法是新建版本化索引，回填历史数据，双写新数据，用固定查询集灰度比较后再切换。429 收藏 -
Hugging Face Datasets 用 map 转换样本时，可以通过 remove_columns 一次删除多个旧字段。本文说明单条与批量映射、同名覆盖、DatasetDict 和缓存边界。421 收藏 -
RAG 的 chunk_overlap 过大，会让相邻分块产生高度相似的向量，top-k 被同一来源的重复内容占满。本文从切分边界、候选池、去重和 MMR 重排四个方面给出可回归的调整方法。409 收藏 -
LoRA 合并后输出变化很大，先不要盲目重训。本文从基础模型、适配器缩放、量化与 dtype、推理随机性和 tokenizer 五层排查，并给出确定性对照代码与回归清单。404 收藏 -
连续批处理会在每轮推理后移出已完成请求并补入新请求，减少批次槽位浪费；调优还需同时约束 Token 预算、KV Cache 与延迟。404 收藏 -
Accelerator.prepare 不只是把模型搬到设备上；训练时模型包装、参数位置、优化器参数组和状态必须保持一致，所以通常要把模型与优化器一起交给 Accelerate 准备。本文用最小训练骨架说明对象顺序、调度器和推理场景的边界。386 收藏 -
在 DeepSeek 相关 Ascend NPU 项目中，算子负责单卡计算，HCCL/HCOMM 负责跨卡通信，框架后端负责编排。本文按职责边界拆解 Ascend C、通信原语、MoE dispatch/combine 与多卡排查顺序。375 收藏