人工智能技术文章
-
模型流的网络字节、SSE 帧和 UTF-8 字符不是同一条边界。本文用 Go 的 unicode/utf8 保存不完整尾部，说明如何在增量渲染中避免半个字符变成乱码，并划清 SDK 文本事件与原始字节适配层的职责。140 收藏 -
RAG 按标题层级切分应先分章节，再按长度细分并继承标题路径和来源元数据。本文用原创 Markdown 示例说明检索文本、生成上下文、引用定位和旧索引迁移的边界，避免切片只剩孤立正文。328 收藏 -
AI 评测分数异常偏高时，问题常不在指标本身，而在同源样本跨 split、预处理读到了测试集或公开基准已经进入训练语料。本文用来源分组、训练集拟合、冻结测试集和污染审计组成一套可落地的数据血缘方案。146 收藏 -
向量检索不要先取全局 top_k 再丢弃不合格结果。本文以 Redis Search 为例，把 tenant、状态和时间等元数据作为预过滤条件放到 KNN 前，并用选择率、P95 延迟和召回质量确定参数边界。365 收藏 -
长文本超过模型输入上限时，用 Transformers tokenizer 的 stride 和 return_overflowing_tokens 生成带重叠的窗口，再通过 overflow_to_sample_mapping 与 offset_mapping 对齐原文。197 收藏 -
Hugging Face Datasets 的 streaming 可减少全量预下载和 Arrow 转换需求，但不等于零磁盘。本文给出有限消费示例，比较 Dataset 与 IterableDataset，并说明打乱缓冲、缓存位置、输出落盘和恢复边界。278 收藏 -
用 Transformers 按键名筛选 state_dict 只加载目标模块，并区分部分权重加载与 device_map 显存分配，避免把随机初始化层误当成预训练权重。395 收藏 -
从 role/content 消息、Jinja 聊天模板、助手生成边界和特殊 token 四个方面，说明 Transformers 模板调用与手写角色标签的兼容条件。492 收藏 -
Diffusers直接放入GPU通常速度更快但显存峰值更高，CPU卸载能降低常驻显存却增加设备搬运。本文对比两种方式及model级、sequential级卸载的选择边界。338 收藏 -
用Accelerate的save_state与load_state保存和恢复训练随机数状态，通过epoch边界示例说明加载时机、自建生成器登记和数据位置区别，避免将固定seed误当断点恢复。326 收藏 -
Diffusers 生成结果每次不同，通常与随机状态和采样条件有关。本文用 CPU torch.Generator 说明怎样固定初始噪声、每次重新播种，并整理模型、提示词、步数和调度器的复现清单。118 收藏 -
Accelerator.prepare 不只是把模型搬到设备上；训练时模型包装、参数位置、优化器参数组和状态必须保持一致，所以通常要把模型与优化器一起交给 Accelerate 准备。本文用最小训练骨架说明对象顺序、调度器和推理场景的边界。386 收藏 -
科技周边 · 人工智能 | 3天前 | 人工智能 · Hugging Face Datasets streaming IterableDataset Dataset.shuffle shuffle buffer
Hugging Face Datasets 的 Dataset.shuffle 会为内存数据集建立全量索引映射，IterableDataset.shuffle 则通过 shard 顺序和有限 shuffle buffer 做近似随机。本文解释两者的访问模型、随机范围、性能代价与训练参数选择。130 收藏 -
从文件职责、配置来源和参数命名区分LoRA适配器与基础模型，说明单适配器合并的适用范围、独立输出目录及回滚材料，避免把适配器误当完整模型交付。174 收藏 -
Hugging Face Datasets 用 map 转换样本时，可以通过 remove_columns 一次删除多个旧字段。本文说明单条与批量映射、同名覆盖、DatasetDict 和缓存边界。421 收藏