人工智能技术文章
-
RAG 检索结果不要直接按 top_k 全量送入模型。本文用文档身份、规范化文本和语义多样性三层策略去重,再按系统指令、问题、证据与回答余量分配上下文预算,给出可迁移的 Python 实现与参数调优指标。357 收藏 -
说明 decoder-only 模型批量生成时 padding_side 为什么应设为 left,并结合 input_ids、attention_mask 和生成起点排查对齐问题。206 收藏 -
Hugging Face Datasets 的 streaming 模式会返回 IterableDataset,按迭代按需读取远程或本地分片。本文给出变换、缓冲区打乱、多 worker、训练轮次和检查点恢复的生产写法。337 收藏 -
梳理 Transformers generate 的 EOS、max_new_tokens、stop_strings 与自定义 StoppingCriteria,演示批量提示词、多候选返回、纯新增 token 解码和输出分组。133 收藏 -
bitsandbytes 4-bit 量化只压缩冻结基座权重,LoRA 参数、梯度、优化器状态、激活与 CUDA 工作区仍会占用显存。本文给出 NF4 配置、峰值测量方法和 OOM 调整顺序,说明 QLoRA 单卡训练的真实边界。249 收藏 -
在同一个基础模型上预加载多个 PEFT LoRA 适配器,使用唯一名称和 set_adapter 按任务切换,并说明 delete_adapter、unload 与 hotswap 的生命周期边界。268 收藏 -
PEFT 适配器合并理论上把增量权重写回基础模型,但浮点舍入、量化、基础模型版本、活跃适配器和生成参数差异都可能改变输出。本文给出固定条件、比较 logits、正确接收 merge_and_unload 返回值和定位大幅偏差的方法。221 收藏 -
按 decoder-only 生成、训练、encoder-only 和 encoder-decoder 任务拆解 Tokenizer 左右填充选择,并说明 attention_mask、pad_token 与标签屏蔽。399 收藏 -
解释 Safetensors 如何用文件头中的 shape、dtype 与 data_offsets 定位权重切片,说明 get_slice、零拷贝、内存映射和 GPU 传输的真实边界。258 收藏 -
MLflow Model Alias 可以把生产代码从固定模型版本号解耦出来。本文用 champion 别名串起模型注册、加载、发布切换和回滚边界,说明 Alias URI 的写法以及不能忽略的版本验证与审计记录。360 收藏 -
拆解 FAISS Index Factory 字符串的组合规则,用 Flat、IVF、PQ、SQ、PCA 和 OPQ 示例说明粗排、压缩、训练与 nprobe 参数应如何分工。100 收藏 -
RAG 重排不要用同一个 TopK 同时控制召回和上下文。本文给出 candidate_k 与 final_top_k 的起始范围、三组评估指标、调参顺序和可直接落地的 Python 示例。468 收藏 -
知识库切片重叠率会同时影响边界语义、重复召回、索引成本和上下文长度。本文用 LangChain 与 Hugging Face 的切分思路说明参数起点、评测方法和不同语料的边界处理。268 收藏 -
介绍 PyTorch ONNX 导出时如何用 dynamic_shapes 和 torch.export.Dim 声明动态批次、动态序列长度,并比较现代 dynamo 导出器与 legacy dynamic_axes 的选择边界。206 收藏 -
no_grad 关闭反向梯度记录且更宽松;inference_mode 进一步关闭视图追踪、版本计数器更新与 forward-mode AD,但推理张量不能进入后续 autograd 计算。本文给出选择表和安全写法。458 收藏