人工智能技术文章
-
torch.compile 出现 graph break 时，先用 fullgraph=True 暴露首个断点，再用 torch._dynamo.explain 和 TORCH_LOGS 分析原因，最后决定重写、隔离还是保留。478 收藏 -
避免 Chat Template 角色格式不一致的关键，是让训练、评测和推理共享同一份 role/content 消息契约，并统一交给 tokenizer.apply_chat_template 序列化。本文给出参数区别、重复特殊 token 的规避方法和集中封装示例。477 收藏 -
no_grad 关闭反向梯度记录且更宽松；inference_mode 进一步关闭视图追踪、版本计数器更新与 forward-mode AD，但推理张量不能进入后续 autograd 计算。本文给出选择表和安全写法。458 收藏 -
介绍 Hugging Face Evaluate 使用 bootstrap 策略计算指标置信区间的方法，解释 confidence_level、n_resamples、random_state 以及结果中的标准误。438 收藏 -
Prompt 变化不能只靠复制文本和人工回忆。本文用模板、变量、模型配置、输入集和输出指标五类记录，搭建可重放、可比较、可回滚的版本流程。412 收藏 -
按实体和来源拆分训练、验证和测试，使用稳定的任务簇键避免评测集泄漏，让模型指标更接近真实泛化能力。233 收藏 -
Transformers 量化配置选择的关键不只是显存大小，还要看推理、QLoRA 微调、精度容忍度和硬件后端。本文用 BitsAndBytesConfig 对比 int8 与 int4 的适用边界，并给出检查清单。113 收藏