人工智能技术文章
-
减少大模型裁判的位置偏差,不能只在提示词里要求公平,而应对同一回答对同时运行 A-B 与 B-A 两种顺序,统一还原答案身份,只合并一致判定,并把翻转样本升级为不确定或人工复核。314 收藏 -
OpenAI Realtime API 可通过 session.audio.input.turn_detection 配置 server_vad、semantic_vad 或关闭 VAD。本文讲清阈值、静音时长、eagerness、自动响应与手动提交的取舍。293 收藏 -
用 OpenAI Structured Outputs 约束嵌套 JSON 时,关键是逐层声明 required,并在每个 object 节点关闭 additionalProperties,再用 nullable 表达业务可选值。247 收藏 -
PyTorch 当前 ONNX 导出器应优先用 dynamic_shapes 声明动态输入轴,旧导出路径才使用 dynamic_axes。本文给出 batch、高宽动态的最小写法、元数据检查与常见误区。194 收藏 -
GradScaler 会在反缩放后的梯度含 inf 或 NaN 时跳过对应优化器的 step。本文说明单优化器、多优化器、scale 回退与学习率调度器的判断边界。268 收藏 -
排查 PyTorch DataLoader 多进程中的重复随机值与重复样本,说明 worker seed、第三方随机库、IterableDataset 分片和 generator 的正确配置。316 收藏 -
通过 Transformers 与 Accelerate 的 device_map=auto、max_memory 和 no_split_module_classes,把大模型稳妥分配到多张 GPU,并检查 CPU 或磁盘卸载边界。150 收藏 -
Hugging Face Datasets Streaming 通过 IterableDataset 边迭代边读取超大数据集。本文给出加载、抽样、缓冲打乱、在线变换、分片与训练观测的完整用法和适用边界。148 收藏 -
说明 PEFT LoRA 的 target_modules 如何按模型模块树、任务范围和参数预算选择,并给出默认目标、all-linear、MoE 特例与命中检查方法。251 收藏 -
讲清 Hugging Face Catalog API 的模型与配方关系,并用 huggingface_hub 完成目录筛选、精确创建、状态等待和成本控制。333 收藏 -
从 handler.py 的 EndpointHandler 结构、依赖管理、本地测试到 Custom 任务部署,说明 Hugging Face Inference Endpoint 编写自定义 Handler 的完整边界。145 收藏 -
模型服务的批处理不是把 batch size 调大就结束。本文用 Triton 动态批处理和 TGI 连续批处理说明如何设置排队等待上限、批量或令牌预算,并用队列长度、prefill/decode 时长与端到端 p95 验证吞吐收益。479 收藏 -
AI Agent 的工具调用失败可能是拒绝、超时或结果未知。本文给出失败分类、稳定幂等键、结果复用、指数退避与人工接管的完整设计,避免重复副作用。236 收藏 -
讲清 Diffusers ControlNet 条件图与生成画布的尺寸匹配方法,覆盖等比补边、居中裁切、多 ControlNet 和批量输入检查。314 收藏 -
统一 Hugging Face Evaluate 输入时,应该统一 predictions 和 references 的批次外壳,同时以 metric.features 保留每个指标的元素类型与嵌套边界。本文给出适配器写法、compute 与 add_batch 共用方式,以及组合指标前必须检查的兼容条件。134 收藏