人工智能技术文章
-
ONNX Runtime 通过 SessionOptions 的图优化级别和 optimized_model_filepath 在创建推理会话时保存优化后的模型。本文说明 Python 写法、ONNX 与 ORT 格式边界，以及文件未生成时的排查方向。372 收藏 -
ONNX Runtime 的执行提供者应结合硬件、依赖、算子覆盖与模型形状选择。本文说明 CUDA、TensorRT、OpenVINO、DirectML 和 CoreML 的候选范围，提供注册顺序与性能比较示例，区分可用、注册和实际分配。371 收藏 -
PyTorch activation checkpointing 用减少前向激活保存、反向阶段重计算来换取训练显存。本文围绕 torch.utils.checkpoint、use_reentrant=False、随机状态和 early_stop，说明适用边界与生产检查要点。370 收藏 -
固定采样率的音频批处理不必反复生成重采样卷积核。本文说明 torchaudio.transforms.Resample 与 functional.resample 的缓存边界，并给出按采样率、滤波参数、dtype 和设备分层复用的实现方式。356 收藏 -
OpenAI Realtime API 断线后不会替应用自动恢复业务上下文，稳定做法是把连接与会话状态分开保存，重连后重新配置 session，再按确认点重放摘要和未确认输入，最后只对完整的新输入触发 response.create。356 收藏 -
Hugging Face Datasets可用flatten把struct子字段展开成带层级前缀的独立列。本文通过原创样本区分Dataset与Features展开、列表拆行和索引整理，并说明下游列名契约。350 收藏 -
OpenTelemetry Go 编译期插桩通过 otelc 接管 Go 构建，在不修改业务源码的情况下为支持的依赖注入遥测。本文说明安装、构建替换、OTLP 环境变量、容器接入和与手工埋点及 eBPF 的边界。348 收藏 -
科技周边 · 人工智能 | 1天前 | 人工智能 · Transformers bitsandbytes 4-bit量化 BitsAndBytesConfig bnb_4bit_compute_dtype
Transformers 的 4-bit 配置容易把量化类型、计算类型和其它模块 dtype 混在一起。本文用 BitsAndBytesConfig 拆开三者边界，给出 NF4、bfloat16、dtype=auto 和 device_map 的实用配置方法。347 收藏 -
用 DataCollatorForLanguageModeling 组织语言模型训练批次，掌握 mlm、mlm_probability、padding 与 labels=-100 的对应关系。336 收藏 -
以 Chroma 为例，把节点 metadata 与 MetadataFilters 对应起来，演示等值 AND 过滤、模拟嵌入检索和临时集合清理，并解释字段类型、top-k、空结果及后端支持范围。334 收藏 -
Hugging Face Datasets 的 map 在 batched=True 时按列传入一批样本。本文用一个可复用的 Python 示例说明怎样新增处理列、保留原始列，并用 remove_columns 控制最终字段。329 收藏 -
讲清 vLLM 在线服务中请求级 max_tokens 的设置位置、上下文边界与 finish_reason 判断方法，帮助按业务预算控制输出长度。326 收藏 -
用 OpenTelemetry 的 trace、metric 和结构化日志记录 AI 应用的 token 用量与请求追踪信息，并比较日志、Collector 和厂商 SDK 的适用边界。323 收藏 -
Gemini API 的工具参数如果只有有限几个合法值，可以在 function declaration 的属性 Schema 中使用 enum 声明候选集合。本文从参数进入工具声明、模型返回调用到应用侧执行，说明 enum、required、description 和业务校验各自负责什么。322 收藏 -
科技周边 · 人工智能 | 2天前 | 内存优化 · PyTorch DataLoader IterableDataset num_workers prefetch_factor pin_memory persistent_workers
PyTorch DataLoader 的多进程内存主要受单批大小、num_workers 和 prefetch_factor 共同影响。本文用预取批次数估算主机侧占用，并比较低内存、平衡吞吐和高吞吐配置，同时说明 pin_memory、persistent_workers 与 IterableDataset 的边界。319 收藏