人工智能技术文章
-
限制 vLLM 显存需区分实例比例预算、KV 缓存大小和上下文并发约束。本文给出保守启动示例,说明参数优先关系、共享GPU边界、失败回退与运行记录,不承诺固定节省比例。476 收藏 -
RAG 应用排障不能只盯着最终答案。本文用 context_recall、context_precision、faithfulness 和 answer_correctness 拆分检索与生成问题,并给出一套可接入回归集的评估方法。476 收藏 -
用 Hugging Face Dataset.split 和 NamedSplit.name 识别单个数据集对象的切分名称,区分 DatasetDict 的字典键、手工 Dataset 的 None 边界以及自定义切分的显式声明。476 收藏 -
torch.compile 变慢或日志出现多个 FX 图时,先用 eager 基线排除代码错误,再用 fullgraph=True、TORCH_LOGS=graph_breaks 和 torch._dynamo.explain 定位断点。本文按值班手册给出改写、隔离和回退路径。475 收藏 -
Optuna 的 enqueue_trial 可以把人工指定的参数组合放入试验队列,让 objective 先评估这些候选,再继续交给 sampler 搜索。本文演示调用顺序、skip_if_exists、参数范围和并发边界。472 收藏 -
PyTorch CUDA Graph 适合重复执行、输入形状稳定且 CPU 调度开销明显的推理路径。本文用静态输入、旁路流预热、捕获和 replay 说明怎样固定形状复用流程,以及变长请求应该怎样分桶或回退。471 收藏 -
科技周边 · 人工智能 | 1星期前 | python · 人工智能 · Hugging Face Transformers tokenizer max_length truncation 句子对分词 only_second
Transformers 处理句子对时,使用 truncation=only_second 可以只截断第二段;本文说明最小调用、max_length 总预算、批量 padding 和溢出处理的边界。471 收藏 -
AI 流式断线恢复需区分连接重建、原任务事件重放与重新生成。本文说明 EventSource 和 fetch 的差异,给出任务标识、事件游标、去重、保留窗口与完成状态的设计方法。470 收藏 -
本文用 Go 后端接入 GPT-Live 双工语音会话,说明主 WebSocket、session.start、session.started、音频事件、后台委派和 session.closed 的职责边界,并给出可维护的连接生命周期示例。470 收藏 -
Hugging Face pipelines 的 batch_size 适合在可批处理的数据集推理中逐步调节。本文说明参数放在哪里、GPU 与 CPU 的边界、sequence_length 对显存的影响,以及如何记录吞吐、延迟和 OOM 风险。469 收藏 -
Hugging Face Datasets 的 Dataset.unique 和 DatasetDict.unique 可以直接列出字段的不同取值。本文用最小示例说明字段检查、split 结果、返回顺序以及高基数字段的内存边界。469 收藏 -
说明 Datasets 批量改名中重复目标与未改名列冲突的区别,给出最终列名检查和交换名称示例,并提醒同步下游字段与各 split 的约定。468 收藏 -
PEFT 的 PeftModel.save_pretrained 可以把适配器配置与权重单独写入目录。本文从基础模型、适配器和合并模型的边界出发,说明 selected_adapters、safe_serialization、save_embedding_layers 与 is_main_process 的生产用法,并给出可回载的交付清单。468 收藏 -
AI 网关应先按输入模态、工具、结构约束及业务允许范围过滤候选,再比较延迟和成本。本文说明端点能力登记、路由策略与故障回退边界,避免降级时丢失原请求语义。467 收藏 -
librosa beat_track 返回的 tempo 是速度估计,beats 是节拍事件位置。本文用实际调用拆解两者的单位、稀疏表示、时变 BPM 和常见误判,帮助你把节拍正确对齐到秒或帧。467 收藏