人工智能技术文章
-
科技周边 · 人工智能 | 6天前 | python · 人工智能 · 并行处理 index Hugging Face Datasets Datasets shard num_shards contiguous
用 Hugging Face Datasets 的 shard 方法把数据集分给多个 worker,解释 contiguous、num_shards 和 index 的关系,处理余数、shuffle 顺序以及分片边界问题。417 收藏 -
AI模型服务可保留完整JSON请求,改用SSE事件逐步输出答案。本文给出Starlette响应适配和HTTPX读取片段,说明输入输出边界、流内报错、断连、完成判定与兼容回退。417 收藏 -
用 Transformers tokenizer 处理长度不同的批量文本:理解 padding、truncation、max_length 和 pad_to_multiple_of 的关系,并用 attention_mask、overflow 映射检查输入是否真正对齐。416 收藏 -
用 Hugging Face Hub 的 revision 参数固定分支、标签或完整提交哈希,分别演示 hf_hub_download、snapshot_download 和 hf download 的单文件、整仓库与 local_dir 交付边界。415 收藏 -
用 tokenizers.normalizers.Sequence 按顺序组合 NFD、Lowercase、StripAccents 等正规化器,说明如何挂到 Tokenizer、观察结果并保留对齐信息。415 收藏 -
OpenTelemetry GenAI 记录 token 的关键是把模型响应里的 usage 字段映射到 gen_ai.usage.input_tokens 和 gen_ai.usage.output_tokens,再用 span 与指标边界控制隐私和重复统计。414 收藏 -
区分 MCP 进度通知与后台执行,说明 progressToken 和请求 ID 的关联、异步执行器与有界队列、普通请求取消,以及支持 Tasks 时的任务状态和结果获取边界。414 收藏 -
OpenAI Agents SDK 可以用 SQLiteSession、OpenAIConversationsSession 或服务端会话标识保存多轮上下文。本文给出本地文件持久化、进程重启恢复和多实例选型写法,并说明 session 与 conversation_id、previous_response_id 不能在同一次运行里混用。414 收藏 -
JiWER 计算语音识别误差时,参考文本与识别文本必须经过相同的正规化规则。本文用 Compose 组合清理与替换步骤,并将同一个变换对象同时传给两侧,说明 WER、CER 和自定义词替换的写法。413 收藏 -
讲清 Responses API 如何用 input_image 绑定参考图,以及 URL、Base64 data URL、file_id 和 action=edit 的选择边界。412 收藏 -
ONNX Runtime IOBinding 适合把固定形状的输入输出绑定到 CUDA 等目标设备,通过复用 OrtValue 减少 CPU-GPU 数据搬运和重复分配。本文给出 Python 绑定写法,并说明动态 shape 与 CPU 读回的边界。412 收藏 -
说明向量检索 top-k 与相似度阈值的不同职责,区分候选数量和最终返回数量,给出独立的过滤示例,并解释分数方向、正常空结果与查询失败的处理边界。412 收藏 -
科技周边 · 人工智能 | 1星期前 | 人工智能 · Hugging Face Datasets DatasetDict train_test_split stratify_by_column 机器学习数据集
Hugging Face Datasets 的 train_test_split 默认会随机切分;给 stratify_by_column 传入标签列名,才能让训练集和测试集尽量保持类别比例。本文用人工构造的 Dataset 说明 test_size、seed、标签类型与稀有类别的处理边界。410 收藏 -
vLLM 的连续批处理 token 上限由 max_num_batched_tokens 控制。本文说明 Python 和 vllm serve 两种配置方式,并结合 ITL、TTFT、吞吐量、chunked prefill 与 KV Cache 给出调参边界。408 收藏 -
Hugging Face Datasets 可用独立文件保存与载入 FAISS 索引。本文给出数据快照和索引分开落盘的示例,说明索引名称、行顺序及载入失败的排查方法。403 收藏