Go语言技术文章
-
模型服务的延迟与成本不能只靠接口总耗时和节点资源解释。本文以 OpenTelemetry 的可关联遥测思路为参考,说明如何用 trace 拆分模型延迟,用模型、token 与价格快照估算成本,并给出迁移后的回归检查与隐私边界。426 收藏 -
说明 ONNX Runtime Python 推理中 IO Binding 的设备驻留方式:用 CUDA OrtValue 绑定输入、在 GPU 上绑定或分配输出,并判断何时应该回传 CPU。424 收藏 -
围绕 Hugging Face Transformers 的 Fast tokenizer 说明 offset_mapping 如何返回 token 对应的原文半开区间,处理特殊 token、空白、批量句对和截断,并给出实体字符区间转换为 token 范围的 Python 示例。423 收藏 -
从 CNCF 官方案例梳理 Meta 如何用 Terraform、Argo CD 与 Kargo 分离基础设施发布和多集群应用交付,说明职责边界、健康检查与迁移评估重点。423 收藏 -
区分 PyTorch Foundation 的基金会事务、项目技术决策与企业内部采用权限,从角色、信任边界和决策记录理解开源 AI 治理。423 收藏 -
通过 PeftModel.save_pretrained 导出 LoRA 适配器,说明额外训练模块、嵌入层、基础模型依赖与训练断点的区别,并提供参数体积推算和文件统计写法。422 收藏 -
file search 的 filters 不是正文关键词过滤,而是先按 vector_store.file 的 attributes 缩小候选文件,再做语义和关键词检索。本文用 Python 示例说明 attributes、比较过滤、and/or 组合和无结果排查。420 收藏 -
用 TemplateProcessing 为 Hugging Face Tokenizers 配置 single 与 pair 模板,说明 $A、$B、special_tokens 和 type_id 的对应关系,并整理句对长度与常见配置错误。420 收藏 -
以 OpenAI Responses API 为例,说明稳定规则与动态输入的拆分方式,区分缓存键和显式断点,并给出请求组装、使用量读取与权限边界的实践建议。419 收藏 -
本文围绕 ONNX 动态输入的符号维度,说明 dim_param 与 dim_value 的区别、infer_shapes 的调用方式、value_info 的读取方法,以及动态 Reshape 和变量表达式带来的推断边界。418 收藏 -
用一个最小 PyTorch 分析项目说明 torch.profiler 的采集范围、schedule 与 export_chrome_trace 的配合方式,导出可分享的 Chrome trace 文件,并区分静态示例、采集时机和结果解释边界。418 收藏 -
用 OpenAI Responses API 同时提交图片和文本问题,掌握 input_text、input_image、URL、Base64 data URL 与 detail 参数的写法、检查方法和边界。417 收藏 -
科技周边 · 人工智能 | 6天前 | python · 人工智能 · 并行处理 index Hugging Face Datasets Datasets shard num_shards contiguous
用 Hugging Face Datasets 的 shard 方法把数据集分给多个 worker,解释 contiguous、num_shards 和 index 的关系,处理余数、shuffle 顺序以及分片边界问题。417 收藏 -
AI模型服务可保留完整JSON请求,改用SSE事件逐步输出答案。本文给出Starlette响应适配和HTTPX读取片段,说明输入输出边界、流内报错、断连、完成判定与兼容回退。417 收藏 -
解读 Python 3.14 尾调用解释器、实验 JIT 和自由线程对部署的影响,区分构建能力与运行状态,并说明依赖重建、真实负载比较和整套环境回滚的取舍。416 收藏