人工智能技术文章
-
限制 vLLM 显存需区分实例比例预算、KV 缓存大小和上下文并发约束。本文给出保守启动示例，说明参数优先关系、共享GPU边界、失败回退与运行记录，不承诺固定节省比例。476 收藏 -
ONNX Runtime 服务中应按模型和会话配置创建一次 InferenceSession，再复用 session.run；并发数仍需按执行提供程序、输入状态和资源预算限制。本文用架构模式说明单会话、信号量、请求级输入与 DirectML 边界。349 收藏 -
科技周边 · 人工智能 | 2星期前 | python · 数据处理 · 人工智能 · AI Hugging Face Datasets select_columns remove_columns DatasetDict 数据集字段
Hugging Face Datasets 按列处理时，先区分 select_columns 与 remove_columns，再确认 Dataset 和 DatasetDict 的作用范围，并说明 map 转换、缺列检查和新对象赋值的常见误区。373 收藏 -
科技周边 · 人工智能 | 2星期前 | python · 人工智能 · AI 文本分类 pipeline padding Transformers 批量推理 truncation batch_size
用 Transformers 文本分类 Pipeline 处理批量文本时，分别说明列表、数据集和生成器的入口，padding、truncation、max_length 与 batch_size 的边界，并给出带稳定 ID 的 Python 示例。379 收藏 -
工具调用接回多轮对话，需要保留助手调用、工具结果及会话轮次关联，并按目标模型模板恢复输入。本文区分协议、执行与展示记录，说明追问、并行结果、重试和历史裁剪的设计边界。180 收藏 -
区分AI图片API的文本生成与原图编辑，从输入条件、模型能力、资源版本到预览下载、超时处理和文件清理，说明如何保留原图并避免模式误用。484 收藏 -
多语言文档混合检索的关键不是盲目更换模型，而是让文档和查询进入同一向量空间，并统一查询模板、输入长度、归一化与相似度计算。本文结合 BGE-M3 和 multilingual-e5-large-instruct 的官方规则，给出跨语言召回与排序漂移的排查清单。381 收藏 -
模型路由不要只按模型名做分流。本文结合任务分类、质量与延迟约束、候选模型排序和失败回退，整理一套适合工程落地与审计的选择策略。104 收藏 -
AI 结构化输出遇到字段缺失时，先用 JSON Schema 明确必填与可选字段，再在应用解析边界执行缺失检查、默认值和异常隔离。本文以 Hugging Face Inference Providers 的结构化输出为背景，给出一套可迁移的处理方式。126 收藏 -
AI 工具调用中，JSON Schema 只负责参数形状与类型，业务校验还要判断权限、资源状态、幂等键和执行前置条件。本文用运行手册的方式拆分两层校验、错误分类、回滚与复盘字段。105 收藏 -
RAG 重排应位于初召回之后、最终上下文装配之前。本文用候选评分示例说明片段索引映射、引用保留和上下文预算，并区分召回遗漏、排序不当及超时降级。245 收藏 -
多语言知识库不能只靠提示词或扩大 topK 后过滤。本文以 Qdrant 为例，说明如何规范化 language 元数据、建立 keyword payload index，在向量检索阶段完成语言约束，并处理过滤后结果不足的边界。172 收藏 -
科技周边 · 人工智能 | 2星期前 | 人工智能 · 人工智能 Hugging Face Inference Providers OpenAI Chat Completions 路由 API 模型标识 HF_TOKEN
Hugging Face Inference Providers 提供 OpenAI 兼容的 Chat Completions 路由。本文从 baseURL、HF token、messages 消息结构和模型路由后缀入手，给出一套可迁移的 Python 调用方式，并说明图片、嵌入等非聊天任务为什么要改用官方 InferenceClient。442 收藏 -
用 snapshot_download 的 allow_patterns 和 ignore_patterns 按需筛选模型仓库文件，并说明默认缓存、cache_dir 与 local_dir 的落盘差异。243 收藏 -
TGI 的输入长度不能只看 max_input_tokens。本文拆开 max_input_tokens、max_total_tokens、max_new_tokens 与模型上下文上限，给出配置示例、取舍和上线前检查方法。474 收藏