人工智能技术文章
-
Gemini API Batch 适合输入已准备好、结果不要求实时返回的大量生成任务。本文用 Python 和 JSONL 说明文件上传、批任务创建、状态轮询、逐行结果处理、幂等边界与批次拆分策略。486 收藏 -
Gemini API 的工具参数如果只有有限几个合法值，可以在 function declaration 的属性 Schema 中使用 enum 声明候选集合。本文从参数进入工具声明、模型返回调用到应用侧执行，说明 enum、required、description 和业务校验各自负责什么。322 收藏 -
用 OpenTelemetry 把 AI 代理、模型、工具和下游依赖串成一棵 Trace 树，并用结构化事件记录重试、业务拒绝和异常原因。250 收藏 -
通过 Python 逐行解析 Ollama NDJSON 流，处理文本增量、完成标记、流内错误和连接关闭，并区分中断草稿与完整响应。167 收藏 -
vLLM OpenAI 兼容服务的并发限制要分三层：入口请求队列、运行态序列数和 token 预算。本文给出启动参数组合、503 边界与客户端退避思路。392 收藏 -
科技周边 · 人工智能 | 10小时前 | 人工智能 · Transformers bitsandbytes 4-bit量化 BitsAndBytesConfig bnb_4bit_compute_dtype
Transformers 的 4-bit 配置容易把量化类型、计算类型和其它模块 dtype 混在一起。本文用 BitsAndBytesConfig 拆开三者边界，给出 NF4、bfloat16、dtype=auto 和 device_map 的实用配置方法。347 收藏 -
Transformers generate 的 output_scores 与 output_logits 都保存生成步分数，但前者是经过生成处理的 scores，后者更接近未处理的模型 logits。本文说明返回开关、数据结构和实际选择方法。393 收藏 -
RAG 应用排障不能只盯着最终答案。本文用 context_recall、context_precision、faithfulness 和 answer_correctness 拆分检索与生成问题，并给出一套可接入回归集的评估方法。476 收藏 -
用 OTTL set where 按服务与字段条件补日志属性，提供 Collector 配置，并说明资源层级、缺失值、覆盖、条件组合与错误策略。172 收藏 -
OpenTelemetry Go 编译期插桩通过 otelc 接管 Go 构建，在不修改业务源码的情况下为支持的依赖注入遥测。本文说明安装、构建替换、OTLP 环境变量、容器接入和与手工埋点及 eBPF 的边界。348 收藏 -
本文围绕 Gemini API 内置 URL Context，说明如何提交公开网页、如何读取 URL 引用与检索状态，以及 20 个 URL、34MB、登录墙和私有网络等输入边界。204 收藏 -
通过 previous_interaction_id 继续 Gemini 多轮会话，说明游标持久化、每轮配置、并发分支与保留期限，并提供 Python 示例。187 收藏 -
用 Gemini API 串联多个工具时，关键是把工具声明、模型决策、本地执行和结果回传拆开，并用依赖顺序控制调用链。265 收藏 -
用 OpenTelemetry 的 trace、metric 和结构化日志记录 AI 应用的 token 用量与请求追踪信息，并比较日志、Collector 和厂商 SDK 的适用边界。323 收藏 -
MCP 客户端不要靠名称猜对象类型，而应先读取初始化响应中的 tools、resources、prompts 能力，再按 tools/list、resources/list、prompts/list 等方法路由。本文用统一目录、交互模型和安全指标拆开三类能力的边界。142 收藏