人工智能技术文章
-
通过 Python 逐行解析 Ollama NDJSON 流，处理文本增量、完成标记、流内错误和连接关闭，并区分中断草稿与完整响应。167 收藏 -
vLLM OpenAI 兼容服务的并发限制要分三层：入口请求队列、运行态序列数和 token 预算。本文给出启动参数组合、503 边界与客户端退避思路。392 收藏 -
科技周边 · 人工智能 | 2天前 | 人工智能 · Transformers bitsandbytes 4-bit量化 BitsAndBytesConfig bnb_4bit_compute_dtype
Transformers 的 4-bit 配置容易把量化类型、计算类型和其它模块 dtype 混在一起。本文用 BitsAndBytesConfig 拆开三者边界，给出 NF4、bfloat16、dtype=auto 和 device_map 的实用配置方法。347 收藏 -
Transformers generate 的 output_scores 与 output_logits 都保存生成步分数，但前者是经过生成处理的 scores，后者更接近未处理的模型 logits。本文说明返回开关、数据结构和实际选择方法。393 收藏 -
RAG 应用排障不能只盯着最终答案。本文用 context_recall、context_precision、faithfulness 和 answer_correctness 拆分检索与生成问题，并给出一套可接入回归集的评估方法。476 收藏 -
用 OTTL set where 按服务与字段条件补日志属性，提供 Collector 配置，并说明资源层级、缺失值、覆盖、条件组合与错误策略。172 收藏 -
OpenTelemetry Go 编译期插桩通过 otelc 接管 Go 构建，在不修改业务源码的情况下为支持的依赖注入遥测。本文说明安装、构建替换、OTLP 环境变量、容器接入和与手工埋点及 eBPF 的边界。348 收藏 -
本文围绕 Gemini API 内置 URL Context，说明如何提交公开网页、如何读取 URL 引用与检索状态，以及 20 个 URL、34MB、登录墙和私有网络等输入边界。204 收藏 -
通过 previous_interaction_id 继续 Gemini 多轮会话，说明游标持久化、每轮配置、并发分支与保留期限，并提供 Python 示例。187 收藏 -
用 Gemini API 串联多个工具时，关键是把工具声明、模型决策、本地执行和结果回传拆开，并用依赖顺序控制调用链。265 收藏 -
用 OpenTelemetry 的 trace、metric 和结构化日志记录 AI 应用的 token 用量与请求追踪信息，并比较日志、Collector 和厂商 SDK 的适用边界。323 收藏 -
MCP 客户端不要靠名称猜对象类型，而应先读取初始化响应中的 tools、resources、prompts 能力，再按 tools/list、resources/list、prompts/list 等方法路由。本文用统一目录、交互模型和安全指标拆开三类能力的边界。142 收藏 -
LangChain 的工具调用不是把返回值自动塞进任意列表，而是要用 AIMessage 中的调用记录和匹配的 ToolMessage 组成连续消息历史；工具还需要改状态时，再通过 Command 同时写回 messages 和自定义状态。250 收藏 -
Safetensors 文件可以先通过 safe_open 查看权重键和文件级元数据，再按目标键读取单个张量。本文说明 get_tensor、get_slice、metadata 的分工，并处理缺键、空元数据和分片模型边界。256 收藏 -
ONNX Runtime 的执行提供者应结合硬件、依赖、算子覆盖与模型形状选择。本文说明 CUDA、TensorRT、OpenVINO、DirectML 和 CoreML 的候选范围，提供注册顺序与性能比较示例，区分可用、注册和实际分配。371 收藏