Go语言技术文章
-
通过 Python 逐行解析 Ollama NDJSON 流,处理文本增量、完成标记、流内错误和连接关闭,并区分中断草稿与完整响应。167 收藏 -
vLLM OpenAI 兼容服务的并发限制要分三层:入口请求队列、运行态序列数和 token 预算。本文给出启动参数组合、503 边界与客户端退避思路。392 收藏 -
科技周边 · 人工智能 | 4天前 | 人工智能 · Transformers bitsandbytes 4-bit量化 BitsAndBytesConfig bnb_4bit_compute_dtype
Transformers 的 4-bit 配置容易把量化类型、计算类型和其它模块 dtype 混在一起。本文用 BitsAndBytesConfig 拆开三者边界,给出 NF4、bfloat16、dtype=auto 和 device_map 的实用配置方法。347 收藏 -
Transformers generate 的 output_scores 与 output_logits 都保存生成步分数,但前者是经过生成处理的 scores,后者更接近未处理的模型 logits。本文说明返回开关、数据结构和实际选择方法。393 收藏 -
RAG 应用排障不能只盯着最终答案。本文用 context_recall、context_precision、faithfulness 和 answer_correctness 拆分检索与生成问题,并给出一套可接入回归集的评估方法。476 收藏 -
用 OTTL set where 按服务与字段条件补日志属性,提供 Collector 配置,并说明资源层级、缺失值、覆盖、条件组合与错误策略。172 收藏 -
OpenTelemetry Go 编译期插桩通过 otelc 接管 Go 构建,在不修改业务源码的情况下为支持的依赖注入遥测。本文说明安装、构建替换、OTLP 环境变量、容器接入和与手工埋点及 eBPF 的边界。348 收藏 -
本文围绕 Gemini API 内置 URL Context,说明如何提交公开网页、如何读取 URL 引用与检索状态,以及 20 个 URL、34MB、登录墙和私有网络等输入边界。204 收藏 -
通过 previous_interaction_id 继续 Gemini 多轮会话,说明游标持久化、每轮配置、并发分支与保留期限,并提供 Python 示例。187 收藏 -
用 Gemini API 串联多个工具时,关键是把工具声明、模型决策、本地执行和结果回传拆开,并用依赖顺序控制调用链。265 收藏 -
GPT-6.1 Terra 上线后,评估重点不是复述发布会分数,而是用同一批代表性图片、相同 reasoning effort 和准确率、延迟、成本指标做回放,再决定灰度范围。452 收藏 -
CNCF 2026 年 9 月新增九家 Silver Member,能力覆盖 AI 工厂、生产推理、资源效率、主权 Kubernetes、托管云和数据检索。本文区分公告事实与趋势判断,说明 AI 基础设施投资为何从单纯算力扩展到推理运营、混合部署和数据访问。318 收藏 -
GitHub Actions 的多云 runner 与工作流依赖锁文件更新,不会强制改写现有 YAML,但会让网络白名单、依赖治理和发布门禁需要重新配置。341 收藏 -
KubeCon 2026 北美议程怎样观察云原生平台方向?本文把官方议程拆成活动层级、工作负载、平台能力和生产约束四个观察面,帮助团队把 AI 推理、Agent、调度、可移植性与韧性等议程信号转换成可讨论的工程问题。158 收藏 -
OpenSSF 的近期活动把开源安全从单点扫描扩展到项目治理。本文结合 OSPS Baseline、Scorecard、Best Practices Badge 与协作指南,说明维护者怎样补齐责任、贡献入口、漏洞披露、CI、发布证据和上游参与,并明确分数与徽章不能替代项目判断或正式合规结论。316 收藏