Go语言技术文章
-
Go 1.27 将 goroutineleak profile 正式纳入 runtime/pprof。本文从采集入口、pprof 定位、泄漏边界和运维闭环说明它如何帮助发现永久阻塞的 goroutine。463 收藏 -
Kubernetes Workload Conformance 工作组拟为工作负载建立可客观测试的运行行为标准。本文区分集群一致性、运行行为与业务结果，并从节点维护、API 依赖和资源配置说明跨环境兼容性判断的证据与边界。337 收藏 -
科技周边 · 人工智能 | 3天前 | 性能优化 · 人工智能 · 深度学习 · PyTorch CUDA SDPA scaled_dot_product_attention Flash Attention
PyTorch 的 scaled_dot_product_attention 默认会根据输入和设备选择可用实现。本文用 sdpa_kernel 说明如何做局部后端约束，并从 CUDA、dtype、mask、dropout、GQA 和数值精度几个条件判断 fused kernel 为什么回退。214 收藏 -
科技周边 · 人工智能 | 3天前 | 性能优化 · python · ONNX Runtime InferenceSession SessionOptions 图优化 Execution Provider
ONNX Runtime 可以在创建推理会话时对模型图做节点消除、常量折叠和算子融合。本文用 Python 说明如何显式设置 ORT_ENABLE_BASIC、ORT_ENABLE_EXTENDED 和 ORT_ENABLE_ALL，并比较在线优化与离线保存优化模型的适用边界。281 收藏 -
OpenTelemetry GenAI 记录 token 的关键是把模型响应里的 usage 字段映射到 gen_ai.usage.input_tokens 和 gen_ai.usage.output_tokens，再用 span 与指标边界控制隐私和重复统计。414 收藏 -
用 LlamaIndex 的 MetadataFilter 和 MetadataFilters 按租户、分类、年份等元数据筛选检索节点，并说明 AND/OR 组合、字段类型和向量库支持边界。157 收藏 -
MLflow Prompt Registry如何把production别名切回稳定版本，通过load_prompt处理缓存和应用重载，并记录实际版本、模板变量与发布依赖。234 收藏 -
LangChain 的工具返回值不是最终数据模型。本文用 Pydantic 与 ToolStrategy 拆开工具消息、结构化响应和错误边界，说明怎样把查询结果稳定地交给业务代码。135 收藏 -
用 Ollama 的 /api/embed 把本地文档切成片段并批量转换为向量，保留文本、模型和元数据映射，再用同一模型生成查询向量完成语义检索。230 收藏 -
Transformers Trainer 默认会移除模型 forward 未声明的数据集列。本文用 sample_weight 说明如何配置 remove_unused_columns 和 forward 参数，让自定义字段继续传入模型。344 收藏 -
vLLM prefix caching怎样复用共同前缀KV缓存：显式启用APC、稳定提示词结构，用冷暖对照观察首字延迟，并区分预填充优化与答案缓存。312 收藏 -
MCP 工具调用返回 input_required 时，如何保存不透明 requestState，处理 sampling、elicitation 或 roots 输入，并携带 inputResponses 重试原始调用。458 收藏 -
Gemini API 复用长文档的关键是创建显式 context cache，后续请求只发送新问题并引用 cachedContent。本文用 Python 示例说明 Files API、TTL、模型绑定、usage metadata 与文档版本切换。394 收藏 -
科技周边 · 人工智能 | 3天前 | python · 人工智能 · gemini · 结构化输出 · Pydantic JSON Schema Gemini API google-genai structured output
Gemini API structured output 可以让模型按 JSON Schema 返回稳定的对象结构。本文用一个工单字段抽取小例子说明 response_format、application/json、object、enum、array 和本地解析之间的关系，并区分结构约束与业务校验。136 收藏 -
科技周边 · 业界新闻 | 4天前 | 云原生 · kubernetes · 云原生 Kubernetes restartPolicy Sidecar Containers initContainers Pod生命周期
Kubernetes 原生 Sidecar Containers 自 v1.33 起稳定。本文用一个最小 YAML 说明它为什么写在 initContainers、如何由 started 和探针推进启动、为什么终止时应用先停，以及 Job、资源计算和旧版本兼容边界。458 收藏