人工智能技术文章
-
AI Agent工具调用不能把schema通过当作授权通过。本文以工单查询的假设故障区分输入契约、业务约束、可信身份与失败返回，说明权限拒绝、重试和结果未知的处理边界。349 收藏 -
RAG 入库前先做内容指纹，可以在向量化之前拦截完全重复片段，减少重复检索和上下文浪费。本文用 Python 演示文本规范化、SHA-256 指纹、元数据合并，以及近重复候选的处理边界。349 收藏 -
ONNX Runtime 服务中应按模型和会话配置创建一次 InferenceSession，再复用 session.run；并发数仍需按执行提供程序、输入状态和资源预算限制。本文用架构模式说明单会话、信号量、请求级输入与 DirectML 边界。349 收藏 -
ONNX Runtime 加载模型后，可以通过 InferenceSession.get_inputs() 读取每个输入 NodeArg 的名称、类型和形状。本文说明如何识别动态维度，并按真实输入名构造 feeds 映射。349 收藏 -
LiteRT int8 量化结果异常时，先检查代表性数据集是否复用了真实推理的预处理、shape、dtype 和数值分布。本文按输入契约拆解多输入签名、校准范围与样本覆盖的排查方法。348 收藏 -
OpenAI Responses API 保留多轮上下文有两条常用路径：用 conversation 保存可跨会话复用的状态，或用 previous_response_id 串联相邻响应。本文用最小 Node.js 示例说明两种写法、指令重发、token 计费和上下文窗口边界。348 收藏 -
RAG 多版本文档不要只靠向量相似度区分新旧内容。本文用版本元数据、检索前过滤、索引和压测指标，给出一套可落地的候选过滤方案。346 收藏 -
Hugging Face Datasets 在 filter、select 或 shuffle 后可能通过索引映射访问原始数据。本文说明 flatten_indices 如何把这些逻辑行重新写成连续数据，并给出缓存路径、写入批次、内存和并行参数的选择方法。344 收藏 -
从任务拆解、难度信号、试测校准和分层抽样四个环节构建 LLM 评测集，让总分之外还能看清模型在哪个能力层级上变化。343 收藏 -
自定义 Keras train_step 时，正则损失可能被遗漏。本文说明如何在前向传播后读取 self.losses，与任务损失合并为 total_loss，并让梯度、fit 指标和 sample_weight 处理保持一致。343 收藏 -
科技周边 · 人工智能 | 6天前 | python · 人工智能 · 结构化输出 · AI Hugging Face 结构化输出 JSON Schema TGI Inference Providers grammar response_format
AI JSON Schema 约束输出时，应把 Schema 作为 response_format 或 TGI grammar 的协议参数，并按解析、业务校验和下游处理的生命周期区分格式正确与答案正确。339 收藏 -
Diffusers直接放入GPU通常速度更快但显存峰值更高，CPU卸载能降低常驻显存却增加设备搬运。本文对比两种方式及model级、sequential级卸载的选择边界。338 收藏 -
Keras mixed_float16 训练出现 NaN 时，先用 float32 建立对照，再检查输入有限性、数值范围、前向损失和梯度，区分数据问题、低精度敏感计算与 loss scale 问题。本文给出最小排查代码和迁移修复顺序。337 收藏 -
以 Chroma 为例，把节点 metadata 与 MetadataFilters 对应起来，演示等值 AND 过滤、模拟嵌入检索和临时集合清理，并解释字段类型、top-k、空结果及后端支持范围。334 收藏 -
讲清 Hugging Face Catalog API 的模型与配方关系，并用 huggingface_hub 完成目录筛选、精确创建、状态等待和成本控制。333 收藏