人工智能技术文章
-
Haystack 的 Pipeline.run_async 可以用 concurrency_limit 限制一次异步管线中同时运行的组件数量。本文区分单次管线、多个调用和组件内部线程池三个边界,并给出 Python 调用示例。153 收藏 -
用 Responses API 的 usage 字段判断 prompt caching 是否命中,并通过稳定前缀、显式 breakpoint 与诊断信息排查缓存边界。150 收藏 -
Sentence Transformers 可以在 encode 阶段直接生成 binary 嵌入,也可以把已有 float32 向量交给 quantize_embeddings。本文说明 bit 打包后的 shape、dtype、保存元数据,以及二进制召回与高精度重排的配合方式。150 收藏 -
Transformers LogitsProcessorList 会按列表顺序依次处理生成分数。本文用最小长度、禁用词、分数归一化和自定义处理器说明如何组合规则,并给出接入 generate 与排查失效的实用方法。149 收藏 -
Hydra 可以用 defaults 组合模型、数据和设备配置组,再用 group=option 在命令行切换已声明的选项;对可能不存在的附加组件使用 optional,缺失时跳过该项。本文用一套小型训练配置说明两种覆盖方式和诊断参数。146 收藏 -
科技周边 · 人工智能 | 4星期前 | JSON · API · python · 人工智能 · 结构化输出 · 结构化输出 JSON Schema Gemini API response_schema response_mime_type additionalProperties
Gemini API 结构化输出要限制 JSON 字段,应把 response_mime_type 与 response_schema 一起配置,用 properties、required、enum 和额外字段策略约束形状,再在客户端校验业务语义。145 收藏 -
Hugging Face Transformers 的 generate 返回序列可能同时包含输入提示词和新生成 token。本文按 decoder-only、encoder-decoder、批量 padding 三种边界说明如何只解码新增内容,并解释 max_new_tokens、return_dict_in_generate 与 pipeline 输出的区别。145 收藏 -
用 Hugging Face DataCollatorWithPadding 在组 batch 时按最长序列动态补齐输入,解释 padding、max_length、attention_mask、标签 collator 与 pad_to_multiple_of 的选择。144 收藏 -
科技周边 · 人工智能 | 2星期前 | 协议 · 客户端 · 人工智能 · mcp · 工具调用 · resources JSON-RPC MCP MCP客户端 tools prompts 能力协商
MCP 客户端不要靠名称猜对象类型,而应先读取初始化响应中的 tools、resources、prompts 能力,再按 tools/list、resources/list、prompts/list 等方法路由。本文用统一目录、交互模型和安全指标拆开三类能力的边界。142 收藏 -
LLM 评测集要能回归,关键不是堆更多样本,而是让任务边界、输入字段、期望标签、版本来源和结果记录保持稳定关联。本文给出一套适合文本任务的样本契约、标签拆分和逐样本结果记录方式。141 收藏 -
用同一份 ONNX 模型比较 ONNX Runtime 动态量化与静态量化的部署差异,说明校准数据、批处理、缓冲区复用、精度和硬件选择之间的关系。139 收藏 -
Gradio queue 的并发和超时配置要分层处理:用 max_size 控制等待区,用 concurrency_limit 限制事件执行数,用 concurrency_id 保护共享资源,真正的函数超时交给下游调用层。139 收藏 -
从 provider 能力检查、单一后端加载到 providers 优先级回退,说明 Optimum ONNX Runtime 如何选择执行提供程序,以及 CUDA、TensorRT、量化模型的常见边界。136 收藏 -
科技周边 · 人工智能 | 2星期前 | python · 人工智能 · gemini · 结构化输出 · Pydantic JSON Schema Gemini API google-genai structured output
Gemini API structured output 可以让模型按 JSON Schema 返回稳定的对象结构。本文用一个工单字段抽取小例子说明 response_format、application/json、object、enum、array 和本地解析之间的关系,并区分结构约束与业务校验。136 收藏 -
LangChain 的工具返回值不是最终数据模型。本文用 Pydantic 与 ToolStrategy 拆开工具消息、结构化响应和错误边界,说明怎样把查询结果稳定地交给业务代码。135 收藏