人工智能技术文章
-
通过固定权重示例说明Captum NoiseTunnel如何包装Saliency完成多次加噪归因,介绍采样数、噪声幅度、分批处理,以及解释服务的资源限制与配置记录。500 收藏 -
Tokenizer处理超长输入应明确token总预算、截断序列与保留方向。本文介绍Transformers的truncation策略、成对输入的only_second,以及用重叠窗口保留长材料的方法和限制。500 收藏 -
科技周边 · 人工智能 | 1星期前 | 人工智能 · openai · Webhook · WebHook OpenAI Responses API background response response.completed
OpenAI Responses API 的后台请求可以用 webhook 接收完成通知。本文按一次接入迁移的实际顺序,说明 background: true、response.completed、原始请求体签名校验、event.data.id 取回完整响应,以及重复投递和错误分支的处理边界。499 收藏 -
科技周边 · 人工智能 | 1星期前 | 人工智能 · 工具调用 · Transformers JSON Schema 工具调用 chat template apply_chat_template tool_calls
Transformers chat template 接入工具调用时,工具定义应通过 tools 传入,assistant 的 tool_calls 保留列表和嵌套字段,tool 结果写入字符串 content。本文给出完整消息结构、apply_chat_template 调用方式和字段丢失排查表。495 收藏 -
Transformers 的 no_repeat_ngram_size 是一个硬约束:当它大于 0 时,同样大小的 n-gram 在生成序列中只能出现一次。本文从重复片段的根因出发,说明 2、3、4 的选择、与 repetition_penalty 的分工,以及约束过强时如何回退。493 收藏 -
AI 流式接口会同时发送文本增量、工具调用参数和生命周期事件。本文用事件类型建立统一分流规则,说明 OpenAI Responses 与 Gemini Interactions 的差异,以及工具参数何时才适合解析。491 收藏 -
Sentence Transformers semantic_search 的分块大小由 query_chunk_size 和 corpus_chunk_size 控制。本文区分编码 batch_size、检索 chunk 与 top_k,给出按内存和耗时逐步调整的处理方法。491 收藏 -
结合未截断编码、special_tokens_mask和模型包装开销,判断Hugging Face tokenizer的截断边界;解释文本对only_second、sequence_ids及SEP/EOS不能证明正文完整的原因。489 收藏 -
DuckDB 读取 year=YYYY/month=MM 目录下的 Hive Parquet 时,可以通过 read_parquet 的 hive_partitioning=true 将目录键值带成可查询的分区列;本文说明自动识别、日期类型推断和分区过滤的边界。488 收藏 -
Gemini API Batch 适合输入已准备好、结果不要求实时返回的大量生成任务。本文用 Python 和 JSONL 说明文件上传、批任务创建、状态轮询、逐行结果处理、幂等边界与批次拆分策略。486 收藏 -
AI 模型评测实验集不能只把训练数据随机切一份。本文从样本契约、JSONL/Parquet 存储、validation 与 test 隔离、指标选择和版本记录五个方面,说明如何把评测边界固定下来,并用 Hugging Face Datasets 与 Evaluate 读取和计算结果。485 收藏 -
librosa可通过起音强度包络与选峰提取起音位置。本文给出短音频检测函数,说明采样参数、阈值、回溯和空结果处理,帮助区分起音候选、节拍与实际切割边界。484 收藏 -
说明 Accelerate max_memory 的 GPU 编号、CPU 预算和容量单位,给出规划与加载代码,并解释权重布局与推理峰值内存的区别。484 收藏 -
PEFT 中启用和停用 LoRA,关键是区分临时禁用全部适配器、按名称切换活动适配器,以及永久卸载模块。本文用 PeftModel 和 Transformers 两种接口说明调用边界,并给出状态检查清单。483 收藏 -
科技周边 · 人工智能 | 3星期前 | 人工智能 · 工程实践 · 多轮对话 OpenAI Responses API conversation state previous_response_id
用 previous_response_id 把 OpenAI Responses API 的两轮请求串起来,讲清指令是否继承、store 与响应保留、链式输入计费,以及何时应该改用 Conversations API。481 收藏