人工智能技术文章
-
多模型服务应统一 role/content 消息结构，而不是硬编码一套控制 token。本文用 tokenizer.apply_chat_template 建立模型契约层，区分普通回复、预填续写与训练格式，并说明特殊 token 和能力边界。154 收藏 -
从零实现一个 RRF 混合检索融合器，把关键词与向量排名统一去重、计分，并输出可直接交给 RAG 的候选文档。373 收藏 -
从标题路径、递归切分、token 上限和召回聚合四个环节，说明 RAG 如何减少断章与误召回。300 收藏 -
时间切分不能证明评测集绝对无污染，但能用训练截止时间、样本最早来源时间、冻结时间和评测时间建立可审计边界。本文给出三桶切分、重复检测、检索隔离、分窗报告与滚动换题方案。356 收藏 -
语义检索是否需要第二阶段重排，关键不在模型更强，而在第一阶段已能召回正确文档、前排仍错序且业务能承担额外时延。本文用 Recall@K、NDCG/MRR、P95 和单次成本给出决策与实现方法。449 收藏 -
科技周边 · 人工智能 | 5天前 | 缓存 · 人工智能 · 提示词工程 · 提示词缓存 cache_control Prompt Caching 静态前缀 cache_read_input_tokens
提示词缓存命中率低时，先把工具定义、系统规则和稳定上下文划为前缀，把时间戳、用户问题和检索结果留在后缀，再用 usage 字段判断断点、TTL、长度门槛和并发时序问题。453 收藏 -
模型路由不应只选模型，还要分别控制推理强度与硬上限。本文给出四档难度信号、升级条件、Go 路由示例和最小回归指标，帮助团队兼顾质量、延迟与成本。232 收藏 -
用固定节点、根递归引用和输出预算约束结构化输出中的树状字段，并区分正常结果、拒答与截断响应。215 收藏 -
智能体工具重试的关键不是固定重放，而是先分类失败，再用共享预算、幂等键、退避、熔断和审计日志控制风险。本文给出三种策略对比与可运行的 Python 控制器。236 收藏 -
多模态模型的视觉令牌主要受图片预处理分辨率和图片数量影响。本文以 Transformers 与 Qwen2.5-VL 为例，说明如何用 min_pixels、max_pixels 和任务分级配置控制显存、延迟与识别细节。196 收藏 -
连续批处理会在每轮推理后移出已完成请求并补入新请求，减少批次槽位浪费；调优还需同时约束 Token 预算、KV Cache 与延迟。404 收藏 -
静态量化的校准集不能只随机抽训练样本。本文从线上预处理、来源领域、长度形状、常见分布和关键长尾建立覆盖矩阵，并说明如何用独立评估与漂移监控判断校准是否可靠。372 收藏 -
LoRA 合并后输出变化很大，先不要盲目重训。本文从基础模型、适配器缩放、量化与 dtype、推理随机性和 tokenizer 五层排查，并给出确定性对照代码与回归清单。404 收藏 -
RAG 的 chunk_overlap 过大，会让相邻分块产生高度相似的向量，top-k 被同一来源的重复内容占满。本文从切分边界、候选池、去重和 MMR 重排四个方面给出可回归的调整方法。409 收藏 -
合成数据不能仅凭外观接近真实样本就直接替代。本文从覆盖率、分布与相关关系、真实留出集任务效果、偏差和隐私四层检查，说明如何决定它适合补充、加权使用还是禁止替代。128 收藏