人工智能技术文章
-
本文演示 PEFT 多个 LoRA adapter 的命名加载、加权组合与推理激活，说明 linear、cat、SVD、TIES 和 DARE 的选择边界及评测方法。454 收藏 -
科技周边 · 人工智能 | 2星期前 | 缓存 · 人工智能 · 提示词工程 · 提示词缓存 cache_control Prompt Caching 静态前缀 cache_read_input_tokens
提示词缓存命中率低时，先把工具定义、系统规则和稳定上下文划为前缀，把时间戳、用户问题和检索结果留在后缀，再用 usage 字段判断断点、TTL、长度门槛和并发时序问题。453 收藏 -
语义检索是否需要第二阶段重排，关键不在模型更强，而在第一阶段已能召回正确文档、前排仍错序且业务能承担额外时延。本文用 Recall@K、NDCG/MRR、P95 和单次成本给出决策与实现方法。449 收藏 -
AI 生成内容要可追溯，关键不是只保存最终答案，而是把来源实体、检索与生成活动、模型和人工角色拆开记录，再用稳定 ID 串成可查询的引用链。448 收藏 -
Hugging Face Datasets 的 ClassLabel 不应根据每个数据切片临时推导。本文用固定 names 顺序统一训练、验证和推理标签，并说明 map、cast_column、names_file、int2str 与 str2int 的边界。447 收藏 -
从 trace、run、step 三层标识出发，设计 AI Agent 工具调用轨迹，保存输入输出与版本上下文，并用夹具和沙箱划清安全回放边界。444 收藏 -
RAG 分块不应让普通长文、代码和表格共用一套硬切规则。本文从召回偏移的常见症状出发，说明如何保留标题段落、函数符号、表头与行组边界，并用统一元数据和小样本查询复盘检索质量。443 收藏 -
科技周边 · 人工智能 | 1星期前 | 人工智能 · 人工智能 Hugging Face Inference Providers OpenAI Chat Completions 路由 API 模型标识 HF_TOKEN
Hugging Face Inference Providers 提供 OpenAI 兼容的 Chat Completions 路由。本文从 baseURL、HF token、messages 消息结构和模型路由后缀入手，给出一套可迁移的 Python 调用方式，并说明图片、嵌入等非聊天任务为什么要改用官方 InferenceClient。442 收藏 -
Hugging Face Datasets 的 IterableDataset 如果 reshard 后仍只有一个 shard，继续调用物理分片并不能解决切分问题。正确做法是先完成 shuffle，再用 skip 和 take 构造逻辑窗口，并明确 offset、limit、短流和重复遍历的边界。441 收藏 -
OpenAI embeddings 的 dimensions 不是越大越好。本文从默认维度、向量库限制、检索质量、存储与回滚几个方面，说明 text-embedding-3-small 和 text-embedding-3-large 怎样选择维度缩减参数。439 收藏 -
model card 更适合作为输入契约的索引，而不是可直接提交的接口 schema。本文按输入模态、字段形态、编码与容量、禁止项和已知局限拆读，再用官方 API 文档确认最终请求字段。439 收藏 -
用 Hugging Face Transformers generate 控制新生成 token 数，厘清 max_new_tokens 与 max_length 的区别，并给出批量解码和长度边界的实用写法。437 收藏 -
模型从单体改成包装层后，旧检查点常因 module. 前缀出现 missing_keys 和 unexpected_keys。本文用目标模型键集合驱动映射，配合 strict=False 诊断并在对齐后恢复 strict=True。436 收藏 -
多租户 RAG 不能只在召回后过滤。本文从元数据设计、租户过滤器构造、向量检索和结果复核四个环节，给出一套可迁移的隔离实现方法。433 收藏 -
Embedding 维度变化不是改一个配置值就结束。稳妥做法是新建版本化索引，回填历史数据，双写新数据，用固定查询集灰度比较后再切换。429 收藏