人工智能技术文章
-
用 Hugging Face Transformers generate 控制新生成 token 数，厘清 max_new_tokens 与 max_length 的区别，并给出批量解码和长度边界的实用写法。437 收藏 -
科技周边 · 人工智能 | 2个月前 | websocket · 人工智能 · gemini · Gemini Live API session resumption SessionResumptionUpdate GoAway
Gemini Live API 的 WebSocket 连接会周期性结束，单纯重连会丢掉上下文。本文用 session resumption 保存最新恢复句柄，再结合 GoAway.timeLeft、generationComplete 和上下文压缩处理重连时机与数据边界。436 收藏 -
模型从单体改成包装层后，旧检查点常因 module. 前缀出现 missing_keys 和 unexpected_keys。本文用目标模型键集合驱动映射，配合 strict=False 诊断并在对齐后恢复 strict=True。436 收藏 -
本文说明 PyTorch DataLoader 的 persistent_workers 如何影响 worker 进程、迭代器和 Dataset 副本的生命周期，给出跨 epoch 复用的最小配置，并说明内存、状态管理、IterableDataset 分片和调试边界。435 收藏 -
Gemini Files API 适合复用 PDF、图片、音视频等媒体，但上传成功不等于可以立刻调用。本文用 Go 拆开 ACTIVE 状态、48 小时保存、项目与单文件上限、主动删除和调用前复查，给出一条可回收、可重试的文件生命周期方案。433 收藏 -
本地大模型量化后变慢，不一定是量化本身造成的。本文用显存峰值、首 token 延迟、生成 token/s 和上下文长度的对照实验，区分权重显存压力与 KV Cache 上下文瓶颈，并比较 4/8 bit、缓存卸载和量化缓存的选择。433 收藏 -
多租户 RAG 不能只在召回后过滤。本文从元数据设计、租户过滤器构造、向量检索和结果复核四个环节，给出一套可迁移的隔离实现方法。433 收藏 -
科技周边 · 人工智能 | 1个月前 | 人工智能 · api设计 · gemini · AI Agent Gemini Interactions API previous_interaction_id store=false 多轮状态
梳理 Gemini Interactions API 多轮状态的真实继承范围，说明 previous_interaction_id、交互级配置与 store=false 的取舍边界。432 收藏 -
大模型返回的 JSON 偶尔缺字段、枚举值漂移或混入解释文字时，不能只继续堆提示词。本文按输出稳定性、供应商能力和业务风险比较提示词约束、结构化输出与服务端校验，给出可落地的组合选择和验收门槛。431 收藏 -
多模态模型处理跨页 PDF 表格时，字段错位往往来自分页、表头和行号没有对齐。本文把 PDF 页面切片、表头继承、行号复核和低置信度回收串成一条可操作的排查链，给出结构化结果验收方法。430 收藏 -
Embedding 维度变化不是改一个配置值就结束。稳妥做法是新建版本化索引，回填历史数据，双写新数据，用固定查询集灰度比较后再切换。429 收藏 -
从稳定前缀、动态后缀、完整块、路由条件和租户隔离入手，说明 AI Prompt 前缀缓存怎样处理，以及为什么看起来相似的请求仍可能未命中。429 收藏 -
长对话和工具循环会不断消耗上下文。本文用 Go 拆解 Responses API 的 /responses/compact、type=compaction 项和续接请求，说明什么时候压缩、哪些状态不能丢，以及如何做回归检查。428 收藏 -
Hugging Face 的 hf_fs MCP 把仓库、存储、文档和论文入口收进一个接口。本文解释它解决的上下文问题、如何划定权限边界，以及接入前应该核对哪些事实和回退路径。427 收藏 -
Gemini API 的 URL Context 能读取公开网页，但应用不能只看模型有没有输出。本文用 Go 检查 url_context_result、引用标注、输入 token 与失败回退，建立一条可验收的网页上下文链路。426 收藏