人工智能技术文章
-
模型流的网络字节、SSE 帧和 UTF-8 字符不是同一条边界。本文用 Go 的 unicode/utf8 保存不完整尾部，说明如何在增量渲染中避免半个字符变成乱码，并划清 SDK 文本事件与原始字节适配层的职责。140 收藏 -
统一 Hugging Face Evaluate 输入时，应该统一 predictions 和 references 的批次外壳，同时以 metric.features 保留每个指标的元素类型与嵌套边界。本文给出适配器写法、compute 与 add_batch 共用方式，以及组合指标前必须检查的兼容条件。134 收藏 -
梳理 Transformers generate 的 EOS、max_new_tokens、stop_strings 与自定义 StoppingCriteria，演示批量提示词、多候选返回、纯新增 token 解码和输出分组。133 收藏 -
AI Agent 执行长任务时，真正难的是中途失败后从哪里继续。本文围绕 checkpoint、恢复点和幂等回放，拆解状态保存、重启恢复、重复执行与回归验收的工程边界。132 收藏 -
PDF 图表检索失败时，先区分抽取、模态 embedding、向量集合和视觉重排四层。本文用固定回归样本和配置检查，定位图表到底在哪一层丢失。132 收藏 -
本文围绕 PyTorch ONNX 导出的 dynamic_axes，说明如何为文本模型声明动态 batch 和序列长度，解释输入输出轴对齐，并区分传统导出路径与新 dynamo 导出器的 dynamic_shapes。131 收藏 -
科技周边 · 人工智能 | 2天前 | 人工智能 · Hugging Face Datasets streaming IterableDataset Dataset.shuffle shuffle buffer
Hugging Face Datasets 的 Dataset.shuffle 会为内存数据集建立全量索引映射，IterableDataset.shuffle 则通过 shard 顺序和有限 shuffle buffer 做近似随机。本文解释两者的访问模型、随机范围、性能代价与训练参数选择。130 收藏 -
合成数据不能仅凭外观接近真实样本就直接替代。本文从覆盖率、分布与相关关系、真实留出集任务效果、偏差和隐私四层检查，说明如何决定它适合补充、加权使用还是禁止替代。128 收藏 -
本地模型只缩短了资料到推理引擎的链路，并不会自动封闭插件、日志、向量库、监听端口、同步备份和输出协作等路径。本文用“本地受控处理区”模式梳理常见泄露面、典型实现、反例和上线检查清单。127 收藏 -
视觉模型遇到 20MB 以上图片时，真正棘手的是尺寸预算、上传方式和重试边界同时变化。本文从请求前预缩放、分块上传到失败回收，拆解一条可验证的图片输入链路，并说明什么时候应该拒绝重试。124 收藏 -
量化模型精度下降时，不要只看一个总分。本文用固定输入、配对预测和分桶误差，区分评测条件不一致、长输入敏感与校准集覆盖不足，并给出可复用的对照脚本。124 收藏 -
远程 HTTP MCP 的 OAuth 授权不能只把 Bearer token 透传过去。客户端要以 MCP 服务器的 canonical URI 作为 resource，同时放入授权请求和令牌请求；服务端还要校验 token 是否确实签发给自己。本文用一个最小实现拆开这条受众绑定链路，并说明 401、403 与跨服务器误用的边界。123 收藏 -
RAG 系统把 Markdown 表格按换行或固定字符数切开后，检索结果常常只剩半行字段，模型看似答对却无法说明数据关系。本文用 Markdown AST 识别表格边界、保留表头与行上下文，再用可验收的切片结果接入向量索引。121 收藏 -
在 Transformers generate 中自定义 StoppingCriteria，用 tokenizer 生成的 token 序列匹配等标记，并处理批量生成、提示词误匹配和兜底长度限制。 120 收藏 -
MCP 2026-07-28 将协议层改为无状态，但业务仍可能有状态。本文用显式句柄、请求级路由、缓存范围和 Trace Context 拆解迁移边界。119 收藏