Go语言技术文章
-
数据集无法完整下载时,可以用 Hugging Face Datasets 的 streaming=True 逐条读取,得到 IterableDataset 后再进行有限缓冲区打乱、map 预处理和按步数训练。本文给出最小写法,并说明随机访问、take/skip 和 Transformers 训练边界。275 收藏 -
Transformers 中的 tokenizer 可以用 padding 补齐短文本、用 truncation 截断长文本,再通过 max_length 或 pad_to_multiple_of 对齐批量输入。本文用最小 Python 示例说明批内最长、固定长度和硬件倍数三种场景,并解释 input_ids 与 attention_mask 如何配合检查结果。207 收藏 -
Transformers 处理多模态批次时,关键不是把图片简单塞进列表,而是让每条样本的消息结构、处理器字段和结果顺序保持一致。本文用 AutoProcessor、聊天模板、padding 与 micro-batch 说明一套可落地的批处理写法。317 收藏 -
Transformers 可以在 from_pretrained 加载阶段通过 BitsAndBytesConfig 启用 8-bit 或 4-bit 量化,显著降低模型权重占用。本文从估算、依赖、加载代码、8-bit 与 4-bit 取舍以及内存统计五个环节说明怎样把量化配置落到实际推理环境。306 收藏 -
用 Transformers 与 PEFT 配置 LoRA:冻结预训练底座,只训练低秩适配器,并通过 Trainer 保存和恢复轻量检查点。460 收藏 -
Transformers用TextIteratorStreamer将生成与文本消费分开,实现逐步输出。本文提供单请求原创函数,说明队列超时、协作取消、后台异常回传和完成事件,并给出服务接入的观察指标。340 收藏 -
CLIP 增删候选标签后,已保留标签的概率也会变化,根因是 softmax 的归一化分母变了,而不是模型重新理解了图像。本文从 logits_per_image、分母和工程阈值三个层面说明如何正确比较结果。210 收藏 -
用 Transformers pipeline 接入已经微调好的文本分类模型,完成单条与批量文本推理,解释 label、score、top_k、batch_size 和 CPU 设备参数的边界。211 收藏 -
OpenSSF Scorecard 的 Dangerous-Workflow 检查主要关注 GitHub Actions 中的不可信代码检出与脚本注入风险。本文按触发器、权限、检出对象和变量边界拆解检查结果,并给出一份便于复查的最小工作流写法。323 收藏 -
Sigstore bundle 不是单独的签名文件,而是把签名内容与证书、公钥提示、透明日志和时间证明组织成可传递的验证输入。本文按当前 v0.3 结构说明保存边界,并给出 cosign 生成与复用 bundle 的迁移清单。157 收藏 -
SPDX 用 AND、OR、WITH 和括号表达组合授权。本文说明连接关系、例外绑定与组件归属,帮助依赖清单保留授权结构。275 收藏 -
OpenSSF GUAC 的作用不是重新生成一份 SBOM,而是把 SBOM、构建证明、漏洞和 VEX 等元数据围绕软件实体组织成可查询关系图。本文解释输入、身份对齐、关系查询和数据边界。446 收藏 -
科技周边 · 业界新闻 | 6天前 | 云原生 · kubernetes · 网络安全 · tls Kubernetes Gateway API SNI BackendTLSPolicy SubjectAltNames
用 BackendTLSPolicy 给 Gateway 到 Service 后端的 TLS 连接定义目标、SNI、证书信任根和可选 SAN 校验,并说明 CACertificateRefs、System 与 PolicyStatus 的边界。233 收藏 -
OpenAPI 的 webhooks 字段能把服务方主动推送的事件写成可生成的契约,但它不会替你完成注册、验签、幂等和重试。本文用一个最小 YAML 示例拆分规范字段、Callback 边界与生成器落地清单。201 收藏 -
SBOM 规范更新会影响格式版本、组件身份和依赖关系的交换。本文区分规范版本与文档修订、局部引用与外部标识,说明格式转换可能丢失的语义和工具对接方法。184 收藏