引入全新的GIF框架:以人类为榜样,数据集扩增的新范式已经到来
来源:51CTO.COM
时间:2023-12-14 16:01:10 406浏览 收藏
偷偷努力,悄无声息地变强,然后惊艳所有人!哈哈,小伙伴们又来学习啦~今天我将给大家介绍《引入全新的GIF框架:以人类为榜样,数据集扩增的新范式已经到来》,这篇文章主要会讲到等等知识点,不知道大家对其都有多少了解,下面我们就一起来看一吧!当然,非常希望大家能多多评论,给出合理的建议,我们一起学习,一起进步!
- 论文链接:https://browse.arxiv.org/pdf/2211.13976.pdf
- GitHub:https://github.com/Vanint/DatasetExpansion
众所周知,深度神经网络的性能很大程度上依赖于训练数据的数量和质量,这使得深度学习难以广泛地应用在小数据任务上。例如,在医疗等领域的小数据应用场景中,人力收集和标注大规模的数据集往往费时费力。为了解决这一数据稀缺问题并最小化数据收集成本,该论文探索了一个数据集扩增新范式,旨在自动生成新数据从而将目标任务的小数据集扩充为更大且更具信息量的大数据集。这些扩增后的数据集致力于提升模型的性能和泛化能力,并能够用于训练不同的网络结构
该工作发现只是利用现存方法无法很好地扩充数据集。(1)随机数据增强主要改变图片的表面视觉特征,但不能创造具有新物体内容的图片(如下图的荷花依然是同一个,没有新荷花的生成),因此所引入的信息量有限。更为严重的是,随机数据增强可能会裁剪医学图像的病灶(变)位置,导致样本的重要信息减少,甚至产生噪声数据。(2)直接利用预训练的生成(扩散)模型进行数据集扩增也不能很好地提升模型在目标任务上的性能。这是因为这些生成模型的预训练数据往往与目标数据存在较大的分布差异,这导致它们所生成的数据与目标任务存在一定的分布和类别差距,无法确保所生成的样本带有正确的类别标签且对模型训练有益。
为了更有效地进行数据集扩增,研究人员探索了人类的联想学习。当人类拥有物体的先验知识时,可以轻松地想象出该物体的不同变体,例如下图中狗子在不同种类、不同颜色、不同形状或不同背景下的变体。这种想象学习的过程对于数据集扩增非常有启发性,因为它不仅仅是简单地扰动图片中动物体的外观,而是应用了丰富的先验知识来创建具有新信息量的变体图片
然而,我们无法直接建模人类作为先验模型来进行数据想象。但幸运地是,近期的生成模型(如 Stable Diffusion,DALL-E2)已经展现了强大的拟合大规模数据集分布的能力,能够生成内容丰富且逼真的图片。这启发了该论文使用预训练的生成模型作为先验模型,利用它们强大的先验知识来对小数据集进行高效地数据联想和扩增。
基于上述想法,该工作提出了一个新的指导式想象扩增框架(Guided Imagination Framework, GIF)。该方法能够有效提升深度神经网络在自然和医疗图片任务上的分类性能和泛化能力,并极大地减少因人工数据收集和标注所带来的巨大成本。同时,所扩增的数据集也有助于促进模型的迁移学习,并缓解长尾问题。
接下来让我们看看,这一数据集扩增新范式是怎么设计的。
方法
数据集扩增的挑战和指导标准 设计数据集扩增方法会有两个关键挑战:(1)如何使生成的样本带有正确的类别标签?(2)如何确保生成的样本带有新的信息量,从而促进模型训练?为了解决这两个挑战,该工作通过大量的实验发现了两个扩增指导标准:(1)类别一致的信息增强;(2)样本多样性提升。
方法框架 基于所发现扩增指导标准,该工作提出了指导式想象扩增框架(GIF)。对于每个输入的种子样本 x,GIF 首先利用先验生成模型的特征提取器提取样本特征 f,并对该特征进行噪音扰动:。设置噪音(z,b)最简单的方式是采用高斯随机噪声,但是它无法确保所生成的样本具有正确的类别标签并带来更多的信息量。因此,为了进行有效的数据集扩增,GIF 基于其发现的扩增指导标准对噪声扰动进行优化,即
。
所用到的扩增指导标准实现如下。类一致的信息量指标:;样本多样性指标:
。通过最大化这两个指标,GIF 能够有效优化噪声扰动,从而生成既保持类别一致性,又带来更大信息量的样本。
实验
扩增有效性 GIF 具有更强的扩增有效性:GIF-SD 在 6 个自然数据集上平均提高了 36.9% 分类精度,并在 3 个医疗数据集上平均提高了 13.5% 分类精度。
扩增效率 GIF 具有更强的扩增有效率:在 Cars 和 DTD 数据集上,使用 GIF-SD 进行 5 倍扩增的效果甚至超过了使用随机数据增强进行 20 倍扩增的效果。
可视化结果 现有的数据增强方法无法生成新的图像内容,而 GIF 可以较好地生成带有新内容的样本。
现有的增强方法可能会削减医学图像中病变位置,导致样本信息减少并产生噪声,而GIF可以更好地保留它们的类别语义
计算和时间成本 与人工数据收集和标注相比,GIF 能够极大地降低数据集扩增的时间和成本。
扩增数据的通用性 一旦完成扩增,这些数据集可以直接用于训练各种不同的神经网络模型结构。
提升模型泛化能力 GIF 有助于提升模型的分布外泛化性能(OOD generalization)。
缓解长尾问题 GIF 有助于缓解长尾问题。
安全性检测 GIF 生成的图像是安全且无害的。
基于上述实验结果,我们有理由相信通过模拟人类的类比与想象学习,该论文所设计的方法能够有效地扩增小数据集,从而提升深度神经网络在小数据任务场景上的落地和应用。
以上就是《引入全新的GIF框架:以人类为榜样,数据集扩增的新范式已经到来》的详细内容,更多关于模型,训练的资料请关注golang学习网公众号!
-
501 收藏
-
501 收藏
-
501 收藏
-
501 收藏
-
501 收藏
-
366 收藏
-
245 收藏
-
369 收藏
-
499 收藏
-
325 收藏
-
182 收藏
-
380 收藏
-
201 收藏
-
211 收藏
-
195 收藏
-
446 收藏
-
477 收藏
-
- 前端进阶之JavaScript设计模式
- 设计模式是开发人员在软件开发过程中面临一般问题时的解决方案,代表了最佳的实践。本课程的主打内容包括JS常见设计模式以及具体应用场景,打造一站式知识长龙服务,适合有JS基础的同学学习。
- 立即学习 542次学习
-
- GO语言核心编程课程
- 本课程采用真实案例,全面具体可落地,从理论到实践,一步一步将GO核心编程技术、编程思想、底层实现融会贯通,使学习者贴近时代脉搏,做IT互联网时代的弄潮儿。
- 立即学习 508次学习
-
- 简单聊聊mysql8与网络通信
- 如有问题加微信:Le-studyg;在课程中,我们将首先介绍MySQL8的新特性,包括性能优化、安全增强、新数据类型等,帮助学生快速熟悉MySQL8的最新功能。接着,我们将深入解析MySQL的网络通信机制,包括协议、连接管理、数据传输等,让
- 立即学习 497次学习
-
- JavaScript正则表达式基础与实战
- 在任何一门编程语言中,正则表达式,都是一项重要的知识,它提供了高效的字符串匹配与捕获机制,可以极大的简化程序设计。
- 立即学习 487次学习
-
- 从零制作响应式网站—Grid布局
- 本系列教程将展示从零制作一个假想的网络科技公司官网,分为导航,轮播,关于我们,成功案例,服务流程,团队介绍,数据部分,公司动态,底部信息等内容区块。网站整体采用CSSGrid布局,支持响应式,有流畅过渡和展现动画。
- 立即学习 484次学习