模型合并就进化,直接拿下SOTA!Transformer作者创业新成果火了
来源:51CTO.COM
时间:2024-04-26 13:03:15 295浏览 收藏
大家好,我们又见面了啊~本文《模型合并就进化,直接拿下SOTA!Transformer作者创业新成果火了》的内容中将会涉及到等等。如果你正在学习科技周边相关知识,欢迎关注我,以后会给大家带来更多科技周边相关文章,希望我们能一起进步!下面就开始本文的正式内容~
把Huggingface上的现成模型拿来“攒一攒”——
直接就能组合出新的强大模型?!
日本大模型公司sakana.ai脑洞大开(正是“Transformer八子”之一所创办的公司),想出了这么一个进化合并模型的妙招。
该方法不仅能自动生成新的基础模型,而且性能绝不赖:
他们利用一个包含70亿个参数的日语数学大型模型,在相关基准测试中取得了最先进的结果,超越了700亿参数的Llama-2等先前模型。
最重要的是,得出这样的模型不需要任何梯度训练,因此需要的计算资源大大减少。
英伟达科学家Jim Fan看完大赞:
这是我最近读过的最有想象力的论文之一。
合并进化,自动生成新基础模型
从开源大模型排行榜上表现最好的模型,大多不再是LLaMA或Mistral这种“原始”模型,而是一些微调或合并模型之后,我们就能看出:
一种新的趋势出现了。
Sakana.ai介绍,开源基础模型很容易在数百个不同的方向上进行扩展和微调,然后产生在新的领域表现出色的新模型。
而在这之中,模型合并显现出了巨大前景。
但,它可能是一种“黑魔法”,严重依赖直觉和专业知识。
因此,我们需要更为系统性的方法。
受自然界的自然选择启发,Sakana.ai盯上了进化算法,引入“进化模型合并”(Evolutionary Model Merge)的概念,提出一种可以发现最佳模型组合的通用方法。
该方法结合了两种不同的思路:
(1)合并数据流空间(层)中的模型,以及(2)合并参数空间(权重)中的模型。
具体而言,第一种数据流空间方法是通过进化来发现不同模型层的最佳组合,以此形成新模型。
在社区以往的做法中,都是靠直觉来确定如何以及模型哪些层可以与另一个模型的层结合。
但其实,Sakana.ai介绍,这个问题有一个组合数量巨大的搜索空间,最适合由优化算法如进化算法来搜索。
其操作示例如下:
至于第二个参数空间方法则混合多个模型权重来形成新模型。
这种方法其实很无数种实现,再加上混合的每一层原则上可以使用不同的混合比例,就更多了。
而这,利用进化方法就可以有效地找出更为新颖的混合策略。
以下是将两个不同模型的权重进行混合得到新模型的操作示例:
将以上这两种方法合并,就是这样的:
作者介绍,他们希望在相距较远的领域,例如数学和非英语语言、视觉和非英语语言,来组成之前大家不曾探索过的新兴组合。
结果,还真有点让人惊喜。
新模型轻松拿下SOTA
用以上进化合并方法,团队得到了3个基础模型:
- 大语言模型EvoLLM-JP
由日语大模型Shisa-Gamma和数学大模型WizardMath/Abel合并而成,擅长解决日语数学问题,进化了100-150代。
- 视觉语言模型EvoVLM-JP
日语大模型Shisa Gamma 7B v1+LLaVa-1.6-Mistral-7B,是具有日语能力的VLM。
- 图像生成模型EvoSDXL-JP
支持日语的SDXL扩散模型。
前两个已在Hugging Face和GitHub上发布,最后一个也即将推出。
具体来看。
1、EvoLLM-JP
它在GSM8K数据集的多语言版本——MGSM的日语评估集上取得成绩如下:
可以看到,EvoLLM-JP用日语解决数学问题的表现超过了它们的原始模型,也超过了Llama-2、GPT-3.5等高性能模型。
其中模型4是仅在参数空间进行了优化,模型6是使用模型4在数据流空间中进一步优化的结果。
在既评估数据能力也评估一般日语能力的日语lm-evaluation-harness基准上,EvoLLM-JP则在9个任务上的平均得分最高达到了70.5——只用70亿参数,它就打败了700亿的Llama-2等模型。
团队表示,EvoLLM-JP已经足够优秀,可以作为通用日语大模型,并解决一些有趣的例子:
比如需要特定日本文化知识的数学问题,或者用关西方言讲日本笑话。
2、EvoVLM-JP
在以下两个图像问答的基准数据集上,分数越高,代表模型用日语回答的描述越准确。
结果,它不仅比其所基于的英语VLM LLaVa-1.6-Mistral-7B更出色,也比现有的日语VLM更厉害。
如下图所示,在回答图中的信号灯为什么颜色之时,只有EvoVLM-JP答对:蓝色。
3、EvoSDXL-JP
这个支持日语的SDXL模型只需4个扩散模型即可执行推理,生成速度相当快。
具体跑分还没出来,但团队透露也是“相当有希望的”。
可以欣赏一些示例:
提示词包括:味噌ラーメン、最高品質の浮世絵、葛飾北斎、江戸時代。
对于以上3个新模型,团队指出:
原则上,我们可以采用基于梯度的反向传播来进一步提高以上这些模型的性能。
但我们不用,因为现在的目的就是表明,即使没有反向传播,我们仍然可以得到足够先进的基础模型,挑战当前的“昂贵范式”。
对此,网友们纷纷点赞。
Jim Fan也补充:
在基础模型领域,目前社区几乎完全专注于让模型去学习,而不太重视搜索,但后者在训练(也就是本文提出的进化算法)和推理阶段其实都有巨大的潜力。
△马斯克点赞
所以,如网友所说:
我们现在已经处于模型的寒武纪大爆发时代了吗?
论文地址:https://arxiv.org/abs/2403.13187
到这里,我们也就讲完了《模型合并就进化,直接拿下SOTA!Transformer作者创业新成果火了》的内容了。个人认为,基础知识的学习和巩固,是为了更好的将其运用到项目中,欢迎关注golang学习网公众号,带你了解更多关于数据,训练的知识点!
-
501 收藏
-
501 收藏
-
501 收藏
-
501 收藏
-
501 收藏
-
129 收藏
-
381 收藏
-
325 收藏
-
457 收藏
-
238 收藏
-
247 收藏
-
226 收藏
-
471 收藏
-
237 收藏
-
419 收藏
-
439 收藏
-
234 收藏
-
- 前端进阶之JavaScript设计模式
- 设计模式是开发人员在软件开发过程中面临一般问题时的解决方案,代表了最佳的实践。本课程的主打内容包括JS常见设计模式以及具体应用场景,打造一站式知识长龙服务,适合有JS基础的同学学习。
- 立即学习 542次学习
-
- GO语言核心编程课程
- 本课程采用真实案例,全面具体可落地,从理论到实践,一步一步将GO核心编程技术、编程思想、底层实现融会贯通,使学习者贴近时代脉搏,做IT互联网时代的弄潮儿。
- 立即学习 508次学习
-
- 简单聊聊mysql8与网络通信
- 如有问题加微信:Le-studyg;在课程中,我们将首先介绍MySQL8的新特性,包括性能优化、安全增强、新数据类型等,帮助学生快速熟悉MySQL8的最新功能。接着,我们将深入解析MySQL的网络通信机制,包括协议、连接管理、数据传输等,让
- 立即学习 497次学习
-
- JavaScript正则表达式基础与实战
- 在任何一门编程语言中,正则表达式,都是一项重要的知识,它提供了高效的字符串匹配与捕获机制,可以极大的简化程序设计。
- 立即学习 487次学习
-
- 从零制作响应式网站—Grid布局
- 本系列教程将展示从零制作一个假想的网络科技公司官网,分为导航,轮播,关于我们,成功案例,服务流程,团队介绍,数据部分,公司动态,底部信息等内容区块。网站整体采用CSSGrid布局,支持响应式,有流畅过渡和展现动画。
- 立即学习 484次学习