在「最难LLM评测榜单」上,阶跃万亿参数模型拿下中国第一
来源:机器之心
时间:2024-11-20 21:30:29 336浏览 收藏
最近发现不少小伙伴都对科技周边很感兴趣,所以今天继续给大家介绍科技周边相关的知识,本文《在「最难LLM评测榜单」上,阶跃万亿参数模型拿下中国第一》主要内容涉及到等等知识点,希望能帮到你!当然如果阅读本文时存在不同想法,可以在评论中表达,但是请勿使用过激的措辞~
重写文本:
大模型格局再变:阶跃星辰跻身前五
国内人工智能领域传来重磅消息:
头部大模型创业公司阶跃星辰凭借其万亿参数大语言模型 Step-2 在权威大模型基准 LiveBench AI 上取得突破,位列第五,成为前十名中唯一的国产大模型。
Step-2 仅次于 OpenAI 和 Anthropic 两家公司,进一步凸显了国产大模型的快速发展。
榜单地址:https://livebench.ai/#LiveBench 是当前生成式 AI 领域最权威、客观的模型能力评测榜单之一。它是由图灵奖得主、Meta 首席 AI 科学家 Yann LeCun 联合 Abacus.AI、纽约大学等机构推出的,今年六月才首次上线。它旨在消除现有 LLM 基准的局限性,被称作是「世界上第一个无法被操纵的大语言模型基准测试」。
- LiveBench 采用一种创新的基准测试方法,包含 6 大类共 18 项任务。
- 为了防止大模型“作弊”,LiveBench 每月发布新问题,这些问题基于最近发布的数据集、arXiv 论文、新闻文章和 IMDb 电影简介设计,以限制潜在的数据污染。每个问题都具有可验证且客观的真实答案,从而实现难题的自动化评分,无需 LLM 评审员。
- 通过定期更新问题集和采用客观的自动化评分方法,LiveBench 提供了一个公平且准确的评估平台,同时促进了 LLM 的持续改进和社区参与。
- 在最近的榜单中,step-2-16k-202411 模型的“Global Average”得分位居第五,已非常接近第三名和第四名。
- 值得注意的是,在提交的成绩中,Step-2 的指令跟随(IF Average)得分位居全榜第一,展示了对语言生成细节的强大控制力。具体来说,该任务要求对《卫报》最近的新文章进行转述、简化、概括或编写故事,同时遵循一项或多项指令,例如字数限制或将特定元素纳入答复中。
不断进化的 Step-2 万亿参数大模型
自发布以来,Step-2 持续快速迭代,与国际领先大模型的差距大幅缩小。
今年 3 月,阶跃星辰推出了 Step-2 语言大模型预览版,成为国内首个由创业公司发布的万亿参数模型。WAIC 2024 期间,阶跃星辰发布了 Step-2 万亿参数语言大模型正式版,其在逻辑推理、编程、中英文知识和指令理解等方面的表现接近国际顶尖模型。
深入了解,Step-2 万亿参数语言大模型有两大亮点:MoE 架构和万亿参数。
训练 MoE 模型有两种方式:基于现有模型进行升级(upcycle)或从头开始训练。upcycle 方式计算需求低且训练效率高,但上限较低。而从头开始训练 MoE 模型难度更高,但能达到更高的上限。
阶跃星辰团队自主研发了 Step-2 MoE 架构并从头开始训练。通过专家参数共享和异构化专家设计等创新设计,Step-2 的每个专家模型都得到充分训练,总参数量达到万亿级,每次训练或推理激活的参数量也高于市面上的大多数密集模型。
此外,训练这样一个万亿参数模型对系统团队提出了极大挑战。在 Step-2 训练过程中,阶跃星辰系统团队突破了 6D 并行、极致显存管理和全自动化运维等关键技术,成功完成了 Step-2 的每一次升级。
根据 Scaling Law,当模型参数达到万亿规模时,推理能力(如数学和编程)将显著提升。这促使 Step-2 取得了与 OpenAI o1、Claude 3.5 Sonnet 等模型相当的出色表现。
不断进化的 Step-2 万亿参数语言大模型已接入阶跃星辰的 C 端智能助手「跃问」,可在跃问 App 和网页端(https://yuewen.cn)使用。
阶跃星辰的大模型矩阵打造之路
与国内大模型领域的知名公司相比,阶跃星辰是后来者。该公司由微软前全球副总裁姜大昕创办,去年 4 月成立,今年 3 月才崭露头角。
1. 阶跃星辰的创始人兼首席执行官姜大昕,曾担任微软全球副总裁和微软亚洲互联网工程院首席科学家。
2. 尽管成立时间较短,阶跃星辰已跻身国内 AI 创业公司第一梯队,并在一年内迅速发布了 Step 系列模型“全家桶”,包括万亿 MoE 语言大模型 Step-2、多模态理解大模型 Step-1.5V 和图像生成模型 Step-1X。
3. 在 AGI 技术路线图上,阶跃星辰选择了单模态、多模态、统一多模态理解和生成、世界模型和通用人工智能(AGI)的路径。
好了,本文到此结束,带大家了解了《在「最难LLM评测榜单」上,阶跃万亿参数模型拿下中国第一》,希望本文对你有所帮助!关注golang学习网公众号,给大家分享更多科技周边知识!
-
501 收藏
-
501 收藏
-
501 收藏
-
501 收藏
-
501 收藏
-
141 收藏
-
238 收藏
-
197 收藏
-
456 收藏
-
164 收藏
-
220 收藏
-
- 前端进阶之JavaScript设计模式
- 设计模式是开发人员在软件开发过程中面临一般问题时的解决方案,代表了最佳的实践。本课程的主打内容包括JS常见设计模式以及具体应用场景,打造一站式知识长龙服务,适合有JS基础的同学学习。
- 立即学习 542次学习
-
- GO语言核心编程课程
- 本课程采用真实案例,全面具体可落地,从理论到实践,一步一步将GO核心编程技术、编程思想、底层实现融会贯通,使学习者贴近时代脉搏,做IT互联网时代的弄潮儿。
- 立即学习 507次学习
-
- 简单聊聊mysql8与网络通信
- 如有问题加微信:Le-studyg;在课程中,我们将首先介绍MySQL8的新特性,包括性能优化、安全增强、新数据类型等,帮助学生快速熟悉MySQL8的最新功能。接着,我们将深入解析MySQL的网络通信机制,包括协议、连接管理、数据传输等,让
- 立即学习 497次学习
-
- JavaScript正则表达式基础与实战
- 在任何一门编程语言中,正则表达式,都是一项重要的知识,它提供了高效的字符串匹配与捕获机制,可以极大的简化程序设计。
- 立即学习 487次学习
-
- 从零制作响应式网站—Grid布局
- 本系列教程将展示从零制作一个假想的网络科技公司官网,分为导航,轮播,关于我们,成功案例,服务流程,团队介绍,数据部分,公司动态,底部信息等内容区块。网站整体采用CSSGrid布局,支持响应式,有流畅过渡和展现动画。
- 立即学习 484次学习