ChatGPT之父提新版摩尔定律!宇宙智能数量每18个月翻一番
来源:51CTO.COM
时间:2023-04-13 13:37:26 487浏览 收藏
今日不肯埋头,明日何以抬头!每日一句努力自己的话哈哈~哈喽,今天我将给大家带来一篇《ChatGPT之父提新版摩尔定律!宇宙智能数量每18个月翻一番》,主要内容是讲解等等,感兴趣的朋友可以收藏或者有更好的建议在评论提出,我都会认真看的!大家一起进步,一起学习!
今天,「ChatGPT之父」Sam Altman在社交媒体称,
一个全新的摩尔定律可能很快就会出现,即宇宙中的智能数量每18个月翻一番。
观点一出,直接炸了一波。
就连马库斯坐不住了,向其泼了一盆冷水,直言道,是AI的炒作量每18个月翻一番。
那么,对于Altman提到的宇宙中智能数量,我们该用什么指标来衡量这种增长?
根据现有的研究可以推测,一种拟合的评估方式如下:
- 运算能力
- 学术刊物
- 专利数量
- 数据存储
新版摩尔定律,也要背靠算力
一直以来,摩尔定律是半导体行业背后奉行的金科玉律:每隔18-24个月,封装在微芯片上的晶体管数量便会增加一倍,芯片的性能也会随之翻一番。
而如今,ChatGPT爆火出圈,是继2016年AlphaGo战胜李世石后,人工智能又一重大进步。
根据「2022年人工智能现状报告」,机器学习中的计算需求加速增长。根据每个模型的训练计算量翻倍的时间,它确定了机器学习的三个时代。
前深度学习时代(2010年前,训练计算量每20个月翻一番),深度学习时代(2010-15年,每6个月翻一番),以及大规模时代(2016年至今,100-1000倍增长,然后每10个月翻一番)。
要知道,ChatGPT的诞生,以及人人能够访问ChatGPT背后离不开的是算力。
在最新的财报会议上,英伟达CEO黄仁勋称,英伟达的GPU在过去的十年里将AI的处理性能提高了100万倍。
摩尔定律在其最好的日子里,可以在十年内实现 100 倍的增长。通过提出新处理器、新系统、新互连、新框架和算法,并与数据科学家、AI研究人员合作开发新模型,在整个跨度中,我们已经使大型语言模型的处理速度提高了一百万倍。
换句话说,没有英伟达,就没有ChatGPT。据称,这一模型运行在10,000个英伟达GPU上。
像GPT-3这样的大型语言模型需要大量计算能力来进行初始训练。
即使是用于训练模型的最大GPU的内存容量也有限,而需要多个处理器并行运行。
那么,使用ChatGPT进行实时查询,也是需要多个处理器。
英伟达和微软研究论文称,有1750亿参数的GPT-3模型在单个V100上估计训练需要288年。即使我们能够在单个GPU中拟合模型,所需的大量计算也会带来不切实际的漫长训练时间。
使用并行运行的处理器是加快速度的最常见解决方案,但也有局限性,因为超过一定数量的GPU,每个GPU的批处理量变得太小,进一步增加数量变得不可行,反而增加了成本。
这样一来,GPU的处理能力成为先进人工智能模型的前提。
位于爱丁堡大学的超级计算中心,英国电子政务委员会(ePCC)主任Mark Parsons教授称,最大极限是使用大约1000个GPU,而解决这一问题最可行的方法是一台专用的人工智能超级计算机。
即使GPU可以变得更快,但瓶颈仍然存在,因为GPU和系统之间的互连不够快。
随着GPT和其他大模型不断发展,并行训练的一些难点正在得到解决。
AI论文发表量倍增
另外,全球学术出版物和专利也是衡量宇宙智能数量的标准。
2022斯坦福AI指数报告显示,过去十年,全球AI论文发表量实现翻番,从2010年的162444篇增长到334497篇,且逐年递增。
具体而言,模式识别和机器学习领域的论文,仅2015年至2021年的6年间,就实现了倍增。
其它诸如计算机视觉、数据挖掘和自然语言处理等领域,保持了比较平稳的发展。
在专利方面,根据世界知识产权 (WIPO) 报告,2021年共提交了340万件专利申请,是有史以来最高的年度总数。
在全球范围内,专利申请从1995年的100万件增加到2010年的200万件,然后是2016年的300万件。
2021年,亚太国家占全球专利申请的三分之二以上,其中中国以近160万件专利申请领先。日本的专利申请总量位居第三,超过28.9万件。
在亚太地区之外,美国以略高于590,000的记录位居第二。
听君一席话,如听一席话
IEEE/ACM Fellow,IBM研究院软件工程首席科学家Grady Booch:
对于Altman这一句话给大家整的也挺懵圈,智能,到底是什么智能?
他说的是 「智能」,并没有把增长限制在人工智能甚至软件上。
有网友端上了Intelligence的定义。
有网友直接将其称为,Altman's Law。
ChatGPT,看科技大佬点评
1. Bill Gates
人工智能具有改变世界的力量,与个人电脑和互联网同样重要。ChatGPT仍不完美,比如回答数学问题时出现明显错误,不过他目前还是对其在教学、提供医疗建议等方面的应用潜力感到兴奋。
2. 谷歌首席执行官Sundar Pichai
人工智能是Alphabet正在开发的最深刻的技术。面对ChatGPT崛起,谷歌也正在开发AI驱动的聊天机器人Bard并在二月初向公众演示,计划在未来几周内发布。
3. 微软首席执行官Satya Nadella
Nadella对人工智能持乐观但谨慎的态度。微软正在大踏步建立AI技术,已经推出了配备对话式聊天机器人的新必应搜索引擎,但对于更加强大的AI,Nadella坚持人类需要有不容置疑的掌控能力。
4. Elon Musk
马斯克表示人工智能是未来文明的最大风险之一,它承载着巨大的希望,也隐含着巨大的危险,因此即使对于人工智能的监管是必要的,即使这可能一定程度上阻碍其发展。事实上,在与Sam Altman共同创立OpenAI时,他就认为人工智能是人类最大的威胁之一。
5. 苹果联合创始人Steve Wozniak
Wozniak认为ChatGPT对人类是十分有帮助的,但我们应当警惕它可能因为不了解人性而犯下的严重错误。这类似于人们对自动驾驶的警惕,我们了解人会做什么而清楚其他司机的反应,如果由AI来驾驶我们可能无法感到安心。
6. John Carmack
随着ChatGPT等AI工具的兴起,人工智能正向着复制人类功能的目标迈进,也许在短短十年内AI就能做到像人类一样思考和行动。
7. 互联网之父Vint Cerf
Cerf希望投资者在向人工智能倾注金钱时慎重考虑,毕竟技术并不总按人们所希望或者媒体所炒作的道路发展,引发变革的关键还是在于人类本身。
今天关于《ChatGPT之父提新版摩尔定律!宇宙智能数量每18个月翻一番》的内容介绍就到此结束,如果有什么疑问或者建议,可以在golang学习网公众号下多多回复交流;文中若有不正之处,也希望回复留言以告知!
-
501 收藏
-
501 收藏
-
501 收藏
-
501 收藏
-
501 收藏
-
399 收藏
-
345 收藏
-
471 收藏
-
451 收藏
-
109 收藏
-
391 收藏
-
- 前端进阶之JavaScript设计模式
- 设计模式是开发人员在软件开发过程中面临一般问题时的解决方案,代表了最佳的实践。本课程的主打内容包括JS常见设计模式以及具体应用场景,打造一站式知识长龙服务,适合有JS基础的同学学习。
- 立即学习 542次学习
-
- GO语言核心编程课程
- 本课程采用真实案例,全面具体可落地,从理论到实践,一步一步将GO核心编程技术、编程思想、底层实现融会贯通,使学习者贴近时代脉搏,做IT互联网时代的弄潮儿。
- 立即学习 507次学习
-
- 简单聊聊mysql8与网络通信
- 如有问题加微信:Le-studyg;在课程中,我们将首先介绍MySQL8的新特性,包括性能优化、安全增强、新数据类型等,帮助学生快速熟悉MySQL8的最新功能。接着,我们将深入解析MySQL的网络通信机制,包括协议、连接管理、数据传输等,让
- 立即学习 497次学习
-
- JavaScript正则表达式基础与实战
- 在任何一门编程语言中,正则表达式,都是一项重要的知识,它提供了高效的字符串匹配与捕获机制,可以极大的简化程序设计。
- 立即学习 487次学习
-
- 从零制作响应式网站—Grid布局
- 本系列教程将展示从零制作一个假想的网络科技公司官网,分为导航,轮播,关于我们,成功案例,服务流程,团队介绍,数据部分,公司动态,底部信息等内容区块。网站整体采用CSSGrid布局,支持响应式,有流畅过渡和展现动画。
- 立即学习 484次学习