-
最近,被称为千禧年七大难题之一的黎曼猜想迎来了新突破。黎曼猜想是数学中一个非常重要的未解决问题,与素数分布的精确性质有关(素数是那些只能被1和自身整除的数字,它们在数论中扮演着基础性的角色)。在当今的数学文献中,已有超过一千条数学命题以黎曼猜想(或其推广形式)的成立为前提。也就是说,黎曼猜想及其推广形式一旦被证明,这一千多个命题将被确立为定理,对数学领域产生深远的影响;而如果黎曼猜想被证明是错误的,那么这些命题中的一部分也将随之失去其有效性。新的突破来自MIT数学教授LarryGuth和牛津大学数学研究所
-
大模型正引领新一轮的研究热潮,业界和学术界都涌现出了众多的创新成果。小红书技术团队也在这一浪潮中不断探索,多篇论文研究成果在ICLR、ACL、CVPR、AAAI、SIGIR、WWW等国际顶会上频频亮相。在大模型与自然语言处理的交汇处,我们发现了哪些新机遇和挑战?对于大模型,有哪些有效的评测方法?它又如何更好地融入到应用场景中的呢?6月27日19:00-21:30,【REDtech来了】第十一期《小红书2024大模型前沿论文分享》线上开播!REDtech特别邀请了小红书社区搜索团队来到直播间,他们将分享6篇
-
过去几年来,扩散模型强大的图像合成能力已经得到充分证明。研究社区现在正在攻克一个更困难的任务:视频生成。近日,OpenAI安全系统(SafetySystems)负责人LilianWeng写了一篇关于视频生成的扩散模型的博客。LilianWeng本站对这篇博客进行了不改变原意的编译、整理,以下是博客原文:视频生成任务本身是图像合成的超集,因为图像就是单帧视频。视频合成的难度要大得多,原因是:1.视频合成还需要不同帧之间保持时间一致性,很自然,这需要将更多世界知识编码到模型之中。2.相比于文本或图像,收集大量
-
2024年4月18日,北京玻色量子科技有限公司(以下简称“玻色量子”)以“新质互融,算力共振”为主题,在北京·望京成功召开2024年新品发布会,重磅发布了新一代550计算量子比特的相干光量子计算机——“天工量子大脑550W”及开物SDK等核心研究成果,充分展现出量子计算与AI的融合,是实用化量子计算的起点。2024年,量子技术作为未来产业、新质生产力发展的重要组成部分,北京未来产业布局中明确提出建
-
一键生成可玩游戏世界。问世才两个星期,谷歌的世界模型也来了,能力看起来更强大:它生成的虚拟世界「自主可控」。刚刚,谷歌定义了生成式AI的全新范式——生成式交互环境(Genie,GenerativeInteractiveEnvironments)。Genie是一个110亿参数的基础世界模型,可以通过单张图像提示生成可玩的交互式环境。我们可以用它从未见过的图像进行提示,然后与自己想象中的虚拟世界进行互动。不管是合成图像、照片甚至手绘草图,Genie都可以从中生成无穷无尽的可玩世界。Ge
-
去年12月,新架构Mamba引爆了AI圈,向屹立不倒的Transformer发起了挑战。如今,谷歌DeepMind「Hawk」和「Griffin」的推出为AI圈提供了新的选择。这一次,谷歌DeepMind在基础模型方面又有了新动作。我们知道,循环神经网络(RNN)在深度学习和自然语言处理研究的早期发挥了核心作用,并在许多应用中取得了实功,包括谷歌第一个端到端机器翻译系统。不过近年来,深度学习和NLP都以Transformer架构为主,该架构融合了多层感知器(MLP)和多头注意力(MHA)。Transfor
-
文本大模型卷出新高度,Claude3在数学、编程、多语言理解、视觉等多个维度超越GPT-4和上线不足一个月的Gemini1.0Ultra。「日新月异」已经不足以形容当下大模型技术发展之势。为了更好地分享大模型技术最新进展,2024年,本站、张江科投、张江孵化器、WAICCircle联合发起举办「大模型技术Workshop」系列活动,邀请产学研一线大咖带来前沿观察与洞见。3月22日下午,上海张江纳贤路800号科海大楼A座3层,以「Claude3热浪来袭,一起聊聊文本大模型的重点技术路径」为主题,来自复旦大学
-
没工作也要「卷」。闲不下来的AndrejKarpathy又有了新项目!过去几天,OpenAI非常热闹,先有AI大牛AndrejKarpathy官宣离职,后有视频生成模型Sora撼动AI圈。在宣布离开OpenAI之后,Karpathy发推表示「这周可以歇一歇了。」图源:https://twitter.com/karpathy/status/1757986972512239665这种无事要做的状态让马斯克都羡慕(Iamenvious)了。但是,如果你真的认为Karpathy会闲下来,那就有点「tooyoung
-
没工作也要「卷」。闲不下来的AndrejKarpathy又有了新项目!过去几天,OpenAI非常热闹,先有AI大牛AndrejKarpathy官宣离职,后有视频生成模型Sora撼动AI圈。在宣布离开OpenAI之后,Karpathy发推表示「这周可以歇一歇了。」图源:https://twitter.com/karpathy/status/1757986972512239665这种无事要做的状态让马斯克都羡慕(Iamenvious)了。但是,如果你真的认为Karpathy会闲下来,那就有点「tooyoung
-
尽管收集人类对模型生成内容的相对质量的标签,并通过强化学习从人类反馈(RLHF)来微调无监督大语言模型,使其符合这些偏好的方法极大地推动了对话式人工智能的发展。但由于RLHF是一个复杂且常常不稳定的过程,关于直接使用优化函数将人类的偏好和模型的结果进行对齐的研究成为时下的热点问题。本文是huggingface上的一篇博客,针对时下常见的三种人类偏好优化算法进行了性能比较。作者进行了大量的实验,旨在通过不同的模型和不同的超参数,对无需强化学习(或偏好调整)就能调整语言模型的三种可行方法进行评估。这三种优化方
-
智能化浪潮正奔涌而来,数字化和智能化不仅改变着公众的工作和生活,也为产业带来无限想象。11月2日,在“数智聚力,共赴新程”为主题的2023网易数字+大会上,网易数帆宣布全新品牌战略,将定位于“数智软件生产引领者”,提出数智生态方法论,以“产品+工程+人才”为核心,为每一个组织构建独特的数智竞争力。围绕此,网易数帆发布产品、生态、人才培养等多领域、多维度的升级创新,与伙伴、客户共赢数智新时代!在大会开场,杭州市经信局副局长杨晓勇致辞,他肯定了网易多年来为杭州数字经济建设贡献了重要力量,并表示网易数字+大会是
-
面对当前微调大模型主要依赖人类生成数据的普遍做法,谷歌DeepMind探索出了一种减少这种依赖的更高效方法。如你我所见,大语言模型(LLM)正在改变深度学习的格局,在生成人类质量的文本和解决各种语言任务方面展现出了卓越的能力。虽然业界通过对人类收集的数据进行监督微调进一步提升了在具体任务上的性能,但获取高质量人类数据却面临着重大瓶颈。这对于要解决复杂问题的任务来说尤为明显,需要大量资源和专业知识。怎么解决呢?模型生成得合成数据是一种有潜力的替代方案,只要能保证数据的质量,就能实现可扩展性和成本效益。虽然L
-
开源与闭源的纷争已久,现在或许已经达到了一个新的高潮。说到开源大模型,Llama系列自诞生以来就是典型代表,其优秀的性能与开源特点让人工智能技术的应用性和可访问性大大提升。任何研究人员和开发者都能够从中获益,让研究和应用变得更加广泛。现在,MetaLlama3.1405B正式发布。在官方博客中,Meta表示:「直到今天,开源大语言模型在功能和性能方面大多落后于封闭模型。现在,我们正在迎来一个开源引领的新时代。」与此同时,Meta创始人兼CEO扎克伯格亲自撰写长文阐述开源对所有开发者、对Meta、对世界的意
-
LLM很强,而为了实现LLM的可持续扩展,有必要找到并实现能提升其效率的方法,混合专家(MoE)就是这类方法的一大重要成员。最近,各家科技公司提出的新一代大模型不约而同地正在使用混合专家(MixtureofExperts:MoE)方法。混合专家这一概念最早诞生于1991年的论文《Adaptivemixturesoflocalexperts》,三十多年来已经得到了广泛的探索和发展。近年来,随着稀疏门控MoE的出现和发展,尤其是与基于Transformer的大型语言模型相结合,这种已有三十多年历史的技术焕发出
-
LLM很强,而为了实现LLM的可持续扩展,有必要找到并实现能提升其效率的方法,混合专家(MoE)就是这类方法的一大重要成员。最近,各家科技公司提出的新一代大模型不约而同地正在使用混合专家(MixtureofExperts:MoE)方法。混合专家这一概念最早诞生于1991年的论文《Adaptivemixturesoflocalexperts》,三十多年来已经得到了广泛的探索和发展。近年来,随着稀疏门控MoE的出现和发展,尤其是与基于Transformer的大型语言模型相结合,这种已有三十多年历史的技术焕发出