-
迄今为止,分辨率最高的编码单词含义的神经元map来了。1.人类可以通过语言获取丰富而微妙的含义,这对人类交流至关重要。尽管人们对支持语言和语义处理的大脑区域了解不断加深,但神经语义推导在细胞水平上仍然存在许多未知。最近,《自然》杂志发表的一篇研究论文,通过跟踪神经元在自然语音处理过程中的活动,发现了单个神经元对语义信息的精细皮层表征。该论文题为《语义编码在单细胞分辨率下进行语言理解》。1.论文地址:https://www.nature.com/articles/s41586-024-07643-2该研究创
-
释放进一步扩展Transformer的潜力,同时还可以保持计算效率。标准Transformer架构中的前馈(FFW)层会随着隐藏层宽度的增加而导致计算成本和激活内存的线性增加。在大语言模型(LLM)体量不断增大的现在,稀疏混合专家(MoE)架构已成为解决此问题的可行方法,它将模型大小与计算成本分离开来。很多新兴的MoE模型都可以实现相同体量之上,更好的性能与更强大的表现。最近发现的细粒度MoE扩展定律表明,更高的粒度可带来更好的性能。然而由于计算和优化方面的挑战,现有的MoE模型仅限于低数量专家。本周二,
-
这几年,人们都在谈论大模型。特别是在ScalingLaw的指导下,人们寄希望于将更大规模的数据用于训练,以无限提升模型的智能水平。在中国,「数据」作为一种与土地、劳动力、资本、技术并列的生产要素,价值越来越被重视。近年来,中国数据要素市场化建设的步伐明显提速。让「数据」发挥价值的关键在于不同主体、不同场景下的数据流通复用。数据要素跟传统的生产要素有本质差别,数据的价值具有双面性,业务价值越大,风险成本越高。营造数据可信流通可信环境,则是让数据要素价值充分释放的底层支撑。在这样的背景下,隐私计算技术的价值逐
-
2.4B的Memory3比更大的LLM和RAG模型获得了更好的性能。近年来,大型语言模型(LLM)因其非凡的性能而获得了前所未有的关注。然而,LLM的训练和推理成本高昂,人们一直在尝试通过各种优化方法来降低成本。本文来自上海算法创新研究院、北京大学等机构的研究者受人类大脑记忆层次结构的启发,他们通过为LLM配备显式记忆(一种比模型参数和RAG更便宜的记忆格式)来降低这一成本。从概念上讲,由于其大部分知识都外化为显式记忆,因而LLM可以享受更少的参数大小、训练成本和推理成本。论文地址:https://arx
-
难不成,AI生成短剧时代真的要来了?最近,各路视频生成AI放出的Demo让人眼花缭乱。从玩梗图、拼长度再到讲究真实物理逻辑,层出不穷的人工智能创意难分高下,个个都要跟Sora试比高。这时候,突然有人偷偷先行一步,搞出了「电影级」的表现:从真实风格的光影效果:来源:https://x.com/i/status/1806383419661730197到丰富的想象力,要素齐全,都能搞定:没想到在AI眼里,其实是蝙蝠侠能让小丑绷不住。来源:https://x.com/blizaine/status/1806383
-
难不成,AI生成短剧时代真的要来了?最近,各路视频生成AI放出的Demo让人眼花缭乱。从玩梗图、拼长度再到讲究真实物理逻辑,层出不穷的人工智能创意难分高下,个个都要跟Sora试比高。这时候,突然有人偷偷先行一步,搞出了「电影级」的表现:从真实风格的光影效果:来源:https://x.com/i/status/1806383419661730197到丰富的想象力,要素齐全,都能搞定:没想到在AI眼里,其实是蝙蝠侠能让小丑绷不住。来源:https://x.com/blizaine/status/1806383
-
AIxiv专栏是本站发布学术、技术内容的栏目。过去数年,本站AIxiv专栏接收报道了2000多篇内容,覆盖全球各大高校与企业的顶级实验室,有效促进了学术交流与传播。如果您有优秀的工作想要分享,欢迎投稿或者联系报道。投稿邮箱:liyazhou@jiqizhixin.com;zhaoyunfeng@jiqizhixin.com论文第一作者为中山大学计算机学院研二硕士生陈家豪,研究方向为神经渲染和三维重建,导师为李冠彬教授。该论文是他的第一个工作。论文通讯作者为中山大学计算机学院、人机物智能融合实验室李冠彬教授
-
从125M到1.3B的大模型,性能都有提升。难以置信,这件事终于发生了。一种全新的大语言模型(LLM)架构有望代替至今在AI领域如日中天的Transformer,性能也比Mamba更好。本周一,有关Test-TimeTraining(TTT)的论文成为了人工智能社区热议的话题。论文链接:https://arxiv.org/abs/2407.04620该研究的作者来自斯坦福大学、加州大学伯克利分校、加州大学圣迭戈分校和Meta。他们设计了一种新架构TTT,用机器学习模型取代了RNN的隐藏状态。该模型通过输入
-
AI技术赋能HR行业:MokaAscend2024产品发布会随着AI技术的快速发展,尤其是大模型的出现,AI正给各个行业带来深刻的变革,HR行业也不例外。MokaAscend2024产品发布会近日,HRSaaS公司Moka正式举办了MokaAscend2024产品发布会。会上,Moka合伙人兼CTO刘洪泽分享了Moka在AI领域的技术创新和应用实践。AI原生为理念,赋能业务场景以AI原生为理念,深入业务场景,MokaEva的能力不断进化,不仅完成了从智能面试到智能招聘解决方案的升级,同时也赋能于全新功能「
-
近日,智加科技团队论文《DualBEV:UnifyingDualVeiwTransformationwithProbabilisticCorrespondences》入选欧洲计算机视觉国际会议(ECCV,EuropeanConferenceonComputerVision),ECCV是计算机视觉领域最具影响力和权威性的国际会议之一,与国际计算机视觉大会(ICCV)和计算机视觉与模式识别会议(CVPR)齐名,被誉为计算机视觉领域的“三大顶会”之一。ECCV每两年举办一次,汇聚了全球顶
-
编辑|萝卜皮深度学习方法推动了生物分子结构单态预测的重大进展。然而,生物分子的功能取决于它们可以呈现的构象范围。对于肽来说尤其如此,肽是一类高度灵活的分子,参与多种生物过程,作为治疗手段备受关注。多伦多大学的PhilipM.Kim和OsamaAbdin开发了PepFlow,这是一种可转移生成模型,它能够从输入肽的允许构象空间中直接进行全原子采样。研究人员在扩散框架中训练模型,然后使用等效流进行构象采样。为了克服广义全原子建模的成本过高,他们模块化了生成过程并集成了超网络来预测序列特定的网络参数。PepFl
-
1.购买商品前,消费者会在社交媒体上搜索并浏览商品评价。因此,企业在社交平台上针对产品进行营销变得越来越重要。营销的目的是为了:促进产品的销售树立品牌形象提高品牌认知度吸引并留住客户最终提高企业的盈利能力大模型具备出色的理解和生成能力,可以通过浏览和分析用户数据为用户提供个性化内容推荐。《AIGC体验派》第四期中,两位嘉宾将深入探讨AIGC技术在提升「营销转化率」方面发挥的作用。直播时间:7月10日19:00-19:45直播主题:留住用户,AIGC如何通过个性化提升转化率?第四期节目邀请到两位重磅嘉宾,分
-
微软的这项研究让开发者可以在单卡机器上以10倍的速度处理超过1M的输入文本。大型语言模型(LLM)已进入长上下文处理时代,其支持的上下文窗口从先前的128K猛增到10Mtoken级别。然而,由于注意力机制的二次复杂度,模型处理输入提示(即预填充阶段)并开始产生第一个token可能需要几分钟时间。导致首个token生成的时间过长,从而严重影响了用户体验,这也极大地限制了长上下文LLM的广泛应用。举例来说(如图2a所示),在单台装有A100的机器上为LLaMA-3-8B提供服务时,如果提示有30万个token
-
7月4日下午,由世界人工智能大会组委会办公室指导,世界人工智能大会组委会办公室主办,国家地方共建人形机器人创新中心、中国电子学会承办,本站、《机器人技术与应用》杂志协办的2024WAIC世界人工智能大会人形机器人与具身智能发展论坛将于7月4日下午在上海世博展览馆举行。本次论坛邀请了12位国内外人形机器人与具身智能领域的学者、企业代表以及开发者代表进行了主旨报告、技术分享和圆桌讨论,并发布了人形机器人创新成果。论坛现场吸引了200多位人形机器人及具身智能领域的专业观众,同时通过多个直播平台在线观看论坛人次近
-
7月4日下午,由世界人工智能大会组委会办公室指导,世界人工智能大会组委会办公室主办,国家地方共建人形机器人创新中心、中国电子学会承办,本站、《机器人技术与应用》杂志协办的2024WAIC世界人工智能大会人形机器人与具身智能发展论坛将于7月4日下午在上海世博展览馆举行。本次论坛邀请了12位国内外人形机器人与具身智能领域的学者、企业代表以及开发者代表进行了主旨报告、技术分享和圆桌讨论,并发布了人形机器人创新成果。论坛现场吸引了200多位人形机器人及具身智能领域的专业观众,同时通过多个直播平台在线观看论坛人次近