-
大模型的成功主要归功于ScalingLaw的存在，这一定律量化了模型性能与训练数据规模、模型架构等要素之间的关系。ScalingLaw为模型开发、资源分配和选择适当的训练数据提供了重要的指导。过去的研究主要关注于上游复杂度或交叉熵损失的Scalinglaw，即在预训练数据上的评估。然而，在实际应用中，模型往往需要经历迁移学习的阶段：首先在无监督数据上进行预训练，然后再针对具体的下游任务（如编码或翻译）进行微调。那么，ScalingLaw能不能用于预测下游任务性能？这个关键问题很大程度上仍未得到解答。在最近
-
回到2021年的一个夜晚，一位母亲陷入创作瓶颈，无法继续她的小说；父亲则忙于编写代码，设想在工作之余开发一款小游戏，但却被代码调试问题困扰；而他们的孩子，面对书桌上的一道奥数题，皱着眉头苦苦思索。2024年的今天，AI大模型的出现让这一切发生改变。在「智谱清言」的助力下，妈妈的小说创作焕发新生，她只需将自己的创意和构思输入给大模型，就可以生成自然生动的故事情节和对话；爸爸用大模型进行代码编程和调试，通过分析代码逻辑，大大减少了开发的繁琐流程，减轻了一大半的⼯作量；大模型也成为了小朋友学习上的得力助手，不仅
-
外网有用户放了一段特斯拉FSDv12的视频，有人搬运到b站上了：https://www.bilibili.com/video/BV1Z6421M797www.bilibili.com/video/BV1Z6421M797这次恰好是一个纯视觉方面较为复杂的场景：下雨天地面积水，水面上反射出各种图案，可能会产生一些奇异的视觉效果。特斯拉去年没有举办aiday活动，据称是因为竞争对手经常挑拨他们的幻灯片，所以干脆取消了。在缺乏详细信息的情况下，观察视频可以略窥一些端到端的特性。接下来，让我们针对其中一些有趣的地
-
在2024世界经济论坛的一次会谈中，图灵奖得主YannLeCun提出用来处理视频的模型应该学会在抽象的表征空间中进行预测，而不是具体的像素空间[1]。借助文本信息的多模态视频表征学习可抽取利于视频理解或内容生成的特征，正是促进该过程的关键技术。然而，当下视频与文本描述间广泛存在的噪声关联现象严重阻碍了视频表征学习。因此本文中，研究者基于最优传输理论，提出鲁棒的长视频学习方案以应对该挑战。该论文被机器学习顶会ICLR2024接收为了Oral。论文题目：Multi-granularityCorresponde
-
今天，英特尔宣布成立全新独立运营的FPGA公司——Altera。在上午举行的FPGAVision线上研讨会期间，首席执行官SandraRivera和首席运营官ShannonPoulin进行了分享，展示其在超过550亿美元的市场中保持领先性的战略规划，强调将通过打造集成AI功能的FPGA等举措，进一步丰富公司的产品组合，同时亦表明将持续助力客户应对不断增加的挑战。会上，Altera也作为新公司的品牌正式对外公布。Altera首席执行官SandraRivera表示，“现阶段
-
StabilityAI在发布了StableDiffusion3之后，今天公布了详细的技术报告。论文深入分析了StableDiffusion3的核心技术——改进版的Diffusion模型和一个基于DiT的文生图全新架构！报告地址：https://stabilityai-public-packages.s3.us-west-2.amazonaws.com/Stable+Diffusion+3+Paper.pdf通过人类评价测试，StableDiffusion3在字体设计和对提示的精准响应方面，超过了DALL·
-
拜登政府宣布将推出新的人工智能规定，要求开发人员公开主要人工智能系统的安全测试结果。根据这些新规定，科技公司需要在使用大量计算能力训练人工智能模型时向政府发出通知。这一举措将确保美国政府能够获取谷歌、AWS(亚马逊网络服务)和OpenAI等公司的敏感数据，以便更好地监督和管理这些公司在人工智能领域的活动。美国国家标准与技术研究院正在努力确保人工智能工具在发布前经过安全可靠的标准审查。同时，商务部将发布指南，要求为人工智能生成的内容添加水印，以便清晰区分真实内容和人工智能生成的内容。在接受采访时，白宫人工智
-
ZeusCloud首席执行官MarkGrindey提出了五种方法，利用AI技术来提升数据中心的效率、性能和运营简化。优化效率和性能预测性维护在数据中心的应用十分关键。数据中心包含大量相互连接的系统和设备，AI算法可通过分析传感器和使用模式的实时数据，提前预测设备可能出现故障或需要维护的情况。这种先知先觉的方法让数据中心能够及时调度维护任务，最大程度地减少停机时间，并降低与计划外停机相关的成本。这种智能化的预测性维护不仅提高了数据中心的运行效率，还确保了设备的稳定性和可靠性。2.能源效率：AI算法可以监控数
-
本文是一篇关于提高零阶优化的扩展性的研究，代码已开源，论文已被ICLR2024接收。今天我要介绍一篇题为“DeepZero:ScalingupZeroth-OrderOptimizationforDeepModelTraining”的论文，它由密歇根州立大学和劳伦斯·利弗莫尔国家实验室合作完成。这篇论文最近被ICLR2024会议接收，并且研究团队已经将代码开源。该论文的主要目标是在深度学习模型训练中扩展零阶优化技术。零阶优化是一种不依赖梯度信息的优化方法，它可以更好地处理高维参数空间和复杂的模型结构。然而
-
预计到2030年，有60%的人口将生活在城市地区。为了实现城镇化的进步，高效的人员流动至关重要。在各种公共交通方式中，铁路被认为是每乘客公里能源消耗最高效、最有效的选择。这是因为铁路系统不仅可以大大缓解城市拥堵问题，还能减少环境污染和交通事故的发生率。提升铁路网络的质量和覆盖范围，将有助于促进城市发展和改善居民生活质量。因此，未来的城市规划需要重点考虑发展健全的铁路交通系统，以确保人们能够便捷、高效地进出城市中心，从而推动城市化进然而，要使铁路成为首选，它必须安全、可靠且可用。目前，数字化成为实现这一目标
-
在当前迅速发展的数字时代，人工智能几乎涉及所有行业的革命性创新。从医疗保健到教育再到娱乐，人工智能的影响力和变革性作用显而易见。什么是开源人工智能?开源人工智能是指那些源代码开放并向公众开放的人工智能软件和工具。这意味着开发人员、研究人员以及其他相关方可以自由访问、使用、修改和分享这些软件，而无需受到任何许可条件的限制。这种开放的模式有助于促进人工智能领域的创新和发展，使更多人能够参与并贡献他们的想法和技能。通过开源人工智能，不仅可以加快技术的进步，还可以推动更广泛的合作和知识然而，随着技术的不断发展和变
-
随着AI的火爆，CPU、TPU、GPU、DPU、QPU这些缩略词整天在各种媒体里面飞来飞去。本文主要解释这些处理器，以及他们的优缺点。CPU（中央处理器）CPU就像计算机的“中央神经系统”。它负责执行计算机系统的所有基本功能，包括运行应用程序、处理数据和控制设备。想象一下，它就像是计算机的大脑，确保所有的操作和功能都能正常运转。GPU（图形处理单元）GPU在计算机领域被称为“艺术家”，因为它专门负责处理图形和视觉相关的任务。在进行视频游戏、视频观赏或图像视频编辑时，GPU会承担大部分繁重的工作，以提供更出
-
写在前面&笔者的个人总结近年来，自动驾驶领域的3D占据预测任务因其独特的优势受到学术界和工业界的广泛关注。该任务通过重建周围环境的3D结构，为自动驾驶的规划和导航提供详细信息。然而，目前主流的方法大多依赖于基于激光雷达（LiDAR）点云生成的标签来监督网络训练。在最近的OccNeRF研究中，作者提出了一种自监督的多相机占据预测方法，名为参数化占据场（ParameterizedOccupancyFields）。该方法解决了室外场景中无边界的问题，并重新组织了采样策略。然后，通过体渲染（VolumeR
-
上篇文章中我们主要总结了非线性的降维技术，本文我们来总结一下常见的线性降维技术。1、PrincipalComponentAnalysis(PCA)PCA是一种广泛应用的降维技术，可以将高维数据集转换为更易处理的低维表示，同时保留数据的关键特征。通过识别数据中方差最大的方向（主成分），PCA能够将数据投影到这些方向上，实现降维的目标。PCA的核心思想是将原始数据转换到一个新的坐标系，以最大化数据的方差。这些新坐标轴称为主成分，由原始特征线性组合而成。保留方差最大的主成分，实质上保留了数据的关键信息。通过舍弃
-
大模型的纯文本方向，已经卷到头了？昨晚，OpenAI最大的竞争对手Anthropic发布了新一代AI大模型系列——Claude3。该系列包含三个模型，按能力由弱到强排列分别是Claude3Haiku、Claude3Sonnet和Claude3Opus。其中，能力最强的Opus在多项基准测试中得分都超过了GPT-4和Gemini1.0Ultra，在数学、编程、多语言理解、视觉等多个维度树立了新的行业基准。Anthropic表示，Claude3Opus拥有人类本科生水平的知识。在新模型发布后，Claude首次
