-
本月初，来自MIT等机构的研究者提出了一种非常有潜力的MLP替代方法——KAN。KAN在准确性和可解释性方面表现优于MLP。而且它能以非常少的参数量胜过以更大参数量运行的MLP。比如，作者表示，他们用KAN以更小的网络和更高的自动化程度重现了DeepMind的结果。具体来说，DeepMind的MLP有大约300,000个参数，而KAN只有约200个参数。KAN与MLP一样具有强大的数学基础，MLP基于通用逼近定理，而KAN基于Kolmogorov-Arnold表示定理。如下图所示，KAN在边上具有激活函数
-
纯视觉的标注方案，主要是利用视觉加上一些GPS、IMU和轮速传感器的数据进行动态标注。当然面向量产场景的话，不一定非要是纯视觉，有一些量产的车辆里面，会有像固态雷达（AT128）这样的传感器。如果从量产的角度做数据闭环，把这些传感器都用上，可以有效地解决动态物体的标注问题。但是我们的方案里面，是没有固态雷达的。所以，我们就介绍这种最通用的量产标注方案。纯视觉的标注方案的核心在于高精度的pose重建。我们采用StructurefromMotion(SFM)的pose重建方案，来保证重建精度。但是传统的SFM
-
70B模型，秒出1000token，换算成字符接近4000！研究人员将Llama3进行了微调并引入加速算法，和原生版本相比，速度足足快出了快了13倍！不仅是快，在代码重写任务上的表现甚至超越了GPT-4o。这项成果，来自爆火的AI编程神器Cursor背后团队anysphere，OpenAI也参与过投资。要知道在以快著称的推理加速框架Groq上，70BLlama3的推理速度也不过每秒300多token。Cursor这样的速度，可以说是实现了近乎即时的完整代码文件编辑。有人直呼好家伙，如果把Cursor魔改后
-
实施需要周密的计划、资源管理以及采用现代部署实践和工具。译自AGuidetoModelComposition，作者SherlockXu。考虑一款旨在识别和分类野生动物照片的AI驱动的图像识别应用程序。您上传一张足够时拍摄的照片，几分钟后，该应用程序不仅识别出照片中的动物，还提供了有关其物种、栖息地和保护状态的详细信息。这种应用程序可以通过模型组合构建，这是一种多个人工智能模型协作从不同角度分析和解释图像的技术。在这个背景下，模型组合可能涉及一系列专门的模型：一个用于检测图像中的动物，另一个用于将其分类为广
-
刚刚，Anthropic宣布在理解人工智能模型内部运作机制方面取得重大进展。Anthropic已经确认了如何在ClaudeSonnet中表示征函数百万个概念。这是对现代生产级大型语言模型的首次详细理解。这种可解释性将帮助我们提高人工智能模型的安全性，具有里程碑意义。研究论文：https://transformer-circuits.pub/2024/scaling-monosemanticity/index.html当前，我们通常将人工智能模型视为一个黑匣子：有东西进去就会有响应出来，但不清楚为什么模型会
-
在数学的世界里，想要对“一个未经证实的猜想”进行完整的证明，往往需要天赋、直觉和经验的结合，即使是数学家也很难解释自己的发现过程。然而，随着近几年大模型的崛起，我们共同见证了一种新的变革力量，AI不仅在预测椭圆曲线的复杂度上超越了人类，还在探索基本常数的新公式上取得了突破。最近，伦敦数学科学研究所所长托马斯·芬克（ThomasFink）在Nature的worldview栏目发表了一篇文章，探讨了AI如何在数学领域中发挥其独特的作用，以及如何帮助数学家从猜想走向证明。在这篇文章中，芬克提到了AI在数学推理和
-
这几天，全世界的目光仿佛都被OpenAI发布的GPT-4o所吸引，与此同时，OpenAI的挑战者们也在同步创造历史。就在5月14日，阿布扎比先进技术研究委员会（ATRC）下属的技术创新研究所（TII），发布了新一代的Falcon2模型。Falcon211B已开启访问，Falcon211BVLM将在5月14日中午12点开放新一代「猎鹰」（Falcon意为猎鹰）重返竞技场，一经推出，迅速登上了HN热榜第一。去年Falcon首次推出就技惊四座，以碾压性的优势超越了Llama。根据HuggingFace排行榜，这
-
随着生成式AI时代不断发展，越来越多的企业开始关注、应用甚至训练大模型，想要以此创造更大的业务价值。这一想法固然没错，大模型的出现必能为企业带来创新和突破。不过，基础模型依赖于大规模高质量数据集，想要借助生成式AI带来企业差异化优势的关键是企业的专有数据，数据是企业核心竞争力之一。近日，亚马逊云科技以“无数据不模型——生成式AI时代的数据基座”为主题召开了媒体沟通会。会上，北京灵奥科技CEO厉启鹏介绍了Vanus如何帮助企业解决数据问题，从而与大模型无缝结合。北京灵奥科技是一家快速成长的初创企业，致力于推
-
写在前面&笔者的个人理解为了在复杂的真实世界场景中安全导航，自动驾驶汽车必须能够够适应各种道路条件并预测未来事件。基于世界模型的强化学习（RL）已经成为一种有前景的方法，通过学习和预测各种环境的复杂动态来实现这一点。然而，目前并不存在一个用于在复杂驾驶环境中训练和测试此类算法的易于接近的平台。为了填补这一空白，这里介绍了CarDreamer，第一个专为开发和评估基于世界模型的自动驾驶算法设计的开源学习平台。它包含三个关键组成部分：1%）世界模型（WM）主干：CarDreamer整合了一些最先进的世
-
自从Ilya和超级对齐负责人Jan离职后，OpenAI内部还是心散了，后续也有越来越多的人离职，同时也引发了更多的矛盾。昨天，争议的焦点来到了一份严格的「封口协议」。OpenAI前员工KelseyPiper爆料，任何员工工的入职文件说明中都包含一项：“在离开公司的六十天内，你必须签署一份包含『一般豁免』的离职文件。如果你没有在60天内完成，你的股权获益将被取消。”这份引发风浪的文件截图，让OpenAICEO迅速下场回应：我们从未收回任何人的既得权益，如果人们不签署分离协议（或不同意不贬损协议），我们也不会
-
GPT-4o的横空出世，再次创立了一个多模态模型发展的新范式！为什么这么说？OpenAI将其称为「首个『原生』多模态」模型，意味着GPT-4o与以往所有的模型，都不尽相同。传统的多模态基础模型，通常为每种模态采用特定的「编码器」或「解码器」，将不同的模态分离开。然而，这种方法限制了模型，有效融合跨模态信息的能力。GPT-4o是一种“首个端到端”训练的模型，能够跨越文本、视觉和音频的模式，所有的输入和输出，都由单个神经网络处理。而现在，业界首个敢于挑战GPT-4o的模型现身了！最近，来自Meta团队的研究人
-
一、内容冷启动概念及挑战百度Feed推荐是一个月活数亿的综合信息流推荐平台。该平台涵盖了图文、视频、动态、小程序、问答等多种内容类型。它不仅提供类似于单列或双列的点选式推荐，还包括视频沉浸式等多种推荐形式。同时，推荐系统是一个多利益方的系统，不仅仅包含C端用户体验。内容生产者在推荐系统中扮演着重要的角色，百度Feed大量的活跃作践者，每天生产海量的内容。内容平台型推荐系统的本质是要做到多方共赢，对于用户侧：平台需要给用户持续推荐优质、时鲜、多样性的内容，吸引更多的用户、贡献更多的时长；对于作者侧：用户正向
-
在工业自动化技术领域，最近有两个热点很难被忽视：人工智能(AI)和英伟达(Nvidia)。不要改变原内容的意思，微调内容，重写内容，不要续写：“不仅如此，这两者密切相关，因为英伟达在不仅仅局限于其最开始的图形处理单元（GPU），正在将其GPU技术扩展到数字孪生领域，同时紧密连接着新兴的AI技术。”最近，英伟达与众多工业企业达成了合作，包括领先的工业自动化企业，如Aveva、罗克韦尔自动化、西门子和施耐德电气，以及泰瑞达机器人及其MiR和优傲机器人公司。Recently,Nvidiahascollabora
-
一个月前，Meta+发布了开源大模型llama3系列，在多个关键基准测试中优于业界SOTA模型，并在代码生成任务上全面领先。此后，开发者们便开始了本地部署和实现，比如llama3的中文实现、llama3的纯NumPy实现等。十几个小时前，有位名为"NishantAklecha"的开发者发布了一个从零开始实现llama3的存储库，包括跨多个头的注意力矩阵乘法、位置编码和每个层在内都有非常详细的解释。该项目得到了大神Karpathy的称赞，他表示项目看起来不错，完全展开后，通过模块嵌套和相互调用，可以更容易地
-
GPT-4可以通过图灵测试吗？当一个足以强大的模型诞生之后，人们往往会用图灵测试去衡量这一LLM的智能程度。最近，来自UCSD的认知科学系研究人员发现：在图灵测试中，人们根本无法区分GPT-4与人类！论文地址：https://arxiv.org/pdf/2405.08007在图灵测试中，GPT-4有54%的情况下，被判定为人类。实验结果更是表明，这是首次有系统在「交互式」双人图灵测试中，被实证通过测试。研究者CameronR.Jones招募了500名志愿者，他们被分为5个角色：4个评估员，分别是GPT-4
