-
原标题：PointTransformerV3:Simpler,Faster,Stronger论文链接：https://arxiv.org/pdf/2312.10035.pdf代码链接：https://github.com/Pointcept/PointTransformerV3作者单位：HKUSHAILabMPIPKUMIT论文思路：本文无意在注意力机制内寻求创新。相反，它侧重于利用规模(scale)的力量，克服点云处理背景下准确性和效率之间现有的权衡。从3D大规模表示学习的最新进展中汲取灵感，本文认识到
-
去噪扩散模型（DDM）是目前广泛应用于图像生成的一种方法。最近，XinleiChen、ZhuangLiu、谢赛宁和何恺明四人团队对DDM进行了解构研究。通过逐步剥离其组件，他们发现DDM的生成能力逐渐下降，但表征学习能力仍然保持一定水平。这说明DDM中的某些组件对于表征学习的作用可能并不重要。针对当前计算机视觉等领域的生成模型，去噪被认为是一种核心方法。这类方法通常被称为去噪扩散模型（DDM），通过学习一个去噪自动编码器（DAE），能够通过扩散过程有效地消除多个层级的噪声。这些方法实现了出色的图像生成质量
-
IT之家1月8日消息，根据马克・古尔曼（MarkGurman）在最新一期“PowerOn”中的消息，苹果计划在即将举行的全球开发者大会（WWDC）上发布一系列基于生成式人工智能的工具。这些工具将为开发者提供更多创新和高效的方式来构建智能应用程序。这一举措有望进一步推动人工智能技术的发展，并为用户带来更多便利和智能化的体验。古尔曼指出，iOS18将引入一些新工具，其中包括改进版的Siri。据称，新版Siri将具备更自然的对话能力，为用户提供更个性化的体验。据报道，该公司自2023年初开始测试名为“Ajax”
-
卷积神经网络（CNN）和Transformer是两种不同的深度学习模型，它们在不同的任务上都展现出了出色的表现。CNN主要用于计算机视觉任务，如图像分类、目标检测和图像分割等。它通过卷积操作在图像上提取局部特征，并通过池化操作进行特征降维和空间不变性。相比之下，Transformer主要用于自然语言处理（NLP）任务，如机器翻译、文本分类和语音识别等。它使用自注意力机制来建模序列中的依赖关系，避免了传统的循环神经网络中的顺序计算。尽管这两种模型用于不同的任务，但它们在序列建模方面有相似之处，因此可以考虑将
-
BERT是一种使用Transformer作为网络结构的预训练语言模型。相较于循环神经网络（RNN），Transformer可以并行计算，能够有效处理序列数据。在BERT模型中，采用了多层Transformer来处理输入序列。这些Transformer层利用自注意力机制，能够对输入序列进行全局关联性的建模。因此，BERT模型能够更好地理解上下文信息，从而提高语言任务的性能。BERT模型包含两个主要阶段：预训练和微调。预训练阶段使用大规模语料库进行无监督学习，以学习文本的上下文信息并获得语言模型参数。微调阶段
-
人脸识别早期阶段——基于机器学习早期的方法主要侧重于与计算机视觉专家合作，提取手工特征，并使用传统的机器学习算法训练有效的分类器进行检测。然而，这些方法的局限性在于需要专家制作有效的特征，并且每个组件都需要单独优化，导致整个检测管道不够优化。为了解决这个问题，人们提出了更复杂的特征，如HOG、SIFT、SURF和ACF。为了增强检测的鲁棒性，还开发了针对不同视图或姿势训练的多个检测器的组合。然而，这些模型的训练和测试时间较长，对检测性能的提升有限。人脸识别更加先进的技术——基于深度学习近年来，面部识别方面
-
神经网络是一种强大的机器学习工具，适用于各种任务，包括数值方程的评估。本文将介绍构建神经网络评估简单数值方程的方法。让我们以一个简单的数值方程为例，如y=x^2。我们的目标是构建一个神经网络，能够输入一个x并预测输出y。第一步是准备数据集。我们需要生成一组输入和输出数据，以便训练神经网络。在这个简单的例子中，我们可以生成一些随机的x值，并计算对应的y值。例如，我们可以生成100个随机的x值，范围从-10到10，并计算对应的y值。这样就得到了一个包含100个输入和输出样本的数据集。在设计神经网络架构时，我们
-
由于技术能力变得越来越重要，数字时代正在改变决策过程。大型语言模型(LLM)是一项值得注意的技术，因其能够在各个领域实现更好的决策而受到赞誉。但LLM能在多大程度上增强决策过程?如果可以，又是如何增强的呢?了解LLM最近的自然语言处理系统，如OpenAI的GPT系列和Google的BERT，都是非常复杂的人工智能程序，它们是在大量文本数据库上进行训练的。这些模型可以理解并输出类似人类的文本，这对于用于自然语言处理来说是一个很大的优势。信息综合LLM的一个主要优势是此类机器可以快速、完美地处理大量信息。LL
-
随着大模型的参数量日益增长，微调整个模型的开销逐渐变得难以接受。因此，北京大学的研究团队提出了一种名为PiSSA的参數高效微调方法，在主流数据集上都超过了目前广泛使用的LoRA的微调效果。论文:PiSSA:PrincipalSingularValuesandSingularVectorsAdaptationofLargeLanguageModels论文链接:https://arxiv.org/pdf/2404.02948.pdf代码链接:https://github.com/GraphPKU/PiSSA图
-
编辑|KX分子描述符的应用与挑战分子描述符广泛应用于分子建模。然而，在AI辅助分子发现领域，缺乏自然适用、完整且原始的分子表征，影响模型性能和可解释性。t-SMILES框架的提出基于片段的多尺度分子表征框架t-SMILES解决分子表征问题。该框架使用SMILES类型的字符串描述分子，支持序列模型作为生成模型。t-SMILES的代码算法t-SMILES具有三种代码算法：TSSA、TSDY和TSID。实验结果实验表明，t-SMILES模型生成分子具有100%理论有效性和高新颖性，优于基于SOTASMILES的
-
不管你来自哪个城市，相信在你的记忆中，都有自己的「家乡话」：吴语柔软细腻、关中方言质朴厚重、四川方言幽默诙谐、粤语古雅潇洒……某种意义上说，方言不只是一种语言习惯，也是一种情感连接、一种文化认同。我们「上网冲浪」遇到的新鲜词汇中，有不少就是来自各地方言。当然，有些时候，方言也是一种交流「壁垒」。在现实生活中，我们经常会看到方言导致的「鸡同鸭讲」，比如这个：如果你关注最近科技圈的动态就会知道，当前的AI语音助手已经能达到「实时回复」的水准，甚至比人类反应还快。而且，AI已经能够充
-
AIxiv专栏是本站发布学术、技术内容的栏目。过去数年，本站AIxiv专栏接收报道了2000多篇内容，覆盖全球各大高校与企业的顶级实验室，有效促进了学术交流与传播。如果您有优秀的工作想要分享，欢迎投稿或者联系报道。投稿邮箱：liyazhou@jiqizhixin.com；zhaoyunfeng@jiqizhixin.com本工作由中科大认知智能全国重点实验室IEEEFellow陈恩红团队与华为诺亚方舟实验室完成。陈恩红教授团队深耕数据挖掘、机器学习领域，在顶级期刊与会议上发表多篇论文，谷歌学术论文引用超两
-
2024年的诺贝尔化学奖颁发给了在结构生物学领域取得重大成就的DavidBaker团队和AlphaFold团队，激发了AIforscience领域新的研究热潮。近两年科学界一个饱受争议的命题是：“AlphaFold是否终结了结构生物学？”首先，AlphaFold之类的结构预测模型的训练数据正是来自于以X射线、冷冻电镜（cryo-EM）等为代表的传统结构解析方法。其次，冷冻电镜技术非常擅长解析蛋白质的动态，而这正是AlphaFold所无法做到的。巧合的是，冷冻电镜这项技术于2017年
-
长春海谱润斯科技股份有限公司（海谱润斯）撤回IPO申请，深交所终止审核。12月3日，深交所发布公告，正式终止对海谱润斯创业板IPO的审核。此前，海谱润斯及其保荐人国金证券已提交申请，撤回上市申请文件。海谱润斯主要从事OLED蒸镀材料的研发、生产、销售及提纯服务，产品涵盖有机和无机材料两大类。其高纯度（4N级别）OLED蒸镀材料是OLED面板发光的核心材料，直接影响面板性能和良品率。公司客户包括京东方、天马集团等国内知名OLED面板厂商，其产品广泛应用于华为、苹果等知名品牌终端设备。尽管海谱润斯在OLED蒸
-
12月3日，丰元股份在接受机构调研时表示，目前公司已建成的磷酸铁锂产能共计22.5万吨，其中部分产能正处于试生产和爬坡阶段。在建磷酸铁锂产能共计7.5万吨，未来公司也会根据行业的发展趋势和下游客户的需求变化，在产能建设实施过程中对规划进行实时调整。丰元股份此前表示，公司正加快布局锂电池正极材料上游产业链，解决资源瓶颈、论证筛选产业链合作机会，巩固核心产业链的紧密性。减少原材料价格波动对公司的不利影响，降低产品生产成本，同时提高公司产品综合性能。优化公司产业布局，推动公司的长远稳健发展。公司对固态电池硫化物
