文本、图像、点云任意模态输入，AI能够一键生成高质量CAD模型了

偷偷努力，悄无声息地变强，然后惊艳所有人！哈哈，小伙伴们又来学习啦~今天我将给大家介绍《文本、图像、点云任意模态输入，AI能够一键生成高质量CAD模型了》，这篇文章主要会讲到等等知识点，不知道大家对其都有多少了解，下面我们就一起来看一吧！当然，非常希望大家能多多评论，给出合理的建议，我们一起学习，一起进步！

AIxiv专栏是本站发布学术、技术内容的栏目。过去数年，本站AIxiv专栏接收报道了2000多篇内容，覆盖全球各大高校与企业的顶级实验室，有效促进了学术交流与传播。如果您有优秀的工作想要分享，欢迎投稿或者联系报道。投稿邮箱：liyazhou@jiqizhixin.com；zhaoyunfeng@jiqizhixin.com

本文第一作者为上海科技大学信息学院硕士生徐京伟和忆生科技的王晨宇，指导老师为香港大学的马毅教授和高盛华教授。王晨宇毕业于上海科技大学并获得工学硕士学位。其所在的忆生科技由马毅教授于 23 年底创立，致力于打造完整、自主、自洽的机器智能系统。

该项目由忆生科技联合香港大学、上海科技大学共同完成，是全球首个同时支持文本描述、图像、点云等多模态输入的计算机辅助设计（CAD）生成大模型。

计算机辅助设计（Computer-Aided Design，简称 CAD）软件是工业软件的重要分支，也是工业设计流程中的核心工具。然而，目前的 CAD 软件普遍缺乏简易的交互工具，这在一定程度上限制了未曾接触过 CAD 的用户尝试和探索的可能性。对于 CAD 建模从业者而言，多模态大模型技术的快速发展尚未充分转化为 CAD 领域实际应用的便利性和效率提升。如果能够通过多模态交互工具有效优化建模流程，提升效率、节约时间与精力，不仅可以进一步释放专业用户的创造潜能，还将为相关产业的发展注入新的活力。

为应对这一挑战，项目团队构建了首个覆盖文本、图像和点云输入的多模态 CAD 数据集 Omni-CAD。该数据集致力于赋能多模态大语言模型，使其能够基于条件输入生成高质量的 CAD 模型。与此同时，针对 CAD 模型的拓扑质量、空间封闭性等核心属性，团队还设计了一系列创新的评估指标，为模型性能提供更全面的衡量标准。借助这一技术，用户只需输入简单的文本指令，或上传目标形状的图像，即可快速生成符合要求的 CAD 模型。这一突破不仅降低了非专业用户的使用门槛，激发了更多人参与 CAD 设计的兴趣，还为 CAD 建模从业者提供了高效可靠的工具支持。

• 论文标题：CAD-MLLM: Unifying Multimodality-Conditioned CAD Generation With MLLM
• 论文地址：https://arxiv.org/pdf/2411.04954
• 项目主页：https://cad-mllm.github.io/

而另一方面，尽管多模态大模型（MLLMs）展现了跨模态生成的潜力，但在 CAD 领域依然面临挑战。尤其是在如何高效表征各种模态和 CAD 模型上，同时，数据集匮乏问题也一直是一大瓶颈。因此，我们提出了 CAD-MLLM，首个支持文本、图像和点云三种模态及其组合模态输入的以命令序列来表征的参数化 CAD 大模型，并搭配构建了一个超过 45 万条数据的多模态 CAD 数据集 Omni-CAD，推进该领域的研究。

文中关于工程,Omni-CAD的知识介绍，希望对你的学习有所帮助！若是受益匪浅，那就动动鼠标收藏这篇《文本、图像、点云任意模态输入，AI能够一键生成高质量CAD模型了》文章吧，也可关注golang学习网公众号了解相关技术文章。