计算机辅助设计(CAD)已成为当今大多数物理产品设计的首选方法。工程师们使用CAD将2D草图转化为3D模型，经过测试和优化后，最终将版本发送到生产线。然而，CAD软件的学习曲线极为陡峭，需要从数千个命令中选择，真正熟练掌握该软件需要大量的时间和练习。
MIT的工程师们正在通过一种新的AI模型来降低CAD的学习曲线，该模型以类似人类的方式使用CAD软件。给定一个物体的2D草图，该模型能够通过点击按钮和文件选项快速创建3D版本，就像工程师使用软件的方式一样。
VideoCAD数据集：AI学习的基石
MIT团队创建了一个名为VideoCAD的新数据集，其中包含超过41,000个关于如何在CAD软件中构建3D模型的示例。通过学习这些视频，这些视频展示了不同形状和物体的逐步构建过程，新的AI系现在能够像人类用户一样操作CAD软件。
"AI有机会提高工程师的生产力，同时也使CAD对更多人变得可用，"MIT机械工程系的博士生Ghadi Nehme表示。
AI驱动的CAD副驾驶
借助VideoCAD，团队正在构建一个AI驱动的"CAD副驾驶"。他们设想这样的工具不仅可以创建设计的3D版本，还可以与人类用户合作建议下一步操作，或自动执行那些手动点击会繁琐且耗时的构建序列。
"这具有重要意义，因为它降低了设计的入门门槛，帮助没有多年CAD训练的人更容易地创建3D模型并发挥他们的创造力，"MIT机械工程系副教授Faez Ahmed补充道。
Ahmed、Nehme与研究生Brandon Man和博士后Ferdous Alam将于12月在神经信息处理系统会议(NeurIPS)上展示他们的研究成果。
从命令到交互：AI如何理解CAD操作
团队的新工作扩展了近年来在AI驱动的用户界面(UI)代理方面的发展——这些工具被训练用来使用软件程序执行任务，例如自动在线收集信息并将其整理到Excel电子表格中。Ahmed的团队想知道是否可以设计出使用CAD的UI代理，CAD包含更多的特性和功能，涉及比普通UI代理能处理的复杂得多的任务。
在他们的新工作中，团队旨在设计一个AI驱动的UI代理，它接管CAD程序，点击点击地创建2D草图的3D版本。为此，团队首先查看了一个由人类在CAD中设计的对象的现有数据集。数据集中的每个对象都用于构建最终对象的高级设计命令序列，如"草图线"、"圆形"和"拉伸"。
然而，团队意识到仅这些高级命令不足以训练AI代理实际使用CAD软件。真正的代理还必须理解每个操作背后的细节。例如：它应该选择哪个草图区域？何时应该放大？应该拉伸草图的哪个部分？为了弥合这一差距，研究人员开发了一个将高级命令转换为用户界面交互的系统。
"例如，假设我们通过从点1到点2画一条线来绘制草图，"Nehme解释道。"我们将这些高级操作转换为用户界面操作，也就是说，从这个像素位置出发，点击，然后移动到第二个像素位置，再次点击，同时选择'线'操作。"
VideoCAD的应用前景
最终，团队生成了超过41,000个人类设计的CAD对象视频，每个视频都以实时方式描述了人类最初执行的具体点击、鼠标拖动和其他键盘操作。然后将所有这些数据输入到他们开发的模型中，学习UI操作与CAD对象生成之间的联系。
在这个数据集上训练后，这个被称为VideoCAD的新AI模型可以将2D草图作为输入，直接控制CAD软件，点击、拖动和选择工具来构建完整的3D形状。对象的复杂度从简单的支架到更复杂的房屋设计不等。团队正在更复杂的形状上训练该模型，并设想该模型和数据集有一天可能为各个领域的设计师提供CAD副驾驶。
"VideoCAD是迈向AI助手的重要第一步，这些助手帮助新用户入门并自动化遵循熟悉模式的重复性建模工作，"Autodesk Research的高级研究科学家Mehdi Ataei评价道，"这是一个早期基础，我很期待看到后续版本能够跨越多个CAD系统，包含更丰富的操作如装配和约束，以及更真实、更混乱的人类工作流程。"
技术细节与突破
VideoCAD的核心创新在于它能够将高级设计命令转换为具体的用户界面交互。这一转换过程使AI系统能够理解并执行CAD软件中的实际操作，而不仅仅是抽象的设计概念。
传统的CAD训练方法依赖于教授高级命令，但这些命令往往缺乏执行这些命令所需的上下文信息。例如，"画线"命令需要知道从哪里开始，在哪里结束，以及如何选择正确的工具。VideoCAD通过记录人类操作的实际像素位置和交互方式，填补了这一关键知识空白。
对设计行业的影响
VideoCAD技术的出现可能对设计行业产生深远影响：
降低入门门槛：没有专业CAD培训的人现在可以更容易地创建复杂的3D模型，释放更多人的创造力。
提高设计效率：经验丰富的设计师可以将重复性工作交给AI副驾驶，从而将更多时间投入到创新和复杂决策中。
标准化设计流程：AI可以记录和重现最佳设计实践，帮助整个行业提高设计质量和一致性。
远程协作：AI助手可以充当设计团队之间的"通用语言"，减少沟通障碍，提高协作效率。
未来发展方向
VideoCAD只是一个开始。团队正在探索几个有前景的发展方向：
- 多系统兼容：扩展AI以支持多种CAD软件平台，使设计师可以在不同工具间无缝切换。
- 更复杂的操作：包括装配、约束和参数化设计等高级功能。
- 真实工作流程：模拟更复杂、更不规则的人类设计过程，提高AI在实际工作环境中的实用性。
- 个性化学习：根据设计师的风格和偏好定制AI助手，提供个性化的设计建议。
结论
VideoCAD代表了AI辅助设计领域的重要突破，它不仅展示了AI如何学习并执行复杂的软件操作，还为设计行业的未来描绘了激动人心的前景。随着这项技术的不断发展和完善，我们可以期待一个更加民主化、高效和创新的设计环境，让更多人能够参与到创造过程中来。
正如Ahmed所言，"这不仅仅是关于让设计变得更容易，而是关于释放人类创造力，让AI处理技术细节，让人们专注于创新和解决问题。"这种人机协作的模式，可能是设计领域未来发展的关键方向。
