当前人工智能领域正处于一个深远的范式转型期。以大型语言模型（LLMs）为代表的AI技术在处理文本和生成对话方面展现出前所未有的能力，甚至在某些特定任务中超越了人类表现。然而，这些模型的核心局限性也日益凸显，它们在本质上进行的是一种复杂的“语言游戏”，即在海量文本数据中捕捉统计关联和模式，而非真正理解世界的内在逻辑或进行具身交互。商汤科技首席科学家林达华提出的观点精准地指出了这一点：若要迈向真正的通用人工智能（AGI），AI必须摆脱单纯的符号操作，回归到与真实世界进行多模态、物理性交互的本源。这是一个从“语言逻辑”到“世界逻辑”的关键跃迁。
大型语言模型的局限性并非偶然。尽管这些模型能够生成高度流畅且语法正确的文本，甚至模仿各种写作风格，但它们的核心机制依然是基于概率分布和关联预测。它们不具备对物理世界的常识性理解，无法进行因果推理，也无法理解动作的实际后果。例如，一个LLM可以描述“一杯水从桌上掉下来”的场景，但它无法像人类一样“感受”到水的溅洒或玻璃的破碎，更无法理解这背后涉及的重力、动量等物理法则。语言，作为人类智能的产物和描述世界的工具，其本身并非智能的本源。当AI系统仅限于语言层面时，它们在面对需要真实世界理解、感知和行动的任务时，往往显得无力且缺乏鲁真性。这种脱离物理世界的“去具身化”是当前AI发展的一大瓶颈。
多模态智能的崛起，正是为了弥补这一核心缺陷，它代表了人工智能发展的必然方向。人类的智能系统天生就是多模态的：我们通过视觉识别物体，通过听觉理解语音和环境声音，通过触觉感知质地和温度，通过嗅觉和味觉体验风味。这些多模态信息并非孤立存在，而是被大脑无缝地整合，形成对世界的全面认知。这种整合能力使我们能够理解复杂的情境，进行高层次的推理，并做出恰当的反应。因此，要构建能够理解并适应复杂环境的AI系统，就必须赋予其跨模态的信息处理能力，使其能够融合来自视觉、听觉、触觉，甚至更广泛传感器的数据，而不仅仅局限于文本或单一模态的数据流。这意味着AI系统需要构建一个统一的、能够表征不同模态信息并通过交互来动态更新的世界模型。
实现从语言游戏到真实世界交互的突破，面临着诸多复杂的技术挑战。首要挑战在于跨模态表征学习。不同模态的数据具有截然不同的结构和特性，例如图像是像素阵列，音频是波形，文本是符号序列。如何将这些异构数据映射到一个统一的、语义丰富的共享嵌入空间，使其能够进行有效的融合和联合推理，是核心难题。这要求开发新型的神经网络架构和训练范式，例如基于Transformer的跨模态注意力机制或扩散模型，以实现不同模态信息间的深度对齐和关联。其次是情境理解与推理能力的构建。当前的AI系统在特定任务上表现卓越，但在泛化到复杂、不确定的真实世界情境时往往束手无策。这需要AI超越简单的模式识别，发展出更深层次的因果推理、常识推理以及规划决策能力，使其能够理解事件的动态演变，预测可能的结果，并根据当前情境做出适应性行为。最后，主动学习机制的引入至关重要。传统的AI训练多依赖静态数据集，而真实世界的学习是持续的、交互式的。AI系统需要具备通过与环境的持续交互来获取新知识、修正自身认知、优化行为策略的能力。这涉及强化学习、自监督学习和主动探索等前沿技术，旨在使AI能够像人类一样，通过试错、反馈和经验积累来不断提升自身智能水平。解决这些挑战不仅需要算法上的创新，更对算力提出了更高要求，并需要构建更大规模、更高质量的多模态数据集。
产业界的实践已经清晰地勾勒出多模态智能的发展趋势。在诸多高复杂度应用场景中，多模态AI系统正展现出超越单一模态的强大潜力。例如，在自动驾驶领域，车辆需要实时融合来自摄像头（视觉）、雷达（距离与速度）、激光雷达（三维结构）和超声波传感器等多源异构数据，以构建对周围环境的全面感知，从而进行路径规划和安全决策。任何单一模态的信息都无法提供足够的信息来应对复杂的交通状况，只有多模态融合才能确保鲁棒性和安全性。在医疗影像分析中，医生通常需要结合CT、MRI等多种影像模态，辅以病理报告（文本）和患者病史（文本），才能做出精准诊断。多模态AI系统能够学习不同影像间的互补信息，并结合临床数据，提高疾病检测的准确率和效率。在工业质检中，融合视觉（缺陷检测）、听觉（异常声响识别）和触觉（力传感器数据）的多模态机器人系统，能够更全面、更精确地判断产品的质量，从而显著提升生产效率和良品率。这些案例不仅验证了多模态路径的可行性与优越性，也为通用人工智能的深入研究提供了宝贵的经验和方向。
AI未来发展的核心要点在于构建一个完整的“感知-认知-行动”闭环。这意味着AI系统不再是被动的信息接收器，而是能够主动地观察环境、理解情境、制定计划，并执行行动，进而通过行动的反馈来修正和优化自身的认知模型。例如，一个具备此能力的机器人，在学习如何操作新工具时，它会通过视觉观察工具的形状和使用方式，通过触觉感受工具的材质和重量，通过尝试操作来理解其功能，并根据操作结果进行迭代调整。这种交互式学习机制将帮助AI突破当前过度依赖静态数据训练的局限，使其能够像生物智能一样，在与真实世界的动态交互中持续演化和进步。这种范式转变将使AI具备更强的适应性和泛化能力。
从更深层次的哲学视角审视，这一转型标志着AI研究正从传统的“符号处理”路径回归到“具身认知”的范畴。早期的AI研究过度强调形式化的逻辑推理和知识表示，将智能简化为符号操作；而当前的大型语言模型虽然突破了符号的限制，却又陷入了对文本符号的过度依赖，缺乏与物理世界的直接连接。真正的智能并非孤立存在于抽象的符号空间中，它必须建立在与物理环境的具体交互之上。身体（或者说具身）不仅是感知世界的工具，更是塑造认知过程的基石。一个能够感知、行动并与物理世界互动的AI系统，其认知将更加丰富、稳健和实用。这种认知范式的深刻转变，预示着AI技术可能实现一次质的飞跃，催生出更接近生物智能的形态。
展望未来，多模态通用智能的发展将是一个循序渐进的过程。短期内，我们有望看到AI在特定垂直领域实现更加复杂和鲁棒的多模态理解能力，例如在智能家居、智能医疗设备中实现更自然的交互。中期来看，随着计算架构（如类脑芯片、异构计算）和高级算法（如世界模型、因身智能算法）的不断进步，以及大规模、高质量多模态数据集的持续积累，我们有望构建出更接近人类水平的通用智能系统。然而，这一进程不仅需要技术上的突破，更离不开对伦理、安全和隐私等社会议题的审慎考量。随着AI日益深入地融入物理世界并影响人类生活，建立健全的伦理框架、确保AI系统的安全可控、防止滥用和潜在风险，将是实现AGI愿景不可或缺的重要保障。
AI的发展此刻正处于一个关键的十字路口。超越单纯的语言游戏，回归到与真实世界的具身交互，这不仅是技术演进的内在必然性，更是实现真正强大、实用和安全通用智能的必由之路。正如林达华等专家所强调的，只有当AI系统具备了全面的多模态感知、处理和交互能力，它们才能突破当前存在的根本性局限，迈向一个更接近人类智能、能够理解和改变真实世界的新阶段。这一根本性的转变不仅将重塑AI技术本身的边界，更将深远地影响人机交互的未来模式，开启智能系统与物理世界深度融合的新篇章。
