AI语音技术爆发的背后逻辑：一位业内人士的深度解读
在人工智能领域，语音技术的快速发展无疑是近期的焦点。尽管苹果Siri的表现未尽如人意，但市场上涌现出越来越多的“AI Siri”并获得了可观的融资。过去半年，AI语音赛道呈现出集中爆发的态势，尤其引人注目的是，这些融资的金额巨大，且大多投向初创团队。例如，Wispr Flow凭借“默念输入”完成了3000万美元的A轮融资，累计融资额达到5600万美元；Cartesia在3月份完成了6400万美元的A轮融资，累计融资9100万美元；ElevenLabs更是在1月份宣布完成1.8亿美元的C轮融资，估值超过30亿美元。
与此同时，Meta、OpenAI、Google等科技巨头以及MiniMax等创业公司都在积极发布自己的语音模型或语音产品。甚至有消息称，Siri或将被ChatGPT或Claude等模型接管，以跟上语音交互的最新进展。这些信息都指向了一个共同的趋势：AI语音正在经历前所未有的爆发。
那么，为什么AI语音领域在过去半年多时间内呈现出如此集中的爆发态势？声智副总裁黄赟贺认为，语音对话从一个App中的功能模块迅速演变为AI时代的入口，这与大型模型的赋能密不可分。
声智作为一家在幕后提供AI声学技术的公司，在大模型浪潮下，果断选择投身于C端产品的开发。他们敏锐地捕捉到“大模型+语音”浪潮中的新商业机会，其旗下的AI耳机目前出货量已接近100万套。
极客公园近期与声智副总裁黄赟贺进行了一次深入的对话，探讨了AI语音市场爆发的逻辑、语音交互的关键挑战以及它将如何影响我们的未来。
以下内容基于黄赟贺的讲述和声智的论文整理而成：
AI语音爆发的原因：声音的可编程化
AI语音初创团队获得大量融资并在近期集中爆发，其中一个重要的推动因素是，大型模型使得声音这项基础能力首次实现了“可编程化”。“可编程化”意味着将一种能力或对象通过清晰的接口和逻辑，使其能够被代码自由地调用、组合、修改和控制。过去，文字、图像甚至视频都已实现可编程化，但声音更多地被视为一种“输入”或“输出”的媒介，其内部的复杂结构和信息难以被软件直接“编程”和“理解”。
传统的语音识别更多是将声音转换成文字，然后对文字进行处理。过去，在深圳、成都等地，有许多团队专门从事声音标注工作，他们拿到语音后，人工转换成文字，并打上各种标签，如特征、意向等。而现在，大型模型可以承担打标签的工作，其速度和准确性远超人工团队。
过去，自然语言处理（NLP）的背后需要大量的运营人员进行标注，以使AI系统能够识别每个句子的意图。语音开发方面，每增加一个功能都需要从头编写代码，耗时费力。例如，要让智能音箱支持“点外卖”功能，需要单独开发一套语音识别和语义逻辑，成本高且周期长。但现在，AI大型模型可以解决这些问题。
更重要的是，借助大型模型对多模态数据的深度理解能力以及对声学信号的细致解析，声音本身携带的除了文字信息之外的更多信息，开始被AI系统直接捕捉、理解和“编程”。这种可编程化意味着AI可以像处理数据一样处理声音，它可以分析声音的频率、振幅、波形，提取情绪特征，识别不同的声源、声源距离，甚至预测用户的意图。
这意味着，声音包含的不再仅仅是“你说了什么”，更是“你如何说”、“你在哪里说”、“谁在说”以及“你说了之后希望发生什么”。由此，声音成为了真正的交互引擎。
语音交互的核心：从“Voice”到“Sound”的转变
很多人认为语音交互就是“Voice”（语音），但实际上，“Voice”是一个狭隘的概念。真正的语音交互核心并非“Voice”，而是“Sound”（声音）。“Sound”包含的内容远比“Voice”丰富，包括语调、音色、节奏、情绪，更重要的是环境音。环境音中可能包含各种非语音信息，如背景音乐、环境噪音（风声、雨声、车声）、物体发出的声音（开门声、打字声）以及人类语音中包含的非语义信息（语调、语速、音色、语气词、叹息声、笑声、哭声等）。
例如，当用户咳嗽时与AI对话，AI可能会识别出咳嗽并提示多喝水；当用户在咖啡馆说“帮我找个安静的地方”，AI不仅要理解用户的指令，还要从背景音中判断出当前环境嘈杂，从而推荐附近的图书馆。所以，下一代对话交互的入口并非“Voice”，而是“Sound”。AI系统将不再仅仅依赖于识别用户说的“词”，而是能够全面感知和理解用户所处环境的“声学场景”中的所有关键元素。
只有当AI能够全面感知并解析“Sound”中包含的这些多维度信息时，它才能真正理解用户的深层需求，提供更精准、更个性化、更富有情感的交互。这才是真正的“语音交互”，它不仅仅是“听懂”字面意思，更是“听懂”用户的“言外之意”和“心声”。
语音交互的挑战：声学技术的瓶颈
尽管大型模型为语音交互带来了巨大的飞跃，但语音交互仍然面临一个核心挑战，即声学技术的瓶颈。我们常说“听清、听懂、会说”，其中“听懂”和“会说”的能力正被大型模型以前所未有的速度提升，但“听清”这个最基础的环节却受到物理层面的制约。如果AI听不清用户的指令，即便它能“听懂”再复杂的语义，能“会说”再动听的话语，那也都是空中楼阁。
以当下热门的具身智能为例，许多机器人采用电驱动，这带来了一系列问题。一方面，电路的噪声本身就很大；另一方面，关节噪声以及金属材质对声音的衰减也会影响语音交互的效果。因此，机器人在运动时会产生很大的噪声，尤其是在室外，更难听清楚人的指令。解决这一问题的方法要么是大声喊叫，要么使用麦克风。
因此，需要对声学层面进行突破，例如环境噪声的抑制、电路底噪的抑制以及啸叫、混响回响的抑制等。这些都属于物理学的范畴，需要数据样本和技术积累，需要时间去采集声音并进行训练。这并非烧钱就能解决的问题。
让AI准确地“听清”用户的指令仍然是一个世界级的难题。而声学领域的人才相对稀缺，因此谷歌、微软、苹果等公司经常会收购声学技术的初创公司。大家都明白，要构建真正的下一代人机交互系统，拥有核心的声学能力是基石。
语音交互的未来：实现“共情”
目前，许多AI应用的日活跃用户和留存率不高，一个很大的原因在于普通人本身不善于提问。让人向大型模型提问，本身就是一个非常高的交互门槛。好的提问需要学识、表达等基础，因此停留在文字层面的问答本身就是一种限制。而语音带来了一种可能性，即开启人机交互的“共情模式”。
如果将语音交互比作一个“UI界面”，那么这个界面可能包含以下要素：
- 情绪识别：AI通过分析语调、音量、语速来判断用户的情感状态。例如，如果用户的声音颤抖，AI可能会推测其感到紧张或伤心。
- 意图理解：不仅要听懂用户说了什么，还要明白用户想做什么。例如，当用户说“播放音乐”时，AI会根据用户的情绪决定播放摇滚还是古典音乐。
- 声纹识别：通过独特的音声波特征区分不同用户。例如，家中的智能音箱可以自动切换到“孩子模式”，只为孩子的声音提供安全的回应。
- 情绪生成：AI的回应需要带有情感化的表达。例如，用温暖的语气说“别担心，我来帮你解决”，而不是机械地说“好的，正在处理”。
这些要素的背后是AI从“功能导向”到“情感导向”的转变，AI将与人实现共情。这种交互能够显著提升长时间交互的质量和亲密感。不仅如此，从狭义的“Voice”拓展到广义的“Sound”，当AI能够接收到的不仅仅是用户的指令，而是整个物理世界的实时反馈时，我们可以构建一个“声学世界模型”。
这个“声学世界模型”可以理解声音在物理世界中产生、传播和交互的根本规律。它不仅要“听清”和“听懂”，更要具备“声学常识”和“声学推理”的能力：它能从一声闷响中分辨出是书本落地还是箱子倒塌，能通过回声判断出房间的大小与空旷程度，更能理解“脚步声由远及近”背后所蕴含的物理运动逻辑。未来，当这样一个声学世界模型与视觉、语言大模型深度融合时，具身智能机器人将不再“失聪”和冰冷。这也是我们正在努力实现的目标。
