在当今AI技术飞速发展的时代，数据孤岛已成为企业数字化转型的主要障碍。软件即服务(SaaS)供应商们常常试图将客户数据锁定在孤岛中，而客户们则需要打开这些孤岛，让AI代理能够充分利用这些数据。本文将深入探讨这一问题，并提供实用的解决方案。
数据孤岛为何成为痛点
AI代理正在变得越来越擅长分析企业中的不同类型数据，以发现模式和创造价值。然而，这种能力使得数据孤岛带来的痛苦日益加剧。正如Andrew Ng在文章中所言："AI代理正在变得越来越好，能够审视企业中的不同类型数据，发现模式和创造价值。这使得数据孤岛带来的痛苦日益加剧。"
数据孤岛的存在严重限制了AI代理的潜力。当数据被分散在不同的系统中，AI代理无法全面分析所有可用信息，从而错过了发现重要关联和价值的机会。这种限制不仅影响了AI代理的性能，也阻碍了企业从数据中获取最大价值。
数据孤岛的实际影响
高昂的切换成本
许多SaaS供应商通过使客户难以提取数据来创建数据孤岛，从而制造高昂的切换成本。一旦企业将数据存储在某个供应商的系统中，提取这些数据的成本可能极其高昂，使得企业难以转向其他解决方案。
Andrew Ng分享了一个令人震惊的例子："我的一个团队刚刚告诉我，我们用来存储客户数据的SaaS供应商想收取超过2万美元的费用来获取API密钥，以便访问我们的数据。"这种高昂的成本——无疑是为了让客户难以获取其数据而故意设计的——为利用该数据实施代理工作流程增加了障碍。
限制AI代理的能力
数据孤岛不仅限制了数据访问，还限制了AI代理的能力。当AI代理无法访问所有相关数据时，其分析能力大打折扣，无法发现隐藏的模式和关联。
例如，如果一个电子邮件点击被记录在一个供应商的系统中，而随后的在线购买被记录在另一个系统中，那么构建能够访问这两个数据源的AI代理来查看它们如何关联，从而做出更好的决策，将非常有价值。然而，数据孤岛的存在使得这种跨源分析变得困难甚至不可能。
强制使用供应商的AI服务
通过创建数据孤岛，SaaS供应商可以引导客户购买他们的AI代理服务——有时价格高昂且/或质量低下——而不是构建自己的AI代理或从其他供应商购买。这种行为不仅限制了客户的选择，还可能导致企业获得不符合其实际需求的AI解决方案。
重新掌控数据主权
面对数据孤岛的挑战，企业和个人需要重新考虑其数据策略。Andrew Ng建议："我越来越倾向于选择让我能够控制自己数据的软件，这样我就可以将其提供给我的AI代理使用。"
数据主权的价值
数据主权意味着企业对其数据拥有完全的控制权。这不仅包括数据的存储位置，还包括数据的访问方式、使用方式以及与其他系统的集成方式。拥有数据主权的企业可以更灵活地部署AI代理，根据实际需求定制数据访问策略。
Andrew Ng通过个人经验分享了数据主权的重要性："作为一个个体，我最喜欢的笔记应用是Obsidian。我很乐意'雇佣'Obsidian来操作我的笔记文件。而且，我的所有笔记都以Markdown文件保存在我的文件系统中，我构建了可以读取或写入我的Obsidian文件的AI代理。这是一个小例子，展示了控制我自己的笔记数据如何让我能够用AI代理做更多的事情！"
选择支持数据主权的SaaS供应商
在购买SaaS服务时，企业应该优先考虑那些尊重数据主权的供应商。理想情况下，企业应该能够"雇佣"SaaS供应商来记录和操作其数据，但最终决定如何将其路由到适当的人工或AI系统进行处理。
Andrew Ng在为企业提供AI战略建议时经常强调："在购买SaaS时，我通常建议他们尝试控制自己的数据（遗憾的是，一些供应商强烈抵制）。这样，你可以雇佣SaaS供应商来记录和操作你的数据，但最终你决定如何将其路由到适当的系统进行处理。"
数据组织的新时代
结构化数据与非结构化数据
过去十年，企业投入了大量工作来组织其结构化数据。然而，随着AI现在能够比以往更好地处理非结构化数据，组织非结构化数据（包括PDF文件）的价值比以往任何时候都高。
非结构化数据通常占企业数据的80%以上，包括电子邮件、文档、图像、视频等。这些数据中蕴含着丰富的信息，但传统上难以分析和利用。AI技术的进步使得从这些非结构化数据中提取价值变得更加可行。
AI就绪数据
在生成式AI时代，企业和个人都有重要的工作要做，即将其数据组织成AI就绪的形式。这意味着不仅要确保数据的可访问性，还要确保数据的质量、一致性和相关性，以便AI代理能够有效地利用这些数据。
Andrew Ng的公司LandingAI的Agentic Document Extraction专门处理PDF文件等非结构化数据，这正是AI时代数据组织的重要方向。通过将非结构化数据转化为AI可以理解和处理的形式，企业可以释放这些数据中蕴含的巨大价值。
实施策略
评估现有数据孤岛
企业首先需要评估其现有的数据孤岛情况。这包括识别哪些数据被锁定在特定供应商的系统中，评估提取这些数据的成本和难度，以及确定这些孤岛对业务决策的影响。
制定数据整合计划
基于评估结果，企业应制定数据整合计划。这可能包括：
- 将关键数据迁移到企业可控的系统
- 实施API管理策略，确保数据访问的便捷性
- 建立数据治理框架，确保数据质量和一致性
- 开发或采用能够跨多个数据源工作的AI代理
投资数据基础设施
为了支持AI代理的高效运行，企业需要投资于适当的数据基础设施。这可能包括数据湖、数据仓库、数据网格等现代数据架构，以及能够处理大规模数据集的AI工具和平台。
培养数据素养
最后，企业需要培养数据素养，确保员工理解数据的价值以及如何有效地使用数据。这包括培训员工使用数据分析工具，理解数据隐私和安全考虑，以及如何将数据洞察转化为业务决策。
未来展望
随着AI技术的不断发展，数据孤岛的问题可能会变得更加复杂。然而，这也为企业提供了重新思考其数据策略的机会。那些能够成功打破数据孤岛、实现数据无缝整合的企业，将在AI时代获得显著的竞争优势。
未来，我们可能会看到更多专注于数据互操作性的技术和解决方案出现，使企业能够在保持数据主权的同时，实现不同系统间的数据流动。同时，随着AI代理变得更加智能和自主，它们可能会发展出更有效的方法来处理分散的数据，进一步减少数据孤岛的影响。
结论
数据孤岛是AI时代企业面临的主要挑战之一，但通过重新掌控数据主权、采用适当的数据组织策略，以及投资于支持AI代理的基础设施，企业可以克服这一挑战。正如Andrew Ng所言："在生成式AI时代，企业和个人都有重要的工作要做，即将其数据组织成AI就绪的形式。"
通过打破数据孤岛，企业不仅能够释放AI代理的全部潜力，还能够从其数据中提取更大的价值，做出更明智的决策，并在日益竞争激烈的商业环境中保持领先地位。
