在人工智能（AI）技术蓬勃发展的今天，各行各业都在积极探索如何将AI融入到自身业务中，以提升效率、优化服务和创造新的价值。然而，随着AI应用规模的不断扩大，基础设施的性能瓶颈和安全问题也日益凸显。为了应对这些挑战，F5与英伟达（NVIDIA）强强联合，推出了集高性能流量管理与安全防护于一体的AI解决方案，为企业构建高效、安全的AI基础设施提供了新的范式。
技术整合：软硬协同，释放AI潜能
此次F5与英伟达的合作，核心在于将F5 BIG-IP Next for Kubernetes与NVIDIA BlueField-3 DPU进行深度整合。BlueField-3 DPU作为数据中心的基础设施处理器，能够将网络、存储和安全等任务从CPU卸载到专用硬件上处理，从而释放宝贵的CPU资源，让其专注于AI计算。F5的流量管理技术则在此基础上实现了两项关键突破，进一步优化了AI工作负载的性能。
**1. 计算卸载优化：**传统的AI应用部署模式下，CPU需要承担大量的流量调度和KV缓存管理任务，这无疑会消耗大量的计算资源，影响AI推理的效率。而通过将这些任务迁移到BlueField-3 DPU上，联合解决方案能够显著降低CPU的负载，从而提升AI推理任务的处理效率。测试数据显示，该架构能够提升AI推理任务的处理效率达30%以上，尤其适用于高并发场景下的生成式AI应用。
**2. 动态模型路由：**面对复杂的AI应用场景，不同的请求可能需要不同的模型来处理。例如，简单的查询可以使用轻量级的LLM（大型语言模型）来处理，而复杂的任务则需要高性能的模型来完成。F5的智能路由引擎能够根据查询的复杂度自动分配任务，将简单请求路由到轻量级LLM，从而降低成本，将复杂任务定向到高性能模型，从而保证处理效率。这种分层调度机制在Sesterce的实际部署中，成功将首个词元生成时间缩短了40%，同时降低了20%的GPU资源占用。
这种软硬件协同的方式，不仅能够提升AI应用的性能，还能够降低企业的运营成本，提高资源利用率，为AI应用的规模化部署提供了坚实的基础。
性能加速：缓存加速，提升AI响应速度
生成式AI应用对延迟非常敏感，用户希望能够快速获得AI的响应。为了满足这一需求，F5与英伟达的解决方案深度融合了NVIDIA Dynamo框架的分布式管理能力与F5的流量优化技术。NVIDIA Dynamo框架的KV Cache Manager通过键值缓存复用历史计算结果，避免了重复推理的开销，从而降低了延迟。而F5则基于实时容量指标动态路由请求，确保缓存命中率最大化，进一步提升了AI应用的响应速度。
具体来说，当用户发起一个AI请求时，F5会首先检查缓存中是否存在该请求的结果。如果存在，则直接从缓存中返回结果，避免了重复推理的开销。如果缓存中不存在该请求的结果，则将请求转发到AI模型进行推理，并将推理结果缓存起来，以便下次使用。通过这种方式，可以大大减少AI推理的次数，降低延迟，提升用户体验。
此外，该解决方案还能够根据实时容量指标动态路由请求。例如，当某个AI模型的负载较高时，F5可以将请求路由到其他负载较低的模型上，从而避免了单个模型过载，保证了AI应用的整体性能。这种动态路由机制能够有效地平衡各个AI模型的负载，提升资源利用率，降低运营成本。
通过KV缓存与动态路由的协同作用，企业可以在同等GPU配置下支持更高并发量，同时将内存成本降低至传统方案的1/3，从而降低了AI应用的总体拥有成本（TCO）。
安全增强：全栈防护，保障AI安全可靠
随着AI应用的普及，安全问题也日益突出。例如，模型窃取、提示注入等AI特有的风险给企业带来了巨大的挑战。为了应对这些挑战，F5在此方案中扮演了三重角色，为AI应用提供全方位的安全防护。
**1. 反向代理：**F5可以作为反向代理部署在NVIDIA MCP服务器前端，通过TLS终止、DDoS防护等功能加固LLM服务边界，防止恶意攻击。TLS终止可以对传输的数据进行加密，防止数据泄露。DDoS防护可以抵御大量的恶意请求，保证AI服务的可用性。
**2. 协议灵活性：**随着AI协议（如OpenAI API、TensorRT-LLM）的快速迭代，安全防护面临严峻挑战。F5借助iRules的可编程能力，支持快速适配新兴AI通信协议，例如对gRPC长连接的智能限流。iRules是一种强大的脚本语言，可以用于自定义F5的流量管理策略，从而实现对新兴AI通信协议的快速适配。
**3. 数据面防护：**F5结合DOCA框架的硬件级加密，实现从网络层到应用层的全栈安全，有效抵御模型窃取、提示注入等AI特有风险。DOCA框架是NVIDIA推出的一套用于加速数据中心应用的软件框架，它提供了硬件级的加密功能，可以保护数据的安全。
通过这三重防护，F5能够有效地保护AI应用免受各种安全威胁，保障AI服务的安全可靠运行。
行业影响与未来展望
F5与英伟达的联合方案已在欧洲客户Sesterce的生产环境中完成验证，其价值主要体现在以下三个方面：
- **降低TCO（总体拥有成本）：**通过DPU卸载，可以降低CPU的负载，从而降低硬件成本和能耗成本。
- **灵活使用不同规模的LLM：**智能路由机制使企业能够更灵活地混合使用不同规模的LLM，从而降低运营成本。
- **满足合规需求：**安全能力的深度集成满足了金融、医疗等合规敏感行业的需求。
分析人士认为，F5与英伟达的合作标志着AI基础设施正从“单纯算力堆砌”向“性能-安全-成本协同优化”演进。未来，随着DPU在数据中心的普及，此类软硬协同方案或将成为AI规模化落地的标准配置。不过，企业需注意异构架构带来的运维复杂性，建议通过概念验证（PoC）逐步验证业务适配性。
总的来说，F5与英伟达的联合方案为企业提供了一条兼顾效率与安全的实用路径。其技术逻辑不仅适用于当前的大语言模型场景，也为未来边缘AI、多模态推理等新兴需求预留了扩展空间。这一合作或将重新定义AI时代的基础设施架构标准，引领AI技术走向更加成熟和普及的未来。
