利用思科 UCS X 系列 M7 刀片服务器/第 5 代英特尔 至强处理器进行生成式 AI 推理

说明

基于具有英特尔® 至强®可扩展处理器和思科Nexus®的思科 UCS® 的解决方案为大规模部署生成式人工智能提供了极具吸引力且可扩展的基础。此体系结构提供以下组合：

• 最佳性能： 采用英特尔 至强可扩展处理器、专用 AI 加速器和优化软件框架的思科 UCS 可显著提高推理性能和可扩展性。Cisco Nexus 9000 交换机提供高带宽、低延迟、拥塞管理机制和遥测技术，以满足 AI/ML 应用的苛刻网络要求。
• 平衡的架构： 思科 UCS 在深度学习和非深度学习计算方面均表现出色，这对整个推理管道至关重要。这种平衡的方法可以提高整体性能和资源利用率。
• 按需扩展： 思科 UCS 可根据您的生成式 AI 推理需求进行无缝扩展。随着模型的发展和工作负载的增长，使用 Cisco Intersight® 自动添加或删除服务器、调整内存容量以及配置资源。

思科 UCS X 系列模块化系统以及 C240 和 C220 机架服务器支持第五代英特尔 至强可扩展处理器，因此您可以选择使用模块化或机架外形在数据中心或边缘运行推理。