使用思科 UCS/第 5 代和第 4 代英特尔 至强处理器执行生成式 AI 推理操作

说明

由第五代英特尔® 至强®处理器和思科 Nexus 提供支持的思科 UCS 是大规模部署生成式人工智能的可扩展基础。该架构提供：

• 最佳性能： 采用英特尔 至强可扩展处理器、专用 AI 加速器和优化软件框架的思科 UCS 可显著提高推理性能和可扩展性。
• 平衡的架构： 思科 UCS 在深度学习和非深度学习计算方面均表现出色，这对整个推理管道至关重要。这种平衡的方法可以提高整体性能和资源利用率。
• 按需扩展： 思科 UCS 可根据您的生成式 AI 推理需求无缝扩展。随着模型的发展和工作负载的增长，使用 Cisco Intersight 自动添加或删除服务器、调整内存容量以及配置资源。

您可以选择在数据中心或边缘使用模块化或机架外形运行推理。