可持续数据中心

可持续数据中心

能效更高的人工智能 (AI)

概述

  • 使用内置英特尔® AMX 的第五代英特尔® 至强® 可扩展处理器可将常见 AI 工作负载的每瓦性能提升高达 10 倍。此外，借助英特尔® oneAPI，可将 PyTorch 的图像分类性能提升高达 53 倍，将推荐系统性能提升将近 5 倍，从而以更低功耗获取更多洞察。您也可借助 Granulate™ 将数据中心的计算性能提升高达 60%，并将成本降低多达 30%。

获取常见问题解答详情
PDF

如何以更加可持续的方式执行 AI 模型开发、训练和推理？


寻找合适的硬件解决方案，以帮助更高效地运行资源密集型 AI 工作负载，并优化每瓦性能。单一的处理器无法满足所有 AI 解决方案的需求。面向 AI 优化的异构硬件组合有助于确保数据中心高效运行。英特尔提供面向 AI 优化的端到端硬件产品组合，以及一整套具备可互操作性的 AI 软件工具和框架优化，可在每个阶段加速 AI 工作流程。凭借更丰富的加速功能和性能优化，英特尔® 软硬件解决方案有助于加速 AI 功能落地，并帮助提升数据中心的运行能效。 

全新英特尔® 至强® 可扩展处理器配备内置加速引擎，能够以更高能效实现更出色的工作负载成果。与未启用加速器相比，第五代英特尔® 至强® 可扩展处理器启用英特尔® 高级矩阵扩展（Intel® Advanced Matrix Extensions，英特尔® AMX）可将常见 AI 工作负载的每瓦性能提升高达 10 倍1。

与上一代产品相比，全新英特尔® 至强® 可扩展处理器还可提供更出色的性能和能效。运行 DistilBERT 自然语言处理 (NLP) 工作负载时，与第四代英特尔® 至强® 可扩展处理器相比，使用第五代英特尔® 至强® 可扩展处理器运行相同工作负载时可将每瓦性能提升高达 1.48 倍2。

此外，借助经优化的软件，英特尔还可针对常见 AI 场景提高效率。英特尔® oneAPI 深度学习库经过多项优化，可将 TensorFlow 的图像分类推理性能提升高达 16 倍，对象检测性能提升高达 10 倍；将 PyTorch 的图像分类性能提升高达 53 倍，将推荐系统性能提升将近 5 倍，助您以更低功耗获取更多洞察3。

如需了解更多有关如何以更可持续的方式设计 AI 项目的建议，请参阅《麻省理工科技评论》中英特尔的文章。

英特尔如何利用 AI 帮助降低数据中心能耗？

AI 在帮助企业和数据中心提高能效方面仍有巨大潜力尚待挖掘。您可以利用英特尔的工具来执行动态性和碳感知能力更高的计算任务，从而减少数据中心碳足迹。

全新英特尔® 至强® 可扩展处理器内置遥测功能，可提供关于能效、散热、资源利用和系统整体健康状况的实时洞察，从而帮助确保数据中心高效运行。通过将这些遥测数据与智能数据中心基础设施管理工具（如主流 OEM 提供的服务器管理工具）结合使用，您可以自动编排调整以优化能耗表现，并检测异常情况，从而预先发现问题。

您还可将全新英特尔® 至强® 可扩展处理器丰富的遥测功能与 Kubernetes 中的英特尔® 工具搭配使用，打造更加积极主动的数据中心管理方法，以提高碳效率并降低能耗。
 

  • 利用机器学习预测计算高峰时间，并通过 Kubernetes 中的英特尔® Power Manager 调优 Kubernetes 集群的用电方式。这能让您提前启动节点，实现快速响应，同时减少空转的能耗并降低时延。在非高峰期，您可以轻松地将节点转换到省电模式，从而节约能源。
     
  • 根据可再生能源的可用性，有选择地增减优先级较低的工作负载。借助英特尔® 至强® 可扩展处理器中内置的遥测工具和 Kubernetes 中的英特尔® 遥测感知调度（Intel® Telemetry Aware Scheduling，英特尔® TAS），您可在有较多低碳或零碳能源可用时提升密集计算任务的速度。
     
  • 利用 Kubernetes 基于策略的软件工具实现云端工作负载的自动化和优化，并利用英特尔在 Kubernetes 中的云原生编排功能显著降低成本、提升能效。
     

您也可借助英特尔® Granulate™ 实时性能洞察和调整，自动优化本地、混合和/或云基础架构，以充分利用 AI 的优势。这一应用和工作负载性能优化解决方案无需修改任何应用代码即可将数据中心的计算性能提升高达 60%，并将成本降低多达 30%4。英特尔® Granulate™ 还提供“二氧化碳减排计量表 (CO2 Savings Meter)”，让您可以轻松衡量工作负载优化对数据中心碳足迹的影响，以及成本和资源的节约情况。

为什么需要实施内置加速器？

虽然需要进行一些初始设置，但整体上英特尔® 加速引擎可以产生巨大的回报。与仅增加 CPU 内核数相比，这些高带宽内存和软件优化能够更高效地提高工作负载性能。例如，第五代英特尔® 至强® 可扩展处理器的内置加速器英特尔® AMX 可以迅速加速自然语言处理。与第三代英特尔® 至强® 可扩展处理器相比，使用内置英特尔® AMX 的第五代英特尔® 至强® 可扩展处理器可将实时自然语言处理推理 (BERT-Large) 性能提升高达 9.9 倍，将每瓦性能提升高达 7.7 倍5。

使用这些内置加速器可以大大降低服务器的碳影响和总体拥有成本 (TCO)。测试表明，运行 DistilBERT 自然语言处理模型工作负载时，与第三代英特尔® 至强® 可扩展处理器相比，第五代英特尔® 至强® 可扩展处理器可将 TCO 降低多达 64%，设备群在四年内能够节省多达 1,643.6 兆瓦时的能源，减少将近 697 吨的二氧化碳排放6。

自然语言处理仅仅是其中一个方面。如图所示，使用内置加速器还可提高每瓦性能：

在没有内部专家，无法实施独立加速器的情况下，如何运行更强大的 AI 或机器学习工作负载？ 

您可以使用英特尔® Developer Cloud 或 Amazon EC2 DL1 实例着手运行模型，以较低成本训练深度学习模型，用于自然语言处理、对象检测和图像识别用例。AWS 数据显示，与当前一代基于 GPU 的 EC2 实例相比，利用 DL1 实例训练深度学习模型可将性价比提升高达 40%7。您可以用更低成本更高效地训练模型，加快模型训练的上市时间。

散热效率更高的服务器如何支持公司实现可持续发展目标？

根据 Gartner 的数据，数据中心有 40% 的能耗在于散热8，这给优化能效和资源利用，特别是不断增长的 AI 工作负载，带来了巨大机会。虽然当前有许多气冷解决方案，包括增强型系统气冷和 AI 辅助自动冷却，但气冷解决方案在优化电源使用效率 (PUE) 方面却比不上液冷技术。

液冷不仅有助于优化服务器密度、空间和能效，还能延长硬件寿命。硬件的平均工作温度每降低 10°C 就能使半导体的使用寿命延长一倍以上9。

液冷几乎针对所有数据中心场景都有可行的解决方案，无论是绿地还是棕地部署，小规模还是大规模运营，服务器、机架还是系统层面。经优化的解决方案可以在不增加成本的情况下保持现有的性能水平。

冷板式解决方案非常适合单个组件层面的散热，其部署可以扩展，并可在不增加系统重量的情况下轻松改造现有基础设施。而在暖空气环境或湿度高、有污染的区域，浸没式解决方案可以在系统层面散热，并且具有热回收和再利用的优势。

英特尔处于液冷技术的前沿，推出了开放式 IP 浸没式液冷解决方案和参考设计，让合作伙伴能够加速开发并提高能效。

英特尔将继续与合作伙伴生态系统共同创新。英特尔的合作伙伴 Hypertec 提供的解决方案可使客户在数据中心散热上的运营支出 (OPEX) 节省高达 95%，同时还可将硬件寿命延长多达 30%10，功耗降低近 50%11。

英特尔提供专门面向液冷系统优化的处理器 SKU 以及浸没式冷却保修附加条款，同时还为冷板系统提供性能验证，确保其在大规模实施中的可靠性。

一般提示和法律声明

实际性能受使用情况、配置和其他因素的差异影响。更多信息请见英特尔的性能指标网页。性能测试结果基于配置信息中显示的日期进行的测试，且可能并未反映所有公开可用的安全更新。详情请参阅配置信息披露。没有任何产品或组件是绝对安全的。具体成本和结果可能不同。英特尔技术可能需要启用硬件、软件或激活服务。

© 英特尔公司版权所有。英特尔、英特尔标识以及其他英特尔商标是英特尔公司或其子公司的商标。其他的名称和品牌可能是其他所有者的资产。

“英特尔® 加速引擎显著提高每瓦性能”图表配置：

实际性能受使用情况、配置和其他因素的差异影响。详情请参阅配置信息披露。结果可能不同。

使用英特尔® IAA 运行 ClickHouse：

英特尔® 至强® 铂金 8592+ 处理器：单节点，2 个内置英特尔® 存内分析加速器（Intel® In-Memory Analytics Accelerator，英特尔® IAA）的英特尔® 至强® 铂金 8592+ 处理器（64 核），所用 IAA 设备数量=4（1 路，工作状态下），启用超线程，启用睿频，禁用 SNC，总内存 1024 GB (16 插槽，64 GB DDR5，5600 MT/s)，微代码 0x21000161，2 个英特尔® 以太网控制器 10-Gigabit X540-AT2，1 个 1.7 TB SAMSUNG MZQL21T9HCJR-00A07，Ubuntu 22.04.3 LTS，6.5.0-060500-generic，ZSTD v1.5.0，QPL v1.3dev，accel-config-v4.1.1，clang13，ClickHouse 21dev，Star Schema Benchmark，Query 4.1，截至 2023 年 10 月英特尔所做的测试。

使用英特尔® IAA 运行 RocksDB：

英特尔® 至强® 铂金 8592+ 处理器：单节点，2 个内置英特尔® IAA 的英特尔® 至强® 铂金 8592+ 处理器（64 核），所用 IAA 设备数量=8（2 路，工作状态下），启用超线程，启用睿频，禁用 SNC，总内存 1024 GB (16 插槽，64 GB DDR5，5600 MT/s)，微代码 0x21000161，2 个英特尔® 以太网控制器 10-Gigabit X540-AT2，1 个 1.7 TB SAMSUNG MZQL21T9HCJR-00A07，Ubuntu 22.04.3 LTS，6.5.0-060500-generic，QPL v1.2.0，accel-config-v4.0，iaa_compressor plugin v0.3.0，ZSTD v1.5.5，gcc 10.4.0，RocksDB v8.3.0 trunk (commit 62fc15f) (db_bench)，每个实例 4 个线程，64 个 RocksDB 实例，截至 2023 年 10 月英特尔所做的测试。

Linpack：

英特尔® 至强® 铂金 8592+ 处理器：单节点，2 个英特尔® 至强® 铂金 8592+ 处理器，启用超线程，启用睿频，SNC2，总内存 1024 GB (DDR5，5600 MT/s)，ucode 0x21000161，Red Hat Enterprise Linux 8.7，4.18.0-425.10.1.el8_7.x86_64，HPL from MKL_v2022.1.0，cmkl:2023.2.0，icc:2023.2.0，impi:2021.10.0。截至 2023 年 10 月英特尔所做的测试。

NGINX：

英特尔® 至强® 铂金 8592+ 处理器：单节点，2 个内置英特尔® 数据保护与压缩加速技术（Intel® QuickAssist Technology，英特尔® QAT）的英特尔® 至强® 铂金 8592+ 处理器（64 核），所用 QAT 设备数量=4（1 路，工作状态下），启用超线程，禁用睿频，启用 SNC，总内存 1024 GB (16 插槽，64 GB DDR5，5600 MT/s)，微代码 0x21000161，Ubuntu 22.04.3 LTS，5.15.0-78-generic，1 个 1.7 TB SAMSUNG MZWLJ1T9HBJR-00007，1 个英特尔® 以太网网络适配器 E810-2CQDA2，1 个 100 GbE，NGINX Async v0.5.1，OpenSSL 3.1.3，IPP Crypto 2021.8，IPsec MB v 1.4，QAT _Engine v 1.4.0，QAT 驱动程序 20.l.1.1..20-00030，TLS 1.3 Web Server：ECDHE-X25519-RSA2K，截至 2023 年 10 月英特尔所做的测试。

SPDK NVMe TCP：

英特尔® 至强® 铂金 8592+ 处理器：单节点，2 个内置英特尔® 数据流加速器（Intel® Data Streaming Accelerator，英特尔® DSA）的英特尔® 至强® 铂金 8592+ 处理器（64 核），所用 DSA 设备数量=1（1 路，工作状态下），启用超线程，启用睿频，禁用 SNC，总内存 1024 GB (16 插槽，64 GB DDR5，5600 MT/s)，微代码 0x21000161，Ubuntu 22.04.3 LTS，5.15.0-78-generic，1 个 894.3 GB Micron 7450，4 个 3.84 TB Samsung PM1733，1 个英特尔® 以太网网络适配器 E810-2CQDA2，2 个 100 GbE，FIO v3.34，SPDK 22.05，截至 2023 年 10 月英特尔所做的测试。

使用英特尔® QAT 运行 Microsoft SQL + Backup：

英特尔® 至强® 铂金 8592+ 处理器：单节点，2 个内置英特尔® QAT 的英特尔® 至强® 铂金 8592+ 处理器（64 核），所用 QAT 设备数量=8（2 路，工作状态下），启用超线程，启用睿频，禁用 SNC，总内存 1024 GB (16 插槽，64 GB DDR5，5600 MT/s)，微代码 0x21000161，2 个英特尔® 以太网控制器 10-Gigabit X540-AT2，7 个 3.5 TB 英特尔® SSDPE2KE032T807，QATZip 2.0.W.1.9.0-0008，Microsoft Windows Server Datacenter 2022，Microsoft SQL Server 2022，SQL Server Management Studio 19.0.1，HammerDB 4.5，截至 2023 年 10 月英特尔所做的测试。

ResNet50 图像分类：

英特尔® 至强® 铂金 8592+ 处理器：单节点，2 个英特尔® 至强® 铂金 8592+ 处理器，64 核，启用超线程，启用睿频，NUMA 2，总内存 1024 GB（16 插槽，64 GB DDR5，5600 MT/s），BIOS 2.0，微代码 0x21000161，2 个支持 10GBASE-T 端口的英特尔® 以太网控制器 X710，1 个以太网接口，1 个 1.7 TB SAMSUNG MZQL21T9HCJR-00A07，Ubuntu 22.04.2 LTS，5.15.0-78-generic，截至 2023 年 10 月 10 日英特尔所做的测试。软件配置：ResNet50_v1.5，英特尔® Model Zoo：https://github.com/IntelAI/models，gcc=11.4，oneDNN3.2，Python 3.9，Conda 4.12.0，面向英特尔® 架构优化的 TensorFlow 2.13。

BERT-Large 自然语言处理：

英特尔® 至强® 铂金 8592+ 处理器：单节点，2 个英特尔® 至强® 铂金 8592+ 处理器，64 核，启用超线程，启用睿频，NUMA 2，总内存 1024 GB（16 插槽，64 GB DDR5，5600 MT/s），BIOS 2.0，微代码 0x21000161，2 个支持 10GBASE-T 端口的英特尔® 以太网控制器 X710，1 个 1.7 TB SAMSUNG MZQL21T9HCJR-00A07，Ubuntu 22.04.2 LTS，5.15.0-78-generic，截至 2023 年 10 月 10 日英特尔所做的测试。AI 模型：BERT-Large，英特尔® Model Zoo：https://github.com/IntelAI/models，gcc=12.3，oneDNN=3.2，Python=3.9，Pytorch=2.0，IPEX=2.0，序列长度=384，步长=30，预热步数=10。

DLRM 推荐系统：

英特尔® 至强® 铂金 8592+ 处理器：单节点，2 个英特尔® 至强® 铂金 8592+ 处理器，64 核，启用超线程，启用睿频，NUMA 2，总内存 1024 GB（16 插槽，64 GB DDR5，5600 MT/s），BIOS 2.0，微代码 0x21000161，2 个支持 10GBASE-T 端口的英特尔® 以太网控制器 X710，1 个以太网接口，1 个 1.7 TB SAMSUNG MZQL21T9HCJR-00A07，Ubuntu 22.04.2 LTS，5.15.0-78-generic，截至 2023 年 10 月 10 日英特尔所做的测试。软件配置：DLRM，英特尔® Model Zoo：DLBoost 工具包 - WW35 版，gcc=12.3，oneDNN3.2，Python 3.8，PyTorch2.1，IPEX2.1，仅物理内核，BS=N。

产品和性能信息

1 与未启用加速器的第五代英特尔® 至强® 可扩展处理器相比，启用内置英特尔® AMX 加速引擎的第五代英特尔® 至强® 可扩展处理器可将 ResNet50 处理图像分类工作负载的性能提升高达 10.2 倍，每瓦性能提升高达 9.95 倍。实际性能受使用情况、配置和其他因素的差异影响。结果可能不同。英特尔® 至强® 铂金 8592+ 处理器：单节点，2 个英特尔®至强® 铂金 8592+ 处理器，64 核，启用超线程，启用睿频，NUMA 2，总内存 1024 GB（16 插槽，64 GB DDR5，5600 MT/s），BIOS 2.0，微代码 0x21000161，2 个支持 10GBASE-T 端口的英特尔® 以太网控制器 X710，1 个以太网接口，1 个 1.7 TB SAMSUNG MZQL21T9HCJR-00A07，Ubuntu 22.04.2 LTS，5.15.0-78-generic，截至 2023 年 10 月 10 日英特尔所做的测试。软件配置：ResNet50_v1.5，英特尔® Model Zoo：https://github.com/IntelAI/models，gcc=11.4，oneDNN3.2，Python 3.9，Conda 4.12.0，面向英特尔® 架构优化的 TensorFlow 2.13。
2 配置信息请见以下网址的 (A24)：intel.com/processorclaims（第五代英特尔® 至强® 可扩展处理器）。结果可能不同。
3 请见补充配置信息
4 英特尔® Granulate™ | 面向英特尔® 处理器的自主优化
5 配置信息请见以下网址的 (A19)：intel.com/processorclaims（第五代英特尔® 至强® 可扩展处理器）。
6 配置信息请见以下网址的 (T11)：intel.com/processorclaims（第五代英特尔® 至强® 可扩展处理器）。
7 Amazon EC2 DL1 实例——Amazon Web Services
8 Gartner，“How can sustainability drive data center infrastructure cost optimization（可持续性如何推动数据中心基础设施成本优化？）”，2022 年 11 月。
9 jetcool.com，“Device Reliability - How Temperature Affects Mean Time to Failure（设备稳定性：温度如何影响平均故障时间？）”
10 https://hypertec.com/immersion-cooling
11 https://www.intel.cn/content/www/cn/zh/products/docs/processors/xeon/scalable/hypertec-video.html