存储、网络和计算需求都在同时发生变化，这意味着仅靠 NAND 存储可能无法满足分离式云存储的需求，而英特尔® 傲腾™ 固态盘能够弥补这一差距。
引言与摘要
为满足客户对性能越来越高的期望以及不断增长的容量需求，云服务提供商 (CSP) 必须不断寻找新方法来管理和扩展其存储服务。向客户提供基础设施的云服务提供商可提供两种固态盘存储方案选择：
• 本地存储，即固态盘以物理方式连接到计算服务器本身；
• 分离式存储，即固态盘托管在单独的服务器上，并根据需要通过网络分配给计算服务器。本白皮书将重点介绍为存储和计算之间的存储流量提供服务的分离式存储。
云服务提供商以多种方式管理他们的分离式存储，多家大型云服务提供商都开发了自己的存储软件。其他云服务提供商利用开源解决方案（如 Ceph）或是购买专用的解决方案（如 VAST Data、Pure Storage 和 Lightbits Labs 的产品）。云服务提供商无论是自行打造，还是购买存储解决方案，都必须解决分离式存储的一个关键问题：如何处理和保护传入的数据写入。当今常见的解决方案包括由 NVDIMM 或过度配置的 NAND 固态盘组成的写入缓冲区，用于数据写入在移动到大容量存储之前暂存数据。然而，随着存储网络吞吐量的提高、向 PCIe Gen4 的过渡，以及 NAND 和英特尔® 傲腾™ 固态盘之间的性能差距日益扩大，当下用于保护传入数据写入的解决方案将不再奏效。
本白皮书将探讨为什么当下的解决方案不适用于正在变迁的云存储格局。然后介绍使用新一代英特尔® 傲腾™ 固态盘的解决方案，以供云服务提供商存储规划者参考。
处理和保护传入数据
在多种趋势的推动下，云服务提供商倾向于选择性能更高的存储产品。这使得分布式存储的一个关键问题变得更加棘手：如何处理和保护传入的数据写入。如今，通常将 NVDIMM 或过度配置的 NAND 固态盘用作分布式块存储服务中的写入缓冲区。但是，随着网络速度的提高，同时大容量存储转向速度更慢、但更加密集和经济高效的技术，写入缓冲区所需的容量可能会超过 NVDIMM 的可用容量。此外，处理不断增加的写入流量，所需过度配置的 NAND 固态盘绝对数量会迅速超出物理服务器的空间。如果没有写入缓冲区，大容量存储的性能和使用寿命都会显著降低。因此，云服务提供商存储规划者必须思考和寻求处理数据写入的新解决方案。
解决此问题有两条途径：1) 断电威胁 (PLI) 缓冲区； 2) 写入缓冲区。如图 1 所示，对于 PLI 缓冲区，传入的写入落在 DRAM，并同时写入快速缓冲区和较慢的大容量存储。虽然数据在 DRAM 中聚合可提高大容量存储的效率，但在性能更强的非易失性缓冲区则可实现数据持久性。这将显著提升耐用性，进而提高整体系统性能。如果服务器断电，写入速度较慢的大容量存储的数据可能会丢失，而非易失性 PLI 缓冲区则可在重启过程中保护和恢复数据。此外，通过将小块操作替换为大块操作，就能提高大容量存储的性能和耐用性。
图 1. PLI 缓冲区。
如图 2 所示，写入缓冲区不仅用于保护传入数据，还用于将较小的块聚合为较大的块。在完成聚合后，数据将在后台移动到大容量存储。这一过程还能带来一个潜在的附加优势：通过将写入分流到写入缓冲区，云服务提供商就能优化大容量存储，从而更高效地为读取提供服务。这种方法使存储架构师能够优化介质管理策略，为连接的计算实例提供所需的优质读取服务。这种写入缓冲区与 PLI 缓冲区一样，可提高大容量存储的性能和持久性。
图 2. 写入缓冲区。
本文将重点介绍 PLI 缓冲区用例，但观察结果同样适用于云服务提供商考虑的其他类似用例。
PLI 缓冲区考虑要素
从技术的角度来看，在解决问题时，必须缩小决定性因素的范围。对于 PLI 缓冲区，随机写入带宽和耐用性是重中之重，而存储容量虽然是必要因素，但仅限于保护临时存储在系统内存中的数据。从运营的角度来看，能否维护和服务诸多满载存储服务器的数据中心机架是一个必须考虑的因素，因为这意味着与内部安装的 NVDIMM 相比，可在前端维护的热插拔外形（例如 U.2 或 EDSFF 固态盘）更具吸引力。
为了提高大规模运营的效率，云服务提供商志在获得高网络利用率1，其目标是实现高达 90% 的可用网络带宽。如图 3 所示2，在 25 GbE 网络上，对于 4K 随机读取，云服务提供商可以使用相同数量的 PCIe Gen3 NAND 固态盘或英特尔® 傲腾™ 固态盘处理 90% 阈值。对于有效数据分析，例如 70/30 读/写工作负载，三个 Gen3 NAND 固态盘可以完全处理相同的网络输入和输出。对于 70/30 工作负载，英特尔® 傲腾™ 固态盘略胜于 NAND 固态盘，并能将随机写入所需的硬盘数量减半。这对于 PLI 缓冲区用例而言，将成为一个非常重要的考虑因素。虽然存储技术之间确实存在差距，但在做出大多数构建 Gen 3 25 GbE 存储系统的决定时，英特尔® 傲腾™ 固态盘尚未被完全引入市场。
随着向 100 GbE 和 PCIe Gen4 系统和固态盘的过渡，NAND 和英特尔® 傲腾™ 固态盘之间的差异愈发凸显。在 100 GbE 服务器网络上，实现 4K 随机读取饱和度需要四个 PCIe Gen4 NAND 固态盘和两个 Gen4 英特尔® 傲腾™ 固态盘。图 4 展示了 70/30 工作负载的差异，但 PLI 缓冲区突出的工作负载特性是 100% 写入。对于此类工作负载，差异相当明显：对于 100 Gbps 随机写入，三个英特尔® 傲腾™ 固态盘能够媲美 13 个 NAND 固态盘3。
图 3. 英特尔® 傲腾™ 固态盘和 NAND 固态盘 25 GbE 饱和度。
图 4. 英特尔® 傲腾™ 固态盘和 NAND 固态盘 100 GbE 饱和度。
对于考虑在未来迁移到 200 GbE 存储服务器连接的云服务提供商，这一趋势仍将继续。5 个英特尔® 傲腾™ 固态盘即可处理 100% 的传入随机写入，而云服务提供商将需要部署 25 个 TLC NAND 固态盘才能处理同样的工作负载（见图 5）4。即使将 NAND 固态盘过度配置 50%（从而将性能提高 2 倍）作为 PLI 缓冲区，规划者需要部署的英特尔® 傲腾™ 固态盘也比 NAND 固态盘少 8 个。下一节将从云服务提供商存储规划者的角度讨论这一设置如何转化为价值。
图 5. 英特尔® 傲腾™ 固态盘和 NAND 固态盘 200 GbE 饱和度。
价值分析
虽然上述技术分析对比了英特尔® 傲腾™ 固态盘与其他技术在 PLI 缓冲区中的使用，但在做出部署决策时，性能价值将成为决定性的因素。对于云服务提供商规划者而言，由平均资本支出和运营支出组成的整体绩效将会成为方案选择的关键。而这种分析通常需要在机架级别进行考虑。换言之，就是针对满载存储服务器的数据中心机架，甚至是在整个数据中心层面，分析具体的性价比。虽然成本分析因特定云服务提供商的特点而存在巨大差异，但本文叙述了一个通用模型，读者可以自行修改并将其应用于云服务提供商的需求。
假设一个功率限制为 24 kW 的 42U 数据中心机架，在保留顶部 2U 用于架顶式交换机后，可将 40U 用于 2U 存储服务器。每个存储服务器都采用双路配置，配备两个 100 GbE NIC 以实现冗余（100 GbE 有效吞吐量）。这么做的目标是满足在每个服务器中将多达 90% 的 100 Gbps 随机写入处理到 PLI 缓冲区的需求，同时尽可能地提升存储架构的密度。存储性价比较为突出的解决方案将转化为云服务提供商的出色业务模型，并为该分离式存储服务的最终用户增加价值。
现在让我们回到上文图 4。为了在 PLI 缓冲区中处理多达 90% 的 100 Gbps 传入随机写入，云服务提供商仅需部署三个新一代英特尔® 傲腾™ 固态盘，即可实现媲美 13 个 TLC NAND 固态盘的性能。假设 7 个 TLC NAND 固态盘可以过度配置 50% 以实现所需的性能，那么必须考虑当 PLI 缓冲区要求得到满足后单个服务器可以容纳的大容量存储量。
如上图 6 所示，我们假设一个 PCIe Gen4 服务器，每路有 64 个 PCIe 通道，并采用平衡的存储和网络配置。NIC 将占用 16 个通道，剩下 48 个通道用于 4 路固态盘，即每路总共有 12 个 NVMe 固态盘，每个服务器有 24 个固态盘。在 24 个固态盘插槽中，新一代英特尔® 傲腾™ 固态盘只需占用其中的 3 个，而在另一个方案中，过度配置 NAND 固态盘将占用 7 个插槽。这将分别留下 21 个和 17 个大容量存储 NVMe 固态盘的空间。为了降低后端存储成本，与 TLC NVMe 固态盘相比，可以考虑 QLC NVMe 固态盘，例如 7.68 TB 的英特尔® 固态盘 D5-P4420。
在这种情况下，将英特尔® 傲腾™ 固态盘用于 PLI 缓冲区的每台服务器可以整合超过 161 TB 的原始存储；而将过度配置 NAND 作为 PLI 缓冲区的方案只能整合略超过 130 TB 的原始存储。虽然由于存储密度较大，这种方法会增加每台服务器的总体前期费用；但在机架级别，则意味着每 GB 原始存储的成本降低了 12.6%。这不仅考虑了前期资本支出，还考虑了 3 年运营期间的电力运营支出（有关计算方法的详细说明，请参阅附录）。
图 6. 存储服务器拓扑结构概览。
由于故障影响半径的问题，或是需要添加其他使用 PCIe 通道的加速器，一些云服务提供商可能会选择不填满 PCIe 通道。在这种情况下，云服务提供商可能希望将每台服务器的存储量保持在 100 TB 以下，即在 PLI 缓冲区旁部署 12 个 QLC 固态盘，从而获得超过 92 TB 的原始存储空间。即使在这种情况下，将英特尔® 傲腾™ 固态盘用作 PLI 缓冲区的方案也能将每 GB 原始存储的成本降低 7.4%。因为 PLI 缓冲区的资本支出较低，而且随着时间的推移，所需的能源和冷却成本也较少，因此运营支出更低。请参阅附录，了解具体的配置和假设。
结论
不断增长的计算需求、更密集的分布式存储、更高吞吐量的网络、向 PCIe Gen4 的过渡，以及 NAND 和英特尔® 傲腾™ 固态盘 P5800X 之间性能差距的日益拉大，暴露了过去的传入数据写入保护解决方案已不再奏效的现状。本白皮书探讨了这些转型将会产生的影响，以便云服务提供商规划者在计划如何满足客户的存储性能需求时加以考虑。此外，本文还说明了新一代英特尔® 傲腾™ 固态盘在分布式存储架构中的潜在价值。请继续阅读附录，了解有关上述趋势和价值分析的更多详细信息。
附录
云存储的趋势与需求
云服务提供商正面临着相互关联且会影响分离式存储服务未来的四重转型：1) 不断增长的计算需求；2) 不断增长的数据存储需求；3) 存储技术的差异化；以及 4) 客户对存储性能的要求越来越高。
影响存储需求的计算需求
CPU 架构正不断适应日益提高的计算扩展需求，尤其是在云服务提供商将 CPU 内核租用给客户的大背景下。Dell EMC 认为 “多芯片可扩展服务器 CPU 的时代已经到来”，这使得 “CPU 的内核数、高速 I/O 通道和其他功能的 [增长速度] 远超以往。这得益于芯片制程工艺达到 10 纳米及以下水平”5。
二十多年来，英特尔一直致力于满足数据中心不断增长的计算需求（以及相关的内存带宽），并且预计未来将有更多扩展需求。下图 7 显示了这一过程中最大内核数的变化趋势6。
得益于更高的 CPU 内核数和更高效的基础设施管理，云服务提供商能利用每台服务器的更多内核实现盈利，而客户将继续把远程存储卷附加到他们的计算实例。不断增长的计算需求势必增加计算数据量，从而加大平衡进出计算资源的 I/O 流量的需求。部署的实例越多，对于存储和网络性能的要求也就越高，以下趋势充分说明了这一点。
影响网络需求的数据增长
根据 IDC 调查，未来三年中创建的数据量将超过过去 30 年创建的所有数据的总和，但其中大部分数据不会得到采集和存储7。然而，到今年为止，大多数数据都存储在核心数据中心（包括云服务提供商和企业数据中心），这一比例将在 2024 年增长到 68%8。在所有数据存储容量中，IDC 估计到 2024 年，云服务提供商将部署其中的近 40%，这与 2015 年相比增长近 2100%（见图 8）9。来自 Statista 的其他分析表明，截至 2019 年，48% 的企业数据存储在云中，这一比例自 2015 以来增长了 60%10。
图 7. 英特尔® 至强® CPU 的最大内核数和内存带宽随时间变化的趋势（对数标尺）。
图 8. 全球 StorageSphere 云和非云客户群占比 (2015-2024)。
存储在分离式服务器中的数据量不断增加，意味着云服务提供商必须升级其网络才能处理其存储和计算服务之间的更多流量。如今，云服务提供商通常部署 25 GbE 和 50 GbE 服务器网络，但向 100 GbE 及更高带宽的过渡已经开始。据 Dell'Oro Group 称，美国几家主流的云服务提供商将在 2020 年和 2021 年部署 100 GbE 网络，而中国的大型云服务提供商将在 2021 年和 2022 年升级其网络11。到 2024 年，其他大部分云服务提供商的速度应达到每台服务器 100 GbE12。如图 9 所示，就云服务提供商总体情况而言，到 2022 年，部署的服务器网络总带宽将大部分达到 100 GbE13。
人工智能和机器学习、高性能计算，以及密集计算基础设施即服务产品等专业服务可能需要达到或超过 200 GbE 的更高吞吐量的分离式存储网络。
图 9. Omdia，按不同访问速度部署的云服务提供商服务器网络的总带宽 (2018-2024)。
存储技术的差异化不断凸显
自 1987 年 NAND 问世以来，英特尔® 傲腾™ 技术可谓是第一次重大内存和存储突破。与 NAND 固态盘相比，第一款基于英特尔® 傲腾™ 技术的存储产品，英特尔® 傲腾™ 固态盘 DC P4800X 能够提供显著优势。新一代英特尔® 傲腾™ 固态盘 P5800X 进一步拉大了 NAND 固态盘与英特尔® 傲腾™ 固态盘之间的差距。在 2020 年 12 月举办的 “英特尔内存存储日 (Intel Memory & Storage Moment)” 活动中，披露了有关产品功能（即时延、服务质量、耐用性和应用性能）的详细信息14。此外，在进行网络饱和度分析时，必须考虑所涉及的固态盘的随机 IOPS 性能。图 10 详细说明了 PCIe Gen3 和 Gen4 NAND 以及最低容量的英特尔® 傲腾™ 固态盘 DC P4800X 实现的随机读取、混合和写入 IOPS。与 PCIe Gen3 英特尔® 固态盘 DC P4610 相比，英特尔® 傲腾™ 固态盘 DC P4800X 的混合 IOPS 约为其 1.5 倍，随机写入 IOPS 约为其 2.5 倍，但在随机读取性能方面略有滞后，约为其 0.9 倍15。此外，与 PCIe Gen4 英特尔® 固态盘 D7-P5600 相比，最低容量的英特尔® 傲腾™ 固态盘 P5800X 显示出全面的差异化优势，随机读取、混合 IOPS 和随机写入性能分别达到其 2.0、3.1 和 5.0 倍16。尽管此分析中使用最低容量的英特尔® 傲腾™ 固态盘 P5800X，但 800 GB 和 1.6 TB 版本能够实现更高的随机性能。
图 10. PCIe Gen3 和 Gen4 NAND 以及英特尔® 傲腾™ 固态盘在读取/写入拆分测试中的 4K 随机 IOPS。
需要提高存储性能的客户
多年来，云服务提供商一直在对存储产品进行细分，以满足客户多样化的存储 I/O 性能需求，并提供特定的服务级别协议 (SLA) 来设定客户期望。近年来，这些期望显著提高，近期 AWS 在其弹性块存储 (EBS) 服务中添加的一项新产品就是一个有力证明。AWS 之前已经将存储 I/O 性能确定为客户的痛点，在 2016 年将 EBS SLA 从 30 16KB IOPS/GiB 升级到 50 16KB IOPS/GiB。2020 年，AWS 将 SLA 进一步提高 10 倍，达到 500 IOPS/GiB，这是为了 “满足客户需求和对于更高性能永不满足的渴望”17。
价值分析详情
本白皮书主要部分所描述的场景中，数据中心机架的功率限制为 24 kW，物理服务器空间为 40U，其中 2U 被架顶式交换机占用。服务器均为 2 路 2U，可提供多达 24 个 PCIe U.2 插槽。每个 CPU 为 200 W，部署 512 GB DDR4 DRAM，每 GB 消耗 0.28 W，而双 100 GbE NIC 中各自消耗 15 W。存储功耗假设参照规格中的有功功耗，3,200 GB 英特尔® 固态盘 D7-P5600 消耗 18 W18，7.68 TB 英特尔® 固态盘 D5-P4420 消耗 15 W19，400 GB 英特尔® 傲腾™ 固态盘 P5800X 消耗 14 W20。在这两个方案中，物理空间和机架功率预算可容纳 20 台服务器。每台基于新一代英特尔® 傲腾™ 固态盘的缓冲区服务器消耗 931 W，具有 161,280 GB 的原始存储；而每台基于 NAND 的缓冲区服务器消耗 955 W，具有 130,560 GB 的原始存储。在每台服务器仅部署 12 个 7,680 GB 英特尔® 固态盘 D5-P4420 的场景中，每台基于新一代英特尔® 傲腾™ 固态盘的缓冲区服务器消耗 796 W，而每台基于 NAND 的缓冲区服务器消耗 880 W。在这两个方案中，每台服务器均具有 92,160 GB 的原始存储空间。
将 20 台服务器的总功耗相加，计算 3 年的总寿命千瓦时，假设电源使用效率为 1.2，每千瓦时为 0.10 美元，冷却系数为 1.5，利用率为 80%。
CPU、DRAM、NIC、主板、PSU 和机箱的成本在所有方案中保持相同。假设 NAND 固态盘的成本为 0.15 美元/GB，单个 400 GB 傲腾™ 固态盘缓冲区的成本比单个 3,200 GB NAND 固态盘缓冲区高 11%。假设每 GB 定价相同，每个 7,680 GB 大容量存储固态盘的成本比 NAND 固态盘缓冲区高 140%。价格假设基于英特尔截至 2020 年 12 月的预测。