内容摘要
Splunk Enterprise 是一个软件平台，广泛用于监控、搜索、分析和可视化数据。该平台从可搜索的容器中捕捉、索引和关联大量数据，并生成图形、警报、仪表板和可视化界面。2018 年初，英特尔 IT 部门构建了基于 Splunk 和 Apache Kafka 的网络智能化平台 (CIP)。该平台通过数百个来源和安全工具获取数据，提供背景丰富的可见性和通用工作界面，缩短了识别和应对复杂网络威胁所需的时间。
Splunk 通常部署在高性能融合基础设施上。如果 Splunk 索引器（服务器）设计为使用固态盘来同时存储 “热” 数据和 “冷” 数据，这一方案的成本可能会比较高。融合基础设施还可能仅仅为了提高数据存储容量而增加 Splunk 索引器。一个显而易见的替代方案是将计算与存储分离。不过，分离式基础设施可能会对 Splunk 的搜索运行时间和数据获取速率产生负面影响。
VAST Data Universal Storage 为分离 Splunk 平台提供了专门的解决方案。VAST Data 利用先进的数据缩减算法和英特尔® 傲腾™ 固态盘，在不影响性能的情况下降低 Splunk 数据存储需求。我们使用英特尔 IT 部门的高基数生产数据对 VAST Data 全闪存存储机柜进行了测试，结果发现 Splunk 数据量缩减了 2.5 倍1，Splunk 搜索的平均运行时间仅增加 3%，Splunk 索引器的数据获取速率仅减慢 10%1。由此可见，VAST Data Universal Storage 可以降低 Splunk 冷存储容量要求，并支持独立的计算与存储扩展。
业务挑战：让 “暗数据” 发挥作用
大部分公司实际收集的数据量都超过他们能够整合、存储或用于获得决策洞察的数据量；这些未得到充分利用的数据通常被称为 “暗数据”。Mordor Intelligence 的一项研究显示，2021 至 2026 年，暗数据分析市场的复合年增长率预计将达到 21.7%2。无论这些数据是来自于销售、制造、物流、安全事件还是其他关键领域，如果不能得到有效利用，终将造成商业洞察中的漏洞。即使数据传输到数据分析工具中，很多企业和机构也并未准备好及时处理大批量的数据。
而这正是 Splunk Enterprise 的用武之地。企业和机构可以利用 Splunk 来汇总数据、提出问题、寻找答案，并采取行动。Splunk Enterprise 功能十分强大，可让用户近乎实时地分析海量数据集。数据可以来自很多来源，包括应用、设备、网络、操作系统、物联网传感器和网络流量。企业和机构可以借助 Splunk 来收集数据、开发数据模型、生成仪表板，并快速提供商业洞察。由此获得的洞察有助于识别安全威胁、优化应用性能、了解客户行为、发现供应链问题，并应对更多的业务挑战、迎接更多业务机会。
更高效的 Splunk 数据存储方法
在有数百名用户同时搜索海量数据集时，尤其能突显 Splunk 功能的强大之处。随着日积月累，Splunk 平台会发展成 PB 级数据湖。企业在构建 Splunk 平台时，通常会将计算与存储部署在单个融合系统中。在这种情况下，热数据保存在本地高性能存储中，以确保搜索时间不会长达数分钟之久。而随着可搜索数据总量的增加，企业通常会增加计算节点来提高存储容量。
VAST Data Universal Storage 解决方案可以在这方面发挥重要作用。IT 企业和机构可利用 VAST Data 的存储解决方案设计分离式 Splunk 平台，使计算和存储能够独立扩展。VAST Data 还集成了高速网络，并改进了网络文件系统 (NFS) 和其他存储协议。计算资源（VAST Data 协议服务器）与 VAST Data 全闪存存储机柜可以各自独立扩展。这些机柜采用英特尔® 傲腾™ 固态盘和 44 个 QLC 3D NAND 固态盘，能够实现低时延写入和高密度读取。此外，VAST 的数据去重技术和数据压缩算法可以显著减少所需的 Splunk 数据存储容量。更多信息，请参阅 VAST 的 “Breaking Data Reduction Tradeo_s with Global Compression（用全局压缩打破数据缩减权衡困境）” 简介。
英特尔® CIP 的持续现代化
高级网络威胁愈发频繁和复杂，不仅威胁计算环境，同时也阻碍企业发展。英特尔® 网络智能化平台（Cyber Intelligence Platform，CIP）显著提高了英特尔信息安全部门在防范、检测和应对潜在威胁方面的效率和效果。
但 CIP 仍需不断改进。自 CIP 推出以来的三年中，我们在以下方面实现了显著增长：
• Splunk 用户数量
• 获取的数据来源数量
• 获取的数据类型
• Splunk 数据的使用者数量
• 获取的数据量
目前，我们的 CIP 每天可获取超过 20 TB 的数据，并可在 126 个 Splunk 索引器中存储数 PB 的数据。当前，我们的 IT 团队正在评估各种新产品和技术，为下一代 CIP 架构做准备。其中颇具价值的两个方案分别是：
• 加入容器技术，让每台服务器支持多个 Splunk 索引器实例
• 将平台的计算容量与存储容量分离，允许独立扩展
然而，计算与存储分离可能会造成两个问题：Splunk 搜索的平均运行时间增加，以及 Splunk 索引器的数据获取速率降低。我们测试了 VAST Data Universal Storage，以确定该方案能否在减少所需存储的同时，维持 Splunk 的性能，并支持独立进行计算和存储扩展。
|
VAST Data 的 Universal Storage（通用存储）让各类应用（从 PB 规模的数据库到超大数据存档）都能负担得起高性能、高密度的存储，从而重新定义了闪存存储的经济性。Universal Storage 将闪存技术融入到 EB 级文件和对象存储架构中。 Universal Storage 还将低成本的英特尔® QLC NAND 固态盘和英特尔® 傲腾™ 固态盘与无状态的容器化存储服务相结合，全部通过低时延的 NVMe 结构进行连接。这种结构非常适合 PB 级存储和未来的横向扩展。VAST Data 的 Disaggregated Shared Everything 横向扩展架构的核心正是由这些介质和结构所构成。VAST 将自己的算法应用到 Disaggregated Shared Everything 架构中，以实现高水平的存储效率、弹性和可扩展性。简而言之，Universal Storage 力求终结数据中心以硬盘为中心的时代，并消除机械介质权衡所引起的存储分层复杂性。如需进一步了解总存储成本和总体拥有成本，请使用 VAST Data 总体拥有成本计算器。 凭借面向企业的广泛功能，包括用于云的对象存储，VAST Data 的存储机柜提供了一个充满竞争力的方案，能够替代传统存储设备。VAST Data Universal Storage 还可提供不同类型的容器存储服务器，例如可在云端用作 S3 的代理服务器。更多信息，请参阅 VAST Data Universal Storage Explained（VAST Data Universal Storage 解读）。 |
测试 VAST Data Universal Storage
为测试 VAST Data Universal Storage 的性能，英特尔 IT 部门开发了一个网络安全用例测试，用于搜索真实的高基数生产安全数据。高基数数据既不常见，也不特殊，因此也更加复杂，并且通常会对 Splunk 搜索的平均运行时间有负面影响。在概念验证当中，我们的团队使用了以下四个来源的生产数据：DNS 数据、防火墙数据、端点检测数据和 NetFlow 数据。
概念验证设备和配置
概念验证设置包含 4 个主要的组成部分：10 个 Splunk 索引节点、1 台 VAST Data 协议服务器、1 个 VAST Data 全闪存存储机柜，以及用于将数据从 Splunk 索引器传输到 VAST 解决方案的网络协议3。
测试 1：仅使用 Splunk 索引器
一个 Splunk 索引器节点一般会包含大量本地（固态盘或机械硬盘）存储，用于同时存储热数据和冷数据。在测试 1 中，如图 2 所示，我们使用了 10 个 Splunk 索引器。每个索引器都是一个双路服务器，配备第二代英特尔® 至强® 可扩展处理器3。在测试 1 中，每个所用索引器仅使用一个 8 TB 的英特尔® 固态盘 DC P4510。这些固态盘都使用 TLC 3D NAND 介质和 PCIe 3.1 x4 连接。
图 2. 我们的第一个测试配置将所有热数据和冷数据都存放在索引器集群中，反映了传统的超融合设计方法。
测试 2：Splunk 索引器 + VAST Data Universal Storage 解决方案
在测试 2 中，我们想要评估将存储与计算分离的潜力。例如，热数据可以存储在单个复制的 NVMe 固态盘上，其余数据则推送到远程冷存储。该配置旨在为节点配备足够的高性能热存储，用于处理实时搜索工作负载，比如在本地 NVMe 存储设备上搜索单个工作班次或当日数据。
我们沿用了测试 1 中的 10 个 Splunk 索引器，即配备第二代英特尔® 至强® 可扩展处理器和 1 个 8 TB 英特尔® 固态盘 DC P4510 的双路服务器。除此之外，如图 3 所示，我们还增加了以下三个组件：1 个 VAST Data 协议服务器、1 个 VAST Data 全闪存存储机柜，以及用于将数据从 Splunk 索引器传输到 VAST 解决方案的网络协议3。
VAST Data 协议服务器包含 4 个与索引器联网的负载均衡计算节点。这些计算节点支持 NFSv3、NFSv3/RDMA、SMB 和 S3 协议。在英特尔概念验证中，我们使用了 NFSv3 作为连接协议。
VAST 协议服务器通过先进的 NVMe 网络交换机将数据传输至一个 VAST 全闪存存储机柜。这个超密集的全闪存存储机柜包含 12 个英特尔® 傲腾™ 固态盘 P4800X 和 44 个英特尔® 固态盘 D5-P4326 QLC 3D NAND，容量达 675 TB。英特尔® 傲腾™ 固态盘处理写入任务，而经济型 QLC 固态盘则处理读取任务并提供主要的数据存储容量。
图 3. 在测试 2 中，我们使用了相同的 10 个索引器节点来获取生产数据，同时通过 NFS 将冷数据传输到 VAST Data Universal Storage 解决方案。
VAST Data 全闪存存储机柜内部概览
VAST Data 全闪存存储机柜采用密集型 2U 机架式外形，内含 56 个存储盘托架和 4 个 100 Gb 的以太网或 In_niBand 连接。
英特尔® 傲腾™ 介质具有低时延和高耐用性特点，可以在数据块上与 VAST Data 节点 CPU 密切配合。这些组件协同工作，构建了超宽数据条带，可以高效写入 QLC 固态盘。这一过程延长了 QLC 介质的使用寿命，采用了高效的擦除编码来保护数据，并实施了数据缩减算法。
概念验证测试运行时间和搜索查询
测试 1 使用了 10 个配备 8 TB 英特尔® 固态盘 P4510 的 Splunk 索引器。每个索引器均配置有 2 GB 热数据卷和 8 TB 冷数据卷，全部部署在本地英特尔® 固态盘 P4510 上。索引器在 24 小时内平均每台服务器获取了 5.5 TB 的数据3。在每次测试中，每分钟运行 30 次密集搜索4。在 30 次并发搜索中，每一次都会扫描已存储了 10 到 11 分钟的数据。这样可以确保每次搜索扫描的数据都驻留在本地固态盘上的冷数据卷中。
测试 2 所用的数据源相同，10 个 Splunk 索引器配置也相同。在 10 个索引器中，每个索引器在 24 小时内平均获取 5 TB 的数据。每个索引器均使用本地英特尔® 固态盘 P4510 上同样的 2 GB 热数据卷。但在测试 2 中，冷数据卷配置在由 VAST Data 设备托管的 NFS 挂载磁盘上。99% 以上的索引数据作为冷数据使用 NFS 从 10 个 Splunk 索引器传输到 VAST Data 集群中。与测试 1 一样，每分钟也是运行 30 次密集搜索。每次并发搜索同样扫描已存储了 10 到 11 分钟的数据。这样可以确保每次搜索扫描的数据都驻留在 VAST Data 存储机柜上的冷数据卷中。
概念验证显示数据量减少了 2.5 倍，并且对性能的影响非常小
Splunk 搜索的平均运行时间。在测试 1 中，所有热数据和冷数据都存储在 10 个索引器节点中，Splunk 搜索的平均运行时间为 25.1 秒。在测试 2 中，冷数据存储在 VAST Data 全闪存存储机柜中，Splunk 搜索的平均运行时间为 25.9 秒，仅比 “只使用 Splunk 索引器” 的配置慢了 3%。这种性能近乎对等的结果很大程度上归功于英特尔® 傲腾™ 固态盘的超低时延。整个存储解决方案结构的快速介质响应几乎弥补了访问本地 NAND 存储时通常会存在的 I/O 时延。
Splunk 索引器的平均数据获取速率。在测试 1 中，Splunk 索引器平均每天获取 5.5 TB 的数据。在测试 2 中，Splunk 索引器平均每天获取 5.0 TB 的数据。索引器性能略有下降 (10%) 是因为生产数据通过 NFS 从索引器传输到 VAST Data 解决方案需要一定的时间。
表 1 和图 4 概括了使用和不使用 VAST Data Universal Storage 的 Splunk 的性能结果。
表 1. 使用和不使用 VAST Data Universal Storage 时 Splunk 的性能结果
| Splunk 搜索的平均运行时间 | Splunk 索引器的平均数据获取速率 | |
|---|---|---|
测试 1：仅使用 Splunk 索引器 • 10 个索引器 |
25.1 秒 |
5.5 TB/天 |
测试 2：Splunk 索引器 + VAST Data Universal Storage • 10 个索引器 |
25.9 秒 | 5.0 TB/天 |
图 4. 将冷数据传输到 VAST Data 全闪存存储机柜导致 Splunk 索引器的平均获取速率略有下降，同时 Splunk 搜索的平均运行时间在理论上略有增加。
数据缩减。Splunk 搜索的平均运行时间和索引器的平均数据获取速率基本没变。然而，测试 2 使用 Splunk 索引器和 VAST Data Universal Storage，将 Splunk 数据量缩减了 2.5 倍（图 5）。从总体拥有成本角度考虑，数据量缩减的好处非常显著。例如，假设一个传统平台当前在索引器的固态盘中存储 10 PB 热数据和冷数据。然后，通过使用 NFS，冷数据会传输到 VAST Data Universal Storage 解决方案，从而将数据量缩减 2.5 倍，降到约 4 PB 数据。这意味着所需存储容量降低了 60%。
图 5. VAST Data Universal Storage 解决方案可将所需存储容量降低 60%。
概念验证突显出 VAST Data 的先进数据缩减技术和英特尔® 傲腾™ 固态盘在 VAST Data 全闪存存储机柜中的价值。该解决方案实现了计算与存储的分离，并且对性能没有显著影响。通常与存储相关的大部分计算任务均由 VAST Data 存储机柜处理，而索引器只需承担其主要的 Splunk 工作。此外，与融合解决方案不同的是，在计算容量与存储容量分离的配置中，IT 管理员可以按需扩展 Splunk 索引器节点数量，而不必同时扩展存储。
结论
英特尔 IT 部门始终致力于寻找新的功能来有效管理我们的数据平台，同时尽可能降低总体拥有成本。我们需要能够灵活而轻松地添加新用户和增删应用。我们还需要能够在实时和长期用例中，通过扩展来支持新的数据源和不断增加的数据。英特尔拥有许多不断发展的平台，基于 Splunk 和 Kafka 的英特尔® 网络智能化平台 (CIP) 就是其中之一。英特尔在为新一代 CIP 架构研究业内先进的新技术时，对 VAST Data Universal Storage 进行了概念验证。
此次概念验证展现了使用高性能 VAST Data Universal Storage 代替传统融合基础设施的价值。英特尔概念验证配置采用 VAST Data 解决方案，成功地将 Splunk 数据量缩减 2.5 倍，同时几乎没有影响 Splunk 搜索的平均运行时间和索引器的平均数据获取速率。除了可以显著节省资源外，我们认为 IT 架构师和工程师还可通过分离计算与存储来降低成本，便于未来按需进行独立扩展。这样便可以避免资源利用不足，同时可以在升级 Splunk 平台的基础设施组件时提供更大的灵活性。无论数据来自哪里，是来自网络安全、人力资源、供应链，还是制造领域，VAST Data Universal Storage 解决方案都可帮助 IT 在不影响性能的情况下，实现硬盘级存储经济性。
了解更多信息
以下资源可能对您有所帮助：
• “Transforming Intel’s Security Posture with Innovations in Data Intelligence”（以数据智能化创新改变英特尔安全状况）白皮书
• 英特尔® 傲腾™ DC 固态盘系列
• Splunk 使用合成数据获得的 VAST 结果
要寻找适合您所在企业或机构的解决方案，请联系您的英特尔代表。