Paperspace 的 Gradient 平台在第二代英特尔® 至强® 处理器上借助英特尔® 分发版 OpenVINO™ 工具包和英特尔® 分发版 OpenVINO™ Model Server，优化机器学习管道，加快推理速度并减少查询时延。
“我们与英特尔® AI Builders 密切合作，针对至强® 处理器 对 Gradient 平台进行了优化， 并创建可在全新英特尔® 至强® 可扩展处理器上原生支持指令集的容器。通过集成 OpenVINO™ 等工具，方便用户将 Gradient 部署到数据中心的至强® 处理器上，Paperspace 团队获益匪浅。”
与十年前开发运维 (DevOps) 为软件团队带来诸多好处一样，机器学习运维 (MLOps) 有助于提高人工智能 (AI) 模型的开发、训练和部署效率。训练、维护和部署人工智能模型可能会是一个非常漫长且复杂的过程，其中存在很多可变因素。构建并维护机器学习管道，为 MLOps 提供支持也颇为耗时；团队在工具和基础设施方面花费的时间往往要超过训练模型。更糟糕的是，如果没有编排软件，整个机器学习管道就会难以管理。随着数据量的增加和算法的扩展，所有这一切都将变得更具挑战性，时间成本也会随之增加。
MLOps 基础设施解决方案可同时作为云服务和本地软件提供，帮助开发团队快速采用机器学习管道。另外，IT 部门也可以自行构建专属管道。
要将人工智能集成到产品线，企业需要决定是订阅、购买还是构建 MLOps 解决方案。在决策过程中，必须确保所选管道能够支持 MLOps 团队使用的所有语言、方法、框架和技术。随着新技术的出现和发展，这一点尤其重要。OpenVINO™ 工具包和用于支持英特尔® XPU 的英特尔® 人工智能软件堆栈等技术能够为企业解决方案带来更好的性能。在建立 MLOps 管道时，团队应能够适应这类新晋出现的创新技术。
最后，要想成功实施人工智能，能够轻松无缝地创建可满足 MLOps 全部需求的机器学习管道至关重要。
Paperspace 在云端提供 MLOps 管道。其 Gradient 平台提供的 API 允许在各种云实例类型上快速训练和部署人工智能模型。他们的工具和产品支持英特尔的新技术与新软件，因此能够帮助开发人员交付强大的人工智能/机器学习解决方案。
图 1. Gradient 软件堆栈支持跨多种框架和技术快速进行机器学习开发
使用 Paperspace Gradient 实现 MLOps
Paperspace Gradient 是一个面向生产机器学习模型的软件开发团队的 MLOps 平台。该平台提供工具、基础设施和生命周期管理，帮助团队按照持续集成/持续部署 (CI/CD) 的最佳实践来构建和部署模型（图 1）。
Gradient 为整个管道提供抽象层，包括 Notebook、数据集、试验、模型和集群。它可以作为 Web 应用、命令行接口 (CLI) 提供，或者作为 Kubernetes 应用供企业客户端自托管。图 2 所示为一个接口示例。
图 2. 借助 Gradient 的云解决方案，能够更轻松地访问适用于 MLOps 的强大基础设施。
借助英特尔的多种优化加快 Gradient 上的推理速度
Gradient 为采用不同工作流程、框架和硬件的 MLOps 团队提供支持，帮助他们实现开发和部署目标。企业借助英特尔® OpenVINO™ 工具包，可以在广泛的硬件上实现计算机视觉模型推理，而不必局限于最初开发模型所用的平台。这些平台的可用性可能有限，而且用于执行推理的成本较高。OpenVINO™ 能够带来出色的灵活性，支持在满足现有应用需求的多种不同硬件选项中进行部署。因此，Paperspace 支持使用 OpenVINO™ 工具包和英特尔® 分发版 OpenVINO™ 工具包用于在英特尔® XPU 上执行推理。
Gradient 集成 OpenVINO™ Model Server 用于推理
OpenVINO™ Model Server (OVMS) 隶属于 OpenVINO™ 项目，是一款可扩展的高性能解决方案，用于服务面向英特尔® 架构优化的机器学习模型。该服务器通过 gRPC 端点或 REST API 提供推理服务。OpenVINO™ Model Server 对任何 OpenVINO™ 工具包支持的框架所训练的模型使用与 TensorFlow Serving 相同的架构，让部署新算法和人工智能试验变得更加轻松1。
通过在其 Gradient 管道中使用 OpenVINO™ 模型并针对英特尔® 架构进行优化，Paperspace 证明客户可在第二代英特尔® 至强® 可扩展处理器上将推理性能提升多达 1.6 倍 2。
借助英特尔的优化将推理速度提高多达 1.6 倍 2
推理加速的实现首先是利用 OpenVINO™ 模型优化器工具转换现有 TensorFlow/ONNX 模型，使其能在第二代英特尔® 至强® 可扩展处理器上更高效地运行。该模型优化器是一个跨平台命令行工具，能够促进训练与部署环境的过渡，执行静态模型分析，并调整深度学习模型，使其在端点目标设备上优化其执行3。
Paperspace 使用面向英特尔® 架构优化的 Docker 容器，利用 COCO 数据集完成模型训练。容器将面向深度神经网络的英特尔® 数学核心函数库（英特尔® MKL-DNN）整合到 Gradient 提供的标准 Horovod-CPU Docker 文件定义中。英特尔® MKL-DNN 使用英特尔® 高级矢量扩展 512 技术（英特尔® AVX512）加速浮点运算处理。
推理测试在 Gradient 平台提供的基于英特尔® 至强® 金牌 6230R 处理器的服务器上运行。除了模型不同，其他各项配置完全相同。
- COCO 数据集标准 TensorFlow 模型
- 使用英特尔® 分发版 OpenVINO™ 工具包、英特尔® 分发版 OpenVINO™ Model Server 优化的 COCO 数据集 OpenVINO™ 模型
选择 OpenVINO™ Model Server 是为了提高吞吐量，减少请求的预测时延。结果如图 3 所示。
通过这些优化，可以更快地返回结果。
在 PaperSpace 平台（英特尔® 至强® 金牌6230R处理器）上托管的 Docker 容器中的每秒查询率提高多达1.6倍
图 3. 采用英特尔® 分发版 OpenVINO™ 工具包，实现推理加速 2。
在第二代英特尔® 至强® 处理器上加快推理速度意味着服务器上耗用的时间减少，从而降低最终用户的平均请求成本。
结论
通过更高效地开发和管理模型以及加速模型运行，可以更快地向用户和应用提供结果与洞察，进而降低成本。借助 Paperspace Gradient MLOps 管道解决方案，模型构建团队可以更高效地使用 经过验证并支持新兴技术的工具。OpenVINO™ 是一项较新的技术创新，支持在广泛的英特尔® 架构上运行推理。Gradient MLOps 平台支持英特尔® 人工智能软件和技术。如以上测试所示，由于 TensorFlow 模型使用了 OpenVINO™ 并针对 OpenVINO™ 工具包 和 OpenVINO™ Model Server 进行了优化，推理请求时延降低， 速度提升多达 1.6 倍。这些优化和工具可在英特尔® 架构上提升开发管道效率并加速推理，因此能够为团队和推理应用带来价值。
| 有关 Paperspace 的更多信息，请访问 paperspace.com 如需了解 Gradient 平台将能如何帮助您的 MLOps 团队，请访问 gradient.paperspace.com 有关在英特尔® 至强® 基础设施上运行 Gradient 的更多信息，请访问 gradient.paperspace.com/intel-ai 要详细了解英特尔® AI Builders 计划，请访问 builders.intel.com/ai |
Paperspace 是一家基础设施即服务 (IaaS) 公司，为开发人员提供人工智能工具。该公司通过能够自动配置和管理基础设施的软件层，推动 CPU 在人工智能项目中的使用。