简介：在医疗保健领域集成和部署人工智能
VITEC 的任务是在手术室使用的现有视频处理设备内集成和部署人工智能模型。该设备使用FPGA技术进行视频处理。
经过训练的 AI 模型执行以下实时辅助功能：
- 检测手术阶段，实时向护理团队提供信息和见解，确保高效的工作流程和手术室的患者安全。
- 自动检测和排出手术领域的杂质，以显着提高外科手术的无菌性和安全性
一家医学实验室的数据科学家使用自己的数据集开发和训练了人工智能模型，VITEC 的FPGA设计人员帮助将该模型集成并部署到手术室中已经用过的FPGA上的视频处理设备中。数据科学家使用 FPGA AI Suite 软件流程将他们训练的 AI 模型转换为 AI 推理 IP FPGA FPGA设计人员使用标准 Quartus® Prime 软件FPGA设计流程无缝集成和验证模型，并将其部署在 Arria® 10 FPGA。
视频已成为手术室的核心，它不断为外科医生提供新的视频相关辅助功能。手术室中视频源和监视器的激增，导致了具有更多输入/输出的强大平台。对HDR格式的视频信号的支持彻底改变了外科医生在手术过程中可用的图像质量，并导致了新的实时辅助功能的发展。
挑战：跨职能协作
其中一个挑战是将FPGA人工智能推理 IP 集成到现有的视频处理设备中。视频处理算法必须与 AI 推理 IP 并行运行。因此，VITEC 必须在当前设计的同时实施 AI 推理 IP，同时不影响两者的功能和性能。
一旦集成了 AI 推理 IP，就必须对设计进行验证。主要挑战是在两个团队之间建立适当的移交流程，以确保医学实验室的数据科学家团队看到的准确性结果与 VITEC 的FPGA设计团队在将推理 IP 集成到FPGA后看到的结果相符。
解决方案：FPGA AI Suite 弥合差距
FPGA AI Suite 为Altera FPGA设备提供易用性和按钮式 AI 推理 IP 生成。
数据科学家团队使用OpenVINO™开源工具套件和FPGA AI Suite 将训练后的 AI 模型转换为FPGA AI 推理 IP。OpenVINO 是 FPGA AI Suite 的前端，可帮助将在任何标准框架（例如 PyTorch、TensorFlow 等）中开发的 AI 模型转换为中间表示FPGA AI Suite 将其转换为 AI 推理 IP。
VITEC 利用 Platform Designer 系统集成工具、Quartus 中的闭合时序，帮助将人工智能推理 IP 与FPGA设计的其余部分集成，然后对设计进行了验证。
第 1 步：使用流行的框架构建和训练他们的 AI 模型。
步骤 2.使用 OpenVINO 工具套件优化模型并将其转换为中间表示 （IR） 数据格式。
步骤 3.使用 FPGA AI Suite 快速进行FPGA性能和逻辑使用估算，查看模型是否符合目标指标。
步骤 4。如果步骤 3 符合目标指标，使用 OpenVINO 运行软件仿真，以检查 FPGA AI Suite 生成的 IP 的准确性。
步骤 5.如果第 3 步未达到目标指标，请使用 FPGA AI Suite 中的自动优化功能更改 FPGA IP 架构，以实现所需的性能目标和逻辑使用。根据需要迭代并继续执行步骤 4。
注意：软件模拟目前仅适用于 Agilex 5 和 Agilex 3 FPGAs。其他Altera FPGA家族的精度可通过在硬件中运行设计来确定。
第 1 步：从医学实验室数据科学家那里获取由 AI Suite FPGA生成的 IP。
步骤 2.使用 Quartus Prime 软件中的 Platform Designer 工具，将 AI 推理 IP 与所有其他 IP 模块和/或自定义 RTL 逻辑集成。使用典型流程完成FPGA设计（合成、布局布线、闭合时序、完成仿真、分析功耗等）并生成FPGA比特流。
步骤 3.使用 Quartus Prime 软件编程器实用程序，为具有基于 AI 的新设计对基于 FPGA 的硬件进行编程，以进行进一步测试/验证。
视频处理设备通过 API 进行控制，并添加了 AI 推理 IP 的控制功能和命令。控制功能包括加载网络、配置网络、对来自 CPU 的图像进行推理以及检索结果的能力。对于这两个应用，人工智能网络通过 API 加载以进行实时执行。
部署了视频处理设计的 Arria 10 FPGA 设备上有足够的未使用资源供 AI 推理 IP 安装，因此可以更轻松地将 AI 推理 IP 添加到现有 FPGA 设计中。数据科学家团队设置了 AI 推理 IP 在 FPGA AI Suite 工具中使用的适当区域目标，并运行架构优化器工具获得最佳性能，然后将其移交给FPGA团队。
集成 AI 推理 IP 就像在 Quartus 中集成任何其他 IP 一样。FPGA团队集成 AI 推理 IP 后，下一步就是验证设计。这包括检查 AI IP 是否正确集成并在其上运行推理。测试计划还包括多个加载/卸载周期、卡初始化/取消初始化以及数十次系统启动/关闭，以确保系统稳定可靠。
数据科学家提供了带有 AI 推理 IP 的标记测试图像。FPGA 设计团队验证了这些数据的执行。这涉及在测试图像上反复运行推理并检查结果是否始终符合表格要求。
集成测试计划还必须确保添加的 AI 推理 IP 不会影响当前FPGA设计中验证的现有图像处理作。测试计划基于典型的用例。
结果：在手术室中成功部署
FPGAi 解决方案 应用敏捷性 使工程师能够通过使用FPGA可重编程性、延长的产品生命周期和多功能 I/O 选项来打造并发展人工智能解决方案，从而保持在技术前沿。
VITEC 通过添加强大的人工智能驱动功能，成功地增强了其视频处理设备。这些功能集成到现有设备和工作流程中，可直接作，可显著提高外科手术的效率，为现有的基于FPGA的平台增加价值。
FPGA AI Suite 的单个按钮 AI 推理 IP 流将数据科学家使用的软件工作流程和FPGA工程师使用的硬件流程无缝结合到一个通用的端到端 AI 工作流程中，实现彼此之间的高效协作。将 Altera® FPGAs 和软件流程与 OpenVINO 和 FPGA AI Suite 结合使用，有助于使设计经得起未来考验，并快速适应新变化。