在设备上分散生成式 AI （GenAI） 推理 — 白皮书

说明

让 AI 推理更接近数据源可以在成本、隐私和性能方面提供显著优势。轻量级GenAI模型（即1-8B参数）的最新进展为将GenAI部署从云转移到边缘提供了颠覆性的机会，但基于云的GenAI的替代方案需要实用且高效。本白皮书概述了一种战略方法，利用 CPU-GPU-NPU（如英特尔® Core™ Ultra处理器、英特尔® Arc™ GPU）和开源 GenAI 模型的内置计算加速，将 GenAI 部署从云原生（即基于 GPU）解决方案转变为边缘（即基于硬件）解决方案。设备上部署提供较低的总拥有成本 （TCO）、离线功能、数据主权并减少延迟，使得之前可能面临部署障碍的区域和部门可以访问强大的 GenAI 模型。