在算力新时代，从通用计算到智算，CPU 可以做更多，价值也更加凸显。
作为一种基于人工智能 (AI) 技术的计算方式，其含义既包含了 AI，还包含了对高性能算力的要求。
拥抱大模型不容易
ChatGPT 的横空出世拉开了 AI 大模型的新时代，而近期的文生视频模型 SORA 又让业界为之激动不已。据了解，Sora 所需 token（文本处理最小单位）数量相较于文本及图片模型的推理呈数量级增长。经中信证券简单估算，对于一个 60 帧的视频（约 6 至 8 秒），Sora 要生成至少约 120 万个 token，这是相当大的计算量。
科技爆炸的背后需要算力膨胀来匹配，大型 AI 模型的兴起带来了对智能计算能力的积极需求，于是，我们看到业界在算力基础设施方面进行积极布局，芯片需求得到极大释放，但是现实却有点不尽如人意。
网上信息显示，以 OpenAI 在 GPT-3 模型为例，该模型拥有 1750 亿个参数，需要庞大算力，训练成本高达 1650 万美元。使用 GPT-3 开发的 ChatGPT 在推论方面的成本更高，每月烧掉 4 千万美元。这不仅大大增加了企业成本，对地球资源、环境可持续发展性也可能产生影响。
被广泛应用于人工智能的训练、推理、科学计算等领域的 GPU 似乎成为顶流，并且愈发呈现出“一卡难求”的趋势。但是对于实际的企业 AI 落地应用而言，真的无法低成本拥抱大模型了吗？业务场景的需求对 AI 算力要求几何？如何挖掘现有算力潜能？
俗话说，“自古华山一条道”，但是对于算力芯片却不是，特别是对于大语言模型（以下简称：LLM）推理，CPU 在某些场景下其实更适合。
为什么选择 CPU？
相比 GPU，CPU 此前在 LLM 的热度表现并不算高，业界往往认为 CPU 在 AI 时代已经“过时”。
但事实并非如此。
大模型通常都分为训练和推理两个阶段，在训练环节需要处理海量数据，因此对算力性能要求较高；但推理阶段不仅几乎贯穿业务全流程，对算力的要求也没有那么高，随着 CPU 性能的提升，在部分场景下用 CPU 来完成 AI 推理工作对企业来说是更加适合的选择。
一方面，CPU 资源更容易获取，也不需要导入异构硬件平台，额外进行相关人才的储备，更容易实现广泛部署；另外，充分利用现有 IT 设施有助于 TCO（总体拥有成本）优化，以用更低的成本实现更优的性能表现。
其次，通过分布式的解决方案，能够有效解决 CPU 计算速度的问题。CPU 甚至可以支持几百 GB 的内存，能够轻松应付甚至 70B 的 LLM，而且 CPU 的特性是通用和灵活，以及在软件兼容性方面的多年积累，在承载和部署人工智能应用工作负载方面更具优势。
这就是 CPU 的破局，选择 CPU 进行 LLM 探索逐渐成为企业的新选择。
近年来，随着大模型的迅速发展，光学字符识别（OCR）技术已成为 LLM 的重要入口。亚信科技就在自家 OCR-AIRPA
方案中采用了 CPU 作为硬件平台，实现了从 FP32 到 INT8/BF16 的量化，从而在可接受的精度损失下，增加吞吐量并加速推理。将人工成本降至原来的 1/5 到 1/9，效率还提升了约 5-10 倍。
深耕医疗行业多年，已帮助多家三甲医院推进信息化和数字化建设的卫宁健康就选择与英特尔合作，通过软硬适配、优化模型算法等手段，成功在 CPU（第五代至强®️ 可扩展处理器）上提升了面向医疗垂直领域的大模型 WiNGPT 的性能，让基于它的 AI 应用的交付、部署和应用更为高效便捷，能在任何一家已使用卫宁 WiNEX 系统的医院迅速上岗。
第五代至强® 可扩展处理器每个内核均具备 AI 加速功能，无需添加独立加速器，即可处理要求严苛的端到端 AI 工作负载。英特尔® 高级矩阵扩展（英特尔® AMX）为矩阵运算的加速提供了强大支持，可支持 BF16 和 INT8 两种数据类型，完全有能力处理要求严苛的 AI 工作负载。
相比同样内置 AMX 的第四代至强® 可扩展处理器，得益于自身在微架构和整体性能上的提升，五代® 至强的推理性能提升高达 42%。
目前，LLM 更多是云端部署，但是由于涉及隐私安全，本地部署 LLM 的需求也越发强烈。针对会议摘要、文章总结等离线场景，百亿参数的 LLM 就可以完全胜任，CPU 的性能就可以运行，成本优势更加明显，还能降低部署成本。
更强通用计算，兼顾 AI 加速
当然，AI不是只有大模型， 英特尔除了持续在 CPU 加速 AI 这条路上深耕，也一直在持续挖掘 CPU 在通用计算领域的价值。
与前一代产品相比，第五代英特尔® 至强® 可扩展处理器有高达 1.84 倍的平均性能提升，可在进行通用计算时将整体性能提升高达 21%，并在一系列客户工作负载中将每瓦性能提升高达 36%。
例如制造领域在高度精细且较为耗时的瑕疵检测环节，部分企业就复用了既有的CPU平台，构建了横跨“云-边-端”的 AI 缺陷检测方案。为了达到更好的应用效果，在使用计算机视觉方案之外，还可以融入深度学习和机器学习的技术，构建三者混合模式的方案。
星环科技则基于第五代至强® 可扩展处理器推出了 Transwarp Hippo 分布式向量数据库解决方案，实现了约 2 倍的代际性能提升，可有效满足大模型时代海量、高维向量的存储和计算需求。
数据作为 AI 三驾马车之一，其重要性自然不言而喻。除了可用作向量数据库这一种，对于处理数据时候可能涉及的逻辑运算、内存操作，第五代英特尔® 至强® 可扩展处理器也可以提供充足的支持。它可以将压缩/解压缩和数据传输等资源密集型任务从 CPU 内核卸载至内置的英特尔® 数据分析引擎，释放数据分析和数据库运行的时钟周期，以提高每秒事物处理量，用户可以在每台服务器上扩展容量或运行更多应用。
结合第五代英特尔® 至强® 可扩展处理器更快的内存和更大的三级缓存，英特尔® 存内分析加速器（英特尔® IAA）和英特尔® 数据流加速器（英特尔® DSA）能够在提高查询吞吐量的同时，进行数据复制和转换操作，从而实现内存数据库、大数据分析和数据仓库的性能提升。
AI 对隐私计算的需求也在增加，英特尔® 可信域扩展（英特尔® TDX）提供虚拟机（VM）层面的隔离和保密性，从而增强隐私性和对数据的管理。在基于英特尔® TDX 的机密虚拟机中，客户机操作系统和虚拟机应用被隔离开来，而不会被云端主机、虚拟机管理程序和平台的其他虚拟机访问。
此外，英特尔还在软件创新方面持续发力，以确保现有的人工智能框架和应用能够充分发挥硬件潜力，从而加速行业的发展。
英特尔提供了完善的人工智能软件生态方案和工具链，不仅持续为主流开源框架 PyTorch、TensorFlow 等贡献力量，还提供了多种针对英特尔平台的优化插件，如 IPEX（Intel® Extension for PyTorch）、ITEX（Intel® Extension for TensorFlow）等，以及 xFT（xFasterTransformer）、OpenVINO™ 工具套件等多种优化工具。这些技术可极大地提升 AI 性能，包括 LLM、文字生成图片 Stable Diffusion 等，未来的热门方向——文字生成视频，同样能够从中受益。
IPEX 配合 PyTorch，支持 PyTorch 框架下 90% 的主流模型，其中深度优化模型有 50 个以上。客户只要通过简单几步即可完成 BF16 混合精度转换，模型即可在保持精度的同时在 CPU 上高效部署。
结语
多年来，英特尔一直不遗余力地进行软硬件创新，为了迎合人工智能时代对算力的渴求，不断推陈出新，提供更加强大、更加先进的 CPU 处理器和其他硬件方案。
CPU 运行 LLM 并不是“痴人说梦”，因为 CPU 一直在进化，得益于硬件级创新和借助软件充分挖掘硬件性能，英特尔为 AI 时代的算力基础设施提供了新的选择机会。
我想客户和市场也是乐见其成的，毕竟这是一个双赢的结果。市场不希望单一的选择，而是多样化的选择。这就像 x86 的发展一样，开放带来产业的繁荣。
在生成式 AI 和 LLM 狂奔的同时，CPU 也在与时俱进，让自己适配客户需求和选择。依托软硬件和生态协同，CPU 正在迎来新的高光时刻，推动人工智能行业迈向新的高度，展现出无限的潜力与可能性。