该记录无法预览，请从可用选项“下载”或“查看”中选择以访问该材料
说明
本白皮书对英特尔® Gaudi® 2 人工智能加速器进行了深入的性能评估，重点介绍了其高效处理 Llama-3.1-8B 和 Falcon3-10B 等高级大型语言模型的能力。该评估通过延迟、吞吐量和首次令牌使用时间 （TTFT） 等关键指标对加速器在各种条件下的性能进行基准测试，包括正常的聊天交互和检索增强生成 （RAG） 场景。研究结果显示，延迟降低和吞吐量有了显著改善，为人工智能基础设施的优化提供了切实可行的见解。本文件旨在指导组织充分利用其人工智能投资的潜力，增强人工智能驱动型市场的竞争力和创新能力。