得益于不断涌现的技术和应用浪潮，人工智能 (Artificial Intelligence, AI) 正逐渐成为千行百业迈向数字化、智能化新时代的关键驱动力。例如，近年来迅速崛起的大语言模型 (Large Language Models, LLM)，因其庞大的参数规模、出色的泛化能力等而备受瞩目，持续为信息、金融、医疗等行业的智慧转型赋能。而生成式 AI (Generative AI) 等前沿应用方向的突破，不仅为 AI 技术拓展了新的能力边界，也带来更多基于 AI 的跨领域合作和更优的用户体验。
全新技术与应用方向的泛起，掀起了一场不言而喻的产业革命，在为各行业带来效率优化、生产力向新及用户体验提升的同时，也激发出更多的业务及商业模式创新，这对于中国数字经济的发展尤为重要。目前，中国 10 亿参数规模以上的 LLM 大模型数量已超百个1，不仅正有力帮助传统企业消除智能化转型中的瓶颈，也为更多新兴企业带来超车机会。
与此同时，行业用户正积极拥抱这一新趋势，面向 LLM 及生成式 AI 等领域的投入不断增长，市场规模快速扩展。数据表明，全球 LLM 市场规模在 2023 年已达 46 亿美元，在未来数年预计将有超过 30% 的年复合增长率 (CAGR) 2。而到 2027 年，全球企业在生成式 AI 解决方案上的投资年复合增长率也将超过 70% 3。在中国，到 2025 年，预计有超过半数的中国 500 强企业将借助生成式 AI 来构建创新的商业模式，从而带来更大的 AI 盈利潜力4。
新兴 AI 技术与产业加速改变着人们的生活，芯片算力作为重要的底层驱动力，其作用更加关键。因此，LLM 与生成式 AI 的蓬勃发展和高速扩容在带来前所未有的技术进步与应用前景的同时，也让用户在选择和获取承载 LLM 与生成式 AI 工作负载的芯片算力平台时面临诸多挑战。
凭借在并行处理、浮点运算、内存带宽等方面的优势，传统 GPU 产品一直是处理各类 AI 任务的核心力量。数据显示，2024 年全球 GPU 市场规模将超 650 亿美元5。但一路走高的价格，以及 “一卡难求” 的供需状态，让传统 GPU 产品的供应链始终处于紧绷状态。对于依赖稳定 GPU 算力的 AI 企业用户而言，这不仅是巨大的成本问题，更关乎企业的生死存亡。因此，面对纷至沓来的生成式 AI 等应用，更多用户亟需更多样化的算力产品选择。
但这并非易事，作为各项 AI 任务的核心算力引擎，算力芯片的任一短板，无论是硬件或是配套软件，亦或是可扩展性，都会在实战中被加倍放大，从而让用户应用缺乏竞争力，随之失去宝贵的市场先机。来自诸多业务实战的反馈表明，多样化的 AI 加速器产品需要满足图 3 所示的用户核心需求：