金证采用英特尔® 至强® CPU Max 处理器加速 K-GPT 大模型推理，助力企业提升投资价值
金证使用英特尔® 至强® CPU Max 处理器和 OpenVINO™ 工具套件加速大模型推理，将批量 Embedding 性能提升 3 倍左右，Faiss 索引性能提升 4 倍左右，首个词元生成时间 (FTL) 均在 1 秒左右，TPS 在 10 TOKENS/秒以上，使用两颗 CPU 时性能还可进一步提升。
金证使用英特尔® 至强® CPU Max 处理器和 OpenVINO™ 工具套件加速大模型推理，将批量 Embedding 性能提升 3 倍左右，Faiss 索引性能提升 4 倍左右，首个词元生成时间 (FTL) 均在 1 秒左右，TPS 在 10 TOKENS/秒以上，使用两颗 CPU 时性能还可进一步提升。
