Max Throughput [TpS - higher is better]
Model# HPUPrecisionInput LengthOutput LengthBatch SizeThroughput (tokens/sec)
LLaMA 2 7b1fp8128128123013583
LLaMA 2 7b1fp812820481634802
LLaMA 2 7b1fp82048128941447
LLaMA 2 7b1fp820482048811956
LLaMA 2 70b2fp812812817502943
LLaMA 2 70b2fp812820483273312
LLaMA 2 70b2fp8204812895316
LLaMA 2 70b2fp8204820481591755
LLaMA 3.1 8B1fp8128128281619875
LLaMA 3.1 8B1fp8128204851214784
LLaMA 3.1 8B1fp820481281792011
LLaMA 3.1 8B1fp8204820482566083
LLaMA 3.1 70B2fp812812817922895
LLaMA 3.1 70B2fp812820482563816
LLaMA 3.1 70B2fp82048128142316
LLaMA 3.1 70B2fp8204820481391648
LLaMA 3.1 70B8fp8128128400010012
LLaMA 3.1 70B8fp8128204860012538
LLaMA 3.1 70B8fp820481283831083
LLaMA 3.1 70B8fp8204820484766623