bfloat16 - 硬件数字定义

说明

英特尔® 深度学习加速 （英特尔® DL Boost） 使用 bfloat16 格式 （BF16）。本文档介绍了 bfloat16 浮点格式。与 FP16 相比，BF16 有几个优点：它可以被视为 FP32 的简短版本，跳过了尾数中最不重要的 16 位。无需支持反向规格化;FP32，以及BF16，为深度学习训练任务提供了足够的范围。乘法后的 FP32 累加对于在应用级别实现足够的数值行为至关重要。不需要硬件异常处理，因为这是一种性能优化;工业界正在设计有关检查 inf/NaN 的算法。