ニューラルネットワークの計算において、FP16を用いる際に値が小さすぎて 0 になるのを防ぐ手法はどれか。

損失(Loss)に大きな値を掛けてから勾配を計算し、後で戻すことでアンダーフローを防ぐ。