学習中にネットワークの一部を「死滅」させないように;入力が負でも微小な勾配を流し続ける活性化関数はどれか。

通常のReLUの欠点(Dying ReLU現象)を克服する。