かの有名なDropout。 ノードをランダムに消して学習を行うといいよーってな話。 大量に解説ある olanleed.hatenablog.com

入力データの値が非常に飛び飛びだと学習に影響を 及ぼすので、正規化しようねという話。 日本語の解説は大量に見つかる yusuke-ujitoko.hatenablog.com

所謂Heの初期値。 ReLU関数を使うときの、重みの初期値をXXXXの範囲内 にするといいよってなことが書かれている。 [内容] ・PReRUの紹介 ・Heの初期値 https://speakerdeck.com/satuma777/lun-wen-shao-jie-delving-deep-into-rectifiers-surpassing-human-l…