Curriculum Learning

日本語の解説も多少ある

Curriculum Learning （関東CV勉強会） from 祥孝 牛久

www.slideshare.net

TYING WORD VECTORS AND WORD CLASSIFIERS: A LOSS FRAMEWORK FOR LANGUAGE MODELING

https://www.slideshare.net/takahirokubo7792/onehot-to-distribution-in-language-modeling

Layer Normalization

解説はBatch Normとあわせる形でちらほら。

Layer Normalization@NIPS+読み会・関西 from Keigo Nishida

www.slideshare.net

A Theoretically Grounded Application of Dropout in Recurrent Neural Networks

かの有名なDropout。

ノードをランダムに消して学習を行うといいよーってな話。

大量に解説ある

olanleed.hatenablog.com

Batch Normalization: Accelerating Deep Network Training by Reducing Internal Covariate Shift

入力データの値が非常に飛び飛びだと学習に影響を

及ぼすので、正規化しようねという話。

日本語の解説は大量に見つかる

yusuke-ujitoko.hatenablog.com

Delving Deep into Rectifiers: Surpassing Human-Level Performance on ImageNet Classification

所謂Heの初期値。

ReLU関数を使うときの、重みの初期値をXXXXの範囲内

にするといいよってなことが書かれている。

[内容]

・PReRUの紹介

・Heの初期値

https://speakerdeck.com/satuma777/lun-wen-shao-jie-delving-deep-into-rectifiers-surpassing-human-level-performance-on-imagenet-classification

Google’s Multilingual Neural Machine Translation System: Enabling Zero-Shot Translation

英語を読まなくても、図をみてるだけで興味深い。

Google翻訳のAIは独自の「中間言語」を習得して「学習してない言語間の翻訳」すら可能な段階に突入 - GIGAZINE

www.yasuhisay.info