深層学習による自然言語処理
[1601.01073] Multi-Way, Multilingual Neural Machine Translation with a Shared Attention Mechanism 日本語の解説なし
[1608.05859] Using the Output Embedding to Improve Language Models 以下の論文と一緒に言及されることが多い Tying Word Vectors and Word Classifiers: A Loss Framework for Language Modeling
日本語の解説も多少ある Curriculum Learning (関東CV勉強会) from 祥孝 牛久 www.slideshare.net
https://www.slideshare.net/takahirokubo7792/onehot-to-distribution-in-language-modeling
解説はBatch Normとあわせる形でちらほら。 Layer Normalization@NIPS+読み会・関西 from Keigo Nishida www.slideshare.net
かの有名なDropout。 ノードをランダムに消して学習を行うといいよーってな話。 大量に解説ある olanleed.hatenablog.com
入力データの値が非常に飛び飛びだと学習に影響を 及ぼすので、正規化しようねという話。 日本語の解説は大量に見つかる yusuke-ujitoko.hatenablog.com
所謂Heの初期値。 ReLU関数を使うときの、重みの初期値をXXXXの範囲内 にするといいよってなことが書かれている。 [内容] ・PReRUの紹介 ・Heの初期値 https://speakerdeck.com/satuma777/lun-wen-shao-jie-delving-deep-into-rectifiers-surpassing-human-l…
英語を読まなくても、図をみてるだけで興味深い。 Google翻訳のAIは独自の「中間言語」を習得して「学習してない言語間の翻訳」すら可能な段階に突入 - GIGAZINE www.yasuhisay.info
postd.cc
https://arxiv.org/abs/1206.2944 日本語解説 ベイズ的最適化(Bayesian Optimization)の入門とその応用 from issei_sato www.slideshare.net 論文紹介:Practical bayesian optimization of machine learning algorithms(nips2012) from Keisuke Uto www.slid…