鬼城論

プロフェッショナルを目指すため日々の格闘をつづる

2018-01-01から1年間の記事一覧

ビショップ本を進めていく上で参考となるサイト

間違いなく、何回か挫折すると思うので計画立てる --- ■ 目次と各章の難易度、重要度がのっているサイトが あったんだけど・・・・見つかりません。。。 ■PRML演習問題 全問解答 http://prml.yutorihiro.com/ ■英単語 本に載っている英単語の意味が調べてあ…

まさか

作りかけの状態なのに見ている人がいてびっくりしました。 時間がなかなか取れないが、ゆっくりと形にしていきます。 広告うざいから早くproにしていこうと思います。

Multi-Way, Multilingual Neural Machine Translation with a Shared Attention Mechanism

[1601.01073] Multi-Way, Multilingual Neural Machine Translation with a Shared Attention Mechanism 日本語の解説なし

Using the Output Embedding to Improve Language Models

[1608.05859] Using the Output Embedding to Improve Language Models 以下の論文と一緒に言及されることが多い Tying Word Vectors and Word Classifiers: A Loss Framework for Language Modeling

Curriculum Learning

日本語の解説も多少ある Curriculum Learning (関東CV勉強会) from 祥孝 牛久 www.slideshare.net

TYING WORD VECTORS AND WORD CLASSIFIERS: A LOSS FRAMEWORK FOR LANGUAGE MODELING

https://www.slideshare.net/takahirokubo7792/onehot-to-distribution-in-language-modeling

Layer Normalization

解説はBatch Normとあわせる形でちらほら。 Layer Normalization@NIPS+読み会・関西 from Keigo Nishida www.slideshare.net

A Theoretically Grounded Application of Dropout in Recurrent Neural Networks

かの有名なDropout。 ノードをランダムに消して学習を行うといいよーってな話。 大量に解説ある olanleed.hatenablog.com

Batch Normalization: Accelerating Deep Network Training by Reducing Internal Covariate Shift

入力データの値が非常に飛び飛びだと学習に影響を 及ぼすので、正規化しようねという話。 日本語の解説は大量に見つかる yusuke-ujitoko.hatenablog.com

Delving Deep into Rectifiers: Surpassing Human-Level Performance on ImageNet Classification

所謂Heの初期値。 ReLU関数を使うときの、重みの初期値をXXXXの範囲内 にするといいよってなことが書かれている。 [内容] ・PReRUの紹介 ・Heの初期値 https://speakerdeck.com/satuma777/lun-wen-shao-jie-delving-deep-into-rectifiers-surpassing-human-l…

Google’s Multilingual Neural Machine Translation System: Enabling Zero-Shot Translation

英語を読まなくても、図をみてるだけで興味深い。 Google翻訳のAIは独自の「中間言語」を習得して「学習してない言語間の翻訳」すら可能な段階に突入 - GIGAZINE www.yasuhisay.info

ADAM: A METHOD FOR STOCHASTIC OPTIMIZATION

postd.cc

PRACTICAL BAYESIAN OPTIMIZATION OF MACHINE LEARNING ALGORITHMS

https://arxiv.org/abs/1206.2944 日本語解説 ベイズ的最適化(Bayesian Optimization)の入門とその応用 from issei_sato www.slideshare.net 論文紹介:Practical bayesian optimization of machine learning algorithms(nips2012) from Keisuke Uto www.slid…