自己符号化器-実験
はじめに 自己符号化器(AutoEncoder)にスパース項を導入して、スパース正則化を行ってみます。 おおまかな内容 スパース正則化とは、訓練サンプルをより少ないユニット(:ニューロン:当ブログではノード)で再現できるようにパラメータを決定していくこと…
はじめに 自己符号化器(AutoEncoder)の学習中にハイパーパラメータである「学習率」を変えて学習結果がどのように変化するのか実験します。 実はAdamという勾配降下法の最適化アルゴリズムを実装していました。ボク的にはちゃんと作っているつもりで、「それ…
はじめに 最近、ゲームもそんなにしてないし、アニメもあまりみてません。「ボクもおとなになりました。」ではなく、思いのほかブログを書くのは時間がかかります。他の遊べる時間がないのです。この2ヶ月ほ思い返すとほとんどブログばっかりやってた気がし…
おおまかな内容 ランダムな位置に配置した文字を中央に再現(デコード)するように学習させて、再現が問題なくできるかを確認しました。そのときに必要な資源についてもおおよその確認をしました。 なぜやるのか 汎用的に位置やサイズを正規化するような学習…
おおまかな内容 前回にひき続き、元画像に対して変換をかけたものを学習できるか実験します。 インプットは元画像ですが、アウトプットが回転になるよう学習させた結果がうまくエンコード・デコードできるかを実験します。 なぜやるのか・どうなると思うか …
おおまかな内容 「そうよ。あれは『効率化のための転置行列』ではないの。『AutoEncoder』本来の力を私たちが押さえ込む為の拘束具なの。」「その呪縛が今自らの力で解かれていく。私たちにはもう『AutoEncoder』を止めることはできないの。」(ということで…
おおまかな内容 いろいろな活性化関数がありますが、一般的には非線形関数です。線形関数を使うとどうなるのでしょうか。線形関数では何がだめなのか(適さない)のか実験します。 なぜやるのか・どうなると思うか 活性化関数が非線形であることは、学習に対…
おおまかな内容 自己符号化器(AutoEncoder)において、学習済の重み情報を用いるとどのように学習がすすむのかやってみました。 なぜやるのか・どうなると思うか 深層学習(DeepLearning)では自己符号化器(AutoEncoder)をつかった事前学習の結果を使うことがよ…
おおまかな内容 中間層(隠れ層)の初期状態について実験します。強制的に初期状態を特定の状態にしてどのように学習がすすむのかを確認します。 なぜやるのか 実験を100回以上もやっていると、ランダムで作成される中間層の重みWの初期パターンから、特…
おおまかな内容 単細胞な自己符号化器について学習させてみます。 なぜやるのか・どうなると思うか・どこまでやるか 記念すべき第1回の実験は自己符号化器が「単細胞の場合、どんな学習をするのか?」です。へそもないのにとっても「へそ曲がり」なボクの方…