読者です 読者をやめる 読者になる 読者になる

クーの自由研究

かえるのクーが素朴な疑問を実験して報告します。(冬眠から目覚めました!)

自己符号化器の自由研究(その10)スパース正則化してみます。

はじめに 自己符号化器(AutoEncoder)にスパース項を導入して、スパース正則化を行ってみます。 おおまかな内容 スパース正則化とは、訓練サンプルをより少ないユニット(:ニューロン:当ブログではノード)で再現できるようにパラメータを決定していくこと…

自己符号化器の自由研究(その9)学習率を学習途中に変化させてみます

はじめに 自己符号化器(AutoEncoder)の学習中にハイパーパラメータである「学習率」を変えて学習結果がどのように変化するのか実験します。 実はAdamという勾配降下法の最適化アルゴリズムを実装していました。ボク的にはちゃんと作っているつもりで、「それ…

自己符号化器の自由研究(その8)バイアスbの学習率を独立させてみます

はじめに 最近、ゲームもそんなにしてないし、アニメもあまりみてません。「ボクもおとなになりました。」ではなく、思いのほかブログを書くのは時間がかかります。他の遊べる時間がないのです。この2ヶ月ほ思い返すとほとんどブログばっかりやってた気がし…

自己符号化器の自由研究(その7)位置正規化を学習してみます

おおまかな内容 ランダムな位置に配置した文字を中央に再現(デコード)するように学習させて、再現が問題なくできるかを確認しました。そのときに必要な資源についてもおおよその確認をしました。 なぜやるのか 汎用的に位置やサイズを正規化するような学習…

自己符号化器の自由研究(その6)画像変換(回転)を学習できる?

おおまかな内容 前回にひき続き、元画像に対して変換をかけたものを学習できるか実験します。 インプットは元画像ですが、アウトプットが回転になるよう学習させた結果がうまくエンコード・デコードできるかを実験します。 なぜやるのか・どうなると思うか …

自己符号化器の自由研究(その5) 重み共有の呪縛から解放する

おおまかな内容 「そうよ。あれは『効率化のための転置行列』ではないの。『AutoEncoder』本来の力を私たちが押さえ込む為の拘束具なの。」「その呪縛が今自らの力で解かれていく。私たちにはもう『AutoEncoder』を止めることはできないの。」(ということで…

自己符号化器の自由研究(その4) 関数が線形でも学習できる?

おおまかな内容 いろいろな活性化関数がありますが、一般的には非線形関数です。線形関数を使うとどうなるのでしょうか。線形関数では何がだめなのか(適さない)のか実験します。 なぜやるのか・どうなると思うか 活性化関数が非線形であることは、学習に対…

自己符号化器の自由研究(その3)学習済情報を再利用する

おおまかな内容 自己符号化器(AutoEncoder)において、学習済の重み情報を用いるとどのように学習がすすむのかやってみました。 なぜやるのか・どうなると思うか 深層学習(DeepLearning)では自己符号化器(AutoEncoder)をつかった事前学習の結果を使うことがよ…

自己符号化器の自由研究(その2) 隠れ層を初期化で操ってみる

おおまかな内容 中間層(隠れ層)の初期状態について実験します。強制的に初期状態を特定の状態にしてどのように学習がすすむのかを確認します。 なぜやるのか 実験を100回以上もやっていると、ランダムで作成される中間層の重みWの初期パターンから、特…

自己符号化器の自由研究(その1)自己符号化器が単細胞だとどうなる?

おおまかな内容 単細胞な自己符号化器について学習させてみます。 なぜやるのか・どうなると思うか・どこまでやるか 記念すべき第1回の実験は自己符号化器が「単細胞の場合、どんな学習をするのか?」です。へそもないのにとっても「へそ曲がり」なボクの方…