今年の方向性を模索中
サウンドの解析を軸にする方針はゆるがないのですが、「自己符号化器」部分の実験
の方向性の案を考え中です。
|
わたしはワタシのそっくりさん。 あなたもワタシとよく似てる。 おとなりさん、なかよくしましょ、そうしましょ。
3章 基本SOM 4章 SOMの生理学的解釈 |
あおイルカ、深くもぐって 大きくジャンプ。 いつのまに、青い動物たくさんいるぞ。
8章 ボルツマンマシン |
・自己符号化器はいわゆる「古典的ニューラルネット(NN)」（単方向接続順伝搬(Feadforward)で同一中間層内の接続なし）ですが、「リカレント(再帰型）ニューラルネットワーク(RNN)」と「ＳＯＭ（自己組織化マップ）」にもかなりの興味があります。時系列を扱いたいんです。
・短期記憶と長期記憶、言い換えれば「抽象度の低い学習済ニューロンから抽象度の高いニューロンへの学習の転移（圧縮）」にもかなり興味があります。（機械学習の「転移学習*1」とはちょっと違うのですが、なんて呼べばいいのかわかってないのでとりあえず「学習の転移」（心理学用語）「学習の統合転送」(フツーの言葉）としておきます。ただ、転移はどちらも学習のドメイン（領域）が異なることに対する概念なので、ボクの用法は初めから間違ってます。何と呼ぶのが適切か検索中です。仮に統合転送にしました。*2）最近では利根川教授の研究が話題ですね。「科学誌サイエンス」に発表するとのことなので入手したらじっくり読みます。わぁAAAS会員は年$40かぁ。おこずかいと相談。
・学習済もしくは学習中のニューロンについての「削減・消滅」について興味があります。
・最近このサイトでもやっていたいわゆる「耳コピー」について、たとえば「元の楽曲に対し、手持ちのピアノ音源の音を提示し、元のピアノパート演奏を手持ちのピアノ音源で近似した場合の演奏を創生する」ことをやりたいです。これをいろんなパートに適用し、ミックスダウンしてカラオケを作れば、きっとミクやルカに気持ちよく歌ってもらえますよ、きっと。
リカレントニューラルネットワークについて
リカレントニューラルネットワーク(Recurrent neural network:RNN)は、中間層同士が結合をしています。
中間層同士を全結合した確率リカレントニューラルネットワークがボルツマンマシンです。
結合にフィードバッグなどのループを形成するので「状態」を保持することになり、時系列データの扱いに適していると言われています。
ニューラルネットワークの簡単な紹介はこの説明（PDF）
やや専門的な話題であれば
ニューラルネットワークで時系列データの予測を行う - Qiita
あたりはどうでしょう。
ＳＯＭ（自己組織化マップ）について
これはWikipediaに簡潔にわかりやすくまとめられていました。このまとめは秀逸な感じがします！
もう少し詳しい（けどシンプルな）説明は以下にありました。
なお、掲載のSOM動作デモはWindows10では動作しませんでした。WindowsXPでは動作しました。
GIF画像での説明もありましたのでリンクします。
ここまで読まれて、進化系モデルを考えた場合、ジブンの立ち位置について、不完全な原始生物が環境の要因によって完全なる存在（イメージとしての神）に至る進化（ＳＯＭ暴露過程）の「とある一要素」の「とある一つの状態」が「ジブン」であるイメージを持たれた方は、ボクと似た感覚であると思います。（ボクは両生類の進化の枝に乗ってますが ;)
ＳＯＭの発想は「物理的に近接するニューロンは学習の過程や結果が影響しあう」ものであり、リカレントニューラルネットワークもしくは制限ボルツマンマシンの感覚に近いと感じています。（勉強中です）
別ニューロンへの学習の統合転送（ニュ－ロン圧縮を伴う）
ニューロンの削減については「抽象化」「一般化」と密接な関係にあると感じていますし、いろんな本やサイトでもそのように言われています。
海馬のような汎用短期記憶部から有用な情報を大脳皮質などの長期記憶部へ統合転送学習をさせる場合、一般的に「ニューロン圧縮」が行われているイメージがあります。（現在いろんな本の記憶や想像がごっちゃになっていて頭の中がカオスなので以下すべてボクのイメージ（想像）として書いていきます）
学習の定着がどのような仕組みでおこなわれているのかとても興味があります。
学習を統合転送させる場合は、必ず学習する側はきわめて活発な活動を行うはずです。
すでに学習済でその学習対象の入力信号が発生していないときにでも（あるいはその時にこそ）学習の統合転送が積極的におこなわれるはずです。
そのときは学習済側ニューロンセット（短期記憶：Nsとします）と学習側ニューロンセット（長期記憶Nlエヌエルとします）は一時的であれ接続されるはずです。(学習の統合転送中状態）そこで入力と出力が同じように動作するためには「入力信号を疑似的かつ積極的に」発生させる必要があります。それがないと、Nl側が「学習できません」。
入力が雑音であれ、関係ないことであれ、各種の信号がNsNlにはいり、NlはNsの出力結果をまねるように「学習（まねぶ）」していきます。
Nlは最初は比較的少数のニューロンからはじめ、必要に応じてニューロンを増やしていきます。
NlがNsと近似できるようになってくれば接続状態が解除されます。*3
学習の統合転送イメージまとめ
- 1. Nsが学習をする。比較的抽象度の低いほぼ「みたまま」「聞いたまま」の学習でよい。
- 2. NsのセットとNlが学習の統合転送用接続される。(Nlのニューロン数は比較的少数からはじまる）
- 3. 「入力信号」によりNsセットの反応と同じになるようにNlが学習していく
- 4. Nlのニューロン数で不足する場合はNlにニューロンを加えていく
- 5. ある程度学習が収束し、一定の近似状態になれば学習の統合転送用接続は解除される。
- 6. 同時にNsへの接続元のニューロンからの接続がNlに対しても行われ、Nsに対する接続はジョジョに解除される。
- 7. Nsでおこなわれていた処理がNlで行われ、以降学習はNlに対して行われていく。
- 8. 元のNsの内部接続は解除され（忘れ）、新たなNsが学習される。（同じニューロンでも違うニューロンでもよい）
- 9. 新たなNsと学習済の「とあるNl」と関係があるかもしれないので接続してみる。
- 10. かなり近い応答をするので、Nsを「とあるNl」に統合転送することにした。（統合転送用接続維持・強化）
- 10'.全く違った応答をするので、Nsを「とあるNl」に統合転送することをやめた(統合転送用接続解除）おしまい。
- 11. 最初と同様にNsの応答をまねるようにNlが学習していく。必要であればニューロンを追加する。
- 12. Nlがすでに大きなニューロンセットであれば、結果として慎重に微調整していくことになる。
- 13. Nlがかなり大きなニューロンセットであれば、機能単位として固定化し、Nsとの接続は起こりにくくなる。
- 14. Nlはそのような状態になっても自身のみで学習をすすめ、微調整をしていく。
- 15. Nlに対して信号があまりこず、活動をほとんどしない場合、該当部位にエネルギー供給が少なくなり、結果として活性度合が低いニューロンから接続を解除していく(=忘れる)。（他のニューロンセットに再利用される)
以上のようなことが高い多重度で、比較的長期間行われる（と勝手に想像）。
ここまでの動作でNsよりもかなり少ないニューロンでNlが形成され、内容的には「抽象化」「一般化」されている状態になっていると考えます。
イメージを共有できた方は、「じゃぁ夜に夢を見るのは、積極的に脳内で疑似的「入力信号」が生成され、それにより学習の統合転移転送学習がおこわれているためで、たまたま潜在意識から顕在意識の部分に信号が流れた場合はその重ね合わせによって、映像や音の記憶部分が刺激されるからなんだよね。想像だけど。」と思われるかもしれません。
現実はもっと複雑だと思いますが、こんな動作に近いのでは？という感覚があります。
こんな動作モデルを自己符号化器をベースにして作成し、実験してみると面白いと思っています。
ボクとっても気になります。
実験もせず空想の世界にひたっておりますが、もうしばらく空想の世界はつづきます。（まだ、発想が定着しません）統合があるんなら分化（概念細分化）もあるよね。。。etc...
おいしいけど、あえて殿堂入りではないです
最近は食卓（プァ）グルメコーナ的ではありますが、おいしいもの紹介です。
です。
キッコーマン いつでも新鮮塩分ひかえめ丸大豆生しょうゆ | キッコーマン
もほぼ同じ感じですが素材の味がより引き立ち、「塩分が少ないだけではない」味わいがあります。
さっぱりとしたシンプルな味なのですが、とても気に入っています。こんなのを大量生産されたのでは、ご近所の老舗お醤油やさんの存続の危機です。おいしすぎてお醤油業界を再編させかねないとおもわれるため、地道な小規模活動に肩をもつボクはヘソをまげて殿堂入りさせません。どうかいままで通り老舗お醤油やさんも贔屓しつつ、こちらの商品も興味があれば、味わい比べなど如何でしょうか？筍のお刺身でお試しください。
*1:転移学習：新規タスクの効果的な仮説を効率的に見つけ出 すために，一つ以上の別のタスクで学習された 知識を得て，それを適用する問題 ：別の関連した問題のデータや学習結果を再利用
*2:追記：学習の転移としていた表記を単純に統合転送に修正しました。転送だけでは単なるCopyのようなので、ニューロン圧縮の動作を含めてそのように呼びました。仮の名称で、ボク用語なのでご注意ください。正しい用語を見つけたら差し替えます。学習の統合と転送についてはこちらの先生も興味をお持ちのようですが、用語の用法は特にわかりませんでした。
*3:機械学習のいわゆるLong Short-Term Memory（LSTM:長・短期記憶）とは違います。ここでは長期記憶(Nl:Neuron set of Long-Term-Memory)と短期記憶(Ns:Neuron set of Short-Term-Memory)は神経科学/大脳生理学的な用法で使っています。機械学習系と神経科学系は似て非なる概念に同じような用語をマッピングしているので紛らわしいことが多々あります。
