クーの自由研究

マスターの かえるのクーは8年の任期を終え消失しました。クーⅡ世の中の人絶賛募集中です。(特にオリオン座&プレイアデス方向の方は優遇します)助手がメイド喫茶から生還し、リハビリを兼ねて復帰しています。

ニューラルネットワークとは

風呂敷は大きく広げて畳み込み

こんにちわ、こんばんわ。かえるのクーの助手の「井戸中 聖」(いとなか セイ)でございます。

多忙な仕事もようやく山脈を抜け、下りの峠にさしかかっております。下りは険しい上りより命がけですがスリル満点です。濡れ落ち葉には要注意です。

実験をしていないときの苦しまぎれのネタとして「まとめ」や「おたまじゃくしさん」(小中学生向け)シリーズをよくやりましたが、今回は正統な中間報告です。(苦し紛れであることにかわりはありません)

このブログをかなり読んでいただいている方は、全世界に5人程度いらっしゃると予想しており、本当に有難く思っております。(もちろん貴方様も含まれています!)

過去記事を読んでいただいた方々向けの中間報告なので、わかりにくいところがあればご容赦ください。(もしくは過去記事を参照ください)

中間研究報告

・生物の「神経細胞」によるニューロン神経網は、生物の進化を通して複数の神経細胞が協働することにより「学習」機能とそれに基づく「制御」機能を獲得した。

・コンピュータで各種のニューラルネットワークをモデル化して実用的に演算することが可能となってきている。

・なかでも当ブログが注目した「自己符号化器」もしくは「中間1層」のネットワークは学習のしくみを理解するのに適していた。

・ニューラルネットワークは単純機能動作において、複数のノード構成による「分析器」(フィルタ相当)の機能部と「生成器」(ジェネレータ・重ね合わせ器)の機能部に分けられる。

・分析器、及び生成器は「学習」により自動的に調整され最適化していくしくみを構成することが可能である。

・分析器は一般的に「フィルターバンク」を構成要素とし、生成器は「重ねあわせの元となる基底情報」を構成要素とする。

・「フィルターバンク」と「重ね合わせの元となる基底情報」は、入力と生成物が同じ場合は、同じ情報でもよく、この場合「重み共有」が使用されることがある。

・「学習」は「入力」と「出力」の差異によりその差異を縮小していくためのしくみとして実現される。エラー・コスト・差異・失敗からのみ学習が可能である。

・「学習」により「フィルターバンク」「重ね合わせの元となる基底情報」は随時更新されていく。

・「学習」は各種の複雑入力から「抽象化」「一般化」を行い、少ない情報のくみあわせで、多様な状況の解釈、判断ができるようになる。多変量からの特徴の抽出、主成分分析に相当する。

・実神経細胞による学習はその学習効率について、学習値(重み)が定着していく「しくみ」がまだよく解明されておらず、さらなる研究の成果が待たれる。(いわゆる数理的な逆伝搬・バックプロパゲーションが効率的に行われている観測はない。にもかかわらず、現実にはきわめて効率的な学習を実現している)

・強化学習は「学習」を効率的に誘導する手法としてきわめて有用な方法である。生物のニューラルネットワークでも各種の化学物質などによる高度な報酬系があることが知られている。

・ニューロンが持つ発火の「閾値」、もしくはニューラルネットワークでの「活性化関数」はフィルタの機能を強化し、類似情報の識別にきわめて有用に機能する。

・「音」の最初の検出・学習についてはウェーブレットが適している。生物では三半規管の蝸牛器官がハードウェア的にウェーブレットフィルタ機能を担当していると解釈している。

・「画像」の最初の検出・学習については2次元のウェーブレットともいえる「ガボールフィルタ」が適している。生物では視覚野に神経ネットワークとしてガボールフィルタ様の構成がなされることがある。

・音であれ、画像であれ、その他の情報であれ、すべての情報は幾重にも細分化でき、階層化できる。逆に幾重にも統合でき重ね合わせができる。

・きわめてシンプルに表現すれば、世の中は因果律が成立する制約のもとで、すべて多次元の波の合成により成り立っていると解釈が可能である。

今後の方針について

当ブログでは「自己符号化器」にはまだまだ改善の余地がある(実ニューロンでの神経ネットワークのしくみと比べて、何か重要なファクターが複数欠落している)とのスタンスをとっており、複雑化と単純化の実験を繰り返してその「ファクター」が何であるかを「プログラム実験」により考察をすすめていきます。

 

穴埋めでつまらなくってすみません。このページの飾り付けはおいおいやります。

今日はここまで。

(追記)飾り付けは結局サボりました。次のページでがんばります!

では、また。