3年以上「自己符号化器」のしくみを理解しようとしているが
さっぱりわからない、かえるのクーの助手の「井戸中 聖」(いとなか あきら)です。
本も読みました。数式も理解したつもりです。実験プログラムも組みました。
でもわからないのです。
人工知能に興味のある方であれば、「自己符号化器」の説明はどの入門書にもでてくるのでご存じかもしれません。クーがこのブログを開設した4年前もまずはこの話題でした。頭が良くないので仕方ありませんが、あきらめるつもりはありません。
(あ、ちなみにBiasが閾値とあるのは間違いですね)
「カンデル神経科学」はやっぱりすごい、おもしろい
さて、最近、「カンデル神経科学」を改めて読み返しているのですが、ところどころとても気になる記載があります。
とくに「グリア細胞」に関する機能の内容と神経回路/ニューラルネットワークの可塑性、学習に関する記載の部分です。
仮説も含みますが以下の感想を持つに至ります。
・グリア細胞(特にアストロサイト)については、ニューロンに対して保持、絶縁、イオン・伝達物質回収、成長因子の分泌をしている。
→ということは、ニューロン自身ではなく、むしろグリア細胞こそがニューロンを(学習において)制御しているのではないか。(仮説)
→→(もしそうであれば)自己符号化器の学習(誤差逆伝搬法)にはこの観点を単純化しすぎているのではないか。そもそも神経は逆伝搬なんてしていない。
→→→であれば、最も簡単な自己符号化器(3層(中間1層)のニューラルネットワーク)をこの観点で再設計・最発明することができるのではないか。
過去、多くの方が挑戦されたとも考えますが、あえて行き止まりの道をいくのも一興だと考えています。
「脳とグリア細胞」 工藤佳久著 技術評論社
Infinibandは資材(資金=おこずかい)調達難にて
「自宅Infiniband普及委員会」が資材調達難で停滞しているので、しばし、自己符号化器にたちかえり実験したいと思います。(かえるのクーも「なんでもいいよ」とのことで異論ないようです)Infinibandは性能のでる安価なPCが手にはいれば、MPI方面の実験をしたいと考えています。
おさらい
以下は、おたまじゃくしさん(人間なら小中学生)向けのおさらいです。
・神経系の細胞は主に2種類あります。神経細胞(ナーブセル)はシグナルを伝える基本単位です。グリア細胞(グリアセル)は神経細胞を物理面、機能面で支持します。
・神経細胞は複数で神経回路をなし、機能的な動作を行います。神経細胞の接続は可塑的で、経験によって接続(有無や強度)が修正されます。
・神経細胞は入力信号により、一定の敷居値をこえると「発火」し、その情報は次の神経細胞に伝達されます。細胞内の伝達はパルス電位によりなされ、細胞間では主に神経伝達物質により行われます。情報が伝わるのは一方向です。
・神経内ではパルスの密度により強度が表現され、細胞間では伝達物質の量により表現されます。
・コンピューターのニューラルネットワークは神経回路の並列処理を模倣しているといわれています。
・神経回路の情報は抑制として伝達されるものもあり、また、フィードバック回路を形成する場合もあります。
・神経細胞の新たな接続、接続強度の変化、接続の切断が多重的に発生し学習するといわれています。
・一般的に神経細胞はその物理的位置から局所性を持ち、機能的な役割を分担しています。
・神経細胞群は自律的に情報を分解し、重ね合わせ、再構築できるといわれています。このとき、情報を完全に記憶するのではなく、必要な特徴を絞って記憶することにより普遍的な性質を学習できると考えられています。また、学習の範囲内(値域内)であれば、未知のくみあわせに対して、ある程度の予測が可能になります。
「7:3」なかなかよいですね
わたくしは「亀田の柿の種」フリークなのですが、「6:4」派(柿の種とピーナッツの比率)でした。でも7:3いいですね。内容量(重量)は変わらないので、ピーナッツのほうが断然重いので、ボリュームがアップした感があります。ピーナッツもそれほど「減った」とは感じません。「7:3」派に鞍替えすることを宣言します。
(蛇足)
世の中もだんだん平和になりつつあるので、明日から出張再開となりました。2週間ばかり危険地帯にいってまいります。