車輪は何回でも再発明されていますので
がんばれ！渡辺くん！！若者に負けるな！！！
弱い方を応援するたいぷの、かえるのクーの助手の「井戸中 聖」（いとなか セイ）でございます。でも、強い方も魅力的です。
来年こそは、ホームラン王とサイヤング賞の同時受賞をお願いします！
さて、ずーっと宿題の「再発明」課題ですが、そろそろ時間ができそうなので、再始動します。かえるのクーから託されている重要案件でもあります。なお、忙しくなる直前にやっていた「リアルタイムウェーブレットフィルタ」については、「やればできそう」なので興味がしぼんでしまいました。毎度気まぐれで申し訳ありません。
要件の整理
課題：自己符号化器を再発明すること
目標：現在の（当自由研究所および世間一般の）自己符号化器には、実神経細胞網のモデルとしては、重要なファクターが欠落していると想定している。欠けている「何か」を補完して完全な「自己符号化器」を完成させることを目標とする。（かえるのクーからの宿題でもあります）
要件定義（仮）：
・（当サイトが使用している自己符号化器は）現在中間１層であるが、中間２層とする。
・グリア細胞が学習を制御しているとの仮説のもと、各ノード（神経細胞相当）に対して１つづつグリア細胞（に相当する機能）をくっつける。
・グリア細胞同士はある種のネットワークを形成している事実より、そのモデル化を実装する。
・可能であれば、数値は「複素数」を用いる。（これは難しいかも）
・強化学習のコンセプトを細胞（ノード）単位で導入する（報酬系の導入：グリア細胞とは別の化学物質相当の機能導入）
・短期記憶と忘却のコンセプトを導入する。
・興奮性伝達と抑制性伝達のしくみを導入する。
・できれば「直接的な逆伝搬」は学習に使わない。（実神経細胞は逆伝搬は行なっていないので。グリア細胞系、または報酬系による伝搬ならOKとする）
・現在の自己符号化器は可塑性の性能が非常に悪い。（直接的に言って硬い）もっと（スライムくらいの）可塑性を持つようにしたい。
以上により、一旦かなり複雑な自己符号化器を作成し、性能が従来よりよければ、付加した機能を極限までそぎ落としていき、性能向上(or低下?)の本質を探究していきます。
いろいろなアイデアをだしながらまた複雑にして、単純化する。「これ」を際限なく行っていけば、いつかは生物脳に近い効率の神経ネットワークができる「かも」しれません。
題して
「自己符号化器」補完計画
副題：神は天にいまし、世はすべてこともなし。
と名付けます。欠けている何かを補完し、新の姿を目指します。。。
まずは「カンデル神経科学」を今一度熟読しています。章とページは第1版第2刷(2016)のものです。
詠み終えたら、実装にとりかかります。
気になるところ（要約）：
４章８９Pageあたり：アストロサイト(astrocyte,星状膠細胞：せいじょうこうさいぼう)は星形のグリア細胞で脳細胞の半数を占めます。神経細胞に栄養を与え細胞膜間のイオン濃度、神経伝達物質の濃度を調整します。シナプス発達にも重要な役割を果たしています（発達促進物質の分泌や安定化）。神経細胞のマネージメントを一手にひきうけている感すらあります。こいつが黒幕/影の主役である噂もあります。アストロサイトの機能はまだよくわかっていないのです。（通常の神経伝達（活動電位）には関与しないものの、神経細胞との間では（何なのかは解明されていませんが）シグナル伝達がされているようです。）感想：グリア細胞はいろいろな種類があり、神経細胞の１０～５０倍程度存在するようですが、これが学習において重要な機能を握っていると感じています。栄養をコントロールできる位置にいるので、究極の制御（生命与奪/発育制御）をしているかもしれません。
参考資料：視神経脊髄炎Online
８章１７３Pageあたり：シナプスには電気シナプスと化学シナプスがあります。化学シナプスのほうがメインであるが電気シナプスも重要な役割をもつようです。なぜ進化が化学シナプスのような「低処理速度」の機能を採用しているのか、とても興味深いです。学習や演算処理には遅延や時間的持続が重要な役割を果たす局面があるのでしょう。また、化学シナプスはいわゆる「可塑性」が非常に優れているようです。
参考文献：楽々痛み研究会(こういうノリは大好きです)
感想：神経細胞は「知る」ことよりも、ほかへ「伝える」ことに重点がおかれているように感じます。いったん接続されれば、その接続が強化されるのは理解できますが、「何故その細胞に接続することになるのか/なったのか」は興味深いです。これは確実にコントロールされている「はず」ですが、よくわからない部分であるらしいです。数値演算としては全結合しておいて、スパース演算すればよいだけなのかもしれないのですが、学習に直結する部分なのでとても気になります。
参考文献：東京医科歯科大学 ニューロン
１２章２８１pageあたり：化学シナプスは短期的にも長期的にも調整をうけ変化できます。この性質をシナプス可塑性といいます。この機能調整は内因性シグナル（高頻度の発火）外因性シグナル（他細胞からの直接的なシナプス入力や神経調整物質）により起こります。
参考文献：JT生命誌研究館 進化研究
参考文献は超お勧め（自分も今読んでます）です。最初から読みたい方はこちらからどうぞ。：
５５章１２０８Pageあたり：驚くべきことに（神経の）発達後期においてシナプスの大規模な除去が行われ、同時に残ったシナプスの増大と強化を伴う。シナプスが作られる標的細胞は何等かの方法で識別され、選択されている。感想：「とにかくダメでもやってみて、よいものだけ残す」挙動を強く感じます。現モデルの「逆伝搬」は可塑性としては遅すぎ（学習効率が悪い）＆硬すぎ（可塑性が弱い）なので、新型ではもっと柔らかい学習を目指します。
１２２８Pageあたり：グリア細胞がシナプス形成を促進する。感想：モデル化するとすれば、グリアノードが担当しているの神経ノードのハイパーパラメータを一手にひきうける設計ができそうです。実細胞の構成から、１神経ノードに対して１グリアノードを対応させるのが良い感じがします。さらに物理的/数理的に近接しているノードにも影響をあたえられるようにしたほうがよさげです。
参考資料：アラキドン酸の作用メカニズム
できてもいないのに、名前を付けてみます。
新型符号化器の名称は「Koo Encoder」 とします
日頃はかえるのクーの悪口ばかり言っておりますが、実はとっても尊敬しております。（よいしょっと）新型の名称はKookey Encoderの略語とします。まんまです。
おそらくはジェット機に羽毛をつけたり、飛行機の翼を羽ばたかせたりしてみるくらいのKookey（狂気/変人の）沙汰だと思われますが、すすんで失敗することはとても大切だと思っています。所詮実験プログラムなので、どんなももお気楽に作れます！私たちの符号化器がどのように進化・キメラ化・衰退していくのかご期待くださいませ。
