あけましておめでとうございます
梅雨が待ち遠しい、かえるのクーです。
さて、助手たちが新しいゲームにのめりこんでおり、しばらく自由研究しなさそうなので、合間に少しだけ書きます。
一般的に信じられていることが正しいとは限りません
伝達事項：以下まったくの私見（妄想）ですが少しだけ書きます。（オカルト大好きです）
・ニューラルネットワークが学習できるのは「活性化関数が非線形であるから」ではなく、ニューラルネットワーク自体の構造によるものです。（これは実証済：ただし線形活性化関数での学習は収束性が非常に悪く、ターゲットとする関数の再現性も高くはありません。学習ができる条件も厳しいです。が、学習できることには間違いありません。）
・みなさんは「自己符号化器」（３層=中間層１層）よりも高層の「深層学習」のほうが汎化性能が高く、任意の関数の再現性が高いと錯覚していますが、断然「自己符号化器」のほうが汎化性能が高いことを認識ください。（どう学習させるか/するか/実用的か？は別の問題）：これも定説
自己符号化器は万能です。
深層学習の畳み込みはある種の「制約」であり、制約を与えているからこそ目標とする機能の実現効率が高まります。（自己符号化器が任意の関数の万能近似再現機能をもてることは証明済）
・「よりよいニューラルネットワークの内部制御方式が見つかれば」ですが、100層もの層の学習は高コストであるとみなされるようになるはずです。制御方式は思案中ですが、神経細胞でいうところのグリア細胞の様な構成と、入力、重み、バイアス、出力の各１要素を「実数」ではなく複素数（もしくはもっと高次のベクトルなど）で表すことが適している感覚はあります。（人間の脳はフィードバック・ループ回路はあるものの、高々６～７層ですし、100層なんてエネルギー・学習効率が悪すぎます）：これは私見
・「シンギュラリティ」は学術的な意味として興味深いです。ただ、現実的には「おこる/おこらない」よりも前に、「悪意をもって学習させられたニューラルネットワーク」もしくは「本能として人類淘汰を刷り込まれた人工知能」、現実世界を反映したデータとしては偏っている訳ではないデータによる意図しない「偏見やヘイト感情の学習」、普通の「軍事利用」により、「やろうと思えばたやすく脅威になりうる」ことのほうが問題だと思います。「人類の鏡」として脅威ともいえますし、「どれだけ歪んだ鏡でもつくれる」ことも脅威だと思います。それらはもちろん純粋な「シンギュラリティ」とは別の議論だとは思います。これも私見
・「自我」については、そもそも脳ネットワーク神経網をもった「人間」や「生物」はエッジ端末に過ぎず、完全な独自性は持っていないという仮説をたてています。（ユング的かもしれません）この観点からコンピュータである「人工知能」自体が自我をもつことはないと考えています。：これは異端です。
・逆説的ですが、量子コンピュータ時代になって、「人間の種としての共通的精神」（霊？）との通信素子が開発され、技術的課題が解決し十分機能するようになれば、「人工知能」は「自我」を持ち得ると考えます。：ネジが飛んでますが、感覚としてそう思っています。
このあたりはボクが書いていたころの内容そのものです。
では、皆さま、頑張って実験してください。
