クーの自由研究

最下層からまた一段ずつ螺旋階段を登り始めます

おたまじゃくしさんの自己符号化器~ノードは気長に学習していく編~

今回はイメージでみじかく説明します

全国の「おたまじゃくし」のみなさん。そして、全国の小中学生のみなさん。

こんにちは。こんばんわ。

引き続きボク「ノード」ガ説明します。今回は「学習」についてです。
前回はむだにがんばりすぎて長くなり、読むのがたいへんでした。ごめんね。途中(とちゅう)で読むのをやめちゃったお友達もいるかもしれません。

f:id:np2LKoo:20170909110300j:plain


今度は(前よりは)短くいきますね。すこし興味(きょうみ)があったら、前回の説明も改(あらた)めて、読んでね。(わかりにくくてごめんなさい。)

結局、神経接続(しんけいせつぞく)とか、自己符号化器(じこふごうかき)とかは何をしているの?

神経接続や自己符号化器の、「なんとなく」のイメージを書きます。キーワードは

エコ

無駄をとことん省く。やらなくても「なんとかなる」ならやらない。

少しで、たくさんのことをあらわす。

全部「覚える」のはたいへんなので、「似(に)たもの」は共通しておぼえる。(まとまろうとする)

最適化(さいてきか)でちょうどいいかんじ

それぞれを見ると「いまひとつ」でも、全体で「ちょうどいい」感じにしていく。

逆に、部分だけに注目することもある。(注目といっても自動的にそうなります。「考えて」そうするわけではありません)

ぎゅーっと圧縮(あっしゅく)して「最適化しているときに夢をみる」という説もあるよ。

ちょっとづつゆっくり学習する

たくさんの入力データから、すこしづつ「学習」する。時間がかかる。

幅広く対応(汎化:はんか:(おうようりょくがあること、ものの一般的な性質をとらえること)+スケーラブル(ちっちゃいのをめっちゃ大きくまでできる))

みたことがなくても、似たデータであれば、対応できるようになる。

必要に応じて、つながる細胞や〇ノードをどんどん増やせる。

混沌(こんとん:カオス)としていて柔(やわ)らかい

結果はそれほどかわらなくても、中身はたえずよくなるようにチャレンジしているよ。
つないだり離れたり。わるく言えばかなり「ごちゃごちゃ」している。

よく言えば、どんなものにも対応できるようにやわらかく形をかえていける。長く覚えたいものや学習してしまったものは「固(かた)め」だよ。

より精度(せいど:正確さ)や、より「広い範囲の対応」が必要なときは、神経細胞や〇ノードをどんどん追加することにより、どこまででも対応できます。(でも実際は細胞やパソコンの容量(ようりょう)に限りがあるから、無限というわけではないよ)

学習したらどうなる?

学習したあとの「答え」を先にみて、逆から考えてみましょう。

f:id:np2LKoo:20170903210218p:plain

学習した自己符号化器は以下のような形になります。

Xの部分

情報がはいってくる部分です。毎回データがはいってくるところで、とくに学習前後でかわりません。

W1の部分

「抽出器」「フィルタ」「分析器」「情報をとりだす」「その形の情報がどれだけ含まれるか調べる」部分として情報がまとまります。

どんな形の情報をとりだしたらいいのかが学習されています

1つだけではよくはたらけませんが、たくさんの部分が協力して情報を取り出します。

Zの部分

ZはW1であらわされる「形」「くみあわせパターン」がどれだけ含まれるか、の値になります。
もちろん「形が」近いと値が高くなり、違いが大きいとゼロとか、とても小さくなります。

W2の部分

「合成器」「生成器」「情報を復元(ふくげん)する」「情報をつくりだす」部分です。

組み合わせる「もとになる形」が学習されています。「それぞれの形」はいろいろな形を再現する「素材(そざい)」「もとネタ」として使われます。

Yの部分

YはW2であらわされる「形」や「パターン」を合成して元に近い状態(じょうたい)にしたものです。

神経細胞でいえば、「XとW1」がセットで視神経(ししんけい)、「ZとW2」がセットで視覚野(しかくや:後頭部(あたまのうしろのほう)にある)の脳神経(のうしんけい)、「Y」が2段目の脳神経で、たぶん3段目の脳神経にたくさんつながります。(今回のモデルでは3段目までは考えません)自己符号化器は元にもどすしくみですが、脳細胞はさらにいろいろ繋(つな)がっているようです。(ずっと前に見たものを思い出せるので、復元(ふくげん)するしくみもあるはずです。)

自己符号化器は、入力データからこのW1の「フィルタ」のパターンと、W2の「合成元」パターンを自動的に調整し、学習していくものです。フィルタのかかり具合や、合成器の敏感(びんかん)さも、B(バイアス)として調整します。
実はフィルタと合成元は同じでいいんじゃない?という考えもできます。これが前回もでてきた「重み共有」というやり方です。

ただし、重み共有は、入力と同じものを出力したいときは使えますが、入力に対して別のものを学習して出力したい場合には使えません。

フィルタって何?

必要なものだけを取り出すしくみの「もの」です。たとえば次のようなものがあります。

コーヒーフィルタ コーヒーだけを通します。
カメラのフィルタレンズ

紫外線(しがいせん)や水面の反射光(はんしゃ)など余分(よぶん)な光をさえぎります。(きれいな写真がとれます)

マスク

風邪(かぜ)をひいたとき:咳(せき)やくしゃみで、飛沫(ひまつ)がとびちらないようにします。空気は通します。

花粉の時期:花粉をすいこまないようにします。空気を通します。

 数字のフィルタってどんなの?

0から9までの10個の数字を、いちばんよく通す「フィルタ」を考えてみます。
光を「とおす」フィルタで考えてみます。

いちばん光を通すフィルタは透明なフィルタです。
逆に光を通さないフィルタは、何を入力しても真っ暗です。
1の形をよく通して、他の方をとおさない図形を考えてみましょう。
1の形そのもの図形ではどうでしょうか。f:id:np2LKoo:20170909164222p:plain

1の形は全部通ります。通る光の量はその数字「そのもの」が一番多くて明るくなります。
他の数字は重なっていないところは光がとおらないので、似ていない数字は明るくありません。なんとなく形がつながっている、4とか7とかが1に近いかもしれません。興味深(きょうみぶか)いのは3のフィルタを通した図形と8のフィルタを通した図形が似ていることです。逆に考えれば3と8は(たまたま選んだ)1からみれば(どれだけ自分ににているかという形として)そっくりなのかもしれません。そんな見方をすと、5と6と9も似ている気がします。(手書きの文字だと、もっともっといろんなパターンがありそうです)

フィルタは分析器(ぶんせきき)といっていいかもしれません。

合成器(ごうせいき)ってなに?

複数の素材(そざい)から別のものを合成して作るどうぐです。ある意味、魔法(まほう)です。

コップ レモンをいれて、はちみつ入れて、氷をいれて、炭酸水(たんさんすい)をいれて、ストローさして、レモネードのできあがり!
おなべ いろんなものいれてぐつぐつにて、カレーのできあがり!
ジグソーパズル(の枠) ばらばらのピースをくみたてて、やった!完成(かんせい)だ!

合成するといっても、

まんべんなく混(ま)ぜてできあがるもの(いれた素材が全体にひろがる)

元は残るが、一部は全体に広がるもの(じゃがいも溶けてちいさくなった~)

そのままある部分だけをくみあわせるもの(機械(きかい)の部品(ぶひん)とか)

今回の数字はフィルタをそのまま合成器にしようと思いますので、重ね合わせてみます。元の数字になるかな・・・?う~ん微妙。たしかに1がいちばん目立っていますが。。。

f:id:np2LKoo:20170909165535p:plain

もとの数字をかさねあわせただけだとどうしてもうまくいきません。

「どうすればいいと思うか」は宿題にしちゃいます。(クーのブログを読んでくれれば答えがわかるかも)

ヒント:バイアスってどんなはたらきがあるんだっけ?

学習ってけっきょく何なの?

「お料理をまったく知らない生徒が先生に教えてもらう」ことで考えてみましょう。

「フィルタと合成器」をあわせて「生徒」とします。「舌」がフィルタで、「おなべ(使い方もふくめて)」が合成器のイメージです。お料理なので、入れたものとでてくるものは違いますが、説明のためのイメージとして考えてください。入力と出力が違うので「重み共有」はつかえませんよ。

「とあるお料理教室の日常」


先生:これとまったく同じお料理をつくってください。

生徒:よくわかんけど、そのまま全部「なべ」にいれてみよう。先生できました。

先生:素材が大きい。味付けが薄(うす)い。煮込(にこ)みがたりない。-1090点

生徒:マイナスの点数ってきいたことないです!何点満点(まんてん)なのですか?

先生:0点満点です。マイナスは限度(げんど)がありません。

生徒:具体的(ぐたいてき)に何をどうすればいいか教えてください。そうしないとできません。

先生:私が教えることができるのは、このお料理(正解)との差と点数だけです。

先生は具体的にどのようにすればいいかまったく教えてくれません。先生は「正解との差」と「評価(ひょうか)」のマイナスの点数(減点)だけを教えてくれます。次にやるときには、先生からの情報(ヒント)をもとに、もう少し調整してみることにします。調整(ちょうせい)する「量」は自分できめなくてはいけません

先生:では次のお題です。

生徒:え??今のをとことんやるんじゃないんですか?

先生:ひとつのことだけやっていたのでは、そのお料理しかできません。このお料理教室は、「ありとあらゆるお料理をできるようになる」ための教室なのです。

生徒:あ、生徒募集(せいとぼしゅう)のちらしにはたしかに「これで、なんでも作れちゃう!彼氏のハートをゲットだぜ!」って書いてありましたが。。。

f:id:np2LKoo:20170909150722p:plain

先生:「ゲットではなく、☞ゲッツとかいてあったはずです」生徒の皆さんには「料理のなんたるか」を学習していただき、なんでもつくれるようになってもらいます。

f:id:np2LKoo:20170909150745p:plain

生徒:(皆さんって、生徒私ひとりなんだけど)本気卍なのかぁ。。。

先生:「まじ」なんて言葉使わずに。「ほんき」といってください。「根性(こんじょう)」があればどんなことでもなしとげられます。

生徒:(うわぁ~。昭和だぁ。)

。。。

。。。

生徒:できました。

先生:お肉はややちいさいです。玉ねぎだけ煮込(にこ)みが足りませんが、他はやや煮込みすぎです。すこし塩分(えんぶん)が多くて、砂糖(さとう)はわずかに少ないです。-50点

生徒:おお、また-100点を切れました。
先生:よくここまでがんばりました。もうお料理の本質(ほんしつ)は会得(えとく)したといってよいでしょう。30年間よく諦(あきら)めずにがんばりました。

生徒:先生、でもまだ彼氏できないんですが~

先生:それは「お料理」の課題(かだい)ではありませんので、私にはわかりません。でも、免許皆伝(めんきょかいでん)なので、あなたもお料理教室はじめてはどう?

生徒:でも彼氏がまだ、、、

先生:学習とは誰かに「やり方」を教わるものではないの。自ら、ありのままの入力と出力と目標(正解)から会得(えとく)していくものなのよ。先生はヒントをくれるにすぎないわ。コーチングの神髄(しんずい:もっともかんじんなところ)でもあるわね。

。。。

新米先生:「なんでも作れるようになるお料理教室。本日開講(かいこう)!これで彼氏のハートをロックオン!」

f:id:np2LKoo:20170909151114p:plain


お料理の「達人」は、ある「お料理」を口にしただけで、素材(そざい)や調理法(ちょうりほう)がわかるといわれています。
音楽の「達人」は、ある「音楽」を聞いただけで、そのまま弾いたりアレンジしたりできます。

練習、下積(したづ)みでいろいろなことを学習し、どんなときに何をするか、どう組み合わせるかの「パターン」を経験(けいけん)で知っているのです。

今回は「なんとなく」の説明になりました。「学習」はどうして(いろいろな音や映像(えいぞう)や行動(こうどう)について)そのように(未知(みち)の情報に対してもある程度対応したり)できるのかについては、まだよくわかっていない(数学的に説明しきれていない)部分もあります。でも論証(ろんしょう)されていなかったり、実証(じっしょう)されていないだけで、かなりの部分がどんどんわかってきているんです。(論証や実証して支持(しじ:サポート)がもらえ、反論(はんろん)がなくなって、誰もが認(みと)めるようになっていけば本物だよ)

機械学習めっちゃ楽しいよ

興味(きょうみ)があったら「かえるのクー」といっしょに勉強していこうね。

 

 おたまじゃくしさんシリーズはひとまず完了です

「〇ノード」くんどうも有難う。教えるのって難しいですよね。

さて、「おたまじゃくし」シリーズをはじめたころは生まれたてだった「おたまじゃくし」さんも、そろそろ後ろ足がでてきて「肺」で呼吸ができるようになってきました。

みなさん。たくさん食べて、大きくなって、冬に備えてください。

「おたまじゃくし~かえる」の青春期(せいしゅんき)はほんとうに短いです。かえるになってからでは覚(おぼ)える能力(のうりょく)や理解力(りかいりょく)は頭打(あたまう)ちになってしまいます。『「おたまじゃくし」のときにどれだけ頑張(がんば)ったか』、でそのあとの能力がきまってくるところがあります! まだかえるになりきっていない「おたまじゃくし」さんは騙(だま)されたとおもって、「いまやっていること」に「ぜんりょく」で(そして自分で納得(なっとく)できるまで)とりくんでみませんか。きっといいことがあります。では、今年のおたまじゃくしさんシリーズは、これにて閉校(へいこう)です。来年も、もしかしたら(実験にいきずまったら)「開校(かいこう)する」かもしれません。今年のおたまじゃくしさんは、来年はおたまじゃくしではなく、「かえる」の立場でこのブログを見てもらえると嬉(うれ)しいです。

どうも有難(ありがと)うございました。