クーの自由研究

マスターの かえるのクーは8年の任期を終え消失しました。クーⅡ世の中の人絶賛募集中です。(特にオリオン座&プレイアデス方向の方は優遇します)助手がメイド喫茶から生還し、リハビリを兼ねて復帰しています。

そろそろTransformerを勉強しなくては

ではごきげんよう。達者でなァ

GWはぐーたらして籠っていた、🐸かえるのクーの助手の「井戸中 聖」(いとなか セイ)でございます。

(クーの出現頻度は今年もすくなそうです)

従来路線(自己符号化器やウェーブレット)がいまいち進展しないので、気分をかえて懸案事項の「Transformerの理解」にかかろうと思います。説明をいろいろ読んでも、「何故それでそんなにうまくいく」のかさっぱり論理的にも感覚的にもわかりません。

たしかにTransformerは新機軸です

このページに迷い込まれた方に説明しますと、Transformerとは

な感じのものです。(あ、説明は丸投げでした。すみません。)しくみもいろんなサイトに載っており、概念の説明もたくさん読みました。けどわかりません。ここまで主流になってくると全く分からないでいるのも悔しいので、いろいろ写経したり、リミックスしたり、実験したりして少しでも分かるようになりたいと思っております。

何もやってもいないのに興味だけの記事を書くのもなんですが、書かないといろいろさぼる(予告を書いてもサボりますが)ので、決意表明(おおげさ…)みたいなものです。

助手のページでは

関係ない話題ですが、サブサイトの「助手のページ」ではSharePointというMS社のツールを勉強中です。こちらの自由研究ページのお題にはそぐわないので、助手ページでやってました。

こちらも(SharePointのOnline版が使えないので)行き詰ってしまっています。そこで新機軸が必要となる訳です。

発掘

ディスクを整理すると古い地層から発掘がありました。

昔の実験のgifアニメです。どこにも貼ってなかったと思うので、脈絡なく貼ります。

当ブログでは、5年くらい延々とこれをやってました。最初はまったくわからなかった「自己符号化器」が感覚的にわかるようになりました。

強化学習は瑠璃が担当しましたが、unityのMLAgentを動かすのを見て分かった気になってました。

これが1年前か。。。懐かしい。


いまさらの抱負

今年はTransformerをがんばることにします。分かるまで5年はかかると思います。