お暑うございます。
こんにちわ、こんばんわ。かえるのクーの助手の「井戸中 聖」（いとなか セイ）でございます。
家庭菜園の「きゅうり」や「とまと」や「なす」が豊作でした。暑すぎて、すこし元気がなくなってきているのが気がかりです。今年は娘が「ひまわり畑もしたい！」というのでひまわりも植えてます。
さて、待ちに待った「夏休み」がはじまりました！
今年のメイン自由研究は「居残り」でML-Agentsになってしまいました。本当は『なんにでも「chatGPT」APIをつける大作戦！』を考えていたのですが、流れに乗り遅れてしまいました。
これまでのおはなし
ML-Agentsの「サッカー」をターゲットにして、強いチームを作ることを目標としました。ただいま「指導（報酬）方法が機能せず弱体化一直線中」です。
『春埼美空、リセットだ。』『リセット。』*1
一旦１２時間素直に学習した状態へ「リセット」してそこからやり直します。
反省点
前回の報酬の方法では、コーナーで敵をブロックした状態で、至近距離で味方とパス回しを延々として「報酬」を搾取してしまいます。味方との至近距離パス回しは検出して「微小罰」（軽微なマイナス報酬）を与え、学習させます。
前方へのパスやドリブルが通れば、「微報酬」を与えるのは変えません。
これで学習させ、チームとして強くなるか確認します。
かなりダメ（強くなる方向にうまく学習してくれない）なのでパラメータを調整中です。ポイントとなる点を書きます。
・オウンゴール罰を高くすると、怖がってしまいにボールに触らなくなる。ディフェンスした結果オウンゴールとなった場合は罰を与えない。
・ドリブルとパスの報酬を高くしすぎると、ゴールせず、コーナーでお見合いパス回しばかりする。お見合いパス回し（至近距離でのパス）は微罰としたほうがよい。
ドリブル・パス・ディフェンスの報酬積算がゴール報酬をうわまらなないように調整することにより、バランスが保てるようになった。
・相手シュート時にシュートコースをうまく消せていた場合、「微報酬」を与えるとディフェンスがすこしだけ上達した。
さらなる改善点
学習させては、「戦いぶり」をみていますが、徐々によくなってきています。特にドリブルはかなり上達しました！とはいえ、Release20学習済データと対戦させるとダブルスコア程度で負けるのは変わってません。以下を改善してみます。
・ポジショニングの改善のため：ペナルティエリア付近「以外」で、味方とある程度距離が保たれていれば、「極微報酬」を与える。距離が近ければ（少なくともポジショニングは悪いので）「極微小罰」を与える。
・パス技能改善：裏へ抜けるパスが通った場合は、報酬を与える。（誰もいないところへパスを出し、味方がそこへ走りこむようなプレー（ただし攻撃方向）は高評価する）
それにしてもワンアイデアがOKかNGか判断できるまで、最低２時間くらい学習したああとでないとわからないので、本当に時間がかかります。ですが、この試行錯誤を含めて面白いです。
（只今改善点を実装して、トレーニング中。しばし待たれよ。）
Release20学習済との対戦成績が完全ダブルスコア（25%)から勝率4割程度(実際には38%)にアップしてきました。順調に強くなってきています。
後に視野がないので、後ろに下がるときにボールを巻き込んでオウンゴールするケースが非常に多いです。
「ボールを見失わない」報酬を与えて、ボールをよく見ることを教えたいのですが、エージェントの目を盗めないので、思案中です。
５時間ほど学習が進んだニューラルネットワークでRlease20学習済と対戦すると得点率は43%くらになっていました。順調に強くなっています。この土日の成果として、８時間ほど学習したもので、対戦させてみます。
結果は勝率46%で善戦したものの、50%には届きませんでした。見た目にも完全にReleace20にあしらわれています。スピード感はないですが、よりサッカーの試合らしくはなりました。
７時間学習したもので、勝率は丁度50%程度で、「見た目にはやや強いが、オウンゴールが多いので勝率は同じ程度」な感じになったのですが、さらに１時間学習すると、勢いがなくなり、慎重になった分、競り合いでワンテンポ遅れて失点するケースが多くなりました。キックを空振る（横にそらす）ことも目立つようになりました。チームの調子は摂動しながら強くなっていくので、こんなこともあります。完全にスランプに陥って抜け出せないこともあります。
とりあえずは24時間程度（放置プレイで）学習させて、どのようになるか確認したいと思います。
では、また。
*1:春埼美空（はるきみそら）は浅井ケイの指示により、世界を「リセット」する特殊能力を発動させました。左の女の子が「春埼美空」です。奥にいる女の子が「相麻菫（そうますみれ）」です。相麻菫はわたくしがすべてのアニメの中で一番好きな（声の）キャラクターです。（キャラクターと声の合致度が神）：「サクラダリセット」は、現在わたくしの好きなアニメベスト５にはいっています。
