徒然なるままに、ものごとに流されてみます
おい、ちゃんと見ろよ@ゴルシ様にデレる、かえるのクーの助手の「井戸中 聖」(いとなか あきら)でございます。
TecoGANでアニメ系画像処理(学習)やってみたい
さて、『TecoGANが「アニメの画像学習」をすると、アニメ系のアップコンバートがよりよくなるのか?』の素朴な好奇心がでてきてしまいました。TecoGANをアニメ画像変換が得意なように教育しなければなりません。
世の中には、そしてネットにはアニメ画像は非常に多数ありますが、機械学習に使えるような「フォーマット」「系列」がそろったデータはそうそうありません。量があったとしても、学習できるフォーマットに加工する手間が膨大になります。
アニメのデータセットについて
検索をしていると
・フォーマット(解像度)が統一されている。
・アニメ系の「顔」に特化した情報が驚くべき量そろっている
データセットがありました。純粋な入力系(人が書いたもの整備)は難しいですが、生成系データであればこのご時世ヤマのようにあります。はい。「嫁」系画像生成システムです。この界隈の情報はあまり知らなかったのですが、このジャンルは専門用語で[Waifu] というらしいです。
なかには、膨大な生成データサンプルを無償で!ダウンロードするサービスがありました。早速ダウンロードしてみました。これを2次利用すれば、なんとかなる「かも」しれません。
一例です。
本当に膨大です。(展開で35GBくらいでした)だた、そのままこの生成画像を学習用データとして2次利用するには(画像の品質的に)問題がありそうです。
Crypkoというシステムは仮想通貨のブロックチェーン技術を使い、生成キャラクターを改ざん不可能にし、一意制や著作権(生成した人のもの)を保証しているそうです。とてっも今時ですね。
ああ、PreferredNetworks様なのですね。道理で斬新な高機能ぶりがハンパないです。
そして、ますますなにかしてくれそうです。こちらはコミュニケーション系ですね。
生成系データセットの問題点
・かなりの量の生成画像特有の「気持ち悪い」画像が含まれている。
・「気持ち悪い」までいかないまでも「失敗作だよね」な画像がかなりある。
・そこまでいかなくても「品質が高くない」画像が相当量ある。
・量が多すぎて、学習対象としたくない画像の取捨にとんでもない時間がかかりそう。
かわいい例
This Waifu Does Not Existsより
Make Girls Moe より
残念な例
そこで、この膨大な画像から学習対象の画像の取捨を行うため、「アニメ美少女顔画像評価関数」なる評価システム開発の必要性がでてきました。
2日前に「芸術」を目指していたとは到底思えない堕落街道まっしぐらっぷりです。このブログサイトでの情報需要は皆無だとおもいますが、しばし考察を進めます。
美少女顔画像評価関数の要求仕様
・データセットの中から一般的な人、もしくは特定な人(講師:被験者)が判断するであろう「よくない画像」を推定してレポートする。
・画像に対して、評価指示を行うベクトルの各重みに準じて、評価値(もしくはベクトル値)を導出する。
よくない/よい画像の定義はむずかしいですが
(1)本体部分に悪影響を与えているモーフィングノイズが多数あり、画像を損ねている。
(2)デッサンが崩れている。
(3)肌が荒れて見える。
(4)色彩の配色が標準的でない。(標準とは何?)
(5)全然かわいくない。(かわいいとは何?)
(6)人や猫耳やエルフやウマ娘ではない。(耳以外の人に見える条件は何?)
(7)総合評点:神作画判定~ナイトメア判定まで(感動とは何?気持ち悪さとは何?)
など
だと思われます。従来ならこれらを頑張ってコーディングするところかもしれませんが、今ではこんなのは、模倣学習か逆敵対的学習+半教師学習でやらせるのでしょうか?
その路線でいってみます。
評価関数コンセプト
・実教師(≒プログラマ)が主観により画像を所定の指標でサーベイ(測量/判定)して所定の数(全情報の極一部)に対して教師情報を作成する。
・模倣学習でニューラルネット(NN)が教師情報に近い判断を行うまで学習させる。
・教師情報以外の画像に対して指標判定を行い、実教師が明らかにエラー(不正解)と考える判定をフィードバックしていく。
これならなんとかなる「かも」しれません。まぁ、だいたいのことは諦めなければなんとかなります。
われながら流されすぎのような気がします
ヲたく路線まっしぐらですが、すこしアカデミックな情報をはってバランスをとります。
あ、研究者ってアカデミックのぬいぐるみを着た「ヲたく」なんでたっけ?(ゴルシ様風毒舌?)今回の関連情報検索でヒットしたものですが、共感するところも違和感のあるところも実におおくある刺激的な文集でした。