クーの自由研究

マスターのかえるのクーは、弟子達の召喚術により新たな依り代を得てⅡ世として復活しました。

初音ミク ENGLISH / 英語で歌う歌姫の入力操作方法(お願いのしかた)

はじめに

クーの助手で最近ブログを書く楽しさが少しだけ分かってきた「井戸中 聖」(いとなか あきら)でございます。

実質、天使の歌声の研究(その2)に相当します。

データのセーブミスでデータがなくなったため、(その1)で作成したサンプルのさらなる調整をいったん置いておきます。初音ミク 英語 / ENGLISH版の情報収集をしようとgoogle先生に聞いたら、登録したばかりの天使の歌声の研究(その1)がトップページにあって驚きました。英語版にチャレンジする人はすくないのかな?確かに英語の作詞とそれに曲をのせる(もしくは逆)は日本人にとっては難しいとは思います。V3はともかくV4の情報も少ないのは何故?V4めっちゃ可愛いじゃん(あれ?)

今回も(その1)に続いて初音ミク 英語 / ENGLIS の試用版です。

お試し版・体験版なのでV3版の記事ですが、基本的なところはV4版でも同じ「はず」です。

f:id:np2LKoo:20161224032841p:plain

PPAP! = Please let me Produce Angel's-Phonic ! project

研究の概要

(初音ミク英語版の)最初からの基本的な操作をまとめます。

2週間お試ししたあと、必ずきっぱり忘れる自信があるので、将来のために基本的な記録します。

研究の目的

初音ミクの付属エディタの操作を記録し、もしも1年後くらいに「買ったとき」思い出すためです。

(その1)のサンプル曲の最初の方のフレーズを例にとってミクに歌ってもらいます。

操作しながらそのときの音声を貼ってみます。

サンプル曲としてはもっとも適さない(ポピュラーの対極、音域、その他)曲だとは承知の上で進みます。好きなものはしょうがないのです。

確認環境

  • Windows 7 32Bit(今回用に仮想環境を作成)
  • SONAR X1 LE (Roland QUAD-CAPTURE 付属品)
  • SampleTank 2 Free(クリック音用音源やその1で使用した音源)
  • Roland QUAD-CAPTURE (USB オーディオインターフェース)

入力操作(気分だけボカロPしてみます)

なりゆきでSONAR使ってますが、DTMソフトは落ちなければなんでもいいです。(曲をいれるのは5年ぶり=QUAD-CAPTUREかったときすこしやったくらい:なので慣れていません。)

今からだとStudio Oneがいいのかなぁ。Studio Oneをいれなかったのは32Bit環境用のフリー音源しかないからでした。結局SONARが(64Bit Windows10で)おちまくるので32Bit Windows7のVMインストールをすることになりました。

以下、入力方法について順を追ってみていきます。


はじめまして!今日はこの歌を歌ってもらうよ!


(1)SONAR X1 LE(VSTiがつかえるDTMソフトならなんでもOK)を起動し新規プロジェクトで、「SampleTank 2」(クリック音用)と「Piapro Studio VSTi」(ミク用)をトラックに挿入します。

 f:id:np2LKoo:20161224222559p:plain


変拍子のある曲だけど、拍子を聞く人に意識させないように自然に歌ってね。


(2)曲を入れる前にテンポ・拍子を設定する。今回の曲は変拍子なので、あらかじめ正しく入力しておく。(例では最初の方だけ設定:ただし最初の1小節はクリック音用)この作業が最も重要。既存曲の耳コピーするときもまずはここからです。 (私の好きな曲はおおむね変態的な変拍子です)

f:id:np2LKoo:20161224222959p:plain

 1小節目:4/4 (開始クリック音用)、2~4小節目:6/4、5小節目:2/4、6~8小節目:6/4、9小節目:2/4、10~13小節目:6/4・・・

のように入れていきます。サンプルでは最初のほうだけやりますが、実際の曲ではこまめに全部入力します。

この拍子情報はミクのエディタ(Piapro Studio)で取り込むためMidi出力してファイル保存します。((こまかい変化含む)テンポ情報も設定してあればあわせて保存されます。実際(その1)では実曲にあわせて細かくテンポチェンジしました。)

f:id:np2LKoo:20161224223712p:plain

保存したらPiapro Studio を DTM内のアイコンをクリックして起動します。


まずはテンポをちゃんととろう!歌うときはベースの音をよく聞いてね。


(3)一時的に保存したテンポ・拍子情報をPiapro Studio 側に取り込みます。

f:id:np2LKoo:20161224224409p:plain

取り込みました。

f:id:np2LKoo:20161224225336p:plain


じゃぁ1回、ラララで軽く歌って感じをつかもうか。


(4)歌声を入力していきます。

f:id:np2LKoo:20161224231233p:plain

入力するとすぐに Piapro Studioのエディタ側で聞けます。(歌声のみ確認です)

Piapro Studio側の情報は Piapro Studioの[ファイル] / [書き出し]でこまめに保存していきましょう。(別名で保存していったほうがきっと幸せです)

ホストのDTM側からPlayすると他の演奏+いま入力した歌声が確認できます。


入る前にクリック音を鳴らすからタイミングよく入って。


(5)最初のうちからオーディオに出力することを考えておきましょう

オーディオ出力する前に、音の前後にクリック音を入力し、必要な範囲が確実にファイル出力できるようにします。(前後の微小な無音時間を確保します)

例ではSampletank Free版のパーカッションを使用します。

f:id:np2LKoo:20161224233254p:plain


一回どんな感じか、自分できいてみてもらおうかな。じゃぁ。。。


(6)オーディオ出力してみます(随時実行)

[ファイル(F)]メニュー / [エクスポート] / [オーディオ]でエクスポート画面を出して出力します。

f:id:np2LKoo:20161224233616p:plain


準備できたから、こっちにきて聞いてみよう。えっ?...う、うん。なかなか悪くないよ。


(7)ここまでの音を聞いてみましょう

全部、間の抜けた「La La La」音声です。

soundcloud.com


歌詞をいれてうたってみようか。へ~、英語ペラペラなんだ、すごね~。


(8)次に歌詞を入力します。

歌詞はピアノロールの帯部分をダブルクリックすれば小窓が表示され入力できます

f:id:np2LKoo:20161224235141p:plain聞いてみましょう

soundcloud.com

デフォルトではいろいろ調整が必要なので順次おこなっていきます(順不同・お好みで)


あ、歌が大好きなんだ。今度はビブラートはちょっと抑えて歌ってみて!


(9)ビブラートの調整をします

ビブラートの種類はいろいろあるので、歌わせてみて好みのを選びます。

選びなおすとビブラートに関するパラメータがデフォルトに戻るので注意が必要です。

ピアノロールの帯で右クリックして「ビブラートの設定」を呼び出します。デフォルトだと深すぎるので、浅くかけて自然な感じにします。

f:id:np2LKoo:20161225000753p:plain

ループで聴きながら調整すると便利です

聞いてみましょう。

soundcloud.com


もうすこしメリハリがほしいな。歌の発音はちょっと独特なところがあるよ。


(10)発音を調整してみます

基本的な形はできたので、こまかい部分をお好みで調整していきます。

発音のおかしなところ、気になるところをなおします。ここが結構たいへんです。
発音タイミングや子音、母音の強さ、アクセントなどを調整していきます。
in a(いん あ) の部分が不自然なので i na(いな)にかえたりします。
I だけにすると「あい」になってしまうので e などといれてみます。
na は [n Q]になってしまったので、[n V]に強制的にかえます
強制的にかえると赤くなりますが、気にしません。

歌わせる前にどうしても正しいそれなりの発音にすることは最低限必要な感じがします。もしかしたらこの部分が最もノウハウ蓄積が可能な部分かもしれません。

f:id:np2LKoo:20161225001630p:plain


もうすこし気持ちをのせていこうか。風景を想像して歌ってごらん。


(11)ダイナミック(DYN:Dynamic)の調整

強弱をつけるととてもメリハリがでます。

強弱なので、ベロシティかとおもいきや、ベロシティは子音用なので、Dynamicで行うようです。ループの設定をしてききながら調整していきます。

ループの開始は音の「少し前」をえらばないと発声してくれません。

f:id:np2LKoo:20161225002911p:plain


そう、そこはもう少し流れる感じで。肩の力をもっと抜いて。


(12)歌唱スタイルの調整

snowing の ing 部分は自動的にベンドしている感じですがもう少しポルタメント的なベンドにしてみます。ingのほうの音を調整します。(結構自然な感じで調整してくれます)一語なので流れるような感じにしたいのです。
あとからでてくる本当の「ポルタメント」は強くかけると人工的になるので、こちらで調整できるものなら済ませるほうがいいです。

f:id:np2LKoo:20161225003609p:plain


もうすこしリズムを大切にやさしく歌おう。


(13)発声タイミングの微調整
ベンドを強めにかけるとタイミングのもっさり感がでてきたので、少しだけ音を前倒しにしてみます。
1/16 分音符程度ずらしてもいけそうなので格子の解像度を1/16に変更してから調整します。

f:id:np2LKoo:20161225004324p:plain

聞いてみます。

soundcloud.com


なかなか良くなってきた。雪の感じや寒さに心が洗われる感じで。


(14)BRE:Breathiness「息っぽさ」だとかいてあってとっても期待したのだけど、ちょっとかけただけでもひどい声になったのでつかいませんでした。音域や他のパラメータとの関連もあるかもです。今回パスです。


そう。でも、前半はまだ悩み事がある感じをもったまま。


(15)BRI:Brightness「きらびやかさ」の調整をします。

いい感じに明るくしてくれます。メリハリがきいた感じになります。ループで聞きながら調整します。

f:id:np2LKoo:20161225005747p:plain

ここまででこんな感じです。

soundcloud.com


もっと、イギリスの空気の透明感を表現しよう!


(16)CLE:Clearness 「クリア感」を調整します。

こちらのほうがむしろ「息っぽさ」の調整の感じがします。値を上げるとハスキーな感じになりますが、不自然さも増していきます。不自然さを覚悟で思い切って値を上げてみました。

f:id:np2LKoo:20161225010959p:plain


いいよ。口やノドは大きく開けて歌えてるけど、少しメリハリをつけようか。


(17)OPE:Opening 「口のあけかた」標準は127全開のようです。
少しこもった感じにしたい部分、冠詞やisを64にしてみました。

f:id:np2LKoo:20161225012052p:plain

バランスがとれて全体として少しだけ自然な感じになりました。(エフェクトノイズは違和感ありまくりですが。。。)

soundcloud.com


じゃあ、私の好みでもう少しアニメっぽく歌って。あ そんなに、にらまないで!


(18)GEN:Gender Factor「歌声のフォルマント構造」を変えるようです。

あまり極端だとすごく不自然になりますが、一定の範囲では性別というよりは年齢をかえられる感じです。アニメチックにしてしまいました。

f:id:np2LKoo:20161225012737p:plain


いいよ、すごくよくなってきた。雪が風に流れる感じをもっと出そう。


(19)POR:Portamento Timing[ポルタメントのタイミング]を調整します。
ing の部分をもうすこしだけなめらかにポルタメントします。

f:id:np2LKoo:20161225013342p:plain

ピッチベンドは今回不要なので、パスします。(ピッチベンドのセンシティビティも同様にパス)
これでパラメータを一巡しましたので、聞いてみます。

soundcloud.com


いい歌が録れたよ。えっ?...ああ。...CDがでるかはアニメのプロモーション次第だから。...いやぁ、実写のPVはあなた無理でしょ。......あ、泣かないで!(汗)


感想

まだ、「いい感じ」には程遠いです。(18)のフォルマントはやりすぎた(サウンドA007)ので、(17)まで(サウンドA006)のほうがまともですね。いいと思ってやったけど改悪になるのはよくあることですw。
少し大げさに調整しているので、とっても不自然ですが、これを自然な感じで、自分の好みにしていく試行錯誤になるのかなと思います。
あと、パラメータをかえると画像でいうところの「ブロックノイズ」みたいな量子化ノイズがとてもきになり、自然な感じからはほどとおいです。
この部分がいたしかたないとはいえ、とても気になります。

「初音ミク」のファーストタッチの感触としては、
機能的には末尾子音の調整機構、子音の個別ベロシティ、シャウト系の機能、
うなり系、がなり系の機能あればなぁ。(V4にはグロール機能とかあるようですが)
と感じました。このあたりの不満足点を、どう既存の機能をつかって補っていくか、がノウハウになるのかなぁ。と感じました。

また、先にくる子音によって自動的に母音が明るい音になったり暗い音になったりするのは、逆にとても扱いにくい感じでした。(Loveの母音は何故にあんなに暗いこもった母音になるのかなぁ。。。)
操作性は初心者の私でも非常にうまく操作できたので、とてもよいと思います。

本編と関係ないですが、6/4 の前に4/4の導入拍子をいれてますが、とても違和感があります。導入も6/4拍子にすべきでした。

なお、V4版の発音がとてもよくなっている!という噂がありますので、とても気になります。

とても充実したクリスマス・イブでした

がんばってこのブロクを書いていました。ここ最近では一番の充実した1日でした。

(追記)残念ながら(その1)はこの記事とコンフリクト(競合)したようで、両方とも検索は圏外となりました。 ペンギンさんよろしくお願いしますよ!

 

(かなり後に追記)

このページをよく参照いただけるようですが、サンプルがマニアックすぎるので、もうすこし普通の英語の歌(アカペラ)を貼ります。

ほぼ同じ時期につくってみたものです(お試し版V3です)。母音の発音の正しさと連続音の発声タイミング、子音の処理(そのままだと大きすぎる)がポイントだと思いました。下の例ではかなり調整してはいるのですが、まだまだ子音が強すぎますね。声質はどちらかというとリアルに寄せる派なので、少数派になると思います。

 

天使の歌声の研究(その1)初音ミク(英語お試し版)を使ってみました

はじめに

クーの助手ですが、クーが冬眠中なのでお気楽な「井戸中 聖(いとなか あきら)」です。

初音ミクの試用版・体験版の英語 / ENGLISH版をダウンロードしてやってみました。

f:id:np2LKoo:20161224032841p:plain

PPAP! = Please let me Produce Angel's-Phonic ! project

英語版の体験版はV3のものしかありませんでしたが、
そちらのグラフィックは苦手なので、こちら(V4)をはります。
マジでほしくなりました。

おおまかな内容

12/23にお試し版をダウンロードして入力してみました。2週間がんばります。

お試し版・体験版はV3ですので、V3での内容になります。基本的なところはV4と同じと思っています。

目的・実施内容・結果

初音ミクの声と、目指したい声を比較して張りたかったのですが、さすがにオリジナルはNGなので、初音ミクOnlyとコーラスだけうすーくミックスしたものを置きます。

オリジナルの声は、もしも興味があれば是非CDを探して(もしくはダウンロードして)聞いてみてください。

考察

特定の人物の姿、形、声に似せること

歌い方やお化粧、発声方法、しぐさ、ファッションをまねることは問題ないが、その人の権利に抵触しそうなものはNGだと思われます。なので、PPAPプロジェクトのAPは「Angel's-Phonic」(造語:天使の歌声的ななにか)とします。(心の中ではAP≒Amanda Parsons。でもAnnie HaslamもKaren Carpenterも研究します。でも今後個人名はだしません。 )

初音ミクを入力として出力を「Angel's-Phonic」に変換した作品を公開すること

過去の運用より、エフェクターやボコーダのたぐいであれば問題なしとみなされる見解が多いので、[PPAP!]プロジェクトは問題ないと思われます。スペクトグラムやフォルマントを変更するものなので、ボコーダ扱いでよいと思われます。

PPAPのソフトウェアを公開すること(できたとして)

高度な音声モーフィングが可能であれば、いろいろ問題があるのでソフトの公開は控えるべきと考えます。例えば人工知能は公開していいが、特定個人の知能複製(アインシュタインと同じ知能など)は公開しないほうが賢明であると考えられます。

コアとなるアルゴリズムであれば公開は問題ないと思われます。(できる気でいるから書いていますが、できないこともあるでしょう)

経過報告

初音ミクが歌ってみました。

ダウンロード1日目で、いままで触ったことがないので、だめだめなのはご容赦ください。雰囲気だけ感じてもらえればと。なお、いずれも最初の数秒は無音ですのでご注意ください。

soundcloud.com

該当曲はコーラスは主要3パートあり、オーバダビングで一部重ねている感じなので3声以上ある部分がある気がします。そのうちの1パートを歌いました。

3人の声がとても似ているので、特定の人のトラッキングになっていないかもしれません。また、明かに間違っている音がいくつかありますが、「お試しで作ってみた」だけなので気にしません。(本当はがんばってもできない)

また、もともと歌詞(Lyric)と歌があっていないところがあり、しかも3パートバラバラな歌詞を歌うところがいくつもあるので聞き取れません。むりやり単語を入れたので歌詞とってもいい加減です。特に中盤は何語かすらもわかりません。

なお、2(ベース、フルート入り)のほか1(初音ミクのみバージョン)をアップするつもりでしたが、保存に失敗(というかミク側での保存を忘れた)して全部 La La La ♪になってしまったので貼れません。あ、まだ使っていないパラメータがたくさんある!もっとハスキーにしたりできるんだ~。もう一度いれなおそうかなぁ。(つづくかも)

 

下は極薄ミックス版です。とってもグレーな感じがします。

soundcloud.com

まとめ

初音ミクはとってもよくできたソフトだと思いました。

いいところ

英語の発音記号を入力する感じだとおもっていたら、英語を入れたらそのまま発音変換してくれて歌ってくれます。
また、長さなどから音節で自動的に割り当てをしてくれます(たまに意図通りになりませんが、音節の切り方はとても自然です。)
関心しました。

難しいところ


音程によっては歌の感じがまったく異なります。
高かったり、低かったりすると途端に不自然になりました。
このあたりを自然にするのがノウハウなのだと思いました。

おとなにもサンタがこないかなぁ

朝おきると枕元には、初音ミクがいて歌ってくれて。。。あ、ねぼけました。携帯のyoutubeどした。

新プロジェクト「PPAP」始動!

はじめに

クーの助手の「井戸中 聖(いとなか あきら)」でございます。

f:id:np2LKoo:20161220222338j:plain

今月は1つ記事を書いたので、わたくしのノルマは達成したのですが、それだけではわたくしの「聖めの館」コーナーの存在意義があまりにもないので、長い目でみて書いていけるテーマを考えます。

f:id:np2LKoo:20161220223254p:plain

おおまかな内容

クーは音楽やサウンドをやるといっておきながら、なかなか本実験をしないので、補助をするため音楽関係のことを書こうと思います。わたくし単独での「実験」は、当ブログのレギュレーションで禁じ手となっておりますので「実験ではない:『研究』」をしていきます。

お題

なにかを継続したり、達成できるかどうかは「能力」や「知性」「スキル」ではなく『思い』であると日頃から感じています。私がもっともこだわった音楽といえば、学生のときにFMで聞いた今回の曲になります。

アーティストも曲名もわからず、15年くらいずっと探しておりましたが、30歳すこし前くらいに偶然に見つけました。大人買い(棚からひとつかみ)で買ったうちCDの5曲目でしたが、イントロが流れたときは雄たけびをあげ半狂乱に喜びました。「Hatfield and the North」(1973:1st Album)

f:id:np2LKoo:20161220215751j:plain

の5曲目の「Son of "There's no place like homerton"」です。

人によっては、なんてことない曲かもしれませんが、わたくしのこの曲への思い入れはハンパないです。この曲、もしくはコーラスについて研究をします。

題して「Please let me Produce Amanda Parsons !」Project (プロデュースさせて!アマンダ パーソンズ様)略して「!」プロジェクトです!(あえて和声和製英語です。人をプロデュースするのはおかあさんと神です。)

クーが3日で詰んだ「Please teach me Ellen!」 Projectを彷彿とさせますが、10年は継続してみせます。曲を探していた15年から比べれば短いものです。

あくまで本編と関係ない、きわめてプライベートなお題です。対象読者は自分です。

説明

「Amanda Parsons」という女性ボーカリストは1970~198x(あるいはそれ以降)くらいに、いろいろなアルバム/アーティストのゲスト・コーラス・ボーカリストとして活躍しています。

いわゆるイギリスの「プログレッシブロック」もっと絞れば主に「カンタベリー系」のアルバムに参加しています。

「Hatfield and the North」 では「and the North」であるNorthetts(ノーセッツ:アマンダ・パーソンズとバーバラ・ガスキン、アン・ローゼンタールの3人の歌姫)としてボーカル(というよりコーラス?)をしています。

まさに「天使の歌声」の持ち主で、きっとわたくし以外にも5万人くらいは彼女の大ファンがいるはずです。どんな曲か歌かはCDなどを探してご確認ください。マニアックであることは否定しません。

声質からだと思いますが、歌ものでメインのボーカルをとるタイプではなく、残念ながらそのような曲はありません。あ、「National Health」の「Tenemos Roads」はメインボーカルといえるか。
(同じNorthettsコーラス隊のバーバラ・ガスキンはメインボーカル向きの通る声で、のちに作品もたくさんあります。)

「Hatfield and the North」は2枚のアルバムをだしたあと解散していますが、何度か(一時的に)再結成しており、2005年には来日しています。(もちろん行きましたとも。昨日のことのようですが、もう10年以上もたったのですね。Pip Pyleのドラムが最高でした。)Northettsの誰かがコンサートでサプライズ出演することを夢見ていましたが、夢におわりました。

「Hatfield and the North」や「Amanda Parsons」にはそれくらい入れ込んでいるので、お題としてはこのうえないです。

目的・実施内容

先日「タルカス(初音ミク:ボーカル)」を初めて聞き、衝撃を受けました。

「ここまでできるのであれば、若かりし日にあこがれたあの歌声で好きな歌を歌ってもらえるのではないか?」と思った次第です。
最近ではボーカロイドのいろいろなバージョンがあり、新しい声質のバリエーションもでていますが、残念ながらわたくしの好きなボーカリストは個性が強すぎて、そのままでは似せようがありません。
そこで、エフェクターではなく、音声モーフィングなどの技術で特定のアーチストの声に「似せる」「サウンド研究」をしていこうと思いました。(クーへ:くどいですが実験ではないですよ)
もしかしたらクーの実験とまるかぶりですが、クーは「音楽をめざす」としながらも「機械学習」を主体に考えていそうです。
わたくしは「アマンダ・パーソンズ」の(疑似的ではあれ)「プロデューサー」になったり「研究」ができるのであれば、実現方法は全く問いません。

まとめ

  • 「アマンダ・パーソンズ」の声の秘密・サウンドを研究します。
  • ボーカロイド初音ミクなど?)の声を「アマンダ・パーソンズ」の声にモーフィングする研究をします。
  • できればボカロの歌を入力すれば、またはマイクで歌えば「アマンダ・パーソンズ」の声の歌にするアルゴリズムを開発します。(「うまく行き過ぎたら」汎用性を持つので、(いろんな権利や保護された事項に抵触するので)公開できないと思います。10年のうちにはかなりいい線いかせるつもりではいます。)

    「Hatfield and the North」の音楽についても研究したいです。
飛んでいるものは落ちる。ソフトは肝心なときに落ちる。

落ちさえしなければ、おまけでついてきたSONAR X1 LE で十分なのだけど(5年前のソフトだけどこれで十分。わたくしの環境では、落ちすぎでまったく実用性はないですけど。いちばん相性のよさそうな Windows7 32Bitでも落ちる、落ちる。今回のために箱の下にうずもれていたのを発掘して、Win7VM(これも今回いれた)にインストール)それでも10分毎に落ちれば、さすがにわたくしでも切れます。「お前はオス●●イか?」今はこれで「Son of "There's no place like homerton"」の音を拾っています。(今回Librosaは使わず耳コピーしています。)準備ができたら、ボーカロイドのソフトの、「お試し期間の2週間のうちにできること」を試したいです。