【UE5】アニメ調3Dアバターを使ってバーチャルスタジオ【バ美肉】

2023年11月14日2023年11月22日 M-Design Editor

　ついに手を出したというか流行りのものに乗っかってみました。これまではリアルな造形のキャラクターで表現していましたが今回はアニメ調のキャラクターを使って今までと同じように動かすことをやってみました。キャラクターを作る、UnrealEngineに取り込むといったことはそんなに難しくありません。しかしバーチャル美少女受肉おじさん（通称バ美肉）を実現するためにボイスチェンジャーを使い女性のような話し方をするのですが、これがかなり難しいことがわかります。映像ではリアル系キャラクターとアニメ調のキャラクターを比較してどういった印象の違いになるかも載せてあります。バ美肉の前にバーチャルおじさんなので内容がちょっとカオスになっています。

アニメ調キャラクターをUnrealEngine上で動かす

　アニメスタイルのキャラクターを使った配信は黎明期には一部のマニア向けといった感じでしたが昨今では若い人たちにとってはかなり一般的になってきたような気がします。若い方はアニメに接する機会が昔に比べて圧倒的に多く、アニメが好きと公言することに何の引っかかりもありません。アニメスタイルのキャラクターはリアル系造形のキャラクターに比べて抽象的なので好き嫌いがそんなに発生しないのもマーケティングの観点からメリットの一つと捉えることができそうです。またリアルな造形のキャラクターよりもデータが軽いためスマートフォンやタブレットで扱うことができます。様々なプラットフォームに展開していけるのもユーザー数を増やすことに繋がります。アニメ調のキャラクターをゲームエンジンで動かす場合は正直言ってUnityを使うことが多いのですが。このM-Design Virtual StudioのベースエンジンであるUnrealEngineでどう取り扱っていくかを簡単に説明していきます。
　ちなみにエム・デザインは流行りのものにすぐ乗っかるというポリシーで運営しております。

アニメ調キャラクターを用意する

　まずはともあれキャラクターを用意することが始まります。MayaやBlenderなどの3DCGソフトで一から作ることもできますが、なんと無料で3Dアニメ調キャラクターが作成できるソフトが存在します。

VRoid Studio
外部リンクへ

　VRoid Studio ソフトウェアは基本的に用意されたパーツを選んでいき細部を調整するだけでアニメ調キャラクターデータを作り上げることができます。インターフェースもよくできていてマニュアルを読み込まなくても直感的に操作することができると思います。さらに作成したキャラクターに対して著作権情報や使用許諾範囲などのライセンス情報も盛り込むことが可能です。作ったデータはこのようなアニメ調3DCGで使われるVRMフォーマットで書き出すことができます。
　一年くらい前にリアル造形のMetaHumanとの比較ということで作ったまま放っておいたキャラデータを使うことにしました。

実に1年ぶりにソフトを立ち上げました。キャラ設定も当時のものそのまま使います。

キャラクターをUnrealEngineにインポートする

　作ったデータをunrealEngineに取り込むわけですが、UnrealEngineはVRM形式のインポートに標準で対応しておらずプラグインが別途必要になります。

VRM4U
外部リンクへ

　このプラグインをUnrealEngineにインストールしておけばVRMファイルをほかのファイル同様に取り込めることができます。VRMファイルからUnrealEngineで使う各種データ（スケルタルメッシュとかリグ、マテリアルなど）に変換されるので後は普通にキャラクターを動かすのと同様に設定することが可能です。さらにVRM4Uではアニメ調キャラを使うための様々な設定が追加されます。
　MToon　キャラクターの輪郭線（アウトライン）や影の表現、色調の調整など
　SpringBone　主に髪の毛を揺らす。揺らす部位や揺れ方の調整。アニメーションBP向けのノードが追加される。

実際にキャラクターをレベル上に置いた状態で調整ができます。

オンラインマニュアルが充実してますのでその内容に沿っていけばキャラクターの取り込みや調整はその通り実現できます。LiveLinkFaceでiPhoneからの表情データをリアルタイムにキャラクターに反映させることもできますしアニメーションデータのリターゲットやフルボディトラッキングセンサーを使ってキャラクターを動かすといった応用が可能になります。（ちょっとうまくいかなかったところや表現的に足りないところはこちらで調整しています。）

ボイスチェンジャーの導入

　バ美肉を実現するためにかなり重要なパートになります。ボイスチェンジャーはハードウェア/ソフトウェア含めて多種多様にあるのですが重要なところは自分の声質に合っているかどうかというところです。単に声が変わるのとキャラクターが想定している声に変わるというのは全くの別ものです。ボイスチェンジャーは調整できる幅やアルゴリズムが違ったりしますので自分に合うかどうかいろいろ試してみるべきだと思います。また他にも選定とする条件として、
　・遅延が少ないものが望ましい（変換後音声のモニタリングやリップシンクに関わる）
　・動作が重くないもの（特にGPUを使うものはUnrealEngineの動作に関わる）
というのがあります。
映像・音響システムで映像の方が処理で遅れるので音声をそれに合わせて遅らせるというのはよくあることです。逆となると面倒な話となり、できなくはないと言ったレベルであってなるべくなら音声遅延の少ないボイスチェンジャーを使う方がベストです。また高度な処理を行うものに関してはGPU演算を使用するものがあります。GPU処理はUnrealEngineの映像処理に全振りしたいところですのでなるべく軽い動作のものを選択すべきかと思います。まずは音声遅延の少ない軽い動作のボイスチェンジャーの例としては次のようなものがあります。

Gachikoe! Core
外部リンクへ

簡単なインターフェースでボイスチェンジ

　ピッチ（声の高さ）とフォルマント（声質に関係）を調整するだけで済み、リアルタイムで動作するものです。簡単にボイスチェンジはできますが、バ美肉など性別をまたがる発声ではこの系統のボイスチェンジャーだけでは追いつかないとわかります。男性→女性の発声でわざと語尾を伸ばすことをしますがこれは女性っぽい話し方を狙っているのではなく、そうしないと声帯が震えすぎて一気におじさんが頑張っているとバレてしまうのでそうしています。普段より高いトーン、声帯の震えを普段より抑えるといったことが必要になると今回気づきました。そのためにバ美肉VTuberによってはボイストレーニングを受けているといった涙ぐましい努力をなされている方もそこそこいるようです。私にとってはこの方式ではちょっと合わなかったようです。
　A.I.を使ったボイスチェンジャーでは上記のような努力をしなくてもいい感じの声に変換してくれますがどうしても遅延が発生してしまいます。リアルタイムと謳っていますが映像音声を仕事としている側からするとそれはリアルタイムではないよね？という感じです。また音声のモデルによっては日本語発音をうまく認識してくれないものがある気がします。学習モデルが英語環境なのかもしれません。今回のボイスチェンジには以下のソフトを使いました。遅延が発生するパートは後編集で調整しています。

MagicMic
外部リンクへ

　A.I.を使ったボイスチェンジャーは日進月歩で遅延の少ないものが色々と開発されているようですので今後に期待したいところです。今回は音声変換にパワーが取られてしまっているようでキャラクターの動きが少しカクカクしてしまうところがありました。（VRAMが足りない、、）さらに高価なGPUを手に入れるか音声処理は別PCに任せるといったことも考えないといけないようです。

コンテンツ内容や視聴者対象によってキャラクターを変えていく

　ということでアニメ調のキャラクターをバーチャルスタジオ内で使ってみました。今話題のバ美肉をやってしまいましたが何も無理してやることはなく普通にキャラクターにあった声の人に出てもらうのが妥当ですね。にしても女性キャラクターで演技をしていて肩に引っかかった髪を首振りをして元に戻すといったことができるのはかなり新鮮な感じがしました。ボイスチェンジとともに違う性別になりきる方がそれなりにいるというのもわかる気がします。またアニメスタイルのキャラクターができるということは美少女キャラでなくともゆるキャラのようなものを登場させることもできるということにもなります。リアル造形のキャラクターでないと説得力が出ないということであれば当然それを使うことになるでしょう。つまりコンテンツ内容や視聴者の対象によってどんなスタイルのキャラクターが合わせられるかということが重要で、その選択肢が増えるということは対応できる視聴者のカテゴリーが増えるということにつながります。しかも異なる種類のキャラクターもコンボで使えるので表現力が高まります。

過去2回くらい使ってほったらかしのキャラ

　何も美少女キャラとか美人お姉さんキャラだけでは面白くないですよね？上記のキャラは使った当時は運用的に複数の声色を変えるということはしなかったので、あえて言葉を発しない人という位置付けにしましたがオバちゃん風にボイスチェンジして使いたいところです。イメージ的には田中眞紀子が希望です。声をオバちゃんに変えるという機能を持つボイスチェンジャーって無いんですよね。需要がないのかな？
　合いの手のような身振り手振りはジェスチャーコントローラーで制御しています。