Virtual studio on your desktop!
M-Design Virtual Studioは3DCG主体のバーチャルスタジオです。Epic UnrealEngineを使いフォトリアリスティックな本格的バーチャルスタジオを実現。グリーンバックやトラッキングシステムなどのVR専用スタジオを必要としないためPCが置ける程度の卓上スペースでスタジオ運用ができます。出演しながらシステムのオペレーションが可能な構成のため一般の番組制作はもちろんVTuberやビデオ会議セミナー、企業や教育用ビデオ制作など幅広い用途に対応します。バーチャルカメラの切り替え、映像のライブ入出力、タイトルや静止画のコントロール、シナリオシーケンスの再生、外部サーバーからの情報取得など1台のワークステーションにバーチャルスタジオ製作に必要な機能が集約されており別途機材を用意する必要がありません。
Real CG avatar
出演者はデジタルヒューマンであるMetaHumanを使いリアルな造形のキャラクターで表現。iPhoneのカメラで捉えたあなたの表情をリアルタイムにCGキャラクターでも同じように映すことができます。2次元アニメ調キャラクターでは難しい微細な表情で動かすことが可能です。別途トラッキングシステムやジェスチャーコントローラーで体の動きをコントロールできますし、あらかじめ決められたモーションデータをキャラクターに当てはめることも可能です。
CGキャラクターはユーザーがMetaHuman Creatorを使って作成することができますし、フォトグラメトリ撮影を使って実物の造形からキャラクターを作ることもできます。
Anime style CG avatar New!
リアル造形のキャラクターに加えてアニメ調のキャラクターを使うことが可能になりました。VRM形式のキャラクターファイルがインポートすることが可能です。前項のMetaHumanと同じく表情をリアルタイムにCGキャラクターへ反映させたりトラッキングシステムやジェスチャーコントローラーで同じように動かせます。リアル系でもアニメスタイルでもコンテンツの内容に沿ったキャラクターを選択することができます。
CGキャラクターはユーザーが3DCGソフトウェアやアニメ調キャラクター生成ソフトウェアで作り出すことができます。
Live production control
操作画面は放送用プロダクションスイッチャーライクなデザインをしており、カメラの切り替えやテロップ操作はもちろんのことバーチャルセット内にあるディスプレイウォールに外部からのライブ動画やパワーポイントなどのスライド静止画を表示させコントロールすることができます。またバーチャルスタジオ用として番組のシナリオに沿ったシーケンスを走らせたりピンポイントでスタジオセットにアクションを加えることができる機能を用意しています。オプションのトラッカーシステムやレンズコントローラーを使うことによってバーチャルカメラを現実のカメラと同じように使うことができます。
In/Out media streams and controls
システムは様々な映像・音声の入出力や外部コントロールに対応しています。特に放送用IPプロトコルであるNewtekNDI® の入出力が可能でキャプチャカードを用意することなくPC内蔵のネットワークインターフェースを使ってNDI対応カメラや他社システムと繋ぐことができます。また外部制御としてRS232シリアル通信が可能でオプションのハードウェアによりバーチャルカメラやキャラクターのコントロールが可能になります。さらにRestAPIによる外部Webサービスとの連携や同時録画、ストリーミング出力が可能となっており様々なインテグレーションが期待できます。
Built-In media recording and streaming
M-Design Virtual Studio には同時録画やメディアストリーミングの機能が備わっています。事前に設定しておけばスタート/ストップをGUI上のボタンで操作することが可能です。録画のフォーマットはMP4、AVI、QuickTimeなどに対応。ストリーミングメディアはYoutubeなどに使われるRTMPや放送用ストリーミングフォーマットであるSRT(Secure Reliable Transport）に対応しています。専用の機材を用意することなくダイレクトにストリーミング配信、番組録画が可能です。
Connect to web service infomation
映像音声だけでなく外部のウェブサービスから情報を取り入れてバーチャルスタジオに反映させることも可能です。システムにはRestAPI機能が備わっておりそれを利用してHTTP通信を介し情報サービスを提供するサーバーにアクセスが可能です。例えばお天気や株価情報などを外部サーバーから取り込みティッカー（画面で左右に流れる情報テロップ）表示させたり、現在の天気を取得してスタジオセットから見える外の天気を合わせたりすることができます。こうすることでバーチャルの世界に現実世界の情報を取り込みことが可能になります。
Integration with other systems
M-Design Virtual Studioはスタンドアロンだけの使用だけではなく積極的に他社システムとの連携を目指しています。NewtekNDI®によるTriCasterやvMIXなどのスイッチャーとの映像音声送受信といった放送用システムとの統合をしてより高度な番組製作をすることができます。またMicrosoft TeamsやZoom、OBSとのビデオ会議や配信ソフトウェアとのインテグレーションが可能なためTeamsやzoomからの出演者をバーチャルスタジオに取り込んだり、またその逆で表現力の高いバーチャルスタジオの映像をビデオ会議参加者に伝えることができます。今までご使用のシステムに追加することができれば多少のコストで全く違うコミュニケーションが実現できます。
Further information
M-Design Virtual Studioは機能を日々アップデートしており、その関連情報はブログやYoutubeにて公開しております。
Blog
ジェスチャーコントローラーを無線化 -Bluetooth LE- してみた 2024年 7月17日
以前製作したジェスチャーコントローラーが有線接続で絶望的に使いづらかったので無線化（BLE)してみました。結局のところイチから作り直したわけですが製作のハイライトは基板設計ではなくコード設計でもなくケースの加工でした。家内制手工業によるデバイス製作です。
アニメ調3Dアバターを使ってバーチャルスタジオ 2023年 11月14日
流行りのアニメスタイルのキャラクターを使い、バーチャルスタジオ内で演技してみました。特にバ美肉というおじさんが美少女キャラに扮するという中々なことをしています。技術解説とはいえボイスチェンジャーまで使って、、いやはや大変です、、
プアマンズジェスチャーコントローラーを作る 2023年 8月14日
アバターにちょっとした合いの手ジェスチャーを加えたいと思っていたところ、わざわざトラッキングシステムを使うまでもないし割と動きもガタガタでみっともないしで簡単なデバイスでジェスチャーコントローラーを作りました。ちょっとしたアナログっぽい入力のやり方を採用。
トラッカーとレンズコントローラーを使ってバーチャルカメラを操作する 2023年 4月12日
固定の仮想カメラのスイッチングだけでは物足りないということで実物のカメラと同じような位置や傾きの操作、ズームやフォーカスなどのレンズコントロールの操作が出来るようにしました。トラッカーで位置/傾き情報を取得、他のカメラ用に開発したレンズコントローラーを流用しています。
MetaHumanを使ってバーチャルスタジオを作る 2023年 1月11日
まだまだ大勢の人がスタジオに集まるのが難しい時期だった頃に3Dアバター主体のバーチャルスタジオがあってもいいのでは？として開発がスタート。複数の仮想カメラのスイッチング、テロップ操作、NDI入出力などから始めて、デスクトップバーチャルスタジオのコンセプトが出来たのはこの頃です。
MetaHumanを使ってVTuber、Zoom、Teamsをやってみる 2022年 8月2日
コロナ禍の真っ最中にリモート会議でいつものお互い見知った顔を見るのも飽き飽きしていたのでアバターを使っての会議システムを構築。MetaHumanのリアルな造形キャラクターなら説得力もありそうです。コロナが落ち着いても普通にこのキャラでリモート会議しています。
NewtekNDI®とUnrealEngineでAR/VRを作ってみた 2021年 12月26日
各社バーチャルスタジオシステムのエンジンにUnrealEngineが採用され始めた頃、それなら最初からUnrealEngineで作ればいいのでは？として自分も設計に携わったNewtekNDIカメラと組み合わせてAR/VRをUnrealEngineでやってみました。InterBEE2021でブース展示。