Newtek NDI®とUnreal EngineでAR/VR を作ってみた

 InterBEE 2021 (国際放送機器展)にCIS社の新製品Newtek NDI® 対応の4K60PカメラVCC-4KNDI、DCC-4KNDIを展示しました。カメラの展示というと何か撮って終わりというのが普通ですがそれでは芸がないのと、カメラには新機能があるのでそれを使ったアプリケーション展示の一例として簡単なバーチャルリアリティシステムを作ってみました。本当はグリーンバック使って合成したかったのですがブースの関係上そんなスペースも取れないのでARとして仕立ててみました。
 ブースにその辺の説明を提示していなかった私が悪いのですが、極小スペースでそんなことやっていると来場者に気づかれずカメラ見てもLANケーブル1本しか出てないのでどうやっているのかわからない、そもそもNewtek NDI®って何ですか?という質問が多くなかなかシステムの説明までは辿り着けなかったというのが実状でした。反省を踏まえどうやってAR/VRシステムを作ったかをここで公開いたします。


■ バーチャルスタジオの基本構造
 まず初めにテレビでよく見るバーチャルスタジオってどんな構造で作られているかを説明します。バーチャルリアリティの名のとおり現実空間と仮想空間を用意します。仮想空間を用意するというのはCGの空間ってことです。現実空間には実際にカメラを設置するのですが仮想空間にも同じ位置に仮想のカメラを設置します。この2つのカメラは全く同じスペックにする必要があります。スペックとはつまりイメージセンサーのサイズ、レンズの画角、焦点距離などです。これで両方のカメラで写したスケールが一致することになります。次に現実空間にあるカメラの位置や傾きを検出するトラッカーと呼ばれるものを使って同じ動きを仮想空間にあるカメラにシンクロさせます。最後に現実空間と仮想空間を合成して出来上がりです。
カメラを動かせば合成されたCGも同じように動いてテレビでよく見るようなバーチャルスタジオになります。あとはレンズのズームやフォーカスと連動してCGも動けばよりリアルに見えることになります。

AR-VR structure

■ バーチャルリアリティの構築にUnreal Engineを使う
 こんなシステムの構築に何を使う?お高いんでしょ?と思いがちですがうってつけのプラットフォームが存在します。ゲームエンジンと呼ばれるEpic社のUnreal Engineというものです。

Unreal Engine Logo

Epic Unreal Engine

外部リンクへ


 ゲームエンジンとはその名の通りゲームを作るためのソフトウェアツールです。現在では実写かと見間違えるような描写がガンガン動くゲームがたくさんありますがそういったものもUnreal Engineのようなゲームエンジンで作られています。ハイフレームレートでリアルタイムに映像が動いてしまうのと最近ではレイトレーシングなど高品質な画像を実現する機能も盛り込まれているためゲーム業界だけでなく映像製作や建築シミュレーションなど他分野でも使われるようになっています。(最近だとインカメラVFXなんか注目されてますね。)いくつかのバーチャルスタジオシステムでは内部のエンジンにUnreal Engineが組み込まれていたりします。

 というわけで、
 ・映像の入出力
 ・バーチャル空間(CG空間)の作成
 ・仮想カメラのコントロール
 ・実カメラのレンズ情報を取得
 ・実カメラの傾き、位置を取得
 ・合成(必要ならクロマキーなどの処理)
 以上をUnreal Engineでまかないます。ってほとんどコレで作るような感じです。Unreal Engineにはプラグインという形で機能拡張できるようになっており、サードパーティ製の製品に対応させたり新しい機能を追加ということができる仕組みになっています。ちなみにUnreal Engineの個人利用は無償で、サポートを受けたいとか成果物を販売するようなときに何%かEpic社に支払う仕組みになっています。Unreal Engineの対抗馬であるUnity Technologies社のUnityも同じような感じです。

 実際の動作環境は
CPU : Intel Core i7-5960X 3GHz
RAM : 32GB
GPU : NVIDIA Geforce 3080Ti 12GB
OS : Windows 10 Pro
Network : 1GB Ethernet(オンボード)
Unreal Engine : Ver 4.27
かなりへなちょこな構成です。CPUなんか数世代前です。マザーボードごと変えたい気分です。Unreal EngineはGPUを主に使うためグラフィクスボードだけは最新の強力なものを使います。とはいえ今回のプロジェクトはCPU20%くらい、GPU30%くらいの使用率でした。この辺りはプロジェクトの複雑さによって変わってきます。

■ 入力のカメラとしてNDI対応 CIS社 VCC-4KNDIを使う
 Unreal Engineには外部から映像を取り込むことができます。制作用のカメラということであればSDI対応キャプチャーカードを使うことになります。AJA社のKONAカードとかBlackMagicDesign社のDeckLinkカードが一般的でUnreal Engineにそのプラグインがあります。今回はSDIではなく放送用IPであるNewtek NDI®を使っています。これならキャプチャカードが必要なくマザーボードのオンボードにある1Gb Ethernetで十分役割を果たします。

CIS VCC-4KNDI

NDI対応 4K60P 18倍ズームレンズ搭載カメラ
CIS VCC-4KNDI, DCC-4KNDI レビュー

レビュー記事へ


 使用したNDI®カメラはCIS社のVCC-4KNDIという4K/60Pに対応したBOXカメラです。NDIカメラというとPTZカメラばかりなのですが後述のトラッカーを使うためにはBOXタイプであることが都合が良かったりします。またVR/ARにはフレームレートが高い方が良く、60P以上が扱えることが重要です。NDIカメラにはNDI|HXというLong-GOPのコーデックを採用しているものがほとんどですがこのカメラはFull NDIを採用して高画質、低遅延を実現しています。VR/ARで使うことを考えるとシステム的に低遅延であることが望ましく、グリーンバックを使ってキーイングが必要な時には高画質であることが要件となります。Unreal Engineからも制御しやすい機能がカメラに備わっている上、PoEにも対応のため映像、制御、電源がLANケーブル一本で済ますことができます。

Newtek NDI® Logo

NDI SDK for Unreal Engine

外部リンクへ


 NDI®をUnreal Engineで使うにはプラグインがNewtek社から提供されているのでそれをインストールします。現在のところUnreal Engineへの対応バージョンが4.25と4.26なのですが4.27で使おうとしてコンパイルが走ったので問題はなさそうと勝手に思ってます。VR/ARのソースとして使えるようにコードを書いていきます。Unreal EngineにはBlueprintというコードを視覚的に書いていく機能(実際には各機能のノードを繋いでいく)がありプログラマーでなくても作れるというのがウリなのですが実際にはプログラム行為そのものなのでその素養はあった方がいいと思います。Blueprintも複雑になると見にくくなるのでコードで書いた方が見やすいなぁと思うこともあります。(もちろんC++で書いていくことも可能)


 Blueprintを使ってNDIが取り込めるようコードを書いていきます。(上の左の図)NDI Unreal Engine SDKには送受信のやり方が載っていてそれを踏襲するだけなのですが受信方法がこちらのやりたいこととは違っていたのでSDK記載の関数表を見ながらこうなんじゃないの?という感じで書きました。ARに使うカメラが一台だけなのでIP直打ちで設定しても問題なかったのですがNDIの説明をするためにUnreal Engine実行中にメニューを出してそこからNDIソースを選べるようにしました。
 NDIではmDNS(AppleだとBonjour)を使って同一ネットワークにあるNDI機器をスキャンします。この時はまだ映像のストリームは流れていなくてお互いの機器のリンクが確定してから実ストリームを流すようになっていて無駄なネットワーク帯域を使わないような仕組みになっています。NDIソースは機器名(アプリ名)という形式になります。入力だけでなくNDI出力ができるようにしたので表示されていますがモザイクで隠れているコンピュータ名がUnreal Engine機です。これを選んでしまうと当然映像は回ることになります。VCC-4KNDI、DCC-4KNDIはカメラのほうで名前やアプリ名部分を変更することができます。

■ カメラの傾きや位置を追跡するVR用トラッカーを用意する
 AR/VRで重要なカメラの動きを検出するトラッカーの存在があります。古くはカメラ三脚のヘッドにジャイロセンサー、ローラーに回転検出装置なんてつけたり赤外線を使った光学式トラッカーなんてものがあります。だいたいはシリアル信号(RS422とか)で出てきたデータを使用するバーチャルスタジオシステムに合わせるよう変換ボックスなるものをこしらえてデータを渡すという超絶面倒かつお高くなってしまうというのが常でした。展示会で使うのにそんなコストはかけられないので安価なもので試してみました。

VIVE Tracker&BaseStation

VIVE Tracker

外部リンクへ

Valve Index Base station

外部リンクへ


 ここ数年DIYでバーチャルスタジオを作る方々にとっては定番のトラッカーが存在します。そんな人いるのか?と思うかもしれませんが世界広しです。十分いらっしゃいます。本来はヘッドセットつけてVR/ARを体験するシステムのオプション品です。BaseStationから照射された赤外線レーザーをVIVEトラッカーが受けて傾きや位置情報をBluetoothでPCへ飛ばすといったものになります。本来はヘッドマウントシスプレイ(HMD)が必要なのですがドライバソフトをハックすることにより無しでもいけます。(私もはなから買ってません)Epic社がその方法を公開しています。

  Unreal Engine LiveLinkXR
 Vive トラッカーを HMDなしで使用する
    外部リンクへ

 トラッカーとベースステーションの距離は最大5mくらいです。間に遮るものがあると計測できなくなってしまうので複数ベースステーションを置くやり方もあります。トラッカー自体はバッテリー動作し7.5時間もちます。

 カメラにトラッカーを取り付けます。Amazonで購入したリグを使ってます。PTZカメラだとこういう使い方は出来ません。内部にエンコーダーがあるPTZカメラもありますがメカなのでズレてくるのと高精度なパーツを使ってるカメラ=高価なものカメラになってしまいます。Unreal Engineではトラッカーとイメージセンサーの位置の違いを調整したり、トラッカー情報と映像入力のタイミングを合わせたりすることができます。実際のカメラの動きをUnreal Engine上の仮想カメラにリンクさせます。

■ レンズ情報をカメラからRestAPIで取得する
 カメラのレンズからズーム、フォーカス、アイリスの値を取り込みます。一般的に放送業務用レンズを使う場合キヤノンかフジノンのVR対応で400万くらいするモデルを使います。レンズにシリアル出力がありこれを使うことになります。もしくはPLレンズなどギアが付けられるものにエンコーダーをつけてシリアル出力といった感じになります。どちらにしてもカメラにごてごてケーブルなりボックスなりを付けることになります。今回使用したCIS VCC-4KNDIカメラにはシリアル経由でレンズ情報を読み出すこともできますがこのシリアル通信を別用に使いたかったのでもう一つの通信方法であるRestAPIを使いました。

RestAPI Logo

RestAPI(RestfulAPIとも言います)はhttp, httpsプロトコルを使って簡単な情報をデバイス間通信する方法です。映像ハードウェアではまだまだ使われることは少ないかもしれませんがWebサービスを構築するような業界では既に一般的です。今後映像機器がネットワークで機器が繋がるようになると必要になってくる技術です。CIS VCC-4KNDIではAPIを叩くとJSONでステータスが返ってくるようになっています。

VaRest Plugin logo

UE4 plugin VaRest

外部リンクへ


 Unreal Engine上でRestAPIを使って通信するプラグインは既に存在します。しかも無償。業界標準の機能を使えばインターフェースを一から作る必要はなくなるという好例です。これを使いBlueprint上でカメラから逐一レンズ情報を引っ張ってこれるようにします。なんならUnreal Engineからカメラのコントロールをすることも可能になります。もちろんシリアル通信を可能にさせるプラグインも存在するので繋ぐ機器によって使い分けることもできます。選択肢が多いことはいいことです。


 様々な種類のデータをやり取りしている割にはカメラとPC間のケーブルは1本のみです。(カメラは他にRS232→レンズコントローラー、ビューファインダー出力→ATOMOS SHINOBIに接続)通常バーチャルスタジオで使うカメラはそれ用だけでケーブルを数本〜十数本使ったりするのでかなりスッキリしてます。カメラをレンズコントローラーで操作してUnreal Engineから常にレンズ情報を取りにいくといった感じになります。


■ リアルタイムコンポジット(合成)
 最終的に仮想世界と現実世界を合成します。従来のバーチャルスタジオシステムではキーイングや合成を別の機器で行ったりしていたのですがUnreal Engineにはそのどちらの機能も備わっているのでそれを使うことにします。

 合成にはUnreal Engineのリアルタイムコンポジットを使用します。3種類のレイヤーが用意されていて
  ・Media Plate  入力動画レイヤー ここではNDI®入力映像
  ・CG Layer    Unreal Engineで作ったCG空間に置いたオブジェクト(アクタ)
  ・CG Matte   グリーンバックで抜けないものやスタジオの天井とか隠したいものに使ったりします。
AdobeのPhotoshopやAfterEffectsを使用している方であれば同じように理解できます。レイヤーは複数作ることができるので背景CGレイヤー、その前にグリーンバックで抜いた映像レイヤー、さらにその前にCGレイヤーを置くといった複雑な構成も可能です。


■ まとめ
 放送用バーチャルスタジオを構築しようとするとどうしても数千万〜億超えのような金額になってしまいます。よほどの覚悟がないと導入するのにかなり躊躇することでしょう。自身がスタジオ設計者なのでバーチャルスタジオの話が出てきても金額聞いて話が流れたなんてことはよくあることです。今回のような方法を使えばかなり安価に済むので小規模スタジオでの運用や将来のステップアップを見据えた第一歩として考えることもいいのかもしれません。Unreal Engineを使うのにプログラムしなければならないという手間はありますが映像業界でのUnreal Engineの普及が見込まれることが予想されるので今のうちから慣れておくといった考え方もあると思います。


■ 最後に
 展示会向けにこのコンテンツを作ったのですがもう少し時間があれば実現できたかなぁと思ったことを出してみます。

・HDR対応にしてみたかった
Unreal Engine、CIS VCC-4KNDIともにHDR(High Dynamic Range)に対応しています。HDRが使えれば画質的によりリアルになるはずです。いかにもCGといった感じではなくなるのかもしれません。ただし対応HDRの種類が違うので(Unreal EngineはPQ、CIS VCC-4KNDIはHLG)カメラからのストリームをUnreal Engineに合わせる必要があります。

・VIVEトラッカーのブレを抑えたい
この手のセンサーにはよくあることですが受け取る生データに少なからず振れ幅が生じます。結果的に仮想カメラが見るCGオブジェクトが細かく揺れてしまうことがあります。データの揺らぎを抑えるためにローパス処理は追加していたもののまた別なノイズ除去フィルタを追加する必要がありそうです。


 

NDI対応 4K60P 18倍ズームレンズ搭載カメラ CIS VCC-4KNDI, DCC-4KNDI レビュー

CIS社初のNewtek NDI® に対応した4K/60P 18倍ズームレンズを搭載したBOXカメラのレビューです。これを書いている私自身開発メンバーの一人というか開発の言い出しっぺでもあるのでカメラがどのようにして出来たかを踏まえ製品のレビューをしていきます。カメラとしては2機種あり、筐体有り版のVCC-4KNDI、組込用キットモデルであるDCC-4KNDIが存在します。

VCC/DCC-4KNDI
VCC-4KNDI(左)とDCC-4KNDI(右)

■ 放送用IP、NewtekNDI®を採用
 映像/音声を伝送する際には長らく同軸ケーブルを使ってきました。加工も簡単ですし繋げば使えるといった至極単純でわかりやすいものです。ただし最近になって4K/8Kの高解像度やハイフレームレートを扱うようになったときに同軸ケーブルが煩わしくなってきたという経緯があります。例えば4K解像度で同軸ケーブルを使うとなると3G-SDIで4本、もしくは12G-SDIでシールド膜が入ったゴツいものを使う必要があります。この12G-SDIが厄介でそんなに長く伸ばせないし曲げられないし高周波なので信号の減衰に注意などいろいろ欠点が出てきました。また最近はカメラに求められる機能も多く結果的にいろんな信号線を出す必要があり、カメラ製品自体はスッキリしてるのに出てくるケーブルがウジャウジャとなってくる場合が増えてきています。

Newtek NDI® Logo

そういった経緯もあり最近ではIPネットワークを使って映像/音声を扱うようになってきています。ストリーミング配信用ということでは以前からネットワークで映像/音声を送ることは出来ましたがここでは放送用のIP、つまり遅延が少なく品質の高いコンテンツを扱うことができる規格のことを指します。現在代表的なものにSMPTE ST 2110とNewtek NDI® が挙げられます。SMPTE(米国映画テレビ技術者協会)企画が本流だと思うものの規格に関する団体(AIMIS、AMWA、VSFなど)が非常に多くそれらに人的リソースをかけるのが難しいのと最低ネットワーク速度が10GE以上を要求するため初期費用もかかってしまいます。


そのようなこともありVCC-4KNDI、DCC-4KNDIはNewtek NDI®を採用しています。NDI®はNewtek社が提唱する放送用IPの一種で基本1GEの帯域で十分な高品質のコンテンツが送受信が出来る、SDKが無償で公開されており誰でもNDI®を使った開発が可能といった特徴があります。とっかかりとしては非常に魅力的です。(ただしSDKを使った製品を開発して販売するときには費用が発生しますがその辺は契約上のことなのでここではごにょごにょします、、)
NDI® には2種類のコーデックが存在し、一つはFull NDI®(Full bandwidth NDI® とも言います)というイントラフレーム圧縮で低遅延なものとNDI|HXというH.264/H.265 HEVC を使ったLong-GOPで多少遅延するものがあります。世に存在するほとんどのNDIカメラはNDI|HXであるのですが、VCC/DCC-4KNDIではもともとのカメラ画質性能を優先するためFull NDI® を採用しています。

■ VCC-4KNDI概要
VCC-4KNDIはSDI出力の4KカメラであるVCC-4KZMがベースとなっており、NDI以外の基本性能は同じで4K/60P(1080p/1080iにも対応)、18倍ズームレンズ、CIS社画像処理エンジンClairvu™搭載、HDR(HLG、BT.2100)対応になっています。他社のNDIカメラだとパンチルトにしているものが多いのですがBOXタイプとしてユーザーが好みのパンチルトデバイスを選択できるようにしています。 

カメラの大きさは72mm(W) 84mm(H) 125mm(D) で重量は802gです。筐体の底面には三脚留めネジが切ってあります。前面にはタリーランプがあり、TriCasterなどNewtekNDI®でコントロールできる機種であれば動作するようになっています。レンズ先端にはフィルターがつけられるようネジが切ってあります。(49mm)
 後面には放送用IPカメラとして1GEthernetのインターフェースがあります。PoE(Power on Ethernet)に対応していますので対応スイッチであればLANケーブルから給電が可能です。もちろんそういった設備が無いところでもDC電源の入力は用意しています。NDI®の出力とは別にビューファインダー用のデジタル出力があります。ATOMOS SHINOBIやBlackMagicDesignのVideoAssistなどHDMI入力を備えたモニターに繋いでモニタリングすることも可能です。(なぜHDMI出力と言わないのかはお察しください、、)このほかに3.5mmステレオミニジャックでのオーディオ入力や、旧来からのRS232Cシリアルコントロールを備えています。

 カメラの設定/コントロールはWebブラウザから行うことが可能です。VCC-4KNDIのカメラ設定で解像度フォーマット、AE項目、ホワイトバランス、ノイズリダクション、ガンマ/ダイナミックレンジ設定、6軸カラー調整、レンズコントロールなど多くの項目を網羅しています。ネットワーク設定は自身のIP設定のほかNDI識別名、グループ名、TCP/UDP/マルチキャスト設定などがあります。システム設定ではログイン認証(Basic、Digest)やファームウェアアップデート、ファクトリーリセットなどが行えます。全てのブラウザで試したわけではありませんが大体は使えると思われます。

Clairvu Logo

VCC/DCC-4KNDIにはCISの別モデルカメラと同じくオリジナル画像処理エンジン Clairvu™ を搭載して正確な色表現、高画質を実現しています。色調整の項目が多く、狙った通りの色に合わせることが出来ます。2D/3Dノイズリダクションも強力でゲインを上げることに躊躇することもなくなります。また標準のBT.709の他にBT.2100(HLG)のガンマカーブが選択できHDRにも対応しています。残念ながらNewtek社のスイッチャーTrCasterは現在のところHDRに対応しておりませんがHDRは受け側にその処理ができていればいいので途中で何もしなければNDI®でHDRを伝送するといったことは可能です。

RestAPI Logo

カメラに対しWebブラウザ、Newtek NDI®、RS232でコントロールすることが可能ですがそれに加えRestAPIに対応しました。これによりネットワークを使ってリアルタイムに高度な制御を行うことが出来ます。URLとHTTPメソッドを使ってデバイス間の情報をやり取りするというIT業界では一般的な方法のためサーバーからのコントロールやアプリ開発が格段としやすくなります。本機では設定のほかズーム位置やフォーカス位置などの情報も取得することが出来ます。(JSONで返ってきます)

CIS VCC-4KNDI、DCC-4KNDIは従来からのCIS社テクノロジーを受け継ぎつつ放送用IPであるNewtek NDI®に対応したカメラです。単純に同軸ケーブルがLANケーブルに変わったということではなく、RestAPIに対応することでカメラをよりアクティブにコントロール、ネットワークで使用ということに関してより簡単なアプローチをユーザーに提供するカメラと考えています。

※NDI® is a registered trademark of Vizrt Group

■ 関連項目

 InerBEE 2021 (国際放送機器展)
この展示会で初めてVCC-4KNDI / DCC-4KNDIを展示いたしました。

 Newtek NDI®とUnreal EngineでAR/VR を作ってみた
InterBEE 2021でVCC-4KNDIの展示で行ったUnreal EngineをつかってのARデモを解説

InterBEE 2021 国際放送機器展

2021年 11月17日〜19日に幕張メッセて2年ぶりの実展示になったInterBEE 2021 国際放送機器展に出展側として参加いたしました。コロナ禍ということもあり出展者もまだ控えているところが多く数は従来の半分以下、来場者も同様でした。ブースの広さも大手の会社でも小規模なところが多く会場も全体にコンパクトでしたが来場者の密度はさほど変わらない気もしました。オンライン展示もあるのですが提示した商品以外の話へ広がることがなく実展示会場ならではのマニアな会話交わされるのが醍醐味で、とある企業は新製品も何もないのに「出ることが重要」と出展していたりしました。まぁそうかもしれません。

InterBEE 2021 Hall7, 8

InterBEE 2021 出展物一覧

本年も株式会社ニューエックス(映像制作/放送関連機材部門 /ホール7 /7511) での展示。放送用IP機材やファイルベース製作機材を用意しました。年々同軸ケーブルを使うことが少なくなりネットワークでのシステム構築にシフトしていきますがそれら用途に合わせた機材の展示をしています。

■ CIS VCC/DCC-4KNDI 4K/60P Newtek NDI® 出力 HDR対応 18倍ズームレンズ内蔵小型POVカメラ

CIS VCC-4KNDI

CIS社初の放送用IPの一つであるNewtek NDI®に対応した4K/60P HDR対応カメラです。製品自体は出来上がっていたもののコロナで発表する場がなくInterBEE2021で初の実機展示となります。CIS社の4K/60P HDR SDI出力カメラ、VCC-4KZMをベースとしNewtekNDI®に対応させました。NDIカメラは通常NDI|HXというLong-GOP、H.264/265を使った圧縮率の高いコーデックを使うのですがVCC/DCC-4KNDIはCIS社オリジナルの画像処理エンジンClairvu™の性能を生かすため敢えてFull NDI(もしくはFull bandwidth NDI)を採用し低遅延、高画質を実現しています。NewtekのスイッチャーTriCasterから操作もできます。設定はWebブラウザからGUI操作可能でこの他にRS232でのコントロールも可能ですが今回新しい試みとしてRestAPIでのコントロールを実現しています。A/V業界ですととんと馴染みのない用語かもしれませんがIT業界ではスタンダードな通信方法です。これにより映像、音声、コントロール、電源(PoE対応)がネットワークケーブル1本で済むことになります。

NDI対応 4K60P 18倍ズームレンズ搭載カメラ CIS VCC-4KNDI, DCC-4KNDI レビュー

注:VCC-4KNDIは左図のような筐体ありのモデルで、DCC-4KNDIは組込用モデルとなっています。

展示方法としてNDIカメラの出力をモニターに出すだけというのも芸がありませんので近年映像業界で使われつつあるUnreal Engineというゲームエンジンを使いVRを仕立ててみました。本当はグリーンバック使ってスタジオっぽいことやりたかったのですがブースの関係上ARにしました。ARとVRの違いは単に実写映像とCGのレイヤーの順番が違うだけです。Unreal EngineへはNDIを取り込む機能がプラグインとしてNewtek社から提供されておりキャプチャカード無しに取り込むことができます。カメラの位置や傾きの検出にはVR用トラッカーを使用。1秒間に最大120回計測してBlutoothで情報が送られてきます。カメラのレンズ情報ですがこれは先ほど出てきたRestAPIを使って随時ズーム、フォーカス、アイリスの情報を読み出しています。(JSONで返ってきます。)これらを組み合わせてカメラの映像とCGを連動させて合成しARを実現させました。

これについても別記事で解説したいと思います。

VCC-4KNDIにリグを使ってトラッカーを設置

AR合成結果。4K60Pでリアルタイムに動作してます。


NDIを使うには適切な対応ネットワークスイッチを使うことが重要になります。NETGEAR社にはNewtekNDIに最適化したProAV対応スイッチ、M4250シリーズ/M4300シリーズがランナップされています。InterBEEのNETGEARブースで展示されていました。ちゃっかり組込用NDIカメラCIS DCC-4KNDIも一緒に展示されています。もちろん動作検証はOKです。

NETGEAR NDI対応スイッチとCIS DCC-4KNDI


■ CIS VCC-4KZM 4K/60P SDI 出力 HDR対応 18倍ズームレンズ内蔵小型POVカメラ

VCC-4KZM InterBEE2021

まだまだSDIでの運用が必要だという方にはこちらの機種がおすすめです。上記のVCC/DCC-4KNDIのベースとなったモデルです。4K/60P出力、HDR BT.2100 HLG出力、12bit A/D 12bit画像処理(Clairvu™)10bit SDI出力を備えています。詳細はブログのレビューで紹介しております。

CIS VCC-4KZM レビュー Part1
CIS VCC-4KZM レビュー Part2
CIS VCC-4KZM レビュー Part3

VCC-4KZMで撮影したデモ映像をYoutubeに載せてあります。
 VCC-4KZM HDR Test Shooting 4K/60P HLG Version


■ M-Design MD-LC100 レンズコントローラー、M-Design Tablet Controller

MD-LC100&TabletController

VCC/DCC-4KNDI、VCC/DCC-4KZMに対応したレンズコントローラーMD-LC100。アナログ操作感を重視してズーム、フォーカス、アイリスを調整できます。ズームレバーには拘っており、この手のズームスイッチは適当なのが多いのですが本製品はFUJINON製のズームレバー(放送用レンズに付いているズームレバーのそのもの)を採用しています。64段階のアクセラレーションで動作しカメラマンの腕がそのまま反映されます。そんなに要らないということであればコード書き換えもできます。
Tablet ControllerはCISカメラ VCC-4KZM、VCC-4K2、VCC-HD3などに対応したAndriodタブレットで動作するカメラコントローラーアプリです。(機種別アプリ)Android OS 7.0以上に対応。カメラとはUSB-RS232C変換ケーブルで繋ぎます。(変換ケーブルも用意してます。)上記のMD LC-100をブリッジにして繋ぐことができ、併用することも可能です。カメラ設定内容はカメラ自身に書き込む他、タブレット内、SDカードに記録ができるためマルチカメラ運用で他のカメラと設定を共有したりカメラ毎の設定をタブレットに保持しておくといったことが可能になります。展示会場ではAndriodタブレットとしてAmazonタブレット FireHD7を使いました。安いし、ソフト自体そんなにパワー要らないので、、


■ Cinedeck NDI / SRTレコーダー  Cinedeck LX

CinedeckLX InterBEE2021

Newtek NDI® やSRT (Secure Reliable Transport) に対応したマルチカメラネットワークレコーダー/プレーヤーです。最大8chのマルチカム収録が可能です。Cinedeck社の従来製品と同じく放送向けレコーダーと同じVTR感覚での運用が可能ですしRestfulAPIでのコントロールも可能なため他社のメディアサーバーと組み合わせて使うことが出来ます。
オプションでST-2110に対応したりPRORES HQ/XQ, DNXHR SB/LB, XDCAM, AVC-I / XAVC,JPEG2000へ書き出しをすることも可能になります。今後の放送IP化にあたってかなり強力なソリューションとなります。


■ Hedge Video ソフトウェアベース波形モニター  ScopeBox4

ScopeBox4

Hedge Video社のソフトウェアベースのスコープモニタ。ポストプロダクションで必要な波形やベクトル、ヒストグラム、オーディオメーターなどこれ一つで賄うことが出来ます。ScopeLink機能を使うとPremierePro, Final Cut Pro X, After Effects, Davinci Resolve, Assimilate Scratchなどの編集アプリケーションからScopeBoxにデータを送ってモニタリングできるため、編集ソフト付属の機能では物足りない場合はかなり強力なツールセットになります。価格もかなりお手頃です。

※Mac版のみの提供となります。


このほかにも国内のポスプロにじわじわ納入されているファイルリテイク編集ソフトのCinedeck cineXtoolsや様々なコーデクのファイルを高速にトランスコードするHedge Video社のEditReady、グローバルシャッターを採用した4K/60P HDRカメラ CIS VCC-4K2などを展示。ブース1コマの割には出展物盛りすぎ感もあり説明が追いつかないところもありましたが改めてご説明、ご紹介させていただきたいと思います。