Newtek NDI®とUnreal EngineでAR/VR を作ってみた

 InterBEE 2021 (国際放送機器展)にCIS社の新製品Newtek NDI® 対応の4K60PカメラVCC-4KNDI、DCC-4KNDIを展示しました。カメラの展示というと何か撮って終わりというのが普通ですがそれでは芸がないのと、カメラには新機能があるのでそれを使ったアプリケーション展示の一例として簡単なバーチャルリアリティシステムを作ってみました。本当はグリーンバック使って合成したかったのですがブースの関係上そんなスペースも取れないのでARとして仕立ててみました。
 ブースにその辺の説明を提示していなかった私が悪いのですが、極小スペースでそんなことやっていると来場者に気づかれずカメラ見てもLANケーブル1本しか出てないのでどうやっているのかわからない、そもそもNewtek NDI®って何ですか?という質問が多くなかなかシステムの説明までは辿り着けなかったというのが実状でした。反省を踏まえどうやってAR/VRシステムを作ったかをここで公開いたします。


■ バーチャルスタジオの基本構造
 まず初めにテレビでよく見るバーチャルスタジオってどんな構造で作られているかを説明します。バーチャルリアリティの名のとおり現実空間と仮想空間を用意します。仮想空間を用意するというのはCGの空間ってことです。現実空間には実際にカメラを設置するのですが仮想空間にも同じ位置に仮想のカメラを設置します。この2つのカメラは全く同じスペックにする必要があります。スペックとはつまりイメージセンサーのサイズ、レンズの画角、焦点距離などです。これで両方のカメラで写したスケールが一致することになります。次に現実空間にあるカメラの位置や傾きを検出するトラッカーと呼ばれるものを使って同じ動きを仮想空間にあるカメラにシンクロさせます。最後に現実空間と仮想空間を合成して出来上がりです。
カメラを動かせば合成されたCGも同じように動いてテレビでよく見るようなバーチャルスタジオになります。あとはレンズのズームやフォーカスと連動してCGも動けばよりリアルに見えることになります。

AR-VR structure

■ バーチャルリアリティの構築にUnreal Engineを使う
 こんなシステムの構築に何を使う?お高いんでしょ?と思いがちですがうってつけのプラットフォームが存在します。ゲームエンジンと呼ばれるEpic社のUnreal Engineというものです。

Unreal Engine Logo

Epic Unreal Engine

外部リンクへ


 ゲームエンジンとはその名の通りゲームを作るためのソフトウェアツールです。現在では実写かと見間違えるような描写がガンガン動くゲームがたくさんありますがそういったものもUnreal Engineのようなゲームエンジンで作られています。ハイフレームレートでリアルタイムに映像が動いてしまうのと最近ではレイトレーシングなど高品質な画像を実現する機能も盛り込まれているためゲーム業界だけでなく映像製作や建築シミュレーションなど他分野でも使われるようになっています。(最近だとインカメラVFXなんか注目されてますね。)いくつかのバーチャルスタジオシステムでは内部のエンジンにUnreal Engineが組み込まれていたりします。

 というわけで、
 ・映像の入出力
 ・バーチャル空間(CG空間)の作成
 ・仮想カメラのコントロール
 ・実カメラのレンズ情報を取得
 ・実カメラの傾き、位置を取得
 ・合成(必要ならクロマキーなどの処理)
 以上をUnreal Engineでまかないます。ってほとんどコレで作るような感じです。Unreal Engineにはプラグインという形で機能拡張できるようになっており、サードパーティ製の製品に対応させたり新しい機能を追加ということができる仕組みになっています。ちなみにUnreal Engineの個人利用は無償で、サポートを受けたいとか成果物を販売するようなときに何%かEpic社に支払う仕組みになっています。Unreal Engineの対抗馬であるUnity Technologies社のUnityも同じような感じです。

 実際の動作環境は
CPU : Intel Core i7-5960X 3GHz
RAM : 32GB
GPU : NVIDIA Geforce 3080Ti 12GB
OS : Windows 10 Pro
Network : 1GB Ethernet(オンボード)
Unreal Engine : Ver 4.27
かなりへなちょこな構成です。CPUなんか数世代前です。マザーボードごと変えたい気分です。Unreal EngineはGPUを主に使うためグラフィクスボードだけは最新の強力なものを使います。とはいえ今回のプロジェクトはCPU20%くらい、GPU30%くらいの使用率でした。この辺りはプロジェクトの複雑さによって変わってきます。

■ 入力のカメラとしてNDI対応 CIS社 VCC-4KNDIを使う
 Unreal Engineには外部から映像を取り込むことができます。制作用のカメラということであればSDI対応キャプチャーカードを使うことになります。AJA社のKONAカードとかBlackMagicDesign社のDeckLinkカードが一般的でUnreal Engineにそのプラグインがあります。今回はSDIではなく放送用IPであるNewtek NDI®を使っています。これならキャプチャカードが必要なくマザーボードのオンボードにある1Gb Ethernetで十分役割を果たします。

CIS VCC-4KNDI

NDI対応 4K60P 18倍ズームレンズ搭載カメラ
CIS VCC-4KNDI, DCC-4KNDI レビュー

レビュー記事へ


 使用したNDI®カメラはCIS社のVCC-4KNDIという4K/60Pに対応したBOXカメラです。NDIカメラというとPTZカメラばかりなのですが後述のトラッカーを使うためにはBOXタイプであることが都合が良かったりします。またVR/ARにはフレームレートが高い方が良く、60P以上が扱えることが重要です。NDIカメラにはNDI|HXというLong-GOPのコーデックを採用しているものがほとんどですがこのカメラはFull NDIを採用して高画質、低遅延を実現しています。VR/ARで使うことを考えるとシステム的に低遅延であることが望ましく、グリーンバックを使ってキーイングが必要な時には高画質であることが要件となります。Unreal Engineからも制御しやすい機能がカメラに備わっている上、PoEにも対応のため映像、制御、電源がLANケーブル一本で済ますことができます。

Newtek NDI® Logo

NDI SDK for Unreal Engine

外部リンクへ


 NDI®をUnreal Engineで使うにはプラグインがNewtek社から提供されているのでそれをインストールします。現在のところUnreal Engineへの対応バージョンが4.25と4.26なのですが4.27で使おうとしてコンパイルが走ったので問題はなさそうと勝手に思ってます。VR/ARのソースとして使えるようにコードを書いていきます。Unreal EngineにはBlueprintというコードを視覚的に書いていく機能(実際には各機能のノードを繋いでいく)がありプログラマーでなくても作れるというのがウリなのですが実際にはプログラム行為そのものなのでその素養はあった方がいいと思います。Blueprintも複雑になると見にくくなるのでコードで書いた方が見やすいなぁと思うこともあります。(もちろんC++で書いていくことも可能)


 Blueprintを使ってNDIが取り込めるようコードを書いていきます。(上の左の図)NDI Unreal Engine SDKには送受信のやり方が載っていてそれを踏襲するだけなのですが受信方法がこちらのやりたいこととは違っていたのでSDK記載の関数表を見ながらこうなんじゃないの?という感じで書きました。ARに使うカメラが一台だけなのでIP直打ちで設定しても問題なかったのですがNDIの説明をするためにUnreal Engine実行中にメニューを出してそこからNDIソースを選べるようにしました。
 NDIではmDNS(AppleだとBonjour)を使って同一ネットワークにあるNDI機器をスキャンします。この時はまだ映像のストリームは流れていなくてお互いの機器のリンクが確定してから実ストリームを流すようになっていて無駄なネットワーク帯域を使わないような仕組みになっています。NDIソースは機器名(アプリ名)という形式になります。入力だけでなくNDI出力ができるようにしたので表示されていますがモザイクで隠れているコンピュータ名がUnreal Engine機です。これを選んでしまうと当然映像は回ることになります。VCC-4KNDI、DCC-4KNDIはカメラのほうで名前やアプリ名部分を変更することができます。

■ カメラの傾きや位置を追跡するVR用トラッカーを用意する
 AR/VRで重要なカメラの動きを検出するトラッカーの存在があります。古くはカメラ三脚のヘッドにジャイロセンサー、ローラーに回転検出装置なんてつけたり赤外線を使った光学式トラッカーなんてものがあります。だいたいはシリアル信号(RS422とか)で出てきたデータを使用するバーチャルスタジオシステムに合わせるよう変換ボックスなるものをこしらえてデータを渡すという超絶面倒かつお高くなってしまうというのが常でした。展示会で使うのにそんなコストはかけられないので安価なもので試してみました。

VIVE Tracker&BaseStation

VIVE Tracker

外部リンクへ

Valve Index Base station

外部リンクへ


 ここ数年DIYでバーチャルスタジオを作る方々にとっては定番のトラッカーが存在します。そんな人いるのか?と思うかもしれませんが世界広しです。十分いらっしゃいます。本来はヘッドセットつけてVR/ARを体験するシステムのオプション品です。BaseStationから照射された赤外線レーザーをVIVEトラッカーが受けて傾きや位置情報をBluetoothでPCへ飛ばすといったものになります。本来はヘッドマウントシスプレイ(HMD)が必要なのですがドライバソフトをハックすることにより無しでもいけます。(私もはなから買ってません)Epic社がその方法を公開しています。

  Unreal Engine LiveLinkXR
 Vive トラッカーを HMDなしで使用する
    外部リンクへ

 トラッカーとベースステーションの距離は最大5mくらいです。間に遮るものがあると計測できなくなってしまうので複数ベースステーションを置くやり方もあります。トラッカー自体はバッテリー動作し7.5時間もちます。

 カメラにトラッカーを取り付けます。Amazonで購入したリグを使ってます。PTZカメラだとこういう使い方は出来ません。内部にエンコーダーがあるPTZカメラもありますがメカなのでズレてくるのと高精度なパーツを使ってるカメラ=高価なものカメラになってしまいます。Unreal Engineではトラッカーとイメージセンサーの位置の違いを調整したり、トラッカー情報と映像入力のタイミングを合わせたりすることができます。実際のカメラの動きをUnreal Engine上の仮想カメラにリンクさせます。

■ レンズ情報をカメラからRestAPIで取得する
 カメラのレンズからズーム、フォーカス、アイリスの値を取り込みます。一般的に放送業務用レンズを使う場合キヤノンかフジノンのVR対応で400万くらいするモデルを使います。レンズにシリアル出力がありこれを使うことになります。もしくはPLレンズなどギアが付けられるものにエンコーダーをつけてシリアル出力といった感じになります。どちらにしてもカメラにごてごてケーブルなりボックスなりを付けることになります。今回使用したCIS VCC-4KNDIカメラにはシリアル経由でレンズ情報を読み出すこともできますがこのシリアル通信を別用に使いたかったのでもう一つの通信方法であるRestAPIを使いました。

RestAPI Logo

RestAPI(RestfulAPIとも言います)はhttp, httpsプロトコルを使って簡単な情報をデバイス間通信する方法です。映像ハードウェアではまだまだ使われることは少ないかもしれませんがWebサービスを構築するような業界では既に一般的です。今後映像機器がネットワークで機器が繋がるようになると必要になってくる技術です。CIS VCC-4KNDIではAPIを叩くとJSONでステータスが返ってくるようになっています。

VaRest Plugin logo

UE4 plugin VaRest

外部リンクへ


 Unreal Engine上でRestAPIを使って通信するプラグインは既に存在します。しかも無償。業界標準の機能を使えばインターフェースを一から作る必要はなくなるという好例です。これを使いBlueprint上でカメラから逐一レンズ情報を引っ張ってこれるようにします。なんならUnreal Engineからカメラのコントロールをすることも可能になります。もちろんシリアル通信を可能にさせるプラグインも存在するので繋ぐ機器によって使い分けることもできます。選択肢が多いことはいいことです。


 様々な種類のデータをやり取りしている割にはカメラとPC間のケーブルは1本のみです。(カメラは他にRS232→レンズコントローラー、ビューファインダー出力→ATOMOS SHINOBIに接続)通常バーチャルスタジオで使うカメラはそれ用だけでケーブルを数本〜十数本使ったりするのでかなりスッキリしてます。カメラをレンズコントローラーで操作してUnreal Engineから常にレンズ情報を取りにいくといった感じになります。


■ リアルタイムコンポジット(合成)
 最終的に仮想世界と現実世界を合成します。従来のバーチャルスタジオシステムではキーイングや合成を別の機器で行ったりしていたのですがUnreal Engineにはそのどちらの機能も備わっているのでそれを使うことにします。

 合成にはUnreal Engineのリアルタイムコンポジットを使用します。3種類のレイヤーが用意されていて
  ・Media Plate  入力動画レイヤー ここではNDI®入力映像
  ・CG Layer    Unreal Engineで作ったCG空間に置いたオブジェクト(アクタ)
  ・CG Matte   グリーンバックで抜けないものやスタジオの天井とか隠したいものに使ったりします。
AdobeのPhotoshopやAfterEffectsを使用している方であれば同じように理解できます。レイヤーは複数作ることができるので背景CGレイヤー、その前にグリーンバックで抜いた映像レイヤー、さらにその前にCGレイヤーを置くといった複雑な構成も可能です。


■ まとめ
 放送用バーチャルスタジオを構築しようとするとどうしても数千万〜億超えのような金額になってしまいます。よほどの覚悟がないと導入するのにかなり躊躇することでしょう。自身がスタジオ設計者なのでバーチャルスタジオの話が出てきても金額聞いて話が流れたなんてことはよくあることです。今回のような方法を使えばかなり安価に済むので小規模スタジオでの運用や将来のステップアップを見据えた第一歩として考えることもいいのかもしれません。Unreal Engineを使うのにプログラムしなければならないという手間はありますが映像業界でのUnreal Engineの普及が見込まれることが予想されるので今のうちから慣れておくといった考え方もあると思います。


■ 最後に
 展示会向けにこのコンテンツを作ったのですがもう少し時間があれば実現できたかなぁと思ったことを出してみます。

・HDR対応にしてみたかった
Unreal Engine、CIS VCC-4KNDIともにHDR(High Dynamic Range)に対応しています。HDRが使えれば画質的によりリアルになるはずです。いかにもCGといった感じではなくなるのかもしれません。ただし対応HDRの種類が違うので(Unreal EngineはPQ、CIS VCC-4KNDIはHLG)カメラからのストリームをUnreal Engineに合わせる必要があります。

・VIVEトラッカーのブレを抑えたい
この手のセンサーにはよくあることですが受け取る生データに少なからず振れ幅が生じます。結果的に仮想カメラが見るCGオブジェクトが細かく揺れてしまうことがあります。データの揺らぎを抑えるためにローパス処理は追加していたもののまた別なノイズ除去フィルタを追加する必要がありそうです。


 

NDI対応 4K60P 18倍ズームレンズ搭載カメラ CIS VCC-4KNDI, DCC-4KNDI レビュー

CIS社初のNewtek NDI® に対応した4K/60P 18倍ズームレンズを搭載したBOXカメラのレビューです。これを書いている私自身開発メンバーの一人というか開発の言い出しっぺでもあるのでカメラがどのようにして出来たかを踏まえ製品のレビューをしていきます。カメラとしては2機種あり、筐体有り版のVCC-4KNDI、組込用キットモデルであるDCC-4KNDIが存在します。

VCC/DCC-4KNDI
VCC-4KNDI(左)とDCC-4KNDI(右)

■ 放送用IP、NewtekNDI®を採用
 映像/音声を伝送する際には長らく同軸ケーブルを使ってきました。加工も簡単ですし繋げば使えるといった至極単純でわかりやすいものです。ただし最近になって4K/8Kの高解像度やハイフレームレートを扱うようになったときに同軸ケーブルが煩わしくなってきたという経緯があります。例えば4K解像度で同軸ケーブルを使うとなると3G-SDIで4本、もしくは12G-SDIでシールド膜が入ったゴツいものを使う必要があります。この12G-SDIが厄介でそんなに長く伸ばせないし曲げられないし高周波なので信号の減衰に注意などいろいろ欠点が出てきました。また最近はカメラに求められる機能も多く結果的にいろんな信号線を出す必要があり、カメラ製品自体はスッキリしてるのに出てくるケーブルがウジャウジャとなってくる場合が増えてきています。

Newtek NDI® Logo

そういった経緯もあり最近ではIPネットワークを使って映像/音声を扱うようになってきています。ストリーミング配信用ということでは以前からネットワークで映像/音声を送ることは出来ましたがここでは放送用のIP、つまり遅延が少なく品質の高いコンテンツを扱うことができる規格のことを指します。現在代表的なものにSMPTE ST 2110とNewtek NDI® が挙げられます。SMPTE(米国映画テレビ技術者協会)企画が本流だと思うものの規格に関する団体(AIMIS、AMWA、VSFなど)が非常に多くそれらに人的リソースをかけるのが難しいのと最低ネットワーク速度が10GE以上を要求するため初期費用もかかってしまいます。


そのようなこともありVCC-4KNDI、DCC-4KNDIはNewtek NDI®を採用しています。NDI®はNewtek社が提唱する放送用IPの一種で基本1GEの帯域で十分な高品質のコンテンツが送受信が出来る、SDKが無償で公開されており誰でもNDI®を使った開発が可能といった特徴があります。とっかかりとしては非常に魅力的です。(ただしSDKを使った製品を開発して販売するときには費用が発生しますがその辺は契約上のことなのでここではごにょごにょします、、)
NDI® には2種類のコーデックが存在し、一つはFull NDI®(Full bandwidth NDI® とも言います)というイントラフレーム圧縮で低遅延なものとNDI|HXというH.264/H.265 HEVC を使ったLong-GOPで多少遅延するものがあります。世に存在するほとんどのNDIカメラはNDI|HXであるのですが、VCC/DCC-4KNDIではもともとのカメラ画質性能を優先するためFull NDI® を採用しています。

■ VCC-4KNDI概要
VCC-4KNDIはSDI出力の4KカメラであるVCC-4KZMがベースとなっており、NDI以外の基本性能は同じで4K/60P(1080p/1080iにも対応)、18倍ズームレンズ、CIS社画像処理エンジンClairvu™搭載、HDR(HLG、BT.2100)対応になっています。他社のNDIカメラだとパンチルトにしているものが多いのですがBOXタイプとしてユーザーが好みのパンチルトデバイスを選択できるようにしています。 

カメラの大きさは72mm(W) 84mm(H) 125mm(D) で重量は802gです。筐体の底面には三脚留めネジが切ってあります。前面にはタリーランプがあり、TriCasterなどNewtekNDI®でコントロールできる機種であれば動作するようになっています。レンズ先端にはフィルターがつけられるようネジが切ってあります。(49mm)
 後面には放送用IPカメラとして1GEthernetのインターフェースがあります。PoE(Power on Ethernet)に対応していますので対応スイッチであればLANケーブルから給電が可能です。もちろんそういった設備が無いところでもDC電源の入力は用意しています。NDI®の出力とは別にビューファインダー用のデジタル出力があります。ATOMOS SHINOBIやBlackMagicDesignのVideoAssistなどHDMI入力を備えたモニターに繋いでモニタリングすることも可能です。(なぜHDMI出力と言わないのかはお察しください、、)このほかに3.5mmステレオミニジャックでのオーディオ入力や、旧来からのRS232Cシリアルコントロールを備えています。

 カメラの設定/コントロールはWebブラウザから行うことが可能です。VCC-4KNDIのカメラ設定で解像度フォーマット、AE項目、ホワイトバランス、ノイズリダクション、ガンマ/ダイナミックレンジ設定、6軸カラー調整、レンズコントロールなど多くの項目を網羅しています。ネットワーク設定は自身のIP設定のほかNDI識別名、グループ名、TCP/UDP/マルチキャスト設定などがあります。システム設定ではログイン認証(Basic、Digest)やファームウェアアップデート、ファクトリーリセットなどが行えます。全てのブラウザで試したわけではありませんが大体は使えると思われます。

Clairvu Logo

VCC/DCC-4KNDIにはCISの別モデルカメラと同じくオリジナル画像処理エンジン Clairvu™ を搭載して正確な色表現、高画質を実現しています。色調整の項目が多く、狙った通りの色に合わせることが出来ます。2D/3Dノイズリダクションも強力でゲインを上げることに躊躇することもなくなります。また標準のBT.709の他にBT.2100(HLG)のガンマカーブが選択できHDRにも対応しています。残念ながらNewtek社のスイッチャーTrCasterは現在のところHDRに対応しておりませんがHDRは受け側にその処理ができていればいいので途中で何もしなければNDI®でHDRを伝送するといったことは可能です。

RestAPI Logo

カメラに対しWebブラウザ、Newtek NDI®、RS232でコントロールすることが可能ですがそれに加えRestAPIに対応しました。これによりネットワークを使ってリアルタイムに高度な制御を行うことが出来ます。URLとHTTPメソッドを使ってデバイス間の情報をやり取りするというIT業界では一般的な方法のためサーバーからのコントロールやアプリ開発が格段としやすくなります。本機では設定のほかズーム位置やフォーカス位置などの情報も取得することが出来ます。(JSONで返ってきます)

CIS VCC-4KNDI、DCC-4KNDIは従来からのCIS社テクノロジーを受け継ぎつつ放送用IPであるNewtek NDI®に対応したカメラです。単純に同軸ケーブルがLANケーブルに変わったということではなく、RestAPIに対応することでカメラをよりアクティブにコントロール、ネットワークで使用ということに関してより簡単なアプローチをユーザーに提供するカメラと考えています。

※NDI® is a registered trademark of Vizrt Group

■ 関連項目

 InerBEE 2021 (国際放送機器展)
この展示会で初めてVCC-4KNDI / DCC-4KNDIを展示いたしました。

 Newtek NDI®とUnreal EngineでAR/VR を作ってみた
InterBEE 2021でVCC-4KNDIの展示で行ったUnreal EngineをつかってのARデモを解説

国際画像機器展 2020

2020年12月2日〜4日にパシフィコ横浜で行われる国際画像機器展2020に参加。InterBEEなど他の展示会が軒並みオンラインイベントや中止となる中で今年最初で最後の参加展示会となりました。コロナ感染リスクに備えての展示とはいえ例年に比べて3割ほどの入場者、展示社数も減り、同時開催のビジュアルExpoも今年は無しという開催でした。とはいえマシンビジョンカメラはそもそもリモートで使うものですしセキュリティや監視にも合っているわけですからコロナ以後のニューノーマルには欠かせない機材ではないかなぁと個人的には思ってます。

 

CISのブースでは5000万画素CoaXPressカメラのVCC-50CXP1Mや2000万画素のVCC-20CXP6Mを始めとしてSWIR画像が取れるカメラVCC-SXCXP1SW、最近話題になっている1200万画素偏光カメラなどを展示。特殊撮影でこういった工業系カメラを使ったりすることもあります。
もちろん放送系として18倍ズームレンズ内蔵 小型4K/60PカメラであるDCC-4KZMも出品。専用コントローラーとしてM-Design レンズコントローラー MD-LC100、タブレットコントローラー DCC-4KZM Controller Liteも一緒に展示しました。レンズコントローラーは半年以上前のステイホーム期間中に作ったものですが展示する機会が無く、今回初めてのお披露目となりました。

 

18倍ズームレンズ搭載4Kカメラ CIS DCC-4KZM レビュー Part3

CIS社小型4K/60Pカメラ DCC-4KZMのレビュー3回目です。実際に屋外/屋内で撮影をしてみました。収録した映像はYouTubeにアップしたのでそれを元に説明していきます。(本レビューは開発中の機能が含まれています。)

 CIS DCC-4KZM HDR Test Shooting
 https://youtu.be/qXu8txoHvdA

映像はいつも通り編集段階でカラーグレーディングとかは一切行っていません。撮影時そのままの色になっています。視聴にはHDR対応モニタを使うと本来の色に近くなります。SONY BVM-X310 とかのマスモニだとはっきり分かります。(失敗したやつとか、、、)

実際に撮影するにあたり基盤剥き出しのままでは危ないので外装を装備しました。レンズ前面にはフィルターが付けられるように49mmのネジが切ってあり、後方には電源やRS232コントロール、外部同期、LTCなどの信号をまとめたコネクタが付いています。下部には三脚に取り付けられるよう1/4”、3/8”ネジが切ってあります。
筐体の大きさはWide 70mm、Height 70mm、Depth 110mm くらいです。(突起部含まず)

 

収録にはATOMOS SHOGUN INFERNOを使用。DCC-4KZMとは3G-SDI x 4で接続。ATOMOS HDRでHLG 2100、Rec.2020カラーでモニタリング。カメラのHLGはSDR比で600%、1200%が選択でき、いつも通り1200%を使っています。
レンズコントローラーは三脚ヘッドの下あたりの脚に装着させています。一般的なコントローラーだとパン棒につける場合が多いのですがデバイスが小さくなるためフォーカスノブとかが小さすぎなのと割とパン棒の向きを変えて撮影するので操作しづらく、この位置に固定した方が安定しますね。今回はフォーカス、ズーム、アイリスは全てマニュアルで撮影しています。
コンテンツには音声が含まれていませんがマイクとしてAZDEN SGM-250CXを使いました。

 

実際に撮影をしてみます。コンテンツには早朝、室内、夕方、夜間のシチュエーションを含んでいます。
DCC-4KZMにはCIS社のレンズ交換式4K/60PカメラであるVCC-4K2と同じ独自の画像処理エンジン Clairvu™ が搭載されていて画面全体のカラーバランスがうまく保たれています。全体が直しようのない色バランスになったり、こっちの赤色はいいけどそっちの色は合ってないとかそのようなことは出てきません。実際にほとんどデフォルト値で撮っています。この辺りはVCC-4K2と同じです。もうちょい色を変えたいという時だけパラメータを設定するだけなのでセットアップ時間が短くて済みます。画質的にはVCC-4K2+高画質単焦点レンズよりは若干落ちるもののズームレンズがあることでENGカメラっぽく撮影できることが最大の利点です。

 

夜間の撮影にはGain +12db上げています。昔だったら+6db上げるのにひどく迷うのが普通でしたがDCC-4KZMでは全く気になりません。本編は従来からある2Dノイズリダクション機能を薄く使いましたが本機はさらに強力な3Dノイズリダクション機能があります。映像の最後にオマケとして入れておきました。使ったことのないGain +48dbにShutter 1/180、F5.6でノイズだらけの画像に3DNRをかけた実験映像です。ほとんどノイズが目立たなくなるのがわかると思います。ただしフレーム間処理なのでカメラが全体的に動くような映像だとブレというかダブりのような画像になります。この辺はカメラを固定するとか使い方によると思います。

  

総評としては18倍光学ズームレンズ内蔵ということで決める画角の自由度が高くPOVだけでなくENGカメラとしても使えそうなユーティリティ性があり、高速シリアル通信によるレスポンスの速いコントロール(特にレンズコントロールで有意)、従来から引き継いだClairvu™による高画質などが挙げられます。コンテンツ制作はもちろんのこと医療や3DNR使用による監視やライトが使えないところでの撮影と用途は多いのではないかと思います。性能は違いますがVCC-4K2+単焦点レンズの価格で何台かDCC-4KZMが買えてしまうコストパフォーマンスの良さもあります。4Kハンディカムで画質に不満があるのならDCC-4KZMを試す価値は十分にあると思います。

  

18倍ズームレンズ搭載4Kカメラ CIS DCC-4KZM レビュー Part2

MD-LC100

CIS社の4Kカメラ DCC-4KZM レビューPart2です。カメラレビューと言いながら今回はコントロール系の話になります。前回タブレットで操作できるレンズコントローラーソフトウェアを作ってはみたものの、やっぱりレンズは回してナンボということもありハードウェアを作ってみることにしました。
※本レビューは開発途中の機能を含んでいます。


DCC-4KZMのカメラコントロールはシリアル通信で行います。(今回はRS-232を使用)コマンドセットはCIS社独自のプロトコルになります。命令にはSENDとGETがありGETでカメラの各ステータスを読み取ることもできます。フォーカス、アイリス、ズーム制御はそれぞれ複数のやり方があるので制御側のハードウェアの種類によって選ぶことができます。

零号機

とりあえず勢いで作った零号機です。大きさはiPhone8くらい。秋葉原で適当なパーツを買って組み立てました。
コントロールに必要なのはフォーカス(大きいツマミ)、アイリス(ボタン2つ)、ズーム(小さめのツマミ)なのでそれに絞って部品を配置。ユニバーサル基板なので位置決めに制限が出てしまい、ズームがダイヤル、アイリスが+/-制御のボタンになってしまいました。使えないことはないんですけど、ズームはやはりレバー方式にしたいしアイリスも細かく制御したいところです。この辺りは一般のパーツ屋さんで用意できる範疇を超えてしまいます、、、

市販のコントローラーにはズームレバー?が付いてたりしますが小さくて操作しにくかったり手に入れられるかわからなかったので代理店に無理を言ってフジノンの放送用レンズで使っているパーツそのものを入手してみました。コレだよコレ!とフニフニ触って満足してしまいましたがどう制御するかはこちらで考えなくてはなりません。そもそもこのパーツ結構大きいのでケースに収めるには基板に穴を開けねばならず、基板そのものをオリジナルで設計することになりました。基板の設計にはそれ用のCADを使い、回路図や部品配置、穴開けなどの情報が詰まったGarbarデータなるものを作成します。作ったデータはクラウドに上げてしばし待つと出来上がったものが送られてきます。いい世の中になったものです。(4層基板、RoHS対応、ムダに青色)

各パーツをハンダ付けしてケースに取り付けてプログラムコードを流し込んだら完成です。ケースはメーカーに加工してもらいました。穴開け位置を指定したCAD図面と天面のデザインデータ(イラレデータ)を渡すとやってくれます。(1つしか作らなかったので結構な値段、、、)

レンズコントローラー MD-LC100 仕様
フォーカス:分解能10bit、横のボタンでマニュアル/オート切替。
      長押しでOne Push Focus
アイリス :分解能10bit、横のボタンでマニュアル/オート切替。
ズーム  :レバーの傾きにより64段階のアクセラレーション。

DCC-4KZMからシリアル通信が9600、38400、115200bpsから選べるようになりました。115200bpsではマニュアルレンズを直に操作するのと変わらない反応をしてくれます。スピードは正義です。(9600bpsだとワンテンポ遅れる感じ)


DCC-4KZMのフォーカス分解能 3584段階に対してコントローラーは1024段階ですが実用には問題ありません。もう少し大きいイメージセンサーとズーム比なら12bitにしてもいいかなという感じです。(プログラム次第で変更できそう)アイリスはこの手のカメラだと絞りが1段づつしかできないものがあったりしますがこれは完全にアナログ無段階のように設定できます。ズームのアクセラレーションはカメラの仕様通り64段スピードで動かせます。そんな細かい調整できないと思うかもしれませんが意外と慣れると出来るものです。

 

DCC-4KZM Controller

レンズ以外のコントローラーは?って話ですが、それ用のタブレットコントローラーを作りました。レンズ以外のコントロールをこちらで行います。よく使われる機能をUI配置してそれ以外はリモコンRU-100の機能を搭載させてOSD(On Screen Display)を使って設定という感じです。カメラとはMD-LC100と差し替えて繋ぐこともできますし、MD-LC100をブリッジ役として数珠つなぎすることもできます。シリアル通信スピードの変更も可能です。(RU-100は9600bps 固定)カメラを設定してしまえば後はレンズ操作がほぼになるので外しても構いませんというスタンスです。

 

USB-RS232 変換ケーブル

タブレットとカメラ/コントローラーに繋ぐにはUSB-シリアル変換器なるものが必要です。市販品を組み合わせて使うとなると途中がD-Sub 9pinであることが多くて重くかさばってしまいます。タブレット側のUSB端子に変なテンションがかかってしまうので変換ケーブル自体も作ってみました。これなら数グラムで済みます。USB-シリアル変換にはFTDIチップを採用しています。(タブレットソフトはProlificチップにも対応)


ようやくこれで実機テストの準備が出来ました。基本ワンオペ、ENGタイプでテストしようとしているのでメーカーの想定外になるかもしれませんが十分参考になると思います。

Part3へ続く

18倍ズームレンズ搭載4Kカメラ CIS DCC-4KZM レビュー Part1

CIS DCC-4KZM

2019年の国際画像機器展で発表されたCIS社の18倍ズームレンズ付き4Kカメラブロック、CIS DCC-4KZMを数回に分けてレビューします。同社4KカメラVCC/DCC-4KZMと同じく画像アルゴリズムであるClairvuを搭載、HDR(HLG75)対応で画質そのものは同等。ズームレンズが付いたことにより今まで以上に多様なアプリケーションで使えるようになると思います。(撮れるものが違ってくる)
※本レビューは開発途中の機能を含んでいます。

CIS DCC-4KZM 主な仕様
イメージセンサー SONY STARVIS IMX334 1/1.8″CMOS ローリングシャッター
画素サイズ    2.0μm(H) ×2.0μm(V)
有効画素数    3840 x 2160
出力解像度    2160p, 1080p, 1080i
出力信号     3G-SDI x 4ch, 3G-SDI x 1ch, HD-SDI x 1ch : Y/Pb/Pr(10bit)
同期方式     内部同期 / 外部同期
内蔵レンズ    光学18倍オートフォーカス ズームレンズ
         焦点距離 6.6mm〜120mm / F値 1.61(wide) 〜 4.13(tele)
消費電力     typ. 11W / max 13W (条件:DC+12V 入力時)
外形寸法     H:65mm W:66mm D:98mm
重量       316g

イメージセンサーのSONY STARVIS IMX334は最近の4Kカメラでよく使われています。裏面照射型で画素が小さくなっても明るく写ります。もっともセンサー性能を引き出す画像処理でかなり画質が違ってきます。DCC-4KZMにはCIS画像処理エンジンのClairvuが搭載されています。出力信号はSDIです。4K出力には3G-SDI x 4本で出力します。Squere Division(田の字)、2 Sample-Interleave どちらにも対応しています。フレームレートは60pのほか50p, 24pなど全て揃っているので一般放送用、映画用の仕込みカメラとしても使えるでしょう。


カラー調整も充実しており、あまり困ることは無いと思います。ホワイトバランスはオートでもかなりカラーバランス保ったまま追従できますしプリセットも豊富に用意されています。もちろんマニュアルでの調整(R Gain, B Gain)も可能ですし色温度(K ケルビン)を数値で指定することも可能です。RGBカラー調整や色補正、色飽和抑制の機能も有しています。ガンマ/画質系はBT.709系とHLG75のカーブ切り替え、ダイナミックレンジ設定(最大でBT.709は400%、HLG75で1200%)、Knee(BT.709のみ)、輪郭補正などが備わっています。

DCC-4KZM Mount

とりあえずマウントしてみます。むき出しのまんまなのでマウントというよりただ載せて縛っただけです、、 カメラの下は組込部品のベース/放熱板になっています。そこそこ熱くなりますがファンを付けるほどでは無いのでケース製作も無理なくできると思います。このまんま数日動かし続けているので最近の小型4Kカメラのようにオーバーヒートして止まったり故障したりすることは無いようです。上部に載せているのはテスト用の電源+リモート端子基盤です。DCC-4KZMはRS-232C/RS-422でコントロールできます。(排他使用)

 

Tablet Controller DCC-4KZM

カメラのコントロールにはCIS社のリモコン RU-100、もしくはCIS Webサイトからダウンロードできるテスト用アプリが利用できます。とはいえOSD(オンスクリーンメニュー)だけで操作とか外へPCを持っていくわけにはいかないのでAndroid タブレットで操作できるソフトウェアを作ってみました。とりあえずカメラのコマンドがたくさんあるのでテスト用ということでレンズ操作を優先にしています。これでようやく実機レビューとなりそうですが、実際に外で撮影はしてみたもののやっぱりタブレット操作でのレンズ操作は難しい、、、
POVカメラとして使うのならまだしもENGっぽく使おうとすると合わせるのに時間がかかってしまい撮りたいものが撮れなくなってしまいます。
ということでレンズコントローラーを急遽作ることになってしまいました、、、

Part 2へ続きます

国際画像機器展 2019

国際画像機器展2019 CIS ブース

 2019年 12月4日〜6日にパシフィコ横浜で国際画像機器展2019が開催されました。いつもの放送系とは毛色が違いなかなかマニアックな内容が多く、わかる人だけで構わないという雰囲気もまた良しです。今年の展示はA.I.や三次元計測、偏光カメラが多かった気がします。
 そのような中、シーアイエスもブースを出して新製品を発表しました。

 製品についての詳細は追ってUpしたいと思います。



CIS DCC-4KZM

CIS DCC-4KZM

 光学18倍ズームレンズを内蔵した4K/60P出力のカメラブロックです。
 ソニー STRAVIS 1/1.8型 ローリングシャッターCMOSセンサーを使いHDR(BT.2100 HLG)、BT.2020/BT.709の色域に対応しています。もちろんシーアイエスの画像処理エンジンClairvuを搭載。映像出力は4K 3G-SDI x4、HD 3G-SDI/HD-SDIの放送仕様となっています。そのほかの機能はLTC出力、外部同期対覆うなどVCC-4K2に準じます。大きさは66mm(W) x 65mm(H) x 98mm(D) になります。
 組込用なのに早くもガワ(筐体)作れと言われております。

CIS VCC-4KHS

CIS VCC-4KHS

 2/3型 グローバルシャッターCMOSを使った4K/240Pのハイフレームレートカメラ。画像機器展なので出力はCoaXPressを使っていますが元々は放送用機器として設計されているのでSDI出力モデルも予定されています。レンズマウントも写真のようなCマウントのほかB4バヨネットマウントに対応していて2/3インチセンサーなので放送用4Kレンズがそのまま使えます。
大きさは100mm(W) x 100mm(H) x 100mm(D)のキューブ状で筐体が小さいのも利点です。


InterBEE 2019

2019年 11月13日〜15日に幕張メッセで行われたInterBEE 2019 国際放送機器展に出展しました。株式会社ニューエックスのブースにてCIS社、E-Globaledge社のカメラ製品群やCinedeck社のポストプロダクション製品であるcineXtools、撮影済みのデータを高速に転送するシネマドッグシステム Atech Flash Technology社 BLACKJETを展示。またM-Designオリジナルとして初のハードウェア/ソフトウェア製品も含めて多くのご来場者に製品をご紹介させていただきました。

展示製品のご質問やデモ依頼などは
 info@m-designx.com
までお願い致します。


CIS VCC-4K2 / VCC-HD3N

 VCC-4K2はCIS社のフラッグシップモデル、4K/60Pグローバルシャッターカメラ。HDR BT.2100 HLG対応、BT.2020の色域を持ち、4K/HDRの性能を最大限に発揮します。さらにCIS社独自の画像処理アルゴリズムで正確な色表現を実現しており、あれこれカメラの設定をしなくても綺麗な映像を撮ることができます。
 今回はカメラスタビライザーのDJI社 RONIN S、HDRレコーダー/モニターであるATOMOS SHOGUNとの組み合わせで展示しました。従来であればsteadicamなど大型器材を必要としましたがカメラが小型になれば4K/HDRのスタビライズ映像制作が簡単になります。実際この組み合わせで山岳撮影をしたことがありますが十分ワンオペの範疇です。
 カメラで収録した映像はソニーのマスターモニター BVM-HX310で展示。最大輝度1000nitsくらいないとHDRの良さは伝わらないかもしれません。展示映像は編集時に何もグレーディングを施していないカメラそのままの画像です。ダイナミックレンジの広い素直な画質、グローバルシャッターならではの揺れやブレの強さ、夜間撮影での耐ノイズ性能などがお分かりいただけたと思います。(同じコンテンツはYoutubeに上げてありますので本サイトのYoutubeページから視聴することができます。)
  VCC-HD3Nは超小型Full-HD グローバルシャッターカメラです。4K2と同じ画像処理エンジンを積み高精度な画質を実現しています。
 また武蔵オプティカルシステム株式会社のご協力によりカメラに合うフジノン Cマウント単焦点レンズ群を展示。Cマウントというとベテランの方は16mmフィルム用、監視用と思う方も多いかと思いますが現在のレンズは4K/8K解像度を持つレンズが普通にラインナップされています。(実際にYoutubeに上げたコンテンツはこれらのレンズを使用しています)2/3″放送用レンズに比べて価格の桁が2つ違ったりするので焦点距離ごとにレンズを揃えてもコストが抑えられます。


BR Remote リモートコントローラー RCP Mk3

英国 BR Remote社のRCP Mk3はプロフェッショナルグレードのカメラコントローラー。BR Remote社はプロ向けPTZカメラや周辺機器を作っているメーカーです。コンサートライブやスタジアムなどで使われるワイヤーカメラ、船舶などに取り付ける防水カメラ、VRシステム向けのリモートカメラなど数多くの製品を出しています。今回はプロ向けカメラコントロールパネルがあるということで逆に日本で紹介することになりました。
 最大4台までのカメラを切り替えて使うことが出来(タリー信号の入力可能)、ノブやスティックで直感的にカメラのパラメーターを操作することが出来ます。パネル上部にはカメラ固有の機能をアサイン可能なエリアがあり、カラーペデスタルや、ホワイトバランスのモードなどよく使う機能を登録することが出来ます。カメラとの接続は有線ですが、オプションのIPコンバーターを使用することによりTCP/IPネットワーク越しにカメラコントロールすることが出来ます。
 ユニバーサル仕様なので対応するカメラはCIS社のほかSONY、Panasonic、JVC、Ikegami、Hitachiなどのカメラでも使えるのでコンパネ難民の方にもぴったりです。



M-Design CIS Camera Controller

 M-Designとしては初のオリジナル製品です。CIS社カメラをAndroidタブレットを用いてコントロールするシステムです。CIS社には有線リモコン(CIS RU-100)やPCアプリが製品としてあるのですが、画面にメニューを出したくなかったのとロケ現場にPCをもってくのは面倒なのでタブレットタイプを開発しました。RS232C(有線)、Bluetooth(無線)用の2タイプがあり、現場状況により接続方法を選択することができます。今回はプロトタイプとしてBluetooth版を展示しました。無線LANにしてもよかったのですが現場での設定が少々煩雑になるのと無線LANが使えない現場もあったりするのでBluetoothを採用しました。Bluetooth受信側は9V乾電池または5V USB電源で駆動し、一応無線到達距離は約100mです。(まだ正式にはテストしていませんがInterBEE会場内では普通に動作しました)正式版は筺体を半分くらいにして消費電力も下げてもう少し長く使えるよう考えています。またカメラの機能にフルアクセスできるProバージョンも開発中です。



E-Globaedge 4K/60P 光学ズームレンズカメラ VC-M830P-EG

 E-Globaledge社の小型4K/60Pカメラです。(写真の白い筐体のカメラ)昨年はカメラモジュール、基盤むき出しの状態で展示していましたがこのたびようやく筐体に入った形になりました。30倍の光学ズームレンズを持ち4K/60P HDMIでの出力が可能となっています。またHDMIと同時にH.265/HEVC(4K) + H.264/AVC(HD)をネットワークストリームで出力することが可能で遠隔地での監視やお天気カメラなどに使うことが出来ます。カメラコントロールはRS232やLAN経由でVISCAコマンドが扱えるため、一般的な操作であればVISCAコントローラーが使えると思います。またPoE(Power over Ethernet)に対応のためLANケーブル1本での運用が可能となっています。


cineXtools

Cinedeck cineXtools

Cinedeck社のリテイク作業用映像編集ソフトウェア。NLEから出力された完パケファイルに対して直接インサート編集を可能とするソフトウェア。ポスプロ作業で部分的な映像/音声トラックの差し替えにほとんど瞬時に動作します。変更のたびに書き出すファイルを全編レンダリングする作業がなくなるため大幅な時間短縮が可能になりファイル納品が普及している現在必須のツールです。数年前から販売していましたがここに来てようやく日の目を見るようになりました。ポスプロを中心に導入が進んでいます。働き方改革に一役買います!

cineXtools 国内事例集はここから
株式会社NEWX cineXtools 事例


BLACKJET TX-4DS

Atech Flash Technology メディアドッグシステム

 SSD / メディアカード(SxS)などのデータを高速にコピー、バックアップするメディアリーダー。メディアモジュールを装着して4枚同時並行にコピーが可能。PCとはThunderbolt3(40 Gb/s) / 4xPCie ドライブスロット/スロットで接続します。
 コピーソフトウェアHedgeと組み合わせて安全にかつ高速にファイル転送が可能です。


Doll House

M-Design制作 Dollhouse

 カメラの展示用に作ったドールハウス、、、本当は某ブースのようにモデルを雇ってシューティングとしたかったところですがそういうわけにもいかず代わりに用意。3日かけて制作しました。画像処理系の展示会では昔から割とこの手のものを使うのですが放送機器展では珍しいらしく、ブース一番の人気物でした、、、特に女性からは
「きゃあーかわいー!」
「写真撮っていいいですか?」(インスタ?)
カメラの展示なんですけどとも言い出せない雰囲気、、、
 次回までにはフルスクラッチでHDR対応のドールハウスを作ってみようかと思ってます。