Newtek NDI®とUnreal EngineでAR/VR を作ってみた

 InterBEE 2021 (国際放送機器展)にCIS社の新製品Newtek NDI® 対応の4K60PカメラVCC-4KNDI、DCC-4KNDIを展示しました。カメラの展示というと何か撮って終わりというのが普通ですがそれでは芸がないのと、カメラには新機能があるのでそれを使ったアプリケーション展示の一例として簡単なバーチャルリアリティシステムを作ってみました。本当はグリーンバック使って合成したかったのですがブースの関係上そんなスペースも取れないのでARとして仕立ててみました。
 ブースにその辺の説明を提示していなかった私が悪いのですが、極小スペースでそんなことやっていると来場者に気づかれずカメラ見てもLANケーブル1本しか出てないのでどうやっているのかわからない、そもそもNewtek NDI®って何ですか?という質問が多くなかなかシステムの説明までは辿り着けなかったというのが実状でした。反省を踏まえどうやってAR/VRシステムを作ったかをここで公開いたします。


■ バーチャルスタジオの基本構造
 まず初めにテレビでよく見るバーチャルスタジオってどんな構造で作られているかを説明します。バーチャルリアリティの名のとおり現実空間と仮想空間を用意します。仮想空間を用意するというのはCGの空間ってことです。現実空間には実際にカメラを設置するのですが仮想空間にも同じ位置に仮想のカメラを設置します。この2つのカメラは全く同じスペックにする必要があります。スペックとはつまりイメージセンサーのサイズ、レンズの画角、焦点距離などです。これで両方のカメラで写したスケールが一致することになります。次に現実空間にあるカメラの位置や傾きを検出するトラッカーと呼ばれるものを使って同じ動きを仮想空間にあるカメラにシンクロさせます。最後に現実空間と仮想空間を合成して出来上がりです。
カメラを動かせば合成されたCGも同じように動いてテレビでよく見るようなバーチャルスタジオになります。あとはレンズのズームやフォーカスと連動してCGも動けばよりリアルに見えることになります。

AR-VR structure

■ バーチャルリアリティの構築にUnreal Engineを使う
 こんなシステムの構築に何を使う?お高いんでしょ?と思いがちですがうってつけのプラットフォームが存在します。ゲームエンジンと呼ばれるEpic社のUnreal Engineというものです。

Unreal Engine Logo

Epic Unreal Engine

外部リンクへ


 ゲームエンジンとはその名の通りゲームを作るためのソフトウェアツールです。現在では実写かと見間違えるような描写がガンガン動くゲームがたくさんありますがそういったものもUnreal Engineのようなゲームエンジンで作られています。ハイフレームレートでリアルタイムに映像が動いてしまうのと最近ではレイトレーシングなど高品質な画像を実現する機能も盛り込まれているためゲーム業界だけでなく映像製作や建築シミュレーションなど他分野でも使われるようになっています。(最近だとインカメラVFXなんか注目されてますね。)いくつかのバーチャルスタジオシステムでは内部のエンジンにUnreal Engineが組み込まれていたりします。

 というわけで、
 ・映像の入出力
 ・バーチャル空間(CG空間)の作成
 ・仮想カメラのコントロール
 ・実カメラのレンズ情報を取得
 ・実カメラの傾き、位置を取得
 ・合成(必要ならクロマキーなどの処理)
 以上をUnreal Engineでまかないます。ってほとんどコレで作るような感じです。Unreal Engineにはプラグインという形で機能拡張できるようになっており、サードパーティ製の製品に対応させたり新しい機能を追加ということができる仕組みになっています。ちなみにUnreal Engineの個人利用は無償で、サポートを受けたいとか成果物を販売するようなときに何%かEpic社に支払う仕組みになっています。Unreal Engineの対抗馬であるUnity Technologies社のUnityも同じような感じです。

 実際の動作環境は
CPU : Intel Core i7-5960X 3GHz
RAM : 32GB
GPU : NVIDIA Geforce 3080Ti 12GB
OS : Windows 10 Pro
Network : 1GB Ethernet(オンボード)
Unreal Engine : Ver 4.27
かなりへなちょこな構成です。CPUなんか数世代前です。マザーボードごと変えたい気分です。Unreal EngineはGPUを主に使うためグラフィクスボードだけは最新の強力なものを使います。とはいえ今回のプロジェクトはCPU20%くらい、GPU30%くらいの使用率でした。この辺りはプロジェクトの複雑さによって変わってきます。

■ 入力のカメラとしてNDI対応 CIS社 VCC-4KNDIを使う
 Unreal Engineには外部から映像を取り込むことができます。制作用のカメラということであればSDI対応キャプチャーカードを使うことになります。AJA社のKONAカードとかBlackMagicDesign社のDeckLinkカードが一般的でUnreal Engineにそのプラグインがあります。今回はSDIではなく放送用IPであるNewtek NDI®を使っています。これならキャプチャカードが必要なくマザーボードのオンボードにある1Gb Ethernetで十分役割を果たします。

CIS VCC-4KNDI

NDI対応 4K60P 18倍ズームレンズ搭載カメラ
CIS VCC-4KNDI, DCC-4KNDI レビュー

レビュー記事へ


 使用したNDI®カメラはCIS社のVCC-4KNDIという4K/60Pに対応したBOXカメラです。NDIカメラというとPTZカメラばかりなのですが後述のトラッカーを使うためにはBOXタイプであることが都合が良かったりします。またVR/ARにはフレームレートが高い方が良く、60P以上が扱えることが重要です。NDIカメラにはNDI|HXというLong-GOPのコーデックを採用しているものがほとんどですがこのカメラはFull NDIを採用して高画質、低遅延を実現しています。VR/ARで使うことを考えるとシステム的に低遅延であることが望ましく、グリーンバックを使ってキーイングが必要な時には高画質であることが要件となります。Unreal Engineからも制御しやすい機能がカメラに備わっている上、PoEにも対応のため映像、制御、電源がLANケーブル一本で済ますことができます。

Newtek NDI® Logo

NDI SDK for Unreal Engine

外部リンクへ


 NDI®をUnreal Engineで使うにはプラグインがNewtek社から提供されているのでそれをインストールします。現在のところUnreal Engineへの対応バージョンが4.25と4.26なのですが4.27で使おうとしてコンパイルが走ったので問題はなさそうと勝手に思ってます。VR/ARのソースとして使えるようにコードを書いていきます。Unreal EngineにはBlueprintというコードを視覚的に書いていく機能(実際には各機能のノードを繋いでいく)がありプログラマーでなくても作れるというのがウリなのですが実際にはプログラム行為そのものなのでその素養はあった方がいいと思います。Blueprintも複雑になると見にくくなるのでコードで書いた方が見やすいなぁと思うこともあります。(もちろんC++で書いていくことも可能)


 Blueprintを使ってNDIが取り込めるようコードを書いていきます。(上の左の図)NDI Unreal Engine SDKには送受信のやり方が載っていてそれを踏襲するだけなのですが受信方法がこちらのやりたいこととは違っていたのでSDK記載の関数表を見ながらこうなんじゃないの?という感じで書きました。ARに使うカメラが一台だけなのでIP直打ちで設定しても問題なかったのですがNDIの説明をするためにUnreal Engine実行中にメニューを出してそこからNDIソースを選べるようにしました。
 NDIではmDNS(AppleだとBonjour)を使って同一ネットワークにあるNDI機器をスキャンします。この時はまだ映像のストリームは流れていなくてお互いの機器のリンクが確定してから実ストリームを流すようになっていて無駄なネットワーク帯域を使わないような仕組みになっています。NDIソースは機器名(アプリ名)という形式になります。入力だけでなくNDI出力ができるようにしたので表示されていますがモザイクで隠れているコンピュータ名がUnreal Engine機です。これを選んでしまうと当然映像は回ることになります。VCC-4KNDI、DCC-4KNDIはカメラのほうで名前やアプリ名部分を変更することができます。

■ カメラの傾きや位置を追跡するVR用トラッカーを用意する
 AR/VRで重要なカメラの動きを検出するトラッカーの存在があります。古くはカメラ三脚のヘッドにジャイロセンサー、ローラーに回転検出装置なんてつけたり赤外線を使った光学式トラッカーなんてものがあります。だいたいはシリアル信号(RS422とか)で出てきたデータを使用するバーチャルスタジオシステムに合わせるよう変換ボックスなるものをこしらえてデータを渡すという超絶面倒かつお高くなってしまうというのが常でした。展示会で使うのにそんなコストはかけられないので安価なもので試してみました。

VIVE Tracker&BaseStation

VIVE Tracker

外部リンクへ

Valve Index Base station

外部リンクへ


 ここ数年DIYでバーチャルスタジオを作る方々にとっては定番のトラッカーが存在します。そんな人いるのか?と思うかもしれませんが世界広しです。十分いらっしゃいます。本来はヘッドセットつけてVR/ARを体験するシステムのオプション品です。BaseStationから照射された赤外線レーザーをVIVEトラッカーが受けて傾きや位置情報をBluetoothでPCへ飛ばすといったものになります。本来はヘッドマウントシスプレイ(HMD)が必要なのですがドライバソフトをハックすることにより無しでもいけます。(私もはなから買ってません)Epic社がその方法を公開しています。

  Unreal Engine LiveLinkXR
 Vive トラッカーを HMDなしで使用する
    外部リンクへ

 トラッカーとベースステーションの距離は最大5mくらいです。間に遮るものがあると計測できなくなってしまうので複数ベースステーションを置くやり方もあります。トラッカー自体はバッテリー動作し7.5時間もちます。

 カメラにトラッカーを取り付けます。Amazonで購入したリグを使ってます。PTZカメラだとこういう使い方は出来ません。内部にエンコーダーがあるPTZカメラもありますがメカなのでズレてくるのと高精度なパーツを使ってるカメラ=高価なものカメラになってしまいます。Unreal Engineではトラッカーとイメージセンサーの位置の違いを調整したり、トラッカー情報と映像入力のタイミングを合わせたりすることができます。実際のカメラの動きをUnreal Engine上の仮想カメラにリンクさせます。

■ レンズ情報をカメラからRestAPIで取得する
 カメラのレンズからズーム、フォーカス、アイリスの値を取り込みます。一般的に放送業務用レンズを使う場合キヤノンかフジノンのVR対応で400万くらいするモデルを使います。レンズにシリアル出力がありこれを使うことになります。もしくはPLレンズなどギアが付けられるものにエンコーダーをつけてシリアル出力といった感じになります。どちらにしてもカメラにごてごてケーブルなりボックスなりを付けることになります。今回使用したCIS VCC-4KNDIカメラにはシリアル経由でレンズ情報を読み出すこともできますがこのシリアル通信を別用に使いたかったのでもう一つの通信方法であるRestAPIを使いました。

RestAPI Logo

RestAPI(RestfulAPIとも言います)はhttp, httpsプロトコルを使って簡単な情報をデバイス間通信する方法です。映像ハードウェアではまだまだ使われることは少ないかもしれませんがWebサービスを構築するような業界では既に一般的です。今後映像機器がネットワークで機器が繋がるようになると必要になってくる技術です。CIS VCC-4KNDIではAPIを叩くとJSONでステータスが返ってくるようになっています。

VaRest Plugin logo

UE4 plugin VaRest

外部リンクへ


 Unreal Engine上でRestAPIを使って通信するプラグインは既に存在します。しかも無償。業界標準の機能を使えばインターフェースを一から作る必要はなくなるという好例です。これを使いBlueprint上でカメラから逐一レンズ情報を引っ張ってこれるようにします。なんならUnreal Engineからカメラのコントロールをすることも可能になります。もちろんシリアル通信を可能にさせるプラグインも存在するので繋ぐ機器によって使い分けることもできます。選択肢が多いことはいいことです。


 様々な種類のデータをやり取りしている割にはカメラとPC間のケーブルは1本のみです。(カメラは他にRS232→レンズコントローラー、ビューファインダー出力→ATOMOS SHINOBIに接続)通常バーチャルスタジオで使うカメラはそれ用だけでケーブルを数本〜十数本使ったりするのでかなりスッキリしてます。カメラをレンズコントローラーで操作してUnreal Engineから常にレンズ情報を取りにいくといった感じになります。


■ リアルタイムコンポジット(合成)
 最終的に仮想世界と現実世界を合成します。従来のバーチャルスタジオシステムではキーイングや合成を別の機器で行ったりしていたのですがUnreal Engineにはそのどちらの機能も備わっているのでそれを使うことにします。

 合成にはUnreal Engineのリアルタイムコンポジットを使用します。3種類のレイヤーが用意されていて
  ・Media Plate  入力動画レイヤー ここではNDI®入力映像
  ・CG Layer    Unreal Engineで作ったCG空間に置いたオブジェクト(アクタ)
  ・CG Matte   グリーンバックで抜けないものやスタジオの天井とか隠したいものに使ったりします。
AdobeのPhotoshopやAfterEffectsを使用している方であれば同じように理解できます。レイヤーは複数作ることができるので背景CGレイヤー、その前にグリーンバックで抜いた映像レイヤー、さらにその前にCGレイヤーを置くといった複雑な構成も可能です。


■ まとめ
 放送用バーチャルスタジオを構築しようとするとどうしても数千万〜億超えのような金額になってしまいます。よほどの覚悟がないと導入するのにかなり躊躇することでしょう。自身がスタジオ設計者なのでバーチャルスタジオの話が出てきても金額聞いて話が流れたなんてことはよくあることです。今回のような方法を使えばかなり安価に済むので小規模スタジオでの運用や将来のステップアップを見据えた第一歩として考えることもいいのかもしれません。Unreal Engineを使うのにプログラムしなければならないという手間はありますが映像業界でのUnreal Engineの普及が見込まれることが予想されるので今のうちから慣れておくといった考え方もあると思います。


■ 最後に
 展示会向けにこのコンテンツを作ったのですがもう少し時間があれば実現できたかなぁと思ったことを出してみます。

・HDR対応にしてみたかった
Unreal Engine、CIS VCC-4KNDIともにHDR(High Dynamic Range)に対応しています。HDRが使えれば画質的によりリアルになるはずです。いかにもCGといった感じではなくなるのかもしれません。ただし対応HDRの種類が違うので(Unreal EngineはPQ、CIS VCC-4KNDIはHLG)カメラからのストリームをUnreal Engineに合わせる必要があります。

・VIVEトラッカーのブレを抑えたい
この手のセンサーにはよくあることですが受け取る生データに少なからず振れ幅が生じます。結果的に仮想カメラが見るCGオブジェクトが細かく揺れてしまうことがあります。データの揺らぎを抑えるためにローパス処理は追加していたもののまた別なノイズ除去フィルタを追加する必要がありそうです。


 

NDI対応 4K60P 18倍ズームレンズ搭載カメラ CIS VCC-4KNDI, DCC-4KNDI レビュー

CIS社初のNewtek NDI® に対応した4K/60P 18倍ズームレンズを搭載したBOXカメラのレビューです。これを書いている私自身開発メンバーの一人というか開発の言い出しっぺでもあるのでカメラがどのようにして出来たかを踏まえ製品のレビューをしていきます。カメラとしては2機種あり、筐体有り版のVCC-4KNDI、組込用キットモデルであるDCC-4KNDIが存在します。

VCC/DCC-4KNDI
VCC-4KNDI(左)とDCC-4KNDI(右)

■ 放送用IP、NewtekNDI®を採用
 映像/音声を伝送する際には長らく同軸ケーブルを使ってきました。加工も簡単ですし繋げば使えるといった至極単純でわかりやすいものです。ただし最近になって4K/8Kの高解像度やハイフレームレートを扱うようになったときに同軸ケーブルが煩わしくなってきたという経緯があります。例えば4K解像度で同軸ケーブルを使うとなると3G-SDIで4本、もしくは12G-SDIでシールド膜が入ったゴツいものを使う必要があります。この12G-SDIが厄介でそんなに長く伸ばせないし曲げられないし高周波なので信号の減衰に注意などいろいろ欠点が出てきました。また最近はカメラに求められる機能も多く結果的にいろんな信号線を出す必要があり、カメラ製品自体はスッキリしてるのに出てくるケーブルがウジャウジャとなってくる場合が増えてきています。

Newtek NDI® Logo

そういった経緯もあり最近ではIPネットワークを使って映像/音声を扱うようになってきています。ストリーミング配信用ということでは以前からネットワークで映像/音声を送ることは出来ましたがここでは放送用のIP、つまり遅延が少なく品質の高いコンテンツを扱うことができる規格のことを指します。現在代表的なものにSMPTE ST 2110とNewtek NDI® が挙げられます。SMPTE(米国映画テレビ技術者協会)企画が本流だと思うものの規格に関する団体(AIMIS、AMWA、VSFなど)が非常に多くそれらに人的リソースをかけるのが難しいのと最低ネットワーク速度が10GE以上を要求するため初期費用もかかってしまいます。


そのようなこともありVCC-4KNDI、DCC-4KNDIはNewtek NDI®を採用しています。NDI®はNewtek社が提唱する放送用IPの一種で基本1GEの帯域で十分な高品質のコンテンツが送受信が出来る、SDKが無償で公開されており誰でもNDI®を使った開発が可能といった特徴があります。とっかかりとしては非常に魅力的です。(ただしSDKを使った製品を開発して販売するときには費用が発生しますがその辺は契約上のことなのでここではごにょごにょします、、)
NDI® には2種類のコーデックが存在し、一つはFull NDI®(Full bandwidth NDI® とも言います)というイントラフレーム圧縮で低遅延なものとNDI|HXというH.264/H.265 HEVC を使ったLong-GOPで多少遅延するものがあります。世に存在するほとんどのNDIカメラはNDI|HXであるのですが、VCC/DCC-4KNDIではもともとのカメラ画質性能を優先するためFull NDI® を採用しています。

■ VCC-4KNDI概要
VCC-4KNDIはSDI出力の4KカメラであるVCC-4KZMがベースとなっており、NDI以外の基本性能は同じで4K/60P(1080p/1080iにも対応)、18倍ズームレンズ、CIS社画像処理エンジンClairvu™搭載、HDR(HLG、BT.2100)対応になっています。他社のNDIカメラだとパンチルトにしているものが多いのですがBOXタイプとしてユーザーが好みのパンチルトデバイスを選択できるようにしています。 

カメラの大きさは72mm(W) 84mm(H) 125mm(D) で重量は802gです。筐体の底面には三脚留めネジが切ってあります。前面にはタリーランプがあり、TriCasterなどNewtekNDI®でコントロールできる機種であれば動作するようになっています。レンズ先端にはフィルターがつけられるようネジが切ってあります。(49mm)
 後面には放送用IPカメラとして1GEthernetのインターフェースがあります。PoE(Power on Ethernet)に対応していますので対応スイッチであればLANケーブルから給電が可能です。もちろんそういった設備が無いところでもDC電源の入力は用意しています。NDI®の出力とは別にビューファインダー用のデジタル出力があります。ATOMOS SHINOBIやBlackMagicDesignのVideoAssistなどHDMI入力を備えたモニターに繋いでモニタリングすることも可能です。(なぜHDMI出力と言わないのかはお察しください、、)このほかに3.5mmステレオミニジャックでのオーディオ入力や、旧来からのRS232Cシリアルコントロールを備えています。

 カメラの設定/コントロールはWebブラウザから行うことが可能です。VCC-4KNDIのカメラ設定で解像度フォーマット、AE項目、ホワイトバランス、ノイズリダクション、ガンマ/ダイナミックレンジ設定、6軸カラー調整、レンズコントロールなど多くの項目を網羅しています。ネットワーク設定は自身のIP設定のほかNDI識別名、グループ名、TCP/UDP/マルチキャスト設定などがあります。システム設定ではログイン認証(Basic、Digest)やファームウェアアップデート、ファクトリーリセットなどが行えます。全てのブラウザで試したわけではありませんが大体は使えると思われます。

Clairvu Logo

VCC/DCC-4KNDIにはCISの別モデルカメラと同じくオリジナル画像処理エンジン Clairvu™ を搭載して正確な色表現、高画質を実現しています。色調整の項目が多く、狙った通りの色に合わせることが出来ます。2D/3Dノイズリダクションも強力でゲインを上げることに躊躇することもなくなります。また標準のBT.709の他にBT.2100(HLG)のガンマカーブが選択できHDRにも対応しています。残念ながらNewtek社のスイッチャーTrCasterは現在のところHDRに対応しておりませんがHDRは受け側にその処理ができていればいいので途中で何もしなければNDI®でHDRを伝送するといったことは可能です。

RestAPI Logo

カメラに対しWebブラウザ、Newtek NDI®、RS232でコントロールすることが可能ですがそれに加えRestAPIに対応しました。これによりネットワークを使ってリアルタイムに高度な制御を行うことが出来ます。URLとHTTPメソッドを使ってデバイス間の情報をやり取りするというIT業界では一般的な方法のためサーバーからのコントロールやアプリ開発が格段としやすくなります。本機では設定のほかズーム位置やフォーカス位置などの情報も取得することが出来ます。(JSONで返ってきます)

CIS VCC-4KNDI、DCC-4KNDIは従来からのCIS社テクノロジーを受け継ぎつつ放送用IPであるNewtek NDI®に対応したカメラです。単純に同軸ケーブルがLANケーブルに変わったということではなく、RestAPIに対応することでカメラをよりアクティブにコントロール、ネットワークで使用ということに関してより簡単なアプローチをユーザーに提供するカメラと考えています。

※NDI® is a registered trademark of Vizrt Group

■ 関連項目

 InerBEE 2021 (国際放送機器展)
この展示会で初めてVCC-4KNDI / DCC-4KNDIを展示いたしました。

 Newtek NDI®とUnreal EngineでAR/VR を作ってみた
InterBEE 2021でVCC-4KNDIの展示で行ったUnreal EngineをつかってのARデモを解説

InterBEE 2021 国際放送機器展

2021年 11月17日〜19日に幕張メッセて2年ぶりの実展示になったInterBEE 2021 国際放送機器展に出展側として参加いたしました。コロナ禍ということもあり出展者もまだ控えているところが多く数は従来の半分以下、来場者も同様でした。ブースの広さも大手の会社でも小規模なところが多く会場も全体にコンパクトでしたが来場者の密度はさほど変わらない気もしました。オンライン展示もあるのですが提示した商品以外の話へ広がることがなく実展示会場ならではのマニアな会話交わされるのが醍醐味で、とある企業は新製品も何もないのに「出ることが重要」と出展していたりしました。まぁそうかもしれません。

InterBEE 2021 Hall7, 8

InterBEE 2021 出展物一覧

本年も株式会社ニューエックス(映像制作/放送関連機材部門 /ホール7 /7511) での展示。放送用IP機材やファイルベース製作機材を用意しました。年々同軸ケーブルを使うことが少なくなりネットワークでのシステム構築にシフトしていきますがそれら用途に合わせた機材の展示をしています。

■ CIS VCC/DCC-4KNDI 4K/60P Newtek NDI® 出力 HDR対応 18倍ズームレンズ内蔵小型POVカメラ

CIS VCC-4KNDI

CIS社初の放送用IPの一つであるNewtek NDI®に対応した4K/60P HDR対応カメラです。製品自体は出来上がっていたもののコロナで発表する場がなくInterBEE2021で初の実機展示となります。CIS社の4K/60P HDR SDI出力カメラ、VCC-4KZMをベースとしNewtekNDI®に対応させました。NDIカメラは通常NDI|HXというLong-GOP、H.264/265を使った圧縮率の高いコーデックを使うのですがVCC/DCC-4KNDIはCIS社オリジナルの画像処理エンジンClairvu™の性能を生かすため敢えてFull NDI(もしくはFull bandwidth NDI)を採用し低遅延、高画質を実現しています。NewtekのスイッチャーTriCasterから操作もできます。設定はWebブラウザからGUI操作可能でこの他にRS232でのコントロールも可能ですが今回新しい試みとしてRestAPIでのコントロールを実現しています。A/V業界ですととんと馴染みのない用語かもしれませんがIT業界ではスタンダードな通信方法です。これにより映像、音声、コントロール、電源(PoE対応)がネットワークケーブル1本で済むことになります。

NDI対応 4K60P 18倍ズームレンズ搭載カメラ CIS VCC-4KNDI, DCC-4KNDI レビュー

注:VCC-4KNDIは左図のような筐体ありのモデルで、DCC-4KNDIは組込用モデルとなっています。

展示方法としてNDIカメラの出力をモニターに出すだけというのも芸がありませんので近年映像業界で使われつつあるUnreal Engineというゲームエンジンを使いVRを仕立ててみました。本当はグリーンバック使ってスタジオっぽいことやりたかったのですがブースの関係上ARにしました。ARとVRの違いは単に実写映像とCGのレイヤーの順番が違うだけです。Unreal EngineへはNDIを取り込む機能がプラグインとしてNewtek社から提供されておりキャプチャカード無しに取り込むことができます。カメラの位置や傾きの検出にはVR用トラッカーを使用。1秒間に最大120回計測してBlutoothで情報が送られてきます。カメラのレンズ情報ですがこれは先ほど出てきたRestAPIを使って随時ズーム、フォーカス、アイリスの情報を読み出しています。(JSONで返ってきます。)これらを組み合わせてカメラの映像とCGを連動させて合成しARを実現させました。

これについても別記事で解説したいと思います。

VCC-4KNDIにリグを使ってトラッカーを設置

AR合成結果。4K60Pでリアルタイムに動作してます。


NDIを使うには適切な対応ネットワークスイッチを使うことが重要になります。NETGEAR社にはNewtekNDIに最適化したProAV対応スイッチ、M4250シリーズ/M4300シリーズがランナップされています。InterBEEのNETGEARブースで展示されていました。ちゃっかり組込用NDIカメラCIS DCC-4KNDIも一緒に展示されています。もちろん動作検証はOKです。

NETGEAR NDI対応スイッチとCIS DCC-4KNDI


■ CIS VCC-4KZM 4K/60P SDI 出力 HDR対応 18倍ズームレンズ内蔵小型POVカメラ

VCC-4KZM InterBEE2021

まだまだSDIでの運用が必要だという方にはこちらの機種がおすすめです。上記のVCC/DCC-4KNDIのベースとなったモデルです。4K/60P出力、HDR BT.2100 HLG出力、12bit A/D 12bit画像処理(Clairvu™)10bit SDI出力を備えています。詳細はブログのレビューで紹介しております。

CIS VCC-4KZM レビュー Part1
CIS VCC-4KZM レビュー Part2
CIS VCC-4KZM レビュー Part3

VCC-4KZMで撮影したデモ映像をYoutubeに載せてあります。
 VCC-4KZM HDR Test Shooting 4K/60P HLG Version


■ M-Design MD-LC100 レンズコントローラー、M-Design Tablet Controller

MD-LC100&TabletController

VCC/DCC-4KNDI、VCC/DCC-4KZMに対応したレンズコントローラーMD-LC100。アナログ操作感を重視してズーム、フォーカス、アイリスを調整できます。ズームレバーには拘っており、この手のズームスイッチは適当なのが多いのですが本製品はFUJINON製のズームレバー(放送用レンズに付いているズームレバーのそのもの)を採用しています。64段階のアクセラレーションで動作しカメラマンの腕がそのまま反映されます。そんなに要らないということであればコード書き換えもできます。
Tablet ControllerはCISカメラ VCC-4KZM、VCC-4K2、VCC-HD3などに対応したAndriodタブレットで動作するカメラコントローラーアプリです。(機種別アプリ)Android OS 7.0以上に対応。カメラとはUSB-RS232C変換ケーブルで繋ぎます。(変換ケーブルも用意してます。)上記のMD LC-100をブリッジにして繋ぐことができ、併用することも可能です。カメラ設定内容はカメラ自身に書き込む他、タブレット内、SDカードに記録ができるためマルチカメラ運用で他のカメラと設定を共有したりカメラ毎の設定をタブレットに保持しておくといったことが可能になります。展示会場ではAndriodタブレットとしてAmazonタブレット FireHD7を使いました。安いし、ソフト自体そんなにパワー要らないので、、


■ Cinedeck NDI / SRTレコーダー  Cinedeck LX

CinedeckLX InterBEE2021

Newtek NDI® やSRT (Secure Reliable Transport) に対応したマルチカメラネットワークレコーダー/プレーヤーです。最大8chのマルチカム収録が可能です。Cinedeck社の従来製品と同じく放送向けレコーダーと同じVTR感覚での運用が可能ですしRestfulAPIでのコントロールも可能なため他社のメディアサーバーと組み合わせて使うことが出来ます。
オプションでST-2110に対応したりPRORES HQ/XQ, DNXHR SB/LB, XDCAM, AVC-I / XAVC,JPEG2000へ書き出しをすることも可能になります。今後の放送IP化にあたってかなり強力なソリューションとなります。


■ Hedge Video ソフトウェアベース波形モニター  ScopeBox4

ScopeBox4

Hedge Video社のソフトウェアベースのスコープモニタ。ポストプロダクションで必要な波形やベクトル、ヒストグラム、オーディオメーターなどこれ一つで賄うことが出来ます。ScopeLink機能を使うとPremierePro, Final Cut Pro X, After Effects, Davinci Resolve, Assimilate Scratchなどの編集アプリケーションからScopeBoxにデータを送ってモニタリングできるため、編集ソフト付属の機能では物足りない場合はかなり強力なツールセットになります。価格もかなりお手頃です。

※Mac版のみの提供となります。


このほかにも国内のポスプロにじわじわ納入されているファイルリテイク編集ソフトのCinedeck cineXtoolsや様々なコーデクのファイルを高速にトランスコードするHedge Video社のEditReady、グローバルシャッターを採用した4K/60P HDRカメラ CIS VCC-4K2などを展示。ブース1コマの割には出展物盛りすぎ感もあり説明が追いつかないところもありましたが改めてご説明、ご紹介させていただきたいと思います。

グローバルシャッターとローリングシャッター

カメラには一コマ一コマ確実に露光/遮光するためのシャッターが搭載されています。大きく分けてグローバルシャッターとローリングシャッターというものが存在していて世の中にあるほとんどのカメラはローリングシャッターが使われています。このローリングシャッターは普通に使っている分には問題がないのですが早い動きのある被写体やカメラが振動などでブレたりすると画面が歪んでしまうという特性があります。走っている電車の窓が歪んでるとかプロペラの形が変になっているとか、ドローンやアクションカメラの映像がぐにょぐにょになっているとかよく説明で使われることと思います。そういった現象の出ないグローバルシャッターとともにカメラシャッターの説明をしていきます。

  高速で移動する物体は歪んでしまう
  プロペラ系はキモいくらい変な形になる

■ ローリングシャッターだとなぜ画像が歪むのか?
ローリングシャッターで高速で動いている物体や振動で画像が歪んでしまう理由は全く同じ時間に一画面を記録していないからです。デバイスの種類にもよりますが記録のタイミングが全画面同時ではなくシャッターの降りる時間内である方向からスキャンして記録していきます。この時間内で被写体が動いてしまうと歪みやブレとなって現れてしまいます。デジタルカメラデバイスでよく使われるCMOSイメージセンサーで説明していきます。

ローリングシャッターのCMOSイメージセンサーでは撮像をある方向から1ラインずつ露光してデータを取り込んでいく構造になっています。横棒の長さはシャッタースピード時間です。次のライン読み込みまで時間がかかってしまうためこの時間のずれが画像の歪む原因となります。同じ画面の上下で露光しているタイミングが違うので当然そうなってしまいますね。最近では高速読み取り技術を使ってほとんど歪みが出ないようにしているセンサーもありますが細かいブレは抑えらていません。

一方グローバルシャッターのセンサーでは全画素同じタイミングで露光しデータの読み出しも同じタイミングで行われます。なのでローリングシャッタのような歪みというのは起こらないことになります。(ただし全く歪みとかブレが出ないというわけではなくシャッタースピードと被写体の移動スピードが適切でなければブレはでます。)
こうしてみるとローリングシャッターダメじゃんと思われるかもしれませんがいくつかの理由でそれが別に構わないとされてきた経緯があります。フィルム時代のシャッターがどうなっていたか説明します。

映画用フィルムカメラのシャッターはロータリーシャッターと言って図の回転するパックマンのような形の口にあたる部分を広げたり狭めたりすることで調整します。映画のフレームレートは24なので90°なら1/96sec、180°なら1/48sec というような感じです。(普通は180°を使う)パックマンは1コマにつき1回転して遮光している間に次のコマにフィルムが送られます。というわけで映画用フィルムカメラは全画面同時露光でなかったのです。スチルカメラで使う上下に幕が移動するフォーカルプレーンシャッターも同じことです。CMOSイメージセンサーほどのブレや歪みは出ませんがそれでもカメラってそういうものというイメージがありました。

ちなみにCMOSイメージセンサーと機械式回転シャッターを組み合わせてローリングシャッター歪みを低減したカメラってのも存在します。(SONY F65RS) ただしメカニカルシャッターはそれ自体振動の元になったり故障の原因にもなったりします。最新のデジタルシネマカメラはそういった機構は付いてないようです。後継のVENICEには無さそうですしね。

■ デバイスによって変遷するシャッター方式
ビデオの場合はちょっと複雑で時代により使う撮像デバイスによってローリングシャッターだったりグローバルシャッターだったりしていました。
撮像管:ローリングシャッター 1980年代まで
CCD:グローバルシャッター 1980年代〜2000年代初めまで
CMOS:ローリングシャッター 1990年代後半〜

撮像管はテレビ創生期からあったデバイスで真空管の一種のようなものです。焼き付きがあったり振動に弱く、レジずれ調整とかいろいろ手間のかかるもので長らく業務でないと使わない代物でした。その後CCDイメージセンサーが出てきて撮像管の持つ物理的なデメリットが解消され民生用カメラにまで一気に使われることになります。しかもこいつは最初からグローバルシャッターです。2000年代初めまでイメージセンサーといえばCCDでした。ただしデメリットがなかったわけではありません。CCD一番のデメリットはその複雑すぎる構造です。それゆえ製造コストが高く高解像度化も難しい、消費電力も高いということで現在ではほとんどCMOSにとって代わってしまいました。(工業用とか特殊用途にはCCDが現在でも使われています)そしてつい最近になってグローバルシャッターのCMOSが出てきたということになります。

■ グローバルシャッターとローリングシャッターの使い分け
世の中のカメラが全てグローバルシャッターCMOSになったかというとそうではありません。ローリングシャッターCMOSと比べるとCCDほどじゃありませんが構造が複雑なためコストは高く、感度は若干低め(同じセンサーサイズなら)、消費電力はチョイ上がります。コスト重視のカメラならローリングシャッター1択になってしまいます。なのでまだまだローリングシャッターカメラがほとんどで撮影する被写体によって使い分けることが必要だと思ってます。
グローバルシャッターカメラで優位な撮影を挙げると
 ・動きの速い被写体の撮影(スポーツ中継とかカメラで被写体を追う場合)
 ・撮影時に振動がどうしても避けられない場合(ドローン撮影、車載映像など)
 ・後で画像解析が必要な場合(歪みがアーティファクトノイズとなる)
 ・VFXでクオリティの高い合成を実現させたい場合(ブラーは後処理でかければいい)
 ・複数のセンサーを使うVRカメラの後処理でスティッチング(VR用に複数センサー画面を貼り合わせて合成すること)をするケース
ということになります。単純にブレない映像を見せる場合やローリングシャッターの歪みが余計なアーティファクトになるのを防ぐといった感じになります。

グローバルシャッターカメラで撮った映像の例を挙げておきます。CIS VCC-4K2 4K60Pカメラを使用し首都高の車載映像です。
 Metropolitan Expressway 4K/60P HDR Shooting HLG Version

標識の看板も読めますし、段差の振動も自然。両脇の流れもブレずに収録されていますがグローバルシャッターならではといったところです。CISグローバルシャッターカメラの実例としては
 ・国内某サーキットのゴール判定での使用(300km/h近いスピードでも歪まずブレない)
 ・VFX用ロボットカメラとして使用(ブンブン振り回すらしいのでグローバルシャッターが適当)
 ・大御所海外ヘビメタバンドのドラマーがライブで自身の撮影に使用(ドラムはかなりの振動になります。しかもドラマー個人の所有物)
というのがあります。

撮り方を工夫すればローリングシャッターでもいいところまで追い込めたりしますがグローバルシャッターカメラを経験するとあんまりローリングシャッターで撮りたくなくなるのも事実です。

SRTでストリーミング

最近使われるようになったビデオストリーミングプロトコル SRT (Secure Reliable Transport) 。 従来のRTPとかRTMPとかに変わるものでリアルタイム性と信頼性を兼ね備えた新しい配信技術になります。オープンソースということもあり採用する企業が短期間でかなりの数伸びているということも人気の一つです。ちょっとSRTを使う機会があったので少し書いていきます。

SRT Logo


SRTはカナダの企業 Haivision社が提唱したストリーミング技術でSecure(安全)、Reliable(確実)、Transport(ネットワーク伝送)の頭文字をとったものです。類似の規格にZixiとかRISTなどがありますがオープンソースでアライアンス活動に積極的ということで450社以上のメンバーの参加、25,000以上の組織で使われているようです。(2020年12月時点)
ちなみに全米テレビ芸術科学アカデミー (NATAS) からエミー賞を受賞しています。(テクノロジー&エンジニアリング部門 2018年度)

 

 

■ 映像配信で使う通信プロトコル
ネットワーク通信の基本はWebやメール通信などで使われるTCPプロトコルを使っています。一般のインターネット回線は専用線に比べて信頼度は低く、どうしてもパケットロスやジッターによるデータ欠損が生じてしまいます。TCPはそんなときにもう一度データを送ってくれる仕掛けがあるプロトコルです。今見てるページを見て所々文章が無くなっているとか画像が見えないってことはありませんよね?TCP通信でデータ欠損してもその部分を再送信しているために全データを送ることができるからです。

映像配信だとTCPはどうなのかいうとパケットロスのたびに再送信とかやってるとその度に映像が止まってしまいます。それだとイライラして誰も見てくれなくなってしまうので一旦バッファと呼ばれるデータを溜め込むところにプールしておいて時間差で映像を流すということをしています。パケットロスの頻度に応じてプールする容量を増やしておけば映像が止まらずに視聴することができます。一般的な視聴ではTCPを使ったHLSやMPEG-DASHという技術で通信を行っていてこういったバッファ処理が含まれています。その代わり遅延は数十秒以上になることがあります。
視聴者側からするとその遅延はあんまり気になりませんがライブプロダクションなど番組を作る側からするととんでもないことになります。外からの中継で片方向に数十秒もかかっていたらやりとりが出来ませんよね?何処の星との中継だよと言いたくもなります。

プロトコルSMPTE-2110SMPTE-2022-6Evertz
ASPEN
SONY NMINewTek NDI
通信方式UDPUDPUDPUDPUDP/TCP

上の表は代表的な放送用IPフォーマットの一覧です。遅延はいずれも1フレーム以下(数ライン〜数十ライン)でほぼほぼTCPを使っていません。UDPはTCPと対となるプロトコルでTCPのようにちまちま処理をせずドッカンと送る方式です。リアルタイム性が高く放送向きである一方、データ欠損が起きた場合に再送信とかの処理は一切しません。(細かいことは気にしないタイプ)その代わりFEC(Forword Errror Correvtion, 前方誤り訂正)などの技術を併用して多少の欠損は復元させて問題がないようにしています。とはいえそれだけで対処するのは難しく放送用IPは専用線やガッツリ設計されたネットワーク網を使うのが前提で多分に怪しいインターネット網を使うことは想定していません。

■ インターネット回線で高品質を保持するSRT
インターネット網でリアルタイム性を追求した配信方式がSRTとなります。放送用IPと同じくUDPを使うのですが強力なエラー訂正により品質を保持するようになっています。
主な特徴として
・ARQ(Automatic Repeat reQuest)機能を搭載し送信受信側でパケットロスを検知すると自動でデータを再送信してくれる。
・低遅延(数百ms)
・ファイヤーウォール透過機能
・AES 128bit/256bitの暗号化
などがあります。
Caller、Listenerともにバッファを持ち常にデータの流れを監視していてデータロスがあればTCPと同じように再送信、処理が間に合わそうであればエンコーダーのパラメータを自動調整してストリームを途切れなくさせる仕組みが備わっています。
送受信合わせて数百msの遅延をどう捉えるかなのですが、例えば遠隔地から衛星中継のようなコンテンツであればさほど気にならないでしょうし一般のインターネット回線が使えるので高額な通信回線料を払わなくて済むようになるのは大きな利点だと思います。
ちょっと試してみたいところですがまだまだSRTが使える機材はまだまだ少なく、ハードウェアエンコーダー/デコーダーがほとんどのようです。

と、思ったら手元にSRT対応のカメラがッ!
とある用途で借りてたカメラですがSRT機能が使えるのはノーマークでした、、、手のひらサイズですが4K/60Pまでいける某社のOEM向けカメラです。(なので基盤剥き出し)さっそくセットアップしていきます。

■ SRTストリーミングを試してみる

SRTではカメラやエンコーダーなどの送信側をCaller、デコーダーなどの受信側をListenerと定義するようです。今回はListener側としてPCを使いフリーソフトウェアのFFmpegで受信してみます。SRT規格では1つのListenerに対し複数のCallerからのストリームが受信できますが今回は1対1で試しています。

・カメラ側の設定
 Destination IP   送信先のIPを設定します。ポートは1024以降で他の映像プロトコルで使用しない番号を選びます。(今回は8700としました)
 Latency      バッファ時間(デフォルトは120ms)
 Encryption     暗号化。AES-128、AES-256が選べます。
 Passphrase     暗号のパスワード。10文字以上79文字以下に設定する。

以上を設定してストリーミングをスタートさせます。

FFmpegからはコマンドプロンプトで

$ ffplay -i ‘srt://localhost:8700?mode=listener’

暗号化をした場合は

$ ffplay -i ‘srt://localhost:8700?mode=listener&passphrase=[Pass]’

とします。[Pass]の部分は設定したパスワードと読み替えてください。
走らせてみると結構すぐにズバンと動画が流れてきます。遅延的には2秒くらいですが(カメラ処理、SRT通信、PC側のデコードの総合時間)何にもチューニングしていないのでもう少し時間は縮められそうです。映像は解像度1920×1080 60fps、H.264 7Mbpsくらいで送っています。海外でスポーツ中継の事例では遅延0.5秒というのがあるらしいです。

 

放送用IPほどの遅延のなさはありませんが従来のRTPやRTMPに比べて十分短く、エラー訂正機能も強化されていることから制作コストを抑えて伝送できるのは十分魅力的だと思います。遠隔地への中継や、ちょっと広いところでwifiを使ってケーブルを使わず伝送など気軽にリアルタイム中継ができるようになるのではないでしょうか?

国際画像機器展 2020

2020年12月2日〜4日にパシフィコ横浜で行われる国際画像機器展2020に参加。InterBEEなど他の展示会が軒並みオンラインイベントや中止となる中で今年最初で最後の参加展示会となりました。コロナ感染リスクに備えての展示とはいえ例年に比べて3割ほどの入場者、展示社数も減り、同時開催のビジュアルExpoも今年は無しという開催でした。とはいえマシンビジョンカメラはそもそもリモートで使うものですしセキュリティや監視にも合っているわけですからコロナ以後のニューノーマルには欠かせない機材ではないかなぁと個人的には思ってます。

 

CISのブースでは5000万画素CoaXPressカメラのVCC-50CXP1Mや2000万画素のVCC-20CXP6Mを始めとしてSWIR画像が取れるカメラVCC-SXCXP1SW、最近話題になっている1200万画素偏光カメラなどを展示。特殊撮影でこういった工業系カメラを使ったりすることもあります。
もちろん放送系として18倍ズームレンズ内蔵 小型4K/60PカメラであるDCC-4KZMも出品。専用コントローラーとしてM-Design レンズコントローラー MD-LC100、タブレットコントローラー DCC-4KZM Controller Liteも一緒に展示しました。レンズコントローラーは半年以上前のステイホーム期間中に作ったものですが展示する機会が無く、今回初めてのお披露目となりました。

 

18倍ズームレンズ搭載4Kカメラ CIS DCC-4KZM レビュー Part3

CIS社小型4K/60Pカメラ DCC-4KZMのレビュー3回目です。実際に屋外/屋内で撮影をしてみました。収録した映像はYouTubeにアップしたのでそれを元に説明していきます。(本レビューは開発中の機能が含まれています。)

 CIS DCC-4KZM HDR Test Shooting
 https://youtu.be/qXu8txoHvdA

映像はいつも通り編集段階でカラーグレーディングとかは一切行っていません。撮影時そのままの色になっています。視聴にはHDR対応モニタを使うと本来の色に近くなります。SONY BVM-X310 とかのマスモニだとはっきり分かります。(失敗したやつとか、、、)

実際に撮影するにあたり基盤剥き出しのままでは危ないので外装を装備しました。レンズ前面にはフィルターが付けられるように49mmのネジが切ってあり、後方には電源やRS232コントロール、外部同期、LTCなどの信号をまとめたコネクタが付いています。下部には三脚に取り付けられるよう1/4”、3/8”ネジが切ってあります。
筐体の大きさはWide 70mm、Height 70mm、Depth 110mm くらいです。(突起部含まず)

 

収録にはATOMOS SHOGUN INFERNOを使用。DCC-4KZMとは3G-SDI x 4で接続。ATOMOS HDRでHLG 2100、Rec.2020カラーでモニタリング。カメラのHLGはSDR比で600%、1200%が選択でき、いつも通り1200%を使っています。
レンズコントローラーは三脚ヘッドの下あたりの脚に装着させています。一般的なコントローラーだとパン棒につける場合が多いのですがデバイスが小さくなるためフォーカスノブとかが小さすぎなのと割とパン棒の向きを変えて撮影するので操作しづらく、この位置に固定した方が安定しますね。今回はフォーカス、ズーム、アイリスは全てマニュアルで撮影しています。
コンテンツには音声が含まれていませんがマイクとしてAZDEN SGM-250CXを使いました。

 

実際に撮影をしてみます。コンテンツには早朝、室内、夕方、夜間のシチュエーションを含んでいます。
DCC-4KZMにはCIS社のレンズ交換式4K/60PカメラであるVCC-4K2と同じ独自の画像処理エンジン Clairvu™ が搭載されていて画面全体のカラーバランスがうまく保たれています。全体が直しようのない色バランスになったり、こっちの赤色はいいけどそっちの色は合ってないとかそのようなことは出てきません。実際にほとんどデフォルト値で撮っています。この辺りはVCC-4K2と同じです。もうちょい色を変えたいという時だけパラメータを設定するだけなのでセットアップ時間が短くて済みます。画質的にはVCC-4K2+高画質単焦点レンズよりは若干落ちるもののズームレンズがあることでENGカメラっぽく撮影できることが最大の利点です。

 

夜間の撮影にはGain +12db上げています。昔だったら+6db上げるのにひどく迷うのが普通でしたがDCC-4KZMでは全く気になりません。本編は従来からある2Dノイズリダクション機能を薄く使いましたが本機はさらに強力な3Dノイズリダクション機能があります。映像の最後にオマケとして入れておきました。使ったことのないGain +48dbにShutter 1/180、F5.6でノイズだらけの画像に3DNRをかけた実験映像です。ほとんどノイズが目立たなくなるのがわかると思います。ただしフレーム間処理なのでカメラが全体的に動くような映像だとブレというかダブりのような画像になります。この辺はカメラを固定するとか使い方によると思います。

  

総評としては18倍光学ズームレンズ内蔵ということで決める画角の自由度が高くPOVだけでなくENGカメラとしても使えそうなユーティリティ性があり、高速シリアル通信によるレスポンスの速いコントロール(特にレンズコントロールで有意)、従来から引き継いだClairvu™による高画質などが挙げられます。コンテンツ制作はもちろんのこと医療や3DNR使用による監視やライトが使えないところでの撮影と用途は多いのではないかと思います。性能は違いますがVCC-4K2+単焦点レンズの価格で何台かDCC-4KZMが買えてしまうコストパフォーマンスの良さもあります。4Kハンディカムで画質に不満があるのならDCC-4KZMを試す価値は十分にあると思います。

  

18倍ズームレンズ搭載4Kカメラ CIS DCC-4KZM レビュー Part2

MD-LC100

CIS社の4Kカメラ DCC-4KZM レビューPart2です。カメラレビューと言いながら今回はコントロール系の話になります。前回タブレットで操作できるレンズコントローラーソフトウェアを作ってはみたものの、やっぱりレンズは回してナンボということもありハードウェアを作ってみることにしました。
※本レビューは開発途中の機能を含んでいます。


DCC-4KZMのカメラコントロールはシリアル通信で行います。(今回はRS-232を使用)コマンドセットはCIS社独自のプロトコルになります。命令にはSENDとGETがありGETでカメラの各ステータスを読み取ることもできます。フォーカス、アイリス、ズーム制御はそれぞれ複数のやり方があるので制御側のハードウェアの種類によって選ぶことができます。

零号機

とりあえず勢いで作った零号機です。大きさはiPhone8くらい。秋葉原で適当なパーツを買って組み立てました。
コントロールに必要なのはフォーカス(大きいツマミ)、アイリス(ボタン2つ)、ズーム(小さめのツマミ)なのでそれに絞って部品を配置。ユニバーサル基板なので位置決めに制限が出てしまい、ズームがダイヤル、アイリスが+/-制御のボタンになってしまいました。使えないことはないんですけど、ズームはやはりレバー方式にしたいしアイリスも細かく制御したいところです。この辺りは一般のパーツ屋さんで用意できる範疇を超えてしまいます、、、

市販のコントローラーにはズームレバー?が付いてたりしますが小さくて操作しにくかったり手に入れられるかわからなかったので代理店に無理を言ってフジノンの放送用レンズで使っているパーツそのものを入手してみました。コレだよコレ!とフニフニ触って満足してしまいましたがどう制御するかはこちらで考えなくてはなりません。そもそもこのパーツ結構大きいのでケースに収めるには基板に穴を開けねばならず、基板そのものをオリジナルで設計することになりました。基板の設計にはそれ用のCADを使い、回路図や部品配置、穴開けなどの情報が詰まったGarbarデータなるものを作成します。作ったデータはクラウドに上げてしばし待つと出来上がったものが送られてきます。いい世の中になったものです。(4層基板、RoHS対応、ムダに青色)

各パーツをハンダ付けしてケースに取り付けてプログラムコードを流し込んだら完成です。ケースはメーカーに加工してもらいました。穴開け位置を指定したCAD図面と天面のデザインデータ(イラレデータ)を渡すとやってくれます。(1つしか作らなかったので結構な値段、、、)

レンズコントローラー MD-LC100 仕様
フォーカス:分解能10bit、横のボタンでマニュアル/オート切替。
      長押しでOne Push Focus
アイリス :分解能10bit、横のボタンでマニュアル/オート切替。
ズーム  :レバーの傾きにより64段階のアクセラレーション。

DCC-4KZMからシリアル通信が9600、38400、115200bpsから選べるようになりました。115200bpsではマニュアルレンズを直に操作するのと変わらない反応をしてくれます。スピードは正義です。(9600bpsだとワンテンポ遅れる感じ)


DCC-4KZMのフォーカス分解能 3584段階に対してコントローラーは1024段階ですが実用には問題ありません。もう少し大きいイメージセンサーとズーム比なら12bitにしてもいいかなという感じです。(プログラム次第で変更できそう)アイリスはこの手のカメラだと絞りが1段づつしかできないものがあったりしますがこれは完全にアナログ無段階のように設定できます。ズームのアクセラレーションはカメラの仕様通り64段スピードで動かせます。そんな細かい調整できないと思うかもしれませんが意外と慣れると出来るものです。

 

DCC-4KZM Controller

レンズ以外のコントローラーは?って話ですが、それ用のタブレットコントローラーを作りました。レンズ以外のコントロールをこちらで行います。よく使われる機能をUI配置してそれ以外はリモコンRU-100の機能を搭載させてOSD(On Screen Display)を使って設定という感じです。カメラとはMD-LC100と差し替えて繋ぐこともできますし、MD-LC100をブリッジ役として数珠つなぎすることもできます。シリアル通信スピードの変更も可能です。(RU-100は9600bps 固定)カメラを設定してしまえば後はレンズ操作がほぼになるので外しても構いませんというスタンスです。

 

USB-RS232 変換ケーブル

タブレットとカメラ/コントローラーに繋ぐにはUSB-シリアル変換器なるものが必要です。市販品を組み合わせて使うとなると途中がD-Sub 9pinであることが多くて重くかさばってしまいます。タブレット側のUSB端子に変なテンションがかかってしまうので変換ケーブル自体も作ってみました。これなら数グラムで済みます。USB-シリアル変換にはFTDIチップを採用しています。(タブレットソフトはProlificチップにも対応)


ようやくこれで実機テストの準備が出来ました。基本ワンオペ、ENGタイプでテストしようとしているのでメーカーの想定外になるかもしれませんが十分参考になると思います。

Part3へ続く

18倍ズームレンズ搭載4Kカメラ CIS DCC-4KZM レビュー Part1

CIS DCC-4KZM

2019年の国際画像機器展で発表されたCIS社の18倍ズームレンズ付き4Kカメラブロック、CIS DCC-4KZMを数回に分けてレビューします。同社4KカメラVCC/DCC-4KZMと同じく画像アルゴリズムであるClairvuを搭載、HDR(HLG75)対応で画質そのものは同等。ズームレンズが付いたことにより今まで以上に多様なアプリケーションで使えるようになると思います。(撮れるものが違ってくる)
※本レビューは開発途中の機能を含んでいます。

CIS DCC-4KZM 主な仕様
イメージセンサー SONY STARVIS IMX334 1/1.8″CMOS ローリングシャッター
画素サイズ    2.0μm(H) ×2.0μm(V)
有効画素数    3840 x 2160
出力解像度    2160p, 1080p, 1080i
出力信号     3G-SDI x 4ch, 3G-SDI x 1ch, HD-SDI x 1ch : Y/Pb/Pr(10bit)
同期方式     内部同期 / 外部同期
内蔵レンズ    光学18倍オートフォーカス ズームレンズ
         焦点距離 6.6mm〜120mm / F値 1.61(wide) 〜 4.13(tele)
消費電力     typ. 11W / max 13W (条件:DC+12V 入力時)
外形寸法     H:65mm W:66mm D:98mm
重量       316g

イメージセンサーのSONY STARVIS IMX334は最近の4Kカメラでよく使われています。裏面照射型で画素が小さくなっても明るく写ります。もっともセンサー性能を引き出す画像処理でかなり画質が違ってきます。DCC-4KZMにはCIS画像処理エンジンのClairvuが搭載されています。出力信号はSDIです。4K出力には3G-SDI x 4本で出力します。Squere Division(田の字)、2 Sample-Interleave どちらにも対応しています。フレームレートは60pのほか50p, 24pなど全て揃っているので一般放送用、映画用の仕込みカメラとしても使えるでしょう。


カラー調整も充実しており、あまり困ることは無いと思います。ホワイトバランスはオートでもかなりカラーバランス保ったまま追従できますしプリセットも豊富に用意されています。もちろんマニュアルでの調整(R Gain, B Gain)も可能ですし色温度(K ケルビン)を数値で指定することも可能です。RGBカラー調整や色補正、色飽和抑制の機能も有しています。ガンマ/画質系はBT.709系とHLG75のカーブ切り替え、ダイナミックレンジ設定(最大でBT.709は400%、HLG75で1200%)、Knee(BT.709のみ)、輪郭補正などが備わっています。

DCC-4KZM Mount

とりあえずマウントしてみます。むき出しのまんまなのでマウントというよりただ載せて縛っただけです、、 カメラの下は組込部品のベース/放熱板になっています。そこそこ熱くなりますがファンを付けるほどでは無いのでケース製作も無理なくできると思います。このまんま数日動かし続けているので最近の小型4Kカメラのようにオーバーヒートして止まったり故障したりすることは無いようです。上部に載せているのはテスト用の電源+リモート端子基盤です。DCC-4KZMはRS-232C/RS-422でコントロールできます。(排他使用)

 

Tablet Controller DCC-4KZM

カメラのコントロールにはCIS社のリモコン RU-100、もしくはCIS Webサイトからダウンロードできるテスト用アプリが利用できます。とはいえOSD(オンスクリーンメニュー)だけで操作とか外へPCを持っていくわけにはいかないのでAndroid タブレットで操作できるソフトウェアを作ってみました。とりあえずカメラのコマンドがたくさんあるのでテスト用ということでレンズ操作を優先にしています。これでようやく実機レビューとなりそうですが、実際に外で撮影はしてみたもののやっぱりタブレット操作でのレンズ操作は難しい、、、
POVカメラとして使うのならまだしもENGっぽく使おうとすると合わせるのに時間がかかってしまい撮りたいものが撮れなくなってしまいます。
ということでレンズコントローラーを急遽作ることになってしまいました、、、

Part 2へ続きます

国際画像機器展 2019

国際画像機器展2019 CIS ブース

 2019年 12月4日〜6日にパシフィコ横浜で国際画像機器展2019が開催されました。いつもの放送系とは毛色が違いなかなかマニアックな内容が多く、わかる人だけで構わないという雰囲気もまた良しです。今年の展示はA.I.や三次元計測、偏光カメラが多かった気がします。
 そのような中、シーアイエスもブースを出して新製品を発表しました。

 製品についての詳細は追ってUpしたいと思います。



CIS DCC-4KZM

CIS DCC-4KZM

 光学18倍ズームレンズを内蔵した4K/60P出力のカメラブロックです。
 ソニー STRAVIS 1/1.8型 ローリングシャッターCMOSセンサーを使いHDR(BT.2100 HLG)、BT.2020/BT.709の色域に対応しています。もちろんシーアイエスの画像処理エンジンClairvuを搭載。映像出力は4K 3G-SDI x4、HD 3G-SDI/HD-SDIの放送仕様となっています。そのほかの機能はLTC出力、外部同期対覆うなどVCC-4K2に準じます。大きさは66mm(W) x 65mm(H) x 98mm(D) になります。
 組込用なのに早くもガワ(筐体)作れと言われております。

CIS VCC-4KHS

CIS VCC-4KHS

 2/3型 グローバルシャッターCMOSを使った4K/240Pのハイフレームレートカメラ。画像機器展なので出力はCoaXPressを使っていますが元々は放送用機器として設計されているのでSDI出力モデルも予定されています。レンズマウントも写真のようなCマウントのほかB4バヨネットマウントに対応していて2/3インチセンサーなので放送用4Kレンズがそのまま使えます。
大きさは100mm(W) x 100mm(H) x 100mm(D)のキューブ状で筐体が小さいのも利点です。