特表 2022-554409 マルチスペクトルボリュメトリックキャプチャ

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公表特許公報(A)

(11)【公表番号】

(43)【公表日】2022-12-28

(54)【発明の名称】マルチスペクトルボリュメトリックキャプチャ

(51)【国際特許分類】

   G01B 11/245 20060101AFI20221221BHJP

   G01B 11/25 20060101ALI20221221BHJP

【ＦＩ】

G01B11/245 H

G01B11/25 H

【審査請求】有

【予備審査請求】未請求

(21)【出願番号】P 2022526780

(86)(22)【出願日】2020-12-11

(85)【翻訳文提出日】2022-05-10

(86)【国際出願番号】 US2020064513

(87)【国際公開番号】W WO2021119427

(87)【国際公開日】2021-06-17

(31)【優先権主張番号】62/947,684

(32)【優先日】2019-12-13

(33)【優先権主張国・地域又は機関】US

(31)【優先権主張番号】17/119,003

(32)【優先日】2020-12-11

(33)【優先権主張国・地域又は機関】US

(81)【指定国・地域】

(71)【出願人】

【識別番号】000002185

【氏名又は名称】ソニーグループ株式会社

(71)【出願人】

【識別番号】596102126

【氏名又は名称】ソニー ピクチャーズ エンターテインメント インコーポレイテッド

(74)【代理人】

【識別番号】100092093

【弁理士】

【氏名又は名称】辻居 幸一

(74)【代理人】

【識別番号】100109070

【弁理士】

【氏名又は名称】須田 洋之

(74)【代理人】

【識別番号】100067013

【弁理士】

【氏名又は名称】大塚 文昭

(74)【代理人】

【識別番号】100109335

【弁理士】

【氏名又は名称】上杉 浩

(74)【代理人】

【識別番号】100120525

【弁理士】

【氏名又は名称】近藤 直樹

(72)【発明者】

【氏名】メッツガー スコット

(72)【発明者】

【氏名】ベイリー デイヴィッド

【テーマコード（参考）】

2F065

【Ｆターム（参考）】

2F065AA04

2F065AA53

2F065BB05

2F065DD04

2F065DD06

2F065FF01

2F065FF02

2F065FF05

2F065FF07

2F065FF09

2F065GG04

2F065GG22

2F065GG23

2F065JJ03

2F065JJ05

2F065JJ26

2F065LL22

2F065PP22

2F065QQ31

(57)【要約】

被写体のビデオキャプチャは、前記被写体のビデオデータをキャプチャするための第１のＩＲカメラ、第２のＩＲカメラ及びカラーカメラと、ポストであって、前記第１のＩＲカメラ、前記第２のＩＲカメラ、及び前記カラーカメラは、前記ポストに取り付けられ、前記カラーカメラは、前記第１のＩＲカメラと前記第２のＩＲカメラとの間に位置決めされる、ポストと、前記被写体を照明するための少なくとも１つのＩＲ光源と、前記第１のＩＲカメラ及び前記第２のＩＲカメラからのデータを使用して、前記被写体に対する奥行きソルブデータを生成し、前記カラーカメラからのデータを使用して、前記奥行きソルブデータ上に色を投影することによって、投影カラーデータを生成し、前記奥行きソルブデータと前記投影カラーデータとをマージすることによって、最終キャプチャデータを生成するように構成されるプロセッサと、を含む。
【選択図】図２

【特許請求の範囲】

【請求項1】

被写体のビデオキャプチャのためのシステムであって、
前記被写体のビデオデータをキャプチャするための第１の赤外線（ＩＲ）カメラと、
前記被写体の前記ビデオデータをキャプチャするための第２のＩＲカメラと、
前記被写体の前記ビデオデータをキャプチャするためのカラーカメラと、
ポストであって、前記第１のＩＲカメラ、前記第２のＩＲカメラ、及び前記カラーカメラは、前記ポストに取り付けられ、前記カラーカメラは、前記第１のＩＲカメラと前記第２のＩＲカメラとの間に位置決めされる、ポストと、
前記被写体を照明するための少なくとも１つのＩＲ光源と、
前記第１のＩＲカメラと、前記第２のＩＲカメラと、前記カラーカメラとに接続されるプロセッサであって、前記プロセッサは、
前記第１のＩＲカメラ及び前記第２のＩＲカメラからのデータを使用して、前記被写体に対する奥行きソルブデータ（ｄｅｐｔｈ ｓｏｌｖｅ ｄａｔａ）を生成し、
前記カラーカメラからのデータを使用して、前記奥行きソルブデータ上に色を投影することによって、投影カラーデータを生成し、
前記奥行きソルブデータと前記投影カラーデータとをマージすることによって、最終キャプチャデータを生成する、
ように構成される、プロセッサと、
を含むことを特徴とするシステム。

【請求項2】

少なくとも２以上のＩＲカメラと、
少なくとも１以上のカラーカメラと、
を更に含むことを特徴とする、請求項１に記載のシステム。

【請求項3】

前記カメラは、３つのカメラをグループにして配置されて、ノードのシステムを形成し、各ノードは、２つの赤外線カメラと、カラーカメラとを有することを特徴とする、請求項２に記載のシステム。

【請求項4】

前記プロセッサは、全ての前記カメラからのデータを使用して、前記最終キャプチャデータを生成することを特徴とする、請求項２に記載のシステム。

【請求項5】

前記ポストに取り付けられて、前記被写体上にレーザパターンを投影するためのレーザを更に含むことを特徴とする、請求項１に記載のシステム。

【請求項6】

前記レーザは、各カメラノード位置から投影するように構成されることを特徴とする、請求項５に記載のシステム。

【請求項7】

前記第１のＩＲカメラ及び前記第２のＩＲカメラの各々は、可視光を除去するフィルタを含むことを特徴とする、請求項１に記載のシステム。

【請求項8】

前記フィルタは、７００～７１５ｎｍの範囲内のハイカットフィルタであることを特徴とする、請求項７に記載のシステム。

【請求項9】

ＩＲ遮断塗料で構成される背景パネル、
を更に含むことを特徴とする、請求項１に記載のシステム。

【請求項10】

前記被写体に塗布されるＩＲ顔料、
を更に含むことを特徴とする、請求項１に記載のシステム。

【請求項11】

被写体のビデオキャプチャのための方法であって、
第１のＩＲカメラ及び第２のＩＲカメラからのデータを使用して、前記被写体に対する奥行きソルブデータを生成するステップと、
カラーカメラからのデータを使用して、前記奥行きソルブデータ上に色を投影することによって、投影カラーデータを生成するステップと、
前記奥行きソルブデータと前記投影カラーデータとをマージすることによって、最終キャプチャデータを生成するステップと、
を含み、
前記カラーカメラは、前記第１のＩＲカメラと前記第２のＩＲカメラとの間に位置決めされる、
ことを特徴とする方法。

【請求項12】

少なくとも１つのＩＲ光源を使用して、前記被写体を照明するステップ、
を更に含むことを特徴とする、請求項１１に記載の方法。

【請求項13】

少なくとも２以上のＩＲカメラと、少なくとも１以上のカラーカメラとを、３つのカメラをグループにして配置して、ノードのシステムを形成し、各ノードは、２つの赤外線カメラと、カラーカメラとを有する、ステップ、
を更に含むことを特徴とする、請求項１１に記載の方法。

【請求項14】

全ての前記カメラからのデータを使用して、前記最終キャプチャデータを生成することを特徴とする、請求項１３に記載の方法。

【請求項15】

前記被写体上にレーザパターンを投影するステップ、
を更に含むことを特徴とする、請求項１１に記載の方法。

【請求項16】

前記レーザパターンは、各カメラノード位置から投影されることを特徴とする、請求項１５に記載の方法。

【請求項17】

前記第１のＩＲカメラ及び前記第２のＩＲカメラの各々は、可視光を除去するフィルタを含むことを特徴とする、請求項１１に記載の方法。

【請求項18】

前記フィルタは、７００～７１５ｎｍの範囲内のハイカットフィルタであることを特徴とする、請求項１７に記載の方法。

【請求項19】

ＩＲ遮断塗料で構成される背景パネルを設けるステップ、
を更に含むことを特徴とする、請求項１１に記載の方法。

【請求項20】

被写体のビデオをキャプチャするためのコンピュータプログラムを記憶する非一時的コンピュータ可読記憶媒体であって、前記コンピュータプログラムは実行可能命令を含み、前記実行可能命令は、コンピュータに、
第１のＩＲカメラ及び第２のＩＲカメラからのデータを使用して、前記被写体に対する奥行きソルブデータを生成することと、
カラーカメラからのデータを使用して、前記奥行きソルブデータ上に色を投影することによって、投影カラーデータを生成することと、
前記奥行きソルブデータと前記投影カラーデータとをマージすることによって、最終キャプチャデータを生成することと、
を行わせ、
前記カラーカメラは、前記第１のＩＲカメラと前記第２のＩＲカメラとの間に位置決めされる、
ことを特徴とする非一時的コンピュータ可読記憶媒体。

【発明の詳細な説明】

【技術分野】

【0001】

[0001] 本開示は、被写体のビデオキャプチャに関し、具体的には、マルチスペクトル赤外線カメラとカラーカメラとの組み合わせを使用するビデオキャプチャに関する。

【背景技術】

【0002】

[0002] 多くの場合、グリーン又はブルースクリーンを使用して、被写体のモーションをキャプチャして、後で、特殊効果においてカスタム背景とモーションを合成する。しかしながら、グリーンスクリーンキャプチャは、被写体の照明に制約を課し、被写体上へのグリーン背景の「カラーブリーディング」を発生させる可能性もあるので、グリーンスクリーンの使用を避けることは有用であり得る。

【発明の概要】

【発明が解決しようとする課題】

【0003】

[0003] 本開示は、ＩＲパターンと組み合わせて、マルチスペクトル赤外線（ＩＲ）カメラとカラーカメラとの組み合わせを使用する被写体のビデオキャプチャを提供する。

【課題を解決するための手段】

【0004】

[0004] １つの実装では、被写体のビデオキャプチャのためのシステムを開示する。前記システムは、前記被写体のビデオデータをキャプチャするための第１のＩＲカメラと、前記被写体の前記ビデオデータをキャプチャするための第２のＩＲカメラと、前記被写体の前記ビデオデータをキャプチャするためのカラーカメラと、ポストであって、前記第１のＩＲカメラ、前記第２のＩＲカメラ、及び前記カラーカメラは、前記ポストに取り付けられ、前記カラーカメラは、前記第１のＩＲカメラと前記第２のＩＲカメラとの間に位置決めされる、ポストと、前記被写体を照明するための少なくとも１つのＩＲ光源と、前記第１のＩＲカメラと、前記第２のＩＲカメラと、前記カラーカメラとに接続されるプロセッサであって、前記プロセッサは、前記第１のＩＲカメラ及び前記第２のＩＲカメラからのデータを使用して、前記被写体に対する奥行きソルブデータ（ｄｅｐｔｈ ｓｏｌｖｅ ｄａｔａ）を生成し、前記カラーカメラからのデータを使用して、前記奥行きソルブデータ上に色を投影することによって、投影カラーデータを生成し、前記奥行きソルブデータと前記投影カラーデータとをマージすることによって、最終キャプチャデータを生成するように構成されるプロセッサと、を含む。

【0005】

[0005] 別の実装では、被写体のビデオキャプチャのための方法を開示する。前記方法は、第１のＩＲカメラ及び第２のＩＲカメラからのデータを使用して、前記被写体に対する奥行きソルブデータを生成するステップと、カラーカメラからのデータを使用して、前記奥行きソルブデータ上に色を投影することによって、投影カラーデータを生成するステップと、前記奥行きソルブデータと前記投影カラーデータとをマージすることによって、最終キャプチャデータを生成するステップと、を含み、前記カラーカメラは、前記第１のＩＲカメラと前記第２のＩＲカメラとの間に位置決めされる。

【0006】

[0006] 別の実装では、被写体のビデオをキャプチャするためのコンピュータプログラムを記憶する非一時的コンピュータ可読記憶媒体を開示する。前記コンピュータプログラムは実行可能命令を含み、前記実行可能命令は、コンピュータに、第１のＩＲカメラ及び第２のＩＲカメラからのデータを使用して、前記被写体に対する奥行きソルブデータを生成することと、カラーカメラからのデータを使用して、前記奥行きソルブデータ上に色を投影することによって、投影カラーデータを生成することと、前記奥行きソルブデータと前記投影カラーデータとをマージすることによって、最終キャプチャデータを生成することと、を行わせ、前記カラーカメラは、前記第１のＩＲカメラと前記第２のＩＲカメラとの間に位置決めされる。

【0007】

[0007] 本開示の態様を一例として示す本明細書からは、他の特徴及び利点も明らかになるはずである。

【0008】

[0008] 同じ部分を同じ参照数字によって示す添付図面を検討することにより、本開示の詳細をその構造及び動作の両方に関して部分的に収集することができる。

【図面の簡単な説明】

【0009】

【図1】本開示の１つの実装による、ビデオキャプチャのためのビデオシステムのブロック図である。

【図2】本開示の１つの実装による、被写体のビデオキャプチャのための方法のフロー図である。

【図3A】本開示の実装による、コンピュータシステム及びユーザの図である。

【図3B】本開示の実装による、ビデオアプリケーションをホストするコンピュータシステムを示す機能ブロック図である。

【発明を実施するための形態】

【0010】

[0013] 上記のように、従来のグリーンスクリーンキャプチャは、被写体の照明に制約を課し、被写体上へのグリーン背景の「カラーブリーディング」を発生させる可能性もある。

【0011】

[0014] 本開示の特定の実装は、ビデオデータを処理するためのシステム及び方法を提供する。１つの実装では、ビデオシステムは、ＩＲパターンと組み合わせて、マルチスペクトルＩＲカメラとカラーカメラとの組み合わせを使用して、被写体及び環境及び背景のビデオデータをキャプチャする。このシステムは、グリーンスクリーンを使用することなくボリュームデータをキャプチャして、奥行きを含む背景から被写体を分離する。これにより、背景の心配なく自由に被写体を照明することが可能になる。

【0012】

[0015] 以下の説明を読んだ後には、様々な実装及び用途における本開示の実施方法が明らかになるであろう。本明細書では本開示の様々な実装について説明するが、これらの実装は、限定ではなく一例として提示するものにすぎないと理解されたい。したがって、様々な実装についての詳細な説明は、本開示の範囲又は外延を限定するものとして解釈すべきではない。

【0013】

[0016] 実装で提供する特徴は、以下の項目、すなわち、（ａ）モーション結合点からの構造を使用する奥行きの点三角測量、（ｂ）赤外線カメラとカラーカメラとの組み合わせ、（ｃ）特定の順序、すなわちＩＲ、カラー、ＩＲの順にカメラを配置して、２又は３以上のＩＲカメラの寄与を含む奥行きソルブのために、左右のＩＲカメラを使用すること、（ｄ）ＩＲ ＬＥＤフラッドライトを使用して、ＩＲ奥行きキャプチャの被写体を照明してマットを作成すること、（ｅ）（可視スペクトル光データをキャプチャする）センターカラーカメラを使用して、ＩＲカメラの奥行きソルブ上に色を投影すること、（ｆ）３台のカメラのグループを最少１つ使用するが、被写体に応じて３台のカメラのグループをＮ個まで拡張可能であること、及び（ｇ）ＩＲ吸収顔料を使用して、センサに戻るＩＲ光を遮断すること、のうちの１又は２以上を含むことができるが、これらに限定されない。

【0014】

[0017] １つの実装では、ビデオシステムは、ビデオ制作又はスタジオ環境で使用され、画像キャプチャのための１又は２以上のカメラと、１又は２以上のセンサと、カメラデータ及びセンサデータを処理するための１又は２以上のコンピュータとを含む。ＩＲカメラとカラーカメラとの組み合わせを含むモーションのための構造を使用することによって、システムは、グリーンスクリーンを使用することなく、キャプチャされた被写体の照明及び露出のために完全に自由にボリュームデータをキャプチャする。グリーンスクリーンキャプチャは、被写体の照明に制約を課し、被写体上へのグリーン背景の「カラーブリーディング」を発生させる可能性もあるので、グリーンスクリーンの使用を避けることは有用である。

【0015】

[0018] 図１は、本開示の１つの実装による、ビデオキャプチャのためのビデオシステム１００のブロック図である。図１に示す実装では、ビデオシステム１００は、第１のＩＲカメラ１１０と、第２のＩＲカメラ１１４と、カラーカメラ１１２と、ポスト１４０と、少なくとも１つのＩＲ光源１２０、１２２と、プロセッサ１３０とを含む。

【0016】

[0019] １つの実装では、第１のＩＲカメラ１１０、第２のＩＲカメラ１１４、及びカラーカメラ１１２は、被写体１０４のビデオデータをキャプチャするように構成される。奥行きソルブのために、２つのＩＲカメラを使用する。更に、１つの実装では、第１のＩＲカメラ１１０、第２のＩＲカメラ１１４、及びカラーカメラ１１２は全て、ポスト１４０に取り付けられて、カラーカメラ１１２は、第１のＩＲカメラ１１０と第２のＩＲカメラ１１４との間に位置決めされるようにする。別の実装では、カラーカメラ１１２は、ポスト１４０に取り付ける必要なく、第１のＩＲカメラ１１０と第２のＩＲカメラ１１４との間に位置決めされるが、互いに取り付けられる又はテーブル上に位置決めされるなどの他の手段で位置決めされる。更なる実装では、ＩＲ光源１２０、１２２は、被写体１０４を照明するように構成される。

【0017】

[0020] １つの実装では、プロセッサ１３０は、第１のＩＲカメラ１１０、第２のＩＲカメラ１１４、及びカラーカメラ１１２に接続される。プロセッサ１３０は、（ａ）第１のＩＲカメラ１１０及び第２のＩＲカメラ１１４からのデータを使用して、被写体に対する奥行きソルブデータ１１１、１１５を生成し、（ｂ）カラーカメラ１１２からのデータを使用して、奥行きソルブデータ１１１、１１５上に色を投影することによって、投影カラーデータ１１３を生成し、（ｃ）奥行きソルブデータ１１１、１１５と投影カラーデータ１１３とをマージすることによって、最終キャプチャデータ１３２を生成するように構成される。プロセッサ１３０は、全てのカメラからのデータを使用して、最終キャプチャデータを生成する。更に、プロセッサ１３０は、全てのカメラからのデータを使用して、最終キャプチャデータを生成する。

【0018】

[0021] 更なる実装では、ビデオシステム１００は、少なくとも１以上のカラーカメラと、少なくとも２以上のＩＲカメラとを含み、被写体１０４のビデオデータをキャプチャする。別の実装では、カメラは、３つのカメラをグループにして配置されて、ノードのシステムを形成し、各ノードは、２つのＩＲカメラと、カラーカメラとを有する。

【0019】

[0022] 更なる実装では、ビデオシステム１００は、ポスト１４０に取り付けられて、被写体１０４上にレーザパターンを投影するためのレーザ１２４も含む。１つの実装では、各カメラノード位置から８３０ｎｍのレーザを投射して、被写体上にレーザパターンを投影することにより、２つのＩＲカメラのためのコントラスト及び奥行きキャプチャソルブを助ける。

【0020】

[0023] 更なる実装では、ＩＲカメラ１１０、１１４の各々は、可視光を除去するフィルタを含む。１つの実装では、フィルタは、７００～７１５ｎｍのハイカットフィルタである。１つの実装では、ビデオシステム１００は、また、ＩＲで被写体１０４を照明するために被写体１０４の周囲に位置決めされるＩＲフラッドライト（例えば８５０ｎｍのＬＥＤフラッドライト）を含む。これにより、被写体１０４の周囲の輝度マット及び一定のエッジを可能にして、キャプチャされた被写体１０４から背景１０２を分離して、奥行き生成を支援することができる。１つの実装では、背景１０２は、ＩＲ遮断塗料で構成されて、奥行き生成のために結合点（２又は３以上の画像内で識別されて基準点として選択される特徴）を保つためにキャプチャされている被写体１０４の背後に「ブラックホール」を作成する。ビデオシステム１００は、モーションからの構造を使用して、各ビュー間の画像結合点に依拠して奥行きを測定する。１つの実装では、被写体１０４にＩＲ顔料を塗布して、２又は３以上のＩＲカメラのためのコントラスト及び奥行きキャプチャソルブを助ける。顔料は、ＩＲ光が皮膚内に散乱するのを低減又は抑制する。

【0021】

[0024] システム動作の一例では、人物のボリュメトリックキャプチャのために、ビデオシステムを使用する。カメラを設定する前に、オペレータは、最終制作に必要な被写体のカバレッジ、例えば１８０度を決定する。カメラは、ノードのシステム、例えば３台のカメラを３列含む３つのポストに配置される。ポストは、最大カバレッジのために被写体の周囲に配置される。カメラは全て、シャッタが同期する。次に、ビデオシステムは、カメラを使用して、被写体のための画像及びデータをキャプチャする。システムは、結果として得られるＩＲデータの奥行きソルブを実行して、ソルブ奥行きデータ（ｓｏｌｖｅｄ ｄｅｐｔｈ ｄａｔａ）上に対応するカラーカメラデータを投影する。システムは、結果として得られる奥行きと投影カラーデータとをマージして、最終フルキャプチャにする。

【0022】

[0025] 図２は、本開示の１つの実装による、被写体のビデオキャプチャのための方法２００のフロー図である。図２に示す実装では、ブロック２１０において、第１のＩＲカメラ及び第２のＩＲカメラからのデータを使用して、被写体に対する奥行きソルブデータを生成する。更に、ブロック２２０において、カラーカメラからのデータを使用して、奥行きソルブデータ上に色を投影することによって、投影カラーデータを生成する。次に、ブロック２３０において、奥行きソルブデータと投影カラーデータとをマージすることによって、最終キャプチャデータを生成し、カラーカメラは、第１のＩＲカメラと第２のＩＲカメラとの間に位置決めされる。

【0023】

[0026] １つの実装では、少なくとも１つのＩＲ光源を使用して、被写体を照明する。更なる実装では、少なくとも１以上のカラーカメラと、少なくとも２以上のＩＲカメラとを、３つのカメラをグループにして配置して、ノードのシステムを形成し、各ノードは、２つの赤外線カメラと、カラーカメラとを有する。次に、全てのカメラからのデータを使用して、最終キャプチャデータを生成する。更なる実装では、被写体上にレーザパターンを投影する。１つの実装では、レーザパターンは、各カメラノード位置から投影される。１つの実装では、第１のＩＲカメラ及び第２のＩＲカメラの各々は、可視光を除去するフィルタを含む。１つの実装では、フィルタは、７００～７１５ｎｍの範囲内のハイカットフィルタである。更なる実装では、ＩＲ遮断塗料で構成される背景パネルを設ける。更なる実装では、被写体にＩＲ顔料を塗布する。

【0024】

[0027] 図３Ａは、本開示の実装による、コンピュータシステム３００及びユーザ３０２の図である。ユーザ３０２は、コンピュータシステム３００を使用して、図１のビデオシステム１００及び図２の方法２００に関して、被写体のビデオキャプチャのための技術を実装するためのビデオアプリケーション３９０を実装する。

【0025】

[0028] コンピュータシステム３００は、図３Ｂのビデオアプリケーション３９０を記憶して実行する。更に、コンピュータシステム３００は、ソフトウェアプログラム３０４と通信することができる。ソフトウェアプログラム３０４は、ビデオアプリケーション３９０のためのソフトウェアコードを含むことができる。ソフトウェアプログラム３０４は、以下で更に説明するように、ＣＤ、ＤＶＤ又はストレージドライブなどの外部媒体にロードすることができる。

【0026】

[0029] 更に、コンピュータシステム３００は、ネットワーク３８０に接続することができる。ネットワーク３８０は、様々な異なるアーキテクチャ、例えば、クライアント－サーバアーキテクチャ、ピアツーピアネットワークアーキテクチャ、又は他のタイプのアーキテクチャにおいて接続することができる。例えば、ネットワーク３８０は、ビデオアプリケーション３９０内で使用されるエンジン及びデータを協調させるサーバ３８５と通信することができる。また、ネットワークは、異なるタイプのネットワークとすることができる。例えば、ネットワーク３８０は、インターネット、ローカルエリアネットワーク又はローカルエリアネットワークの任意の変形、ワイドエリアネットワーク、メトロポリタンエリアネットワーク、イントラネット又はエクストラネット、又は無線ネットワークとすることができる。

【0027】

[0030] 図３Ｂは、本開示の実装による、ビデオアプリケーション３９０をホストするコンピュータシステム３００を示す機能ブロック図である。コントローラ３１０はプログラマブルプロセッサであり、コンピュータシステム３００及びそのコンポーネントの動作を制御する。コントローラ３１０は、メモリ３２０又は内蔵コントローラメモリ（図示せず）から（例えばコンピュータプログラムの形で）命令をロードして、これらの命令を実行してシステムを制御する。その実行において、コントローラ３１０は、ビデオアプリケーション３９０にソフトウェアシステムを提供して、例えば、被写体のビデオキャプチャを可能にする。代替的に、このサービスは、コントローラ３１０又はコンピュータシステム３００において別個のハードウェアコンポーネントとして実装することができる。

【0028】

[0031] メモリ３２０は、コンピュータシステム３００の他のコンポーネントによって使用するためにデータを一時的に記憶する。１つの実装では、メモリ３２０はＲＡＭとして実装される。１つの実装では、メモリ３２０は、また、フラッシュメモリ及び／又はＲＯＭなどの長期又は永久メモリを含む。

【0029】

[0032] ストレージ３３０は、コンピュータシステム３００の他のコンポーネントによって使用するために、データを一時的に又は長期間にわたって記憶する。例えば、ストレージ３３０は、ビデオアプリケーション３９０によって使用されるデータを記憶する。１つの実装では、ストレージ３３０は、ハードディスクドライブである。

【0030】

[0033] メディアデバイス３４０は、リムーバブルメディアを受け入れて、挿入されたメディアに対してデータの読み出し及び／又は書き込みを行う。１つの実装では、例えば、メディアデバイス３４０は、光ディスクドライブである。

【0031】

[0034] ユーザインターフェイス３５０は、コンピュータシステム３００のユーザからユーザ入力を受け取ってユーザ３０２に情報を提示するためのコンポーネントを含む。１つの実装では、ユーザインターフェイス３５０は、キーボード、マウス、オーディオスピーカ、及びディスプレイを含む。コントローラ３１０は、ユーザ３０２からの入力を使用して、コンピュータシステム３００の動作を調整する。

【0032】

[0035] Ｉ／Ｏインターフェイス３６０は、１又は２以上のＩ／Ｏポートを含み、外部記憶又は補足装置（例えばプリンタ又はＰＤＡ）などの対応するＩ／Ｏデバイスに接続する。１つの実装では、Ｉ／Ｏインターフェイス３６０のポートは、ＵＳＢポート、ＰＣＭＣＩＡポート、シリアルポート、及び／又はパラレルポートなどのポートを含む。別の実装では、Ｉ／Ｏインターフェイス３６０は、外部装置と無線で通信するための無線インターフェイスを含む。

【0033】

[0036] ネットワークインターフェイス３７０は、イーサネット接続をサポートするＲＪ－４５又は「Ｗｉ－Ｆｉ」インターフェイス（８０２．１１を含むが、これに限定されるわけではない）などの有線及び／又は無線ネットワーク接続を含む。

【0034】

[0037] コンピュータシステム３００は、コンピュータシステムに典型的な追加のハードウェア及びソフトウェア（例えば、電力、冷却、オペレーティングシステム）を含むが、これらのコンポーネントは、簡略化のために図３Ｂに具体的に示されていない。他の実装では、コンピュータシステムの異なる構成を使用することができる（例えば、異なるバス又はストレージ構成又はマルチプロセッサ構成）。

【0035】

[0038] 開示した実装についての本明細書の説明は、当業者が本開示を実施又は利用できるように行ったものである。当業者には、これらの実装の多数の修正が容易に明らかになると思われ、また本明細書で定義した原理は、本開示の趣旨又は範囲から逸脱することなく他の実装にも適用することができる。したがって、本開示は、本明細書に示す実装に限定されることを意図するものではなく、本明細書で開示した原理及び新規の特徴と一致する最も広い範囲が与えられるべきである。

【0036】

[0039] したがって、更なる変形及び実装も可能である。例えば、映画又はテレビジョンのためのビデオ制作に加えて、映画、テレビジョン、ゲームのためのバーチャルプロダクション（例えば仮想現実環境）、他のボリュメトリックキャプチャシステム及び環境、又はグリーンスクリーン動作に取って代わるための他のキャプチャシステムなどの他の用途に、本システム及び方法の実装を適用して適合させることができる。

【0037】

[0040] 上記の各実施例の全ての特徴が、本開示の特定の実装において必ずしも必要というわけではない。更に、本明細書で提示した説明及び図面は、本開示が広く意図する主題を表すものであると理解されたい。更に、本開示の範囲は、当業者にとって明らかになり得る他の実装を完全に含み、したがって、本開示の範囲は、添付の特許請求の範囲以外のものによって限定されるものではないと理解されたい。

【符号の説明】

【0038】

１００ ビデオシステム
１０２ 背景
１０４ 被写体
１１０ 第１のＩＲカメラ
１１１，１１５ 奥行きソルブデータ
１１２ カラーカメラ
１１３ 投影カラーデータ
１１４ 第２のＩＲカメラ
１２０，１２２ ＩＲ光源
１２４ レーザ
１３０ プロセッサ
１３２ 最終キャプチャデータ
１４０ ポスト
２００ 被写体のビデオキャプチャのための方法
２１０ 第１のＩＲカメラ及び第２のＩＲカメラからのデータを使用して、被写体に対する奥行きソルブデータを生成
２２０ カラーカメラからのデータを使用して、奥行きソルブデータ上に色を投影することによって、投影カラーデータを生成
２３０ 奥行きソルブデータと投影カラーデータとをマージすることによって、最終キャプチャデータを生成
３００ コンピュータシステム
３０２ ユーザ
３０４ ソフトウェアプログラム
３１０ コントローラ
３２０ メモリ
３３０ ストレージ
３４０ メディアデバイス
３５０ ユーザインターフェイス
３６０ Ｉ／Ｏインターフェイス
３７０ ネットワークインターフェイス
３８０ ネットワーク
３８５ サーバ
３９０ ビデオアプリケーション

【図1】

【図2】

【図3A】

【図3B】

【国際調査報告】