特許 7059355 シーンの表現を生成するための装置及び方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2022-04-15

(45)【発行日】2022-04-25

(54)【発明の名称】シーンの表現を生成するための装置及び方法

(51)【国際特許分類】

   G06T 7/70 20170101AFI20220418BHJP

   G01B 11/00 20060101ALI20220418BHJP

   G03B 15/00 20210101ALI20220418BHJP

   G03B 35/08 20210101ALI20220418BHJP

   H04N 5/232 20060101ALI20220418BHJP

【ＦＩ】

G06T7/70 Z

G01B11/00 H

G03B15/00 H

G03B35/08

H04N5/232 300

【請求項の数】 15

(21)【出願番号】P 2020507092

(86)(22)【出願日】2018-08-07

(65)【公表番号】

(43)【公表日】2020-10-08

(86)【国際出願番号】 EP2018071417

(87)【国際公開番号】W WO2019030235

(87)【国際公開日】2019-02-14

【審査請求日】2021-08-05

(31)【優先権主張番号】17185271.8

(32)【優先日】2017-08-08

(33)【優先権主張国・地域又は機関】EP

【早期審査対象出願】

(73)【特許権者】

【識別番号】590000248

【氏名又は名称】コーニンクレッカ フィリップス エヌ ヴェ

【氏名又は名称原語表記】Ｋｏｎｉｎｋｌｉｊｋｅ Ｐｈｉｌｉｐｓ Ｎ．Ｖ．

【住所又は居所原語表記】Ｈｉｇｈ Ｔｅｃｈ Ｃａｍｐｕｓ ５２， ５６５６ ＡＧ Ｅｉｎｄｈｏｖｅｎ，Ｎｅｔｈｅｒｌａｎｄｓ

(74)【代理人】

【識別番号】110001690

【氏名又は名称】特許業務法人Ｍ＆Ｓパートナーズ

(72)【発明者】

【氏名】ヴァレカンプ クリスティアーン

(72)【発明者】

【氏名】クルーン バート

【審査官】粕谷 満成

(56)【参考文献】

【文献】特表２０１７－５１９３８０（ＪＰ，Ａ）

【文献】特開２０１３－０９２８７１（ＪＰ，Ａ）

【文献】米国特許出願公開第２０１７／００９４２５１（ＵＳ，Ａ１）

【文献】米国特許出願公開第２００９／０１０９２８０（ＵＳ，Ａ１）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ０６Ｔ ７／７０

Ｇ０１Ｂ １１／００

Ｇ０３Ｂ １５／００

Ｇ０３Ｂ ３５／０８

Ｈ０４Ｎ ５／２３２

(57)【特許請求の範囲】

【請求項1】

分散した複数の深度検知画像カメラによって取り込まれたシーンの画像からシーンの少なくとも一部の表現を生成するための装置であって、
第１の深度検知画像カメラによって取り込まれた第１の画像と、前記第１の深度検知画像カメラによって取り込まれた第１の深度データとを受信するための第１の受信機と、
前記第１の画像内の基準マーカに関する画像位置特性を検出するための検出器であって、前記画像位置特性は、前記第１の画像内の前記基準マーカの位置を示し、前記基準マーカは、第２の深度検知画像カメラに対して所定の配置差を有することによって、前記第２の深度検知画像カメラの配置を表す、検出器と、
前記画像位置特性と、前記基準マーカの画像位置に関する前記第１の深度データの深度データと、前記所定の配置差とに応答して前記第１の深度検知画像カメラに対する前記第２の深度検知画像カメラの配置を示す相対配置ベクトルを決定するための配置プロセッサであって、前記相対配置ベクトルは少なくとも３次元である、配置プロセッサと、
前記第２の深度検知画像カメラによって取り込まれた第２の画像と、前記第２の深度検知画像カメラによって取り込まれた第２の深度データとを受信するための第２の受信機と、
前記相対配置ベクトルに基づく少なくとも前記第１の画像と前記第２の画像との結合に応答して、前記シーンの少なくとも一部の前記表現を生成するための生成器と
を備える、装置。

【請求項2】

前記生成器は、前記第１の深度検知画像カメラ及び前記第２の深度検知画像カメラの視点とは異なる視点からの前記シーンの画像を含む前記表現を生成する、請求項１に記載の装置。

【請求項3】

前記生成器は、前記第１の深度データ及び前記第２の深度データに基づいて、前記少なくとも第１の画像と第２の画像とを結合する、請求項１に記載の装置。

【請求項4】

前記生成器は、複数の深度検知画像カメラ対に関する相対配置ベクトルを受信するための受信機と、前記相対配置ベクトルに応答して、前記複数の深度検知画像カメラのそれぞれに関して共通の座標系内の深度検知画像カメラ配置を決定するための座標プロセッサとを備え、前記生成器は、同じ座標系内の決定された前記深度検知画像カメラ配置に応答して画像を生成する、請求項１に記載の装置。

【請求項5】

前記座標プロセッサは、コスト関数の最小化に応答して前記深度検知画像カメラ配置を決定し、前記コスト関数は、前記相対配置ベクトルと、前記共通の座標系内の前記決定された深度検知画像カメラ配置から決定される対応する配置ベクトルとの間の差に依存する、請求項４に記載の装置。

【請求項6】

前記装置は、
前記第２の画像内の第２の基準マーカに関する第２の画像位置特性を検出するための第２の検出器であって、前記第２の画像位置特性は前記第２の画像内の前記第２の基準マーカの位置を示し、前記第２の基準マーカは、前記第１の深度検知画像カメラに対して第２の所定の配置差を有することによって、前記第１の深度検知画像カメラの配置を表す、第２の検出器と、
前記第２の画像位置特性と、前記第２の基準マーカの画像位置に関する前記第２の深度データの深度データと、前記第２の所定の配置差とに応答して、前記第２の深度検知画像カメラに対する前記第１の深度検知画像カメラの位置を示す第２の相対配置ベクトルを決定するための第２の配置プロセッサであって、前記第２の相対配置ベクトルは少なくとも３次元である、第２の配置プロセッサと
を更に備え、
前記生成器は更に、前記第２の相対配置ベクトルに応答して前記表現を生成する、請求項１から５のいずれか一項に記載の装置。

【請求項7】

前記基準マーカの視覚的特性は、前記第２の深度検知画像カメラの識別情報を示し、前記検出器は、前記視覚的特性に応答して、前記第２の深度検知画像カメラの前記識別情報を決定する、請求項１から６のいずれか一項に記載の装置。

【請求項8】

前記相対配置ベクトルは少なくとも１つの向きの値を含む、請求項１から７のいずれか一項に記載の装置。

【請求項9】

前記配置プロセッサは、前記基準マーカの回転が異なる視覚的特性に応答して、前記少なくとも１つの向きの値を決定する、請求項８に記載の装置。

【請求項10】

前記配置プロセッサは、前記第１の深度検知画像カメラ及び前記第２の深度検知画像カメラに関して少なくとも１つの向きパラメータが同一であるという所定の仮定に基づいて、前記相対配置ベクトルを決定する、請求項１から９のいずれか一項に記載の装置。

【請求項11】

前記相対配置ベクトルに応答して前記シーンの取り込み特性を決定するための取り込みプロセッサであって、前記取り込み特性は、前記複数の深度検知画像カメラによって取り込まれた前記画像によって、前記シーンがいかにカバーされるかを示す、取り込みプロセッサと、前記取り込み特性を示すユーザ出力を生成するためのユーザインターフェースとを更に備える、請求項１から１０のいずれか一項に記載の装置。

【請求項12】

前記取り込みプロセッサは、取り込み品質指標が品質低下を示す、前記シーンの少なくとも一部を決定し、前記シーンの少なくともその一部を取り込むために、深度検知画像カメラに関する配置を示すユーザ出力を生成する、請求項１１に記載の装置。

【請求項13】

前記生成器は、前記第１の画像と前記第２の画像との画像照合に応答して、前記相対配置ベクトルを変更する、請求項１から１２のいずれか一項に記載の装置。

【請求項14】

前記生成器は、前記相対配置ベクトル、前記第１の画像及び前記第２の画像に応答して、前記シーンの３次元モデルを生成する、請求項１から１３のいずれか一項に記載の装置。

【請求項15】

分散した複数の深度検知画像カメラによって取り込まれたシーンの画像からシーンの少なくとも一部の表現を生成する方法であって、
第１の深度検知画像カメラによって取り込まれた第１の画像と、前記第１の深度検知画像カメラによって取り込まれた第１の深度データとを受信するステップと、
前記第１の画像内の基準マーカに関する画像位置特性を検出するステップであって、前記画像位置特性は、前記第１の画像内の前記基準マーカの位置を示し、前記基準マーカは、第２の深度検知画像カメラに対する所定の配置差を有することによって、前記第２の深度検知画像カメラの位置を表す、検出するステップと、
前記画像位置特性と、前記基準マーカの画像位置に関する前記第１の深度データの深度データと、前記所定の配置差とに応答して、前記第１の深度検知画像カメラに対する前記第２の深度検知画像カメラの配置を示す相対配置ベクトルを決定するステップであって、前記相対配置ベクトルは少なくとも３次元である、決定するステップと、
前記第２の深度検知画像カメラによって取り込まれた第２の画像と、前記第２の深度検知画像カメラによって取り込まれた第２の深度データとを受信するステップと、
前記相対配置ベクトルに基づいて、少なくとも前記第１の画像と前記第２の画像との結合に応答して、前記シーンの少なくとも一部の前記表現を生成するステップと
を有する、方法。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、複数の深度検知カメラによって取り込まれたデータからシーンの表現を生成するための装置及び方法に関し、より詳細には、限定はしないが、そのような表現から仮想現実アプリケーションのための画像を生成することに関する。

【背景技術】

【0002】

これまで、画像の技術的な処理及び使用は、２次元撮像に基づいてきたが、画像処理において、第３の次元がますます明確に考慮されている。

【0003】

例えば、視認者の２つの目に、観察されているシーンの異なる視像を与えることによって、視認体験に第３の次元を追加する３次元（３Ｄ）ディスプレイが開発された。これは、表示される２つの視像を分離するために、ユーザに眼鏡を装着させることによって達成することができる。しかしながら、これはユーザにとって不便であると考えられるので、多くのシナリオにおいて、ディスプレイにおいて視像を分離し、視像が個々にユーザの目に達するように異なる方向に送出する手段（レンチキュラーレンズ又は視差バリアなど）を使用するオートステレオスコピックディスプレイを使用することが好ましい。ステレオディスプレイの場合、２つの視像が必要とされるのに対して、オートステレオスコピックディスプレイは通常、３つ以上の視像（例えば、９つの視像など）を必要とする。

【0004】

多くの実施形態において、新たな視認方向のための視像を生成することが望ましい。画像及び深度情報に基づいて、そのような新たな視像を生成するための種々のアルゴリズムが知られているが、それらのアルゴリズムは、与えられる（又は導出される）深度情報の精度に大きく依存する傾向がある。

【0005】

実際には、３次元画像情報は多くの場合に、あるシーンに関する異なる視線方向に対応する複数の画像によって与えられる。具体的には、映画又はテレビ番組などの生成されるビデオコンテンツには、次第に何らかの３Ｄ情報が含まれるようになってきた。そのような情報は、わずかにオフセットされたカメラ位置から２つの画像を同時に取り込むカメラのような、専用の３Ｄ又は深度検知カメラを用いて取り込むことができる。

【0006】

しかしながら、多くのアプリケーションにおいて、与えられる画像は所望の方向に直接対応しない場合があるか、又は更に多くの画像が必要とされる場合がある。例えば、オートステレオスコピックディスプレイの場合、３つ以上の画像が必要とされ、実際には、多くの場合に、９～２６の視像が使用される。

【0007】

異なる視線方向に対応する画像を生成するために、視点シフト処理が利用される場合がある。これは通常、視点シフトアルゴリズムによって実行され、視点シフトアルゴリズムは、関連付けられる深度情報とともに、単一の視線方向に関する画像を使用する。

【0008】

３次元画像処理に基づくアプリケーションの決定の例が仮想現実アプリケーションである。通常の仮想現実体験では、ユーザによる動き及び向きの変化に合わせるように、例えば、仮想現実ヘッドセットのための右目視像及び左目視像が絶えず生成される。動的な仮想現実視像のそのような生成は通常、仮想現実環境に対応する所与のシーンを表す３Ｄ画像データの処理に基づく。例えば、光強度画像及び深度マップ、又はテクスチャマップ及び深度メッシュによって表される画像などの、３次元モデル又は３次元画像に基づいて、仮想現実サーバが特定の視点に関する視像を生成する。

【0009】

仮想現実アプリケーションなどのアプリケーションの場合、ユーザが仮想環境において視線方向／向きを仮想的に動かすか、又は変更することに起因してユーザの視像が変化した際に、これらの視像を反映させるように、例えば、一連の画像が生成される。いくつかのアプリケーションでは、視認者の向きの変化を反映するが、そのエリア内の動きをサポートすることなく、画像が生成される。そのようなシナリオを反映するビデオは、多くの場合に全方位型ビデオと呼ばれる。他のアプリケーションでは、仮想現実環境内のユーザの仮想的な動きを反映するために、動く視認位置もサポートされる。そのようなシナリオを反映するビデオは、多くの場合に没入型ビデオと呼ばれる。ユーザの現在の視像は、ある視点に関連する位置パラメータ及び方向パラメータを記述する視点ベクトルによって表すことができる。

【0010】

全方位型ビデオの場合、通常、ヨー値、ピッチ値及びロール値（若しくは方位角、仰角及びチルト角）、又は四元数表現を与えることによって、視点ベクトルは通常、３自由度（３ＤｏＦ）に従って向きを記述する。

【0011】

没入型ビデオの場合、通常、ヨー、ピッチ、ロールに関する値と、３つの空間次元に関する値とを与えることによって、ベクトルは通常、６自由度（６ＤｏＦ）に従って向き及び位置の両方を記述する。

【0012】

しかしながら、可変の視点位置及び／又は方向をサポートする融通性があるビデオ及び画像アプリケーションを開発し、サポートしようとするときに特に難しいのは、これらが位置及び／又は方向のサブセットに限定されるのではなく、理想的には全ての位置及び／又は方向がサポートされることが好ましいことである。例えば、６ＤｏＦ没入型ビデオの場合、視認者が、任意の位置から、任意の方向においてシーンを視認している場合がある。これは、シーンの全ての部分に対して、全ての位置から、全ての方向に関して３Ｄ情報が入手可能であることを要求する。この要件は、特に、３Ｄデータが実世界シーンの取り込みに基づくアプリケーションなどの、数多くの実際のアプリケーションにおいて満たすのが困難であるか、又は不可能である。

【0013】

物体の位置及び方向／向きの組合せは、本分野において、通常、配置又は姿勢と呼ばれる。したがって、配置ベクトル又は姿勢ベクトルは６つの値／成分を含み、各値／成分が対応する物体の位置／場所又は向き／方向の個々の特性を記述する。当然、状況によっては、例えば、１つ以上の成分が固定されると見なされる場合には、配置ベクトル又は姿勢ベクトルは位置及び向きを表すのに少ない成分を有する場合がある（例えば、全ての物体が同じ高さにあり、水平であると見なされる場合には、４つの成分によって、物体の姿勢の完全な表現を与えることができる）。

【0014】

対処すべき最も困難な課題のうちの１つは、十分に高い品質の適切な視点画像を生成できるようにするだけの十分な情報を与えるが、それでも、表現を容易に通信、記憶、適応及び／又は処理できるようにするシーンの表現を生成することができるような、シーンを実効的に取り込む方法である。

【0015】

多くのアプリケーションが、深度検知カメラを用いて、実世界シーン又は環境を取り込むことに基づく。これにより、３次元情報とともに、視覚的特性を取り込むことができるようになる。シーンを十分正確に、かつ完全に取り込むために、複数の、そして多くの場合に多数のカメラを使用することが多くの場合に採用される。いくつかのアプリケーションでは、１０台、２０台、或いは更に多くのカメラを用いて、満足のいく取り込みを与える。

【0016】

取り込まれた情報の使用は、アプリケーションに応じて異なる場合がある。例えば、いくつかの実施形態では、取り込まれたデータを用いて、実世界シーンの３次元モデルを開発する。特定の視点からモデルを評価することによって、その後、３次元仮想現実体験を提供されているユーザのための視像が生成される。他のアプリケーションでは、例えば、最も近い取り込まれた画像のうちの１つ以上を選択し、所望の視点に対応するように視点シフトを実行することによって、取り込まれた画像及び深度情報から直接、特定のビューポート又は視点のための画像が生成される。

【0017】

通常、多視点カメラ取り込みシステムに関する較正は異なる態様を含む：
１．カメラセンサのそれぞれに固有のパラメータの較正。
ａ）レンズ焦点距離及び歪みモデル。
ｂ）センササイズ、分解能、位置及び向き。
２．各カメラの外部のパラメータ、すなわち、互いに対するカメラノードの向き及び位置の較正。

【0018】

特に、第２のポイントは多くの場合に困難であるが、不可欠である。取り込まれたデータを正確に処理する、例えば、所望の視点のための画像を生成するために、シーンを取り込む深度検知カメラの配置が、十分に高い精度及び信頼性でわかっていることが重要である。詳細には、中間モデルを生成するにしても、複数の取り込まれた画像から画像を直接生成するにしても、異なる深度検知カメラから取り込まれた画像を高い信頼性で、正確に結合することができるように、通常、互いに対する深度検知カメラの相対的配置が正確にわかっていることが要求される。多くのアプリケーションにおいて、配置を決定するための要件は、達成するのが非常に厳しく、困難である。例えば、多くの実際のアプリケーションにおいて、方位角パラメータに関する精度は約１度であることが要求され、好ましくはそれより大幅に小さいことが要求される。

【0019】

いくつかのアプリケーションでは、正確な配置情報は、既知の配置パラメータを用いてカメラを注意深く、正確に、高度に制御しながら位置決めし、向きを合わせることによって確保することができる。例えば、各カメラが既知の位置に、他のカメラに対して固定された向きに固定される、深度検知カメラの固定された装備品を使用することができる。しかしながら、そのような手法は、多くのアプリケーションにおいて実行するのが難しいか、又は不可能な場合もある。例えば、多数のカメラが使用される場合、及び／又はカメラが互いに離れている場合には、位置及び向きを高い精度で手作業で測定すること、又は制限するのは通常は現実的ではない。更に、その手法は、カメラが取り込みシステムに対して動的に追加若しくは除去されるとき、又はカメラのうちの１つ以上が移動式カメラである場合などの、動的な取り込みアプリケーションには適していない。

【0020】

個々の深度検知カメラの位置の自動判定を導入することによって、そのような課題に対処することが提案されてきた。これは、例えば、ＧＰＳ機能などの、深度検知カメラに含まれている特定の位置決定機能を使用することによって達成される。しかしながら、これは、深度検知カメラがそのような機能を備えることを要求するだけではなく（実際にはそうでない場合も多い）、更には、特に向きの値に関して、異なるカメラ間の正確な判定を確実にするほど十分に厳密であるとはとても言えない結果を与える傾向がある。

【0021】

取り込まれた情報から配置情報を導出することが更に提案されてきた。具体的には、画像照合を用いて、異なるカメラからの画像内の重なり合う画像エリアを見つけること、及びこれを更に用いて、カメラの相対的配置についての情報を導出することが提案されてきた。しかしながら、画像照合は、原理的には、全ての他の取り込まれた画像内の全ての他の領域に対してある画像の全ての領域を検討する必要があるので、非常に計算負荷が高くなる傾向がある。更に、その手法は、準最適で、通常は相対的に正確でない結果を与える傾向があることがわかっている。例えば、同じ物体ではなく、むしろ、類似の視覚的特性を有する異なる物体（又は非常に異なる方向からの同じ物体）を表す画像領域間の偶然の一致を防ぐのは難しい。そのような食い違いの結果として、誤った配置決定が生じる場合があり、結果として、この配置情報を用いて異なるカメラからのデータを結合するときに、大きな誤差が生じるおそれがある。

【発明の概要】

【発明が解決しようとする課題】

【0022】

それゆえ、シーンを取り込むための改善された手法、具体的には、深度検知カメラを取り込むための配置情報を決定するための改善された手法があれば有利である。詳細には、改善された動作、高い融通性、助長される実施、助長される動作、緩和される複雑度、低減されるリソース需要、改善された精度、より良好な配置決定及び／又は改善された性能を可能にする手法があれば有利である。

【0023】

したがって、本発明は、上記で言及された欠点のうちの１つ以上を単独で、又は任意の組合せにおいて、好ましくは緩和するか、軽減するか、又は解消することを目的とする。

【課題を解決するための手段】

【0024】

本発明の一態様によれば、複数の分散した深度検知カメラによって取り込まれたシーンの画像からシーンの少なくとも一部の表現を生成するための装置が提供され、その装置は、第１の深度検知カメラによって取り込まれた第１の画像と、第１の深度検知カメラによって取り込まれた第１の深度データとを受信するための第１の受信機と、第１の画像内の基準マーカに関する画像位置特性を検出するための検出器であって、画像位置特性は、第１の画像内の基準マーカの位置を示し、基準マーカは、第２の深度検知カメラに対して所定の配置差を有することによって、第２の深度検知画像カメラの配置を表す、検出器と、画像位置特性と、基準マーカの画像位置に関する第１の深度データの深度データと、所定の配置差とに応答して第１の深度検知カメラに対する第２の深度検知画像カメラの配置を示す相対配置ベクトルを決定するための配置プロセッサであって、相対配置ベクトルは少なくとも３次元である、配置プロセッサと、第２の深度検知画像カメラによって取り込まれた第２の画像と、第２の深度検知画像カメラによって取り込まれた第２の深度データとを受信するための第２の受信機と、相対配置ベクトルに基づいて少なくとも第１の画像と第２の画像とを結合するのに応答して、シーンの少なくとも一部の表現を生成するための生成器とを備える。

【0025】

本発明によれば、シーンを取り込む深度検知カメラの配置の決定を改善及び／又は助長できるようになり、それにより、生成されることになるシーンの表現を改善できるようになる。多くの実施形態及びシナリオにおいて、非常に正確な配置決定が実行される。

【0026】

その手法は、実施形態においてカメラの配置を助長し、実際には、多くのアプリケーションにおいて、配置に関する厳密な管理及び制限が不要になる。そのシステムは、多くのアプリケーションにおいて、カメラの配置に自動的に、又は半自動的に適応することができる。多くの場合に、取り込みシステムの大幅に助長されたセットアップを達成することができる。

【0027】

その手法によれば、動的に変化する取り込み構成をサポートできるようになり、例えば、カメラを動的に導入及び／若しくは除去し、並びに／又はカメラが環境内で移動できるようにする。

【0028】

その手法によれば、多くの実施形態及びシナリオにおいて、より正確に、及び／又は完全にシーンを取り込み、表現できるようになる。多くの場合に、異なる配置を有する異なるカメラからの情報のはるかに正確な結合を達成することができる。

【0029】

その表現は、シーンの少なくとも一部の視覚的特性を記述するデータ表現である。通常、データ表現は、例えば、深度情報などの、そのシーンに関する３次元データを含む。

【0030】

シーンの表現は、シーンの３次元モデル、及びシーンの１組の１つ以上の画像のうちの少なくとも一方である。１組の画像は、異なる視点からのビューポートに対応する１つ以上の画像に対応する。その表現は、例えば、テクスチャマップ及び関連付けられるマップ、画像及び潜在的に関連付けられる深度マップ、３次元構造及び照明データなどとして生成される。

【0031】

配置は、位置及び／又は向きを指している。相対配置ベクトルは、１つ以上の位置値及び／又は１つ以上の向きの値を含む。多くの実施形態において、配置ベクトルは、３次元位置及び／又は３次元方向指示を与える。

【0032】

多くの実施形態において、相対配置ベクトルは、少なくとも３つの成分を含み、及び／又は通常、第１の深度検知カメラと第２の深度検知カメラとの間の相対的な位置及び相対的な向きの両方を示す。

【0033】

向きは、ピッチ成分、ヨー成分、ロール成分から、又は方位角成分、仰角成分及びチルト角成分から選択される１つ以上の成分によって与えられる。

【0034】

相対配置ベクトルは、第１の深度検知カメラの位置と第２の深度検知カメラの位置との間の並進を示す場合がある。相対配置ベクトルは、第１の深度検知カメラから第２の深度検知カメラへの方向を示す場合がある。

【0035】

配置プロセッサは、基準マーカと第２の深度検知カメラとの間の既知の関係の仮定に基づいて、相対配置ベクトルを生成するように構成される。配置プロセッサは、具体的には、基準マーカの配置と第２の深度検知カメラの配置との間の仮定された関係に基づいて、相対配置ベクトルを生成する。配置プロセッサは、基準マーカの位置と第２の深度検知カメラの位置との間の仮定された関係に基づいて、相対配置ベクトルを生成するように構成される場合がある。配置プロセッサは、基準マーカの向きと第２の深度検知カメラの向きとの間の仮定された関係に基づいて、相対配置ベクトルを生成するように構成される場合がある。

【0036】

第１の深度検知カメラ及び第２の深度検知カメラは、第１の画像及び第２の画像に対応するビューポートの重なりを有するように構成される。

【0037】

第１の深度検知カメラ及び第２の深度検知カメラは、複数の空間的に分散した深度検知カメラを備える取り込みシステムの一部であり、カメラは、異なる位置及び／又は向きのような異なる配置を有する。

【0038】

相対配置ベクトルは、第１の深度検知カメラと第２の深度検知カメラとの間の位置及び／又は向きのオフセット又は差を示す。所定の配置差は、基準マーカの配置及び第２の深度検知カメラの配置の差を示す。

【0039】

本発明の任意選択の特徴によれば、生成器は、第１の深度検知カメラ及び第２の深度検知カメラの視点とは異なる視点からのシーンの画像として表現を生成するように構成される。

【0040】

その手法はシーンの画像の改善された生成を提供し、詳細には、多くの場合に、シーンの、より高い品質及び／又はより良好なカバレッジを提供する。異なる視点は、異なる位置及び／又は向きを有する。

【0041】

本発明の任意選択の特徴によれば、生成器は、第１の深度データ及び第２の深度データに基づいて、少なくとも第１の画像と第２の画像とを結合するように構成される。

【0042】

これは、多くの実施形態において、改善された性能を提供し、例えば、異なる視点から画像を生成するための視点シフトを可能にし、改善し、及び／又は助長する。

【0043】

本発明の任意選択の特徴によれば、生成器は、複数の深度検知カメラ対に関する相対配置ベクトルを受信するための受信機と、相対配置ベクトルに応答して、複数のカメラのそれぞれに関して共通の座標系内の深度検知カメラ配置を決定するための座標プロセッサとを備え、生成器は、同じ座標系内の決定されたカメラ配置に応答して画像を生成するように構成される。

【0044】

その手法によれば、融通性があり、それでも正確なシーン取り込みシステムを開発できるようになる。詳細には、その手法によれば、数多くのカメラを一貫した取り込みシステムの中に実効的に組み込むことができるようになり、広いカバレッジ及び／又は改善された品質を提供できるようになる。その手法は、詳細には、多数のカメラ間の相互作用を助長するか、又は可能にし、更に、例えば、カメラが追加若しくは除去されることに起因して、又は移動式カメラに起因して変化する構成を実効的にサポートする。

【0045】

本発明の任意選択の特徴によれば、座標プロセッサは、コスト関数の最小化に応答して深度検知カメラ配置を決定するように構成され、コスト関数は、相対配置ベクトルと、共通の座標系内の決定された深度検知カメラ配置から決定される対応する配置ベクトルとの間の差に依存する。

【0046】

これは、特に効率的な手法を可能にし、取り込みシステムのための一貫した配置表現を生成するために、多数のカメラからの相対配置情報を効率的に結合できるようにする。

【0047】

いくつかの実施形態では、例えば、ＧＰＳ位置機能などの、第１の画像に頼ることなく決定された配置データによって、初期推定カメラ配置が決定される。

【0048】

本発明の任意選択の特徴によれば、その装置は更に、第２の画像内の第２の基準マーカに関する第２の画像位置特性を検出するための第２の検出器であって、第２の画像位置特性は第２の画像内の第２の基準マーカの位置を示し、第２の基準マーカは、第１の深度検知カメラに対して第２の所定の配置差を有することによって、第１の深度検知画像カメラの配置を表す、第２の検出器と、第２の画像位置特性と、第２の基準マーカの画像位置に関する第２の深度データの深度データと、第２の所定の配置差とに応答して、第２の深度検知カメラに対する第１の深度検知画像カメラの位置を示す第２の相対配置ベクトルを決定するための第２の配置プロセッサとを備え、第２の相対配置ベクトルは少なくとも３次元であり、生成器は、第２の相対配置ベクトルに応答して表現を生成するように更に構成される。

【0049】

これは、シーンの表現の生成を助長し、及び／又は改善する。

【0050】

本発明の任意選択の特徴によれば、基準マーカの視覚的特性は、第２の深度検知カメラの識別情報を示し、検出器は、視覚的特性に応答して、第２の深度検知カメラの識別情報を決定するように構成される。

【0051】

これは、シーンの表現の生成を助長し、及び／又は改善する。詳細には、それは、多数のカメラを備える取り込みシステムのための自動配置構成決定を助長する。

【0052】

生成器は、検出された識別情報に応答して、第２の画像と相対配置ベクトルとを結び付けるように構成される。検出器は、決定された識別情報に基づいて、複数の受信された画像から第２の画像を選択することによって、検出された識別情報に応答して、第２の画像と相対配置ベクトルとを結び付けるように構成される。

【0053】

本発明の任意選択の特徴によれば、相対配置ベクトルは少なくとも１つの向きの値を含む。

【0054】

これは、多くのシナリオにおいて改善された性能を与える。少なくとも１つの向きの値は、ロール値、ピッチ値、ヨー値、方位角値、仰角値及びチルト角値のうちの少なくとも１つである。

【0055】

本発明の任意選択の特徴によれば、配置プロセッサは、基準マーカの回転が異なる視覚的特性に応答して、少なくとも１つの向きの値を決定するように構成される。

【0056】

これは、多くのシナリオにおいて、通常、相対的に複雑でない基準マーカを使用できるようにしながら、高い信頼性で、あまり複雑にすることなく向きの値を決定できるようにする。

【0057】

本発明の任意選択の特徴によれば、配置プロセッサは、第１の深度検知画像カメラ及び第２の深度検知画像カメラに関して少なくとも１つの向きパラメータが同一であるという所定の仮定に基づいて、相対配置ベクトルを決定するように構成される。

【0058】

これは、多くのシナリオにおいて改善された性能を提供し、不確定度を大幅に低減する作業を助長する。配置プロセッサは、具体的には、第１の深度検知画像カメラ及び第２の深度検知画像カメラがいずれも同じ高さ／水平であるという所定の仮定に基づいて、相対配置ベクトルを決定するように構成される。

【0059】

本発明の任意選択の特徴によれば、その装置は更に、相対配置ベクトルに応答してシーンの取り込み特性を決定するための取り込みプロセッサであって、取り込み特性は、複数の深度検知カメラによって取り込まれた画像によって、そのシーンがいかにカバーされるかを示す、取り込みプロセッサと、取り込み特性を示すユーザ出力を生成するためのユーザインターフェースとを備える。

【0060】

その装置は、シーンのカバレッジを示すユーザフィードバックを与え、それにより、例えば、取り込み構成をセットアップする際にユーザを支援する。

【0061】

本発明の任意選択の特徴によれば、取り込みプロセッサは、取り込み品質指標が品質低下を示す、シーンの少なくとも一部を決定し、シーンの少なくともその一部を取り込むために、深度検知画像カメラに関する配置を示すユーザ出力を生成するように構成される。

【0062】

その装置は、シーンのカバレッジを示すユーザフィードバックを与え、それにより、例えば、カメラをセットアップするための有利な位置を示すことによって取り込み構成をセットアップする際にユーザを支援する。

【0063】

取り込み品質指標は、具体的には、シーンの異なる部分を取り込むカメラの台数を示す。取り込み用カメラの台数の増加の指標は、品質向上を示す。取り込みプロセッサは、具体的には、取り込み品質指標が、シーンを取り込むカメラの台数がしきい値未満であることを示す、シーンの少なくとも一部を決定するように構成される。ユーザ出力は、しきい値未満のカメラによって現時点で取り込まれているシーンの部分を取り込むことになるような、深度検知画像カメラの配置を示す。いくつかの実施形態において、しきい値は１台のカメラである。

【0064】

本発明の任意選択の特徴によれば、生成器は、第１の画像と第２の画像との画像照合に応答して、相対配置ベクトルを変更するように構成される。

【0065】

これは、結果として生じる表現の精度を改善し、第１の画像と第２の画像との結合を改善し、及び／又は助長する。

【0066】

本発明の任意選択の特徴によれば、生成器は、相対配置ベクトル、第１の画像及び第２の画像に応答して、シーンの３次元モデルを生成するように構成される。

【0067】

これは、改善された、及び／又は助長された動作及び／又は性能を提供する。生成器は、３次元モデルの評価に応答して、画像を生成するように構成される。

【0068】

本発明の一態様によれば、複数の分散した深度検知カメラによって取り込まれたシーンの画像からシーンの少なくとも一部の表現を生成する方法が提供され、その方法は、第１の深度検知カメラによって取り込まれた第１の画像と、第１の深度検知カメラによって取り込まれた第１の深度データとを受信することと、第１の画像内の基準マーカに関する画像位置特性を検出することであって、画像位置特性は、第１の画像内の基準マーカの位置を示し、基準マーカは、第２の深度検知カメラに対する所定の配置差を有することによって、第２の深度検知画像カメラの位置を表す、検出することと、画像位置特性と、基準マーカの画像位置に関する第１の深度データの深度データと、所定の配置差とに応答して、第１の深度検知カメラに対する第２の深度検知画像カメラの配置を示す相対配置ベクトルを決定することであって、相対配置ベクトルは少なくとも３次元である、決定することと、第２の深度検知画像カメラによって取り込まれた第２の画像と、第２の深度検知画像カメラによって取り込まれた第２の深度データとを受信することと、相対配置ベクトルに基づいて、少なくとも第１の画像と第２の画像との結合に応答して、シーンの少なくとも一部の表現を生成することとを有する。

【0069】

本発明のこれらの態様及び他の態様、特徴及び利点は、これ以降に説明される１つ又は複数の実施形態から明らかになり、１つ又は複数の実施形態を参照しながら説明される。

【0070】

本発明の実施形態が、図面を参照しながら、単なる一例として説明されることになる。

【図面の簡単な説明】

【0071】

【図1】複数の深度検知カメラを備える取り込み構成の一例を示す図である。

【図2】複数の深度検知カメラを備える取り込み構成の要素の一例を示す図である。

【図3】複数の深度検知カメラを備える取り込み構成の要素の一例を示す図である。

【図4】本発明のいくつかの実施形態による、装置の一例を示す図である。

【図5】本発明のいくつかの実施形態による、装置の一例を示す図である。

【図6】複数の深度検知カメラを備える取り込み構成の要素の一例を示す図である。

【図7】本発明のいくつかの実施形態による、装置の一例を示す図である。

【発明を実施するための形態】

【0072】

以下の説明は、通常、１０台、２０台、更にはそれより多くのカメラを備える取り込みシステムのような、複数の分散した深度検知カメラからの画像（ビデオを含む）の取り込みに基づいて、シーンのデータ表現を生成することに適用可能な本発明の実施形態に焦点を合わせる。しかしながら、本発明が、数台の深度検知カメラのみがシーンを取り込むシステムを含む、数多くの取り込みシステムに適用可能であることは理解されよう。

【0073】

図１は、比較的多くの台数の深度検知カメラがシーンを取り込む取り込みシステムの一例を示し、その例において、シーンは３つの中央の物体Ｏ１～Ｏ３によって表される。各深度検知カメラＮ１～Ｎ７が、カメラのビューポート／視野角も示す黒い三角形によって表される。図１は７台のカメラの使用を示すが、多くの実際のシステムでは、はるかに多くの台数が使用される場合があり、実際には、図示される７台のカメラは、はるかに多くの台数のカメラを表すものと見なされる。

【0074】

取り込み構成内の深度検知カメラは、その構成のノードとも呼ばれ、配置情報の決定（通常は共通の座標系を基準にする）は、カメラ／ノードの位置合わせとして知られている。通常、ノードの位置合わせは、その構成内の全てのノード／カメラに関する配置情報を収集する中央サーバ又は位置合わせユニットにおいて実行される。

【0075】

本分野において、配置及び姿勢という用語は、位置及び／又は方向／向きに関する共通の用語として使用される。例えば、物体、カメラ、頭部又は視像の位置及び方向／向きの組合せが姿勢又は配置と呼ばれる場合がある。したがって、配置又は姿勢指示は６つの値／成分／自由度を含む場合があり、各値／成分が通常、対応する物体の位置／場所又は向き／方向の個々の特性を記述する。当然、多くの状況において、例えば、１つ以上の成分が固定される又は無関係と見なされる場合には、配置又は姿勢はそれより少ない成分によって表される（例えば、全ての物体が同じ高さにあり、水平な向きを有すると見なされる場合には、４つの成分によって、物体の姿勢の完全な表現が与えられる）。以下において、位置及び／又は向きを指すために姿勢という用語が使用され、姿勢は１つから６つまでの値によって表される（取り得る最大自由度に対応する）。

【0076】

多数のカメラを使用することにより、シーンの取り込みが大幅に改善され、具体的には、付加情報、広いカバレッジなどが与えられる。これにより、例えば、１組の画像としての、又は３次元モデルとしての、シーンのデータ表現の生成を改善できるようになる。しかしながら、個々のカメラによって与えられる情報を実効的に結合するために、各カメラの具体的な配置が正確に決定されることが重要である。したがって、ノードごとの位置合わせデータが正確でなければならない。多くの実施形態において、カメラの向きの精度は、例えば、わずか１度程度にしなければならいか、好ましくは、それよりはるかに小さくしなければならない。しかしながら、多くのカメラに関するそのような配置決定及び位置合わせ、並びに高い精度は、多くの場合に、実際には達成するのが非常に難しい。

【0077】

例えば、飛行時間又はステレオカメラノードによって測定されるような、３次元シーン構造情報を用いて、複数のノードを位置合わせすることができるが、通常、正確な結果を達成するのは実際には非常に難しい。例えば、図１の例では、ノード１（Ｎ１）に対応する深度検知カメラ及びノード２（Ｎ２）に対応する深度検知カメラの両方がシーンの３次元情報を取り込むシナリオがある。ノード１及びノード２にあるカメラに関して、例えば、外れ値（例えば、遮断に起因する）に対してロバストである点群位置合わせ法（ｐｏｉｎｔ ｒｅｇｉｓｔｒａｔｉｏｎ ｍｅｔｈｏｄ）を用いて、シーン幾何のみに基づく較正が可能である。そのような較正方法を用いて、ノード２の座標系をノード１の座標系に変換する回転行列及び並進ベクトルを決定する。

【0078】

しかしながら、これらのノードに関するカメラは物体１、２及び３の異なる側を見ており、それは、特徴一致が極めて限られることを意味するので、ノード１を、例えばノード３で位置合わせしようとするときに、そのようなシーンベースの手法は困難である。それゆえ、シーンの対応する特徴が２台のカメラによって大きく異なるように取り込まれるか、又は実際にはカメラのうちの一方によって取り込まれない場合もあるので、シーンの取り込みに基づくノード１及びノード３の相対的配置は、実際には実現不可能である。

【0079】

取り得る解決策は、全てのノードの対を試し、対ごとに位置合わせプロセスがいかに成功するかを確認し、その後、位置合わせの成功が達成された対のみを使用することである。実際には、これは結果としていくつかの異なる問題を生じる傾向があり、それは、シーン点のみに基づいて位置合わせプロセスの品質を評価するのが非常に難しいことを含む。

【0080】

シーン構造に頼ることの別の欠点は、３Ｄシーン構造が位置合わせプロセスにあまり情報を与えない場合があり、異なるカメラ／ノードを照合するのに適した情報を与えない場合があることである。例えば、あるカメラに関する各ビューポート内で見える全てのものが平坦な地面又は反射面である場合には、配置を決定できるようにするシーン構造は存在しない。これは、画像テクスチャを用いて位置合わせパラメータを決定することによって軽減される場合もあるが、それでも、不正確な、及び／又は信頼性のない位置合わせにつながる傾向がある。

【0081】

それに加えて、そのような手法は複雑であり、リソースを過大に要求する傾向があり、カメラが追加及び除去される場合などの、取り込み構成を動的に変更するのに適していない傾向がある。詳細には、ドローン上の１台以上のカメラを使用する構成などの、移動式カメラが使用される取り込みシナリオに適していない傾向がある。数多くのそのようなシステムに関して、位置合わせ／較正は、リアルタイムにだけでなく、短い待ち時間で（通常、２０ミリ秒以内に）実行されなければならない。

【0082】

位置合わせ／配置決定を助長する手法は、カメラによってマーカが取り込まれるように、シーン内の種々の位置においてこれらのマーカを追加することである。そのような一例が図２に示されており、図２は、単一のマーカを備えるシーンを観測する２台のカメラノードを備えるレンジ検知カメラシステムの簡単な例を表す。両方のノードがマーカを含む共通のシーンを観測するが、互いを観測しない。しかしながら、（１）並進ベクトルの周りの回転が未知であり、（２）並進ベクトル間の角度が未知であるので、マーカの深度測定値、及び各カメラの固有パラメータの知識に基づくだけでは、共通の座標系内でカメラを位置決めすることはできない。したがって、２台のカメラの取り込まれた３Ｄ画像を融合させることはできない。

【0083】

ノード１とノード２との間で位置合わせを実行するには、３つの未知のパラメータが存在するので、両方のノードから少なくとも３つの基準マーカが見えなければならない。しかしながら、これは、多数のマーカを追加するように要求することによって、取り込み動作をより困難かつ面倒にするだけでなく、これらのマーカを目立たせ、人目を引くようにする傾向もある。

【0084】

以下において、多くの実施形態において改善された性能を提供する具体的な手法が使用される。その例において、その手法は、シーン構造だけに頼るのではなく、深度検知カメラの配置に特に結び付けられる基準マーカを使用することに基づく。基準マーカは、生成される画像のうちの１つ以上において現れるような、撮像システムの視野内に配置される物体である。基準マーカは、システムによって基準点として使用される。

【0085】

その手法において、基準マーカは単に、異なる画像内で検出及び参照されるマーカではなく、深度検知カメラの位置を表す。

【0086】

大部分の実施形態において、基準マーカは、深度検知カメラと同一の場所に配置され、具体的には、各カメラが基準マーカを設けられる。したがって、基準マーカは、具体的には、深度検知カメラと基本的に同じ位置に、深度検知カメラの向きを直接反映する向きを有するように位置決めされる。

【0087】

基準マーカは、対応する深度検知カメラに対して所定の配置差を有する。したがって、所定の配置差は、基準マーカの配置と、深度検知カメラの配置との間の既知の／所定の差である。所定の配置差は、配置オフセットである。所定の配置差は、具体的には、所定の位置オフセットとすることができる（通常は２次元又は３次元であるが、実施形態によっては、位置オフセットは１次元にすぎない）。所定の配置差は、具体的には、所定の向きオフセットとすることができる（通常、１次元、２次元又は３次元）。

【0088】

多くの実施形態において、基準マーカは深度検知カメラ上に直に配置され、所定の配置差は多くの場合に０であり、すなわち、基準マーカの配置は深度検知カメラの配置と同じである。他の実施形態では、基準マーカは、例えば、カメラを保持する三脚に固定され、所定の配置差は、基準マーカと深度検知カメラとの間の位置オフセット及び／又は回転／向きオフセットを反映する。

【0089】

多くの実施形態において、所定の配置差は、例えば、深度検知カメラに対して基準マーカを位置決めするための標準化された、又は一般に認められた手法であり、例えば、基準マーカはカメラと同じ向きにカメラ上に位置決めされる（例えば、深度検知カメラのレンズも有する表面に固定される）と規定される。

【0090】

他の実施形態では、所定の配置差は、セットアップ及び基準マーカの位置決め中に決定される。例えば、所与のシナリオにおいて、ユーザが、基準マーカをカメラ下方の三脚に固定することに決め、例えば、後続の較正プロセスにおいて使用するために、所定の配置差に関する対応する値をシステムに入力する（例えば、基準マーカが深度検知カメラ（レンズ）の２０ｃｍ下方に固定されることが入力される）。

【0091】

多くの実施形態において、基準マーカは、対応する深度検知カメラと厳密に位置合わせされている。基準マーカは、深度検知カメラとともに動き、すなわち、深度検知カメラの配置が変化する結果として、基準マーカの配置もそれに応じて変化する（逆も同様である）。基準マーカは、対応する深度検知カメラに関して／対して決まった位置及び／又は向きを有する。所定の配置差は、いくつかの実施形態では、較正期間ごとに変化するが、基準マーカに基づいて対応する深度検知カメラの相対的配置を決定する較正プロセスの開始前にわかっている（又はわかっていると仮定される）。

【0092】

所定の配置差は、具体的には、想定される所定の配置差である。例えば、基準マーカは深度検知カメラ上に位置決めされるべきであり、それゆえ、所定の配置差は、これを示し、すなわち、具体的には０であると規定される。当然、ユーザ（例えば、知識不足のアシスタント）が間違える場合があり、例えば、カメラを保持する三脚上に基準マーカを置く可能性もある。所定の配置差はそれでも基準マーカの想定される正確な配置を反映することになり、すなわち、所定の配置差はそれでも０とされ、（想定される）所定の配置差を用いて較正が実行されることになる。この場合、所定の配置差は、それゆえ、基準マーカと深度検知カメラとの間の正確な配置差を反映するが、実際の差は異なる場合がある。この結果として、カメラの位置を決定する較正プロセスが、深度検知カメラの間違った、又は少なくとも不正確な推定配置を生成する（可能性が最も高い）。しかしながら、当然、誤った結果によって、間違いが生じ、それにより、そのプロセスが基にする仮定及び前提が満たされないという決定のシナリオが結果として生じることも予想されないわけではない。

【0093】

所定の配置差は具体的には、いくつかの実施形態において、基準マーカの配置と対応する深度検知カメラの配置との間のオフセットを示す配置差ベクトルである。例えば、所定の配置差は、３つの位置次元及び３つの向き次元のオフセットを示す６値ベクトルによって表される。

【0094】

このようにして、所与の基準マーカの配置の決定は、それゆえ、対応する深度検知カメラの配置の決定でもある。

【0095】

後に更に詳細に説明されるように、基準マーカは、多くの実施形態において、各深度検知カメラノードの識別と、単一の共通の座標系内の各ノードの正確な位置合わせとの両方のために使用できるように設計される。

【0096】

したがって、基準マーカは、具体的には、カメラと、カメラの配置との両方を識別するために、各カメラ上に、又は各カメラに直に隣接して位置決めされる。基準マーカは、それゆえ、深度検知カメラに対して所定の配置差を有することによって、基準マーカに結び付けられる深度検知カメラの配置を表す。いくつかの実施形態において、基準マーカの配置と深度検知カメラの配置との間に差があるが、この差は所定の差であるので、システムにとって既知である。したがって、基準マーカの配置と深度検知カメラの配置との間の差がわかっている場合には、基準マーカの配置を決定することにより、本質的には、関連付けられる深度検知カメラの配置も決定される。

【0097】

異なる実施形態では、異なる特性を有する異なる基準マーカが使用され、基準マーカは、配置検出及びノード識別のために種々の形状を有することができ、例えば、以下を含む。
・位置決め用の球と、同じ場所に配置される識別用の（単純な）ＱＲのようなコードとの組合せ。
・様々なサイズの球、この場合、サイズが識別子として使用される。時間平均により、球サイズの推定精度が改善される。
・様々なサイズ、色及び／又はパターンの球。この場合、外観の違いが識別子として使用される。球識別確率を時間的に集約することによって、球サイズの推定精度が改善される場合がある。
・上記のような１組の基準マーカ。この場合、マーカの組合せがカメラノードを一意に識別し、第１の相対的な向きを与える。
・識別用の固有タイムコードを有する発光ダイオード（ＬＥＤ）。ＬＥＤは、カメラシステム内にどのタイプのカメラセンサが存在するかに応じて、白色、ＲＧＢ又はＩＲとすることができる。

【0098】

その手法を具体的に用いて、深度検知カメラの対間の相対的配置が見つけられ、より多くの台数のカメラを用いる実施形態では、複数の対に関して、そのような相対的配置が生成され、その後、結果として生じた相対的配置を用いて、共通の座標系内の全ての深度検知カメラの位置が決定される。

【0099】

一対の深度検知カメラ／ノードの場合のその手法が図３によって例示される。その例は、それぞれが識別及び位置合わせ用の基準マーカを有する２つのノードからなる取り込み構成を示す。２台の深度検知カメラが、ノードが互いに見通し線内にあるように位置決めされる。深度検知カメラのセンサが互いを観測するので、それらの相対的配置は、他の外部マーカを必要とすることなく決定することができる。基準マーカがカメラの向きを示す場合には、一方の深度検知カメラに対する他方の深度検知カメラの相対的な向きを決定することができる。例えば、開始時の向きとして、例えば、ノード１に関する３Ｄ単位ベクトルを考えると、ノード１に関する固有パラメータを用いて、このベクトルに対する両方のノードを接続する線の向き（α１）を決定することができる。最後に、ノード２に関する固有パラメータを用いて、接続する線に対するノード２の向き（α２）を決定することができる。

【0100】

唯一の残りの未知数は、並進ベクトルの周りのカメラの共通の回転、すなわち、外部環境／共通の座標系に対するカメラ対構成の向きである。しかしながら、カメラノードを正確に同じ高さにするか、又は外部基準マーカを追加することによって、これを決定することもでき、両方の深度検知カメラの配置を決定することができる。

【0101】

図４は、上記の手法を用いて、複数の分散した深度検知カメラによって取り込まれるシーンの画像からシーンの少なくとも一部の表現を生成するための装置の一例を示す。

【0102】

その装置は、第１の深度検知カメラによって取り込まれた第１の画像と、関連付けられる第１の深度データとを受信するように構成される第１の受信機４０１を備える。第１の受信機４０１は、それゆえ、第１の深度検知カメラによって取り込まれた第１の画像と、第１の深度検知カメラによって取り込まれた第１の深度データとを受信するように構成される。例えば、ステレオカメラから（視差推定後に）、又はレンジ深度検知カメラから、画像及び関連付けられる深度マップが受信される。第１の深度検知カメラは、具体的には、図３のノードＮ１に対応する。第１の深度データは、第１の画像に関する深度を示す任意のデータである。第１の深度データは深度マップであるが、例えば、メッシュベースモデル、又は別の画像によって指示される視差情報を含む、他の深度データとすることもできる。

【0103】

同様に、その装置は、第２の深度検知カメラによって取り込まれた第２の画像と、関連付けられる第２の深度データとを受信するように構成される第２の受信機４０３を備える。第２の受信機４０３は、それゆえ、第２の深度検知画像カメラによって取り込まれた第２の画像と、第２の深度検知画像カメラによって取り込まれた第２の深度データとを受信するように構成される。例えば、ステレオカメラから（視差推定後に）、又はレンジ深度検知カメラから、画像及び関連付けられる深度マップが受信される。第２の深度検知カメラは、具体的には、図３のノードＮ２に対応する。第２の深度データは、第２の画像に関する深度を示す任意のデータである。第２の深度データは深度マップであるが、例えば、メッシュベースモデル、又は別の画像によって指示される視差情報を含む、他の深度データとすることもできる。

【0104】

その装置は、第１の深度検知カメラによって取り込まれた画像に基づいて、そして具体的には、第１の深度検知カメラによって取り込まれた画像内の第２の深度検知カメラの基準マーカの検出と、関連付けられる深度データとに基づいて、第２の深度検知カメラの配置を示す相対配置ベクトルを決定するように構成される。基準位置パラメータベクトルが所定の配置差に更に基づき、すなわち、その決定は、第２の深度検知カメラに対する基準マーカの配置の所定の知識に基づく。多くの実施形態において、基準マーカの配置及び深度検知カメラの配置は同じであるので、所定の配置差は０であり、それゆえ、基準位置パラメータベクトルは基準マーカの配置に基づいて決定される。

【0105】

第１の受信機４０１は、第１の画像内の基準マーカに関する画像位置特性を検出するように構成される検出器４０５に結合される。画像位置特性は、第１の画像内の基準マーカの位置を示す。

【0106】

検出器は、基準マーカの視覚的（そしておそらく深度）特性に関連する情報を有し、基準マーカの視覚的（そしておそらく深度）特性に対応する物体に関する画像を探索する。多くの実施形態において、検出器４０５は、潜在的な基準マーカの一般的な視覚的特性の事前情報を有し、具体的には、全ての基準マーカに関する共通のパラメータの情報を有する。その後、検出器は、これらの特性を有する物体に関する画像を探索し、見つけられる場合には、対応する画像位置を決定することになる。検出器は更に、基準マーカの具体的な特性を解析することに進み、例えば、基準マーカの向きと、基準マーカが関連付けられるカメラ、すなわち、具体例では第２の深度検知カメラの識別情報を示す特性とを識別する。

【0107】

いくつかの実施形態において、検出器４０５は更に、対応する深度マップの深度値を考慮する。例えば、基準マーカは既知の３Ｄ幾何／サイズを有し、深度マップも考慮することによって、そして具体的には、これが基準マーカに関して予想されるものと一致する特性を示す場合には、基準マーカの検出が助長され、及び／又はより正確になり、及び／又は信頼性が高められる。

【0108】

検出器４０５は、第１の深度検知カメラによって与えられる情報のいずれかに基づいて、画像位置特性を検出するように考慮される。検出器は、多くの実施形態において、第１の画像のみに基づくが、より一般的には、例えば、異なるカメラ間の視差によって表される深度情報も考慮する。具体例として、ステレオカメラからの出力に基づいて、検出器４０５は、テクスチャのみを用いて左画像及び右画像内のマーカを検出し、マーカレベルごとに視差推定を用いて、誤警告を削減する（マーカスケールを視差と照合することによる）。そうする１つの理由は、最終的なシーン表現のために使用されるフル画像高密度視差推定アルゴリズム（ｆｕｌｌ ｉｍａｇｅ ｄｅｎｓｅ ｄｉｓｐａｒｉｔｙ ｅｓｔｉｍａｔｉｏｎ ａｌｇｏｒｉｔｈｍ）が、リアルタイムに実行するには計算負荷が大きすぎるためである。

【0109】

検出器４０５は配置プロセッサ４０７に結合され、配置プロセッサは、第１の深度検知カメラに対する第２の深度検知画像カメラの配置を示す相対配置ベクトルを決定するように構成される。配置プロセッサ４０７は第１の深度データに基づいて、相対配置ベクトルを更に決定する。

【0110】

その決定は所定の配置差に更に基づく。これは、例えば、所定の配置差ベクトルの値を計算することによって、所定の配置差を直接考慮することになる。他の実施形態では、所定の配置差は、例えば、更に使用される前に基準マーカの全ての決定された位置を所与の値だけオフセットすることによって、決定方法に固定的に含まれる。いくつかの実施形態において、所定の配置差は、０であり、同じである基準マーカの配置及び深度検知カメラの配置に対応することがわかっている。この場合、所定の配置差は、相対配置ベクトルを決定する際に、基準マーカに関して決定され、その後、深度検知カメラに関しても使用される相対配置ベクトルによって本質的に含まれる。

【0111】

一例として、基準マーカの画像位置を解析することによって、配置プロセッサ４０７は、カメラ位置に対して基準マーカが見つけられる方向を決定することができる。これは、カメラからの方向と、これらのカメラに対応する画像位置との間のマッピングによって決まる。したがって、画像位置によって、配置プロセッサ４０７は、第１の深度検知カメラから基準マーカ、それゆえ、第２の深度検知カメラに向かう相対的方向を計算できるようになる。

【0112】

更に、第１の深度データに基づいて、基準マーカに対応する画像物体の推定深度が決定され、これから、基準マーカまでの、それゆえ、第２の深度検知カメラまでの対応する距離が決定される。このようにして、第１の深度検知カメラから第２の深度検知カメラへの相対的方向及び距離を決定することができる。

【0113】

更に、基準マーカの回転が異なる場合、すなわち、決定された方向の周りの回転の結果として、第１の深度検知カメラに対する基準マーカの外観が異なる場合には、配置プロセッサ４０７は、画像内の基準マーカの回転を検出する。それに応じて、配置プロセッサは、第１の深度検知カメラに対する第２の深度検知カメラの向きを、そして具体的には、相互接続する線の周りの第２の深度検知カメラの回転を決定する。

【0114】

したがって、いくつかの実施形態において、配置プロセッサ４０７は、基準マーカの回転が異なる視覚的特性に応答して、少なくとも１つの向きの値を決定するように構成される。回転が異なる視覚的特性は、例えば、回転しても不変の形状を有する基準マーカ上に、回転に応じて異なるパターンとして与えられる。

【0115】

このようにして、配置プロセッサ４０７は、具体的には、第１の深度検知カメラに対する第２の深度検知カメラの相対的な位置及び相対的な向きの両方を規定する相対配置ベクトルを決定する。相対配置ベクトルは、具体的には、相対的な位置を示す３つの値と、相対的な向きを示す１つ以上の値とを含む。例えば、向きは、いくつかの実施形態において、所定の面における第１の深度検知カメラに対する第２の深度検知カメラの相対的な回転を示す単一の値として与えられる。

【0116】

相対配置ベクトルは、それゆえ、第１の深度検知カメラと第２の深度検知カメラとの間の少なくとも３次元の位置差を与える。更に、相対配置ベクトルは通常、第２のカメラに関する少なくとも１つの向きの値を含む。

【0117】

配置プロセッサ４０７は、例えば、第１の深度検知カメラの配置と、第１の画像内の基準マーカの第１の位置の深度値とに応答して、基準マーカに関する空間位置を決定するように構成される。例えば、基準マーカの空間位置は、第１の深度検知カメラの視線方向／向きにおいて深度値だけオフセットされた第１の深度検知カメラの位置として決定される。その後、基準マーカの空間位置を所定の配置差だけオフセットすることによって、相対配置ベクトルが決定される。

【0118】

配置プロセッサ４０７は生成器４０９に結合され、生成器は第１の受信機４０１及び第２の受信機４０３に更に結合される。生成器４０９は、第１の画像及び第２の画像だけでなく、相対配置ベクトルも供給され、通常は第１の深度マップ及び第２の深度マップも供給される。

【0119】

生成器４０９は、相対配置ベクトルに基づいて、通常は第１の深度マップ及び第２の深度マップにも基づいて、少なくとも第１の画像と第２の画像との結合に応答して、シーンの少なくとも一部の表現を生成するように構成される。

【0120】

多くの実施形態において、シーン（の一部）の表現は画像表現であり、具体的には、所与の視点（又は複数の視点）に関するビューポートに対応する１つ以上の画像である。例えば、受信された第１の画像及び第２の画像と、相対配置ベクトルとに基づいて、生成器４０９は、２つのカメラ間の視点からのシーンを示す画像を生成する。そのような場合に、２つの画像は、例えば、他方の画像において遮断されるエリアに関する情報を与える画像によって互いを補完する。

【0121】

より一般的には、相対配置ベクトルを用いて、ある座標系内で第１の深度検知カメラ及び第２の深度検知カメラが位置決めされ、その座標系において視点も与えられる。生成器４０９は、その後、第１の画像及び第２の画像に基づいて、そして第１の深度マップ及び第２の深度マップに基づいて視点をシフトすることによって、視点のビューポートに関する画像を生成する。

【0122】

相対配置ベクトルの決定と、後続の画像の生成との具体例として、例えば、深度マップの２×２ピクセルの正方形あたり２つの三角形を作成することによって、両方の深度マップが最初にメッシュに変換される。各カメラからの画像が、ここで、２つの取り込みカメラ間の新たな仮想視点の画像を合成するためのテクスチャとしての役割を直接果たすことができる。その結果は２つの合成された画像であり、これら画像はそれぞれ、異なる取り込みカメラからワーピングされる。２つの合成された画像は、ＯｐｅｎＧＬ又はＶｕｌｋａｎなどのグラフィックスエンジン内に存在する、結果として生じる深度バッファを解析することによって、最終画像に融合することができる。ワーピング後の深度バッファの解析は、２つの合成された視像のうちのいずれが使用されなければならないかを示す。例えば、第１の合成画像の深度バッファが第２の合成画像よりカメラに近い場合には、見たところ第２の合成画像が遮断されない背景テクスチャを撮像したので、そのピクセルにおいて第２の合成画像が使用されなければならない。

【0123】

多くの実施形態において、その装置は逆の動作も実行するように更に構成され、すなわち、第２の深度検知カメラから見られるような第１の深度検知カメラの相対的配置を示す第２の相対配置ベクトルを決定する。そのような場合に、その装置は、それゆえ、検出器４０５の動作を再現するが、代わりに、第２の画像内の第１の深度検知カメラの位置を表す第２の基準マーカを検出しようとする第２の検出器を備える。その装置は、画像、深度データ、第１の深度検知カメラに対する第２の基準マーカに関する所定の配置差、第２の画像内の第２の所定の検出された画像位置から第２の相対配置ベクトルを決定するために、配置プロセッサ４０７の動作を再現する第２の配置プロセッサを更に備える。第２の検出器及び第２の配置プロセッサは、それぞれ図４の検出器４０５及び配置プロセッサ４０７によって実現され、第１の相対配置ベクトルを決定するときと同じ動作を再現するが、第１の画像及び第２の画像並びに第１の深度マップ及び第２の深度マップを交換し、（個々の基準マーカ探索が実行される場合に）第１の基準マーカではなく、第２の基準マーカを検出することは理解されよう。

【0124】

そのような場合に、逆の動作は、それゆえ、第１の深度検知カメラの視点、及び第２の深度検知カメラの視点の両方から決定される第１の深度検知カメラ及び第２の深度検知カメラの相対的配置を用いて実行される。

【0125】

生成器４０９は、そのような実施形態において、第１及び第２の両方の決定された相対配置ベクトルを用いて、異なる視点に関する表現、具体的には画像を生成することに進む。一例として、生成器４０９は、第１の相対配置ベクトル及び第２の相対配置ベクトルから平均相対配置ベクトルを決定することに進み、その後、生成器４０９は、画像生成のためにこの平均相対配置ベクトルを使用する。

【0126】

上記で言及されたように、取り込み構成は、多くの実施形態において、例えば、１０台、２０台、更には５０台以上などの多数のカメラを含む。そのようなシナリオにおいて、一対のカメラに関する上記の手法は、複数のカメラ対に関して繰り返され、それに応じて、複数の相互に関連付けられる相対配置ベクトルが生成される。これらの相互に関連付けられる相対配置ベクトルは、その後、例えば、１組の画像、又は多くの実施形態においてシーンのモデルなどの、シーンの表現を生成するように処理される。

【0127】

そのようなシステムにおいて、その装置は、例えば、全ての深度検知カメラからの画像及び深度マップを受信する。その装置は、その後、全てのカメラ対に関して上記のプロセスを実行することに進む。その装置は、具体的には、対ごとに、その対の各カメラに基づいて２つの相対配置ベクトルを生成する（又は同等に、異なる方向が異なる対として扱われ、それぞれが結果として１つの相対配置ベクトルを生成する）。

【0128】

そのようなシステムにおいて、どのカメラが他のカメラから見えるかは通常未知であり、検出器４０５は、そのような不確定性に対処する処理を実行するように構成される。例えば、所与の第１の深度検知カメラに関して、受信された第１の画像は、取り得る他のカメラごとに処理される。例えば、画像及び深度マップをアップロードする各カメラは、このカメラに取り付けられた基準マーカの描写もアップロードする。第１のカメラに関して、検出器４０５は、その後、全ての他のカメラに関する第１の画像を順次に処理する。検出器４０５は、特に所与のカメラに関して、その所与のカメラによって報告される特性に対応する特性を有する基準マーカに関する画像を探索する。一致するものが見つけられない場合には、検出器４０５は次のカメラに進む。しかしながら、一致するものが見つけられる場合には、第１のカメラは、上記のように、相対配置ベクトルを生成することに進む。全ての潜在的なカメラが処理された後に、その装置は、次のカメラに進み、そのプロセスを繰り返す。

【0129】

多くの実施形態において、検出器４０５は、代わりに、画像を探索して、例えば、基準マーカに関する汎用の視覚的（及び／又は深度）特性に基づいて、基準マーカに対応する任意の画像物体を見つける。検出された潜在的な基準マーカごとに、検出器４０５は、その後、基準マーカの具体的な特性を評価することに進み、それにより、その基準マーカに関連付けられるカメラが識別される。例えば、決定のパターン（例えば、ＱＲコード（位置合わせ商標））が、検出された基準マーカ／カメラを一意に識別する。この検出に基づいて、その装置は、検出されたカメラに関する受信された画像及び深度マップを識別することに進む。

【0130】

識別は、例えば、各基準マーカに固有の外観（形状、色、パターンなど）を与えることによって、又は識別用コードを送出するアクティブ（例えば、ＬＥＤ）マーカを使用することによって可能にされる。

【0131】

このようにして、ノード／カメラごとに、そのカメラから見える他のノードのサブセットが検出され、その後、識別され、位置を決定される。このようにして、ノードごとに、このカメラから他のカメラにマッピングする１組の相対配置ベクトルが生成される。具体的には、相対配置ベクトルは、位置の違いを示す並進ベクトルを含み、更に、少なくとも１つの向き／方向パラメータが含まれる。

【0132】

したがって、そのプロセスの結果として、通常、カメラの相対的配置を反映する多数の相対配置ベクトルが生成される。これらの相対配置ベクトルに基づいて、生成器４０９は、共通の座標系内でカメラを位置合わせする。位置合わせプロセスは、具体的には、ノードごとに、回転行列と、共通の座標系内でノードの位置を決定する並進ベクトルとを決定する。

【0133】

図５に示されるように、生成器４０９は、全ての生成された相対配置ベクトルを受信する受信機５０１を備える。受信機５０１は座標プロセッサ５０３に結合され、座標プロセッサは、相対配置ベクトルに基づいて、共通の座標系内でカメラ配置を決定するように構成される。生成器４０９は、その後、この構成からシーンの表現を生成する。例えば、表現は、受信された画像及び深度マップとともに、位置合わせデータ、すなわち、単一の座標系内の全てのカメラの位置を記述するデータの組合せとして与えられる。

【0134】

図６は、第３のカメラがいかに位置合わせされるかの一例を示す。その例では、ノード２及び３（Ｎ２、Ｎ３）は既に位置合わせされており、すなわち、それらのノードの配置はわかっている。更に、生成器４０９は、ノード２及び３に対するノード１（Ｎ１）の相対配置ベクトルを知っている。したがって、ノード１がノード２及び３を観測したので、生成器４０９は、ノード２又はノード３からのノード１の位置と、ノード１の３Ｄ向きとを知っている。したがって、その例は３つのノードの構成を示し、ノード１は、識別及び位置合わせ用の基準マーカをそれぞれ有する２つの他のノード２、３を見る。ノード２及び３はいずれもノード１に対する自らの配置を決定することができるので、３つ全てのノードからの３Ｄデータを共通の座標系内に配置することができる。ノード１は両方のノード２及び３までの距離を観測するので、ノード２及び３の相対的配置決定に関して、追加の検査／フィルタ動作が可能である。

【0135】

共通の座標系内の深度検知カメラの配置を決定するための異なる手法及びアルゴリズムが使用されてもよい。多くの実施形態において、座標プロセッサ５０３は、全ての相対配置ベクトルを考慮に入れる同時最適化プロセスを実行するように構成される。

【0136】

具体的には、共通の座標系内のノードの配置から生じる、（被測定）相対配置ベクトルと対応する（調整済み）相対配置ベクトルとの間の差に依存するコスト関数が定義される。

【0137】

具体的には、共通の座標系において、２つのノード間の調整済み相対配置ベクトルは、これら２つのノードの割り当てられた配置から生じる。配置が変化するのに応じて、割り当てられた配置間の差を示す調整済み相対配置ベクトルも変化する。

【0138】

コスト関数は、この調整済み相対配置ベクトルを、上記で説明されたような測定によって決定される対応する被測定相対配置ベクトルと比較することを含む。このようにして、２台のカメラの割り当てられた配置から生じる調整済み相対配置ベクトルが、２台のカメラに関する被測定相対配置ベクトルと比較され、その差が大きいほど、コスト関数の値が大きくなる。コスト関数は、全てのカメラ対に関する被測定相対配置ベクトルごとの比較を含む。

【0139】

その後、座標プロセッサ５０３は、割り当てられた配置を変更して、コスト関数が最小化される最適化された割り当てを見つけ、対応する構成が位置合わせされる。

【0140】

そのような最適化動作のための種々の技法及びアルゴリズムが当業者には知られており、それゆえ、簡潔にするために、本明細書では更には説明されないことは理解されよう。

【0141】

多くのシナリオにおいて、最適化は他の情報によって支援される場合がある。例えば、ノード／カメラの初期位置は、例えば、各カメラに含まれるＧＰＳ位置推定からの位置情報に基づくなどの、他の機能に基づいて割り当てられてもよい。

【0142】

いくつかの実施形態では、配置プロセッサ４０７は、第１の深度検知画像カメラ及び第２の深度検知画像カメラに関して少なくとも１つの向きパラメータが同一であるという所定の仮定に基づいて、相対配置ベクトルを決定するように構成される。例えば、多くの実施形態において、配置プロセッサ４０７は、第１のカメラ及び第２のカメラがいずれも同じ高さにあり、完全に水平であるように位置決めされると仮定することに基づく。

【0143】

そのような手法によれば、配置プロセッサ４０７が、未知の変数の数を削減できるようになり、それゆえ、相対配置ベクトルの決定が助長される。更に重要なことに、多くの実施形態において、その手法は、共通の座標系内のノードの位置合わせを助長する。具体的には、その手法は、例えば、より簡単なコスト関数を使用できる場合に、より効率的な最適化プロセスを可能にする。

【0144】

具体例として、各深度検知カメラが、一定の／公称高さを有し、概ね水平な三脚上に配置されると仮定する（例えば、概ね水平は流体的手法において従来の気泡を用いて配置中に測定される）。全てのカメラが地面から概ね同じ（既知の）高さにあり、概ね水平であるので、カメラごとに０度に、そして所与の高さにおいて初期化された３つの方位角のうちの２つを用いて反復探索アルゴリズムを開始することができる。このようにして、反復コスト最小化アルゴリズムが最小値により近くなり、決定すべき未知数が少なくなる。これは、収束が速くなることを意味する。更に、既知の事前の向き及び高さから大きく外れないように解決策が実行されるように、制約を加えることができる。

【0145】

上記で説明されたように、多くの実施形態において、そのシステムは、１つ以上の画像によってシーンの一部の表現を生成し、その画像は、具体的には、取り込まれた画像及び深度情報から生成される。実際には、いくつかの実施形態において、その表現は単に、取り込まれた画像及び深度マップから生成され、位置合わせ情報を用いて結合することに基づく、シーンの単一の画像である。例えば、遮断されないエリアが、配置情報に基づいて選択された他のカメラの画像から埋められるように、１つの画像に視点シフトアルゴリズムが適用される。このようにして、カメラ視点以外の他の視点からの画像を生成することができる。

【0146】

別の例として、いくつかの実施形態において、生成器４０９は、相対配置ベクトルに基づいて、そして具体的には、共通の座標系内の全てのカメラの構成に基づいて、シーンの３次元モデルを生成するように構成される。

【0147】

例えば、各カメラの各深度測定値を用いて、所定の３Ｄボリューム／アレイを埋めることができる。この埋め込み動作後に、空でないピクセルの集合体が３Ｄボリューム表現を形成する。３Ｄモデルを表現するために、ボリュームの外面上の位置をメッシュに変換することができる。

【0148】

説明された装置の機能の配分は、個々の実施形態及びアプリケーションの選択及び要件に応じて、実施形態ごとに異なる場合がある。

【0149】

いくつかの実施形態では、その装置は、全てのカメラが取り込まれた画像及び深度情報を送信する、スタンドアローンの中央デバイス又はサーバとして実現される。他の実施形態では、取り込みシステム内に機能が分散される。例えば、検出器４０５が各カメラ内に配設され、検出された画像位置が中央デバイスに通信され、中央デバイスは配置プロセッサ４０７及び生成器４０９を備え、それゆえ、確率値及び表現を生成することに進む。更に別の実施形態では、検出器４０５及び配置プロセッサ４０７が各深度検知カメラ内に配設され、結果として生じる相対配置ベクトルが中央の生成器４０９に送信される。

【0150】

したがって、主な説明は、全てのデータを収集し、カメラを位置合わせするマスターデバイスに基づくネットワークトポロジに焦点を合わせてきた。しかしながら、他の代替形態は、例えば、以下を含む場合がある。
・各カメラがビデオ用の記憶装置を有し、較正を含む全ての処理がオフラインで（記録後に）実行される。
・カメラが、自らの基準マーカと、観測された、位置を伴う基準マーカとについて、ＲＦ（例えば、ＷｉＦｉ（位置合わせ商標）又はブルートゥース（位置合わせ商標））を介して通信する。全体として、複数のカメラが共通の座標系を形成する。
・モバイルカメラ（ドローン）が位置変化をブロードキャストする。

【0151】

図７に示されるように、その装置は、いくつかの実施形態において、シーンの取り込み特性を決定するための取り込みプロセッサ７０１を備え、取り込み特性は、複数の深度検知カメラによって取り込まれた画像によるシーンのカバレッジを示す。取り込み特性は、具体的には、取り込み品質を示す。

【0152】

取り込み品質指標は実施形態に応じて異なる場合があり、異なる実施形態では、品質を評価するために異なる指標又はパラメータが使用される場合があることは理解されよう。具体的には、いくつかの実施形態において、取り込み品質指標は、シーンの決定の部分を取り込む、その構成のカメラの台数の指標である。例えば、あるシーンの決定の部分を６台以上のカメラが取り込む場合には、取り込み品質指標は、そのシーンのその一部に関する取り込み品質が最大であることを示す。あるシーンの決定の部分を１台のカメラも取り込まない場合には、取り込み品質指標は、そのシーンのその一部に関する取り込み品質が最小であることを示す。そのシーンの部分を１台～４台のカメラが取り込む場合、取り込み品質指標は、中間の品質レベルを示す。このようにして、取り込み品質指標は、そのシーンの種々の部分を取り込むカメラの台数を反映し、それゆえ、そのシーンの部分を取り込むカメラが多いほど、取り込み品質が良好であり、例えば、そこが遮断された要素であるリスクが低いことを反映する。

【0153】

いくつかの実施形態では、取り込み品質指標は、シーンの部分ごとに異なる。いくつかの実施形態において、例えば、シーンの部分を取り込むカメラの平均台数として、又は所与の台数のカメラより少ないカメラによってカバーされるシーンの割合として、そのシーンに関して全体として１つの取り込み品質指標値が生成される。

【0154】

取り込みプロセッサ７０１はユーザインターフェース７０３に結合され、ユーザインターフェースは、決定された取り込み品質、そして具体的には、取り込み品質指標を示すユーザ出力を生成する。

【0155】

あまり複雑でない例として、その装置はディスプレイを備え、ユーザインターフェース７０３は、ディスプレイ上に、全体的な取り込み品質が許容できるか否かの簡単な指標を提示する。

【0156】

いくつかの実施形態では、取り込みプロセッサ７０１は、具体的には、取り込み品質指標が低い取り込み品質を示すシーンの部分を識別する。例えば、取り込みプロセッサは、そのシーンを１台のカメラも取り込んでいないか、又は１台のカメラしか取り込んでいない、シーンの部分を識別する。取り込みプロセッサは、その後、これらの部分を表示することに進み、シーンのその一部に関するこの品質を改善できるように、新たな深度検知カメラに関する配置を示す。

【0157】

多くの実施形態において、ユーザインターフェース７０３は、それに加えて、又はその代わりに、位置合わせ情報、具体的には、共通の座標系内の深度検知カメラの位置及び向きなどを示す。

【0158】

したがって、多くの実施形態において、識別及び位置合わせプロセスに関する情報は、ユーザが利用することができ、それにより、取り込み構成を改善するために、ノードの位置、又はノードの追加を調整できるようにする。

【0159】

具体的には、その手法を用いて、所与のカメラセットアップの妥当性／性能を検証する。

【0160】

例えば、カメラシステムの設置中に、シーン内の物体が別のカメラの基準マーカを遮断する可能性がある。これは自動的に検出することができる。また、その際、全てのカメラが互いに連鎖するように次のカメラをどこに配置すべきかをシステムの設置者に通知することもできる。そのような手順を与えられると、所与のカメラノード構成が適切であるか否かを自動的に検出することができる。この検出の根拠は、カメラの位置及び配置の両方がそのシーンを完全にカバーできるようにするか否かを判断することである。また、全てのカメラを位置合わせできるか否かの検出、すなわち、全てのカメラに関する配置を決定できるか否かの検出に基づくこともできる。

【0161】

作業者がカメラシステムを迅速にセットアップするために、較正プロセスに伴う任意の問題、及びカメラノードを動かすこと、又は追加することによって品質を改善する任意の機会を視覚化することが非常に有用である。

【0162】

位置合わせに成功したカメラノードに関して、それらのカメラノードをコンピュータグラフィックスを用いて描画することができる。位置合わせの不確定は、不確定の１つ又は複数の方向を示すブロブ若しくはライン又は他のグラフィックスを用いて視覚化することができる。適切な視覚化により、カメラの視錐台が描写される。これは、作業者にカメラの重なりの量に関する情報を与えるので非常に有用である。不確定は、その決定の方向における描画を不鮮明にすることによって示すことができる。

【0163】

この視覚化は、同じく位置合わせされるデバイス、好ましくは、広視野拡張現実眼鏡上に描画されるときに、より直観的に理解できる。カメラの基準マーカを取り込むために、ヘッドマウンドデバイス（ＨＭＤ）が、例えば、カメラセンサを取り付けられる。オンライン位置合わせによれば、カメラシステムへの変更の影響を直接見ることができる。

【0164】

仮想現実又は拡張現実眼鏡に基づく、より高度なユーザインターフェースは、シーンの各部分がいかに良好に取り込まれるか視覚化することができる。これは、取り込まれた３Ｄシーンの描画を、実際のシーンと位置合わせして生成することを伴う。この描画は、その後、以下のような、有用な情報で拡張することができる。
・取り込みの欠落を示す陰影。
・（もしあるなら）シーン要素を取り込むセンサの数。
・物体の表面特性を与えられるときに、この物体を十分なセンサが取り込んでいるか否か。

【0165】

いくつかの実施形態において、生成器４０９は、基準マーカに基づく決定後に、相対配置ベクトルを、より具体的には、共通の座標系内の座標を変更するように更に構成される。詳細には、生成器は、取り込まれた画像間の画像照合に基づいて、細かい調整を適用する。

【0166】

例えば、第１の深度検知カメラ及び第２の深度検知カメラに関して、基準マーカに基づく位置合わせの結果として、第１のカメラ及び第２のカメラが配置される。生成器は、その後、位置の差を考慮に入れて第１の画像と第２の画像とを照合することに進む。例えば、共通の中央ビューポイントへの両方の画像の画像シフトが実行される。理想的には、これら２つの画像がここで一致するはずである。しかしながら、実際には、これは厳密には当てはまらず、生成器４０９は、場合によっては、その後、配置ベクトルのわずかな変化に対して照合がより良好であるか否かを確認しようと試みる。良好な場合には、結果として最良の画像一致を生じる変更済み配置が、基準マーカを検討することから決定された元の配置の代わりに使用される。

【0167】

多くの実施形態において、その手法は有利に、例えば、移動式ビデオカメラが使用されるビデオ取り込みシステム内などの、動的取り込みシステム内で使用される。そのようなシステムでは、異なるカメラ間及び画像間のタイミング同期が要求される場合もある。これは、例えば、関連付けられるタイムコードを有する、配置データ、画像などによって達成される。多くのシステムにおいて、全てのカメラが、例えば、ＧＰＳ又は類似の時間同期に基づいて、共通の時間基準に時間同期する。そのようなシステムでは、例えば、タイムコードを用いて、特定の時点の配置データに関してどの画像が使用されるかなどを調整する。

【0168】

本発明は、ハードウェア、ソフトウェア、ファームウェア又はこれらの任意の組合せを含む、任意の適切な形で実現することができる。本発明は、任意選択で、１つ以上のデータプロセッサ及び／又はデジタルシグナルプロセッサ上で実行されるコンピュータソフトウェアとして少なくとも部分的に実現される。本発明の一実施形態の要素及び構成要素は、任意の適切なやり方で物理的に、機能的に、及び論理的に実現される。実際には、その機能は、単一のユニットにおいて、複数のユニットにおいて、又は他の機能ユニットの一部として実現される。その場合に、本発明は、単一のユニット内で実施されるか、又は異なるユニット、回路及びプロセッサ間に物理的及び機能的に分散される。

【0169】

本発明はいくつかの実施形態に関連して説明されてきたが、本明細書に記載される具体的な形に限定されることを意図するものではない。更に、ある特徴が特定の実施形態に関連して説明されるように思われる場合があるが、本発明によれば、説明された実施形態の種々の特徴が組み合わせられることは、当業者は認識されよう。特許請求の範囲において、「備える」という用語は、他の要素又はステップの存在を除外しない。

【0170】

更に、個々に列挙される場合でも、複数の手段、要素、回路又は方法のステップが、例えば、単一の回路、ユニット又はプロセッサによって実現される場合がある。更に、個々の特徴が異なる請求項に含まれる場合でも、これらの特徴はおそらく有利に組み合わせることができ、異なる請求項に含まれることは、特徴の組合せが実現できないこと、及び／又は有利でないことを意味するものではない。また、請求項の１つのカテゴリにある特徴を含むことは、このカテゴリに限定することを意味するものではなく、むしろ、その特徴が、必要に応じて、他の請求項カテゴリに等しく適用可能であることを示す。更に、請求項内の特徴の順序は、その特徴が処理されなければならない任意の具体的な順序を意味するものではなく、詳細には、方法請求項内の個々のステップの順序は、それらステップがこの順序において実行されなければならないことを意味するものではない。むしろ、それらのステップは任意の適切な順序において実行することができる。更に、単数形の参照は複数を除外しない。それゆえ、「１つの」、「第１の」、「第２の」などの用語は複数を除外しない。請求項内の参照符号は明確にする例として与えられるにすぎず、特許請求の範囲を多少なりとも限定するものと解釈されるべきではない。

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】