特表 2024-533689 ビューに依存しないマルチカメラボリュメトリックキャプチャシステム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公表特許公報(A)

(11)【公表番号】

(43)【公表日】2024-09-12

(54)【発明の名称】ビューに依存しないマルチカメラボリュメトリックキャプチャシステム

(51)【国際特許分類】

   H04N 23/60 20230101AFI20240905BHJP

   H04N 23/90 20230101ALI20240905BHJP

【ＦＩ】

H04N23/60 500

H04N23/90

H04N23/60 100

【審査請求】有

【予備審査請求】未請求

(21)【出願番号】P 2024518536

(86)(22)【出願日】2022-01-21

(85)【翻訳文提出日】2024-03-22

(86)【国際出願番号】 US2022013410

(87)【国際公開番号】W WO2023048757

(87)【国際公開日】2023-03-30

(31)【優先権主張番号】17/484,264

(32)【優先日】2021-09-24

(33)【優先権主張国・地域又は機関】US

(81)【指定国・地域】

(71)【出願人】

【識別番号】000002185

【氏名又は名称】ソニーグループ株式会社

(71)【出願人】

【識別番号】596102126

【氏名又は名称】ソニー ピクチャーズ エンターテインメント インコーポレイテッド

(74)【代理人】

【識別番号】100092093

【弁理士】

【氏名又は名称】辻居 幸一

(74)【代理人】

【識別番号】100109070

【弁理士】

【氏名又は名称】須田 洋之

(74)【代理人】

【識別番号】100067013

【弁理士】

【氏名又は名称】大塚 文昭

(74)【代理人】

【識別番号】100141553

【弁理士】

【氏名又は名称】鈴木 信彦

(74)【代理人】

【識別番号】100151987

【弁理士】

【氏名又は名称】谷口 信行

(72)【発明者】

【氏名】アンダーバーグ トビアス

(72)【発明者】

【氏名】ベイリー デイヴィッド

【テーマコード（参考）】

5C122

【Ｆターム（参考）】

5C122EA68

5C122FA18

5C122FE02

5C122FH10

5C122FH18

5C122GE06

5C122HB01

5C122HB05

(57)【要約】

仮想ビューから画像キャプチャデバイスを選択的に作動させることによって、物理キャプチャボリュームにおいてキャプチャ中に使用されるデータを低減することは、仮想カメラをセットアップして、仮想ビューにおいて物理キャプチャボリューム及び複数の画像キャプチャデバイスについての情報を受け取り、物理キャプチャボリューム及び複数の画像キャプチャデバイスを視覚化することと、仮想カメラに、物理キャプチャボリュームの周りを移動する能力及び複数の画像キャプチャデバイスの各々を作動又は停止させる能力を含む物理キャプチャボリュームの仮想ビューを提供することと、仮想カメラのビュースクリーン上に現れる物理キャプチャボリューム内の３Ｄ空間の領域である視錐台を計算することと、仮想ビューにおいて定められる複数の画像キャプチャデバイスと交差する仮想カメラの視錐台を定めることと、を含む。
【選択図】図３

【特許請求の範囲】

【請求項1】

仮想カメラを使用するキャプチャ中に使用されるデータを低減するためのシステムであって、前記システムは、
前記仮想カメラの視覚表現を表示するための視覚ディスプレイと、
前記仮想カメラの前記視覚表現を制御するためのプロセッサと、
前記プロセッサ及び前記視覚ディスプレイと通信するボリュメトリックキャプチャシステムと、
を含み、
前記ボリュメトリックキャプチャシステムは、複数の画像キャプチャデバイスを含み、
前記仮想カメラは、鳥瞰ビューと、前記複数の画像キャプチャデバイスの各々を作動又は停止させる能力とを提供し、
前記仮想カメラは、仮想世界において前記ボリュメトリックキャプチャシステム及び前記複数の画像キャプチャデバイスについての情報を受け取り、前記ボリュメトリックキャプチャシステム及び前記複数の画像キャプチャデバイスを視覚化する、
ことを特徴とするシステム。

【請求項2】

前記複数の画像キャプチャデバイスは、ドーム状の構造に配置されることを特徴とする、請求項１に記載のシステム。

【請求項3】

前記仮想カメラは、前記ドーム状の構造の周りを移動する能力を更に提供することを特徴とする、請求項２に記載のシステム。

【請求項4】

前記仮想カメラは、それと関連付けられるいくつかの設定を有し、前記いくつかの設定は、絞り、焦点距離、フォーカス、及び他のデバイスパラメータを含むことを特徴とする、請求項１に記載のシステム。

【請求項5】

前記プロセッサは、前記複数の画像キャプチャデバイスの各々についてのデータを含むことを特徴とする、請求項１に記載のシステム。

【請求項6】

前記プロセッサは、ビュースクリーン上に現れる前記ボリュメトリックキャプチャシステム内の３Ｄ空間の領域である視錐台（ｖｉｅｗ ｆｒｕｓｔｕｍ）を計算するように構成されることを特徴とする、請求項１に記載のシステム。

【請求項7】

仮想ビューから画像キャプチャデバイスを選択的に作動させることによって、物理キャプチャボリュームにおいてキャプチャ中に使用されるデータを低減する方法であって、前記方法は、
仮想カメラをセットアップして、前記仮想ビューにおいて前記物理キャプチャボリューム及び複数の画像キャプチャデバイスについての情報を受け取り、前記物理キャプチャボリューム及び前記複数の画像キャプチャデバイスを視覚化するステップと、
前記仮想カメラに、前記物理キャプチャボリュームの周りを移動する能力及び前記複数の画像キャプチャデバイスの各々を作動又は停止させる能力を含む前記物理キャプチャボリュームの前記仮想ビューを提供するステップと、
前記仮想カメラのビュースクリーン上に現れる前記物理キャプチャボリューム内の３Ｄ空間の領域である視錐台を計算するステップと、
前記仮想ビューにおいて定められる前記複数の画像キャプチャデバイスと交差する前記仮想カメラの前記視錐台を定めるステップと、
を含むことを特徴とする方法。

【請求項8】

前記物理キャプチャボリュームを取り囲むドーム状の構造に、前記複数の画像キャプチャデバイスを配置するステップ、
を更に含むことを特徴とする、請求項７に記載の方法。

【請求項9】

ポスト上に順次に、前記複数の画像キャプチャデバイスを配置するステップ、
を更に含むことを特徴とする、請求項７に記載の方法。

【請求項10】

前記仮想カメラは、いくつかの関連付けられた設定を有し、前記いくつかの関連付けられた設定は、絞り、焦点距離、フォーカス、及び他のデバイスパラメータを含むことを特徴とする、請求項７に記載の方法。

【請求項11】

前記視錐台を定めるステップは、
前記仮想カメラに関する前記いくつかの関連付けられた設定を使用して、前記視錐台を定めるステップ、
を含む、
ことを特徴とする、請求項１０に記載の方法。

【請求項12】

前記複数のデバイスのうち、仮想視錐台（ｖｉｒｔｕａｌ ｖｉｅｗ ｆｒｕｓｔｕｍ）によって交差される画像キャプチャデバイスのみを作動させるステップ、
を更に含むことを特徴とする、請求項７に記載の方法。

【請求項13】

前記複数のデバイスのうち、仮想視錐台によって交差されない画像キャプチャデバイスを停止させるステップ、
を更に含むことを特徴とする、請求項７に記載の方法。

【請求項14】

仮想ビューから画像キャプチャデバイスを選択的に作動させることによって、物理キャプチャボリュームにおいてキャプチャ中に使用されるデータを低減するためのコンピュータプログラムを記憶する非一時的コンピュータ可読記憶媒体であって、前記コンピュータプログラムは実行可能命令を含み、前記実行可能命令は、コンピュータに、
仮想カメラをセットアップして、前記仮想ビューにおいて前記物理キャプチャボリューム及び複数の画像キャプチャデバイスについての情報を受け取り、前記物理キャプチャボリューム及び前記複数の画像キャプチャデバイスを視覚化することと、
前記仮想カメラに、前記物理キャプチャボリュームの周りを移動する能力及び前記複数の画像キャプチャデバイスの各々を作動又は停止させる能力を含む前記物理キャプチャボリュームの前記仮想ビューを提供することと、
前記仮想カメラのビュースクリーン上に現れる前記物理キャプチャボリューム内の３Ｄ空間の領域である視錐台を計算することと、
前記仮想ビューにおいて定められる前記複数の画像キャプチャデバイスと交差する前記仮想カメラの前記視錐台を定めることと、
を行わせる、
ことを特徴とする非一時的コンピュータ可読記憶媒体。

【請求項15】

前記物理キャプチャボリュームを取り囲むドーム状の構造に、前記複数のデバイスを配置すること、
を前記コンピュータに行わせる実行可能命令を更に含む、
ことを特徴とする、請求項１４に記載のコンピュータ可読記憶媒体。

【請求項16】

ポスト上に順次に、前記複数のデバイスを配置すること、
を前記コンピュータに行わせる実行可能命令を更に含む、
ことを特徴とする、請求項１４に記載のコンピュータ可読記憶媒体。

【請求項17】

前記仮想カメラは、いくつかの関連付けられた設定を有し、前記いくつかの関連付けられた設定は、絞り、焦点距離、フォーカス、及び他のデバイスパラメータを含むことを特徴とする、請求項１４に記載のコンピュータ可読記憶媒体。

【請求項18】

前記視錐台を定めることを前記コンピュータに行わせる前記実行可能命令は、
前記仮想カメラに関する前記いくつかの関連付けられた設定を使用して、前記視錐台を定めること、
を前記コンピュータに行わせる実行可能命令を含む、
ことを特徴とする、請求項１７に記載のコンピュータ可読記憶媒体。

【請求項19】

前記複数のデバイスのうち、仮想視錐台によって交差される画像キャプチャデバイスのみを作動させること、
を前記コンピュータに行わせる実行可能命令を更に含む、
ことを特徴とする、請求項１４に記載のコンピュータ可読記憶媒体。

【請求項20】

前記複数のデバイスのうち、仮想視錐台によって交差されない画像キャプチャデバイスを停止させること、
を前記コンピュータに行わせる実行可能命令を更に含む、
ことを特徴とする、請求項１４に記載のコンピュータ可読記憶媒体。

【発明の詳細な説明】

【技術分野】

【0001】

[0001] 本開示は、ビデオデータの処理及びキャプチャ、及び新しいデータの完全なキャプチャを行う必要なく既にキャプチャされたパフォーマンスを再フレーミングする（ｒｅ－ｆｒａｍｅ）能力に関する。

【背景技術】

【0002】

[0002] ボリュメトリックキャプチャシステムは、一般に、完全なカバレッジを含む被写体をキャプチャするために、複数のカメラの使用を必要とする。したがって、システムは、キャプチャされた被写体がどのように使用されるべきかに応じて、多くの重複データをキャプチャすることになる潜在的可能性がある。更に、焦点距離などのカメラ設定のいかなる変更も、各カメラと関連付けられる全体のパフォーマンス及び全てのデータの再キャプチャを必要とする場合がある。

【発明の概要】

【発明が解決しようとする課題】

【0003】

[0003] 本開示は、仮想ビューからカメラを選択的に作動させることによってキャプチャ中に使用されるデータを低減し、かつ新しいデータを再キャプチャする必要なく既にキャプチャされたデータの再フレーミング（ｒｅｆｒａｍｉｎｇ）を可能にすることを提供する。

【課題を解決するための手段】

【0004】

[0004] １つの実装では、仮想カメラを使用するキャプチャ中に使用されるデータを低減するためのシステムを開示する。前記システムは、前記仮想カメラの視覚表現を表示するための視覚ディスプレイと、前記仮想カメラの前記視覚表現を制御するためのプロセッサと、前記プロセッサ及び前記視覚ディスプレイと通信するボリュメトリックキャプチャシステムと、を含み、前記ボリュメトリックキャプチャシステムは、複数の画像キャプチャデバイスを含み、前記仮想カメラは、鳥瞰ビューと、前記複数の画像キャプチャデバイスの各々を作動又は停止させる能力とを提供し、前記仮想カメラは、仮想世界において前記ボリュメトリックキャプチャシステム及び前記複数の画像キャプチャデバイスについての情報を受け取り、前記ボリュメトリックキャプチャシステム及び前記複数の画像キャプチャデバイスを視覚化する。

【0005】

[0005] １つの実装では、前記複数の画像キャプチャデバイスは、ドーム状の構造に配置される。１つの実装では、前記仮想カメラは、前記ドーム状の構造の周りを移動する能力を更に提供する。１つの実装では、前記仮想カメラは、それと関連付けられるいくつかの設定を有し、前記いくつかの設定は、絞り、焦点距離、フォーカス、及び他のデバイスパラメータを含む。１つの実装では、前記プロセッサは、前記複数の画像キャプチャデバイスの各々についてのデータを含む。１つの実装では、前記プロセッサは、ビュースクリーン上に現れる前記ボリュメトリックキャプチャシステム内の３Ｄ空間の領域である視錐台（ｖｉｅｗ ｆｒｕｓｔｕｍ）を計算するように構成される。

【0006】

[0006] 別の実装では、仮想ビューから画像キャプチャデバイスを選択的に作動させることによって、物理キャプチャボリュームにおいてキャプチャ中に使用されるデータを低減するための方法を開示する。前記方法は、仮想カメラをセットアップして、前記仮想ビューにおいて前記物理キャプチャボリューム及び複数の画像キャプチャデバイスについての情報を受け取り、前記物理キャプチャボリューム及び前記複数の画像キャプチャデバイスを視覚化するステップと、前記仮想カメラに、前記物理キャプチャボリュームの周りを移動する能力及び前記複数の画像キャプチャデバイスの各々を作動又は停止させる能力を含む前記物理キャプチャボリュームの前記仮想ビューを提供するステップと、前記仮想カメラのビュースクリーン上に現れる前記物理キャプチャボリューム内の３Ｄ空間の領域である視錐台を計算するステップと、前記仮想ビューにおいて定められる前記複数の画像キャプチャデバイスと交差する前記仮想カメラの前記視錐台を定めるステップと、を含む。

【0007】

[0007] １つの実装では、前記方法は、前記物理キャプチャボリュームを取り囲むドーム状の構造に、前記複数の画像キャプチャデバイスを配置するステップを更に含む。１つの実装では、前記方法は、ポスト上に順次に、前記複数の画像キャプチャデバイスを配置するステップを更に含む。１つの実装では、前記仮想カメラは、いくつかの関連付けられた設定を有し、前記いくつかの関連付けられた設定は、絞り、焦点距離、フォーカス、及び他のデバイスパラメータを含む。１つの実装では、前記視錐台を定めるステップは、前記仮想カメラに関する前記いくつかの関連付けられた設定を使用して、前記視錐台を定めるステップを含む。１つの実装では、前記方法は、前記複数の画像キャプチャデバイスのうち、仮想視錐台（ｖｉｒｔｕａｌ ｖｉｅｗ ｆｒｕｓｔｕｍ）によって交差される画像キャプチャデバイスのみを作動させるステップを更に含む。１つの実装では、前記方法は、前記複数の画像キャプチャデバイスのうち、仮想視錐台によって交差されない画像キャプチャデバイスを停止させるステップを更に含む。

【0008】

[0008] 更なる実装では、仮想ビューから画像キャプチャデバイスを選択的に作動させることによって、物理キャプチャボリュームにおいてキャプチャ中に使用されるデータを低減するためのコンピュータプログラムを記憶する非一時的コンピュータ可読記憶媒体を開示する。前記コンピュータプログラムは実行可能命令を含み、前記実行可能命令は、コンピュータに、仮想カメラをセットアップして、前記仮想ビューにおいて前記物理キャプチャボリューム及び複数の画像キャプチャデバイスについての情報を受け取り、前記物理キャプチャボリューム及び前記複数の画像キャプチャデバイスを視覚化することと、前記仮想カメラに、前記物理キャプチャボリュームの周りを移動する能力及び前記複数の画像キャプチャデバイスの各々を作動又は停止させる能力を含む前記物理キャプチャボリュームの前記仮想ビューを提供することと、前記仮想カメラのビュースクリーン上に現れる前記物理キャプチャボリューム内の３Ｄ空間の領域である視錐台を計算することと、前記仮想ビューにおいて定められる前記複数の画像キャプチャデバイスと交差する前記仮想カメラの前記視錐台を定めることと、を行わせる。

【0009】

[0009] １つの実装では、前記非一時的コンピュータ可読記憶媒体は、前記物理キャプチャボリュームを取り囲むドーム状の構造に、前記複数の画像キャプチャデバイスを配置すること、を前記コンピュータに行わせる実行可能命令を更に含む。１つの実装では、前記非一時的コンピュータ可読記憶媒体は、ポスト上に順次に、前記複数の画像キャプチャデバイスを配置すること、を前記コンピュータに行わせる実行可能命令を更に含む。１つの実装では、前記仮想カメラは、いくつかの関連付けられた設定を有し、前記いくつかの関連付けられた設定は、絞り、焦点距離、フォーカス、及び他のデバイスパラメータを含む。１つの実装では、前記視錐台を定めることを前記コンピュータに行わせる前記実行可能命令は、前記仮想カメラに関する前記いくつかの関連付けられた設定を使用して、前記視錐台を定めること、を前記コンピュータに行わせる実行可能命令を含む。１つの実装では、前記非一時的コンピュータ可読記憶媒体は、前記複数の画像キャプチャデバイスのうち、仮想視錐台によって交差される画像キャプチャデバイスのみを作動させること、を前記コンピュータに行わせる実行可能命令を更に含む。１つの実装では、前記非一時的コンピュータ可読記憶媒体は、前記複数の画像キャプチャデバイスのうち、仮想視錐台によって交差されない画像キャプチャデバイスを停止させること、を前記コンピュータに行わせる実行可能命令を更に含む。

【0010】

[0010] 本開示の態様を一例として示す本明細書からは、他の特徴及び利点も明らかになるはずである。

【0011】

[0011] 同じ部分を同じ参照数字によって示す添付図面を検討することにより、本開示の詳細をその構造及び動作の両方に関して部分的に収集することができる。

【図面の簡単な説明】

【0012】

【図1A】本開示の１つの実装による、複数の画像キャプチャデバイスを含むボリュメトリックキャプチャシステム１００の図である。

【図1B】本開示の１つの実装による、仮想カメラと通信するボリュメトリックキャプチャシステムの図である。

【図1C】本開示の１つの実装による、仮想３Ｄ世界ビューポートにおいて（例えば、ゲームにおいて）表現される物理キャプチャ空間（例えばドーム）を示す図である。

【図1D】仮想空間において定められるカメラと交差する仮想カメラ（これを通じて、ユーザがシーンを見る）を示す図である。

【図1E】仮想カメラ及びカメラが交差しているもののビューを示す図である。

【図2】本開示の１つの実装による、キャプチャ中に使用されるデータを低減するためのシステムのブロック図である。

【図3】本開示の１つの実装による、仮想ビューから画像キャプチャデバイスを選択的に作動させることによって、物理キャプチャボリュームにおいてキャプチャ中に使用されるデータを低減し、かつ新しいデータを再キャプチャする必要なく既にキャプチャされたデータの再フレーミングを可能にするための方法のフロー図である。

【図4A】本開示の実装による、コンピュータシステム及びユーザの図である。

【図4B】本開示の実装による、仮想カメラアプリケーションをホストするコンピュータシステムを示す機能ブロック図である。

【発明を実施するための形態】

【0013】

[0021] 上記のように、複数のカメラを有する従来のボリュメトリックキャプチャシステムは、多くの重複データをキャプチャすることになる可能性があり、カメラ設定のいかなる変更も、各カメラと関連付けられる全体のパフォーマンス及び全てのデータの再キャプチャを必要とする場合がある。

【0014】

[0022] 本開示の特定の実装は、仮想ビューからカメラを選択的に作動させることによってキャプチャ中に使用されるデータを低減し、かつ新しいデータを再キャプチャする必要なく既にキャプチャされたデータの再フレーミングを可能にするシステム及び方法を提供する。

【0015】

[0023] 以下の説明を読んだ後には、様々な実装及び用途における本開示の実施方法が明らかになるであろう。本明細書では本開示の様々な実装について説明するが、これらの実装は、限定ではなく一例として提示するものにすぎないと理解されたい。したがって、様々な実装についての詳細な説明は、本開示の範囲又は外延を限定するものとして解釈すべきではない。

【0016】

[0024] 図１Ａは、本開示の１つの実装による、複数の画像キャプチャデバイス１０２～１１８を含むボリュメトリックキャプチャシステム１００の図である。図１Ａに示す実装では、複数の画像キャプチャデバイス１０２～１１８は、内部にキャプチャボリュームが存在するドーム状の構造に配置される。別の実装では、複数の画像キャプチャデバイス１０２～１１８は、ポスト上に順次に配置される。更なる実装では、複数の画像キャプチャデバイス１０２～１１８の配置の任意の及び全ての組み合わせが使用される。１つの実装では、画像キャプチャデバイスは、レンズを有するビデオカメラである。

【0017】

[0025] 図１Ｂは、本開示の１つの実装による、仮想カメラ１２０と通信するボリュメトリックキャプチャシステム１００の図である。図１Ｂに示す実装では、仮想カメラ１２０は、パーソナルコンピュータ１２２又は同様のデバイス（タブレットコンピュータなど）において構成され、これらを使用して、仮想カメラ１２０を制御する。

【0018】

[0026] １つの実装では、仮想カメラ１２０は、システム１００の周りを移動する能力及び複数の画像キャプチャデバイスの各々を作動又は停止させる能力を含むボリュメトリックキャプチャシステム１００の鳥瞰ビューを提供する。仮想カメラ１２０は、それと関連付けられるいくつかの設定を有し、いくつかの設定は、絞り、焦点距離、フォーカス、及び他のデバイスパラメータ（レンズ歪み及び画像センサフォーマットなど）を含む。

【0019】

[0027] 図１Ｂに示す実装では、仮想カメラ１２０は、仮想世界において物理ボリュメトリックキャプチャシステム１００についての情報を受け取り、キャプチャシステム１００及び物理カメラを視覚化する。これを行うために、コンピュータ１２２（仮想カメラ１２０を制御する）は、キャプチャシステム１００と通信し、システム１００内の複数の画像キャプチャデバイスの各々についてのデータを有する。１つの実装では、コンピュータ１２２は、最初に、ビュースクリーン上に現れるキャプチャボリューム内の３Ｄ空間の領域である視錐台を計算する。したがって、視錐台は、（ゲーム、映画などの）ビュースクリーン上に現れる領域のみを含む。ビュースクリーン上に現れない領域は、視錐台に含まれない。

【0020】

[0028] １つの実装では、仮想カメラ１２０に関する設定は、仮想シーンにおいて定められる物理カメラと交差するカメラ１２０の視錐台を定める。一例では、仮想視錐台によって交差される物理カメラ１２４、１２６、１２８のみを作動させて、キャプチャを行う。したがって、この例では、他の物理カメラを停止させて、キャプチャを行う。これは、実行されているキャプチャのタイプに応じて、十分なカバレッジを得ながらも、実際に使用される物理カメラの数を大きく低減することによって、キャプチャされるデータの量を大きく低減することができる。

【0021】

[0029] 図１Ｃは、本開示の１つの実装による、仮想３Ｄ世界ビューポート１３０において（例えば、ゲームにおいて）表現される物理キャプチャ空間（例えばドーム）を示す。この仮想３Ｄビューポート１３０では、レンズパラメータ（焦点距離など）に応じて、特定のサイズの視錐台を有する仮想カメラが存在する。この視錐台は、仮想カメラのビュー方向に応じて、物理画像キャプチャデバイス１３２～１４２の仮想表現と交差する。これらの交差は、全体の物理画像キャプチャデバイス１３２～１４２のうちのどの物理画像キャプチャデバイス（例えば、画像キャプチャデバイス１３４、１３８、１４０、１４２）が任意の画像データを実際にキャプチャするかを決定する。

【0022】

[0030] １つの実装では、物理画像キャプチャデバイス（例えば、図１Ｃの画像キャプチャデバイス１３２～１４２）の各々は、キャプチャシステムのシーン全体をキャプチャするのに十分に大きい画像センサ（例えば、フルフレームセンサ）及び十分に広いレンズを含む。したがって、物理画像キャプチャデバイス（各デバイスは大きい画像センサ及び広いレンズを有する）は、異なる焦点距離に画像をデジタル的にトリミングする能力を提供する。例えば、画質を低下させないように十分な画素情報を保持しながらも、シーンを２４ｍｍから３５ｍｍ又は５０ｍｍにトリミングすることができる。データは常に、最も広いレンズ設定を用いてフル解像度でキャプチャされる。したがって、仮想カメラ１２０を使用し、それに応じてカメラ及びレンズパラメータを変更することによって、既にキャプチャされたデータを再処理して、異なるパラメータを使用することができる。例えば、データを再処理して、異なる焦点距離を使用して、既にキャプチャされたデータのフレーミングを変更することができる。したがって、元のキャプチャからの他の物理カメラと交差するように仮想カメラ１２０を移動させることによって、物理シーンを物理的に再キャプチャすることなく、元のキャプチャで使用されたものとは異なる視角を使用して、「再撮影」を効果的に行うことが可能である。

【0023】

[0031] 図１Ｄは、仮想空間において定められるカメラと交差する仮想カメラ１５０（これを通じて、ユーザがシーンを見る）を示す。カメラ１５２～１５８は、仮想３Ｄ世界ビューポート１３０において表現される物理キャプチャ空間におけるキャプチャのために作動されるカメラを表す。

【0024】

[0032] 図１Ｅは、仮想カメラ１５０及びカメラ１５０が交差しているもののビュー１６０である。これは、システムを制御するアプリケーションの３Ｄビューポート１３０において、仮想カメラ１５０のレンズを通して効果的に見ている。

【0025】

[0033] 図２は、本開示の１つの実装による、キャプチャ中に使用されるデータを低減するためのシステム２００のブロック図である。図２に示す実装では、システム２００は、プロセッサ２２０及び視覚ディスプレイ２３０と通信するボリュメトリックキャプチャシステム２１０を含む。１つの実装では、視覚ディスプレイ２３０は、仮想カメラ２３２の視覚表現を表示する。１つの実装では、仮想カメラ２３２の表示は、パーソナルコンピュータ又は同様のデバイス（タブレットコンピュータなど）に常駐するプロセッサ２２０によって制御される。

【0026】

[0034] １つの実装では、ボリュメトリックキャプチャシステム２１０は、ドーム状の構造に配置される複数の画像キャプチャデバイスを含む。１つの実装では、仮想カメラ２３２は、システム２１０の周りを移動する能力及び複数の画像キャプチャデバイスの各々を作動又は停止させる能力を含むボリュメトリックキャプチャシステム２１０の鳥瞰ビューを提供する。仮想カメラ２３２は、それと関連付けられるいくつかの設定を有し、いくつかの設定は、絞り、焦点距離、フォーカス、及び他のデバイスパラメータを含む。

【0027】

[0035] 図２に示す実装では、仮想カメラ２３２は、仮想世界において物理ボリュメトリックキャプチャシステム２１０についての情報を受け取り、キャプチャシステム２１０及び物理カメラを視覚化する。これを行うために、プロセッサ２２０（視覚ディスプレイ２３０上の仮想カメラ２３２の表示を制御する）は、キャプチャシステム２１０と通信し、システム２１０内の複数の画像キャプチャデバイスの各々についてのデータを有する。１つの実装では、プロセッサ２２０は、ビュースクリーン上に現れるキャプチャボリューム内の３Ｄ空間の領域である視錐台を計算する。したがって、視錐台は、（ゲーム、映画などの）ビュースクリーン上に現れる領域のみを含む。ビュースクリーン上に現れない領域は、視錐台に含まれない。

【0028】

[0036] １つの実装では、仮想カメラ２３２に関する設定は、仮想シーンにおいて定められる物理カメラと交差するカメラ２３２の視錐台を定める。一例では、仮想視錐台によって交差される物理カメラのみを作動させて、キャプチャを行う。したがって、この例では、他の物理カメラを停止させて、キャプチャを行う。これは、実行されているキャプチャのタイプに応じて、十分なカバレッジを得ながらも、実際に使用される物理カメラの数を大きく低減することによって、キャプチャされるデータの量を大きく低減することができる。

【0029】

[0037] １つの実装では、システム２００は、１又は２以上のデジタル信号プロセッサ（ＤＳＰ）、汎用マイクロプロセッサ、特定用途向け集積回路（ＡＳＩＣ）、フィールドプログラマブルゲート／ロジックアレイ（ＦＰＧＡ）、又はその他の等価集積又はディスクリート論理回路を含むハードウェアで全体が構成されるシステムである。別の実装では、システム２００は、ハードウェアとソフトウェアの組み合わせで構成される。

【0030】

[0038] 図３は、本開示の１つの実装による、仮想ビューから画像キャプチャデバイスを選択的に作動させることによって、物理キャプチャボリュームにおいてキャプチャ中に使用されるデータを低減し、かつ新しいデータを再キャプチャする必要なく既にキャプチャされたデータの再フレーミングを可能にするための方法３００のフロー図である。これを行うために、複数の画像キャプチャデバイスは、物理キャプチャボリュームを取り囲むドーム状の構造に配置される。別の実装では、複数の画像キャプチャデバイスは、ポスト上に順次に配置される。更なる実装では、複数の画像キャプチャデバイスの配置の任意の及び全ての組み合わせが使用される。１つの実装では、画像キャプチャデバイスは、レンズを有するビデオカメラである。

【0031】

[0039] 図３に示す実装では、ステップ３１０において、仮想カメラをセットアップして、仮想ビューにおいて物理キャプチャボリューム及び複数の画像キャプチャデバイスについての情報を受け取り、物理キャプチャボリューム及び複数の画像キャプチャデバイスを視覚化する。１つの実装では、ステップ３２０において、仮想カメラに、ボリュームの周りを移動する能力及び複数の画像キャプチャデバイスの各々を作動又は停止させる能力を含む物理キャプチャボリュームの仮想ビュー（例えば、鳥瞰ビュー）を提供する。仮想カメラは、それと関連付けられるいくつかの設定を有し、いくつかの設定は、絞り、焦点距離、フォーカス、及び他のデバイスパラメータを含む。

【0032】

[0040] １つの実装では、ステップ３３０において、仮想カメラのビュースクリーン上に現れるキャプチャボリューム内の３Ｄ空間の領域である視錐台を計算する。したがって、視錐台は、（ゲーム、映画などの）ビュースクリーン上に現れる領域のみを含む。ビュースクリーン上に現れない領域は、視錐台に含まれない。ステップ３４０において、仮想カメラに関する設定を使用して、仮想ビューにおいて定められる物理画像キャプチャデバイスと交差する仮想カメラの視錐台を定める。一例では、仮想視錐台によって交差される物理カメラのみを作動させて、キャプチャを行う。したがって、この例では、他の物理カメラを停止させて、キャプチャを行う。これは、実行されているキャプチャのタイプに応じて、十分なカバレッジを得ながらも、実際に使用される物理カメラの数を大きく低減することによって、キャプチャされるデータの量を大きく低減することができる。

【0033】

[0041] 図４Ａは、本開示の実装による、コンピュータシステム４００及びユーザ４０２の図である。ユーザ４０２は、コンピュータシステム４００を使用して、図２のシステム２００及び図３の方法３００に関して図示及び説明されるような、キャプチャ中に使用されるデータを低減するための仮想カメラアプリケーション４９０を実装する。

【0034】

[0042] コンピュータシステム４００は、図４Ｂの仮想カメラアプリケーション４９０を記憶して実行する。更に、コンピュータシステム４００は、ソフトウェアプログラム４０４と通信することができる。ソフトウェアプログラム４０４は、仮想カメラアプリケーション４９０のためのソフトウェアコードを含むことができる。ソフトウェアプログラム４０４は、以下で更に説明するように、ＣＤ、ＤＶＤ又はストレージドライブなどの外部媒体にロードすることができる。

【0035】

[0043] 更に、コンピュータシステム４００は、ネットワーク４８０に接続することができる。ネットワーク４８０は、様々な異なるアーキテクチャ、例えば、クライアント－サーバアーキテクチャ、ピアツーピアネットワークアーキテクチャ、又は他のタイプのアーキテクチャにおいて接続することができる。例えば、ネットワーク４８０は、仮想カメラアプリケーション４９０内で使用されるエンジン及びデータを協調させるサーバ４８５と通信することができる。また、ネットワークは、異なるタイプのネットワークとすることができる。例えば、ネットワーク４８０は、インターネット、ローカルエリアネットワーク又はローカルエリアネットワークの任意の変形、ワイドエリアネットワーク、メトロポリタンエリアネットワーク、イントラネット又はエクストラネット、又は無線ネットワークとすることができる。

【0036】

[0044] 図４Ｂは、本開示の実装による、仮想カメラアプリケーション４９０をホストするコンピュータシステム４００を示す機能ブロック図である。コントローラ４１０はプログラマブルプロセッサであり、コンピュータシステム４００及びそのコンポーネントの動作を制御する。コントローラ４１０は、メモリ４２０又は内蔵コントローラメモリ（図示せず）から（例えばコンピュータプログラムの形で）命令をロードして、これらの命令を実行してシステムを制御して、例えばデータ処理を提供する。その実行において、コントローラ４１０は、仮想カメラアプリケーション４９０にソフトウェアシステムを提供する。代替的に、このサービスは、コントローラ４１０又はコンピュータシステム４００において別個のハードウェアコンポーネントとして実装することができる。

【0037】

[0045] メモリ４２０は、コンピュータシステム４００の他のコンポーネントによって使用するためにデータを一時的に記憶する。１つの実装では、メモリ４２０はＲＡＭとして実装される。１つの実装では、メモリ４２０は、また、フラッシュメモリ及び／又はＲＯＭなどの長期又は永久メモリを含む。

【0038】

[0046] ストレージ４３０は、コンピュータシステム４００の他のコンポーネントによって使用するために、データを一時的に又は長期間にわたって記憶する。例えば、ストレージ４３０は、仮想カメラアプリケーション４９０によって使用されるデータを記憶する。１つの実装では、ストレージ４３０は、ハードディスクドライブである。

【0039】

[0047] メディアデバイス４４０は、リムーバブルメディアを受け入れて、挿入されたメディアに対してデータの読み出し及び／又は書き込みを行う。１つの実装では、例えば、メディアデバイス４４０は、光ディスクドライブである。

【0040】

[0048] ユーザインターフェイス４５０は、コンピュータシステム４００のユーザからユーザ入力を受け取ってユーザ４０２に情報を提示するためのコンポーネントを含む。１つの実装では、ユーザインターフェイス４５０は、キーボード、マウス、オーディオスピーカ、及びディスプレイを含む。コントローラ４１０は、ユーザ４０２からの入力を使用して、コンピュータシステム４００の動作を調整する。

【0041】

[0049] Ｉ／Ｏインターフェイス４６０は、１又は２以上のＩ／Ｏポートを含み、外部記憶又は補足装置（例えばプリンタ又はＰＤＡ）などの対応するＩ／Ｏデバイスに接続する。１つの実装では、Ｉ／Ｏインターフェイス４６０のポートは、ＵＳＢポート、ＰＣＭＣＩＡポート、シリアルポート、及び／又はパラレルポートなどのポートを含む。別の実装では、Ｉ／Ｏインターフェイス４６０は、外部装置と無線で通信するための無線インターフェイスを含む。

【0042】

[0050] ネットワークインターフェイス４７０は、イーサネット接続をサポートするＲＪ－４５又は「Ｗｉ－Ｆｉ」インターフェイス（８０２．１１を含むが、これに限定されるわけではない）などの有線及び／又は無線ネットワーク接続を含む。

【0043】

[0051] コンピュータシステム４００は、コンピュータシステムに典型的な追加のハードウェア及びソフトウェア（例えば、電力、冷却、オペレーティングシステム）を含むが、これらのコンポーネントは、簡略化のために図４Ｂに具体的に示されていない。他の実装では、コンピュータシステムの異なる構成を使用することができる（例えば、異なるバス又はストレージ構成又はマルチプロセッサ構成）。

【0044】

[0052] 開示した実装についての本明細書の説明は、当業者が本開示を実施又は利用できるように行ったものである。当業者には、これらの実装の多数の修正が容易に明らかになると思われ、また本明細書で定義した原理は、本開示の趣旨又は範囲から逸脱することなく他の実装にも適用することができる。

【0045】

[0053] 上記の各実施例の全ての特徴が、本開示の特定の実装において必ずしも必要というわけではない。更に、本明細書で提示した説明及び図面は、本開示が広く意図する主題を表すものであると理解されたい。更に、本開示の範囲は、当業者にとって明らかになり得る他の実装を完全に含み、したがって、本開示の範囲は、添付の特許請求の範囲以外のものによって限定されるものではないと理解されたい。

【符号の説明】

【0046】

１００ ボリュメトリックキャプチャシステム
１０２～１１８ 複数の画像キャプチャデバイス
１２０ 仮想カメラ
１２２ パーソナルコンピュータ
１２４，１２６，１２８ 物理カメラ
１３０ 仮想３Ｄ世界ビューポート
１３２～１４２ 物理画像キャプチャデバイス
１５０ 仮想カメラ
１５２～１５８ カメラ
１６０ ビュー
２００ システム
２１０ ボリュメトリックキャプチャシステム
２２０ プロセッサ
２３０ 視覚ディスプレイ
２３２ 仮想カメラ
３００ 方法
３１０ 仮想カメラをセットアップして、仮想ビューにおいて物理キャプチャボリューム及び物理カメラについての情報を受け取り、物理キャプチャボリューム及び物理カメラを視覚化する
３２０ 仮想カメラに、周りを移動する能力及び画像キャプチャデバイスの各々を作動又は停止させる能力を含む物理キャプチャボリュームの仮想ビューを提供
３３０ ビュースクリーン上に現れるキャプチャボリューム内の３Ｄ空間の領域である視錐台を計算
３４０ 仮想カメラに関する設定を使用して、仮想シーンにおいて定められる物理カメラと交差するカメラの視錐台を定める
４００ コンピュータシステム
４０２ ユーザ
４０４ ソフトウェアプログラム
４１０ コントローラ
４２０ メモリ
４３０ ストレージ
４４０ メディアデバイス
４５０ ユーザインターフェイス
４６０ Ｉ／Ｏインターフェイス
４７０ ネットワークインターフェイス
４８０ ネットワーク
４８５ サーバ
４９０ 仮想カメラアプリケーション

【図1A】

【図1B】

【図1C】

【図1D】

【図1E】

【図2】

【図3】

【図4A】

【図4B】

【国際調査報告】