特開 2024-128970 画像キャプチャシステム及び方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2024128970

(43)【公開日】2024-09-24

(54)【発明の名称】画像キャプチャシステム及び方法

(51)【国際特許分類】

   H04N 23/695 20230101AFI20240913BHJP

   H04N 23/698 20230101ALI20240913BHJP

   H04N 23/60 20230101ALI20240913BHJP

   G03B 15/00 20210101ALI20240913BHJP

   G03B 7/091 20210101ALI20240913BHJP

【ＦＩ】

H04N23/695

H04N23/698

H04N23/60 300

G03B15/00 U

G03B15/00 Q

G03B15/00 P

G03B7/091

【審査請求】未請求

【請求項の数】20

【出願形態】ＯＬ

【外国語出願】

(21)【出願番号】P 2024036080

(22)【出願日】2024-03-08

(31)【優先権主張番号】18/182,269

(32)【優先日】2023-03-10

(33)【優先権主張国・地域又は機関】US

(71)【出願人】

【識別番号】520509030

【氏名又は名称】ティーエムアールダブリュー ファウンデーション アイピー エスエーアールエル

(74)【代理人】

【識別番号】100107456

【弁理士】

【氏名又は名称】池田 成人

(74)【代理人】

【識別番号】100162352

【弁理士】

【氏名又は名称】酒巻 順一郎

(74)【代理人】

【識別番号】100123995

【弁理士】

【氏名又は名称】野田 雅一

(72)【発明者】

【氏名】ヤーリ， チェヴァット

(72)【発明者】

【氏名】マンザネラ リドン， ヘスス

【テーマコード（参考）】

2H002

5C122

【Ｆターム（参考）】

2H002GA15

2H002GA16

5C122DA02

5C122DA08

5C122EA65

5C122EA66

5C122FA03

5C122FA18

5C122FH04

5C122FH09

5C122FH11

5C122FH14

5C122FH20

5C122GC14

5C122GC52

(57)【要約】      （修正有）

【課題】複数のカメラ（画像キャプチャデバイス）を用いて、動いているターゲットを撮影する際に、カメラオペレータが必要である。
【解決手段】ターゲットを有するシーンの画像をキャプチャするように構成された一次カメラ及び二次カメラと、カメラに接続され、カメラからパラメータを受信し、且つカメラを自動的に選択して作動させ、ターゲットをカメラに割り当てるように構成された制御ユニットとを備え、一次カメラにターゲットが割り当てられるときは、一次カメラがターゲットにロックオンし、ターゲットを追跡し、ターゲットが第１の二次カメラの視野にあるときは、制御ユニットは、第１の二次カメラを作動させて制御して、ターゲットを追跡する。ターゲットが第１の二次カメラの視野から出て行き、第２の二次カメラの視野に入るときは、制御ユニットは、第１の二次カメラを無効にし、第２の二次カメラを作動させて制御して、ターゲットを追跡する。
【選択図】なし

【特許請求の範囲】

【請求項1】

複数のカメラを制御するための画像キャプチャシステムであって、
ターゲットを有するシーンの画像をキャプチャするように構成された一次カメラと、
前記シーンの画像をキャプチャするように構成された第１の二次カメラ及び第２の二次カメラと、
前記一次カメラ並びに前記第１の二次カメラ及び前記第２の二次カメラに接続され、前記一次カメラ並びに前記第１の二次カメラ及び前記第２の二次カメラからパラメータを受信し、且つ前記一次カメラ並びに前記第１の二次カメラ及び前記第２の二次カメラを自動的に選択して作動させ、前記ターゲットを前記一次カメラ並びに前記第１の二次カメラ及び前記第２の二次カメラに割り当てるように構成された制御ユニットと、
を具備し、
前記一次カメラに前記シーンの前記ターゲットが割り当てられるときは、前記一次カメラが前記ターゲットにロックオンし、前記ターゲットを追跡し、
前記ターゲットが前記第１の二次カメラの視野にあることに反応して、前記制御ユニットが、前記第１の二次カメラを作動させて制御して、前記ターゲットを追跡し、
前記ターゲットが前記第１の二次カメラの前記視野から出て行き、前記第２の二次カメラの視野に入ったことに反応して、前記制御ユニットが、前記第１の二次カメラを無効にし、前記第２の二次カメラを作動させて制御して、前記ターゲットを追跡し、
前記一次カメラ並びに前記第１の二次カメラ及び第２の二次カメラが前記ターゲットの異なるビューをキャプチャするように構成されている、
画像キャプチャシステム。

【請求項2】

前記シーンの画像をキャプチャするように構成された第２の一次カメラをさらに具備し、
前記システムは、複数のターゲットの画像を同時にキャプチャするように構成されている、請求項１に記載の画像キャプチャシステム。

【請求項3】

各ターゲットに、対応するカメラに接続する制御データユニットが割り当てられており、前記制御データユニットが、前記制御ユニットに各カメラのパラメータを提供するように構成されている、請求項２に記載の画像キャプチャシステム。

【請求項4】

二次カメラの作動及び制御についての２つの制御データユニット間の競合が、優先ルールによって解決される、請求項３に記載の画像キャプチャシステム。

【請求項5】

前記優先ルールが、
前記ターゲットと前記二次カメラとの相対距離、若しくは、
前記ターゲットのプロファイルデータ、又は、
これらの組み合わせ、
に基づいている、請求項４に記載の画像キャプチャシステム。

【請求項6】

前記一次又は二次カメラのうちの１つ又は複数によって取得されたビューから補間されたカメラビューを提供するように構成されている１つ又は複数の仮想カメラ、
をさらに具備する、請求項１に記載の画像キャプチャシステム。

【請求項7】

前記一次カメラが、前記画像を組み合わせて前記ターゲットのパノラマビューを形成し、組み合わされた前記画像をさらなる処理のためにサーバに送信するようにプログラムされたコンピュータ回路を備える、請求項１に記載の画像キャプチャシステム。

【請求項8】

前記一次カメラが、前記画像から背景を削除するようにプログラムされたコンピュータ回路を備える、請求項１に記載の画像キャプチャシステム。

【請求項9】

前記一次カメラの前記コンピュータ回路が、前記画像を、受信デバイスによってレンダリングされる仮想環境に転送するようにさらにプログラムされている、請求項８に記載の画像キャプチャシステム。

【請求項10】

前記仮想環境が、ビデオ会議セッションをホストすることを可能にし、前記仮想環境でレンダリングされる前記画像がビデオ会議セッションの参加者を表す、請求項９に記載の画像キャプチャシステム。

【請求項11】

前記制御ユニットが、前記一次カメラ内にある、請求項１に記載の画像キャプチャシステム。

【請求項12】

前記一次及び前記二次カメラが、深度情報をキャプチャし、前記深度情報を３次元メッシュに変換するように構成されている、請求項１に記載の画像キャプチャシステム。

【請求項13】

前記二次カメラが前記３次元メッシュを前記一次カメラに送信するように構成されており、前記一次カメラが、前記３次元メッシュを処理し、組み合わせ、圧縮してから、前記圧縮された３次元メッシュを受信デバイスに送信するように構成されている、請求項１２に記載の画像キャプチャシステム。

【請求項14】

複数のカメラを制御するための方法であって、
シーンのターゲットを、前記シーンの画像をキャプチャするように構成された一次カメラに割り当てるステップと、
前記ターゲットにロックオンし、前記ターゲットを追跡するステップと、
制御ユニットによって、前記一次カメラ、並びに前記シーンの画像をキャプチャするように構成された第１の二次カメラ及び第２の二次カメラのパラメータを読み取るステップと、
前記ターゲットが前記第１の二次カメラの視野にあることに反応して、前記第１の二次カメラを作動させて制御して、前記ターゲットを追跡するステップと、
前記ターゲットが前記第１の二次カメラの前記視野から出て行き、前記第２の二次カメラの視野に入ったことに反応して、前記第１の二次カメラを無効にし、前記第２の二次カメラを作動させて制御して、前記ターゲットを追跡するステップと、
前記一次カメラ並びに前記第１の二次カメラ及び前記第２の二次カメラから画像を自動的に取得して、前記ターゲットの異なるビューをキャプチャするステップと、
を含む、方法。

【請求項15】

前記シーンの第２のターゲットを第２の一次カメラに割り当てるステップと、
前記ターゲットの画像を同時にキャプチャするステップと、
をさらに含む、請求項１４に記載の方法。

【請求項16】

対応するカメラに接続する制御データユニットを割り当てるステップと、
前記制御データユニットによって、各カメラのパラメータを前記制御ユニットに提供するステップと、
をさらに含む、請求項１５に記載の方法。

【請求項17】

前記二次カメラの作動及び制御についての競合を解決するように構成された優先ルールを用意するステップ、
をさらに含む、請求項１５に記載の方法。

【請求項18】

前記一次及び前記二次カメラが、深度情報をキャプチャし、前記深度情報を３次元メッシュに変換するように構成されており、
前記二次カメラが、前記３次元メッシュを前記一次カメラに送信するように構成されており、
前記一次カメラが、前記３次元メッシュを処理し、組み合わせ、圧縮してから、前記圧縮された３次元メッシュを受信デバイスに送信するように構成されている、請求項１５に記載の方法。

【請求項19】

前記一次又は二次カメラのうちの１つ又は複数によって取得されたビューから補間されたカメラビューを提供するように構成されている１つ又は複数の仮想カメラを実装するステップ、
をさらに含む、請求項１５に記載の方法。

【請求項20】

コンピュータ実行可能な命令を記憶したコンピュータ読み取り可能な記憶媒体であって、
１つ又は複数のコンピューティングデバイスに、
シーンのターゲットを、前記シーンの画像をキャプチャするように構成された一次カメラに割り当てるステップと、
前記ターゲットにロックオンし、前記ターゲットを追跡するステップと、
制御ユニットによって、前記一次カメラのパラメータ、並びに前記シーンの画像をキャプチャするように構成された第１の二次カメラ及び第２の二次カメラのパラメータを読み取るステップと、
前記ターゲットが前記第１の二次カメラの視野にあることに反応して、前記第１の二次カメラを作動させて制御して、前記ターゲットを追跡するステップと、
前記ターゲットが前記第１の二次カメラの前記視野から出て行き、前記第２の二次カメラの視野に入ったことに反応して、前記第１の二次カメラを無効にし、前記第２の二次カメラを作動させて制御して、前記ターゲットを追跡するステップと、
前記一次カメラ並びに前記第１の二次カメラ及び前記第２の二次カメラから画像を自動的に取得して、少なくとも１つの前記ターゲットの異なるビューをキャプチャするステップと、
を実行させる前記コンピュータ実行可能な命令を記憶したコンピュータ読み取り可能な記憶媒体。

【発明の詳細な説明】

【技術分野】

【0001】

本開示は、画像キャプチャシステム及びそのようなシステムの操作方法に関する。より詳細には、本開示は、複数のカメラ（画像キャプチャデバイス）を用いて、異なる場所からのターゲットの画像を生成する画像キャプチャシステムに関する。

【背景技術】

【0002】

シーンの記録又は放送では、さらなる解析のために及び／又は視聴体験を向上させるためにイベントの一部を再生することが望ましい場合がよくある。異なる場所にある異なるカメラで撮影されたビデオを再生することで、イベントのより良いビューを得ることができる場合がある。例えば、サッカーの試合の記録及び放送の場合、最初に選択したカメラからは、サッカーボール（ターゲット）が競技の特定の段階で競技場に残っていたかどうかが明確でない場合がある。即時再生機能を使用するときに異なる場所にある異なるカメラの記録を選択することにより、ボールが競技場に残っているかどうかのより良いビューを得ることができる。

【0003】

ライブスポーツイベントのテレビ放送では、ターゲット（ボール及び選手など）がしばしば動いている。従来のテレビ報道システムは、テニスの試合のようなスポーツイベントを報道するために通常６台のカメラを使用する。各カメラにはカメラオペレータが必要である。各カメラは一般には、主なアクションが起こるとされる場所に焦点を当てているため、イベントのすべての側面がキャプチャされて記録されるわけではない。

【発明の概要】

【0004】

この概要は、以下の「発明を実施するための形態」でさらに説明される一連の概念を簡略化した形式で紹介するために提供されている。この概要は、請求項に係る主題の主要な特徴を特定することを意図したものでも、請求項に係る主題の範囲を決定する際の補助として使用することを意図したものでもない。

【0005】

本開示の一態様では、複数のカメラを制御するための画像キャプチャシステムが提供されている。このシステムは、ターゲットを有するシーンの画像をキャプチャするように構成された一次カメラと、シーンの画像をキャプチャするように構成された第１の二次カメラ及び第２の二次カメラと、一次カメラ並びに第１の二次カメラ及び第２の二次カメラに接続され、一次カメラ並びに第１の二次カメラ及び第２の二次カメラからパラメータを受信し、且つ一次カメラ並びに第１の二次カメラ及び第２の二次カメラを自動的に選択して作動させ、ターゲットを一次カメラ並びに第１の二次カメラ及び第２の二次カメラに割り当てるように構成された制御ユニットと、を具備している。一次カメラにシーンのターゲットに割り当てられるときは、一次カメラがターゲットにロックオンし、ターゲットを追跡する。ターゲットが第１の二次カメラの視野にあることに反応して、制御ユニットが、第１の二次カメラを作動させて制御して、ターゲットを追跡する。ターゲットが第１の二次カメラの視野から出て行き、第２の二次カメラの視野に入ったことに反応して、制御ユニットが、第１の二次カメラを無効にし、第２の二次カメラを作動させて制御して、ターゲットを追跡する。一次カメラ並びに第１の二次カメラ及び第２の二次カメラがターゲットの異なるビューをキャプチャするように構成されている。このようにして、システムは、一次カメラ及び作動した二次カメラによって画像を自動的に取得し、ターゲットのカバレッジエリア及びシーンのより精巧なカバレッジを最大化する。

【0006】

システムには１つよりも多い一次カメラが含まれ得る。いくつかの実施形態では、システムはシーンの画像をキャプチャするように構成された第２の一次カメラを含み、システムは複数のターゲットの画像を同時にキャプチャするように構成されている。

【0007】

一実施形態では、各ターゲットに、対応するカメラに接続する制御データユニットが割り当てられており、制御データユニットが、制御ユニットに各カメラのパラメータを提供するように構成されている。

【0008】

いくつかの実施形態では、二次カメラの作動及び制御について２つの制御ユニット間に競合が生じるとき、この競合は、優先ルールによって解決することができる。優先ルールによって、例えば、ターゲットと二次カメラとの相対距離、若しくはターゲットのプロファイルデータ、又はそれらの組み合わせによって、二次カメラの作動が決定され得る。ターゲットは、シーンの参加者、又はシーンで使用される機器であり得る。取得した画像は、ストレージユニットに保存することができる。いくつかの実施形態では、システムは、一次又は二次カメラのうちの１つ又は複数によって取得されたビューから補間されたカメラビューを提供するように構成されている１つ又は複数の仮想カメラをさらに具備する。取得した画像を組み合わせて、ターゲットの完全な３６０度のパノラマビューを形成することができる。画像キャプチャデバイスの画像の背景を削除して、さらに処理することができる。

【0009】

いくつかの実施形態では、画像はさらに処理され、受信デバイスによってレンダリングされる仮想環境に転送される場合がある。これらの実施形態では、組み合わされた画像は、サーバであり得る処理デバイスに送信される。サーバは、受信デバイスに送信する前に画像に対してさらに処理を行うことがあり、受信デバイスは仮想環境をレンダリングし、組み合わされた画像を仮想環境で表示することができる。

【0010】

いくつかの実施形態では、一次カメラは、一次カメラ又は他の何らかのデバイスにタスクを行わせるようにプログラムされたコンピュータ回路（例えば、プロセッサ、メモリ、ネットワークインターフェースなど）を備える。一実施形態では、一次カメラは、画像を組み合わせてターゲットのパノラマビューを形成し、且つ組み合わされた画像をさらに処理するためにサーバに送信し、画像から背景を除去し、受信デバイスによってレンダリングされる仮想環境に画像を転送するか、又はそのようなタスク若しくは他のタスクの組み合わせを行うようにプログラムされたコンピュータ回路を備える。

【0011】

いくつかの実施形態では、カメラの作動及び無効は、制御ユニットと通信するスイッチングデバイスによって行われる。

【0012】

いくつかの実施形態では、制御ユニットは一次カメラ内にあり得る。

【0013】

いくつかの実施形態では、カメラは深度情報をキャプチャするように構成されている。例えば、カメラは、深度画像キャプチャデバイスを含んでいてもよく、また、３Ｄ（３次元）メッシュを生成するように構成されている場合がある。

【0014】

本開示の別の態様では、複数のカメラを制御するための方法が提供されている。この方法は、シーンのターゲットを、シーンの画像をキャプチャするように構成された一次カメラに割り当てるステップと、ターゲットにロックオンし、ターゲットを追跡するステップと、制御ユニットによって、一次カメラ、並びにシーンの画像をキャプチャするように構成された第１の二次カメラ及び第２の二次カメラのパラメータを読み取るステップと、ターゲットが第１の二次カメラの視野にあることに反応して、第１の二次カメラを作動させて制御して、ターゲットを追跡するステップと、ターゲットが第１の二次カメラの視野から出て行き、第２の二次カメラの視野に入ったことに反応して、第１の二次カメラを無効にし、第２の二次カメラを作動させて制御して、ターゲットを追跡するステップと、一次カメラ並びに第１の二次カメラ及び第２の二次カメラから画像を自動的に取得して、ターゲットの異なるビューをキャプチャするステップと、を含む。

【0015】

いくつかの実施形態では、この方法は、シーンの第２のターゲットを、第２の一次カメラに割り当てるステップと、ターゲットの画像を同時にキャプチャするステップとをさらに含む。一実施形態では、この方法は、対応するカメラに接続する制御データユニットを割り当てるステップと、制御データユニットによって、各カメラのパラメータを制御ユニットに提供するステップと、をさらに含む。さらなる実施形態では、この方法は、二次カメラの作動及び制御についての競合を解決するように構成された優先ルールを用意するステップをさらに含む。例示的なシナリオでは、二次カメラの作動及び制御についての２つのデータ制御ユニット間の競合は、優先ルールによって解決される。さらなる実施形態では、優先ルールは、ターゲットと二次カメラとの相対距離、若しくはターゲットのプロファイルデータ、又はそれらの組み合わせに基づいて競合を解決する。

【0016】

一実施形態では、この方法は、制御ユニットに接続され、カメラを作動及び無効にするように構成されているスイッチングデバイスを用意するステップをさらに含む。

【0017】

一実施形態では、この方法は、取得した画像をストレージユニットに保存するステップをさらに含む。

【0018】

一実施形態では、この方法は、一次又は二次カメラのうちの１つ又は複数によって取得されたビューから補間されたカメラビューを提供するように構成されている１つ又は複数の仮想カメラを実装するステップをさらに含む。

【0019】

一実施形態では、この方法は、画像を組み合わせて、ターゲットの完全な３６０度のパノラマビューを形成するステップをさらに含む。

【0020】

一実施形態では、この方法は、画像キャプチャデバイスの画像の背景を除去し、画像をさらに処理するステップをさらに含む。さらなる実施形態では、この方法は、受信デバイスによってレンダリングされる仮想環境にさらなる処理画像を転送するステップ、をさらに含む。

【0021】

一実施形態では、この方法は、３Ｄ（３次元）メッシュを生成するように構成されたカメラに少なくとも１つの深度画像キャプチャデバイスを用意するステップをさらに含む。

【0022】

本開示には、コンピュータ実行可能な命令を記憶したコンピュータ読み取り可能な記憶媒体（例えば、揮発性又は不揮発性物理メモリ、ストレージ媒体など）も含まれる。コンピュータ実行可能な命令は、１つ又は複数のコンピューティングデバイスに、本明細書に説明する方法による複数のステップを実行させるように構成されている。

【0023】

上記の概要には、本開示のすべての態様を網羅したリストは含まれていない。本開示には、上記のさまざまな態様のすべての適切な組み合わせから実践できるすべてのシステム及び方法だけでなく、以下の詳細な説明に開示され、特に、本出願とともに出願された特許請求の範囲に指摘されているものも含まれることが企図されている。このような組み合わせには、上記の概要で特に記載されていない利点がある。他の特徴及び利点は、添付の図面及び以下の詳細な説明から明らかになろう。

【図面の簡単な説明】

【0024】

【図1】本開示の実施形態による例示的な画像キャプチャシステムの概略図である。

【図2】本開示の実施形態による１つの画像キャプチャ制御システムを有するシステムの概略図である。

【図3】本開示の実施形態による３つの画像キャプチャ制御システムを有するシステムの概略図である。

【図4】本開示の実施形態による複数のカメラを制御する方法のフローチャートである。

【発明を実施するための形態】

【0025】

以下の説明では、例示としてさまざまな実施形態を示す図面を参照する。また、以下では、いくつかの例を参照しながら、さまざまな実施形態について説明する。実施形態には、請求項に係る主題の範囲から逸脱することない設計及び構造の変更が含まれ得ることを理解されたい。

【0026】

本開示は、複数の可変照準カメラ（画像キャプチャデバイス）を制御するためのシステム及び方法を開示する。本開示の実施形態では、カメラは特定のターゲットの動きを追うためにターゲットにロックオンし、ターゲットを追跡する。この場合、カメラがターゲットを追跡するにつれてカメラの照準は変化する。ターゲットを追跡することにより、この場合、ターゲットはカメラのビュー領域の中央にあり、したがって、ターゲットのより明確なクローズアップビューが得られる。また、異なる場所からのいくつかのカメラがターゲットを追跡し、したがって、ターゲットのより明確な全周パノラマビューを得ることができることが望ましい。次いで、これらのビューを記録し、記録されたビューからビデオクリップを得ることができる。スポーツイベントにおけるターゲットのビデオクリップを再生するときに、ターゲットを複数の場所から見ることができる。本明細書に開示されるシステム、カメラ、制御ユニット、及び他のデバイスには、さまざまな実施形態において、コンピュータ又は組み込みコンピューティング回路（例えば、プロセッサ、メモリ、ストレージ媒体、ネットワークインターフェースなど）が含まれていてもよい。

【0027】

説明されているカメラには、視覚スペクトルの画像をキャプチャするカメラ、レーザー範囲で動作するＬｉｄａｒ、サーマルイメージングデバイス、又は動作周波数範囲に関係なく任意の他の同様のデバイスが含まれていてもよい。説明されているカメラにはまた、深度情報だけでなく幾何学的情報もキャプチャできるキャプチャデバイスが含まれていてもよい。また、３Ｄ（３次元）メッシュを生成できる深度キャプチャデバイスも含まれている。

【0028】

いくつかの実施形態では、システムには、シーンの周囲に配置された１つ又は複数の一次カメラ、及び１つ又は複数の二次カメラが含まれる。

【0029】

シーンは、スポーツイベント、劇場での演劇、コンサート、セキュリティ目的で監視されているエリアなどであり得る。システムはビデオ会議でも使用できる。その場合、シーンは会議又は他の集まりであり得る。カメラには、制御ユニットで読み取ることができるパラメータがある。カメラのパラメータには、パン及びチルトなどの移動パラメータだけでなく、ズーム、レンズ開口、焦点、シャッター速度、及びフレームレートなどのレンズパラメータも含まれる。シーンは１つ又は複数のターゲットを有することができる。ターゲットは、シーンの参加者、シーンで使用される機器、又は他の何らかの物体であり得る。機器には、ボール、アイスホッケーのパック、ダーツ若しくは槍などの競技用投射物、又は競技若しくはパフォーマンスで使用され得る他のものが含まれる。

【0030】

例えば、サッカーでは、各サイドに１１人の選手、よって合計で２２人の選手、１人の審判員、及び２人の線審がいる。これにより、合計で２５人の参加者がいる。ターゲットは、参加者の周りのゾーン若しくは一般的なエリア、又はボールのような競技アイテムでもあってもよい。したがって、サッカーのスポーツイベントの場合、２６個のターゲットがあり得る。各ターゲットは一次カメラに割り当てられ得る。これは、一次カメラがターゲットにロックオンし、ターゲットを追跡することを意味する。したがって、上記のサッカーの例では、２６個の一次カメラを２６個のターゲットに割り当てることができる。シーンのターゲットは、一般に動的である又は動いている。選手、ボール、審判員、又は線審が静止している瞬間があるかもしれないが、一般にターゲットはシーンで動的である又は動いている。いくつかの実施形態では、スイッチングユニットがカメラに接続され、制御ユニットがカメラ及びスイッチングユニットを制御する。

【0031】

制御ユニットは一次カメラのパラメータを読み取る。一次カメラのパラメータには、ターゲットの場所に関する情報が含まれている。このようにして、制御ユニットは、一次カメラが追跡しているターゲットの場所情報を得る。

【0032】

制御ユニットには、一次カメラが追跡しているターゲットの詳細を与えることもできる。例えば、サッカー競技の場合、制御ユニットには、ターゲットが選手であるか、ボールであるか、審判員であるか、又は線審であるかについての情報が提供され得る。いくつかのターゲットタイプには、追加情報が関連付けられている場合がある。ターゲットが選手の場合、制御ユニットには、選手がいるサイドとその選手がプレーする位置とに関する情報が提供され得る。選手の名前及び選手の数などの他の情報も制御ユニットに提供されることがある。制御ユニットは、１つ又は複数の二次カメラを作動させて制御する。制御ユニットには、シーンの周囲の二次カメラの場所だけでなく二次カメラの視野（キャプチャエリア）も提供されることがある。

【0033】

二次カメラの作動及び制御は、ターゲットが二次カメラの視野内にあるかどうかに依存し、また、優先ルールに従う。１つ又は複数の二次カメラは、一次カメラで十分にキャプチャされていないターゲットの１つ又は複数のビュー又は部分を追跡及びキャプチャするために使用される。これにより、一次カメラは、作動された二次カメラとの組み合わせで、ターゲットの３６０度のより全周的なパノラマビューなどのように、ターゲットのカバレッジエリアが拡大される。

【0034】

例示的なシナリオでは、制御ユニットは、ターゲットの４つの側面をカバーするように、一次カメラとの組み合わせで、３つの二次カメラと作動させる。いくつかの実施形態では、各ターゲットについて、ターゲットの全周パノラマビューがキャプチャされる。

【0035】

優先ルールは、１つ又は複数の二次デバイス（複数可）の作動及び制御に関して２つの制御ユニット間で競合があるときに使用される。いくつかの実施形態では、ターゲットに最も近い二次カメラを作動させて、ターゲットの全周パノラマビューを得る。ただし、２つ以上のターゲットがシーン内で非常に接近しているため、各ターゲットに対してどの二次カメラを作動させるかについて競合が生じることがある。したがって、サッカー競技では、ボールと選手とが競技場で非常に近接しているため、特定の二次カメラの作動に関して競合が生じることがある。作動される可能性のある各二次カメラは、ボール及び選手から等距離にある。これを解決する１つの方法は、ボールターゲットが主な関心物体であり、一般に主なアクションがある場所であるため、ボールターゲットが優先されるという優先ルールにすることである。このような優先ルールの下では、ボールに最も近い二次カメラを作動させる。選手をより詳細にカバーするために、次の、すなわち、選手に最も近い二次カメラを作動させる。

【0036】

複数のカメラの出力、すなわち、カメラのビデオフィードをストレージユニットに保存できる。その後、ストレージユニットから複数のビデオフィードを再生できる。さらに編集して、ターゲットが動いているときにターゲットの周りを回転する機能を備えた再生を生成することもできる。

【0037】

図１は、シーンがテニスコート８である例示的な画像キャプチャシステム２の概略図である。可変照準カメラ１０～１０４が、テニスコート８の周りに配置されている。テニスコート８はネット１２２で上半分と下半分とに分かれている。シングルスのサイドライン１３０が左側のダブルスのアレー１０６を画定し、シングルスのサイドライン１２８が右側のダブルスのアレー１０８を画定する。テニスコート８の上半分は、サービスライン１１８によってノーマンズランド１２４の上セクションに分かれている。テニスコート８の上半分の下セクションは、センターライン１２０によって右のサービスボックス１１４と左のサービスボックス１１０とに分かれている。

【0038】

テニスコート８の下半分は、サービスライン１３２によってノーマンズランド１２６の下セクションに分かれている。テニスコート８の下半分の上セクションは、センターライン１２０によって左のサービスボックス１１２と右のサービスボックス１１６とに分かれている。

【0039】

図２には、画像キャプチャ制御システム２７０を備えるシステム２００の概略図が示されている。画像キャプチャ制御システム２７０には、制御ライン２５０に接続されたスイッチングユニット２０５及び制御ユニット２１１がある。画像キャプチャ制御システム２７０には、さまざまな実施形態において、コンピュータ又は組み込みコンピューティング回路（例えば、プロセッサ、メモリ、ネットワークインターフェースなど）が含まれていてもよい。スイッチングユニット２０５には、ビデオフィード出力２４５を有する、図１に示されているすべてのカメラ（１０～１０４）が接続されている。例示をし易くするために、図２には、図１に示されているすべてのカメラが示されているわけではない。スイッチングユニット２０５は、ビデオライン２６０、２５７、２５５、及び２５２でストレージユニット２１５にも接続されている。ビデオライン２６０は、ターゲットの正面画像のビデオフィード２４５を伝送し、一次カメラによってキャプチャされている。ビデオライン２５７は、ターゲットの左側画像のビデオフィード出力を伝送し、二次カメラによってキャプチャされている。ビデオライン２５５は、ターゲットの右側画像のビデオフィードを伝送し、二次カメラによってキャプチャされている。ビデオライン２５７はターゲットの背面画像のビデオフィード出力を伝送し、二次カメラによってキャプチャされている。各カメラ１０～１０４には、制御データユニット２１０～２１０４がある。図２に示すように、カメラ１０には制御データユニット２１０があり、カメラ１２には制御データユニット２１２があり、カメラ１４には制御データユニット２１４があり、以下同様である。

【0040】

制御データユニットを使用して、カメラを制御し、カメラからデータを読み取る。カメラのパラメータには、カメラのパン及びチルト、カメラのズーム、シャッター速度、レンズ開口、レンズの焦点、並びにカメラのフレームレートが含まれる。各制御データユニットは、制御データライン２４０で制御ユニット２１１に接続されている。制御ユニット２１１は、制御ライン２５０でスイッチングユニット２０５に接続されている。最初に、一次カメラがターゲットにロックオンし、ターゲットを追跡する。これは、例えば、ターゲットが認識されるビデオ処理によって達成することができるか、或いは、ターゲットに指向性トランスミッタ若しくはＧＰＳ又はそれらの任意の組み合わせを装備することができる。

【0041】

制御ユニット２１１には、さまざまな実施形態において、制御データユニット、スイッチングユニットなどと通信するコンピュータ又は組み込みコンピューティング回路（例えば、プロセッサ、ネットワークインターフェース、メモリなどのコンピュータ読み取り可能な記憶媒体など）が含まれていてもよい。制御ユニット２１１は、ターゲットを追跡する一次カメラのパラメータによって、ターゲットがシーン、この場合はテニスコートのどこにあるかをわかっている。制御ユニット２１１は、制御データライン２４０を介して一次カメラの制御データユニットから一次カメラのパラメータを読み取る。一次カメラは、例えば、ターゲットの正面ビューをキャプチャする。したがって、制御ユニット２１１は、一次カメラのビデオフィード２４５を選択し、スイッチングユニット２０５を介してビデオフィード２４５をビデオライン２６０に接続し、これにより、ターゲットの正面ビューがストレージユニット２１５のトラックに保存される。制御ユニット２１１は、他のカメラがどこにあるのか、またそれらの他のカメラの視野もわかっている。一次カメラのパラメータ、ターゲットの場所、並びに他のカメラの場所及び視野がわかっていることで、制御ユニット２１１は、ターゲットの３６０度のパノラマビューをキャプチャするためにカメラを制御できる。現在の例では、ターゲットの左右及び背面側もキャプチャする必要があることを意味する。ターゲットの左右及び背面側をキャプチャするために、制御ユニット２１１は二次カメラを使用する。

【0042】

次に、制御ユニット２１１は、ターゲットがいる視野を持つ二次カメラを選択して作動させる。左側から開始して、選択された二次カメラは、通常、ターゲットの最も良い左側ビューを有する（通常は左側に最も近い）カメラになる。カメラの選択は、シーンのターゲットの場所によっても異なる。制御ユニット２１１は、二次カメラにターゲットの場所を送信し、したがって、二次カメラはターゲットの左側の方に向いて、焦点を合わせてキャプチャすることができる。ターゲットの左側がキャプチャされると、制御ユニット２１１はそのカメラのビデオフィード出力２４５をビデオライン２５７に接続する。ターゲットの左側ビューは、ストレージユニット２１５のトラックに保存される。ターゲットの右側ビュー及び背面ビューでも同じことが行われる。最後に、ターゲットの最も良い右側ビューは、ビデオライン２５５によってストレージユニット２１５のトラックに保存され、ターゲットの最も良い背面は、ビデオライン２５２によってストレージユニット２１５のトラックに保存される。

【0043】

上の説明では、ターゲットの４つの側がキャプチャされた。なお、ターゲットの４つの側をキャプチャすることが唯一の可能性ではないことを理解されたい。また、ターゲットの２つの側のみ、３つの側、５つ若しくは６つの側、又はそれ以上の側をキャプチャすることも、本開示の範囲内である。いくつかの実施形態では、キャプチャされる側が多いほど、スイッチングユニット２０５をストレージユニット２１５に接続するために必要なビデオラインが多くなる。

【0044】

図３は、１つよりも多い画像キャプチャ制御システムを有するシステム３００の概略図である。図３は図２に似ているが、違いは、図３には、３つの画像キャプチャ制御システム２７０ａ、２７０ｂ、及び２７０ｃがあり、各々、ストレージユニット２１５ａ、２１５ｂ、及び２１５ｃを有していることである。画像キャプチャ制御システム２７０ａには、図３に示されていないが、図２に示されている画像キャプチャ制御システム２７０の対応する要素と同様のスイッチングユニット及び制御ユニットがある。スイッチングユニットにはビデオフィード入力１０ａ～１０４ａがあり、ビデオライン２６０ａ、２５７ａ、２５５ａ、及び２５２ａがストレージユニット２１５ａに接続されている。制御ユニット２１１ａは制御データライン２４０に接続されている。

【0045】

同様に、画像キャプチャ制御システム２７０ｂには、スイッチングユニット及び制御ユニットがある。スイッチングユニットには、ビデオフィード入力１０ｂ～１０４ｂと、ストレージユニット２１５ｂに接続されたビデオライン２６０ｂ、２５７ｂ、２５５ｂ、及び２５２ｂとがある。制御ユニットは制御データライン２４０に接続されている。

【0046】

最後に、画像キャプチャ制御システム２７０ｃには、スイッチングユニット及び制御ユニットがある。スイッチングユニットには、ビデオフィード入力１０ｃ～１０４ｃと、ストレージユニット２１５ｃに接続されたビデオライン２６０ｃ、２５７ｃ、２５５ｃ、及び２５２ｃとがある。制御ユニットは制御データライン２４０に接続されている。

【0047】

システム３００には、スプリッタ３１０～３１０４もある。スプリッタは、カメラのビデオフィード２４５に接続されている。スプリッタは、カメラのビデオフィード出力をｎ個のビデオフィード出力に分割する。スプリッタ３１０はカメラ１０のビデオフィード２４５に接続され、ビデオフィード２４５をｎ個の出力１０ａ～１０ｎに分割する。スプリッタ３１２は、カメラ１２のビデオフィード出力２４５をｎ個の出力１２ａ～１２ｎに分割する。他のスプリッタは、他のカメラについて同様に動作する。各カメラのビデオフィード２４５をｎ個のフィードに分割することは、ｎ個の画像キャプチャ制御システムをシステム３００に接続できることを意味する。上述したように、図３では、３つの画像キャプチャ制御システムが示されている。

【0048】

スプリッタは画像キャプチャ制御システムに接続されている。そのため、例えば、ビデオフィード１０ａは、入力として画像キャプチャ制御システム２７０ａに提供される。ビデオフィード１２ａは、入力として画像キャプチャ制御システム２７０ａに提供され、以下同様である。このようにして、各カメラ１２のビデオフィード２４５は画像キャプチャ制御システム２７０ａに接続される。このようにして、すべてのカメラが画像キャプチャ制御システム２７０ａに接続される。

【0049】

画像キャプチャ制御システム２７０ｂについても同じことが言える。スプリッタ３１０のビデオフィード１０ｂは、入力として画像キャプチャ制御システム２７０ｂに提供される。スプリッタ３１２のビデオフィード１２ｂは、入力として画像キャプチャ制御システム２７０ｂに提供され、以下同様である。このようにして、画像キャプチャ制御システム２７０ｂは、すべてのカメラのすべてのビデオフィード２４５に接続されている。

【0050】

画像キャプチャ制御システム２７０ｃは、すべてのビデオカメラに同様に接続されている。

【0051】

カメラ選択をより詳細に説明するために、図１を参照する。シングルステニスの試合の場合では、ターゲットａは、ノーマンズランド１２４にあるテニスコート８の上部分における第１の選手である。第１の選手を追跡するために、図３の第１の画像キャプチャ制御システム２７０ａはカメラ６６を一次カメラとして使用する。したがって、カメラ６６はターゲットａにロックオンし、ターゲットａを追跡し、ターゲットａの方に向く。カメラ６６はターゲットａの正面ビューをキャプチャする。

【0052】

ターゲットａの対戦相手、ターゲットｂは、ノーマンズランド１２６のテニスコート８の下部分にいる第２の選手である。第２の選手を追跡するために、図３の第２の画像キャプチャ制御システム２７０ｂは、カメラ１８を一次カメラとして使用する。したがって、カメラ１８はターゲットｂにロックオンし、ターゲットｂを追跡し、ターゲットｂの方に向く。カメラ１８はターゲットｂの正面ビューをキャプチャする。

【0053】

図３の第１の画像キャプチャ制御システム２７０ａの制御ユニットは、一次カメラ６６のパラメータを読み取る。制御ユニットは、テニスコート８上のターゲットａの位置をわかっているので、それに応じて自動的に二次カメラを作動させて制御してターゲットａのカバレッジエリアを拡大し、これにより、ターゲットａからより全周的なパノラマビューが得られる。

【0054】

第１の画像キャプチャ制御システム２７０ａの制御ユニットは、図１のカメラ２０を作動させて制御して、ターゲットａの背面ビューを得る。制御ユニットは、ターゲットａの場所情報をカメラ２０に送信し、したがって、カメラ２０はターゲットａの方に向いて、焦点を合わせ、背面ビューをキャプチャすることができる。制御ユニットは、ターゲットａの右側ビューをキャプチャするためにカメラ３０で同じことを行い、また、ターゲットａの左側ビューをキャプチャするためにカメラ１０２で同じことを行う。前述したように、４台のカメラだけを作動させて制御して、ターゲットをキャプチャすることが唯一の可能性ではない。例えば、カメラ２６を作動させて制御して、ターゲットａの中間の背面右ビューをキャプチャすること、及びカメラ１０を作動させて、ターゲットａの中間の背面から左ビューをキャプチャすることも本開示の範囲内である。

【0055】

図３の第２の画像キャプチャ制御システム２７０ｂの制御ユニットが、ターゲットｂに対しても同じことを行う。制御ユニットは、一次カメラ１８のパラメータを読み取る。第２の画像キャプチャ制御システム２７０ｂの制御ユニットは、テニスコート８上のターゲットｂの場所をわかっているので、それに応じて自動的に二次カメラを作動させて制御して、ターゲットｂのカバレッジエリアを拡大する。第２の画像キャプチャ制御システム２７０ｂの制御ユニットは、カメラ６８を作動させて制御して、ターゲットｂの背面ビューを得る。カメラ６６は、ターゲットａの正面ビューをキャプチャするように制御されることを思い出されたい。第２の画像キャプチャ制御システム２７０ｂの制御ユニットは、ターゲットｂの場所情報を、カメラ６８に送信し、したがって、カメラ６８はターゲットｂの方に向いて、焦点を合わせ、背面ビューをキャプチャすることができる。また、カメラ７８に送信し、ターゲットｂの右側ビューをキャプチャし、カメラ５４に送信し、ターゲットｂの左側ビューをキャプチャする。

【0056】

ターゲットａがネット１２２に向かって前進すると、ターゲットａの方に向いてターゲットａを追跡する一次カメラ６６がこの変化する場所を検出する。第１の画像キャプチャ制御システムの制御ユニットも、一次カメラ６６の制御データユニットを介してこの動きを検出し、これに応じて、ターゲットａの右側及び左側をもともとキャプチャしていたカメラ３０及び１０２を、それらの視野からターゲットａが出て行くにつれて無効にし、ターゲットａの右側及び左側をキャプチャするようにカメラ３２及び１００を、それらの視野の中にターゲットａが前進するにつれて作動させる。

【0057】

ターゲットａがカメラ３０のキャプチャエリアから出て行き、カメラ３２の視野に入るにつれて、カメラ３０はカメラ３２にハンドオーバーすると言うことができる。同様に、ターゲットａがカメラ１０２の視野から出て行き、カメラ１００の視野に入るにつれて、カメラ１０２がカメラ１００にハンドオーバーすると言うことができる。

【0058】

ターゲットａがサービスライン１１８に到達すると、カメラ３２及び１００は、それらの視野からターゲットａが出て行くため、無効になる。カメラ３４及び９８を作動させて、新しい場所におけるターゲットａの右側及び左側をキャプチャする。ターゲットａが右のサービスボックス１１４の中央に移動する場合、ターゲットａが前のカメラの視野から出て行くため、前の場所のカメラが無効になる。カメラ３８を作動させて、右側をキャプチャし、カメラ９４を作動させて、各左側をキャプチャし、カメラ２２を作動させて、ターゲットａの背面をキャプチャする。これに対応して、ターゲットａが左のサービスボックス１１０に移動し、ネット１２２に近い場合、前の場所をキャプチャしていたカメラは、ターゲットａがこれらのカメラの視野から出て行くため、無効になる。カメラ４０を作動させて、ターゲットａの右側をキャプチャし、カメラ９２を作動させて、ターゲットａの左側をキャプチャし、カメラ１４を作動させて、ターゲットａの背面をキャプチャする。一次カメラ６６は、ターゲットａを追跡し続けているため、ターゲットａにロックオンし、ターゲットａの方に向き続けたままである。その理由の１つは、一次カメラ６６はターゲットａの場所を記録するためである。この場所情報は、一次カメラ６６の制御データユニットによって制御ユニットに送られる。制御ユニットは、場所情報を特定の二次カメラの制御データユニットに送信する。これにより、二次カメラがターゲットの方に向いて追跡できるようになる。

【0059】

カメラの照準合わせとは、カメラがターゲットに向けられ、ターゲットがカメラの視野内にあるように、カメラのパン及びチルトが調整されることを意味する。カメラの作動とは、カメラがオフの場合にカメラをオンにし、カメラを制御することを意味する。カメラの無効とは、必ずしもカメラをオフにすることを意味するわけではないが、カメラの制御を解除し、別の制御ユニットが制御できるようにすることを意味する。

【0060】

第２の画像キャプチャ制御システム２７０ｂの制御ユニットは、第２の選手、すなわちターゲットｂで同じことを行う。ターゲットｂがノーマンズランド１２６の中央にいる場合、カメラ５２を作動させてその左側をキャプチャし、カメラ８０を作動させてその右側をキャプチャする。カメラ６８を作動させて、ターゲットｂの背面ビューをキャプチャする。一次カメラであるカメラ１８はターゲットｂの正面ビューをキャプチャする。

【0061】

ターゲットｂが左のサービスボックス１１２の中央に移動する場合、カメラのハンドオーバーが行われ、ターゲットｂが左のサービスボックス１１２の中央に到達するまで、上記のようにカメラを無効にし、作動させる。ターゲットｂが左のサービスボックス１１２の中央に到達すると、カメラ４６がその左側をキャプチャし、カメラ８６がその右側をキャプチャし、カメラ６２がその背面ビューをキャプチャする。ターゲットｂが右のサービスボックス１１６の中央に移動する場合、最終的にカメラ７０が背面ビューをキャプチャするまで、カメラのハンドオーバーが行われる。

【0062】

ボールが追跡される場合は、第３のターゲット、ターゲットｃがあることを意味する。この例では、図３の第３の画像キャプチャ制御システム２７０ｃが必要になることを意味する。

【0063】

ダブルスの試合の場合、追加の２人の選手及びもう２つのターゲット、ターゲットｄ及びターゲットｅが考慮される。これは、この例では第４及び第５の画像キャプチャ制御システムが必要であることを意味する。したがって、ダブルスの試合の場合、同時に追跡されるターゲットは５つある。当然ながら、一次カメラによって１つ又は複数のターゲットを手動で追跡することができる。各ターゲットには一次カメラと対応する二次カメラとが割り当てられるため、通常のテレビチーム及び人員が手動でシーンをカバーする場合よりも、シーン全般のより精巧なカバレッジが得られる。

【0064】

当然ながら、２つの画像キャプチャ制御システムの制御ユニット間で、二次カメラを制御するための競合が発生する可能性がある。この問題は優先ルールで解決される。例えば、ダブルスの競技において、選手３及び４は片側のチームであり、テニスコート８の下半分にいる。選手３はターゲットｄであり、選手４はターゲットｅである。ターゲットｄは、図１の左のサービスボックス１１２の中央におり、ターゲットｅは右のサービスボックス１１６の中央にいる。両方のターゲットはネット１２２から同じ距離にある。したがって、制御ユニットはカメラ４６を作動させて制御して、ターゲットｄの左側をカバーする。制御ユニットはカメラ８６を作動させて制御して、ターゲットｄの右側をカバーする。しかし、別の制御ユニットもターゲットｅの右側をカバーするためにカメラ８６を制御することを望んでいる。２つの制御ユニット間のこの競合を解決するには、優先ルールを使用することができる。例えば、カメラ８６がターゲットｅにより近いことを考慮して、ターゲットｅがカメラ８６の優先権を有すると優先ルールによって判断され得、したがって、ターゲットｅに関連付けられた制御ユニットにカメラ８６の制御が許可される。左のサービスボックス１１２にいるターゲットｄの右側をカバーするために、ターゲットｄに関連付けられた制御ユニットは次のカメラ、すなわちカメラ８４を使用する必要がある。

【0065】

ターゲットだけでなく、ターゲットの全周ビューのキャプチャ及び記録中に、時間などのメタデータも記録される。各ターゲットはターゲットの全周ビューと、キャプチャ及び記録された時間とを有するため、特定の時間に何が起こったかを確認して分析するために時間を遡ることが可能になる。したがって、例えば、テニスの試合では、再生アクション中に、ボールがテニスコートに当たった時間を遡って、特定の選手によるサーブ中にボールがサービスボックスに入ったかどうかを確認することができる。

【0066】

補間による仮想カメラの生成
図２及び図３に示すように、画像キャプチャ制御システム２７０は、実際のカメラでターゲットの正面画像２６０、左画像２５７、右画像２５５、及び背面画像２５２を生成することができるが、実際のカメラの間に挿入された仮想カメラを使用することでいくつかの実施形態を強化することもできる。利用可能である実際のカメラ位置が所望する数よりも少ない場合、又はより高い解像度の画像回転が所望される場合、２つの既存の実際のカメラ間でカメラ画像を補間するために追加の仮想カメラを実装することができる。

【0067】

例えば、図１を参照した上記の説明では、ターゲットａは、ノーマンズランド１２４の中央にあるテニスコート８の上部分にあった。一次カメラ６６を使用して、ターゲットａの正面ビューをキャプチャした。図１のカメラ２０を使用して、ターゲットａの背面ビューをキャプチャした。カメラ３０を使用して、ターゲットａの右側ビューをキャプチャした。カメラ１０２を使用して、ターゲットａの左側ビューをキャプチャした。ターゲットａの正面ビューをキャプチャするカメラ６６、ターゲットａの背面ビューをキャプチャするカメラ２０、ターゲットａの右ビューをキャプチャするカメラ３０、及びターゲットａの左ビューをキャプチャするカメラ１０２はすべて実際の物理的なカメラであり、仮想のソフトウェアカメラとは対照的である。

【0068】

ソフトウェアを使用して、実際のカメラ間の仮想カメラを作成することができる。いくつかの実施形態では、ソフトウェアは、１つの実際のカメラからの各フレームに描写されるビューと、隣接する実際のカメラの対応するビューとを比較する。これらの２つの実際のカメラ６６（正面ビュー）とカメラ３０（右ビュー）との間に仮想カメラを作成するために、ソフトウェアは実際のカメラによってキャプチャされたビュー間を補間して、仮想カメラに関連付けられた仮想ビューを形成する。これには、例えば、仮想カメラの位置を計算すること、及びシーンの対応する視野を計算することが含まれ得る。ソフトウェアは、コンピュータビジョン技術を使用して、光源の位置、色、及び強度、シーン内の物体の形状、位置、テクスチャ、色、及び反射率など、実際のカメラによってキャプチャされた画像内のシーンの影及び他の特性を検出することができる。この情報に基づいて、ソフトウェアは、仮想カメラの計算された位置及び視野に基づいて、仮想カメラの視点からシーンを再作成することができる。

【0069】

結果として得られる仮想画像は、必ずしも撮影可能な実世界の画像を表すものではない。代わりに、仮想画像は、画像が第１の実際のカメラから第２の実際のカメラに回転されるときに、画像間のよりスムーズな遷移を提供する。したがって、カメラ６６及び３０を介してスピンするとき、解像度は、それらの間の追加の仮想カメラのために増加する。

【0070】

いくつかの実施形態では、ビューの補間には色値のピクセル単位の補間が含まれる場合がある。２つの実際のカメラが同様の視野をキャプチャする場合などの例示的なシナリオでは、ソフトウェアは、仮想フレームの１つ又は複数の部分の各ピクセルの色を、実際のカメラでキャプチャされたフレーム内の２つの対応するピクセルの色の間の遷移色となるように補間する。２つのカメラ（例えば、カメラ６６及び３０）に同じ色の対応するピクセルがある場合、仮想画像はその同じ色を有する。２つのカメラ６６及び３０に異なる色のピクセルがある場合、これらの色が分析され、遷移色が使用される。この遷移色は、赤、緑、及び青の値に基づいて決定できる。例えば、これらの色チャンネルのピクセル値を平均化することによって、又は他の何らかの手段によって決定できる。

【0071】

この特徴は、２つの隣り合う実際のカメラ６６と３０との間で単一の仮想画像を生成することを用いて説明されているが、このギャップでは２つ又はそれ以上の仮想画像が補間される可能性もある。色遷移は、任意の数の仮想画像を利用するためにスケーリングすることができ、本開示は任意の特定の数の仮想画像に限定されない。

【0072】

画像の組み合わせ
ターゲットのすべての画像を、画像処理によって組み合わせて、ターゲットの完全な３６０度のパノラマビューを形成することができる。いくつかの実施形態では、カメラは、ターゲットの３Ｄ（３次元）メッシュを生成するために使用される深度情報をキャプチャするように構成された深度画像キャプチャデバイスを使用するメッシュ化（ｍｅｓｈｉｆｉｃａｔｉｏｎ）技術を実施する。ターゲットの異なる視点からのこのような３Ｄ（３次元）メッシュは、ターゲットの３Ｄ（３次元）メッシュとなるように組み合わせるために画像処理デバイスに送られる。いくつかの実施形態では、オーディオキャプチャデバイスが、ターゲットの３Ｄ（３次元）メッシュとともに送られるオーディオデータをさらに送信する場合がある。３Ｄ（３次元）メッシュ形式で画像を送信することで、画像処理デバイスに画像を送信するとき、また、後の手順で、組み合わされた３Ｄ（３次元）メッシュを任意の他の受信デバイスに送信するときの帯域幅及び処理時間を節約できる。画像処理及び組み合わせは一次カメラで行うことができる。したがって、一実施形態では、１つ又は複数の二次カメラがターゲットのそれぞれの角度の３Ｄ（３次元）メッシュを一次カメラに送信し、一次カメラは３Ｄ（３次元）メッシュを組み合わせてターゲットの３６０度のパノラマビューを形成する。次に、このパノラマビュー又は３Ｄ（３次元）メッシュは、サーバにあってもよいストレージユニットに送られる。次に、パノラマビュー又は３Ｄ（３次元）メッシュを、レンダリングされる仮想環境で表示するために受信デバイスに送信する場合もある。

【0073】

いくつかの実施形態では、３Ｄ（３次元）メッシュはシーンのターゲットの体積情報から成る深度画像を定義する。３Ｄ（３次元）メッシュは、一次カメラでのさらなる処理及び組み合わせのために、送られる前に圧縮することができる。次に、一次カメラは圧縮された３Ｄ（３次元）メッシュを、３Ｄ（３次元）メッシュからシーンを再構築するように構成された受信デバイスに送信する。或いは、一次カメラは圧縮された３Ｄ（３次元）メッシュを、受信デバイスに送信する前に、さらなる処理のためにサーバに送信することができる。いくつかの実施形態では、３Ｄ（３次元）メッシュは、圧縮される前に、一次カメラでオーディオデータと同期された後、全体で圧縮されて受信デバイスに（例えば、直接又はサーバを介して）送られる。

【0074】

いくつかの実施形態では、３Ｄ（３次元）メッシュの生成は、深度画像を無色の点群に変換することであって、シーンの深度情報は上記の点群の次元に符号化される、変換することと、ポアソンサーフェースアルゴリズムを使用して、点群を複数の三角形と頂点とから成る３次元メッシュに変換することと、３Ｄ（３次元）メッシュを圧縮することと、を含む。３Ｄ（３次元）メッシュの圧縮は、一次カメラ又はサーバによって実装された構成アプリケーションによって制御できる複数の設定に基づいて行うことができる。構成アプリケーションは、例えば、伝送のフレームレート、視野、及び空間分解能などの設定を構成することができる。

【0075】

いくつかの実施形態では、深度情報は、赤外線エミッタと少なくとも２つの赤外線（ＩＲ：ｉｎｆｒａｒｅｄ）センサとを備える深度センシングモジュールによってキャプチャされる。また、両方のセンサ間の距離がわかっているならば、エミッタによって環境に投影されたＩＲ点のグリッドとモジュールとの間の距離を正確に計算することができる。或いは、本発明の特定の実施形態では、深度センシングモジュールは光検知測距（ＬＩＤＡＲ：Ｌｉｇｈｔ Ｄｅｔｅｃｔｉｏｎ ａｎｄ Ｒａｎｇｉｎｇ）センサを備える。ＩＲ又はＬＩＤＡＲセンサは、シーン又はシーンの視野を表す深度画像を提供することが有利である。ＬＩＤＡＲセンサは、シーンの検査に適したレーザー源の放出及び検出の両方のステップから成る。

【0076】

本発明のさらに別の実施形態では、オーディオ収集モジュールは、カージオイド単一指向性マイク及び／又はサラウンド音機器から成る。特にカージオイドマイクは、マイクの前にあるソースからのオーディオのより優れた検出を提供し、これは、以下にさらに開示するように、ビデオ会議で話者（人）からのオーディオ入力を収集する場合に便利である。そのような場合、環境音を減衰させる必要があり、この種のマイクはこのタスクを便利に実行する。それ以外の場合、環境音を放送する必要があるときは、代わりにサラウンドシステム機器を使用できる。

【0077】

ビデオ会議
このシステムは、ビデオ会議の目的にも使用できる。このような場合、ビデオ会議の各参加者がターゲットとなり、一次カメラが割り当てられる。二次カメラは、ビデオ会議の各参加者の側をキャプチャする。さらに、参加者の背景を削除することができる。次に、参加者の画像を、ビデオ会議が可能な仮想環境でライブイベントを表示する仮想環境で転送することができる。これにより、他の参加者がビデオ会議のシーンを通って歩き、異なる視点から他の参加者を見ることができる。

【0078】

ビデオ会議の一例では、システムを使用して、サッカー又はテニスの試合などのライブイベントを、３Ｄ（３次元）仮想環境でのビデオ会議設定に取り込むことができる。３Ｄ（３次元）仮想環境には、同じ３Ｄ（３次元）仮想環境にいる観客も含まれる。３Ｄ（３次元）仮想環境は、スポーツスタジアム及び対応するスポーツピッチ又はコートの複製であり得、これらの３Ｄ（３次元）モデルであってもよい。この例では、本開示の画像キャプチャシステムを使用して、選手が動的且つ自動的にキャプチャされ、仮想環境の上にオーバーレイされる３Ｄ（３次元）メッシュ又は３６０°のパノラマビューに組み合わされる。仮想環境では、観客はライブイベントを見ることができ、且つ互いのオーディオ及びビデオデータを共有することによってビデオ会議プラットフォームを介して互いに通信することができる。さらに、この例では、観客にも少なくとも１台の一次カメラと、参加者の画像を参加者の現在の場所からキャプチャし、参加者の背景を削除し、次に、さらなる処理のために画像をサーバに送信する前にその画像を組み合わせる画像処理ユニットに送信する複数の二次カメラとが提供される。次に、組み合わされた画像は、仮想環境をレンダリングする受信デバイスに送られ、そこで選手及び観客の３Ｄ（３次元）メッシュ、すなわち３６０°のパノラマビューが受信デバイスで再構築され、仮想環境の上にオーバーレイされる。例えば、３Ｄ（３次元）表現はスポーツスタジアムの座席に配置され、ライブで競技が展開するにつれて競技を見ることができる。システムのさまざまなカメラを制御して、ほとんどの場合動いている選手の３Ｄ（３次元）メッシュ又は３６０°のパノラマビューの形式で３Ｄ（３次元）表現を提供する機能は、ライブイベントの忠実な表現を作成する。同様に、同じ３Ｄ（３次元）仮想環境で観客の忠実な３Ｄ（３次元）表現を提供することで、観客の仮想実在感が向上する。

【0079】

いくつかの実施形態では、カメラの場所及びキャプチャエリアを確立し、理解可能なフォーマットで制御ユニットに利用可能にする必要がある。さらに、カメラのパラメータを較正する必要がある。特に焦点及びズームのパラメータは、制御ユニットがカメラの焦点を合わせ、ズームして、カメラによってキャプチャされる画像をほぼ同じサイズにして、焦点が合った状態にしておくことができるように、かなりの注意を必要とする。

【0080】

図４は、複数のカメラを制御するための例示的な方法４００のフローチャートである。この方法は、図２の画像キャプチャ制御システム２７０などのコンピュータシステム、又は他の何らかのコンピュータシステムによって行うことができる。ステップ４１０では、コンピュータシステムは、シーンのターゲットを、シーンの画像をキャプチャするように構成された一次カメラに割り当てる。ステップ４２０では、システムはターゲットにロックオンし、ターゲットを追跡する。ステップ４３０では、システムは、一次カメラ、及びシーンの画像をキャプチャするように構成された二次カメラのパラメータが読み取る。ステップ４４０では、ターゲットが第１の二次カメラの視野内にあることに反応して、システムは、第１の二次カメラを作動させて制御して、ターゲットを追跡する。ステップ４５０では、ターゲットが第１の二次カメラの視野から出て行き、第２の二次カメラの視野に入ったことに反応して、システムは、第１の二次カメラを無効にし、第２の二次カメラを作動させて制御して、ターゲットを追跡する。優先ルールを使用して、二次カメラの作動及び制御についての競合を、例えば、ターゲットとそれぞれの二次カメラとの相対距離、ターゲットのプロファイルデータ、又は他の基準若しくは基準の組み合わせに基づいて解決することができる。ステップ４６０では、システムは、一次カメラ及び各二次カメラによって提供されるビューなど、ターゲットの異なるビューをキャプチャするためにカメラで画像を自動的に取得する。制御データユニットを使用して、個々のカメラに接続し、対応するカメラのパラメータを制御ユニットに提供できる。

【0081】

いくつかの実施形態では、この方法は、シーンの第２のターゲットを第２の一次カメラに割り当てることをさらに含む。このような実施形態では、それぞれのターゲットの画像は同時に又は実質的に同時にキャプチャされることがある。

【0082】

いくつかの実施形態では、この方法は、一次又は二次カメラなど、１つ又は複数の実際の物理的なカメラによって取得されたビューから補間されたカメラビューを提供するように構成された１つ又は複数の仮想カメラを実装することをさらに含む。

【0083】

例示的な実施形態を例示し、説明しているが、本発明の範囲から逸脱することなく、さまざまな変更を加えることができることが理解されるであろう。

【図1】

【図2】

【図3】

【図4】

【外国語明細書】