特許 5667943 コンピュータ実行画像処理方法および仮想再生ユニット

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】5667943

(24)【登録日】2014年12月19日

(45)【発行日】2015年2月12日

(54)【発明の名称】コンピュータ実行画像処理方法および仮想再生ユニット

(51)【国際特許分類】

   H04N 5/262 20060101AFI20150122BHJP

   H04N 5/222 20060101ALI20150122BHJP

【ＦＩ】

   H04N5/262

   H04N5/222 Z

【請求項の数】21

【外国語出願】

【全頁数】29

(21)【出願番号】特願2011-165233(P2011-165233)

(22)【出願日】2011年7月28日

(65)【公開番号】特開2012-34365(P2012-34365A)

(43)【公開日】2012年2月16日

【審査請求日】2014年6月26日

(31)【優先権主張番号】10405145.3

(32)【優先日】2010年7月29日

(33)【優先権主張国】EP

【早期審査対象出願】

(73)【特許権者】

【識別番号】511107821

【氏名又は名称】リベロビジョン・アクチェンゲゼルシャフト

【氏名又は名称原語表記】ＬＩＢＥＲＯＶＩＳＩＯＮ ＡＧ

(74)【代理人】

【識別番号】110001195

【氏名又は名称】特許業務法人深見特許事務所

(72)【発明者】

【氏名】クリストフ・ニーデルベルゲル

(72)【発明者】

【氏名】ステファン・ビュルムリン・シュタトレル

(72)【発明者】

【氏名】レモ・ツィグレル

(72)【発明者】

【氏名】リヒャルト・カイゼル

【審査官】 西谷 憲人

(56)【参考文献】

【文献】 特開２０１０−０４１７２５（ＪＰ，Ａ）

【文献】 特開２００９−０６４４４５（ＪＰ，Ａ）

【文献】 特開２００９−０７７３９４（ＪＰ，Ａ）

(58)【調査した分野】（Int.Cl.，ＤＢ名）

Ｈ０４Ｎ ５／２６２

Ｈ０４Ｎ ５／２２２

Ｈ０４Ｎ ２１／６５８７

Ｇ０６Ｔ １５／２０

(57)【特許請求の範囲】

【請求項1】

ビデオシーケンスを自動的に生成するために、即時再生用のコンピュータ実行画像処理方法であって、前記方法は、前記方法のオンラインフェーズにおいて、
ある場面のソース画像シーケンスを提供するように適合された少なくとも１台のソースカメラを提供するステップを備え、前記カメラの姿勢および光学設定は、前記カメラのビューを規定するとともに、ある組のカメラパラメータによって記述され、
前記方法は、
前記ソース画像シーケンスからの基準ビューから基準キーフレームを規定するユーザ入力を入力するステップを備え、前記基準キーフレームは後に生成された仮想再生が行なわれてほしいとユーザが思う時点からのビデオ画像であり、
前記方法は、
前記ソース画像シーケンスの記録から前記基準キーフレームを抽出するとともに、場面のさらなるソース画像シーケンスの記録から、さらなるビューからの１つ以上のさらなるキーフレームを任意に抽出するステップをさらに備え、各さらなるキーフレームは、前記基準キーフレームの時点と同じ時点で記録されており、後でキーフレーム点と呼ばれ、
前記方法は、
１組以上の仮想カメラパラメータを自動的に算出するステップをさらに備え、各組は仮想カメラによる前記場面の仮想ビューを記述し、
前記方法は、
２組以上の仮想カメラパラメータが算出された場合、後の処理ステップ用に一組を選択し、前記仮想ビューは、後で選択された仮想ビューと呼ばれる選択された組によって規定され、または１組の仮想カメラパラメータしか算出されない場合、対応する仮想ビューを前記選択された仮想ビューとして使用するステップと、
経時的仮想カメラパラメータの変化によって記述されるとともに、前記仮想カメラの動きおよび前記仮想ビューの対応する変化を規定する、仮想カメラフライト経路を生成するステップとをさらに備え、
前記仮想ビューは、
第１のビューから前記選択された仮想ビューに変わり、前記第１のビューは前記基準ビューまたは任意的にさらなるビューの１つであり、次に、前記仮想ビューは、
前記選択された仮想ビューから第２のビューに変わり、前記第２のビューは前記基準ビューまたは任意的に前記さらなるビューの１つであり、
前記方法は、
仮想カメラフライト経路によって規定される仮想ビデオストリームをレンダリングするステップと、
仮想ビデオストリームをコンピュータ読取可能記憶装置に記憶すること、および仮想ビデオストリームを通信リンクを通して送信すること、の少なくとも一方を行なうステップとをさらに備える、方法。

【請求項2】

前記１組以上の仮想カメラパラメータを自動的に算出するステップは、
前記場面におけるオブジェクトの位置を自動的に算出するステップと、
前記場面で観察される状況の分類を、特にこの分類を特定するユーザ入力を抽出することにより定めるステップと、
前記場面におけるオブジェクトの位置および前記状況の分類に基づき、少なくとも１組の仮想カメラパラメータを自動的に算出するステップとを含む、請求項１に記載の方法。

【請求項3】

前記後の処理ステップ用に選択された仮想ビューを規定する仮想カメラパラメータの組のうちの１つを選択するステップは、
各仮想カメラパラメータの組に対して、後でこの時点での仮想キーフレームと呼ばれる前記場面の対応する仮想ビューおよび対応する仮想画像を自動的に生成するステップと、
前記仮想キーフレームを画像表示装置上に表示するとともに、前記仮想キーフレームの１つを示すユーザの選択を入力し、さらに関連する仮想ビューを後の処理ステップ用の選択された仮想ビューとして用いるステップとを含む、請求項１に記載の方法。

【請求項4】

前記後の処理ステップ用に選択された仮想ビューを規定する仮想カメラパラメータの組のうちの１つを選択するステップは、
各仮想カメラパラメータの組に対して、後でこの時点での仮想キーフレームと呼ばれる前記場面の対応する仮想ビューおよび対応する仮想画像を自動的に生成するステップと、
前記仮想キーフレームを画像表示装置上に表示するとともに、前記仮想キーフレームの１つを示すユーザの選択を入力し、さらに関連する仮想ビューを後の処理ステップ用の選択された仮想ビューとして用いるステップとを含む、請求項２に記載の方法。

【請求項5】

前記方法は、前記オンラインフェーズより前の準備フェーズで実行される、以下の、
前景オブジェクトを背景に対して検出および分離するための特徴モデルを作成するステップと、
既知の特徴を有する場面を観察しているカメラから得られる複数の画像から、後のビデオ取込みの間に変化しない固定カメラパラメータを定めるステップと、
後の画像処理において抽出および用いるために、前記特徴モデルおよび前記固定カメラパラメータをコンピュータ読取可能記憶手段に記憶するステップとをさらに備える、請求項１に記載の方法。

【請求項6】

前記特徴モデルはカラーモデルであり、前景オブジェクトの異なるクラスに対応するカラーモデルを含む、請求項５に記載の方法。

【請求項7】

前記方法は、前記オンラインフェーズより前の準備フェーズで実行される、以下の、
潜在的カメラ構成空間を網羅するビューから複数の画像をサンプリングするステップと、
これらの画像における特徴の位置を定めて識別するステップと、
これらのビューに対応するカメラパラメータを定めるステップと、
基準情報としてそれぞれの画像に対する前記特徴および特徴位置を記憶するステップと、
前記基準情報の前記カメラパラメータに対する関連を、画像特徴に基づく迅速なカメラ較正のために後で抽出するために、コンピュータ読取可能記憶手段に記憶するステップをさらに備える、請求項１に記載の方法。

【請求項8】

前記方法は、準備フェーズにおいて、チームの競技方向、および前記競技方向が有効である時間を特定する関連する時間情報についての情報を入力するステップをさらに備える、請求項１に記載の方法。

【請求項9】

少なくとも２台のソースカメラから少なくとも２つのソース画像シーケンスが処理される場合、前記ソース画像シーケンスの１つから抽出された前景オブジェクトを１つ以上の残りのソース画像シーケンスの前景オブジェクトと自動的に同一視するステップと、
自動的に、ユーザ相互作用なしで、前記場面におけるこれらの前景オブジェクトの位置を定めるステップをさらに含む、請求項１に記載の方法。

【請求項10】

前記仮想カメラフライト経路を生成するステップにおいて、前記第１のビューおよび前記第２のビューを自動的に定めるために、
１つのソース画像シーケンスのみが利用可能である場合、前記第１および第２のビューを前記基準ビューと同じであるとして選択するステップと、
２つのソース画像シーケンスが利用可能である場合、少なくとも１つのビューを、他のソースカメラよりも観察場面により近くにあるソースカメラからのものであるとして選択するステップとを実行する、請求項１に記載の方法。

【請求項11】

前記ソースカメラの１つが主要カメラであると指定するステップと、
前記主要カメラのビュー方向に従い、前記第１および第２のビューの少なくとも一方に用いられるソースカメラを自動的に選択するステップとをさらに備え、
選択された前記ソースカメラは、好ましくは、前記主要カメラが向いている、前記主要カメラの側に位置付けられるカメラである、請求項１に記載の方法。

【請求項12】

仮想カメラフライト経路を生成するために、
第１のビュー、仮想ビュー、および第２のビューの異なる組合せに対して１組の仮想カメラフライト経路を生成するステップと、
各仮想カメラフライト経路の組について図形表示を画像表示装置上に表示し、仮想カメラフライト経路の１つを示すユーザ選択を入力するステップと、
選択された前記仮想カメラフライト経路を用いて仮想ビデオストリームをレンダリングするステップとが実行される、請求項１に記載の方法。

【請求項13】

前記仮想カメラフライト経路を生成するステップは、
前記選択された仮想ビュー、前記第１のビュー、および前記第２のビューが与えられると、これらのビューを記述するカメラパラメータの組を抽出するステップと、
前記第１のビューに対応するカメラパラメータの組からの値から始まって、前記選択された仮想ビューに対応するカメラパラメータの組の値に変わり、さらに前記第２のビューに対応するカメラパラメータの組の値に変わるよう、仮想カメラパラメータの組を補間するステップと、
前記仮想カメラフライト経路に沿ったビューのすべてまたはサブセットに対して、前記ビューのそれぞれの画像が、利用可能なキーフレームから画像情報がない領域を含むか否かを検証するステップと、
これら１つ以上のビューにおいて欠落している画像情報の量が所定の限界を超えた場合、自動的にまたはユーザ相互作用の手段により、欠落している画像情報の量が、欠落している情報を有するビューよりも小さいかまたはゼロである１つ以上の中間キービューを定めるとともに、これらキービューを通過するように、前記仮想カメラフライト経路を算出するステップとを含む、請求項１に記載の方法。

【請求項14】

前記仮想カメラフライト経路を生成するステップは、
仮想カメラパラメータの組を補間する場合、前記仮想カメラフライト経路のビューのシーケンスにおいて、前記場面における静止または移動している対象点について平滑な動きを維持するステップを含む、請求項１２に記載の方法。

【請求項15】

前記方法は、選択された画像ビューまたは満足のいく仮想カメラフライト経路が仮想再生ユニットによって定められていない、またはユーザによって選択されていない場合、前記基準キーフレームからまたはさらなるキーフレームの１つから強調した静止画を生成するステップと、
前記仮想ビデオストリームの代わりに強調した静止画を引き続いて用いるステップをさらに備える、請求項１に記載の方法。

【請求項16】

前記方法は、連結されたビデオシーケンスを生成するステップをさらに備え、前記連結されたビデオシーケンスは、
第１のソースカメラから、第１のビューのキーフレームに至りかつそこで終わる第１のビデオシーケンスと、
前記第１のビューのキーフレームから始まり、前記第２のビューのキーフレームで終わる前記仮想ビデオストリームと、
第２のソースカメラから、前記第２のビューにおけるキーフレームから始まる第２のビデオシーケンスとをこの順序で含む、請求項１に記載の方法。

【請求項17】

前記方法は、仮想再生ユニットと相互作用するビデオサーバによって実施され、前記ビデオサーバは、ビデオ入力ストリームを記録および記憶するよう構成されるとともに、入来するおよび記憶されたビデオ入力ストリームからなるビデオ出力ストリームを出力するよう制御可能であり、前記仮想再生ユニットは、同じ時点における前記場面の異なるビューに対応する１つ以上のキーフレームから、前記仮想ビデオストリームを生成するよう構成されており、前記方法は、
前記ビデオサーバが前記仮想再生ユニットに、ビデオ出力ストリームの１つまたは別個の通信リンクのどちらかによって、１つ以上のキーフレームを送信するステップと、
前記仮想再生ユニットが前記仮想ビデオストリームを生成するステップとを備える、請求項１または１６に記載の方法。

【請求項18】

前記仮想再生ユニットは、前記仮想再生ユニットに１つ以上のキーフレーム（すなわち、前記基準キーフレームおよび任意のさらなるキーフレーム）を送信するようビデオサーバを制御し、さらに
以下の、
前記仮想再生ユニットが、前記仮想ビデオストリームを算出した後、第１のビデオシーケンスおよび第２のビデオシーケンスを前記仮想再生ユニットに送信するように前記ビデオサーバを制御し、前記仮想再生ユニットは、前記第１のビデオシーケンス、前記仮想ビデオストリーム、および前記第２のビデオシーケンスを連結するか、または
前記仮想再生ユニットが、前記仮想ビデオストリームを算出した後、前記仮想ビデオストリームを前記ビデオサーバに送信し、前記第１のビデオシーケンス、前記仮想ビデオストリーム、および前記第２のビデオシーケンスを連結するよう前記ビデオサーバを制御するかの、２つのグループのステップのうちの一方のみを実行する、請求項１７に記載の方法。

【請求項19】

前記ビデオサーバは、前記仮想再生ユニットに１つ以上のキーフレームを送信し、
前記ビデオサーバは、好ましくは仮想ビデオストリームを算出するように前記仮想再生ユニットをトリガすることによって前記仮想ビデオストリームを算出するように前記仮想再生ユニットを制御し、さらに
以下の、
前記ビデオサーバが前記仮想再生ユニットに、第１のビデオシーケンスおよび第２のビデオシーケンスを送信し、前記ビデオサーバが、前記第１のビデオシーケンス、前記仮想ビデオストリーム、および前記第２のビデオシーケンスを連結するよう前記仮想再生ユニットを制御するか、または
前記仮想再生ユニットが、前記仮想ビデオストリームを算出した後、前記仮想ビデオストリームを前記ビデオサーバに送信し、前記第１のビデオシーケンス、前記仮想ビデオストリーム、および前記第２のビデオシーケンスを連結するよう前記ビデオサーバを制御するかの、２つのグループのステップのうちの一方のみを実行する、請求項１７または１８に記載の方法。

【請求項20】

即時再生用の画像処理のための仮想再生ユニットであって、１つ以上のプログラム可能コンピュータデータ処理ユニットを備え、１つ以上のキーフレームを入力し、請求項１に記載の方法におけるステップを実行し、さらに前記ステップの実行に従って生成された少なくとも１つの仮想ビデオストリームを出力するように、プログラミングされている、仮想再生ユニット。

【請求項21】

持続性コンピュータ読取可能媒体であって、
前記媒体上に記録されたコンピュータプログラムコードを含み、
前記プログラムコードがコンピュータにローディングされると、前記コンピュータは、請求項１に記載の方法を実現するための前記ステップを実行する、持続性コンピュータ読取可能媒体。

【発明の詳細な説明】

【技術分野】

【0001】

発明の詳細な説明
発明の分野
本発明はデジタルビデオ画像処理の分野に関する。本発明は対応する独立クレームのプリアンブルに記載されているような、即時再生用の画像処理方法および装置に関する。

【背景技術】

【0002】

発明の背景
テレビ放送装置に即時再生機能を提供するために、デジタルビデオサーバが開発された。このようなサーバは、たとえば、多くの同時に入来するビデオストリームを記録および記憶し、いずれかの入力ストリームからなる、ライブでまたは処理された、１つ以上のビデオ出力ストリームを出力することを可能にする。処理は、記録されたビデオシーケンスの再生、スロー再生、静止画、このようなシーケンスおよび画像の注釈付きまたは強調されたものを作成することなどを含み得る。このようなビデオサーバの重要な特徴は、このような再生の作成を瞬時に、すなわち興味のある状況が起こった後、たった数秒または数分以内に、サポートすることである。以降では「即時」の用語はこのように理解されるべきである。

【0003】

さらに、ＷＯ ２００７／１４０６３８ Ａ１で示されているように、オフライン解析や３Ｄスポーツシーンの仮想ビューを作成するためのシステムがある。しかし、このようなシステムは単一の仮想ビューの作成に適合されている。完全な仮想ビデオシーケンスを迅速にまたは即時に生成するのには適さない。

【先行技術文献】

【特許文献】

【0004】

【特許文献1】国際出願２００７／１４０６３８号パンフレット

【発明の概要】

【発明が解決しようとする課題】

【0005】

発明の説明
本発明の目的は、上記の不利点を克服するために、上記の種類の即時再生用の画像処理方法および装置をもたらすことである。

【課題を解決するための手段】

【0006】

これらの目的は、対応する独立クレームに従い、即時再生用の画像処理方法および装置によって達成される。

【0007】

したがって、コンピュータ実行画像処理方法は、テレビ放映された事象からビデオシーケンスを自動的に生成するために、即時再生用に向けられており、少なくとも１台のソースカメラはある場面のソース画像シーケンスを提供する。カメラの姿勢および光学設定はカメラのビューを規定し、１組のカメラパラメータによって記述される。本方法は、オンラインフェーズにおいて、以下のステップを備える：
・入力ユニットは、ソース画像シーケンスからの基準ビューから基準キーフレームを規定するユーザ入力を受取り、基準キーフレームは、後に生成される仮想再生が行なわれてほしいとユーザが思う時点からのビデオ画像であり、
・画像取得ユニットは、ソース画像シーケンスの記録から基準キーフレームを抽出し、場面のさらなるソース画像シーケンスの記録からのさらなるビューから１つ以上のさらなるキーフレームを選択的に抽出し、各さらなるキーフレームは後でキーフレーム点と呼ばれる、基準キーフレームと同じ時点で記録され、
・パラメータ算出ユニットは１組以上の仮想カメラパラメータを自動的に算出し、各組は仮想カメラによる場面の仮想ビューを記述し、
・２組以上の仮想カメラパラメータが算出された場合、選択ユニットは後の処理ステップ用に１組を選択し、選択された組によって規定され仮想ビューは、後に選択された仮想ビューと呼ばれ、１組の仮想カメラパラメータしか算出されていない場合、対応する仮想ビューを選択された仮想ビューとして使用し、
・生成ユニットは、経時的仮想カメラパラメータの変化によって記述され、仮想カメラの動きおよび仮想ビューの対応する変化を規定する、仮想カメラフライト経路を生成し、
■第１のビューから選択された仮想ビューに変わり、第１のビューは基準ビューまたは任意的にさらなるビューの１つであり、つぎに
■選択された仮想ビューから第２のビューに変わり、第２のビューは基準ビューまたは任意的にさらなるビューの１つであり、
・レンダリングユニットは仮想カメラフライト経路によって規定される仮想ビデオストリームをレンダリングし、
・出力ユニットは、コンピュータ読取可能記憶装置に仮想ビデオストリームを記憶すること、および通信リンクを通して仮想ビデオストリームを送信すること、の少なくとも一方を行なう。

【0008】

本発明は、総合システムを提供するために、既知の要素を新たに確立された方法と組み合わせ、総合システムでは、ある時点の一つの選択が与えられると、さらなるユーザの相互作用に依存することなく、仮想ビューを生成し、実際のリアルビューから仮想ビューへと、さらにオリジナルのビューまたは別のリアルビューに戻る、完全な仮想フライトを作成する。

【0009】

仮想ビューおよび仮想フライト経路と関連する画像ストリームの生成を、ユーザの相互作用なしで完全に自動化する機能は、さらなる好ましい実施例のベースとなる。ユーザの相互作用は、好ましくは代替の解析タイプ、ビュー、またはフライト経路の中から選択するために導入される。この種のユーザの相互作用（すなわち、所与の組のオプションからの選択）は非常に速く、即時再生の邪魔とはならない。たとえば、１つ以上の仮想ビューが自動的に生成されて、選択のためにユーザに提示される。ユーザは瞬時に異なるビューを見て選択することができる。仮想フライトは仮想ビューとともに、または特定の仮想ビューが選択された後で、そのビューのために生成され得る。

【0010】

本発明の好ましい実施例において、場面の動きは、仮想ビューに入りそして出るまでの仮想フライトの間はフリーズされる（停止時間）。しかし、本発明の別の好ましい実施例では、仮想ビューへの仮想ＩＮフライトは、キーフレーム点に至るまでの間、場面の動きを見せる（およびキーフレーム点の後の仮想ＯＵＴフライトも同様）。このような動きのある仮想フライトは、停止時の仮想フライトと同じ（キーフレームおよび任意にカメラを選択するための）決定処理を辿ることによって作成することができる。主な違いは、仮想フライトは小さい組の画像、極端には一つのキーフレームから生成されるのではなく、ＩＮおよびＯＵＴフライトの間の場面を表わす１つ以上のビデオシーケンスから生成されることである。

【0011】

姿勢、すなわち実際のカメラまたは仮想カメラの位置および配向（またはビュー方向）、ならびにビューアングルおよび／またはズーム係数などのようなカメラの任意のパラメータは、カメラパラメータの組によって記述される。これらのパラメータが与えられると、場面のビューが定義される。ビューは、カメラパラメータがカメラによって変化する、すなわち、パン、ズーム、ムーブなどにより、経時的に変わり得る。ビューは、ビデオ処理に照らして、ビデオストリームに、またはビデオストリームの一つの画像もしくはフレームに対応する。選び出すことができる重要なフレームはキーフレームと呼ばれる。

【0012】

したがって、本発明の好ましい実施例において、仮想カメラフライト経路は、第１のビューから選択された仮想ビューへ、次に第１のビューに戻る仮想ビューの変化を規定する。すなわち、第１および第２のビューは同じである。本発明の別の好ましい実施例において、第２のビューは第１のビューと異なる。

【0013】

本発明は迅速なユーザ相互作用を提供し、最小の転換時間で迅速なユーザ決定をサポートする。

【0014】

本発明の好ましい実施例において、１組以上の仮想カメラパラメータを自動的に算出するステップは以下のステップを含む：
・場面におけるオブジェクトの位置を自動的に算出し、
・場面で観察される状況の分類を、特にこの分類を指定するユーザ入力を抽出することにより、定め、
・場面のオブジェクトの位置および状況の分類に基づき、少なくとも１組の仮想カメラパラメータを自動的に算出する。

【0015】

分類は、観察される状況に対して行なわれるべき解析タイプに対応する。分類または解析タイプがあってもなくても、本発明の好ましい実施例において、システムは所与の場面について異なる視点またはビューを自動的に定める。たとえば（戦術解析用に）鳥瞰的ビュー、オフサイドビュー、（ショット解析用に）競技者ビュー、ゴールキーパービューなどを定めることができる。システムは対応する１つ以上のビューをレンダリングし、これらを潜在的に興味のある仮想ビュー（potentially interesting virtual view:ＰＩＶＶ）としてユーザに表示して、ユーザが１つを選択できるようにする。分類がなければ、システムは予め定められた標準ビュータイプの組からビューを生成してユーザが選択できるようにしてもよい。

【0016】

本発明の好ましい実施例において、後続の処理ステップ用に選択された仮想ビューを規定する仮想カメラパラメータの組のうちの１つを選択するステップは、以下のステップを含む：
・各仮想カメラパラメータの組に対して、場面の対応する仮想ビューおよび対応する仮想画像を自動的に生成し、これは後にこの時点における仮想キーフレームと呼ばれ、
・仮想キーフレームを画像表示装置に表示し、仮想キーフレームの１つを示すユーザの選択を入力し、関連する仮想ビューを後続の処理ステップ用の選択された仮想ビューとして用いる。

【0017】

これは、所与のオプションの組からユーザが迅速に選択できる上記のプロセスに対応する。

【0018】

本発明のさらに好ましい実施例において、本方法はオンラインフェーズに先行する準備フェーズで実行される以下のステップをさらに備える：
・特徴モデル、特に前景オブジェクトを背景に対して検出および分離するためのカラーモデルを作成し、これは前景オブジェクトの異なるクラスに対応するカラーモデルを含み、
・既知の特徴を有する場面を観察しているカメラから得られる複数の画像から、後のビデオ獲得の間変化しない固定カメラパラメータを定め、さらに
・後の画像処理において抽出しおよび使用するために、特徴モデルおよび固定カメラパラメータをコンピュータ読取可能記憶手段に記憶する。

【0019】

前景オブジェクトの異なるクラスは、ゲームにおける異なるチーム、さらにレフリー、ボール、ゴールポストなどに対応する。固定カメラパラメータを記憶することは、変化するカメラパラメータを予測するためのオンラインの作業を減らす。

【0020】

本発明の好ましい実施例において、本発明はオンラインフェーズの前に、準備フェーズで実行される以下のステップをさらに備える：
・潜在的カメラ構成空間を網羅するビューから複数の画像をサンプリングし、これらの画像における特徴の位置を定めて識別し、これらのビューに対応するカメラパラメータを定め、基準情報としてそれぞれの画像に対する特徴および特徴の位置を記憶し、基準情報のカメラパラメータについての関連を画像特徴に基づく迅速なカメラ較正のために後で抽出するためにコンピュータ読取可能記憶手段に記憶する。

【0021】

これにより、オンライン画像が与えられると、画像における特定された特徴の位置から、カメラパラメータまたはカメラ較正の最初の予測値を抽出することができる。

【0022】

本発明の好ましい実施例において、本方法は、準備フェーズにおいて、チームの競技方向および対応する時間情報についての情報を入力し、競技方向が有効である時間を特定することを含む。これにより、競技状況を正しく識別または解析することができる。たとえば、競技方向を知り、かつカメラが競技場のどの側から撮影しているのかを知ることにより、オフサイド状況にある競技者が攻撃側またはディフェンス側のチームであるのか分類することができ、オフサイドのラインはユーザの相互作用なしで適切に定めることができる。

【0023】

本発明のさらに好ましい実施例において、少なくとも２台のソースカメラから少なくとも２つのソース画像シーケンスが処理される。それにより、１つのソース画像シーケンスから抽出された前景オブジェクトは、１つ以上の残りのソース画像シーケンスの前景オブジェクトと自動的に識別され、さらに自動的に、ユーザの相互作用なしで、場面におけるこれら前景オブジェクトの位置を定めることができる。このステップは、ユーザの助けなしで、「マルチカメラオブジェクト検出」と呼ばれるものを達成し、個々のオブジェクト／競技者の適切な位置付けおよびそれに基づく状況の解析を迅速にする。

【0024】

本発明のさらに好ましい実施例において、仮想カメラフライト経路を生成するステップにおいて、第１のビューおよび第２のビューを自動的に定めるために以下のステップが実行される：
・１つのソース画像シーケンスしかない場合、第１および第２のビューを基準ビューと同じであるとして選択し；
・２つのソース画像シーケンスがある場合、少なくとも１つのビューを、他のソースカメラよりも観察場面により近くにあるソースカメラからのものであるとして選択する。

【0025】

これにより、情報があればより興味のあるフライト経路を与え、他方ではより少ない情報しかない場合でも、満足できるフライト経路を与えることができる。

【0026】

本発明の好ましい実施例において、ソースカメラのうちの一台は主要カメラであると指定され、主要カメラのビュー方向に従い、第１および第２のビューの少なくとも一方に用いられるソースカメラは自動的に選択され、これは好ましくは主要カメラが向いている方向に、主要カメラの側に位置付けられるカメラとして前記ソースカメラを選択することによりなされる。このステップにより、ユーザが手動で第２のカメラを選択する必要がなくなる。

【0027】

たとえば、主要カメラが右側を見ている場合、対象の場面は（主要カメラから見て）競技場の右側にあることが示され、主要カメラの右側にあるソースカメラが、仮想カメラフライト経路からのまたは仮想カメラフライト経路に進む、２つのカメラの１つであるとして選択される。これら２つのカメラの他方は、主要カメラである、または他にあるのなら別のカメラであり得る。

【0028】

本発明の好ましい実施例において、仮想カメラフライト経路を生成するために、以下のステップが実行される：
・第１のビュー、仮想ビューおよび第２のビューの異なる組み合わせに対して１組の仮想カメラフライト経路を生成し、
・各仮想カメラフライト経路の組について図形表示を画像表示装置に表示し、仮想カメラフライト経路の１つを示すユーザの選択を入力し、さらに
・選択された仮想カメラフライト経路を用いて、仮想ビデオストリームをレンダリングする。

【0029】

この実施例により、システムを用いる場合により柔軟となりながら、ある組のオプションから１つだけを選択するよう、ユーザの相互作用を減らす。図形的表示は、各フライト経路について、仮想フライト経路に沿った１組の画像、またはフライト経路にかかわるカメラの記号的表示であり、たとえばカメラＡからカメラＢへのフライト経路についてはＡ−Ｂ、Ａ−Ａ、およびＢ−Ａなどとなる。オプションは視覚的に表示されるので、選択は直感的に、かつ非常に迅速に行なうことができる。所望の選択を指示装置によって選択することにより、またはその選択に伴う専用の入力キーを叩くことにより、システムに入力することができる。

【0030】

完全な仮想カメラフライト経路を生成し、仮想ビデオストリームをレンダリングするステップは、時間および利用可能な算出力に依存して、ユーザの選択が入力される前に行なうことができ、それによりユーザは結果についての事前映像を見ることができる。または、ユーザに選択を提示している間に、行なうことができる。この場合、システムはユーザの入力を待ちながら、事前に一部またはすべてのビデオストリームを算出し、後では必要ないビデオストリームを捨てる。代替的に、選択されたビデオストリームは、選択がなされた後のみ算出してもよい。

【0031】

本発明の好ましい実施例において、仮想再生ユニットは、カメラ、仮想ビュー、およびフライト経路変形を選択するための柔軟性のない決定ツリーを提供しない。むしろ、異なる選択を表わすフライト経路またはキービューの多数の変形はできるだけ長く維持され、オペレータまたは指示者などにさらなる選択の自由度を可能にする。

【0032】

本発明の好ましい実施例において、仮想カメラフライト経路を生成するステップは以下のステップを含む：
・選択された仮想ビュー、第１のビューおよび第２のビューが与えられると、これらのビューを記述するカメラパラメータの組を抽出し、
・仮想カメラパラメータの組を補間し、これは第１のビューに対応するカメラパラメータの組からの値から始まり、選択された仮想ビューに対応するカメラパラメータの組の値に変化させ、さらに第２のビューに対応するカメラパラメータの組の値に変化させ、
・仮想カメラフライト経路に沿ったビューのすべてについて、またはサブセットについて、ビューのそれぞれの画像が、利用可能なキーフレームから画像情報がない領域を含むか否かをチェックし、
・これら１つ以上のビューにおいて欠落している画像情報の量（たとえば、領域）が所定の限界を超えた場合、自動的にまたはユーザの相互作用により、欠落している画像情報の量が、欠落している情報を有するビューよりも小さいかまたはゼロである１つ以上の中間キービューを定め、これらキービューを通過するように、仮想カメラフライト経路を算出する。

【0033】

これにより、仮想ビューにおける「ブラックホール」をなくす、すなわちソース画像から利用できる情報がない画像領域をなくす。

【0034】

たとえば、１つ以上の中間キービューは、以下により、既存の仮想カメラフライト経路から生成することができる：
・仮想カメラを上昇させる、すなわち、画面のより大きな鳥瞰的ビューを提供する、
・仮想カメラを場面により近く動かす、
・ズームインする、すなわち、仮想カメラの視角を減少させる、
・上記のうちの２つ以上の組み合わせ。

【0035】

一般に、上記のアプローチは、画像ビューからの画像がキーフレームから完全に生成できない可能性を減らす傾向にある。

【0036】

本発明の好ましい実施例において、仮想再生ユニットはキーフレームの時点より別の時点で別の方向に向いているソースカメラで撮られた画像に基づき、場面の少なくとも背景のモデルを維持および更新させる。仮想再生ユニットはこの時間がずれた情報を用いて、背景に関する欠落している画像情報を埋める。

【0037】

本発明の好ましい実施例において、仮想カメラフライト経路を生成するステップは、仮想カメラパラメータの組を補間する場合、仮想フライト経路のビューのシーケンスにおいて、場面における静止または動いている対象点について平滑な動きを維持する。興味の点は、ビュワが見ると予期される点、たとえばボールの位置または画像内で見える競技者の活動の中心である（たとえば、競技場での視認可能な競技者のそれぞれの位置の中心によって定められる）。

【0038】

ビューおよびフライト経路の生成は、以下を考慮した最適化問題として見ることできる：
−興味の点の平滑な動き、
−画像のほぼ中央にある興味の対象点、
−２台以上のカメラによって可視可能な興味の点、および
−オプションであって、対応するソース画像情報がない画像領域を最小化する。

【0039】

本発明の好ましい実施例において、本方法は、選択された仮想ビューまたは満足のいく仮想カメラフライト経路が仮想再生ユニットによって定められていない、またはユーザによって選択されない場合、基準キーフレームからまたは１つのさらなるキーフレームから強調した静止画を生成し、後で仮想ビデオストリームの代わりに強調した静止画を用いる。これにより、即時再生用のビデオシーケンスを提供する最初のタスクに対する許容可能な代替策となる。この強調は、たとえば画像に挿入されるオフサイドラインであり得る。

【0040】

このような静止画像および仮想フライトからの仮想ビデオシーケンスならびに仮想ビデオシーケンスと連結されたビデオシーケンスは、主要競技者のマーキング、距離または移動方向を示す矢印などのような画像強調要素をさらに含むことができる。好ましくは、このような要素は、連結されたシーケンスが実際のシーケンスから仮想のシーケンスに変わる、および仮想のシーケンスから実際のシーケンスに変わる際に、シームレスに表示される。

【0041】

本発明のさらに好ましい実施例において、本方法は連結されたビデオシーケンスを生成するステップを備え、ビデオシーケンスは、
・第１のソースカメラから、第１のビューのキーフレームに至り、そこで終了する第１のビデオシーケンスと、
・第１のビューのキーフレームで始まり、第２のビューのキーフレームで終わる仮想ビデオストリームと、
・第２のソースカメラから、第２のビューのキーフレームで始まるの第２のビデオシーケンスとを、この順序で含む。

【0042】

このような態様で、仮想ビデオシーケンスは実際のビデオシーケンスと結合されて、仮想（静止または動きのある）フライトを実際のシーケンスにリンクする、シームレスな複合または連結シーケンスを形成する。

【0043】

本発明のさらに好ましい実施例において、本方法は仮想再生ユニットと相互作用するビデオサーバによって実施される。ビデオサーバは、ビデオ入力ストリームを記録および記憶するよう構成されており、入来のおよび記憶されたビデオ入力ストリームからなるビデオ出力ストリームを出力するよう制御可能である。仮想再生ユニットは、同じ時点における場面の異なるビューに対応する１つ以上のキーフレームから、仮想ビデオストリームを生成するよう構成されている。本方法は以下のステップを備える：
・ビデオサーバは、１つのビデオ出力ストリームによって、または別の通信リンクによって、１つ以上のキーフレームを仮想再生ユニットに送信し、さらに
・仮想再生ユニットは仮想ビデオストリームを生成する。

【0044】

こうして、ビデオサーバおよび仮想再生ユニットは別個の搬送可能および操作可能な装置であり、これらは異なる場所で単独で用いることができ、必要なら組合せて用いることができる。

【0045】

本発明のさらに好ましい実施例において、仮想再生ユニットはビデオサーバを制御して、１つ以上のキーフレーム（すなわち、基準キーフレームおよび任意のさらなるキーフレーム）を仮想再生ユニットに送り、以下の２つのグループのステップのうちの一方が実行される：
・仮想再生ユニットは、仮想ビデオストリームを算出した後、第１のビデオシーケンスおよび第２のビデオシーケンスを仮想再生ユニットに送信するようにビデオサーバを制御し、仮想再生ユニットは、第１のビデオシーケンス、仮想ビデオストリームおよび第２のビデオシーケンスを連結する；または
・仮想再生ユニットは、仮想ビデオストリームを算出した後、仮想ビデオストリームをビデオサーバに送信し、第１のビデオシーケンス、仮想ビデオストリーム、および第２のビデオシーケンスを連結するようにビデオサーバを制御する。

【0046】

本発明のさらに好ましい実施例において、ビデオサーバは仮想再生ユニットに１つ以上のキーフレームを送り、ビデオサーバは仮想ビデオストリームを算出するように仮想再生ユニットを制御し、好ましくは仮想ビデオストリームを算出するように仮想再生ユニットをトリガし、さらに以下の２つのグループのステップのうちの１つが実行される：
・ビデオサーバは、仮想再生ユニットに、第１のビデオシーケンスおよび第２のビデオシーケンスを送り、ビデオサーバは、第１のビデオシーケンス、仮想ビデオストリーム、および第２のビデオシーケンスを連結するよう仮想再生ユニットを制御し；または
・仮想再生ユニットは、仮想ビデオストリームを算出した後、仮想ビデオストリームをビデオサーバに送り、ビデオシーケンス、仮想ビデオストリーム、および第２のビデオシーケンスを連結するようビデオサーバを制御する。

【0047】

上記で用いられた「制御」の表現は、ある動作または算出の始動に対応する、または制御エンティティによる制御命令の発行に対応し、命令の実行は制御されるエンティティで行なわれる。

【0048】

本発明による即時再生用の画像処理のためのコンピュータプログラムプロダクトは、デジタルコンピュータの内部メモリにロード可能であり、コンピュータプログラムコード手段を備え、前記コンピュータプログラムコード手段がコンピュータにロードされた場合、コンピュータに本発明の方法を実行させる。本発明の好ましい実施例において、コンピュータプログラムプロダクトは一時的ではないコンピュータ読取可能媒体を含み、コンピュータプログラムコード手段がそこに記録されている。

【0049】

仮想再生ユニットは１つ以上のプログラム可能コンピュータデータ処理ユニットを含み、１つ以上のキーフレームを入力するよう、本発明による方法のステップを行なうよう、さらに前記方法に従って生成された少なくとも１つの仮想ビデオストリームを出力するよう、プログラミングされている。

【0050】

さらなる好ましい実施例は、従属の請求項から明らかである。方法クレームの特徴は、装置クレームの特徴と組合せることができ、その逆も可能である。

【0051】

図面の簡単な説明
本発明の主題は、添付の図面に示される好ましい例示的実施例を参照して、以下でより詳細に説明される。

【図面の簡単な説明】

【0052】

【図1】ある場面を観察しているビデオ生成および処理ユニットの構成を示す概略図である。

【図2】異なるビデオストリームからのビデオシーケンスの組み合わせを示す図である。

【図3】仮想再生ユニットおよびビデオサーバの相互作用のための異なる構成を概略的に示す図である。

【図4】仮想再生ユニットおよびビデオサーバの相互作用のための異なる構成を概略的に示す図である。

【図5】仮想再生ユニットおよびビデオサーバの相互作用のための異なる構成を概略的に示す図である。

【図6】仮想再生ユニットおよびビデオサーバの相互作用のための異なる構成を概略的に示す図である。

【図7】本発明に従う方法のフロー図である。

【図8】本方法を実施するシステムの構造を示す図である。

【発明を実施するための形態】

【0053】

図面で用いられる参照記号およびその意味は、参照符号のリストにおいてまとめて示される。原則として同じ部分は図面において同じ参照記号が用いられる。

【0054】

好ましい実施例の詳細な説明
図１はある場面を観察しているビデオ生成および処理ユニットの構成を概略的に示す。

【0055】

１台以上のソースカメラ９、９′が配置されて、競技場での競技者のグループなどのようなある場面８を観察する。競技場および他の静止要素は背景であると考えられ、競技者は動く実世界オブジェクト１４であると考えられる。各ソースカメラ９、９′はソースビデオストリームを生成し、より一般的にはソース画像シーケンス１０、１０′を生成し、これはビデオ入力ストリーム２１としてビデオサーバ１５に入力され、典型的にはデジタル形式で、ハードディスクまたは均等の不揮発性記憶装置において、記憶ユニット１６に記憶される。

【0056】

インターフェイスユニット１９は仮想再生ユニット１３およびビデオサーバ１５を制御するものとして示される。インターフェイスユニット１９は、ビデオサーバ１５の動作を主に携わる制御コンソールであってもよく、特定の専用の制御命令は直接仮想再生ユニット１３に、またはビデオサーバ１５によって仮想再生ユニット１３に送られる。別の好ましい実施例において、２つの物理的に別個のインターフェイスユニット１９が仮想再生ユニット１３およびビデオサーバ１５用に設けられる。仮想再生ユニット１３が自分のインターフェイスユニット１９を有する場合、仮想再生ユニット１３はビデオサーバ１５を制御するための専用の命令を発行するように構成されることができ、命令は仮想再生ユニット１３によって自動的に、および／またはインターフェイスユニット１９においてユーザ入力に基づいて、生成される。

【0057】

ビデオサーバ１５は一般にビデオ出力ストリーム２２を生成するような機能が備わっており、仮想再生ユニットは一般に自分のビデオストリーム出力２４を生成する機能が備わっている。これらのビデオストリームは、ビデオ表示装置１８に表示され、および／または送信機１７を介して送信される。

【0058】

仮想再生ユニット１３は概念的に１つ以上の仮想カメラ１１を場面８に加え、ソース画像シーケンス１０、１０′に基づき、物理的なソースカメラ９、９′がない場所から見られるような場面８の仮想画像および仮想ビデオストリームを作成する。

【0059】

仮想再生ユニット１３の視点から、カメラは場面８を観察している１つ以上の物理ソースカメラ９、９′の１つ、または仮想カメラ１１であり得る。仮想画像およびビデオストリームは、場面８の仮想ビューに対応する。仮想ビューは仮想カメラパラメータによって記述される。仮想カメラフライト経路２０は、仮想ビューの配列であり、（模擬）時間経過に従う仮想カメラパラメータの変化（またはコースまたは軌跡）によって記述することができ、仮想カメラ１１の移動を規定する。

【0060】

経時的に変わる物理的カメラのカメラパラメータを定める処理は、カメラ較正と呼ばれる。原理的に、これは専用のハードウェアによってパラメータを測定することによって行なうことができる。実際には、較正は好ましくはカメラのビデオストリームだけに基づいて行なわれ、たとえば以下の組み合わせを用いることによって行なわれる：
・特徴的場面部分、たとえば競技場のマーキング（ラインの位置、コーナー、円など）の検出に基づき、前処理段階で生成される事前位置情報、
・同様に特徴的場面部分に基づく、および／またはビデオストリームのフレーム間の違いに基づく、オンライン配向情報。

【0061】

図２は異なるビデオストリームからのビデオシーケンスの連結を概略的に示す。個々にａ、ｂ、ｃおよびｄと示される、記憶されたソース画像シーケンス１０、１０′が与えられると、オペレータはソース画像シーケンス１０、１０′のうちの１つからフレームを選択し、それにより対応するある時点またはキーフレーム点ｔｋを選択する。選択されたフレームは、基準キーフレームと呼ばれる。同じときに撮られた他のソース画像シーケンス１０、１０′からのフレームは、さらなるキーフレームと呼ばれる。ビデオストリームは、ａ、ｂ、ｃおよびｄと示される。個々のフレームは、ａ＿ｔ、ｂ＿ｔなどと示され、ｔはフレームが記録された時間である。キーフレームについて、時間（またはキーフレーム時点）はｔｋによって示される。ビデオシーケンス、すなわちビデオストリームの短い（数秒または数分の）連続するサブセクションは、ａＳ１、ｃＳ２、Ｖ（図２の左半分）として示される。仮想再生ユニット１３は、仮想カメラ１１から見た仮想ビデオストリーム（Ｖ）を生成し、これをキーフレーム点に至る導入ビデオシーケンスａＳ１と、キーフレーム点の後短い時間続く後のビデオシーケンスｃＳ２と結合する（図２の右半分）。好ましくは、仮想ビデオストリームＶは、仮想カメラフライト経路２０に沿って、一方のソースカメラ９から別のソースカメラ９′への姿勢からの仮想カメラ１１の動きに対応する。

【0062】

仮想カメラ１１の動きは、実世界のオブジェクト１４の動きが停止して行なわれる。すなわち、仮想カメラフライト経路２０に沿って生成される仮想ビューはすべて、同じ時点（キーフレーム点）での場面８を示す。さらに、仮想カメラ１１の動きは好ましくは、仮想カメラフライト経路２０に沿って１つ以上の停止点で停止し、それにより、そのキーフレーム時点でのこれらの停止点から見た場面８の静止画像がもたらされる。仮想カメラフライト経路に沿って、および／または停止の際に、仮想ビューをレンダリングする場合、仮想ビューは強調することができる。たとえば、マーカ、特徴的線（たとえば、オフサイドライン、ファーストダウンラインなど）、コメンテータによって生成された注釈などを自動的にまたは手動で挿入することができる。

【0063】

図３−図６は、相互作用する仮想再生ユニットおよびビデオサーバの異なる構成を示す。すべての構成において、ビデオサーバ１５はビデオ入力ストリーム２１を受取り、ビデオ出力ストリーム２２を生成する。仮想再生ユニット１３は少なくともキーフレームａ＿ｔｋ、ｃ＿ｔｋを受取り、一部の構成ではすべてのビデオシーケンスａＳ１、ｃＳ２を受取る。これは、１つのビデオ出力ストリーム２２に接続されるビデオ（ストリーム）入力２３、またはたとえばイーサネット（登録商標）に基づき得る通信リンク２５を通して行なわれる。

【0064】

図３および図４の構成において、仮想再生ユニット１３は第１の制御リンク２６を介してビデオサーバ１５を制御するよう構成されている。仮想再生ユニット１３は、（図１に関連して記載されるインターフェイスユニット１９と同一または一部であり得る）再生ユニット制御インターフェイス２８を含み、これは選択されたキーフレーム点についての即時再生シーケンスの生成を少なくとも始動させる働きがある。第１の制御リンク２６を介して送信される制御命令により、ビデオサーバ１５は選択されたビデオ入力ストリーム２１から１つ以上のキーフレームａ＿ｔｋ、ｃ＿ｔｋ、…を送信する。本発明の図３の好ましい実施例に従い、仮想ビデオストリームＶが仮想再生ユニット１３によって生成された後、仮想再生ユニット１３は第１の制御リング２６を介してさらなる命令を出し、それによりビデオサーバ１５は導入ビデオシーケンスａＳ１および後続のビデオシーケンスｃＳ２を仮想再生ユニット１３に送り、そこで上記のように仮想ビデオストリームＶと連結され、ビデオストリーム出力２４において結合されたシーケンスを提供する。本発明の図４の好ましい実施例において、仮想再生ユニット１３はビデオストリーム出力２４を介して仮想ビデオストリームＶをビデオサーバ１５に送り、第１の制御リンク２６によってビデオサーバ１５を制御して、ビデオサーバ１５に記憶されている導入ビデオシーケンスａＳ１および後のビデオシーケンスｃＳ２との連結を行なう。

【0065】

図５および図６の構成において、ビデオサーバ１５は第２の制御リンク２７を介して仮想再生ユニット１３を制御するよう構成されている。ビデオサーバ１５は、（図１に関連して記載されるインターフェイスユニット１９と同じまたはその一部であり得る）サーバ制御インターフェイス２９を含み、これは選択されたキーフレーム点についての即時再生シーケンスの生成を少なくとも始動させる働きがある。第２の制御リンク２７を通して送信される制御命令により、仮想再生ユニット１３はビデオサーバ１５から受取られた１つ以上のキーフレームａ＿ｔｋ、ｃ＿ｔｋ、…を処理する。本発明の図５の好ましい実施例に従い、仮想ビデオストリームＶが仮想再生ユニット１３によって生成された後、ビデオサーバ１５は第２の制御リンク２７を介してさらなる命令を発行し、それにより仮想再生ユニット１３はビデオサーバ１５によって送られた導入ビデオシーケンスａＳ１および後続のビデオシーケンスｃＳ２を受取り、上記のように仮想ビデオストリームＶと連結させ、結合されたシーケンスをビデオストリーム出力２４で提供する。本発明の図６の好ましい実施例において、自動的にまたは第２の制御リンク２７によって始動されて、仮想再生ユニット１３はビデオストリーム出力２４を通して仮想ビデオストリームＶをビデオサーバ１５に送る。ビデオサーバ１５はビデオサーバ１５に記憶されている導入ビデオシーケンスａＳ１および後続のビデオシーケンスｃＳ２との連結を行なう。

【0066】

図７は本発明に従う方法のフロー図であり、以下のステップを含む：ユーザ入力を入力し（７１）、基準キーフレームを抽出し（７２）、１組以上の仮想カメラパラメータを自動的に算出し（７３）、２組以上の仮想カメラパラメータが算出された場合には実行を分岐し（７４）、１組を選択し（７５）、仮想カメラフライト経路を生成し（７６）、仮想ビデオストリームをレンダリングし（７７）、仮想ビデオストリームを格納または送信する（７８）。

【0067】

図８は本発明の方法を実施する仮想再生ユニット１３の構造および主要データフローを示し、入力ユニット８１、画像取得ユニット８２、パラメータ算出ユニット８３、任意のユーザ選択入力８４ａを用いる選択ユニット８４、生成ユニット８５、レンダリングユニット８６、および出力ユニット８７を有する。

【0068】

最小ワークフロー記述（仮想解析用）
準備ステップ（オフライン）
・オペレータは、１つ以上の仮想ビューを生成するために、ある場面についての後の迅速な処理を可能にする、必要な情報を生成するために以下のステップを行なう：
○区分けのための特徴モデル作成。すなわち背景（典型的には競技場）に対して前景オブジェクト（典型的には競技者）の検出および分離。以下において、主にカラーモデルについて述べるが、形状モデルやエッジモデルのような他の特徴モデルをカラーモデルの代わりに、または組合せて、区分けのために用いることができる。

【0069】

■これは異なるチームの競技者を区別するために、異なるチームについての異なるカラーモデルを含み、それぞれのチームを各オブジェクトに割当てる。カラーモデルは、特定のクラスのオブジェクトについてのピクセルカラー分布用の確率モデルである。たとえば、カラーモデルはガウス混合モデルであり得る。

【0070】

■さらに、ゴールなどのような物理的オブジェクトのカラーモデルをも含む。
○（オンライン）処理の際の後の迅速較正検出のために、潜在的に利用可能なビューの組についてのカメラ較正：
■出力：各物理カメラに対して１つのカメラモデル。カメラモデルは、ある場面に対するカメラの位置および配向を記述するパラメータ、およびカメラの光学パラメータを含む。このようなパラメータの典型的な組は以下を含む：ＣＯＰ（すなわち、投影中心の位置）：パン、ロールおよびティルト角度；ズーム（または焦点距離）；異なる内部パラメータ（たとえば画像歪みを特徴付ける１つ以上のパラメータ）。同じ情報を表わす他の組のパラメータも代替的に用いることができる。本明細書において、「カメラ較正」および「カメラパラメータ」の用語は入れ換え可能に用いられる。「較正」または「較正検出」としての動詞は、カメラパラメータを定める作業を意味する。

【0071】

■カメラモデルは固定カメラパラメータ、すなわち後のビデオ取込みおよび処理で変わらないパラメータを含む。これら固定パラメータの決定は、好ましくは場面の複数のビューに基づいて行なわれ、競技場のマーキングなどのような場面の既知の特徴が検出される。画像のこれらの特徴の位置が与えられると、カメラパラメータが算出される。これらのパラメータのうち、固定パラメータは典型的には、ＣＯＰ、内部パラメータ（歪み）、およびさらにロール角を含む。これら固定パラメータの値が与えられると、処理の際に後で行なわれるパラメータ予測は、より効率的にかつより安定して、行なうことができる。

【0072】

■コンピュータ読取可能カメラデータベースが作成され、これはカメラモデルと、特にある場面の処理の際に後で抽出される固定カメラパラメータを含む。

【0073】

■処理の際のカメラ較正を加速するために、好ましくは複数のビューを表わす複数の画像が分析され、各画像に対して画像におけるフィールドマーキングのような特徴についての場所および特定（「カメラがこの画像で何を見ているのか」）、ならびに関連するカメラパラメータ（「この画像においてカメラはどこを見ているのか」）を与える。好ましくはさらなるカメラ（較正）データベースが作成され、これは特徴の位置および識別、さらにそれに関連付けられるカメラパラメータを含む。この情報が与えられると、後続の処理では、所与の画像における特徴を検出した後、カメラパラメータの初期予測値を抽出することができる。すなわち、較正データベースは、細かくサンプリングされた潜在的カメラ構成空間にある既知の部分の特徴、特に画像内におけるその場所を表わし、これはカメラパラメータに関連付けられる。

【0074】

○サッカーの各ハーフタイムにおいて：
■どのチームがどの方向に競技しているのかを手動で示し、または
■初期の情報に基づき、かつゲーム開始から経過した時間に従い、競技方向を算出する。

【0075】

場面の処理（オンライン）
・入力：少なくとも１つのアングルまたはビューからあるスポーツ場面のビデオシーケンス。

【0076】

・分析のために、特定のフレームまたは特定のシーケンスを示す、オペレータからの入力（基準キーフレーム、または単にＫＥＹＦＲＡＭＥ）。

【0077】

・出力：新しいビデオシーケンスは、所定の時間（プレシーケンス長さ）の間ＫＥＹＦＲＡＭＥ前の場面を示し、停止させて所与のビューのうちの一つから、すなわち所与の角度から、（実際のカメラと異なる）完全に仮想視点で仮想カメラのフライトを表示し、好ましくはタイム−フリーズシーケンスであり、つぎに仮想カメラのフライトは最初の所与のビューに戻るまたは別のカメラのビューに進み、つぎに対応する実カメラで再生を続ける。

【0078】

自動処理ステップ
以下で、オンライン処理がより詳細に説明される：
オプション：キーフレーム選択
・１つ以上のビデオストリームから、オペレータは異なる視点からの同じ瞬間を示す１つ以上のフレームを選択する（＝ＫＥＹＦＲＡＭＥ）。

【0079】

○予め同期化された複数のストリーム（すなわち、対応する時間情報を有するビデオストリームであって、自動的にまたはストリーム間の既知の時間オフセットから生成）があれば、オペレータは１つのストリームにおいてフレームを１つだけ選択し、さらに任意的に異なるストリームを選択するだけである。これは、タイムコードが既知であるので、これらのストリームにおける正確なフレームを示す必要がないからである。

【0080】

・出力：ＫＥＹＦＲＡＭＥ
○オプション：以下のビデオインフラストラクチャ付加情報に依存：
■ＫＥＹＦＲＡＭＥごとのカメラソース識別。このソース識別は、マルチサーバ環境において特定のビデオストリームを一意的に識別するために、ネットワークまたはサーバ情報を含むことができる。

【0081】

■ＫＥＹＦＲＡＭＥごとのタイムコード情報。
本発明の好ましい実施例において、仮想再生ユニット１３はビデオサーバ１５と動作可能に接続されている。キーフレーム定義は以下の態様で行なうことができる：
・一般的セットアップまたは構造：
○ビデオサーバ１５インフラストラクチャが１つ以上の分離されたカメラストリームを並行に記録することができるのなら、仮想再生ユニット１３は一つの点からこれらをアクセスすることができる：
■これは、たとえば１つの出力ストリーム（概念的に「プレーヤ」と呼ぶ）またはビデオ出力ストリーム２２を提供するビデオサーバ１５の（通信リンク２５を通した）ネットワーク接続により行なわれる。仮想再生ユニット１３はコントローラメカニズムまたは再生ユニット制御インターフェイス２８（たとえば、コントローラケーブルおよびコントローラ通信プロトコル）を用いて１つ以上の出力ストリーム／プレーヤを制御して、仮想再生ユニット１３によって定義されるビデオ信号を与える。コントローラメカニズム２８はユーザの制御により、以下を行なうようビデオサーバ１５を制御する：
・再生、早送り、早巻戻し、特定のタイムコードフレームへのジャンプにより、現在のビデオ出力を変える。

【0082】

・入力ソースを異なる入来分離カメラストリームまたはクリップに変えることにより、現在のビデオを変える。

【0083】

○ネットワーク化環境において、ストリームは遠隔装置からも来ることができる。

【0084】

・クリップを作成する。
■コントローラメカニズムは、ビデオサーバ１５が自分のコントローラによって、および（並行に）仮想再生ユニット１３によって操作されるよう設定できる。

【0085】

・ＫＥＹＦＲＡＭＥを定義するため、「プッシュ」または「プル」方法を実施することができる：
○プッシュ：ビデオサーバ１５インフラストラクチャは、情報を仮想再生ユニット１３にプッシュする手段を有することができる。たとえば、ビデオサーバ１５制御ユニット２９でのボタンを押すことにより、現在のフレームは、待ちモードにある仮想再生ユニット１３にプッシュされる。

【0086】

■変形ａ：システムは次の処理ステップのために、他のソース画像シーケンス１０、１０′から残りのキーフレームの１つ以上の映像を受取る。

【0087】

■変形ｂ：仮想再生ユニット１３はカメラおよびタイムコード情報を受取り、ビデオサーバを制御して定義されたキーフレーム点でのビデオフレームを与える。

【0088】

■変形ｃ：各該当するビデオストリームはタイミング情報を含み、潜在的に対象となるカメラソースの選択された組（複数のビデオソースから）は既に規定されている、同期化前のセットアップ時なので、仮想再生ユニット１３はタイムコード情報しか受取らない。ビデオサーバ１５から潜在的に対象であるキーフレームを抽出するのに、この情報で十分である。

【0089】

○プル：
■ユーザは（ビデオサーバ１５および／または仮想再生ユニット１３の）コントローラユニット２８、２９を用いて、処理するべき基準キーフレームを与え、（たとえば、仮想再生ユニット１３に取り付けられるキーボード上のボタンを押下することにより）処理を開始させる。

【0090】

■このようなコントローラユニット２８、２９は、たとえばＥＶＳコントローラ、マウス＆キーボード、ＵＳＢシャトル、または他の標準ビデオコントローラであり得る。

【0091】

■ビデオサーバ１５インフラストラクチャが複数の分離されたカメラストリームを並行に提供しているのなら、仮想再生ユニット１３は他の（予め規定された）カメラストリームをアクセスし、後で処理するために複数のキーフレームから集めることができる。

【0092】

キーフレーム映像の取込み
・入力：ビデオストリームおよびＫＥＹＦＲＡＭＥ
○オプション：カメラソースおよび／またはキーフレームごとのタイムコード情報
・処理：システムは、さらなるキーフレームとして、ＫＥＹＦＲＡＭＥのビデオシーケンスの映像を抽出する。

【0093】

・オプション：ビデオサーバ１５からの１つ以上の（格納されている）ソース画像シーケンス１０、１０′から、キーフレームの前後からビデオ情報を、プレイアウトステップのために仮想再生ユニット１３に取込む。

【0094】

・出力：１つ以上のキーフレーム映像、ならびにもしあればタイムコードおよびキーフレーム情報、すなわちソースカメラまたはキーフレーム用のビデオストリーム識別。

【0095】

較正検出
・入力：キーフレーム映像、準備ステップからのカメラモデル。

【0096】

・任意出力：
○所与のキーフレーム映像がどの物理カメラからなのかの知識。遠隔作成環境では、ビデオソースはカメラに対して１：１の関係を示す。すなわち、各ビデオソースは１つの指定された物理カメラから来る、または一つの指定された物理カメラに接続される。したがって、ビデオソース識別が既知であるのなら、物理カメラも自動的に既知となる。ただしユーザがこの関係を前処理段階で規定していなければならない。

【0097】

○または、物理カメラをビューに割当てるユーザの入力。
○または、カメラ特定データベースへの最適マッチを見つける。

【0098】

・処理：映像および格納されたカメラモデル情報から、システムは各所与の入力映像に対するカメラ較正情報（較正行列）を検出する（手動による微調整も可能）。これは映像を解析し、「特徴」とも呼ばれるランドマーク（たとえばライン、交差線、円、特徴的パターン…のような競技場マーキング）を探すことにより行なわれる。特徴部分の位置、配向、大きさおよび／または他の特性に基づき、システムは較正データベースをサーチし、似通っている組の特徴を探す。最も似ているビューを見つけると、システムは対応するカメラパラメータを用意したカメラ較正データベースから抽出する。これらのパラメータはさらなる処理においてそのまま用いることができる、または自動特徴位置微調整によって改めることができる。データベースに含まれないカメラパラメータは予測され、データベース情報がないことに比べてより正確にかつ効率よく算出される。

【0099】

・出力：各キーフレーム映像用のカメラ較正情報、すなわち、キーフレーム映像を有するビューのカメラパラメータ。

【0100】

オプション：自動カメラビュー選択
・入力：キーフレーム映像
・任意入力：較正情報
・複数のビューがあるのなら、システムは好ましくは２つで働く。システムはユーザの好みに基づき利用可能なビューのうちの２つ（たとえば、先立って「メインカメラ」、「左１８ヤード」、「右１８ヤード」）を選択し、任意に、較正またはカメラパラメータからのビューにより選択する（たとえば、右側に向いている場合、「メイン」および「右１８ヤード」）。

【0101】

・他の種類の優先は、目の前のゲーム状況に基づく。たとえば、フリーキックの場合、ゴールが他の２つのカメラで完全に見えなければ、ゴール後ろのカメラが選択される。別の状況では、対象の場面に最も近いカメラが選択される。

【0102】

・出力：２つ以上の好ましいカメラビュー
○２つしかない場合、これらを自動的に、仮想フライト補間用の開始および終了ビューとして選択することができる。

【0103】

オブジェクト検出
・入力：キーフレーム映像、特徴（たとえば色）モデル情報、較正情報。

【0104】

・処理：マルチビューオブジェクト（競技者、ボール、ゴールなど）検出。システムはカラーモデル情報、ヒストグラム統計値、較正情報、および既知のゲーム／人員制約（たとえば、１チームの最大競技者数、最大ボディサイズ）を用いて、各映像のオブジェクト境界ボックス（ＯＢＢ）を定め、そのＯＢＢをオブジェクトタイプ（たとえば、競技者、チーム、レフリー、ゴールなど）に割当てる。

【0105】

・異なるキーフレーム映像において同じオブジェクトを示すＯＢＢは一緒にリンクされる、すなわち互いに同一視される。本発明のある好ましい実施例に従い、これはオブジェクトが（平らな）背景面上にあると見なし、かつ画像におけるＯＢＢ（または区分けされたオブジェクト）の位置から行なうことができ、オブジェクトを背景面に投影し、背景面上のオブジェクトの位置を定めることによって行なう。異なるソースカメラ９、９′で見られる２つのオブジェクトであって、背景面上で同じ位置にあると定められた２つのオブジェクトは、同じ実世界オブジェクト１４であると見なされる。

【0106】

・オペレータによる任意の入力（繰返される）
○１つのビューにおいて相互作用でオブジェクトまたはチーム割当てを変える。→他のビューでも自動的に更新される。

【0107】

○自動的に見つけだされないオブジェクトを、たとえばある画像上でクリックすることにより加える。これにより、クリックによって規定される場所でのオブジェクトをシステムに識別させようとする。これは自動オブジェクト検出で用いられるよりも低い制限の識別基準を用いる。カラーモデルに基づき、対応するクラスのオブジェクト（すなわちチーム）は、自動的にシステムによって推測できる。

【0108】

○オブジェクトがオペレータによって見られない場所で見つけたＯＢＢを取除く。これは、あるビューにおいてオペレータがＯＢＢをクリックし、このビューでのＯＢＢを削除するための命令を入力する、またはＯＢＢおよび他のビューの対応するＯＢＢを削除する別の命令を入力することによって行なわれる。好ましくは、オペレータがあるＯＢＢをクリックすると、システムは他のビューからの表示画像における対応するＯＢＢも自動的に強調表示する。

【0109】

○限度が既知であるのなら、特定の種類または所与のタイプのオブジェクトの最大数を制限する。たとえば、（あるタイプのオブジェクトに対応して）各チームの最大競技者数が既知であり、さらに多くて１人のレフリーおよび１つのボールがある。ある種のオブジェクトの最大数を超えるものが検出されると、まず最も可能性のあるオブジェクトをその種類に割当て、残りのオブジェクトを、カラーモデルおよび／またはチームのヒストグラムといった他の情報が十分に近いものであるのなら、別の種類に割当てる。

【0110】

○ＯＢＢの自動サイズ調整。ＯＢＢのサイズを大きくするまたは小さくする。ただし、他のＯＢＢとの重なりがなく、ＯＢＢ内の切出されたセグメントはＯＢＢのボーダーを横切るまたは接触している。

【0111】

・出力：各キーフレーム映像におけるオブジェクトに対するＯＢＢ。互いに連結される／互いに割当てられて物理的オブジェクト１４（たとえば、競技者）を表わす。

【0112】

オブジェクト分離
・入力：ＯＢＢおよび特徴（たとえばカラー）モデル情報
・自動切出しおよびブロブ検出
・任意のユーザ入力：
○ＯＢＢ映像に「描画」して、前景または背景である部分を記す。

【0113】

○ＯＢＢ更新：小さすぎる、大きすぎる、または形が損なわれているのなら、ＯＢＢの大きさを変える。

【0114】

・出力：ＯＢＢにおける各ピクセルに対して、前景−背景の関係を記す、分離マスクを有するＯＢＢ。適用可能なアルゴリズムはたとえば「グラフカット（Ｇｒａｐｈ−Ｃｕｔ）」である。

【0115】

○オプション：前景（すなわち、実世界オブジェクト１４）または背景に属する尤度で各ピクセルを記す。

【0116】

背景穴埋め
・入力：分離されたオブジェクト、キーフレーム画像
・出力：オブジェクトがない、穴が埋められた背景画像
・処理：以下を用いた自動穴埋め
○背景画像からの情報
○前のまたは後の入力画像からの情報、および／または他のソースカメラ９、９′による画像からの情報。

【0117】

仮想フライト作成
・入力：キーフレーム映像、カメラ較正、分離マスクを含むＯＢＢ。さらに、解析タイプが予め定められる、またはユーザによって入力されてもよい。解析タイプは典型的にはゲーム状況に関連しており、１つ以上の潜在的な興味のある仮想ビュー（ＰＩＶＶ）に関連付けられる。処理：仮想再生ユニット１３は以下を行なう：
○未知の部分の可視を避けて、潜在的に興味のある（解析タイプに依存）仮想ビューを定める。

【0118】

○開始カメラビューから仮想ビューへの仮想カメラフライト経路２０（カメラビュー補間）Ａを作成する。

【0119】

○仮想ビューから終了カメラビューへの仮想カメラフライト経路２０（カメラビュー補間）Ｂを作成する。

【0120】

○オプション：レンダリングがキーフレーム映像情報によってのみ依存する場合、環境の既知の部分は制限され、可能なフライト経路２０も制限される。このため、本発明の好ましい実施例において以下が行なわれる：
■仮想再生ユニット１３は、フライトが環境の未知の部分を示すフレームを含むか否かをチェックし、つぎに以下の１つ以上を行なう：
・人であるオペレータに知らせ、フライト経路２０を修正する機会を与える。

【0121】

・未知の部分が見えなくなるよう、フライトを変更する中間「キービュー」を加えることにより、フライトを自動的に変える。中間キービューは、生成されたフライトがぶれのないビデオをもたらすよう、好ましくは加えられる。すなわち、画像に見られる「対象点」は全体のフライト中、出力ビデオに対して滑らかな経路を辿ることを意味する。対象点は、観察者が焦点を合わせると予期される画像または場面の点であり、たとえばボール、またはボールのおおよその場所、または特定の競技者または競技者のグループである。このフライトは対象点をほぼ画像の中央に保つ、または画像のシーケンスにおいて、対象点の場所が突然変わることを避ける。すなわち、平滑な対象点の移動を作成する。

【0122】

・対象点が結果のビデオ内にあるよう、さらなるビューを選択することができる。対象点は特定の規則に従って自動的に、またはオペレータによって手動で入力、たとえばポインティングデバイス位置指示装置によって定めることができる。自動検出は、単にボールの検出、または競技状況や、検出された競技者位置の配置および所望の解析タイプに基づくことができる。たとえば、オフサイド状況を解析しているとき、システムはボールを持っている競技者が含められるようにしながら、コンピュータ生成オフサイドライン（画像に自動的に挿入）を画像の半分のところに位置付けようとする。これらの規則は、場面の情報不足により、仮想カメラの位置直しの際に破棄されてもよい。

【0123】

・任意の事例：
○仮想再生ユニット１３は複数の潜在的に興味のある（典型的には、キーフレーム点での）仮想ビューを定め、これをオペレータに表示して、そのうちの１つを選択させることができる。たとえば、ハイ、ノーマル、またはロービューもしくは角度、もしくはすべての競技者を含むビューなど。

【0124】

○仮想再生ユニット１３はフライトについていくつかの潜在的に興味のある仮想ビューを作成する。たとえばＡ→Ｖ１→Ｖ２→Ｖ３→Ｂであって、Ｖ１、Ｖ２およびＶ３は付加的、中間仮想ビューである。たとえば、このような第１のビューはオフサイドラインに沿ったものであり、第２のビューは第１のビューよりも高い位置からのものである。仮想フライトはこれらのビューのうちの一つのビューで停止することができ、注釈を付けたりコメントを付けたり、停止することなく他のビューを通過することもできる。特に、フライトが最初のビューＡに戻ると、フライトがキーフレームビューへのフライトと異なるよう戻させる中間ビューを有することが好ましい。

【0125】

○仮想再生ユニット１３は、異なる開始および終了ビューの組み合わせを有する複数の仮想フライトを定める（たとえば、カメラＡ→カメラＡ、Ａ→Ｂ、Ｂ→Ａ）、および／または異なる変形（頭上フライト、フライトダウン、直接フライト）を与え、オペレータに提供されたもののうちから最も適切なものを選択する可能性を与える。

【0126】

○オプション：仮想ビューが（自動的に、またはオペレータ入力により）定義されると、ビューはレンダリングされて、システム出力で示される（ビデオ供給）。たとえば、プロデューサー、編集者、ディレクター、仲介者、評論家はプリビューを判断してそのビューを用いることができる。

【0127】

○オプション：仮想ビューが（自動的に、またはオペレータ入力により）定義されると、ビューはレンダリングされて、システム出力で示される（ビデオ供給）。たとえば、プロデューサー、編集者、ディレクター、仲介者、評論家はプリビューを判断してそのビューを用いることができる。

【0128】

○オプション：場面に仮想図形要素を加える。場面に依存して、システムは（自動的に、またはオペレータによって手動で）仮想図形要素を場面に加えることができる。これらは、フットボールでのオフサイドライン、アメリカンフットボールでのファーストダウンライン、矢印、距離情報（たとえば、矢印または円）を含む距離測定値を含むが、これらに限定されない。

【0129】

■オプション：動画図形注釈。
■オプション：３Ｄ図形要素
■オプション：模擬図形注釈（たとえば、物理的に基づいたもの）。

【0130】

・本発明の好ましい実施例において、自動仮想カメラ位置付けが、フットボールでのオフサイド状況について行なわれる：
○解析型「オフサイドライン」において、潜在的に興味のある仮想ビュー（ＰＩＶＶ）は、オフサイドラインの「上」にあるとして、すなわち、オフサイドラインの延長線上から競技場の境界上までまたは超えているとして、自動的に定められる。すなわち少なくとも線審のビューにほぼ対応する。

【0131】

■カメラの位置および配向は、実世界オブジェクト１４および未知の部分の配置に従い選択される。実世界オブジェクト１４が既知でなければ、位置はオフサイドラインの延長上の、競技場側にあり、仮想カメラはオフサイドラインに沿って見下ろすように配向が選択される。任意に、攻撃方向が、たとえば右側であるのなら、オフサイドラインは画像の右半分に表示でき、オフサイドラインの左側により大きい領域を、潜在的に興味のある競技者の配置用に残す。

【0132】

■カメラ配向を変えることにより、オフサイドラインは画像上で常に正確に縦に（上下に）レンダリングされるように、他のカメラパラメータを自動的に訂正する。したがって、仮想カメラが縦軸の周りをパンする場合、オフサイド線を縦に配向したままにするために、対応する距離で競技場に沿って横に移動する。

【0133】

■オプション：ボールは仮想ビューにおいて可視可能であることが必要になるかもしれない。ボールが確実に検出できるのなら、これはオプションである。

【0134】

○オフサイドラインは最初の準備ステップからの知識（時間に依存する、チームの競技方向）およびカメラの方向によって定められる。

【0135】

■カメラが競技場の右側に向いている場合、右側で守備を行なうチームは、オフサイドラインを規定し、その逆も同様である。

【0136】

■オフサイドラインの位置は規則に従い、サッカーのルール、およびオブジェクト／競技者１４の位置によって定められる。

【0137】

○オプション：オペレータはたとえばマウスのホイールを用いて、映像を指示する、または他の入力手段により、オフサイドラインの場所を変えることができる。

【0138】

○オプション：提案されているＰＩＶＶは、仮想カメラを移動させることによって迅速に修正することができ、その間オフサイドラインは画像境界線に対して常時自動的に垂直のまま残る。

【0139】

○オプション：システムの出力がオペレータ、プロデューサー、編集者、ディレクター、仲介者、または評論家の要件に合わない場合、仮想再生ユニット１３は代替的に前の既知のシステムと同じ出力を生成することができ、たとえば任意の動画のオフサイドラインが重ねられて、ソースカメラ９からのキーフレームを示す。

【0140】

○オプション：オフサイドラインを直線として、または領域として、または３Ｄ映像として、またはその組み合わせとして、表示する図形的注釈。

【0141】

○オプション：オフサイドラインの動画。
・他の特殊なケース、ゲーム状況、解析タイプおよび関連する可能なＰＩＶＶは以下のとおりである：
○フリーキック：
■ＰＩＶＶは、ボールの後ろであって、ゴールに向いている；ゴールの後ろであって、ボールに向いている、または鳥瞰的視点。

【0142】

■図形的注釈は、距離円、ゴールまでの距離であり得る。
○ゴール：
■ＰＩＶＶは、ゴールの後ろであってボールに向いている；ゴールに向いている攻撃側の競技者の後ろ、ゴールに向いている攻撃側競技者の後ろであって、高い鳥瞰的視点。

【0143】

○ミスしたゴールチャンス：
■ＰＩＶＶは、鳥瞰的視点であって、シュートをしている攻撃側の競技者および可能ならアシストしている競技者を含めて、ゴール方向に配向される。

【0144】

■ゴールに向いている攻撃側競技者の後ろ。
○レフリー決定解析用のレフリービュー
○フォワードのビュー
○オブジェクト（ボール、競技者、レフリーなど）を追う
○ユーザが定義した経路を追う（競技場上の二次元または三次元）
○ユーザが定義したまたは自動的に定められた可視点（たとえば、競技者、領域など）
○アメリカンフットボール：
■アメリカンフットボールでのファーストダウンラインは、最初の準備ステップ（時間に依存するチームの競技方向）およびゲームのルールに従ったゲーム状況（ボールを持つチーム、およびオブジェクト／競技者１４の位置）からの知識によって定められる。フライト経路生成を実施するための方法は、上記のオフサイド状況の場合と本質的に同じである。

【0145】

■他に該当するＰＩＶＶは、クォーターバックのビュー、ランニングバックのビュー、ディフェンスセンターのビューである。

【0146】

○アイスホッケーなど…
■アイスホッケーでのブルーラインは最初の準備ステップ（時間に依存するチームの競技方向）およびゲームのルールに従ったゲーム状況（パックを持っているチームおよびオブジェクト／競技者１４の位置）からの知識によって定められる。フライト経路生成を実施するための方法は、上記のオフサイド状況の場合と本質的に同じである。

【0147】

ビデオプレイアウト
・入力：ＰＩＶＶを含めてリアルタイムでレンダリングするためのフライト動画情報
○オプション：開始カメラおよびフレーム（ＩＮカメラ、ＩＮフレーム：併せてＩＮ点を規定）
○オプション：終了カメラ（ＯＵＴカメラ）
○オプション：キーフレームタイムコード
・処理：
○ＩＮカメラが規定されていなければ、システムは以下のようにＩＮカメラを選択する：
■第１の利用可能なカメラをＩＮカメラとして選択する。

【0148】

■またはカメラパラメータ、すなわちカメラがどこにあり、どこを向いているか（たとえばその配向または向いている競技場の部分によって特徴付けられる）ならびに発見的決定ルールの組を用いることにより、選択する。たとえば、ＩＮカメラは、競技場の中央当たりでの位置を有するメインゲームカメラであると自動的に定められ得る（任意的に、このカメラがキーフレームによって規定される対象の場面に向いていることをチェックする）。メインカメラが適さない場合、対象の場面により近い次のカメラを用いる。さらに、たとえばオペレータによって特定されるゲーム状況を用いて、好ましいカメラを決定することができる。決定ルールは、決定ツリーによってまたは以下の態様で最も高いスコアのカメラを選択することによって実施することができる：異なる基準にそれぞれ１点を割り当て、各カメラの合計点をたとえばその加重和として算出できる。

【0149】

■または、オペレータに（仮想再生ユニット１３上またはビデオサーバ制御ユニット上で）カメラを選択するよう求める。

【0150】

○ＩＮ点が規定されていなければ、システムは以下のようにＩＮフレームを選択する：
■所定数のフレームを巻戻すことにより、
■または、オペレータに、（仮想再生ユニット１３上、またはビデオサーバ１５の制御ユニット２８、２９上で）、選択されたＩＮカメラシーケンスの現在のフレームを続ける前のＩＮフレームに移動させることを求める。

【0151】

○ＯＵＴカメラが規定されなければ、システムは以下のようにＯＵＴカメラを選択する：
■第１の利用可能なカメラを、ＯＵＴカメラとして選択する。

【0152】

■または、ＩＮカメラではない第１の利用可能なカメラを、ＯＵＴカメラとして選択する、
■またはＩＮカメラと本質的に同じ発見的態様で、ＯＵＴカメラはこのフライト用に選択されたＩＮカメラと異なるというさらなる規則を有して、カメラパラメータを用いることにより、選択する。

【0153】

■または、オペレータに（システムまたはビデオサーバ制御ユニット上で）カメラを選択することを求める。

【0154】

○任意に、フライトをＩＮカメラからＰＩＶＶに、および次にＯＵＴカメラに、予めレンダリングする。

【0155】

・出力：所与の状況のビデオシーケンス（再生）であって、以下を含む：
○プリクリップ：ＩＮ点からシーケンスのＫＥＹＦＲＡＭＥまでのビデオシーケンス。任意的に、ＫＥＹＦＲＡＭＥ前のビデオの再生の速度を落とす。

【0156】

○ＩＮカメラから１つ以上の仮想視点へのフライト、およびＯＵＴカメラへのフライト。

【0157】

■（動画のあるまたは模擬の）自動または手動による図形注釈で任意的に強調。
■所与の時間の間、仮想ビューにおけるフライトを任意的に止める。

【0158】

■最後のＯＵＴカメラに戻る前に、他のビューに任意的に飛ぶ。
○任意的に、次のＫＥＹＦＲＡＭＥに行く。

【0159】

○ポストクリップ：必要なだけの長さのＫＥＹＦＲＡＭＥからのＯＵＴカメラのビデオシーケンス（利用可能なビデオクリップによって制限またはオペレータによって停止することができる）。

【0160】

○任意的に、出力の速度を落とすことができる。
○任意の出力：
■たとえば、プロデューサーがある状況の所与の仮想ビューが満足できるものではないと判断すれば、システムは仮想フライトなしで、見方において注釈のみを有し、クロマキー（従来のシステムと類似）されているビデオシーケンスをプレイアウトすることができる。

【0161】

・オフサイド例：ＩＮからＫＥＹＦＲＡＭＥまでの再生、停止、ラインツーポジションを動画化、ラインアウトを動画化、ＫＥＹＦＲＡＭＥからＯＵＴまで再生。

【0162】

・フリーキック例：ＩＮからＫＥＹＦＲＡＭＥまでの再生、停止、ゴールまでの距離円または距離（または双方）を動画化、注釈を動画化し消去、ＫＥＹＦＲＡＭＥからＯＵＴまで再生。

【0163】

本発明は現在の好ましい実施例で記載されているが、本発明はこれに限定されず、本発明の請求項の範囲内において他の態様で実現および実施することができる。

【符号の説明】

【0164】

参照符号のリスト
７ 特徴部分
８ 場面
９、９′ ソースカメラ
１０、１０′ ソース画像シーケンス
１１ 仮想カメラ
１２ 仮想画像
１３ 仮想再生ユニット
１４ 実世界オブジェクト，競技者
１５ ビデオサーバ
１６ 記憶ユニット
１７ 送信機
１８ ビデオ表示装置
１９ インターフェイスユニット
２０ 仮想カメラフライト経路
２１ ビデオ入力ストリーム
２２ ビデオ出力ストリーム
２３ 仮想再生ユニットへのビデオ（ストリーム）入力
２４ 仮想再生ユニットからのビデオストリーム出力
２５ 通信リンク
２６ 第１の制御リンク
２７ 第２の制御リンク
２８ 再生ユニット制御インターフェイス
２９ サーバ制御インターフェイス

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図1】