特許 7401196 情報処理装置、情報処理方法、及びプログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2023-12-11

(45)【発行日】2023-12-19

(54)【発明の名称】情報処理装置、情報処理方法、及びプログラム

(51)【国際特許分類】

   G06T 15/20 20110101AFI20231212BHJP

   G06T 19/00 20110101ALI20231212BHJP

   H04N 23/54 20230101ALI20231212BHJP

【ＦＩ】

G06T15/20 500

G06T19/00 A

H04N23/54

【請求項の数】 15

(21)【出願番号】P 2019096656

(22)【出願日】2019-05-23

(65)【公開番号】P2020190978

(43)【公開日】2020-11-26

【審査請求日】2022-05-17

(73)【特許権者】

【識別番号】000001007

【氏名又は名称】キヤノン株式会社

(74)【代理人】

【識別番号】110001243

【氏名又は名称】弁理士法人谷・阿部特許事務所

(72)【発明者】

【氏名】緑川 和希

【審査官】中田 剛史

(56)【参考文献】

【文献】特開２０１９－０４５９９５（ＪＰ，Ａ）

【文献】特開２０１８－０９２５８０（ＪＰ，Ａ）

【文献】特開２００７－２５９９９０（ＪＰ，Ａ）

【文献】特開２０１８－０５５６４４（ＪＰ，Ａ）

【文献】特開２００６－２６８５１１（ＪＰ，Ａ）

【文献】特開２０１９－００４２２９（ＪＰ，Ａ）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ０６Ｔ １５／２０

Ｇ０６Ｔ １９／００

Ｈ０４Ｎ ２３／５４

(57)【特許請求の範囲】

【請求項1】

撮影対象の３次元空間で視点移動が可能な映像における視点を設定する情報処理装置であって、
予め定めた視点変更要件を取得する取得手段と、
前記取得手段が取得した前記視点変更要件に基づき、所定の視点を設定する設定手段と、
を備え、
前記視点変更要件には、前記３次元空間に存在する３次元オブジェクトのうち予め指定した２つ以上の注目する３次元オブジェクトの位置関係を規定する関係条件と、当該関係条件と対応付けた前記所定の視点を規定する視点情報とを少なくとも含み、
前記設定手段は、前記関係条件が満たされて前記視点変更要件が成立する場合に、前記視点情報に基づいて前記所定の視点を設定する、
ことを特徴とする情報処理装置。

【請求項2】

前記視点変更要件が成立するかを判定する判定手段をさらに備え、
前記視点変更要件には、前記判定の対象として有効か無効かを規定するステータス情報をさらに含む、
ことを特徴とする請求項１に記載の情報処理装置。

【請求項3】

前記ステータス情報における有効又は無効の設定を、ユーザが指定できることを特徴とする請求項２に記載の情報処理装置。

【請求項4】

前記視点変更要件には、優先度の情報をさらに含み、
前記判定手段は、前記優先度が高い視点変更要件から順に、前記判定を行う、
ことを特徴とする請求項２又は３に記載の情報処理装置。

【請求項5】

前記視点変更要件には、優先度の情報をさらに含み、
前記設定手段は、前記判定手段にて成立すると判定された視点変更要件のうち、前記優先度が最も高い視点変更要件を適用して、前記所定の視点を設定する、
ことを特徴とする請求項２又は３に記載の情報処理装置。

【請求項6】

前記設定手段は、成立すると判定された複数の視点変更要件の中からユーザが選択した視点変更要件を適用して、前記所定の視点を設定する、
ことを特徴とする請求項１に記載の情報処理装置。

【請求項7】

前記ユーザによる前記選択は、前記成立すると判定された複数の視点変更要件の優先度が同じである場合に可能であることを特徴とする請求項６に記載の情報処理装置。

【請求項8】

前記関係条件は、前記２つ以上の注目する３次元オブジェクト間の距離を用いて規定されていることを特徴とする請求項１乃至７のいずれか１項に記載の情報処理装置。

【請求項9】

前記関係条件は、前記２つ以上の注目する３次元オブジェクトそれぞれを表現した図形の重なり度合いを用いて規定されていることを特徴とする請求項１乃至７のいずれか１項に記載の情報処理装置。

【請求項10】

前記視点情報には、成立すると判定された後に再判定するか否かを規定する情報をさらに含むことを特徴とする請求項６又は７に記載の情報処理装置。

【請求項11】

前記視点情報には、前記再判定によって成立しないと判定された場合に、予め決められた初期視点に戻すか否かを規定する情報をさらに含むことを特徴とする請求項１０に記載の情報処理装置。

【請求項12】

撮影対象の３次元空間で視点移動が可能な映像における視点を設定する情報処理装置であって、
予め定めた視点変更要件を取得する取得手段と、
前記取得手段が取得した前記視点変更要件に基づき、所定の視点を設定する設定手段と、
を備え、
前記視点変更要件には、前記３次元空間に存在するオブジェクトのうち２つ以上の注目オブジェクトの位置関係を規定する関係条件と、当該関係条件と対応付けた前記所定の視点を規定する視点情報とを少なくとも含み、
前記設定手段は、前記関係条件が満たされて前記視点変更要件が成立する場合に、前記視点情報に基づいて前記所定の視点を設定し、
前記視点移動が可能な映像は、前記３次元空間に設置された複数のカメラの同期撮影によって得られた映像に基づき生成される仮想視点映像であり、
前記視点は、前記３次元空間における仮想的な視点であり、
前記視点情報には、前記設定手段が設定する前記所定の視点としての前記仮想的な視点に遷移するまでの移動経路の情報をさらに含む、
ことを特徴とする情報処理装置。

【請求項13】

撮影対象の３次元空間で視点移動が可能な映像における視点を設定する情報処理装置であって、
予め定めた視点変更要件を取得する取得手段と、
前記取得手段が取得した前記視点変更要件に基づき、所定の視点を設定する設定手段と、
を備え、
前記視点変更要件には、前記３次元空間に存在するオブジェクトのうち２つ以上の注目オブジェクトの位置関係を規定する関係条件と、当該関係条件と対応付けた前記所定の視点を規定する視点情報とを少なくとも含み、
前記設定手段は、前記関係条件が満たされて前記視点変更要件が成立する場合に、前記視点情報に基づいて前記所定の視点を設定し、
前記視点移動が可能な映像は、前記３次元空間に設置された複数のカメラの中から使用するカメラを選択的に切り替えることで得られる視点切換映像であり、
前記視点は、前記３次元空間に設置された実在のカメラのうちいずれかのカメラに対応する視点である、
ことを特徴とする情報処理装置。

【請求項14】

撮影対象の３次元空間で視点移動が可能な映像における視点を設定する情報処理方法であって、
予め定めた視点変更要件を取得する取得ステップと、
前記取得ステップにて取得した前記視点変更要件に基づき、所定の視点を設定する設定ステップと、
を有し、
前記視点変更要件には、前記３次元空間に存在する３次元オブジェクトのうち予め指定された２つ以上の注目する３次元オブジェクトの位置関係を規定する関係条件と、当該関係条件と対応付けた前記所定の視点を規定する視点情報とを少なくとも含み、
前記設定ステップでは、前記関係条件が満たされて前記視点変更要件が成立する場合に、前記視点情報に基づいて前記所定の視点を設定する、
ことを特徴とする情報処理方法。

【請求項15】

コンピュータが、請求項１乃至１３のいずれか１項に記載の情報処理装置として機能させるためのプログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、三次元空間内で視点を移動できる映像システムにおける、視点の設定技術に関する。

【背景技術】

【0002】

エンターテイメントやスポーツ観戦において、複数のカメラでそれぞれ異なる方向から撮影した複数の画像に基づいて、実際には存在しないカメラ（仮想カメラ）の視点からオブジェクト（被写体）を観察できる仮想視点映像システムが開発されている。この仮想視点映像システムでは、特定の人や物の追尾、全体を俯瞰しての状況把握、人や物の動きの解析等、それを視聴するユーザの目的にあった視点を設定することが可能である。

【0003】

仮想視点映像における視点設定には、専用のコントローラやマウス、タッチパネル等のユーザインタフェース（ＵＩ）が用いられ、これらＵＩを介して入力される位置情報がインタラクティブに仮想視点映像に反映される。特許文献１には、仮想視点を設定するユーザが、注目するオブジェクトを見失った場合に、別の視点の画像を表示することで、当該注目するオブジェクトを再度見つけやすくする機能を有する技術が開示されている。

【先行技術文献】

【特許文献】

【0004】

【文献】特開２０１８－０５５２７９号公報

【発明の概要】

【発明が解決しようとする課題】

【0005】

しかしながら、撮影対象の空間に存在する複数のオブジェクトの状況によっては、適切な視点の設定が困難になる場合がある。例えば、２つのオブジェクトが近接している場合において、適切に視点を設定しないと、映像内において一方のオブジェクトが他方のオブジェクトを遮蔽してしまう。このような見づらい映像になることを避けたり、視聴者の興味を引く映像を生成したりするための、オブジェクトに対する適切な視点位置の判断および視点操作は、特に視点操作に習熟していないユーザにとっては困難である。またこのような課題は、設置された複数のカメラの撮像画像の中から表示する撮像画像を選択的に切り替える視点切換映像システムにおいても同様に当て嵌まる。

【課題を解決するための手段】

【0006】

本開示に係る情報処理装置は、撮影対象の３次元空間で視点移動が可能な映像における視点を設定する情報処理装置であって、予め定めた視点変更要件を取得する取得手段と、前記取得手段が取得した前記視点変更要件に基づき、所定の視点を設定する設定手段と、を備え、前記視点変更要件には、前記３次元空間に存在する３次元オブジェクトのうち予め指定した２つ以上の注目する３次元オブジェクトの位置関係を規定する関係条件と、当該関係条件と対応付けた前記所定の視点を規定する視点情報とを少なくとも含み、前記設定手段は、前記関係条件が満たされて前記視点変更要件が成立する場合に、前記視点情報に基づいて前記所定の視点を設定する、ことを特徴とする。

【発明の効果】

【0007】

本開示の技術によれば、三次元空間内で視点を移動できる映像システムにおいて、視点の設定に係る利便性を向上させることができる。

【図面の簡単な説明】

【0008】

【図1】仮想視点映像を生成する映像システムの構成の一例を示す図

【図2】情報処理装置のハードウェア構成の一例を示す図

【図3】実施形態１に係る仮想視点映像の生成・出力処理の流れを示すフローチャートを示す図

【図4】視点変更要件管理テーブルの一例を示す図

【図5】オブジェクト管理テーブルの一例を示す図

【図6】関係条件管理テーブルの一例を示す図

【図7】視点変更要件の更新処理の流れを示すフローチャートを示す図

【図8】注目オブジェクト設定処理の流れを示すフローチャートを示す図

【図9】関係条件設定処理の流れを示すフローチャートを示す図

【図10】視点変更要件の有効性判定処理の流れを示すフローチャートを示す図

【図11】視点変更要件の成立判定処理の流れを示すフローチャートを示す図

【図12】視点の自動遷移を説明する図

【図13】視点の自動遷移を説明する図

【図14】実施形態２に係る仮想視点映像を生成・出力する処理の流れを示すフローチャートを示す図

【図15】視点変更要件管理テーブルの一例を示す図

【図16】関係条件管理テーブルの一例を示す図

【図17】同時に複数の視点変更要件が成立した場合のＵＩ画面の一例を示す図

【発明を実施するための形態】

【0009】

以下、本発明の実施形態について、図面を参照して説明する。なお、以下の実施形態は本発明を限定するものではなく、また、本実施形態で説明されている特徴の組み合わせの全てが本発明の解決手段に必須のものとは限らない。なお、同一の構成については、同じ符号を付して説明する。

【0010】

［実施形態１］
以下、図面を参照して実施形態を説明する。図１は、本実施形態に係る、仮想視点映像を生成する映像システムの構成の一例を示す図である。図１に示す映像システム１００は、異なる視点に配置した複数のカメラで同期撮影して得られた映像に基づき、ユーザ等が指示する仮想的な視点（以下、「仮想視点」とも表記）からの見えを表す仮想視点映像を生成して出力する。本実施形態の映像システム１００は、情報処理装置１１０とユーザ端末１２０とを有する。ユーザ端末１２０には、情報処理装置１１０に仮想視点映像の生成を指示したり、生成された仮想視点映像を表示したりするための専用アプリケーションがインストールされている。そして、情報処理装置１１０は、ユーザ端末１２０の専用アプリケーションから送られてくる指示や要求を受けて、予め規定した複数のオブジェクト間の関係性に基づき仮想視点を自動で設定して仮想視点映像を生成し、ユーザ端末１２０に提供する。

【0011】

情報処理装置１１０は、例えばサーバコンピュータであり、映像取得部１１１、映像保持部１１２、制御部１１３、描画部１１４、判定部１１５及び映像生成部１１６の各機能部を有する。ユーザ端末１２０は、情報処理装置１１０とネットワーク経由で接続される例えばパーソナルコンピュータなどであり、表示部１２１と入力部１２２を有する。

【0012】

情報処理装置１１０の映像取得部１１１は、複数のカメラ（不図示）で同期撮影された映像データを、外部のカメラアレイやストレージ（いずれも不図示）などから取得する。取得した映像データは、映像保持部１１２に保存される。制御部１１３は、ユーザ端末１２０からのユーザ指示を受信し、当該ユーザ指示に基づき、情報処理装置１１０内の各部を制御する。描画部１１４は、映像保持部１１２に蓄積された映像データを用いて、ユーザ端末１２０のＧＵＩ（Graphical User Interface）で用いるＵＩ画面の描画処理、映像生成部１１５が生成する仮想視点映像やＵＩ画面のレイアウト処理を行う。判定部１１５は、撮影対象の３次元空間に存在するオブジェクトの位置情報や形状情報を参照し、指定された複数のオブジェクトの位置関係が予め規定した所定の条件を満たすか否かを判定する。映像生成部１１６は、描画部１１４におけるレイアウト処理の結果に従い、制御部１１３から入力された仮想視点に従った仮想視点映像を生成する。描画部１１４で生成されたＵＩ画面や映像生成部１１６が生成した仮想視点映像のデータは制御部１１３内の外部インタフェース（不図示）を介して、ユーザ端末１２０に送られる。

【0013】

ユーザ端末１２０の表示部１２１は、一般的な液晶ディスプレイなどで構成され、情報処理装置１１０から提供されたＵＩ画面や仮想視点映像を表示する。ＵＩ画面と仮想視点映像は、同じディスプレイ上に切り替えて表示してもよいし、それぞれ別のディスプレイに表示してもよい。入力部１２２は、マウスやキーボードなどで構成され、表示部１２１に表示されたＵＩ画面に対する入力を受け付け、当該受け付けた入力に応じたユーザ指示を情報処理装置１１０の制御部１１３に出力する。なお、ユーザ端末１２０は、例えばタブレット機器やスマートフォンといった携帯型のコンピュータでもよい。また、ユーザ端末１２０は、表示部１２１と入力部１２２の両方の機能を兼ね備えたタッチパネルを有する機器であってもよい。また、本実施形態では、情報処理装置１１０で生成した仮想視点映像をユーザ端末１２０の表示部１２１に表示することとしているが、例えば、イベント会場に別途設置されたモニタなど、ユーザ端末１２０から独立した表示装置に表示してもよい。

【0014】

（情報処理装置のハードウェア構成）
情報処理装置１１０のハードウェア構成について、図２を用いて説明する。なお、ユーザ端末１２０も、基本的には同様のハードウェア構成を有している。情報処理装置１１０は、ＣＰＵ２０１、ＲＯＭ２０２、ＲＡＭ２０３、補助記憶装置２０４、表示部２０５、操作部２０６、通信Ｉ／Ｆ２０７及びバス２０８を有する。

【0015】

ＣＰＵ２０１は、ＲＯＭ２０２やＲＡＭ２０３に格納されているプログラムやデータを用いて情報処理装置１１０の全体を制御し、図１に示した各機能部を実現する。なお、情報処理装置１１０がＣＰＵ２０１とは異なる１又は複数の専用のハードウェアを有し、ＣＰＵ２０１による処理の少なくとも一部を専用のハードウェアが実行してもよい。専用のハードウェアの例としては、ＡＳＩＣ（特定用途向け集積回路）、ＦＰＧＡ（フィールドプログラマブルゲートアレイ）、およびＤＳＰ（デジタルシグナルプロセッサ）などがある。ＲＯＭ２０２は、変更を必要としないプログラムなどを格納する。ＲＡＭ２０３は、補助記憶装置２０４から提供されるプログラムやデータ、及び通信Ｉ／Ｆ２０７を介して外部から提供されるデータなどを一時記憶する。補助記憶装置２０４は、例えばＨＤＤやＳＳＤ等で構成され、映像データや音声データといった入力データの他、後述の各種処理で参照されるテーブル、各種アプリケーションプログラムなど、様々なデータやプログラムを記憶する。

【0016】

表示部２０５は、例えば液晶ディスプレイ等で構成され、ユーザが情報処理装置１１０を操作するためのＧＵＩなどを表示する。操作部２０６は、例えばキーボードやマウス、ジョイスティック等で構成され、ユーザによる操作を受けて各種の指示をＣＰＵ２０１に入力する。通信Ｉ／Ｆ２０７は、外部装置との通信に用いられる。例えば、情報処理装置１１０が外部装置と有線で接続される場合には、通信用のケーブルが通信Ｉ／Ｆ２０７に接続される。情報処理装置１１０が外部装置と無線通信する機能を有する場合には、通信Ｉ／Ｆ２０７はアンテナを備える。バス２０８は、上記各部を繋いでデータや信号を伝達する。

【0017】

（仮想視点映像の生成・出力処理）
続いて、本実施形態に係る情報処理装置１１０が、予め規定した複数のオブジェクト間の関係性に基づき視点を自動設定して仮想視点映像を生成・出力する処理の流れを、図３のフローチャートを参照しつつ説明する。図３のフローチャートは、ユーザ端末１２０から視点自動設定処理の開始リクエストを受信した情報処理装置１１０の制御部１１３が、所定の制御プログラムに従って必要なテーブル等を取得して適宜参照等することで実現される。開始リクエストは、例えばユーザが前述の専用アプリケーションにおいて視点の自動変更モードを選択する等の明示の操作を行うことで発行される。或いは、原則として開始リクエストが所定間隔で発行されるようにし、ユーザが手動による視点操作を行っている場合や現視点を維持したい特定期間中など、ユーザの意図に反した視点変更を避ける必要がある場合にその発行が停止される仕様であってもよい。なお、以下の説明において記号「Ｓ」はステップを表す。

【0018】

Ｓ３０１では、受信した視点自動設定処理の開始リクエストに、視点を変更する場合の要件（以下、「視点変更要件」と呼ぶ。）の更新指示が含まれているか判定される。１つの視点変更要件は、撮影対象の３次元空間に存在する人や物のうち注目対象とする２つ以上の人や物（以下、「注目オブジェクト」と呼ぶ）と、当該２つ以上の注目オブジェクト間の位置関係を規定する条件（以下、「関係条件」と呼ぶ。）との組み合わせから成る。ここで、サッカーの試合を対象に撮影が行われるときの２つ以上の注目オブジェクトの例を挙げると、ゴールキーパーとボール、所属チームの異なるフィールドプレイヤー同士、ゴールとボールなどが該当する。図４は、視点変更要件を管理するテーブル（以下、「視点変更要件管理テーブル」と呼ぶ。）の一例である。視点変更要件管理テーブルは、「視点変更要件ＩＤ」、「注目オブジェクトＩＤ」、「関係条件ＩＤ」、「視点情報」、「ステータス」の５つの要素を持つ。以下、各要素について順に説明する。

【0019】

「視点変更要件ＩＤ」には、各視点変更要件を識別するＩＤ情報（ここでは“MOVE-1”）が格納される。いま、図４の視点変更要件管理テーブルに存在する視点変更要件は1つであるが、複数の視点変更要件が存在する場合、視点変更要件ＩＤに格納されたＩＤ情報によって、それぞれの視点変更要件が特定される。

【0020】

「注目オブジェクトＩＤ」には、各注目オブジェクトを識別するＩＤ情報が入る。図４に示すMOVE-1の視点変更要件では注目オブジェクトＩＤとして“OBJ1/OBJ3”が格納されている。図５は、注目オブジェクトとなり得る様々なオブジェクトの情報を管理するテーブル（以下、「オブジェクト管理テーブル」と呼ぶ。）の一例である。オブジェクト管理テーブルは、「オブジェクトＩＤ」、「更新情報」、「位置情報」で構成され、上記「注目オブジェクトＩＤ」に格納されるＩＤ情報もこのテーブルによって管理される。いま、“OBJ1”と“OBJ2”はフィールド上に２つあるゴール（ゴールＡ／ゴールＢ）それぞれに対応し、“OBJ3”はボールに対応し、“OBJ4”と“OBJ5”はプレイヤー（プレイヤーＡ／プレイヤーＢ）に対応している。図４の例では、注目オブジェクトＩＤとして“OBJ1”と“OBJ3”が指定されているので、ボールと一方のゴールＡが“MOVE-1”における注目オブジェクトとなる。「更新情報」には、各注目オブジェクトの位置情報が定数なのか定期更新なのかを示す情報と、定期更新の場合における更新タイミングの情報が入る。フィールド上に設置されたゴールのような静的オブジェクトの場合は、位置情報が変化することはないので“定数”となる。一方、ボールやプレイヤーといった動的オブジェクトの場合は、位置情報がフレーム間で変化し得るので“定期更新”となる。定期更新における更新タイミングは、フレーム数によって定義される。図５の例では、OBJ3のボールに対して、更新タイミングの値として“2”が設定されている。この場合、判定部１１５において、2フレーム毎にボールの位置情報の取得・更新がなされることになる。また、本実施形態では、位置情報として“定数”を設定したオブジェクトに対しては更新不要であることを示す値として、更新タイミングに負の値（-1）を設定している。なお、フレーム数に代えて、更新タイミングをタイマーで制御してもよい。或いは、オブジェクト単位ではなく、視点変更要件内の後述する「注目オブジェクト情報」や「視点情報」において更新タイミングを規定し、同じオブジェクトであっても視点変更要件によって更新タイミングを異ならせてもよい。

【0021】

「位置情報」には、仮想視点映像の世界座標系における各オブジェクトの位置を特定する座標情報が、そのオブジェクトを表現する形状の情報と対応付けて格納される。本実施形態では、OBJ-1及びOBJ-2（ゴールＡ及びＢ）はその横幅を示す線分で表現され、その両端の座標情報が入る。OBJ3（ボール）は球で表現され、球の半径の情報と、球の中心点の座標情報が入る。OBJ-4及びOBJ-5（プレイヤーＡ及びＢ）は筒で表現され、筒の半径の情報と、筒の芯線の両端を表す座標情報が入る。なお、座標情報にカメラ座標系を用い、各オブジェクトの形状を二次元（例えば、ボールを球ではなく円）で表現してもよい。さらに、単純化のため、各オブジェクトを代表点の位置座標のみで表現し、形状情報を省いてもよい。或いは注目オブジェクトの輪郭や形状を近似する図形に置き換えて、当該図形の頂点の位置座標を用いてもよい。また、１つの注目オブジェクトを複数の形状にて表現し、その形状毎に位置情報を設定して、当該注目オブジェクトを用いる関係条件によって参照する位置情報を変えてもよい。

【0022】

「関係条件ＩＤ」には、注目オブジェクト同士がどのような位置関係になったときに仮想視点を変更するのかを規定する関係条件のＩＤ情報が入る。図６は、関係条件を管理するテーブル（以下、「関係条件管理テーブル」と呼ぶ。）の一例である。関係条件管理テーブルは、「条件ＩＤ」と「条件定義」の２つの要素を持つ。「条件ＩＤ」には、各関係条件を識別するＩＤ情報が入り、「条件定義」では、複数の注目オブジェクト間においてどのような関係性が成立したら視点移動を行うかが規定される。例示の“REL1-approach”は、注目オブジェクト同士が閾値となる一定距離（「距離Ｃ」と表記）以下まで接近したときに仮想視点を変更することを規定する関係条件である。この場合において、注目オブジェクト間の距離は、対象３次元空間を縦：X、横：Y、高さ：Zの３軸で表したときのX-Z平面或いはY-Z平面上における各注目オブジェクトの代表点の間隔である。なお、複数の注目オブジェクト間の関係性は距離以外の要素、例えば、各注目オブジェクトを表現した図形の重なり度合い（例えば重なりが15％以上など）で規定してもよい。図６の関係条件管理テーブルには１つの関係条件しか存在しないが、複数の関係条件を用意・格納してもよい。複数の関係条件が存在する場合、条件ＩＤに格納されたＩＤ情報によって、それぞれの確認条件が特定される。図４の視点変更要件管理テーブルの場合、条件ＩＤは“REL1-(20)”となっている。これは、上述のＩＤ情報“REL1-approach”で特定される関係条件において、距離Ｃの値が“20”であることを意味している。条件定義の例としては、上記の他にも注目オブジェクト同士が接触・衝突したことや、注目オブジェクト同士の距離が一定距離以上に離間したことなどがあり得る。接触・衝突の場合は、複数の注目オブジェクト間の関係性を、例えば、各注目オブジェクトを表現した図形の重なり度合い（例えば重なりが15％以上など）で規定してもよい。なお、本実施形態で例示するような、オブジェクト同士の距離に基づく関係条件をユーザがＵＩ画面等で設定する場合には、実空間上の距離（例えばメートル単位）で設定できることが望ましい。この場合は、カメラ座標空間と実空間との関係を、カメラパラメータから求めておけばよい。

【0023】

「視点情報」は、視点変更要件が成立した時に、どのような仮想視点（仮想カメラの位置・姿勢）から注目オブジェクトを見るかを決定するために必要な情報が入り、本実施形態では「視点移動先」と「視点再評価」の情報から成る。「視点移動先」は、仮想視点映像を提供する映像システムの場合、注目オブジェクトの観察に適した仮想視点の３次元座標を特定するための情報が、視点移動先の情報として格納されることになる。適切な仮想視点は、何が注目オブジェクトとして指定されているのか、関係条件としてどのような条件定義が規定されているのかによってその内容は異なる。そのため、ユーザが、対象の注目オブジェクト及び関係条件と関連付けて、その内容を事前に定義しておく。図４の例では、「視点移動先」の情報として、“注目オブジェクト間の距離が最大の視点位置”が格納されている。いま、注目オブジェクトとして“ゴールＡ”と“ボール”が指定されているので、ボールからゴールＡまでの距離の変化が観察しやすい、双方が最も離間して見えるような所定の位置に仮想視点が設定されることになる。「視点再評価」は、視点移動後においても関係条件が成立しているかをチェック（再判定）するかどうかに関する情報が入る。図４の例では、“成立時のみ”が格納されている。これは、視点変更要件で定義された関係条件が成立して視点移動を行った後は、関係条件の成立状態がその後も継続しているかどうかのチェックは行わないことを意味している。なお、本実施形態では、「視点移動先」と「視点再評価」の２つの情報で「視点情報」が構成されるが、「視点移動時の経路」や「移動速度」といった情報を含めてもよい。これら各情報について、ユーザは、情報処理装置１１０が持つ機能に応じて提示される選択肢の中から所望の内容を選んで設定する。

【0024】

「ステータス」には、“有効”或いは“無効”の情報が入る。ステータス情報が“有効”に設定されている視点変更要件について、判定部１１５が成立の要否判定を行うことになる。図３のフローの説明に戻る。

【0025】

上述のような視点変更要件について新規追加や編集がユーザによって指示され、前述の開始リクエストに視点変更要件の更新指示が含まれていた場合はＳ３０２に進み、含まれていなければＳ３０３に進む。

【0026】

Ｓ３０２では、視点変更要件の更新処理が実行される。視点変更要件の更新処理の詳細については後述する。更新処理の終了後はＳ３０３に進む。

【0027】

Ｓ３０３では、処理対象とする視点変更要件が決定される。このとき、視点変更要件管理テーブルに複数の視点変更要件が格納されている場合（視点変更要件ＩＤが複数ある場合）は、処理対象の視点変更要件を、その格納順などに従って適宜決定すればよい。或いは、実施形態２で説明するように、個々の視点変更要件に優先度が設定されている場合は、優先度が高いものから順に処理対象の視点変更要件としてもよい。図４の例では、“MOVE-1”の１つしか存在しないので、“MOVE-1”が処理対象の視点変更要件として決定されることになる。

【0028】

Ｓ３０４では、処理対象の視点変更要件について、そのステータスが有効かを判定する処理（有効性判定処理）が実行される。この有効性判定処理の詳細については後述する。続くＳ３０５では、Ｓ３０４での判定結果に応じて次の処理が決定される。処理対象の視点変更要件のステータスが有効であればＳ３０６に進み、無効であればＳ３０８に進む。

【0029】

Ｓ３０６では、処理対象の視点変更要件が成立するか否かを判定する処理（成立判定処理）が実行される。この成立判定処理の詳細については後述する。処理対象の視点変更要件が成立していれば、当該視点変更要件で定義される視点情報に従った仮想視点が、Ｓ３１０以降の処理において設定されることになる。続くＳ３０７では、Ｓ３０６での判定結果に応じて次の処理が決定される。処理対象の視点変更要件が成立していればＳ３１０に進み、不成立であればＳ３０８に進む。

【0030】

Ｓ３０８では、すべての視点変更要件について成立判定処理が実行されたかが判定される。未処理の視点変更要件があればＳ３０３に戻り、次の視点変更要件を処理対象に決定して処理が続行される。すべての視点変更要件について処理が完了していれば、Ｓ３０９に進み、現在の視点を維持した仮想視点映像が映像生成部１１６にて生成される。こうして生成された仮想視点映像のデータは、制御部１１３を介してユーザ端末１２０に出力され、本処理を終える。

【0031】

Ｓ３１０では、処理対象の視点変更要件の「視点情報」で定義されている内容に従って新たな仮想視点（仮想カメラ）が設定される。この際、フィールド面からの高さ、画角、焦点距離といったパラメータについては、予め決定しておいた所定値を適用してもよいし、「視点情報」において個別に定義しておいてもよい。また、設定された新規の仮想視点へ瞬間的に遷移させてもよいし、その間の移動経路を補間処理によって決定して緩やかに遷移するようにしてもよい。こうして設定された新たな仮想視点の情報は映像生成部１１６に送られ、仮想視点映像の生成に使用されることになる。

【0032】

そして、Ｓ３１１では、Ｓ３１０で設定された新規の仮想視点からの見えを表す仮想視点映像が映像生成部１１６にて生成される。こうして生成された仮想視点映像のデータは、制御部１１３を介してユーザ端末１２０に出力される。続く、Ｓ３１２では、所定の後処理が実行される。所定の後処理には、例えば以下のような処理が含まれる。
・「視点再評価」にて所定フレーム数後に関係条件のチェックを行うことが設定されて場合における関係条件の再判定処理
・視点変更が短期間に繰り返されることを避けるためのタイマー処理
・次の開始リクエストの発行タイミングを、成立判定処理の結果に基づき決定（成立している場合は数秒後、不成立の場合は数ミリ秒後など）する処理

【0033】

上記のような内容の後処理が完了すると本処理を終える。
以上が、情報処理装置１１０における、仮想視点映像の生成・出力処理の概要である。

【0034】

（視点変更要件の更新処理）
続いて、前述のＳ３０３における視点変更要件の更新処理の詳細について、図７のフローチャートを参照して説明する。

【0035】

Ｓ７０１では、更新指示の内容が、新たな視点変更要件の追加であるのか、既存の視点変更要件の編集であるのかが判定される。新たな視点変更要件の追加であればＳ７０２に進み、既存の視点変更要件の編集であればＳ７０３に進む。追加の場合のＳ７０２では、ユーザ指示に係る新たな視点変更要件が、視点変更要件管理テーブルに追加される。この追加の際のステータスは初期値である“無効”に設定される。追加後はＳ７０４に進む。一方、編集の場合のＳ７０３では、編集対象となる視点変更要件が、不図示のＵＩ画面を介したユーザ指定に基づき、視点変更要件管理テーブルから取得される。取得後はＳ７０４に進む。

【0036】

Ｓ７０４では、注目オブジェクトの設定処理が実行される。図８は、注目オブジェクト設定処理の詳細を示すフローチャートである。以下、図８のフローに沿って説明する。

【0037】

＜注目オブジェクト設定処理＞
Ｓ８０１では、更新指示の内容が、新たな注目オブジェクトの追加であるのか、既存の注目オブジェクトの編集であるのか、それ以外（すなわち、関係条件の追加・編集）であるのかが判定される。新たな視点変更要件の追加であればＳ８０２に進み、既存の視点変更要件の変更であればＳ８０５に進む。そのどちらでもなければ、本処理を抜ける。
Ｓ８０２では、注目オブジェクトを追加するための不図示のＵＩ画面（以下、「注目オブジェクト追加用ＵＩ画面」と呼ぶ。）が描画部１１４によって生成され、制御部１１３を介してユーザ端末１２０に出力される。そして、ユーザ端末１２０の表示部１２１に注目オブジェクト追加用ＵＩ画面が表示される。注目オブジェクト追加用ＵＩ画面には、例えば予め定義された「オブジェクトとその位置情報」を複数含んだリストが表示され、ユーザはリストの中から、追加する視点変更要件における注目オブジェクトを選択する。リストからの選択に代えて、映像保持部１１２が保持する映像もしくは映像生成部１１６が生成した仮想視点映像を注目オブジェクト追加用ＵＩ画面上に表示し、そこに映っているオブジェクトの中から注目オブジェクトを選択するようにしてもよい。そして、Ｓ８０３では、注目オブジェクト追加用ＵＩ画面におけるユーザ選択が受け付けられる。そして、Ｓ８０４では、受け付けたユーザ選択に係るオブジェクトが、注目オブジェクトとしてオブジェクト管理テーブルに追加される。この際、「更新情報」と「位置情報」の項目には、未定義であることを示す所定値が入る。こうして、新たな注目オブジェクトがオブジェクト管理テーブルに追加されると、Ｓ８０８に進む。

【0038】

一方、Ｓ８０５では、既存の注目オブジェクトを変更するための不図示のＵＩ画面（以下、「注目オブジェクト変更用ＵＩ画面」と呼ぶ。）が描画部１１４によって生成され、制御部１１３を介してユーザ端末１２０に出力される。そして、ユーザ端末１２０の表示部１２１に注目オブジェクト変更用ＵＩ画面が表示される。注目オブジェクト変更用ＵＩ画面には、定義済の注目オブジェクトが一覧表示され、ユーザは注目オブジェクトの差し替え等のユーザ操作を行う。そして、Ｓ８０６では、注目オブジェクト変更用ＵＩ画面におけるユーザ操作が受け付けられる。こうして、注目オブジェクトの変更が指示されると、Ｓ８０７に進む。Ｓ８０７では、注目オブジェクトの変更がオブジェクト管理テーブルに反映される。

【0039】

Ｓ８０８では、追加等された注目オブジェクトについて「更新情報」と「位置情報」が設定される。この場合において、対象の注目オブジェクトが静的オブジェクトであってその位置を表す値が事前に定義済みである場合は、当該定義済みの値を保持している判定部１１５から取得して「位置情報」として設定する。また、対象の注目オブジェクトが動的オブジェクトである場合は、その現在位置を示す値を取得し「位置情報」として設定する。動的オブジェクトの現在位置を示す値の取得には、オブジェクト追跡の手法や各動的オブジェクトに位置センサーを付しておく手法など、公知の手法を適用すればよい。なお、判定部１１５から、現在の位置を示す値が取得できない場合は「位置情報」を未定義のまま本処理を終了し、他の取得可能なタイミング（例えば、当該注目オブジェクトを参照する視点変更要件の追加や更新もしくは成立判定時）に取得・設定してもよい。

【0040】

以上が、注目オブジェクト設定処理の内容である。図７のフローの説明に戻る。Ｓ７０５では、関係条件の設定処理が実行される。図９は、関係条件設定処理の詳細を示すフローチャートである。以下、図９のフローに沿って説明する。

【0041】

＜関係条件設定処理＞
Ｓ９０１では、更新指示の内容が、新たな関係条件の追加であるのか、既存の関係条件の編集であるのかが判定される。新たな関係条件の追加であればＳ９０２に進み、既存の関係条件の編集であればＳ９０５に進む。

【0042】

Ｓ９０２では、関係条件を追加するための不図示のＵＩ画面（以下、「関係条件追加用ＵＩ画面」と呼ぶ。）が描画部１１４によって生成され、制御部１１３を介してユーザ端末１２０に出力される。そして、ユーザ端末１２０の表示部１２１に関係条件追加用ＵＩ画面が表示される。関係条件追加用ＵＩ画面には、例えば条件定義を規定済みの関係条件を記載したリストが表示され、ユーザはリストの中から所望の関係条件を選択する。或いは、関係条件追加用ＵＩ画面上に、キーボード等を用いて任意の条件定義を入力して、所望の関係条件を設定できるようにしてもよい。そして、Ｓ９０３では、関係条件追加用ＵＩ画面におけるユーザ選択（或いはユーザ入力）が受け付けられる。そして、Ｓ９０４では、受け付けたユーザ選択（或いはユーザ入力）に係る関係条件が、新規の関係条件として関係条件管理テーブルに追加される。こうして、新たな関係条件の追加設定が完了すると、本処理を抜ける。

【0043】

Ｓ９０５では、既存の関係条件を編集するための不図示のＵＩ画面（以下、「関係条件編集用ＵＩ画面」と呼ぶ。）が描画部１１４によって生成され、制御部１１３を介してユーザ端末１２０に出力される。そして、ユーザ端末１２０の表示部１２１に関係条件編集用ＵＩ画面が表示される。関係条件編集用ＵＩ画面には、既存の関係条件のリストが表示される。ユーザは、リストの中から編集対象の関係条件を指定し、指定した関係条件の条件定義を、キーボード等を用いて所望の内容に変更する。そして、Ｓ９０６では、関係条件編集用ＵＩ画面においてユーザが行った、特定の関係条件に対する条件定義の変更（編集内容）が受け付けられる。そして、Ｓ９０７では、受け付けた編集内容に基づき、指定された関係条件の条件定義の内容が設定変更される。こうして、特定の関係条件における条件定義の設定変更が完了すると、本処理を抜ける。

【0044】

以上が、Ｓ３０３における視点変更要件更新処理の内容である。なお、本実施形態では編集対象に視点情報を含めていないが、既存の視点変更要件における視点情報についても編集・更新できるようにしてもよい。

【0045】

（視点変更要件の有効性判定処理）
次に、前述のＳ３０４における視点変更要件の有効性判定処理の詳細について、図１０のフローチャートを参照して説明する。

【0046】

Ｓ１００１では、処理対象の視点変更要件に係る注目オブジェクトが定義済みか否かの判定がなされる。具体的には、注目オブジェクトに対応する更新情報や位置情報がオブジェクト管理テーブルに存在するかどうかがチェックされる。注目オブジェクトが未定義である場合はＳ１００４に進み、処理対象の視点変更要件のステータスが無効に設定される。ステータス設定後は、本処理を抜ける。一方、注目オブジェクトに対応する更新情報や位置情報がオブジェクト管理テーブルに存在し、注目オブジェクトが定義済みの場合はＳ１００２に進む。

【0047】

Ｓ１００２では、処理対象の視点変更要件に係る関係条件が定義済みか否かの判定がなされる。具体的には、関係条件管理テーブルに条件定義が存在するかどうかがチェックされる。関係条件が未定義である場合はＳ１００４に進み、処理対象の視点変更要件のステータスが無効に設定される。ステータス設定後は、本処理を抜ける。一方、関係条件管理テーブルに条件定義が存在し、関係条件が定義済みの場合はＳ１００３に進む。

【0048】

注目オブジェクト及び関係条件が共に定義済みの場合、Ｓ１００３では、処理対象の視点変更要件のステータスが有効に設定される。ステータス設定後は、本処理を抜ける。

【0049】

以上が、視点変更要件の有効性判定処理の内容である。
図１０のフローでは、注目オブジェクトと関係条件が定義済みであればステータスを有効に設定していたが、これに限定されない。例えば、注目オブジェクトと関係条件が定義済みと判明した後に、ユーザが手動で視点を操作中かどうか判定するステップを加えてもよい。この場合、ユーザが視点を手動で操作中であれば、Ｓ１００３ではなくＳ１００４に進んでステータスを無効に設定し、一定時間経過後にステータスを有効に設定するステップをＳ１００４の後に加えればよい。

【0050】

（視点変更要件の成立判定処理）
次に、前述のＳ３０６における視点変更要件の成立判定処理の詳細について、図１１のフローチャートを参照して説明する。

【0051】

Ｓ１１０１では、ステータスが有効と判定された処理対象の視点変更要件における各注目オブジェクトについて、その位置情報を更新する必要があるか否かが、オブジェクト管理テーブルを参照して判定される。具体的には、オブジェクト管理テーブル内の「更新情報」を参照し、“定数”であるか“定期更新”であるかがチェックされる。“定数”であれば位置情報の更新は不要なので、Ｓ１１０２をスキップしてＳ１１０３へ進む。一方、“定期更新”であれば、現在の位置情報を取得するべくＳ１１０２に進む。

【0052】

Ｓ１１０２では、オブジェクト管理テーブル内の「更新情報」を参照し、そこで定義されている更新タイミングに基づき、注目オブジェクトの現在位置を表す位置情報が取得される。位置情報を取得後、Ｓ１１０３に進む。

【0053】

Ｓ１１０３では、処理対象の視点変更要件が成立するか否かが判定される。具体的には、当該視点変更要件に係る複数の注目オブジェクトの位置関係が、関係条件において規定する関係性を満たすか否かがチェックされる。この際、関係条件が注目オブジェクト間の距離で規定されている場合には、各注目オブジェクトの三次元空間におけるその位置と形状を各カメラの姿勢に応じた二次元空間に射影変換によってマッピングし、当該マッピングの結果に基づき判定される。複数の注目オブジェクトの位置関係が、関係条件において規定する関係性を満たす場合はＳ１１０４に進む。一方、満たさない場合はＳ１１０５に進む。

【0054】

Ｓ１１０４では、処理対象の視点変更要件は成立しているとの判定結果が設定される。その後、本処理を抜ける。一方、Ｓ１１０５では、処理対象の視点変更要件は成立していないとの判定結果が設定される。その後、本処理を抜ける。

【0055】

以上が、視点変更要件の成立判定処理の内容である。

【0056】

ここで、本実施形態の手法によって視点が自動で遷移する様子を、前述の図４に示す視点変更要件の場合を例に説明する。図１２（ａ）は自動遷移する前の仮想視点（仮想カメラ）の位置を示す図であり、ゴールＡの真後ろから相手方ゴール（ゴールＢ）の方向を視線方向とした仮想視点１２０１が設定されている。図１２（ｂ）は、仮想視点１２０１からの見えを表す仮想視点映像を示している。図１２（ａ）で示すように、フィールドプレイヤーはゴールＡから離れた位置（Pos1）でボールをドリブルしている。そして、ゴールＡに近い位置（Pos2）に向かってドリブルした結果、視点変更要件ＩＤが「Move-1」の関係条件「REL1-(20)」が満たされたとする。図１３（ａ）は、「Move-1」の「視点情報」で定義された「注目オブジェクト間の距離が最大の視点位置」となるように自動遷移した後の仮想視点（仮想カメラ）の位置を示す図である。ペナルティエリア内に入った注目オブジェクトとしてのボールと、同じく注目オブジェクトとしてのゴールＡとが最も離間して見える真横からの方向を視線方向とした仮想視点１３０１が設定されているのが分かる。図１３（ｂ）は、新たに設定された仮想視点１３０１からの見えを表す仮想視点映像を示しており、フィールドプレイヤーによるシュートシーンの観賞に適した映像となっている。このように、予め設定した視点変更要件に従って、仮想視点を自動で切り替えることができる。

【0057】

（変形例）
本実施形態の上述の内容は、３次元空間に設置された複数のカメラの中から使用するカメラを選択的に切り替えることで任意の視点からの映像を出力する視点切換映像にも適用可能である。この場合、前述の「視点情報」における「視点移動先」の情報には、切替後の視点（すなわち、選択するカメラ）を定義しておけばよい。これにより、視点変更要件成立時に注目オブジェクトの観察に適した視点のカメラを自動設定することが可能となる。

【0058】

本実施形態によれば、事前に用意した視点変更要件に従って３次元空間における視点が自動で変更される。これにより、ユーザが見たい視点からの映像を容易に得ることができる。

【0059】

［実施形態２］
次に、成立している視点変更要件が複数ある場合にその中から実際に適用する視点変更要件を選択的に決定する態様を、実施形態２として説明する。なお、画像処理システムの基本構成などは実施形態１と共通する事項については説明を省略する。

【0060】

（仮想視点映像の生成・出力処理）
図１４は、本実施形態に係る仮想視点映像を生成・出力する処理の流れを示すフローチャートである。このフローチャートで示す一連の処理も、ユーザ端末１２０から仮想視点自動設定処理の開始リクエストを受信した情報処理装置１１０の制御部１１３が、所定の制御プログラムを実行することで実現される。以下の説明では、実施形態１に係る図３のフローチャートと共通する内容については説明を省略ないしは簡略化し、差異点を中心に説明するものとする。

【0061】

Ｓ１４０１～Ｓ１４０６は、前述の図３のフローにおけるＳ３０１～Ｓ３０６にそれぞれ対応する。すなわち、受信した開始リクエストに視点変更要件の更新指示が含まれているか判定され（Ｓ１４０１）、含まれていれば更新処理が実行される（Ｓ１４０２）。そして、処理対象の視点変更要件が決定されると（Ｓ１４０３）、そのステータスの有効／無効が判定される（Ｓ１４０４）。ステータスが無効であれば（Ｓ１４０５でＮｏ）、未処理の視点変更要件の有無を判定する処理（Ｓ１４０７）に進む。一方、ステータスが有効であれば（Ｓ１４０５でＹｅｓ）、続いて当該視点変更要件の成立／不成立が判定される（Ｓ１４０６）。そして、本実施形態の場合、たとえ処理対象の視点変更要件が成立していても、その視点情報に従った視点設定を直ちに行うことなく、未処理の視点変更要件の有無を判定する処理（Ｓ１４０７）に進む。そして、未処理の視点変更要件があれば（Ｓ１４０７でＹｅｓ）、Ｓ１４０３に戻って次の視点変更要件を処理対象に決定して処理を続行し、未処理の視点変更要件がなくなるまで繰り返す。このような処理によって、本実施形態では、ステータスが有効のすべての視点変更要件について、成立しているかどうかがまず判定される。そして、Ｓ１４０８以降の処理において、成立している視点変更要件の中から、実際に適用する視点変更要件が決定されることになる。以下、詳しく説明する。

【0062】

Ｓ１４０８では、成立している視点変更要件が存在するか判定される。成立している視点変更要件があればＳ１４０９に進む。一方、すべての視点変更要件が不成立であれば、Ｓ１４０９及びＳ１４１０をスキップしてＳ１４１１に進み、Ｓ３０９と同様、現在の仮想視点を維持したままで仮想視点映像が映像生成部１１６にて生成される。生成された仮想視点映像のデータは、制御部１１３を介してユーザ端末１２０に出力される。

【0063】

Ｓ１４０９では、成立している視点変更要件が複数存在するかどうかが判定される。ここで、複数の視点変更要件が同時に成立するケースの具体例を説明する。いま、図１５に示す視点変更要件管理テーブルが用意されていたとする。図１５の視点変更要件管理テーブルには、MOVE-1～MOVE-3まで３つの視点変更要件が格納されている。MOVE-1は、関係条件“REL1-approach”における距離Ｃの値として“30”を採用した視点変更要件である。「視点情報」には、「視点移動先」として“注目オブジェクト間の距離が最大の視点”が格納され、「視点再評価」として“成立時のみ”が格納されており、さらに、「視点移動先」と「視点再評価」の情報に加えて「優先度」の情報が格納されている。いま、MOVE-1の優先度は、３つの視点変更要件の中で最も低いことを表す“3”となっている。MOVE-2は、MOVE-1と同じ関係条件“REL1-approach”における距離Ｃの値として“20”を採用した視点変更要件である。その「視点情報」には、「視点移動先」として“注目オブジェクト間の距離が最大の視点”が格納され、「視点再評価」として“5フレーム毎に評価（視点戻しなし）”が格納されている。この場合、関係条件が成立して5フレーム経過後に当該関係条件のチェック（再判定）が行われる。注目オブジェクトであるOBJ4及びOBJ5の位置情報は、前述のとおり5フレーム毎に更新されるので、双方のオブジェクトの移動によって関係条件の成立状態は変化し得る。関係条件の再判定の結果が“成立”である場合には、視点情報に従った新たな視点が設定されることになる。また、“視点戻しなし”は、視点を移動させた後の再判定において当該関係条件が不成立となった場合に、移動前の視点（予め決定された初期視点。例えばフィールドの全体を俯瞰する視点）に戻さずそのまま現在の視点を維持することを規定している。そして、MOVE-2の優先度は“2”となっている。MOVE-3は、注目オブジェクト同士の接触・衝突を表す関係条件“REL2-contact”を採用した視点変更要件である。図１６は、本実施形態に係る関係条件管理テーブルの一例であり、上述の“REL1-approach”に加えて“REL2-contact”が格納されている。“REL2-contact”は、注目オブジェクト同士が接触したこと、より詳細には、その形状が筒で表現される注目オブジェクト間の距離が当該筒の半径の和より小さくなることを条件定義とした関係条件である。そして、MOVE-3の「視点情報」には、「視点移動先」として“OBJ4を中心に表示し2倍ズーム”が格納されている。この場合、OBJ4に対応するプレイヤーＡの注目オブジェクトを画面内の中心に表示した上で、ズームを２倍に変更した仮想視点が設定されることになる。また、「視点再評価」として“5フレーム毎に評価（視点戻しあり）”が格納されているので、関係条件が成立して5フレーム経過後に当該関係条件の再判定を行なう。再び成立していた場合には、最初に成立したときに設定した仮想視点が維持される。すなわち、関係条件が成立している間は、“OBJ4を中心に表示し2倍ズーム”の視点のままになる。また、“視点戻しあり”なので、視点を移動させた後の再判定において当該関係条件が不成立となった場合に、初期視点に戻ることになる。そして、その優先度は３つの視点変更要件の中で最も高いことを表す“1”になっている。いま、図１５に示す通り、MOVE-1のステータスが無効で、MOVE-2とMOVE-3のステータスが有効である。よって、成立判定処理がMOVE-2とMOVE-3とを対象として実行される。そして、例えばOBJ4（プレイヤーA）に対してOBJ5（プレイヤー５）がボールを奪おうとタックルを仕掛けているシーンでは、MOVE-2とMOVE-3とが同時に成立することになる。このように複数の視点変更要件が同時に成立している場合はＳ１４１０に進む。一方、１つの視点変更要件しか成立していなければＳ１４１２に進む。図１４のフローの説明に戻る。

【0064】

Ｓ１４１０では、同時に成立する複数の視点変更要件のうち適用する視点変更要件が優先度に従って決定される。優先度が“2”のMOVE-2と優先度が“1”のMOVE-3とが同時に成立している先の例では、優先度が高い（優先度の値が小さい）MOVE-3が、適用する視点変更要件として決定されることになる。こうして適用する視点変更要件が決定されると、Ｓ１４１２に進む。

【0065】

Ｓ１４１２以降は、図３のフローのＳ３１０～Ｓ３１２と同様である。すなわち、「視点情報」で定義されている内容に従った新たな仮想視点が設定され（Ｓ１４１２）、当該仮想視点からの見えを表す仮想視点映像が映像生成部１１６にて生成・出力され（Ｓ１４１３）、所定の後処理が実行される（Ｓ１４１４）。

【0066】

以上が、本実施形態における仮想視点映像の生成・出力処理の概要である。なお、同時に成立している複数の視点変更要件のうち適用する視点変更要件を選択する際、例えば図１７に示すようなＵＩ画面を表示して、ユーザに選択させてもよい。図１７の例では、３つの視点変更要件がＵＩ画面内に表示され、そのうちの上の２つが同時に成立していることをユーザが認識できるようにハイライト表示されている。ユーザはハイライト表示されたうち所望の視点変更要件を指定することで、適用する視点変更要件を選択できる。図17の例では全ての視点変更要件を表示しているが、成立している視点変更要件のみを表示するようにしてもよい。また、優先度が同じ視点変更要件が同時に複数成立している場合のみ、このようなユーザ選択に係らしめてもよい。

【0067】

本実施形態によれば、成立している視点変更要件が複数ある場合、その中から実際に適用する視点変更要件が選択的に決定される。これによって、ユーザが見たいと考える複数の選択肢の中からより適した視点を容易に設定することができる。

【0068】

上述の各実施形態では、２つのオブジェクトの位置関係が所定の条件を満たした場合（例えば２つのオブジェクトの距離が閾値以下になった場合）に視点を変更する場合の例を中心に説明した。ただしこれに限らず、情報処理装置１１０は、３以上のオブジェクトの位置関係が所定の条件を満たした場合に視点を変更してもよい。例えば、撮影対象のフィールド内において、半径５メートルの円などの所定の大きさの範囲内に、１０人以上の選手など所定数以上のオブジェクトが密集した場合に、上空からフィールドを見下ろすような俯瞰視点に視点を変更してもよい。これにより、オブジェクトが密集した範囲の中心部分など、水平方向からでは見えづらい領域を、ユーザに視認させることができる。

【0069】

（その他の実施例）
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。

【符号の説明】

【0070】

１１０ 情報処理装置
１１３ 制御部

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】

【図15】

【図16】

【図17】