特許 7423251 情報処理装置、情報処理方法、及びプログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2024-01-19

(45)【発行日】2024-01-29

(54)【発明の名称】情報処理装置、情報処理方法、及びプログラム

(51)【国際特許分類】

   G06T 7/70 20170101AFI20240122BHJP

   G06T 19/00 20110101ALI20240122BHJP

   G06F 3/04815 20220101ALI20240122BHJP

   H04N 5/77 20060101ALI20240122BHJP

【ＦＩ】

G06T7/70 Z

G06T19/00 A

G06F3/04815

H04N5/77

【請求項の数】 12

(21)【出願番号】P 2019194811

(22)【出願日】2019-10-25

(65)【公開番号】P2021068330

(43)【公開日】2021-04-30

【審査請求日】2022-10-17

(73)【特許権者】

【識別番号】000001007

【氏名又は名称】キヤノン株式会社

(74)【代理人】

【識別番号】100126240

【弁理士】

【氏名又は名称】阿部 琢磨

(74)【代理人】

【識別番号】100223941

【弁理士】

【氏名又は名称】高橋 佳子

(74)【代理人】

【識別番号】100159695

【弁理士】

【氏名又は名称】中辻 七朗

(74)【代理人】

【識別番号】100172476

【弁理士】

【氏名又は名称】冨田 一史

(74)【代理人】

【識別番号】100126974

【弁理士】

【氏名又は名称】大朋 靖尚

(72)【発明者】

【氏名】石川 零

(72)【発明者】

【氏名】松林 一弘

【審査官】佐藤 実

(56)【参考文献】

【文献】特開２０１９－１０１７９５（ＪＰ，Ａ）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ０６Ｔ ７／７０

Ｇ０６Ｔ １９／００

Ｇ０６Ｆ ３／０４８１５

Ｈ０４Ｎ ５／７７

(57)【特許請求の範囲】

【請求項1】

複数の撮影装置により撮影される複数のオブジェクトの中から特定のオブジェクトを指定するユーザ操作を受け付ける受付手段と、
記憶手段に記憶された複数の視点情報の中から、前記特定のオブジェクトに関連付けられた視点情報を検索する検索手段と、
検索結果である前記視点情報であって前記特定のオブジェクトに関連付けられた前記視点情報が示す仮想視点の位置と当該仮想視点の視線方向とに応じた仮想視点画像を出力する出力手段と、を有することを特徴とする情報処理装置。

【請求項2】

前記出力手段は、前記特定のオブジェクトに関連付けられた視点情報が複数ある場合には、当該複数の視点情報の中からユーザが選択した視点情報に対応する仮想視点画像を出力することを特徴とする請求項１に記載の情報処理装置。

【請求項3】

前記視点情報は、時刻に対する仮想視点の位置の情報と、当該仮想視点からの視線方向の情報と、当該仮想視点に対応するオブジェクトの識別情報と、を含むことを特徴とする請求項１又は２に記載の情報処理装置。

【請求項4】

前記視点情報は、第１の時刻に対する第１の仮想視点の位置の情報と、当該第１の仮想視点からの視線方向の情報と、当該第１の仮想視点に対応するオブジェクトの識別情報と、前記第１の時刻と異なる第２の時刻に対する第２の仮想視点の位置の情報と、当該第２の仮想視点からの視線方向の情報と、当該第２の仮想視点に対応するオブジェクトの識別情報と、を含むことを特徴とする請求項１又は２に記載の情報処理装置。

【請求項5】

前記第１の仮想視点に対応するオブジェクトと前記第２の仮想視点に対応するオブジェクトのうち少なくとも１つが、前記特定のオブジェクトであることを特徴とする請求項４に記載の情報処理装置。

【請求項6】

前記第１の仮想視点に対応するオブジェクトと前記第２の仮想視点に対応するオブジェクトのうちいずれかは、前記特定のオブジェクトとは異なることを特徴とする請求項５に記載の情報処理装置。

【請求項7】

前記出力手段は、前記検索結果をさらに出力すること特徴とする請求項１乃至６のいずれか１項に記載の情報処理装置。

【請求項8】

前記特定のオブジェクトは、出力される前記仮想視点画像の中心に位置することを特徴とする請求項１乃至７のいずれか１項に記載の情報処理装置。

【請求項9】

前記特定のオブジェクトは、出力される前記仮想視点画像の中心から所定の距離以内の範囲に位置することを特徴とする請求項１乃至７のいずれか１項に記載の情報処理装置。

【請求項10】

前記特定のオブジェクトは人物であることを特徴とする請求項１乃至９のいずれか１項に記載の情報処理装置。

【請求項11】

複数の撮影装置により撮影される複数のオブジェクトの中から特定のオブジェクトを指定するユーザ操作を受け付ける受付工程と、
記憶手段に記憶された複数の視点情報の中から、前記特定のオブジェクトに関連付けられた視点情報を検索する検索工程と、
検索結果である前記視点情報であって前記特定のオブジェクトに関連付けられた前記視点情報が示す仮想視点の位置と当該仮想視点の視線方向とに応じた仮想視点画像を出力する出力工程と、を有することを特徴とする情報処理方法。

【請求項12】

コンピュータを、請求項１乃至１０の何れか１項に記載の情報処理装置の各手段として機能させるためのプログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、仮想視点の指定に応じて生成される仮想視点画像に関する。

【背景技術】

【0002】

複数の撮影装置（カメラ）を異なる位置に設置して多視点で同期撮影し、当該撮影により得られた複数の画像を用いて、視点を任意に変更可能な仮想視点画像を生成する技術がある。例えば、サッカーやバスケットボールなどの競技を撮影した複数の撮影画像に基づいて、ユーザにより設定された視点に応じた仮想視点画像を生成することにより、ユーザは様々な視点から競技を観戦することができる。このような仮想視点画像によれば、視聴者に新しい視聴体験を提供することができる。

【0003】

仮想視点画像の制作者は、撮影対象となる競技における選手やボール等のオブジェクトの動きに応じて仮想視点の位置と向きを指定することで、対象シーンを迫力ある画像として見せることができるように制作を行う。特許文献１には、操作デバイスやＵＩ画面を操作して仮想視点画像の生成に係る仮想視点を指定することが記載されている。

【先行技術文献】

【特許文献】

【0004】

【文献】特許第６４８２４９８号公報

【発明の概要】

【発明が解決しようとする課題】

【0005】

一方、仮想視点画像の生成に係る視点情報の利用に関わる利便性を向上させることが求められている。例えば、撮影対象の競技について複数の異なる仮想視点が指定され、それらの仮想視点を示す複数の視点情報がデータベース等に記憶されたとする。ある特定の選手が映っている仮想視点画像を生成可能な視点情報をユーザが探したい場合に、記憶された各視点情報に応じた仮想視点画像を一つひとつ表示して確認することとすると、ユーザの手間が大きくなる。また例えば、ユーザがある視点情報に応じた仮想視点画像を視聴した後、その仮想視点画像に写っている選手を別の視点から見た仮想視点画像を視聴したい場合に、何の手掛かりもなく新たに仮想視点を指定するのは不慣れなユーザにとって難しい。

【0006】

本発明は上記の課題に鑑みてなされたものであり、仮想視点画像の生成に係る視点情報の利用に関わる利便性を向上させることを目的とする。

【課題を解決するための手段】

【0007】

上記の課題を解決するため、本発明に係る情報処理装置は、例えば以下の構成を有する。すなわち、複数の撮影装置により撮影される複数のオブジェクトの中から特定のオブジェクトを指定するユーザ操作を受け付ける受付手段と、記憶手段に記憶された複数の視点情報の中から、前記特定のオブジェクトに関連付けられた視点情報を検索する検索手段と、検索結果である前記視点情報であって前記特定のオブジェクトに関連付けられた前記視点情報が示す仮想視点の位置と当該仮想視点の視線方向とに応じた仮想視点画像を出力する出力手段とを有する。

【発明の効果】

【0008】

本発明によれば、視点情報に応じた注目対象に関する情報を活用できるため、仮想視点画像の生成に係る視点情報の利用に関わる利便性を向上させることができる。

【図面の簡単な説明】

【0009】

【図1】画像処理システムの構成例を示す図である。

【図2】情報処理装置の構成例を示す図である。

【図3】注目点の特定に係る情報処理装置の動作の例を示すフローチャートである。

【図4】注目点の特定について説明するための図である。

【図5】注目点と仮想視点画像の例を示す図である。

【図6】注目点を使用した仮想視点の設定に係る情報処理装置の動作の例を示すフローチャートである。

【図7】注目点を使用した仮想視点の設定について説明するための図である。

【図8】注目点と仮想視点の例を示す図である。

【図9】注目点に基づく視点情報の検索に係る情報処理装置１０３の動作の例を示すフローチャートである。

【図10】注目点に基づく視点情報の検索について説明するための図である。

【発明を実施するための形態】

【0010】

［システム構成］
図１（ａ）は、画像処理システム１０の構成例を示す図である。画像処理システム１０は、複数の撮影装置による撮影に基づく複数の画像（複数視点画像）と、指定された仮想視点とに基づいて、指定された仮想視点からの見えを表す仮想視点画像を生成するシステムである。本実施形態における仮想視点画像は、自由視点映像とも呼ばれるものであるが、ユーザが自由に（任意に）指定した視点に対応する画像に限定されず、例えば複数の候補からユーザが選択した視点に対応する画像なども仮想視点画像に含まれる。また、本実施形態では仮想視点の指定がユーザ操作により行われる場合を中心に説明するが、仮想視点の指定が画像解析の結果等に基づいて自動で行われてもよい。また、本実施形態では仮想視点画像が動画である場合を中心に説明するが、仮想視点画像は静止画であってもよい。すなわち、画像処理システム１０は、静止画及び動画の何れについても処理可能である。以降の説明に於いては、特に断りがない限り、画像という文言が動画と静止画の両方の概念を含むものとして説明する。

【0011】

画像処理システム１０は、撮影システム１０１、画像生成装置１０２、及び情報処理装置１０３を有する。撮影システム１０１は、撮影領域内の被写体（オブジェクト）を複数の方向から撮影する複数の撮影装置を有する。撮影領域は、例えばサッカーや空手などの競技が行われる競技場、もしくはコンサートや演劇が行われる舞台などである。複数の撮影装置は、このような撮影領域を取り囲むようにそれぞれ異なる位置に設置され、同期して撮影を行う。なお、複数の撮影装置は撮影領域の全周にわたって設置されていなくてもよく、設置場所の制限等によっては撮影領域の周囲の一部にのみ設置されていてもよい。撮影装置の数は限定されないが、例えば撮影領域をサッカーの競技場とする場合には、競技場の周囲に３０台程度の撮影装置が設置される。また、望遠カメラと広角カメラなど機能が異なる撮影装置が設置されていてもよい。撮影システム１０１は、複数の撮影装置による撮影に基づく複数視点画像を、画像生成装置１０２へ出力する。

【0012】

画像生成装置１０２は、撮影システム１０１から取得した複数視点画像と、情報処理装置１０３から取得した視点情報とに基づいて、仮想視点画像を生成する。仮想視点画像は、例えば以下のような方法で生成される。まず、複数の撮影装置によりそれぞれ異なる方向から撮影することで得られた複数視点画像から、人物やボールなどの所定のオブジェクトに対応する前景領域を抽出した前景画像と、前景領域以外の背景領域を抽出した背景画像が取得される。また、所定のオブジェクトの三次元形状を表す前景モデルと前景モデルに色付けするためのテクスチャデータとが前景画像に基づいて生成され、競技場などの背景の三次元形状を表す背景モデルに色づけするためのテクスチャデータが背景画像に基づいて生成される。そして、前景モデルと背景モデルに対してテクスチャデータをマッピングし、視点情報が示す仮想視点に応じてレンダリングを行うことにより、仮想視点画像が生成される。ただし、仮想視点画像の生成方法はこれに限定されず、三次元モデルを用いずに撮影画像の射影変換により仮想視点画像を生成する方法など、種々の方法を用いることができる。

【0013】

仮想視点画像の生成に用いられる視点情報は、仮想視点の位置及び向き（視線方向）を示す情報である。具体的には、視点情報は、３次元空間における仮想視点の位置（Ｘ軸、Ｙ軸、及びＺ軸上の位置）を表すパラメータと、パン、チルト、及びロール方向における仮想視点の向きを表すパラメータとを含む、パラメータセットを有する。また、視点情報は複数の時点にそれぞれ対応する複数のパラメータセットを有する。例えば、視点情報は、仮想視点画像の動画を構成する複数のフレームにそれぞれ対応する複数のパラメータセットを有し、連続する複数の時点それぞれにおける仮想視点の位置及び向きを示す。なお、視点情報の内容は上記に限定されない。例えば、視点情報としてのパラメータセットには、ズーム率や焦点距離など仮想視点に対応する視野の大きさ（画角）を表すパラメータや、時刻を表すパラメータが含まれてもよい。

【0014】

なお、本実施形態の説明においては、仮想カメラという用語を用いる。仮想カメラとは、撮影領域の周囲に実際に設置された複数の撮影装置とは異なる仮想的なカメラであって、仮想視点画像の生成に係る仮想視点を便宜的に説明するための概念である。すなわち、仮想視点画像は、撮影領域に関連付けられた３次元の仮想空間内に設定された仮想視点から撮影した画像であるとみなすことができる。そして、仮想的な当該撮影における視点の位置及び向きは仮想カメラの位置及び向きとして表すことができる。言い換えれば、仮想視点画像は、空間内に設定された仮想視点の位置にカメラが存在するものと仮定した場合に、そのカメラにより得られる撮影画像を模擬した画像であると言える。また本実施形態では、経時的な仮想視点の変遷の内容を、仮想カメラパスと表記する。ただし、本実施形態の構成を実現するために仮想カメラの概念を用いることは必須ではない。すなわち、少なくとも空間内における特定の位置を表す情報と向きを表す情報とが設定され、設定された情報に応じて仮想視点画像が生成されればよい。

【0015】

画像生成装置１０２は、撮影システム１０１から取得した複数視点画像に基づいて順次仮想視点画像を生成することで、ライブ仮想視点画像を生成することができる。なお、画像処理システム１０が生成するライブ仮想視点画像は、撮影システム１０１および画像生成装置１０２での処理遅延の影響により、現在時刻よりも所定時間前の撮影領域の状況を表す画像となる。また、画像生成装置１０２は、撮影システム１０１から取得した複数視点画像を記憶部に記憶しておくことで、過去の任意時点の撮影領域の状況を表す仮想視点画像（リプレイ仮想視点画像）を生成することもできる。

【0016】

画像生成装置１０２により生成された仮想視点画像は、情報処理装置１０３へ出力され、情報処理装置１０３が有する表示部１１６に表示される。ただし、仮想視点画像の出力先はこれに限定されない。例えば、生成された仮想視点画像は、情報処理装置１０３とは別の表示装置（不図示）に出力されてもよいし、画像生成装置１０２が有する記憶部又は外部の記憶装置（不図示）へ仮想視点画像が出力されてもよい。また、画像生成装置１０２は、ライブ仮想視点画像とリプレイ仮想視点画像をそれぞれ異なる出力先へ出力してもよい。また、画像処理システム１０が複数の情報処理装置１０３を有し、それぞれの情報処理装置１０３が画像生成装置１０２と接続して通信を行ってもよい。

【0017】

［ハードウェア構成］
図１（ｂ）は、情報処理装置１０３のハードウェア構成例を示す。なお、画像生成装置１０２のハードウェア構成も、以下で説明する情報処理装置１０３の構成と同様である。情報処理装置１０３は、ＣＰＵ１１１、ＲＡＭ１１２、ＲＯＭ１１３、通信部１１４、操作部１１５、及び表示部１１６を有する。

【0018】

ＣＰＵ１１１は、ＲＡＭ１１２やＲＯＭ１１３に格納されているコンピュータプログラムやデータを用いて情報処理装置１０３の全体を制御する。なお、情報処理装置１０３がＣＰＵ１１１とは異なる１又は複数の専用のハードウェアを有し、ＣＰＵ１１１による処理の少なくとも一部を専用のハードウェアが実行してもよい。専用のハードウェアの例としては、ＡＳＩＣ（特定用途向け集積回路）、ＦＰＧＡ（フィールドプログラマブルゲートアレイ）、およびＤＳＰ（デジタルシグナルプロセッサ）などがある。ＲＡＭ１１２は、ＲＯＭ１１３から読みだされたコンピュータプログラムや計算の途中結果、及び通信部１１４を介して外部から供給されるデータなどを一時的に記憶する。ＲＯＭ１１３は、変更を必要としないコンピュータプログラムやデータを保持する。

【0019】

通信部１１４は、ＥｔｈｅｒｎｅｔやＵＳＢなどを用いた通信を行うための通信インターフェースを有し、画像生成装置１０２などの外部の装置との通信を行う。操作部１１５は、例えばキーボードやマウス、ジョイスティック、タッチパネル等で構成され、ユーザによる操作を受けて各種の指示をＣＰＵ１１１に入力する。表示部１１６は、例えば液晶ディスプレイやＬＥＤ等で構成され、ユーザが情報処理装置１０３を操作するためのＧＵＩ（Ｇｒａｐｈｉｃａｌ Ｕｓｅｒ Ｉｎｔｅｒｆａｃｅ）などを表示する。なお、本実施形態では操作部１１５と表示部１１６が情報処理装置１０３の内部に存在するものとするが、操作部１１５と表示部１１６の少なくとも一方が情報処理装置１０３の外部に別の装置として存在していてもよい。

【0020】

図２（ｂ）に、操作部１１５の一例である、６軸操作が可能なコントローラ２１１を示す。コントローラ２１１は、３軸操作が可能なジョイスティック２１２とジョイスティック２１３を有する。ジョイスティック２１２とジョイスティック２１３の各操作軸には、仮想視点の位置の操作、仮想視点の向きの操作、及び画角の操作などが割り当てられる。例えば、ジョイスティック２１２を３軸方向に操作することで仮想視点の位置がＸ軸、Ｙ軸、及びＺ軸方向に変化し、ジョイスティック２１３を３軸方向に操作することで、仮想視点の向きがパン方向及びチルト方向に変化し、仮想視点のズーム率が変化する。

【0021】

［機能構成］
図２（ａ）は、情報処理装置１０３の機能構成の例を示す。入力部２０４は、操作部１１５を介して、ユーザによる操作に応じた入力を受け付ける。入力部２０４が受け付ける入力は、例えば、仮想視点の位置及び向きの変更量を示すパラメータを含む。視点設定部２０１は、入力部２０４により受け付けられた入力に基づいて仮想視点の位置及び向きを設定する。送信部２０２は、視点設定部２０１により設定された仮想視点の位置及び向きを示す視点情報を、通信部１１４を介して画像生成装置１０２へ送信する。

【0022】

画像生成装置１０２は、送信部２０２から送信された視点情報と、撮影システム１０１により撮影される撮影領域内に位置するオブジェクトの３次元位置及び３次元形状を示すオブジェクト情報とに基づいて、仮想視点画像を生成する。そして情報取得部２０５は、画像生成装置１０２により生成された仮想視点画像を取得する。また情報取得部２０５は、画像生成装置１０２からオブジェクト情報を取得する。オブジェクト情報は、例えば、撮影システム１０１が取得した複数視点画像に基づいて３次元空間におけるオブジェクトの位置及び形状を特定することで、画像生成装置１０２により生成される。なお、情報取得部２０５が外部から取得する情報はこれらに限定されない。

【0023】

注目点特定部２０３は、視点設定部２０１により設定された仮想視点を示す視点情報と、情報取得部２０５により取得されたオブジェクト情報とに基づいて、仮想視点に応じた注目点を特定する。本実施形態における注目点とは、仮想視点画像に含まれる注目対象の３次元位置である。具体的には、ある選手などの特定のオブジェクトを注目対象とする仮想視点画像が生成されるように仮想視点が指定された場合、そのオブジェクトの位置が注目点となる。なお、本実施形態では注目対象のオブジェクトが撮影領域内の人物であるものとして説明するが、注目対象のオブジェクトはこれに限らず、例えばボールなどの器具であってもよい。

【0024】

注目対象のオブジェクトは、例えば、仮想視点画像の中心に位置するオブジェクトや、仮想視点画像の中心に最も近いオブジェクトであってもよい。また例えば、画像生成装置１０２により生成される仮想視点画像が所定の再生期間の動画である場合には、注目対象のオブジェクトは、再生期間の全体において仮想視点画像に含まれるオブジェクトであってもよい。ただし、注目対象のオブジェクトはこれらに限定されない。なお、仮想視点画像が動画である場合、注目対象のオブジェクトが再生期間中に切り替わってもよい。この場合、注目点特定部２０３は、切り替え前の注目対象のオブジェクトの位置を切り替え前の時点における注目点として特定し、切り替え後の注目対象のオブジェクトの位置を切り替え後の時点における注目点として特定する。

【0025】

記憶制御部２０６は、注目点特定部２０３により特定された注目点の位置を、ＲＯＭ１１３などの記憶部に記憶する。本実施形態では、画像生成装置１０２により生成される仮想視点画像が動画であり、注目点特定部２０３により特定される注目点の位置は経時的に変化する。そのため記憶制御部２０６は、変化する注目点の位置を時系列で記憶する。表示制御部２０７は、情報取得部２０５により取得された仮想視点画像を表示部１１６に表示させる。なお、記憶制御部２０６が情報を記憶する記憶先は、情報処理装置１０３が有する記憶部に限らず、例えば情報処理装置１０３と接続された別の装置が有する記憶部であってもよい。

【0026】

なお、画像処理システム１０の構成及び情報処理装置１０３の構成は上記の例に限定されない。例えば、図２（ａ）に示す情報処理装置１０３の構成要素の一部が、情報処理装置１０３と通信可能な別の装置に実装されていてもよい。また例えば、画像生成装置１０２と情報処理装置１０３とが一体となって構成されていてもよい。

【0027】

［注目点の特定処理］
図３（ａ）は、情報処理装置１０３による注目点を特定するための動作の例を示すフローチャートである。図３（ａ）に示す処理は、情報処理装置１０３のＣＰＵ１１１がＲＯＭ１１３に格納されたプログラムをＲＡＭ１１２に展開して実行することで実現される。なお、図３（ａ）に示す処理の少なくとも一部を、ＣＰＵ１１１とは異なる１又は複数の専用のハードウェアにより実現してもよい。後述する図６と図９に示すフローチャートの処理も同様である。図３（ａ）に示す処理は、画像生成装置１０２と情報処理装置１０３とが接続され、仮想視点画像の生成に係る仮想視点の指定を行うための指示が情報処理装置１０３に入力されたタイミングで開始される。ただし、図３（ａ）に示す処理の開始タイミングはこれに限定されない。なお、図３（ａ）の処理は、仮想視点画像の動画を構成するフレームごとに実行される。

【0028】

Ｓ３０１において、視点設定部２０１は、入力部２０４が受け付けたユーザ操作に応じた入力に基づいて、仮想視点の位置及び向きを設定する。Ｓ３０２において、送信部２０２は、Ｓ３０１において設定された仮想視点の位置及び向きを示す視点情報を、通信部１１４を介して、画像生成装置１０２へ送信する。すなわち、所定のオブジェクトを注目対象とする仮想視点画像を生成するためにユーザにより仮想視点が指定されると、情報処理装置１０３は、その仮想視点の位置及び向きを示す視点情報を取得し、画像生成装置１０２へ送信する。なお、Ｓ３０２において送信される視点情報には、どの時刻の仮想視点画像を生成するための視点情報であるかを示す時刻情報（例えば動画のフレーム番号）も含まれる。

【0029】

Ｓ３０３において、情報取得部２０５は、Ｓ３０２において送信された視点情報に含まれる時刻情報が示す時刻におけるオブジェクトの位置を示すオブジェクト情報を、通信部１１４を介して画像生成装置１０２から受信する。撮影領域に複数のオブジェクトが存在する場合には、情報取得部２０５が取得するオブジェクト情報は、複数のオブジェクトの位置を示す。Ｓ３０４において、注目点特定部２０３は、Ｓ３０１において設定された仮想視点の位置及び向きを示す視点情報と、Ｓ３０３において取得されたオブジェクト情報とに基づいて、撮影領域内の複数のオブジェクトのうち注目対象のオブジェクトを判別する。そして注目点特定部２０３は、判別された注目対象のオブジェクトの位置を、仮想視点に応じた注目点として特定する。Ｓ３０４の処理の詳細については、図３（ｂ）を用いて後述する。Ｓ３０５において、記憶制御部２０６は、Ｓ３０４において特定された注目点を示す情報を記憶部に出力する。

【0030】

Ｓ３０６において、情報取得部２０５は、Ｓ３０２において送信された視点情報に基づいて生成された仮想視点画像を、通信部１１４を介して画像生成装置１０２から受信する。Ｓ３０７において、表示制御部２０７は、Ｓ３０６において取得された仮想視点画像を表示部１１６に表示させる。このようにして、表示部１１６には、操作部１１５に対して行われたユーザ操作に応じた仮想視点画像が表示される。

【0031】

なお、本実施形態ではＳ３０３～Ｓ３０５の処理とＳ３０６～Ｓ３０７の処理が並行して行われるものとするが、これに限らず、一方の処理が終了してから他方の処理が行われてもよいし、Ｓ３０６～Ｓ３０７の処理が行われなくてもよい。また、上記の例では仮想視点画像の動画のフレームごとに図３（ａ）に示す処理が実行されるものとしたが、これに限定されない。例えば、情報処理装置１０３は、所定の期間におけるオブジェクトの位置を示すオブジェクト情報を一括で取得してもよい。そして情報処理装置１０３は、その期間に対応する視点情報とオブジェクト情報とに基づいて、その期間における注目点を特定して記憶してもよい。また情報処理装置１０３は、所定の期間に対応する視点情報を画像生成装置１０２に送信し、その期間に対応する仮想視点画像を画像生成装置１０２から一括で取得してもよい。

【0032】

次に図３（ｂ）を用いて、Ｓ３０４における処理の詳細を説明する。本実施形態において、注目点特定部２０３は、仮想視点の位置及び向きに応じた光軸と、オブジェクト情報が示すオブジェクトの位置との位置関係に基づいて、注目対象のオブジェクトを特定する。Ｓ３１１において、注目点特定部２０３は、視点情報に基づいて仮想カメラの光軸を特定する。仮想カメラの光軸は、仮想視点の位置（仮想カメラの位置）から仮想視点の向きに応じた視線方向に延びる直線であり、例えば以下の３次元のベクトルで表すことができる。

【0033】

【数1】

【0034】

ここで、αは仮想視点の向きのパン角度、βは仮想視点の向きのチルト角度を示す。

【0035】

仮想視点に対応する仮想カメラの光軸を図４（ａ）に示す。図４（ａ）には、Ｘ軸４０１、Ｙ軸４０２、Ｚ軸４０３、仮想視点４１２の位置のＸ座標４０４、Ｙ座標４０５、及びＺ座標４０６が示されている。ベクトル４０９は、パン角度４１０及びチルト角度４１１を有する仮想視点の視線方向に対応する。ベクトル４０７は仮想視点４１２の位置を通り且つＹ軸４０２に平行なベクトルであり、ベクトル４０７をＸＹ平面上でα度回転させたベクトルがベクトル４０８である。また、ベクトル４０８をＸＺ平面上でβ度回転させたベクトルがベクトル４０９であり、このベクトル４０９が仮想カメラの光軸を表す。

【0036】

Ｓ３１２において、注目点特定部２０３は、Ｓ３０３で取得したオブジェクト情報に基づいて、仮想カメラの光軸上にオブジェクトが存在するかを判定する。光軸上にオブジェクトが存在する場合（Ｓ３１２：Ｙｅｓ）はＳ３１４に進み、存在しない場合（Ｓ３１２：Ｎｏ）はＳ３１３に進む。Ｓ３１３において、注目点特定部２０３は、オブジェクト情報に基づいて、仮想カメラの光軸からの距離が最も近いオブジェクトを特定する。

【0037】

図４（ｂ）を用いて、Ｓ３１２の処理について説明する。モデル４５１は、撮影領域に関連付けられた３次元の仮想空間内におけるオブジェクトの位置及び形状を表す３次元モデルであり、複数視点画像に基づいて画像生成装置１０２により生成されたオブジェクト情報によって表現される。像面４５３は、仮想空間に配置されたモデル４５１と仮想視点４５２に基づいて生成される仮想視点画像が結像される仮想的な結像面である。光軸４５４は、仮想視点４５２と像面４５３の中心を通る。注目点特定部２０３は、光軸４５４上にモデル４５１が存在するか（光軸４５４とモデル４５１とが交差する点４５５が存在するか）否かを判定し、存在する場合はＳ３１４に進み、存在しない場合はＳ３１３に進む。交差する点４５５が存在する場合、点４５５と仮想視点４５２との間の距離を、仮想視点４５２からモデル４５１に対応するオブジェクトまで距離とする。

【0038】

図５（ｂ）は、画像生成装置１０２により生成される仮想視点画像の例を示している。仮想視点画像は、各画素について色情報を表すＲＧＢ値を有する。図５（ｃ）は、図５（ｂ）に示す仮想視点画像に対応する仮想視点から仮想空間内のオブジェクトの３次元モデルを見た様子を示している。図５（ｃ）において、３次元モデルが存在する領域は白色、存在しない領域は黒色で表されている。仮想カメラの光軸は仮想視点画像の中央を手前から奥に向けて通る直線であるため、仮想視点画像の中心５５１にオブジェクトが存在すれば、仮想カメラの光軸上にオブジェクトのモデルが存在し、処理はＳ３１４に進む。

【0039】

図５（ｄ）は、図５（ｂ）と異なる仮想視点画像の例を示している。図５（ｅ）は、図５（ｄ）に示す仮想視点画像に対応する仮想視点から仮想空間内のオブジェクトの３次元モデルを見た様子を示している。図５（ｅ）に示す状況では、仮想カメラの光軸上にオブジェクトのモデルが存在しないため、注目点特定部２０３は、光軸からの距離が最も近いオブジェクトを特定する。例えば、画像の中心から最も近いオブジェクト５５３が特定される。なお、光軸から最も近いオブジェクトが複数存在する場合、仮想視点からの距離が一番近いオブジェクトを特定してもよい。

【0040】

Ｓ３１４において、注目点特定部２０３は、Ｓ３１２またはＳ３１３で特定されたオブジェクト（仮想カメラの光軸上のオブジェクト又は光軸に最も近いオブジェクト）の位置を特定する。そしてＳ３１５において、注目点特定部２０３は、Ｓ３１４において特定されたオブジェクトの位置を、注目点として設定する。例えば、注目点特定部２０３は、Ｓ３１２又はＳ３１３において特定されたオブジェクトと仮想視点との間の距離ｄを算出する。そして注目点特定部２０３は、注目点の位置ｆを以下の式により算出する。

【0041】

【数2】

【0042】

ここでｐｘ、ｐｙ、ｐｚは、それぞれ仮想視点の位置のＸ座標４０４、Ｙ座標４０５、Ｚ座標４０６である。

【0043】

なお、本実施形態では、注目点特定部により特定される注目点は、オブジェクトのモデルを構成する点群のうち光軸に最も近い点であるものとする。ただし、注目点として特定されるオブジェクトの位置はこれに限定されない。例えば、光軸上のオブジェクト又は光軸に近いオブジェクトの重心位置や、オブジェクトの特定の部分（選手の顔部分など）の位置が、注目点として特定されてもよい。また、仮想カメラの光軸上に複数のオブジェクトが存在する場合、注目点特定部２０３は、それらのオブジェクトのうち仮想視点の位置に最も近いオブジェクトの位置を注目点として特定してもよい。

【0044】

また、注目点特定部２０３は、光軸から一定の距離以内にオブジェクトが存在しない場合、対象のフレームにおいて注目点が存在しないと判断してもよい。この場合、Ｓ３０５において記憶制御部２０６は、そのフレームに対応する注目点を記憶しなくてもよい。あるいは、記憶制御部２０６は、前のフレームで特定された注目点と同一の注目点を記憶してもよい。

【0045】

また、注目点特定部２０３は、仮想視点からＳ３１２又はＳ３１３において特定されたオブジェクトの位置までの距離と、前のフレームにおける仮想視点から注目点までの距離との差が、閾値以上であるかを判定してもよい。そして注目点特定部２０３は、この距離の差が閾値以上である場合には、光軸に最も近いオブジェクトとは別のオブジェクトの位置を注目点として特定してもよい。具体的には、仮想視点からオブジェクトまでの距離と前フレームにおける仮想視点から注目点までの距離との差が閾値未満であるオブジェクトの位置を、対象フレームにおける注目点として特定してもよい。このような処理により、注目対象でないオブジェクトが一時的に仮想カメラの光軸上に入ってきた場合にも、注目対象のオブジェクトの位置を注目点として記憶し続けることができる。

【0046】

以上説明したように、本実施形態に係る情報処理装置１０３は、所定のオブジェクトを注目対象とする仮想視点画像を生成するために指定された仮想視点の位置及び向きを示す視点情報と、オブジェクトの位置を示すオブジェクト情報を取得する。そして情報処理装置１０３は、取得した視点情報とオブジェクト情報とに基づいて視点情報に応じた注目対象のオブジェクトを特定し、特定されたオブジェクトに関する情報を出力する。上記のような構成によれば、仮想視点画像の生成に係る仮想視点が指定された場合に、どのオブジェクトを注目対象として仮想視点が指定されたかを判別することができ、さらに注目対象のオブジェクトの位置を特定することができる。これにより、仮想視点画像の生成に係る視点情報の利用に関わる利便性を向上させることができる。

【0047】

なお、本実施形態では、情報処理装置１０３が視点情報とオブジェクトの３次元空間における位置及び形状を示すオブジェクト情報とに基づいて注目点を特定する場合を中心に説明するが、注目点の特定方法はこれに限定されない。例えば、Ｓ３０３において情報処理装置１０３は、Ｓ３０２において送信された視点情報に応じた距離画像を取得してもよい。ここで距離画像とは、仮想視点の位置及び向きに応じた画像であって、各画素値がその画素に対応するオブジェクトと仮想視点との距離を示す画像である。そして情報処理装置１０３は、Ｓ３０４において、距離画像をオブジェクトの位置を示すオブジェクト情報として用いて上記と同様の計算を行うことにより、注目点を特定してもよい。この方法によれば、情報処理装置１０３と画像生成装置１０２との間で通信されるデータ量を削減することができる。また例えば、情報処理装置１０３は、Ｓ３０６で取得した仮想視点画像を解析することでオブジェクトの位置と仮想視点からオブジェクトまでの距離とを推定し、その推定結果をオブジェクト情報として用いることにより、注目点を特定してもよい。また、注目点の特定には仮想カメラの光軸を用いなくてもよく、例えば注目点特定部２０３は、仮想視点に応じた視界に含まれる範囲を特定し、その中心から所定距離の範囲に含まれるオブジェクトの位置を注目点として特定してもよい。

【0048】

ここで図５（ａ）を用いて、撮影システム１０１に含まれる１つの撮影装置により撮影された撮影画像と、Ｓ３０１で設定される仮想視点と、Ｓ３０７で表示される仮想視点画像と、Ｓ３０４で特定される注目点との関係の具体例を示す。ブロック５０１、ブロック５１１、ブロック５２１、及びブロック５３１は、それぞれ、時刻ｔ１における撮影画像、仮想視点の位置と向き、仮想視点画像、及び注目点を示す。撮影画像に写る選手５０１Ａと選手５０１Ｂを、仮想視点５１１Ａから見ると、仮想視点画像に含まれる選手画像５２１Ａと選手画像５２１Ｂのように見える。仮想視点画像の中心には選手画像５２１Ａが存在し、選手５０１Ａの位置が注目点５３１Ａとなる。注目点５３１Ａは記憶制御部２０６により記憶される。

【0049】

ブロック５０２、ブロック５１２、ブロック５２２、及びブロック５３２は、それぞれ、ｔ１より後の時刻ｔ２における撮影画像、仮想視点の位置と向き、仮想視点画像、及び注目点を示す。撮影画像に写る選手５０２Ａと選手５０２Ｂを、仮想視点５１２Ａから見ると、仮想視点画像に含まれる選手画像５２２Ａと選手画像５２２Ｂのように見える。仮想視点画像の中心には選手画像５２２Ａが存在し、選手５０２Ａの位置が注目点となる。軌跡５３２Ａは、時刻ｔ１からｔ２までの注目点の軌跡（各時刻における注目点の集合）を示している。注目点はフレームごとに特定され、記憶制御部２０６はフレームごとに新しい注目点を追加で記憶する。

【0050】

ブロック５０３、ブロック５１３、ブロック５２３、及びブロック５３３は、それぞれ、ｔ２より後の時刻ｔ３における撮影画像、仮想視点の位置と向き、仮想視点画像、及び注目点を示す。軌跡５３３Ａは、時刻ｔ１からｔ３までの注目点の軌跡を示している。軌跡５３３Ａには、軌跡５３２Ａに含まれる注目点の集合に加えて、時刻ｔ２からｔ３までの注目点がさらに含まれる。

【0051】

［注目点を使用した仮想視点の設定処理］
次に、上述した処理により特定された注目点の使用例について説明する。以下に示す例において、情報処理装置１０３は、図３を用いて説明した方法により特定された注目点の情報と新たなユーザ操作に応じた入力とに基づいて、Ｓ３０７において表示される仮想視点画像とは視点が異なる別の仮想視点画像を表示する。

【0052】

図６は、注目点の情報を使用して新たに仮想視点を設定し仮想視点画像を表示するための、情報処理装置１０３の動作の例を示すフローチャートである。図６に示す処理は、図３に示すような処理により注目点が特定された後に、新たな仮想視点画像の生成に係る仮想視点の指定を行うための指示が情報処理装置１０３に入力されたタイミングで開始される。ただし、図６に示す処理の開始タイミングはこれに限定されない。なお、図６の処理は、仮想視点画像の動画を構成するフレームごとに実行される。

【0053】

Ｓ６０１において、入力部２０４は、操作部１１５を介してユーザ操作に応じた入力を受け付ける。Ｓ６０１において受け付けられる入力には、例えば、表示対象の仮想視点画像の時刻を指定するための入力と、仮想視点の位置を指定するための操作に応じた入力と、使用する注目点を特定するための入力とが含まれる。Ｓ６０２において、視点設定部２０１は、Ｓ６０１において受け付けられた入力に基づいて、図３に示す処理により記憶部に記憶された注目点の情報、すなわち注目オブジェクトの位置を特定する情報を取得する。具体的には、入力部２０４により受け付けられた入力が示す仮想視点画像の時刻に対応する注目点の情報が取得される。また、同じ時刻に対応する複数の注目点が記憶されている場合などには、それらのうち１つの注目点を選択するユーザ操作に応じた入力など、使用する注目点を特定するための入力に応じた注目点の情報が取得される。

【0054】

Ｓ６０３において、視点設定部２０１は、Ｓ６０１において受け付けられた仮想視点の位置を指定するための入力と、Ｓ６０２において取得された注目点の情報とに基づいて、仮想視点の位置及び向きを設定する。ここで設定される仮想視点は、ユーザ操作に応じた入力に基づいて決まる位置から注目点に向けられた仮想視点となる。すなわち、Ｓ６０１において仮想視点の位置がユーザ操作により指定されると、Ｓ６０２において取得された情報が示す注目点が仮想カメラの光軸上に位置するように仮想視点の向きが自動で決定される。

【0055】

Ｓ６０４において、送信部２０２は、Ｓ６０３において設定された仮想視点の位置及び向きを示す視点情報を生成し、通信部１１４を介して、画像生成装置１０２へその視点情報を送信する。Ｓ６０５において、情報取得部２０５は、Ｓ６０４において送信された視点情報に基づいて生成された仮想視点画像を、通信部１１４を介して画像生成装置１０２から受信する。Ｓ６０６において、表示制御部２０７は、Ｓ６０５において取得された仮想視点画像を表示部１１６に表示させる。このようにして、表示部１１６には、操作部１１５に対して行われたユーザ操作により指定された位置から予め特定された注目点を見た様子を示す仮想視点画像が表示される。

【0056】

なお、本実施形態では図３に示す処理と図６に示す処理とを同じ情報処理装置１０３が実行するものとして説明した。すなわち、情報処理装置１０３は、ユーザ操作に応じた入力に基づいて仮想視点を設定する際に、記憶されている注目点の情報を用いるか否かを切り替え可能であるものとした。しかしこれに限らず、情報処理装置１０３は図３に示す処理と図６に示す処理の何れか一方のみを実行してもよい。例えば、画像処理システム１０が複数の情報処理装置１０３を有し、ある情報処理装置１０３が図３に示す処理を実行して注目点の情報を記憶し、別の情報処理装置１０３がその記憶された注目点の情報を用いて図６に示す処理を実行してもよい。

【0057】

図７を用いて、図６のＳ６０３における仮想視点の設定の詳細を説明する。上述したように、仮想視点７０２は、注目点７０１を向くように設定される。そして、仮想視点７０２と注目点７０１との距離７０３と、その距離を半径とする球面７０４上における仮想視点７０２の位置が、ユーザ操作に基づいて変更可能される。球面７０４上における仮想視点７０２の移動方向は、経度方向７０５と緯度方向７０６の２方向である。すなわち、ユーザによる仮想視点の操作は、球面７０４の経度方向７０５と、緯度方向７０６と、半径方向との、３軸の操作に限定される。そのため、ユーザは、Ｘ軸、Ｙ軸、Ｚ軸、パン、及びチルトの５軸の操作を行う場合と比べて簡単な操作により、注目点を任意の方向から見る仮想視点を設定することができる。なお、仮想視点の操作軸の数及び操作内容は上記の例に限定されない。例えば、３軸のユーザ操作に応じて仮想視点がＸ軸方向、Ｙ軸方向、及びＺ軸方向に移動し、視点設定部２０１により注目点と仮想視点の位置に基づいて仮想視点の向きが自動で決定されてもよい。

【0058】

ここで図８を用いて、撮影装置により撮影された撮影画像と、Ｓ６０２で取得される注目点と、Ｓ６０１における仮想視点の指定のための入力と、Ｓ６０３で設定される仮想視点と、Ｓ６０６で表示される仮想視点画像との関係の具体例を示す。図８における撮影領域内のオブジェクトの位置及び撮影画像は図５に示した例と同様である。

【0059】

ブロック８０１、ブロック８１１、ブロック８２１、ブロック８３１、及びブロック８４１は、それぞれ、時刻ｔ１における撮影画像、注目点、ユーザ操作に応じた入力、仮想視点の位置と向き、及び仮想視点画像を示す。視点設定部２０１は、注目点８１１Ａとユーザ操作に応じた入力とに基づき、仮想視点８３１Ａの位置と方向を決定する。ここでは、注目点８１１Ａを中心に仮想視点の経度方向の位置が時計回りに６０度移動する。ブロック８４１は、移動後の仮想視点８３１Ａに対応する仮想視点画像を示す。

【0060】

ブロック８０２、ブロック８１２、ブロック８２２、ブロック８３２、及びブロック８４２は、それぞれ、時刻ｔ２における撮影画像、注目点、ユーザ操作に応じた入力、仮想視点の位置と向き、及び仮想視点画像を示す。ここでは、仮想視点８３２Ａの位置が注目点８１２Ａから１０ｍ遠ざかるように移動する。ブロック８４２は、移動後の仮想視点８３２Ａからに対応する仮想視点画像を示す。

【0061】

ブロック８０３、ブロック８１３、ブロック８２３、ブロック８３３、及びブロック８４３は、それぞれ、時刻ｔ３における撮影画像、注目点、ユーザ操作に応じた入力、仮想視点の位置と向き、及び仮想視点画像を示す。ここでは、注目点６１３Ａを中心に仮想視点の緯度方以降の位置が上に３０度移動する。ブロック８４３は、移動後の仮想視点８３３Ａに対応する仮想視点画像を示す。

【0062】

なお、情報処理装置１０３は、図５（ａ）のブロック５２１に示すような、仮想点５１１Ａに対応する仮想視点画像と、図８のブロック８４１に示すような、仮想視点８３１Ａに対応する仮想視点画像とを、表示部１１６内の別の領域に同時に表示してもよい。これによりユーザは、最初に指定した仮想視点に対応する仮想視点画像と、注目点の情報をもとに新たに指定した仮想視点に対応する仮想視点画像とを、容易に比較することができる。

【0063】

上記の例では、仮想カメラの光軸上に注目点が位置するように仮想視点が設定されるものとしたが、視点設定部２０１による仮想視点の設定方法はこれに限定されない。視点設定部２０１は、仮想視点に応じた視界（仮想視点画像に写る範囲）に注目点が含まれるように仮想視点の位置及び向きを設定すればよく、注目点が仮想カメラの光軸からずれていてもよい。例えば、視点設定部２０１は、注目点が仮想視点画像の中心から所定方向に所定量ずれた位置に位置するように、仮想視点を設定してもよい。上記の所定方向と所定量は、入力部２０４を介してユーザ操作により設定可能であってもよい。

【0064】

［注目対象に応じた視点情報の検索処理］
次に、視点情報から特定された注目点の使用方法の別の例について説明する。以下に示す例において、情報処理装置１０３は、仮想視点を示す視点情報とその仮想視点に応じた注目対象のオブジェクトの識別情報とを関連付けて記憶しておき、オブジェクトの指定に基づいて対応する視点情報の検索を行う。

【0065】

図９（ａ）は、視点情報と注目対象のオブジェクトの識別情報とを関連付けて記憶するための、情報処理装置１０３の動作の例を示すフローチャートである。情報処理装置１０３は、図３（ａ）に示す処理の代わりに、図９（ａ）に示す処理を実行する。図９（ａ）に示す処理における図３（ａ）に示す処理との違いは、Ｓ３０５の処理の代わりにＳ１００１とＳ１００２の処理が行われる点である。以下ではこの差分について説明する。

【0066】

Ｓ１００１において、注目点特定部２０３は、Ｓ３０４で特定された注目点がどのオブジェクトの位置であるかを判定することで、注目点に対応する注目対象のオブジェクト（注目オブジェクト）を特定する。例えば、注目点特定部２０３は、撮影領域内の複数のオブジェクトの位置情報を取得し、Ｓ３０４において特定された注目点の位置と最も近い位置のオブジェクトを注目オブジェクトとして特定する。

【0067】

例えば撮影システム１０１の撮影対象がサッカーの試合である場合、情報処理装置１０３は、各選手に装着されたＧＰＳなどの位置センサから各選手の位置情報を取得する。そして情報処理装置１０３は、注目点に最も近い位置の選手を注目オブジェクトとして特定する。ただしオブジェクトの位置情報の取得方法はこれに限らず、例えば情報処理装置１０３は、撮影システム１０１により撮影された画像に対して画像認識処理を行うことにより得られた各選手の位置情報を取得してもよい。また例えば、情報処理装置１０３は、Ｓ３０３において取得したオブジェクト情報から、各オブジェクトの位置情報を取得してもよい。この場合、情報処理装置１０３は、Ｓ３０４において注目点の座標を特定せずに、視点情報とオブジェクト情報とに基づいて注目オブジェクトを直接特定してもよい。

【0068】

Ｓ１００２において、記憶制御部２０６は、Ｓ３０１において設定された仮想視点の位置及び向きを示す視点情報と、Ｓ１００１において特定された注目オブジェクトの識別情報（オブジェクトＩＤ）とを、関連付けて記憶部に出力する。オブジェクトの識別情報は、例えばオブジェクトとしての選手の名前や、選手のチーム名と背番号との組み合わせなどである。ただし、識別情報の内容はこれに限定されない。

【0069】

図９の処理が仮想視点画像のフレームごとに実行されることで、記憶部には、注目オブジェクトの識別情報と、そのオブジェクトを注目対象として設定された仮想視点の経時的な変遷の内容を表す仮想カメラパスを示す視点情報とが、関連付けて記憶される。さらに、上記のフローが同じ情報処理装置１０３又は異なる情報処理装置１０３により繰り返し行われることで、記憶部には、複数の仮想カメラパスを示す視点情報と、各仮想カメラパスに対応する注目オブジェクトの識別情報とが記憶される。

【0070】

なお、図９の例では、情報処理装置１０３が各フレームに対応する仮想視点を設定しながら視点情報と注目オブジェクトの識別情報とを記憶部に逐次記憶するものとしたが、これに限定されない。例えば、情報処理装置１０３は、仮想カメラパスを示す視点情報を生成した後に、その仮想カメラパスに対応する注目オブジェクトの識別情報を視点情報と共に記憶部に記憶してもよい。

【0071】

図９（ｂ）は、オブジェクトの指定に基づいて対応する視点情報の検索を行うための、情報処理装置１０３の動作の例を示すフローチャートである。図９（ｂ）に示す処理は、図９（ａ）に示す処理により記憶部にオブジェクトの識別情報と視点情報とが関連付けて記憶された後に、視点情報を検索するための指示が情報処理装置１０３に入力されたタイミングで開始される。ただし、図９（ｂ）に示す処理の開始タイミングはこれに限定されない。

【0072】

Ｓ１０１１において、入力部２０４は、特定のオブジェクトを指定するためのユーザ操作に応じた入力を受け付ける。Ｓ１０１２において、視点設定部２０１は、記憶部に記憶された視点情報の中から、指定されたオブジェクトの識別情報に関連付けられた視点情報を、Ｓ１０１１において受け付けられた入力に基づいて検索する。例えば、撮影システム１０１の撮影対象がサッカーの試合である場合に、入力部２０４は、特定の選手の名前やチーム名及び背番号を指定するユーザ操作に応じた入力を受け付ける。そして視点設定部２０１は、指定された選手を注目対象として設定された仮想カメラパスを示す視点情報を検索する。

【0073】

Ｓ１０１３において、視点設定部２０１は、記憶部に記憶された視点情報のうち検索により取得された視点情報、すなわちユーザ操作により指定されたオブジェクトの識別情報に関連付けられた視点情報を、表示制御部２０７へ出力する。表示制御部２０７は、視点設定部２０１から取得した視点情報に基づいて、Ｓ１０１２における検索の結果を表示部１１６に表示させる。例えば、表示制御部２０７は、検索により見つかった視点情報が示す仮想カメラパスを表す画像を、検索結果として表示させる。また例えば、表示制御部２０７は、検索により見つかった視点情報を画像生成装置１０２へ送信し、その視点情報に基づいて生成された仮想視点画像を画像生成装置１０２から受信して表示部１１６に表示させてもよい。

【0074】

なお、本実施形態では図９（ａ）に示す処理と図９（ｂ）に示す処理とを同じ情報処理装置１０３が実行するものとして説明した。しかしこれに限らず、情報処理装置１０３は図９（ａ）に示す処理と図９（ｂ）に示す処理の何れか一方のみを実行してもよい。例えば、画像処理システム１０が複数の情報処理装置１０３を有し、ある情報処理装置１０３が図９（ａ）に示す処理を実行して視点情報と注目オブジェクトの識別情報とを記憶し、別の情報処理装置１０３が図９（ｂ）に示す検索処理を実行してもよい。

【0075】

ここで図１０（ａ）を用いて、記憶部に記憶された視点情報と、オブジェクトの指定に基づいて検索された視点情報の具体例を示す。記憶部９０２には、それぞれ異なる仮想カメラパスを示す視点情報１１０１、視点情報１１１１、及び視点情報１１２１が記憶されている。視点情報１１０１には、ある時刻における仮想視点の位置及び向きを示すパラメータ１１０２Ａと、その仮想視点に応じた注目オブジェクトの識別情報１１０３Ａが含まれる。また視点情報１１０１には、その後に続く各フレームにおけるパラメータ１１０２Ｂ、パラメータ１１０２Ｃ、及びパラメータ１１０２Ｄと、それぞれに対応する注目オブジェクトの識別情報１１０３Ｂ、識別情報１１０３Ｃ、及び識別情報１１０３Ｄが含まれる。視点情報１１１１及び視点情報１１２１の内容も同様である。

【0076】

ユーザにより指定されたオブジェクト「ｐｌａｙｅｒ１」を示す情報１１３１が入力部２０４を介して入力されると、情報処理装置１０３は、記憶部９０２に記憶された視点情報の中から、「ｐｌａｙｅｒ１」の識別情報に関連付けられた視点情報を検索する。そして情報処理装置１０３は、検索により記憶部から取得された視点情報１１０１を出力する。

【0077】

なお、図１０の例では、指定されたオブジェクトに対応するパラメータが何れかの視点情報に含まれる場合に、その視点情報を検索条件に適合するものとして出力するものとしている。ただしこれに限らず、情報処理装置１０３は、視点情報に含まれるパラメータの全てが指定されたオブジェクトに対応する場合に、その視点情報を検索条件に適合するものとして出力するようにしてもよい。この場合、視点情報１１０１に含まれる識別情報１１０３Ｃと識別情報１１０３Ｄは指定されたオブジェクトとは異なる「ｐｌａｙｅｒ２」を示すため、視点情報１１０１は検索条件に適合しないと判定され、出力されない。また、入力部２０４は、これら２つの判定方法のうちいずれを用いるかを示す情報を、オブジェクトを指定する情報と共に受け付けてもよい。

【0078】

図１０（ｂ）は、情報処理装置１０３の表示部１１６に表示される画像の一例を示す。ユーザは、表示された複数のオブジェクトＩＤ１１５１の中から、検索のキーとなるオブジェクトＩＤを、マウスなどの操作部１１５を介して指定する。オブジェクトＩＤが指定されると、そのオブジェクトＩＤに関連付けられた仮想カメラパスを示す視点情報のＩＤが、検索結果枠１１５２に表示される。指定されたオブジェクトＩＤに対応する仮想カメラパスが複数存在する場合には、検索結果枠１１５２に複数の視点情報ＩＤが表示される。検索結果枠１１５２に表示された複数の視点情報ＩＤのうちの１つをユーザが操作部１１５を介して選択すると、選択された視点情報に対応する仮想視点画像１１５３が表示される。仮想視点画像１１５３は、選択された視点情報に基づいて画像生成装置１０２により生成された画像である。

【0079】

上記のように、ユーザがオブジェクトを指定すると、情報処理装置１０３はそのオブジェクトを注目対象として設定された仮想カメラパスを示す視点情報を検索し、その視点情報に基づいて生成された仮想視点画像を表示する。これにより、例えばユーザが試合における特定の選手の動きを確認したいときに、その選手が映っている仮想視点画像を簡単な操作で視聴することができる。

【0080】

［その他の実施形態］
以上では、画像処理システム１０及びその処理の例をせつめいしたが、本発明は上述の実施形態に限られるものではなく、種々の変形が行われてもよい。また、上述の実施形態の一部を適宜組み合わせてもよい。

【0081】

本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ等）によっても実現可能である。また、そのプログラムをコンピュータにより読み取り可能な記録媒体に記録して提供してもよい。

【符号の説明】

【0082】

１０ 画像処理システム
１０１ 撮影システム
１０２ 画像生成装置
１０３ 情報処理装置

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】