特許 7422468 情報処理装置、情報処理方法、及び、プログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2024-01-18

(45)【発行日】2024-01-26

(54)【発明の名称】情報処理装置、情報処理方法、及び、プログラム

(51)【国際特許分類】

   G06T 15/20 20110101AFI20240119BHJP

   G06T 19/00 20110101ALI20240119BHJP

【ＦＩ】

G06T15/20 500

G06T19/00 A

【請求項の数】 17

(21)【出願番号】P 2022079106

(22)【出願日】2022-05-12

(62)【分割の表示】P 2018090314の分割

【原出願日】2018-05-09

(65)【公開番号】P2022105590

(43)【公開日】2022-07-14

【審査請求日】2022-05-12

(73)【特許権者】

【識別番号】000001007

【氏名又は名称】キヤノン株式会社

(74)【代理人】

【識別番号】100126240

【弁理士】

【氏名又は名称】阿部 琢磨

(74)【代理人】

【識別番号】100223941

【弁理士】

【氏名又は名称】高橋 佳子

(74)【代理人】

【識別番号】100159695

【弁理士】

【氏名又は名称】中辻 七朗

(74)【代理人】

【識別番号】100172476

【弁理士】

【氏名又は名称】冨田 一史

(74)【代理人】

【識別番号】100126974

【弁理士】

【氏名又は名称】大朋 靖尚

(72)【発明者】

【氏名】吉村 友里

【審査官】村松 貴士

(56)【参考文献】

【文献】国際公開第２０１６／１９４４４１（ＷＯ，Ａ１）

【文献】特開２０１５－０７０４１８（ＪＰ，Ａ）

【文献】特開２０１４－０５６４６６（ＪＰ，Ａ）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ０６Ｔ １５／００ － １９／２０

Ｈ０４Ｎ ５／２２２ － ５／２５７

(57)【特許請求の範囲】

【請求項1】

複数の撮影装置により取得される複数の撮影画像に基づいて生成される仮想視点画像に対応する、指定された仮想視点に関する視点情報を取得する取得手段と、
前記複数の撮影画像の少なくとも何れかに含まれるオブジェクトであって、前記取得手段により取得される視点情報によって特定される仮想視点の視界内の範囲に含まれるオブジェクトを判定する第一の判定手段と、
前記取得手段により取得される視点情報によって特定される複数の仮想視点についての前記第一の判定手段によって判定された前記オブジェクトに関するオブジェクト情報を生成する第一の生成手段と、
前記オブジェクト情報と前記オブジェクトとが関連付けて表示されるよう画像を生成する生成手段とを有し、
前記オブジェクト情報は、当該オブジェクトの注目度を示す情報であり、当該オブジェクトを視界内の範囲に含む仮想視点の数に基づいて生成された情報である
ことを特徴とする情報処理装置。

【請求項2】

前記第一の判定手段は、前記複数の撮影画像の少なくとも何れかに含まれる１以上の所定のオブジェクトの位置情報と、前記取得手段により取得される視点情報とに基づいて、前記仮想視点の視界内の範囲に含まれるオブジェクトを判定することを特徴とする請求項１に記載の情報処理装置。

【請求項3】

前記第一の判定手段は、前記取得手段により取得される視点情報によって特定される仮想視点に対応する仮想視点画像に基づいて、前記仮想視点の視界内の範囲に含まれるオブジェクトを判定することを特徴とする請求項１に記載の情報処理装置。

【請求項4】

前記第一の判定手段による判定の対象となるオブジェクトは、人物又は人物の部位であることを特徴とする請求項１乃至３の何れか１項に記載の情報処理装置。

【請求項5】

前記生成手段は、前記オブジェクトの３次元モデルと前記オブジェクト情報とが関連付けて表示されるよう画像を生成することを特徴とする請求項１乃至４の何れか１項に記載の情報処理装置。

【請求項6】

前記複数の撮影装置の撮影範囲の少なくとも何れかに含まれる領域であって、前記取得手段により取得される視点情報によって特定される仮想視点の視界内の範囲に含まれる領域を判定する第二の判定手段と、
前記取得手段により取得される視点情報によって特定される複数の仮想視点についての前記第二の判定手段による判定結果に基づいて、前記複数の撮影画像の撮影期間内の１以上の時点又は期間であって複数の仮想視点の視界内の範囲に含まれる注目領域が存在する時点又は期間に関する時間情報を生成する第二の生成手段とをさらに有することを特徴とする請求項１乃至５の何れか１項に記載の情報処理装置。

【請求項7】

前記第二の生成手段により生成される前記時間情報は、前記複数の撮影装置の撮影範囲の少なくとも何れかに含まれる同一の注目領域が閾値以上の数の仮想視点の視界内の範囲に含まれる時点又は期間を特定する情報であることを特徴とする請求項６に記載の情報処理装置。

【請求項8】

前記閾値は、予め定められた値、又は前記第一の判定手段による判定結果に基づいて決まる値であることを特徴とする請求項７に記載の情報処理装置。

【請求項9】

前記第二の生成手段により生成される時間情報に基づいて、前記撮影期間内の部分期間であって当該情報により特定される部分期間に対応する仮想視点画像を生成する画像生成手段を有することを特徴とする請求項６乃至８の何れか１項に記載の情報処理装置。

【請求項10】

前記第二の生成手段により生成される時間情報に基づいて、前記撮影期間内の部分期間であって当該情報により特定される部分期間に対応する仮想視点画像であり、且つ、前記閾値以上の数の仮想視点の視界内の範囲に含まれる領域の画像を含む仮想視点画像を生成する画像生成手段を有することを特徴とする請求項７又は８に記載の情報処理装置。

【請求項11】

前記生成手段は、前記時間情報により特定される時点又は期間、並びに前記時間情報により特定される時点又は期間に対応するイベントについて画像を生成することを特徴とする請求項６乃至１０の何れか１項に記載の情報処理装置。

【請求項12】

前記第二の判定手段は、前記複数の撮影装置の撮影範囲の少なくとも何れかに含まれる所定のオブジェクトに対応する領域であって、前記取得手段により取得される視点情報によって特定される仮想視点の視界内の範囲に含まれる領域を判定することを特徴とする請求項６乃至１１の何れか１項に記載の情報処理装置。

【請求項13】

前記仮想視点の視界内の範囲は、当該仮想視点の視界に対応する範囲の一部分であることを特徴とする請求項１乃至１２の何れか１項に記載の情報処理装置。

【請求項14】

前記取得手段により取得される視点情報によって特定される複数の仮想視点は、複数のユーザに対応する複数の仮想視点を含むことを特徴とする請求項１乃至１３の何れか１項に記載の情報処理装置。

【請求項15】

前記取得手段により取得される視点情報によって特定される複数の仮想視点は、複数の異なる時点に対応する複数の仮想視点を含むことを特徴とする請求項１乃至１４の何れか１項に記載の情報処理装置。

【請求項16】

複数の撮影装置により取得される複数の撮影画像に基づいて生成される仮想視点画像に対応する、指定された仮想視点に関する視点情報を取得する取得工程と、
前記複数の撮影画像の少なくとも何れかに含まれるオブジェクトであって、前記取得工程において取得される視点情報によって特定される仮想視点の視界内の範囲に含まれるオブジェクトを判定する判定工程と、
前記取得工程において取得される視点情報によって特定される複数の仮想視点についての前記判定工程において判定された前記オブジェクトに関するオブジェクト情報を生成する生成工程と、
前記オブジェクト情報と前記オブジェクトとが関連付けて表示されるよう画像を生成する生成工程とを有し、
前記オブジェクト情報は、当該オブジェクトの注目度を示す情報であり、当該オブジェクトを視界内の範囲に含む仮想視点の数に基づいて生成された情報である
ことを特徴とする情報処理方法。

【請求項17】

コンピュータを、請求項１乃至１５の何れか１項に記載の情報処理装置の各手段として機能させるためのプログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、複数の撮影装置により取得される複数の撮影画像に基づいて生成される仮想視点画像に関するものである。

【背景技術】

【0002】

複数の撮影装置（カメラ）を異なる位置に設置して多視点で同期撮影し、当該撮影により得られた複数の画像を用いて、撮影装置の設置位置から撮影した画像だけでなく、視点を任意に変更可能な仮想視点画像を生成する技術がある。仮想視点画像は、サーバなどの画像処理部が複数の撮影装置により撮影された画像を集約し、三次元モデルを生成し、レンダリングなどの処理を施すことで生成され、閲覧のためにユーザ端末に伝送される。

【0003】

例えば、スポーツ競技を撮影した画像から、ユーザにより設定された視点に応じた仮想視点画像を生成することにより、ユーザは、自身の好みの視点で試合を観戦することができる。特許文献１には、ユーザが指定した仮想視点を他のユーザと共有することで、他のユーザと一体感を感じながら仮想視点画像を視聴できるようになることが開示されている。また、数多くのユーザにより指定されている仮想視点を特定する情報を表示させることが開示されている。

【先行技術文献】

【特許文献】

【0004】

【文献】特開２０１４－２１５８２８号公報

【発明の概要】

【発明が解決しようとする課題】

【0005】

例えば、スポーツ競技を撮影した画像から生成される仮想視点画像に関して、ユーザによる注目度の高い注目対象のシーンやオブジェクト（選手など）を特定できれば、多くのユーザが満足するハイライト画像の作成などの様々な用途に利用できる。しかしながら、特許文献１に記載の技術によって、ある時点において多くのユーザにより指定されている仮想視点を特定する情報が得られても、その情報から注目対象のシーンやオブジェクトを特定することは容易ではない。なお、仮想視点画像に係る視聴対象はスポーツ競技に限らず、コンサートなどの他のイベントを視聴対象とする場合にも同様の課題が生じ得る。

【0006】

本発明は上記の課題に鑑みてなされたものであり、仮想視点画像に係る仮想視点を指定するユーザの注目対象を容易に特定可能とすることを目的とする。

【課題を解決するための手段】

【0007】

上記の課題を解決するため、本発明に係る情報処理装置は、例えば以下の構成を有する。すなわち、複数の撮影装置により取得される複数の撮影画像に基づいて生成される仮想視点画像に対応する、指定された仮想視点に関する視点情報を取得する取得手段と、前記複数の撮影画像の少なくとも何れかに含まれるオブジェクトであって、前記取得手段により取得される視点情報によって特定される仮想視点の視界内の範囲に含まれるオブジェクトを判定する判定手段と、前記取得手段により取得される視点情報によって特定される複数の仮想視点についての前記判定手段によって判定された前記オブジェクトに関するオブジェクト情報を生成する生成手段と、前記オブジェクト情報と前記オブジェクトとが関連付けて表示されるよう画像を生成する生成手段とを有し、前記オブジェクト情報は、当該オブジェクトの注目度を示す情報であり、当該オブジェクトを視界内の範囲に含む仮想視点の数に基づいて生成された情報である。

【発明の効果】

【0008】

本発明によれば、仮想視点画像に係る仮想視点を指定するユーザの注目対象を容易に特定できるようになる。

【図面の簡単な説明】

【0009】

【図1】実施形態における画像処理システム１００の構成例を示す図である。

【図2】実施形態における複数の仮想カメラが設定された例を示す斜視図である。

【図3】実施形態における複数の仮想カメラが設定された例を示す俯瞰図である。

【図4】実施形態における情報処理装置３による仮想カメラ情報の解析および提示情報の生成に係る処理について説明するためのフローチャートである。

【図5】実施形態における仮想カメラ情報の解析結果の提示例を示す図である。

【図6】実施形態における複数の仮想カメラが設定された例を示す斜視図である。

【図7】実施形態における複数の仮想カメラが設定された例を示す俯瞰図である。

【図8】実施形態における情報処理装置３による仮想カメラ情報の解析および提示情報の生成に係る処理について説明するためのフローチャートである。

【図9】実施形態における仮想カメラ情報の解析結果の例を示すである。

【図10】実施形態における仮想カメラ情報の解析結果の提示例を示す図である。

【図11】実施形態における情報処理装置３によるハイライト画像の生成に係る処理について説明するためのフローチャートである。

【図12】実施形態における情報処理装置３のハードウェア構成例を示す図である。

【発明を実施するための形態】

【0010】

以下、図面を参照してこの発明の実施形態を詳細に説明する。ただし、本発明はこの実施形態に限定されるものではなく、特許請求の範囲に記載された本発明の要旨の範囲内において、種々の変形及び変更が可能である。

【0011】

［画像処理システムの構成］
図１は、本実施形態に係る画像処理システム１００の全体構成図である。画像処理システム１００は、複数の撮影装置による撮影に基づく画像と、指定された仮想視点とに基づいて、指定された仮想視点からの視界を表す仮想視点画像を生成するシステムである。本実施形態における仮想視点画像は、自由視点映像とも呼ばれるものであるが、ユーザが自由に（任意に）指定した視点に対応する画像に限定されず、例えば複数の候補からユーザが選択した視点に対応する画像なども仮想視点画像に含まれる。また、本実施形態では仮想視点の指定がユーザ操作により行われる場合を中心に説明するが、仮想視点の指定が画像解析の結果等に基づいて画像処理システム１００により自動で行われてもよい。また、本実施形態では仮想視点画像が動画である場合を中心に説明するが、画像処理システム１００により処理される仮想視点画像は静止画であってもよい。

【0012】

画像処理システム１００は、複数視点画像保持部１（以降、画像保持部１）、被写体情報保持部２（以降、情報保持部２）、情報処理装置３及びユーザ端末４ａ－４ｚにより構成される。図１では一例としてユーザ端末４ａ－４ｚの２６セットのユーザ端末が情報処理装置３に接続されるものとしているが、情報処理装置３に接続されるユーザ端末の数はこれに限定されない。以降、特別な説明がない場合は、ユーザ端末４ａ－４ｚの２６セットのユーザ端末を区別せず、ユーザ端末４と記載する。各ユーザ端末４内の機能部についても同様に、特別な説明がない場合は区別せず、端末通信部４０１、画像表示部４０２、仮想カメラパス指示部４０３（以降、パス指示部４０３）、ユーザ情報発信部４０４と記載する。

【0013】

画像保持部１は、撮影対象領域を複数の撮影装置により複数の異なる方向から撮影することで得られる画像（複数視点画像）を保持する。撮影対象領域には、例えば歌手、奏者、役者や舞台装置、スポーツであれば選手やボールなどの所定のオブジェクト（前景オブジェクト）が含まれ、複数の撮影装置は撮影対象領域を取り囲むように設置されて同期撮影する。すなわち、複数の撮影装置により取得される複数の撮影画像の少なくとも何れかには、撮影対象領域内の所定のオブジェクトが含まれる。なお、画像保持部１が保持する画像は、複数の撮影画像そのものであってよいし、複数の撮影画像に画像処理を行って得られる画像であってもよい。

【0014】

情報保持部２は、撮影対象に関する情報を保持する。具体的には、コンサートホールのステージや競技場のフィールド、観客席など、仮想視点画像内における背景となる物体（背景オブジェクト）の３次元モデル情報（以降、背景モデル）が保持される。また、前景オブジェクトの個体識別や姿勢認識に必要な特徴情報を含む、自然状態での前景オブジェクト３次元モデル情報や、仮想視点を設定可能な範囲を示す３次元空間情報などが保持される。前述の自然状態とは、例えば前景オブジェクトが人であれば、四肢を伸ばした立ち姿勢など、その前景オブジェクトの表面が最も一瞥しやすい状態を指す。このほか情報保持部２は、撮影対象のシーンに関する情報、例えば、開演や舞台転回、ソロパートやアクションなどの予定されたイベントや、キックオフやハーフタイムなどのタイムスケジュール情報を保持する。なお、情報保持部２は上記の情報のすべてを保持していなくてもよく、上記の情報の少なくとも何れかを保持していればよい。

【0015】

情報処理装置３は、仮想視点画像生成部３０１（以降、画像生成部３０１）、仮想カメラパス算出部３０２（以降、パス算出部３０２）、及び仮想カメラ情報解析部３０３（以降、解析部３０３）を有している。さらに、情報処理装置３は、提示情報生成部３０４（以降、情報生成部３０４）、情報表示部３０５、ユーザ情報管理部３０６（以降、情報管理部３０６）および装置通信部３０７を有している。

【0016】

画像生成部３０１は、画像保持部１から取得した複数視点画像をもとに、前景オブジェクトの３次元モデル情報（以降、前景モデル）を生成する。そして画像生成部３０１は、生成した前景モデルと、情報保持部２から取得した背景モデルに対し、パス算出部３０２から取得した仮想カメラパスに応じたテクスチャ画像をマッピングし、レンダリングを行うことにより、仮想視点画像を生成する。生成される仮想視点画像は、仮想カメラパスに対応する仮想視点画像であり、装置通信部３０７を介してユーザ端末４へ送信される。この生成の過程で画像生成部３０１は、情報保持部２が保持する前景オブジェクトの特徴情報を参照して、各前景オブジェクトを識別し、各前景モデルに前景オブジェクトの個体識別ＩＤ（以降、前景オブジェクトＩＤ）を関連付ける。あるいは画像処理システム１００のユーザが、生成された前景モデルを目視により識別し、手動で前景オブジェクトＩＤを関連付けてもよい。また、画像生成部３０１は、前景オブジェクトの特徴情報をもとに、仮想視点画像に含まれる前景要素に関する被写要素情報を生成する。ここで前景要素とは、ある前景オブジェクトに含まれる要素（部位）であり、例えば前景オブジェクトが人物であれば、その人物の部位である顔前面、顔背面、胴体前面、背中、右腕、等々のそれぞれが前景要素となる。そして被写要素情報は、作成される仮想視点画像に含まれる（仮想カメラに被写される）前景要素についての、識別ＩＤ（以降、前景要素ＩＤ）と位置および向きを表す情報とを有する。この前景オブジェクトＩＤおよび被写要素情報を、画像生成部３０１は後述の解析部３０３に受け渡す。

【0017】

パス算出部３０２は、ユーザ端末４のパス指示部４０３に対するユーザ操作に応じた指示情報や、後述の解析部３０３から取得した情報に基づき、時間的に連続する仮想カメラ情報（視点情報）を取得する。そしてパス算出部３０２は、生成すべき仮想視点画像に対応する仮想カメラの移動経路である仮想カメラパスを設定する。仮想カメラ情報には、仮想カメラ（仮想視点）の位置及び向きが含まれる。さらに仮想カメラ情報は、仮想カメラの画角や焦点位置に関する情報などを含んでいてもよい。そして、各仮想カメラ情報には、撮影シーン中のどの瞬間に対応する情報であるか特定できるよう、複数視点画像に付されたフレーム番号ないしタイムコードと関連づけられた時間情報が付されている。パス算出部３０２は、仮想カメラ情報の算出の際に、情報保持部２から得た３次元空間情報を参照し、仮想視点を設定可能な範囲内に仮想カメラパスを設定する。

【0018】

解析部３０３は、画像生成部３０１から受け取った前景オブジェクトＩＤおよび被写要素情報と、パス算出部３０２から受け取った仮想カメラ情報をもとに、仮想カメラパスを指定するユーザの注目対象について解析を行う。注目対象には、例えば、複数のユーザが注目したと推定される前景オブジェクトや、あるいは複数のユーザの仮想カメラの視線が集中したシーンなどが含まれる。

【0019】

情報生成部３０４は、解析部３０３による解析結果に基づく情報を生成する。情報生成部３０４により生成される情報の例としては、解析結果をユーザが直観的に把握出来るように可視化した、グラフィックデータやテキストデータなどがある。あるいは、情報生成部３０４により生成される情報は、例えば多くのユーザの仮想カメラの視線が集中したシーンをピックアップした画像など、多くのユーザが満足するような編集を加えたハイライト画像であってもよい。解析部３０３における解析、および情報生成部３０４で行われる情報生成については、後に詳しく説明する。

【0020】

情報表示部３０５は、画像処理システム１００の制御に関する種々の情報や、ユーザ端末４から受信した情報、情報生成部３０４により生成された提示情報などを表示する。なお、情報生成部３０４により生成された提示情報は、情報処理装置３の内部の記憶部や外部の装置に出力されてもよく、後に提示情報を加工した情報がユーザに提示されてもよい。また、情報処理装置３は、情報生成部３０４により生成した情報の少なくとも一部を、情報表示部３０５を介した画像の表示ではなく、スピーカ（不図示）を介した音の再生によりユーザに提示してもよい。

【0021】

情報管理部３０６は、ユーザ端末４を操作する各ユーザに関するユーザＩＤなどのユーザ情報を、ユーザ端末４のユーザ情報発信部４０４から端末通信部４０１及び装置通信部３０７を介して受け取り、保持する。また情報管理部３０６は、情報処理装置３とユーザ端末４との間で送受信される画像やカメラパス情報等の各種情報に対して、情報処理装置３内で行われる種々の処理の間も当該情報とユーザＩＤとの関連付けが保持されるよう管理する。これにより複数のユーザ端末４に対しそれぞれ異なる処理の実行、および情報の通信を実現することができる。

【0022】

装置通信部３０７は、情報処理装置３とユーザ端末４の間で非図示のネットワーク等を介してやり取りされる、画像、音声、テキストデータや、仮想視点画像を生成する際にユーザ端末４から送られる仮想カメラパス指示等の指示情報の送受信を行う。装置通信部３０７はそれらの情報の送受信に係る通信相手を、情報管理部３０６からの指示に従って決定する。

【0023】

ユーザ端末４は、端末通信部４０１、画像表示部４０２、パス指示部４０３およびユーザ情報発信部４０４を有する。端末通信部４０１は、情報処理装置３の装置通信部３０７との間で、前述のとおり種々の情報の送受信を行う。画像表示部４０２は、情報処理装置３から取得した仮想視点画像や提示情報を表示する。

【0024】

パス指示部４０３は、ユーザから仮想カメラパスを指定する操作を受け付け、操作に応じた指示情報を、端末通信部４０１及び装置通信部３０７を介して情報処理装置３のパス算出部３０２に渡す。ここでユーザは、必ずしも仮想カメラ情報のすべてを、視聴したい仮想視点画像の全期間に対して厳密に指示しなくてもよい。たとえば、特定の歌手や選手に注目した仮想視点画像を視聴したい、ボールの周囲の一定範囲の画像視聴したい、より注目すべきイベントが発生している箇所の画像を視聴したい、など種々の観点に基づく指示を入力することも可能である。これらの指示が入力された場合、パス指示部４０３は指示情報を送信し、情報処理装置３のパス算出部３０２は指示に応じた仮想カメラ情報を生成する。また、パス指示部４０３は自動的に仮想カメラパスを指定して、指定に応じた指示情報を送信してもよい。ユーザ情報発信部４０４は、端末通信部４０１から装置通信部３０７に向けて送信される情報に対し、ユーザＩＤなどのユーザ情報を付与する。

【0025】

なお、画像処理システム１００の構成は図１に示したものに限定されない。例えば、画像保持部１や情報保持部２が情報処理装置３の内部に含まれていてもよい。また、画像生成部３０１や情報表示部３０５が情報処理装置３とは別の装置の内部に含まれていてもよい。

【0026】

次に、情報処理装置３のハードウェア構成について、図１２を用いて説明する。情報処理装置３は、ＣＰＵ１１０１、ＲＯＭ１１０２、ＲＡＭ１１０３、補助記憶装置１１０４、表示部１１０５、操作部１１０６、通信Ｉ／Ｆ１１０７、及びバス１１０８を有する。

【0027】

ＣＰＵ１１０１は、ＲＯＭ１１０２やＲＡＭ１１０３に格納されているコンピュータプログラムやデータを用いて情報処理装置３の全体を制御する。なお、情報処理装置３がＣＰＵ１１０１とは異なる１又は複数の専用のハードウェアを有し、ＣＰＵ１１０１による処理の少なくとも一部を専用のハードウェアが実行してもよい。専用のハードウェアの例としては、ＡＳＩＣ（特定用途向け集積回路）、ＦＰＧＡ（フィールドプログラマブルゲートアレイ）、およびＤＳＰ（デジタルシグナルプロセッサ）などがある。ＲＯＭ１１０２は、変更を必要としないプログラムやパラメータを格納する。ＲＡＭ１１０３は、補助記憶装置１１０４から供給されるプログラムやデータ、及び通信Ｉ／Ｆ１１０７を介して外部から供給されるデータなどを一時記憶する。補助記憶装置１１０４は、例えばハードディスクドライブ等で構成され、画像データや音声データ、仮想カメラパス情報などの種々のデータを記憶する。

【0028】

表示部１１０５は、例えば液晶ディスプレイやＬＥＤ等で構成され、ユーザが情報処理装置３を操作するためのＧＵＩ（Ｇｒａｐｈｉｃａｌ Ｕｓｅｒ Ｉｎｔｅｒｆａｃｅ）などを表示する。操作部１１０６は、例えばキーボードやマウス、タッチパネル等で構成され、ユーザによる操作を受けて各種の指示をＣＰＵ１１０１に入力する。通信Ｉ／Ｆ１１０７は、ユーザ端末４などの外部の装置との通信に用いられる。例えば、情報処理装置３が外部の装置と有線で接続される場合には、通信用のケーブルが通信Ｉ／Ｆ１１０７に接続される。なお、情報処理装置３が外部の装置と無線通信する機能を有する場合、通信Ｉ／Ｆ１１０７はアンテナを備える。バス１１０８は、情報処理装置３の各部を繋いで情報を伝達する。

【0029】

本実施形態では表示部１１０５と操作部１１０６が情報処理装置３の内部に存在するものとするが、情報処理装置３は表示部１１０５と操作部１１０６との少なくとも一方を備えていなくてもよい。また、表示部１１０５と操作部１１０６との少なくとも一方が情報処理装置３の外部に別の装置として存在していて、ＣＰＵ１１０１が、表示部１１０５を制御する表示制御部、及び操作部１１０６を制御する操作制御部として動作してもよい。

【0030】

［注目オブジェクトの解析］
以下では、情報処理装置３が、解析部３０３において仮想カメラ情報を解析し、情報生成部３０４において解析結果にもとづく提示情報を生成する処理について、具体例を用いて説明する。

【0031】

図２は、撮影中のある時点Ｔに、４人のユーザ（ユーザＩＤをｕ、ｕ＝１～４とする）がそれぞれユーザ端末４によって個別に指定した仮想カメラＣ１～Ｃ４（Ｃｕ、ｕ＝１～４）の視界を図示したものであり、図３はその上面の概略図である。エリアＡは、撮影対象領域のうち仮想カメラ情報の解析の対象となる解析対象領域であり、たとえば撮影対象のステージからパフォーマンスが行われる範囲の高さを持つ３次元空間である。解析対象領域は、情報処理装置３に対するユーザ操作に基づいて設定されてもよいし、解析部３０３が仮想カメラ情報に基づいて設定してもよい。エリアＢは仮想カメラを設定可能な範囲である。またＰ～Ｘは、例えば歌手やダンサーなどの前景オブジェクトである。ここでは、各々の前景オブジェクトＩＤを図３における符号と同じくＰ～Ｘとする。

【0032】

図２、図３の例に図示されるような仮想カメラ情報に対する解析及び提示情報生成に係る処理フローについて、図４を用いて説明する。図４に示す処理は、仮想カメラ情報の解析又は提示情報の生成を行うため指示が情報処理装置３に入力されたタイミングで開始される。この指示は、情報処理装置３に対するユーザ操作によって行われてもよいし、ユーザ端末４から指示が入力されてもよい。ただし図４に示す処理の開始タイミングはこれに限定されない。図４に示す処理は、ＣＰＵ１１０１がＲＯＭ１１０２に格納されたプログラムをＲＡＭ１１０３に展開して実行することで実現される。なお、図４に示す処理の少なくとも一部を、ＣＰＵ１１０１とは異なる１又は複数の専用のハードウェアにより実現してもよい。後に説明する図８のフローチャートに示す処理についても同様である。

【0033】

まずＳ１０００では、図４の処理に用いる各種のパラメータを初期化する。具体的には、解析の対象となる仮想カメラの数（ｕｍａｘ）と、解析の対象となる撮影期間（Ｔｍａｘ）を設定し、解析対象の仮想カメラの一つを選択（ｕ＝１）し、対象の撮影期間の開始時点を指定（Ｔ＝０）する。解析対象の仮想カメラや解析対象の期間は、ユーザによる操作に基づいて決定されてもよいし、自動で決定されてもよい。例えば仮想カメラについては、解析時に情報処理装置３に接続されているユーザ端末４により指定された仮想カメラのすべてを解析対象としてもよいし、過去に情報処理装置３に接続されていたユーザ端末４により指定された仮想カメラを解析対象としてもよい。また、情報処理装置３は、情報管理部３０６により管理されている情報に基づいて、特定の属性のユーザに対応する仮想カメラを解析対象としてもよい。

【0034】

Ｓ１００１では、解析部３０３は、選択された仮想カメラＣｕの指定された時点における視界に含まれる前景オブジェクトの前景オブジェクトＩＤおよび被写要素情報を、画像生成部３０１から取得する。Ｓ１００２では、解析部３０３は、当該被写要素情報に対応する前景要素（仮想カメラＣｕの視界に含まれる前景要素）に付与されている被写カウント数Ｎ（Ｓ１０００における初期値はゼロ）に１を加える。なお、仮想カメラの視界にどの前景オブジェクトが含まれるかの判定には、画像生成部３０１がその仮想カメラに応じた仮想視点画像を生成する際に判定した結果を用いればよい。ただし仮想カメラの視界に含まれる前景オブジェクトの判定方法はこれに限らず、例えば解析部３０３が、複数視点画像に基づいて取得される１以上の前景オブジェクトの位置情報と、パス算出部３０２により取得される仮想カメラ情報とに基づいて判定してよい。また例えば、解析部３０３が、画像生成部３０１により生成された当該仮想カメラに対応する仮想視点画像を解析することで、その仮想視点画像に含まれるオブジェクト、即ち当該仮想カメラの視界に含まれるオブジェクトを判定してもよい。

【0035】

Ｓ１００３では、解析部３０３が、解析の対象となるすべての仮想カメラについてＳ１００１とＳ１００２の処理を行ったか（ｕ＝ｕｍａｘであるか）を判定する。そして、未処理の仮想カメラがある場合にはＳ１００４で別の仮想カメラを選択し（ｕ＝ｕ＋１）、Ｓ１００１に戻る。このようにして、Ｓ１００１及びＳ１００２における上記の被写カウントが、解析対象のすべての仮想カメラについて実行される。

【0036】

Ｓ１００５では、解析部３０３は、解析の対象となる撮影期間全体についてＳ１００１からＳ１００４の処理を行ったか（Ｔ＝Ｔｍａｘであるか）を判定し、未処理の時点がある場合にはＳ１００６で次の時点を指定し（Ｔ＝Ｔ＋ΔＴ）、Ｓ１００１に戻る。このようにして、Ｓ１００１からＳ１００４における上記の被写カウントが、解析対象の撮影期間全体について実行される。

【0037】

Ｓ１００１からＳ１００６による処理の結果、各前景要素について、当該前景要素を視界に含む仮想カメラの数およびその時間に比例した被写カウント数Ｎが得られる。そして、得られた被写カウント数Ｎに対し、Ｓ１００７では比重Ｄが掛けられる。この比重Ｄは各前景要素の重要度を示すものであって、あらかじめ任意に定められる。例えば前景オブジェクトが人である場合に、顔に近い前景要素（身体部位）ほど、比重Ｄを大きく定めることが考えられる。Ｓ１００８では、解析部３０３は、各前景オブジェクトについて、その前景オブジェクトに含まれる複数の前景要素の重み付きカウント数Ｎ×Ｄを合算する。この合算結果ΣＮＤが、当該前景オブジェクトの注目度を表す被写ポイントＭとなる。

【0038】

続いてＳ１００９では、情報生成部３０４において、被写カウント数に対応した各前景要素の表示方法を決定する。具体的には、カラーヒートマップの要領で、最も被写カウント数が大きい前景要素を赤、最も被写カウント数が小さい前景要素を青とし、その中間は赤側から橙、黄、緑、等の順に、あらかじめ定めた段階分けルールに従って、表示色を決定する。ただし、前景要素の表示方法はこれに限らず、被写カウント数が一定以上異なる前景要素が識別可能な表示方法であればよい。例えば、被写カウント数Ｎ＝０の前景要素は無色としてもよいし、被写カウント数の大小を、単一色相の濃淡や、テクスチャの違いで表現してもよい。また全前景要素の表示色を決定した結果に対して、色の境界が滑らかになるように、前景要素の境界線をなくすような境界処理を行ってもよい。また前景要素の近傍に被写カウント数をそのまま数値として表示するようにしてもよい。さらにそれら複数の表現方法を組み合わせてもよい。

【0039】

情報生成部３０４は、続くＳ１０１０では、被写ランキング情報を生成する。まず情報生成部３０４は、情報保持部２から得た前景オブジェクトの自然状態モデルに、Ｓ１００９で決定した各表示色を適用する。この着色の際には、前景オブジェクトの本来の色柄や詳細形状の視認性が保たれるように、半透明状に重層して着色しても良い。そして情報生成部３０４は、この着色済み前景オブジェクトモデルを、前述の被写ポイントＭに従ったランキング順に、ランキングを示すテキストやグラフィックとともに表示するための画像を生成する。生成された画像は情報表示部３０５より表示される。ここで、表示される画像の一例を図５に示す。

【0040】

図５では図の都合上、色の濃淡で被写カウント数の大小を表現し、表示の境界を滑らかに補正しているが、前述のように様々なバリエーションが適用可能である。また、前景オブジェクトモデルは３次元モデルであるので、オブジェクトの向きを自由に変更可能にしてもよい。また、図５では前景オブジェクトの自然状態モデルが表示されているが、任意の瞬間の前景オブジェクトモデル、例えばその前景オブジェクトの被写カウント数が最も大きく変動した瞬間の前景オブジェクトモデルが図５のような方法で表示されてもよい。そのような表示によれば、表示を見たユーザは、どの前景オブジェクトが注目されたかだけでなく、どのシーンにおいてその前景オブジェクトが注目されたかが容易に把握できる。また、情報生成部３０４により生成されユーザに提示される情報は、仮想カメラの視界に含まれるオブジェクトを複数の仮想カメラそれぞれについて判定した判定結果に応じた情報であればよく、図５のようなランキング表示に限定されない。例えば、撮影期間内の特定シーンの仮想視点画像における各前景オブジェクトを被写カウント数に応じて色づけしたような画像が表示されてもよいし、仮想視点画像上に被写カウント数に応じた数値が表示されてもよい。上述した種々の提示情報の例は、同一のオブジェクトを視界に含む仮想カメラの数に応じた情報であり、これにより各オブジェクトの注目度を容易に把握することができるようになる。ただしこれに限らず、単に、所定のオブジェクトが複数の仮想カメラのうち何れかの仮想カメラの視界に含まれたか否かを示す情報が提示されてもよい。

【0041】

以上が、仮想カメラ情報の解析および情報の提示に係るフローである。すなわち、どの前景オブジェクトのどの要素により多くの仮想カメラが向けられたかという、ユーザの注目対象を解析し、解析結果を可視化するフローである。

【0042】

なお、上記の説明では、各前景要素がある瞬間、ある仮想カメラの視界に含まれていれば、一律に被写カウント数を１ずつ加えていくとしたが、カウントの仕方はこれに限定されない。解析部３０３は、仮想カメラ情報によって特定される仮想カメラの位置及び方向に応じた視界内の範囲に含まれるオブジェクトを判定してカウントを行えばよい。この仮想カメラの視界内の範囲は、仮想カメラの視界に対応する範囲（その仮想カメラに対応する仮想視点画像の範囲）に限定されない。例えば、仮想カメラの視界のうち中心に近い所定範囲など、仮想カメラの視界に対応する範囲の一部分に含まれるオブジェクトの被写カウントを加算し、その所定範囲より外側に含まれるオブジェクトの被写カウントは加算しなくてもよい。また、前景要素の位置や向きに合わせて、被写カウント数に加える値を１以外としてもよい。例えば、仮想カメラの向きが前景要素の正面に近いほど、すなわち仮想カメラの向きベクトルと前景要素の向きベクトルが正対に近いほど、大きな値を当該前景要素の被写カウント数に加えるとしてもよい。また、前景要素の位置が仮想カメラに近いほど大きな値を加えるとしてもよい。他にも、前景要素の位置が仮想カメラ視界の中央に近いほど、あるいは前景要素の位置が仮想カメラの焦点が合っている位置に近いほど、大きな値を加えるとしてもよい。また、ユーザが具体的な仮想カメラ情報を指示するのではなく、特定の前景オブジェクトに注目した仮想視点画像を視聴したいという旨の指示を出す場合には、当該前景オブジェクトの被写カウント数Ｎには特に大きな値を加えてもよい。これにより、特定の前景オブジェクトを視聴したいという明確なユーザの意図を、解析結果に反映することができる。以上、いくつかの被写カウント数Ｎの加算ルールを挙げたが、これらに限定されるものではなく、また、複数の加算ルールを組み合わせてもよい。

【0043】

また、上記の説明では、前景オブジェクトの部位ごと（前景要素ごと）に被写カウント数を計算し、部位ごとの注目度がわかるように情報を表示するものとしたが、これに限定されない。例えば、前景オブジェクトの全体が、当該前景オブジェクトの被写ポイントＭに応じて一様に色づけされてもよい。また、色付けは行わず、単に各前景オブジェクトの被写ポイントやそれに応じた情報をテキストで表示させてもよい。なお、前景要素ごとの色づけなどを行わない場合には、図４に示した処理における被写カウント数の計算も前景オブジェクトごとに計算してもよい。例えば、撮影対象領域に人物が含まれる場合に、その人物の各部位が仮想カメラの視界に含まれるか否かを判定してカウントを行う代わりに、その人物が仮想カメラの視界に含まれるか否かをカウントしてもよい。このようにオブジェクトごとにカウントを行えば、前景要素ごとにカウントする場合よりも処理量を低減することができる。また、情報処理装置３は、上述した様々な表示方法を、情報処理装置３に入力されるユーザによる指示や当該ユーザの属性に応じて切り替えてもよい。

【0044】

［注目シーンの解析］
上記の説明では、多くのユーザにより注目されたオブジェクトを解析により特定して、注目オブジェクトを識別可能とする情報を提示する例について説明した。これに対して、以下では、多くの仮想カメラの視線がある範囲に集中した時間、即ち多くのユーザにより注目されたシーンを解析により特定して、注目シーンを識別可能とする情報を提示する例について説明する。以下の説明において、前述の注目オブジェクトの解析に係る処理フローと同様の処理や対象については同符号を用いており、説明を省略する。

【0045】

図６は、撮影中のある時点Ｔに、４人のユーザ（ユーザＩＤをｕ、ｕ＝１～４とする）がそれぞれユーザ端末４によって個別に指定した仮想カメラＣ１～Ｃ４（Ｃｕ、ｕ＝１～４）の視界を図示したもの、図７はその上面概略図である。図２及び図３との違いとして、図６及び図７において解析対象領域であるエリアＡは、３次元座標系ＸＹＺの３方向それぞれについて所定の数にブロック分割されている。以下で分割ブロックという場合には、このエリアＡが分割されたブロックを指す。分割ブロックのサイズや数は、情報処理装置３に予め設定されているものとするが、ユーザ操作に応じて設定されてもよい。

【0046】

図６、図７の例に図示されるような仮想カメラ情報に対する解析及び提示情報生成に係る処理フローについて、図８を用いて説明する。図８に示す処理の開始タイミングは図４と同様である。なお、以下では図４との差異を中心に説明する。

【0047】

まずＳ２０００では、図８の処理に用いる各種のパラメータを初期化する。Ｓ２００１では、解析部３０３は、仮想カメラＣｕの視界に含まれる前景オブジェクトの前景要素に関する被写要素情報を、画像生成部３０１から取得する。Ｓ２００２では、解析部３０３は、当該被写要素情報に対応する前景要素（仮想カメラＣｕの視界に含まれる前景要素）の少なくとも一部を含む分割ブロックが存在するかを判定する。該当する分割ブロックが存在する場合には、Ｓ２００３において解析部３０３は、当該分割ブロックに付与されている時間Ｔにおける被写カウント数Ｎ’（Ｔ）（Ｓ２０００における初期値はゼロ）に１を加える。Ｓ２００２において該当する分割ブロックが存在しない場合には、Ｓ２００３の処理を行わずにＳ２００４に進む。

【0048】

Ｓ２００４からＳ２００５のフローを経て、上記の被写カウントが、解析の対象となるすべての仮想カメラについて実行される。その結果、各分割ブロックについて、当該分割ブロックを視界に含む仮想カメラの数に応じた被写カウント数Ｎ‘（Ｔ）が得られる。ここで、ある時点Ｔにおける各分割ブロックにおける被写カウント数Ｎ’（Ｔ）の例を図９に示す。図９は、簡単のために図７同様の上面概略図でカウント数を示しているが、実際には図６に示すような３次元空間上の各分割ブロックに対して被写カウントが実行される。そして、Ｓ２００６及びＳ２００７を経て、このような分割ブロックに対する被写カウントが、解析対象となる撮影期間（Ｔ＝０～Ｔｍａｘ）に含まれる各時点Ｔについて実行される。

【0049】

続くＳ２００８では、情報生成部３０４が、解析部３０３により算出された各時点Ｔにおける各ブロックの被写カウント数Ｎ’（Ｔ）から、各時点Ｔにおける被写カウント数の最大値である最大カウント数Ｎ’ ｍａｘ（Ｔ）を特定する。つまり最大カウント数Ｎ’ｍａｘ（Ｔ）は、時点Ｔにおいて最も多くの仮想カメラの視点が集まった分割ブロックにおける被写カウント数である。そして情報生成部３０４は、最大カウント数を、横軸を時間Ｔとしたグラフ上にプロットした情報を生成する。このとき情報生成部３０４は、時間軸上に、撮影中に起きたシュートやゴールなどのイベントや、情報保持部２から取得したキックオフやハーフタイムなどのタイムスケジュールを付加させてもよい。生成された画像は情報表示部３０５より表示される。表示される画像の例を図１０（ａ）に示す。

【0050】

図１０（ａ）では、算出された最大カウント数と、カウント数の閾値を示す線と、イベントの発生時点に関する情報が表示されている。なお、各イベントの発生時点に関する情報は、撮影後に手動で入力されても良いし、撮影により取得された画像から自動でシーン判定して作成されても良い。また、カウント数の閾値も、ユーザ操作により手動で設定されてもよいし、自動で設定されてもよい。例えば、対象の撮影期間全体における最大カウント数の平均値に基づいて閾値が設定されてもよい。また、情報生成部３０４により生成される情報は、各時点の最大カウント数を平滑線でつないだ図１０（ａ）の例に限られず、複数の仮想カメラの視界内の範囲に含まれる注目領域が存在する時点又は期間に関する情報であればよい。例えば点グラフや棒グラフの形式でもよいし、各時点の注目度を示す数値をテキストで表示する形式でも良い。また例えば、一定幅の時間軸バーをカラーヒートマップの要領で着色することによって注目度の大小を表現しても良いし、着色と前述の他の表現を組み合わせても良い。

【0051】

また、情報生成部３０４により生成される情報は、すべての時点についての最大カウント数を示していなくてもよい。例えば、情報生成部３０４により生成される情報は、最大カウント数が閾値を超えている時点や期間、もしくは最大カウント数が閾値を下回っている時点や期間など、撮影期間内の１以上の時点又は期間を示す情報を含んでいればよい。また例えば、情報生成部３０４により生成される情報は、最大カウント数が最も大きくなった時点や、最大カウント数が最も小さくなった時点を示す情報であってもよい。また、撮影期間内の特定シーンの仮想視点画像内に、当該シーンが注目度の高いシーンであるか否か（最大カウント数が閾値を超えているか否か）を示す情報や、最大カウント数に応じた数値が表示されてもよい。

【0052】

以上が、仮想カメラ情報の解析および情報の定時に係るフローである。すなわち、どの前景オブジェクトのどの要素により多くの仮想カメラが向けられたかという、ユーザの注目対象を解析し、解析結果を可視化するフローである。

【0053】

なお、注目オブジェクトの解析についての説明で上述したのと同様に、解析部３０３は、仮想カメラの視界全体に限らず仮想カメラの位置及び方向に応じた範囲に含まれるオブジェクトを判定してカウントを行えばよい。また、各カウントにおいて加算される値は一律でなくてもよい。また、図８を用いた上記の説明では、仮想カメラの視界に含まれる前景要素を特定し、特定された前景要素に基づいて分割ブロックの被写カウントを行ったが、前景要素ごとのカウントではなく前景オブジェクトごとのカウントを行ってもよい。すなわち、仮想カメラの視界に含まれる前景オブジェクトを特定し、当該前景オブジェクトの少なくとも一部を含む分割ブロックの被写カウント数を加算していってもよい。

【0054】

また、解析部３０３は、前景オブジェクトの位置によらず、単に、各仮想カメラの視界に含まれる分割ブロックの被写カウント数を加算していってもよい。すなわち、解析部３０３は、複数の撮影装置の撮影範囲の少なくとも何れかに含まれる領域のうち、仮想カメラの視界に含まれる領域を、複数の仮想カメラそれぞれについて判定してカウントを行ってもよい。そして情報生成部３０４は、解析部３０３による判定結果に基づいて、撮影期間内の１以上の時点であって視界が重複する仮想カメラの数に基づいて決まる１以上の時点を示す情報を生成してもよい。この方法によれば、例えば、同一の領域が閾値以上の数の仮想カメラの視界に含まれる時点を示す情報、すなわち多くの仮想カメラの視線が同じ注目領域に集中した時点を示す情報を生成できる。そしてこの方法では、前景オブジェクトの位置の判定を行わなくてもよいため、少ない処理量で情報の生成をすることができる。なお、上記の閾値は、ユーザ操作などに基づいて情報処理装置３に予め設定された値であってもよいし、解析部３０３による判定結果に基づいて決まる値、例えば撮影期間における視界が重複するカメラの数の平均値に応じた値などであってもよい。判定結果に基づいて自動で閾値を決定すれば、被写判定の対象とする仮想カメラの数が変化した場合に閾値を手動で設定し直す手間を削減することができる。

【0055】

一方、図８を用いて説明したように、所定のオブジェクトに対応する分割ブロックの被写カウントを行う方法によれば、情報生成部３０４は、複数の撮影装置の視線が同じオブジェクトに集中した時点を示す情報を生成できる。そのため、前景オブジェクトが存在せず特に注目されていない領域が、偶然多くの仮想カメラの視界に入ったような時点を、注目シーンとして特定してしまうことが少なくなり、より実際の注目度に合致した情報を提示することができる。

【0056】

［ハイライト画像生成］
以上の説明では、仮想カメラを指定する複数のユーザにより注目された対象のオブジェクトやシーンを特定して、当該注目対象を識別可能とする情報を提示する例について説明した。ただし、注目対象を特定した結果の利用方法は、上述した情報の定時に限られない。以下では、注目対象を特定した結果を用いてハイライト画像を生成する例について説明する。

【0057】

情報処理装置３によるハイライト画像の生成に係る処理フローについて、図１１を用いて説明する。図１１に示す処理は、図８に示す処理の終了後、ハイライト画像を生成するための指示が情報処理装置３に入力された時点で開始される。この指示は、情報処理装置３に対するユーザ操作によって行われてもよいし、ユーザ端末４から指示が入力されてもよい。ただし図１１に示す処理の開始タイミングはこれに限定されない。

【0058】

Ｓ３０００では、解析部３０３が、図８の処理において生成される情報、例えば算出された最大カウント数に基づいて、撮影が行われた期間のうちハイライト画像の生成対象となる期間を決定する。具体的には、解析部３０３は、最大カウント数が閾値Ｎ’ｔｈを超えている期間を特定し、当該期間をハイライト画像の生成対象期間とする。このとき、所定の時間幅以上継続してＮ’ｔｈ＜Ｎ’ ｍａｘ（Ｔ）となる期間のみを生成対象としてもよいし、継続時間が短くてもＮ’ ｍａｘ（Ｔ）が非常に大きい時点がある場合には、その時点の前後の所定時間を含む期間を生成対象としてもよい。その他、ハイライト画像の各シーンの始まりや終わりが自然になるように、適宜Ｎ’ｔｈ＜Ｎ’ ｍａｘ（Ｔ）となるような時点Ｔも生成対象に含めてもよい。図１０（ｂ）に、図１０（ａ）に示すような最大カウント数が得られた場合の、ハイライト画像の生成対象となる期間の例を示す。図１０（ｂ）における斜線部が、生成対象として特定された期間を示している。

【0059】

Ｓ３００１において、画像生成部３０１は、撮影期間内の部分期間であるハイライト画像の生成対象期間に対応する仮想視点画像を生成する。具体的には、解析部３０３が、Ｓ３０００で決定された生成対象期間内の各時点における、被写カウント数が大きかった分割ブロックの位置（閾値以上の数の仮想カメラの視界に含まれる位置）を示す情報を生成し、パス算出部３０２に受け渡す。そしてパス算出部３０２は、当該ブロックの位置を視界に含むような新たな仮想カメラパスを算出し、画像生成部３０１は、当該仮想カメラパスに応じた仮想視点画像を生成する。なお、Ｓ３００１において生成されるハイライト画像用の仮想視点画像に対応する仮想カメラパスの設定方法は、これに限定されない。例えば、パス算出部３０２は、前述した注目オブジェクトの解析結果を用いて、生成対象期間において最も被写カウント数Ｎが大きかった前景要素、または被写ポイントＭが大きかった前景オブジェクトを正面から撮影するような仮想カメラパスを設定してもよい。またパス算出部３０２は、過去にユーザ端末４により指定された仮想カメラパスから、生成対象期間に対応する部分を抽出して、ハイライト画像生成用の仮想カメラパスとして用いてもよい。この場合にパス算出部３０２は、過去に指定された仮想カメラパスのうち、ハイライト画像の生成対象期間において注目オブジェクトを視界に含む仮想カメラパスを選択して用いてもよい。また、ハイライト画像生成用の仮想カメラパスとして、予め設定された仮想カメラパスが用いられてもよい。

【0060】

Ｓ３００２では、情報生成部３０４が、Ｓ３０００で画像生成部３０１により生成された仮想視点画像を受信し、当該仮想視点画像に関する付帯情報を生成する。付帯情報は、例えば、ハイライト画像の生成対象期間に対応するイベントを示す情報や、仮想視点画像に含まれる前景オブジェクトの名称、タイムスケジュール、及びシーンやオブジェクトの注目度などである。ただし付加される情報はこれに限定されない。そして情報生成部３０４は、仮想視点画像にそれらの付帯情報を組み合わせたハイライト画像を生成する。仮想視点画像にどのような付帯情報を組み合わせるかは、情報処理装置３により自動で決定されてもよいし、情報処理装置３に対するユーザ操作に応じて決定されてもよい。また、情報生成部３０４は、生成されたハイライト画像を、ユーザ操作に応じて編集してもよい。そして、生成及び編集されたハイライト画像は、情報表示部３０５により表示される。また、生成及び編集されたハイライト画像はユーザ端末４へ送信されてもよい。

【0061】

以上が、ハイライト画像の生成に係るフローである。以上のようにして、多くのユーザに注目されたシーンを含むハイライト画像を、ユーザが大きな手間をかけることなく容易に生成することができる。なお、上記の説明では、注目対象となるシーンやオブジェクトの特定と、ハイライト画像の生成との両方を、情報処理装置３が行うものとした。ただしこれに限らず、情報処理装置３は注目シーンや注目オブジェクトに関する情報を外部の装置へ出力し、当該情報を取得した別の装置がハイライト画像を生成してもよい。また、上記の説明では、情報処理装置３が、図８に示す処理によって注目シーンを判定した結果に基づいて、その注目シーンを含むハイライト画像の生成を行うものとした。ただしこれに限らず、情報処理装置３は、図４に示す処理によって注目オブジェクトを判定した結果に基づいて、その注目オブジェクトを含むハイライト画像の生成を行ってもよい。

【0062】

なお、本実施形態では、前景要素や分割ブロックごとに、仮想カメラの指定に応じたユーザの注目度を解析する場合を中心に説明したが、解析部３０３は、それらの解析を組み合わせてもよい。たとえば、各前景オブジェクトの被写ポイントＭを微小時間ごとに算出し、その経時的変化を図１０（ａ）に示す情報と重ね合わせて提示すれば、注目シーンと注目オブジェクトとの相関関係が容易に把握できる情報を提示することが出来る。

【0063】

また、情報生成部３０４は、提示情報の生成の際に、情報管理部３０６から得られるユーザ情報をもとにユーザをカテゴライズし、そのユーザカテゴリに基づいて提示情報を生成してもよい。ユーザカテゴリの例としては、年代、性別、出身地、現住エリアに始まり、特定スポーツの経験値や応援チーム、仮想カメラ操作経験値など、様々なカテゴリ分けが考えられる。ユーザカテゴリに基づく提示情報として、例えばユーザカテゴリ別の注目度を表示する場合には、カテゴリごとの表示を切り替えられるようにしてもよい。また、全カテゴリの注目度を同時に表示しつつ、色分けやテクスチャの違いによってカテゴリごとの注目度が識別できるようにしてもよい。あるいは、ユーザカテゴリ名称そのものを注目度と共にテキストで表示してもよい。

【0064】

また、本実施形態では、情報処理装置３が、複数のユーザに対応する複数の仮想カメラパスを用いて注目対象を判定するものとした。すなわち、注目対象を判定するために用いられる仮想カメラ情報によって特定される複数の仮想視点には、複数のユーザに対応する複数の仮想視点が含まれ、且つ、複数の異なる時点に対応する複数の仮想視点が含まれるものとした。ただしこれに限らず、情報処理装置３は、単一のユーザに対応する仮想カメラパスに基づいて、そのユーザが長い時間注目していたオブジェクトや領域を判定してもよい。また、情報処理装置３は、ある単一時点における複数のユーザに対応する複数の仮想視点に基づいて、その時点において多くのユーザが注目していたオブジェクトや領域を判定してもよい。

【0065】

以上説明したように、本実施形態における情報処理装置３は、複数の撮影装置により取得される複数の撮影画像に基づいて生成される仮想視点画像に対応する仮想カメラに関する仮想カメラ情報を取得する。また情報処理装置３は、当該複数の撮影画像の少なくとも何れかに含まれるオブジェクトであって、仮想カメラ情報によって特定される仮想カメラの視界内の範囲に含まれるオブジェクトを判定する。そして情報処理装置３は、複数の仮想カメラ情報によって特定される複数の仮想カメラについての当該判定の結果に応じた情報を提示する。上記のような構成によれば、仮想視点画像に係る仮想カメラを指定するユーザの注目対象を容易に特定できるようになる。

【0066】

［その他の実施形態］
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ等）によっても実現可能である。また、そのプログラムをコンピュータにより読み取り可能な記録媒体に記録して提供してもよい。

【符号の説明】

【0067】

１００ 画像処理システム
１ 複数視点画像保持部
２ 被写体情報保持部
３ 情報処理装置
４ ユーザ端末

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】