知財求人 - 知財ポータルサイト「IP Force」
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2024-10-04
(45)【発行日】2024-10-15
(54)【発明の名称】情報処理装置、情報処理方法及びプログラム
(51)【国際特許分類】
G06T 19/00 20110101AFI20241007BHJP
G06T 15/20 20110101ALI20241007BHJP
【ＦＩ】
G06T19/00 A
G06T15/20 500
【請求項の数】
11
(21)【出願番号】P 2023075831
(22)【出願日】2023-05-01
(62)【分割の表示】P 2018127309の分割
【原出願日】2018-07-04
(65)【公開番号】P2023087027
(43)【公開日】2023-06-22
【審査請求日】2023-05-26
(73)【特許権者】
【識別番号】000001007
【氏名又は名称】キヤノン株式会社
(74)【代理人】
【識別番号】100090273
【弁理士】
【氏名又は名称】國分 孝悦
(72)【発明者】
【氏名】吉村 宗浩
(72)【発明者】
【氏名】大久保 洋輔
【審査官】益戸 宏
(56)【参考文献】
【文献】特開２０１７－１９１４９２（ＪＰ，Ａ）
【文献】特開２０１１－１３０３２３（ＪＰ，Ａ）
【文献】特開２００３－００８９９０（ＪＰ，Ａ）
(58)【調査した分野】(Int.Cl.，ＤＢ名)
Ｇ０６Ｔ １９／００
Ｇ０６Ｔ １５／２０
Ｈ０４Ｎ ７／１８
Ｈ０４Ｎ ２１／００
Ｈ０４Ｎ ２３／００
(57)【特許請求の範囲】
【請求項1】
複数の撮像装置により撮像される撮像領域における複数の被写体の位置を表す複数のオブジェクトと、仮想視点の位置及び前記仮想視点からの視線方向を表すオブジェクトとを含む配置図を示す画像と、前記仮想視点の位置及び前記仮想視点からの視線方向に対応する仮想視点画像と、を取得する取得手段と、前記配置図を示す画像と前記仮想視点画像を、表示手段に表示させる表示制御手段と、
を有し、
前記配置図を示す画像において、前記複数の被写体のうち第一の被写体を追従するように前記仮想視点画像が生成される場合、前記第一の被写体に対応するオブジェクトが他の被写体に対応するオブジェクトより強調されるよう表示され、
前記配置図を示す画像において、前記複数の被写体のうち前記仮想視点の位置及び前記仮想視点からの視線方向に基づいて特定される範囲に含まれる被写体に対応するオブジェクトと、当該範囲に含まれない被写体に対応するオブジェクトとが識別可能に表示される
ことを特徴とする情報処理装置。
【請求項2】
前記第一の被写体に対応するオブジェクトの色は、強調した色として予め定められた色に変更されることを特徴とする請求項１に記載の情報処理装置。
【請求項3】
前記第一の被写体に対応するオブジェクトは、点滅させて表示されることを特徴とする請求項１に記載の情報処理装置。
【請求項4】
前記取得手段は、前記配置図を示す画像を生成することを特徴とする請求項１乃至３のいずれか１項に記載の情報処理装置。
【請求項5】
前記取得手段は、前記複数の被写体の位置を示す情報と、前記仮想視点の位置及び前記仮想視点からの視線方向を示す情報とに基づいて、前記配置図を示す画像を生成することを特徴とする請求項４に記載の情報処理装置。
【請求項6】
前記取得手段は、前記仮想視点画像を生成することを特徴とする請求項１乃至５のいずれか１項に記載の情報処理装置。
【請求項7】
前記配置図を示す画像において、前記複数のオブジェクトが重ならないように表示されることを特徴とする請求項１乃至６のいずれか１項に記載の情報処理装置。
【請求項8】
前記配置図を示す画像において、前記被写体の位置に応じた線状のオブジェクトが表示されることを特徴とする請求項１乃至７のいずれか１項に記載の情報処理装置。
【請求項9】
前記撮像領域は、サッカーを行うフィールドであり、前記線状のオブジェクトは、前記サッカーの試合におけるオフサイドラインの位置を示すことを特徴とする請求項８に記載の情報処理装置。
【請求項10】
複数の撮像装置により撮像される撮像領域における複数の被写体の位置を表す複数のオブジェクトと、仮想視点の位置及び前記仮想視点からの視線方向を表すオブジェクトとを含む配置図を示す画像と、前記仮想視点の位置及び前記仮想視点からの視線方向に対応する仮想視点画像と、を取得する取得工程と、前記配置図を示す画像と前記仮想視点画像を、表示手段に表示させる表示制御工程と、
を有し、
前記配置図を示す画像において、前記複数の被写体のうち第一の被写体を追従するように前記仮想視点画像が生成される場合、前記第一の被写体に対応するオブジェクトが他の被写体に対応するオブジェクトより強調されるよう表示され、
前記配置図を示す画像において、前記複数の被写体のうち前記仮想視点の位置及び前記仮想視点からの視線方向に基づいて特定される範囲に含まれる被写体に対応するオブジェクトと、当該範囲に含まれない被写体に対応するオブジェクトとが識別可能に表示される
ことを特徴とする情報処理方法。
【請求項11】
コンピュータを、請求項１乃至９のいずれか１項に記載の情報処理装置として機能させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、情報処理装置、情報処理方法及びプログラムに関する。
【背景技術】
【0002】
それぞれ視点の異なる複数のカメラで撮影した画像から任意の視点からの画像を生成する仮想視点画像生成技術が知られている。仮想視点画像の生成方法（レンダリング方法）として、予め定められた仮想視点の移動経路に基づいて仮想視点画像を生成しておく方法や、視聴者等により指定された仮想視点の位置及び姿勢等に従って仮想視点画像を生成する方法等が知られている。
仮想視点画像生成技術により、例えば、インタラクティブ性の高い動画像の視聴を行うことが可能である一方で、視点変更の自由度が高いため、視聴者は、撮影対象の場所（シーン）のどこに仮想視点を設定して視聴すべきかの判断が困難である。この課題に対する技術として、特許文献１がある。特許文献１には、いくつかの推奨視点を生成することで、視聴者にとって仮想視点画像を見やすくすることを可能とすることが記載されている。
仮想視点画像生成技術により、例えば、インタラクティブ性の高い動画像の視聴を行うことが可能である一方で、視点変更の自由度が高いため、視聴者は、撮影対象の場所（シーン）のどこに仮想視点を設定して視聴すべきかの判断が困難である。この課題に対する技術として、特許文献１がある。特許文献１には、いくつかの推奨視点を生成することで、視聴者にとって仮想視点画像を見やすくすることを可能とすることが記載されている。
【先行技術文献】
【特許文献】
【0003】
【文献】特開２０１５－１８７７９７号公報
【発明の概要】
【発明が解決しようとする課題】
【0004】
しかしながら、特許文献１の技術を用いても、ユーザは、人物等の被写体（オブジェクト）が撮影対象の場所のどこに位置しているか等の、シーンの状況を把握することができない。そのため、ユーザは例えば、どこに仮想視点を設定すべきか、あるいはどの推奨視点を選択すべきかを、容易に判断できない。
そこで、本発明は、表示される仮想視点画像を見るユーザが、仮想視点画像の生成対象となるシーンの状況を容易に把握できるようにすることを目的とする。
そこで、本発明は、表示される仮想視点画像を見るユーザが、仮想視点画像の生成対象となるシーンの状況を容易に把握できるようにすることを目的とする。
【課題を解決するための手段】
【0005】
本発明の情報処理装置は、複数の撮像装置により撮像される撮像領域における複数の被写体の位置を表す複数のオブジェクトと、仮想視点の位置及び前記仮想視点からの視線方向を表すオブジェクトとを含む配置図を示す画像と、前記仮想視点の位置及び前記仮想視点からの視線方向に対応する仮想視点画像と、を取得する取得手段と、前記配置図を示す画像と前記仮想視点画像を、表示手段に表示させる表示制御手段と、を有し、前記配置図を示す画像において、前記複数の被写体のうち第一の被写体を追従するように前記仮想視点画像が生成される場合、前記第一の被写体に対応するオブジェクトが他の被写体に対応するオブジェクトより強調されるよう表示され、前記配置図を示す画像において、前記複数の被写体のうち前記仮想視点の位置及び前記仮想視点からの視線方向に基づいて特定される範囲に含まれる被写体に対応するオブジェクトと、当該範囲に含まれない被写体に対応するオブジェクトとが識別可能に表示されることを特徴とする。
【発明の効果】
【0006】
本発明によれば、表示される仮想視点画像を見るユーザが、仮想視点画像の生成対象となるシーンの状況を容易に把握することができる。
【図面の簡単な説明】
【0007】
【図1】情報処理装置のハードウェア構成等の一例を示す図である。
【図2】情報処理装置の機能構成等の一例を示す図である。
【図3】情報処理装置の処理の一例を示すフローチャートである。
【図4】シーンデータの一例を示す図である。
【図5】配置図生成部の詳細の一例を示す図である。
【図6】配置図生成部の処理の一例を示すフローチャートである。
【図7】配置図の一例を示す図である。
【図8】配置されるオブジェクトのデータの一例を示す図である。
【図9】配置図生成部の詳細の一例を示す図である。
【図10】配置図生成部の処理の一例を示すフローチャートである。
【図11】配置図の一例を示す図である。
【発明を実施するための形態】
【0008】
以下に添付図面を参照しながら、本開示の好適な実施の形態について詳細に説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。
【0009】
以下に、本発明の実施の形態の一例を、図面に基づいて詳細に説明する。
【0010】
＜実施形態１＞
本実施形態では、仮想視点画像と併せて仮想視点画像の描画対象のシーンに含まれる被写体（オブジェクト）の位置を示す図である配置図を表示する処理について説明する。仮想視点画像とは、ある対象（例えば、サッカーのフィールド等）を異なる方向から撮影する複数の撮像部により撮影された複数の画像に基づいて生成される仮想的な視点からの画像である。仮想視点画像は、仮想的な視点に配置され、仮想的な視線を向く姿勢をとった仮想的なカメラ（仮想カメラ）により撮影された画像とみなすことができる。したがって、複数の撮像部（実カメラ）により複数の方向から撮影される撮影対象領域が、仮想視点画像の描画対象のシーンとなる。本実施形態における仮想視点画像には、動画と静止画の両方が含まれる。以下では、動画像である仮想視点画像を、特に仮想視点映像と称する。本実施形態では、複数の異なる視点に配置された撮像部により撮影され、仮想視点画像の描画対象となる被写体は、サッカーの試合におけるオブジェクト（選手、ボール、審判、ゴールポスト等）であるとする。ただし撮影対象はこれに限らず、ラグビーや卓球等の他の競技であってもよいし、ステージにおけるコンサートや演劇等であってもよい。
また、仮想視点映像のデータは、各画像フレームが予め定められた動画圧縮の方式により圧縮された動画像データであってもよいし、各画像フレームが予め定められた静止画圧縮の方式により圧縮された動画像データであってもよい。また、仮想視点映像のデータは、非圧縮の動画像データであってもよい。
本実施形態では、仮想視点画像と併せて仮想視点画像の描画対象のシーンに含まれる被写体（オブジェクト）の位置を示す図である配置図を表示する処理について説明する。仮想視点画像とは、ある対象（例えば、サッカーのフィールド等）を異なる方向から撮影する複数の撮像部により撮影された複数の画像に基づいて生成される仮想的な視点からの画像である。仮想視点画像は、仮想的な視点に配置され、仮想的な視線を向く姿勢をとった仮想的なカメラ（仮想カメラ）により撮影された画像とみなすことができる。したがって、複数の撮像部（実カメラ）により複数の方向から撮影される撮影対象領域が、仮想視点画像の描画対象のシーンとなる。本実施形態における仮想視点画像には、動画と静止画の両方が含まれる。以下では、動画像である仮想視点画像を、特に仮想視点映像と称する。本実施形態では、複数の異なる視点に配置された撮像部により撮影され、仮想視点画像の描画対象となる被写体は、サッカーの試合におけるオブジェクト（選手、ボール、審判、ゴールポスト等）であるとする。ただし撮影対象はこれに限らず、ラグビーや卓球等の他の競技であってもよいし、ステージにおけるコンサートや演劇等であってもよい。
また、仮想視点映像のデータは、各画像フレームが予め定められた動画圧縮の方式により圧縮された動画像データであってもよいし、各画像フレームが予め定められた静止画圧縮の方式により圧縮された動画像データであってもよい。また、仮想視点映像のデータは、非圧縮の動画像データであってもよい。
【0011】
図１は、本実施形態の情報処理装置１００のハードウェア構成等の一例を示す図である。情報処理装置１００は、仮想視点画像の描画対象のシーンに含まれる被写体の位置を示す図である配置図を生成し、生成した配置図を、仮想視点画像と併せて表示する処理を行う情報処理装置である。情報処理装置１００は、例えば、パーソナルコンピュータ（ＰＣ）、サーバ装置、タブレット装置等である。
情報処理装置１００は、ＣＰＵ１０１、Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ（ＲＡＭ）１０２、Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ（ＲＯＭ）１０３を含む。情報処理装置１００は、ハードディスクドライブ（ＨＤＤ）＿インターフェース（Ｉ／Ｆ）１０４、入力Ｉ／Ｆ１０６、出力Ｉ／Ｆ１０８、ネットワークＩ／Ｆ１１０を含む。各要素は、システムバス１１２を介して、相互に通信可能に接続されている。
ＣＰＵ１０１は、ＲＡＭ１０２をワークメモリとして、ＲＯＭ１０３、ＨＤＤ１０５等に格納されたプログラムにしたがって処理を実行し、システムバス１１２を介して各要素を制御する中央演算装置である。ＲＡＭ１０２は、ＣＰＵ１０１のワークエリア、データの一時的な記憶領域として機能する記憶装置である。ＲＯＭ１０３は、各種プログラムや設定情報等を記憶する記憶装置である。
情報処理装置１００は、ＣＰＵ１０１、Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ（ＲＡＭ）１０２、Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ（ＲＯＭ）１０３を含む。情報処理装置１００は、ハードディスクドライブ（ＨＤＤ）＿インターフェース（Ｉ／Ｆ）１０４、入力Ｉ／Ｆ１０６、出力Ｉ／Ｆ１０８、ネットワークＩ／Ｆ１１０を含む。各要素は、システムバス１１２を介して、相互に通信可能に接続されている。
ＣＰＵ１０１は、ＲＡＭ１０２をワークメモリとして、ＲＯＭ１０３、ＨＤＤ１０５等に格納されたプログラムにしたがって処理を実行し、システムバス１１２を介して各要素を制御する中央演算装置である。ＲＡＭ１０２は、ＣＰＵ１０１のワークエリア、データの一時的な記憶領域として機能する記憶装置である。ＲＯＭ１０３は、各種プログラムや設定情報等を記憶する記憶装置である。
【0012】
ＨＤＤ＿Ｉ／Ｆ１０４は、ＨＤＤ１０５、ソリッドステートドライブ（ＳＳＤ）、光ディスクドライブ等の二次記憶装置との接続に利用されるシリアルＡＴＡ（ＳＡＴＡ）等のインターフェースである。ＣＰＵ１０１は、ＨＤＤ＿Ｉ／Ｆ１０４を介して、ＨＤＤ１０５等のＨＤＤ＿Ｉ／Ｆ１０４に接続された二次記憶装置に対するデータの読込み書込みができる。また、ＣＰＵ１０１は、ＨＤＤ１０５に格納されたデータをＲＡＭ１０２に展開する。また、ＣＰＵ１０１は、プログラムの実行により得られたＲＡＭ１０２上の各種データをＨＤＤ１０５に記憶することができる。
入力Ｉ／Ｆ１０６は、キーボード、マウス、デジタルカメラ、スキャナ等の情報を入力する入力デバイス１０７との接続に用いられるインターフェースである。入力Ｉ／Ｆ１０６は、例えば、ＵＳＢ、ＩＥＥＥ１３９４等である。ＣＰＵ１０１は、入力Ｉ／Ｆ１０６を介して入力デバイス１０７を介した情報の入力を受付けることができる。
出力Ｉ／Ｆ１０８は、ディスプレイ、スピーカ等の情報の出力を行う出力デバイス１０９との接続に用いられるインターフェースである。出力Ｉ／Ｆ１０８は、例えば、ＤＶＩ、ＨＤＭＩ（登録商標）等である。本実施形態では、情報処理装置１００は、出力Ｉ／Ｆ１０８を介して、ディスプレイである出力デバイス１０９と接続されている。ＣＰＵ１０１は、出力Ｉ／Ｆ１０８を介して出力デバイス１０９に仮想視点画像のデータを送信し、仮想視点画像の表示を実行させることができる。
ネットワークＩ／Ｆ１１０は、外部サーバ１１１等の外部の装置との間のネットワークを介した通信に用いられるインターフェースである。ネットワークＩ／Ｆ１１０は、例えば、ＬＡＮカード等のネットワークカードである。ＣＰＵ１０１は、ネットワークＩ／Ｆ１１０を介して、外部サーバ１１１との間で情報の入出力を行うことができる。
入力Ｉ／Ｆ１０６は、キーボード、マウス、デジタルカメラ、スキャナ等の情報を入力する入力デバイス１０７との接続に用いられるインターフェースである。入力Ｉ／Ｆ１０６は、例えば、ＵＳＢ、ＩＥＥＥ１３９４等である。ＣＰＵ１０１は、入力Ｉ／Ｆ１０６を介して入力デバイス１０７を介した情報の入力を受付けることができる。
出力Ｉ／Ｆ１０８は、ディスプレイ、スピーカ等の情報の出力を行う出力デバイス１０９との接続に用いられるインターフェースである。出力Ｉ／Ｆ１０８は、例えば、ＤＶＩ、ＨＤＭＩ（登録商標）等である。本実施形態では、情報処理装置１００は、出力Ｉ／Ｆ１０８を介して、ディスプレイである出力デバイス１０９と接続されている。ＣＰＵ１０１は、出力Ｉ／Ｆ１０８を介して出力デバイス１０９に仮想視点画像のデータを送信し、仮想視点画像の表示を実行させることができる。
ネットワークＩ／Ｆ１１０は、外部サーバ１１１等の外部の装置との間のネットワークを介した通信に用いられるインターフェースである。ネットワークＩ／Ｆ１１０は、例えば、ＬＡＮカード等のネットワークカードである。ＣＰＵ１０１は、ネットワークＩ／Ｆ１１０を介して、外部サーバ１１１との間で情報の入出力を行うことができる。
【0013】
ＣＰＵ１０１が、ＲＯＭ１０３、ＨＤＤ１０５等に記憶されたプログラムにしたがって処理を実行することで、図２、５、９で後述する情報処理装置１００の機能、図３、６、１０で後述するフローチャートの処理等が実現される。また、情報処理装置１００は、図２、５、９で後述する情報処理装置１００の機能の一部を、その機能に対応する専用の処理回路を介して実現することとしてもよい。
図１の例では、ＨＤＤ１０５、入力デバイス１０７、出力デバイス１０９、情報処理装置１００は、それぞれ別のデバイスであるとした。しかし、ＨＤＤ１０５、入力デバイス１０７、出力デバイス１０９は、例えば、情報処理装置１００に含まれることとしてもよい。例えば、情報処理装置１００は、スマートフォンであってもよい。その場合、入力デバイス１０７（タッチパネル）、出力デバイス１０９（表示スクリーン）、ＨＤＤ１０５（内臓のＨＤＤ）は、情報処理装置１００と一体となっている。
例えば、情報処理装置１００が、ＨＤＤ１０５に記憶された画像に基づいて仮想視点画像を生成する場合、外部サーバ１１１から仮想視点画像の生成に用いられる画像を取得する必要がない。そのような場合、情報処理装置１００は、外部サーバ１１１と接続していないこととしてもよい。また、例えば、情報処理装置１００が、外部サーバ１１１から取得した画像に基づいて仮想視点画像を生成し、ＲＯＭ１０３に記憶されたプログラムにしたがって処理を実行する場合、ＨＤＤ１０５と接続されていないこととしてもよい。
また、情報処理装置１００は、複数のＣＰＵ１０１を含むこととしてもよい。また、情報処理装置１００は、ＣＰＵ１０１とは異なる専用の１又は複数のハードウェアやＧＰＵ（Ｇｒａｐｈｉｃｓ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）を含み、ＣＰＵ１０１による処理の少なくとも一部をＧＰＵや専用のハードウェアを介して行ってもよい。このような専用のハードウェアの例としては、ＡＳＩＣ（特定用途向け集積回路）、ＦＰＧＡ（フィールドプログラマブルゲートアレイ）、ＤＳＰ（デジタルシグナルプロセッサ）等がある。
図１の例では、ＨＤＤ１０５、入力デバイス１０７、出力デバイス１０９、情報処理装置１００は、それぞれ別のデバイスであるとした。しかし、ＨＤＤ１０５、入力デバイス１０７、出力デバイス１０９は、例えば、情報処理装置１００に含まれることとしてもよい。例えば、情報処理装置１００は、スマートフォンであってもよい。その場合、入力デバイス１０７（タッチパネル）、出力デバイス１０９（表示スクリーン）、ＨＤＤ１０５（内臓のＨＤＤ）は、情報処理装置１００と一体となっている。
例えば、情報処理装置１００が、ＨＤＤ１０５に記憶された画像に基づいて仮想視点画像を生成する場合、外部サーバ１１１から仮想視点画像の生成に用いられる画像を取得する必要がない。そのような場合、情報処理装置１００は、外部サーバ１１１と接続していないこととしてもよい。また、例えば、情報処理装置１００が、外部サーバ１１１から取得した画像に基づいて仮想視点画像を生成し、ＲＯＭ１０３に記憶されたプログラムにしたがって処理を実行する場合、ＨＤＤ１０５と接続されていないこととしてもよい。
また、情報処理装置１００は、複数のＣＰＵ１０１を含むこととしてもよい。また、情報処理装置１００は、ＣＰＵ１０１とは異なる専用の１又は複数のハードウェアやＧＰＵ（Ｇｒａｐｈｉｃｓ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）を含み、ＣＰＵ１０１による処理の少なくとも一部をＧＰＵや専用のハードウェアを介して行ってもよい。このような専用のハードウェアの例としては、ＡＳＩＣ（特定用途向け集積回路）、ＦＰＧＡ（フィールドプログラマブルゲートアレイ）、ＤＳＰ（デジタルシグナルプロセッサ）等がある。
【0014】
本実施形態では、視聴者のシーンに対する理解度を向上させるために、それぞれ異なる複数の視点から撮影した画像に基づいて、仮想視点画像に加えて被写体の位置を示す図である配置図を生成し、仮想視点画像と併せて配置図を表示する処理について説明する。
以下では、本実施形態の情報処理装置１００が行う処理について、図２と図３とを用いて説明する。図２は、本実施形態の情報処理装置１００の機能構成等の一例を示す図である。図３は本実施形態の情報処理装置１００が実行する処理の一例を示すフローチャートである。
図２を用いて、情報処理装置１００の機能構成について説明する。情報処理装置１００は、視点制御部２０２、データ取得部２０３、シーン生成部２０４、配置図生成部２０５、描画部２０６を含む。
視点制御部２０２は、ユーザによる入力デバイス１０７を介した仮想視点画像の描画対
象となる範囲を決定するためのパラメータ（例えば、視点位置、視線方向、画角等）の入力を受付ける。そして、視点制御部２０２は、受付けた入力が示すパラメータを、仮想視点画像の生成に係る仮想視点を示す視点情報として決定する。本実施形態では、情報処理装置１００は、仮想視点画像の描画対象となる範囲を決定するためのパラメータを、仮想カメラのカメラパラメータ（以下では、仮想カメラパラメータ）として管理する。カメラパラメータとは、カメラの状態を示すパラメータである。カメラパラメータには、カメラの位置・姿勢を示す外部パラメータや、カメラの光学的な特性を示す内部パラメータ（例えば、画角、焦点距離、露光時間等）がある。
以下では、本実施形態の情報処理装置１００が行う処理について、図２と図３とを用いて説明する。図２は、本実施形態の情報処理装置１００の機能構成等の一例を示す図である。図３は本実施形態の情報処理装置１００が実行する処理の一例を示すフローチャートである。
図２を用いて、情報処理装置１００の機能構成について説明する。情報処理装置１００は、視点制御部２０２、データ取得部２０３、シーン生成部２０４、配置図生成部２０５、描画部２０６を含む。
視点制御部２０２は、ユーザによる入力デバイス１０７を介した仮想視点画像の描画対
象となる範囲を決定するためのパラメータ（例えば、視点位置、視線方向、画角等）の入力を受付ける。そして、視点制御部２０２は、受付けた入力が示すパラメータを、仮想視点画像の生成に係る仮想視点を示す視点情報として決定する。本実施形態では、情報処理装置１００は、仮想視点画像の描画対象となる範囲を決定するためのパラメータを、仮想カメラのカメラパラメータ（以下では、仮想カメラパラメータ）として管理する。カメラパラメータとは、カメラの状態を示すパラメータである。カメラパラメータには、カメラの位置・姿勢を示す外部パラメータや、カメラの光学的な特性を示す内部パラメータ（例えば、画角、焦点距離、露光時間等）がある。
【0015】
データ取得部２０３は、例えば、ＨＤＤ１０５、外部サーバ１１１等から、仮想視点画像の生成に用いられるそれぞれ異なる複数の位置に配置された撮像部により撮影された複数の画像、複数の撮像部それぞれのカメラパラメータ等のデータを取得する。
シーン生成部２０４は、データ取得部２０３により取得された画像とカメラパラメータ（視点情報）とに基づいて、仮想視点画像のレンダリングに用いられるシーンデータを生成する。シーンデータとは、生成対象の仮想視点画像の描画対象となるシーンにおける予め定められた被写体（例えば、選手、ボール、ゴールポスト、審判等）を示す３次元の形状や色を示すデータであり、例えば、ポリゴンデータやテクスチャデータである。
配置図生成部２０５は、シーン生成部２０４により生成されたシーンデータに基づいて、そのシーンデータが示す被写体の位置を示す図である配置図を生成する。
描画部２０６は、シーン生成部２０４により生成されたシーンデータと視点制御部２０２により決定された仮想カメラパラメータとに基づいて、仮想視点画像を生成する。そして、描画部２０６は、生成した仮想視点画像と配置図生成部２０５により生成された配置図とを、出力デバイス１０９へ出力する。出力デバイス１０９は、描画部２０６からの入力に応じて画像を表示する表示部として機能する。なお、描画部２０６は仮想視点画像と配置図とを別々のデータとして出力してもよいし、配置図が合成された仮想視点画像のデータを出力してもよい。また、描画部２０６は、仮想視点画像と配置図とを、記憶装置へ出力してもよい。また、描画部２０６が表示部を備えており、生成された仮想視点画像と配置図とを表示してもよい。
シーン生成部２０４は、データ取得部２０３により取得された画像とカメラパラメータ（視点情報）とに基づいて、仮想視点画像のレンダリングに用いられるシーンデータを生成する。シーンデータとは、生成対象の仮想視点画像の描画対象となるシーンにおける予め定められた被写体（例えば、選手、ボール、ゴールポスト、審判等）を示す３次元の形状や色を示すデータであり、例えば、ポリゴンデータやテクスチャデータである。
配置図生成部２０５は、シーン生成部２０４により生成されたシーンデータに基づいて、そのシーンデータが示す被写体の位置を示す図である配置図を生成する。
描画部２０６は、シーン生成部２０４により生成されたシーンデータと視点制御部２０２により決定された仮想カメラパラメータとに基づいて、仮想視点画像を生成する。そして、描画部２０６は、生成した仮想視点画像と配置図生成部２０５により生成された配置図とを、出力デバイス１０９へ出力する。出力デバイス１０９は、描画部２０６からの入力に応じて画像を表示する表示部として機能する。なお、描画部２０６は仮想視点画像と配置図とを別々のデータとして出力してもよいし、配置図が合成された仮想視点画像のデータを出力してもよい。また、描画部２０６は、仮想視点画像と配置図とを、記憶装置へ出力してもよい。また、描画部２０６が表示部を備えており、生成された仮想視点画像と配置図とを表示してもよい。
【0016】
図３を用いて、本実施形態の情報処理装置１００の処理を説明する。
Ｓ３０１において、データ取得部２０３は、外部サーバ１１１から仮想視点画像の生成に用いられるそれぞれ異なる複数の位置に配置された複数の撮像部により撮影された複数の画像と、この複数の撮像部それぞれのカメラパラメータと、のデータを取得する。また、データ取得部２０３は、これらのデータを、ＨＤＤ１０５から取得することとしてもよい。データ取得部２０３は、取得した画像とカメラパラメータとのデータを、シーン生成部２０４に出力する。
Ｓ３０２において、シーン生成部２０４は、Ｓ３０１で取得された画像とカメラパラメータとに基づいて、仮想視点画像のレンダリングに用いられる３次元の状況を示すシーンデータを生成する。シーン生成部２０４は、例えば、Ｓ３０１で取得された画像から、背景差分により、それぞれ分離した領域それぞれを、被写体それぞれの領域として検出する。そして、シーン生成部２０４は、検出した被写体の領域それぞれと、Ｓ３０１で取得されたカメラパラメータとに基づいて、各被写体についてのシーンデータを生成する。ここで、シーンデータについて説明する。本実施形態では、シーンデータは、被写体ごとに生成され、３Ｄポリゴンデータ、テクスチャデータ、３Ｄポリゴンデータとテクスチャデータとを対応付けるＵＶマップのデータの３つのデータを含むデータである。
Ｓ３０１において、データ取得部２０３は、外部サーバ１１１から仮想視点画像の生成に用いられるそれぞれ異なる複数の位置に配置された複数の撮像部により撮影された複数の画像と、この複数の撮像部それぞれのカメラパラメータと、のデータを取得する。また、データ取得部２０３は、これらのデータを、ＨＤＤ１０５から取得することとしてもよい。データ取得部２０３は、取得した画像とカメラパラメータとのデータを、シーン生成部２０４に出力する。
Ｓ３０２において、シーン生成部２０４は、Ｓ３０１で取得された画像とカメラパラメータとに基づいて、仮想視点画像のレンダリングに用いられる３次元の状況を示すシーンデータを生成する。シーン生成部２０４は、例えば、Ｓ３０１で取得された画像から、背景差分により、それぞれ分離した領域それぞれを、被写体それぞれの領域として検出する。そして、シーン生成部２０４は、検出した被写体の領域それぞれと、Ｓ３０１で取得されたカメラパラメータとに基づいて、各被写体についてのシーンデータを生成する。ここで、シーンデータについて説明する。本実施形態では、シーンデータは、被写体ごとに生成され、３Ｄポリゴンデータ、テクスチャデータ、３Ｄポリゴンデータとテクスチャデータとを対応付けるＵＶマップのデータの３つのデータを含むデータである。
【0017】
図４（ａ）、（ｂ）は、シーンデータに含まれる３Ｄポリゴンデータの一例を示す図である。図４（ａ）は、３次元空間における三角形Ｔ０～Ｔ１１及びこれらを構成する頂点Ｖ０～Ｖ１１を表す図である。図４（ｂ）は、図４（ａ）における頂点Ｖ０～Ｖ１１の予め定められた３次元の座標系における座標を示す図である。
図４（ｃ）、（ｄ）は、シーンデータに含まれるテクスチャデータの一例を示す図である。図４（ｃ）は、テクスチャ画像上で形状の頂点に対応する位置Ｐ０～Ｐ１３を示す図である。図４（ｄ）は、図４（ｃ）におけるテクスチャ頂点Ｐ０～Ｐ１３の予め定められた２次元の座標系における座標を示す図である。
図４（ｅ）は、シーンデータに含まれるＵＶマップの一例を示す図である。図４（ｅ）の表は、図４（ａ）に示される三角形ごとの、三角形を構成する３次元空間上の頂点ＩＤとテクスチャ画像空間上のテクスチャ頂点ＩＤとの対応を示す表の一例である。シーン生成部２０４は、例えば、図４（ｅ）の表に基づいて、図４（ａ）に示される３Ｄポリゴンを表すある三角形の頂点に対応する図４（ｃ）の座標系における三角形を特定する。そして、シーン生成部２０４は、図４（ｃ）における特定した三角形が示すテクスチャデータを、図４（ａ）の３次元座標系における対応する三角形に付与されるテクスチャデータとして決定する。
図４（ｃ）、（ｄ）は、シーンデータに含まれるテクスチャデータの一例を示す図である。図４（ｃ）は、テクスチャ画像上で形状の頂点に対応する位置Ｐ０～Ｐ１３を示す図である。図４（ｄ）は、図４（ｃ）におけるテクスチャ頂点Ｐ０～Ｐ１３の予め定められた２次元の座標系における座標を示す図である。
図４（ｅ）は、シーンデータに含まれるＵＶマップの一例を示す図である。図４（ｅ）の表は、図４（ａ）に示される三角形ごとの、三角形を構成する３次元空間上の頂点ＩＤとテクスチャ画像空間上のテクスチャ頂点ＩＤとの対応を示す表の一例である。シーン生成部２０４は、例えば、図４（ｅ）の表に基づいて、図４（ａ）に示される３Ｄポリゴンを表すある三角形の頂点に対応する図４（ｃ）の座標系における三角形を特定する。そして、シーン生成部２０４は、図４（ｃ）における特定した三角形が示すテクスチャデータを、図４（ａ）の３次元座標系における対応する三角形に付与されるテクスチャデータとして決定する。
【0018】
シーン生成部２０４は、シーンデータに対応するシーンに含まれる被写体ごとに、３Ｄポリゴンデータ、テクスチャデータ、ＵＶマップのデータを含むシーンデータを生成する。本実施形態では、シーン生成部２０４は、３Ｄポリゴンデータを生成するため、Ｖｉｓｕａｌ Ｈｕｌｌアルゴリズムを適用してボクセル情報を取得し、３Ｄポリゴンを再構成する。しかし、シーン生成部２０４は、例えば、ボクセル情報を直接ポリゴンモデルに変換する方法で、３Ｄポリゴンを生成してもよい。また、シーン生成部２０４は、赤外線センサを用いて取得されるデプスマップから得られる点群にＰＳＲ（Ｐｏｉｓｓｏｎ Ｓｕｒｆａｃｅ Ｒｅｃｏｎｓｔｒｕｃｔｉｏｎ）を適用する方法で、３Ｄポリゴンを生成してもよい。シーン生成部２０４は、ＰＭＶＳ（Ｐａｔｃｈ－ｂａｓｅｄ Ｍｕｌｔｉ－ｖｉｅｗ Ｓｔｅｒｅｏ）に代表される画像特徴を利用したステレオマッチングによって、点群を取得してもよい。
シーン生成部２０４は、テクスチャデータを生成する。シーン生成部２０４は、データ取得部２０３により取得された画像における生成したポリゴンを構成する三角形の頂点に対応する点を特定する。シーン生成部２０４は、例えば、データ取得部２０３により取得されたカメラパラメータに基づいて、３Ｄのポリゴンの各頂点を、データ取得部２０３により取得された画像に投影することで、特定する。そして、シーン生成部２０４は、データ取得部２０３により取得された画像における特定した３つの点で囲まれた領域を特定する。シーン生成部２０４は、データ取得部２０３により取得された画像それぞれについて、同様の処理を行う。
シーン生成部２０４は、テクスチャデータを生成する。シーン生成部２０４は、データ取得部２０３により取得された画像における生成したポリゴンを構成する三角形の頂点に対応する点を特定する。シーン生成部２０４は、例えば、データ取得部２０３により取得されたカメラパラメータに基づいて、３Ｄのポリゴンの各頂点を、データ取得部２０３により取得された画像に投影することで、特定する。そして、シーン生成部２０４は、データ取得部２０３により取得された画像における特定した３つの点で囲まれた領域を特定する。シーン生成部２０４は、データ取得部２０３により取得された画像それぞれについて、同様の処理を行う。
【0019】
シーン生成部２０４は、特定したこれらの領域に基づいて、対応するポリゴンに付与されるテクスチャを決定する。シーン生成部２０４は、例えば、特定したこれらの領域全ての平均を、対応するポリゴンに付与されるテクスチャの画像として決定する。また、シーン生成部２０４は、特定した領域のうち指定された領域の平均を、対応するポリゴンに付与されるテクスチャの画像として決定してもよい。また、シーン生成部２０４は、特定した領域のうち指定された１つの領域を、対応するポリゴンに付与されるテクスチャの画像として決定してもよい。シーン生成部２０４は、決定したテクスチャの画像を、図４（ｃ）のように、予め定められた２次元の座標系上の平面に描画し、その平面の画像を、テクスチャを記録するテクスチャ画像とする。
シーン生成部２０４は、ポリゴンに付与されるテクスチャのデータを決定することと併せて、対応するＵＶマップを生成する。シーン生成部２０４は、例えば、あるポリゴンについて、そのポリゴンの３つの頂点のＩＤと、テクスチャ画像におけるそのポリゴンの３つの頂点に対応する３つの頂点のＩＤと、の対応をＵＶマップの表に記憶する。
シーン生成部２０４は、生成したポリゴンデータ、テクスチャデータ、ＵＶマップのデータを含むシーンデータを、配置図生成部２０５と描画部２０６とに出力する。
シーン生成部２０４は、ポリゴンに付与されるテクスチャのデータを決定することと併せて、対応するＵＶマップを生成する。シーン生成部２０４は、例えば、あるポリゴンについて、そのポリゴンの３つの頂点のＩＤと、テクスチャ画像におけるそのポリゴンの３つの頂点に対応する３つの頂点のＩＤと、の対応をＵＶマップの表に記憶する。
シーン生成部２０４は、生成したポリゴンデータ、テクスチャデータ、ＵＶマップのデータを含むシーンデータを、配置図生成部２０５と描画部２０６とに出力する。
【0020】
Ｓ３０３において、視点制御部２０２は、入力デバイス１０７を介したユーザによる入
力を受付け、受け付けた入力に基づいて、仮想視点画像の生成に用いられる仮想カメラパラメータを決定し、決定した仮想カメラパラメータを描画部２０６に出力する。より具体的には、視点制御部２０２は、入力デバイス１０７を介して、ユーザから仮想カメラの位置・姿勢等の入力を受付け、受け付けた入力に応じた仮想カメラの位置・姿勢等を表す仮想カメラパラメータを決定する。視点制御部２０２は、例えば、ユーザによるマウスの右方向への移動を検知すると、仮想カメラの姿勢を右方向へ回転させるように、仮想カメラパラメータ（外部パラメータ）を決定する。また、視点制御部２０２は、例えば、ユーザによるマウスの上方向への移動を検知すると、仮想カメラの姿勢を上方向へ変化させるように、仮想カメラパラメータ（外部パラメータ）を決定する。
ここで、カメラパラメータの外部パラメータと内部パラメータとについてより詳細に説明する。予め定められた世界座標系における撮像部（本実施形態では仮想カメラ）の位置（仮想カメラを基準として定められるカメラ座標系の原点の位置）を表すベクトルをｔとする。また、仮想カメラの姿勢を示す行列（世界座標系に対するカメラ座標系の姿勢、世界座標系とカメラ座標系との間での回転を表す行列）をＲとする。この場合、仮想カメラの外部パラメータは、以下の式（１）のように表すことができる。仮想カメラのカメラ座標系、世界座標系は、左手座標系とする。また、カメラ座標系において、仮想視点から仮想カメラの視線方向を向いた場合の右を＋ｘ方向、上を＋ｙ方向、奥を＋ｚ方向とする。
力を受付け、受け付けた入力に基づいて、仮想視点画像の生成に用いられる仮想カメラパラメータを決定し、決定した仮想カメラパラメータを描画部２０６に出力する。より具体的には、視点制御部２０２は、入力デバイス１０７を介して、ユーザから仮想カメラの位置・姿勢等の入力を受付け、受け付けた入力に応じた仮想カメラの位置・姿勢等を表す仮想カメラパラメータを決定する。視点制御部２０２は、例えば、ユーザによるマウスの右方向への移動を検知すると、仮想カメラの姿勢を右方向へ回転させるように、仮想カメラパラメータ（外部パラメータ）を決定する。また、視点制御部２０２は、例えば、ユーザによるマウスの上方向への移動を検知すると、仮想カメラの姿勢を上方向へ変化させるように、仮想カメラパラメータ（外部パラメータ）を決定する。
ここで、カメラパラメータの外部パラメータと内部パラメータとについてより詳細に説明する。予め定められた世界座標系における撮像部（本実施形態では仮想カメラ）の位置（仮想カメラを基準として定められるカメラ座標系の原点の位置）を表すベクトルをｔとする。また、仮想カメラの姿勢を示す行列（世界座標系に対するカメラ座標系の姿勢、世界座標系とカメラ座標系との間での回転を表す行列）をＲとする。この場合、仮想カメラの外部パラメータは、以下の式（１）のように表すことができる。仮想カメラのカメラ座標系、世界座標系は、左手座標系とする。また、カメラ座標系において、仮想視点から仮想カメラの視線方向を向いた場合の右を＋ｘ方向、上を＋ｙ方向、奥を＋ｚ方向とする。
【0021】
【数1】
【0022】
また、仮想カメラにより撮影される画像の主点の画像内の座標系における位置を（ｃｘ、ｃｙ）、カメラの焦点距離をｆとすると、仮想カメラの内部パラメータＫは、以下の式（２）のように表すことができる。
【0023】
【数2】
【0024】
視点制御部２０２は、カメラパラメータを、行列以外の表現で表してもよい。視点制御部２０２は、例えば、仮想カメラの位置を３次元座標で表し、仮想カメラの姿勢をｙａｗ、ｒｏｌｌ、及びｐｉｔｃｈの値の羅列によって表すようにしてもよい。また、視点制御部２０２は、例えば、仮想カメラのズーム値を表す情報を、仮想カメラの内部パラメータとして決定してもよい。
【0025】
Ｓ３０４において、配置図生成部２０５は、Ｓ３０２で生成されたシーンデータに基づいて、被写体の位置を示す配置図を生成する。配置図生成部２０５は、生成した配置図を描画部２０６へと出力する。Ｓ３０４の処理の詳細については、図５、図６で後述する。
Ｓ３０５において、描画部２０６は、Ｓ３０２でシーン生成部２０４により生成されたシーンデータと、Ｓ３０３で視点制御部２０２により決定された仮想カメラパラメータと、に基づいて仮想視点画像を生成する。そして、描画部２０６は、生成した仮想視点画像
と、Ｓ３０４で配置図生成部２０５により生成された配置図と、を含む出力デバイス１０９に表示させるための画面を生成する。
Ｓ３０６において、描画部２０６は、Ｓ３０５で生成した画面を出力デバイス１０９に表示する。Ｓ３０５～Ｓ３０６の処理は、仮想視点画像と併せて配置図を表示部に表示する表示制御処理の一例である。
以上が本実施形態の情報処理装置１００が行う処理の流れである。
Ｓ３０５において、描画部２０６は、Ｓ３０２でシーン生成部２０４により生成されたシーンデータと、Ｓ３０３で視点制御部２０２により決定された仮想カメラパラメータと、に基づいて仮想視点画像を生成する。そして、描画部２０６は、生成した仮想視点画像
と、Ｓ３０４で配置図生成部２０５により生成された配置図と、を含む出力デバイス１０９に表示させるための画面を生成する。
Ｓ３０６において、描画部２０６は、Ｓ３０５で生成した画面を出力デバイス１０９に表示する。Ｓ３０５～Ｓ３０６の処理は、仮想視点画像と併せて配置図を表示部に表示する表示制御処理の一例である。
以上が本実施形態の情報処理装置１００が行う処理の流れである。
【0026】
配置図生成部２０５による配置図の生成処理の詳細について、図５、図６を用いて説明する。図５は、配置図生成部２０５の詳細の一例を示す図である。図６は、情報処理装置１００の処理の一例を示すフローチャートであり、Ｓ３０４の処理の詳細を示す。
図５を用いて、配置図生成部２０５の詳細を説明する。
配置図生成部２０５は、シーン取得部５０１、位置・サイズ取得部５０２、テクスチャ色取得部５０３、分類部５０４、配置図決定部５０５を含む。
シーン取得部５０１は、シーン生成部２０４により生成されたシーンデータを取得する。位置・サイズ取得部５０２は、シーン取得部５０１により取得されたシーンデータに基づいて、そのシーンデータが示すシーンに存在する被写体の位置とサイズとを取得する。テクスチャ色取得部５０３は、シーン取得部５０１により取得されたシーンデータに基づいて、そのシーンデータが示すシーンに存在する被写体の色を取得する。
分類部５０４は、位置・サイズ取得部５０２により取得された位置・サイズ、テクスチャ色取得部５０３により取得された色等に基づいて、シーン取得部５０１により取得されたシーンデータに対応するシーンに存在する被写体を複数のグループに分類する。配置図決定部５０５は、分類部５０４により複数のグループに分類された被写体それぞれの位置を示す配置図を決定する。
なお、情報処理装置１００は少なくとも被写体の位置を示す配置図を表示すればよい。つまり、複数の被写体をグループに分類することなく配置図を表示してもよいし、被写体のサイズ及び色の少なくとも何れかの情報は取得しなくてもよい。ただし上記のように、被写体の位置、サイズ、及び色に関する情報を取得し、複数の被写体をグループ分けして配置図を表示することで、対象シーンのより詳細な状況をユーザに知らせることができる。
図５を用いて、配置図生成部２０５の詳細を説明する。
配置図生成部２０５は、シーン取得部５０１、位置・サイズ取得部５０２、テクスチャ色取得部５０３、分類部５０４、配置図決定部５０５を含む。
シーン取得部５０１は、シーン生成部２０４により生成されたシーンデータを取得する。位置・サイズ取得部５０２は、シーン取得部５０１により取得されたシーンデータに基づいて、そのシーンデータが示すシーンに存在する被写体の位置とサイズとを取得する。テクスチャ色取得部５０３は、シーン取得部５０１により取得されたシーンデータに基づいて、そのシーンデータが示すシーンに存在する被写体の色を取得する。
分類部５０４は、位置・サイズ取得部５０２により取得された位置・サイズ、テクスチャ色取得部５０３により取得された色等に基づいて、シーン取得部５０１により取得されたシーンデータに対応するシーンに存在する被写体を複数のグループに分類する。配置図決定部５０５は、分類部５０４により複数のグループに分類された被写体それぞれの位置を示す配置図を決定する。
なお、情報処理装置１００は少なくとも被写体の位置を示す配置図を表示すればよい。つまり、複数の被写体をグループに分類することなく配置図を表示してもよいし、被写体のサイズ及び色の少なくとも何れかの情報は取得しなくてもよい。ただし上記のように、被写体の位置、サイズ、及び色に関する情報を取得し、複数の被写体をグループ分けして配置図を表示することで、対象シーンのより詳細な状況をユーザに知らせることができる。
【0027】
図６を用いて、Ｓ３０４の処理の詳細を説明する。
Ｓ６０１において、配置図生成部２０５は、配置図を表示するか否かを判定する。例えば、配置図生成部２０５は、例えば、ＨＤＤ１０５に配置図を表示するか否かを示すフラグ情報が記憶されているとして、ＨＤＤ１０５からフラグ情報を取得する。そして、配置図生成部２０５は、取得したフラグ情報が、配置図を表示することを示す情報であるか否かに応じて、配置図を表示するか否かを判定する。配置図生成部２０５は、取得したフラグ情報が、配置図を表示することを示す情報である場合、配置図を表示すると判定する。配置図生成部２０５は、取得したフラグ情報が、配置図を表示しないことを示す情報である場合、配置図を表示しないと判定する。ＣＰＵ１０１は、入力デバイス１０７を介したユーザからの入力に基づいて、ＨＤＤ１０５に記憶されたフラグ情報の内容を更新することができる。
配置図生成部２０５は、配置図を表示すると判定した場合、Ｓ６０２の処理に進み、配置図を表示しないと判定した場合、図６の処理を終了する。
Ｓ６０２において、シーン取得部５０１は、Ｓ３０２で生成されたシーンデータを取得し、取得したシーンデータを位置・サイズ取得部５０２、テクスチャ色取得部５０３に出力する。
Ｓ６０１において、配置図生成部２０５は、配置図を表示するか否かを判定する。例えば、配置図生成部２０５は、例えば、ＨＤＤ１０５に配置図を表示するか否かを示すフラグ情報が記憶されているとして、ＨＤＤ１０５からフラグ情報を取得する。そして、配置図生成部２０５は、取得したフラグ情報が、配置図を表示することを示す情報であるか否かに応じて、配置図を表示するか否かを判定する。配置図生成部２０５は、取得したフラグ情報が、配置図を表示することを示す情報である場合、配置図を表示すると判定する。配置図生成部２０５は、取得したフラグ情報が、配置図を表示しないことを示す情報である場合、配置図を表示しないと判定する。ＣＰＵ１０１は、入力デバイス１０７を介したユーザからの入力に基づいて、ＨＤＤ１０５に記憶されたフラグ情報の内容を更新することができる。
配置図生成部２０５は、配置図を表示すると判定した場合、Ｓ６０２の処理に進み、配置図を表示しないと判定した場合、図６の処理を終了する。
Ｓ６０２において、シーン取得部５０１は、Ｓ３０２で生成されたシーンデータを取得し、取得したシーンデータを位置・サイズ取得部５０２、テクスチャ色取得部５０３に出力する。
【0028】
Ｓ６０３において、位置・サイズ取得部５０２は、Ｓ６０２で取得されたシーンデータに基づいて、各被写体の位置とサイズとの情報を取得する。Ｓ６０２で取得されたシーンデータには、被写体ごと図４（Ｂ）に示すような被写体を構成する各ポリゴンの頂点の３
次元の座標の情報が含まれる。そのため、位置・サイズ取得部５０２は、例えば、被写体ごとにシーンデータに含まれる各ポリゴンの頂点の位置に基づいて、被写体のサイズと位置とを取得する。
本実施形態では、位置・サイズ取得部５０２は、被写体を示す各ポリゴンの頂点の座標の平均を求め、求めた平均の座標の位置をその被写体の位置として取得する。また、位置・サイズ取得部５０２は、被写体を示すポリゴン全体の重心の位置をその被写体の位置として取得してもよい。
また、本実施形態では、位置・サイズ取得部５０２は、ｘ軸ｙ軸ｚ軸それぞれについて、被写体を示すポリゴンの各頂点の座標の最大値と最小値との差分の大きさ｜最大値－最小値｜の値を求める。そして、位置・サイズ取得部５０２は、ｘ軸ｙ軸ｚ軸それぞれについて求めた３つの値の組を、その被写体のサイズとして取得する。また、位置・サイズ取得部５０２は、ｘ軸ｙ軸ｚ軸それぞれについて求めた３つの値を掛け合わせた体積の値を、その被写体のサイズとして取得することとしてもよい。また、位置・サイズ取得部５０２は、その被写体を示すポリゴン全体で囲まれた部分の体積をその被写体のサイズとして取得することとしてもよい。
位置・サイズ取得部５０２は、取得した各被写体の位置とサイズとの情報を分類部５０４に出力する。
次元の座標の情報が含まれる。そのため、位置・サイズ取得部５０２は、例えば、被写体ごとにシーンデータに含まれる各ポリゴンの頂点の位置に基づいて、被写体のサイズと位置とを取得する。
本実施形態では、位置・サイズ取得部５０２は、被写体を示す各ポリゴンの頂点の座標の平均を求め、求めた平均の座標の位置をその被写体の位置として取得する。また、位置・サイズ取得部５０２は、被写体を示すポリゴン全体の重心の位置をその被写体の位置として取得してもよい。
また、本実施形態では、位置・サイズ取得部５０２は、ｘ軸ｙ軸ｚ軸それぞれについて、被写体を示すポリゴンの各頂点の座標の最大値と最小値との差分の大きさ｜最大値－最小値｜の値を求める。そして、位置・サイズ取得部５０２は、ｘ軸ｙ軸ｚ軸それぞれについて求めた３つの値の組を、その被写体のサイズとして取得する。また、位置・サイズ取得部５０２は、ｘ軸ｙ軸ｚ軸それぞれについて求めた３つの値を掛け合わせた体積の値を、その被写体のサイズとして取得することとしてもよい。また、位置・サイズ取得部５０２は、その被写体を示すポリゴン全体で囲まれた部分の体積をその被写体のサイズとして取得することとしてもよい。
位置・サイズ取得部５０２は、取得した各被写体の位置とサイズとの情報を分類部５０４に出力する。
【0029】
Ｓ６０４において、テクスチャ色取得部５０３は、Ｓ６０２で取得されたシーンデータに基づいて、各被写体の色情報を取得する。Ｓ６０２で取得されたシーンデータには、被写体ごとに、図４（ｃ）に示すようなテクスチャ画像が含まれている。テクスチャ色取得部５０３は、シーンデータに含まれるテクスチャ画像に基づいて、各被写体の色を取得する。本実施形態では、テクスチャ色取得部５０３は、テクスチャ画像における各画素の色のうち、出現頻度が上位から３つの色を特定して、特定した３つの色をその被写体の色として取得する。本実施形態では、予め複数の色が定められており、各色に対応する画素値の範囲も予め定められている。テクスチャ色取得部５０３は、例えば、テクスチャ画像における各画素の画素値が、どの色に対応する範囲に属するかを特定することで、各画素の色を特定する。
また、テクスチャ色取得部５０３は、例えば、被写体のポリゴンデータ・ＵＶマップを参照し、被写体の特定の領域の１色（例えば、着ている服の色）を被写体の色として取得してもよい。テクスチャ色取得部５０３は、取得した各被写体の色の情報を分類部５０４に出力する。
Ｓ６０５において、配置図生成部２０５は、全ての被写体に対して、位置・サイズの取得、色の取得が終了したか否かを判定する。配置図生成部２０５は、全ての被写体に対して、位置・サイズの取得、色の取得が終了したと判定した場合、Ｓ６０６の処理に進む。配置図生成部２０５は、位置・サイズの取得、色の取得が終了していない被写体があると判定した場合、Ｓ６０２の処理に進む。これにより、配置図生成部２０５は、残りの被写体に対し、Ｓ６０２～Ｓ６０４までの処理を実行する。
また、テクスチャ色取得部５０３は、例えば、被写体のポリゴンデータ・ＵＶマップを参照し、被写体の特定の領域の１色（例えば、着ている服の色）を被写体の色として取得してもよい。テクスチャ色取得部５０３は、取得した各被写体の色の情報を分類部５０４に出力する。
Ｓ６０５において、配置図生成部２０５は、全ての被写体に対して、位置・サイズの取得、色の取得が終了したか否かを判定する。配置図生成部２０５は、全ての被写体に対して、位置・サイズの取得、色の取得が終了したと判定した場合、Ｓ６０６の処理に進む。配置図生成部２０５は、位置・サイズの取得、色の取得が終了していない被写体があると判定した場合、Ｓ６０２の処理に進む。これにより、配置図生成部２０５は、残りの被写体に対し、Ｓ６０２～Ｓ６０４までの処理を実行する。
【0030】
Ｓ６０６において、分類部５０４は、Ｓ６０３で取得された位置・サイズに基づいて、被写体を複数のグループに分類する。本実施形態では、分類部５０４は、被写体を、人のグループと人以外のグループとに分類する。ＨＤＤ１０５は、予め、人である被写体が取り得るサイズの範囲の情報（例えば、横１０～３０ｃｍ、縦２０～５０ｃｍ、高さ１５０～２００ｃｍ）を予め記憶している。分類部５０４は、Ｓ６０３で取得されたある被写体のサイズが、ＨＤＤ１０５に記憶された情報が示す人が取り得るサイズの範囲に含まれる場合、その被写体を、人のグループに分類する。分類部５０４は、Ｓ６０３で取得されたある被写体のサイズが、ＨＤＤ１０５に記憶された情報が示す人が取り得るサイズの範囲に含まれない場合、その被写体を、人以外のグループに分類する。
また、ＨＤＤ１０５は、予め被写体となる人が存在し得る領域の情報を記憶することとしてもよい。その場合、分類部５０４は、例えば、Ｓ６０３で取得されたある被写体のサ
イズが、ＨＤＤ１０５に記憶された情報が示す人が取り得るサイズの範囲に含まれる場合でも、以下のようにしてもよい。即ち、分類部５０４は、Ｓ６０３で取得されたその被写体の位置が、ＨＤＤ１０５に記憶された情報が示す人が存在し得る領域に含まれる場合、その被写体を人のグループに分類し、その領域に含まれない場合、その被写体を人以外のグループに分類してもよい。例えば、スポーツの試合における選手を被写体とする場合、被写体はフィールドの領域内にのみ存在すると仮定できる。その場合、被写体である人が存在し得る領域の情報としてフィールドを示す情報がＨＤＤ１０５に予め記憶されているとする。分類部５０４は、この情報に基づいて、被写体の位置が、フィールドに含まれている場合、その被写体を、人のグループに分類し、フィールドに含まれない場合、人以外のグループに分類することとしてもよい。
また、ＨＤＤ１０５は、予め被写体となる人が存在し得る領域の情報を記憶することとしてもよい。その場合、分類部５０４は、例えば、Ｓ６０３で取得されたある被写体のサ
イズが、ＨＤＤ１０５に記憶された情報が示す人が取り得るサイズの範囲に含まれる場合でも、以下のようにしてもよい。即ち、分類部５０４は、Ｓ６０３で取得されたその被写体の位置が、ＨＤＤ１０５に記憶された情報が示す人が存在し得る領域に含まれる場合、その被写体を人のグループに分類し、その領域に含まれない場合、その被写体を人以外のグループに分類してもよい。例えば、スポーツの試合における選手を被写体とする場合、被写体はフィールドの領域内にのみ存在すると仮定できる。その場合、被写体である人が存在し得る領域の情報としてフィールドを示す情報がＨＤＤ１０５に予め記憶されているとする。分類部５０４は、この情報に基づいて、被写体の位置が、フィールドに含まれている場合、その被写体を、人のグループに分類し、フィールドに含まれない場合、人以外のグループに分類することとしてもよい。
【0031】
Ｓ６０７において、分類部５０４は、Ｓ６０６で人のグループに分類した被写体を、更に、Ｓ６０４で取得された色に基づいて、複数のグループに分類する。本実施形態では、仮想視点画像の描画対象となるサッカーの試合では、ＡチームとＢチームとが対戦しているとする。Ａチームの選手は、赤色のユニフォームを着ているとする。また、Ｂチームの選手は、青色のユニフォームを着ているとする。
分類部５０４は、Ｓ６０６で人のグループに分類した被写体を、Ａチームのグループ、Ｂチームのグループ、その他のグループの３つのグループに分類する。ＨＤＤ１０５には、予めＡチーム、Ｂチームのそれぞれに対応する色（例えば、Ａチームは赤、Ｂチームは青）の情報が記憶されている。分類部５０４は、この情報を読み込むことで、Ａチーム、Ｂチームのそれぞれに対応する色を取得できる。分類部５０４は、Ｓ６０６で人のグループに分類した被写体のうち、Ｓ６０４で取得した色に、Ａチームに対応する色が含まれる被写体を、Ａチームのグループに分類する。分類部５０４は、Ｓ６０６で人のグループに分類した被写体のうち、Ｓ６０４で取得した色に、Ｂチームに対応する色が含まれる被写体を、Ｂチームのグループに分類する。
また、分類部５０４は、Ｓ６０６で人のグループに分類した被写体のうち、Ｓ６０４で取得した色に、Ａチームに対応する色もＢチームに対応する色も含まれない被写体を、その他のグループに分類する。
分類部５０４は、Ｓ６０６で人のグループに分類した被写体を、Ａチームのグループ、Ｂチームのグループ、その他のグループの３つのグループに分類する。ＨＤＤ１０５には、予めＡチーム、Ｂチームのそれぞれに対応する色（例えば、Ａチームは赤、Ｂチームは青）の情報が記憶されている。分類部５０４は、この情報を読み込むことで、Ａチーム、Ｂチームのそれぞれに対応する色を取得できる。分類部５０４は、Ｓ６０６で人のグループに分類した被写体のうち、Ｓ６０４で取得した色に、Ａチームに対応する色が含まれる被写体を、Ａチームのグループに分類する。分類部５０４は、Ｓ６０６で人のグループに分類した被写体のうち、Ｓ６０４で取得した色に、Ｂチームに対応する色が含まれる被写体を、Ｂチームのグループに分類する。
また、分類部５０４は、Ｓ６０６で人のグループに分類した被写体のうち、Ｓ６０４で取得した色に、Ａチームに対応する色もＢチームに対応する色も含まれない被写体を、その他のグループに分類する。
【0032】
Ｓ６０８において、配置図決定部５０５は、Ｓ６０６、６０７での分類処理の結果に基づいて、配置図を決定する。
図７は、仮想視点画像と併せて表示される配置図の一例を示す図である。図７の状況は、仮想視点画像７００が表示されている状況を示す。仮想視点画像７００の下部には、被写体である各選手がサッカーのピッチ上でどこに位置するかを示す配置図が表示されている。図７の配置図において、Ａチームの選手に対応するオブジェクト、Ｂチームの選手に対応するオブジェクト、その他の人に対応するオブジェクト、人以外に対応するオブジェクトは、それぞれ異なる表示態様（例えば、異なる色、異なる模様）のオブジェクトである。オブジェクト７０１は、Ａチームの選手に対応するオブジェクトである。また、オブジェクト７０２は、Ｂチームの選手に対応するオブジェクトである。また、オブジェクト７０３は、その他の人（例えば、審判等）に対応するオブジェクトである。また、オブジェクト７０４は、人以外（例えば、ボール等）に対応するオブジェクトである。
なお、情報処理装置１００により表示される配置図には、撮影対象領域内における位置が特定されたオブジェクトすべての位置が示されていなくてもよい。例えば、上記のオブジェクトのうち人に分類されるオブジェクトのみの位置を示す配置図が表示されてもよいし、一方のチームの選手のみの位置を示す配置図が表示されてもよい。また、何れのグループに分類されたオブジェクトの位置を表示させるかや、何れのオブジェクトの位置を表示させるかを、ユーザ操作に基づいて決定してもよい。
この配置図は、シーンを俯瞰的に見たときの全ての被写体のサッカーのピッチ上の位置を明示的に示している。この配置図における領域のうち、オブジェクト、ピッチ上のラインを示す線、以外の領域は、透明である。そのため、例えば、図７のように、この配置図
が仮想視点画像に重畳して表示される場合、透明な領域には、仮想視点画像の一部が表示されている。本実施形態では、配置図決定部５０５は、図７の配置図のようなデザインの配置図を決定することとするが、他のデザインの配置図を決定してもよい。配置図決定部５０５は、被写体を示すオブジェクトとして、円形のオブジェクトでなく、矩形、三角形、人型等のオブジェクトを用いることとしてもよい。配置図決定部５０５は、配置図上の線の模様を、点線模様等の他の模様にしてもよい。
図７は、仮想視点画像と併せて表示される配置図の一例を示す図である。図７の状況は、仮想視点画像７００が表示されている状況を示す。仮想視点画像７００の下部には、被写体である各選手がサッカーのピッチ上でどこに位置するかを示す配置図が表示されている。図７の配置図において、Ａチームの選手に対応するオブジェクト、Ｂチームの選手に対応するオブジェクト、その他の人に対応するオブジェクト、人以外に対応するオブジェクトは、それぞれ異なる表示態様（例えば、異なる色、異なる模様）のオブジェクトである。オブジェクト７０１は、Ａチームの選手に対応するオブジェクトである。また、オブジェクト７０２は、Ｂチームの選手に対応するオブジェクトである。また、オブジェクト７０３は、その他の人（例えば、審判等）に対応するオブジェクトである。また、オブジェクト７０４は、人以外（例えば、ボール等）に対応するオブジェクトである。
なお、情報処理装置１００により表示される配置図には、撮影対象領域内における位置が特定されたオブジェクトすべての位置が示されていなくてもよい。例えば、上記のオブジェクトのうち人に分類されるオブジェクトのみの位置を示す配置図が表示されてもよいし、一方のチームの選手のみの位置を示す配置図が表示されてもよい。また、何れのグループに分類されたオブジェクトの位置を表示させるかや、何れのオブジェクトの位置を表示させるかを、ユーザ操作に基づいて決定してもよい。
この配置図は、シーンを俯瞰的に見たときの全ての被写体のサッカーのピッチ上の位置を明示的に示している。この配置図における領域のうち、オブジェクト、ピッチ上のラインを示す線、以外の領域は、透明である。そのため、例えば、図７のように、この配置図
が仮想視点画像に重畳して表示される場合、透明な領域には、仮想視点画像の一部が表示されている。本実施形態では、配置図決定部５０５は、図７の配置図のようなデザインの配置図を決定することとするが、他のデザインの配置図を決定してもよい。配置図決定部５０５は、被写体を示すオブジェクトとして、円形のオブジェクトでなく、矩形、三角形、人型等のオブジェクトを用いることとしてもよい。配置図決定部５０５は、配置図上の線の模様を、点線模様等の他の模様にしてもよい。
【0033】
図８は、配置図の表示に用いられる配置図のデータの一例を示す図である。配置図決定部５０５は、図８に示すような配置図のデータを生成することで、出力デバイス１０９に表示される配置図を決定して、生成した配置図のデータを、描画部２０６に出力する。
図８（ａ）の表は、各被写体の分類結果（属するグループ）と位置とを示す表である。ここで、図８（ａ）の表における２次元位置座標は、Ｓ６０３で取得された被写体の３次元座標における位置を、サッカーのピッチを真上から俯瞰して得られる２次元平面に射影した位置を示す値である。この２次元位置座標が示す位置は、対応する被写体を示すオブジェクトの中心となる位置である。配置図決定部５０５は、Ｓ６０３で取得された各被写体の３次元座標における位置を、この２次元平面に射影することで、この２次元平面上の各被写体の位置を示す座標を取得する。
図８（ａ）の表は、各被写体の分類結果（属するグループ）と位置とを示す表である。ここで、図８（ａ）の表における２次元位置座標は、Ｓ６０３で取得された被写体の３次元座標における位置を、サッカーのピッチを真上から俯瞰して得られる２次元平面に射影した位置を示す値である。この２次元位置座標が示す位置は、対応する被写体を示すオブジェクトの中心となる位置である。配置図決定部５０５は、Ｓ６０３で取得された各被写体の３次元座標における位置を、この２次元平面に射影することで、この２次元平面上の各被写体の位置を示す座標を取得する。
【0034】
このように、本実施形態では、配置図決定部５０５は、この２次元平面に射影した位置を取得することで、シーンを真上から見たような配置図となるように、配置図のデータを決定する。また、配置図決定部５０５は、Ｓ６０３で取得された被写体の３次元座標における位置を、サッカーのピッチを真横から見ることで得られる２次元平面に射影した位置を示す値を、図８（ａ）の表における２次元位置座標として求めてもよい。
配置図決定部５０５は、各被写体について、Ｓ６０３で取得された被写体の３次元座標における位置を、サッカーのピッチを真上から俯瞰して得られる２次元平面に射影した座標を取得する。そして、配置図決定部５０５は、各被写体についてのＳ６０６、Ｓ６０７での分類結果と、各被写体について取得したこの２次元平面における座標と、に基づいて、以下の処理を行う。即ち、配置図決定部５０５は、図８（ａ）のような被写体ごとの分類（属するグループ）と、２次元座標（この２次元平面における座標）と、を示す表を生成する。
配置図決定部５０５は、各被写体について、Ｓ６０３で取得された被写体の３次元座標における位置を、サッカーのピッチを真上から俯瞰して得られる２次元平面に射影した座標を取得する。そして、配置図決定部５０５は、各被写体についてのＳ６０６、Ｓ６０７での分類結果と、各被写体について取得したこの２次元平面における座標と、に基づいて、以下の処理を行う。即ち、配置図決定部５０５は、図８（ａ）のような被写体ごとの分類（属するグループ）と、２次元座標（この２次元平面における座標）と、を示す表を生成する。
【0035】
図８（ｂ）の表は、グループごとの配置図における被写体に対応するオブジェクトの表示態様を示す表である。図８（ｂ）の表は、分類（属するグループ）ごとの被写体を示すオブジェクトの色と、大きさ（円形のオブジェクトにおける半径）と、を示す。
本実施形態では、ＨＤＤ１０５は、予め、図８（ｂ）のようなグループごとの配置図における被写体に対応するオブジェクトの表示態様を示す表の情報を記憶しているとする。
配置図決定部５０５は、生成した図８（ａ）のような被写体ごとの分類と２次元座標とを示す表と、ＨＤＤ１０５から取得した図８（ｂ）のようなオブジェクトの表示態様を示す表と、を配置図のデータとして、決定して、描画部２０６に出力する。
本実施形態では、ＨＤＤ１０５は、予め、図８（ｂ）のようなグループごとの配置図における被写体に対応するオブジェクトの表示態様を示す表の情報を記憶しているとする。
配置図決定部５０５は、生成した図８（ａ）のような被写体ごとの分類と２次元座標とを示す表と、ＨＤＤ１０５から取得した図８（ｂ）のようなオブジェクトの表示態様を示す表と、を配置図のデータとして、決定して、描画部２０６に出力する。
【0036】
本実施形態では、図８（ｂ）のようなオブジェクトの表示態様を示す表が予め記憶されているとした。しかし、配置図決定部５０５は、オブジェクトの表示態様を示す表を生成することとしてもよい。配置図決定部５０５は、例えば、各被写体についてＳ６０４で取得された色に基づいて、各被写体に対応するオブジェクトの色を決定してもよい。例えば、配置図決定部５０５は、各被写体についてＳ６０４で取得された色のうち、最も出現頻度が高かった色を、各被写体に対応するオブジェクトの色として決定してもよい。また、配置図決定部５０５は、各被写体についてＳ６０４で取得された色を合成した色を、各被写体に対応するオブジェクトの色として決定してもよい。
また、配置図決定部５０５は、各被写体についてＳ６０３で取得された被写体のサイズに基づいて、各被写体に対応するオブジェクトのサイズを決定してもよい。例えば、配置
図決定部５０５は、各被写体についてＳ６０３で取得された被写体のサイズに、予め定められた係数をかけて求まる値を、各被写体に対応する円形のオブジェクトの半径として決定してもよい。また、配置図決定部５０５は、各被写体に対応する円形のオブジェクトの半径を、全て予め定められた値として決定してもよい。
そして、配置図決定部５０５は、各被写体について決定した被写体に対応するオブジェクトの色と、被写体に対応するオブジェクトのサイズと、に基づいて、図８（ｂ）のような各オブジェクトの表示態様を示す表を生成してもよい。
また、配置図決定部５０５は、各被写体についてＳ６０３で取得された被写体のサイズに基づいて、各被写体に対応するオブジェクトのサイズを決定してもよい。例えば、配置
図決定部５０５は、各被写体についてＳ６０３で取得された被写体のサイズに、予め定められた係数をかけて求まる値を、各被写体に対応する円形のオブジェクトの半径として決定してもよい。また、配置図決定部５０５は、各被写体に対応する円形のオブジェクトの半径を、全て予め定められた値として決定してもよい。
そして、配置図決定部５０５は、各被写体について決定した被写体に対応するオブジェクトの色と、被写体に対応するオブジェクトのサイズと、に基づいて、図８（ｂ）のような各オブジェクトの表示態様を示す表を生成してもよい。
【0037】
複数の被写体が近接していて、それらの被写体に対応するオブジェクトを、配置図における図８（ａ）の表における２次元座標が示す位置に配置すると、それらのオブジェクトが重なって表示されてしまう場合がある。そこで、配置図決定部５０５は、そのような事態を避けるため、図８（ａ）の表に示されるオブジェクトの表示位置（２次元座標）、図８（ｂ）の表に示されるオブジェクトの大きさ（サイズ）を修正することとしてもよい。
例えば、配置図決定部５０５は、図８（ａ）の表における２次元座標に基づいて、各被写体に対応する各オブジェクトの中心同士の配置図における距離を特定する。そして、配置図決定部５０５は、図８（ｂ）の表におけるサイズに基づいて、各オブジェクトのサイズ（半径）を特定する。そして、配置図決定部５０５は、オブジェクト同士の距離が、オブジェクト同士の半径の和よりも小さくなっているオブジェクトの組を、オブジェクト同士が重なっているオブジェクトの組として特定する。そして、配置図決定部５０５は、例えば、一方のオブジェクトを、そのオブジェクトから見て他方のオブジェクトの方向と逆の方向に、オブジェクトの中心同士の距離が、双方のオブジェクトの半径の和以上となるように、移動させる。これにより、配置図決定部５０５は、オブジェクト同士の重なりが解消できる。
また、配置図決定部５０５は、例えば、双方のオブジェクトを、それぞれから見て他方のオブジェクトの方向と逆の方向に、オブジェクトの中心同士の距離が、双方のオブジェクトの半径の和以上となるように、移動させることとしてもよい。また、配置図決定部５０５は、例えば、双方のオブジェクトの半径を、双方の半径の和が、双方のオブジェクト同士の距離よりも小さくなるように縮小してもよい。
例えば、配置図決定部５０５は、図８（ａ）の表における２次元座標に基づいて、各被写体に対応する各オブジェクトの中心同士の配置図における距離を特定する。そして、配置図決定部５０５は、図８（ｂ）の表におけるサイズに基づいて、各オブジェクトのサイズ（半径）を特定する。そして、配置図決定部５０５は、オブジェクト同士の距離が、オブジェクト同士の半径の和よりも小さくなっているオブジェクトの組を、オブジェクト同士が重なっているオブジェクトの組として特定する。そして、配置図決定部５０５は、例えば、一方のオブジェクトを、そのオブジェクトから見て他方のオブジェクトの方向と逆の方向に、オブジェクトの中心同士の距離が、双方のオブジェクトの半径の和以上となるように、移動させる。これにより、配置図決定部５０５は、オブジェクト同士の重なりが解消できる。
また、配置図決定部５０５は、例えば、双方のオブジェクトを、それぞれから見て他方のオブジェクトの方向と逆の方向に、オブジェクトの中心同士の距離が、双方のオブジェクトの半径の和以上となるように、移動させることとしてもよい。また、配置図決定部５０５は、例えば、双方のオブジェクトの半径を、双方の半径の和が、双方のオブジェクト同士の距離よりも小さくなるように縮小してもよい。
【0038】
また、配置図決定部５０５は、配置図が表示される位置に応じて、配置図上の色を修正してもよい。例えば、配置図決定部５０５は、図８（ｂ）の表における色が、配置図における透明な領域に表示される仮想視点画像の領域の色と見分けがつきにくい色として予め定められた色である場合、以下のようにしてもよい。即ち、配置図決定部５０５は、見分けがつきやすい色として予め定められた色のうち、図８（ｂ）の表に示される他の分類（他のグループ）に対応する色と異なる色に、変更してもよい。
本実施形態では、描画部２０６は、Ｓ３０６で、図７に示すように仮想視点画像の下部に仮想視点画像と重畳して配置図を表示することとするが、仮想視点画像の上部に仮想視点画像と重畳して表示してもよいし、仮想視点画像に重畳しない位置に表示（例えば仮想視点画像と並べて表示）してもよい。また、描画部２０６は、例えば、仮想視点画像における被写体である人が表示されている部分と重ならないように配置図を表示することとしてもよいし、仮想視点画像内の地中や空に対応する領域に配置図を表示させてもよい。このように、描画部２０６は、仮想視点の位置及び向き、被写体の位置、及び仮想視点画像の内容等に応じて、配置図の表示位置を決定してもよい。
本実施形態では、情報処理装置１００は、仮想視点画像の生成に用いられるそれぞれ異なる位置に配置された複数の撮像部により撮影された複数の画像に基づいて、各被写体の位置を示す配置図を生成し、表示することとした。しかし、例えば、各被写体にＧＰＳ端末が装着されているような場合、情報処理装置１００は、以下のようにして、各被写体の位置を示す配置図を生成し、表示することとしてもよい。即ち、情報処理装置１００は、各被写体のＧＰＳ端末から各被写体の位置の情報を受信し、受信した情報が示す位置に基づいて、各被写体の位置を示す配置図を生成してもよい。
本実施形態では、描画部２０６は、Ｓ３０６で、図７に示すように仮想視点画像の下部に仮想視点画像と重畳して配置図を表示することとするが、仮想視点画像の上部に仮想視点画像と重畳して表示してもよいし、仮想視点画像に重畳しない位置に表示（例えば仮想視点画像と並べて表示）してもよい。また、描画部２０６は、例えば、仮想視点画像における被写体である人が表示されている部分と重ならないように配置図を表示することとしてもよいし、仮想視点画像内の地中や空に対応する領域に配置図を表示させてもよい。このように、描画部２０６は、仮想視点の位置及び向き、被写体の位置、及び仮想視点画像の内容等に応じて、配置図の表示位置を決定してもよい。
本実施形態では、情報処理装置１００は、仮想視点画像の生成に用いられるそれぞれ異なる位置に配置された複数の撮像部により撮影された複数の画像に基づいて、各被写体の位置を示す配置図を生成し、表示することとした。しかし、例えば、各被写体にＧＰＳ端末が装着されているような場合、情報処理装置１００は、以下のようにして、各被写体の位置を示す配置図を生成し、表示することとしてもよい。即ち、情報処理装置１００は、各被写体のＧＰＳ端末から各被写体の位置の情報を受信し、受信した情報が示す位置に基づいて、各被写体の位置を示す配置図を生成してもよい。
【0039】
以上、本実施形態では、情報処理装置１００は、仮想視点画像と併せて、仮想視点画像の描画対象となるシーンに含まれる各被写体の位置を示す配置図を表示することとした。このように、情報処理装置１００は、仮想視点画像が示す局所的な情報と、配置図が示す大局的な情報と、をユーザに併せて提供できる。これにより、情報処理装置１００は、ユーザによる仮想視点画像の描画対象であるシーン全体の把握を支援できる。
【0040】
＜実施形態２＞
実施形態１では、情報処理装置１００が仮想視点画像と併せて、各被写体の位置を示す配置図を表示する処理について説明した。しかし、実施形態１で提供される仮想視点画像と配置図とからでは、ユーザは、表示されている仮想視点画像がどこから見た画像であるかを把握することが困難であった。そこで、本実施形態では、情報処理装置１００が、ユーザによる仮想視点画像がどこから見た画像であるかの把握を支援する処理について説明する。
本実施形態の情報処理装置のハードウェア構成は、実施形態１と同様である。本実施形態の情報処理装置１００の機能構成は、視点制御部２０２が配置図生成部２０５に対しても仮想カメラパラメータを出力する点と、図９で後述する配置図生成部２０５の詳細と、を除いて、実施形態１と同様である。
実施形態１では、情報処理装置１００が仮想視点画像と併せて、各被写体の位置を示す配置図を表示する処理について説明した。しかし、実施形態１で提供される仮想視点画像と配置図とからでは、ユーザは、表示されている仮想視点画像がどこから見た画像であるかを把握することが困難であった。そこで、本実施形態では、情報処理装置１００が、ユーザによる仮想視点画像がどこから見た画像であるかの把握を支援する処理について説明する。
本実施形態の情報処理装置のハードウェア構成は、実施形態１と同様である。本実施形態の情報処理装置１００の機能構成は、視点制御部２０２が配置図生成部２０５に対しても仮想カメラパラメータを出力する点と、図９で後述する配置図生成部２０５の詳細と、を除いて、実施形態１と同様である。
【0041】
本実施形態２では、情報処理装置１００は、配置図に被写体に対応するオブジェクトだけでなく、仮想カメラの位置・姿勢（仮想視点、仮想視線）を示すオブジェクトも配置させることで、ユーザによるシーン全体の理解度をさらに向上させることを支援する。
本実施形態の処理について、実施形態１との差異について説明する。
本実施形態における配置図の生成処理について、図９、図１０を用いて説明する。図９は、本実施形態の配置図生成部２０５の詳細の一例を示す図である。図１０は、本実施形態におけるＳ３０４の処理の詳細を示すフローチャートである。
本実施形態の処理について、実施形態１との差異について説明する。
本実施形態における配置図の生成処理について、図９、図１０を用いて説明する。図９は、本実施形態の配置図生成部２０５の詳細の一例を示す図である。図１０は、本実施形態におけるＳ３０４の処理の詳細を示すフローチャートである。
【0042】
図９に示す本実施形態の配置図生成部２０５の詳細は、図５に示す実施形態１の場合と比べて、仮想視点取得部１００１を含む点で異なる。
仮想視点取得部１００１は、視点制御部２０２から仮想カメラパラメータを取得する。
図１０のフローチャートの処理は、図６に示す実施形態１における処理と比べて、Ｓ１１０１の処理を含む点と、Ｓ６０８での処理の内容と、が異なる。
Ｓ１１０１において、仮想視点取得部１００１は、視点制御部２０２から仮想カメラパラメータを取得する。視点制御部２０２は、Ｓ３０３の処理と同様の処理で、仮想カメラパラメータを仮想視点取得部１００１に出力する。仮想視点取得部１００１は、取得した仮想カメラパラメータを、配置図決定部５０５に出力する。
仮想視点取得部１００１は、視点制御部２０２から仮想カメラパラメータを取得する。
図１０のフローチャートの処理は、図６に示す実施形態１における処理と比べて、Ｓ１１０１の処理を含む点と、Ｓ６０８での処理の内容と、が異なる。
Ｓ１１０１において、仮想視点取得部１００１は、視点制御部２０２から仮想カメラパラメータを取得する。視点制御部２０２は、Ｓ３０３の処理と同様の処理で、仮想カメラパラメータを仮想視点取得部１００１に出力する。仮想視点取得部１００１は、取得した仮想カメラパラメータを、配置図決定部５０５に出力する。
【0043】
Ｓ６０８において、配置図決定部５０５は、実施形態１と同様の処理に加えて、以下の処理を実行する。即ち、配置図決定部５０５は、配置図に配置される仮想カメラの位置・姿勢を示すオブジェクトの情報を決定する。配置図決定部５０５は、例えが、仮想カメラの位置・姿勢を示すオブジェクトの形状を、予め定められた形状に決定する。この予め定められた形状としては、例えば、図１１で後述するオブジェクト１２０１のような始点が共通する２つの線分とその線分がなす鋭角を示す形状、三角形の形状、カメラ型の形状、矢印型の形状等がある。また、配置図決定部５０５は、Ｓ１１０１で取得された仮想カメラパラメータに基づいて、仮想カメラの位置・姿勢を示すオブジェクトの配置図における配置位置を決定する。配置図決定部５０５は、例えば、Ｓ１１０１で取得された仮想カメラパラメータが示す位置・姿勢に対応する、配置図における位置・姿勢を特定し、特定した位置・姿勢を、配置図における仮想カメラの位置・姿勢として決定する。
そして、配置図決定部５０５は、図８に示すような配置図のデータに加えて、仮想カメラの位置・姿勢を示すオブジェクトの形状の情報、そのオブジェクトの配置図における位
置・姿勢の情報を描画部２０６に出力する。そして、描画部２０６は、配置図決定部５０５から取得したこれらの情報に基づいて、実施形態１で表示した内容に加えて、更に、仮想カメラの位置・姿勢を示すオブジェクトを配置図に含ませて表示する。
そして、配置図決定部５０５は、図８に示すような配置図のデータに加えて、仮想カメラの位置・姿勢を示すオブジェクトの形状の情報、そのオブジェクトの配置図における位
置・姿勢の情報を描画部２０６に出力する。そして、描画部２０６は、配置図決定部５０５から取得したこれらの情報に基づいて、実施形態１で表示した内容に加えて、更に、仮想カメラの位置・姿勢を示すオブジェクトを配置図に含ませて表示する。
【0044】
図１１は、本実施形態で仮想視点画像と併せて表示される配置図の一例を示す図である。図１１の状況は、仮想視点画像１２０６が表示されている状況を示す。仮想視点画像１２０６の下部には、被写体である各選手がサッカーのピッチ上でどこに位置するかを示す配置図が表示されている。オブジェクト１２０１は、仮想視点画像１２０６の生成に用いられた仮想カメラの位置・姿勢（仮想視点、仮想視線）を示す。円形のオブジェクト１２０２は、被写体１２０７（人）に対応するオブジェクトである。円形のオブジェクト１２０３は、被写体１２０８（人）に対応するオブジェクトである。円形のオブジェクト１２０４は、被写体１２０９（人）に対応するオブジェクトである。円形のオブジェクト１２０５は、人以外（ボール）である被写体１２１０に対応するオブジェクトである。
情報処理装置１００は、図１１のように、仮想カメラの位置・姿勢を示すオブジェクトを更に表示することで、実施形態１の効果に加えて、ユーザによる仮想視点画像がどの位置からどの方向を見た画像であるかの把握を支援することができる。
なお、情報処理装置１００は、仮想カメラの位置及び姿勢に加えて、もしくは姿勢に代えて、仮想カメラの視界を示す配置図を表示してもよい。また、情報処理装置１００は、仮想カメラの視界に含まれるオブジェクトと、仮想カメラの視界に含まれないオブジェクトとを、識別可能に示す配置図を表示してもよい。
情報処理装置１００は、図１１のように、仮想カメラの位置・姿勢を示すオブジェクトを更に表示することで、実施形態１の効果に加えて、ユーザによる仮想視点画像がどの位置からどの方向を見た画像であるかの把握を支援することができる。
なお、情報処理装置１００は、仮想カメラの位置及び姿勢に加えて、もしくは姿勢に代えて、仮想カメラの視界を示す配置図を表示してもよい。また、情報処理装置１００は、仮想カメラの視界に含まれるオブジェクトと、仮想カメラの視界に含まれないオブジェクトとを、識別可能に示す配置図を表示してもよい。
【0045】
本実施形態では、情報処理装置１００は、仮想カメラの位置・姿勢を示すオブジェクトとして、オブジェクト１２０１のような形状のオブジェクトを表示することとした。しかし、情報処理装置１００は、仮想カメラの位置・姿勢を示すオブジェクトとして、矢印型の形状等の他の形状のオブジェクトを表示してもよい。
仮想カメラパラメータが、特定の被写体に注目するように更新される場合がある。例えば、特定の選手を追従するように更新される場合がある。このような場合、情報処理装置１００は、配置図における注目対象となるその特定の被写体に対応するオブジェクトを、他のオブジェクトよりも強調するように表示してもよい。そのような場合、配置図決定部５０５は、例えば、入力デバイス１０７を介して、注目対象となる被写体の指定を受付ける。そして、配置図決定部５０５は、例えば、指定されたオブジェクトに対応するオブジェクトの色を、強調した色として予め定められた色に変更する。
また、配置図決定部５０５は、注目対象となる被写体に対応するオブジェクトの情報を、描画部２０６に出力することとしてもよい。その場合、描画部２０６は、例えば、そのオブジェクトを、点滅させて表示させることで、強調してもよい。また、描画部２０６は、複数のオブジェクトの位置から特定されるオブジェクト、例えばボールに最も近いオブジェクトを、識別可能に表示させてもよい。
仮想カメラパラメータが、特定の被写体に注目するように更新される場合がある。例えば、特定の選手を追従するように更新される場合がある。このような場合、情報処理装置１００は、配置図における注目対象となるその特定の被写体に対応するオブジェクトを、他のオブジェクトよりも強調するように表示してもよい。そのような場合、配置図決定部５０５は、例えば、入力デバイス１０７を介して、注目対象となる被写体の指定を受付ける。そして、配置図決定部５０５は、例えば、指定されたオブジェクトに対応するオブジェクトの色を、強調した色として予め定められた色に変更する。
また、配置図決定部５０５は、注目対象となる被写体に対応するオブジェクトの情報を、描画部２０６に出力することとしてもよい。その場合、描画部２０６は、例えば、そのオブジェクトを、点滅させて表示させることで、強調してもよい。また、描画部２０６は、複数のオブジェクトの位置から特定されるオブジェクト、例えばボールに最も近いオブジェクトを、識別可能に表示させてもよい。
【0046】
また、本実施形態では、情報処理装置１００は、仮想カメラの位置・姿勢を示すオブジェクトを配置図に含ませることとした。しかし、情報処理装置１００は、被写体、仮想カメラの位置・姿勢以外のものを示すオブジェクトを配置図に含ませることとしてもよい。
例えば、配置図決定部５０５は、入力デバイス１０７を介して、ユーザからオフサイドラインを示す部分に対応するオブジェクトの表示の指示を受付けた場合、以下の処理を行うこととしてもよい。即ち、配置図決定部５０５は、同一のチームに属する選手である各被写体の位置から、後ろから２人目の選手の位置を特定する。そして、配置図決定部５０５は、特定した位置を通り、センターラインに平行なラインを、オフサイドラインとして特定する。そして、配置図決定部５０５は、特定したオフサイドラインに対応する部分に線状のオブジェクトを含ませた配置図のデータを決定する。配置図決定部５０５は、決定した配置図のデータを、描画部２０６に出力する。そして、描画部２０６は、出力された配置図の情報に基づいて、オフサイドラインを示す線状のオブジェクトを含む配置図を出
力デバイス１０９に表示することとしてもよい。
例えば、配置図決定部５０５は、入力デバイス１０７を介して、ユーザからオフサイドラインを示す部分に対応するオブジェクトの表示の指示を受付けた場合、以下の処理を行うこととしてもよい。即ち、配置図決定部５０５は、同一のチームに属する選手である各被写体の位置から、後ろから２人目の選手の位置を特定する。そして、配置図決定部５０５は、特定した位置を通り、センターラインに平行なラインを、オフサイドラインとして特定する。そして、配置図決定部５０５は、特定したオフサイドラインに対応する部分に線状のオブジェクトを含ませた配置図のデータを決定する。配置図決定部５０５は、決定した配置図のデータを、描画部２０６に出力する。そして、描画部２０６は、出力された配置図の情報に基づいて、オフサイドラインを示す線状のオブジェクトを含む配置図を出
力デバイス１０９に表示することとしてもよい。
【0047】
＜その他の実施形態＞
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサがプログラムを読み出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサがプログラムを読み出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。
【0048】
例えば、上述した情報処理装置１００の機能構成の一部又は全てをハードウェアとして情報処理装置１００に実装してもよい。
以上、本発明の実施形態の一例について詳述したが、本発明は係る特定の実施形態に限定されるものではない。上述した各実施形態を任意に組み合わせたり、適宜改良乃至は応用してもよい。
以上、本発明の実施形態の一例について詳述したが、本発明は係る特定の実施形態に限定されるものではない。上述した各実施形態を任意に組み合わせたり、適宜改良乃至は応用してもよい。
【符号の説明】
【0049】
１００ 情報処理装置
１０１ ＣＰＵ
１１１ 外部サーバ
１０１ ＣＰＵ
１１１ 外部サーバ
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】