特許 7471784 提供装置、制御方法、及び、プログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2024-04-12

(45)【発行日】2024-04-22

(54)【発明の名称】提供装置、制御方法、及び、プログラム

(51)【国際特許分類】

   G06T 15/20 20110101AFI20240415BHJP

   G06T 19/00 20110101ALI20240415BHJP

   H04N 7/18 20060101ALI20240415BHJP

   H04N 23/60 20230101ALI20240415BHJP

   H04N 23/63 20230101ALI20240415BHJP

【ＦＩ】

G06T15/20 500

G06T19/00 A

H04N7/18 E

H04N7/18 U

H04N23/60

H04N23/63 300

【請求項の数】 22

(21)【出願番号】P 2019151404

(22)【出願日】2019-08-21

(65)【公開番号】P2021033525

(43)【公開日】2021-03-01

【審査請求日】2022-08-10

(73)【特許権者】

【識別番号】000001007

【氏名又は名称】キヤノン株式会社

(74)【代理人】

【識別番号】100126240

【弁理士】

【氏名又は名称】阿部 琢磨

(74)【代理人】

【識別番号】100223941

【弁理士】

【氏名又は名称】高橋 佳子

(74)【代理人】

【識別番号】100159695

【弁理士】

【氏名又は名称】中辻 七朗

(74)【代理人】

【識別番号】100172476

【弁理士】

【氏名又は名称】冨田 一史

(74)【代理人】

【識別番号】100126974

【弁理士】

【氏名又は名称】大朋 靖尚

(72)【発明者】

【氏名】阿達 大地

【審査官】中田 剛史

(56)【参考文献】

【文献】特開２０１８－２０６０２５（ＪＰ，Ａ）

【文献】特開２０１９－００４２２９（ＪＰ，Ａ）

【文献】石川 智也 Tomoya Ishikawa，コンピュータグラフィックス Computer Graphics，映像情報メディア学会誌 第６０巻 第１０号 THE JOURNAL OF THE INSTITUTE OF IMAGE INFORMATION AND TELEVISION ENGINEERS，日本，（社）映像情報メディア学会 THE INSTITUTE OF IMAGE INFORMATION AND TELEVISION ENGINEERS，第60巻

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ０６Ｔ １５／２０

Ｇ０６Ｔ １９／００

Ｈ０４Ｎ ７／１８

Ｈ０４Ｎ ２３／６０

Ｈ０４Ｎ ２３／６３

(57)【特許請求の範囲】

【請求項1】

仮想視点画像を生成するために用いられる複数の撮像画像を取得するための複数の撮像装置の撮像方向を示す情報を取得する取得手段と、
前記仮想視点画像の生成に用いられる仮想視点の方向が所定の方向に設定される場合における当該方向を、前記取得手段により取得された情報が示す撮像方向に基づいて評価することにより得られる評価結果に関する情報を出力する出力手段と、
ユーザによる操作に基づいて、仮想視点の方向を決定する決定手段と、
前記決定手段により決定される仮想視点の方向と前記所定の方向とに基づいて、前記出力手段によって出力された評価結果を通知する画面を表示手段に表示させる制御手段と
を有することを特徴とする提供装置。

【請求項2】

前記評価結果は、前記所定の方向と、前記取得手段により取得された情報が示す撮像方向とのなす角に基づいて、前記所定の方向を評価することにより得られる評価結果であることを特徴とする請求項１に記載の提供装置。

【請求項3】

前記評価結果は、前記なす角が所定の閾値未満であるか否かに基づいて、前記所定の方向を評価することにより得られる評価結果であることを特徴とする請求項２に記載の提供装置。

【請求項4】

前記評価結果に関する情報は、前記所定の方向と、当該方向に対応する前記なす角とが認識可能な情報であることを特徴とする請求項２又は３に記載の提供装置。

【請求項5】

前記取得手段は、前記複数の撮像装置の解像度を示す情報を更に取得し、
前記出力手段は、前記取得手段により取得された情報が示す解像度に基づいて、前記所定の方向を評価することにより得られる評価結果に関する情報を出力することを特徴とする請求項１乃至４のいずれか１項に記載の提供装置。

【請求項6】

前記評価結果に関する情報は、前記所定の方向と、当該方向に基づいて特定される撮像装置の解像度とが認識可能な情報であることを特徴とする請求項５に記載の提供装置。

【請求項7】

前記取得手段は、前記複数の撮像画像に関する情報を更に取得し、
前記出力手段は、前記取得手段により取得された複数の撮像画像に関する情報に更に基づいて、前記所定の方向を評価することを特徴とする請求項２乃至６のいずれか１項に記載の提供装置。

【請求項8】

前記撮像画像に関する情報は、撮像装置の揺れ、撮像画像のぼけ、露出、ホワイトバランス、撮像画像における信号対雑音比、及び前記撮像装置が撮像する撮像対象が遮蔽されていることを示す情報の少なくともいずれかを含むことを特徴とする請求項７に記載の提供装置。

【請求項9】

前記出力手段は、前記評価結果に関する情報を表示手段に出力することを特徴とする請求項１乃至８のいずれか１項に記載の提供装置。

【請求項10】

前記出力手段は、複数の所定の方向のそれぞれに対応する複数の評価結果を認識可能な表示画面を表示させるための情報を表示手段に出力することを特徴とする請求項９に記載の提供装置。

【請求項11】

前記出力手段は、前記評価結果に関する情報を前記制御手段に出力し、
前記制御手段は、前記評価結果に関する情報に基づいて、前記決定手段により決定される仮想視点の方向に応じた制御を行うことを特徴とする請求項１乃至１０のいずれか１項に記載の提供装置。

【請求項12】

前記制御手段は、前記決定手段により決定される仮想視点の方向が前記所定の方向と近似する場合、当該所定の方向に対応する評価結果をユーザに通知するための表示画面を表示手段に表示させることを特徴とする請求項１１に記載の提供装置。

【請求項13】

前記制御手段は、前記決定手段により決定される仮想視点の方向が前記所定の方向と近似する場合、当該所定の方向に対応する評価結果をユーザに通知するための音を出力手段に出力させることを特徴とする請求項１１又は１２に記載の提供装置。

【請求項14】

前記制御手段は、前記決定手段により決定される仮想視点の方向が前記所定の方向と近似し、且つ当該所定の方向と、前記取得手段により取得された情報が示す撮像方向とのなす角が所定の閾値未満でない場合に、前記決定手段により決定される仮想視点の方向を変更させるように前記ユーザにより操作される操作手段を制御することを特徴とする請求項１１乃至１３のいずれか１項に記載の提供装置。

【請求項15】

仮想視点画像を生成するために用いられる複数の撮像画像を取得するための複数の撮像装置の撮像方向を示す情報を取得する取得手段と、
前記仮想視点画像の生成に用いられる仮想視点の方向が所定の方向に設定される場合における当該方向を、前記取得手段により取得された情報が示す撮像方向に基づいて評価することにより得られる評価結果に関する情報を出力する出力手段と、
前記評価結果に関する情報に基づいて仮想視点の方向を決定する決定手段とを有することを特徴とする提供装置。

【請求項16】

前記所定の方向は、前記複数の撮像装置により撮像される撮像領域における特定の位置を向く方向であることを特徴とする請求項１乃至１５のいずれか１項に記載の提供装置。

【請求項17】

前記特定の位置は、前記複数の撮像装置により撮像される撮像領域における被写体の位置に基づいて特定されることを特徴とする請求項１６に記載の提供装置。

【請求項18】

前記特定の位置は、前記複数の撮像装置により撮像される撮像領域における複数の被写体の分布に基づいて特定されることを特徴とする請求項１７に記載の提供装置。

【請求項19】

前記特定の位置は、ユーザによる操作手段の操作に基づいて特定されることを特徴とする請求項１６に記載の提供装置。

【請求項20】

仮想視点画像を生成するために用いられる複数の撮像画像を取得するための複数の撮像装置の撮像方向を示す情報を取得する取得工程と、
前記仮想視点画像の生成に用いられる仮想視点の方向が所定の方向に設定される場合における当該方向を、前記取得工程において取得された情報が示す撮像方向に基づいて評価することにより得られる評価結果に関する情報を出力する出力工程と、
ユーザによる操作に基づいて、仮想視点の方向を決定する決定工程と、
前記決定工程により決定される仮想視点の方向と前記所定の方向とに基づいて、前記出力工程により出力された評価結果を通知する画面を表示手段に表示させる制御工程と
を有することを特徴とする提供装置の制御方法。

【請求項21】

仮想視点画像を生成するために用いられる複数の撮像画像を取得するための複数の撮像装置の撮像方向を示す情報を取得する取得工程と、
前記仮想視点画像の生成に用いられる仮想視点の方向が所定の方向に設定される場合における当該方向を、前記取得工程において取得された情報が示す撮像方向に基づいて評価することにより得られる評価結果に関する情報を出力する出力工程と、
前記評価結果に関する情報に基づいて仮想視点の方向を決定する決定手段と
を有することを特徴とする提供装置の制御方法。

【請求項22】

コンピュータを、請求項１乃至１９のいずれか１項に記載の提供装置が有する各手段として機能させるためのコンピュータプログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、仮想視点画像を生成する技術に関するものである。

【背景技術】

【0002】

近年、複数の撮像装置を異なる位置に設置して同期して撮像を行い、当該撮像に基づく複数の撮像画像を用いて仮想視点画像を生成する技術が注目されている。この技術によれば、撮像領域内における視点（仮想視点）の位置及び方向が指定されることにより、当該視点から見た画像（仮想視点画像）を生成することができる。また、このときに生成される仮想視点画像の画質は、撮像画像から得られる被写体の色情報の精度、及び仮想視点画像の解像度の高さ等に影響される。

【0003】

特許文献１には、複数の撮像装置が撮像する三次元空間において、解像度の高い仮想視点画像を生成可能な領域を表示する内容が記載されている。

【先行技術文献】

【特許文献】

【0004】

【文献】米国特許出願公報第２０１３／０３２１５７５号明細書

【発明の概要】

【発明が解決しようとする課題】

【0005】

しかしながら、特許文献１に記載の技術を用いて、解像度の高い仮想視点画像を生成可能な領域に仮想視点を設定しても、設定される仮想視点の方向によっては、仮想視点画像の画質が悪くなる虞がある。これは、仮想視点の方向と同等の方向から撮像が行われていない場合、当該仮想視点の方向に対応する被写体の色情報が取得されないためである。したがって、高画質な仮想視点画像の生成のためには適切な仮想視点の方向が設定される必要があった。

【0006】

本発明は上記の課題に鑑みてなされたものである。その目的は、適切な方向の仮想視点を設定可能にすることである。

【課題を解決するための手段】

【0007】

本発明に係る提供装置は、仮想視点画像を生成するために用いられる複数の撮像画像を取得するための複数の撮像装置の撮像方向を示す情報を取得する取得手段と、前記仮想視点画像の生成に用いられる仮想視点の方向が所定の方向に設定される場合における当該方向を、前記取得手段により取得された情報が示す撮像方向に基づいて評価することにより得られる評価結果に関する情報を出力する出力手段と、ユーザによる操作に基づいて、仮想視点の方向を決定する決定手段と、前記決定手段により決定される仮想視点の方向と前記所定の方向とに基づいて、前記出力手段によって出力された評価結果を通知する画面を表示手段に表示させる制御手段とを有することを特徴とする。

【発明の効果】

【0008】

本発明によれば、適切な方向の仮想視点が設定可能になる。

【図面の簡単な説明】

【0009】

【図1】複数の撮像装置が配置される一例を示す図である。

【図2】提供装置２００のハードウェア構成を説明するための図である。

【図3】提供装置２００を含む画像処理システム１０００の機能構成を説明するための図である。

【図4】提供装置２００が行う処理を説明するためのフローチャートである。

【図5】評価部３０３が行う評価処理を説明するためのフローチャートである。

【図6】評価部３０３が生成するグラフの一例を示す図である。

【図7】提供装置２３０を含む画像処理システム１１００の機能構成を説明するための図である。

【図8】提供装置２３０が行う処理を説明するためのフローチャートである。

【図9】制御部７０３が行う制御処理の一例を説明するための図である。

【図10】提供装置２４０を含む画像処理システム１２００の機能構成を説明するための図である。

【図11】提供装置２４０が行う処理を説明するためのフローチャートである。

【図12】第１の実施形態の変形例を説明するための図である。

【発明を実施するための形態】

【0010】

以下、本発明の実施形態について、図面を参照しながら説明する。なお、以下の実施形態に記載される構成要素は、本発明の実施の一例としての形態を示すものであり、本発明の範囲をそれらのみに限定するものではない。

【0011】

（第１の実施形態）
本実施形態においては、仮想視点の方向に応じた仮想視点画像の画質に関する情報を提供する提供装置２００について説明する。ここで、仮想視点画像とは、複数の撮像装置による撮像に基づく複数の画像と、指定された任意の視点（仮想視点）とに基づいて、指定された仮想視点からの見えを表す画像である。複数の撮像装置は、例えば図１に示す撮像装置１００のように、撮像領域を囲むように配置されうる。撮像領域は、例えばサッカーや空手などの競技が行われる競技場、もしくはコンサートや演劇が行われる舞台などである。複数の撮像装置は、このような撮像領域を取り囲むようにそれぞれ異なる位置に設置され、同期して撮像を行う。なお、複数の撮像装置は撮像領域の全周にわたって設置されていなくてもよく、設置場所の制限等によっては撮像領域の一部の方向にのみ設置されていてもよい。また、撮像装置の数は図に示す例に限定されず、例えば撮像領域をサッカーの競技場とする場合には、競技場の周囲に３０台程度の撮像装置が設置されてもよい。また、望遠カメラと広角カメラなど機能が異なる撮像装置が設置されていてもよい。また、本実施形態における仮想視点画像は、自由視点映像とも呼ばれるものであるが、ユーザが自由に（任意に）指定した視点に対応する画像に限定されず、例えば複数の候補からユーザが選択した視点に対応する画像なども仮想視点画像に含まれる。本実施形態における仮想視点画像は、動画であっても静止画像であってもよい。すなわち、以降の実施形態は、動画及び静止画像のいずれにも適用可能である。

【0012】

図２に提供装置２００のハードウェア構成図を示す。提供装置２００は、ＣＰＵ２１１、ＲＯＭ２１２、ＲＡＭ２１３、補助記憶装置２１４、通信Ｉ／Ｆ２１５、及びバス２１６を有する。ＣＰＵ２１１は、ＲＯＭ２１２やＲＡＭ２１３に格納されているコンピュータプログラムやデータを用いて提供装置２００の全体を制御することで、図１に示す提供装置２００の各機能を実現する。なお、提供装置２００がＣＰＵ２１１とは異なる１又は複数の専用のハードウェアを有し、ＣＰＵ２１１による処理の少なくとも一部を専用のハードウェアが実行してもよい。専用のハードウェアの例としては、ＡＳＩＣ（特定用途向け集積回路）、ＦＰＧＡ（フィールドプログラマブルゲートアレイ）、およびＤＳＰ（デジタルシグナルプロセッサ）などがある。

【0013】

ＲＯＭ２１２は、変更を必要としないプログラムなどを格納する。ＲＡＭ２１３は、補助記憶装置２１４から供給されるプログラムやデータ、及び通信Ｉ／Ｆ２１７を介して外部から供給されるデータなどを一時記憶する。補助記憶装置２１４は、例えばハードディスクドライブ等で構成され、画像データや音声データなどの種々のデータを記憶する。通信Ｉ／Ｆ２１５は、提供装置２００の外部の装置との通信に用いられる。例えば、提供装置２００が外部の装置と有線で接続される場合には、通信用のケーブルが通信Ｉ／Ｆ２１５に接続される。提供装置２００が外部の装置と無線通信する機能を有する場合には、通信Ｉ／Ｆ２１５はアンテナを備える。バス２１６は、提供装置２００の各部をつないで情報を伝達する。

【0014】

本実施形態における提供装置２００は、例えば、複数の撮像装置１００、出力装置２１７、及び入力装置２１８等と接続されうる。出力装置２１７は、例えば液晶ディスプレイやＬＥＤ等で構成され、ユーザが提供装置２００を操作するためのＧＵＩ（Ｇｒａｐｈｉｃａｌ Ｕｓｅｒ Ｉｎｔｅｒｆａｃｅ）などを表示する。入力装置２１８は、例えばキーボードやマウス、ジョイスティック、タッチパネル等で構成され、ユーザによる操作を受けて各種の指示をＣＰＵ２１１に入力する。本実施形態では出力装置２１７及び入力装置２１８が提供装置２００の外部に接続されるものとするが、出力装置２１７と入力装置２１８との少なくとも一方が、出力部あるいは入力部として提供装置２００の内部に存在していてもよい。また、本実施形態における補助記憶装置２１４は提供装置２００の内部に含まれるものとするが、提供装置２００の外部に接続される構成であってもよいし、内部及び外部の両方に備わっている構成であってもよい。

【0015】

図３は、本実施形態における提供装置２００を含む画像処理システム１０００の構成を説明するための図である。画像処理システム１０００は、複数の撮像装置１００、提供装置２００、及び表示装置３０４を有する。また、提供装置２００は、記憶部３１０、視点情報取得部３０１、評価情報取得部３０２、及び評価部３０３を有する。以下、各構成について説明する。

【0016】

複数の撮像装置１００は、撮像領域を複数の方向から撮像する。記憶部３１０は、図２における補助記憶装置２１４に対応する処理部である。本実施形態における記憶部３１０は、視点情報及び評価情報を記憶する。視点情報は、複数の撮像装置１００から取得されるデータであって、複数の撮像装置１００に関する情報を含むデータである。視点情報は、撮像装置１００に関する情報として、例えば複数の撮像装置１００それぞれの三次元位置、撮像方向、視野の大きさ（画角）、及び解像度等を示すパラメータを含みうる。視点情報は、複数の撮像装置１００の状態に基づき、公知のカメラキャリブレーション手法等にしたがって算出される。カメラキャリブレーションの一例として、視点情報は、複数の撮像装置１００の撮像により得られる複数の撮像画像における特徴点を撮像画像どうしで対応付け、幾何計算を行うことにより算出される。なお、視点情報に含まれる情報は上記に限定されない。例えば、複数の撮像装置１００全体の台数を示す情報等、上記の情報以外の情報が含まれていてもよい。また、上記の情報の中から任意の情報のみが含まれていてもよい。また、視点情報は複数のパラメータセットを有していてもよい。例えば、視点情報が、撮像装置１００の撮像により得られる動画について、該動画を構成する複数のフレームにそれぞれ対応する複数のパラメータセットを有していてもよい。このときのパラメータセットは、連続する複数の時点それぞれにおける撮像装置１００の位置及び撮像方向を示す情報である。評価情報は、後述する評価部３０３が行う評価処理の設定に関する情報を含むデータである。評価情報の詳細については、後述する。

【0017】

視点情報取得部３０１は、記憶部３１０に記憶された視点情報を取得し、評価部３０３に送信する。評価情報取得部３０２は、記憶部３１０に記憶された評価情報を取得し、評価部３０３に送信する。評価部３０３は、評価処理を行い、処理の結果に基づく情報を表示装置３０４に表示させる。評価処理とは、特定の位置において、該位置を所定の方向から見るような仮想視点に係る仮想視点画像について、その画質を認識可能な情報を取得するための処理である。表示装置３０４は、図２における出力装置２１７に対応する装置であり、例えばディスプレイ等である。

【0018】

図４を用いて、本実施形態における提供装置２００が行う処理について説明する。ＣＰＵ２１１がＲＯＭ２１２または補助記憶装置２１４に記憶されたプログラムを読み出して実行することにより、以下の処理が行われる。なお、以下の説明においては、処理ステップを単にＳと表記する。提供装置２００が視点情報の送信要求を送信することにより、処理が開始される。

【0019】

Ｓ４０１において、視点情報取得部３０１は、記憶部３１０から視点情報を取得し、評価部３０３に送信する。Ｓ４０２において、評価情報取得部３０２は、記憶部３１０から評価情報を取得し、評価部３０３に送信する。Ｓ４０３において、評価部３０３は、送信された視点情報及び評価情報を用いて、評価処理を行う。評価処理の詳細については、図５を用いて後述する。Ｓ４０４において、評価部３０３は、処理の結果に基づく情報を表示装置３０４に表示させる。表示装置３０４が当該情報を表示すると、処理が終了する。

【0020】

次に、評価部３０３が行う評価処理について説明する。以降、図５を参照しながら説明する。図５は、評価部３０３が行う評価処理を説明するためのフローチャートである。図５のフローチャートは、図４におけるＳ４０３の詳細なフローチャートである。

【0021】

Ｓ５０１において、評価部３０３は、評価情報取得部３０２から送信された評価情報に含まれる、評価位置及び評価方向に関する情報を取得する。評価情報に含まれる評価位置に関する情報（以下、評価位置情報と呼ぶ）は、複数の撮像装置１００が撮像する撮像領域における特定の位置の三次元座標を示す情報である。また、評価方向に関する情報（以下、評価方向情報と呼ぶ）は、上記の評価位置をどの方向から評価するかを示す情報である。評価位置情報及び評価方向情報は、それぞれ、複数の評価位置及び複数の評価方向についての情報を含みうる。以下の説明においては、評価位置情報に含まれる情報の一例として、（ｘ、ｙ、ｚ）＝（－３０００．０、２０００．０、０）、（０．０、２０００．０、０．０）、（３０００．０、２０００．０、０）の３つの座標を示す情報が含まれているものとする。なお、ｘｙｚ軸の原点は、撮像領域内の任意の位置に設定されるものとする。また、以下の説明においては、評価方向情報に含まれる情報の一例として、評価位置を含むｘｙ平面上に、評価位置を終点とし、且つ該評価位置の周囲に１０度間隔で放射状に設定される方向ベクトルを示す情報が含まれているものとする。すなわち、評価部３０３は、上記の評価情報に基づき、上記の評価位置に向かう複数の評価方向（方向ベクトル）を特定し、該複数の評価方向のそれぞれについて、該評価方向を仮想視点の方向として設定した場合の仮想視点画像の画質を評価する。

【0022】

本実施形態における評価位置情報及び評価方向情報は、ユーザによって予め設定され、評価情報として記憶部３１０に記憶される。ただし、提供装置２００の構成は上記に限定されない。例えば、ユーザによる入力装置２１８の入力操作等に基づいて評価位置情報及び評価方向情報の少なくともいずれかを決定する構成とすることにより、ユーザは入力操作を行うことで任意の評価位置及び評価方向を決定することができるようになる。また例えば、提供装置２００は、撮像領域内に等間隔に配置される複数の評価位置を示す評価位置情報、及び評価位置に対して等間隔で放射状に配置される複数の方向ベクトルを示す評価方向情報を自動で設定する構成とすることも可能である。この構成により、評価位置及び評価方向を決定するためのユーザの負担が軽減される。またこの構成においては、評価位置情報及び評価方向情報が自動で設定される場合、提供装置２００は、仮想視点の位置及び方向を設定可能な粒度に応じて、評価位置及び評価方向の配置の間隔を決定する構成であってもよい。また、評価位置及び評価方向は必ずしも等間隔に設定される必要はない。提供装置２００は、ユーザが予め評価情報を設定しておくことにより、任意の位置及び方向を設定可能である。また、一つの評価位置のみが設定されたり、一つの評価位置に対して一つの評価方向のみが設定されたりしてもよい。すなわち、提供装置２００は、評価情報又はユーザによる入力操作等に基づいて、一以上の任意の評価位置及び評価方向を設定可能である。

【0023】

Ｓ５０２において、評価部３０３は、評価位置情報が示す複数の評価位置について、Ｓ５０３からＳ５０５までの処理が行われていない評価位置が存在するか否かを判定する。処理が行われていない評価位置がある場合、評価部３０３はＳ５０３へ処理を進める。処理が行われていない評価位置がない場合、評価部３０３はＳ５０７へ処理を進める。

【0024】

Ｓ５０３において、評価部３０３は、処理が行われていない評価位置を、処理の対象として設定する。Ｓ５０４において、処理の対象となる評価位置に対応する複数の評価方向について、Ｓ５０５及びＳ５０６の処理が行われていない評価方向が存在するか否かを判定する。処理が行われていない評価方向がある場合、評価部３０３はＳ５０５へ処理を進める。処理が行われていない評価方向がない場合、評価部３０３はＳ５０２以降の処理を再度行う。

【0025】

Ｓ５０５において、評価部３０３は、複数の撮像装置１００の中から、評価方向に基づいて撮像装置１００を特定する。まず、評価部３０３は、視点情報取得部３０１から送信された視点情報に含まれる撮像装置１００の位置及び画角を示すパラメータに基づいて、評価位置の三次元座標が画角に含まれない撮像装置１００を、特定する撮像装置１００の候補から除外する。評価部３０３は、視点情報に基づき、残りの複数の撮像装置１００のそれぞれについて評価方向と撮像装置１００の撮像方向とのなす角の値を取得する。このときのなす角は、評価方向に対応する方向ベクトルと、撮像装置１００の撮像方向に対応する方向ベクトルとがなす角のうち、１８０度以下の角である。本実施形態においては、一例として、評価方向のｘｙ面内成分と撮像方向のｘｙ面内成分とのなす角を評価処理に用いることとする。また、評価部３０３は、取得したなす角の値が最小となる撮像装置１００を特定する。

【0026】

Ｓ５０６において、評価部３０３は、Ｓ５０５において特定された撮像装置１００について、上記のなす角の値を示す情報及び該撮像装置１００の空間分解能を示す情報を記憶部３１０に記憶させる。ここで、本実施形態における空間分解能は、撮像装置１００の解像度の性能に基づいて得られる指標である。具体的には、撮像装置１００の空間分解能とは、評価位置に仮想的に設置した所定の大きさ（例えば１ｍｍ四方）の単位立方体（ボクセル）が撮像装置１００の投影面に投影されたときに、該投影されたボクセルがどれくらいのピクセル数で表されるかを示す。ピクセル数が多い、すなわち空間分解能が高いほど、撮像装置１００は空間を細かく表現することができる。評価部３０３は、特定された撮像装置１００に対応するなす角及び空間分解能を示す情報を、当該評価方向と対応付けて記憶部３１０に記憶させたのち、Ｓ５０３へ処理を戻す。以降、すべての評価位置に対して処理を行うまで、Ｓ５０３からＳ５０６までの処理を繰り返す。

【0027】

すべての評価位置に対して処理を行った後、Ｓ５０６において、評価部３０３は、各評価位置に対応する撮像装置１００に関する情報に基づいて、仮想視点の設定に利用されるグラフを生成する。図６は、評価部３０３が生成するグラフの一例を示す図である。図６に示すグラフは、評価位置に対応する複数の評価方向に応じて、仮想視点画像の画質を評価した結果に基づいて生成されるグラフである。グラフ６０１は、評価位置（ｘ，ｙ，ｚ）＝（－３０００．０，２０００．０，０）に対応するグラフである。また、矢印６０２は、該評価位置における評価方向を示す方向ベクトルの一例である。評価部３０３は、各方向ベクトルについて、特定された撮像装置１００の撮像方向とのなす角によって色分けを行う。例えば、方向ベクトルと撮像装置１００の撮像方向とのなす角が１０度未満の場合と、１０度以上３０度未満の場合と、３０度以上４５度未満の場合と、４５度以上の場合とで４段階で色を変える。このように、評価部３０３は、評価方向と撮像装置１００の撮像方向とのなす角が上記の閾値未満であるか否かに応じて、評価方向に対応する画質を評価する。なお、色分けの際の閾値及び色は上記に限定されない。また、色分けは異なる色による分け方に限定されず、図６に示すように淡色の濃淡により表現されてもよい。評価部３０３は、色分けした結果に基づいて、図６に示すようなグラフを生成する。図６のグラフは、評価位置を中心とする扇形と各評価方向とが対応付けられ、上記の色分けの結果に基づいて着色がされている。また、扇形の半径の大きさは、該扇形に対応する評価方向により特定される撮像装置１００の空間分解能の高低と、対応づけられている。仮想視点画像の生成においては、仮想視点の方向と撮像装置１００の撮像方向とのなす角が小さいほど、仮想視点から見た映像と仮想視点画像の生成時に使用されるテクスチャとのずれも小さくなるため、生成される仮想視点画像の画質が高くなることが期待される。また、生成される仮想視点画像は、撮像装置１００の空間分解能が高いほど細かく表現されるため、画質が高くなることが期待される。今、グラフ６０３について、仮想視点６０４の方向に対応する方向ベクトルが緑、仮想視点６０５の方向に対応する方向ベクトルが黄色に色分けされているものとする。このとき、評価位置（ｘ，ｙ，ｚ）＝（３０００．０，２０００．０，０）においては、グラフ６０３が示す扇形の色及び半径に基づき、仮想視点６０５から評価位置を見た場合の仮想視点画像の方が仮想視点６０４の場合よりも画質が高いことが推定される。したがって、Ｓ５０６において生成されたグラフが表示装置３０４に表示されることにより、ユーザはグラフを見ながら、仮想視点の方向をどのように設定すれば画質の良い仮想視点画像を生成することができるかを推定できる。この結果、ユーザは画質の良い仮想視点画像を取得可能な仮想視点を設定する際に、上記のグラフを利用して適切な仮想視点の方向を設定することができる。なお、提供装置２００は上記の一連の評価処理を一度のみ行うことを想定しているが、例えば複数の撮像装置１００の一部が故障する等条件が変動した場合に、再度評価処理を行う構成とすることにより、評価処理の精度を向上させることも可能である。

【0028】

以上が、評価処理の説明である。なお、なす角及び空間分解能の表現は上記の例に限定されない。例えば、なす角及び空間分解能が色、明るさ、グラフの半径方向の大きさ、及びグラフのｚ軸方向の高さを用いた表現等の表現方法から、任意の表現方法を組み合わせて表現されてもよい。また、評価部３０３は、空間分解能が高いほどグラフが小さくなるようにグラフを生成してもよい。また、評価部３０３は、上記の例のようになす角を場合分けせず、各数値を色の彩度又は明度等に対応付けてグラフを生成してもよい。また、図６に示すグラフは複数の方向ベクトルのすべてについて描画されているが、これに限定されない。例えば、なす角が小さく空間分解能が高い方向ベクトルが代表の方向ベクトルとして選択され、該代表の方向ベクトルのみが描画される構成とすることにより、方向ベクトルの描画に係る処理を削減することができる。また、表示装置３０４に表示されるグラフは、図６のような正投影に限らず、任意の仮想視点から透視投影したグラフが表示されてもよい。このように、グラフの表現方法には種々の方法が考えられる。また、上記の実施形態においては、評価部３０３は、複数の撮像装置１００の撮像方向及び解像度に基づいて画質を評価するものとしたが、評価部３０３は、少なくとも撮像装置１００の撮像方向を示す情報を用いることにより画質を評価することが可能である。

【0029】

また、上記の実施形態においては、評価方向と撮像装置１００の撮像方向とのなす角は評価方向のｘｙ面内成分と撮像方向のｘｙ面内成分とのなす角であるものとしたが、これに限定されない。なす角として、評価方向に対応する空間ベクトルと、撮像方向に対応する空間ベクトルとのなす角を考慮することにより、提供装置２００は三次元空間に対応した評価方向についての画質を評価することが可能である。また、このときのグラフの表現方法として、評価位置を中心とする半球を生成し、仮想視点のｚ軸方向の高さも考慮したグラフが生成されるようにしてもよい。

【0030】

また、上記の実施形態においては、提供装置２００が有する評価部３０３がグラフを生成する構成について説明したが、これに限定されない。例えば、評価部３０３は、Ｓ５０２からＳ５０５までの処理に基づいて取得された情報を表示装置３０４に送信し、送信された情報に基づいて表示装置３０４がグラフを生成する構成であってもよい。また、表示装置３０４は別途仮想視点情報と仮想視点画像を取得してグラフを重畳表示する構成とすることにより、ユーザに仮想視点画像とグラフとを対応付けて提供することが可能である。また、表示装置３０４は、撮像領域における評価位置の座標と、該評価位置に対応するグラフとを対応付けて、仮想視点画像あるいは撮像領域を俯瞰する画像に重畳して表示する構成とすることができる。このとき表示装置３０４は、評価位置が複数ある場合に、複数のグラフが同一の仮想視点画像又は撮像領域を俯瞰する画像の各座標に配置された画面表示をする。この構成により、ユーザは、撮像領域内においてどの位置をどの方向から見るような仮想視点を設定すべきかを容易に認識することができる。

【0031】

以上説明したように、本実施形態における提供装置２００は、視点情報及び評価情報に基づいて評価処理を行い、グラフを生成する。ユーザは表示装置３０４に表示されるグラフを見ることにより、特定の位置（評価位置）を視野に含む仮想視点の方向をどのように設定すれば画質の良い仮想視点画像を生成することができるかを容易に認識することができる。この結果、ユーザは仮想視点を設定する際に、上記のグラフを利用し、高画質な仮想視点画像を生成することができる仮想視点の方向を設定することができる。なお、本実施形態における提供装置２００は、仮想視点の方向を設定するための情報として、グラフを生成する例について説明したが、提供装置が生成する情報はグラフ以外でもよい。提供装置２００は、例えば、評価方向と上記のなす角とが対応付けられたテーブルを生成する構成であってもよい。

【0032】

（第１の実施形態の変形例）
第１の実施形態の変形例として、画質を評価する別の方法について説明する。一例として、図１２を参照しながら、評価位置１２に対応する画質を評価する場合について説明する。評価部３０３は、視点情報に基づき、複数の撮像装置１００の中から評価位置１２を画角に含む撮像装置１００を特定する。評価部３０３は、特定した撮像装置１００の位置と評価位置１２とを結ぶ線分１３を算出する。さらに、評価部３０３は、評価位置を中心とする円について、算出した線分１３を中心とする中心角θの扇形１４を算出する。なお、このときの中心角θは任意の値であり、あらかじめ定められているものとする。特定された撮像装置１００が複数ある場合は、各撮像装置１００について同様に扇形１４を算出する。図１２に示す例では、代表として一つの扇形１４が図示されている。すべての扇形１４を算出した後、評価部３０３は、すべての扇形に含まれない領域１５を特定する。領域１５は、当該領域の方向から評価位置１２を撮像する撮像装置１００がないことを示す領域である。したがって、領域１５の方向から評価位置１２を見る仮想視点に対応する仮想視点画像の画質が低いことが推定される。評価部３０３は、図１２に示すような画面表示を表示装置３０４に表示させる。これにより、ユーザは、画質の良い仮想視点画像を取得するためにどの方向から評価位置１２を見る仮想視点を設定すればよいかを容易に推定することができる。

【0033】

なお、上記の変形例においては、必ずしも評価方向が特定される必要はなく、評価位置と複数の撮像装置１００の視点情報とに基づいて画質を評価することが可能である。また、評価部３０３は、各撮像装置１００に対応する扇形１４を算出したのち、特定の領域について扇形１４がいくつ重なるか（以下、重複回数と呼ぶ）を算出し、重複回数に応じて色分けを行う構成とすることも可能である。例えば、上記の領域１５はすべての扇形に含まれない領域であるため、領域１５の重複回数は０である。このとき、評価部３０３は、例えば重複回数が所定の閾値以下である領域を領域１５と同様に色分けしてもよいし、重複回数ごとに異なる色で色分けを行うようにしてもよい。このような構成とすることにより、より詳細な画質の評価が可能となる。また、評価部３０３は、値の異なる複数の中心角θを設定することにより、複数段階の画質を求める構成とすることも可能である。また、図１２に示す画面表示は一例であり、これに限定するものではない。第１の実施形態で述べた種々の表現方法を用いることが可能である。

【0034】

（第２の実施形態）
上述の第１の実施形態においては、評価処理の結果に基づく結果からグラフを生成し、表示装置３０４に表示させることにより、仮想視点の設定時に参考となる情報をユーザに提供する例について説明した。本実施形態においては、ユーザが仮想視点を設定する際に情報を提供する提供装置２３０について説明する。なお、提供装置２３０のハードウェア構成は第１の実施形態における提供装置２００と同様であるものとする。また、以降の説明においては、第１の実施形態と同様の機能構成及び処理フローについては同じ符号を付し、説明を省略する。

【0035】

図７は、本実施形態における提供装置２３０を含む画像処理システム１１００の機能構成を説明するための図である。画像処理システム１１００は、画像処理システム１０００の構成に加え、操作装置７０１、及びスピーカー７０４を含む。また、画像処理システム１１００に含まれる提供装置２３０は、提供装置２００の各処理部に加え、仮想視点決定部７０２、及び制御部７０３を有する。

【0036】

操作装置７０１は、図２における入力装置２１８に対応する装置であり、例えばキーボードやマウス、ジョイスティック、タッチパネル等で構成される。ユーザは操作装置７０１を操作することにより、仮想視点の位置、方向及び視野の広さ（画角）等を設定するための入力を行うことができる。以降の説明においては、仮想視点の位置、方向及び画角を示すパラメータを含む情報を、仮想視点情報と呼ぶ。ユーザは操作装置７０１を操作することにより、仮想視点情報の設定の他にも、提供装置２３０に対する動作命令等の種々の入力を行うことが可能である。

【0037】

仮想視点決定部７０２は、ユーザによる操作装置７０１の入力操作に基づき、仮想視点情報を決定する。なお、操作装置７０１において仮想視点情報が決定され、仮想視点決定部７０２に送信される構成であってもよい。また、仮想視点決定部７０２は、補助記憶装置２１４等にあらかじめ記憶された仮想視点情報を取得する構成であってもよい。仮想視点決定部７０２は、取得した仮想視点情報を制御部７０３に送信する。制御部７０３は、評価部３０３から評価処理の結果に基づく情報を取得して後述する制御処理を行い、該制御処理の結果に基づいて得られる情報を表示装置３０４及びスピーカー７０４に出力する。スピーカー７０４は、図２における出力装置２１７に対応する。スピーカー７０４は、制御部７０３から出力される情報に基づき、音声等を出力してユーザに情報を提供する。

【0038】

次に、図８を参照しながら提供装置２３０が行う処理について説明する。図８は、提供装置２３０が実行する処理を説明するためのフローチャートである。なお、Ｓ４０１、Ｓ４０２、Ｓ４０３及びＳ４０４における処理については第１の実施形態と同様であるため、説明を省略する。

【0039】

Ｓ８０１において、制御部７０３は、Ｓ４０３において実行された評価処理の結果に基づく情報を評価部３０３から取得する。Ｓ８０２において、仮想視点決定部７０２は、ユーザによる操作装置７０１の入力操作に基づき、仮想視点情報を決定する。また、仮想視点決定部７０２は、決定した仮想視点情報を制御部７０３に送信する。Ｓ８０３において、制御部７０３は、取得した情報に基づいて制御処理を行う。

【0040】

ここで、制御処理について説明する。図９は、制御部７０３が行う制御処理の一例を説明するための図である。制御部７０３は、仮想視点決定部７０２から送信される仮想視点情報と、評価部３０３が行う評価処理の結果に基づいて生成された情報とから、仮想視点と評価位置との位置関係を算出する。図９の例において、制御部７０３は、仮想視点４０の画角内にある評価位置と仮想視点４０の位置とを結ぶ光線９０１及び９０２を算出し、それぞれの評価位置について光線と最も近似する方向ベクトルを複数の方向ベクトルの中から選択する。制御部７０３は、選択された方向ベクトルに対応する画質の評価結果を参照し、該評価結果に基づいて制御値を決定する。制御値は、制御部７０３が表示装置３０４及びスピーカー７０４を制御するために決定される値である。また、制御値は、画質の評価結果が所定の基準に満たない場合、当該基準から離れるほど大きい値となる。例えば、所定の基準として、方向ベクトルと撮像装置１００の撮像方向とのなす角が３０度未満又は空間分解能が所定値（例えば０．５ピクセル）以上という基準が設定されている場合を考える。このとき、選択された方向ベクトルに対応する画質について、なす角が３０度以上かつ空間分解能が０．５ピクセル未満であった場合、なす角が大きいほど、及び空間分解能が低くなるほど制御値は大きくなる。一方、選択された方向ベクトルに対応する画質が上記の基準を満たす場合、制御値は０となる。なお、基準の内容については、上記に限定されない。制御値は、あらかじめなす角及び空間分解能と制御値とを対応付けたテーブルを用意しておくことにより決定される。ただしこの方法に限定されず、制御値がなす角と空間分解能との関数を使用することにより算出されてもよい。

【0041】

Ｓ８０４において、制御部７０３は、制御値が０か否かを判定する。制御値が０であると判定された場合、処理が終了する。制御値が０でないと判定された場合、Ｓ８０５に処理を進める。Ｓ８０５において、制御部７０３は、スピーカー７０４に制御値に基づく信号を送信し、制御値に応じた音をスピーカー７０４に出力させる。スピーカー７０４は、例えば、制御値に応じて音量及び種類の異なる音を出力する。あるいは、一定の周期で鳴る音について、該周期が制御値に応じて異なるような音が出力されてもよい。

【0042】

Ｓ８０６において、制御部７０３は、ユーザの入力操作に基づいて仮想視点情報が決定された際に、画質低下の警告を示す画面表示を表示装置３０４に表示させるように制御する。表示装置３０４は、制御部７０３による表示制御に従い、アイコン及びテキスト等を表示する。このとき、表示装置３０４は、制御値に応じてアイコン及びテキスト等の大きさ、色又は種類等を異ならせて表示する。また、制御部７０３は、画面全体を暗くするフィルター処理について、フィルターの大きさ、明るさ、色、又は透過率等のパラメータを変更し、表示装置３０４の表示に対してフィルター処理を行う構成であってもよい。また、表示装置３０４は、上記のような画面表示を、決定された仮想視点情報に対応する仮想視点画像に重畳させて表示する構成とすることも可能である。

【0043】

Ｓ８０７において、制御部７０３は、制御値に応じて仮想視点情報を補正させる信号を操作装置７０１に送信する。例えば、図９における仮想視点４１について、光線９０３に対応する方向ベクトルの画質が基準に満たないものとする。この場合、制御部７０３は、仮想視点４１の画角内に当該方向ベクトルが含まれなくなるように、仮想視点の位置、方向又は画角を補正させる信号を操作装置７０１に出力する。操作装置７０１は、制御部７０３から送信された信号に基づき、ユーザ操作によらずに仮想視点情報を補正するための操作を行うことができる。Ｓ８０７が終了すると、Ｓ４０４へ処理が進む。

【0044】

なお、Ｓ８０５、Ｓ８０６、Ｓ８０７及びＳ４０４の処理は必ずしもすべて実行されなくてもよく、任意の処理のみが実行される構成であってもよい。また、Ｓ８０５、Ｓ８０６、Ｓ８０７及びＳ４０４の処理が実行される順番についても、任意の順番で実行されて構わない。また、制御値がＳ８０５からＳ８０７までの各処理ごとに決定されてもよい。また、本実施形態においては、Ｓ４０４においてグラフが表示される表示装置と、Ｓ８０６において制御される表示装置とが同じ場合について説明したが、上記の表示装置は異なる装置であってもよい。また、本実施形態における操作装置７０１は提供装置２３０の外部に接続されるものとしたが、提供装置２３０の内部に含まれる構成であってもよい。

【0045】

以上説明した提供装置２３０は、スピーカー７０４、表示装置３０４及び操作装置７０１を制御することにより、仮想視点の設定に利用される情報を提供する。本実施形態における提供装置２３０によれば、ユーザは仮想視点を設定する際に、音が鳴らなくなる、又は画質の低下を通知する表示がされなくなるように仮想視点を設定することにより、画質の良い仮想視点画像を取得することができる。また、仮想視点情報が補正されることにより、仮想視点画像の画質が低下する虞を軽減することができる。

【0046】

（第３の実施形態）
上述した第１の実施形態においては、視点情報を参照することにより、評価情報に基づいて特定される評価位置における各評価方向に対応する画質を評価する方法について説明した。本実施形態においては、評価部３０３が評価処理を行う別の例について説明する。なお、本実施形態において説明する提供装置２４０のハードウェア構成は、第１の実施形態における提供装置２００と同様であるものとする。また、以降の説明においては、第１及び第２の実施形態と同様の機能構成及び処理フローについては同じ符号を付し、説明を省略する。

【0047】

図１０は、本実施形態における提供装置２４０を含む画像処理システム１２００の機能構成を説明するための図である。提供装置２４０は、提供装置２００の各処理部に加え、撮像情報取得部１００１、及び形状データ取得部１００２を有する。

【0048】

撮像情報取得部１００１は、記憶部３１０に記憶された撮像情報を取得し、評価部３０３に送信する。ここで、撮像情報とは、複数の撮像装置１００が撮像領域を撮像することにより得られる撮像画像に関する情報を含むデータである。撮像画像に関する情報は、撮像画像の質に関係する情報であり、例えば、撮像装置１００の揺れ、撮像画像のぼけ、露出、ホワイトバランス、及び撮像画像における信号対雑音比を示す数値を含む。撮像装置１００の揺れ、撮像画像のぼけ、露出、及びホワイトバランスは、外部の画像解析装置による解析、外部のセンサー、撮像装置１００の設定、及び撮像画像のメタデータに含まれる情報等に基づいて取得される。また、撮像画像は、撮像装置１００の感度が適切に設定されない場合に、雑音（ノイズ）を含むことがある。撮像画像における信号対雑音比は、適切な感度の設定により撮像された撮像画像を参照画像とした場合の、撮像画像におけるノイズの比率を算出することにより取得される。また、撮像装置１００は、ある評価位置が撮像領域内における構造物（例えばサッカーゴール等）によって遮られることにより、該評価位置を撮像できない場合がある。また、撮像装置１００は、例えば、観客、応援旗、鳥及び虫等が撮像装置１００の画角内に含まれるために、撮像対象が遮蔽され、撮像対象を適切に撮像できない場合がある。上記のような状況を示すため、撮像情報は、撮像画像に関する情報として、撮像装置１００が撮像する撮像対象が遮蔽されていることを示す情報を含む。撮像装置１００が遮蔽されていることを示す情報は、あらかじめ補助記憶装置２１４等に記憶させた構造物の座標を参照する、あるいは取得された撮像画像に対し、撮像対象ではないオブジェクトが含まれるか否かについて画像解析を行うことにより取得される。なお、撮像画像に関する情報は、上記の例に限定されず、例えば任意の数の情報のみを含んでいてもよいし、上記以外の情報を含んでいてもよい。

【0049】

形状データ取得部１００２は、記憶部３１０に記憶された形状データを取得し、評価部３０３に送信する。ここで、形状データとは、複数の撮像装置１００が撮像する被写体の形状を示すデータである。本実施形態における形状データは、例えば、メッシュポリゴンデータ又は点群データである。メッシュポリゴンデータ及び点群データは、複数の撮像画像に基づき、公知の三次元復元手法（例えば、Ｓｔｒｕｃｔｕｒｅ ｆｒｏｍ Ｍｏｔｉｏｎ（ＳｆＭ））等を用いることにより生成される。また、被写体の形状を示すデータと、撮像領域における該被写体の位置を示す情報とが紐づけられている。なお、形状データに含まれるデータはこれに限定されない。例えば、イメージベースドレンダリングに基づくデータが含まれていてもよい。形状データは、撮像画像を用いて予め生成され、記憶部３１０に記憶される。

【0050】

以下、図１１を参照しながら、提供装置２４０が行う処理について説明する。なお、処理の開始及び終了の判定、並びにＳ４０１、Ｓ４０２、及びＳ４０４は第１の実施形態と同様であるため説明を省略する。Ｓ１１０１において、撮像情報取得部１００１は、記憶部３１０から撮像情報を取得し、評価部３０３に送信する。Ｓ１１０２において、形状データ取得部１００２は、記憶部３１０から形状データを取得し、評価部３０３に送信する。

【0051】

Ｓ１１０３において、評価部３０３は、形状データに基づき、評価位置を算出する。ここで、評価位置の算出方法の一例について説明する。評価部３０３は、形状データと、形状データに紐づけられた位置情報とに基づきクラスタリングを行い、三次元位置が近接する被写体同士の集合に分割する。評価部３０３は、分割されたクラスタに含まれる被写体の形状データに基づいて、各集合の重心を算出し、該重心の座標を評価位置として設定する。なお、評価位置の算出方法はこれに限定されない。例えば、評価部３０３は、形状データに紐づけられている位置情報のみに基づいて評価位置を算出することも可能である。また、各集合に対応する評価位置は集合の重心に限定されず、各集合の近傍に設定されていればよい。また、例えば、評価部３０３は、クラスタリングを行わず、被写体の位置を評価位置として設定することも可能である。上記の処理を行うことにより、評価部３０３は、撮像領域における複数の被写体の分布に応じて評価位置を設定することができる。

【0052】

Ｓ１１０４において、評価部３０３は、取得した情報に基づき、各評価位置に対して評価処理を行う。本実施形態における評価処理は、図５に示す処理に加えて、撮像情報に基づく画質の評価を行う。評価部３０３は、評価方向に基づき撮像装置１００を特定し、該撮像装置１００に対応する撮像情報を参照する。評価部３０３は、撮像情報に含まれる各数値を加重加算することにより、撮像品質値を求める。加重加算に使用される重み係数はあらかじめ任意の値に設定される。また、評価部３０３は、撮像装置１００が構造物等により遮蔽されていることを示す情報がある場合、当該撮像装置１００は特定されないようにしてもよい。

【0053】

以上説明したように、評価部３０３は、第１の実施形態において説明した評価処理に加えて上記の処理を行い、各評価位置に対応する画質の評価を行う。また、評価部３０３は、評価結果に基づいてグラフを生成し、表示装置３０４に表示させる。生成されるグラフは、なす角、空間分解能、及び撮像情報に基づく加重加算値の３種類の値が、グラフの色、明るさ、半径方向の大きさ、及びｚ軸方向の高さ等のいずれかにそれぞれ対応付けられたグラフとなる。あるいは、３種類の値から加重平均を算出し、１または２種類の値としてから上記の表現方法によりグラフ化されてもよい。

【0054】

上記のように、評価部３０３が行う評価処理において、撮像情報に基づく画質評価の処理を加えることにより、より詳細な画質の評価が可能となる。ユーザは提供装置２４０によって提供されるグラフを見ることにより、特定の位置を見る仮想視点についてより適切な仮想視点の方向を推定することができる。また、評価部３０３が形状データに基づいて評価位置を設定することにより、被写体の近傍について、画質の評価を行うことができる。なお、本実施形態においては撮像情報及び形状データの両方が評価処理に使用される場合について説明したが、撮像情報及び形状データの一方のみが使用される構成であってもよい。

【0055】

（その他の実施形態）
以上説明した実施形態における提供装置は、仮想視点画像を生成するために用いられる複数の撮像画像を取得するための複数の撮像装置の撮像方向を示す情報として、視点情報を取得する。また、当該提供装置は、仮想視点の方向が所定の方向（評価方向）に設定される場合における当該方向を、撮像方向を示す情報に基づいて評価することにより得られる評価結果に関する情報を出力する。上記の実施形態によれば、適切な方向の仮想視点が設定可能になる。

【0056】

なお、上記の実施形態においては、提供装置が評価方向について評価処理を行う構成であったが、これに限定されない。提供装置は、視点情報に基づいて他の装置が評価した評価結果を取得し、該評価結果に関する情報を出力する構成であってもよい。

【0057】

また、上記の実施形態において、提供装置が提供する情報は主にユーザが仮想視点を設定する際に利用されるものとして説明したが、これに限定されない。例えば、提供装置が提供する情報に基づいて、仮想視点が自動で設定されるようにすることも可能である。この場合の実施形態について、図７に示す機能構成を参照しながら説明する。評価部３０３は、撮像領域における評価位置を指定可能な画面表示を表示装置３０４に表示させる。ユーザは、表示装置３０４の表示画面を見ながら操作装置７０１を操作し、撮像領域において仮想視点画像を見たい位置（例えば、サッカーゴール前等）を指定する。操作装置７０１は、ユーザによる入力操作により指定された位置を示す情報（位置情報）を評価部３０３に送信する。評価部３０３は、取得した位置情報が示す位置に対して評価処理を行い、得られた処理結果を仮想視点決定部７０２に送信する。仮想視点決定部７０２は、取得した評価処理の結果に基づいて、指定された位置の方向を向く仮想視点であって、高画質な仮想視点画像を生成可能な仮想視点を自動で決定する。このとき、ユーザによって複数の位置が指定された場合、仮想視点決定部７０２は、指定された複数の位置の方向を順に向くような仮想視点の移動経路を決定する。このときの移動経路の初期値として、仮想視点決定部７０２は、指定された複数の位置を結ぶ経路を選択する。評価部３０３は、指定された複数の位置のそれぞれに対して評価処理を行う。仮想視点決定部７０２は、評価処理の結果に基づいて、初期値として選択された経路を通る仮想視点に対応する仮想視点画像が所定の画質を満たすか否かを判定する。満たさないと判定した場合、仮想視点決定部７０２は、より高画質な仮想視点画像を生成可能な仮想視点の方向になるように、仮想視点の位置あるいは方向を補正する。以上説明したように、仮想視点決定部７０２は、評価処理の結果に基づいて、高画質な仮想視点画像を生成することができる、あるいは画質の変動が小さい仮想視点の移動経路を決定することができる。以上説明した実施形態によれば、任意の評価位置について、該評価位置を見る適切な仮想視点が自動で設定されるため、利便性が向上する。なお、評価部３０３は、評価情報又は形状データ等に基づいて特定される評価位置を、ユーザが指定する位置の候補として表示装置３０４に表示させる構成とすることも可能である。

【0058】

また、上述した実施形態については、上記のうち任意の形態を組み合わせて実施することが可能である。また、上記の実施形態において説明した各機能構成のそれぞれが、独立した処理装置として接続される構成であってもよい。

【0059】

本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。

【符号の説明】

【0060】

２００ 提供装置
３０１ 視点情報取得部
３０３ 評価部

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】