特許 7187182 データ生成装置、方法およびプログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2022-12-02

(45)【発行日】2022-12-12

(54)【発明の名称】データ生成装置、方法およびプログラム

(51)【国際特許分類】

   G06T 15/20 20110101AFI20221205BHJP

   G06T 19/00 20110101ALI20221205BHJP

【ＦＩ】

G06T15/20 500

G06T19/00 A

【請求項の数】 34

(21)【出願番号】P 2018111163

(22)【出願日】2018-06-11

(65)【公開番号】P2019215622

(43)【公開日】2019-12-19

【審査請求日】2021-06-08

(73)【特許権者】

【識別番号】000001007

【氏名又は名称】キヤノン株式会社

(74)【代理人】

【識別番号】110001243

【氏名又は名称】弁理士法人谷・阿部特許事務所

(72)【発明者】

【氏名】伊藤 裕尚

【審査官】山口 大志

(56)【参考文献】

【文献】特開２０１７－２２７９７５（ＪＰ，Ａ）

【文献】特開２０１６－１２６４２５（ＪＰ，Ａ）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ０６Ｔ １５／２０

Ｇ０６Ｔ １９／００

(57)【特許請求の範囲】

【請求項1】

複数の撮像装置で撮像されることにより取得される複数の画像に基づき、オブジェクトの形状を示す三次元形状データを生成する第１の生成手段と、
前記複数の画像に基づいて、前記第１の生成手段により生成された前記三次元形状データの要素の色を示す色情報を生成する第２の生成手段と、
前記複数の画像に基づいて、前記第１の生成手段により生成された前記三次元形状データの要素の色を仮想視点に応じて補正するための色補正情報を生成する第３の生成手段と、
前記第１の生成手段により生成された前記三次元形状データと前記第２の生成手段により生成された前記色情報と、前記第３の生成手段により生成された色補正情報を関連付けて記憶手段に記憶させる記憶制御手段と、
を有する、ことを特徴とするデータ生成装置。

【請求項2】

前記第３の生成手段は、前記三次元形状データの要素と当該三次元形状データの要素に対応する領域を撮像する撮像装置との距離に基づき特定される撮像装置の画像に基づいて、前記色補正情報を生成することを特徴とする請求項１に記載のデータ生成装置。

【請求項3】

前記第３の生成手段は、前記三次元形状データの要素との関係で他と比べて大きい角度をなす２つの撮像装置の画像に基づいて、前記色補正情報を生成することを特徴とする請求項１または２に記載のデータ生成装置。

【請求項4】

前記第３の生成手段は、前記三次元形状データの要素に対応する画像の画素が複数である場合、複数の画素の画素値に基づいて前記色補正情報として生成することを特徴とする請求項１から３の何れか一項に記載のデータ生成装置。

【請求項5】

前記複数の画像に基づいて生成されるオブジェクトを含む前景画像は、前記記憶手段に記憶されないことを特徴とする請求項１から４の何れか一項に記載のデータ生成装置。

【請求項6】

前記記憶手段に記憶されるデータのデータ形式を決定する決定手段をさらに有し、
前記記憶制御手段は、前記決定手段により決定された前記データ形式で、前記三次元形状データと前記色情報と前記色補正情報を前記記憶手段に記憶させることを特徴とする請求項１から５の何れか一項に記載のデータ生成装置。

【請求項7】

前記決定手段は、前記仮想視点に対応する仮想視点画像を生成するための素材データのデータサイズを基準値と比較して前記データ形式を決定することを特徴とする請求項６に記載のデータ生成装置。

【請求項8】

前記複数の画像に基づいて、オブジェクトを含む前景画像、およびオブジェクトを含まない背景画像が生成され、
前記決定手段は、前記三次元形状データと前記背景画像と前記前景画像の組、前記三次元形状データと前記背景画像と前記色情報と前記色補正情報の組、前記三次元形状データと前記背景画像と前記色情報の組のうち、前記基準値を満たす組を前記データ形式として決定する
ことを特徴とする請求項７に記載のデータ生成装置。

【請求項9】

前記決定手段は、前記組に付与された優先順位の高い組を前記データ形式として決定することを特徴とする請求項８に記載のデータ生成装置。

【請求項10】

前記記憶制御手段は、前記三次元形状データと前記背景画像と前記前景画像の組が前記基準値を満たさない場合、前記前景画像を前記記憶手段に記憶させないことを特徴とする請求項８または９に記載のデータ生成装置。

【請求項11】

前記三次元形状データは、三次元空間の位置情報を有す複数の点で構成されることを特徴とする請求項１から１０の何れか一項に記載のデータ生成装置。

【請求項12】

前記三次元形状データの要素は、ポリゴンで構成される
ことを特徴とする請求項１から１０の何れか一項に記載のデータ生成装置。

【請求項13】

前記三次元形状データと前記色情報と前記色補正情報とに基づいて、前記仮想視点に対応する仮想視点画像を生成する第４の生成手段と、
を有する、ことを特徴とする請求項１から１２の何れか一項に記載のデータ生成装置。

【請求項14】

前記仮想視点に基づき、前記三次元形状データの要素の色を決定するために使用される前記色情報と前記色補正情報の重みづけが変えられる
ことを特徴とする請求項１３に記載のデータ生成装置。

【請求項15】

前記仮想視点が前記色情報および前記色補正情報それぞれの生成対象の撮像装置と前記三次元形状データの要素とで囲まれる領域にある場合、前記仮想視点および前記三次元形状データの要素を結ぶ線と、前記色情報および前記色補正情報それぞれの生成対象の撮像装置の撮像方向とでなす角度の大きさに応じて、前記三次元形状データの要素の色を決定するために使用される前記色情報と前記色補正情報の重みづけが設定される、ことを特徴とする請求項１４に記載のデータ生成装置。

【請求項16】

前記仮想視点が前記色情報および前記色補正情報のそれぞれの生成対象の撮像装置と前記三次元形状データの要素とで囲まれる領域の外側の領域にある場合、前記仮想視点に近い前記色補正情報の生成対象である撮像装置に対応する前記色補正情報を用いて、前記三次元形状データの要素の色が決定される
ことを特徴とする請求項１４に記載のデータ生成装置。

【請求項17】

複数の撮像装置で撮像されることにより取得される複数の画像に基づき、オブジェクトの形状を示す三次元形状データを生成する第１の生成ステップと、
前記複数の画像に基づいて、前記第１の生成ステップにて生成された前記三次元形状データの要素の色を示す色情報を生成する第２の生成ステップと、
前記複数の画像に基づいて、前記第１の生成ステップにて生成された前記三次元形状データの要素の色を仮想視点に応じて補正するための色補正情報を生成する第３の生成ステップと、
前記第１の生成ステップにて生成された前記三次元形状データと前記第２の生成ステップにて生成された前記色情報と、前記第３の生成ステップにて生成された色補正情報を関連付けて記憶手段に記憶させる記憶制御ステップと、
を含む、ことを特徴とするデータ生成方法。

【請求項18】

請求項１から１６の何れか一項に記載のデータ生成装置としてコンピュータを機能させるためのプログラム。

【請求項19】

複数の撮像装置で撮像されることにより取得される複数の画像に基づき、オブジェクトの形状を示す三次元形状データを生成する第１の生成手段と、
前記複数の画像に基づいて、前記第１の生成手段により生成された前記三次元形状データの要素の色を示す色情報を生成する第２の生成手段と、
前記複数の画像に基づいて、前記第１の生成手段により生成された前記三次元形状データの要素の色を仮想視点に応じて補正するための色補正情報を生成する第３の生成手段と、
を有するデータ生成装置と、
前記データ生成装置の前記第１の生成手段により生成された前記三次元形状データと、前記データ生成装置の前記第２の生成手段により生成された前記色情報と、前記データ生成装置の前記第３の生成手段により生成された色補正情報を関連付けて記憶する記憶装置と、
を有する、ことを特徴とするシステム。

【請求項20】

前記第３の生成手段は、前記三次元形状データの要素と当該三次元形状データの要素に対応する領域を撮像する撮像装置との距離に基づき特定される撮像装置の画像に基づいて、前記色補正情報を生成することを特徴とする請求項１９に記載のシステム。

【請求項21】

前記第３の生成手段は、前記三次元形状データの要素との関係で他と比べて大きい角度をなす２つの撮像装置の画像に基づいて、前記色補正情報を生成することを特徴とする請求項１９または２０に記載のシステム。

【請求項22】

前記第３の生成手段は、前記三次元形状データの要素に対応する画像の画素が複数である場合、複数の画素の画素値に基づいて前記色補正情報として生成することを特徴とする請求項１９から２１の何れか一項に記載のシステム。

【請求項23】

前記複数の画像に基づいて生成されるオブジェクトを含む前景画像は、前記記憶装置に記憶されないことを特徴とする請求項１９から２２の何れか一項に記載のシステム。

【請求項24】

前記記憶装置に記憶されるデータのデータ形式を決定する決定手段をさらに有し、
前記記憶装置は、前記決定手段により決定された前記データ形式で、前記三次元形状データと前記色情報と前記色補正情報を記憶することを特徴とする請求項１９から２３の何れか一項に記載のシステム。

【請求項25】

前記決定手段は、前記仮想視点に対応する仮想視点画像を生成するための素材データのデータサイズを基準値と比較して前記データ形式を決定することを特徴とする請求項２４に記載のシステム。

【請求項26】

前記複数の画像に基づいて、オブジェクトを含む前景画像、およびオブジェクトを含まない背景画像が生成され、
前記決定手段は、前記三次元形状データと前記背景画像と前記前景画像の組、前記三次元形状データと前記背景画像と前記色情報と前記色補正情報の組、前記三次元形状データと前記背景画像と前記色情報の組のうち、前記基準値を満たす組を前記データ形式として決定する
ことを特徴とする請求項２５に記載のシステム。

【請求項27】

前記決定手段は、前記組に付与された優先順位の高い組を前記データ形式として決定することを特徴とする請求項２６に記載のシステム。

【請求項28】

前記記憶装置は、前記三次元形状データと前記背景画像と前記前景画像の組が前記基準値を満たさない場合、前記前景画像を記憶しないことを特徴とする請求項２６または２７に記載のシステム。

【請求項29】

前記三次元形状データは、三次元空間の位置情報を有す複数の点で構成される
ことを特徴とする請求項１９から２８の何れか一項に記載のシステム。

【請求項30】

前記三次元形状データの要素は、ポリゴンで構成される
ことを特徴とする請求項１９から２８の何れか一項に記載のシステム。

【請求項31】

前記仮想視点を特定するための仮想視点情報を取得する第１の取得手段と、
前記オブジェクトの形状を示す三次元形状データと、前記三次元形状データの要素の色を示す色情報と、前記三次元形状データの要素の色を前記仮想視点に応じて補正するための色補正情報と、を取得する第２の取得手段と、
前記第２の取得手段により取得された前記三次元形状データと前記色情報と前記色補正情報とに基づいて、前記第１の取得手段により取得された前記仮想視点情報により特定される仮想視点に対応する仮想視点画像を生成する画像生成手段と、を有する画像処理装置を
さらに有することを特徴とする請求項１９から３０の何れか一項に記載のシステム。

【請求項32】

前記仮想視点情報に基づき、前記三次元形状データの要素の色を決定するために使用される前記色情報と前記色補正情報の重みづけが変えられる
ことを特徴とする請求項３１に記載のシステム。

【請求項33】

前記仮想視点が前記色情報および前記色補正情報それぞれの生成対象の撮像装置と前記三次元形状データの要素とで囲まれる領域にある場合、前記仮想視点および前記三次元形状データの要素を結ぶ線と、前記色情報および前記色補正情報それぞれの生成対象の撮像装置の撮像方向とでなす角度の大きさに応じて、前記三次元形状データの要素の色を決定するために使用される前記色情報と前記色補正情報の重みづけが設定される、ことを特徴とする請求項３２に記載のシステム。

【請求項34】

前記仮想視点が前記色情報および前記色補正情報のそれぞれの生成対象の撮像装置と前記三次元形状データの要素とで囲まれる領域の外側の領域にある場合、前記仮想視点に近い前記色補正情報の生成対象である撮像装置に対応する前記色補正情報を用いて、前記三次元形状データの要素の色が決定される
ことを特徴とする請求項３２に記載のシステム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、複数の視点から撮像した画像に基づき、仮想視点からの画像を生成する技術に関する。

【背景技術】

【0002】

昨今、複数のカメラを異なる位置に設置して複数視点で同期撮像を行い、当該撮像により得られた複数の画像を用いて仮想視点コンテンツを生成する技術が注目されている。この複数の画像から仮想視点コンテンツを生成する技術によれば、例えば、サッカーやバスケットボールのハイライトシーンを様々な角度から視聴することが可能になるため、ユーザにより高い臨場感を与えることができる。

【0003】

仮想視点画像の生成及び閲覧には、複数のカメラが撮像した画像データのサーバなどへの集約、当該サーバなどにおける三次元モデルの生成やレンダリングなどの画像処理が必要となり得る。特許文献１には、実空間を分割した局所領域それぞれに応じてカメラパラメータおよび画像などを調整することによって、複数台のカメラの画像から、現実に近い実空間上の任意の視点の画像を生成する技術が開示されている。

【先行技術文献】

【特許文献】

【0004】

【文献】特開２００８－１５７５６号公報

【発明の概要】

【発明が解決しようとする課題】

【0005】

しかしながら、上述の特許文献１の技術では、複数台のカメラの画像を用いて仮想視点画像を生成するため、仮想視点画像の生成に要する画像のデータ量が非常に多くなってしまうという課題がある。

【0006】

そこで、本発明は、データ量を削減しながらも、仮想視点画像を得ることができるようにすることを目的とする。

【課題を解決するための手段】

【0007】

上記課題を解決するため、本発明の一態様に係るデータ生成装置は、複数の撮像装置で撮像されることにより取得される複数の画像に基づき、オブジェクトの形状を示す三次元形状データを生成する第１の生成手段と、前記複数の画像に基づいて、前記第１の生成手段により生成された前記三次元形状データの要素の色を示す色情報を生成する第２の生成手段と、前記複数の画像に基づいて、前記第１の生成手段により生成された前記三次元形状データの要素の色を仮想視点に応じて補正するための色補正情報を生成する第３の生成手段と、前記第１の生成手段により生成された前記三次元形状データと前記第２の生成手段により生成された前記色情報と、前記第３の生成手段により生成された色補正情報を関連付けて記憶手段に記憶させる記憶制御手段と、を有する、ことを特徴とする。

【発明の効果】

【0008】

本発明によれば、データ量を削減しながらも、仮想視点画像を得ることができるようになる。

【図面の簡単な説明】

【0009】

【図1】画像処理システムの構成例を示す図である。

【図2】世界座標空間の一例を示す図である。

【図3】オブジェクト三次元モデルのデータ例を示す図である。

【図4】フロントエンドサーバの機能構成例を示すブロック図である。

【図5】オブジェクト三次元モデルの色情報のデータ例を示す図である。

【図6】オブジェクト三次元モデルの点と、カメラおよび色情報との対応例を示す図である。

【図7】データ取得手順例を示すフローチャートである。

【図8】色情報生成手順例を示すフローチャートである。

【図9】カメラ選択方法および色情報生成方法を説明するための図である。

【図10】バックエンドサーバの機能構成例を示すブロック図である。

【図11】仮想視点画像生成手順例を示すフローチャートである。

【図12】フロントエンドサーバの機能構成例を示すブロック図である。

【図13】データ取得手順例を示すフローチャートである。

【図14】色補正情報生成手順例を示すフローチャートである。

【図15】カメラ選択方法および色補正情報生成方法を説明する図である。

【図16】オブジェクト三次元モデルの色補正情報のデータ例を示す図である。

【図17】バックエンドサーバの機能構成例を示すブロック図である。

【図18】色補正処理方法を説明するための図である。

【図19】仮想視点画像生成手順例を示すフローチャートである。

【図20】フロントエンドサーバの機能構成例を示すブロック図である。

【図21】フロントエンドサーバのハードウェア構成例を示す図である。

【発明を実施するための形態】

【0010】

以下、本発明の実施形態について図面を参照して説明する。ただし、この実施形態に記載されている構成要素はあくまで例示であり、本発明の範囲をそれらに限定する趣旨のものではない。また、実施形態で説明されている構成要素の組み合わせのすべてが、課題を解決するための手段に必須のものとは限らず、特許請求の範囲に記載された本発明の要旨の範囲内において、種々の変形及び変更が可能である。

【0011】

本明細書において符号の末尾のアルファベットは、同種の構成において個々の構成を識別するために用いている。末尾のアルファベットを省略して記載する場合、個々の構成を特に区別せずに記載しているものとする。

【0012】

［実施形態１］
＜システム構成＞
図１は、本実施形態に係る画像処理システムの構成例を示す図である。本実施形態の画像処理システム１００は、例えば競技場（スタジアム）やコンサートホールなどの施設に、複数のカメラ及びマイクを設置し、撮像及び集音を行う形態のものである。画像処理システム１００は、センサシステム１１０ａ－１１０ｚ、画像コンピューティングサーバ２００、コントローラ３００、スイッチングハブ１８０、及びエンドユーザ端末１９０を有する。

【0013】

コントローラ３００は、制御ステーション３１０と仮想カメラ操作ＵＩ（Ｕｓｅｒ Ｉｎｔｅｒｆａｃｅ）３３０を有する。制御ステーション３１０は、画像処理システム１００を構成するそれぞれのブロック（サーバまたは装置など）に対してネットワーク３１０ａ，３１０ｂ，３１０ｃ，１８０ａ，１８０ｂ、及びデイジーチェーン１７０ａ－１７０ｙを通じた制御が可能である。例えば、制御ステーション３１０は、各ブロックの動作状態の管理及びパラメータ設定制御などを行う。上記のネットワークは、Ｅｔｈｅｒｎｅｔ（登録商標）であるＩＥＥＥ標準準拠のＧｂＥ（ギガビットイーサーネット）や１０ＧｂＥでもよいし、インターコネクトＩｎｆｉｎｉｂａｎｄ、産業用イーサーネット等を組み合わせて構成されてもよい。また、これらに限定されず、他の種別のネットワークであってもよい。

【0014】

センサシステム１１０ａ－１１０ｚは、２６セットの画像及び音声をセンサシステム１１０ｚから画像コンピューティングサーバ２００へ送信する。本実施形態の画像処理システム１００では、センサシステム１１０ａ－１１０ｚが、デイジーチェーンにより接続される。このため、各センサシステムで得られた画像及び音声は、チェーン接続されている下流側のセンサシステムに順次伝送される。そして、最下流のセンサシステム１１０ｚから、２６セット分の画像及び音声が、ネットワーク１８０ｂ及びスイッチングハブ１８０を介して画像コンピューティングサーバ２００へ伝送される。デイジーチェーン接続の構成を採用することで、接続ケーブル数の削減や配線作業負担の軽減ができる。なお、各センサシステム１１０がスイッチングハブ１８０に接続されて、スイッチングハブ１８０を経由してセンサシステム１１０間のデータ送受信を行うスター型のネットワーク構成としてもよい。図１においては、センサシステムの台数として２６セットを例に挙げて説明しているが、あくまでも一例であり、台数をこれに限定するものではない。

【0015】

本実施形態では、特に断りがない限り、画像という文言が、動画と静止画の概念を含むものとして説明する。すなわち、本実施形態の画像処理システム１００は、静止画及び動画の何れについても処理可能である。また、本実施形態では、画像処理システム１００により提供される仮想視点コンテンツには、仮想視点画像と仮想聴取点音響が含まれる例を中心に説明するが、これに限定されない。例えば、仮想視点コンテンツに音声が含まれていなくても良い。また例えば、仮想視点コンテンツに含まれる音声が、仮想視点の位置に最も近いマイクにより集音された音声であっても良いし、複数のマイクで集音された音声から作成されても良い。また、本実施形態では、説明の簡略化のため、部分的に音声についての記載を省略しているが、基本的に画像と音声は共に処理されるものとする。

【0016】

センサシステム１１０は、マイク１１１、カメラ１１２、雲台１１３、外部センサ１１４、及びカメラアダプタ１２０を有する。センサシステム１１０は、それぞれ１台ずつのカメラ１１２を有する。このように画像処理システム１００は、オブジェクトを複数の方向から撮像するための複数のカメラ１１２を有する。なお、カメラ１１２とカメラアダプタ１２０が一体となって構成されていてもよい。さらに、カメラアダプタ１２０の機能の少なくとも一部をフロントエンドサーバ２３０が有していてもよい。外部センサ１１４として、例えばジャイロセンサが利用される場合は、振動を表す情報を取得することができる。

【0017】

ここで、カメラアダプタ１２０の動作について説明する。カメラアダプタ１２０は、カメラ１１２が撮像した撮像画像を前景画像と背景画像に分離する機能を有する。例えば、カメラアダプタ１２０は、カメラ１１２が撮像した撮像画像（以下、画像と記載することもある。）から、選手などの動作する物体（動体）を抽出した前景画像と、芝生などの静止又は静止に近い状態が継続する物体の背景画像とに分離する。ここでは、選手などの人物をオブジェクト（前景）とする。なお、オブジェクト（前景）は、ボールであってもよい。そして、カメラアダプタ１２０は、分離された前景画像と背景画像とを、チェーン接続されている下流側の別のカメラアダプタ１２０に出力する。なお、前景画像と背景画像の分離方法は背景差分法に限定されるものではなく、公知の方法を適用可能である。なお、静止物体は、静止または、ほとんど静止している状態が継続している物体を指す。

【0018】

カメラアダプタ１２０ａ－１２０ｚのそれぞれで生成された、オブジェクトを含む前景画像および背景画像が下流側のカメラアダプタに順次伝送され、最下流のカメラアダプタ１２０ｚから画像コンピューティングサーバ２００に出力される。これにより、画像コンピューティングサーバ２００には、各カメラ１１２の撮像画像から生成された前景画像と背景画像とが集約される。

【0019】

次に、画像コンピューティングサーバ２００の構成及び動作について説明する。本実施形態の画像コンピューティングサーバ２００は、センサシステム１１０ｚから取得したデータの処理を行う。画像コンピューティングサーバ２００は、フロントエンドサーバ２３０、データベース２５０（以下、ＤＢと記載することもある。）、バックエンドサーバ２７０、及びタイムサーバ２９０を有する。

【0020】

タイムサーバ２９０は、時刻及び同期信号を配信する機能を有し、スイッチングハブ１８０を介してセンサシステム１１０ａ－１１０ｚに時刻及び同期信号を配信する。時刻と同期信号を受信したカメラアダプタ１２０ａ－１２０ｚは、カメラ１１２ａ－１１２ｚを、時刻と同期信号に基づき外部同期させ、画像（フレーム）の同期を行う。すなわち、タイムサーバ２９０は、複数のカメラ１１２の撮像タイミングを同期させる。これにより、画像処理システム１００は、同じタイミングで撮像された複数の画像に基づいて仮想視点画像を生成できるので、撮像タイミングのずれによる仮想視点画像の品質低下を抑制できる。なお、本実施形態ではタイムサーバ２９０が、複数のカメラ１１２の時刻同期を管理するものとするが、これに限らず、時刻同期のための処理を各カメラ１１２又は各カメラアダプタ１２０が独立して行ってもよい。

【0021】

フロントエンドサーバ２３０は、センサシステム１１０ｚから、各カメラ１１２の撮像画像から生成された前景画像および背景画像を取得する。そして、フロントエンドサーバ２３０は、該取得した前景画像および背景画像を用いて、オブジェクトの三次元形状を表す三次元モデル（三次元形状データ）を生成する。三次元モデルを生成する手法として、例えばＶｉｓｕａｌ Ｈｕｌｌと呼ばれる方式などが挙げられる。Ｖｉｓｕａｌ Ｈｕｌｌ方式では、三次元モデルが存在する三次元空間を小さな立方体に区切る。そして、該立方体を各カメラの前景画像のシルエットに投影し、立方体がシルエット領域内におさまらないカメラが１台でもあった場合、立方体を削っていき、残った立方体を三次元モデルとして生成する手法である。

【0022】

なお、三次元モデルを生成する手法は、Ｖｉｓｕａｌ Ｈｕｌｌ方式に限定されるものではなく、他の手法でも良い。本実施形態では、三次元モデルは、撮像対象となる空間を一意に示す世界座標空間における三次元空間のｘ、ｙ、ｚの位置情報を持った点群で表現されるものとする。三次元モデルは、点群で表現されるものに限定されず、他のデータ形式で表現されても良く、例えば、三角形や四角形などの単純な凸多角形（ポリゴンと呼ばれる）の面で構成されるポリゴンメッシュモデルやボクセルなどで表現されても良い。フロントエンドサーバ２３０は、各カメラ１１２の撮像画像から生成された前景画像および背景画像と、上記生成したオブジェクト三次元モデルとをＤＢ２５０に格納する。また三次元モデルの形状の外郭を示す情報も併せて格納するものとする。説明を簡易にするため、外郭情報は、三次元モデルの形状の外側を囲む直方体で表す情報として説明する。なお、外郭情報は、この形状に限定されるものではなく、三次元モデルの形状の外側を囲む形状であれば良い。

【0023】

すなわち、フロントエンドサーバ２３０は、詳細につき後述する仮想視点画像を生成するための素材データを生成し、生成した素材データをＤＢ２５０に格納するデータ生成装置としての機能を有する。さらに、フロントエンドサーバ２３０は、詳細につき後述する、カメラで撮像した画像よりオブジェクト三次元モデルの各要素の色情報を生成し、生成した色情報をＤＢ２５０に格納する機能も有する。

【0024】

バックエンドサーバ２７０は、仮想カメラ操作ＵＩ３３０から仮想視点の指定を受け付け、受け付けた視点に基づいて、ＤＢ２５０から対応する画像データ及び音声データを読み出し、レンダリング処理を行って仮想視点画像を生成する。すなわち、バックエンドサーバ２７０は、複数のカメラ１１２で撮像された撮像画像（複数視点画像）と視点情報とに基づき仮想視点画像を生成する仮想視点画像生成装置としての機能を有する。そしてバックエンドサーバ２７０は、生成した仮想視点画像をエンドユーザ端末１９０に提供する。本実施形態における仮想視点画像は、仮想的な視点からオブジェクトを撮像した場合に得られる仮想視点画像を含むコンテンツである。言い換えると、仮想視点画像は、指定された視点における位置及び方向で撮像したと仮定した場合の画像であるとも言える。仮想的な視点（仮想視点）は、ユーザにより指定されても良いし、画像解析の結果等に基づいて自動的に指定されても良い。すなわち仮想視点画像には、ユーザが任意に指定した視点に対応する任意視点画像（仮想視点画像）が含まれる。

【0025】

なお、画像コンピューティングサーバ２００の構成はこれに限定されない。例えば、フロントエンドサーバ２３０、ＤＢ２５０、及びバックエンドサーバ２７０のうち少なくとも２つが一体となって構成されていてもよい。また、フロントエンドサーバ２３０、ＤＢ２５０、及びバックエンドサーバ２７０の少なくとも何れかが複数含まれていてもよい。また、画像コンピューティングサーバ２００内の任意の位置に上記の装置以外の装置が含まれていてもよい。さらに、画像コンピューティングサーバ２００の機能の少なくとも一部をエンドユーザ端末１９０や仮想カメラ操作ＵＩ３３０が有していてもよい。

【0026】

バックエンドサーバ２７０によって生成された仮想視点画像は、バックエンドサーバ２７０からエンドユーザ端末１９０に送信される。そのため、エンドユーザ端末１９０を操作するユーザは、指定した視点に応じた画像閲覧及び音声視聴を行うことができる。補足として、本実施形態では、仮想視点コンテンツに音声データ（オーディオデータ）が含まれる例を中心に説明するが、必ずしも音声データが含まれていなくてもよい。さらに、バックエンドサーバ２７０は、仮想視点画像をＨ．２６４やＨＥＶＣに代表される標準技術により圧縮符号化した上で、ＭＰＥＧ－ＤＡＳＨプロトコルを使ってエンドユーザ端末１９０に送信してもよい。また、仮想視点画像を、非圧縮でエンドユーザ端末１９０に送信してもよい。なお、この場合、圧縮符号化を行う前者はエンドユーザ端末１９０としてスマートフォンやタブレットを想定しており、後者は非圧縮画像を表示可能なディスプレイを想定している。すなわち、エンドユーザ端末１９０の種別に応じて画像フォーマットを切り替えることができる。その他、画像の送信プロトコルは、ＭＰＥＧ－ＤＡＳＨに限らず、例えば、ＨＬＳ（ＨＴＴＰ Ｌｉｖｅ Ｓｔｒｅａｍｉｎｇ）やそれ以外の送信方法を用いることもできる。

【0027】

制御ステーション３１０は、仮想視点画像を生成する対象のスタジアムを三次元モデルで表現したスタジアム三次元モデルを予め設定しＤＢ２５０に格納している。さらに、制御ステーション３１０はカメラ設置時に、キャリブレーションを実施する。具体的には、撮像対象のフィールド上にマーカーを設置し、各カメラ１１２の撮像画像により、各カメラの世界座標における位置と向き、および焦点距離を導出する。該導出された各カメラの位置、向き、焦点距離の情報をカメラの情報（カメラパラメータ）としてＤＢ２５０に格納する。ＤＢ２５０に格納されたスタジアム三次元モデルおよび各カメラの情報は、バックエンドサーバ２７０によって読み出され、該バックエンドサーバ２７０で仮想視点画像を生成する際に用いられる。また各カメラの情報は、フロントエンドサーバ２３０によって読み出され、該フロントエンドサーバ２３０でオブジェクト三次元モデルを生成する際に使用される。

【0028】

なお、本実施形態における画像処理システム１００は、上記で説明した物理的な構成に限定される訳ではなく、論理的に構成されていてもよい。

【0029】

次に、フロントエンドサーバ２３０の詳細な構成および動作について、説明する。フロントエンドサーバ２３０は、前景画像、背景画像およびオブジェクト三次元モデルなどの仮想視点画像を生成するための素材データを生成してＤＢ２５０に格納するデータ生成装置としての機能を有しており、その詳細について、説明する。

【0030】

まず、カメラの撮像対象の空間を表現する世界座標空間と、カメラ、および該カメラの撮像対象のオブジェクト三次元モデルとの関係について、図２および図３を参照して説明する。

【0031】

図２は、世界座標空間の一例を示す図である。世界座標空間は、例えば撮像対象を三次元空間で表現したものである。図３は、オブジェクト三次元モデルのデータ例を示す図である。ここでいう、オブジェクト三次元モデルは、オブジェクトの三次元形状を示すデータである。図２では、スタジアム２１中央のサッカーフィールド２２を対象に世界座標空間が設定されるとする。本実施形態では、世界座標空間を、センターサークル２３の中心を原点とし、サッカーフィールド２２の長辺方向（図２にて左右方向）および短辺方向のそれぞれに沿う方向をｘ軸およびｙ軸とし、上下方向（高さ方向）をｚ軸とした空間とする。なお、本実施形態ではサッカーフィールドを対象としたが、対象は何れでも良く、特に対象を限定するものではない。

【0032】

カメラが図２では不図示であるが、各カメラに関し、世界座標空間におけるカメラの座標位置と、カメラの回転角度（左右、上下）、および焦点距離と画像中心を表現するカメラパラメータが設定されるとする。

【0033】

オブジェクト三次元モデルは、図３に示すように、モデルが存在する世界座標空間における、ｘ、ｙ、ｚ座標値を持った点の集合体（以下、点群）で表現される。ここでは座標はｍｍ単位の数値で表現されるものとするが、座標はこの単位の数値で表現されるものに限定されない。

【0034】

＜フロントエンドサーバ２３０の構成＞
図４は、フロントエンドサーバ２３０の機能構成例を示すブロック図である。

【0035】

画像入力部２３１は、スイッチングハブ１８０を介して、センサシステム１１０から、各カメラの撮像画像から生成された前景画像と背景画像とを受信する。画像入力部２３１は、受信した背景画像をデータ書き込み部２３４に出力する一方、受信した前景画像についてはモデル生成部２３２と色情報生成部２３３のそれぞれに出力する。

【0036】

モデル生成部２３２は、画像入力部２３１から入力された前景画像と予め設定されたカメラパラメータとに基づいて、オブジェクト三次元モデルを生成する。モデル生成部２３２は、生成したオブジェクト三次元モデルを、色情報生成部２３３とデータ書き込み部２３４のそれぞれに出力する。

【0037】

色情報生成部２３３は、オブジェクト三次元モデルと前景画像とに基づいて、オブジェクト三次元モデルの点（点座標）毎に色を決定し、オブジェクト三次元モデルの色情報を生成する。オブジェクト三次元モデルの色情報は、オブジェクト三次元モデルの各点と色情報とが関連付けられた情報であって、例えば、図５に示すように、オブジェクト三次元モデルの各点座標ＩＤとＲＧＢ値とが関連付けられた情報である。点座標ＩＤは１フレームにおいて、オブジェクト三次元モデルの各点について独立に定まるＩＤである。例えば１フレーム内で存在する、オブジェクト三次元モデルの点には、０から昇順でＩＤが付与される。また、各点座標ＩＤにて示されるカメラＩＤは、その点の色情報を生成するために使用した画像を撮像したカメラのＩＤを示している。各カメラのＩＤは、システムにて独立に付与された番号である。ここでは、オブジェクト三次元モデルの色情報をＲＧＢ値としたが、色や輝度を表現可能であれば何れの形式でも良く、例えば輝度色差を表すＹＣｂＣｒの形式であっても良い。

【0038】

オブジェクト三次元モデルの点と、カメラおよび色情報との対応について、図６を参照して説明する。図６はカメラ１１２ａ－１１２ｐと球体のオブジェクト４００が配置されたスタジアムを真上からみた図であり、オブジェクト三次元モデルの点と、カメラおよび色情報との対応例を示す図である。なお、カメラ１１２ａ－１１２ｐは、オブジェクト４００の周りにて、オブジェクト４００側を向き、異なる視点をもつように配置され、それぞれにカメラＩＤが付与される。

【0039】

オブジェクト４００を形成する点のうち点４０００に注目し、点４０００の色情報の生成に使用された画像は、カメラ１１２ｈの画像であるとする。この場合、色情報はカメラ１１２ｈの画像４２０から、点４０００に対応するピクセル４２１のＲＧＢ値により生成される。すなわち、色情報はカメラ１１２ｈの画像４２０に点４０００が投影されて対応するピクセル４２１が特定され該ピクセル４２１のＲＧＢ値により生成される。同様に、点４００１の色情報の生成に使用された画像は、カメラ１１２ｉの画像であるとすると、色情報はカメラ１１２ｉの画像４３０から、点４００１に対応するピクセル４３１のＲＧＢ値により生成される。

【0040】

カメラ選択方法および色情報生成方法などの、オブジェクト三次元モデルの色情報の生成方法の詳細については後述する。

【0041】

図４に戻る。データ書き込み部２３４は、前記各部から入力された、背景画像と、オブジェクト三次元モデルと、オブジェクト三次元モデルの色情報とをカメラ単位、フレーム単位でＤＢ２５０に書き込む。

【0042】

（データ取得手順例）
次に、フロントエンドサーバ２３０で行われる、仮想視点画像を生成するための素材データの取得手順例について、図７を参照して説明する。

【0043】

図７は、データ取得手順例を示すフローチャートである。具体的には、フロントエンドサーバ２３０がセンサシステム１１０からデータを受信し、各種データを書き込むまでの手順を示したフローチャートである。以降、フローチャートに従い、処理のフローを説明する。なお、以下のフローの説明において、記号「Ｓ」はステップを表す。フロントエンドサーバ２３０は、例えば、ＤＢ２５０などからカメラパラメータを予め取得しているものとする。

【0044】

Ｓ７０１では、画像入力部２３１は、センサシステム１１０からスイッチングハブ１８０を介して前景画像と背景画像を受信する。画像入力部２３１は、受信した背景画像をデータ書き込み部２３４に出力し、受信した前景画像をモデル生成部２３２と色情報生成部２３３に出力する。

【0045】

Ｓ７０２では、モデル生成部２３２は、画像入力部２３１から入力された前景画像と予め設定されたカメラパラメータとに基づいて、Ｖｉｓｕａｌ Ｈｕｌｌ方式等を用いてオブジェクト三次元モデルを生成する。そして、モデル生成部２３２は、生成したオブジェクト三次元モデルを色情報生成部２３３とデータ書き込み部２３４に出力する。

【0046】

Ｓ７０３では、色情報生成部２３３は、入力されたオブジェクト三次元モデルおよび前景画像と予め設定されたカメラパラメータに基づいて、オブジェクト三次元モデルの色情報を生成する。そして、色情報生成部２３３は、オブジェクト三次元モデルの色情報をデータ書き込み部２３４に出力する。オブジェクト三次元モデルの色情報生成手順例の詳細については後述する。

【0047】

Ｓ７０４では、データ書き込み部２３４は、入力された、オブジェクト三次元モデルとオブジェクト三次元モデルの色情報と背景画像をＤＢ２５０に書き込む。

【0048】

以上が、フロントエンドサーバ２３０における、仮想視点画像を生成するための素材データの取得のフローである。

【0049】

（Ｓ７０３の詳細）
次に、Ｓ７０３の詳細である、色情報生成部２３３で実行される色情報生成手順例について、図８を参照して説明する。

【0050】

図８は、色情報生成手順例を示すフローチャートである。以降、フローチャートに従い、処理のフローを説明する。

【0051】

Ｓ８０１では、色情報生成部２３３は、予め設定されたカメラパラメータとオブジェクト三次元モデルの点座標とに基づく幾何計算により、カメラで撮像された画像にて、点座標と対応するピクセルを導出する。具体的には、色情報生成部２３３は、オブジェクト三次元モデルの各点を、カメラで撮像された画像上に投影し、該各点と対応するピクセルの座標を導出する。すなわち、Ｓ８０１では、カメラの画像から、オブジェクト三次元モデルの点座標と対応するピクセルが抽出される。

【0052】

Ｓ８０２では、色情報生成部２３３は、カメラパラメータとオブジェクト三次元モデルの点座標に基づいて、オブジェクト三次元モデルの点とカメラとの距離を導出する。

【0053】

Ｓ８０３では、色情報生成部２３３は、Ｓ８０１で導出した、各カメラの画像のピクセル毎に、Ｓ８０２で導出した距離に基づいて、最も近くにある、オブジェクト三次元モデルの点を導出する。そして、色情報生成部２３３は、最も近くにある点に、該ピクセルのオブジェクト三次元モデルの色情報を生成するための対応ピクセルとして登録する。すなわち、オブジェクト三次元モデルのすべての点について、オブジェクト三次元モデルの色情報となり得るピクセルを、各カメラの画像から抽出して、対応ピクセルとして登録する。

【0054】

以降、Ｓ８０４～Ｓ８０９において、オブジェクト三次元モデルのすべての点について、点毎に色情報を生成する処理を実行する。すなわち、Ｓ８０４において、オブジェクト三次元モデルのすべての点に対してループ処理が開始される。

【0055】

Ｓ８０５では、Ｓ８０３で登録された対応ピクセルについて、対応ピクセルが存在する画像を撮像したカメラが２台以上あるかを判定する。すなわち、Ｓ８０３で登録された対応ピクセルについて、対応ピクセルが２台以上のカメラの画像に存在するかを判定する。

【0056】

オブジェクト三次元モデルの点について登録された対応ピクセルが、１台のカメラの画像に存在する場合（Ｓ８０５：ＮＯ）、そのカメラの画像に存在する対応ピクセルの画素値から色情報を生成する（Ｓ８０６）。そのカメラの画像に存在する対応ピクセルが１つだけの場合は、その対応ピクセルの画素値を色情報として生成し、そのカメラの画像に存在する対応ピクセルが複数の場合には、複数の対応ピクセルの画素値の平均値を色情報として生成する。

【0057】

他方、オブジェクト三次元モデルの点について登録された対応ピクセルが、２台以上（複数台）のカメラの画像に存在する場合には（Ｓ８０５：ＹＥＳ）、色情報を生成するための対象のカメラを１台選択する（Ｓ８０７）。なお、カメラ選択方法は、後述する。そして、選択したカメラの画像に存在する対応ピクセルの画素値に基づき、色情報を生成する（Ｓ８０８）。その後、Ｓ８０９に進み、すべての点に対する処理が終了した場合、Ｓ８０４からＳ８０９のループ処理を終了し、色情報生成処理が終了することとなる。なお、Ｓ８０６，Ｓ８０８にて生成した色情報は、上述のＳ７０４にて点と関連付けて記録される。

【0058】

ここで、カメラ選択方法および色情報生成方法について、図９を参照して説明する。

【0059】

図９は、オブジェクト（オブジェクト三次元モデル）の周囲に１６台のカメラが配置されたスタジアムを真上から俯瞰した図である。オブジェクト４００を形成する点のうち、点４０００について、色情報生成処理を行う場合について、具体的に説明する。Ｓ８０１～Ｓ８０３の処理を行い、オブジェクト４００の点４０００について、対応ピクセルが存在する画像を撮像したカメラは黒く塗られたカメラ、カメラ１１２ｆ～カメラ１１２ｊの５台であったとする。

【0060】

まず、対応ピクセルのある画像を撮像したカメラのうち、最も外側にある２台のカメラが選択される。ここで最も外側にある２台のカメラとは、撮像対象の点４０００を中心とし複数のカメラが隣接する方向を周方向とした場合に、該周方向で両端にあるカメラを示している。図９の例では、カメラ１１２ｆとカメラ１１２ｊが最も外側にある２台のカメラに該当することになる。

【0061】

次に、カメラ１１２ｆおよび点４０００を結ぶ線分とカメラ１１２ｊおよび点４０００を結ぶ線分の成す角θの二等分線が設定され、該二等分線が通る位置に最も近いカメラが、色情報を生成するカメラとして選択される。すなわち、オブジェクトの要素と正対するカメラが、色情報の生成対象のカメラとして選択される。図９の例では、カメラ１１２ｈが選択されることになる。また、対応ピクセルのある画像を撮像したカメラが２台以上である場合は、予め決められた優先順位に従い、例えば、カメラ１１２ａ～１１２ｐの順に優先順位が高いと、優先順位の最も高いカメラが選択されることになる。

【0062】

カメラの画像に存在する対応ピクセルが１つだけの場合は、該対応ピクセルの画素値を色情報として生成し、対応ピクセルが複数の場合は該複数の対応ピクセルの画素値の平均値を色情報として生成する（Ｓ８０８）。ここでは、点４０００をカメラ１１２ｈの画像４２０に投影したときに対応するピクセル４２１のＲＧＢ値が色情報として生成される。

【0063】

このようにして選択されたピクセルの値が点に関連付けて記録されることになる。

【0064】

ここでは、一例として上記色情報生成方法について説明したが、他の手法が用いられても良く、上記色情報生成方法に限定されるものではない。例えば、複数のカメラを選択して平均値を色情報としたり、または複数の対応ピクセルがある場合に、大きく値の異なるピクセルの画素値を除外した残りの平均値を色情報としたりしても良い。

【0065】

以上、オブジェクト三次元モデルおよびその色情報をＤＢ２５０に格納する方法について述べた。

【0066】

以降、格納されたオブジェクト三次元モデルおよびその色情報を読み出して、仮想視点画像を生成する方法について述べる。すなわち、バックエンドサーバ２７０の詳細な構成および動作について、説明する。

【0067】

＜バックエンドサーバ２７０の構成＞
図１０は、バックエンドサーバ２７０の機能構成例を示すブロック図である。

【0068】

視点入力部２７１は、エンドユーザ端末１９０や仮想カメラ操作ＵＩ３３０などを介して不図示のユーザによる仮想視点情報の入力を受け付け、仮想視点情報をデータ取得部２７２と仮想視点画像生成部２７４に出力する。仮想視点情報は、実際にはカメラが存在せず仮想視点に配置されると仮定した仮想カメラで仮想視点画像を撮像する時刻、仮想視点（仮想カメラ）の位置、仮想カメラの姿勢、仮想カメラの向き、仮想カメラの画角、焦点距離などを含む情報である。

【0069】

データ取得部２７２は、入力された仮想視点情報に基づいて、ＤＢ２５０から、カメラが実際には存在しない仮想視点の仮想カメラから見えると推測されたオブジェクトに関するオブジェクト三次元モデルとその色情報を取得する。すなわち、データ取得部２７２は、仮想視点に配置された仮想カメラの画角内に存在すると推測されるオブジェクトに関するオブジェクト三次元モデルとその色情報を取得する。データ取得部２７２は、取得したこれらデータ、すなわち、オブジェクト三次元モデルおよびその色情報を色付け部２７３に出力する。また、データ取得部２７２は、ＤＢ２５０から背景画像を取得し、取得した背景画像を仮想視点画像生成部２７４に出力する。

【0070】

色付け部２７３は、オブジェクト三次元モデルの点に対応するオブジェクト三次元モデルの色情報に基づく色を当該点に付与し、色付きオブジェクト三次元モデルを生成する。色付け部２７３は、生成した色付きオブジェクト三次元モデルを仮想視点画像生成部２７４に出力する。

【0071】

仮想視点画像生成部２７４は、入力された仮想視点情報、色付きオブジェクト三次元モデル、および背景画像に基づき、仮想視点の仮想カメラから見た前景画像および背景画像を生成し、それらを合成して仮想視点画像を生成する。仮想視点画像生成部２７４は、生成した仮想視点画像をエンドユーザ端末１９０に送信する。

【0072】

（仮想視点画像生成手順例）
次に、バックエンドサーバ２７０で行われる仮想視点画像生成手順例について、図１１を参照して説明する。

【0073】

図１１は、仮想視点画像生成手順例を示すフローチャートである。以降、フローチャートに従い、処理のフローを説明する。

【0074】

Ｓ１１０１では、視点入力部２７１は、エンドユーザ端末１９０などを介して不図示のユーザによる仮想視点情報の入力を受け付ける。そして、視点入力部２７１は、受け付けた仮想視点情報をデータ取得部２７２と仮想視点画像生成部２７４とに出力する。

【0075】

Ｓ１１０２では、データ取得部２７２は、前記入力された仮想視点情報に基づいて、ＤＢ２５０から、オブジェクト三次元モデルとその色情報を取得し、色付け部２７３に出力する。また、データ取得部２７２は、前記入力された仮想視点情報に基づいて、ＤＢ２５０から、背景画像を取得し、仮想視点画像生成部２７４に出力する。具体的には、データ取得部２７２は、仮想視点情報で指定された時刻に基づき、その時刻の撮像画像に対応する前景画像から生成されたオブジェクト三次元モデルとその色情報を取得し、出力する。また、データ取得部２７２は、仮想視点情報で指定された時刻に基づき、その時刻の撮像画像に対応する背景画像を取得し、出力する。

【0076】

Ｓ１１０３では、色付け部２７３は、前記入力されたオブジェクト三次元モデルとその色情報に基づいて、オブジェクト三次元モデルの各点に対応ピクセルの色（画素値）を付与し、色付きオブジェクト三次元モデルを生成する。さらに、色付け部２７３は、色付きオブジェクト三次元モデルを仮想視点画像生成部２７４に出力する。

【0077】

Ｓ１１０４では、仮想視点画像生成部２７４は、各ブロックから入力された、仮想視点情報、背景画像、および色付きオブジェクト三次元モデルに基づき、仮想視点画像を生成する。具体的には、仮想視点画像生成部２７４は、データ取得部２７２から入力された背景画像および、予め設定されたスタジアム三次元モデルに基づいて、仮想視点に配置されると仮定した仮想カメラで撮像した場合の背景画像を生成する。スタジアム三次元モデルは、世界座標空間における座標位置をもったメッシュモデルとする。予め設定された各カメラのカメラパラメータとスタジアム三次元モデルに基づいて、三次元座標変換により、各メッシュに合わせたテクスチャ画像を背景画像から生成し、貼りつけることで色付きスタジアム三次元モデルを生成する。さらに、仮想視点のカメラ位置、向きなどの情報に基づき、世界座標空間上に存在するスタジアム三次元モデルを仮想視点のカメラの画像座標に射影し、背景画像を生成する。

【0078】

また、仮想視点画像生成部２７４は、色付け部２７３から入力された色付きオブジェクト三次元モデルに基づいて、仮想視点の位置に配置されると仮定した仮想カメラで撮像した場合の前景画像を生成する。具体的には、仮想視点画像生成部２７４は、仮想視点のカメラ位置、向きなどの情報に基づき、世界座標空間上に存在する色付きオブジェクト三次元モデルの色をもった点を、仮想視点のカメラの画像座標に射影し、前景画像を生成する。

【0079】

仮想視点画像生成部２７４は、生成した背景画像と前景画像を合成し、仮想視点画像を生成する。そして、仮想視点画像生成部２７４は、生成された仮想視点画像をエンドユーザ端末１９０に送信する。

【0080】

オブジェクト三次元モデルの点群について色情報を生成する色情報生成部２３３を用いて説明したが、これに限定されるものではない。例えば、オブジェクト三次元モデルがメッシュモデルである場合には、オブジェクト三次元モデルの各メッシュについてメッシュの画素分の色をもつ色情報を生成する色情報生成部とすることも可能である。

【0081】

以上のことから、本実施形態によれば、前景画像をＤＢに格納しないが、オブジェクト三次元モデルの各要素の色情報をＤＢに格納する。格納したオブジェクト三次元モデルの色情報を用いて仮想視点画像を生成することができる。よって、データ量を削減しながらも、仮想視点画像を得ることができるようになる。

【0082】

例えば、カメラ台数を３０台、画像サイズを３８４０×２１６０、画像フォーマットをＲＧＢ８ｂｉｔ、オブジェクト三次元モデルの点の数を１，０００，０００点、モデルの点座標を３２ｂｉｔで表現するとする。

【0083】

従来の手法では、前景画像のサイズは、１９２０×１０８０×３×８×３０＝１，４９２，９９２，０００（ｂｉｔ）＝１８６．６２４（ＭＢ）（メガバイト）となる。

【0084】

本実施形態によると、前景画像のかわりにオブジェクト三次元モデルの色情報を生成する。そのオブジェクト三次元モデルの色情報のサイズは、１，０００，０００×３×３２＝９６，０００，０００（ｂｉｔ）＝１２（ＭＢ）となる。

【0085】

よって、本実施形態によれば、前記条件では、従来例と比べておよそ１５分の１のデータサイズに低減することができる。

【0086】

［実施形態２］
本実施形態に係る画像処理システムについて、以下に説明する。

【0087】

本実施形態では、オブジェクト三次元モデルの色情報に加え、複数のカメラの画像に基づいて、色を補正するオブジェクト三次元モデルの色補正情報を生成し、生成した色補正情報をＤＢに格納し、仮想視点に応じて色を補正する方法について述べる。

【0088】

図１２は、本実施形態におけるフロントエンドサーバ２３０の機能構成例を示すブロック図である。本実施形態では、実施形態１と同じブロックには同一符号を付与し、その説明を適宜省略する。

【0089】

画像入力部２３５は、実施形態１にて説明した画像入力部２３１の機能に加え、色補正情報生成部２３７に前景画像を出力する。

【0090】

モデル生成部２３６は、実施形態１にて説明したモデル生成部２３２の機能に加え、色補正情報生成部２３７にオブジェクト三次元モデルを出力する。

【0091】

色補正情報生成部２３７は、画像入力部２３５から入力された前景画像と、モデル生成部２３６から入力されたオブジェクト三次元モデルに基づき、オブジェクト三次元モデルの点毎に色補正情報を生成する。色補正情報の生成方法の詳細については後述する。色補正情報生成部２３７は、生成したオブジェクト三次元モデルの色補正情報をデータ書き込み部２３８に出力する。

【0092】

データ書き込み部２３８は、実施形態１にて説明したデータ書き込み部２３８の機能に加え、オブジェクト三次元モデルの色補正情報をＤＢ２５０に書き込む。

【0093】

（データ取得手順例）
次に、本実施形態のフロントエンドサーバ２３０で行われる、仮想視点画像を生成するための素材データの取得手順例について、図１３を参照して説明する。

【0094】

図１３は、データ取得手順例を示すフローチャートである。具体的には、フロントエンドサーバ２３０がセンサシステム１１０からデータを受信し、各種データを書き込むまでの手順を示したフローチャートである。以降、フローチャートに従い、処理のフローを説明する。なお、フロントエンドサーバ２３０は、例えば、ＤＢ２５０などからカメラパラメータを予め取得しているものとする。

【0095】

Ｓ１３０１では、画像入力部２３５は、センサシステム１１０からスイッチングハブ１８０を介して前景画像と背景画像を受信する。画像入力部２３５は、受信した背景画像をデータ書き込み部２３８に出力する。また、画像入力部２３５は、受信した前景画像をモデル生成部２３６と色情報生成部２３３と色補正情報生成部２３７に出力する。

【0096】

Ｓ１３０２では、モデル生成部２３６は、画像入力部２３５から入力された前景画像と予め設定されたカメラパラメータとに基づいて、Ｖｉｓｕａｌ Ｈｕｌｌ方式等を用いてオブジェクト三次元モデルを生成する。そして、モデル生成部２３６は、生成したオブジェクト三次元モデルを色情報生成部２３３と色補正情報生成部２３７とデータ書き込み部２３８に出力する。

【0097】

Ｓ７０３では、色情報生成部２３３は、実施形態１と同様の処理を行う。

【0098】

Ｓ１３０４では、色補正情報生成部２３７は、オブジェクト三次元モデルと複数のカメラの前景画像と予め設定されたカメラパラメータに基づいて、オブジェクト三次元モデルの点毎に色補正情報を生成する。色補正情報生成部２３７は、生成したオブジェクト三次元モデルの色補正情報をデータ書き込み部２３８に出力する。オブジェクト三次元モデルの色補正情報生成処理の詳細については後述する。

【0099】

Ｓ１３０５では、データ書き込み部２３８は、入力された、オブジェクト三次元モデルとその色情報とオブジェクト三次元モデルの色補正情報と背景画像をＤＢ２５０に書き込む。

【0100】

以上が、フロントエンドサーバ２３０における、仮想視点画像を生成するための素材データの取得のフローである。

【0101】

（Ｓ１３０４の詳細）
次に、Ｓ１３０４の詳細である、色補正情報生成部２３７で実行される色補正情報生成手順例について、図１４を参照して説明する。

【0102】

図１４は、色補正情報生成手順例を示すフローチャートである。以降、フローチャートに従い、処理のフローを説明する。なお、Ｓ１４０１～Ｓ１４０３は、実施形態１における色情報生成処理のＳ８０１～Ｓ８０３と同じ処理であるため、その説明を省略する。

【0103】

Ｓ１４０４～Ｓ１４０９において、オブジェクト三次元モデルのすべての点について、点毎に色補正情報を生成する処理を実行する。すなわち、Ｓ１４０４において、オブジェクト三次元モデルのすべての点に対してループ処理が開始される。

【0104】

Ｓ１４０５では、Ｓ１４０３で登録された対応ピクセルについて、対応ピクセルが存在する画像を撮像したカメラが２台以上あるかを判定する。すなわち、Ｓ１４０３で登録された対応ピクセルについて、対応ピクセルが２台以上のカメラの画像に存在するかを判定する。

【0105】

オブジェクト三次元モデルの色補正情報を生成する対象の点について登録された対応ピクセルが、１台のカメラの画像に存在する場合（Ｓ１４０５：ＮＯ）、オブジェクト三次元モデルの色補正情報の生成を行わない（Ｓ１４０６）。また、色補正情報が無いことを示す情報を付与しても良い。これは、色情報生成部２３３の処理において、そのカメラの画像に基づいて色情報が生成されており、その点についてはその色情報のみで色を決定すれば良く、オブジェクト三次元モデルの色補正情報が不要であるためである。

【0106】

他方、オブジェクト三次元モデルの色補正情報を生成する対象の点について登録された対応ピクセルが、２台以上（複数台）のカメラの画像に存在する場合には（Ｓ１４０５：ＹＥＳ）、色補正情報を生成するための対象のカメラを選択する（Ｓ１４０７）。

【0107】

ここで、カメラ選択方法および色補正情報生成方法について、図１５を参照して説明する。

【0108】

図１５は、オブジェクト（オブジェクト三次元モデル）の周囲に１６台のカメラが配置されたスタジアムを真上から俯瞰した図である。オブジェクト４００を形成する点のうち、点４０００について、色補正情報生成処理を行う場合について、具体的に説明する。Ｓ１４００～Ｓ１４０３の処理を行い、オブジェクト４００の点４０００について、対応ピクセルが存在する画像を撮像したカメラは黒く塗られたカメラ、カメラ１１２ｆ～カメラ１１２ｊの５台であったとする。

【0109】

色情報生成手順例の場合と同様、対応ピクセルのある画像を撮像したカメラのうち、最も外側にある２台のカメラが選択される。ここで最も外側とは、撮像対象の点４０００を中心とし複数のカメラが隣接する方向を周方向とした場合に、該周方向で両端にあるカメラを示している。図１５の例では、カメラ１１２ｆとカメラ１１２ｊが最も外側にある２台のカメラに該当することになる。ここで、対応ピクセルのある画像を撮像したカメラが２台である場合は、その２つのカメラが選択されることになる。

【0110】

図１４に戻る。Ｓ１４０８では、選択されたカメラの画像に存在する対応ピクセルに基づき、オブジェクト三次元モデルの色補正情報を生成する。カメラの画像に存在する対応ピクセルが１つだけの場合は、該対応ピクセルの画素値を色補正情報として生成し、対応ピクセルが複数の場合は複数の対応ピクセルの画素値の平均値を色補正情報として生成する。その後、Ｓ１４０９に進み、すべての３次元形状データの点に対する処理が終了した場合、Ｓ１４０４からＳ１４０９のループ処理を終了し、色補正情報生成処理が終了することとなる。なお、Ｓ１４０６，Ｓ１４０８にて生成した色補正情報は、上述のＳ１３０５にて点と関連付けて記録される。

【0111】

このようして選択した対応ピクセルの画素値（ピクセル値）であるＲＧＢ値と、その対応ピクセルが存在する画像を撮像したカメラのカメラＩＤとが関連付けられた色補正情報として記録されることとなる。ここで、オブジェクト三次元モデルの色補正情報は、オブジェクト三次元モデルの各点の色補正を示す情報であり、例えば、図１６に示すように、ＲＧＢ値、カメラＩＤがオブジェクト三次元モデルの点と関連付けて記録される。また、各点座標ＩＤは１フレームにおいて、各点について独立に定まるＩＤである。例えば１フレーム内で存在する点には、０から昇順でＩＤが付与される。また、各点座標ＩＤにて示されるカメラＩＤは、その点の色補正情報を生成するために使用した画像を撮像したカメラのＩＤを示している。オブジェクト三次元モデルの色補正情報はその点の色補正に使用される色情報を示している。カメラＩＤとオブジェクト三次元モデルの色補正情報として、選択したカメラが２台の場合は２つ、１台の場合は１つの情報が記録される。図１５の例においては、点４０００の１つ目の色補正情報である、オブジェクト三次元モデルの色補正情報１は、カメラ１１２ｆの画像４４０に存在する対応ピクセル４４１の画素値に基づいて生成される。２つ目の色補正情報であるオブジェクト三次元モデルの色補正情報２はカメラ１１２ｊの画像４５０に存在する対応ピクセル４５１の画素値に基づいて生成される。

【0112】

本実施形態では、一例として上記カメラ選択方法について説明したが、他の手法が用いられても良く、上記カメラ選択方法に限定されるものではない。例えば、カメラ位置情報に基づいてカメラのｚ座標の値に差のある２台を選択したりカメラの画像のピクセル値に応じて差の大きい２台を選択したりしても良い。

【0113】

また、カメラの選択台数を２台とした場合について説明したが、選択するカメラの台数は２台に限定されるものではなく、選択するカメラの台数を３台以上としても良い。また対応ピクセルを１つとした場合について説明したが、対応ピクセルを２つ以上としても良い。例えば、対応したピクセルの画素値をすべてオブジェクト三次元モデルの色補正情報として記録しても良い。ピクセルの値の差によって選択するカメラ台数を変更し、差が大きいほどカメラ台数を多くし、差が小さいほどカメラ台数を減らすというカメラ選択方法を用いても良い。

【0114】

またオブジェクト三次元モデルの色情報、オブジェクト三次元モデルの色補正情報の記録方法として、ＲＧＢ値を記録する方法について説明したが、他の手法が用いられても良く、上記記録方法に限定されるものではない。例えば、オブジェクト三次元モデルの色情報としてＹ，Ｃｂ，Ｃｒを記録し、オブジェクト三次元モデルの色補正情報としてＹ，Ｃｂ，ＣｒのうちＹ成分のみを記録し、太陽光による反射などの輝度変化のみを補正する方法としても良い。

【0115】

以上、オブジェクト三次元モデルおよびその色情報をＤＢ２５０に格納する方法について述べた。

【0116】

以降、格納されたオブジェクト三次元モデルおよびその色情報、その色補正情報を読み出して、仮想視点画像を生成する方法について述べる。すなわち、バックエンドサーバ２７０の詳細な構成および動作について、説明する。

【0117】

＜バックエンドサーバ２７０の構成＞
図１７は、バックエンドサーバ２７０の機能構成例を示すブロック図である。

【0118】

視点入力部２７５は、エンドユーザ端末１９０や仮想カメラ操作ＵＩ３３０などを介して不図示のユーザによる仮想視点情報の入力を受け付ける。視点入力部２７５は、受け付けた仮想視点情報をデータ取得部２７６および仮想視点画像生成部２７４と色補正部２７７とに出力する。

【0119】

データ取得部２７６は、入力された仮想視点情報に基づいて、ＤＢ２５０から、カメラが実際には存在しない仮想視点の仮想カメラから見えると推測されたオブジェクトに関するオブジェクト三次元モデルとその色情報および色補正情報を取得する。すなわち、データ取得部２７６は、仮想視点に配置された仮想カメラの画角内に存在すると推測されるオブジェクトに関するオブジェクト三次元モデルとその色情報および色補正情報を取得する。データ取得部２７６は、取得したこれらデータ、すなわち、オブジェクト三次元モデルとその色情報および色補正情報を色補正部２７７に出力する。また、データ取得部２７６は、ＤＢ２５０から背景画像を取得し、取得した背景画像を仮想視点画像生成部２７４に出力する。

【0120】

色補正部２７７は、オブジェクト三次元モデルとその色情報および色補正情報、仮想視点情報に基づき、オブジェクト三次元モデルの色情報を補正する。さらに、色補正部２７７は、補正後のオブジェクト三次元モデルの色情報を色付け部２７３に出力する。

【0121】

ここで、色補正部２７７による色補正処理について、図１８を参照して説明する。

【0122】

色補正部２７７は、オブジェクト三次元モデルの色情報、オブジェクト三次元モデルの色補正情報に関連付いたカメラＩＤおよび予め設定されたカメラパラメータに応じて、それぞれの情報を生成する対象となったカメラの位置を導出する。

【0123】

図１８は、色補正処理方法を説明するための図である。具体的には、導出したカメラとオブジェクトの点４０００の位置関係を示し、オブジェクト三次元モデルの色情報、オブジェクト三次元モデルの色補正情報を導出するために使用されたカメラの俯瞰図である。本来はｚ軸も加味するが、簡単のためｘ、ｙ軸平面において説明する。

【0124】

ここでは、点４０００に関し、色情報を補正する対象とした例について説明する。点４０００における色情報の生成対象となった画像を撮像したカメラをカメラ（以下、色情報対象カメラともいう）５１０とする。また、点４０００における色補正情報の生成対象となった画像を撮像したカメラをカメラ（以下、色補正情報対象カメラともいう）５２０、５２１とする。さらにユーザから指定された仮想視点と同様の位置を示す仮想カメラを仮想カメラ５００、５０１とする。

【0125】

まず、仮想カメラ５００が、色情報対象カメラ５１０と色補正情報対象カメラ５２０の間に位置付けられた場合について説明する。すなわち、色情報対象カメラ５１０と色補正情報対象カメラ５２０と点４０００とで囲まれる領域内に仮想カメラ５００が位置付けられた場合について説明する。

【0126】

仮想カメラ５００および点４０００を結ぶ法線と色情報対象カメラ５１０および点４０００を結ぶ法線とのなす角を角θ１とし、仮想カメラ５００および点４０００を結ぶ法線と色補正情報対象カメラ５２０と点４０００を結ぶ法線のなす角を角θ２とする。すなわち、仮想カメラ５００およびオブジェクトの要素である点４０００を結ぶ法線に対し、色情報対象カメラ５１０の撮像方向とのなす角を角θ１とし、色補正情報対象カメラ５２０の撮像方向とのなす角を角θ２とする。

【0127】

また、色情報をＲ１，Ｇ１，Ｂ１とし、対象となるカメラ５２０と関連付いた色補正情報をＲ２，Ｇ２，Ｂ２とする。この場合、補正後の色情報Ｒ１´、Ｇ１´、Ｂ１´は下記の演算式（１）～（３）により導出される。

【0128】

【数1】

【0129】

【数2】

【0130】

【数3】

【0131】

すなわち、仮想カメラ５００および点４０００を結ぶ法線と色情報対象カメラ５１０および色補正情報対象カメラ５２０それぞれの撮像方向とでなす角度の大きさに応じて、前記色情報と前記色補正情報の重みづけが設定される。

【0132】

また、仮想カメラ５０１のように、色情報対象カメラ５１０からみて、色補正情報対象カメラ５２０、５２１より外側の角度に仮想カメラが位置付けられた場合、以下のように色情報が設定される。すなわち、色補正情報対象カメラ５２０と色補正情報対象カメラ５２１と点４０００とで囲まれる領域の外側の領域に仮想カメラ５０１が位置付けられた場合、以下のように色情報が設定される。仮想カメラ５０１に最も近接する色補正情報対象カメラ５２０と関連付いた色補正情報を補正後の色情報とする。すなわち、Ｒ１´＝Ｒ２、Ｇ１´＝Ｇ２、Ｂ１´＝Ｂ２となる。

【0133】

以上の補正処理をオブジェクト三次元モデルのすべての点について実行し、色情報を補正する。ここで、色補正情報がＹ成分のみである場合には、上述と同様に、Ｙ成分のみを対象となるカメラのなす角に基づいて導出すれば良い。これは、見え方が物体の色（色差）は変わらず、光線の強さに依存することに基づいているためである。

【0134】

本実施形態では、色補正方法の一例として角度を用いる方法について説明したが、他の手法を用いても良く、上記色補正方法に限定されるものではない。例えば、点とカメラの距離などによる重みづけを行い、重みづけに応じた色補正を行う手法を用いても良い。

【0135】

（仮想視点画像生成手順例）
次に、バックエンドサーバ２７０で行われる仮想視点画像生成手順例について、図１９を参照して説明する。

【0136】

図１９は、仮想視点画像生成手順例を示すフローチャートである。以降、フローチャートに従い、処理のフローを説明する。

【0137】

Ｓ１９０１では、視点入力部２７５は、エンドユーザ端末１９０などを介して不図示のユーザによる仮想視点情報の入力を受け付ける。そして、視点入力部２７５は、受け付けた仮想視点情報をデータ取得部２７６と仮想視点画像生成部２７４と色補正部２７７に出力する。

【0138】

Ｓ１９０２では、データ取得部２７６は、前記入力された仮想視点情報に基づいて、ＤＢ２５０から、オブジェクト三次元モデル、その色情報およびその色補正情報を取得し、色補正部２７７に出力する。また、データ取得部２７６は、前記入力された仮想視点情報に基づいて、ＤＢ２５０から、背景画像を取得し、仮想視点画像生成部２７４に出力する。具体的には、データ取得部２７６は、仮想視点情報で指定された時刻に基づき、その時刻の撮像画像に対応する前景画像から生成されたオブジェクト三次元モデル、その色情報および色補正情報を取得し、出力する。また、データ取得部２７６は、仮想視点情報で指定された時刻に基づき、その時刻の撮像画像に対応する背景画像を取得し、出力する。

【0139】

Ｓ１９０３では、色補正部２７７は、前記入力された仮想視点情報とオブジェクト三次元モデルの色情報、オブジェクト三次元モデルの色補正情報に基づいて、オブジェクト三次元モデルの色情報を補正する。そして、色補正部２７７は、オブジェクト三次元モデルと、オブジェクト三次元モデルの色補正情報を色付け部２７３に出力する。

【0140】

Ｓ１９０４では、色付け部２７３は、入力されたオブジェクト三次元モデルと、補正後のオブジェクト三次元モデルの色情報に基づいて、オブジェクト三次元モデルの各点に対応ピクセルの色（画素値）を付与し、色付きオブジェクト三次元モデルを生成する。さらに、色付け部２７３は、色付きオブジェクト三次元モデルを仮想視点画像生成部２７４に出力する。

【0141】

Ｓ１９０５では、仮想視点画像生成部２７４は、実施形態１と同様、各ブロックから入力された、仮想視点情報、背景画像、および色付きオブジェクト三次元モデルに基づき、仮想視点画像を生成する。

【0142】

以上のことから、本実施形態によれば、前景画像をＤＢに格納しないが、オブジェクト三次元モデルの各要素の色情報に加え、色補正情報を格納する。これにより、格納したオブジェクト三次元モデルの色情報およびその色補正情報を用いて仮想視点画像を生成することができる。その結果、画質劣化を抑えた上で、ＤＢに格納するデータ量を削減しながらも、仮想視点画像を得ることができるようになる。

【0143】

例えば、カメラ台数を３０台、画像サイズを３８４０×２１６０、画像フォーマットをＲＧＢ８ｂｉｔ、オブジェクト三次元モデルの点の数を１，０００，０００点、モデルの点座標を３２ｂｉｔで表現するとする。

【0144】

従来の手法では、前景画像のサイズは、１９２０×１０８０×３×８×３０＝１，４９２，９９２，０００（ｂｉｔ）＝１８６．６２４（ＭＢ）となる。

【0145】

本実施形態によると、前景画像のかわりにオブジェクト三次元モデルの色情報およびオブジェクト三次元モデルの色補正情報を生成する。そのオブジェクト三次元モデルの色情報のサイズは、１，０００，０００×３×３２＝９６，０００，０００（ｂｉｔ）＝１２（ＭＢ）となる。

【0146】

オブジェクト三次元モデルの色補正情報のサイズは、１，０００，０００×３×３２×２＝１９２，０００，０００（ｂｉｔ）＝２４（ＭＢ）となる。

【0147】

前記オブジェクト三次元モデルの色情報とオブジェクト三次元モデルの色補正情報の合計は３６（ＭＢ）となる。

【0148】

よって、本実施形態によれば、前記条件では、従来例と比べておよそ５分の１のデータサイズに低減することができる。

【0149】

［実施形態３］
本実施形態に係る画像処理システムについて、以下に説明する。

【0150】

ここまで、従来例としてカメラの撮像画像から分離した前景画像を格納する方法、実施形態１としてオブジェクト三次元モデルの色情報を格納する方法、実施形態２としてさらにオブジェクト三次元モデルの色補正情報を格納する方法を説明した。

【0151】

本実施形態では、データ量の大きさに応じて動的に上記格納方法を切り替える方法について述べる。これにより、ＤＢへの書き込み帯域の制約に応じて、適切なデータサイズでデータを格納することが可能となる。

【0152】

まず、画質およびデータサイズの観点で上述の各方法を比較すると、従来例である、前景画像を格納する方法では、高画質であり、データサイズが大きくなる。これに対して、実施形態１である、オブジェクト三次元モデルの色情報のみを格納する方法では、画質が低いが、データサイズが小さくなる。実施形態２である、オブジェクト三次元モデルの色補正情報を格納する方法では、従来例および実施形態１の中間の画質およびデータサイズとなる。

【0153】

図２０は、本実施形態におけるフロントエンドサーバ２３０の機能構成例を示すブロック図である。本実施形態では、実施形態１、２と同じブロックには同一符号を付与し、その説明を適宜省略する。

【0154】

画像入力部２３５とモデル生成部２３６と色情報生成部２３３と色補正情報生成部２３７の機能は、図１２に示されるフロントエンドサーバ２３０と同じであるため、その説明を省略する。これら機能ブロック２３５、２３６、２３３、２３７の出力先は、データ書き込み部から保存形式決定部２３９に変更される。

【0155】

保存形式決定部２３９は、予め設定された閾値（基準値）と前記入力されたデータのデータサイズを比較し、比較結果に応じて保存形式を決定し、決定した形式でデータをデータ書き込み部２４０に出力する。

【0156】

ここで、保存形式は、例えば、下記の３つの形式をとる。
（１）オブジェクト三次元モデル、背景画像、前景画像
（２）オブジェクト三次元モデル、背景画像、オブジェクト三次元モデルの色情報、オブジェクト三次元モデルの色補正情報
（３）オブジェクト三次元モデル、背景画像、オブジェクト三次元モデルの色情報

【0157】

例えば、予め設定された１フレーム分のデータとして書き込み可能なデータサイズが１０ＭＢ（メガバイト）とする。この場合、優先順を（１）、（２）、（３）の順番で低くなるとし、かつ書き込み可能なデータサイズを超えない形式を選択するとする。データサイズは、オブジェクト三次元モデルが５ＭＢ、前景画像が１０ＭＢ、背景画像が１ＭＢ、オブジェクト三次元モデルの色情報が１ＭＢ、オブジェクト三次元モデルの色補正情報が２ＭＢであるとする。保存形式（１）では、オブジェクト三次元モデル、前景画像および背景画像を書き込むので、データサイズの合計が１６ＭＢとなり、閾値の１０ＭＢを超えることになる。保存形式（２）では、オブジェクト三次元モデル、背景画像、オブジェクト三次元モデルの色情報、オブジェクト三次元モデルの色補正情報を書き込むので、データサイズの合計は９ＭＢとなり、閾値の１０ＭＢより小さい数値となる。したがって、（２）の保存形式が選択されることになる。保存形式決定部２３９は選択された保存形式にしたがって、入力されたデータから該当するデータを選択し、選択したデータをデータ書き込み部２４０に出力する。なお、保存形式（３）では、オブジェクト三次元モデル、背景画像、オブジェクト三次元モデルの色情報を書き込むので、データサイズの合計は７ＭＢとなる。保存形式（３）は閾値を超えないデータサイズとなるが、保存形式（２）と比べて優先順が低いことから、保存形式（３）は選択されないこととなる。

【0158】

データ書き込み部２４０は、前記保存形式決定部２３９から入力されたデータをＤＢ２５０に書き込む。すなわち、データ書き込み部２４０は、保存形式決定部２３９に入力されたデータのデータサイズが閾値を超えない場合、前景画像をＤＢ２５０に書き込むが、閾値を超えた場合には、前景画像をＤＢ２５０に書き込まない。

【0159】

以上のことから、本実施形態によれば、データの書き込み帯域を鑑みて、最適な形式でデータを書き込むことが可能であり、書き込み可能な最も高画質なデータを格納することができる。

【0160】

続いて、本実施形態を構成する各装置のハードウェア構成について、より詳細に説明する。上述の通り、本実施形態では、フロントエンドサーバ２３０がＦＰＧＡ及び／又はＡＳＩＣなどのハードウェアを実装し、これらのハードウェアによって、上述した各処理を実行する場合の例を中心に説明した。それはセンサシステム１１０内の各種装置や、カメラアダプタ１２０、ＤＢ２５０、バックエンドサーバ２７０、タイムサーバ２９０、及びコントローラ３００についても同様である。しかしながら、上記装置のうち、少なくとも何れかが、例えばＣＰＵ、ＧＰＵ、ＤＳＰなどを用い、ソフトウェア処理によって本実施形態の処理を実行するようにしても良い。

【0161】

図２１は、図４に示した機能構成をソフトウェア処理によって実現するための、フロントエンドサーバ２３０のハードウェア構成例を示す図である。なお、カメラアダプタ１２０、ＤＢ２５０、バックエンドサーバ２７０、タイムサーバ２９０、制御ステーション３１０、仮想カメラ操作ＵＩ３３０、及びエンドユーザ端末１９０などの装置も、図２１のハードウェア構成となりうる。フロントエンドサーバ２３０は、ＣＰＵ２３０１、ＲＯＭ２３０２、ＲＡＭ２３０３、補助記憶装置２３０４、表示部２３０５、操作部２３０６、通信部２３０７、及びバス２３０８を有する。

【0162】

ＣＰＵ２３０１は、ＲＯＭ２３０２やＲＡＭ２３０３に格納されているコンピュータプログラムやデータを用いてフロントエンドサーバ２３０の全体を制御する。ＲＯＭ２３０２は、変更を必要としないプログラムやパラメータを格納する。ＲＡＭ２３０３は、補助記憶装置２３０４から供給されるプログラムやデータ、及び通信部２３０７を介して外部から供給されるデータなどを一時記憶する。補助記憶装置２３０４は、例えばハードディスクドライブ等で構成され、静止画や動画などのコンテンツデータを記憶する。

【0163】

表示部２３０５は、例えば液晶ディスプレイ等で構成され、ユーザがフロントエンドサーバ２３０を操作するためのＧＵＩ（Ｇｒａｐｈｉｃａｌ Ｕｓｅｒ Ｉｎｔｅｒｆａｃｅ）などを表示する。操作部２３０６は、例えばキーボードやマウス等で構成され、ユーザによる操作を受けて各種の指示をＣＰＵ２３０１に入力する。通信部２３０７は、カメラアダプタ１２０やＤＢ２５０などの外部の装置と通信を行う。例えば、フロントエンドサーバ２３０が外部の装置と有線で接続される場合には、ＬＡＮケーブル等が通信部２３０７に接続される。なお、フロントエンドサーバ２３０が外部の装置と無線通信する機能を有する場合、通信部２３０７はアンテナを備える。バス２３０８は、フロントエンドサーバ２３０の各部を繋いで情報を伝達する。

【0164】

なお、例えばフロントエンドサーバ２３０の処理のうち一部をＦＰＧＡで行い、別の一部の処理を、ＣＰＵを用いたソフトウェア処理によって実現するようにしても良い。また、図２１に示したフロントエンドサーバ２３０の各構成要素は、単一の電子回路で構成されていてもよいし、複数の電子回路で構成されていてもよい。例えば、フロントエンドサーバ２３０は、ＣＰＵ２３０１として動作する電子回路を複数備えていてもよい。これら複数の電子回路がＣＰＵ２３０１としての処理を並行して行うことで、フロントエンドサーバ２３０の処理速度を向上することができる。

【0165】

また、本実施形態では表示部２３０５と操作部２３０６はフロントエンドサーバ２３０の内部に存在するが、フロントエンドサーバ２３０は表示部２３０５及び操作部２３０６の少なくとも一方を備えていなくてもよい。また、表示部２３０５及び操作部２３０６の少なくとも一方がフロントエンドサーバ２３０の外部に別の装置として存在していて、ＣＰＵ２３０１が、表示部２３０５を制御する表示制御部、及び操作部２３０６を制御する操作制御部として動作してもよい。

【0166】

画像処理システム１００内の他の装置についても同様である。また例えば、カメラアダプタ１２０、ＤＢ２５０、バックエンドサーバ２７０及びタイムサーバ２９０は表示部２３０５を備えず、制御ステーション３１０、仮想カメラ操作ＵＩ３３０及びエンドユーザ端末１９０は表示部２３０５を備えていてもよい。また、上述の実施形態は、画像処理システム１００が競技場やコンサートホールなどの施設に設置される場合の例を中心に説明した。施設の他の例としては、例えば、遊園地、公園、競馬場、競輪場、カジノ、プール、スケートリンク、スキー場、ライブハウスなどがある。また、各種施設で行われるイベントは、屋内で行われるものであっても屋外で行われるものであっても良い。また、本実施形態における施設は、一時的に（期間限定で）建設される施設も含む。

【0167】

［その他の実施形態］
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。

【符号の説明】

【0168】

２３０ フロントエンドサーバ
２３２ モデル生成部
２３３ 色情報生成部
２７０ バックエンドサーバ
２７３ 色付け部
２７４ 仮想視点画像生成部

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】

【図15】

【図16】

【図17】

【図18】

【図19】

【図20】

【図21】