特許 6948171 画像処理装置および画像処理方法、プログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】6948171

(24)【登録日】2021年9月22日

(45)【発行日】2021年10月13日

(54)【発明の名称】画像処理装置および画像処理方法、プログラム

(51)【国際特許分類】

   G06T 15/20 20110101AFI20210930BHJP

   H04N 7/18 20060101ALI20210930BHJP

【ＦＩ】

   G06T15/20 500

   H04N7/18 K

【請求項の数】19

【全頁数】24

(21)【出願番号】特願2017-125592(P2017-125592)

(22)【出願日】2017年6月27日

(65)【公開番号】特開2018-92580(P2018-92580A)

(43)【公開日】2018年6月14日

【審査請求日】2020年6月16日

(31)【優先権主張番号】特願2016-233500(P2016-233500)

(32)【優先日】2016年11月30日

(33)【優先権主張国】JP

(73)【特許権者】

【識別番号】000001007

【氏名又は名称】キヤノン株式会社

(74)【代理人】

【識別番号】110003281

【氏名又は名称】特許業務法人大塚国際特許事務所

(72)【発明者】

【氏名】榊間 英人

【審査官】 村松 貴士

(56)【参考文献】

【文献】 特開２０１５−２３１１１４（ＪＰ，Ａ）

【文献】 特開平１１−２５９６８５（ＪＰ，Ａ）

【文献】 特開平１１−２５９６７２（ＪＰ，Ａ）

【文献】 特開２０１５−２２５５２９（ＪＰ，Ａ）

(58)【調査した分野】（Int.Cl.，ＤＢ名）

Ｇ０６Ｔ １５／００ − １９／２０

Ｈ０４Ｎ ７／１８

(57)【特許請求の範囲】

【請求項1】

複数の撮影装置により異なる位置から撮影することで得られる複数の撮影画像に基づく仮想視点画像を出力する画像処理装置であって、
生成すべき仮想視点画像に対応する仮想視点の位置及び仮想視点からの視線方向を示す視点情報を取得する視点情報取得手段と、
前記複数の撮影装置の設置に関わる撮影情報を取得する撮影情報取得手段と、
前記複数の撮影画像に基づいて前記仮想視点に対応する仮想視点画像を生成するために用いられる画像処理方法を、前記視点情報取得手段により取得された視点情報と、前記撮影情報取得手段により取得された撮影情報とに基づいて複数の画像処理方法の中から決定する決定手段と、
前記決定手段により決定された画像処理方法を用いて生成された仮想視点画像を出力する出力手段と、を有することを特徴とする画像処理装置。

【請求項2】

前記撮影情報は、撮影装置の位置、姿勢、及び画角の少なくとも何れかの情報を含むことを特徴とする請求項１に記載の画像処理装置。

【請求項3】

前記決定手段は、前記視点情報取得手段により取得された視点情報から特定される仮想視点からの視線方向と、前記撮影情報取得手段により取得された撮影情報から特定される撮影装置の撮影方向との関係に基づいて、前記画像処理方法を決定することを特徴とする請求項１又は２に記載の画像処理装置。

【請求項4】

前記決定手段は、前記仮想視点からの視線方向と前記撮影装置の撮影方向とがなす角度が所定値より小さい場合には撮影画像を射影変換して画像を処理する画像処理方法を、前記角度が前記所定値より小さくない場合には複数の撮影画像に基づく三次元モデルを用いて画像を処理する画像処理方法を、前記仮想視点画像を生成するために用いられる画像処理方法として決定することを特徴とする請求項３に記載の画像処理装置。

【請求項5】

前記決定手段は、前記視点情報取得手段により取得された視点情報から特定される仮想視点に応じた視野と、前記撮影情報取得手段により取得された撮影情報から特定される複数の撮影装置の撮影範囲内に含まれる注視領域との関係に基づいて、前記画像処理方法を決定することを特徴とする請求項１乃至４の何れか１項に記載の画像処理装置。

【請求項6】

前記決定手段は、前記仮想視点に応じた視野内における前記注視領域が占める割合が所定値より大きい場合には複数の撮影画像に基づく三次元モデルを用いて画像を処理する画像処理方法を、前記割合が前記所定値より大きくない場合には撮影画像を射影変換して画像を処理する画像処理方法を、前記仮想視点画像を生成するために用いられる画像処理方法として決定することを特徴とする請求項５に記載の画像処理装置。

【請求項7】

複数の撮影装置により異なる位置から撮影することで得られる複数の撮影画像に基づく仮想視点画像を出力する画像処理装置であって、
生成すべき仮想視点画像に対応する仮想視点の位置及び仮想視点からの視線方向を示す視点情報を取得する視点情報取得手段と、
前記複数の撮影画像に基づいて前記仮想視点に対応する仮想視点画像を生成するために用いられる画像処理方法を、前記視点情報取得手段により取得された視点情報から特定される仮想視点の変化の状況に基づいて複数の画像処理方法の中から決定する決定手段と、
前記決定手段により決定された画像処理方法を用いて生成された仮想視点画像を出力する出力手段と、を有し、
前記決定手段は、前記仮想視点の位置の変化が円弧状の移動である場合には複数の撮影画像に基づく三次元モデルを用いて画像を処理する画像処理方法を、前記仮想視点画像を生成するために用いられる画像処理方法として決定することを特徴とする画像処理装置。

【請求項8】

複数の撮影装置により異なる位置から撮影することで得られる複数の撮影画像に基づく仮想視点画像を出力する画像処理装置であって、
生成すべき仮想視点画像に対応する仮想視点の位置及び仮想視点からの視線方向を示す視点情報を取得する視点情報取得手段と、
前記複数の撮影画像に基づいて前記仮想視点に対応する仮想視点画像を生成するために用いられる画像処理方法を、前記視点情報取得手段により取得された視点情報から特定される仮想視点の変化の状況に基づいて複数の画像処理方法の中から決定する決定手段と、
前記決定手段により決定された画像処理方法を用いて生成された仮想視点画像を出力する出力手段と、を有し、
前記決定手段は、前記複数の画像処理方法のうち２以上の画像処理方法を決定し、
前記出力手段は、前記決定手段により決定された前記２以上の画像処理方法を用いて生成された２以上の仮想視点画像の中から選択された仮想視点画像を出力することを特徴とする画像処理装置。

【請求項9】

複数の撮影装置により異なる位置から撮影することで得られる複数の撮影画像に基づく仮想視点画像を出力する画像処理装置であって、
生成すべき仮想視点画像に対応する仮想視点の位置及び仮想視点からの視線方向を示す視点情報を取得する視点情報取得手段と、
前記複数の撮影画像に基づいて前記仮想視点に対応する仮想視点画像を生成するために用いられる画像処理方法を、前記視点情報取得手段により取得された視点情報から特定される仮想視点の変化の状況に基づいて複数の画像処理方法の中から決定する決定手段と、
前記決定手段により決定された画像処理方法を用いて生成された仮想視点画像を出力する出力手段と、を有し、
前記決定手段は、前記画像処理方法が変更されてから所定時間が経過するまでは前記画像処理方法が新たに変更されないように、前記画像処理方法を決定することを特徴とする画像処理装置。

【請求項10】

複数の撮影装置により異なる位置から撮影することで得られる複数の撮影画像に基づく仮想視点画像を出力する画像処理装置であって、
生成すべき仮想視点画像に対応する仮想視点の位置及び仮想視点からの視線方向を示す視点情報を取得する視点情報取得手段と、
前記複数の撮影画像に基づいて前記仮想視点に対応する仮想視点画像を生成するために用いられる画像処理方法を、前記視点情報取得手段により取得された視点情報から特定される仮想視点の変化の状況に基づいて複数の画像処理方法の中から決定する決定手段と、
前記決定手段により決定された画像処理方法を用いて生成された仮想視点画像を出力する出力手段と、を有し、
前記複数の画像処理方法には、複数の撮影画像に基づく三次元モデルを用いて画像を処理する画像処理方法と撮影画像を射影変換して画像を処理する画像処理方法とが含まれることを特徴とする画像処理装置。

【請求項11】

前記決定手段は、前記視点情報取得手段により取得された視点情報から特定される仮想視点に応じた視野に含まれるオブジェクトの種別に基づいて、前記画像処理方法を決定することを特徴とする請求項１乃至１０のいずれか１項に記載の画像処理装置。

【請求項12】

前記複数の画像処理方法には、複数の撮影画像に基づく三次元モデルを用いて画像を処理する複数の画像処理方法であって、使用される三次元モデルの粗さが異なる複数の画像処理方法が含まれることを特徴とする請求項１乃至１１の何れか１項に記載の画像処理装置。

【請求項13】

前記複数の画像処理方法には、撮影画像を射影変換して画像を処理する複数の画像処理方法であって、使用される撮影画像の数が異なる複数の画像処理方法が含まれることを特徴とする請求項１乃至１２の何れか１項に記載の画像処理装置。

【請求項14】

複数の撮影装置により異なる位置から撮影することで得られる複数の撮影画像に基づく仮想視点画像を出力する画像処理方法であって、
生成すべき仮想視点画像に対応する仮想視点の位置及び仮想視点からの視線方向を示す視点情報を取得する視点情報取得工程と、
前記複数の撮影装置の設置に関わる撮影情報を取得する撮影情報取得工程と、
前記複数の撮影画像に基づいて前記仮想視点に対応する仮想視点画像を生成するために用いられる画像処理方法を、前記視点情報取得工程において取得された視点情報と、前記撮影情報取得工程において取得された撮影情報とに基づいて複数の画像処理方法の中から決定する決定工程と、
前記決定工程において決定された画像処理方法を用いて生成された仮想視点画像を出力する出力工程と、を有することを特徴とする画像処理方法。

【請求項15】

複数の撮影装置により異なる位置から撮影することで得られる複数の撮影画像に基づく仮想視点画像を出力する画像処理方法であって、
生成すべき仮想視点画像に対応する仮想視点の位置及び仮想視点からの視線方向を示す視点情報を取得する視点情報取得工程と、
前記複数の撮影画像に基づいて前記仮想視点に対応する仮想視点画像を生成するために用いられる画像処理方法を、前記視点情報取得工程により取得された視点情報から特定される仮想視点の変化の状況に基づいて複数の画像処理方法の中から決定する決定工程と、
前記決定工程により決定された画像処理方法を用いて生成された仮想視点画像を出力する出力工程と、を有し、
前記決定工程は、前記仮想視点の位置の変化が円弧状の移動である場合には複数の撮影画像に基づく三次元モデルを用いて画像を処理する画像処理方法を、前記仮想視点画像を生成するために用いられる画像処理方法として決定することを特徴とする画像処理方法。

【請求項16】

複数の撮影装置により異なる位置から撮影することで得られる複数の撮影画像に基づく仮想視点画像を出力する画像処理方法であって、
生成すべき仮想視点画像に対応する仮想視点の位置及び仮想視点からの視線方向を示す視点情報を取得する視点情報取得工程と、
前記複数の撮影画像に基づいて前記仮想視点に対応する仮想視点画像を生成するために用いられる画像処理方法を、前記視点情報取得工程により取得された視点情報から特定される仮想視点の変化の状況に基づいて複数の画像処理方法の中から決定する決定工程と、
前記決定工程により決定された画像処理方法を用いて生成された仮想視点画像を出力する出力工程と、を有し、
前記決定工程は、前記複数の画像処理方法のうち２以上の画像処理方法を決定し、
前記出力工程は、前記決定工程により決定された前記２以上の画像処理方法を用いて生成された２以上の仮想視点画像の中から選択された仮想視点画像を出力することを特徴とする画像処理方法。

【請求項17】

複数の撮影装置により異なる位置から撮影することで得られる複数の撮影画像に基づく仮想視点画像を出力する画像処理方法であって、
生成すべき仮想視点画像に対応する仮想視点の位置及び仮想視点からの視線方向を示す視点情報を取得する視点情報取得工程と、
前記複数の撮影画像に基づいて前記仮想視点に対応する仮想視点画像を生成するために用いられる画像処理方法を、前記視点情報取得工程により取得された視点情報から特定される仮想視点の変化の状況に基づいて複数の画像処理方法の中から決定する決定工程と、
前記決定工程により決定された画像処理方法を用いて生成された仮想視点画像を出力する出力工程と、を有し、
前記決定工程は、前記画像処理方法が変更されてから所定時間が経過するまでは前記画像処理方法が新たに変更されないように、前記画像処理方法を決定することを特徴とする画像処理方法。

【請求項18】

複数の撮影装置により異なる位置から撮影することで得られる複数の撮影画像に基づく仮想視点画像を出力する画像処理方法であって、
生成すべき仮想視点画像に対応する仮想視点の位置及び仮想視点からの視線方向を示す視点情報を取得する視点情報取得工程と、
前記複数の撮影画像に基づいて前記仮想視点に対応する仮想視点画像を生成するために用いられる画像処理方法を、前記視点情報取得工程により取得された視点情報から特定される仮想視点の変化の状況に基づいて複数の画像処理方法の中から決定する決定工程と、
前記決定工程により決定された画像処理方法を用いて生成された仮想視点画像を出力する出力工程と、を有し、
前記複数の画像処理方法には、複数の撮影画像に基づく三次元モデルを用いて画像を処理する画像処理方法と撮影画像を射影変換して画像を処理する画像処理方法とが含まれることを特徴とする画像処理方法。

【請求項19】

コンピュータを、請求項１乃至１３のいずれか１項に記載された画像処理装置の各手段として機能させるためのプログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、複数のカメラからの撮影画像を用いて仮想視点画像を生成する画像処理装置および画像処理方法、プログラムに関する。

【背景技術】

【0002】

昨今、複数のカメラを異なる位置に設置して多視点で同期撮影し、当該撮影により得られた複数視点画像を用いて仮想視点コンテンツを生成する技術が注目されている。複数視点画像から仮想視点コンテンツを生成する技術によれば、例えば、サッカーやバスケットボールのハイライトシーンを様々な角度から視聴することが出来る。そのため、通常の画像と比較してユーザに高臨場感を与えることが出来る。複数視点画像に基づく仮想視点コンテンツは、サーバなどの画像処理部が、複数のカメラにより撮影された画像を集約し、三次元モデル生成、レンダリングなどの処理を施すことで生成される。生成された仮想視点コンテンツはユーザ端末に伝送され、ユーザにより閲覧される。

【0003】

画像処理部における仮想視点コンテンツの生成方法には複数の方法が存在する。例えば、三次元モデルを生成した上でレンダリングを行うモデルベースレンダリング、三次元モデルは生成せず、三次元空間上にカメラにて撮影された画像を配置する、イメージベースレンダリング、などがあげられる。それぞれの画像生成方法ごとに画質や処理負荷に特徴がある。特許文献１では、三次元形状データに基づく動画の表示において、リソース量、三次元形状データ量、フレームレートから１フレーム以内で処理可能なレンダリング方法を複数のレンダリング方法から選択し、レンダリングを行うことが記載されている。

【先行技術文献】

【特許文献】

【0004】

【特許文献1】特開２００４−０８６５０８号公報

【発明の概要】

【発明が解決しようとする課題】

【0005】

同じ画像生成方法によって生成された仮想視点画像の画質は、複数カメラの配置位置や仮想視点の位置などに応じて変化する。換言すれば、最も高画質に仮想視点画像を生成することが可能な画像生成方法は、カメラ配置及び仮想視点位置により変化する。特許文献１では、１フレーム以内で処理可能なレンダリング方法を選択することが可能であるが、選択した結果が高画質な方法であるとは限らない。そのため、高画質な仮想視点画像を安定して生成することが出来なかった。

【0006】

本発明は、カメラの設置状態と仮想視点の位置との関係が変化しても、仮想視点画像を高画質に生成することが可能な画像処理装置および画像処理方法を提供することを目的とする。

【課題を解決するための手段】

【0007】

上記の目的を達成するための本発明の一態様による画像処理装置は以下の構成を有する。すなわち、
複数の撮影装置により異なる位置から撮影することで得られる複数の撮影画像に基づく仮想視点画像を出力する画像処理装置であって、
生成すべき仮想視点画像に対応する仮想視点の位置及び仮想視点からの視線方向を示す視点情報を取得する視点情報取得手段と、
前記複数の撮影装置の設置に関わる撮影情報を取得する撮影情報取得手段と、
前記複数の撮影画像に基づいて前記仮想視点に対応する仮想視点画像を生成するために用いられる画像処理方法を、前記視点情報取得手段により取得された視点情報と、前記撮影情報取得手段により取得された撮影情報とに基づいて複数の画像処理方法の中から決定する決定手段と、
前記決定手段により決定された画像処理方法を用いて生成された仮想視点画像を出力する出力手段と、を有する。

【発明の効果】

【0008】

本発明によれば、カメラの設置条件及び仮想視点に基づき、仮想視点画像の生成に適した画像生成方法を決定することができる。結果として、カメラの設置状態と仮想視点の位置との関係が変化しても、仮想視点画像を高画質に生成することが可能となる。

【図面の簡単な説明】

【0009】

【図1】実施形態に関わる、画像処理システムを説明する図。

【図2】第１実施形態に関わる、機能ブロックを説明する図。

【図3】第１実施形態による仮想視点画像の生成処理を説明するフローチャート。

【図4】第１実施形態における、画像生成手法の決定について説明する図。

【図5】画像生成手法を決定するための条件を記載したテーブルの例を示す図。

【図6】第２実施形態における、画像生成手法の決定について説明する図。

【図7】画像生成手法を決定するための条件を記載したテーブルの例を示す図。

【図8】第３実施形態に関わる、機能ブロックを説明する図。

【図9】第３実施形態による仮想視点画像の生成処理を説明するフローチャート。

【図10】第４実施形態に関わる、機能ブロックを説明する図。

【図11】第４実施形態による仮想視点画像の生成処理を説明するフローチャート。

【図12】第５実施形態に関わる、機能ブロックを説明する図。

【図13】第５実施形態による仮想視点画像の生成処理を説明するフローチャート。

【図14】第６実施形態に関わる、機能ブロックを説明する図。

【図15】第６実施形態による仮想視点画像の生成処理を説明するフローチャート。

【図16】画像コンピューティングサーバのハードウエア構成例を示すブロック図。

【図17】仮想視点画像を生成する際の三次元モデルの処理を示すフローチャート。

【図18】三次元モデルの点間隔を説明する図。

【図19】仮想視点画像の生成方法をユーザに選択させる処理を示すフローチャート。

【発明を実施するための形態】

【0010】

以下、本発明の好適な実施形態について、図面を使用して詳細に説明する。

【0011】

＜第１実施形態＞
以下、第１実施形態について説明する。第１実施形態では、複数のカメラ（カメラ群）の設置条件と生成する仮想視点画像の仮想視点情報とに基づき、複数の画像生成方法から適切なものを選択し、選択した画像生成方法で仮想視点画像を生成する。カメラ群の設置条件とは、カメラそれぞれの設置、姿勢、画角の情報を含む。また、仮想視点情報は、仮想視点の位置、姿勢、画角の情報を含む。

【0012】

なお、本実施形態では、特に断りがない限り、画像という文言が、動画と静止画の概念を含むものとして説明する。すなわち、本実施形態の画像処理システム１００は、静止画及び動画の何れについても処理可能である。また、本実施形態では、画像処理システム１００により提供される仮想視点コンテンツが仮想視点画像と仮想視点音声を含む例を中心に説明するが、これに限らない。例えば、仮想視点コンテンツに音声が含まれていなくても良い。また例えば、仮想視点コンテンツに含まれる音声が、仮想視点に最も近いマイクにより集音された音声であっても良い。また、本実施形態では、説明の簡略化のため、部分的に音声についての記載を省略しているが、基本的に画像と音声は共に処理されるものとする。

【0013】

＜画像処理システムの概要＞
第１実施形態の画像処理システムについて図１のシステム構成図を用いて説明する。画像処理システム１００は、競技場（スタジアム）やコンサートホールなどの施設に複数のカメラおよびマイクを設置して撮影及び集音を行い、任意の仮想視点からの仮想視点コンテンツを生成する。画像処理システム１００は、センサシステム１１０ａ〜１１０ｚ、画像コンピューティングサーバ１２２、コントローラ１２３、スイッチングハブ１２１、及びエンドユーザ端末１２６を有する。

【0014】

センサシステム１１０ａはマイク１１１ａ、カメラ１１２ａ、雲台１１３ａ、外部センサ１１４ａ、及びカメラアダプタ１２０ａを有する。なお、センサシステム１１０ａはこの構成に限定されるものではなく、少なくとも１台のカメラアダプタ１２０ａと、少なくとも１台のカメラ１１２ａまたは１台のマイク１１１ａを有していれば良い。例えば、センサシステム１１０ａは１台のカメラアダプタ１２０ａと複数のカメラ１１２ａで構成されてもよいし、１台のカメラ１１２ａと複数のカメラアダプタ１２０ａで構成されてもよい。画像処理システム１００内の複数のカメラと複数のカメラアダプタはＮ対Ｍ（ＮとＭは共に１以上の整数）で対応する。また、センサシステム１１０aは、マイク１１１ａ、カメラ１１２ａ、雲台１１３ａ、及びカメラアダプタ１２０ａ以外の装置を含んでいてもよい。本実施形態では、センサシステム１１０ａ〜１１０ｚは、それぞれ１台ずつのカメラ１１２ａ〜１１２ｚを有している。すなわち、画像処理システム１００は、被写体を複数の方向から撮影するための複数のカメラを有する。

【0015】

また、本実施形態では、カメラ１１２ａとカメラアダプタ１２０ａが分離された構成にしているが、同一筺体で一体化されていてもよい。その場合、マイク１１１ａは一体化されたカメラ１１２ａに内蔵されてもよいし、カメラ１１２ａの外部に接続されていてもよい。センサシステム１１０ｂ〜１１０ｚは、センサシステム１１０ａと同様の構成を有する。なお、センサシステム１１０ａ〜１１０ｚは必ずしも同じ構成でなくてもよい。

【0016】

本実施形態において、特別な説明がない場合は、センサシステム１１０ａからセンサシステム１１０ｚまでの２６セットのシステムを区別せずセンサシステム１１０と記載する。各センサシステム１１０内の装置についても同様に、特別な説明がない場合は区別せず、マイク１１１、カメラ１１２、雲台１１３、外部センサ１１４、及びカメラアダプタ１２０と記載する。なお、センサシステムの台数として２６セットと記載しているが、あくまでも一例であり、これに限定されるものではない。

【0017】

画像処理システム１００において、センサシステム１１０ａ〜１１０ｚはそれぞれスイッチングハブ１２１を介して画像コンピューティングサーバ１２２に接続される。また、センサシステム１１０ａ〜１１０ｚはスイッチングハブ１２１に接続され、スイッチングハブ１２１を経由してセンサシステム１１０間のデータ送受信を行うスター型のネットワークが構成されている。マイク１１１ａにて集音された音声と、カメラ１１２ａにて撮影された画像は、カメラアダプタ１２０ａを介し、スイッチングハブ１２１へ伝送される。

【0018】

コントローラ１２３は制御ステーション１２４と仮想カメラ操作ＵＩ１２５を有する。制御ステーション１２４は画像処理システム１００を構成するそれぞれのブロックに対して、ネットワーク１８０a〜１８０zおよび１９０a〜１９０cを通じて動作状態の管理およびパラメータ設定などを行う。ここで、ネットワークは、Ｅｔｈｅｒｎｅｔ（登録商標）であるＩＥＥＥ標準準拠のＧｂＥ（ギガビットイーサーネット）や１０ＧｂＥでもよいし、インターコネクトＩｎｆｉｎｉｂａｎｄ、産業用イーサーネット等を組合せて構成されてもよい。また、これらに限定されず、他の種類のネットワークであってもよい。

【0019】

また、制御ステーション１２４は、仮想視点画像を生成する対象のスタジアム等の三次元モデルを画像コンピューティングサーバ１２２に送信する。さらに、制御ステーション１２４はカメラ設置時に、キャリブレーションを実施する。具体的には、撮影対象のフィールド上にマーカーを設置し、カメラ１１２の撮影画像により、カメラ１１２の世界座標における位置と向き、画角および焦点距離を算出する。算出された各カメラの位置、向き、画角、焦点距離の情報は、カメラの設置に関わる情報として画像コンピューティングサーバ１２２に送信される。上記送信された三次元モデルおよび各カメラの情報は、画像コンピューティングサーバ１２２が仮想視点画像を生成する際に使用される。

【0020】

仮想カメラ操作ＵＩ１２５は、生成する画像の仮想視点に関わる仮想視点情報を、画像コンピューティングサーバ１２２に送信する。仮想視点情報は、たとえば、仮想視点の位置、向き、画角、焦点距離を含む。画像生成装置としての画像コンピューティングサーバ１２２は、センサシステム１１０から取得したデータを基に、仮想カメラ操作ＵＩ１２５によって指定された仮想視点からの仮想視点画像を生成する。生成された仮想視点画像は、画像コンピューティングサーバ１２２からエンドユーザ端末１２６へ送信される。

【0021】

タイムサーバ１２７は、スイッチングハブ１２１を介してセンサシステム１１０ａ〜１１０ｚに時刻および同期信号を配信する。時刻と同期信号を受信したカメラアダプタ１２０ａ〜１２０ｚは、それぞれカメラ１１２ａ〜１１２ｚを時刻と同期信号を基にＧｅｎｌｏｃｋさせ、画像フレーム同期を行う。即ち、タイムサーバ１２７は、複数のカメラ１１２の撮影タイミングを同期させる。これにより、画像処理システム１００は同じタイミングで撮影された複数の撮影画像に基づいて仮想視点画像を生成できるため、撮影タイミングのずれによる仮想視点画像の品質低下を抑制できる。なお、本実施形態ではタイムサーバ１２７が複数のカメラ１１２の時刻同期を管理するものとするが、これに限られるものではない。たとえば、時刻同期のための処理を各カメラ１１２又は各カメラアダプタ１２０が独立して行ってもよい。

【0022】

画像コンピューティングサーバ１２２によって生成された仮想視点画像は、エンドユーザ端末１２６に送信される。エンドユーザ端末１２６を操作するユーザは、仮想カメラ操作ＵＩ１２５からの仮想視点の指定に応じた画像閲覧及び音声視聴が出来る。なお、本実施形態では、仮想視点コンテンツに音声データ（オーディオデータ）が含まれる場合の例を中心に説明するが、必ずしも音声データが含まれていなくても良い。また、画像コンピューティングサーバ１２２は、仮想視点画像をＨ．２６４やＨＥＶＣに代表される標準技術により圧縮符号化したうえで、ＭＰＥＧ−ＤＡＳＨプロトコルを使ってエンドユーザ端末１２６へ送信してもよい。また、仮想視点画像は、非圧縮でエンドユーザ端末１２６へ送信されてもよい。とくに圧縮符号化を行う前者はエンドユーザ端末１２６としてスマートフォンやタブレットを想定している。また、後者は非圧縮画像を表示可能なディスプレイを想定している。すなわち、画像コンピューティングサーバ１２２は、エンドユーザ端末１２６の種別に応じて、出力される仮想視点画像の画像フォーマットを切り替えることが可能である。また、画像の送信プロトコルはＭＰＥＧ−ＤＡＳＨに限らず、例えば、ＨＬＳ（ＨＴＴＰ Ｌｉｖｅ Ｓｔｒｅａｍｉｎｇ）やその他の送信方法を用いても良い。

【0023】

次に、図２を用いて、本実施形態に関わる構成要素についてより詳細に説明する。図２は、図１で説明した、画像コンピューティングサーバ１２２の機能ブロックを示す図である。

【0024】

画像入力部２０１は、スイッチングハブ１２１を介して、センサシステム１１０から送信される画像及び音声を入力する。画像入力部２０１より入力されたデータは、データ蓄積制御部２０３により、ストレージ２０４へ蓄積される。設置情報入力部２０２は、制御ステーション１２４よりスタジアムの三次元モデルデータと、仮想視点画像の生成に用いられる画像を撮影するカメラ群の設置に関わる情報とを取得する。設置情報入力部２０２によって入力された情報は、データ蓄積制御部２０３を介し、ストレージ２０４へ記録される。

【0025】

データ蓄積制御部２０３は、ストレージ２０４へのデータの書き込みとストレージ２０４からの読み出しを制御する。データ蓄積制御部２０３の具体例として、データベース機能を提供するデータベースマネージメントシステム（以下ＤＢＭＳ)があげられる。ストレージ２０４は、データを蓄積するデータ記録媒体である。ストレージ２０４の例としては、ハードディスクドライブ（ＨＤＤ）やソリッドステートドライブ（ＳＳＤ）があげられる。

【0026】

画像生成部２０５は、画像入力部２０１を介して入力されるカメラデータを元に、仮想視点画像を生成する。画像生成部２０５にて生成された仮想視点画像は映像出力部２０６へ送信され、映像出力部２０６を介して、エンドユーザ端末１２６へ出力される。映像出力部２０６は、画像生成部２０５にて生成された仮想視点画像を映像として図１のエンドユーザ端末１２６へ出力する。エンドユーザ端末１２６に応じた映像フォーマットの変換処理は映像出力部２０６にて実施される。

【0027】

カメラ情報取得部２０７は、ストレージ２０４に記録されているカメラ群の設置に関わる情報を読み出し、生成方法決定部２０８へ送信する。視点情報取得部２０９は、仮想カメラ操作ＵＩ１２５より仮想視点情報を取得し、生成方法決定部２０８および画像生成部２０５へ送信する。生成方法決定部２０８は、カメラ情報取得部２０７より送信されるカメラ群の設置に関わる情報、および、視点情報取得部２０９より送信される仮想視点情報を基に、仮想視点画像を生成する際に使用する画像生成方法を決定する。

【0028】

図１６は、画像コンピューティングサーバ１２２のハードウエア構成例を示すブロック図である。図１６において、ＣＰＵ１６０１は、ＲＯＭ１６０２に格納されたプログラムまたはＲＡＭ１６０３に展開されたプログラムを実行することにより、各種制御を実現する。ＲＯＭ１６０２は不揮発性の読み出し専用メモリであり、ＲＡＭ１６０３揮発性の読み書き可能なメモリである。必要なプログラムが二次記憶媒体１６０５から読み出され、ＲＡＭ１６０３に展開され、ＣＰＵ１６０１により実行されてもよい。ネットワークＩ／Ｆ１６０４は、画像コンピューティングサーバ１２２とネットワークを接続するインターフェースである。より具体的には、画像コンピューティングサーバ１２２を、ネットワークを介してスイッチングハブ１２１、コントローラ１２３、エンドユーザ端末１２６と接続する。二次記憶媒体１６０５はストレージ２０４を提供する。バス１６０６は、上述した各構成を相互に通信可能に接続する。画像コンピューティングサーバ１２２は、ＣＰＵ１６０１がＲＯＭ１６０２またはＲＡＭ１６０３に格納されたプログラムを実行することにより、図２で説明した各機能ブロックを実現する。

【0029】

次に、第１実施形態による仮想視点画像の生成処理について図３のフローチャートを参照して説明する。第１実施形態では、仮想視点の情報（具体的には位置および向き）に応じて画像生成方法を切り替えながら、仮想視点画像を生成する。

【0030】

まずステップＳ３０１にて、カメラ情報取得部２０７は、カメラの設置に関わる情報を生成方法決定部２０８に設定する。ステップＳ３０１の処理は、仮想視点画像を生成する際に予め実施される処理であり、基本的にはスタジアム等にカメラが設置された後に一度実施されれば十分である。次に、ステップS３０２において、視点情報取得部２０９は、生成する画像の仮想視点情報を取得する。仮想視点情報とは、本実施形態では仮想視点の位置および向きの情報である。

【0031】

ステップＳ３０３において、生成方法決定部２０８は、ステップＳ３０１にて取得したカメラ群の設置に関わる情報と、ステップＳ３０２にて取得した仮想視点情報とに基づき、仮想視点画像の生成に用いられる画像生成方法を決定する。ここで、画像生成方法を決定する方法について、図４および図５を用いて説明する。

【0032】

図４は、生成方法決定部２０８にて実施される処理を説明するための模式図である。図４はスタジアムに複数のカメラを設置した状態を示す図である。スタジアムおよびカメラの位置は、実際には三次元空間として示されるものであるが、説明を簡単とするため図４では二次元平面に図を簡略化して説明を行う。

【0033】

図４の４０１ａ〜４０１ｆ、４１１ａ〜４１１ｈ、４２１ａ〜４２１ｆはスタジアムに設置されたカメラである。これらカメラはセンサシステム１１０に該当する。スタジアム等へ複数のカメラを設置する際、カメラをグループに分け、一つのグループが同じ箇所を撮影するように配置する。図４では、カメラ４０１ａ〜４０１ｆが一つのグループ（カメラ群）を構成し、共通の注視点４０３をそれぞれのカメラが向くよう姿勢が調整されていることを示している。同様に、カメラ４１１ａ〜４１１ｈが一つのグループを構成し、注視点４１３を向くように姿勢が調整されている。また、カメラ４２１ａ〜４２１ｆが一つのグループを構成し、注視点４２３を向くように姿勢が調整されている。

【0034】

また、４０２は仮想カメラであり、仮想視点を示す。仮想カメラ４０２で示される仮想視点に基づき、仮想視点画像が生成される。仮想カメラ４０２の注視点４３３に最も近い注視点は注視点４０３であるので、注視点４０３に関わるカメラ群（カメラ４０１ａ〜４０１ｆ）からの撮影画像が仮想視点画像の生成に用いられる。図４の４０４は、仮想カメラ４０２とカメラ４０１の向き（視線方向と称する）の差分となる角度（θ）である。以降この角度θを判定条件として画像生成手法を決定する処理について説明する。

【0035】

画像生成方法として前述のとおり、モデルベースレンダリングとイメージベースレンダリングがある。モデルベースレンダリングは、カメラ画像から三次元モデルを生成し、生成したモデルを画像化して表示する。一方、イメージベースレンダリングは、カメラで撮影された画像を射影変換し、仮想視点の位置及び姿勢に近似して画像を生成する。図４の場合、注視点４０３に関わるカメラ群（カメラ４０１ａ〜４０１ｆ）のうち仮想カメラ４０２に最も近いカメラはカメラ４０１aである。生成方法決定部２０８は、カメラ４０１ａの視線方向と仮想カメラ４０２の視線方向との角度θの大きさに基づいて仮想視点画像の生成に用いる画像生成方法を決定する。ここで、視線方向は３次元で表されるので、角度θは、所定の２次元面（たとえば、スタジアムのフィールド面）に視線方向を投影した場合のそれら２つの方向がなす角度とする。本実施形態では、角度θが所定値と等しいかそれより大きい場合は、射影変換の誤差が大きくなると考えられるため、生成方法決定部２０８はモデルベースレンダリングを使用するように決定する。また、角度θが所定値より小さい場合は、射影変換の誤差が小さくなり、イメージベースレンダリングを行うに適した条件となる。したがって、角度θが所定値より小さい場合、生成方法決定部２０８は、イメージベースレンダリングを使用するように決定する。

【0036】

上記図４の角度θを条件パラメータとして、画像生成方法を決定するためのテーブルを図５に示す。図５では例として、角度θが１０°以内であればイメージベースレンダリングを、それ以外であればモデルベースレンダリングを選択するテーブルを示している。ステップＳ３０３では、生成方法決定部２０８が、仮想視点毎に角度θを算出し、角度θと閾値との比較により、仮想視点画像を生成するのに用いる画像生成方法を決定する。

【0037】

ステップＳ３０４において、画像生成部２０５は、ステップＳ３０３で決定された画像生成方法を利用して、カメラ群から得られた撮影画像に基づいて仮想視点画像を生成する。ステップＳ３０５にて、仮想視点画像の生成が終了したか否かが判定される。仮想視点画像の生成が終了していない場合はステップＳ３０２からの処理を繰り返すことで、仮想視点画像の生成が継続される。仮想視点画像の生成の終了は、たとえば仮想カメラ操作ＵＩ１２５から指示される。

【0038】

以上説明したように第１実施形態によれば、カメラの設置に関わる情報および仮想視点情報を基に、より高画質に仮想視点画像を生成することが可能な画像生成方法が選択される。したがって、高画質な仮想視点画像を安定して生成することが可能となる。

【0039】

＜第２実施形態＞
第１実施形態では、仮想カメラと実際のカメラの視線方向の角度に基づいて使用すべき画像生成方法を選択したが、画像生成方法の選択条件はこれに限られるものではない。第２実施形態では、カメラ群の注視点近傍領域と仮想視点との関係を用いて画像生成方法を決定する例について説明する。第２実施形態におけるシステムの構成、機能ブロック及び処理フローは第１実施形態（図１、図２、図３）と同様である。また、画像コンピューティングサーバ１２２のハードウエア構成は図１６で説明したとおりである。

【0040】

図６はスタジアム上に配置されたカメラ及び仮想視点の位置を示す模式図である。図６の６０１ａ〜６０１ｄはスタジアムに設置されたカメラである。カメラ６０１ａ〜６０１ｄはセンサシステム１１０に該当する。カメラ６０１ａ〜６０１ｄは一つのグループ（カメラ群）を形成し、注視点６０３を向くように調整されている。図６の６０２ａと６０２ｂは、それぞれ仮想視点を示す仮想カメラである。図６では二つの異なる仮想視点の仮想カメラ６０２ａ、６０２ｂを示している。

【0041】

６０４ａ〜６０４ｄは、カメラ６０１ａ〜６０１ｄそれぞれの撮影範囲となるビューボリュームを示している。カメラ６０１ａ〜６０１ｄのビューボリューム６０４ａ〜６０４ｄ全てが重なる領域を、図６の６０５に示す。本実施形態では、このような領域を注視点領域と呼ぶ。注視点領域６０５は、グループに属する全てのカメラ６０１ａ〜６０１ｄによって撮影される領域となる。注視点領域６０５内に存在する被写体は、多くのカメラによって撮影されている状態となるため、他の領域と比較して三次元モデルを高精度に作成することが可能となる。そこで、生成方法決定部２０８は、注視点領域６０５が仮想視点画像に含まれる割合に基づいて、使用する画像生成方法を決定する。

【0042】

図６に示す仮想カメラ６０２ａのビューボリューム内には、注視点領域６０５の領域が多く含まれる。よって、仮想カメラ６０２aの仮想視点画像を生成する際には、モデルベースレンダリングが適切である。一方、仮想カメラ６０２ｂの場合は、ビューボリュームに注視点領域６０５が含まれないため、モデルベースレンダリングによる高画質化が期待できず、仮想視点画像の生成にはイメージベースレンダリングが適している。したがって、仮想視点画像に含まれる注視点領域の割合が所定値より大きい場合にモデルベースレンダリングを使用し、所定値と等しいかそれより小さい場合にイメージベースレンダリングを使用するように決定される。このように生成する仮想視点画像内に含まれる注視点領域の割合に基づいて画像生成手法を切り替えることで、高画質に仮想視点画像を生成可能な画像生成方法を選択することができる。

【0043】

仮想カメラのビューボリュームに含まれる、注視点領域６０５の含まれる割合を条件パラメータとして、画像生成手法を決定するためのテーブルを図７に示す。図７では例として、注視点領域６０５の画像内のカバー率が８０％以上であれば、当該画像の生成にモデルベースレンダリングを、それ以外であればイメージベースレンダリングを選択するテーブルを示している。第１実施形態にて説明した、図３のステップS３０３では、予め求められた図６の注視点領域６０５及び仮想視点の位置と姿勢より、注視点領域６０５のカバー率を求め、カバー率に応じて画像生成手法を決定する。

【0044】

以上説明したように第２実施形態によれば、第１実施形態と同様にカメラの設置に関わる情報及び仮想視点情報を基に、より高画質に仮想視点画像を生成可能な画像生成方法を選択することができる。したがって、高画質な仮想視点画像を安定して生成することが可能となる。

【0045】

＜第３実施形態＞
第３実施形態では、仮想カメラ操作ＵＩ１２５より指定される仮想視点の履歴情報も利用して画像生成方法を決定する。第３実施形態による画像処理システム１００の構成は第１実施形態（図１）と同様である。図８に、第３実施形態に関わる画像コンピューティングサーバ１２２の機能ブロック図を示す。図８の機能ブロックにおいて、第１実施形態（図２）と同様の機能ブロックについては、同じ番号を付与してある。また、画像コンピューティングサーバ１２２のハードウエア構成は図１６で説明したとおりである。

【0046】

図８において、データ蓄積制御部２０３は、撮影画像をストレージ２０４に蓄積することに加えて、視点情報取得部２０９にて取得された仮想視点情報を時間と対応付けて、履歴情報として蓄積する。履歴情報取得部８０１は、仮想視点情報の時間軸方向の変化を示す履歴情報をストレージ２０４から読み出し、生成方法決定部２０８へ送信する。

【0047】

第３実施形態による仮想視点画像の生成処理について、図９のフローチャートを参照して説明する。図９は、第３実施形態による仮想視点画像の生成処理を説明するフローチャートである。なお、図９のステップＳ９０１、Ｓ９０２の処理は、第１実施形態のステップＳ３０１、Ｓ３０２の処理と同様である。

【0048】

ステップＳ９０３において、履歴情報取得部８０１は、仮想視点の履歴情報を取得する。ステップＳ９０４において、生成方法決定部２０８は、仮想視点画像を生成するための画像生成方法を決定する。画像生成方法は、ステップＳ９０１で取得したカメラの設置に関わる情報、ステップＳ９０２で取得した仮想視点情報、ステップＳ９０３で取得した仮想視点の履歴情報に基づいて決定される。以下、ステップＳ９０４で実施される処理について説明を加える。

【0049】

仮想視点の移動は三次元空間上の至る箇所を通る可能性がある。その際、それまでの仮想視点の動きを示す履歴を使用して、以降の視点位置をある程度推定することが可能となる。たとえば、生成方法決定部２０８は、現時点の仮想視点の位置および向きと、過去の時刻における仮想視点の位置および向きの差分に基づき、次時刻の仮想視点の位置と向きを推定する。そして、該推定した動きが被写体に対して円弧を描くようなものであった場合、モデルを生成した上で映像生成を行った方がより高画質に表現できる可能性がある。したがって、たとえば、生成方法決定部２０８は、第２実施形態のような画像生成方法の決定と併用して、仮想視点画像における注視領域の割合が小さくても、履歴情報が仮想視点の円弧状の移動を示す場合には、モデルベースレンダリングを選択する。たとえば、仮想視点画像における注視領域の割合が５０％以上８０％以下であって、履歴情報が仮想視点の円弧状の移動を示す場合にはモデルベースレンダリングを選択する。このように、推定した仮想視点の動きに基づき、画像生成手法を選択することで、そのシーンに対してより好適な画像生成手法を選択することが可能となる。

【0050】

ステップＳ９０５にて、画像生成部２０５は、ステップＳ９０４で決定された画像生成方法を用いて、カメラ群から得られた撮影画像に基づいて仮想視点画像を生成する。ステップＳ９０６にて、仮想視点画像の生成が終了したか否かを判定し、終了していない場合はステップＳ９０２からの処理を繰り返す。ステップＳ９０６はステップＳ３０５と同様である。

【0051】

以上のように、第３実施形態によれば、カメラの設置に関わる情報、仮想視点情報、仮想視点の履歴情報を基に、仮想視点画像の生成に適切な画像生成手法が選択される。そのため、シーンに応じた、高画質な仮想視点画像を安定して生成することが可能となる。なお、上記実施形態では、第１実施形態または第２実施形態による画像生成方法の決定方法を併用する例を示したが、第１実施形態または第２実施形態の決定方法を併用しなくてもよい。たとえば、履歴情報のみに基づいて使用する画像生成方法が決定されてもよい。

【0052】

＜第４実施形態＞
第４実施形態では、仮想カメラ操作ＵＩ１２５より指定される仮想視点に対応する仮想視点画像に含まれるオブジェクトの種別を推定し、推定したオブジェクトの種別に基づいて画像生成方法を決定する。ここでオブジェクトの種別とは、人物または構造物などの種別や、凹凸のある複雑物体であるか否か等である。第４実施形態による画像処理システム１００の構成は第１実施形態（図１）と同様である。図１０に、第４実施形態に関わる画像コンピューティングサーバ１２２の機能ブロック図を示す。図１０の機能ブロックにおいて、第１実施形態（図２）と同様の機能ブロックについては、同じ番号を付与してある。また、画像コンピューティングサーバ１２２のハードウエア構成は図１６で説明したとおりである。

【0053】

オブジェクト種別推定部１００１は、視点情報取得部２０９にて取得された仮想視点情報を元に、仮想視点画像内のオブジェクト及びその種別を推定する。仮想視点画像に存在するオブジェクトの推定には、仮想視点画像を生成するために入力された撮影画像が用いられる。たとえば、仮想視点が注目する位置にもっとも近い注視点に対応している一つのグループ（カメラ群）のうち、仮想視点に最も近いカメラにより撮影された画像に含まれているオブジェクトを判定する。図４の例の場合、カメラ４０１ａからの撮影画像が用いられる。

【0054】

第４実施形態による仮想視点画像の生成処理について、図１１のフローチャートを参照して説明する。なお、ステップＳ１１０１、Ｓ１１０２の処理は、第１実施形態のステップＳ３０１、Ｓ３０２と同様である。

【0055】

ステップＳ１１０３で、オブジェクト種別推定部１００１は、仮想視点画像に含まれるオブジェクト及びその種別を推定する処理を行う。オブジェクトの推定は、例えば予め求められている形状とのパターンマッチング技術などによって実施され得る。ステップＳ１１０４において、生成方法決定部２０８は、仮想視点画像を生成するための画像生成方法を決定する。画像生成方法の決定は、ステップＳ１１０１にて取得したカメラの設置に関わる情報、ステップＳ１１０２にて取得した仮想視点情報、ステップＳ１１０３にて取得した仮想視点画像に含まれるオブジェクト種別に基づいてなされる。以下、ステップＳ１１０４で実施される画像生成方法の決定処理について説明を加える。

【0056】

仮想視点画像に含まれるオブジェクトは様々である。例えばスタジアムにおいては人物など複雑な形状のオブジェクトであり、コンサートなどではピアノなどの人工物体がオブジェクトとなる。オブジェクトに応じて仮想視点画像の生成に適する画像生成方法は異なる。例えば人物であれば凹凸形状を表現するためのモデルベースレンダリングが適しており、複数平面による簡単な形状であればイメージベースレンダリングを選択することでより好適な画像を生成可能となる。ステップＳ１１０４では、オブジェクト種別を利用し、画像生成手法を切り替える処理を行う。たとえば、図５（Ｂ）に示した判定条件と画像生成方法の関係を用いることができる。図５（Ａ）と比べて、５°≦θ＜１０°の場合に、オブジェクト種別の判定結果に応じてイメージベースレンダリングかモデルベースレンダリングかを選択する点が追加されている。

【0057】

ステップＳ１１０５において、画像生成部２０５ステップＳ１１０４で決定された画像生成手法を利用して、仮想視点画像が生成される。ステップＳ１１０６にて、仮想視点画像の生成が終了したか否かを判定し、終了していない場合はステップＳ１１０２からの処理を繰り返すことで、仮想視点画像の生成を継続する。Ｓ１１０５〜Ｓ１１０６の処理は第１実施形態のＳ３０４〜Ｓ３０５の処理と同様である。

【0058】

以上説明したように第４実施形態によれば、カメラの設置に関わる情報、仮想視点情報、仮想視点に含まれるオブジェクト種別に基づいて、適切な画像生成手法が選択される。選択された画像生成手法を使用することで、オブジェクト毎に好適な、高画質な仮想視点画像を生成することが可能となる。

【0059】

＜第５実施形態＞
第５実施形態では、複数の画像生成方法を用いて複数の仮想視点画像を生成し、それぞれを評価して最も画質の良い画像を出力する。第５実施形態による画像処理システム１００の構成は第１実施形態（図１）と同様である。図１２に、第５実施形態による画像コンピューティングサーバ１２２の機能ブロックを示す。図１２の機能ブロックにおいて、第１実施形態（図２）の機能ブロックと同様の機能ブロックについては、同じ番号を付与してある。また、画像コンピューティングサーバ１２２のハードウエア構成は図１６で説明したとおりである。

【0060】

図１２において、画像評価部１２０１は、画像生成部２０５にて生成された複数の仮想視点画像を評価し、評価に基づき最も好適な画像を映像出力部２０６へ送信する。

【0061】

第５実施形態による仮想視点画像の生成処理について、図１３のフローチャートを参照して説明する。なお、ステップＳ１３０１、Ｓ１３０２の処理は、第１実施形態（図３）におけるステップＳ３０１、Ｓ３０２と同様の処理である。

【0062】

ステップＳ１３０３において、生成方法決定部２０８は、ステップS１３０１にて取得したカメラの設置に関わる情報と仮想視点情報に基づいて、仮想視点画像を生成するための複数の画像生成方法を決定する。すなわち、生成方法決定部２０８は、一つの仮想視点について、様々な画像生成方法の中から、今回のカメラの設置に関する情報と仮想視点情報に基づいて適切な画像生成方法の複数の候補を選択する。ステップＳ１３０４において、画像生成部２０５は、ステップS１３０３で選択された複数の画像生成方法を使用して複数の仮想視点画像を生成する。

【0063】

ステップＳ１３０５にて、画像評価部１２０１は、ステップＳ１３０４にて生成された複数の仮想視点画像を評価し、出力する画像を決定する。画像の評価方法としては、例えば、上記一つの仮想視点が注目する位置にもっとも近い注視点に対応している一つのグループ（カメラ群）のうち、当該一つの仮想視点の最も近くに位置する実カメラの画像を正解画像とする。そして、複数の仮想視点画像のそれぞれと正解画像との差分によって各仮想視点画像を評価する方法があげられる。画像評価部１２０１は、生成された複数の仮想視点画像のうち、正解画像との差分が最も小さい仮想視点画像を、最も画質の良い画像と判定する。ステップＳ１３０６において、画像評価部１２０１は、ステップＳ１３０５で決定した仮想視点画像を、映像出力部２０６を介して出力する。

【0064】

ステップS１３０７にて、仮想視点画像の生成が終了したか否かを判定し、終了していない場合はステップS１１０２からの処理を繰り返すことで、仮想視点画像の生成を継続する。ステップＳ１３０７の処理は、第１実施形態（図３）のステップＳ３０５と同様である。

【0065】

以上説明したように、第５実施形態によれば、複数種類の画像生成方法により複数の仮想視点画像を生成し、これらを評価して出力する仮想視点画像を決定する。そのため、より確実に高画質な画像を出力することが可能となる。

【0066】

なお、第５実施形態では、カメラの設置に関する情報と仮想視点情報に基づいて使用する複数の画像生成方法を決定したが、これに限られるものではない。たとえば、イメージベースレンダリングとモデルベースレンダリングの２種類の画像生成方法が用意された構成において、画像生成部２０５はこれら２種類の画像生成方法で仮想視点画像を生成し、画像評価部１２０１に送るようにしてもよい。この場合、生成方法決定部２０８は省略可能である。

【0067】

＜第６実施形態＞
第６実施形態では、仮想視点画像を生成するための画像生成方法を切り替えるか否かを直前の切り替えからの経過時間に基づいて判定することにより、適切なタイミングで画像生成方法を切り替える。図１４に、第６実施形態の画像コンピューティングサーバ１２２の機能ブロックを示す。図１４の機能ブロックにおいて、第１実施形態（図２）の機能ブロック図と同様の機能ブロックには、同じ番号を付与してある。また、画像コンピューティングサーバ１２２のハードウエア構成は図１６で説明したとおりである。

【0068】

図１４において、切替制御部１４０１は、生成方法決定部２０８にて決定された仮想視点画像の画像生成方法について、実際に適用するタイミングを決定する。

【0069】

第６実施形態による仮想視点画像の生成処理について、図１５のフローチャートを参照して説明する。第６実施形態では、画像生成方法の切り替えのタイミングを制御するパラメータとして、前回切り替えが実施された時刻を利用する。なお、ステップＳ１５０１〜Ｓ１５０３の処理は、第１実施形態（図３）のステップＳ３０１〜Ｓ３０３と同様の処理である。

【0070】

ステップＳ１５０４にて、生成方法決定部２０８が決定した画像生成方法が、画像生成部２０５で現在用いられている画像生成方法から変化したか否かを判定する。変化したと判定された場合、ステップＳ１５０５において、切替制御部１４０１は、前回に画像生成方法が変更された時刻からの差分（経過時間）を求め、これを閾値Ｔと比較する。差分が閾値Ｔ以上である場合は、ステップＳ１５０６にて、仮想視点画像の生成に用いる画像生成方法をＳ１５０３で決定された画像生成方法に更新する。差分が閾値Ｔ未満の場合は、ステップＳ１５０６がスキップされ、画像生成方法は更新されない。こうして、画像生成方法が前回に変更されてから所定時間が経過するまでは、画像生成方法は変更されない。

【0071】

以上のようにして、画像生成方法の設定を終えると、ステップＳ１５０７にて、画像生成部２０５は、設定されている画像生成方法を用いて仮想視点画像を生成する。ステップＳ１５０８にて、仮想視点画像の生成が終了したか否かを判定し、終了していない場合はステップＳ１５０２からの処理を繰り返すことで、仮想視点画像の生成を継続する。ステップＳ１５０８はステップＳ３０５と同様である。

【0072】

以上説明したように第６実施形態によれば、適切なタイミングで画像生成方法を切り替えることができる。これにより例えば、頻繁に画像生成方法が切り替わってしまうこと等を防ぐことが可能となり、より高画質で見やすい仮想視点画像を生成することができる。

【0073】

＜第７実施形態＞
第７実施形態では、仮想カメラと、仮想カメラに含まれる三次元モデルの情報に基づき、使用すべき画像生成方法を選択する例について説明する。また、第７実施形態においては、複数のモデルベースレンダリングの中から使用すべき画像生成方法を選択する例について説明する。より具体的には、仮想カメラから三次元モデルまでの距離に応じて、使用する三次元モデルの精密度を変化させるよう、レンダリング処理（モデルベースレンダリング）を切り替える。第７実施形態におけるシステムの構成及び機能ブロックは第１実施形態（図１、図２）と同様である。また、画像コンピューティングサーバ１２２のハードウエア構成は図１６で説明したとおりである。また、第７実施形態では、前提として、三次元モデルの形状は複数の点によって表わされており、三次元モデルを構成する点の間隔（ボクセルサイズ）は５ｍｍであるとする。

【0074】

図１７のフローチャートを参照して本実施形態の画像生成方法の選択について説明する。図１７は、仮想視点画像を１フレーム生成する際の三次元モデルの処理について説明するフローチャートである。

【0075】

ステップＳ１７０１にて、視点情報取得部２０９は生成する画像の仮想視点を取得する。次にステップＳ１７０２にて、生成方法決定部２０８は、仮想視点内に含まれるオブジェクト数である、三次元モデルの数を求める。ステップＳ１７０３〜Ｓ１７０７は、三次元モデル毎に行われる処理であり、仮想視点に含まれる三次元モデルすべてについて繰り返し実施される。

【0076】

ステップＳ１７０３において、生成方法決定部２０８は、生成方法を判定する対象の三次元モデルを特定する。ステップＳ１７０４にて、生成方法決定部２０８は、仮想視点からステップＳ１７０３で特定した三次元モデルまでの距離を算出する。具体的には、例えば、仮想視点の中心座標から三次元モデルの代表点（例えば重心）までの距離が取得される。ただし距離の定義は上記例に限らない。ステップＳ１７０５において、生成方法決定部２０８は、ステップＳ１７００４で算出された距離とあらかじめ決められた一定の値との比較を行う。算出された距離があらかじめ決められた一定の値以上であれば処理はステップＳ１７０６へ遷移し、算出された距離があらかじめ決められた一定の値未満であれば処理はステップＳ１７０７へ遷移する。

【0077】

ステップＳ１７０６及びステップＳ１７０７では、仮想視点画像のレンダリングにて使用する三次元モデルの点間隔（ボクセルサイズ）をそれぞれ設定する。仮想視点から三次元モデルまでの距離があらかじめ決められた一定値以上の場合は、レンダリングで使用する三次元モデルの点間隔を１０ｍｍと広く設定する。他方、仮想視点から三次元モデルまでの距離があらかじめ決められた一定値未満の場合はレンダリングで使用する三次元モデルの点間隔を５ｍｍと狭く設定する。

【0078】

ステップＳ１７０８にて、生成方法決定部２０８は、仮想視点に含まれるすべての三次元モデルについて処理が行われたかを判定する。未処理の三次元モデルがある場合は、処理はステップＳ１７０３へ戻り、未処理の三次元モデルについて上述の処理が繰り返される。他方、仮想視点に含まれるすべての三次元モデルについて処理済みであると判断された場合は、本処理を終了する。その後、生成方法決定部２０８は、各三次元モデルについて決定した三次元モデルの点間隔を画像生成部２０５に伝える。画像生成部２０５は、指定された点間隔の三次元モデルを用いてモデルベースレンダリングを実行し、オブジェクトをレンダリングする。

【0079】

図１８を用いて、図１７のフローチャートで実施する処理について補足説明を加える。図１８の１８０１に、点で構成された三次元モデルの断面図を示す。図１８（Ａ）の１８０１は四角柱の断面図を示しており、点の間隔は５ｍｍで表現されている。図１８（Ｂ）は、仮想視点からの距離が近い場合を示している。これは、図１７のフローチャートのステップＳ１７０５にて、距離が一定値未満であると判定された場合（Ｓ１７０５でＹＥＳ）に相当する。距離が近い場合は、仮想視点面に投影される三次元モデルが大きくなるため、使用する点の精密度を上げる必要がある。したがって、三次元モデルの点の間隔は５ｍｍに設定される。

【0080】

図１８（Ｃ）は、仮想視点からの距離が遠い場合を示している。これは、図１７のステップＳ１７０５にて、距離が一定値以上であると判定された場合（Ｓ１７０５でＮＯ）に相当する。距離が遠い場合、仮想視点面に投影される三次元モデルが小さくなるため、使用する点の精密度を下げた場合であっても、実際に生成される画像の画質に対する影響が小さい。このように、仮想視点と三次元モデルとの間の距離に応じて処理を行う点の数を増減することで、画質に与える影響を抑えつつ処理量を低減することが可能である。したがって、安定して仮想視点画像を生成することが可能となる。

【0081】

以上説明したように第７実施形態によれば、仮想カメラに含まれる三次元モデルまでの距離に応じて、使用する三次元モデルの精密度（点間隔）を変化させるので、画質を維持しつつ安定した仮想視点画像を生成することが可能となる。

【0082】

なお第７の実施形態では、複数のモデルベースレンダリングの方式から画像生成に使用するレンダリング方式を切り替える方法について説明を行ったが、これに限らない。例えば、複数のイメージベースレンダリング方式から画像生成に使用するレンダリング方式を切り替える方法も考えられる。具体的には、イメージベースレンダリング方式において使用されるカメラ画像の数を切り替えてもよい。例えば、あるカメラの撮影方向と仮想視点の視線方向との角度差が小さい場合には、そのカメラによるカメラ画像のみを使用してレンダリングを行ってもよい。一方、仮想視点の視線方向が隣接する二つのカメラの撮影方向の中心付近である場合は、これら二つのカメラのカメラ画像を合成した画像を使用してレンダリングを行ってもよい。すなわち、仮想視点とカメラ配置の関係に応じて、レンダリングに用いるカメラ画像の数が増減されてもよい。また例えば、仮想視点からオブジェクトまでの距離に応じてレンダリングに用いるカメラ画像の数が増減されてもよい。具体的には、仮想視点からオブジェクトまでの距離が小さい場合には、高画質な仮想視点画像を生成するために、仮想視点の近傍に位置する複数のカメラのカメラ画像を合成した画像を使用してレンダリングを行ってもよい。一方、仮想視点からオブジェクトまでの距離が大きい場合には、処理の簡略化のために、単一のカメラによるカメラ画像を射影変換した画像を使用してレンダリングを行ってもよい。

【0083】

また、第１実施形態〜第６実施形態で説明した方法でモデルベースレンダリングを使用することが決定された場合に、第７実施形態で説明した方法でさらに画像生成に用いる三次元モデルの点を選択するようにしてもよい。同様に、第１実施形態〜第６実施形態で説明した方法でイメージベースレンダリングを使用することが決定された場合に、第７実施形態で説明した方法でさらに画像生成に用いるカメラ画像の数を調整するようにしてもよい。

【0084】

＜第８実施形態＞
第８実施形態では、複数の画像生成方法からユーザが任意の画像生成方法を選択する例について説明する。仮想視点画像の生成方法は、方式によってそれぞれ特徴がある。例えば、モデルベースレンダリングは三次元モデルを用いたレンダリングであるため、滑らかな画像を生成可能であるが、生成する三次元モデルの精密さによっては仮想視点画像の解像感が失われる。一方、イメージベースレンダリングでは滑らかさは無いが、画像をそのまま変換して使用するため、仮想視点画像の先鋭感が増加する傾向にある。このように画像生成方法の違いによって生成される仮想視点画像の特徴がそれぞれ異なる。第８実施形態では、ユーザが、仮想視点画像の画像生成方法をユーザの好みによって決定できるようにした構成を説明する。

【0085】

第８実施形態におけるシステムの構成及び機能ブロックは第１実施形態（図１、図２）と同様である。また、画像コンピューティングサーバ１２２のハードウエア構成は図１６で説明したとおりである。

【0086】

図１９のフローチャートを用いて、第８実施形態の処理について説明する。図１９は、仮想視点画像の生成方法を選択する際の処理について説明するフローチャートである。

【0087】

ステップＳ１９０１にて、仮想カメラ操作ＵＩ１２５は、画像コンピューティングサーバ１２２にて実行可能な仮想視点画像の生成方式の情報を取得する。例えば、仮想カメラ操作ＵＩ１２５においてユーザが画像生成方式のマニュアル選択を指示すると、仮想カメラ操作ＵＩ１２５から画像コンピューティングサーバ１２２に対して画像生成方式の取得指示が発行される。画像コンピューティングサーバ１２２は、この取得指示に応じて、生成方法決定部２０８で選択が可能な画像生成方法を仮想カメラ操作ＵＩ１２５に通知する。なお、Ｓ１９０１において取得される画像生成方法には、複数のモデルベースレンダリングの方法と、複数のイメージベースレンダリングの方法とが含まれ得る。

【0088】

ステップＳ１９０２において、仮想カメラ操作ＵＩ１２５はステップＳ１９０１で取得した画像生成方式をリスト表示する。ステップＳ１９０２にて表示されたリストから、仮想カメラ操作ＵＩ１２５を操作する操作者が、所望の画像生成方式を選択すると、ステップＳ１９０３にて、仮想カメラ操作ＵＩ１２５は選択された画像生成方式を画像コンピューティングサーバ１２２へ通知する。生成方法決定部２０８は、画像生成部２０５が使用する画像生成方法を通知された画像生成方法に設定する。

【0089】

以上説明したように第８実施形態によれば、ユーザ自身が仮想視点画像を生成する方式を選択可能となる。本実施形態により、ユーザの好みに応じた仮想視点画像の生成が可能となる。

【0090】

なお、図１９で説明した処理は任意のタイミングにて実施可能である。例えば、仮想視点画像を生成する際の初期処理にて実施する場合や、仮想視点画像を生成している途中に設定を変更することも可能である。
また、第８実施形態の説明では、画像生成方法の選択肢がリスト形式で表示するとしたが、これに限らない。
また、上述の第１〜第８実施形態の構成を適宜組み合わせても良いことは言うまでもない。

【0091】

本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。

【符号の説明】

【0092】

１１０：センサシステム、１１２：カメラ、１２２：画像コンピューティングサーバ、２０１：画像入力部、２０２：設置情報入力部、２０３：データ蓄積制御部、２０４：ストレージ、２０５：画像生成部、２０６：映像出力部、２０７：カメラ情報取得部、２０８：生成方法決定部、２０９：視点情報取得部

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】

【図15】

【図16】

【図17】

【図18】

【図19】