特許 7439146 画像処理システム、画像処理方法及びプログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2024-02-16

(45)【発行日】2024-02-27

(54)【発明の名称】画像処理システム、画像処理方法及びプログラム

(51)【国際特許分類】

   G06T 19/00 20110101AFI20240219BHJP

   G06T 15/20 20110101ALI20240219BHJP

   H04N 13/117 20180101ALI20240219BHJP

【ＦＩ】

G06T19/00 A

G06T15/20 500

H04N13/117

【請求項の数】 19

(21)【出願番号】P 2022010541

(22)【出願日】2022-01-26

(62)【分割の表示】P 2020036313の分割

【原出願日】2016-10-28

(65)【公開番号】P2022058770

(43)【公開日】2022-04-12

【審査請求日】2022-02-25

(73)【特許権者】

【識別番号】000001007

【氏名又は名称】キヤノン株式会社

(74)【代理人】

【識別番号】100126240

【弁理士】

【氏名又は名称】阿部 琢磨

(74)【代理人】

【識別番号】100223941

【弁理士】

【氏名又は名称】高橋 佳子

(74)【代理人】

【識別番号】100159695

【弁理士】

【氏名又は名称】中辻 七朗

(74)【代理人】

【識別番号】100172476

【弁理士】

【氏名又は名称】冨田 一史

(74)【代理人】

【識別番号】100126974

【弁理士】

【氏名又は名称】大朋 靖尚

(72)【発明者】

【氏名】▲高▼間 康文

【審査官】中田 剛史

(56)【参考文献】

【文献】特開２００９－１６８５３６（ＪＰ，Ａ）

【文献】特開２０１２－２３０５９４（ＪＰ，Ａ）

【文献】特開平１１－２１９２４１（ＪＰ，Ａ）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ０６Ｔ １９／００

Ｇ０６Ｔ １５／２０

Ｈ０４Ｎ １３／１１７

(57)【特許請求の範囲】

【請求項1】

複数の撮影装置によるそれぞれ異なる位置からの撮影に基づく複数の画像を取得する画像取得手段と、
仮想視点を示す仮想視点情報を取得する情報取得手段と、
前記複数の画像に基づいて、オブジェクトの３次元形状を示す３次元モデルを生成するモデル生成手段と、
前記３次元モデルに基づいて仮想視点画像を生成する画像生成手段と、を有し、
前記情報取得手段は、前記オブジェクトの第１の３次元モデルに基づいて生成される第１の仮想視点画像を用いて指定される仮想視点を示す仮想視点情報を取得し、
前記画像生成手段は、前記オブジェクトの第２の３次元モデルと、前記仮想視点情報とに基づいて、第２の仮想視点画像を生成し、
前記第２の３次元モデルの生成に用いられる複数の画像に対応する撮影装置の数は、前記第１の３次元モデルの生成に用いられる複数の画像に対応する撮影装置の数よりも多いことを特徴とする画像処理システム。

【請求項2】

複数の撮影装置によるそれぞれ異なる位置からの撮影に基づく複数の画像を取得する画像取得手段と、
仮想視点を示す仮想視点情報を取得する情報取得手段と、
前記複数の画像に基づいて、オブジェクトの３次元形状を示す３次元モデルを生成するモデル生成手段と、
前記３次元モデルに基づいて仮想視点画像を生成する画像生成手段と、を有し、
前記情報取得手段は、前記オブジェクトの第１の３次元モデルに基づいて生成される第１の仮想視点画像を用いて指定される仮想視点を示す仮想視点情報を取得し、
前記画像生成手段は、前記オブジェクトの第２の３次元モデルと、前記仮想視点情報とに基づいて、第２の仮想視点画像を生成し、
前記第２の３次元モデルの生成に用いられる複数の画像に対応する複数の撮影装置は、前記第１の３次元モデルの生成に用いられる複数の画像に対応する複数の撮影装置とは異なる撮影装置を含むことを特徴とする画像処理システム。

【請求項3】

前記第２の仮想視点画像は、平滑化処理がかけられていることを特徴とする請求項１または２に記載の画像処理システム。

【請求項4】

前記第２の３次元モデルは、前記第１の３次元モデルに基づいて生成されることを特徴とする請求項１乃至３の何れか１項に記載の画像処理システム。

【請求項5】

前記第２の３次元モデルは、前記第１の３次元モデルよりも高精度であることを特徴とする請求項１乃至４の何れか１項に記載の画像処理システム。

【請求項6】

前記第２の仮想視点画像に含まれる色の階調数は、前記第１の仮想視点画像に含まれる色の階調数よりも多いことを特徴とする請求項１乃至５の何れか１項に記載の画像処理システム。

【請求項7】

前記第１の仮想視点画像のおける前記オブジェクトの領域は、所定の色で表示されることを特徴とする請求項１乃至６の何れか１項に記載の画像処理システム。

【請求項8】

前記第２の仮想視点画像の色は、前記複数の撮影装置により取得される撮影画像に基づいて決定されることを特徴とする請求項１乃至７の何れか１項に記載の画像処理システム。

【請求項9】

前記第１の仮想視点画像は、前記オブジェクトの形状を表す画像であり、
前記第２の仮想視点画像は、前記オブジェクトの形状に加えて更に前記第１の仮想視点画像には表れない前記オブジェクトの色を表す画像であることを特徴とする請求項１乃至８の何れか１項に記載の画像処理システム。

【請求項10】

前記第１の仮想視点画像は、仮想視点を指定する操作者に表示させるための画像であり、
前記第２の仮想視点画像は、観覧者に対して表示させるための画像であることを特徴とする請求項１乃至９の何れか１項に記載の画像処理システム。

【請求項11】

前記第１の仮想視点画像が第１の表示領域に表示され、前記第２の仮想視点画像が前記第１の表示領域とは別の第２の表示領域に表示されるように、前記第１の仮想視点画像及び前記第２の仮想視点画像の出力を制御する出力制御手段を更に有することを特徴とする請求項１乃至１０の何れか１項に記載の画像処理システム。

【請求項12】

前記画像生成手段は、前記第１の仮想視点画像を生成する過程において生成される画像データと前記第１の仮想視点画像との少なくとも何れかを用いて更に画像処理を行うことにより、前記第２の仮想視点画像を生成することを特徴とする請求項１乃至１１の何れか１項に記載の画像処理システム。

【請求項13】

前記複数の画像から前記第２の仮想視点画像を生成するために実行される画像処理の処理量は、前記複数の画像から前記第１の仮想視点画像を生成するために実行される画像処理の処理量よりも多いことを特徴とする請求項１乃至１２の何れか１項に記載の画像処理システム。

【請求項14】

複数の撮影装置によるそれぞれ異なる位置からの撮影に基づく複数の画像を取得する画像取得工程と、
前記複数の画像に基づいて、オブジェクトの３次元形状を示す第１の３次元モデルを生成する第１のモデル生成工程と、
前記第１の３次元モデルに基づいて生成される第１の仮想視点画像を用いて指定される仮想視点を示す仮想視点情報を取得する情報取得工程と、
前記オブジェクトの３次元形状を示す第２の３次元モデルを生成する第２のモデル生成工程と、
前記第２の３次元モデルと前記仮想視点情報とに基づいて、第２の仮想視点画像を生成する画像生成工程と、を有し、
前記第２の３次元モデルの生成に用いられる複数の画像に対応する撮影装置の数は、前記第１の３次元モデルの生成に用いられる複数の画像に対応する撮影装置の数よりも多いことを特徴とする画像処理方法。

【請求項15】

複数の撮影装置によるそれぞれ異なる位置からの撮影に基づく複数の画像を取得する画像取得工程と、
前記複数の画像に基づいて、オブジェクトの３次元形状を示す第１の３次元モデルを生成する第１のモデル生成工程と、
前記第１の３次元モデルに基づいて生成される第１の仮想視点画像を用いて指定される仮想視点を示す仮想視点情報を取得する情報取得工程と、
前記オブジェクトの３次元形状を示す第２の３次元モデルを生成する第２のモデル生成工程と、
前記第２の３次元モデルと前記仮想視点情報とに基づいて、第２の仮想視点画像を生成する画像生成工程と、を有し、
前記第２の３次元モデルの生成に用いられる複数の画像に対応する複数の撮影装置は、前記第１の３次元モデルの生成に用いられる複数の画像に対応する複数の撮影装置とは異なる撮影装置を含むことを特徴とする画像処理方法。

【請求項16】

前記第２の仮想視点画像は、平滑化処理がかけられていることを特徴とする請求項１４または１５に記載の画像処理方法。

【請求項17】

前記第２の３次元モデルは、前記第１の３次元モデルに基づいて生成されることを特徴とする請求項１４乃至１６の何れか１項に記載の画像処理方法。

【請求項18】

前記第２の仮想視点画像に含まれる色の階調数は、前記第１の仮想視点画像に含まれる色の階調数よりも多いことを特徴とする請求項１４乃至１７の何れか１項に記載の画像処理方法。

【請求項19】

コンピュータを、請求項１乃至１３の何れか１項に記載の画像処理システムの各手段として機能させるためのプログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、仮想視点画像を生成する技術に関するものである。

【背景技術】

【0002】

昨今、複数のカメラを異なる位置に設置して多視点から被写体を撮影し、当該撮影により得られた複数視点画像を用いて仮想視点画像や３次元モデルを生成する技術が注目されている。上記のようにして複数視点画像から仮想視点画像を生成する技術によれば、例えば、サッカーやバスケットボールのハイライトシーンを様々な角度から視聴することが出来るため、通常の画像と比較してユーザに高臨場感を与えることが出来る。

【0003】

特許文献１では、複数の視点から撮影した画像を合成して仮想視点画像を生成する場合に、画像内のオブジェクトの境界領域におけるレンダリング単位を小さくすることで、仮想視点画像の画質を向上することについて記載されている。

【先行技術文献】

【特許文献】

【0004】

【文献】特開２０１３－２２３００８号公報

【発明の概要】

【発明が解決しようとする課題】

【0005】

しかしながら、従来の技術では、異なる複数の要件に応じた仮想視点画像を生成できない場合が考えられる。例えば、高画質の仮想視点画像だけを生成する場合には、生成に係る処理時間が長くなることが考えられ、画質は低くともリアルタイムで仮想視点画像を見たいユーザの要件に応えることが困難になる虞がある。一方、低画質の仮想視点画像だけを生成する場合には、リアルタイム性よりも仮想視点画像が高画質であることを優先するユーザの要件に応えることが困難になる虞がある。

【0006】

本発明は上記の課題に鑑みてなされたものであり、異なる複数の要件に応じた仮想視点画像に係る処理を行うことを目的とする。

【課題を解決するための手段】

【0007】

上記課題を解決するため、本発明に係る画像処理システムは、例えば以下の構成を有する。すなわち、複数の撮影装置によるそれぞれ異なる位置からの撮影に基づく複数の画像を取得する画像取得手段と、仮想視点を示す仮想視点情報を取得する情報取得手段と、前記複数の画像に基づいて、オブジェクトの３次元形状を示す３次元モデルを生成するモデル生成手段と、前記３次元モデルに基づいて仮想視点画像を生成する画像生成手段と、を有し、前記情報取得手段は、前記オブジェクトの第１の３次元モデルに基づいて生成される第１の仮想視点画像を用いて指定される仮想視点を示す仮想視点情報を取得し、前記画像生成手段は、前記オブジェクトの第２の３次元モデルと、前記仮想視点情報とに基づいて、第２の仮想視点画像を生成し、前記第２の３次元モデルの生成に用いられる複数の画像に対応する撮影装置の数は、前記第１の３次元モデルの生成に用いられる複数の画像に対応する撮影装置の数よりも多いことを特徴とする。

【発明の効果】

【0008】

本発明によれば、異なる複数の要件に応じた仮想視点画像に係る処理を行うことができる。

【図面の簡単な説明】

【0009】

【図1】画像処理システム１０の構成について説明するための図である。

【図2】画像処理装置１のハードウェア構成について説明するための図である。

【図3】画像処理装置１の動作の１形態について説明するためのフローチャートである。

【図4】表示装置３による表示画面の構成について説明するための図である。

【図5】画像処理装置１の動作の１形態について説明するためのフローチャートである。

【図6】画像処理装置１の動作の１形態について説明するためのフローチャートである。

【発明を実施するための形態】

【0010】

［システム構成］
以下、本発明の実施形態について図面を参照して説明する。まず図１を用いて、仮想視点画像を生成し出力する画像処理システム１０の構成について説明する。本実施形態における画像処理システム１０は、画像処理装置１、カメラ群２、表示装置３、及び表示装置４を有する。

【0011】

なお、本実施形態における仮想視点画像は、仮想的な視点から被写体を撮影した場合に得られる画像である。言い換えると、仮想視点画像は、指定された視点における見えを表す画像である。仮想的な視点（仮想視点）は、ユーザにより指定されても良いし、画像解析の結果等に基づいて自動的に指定されても良い。すなわち仮想視点画像には、ユーザが任意に指定した視点に対応する任意視点画像（自由視点画像）が含まれる。また、複数の候補からユーザが指定した視点に対応する画像や、装置が自動で指定した視点に対応する画像も、仮想視点画像に含まれる。なお、本実施形態では、仮想視点画像が動画である場合を中心に説明するが、仮想視点画像は静止画であってもよい。

【0012】

カメラ群２は、複数のカメラを含み、各カメラはそれぞれ異なる方向から被写体を撮影する。本実施形態において、カメラ群２に含まれる複数のカメラは、それぞれが画像処理装置１と接続されており、撮影画像や各カメラのパラメータ等を画像処理装置１に送信する。ただしこれに限らず、カメラ群２に含まれる複数のカメラ同士が通信可能であり、カメラ群２に含まれる何れかのカメラが複数のカメラによる撮影画像や複数のカメラのパラメータ等を画像処理装置１に送信してもよい。また、カメラ群２に含まれる何れかのカメラが、撮影画像に代えて、複数のカメラによる撮影画像の差分に基づいて生成された画像など、カメラ群２による撮影に基づく画像を送信してもよい。

【0013】

表示装置３は、仮想視点画像を生成するための仮想視点の指定を受け付け、指定に応じた情報を画像処理装置１に送信する。例えば、表示装置３はジョイスティック、ジョグダイヤル、タッチパネル、キーボード、及びマウスなどの入力部を有し、仮想視点を指定するユーザ（操作者）は入力部を操作することで仮想視点を指定する。本実施形態におけるユーザとは、表示装置３の入力部を操作して仮想視点を指定する操作者または表示装置４により表示される仮想視点画像を見る視聴者であり、操作者と視聴者を特に区別しない場合には単にユーザと記載する。本実施形態では視聴者と操作者が異なる場合を中心に説明するが、これに限らず、視聴者と操作者が同一のユーザであってもよい。なお、本実施形態において、表示装置３から画像処理装置１に送信される仮想視点の指定に応じた情報は、仮想視点の位置や向きを示す仮想視点情報である。ただしこれに限らず、仮想視点の指定に応じた情報は仮想視点画像における被写体の形状や向きなど仮想視点に応じて定まる内容を示す情報であってもよく、画像処理装置１はこのような仮想視点の指定に応じた情報に基づいて仮想視点画像を生成してもよい。

【0014】

さらに表示装置３は、カメラ群２による撮影に基づく画像と表示装置３が受け付けた仮想視点の指定とに基づいて画像処理装置１により生成され出力された仮想視点画像を表示する。これにより操作者は、表示装置３に表示された仮想視点画像を見ながら仮想視点の指定を行うことができる。なお、本実施形態では仮想視点画像を表示する表示装置３が仮想視点の指定を受け付けるものとするが、これに限らない。例えば、仮想視点の指定を受け付ける装置と、操作者に仮想視点を指定させるための仮想視点画像を表示する表示装置とが、別々の装置であってもよい。

【0015】

また表示装置３は、操作者による操作に基づいて、仮想視点画像の生成を開始させるための生成指示を画像処理装置１に対して行う。なお生成指示はこれに限らず、例えば所定の時刻に仮想視点画像の生成が開始されるように画像処理装置１に仮想視点画像の生成を予約するための指示であってもよい。また例えば、所定のイベントが発生した場合に仮想視点画像の生成が開始されるように予約するための指示であってもよい。なお、画像処理装置１に対して仮想視点画像の生成指示を行う装置が表示装置３と異なる装置であってもよいし、ユーザが画像処理装置１に対して生成指示を直接入力してもよい。

【0016】

表示装置４は、表示装置３を用いた操作者による仮想視点の指定に基づいて画像処理装置１により生成される仮想視点画像を、仮想視点を指定する操作者とは異なるユーザ（視聴者）に対して表示する。なお、画像処理システム１０は複数の表示装置４を有していてもよく、複数の表示装置４がそれぞれ異なる仮想視点画像を表示してもよい。例えば、生放送される仮想視点画像（ライブ画像）を表示する表示装置４と、収録後に放送される仮想視点画像（非ライブ画像）を表示する表示装置４とが、画像処理システム１０に含まれていてもよい。

【0017】

画像処理装置１は、カメラ情報取得部１００、仮想視点情報取得部１１０（以降、視点取得部１１０）、画像生成部１２０、及び出力部１３０を有する。カメラ情報取得部１００は、カメラ群２による撮影に基づく画像や、カメラ群２に含まれる各カメラの外部パラメータ及び内部パラメータなどを、カメラ群２から取得し、画像生成部１２０へ出力する。視点取得部１１０は、操作者による仮想視点の指定に応じた情報を表示装置３から取得し、画像生成部１２０へ出力する。また視点取得部１１０は、表示装置３による仮想視点画像の生成指示を受け付ける。画像生成部１２０は、カメラ情報取得部１００により取得された撮影に基づく画像と、視点取得部１１０により取得された指定に応じた情報と、視点取得部１１０により受け付けられた生成指示とに基づいて、仮想視点画像を生成し、出力部１３０へ出力する。出力部１３０は、画像生成部１２０により生成された仮想視点画像を、表示装置３や表示装置４などの外部の装置へ出力する。

【0018】

なお、本実施形態において画像処理装置１は、画質の異なる複数の仮想視点画像を生成し、各仮想視点画像に応じた出力先に出力する。例えば、リアルタイム（低遅延）の仮想視点画像を要望する視聴者が見ている表示装置４には、生成に係る処理時間が短い低画質の仮想視点画像を出力する。一方、高画質の仮想視点画像を要望する視聴者が見ている表示装置４には、生成に係る処理時間が長い高画質の仮想視点画像を出力する。なお、本実施形態における遅延は、カメラ群２による撮影が行われてからその撮影に基づく仮想視点画像が表示されるまでの期間に対応する。ただし遅延の定義はこれに限らず、例えば現実世界の時刻と表示画像に対応する時刻との時間差を遅延としてもよい。

【0019】

続いて、画像処理装置１のハードウェア構成について、図２を用いて説明する。画像処理装置１は、ＣＰＵ２０１、ＲＯＭ２０２、ＲＡＭ２０３、補助記憶装置２０４、表示部２０５、操作部２０６、通信部２０７、及びバス２０８を有する。ＣＰＵ２０１は、ＲＯＭ２０２やＲＡＭ２０３に格納されているコンピュータプログラムやデータを用いて画像処理装置１の全体を制御する。なお、画像処理装置１がＧＰＵ（Ｇｒａｐｈｉｃｓ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）を有し、ＣＰＵ２０１による処理の少なくとも一部をＧＰＵが行ってもよい。ＲＯＭ２０２は、変更を必要としないプログラムやパラメータを格納する。ＲＡＭ２０３は、補助記憶装置２０４から供給されるプログラムやデータ、及び通信部２０７を介して外部から供給されるデータなどを一時記憶する。補助記憶装置２０４は、例えばハードディスクドライブ等で構成され、静止画や動画などのコンテンツデータを記憶する。

【0020】

表示部２０５は、例えば液晶ディスプレイ等で構成され、ユーザが画像処理装置１を操作するためのＧＵＩ（Ｇｒａｐｈｉｃａｌ Ｕｓｅｒ Ｉｎｔｅｒｆａｃｅ）などを表示する。操作部２０６は、例えばキーボードやマウス等で構成され、ユーザによる操作を受けて各種の指示をＣＰＵ２０１に入力する。通信部２０７は、カメラ群２や表示装置３、表示装置４などの外部の装置と通信を行う。例えば、画像処理装置１が外部の装置と有線で接続される場合には、ＬＡＮケーブル等が通信部２０７に接続される。なお、画像処理装置１が外部の装置と無線通信する機能を有する場合、通信部２０７はアンテナを備える。バス２０８は、画像処理装置１の各部を繋いで情報を伝達する。

【0021】

なお、本実施形態では表示部２０５と操作部２０６は画像処理装置１の内部に存在するが、画像処理装置１は表示部２０５及び操作部２０６の少なくとも一方を備えていなくてもよい。また、表示部２０５及び操作部２０６の少なくとも一方が画像処理装置１の外部に別の装置として存在していて、ＣＰＵ２０１が、表示部２０５を制御する表示制御部、及び操作部２０６を制御する操作制御部として動作してもよい。

【0022】

［動作フロー］
次に図３を用いて、画像処理装置１の動作の１形態について説明する。図３に示す処理は、視点取得部１１０が仮想視点画像の生成指示の受付を行ったタイミングで開始され、定期的（例えば仮想視点画像が動画である場合の１フレームごと）に繰り返される。ただし、図３に示す処理の開始タイミングは上記タイミングに限定されない。図３に示す処理は、ＣＰＵ２０１がＲＯＭ２０２に格納されたプログラムをＲＡＭ２０３に展開して実行することで実現される。なお、図３に示す処理の少なくとも一部を、ＣＰＵ２０１とは異なる専用のハードウェアにより実現してもよい。

【0023】

図３に示すフローにおいて、Ｓ２０１０とＳ２０２０は情報を取得する処理に対応し、Ｓ２０３０－Ｓ２０５０は操作者に仮想視点を指定させるための仮想視点画像（指定用画像）を生成し出力する処理に対応する。また、Ｓ２０７０－Ｓ２１００は、ライブ画像を生成し出力する処理に対応する。Ｓ２１１０－Ｓ２１３０は、非ライブ画像を生成し出力する処理に対応する。以下、各ステップにおける処理の詳細を説明する。

【0024】

Ｓ２０１０において、カメラ情報取得部１００は、カメラ群２による撮影に基づく各カメラの撮影画像と、各カメラの外部パラメータ及び内部パラメータを取得する。外部パラメータはカメラの位置や姿勢に関する情報であり、内部パラメータはカメラの焦点距離や画像中心に関する情報である。

【0025】

Ｓ２０２０において、視点取得部１１０は、操作者による仮想視点の指定に応じた情報として仮想視点情報を取得する。本実施形態において仮想視点情報は、仮想視点から被写体を撮影する仮想カメラの外部パラメータと内部パラメータに対応し、仮想視点画像の１フレームを生成するために１つの仮想視点情報が必要となる。

【0026】

Ｓ２０３０において、画像生成部１２０は、カメラ群２による撮影画像に基づいて、被写体となるオブジェクトの３次元形状を推定する。被写体となるオブジェクトは、例えば、カメラ群２の撮影範囲内に存在する人物や動体などである。画像生成部１２０は、カメラ群２から取得した撮影画像と、予め取得した各カメラに対応する背景画像との差分を算出することにより、撮影画像内のオブジェクトに対応する部分（前景領域）が抽出されたシルエット画像を生成する。そして画像生成部１２０は、各カメラに対応するシルエット画像と各カメラのパラメータを用いて、オブジェクトの３次元形状を推定する。３次元形状の推定には、例えばＶｉｓｕａｌ Ｈｕｌｌ手法が用いられる。この処理の結果、被写体となるオブジェクトの３次元形状を表現した３Ｄ点群（３次元座標を持つ点の集合）が得られる。なお、カメラ群２による撮影画像からオブジェクトの３次元形状を導出する方法はこれに限らない。

【0027】

Ｓ２０４０において、画像生成部１２０は、取得された仮想視点情報に基づいて、３Ｄ点群と背景３Ｄモデルをレンダリングし、仮想視点画像を生成する。背景３Ｄモデルは、例えばカメラ群２が設置されている競技場などのＣＧモデルであり、予め作成されて画像処理システム１０内に保存されている。ここまでの処理により生成される仮想視点画像において、オブジェクトに対応する領域や背景領域はそれぞれ所定の色（例えば一色）で表示される。なお、３Ｄ点群や背景３Ｄモデルをレンダリングする処理はゲームや映画の分野において既知であり、例えばＧＰＵを用いて処理する方法など、高速に処理を行うための方法が知られている。そのため、Ｓ２０４０までの処理で生成される仮想視点画像は、カメラ群２による撮影及び操作者による仮想視点の指定に応じて高速に生成可能である。

【0028】

Ｓ２０５０において、出力部１３０は、画像生成部１２０によりＳ２０４０で生成された仮想視点画像を、操作者に仮想視点を指定させるための表示装置３へ出力する。ここで、表示装置３により表示される表示画面３０の画面構成を、図４を用いて説明する。表示画面３０は領域３１０と領域３２０と領域３３０から構成される。例えば、指定用画像として生成された仮想視点画像は領域３１０に表示され、ライブ画像として生成された仮想視点画像は領域３２０に表示され、非ライブ画像として生成された仮想視点画像は領域３３０に表示される。すなわち、Ｓ２０４０において生成されＳ２０５０において出力された仮想視点画像は、領域３１０に表示される。そして操作者は領域３１０の画面を見ながら仮想視点の指定を行う。なお、表示装置３は少なくとも指定用画像を表示すればよく、ライブ画像や非ライブ画像を表示しなくてもよい。

【0029】

Ｓ２０６０において、画像生成部１２０は、Ｓ２０４０で生成した仮想視点画像よりも高画質な仮想視点画像を生成する処理を行うか否か判断する。例えば、仮想視点を指定させるための低画質な画像だけが必要とされている場合は、Ｓ２０７０へは進まず処理を終了する。一方、より高画質な画像が必要である場合は、Ｓ２０７０へ進み処理を続ける。

【0030】

Ｓ２０７０において、画像生成部１２０は、Ｓ２０３０で推定したオブジェクトの形状モデル（３Ｄ点群）を、例えばＰｈｏｔｏＨｕｌｌ手法を用いてさらに高精度化する。具体的には、３Ｄ点群の各点を各カメラの撮影画像に射影し、各撮影画像における色の一致度を評価することで、その点が被写体形状を表現するために必要な点かどうかを判定する。例えば３Ｄ点群内のある点について、射影先の画素値の分散が閾値より大きければ、その点は被写体の形状を表す点としては正しくないと判定され、３Ｄ点群からその点が削除される。この処理を３Ｄ点群内の全点に対して行い、オブジェクトの形状モデルの高精度化を実現する。なお、オブジェクトの形状モデルを高精度化する方法はこれに限らない。

【0031】

Ｓ２０８０において、画像生成部１２０は、Ｓ２０７０で高精度化された３Ｄ点群に色を付け、それを仮想視点の座標に射影して前景領域に対応する前景画像を生成する処理と、仮想視点から見た背景画像を生成する処理とを実行する。そして画像生成部１２０は、生成された背景画像に前景画像を重ねることでライブ画像としての仮想視点画像を生成する。

【0032】

ここで、仮想視点画像の前景画像（オブジェクトに対応する領域の画像）を生成する方法の一例について説明する。前景画像を生成するために、３Ｄ点群に色を付ける処理が実行される。色付け処理は点の可視性判定と色の算出処理で構成される。可視性の判定では、３Ｄ点群内の各点とカメラ群２に含まれる複数のカメラとの位置関係から、各点について撮影可能なカメラを特定することができる。次に各点について、その点を撮影可能なカメラの撮影画像に点を射影し、射影先の画素の色をその点の色とする。ある点が複数のカメラにより撮影可能な場合、複数のカメラの撮影画像に点を射影し、射影先の画素値を取得し、画素値の平均を算出することでその点の色を決める。このようにして色が付けられた３Ｄ点群を既存のＣＧレンダリング手法によりレンダリングすることで、仮想視点画像の前景画像を生成することができる。

【0033】

次に、仮想視点画像の背景画像を生成する方法の一例について説明する。まず、背景３Ｄモデルの頂点（例えば競技場の端に対応する点）が設定される。そして、これらの頂点が、仮想視点に近い２台のカメラ（第１カメラ及び第２カメラとする）の座標系と仮想視点の座標系に射影される。また、仮想視点と第１カメラの対応点、及び仮想視点と第２カメラの対応点を用いて、仮想視点と第１カメラの間の第１射影行列と仮想視点と第２カメラの間の第２射影行列が算出される。そして、第１射影行列と第２射影行列を用いて、背景画像の各画素が第１カメラの撮影画像と第２カメラの撮影画像に射影され、射影先の２つの画素値の平均を算出することで、背景画像の画素値が決定される。なお、同様の方法により、３台以上のカメラの撮影画像から背景画像の画素値を決定してもよい。

【0034】

このようにして得られた仮想視点画像の背景画像上に前景画像を重ねることで、色が付いた仮想視点画像が生成できる。すなわち、Ｓ２０８０で生成された仮想視点画像はＳ２０４０で生成された仮想視点画像よりも色の階調数に関して画質が高い。逆に言うと、Ｓ２０４０で生成された仮想視点画像に含まれる色の階調数は、Ｓ２０８０で生成された仮想視点画像に含まれる色の階調数より少ない。なお、仮想視点画像に色情報を付加する方法はこれに限らない。

【0035】

Ｓ２０９０において、出力部１３０は、画像生成部１２０によりＳ２０８０において生成された仮想視点画像を、ライブ画像として表示装置３及び表示装置４へ出力する。表示装置３に出力された画像は領域３２０へ表示されて操作者が見ることができ、表示装置４に出力された画像は視聴者が見ることができる。

【0036】

Ｓ２１００において、画像生成部１２０は、Ｓ２０８０において生成された仮想視点画像よりも高画質な仮想視点画像を生成する処理を行うか否か判断する。例えば、仮想視点画像を視聴者に対して生放送でのみ提供する場合は、Ｓ２１１０へは進まず処理を終了する。一方、収録後に視聴者に向けてより高画質な画像を放送する場合は、Ｓ２１１０へ進み処理を続ける。

【0037】

Ｓ２１１０において、画像生成部１２０は、Ｓ２０７０で生成されたオブジェクトの形状モデルをさらに高精度化する。本実施形態では、形状モデルの孤立点を削除することで高精度化を実現する。孤立点除去においては、まず、Ｐｈｏｔｏ Ｈｕｌｌで算出されたボクセル集合（３Ｄ点群）について、各ボクセルの周囲に別のボクセルが存在するか否か調べられる。周囲にボクセルがない場合、そのボクセルは孤立した点であると判断され、そのボクセルはボクセル集合から削除される。このようにして孤立点を削除した形状モデルを用いてＳ２０８０と同様の処理を実行することで、Ｓ２０８０で生成された仮想視点画像よりもオブジェクトの形状が高精度化された仮想視点画像が生成される。

【0038】

Ｓ２１２０において、画像生成部１２０は、Ｓ２１１０で生成された仮想視点画像の前景領域と背景領域との境界に平滑化処理をかけ、境界領域が滑らかに表示されるように画像の修正を行う。

【0039】

Ｓ２１３０において、出力部１３０は、画像生成部１２０によりＳ２１２０において生成された仮想視点画像を非ライブ画像として表示装置３及び表示装置４へ出力する。表示装置３へ出力された非ライブ画像は領域３３０へ表示される。

【0040】

以上の処理により画像処理装置１は、指定用画像としての仮想視点画像と、指定用画像より画質が高い仮想視点画像であるライブ画像とを、１組の撮影画像と仮想視点情報に基づいて生成する。また、画像処理装置１は、ライブ画像よりさらに画質が高い仮想視点画像である非ライブ画像も生成する。そして画像処理装置１は、生成したライブ画像及び非ライブ画像を、非ライブ画像が表示されるより前にライブ画像が表示されるように、表示装置４へ出力する。また画像処理装置１は、生成した指定用画像を、ライブ画像が表示装置４に表示されるより前に指定用画像が表示装置３に表示されるように、表示装置３へ出力する。

【0041】

これにより、表示装置４は、低画質の指定用画像と、指定用画像より高画質であり生放送されるライブ画像と、ライブ画像よりさらに高画質であり収録後に放送される非ライブ画像とを表示することが可能となる。なお、表示装置４はライブ画像と非ライブ画像の何れか一方だけを表示してもよく、その場合には画像処理装置１は表示装置４に適した仮想視点画像を出力する。また、表示装置３は、指定用画像としての低画質の仮想視点画像と、ライブ画像としての中画質の仮想視点画像と、非ライブ画像としての高画質の仮想視点画像との、３種類の仮想視点画像を表示することが可能となる。なお、表示装置３はライブ画像及び非ライブ画像の少なくとも何れかを表示しなくてもよい。

【0042】

すなわち、画像処理装置１は、ユーザに仮想視点を指定させるための表示装置３に対して指定用画像を出力する。そして画像処理装置１は、ユーザによる仮想視点の指定に基づいて生成される仮想視点画像を表示するための表示装置４に対して指定用画像より高画質なライブ画像及び非ライブ画像の少なくとも何れかを出力する。これにより、仮想視点を指定するために低遅延で仮想視点画像を表示させたい操作者と、高画質な仮想視点画像を見たい視聴者の、両方の要件に応えることができる。

【0043】

なお、以上の処理では、カメラ群２による撮影に基づく画像と仮想視点の指定に応じた情報とに基づいて仮想視点画像が生成され、その生成のための処理の結果に基づいてより高画質の仮想視点画像が生成される。そのため、低画質の仮想視点画像と高画質の仮想視点画像をそれぞれ独立した処理で生成する場合よりも、全体の処理量を低減することができる。ただし、低画質の仮想視点画像と高画質の仮想視点画像を独立した処理により生成してもよい。また、仮想視点画像を競技会場やライブ会場に設置されたディスプレイに表示させたり生放送したりする場合であって、収録後に放送する必要がない場合には、画像処理装置１は非ライブ画像を生成するための処理を行わない。これにより、高画質な非ライブ画像を生成するための処理量を削減することができる。

【0044】

次に図５を用いて、画像処理装置１の動作の別の１形態について説明する。図３を用いて上述した動作形態では、低画質の仮想視点画像を生成した後に、新たな種別の処理を追加で行うことで、高画質の仮想視点画像を生成する。一方、図５を用いて以下で説明する動作形態では、仮想視点画像を生成するために使用するカメラの台数を増やすことで仮想視点画像の高画質化を実現する。以下の説明において、図３の処理と同様の部分については説明を省略する。

【0045】

図５に示す処理は、視点取得部１１０が仮想視点画像の生成指示の受付を行ったタイミングで開始される。ただし図５の処理の開始タイミングはこれに限定されない。Ｓ２０１０及びＳ２０２０において、画像処理装置１は、図３で説明したものと同様の処理により、カメラ群２の各カメラによる撮影画像と仮想視点情報とを取得する。

【0046】

Ｓ４０３０において、画像生成部１２０は、仮想視点画像の生成に用いる撮影画像に対応するカメラの数を設定する。ここで画像生成部１２０は、Ｓ４０５０－Ｓ４０７０の処理が所定の閾値（例えば仮想視点画像が動画である場合の１フレームに対応する時間）以下の処理時間で完了するようにカメラの数を設定する。例えば、予め１００台のカメラの撮影画像を用いてＳ４０５０－Ｓ４０７０の処理を実行し、その処理時間が０．５秒であったとする。この場合に、フレームレートが６０ｆｐｓ（ｆｒａｍｅ ｐｅｒ ｓｅｃｏｎｄ）である仮想視点画像の１フレームに対応する０．０１６秒以内にＳ４０５０－Ｓ４０７０の処理を完了させたければ、カメラの数を３台に設定する。

【0047】

なお、Ｓ４０５０－Ｓ４０７０の処理によって仮想視点画像が出力された後に、Ｓ４０８０において画像生成を続ける判断がされた場合、Ｓ４０３０に戻って使用するカメラの数を再設定する。ここでは、先に出力した仮想視点画像より高画質な仮想視点画像が生成されるように、許容する処理時間を長くし、それに応じてカメラの数を増やす。例えば、０．１秒以下の処理時間でＳ４０５０－Ｓ４０７０の処理が完了されるように、使用する撮影画像に対応するカメラの数を２０台に設定する。

【0048】

Ｓ４０４０において、画像生成部１２０は、仮想視点画像を生成するために使用する撮影画像に対応するカメラを、Ｓ４０３０で設定されたカメラの数に応じてカメラ群２の中から選択する。例えば、１００台のカメラから３台のカメラを選択する場合、仮想視点に一番近いカメラと、そのカメラから数えて３４台目のカメラ及び６７台目のカメラを選択する。

【0049】

また、仮想視点画像を１回生成した後に、使用する撮影画像の数を増やして２回目の処理を行う場合には、１回目の処理で推定した形状モデルをさらに高精度化することから、１回目で選択されたカメラ以外のカメラが選択される。具体的には、１００台のカメラから２０台のカメラを選択する場合、１回目の処理で選択されていないカメラの中から仮想視点に一番近いカメラをまず選択し、そこから５台間隔でカメラを選択していく。この際、１回目で既に選択したカメラは飛ばして次のカメラを選択する。なお、例えば非ライブ画像として最も高画質な仮想視点画像を生成する場合には、カメラ群２に含まれる全てのカメラを選択し、各カメラの撮影画像を使用してＳ４０５０－Ｓ４０７０の処理を実行する。

【0050】

なお、使用する撮影画像に対応するカメラを選択する方法はこれに限らない。例えば、仮想視点に近いカメラを優先して選択してもよい。この場合、被写体となるオブジェクトの形状推定において仮想視点からは見えない背面領域の形状推定の精度は低くなるが、仮想視点から見える前面領域の形状推定の精度は向上する。つまり、仮想視点画像の中で視聴者にとって目につき易い領域の画質を優先的に向上させることができる。

【0051】

Ｓ４０５０において、画像生成部１２０は、Ｓ４０４０で選択されたカメラによる撮影画像を用いて、オブジェクトの形状推定処理を実行する。ここでの処理は、例えば、図３のＳ２０３０における処理（ＶｉｓｕａｌＨｕｌｌ）とＳ２０７０における処理（ＰｈｏｔｏＨｕｌｌ）の組み合わせである。ＶｉｓｕａｌＨｕｌｌの処理は、使用する複数の撮影画像に対応する複数のカメラの視体積の論理積を計算する処理を含む。また、ＰｈｏｔｏＨｕｌｌの処理は形状モデルの各点を複数の撮影画像に射影して画素値の一貫性を計算する処理を含む。そのため、使用する撮影画像に対応するカメラの数が少ないほど、形状推定の精度は低くなり処理時間が短くなる。

【0052】

Ｓ４０６０において、画像生成部１２０は、レンダリング処理を実行する。ここでの処理は、図３のＳ２０８０における処理と同様であり、３Ｄ点群の色付け処理と背景画像の生成処理を含む。３Ｄ点群の色付け処理も背景画像の生成処理も、複数の撮影画像の対応する点の画素値を用いた計算により色を決定する処理を含む。そのため、使用する撮影画像に対応するカメラの数が少ないほど、レンダリングの精度は低くなり処理時間が短くなる。

【0053】

Ｓ４０７０において、出力部１３０は、画像生成部１２０によりＳ４０６０において生成された仮想視点画像を、表示装置３や表示装置４へ出力する。

【0054】

Ｓ４０８０において、画像生成部１２０は、Ｓ４０６０において生成された仮想視点画像よりも高画質な仮想視点画像を生成する処理を行うか否か判断する。例えば、Ｓ４０６０において生成された仮想視点画像が操作者に仮想視点を指定させるための画像であり、さらにライブ画像を生成する場合には、Ｓ４０３０に戻って、使用するカメラの数を増やしてライブ画像としての仮想視点画像を生成する。また、さらにライブ画像を生成した後に、非ライブ画像を生成する場合には、さらにカメラの数を増やして非ライブ画像としての仮想視点画像を生成する。すなわち、ライブ用画像としての仮想視点画像の生成に用いられる撮影画像に対応するカメラの数は、指定用画像としての仮想視点画像の生成に用いられる撮影画像に対応するカメラの数より多いため、ライブ画像は指定用画像よりも画質が高い。同様に、非ライブ画像としての仮想視点画像の生成に用いられる撮影画像に対応するカメラの数は、ライブ画像としての仮想視点画像の生成に用いられる撮影画像に対応するカメラの数よりも多いため、非ライブ画像はライブ画像よりも画質が高い。

【0055】

なおＳ４０８０において、既に生成した仮想視点画像より高画質な仮想視点画像を生成する必要がないと判断された場合、もしくはより高画質な仮想視点画像を生成することはできないと判断された場合には、処理を終了する。

【0056】

以上の処理により、画像処理装置１は、画質を段階的に向上させた複数の仮想視点画像をそれぞれ適切なタイミングで生成して出力することが可能となる。例えば、仮想視点画像の生成に使用するカメラを、設定された処理時間以内に生成処理が完了できるような台数に制限することで、遅延の少ない指定用画像を生成することができる。また、ライブ画像や非ライブ画像を生成する場合には、使用するカメラの数を増やして生成処理を行うことで、より高画質の画像を生成することができる。

【0057】

次に図６を用いて、画像処理装置１の動作の別の１形態について説明する。図５を用いて上述した動作形態では、仮想視点画像を生成するために使用するカメラの台数を増やすことで仮想視点画像の高画質化を実現する。一方、図６を用いて以下で説明する動作形態では、仮想視点画像の解像度を段階的に高めていくことで仮想視点画像の高画質化を実現する。以下の説明において、図３や図５の処理と同様の部分については説明を省略する。なお、以下で説明する動作形態においては、生成される仮想視点画像の画素数は常に４Ｋ（３８４０×２１６０）であり、画素値の計算を大きい画素ブロックごとに行うか小さい画素ブロックごとに行うかによって仮想視点画像の解像度を制御する。ただしこれに限らず、生成される仮想視点画像の画素数を変更することで解像度を制御してもよい。

【0058】

図６に示す処理は、視点取得部１１０が仮想視点画像の生成指示の受付を行ったタイミングで開始される。ただし図６の処理の開始タイミングはこれに限定されない。Ｓ２０１０及びＳ２０２０において、画像処理装置１は、図３で説明したものと同様の処理により、カメラ群２の各カメラによる撮影画像と仮想視点情報とを取得する。

【0059】

Ｓ５０３０において、画像生成部１２０は、生成する仮想視点画像の解像度を設定する。ここで画像生成部１２０は、Ｓ５０５０及びＳ４０７０の処理が所定の閾値以下の処理時間で完了するように解像度を設定する。例えば、予め４Ｋ解像度の仮想視点画像を生成する場合のＳ５０５０及びＳ４０７０の処理を実行し、その処理時間が０．５秒であったとする。この場合に、フレームレートが６０ｆｐｓである仮想視点画像の１フレームに対応する０．０１６秒以内にＳ５０５０及びＳ４０７０の処理を完了させたければ、解像度を４Ｋの０．０１６／０．５＝１／３１．２５倍以下にする必要がある。そこで、仮想視点画像の解像度を縦横それぞれ４Ｋ解像度の１／８倍に設定すれば、画素値を計算すべき画素ブロックの数は１／６４になり、０．０１６秒未満で処理を完了できる。

【0060】

なお、Ｓ５０５０及びＳ４０７０の処理によって仮想視点画像が出力された後に、Ｓ４０８０において画像生成を続ける判断がされた場合、Ｓ５０３０に戻って解像度を再設定する。ここでは、先に出力した仮想視点画像より高画質な仮想視点画像が生成されるように、許容する処理時間を長くし、それに応じて解像度を高くする。例えば、解像度を縦横それぞれ４Ｋ解像度の１／４に設定すると、０．１秒以下の処理時間でＳ５０５０及びＳ４０７０の処理が完了される。Ｓ５０４０において、画像生成部１２０は、仮想視点画像において画素値を計算すべき画素の位置を、Ｓ５０３０で設定された解像度に応じて決定する。例えば、仮想視点画像の解像度を４Ｋ解像度の１／８に設定した場合、縦横それぞれ８画素毎に画素値が算出される。そして、画素値が算出された画素（ｘ，ｙ）と画素（ｘ＋８，ｙ＋８）の間に存在する画素には、画素（ｘ，ｙ）と同じ画素値が設定される。

【0061】

また、仮想視点画像を１回生成した後に、解像度を高くして２回目の処理を行う場合には、１回目に画素値が算出された画素は飛ばして画素値を算出する。例えば、解像度が４Ｋ解像度の１／４に設定された場合、画素（ｘ＋４，ｙ＋４）の画素値を算出し、画素（ｘ＋４，ｙ＋４）と画素（ｘ＋８，ｙ＋８）の間に存在する画素には、画素（ｘ＋４，ｙ＋４）と同じ画素値が設定される。このように、画素値を算出する画素の数を増やしていくことで、仮想視点画像の解像度を最大で４Ｋ解像度まで高くすることができる。

【0062】

Ｓ５０５０において、画像生成部１２０は、Ｓ５０４０で決定された位置の画素の画素値を算出して仮想視点画像への色付け処理を行う。画素値の算出方法としては、例えばＩｍａｇｅ－Ｂａｓｅｄ Ｖｉｓｕａｌ Ｈｕｌｌの方法を使用することができる。この方法では画素毎に画素値が算出されるので、画素値を算出すべき画素の数が少ないほど、すなわち仮想視点画像の解像度が低いほど、処理時間が短くなる。

【0063】

Ｓ４０７０において、出力部１３０は、画像生成部１２０によりＳ５０５０において生成された仮想視点画像を、表示装置３や表示装置４へ出力する。

【0064】

Ｓ４０８０において、画像生成部１２０は、Ｓ５０５０において生成された仮想視点画像よりも高画質な仮想視点画像を生成する処理を行うか否か判断する。例えば、Ｓ５０５０において生成された仮想視点画像が操作者に仮想視点を指定させるための画像であり、さらにライブ画像を生成する場合には、Ｓ５０３０に戻って、解像度を高くした仮想視点画像を生成する。また、ライブ画像を生成した後に、さらに非ライブ画像を生成する場合には、さらに解像度を高くした非ライブ画像としての仮想視点画像を生成する。すなわち、ライブ画像としての仮想視点画像は、指定用画像としての仮想視点画像より解像度が高いため、ライブ画像は指定用画像よりも画質が高い。同様に、非ライブ画像としての仮想視点画像は、ライブ画像としての仮想視点画像よりも解像度が高いため、非ライブ画像はライブ画像よりも画質が高い。

【0065】

なおＳ４０８０において、既に生成した仮想視点画像より高画質な仮想視点画像を生成する必要がないと判断された場合、もしくはより高画質な仮想視点画像を生成することはできないと判断された場合には、処理を終了する。

【0066】

以上の処理により、画像処理装置１は、解像度を段階的に向上させた複数の仮想視点画像をそれぞれ適切なタイミングで生成して出力することが可能となる。例えば、仮想視点画像の解像度を、設定された処理時間以内に生成処理が完了できるような解像度に設定することで、遅延の少ない指定用画像を生成することができる。また、ライブ画像や非ライブ画像を生成する場合には、解像度を高く設定して生成処理を行うことで、より高画質の画像を生成することができる。

【0067】

以上のように、画像処理装置１は、仮想視点画像の画質を向上させるための画像処理を行うことにより高画質の画像（例えば非ライブ画像）を生成する。また画像処理装置１は、該画像処理に含まれる部分的な処理であって所定の閾値以下の処理時間で実行される処理によって低画質の画像（例えばライブ画像）を生成する。これにより、所定時間以下の遅延で表示される仮想視点画像と、高画質な仮想視点画像とを両方生成して表示することが可能となる。

【0068】

なお、図６の説明においては、所定の閾値以下の処理時間で生成処理を完了させるための生成パラメータ（解像度）を推定し、推定された生成パラメータで仮想視点画像を生成するものとした。ただしこれに限らず、画像処理装置１は、仮想視点画像の画質を段階的に向上させていき、処理時間が所定の閾値に達した時点において生成済みの仮想視点画像を出力してもよい。例えば、処理時間が所定の閾値に達した時点において、解像度が４Ｋ解像度の１／８である仮想視点画像が生成済みであり、解像度が４Ｋ解像度の１／４である仮想視点画像が未完成である場合には、１／８の解像度の仮想視点画像を出力してもよい。また、１／８の解像度から１／４の解像度へ解像度を向上させる処理が途中まで行われた仮想視点画像を出力してもよい。

【0069】

本実施形態では、画像処理装置１が有する画像生成部１２０が、カメラ情報取得部１００が取得した画像と視点取得部１１０が取得した仮想視点情報とに基づいて仮想視点画像の生成を制御し、異なる画質の複数の仮想視点画像を生成する場合を中心に説明した。ただしこれに限らず、仮想視点画像の生成を制御する機能と、実際に仮想視点画像を生成する機能とが、それぞれ異なる装置に備わっていてもよい。

【0070】

例えば、画像処理システム１０内に、画像生成部１２０の機能を有し仮想視点画像を生成する生成装置（不図示）が存在してもよい。そして、画像処理装置１はカメラ情報取得部１００が取得した画像及び視点取得部１１０が取得した情報に基づいて生成装置による仮想視点画像の生成を制御してもよい。具体的には、画像処理装置１が撮影画像と仮想視点情報を生成装置に送信し、仮想視点画像の生成を制御する指示を行う。そして生成装置は、第１の仮想視点画像と、第１の仮想視点画像が表示されるより早いタイミングで表示されるべき第２の仮想視点画像であって第１の仮想視点画像より画質が低い第２の仮想視点画像とを、受信した撮影画像と仮想視点情報とに基づいて生成する。ここで第１の仮想視点画像は例えば非ライブ画像であり、第２の仮想視点画像は例えばライブ画像である。ただし第１の仮想視点画像と第２の仮想視点画像の用途はこれに限定されない。なお、画像処理装置１は、第１の仮想視点画像と第２の仮想視点画像とがそれぞれ異なる生成装置により生成されるように制御を行ってもよい。また、画像処理装置１は、生成装置による仮想視点画像の出力先や出力タイミングを制御する等の出力制御を行ってもよい。

【0071】

また、生成装置が視点取得部１１０及び画像生成部１２０の機能を有しており、画像処理装置１がカメラ情報取得部１００により取得される画像に基づいて生成装置による仮想視点画像の生成を制御してもよい。ここでカメラ情報取得部１００により取得される画像は、カメラ群２により撮影された撮影画像や複数の撮影画像の差分に基づいて生成された画像などの、撮影に基づく画像である。また、生成装置がカメラ情報取得部１００及び画像生成部１２０の機能を有しており、画像処理装置１が視点取得部１１０により取得される画像に基づいて生成装置による仮想視点画像の生成を制御してもよい。ここで視点取得部１１０により取得される画像は、仮想視点画像における被写体の形状や向きなど仮想視点に応じて定まる内容を示す情報や仮想視点情報など、仮想視点の指定に応じた情報である。すなわち、画像処理装置１は、撮影に基づく画像及び仮想視点の指定に応じた情報の少なくとも何れかを含む仮想視点画像の生成に係る情報を取得し、取得した情報に基づいて仮想視点画像の生成を制御してもよい。

【0072】

また例えば、画像処理システム１０内に存在する生成装置がカメラ情報取得部１００、視点取得部１１０及び画像生成部１２０の機能を有しており、画像処理装置１は仮想視点画像の生成に係る情報に基づいて生成装置による仮想視点画像の生成を制御してもよい。この場合における仮想視点画像の生成に係る情報は、例えば生成装置により生成される第１の仮想視点画像の画質に関するパラメータ及び第２の仮想視点画像の画質に関するパラメータの少なくとも何れかを含む。画質に関するパラメータの具体例としては、仮想視点画像の生成に用いられる撮影画像に対応するカメラの数、仮想視点画像の解像度、仮想視点画像の生成に係る処理時間として許容される時間等がある。画像処理装置１は例えば操作者による入力に基づいてこれらの画質に関するパラメータを取得し、パラメータを生成装置に送信するなど、取得したパラメータに基づいて生成装置を制御する。これにより操作者は、それぞれ異なる所望の画質の複数の仮想視点画像を生成させることができる。

【0073】

以上説明したように、画像処理装置１は、複数のカメラによるそれぞれ異なる方向からの被写体の撮影に基づく画像と仮想視点の指定に応じた情報とに基づく仮想視点画像の生成指示を受け付ける。そして画像処理装置１は、第１表示装置に出力される第１の仮想視点画像と第２表示装置に出力される第２の仮想視点画像とが、撮影に基づく画像と仮想視点の指定に応じた情報とに基づいて生成されるように、生成指示の受け付けに応じて制御を行う。ここで、第２の仮想視点画像は、第１の仮想視点画像より画質が高い仮想視点画像である。これにより、例えばリアルタイムで仮想視点画像を見たいユーザとリアルタイム性よりも仮想視点画像が高画質であることを優先するユーザの両方がいるような場合にも、表示されるべきタイミングに適した仮想視点画像を生成することができる。

【0074】

なお、本実施形態では仮想視点画像の画質として色の階調、解像度、及び仮想視点画像の生成に用いられる撮影画像に対応するカメラの数を制御する場合について説明したが、画質としてその他のパラメータを制御してもよい。また、画質に関する複数のパラメータを同時に制御してもよい。

【0075】

本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ等）によっても実現可能である。また、そのプログラムをコンピュータにより読み取り可能な記録媒体に記録して提供してもよい。

【符号の説明】

【0076】

１ 画像処理装置
２ カメラ群
１００ カメラ情報取得部
１１０ 仮想視点情報取得部
１２０ 画像生成部

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】