特開 2022-28091 画像処理装置、画像処理方法、及び、プログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2022028091

(43)【公開日】2022-02-15

(54)【発明の名称】画像処理装置、画像処理方法、及び、プログラム

(51)【国際特許分類】

   G06T 19/00 20110101AFI20220207BHJP

   H04N 13/275 20180101ALI20220207BHJP

   H04N 13/243 20180101ALI20220207BHJP

   H04N 13/271 20180101ALI20220207BHJP

【ＦＩ】

G06T19/00 A

H04N13/275

H04N13/243

H04N13/271

【審査請求】未請求

【請求項の数】11

【出願形態】ＯＬ

(21)【出願番号】P 2018237566

(22)【出願日】2018-12-19

(71)【出願人】

【識別番号】000002185

【氏名又は名称】ソニーグループ株式会社

(74)【代理人】

【識別番号】100121131

【弁理士】

【氏名又は名称】西川 孝

(74)【代理人】

【識別番号】100082131

【弁理士】

【氏名又は名称】稲本 義雄

(72)【発明者】

【氏名】小林 剛也

(72)【発明者】

【氏名】押領司 宏

【テーマコード（参考）】

5B050

5C061

【Ｆターム（参考）】

5B050BA09

5B050BA13

5B050CA07

5B050DA07

5B050EA07

5B050EA12

5B050EA18

5B050EA19

5B050EA24

5B050EA27

5B050EA28

5B050FA02

5B050FA09

5C061AB04

5C061AB08

5C061AB11

(57)【要約】

【課題】３Dモデルを用いたストロボ画像を生成する。
【解決手段】複数の視点から撮影された複数の視点画像から生成される複数の時刻のオブジェクトの3Dモデルが3次元空間に配置されるストロボモデルが生成される。ストロボモデルの生成にあたっては、ストロボモデルに3Dモデルを配置する基準となるキーオブジェクトとの関連を表すオブジェクト関連度に応じて、ストロボモデルに3Dモデルを配置する対象の対象オブジェクトが設定される。
【選択図】図２１

【特許請求の範囲】

【請求項1】

複数の視点から撮影された複数の視点画像から生成されるオブジェクトの３Dモデルを複数の時刻の前記視点画像から生成して、前記オブジェクトの複数の時刻の3Dモデルを3次元空間に配置したストロボモデルを生成する生成部を備え、
前記生成部は、前記3Dモデルを前記3次元空間に配置する基準となるキーオブジェクトと前記キーオブジェクトと異なるオブジェクトの関連を表すオブジェクト関連度に応じて前記ストロボモデルに前記異なるオブジェクトの3Dモデルを配置する
画像処理装置。

【請求項2】

前記生成部は、前記オブジェクト関連度に応じて、前記ストロボモデルに前記3Dモデルを配置する対象の対象オブジェクトを設定する
請求項１に記載の画像処理装置。

【請求項3】

前記生成部は、前記キーオブジェクトと、前記キーオブジェクト以外の非キーオブジェクトとの位置関係に応じて、前記非キーオブジェクトを、前記対象オブジェクトに設定する
請求項２に記載の画像処理装置。

【請求項4】

前記生成部は、前記キーオブジェクトとの距離が所定の距離内の前記非キーオブジェクトを、前記対象オブジェクトに設定する
請求項３に記載の画像処理装置。

【請求項5】

前記生成部は、１のフレームにおいて、前記キーオブジェクトとの距離が所定の距離内の前記非キーオブジェクトと、他のフレームにおいて、前記キーオブジェクトとの距離が所定の距離内の前記非キーオブジェクトとを、前記対象オブジェクトに設定する
請求項４に記載の画像処理装置。

【請求項6】

前記生成部は、前記キーオブジェクトとの距離が所定の距離内の前記非キーオブジェクトと、前記キーオブジェクトとの距離が所定の距離内の前記非キーオブジェクトとの距離が所定の距離内の他の前記非キーオブジェクトとを、前記対象オブジェクトに設定する
請求項４に記載の画像処理装置。

【請求項7】

前記所定の距離は、前記キーオブジェクトごと、又は、前記非キーオブジェクトごとに設定される
請求項４に記載の画像処理装置。

【請求項8】

前記キーオブジェクトは、ユーザの操作に応じて設定される
請求項１に記載の画像処理装置。

【請求項9】

オブジェクトが映るUI(User Interface)に対して、ユーザが指定したオブジェクトが、前記キーオブジェクトに設定される
請求項８に記載の画像処理装置。

【請求項10】

複数の視点から撮影された複数の視点画像から生成されるオブジェクトの３Dモデルを複数の時刻の前記視点画像から生成して、前記オブジェクトの複数の時刻の3Dモデルを3次元空間に配置したストロボモデルを生成することを含み、
前記3Dモデルを前記3次元空間に配置する基準となるキーオブジェクトと前記キーオブジェクトと異なるオブジェクトの関連を表すオブジェクト関連度に応じて前記ストロボモデルに前記異なるオブジェクトの3Dモデルを配置する
画像処理方法。

【請求項11】

複数の視点から撮影された複数の視点画像から生成されるオブジェクトの３Dモデルを複数の時刻の前記視点画像から生成して、前記オブジェクトの複数の時刻の3Dモデルを3次元空間に配置したストロボモデルを生成する生成部として、コンピュータを機能させるためのプログラムであり、
前記生成部は、前記3Dモデルを前記3次元空間に配置する基準となるキーオブジェクトと前記キーオブジェクトと異なるオブジェクトの関連を表すオブジェクト関連度に応じて前記ストロボモデルに前記異なるオブジェクトの3Dモデルを配置する
プログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本技術は、画像処理装置、画像処理方法、及び、プログラムに関し、例えば、３Dモデルを用いたストロボ画像の生成に関する。

【背景技術】

【0002】

複数の時刻に撮影された被写体（像）が映るストロボ画像を生成する方法が提案されている（例えば、特許文献１を参照）。ストロボ画像には、複数の時刻の被写体が映るので、被写体の動きや軌跡を容易に把握することができる。

【先行技術文献】

【特許文献】

【0003】

【特許文献1】特開2007-259477号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

しかしながら、特許文献１は、2次元の動画像からストロボ画像を生成する技術であり、ストロボ画像の生成や編集できることには限界がある。

【0005】

本技術は、このような状況に鑑みてなされたものであり、ストロボ画像を生成することができるようにするものである。

【課題を解決するための手段】

【0006】

本技術の画像処理装置、又は、プログラムは、複数の視点から撮影された複数の視点画像から生成されるオブジェクトの３Dモデルを複数の時刻の前記視点画像から生成して、前記オブジェクトの複数の時刻の3Dモデルを3次元空間に配置したストロボモデルを生成する生成部を備え、前記生成部は、前記3Dモデルを前記3次元空間に配置する基準となるキーオブジェクトと前記キーオブジェクトと異なるオブジェクトの関連を表すオブジェクト関連度に応じて前記ストロボモデルに前記異なるオブジェクトの3Dモデルを配置する画像処理装置、又は、そのような画像処理装置として、コンピュータを機能させるためのプログラムである。

【0007】

本技術の画像処理方法は、複数の視点から撮影された複数の視点画像から生成されるオブジェクトの３Dモデルを複数の時刻の前記視点画像から生成して、前記オブジェクトの複数の時刻の3Dモデルを3次元空間に配置したストロボモデルを生成することを含み、前記3Dモデルを前記3次元空間に配置する基準となるキーオブジェクトと前記キーオブジェクトと異なるオブジェクトの関連を表すオブジェクト関連度に応じて前記ストロボモデルに前記異なるオブジェクトの3Dモデルを配置する画像処理方法である。

【0008】

本技術の画像処理装置、画像処理方法、及び、プログラムにおいては、複数の視点から撮影された複数の視点画像から生成されるオブジェクトの３Dモデルが複数の時刻の前記視点画像から生成されて、前記オブジェクトの複数の時刻の3Dモデルを3次元空間に配置したストロボモデルが生成される。前記3Dモデルを前記3次元空間に配置する基準となるキーオブジェクトと前記キーオブジェクトと異なるオブジェクトの関連を表すオブジェクト関連度に応じて前記ストロボモデルに前記異なるオブジェクトの3Dモデルが配置される。

【0009】

なお、画像処理装置や表示装置は、独立した装置であっても良いし、１つの装置を構成している内部ブロックであっても良い。

【0010】

また、プログラムは、伝送媒体を介して伝送することにより、又は、記録媒体に記録して、提供することができる。

【図面の簡単な説明】

【0011】

【図1】本技術を適用した画像処理システムの一実施の形態の構成例を示すブロック図である。

【図2】生成装置１２の構成例を示すブロック図である。

【図3】表示装置１３の構成例を示すブロック図である。

【図4】生成装置１２が行う生成処理の例を説明するフローチャートである。

【図5】表示装置１３が行う表示処理の例を説明するフローチャートである。

【図6】不自然な3Dストロボ画像の例を示す図である。

【図7】自然な3Dストロボ画像の例を示す図である。

【図8】ストロボ区間の視点画像のフレームの例を示す図である。

【図9】ストロボ区間としての時刻t1ないしt9のフレームを用いたストロボモデルの生成の例を示す図である。

【図10】仮想カメラによるストロボモデルの撮影により生成される3Dストロボ画像の表示の例を示す図である。

【図11】ストロボモデルにおいてエフェクト処理の対象となる3Dモデルを説明する図である。

【図12】エフェクト処理の具体例を説明する図である。

【図13】3Dモデル生成部２１が生成する3Dモデルを説明する図である。

【図14】対象オブジェクトの設定の例を示す図である。

【図15】オブジェクト指定UI情報に応じて表示されるオブジェクト指定UIの例を示す図である。

【図16】オブジェクト指定UI情報とオブジェクト指定情報とを説明するである。

【図17】ストロボ範囲情報の第１の例を説明する図である。

【図18】ストロボ範囲情報の第２の例を説明する図である。

【図19】ストロボ時間情報を説明する図である。

【図20】オブジェクト関連度としてのキーオブジェクトと非キーオブジェクトとの位置関係に応じた対象オブジェクトの設定の第１の例を説明する図である。

【図21】オブジェクト関連度としてのキーオブジェクトと非キーオブジェクトとの位置関係に応じた対象オブジェクトの設定の第２の例を説明する図である。

【図22】オブジェクト関連度としてのキーオブジェクトと非キーオブジェクトとの位置関係に応じた対象オブジェクトの設定の第３の例を説明する図である。

【図23】オブジェクト関連度としてのキーオブジェクトと非キーオブジェクトとの位置関係に応じた対象オブジェクトの設定の第４の例を説明する図である。

【図24】カメラワーク設定部３５で設定されるカメラワークの第１の例を示す図である。

【図25】カメラワークとしてのカメラパラメータのうちの画角（ズーム倍率）に関するパラメータの設定の例を説明する図である。

【図26】カメラワーク設定部３５で設定されるカメラワークの第２の例を示す図である。

【図27】カメラワークの第２の例を採用する場合の仮想カメラの移動の例を示す図である。

【図28】ストロボモデルのデータ量の第１の例を説明する図である。

【図29】ストロボモデルのデータ量の第２の例を説明する図である。

【図30】生成装置１２から表示装置１３への、ストロボモデルを構成する合成画像の送信を説明する図である。

【図31】本技術を適用した画像処理システムの他の一実施の形態の構成例を示すブロック図である。

【図32】生成装置１１２の構成例を示すブロック図である。

【図33】表示装置１１３の構成例を示すブロック図である。

【図34】生成装置１１２が行う生成処理の例を説明するフローチャートである。

【図35】表示装置１１３が行う表示処理の例を説明するフローチャートである。

【図36】本技術を適用したコンピュータの一実施の形態の構成例を示すブロック図である。

【発明を実施するための形態】

【0012】

＜本技術を適用した画像処理システムの一実施の形態＞

【0013】

図１は、本技術を適用した画像処理システムの一実施の形態の構成例を示すブロック図である。

【0014】

図１の画像処理システムでは、実写の画像から、仮想的な視点（仮想視点）から３次元空間の被写体であるオブジェクトを見たときの見え方が再現された自由視点画像を生成することができる自由視点データとしての3Dモデルが生成される。そして、その3Dモデルから、仮想視点からオブジェクトを見たときの自由視点画像が生成されて表示される。

【0015】

図１の画像処理システムは、撮影装置１１、生成装置１２、及び、表示装置１３を有する。

【0016】

撮影装置１１は、少なくとも複数のカメラで構成され、複数の視点から、オブジェクトの撮影を行う。例えば、撮影装置１１を構成する複数のカメラは、オブジェクトを囲むように配置され、各カメラは、そのカメラが配置された位置としての視点から、オブジェクトを撮影する。各カメラにより、そのカメラの位置から撮影された2D(Dimensional)画像、すなわち、複数の視点から撮影された2D画像である複数の視点の視点画像（動画）は、フレーム単位で、撮影装置１１から生成装置１２に供給される。

【0017】

ここで、撮影装置１１には、複数のカメラの他、複数の測距装置を設けることができる。測距装置は、カメラと同一の位置（視点）に配置することもできるし、カメラと異なる位置に配置することもできる。測距装置は、その測距装置が配置された位置（視点）から、オブジェクトまでの距離を測定し、その距離に関する情報であるデプスを画素値とする2D画像であるデプス画像を生成する。デプス画像は、撮影装置１１から生成装置１２に供給される。

【0018】

なお、撮影装置１１に、測距装置が設けられていない場合には、複数の視点の視点画像のうちの２視点の視点画像を用いて、三角測量の原理により、オブジェクトまでの距離を測定し、デプス画像を生成することができる。

【0019】

生成装置１２は、例えば、クラウド上のサーバである。生成装置１２は、オブジェクト指定UI情報を生成し、表示装置１３に送信する。オブジェクト指定UI情報とは、表示装置１３のユーザが、ストロボモデルを生成するオブジェクト（被写体）を指定するための手がかりとなるUIに関する情報である。ストロボモデルとは、撮影装置１１で撮影された3次元空間（の3Dモデル）に、視点画像の複数のフレーム（時刻）の同一のオブジェクト（被写体）の3Dモデルが配置された3Dデータである。

【0020】

生成装置１２は、表示装置１３から送信されてくるオブジェクト指定情報、ストロボ範囲情報、及び、ストロボ時間情報に応じて、撮影装置１１から供給される複数の視点の視点画像等を用いて、ストロボモデルを生成する。さらに、生成装置１２は、ストロボモデルを、表示装置１３に送信する。

【0021】

オブジェクト指定情報とは、ストロボモデルに3Dモデルを配置する基準となるオブジェクト（被写体）（以下、キーオブジェクトともいう）として、ユーザが指定したオブジェクトを表す情報である。ストロボ範囲情報とは、キーオブジェクトとともに、ストロボモデルに3Dモデルを配置する対象のオブジェクト（以下、対象オブジェクトともいう）となるオブジェクトの空間的な範囲を表す情報である。ストロボ時間情報とは、ストロボモデルを生成する対象のフレームの区間（以下、ストロボ区間ともいう）を表す情報である。

【0022】

表示装置１３は、例えば、PC(Personal Computer)や、TV（テレビジョン受像機）、スマートフォン等の携帯端末等のクライアントである。表示装置１３は、生成装置１２から送信されてくるオブジェクト指定UI情報に応じて、オブジェクト指定UIを表示する。表示装置１３は、オブジェクト指定UI等に対するユーザの操作に応じて、オブジェクト指定情報、ストロボ範囲情報、及び、ストロボ時間情報を設定し、生成装置１２に送信する。

【0023】

また、表示装置１３は、生成装置１２から送信されてくるストロボモデルを、仮想カメラで撮影することにより得られる3Dストロボ画像としての2D画像（ここでは、左目用の2D画像及び右目用の2D画像のセットを含む）を、自由視点画像（のデータ）として生成して表示する。

【0024】

なお、生成装置１２及び表示装置１３は、それぞれを別個の装置として構成することもできるし、1個の装置（例えば、PC(Personal Computer)等）として構成することもできる。

【0025】

＜生成装置１２の構成例＞

【0026】

図２は、図１の生成装置１２の構成例を示すブロック図である。

【0027】

生成装置１２は、3Dモデル生成部２１、ストロボモデル生成部２２、オブジェクト指定UI情報生成部２３、及び、通信部２４を有する。

【0028】

3Dモデル生成部２１は、撮影装置１１からの複数の視点の視点画像とデプス画像とから、自由視点データである3Dモデルを、フレーム単位で生成する。3Dモデル生成部２１は、複数の視点から撮影された複数の視点画像から生成されるオブジェクトの３Dモデルを複数の時刻の視点画像から生成して、オブジェクトの複数の時刻の3Dモデルを3次元空間に配置したストロボモデルを生成する生成部の一部として機能する。

【0029】

ここでは、3Dモデルとは、広く、自由視点画像を生成することができる3D画像のデータを意味する。3Dモデルとしては、例えば、撮影装置１１からの複数の視点の視点画像とデプス画像とのセットを、そのまま採用することができる。また、3Dモデルとしては、その他、例えば、3次元の形状の情報である3D形状モデルと色の情報とを有する3Dデータや、複数の視点の2D画像とデプス画像とのセットを採用することができる。

【0030】

3Dモデルとして、撮影装置１１からの複数の視点の視点画像とデプス画像とのセットを採用する場合、3Dモデル生成部２１は、撮影装置１１からの複数の視点の視点画像とデプス画像とのセットを、3Dモデルとして出力する。

【0031】

3Dモデルとして、3D形状モデルと色の情報とを有する3Dデータを採用する場合、3Dモデル生成部２１は、撮影装置１１からの複数の視点の視点画像と、その複数の視点のデプス画像とを用いて、Visual Hull等によりモデリングを行って、視点画像に映るオブジェクトの3D形状モデル等を生成し、3Dモデルとして出力する。なお、撮影装置１１からのデプス画像の視点が、撮影装置１１からの視点画像の視点と異なる場合、3Dモデル生成部２１は、撮影装置１１からの複数の視点のデプス画像を用いて、撮影装置１１からの視点画像の視点のデプス画像を生成することができる。

【0032】

3Dモデルとして、複数の視点の2D画像とデプス画像とのセットを採用する場合、3Dモデル生成部２１は、例えば、上述したように、3D形状モデルと色の情報とを有する3Dモデルを生成し、その3Dモデルを、複数の視点（撮影装置１１を構成するカメラと同一の視点でも良いし、異なる視点でも良い）から見た2D画像とデプス画像とのセットを生成する。そして、3Dモデル生成部２１は、その複数の視点の2D画像とデプス画像とのセットを、3Dモデルとして出力する。

【0033】

3Dモデル生成部２１が出力する3Dモデルは、ストロボモデル生成部２２、及び、オブジェクト指定UI情報生成部２３に供給される。

【0034】

なお、3Dモデルとしては、3D形状モデルを有する3Dモデルよりも、複数の視点の2D画像とデプス画像とのセットを採用することにより、3Dモデルのデータ量を少なくすることができる。3Dモデルとして、複数の視点の2D画像とデプス画像とのセットを生成して伝送する技術については、本出願人が先に提案した国際公開2017/082076号に記載されている。3Dモデルとしての複数の視点の2D画像とデプス画像とのセットは、例えば、MVCD（Multiview and depth video coding）や、AVC(Advanced Video Coding)、HEVC(High Efficiency Video Coding)等の2D画像を対象とする符号化方式により符号化することができる。

【0035】

ここで、3Dモデル（の表現形式）には、大きく分けて、View Independentと呼ばれるモデル（以下、VIモデルともいう）と、View Dependentと呼ばれるモデル（以下、VDモデルともいう）とがある。

【0036】

VDモデルは、例えば、3D形状モデル等の3次元の形状に関する情報と、テクスチャとなる画像の情報とが別になっている3Dモデルである。VDモデルでは、3D形状モデルに、テクスチャとなる画像がマッピング（テクスチャマッピング）されることにより、色が付される。VDモデルによれば、（仮想）視点によって異なるオブジェクトの表面の反射の具合等を表現することができる。

【0037】

VIモデルは、例えば、3次元の形状に関する情報の構成要素としてのポリゴンや点が、色の情報を有している3Dモデル等である。VIモデルとしては、例えば、色付きのポイントクラウドや、3D形状モデルと、3D形状モデルの色の情報としてのUVマップとのセットがある。VIモデルによれば、どの（仮想）視点から見ても、ポリゴンや点が有する色が観測される。

【0038】

ストロボモデル生成部２２は、通信部２４から供給されるオブジェクト指定情報、ストロボ範囲情報、及び、ストロボ時間情報に応じて、撮影装置１１からの複数の視点の視点画像、及び、3Dモデル生成部２１からの3Dモデルを用い、視点画像に映る3次元空間（の3Dモデル）に、視点画像の複数のフレーム（異なる時刻）の同一のオブジェクトの3Dモデルが配置されたストロボモデルを生成する。

【0039】

すなわち、ストロボモデル生成部２２は、ストロボ時間情報が表すストロボ区間のフレームから、ストロボモデルの生成に用いるフレーム（以下、生成フレームともいう）を選択する。また、ストロボモデル生成部２２は、オブジェクト指定情報が表すキーオブジェクトを、対象オブジェクトに設定する。さらに、ストロボモデル生成部２２は、生成フレームに映るキーオブジェクト以外のオブジェクト（以下、非キーオブジェクトともいう）とキーオブジェクトとの関連の度合いを表すオブジェクト関連度に応じて、オブジェクト関連度が閾値以上の非キーオブジェクトを、対象オブジェクトに設定する。

【0040】

例えば、ストロボモデル生成部２２は、ストロボ範囲情報、及び、オブジェクト関連度としてのキーオブジェクトと非キーオブジェクトとの位置関係（距離）に応じて、その位置関係が、ストロボ範囲情報が表す範囲にマッチする非キーオブジェクトを、対象オブジェクトを設定する。

【0041】

ここで、オブジェクト関連度としては、キーオブジェクトと非キーオブジェクトとの位置関係の他、例えば、キーオブジェクトと非キーオブジェクトとの役割や、機能、性質等の関連を表す値を採用することができる。例えば、視点画像が、サッカーの試合を撮影した画像である場合において、キーオブジェクトが、サッカーボールをキープしているフィールドプレーヤであるときには、非キーオブジェクトとしての相手チームのゴールキーパについては、他の選手と比較して、高いオブジェクト関連度を採用（設定）することができる。また、オブジェクト関連度としては、オブジェクトごとに、異なる種類の関連を表す値を採用することができる。例えば、ある非キーオブジェクトについては、キーオブジェクトと非キーオブジェクトとの位置関係を、オブジェクト関連度として採用し、他の非キーオブジェクトについては、キーオブジェクトと非キーオブジェクトとの役割の関連を表す値を、オブジェクト関連度として採用することができる。

【0042】

ストロボモデル生成部２２は、生成フレームに映る対象オブジェクトの3Dモデルが配置されたストロボモデルを生成し、通信部２４に供給する。ストロボモデル生成部２２は、複数の視点から撮影された複数の視点画像から生成されるオブジェクトの３Dモデルを複数の時刻の視点画像から生成して、オブジェクトの複数の時刻の3Dモデルを3次元空間に配置したストロボモデルを生成する生成部の残りとして機能する。

【0043】

オブジェクト指定UI情報生成部２３は、撮影装置１１からの視点画像や、3Dモデル生成部２１からの3Dモデルを用いて、オブジェクト指定UI情報を生成し、通信部２４に供給する。

【0044】

通信部２４は、表示装置１３との間で通信を行う。すなわち、通信部２４は、オブジェクト指定UI情報生成部２３からのオブジェクト指定UI情報や、ストロボモデル生成部２２からのストロボモデルを、表示装置１３に送信する。また、通信部２４は、表示装置１３から送信されてくるオブジェクト指定情報、ストロボ範囲情報、及び、ストロボ時間情報を受信し、ストロボモデル生成部２２に供給する。

【0045】

＜表示装置１３の構成例＞

【0046】

図３は、図１の表示装置１３の構成例を示すブロック図である。

【0047】

表示装置１３は、通信部３１、エフェクト処理部３２、自由視点画像生成部３３、表示部３４、カメラワーク設定部３５、操作部３６、オブジェクト指定情報設定部３７、ストロボ範囲情報設定部３８、及び、ストロボ時間情報設定部３９を有する。

【0048】

通信部３１は、生成装置１２との間で通信を行う。すなわち、通信部３１は、オブジェクト指定情報設定部３７からのオブジェクト指定情報、ストロボ範囲情報設定部３８からのストロボ範囲情報、及び、ストロボ時間情報設定部３９からのストロボ時間情報を、生成装置１２に送信する。また、通信部３１は、生成装置１２から送信されてくるオブジェクト指定UI情報及びストロボモデルを受信する。通信部３１は、ストロボモデルを、エフェクト処理部３２に供給し、オブジェクト指定UI情報を、表示部３４、及び、オブジェクト指定情報設定部３７に供給する。

【0049】

エフェクト処理部３２は、例えば、ユーザによる操作部３６の操作等に応じて、通信部３１からのストロボモデルに配置された（対象オブジェクトの）3Dモデルにエフェクト処理を行い、自由視点画像生成部３３に供給する。

【0050】

例えば、エフェクト処理部３２は、ストロボモデルに配置されたオブジェクトの3Dモデルのうちの、例えば、最新の時刻の3Dモデルや、ユーザの操作に応じて指定された3Dモデルを基準3Dモデルとして、基準3Dモデルより過去及び未来のうちの一方又は両方の3Dモデルにエフェクト処理を行うことができる。

【0051】

自由視点画像生成部３３は、エフェクト処理部３２からのストロボモデルを、カメラワーク設定部３５からのカメラワークに応じて仮想カメラで撮影することにより得られる2D画像である3Dストロボ画像の動画を、自由視点画像（のデータ）として生成し、表示部３４に供給する。

【0052】

すなわち、自由視点画像生成部３３は、ストロボモデルを、カメラワーク設定部３５からのカメラワークに含まれる撮影位置から見た画像をレンダリングすることにより、自由視点画像としての3Dストロボ画像の動画を生成する。

【0053】

ここで、ストロボ画像とは、複数の時刻に撮影された１つ以上の同一のオブジェクト（像）が映る画像である。2D画像に映るオブジェクトが映るストロボ画像を、2Dストロボ画像ともいい、オブジェクトの3Dモデルが映る2D画像、すなわち、ストロボモデルを所定の視点から見た2D画像を、3Dストロボ画像ともいう。自由視点画像生成部３３では、3Dストロボ画像が生成される。

【0054】

表示部３４は、通信部３１からのオブジェクト指定UI情報に応じて、ストロボモデルを生成するオブジェクト（被写体）を指定するための手がかりとなるオブジェクト指定UIを表示する。また、表示部３４は、自由視点画像生成部３３からの3Dストロボ画像を表示する。

【0055】

表示部３４は、例えば、2Dのヘッドマウントディスプレイや、2Dのモニタ、3Dのヘッドマウントディスプレイ、3Dのモニタ等で構成することができる。3Dのヘッドマウントディスプレイやモニタは、例えば、左目用の2D画像及び右目用の2D画像を表示することにより立体視を実現する表示装置である。

【0056】

カメラワーク設定部３５は、ユーザによる操作部３６の操作等に応じて、仮想カメラによりストロボモデルを撮影することにより3Dストロボ画像を生成するときの仮想カメラのカメラワークを設定し、自由視点画像生成部３３に供給する。

【0057】

仮想カメラのカメラワークとは、仮想カメラで撮影を行うときの、その撮影の一切の作業（手順）に関する情報であり、例えば、仮想カメラの位置（撮影位置）や、姿勢（撮影姿勢）（撮影方向）、画角（ズーム倍率）等のカメラパラメータ等を含む。仮想カメラの撮影位置は、例えば、ワールド座標系としてのxyz座標系の座標等で表すことができ、仮想カメラの撮影姿勢は、xyz座標系の各軸回りの回転角等で表すことができる。

【0058】

操作部３６は、ユーザによって操作され、ユーザの操作に応じた操作情報を、必要なブロックに供給する。なお、操作部３６は、例えば、タッチパネル等によって、表示部３４と一体的に構成することができる。但し、操作部３６は、表示部３４とは別に構成することもできる。

【0059】

オブジェクト指定情報設定部３７は、ユーザによる操作部３６の操作に応じて、オブジェクト指定情報を設定し、通信部３１に供給する。

【0060】

ストロボ範囲情報設定部３８は、ユーザによる操作部３６の操作に応じて、ストロボ範囲情報を設定し、通信部３１に供給する。

【0061】

ストロボ時間情報設定部３９は、ユーザによる操作部３６の操作に応じて、ストロボ時間情報を設定し、通信部３１に供給する。

【0062】

ここで、生成装置１２では、図２で説明したように、キーオブジェクトの他、キーオブジェクトとのオブジェクト関連度が閾値以上の非キーオブジェクトが、対象オブジェクトに設定され、その対象オブジェクトの3Dモデルが配置されたストロボモデルが生成される。このようなストロボモデルによれば、効果的な3Dストロボ画像を生成することができる。

【0063】

例えば、複数人で行うスポーツの戦術分析やコーチングを行う場合、ファンにスポーツの試合の中継画像を見せる場合等において、ユーザが、キーオブジェクトとして指定した選手だけでなく、その選手の周辺にいる他の選手も映る3Dストロボ画像を生成することができる。また、例えば、視点画像が、サッカーの試合を撮影した画像である場合に、ユーザが、サッカーボールをキープしているフィールドプレーヤを、キーオブジェクトとして指定したときには、そのキーオブジェクトとしてのフィールドプレーヤの近くに存在するサッカーボールや、他のフィールドプレーヤ等を、ユーザがキーオブジェクトとして指定しなくても、それらのサッカーボールや他のフィールドプレーヤが、キーオブジェクトとしてのフィールドプレーヤとともに映る3Dストロボ画像を生成することができる。

【0064】

＜生成処理＞

【0065】

図４は、図２の生成装置１２が行う生成処理の例を説明するフローチャートである。

【0066】

生成処理では、ステップＳ１１において、生成装置１２は、撮影装置１１で撮影された複数の視点の視点画像（及びデプス画像）を得る。生成装置１２は、複数の視点の視点画像を、3Dモデル生成部２１、ストロボモデル生成部２２、及び、オブジェクト指定UI情報生成部２３に供給し、処理は、ステップＳ１１からステップＳ１２に進む。なお、撮影装置１１で撮影された複数の視点の視点画像は、表示装置１３で得て、表示装置１３から生成装置１２に送信することができる。

【0067】

ステップＳ１２では、3Dモデル生成部２１は、複数の視点の視点画像等を用いて、視点画像に映るオブジェクトの3Dモデルを、フレーム単位で生成する。3Dモデル生成部２１は、オブジェクトの3Dモデルを、ストロボモデル生成部２２、及び、オブジェクト指定UI情報生成部２３に供給して、処理は、ステップＳ１３に進む。

【0068】

ステップＳ１３では、オブジェクト指定UI情報生成部２３が、視点画像や、3Dモデル生成部２１からの3Dモデルを必要に応じて用いて、オブジェクト指定UI情報を生成する。オブジェクト指定UI情報生成部２３は、オブジェクト指定UI情報を、通信部２４に供給し、処理は、ステップＳ１３からステップＳ１４に進む。

【0069】

ステップＳ１４では、通信部２４が、オブジェクト指定UI情報生成部２３からのオブジェクト指定UI情報を、表示装置１３に送信し、処理は、ステップＳ１５に進む。

【0070】

ステップＳ１５では、通信部２４が、表示装置１３から、オブジェクト指定情報、ストロボ範囲情報、及び、ストロボ時間情報が送信されてくるのを待って、それらのオブジェクト指定情報、ストロボ範囲情報、及び、ストロボ時間情報を受信する。通信部２４は、オブジェクト指定情報、ストロボ範囲情報、及び、ストロボ時間情報を、ストロボモデル生成部２２に供給し、処理は、ステップＳ１５からステップＳ１６に進む。

【0071】

ステップＳ１６では、ストロボモデル生成部２２は、視点画像、及び、3Dモデル生成部２１からの3Dモデルを用い、通信部２４からのオブジェクト指定情報、ストロボ範囲情報、及び、ストロボ時間情報に応じて、ストロボモデルを生成する。

【0072】

すなわち、ストロボモデル生成部２２は、オブジェクト指定情報及びストロボ範囲情報に応じて、視点画像に映るオブジェクトから、ストロボモデルに3Dモデルを配置する対象の対象オブジェクトを設定する。

【0073】

また、ストロボモデル生成部２２は、ストロボ時間情報が表すストロボ区間のフレームから、ストロボモデルの生成に用いる生成フレームを選択する。

【0074】

ここで、ストロボ区間の全フレームを生成フレームとして、ストロボモデルの生成に用いると、ストロボモデルには、ストロボ区間のフレーム数と同一の数の、同一のオブジェクトの3Dモデルが重なって配置され、3Dストロボ画像が見にくい画像となることがある。

【0075】

そこで、ストロボモデル生成部２２は、ストロボ区間のフレームから、幾つかのフレームを生成フレームとして選択し、その生成フレーム（に映るオブジェクトの3Dモデル）を用いて、ストロボモデルを生成することができる。

【0076】

ストロボモデル生成部２２は、例えば、ストロボ区間のフレームから、対象オブジェクトの3Dモデルの干渉度が閾値以下となるフレームを、生成フレームとして選択することができる。すなわち、ストロボモデル生成部２２は、ストロボ区間のフレームに映る対象オブジェクトの3Dモデルを、3次元空間に配置した状態での、3Dモデルどうしの重なり具合を表す干渉度を算出する。干渉度は、例えば、3次元空間において、任意の2フレームの3Dモデルが完全に重なる場合を100％とするとともに、まったく重ならない場合を0％として算出される。そして、ストロボモデル生成部２２は、干渉度が所定の閾値以下のフレームを、生成フレームとして選択する。以上のように、ストロボ区間のフレームから、3Dモデルの干渉度が閾値以下となるフレームを、生成フレームとして選択し、その生成フレームに映る対象オブジェクトの3Dモデルが配置されたストロボモデルを生成することにより、ストロボモデルにおいて、3Dモデルが重なって配置され、3Dストロボ画像が見にくい画像となることを抑制することができる。

【0077】

なお、生成フレームの選択では、その他、例えば、単純に、ストロボ区間のフレームを、所定のフレーム数ごとに、生成フレームとして選択することができる。

【0078】

ストロボモデル生成部２２は、ストロボ区間のフレームから選択された複数の生成フレームに映る対象オブジェクトの3Dモデルが、例えば、その対象オブジェクトが撮影されたときの3次元空間としての背景（の3Dモデル）に配置されたストロボモデルを生成する。

【0079】

ストロボモデル生成部２２は、ストロボモデルを、通信部２４に供給し、処理は、ステップＳ１６からステップＳ１７に進む。

【0080】

ステップＳ１７では、通信部２４は、ストロボモデル生成部２２からのストロボモデルを、表示装置１３に送信し、生成処理は終了する。

【0081】

＜表示処理＞

【0082】

図５は、図３の表示装置１３が行う表示処理の例を説明するフローチャートである。

【0083】

表示処理では、ステップＳ３１において、通信部３１は、生成装置１２から、オブジェクト指定UI情報が送信されてくるのを待って、そのオブジェクト指定UI情報を受信する。通信部３１は、オブジェクト指定UI情報を、表示部３４、及び、オブジェクト指定情報設定部３７に供給し、処理は、ステップＳ３１からステップＳ３２に進む。

【0084】

ステップＳ３２では、表示部３４は、通信部３１からのオブジェクト指定UI情報に応じて、ストロボモデルを生成するオブジェクトを指定するための手がかりとなるオブジェクト指定UIを表示し、処理は、ステップＳ３３に進む。

【0085】

ステップＳ３３では、オブジェクト指定情報設定部３７は、表示部３４に表示されたオブジェクト指定UIに対するユーザの操作に応じて、キーオブジェクトを設定する。さらに、オブジェクト指定情報設定部３７は、キーオブジェクトを表すオブジェクト指定情報を設定（生成）する。そして、オブジェクト指定情報設定部３７は、オブジェクト指定情報を、通信部３１に供給し、処理は、ステップＳ３３からステップＳ３４に進む。

【0086】

ステップＳ３４では、ストロボ範囲情報設定部３８は、ユーザの操作に応じて、ストロボ範囲情報を設定して、通信部３１に供給し、処理は、ステップＳ３５に進む。

【0087】

ステップＳ３５では、ストロボ時間情報設定部３９は、ユーザの操作に応じて、ストロボ時間情報を設定して、通信部３１に供給し、処理は、ステップＳ３６に進む。

【0088】

ステップＳ３６では、通信部３１は、オブジェクト指定情報設定部３７からのオブジェクト指定情報、ストロボ範囲情報設定部３８からのストロボ範囲情報、及び、ストロボ時間情報設定部３９からのストロボ時間情報を、生成装置１２に送信し、処理は、ステップＳ３７に進む。

【0089】

ステップＳ３７では、通信部３１は、生成装置１２からストロボモデルが送信されてくるのを待って、そのストロボモデルを受信する。通信部３１は、生成装置１２からのストロボモデルを、エフェクト処理部３２に供給し、処理は、ステップＳ３７からステップＳ３８に進む。

【0090】

ステップＳ３８では、エフェクト処理部３２は、ユーザの操作に応じて、ストロボモデルに配置された（対象オブジェクトの）3Dモデルに、エフェクト処理を行う。例えば、エフェクト処理部３２は、ストロボモデルに配置された複数の時刻（生成フレーム）の3Dモデルのうちの、ユーザの操作等に応じて指定された基準3Dモデルより過去及び未来のうちの一方又は両方の3Dモデルにエフェクト処理を行う。

【0091】

エフェクト処理部３２は、エフェクト処理後の（3Dモデルが配置された）ストロボモデルを、自由視点画像生成部３３に供給し、処理は、ステップＳ３８から、ステップＳ３９に進む。なお、エフェクト処理部３２では、例えば、ユーザの操作等に応じて、ストロボモデルにエフェクト処理を行わずに、自由視点画像生成部３３に供給することができる。

【0092】

ステップＳ３９では、カメラワーク設定部３５が、ユーザの操作やストロボモデルに配置された対象オブジェクトの3Dモデルの状態等に応じて、仮想カメラのカメラワークを設定する。カメラワーク設定部３５は、カメラワークを、自由視点画像生成部３３に供給し、処理は、ステップＳ３９からステップＳ４０に進む。

【0093】

ステップＳ４０では、自由視点画像生成部３３は、エフェクト処理部３２からのストロボモデルを、カメラワーク設定部３５からのカメラワークに応じて仮想カメラにより撮影した3Dストロボ画像としての自由視点画像をレンダリングすることにより生成する。そして、自由視点画像生成部３３は、3Dストロボ画像を、表示部３４に供給して、処理は、ステップＳ４０からステップＳ４１に進む。

【0094】

ステップＳ４１では、表示部３４は、自由視点画像生成部３３からの3Dストロボ画像を表示し、表示処理は終了する。これにより、表示部３４では、3Dストロボ画像としての、仮想カメラによるストロボモデルの撮影位置から見た複数の生成フレームに映るオブジェクトの3Dモデルが映る2D画像が表示される。

【0095】

＜3Dストロボ画像の生成＞

【0096】

図６は、不自然な3Dストロボ画像の例を示す図である。

【0097】

図６は、手前側から奥側にオブジェクトとしてのボールが転がっている様子を撮影した視点画像のフレームのうちの５フレームを生成フレームとして用いて生成されたストロボモデルから生成された3Dストロボ画像の例を示している。

【0098】

図６では、５フレームの生成フレームに映るボールの3Dモデルが、時間的に後の3Dモデルを優先するように配置（レンダリング）されている。そのため、時間的に後の（ボールの）3Dモデルが、奥側に位置するのにもかかわらず、時間的に前の手前側の3Dモデルを隠すように配置されている。その結果、図６の3Dストロボ画像は、不自然な画像になっている。

【0099】

図７は、自然な3Dストロボ画像の例を示す図である。

【0100】

図７は、手前側から奥側にオブジェクトとしてのボールが転がっている様子を撮影した視点画像のフレームのうちの５フレームを生成フレームとして用いて生成されたストロボモデルから生成された3Dストロボ画像の例を示している。

【0101】

図７では、５フレームの生成フレームに映るボールの3Dモデルが、手前側の3Dモデルを優先するように配置されている。そのため、手前側の3Dモデルが奥側の3Dモデルを隠すように、すなわち、手前側の3Dモデルが優先的に映るように配置されている。その結果、図７の3Dストロボ画像は、自然な画像になっている。

【0102】

自由視点画像生成部３３は、ストロボモデルに配置された各オブジェクトの3Dモデルのデプス（奥行）を用いて、以上のような、手前側のオブジェクトの3Dモデルが優先的に映る3Dストロボ画像を生成する（仮想カメラにより撮影する）。

【0103】

図８は、ストロボ区間の視点画像のフレームの例を示す図である。

【0104】

図８では、時刻t1ないしt9の９フレームが、ストロボ区間の視点画像のフレームになっている。時刻t1ないしt9のフレームには、オブジェクトとしてのボールが左から右に転がっていく様子が映っている。

【0105】

図９は、ストロボ区間としての時刻t1ないしt9のフレームを用いたストロボモデルの生成の例を示す図である。

【0106】

図９では、ストロボ区間としての時刻t1ないしt9のフレームのうちの、時刻t1，t3，t5，t7、及び、t9のフレームが生成フレームに選択され、複数の視点の視点画像の生成フレームとしての時刻t1，t3，t5，t7、及び、t9のフレームに映るオブジェクトとしてのボールの3Dモデルが生成される。そして、生成フレームとしての時刻t1，t3，t5，t7、及び、t9のフレームに映るボールの3Dモデルが配置されたストロボモデルが生成される。

【0107】

図１０は、仮想カメラによるストロボモデルの撮影により生成される3Dストロボ画像の表示の例を示す図である。

【0108】

3Dストロボ画像の動画としては、図９のストロボモデルから、時刻t1のフレームに映るオブジェクトとしてのボールの3Dモデルが映るフレーム、時刻t1及びt3のフレームに映るオブジェクトとしてのボールの3Dモデルが映るフレーム、時刻t1，t3、及び、t5のフレームに映るオブジェクトとしてのボールの3Dモデルが映るフレーム、時刻t1，t3，t5、及び、t7のフレームに映るオブジェクトとしてのボールの3Dモデルが映るフレーム、並びに、時刻t1，t3，t5，t7、及び、t9のフレームに映るオブジェクトとしてのボールの3Dモデルが映るフレームを生成し、順次表示することができる。

【0109】

図１０の3Dストロボ画像では、ストロボモデルを撮影する仮想カメラの撮影位置が変更されていないが、仮想カメラの撮影位置は、カメラワークに応じて変更することができる。例えば、時刻t1，t3，t5，t7、及び、t9のフレームに映るオブジェクトとしてのボールの3Dモデルが配置されたストロボモデルを、撮影位置を変更しながら、仮想カメラで撮影することができる。撮影位置が変更される場合には、ストロボモデルを見る視点が変更され、カメラアングルが変化する3Dストロボ画像が表示される。

【0110】

＜エフェクト処理の対象となる3Dモデル＞

【0111】

図１１は、ストロボモデルにおいて、図３のエフェクト処理部３２でのエフェクト処理の対象となる3Dモデルを説明する図である。

【0112】

エフェクト処理部３２は、ストロボモデルにおいて、ストロボ区間のフレームから選択された複数の時刻としての複数の生成フレームに映るオブジェクトの3Dモデルのうちの、基準3Dモデルより過去及び未来のうちの一方又は両方の3Dモデルにエフェクト処理を行うことができる。

【0113】

エフェクト処理を行う対象の3Dモデルである対象モデルは、基準3Dモデルに対する時間方向（過去方向及び未来方向）を表すエフェクト方向と、基準3Dモデルからの離れ具合を表すエフェクト距離とで特定される。

【0114】

エフェクト方向としては、過去方向past、未来方向future、又は、過去方向past及び未来方向futureの両方を設定することができる。

【0115】

エフェクト方向として、過去方向pastが設定された場合、基準3Dモデルから、過去方向の3Dモデルに、エフェクト処理が行われる。エフェクト方向として、未来方向futureが設定された場合、基準3Dモデルから、未来方向の3Dモデルに、エフェクト処理が行われる。エフェクト方向として、過去方向past及び未来方向futureが設定された場合、基準3Dモデルから、過去方向の3Dモデルと未来方向の3Dモデルとに、エフェクト処理が行われる。

【0116】

エフェクト距離は、基準3Dモデルからの3Dモデルのモデル数number、距離distance、又は、時間timeで指定することができる。

【0117】

モデル数numberによれば、ストロボモデルに配置された3Dモデル、すなわち、ストロボモデルの生成に用いられた生成フレームに映る（オブジェクトの）3Dモデルのうちの、基準3Dモデルから、モデル数number以上離れた3Dモデルを、対象モデルとして指定することができる。

【0118】

距離distanceによれば、ストロボモデルに配置された3Dモデルのうちの、基準3Dモデルから、距離distance以上離れた3Dモデルを、対象モデルとして指定することができる。

【0119】

時間timeによれば、ストロボモデルに配置された3Dモデルのうちの、基準3Dモデルから、時間time以上離れた3Dモデルを、対象モデルとして指定することができる。

【0120】

エフェクト処理部３２は、ストロボモデルにおいて、基準3Dモデルから、モデル数number、距離distance、又は、時間time以上だけ、過去方向、未来方向、又は、過去と未来との両方向に離れた3Dモデルを対象モデルとして、エフェクト処理を行う。

【0121】

以下では、説明を簡単にするため、特に断らない限り、エフェクト処理は、基準3Dモデルから過去方向の3Dモデルに行うこととする。

【0122】

ここで、ストロボ区間が長く、多数のフレームが生成フレームとして選択される場合、ストロボモデルは、多数の3Dモデルを用いて生成される。

【0123】

多数の3Dモデルを用いて生成されるストロボモデルは、見にくい画像になることがある。

【0124】

例えば、多数の3Dモデルを用いて生成されるストロボモデルでは、そのストロボモデルに配置された所定のオブジェクトの3Dモデルのうちの、基準3Dモデルから一定時間以上前の時刻の3Dモデルが、時間的に後行する（未来の）3Dモデルや、他のオブジェクトの3Dモデルの（視聴の）妨げになることがある。

【0125】

また、多数の3Dモデルを用いて生成されるストロボモデルでは、オブジェクトが同じような軌跡を描くように移動する場合、例えば、オブジェクトが、鉄棒で、いわゆる大車輪（後方車輪又は前方車輪）を行っている場合、時間的に先行する（過去の）3Dモデルと、時間的に後行する3Dモデルとが、同じような軌跡を描くため、時間経過が分かりにくくなることがある。

【0126】

さらに、多数の3Dモデルを用いて生成されるストロボモデルでは、3Dモデルのデータ量が大になり、ストロボモデル（から生成される自由視点画像）を表示するのに要する処理量が大になる。

【0127】

エフェクト処理部３２において、ストロボモデルに配置された3Dモデルにエフェクト処理を行うことで、見やすいストロボモデルを提供し、また、ストロボモデルのデータ量や、ストロボモデルの表示に要する処理量を削減することができる。

【0128】

＜エフェクト処理の具体例＞

【0129】

図１２は、エフェクト処理の具体例を説明する図である。

【0130】

図１２では、エフェクト処理として、エフェクトモード0, 1, 2, 3, 4, 5, 6, 7, 8, 9, 10, 11, 12, 13, 14で表されるエフェクト処理がある。エフェクトモード1ないし14については、図１１で説明したエフェクト方向及びエフェクト距離を設定することができる。

【0131】

なお、エフェクト方向が設定されていない場合、エフェクト方向としては、デフォルトで、例えば、過去方向pastが設定されることとして、エフェクト処理が行われる。

【0132】

エフェクト距離は、図１１で説明したように、基準3Dモデルからの3Dモデルのモデル数number、距離distance、又は、時間timeで指定される。例えば、エフェクト方向が過去方向pastに設定され、エフェクト距離が、モデル数number=1に設定されている場合、基準3Dモデルから、モデル数number=1以上だけ、過去方向に離れた3Dモデルを対象モデルとして、エフェクトモードが表すエフェクト処理が行われる。

【0133】

エフェクトモード0は、エフェクト処理を行わないこと表す。

【0134】

エフェクトモード1は、3Dモデルを透明にするエフェクト処理を表す。エフェクトモード1のエフェクト処理では、対象モデルを、すべて同一の透明度の透明にすることもできるし、徐々に透明にすること、すなわち、基準3Dモデルから時間的又は距離的に離れた3Dモデル（対象モデル）ほど、透明度の高い透明にすることもできる。3Dモデルを、どのように透明にするかは、例えば、エフェクトモード1に付随するパラメータを定義し、そのパラメータによって指定することができる。なお、透明度を100％とする場合には、対象モデルは完全に透明になり、この場合、エフェクトモード1のエフェクト処理の結果は、実質的に、後述するエフェクトモード4と同様になる。

【0135】

エフェクトモード2は、3Dモデルを、徐々に消滅させるエフェクト処理を表す。

【0136】

エフェクトモード3は、3Dモデルのテクスチャ数（テクスチャとして使用する2D画像の数）を減らすエフェクト処理を表す。エフェクトモード3のエフェクト処理では、対象モデルのテクスチャ数を、すべて同一の数に減らすこともできるし、徐々に減らすこと、すなわち、基準3Dモデルから時間的又は距離的に離れた3Dモデルほど、テクスチャ数を減らすこともできる。3Dモデルのテクスチャ数をどのように減らすかは、例えば、エフェクトモード3に付随するパラメータを定義し、そのパラメータによって指定することができる。

【0137】

なお、エフェクトモード3のエフェクト処理については、テクスチャマッピングが行われる3Dモデル、すなわち、VDモデルが対象となり、テクスチャマッピングが行われないVIモデルは対象とならない。

【0138】

エフェクトモード4は、3Dモデルを消去するエフェクト処理を表す。

【0139】

エフェクトモード5は、3Dモデルの輝度及び彩度の少なくとも一方を小さくするエフェクト処理を表す。エフェクトモード5のエフェクト処理では、対象モデルの輝度及び彩度を、すべて同一の割合だけ小さくすることもできるし、徐々に小さくすること、すなわち、基準3Dモデルから時間的又は距離的に離れた3Dモデルほど、輝度及び彩度を小さくする割合をより大きくすることもできる。3Dモデルの輝度及び彩度をどのように小さくするかや、輝度及び彩度のいずれを小さくするかは、例えば、エフェクトモード5に付随するパラメータを定義し、そのパラメータによって指定することができる。

【0140】

エフェクトモード6は、ストロボモデルに配置される3Dモデルの数を制限するエフェクト処理を表す。エフェクトモード6のエフェクト処理では、ストロボモデルに配置する3Dモデルが、生成フレームの3Dモデルのうちの、対象モデル以外の3Dモデルだけに制限される。

【0141】

エフェクトモード7は、3Dモデルをローポリゴンにするエフェクト処理、すなわち、3Dモデルのメッシュ数（ポリゴン数）を減らすエフェクト処理を表す。エフェクトモード7のエフェクト処理では、対象モデルのメッシュ数を、すべて同一の数に減らすこともできるし、徐々に減らすこと、すなわち、基準3Dモデルから時間的又は距離的に離れた3Dモデルほど、メッシュ数を減らすこともできる。3Dモデルのメッシュ数をどのように減らすかは、例えば、エフェクトモード7に付随するパラメータを定義し、そのパラメータによって指定することができる。

【0142】

なお、エフェクトモード7のエフェクト処理については、ポリゴンで構成される3Dモデルが対象となり、ポリゴンで構成されない3Dモデル、すなわち、例えば、ワイヤーフレームは対象とならない。

【0143】

エフェクトモード8及び9は、3Dモデルの表現形式を変更するエフェクト処理を表す。

【0144】

すなわち、エフェクトモード8は、ポリゴンで構成される3Dモデルを、ワイヤーフレームに変更するエフェクト処理を表す。

【0145】

エフェクトモード9は、3Dモデルの表現形式をView DependentからView Independentに変更するエフェクト処理、すなわち、VDモデルをVIモデル（例えば、ポイントクラウド）に変更するエフェクト処理を表す。

【0146】

エフェクトモード10は、3Dモデルを消去し、3Dモデルがあった形跡を残すエフェクト処理を表す。

【0147】

エフェクトモード11は、3Dモデルのテクスチャ（テクスチャマテリアル）を変更するエフェクト処理を表す。3Dモデルのテクスチャを、どのようなテクスチャに変更するかは、例えば、エフェクトモード11に付随するパラメータを定義し、そのパラメータによって指定することができる。

【0148】

エフェクトモード12は、3Dモデルの（形状）をぼかすエフェクト処理を表す。3Dモデルぼかす程度は、例えば、エフェクトモード12に付随するパラメータを定義し、そのパラメータによって指定することができる。

【0149】

エフェクトモード13は、3Dモデルの色を変更するエフェクト処理を表す。3Dモデルの色を、どのような色に変更するかは、例えば、エフェクトモード13に付随するパラメータを定義し、そのパラメータによって指定することができる。

【0150】

エフェクトモード14は、3Dモデルのサイズを変更するエフェクト処理を表す。3Dモデルのサイズを変更する程度は、例えば、エフェクトモード14に付随するパラメータを定義し、そのパラメータによって指定することができる。

【0151】

エフェクトモード1ないし14については、エフェクト方向及びエフェクト距離を設定することができるが、必要に応じて、デフォルトのエフェクト方向及びエフェクト距離を定義しておくことができる。

【0152】

例えば、エフェクトモード1ないし10のデフォルトのエフェクト方向としては、過去方向pastを定義しておくことができる。

【0153】

また、例えば、エフェクトモード1のデフォルトのエフェクト距離としては、モデル数number=1を定義しておくことができる。

【0154】

この場合、エフェクトモード1のエフェクト方向及びエフェクト距離が設定されていなければ、基準3Dモデルから過去方向に１モデル以上離れた3Dモデル、すなわち、基準3Dモデルの過去方向の次の3Dモデル以前の3Dモデルを対象モデルとして、エフェクトモード1のエフェクト処理が行われる。

【0155】

さらに、例えば、エフェクトモード4のデフォルトのエフェクト距離としては、距離distance=5[m]を定義しておくことができる。

【0156】

この場合、エフェクトモード4のエフェクト方向及びエフェクト距離が設定されていなければ、基準3Dモデルから過去方向に5m以上離れた3Dモデルを対象モデルとして、エフェクトモード4のエフェクト処理が行われる。

【0157】

また、例えば、エフェクトモード5のデフォルトのエフェクト距離としては、時間time=10[sec]を定義しておくことができる。

【0158】

この場合、エフェクトモード5のエフェクト方向及びエフェクト距離が設定されていなければ、基準3Dモデルから過去方向に10秒以上離れた3Dモデルを対象モデルとして、エフェクトモード5のエフェクト処理が行われる。

【0159】

さらに、例えば、エフェクトモード7のデフォルトのエフェクト距離としては、モデル数number=3を定義しておくことができる。

【0160】

この場合、エフェクトモード7のエフェクト方向及びエフェクト距離が設定されていなければ、基準3Dモデルから過去方向に３モデル以上離れた3Dモデル、すなわち、基準3Dモデルの過去方向の３番目の3Dモデル以前の3Dモデルを対象モデルとして、エフェクトモード7のエフェクト処理が行われる。

【0161】

なお、エフェクト処理部３２が行うエフェクト処理については、複数のエフェクトモードを設定することができる。例えば、エフェクト処理について、エフェクトモード1及び3が設定された場合、3Dモデルを透明にし、かつ、テクスチャ数を減らすエフェクト処理が行われる。

【0162】

＜3Dモデル＞

【0163】

図１３は、図２の3Dモデル生成部２１が生成する3Dモデルを説明する図である。

【0164】

3Dモデル生成部２１が生成する3Dモデルとしては、3D形状（3次元の形状）とテクスチャとが一体的な3Dモデルや、3D形状とテクスチャとが別個の3Dモデル、複数の視点の2D画像とデプス画像とのセット等がある。

【0165】

ここで、3D形状とテクスチャとが一体的な3Dモデルとしては、色付きのポイントクラウドがある。3D形状とテクスチャとが別個の3Dモデルとしては、3次元形状モデル（メッシュ（ポリゴン）やポイントクラウド）とテクスチャとしての複数の視点の2D画像とのセットや、3次元形状モデルとテクスチャとしてのUVマップとのセット等がある。

【0166】

色付きのポイントクラウドや、3次元形状モデルとテクスチャとしてのUVマップとのセットは、VIモデルであり、3次元形状モデルとテクスチャとしての複数の視点の2D画像とのセットや、複数の視点の2D画像とデプス画像とのセットは、VDモデルである。

【0167】

3D形状とテクスチャとが一体的な3Dモデルについては、MPEGにおいて、符号化方式の規格化が予定されている。3D形状とテクスチャとが別個の3Dモデルについては、MPEG-4 AFX (Animation Framework eXtension) として、符号化方式が規格化されている。複数の視点の2D画像とデプス画像とのセットについては、HEVC(High Efficiency Video Coding)等の2D画像を対象とする符号化方式により符号化することができる。

【0168】

＜対象オブジェクトの設定＞

【0169】

図１４は、対象オブジェクトの設定の例を示す図である。

【0170】

対象オブジェクトを設定する方法としては、例えば、ユーザに、対象オブジェクトの3Dモデルを指定してもらう方法がある。

【0171】

図１４において、縦軸は、時間を表し、横軸は、視点を表す。図１４では、複数の視点の視点画像が、フレームごとに示されている。

【0172】

対象オブジェクトを設定する方法として、ユーザに、対象オブジェクトの3Dモデルを指定してもらう方法を採用する場合には、視点画像の各フレーム（生成フレーム）について、複数の視点の視点画像を用いて、フレームに映るオブジェクトの3Dモデルが生成される。3Dモデルは、VDモデル及びVIモデルのいずれであってもよい。そして、ユーザは、フレームごとに、対象オブジェクト（とするオブジェクト）の3Dモデルを、マニュアルで指定する。

【0173】

以上のように、ユーザに、対象オブジェクトの3Dモデルを指定してもらう方法では、ユーザは、対象オブジェクトの3Dモデルを、フレームごとに、マニュアルで指定しなければならず、面倒であり、ユーザの負担が大である。

【0174】

そこで、生成装置１２は、オブジェクト指定UI情報を生成し、表示装置１３は、オブジェクト指定UI情報に応じて、オブジェクト指定UIを表示する。ユーザは、オブジェクト指定UIを用いることにより、対象オブジェクトを、容易に指定することができる。

【0175】

図１５は、オブジェクト指定UI情報に応じて表示されるオブジェクト指定UIの例を示す図である。

【0176】

オブジェクト指定UIとしては、3Dモデル生成部２１で生成される3Dモデルを所定の視点から見た、オブジェクトが映る自由視点画像（の静止画又は動画）を採用することができる。オブジェクト指定UIとしての自由視点画像としては、テクスチャがある自由視点画像を採用することもできるし、テクスチャがない自由視点画像を採用することもできる。なお、オブジェクト指定UIとしての自由視点画像については、ユーザ（による操作部３６）の操作に応じて、視点を変更することができる。

【0177】

また、オブジェクト指定UIとしては、オブジェクトが映る視点画像そのものを採用することができる。さらに、オブジェクト指定UIとしては、視点画像に映るシーンを俯瞰した、オブジェクト（オブジェクトを表すシンボル）が映る俯瞰画像を採用することができる。

【0178】

表示装置１３において、オブジェクト指定UIとしてのテクスチャがある自由視点画像、テクスチャがない自由視点画像、視点画像、及び、俯瞰画像のうちのいずれを表示するかは、例えば、ユーザの操作等に応じて選択することができる。

【0179】

ユーザは、操作部３６を操作することにより、オブジェクト指定UIに対して、オブジェクト指定UIに表示されたオブジェクトから、対象オブジェクトを指定する。オブジェクト指定情報設定部３７は、ユーザの操作に応じて、ユーザが指定した対象オブジェクトを、キーオブジェクトに設定し、そのキーオブジェクトを表すオブジェクト指定情報を設定（生成）する。キーオブジェクトに設定される対象オブジェクトは、フレームごとに指定する必要はない。キーオブジェクトに設定される対象オブジェクトとしては、複数のオブジェクトを指定することができる。すなわち、キーオブジェクトとしては、複数のオブジェクトを設定することができる。

【0180】

以上のように、オブジェクト指定UIを表示することにより、ユーザは、オブジェクト指定UIに対する操作を行うことで、所望のオブジェクトを、キーオブジェクトとなる対象オブジェクトに、容易に指定することができる。

【0181】

なお、ここでは、ユーザが指定した対象オブジェクトを、キーオブジェクトに設定することとしたが、キーオブジェクトは、視点画像等の解析処理を行い、その解析処理の結果に応じて行うことができる。例えば、サッカーの試合が映る視点画像については、解析処理によって、サッカーボールをキープしている選手を認識し、その選手をキーオブジェクトに設定することができる。

【0182】

また、ユーザは、オブジェクト指定UIに対する操作を行うことで、キーオブジェクトを指定する他、対象オブジェクトとなるオブジェクトの空間的な範囲、すなわち、キーオブジェクトとのオブジェクト関連度としての位置関係に応じて対象オブジェクトに設定されるオブジェクトの空間的な範囲を指定することができる。この場合、ストロボ範囲情報設定部３８は、ユーザの操作に応じて、対象オブジェクトに設定されるオブジェクトの空間的な範囲を表すストロボ範囲情報を設定する。

【0183】

図１６は、オブジェクト指定UI情報とオブジェクト指定情報とを説明するである。

【0184】

オブジェクト指定UI情報生成部２３（図２）において生成されるオブジェクト指定UI情報には、オブジェクト指定UIと、オブジェクト情報とが含まれる。

【0185】

オブジェクト情報は、オブジェクト指定UIとしての自由視点画像等のフレームごとに存在し、そのフレームに映るオブジェクト（被写体）を特定するオブジェクトIDと、そのオブジェクトの位置情報としての、例えば、2D座標系の座標(u,v)とが対応付けられて構成される。

【0186】

オブジェクト指定情報設定部３７（図３）は、オブジェクト指定UIに対するユーザの操作により指定されたキーオブジェクトのオブジェクトIDを、オブジェクト情報から認識し、そのキーオブジェクトのオブジェクトIDのリストを、オブジェクト指定情報として設定する。

【0187】

生成装置１２（図２）のストロボモデル生成部２２は、オブジェクト指定UI情報生成部２３において生成されたオブジェクト情報を参照し、オブジェクト指定情報としてのオブジェクトIDが表すキーオブジェクトを特定する。

【0188】

＜ストロボ範囲情報＞

【0189】

図１７は、ストロボ範囲情報の第１の例を説明する図である。

【0190】

対象オブジェクトとなるオブジェクト（対象オブジェクトに設定されるオブジェクト）の空間的な範囲を表すストロボ範囲情報としては、キーオブジェクトを基準とする範囲を表す情報や、キーオブジェクト以外のオブジェクト（非キーオブジェクト）を基準とする範囲を表す情報を採用することができる。

【0191】

キーオブジェクトを基準とする範囲を表す情報としては、例えば、キーオブジェクトを中心とする円（球）の半径、すなわち、キーオブジェクトからの距離を採用することができる。非キーオブジェクトを基準とする範囲を表す情報としては、例えば、非キーオブジェクトを中心とする円の半径、すなわち、非キーオブジェクトからの距離を採用することができる。

【0192】

キーオブジェクトからの距離を、ストロボ範囲情報として採用する場合、ストロボ範囲情報は、キーオブジェクトにのみ設定される。非キーオブジェクトからの距離を、ストロボ範囲情報として採用する場合、ストロボ範囲情報は、非キーオブジェクトごとに設定される。ストロボ範囲情報としての非キーオブジェクトからの距離は、非キーオブジェクトごとに異なっていてもよいし、同一であってもよい。

【0193】

図１７は、キーオブジェクトからの距離を、ストロボ範囲情報として採用する場合の、対象オブジェクトの設定の例を示している。

【0194】

図１７では、視点画像に映る3次元空間を上から俯瞰した状態が示されている。

【0195】

図１７では、3個のオブジェクトo1, o2, o3が存在し、オブジェクトo1がキーオブジェクトに設定されている。したがって、オブジェクトo2及びo3は、非キーオブジェクトである。図１７では、キーオブジェクトからの距離r1が、ストロボ範囲情報に設定されている。そして、非キーオブジェクトo2は、キーオブジェクトo1に対して、距離r1よりも近い距離に位置し、非キーオブジェクトo3は、キーオブジェクトo1に対して、距離r1よりも遠い距離に位置している。

【0196】

この場合、ストロボモデル生成部２２（図２）では、オブジェクトo1ないしo3のうちの、キーオブジェクトo1と、キーオブジェクトo1からの距離がストロボ範囲情報としての距離r1以内のオブジェクトo2とが対象オブジェクトに設定される。オブジェクトo3は、キーオブジェクトo1からの距離が、ストロボ範囲情報としての距離r1を超えるため、対象オブジェクトには設定されない。

【0197】

なお、ストロボ範囲情報設定部３８（図３）は、ユーザによる操作部３６の操作に応じて、ストロボ範囲情報を設定する他、オブジェクト指定情報が表す（オブジェクトIDによって特定される）キーオブジェクトに応じて、ストロボ範囲情報を設定することができる。ストロボ範囲情報設定部３８において、キーオブジェクトに応じて、ストロボ範囲情報を設定する場合、キーオブジェクトごとに異なる距離を、ストロボ範囲情報に設定することができる。

【0198】

例えば、視点画像が、サッカーの試合を撮影した画像である場合において、選手とサッカーボールとが、キーオブジェクトに設定されたときには、キーオブジェクトとしての選手とサッカーボールとで異なる距離を、選手とサッカーボールとのストロボ範囲情報に設定することができる。例えば、選手には、あらかじめ決められた所定の距離を設定し、サッカーボールには、選手に設定された距離よりも長い距離を設定することができる。

【0199】

図１８は、ストロボ範囲情報の第２の例を説明する図である。

【0200】

図１８は、非キーオブジェクトからの距離を、ストロボ範囲情報として採用する場合の、対象オブジェクトの設定の例を示している。

【0201】

図１８では、図１７と同様に、視点画像に映る3次元空間を上から俯瞰した状態が示されている。

【0202】

さらに、図１８では、図１７と同様に、3個のオブジェクトo1ないしo3が存在し、オブジェクトo1がキーオブジェクトに設定されている。したがって、オブジェクトo2及びo3は、図１７と同様に、非キーオブジェクトである。また、図１８では、非キーオブジェクトo2は、キーオブジェクトo1に対して、非キーオブジェクトo3よりも近い距離に位置し、非キーオブジェクトo3は、キーオブジェクトo1に対して、非キーオブジェクトo2よりも遠い距離に位置している。この点、図１７でも同様である。

【0203】

図１８では、非キーオブジェクトo2及びo3からの距離r2及びr3が、ストロボ範囲情報に設定されている。距離r3は、距離r2よりも遠い距離になっている。この場合、ストロボモデル生成部２２（図２）では、オブジェクトo1ないしo3のうちの、キーオブジェクトo1と、キーオブジェクトo1までの距離がストロボ範囲情報としての距離r3以内のオブジェクトo3とが対象オブジェクトに設定される。オブジェクトo2は、キーオブジェクトo1までの距離が、非キーオブジェクトo2のストロボ範囲情報としての距離r2を超えるため、対象オブジェクトには設定されない。

【0204】

以上のように、非キーオブジェクトからの距離を、ストロボ範囲情報として採用する場合、ストロボ範囲情報としての非キーオブジェクトからの距離の設定の仕方によって、キーオブジェクトo1からの距離が近い非キーオブジェクトo2ではなく、キーオブジェクトo1からの距離が遠い非キーオブジェクトo3を、対象オブジェクトに設定することができる。

【0205】

例えば、視点画像が、サッカーの試合を撮影した画像である場合において、キーオブジェクトが、サッカーボールをキープしているフィールドプレーヤであるときには、非キーオブジェクトとしての相手チームのゴールキーパのストロボ範囲情報としての距離を、サッカーボールをキープしているフィールドプレーヤまでの距離より長い（と予測される）距離に設定することができる。この場合、キーオブジェクトとしての、サッカーボールをキープしているフィールドプレーヤと、非キーオブジェクトとしての相手チームのゴールキーパとが、対象オブジェクトとなり、サッカーボールをキープしているフィールドプレーヤ（の3Dモデル）と、非キーオブジェクトとしての相手チームのゴールキーパ（の3Dモデル）とが、少なくとも映る3Dストロボ画像を生成することができる。

【0206】

＜ストロボ時間情報＞

【0207】

図１９は、ストロボ時間情報を説明する図である。

【0208】

ストロボ時間情報は、ストロボモデルを生成する対象のフレームの区間であるストロボ区間を表す。ユーザは、例えば、ストロボ区間の先頭のフレーム及び最後のフレームを指定することや、ストロボ区間の先頭のフレーム及び最後のフレームのタイムコードを入力すること等により、ストロボ区間を指定することができる。

【0209】

＜オブジェクト関連度としてのキーオブジェクトと非キーオブジェクトとの位置関係（距離）に応じた対象オブジェクトの設定＞

【0210】

図２０は、オブジェクト関連度としてのキーオブジェクトと非キーオブジェクトとの位置関係に応じた対象オブジェクトの設定の第１の例を説明する図である。

【0211】

図２０では、ユーザが、生成フレームt#nに映るオブジェクトのうちの、あるオブジェクト（図２０では2個のオブジェクト）を、キーオブジェクト（となる対象オブジェクト）に指定している。

【0212】

対象オブジェクトの設定の第１の例では、ストロボモデル生成部２２は、キーオブジェクトだけを、対象オブジェクトに設定する。

【0213】

図２１は、オブジェクト関連度としてのキーオブジェクトと非キーオブジェクトとの位置関係に応じた対象オブジェクトの設定の第２の例を説明する図である。

【0214】

図２１では、ユーザが、フレームt#nに映るオブジェクトのうちの、あるオブジェクト（図２１では1個のオブジェクト）を、キーオブジェクトに指定している。

【0215】

対象オブジェクトの設定の第２の例では、ストロボモデル生成部２２は、キーオブジェクトと、キーオブジェクトが指定された生成フレームt#nに映る非キーオブジェクトのうちの、キーオブジェクトからの距離がストロボ範囲情報としての所定の距離以内にある非キーオブジェクト（図中、斜線を付した丸で示す）とを、対象オブジェクトに設定する。

【0216】

図２２は、オブジェクト関連度としてのキーオブジェクトと非キーオブジェクトとの位置関係に応じた対象オブジェクトの設定の第３の例を説明する図である。

【0217】

図２２では、ユーザが、生成フレームt#nに映るオブジェクトのうちの、あるオブジェクト（図２２では1個のオブジェクト）を、キーオブジェクトに指定している。

【0218】

対象オブジェクトの設定の第３の例では、ストロボモデル生成部２２は、キーオブジェクトと、キーオブジェクトが指定された生成フレームt#nに映る非キーオブジェクトのうちの、キーオブジェクトからの距離がストロボ範囲情報としての所定の距離以内にある非キーオブジェクト（図中、斜線を付した丸で示す）とを、対象オブジェクトに設定する。

【0219】

さらに、ストロボモデル生成部２２は、キーオブジェクトが指定された生成フレームt#nの1フレーム前の生成フレームt#n-aに映る非キーオブジェクト、及び、1フレーム後の生成フレームt#n+bに映る非キーオブジェクトのうちの、キーオブジェクトからの距離がストロボ範囲情報としての所定の距離以内にある非キーオブジェクト（図中、斜線を付した丸で示す）を、対象オブジェクトに設定する。

【0220】

以上のように、対象オブジェクトの設定の第３の例では、１の生成フレームとしてのキーオブジェクトが指定された生成フレームt#nにおいて、キーオブジェクトとの距離が所定の距離内の非キーオブジェクトと、他の生成フレームとしての、生成フレームt#nの1フレーム前の生成フレームt#n-aや1フレーム後の生成フレームt#n+bにおいて、キーオブジェクトとの距離が所定の距離内の非キーオブジェクトとが、対象オブジェクトに設定される。

【0221】

この場合、キーオブジェクトが指定された生成フレームt#nにおいて、キーオブジェクトとの距離が所定の距離内にない非キーオブジェクトであっても、その非キーオブジェクトやキーオブジェクトが、図中、点線の矢印で示すように動いているときには、他の生成フレームにおいて、キーオブジェクトとの距離が所定の距離内になって、対象オブジェクトに設定されることがある。

【0222】

なお、対象オブジェクトの設定の第３の例では、その他、例えば、キーオブジェクトが指定された生成フレームt#nの2フレーム以上前又は後の生成フレームにおいて、キーオブジェクトからの距離がストロボ範囲情報としての所定の距離以内にある非キーオブジェクトを、対象オブジェクトに設定することができる。

【0223】

図２３は、オブジェクト関連度としてのキーオブジェクトと非キーオブジェクトとの位置関係に応じた対象オブジェクトの設定の第４の例を説明する図である。

【0224】

図２３では、ユーザが、生成フレームt#nに映るオブジェクトo1ないしo7のうちの、オブジェクトo4を、キーオブジェクトに指定している。

【0225】

対象オブジェクトの設定の第４の例では、ストロボモデル生成部２２は、キーオブジェクトo4と、キーオブジェクトo4が指定された生成フレームt#nに映る非キーオブジェクトo1ないしo3及びo5ないしo7のうちの、キーオブジェクトo4からの距離がストロボ範囲情報としての所定の距離以内にある非キーオブジェクトo2とを、対象オブジェクトに設定する。

【0226】

さらに、ストロボモデル生成部２２は、キーオブジェクトo4が指定された生成フレームt#nに映る非キーオブジェクトo1ないしo3及びo5ないしo7のうちの、対象オブジェクトに設定されたオブジェクトo2を、キーオブジェクトに準ずる準キーオブジェクトに設定する。そして、ストロボモデル生成部２２は、キーオブジェクトが指定された生成フレームt#nの1フレーム前の生成フレームt#n-aに映る非キーオブジェクトo1ないしo3及びo5ないしo7、及び、1フレーム後の生成フレームt#n+bに映る非キーオブジェクトo1ないしo3及びo5ないしo7のうちの、準キーオブジェクトo2からの距離がストロボ範囲情報としての所定の距離以内にある非キーオブジェクトを、対象オブジェクトに設定する。

【0227】

図２３では、準キーオブジェクトo2が、図中点線の矢印で示すように動いている。そのため、図２３では、生成フレームt#n-aにおいて、準キーオブジェクトo2からの距離がストロボ範囲情報としての所定の距離以内にある非キーオブジェクトとして、オブジェクトo1が存在する。さらに、生成フレームt#n+bにおいて、準キーオブジェクトo2からの距離がストロボ範囲情報としての所定の距離以内にある非キーオブジェクトとして、オブジェクトo7が存在する。

【0228】

その結果、対象オブジェクトの設定の第４の例では、キーオブジェクトo4及び準キーオブジェクトo2の他、生成フレームt#n-aに映る非キーオブジェクトo1、及び、生成フレームt#n+bに映る非キーオブジェクトo7が、対象オブジェクトに設定される。

【0229】

対象オブジェクトの設定の第４の例では、キーオブジェクトo4を、ルートノードとし、そのキーオブジェクトo4が指定された生成フレームt#nにおいて、キーオブジェクトo4から、ストロボ範囲情報としての所定の距離以内にある非キーオブジェクトo2が、ルートノードに属するノードとなる。さらに、キーオブジェクトo4が指定された生成フレームt#nの1フレーム前の生成フレームt#n-a及び1フレーム後の生成フレームt#n+bにおいて、ルートノードに属するノードに対応する非キーオブジェクトo2から、ストロボ範囲情報としての所定の距離以内にある非キーオブジェクトo1及びo7が、非キーオブジェクトo2に対応するノードに属するノードとなる。そして、以上のようなノードで構成される木構造の各ノードに対応するオブジェクトo1,o2,o4,o7が、対象オブジェクトに設定される。

【0230】

なお、対象オブジェクトの設定の第４の例では、その他、例えば、キーオブジェクトが指定された生成フレームt#nの2フレーム以上前又は後の生成フレームについても繰り返しノードを増やしていくことができる。すなわち、オブジェクトo1及びo7を、準キーオブジェクトに設定し、キーオブジェクトが指定された生成フレームt#nの2フレーム前の生成フレームt#n-a及び2フレーム後の生成フレームに映る非キーオブジェクトのうちの、準キーオブジェクトo2及びo7からの距離がストロボ範囲情報としての所定の距離以内にある非キーオブジェクトを対象オブジェクトに設定することを繰り返すことができる。また、対象オブジェクトの設定は、第３の例（図２２）と第４の例（図２３）とを組み合わせて行うことができる。

【0231】

＜カメラワーク＞

【0232】

図２４は、図３のカメラワーク設定部３５で設定されるカメラワークの第１の例を示す図である。

【0233】

カメラワークとしては、各時刻について、仮想カメラの撮影位置、撮影姿勢、及び、カメラパラメータを設定することができる。例えば、1時刻に、ストロボモデルを仮想カメラで撮影することにより得られる画像が、3Dストロボ画像の1フレームとなる。

【0234】

各時刻についての仮想カメラの撮影位置、撮影姿勢、及び、カメラパラメータの設定は、ユーザの操作に応じて行うこともできるし、ストロボモデルに配置される対象オブジェクトの3Dモデルの分布等に応じて自動で行うこともできる。

【0235】

なお、撮影姿勢及び撮影位置は、カメラパラメータの一部として、カメラパラメータに含めることができる。

【0236】

図２５は、カメラワークとしてのカメラパラメータのうちの画角（ズーム倍率）に関するパラメータの設定の例を説明する図である。

【0237】

仮想カメラの画角に関するパラメータ（焦点距離(fx,fy)）としては、図２５に示すように、対象オブジェクトのみがなるべく画角内に入るカメラパラメータ、すなわち、対象オブジェクトでないオブジェクト（以下、非対象オブジェクトともいう）がなるべく画角内に入らないパラメータを設定することができる。

【0238】

画角に関するパラメータの設定は、ユーザの操作に応じて行う他、ストロボモデルに配置される対象オブジェクトの3Dモデルの分布等に応じて自動で行うことができる。

【0239】

図２６は、図３のカメラワーク設定部３５で設定されるカメラワークの第２の例を示す図である。

【0240】

カメラワークとしては、ストロボモデルの撮影を開始するときの仮想カメラの撮影位置（以下、撮影開始位置ともいう）、及び、ストロボモデルの撮影を終了するときの仮想カメラの撮影位置（以下、撮影終了位置ともいう）、並びに、撮影終了位置と撮影終了位置とのそれぞれの仮想カメラの撮影姿勢、及び、カメラパラメータを設定することができる。さらに、カメラワークとしては、仮想カメラを、撮影開始位置から撮影終了位置まで移動させるときの回転中心を設定することができる。仮想カメラを撮影開始位置から撮影終了位置まで移動させるときの回転中心は、ワールド座標系としてのxyz座標系の座標で表すことができる。

【0241】

撮影開始位置及び撮影終了位置、並びに、撮影終了位置と撮影終了位置とのそれぞれの仮想カメラの撮影姿勢、及び、カメラパラメータの設定は、ユーザの操作に応じて行うこともできるし、例えば、ストロボモデルに配置される対象オブジェクトの3Dモデルの分布等に応じて自動で行うこともできる。

【0242】

同様に、回転中心の設定も、ユーザの操作に応じて行うこともできるし、例えば、ストロボモデルに配置される対象オブジェクトの3Dモデルの分布等に応じて自動で行うこともできる。回転中心の設定を、ストロボモデルに配置される対象オブジェクトの3Dモデルの分布に応じて行う場合には、例えば、ストロボモデルに配置される3Dモデルの重心の位置を、回転中心に設定することができる。

【0243】

図２７は、カメラワークの第２の例を採用する場合の仮想カメラの移動の例を示す図である。

【0244】

図２７では、対象オブジェクトの重心の位置OOが、カメラワークとしての回転中心に設定されている。仮想カメラを移動する移動ルートとしては、回転中心OOを中心とする円の円周上を、撮影開始位置から撮影終了位置まで移動するルートを採用することができる。

【0245】

カメラワークの第２の例を採用する場合、仮想カメラによるストロボモデルの撮影時に、撮影開始位置及び撮影終了位置を用いて、撮影開始位置から撮影終了位置までの移動ルート上に、撮影位置が補間される。さらに、撮影開始位置及び撮影終了位置の撮影姿勢を用いて、各撮影位置の撮影姿勢が補間されるとともに、撮影開始位置及び撮影終了位置のカメラパラメータを用いて、各撮影位置のカメラパラメータが補間される。そして、各撮影位置において、各撮影姿勢の仮想カメラにより、各カメラパラメータで、ストロボモデルが撮影される。

【0246】

以上のように、仮想カメラの画角や撮影位置等のカメラワークを設定することにより、ユーザに、3Dストロボ画像を効果的に見せることができる。すなわち、ユーザは、対象オブジェクトの時間的な変化を、様々な視点から、見やすいオブジェクトの大きさで視聴することができる。

【0247】

＜ストロボモデルのデータ量＞

【0248】

図２８は、生成装置１２から表示装置１３に送信されるストロボモデルのデータ量の第１の例を説明する図である。

【0249】

例えば、3Dモデルとして、3次元形状モデルとUVマップとのセットや、色付きのポイントクラウド等のVIモデルを採用する場合には、ストロボモデルは、対象オブジェクトの数分のVIモデルが、生成フレームの数分だけ配置されて構成される。したがって、ストロボモデルのデータ量は、対象オブジェクトの数分のVIモデルのデータ量の、生成フレームの数分になる。図２８では、生成フレームが、時刻t=0,1,2の3フレームになっている。

【0250】

図２９は、ストロボモデルのデータ量の第２の例を説明する図である。

【0251】

例えば、3Dモデルとして、3次元形状モデルと、テクスチャマッピングに用いられるテクスチャとしての各視点の視点画像とのセット等のVDモデルを採用する場合には、ストロボモデルは、テクスチャマッピングされた対象オブジェクトの数分の3D形状モデルが、生成フレームの数分だけ配置されて構成される。

【0252】

この場合、ストロボモデルの3D形状モデルのデータ量は、対象オブジェクトの数分の3D形状モデルのデータ量の、生成フレームの数分になる。図２９では、生成フレームが、時刻t=0,1,2の3フレームになっている。

【0253】

ここで、各生成フレームに映る各対象オブジェクトの3D形状モデルにテクスチャマッピングを行う場合には、テクスチャとして、各視点の視点画像の生成フレーム、すなわち、視点数×生成フレームの数分の視点画像のフレーム（生成フレーム）が必要である。但し、ストロボモデルについては、そのストロボモデルに3Dモデルが配置される対象オブジェクトのテクスチャがあればテクスチャマッピングを行うことができる。

【0254】

そこで、ここでは、例えば、ストロボモデルに3Dモデルが配置される対象オブジェクトのテクスチャマッピングを、生成フレームに映る対象オブジェクトの奥行を考慮して、手前側が優先的に映るように、（ストロボモデルの生成に用いる複数の）生成フレームを合成した合成画像を用いて行うこととする。このような合成画像は、視点ごとに生成される。また、視点ごとの合成画像を用いたストロボモデルのテクスチャマッピングでは、合成画像の元となる視点画像が撮影されたときの視点ごとのカメラパラメータ（撮影位置や焦点距離等）が必要となる。

【0255】

したがって、合成画像を用いて、ストロボモデルのテクスチャマッピングを行う場合、ストロボモデルのデータ量は、対象オブジェクトの数分の3D形状モデルのデータ量の、生成フレームの数分に、視点数分の合成画像のデータ量と、視点数分のカメラパラメータのデータ量とを加算したデータ量となる。

【0256】

なお、VDモデルとして、複数の視点の2D画像とデプス画像とのセットを採用する場合には、複数の視点の2D画像及びデプス画像は、上述のテクスチャとしての各視点の視点画像と同様に、合成画像にして扱うことができる。

【0257】

図３０は、生成装置１２から表示装置１３への、ストロボモデルを構成する合成画像の送信を説明する図である。

【0258】

合成画像については、その合成画像の全部を、生成装置１２から表示装置１３に送信する他、合成画像から、対象オブジェクトを含む一部の領域を切り出し、その一部の領域を、合成画像の全部に代えて送信することができる。

【0259】

以上のように、合成画像の一部の領域を送信する場合には、合成画像の全部を送信する場合に比較して、ストロボモデルのデータ量を抑制することができる。

【0260】

＜本技術を適用した画像処理システムの他の一実施の形態＞

【0261】

図３１は、本技術を適用した画像処理システムの他の一実施の形態の構成例を示すブロック図である。

【0262】

なお、図中、図１の場合と対応する部分については、同一の符号を付してあり、以下では、その説明は、適宜省略する。

【0263】

図３１において、画像処理システムは、撮影装置１１、生成装置１１２、及び、表示装置１１３を有する。

【0264】

したがって、図３１の画像処理システムは、撮影装置１１を有する点で、図１の場合と共通する。但し、図３１の画像処理システムは、生成装置１２、及び、表示装置１３に代えて、生成装置１１２、及び、表示装置１１３がそれぞれ設けられている点で、図１の場合と相違する。

【0265】

生成装置１１２は、生成装置１２と同様に、オブジェクト指定UI情報を生成し、表示装置１３に送信する。また、生成装置１１２は、生成装置１２と同様に、表示装置１１３から送信されてくるオブジェクト指定情報、ストロボ範囲情報、及び、ストロボ時間情報に応じて、ストロボモデルを生成する。

【0266】

さらに、生成装置１１２は、ストロボモデルを、表示装置１１３から送信されてくるカメラワーク操作情報に応じて設定されるカメラワークに応じて仮想カメラで撮影することにより得られる3Dストロボ画像を生成し、表示装置１１３に送信する。カメラワーク操作情報とは、カメラワークに関してユーザが行った操作を表す情報である。

【0267】

表示装置１１３は、表示装置１３と同様に、生成装置１１２から送信されてくるオブジェクト指定UI情報に応じて、オブジェクト指定UIを表示する。さらに、表示装置１１３は、表示装置１３と同様に、オブジェクト指定UI等に対するユーザの操作に応じて、オブジェクト指定情報、ストロボ範囲情報、及び、ストロボ時間情報を設定し、生成装置１１２に送信する。

【0268】

また、表示装置１１３は、ユーザの操作に応じて、カメラワーク操作情報を、生成装置１１２に送信する。さらに、表示装置１１３は、生成装置１１２から送信されてくる3Dストロボ画像を表示する。

【0269】

＜生成装置１１２の構成例＞

【0270】

図３２は、図３１の生成装置１１２の構成例を示すブロック図である。

【0271】

なお、図中、図２の生成装置１２と対応する部分については、同一の符号を付してあり、以下では、その説明は、適宜省略する。

【0272】

生成装置１１２は、3Dモデル生成部２１、ストロボモデル生成部２２、オブジェクト指定UI情報を生成部２３、及び、通信部２４を有する。さらに、生成装置１１２は、エフェクト処理部１３２、自由視点画像生成部１３３、及び、カメラワーク設定部１３５を有する。

【0273】

したがって、生成装置１１２は、3Dモデル生成部２１、ストロボモデル生成部２２、オブジェクト指定UI情報を生成部２３、及び、通信部２４を有する点で、図２の生成装置１２と共通する。但し、生成装置１１２は、エフェクト処理部１３２、自由視点画像生成部１３３、及び、カメラワーク設定部１３５が新たに設けられている点で、生成装置１２と相違する。

【0274】

エフェクト処理部１３２には、ストロボモデル生成部２２からストロボモデルが供給される。

【0275】

エフェクト処理部１３２は、図３のエフェクト処理部３２と同様に、ストロボモデル生成部２２からのストロボモデルに配置された（対象オブジェクトの）3Dモデルにエフェクト処理を行い、自由視点画像生成部１３３に供給する。なお、エフェクト処理部１３２では、例えば、生成装置１１３であらかじめ決められたエフェクト処理を行うことができる。また、エフェクト処理部１３２では、例えば、表示装置１１３のユーザの操作に応じたエフェクト処理を行うことができる。

【0276】

自由視点画像生成部１３３は、図３の自由視点画像生成部１３３と同様に、エフェクト処理部１３２からのストロボモデルを、カメラワーク設定部１３５からのカメラワークに応じて仮想カメラで撮影することにより得られる2D画像である3Dストロボ画像（の動画）を、自由視点画像（のデータ）として生成し、通信部２４に供給する。

【0277】

カメラワーク設定部１３５は、通信部２４から供給されるカメラワーク操作情報に応じて、図３のカメラワーク設定部３５と同様に、仮想カメラのカメラワークを設定し、自由視点画像生成部１３３に供給する。

【0278】

なお、図３２の通信部２４は、ストロボモデルに代えて、3Dストロボ画像を、表示装置１１３に送信する。また、図３２の通信部２４は、表示装置１１３から送信されてくるカメラワーク操作情報を受信し、カメラワーク設定部１３５に供給する。かかる点で、図３２の通信部２４は、図２の場合と相違する。

【0279】

＜表示装置１１３の構成例＞

【0280】

図３３は、図３１の表示装置１１３の構成例を示すブロック図である。

【0281】

なお、図中、図３の場合と対応する部分には、同一の符号を付してあり、以下では、その説明は、適宜省略する。

【0282】

表示装置１１３は、通信部３１、表示部３４、操作部３６、オブジェクト指定情報設定部３７、ストロボ範囲情報設定部３８、及び、ストロボ時間情報設定部３９を有する。

【0283】

したがって、表示装置１１３は、通信部３１、表示部３４、操作部３６、オブジェクト指定情報設定部３７、ストロボ範囲情報設定部３８、及び、ストロボ時間情報設定部３９を有する点で、図３の表示装置１３と共通する。但し、表示装置１１３は、エフェクト処理部３２、自由視点画像生成部３３、カメラワーク設定部３５が設けられていない点で、表示装置１３と相違する。

【0284】

表示装置１１３において、通信部３１は、生成装置１１２から送信されてくる3Dストロボ画像を受信し、表示部３４に供給する。また、操作部３６は、カメラワークに関してユーザが行った操作に応じて、その操作を表すカメラワーク操作情報を、通信部３１に供給する。通信部３１は、操作部３６からのカメラワーク操作情報を、生成装置１１２に送信する。以上の点で、表示装置１１３は、表示装置１３と相違する。

【0285】

＜生成処理＞

【0286】

図３４は、図３２の生成装置１１２が行う生成処理の例を説明するフローチャートである。

【0287】

生成処理では、ステップＳ１１１ないしＳ１１６において、図４のステップＳ１１ないしＳ１６とそれぞれ同様の処理が行われる。そして、ストロボモデル生成部２２がステップＳ１１６で生成したストロボモデルは、エフェクト処理部１３２に供給され、処理は、ステップＳ１１６からステップＳ１１７に進む。

【0288】

ステップＳ１１７では、エフェクト処理部１３２は、ストロボモデル生成部２２からのストロボモデルに配置された（対象オブジェクトの）3Dモデルに、エフェクト処理を行う。エフェクト処理部１３２は、エフェクト処理後の（3Dモデルが配置された）ストロボモデルを、自由視点画像生成部１３３に供給し、処理は、ステップＳ１１７から、ステップＳ１１８に進む。

【0289】

ステップＳ１１８では、通信部２４が、表示装置１１３からカメラワーク操作情報が送信されてくるのを待って、そのカメラワーク操作情報を受信し、カメラワーク設定部１３５に供給する。カメラワーク設定部１３５は、通信部２４からのカメラワーク操作情報に応じて、仮想カメラのカメラワークを設定する。カメラワーク設定部１３５は、カメラワークを、自由視点画像生成部１３３に供給し、処理は、ステップＳ１１８からステップＳ１１９に進む。

【0290】

ステップＳ１１９では、自由視点画像生成部１３３は、エフェクト処理部１３２からのストロボモデルを、カメラワーク設定部１３５からのカメラワークに応じて仮想カメラにより撮影した3Dストロボ画像としての自由視点画像をレンダリングすることにより生成する。そして、自由視点画像生成部１３３は、3Dストロボ画像を、通信部２４に供給して、処理は、ステップＳ１１９からステップＳ１２０に進む。

【0291】

ステップＳ１２０では、通信部２４は、自由視点画像生成部１３３からの3Dストロボ画像を、表示装置１１３に送信し、生成処理は終了する。

【0292】

＜表示処理＞

【0293】

図３５は、図３３の表示装置１１３が行う表示処理の例を説明するフローチャートである。

【0294】

表示処理では、ステップＳ１３１ないしＳ１３６において、図５のステップＳ３１ないしＳ３６とそれぞれ同様の処理が行われる。

【0295】

そして、ステップＳ１３７において、通信部３１は、操作部３６からカメラワーク操作情報が供給されるのを待って、そのカメラワーク操作情報を、生成装置１１２に送信し、処理は、ステップＳ１３８に進む。

【0296】

ステップＳ１３８では、通信部３１は、生成装置１１２から3Dストロボ画像が送信されてくるのを待って、その3Dストロボ画像を受信する。通信部３１は、生成装置１１２からの3Dストロボ画像を、表示部３４に供給して、処理は、ステップＳ１３８からステップＳ１３９に進む。

【0297】

ステップＳ１３９では、表示部３４は、通信部３１からの3Dストロボ画像を表示し、表示処理は終了する。

【0298】

図３１の画像処理システムでは、生成装置１１２において、エフェクト処理、カメラワークの設定、及び、3Dストロボ画像の生成（レンダリング）が行われるので、エフェクト処理、カメラワークの設定、及び、3Dストロボ画像の生成が表示装置１３で行われる図１の画像処理システムと比較して、表示装置１１３の負荷を低減することができる。

【0299】

＜本技術を適用したコンピュータの説明＞

【0300】

次に、上述した一連の処理は、ハードウェアにより行うこともできるし、ソフトウェアにより行うこともできる。一連の処理をソフトウェアによって行う場合には、そのソフトウェアを構成するプログラムが、汎用のコンピュータ等にインストールされる。

【0301】

図３６は、上述した一連の処理を実行するプログラムがインストールされるコンピュータの一実施の形態の構成例を示すブロック図である。

【0302】

プログラムは、コンピュータに内蔵されている記録媒体としてのハードディスク９０５やROM９０３に予め記録しておくことができる。

【0303】

あるいはまた、プログラムは、ドライブ９０９によって駆動されるリムーバブル記録媒体９１１に格納（記録）しておくことができる。このようなリムーバブル記録媒体９１１は、いわゆるパッケージソフトウエアとして提供することができる。ここで、リムーバブル記録媒体９１１としては、例えば、フレキシブルディスク、CD-ROM(Compact Disc Read Only Memory)，MO(Magneto Optical)ディスク，DVD(Digital Versatile Disc)、磁気ディスク、半導体メモリ等がある。

【0304】

なお、プログラムは、上述したようなリムーバブル記録媒体９１１からコンピュータにインストールする他、通信網や放送網を介して、コンピュータにダウンロードし、内蔵するハードディスク９０５にインストールすることができる。すなわち、プログラムは、例えば、ダウンロードサイトから、ディジタル衛星放送用の人工衛星を介して、コンピュータに無線で転送したり、LAN(Local Area Network)、インターネットといったネットワークを介して、コンピュータに有線で転送することができる。

【0305】

コンピュータは、CPU(Central Processing Unit)９０２を内蔵しており、CPU９０２には、バス９０１を介して、入出力インタフェース９１０が接続されている。

【0306】

CPU９０２は、入出力インタフェース９１０を介して、ユーザによって、入力部９０７が操作等されることにより指令が入力されると、それに従って、ROM(Read Only Memory)９０３に格納されているプログラムを実行する。あるいは、CPU９０２は、ハードディスク９０５に格納されたプログラムを、RAM(Random Access Memory)９０４にロードして実行する。

【0307】

これにより、CPU９０２は、上述したフローチャートにしたがった処理、あるいは上述したブロック図の構成により行われる処理を行う。そして、CPU９０２は、その処理結果を、必要に応じて、例えば、入出力インタフェース９１０を介して、出力部９０６から出力、あるいは、通信部９０８から送信、さらには、ハードディスク９０５に記録等させる。

【0308】

なお、入力部９０７は、キーボードや、マウス、マイク等で構成される。また、出力部９０６は、LCD(Liquid Crystal Display)やスピーカ等で構成される。

【0309】

ここで、本明細書において、コンピュータがプログラムに従って行う処理は、必ずしもフローチャートとして記載された順序に沿って時系列に行われる必要はない。すなわち、コンピュータがプログラムに従って行う処理は、並列的あるいは個別に実行される処理（例えば、並列処理あるいはオブジェクトによる処理）も含む。

【0310】

また、プログラムは、１のコンピュータ（プロセッサ）により処理されるものであっても良いし、複数のコンピュータによって分散処理されるものであっても良い。さらに、プログラムは、遠方のコンピュータに転送されて実行されるものであっても良い。

【0311】

さらに、本明細書において、システムとは、複数の構成要素（装置、モジュール（部品）等）の集合を意味し、すべての構成要素が同一筐体中にあるか否かは問わない。したがって、別個の筐体に収納され、ネットワークを介して接続されている複数の装置、及び、１つの筐体の中に複数のモジュールが収納されている１つの装置は、いずれも、システムである。

【0312】

なお、本技術の実施の形態は、上述した実施の形態に限定されるものではなく、本技術の要旨を逸脱しない範囲において種々の変更が可能である。

【0313】

例えば、本技術は、１つの機能をネットワークを介して複数の装置で分担、共同して処理するクラウドコンピューティングの構成をとることができる。

【0314】

また、上述のフローチャートで説明した各ステップは、１つの装置で実行する他、複数の装置で分担して実行することができる。

【0315】

さらに、１つのステップに複数の処理が含まれる場合には、その１つのステップに含まれる複数の処理は、１つの装置で実行する他、複数の装置で分担して実行することができる。

【0316】

また、本明細書に記載された効果はあくまで例示であって限定されるものではなく、他の効果があってもよい。

【0317】

なお、本技術は、以下の構成をとることができる。

【0318】

＜１＞
複数の視点から撮影された複数の視点画像から生成されるオブジェクトの３Dモデルを複数の時刻の前記視点画像から生成して、前記オブジェクトの複数の時刻の3Dモデルを3次元空間に配置したストロボモデルを生成する生成部を備え、
前記生成部は、前記3Dモデルを前記3次元空間に配置する基準となるキーオブジェクトと前記キーオブジェクトと異なるオブジェクトの関連を表すオブジェクト関連度に応じて前記ストロボモデルに前記異なるオブジェクトの3Dモデルを配置する
画像処理装置。
＜２＞
前記生成部は、前記オブジェクト関連度に応じて、前記ストロボモデルに前記3Dモデルを配置する対象の対象オブジェクトを設定する
＜１＞に記載の画像処理装置。
＜３＞
前記生成部は、前記キーオブジェクトと、前記キーオブジェクト以外の非キーオブジェクトとの位置関係に応じて、前記キーオブジェクトを、前記対象オブジェクトに設定する
＜２＞に記載の画像処理装置。
＜４＞
前記生成部は、前記キーオブジェクトとの距離が所定の距離内の前記非キーオブジェクトを、前記対象オブジェクトに設定する
＜３＞に記載の画像処理装置。
＜５＞
前記生成部は、１のフレームにおいて、前記キーオブジェクトとの距離が所定の距離内の前記非キーオブジェクトと、他のフレームにおいて、前記キーオブジェクトとの距離が所定の距離内の前記非キーオブジェクトとを、前記対象オブジェクトに設定する
＜４＞に記載の画像処理装置。
＜６＞
前記生成部は、前記キーオブジェクトとの距離が所定の距離内の前記非キーオブジェクトと、前記キーオブジェクトとの距離が所定の距離内の前記非キーオブジェクトとの距離が所定の距離内の他の前記非キーオブジェクトとを、前記対象オブジェクトに設定する
＜４＞に記載の画像処理装置。
＜７＞
前記所定の距離は、前記キーオブジェクトごと、又は、前記非キーオブジェクトごとに設定される
＜４＞ないし＜６＞のいずれかに記載の画像処理装置。
＜８＞
前記キーオブジェクトは、ユーザの操作に応じて設定される
＜１＞ないし＜７＞のいずれかに記載の画像処理装置。
＜９＞
オブジェクトが映るUI(User Interface)に対して、ユーザが指定したオブジェクトが、前記キーオブジェクトに設定される
＜８＞に記載の画像処理装置。
＜１０＞
複数の視点から撮影された複数の視点画像から生成されるオブジェクトの３Dモデルを複数の時刻の前記視点画像から生成して、前記オブジェクトの複数の時刻の3Dモデルを3次元空間に配置したストロボモデルを生成することを含み、
前記3Dモデルを前記3次元空間に配置する基準となるキーオブジェクトと前記キーオブジェクトと異なるオブジェクトの関連を表すオブジェクト関連度に応じて前記ストロボモデルに前記異なるオブジェクトの3Dモデルを配置する
画像処理方法。
＜１１＞
複数の視点から撮影された複数の視点画像から生成されるオブジェクトの３Dモデルを複数の時刻の前記視点画像から生成して、前記オブジェクトの複数の時刻の3Dモデルを3次元空間に配置したストロボモデルを生成する生成部として、コンピュータを機能させるためのプログラムであり、
前記生成部は、前記3Dモデルを前記3次元空間に配置する基準となるキーオブジェクトと前記キーオブジェクトと異なるオブジェクトの関連を表すオブジェクト関連度に応じて前記ストロボモデルに前記異なるオブジェクトの3Dモデルを配置する
プログラム。

【0319】

＜Ａ１＞
複数の視点から撮影された複数の視点画像から生成される複数の時刻のオブジェクトの3Dモデルが3次元空間に配置されるストロボモデルに前記3Dモデルを配置する基準となるキーオブジェクトとの関連を表すオブジェクト関連度に応じて設定された、前記ストロボモデルに前記3Dモデルを配置する対象の対象オブジェクトの3Dモデルが配置された前記ストロボモデルを生成するストロボモデル生成部を備える
画像処理装置。
＜Ａ２＞
前記ストロボモデル生成部は、前記オブジェクト関連度に応じて、前記対象オブジェクトを設定する
＜Ａ１＞に記載の画像処理装置。
＜Ａ３＞
前記ストロボモデル生成部は、前記キーオブジェクトと、前記キーオブジェクト以外の非キーオブジェクトとの位置関係に応じて、前記非キーオブジェクトを、前記対象オブジェクトに設定する
＜Ａ２＞に記載の画像処理装置。
＜Ａ４＞
前記ストロボモデル生成部は、前記キーオブジェクトとの距離が所定の距離内の前記非キーオブジェクトを、前記対象オブジェクトに設定する
＜Ａ３＞に記載の画像処理装置。
＜Ａ５＞
前記ストロボモデル生成部は、１のフレームにおいて、前記キーオブジェクトとの距離が所定の距離内の前記非キーオブジェクトと、他のフレームにおいて、前記キーオブジェクトとの距離が所定の距離内の前記非キーオブジェクトとを、前記対象オブジェクトに設定する
＜Ａ４＞に記載の画像処理装置。
＜Ａ６＞
前記ストロボモデル生成部は、前記キーオブジェクトとの距離が所定の距離内の前記非キーオブジェクトと、前記キーオブジェクトとの距離が所定の距離内の前記非キーオブジェクトとの距離が所定の距離内の他の前記非キーオブジェクトとを、前記対象オブジェクトに設定する
＜Ａ４＞に記載の画像処理装置。
＜Ａ７＞
前記所定の距離は、前記キーオブジェクトごと、又は、前記非キーオブジェクトごとに設定される
＜Ａ４＞ないし＜Ａ６＞のいずれかに記載の画像処理装置。
＜Ａ８＞
前記キーオブジェクトは、ユーザの操作に応じて設定される
＜Ａ１＞ないし＜Ａ７＞のいずれかに記載の画像処理装置。
＜Ａ９＞
オブジェクトが映るUI(User Interface)に対して、ユーザが指定したオブジェクトが、前記キーオブジェクトに設定される
＜Ａ８＞に記載の画像処理装置。
＜Ａ１０＞
複数の視点から撮影された複数の視点画像から生成される複数の時刻のオブジェクトの3Dモデルが3次元空間に配置されるストロボモデルに前記3Dモデルを配置する基準となるキーオブジェクトとの関連を表すオブジェクト関連度に応じて設定された、前記ストロボモデルに前記3Dモデルを配置する対象の対象オブジェクトの3Dモデルが配置された前記ストロボモデルを生成する
ことを含む画像処理方法。
＜Ａ１１＞
複数の視点から撮影された複数の視点画像から生成される複数の時刻のオブジェクトの3Dモデルが3次元空間に配置されるストロボモデルに前記3Dモデルを配置する基準となるキーオブジェクトとの関連を表すオブジェクト関連度に応じて設定された、前記ストロボモデルに前記3Dモデルを配置する対象の対象オブジェクトの3Dモデルが配置された前記ストロボモデルを生成するストロボモデル生成部
として、コンピュータを機能させるためのプログラム。

【符号の説明】

【0320】

１１ 撮影装置， １２ 生成装置， １３ 表示装置， ２１ 3Dモデル生成部， ２２ ストロボモデル生成部， ２３ オブジェクト指定UI情報生成部， ２４，３１ 通信部， ３２ エフェクト処理部， ３３ 自由視点画像生成部， ３４ 表示部， ３５ カメラワーク設定部， ３６ 操作部， ３７ オブジェクト指定情報設定部， ３８ ストロボ範囲情報設定部， ３９ ストロボ時間情報設定部， １１２ 生成装置， １１３ 表示装置， １３２ エフェクト処理部， １３３ 自由視点画像生成部， １３５ カメラワーク設定部， ９０１ バス， ９０２ CPU， ９０３ ROM， ９０４ RAM， ９０５ ハードディスク， ９０６ 出力部， ９０７ 入力部， ９０８ 通信部， ９０９ ドライブ， ９１０ 入出力インタフェース， ９１１ リムーバブル記録媒体

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】

【図15】

【図16】

【図17】

【図18】

【図19】

【図20】

【図21】

【図22】

【図23】

【図24】

【図25】

【図26】

【図27】

【図28】

【図29】

【図30】

【図31】

【図32】

【図33】

【図34】

【図35】

【図36】