特許 7563393 情報処理装置、情報処理方法及びプログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2024-09-30

(45)【発行日】2024-10-08

(54)【発明の名称】情報処理装置、情報処理方法及びプログラム

(51)【国際特許分類】

   G06T 15/60 20060101AFI20241001BHJP

   G06T 15/20 20110101ALI20241001BHJP

   G06T 19/00 20110101ALI20241001BHJP

【ＦＩ】

G06T15/60

G06T15/20 500

G06T19/00 A

【請求項の数】 13

(21)【出願番号】P 2021573070

(86)(22)【出願日】2021-01-12

(86)【国際出願番号】 JP2021000599

(87)【国際公開番号】W WO2021149526

(87)【国際公開日】2021-07-29

【審査請求日】2023-11-30

(31)【優先権主張番号】P 2020008905

(32)【優先日】2020-01-23

(33)【優先権主張国・地域又は機関】JP

(73)【特許権者】

【識別番号】000002185

【氏名又は名称】ソニーグループ株式会社

(74)【代理人】

【識別番号】110002147

【氏名又は名称】弁理士法人酒井国際特許事務所

(72)【発明者】

【氏名】カダム アクシャト

【審査官】益戸 宏

(56)【参考文献】

【文献】特開平１１－１７５７６２（ＪＰ，Ａ）

【文献】特開２００８－２３４４７３（ＪＰ，Ａ）

【文献】国際公開第２０１９／０３１２５９（ＷＯ，Ａ１）

【文献】特開２０１９－６１５５８（ＪＰ，Ａ）

【文献】特開２０１５－１８２９４（ＪＰ，Ａ）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ０６Ｔ １５／６０

Ｇ０６Ｔ １５／２０

Ｇ０６Ｔ １９／００

(57)【特許請求の範囲】

【請求項1】

背景情報と重ね合わせた３Ｄオブジェクトを任意の視点位置から視聴する自由視点映像を生成する生成部と、
前記背景情報に係る光源の位置と当該光源が放射する光線の方向とを示す光源情報と、前記３Ｄオブジェクトが有する３次元情報と、前記視点位置とに基づいて、前記光源によって前記視点位置に応じて前記３Ｄオブジェクトに生じる影を生成して、前記自由視点映像に付与する影付与部と、
を備える情報処理装置。

【請求項2】

前記影付与部は、前記自由視点映像の生成を開始又は終了する際に、前記背景情報に係る前記光源情報に基づいて生成される前記３Ｄオブジェクトの影の強度を制御する、
請求項１に記載の情報処理装置。

【請求項3】

前記影付与部は、撮像装置が撮影した映像と前記自由視点映像とを切り替える際に、前記光源情報に基づいて生成される前記３Ｄオブジェクトの影の強度を制御する、
請求項２に記載の情報処理装置。

【請求項4】

前記影付与部は、第１の背景情報に基づいて生成される前記自由視点映像と、第２の背景情報に基づいて生成される前記自由視点映像とを切り替える際に、前記第１の背景情報に係る前記光源情報に基づいて生成される前記３Ｄオブジェクトの影の強度と、前記第２の背景情報に係る前記光源情報に基づいて生成される前記３Ｄオブジェクトの影の強度とを制御する、
請求項１に記載の情報処理装置。

【請求項5】

前記影付与部は、前記自由視点映像の生成を開始又は終了する際に、前記３Ｄオブジェクトの影の強度を徐々に強くする制御、又は徐々に弱くする制御のいずれか一方の制御を行う、
請求項２に記載の情報処理装置。

【請求項6】

前記影付与部は、
前記生成部が自由視点映像の生成を開始してから所定時間の間に、前記３Ｄオブジェクトの影の強度を徐々に強くして、
前記生成部が自由視点映像の生成を終了する所定時間前から、前記３Ｄオブジェクトの影の強度を徐々に弱くする、
請求項５に記載の情報処理装置。

【請求項7】

前記自由視点映像の中から、前記３Ｄオブジェクトの領域を抽出する抽出部を更に備えて、
前記影付与部は、
前記背景情報に重ね合わせた、前記視点位置に応じた前記３Ｄオブジェクトに、前記抽出部が抽出した当該３Ｄオブジェクトの領域と、前記３Ｄオブジェクトが有する３次元情報と、前記光源情報と、前記視点位置と、に基づいて生成された前記３Ｄオブジェクトの影を付与する、
請求項１に記載の情報処理装置。

【請求項8】

前記生成部は、前記自由視点映像を一時停止させた状態で、当該自由視点映像の中の３Ｄオブジェクトを異なる自由視点から連続的に視聴する自由視点映像を生成する、
請求項１に記載の情報処理装置。

【請求項9】

前記３Ｄオブジェクトは、同一被写体を複数の視点位置から撮影した複数の画像で構成される、
請求項１に記載の情報処理装置。

【請求項10】

前記３Ｄオブジェクトは、視点位置に応じたテクスチャ情報を有する、
請求項９に記載の情報処理装置。

【請求項11】

前記３ＤオブジェクトはＣＧ（Computer Graphics）である、
請求項１に記載の情報処理装置。

【請求項12】

背景情報と重ね合わせた３Ｄオブジェクトを任意の視点位置から視聴する自由視点映像を生成する生成ステップと、
前記背景情報に係る光源の位置と当該光源が放射する光線の方向とを示す光源情報と、前記３Ｄオブジェクトが有する３次元情報と、前記視点位置と、に基づいて前記光源によって、前記視点位置に応じて前記３Ｄオブジェクトに生じる影を生成して、前記自由視点映像に付与する影付与ステップと、
を備える情報処理方法。

【請求項13】

コンピュータを、
背景情報と重ね合わせた３Ｄオブジェクトを任意の視点位置から視聴する自由視点映像を生成する生成部と、
前記背景情報に係る光源の位置と当該光源が放射する光線の方向とを示す光源情報と、前記３Ｄオブジェクトが有する３次元情報と、前記視点位置と、に基づいて前記光源によって、前記視点位置に応じて前記３Ｄオブジェクトに生じる影を生成して、前記自由視点映像に付与する影付与部と、
して機能させるプログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本開示は、情報処理装置、情報処理方法及びプログラムに関し、特に、３Ｄオブジェクト、即ち被写体を自由視点から観測した映像（自由視点映像）に、視点位置に応じた当該３Ｄオブジェクトの影を付与することができる情報処理装置、情報処理方法及びプログラムに関する。

【背景技術】

【0002】

従来、自由視点から観測した被写体の３次元モデル（以下３Ｄモデルと呼ぶ）を再生装置に送信する際に、被写体の３Ｄモデルと被写体の影とを別々に送信して、再生装置側で３Ｄモデルを再生する際に、影の有無を選択する技術が提案されている（例えば、特許文献１）。

【先行技術文献】

【特許文献】

【0003】

【文献】国際公開第２０１９／０３１２５９号

【発明の概要】

【発明が解決しようとする課題】

【0004】

しかしながら、特許文献１では、再生側で影を付与する際に、任意の光源によって３Ｄモデルに生じる影を違和感なく付与する制御は行われていなかった。

【0005】

本開示では、３Ｄオブジェクトを自由視点から観測した自由視点映像に、視点位置に応じた３Ｄオブジェクトの影を付与することが可能な情報処理装置、情報処理方法及びプログラムを提案する。

【課題を解決するための手段】

【0006】

上記の課題を解決するために、本開示に係る一形態の情報処理装置は、背景情報と重ね合わせた３Ｄオブジェクトを任意の視点位置から視聴する自由視点映像を生成する生成部と、前記背景情報に係る光源の位置と当該光源が放射する光線の方向とを示す光源情報と、前記３Ｄオブジェクトが有する３次元情報と、前記視点位置とに基づいて、前記光源によって前記視点位置に応じて前記３Ｄオブジェクトに生じる影を生成して、前記自由視点映像に付与する影付与部と、を備える情報処理装置である。

【図面の簡単な説明】

【0007】

【図1】３Ｄモデルを生成する処理の流れの概要を示す図である。

【図2】３Ｄモデルを表現するために必要なデータの内容を説明する図である。

【図3】３Ｄモデルを自由視点から観測した自由視点映像を生成する方法を説明する図である。

【図4】第１の実施形態の情報処理装置のハードウエア構成の一例を示すハードウエアブロック図である。

【図5】第１の実施形態の情報処理装置の機能構成の一例を示す機能ブロック図である。

【図6】第１の実施形態の情報処理装置が、３Ｄモデルに影を付与する方法を説明する図である。

【図7】第１の実施形態の情報処理装置が、３Ｄモデルに付与した影の一例を示す図である。

【図8】第１の実施形態の情報処理装置が、３Ｄモデルに影を付与する処理の流れを説明する図である。

【図9】第１の実施形態の情報処理装置が行う処理の流れの一例を示すフローチャートである。

【図10】タイムフリーズの具体例について説明する図である。

【図11】第２の実施形態の情報処理装置がタイムフリーズを行う際に、影の強度の制御に用いるテーブルの一例を示す図である。

【図12】第２の実施形態の情報処理装置の機能構成の一例を示す機能ブロック図である。

【図13】第２の実施形態の情報処理装置が影の付与を行う際の処理の流れの一例を示すフローチャートである。

【図14】第３の実施形態において、背景情報が変化する自由視点映像の一例を示す図である。

【発明を実施するための形態】

【0008】

以下に、本開示の実施形態について図面に基づいて詳細に説明する。なお、以下の各実施形態において、同一の部位には同一の符号を付することにより重複する説明を省略する。

【0009】

また、以下に示す項目順序に従って本開示を説明する。
１．第１の実施形態
１－１．前提事項の説明－３Ｄモデルの生成
１－２．前提事項の説明－３Ｄモデルのデータ構造
１－３．前提事項の説明－自由視点映像の生成
１－４．第１の実施形態の情報処理装置のハードウエア構成の説明
１－５．第１の実施形態の情報処理装置の機能構成の説明
１－６．影の付与方法の説明
１－７．影の付与処理の説明
１－８．第１の実施形態の情報処理装置が行う処理の流れの説明
１－９．第１の実施形態の効果
２．第２の実施形態
２－１．タイムフリーズの説明
２－２．影の強度制御の説明
２－３．第２の実施形態の情報処理装置の機能構成の説明
２－４．第２の実施形態の情報処理装置が行う処理の流れの説明
２－５．第２の実施形態の効果
３．第３の実施形態
３－１．背景情報が変化する自由視点映像の説明
３－２．第３の実施形態の効果

【0010】

（１．第１の実施形態）
本開示の第１の実施形態である情報処理装置１０ａについて説明する前に、被写体の３Ｄモデルを生成する処理について説明する。

【0011】

［１－１．前提事項の説明－３Ｄモデルの生成］
図１は、３Ｄモデルを生成する処理の流れの概要を示す図である。図１に示すように、３Ｄモデルの生成には、複数の撮像装置７０（７０ａ，７０ｂ，７０ｃ）による被写体９０の撮像と、被写体９０の３Ｄ情報を有する３Ｄモデル９０Ｍを生成する３Ｄモデリングとが含まれる。なお、図１では３台の撮像装置７０を描いているが、撮像装置７０の台数は３台に制限されるものではない。

【0012】

複数の撮像装置７０は、図１に示すように、現実世界に存在する被写体９０を取り囲むように、被写体９０の外側に、被写体９０を向いて配置される。図１は、撮像装置の台数が３台の例を示しており、３台の撮像装置７０が被写体９０の周りに配置されている。なお、図１においては、所定の動作を行う人物が被写体９０である。

【0013】

３台の撮像装置７０によって、異なる視点から同期してＶｏｌｕｍｅｔｒｉｃ撮影された複数の画像を用いて３Ｄモデリングが行われ、３台の撮像装置７０の映像フレーム単位で、被写体９０の３Ｄモデル９０Ｍが生成される。なお、Ｖｏｌｕｍｅｔｒｉｃ撮影とは、被写体９０のテクスチャとデプス（距離）とをともに含む情報を取得することである。

【0014】

３Ｄモデル９０Ｍは、被写体９０の３Ｄ情報を有するモデルである。なお、３Ｄモデル９０Ｍは、本開示における３Ｄオブジェクトの一例である。３Ｄモデル９０Ｍは、被写体９０のジオメトリ情報を、ポリゴンメッシュと呼ばれる、頂点（Vertex）と頂点との繋がりで表現したメッシュデータと、各ポリゴンメッシュに対応した、テクスチャ情報とデプス情報（距離情報）とを有する。なお、３Ｄモデル９０Ｍが有する情報はこれらに限定されるものではなく、その他の情報を有してもよい。なお、被写体９０のデプス情報は、例えば、互いに隣接する複数の撮像装置７０でそれぞれ撮像された画像から、被写体９０の同じ領域に係る視差に基づいて算出する。なお、撮像装置７０の近傍にＴｏＦ（Time of Flight）カメラ等の測距機構を備えるセンサを設置して、当該センサによって被写体９０までの距離を測定することによってデプス情報を得てもよい。なお、３Ｄモデル９０Ｍは、ＣＧ（Computer Graphics）で生成された人工的なモデルであってもよい。

【0015】

３Ｄモデル９０Ｍには、メッシュ位置に応じて、当該メッシュの色や模様や質感を表すテクスチャを貼り付ける、いわゆるテクスチャマッピングが施される。テクスチャマッピングは、３Ｄモデル９０Ｍのリアリティを向上させるために、視点位置に応じた（View Dependent）テクスチャを貼り付けるのが望ましい。これにより、３Ｄモデル９０Ｍを任意の視点（以下自由視点と呼ぶ）から撮像した際に、視点位置に応じてテクスチャが変化するため、より高画質な自由視点映像を生成することができる。しかし、計算量が増大するため、３Ｄモデル９０Ｍには、視線位置に依存しない（View Independent）テクスチャを貼り付けてもよい。３Ｄモデル９０Ｍのデータ構造について、詳しくは後述する（図２参照）。

【0016】

なお、３Ｄモデル９０Ｍは、点群情報（ポイントクラウド）と呼ばれる形態で表現されてもよい。ポイントクラウドとは、被写体９０を、当該被写体９０の表面を形成する複数の点群情報として記述したものである。点群を形成する各点は、それぞれ、色情報と輝度情報とを有しているため、ポイントクラウドで記述された３Ｄモデル９０Ｍは、被写体９０の形状情報とテクスチャ情報とを備えている。

【0017】

読み出された３Ｄモデル９０Ｍを含むコンテンツデータは、再生側の装置に伝送される。そして、再生側の装置において、３Ｄモデル９０Ｍのレンダリングが行われて、当該３Ｄモデル９０Ｍを含むコンテンツデータが再生される。

【0018】

再生側の装置としては、例えば、スマートフォンやタブレット端末等の携帯端末２０が用いられる。そして、携帯端末２０の表示画面に、３Ｄモデル９０Ｍを含む画像が表示される。なお、情報処理装置１０ａ自身が、コンテンツデータを再生する機能を備えていてもよい。

【0019】

コンテンツデータを再生する際に、３Ｄモデル９０Ｍは、背景情報９２と重ね合わせて表示されるのが一般的である。背景情報９２は、被写体９０とは別の環境で撮影された映像であってもよいし、ＣＧであってもよい。

【0020】

背景情報９２は、一般に照明環境下で撮影される。したがって、再生される映像をより自然な映像にするために、背景情報９２と重ね合わされる３Ｄモデル９０Ｍにも、当該照明環境によって生じる影９４が付与される。情報処理装置１０ａは、背景情報９２の照明に係る情報（例えば、光源の位置と照明方向（光線の方向）とを含む光源情報）に基づいて、自由視点の位置に応じて、３Ｄモデル９０Ｍに生じる影９４を付与する。詳しくは後述する。なお、影９４は、３Ｄモデル９０Ｍの形態に応じた形状を有するが、簡単のため、図示する影９４の形状は、全て簡略化したものとする。

【0021】

［１－２．前提事項の説明－３Ｄモデルのデータ構造］
次に、図２を用いて、３Ｄモデル９０Ｍを表現するために必要なデータの内容について説明する。図２は、３Ｄモデルを表現するために必要なデータの内容を説明する図である。

【0022】

被写体９０の３Ｄモデル９０Ｍは、被写体９０の形状を示すメッシュ情報Ｍと、被写体９０の３Ｄ形状を示すデプス情報Ｄと、被写体９０の表面の質感（色合い、模様等）を示すテクスチャ情報Ｔとによって表現される。

【0023】

メッシュ情報Ｍは、３Ｄモデル９０Ｍの表面上のいくつかの部位を頂点として、それらの頂点の繋がりによって３Ｄモデル９０Ｍの形状を表す（ポリゴンメッシュ）。デプス情報Ｄは、被写体９０を観測する視点位置から被写体９０の表面までの距離を表す情報である。被写体９０のデプス情報Ｄは、例えば、隣接する撮像装置で撮影された画像から検出した、被写体９０の同じ領域の視差に基づいて算出する。なお、デプス情報Ｄは、本開示における３次元情報の一例である。

【0024】

本実施形態では、テクスチャ情報Ｔとして２通りのデータを使用する。１つは、３Ｄモデル９０Ｍを観測する視点位置に依らない（ＶＩ）テクスチャ情報Ｔａである。テクスチャ情報Ｔａは、３Ｄモデル９０Ｍの表面のテクスチャを、例えば、図２に示すＵＶテクスチャマップのような展開図の形式で記憶したデータである。即ち、テクスチャ情報Ｔａは、視点位置に依らないデータである。例えば、３Ｄモデル９０Ｍが衣服を着た人物である場合に、テクスチャ情報Ｔａとして、衣服の模様を表すＵＶテクスチャマップが用意される。そして、３Ｄモデル９０Ｍを表すメッシュ情報Ｍの表面に、テクスチャ情報Ｔａを貼り付ける（ＶＩレンダリング）ことによって、３Ｄモデル９０Ｍを描画することができる。そして、このとき、３Ｄモデル９０Ｍを視聴する視点位置が変化した場合であっても、同じ領域を表すメッシュには同じテクスチャ情報Ｔａを貼り付ける。このように、テクスチャ情報Ｔａを用いたＶＩレンダリングは、３Ｄモデル９０Ｍが着用している衣服のテクスチャ情報Ｔａを、衣服の部位を表す全てのメッシュに貼り付けることによって実行されるため、一般に、データサイズが小さく、レンダリング処理の計算負荷も軽い。但し、貼り付けられたテクスチャ情報Ｔａは一様であって、観測位置（閲覧位置）を変更してもテクスチャは変化しないため、テクスチャの品質は一般に低い。

【0025】

もう１つのテクスチャ情報Ｔは、３Ｄモデル９０Ｍを観測する視点位置に依存する（ＶＤ）テクスチャ情報Ｔｂである。テクスチャ情報Ｔｂは、被写体９０を多視点から観測した画像の集合によって表現される。即ち、テクスチャ情報Ｔａは、視点位置に応じたデータである。具体的には、被写体９０をＮ台の撮像装置７０で観測した場合、テクスチャ情報Ｔｂは、各撮像装置７０が同時に撮影したＮ枚の画像で表現される。そして、３Ｄモデル９０Ｍの任意のメッシュに、テクスチャ情報Ｔｂをレンダリングする場合、Ｎ枚の画像の中から、該当するメッシュに対応する領域を全て検出する。そして、検出された複数の領域にそれぞれ写ったテクスチャを重み付けして、該当するメッシュに貼り付ける。このように、テクスチャ情報Ｔｂを用いたＶＤレンダリングは、一般に、データサイズが大きく、レンダリング処理の計算負荷は重い。しかし、貼り付けられたテクスチャ情報Ｔｂは、視点位置に応じて変化するため、一般にテクスチャの品質は高い。

【0026】

３Ｄモデル９０Ｍの元になる被写体９０は、一般に時間とともに移動する。したがって、生成された３Ｄモデル９０Ｍも、時間とともに変化する。即ち、前記したメッシュ情報Ｍとテクスチャ情報Ｔａとテクスチャ情報Ｔｂとは、一般に、時間とともに変化する時系列データを形成する。

【0027】

［１－３．前提事項の説明－自由視点映像の生成］
図３は、３Ｄモデルを自由視点から観測した自由視点映像を生成する方法を説明する図である。図３において、撮像装置７０（７０ａ，７０ｂ，７０ｃ）は、被写体９０の３Ｄモデル９０Ｍを作成する際に使用した撮像装置である。３Ｄモデル９０Ｍを使用する各種アプリケーションでは、生成した３Ｄモデル９０Ｍをできるだけ様々な方向から再生できるのが望ましい。そのため、情報処理装置１０ａは、３Ｄモデル９０Ｍを、撮像装置７０とは異なる位置（自由視点）から観測した自由視点映像を生成する。

【0028】

例えば、図３において、自由視点Ｖ１に置かれた仮想カメラ７２ａが３Ｄモデル９０Ｍを撮影した際に得る自由視点映像Ｊ１（非図示）を生成する場合を想定する。自由視点映像Ｊ１は、仮想カメラ７２ａの近傍に置かれた撮像装置７０ａと撮像装置７０ｃとがそれぞれ撮影した３Ｄモデル９０Ｍの画像を補間することによって生成される。即ち、撮像装置７０ａが撮影した３Ｄモデル９０Ｍの画像と、撮像装置７０ｃが撮影した３Ｄモデル９０Ｍの画像との対応付けを行って、被写体９０のデプス情報Ｄを算出する。そして、算出されたデプス情報Ｄに対応する領域のテクスチャを仮想カメラ７２ａに投影することによって、仮想カメラ７２ａから見た３Ｄモデル９０Ｍ（被写体９０）の自由視点映像Ｊ１を生成することができる。

【0029】

同様にして、撮像装置７０ｂと撮像装置７０ｃとの近傍の自由視点Ｖ２に置かれた仮想カメラ７２ｂから見た３Ｄモデル９０Ｍの自由視点映像Ｊ２（非図示）は、撮像装置７０ｂが撮影した３Ｄモデル９０Ｍの画像と、撮像装置７０ｃが撮影した３Ｄモデル９０Ｍの画像とを補間することによって生成することができる。以降、仮想カメラ７２ａ，７２ｂを総称して仮想カメラ７２と呼ぶ。また、自由視点Ｖ１，Ｖ２を総称して自由視点Ｖと呼び、自由視点映像Ｊ１，Ｊ２を総称して自由視点映像Ｊと呼ぶ。なお、図３は、説明のために、撮像装置７０と仮想カメラ７２とを、被写体９０に背を向けて描いているが、実際は矢印の方向、即ち被写体９０の方向を向いて設置されている。

【0030】

このような自由視点映像Ｊを用いると、例えば、タイムフリーズに代表される効果的な映像表現が可能である。

【0031】

タイムフリーズとは、３Ｄモデル９０Ｍ（被写体９０）の一連の動きの再生中に、時間の経過を停止（フリーズ）して、３Ｄモデル９０Ｍが静止した状態で、当該３Ｄモデル９０Ｍを、異なる自由視点から連続的に再生する映像表現である。

【0032】

情報処理装置１０ａは、背景情報９２と３Ｄモデル９０Ｍとを重ね合わせて、自由視点Ｖから観測した自由視点映像Ｊを生成する。なお、自由視点映像Ｊの再生中に背景情報９２を変更してもよい。

【0033】

被写体９０の３Ｄモデル９０Ｍは、当該被写体９０に生じる影の情報を有していない。そのため、情報処理装置１０ａは、背景情報９２に重ね合わされた３Ｄモデル９０Ｍに、背景情報９２に係る光源情報に基づいて、自由視点Ｖに応じた影を付与する。詳しくは後述する（図６参照）。

【0034】

［１－４．第１の実施形態の情報処理装置のハードウエア構成の説明］
次に、図４を用いて、情報処理装置１０ａのハードウエア構成を説明する。図４は、第１の実施形態の情報処理装置のハードウエア構成の一例を示すハードウエアブロック図である。

【0035】

情報処理装置１０ａは、ＣＰＵ（Central Processing Unit）４０と、ＲＯＭ（Read Only Memory）４１と、ＲＡＭ（Random Access Memory）４２と、記憶部４３と、入出力コントローラ４４と、通信コントローラ４５とが内部バス４６で接続された構成を有する。

【0036】

ＣＰＵ４０は、記憶部４３に格納されている制御プログラムＰ１と、ＲＯＭ４１に格納されている、カメラパラメータ等の各種データとをＲＡＭ４２上に展開して実行することによって、情報処理装置１０ａの全体の動作を制御する。すなわち、情報処理装置１０ａは、制御プログラムＰ１によって動作する一般的なコンピュータの構成を有する。なお、制御プログラムＰ１は、ローカルエリアネットワーク、インターネット、デジタル衛星放送といった、有線又は無線の伝送媒体を介して提供されてもよい。また、情報処理装置１０ａは、一連の処理をハードウエアによって実行してもよい。なお、ＣＰＵ４０が実行する制御プログラムＰ１は、本開示で説明する順序に沿って時系列に処理が行われるプログラムであってもよいし、並列に、或いは呼び出しが行われたとき等の必要なタイミングで処理が行われるプログラムであってもよい。

【0037】

記憶部４３は、例えばフラッシュメモリ等の、電源を切っても記憶情報が保持される記憶デバイスにより構成されて、ＣＰＵ４０が実行する制御プログラムＰ１と、３Ｄモデル９０Ｍと、背景情報９２と、光源情報９３とを記憶する。

【0038】

３Ｄモデル９０Ｍは、前記したように、被写体９０のメッシュ情報Ｍと、テクスチャ情報Ｔと、デプス情報Ｄとを備えたモデルである。３Ｄモデル９０Ｍは、前記した撮像装置７０によって、被写体９０を異なる方向から撮影した複数の画像に基づいて生成される。なお、被写体９０は、単一被写体であってもよいし、複数の被写体であってもよい。また、被写体は静止していても動いていてもよい。さらに、３Ｄモデル９０Ｍは一般に大容量であるため、情報処理装置１０ａとインターネット等で接続された非図示の外部サーバから、必要に応じてダウンロードして、記憶部４３に記憶するようにしてもよい。

【0039】

背景情報９２は、図４に非図示のカメラ等で撮影される、３Ｄモデル９０Ｍが配置される背景となる映像情報である。背景情報９２は、動画であっても静止画であってもよい。また、背景情報９２は、予め設定したタイミングで、複数の異なる背景が切り替わるものでもよい。さらに、背景情報９２はＣＧであってもよい。

【0040】

光源情報９３は、背景情報９２を照明する照明光源の仕様を纏めたデータファイルである。光源情報９３は、具体的には、照明光源の設置位置と照明方向等を有する。なお、照明光源の設置個数に制限はなく、同じ仕様の複数の光源、又は異なる仕様の複数の光源が設置されてもよい。

【0041】

入出力コントローラ４４は、タッチパネルインタフェース４７を介して、情報処理装置１０ａに係る情報を表示する液晶ディスプレイ５２に積層されたタッチパネル５０の操作情報を取得する。また、入出力コントローラ４４は、ディスプレイインタフェース４８を介して、液晶ディスプレイ５２に映像情報を表示する。また、入出力コントローラ４４は、カメラインタフェース４９を介して、撮像装置７０の動作を制御する。

【0042】

通信コントローラ４５は、無線通信を介して、携帯端末２０と接続される。携帯端末２０は、情報処理装置１０ａが生成した自由視点映像を受信して当該携帯端末２０の表示装置に表示する。これによって、携帯端末２０のユーザは、自由視点映像を視聴する。

【0043】

なお、情報処理装置１０ａは、通信コントローラ４５を介して、非図示の外部サーバ等との間で通信を行って、情報処理装置１０ａから離れた場所で作成された３Ｄモデル９０Ｍを取得してもよい。

【0044】

［１－５．第１の実施形態の情報処理装置の機能構成の説明］
次に、図５を用いて、情報処理装置１０ａの機能構成を説明する。図５は、第１の実施形態の情報処理装置の機能構成の一例を示す機能ブロック図である。情報処理装置１０ａのＣＰＵ４０は、制御プログラムＰ１をＲＡＭ４２上に展開して動作させることによって、図５に示す各機能部を実現する。

【0045】

本開示の第１の実施形態の情報処理装置１０ａは、カメラが撮影した背景情報９２と被写体９０の３Ｄモデル９０Ｍとを重ね合わせて、当該３Ｄモデル９０Ｍを自由視点Ｖから視聴する自由視点映像Ｊを生成する。また、情報処理装置１０ａは、背景情報９２に係る光源情報に基づいて、生成した自由視点映像Ｊに、視点位置に応じた影を付与する。さらに、情報処理装置１０ａは、生成された自由視点映像Ｊを再生する。すなわち、情報処理装置１０ａのＣＰＵ４０は、図５に示す３Ｄモデル取得部２１と、背景情報取得部２２と、視点位置設定部２３と、自由視点映像生成部２４と、領域抽出部２５と、光源情報取得部２６と、影付与部２７と、レンダリング処理部２８と、表示制御部２９とを機能部として実現する。

【0046】

３Ｄモデル取得部２１は、撮像装置７０が撮像した被写体９０の３Ｄモデル９０Ｍを取得する。なお、３Ｄモデル取得部２１は、記憶部４３から３Ｄモデル９０Ｍを取得するが、それに限らず、例えば、情報処理装置１０ａと接続された非図示のサーバ装置から３Ｄモデル９０Ｍを取得してもよい。

【0047】

背景情報取得部２２は、３Ｄモデル９０Ｍを配置する背景情報９２を取得する。なお、背景情報取得部２２は、記憶部４３から背景情報９２を取得するが、それに限らず、例えば、情報処理装置１０ａと接続された非図示のサーバ装置から背景情報９２を取得してもよい。

【0048】

視点位置設定部２３は、被写体９０の３Ｄモデル９０Ｍを視聴する自由視点Ｖの位置を設定する。

【0049】

自由視点映像生成部２４は、背景情報９２と重ね合わせた被写体９０の３Ｄモデル９０Ｍを、視点位置設定部２３が設定した自由視点Ｖの位置から視聴する自由視点映像Ｊを生成する。なお、自由視点映像生成部２４は、本開示における生成部の一例である。

【0050】

領域抽出部２５は、自由視点映像Ｊの中から、３Ｄモデル９０Ｍの領域を抽出する。なお、領域抽出部２５は、本開示における抽出部の一例である。具体的には、領域抽出部２５は、背景情報９２と自由視点映像Ｊとのフレーム差分を演算することによって、３Ｄモデル９０Ｍの領域を抽出する。詳しくは後述する（図８参照）。

【0051】

光源情報取得部２６は、背景情報９２に係る光源の位置と当該光源が放射する光線の方向とを示す光源情報９３を取得する。

【0052】

影付与部２７は、背景情報９２に係る光源情報９３と、被写体９０の３Ｄモデル９０Ｍ（３Ｄオブジェクト）が有するデプス情報Ｄ（３次元情報）と、自由視点Ｖの位置とに基づいて、光源によって自由視点Ｖの位置に応じて３Ｄモデル９０Ｍに生じる影９４を生成して、自由視点映像Ｊに付与する。より具体的には、影付与部２７は、背景情報９２に重ね合わせた、自由視点Ｖの位置（視点位置）に応じた３Ｄモデル９０Ｍ（３Ｄオブジェクト）に、領域抽出部２５（抽出部）が抽出した３Ｄモデル９０Ｍの領域と、当該３Ｄモデル９０Ｍが有するデプス情報Ｄ（３次元情報）と、光源情報９３と、自由視点Ｖの位置と、に基づいて生成された３Ｄモデル９０Ｍの影９４を付与する。

【0053】

レンダリング処理部２８は、自由視点映像Ｊのレンダリングを行う。

【0054】

表示制御部２９は、レンダリングされた自由視点映像Ｊを、例えば携帯端末２０に表示させる。

【0055】

［１－６．影の付与方法の説明］
次に、図６，図７を用いて、情報処理装置１０ａが被写体９０の３Ｄモデル９０Ｍに、自由視点Ｖの位置に応じた影を付与する方法を説明する。図６は、第１の実施形態の情報処理装置が、３Ｄモデルに影を付与する方法を説明する図である。図７は、第１の実施形態の情報処理装置が、３Ｄモデルに付与した影の一例を示す図である。

【0056】

影付与部２７は、光源情報９３に基づいて、光源から見た３Ｄモデル９０Ｍのデプス情報Ｄを格納したシャドウマップＳｍを生成する。

【0057】

図６において、光源Ｌは（Ｘ１，Ｙ１，Ｚ１）の位置に配置されて、３Ｄモデル９０Ｍの方向を照らしているものとする。なお、光源Ｌは点光源であって、光源Ｌから放射した光線は、放射角θの範囲に広がるものとする。

【0058】

影付与部２７は、まず、光源Ｌから見た３Ｄモデル９０Ｍのデプス値を格納したシャドウマップＳｍを生成する。具体的には、予め分かっている３Ｄモデル９０Ｍの配置位置と、光源Ｌの設置位置である（Ｘ１，Ｙ１，Ｚ１）とに基づいて、光源Ｌと３Ｄモデル９０Ｍとの距離を算出する。そして、例えば、３Ｄモデル９０Ｍ上の点Ｅ１と光源Ｌとの距離が、光源Ｌの放射方向に応じて配置されたシャドウマップＳｍの点Ｆ１に格納される。同様に、３Ｄモデル９０Ｍ上の点Ｅ２と光源Ｌとの距離が、シャドウマップＳｍの点Ｆ２に格納されて、３Ｄモデル９０Ｍ上の点Ｅ３と光源Ｌとの距離が、シャドウマップＳｍの点Ｆ３に格納される。また、光源Ｌが、３Ｄモデル９０Ｍを配置した床面を直接照射している場合、床面上の点Ｅ４と光源Ｌとの距離が、シャドウマップＳｍの点Ｆ４に格納される。

【0059】

影付与部２７は、このようにして生成されたシャドウマップＳｍを用いて、自由視点Ｖに応じた位置に３Ｄモデル９０Ｍの影９４を付与する。

【0060】

具体的には、影付与部２７は、自由視点Ｖの位置と、シャドウマップＳｍとを用いて、光源Ｌから見て、３Ｄモデル９０Ｍの陰になっている領域を探す。即ち、影付与部２７は、座標系ＸＹＺ上の点と光源Ｌとの距離Ｈ１と、座標系ＸＹＺ上の当該点に対応するシャドウマップＳｍに格納された距離Ｈ２とを比較する。

【0061】

そして、Ｈ１＝Ｈ２であるときには、着目している点には影９４を付与しない。一方、Ｈ１＞Ｈ２であるときには、着目している点に影９４を付与する。なお、Ｈ１＜Ｈ２となることはない。

【0062】

例えば、図６において、光源Ｌと点Ｅ１とを結ぶ直線と床面との交点である点Ｇ１に着目する。このとき、点Ｇ１と光源Ｌとの距離Ｈ１は、光源Ｌと点Ｅ１との距離Ｈ２、即ちシャドウマップＳｍの点Ｆ１に格納された値よりも大きい。したがって、影付与部２７は、自由視点Ｖから観測される点Ｇ１の位置に影９４を付与する。

【0063】

これに対して、床面上の点Ｅ４に着目する。このとき、点Ｅ４と光源Ｌとの距離Ｈ１は、光源Ｌと点Ｅ４との距離Ｈ２、即ちシャドウマップＳｍの点Ｆ４に格納された値と等しい。したがって、影付与部２７は、自由視点Ｖから観測される点Ｅ４の位置に影９４を付与しない。

【0064】

影付与部２７は、このようにして、任意に設定した自由視点Ｖの設定位置である（Ｘ０，Ｙ０，Ｚ０）から３Ｄモデル９０Ｍが配置された空間を観測した際に、３Ｄモデル９０Ｍの影９４が出現する領域を探索する。

【0065】

なお、光源Ｌ（Ｘ１，Ｙ１，Ｚ１）の設置位置は１つに限定されるものではない。即ち、複数の点光源を設置してもよい。この場合、影付与部２７は、光源毎に生成されたシャドウマップＳｍを用いて、影９４の出現領域を探索する。

【0066】

また、光源Ｌは点光源に限定されるものではない。即ち、面光源を設置してもよい。この場合、影９４は、点光源から放射される発散光束によって透視投影で生成されたのと異なり、面光源から放射される平行光束によって正射影で生成される。

【0067】

影付与部２７は、低い計算負荷で高速に影９４を付与するために、シャドウマップＳｍの生成を効率的に行う必要がある。本実施形態の情報処理装置１０ａは、後述するアルゴリズム（図８参照）を用いることによって、シャドウマップＳｍの生成を効率的に実行する。なお、影９４の付与は、影９４に相当する領域の明るさを下げることによって行う。明るさをどの位下げるかは、光源Ｌの強さや背景情報９２の明るさ等に応じて、適宜決定すればよい。

【0068】

影付与部２７が影９４を付与することによって、図７に示すように、自由視点映像Ｊに臨場感を与えることができる。

【0069】

図７に示す自由視点映像Ｊａは、背景情報９２に３Ｄモデル９０Ｍを重畳した映像である。このとき、３Ｄモデル９０Ｍには影９４が付与されていない。したがって、自由視点映像Ｊａにおいて、前景、即ち３Ｄモデル９０Ｍは浮き上がって見えるため、臨場感に欠ける映像である。

【0070】

これに対して、自由視点映像Ｊｂは、背景情報９２に重畳した３Ｄモデル９０Ｍに影９４が付与されたものである。このように３Ｄモデル９０Ｍに、背景情報９２に係る光源に応じた影９４を付与することによって、自由視点映像Ｊｂを臨場感のある映像にすることができる。

【0071】

［１－７．影の付与処理の説明］
次に、図８を用いて、影付与部２７が行う影付与処理の流れを説明する。図８は、第１の実施形態の情報処理装置が、３Ｄモデルに影を付与する処理の流れを説明する図である。なお、図８に示す処理は、情報処理装置１０ａの影付与部２７及びレンダリング処理部２８で行われる。

【0072】

領域抽出部２５は、背景情報９２と、当該背景情報９２の所定の位置に、自由視点Ｖの位置に応じた３Ｄモデル９０Ｍを重ね合わせた自由視点映像Ｊとのフレーム差分を演算する。この演算によって、３Ｄモデル９０Ｍの領域を示すシルエット画像Ｓｉが得られる。

【0073】

続いて、影付与部２７は、シルエット画像Ｓｉが示す３Ｄモデル９０Ｍの領域情報と、３Ｄモデル９０Ｍが有するデプス情報Ｄと、光源情報９３とを用いて、前記したシャドウマップＳｍを生成する。

【0074】

次に、影付与部２７は、自由視点Ｖの位置と、シャドウマップＳｍとを用いて、３Ｄモデル９０Ｍに影９４を付与する。そして、レンダリング処理部２８は、３Ｄモデル９０Ｍに影９４が付与された画像を描画する。

【0075】

［１－８．第１の実施形態の情報処理装置が行う処理の流れの説明］
次に、図９を用いて、情報処理装置１０ａが行う一連の処理の流れを説明する。図９は、第１の実施形態の情報処理装置が行う処理の流れの一例を示すフローチャートである。

【0076】

背景情報取得部２２は、背景情報９２を取得する（ステップＳ１０）。

【0077】

３Ｄモデル取得部２１は、３Ｄモデル９０Ｍを取得する（ステップＳ１１）。

【0078】

視点位置設定部２３は、被写体９０の３Ｄモデル９０Ｍを視聴する自由視点Ｖの位置を取得する（ステップＳ１２）。

【0079】

自由視点映像生成部２４は、背景情報９２と３Ｄモデル９０Ｍを重ね合わせて、自由視点Ｖの位置から観測した自由視点映像Ｊを生成する（ステップＳ１３）。

【0080】

影付与部２７は、自由視点映像Ｊと背景情報９２とからシルエット画像Ｓｉを生成する（ステップＳ１４）。

【0081】

光源情報取得部２６は、背景情報９２に係る光源の位置と当該光源が放射する光線の方向とを示す光源情報９３を取得する（ステップＳ１５）。

【0082】

影付与部２７は、光源情報９３に基づいて、光源から見た３Ｄモデル９０Ｍのデプス情報Ｄを格納したシャドウマップＳｍを生成する（ステップＳ１６）。

【0083】

影付与部２７は、自由視点映像Ｊの中の３Ｄモデル９０Ｍに影９４を付与する（ステップＳ１７）。

【0084】

レンダリング処理部２８は、自由視点映像Ｊのレンダリングを行う（ステップＳ１８）。

【0085】

表示制御部２９は、レンダリングされた自由視点映像Ｊを、例えば携帯端末２０に表示させる（ステップＳ１９）。

【0086】

自由視点映像生成部２４は、自由視点映像Ｊの生成が完了したかを判定する（ステップＳ２０）。自由視点映像Ｊの生成が完了したと判定される（ステップＳ２０：Ｙｅｓ）と、情報処理装置１０ａは、図９の処理を終了する。一方、自由視点映像Ｊの生成が完了したと判定されない（ステップＳ２０：Ｎｏ）と、ステップＳ２１に進む。

【0087】

自由視点映像生成部２４は、自由視点映像Ｊの背景を変更するかを判定する（ステップＳ２１）。自由視点映像Ｊの背景を変更すると判定される（ステップＳ２１：Ｙｅｓ）と、ステップＳ２２に進む。一方、自由視点映像Ｊの背景を変更すると判定されない（ステップＳ２１：Ｎｏ）と、ステップＳ１２に戻って、図９の処理を繰り返す。

【0088】

ステップＳ２１において、Ｙｅｓと判定されると、背景情報取得部２２は、新たな背景情報９２を取得する（ステップＳ２２）。その後、ステップＳ１２に戻って、図９の処理を繰り返す。

【0089】

［１－９．第１の実施形態の効果］
以上説明したように、第１の実施形態の情報処理装置１０ａによると、自由視点映像生成部２４（生成部）が、背景情報９２と重ね合わせた３Ｄモデル９０Ｍ（３Ｄオブジェクト）を任意の視点位置から視聴する自由視点映像Ｊを生成する。そして、影付与部２７が、背景情報９２に係る光源の位置と当該光源が放射する光線の方向とを示す光源情報９３と、３Ｄモデル９０Ｍが有するデプス情報Ｄ（３次元情報）と、視点位置とに基づいて、視点位置に応じて３Ｄモデル９０Ｍに生じる光源の影９４を生成して、自由視点映像Ｊに付与する。

【0090】

これにより、３Ｄモデル９０Ｍを自由視点から観測した自由視点映像Ｊに、視点位置に応じた３Ｄモデル９０Ｍの影９４を付与することができる。

【0091】

また、第１の実施形態の情報処理装置１０ａによると、領域抽出部２５（抽出部）が、自由視点映像Ｊの中から、３Ｄモデル９０Ｍの領域を抽出して、影付与部２７が、背景情報９２に重ね合わせた、自由視点Ｖの位置に応じた３Ｄモデル９０Ｍに、領域抽出部２５が抽出した３Ｄモデル９０Ｍの領域と、３Ｄモデル９０Ｍが有する３次元情報と、光源情報９３と、視点位置と、に基づいて生成された３Ｄモデル９０Ｍに影９４を付与する。

【0092】

これにより、３Ｄモデル９０Ｍの領域が簡便に抽出できるため、３Ｄモデル９０Ｍに影９４を付与する処理を、低い計算負荷で効率的に実行することができる。

【0093】

また、第１の実施形態の情報処理装置１０ａにおいて、３Ｄオブジェクトは、同一被写体を複数の視点位置から撮影した複数の画像で構成される。

【0094】

これにより、自由視点映像（画像）Ｊを容易に生成することができる。

【0095】

また、第１の実施形態の情報処理装置１０ａにおいて、３Ｄモデル９０Ｍ（３Ｄオブジェクト）は、視点位置に応じたテクスチャ情報を有する。

【0096】

これにより、３Ｄモデル９０Ｍを高い品質でレンダリングすることができる。

【0097】

また、第１の実施形態の情報処理装置１０ａにおいて、３Ｄモデル９０Ｍ（３Ｄオブジェクト）はＣＧである。

【0098】

これにより、被写体の種類（実写、ＣＧ）に関わらずに、影９４を付与することができる。

【0099】

（２．第２の実施形態）
次に、本開示の第２の実施形態である情報処理装置１０ｂについて説明する。情報処理装置１０ｂは、本開示をタイムフリーズと呼ばれる映像効果に適用した例である。

【0100】

［２－１．タイムフリーズの説明］
本実施形態について説明する前に、まずタイムフリーズについて説明する。タイムフリーズとは、自由視点映像Ｊの再生を一時停止して、一時停止した状態で、自由視点映像Ｊの中の３Ｄモデル９０Ｍを異なる自由視点Ｖから連続的に視聴することによって、着目した３Ｄモデル９０Ｍを強調する映像効果の一種である。

【0101】

図１０は、タイムフリーズの具体例について説明する図である。図１０において、時刻ｔ０より前では、前記した撮像装置７０が撮像した映像が再生されている。このとき、背景に光源がある場合、３Ｄモデル９０Ｍには、光源による影９４が生じる。

【0102】

情報処理装置１０ｂは、時刻ｔ０において映像の再生を一時停止する。そして、情報処理装置１０ｂは、時刻ｔ０から時刻ｔ１までの間に、自由視点Ｖを、３Ｄモデル９０Ｍａの周りに３６０°移動させながら、自由視点映像Ｊを生成する。そして、時刻ｔ０から時刻ｔ１までの間に亘って、背景には、３Ｄモデル９０Ｍを照らす光源が設定されるものとする。

【0103】

即ち、タイムフリーズ期間においては、自由視点映像Ｊとして、３Ｄモデル９０Ｍａ，９０Ｍｂ，９０Ｍｃ，９０Ｍｄ，９０Ｍｅが順次生成される。そして、これらの３Ｄモデルには、背景情報に係る光源の影が付与される。付与された影は、図１０に示す影９４ａ，９４ｂ，９４ｃ，９４ｄ，９４ｅのように、自由視点Ｖの位置に応じて変化する。

【0104】

そして、時刻ｔ１においてタイムフリーズが解除されると、光源は消灯して、撮像装置７０が撮像した映像の再生が再び開始される。

【0105】

［２－２．影の強度制御の説明］
情報処理装置１０ｂは、３Ｄモデル９０Ｍに付与する影９４の強度を調整する機能を備える。例えば、タイムフリーズ期間中に、３Ｄモデル９０Ｍを強調するために、背景情報に係る新たな光源を用いて３Ｄモデル９０Ｍを照らす場合、タイムフリーズ開始前の映像とタイムフリーズ中の映像との間で、影の有無が突然変化するため、不自然な映像になる可能性がある。同様に、タイムフリーズ中の映像とタイムフリーズを解除した後の映像との間でも、影の有無によって、映像の繋ぎ目が不自然になる可能性がある。情報処理装置１０ｂは、このような映像の繋ぎ目において、影９４の強度を調整する機能を備える。

【0106】

図１１を用いて、情報処理装置１０ａが影９４の強度を制御する様子を説明する。図１１は、第２の実施形態の情報処理装置がタイムフリーズを行う際に、影の強度の制御に用いるテーブルの一例を示す図である。

【0107】

タイムフリーズを行う際には、当該タイムフリーズを行う所要時間Ｗが、予め設定されているものとする。即ち、図１１において、時刻ｔ＝ｔ０でタイムフリーズを開始した場合、時刻ｔ＝ｔ０＋Ｗ＝ｔ１でタイムフリーズが解除されるものとする。

【0108】

情報処理装置１０ｂは、３Ｄモデル９０Ｍに付与する影９４の強度Ｉを、図１１に示すテーブルに従って調整する。即ち、タイムフリーズ開始時には、影９４の強度Ｉを０（影がない状態）とする。そして、時間の経過とともに徐々に影９４の強度を強く調整して、時刻ｔ＝ｔ０＋Δｔにおいて、影９４の強度Ｉを、通常の強度とする。

【0109】

その後、時刻ｔ＝ｔ１－Δｔ以降は、影９４の強度Ｉを徐々に弱く調整して、時刻ｔ＝ｔ１、即ちタイムフリーズを解除する時刻において、影９４の強度Ｉを０とする。なお、Δｔの値は適宜設定される。

【0110】

なお、図１０において、タイムフリーズの前後で光源に変更がない場合には、映像の繋ぎ目で影９４の強度を調整する必要がない。したがって、情報処理装置１０ｂは、自由視点映像Ｊを生成する環境、特に、設定される光源の設定状態に応じて、影９４の強度調整を行うか否かを判断するのが望ましい。

【0111】

［２－３．第２の実施形態の情報処理装置の機能構成の説明］
次に、図１２を用いて、情報処理装置１０ｂの機能構成を説明する。図１２は、第２の実施形態の情報処理装置の機能構成の一例を示す機能ブロック図である。

【0112】

情報処理装置１０ｂは、情報処理装置１０ａの機能構成（図５参照）に対して、影付与部２７の代わりに影付与部２７ａを備えた構成を有する。影付与部２７ａは、影付与部２７が有する機能に加えて、付与する影９４の強度を制御する機能を備える。強度の制御は、例えば、図１１に示したテーブルに基づいて行う。なお、情報処理装置１０ｂのハードウエア構成は、情報処理装置１０ａのハードウエア構成（図４参照）と同じである。

【0113】

［２－４．第２の実施形態の情報処理装置が行う処理の流れの説明］
次に、図１３を用いて、情報処理装置１０ｂが行う処理の流れを説明する。図１３は、第２の実施形態の情報処理装置が影の付与を行う際の処理の流れの一例を示すフローチャートである。なお、情報処理装置１０ｂが行う一連の処理の流れは、情報処理装置１０ａが行う処理の流れ（図９参照）とほぼ同じであり、影の付与を行う処理（図９のステップＳ１７）のみが異なる。そのため、図１３を用いて、影の付与を行う処理の流れのみを説明する。

【0114】

影付与部２７ａは、情報処理装置１０ｂがタイムフリーズを開始したかを判定する（ステップＳ３０）。情報処理装置１０ｂがタイムフリーズを開始したと判定される（ステップＳ３０：Ｙｅｓ）とステップＳ３１に進む。一方、情報処理装置１０ｂがタイムフリーズを開始したと判定されない（ステップＳ３０：Ｎｏ）とステップＳ３２に進む。

【0115】

ステップＳ３０においてＮｏと判定されると、影付与部２７ａは、タイムフリーズが行われていない条件で、３Ｄモデル９０Ｍに影９４を付与する（ステップＳ３２）。その後、影付与部２７ａは、影の付与を終了する。なお、ステップＳ３２で行う処理は、図９のステップＳ１７で行う処理と同じである。

【0116】

ステップＳ３０においてＹｅｓと判定されると、影付与部２７ａは、タイムフリーズを開始した時刻ｔ０を取得する（ステップＳ３１）。

【0117】

続いて、影付与部２７ａは、図１１のテーブルを参照して、現在の時刻に対応する影の強度Ｉを取得する（ステップＳ３３）。

【0118】

影付与部２７ａは、３Ｄモデル９０Ｍに、強度Ｉの影９４を付与する（ステップＳ３４）。なお、ステップＳ３４で行う処理は、付与する影９４の強度Ｉが異なるだけで、図９のステップＳ１７で行う処理と同じである。

【0119】

続いて、影付与部２７ａは、現在の時刻ｔを取得する（ステップＳ３５）。

【0120】

影付与部２７ａは、現在の時刻ｔが、ｔ０＋Ｗと等しいかを判定する（ステップＳ３６）。現在の時刻ｔが、ｔ０＋Ｗと等しいと判定される（ステップＳ３６：Ｙｅｓ）と、影付与部２７ａは、影の付与を終了する。一方、現在の時刻ｔが、ｔ０＋Ｗと等しいと判定されない（ステップＳ３６：Ｎｏ）と、ステップＳ３３に戻って、前記した処理を繰り返す。

【0121】

［２－５．第２の実施形態の効果］
以上説明したように、第２の実施形態の情報処理装置１０ｂにおいて、影付与部２７ａは、自由視点映像Ｊの生成を開始又は終了する際に、背景情報９２に係る光源情報９３に基づいて生成される３Ｄモデル９０Ｍ（３Ｄオブジェクト）の影９４の強度Ｉを制御する。

【0122】

これにより、自由視点映像Ｊの繋ぎ目において、３Ｄモデル９０Ｍ（３Ｄオブジェクト）の影９４が不連続になることによって映像が不自然になるのを防止することができる。

【0123】

また、第２の実施形態の情報処理装置１０ｂにおいて、影付与部２７ａは、撮像装置７０が撮影した映像と自由視点映像Ｊとを切り替える際に、光源情報９３に基づいて生成される３Ｄモデル９０Ｍ（３Ｄオブジェクト）の影９４の強度Ｉを制御する。

【0124】

これにより、自由視点映像Ｊの繋ぎ目において、影９４が不連続になることによって映像が不自然になるのを防止することができる。

【0125】

また、第２の実施形態の情報処理装置１０ｂにおいて、影付与部２７ａは、自由視点映像Ｊの生成を開始又は終了する際に、３Ｄモデル９０Ｍ（３Ｄオブジェクト）の影９４の強度Ｉを徐々に強くする制御、又は徐々に弱くする制御のいずれか一方の制御を行う。

【0126】

これにより、３Ｄモデル９０Ｍに付与される影９４の強度Ｉが徐々に強くなるか、徐々に弱くなるため、影９４の不連続さが緩和されることによって、自由視点映像Ｊの自然さを向上させることができる。

【0127】

また、第２の実施形態の情報処理装置１０ｂにおいて、影付与部２７ａは、自由視点映像生成部２４（生成部）が自由視点映像Ｊの生成を開始してから所定時間の間に、３Ｄモデル９０Ｍ（３Ｄオブジェクト）の影９４の強度Ｉを徐々に強くして、自由視点映像生成部２４が自由視点映像Ｊの生成を終了する所定時間前から、３Ｄモデル９０Ｍの影９４の強度Ｉを徐々に弱くする。

【0128】

これにより、３Ｄモデル９０Ｍに付与される影９４の不連続さが緩和されることによって、自由視点映像Ｊの自然さを向上させることができる。

【0129】

また、第２の実施形態の情報処理装置１０ｂにおいて、自由視点映像生成部２４（生成部）は、自由視点映像Ｊを一時停止させた状態で、当該自由視点映像Ｊの中の３Ｄモデル９０Ｍ（３Ｄオブジェクト）を異なる自由視点Ｖから連続的に視聴する自由視点映像Ｊを生成する。

【0130】

これにより、タイムフリーズの開始時と終了時に、３Ｄモデル９０Ｍの影９４の強度Ｉを制御することができるため、映像効果に伴って影９４の不連続さが発生する場合であっても、強度Ｉを制御することによって不連続さが緩和されるため、自由視点映像Ｊの自然さを向上させることができる。

【0131】

（３．第３の実施形態）
第２の実施形態において、タイムフリーズの開始時と終了時に影９４の強度Ｉを制御する例を説明したが、影９４の強度Ｉを制御するのが望ましい場面は、タイムフリーズの場面に限定されるものではない。次に説明する本開示の第３の実施形態である情報処理装置１０ｃは、時間とともに背景情報が変化するシーンに、影の強度制御を適用した例である。なお、情報処理装置１０ｃのハードウエア構成及び機能構成は、第２の実施形態で説明した情報処理装置１０ｂと同じであるため、説明は省略する。

【0132】

［３－１．背景情報が変化するシーンの説明］
図１４は、背景情報が変化するシーンの一例を示す図である。図１４は、３Ｄモデル９０Ｍが、時刻ｔ０から、時間とともに徐々に自由視点Ｖに接近するシーンを表す自由視点映像Ｊの一例である。

【0133】

特に、図１４の例では、時刻ｔ１において、背景情報９２が、第１の背景情報９２ａから第２の背景情報９２ｂに切り替わる。また、時刻ｔ０から時刻ｔ１までと、時刻ｔ１以降とで、光源の位置が変化する。そのため、時刻ｔ０から時刻ｔ１までの間で３Ｄモデル９０Ｍに付与される影９４ａと、時刻ｔ１以降に３Ｄモデル９０Ｍに付与される影９４ｂとは、異なる方向に延びる。

【0134】

情報処理装置１０ｃは、このように背景情報９２が変化するシーンにおいて、シーンが切り替わる時刻ｔ１の前後において、影の強度Ｉを制御する。

【0135】

即ち、時刻ｔ１－Δｔからｔ＝ｔ１の間において、３Ｄモデル９０Ｍの影９４ａの強度Ｉを徐々に弱くする。そして、時刻ｔ１において、背景情報９２が、第１の背景情報９２ａから第２の背景情報９２ｂに切り替わったタイミングでは、影９４ａは消失する。

【0136】

そして、時刻ｔ１から時刻ｔ１＋Δｔの間において、３Ｄモデル９０Ｍの影９４ｂの強度Ｉを徐々に強くする。これによって、背景情報９２が切り替わる時刻ｔ１の前後において、影が不連続に切り替わることがなくなるため、自然な自由視点映像Ｊを生成することができる。なお、影の強度Ｉの調整方法は、第２の実施形態で説明した通りであるため、説明は省略する。

【0137】

また、時刻ｔ１において光源の位置が変化しない場合は、時刻ｔ１以前に付与された影９４ａの状態が、時刻ｔ１以降も維持される。そして、この場合には影９４の強度Ｉの制御は行わない。

【0138】

［３－２．第３の実施形態の効果］
以上説明したように、第３の実施形態の情報処理装置１０ｃにおいて、影付与部２７ａは、第１の背景情報９２ａに基づいて生成される自由視点映像Ｊと、第２の背景情報９２ｂに基づいて生成される自由視点映像Ｊとを切り替える際に、第１の背景情報９２ａに係る光源情報９３に基づいて生成される３Ｄモデル９０Ｍ（３Ｄオブジェクト）の影９４ａの強度Ｉと、第２の背景情報９２ｂに係る光源情報９３に基づいて生成される３Ｄモデル９０Ｍの影９４ｂの強度Ｉとを制御する。

【0139】

これにより、自由視点映像Ｊの切り替わり箇所（背景の変更箇所）における繋ぎ目の不自然さを緩和することができる。

【0140】

なお、本明細書に記載された効果は、あくまで例示であって限定されるものではなく、他の効果があってもよい。また、本開示の実施形態は、上述した実施形態に限定されるものではなく、本開示の要旨を逸脱しない範囲において種々の変更が可能である。

【0141】

例えば、本開示は、以下のような構成もとることができる。
（１）
背景情報と重ね合わせた３Ｄオブジェクトを任意の視点位置から視聴する自由視点映像を生成する生成部と、
前記背景情報に係る光源の位置と当該光源が放射する光線の方向とを示す光源情報と、前記３Ｄオブジェクトが有する３次元情報と、前記視点位置とに基づいて、前記光源によって前記視点位置に応じて前記３Ｄオブジェクトに生じる影を生成して、前記自由視点映像に付与する影付与部と、
を備える情報処理装置。
（２）
前記影付与部は、前記自由視点映像の生成を開始又は終了する際に、前記背景情報に係る前記光源情報に基づいて生成される前記３Ｄオブジェクトの影の強度を制御する、
前記（１）に記載の情報処理装置。
（３）
前記影付与部は、撮像装置が撮影した映像と前記自由視点映像とを切り替える際に、前記光源情報に基づいて生成される前記３Ｄオブジェクトの影の強度を制御する、
前記（１）又は（２）に記載の情報処理装置。
（４）
前記影付与部は、第１の背景情報に基づいて生成される前記自由視点映像と、第２の背景情報に基づいて生成される前記自由視点映像とを切り替える際に、前記第１の背景情報に係る前記光源情報に基づいて生成される前記３Ｄオブジェクトの影の強度と、前記第２の背景情報に係る前記光源情報に基づいて生成される前記３Ｄオブジェクトの影の強度とを制御する、
前記（１）に記載の情報処理装置。
（５）
前記影付与部は、前記自由視点映像の生成を開始又は終了する際に、前記３Ｄオブジェクトの影の強度を徐々に強くする制御、又は徐々に弱くする制御のいずれか一方の制御を行う、
前記（２）乃至（４）のいずれか１項に記載の情報処理装置。
（６）
前記影付与部は、
前記生成部が自由視点映像の生成を開始してから所定時間の間に、前記３Ｄオブジェクトの影の強度を徐々に強くして、
前記生成部が自由視点映像の生成を終了する所定時間前から、前記３Ｄオブジェクトの影の強度を徐々に弱くする、
前記（２）乃至（５）のいずれか１項に記載の情報処理装置。
（７）
前記自由視点映像の中から、前記３Ｄオブジェクトの領域を抽出する抽出部を更に備えて、
前記影付与部は、
前記背景情報に重ね合わせた、前記視点位置に応じた前記３Ｄオブジェクトに、前記抽出部が抽出した当該３Ｄオブジェクトの領域と、前記３Ｄオブジェクトが有する３次元情報と、前記光源情報と、前記視点位置と、に基づいて生成された前記３Ｄオブジェクトの影を付与する、
前記（１）乃至（６）のいずれか１項に記載の情報処理装置。
（８）
前記生成部は、前記自由視点映像を一時停止させた状態で、当該自由視点映像の中の３Ｄオブジェクトを異なる自由視点から連続的に視聴する自由視点映像を生成する、
前記（１）乃至（３）のいずれか１項に記載の情報処理装置。
（９）
前記３Ｄオブジェクトは、同一被写体を複数の視点位置から撮影した複数の画像で構成される、
前記（１）乃至（８）のいずれか１項に記載の情報処理装置。
（１０）
前記３Ｄオブジェクトは、視点位置に応じたテクスチャ情報を有する、
前記（１）乃至（９）のいずれか１項に記載の情報処理装置。
（１１）
前記３ＤオブジェクトはＣＧ（Computer Graphics）である、
前記（１）乃至（１０）のいずれか１項に記載の情報処理装置。
（１２）
背景情報と重ね合わせた３Ｄオブジェクトを任意の視点位置から視聴する自由視点映像を生成する生成ステップと、
前記背景情報に係る光源の位置と当該光源が放射する光線の方向とを示す光源情報と、前記３Ｄオブジェクトが有する３次元情報と、前記視点位置と、に基づいて前記光源によって、前記視点位置に応じて前記３Ｄオブジェクトに生じる影を生成して、前記自由視点映像に付与する影付与ステップと、
を備える情報処理方法。
（１３）
コンピュータを、
背景情報と重ね合わせた３Ｄオブジェクトを任意の視点位置から視聴する自由視点映像を生成する生成部と、
前記背景情報に係る光源の位置と当該光源が放射する光線の方向とを示す光源情報と、前記３Ｄオブジェクトが有する３次元情報と、前記視点位置と、に基づいて前記光源によって、前記視点位置に応じて前記３Ｄオブジェクトに生じる影を生成して、前記自由視点映像に付与する影付与部と、
して機能させるプログラム。

【符号の説明】

【0142】

１０ａ，１０ｂ…情報処理装置、２０…携帯端末、２１…３Ｄモデル取得部、２２…背景情報取得部、２３…視点位置設定部、２４…自由視点映像生成部（生成部）、２５…領域抽出部（抽出部）、２６…光源情報取得部、２７，２７ａ…影付与部、２８…レンダリング処理部、２９…表示制御部、７０，７０ａ，７０ｂ，７０ｃ…撮像装置、７２，７２ａ，７２ｂ…仮想カメラ、９０…被写体、９０Ｍ，９０Ｍａ，９０Ｍｂ，９０Ｍｃ，９０Ｍｄ，９０Ｍｅ…３Ｄモデル（３Ｄオブジェクト）、９２…背景情報、９２ａ…第１の背景情報、９２ｂ…第２の背景情報、９３…光源情報、９４…影、Ｄ…デプス情報（３次元情報）、Ｈ１，Ｈ２…距離、Ｊ，Ｊａ，Ｊｂ，Ｊ１，Ｊ２…自由視点映像、Ｌ…光源、Ｍ…メッシュ情報、Ｓｉ…シルエット画像、Ｓｍ…シャドウマップ、Ｔ，Ｔａ，Ｔｂ…テクスチャ情報、Ｖ，Ｖ１，Ｖ２…自由視点

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】