ホーム > 特許ランキング > ソニーグループ株式会社
知財求人 - 知財ポータルサイト「IP Force」
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】6930541
(24)【登録日】2021年8月16日
(45)【発行日】2021年9月1日
(54)【発明の名称】画像処理装置および画像処理方法
(51)【国際特許分類】
G06T 19/00 20110101AFI20210823BHJP
G06T 15/20 20110101ALI20210823BHJP
A63F 13/655 20140101ALI20210823BHJP
A63F 13/525 20140101ALI20210823BHJP
G08G 1/16 20060101ALI20210823BHJP
【ＦＩ】
G06T19/00 A
G06T15/20 500
A63F13/655
A63F13/525
G08G1/16 A
【請求項の数】17
【全頁数】54
(21)【出願番号】特願2018-534343(P2018-534343)
(86)(22)【出願日】2017年8月4日
(86)【国際出願番号】JP2017028337
(87)【国際公開番号】WO2018034171
(87)【国際公開日】20180222
【審査請求日】2020年6月23日
(31)【優先権主張番号】特願2016-161233(P2016-161233)
(32)【優先日】2016年8月19日
(33)【優先権主張国】JP
(73)【特許権者】
【識別番号】000002185
【氏名又は名称】ソニーグループ株式会社
(74)【代理人】
【識別番号】100121131
【弁理士】
【氏名又は名称】西川 孝
(74)【代理人】
【識別番号】100082131
【弁理士】
【氏名又は名称】稲本 義雄
(72)【発明者】
【氏名】増田 徹
【審査官】
千葉 久博
(56)【参考文献】
【文献】
特開２０１３−１９７８８１（ＪＰ，Ａ）
【文献】
特開２０１１−１４７１０９（ＪＰ，Ａ）
【文献】
特開２００８−９０７５０（ＪＰ，Ａ）
【文献】
特開２００３−６６１８（ＪＰ，Ａ）
(58)【調査した分野】（Int.Cl.，ＤＢ名）
Ｇ０６Ｔ １９／００
Ｇ０６Ｔ １５／２０
Ａ６３Ｆ １３／６５５
Ａ６３Ｆ １３／５２５
Ｇ０８Ｇ １／１６
(57)【特許請求の範囲】
【請求項1】
複数の撮影画像に基づいて生成された画像であって、所定の視点からの距離に応じて複数のレイヤに階層化された画像である複数のレイヤ画像において各オブジェクトが存在するセグメントのレイヤ方向および画素方向の位置を示すセグメント情報に基づいて、表示画像内の各前記オブジェクトの表示形態を変更する画像生成部を
備え、
前記セグメント情報は、各前記レイヤ画像の各画素が属する前記セグメントを示し、前記レイヤ画像間で同じ前記オブジェクトに対応する前記セグメントが対応付けられている
画像処理装置。
備え、
前記セグメント情報は、各前記レイヤ画像の各画素が属する前記セグメントを示し、前記レイヤ画像間で同じ前記オブジェクトに対応する前記セグメントが対応付けられている
画像処理装置。
【請求項2】
各前記レイヤ画像を前記オブジェクト毎に複数のセグメントに分割し、前記レイヤ画像間で同じ前記オブジェクトに対応する前記セグメントを対応付けることにより、前記セグメント情報を生成するセグメント情報生成部を
さらに備える請求項１に記載の画像処理装置。
さらに備える請求項１に記載の画像処理装置。
【請求項3】
前記画像生成部は、第１のレイヤの前記レイヤ画像において非表示にする前記オブジェクトに対応する第１のセグメントの画素の代わりに、前記第１のレイヤより下位の第２のレイヤの前記レイヤ画像の同じ位置の画素であって、前記第１のセグメントと異なる第２のセグメントの画素を用いて、前記表示画像を生成する
請求項１に記載の画像処理装置。
請求項１に記載の画像処理装置。
【請求項4】
前記複数の撮影画像は、各前記オブジェクトを含む領域の周囲の少なくとも一部を取り囲むように配置された異なる視点から撮影した複数の画像を含む
請求項１に記載の画像処理装置。
請求項１に記載の画像処理装置。
【請求項5】
前記複数のレイヤ画像は、前記異なる視点から撮影した前記複数の画像に基づいて３次元再構成を行うことにより生成される３次元モデルに基づいて生成される
請求項４に記載の画像処理装置。
請求項４に記載の画像処理装置。
【請求項6】
前記複数の撮影画像は、前記視点から異なる時刻に撮影した複数の画像を含む
請求項１に記載の画像処理装置。
請求項１に記載の画像処理装置。
【請求項7】
各前記レイヤ画像には、前記視点からの所定の視線方向の距離が、前記レイヤ画像毎に設定された所定の閾値以上のオブジェクトが含まれる
請求項１に記載の画像処理装置。
請求項１に記載の画像処理装置。
【請求項8】
各前記レイヤ画像は、テクスチャ画像およびデプス画像を含む
請求項１に記載の画像処理装置。
請求項１に記載の画像処理装置。
【請求項9】
画像処理装置が
複数の撮影画像に基づいて生成された画像であって、所定の視点からの距離に応じて複数のレイヤに階層化された画像である複数のレイヤ画像において各オブジェクトが存在するセグメントのレイヤ方向および画素方向の位置を示すセグメント情報に基づいて、表示画像内の各前記オブジェクトの表示形態を変更する画像生成ステップを
含み、
前記セグメント情報は、各前記レイヤ画像の各画素が属する前記セグメントを示し、前記レイヤ画像間で同じ前記オブジェクトに対応する前記セグメントが対応付けられている
画像処理方法。
複数の撮影画像に基づいて生成された画像であって、所定の視点からの距離に応じて複数のレイヤに階層化された画像である複数のレイヤ画像において各オブジェクトが存在するセグメントのレイヤ方向および画素方向の位置を示すセグメント情報に基づいて、表示画像内の各前記オブジェクトの表示形態を変更する画像生成ステップを
含み、
前記セグメント情報は、各前記レイヤ画像の各画素が属する前記セグメントを示し、前記レイヤ画像間で同じ前記オブジェクトに対応する前記セグメントが対応付けられている
画像処理方法。
【請求項10】
複数の撮影画像に基づいて生成された画像であって、所定の視点からの距離に応じて複数のレイヤに階層化された画像である複数のレイヤ画像をそれぞれオブジェクト毎に複数のセグメントに分割し、前記レイヤ画像間で同じ前記オブジェクトに対応する前記セグメントを対応付けることにより、各前記レイヤ画像において各前記オブジェクトが存在するセグメントの位置を示すセグメント情報を生成するセグメント情報生成部と、
前記セグメント情報に基づいて、表示画像内の各前記オブジェクトの表示形態を変更する画像生成部と
を備える画像処理装置。
前記セグメント情報に基づいて、表示画像内の各前記オブジェクトの表示形態を変更する画像生成部と
を備える画像処理装置。
【請求項11】
画像処理装置が
複数の撮影画像に基づいて生成された画像であって、所定の視点からの距離に応じて複数のレイヤに階層化された画像である複数のレイヤ画像をそれぞれオブジェクト毎に複数のセグメントに分割し、前記レイヤ画像間で同じ前記オブジェクトに対応する前記セグメントを対応付けることにより、各前記レイヤ画像において各前記オブジェクトが存在するセグメントの位置を示すセグメント情報を生成するセグメント情報生成ステップと、
前記セグメント情報に基づいて、表示画像内の各前記オブジェクトの表示形態を変更する画像生成ステップと
を含む画像処理方法。
複数の撮影画像に基づいて生成された画像であって、所定の視点からの距離に応じて複数のレイヤに階層化された画像である複数のレイヤ画像をそれぞれオブジェクト毎に複数のセグメントに分割し、前記レイヤ画像間で同じ前記オブジェクトに対応する前記セグメントを対応付けることにより、各前記レイヤ画像において各前記オブジェクトが存在するセグメントの位置を示すセグメント情報を生成するセグメント情報生成ステップと、
前記セグメント情報に基づいて、表示画像内の各前記オブジェクトの表示形態を変更する画像生成ステップと
を含む画像処理方法。
【請求項12】
複数の撮影画像に基づいて生成された画像であって、所定の視点からの距離に応じて複数のレイヤに階層化された画像である複数のレイヤ画像において各オブジェクトが存在するセグメントの位置を示すセグメント情報に基づいて、表示画像内の各前記オブジェクトの表示形態を変更し、第１のレイヤの前記レイヤ画像において非表示にする前記オブジェクトに対応する第１のセグメントの画素の代わりに、前記第１のレイヤより下位の第２のレイヤの前記レイヤ画像の同じ位置の画素であって、前記第１のセグメントと異なる第２のセグメントの画素を用いて、前記表示画像を生成する画像生成部を
備える画像処理装置。
備える画像処理装置。
【請求項13】
画像処理装置が
複数の撮影画像に基づいて生成された画像であって、所定の視点からの距離に応じて複数のレイヤに階層化された画像である複数のレイヤ画像において各オブジェクトが存在するセグメントの位置を示すセグメント情報に基づいて、表示画像内の各前記オブジェクトの表示形態を変更し、第１のレイヤの前記レイヤ画像において非表示にする前記オブジェクトに対応する第１のセグメントの画素の代わりに、前記第１のレイヤより下位の第２のレイヤの前記レイヤ画像の同じ位置の画素であって、前記第１のセグメントと異なる第２のセグメントの画素を用いて、前記表示画像を生成する画像生成ステップを
含む画像処理方法。
複数の撮影画像に基づいて生成された画像であって、所定の視点からの距離に応じて複数のレイヤに階層化された画像である複数のレイヤ画像において各オブジェクトが存在するセグメントの位置を示すセグメント情報に基づいて、表示画像内の各前記オブジェクトの表示形態を変更し、第１のレイヤの前記レイヤ画像において非表示にする前記オブジェクトに対応する第１のセグメントの画素の代わりに、前記第１のレイヤより下位の第２のレイヤの前記レイヤ画像の同じ位置の画素であって、前記第１のセグメントと異なる第２のセグメントの画素を用いて、前記表示画像を生成する画像生成ステップを
含む画像処理方法。
【請求項14】
複数の撮影画像に基づいて生成された画像であって、所定の視点からの距離に応じて複数のレイヤに階層化された画像である複数のレイヤ画像において各オブジェクトが存在するセグメントの位置を示すセグメント情報に基づいて、表示画像内の各前記オブジェクトの表示形態を変更する画像生成部を
備え、
各前記レイヤ画像には、前記視点からの所定の視線方向の距離が、前記レイヤ画像毎に設定された所定の閾値以上のオブジェクトが含まれる
画像処理装置。
備え、
各前記レイヤ画像には、前記視点からの所定の視線方向の距離が、前記レイヤ画像毎に設定された所定の閾値以上のオブジェクトが含まれる
画像処理装置。
【請求項15】
画像処理装置が
複数の撮影画像に基づいて生成された画像であって、所定の視点からの距離に応じて複数のレイヤに階層化された画像である複数のレイヤ画像において各オブジェクトが存在するセグメントの位置を示すセグメント情報に基づいて、表示画像内の各前記オブジェクトの表示形態を変更する画像生成ステップを
含み、
各前記レイヤ画像には、前記視点からの所定の視線方向の距離が、前記レイヤ画像毎に設定された所定の閾値以上のオブジェクトが含まれる
画像処理方法。
複数の撮影画像に基づいて生成された画像であって、所定の視点からの距離に応じて複数のレイヤに階層化された画像である複数のレイヤ画像において各オブジェクトが存在するセグメントの位置を示すセグメント情報に基づいて、表示画像内の各前記オブジェクトの表示形態を変更する画像生成ステップを
含み、
各前記レイヤ画像には、前記視点からの所定の視線方向の距離が、前記レイヤ画像毎に設定された所定の閾値以上のオブジェクトが含まれる
画像処理方法。
【請求項16】
複数の撮影画像に基づいて生成された画像であって、所定の視点からの距離に応じて複数のレイヤに階層化された画像である複数のレイヤ画像における各前記レイヤ画像に対して各オブジェクトが存在するセグメントの位置を示すセグメント情報に基づいて、表示画像内の各前記オブジェクトの表示形態を変更する画像生成部を
備え、
各前記レイヤ画像は、テクスチャ画像およびデプス画像を含む
画像処理装置。
備え、
各前記レイヤ画像は、テクスチャ画像およびデプス画像を含む
画像処理装置。
【請求項17】
画像処理装置が
複数の撮影画像に基づいて生成された画像であって、所定の視点からの距離に応じて複数のレイヤに階層化された画像である複数のレイヤ画像における各前記レイヤ画像に対して各オブジェクトが存在するセグメントの位置を示すセグメント情報に基づいて、表示画像内の各前記オブジェクトの表示形態を変更する画像生成ステップを
含み、
各前記レイヤ画像は、テクスチャ画像およびデプス画像を含む
画像処理方法。
複数の撮影画像に基づいて生成された画像であって、所定の視点からの距離に応じて複数のレイヤに階層化された画像である複数のレイヤ画像における各前記レイヤ画像に対して各オブジェクトが存在するセグメントの位置を示すセグメント情報に基づいて、表示画像内の各前記オブジェクトの表示形態を変更する画像生成ステップを
含み、
各前記レイヤ画像は、テクスチャ画像およびデプス画像を含む
画像処理方法。
【発明の詳細な説明】
【技術分野】
【0001】
本開示は、画像処理装置および画像処理方法に関し、特に、実写コンテンツにおいてオブジェクトの表示形態を変更する場合に用いて好適な画像処理装置および画像処理方法に関する。【背景技術】
【0002】
ＦＰＳ（First Person Shooter）ゲーム等のＣＧ（Computer Graphics）コンテンツを処理する画像処理装置では、視点の設定、移動、および回転等を容易に行うことができる（例えば、特許文献１参照）。また、そのような画像処理装置では、画像内の各オブジェクトの表示または非表示等の表示形態の変更も容易に行うことができる。【先行技術文献】
【特許文献】
【0003】
【特許文献1】特開２０１５-１６４４５０号公報
【発明の概要】
【発明が解決しようとする課題】
【0004】
一方、ＣＧコンテンツだけでなく、カメラ等で撮影した撮影画像に基づく実写コンテンツにおいても、各オブジェクトの表示形態を容易に変更できるようにすることが望まれている。【0005】
本開示は、このような状況に鑑みてなされたものであり、実写コンテンツにおいて、各オブジェクトの表示形態を容易に変更できるようにするものである。【課題を解決するための手段】
【0006】
本開示の第１の側面の画像処理装置は、複数の撮影画像に基づいて生成された画像であって、所定の視点からの距離に応じて複数のレイヤに階層化された画像である複数のレイヤ画像において各オブジェクトが存在するセグメントのレイヤ方向および画素方向の位置を示すセグメント情報に基づいて、表示画像内の各前記オブジェクトの表示形態を変更する画像生成部を備え、前記セグメント情報は、各前記レイヤ画像の各画素が属する前記セグメントを示し、前記レイヤ画像間で同じ前記オブジェクトに対応する前記セグメントが対応付けられている。
【0007】
本開示の第１の側面の画像処理方法は、本開示の第１の側面の画像処理装置に対応する。
【0008】
本開示の第１の側面においては、複数の撮影画像に基づいて生成された画像であって、所定の視点からの距離に応じて複数のレイヤに階層化された画像である複数のレイヤ画像において各オブジェクトが存在するセグメントのレイヤ方向および画素方向の位置を示すセグメント情報に基づいて、表示画像内の各前記オブジェクトの表示形態が変更され、前記セグメント情報において、各前記レイヤ画像の各画素が属する前記セグメントが示され、前記レイヤ画像間で同じ前記オブジェクトに対応する前記セグメントが対応付けられる。本開示の第２の側面の画像処理装置は、複数の撮影画像に基づいて生成された画像であって、所定の視点からの距離に応じて複数のレイヤに階層化された画像である複数のレイヤ画像をそれぞれオブジェクト毎に複数のセグメントに分割し、前記レイヤ画像間で同じ前記オブジェクトに対応する前記セグメントを対応付けることにより、各前記レイヤ画像において各前記オブジェクトが存在するセグメントの位置を示すセグメント情報を生成するセグメント情報生成部と、前記セグメント情報に基づいて、表示画像内の各前記オブジェクトの表示形態を変更する画像生成部とを備える。
本開示の第２の側面の画像処理方法は、本開示の第２の側面の画像処理装置に対応する。
本開示の第２の側面においては、複数の撮影画像に基づいて生成された画像であって、所定の視点からの距離に応じて複数のレイヤに階層化された画像である複数のレイヤ画像がそれぞれオブジェクト毎に複数のセグメントに分割され、前記レイヤ画像間で同じ前記オブジェクトに対応する前記セグメントが対応付けられることにより、各前記レイヤ画像において各前記オブジェクトが存在するセグメントの位置を示すセグメント情報が生成され、前記セグメント情報に基づいて、表示画像内の各前記オブジェクトの表示形態が変更される。
本開示の第３の側面の画像処理装置は、複数の撮影画像に基づいて生成された画像であって、所定の視点からの距離に応じて複数のレイヤに階層化された画像である複数のレイヤ画像において各オブジェクトが存在するセグメントの位置を示すセグメント情報に基づいて、表示画像内の各前記オブジェクトの表示形態を変更し、第１のレイヤの前記レイヤ画像において非表示にする前記オブジェクトに対応する第１のセグメントの画素の代わりに、前記第１のレイヤより下位の第２のレイヤの前記レイヤ画像の同じ位置の画素であって、前記第１のセグメントと異なる第２のセグメントの画素を用いて、前記表示画像を生成する画像生成部を備える。
本開示の第３の側面の画像処理方法は、本開示の第３の側面の画像処理装置に対応する。
本開示の第３の側面においては、複数の撮影画像に基づいて生成された画像であって、所定の視点からの距離に応じて複数のレイヤに階層化された画像である複数のレイヤ画像において各オブジェクトが存在するセグメントの位置を示すセグメント情報に基づいて、表示画像内の各前記オブジェクトの表示形態が変更され、第１のレイヤの前記レイヤ画像において非表示にする前記オブジェクトに対応する第１のセグメントの画素の代わりに、前記第１のレイヤより下位の第２のレイヤの前記レイヤ画像の同じ位置の画素であって、前記第１のセグメントと異なる第２のセグメントの画素を用いて、前記表示画像が生成される。
本開示の第４の側面の画像処理装置は、複数の撮影画像に基づいて生成された画像であって、所定の視点からの距離に応じて複数のレイヤに階層化された画像である複数のレイヤ画像において各オブジェクトが存在するセグメントの位置を示すセグメント情報に基づいて、表示画像内の各前記オブジェクトの表示形態を変更する画像生成部を備え、各前記レイヤ画像には、前記視点からの所定の視線方向の距離が、前記レイヤ画像毎に設定された所定の閾値以上のオブジェクトが含まれる。
本開示の第４の側面の画像処理方法は、本開示の第４の側面の画像処理装置に対応する。
本開示の第４の側面においては、複数の撮影画像に基づいて生成された画像であって、所定の視点からの距離に応じて複数のレイヤに階層化された画像である複数のレイヤ画像において各オブジェクトが存在するセグメントの位置を示すセグメント情報に基づいて、表示画像内の各前記オブジェクトの表示形態が変更され、各前記レイヤ画像には、前記視点からの所定の視線方向の距離が、前記レイヤ画像毎に設定された所定の閾値以上のオブジェクトが含まれる。
本開示の第５の側面の画像処理装置は、複数の撮影画像に基づいて生成された画像であって、所定の視点からの距離に応じて複数のレイヤに階層化された画像である複数のレイヤ画像における各前記レイヤ画像に対して各オブジェクトが存在するセグメントの位置を示すセグメント情報に基づいて、表示画像内の各前記オブジェクトの表示形態を変更する画像生成部を備え、各前記レイヤ画像は、テクスチャ画像およびデプス画像を含む
本開示の第５の側面の画像処理方法は、本開示の第５の側面の画像処理装置に対応する。
本開示の第５の側面においては、複数の撮影画像に基づいて生成された画像であって、所定の視点からの距離に応じて複数のレイヤに階層化された画像である複数のレイヤ画像における各前記レイヤ画像に対して各オブジェクトが存在するセグメントの位置を示すセグメント情報に基づいて、表示画像内の各前記オブジェクトの表示形態が変更され、各前記レイヤ画像には、テクスチャ画像およびデプス画像が含まれる。
【0009】
なお、本開示の第１乃至第５の側面の画像処理装置は、コンピュータにプログラムを実行させることにより実現することができる。
【0010】
また、本開示の第１乃至第５の側面の画像処理装置を実現するために、コンピュータに実行させるプログラムは、伝送媒体を介して伝送することにより、又は、記録媒体に記録して、提供することができる。
【発明の効果】
【0011】
本開示の第１乃至第５の側面によれば、表示画像を生成することができる。本開示の一側面によれば、実写コンテンツにおいて、各オブジェクトの表示形態を容易に変更することができる。
【0012】
なお、ここに記載された効果は必ずしも限定されるものではなく、本開示中に記載されたいずれかの効果であってもよい。【図面の簡単な説明】
【0013】
【図1】本開示を適用した画像処理装置としての生成装置の第１実施の形態の構成例を示すブロック図である。
【図2】撮影装置の配置例を示す図である。
【図3】各ポリゴンの表面を透視投影することにより生成されるテクスチャ画像と、そのテクスチャ画像に対応するデプス画像とを説明する図である。
【図4】各ポリゴンの表面を透視投影することにより生成されるテクスチャ画像と、そのテクスチャ画像に対応するデプス画像とを説明する図である。
【図5】各ポリゴンの表面を透視投影することにより生成されるテクスチャ画像と、そのテクスチャ画像に対応するデプス画像とを説明する図である。
【図6】球の裏面を透視投影することにより生成されるテクスチャ画像と、そのテクスチャ画像に対応するデプス画像とを説明する図である。
【図7】球の裏面を透視投影することにより生成されるテクスチャ画像と、そのテクスチャ画像に対応するデプス画像とを説明する図である。
【図8】各ポリゴンの裏面を透視投影することにより生成されるテクスチャ画像と、そのテクスチャ画像に対応するデプス画像とを説明する図である。
【図9】各ポリゴンの裏面を透視投影することにより生成されるテクスチャ画像と、そのテクスチャ画像に対応するデプス画像とを説明する図である。
【図10】各ポリゴンの裏面を透視投影することにより生成されるテクスチャ画像と、そのテクスチャ画像に対応するデプス画像とを説明する図である。
【図12】本開示を適用した画像処置装置としての表示装置の第１実施の形態の構成例を示すブロック図である。
【図13】第１の再構成方法を説明する図である。
【図14】第２の再構成方法を説明する図である。
【図16】本開示を適用した画像処理装置としての生成装置の第２実施の形態の構成例を示すブロック図である。
【図18】レイヤ画像生成処理の詳細を説明するフローチャートである。
【図19】カメラと各オブジェクトの配置例を示す模式図である。
【図20】カメラと各オブジェクトの配置例を示す模式図である。
【図21】撮影画像の例を示す図である。
【図22】３層構造のテクスチャ画像の例を示す図である。
【図23】レイヤ画像生成処理の具体例を説明する図である。
【図24】レイヤ画像生成処理の具体例を説明する図である。
【図25】レイヤ画像生成処理の具体例を説明する図である。
【図26】本開示を適用した画像処理装置としての表示装置の第２実施の形態の構成例を示すブロック図である。
【図28】レイヤ画像生成処理の変形例を説明する図である。
【図29】レイヤ画像生成処理の変形例を説明する図である。
【図30】レイヤ画像生成処理の変形例を説明する図である。
【図31】本開示を適用した画像処理装置としての表示装置の第３実施の形態の構成例を示すブロック図である。
【図33】セグメント情報生成処理の詳細を説明するフローチャートである。
【図34】セグメント情報生成処理の具体例を説明する図である。
【図35】セグメンテーションテーブルの具体例を示す図である。
【図36】描画対象画素選択処理の詳細を説明するフローチャートである。
【図37】所定のオブジェクトを非表示にする例を示す図である。
【図38】所定のオブジェクトを非表示にする例を示す図である。
【図39】所定のオブジェクトを非表示にする例を示す図である。
【図40】テクスチャ画像の他の例を示す図である。
【図41】オブジェクトの移動速度の算出方法を説明するための図である。
【図42】オブジェクトの移動速度の算出方法を説明するための図である。
【図43】コンピュータのハードウエアの構成例を示すブロック図である。
【図44】車両制御システムの概略的な構成の一例を示すブロック図である。
【図45】車外情報検出部及び撮像部の設置位置の一例を示す説明図である。
【発明を実施するための形態】
【0014】
以下、本開示を実施するための形態（以下、実施の形態という）について説明する。なお、説明は以下の順序で行う。１．第１実施の形態：生成装置および表示装置（図１乃至図１５）
２．第２実施の形態：生成装置および表示装置（図１６乃至図３０）
３．第３実施の形態：表示装置（図３１乃至図３９）
４．変形例（図４０乃至図４２）
５．応用例（図４３乃至図４５）
【0016】
図１の生成装置１２は、撮影装置１１−１乃至１１−Ｎ（Ｎは２以上）により取得された撮影画像とデプス画像とを用いて、撮影画像内の主要な被写体のテクスチャ画像およびデプス画像、並びに、全天球画像のテクスチャ画像およびデプス画像を生成する。【0017】
具体的には、撮影装置１１−１乃至１１−Ｎは、主要な被写体の周囲に配置され、主要な被写体の少なくとも一部を撮影範囲に含む。撮影装置１１−１乃至１１−Ｎは、それぞれ、撮影画像カメラ２１−１乃至２１−Ｎとデプス画像カメラ２２−１乃至２２−Ｎにより構成される。撮影画像カメラ２１−１乃至２１−Ｎは、被写体を撮影してフレーム単位で撮影画像を取得し、生成装置１２に供給する。デプス画像カメラ２２−１乃至２２−Ｎは、撮影画像の各画素における被写体の奥行き方向の位置をフレーム単位で取得して、その位置を表す情報を画素値とするデプス画像を生成し、生成装置１２に供給する。【0018】
なお、以下では、撮影装置１１−１乃至１１−Ｎを特に区別する必要がない場合、それらをまとめて撮影装置１１という。撮影画像カメラ２１−１乃至２１−Ｎを特に区別する必要がない場合、それらをまとめて撮影画像カメラ２１という。デプス画像カメラ２２−１乃至２２−Ｎを特に区別する必要がない場合、それらをまとめてデプス画像カメラ２２という。【0019】
生成装置１２は、領域抽出部３１、位置情報生成部３２、カラー情報生成部３３、ポリゴン生成部３４、描画部３５、全天球画像生成部３６、低解像度化部３７、エンコーダ３８、記憶部３９、および送信部４０により構成される。【0020】
生成装置１２の領域抽出部３１は、Ｎ個の撮影装置１１から供給されるＮ個の撮影画像とデプス画像から、主要な被写体の領域を抽出し、位置情報生成部３２に供給する。また、領域抽出部３１は、Ｎ個の撮影画像とデプス画像から、主要な被写体の領域以外の領域を背景領域として抽出し、全天球画像生成部３６に供給する。【0021】
位置情報生成部３２は、領域抽出部３１から供給される主要な被写体の領域のＮ個のデプス画像を用いて、主要な被写体に対応する１以上のポリゴンの位置情報を生成する。ポリゴンの位置情報とは、主要な被写体の中心を原点とする３次元座標系である３Ｄモデル座標系のポリゴンの各頂点の３次元座標である。位置情報生成部３２は、各ポリゴンの位置情報をカラー情報生成部３３とポリゴン生成部３４に供給する。また、位置情報生成部３２は、主要な被写体の領域のＮ個の撮影画像をカラー情報生成部３３に供給する。【0022】
カラー情報生成部３３は、位置情報生成部３２から供給される各ポリゴンの位置情報と主要な被写体の領域のＮ個の撮影画像を用いて、各ポリゴンの表面と裏面のRGB値などのカラー情報を生成する。具体的には、カラー情報生成部３３は、各ポリゴンに対応する撮影画像の画素値を用いて、そのポリゴンの表面のカラー情報を生成する。また、カラー情報生成部３３は、各ポリゴンの表面のカラー情報を、そのポリゴンの裏面のカラー情報としても生成する。カラー情報生成部３３は、各ポリゴンの表面と裏面のカラー情報をポリゴン生成部３４に供給する。【0023】
なお、ポリゴンの表面のカラー情報は、ポリゴンの各頂点の３Ｄモデル座標系における３次元座標を、表面の法線ベクトルを軸として時計周りで記述し、その３次元座標に対応してカラー情報を記述することにより表現される。ポリゴンの裏面のカラー情報も、表面のカラー情報と同様に表現される。【0024】
ポリゴン生成部３４は、位置情報生成部３２から供給される各ポリゴンの位置情報に基づいて各ポリゴンを生成し、カラー情報生成部３３から供給される各ポリゴンの表面と裏面のカラー情報に基づいて、各ポリゴンの表面および裏面に対してテクスチャを貼り付ける。ポリゴン生成部３４は、表面および裏面に対してテクスチャが貼り付けられた各ポリゴンを描画部３５に供給する。【0025】
描画部３５（画像生成部）は、主要な被写体の１以上のポリゴンの中心である３Ｄモデル座標系の原点に対して対向する予め決められた２視点のそれぞれについて、各ポリゴンの裏面を透視投影面に透視投影することにより、２視点のテクスチャ画像を生成する。具体的には、描画部３５は、２視点のそれぞれについて、各ポリゴンの裏面を、各視点から原点に向かう視線方向の直線が中心を通る法線である透視投影面に透視投影することにより、２視点のテクスチャ画像を生成する。本明細書において、「対向する位置」とは、対向する位置そのものだけでなく、本開示の技術的効果を奏する範囲で、対向する位置の付近も含むものである。同様に、「法線」とは、法線そのものだけでなく、面に対する角度が垂直付近である線も含むものである。【0026】
なお、テクスチャ画像のフォーマットは、特に限定されないが、例えばYCbCr420フォーマットを採用することができる。描画部３５は、ポリゴンに基づいて、２視点のテクスチャ画像それぞれに対応するデプス画像を生成する。描画部３５は、２視点のテクスチャ画像とデプス画像をエンコーダ３８に供給する。【0027】
全天球画像生成部３６は、領域抽出部３１から供給される背景領域のＮ個の撮影画像を３Ｄモデル座標系の原点を中心とする正八面体に透視投影することにより、水平方向の周囲360度および垂直方向の周囲180度の全天球画像のテクスチャ画像を生成する。なお、全天球画像は、水平方向の周囲360度および垂直方向の周囲180度の球体の全空間の画像ではなく、本開示の技術的効果を奏すれば部分空間の画像であってもよい。全天球画像生成部３６は、領域抽出部３１から供給される背景領域のＮ個のデプス画像を、撮影画像と同様に正八面体に透視投影することにより、全天球画像のデプス画像を生成する。全天球画像生成部３６は、全天球画像のテクスチャ画像とデプス画像を低解像度化部３７に供給する。【0028】
低解像度化部３７は、全天球画像生成部３６から供給される全天球画像のテクスチャ画像とデプス画像を低解像度化し、エンコーダ３８に供給する。【0029】
エンコーダ３８は、描画部３５から供給される２視点のテクスチャ画像とデプス画像を符号化し、低解像度化部３７から供給される全天球画像のテクスチャ画像とデプス画像を符号化する。これらの符号化の符号化方式としては、AVC（Advanced Video Coding）方式、HEVC方式、MVD方式等を用いることができるが、ここでは、AVC方式を用いるものとする。【0030】
従って、エンコーダ３８は、符号化により、各視点のテクスチャ画像の符号化ストリーム（以下、視点テクスチャストリームという）とデプス画像の符号化ストリーム（以下、視点デプスストリームという）を生成する。また、エンコーダ３８は、符号化により、低解像度化された全天球画像のテクスチャ画像の符号化ストリーム（以下、全天球テクスチャストリームという）とデプス画像の符号化ストリーム（以下、全天球デプスストリームという）を生成する。エンコーダ３８は、２視点の視点テクスチャストリームおよび視点デプスストリーム、並びに、全天球テクスチャストリームおよび全天球デプスストリームを記憶部３９に供給する。【0031】
記憶部３９は、エンコーダ３８から供給される２視点の視点テクスチャストリームおよび視点デプスストリーム、並びに、全天球テクスチャストリームおよび全天球デプスストリームを記憶する。【0032】
送信部４０は、記憶部３９に記憶されている２視点の視点テクスチャストリームおよび視点デプスストリーム、並びに、全天球テクスチャストリームおよび全天球デプスストリームを読み出し、送信する。【0033】
以上のように、生成装置１２は、主要な被写体の３次元構造を表現するポリゴンとカラー情報を、２視点のテクスチャ画像とデプス画像に変換する。従って、生成装置１２は、２視点のテクスチャ画像とデプス画像を、一般的な画像の符号化方式を用いて符号化し、データ量を削減することができる。その結果、主要な被写体の３次元構造を表現するデータの伝送帯域を削減することができる。【0034】
なお、図１の生成装置１２は、ポリゴンとカラー情報を生成したが、ＣＧ技術において用いられる３次元構造を表現する情報であれば、ポイントクラウドなどの他の情報を生成するようにしてもよい。【0035】
また、図１の例では、デプス画像カメラ２２が、撮影画像と同一の画素数のデプス画像を取得するが、撮影画像より少ない画素数のデプス画像を取得する場合には、領域抽出部３１と位置情報生成部３２の間に、デプス画像の画素値を補間するデプス画像補間部が設けられる。この場合、デプス画像補間部は、デプス画像の画素値を補間し、デプス画像の画素数を撮影画像の画素数と同一にする。【0036】
さらに、図１の例では、各撮影装置１１がデプス画像を取得するようにしたが、デプス画像は、そのデプス画像に対応する撮影装置１１と他の撮影装置１１により取得された撮影画像から生成されるようにしてもよい。【0038】
図２の例では、Ｎは９である。【0039】
図２に示すように、９個の撮影装置１１−１乃至１１−９は、主要な被写体６１の周囲に取り囲むように配置される。【0040】
（効果の説明）図３乃至図５は、３Ｄモデル座標系の原点に対して対向する２視点のそれぞれについて、各ポリゴンの表面を透視投影面に透視投影することにより生成されるテクスチャ画像と、そのテクスチャ画像に対応するデプス画像とを説明する図である。
【0041】
図３乃至図５の例では、主要な被写体のポリゴンが球８１を形成する。この場合、図３のＡに示すように、２視点のうちの一方の視点Ｏ１に対して、球８１の表面を視線方向Ｖ１の透視投影面に透視投影することにより生成されるテクスチャ画像には、各投影方向８２と最初に交差する球８１上の表面の領域８１Ａに貼られたテクスチャが描画される。投影方向とは、視点から延びる、視線方向とのなす角の絶対値が画角の半分の角度（図３の例ではθ）の範囲内である方向である。また、このテクスチャ画像に対応するデプス画像は、視点Ｏ１に対する領域８１Ａの奥行き方向（視線方向Ｖ１）の位置を表す画像である。【0042】
また、図３のＢに示すように、２視点のうちの他方の視点Ｏ２に対して、球８１の表面を視線方向Ｖ２の透視投影面に透視投影することにより生成されるテクスチャ画像には、各投影方向８３と最初に交差する球８１上の表面の領域８１Ｂに貼られたテクスチャが描画される。また、このテクスチャ画像に対応するデプス画像は、視点Ｏ２に対する領域８１Ｂの奥行き方向（視線方向Ｖ２）の位置を表す画像である。【0043】
従って、図３のＣに示すように、視点Ｏ１のテクスチャ画像およびデプス画像、並びに、視点Ｏ２のテクスチャ画像およびデプス画像により、球８１の中心に対して互いに対向する２つの領域８１Ａと領域８１Ｂの３次元構造を表現することができる。しかしながら、球の表面には、領域８１Ａと領域８１Ｂ以外の領域が存在する。即ち、視点Ｏ１のテクスチャ画像およびデプス画像、並びに、視点Ｏ２のテクスチャ画像およびデプス画像では３次元構造を表現できない球８１の表面の領域が存在する。【0044】
例えば、球８１の表面および裏面に世界地図がテクスチャとして貼られており、アフリカ沖大西洋上空が視点Ｏ１である場合、図４のＡの左側に示すように、視点Ｏ１のテクスチャ画像１０１には、領域８１Ａの表面にテクスチャとして貼られたアフリカ大陸と南アメリカ大陸の一部が描画される。【0045】
また、この場合、視点Ｏ２は太平洋上空であり、図４のＢの左側に示すように、視点Ｏ２のテクスチャ画像１０２には、領域８１Ｂの表面にテクスチャとして貼られたオーストラリア大陸の一部が描画される。しかしながら、南極大陸等は、テクスチャ画像１０１とテクスチャ画像１０２のいずれにも描画されない。【0046】
また、図４のＡの右側および図４のＢの右側に示すように、テクスチャ画像１０１に対応するデプス画像１１１と、テクスチャ画像１０２に対応するデプス画像１１２は、同一である。なお、デプス画像は、各画素における被写体の奥行き方向の位置が遠いほど、画素値（輝度値）が小さい。従って、デプス画像１１１とデプス画像１１２は、中心の画素値が最も大きく、中心から離れるほど小さくなっている。【0047】
以上のように、テクスチャ画像１０１とテクスチャ画像１０２のいずれにも、南極大陸等は描画されない。従って、図５に示すように、テクスチャ画像１０１およびデプス画像１１１並びにテクスチャ画像１０２およびデプス画像１１２を用いて再構成された３次元構造１２１は、表面および裏面に世界地図がテクスチャとして貼られた球８１の一部分のみである。【0050】
上述したように、視点Ｏ１に対して球８１の表面を視線方向Ｖ１の透視投影面に透視投影することによりテクスチャ画像を生成する場合、テクスチャ画像には、図６に示すように、各投影方向８２と最初に交差する球８１上の表面の各点ｃ１に貼られたテクスチャが描画される。また、このテクスチャ画像に対応するデプス画像は、視点Ｏ１に対する各点ｃ１の奥行き方向（視線方向Ｖ１）の位置を表す画像である。【0051】
一方、視点Ｏ１に対して球８１の表面を視線方向Ｖ１の透視投影面に透視投影することによりテクスチャ画像を生成する場合、テクスチャ画像には、図６に示すように、各投影方向８２と最初に交差する球８１上の裏面の各点ｃ２に貼られたテクスチャが描画される。また、このテクスチャ画像に対応するデプス画像は、視点Ｏ２に対する各点ｃ２の奥行き方向（視線方向Ｖ１）の位置を表す画像である。【0052】
例えば、球８１の表面および裏面に世界地図がテクスチャとして貼られており、アフリカ沖大西洋上空が視点Ｏ１である場合、図７に示すように、視点Ｏ１のテクスチャ画像１３１には、各点ｃ２の裏面にテクスチャとして貼られた北アメリカ大陸、南アメリカ大陸の一部、南極大陸、ヨーロッパ大陸の一部、アジア大陸、およびオーストラリア大陸が描画される。また、テクスチャ画像１３１に対応するデプス画像１３２は、中心の画素値が最も小さく、中心から離れるほど小さくなる。【0053】
図８乃至図１０は、３Ｄモデル座標系の原点に対して対向する２視点のそれぞれについて、各ポリゴンの裏面を透視投影面に透視投影することにより生成されるテクスチャ画像と、そのテクスチャ画像に対応するデプス画像とを説明する図である。【0054】
図８乃至図１０の例では、主要な被写体のポリゴンが球８１である。この場合、図８のＡに示すように、視点Ｏ１に対して、球８１の裏面を視線方向Ｖ１の透視投影面に透視投影することにより生成されるテクスチャ画像には、各投影方向８２と最初に交差する球８１上の裏面の領域１５３Ａに貼られたテクスチャが描画される。また、このテクスチャ画像に対応するデプス画像は、視点Ｏ１に対する領域８１Ａの奥行き方向（視線方向Ｖ１）の位置を表す画像である。【0055】
また、図８のＢに示すように、２視点のうちの他方の視点Ｏ２に対して、球８１の裏面を視線方向Ｖ２の透視投影面に透視投影することにより生成されるテクスチャ画像には、各投影方向８３と最初に交差する球８１上の裏面の領域１５３Ｂに貼られたテクスチャが描画される。また、このテクスチャ画像に対応するデプス画像は、視点Ｏ２に対する領域８１Ｂの奥行き方向（視線方向Ｖ２）の位置を表す画像である。【0056】
従って、図８のＣに示すように、視点Ｏ１のテクスチャ画像およびデプス画像、並びに、視点Ｏ２のテクスチャ画像およびデプス画像により、球８１の中心に対して互いに対向する２つの領域１５３Ａおよび領域１５３Ｂの３次元構造を表現することができる。【0057】
なお、図８のＣに示すように、領域１５３Ａおよび領域１５３Ｂは重複する。従って、視点Ｏ１のテクスチャ画像およびデプス画像、並びに、視点Ｏ２のテクスチャ画像およびデプス画像により、球８１の全ての３次元構造を表現することができることになる。【0058】
例えば、球８１の表面および面に世界地図がテクスチャとして貼られており、アフリカ沖大西洋上空が視点Ｏ１である場合、図９のＡの左側に示すように、視点Ｏ１のテクスチャ画像１６１には、領域１５３Ａの裏面にテクスチャとして貼られた北アメリカ大陸、南アメリカ大陸の一部、南極大陸、ヨーロッパ大陸の一部、アジア大陸、オーストラリア大陸が描画される。【0059】
また、この場合、視点Ｏ２は太平洋上空であり、図９のＢの左側に示すように、視点Ｏ２のテクスチャ画像１６２には、領域１５３Ｂの裏面にテクスチャとして貼られたアフリカ大陸、北アメリカ大陸、南アメリカ大陸、南極大陸、ヨーロッパ大陸の一部が描画される。従って、７大陸の全てが、テクスチャ画像１６１とテクスチャ画像１６２の少なくとも一方に描画される。【0060】
また、図９のＡおよび図９のＢの右側に示すように、テクスチャ画像１６１に対応するデプス画像１６３と、テクスチャ画像１６２に対応するデプス画像１６４は、同一である。デプス画像１６３とデプス画像１６４は、中心の画素値が最も小さく、中心から離れるほど大きくなっている。【0061】
以上のように、７大陸の全てが、テクスチャ画像１６１とテクスチャ画像１６２の少なくとも一方に描画される。従って、図１０のＡに示すように、テクスチャ画像１６１とデプス画像１６３を用いて再構成された３次元構造１７１は、球８１の視点Ｏ２側の半分（図中右半分）より大きい部分である。また、図１０のＢに示すように、テクスチャ画像１６２とデプス画像１６４を用いて再構成された３次元構造１７２は、球８１の視点Ｏ１側の半分（図中左半分）より大きい部分である。よって、テクスチャ画像１６１およびデプス画像１６３並びにテクスチャ画像１６２およびデプス画像１６４を用いて３次元構造を再構成することにより、球８１全体を生成することができる。【0062】
なお、領域１５３Ａと領域１５３Ｂの重複領域は、テクスチャ画像１６１およびデプス画像１６３と、テクスチャ画像１６２およびデプス画像１６４のいずれか一方を用いて生成される。【0063】
例えば、図８のＡに示すように、領域１５３Ａと領域１５３Ｂの重複領域のうちの領域１５３Ａの端部の領域１５４は、視点Ｏ１に対して透視投影される場合、投影方向８２との角度が小さい。従って、テクスチャ画像１６１とデプス画像１６３では、領域１５４の３次元構造を高精度で表現することはできない。【0064】
しかしながら、図８のＢに示すように、領域１５４は、視点Ｏ２に対して透視投影される場合、投影方向８３との角度が、視点Ｏ１に対して透視投影される場合に比べて大きくなる。従って、テクスチャ画像１６２とデプス画像１６４では、テクスチャ画像１６１とデプス画像１６３に比べて、領域１５４の３次元構造を高精度で表現することができる。よって、領域１５４は、テクスチャ画像１６２とデプス画像１６４を用いて生成される。【0065】
以上のように、領域１５３Ａと領域１５３Ｂの重複領域を、テクスチャ画像１６１およびデプス画像１６３と、テクスチャ画像１６２およびデプス画像１６４のうちの、重複領域との角度が大きい投影方向に対応する方を用いて生成することにより、球８１の再構成の精度を向上させることができる。【0066】
（生成装置の処理の説明）図１１は、図１の生成装置１２の生成処理を説明するフローチャートである。この生成処理は、Ｎ個の撮影装置１１により取得されるＮ個の撮影画像とデプス画像のフレームごとに行われる。
【0067】
図１１のステップＳ１１において、生成装置１２の領域抽出部３１は、撮影装置１１から供給されるＮ個の撮影画像とデプス画像から、主要な被写体の領域と背景領域を抽出する。領域抽出部３１は、主要な被写体の領域のＮ個の撮影画像とデプス画像を位置情報生成部３２に供給し、背景領域のＮ個の撮影画像とデプス画像を全天球画像生成部３６に供給する。【0068】
ステップＳ１２において、位置情報生成部３２は、領域抽出部３１から供給される主要な被写体の領域のＮ個のデプス画像を用いて、主要な被写体の各ポリゴンの位置情報を生成し、カラー情報生成部３３と描画部３５に供給する。また、位置情報生成部３２は、主要な被写体の領域のＮ個の撮影画像をカラー情報生成部３３に供給する。【0069】
ステップＳ１３において、カラー情報生成部３３は、位置情報生成部３２から供給される各ポリゴンの位置情報と主要な被写体の領域のＮ個の撮影画像を用いて、各ポリゴンの表面と裏面のカラー情報を生成する。カラー情報生成部３３は、各ポリゴンの表面と裏面のカラー情報を描画部３５に供給する。【0070】
ステップＳ１４において、描画部３５は、位置情報生成部３２から供給される各ポリゴンの位置情報に基づいて各ポリゴンを生成し、カラー情報生成部３３から供給される各ポリゴンの表面と裏面のカラー情報に基づいて、各ポリゴンの表面および裏面に対してテクスチャを貼り付ける。【0071】
ステップＳ１５において、描画部３５は、予め決められた２視点のそれぞれに対して、各ポリゴンの裏面を視線方向の透視投影面に透視投影することにより２視点のテクスチャ画像を生成する。描画部３５は、２視点のテクスチャ画像をエンコーダ３８に供給する。【0072】
ステップＳ１６において、描画部３５は、ポリゴンに基づいて、２視点のテクスチャ画像それぞれに対応するデプス画像を生成し、エンコーダ３８に供給する。【0073】
ステップＳ１７において、全天球画像生成部３６は、領域抽出部３１から供給される背景領域のＮ個の撮影画像を３Ｄモデル座標系の原点を中心とする正八面体に透視投影することにより、全天球画像のテクスチャ画像を生成し、低解像度化部３７に供給する。【0074】
ステップＳ１８において、全天球画像生成部３６は、領域抽出部３１から供給される背景領域のＮ個のデプス画像を、撮影画像と同様に正八面体に透視投影することにより、全天球画像のデプス画像を生成し、低解像度化部３７に供給する。【0075】
ステップＳ１９において、低解像度化部３７は、全天球画像生成部３６から供給される全天球画像のテクスチャ画像とデプス画像を低解像度化し、エンコーダ３８に供給する。【0076】
ステップＳ２０において、エンコーダ３８は、描画部３５から供給される２視点のテクスチャ画像およびデプス画像、並びに、低解像度化部３７から供給される全天球画像のテクスチャ画像およびデプス画像を符号化する。エンコーダ３８は、その結果生成される２視点の視点テクスチャストリームおよび視点デプスストリーム、並びに、全天球テクスチャストリームおよび全天球デプスストリームを記憶部３９に供給して記憶させる。【0077】
ステップＳ２１において、送信部４０は、記憶部３９に記憶されている２視点の視点テクスチャストリームおよび視点デプスストリーム、並びに、全天球テクスチャストリームおよび全天球デプスストリームを読み出し、送信する。そして、処理は終了する。【0078】
以上のように、生成装置１２は、３Ｄモデル座標系の原点に対して対向する２視点のそれぞれについて各視点の視線方向の透視投影面にポリゴンの裏面を透視投影することにより、２視点のテクスチャ画像とデプス画像を生成する。従って、生成された２視点のテクスチャ画像とデプス画像は、ポリゴンの表面を透視投影することにより生成される場合に比べて、より多くの領域の主要な被写体のポリゴンの３次元構造を表現することができる。【0080】
図１２の表示装置２００は、図１の生成装置１２から送信されてくる２視点の視点テクスチャストリームおよび視点デプスストリーム、並びに、全天球テクスチャストリームおよび全天球デプスストリームを受信し、所定の視点のテクスチャ画像を生成する。【0081】
具体的には、表示装置２００は、受信部２０１、記憶部２０２、デコーダ２０３、再構成部２０４、描画部２０５、および表示部２０６により構成される。【0082】
表示装置２００の受信部２０１は、生成装置１２から送信されてくる２視点の視点テクスチャストリームおよび視点デプスストリーム、並びに、全天球テクスチャストリームおよび全天球デプスストリームを受信し、記憶部２０２に供給する。【0083】
記憶部２０２は、受信部２０１から供給される２視点の視点テクスチャストリームおよび視点デプスストリーム、並びに、全天球テクスチャストリームおよび全天球デプスストリームを記憶する。【0084】
デコーダ２０３は、記憶部２０２から２視点の視点テクスチャストリームおよび視点デプスストリーム、並びに、全天球テクスチャストリームおよび全天球デプスストリームを読み出し、復号する。デコーダ２０３は、復号の結果得られる２視点のテクスチャ画像およびデプス画像、並びに、全天球画像のテクスチャ画像およびデプス画像を再構成部２０４に供給する。【0085】
再構成部２０４は、デコーダ２０３から供給される２視点のテクスチャ画像およびデプス画像を用いて、３Ｄモデル座標系に主要な被写体の３次元構造を再構成する。上述したように、生成装置１２で生成される２視点のテクスチャ画像およびデプス画像は、ポリゴンの表面を透視投影することにより生成される場合に比べて、より多くの領域の主要な被写体のポリゴンの３次元構造を表現することができる。従って、復号された２視点のテクスチャ画像およびデプス画像を用いて３次元構造が再構成される主要な被写体の領域は、２視点のテクスチャ画像とデプス画像がポリゴンの表面を透視投影することにより生成される場合に比べて多い。【0086】
また、再構成部２０４は、デコーダ２０３から供給される全天球画像のテクスチャ画像とデプス画像を用いて、３Ｄモデル座標系に背景領域の３次元構造を再構成する。再構成部２０４は、主要な被写体と背景領域の３次元構造の位置情報とカラー情報を描画部２０５に供給する。【0087】
描画部２０５（画像生成部）は、再構成部２０４から供給される主要な被写体と背景領域の３次元構造の位置情報とカラー情報に基づいて、視聴者等により指定された３Ｄモデル座標系における視点、視線方向、および画角のテクスチャ画像を表示画像として生成する。描画部２０５は、生成された表示画像を表示部２０６に供給する。【0088】
表示部２０６は、描画部２０５から供給される表示画像を表示する。これにより、視聴者は、例えば、主要な被写体の周囲の任意の位置から主要な被写体を見ることができる。【0090】
なお、図１３の例では、説明の便宜上、２視点のテクスチャ画像およびデプス画像の解像度が、４（横）×４(縦)画素であるものとする。また、図１３では、２視点のうちの１つの視点Ｏ１のテクスチャ画像とデプス画像を用いて主要な被写体の３次元構造を再構成する場合について説明する。【0091】
第１の再構成方法は、ポイントクラウドを用いて３次元構造を再構成する方法である。具体的には、図１３に示すように、第１の再構成方法では、再構成部２０４は、視点Ｏ１、視線方向Ｖ１、画角２θ、視点Ｏ１のテクスチャ画像２２０の各画素２２１に対応するサンプリング点２３１のテクスチャ画像２２０上の位置(u,v)、および、テクスチャ画像２２０に対応するデプス画像の各画素２２１の画素値に基づいて、サンプリング点２３１の３Ｄモデル座標系における３次元座標（X,Y,Z）を生成する。【0092】
また、再構成部２０４は、テクスチャ画像２２０の各画素２２１の画素値であるYCbCr値をRGB値に変換し、各画素２２１に対応するサンプリング点２３１のRGB値とする。再構成部２０４は、各サンプリング点２３１の３次元座標(X,Y,Z)に、そのサンプリング点２３１のRGB値の点を描画することにより、主要な被写体の３次元構造を再構成する。再構成部２０４は、各サンプリング点２３１の３次元座標(X,Y,Z)を主要な被写体の３次元構造の位置情報として描画部２０５に供給するとともに、各サンプリング点２３１のRGB値を主要な被写体の３次元構造のカラー情報として描画部２０５に供給する。【0094】
なお、図１４の例では、説明の便宜上、２視点のテクスチャ画像およびデプス画像の解像度が、４（横）×３（縦）画素であるものとする。また、図１４では、２視点のうちの１つの視点Ｏ１のテクスチャ画像とデプス画像を用いて主要な被写体の３次元構造を再構成する場合について説明する。【0095】
第２の再構成方法は、三角形パッチを用いて３次元構造を再構成する方法である。具体的には、図１４の左側に示すように、第２の再構成方法では、再構成部２０４は、視点Ｏ１のテクスチャ画像２４０上に各画素２４１に対応するサンプリング点２５１を生成する。再構成部２０４は、テクスチャ画像２４０の全ての画素に対応するサンプリング点２５１のうちの、隣接する３つのサンプリング点２５１どうしを接続することにより、隣接する３つのサンプリング点２５１を頂点とする三角形パッチ２５２を生成する。【0096】
そして、再構成部２０４は、視点Ｏ１、視線方向Ｖ１、画角２θ、各サンプリング点２５１のテクスチャ画像２４０上の位置(u,v)、および、テクスチャ画像２４０に対応するデプス画像の各画素２４１の画素値に基づいて、各サンプリング点２５１に対応する３Ｄモデル座標系の３次元座標（X,Y,Z）を生成する。【0097】
そして、再構成部２０４は、図１４の右側に示すように、各サンプリング点２５１の３次元座標（X,Y,Z）に基づいて、各サンプリング点２５１に対応する各サンプリング点２６１を３Ｄモデル座標系に配置する。また、再構成部２０４は、三角形パッチ２５２の頂点を構成する３つのサンプリング点２５１に対応するサンプリング点２６１を接続することにより、三角形パッチ２６２を生成する。【0098】
また、再構成部２０４は、三角形パッチ２６２ごとに、三角形パッチ２６２に対応する三角形パッチ２５２を構成する画素２４１のYCbCr値をRGB値に変換し、そのRGB値を用いて三角形パッチ２６２のRGB値を生成する。再構成部２０４は、三角形パッチ２６２ごとに、三角形パッチ２６２のRGB値のテクスチャを三角形パッチ２６２に貼り付ける。これにより、再構成部２０４は、主要な被写体の３次元構造を再構成する。再構成部２０４は、各三角形パッチ２６２の頂点となるサンプリング点２６１の３次元座標(X,Y,Z)を主要な被写体の３次元構造の位置情報として描画部２０５に供給する。また、再構成部２０４は、各三角形パッチ２６２のRGB値を主要な被写体の３次元構造のカラー情報として描画部２０５に供給する。【0099】
図１３および図１４では、視点Ｏ１のテクスチャ画像とデプス画像から主要な被写体の３次元構造を再構成する方法について説明したが、視点Ｏ２のテクスチャ画像とデプス画像から主要な被写体の３次元構造を再構成する方法および全天球画像のテクスチャ画像とデプス画像から背景領域の３次元構造を再構成する方法についても同様である。【0100】
（表示装置の処理の説明）図１５は、図１２の表示装置２００の表示処理を説明するフローチャートである。この表示処理は、例えば、２視点の視点テクスチャストリームおよび視点デプスストリーム、並びに、全天球テクスチャストリームおよび全天球デプスストリームが記憶部２０２に記憶されている状態で、視聴者により表示画像の表示が要求されたとき、開始される。
【0101】
図１５のステップＳ３２において、デコーダ２０３は、記憶部２０２から２視点の視点テクスチャストリームおよび視点デプスストリーム、並びに、全天球テクスチャストリームおよび全天球デプスストリームを読み出し、復号する。デコーダ２０３は、復号の結果得られる２視点のテクスチャ画像およびデプス画像、並びに、全天球画像のテクスチャ画像およびデプス画像を再構成部２０４に供給する。【0102】
ステップＳ３３において、再構成部２０４は、デコーダ２０３から供給される２視点のテクスチャ画像およびデプス画像を用いて、３Ｄモデル座標系に主要な被写体の３次元構造を再構成する。再構成部２０４は、主要な被写体の３次元構造の位置情報とカラー情報を描画部２０５に供給する。【0103】
ステップＳ３４において、再構成部２０４は、デコーダ２０３から供給される全天球画像のテクスチャ画像とデプス画像を用いて、３Ｄモデル座標系に背景領域の３次元構造を再構成する。再構成部２０４は、背景領域の３次元構造の位置情報とカラー情報を描画部２０５に供給する。【0104】
ステップＳ３５において、描画部２０５は、再構成部２０４から供給される主要な被写体と背景領域の３次元構造の位置情報とカラー情報に基づいて、視聴者等により指定された３Ｄモデル座標系における視点、視線方向、および画角のテクスチャ画像を表示画像として生成する。描画部２０５は、生成された表示画像を表示部２０６に供給する。【0105】
ステップＳ３６において、表示部２０６は、描画部２０５から供給される表示画像を表示し、処理を終了する。【0106】
以上のように、表示装置２００は、生成装置１２により生成された２視点のテクスチャ画像とデプス画像を用いて表示画像を生成する。従って、２視点のそれぞれに対してポリゴンの表面を透視投影することにより生成された２視点のテクスチャ画像とデプス画像を用いる場合に比べて、より多くの領域の主要な被写体の３次元構造を再構成し、その３次元構造から表示画像を生成することができる。その結果、表示画像の画質が向上する。【0109】
図１６の生成装置３００の構成は、再構成部３０１、視点制御部３０２、およびレイヤ画像生成部３０３が新たに設けられる点、並びに、エンコーダ３８、記憶部３９、および送信部４０の代わりに、エンコーダ３０４、記憶部３０５、および送信部３０６が設けられる点が、図１の生成装置１２の構成と異なる。【0110】
生成装置３００は、視点テクスチャストリーム、視点デプスストリーム、全天球テクスチャストリーム、および全天球デプスストリームに加えて、複数のレイヤのテクスチャ画像の符号化ストリーム（以下、レイヤテクスチャストリームという）およびデプス画像の符号化ストリーム（以下、レイヤデプスストリームという）を生成する。【0111】
具体的には、再構成部３０１は、Ｎ個の撮影装置１１から供給されるＮ個の撮影画像とデプス画像に基づいて３次元再構成を行い、撮影画像内の各オブジェクトの３Ｄモデル座標系における３次元構造を表現する３次元モデルを生成する。再構成部３０１は、生成した３次元モデルをレイヤ画像生成部３０３に供給する。【0112】
なお、再構成部３０１が用いる３Ｄモデル座標系は、位置情報生成部３２等が用いる３Ｄモデル座標系と同一でも同一でなくてもよい。【0113】
視点制御部３０２は、各レイヤのテクスチャ画像およびデプス画像を生成する際の基準となる、３Ｄモデル座標系における視点および視線方向を設定する。視点制御部３０２は、設定した視点および視線方向を示す視点情報をレイヤ画像生成部３０３に供給する。【0114】
レイヤ画像生成部３０３は、後述するように、視点制御部３０２により設定された視点および視線方向に基づいて、複数のレイヤのテクスチャ画像およびデプス画像を生成する。すなわち、レイヤ画像生成部３０３は、設定された視点から視線方向を見た場合のテクスチャ画像およびデプス画像を、視点からの視線方向の距離に応じて複数のレイヤに階層化する。各レイヤのテクスチャ画像およびデプス画像には、設定された視点からの視線方向の距離が、レイヤ毎に設定された所定の閾値以上のオブジェクトが含まれる。なお、上位のレイヤ（番号が小さいレイヤ）ほど閾値が小さくなり、視点からの視線方向の距離がより近い被写体（以下、オブジェクトとも称する）が含まれるようになる。一方、下位のレイヤ（番号が小さいレイヤ）ほど閾値が大きくなり、視点からの視線方向の距離がより遠いオブジェクトのみが含まれるようになる。レイヤ画像生成部３０３は、各レイヤのテクスチャ画像およびデプス画像をエンコーダ３８に供給する。【0115】
なお、以下、各レイヤのテクスチャ画像およびデプス画像をまとめてレイヤ画像という場合がある。【0116】
エンコーダ３０４は、図１のエンコーダ３０４と同様に、２視点のテクスチャ画像とデプス画像の符号化、および、全天球画像のテクスチャ画像とデプス画像の符号化を行う。さらに、エンコーダ３０４は、レイヤ画像生成部３０３から供給される各レイヤのテクスチャ画像とデプス画像を符号化する。これにより、各レイヤのレイヤテクスチャストリームおよびレイヤデプスストリームが生成される。エンコーダ３０４は、２視点の視点テクスチャストリームおよび視点デプスストリーム、全天球テクスチャストリームおよび全天球デプスストリーム、並びに、各レイヤのレイヤテクスチャストリームおよびレイヤデプスストリームを記憶部３０５に供給する。【0117】
記憶部３０５は、エンコーダ３０４から供給される２視点の視点テクスチャストリームおよび視点デプスストリーム、全天球テクスチャストリームおよび全天球デプスストリーム、並びに、各レイヤのレイヤテクスチャストリームおよびレイヤデプスストリームを記憶する。【0118】
送信部３０６は、記憶部３０５に記憶されている２視点の視点テクスチャストリームおよび視点デプスストリーム、全天球テクスチャストリームおよび全天球デプスストリーム、並びに、各レイヤのレイヤテクスチャストリームおよびレイヤデプスストリームを読み出し、送信する。【0119】
（生成装置の処理の説明）次に、生成装置３００の処理について説明する。なお、生成装置３００が、視点テクスチャストリームおよび視点デプスストリーム、並びに、全天球テクスチャストリームおよび全天球デプスストリームを生成する処理は、図１の生成装置１２と同様であり、その説明は省略する。そして、図１７のフローチャートを参照して、生成装置３００が、各レイヤのテクスチャストリームおよびデプスストリームを生成する処理について説明する。
【0120】
ステップＳ１０１において、生成装置３００の再構成部３０１は、撮影装置１１から供給されるＮ個の撮影画像とデプス画像に基づいて、撮影画像内の各オブジェクトの３Ｄモデル座標系における３次元構造を表現する３次元モデルを生成する。再構成部３０１は、生成した３次元モデルをレイヤ画像生成部３０３に供給する。【0121】
ステップＳ１０２において、生成装置３００は、レイヤ画像生成処理を行う。レイヤ画像生成処理の詳細は、図１８等を参照して後述するが、この処理により、各レイヤのテクスチャ画像およびデプス画像が生成される。【0122】
ステップＳ１０３において、エンコーダ３０４は、レイヤ画像生成部３０３から供給される各レイヤのテクスチャ画像およびデプス画像を符号化する。エンコーダ３０４は、その結果生成される各レイヤのレイヤテクスチャストリームおよびレイヤデプスストリームを記憶部３０５に供給して記憶させる。【0123】
ステップＳ１０４において、送信部３０６は、記憶部３０５に記憶されている各レイヤのレイヤテクスチャストリームおよびレイヤデプスストリームを読み出し、送信する。そして、処理は終了する。【0125】
ステップＳ１３１において、視点制御部３０２は、視点および視線方向を設定する。すなわち、視点制御部３０２は、３Ｄモデル座標系において、各レイヤのテクスチャ画像およびデプス画像を生成する基準となる視点および視線方向を設定する。視点制御部３０２は、設定した視点および視線方向を示す視点情報をレイヤ画像生成部３０３に供給する。【0126】
なお、視点および視線方向は、例えばユーザにより設定される。【0127】
ステップＳ１３２において、レイヤ画像生成部３０３は、画像を生成していないレイヤのうち１つを選択する。すなわち、レイヤ画像生成部３０３は、まだ画像の生成を行っていないレイヤのうち、最も上位のレイヤ（最も視点に近いレイヤ）を選択する。従って、最初のステップＳ１３２の処理においては、第１レイヤが選択される。【0128】
なお、以下、選択されたレイヤを注目レイヤともいう。【0129】
ステップＳ１３３において、レイヤ画像生成部３０３は、選択したレイヤに応じて、最近距離閾値を設定する。最近距離閾値は、注目レイヤのテクスチャ画像およびデプス画像において描画するオブジェクトのうち、視点から最も近いオブジェクトまでの視線方向の距離を表す。従って、視点からの視線方向の距離が最近距離閾値未満であるオブジェクトは、注目レイヤのテクスチャ画像およびデプス画像において描画されない。【0130】
なお、第１レイヤの最近距離閾値は、０に設定される。従って、第１レイヤのテクスチャ画像およびデプス画像においては、３次元モデルにおいて、視点から視線方向に見える全てのオブジェクトが描画される。【0131】
また、第２レイヤ以降においては、レイヤが下位になるほど、最近距離閾値は大きな値に設定される。従って、レイヤが上位のテクスチャ画像およびデプス画像ほど、視点からの視線方向の距離がより近いオブジェクトが描画される。一方、レイヤが下位のテクスチャ画像およびデプス画像ほど、視点からの視線方向の距離が近いオブジェクトが除外され、視点からの視線方向の距離がより遠いオブジェクトが描画される。【0132】
なお、最近距離閾値は、視点から３次元モデルの背景（例えば、空、遠くの風景等）までの視線方向の距離より短い距離に設定される。【0133】
ステップＳ１３４において、レイヤ画像生成部３０３は、画素値およびデプス値が未設定の画素のうち１つを選択する。具体的には、レイヤ画像生成部３０３は、視線方向に垂直であり、視点からの視線がほぼ中央を通る所定の大きさ（例えば、縦1080画素×横1920画素）の面である投影面の画素の中から、画素値およびデプス値が未設定の画素を１つ選択する。【0134】
なお、以下、選択された画素を注目画素ともいう。また、以下、投影面の横方向をｘ軸方向とし、投影面の縦方向をｙ軸方向とし、視線方向、すなわち、投影面に垂直な方向をｚ軸方向とする。【0135】
ステップＳ１３５において、レイヤ画像生成部３０３は、画素方向に最初のオブジェクトまでレイキャスティングを行う。具体的には、レイヤ画像生成部３０３は、視点から注目画素への方向（画素方向）にレイ（光線）を延ばしていき、レイが３次元モデル内の最初のオブジェクトの表面にぶつかる位置（以下、採用候補位置と称する）を検出する。【0136】
ステップＳ１３６において、レイヤ画像生成部３０３は、オブジェクトまでの視線方向の距離≧最近距離閾値であるか否かを判定する。すなわち、レイヤ画像生成部３０３は、ステップＳ１３５または後述するステップＳ１３７において検出した採用候補位置の視点からの視線方向（ｚ軸方向）の距離を、最近距離閾値と比較する。そして、レイヤ画像生成部３０３が、採用候補位置までの視線方向の距離が最近距離閾値より近いと判定した場合、処理はステップＳ１３７に進む。【0137】
ステップＳ１３７において、レイヤ画像生成部３０３は、画素方向に次のオブジェクトまでレイキャスティングを行う。具体的には、レイヤ画像生成部３０３は、レイをさらに画素方向に延ばしていき、レイが現在のオブジェクトの次のオブジェクトの表面にぶつかる位置（採用候補位置）を検出する。【0138】
その後、処理はステップＳ１３６に戻り、ステップＳ１３６において、オブジェクトまでの視線方向の距離≧最近距離閾値であると判定されるまで、ステップＳ１３６およびＳ１３７の処理が繰り返し実行される。【0139】
これにより、画素方向に存在するオブジェクトのうち、視点からの視線方向の距離が最近距離閾値以上であって、視点に最も近いオブジェクトの表面が、最終的な採用候補位置として検出される。【0140】
なお、上述したように、最近距離閾値は、視点から３次元モデルの背景までの視線方向の距離より短い距離に設定されるため、画素方向にオブジェクトが存在しなくても、画素方向の背景が最終的な採用候補位置として検出される。【0141】
一方、ステップＳ１３６において、オブジェクトまでの視線方向の距離≧最近距離閾値であると判定された場合、処理はステップＳ１３８に進む。【0142】
ステップＳ１３８において、レイヤ画像生成部３０３は、選択した画素の画素値およびデプス値を設定する。具体的には、レイヤ画像生成部３０３は、採用候補位置の画素値を、注目レイヤのテクスチャ画像の注目画素の画素値に設定する。また、レイヤ画像生成部３０３は、視点から採用候補位置までの視線方向（ｚ軸方向）の距離を、注目レイヤのデプス画像の注目画素のデプス値に設定する。【0143】
ステップＳ１３９において、レイヤ画像生成部３０３は、画素値およびデプス値が未設定の画素があるか否かを判定する。まだ画素値およびデプス値が未設定の画素があると判定された場合、処理はステップＳ１３４に戻る。【0144】
その後、ステップＳ１３９において、画素値およびデプス値が未設定の画素がないと判定されるまで、ステップＳ１３４乃至Ｓ１３９の処理が繰り返し実行される。これにより、注目レイヤのテクスチャ画像の全ての画素の画素値、および、注目レイヤのデプス画像の全ての画素のデプス値が設定される。【0145】
一方、ステップＳ１３９において、画素値およびデプス値が未設定の画素がないと判定された場合、処理はステップＳ１４０に進む。【0146】
ステップＳ１４０において、レイヤ画像生成部３０３は、画像を生成していないレイヤがあるか否かを判定する。画像を生成していないレイヤがあると判定された場合、処理はステップＳ１３２に戻る。【0147】
その後、ステップＳ１４０において、画像を生成していないレイヤがないと判定されるまで、ステップＳ１３２乃至Ｓ１４０の処理が繰り返し実行される。これにより、各レイヤのテクスチャ画像およびレイヤ画像が生成される。【0148】
一方、ステップＳ１４０において、画像を生成していないレイヤがあると判定された場合、レイヤ画像生成処理は終了する。【0150】
図１９及び図２０は、撮影装置１１と各オブジェクトの配置例を示している。図１９は、各オブジェクトをほぼ正面から見た模式図を示している。図２０は、各オブジェクトを上から見た模式図を示している。【0151】
図１９及び図２０の例では、人３３１、車３３２、ビル３３３、家３３４、家３３５、ビル３３６、ビル３３７、および家３３８が撮影対象に含まれている。ビル３３３、家３３４、家３３５、ビル３３６、ビル３３７、および家３３８は、横一列に並んでいる。家３３５およびビル３３６の前には、車３３２が止まっている。車３３２の前には、人３３１が立っている。正面から見て、人３３１の陰に車３３２の一部、および家３３５のほぼ全部が隠れている。【0152】
図１９および図２０には撮影装置１１−１乃至１１−９のみが図示されているが、例えば、撮影装置１１は、人３３１乃至家３３８の各オブジェクトを含む領域の周囲の少なくとも一部を水平方向および垂直方向に取り囲むように配置され、それぞれ異なる視点から各オブジェクトを含む領域を撮影する。なお、図示されている撮影装置１１−１乃至１１−８のうち、撮影装置１１−１、１１−３、１１−５、および１１−８は、上方から被写体を撮影し、撮影装置１１−２、１１−４、１１−６、および１１−８は、下方から被写体を撮影する。撮影装置１１−１および１１−２は、人３３１の左斜め前方から右斜め前方を撮影するように配置されている。撮影装置１１−３および１１−４は、人３３１の正面やや左寄りからほぼ正面方向を撮影するように配置されている。撮影装置１１−５および１１−６は、人３３１の正面やや右寄りからほぼ正面方向を撮影するように配置されている。撮影装置１１−７および１１−８は、人３３１の右斜め前方から左斜め方向を撮影するように配置されている。撮影装置１１−９は、人３３１のほぼ右側から左斜め前方を撮影するように配置されている。【0153】
図２１の左側の図は、撮影装置１１−３（撮影画像カメラ２１−３）で撮影した撮影画像の例を示しており、右側の図は、撮影装置１１−５（撮影画像カメラ２１−５）で撮影した撮影画像の例を示している。【0154】
この例に示されるように、撮影装置１１−３および１１−５の撮影画像では、正面から各オブジェクトを見た場合と異なり、車３３２のほぼ全体が、人３３１の陰に隠れることなく写っている。また、左側の撮影画像では、人３３１および車３３２の陰に隠れることなく、家３３５のほぼ全体が写っている。【0155】
このように、各オブジェクトを含む領域を水平方向および垂直方向に取り囲んで撮影することにより、所定の視点から見た場合に他のオブジェクトの陰に隠れるオブジェクトの一部または全部を撮影することができる。従って、撮影装置１１の数および配置を調整して撮影し、得られた撮影画像の座標変換や合成等を適切に行うことにより、所定の視点を基準とする各レイヤのテクスチャ画像を生成することができる。【0157】
図２２の左側の図は、各オブジェクトの位置関係を上から見た模式図である。図２２の右側の図は、各オブジェクトの位置関係が左側の図の状態の場合の第１レイヤ乃至第３レイヤのテクスチャ画像の例を示している。【0158】
なお、以下、図２２において、人３３１から視点Ｐに向かう方向を前方とし、人３３１から車３３２に向かう方向を後方とする。また、図２２において、ビル３３３から家３３８に向かう方向を右側とし、家３３８からビル３３３に向かう方向を左側とする。これは、他の同様の図についても、同様とする。【0159】
第１レイヤのテクスチャ画像では、左側の図の線Ｌ１で示される部分が描画されている。具体的には、視点Ｐから見た人３３１から家３３８までの全てのオブジェクトが描画対象となるとともに、車３３２が人３３１の陰に隠れている。【0160】
第２レイヤのテクスチャ画像では、左側の図の線Ｌ２で示される部分が描画されている。具体的には、第２レイヤのテクスチャ画像では、第１レイヤのテクスチャ画像から人３３１が除去され、車３３２の全体が描画されている。また、家３３５およびビル３３６の一部が、車３３２の陰に隠れている。【0161】
第３レイヤのテクスチャ画像では、左側の図の線Ｌ３で示される部分が描画されている。具体的には、第３レイヤのテクスチャ画像では、第２レイヤのテクスチャ画像から車３３２が除去され、家３３５およびビル３３６の全体が描画されている。【0162】
このように、視点Ｐからの距離に応じて各オブジェクトを階層化することにより、上位のレイヤのテクスチャ画像において前方のオブジェクトの陰に隠れているオブジェクトが、下位のレイヤのテクスチャ画像において描画され、視認できるようになる。【0163】
ここで、図２３乃至図２５をさらに参照して、図１８のレイヤ画像生成処理をより具体的に説明する。なお、図２３乃至図２５に示す構成のうち、図１９および図２０の構成と同じ構成には同じ符号を付してある。【0164】
図２３乃至図２５の左側の図は、各オブジェクトの位置関係を上から見た模式図である。図２３乃至図２５の右側の図は、各オブジェクトの位置関係が左側の図の状態の場合の第１レイヤ乃至第３レイヤのテクスチャ画像の例を示している。【0166】
図２３乃至図２５の例では、最近距離閾値ＴＨ１乃至ＴＨ３が設定されている。最近距離閾値ＴＨ１は０に設定されている。最近距離閾値ＴＨ２は、視点Ｐから人３３１と車３３２の間の位置までの距離に設定されている。最近距離閾値ＴＨ３は、視点Ｐから車３３２とビル３３３乃至家３３８との間の位置までの距離に設定されている。【0167】
従って、第１レイヤのテクスチャ画像では、視点Ｐからの視線方向の距離が最近距離閾値ＴＨ１以上である人３３１乃至家３３８の全てのオブジェクトが描画対象となる。第２レイヤのテクスチャ画像では、視点Ｐからの視線方向の距離が最近距離閾値ＴＨ２以上である車３３２乃至家３３８が描画対象となり、視点Ｐからの視線方向の距離が最近距離閾値ＴＨ２未満である人３３１が描画対象から除外される。第３レイヤのテクスチャ画像では、視点Ｐからの視線方向の距離が最近距離閾値ＴＨ３以上であるビル３３３乃至家３３８が描画対象となり、視点Ｐからの視線方向の距離が最近距離閾値ＴＨ３未満である人３３１および車３３２が描画対象から除外される。【0168】
従って、第１レイヤのテクスチャ画像では、車３３２が右方向に移動するにつれて、車３３２が人３３１の陰に隠れるようになる。一方、第２レイヤのテクスチャ画像では、人３３１が除去されるため、車３３２が左から右方向に移動する様子が全て描画される。また、第３レイヤのテクスチャ画像では、人３３１および車３３２が除去されるため、人３３１と車３３２の背景であるビル３３３乃至家３３８の全体が描画される。【0169】
なお、以上の説明では、各レイヤのテクスチャ画像の生成方法について説明したが、各レイヤのデプス画像の生成方法も同様である。【0172】
図２６の表示装置４００の構成は、描画部４０４が新たに設けられる点、並びに、受信部２０１、記憶部２０２、デコーダ２０３、および表示部２０６の代わりに、受信部４０１、記憶部４０２、デコーダ４０３、および表示部４０５が設けられる点が、図１２の表示装置２００の構成と異なる。表示装置４００は、視点テクスチャストリーム、視点デプスストリーム、全天球テクスチャストリーム、および全天球デプスストリームに加えて、各レイヤのレイヤテクスチャストリームおよびレイヤデプスストリームに基づいて表示画像を生成する。【0173】
表示装置４００の受信部４０１は、生成装置３００から送信されてくる２視点の視点テクスチャストリームおよび視点デプスストリーム、全天球テクスチャストリームおよび全天球デプスストリーム、並びに、各レイヤのレイヤテクスチャストリームおよびレイヤデプスストリームを受信し、記憶部４０２に供給する。【0174】
記憶部４０２は、受信部４０１から供給される２視点の視点テクスチャストリームおよび視点デプスストリーム、全天球テクスチャストリームおよび全天球デプスストリーム、並びに、各レイヤのレイヤテクスチャストリームおよびレイヤデプスストリームを記憶する。【0175】
デコーダ４０３は、記憶部４０２から２視点の視点テクスチャストリームおよび視点デプスストリーム、全天球テクスチャストリームおよび全天球デプスストリーム、および、各レイヤのレイヤテクスチャストリームおよびレイヤデプスストリームを読み出し、復号する。デコーダ４０３は、復号の結果得られる２視点のテクスチャ画像およびデプス画像、並びに、全天球画像のテクスチャ画像およびデプス画像を再構成部２０４に供給する。また、デコーダ４０３は、復号の結果得られる各レイヤのテクスチャ画像およびデプス画像を描画部４０４に供給する。【0176】
描画部４０４（画像生成部）は、デコーダ４０３から供給される各レイヤのテクスチャ画像およびデプス画像を用いて、表示画像を生成する。例えば、描画部４０４は、視聴者等により指定されたレイヤのテクスチャ画像を用いて、２次元の表示画像を生成する。或いは、例えば、描画部４０４は、視聴者等により指定されたレイヤのテクスチャ画像およびデプス画像を用いて、３次元の表示画像を生成する。描画部４０４は、表示画像を表示部４０５に供給する。【0177】
表示部４０５は、描画部２０５または描画部４０４から供給される表示画像を表示する。【0178】
（表示装置の処理の説明）次に、表示装置４００の処理について説明する。なお、表示装置４００が、視点テクスチャストリームおよび視点デプスストリーム、並びに、全天球テクスチャストリームおよび全天球デプスストリームを用いて表示画像を生成し、表示する処理は、図１２の表示装置２００と同様であり、その説明は省略する。そして、図２７のフローチャートを参照して、表示装置４００が、各レイヤのテクスチャストリームおよびデプスストリームを用いて表示画像を生成し、表示する処理について説明する。
【0179】
ステップＳ２０１において、デコーダ４０３は、記憶部４０２から各レイヤのレイヤテクスチャストリームおよびレイヤデプスストリームを読み出し、復号する。デコーダ４０３は、復号の結果得られる各レイヤのテクスチャ画像およびデプス画像を描画部４０４に供給する。【0180】
ステップＳ２０２において、描画部４０４は、各レイヤのテクスチャ画像およびデプスストリームを用いて、表示画像を生成する。例えば、描画部４０４は、視聴者等により指定されたレイヤのテクスチャ画像を用いて、２次元の表示画像を生成する。或いは、例えば、描画部４０４は、視聴者等により指定されたレイヤのテクスチャ画像およびデプス画像を用いて、３次元の表示画像を生成する。描画部４０４は、表示画像を表示部４０５に供給する。【0181】
ステップＳ３６において、表示部４０５は、描画部４０４から供給される表示画像を表示し、処理を終了する。【0182】
例えば、上述した図２３乃至図２５の例において、第１レイヤの表示が指定された場合、全てのオブジェクトを含む第１レイヤの２次元または３次元の表示画像が表示される。第２レイヤの表示が指定された場合、人３３１を除いた第２レイヤの２次元または３次元の表示画像が表示される。第３レイヤの表示が指定された場合、人３３１および車３３２を除いた第３レイヤの２次元または３次元の表示画像が表示される。【0183】
このように、視聴者はレイヤを指定することにより、視点Ｐからの視線方向の距離に応じて、各オブジェクトの表示または非表示を制御することができる。例えば、視聴者は、下位のレイヤを指定することにより、視点Ｐに近いオブジェクトを非表示とし、非表示とされたオブジェクトの陰に隠れていたオブジェクトを表示させ、視認することができる。【0184】
（レイヤ画像生成処理の変形例）ここで、図２８乃至図３０を参照して、レイヤ画像生成処理の変形例について説明する。この例では、上位のレイヤで描画されたオブジェクトの全部または一部が、下位のレイヤでは描画されない。
【0185】
図２８乃至図３０は、上述した図２３乃至図２５と同じオブジェクトの配置に対して、上位のレイヤで描画されたオブジェクトの全部または一部を下位のレイヤで描画しないようにした場合の各レイヤのテクスチャ画像の例を示している。【0186】
図２８の第１レイヤのテクスチャ画像では、ビル３３３、家３３４、家３３５、およびビル３３６の一部が、人３３１および車３３２の陰に隠れている。従って、第２レイヤのテクスチャ画像では、第１レイヤのテクスチャ画像において人３３１および車３３２の陰に隠れている部分のみ描画される。第２レイヤのテクスチャ画像では、他のオブジェクトの陰に隠れているオブジェクトが存在しないため、第３レイヤのテクスチャ画像では、何も描画されない。【0187】
図２９の第１レイヤのテクスチャ画像では、車３３２、家３３５、およびビル３３６の一部が人３３１の陰に隠れている。また、家３３４および家３３５の一部が、車３３２の陰に隠れている。従って、第２レイヤのテクスチャ画像では、第１レイヤのテクスチャ画像において人３３１および車３３２の陰に隠れている部分のみ描画される。第２レイヤのテクスチャ画像では、家３３５の一部が、車３３２の陰に隠れている。従って、第３レイヤのテクスチャ画像では、第２レイヤのテクスチャ画像において車３３２の陰に隠れている部分のみ描画される。【0188】
図３０の第１レイヤのテクスチャ画像では、車３３２全体、並びに、家３３５およびビル３３６の一部が、人３３１の陰に隠れている。従って、第２レイヤのテクスチャ画像では、第１レイヤのテクスチャ画像において人３３１の陰に隠れている部分のみ描画される。第２レイヤのテクスチャ画像では、家３３５およびビル３３６の一部が、車３３２の陰に隠れている。従って、第３レイヤのテクスチャ画像では、第２レイヤのテクスチャ画像において車３３２の陰に隠れている部分のみ描画される。【0191】
図３１の表示装置５００の構成は、セグメント情報生成部５０１が新たに設けられる点、並びに、描画部４０４の代わりに、描画部５０２が設けられる点が、図２６の表示装置４００の構成と異なる。表示装置５００は、各レイヤのレイヤ画像内の各オブジェクトの表示形態を個別に変更することができる。例えば、表示装置５００は、各オブジェクトの全部または一部の表示または非表示、移動、回転、拡大または縮小、変形、各オブジェクトの濃淡、色、輝度、解像度、または透明度の変更等を個別に行うことができる。【0192】
表示装置５００のセグメント情報生成部５０１は、デコーダ４０３から供給される各レイヤのテクスチャ画像およびデプス画像を用いて、セグメンテーションテーブルを生成する。セグメンテーションテーブルは、図３５を参照して後述するように、各レイヤのレイヤ画像（テクスチャ画像およびデプス画像）において各オブジェクトが存在するセグメントのレイヤ方向および画素方向の位置を示すセグメント情報である。セグメント情報生成部５０１は、各レイヤのテクスチャ画像およびデプス画像、並びに、セグメンテーションテーブルを描画部５０２に供給する。また、セグメント情報生成部５０１は、セグメンテーションテーブルを記憶部４０２に記憶させる。【0193】
描画部５０２（画像生成部）は、セグメント情報生成部５０１から供給される各レイヤのテクスチャ画像およびデプス画像、並びに、セグメンテーションテーブルを用いて、表示画像を生成する。例えば、描画部５０２は、視聴者等により指定されたレイヤのテクスチャ画像を用いて、２次元の表示画像を生成する。或いは、例えば、描画部５０２は、視聴者等により指定されたレイヤのテクスチャ画像およびデプス画像を用いて、３次元の表示画像を生成する。また、描画部５０２は、視聴者等による指定に基づいて、表示画像内の各オブジェクトの表示形態を変更する。描画部５０２は、表示画像を表示部４０５に供給する。【0194】
（表示装置の処理の説明）次に、表示装置５００の処理について説明する。なお、表示装置５００が、視点テクスチャストリームおよび視点デプスストリーム、並びに、全天球テクスチャストリームおよび全天球デプスストリームを用いて表示画像を生成し、表示する処理は、図１２の表示装置２００と同様であり、その説明は省略する。そして、図３２のフローチャートを参照して、表示装置５００が、各レイヤのテクスチャストリームおよびデプスストリームを用いて表示画像を生成し、表示する処理について説明する。
【0195】
ステップＳ３０１において、デコーダ４０３は、記憶部４０２から各レイヤのレイヤテクスチャストリームおよびレイヤデプスストリームを読み出し、復号する。デコーダ４０３は、復号の結果得られる各レイヤのテクスチャ画像およびデプス画像をセグメント情報生成部５０１に供給する。【0196】
ステップＳ３０２において、セグメント情報生成部５０１は、セグメント情報生成処理を行う。【0197】
ここで、図３３のフローチャートを参照して、セグメント情報生成処理の詳細について説明する。なお、適宜、図３４および図３５を参照しながら、セグメント情報生成処理の具体例について説明する。図３４は、第１乃至第３レイヤのテクスチャ画像のセグメントの例を示し、図３５は、セグメンテーションテーブルの例を示している。【0198】
ステップＳ３３１において、セグメント情報生成部５０１は、各レイヤのテクスチャ画像に対してセグメンテーションを実行する。具体的には、セグメント情報生成部５０１は、各レイヤのテクスチャ画像を、所定の方法によりオブジェクト毎に１つ以上のセグメントに分割する。【0199】
なお、セグメンテーションの方法には、任意の方法を採用することができる。また、テクスチャ画像の画素値だけでなく、デプス画像のデプス値を用いて、セグメンテーションを行ってもよい。【0200】
また、セグメント情報生成部５０１は、各レイヤのテクスチャ画像のセグメントを一意に識別するセグメント番号を付ける。セグメント番号は、上位のレイヤのテクスチャ画像のセグメントから０から昇順に付与される。【0201】
例えば、図３４の例では、第１レイヤのテクスチャ画像において、セグメント番号０乃至３の４つのセグメントが認識されている。第２レイヤのテクスチャ画像において、セグメント番号４乃至６の３つのセグメントが認識されている。第３レイヤのテクスチャ画像において、セグメント番号７および８の２つのセグメントが認識されている。【0202】
さらに、セグメント情報生成部５０１は、セグメンテーションの結果に基づいて、セグメンテーションテーブルを生成する。例えば、図３５のセグメンテーションテーブルには、レイヤ毎に、レイヤ画像の各画素のｘ座標、ｙ座標、およびセグメント番号（ｓｅｇ）が設定される。従って、セグメンテーションテーブルには、各レイヤのレイヤ画像の画素毎に、各画素が属するセグメントのセグメント番号が示される。【0203】
なお、最上位の第１レイヤの各セグメントのセグメント番号は、この処理で付与されたセグメント番号で確定する。例えば、図３４の例において、第１レイヤの各セグメントのセグメント番号は、セグメント番号０乃至３で確定する。これに伴い、第１レイヤのレイヤ画像の各画素のセグメント番号も確定する。【0204】
ステップＳ３３２において、セグメント情報生成部５０１は、セグメント番号が未確定のレイヤのうち最上位のレイヤを選択する。なお、最初のステップＳ３３２の処理では、第２レイヤが選択される。【0205】
なお、以下、選択されたレイヤを注目レイヤともいう。【0206】
ステップＳ３３３において、セグメント情報生成部５０１は、選択したレイヤにおいて、セグメント番号が未確定の画素のうち１つを選択する。【0207】
なお、以下、選択された画素を注目画素ともいう。【0208】
ステップＳ３３４において、セグメント情報生成部５０１は、選択した画素の画素値を上位のレイヤの画素値と比較する。すなわち、セグメント情報生成部５０１は、注目レイヤのテクスチャ画像の注目画素の画素値を、注目レイヤより上位の各レイヤのテクスチャ画像の同じ位置の画素の画素値と比較する。【0209】
ステップＳ３３４において、セグメント情報生成部５０１は、画素値の比較結果に基づいて、選択した画素を含むセグメント番号を確定する。具体的には、セグメント情報生成部５０１は、注目レイヤのテクスチャ画像の注目画素と画素値が一致する画素が上位のレイヤのテクスチャ画像に存在する場合、その上位のレイヤのテクスチャ画像の画素を含むセグメントと、注目画素を含むセグメントが同じオブジェクトに対応するセグメントであると認識する。そして、セグメント情報生成部５０１は、注目画素を含むセグメントのセグメント番号を、その上位のレイヤのテクスチャ画像の画素のセグメント番号と同じ値に更新する。また、注目レイヤにおいて注目画素と同じセグメントに属する画素のセグメント番号を、当該更新後のセグメント番号に更新し、確定する。これにより、同じオブジェクトに対応するセグメントがレイヤ間で対応付けられる。【0210】
例えば、図３４の例において、第２レイヤのセグメント番号４のセグメントが、第１レイヤのセグメント番号０のセグメントと同じオブジェクトに対応するセグメントであると認識され、セグメント番号が０に更新され、確定する。第２レイヤのセグメント番号５のセグメントが、第１レイヤのセグメント番号２のセグメントと同じオブジェクトに対応するセグメントであると認識され、セグメント番号が２に更新され、確定する。第２レイヤのセグメント番号６のセグメントが、第１レイヤのセグメント番号３のセグメントと同じオブジェクトに対応するセグメントであると認識され、セグメント番号が３に更新され、確定する。第３レイヤのセグメント番号７のセグメントが、第１レイヤのセグメント番号０のセグメントと同じオブジェクトに対応するセグメントであると認識され、セグメント番号が０に更新され、確定する。第３レイヤのセグメント番号８のセグメントが、第１レイヤのセグメント番号３のセグメントと同じオブジェクトに対応するセグメントであると認識され、セグメント番号が３に更新され、確定する。【0211】
一方、セグメント情報生成部５０１は、注目レイヤのテクスチャ画像の注目画素と画素値が一致する画素が上位のレイヤのテクスチャ画像に存在しない場合、注目画素を含むセグメントのセグメント番号を、現在のセグメント番号で確定する。また、注目レイヤにおいて注目画素と同じセグメントに属する画素のセグメント番号を、現在のセグメント番号で確定する。【0212】
セグメント情報生成部５０１は、セグメンテーションテーブルにおいて、確定した各画素のセグメント番号を更新する。【0213】
ステップＳ３３６において、セグメント情報生成部５０１は、選択したレイヤにおいて、セグメント番号が未確定の画素があるか否かを判定する。選択したレイヤにおいて、セグメント番号が未確定の画素があると判定された場合、処理はステップＳ３３３に戻る。【0214】
その後、ステップＳ３３６において、セグメント番号が未確定の画素がないと判定されるまで、ステップＳ３３３乃至Ｓ３３６の処理が繰り返し実行される。これにより、注目レイヤの全ての画素のセグメント番号が確定する。【0215】
一方、ステップＳ３３６において、セグメント番号が未確定の画素がないと判定された場合、処理はステップＳ３３７に進む。【0216】
ステップＳ３３７において、セグメント情報生成部５０１は、セグメント番号が未確定のレイヤがあるか否かを判定する。セグメント番号が未確定のレイヤがあると判定された場合、処理はステップＳ３３２に戻る。【0217】
その後、ステップＳ３３７において、セグメント番号が未確定のレイヤがないと判定されるまで、ステップＳ３３２乃至Ｓ３３７の処理が繰り返し実行される。これにより、全てのレイヤの全ての画素のセグメント番号が確定する。【0218】
一方、ステップＳ３３７において、セグメント番号が未確定のレイヤがないと判定された場合、処理はステップＳ３３８に進む。【0219】
ステップＳ３３８において、セグメント情報生成部５０１は、各レイヤのテクスチャ画像およびデプス画像、並びに、セグメンテーションテーブルを出力する。すなわち、セグメント情報生成部５０１は、各レイヤのテクスチャ画像およびデプス画像、並びに、セグメンテーションテーブルを描画部５０２に供給する。また、セグメント情報生成部５０１は、セグメンテーションテーブルを記憶部４０２に記憶させる。【0220】
図３２に戻り、ステップＳ３０３において、描画部５０２は、オブジェクトの非表示が指示されたか否かを判定する。例えば、視聴者は、あるオブジェクトを非表示にしたい場合、表示するレイヤ、および非表示にするオブジェクトを指定する。そして、描画部５０２は、オブジェクトの非表示が指示されたと判定された場合、処理はステップＳ３０４に進む。なお、描画部５０２は、セグメンテーションテーブルに基づいて、指定された非表示にするオブジェクトに対応するセグメントのセグメント番号を求める。【0221】
ステップＳ３０４において、描画部５０２は、描画対象画素選択処理を実行する。ここで、図３６のフローチャートを参照して、描画対象画素選択処理の詳細について説明する。【0222】
ステップＳ３６１において、描画部５０２は、未処理の画素のうち１つを選択する。【0223】
なお、以下、選択された画素を注目画素ともいう。【0224】
ステップＳ３６２において、描画部５０２は、図３２のステップＳ３０３の処理で指定されたレイヤを選択する。なお、描画部５０２は、表示するレイヤが指定されていない場合、例えば、最上位のレイヤを選択する。【0225】
なお、以下、選択されたレイヤを注目レイヤともいう。【0226】
ステップＳ３６３において、描画部５０２は、非表示にするオブジェクトの画素であるか否かを判定する。具体的には、描画部５０２は、セグメンテーションテーブルにおいて、注目レイヤを注目画素のセグメント番号が、非表示にするオブジェクトのセグメント番号と一致する場合、非表示にするオブジェクトの画素であると判定し、処理はステップＳ３６４に進む。【0227】
ステップＳ３６４において、描画部５０２は、下位のレイヤがあるか否かを判定する。下位のレイヤがあると判定された場合、処理はステップＳ３６５に進む。【0228】
ステップＳ３６５において、描画部５０２は、１つ下位のレイヤを選択する。これにより、注目レイヤが１つ下位のレイヤに変更される。【0229】
その後、処理はステップＳ３６３に戻り、ステップＳ３６３において、非表示にするオブジェクトの画素でないと判定されるか、ステップＳ３６４において、下位のレイヤがないと判定されるまで、ステップＳ３６３乃至Ｓ３６５の処理が繰り返し実行される。【0230】
一方、ステップＳ３６３において、非表示にするオブジェクトの画素でないと判定された場合、または、ステップＳ３６４において、下位のレイヤがないと判定された場合、処理はステップＳ３６６に進む。【0231】
ステップＳ３６６において、描画部５０２は、現在のレイヤの画素を描画対象画素に設定する。すなわち、描画部５０２は、注目レイヤのテクスチャ画像の注目画素、および、注目レイヤのデプス画像の注目画素を描画対象画素に設定する。【0232】
これにより、指定されたレイヤ以下の各レイヤの注目画素の中に、非表示にするオブジェクト以外のオブジェクトの画素がある場合、そのうちの最も上位のレイヤの画素が描画対象画素に設定される。これにより、例えば、指定されたレイヤのレイヤ画像において非表示にするオブジェクトに対応するセグメントの画素の代わりに、指定されたレイヤより下位のレイヤのレイヤ画像の同じ位置の画素であって、非表示にするオブジェクトに対応するセグメントと異なるセグメントの画素が、描画対象画素に用いられるようになる。【0233】
一方、指定されたレイヤ以下の各レイヤの注目画素の中に、非表示にするオブジェクト以外のオブジェクトの画素がない場合、例えば、最下位のレイヤの注目画素が描画対象画素に設定される。【0234】
なお、指定されたレイヤ以下の各レイヤの注目画素の中に、非表示にするオブジェクト以外のオブジェクトの画素がない場合、例えば、描画対象画素の画素値およびデプス値を所定の値に設定したり、所定の方法により算出したりするようにしてもよい。【0235】
ステップＳ３６７において、描画部５０２は、未処理の画素があるか否かを判定する。未処理の画素があると判定された場合、処理はステップＳ３６１に戻る。【0236】
その後、ステップＳ３６７において、未処理の画素がないと判定されるまで、ステップＳ３６１乃至Ｓ３６７の処理が繰り返し実行される。これにより、各画素について、指定されたレイヤ以下の画素の中から描画対象画素が１つ選択される。【0237】
一方、ステップＳ３６７において、未処理の画素がないと判定された場合、描画対象画素選択処理は終了する。【0238】
図３２に戻り、ステップＳ３０５において、描画部５０２は、描画対象画素を用いて表示画像を生成する。描画部５０２は、各レイヤのテクスチャ画像から描画対象画素のみを抽出して、元の画素の順番に並べることにより、表示用のテクスチャ画像を生成する。また、描画部５０２は、各レイヤのデプス画像から描画対象画素のみを抽出して、元の画素の順番に並べることにより、表示用のデプス画像を生成する。描画部５０２は、表示用のテクスチャ画像およびデプス画像を用いて、上述した図２７のステップＳ２０２と同様の処理により、表示画像を生成する。描画部５０２は、表示画像を表示部４０５に供給する。【0239】
その後、処理はステップＳ３０７に進む。【0240】
一方、ステップＳ３０３において、オブジェクトの非表示が指示されなかったと判定された場合、処理はステップＳ３０６に進む。【0241】
ステップＳ３０６において、上述した図２７のステップＳ２０２の処理と同様に、各レイヤのテクスチャ画像およびデプス画像を用いて、表示画像が生成される。【0242】
その後、処理はステップＳ３０７に進む。【0243】
ステップＳ３０７において、上述した図２４のステップＳ２０３の処理と同様に、表示画像が表示される。【0244】
その後、処理は終了する。【0245】
図３７乃至図３９は、上述した処理により、所定のオブジェクトを非表示にする場合の例を示している。なお、図３７乃至図３９に示す構成のうち、図２３乃至図２５の構成と同じ構成には同じ符号を付してある。【0246】
図３７乃至図３９の左側の図は、各オブジェクトの位置関係を上から見た模式図である。図３７乃至図３９の右側の上の図は、各オブジェクトの位置関係が左側の図の状態の場合の第１レイヤ乃至第３レイヤのテクスチャ画像の例を示している。図３７乃至図３９の右側の下の図は、車３３２を非表示にした場合の第１レイヤ乃至第３レイヤの表示画像の例を示している。【0248】
図３７の車３３２の位置において、第１レイヤのテクスチャ画像では、人３３１と車３３２が重なることなく描画されている。第２レイヤのテクスチャ画像では、車３３２のうち最近距離閾値ＴＨ２より遠くにある部分のみが描画されている。第３レイヤのテクスチャ画像では、人３３１も車３３２も描画されていない。そして、上述した表示処理を行うことにより、第１レイヤおよび第２レイヤの表示画像において、車３３２のみを非表示にすることができる。【0249】
図３８の車３３２の位置において、第１レイヤのテクスチャ画像では、車３３２の一部が人３３１の陰に隠れている。第２レイヤのテクスチャ画像では、車３３２全体が描画されている。第３レイヤのテクスチャ画像では、人３３１も車３３２も描画されていない。そして、上述した表示処理を行うことにより、第１レイヤおよび第２レイヤの表示画像において、車３３２のみを非表示にすることができる。【0250】
図３９の車３３２の位置において、第１レイヤのテクスチャ画像では、車３３２が人３３１の陰に隠れ、描画されていない。第２レイヤのテクスチャ画像では、車３３２全体が描画されている。第３レイヤのテクスチャ画像では、人３３１も車３３２も描画されていない。そして、上述した表示処理を行うことにより、第２レイヤの表示画像において、車３３２のみを非表示にすることができる。【0251】
このようにして、各レイヤの表示画像（実写コンテンツ）において、撮影時や画像生成時等に特別な処理を行うことなく、各オブジェクトの表示または非表示を容易に切り替えることができる。【0252】
なお、以上の説明では、主に各オブジェクトの全体の表示または非表示を切り替える例を示したが、表示装置５００は、それ以外の各オブジェクトの表示形態を変更することも可能である。すなわち、表示装置５００は、各オブジェクトの位置を把握するとともに、各オブジェクトの陰に隠れている部分を描画することができるので、各オブジェクトの表示形態を容易に変更することができる。例えば、表示装置５００は、各オブジェクトの一部の表示または非表示、移動、回転、拡大または縮小、変形、各オブジェクトの濃淡、色、輝度、解像度、または透明度の変更等を行うことができる。【0253】
＜変形例＞以下、上述した本開示の実施の形態の変形例について説明する。
【0255】
上述した説明では、テクスチャ画像は、１つの視点のテクスチャ画像であったが、その視点に対応する左目用の視点と右目用の視点のテクスチャ画像が合成されたものであってもよい。【0256】
具体的には、図４０のＡに示すように、テクスチャ画像は、例えば、１つの視点に対応する左目用の視点のテクスチャ画像６０１と右目用の視点のテクスチャ画像６０２が、横方向（水平方向）にパッキングされたパッキング画像６００であってもよい。【0257】
また、図４０のＢに示すように、テクスチャ画像は、例えば、テクスチャ画像６０１とテクスチャ画像６０２が、縦方向（垂直方向）にパッキングされたパッキング画像６２０であってもよい。【0258】
以上のように、テクスチャ画像が左目用の視点と右目用の視点の画像をパッキングしたテクスチャ画像である場合、復号の結果得られるテクスチャ画像が、左目用の視点のテクスチャ画像と右目用の視点のテクスチャ画像に分離される。そして、目ごとに３次元構造が生成される。【0259】
そして、視聴者等により指定された視点に対応する左目の視点、視線方向、および画角に基づいて、左目用の３次元構造から左目用の表示画像が生成される。また、視聴者等により指定された視点に対応する右目の視点、視線方向、および画角に基づいて、右目用の３次元構造から右目用の表示画像が生成される。【0260】
表示部２０６（４０５）が３Ｄ表示可能である場合、表示部２０６（４０５）は、左目用の表示画像を左目用の画像として表示し、右目用の表示画像を右目用の画像として表示することにより、表示画像を３Ｄ表示する。一方、表示部２０６（４０５）が３Ｄ表示可能ではない場合、表示部２０６（４０５）は、左目用の表示画像または右目用の表示画像を２Ｄ表示する。【0261】
（カメラの配置に関する変形例）第２および第３の実施の形態において、図１９および図２０に示される撮影装置１１の配置は、その一例であり、撮影対象となるオブジェクト等により任意に変更することが可能である。
【0262】
例えば、各オブジェクトを含む領域の周囲のうち、水平方向のみ取り囲むように撮影装置１１を配置し、垂直方向の取り囲みは行わないようにしてもよい。【0263】
また、レイヤ画像を生成する視点の位置に１台の撮影装置１１を設置し、複数の異なる時刻において、１台の撮影装置１１により視線方向を撮影することにより得られる複数のテクスチャ画像およびデプス画像に基づいて、各レイヤのテクスチャ画像およびデプス画像を生成するようにしてもよい。すなわち、所定の視点から所定の視線方向を定点観察することにより得られる複数のテクスチャ画像およびデプス画像に基づいて、各レイヤのテクスチャ画像およびデプス画像を生成するようにしてもよい。これにより、例えば、移動体であるオブジェクトが存在する状態と存在しない状態のテクスチャ画像およびデプス画像が得られ、容易に各レイヤのテクスチャ画像およびデプス画像を生成することができる。【0264】
（その他の変形例）例えば、第２および第３実施の形態において、複数の視点および視線方向の組を設定し、各組について複数のレイヤのレイヤ画像を生成するようにしてもよい。或いは、１つの視点に対して複数の視線方向を設定し、視線方向毎に複数のレイヤのレイヤ画像を生成するようにしてもよい。そして、視聴者等が視点、視線方向、およびレイヤを指定することにより、表示装置４００または表示装置５００が、所望の視点からの視線方向の表示画像のうち、所望のレイヤの表示画像を表示するようにしてもよい。
【0265】
また、例えば、第２および第３実施の形態において、２視点の視点テクスチャストリームおよび視点デプスストリーム、並びに、全天球テクスチャストリームおよび全天球デプスストリームの生成処理および表示処理を行う構成を削除することも可能である。【0266】
さらに、生成装置１２（３００）は、表示装置２００から要求されたときのみ記憶部３９（３０５）に記憶されている２視点の視点テクスチャストリームおよび視点デプスストリーム、並びに、全天球テクスチャストリームおよび全天球デプスストリームを読み出し、表示装置２００に送信するようにしてもよい。テーブルの送信についても同様である。【0267】
また、生成装置３００は、表示装置４００（５００）から要求されたときのみ記憶部３０５に記憶されている各レイヤのレイヤテクスチャストリームおよびレイヤデプスストリームを読み出し、表示装置４００（５００）に送信するようにしてもよい。【0268】
さらに、生成装置３００が、図３５に示されるセグメンテーションテーブルを生成し、表示装置４００または５００に送信するようにしてもよい。【0269】
また、例えば、生成装置３００が、Ｎ個の撮影画像とデプス画像、または、Ｎ個の撮影画像とデプス画像に基づく３次元モデルを表示装置４００（５００）に送信し、表示装置４００（５００）が、各レイヤのテクスチャ画像およびデプス画像を生成するようにしてもよい。【0270】
さらに、例えば、第３実施の形態では、他のオブジェクトの陰に隠れているオブジェクトの３次元的な移動速度を算出することが可能である。【0271】
例えば、あるオブジェクトに対応するセグメントが存在する最も下位のレイヤにおけるセグメント（オブジェクト）の座標とデプス値を時系列に求めていくことで、そのオブジェクトの３次元的な移動速度が算出できる。【0272】
ここで、図４１および図４２を参照して、車３３２の移動速度を算出する場合の例について説明する。なお、図４１および図４２に示す構成のうち、図２３乃至図２５の構成と同じ構成には同じ符号を付してある。【0273】
図４１および図４２の左側の図は、各オブジェクトの位置関係を上から見た模式図である。図４１および図４２の右側の上の図は、各オブジェクトの位置関係が左側の図の状態の場合の第１レイヤ乃至第３レイヤのテクスチャ画像の例を示している。図４１および図４２の右側の下の図は、第１レイヤ乃至第３レイヤのデプス画像の例を示している。【0275】
図４１の状態において、車３３２は、第２レイヤおよび第３レイヤのテクスチャ画像およびデプス画像に描画されている。一方、図４２の状態において、車３３２は、第３レイヤのテクスチャ画像およびデプス画像から消え、第２レイヤのテクスチャ画像およびデプス画像のみに描画されている。【0276】
例えば、図４１の状態において、車３３２の所定の点（以下、注目点という）の第３レイヤのテクスチャ画像における座標を（ｘ３，ｙ３）とする。また、車３３２の注目点の第３レイヤのデプス画像におけるデプス値をＤ３とする。一方、図４２の状態において、車３３２の注目点の第２レイヤのテクスチャ画像における座標を（ｘ２，ｙ２）とする。また、車３３２の注目点の第２レイヤのデプス画像におけるデプス値をＤ２とする。さらに、図４１の状態から図４２の状態になるまでの時間をｔとする。【0278】
【数1】
【0279】
このように、人３３１の陰に隠れている車３３２の速度を算出することができる。【0280】
＜応用例＞（本開示を適用したコンピュータの説明）
上述した一連の処理は、ハードウエアにより実行することもできるし、ソフトウエアにより実行することもできる。一連の処理をソフトウエアにより実行する場合には、そのソフトウエアを構成するプログラムが、コンピュータにインストールされる。ここで、コンピュータには、専用のハードウエアに組み込まれているコンピュータや、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば汎用のパーソナルコンピュータなどが含まれる。
【0281】
図４３は、上述した一連の処理をプログラムにより実行するコンピュータのハードウエアの構成例を示すブロック図である。【0282】
コンピュータ８００において、CPU（Central Processing Unit）８０１，ROM（Read Only Memory）８０２，RAM（Random Access Memory）８０３は、バス８０４により相互に接続されている。【0283】
バス８０４には、さらに、入出力インタフェース８０５が接続されている。入出力インタフェース８０５には、入力部８０６、出力部８０７、記憶部８０８、通信部８０９、及びドライブ８１０が接続されている。【0284】
入力部８０６は、キーボード、マウス、マイクロフォンなどよりなる。出力部８０７は、ディスプレイ、スピーカなどよりなる。記憶部８０８は、ハードディスクや不揮発性のメモリなどよりなる。通信部８０９は、ネットワークインタフェースなどよりなる。ドライブ８１０は、磁気ディスク、光ディスク、光磁気ディスク、又は半導体メモリなどのリムーバブルメディア８１１を駆動する。【0285】
以上のように構成されるコンピュータ８００では、CPU８０１が、例えば、記憶部８０８に記憶されているプログラムを、入出力インタフェース８０５及びバス８０４を介して、RAM８０３にロードして実行することにより、上述した一連の処理が行われる。【0286】
コンピュータ８００（CPU８０１）が実行するプログラムは、例えば、パッケージメディア等としてのリムーバブルメディア８１１に記録して提供することができる。また、プログラムは、ローカルエリアネットワーク、インターネット、デジタル衛星放送といった、有線または無線の伝送媒体を介して提供することができる。【0287】
コンピュータ８００では、プログラムは、リムーバブルメディア８１１をドライブ８１０に装着することにより、入出力インタフェース８０５を介して、記憶部８０８にインストールすることができる。また、プログラムは、有線または無線の伝送媒体を介して、通信部８０９で受信し、記憶部８０８にインストールすることができる。その他、プログラムは、ROM８０２や記憶部８０８に、あらかじめインストールしておくことができる。【0288】
なお、コンピュータ８００が実行するプログラムは、本明細書で説明する順序に沿って時系列に処理が行われるプログラムであっても良いし、並列に、あるいは呼び出しが行われたとき等の必要なタイミングで処理が行われるプログラムであっても良い。【0289】
（移動体制御システムへの適用例）本開示に係る技術は、様々な製品へ応用することができる。例えば、本開示に係る技術は、自動車、電気自動車、ハイブリッド電気自動車、自動二輪車、自転車、パーソナルモビリティ、飛行機、ドローン、船舶、ロボット、建設機械、農業機械（トラクター）などのいずれかの種類の移動体に搭載される装置として実現されてもよい。
【0290】
図４４は、本開示に係る技術が適用され得る移動体制御システムの一例である車両制御システム７０００の概略的な構成例を示すブロック図である。車両制御システム７０００は、通信ネットワーク７０１０を介して接続された複数の電子制御ユニットを備える。図４４に示した例では、車両制御システム７０００は、駆動系制御ユニット７１００、ボディ系制御ユニット７２００、バッテリ制御ユニット７３００、車外情報検出ユニット７４００、車内情報検出ユニット７５００、及び統合制御ユニット７６００を備える。これらの複数の制御ユニットを接続する通信ネットワーク７０１０は、例えば、ＣＡＮ（Controller Area Network）、ＬＩＮ（Local Interconnect Network）、ＬＡＮ（Local Area Network）又はＦｌｅｘＲａｙ（登録商標）等の任意の規格に準拠した車載通信ネットワークであってよい。【0291】
各制御ユニットは、各種プログラムにしたがって演算処理を行うマイクロコンピュータと、マイクロコンピュータにより実行されるプログラム又は各種演算に用いられるパラメータ等を記憶する記憶部と、各種制御対象の装置を駆動する駆動回路とを備える。各制御ユニットは、通信ネットワーク７０１０を介して他の制御ユニットとの間で通信を行うためのネットワークＩ／Ｆを備えるとともに、車内外の装置又はセンサ等との間で、有線通信又は無線通信により通信を行うための通信Ｉ／Ｆを備える。図４４では、統合制御ユニット７６００の機能構成として、マイクロコンピュータ７６１０、汎用通信Ｉ／Ｆ７６２０、専用通信Ｉ／Ｆ７６３０、測位部７６４０、ビーコン受信部７６５０、車内機器Ｉ／Ｆ７６６０、音声画像出力部７６７０、車載ネットワークＩ／Ｆ７６８０及び記憶部７６９０が図示されている。他の制御ユニットも同様に、マイクロコンピュータ、通信Ｉ／Ｆ及び記憶部等を備える。【0292】
駆動系制御ユニット７１００は、各種プログラムにしたがって車両の駆動系に関連する装置の動作を制御する。例えば、駆動系制御ユニット７１００は、内燃機関又は駆動用モータ等の車両の駆動力を発生させるための駆動力発生装置、駆動力を車輪に伝達するための駆動力伝達機構、車両の舵角を調節するステアリング機構、及び、車両の制動力を発生させる制動装置等の制御装置として機能する。駆動系制御ユニット７１００は、ＡＢＳ（Antilock Brake System）又はＥＳＣ（Electronic Stability Control）等の制御装置としての機能を有してもよい。【0293】
駆動系制御ユニット７１００には、車両状態検出部７１１０が接続される。車両状態検出部７１１０には、例えば、車体の軸回転運動の角速度を検出するジャイロセンサ、車両の加速度を検出する加速度センサ、あるいは、アクセルペダルの操作量、ブレーキペダルの操作量、ステアリングホイールの操舵角、エンジン回転数又は車輪の回転速度等を検出するためのセンサのうちの少なくとも一つが含まれる。駆動系制御ユニット７１００は、車両状態検出部７１１０から入力される信号を用いて演算処理を行い、内燃機関、駆動用モータ、電動パワーステアリング装置又はブレーキ装置等を制御する。【0294】
ボディ系制御ユニット７２００は、各種プログラムにしたがって車体に装備された各種装置の動作を制御する。例えば、ボディ系制御ユニット７２００は、キーレスエントリシステム、スマートキーシステム、パワーウィンドウ装置、あるいは、ヘッドランプ、バックランプ、ブレーキランプ、ウィンカー又はフォグランプ等の各種ランプの制御装置として機能する。この場合、ボディ系制御ユニット７２００には、鍵を代替する携帯機から発信される電波又は各種スイッチの信号が入力され得る。ボディ系制御ユニット７２００は、これらの電波又は信号の入力を受け付け、車両のドアロック装置、パワーウィンドウ装置、ランプ等を制御する。【0295】
バッテリ制御ユニット７３００は、各種プログラムにしたがって駆動用モータの電力供給源である二次電池７３１０を制御する。例えば、バッテリ制御ユニット７３００には、二次電池７３１０を備えたバッテリ装置から、バッテリ温度、バッテリ出力電圧又はバッテリの残存容量等の情報が入力される。バッテリ制御ユニット７３００は、これらの信号を用いて演算処理を行い、二次電池７３１０の温度調節制御又はバッテリ装置に備えられた冷却装置等の制御を行う。【0296】
車外情報検出ユニット７４００は、車両制御システム７０００を搭載した車両の外部の情報を検出する。例えば、車外情報検出ユニット７４００には、撮像部７４１０及び車外情報検出部７４２０のうちの少なくとも一方が接続される。撮像部７４１０には、ＴｏＦ（Time Of Flight）カメラ、ステレオカメラ、単眼カメラ、赤外線カメラ及びその他のカメラのうちの少なくとも一つが含まれる。車外情報検出部７４２０には、例えば、現在の天候又は気象を検出するための環境センサ、あるいは、車両制御システム７０００を搭載した車両の周囲の他の車両、障害物又は歩行者等を検出するための周囲情報検出センサのうちの少なくとも一つが含まれる。【0297】
環境センサは、例えば、雨天を検出する雨滴センサ、霧を検出する霧センサ、日照度合いを検出する日照センサ、及び降雪を検出する雪センサのうちの少なくとも一つであってよい。周囲情報検出センサは、超音波センサ、レーダ装置及びＬＩＤＡＲ（Light Detection and Ranging、Laser Imaging Detection and Ranging）装置のうちの少なくとも一つであってよい。これらの撮像部７４１０及び車外情報検出部７４２０は、それぞれ独立したセンサないし装置として備えられてもよいし、複数のセンサないし装置が統合された装置として備えられてもよい。【0298】
ここで、図４５は、撮像部７４１０及び車外情報検出部７４２０の設置位置の例を示す。撮像部７９１０，７９１２，７９１４，７９１６，７９１８は、例えば、車両７９００のフロントノーズ、サイドミラー、リアバンパ、バックドア及び車室内のフロントガラスの上部のうちの少なくとも一つの位置に設けられる。フロントノーズに備えられる撮像部７９１０及び車室内のフロントガラスの上部に備えられる撮像部７９１８は、主として車両７９００の前方の画像を取得する。サイドミラーに備えられる撮像部７９１２，７９１４は、主として車両７９００の側方の画像を取得する。リアバンパ又はバックドアに備えられる撮像部７９１６は、主として車両７９００の後方の画像を取得する。車室内のフロントガラスの上部に備えられる撮像部７９１８は、主として先行車両又は、歩行者、障害物、信号機、交通標識又は車線等の検出に用いられる。【0299】
なお、図４５には、それぞれの撮像部７９１０，７９１２，７９１４，７９１６の撮影範囲の一例が示されている。撮像範囲ａは、フロントノーズに設けられた撮像部７９１０の撮像範囲を示し、撮像範囲ｂ，ｃは、それぞれサイドミラーに設けられた撮像部７９１２，７９１４の撮像範囲を示し、撮像範囲ｄは、リアバンパ又はバックドアに設けられた撮像部７９１６の撮像範囲を示す。例えば、撮像部７９１０，７９１２，７９１４，７９１６で撮像された画像データが重ね合わせられることにより、車両７９００を上方から見た俯瞰画像が得られる。【0300】
車両７９００のフロント、リア、サイド、コーナ及び車室内のフロントガラスの上部に設けられる車外情報検出部７９２０，７９２２，７９２４，７９２６，７９２８，７９３０は、例えば超音波センサ又はレーダ装置であってよい。車両７９００のフロントノーズ、リアバンパ、バックドア及び車室内のフロントガラスの上部に設けられる車外情報検出部７９２０，７９２６，７９３０は、例えばＬＩＤＡＲ装置であってよい。これらの車外情報検出部７９２０〜７９３０は、主として先行車両、歩行者又は障害物等の検出に用いられる。【0301】
図４４に戻って説明を続ける。車外情報検出ユニット７４００は、撮像部７４１０に車外の画像を撮像させるとともに、撮像された画像データを受信する。また、車外情報検出ユニット７４００は、接続されている車外情報検出部７４２０から検出情報を受信する。車外情報検出部７４２０が超音波センサ、レーダ装置又はＬＩＤＡＲ装置である場合には、車外情報検出ユニット７４００は、超音波又は電磁波等を発信させるとともに、受信された反射波の情報を受信する。車外情報検出ユニット７４００は、受信した情報に基づいて、人、車、障害物、標識又は路面上の文字等の物体検出処理又は距離検出処理を行ってもよい。車外情報検出ユニット７４００は、受信した情報に基づいて、降雨、霧又は路面状況等を認識する環境認識処理を行ってもよい。車外情報検出ユニット７４００は、受信した情報に基づいて、車外の物体までの距離を算出してもよい。【0302】
また、車外情報検出ユニット７４００は、受信した画像データに基づいて、人、車、障害物、標識又は路面上の文字等を認識する画像認識処理又は距離検出処理を行ってもよい。車外情報検出ユニット７４００は、受信した画像データに対して歪補正又は位置合わせ等の処理を行うとともに、異なる撮像部７４１０により撮像された画像データを合成して、俯瞰画像又はパノラマ画像を生成してもよい。車外情報検出ユニット７４００は、異なる撮像部７４１０により撮像された画像データを用いて、視点変換処理を行ってもよい。【0303】
車内情報検出ユニット７５００は、車内の情報を検出する。車内情報検出ユニット７５００には、例えば、運転者の状態を検出する運転者状態検出部７５１０が接続される。運転者状態検出部７５１０は、運転者を撮像するカメラ、運転者の生体情報を検出する生体センサ又は車室内の音声を集音するマイク等を含んでもよい。生体センサは、例えば、座面又はステアリングホイール等に設けられ、座席に座った搭乗者又はステアリングホイールを握る運転者の生体情報を検出する。車内情報検出ユニット７５００は、運転者状態検出部７５１０から入力される検出情報に基づいて、運転者の疲労度合い又は集中度合いを算出してもよいし、運転者が居眠りをしていないかを判別してもよい。車内情報検出ユニット７５００は、集音された音声信号に対してノイズキャンセリング処理等の処理を行ってもよい。【0304】
統合制御ユニット７６００は、各種プログラムにしたがって車両制御システム７０００内の動作全般を制御する。統合制御ユニット７６００には、入力部７８００が接続されている。入力部７８００は、例えば、タッチパネル、ボタン、マイクロフォン、スイッチ又はレバー等、搭乗者によって入力操作され得る装置によって実現される。統合制御ユニット７６００には、マイクロフォンにより入力される音声を音声認識することにより得たデータが入力されてもよい。入力部７８００は、例えば、赤外線又はその他の電波を利用したリモートコントロール装置であってもよいし、車両制御システム７０００の操作に対応した携帯電話又はＰＤＡ（Personal Digital Assistant）等の外部接続機器であってもよい。入力部７８００は、例えばカメラであってもよく、その場合搭乗者はジェスチャにより情報を入力することができる。あるいは、搭乗者が装着したウェアラブル装置の動きを検出することで得られたデータが入力されてもよい。さらに、入力部７８００は、例えば、上記の入力部７８００を用いて搭乗者等により入力された情報に基づいて入力信号を生成し、統合制御ユニット７６００に出力する入力制御回路などを含んでもよい。搭乗者等は、この入力部７８００を操作することにより、車両制御システム７０００に対して各種のデータを入力したり処理動作を指示したりする。【0305】
記憶部７６９０は、マイクロコンピュータにより実行される各種プログラムを記憶するＲＯＭ（Read Only Memory）、及び各種パラメータ、演算結果又はセンサ値等を記憶するＲＡＭ（Random Access Memory）を含んでいてもよい。また、記憶部７６９０は、ＨＤＤ（Hard Disc Drive）等の磁気記憶デバイス、半導体記憶デバイス、光記憶デバイス又は光磁気記憶デバイス等によって実現してもよい。【0306】
汎用通信Ｉ／Ｆ７６２０は、外部環境７７５０に存在する様々な機器との間の通信を仲介する汎用的な通信Ｉ／Ｆである。汎用通信Ｉ／Ｆ７６２０は、ＧＳＭ（Global System of Mobile communications）、ＷｉＭＡＸ、ＬＴＥ（Long Term Evolution）若しくはＬＴＥ−Ａ（LTE−Advanced）などのセルラー通信プロトコル、又は無線ＬＡＮ（Ｗｉ−Ｆｉ（登録商標）ともいう）、Ｂｌｕｅｔｏｏｔｈ（登録商標）などのその他の無線通信プロトコルを実装してよい。汎用通信Ｉ／Ｆ７６２０は、例えば、基地局又はアクセスポイントを介して、外部ネットワーク（例えば、インターネット、クラウドネットワーク又は事業者固有のネットワーク）上に存在する機器（例えば、アプリケーションサーバ又は制御サーバ）へ接続してもよい。また、汎用通信Ｉ／Ｆ７６２０は、例えばＰ２Ｐ（Peer To Peer）技術を用いて、車両の近傍に存在する端末（例えば、運転者、歩行者若しくは店舗の端末、又はＭＴＣ（Machine Type Communication）端末）と接続してもよい。【0307】
専用通信Ｉ／Ｆ７６３０は、車両における使用を目的として策定された通信プロトコルをサポートする通信Ｉ／Ｆである。専用通信Ｉ／Ｆ７６３０は、例えば、下位レイヤのＩＥＥＥ８０２．１１ｐと上位レイヤのＩＥＥＥ１６０９との組合せであるＷＡＶＥ（Wireless Access in Vehicle Environment）、ＤＳＲＣ（Dedicated Short Range Communications）、又はセルラー通信プロトコルといった標準プロトコルを実装してよい。専用通信Ｉ／Ｆ７６３０は、典型的には、車車間（Vehicle to Vehicle）通信、路車間（Vehicle to Infrastructure）通信、車両と家との間（Vehicle to Home）の通信及び歩車間（Vehicle to Pedestrian）通信のうちの１つ以上を含む概念であるＶ２Ｘ通信を遂行する。【0308】
測位部７６４０は、例えば、ＧＮＳＳ（Global Navigation Satellite System）衛星からのＧＮＳＳ信号（例えば、ＧＰＳ（Global Positioning System）衛星からのＧＰＳ信号）を受信して測位を実行し、車両の緯度、経度及び高度を含む位置情報を生成する。なお、測位部７６４０は、無線アクセスポイントとの信号の交換により現在位置を特定してもよく、又は測位機能を有する携帯電話、ＰＨＳ若しくはスマートフォンといった端末から位置情報を取得してもよい。【0309】
ビーコン受信部７６５０は、例えば、道路上に設置された無線局等から発信される電波あるいは電磁波を受信し、現在位置、渋滞、通行止め又は所要時間等の情報を取得する。なお、ビーコン受信部７６５０の機能は、上述した専用通信Ｉ／Ｆ７６３０に含まれてもよい。【0310】
車内機器Ｉ／Ｆ７６６０は、マイクロコンピュータ７６１０と車内に存在する様々な車内機器７７６０との間の接続を仲介する通信インタフェースである。車内機器Ｉ／Ｆ７６６０は、無線ＬＡＮ、Ｂｌｕｅｔｏｏｔｈ（登録商標）、ＮＦＣ（Near Field Communication）又はＷＵＳＢ（Wireless USB）といった無線通信プロトコルを用いて無線接続を確立してもよい。また、車内機器Ｉ／Ｆ７６６０は、図示しない接続端子（及び、必要であればケーブル）を介して、ＵＳＢ（Universal Serial Bus）、ＨＤＭＩ（High-Definition Multimedia Interface）、又はＭＨＬ（Mobile High-definition Link）等の有線接続を確立してもよい。車内機器７７６０は、例えば、搭乗者が有するモバイル機器若しくはウェアラブル機器、又は車両に搬入され若しくは取り付けられる情報機器のうちの少なくとも１つを含んでいてもよい。また、車内機器７７６０は、任意の目的地までの経路探索を行うナビゲーション装置を含んでいてもよい。車内機器Ｉ／Ｆ７６６０は、これらの車内機器７７６０との間で、制御信号又はデータ信号を交換する。【0311】
車載ネットワークＩ／Ｆ７６８０は、マイクロコンピュータ７６１０と通信ネットワーク７０１０との間の通信を仲介するインタフェースである。車載ネットワークＩ／Ｆ７６８０は、通信ネットワーク７０１０によりサポートされる所定のプロトコルに則して、信号等を送受信する。【0312】
統合制御ユニット７６００のマイクロコンピュータ７６１０は、汎用通信Ｉ／Ｆ７６２０、専用通信Ｉ／Ｆ７６３０、測位部７６４０、ビーコン受信部７６５０、車内機器Ｉ／Ｆ７６６０及び車載ネットワークＩ／Ｆ７６８０のうちの少なくとも一つを介して取得される情報に基づき、各種プログラムにしたがって、車両制御システム７０００を制御する。例えば、マイクロコンピュータ７６１０は、取得される車内外の情報に基づいて、駆動力発生装置、ステアリング機構又は制動装置の制御目標値を演算し、駆動系制御ユニット７１００に対して制御指令を出力してもよい。例えば、マイクロコンピュータ７６１０は、車両の衝突回避あるいは衝撃緩和、車間距離に基づく追従走行、車速維持走行、車両の衝突警告、又は車両のレーン逸脱警告等を含むＡＤＡＳ（Advanced Driver Assistance System）の機能実現を目的とした協調制御を行ってもよい。また、マイクロコンピュータ７６１０は、取得される車両の周囲の情報に基づいて駆動力発生装置、ステアリング機構又は制動装置等を制御することにより、運転者の操作に拠らずに自律的に走行する自動運転等を目的とした協調制御を行ってもよい。【0313】
マイクロコンピュータ７６１０は、汎用通信Ｉ／Ｆ７６２０、専用通信Ｉ／Ｆ７６３０、測位部７６４０、ビーコン受信部７６５０、車内機器Ｉ／Ｆ７６６０及び車載ネットワークＩ／Ｆ７６８０のうちの少なくとも一つを介して取得される情報に基づき、車両と周辺の構造物や人物等の物体との間の３次元距離情報を生成し、車両の現在位置の周辺情報を含むローカル地図情報を作成してもよい。また、マイクロコンピュータ７６１０は、取得される情報に基づき、車両の衝突、歩行者等の近接又は通行止めの道路への進入等の危険を予測し、警告用信号を生成してもよい。警告用信号は、例えば、警告音を発生させたり、警告ランプを点灯させたりするための信号であってよい。【0314】
音声画像出力部７６７０は、車両の搭乗者又は車外に対して、視覚的又は聴覚的に情報を通知することが可能な出力装置へ音声及び画像のうちの少なくとも一方の出力信号を送信する。図４４の例では、出力装置として、オーディオスピーカ７７１０、表示部７７２０及びインストルメントパネル７７３０が例示されている。表示部７７２０は、例えば、オンボードディスプレイ及びヘッドアップディスプレイの少なくとも一つを含んでいてもよい。表示部７７２０は、ＡＲ（Augmented Reality）表示機能を有していてもよい。出力装置は、これらの装置以外の、ヘッドホン、搭乗者が装着する眼鏡型ディスプレイ等のウェアラブルデバイス、プロジェクタ又はランプ等の他の装置であってもよい。出力装置が表示装置の場合、表示装置は、マイクロコンピュータ７６１０が行った各種処理により得られた結果又は他の制御ユニットから受信された情報を、テキスト、イメージ、表、グラフ等、様々な形式で視覚的に表示する。また、出力装置が音声出力装置の場合、音声出力装置は、再生された音声データ又は音響データ等からなるオーディオ信号をアナログ信号に変換して聴覚的に出力する。【0315】
なお、図４４に示した例において、通信ネットワーク７０１０を介して接続された少なくとも二つの制御ユニットが一つの制御ユニットとして一体化されてもよい。あるいは、個々の制御ユニットが、複数の制御ユニットにより構成されてもよい。さらに、車両制御システム７０００が、図示されていない別の制御ユニットを備えてもよい。また、上記の説明において、いずれかの制御ユニットが担う機能の一部又は全部を、他の制御ユニットに持たせてもよい。つまり、通信ネットワーク７０１０を介して情報の送受信がされるようになっていれば、所定の演算処理が、いずれかの制御ユニットで行われるようになってもよい。同様に、いずれかの制御ユニットに接続されているセンサ又は装置が、他の制御ユニットに接続されるとともに、複数の制御ユニットが、通信ネットワーク７０１０を介して相互に検出情報を送受信してもよい。【0316】
なお、図１乃至図４２を用いて説明した本実施形態に係る生成装置１２（３００）および表示装置２００（４００，５００）の各機能を実現するためのコンピュータプログラムを、いずれかの制御ユニット等に実装することができる。また、このようなコンピュータプログラムが格納された、コンピュータで読み取り可能な記録媒体を提供することもできる。記録媒体は、例えば、磁気ディスク、光ディスク、光磁気ディスク、フラッシュメモリ等である。また、上記のコンピュータプログラムは、記録媒体を用いずに、例えばネットワークを介して配信されてもよい。【0317】
以上説明した車両制御システム７０００において、図１乃至図４２を用いて説明した本実施形態に係る生成装置１２（３００）および表示装置２００（４００，５００）を適用することができる。この場合、例えば、生成装置１２（３００）および表示装置２００（４００，５００）は一体化され、マイクロコンピュータ７６１０、記憶部７６９０、および表示部７７２０に相当する。また、撮影装置１１は、撮像部７４１０に相当する。この場合、例えば、車両制御システム７０００は、レイヤ構造のテクスチャ画像とデプス画像を用いて、前方のオブジェクトの陰に隠れている他のオブジェクトを検出したり、各オブジェクトの移動速度を検出したりすることができる。【0318】
また、図１乃至図４２を用いて説明した生成装置１２（３００）および表示装置２００（４００，５００）の少なくとも一部の構成要素は、図４４に示した車両制御システム７０００のためのモジュール（例えば、一つのダイで構成される集積回路モジュール）において実現されてもよい。あるいは、図１乃至図４２を用いて説明した生成装置１２（３００）および表示装置２００（４００，５００）は、図４４に示した車両制御システム７０００の複数の制御ユニットによって実現されてもよい。【0319】
なお、本明細書に記載された効果はあくまで例示であって限定されるものではなく、他の効果があってもよい。【0320】
また、本開示の実施の形態は、上述した実施の形態に限定されるものではなく、本開示の要旨を逸脱しない範囲において種々の変更が可能である。【0321】
例えば、本開示は、１つの機能をネットワークを介して複数の装置で分担、共同して処理するクラウドコンピューティングの構成をとることができる。【0322】
また、上述のフローチャートで説明した各ステップは、１つの装置で実行する他、複数の装置で分担して実行することができる。【0323】
さらに、１つのステップに複数の処理が含まれる場合には、その１つのステップに含まれる複数の処理は、１つの装置で実行する他、複数の装置で分担して実行することができる。【0324】
なお、本開示は、以下のような構成もとることができる。【0325】
（１）複数の撮影画像に基づいて生成された画像であって、所定の視点からの距離に応じて複数のレイヤに階層化された画像である複数のレイヤ画像における各前記レイヤ画像に対して各オブジェクトが存在するセグメントの位置を示すセグメント情報に基づいて、表示画像内の各前記オブジェクトの表示形態を変更する画像生成部を
備える画像処理装置。
（２）
前記セグメント情報は、各前記セグメントのレイヤ方向および画素方向の位置を示す
前記（１）に記載の画像処理装置。
（３）
前記セグメント情報は、各前記レイヤ画像の各画素が属する前記セグメントを示し、前記レイヤ画像間で同じ前記オブジェクトに対応する前記セグメントが対応付けられている
前記（２）に記載の画像処理装置。
（４）
各前記レイヤ画像を前記オブジェクト毎に複数のセグメントに分割し、前記レイヤ画像間で同じ前記オブジェクトに対応する前記セグメントを対応付けることにより、前記セグメント情報を生成するセグメント情報生成部を
さらに備える前記（１）乃至（３）のいずれかに記載の画像処理装置。
（５）
前記画像生成部は、第１のレイヤの前記レイヤ画像において非表示とする前記オブジェクトに対応する第１のセグメントの画素の代わりに、前記第１のレイヤより下位の第２のレイヤの前記レイヤ画像の同じ位置の画素であって、前記第１のセグメントと異なる第２のセグメントの画素を用いて、前記表示画像を生成する
前記（１）乃至（４）のいずれかに記載の画像処理装置。
（６）
前記複数の撮影画像は、各前記オブジェクトを含む領域の周囲の少なくとも一部を取り囲むように配置された異なる視点から撮影した複数の画像を含む
前記（１）乃至（５）のいずれかに記載の画像処理装置。
（７）
前記複数のレイヤ画像は、前記異なる視点から撮影した前記複数の画像に基づいて３次元再構成を行うことにより生成される３次元モデルに基づいて生成される
前記（６）に記載の画像処理装置。
（８）
前記複数の撮影画像は、前記視点から異なる時刻に撮影した複数の画像を含む
前記（１）乃至（５）のいずれかに記載の画像処理装置。
（９）
各前記レイヤ画像には、前記視点からの所定の視線方向の距離が、前記レイヤ画像毎に設定された所定の閾値以上のオブジェクトが含まれる
前記（１）乃至（８）のいずれかに記載の画像処理装置。
（１０）
各前記レイヤ画像は、テクスチャ画像およびデプス画像を含む
前記（１）乃至（９）のいずれかに記載の画像処理装置。
（１１）
画像処理装置が
複数の撮影画像に基づいて生成された画像であって、所定の視点からの距離に応じて複数のレイヤに階層化された画像である複数のレイヤ画像における各前記レイヤ画像に対して各オブジェクトが存在するセグメントの位置を示すセグメント情報に基づいて、表示画像内の各前記オブジェクトの表示形態を変更する画像生成ステップを
含む画像処理方法。
【符号の説明】
【0326】
１１−１乃至１１−Ｎ 撮影装置, ２１−１乃至２１−Ｎ 撮影画像カメラ， ２２−１乃至２２−Ｎ デプス画像カメラ， ３００ 生成装置， ３０１ 再構成部， ３０２ 視点制御部， ３０３ 描画部， ５００ 表示装置， ５０１ セグメント情報生成部， ５０２ 描画部