特許 7605205 情報処理装置、３Ｄモデル生成方法およびプログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2024-12-16

(45)【発行日】2024-12-24

(54)【発明の名称】情報処理装置、３Ｄモデル生成方法およびプログラム

(51)【国際特許分類】

   G06T 7/60 20170101AFI20241217BHJP

   G06T 7/564 20170101ALI20241217BHJP

   G06T 17/20 20060101ALI20241217BHJP

   G01B 11/24 20060101ALI20241217BHJP

【ＦＩ】

G06T7/60 180B

G06T7/564

G06T17/20

G01B11/24 K

【請求項の数】 13

(21)【出願番号】P 2022509962

(86)(22)【出願日】2021-03-16

(86)【国際出願番号】 JP2021010470

(87)【国際公開番号】W WO2021193213

(87)【国際公開日】2021-09-30

【審査請求日】2024-02-21

(31)【優先権主張番号】P 2020056899

(32)【優先日】2020-03-26

(33)【優先権主張国・地域又は機関】JP

(73)【特許権者】

【識別番号】000002185

【氏名又は名称】ソニーグループ株式会社

(74)【代理人】

【識別番号】110002147

【氏名又は名称】弁理士法人酒井国際特許事務所

(72)【発明者】

【氏名】泉 伸明

【審査官】小池 正彦

(56)【参考文献】

【文献】国際公開第２０１８／０７４２５２（ＷＯ，Ａ１）

【文献】富山仁博,外3名，局所的形状特徴に拘束された3次元形状復元手法とそのリアルタイム動画表示，映像情報メディア学会誌，日本，2007年04月01日，第61巻,第4号，p.471-481，https://doi.org/10.3169/itej.61.471

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ０６Ｔ ７／６０

Ｇ０６Ｔ ７／５６４

Ｇ０６Ｔ １７／２０

Ｇ０１Ｂ １１／２４

(57)【特許請求の範囲】

【請求項1】

被写体の表面の３Ｄ形状に基づいて、投影点から前記被写体に至る直線が前記被写体と接触する第１の点と前記投影点との第１の距離と、前記第１の点から前記被写体の内部に進入した前記直線が前記被写体から外部に貫通する第２の点と前記投影点との第２の距離と、を取得する距離取得部を備える、
情報処理装置。

【請求項2】

前記距離取得部は、
前記第１の点が存在しない場合には、前記第１の距離として、所定の第１の距離値を取得して、
前記第２の点が存在しない場合には、前記第２の距離として、前記第１の距離値よりも小さい所定の第２の距離値を取得する、
請求項１に記載の情報処理装置。

【請求項3】

前記距離取得部は、
前記第１の距離値と前記第２の距離値とを、等しい値に設定する、
請求項２に記載の情報処理装置。

【請求項4】

前記距離取得部が取得した前記第１の距離と前記第２の距離とを関連付けて、前記被写体の３次元形状を再構成する復号装置に送信する送信部を更に備える、
請求項１に記載の情報処理装置。

【請求項5】

前記被写体を複数の投影点から見たテクスチャ情報と、当該テクスチャ情報を取得したのと同じ複数の投影点から見た前記第１の距離と、を関連付けて取得する色・距離取得部を更に備える、
請求項１に記載の情報処理装置。

【請求項6】

前記距離取得部は、同じ前記投影点から、前記被写体を分解した各物体に対して、それぞれ、前記第１の距離と前記第２の距離とを取得する、
請求項１に記載の情報処理装置。

【請求項7】

前記距離取得部は、異なる前記投影点から、前記被写体を分解した各物体に対して、それぞれ、前記第１の距離と前記第２の距離とを取得する、
請求項１に記載の情報処理装置。

【請求項8】

被写体の表面の３Ｄ形状に基づいて、投影点から前記被写体に至る直線が前記被写体と接触する第１の点と前記投影点との第１の距離、または、前記第１の点が存在しない場合に、前記第１の距離として所定の第１の距離値を取得して、
前記第１の点から前記被写体の内部に進入した前記直線が前記被写体から外部に貫通する第２の点と前記投影点との第２の距離、または、前記第２の点が存在しない場合に、前記第２の距離として、前記第１の距離値よりも小さい所定の第２の距離値を取得して、
前記第１の距離と前記第２の距離との大小関係に基づいて、前記被写体の領域を特定する領域判定部を備える、
情報処理装置。

【請求項9】

前記投影点に係る複数の前記第１の距離に基づく、前記被写体の前記投影点から見た前面側の端部と、前記投影点に係る複数の前記第２の距離に基づく、前記被写体の前記投影点から見た背面側の端部とを接続する閉空間生成部を更に備える、
請求項８に記載の情報処理装置。

【請求項10】

前記閉空間生成部は、
三角形状に隣接する３点の前記第１の距離のうち、２点の前記第１の距離が前記被写体の前面を表して、残り１点の前記第１の距離が前記被写体の前面を表さない場合に、
前記残り１点を、前記３点に対応する前記第２の距離のうち、前記被写体の背面を表す２点のいずれか一方に代入して、
前記３点に対応する前記第２の距離のうち、前記被写体の背面を表さない１点を、前記被写体の前面を表す２点のうち、前記残り１点を代入したのとは反対側の１点に代入する、
請求項９に記載の情報処理装置。

【請求項11】

前記被写体を複数の投影点から見たテクスチャ情報と、当該テクスチャ情報を取得したのと同じ複数の投影点から見た前記第１の距離と、を関連付けて取得する色・距離取得部と、
前記色・距離取得部が取得した情報に基づいて、前記投影点から見た前記第１の距離に応じた第１の点の３次元位置と、前記投影点とは異なる投影点から見た前記第１の点の方向に対応する第１の距離に応じた３次元位置とが一致しない場合に、前記投影点から見た前記第１の点が、当該投影点とは異なる投影点からは見えないと判定する可視性確認部と、を更に備える、
請求項８に記載の情報処理装置。

【請求項12】

被写体の表面の３Ｄ形状に基づいて、投影点から前記被写体に至る直線が前記被写体と接触する第１の点と前記投影点との第１の距離と、前記第１の点から前記被写体の内部に進入した前記直線が前記被写体から外部に貫通する第２の点と前記投影点との第２の距離と、を取得して、前記投影点の位置と、前記第１の距離と、前記第２の距離とを関連付けることによって、前記被写体の３Ｄモデルを生成する、
３Ｄモデルの生成方法。

【請求項13】

コンピュータを、
被写体の表面の３Ｄ形状に基づいて、投影点から前記被写体に至る直線が前記被写体と接触する第１の点と前記投影点との第１の距離と、前記第１の点から前記被写体の内部に進入した前記直線が前記被写体から外部に貫通する第２の点と前記投影点との第２の距離と、を取得する距離取得部、
として機能させるプログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本開示は、情報処理装置、３Ｄモデル生成方法およびプログラムに関する。

【背景技術】

【0002】

従来、現実の３Ｄ空間をセンシングした情報、例えば異なる視点から被写体を撮像した多視点映像を用いて、視聴空間内に３Ｄオブジェクトを生成し、そのオブジェクトが視聴空間内に存在しているかのように見える映像（ボリュメトリック映像）を生成する方法が提案されている。

【0003】

ボリュメトリック映像を生成するためには、３次元空間の座標情報が必要であり、例えば特許文献１では、カメラから被写体の表面までの距離を表すデプスマップに基づいて、被写体の３Ｄ形状を求めていた。

【先行技術文献】

【特許文献】

【0004】

【文献】国際公開第２０１８／０７４２５２号

【発明の概要】

【発明が解決しようとする課題】

【0005】

しかしながら、特許文献１では、被写体のカメラに面する面、即ち被写体の表面側の３Ｄ形状を得ることしかできなかった。そのため、被写体の裏面側の３Ｄ形状は、被写体を裏面側から見たデプスマップに基づいて３Ｄ形状を求める必要があった。

【0006】

そのため、被写体の正確な形状を生成するのが困難であるという問題があった。

【0007】

本開示では、被写体の正確な形状を生成することができる情報処理装置、３Ｄモデル生成方法およびプログラムを提案する。

【課題を解決するための手段】

【0008】

上記の課題を解決するために、本開示に係る一形態の情報処理装置は、被写体の表面の３Ｄ形状に基づいて、投影点から前記被写体に至る直線が前記被写体と接触する第１の点と前記投影点との第１の距離と、前記第１の点から前記被写体の内部に進入した前記直線が前記被写体から外部に貫通する第２の点と前記投影点との第２の距離と、を取得する距離取得部を備える情報処理装置である。

【図面の簡単な説明】

【0009】

【図1】第１の実施形態の情報処理システムの概略構成を示すブロック図である。

【図2】撮像装置の一例を示す図である。

【図3】情報処理システムが行う処理の流れの一例を示すフローチャートである。

【図4】情報処理システムのハードウエア構成の一例を示すハードウエアブロック図である。

【図5】符号化部の機能構成の一例を示す機能ブロック図である。

【図6】デプスマップの生成方法を説明する図である。

【図7】第１層デプスマップと第２層デプスマップの量子化デプス値について説明する図である。

【図8】第１層デプスマップと第２層デプスマップの一例を示す図である。

【図9】タイリング処理部が生成する画像の一例を示す図である。

【図10】復号部の機能構成の一例を示す機能ブロック図である。

【図11】デプス有効領域判定部が、デプスマップからデプス値を読み出す方法を説明する図である。

【図12】デプス有効領域判定部が、デプス値の有効無効を判定する方法を説明する図である。

【図13】デプス有効領域判定部が行う処理の流れの一例を示すフローチャートである。

【図14】デプスマップ上に設定される三角形パッチを説明する図である。

【図15】三角形パッチの有効点数を説明する図である。

【図16】頂点座標変更処理を説明する図である。

【図17】被写体の３次元形状メッシュデータが生成される様子を示す模式図である。

【図18】三角形パッチ生成部が行うメッシュデータ生成処理の流れの一例を示すフローチャートである。

【図19】レンダリング部の機能構成の一例を示す機能ブロック図である。

【図20】第２の実施形態において、タイリング処理部が生成する、符号化の対象となる画像の一例を示す図である。

【図21】第２の実施形態の復号部およびレンダリング部の機能構成の一例を示す機能ブロック図である。

【図22】可視性を確認する処理を説明する図である。

【図23】第３の実施形態の情報処理システムの作用を説明する図である。

【図24】第４の実施形態の情報処理システムの作用を説明する図である。

【発明を実施するための形態】

【0010】

以下に、本開示の実施形態について図面に基づいて詳細に説明する。なお、以下の各実施形態において、同一の部位には同一の符号を付することにより重複する説明を省略する。

【0011】

また、以下に示す項目順序に従って本開示を説明する。
１．第１の実施形態
１－１．情報処理システムの機能構成
１－２．情報処理システムが行う処理の流れ
１－３．情報処理システムのハードウエア構成
１－４．符号化部の詳細構成
１－５．復号部の詳細構成
１－６．デプス有効判定処理
１－７．メッシュデータ生成処理
１－８．レンダリング部の詳細構成
１－９．第１の実施形態の変形例
１－１０．第１の実施形態の効果
２．第２の実施形態
２－１．タイリング画像の構成
２－２．可視性確認処理
２－３．第２の実施形態の効果
３．第３の実施形態
３－１．第３の実施形態の作用
３－２．第３の実施形態の効果
４．第４の実施形態
４－１．第４の実施形態の作用
４－２．第４の実施形態の効果
５．本開示の応用例
５－１．コンテンツの制作
５－２．仮想空間での体験
５－３．遠隔地とのコミュニケーションへの応用
５－４．その他

【0012】

（１．第１の実施形態）
［１－１．情報処理システムの構成］
まず、図１を用いて、本開示を適用した情報処理システム１０ａの概要を説明する。図１は、第１の実施形態の情報処理システムの概略構成を示すブロック図である。

【0013】

図１に示すように、情報処理システム１０ａは、データ取得部１１と、３Ｄモデル生成部１２と、符号化部１３ａと、送信部１４と、受信部１５と、復号部１６ａと、レンダリング部１７ａと、表示部１８とを備える。

【0014】

データ取得部１１は、撮像対象物体である被写体９０の３Ｄモデル９０Ｍを生成するための画像データを取得する。例えば、図２に示すように被写体９０を取り囲むように配置された複数の撮像装置７０（７０ａ，７０ｂ，…）によって撮像された複数の視点画像を画像データとして取得する。この場合、複数の視点画像は、複数のカメラが同期して撮像した画像であるのが好ましい。また、データ取得部１１は、例えば、１台のカメラを移動して複数の視点から被写体を撮像した画像データとして取得してもよい。なお、データ取得部１１は、画像データに基づいてキャリブレーションを行い、各撮像装置の内部パラメータ及び外部パラメータを取得してもよい。また、データ取得部１１は、例えば、複数箇所の視点から被写体９０までの距離を示す複数のデプス情報を取得してもよい。

【0015】

３Ｄモデル生成部１２は、被写体９０の３Ｄモデル９０Ｍを生成するための画像データに基づいて被写体の３次元情報を有するモデルを生成する。３Ｄモデル生成部１２は、例えば、所謂Visual Hullを用いて、複数の視点からの画像（例えば、複数の視点からのシルエット画像）を用いて被写体の３次元形状を削ることによって被写体の３Ｄモデルを生成する。この場合、３Ｄモデル生成部１２は更に、Visual Hullを用いて生成した３Ｄモデル９０Ｍを複数箇所の視点から被写体までの距離を示す複数のデプス情報を用いて高精度に変形させることができる。また、３Ｄモデル生成部１２は、被写体９０の１枚の撮像画像から被写体９０の３Ｄモデル９０Ｍを生成してもよい。

【0016】

３Ｄモデル生成部１２が生成する３Ｄモデル９０Ｍは、時系列のフレーム単位で生成することで３Ｄモデルの動画と言うこともできる。また、３Ｄモデル９０Ｍは、撮像装置で撮像された画像を用いて生成されるため実写の３Ｄモデルとも言うことができる。３Ｄモデルは、被写体９０の表面形状を表す形状情報を、例えば、ポリゴンメッシュと呼ばれる、頂点（Vertex）と頂点との繋がりで表現した３次元形状メッシュデータの形式で表現することができる。３次元形状メッシュデータは、例えば、メッシュの頂点の３次元座標と、どの頂点を組み合わせて三角形メッシュを形成するかを示すインデックス情報とを有する。なお、３Ｄモデルの表現の方法はこれらに限定されるものではなく、点の位置情報で表現される所謂ポイントクラウドの表現方法で記述されてもよい。これらの３Ｄ形状データに紐づけられる形で、色情報データもテクスチャとして生成される。どの方向から見ても一定の色となるView Independentテクスチャの場合と、視聴する方向によって色が変化するView Dependentテクスチャの場合が考えらえる。

【0017】

符号化部１３ａは、３Ｄモデル生成部１２で生成された３Ｄモデル９０Ｍのデータを伝送・蓄積に適したフォーマットに変換する。本実施形態では、３次元形状メッシュデータ等の形式で入力された３次元形状データは、ひとつまたは複数の視点から投影されたデプス情報画像、所謂デプスマップに変換される。この２次元画像の状態のデプス情報と、色情報を圧縮して送信部１４に出力する。デプス情報と色情報は、並べて１枚の画像として伝送してもよいし、２本の別々の画像として伝送してもよい。いずれも２次元画像データの形であるため、ＡＶＣ(Advanced Video Coding)等の２次元圧縮技術を用いて圧縮することもできる。

【0018】

送信部１４は、符号化部１３ａで形成された伝送データを、受信部１５に送信する。送信部１４は、データ取得部１１、３Ｄモデル生成部１２と符号化部１３ａの一連の処理をオフラインで行った後に、伝送データを受信部１５に伝送する。また、送信部１４は、上述した一連の処理から生成された伝送データをリアルタイムに受信部に伝送してもよい。

【0019】

なお、３Ｄモデル生成部１２と符号化部１３ａと送信部１４とは符号化装置４０ａを構成する。符号化装置４０ａは、本開示における情報処理装置の一例である。

【0020】

受信部１５は、送信部１４から伝送された伝送データを受信する。

【0021】

復号部１６ａは、受信部１５で受け取ったビットストリームを２次元画像に復元し、復元された２次元画像からレンダリング部１７ａが描画可能なメッシュとテクスチャ情報を復元する。

【0022】

なお、受信部１５と復号部１６ａとレンダリング部１７ａとは復号装置５０ａを構成する。復号装置５０ａは、本開示における情報処理装置の一例である。

【0023】

レンダリング部１７ａは、３Ｄモデル９０Ｍのメッシュを描画カメラ視点で投影し、色や模様を表すテクスチャを貼り付けるテクスチャマッピングを行う。この時の描画は、撮影時のカメラ位置とは関係なく、任意に設定した自由な視点で見ることができる点が、本実施形態の特徴である。テクスチャマッピングには、所謂、ユーザの視聴視点を考慮するView Dependentと呼ばれる方式（ＶＤ方式）や、ユーザの視聴視点を考慮しないView Independentと呼ばれる方式（ＶＩ方式）がある。ＶＤ方式は、視聴視点の位置に応じて３Ｄモデルに貼り付けるテクスチャを変化させるため、ＶＩ方式よりも高品質なレンダリングが実現できる利点がある。一方、ＶＩ方式は視聴視点の位置を考慮しないためＶＤ方式に比べて処理量が少なくて済むという利点がある。尚、視聴視点のデータは、ユーザの視聴箇所（Region of Interest）を表示装置が検出し、表示装置からレンダリング部１７ａに入力される。

【0024】

表示部１８は、レンダリング部１７ａによりレンダリングされた結果を表示装置の表示部に表示する。表示装置は、例えば、ヘッドマウントディスプレイ、空間ディスプレイ、携帯電話、テレビ、ＰＣ等、２Ｄモニタでも３Ｄモニタでもよい。

【0025】

なお、図１の情報処理システム１０ａは、コンテンツを生成する材料である撮像画像を取得するデータ取得部１１からユーザの視聴する表示装置を制御する表示制御部までの一連の流れを示した。しかしながら、本実施形態の実施のために全ての機能ブロックが必要という意味ではなく、機能ブロック毎又は複数の機能ブロックの組合せに対して、本実施形態が実施でき得る。例えば、図１は、コンテンツを作成する側からコンテンツデータの配信を通じてコンテンツを視聴する側までの一連の流れを示すために送信部１４や受信部１５を設けたが、コンテンツの制作から視聴までを同じ情報処理装置（例えばパーソナルコンピューター）で実施する場合は、送信部１４や受信部１５を備える必要はない。

【0026】

情報処理システム１０ａを実施するに当たっては、同一の実施者が全てを実施する場合もあれば、機能ブロック毎に異なる実施者が実施することもできる。例えば、事業者Ａは、データ取得部１１、３Ｄモデル生成部１２、符号化部１３ａを通じて３Ｄコンテンツを生成する。その上で、事業者Ｂの送信部１４（プラットフォーム）を通じて３Ｄコンテンツが配信されて、事業者Ｃの表示装置が３Ｄコンテンツの受信、レンダリング、表示制御を行うように、複数の実施者が共同で実施する場合もある。

【0027】

また、前記した各機能ブロックは、クラウド上で実施することができる。例えば、レンダリング部１７ａは、表示装置内で実施されてもよいし、サーバで実施してもよい。その場合は表示装置とサーバ間での情報のやり取りが生じる。

【0028】

図１は、データ取得部１１、３Ｄモデル生成部１２、符号化部１３ａ、送信部１４、受信部１５、レンダリング部１７ａ、表示部１８を纏めて情報処理システム１０ａとして説明した。但し、本明細書の情報処理システム１０ａは、２以上の機能ブロックが関係していれば情報処理システムと言うこととし、例えば、表示部１８は含めずに、データ取得部１１、３Ｄモデル生成部１２、符号化部１３ａ、送信部１４、受信部１５、復号部１６ａ、レンダリング部１７ａを総称して情報処理システム１０ａと言うこともできる。

【0029】

［１－２．情報処理システムが行う処理の流れ］
次に、図３を用いて、情報処理システム１０ａが行う処理の流れを説明する。図３は、情報処理システムが行う処理の流れの一例を示すフローチャートである。

【0030】

処理が開始されると、ステップＳ１１において、データ取得部１１は被写体の３Ｄモデルを生成するための画像データを取得する。

【0031】

次に、ステップＳ１２において、３Ｄモデル生成部１２は、被写体の３Ｄモデルを生成するための画像データに基づいて、被写体の３次元情報を有する３Ｄモデルを生成する。

【0032】

ステップＳ１３において、符号化部１３ａは、３Ｄモデル生成部１２で生成された３Ｄモデルの形状およびテクスチャデータを伝送蓄積に好適なフォーマットにエンコードする。

【0033】

そして、ステップＳ１４において、送信部１４が符号化されたデータを伝送し、ステップＳ１５において、この伝送されたデータを受信部１５が受信する。

【0034】

ステップＳ１６において、復号部１６ａはデコード処理を行い、３Ｄモデルを、表示に必要な形状およびテクスチャデータに変換する。そして、ステップＳ１７において、レンダリング部１７ａは、形状およびテクスチャデータを用いてレンダリングを行う。レンダリングされた結果は、ステップＳ１８において、表示部に表示される。そして、ステップＳ１８の処理が終了すると、情報処理システム１０ａの処理が終了する。

【0035】

［１－３．情報処理システムのハードウエア構成］
次に、図４を用いて、情報処理システム１０ａのハードウエア構成を説明する。図４は、情報処理システムのハードウエア構成の一例を示すハードウエアブロック図である。

【0036】

図４に示されるコンピュータにおいて、ＣＰＵ２１、ＲＯＭ２２、ＲＡＭ２３は、バス２４を介して相互に接続されている。バス２４には、入出力インタフェース２５も接続されている。入出力インタフェース２５には、入力部２６、出力部２７、記憶部２８、通信部２９、およびドライブ３０が接続されている。

【0037】

入力部２６は、例えば、キーボード、マウス、マイクロホン、タッチパネル、入力端子等を備える。出力部２７は、例えば、ディスプレイ、スピーカ、出力端子等を備える。記憶部２８は、例えば、ハードディスク、ＲＡＭディスク、不揮発性のメモリ等を備える。通信部２９は、例えば、ネットワークインタフェース等を備える。ドライブ３０は、磁気ディスク、光ディスク、光磁気ディスク、または半導体メモリ等のリムーバブルメディアを駆動する。

【0038】

以上のように構成されるコンピュータは、ＣＰＵ２１が、例えば、記憶部２８に記憶されているプログラムを、入出力インタフェース２５およびバス２４を介して、ＲＡＭ２３にロードして実行することにより、上述した一連の処理を行う。ＲＡＭ２３にはまた、ＣＰＵ２１が各種の処理を実行する上において必要なデータ等も適宜記憶される。

【0039】

コンピュータが実行するプログラムは、例えば、パッケージメディア等としてのリムーバブルメディアに記録して適用することができる。その場合、プログラムは、リムーバブルメディアをドライブに装着することにより、入出力インタフェースを介して、記憶部２８にインストールすることができる。

【0040】

また、このプログラムは、ローカルエリアネットワーク、インターネット、デジタル衛星放送といった、有線または無線の伝送媒体を介して提供することもできる。その場合、プログラムは、通信部２９で受信し、記憶部２８にインストールすることができる。

【0041】

［１－４．符号化部の詳細構成］
次に、図５を用いて、符号化部１３ａの詳細構成を説明する。図５は、符号化部の機能構成の一例を示す機能ブロック図である。

【0042】

符号化部１３ａは、３Ｄモデル生成部１２から、被写体９０の３次元形状メッシュデータと色情報テクスチャデータＣ（図９参照）とを受け取る。そして、符号化部１３ａは、伝送・蓄積に適したビットストリームデータに変換して出力する。図５に示すように、符号化部１３ａは、第１層デプスマップ生成部１３１と、第２層デプスマップ生成部１３２と、色情報パッキング部１３３と、タイリング処理部１３４ａと、画像圧縮処理部１３５とを備える。

【0043】

第１層デプスマップ生成部１３１は、３Ｄモデル生成部１２が取得した３Ｄ形状に基づいて、投影点Ｑを始点として被写体９０に至る直線が被写体９０と接触する第１の点Ｐ１と投影点Ｑとの第１の距離ｄ１を取得する。そして、第１層デプスマップ生成部１３１は、投影点Ｑから見た被写体９０の表面までの距離を可視化した画像、即ち第１層デプスマップＤｍ１を生成する。なお、第１層デプスマップ生成部１３１は、本開示における距離取得部の一例である。

【0044】

第２層デプスマップ生成部１３２は、３Ｄモデル生成部１２が取得した３Ｄ形状に基づいて、投影点Ｑを始点として、第１の点Ｐ１から被写体９０の内部に進入した直線が、被写体９０から外部に貫通する第２の点Ｐ２と投影点Ｑとの第２の距離ｄ２を取得する。そして、第２層デプスマップ生成部１３２は、投影点Ｑから見た被写体９０の裏面までの距離を可視化した画像、即ち第２層デプスマップＤｍ２を生成する。なお、第２層デプスマップ生成部１３２は、本開示における距離取得部の一例である。なお、投影点Ｑを始点として被写体９０に至る直線が、被写体９０を複数回貫く場合もある。このような場合は、第１の点Ｐ１と第２の点Ｐ２のペアが複数発生する。即ち、直線が被写体９０を貫くたびに、第１の点Ｐ１と第２の点Ｐ２のペアが生成される。

【0045】

このように、３Ｄモデル生成部１２において、被写体９０の３次元形状が復元されているため、当該被写体９０の３次元形状に対して、任意の視点から透視変換を行うと、被写体９０の表面までの距離を画像として表現することができる。この画像が、前記した第１層デプスマップＤｍ１および第２層デプスマップＤｍ２である。

【0046】

なお、透視変換は、例えば式（１）で計算される。

【0047】

【数1】

【0048】

式（１）は、被写体９０上の点（Ｘ，Ｙ，Ｚ）が、回転成分ｒ１１～ｒ３３と並進移動成分ｔ１～ｔ３からなるカメラ外部パラメータが形成する行列と、ｆｘ，ｆｙおよびｃｘ，ｃｙで表されるカメラ内部パラメータが形成する行列を掛けることによって、投影面の２次元座標（ｕ，ｖ）と深度ｓとが得られることを示す。

【0049】

投影点Ｑから見える被写体９０の３次元メッシュの全ての面を投影して、最も手前、即ち投影点Ｑから最も近い点までの距離を２次元配列のデータに格納したのが第１層デプスマップＤｍ１である。

【0050】

本実施形態においては、第１層デプスマップＤｍ１に加えて、被写体９０の裏側の表面までの距離を記録した、第２層デプスマップＤｍ２も併せて利用する。図６は、デプスマップの生成方法を説明する図である。

【0051】

第１層デプスマップ生成部１３１は、第１の距離ｄ１として計算された深度ｓを、最小値と最大値の範囲で量子化して、図６に示す投影面Ｒ（ｕ，ｖ）の点Ｐｓに格納する。最小値は、例えば、図６における投影点Ｑからｎｅａｒ面Ｓｎまでの距離ｎｅａｒ、最大値は、例えば、図６における投影点Ｑからｆａｒ面Ｓｆまでの距離ｆａｒである。

【0052】

本実施形態では、深度は例えばＡＶＣ（Advanced Video Coding）で圧縮できるように８ビットの輝度値に格納する。即ち、第１の距離ｄ１は、式（２）に示す計算式により、量子化デプス値Ｄ１に変換される。なお、被写体９０が存在しない領域には、Ｄ１＝０を格納する。なお、以降、量子化デプス値Ｄ１を単にデプス値Ｄ１と呼ぶ。

【0053】

【数2】

【0054】

第２層デプスマップ生成部１３２は、第１層と同じ透視投影パラメータを用いるが、被写体９０の内部を突き抜けて、被写体９０の裏側から抜ける点までの第２の距離ｄ２として計算された深度ｓを、図６に示す投影面Ｒ（ｕ，ｖ）の点Ｐｓに格納する。デプスマップ内で被写体９０が投影される領域では、第２の距離ｄ２は、第１の距離ｄ１よりも大きい値となる。第２層の量子化デプス値Ｄ２は、第１層のデプス値Ｄ１と大小が反転した値となるように、式（２）の距離ｎｅａｒと距離ｆａｒとを入れ替えた式（３）で算出する。なお、被写体９０が存在しない領域には、無効値を表すＤ２＝０を格納する。この無効値（Ｄ２＝０）は、第２の距離ｄ２が距離ｎｅａｒと等しいときと同じ値である。なお、式（２）におけるround（ｘ）は、ｘを四捨五入して整数化する関数である。また、以降、量子化デプス値Ｄ２を単にデプス値Ｄ２と呼ぶ。

【0055】

【数3】

【0056】

なお、図６には、投影点Ｑを投影中心とする透視投影によってデプスマップを生成する例を示したが、透視投影以外の投影方法、例えば平行投影を用いてデプスマップを生成してもよい。

【0057】

次に、図７と図８を用いて、第１層デプスマップＤｍ１と第２層デプスマップＤｍ２の具体例を説明する。図７は、第１層デプスマップと第２層デプスマップの量子化デプス値について説明する図である。図８は、第１層デプスマップと第２層デプスマップの一例を示す図である。

【0058】

符号化部１３ａは、図７に示すように、第１層デプスマップＤｍ１に格納する被写体９０が存在しない領域（無効領域）におけるデプス値Ｄ１を、距離ｆａｒとしてｎｅａｒ面Ｓｎに格納する。また、第２層デプスマップＤｍ２に格納する被写体９０が存在しない領域（無効領域）におけるデプス値Ｄ２を、距離ｆａｒよりも小さい距離ｎｅａｒとしてｆａｒ面Ｓｆに格納する。なお、距離ｆａｒは、本開示における第１の距離値の一例である。また、距離ｎｅａｒは、本開示における第２の距離値の一例である。これによって、ｄ１＜ｄ２となる領域が被写体９０を示す領域であると判定することが可能となる。

【0059】

また、符号化部１３ａは、式（２）と式（３）に示すように、第１層と第２層とで量子化の方向を逆にする。これによって、図７に示すように、量子化後の無効領域に対応するデプス値Ｄ１，Ｄ２を等しい値、即ちデプス値Ｄ１とデプス値Ｄ２を、ともに０にする。

【0060】

仮に、第１層と第２層とで量子化の方向を同じにすると、図８の上図に示すように、第１層デプスマップＤｍ１と第２層デプスマップＤｍ２とを１枚の画像に並べたときに、境界線にデプス値のギャップが生じる。一方、第１層と第２層とで量子化の方向を逆にすることによって、図８の下図に示すように、第１層デプスマップＤｍ１と第２層デプスマップＤｍ２とを１枚の画像に並べたときに、境界線にデプス値のギャップが生じない。したがって、第１層デプスマップＤｍ１と第２層デプスマップＤｍ２とを１枚の画像に並べて符号化する際に、画像の圧縮効率を高めることができる。

【0061】

なお、ここに示した量子化方法は一例であって、式（２）と式（３）に示したリニアな量子化以外の量子化方法を適用してもよい。例えば、式（４）に示す逆数量子化を適用してもよい。式（４）によると、遠方ほど粗いステップで量子化される。

【0062】

【数4】

【0063】

図５に戻り、色情報パッキング部１３３は、３Ｄモデル生成部１２から入力された複数の色情報テクスチャデータＣを、１枚の画像に並べる（パッキングする）処理を行う。この処理によって、復号装置５０ａに送信する画像の枚数を減らすことができる。なお、色情報テクスチャデータＣは、本開示におけるテクスチャ情報の一例である。

【0064】

タイリング処理部１３４ａは、第１層デプスマップＤｍ１と、第２層デプスマップＤｍ２と、色情報パッキング部１３３がパッキングした色情報テクスチャデータＣとを１枚の画像にまとめる処理を行う。第１層デプスマップＤｍ１および第２層デプスマップＤｍ２に格納された値（デプス値Ｄ１，Ｄ２）は、色情報と同じ画像に配置するために、Ｙ／Ｃｂ／Ｃｒの信号形式（輝度信号と色差信号）に変換される。即ち、輝度値にデプス値Ｄ１，Ｄ２を格納する。また、色差には一定値、例えば画素当たり８ビットの画像であれば、グレーを表す１２８等の一定値を格納する。また、タイリング処理部１３４ａは、まとめられた１枚の画像のどの位置にデプスマップや色情報テクスチャデータＣが格納されたかを示す画像配置情報を出力する。画像配置情報は、例えば、元の画像がどれだけ移動して１枚の画像に配置されたかを示すオフセット値と、デプスマップの量子化に使用した距離ｎｅａｒ、ｆａｒの値と、投影点Ｑの位置等を含む。

【0065】

図９は、タイリング処理部が生成する画像の一例を示す図である。タイリング処理部１３４ａは、第１層デプスマップＤｍ１と、第２層デプスマップＤｍ２と、色情報テクスチャデータＣとを、１枚のタイリング画像Ｔ１にまとめる。色情報テクスチャデータＣは、図９に示すように、被写体９０を複数の撮像装置７０（図２参照）で撮像した実際の画像である。

【0066】

画像圧縮処理部１３５は、タイリング処理部１３４ａにおいて１枚にまとめられた画像を、一般的な動画コーデックを用いて圧縮する。具体的には、ＡＶＣやＨＥＶＣにように広く普及しているコーデックが用いられる。

【0067】

なお、前記した式（２）、式（３）では、デプス値Ｄ１，Ｄ２が８ビットである場合を想定して、０から２５５の値で量子化したが、ＨＥＶＣ等では１０ビットの値を扱うことも可能であるため、デプス値Ｄ１，Ｄ２を１０ビット（０から１０２３）で量子化してもよい。

【0068】

画像圧縮処理部１３５が生成したビットストリームと、タイリング処理部１３４ａが生成した画像配置情報とは、送信部１４を介して、復号装置５０ａに送信される。即ち、送信部１４は、第１の距離ｄ１と第２の距離ｄ２とを関連付けて、被写体９０の３次元形状を再構成する復号装置５０ａに送信する。

【0069】

［１－５．復号部の詳細構成］
次に、図１０を用いて、復号部１６ａの詳細構成を説明する。図１０は、復号部の機能構成の一例を示す機能ブロック図である。

【0070】

図１０に示すように、復号部１６ａは、画像伸長処理部１６１と、デプス有効領域判定部１６２と、三角形パッチ生成部１６３と、色情報テクスチャ切り出し部１６４とを備える。復号部１６ａを含む復号装置５０ａ（図１参照）は、符号化装置４０ａから送信された情報、即ち、被写体９０の表面の３Ｄ形状に基づいて、投影点Ｑから被写体９０に至る直線が被写体９０と接触する第１の点Ｐ１と投影点Ｑとの第１の距離ｄ１と、第１の点Ｐ１から被写体９０の内部に進入した直線が被写体９０から外部に貫通する第２の点Ｐ２と投影点Ｑとの第２の距離ｄ２と、を取得して、投影点Ｑの位置と、第１の距離ｄ１と、第２の距離ｄ２とを関連付けることによって、被写体９０の３Ｄモデル９０Ｍを生成する。

【0071】

画像伸長処理部１６１は、画像圧縮処理部１３５で圧縮されたビットストリームを画像に伸長する。なお、符号化（エンコード）と復号（デコード）とは対になるため、例えばＡＶＣエンコードされたビットストリームは、ＡＶＣデコード処理で復号する。

【0072】

デプス有効領域判定部１６２は、第１層デプスマップ生成部１３１が取得した第１層デプスマップＤｍ１に格納された第１の距離ｄ１と、第２層デプスマップ生成部１３２が取得した第２層デプスマップＤｍ２に格納された第２の距離ｄ２との大小関係に基づいて、被写体９０の領域を特定する。より具体的には、デプス有効領域判定部１６２は、被写体９０が投影された領域を有効領域と判定して、被写体９０が投影されていない領域を無効領域と判定する。有効領域と判定された領域は、格納されたデプス値Ｄ１，Ｄ２が、被写体９０の形状復元に利用される。一方、無効領域と判定された領域のデータはレンダリングには使用されずに廃棄される。なお、デプス有効領域判定部１６２は、本開示における領域判定部の一例である。また、デプス有効領域判定部１６２が行う処理の詳細は後述する。

【0073】

三角形パッチ生成部１６３は、被写体９０の内部および被写体９０と外部との境界において、レンダリング処理が利用できる形状データ、所謂メッシュデータを生成する。また、三角形パッチ生成部１６３は、投影点Ｑに係る第１層デプスマップＤｍ１に格納された第１の距離ｄ１に基づく被写体９０の前面側の端部と、投影点Ｑに係る第２層デプスマップＤｍ２に格納された第２の距離ｄ２に基づく被写体９０の背面側の端部とを接続して、閉空間を形成する。なお、三角形パッチ生成部１６３は、本開示における閉空間生成部の一例である。また、三角形パッチ生成部１６３が行う処理の詳細は後述する。

【0074】

色情報テクスチャ切り出し部１６４は、画像伸長処理部１６１でデコードされた画像情報と、タイリング処理部１３４ａで生成された画像配置情報とに基づいて、後段のレンダリング部１７ａにおいて、３次元形状メッシュデータに貼り付ける色情報テクスチャデータＣを生成する。

【0075】

［１－６．デプス有効判定処理］
次に、図１１と図１２を用いて、デプス有効領域判定部１６２が行うデプス有効領域判定処理を説明する。図１１は、デプス有効領域判定部が、デプスマップからデプス値を読み出す方法を説明する図である。図１２は、デプス有効領域判定部が、デプス値の有効無効を判定する方法を説明する図である。

【0076】

図１１の左方に示す第１層デプスマップＤｍ１および第２層デプスマップＤｍ２は、右方に示す第１層デプスマップＤｍ１および第２層デプスマップＤｍ２の一部（被写体の肩の部分）を拡大したものである。図１１において、白丸は被写体内部の点、即ち有効なデプス値Ｄ１またはデプス値Ｄ２が格納された点を表す。また、黒丸は被写体外部の点、即ち無効なデプス値Ｄ１またはデプス値Ｄ２が格納された点を表す。即ち、図１１の左方に示す第１層デプスマップＤｍ１および第２層デプスマップＤｍ２は、実際には各点にデプス値が格納された曲面で表現すべきであるが、説明をわかりやすくするため、平面で描いている。

【0077】

第１層デプスマップＤｍ１および第２層デプスマップＤｍ２の読み出し点は、図１１に示すように正方格子状に配置されている。なお、格子のグリッド間隔は自由に設定してよい。また、デプスマップの読み出し点の位置は、必ずしもデプスマップの画素位置と一致させなくてもよい。読み出し点と画素位置とが異なる場合は、補間フィルタによって補間されたデプス値が使われる。

【0078】

後述する三角形パッチ生成部１６３は、３つのデプス読み出し点を結ぶ三角形を単位として描画処理を行うため、読み出し点のグリッド間隔が小さいほど描画処理量が多くなる。一方、読み出し点のグリッド間隔を大きく設定すると、描画処理が軽くなる、これを利用して、復号装置５０ａの処理負荷を調整することが可能である。

【0079】

デプス読み出し点から読み出したデプス値Ｄ１，Ｄ２は、有効領域、即ち被写体９０がある領域では、第１層に被写体９０の表面のデプス値Ｄ１が格納されている。そして、第２層に被写体９０の裏面のデプス値Ｄ２が格納されている。一方、無効領域、即ち被写体９０がない領域では、第１層にｆａｒ値が格納されて、第２層にｎｅａｒ値が格納されている。したがって、図１２の左図に示すように、有効領域においてはＤ１≦Ｄ２となる。なお、被写体９０が奥行方向に非常に薄い場合、量子化した際に、表面と裏面とが等しいデプス値になる場合も考えられるため、Ｄ１＝Ｄ２の場合も含まれる。一方、無効領域ではＤ１＞Ｄ２となる。

【0080】

デプス値Ｄ１，Ｄ２は、伝送時に圧縮されるため、圧縮誤差による劣化を伴う。特に被写体９０の境界部分は、デプス値の大きなギャップが生じる可能性があるが、本実施形態では、第１層と第２層の相対比較によって被写体９０の有効領域を判定するため、図１２の右図に示すように、第１層と第２層の有効領域は完全に一致する。

【0081】

次に、図１３を用いて、デプス有効領域判定部１６２が行うデプス有効領域判定処理の流れを説明する。図１３は、デプス有効領域判定部が行う処理の流れの一例を示すフローチャートである。

【0082】

デプス有効領域判定部１６２は、デプス読み出し点を設定する（ステップＳ２１）。

【0083】

デプス有効領域判定部１６２は、第１層デプスマップＤｍ１から第１層のデプス値Ｄ１を取得する（ステップＳ２２）。

【0084】

続いて、デプス有効領域判定部１６２は、第２層デプスマップＤｍ２から第２層のデプス値Ｄ２を取得する（ステップＳ２３）。

【0085】

デプス有効領域判定部１６２は、第１層のデプス値Ｄ１が第２層のデプス値Ｄ２以下であるかを判定する（ステップＳ２４）。第１層のデプス値Ｄ１が第２層のデプス値Ｄ２以下であると判定される（ステップＳ２４：Ｙｅｓ）と、ステップＳ２５に進む。一方、第１層のデプス値Ｄ１が第２層のデプス値Ｄ２以下であると判定されない（ステップＳ２４：Ｎｏ）と、ステップＳ２６に進む。

【0086】

ステップＳ２４においてＹｅｓと判定されると、デプス有効領域判定部１６２は、デプス読み出し点は被写体９０の領域に含まれると判断して、デプス読み出し点に有効フラグを立てる（ステップＳ２５）。その後、ステップＳ２７に進む。

【0087】

一方、ステップＳ２４においてＮｏと判定されると、デプス有効領域判定部１６２は、デプス読み出し点は被写体９０の領域に含まれないと判断して、デプス読み出し点に無効フラグを立てる（ステップＳ２６）。その後、ステップＳ２７に進む。

【0088】

デプス有効領域判定部１６２は、デプス面全体を処理したかを判定する（ステップＳ２７）。デプス面全体を処理したと判定される（ステップＳ２７：Ｙｅｓ）と、デプス有効領域判定部１６２は、図１３の処理を終了する。一方、デプス面全体を処理したと判定されない（ステップＳ２７：Ｎｏ）と、ステップＳ２１に戻って、異なるデプス読み出し点に対して、前記した一連の処理を繰り返す。

【0089】

なお、最初は全てのデプス読み出し点に有効フラグを立てておき、ステップＳ２４においてＮｏと判定された場合に、デプス読み出し点の有効フラグを下げてもよい。

【0090】

［１－７．メッシュデータ生成処理］
次に、図１４と図１５を用いて、三角形パッチ生成部１６３が行うメッシュデータ生成処理を説明する。図１４は、デプスマップ上に設定される三角形パッチを説明する図である。図１５は、三角形パッチの有効点数を説明する図である。

【0091】

三角形パッチ生成部１６３には、デプス有効領域判定部１６２から、正方格子上の読み出し点から読み出されたデプス値Ｄ１，Ｄ２とその有効フラグが入力される。図１４の左図は、デプス読み出し点とその有効フラグが検出された状態の一例を示す。

【0092】

三角形パッチ生成部１６３は、図１４の右図に示すように、正方格子一つに対して、直角三角形２つを割り当てたグラフ構造を生成する。当該グラフ構造は、デプス読み出し点を頂点として、近接した３点ずつが接続された三角形状を呈する。なお、図１４の右図は１層分で、実際には、第１層デプスマップＤｍ１と第２層デプスマップＤｍ２とに対して、それぞれ同様のグラフ構造が生成される。

【0093】

三角形パッチ生成部１６３は、こうして生成された三角形パッチを単位として、以降の処理を行う。そして、三角形パッチ生成部１６３は、この三角形パッチを元に座標変換処理を施された三角形群（メッシュデータ）を、後段のレンダリング部１７ａに引き渡す。

【0094】

三角形パッチ生成部１６３は、図１５に示すように、各三角形パッチに対して有効点数Ｎをカウントする。有効点数Ｎとは、具体的には、着目している三角形パッチの３頂点のうち何個が被写体９０の内部に属しているかを示す値である。この有効点数Ｎは、着目している三角形パッチが被写体９０の内側に属しているかを示す評価尺度である。

【0095】

即ち、有効点数Ｎは、０，１，２，３のいずれかの値をとる。Ｎ＝０は、三角形パッチが完全に被写体９０の外側に存在することを示す。一方、Ｎ＝３は、三角形パッチが完全に被写体９０の内側に存在することを示す。そして、Ｎ＝１，２は、三角形パッチが、被写体９０の内部と外部に跨っていることを示す。

【0096】

三角形パッチ生成部１６３は、Ｎ＝０，１の場合は、図１５の右図に示すように三角形パッチを削除する。そして、該当する三角形の３頂点を結ぶグラフ構造を削除する。

【0097】

一方、Ｎ＝２，３の場合、三角形パッチ生成部１６３は、三角形パッチを削除せずに残す。そして、Ｎ＝３の場合は、式（１）の逆変換（逆透視変換）を行って、三角形パッチの３頂点に対して、それぞれ、投影面Ｒ（ｕ，ｖ）の座標位置と，当該座標位置に格納された深度ｓから（Ｘ，Ｙ，Ｚ）を求める。また、Ｎ＝２の場合は、三角形パッチのうち有効な２頂点に対して、前記した逆透視変換を行う。そして、無効な１頂点に対しては、後述する頂点座標変更処理を行う。なお、Ｎ＝２以外の場合、第１層、第２層に対して、独立して処理が可能である。

【0098】

次に、図１６を用いて、Ｎ＝２の場合に、三角形パッチ生成部１６３が行う頂点座標変更処理を説明する。図１６は、頂点座標変更処理を説明する図である。

【0099】

図１６の左上は、第１層デプスマップＤｍ１と第２層デプスマップＤｍ２とを近接した状態で配置した様子を示す。そして、図１６の右上は、１組のＮ＝２の三角形パッチのみを抽出した状態を示す。図１６の右上に示すように、一方のデプスマップにＮ＝２の三角形パッチが生成された場合に、反対側のデプスマップの同じ位置にも、Ｎ＝２の三角形パッチが生成される。

【0100】

図１６の左上に示すように、第１層デプスマップＤｍ１の三角形パッチの頂点をＡ１，Ｂ１，Ｃ１とする。そして、第２層デプスマップＤｍ２の三角形パッチの頂点をＡ２，Ｂ２，Ｃ２とする。

【0101】

三角形パッチ生成部１６３は、被写体９０の外側に属する無効な頂点Ａ１，Ａ２に対して、頂点変更処理を行う。

【0102】

即ち、三角形パッチ生成部１６３は、図１６の左下に示すように、無効な頂点Ａ１に、逆側のデプスマップの有効な頂点Ｂ２の値（デプス値Ｄ２）を代入する。即ち、頂点Ａ１は、あたかも頂点Ｂ２の位置にあるものとみなす。また、三角形パッチ生成部１６３は、無効な頂点Ａ２に、逆側のデプスマップの有効な頂点Ｃ１の値（デプス値Ｄ１）を代入する。即ち、頂点Ａ２は、あたかも頂点Ｃ１の位置にあるものとみなす。このように、無効な頂点に、互い違いに逆側のデプスマップの有効な頂点の値（デプス値）を代入することによって、四角形Ｂ１－Ｃ１－Ｃ２－Ｂ２が、２つの三角形パッチで接続される。これにより、離れていた辺Ｂ１－Ｃ１と、辺Ｂ２－Ｃ２とが、面で隙間なく接続される。即ち、投影点から見た被写体９０の前面と背面との境界線が切れ目なく接続されて、閉じた立体（閉空間）が形成される。なお、頂点Ａ１に頂点Ｃ２のデプス値Ｄ２を代入して、頂点Ａ２を頂点Ｂ１のデプス値Ｄ１を代入しても同様の効果が得られる。

【0103】

前記した処理を、デプス面の全てのＮ＝２の三角形パッチに対して実行することによって、図１６の右下に示すように、被写体９０の前面と背面との境界線が切れ目なく接続される。

【0104】

なお、図１６では、説明をわかりやすくするために、第１層のデプス値Ｄ１が略等しく、第２層のデプス値Ｄ２が略等しい状態で説明したが、実際には、第１層のデプス値Ｄ１と第２層のデプス値Ｄ２とから、式（１）の逆変換によって各頂点の３次元座標を計算し、３次元空間上に配置することによって、２層のデプス面に挟まれた、被写体９０を表す閉じた立体形状が再現される。

【0105】

図１７は、被写体の３次元形状メッシュデータが生成される様子を示す模式図である。図１７に示すように、被写体９０の投影点Ｑに面する領域と、被写体９０の投影点Ｑの背面側の領域とが切れ目なく繋がった、３次元形状メッシュデータが得られる。

【0106】

次に、図１８を用いて、三角形パッチ生成部１６３が行うメッシュデータ生成処理の流れを説明する。図１８は、三角形パッチ生成部が行うメッシュデータ生成処理の流れの一例を示すフローチャートである。

【0107】

三角形パッチ生成部１６３は、図１４の右図に示したように生成された三角形パッチに対して、有効点数Ｎをカウントする（ステップＳ３１）。

【0108】

三角形パッチ生成部１６３は、ステップＳ３１でカウントした有効点数Ｎが２以上であるかを判定する（ステップＳ３２）。有効点数Ｎが２以上、即ち有効点数Ｎが２または３であると判定される（ステップＳ３２：Ｙｅｓ）と、ステップＳ３３に進む。一方、有効点数Ｎが２以上であると判定されない（ステップＳ３２：Ｎｏ）、即ち有効点数Ｎが０または１であると判定されると、ステップＳ３４に進む。

【0109】

ステップＳ３２においてＹｅｓと判定されると、三角形パッチ生成部１６３は、有効と判定された頂点の３次元座標を算出する（ステップＳ３３）。その後、ステップＳ３５に進む。

【0110】

一方、ステップＳ３２においてＮｏと判定されると、三角形パッチ生成部１６３は、着目している三角形パッチに三角形メッシュを生成しない（ステップＳ３４）。そして、レンダリングが行われないように、着目している三角形パッチを消去する。その後、ステップＳ３８に進む。

【0111】

ステップＳ３３に続いて、三角形パッチ生成部１６３は、着目している三角形パッチに対して、有効点数Ｎが３であるかを判定する（ステップＳ３５）。有効点数Ｎが３であると判定される（ステップＳ３５：Ｙｅｓ）と、ステップＳ３７に進む。一方、有効点数Ｎが３であると判定されない（ステップＳ３５：Ｎｏ）、即ち有効点数Ｎが２であると判定されると、ステップＳ３６に進む。

【0112】

ステップＳ３５においてＮｏと判定されると、三角形パッチ生成部１６３は、前記した頂点座標変更処理（図１６参照）を行う（ステップＳ３６）。

【0113】

ステップＳ３６に引き続き、またはステップＳ３５においてＹｅｓと判定されると、三角形パッチ生成部１６３は、着目している三角形パッチに対して三角形メッシュを生成する（ステップＳ３７）。

【0114】

三角形パッチ生成部１６３は、全ての三角形パッチを処理したかを判定する（ステップＳ３８）。全ての三角形パッチを処理したと判定される（ステップＳ３８：Ｙｅｓ）と、三角形パッチ生成部１６３は、図１８の処理を終了する。一方、全ての三角形パッチを処理したと判定されない（ステップＳ３８：Ｎｏ）と、ステップＳ３１に戻って、異なる三角形パッチに対して、前記した一連の処理を繰り返す。

【0115】

［１－８．レンダリング部の詳細構成］
次に、図１９を用いて、レンダリング部１７ａの詳細構成を説明する。図１９は、レンダリング部の機能構成の一例を示す機能ブロック図である。

【0116】

図１９に示すように、レンダリング部１７ａは、デプスマップ生成部１７１と、可視性確認部１７２と、描画部１７３とを備える。

【0117】

デプスマップ生成部１７１は、三角形パッチ生成部１６３が生成した被写体９０の３次元形状メッシュデータを、色情報テクスチャデータＣと同じ投影点Ｑから見たデプスマップを生成する。即ち、デプスマップ生成部１７１は、複数の色情報テクスチャデータＣにそれぞれ対応する複数のデプスマップを生成する。

【0118】

可視性確認部１７２は、デプスマップ生成部１７１が生成したデプスマップと３次元形状メッシュデータの３次元座標とを比較することによって、着目している３次元形状メッシュデータが投影点Ｑから見えるか否かを判定するVisibility Checkを行う。この判定によって、複数の物体が重なって投影点Ｑから見えないメッシュであることが判定される。なお、Visibility Checkについて、詳しくは後述する（図２２参照）。

【0119】

描画部１７３は、可視性確認部１７２が、目に見える（可視性がある）と判定したメッシュの３次元形状を描画する。また、描画部１７３は、描画したメッシュに、対応する色情報テクスチャデータＣを貼り付ける。これによって、被写体９０を任意の投影点Ｑから観測した画像を生成することができる。

【0120】

［１－９．第１の実施形態の変形例］
なお、第１の実施形態は、様々な形態に変形して実行することが可能である。例えば、タイリング画像Ｔ１（図９参照）において、第１層デプスマップＤｍ１と、第２層デプスマップＤｍ２と、色情報テクスチャデータＣとは１枚の画像でなくてもよい。即ち、第１層デプスマップＤｍ１と第２層デプスマップＤｍ２とを１枚の画像として、色情報テクスチャデータＣを別の１枚の画像としてもよい。また、第１層デプスマップＤｍ１と、第２層デプスマップＤｍ２と、色情報テクスチャデータＣとを、それぞれ１枚の画像としてもよい（この場合、タイリング処理を行う必要はない）。更に、色情報テクスチャデータＣを全て別の画像としてもよい（この場合、パッキング処理もタイリング処理も行う必要はない）。なお、送信部１４が送信する画像が複数枚になると、それに伴ってビットストリームの画像チャンネル数が増加するが、一般的なマルチチャンネルストリーム配信の仕組みを用いることによって、チャンネル間の同期をとることができる。

【0121】

また、送信部１４は、タイリング画像Ｔ１と音声情報とを同時に送信してもよい。

【0122】

また、タイリング画像Ｔ１は、静止画データでも動画データでも構わない。タイリング画像Ｔ１が静止画データである場合には、画像圧縮処理部１３５は、ＪＰＥＧ等の静止画用圧縮処理を行う。また、タイリング画像Ｔ１が動画データである場合には、画像圧縮処理部１３５は、ＭＰＥＧ２，ＡＶＣ，ＨＥＶＣ，ＶＶＣ，ＡＶ１等の動画用圧縮処理を行う。

【0123】

なお、送信するタイリング画像Ｔ１の圧縮、伸長は行わなくてもよい。この場合には、画像圧縮処理部１３５（図５参照）と画像伸長処理部１６１（図１０参照）とは不要になる。

【0124】

また、第１層デプスマップＤｍ１と第２層デプスマップＤｍ２とに格納するデプス値Ｄ１，Ｄ２のビット長は問わない。即ち、実施形態で説明した８ビットの他に、１０ビット，１２ビット等であってもよい。なお、デプス値Ｄ１，Ｄ２のビット長が大きいほど、被写体９０の細かいデプスを表現することができる。

【0125】

また、送信部１４および受信部１５を介した伝送を行わずに、タイリング画像Ｔ１を蓄積データとして記憶部に蓄積して、蓄積データを記憶部から読み出して再生してもよい。

【0126】

また、データ取得部１１から送信部１４までは、リアルタイム処理で動作しなくてもよい。即ち、送信するタイリング画像Ｔ１を、記憶部等に一旦蓄積して、蓄積したデータを読み出して、復号装置５０ａに送信してもよい。

【0127】

なお、データ取得部１１から送信部１４までをリアルタイム処理で動作させれば、ライブストリーミング等のリアルタイム通信に用いることができる。

【0128】

［１－１０．第１の実施形態の効果］
以上説明したように、第１の実施形態の符号化装置４０（情報処理装置）において、第１層デプスマップ生成部１３１（距離取得部）は、被写体９０の表面の３Ｄ形状に基づいて、投影点Ｑから被写体９０に至る直線が被写体９０と接触する第１の点Ｐ１と投影点Ｑとの第１の距離ｄ１を取得する。また、第２層デプスマップ生成部１３２（距離取得部）は、被写体９０の表面の３Ｄ形状に基づいて、投影点Ｑを始点として、第１の点Ｐ１から被写体９０の内部に進入した直線が、被写体９０から外部に貫通する第２の点Ｐ２と投影点Ｑとの第２の距離ｄ２を取得する。

【0129】

これにより、被写体９０を同じ位置から観測した際に、当該被写体９０の前面と背面との形状を同時に取得することができる。

【0130】

また、第１の実施形態の符号化装置４０（情報処理装置）によると、第１層デプスマップ生成部１３１（距離取得部）は、第１の点Ｐ１が存在しない場合には、第１の距離ｄ１として、距離ｆａｒ（第１の距離値）を取得する。また、第２層デプスマップ生成部１３２（距離取得部）は、第２の点Ｐ２が存在しない場合には、第２の距離ｄ２として、距離ｆａｒよりも小さい距離ｎｅａｒ（第２の距離値）を取得する。

【0131】

これにより、被写体９０の領域と、被写体９０が存在しない領域とを容易に識別することができる。

【0132】

また、第１の実施形態の符号化装置４０（情報処理装置）によると、第１層デプスマップ生成部１３１（距離取得部）と第２層デプスマップ生成部１３２（距離取得部）とは、距離ｆａｒ（第１の距離値）と距離ｎｅａｒ（第２の距離値）とを、等しい値に設定する。

【0133】

これにより、第１層デプスマップ生成部１３１が生成した第１層デプスマップＤｍ１と、第２層デプスマップ生成部１３２が生成した第２層デプスマップＤｍ２とを並べて配置した際に、境界線にデプス値のギャップが生じない。そのため、第１層デプスマップＤｍ１と第２層デプスマップＤｍ２とを１枚の画像に並べて符号化する際に、画像の圧縮効率を高めることができる。

【0134】

また、第１の実施形態の符号化装置４０（情報処理装置）において、送信部１４は、第１層デプスマップ生成部１３１が取得した第１の距離ｄ１と、第２層デプスマップ生成部１３２が取得した第２の距離ｄ２とを関連付けて、被写体９０の３次元形状を再構成する復号装置５０ａに送信する。

【0135】

これにより、被写体の前面側の座標と背面側の座標とを関連付けて送信することができるため、情報の伝送効率を向上させることができる。

【0136】

また、第１の実施形態の復号装置５０ａ（情報処理装置）は、第１層デプスマップ生成部１３１が取得した第１の距離ｄ１と、第２層デプスマップ生成部１３２が取得した第２の距離ｄ２とを取得して、第１の距離ｄ１と第２の距離ｄ２との大小関係に基づいて、被写体９０の領域を特定する。

【0137】

これにより、簡便な比較演算のみで、被写体９０の存在範囲を特定することができる。

【0138】

また、第１の実施形態の復号装置５０ａ（情報処理装置）において、三角形パッチ生成部１６３（閉空間生成部）は、投影点Ｑに係る複数の第１の距離ｄ１に基づく、被写体９０の投影点Ｑから見た前面側の端部と、投影点Ｑに係る複数の第２の距離ｄ２に基づく、被写体９０の投影点Ｑから見た背面側の端部とを接続する。

【0139】

これにより、被写体９０の前面と背面とを接続することによって、隙間のない被写体９０の３Ｄモデル９０Ｍを生成することができる。

【0140】

また、第１の実施形態の復号装置５０ａ（情報処理装置）は、三角形パッチ生成部１６３（閉空間生成部）が、三角形状に隣接する３点（頂点Ａ１，Ｂ１，Ｃ１）の第１の距離ｄ１のうち、２点（頂点Ｂ１，Ｃ１）の第１の距離ｄ１が被写体９０の前面を表して、残り１点（頂点Ａ１）の第１の距離ｄ１が被写体９０の前面を表さない場合に、残り１点（頂点Ａ１）を、３点（頂点Ａ１，Ｂ１，Ｃ１）に対応する第２の距離ｄ２のうち、被写体９０の背面を表す２点のいずれか一方（頂点Ｂ２，Ｃ２のいずれか一方）に代入して、３点（頂点Ａ１，Ｂ１，Ｃ１）に対応する第２の距離ｄ２のうち、被写体９０の背面を表さない１点（頂点Ａ２）を、被写体９０の前面を表す２点（頂点Ｂ１，Ｃ１）のうち、残り１点（頂点Ａ１）を代入したのとは反対側の１点（残り１点を頂点Ｂ２に代入した場合は頂点Ｃ２、残り１点を頂点Ｃ２に代入した場合は頂点Ｂ２）に代入する。

【0141】

これにより、簡便な演算処理で、被写体９０の前面と背面とを隙間なく接続することができる。

【0142】

（２．第２の実施形態）
［２－１．タイリング画像の構成］
第２の実施形態の情報処理システム１０ｂ（非図示）は、第１の実施形態で説明した情報処理システム１０ｂ（図１参照）に対して、符号化装置４０ａの代わりに符号化装置４０ｂ（非図示）を備える。また、復号装置５０ａの代わりに復号装置５０ｂ（非図示）を備える。

【0143】

符号化装置４０ｂは、非図示の符号化部１３ｂと送信部１４とを備える。また、復号装置５０ｂは、受信部１５と復号部１６ｂ（図２０参照）とを備える。更に、復号装置５０ｂは、レンダリング部１７ａの代わりにレンダリング部１７ｂ（図２０参照）を備える。

【0144】

次に、情報処理システム１０ｂの符号化部１３ｂの機能を説明する。符号化部１３ｂは、複数の色情報テクスチャデータＣに対して、それぞれの色情報テクスチャデータＣを取得したのと同じ投影点Ｑから取得した、複数の第１層デプスマップＤを生成する。なお、符号化部１３ｂは、図５に示した符号化部１３ａにおいて、タイリング処理部１３４ａの代わりにタイリング処理部１３４ｂ（非図示）を備える。

【0145】

図２０は、第２の実施形態において、タイリング処理部が生成する、符号化の対象となる画像の一例を示す図である。

【0146】

図２０に示すタイリング画像Ｔ２は、第１の実施形態で説明したタイリング画像Ｔ１（図９参照）に対して、複数の色情報テクスチャデータＣとそれぞれ１対１に対応する複数の第１層デプスマップＤを含む点が異なる。即ち、タイリング処理部１３４ｂは、被写体９０を複数の投影点Ｑから見た色情報テクスチャデータＣと、当該色情報テクスチャデータＣを取得したのと同じ複数の投影点Ｑから見た第１層デプスマップＤと、を関連付けたタイリング画像Ｔ２を生成する。なお、第１の実施形態で説明した第１層デプスマップＤｍ１は、図２０に示すように、タイリング画像Ｔ２に配置される複数の第１層デプスマップＤに含まれる。そして、タイリング画像Ｔ２は、第１の実施形態で説明した第２層デプスマップＤｍ２も含む。なお、タイリング処理部１３４ｂは、本開示における色・距離取得部の一例である。

【0147】

タイリング画像Ｔ２が含む複数の第１層デプスマップＤは、復号部１６ｂが被写体９０の３次元形状を再構成する際に、後述する可視性確認処理（図２２参照）に利用する。

【0148】

次に、図２１を用いて、情報処理システム１０ｂの復号部１６ｂおよびレンダリング部１７ｂの機能を説明する。図２１は、第２の実施形態の復号部およびレンダリング部の機能構成の一例を示す機能ブロック図である。

【0149】

復号部１６ｂは、第１の実施形態で説明した復号部１６ａ（図１０参照）に対して、デプスマップ切り出し部１６５を追加した構成を有する。デプスマップ切り出し部１６５は、複数の色情報テクスチャデータＣの中から、被写体９０の領域を、それぞれの色情報テクスチャデータＣと対応する第１層デプスマップＤに基づいて切り出す。より具体的には、第１層デプスマップＤに有効なデプス値が格納されている場合に、当該デプス値が格納されている座標と対応する色情報テクスチャデータＣを、被写体９０の領域であると判断して切り出す。

【0150】

レンダリング部１７ｂは、第１の実施形態で説明したレンダリング部１７ａ（図１９参照）に対して、デプスマップ生成部１７１を除いた構成を有する。

【0151】

情報処理システム１０ｂは、情報処理システム１０ａが可視性確認処理（Visibility Cheek）を行うためにレンダリング部１７ａで行っていたデプスマップの生成を、復号部１６ｂで行う。更に、復号部１６ｂは、実際にデプスマップを作成するのではなく、符号化部１３ｂが生成した複数の第１層デプスマップＤの取得のみを行う。そして、復号部１６ｂのデプスマップ切り出し部１６５で、第１層デプスマップＤを用いて、被写体９０の領域に対応する色情報テクスチャデータＣの切り出しを行う。

【0152】

したがって、デプスマップの生成という計算負荷の高い処理を削減することができる。

【0153】

［２－２．可視性確認処理］
次に、図２２を用いて、可視性確認処理について説明する。図２２は、可視性を確認する処理を説明する図である。

【0154】

被写体９０を複数の異なる投影点Ｑから見た画像を生成する場合、被写体９０の表面の点が、投影点Ｑから見えているか否かを判定する必要がある。即ち、投影面Ｒ（ｕ，ｖ）に記録される色情報テクスチャデータＣは、投影点Ｑに一番近い面であって、当該面によって遮蔽された奥側の面は、投影点Ｑからは見えない状態になっている。

【0155】

具体的には、図２２において、被写体９０の点Ｐａ（第１の点の一例）は投影点Ｑａから可視化されて、点Ｐａのデプス値（第１の距離）は、投影面Ｒａに記録される。一方、異なる投影点Ｑｂから点Ｐａを観測すると、手前側の点Ｐｂに遮蔽されるため、点Ｐａを可視化することはできない。そして、投影面Ｒｂには、点Ｐｂのデプス値（第１の距離とは異なる距離）が格納される。

【0156】

したがって、図２２の場合、投影面Ｒａに格納されたデプス値から計算される点Ｐａの３次元座標と、投影面Ｒｂに格納されたデプス値から計算される点Ｐｂの３次元座標とは一致しない。即ち、可視性確認部１７２は、投影点Ｑａから見たデプス値に応じた点Ｐａの３次元位置と、投影点Ｑａとは異なる投影点Ｑｂから見た点Ｐａの方向に対応するデプス値に応じた３次元位置とが一致しない場合に、投影点Ｑａから見た点Ｐａが、投影点Ｑａとは異なる投影点Ｑｂからは見えないと判定する。

【0157】

そして、描画部１７３は、投影点Ｑｂから見た被写体９０の画像を描画する際には、点Ｐｂの色情報テクスチャデータＣを用いるのではなく、投影点Ｑｂから近い、点Ｐａが可視化されると判定された投影点に投影された色情報テクスチャデータＣを用いる。また、投影点Ｑｂから近い、点Ｐａが可視化される複数の投影点に投影された色情報テクスチャデータＣを混ぜ合わせて用いてもよい。

【0158】

［２－３．第２の実施形態の効果］
以上説明したように、第２の実施形態の符号化装置４０ｂ（情報処理装置）において、タイリング処理部１３４ｂ（色・距離取得部）は、被写体９０を複数の投影点Ｑから見た色情報テクスチャデータＣ（テクスチャ情報）と、当該色情報テクスチャデータＣを取得したのと同じ複数の投影点Ｑから見た第１の距離ｄ１と、を関連付けて取得する。

【0159】

これにより、第１層デプスマップＤの中の１枚を、第２層デプスマップＤｍ２とペアの第１層デプスマップＤｍ１とすることができるため、送信部１４が送信するデータ量を削減することができる。

【0160】

また、第２の実施形態の復号装置５０ｂ（情報処理装置）において、可視性確認部１７２は、タイリング処理部１３４ｂ（色・距離取得部）が取得した情報に基づいて、投影点Ｑａから見た第１の距離ｄ１に応じた点Ｐａの３次元位置と、投影点Ｑａとは異なる投影点Ｑｂから見た点Ｐａの方向に対応する第１の距離ｄ１に応じた３次元位置とが一致しない場合に、投影点Ｑａから見た点Ｐａが、投影点Ｑｂからは見えないと判定する。

【0161】

これにより、タイリング画像Ｔ２を用いて、簡便な処理で可視性確認（Visibility Cheek）を行うことができる。

【0162】

（３．第３の実施形態）
［３－１．第３の実施形態の作用］
第１の実施形態および第２の実施形態において、被写体９０の形状が複雑である場合には、オクルージョンの発生によって、被写体９０の表面の３Ｄ形状を途切れなくデータ化するのが困難である。第３の実施形態の情報処理システム１０ｂは、このような課題を解決するために、被写体９０を複数の物体に分解して、分解された各物体に対して、同じ投影点Ｑから、複数の第１層デプスマップＤｍ１と第２層デプスマップＤｍ２とを生成することによって、被写体９０の表面を途切れなくデータ化するものである。

【0163】

なお、第３の実施形態の情報処理システム１０ｂの構成（ハードウエア構成、機能構成）は、第２の実施形態で説明した情報処理システム１０ｂ（符号化装置４０ｂ、復号装置５０ｂ）と同じであるため、説明は省略する。

【0164】

次に、図２３を用いて、第３の実施形態の情報処理システムの作用を説明する。図２３は、第３の実施形態の情報処理システムの作用を説明する図である。

【0165】

情報処理システム１０ｂが備える符号化装置４０ｂにおいて、３Ｄモデル生成部１２は、被写体９０を複数の物体に分解する。そして、第１層デプスマップ生成部１３１と第２層デプスマップ生成部１３２は、分解された各物体に対して、それぞれ、同じ投影点Ｑから複数の見た第１層デプスマップＤｍ１と第２層デプスマップＤｍ２を生成する。即ち、第１層デプスマップ生成部１３１と第２層デプスマップ生成部１３２は、被写体９０が分解された各物体に対して、同じ投影点Ｑから見た第１の距離ｄ１と第２の距離ｄ２とを取得する。なお、第１の実施形態で説明したように、投影点Ｑを始点として被写体９０に至る直線が、被写体９０を複数回貫く場合には、直線が被写体９０を貫くたびに、第１の点Ｐ１と第２の点Ｐ２のペアを生成する。

【0166】

例えば、図２３に示すように、３Ｄモデル生成部１２は、モデル化の対象となる被写体９０を、矢印状の第１の物体と、矩形状の第２の物体とに分解する。そして、第１層デプスマップ生成部１３１と第２層デプスマップ生成部１３２は、第１の物体に対して、投影点Ｑから見た第１層デプスマップＤｍ１と第２層デプスマップＤｍ２とを生成する。

【0167】

但し、情報処理システム１０ｂは、投影点Ｑから見た被写体９０の映像を再構成する必要がある（View Dependent描画）ため、第１層デプスマップＤｍ１は、投影点Ｑから被写体９０の全体を見たデプスマップとする。

【0168】

即ち、第１層デプスマップ生成部１３１は、被写体９０に対して、図２３に示す点線のデプス値が格納された第１層デプスマップＤｍ１を生成する。そして、第２層デプスマップ生成部１３２は、矢印状の第１の物体に対して、当該第１の物体の裏面側のデプス値を表す太線のデプス値が格納された第２層デプスマップＤｍ２を生成する。第１層デプスマップＤｍ１と第２層デプスマップＤｍ２とは、一対のペアとして被写体９０の再構成に用いられる。

【0169】

次に、第１層デプスマップ生成部１３１は、矩形状の第２の物体を投影点Ｑから見た第１層デプスマップＤｍ１を生成する。なお、ここで生成される第１層デプスマップＤｍ１を、前記した第１層デプスマップＤｍ１と区別するため、第３層デプスマップと呼ぶ。

【0170】

そして、第２層デプスマップ生成部１３２は、第２の物体を投影点Ｑから見た第２層デプスマップＤｍ２を生成する。なお、ここで生成される第２層デプスマップＤｍ２を、前記した第２層デプスマップＤｍ２と区別するため、第４層デプスマップと呼ぶ。このようにして生成された第３層デプスマップと第４層デプスマップとは、一対のペアとして被写体９０の再構成に用いられる。

【0171】

レンダリング部１７ｂは、被写体９０を分解した各物体に対するデプスマップのペアを用いて、前記した方法で各物体のレンダリングを行う。そして、レンダリングされた各物体を投影点から観測した際に、最も近い点が被写体９０の表面となるように合成することによって、当該被写体９０の表面を途切れなく再構成する。

【0172】

なお、被写体９０の形状が複雑な場合、当該被写体９０をさらに多くの物体に分解して、前記したのと同じ処理を繰り返し、さらに多くのデプスマップのペアを生成してもよい。

【0173】

［３－２．第３の実施形態の効果］
以上説明したように、第３の実施形態の符号化装置４０ｂ（情報処理装置）において、第１層デプスマップ生成部１３１および第２層デプスマップ生成部１３２（距離取得部）は、同じ投影点Ｑから、被写体９０を分解した各物体に対して、それぞれ、第１の距離ｄ１と第２の距離ｄ２とを取得する。そして、第１の距離ｄ１と第２の距離ｄ２とに基づいて再構成した各物体を合成することによって、被写体９０の像を再構成する。

【0174】

これにより、被写体９０が複雑な形状である場合でも、当該被写体９０の像を途切れなく再構成することができる。

【0175】

（４．第４の実施形態）
［４－１．第４の実施形態の作用］
第１の実施形態および第２の実施形態において、被写体９０の形状が複雑である場合には、オクルージョンの発生によって、被写体９０の表面の３Ｄ形状を途切れなくデータ化するのが困難である。第４の実施形態の情報処理システム１０ｂは、このような課題を解決するために、被写体９０を複数の物体に分解して、分解された各物体に対して、複数の投影点から、それぞれ第１層デプスマップＤｍ１と第２層デプスマップＤｍ２とを生成することによって、被写体９０の表面を途切れなくデータ化するものである。

【0176】

なお、第４の実施形態の情報処理システム１０ｂの構成（ハードウエア構成、機能構成）は、第２の実施形態で説明した情報処理システム１０ｂ（符号化装置４０ｂ、復号装置５０ｂ）と同じであるため、説明は省略する。

【0177】

次に、図２４を用いて、第４の実施形態の情報処理システムの作用を説明する。図２４は、第４の実施形態の情報処理システムの作用を説明する図である。

【0178】

情報処理システム１０ｂが備える符号化装置４０ｂにおいて、３Ｄモデル生成部１２は、被写体９０を複数の物体に分解する。そして、第１層デプスマップ生成部１３１と第２層デプスマップ生成部１３２は、分解された各物体に対して、それぞれ、異なる投影点Ｑ１，Ｑ２，…から見た第１層デプスマップＤｍ１と第２層デプスマップＤｍ２を生成する。即ち、被写体９０が分解された各物体に対して、異なる投影点Ｑ１，Ｑ２，…から見た第１の距離ｄ１と第２の距離ｄ２とを取得する。なお、第１の実施形態で説明したように、投影点Ｑを始点として被写体９０に至る直線が、被写体９０を複数回貫く場合には、直線が被写体９０を貫くたびに、第１の点Ｐ１と第２の点Ｐ２のペアを生成する。

【0179】

例えば、図２４に示すように、３Ｄモデル生成部１２は、モデル化の対象となる被写体９０を、矢印状の第１の物体と、矩形状の第２の物体とに分解する。そして、第１層デプスマップ生成部１３１と第２層デプスマップ生成部１３２は、第１の物体に対して、投影点Ｑ１から見た第１層デプスマップＤｍ１と第２層デプスマップＤｍ２とを生成する。また、第１層デプスマップ生成部１３１と第２層デプスマップ生成部１３２は、第１の物体に対して、投影点Ｑ２から見た第１層デプスマップＤｍ１と第２層デプスマップＤｍ２とを生成する。

【0180】

但し、情報処理システム１０ｂは、各投影点Ｑ１，Ｑ２から見た被写体９０の映像を再構成する必要がある（View Dependent描画）ため、第１層デプスマップＤｍ１は、各投影点Ｑ１，Ｑ２から被写体９０の全体を見たデプスマップとする。

【0181】

即ち、第１層デプスマップ生成部１３１は、被写体９０の全体を投影点Ｑ１から見た第１層デプスマップＤｍ１を生成する。これによって、図２４に示す点線のデプス値が格納された第１層デプスマップＤｍ１が生成される。そして、第２層デプスマップ生成部１３２は、矢印状の第１の物体の裏面側のデプス値を表す太線のデプス値が格納された第２層デプスマップＤｍ２を生成する。第１層デプスマップＤｍ１と第２層デプスマップＤｍ２とは、一対のペアとして被写体９０の再構成に用いられる。

【0182】

次に、第１層デプスマップ生成部１３１は、被写体９０の全体を投影点Ｑ２から見た第１層デプスマップＤｍ１を生成する。これによって、図２４に示す点線のデプス値が格納された第１層デプスマップＤｍ１が生成される。そして、第２層デプスマップ生成部１３２は、矩形状の第２の物体の裏面側のデプス値を表す太線のデプス値が格納された第２層デプスマップＤｍ２を生成する。第１層デプスマップＤｍ１と第２層デプスマップＤｍ２とは、一対のペアとして被写体９０の再構成に用いられる。

【0183】

［４－２．第４の実施形態の効果］
以上説明したように、第４の実施形態の符号化装置４０ｂ（情報処理装置）において、第１層デプスマップ生成部１３１および第２層デプスマップ生成部１３２（距離取得部）は、異なる投影点Ｑ１，Ｑ２から、被写体９０を分解した各物体に対して、それぞれ、第１の距離ｄ１と第２の距離ｄ２とを取得する。そして、そして、第１の距離ｄ１と第２の距離ｄ２とに基づいて再構成した各物体を合成することによって、被写体９０の像を再構成する。

【0184】

これにより、被写体９０が複雑な形状である場合でも、当該被写体９０の像を途切れなく再構成することができる。

【0185】

（５．本開示の応用例）
［５－１．コンテンツの制作］
例えば、３Ｄモデル生成部１２で生成された被写体９０の３Ｄモデル９０Ｍと、他のサーバで管理されている３Ｄモデルとを合成して映像コンテンツを制作してもよい。また、例えば、Ｌｉｄａｒ等の撮像装置で背景データが存在している場合、３Ｄモデル生成部１２で生成された被写体９０の３Ｄモデル９０Ｍと背景データとを組み合わせることで、被写体９０が、あたかも背景データで示す場所にいるようなコンテンツを制作することができる。

【0186】

［５－２．仮想空間での体験］
例えば、ユーザがアバターとなってコミュニケーションを行う場である仮想空間の中に、３Ｄモデル生成部１２で生成された被写体９０を配置することができる。この場合、ユーザは、アバターとなって仮想空間で実写の被写体９０を視聴することが可能となる。

【0187】

［５－３．遠隔地とのコミュニケーションへの応用］
例えば、３Ｄモデル生成部１２で生成された被写体９０の３Ｄモデル９０Ｍを、送信部１４から遠隔地に送信することにより、遠隔地にある再生装置を通じて遠隔地のユーザが被写体９０の３Ｄモデル９０Ｍを視聴することができる。例えば、この被写体９０の３Ｄモデル９０Ｍをリアルタイムに伝送することにより、被写体９０と遠隔地のユーザとがリアルタイムにコミュニケーションをとることができる。例えば、被写体９０が先生であり、ユーザが生徒である場合や、被写体９０が医者であり、ユーザが患者である場合等が想定できる。

【0188】

［５－４．その他］
例えば、３Ｄモデル生成部１２で生成された複数の被写体９０の３Ｄモデル９０Ｍに基づいて、スポーツ等の自由視点映像を生成することもできる。また、個人が３Ｄモデル生成部１２で生成された自分を配信プラットフォームに配信することもできる。このように、本明細書に記載した実施形態における内容は、種々の技術やサービスに応用することができる。

【0189】

以上、本開示について、いくつかの実施形態を用いて説明したが、これらの実施形態は、任意の装置において実行されるようにしてもよい。その場合、その装置が、必要な機能ブロックを有し、必要な情報を得ることができるようにすればよい。

【0190】

また、例えば、１つのフローチャートの各ステップを、１つの装置が実行するようにしてもよいし、複数の装置が分担して実行するようにしてもよい。更に、１つのステップに複数の処理が含まれる場合、その複数の処理を１つの装置が実行するようにしてのよいし、複数の装置が分担して実行するようにしてもよい。換言すると、１つのステップに含まれる複数の処理を、複数のステップの処理として実行することもできる。逆に、複数のステップとして説明した処理を１つのステップとしてまとめて実行することもできる。

【0191】

また、例えば、コンピュータが実行するプログラムは、プログラムを記述するステップの処理が、本明細書で説明する順序に沿って時系列に実行されるようにしてもよいし、並列に、あるいは呼び出しが行われたとき等の必要なタイミングで個別に実行されるようにしてもよい。つまり、矛盾が生じない限り、各ステップの処理が上述した順序と異なる順序で実行されるようにしてもよい。更に、プログラムを記述するステップの処理が、他のプログラムの処理と並列に実行されるようにしてもよいし、他のプログラムの処理と組み合わせて実行されるようにしてもよい。

【0192】

また、例えば、本技術に関する複数の技術は、矛盾が生じない限り、それぞれ独立に単体で実施することができる。もちろん、任意の複数の本技術を適用して実施することもできる。例えば、いずれかの実施形態において説明した本技術の一部または全部を、他の実施形態において説明した本技術の一部または全部と組み合わせて実施することもできる。また、上述した任意の本技術の一部または全部を、上述していない他の技術と併用して実施することもできる。

【0193】

なお、本明細書に記載された効果は、あくまで例示であって限定されるものではなく、他の効果があってもよい。また、本開示の実施形態は、上述した実施形態に限定されるものではなく、本開示の要旨を逸脱しない範囲において種々の変更が可能である。

【0194】

例えば、本開示は、以下のような構成もとることができる。

【0195】

（１）
被写体の表面の３Ｄ形状に基づいて、投影点から前記被写体に至る直線が前記被写体と接触する第１の点と前記投影点との第１の距離と、前記第１の点から前記被写体の内部に進入した直線が前記被写体から外部に貫通する第２の点と前記投影点との第２の距離と、を取得する距離取得部を備える、
情報処理装置。
（２）
前記距離取得部は、
前記第１の点が存在しない場合には、前記第１の距離として、所定の第１の距離値を取得して、
前記第２の点が存在しない場合には、前記第２の距離として、前記第１の距離値よりも小さい、所定の第２の距離値を取得する、
前記（１）に記載の情報処理装置。
（３）
前記距離取得部は、
前記第１の距離値と前記第２の距離値とを、等しい値に設定する、
前記（２）に記載の情報処理装置。
（４）
前記距離取得部が取得した前記第１の距離と前記第２の距離とを関連付けて、前記被写体の３次元形状を再構成する復号装置に送信する送信部を更に備える、
前記（１）乃至（３）のいずれか１つに記載の情報処理装置。
（５）
前記被写体を複数の投影点から見たテクスチャ情報と、当該テクスチャ情報を取得したのと同じ複数の投影点から見た前記第１の距離と、を関連付けて取得する色・距離取得部を更に備える、
前記（１）乃至（４）のいずれか１つに記載の情報処理装置。
（６）
前記距離取得部は、同じ前記投影点から、前記被写体を分解した各物体に対して、それぞれ、前記第１の距離と前記第２の距離とを取得する、
前記（１）乃至（５）のいずれか１つに記載の情報処理装置。
（７）
前記距離取得部は、異なる前記投影点から、前記被写体を分解した各物体に対して、それぞれ、前記第１の距離と前記第２の距離とを取得する、
前記（１）乃至（５）のいずれか１つに記載の情報処理装置。
（８）
被写体の表面の３Ｄ形状に基づいて、投影点から前記被写体に至る直線が前記被写体と接触する第１の点と前記投影点との第１の距離、または、前記第１の点が存在しない場合に、前記第１の距離として所定の第１の距離値を取得して、
前記第１の点から前記被写体の内部に進入した前記直線が前記被写体から外部に貫通する第２の点と前記投影点との第２の距離、または、前記第２の点が存在しない場合に、前記第２の距離として、前記第１の距離値よりも小さい所定の第２の距離値を取得して、
前記第１の距離と前記第２の距離との大小関係に基づいて、前記被写体の領域を特定する領域判定部を備える、
情報処理装置。
（９）
前記投影点に係る複数の前記第１の距離に基づく、前記被写体の前記投影点から見た前面側の端部と、前記投影点に係る複数の前記第２の距離に基づく、前記被写体の前記投影点から見た背面側の端部とを接続する閉空間生成部を更に備える、
前記（８）に記載の情報処理装置。
（１０）
前記閉空間生成部は、
三角形状に隣接する３点の前記第１の距離のうち、２点の前記第１の距離が前記被写体の前面を表して、残り１点の前記第１の距離が前記被写体の前面を表さない場合に、
前記残り１点を、前記３点に対応する前記第２の距離のうち、前記被写体の背面を表す２点のいずれか一方に代入して、
前記３点に対応する前記第２の距離のうち、前記被写体の背面を表さない１点を、前記被写体の前面を表す２点のうち、前記残り１点を代入したのとは反対側の１点に代入する、
前記（９）に記載の情報処理装置。
（１１）
前記被写体を複数の投影点から見たテクスチャ情報と、当該テクスチャ情報を取得したのと同じ複数の投影点から見た前記第１の距離と、を関連付けて取得する色・距離取得部と、
前記色・距離取得部が取得した情報に基づいて、前記投影点から見た前記第１の距離に応じた第１の点の３次元位置と、前記投影点とは異なる投影点から見た前記第１の点の方向に対応する第１の距離に応じた３次元位置とが一致しない場合に、前記投影点から見た前記第１の点が、当該投影点とは異なる投影点からは見えないと判定する可視性確認部と、を更に備える、
前記（８）に記載の情報処理装置。
（１２）
被写体の表面の３Ｄ形状に基づいて、投影点から前記被写体に至る直線が前記被写体と接触する第１の点と前記投影点との第１の距離と、前記第１の点から前記被写体の内部に進入した前記直線が前記被写体から外部に貫通する第２の点と前記投影点との第２の距離と、を取得して、前記投影点の位置と、前記第１の距離と、前記第２の距離とを関連付けることによって、前記被写体の３Ｄモデルを生成する、
３Ｄモデルの生成方法。
（１３）
コンピュータを、
被写体の表面の３Ｄ形状に基づいて、投影点から前記被写体に至る直線が前記被写体と接触する第１の点と前記投影点との第１の距離と、前記第１の点から前記被写体の内部に進入した前記直線が前記被写体から外部に貫通する第２の点と前記投影点との第２の距離と、を取得する距離取得部、
として機能させるプログラム。

【符号の説明】

【0196】

１０ａ，１０ｂ…情報処理システム、１１…データ取得部、１２…３Ｄモデル生成部、１３ａ，１３ｂ…符号化部、１４…送信部、１５…受信部、１６ａ，１６ｂ…復号部、１７ａ，１７ｂ…レンダリング部、１８…表示部、４０ａ，４０ｂ…符号化装置（情報処理装置）、５０ａ，５０ｂ…復号装置（情報処理装置）、７０（７０ａ，７０ｂ，７０ｃ，７０ｄ，７０ｅ）…撮像装置、９０…被写体、９０Ｍ…３Ｄモデル、１３１…第１層デプスマップ生成部（距離取得部）、１３２…第２層デプスマップ生成部（距離取得部）、１３３…色情報パッキング部、１３４ａ，１３４ｂ…タイリング処理部（色・距離取得部）、１３５…画像圧縮処理部、１６１…画像伸長処理部、１６２…デプス有効領域判定部（領域判定部）、１６３…三角形パッチ生成部（閉空間生成部）、１６４…色情報テクスチャ切り出し部、１６５…デプスマップ切り出し部、１７１…デプスマップ生成部、１７２…可視性確認部、１７３…描画部、Ｃ…色情報テクスチャデータ（テクスチャ情報）、Ｄ１，Ｄ２…量子化デプス値（デプス値）、Ｄｍ１，Ｄ…第１層デプスマップ、Ｄｍ２…第２層デプスマップ、ｄ１…第１の距離、ｄ２…第２の距離、Ｎ…有効点数、Ｐ１…第１の点、Ｐ２…第２の点、Ｑ，Ｑ１，Ｑ２，Ｑａ，Ｑｂ…投影点、Ｒ，Ｒａ，Ｒｂ…投影面、Ｔ１，Ｔ２…タイリング画像、ｆａｒ…距離（第１の距離値）、ｎｅａｒ…距離（第２の距離値）

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】

【図15】

【図16】

【図17】

【図18】

【図19】

【図20】

【図21】

【図22】

【図23】

【図24】