特許 6239594 ３Ｄ情報処理装置及び方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】6239594

(24)【登録日】2017年11月10日

(45)【発行日】2017年11月29日

(54)【発明の名称】３Ｄ情報処理装置及び方法

(51)【国際特許分類】

   G01B 11/24 20060101AFI20171120BHJP

   G01C 3/06 20060101ALI20171120BHJP

   G01S 17/10 20060101ALI20171120BHJP

   G01S 17/89 20060101ALI20171120BHJP

【ＦＩ】

   G01B11/24 K

   G01C3/06 120Q

   G01S17/10

   G01S17/89

【請求項の数】28

【全頁数】23

(21)【出願番号】特願2015-511362(P2015-511362)

(86)(22)【出願日】2013年5月8日

(65)【公表番号】特表2015-524915(P2015-524915A)

(43)【公表日】2015年8月27日

(86)【国際出願番号】KR2013004010

(87)【国際公開番号】WO2013168998

(87)【国際公開日】20131114

【審査請求日】2016年5月2日

(31)【優先権主張番号】61/645,239

(32)【優先日】2012年5月10日

(33)【優先権主張国】US

(31)【優先権主張番号】10-2012-0120948

(32)【優先日】2012年10月30日

(33)【優先権主張国】KR

(73)【特許権者】

【識別番号】503447036

【氏名又は名称】サムスン エレクトロニクス カンパニー リミテッド

(74)【代理人】

【識別番号】100107766

【弁理士】

【氏名又は名称】伊東 忠重

(74)【代理人】

【識別番号】100070150

【弁理士】

【氏名又は名称】伊東 忠彦

(74)【代理人】

【識別番号】100091214

【弁理士】

【氏名又は名称】大貫 進介

(72)【発明者】

【氏名】シム，ヒョン ジュン

(72)【発明者】

【氏名】リ，ソン ギュ

(72)【発明者】

【氏名】キム，ド ギュン

【審査官】 岡田 卓弥

(56)【参考文献】

【文献】 米国特許出願公開第２０１１／０３１０３７６（ＵＳ，Ａ１）

【文献】 特開２０１１−２１５００５（ＪＰ，Ａ）

【文献】 特表２００９−５３２６８５（ＪＰ，Ａ）

【文献】 英国特許出願公開第２３５９２３０（ＧＢ，Ａ）

【文献】 特開平８−２８７２５３（ＪＰ，Ａ）

【文献】 特開平５−２０５１９１（ＪＰ，Ａ）

(58)【調査した分野】（Int.Cl.，ＤＢ名）

Ｇ０１Ｂ１１／００−１１／３０

Ｇ０１Ｂ２１／００−２１／３２

Ｇ０１Ｃ ３／００− ３／３２

Ｇ０１Ｓ１７／００−１７／９５

Ｇ０１Ｎ２１／５９−２１／６１

(57)【特許請求の範囲】

【請求項1】

１つ以上の処理実行ユニットを制御するプロセッサと、
オブジェクトの第１深度情報を測定する測定部と、
前記オブジェクトの前景深度、バックグラウンドの後景深度、及び前記オブジェクトの透明度を推定し、推定された前記前景深度、前記後景深度、及び前記透明度に基づいて、第２深度情報を推定する推定部と、
測定された前記第１深度情報と推定された前記第２深度情報とを比較する比較部と、
前記比較部の比較結果を用いて、前記オブジェクトの第３深度情報を決定する決定部と、
を備えることを特徴とする３Ｄ情報処理装置。

【請求項2】

前記推定部は、推定された前記前景深度、前記後景深度、及び前記透明度に基づいて、予め決定したモデリングによって前記第２深度情報を推定することを特徴とする請求項１に記載の３Ｄ情報処理装置。

【請求項3】

前記推定部は、
推定された前記前景深度で前記オブジェクトから反射した第１反射信号を利用して算出される前景深度情報と、
前記オブジェクトを透過して前記推定された後景深度でバックグラウンドから反射した第２反射信号を利用して算出される後景深度情報と、
前記オブジェクトの推定された前記透明度と
に基づいて前記第２深度情報を推定することを特徴とする請求項２に記載の３Ｄ情報処理装置。

【請求項4】

前記推定部は、
前記推定された前景深度で前記オブジェクトから反射した第１反射信号を利用して算出される前景深度情報と、
前記オブジェクトの明るさと、
前記オブジェクトを透過して推定された前記後景深度でバックグラウンドから反射した第２反射信号を利用して算出される後景深度情報と、
前記バックグラウンドの明るさと、
前記オブジェクトの推定された前記透明度と、
のうち少なくとも１つに基づいて前記第２深度情報を推定することを特徴とする請求項２に記載の３Ｄ情報処理装置。

【請求項5】

前記モデリングは、下記の数式によって前記第２深度情報を推定することを特徴とする請求項２に記載の３Ｄ情報処理装置。

【数4】

（ここで、z^は推定された前記第２深度情報であり、g(x)は前記第１深度情報を測定する深度カメラの特性に応じて決定される関数であり、xは受信された信号の強度であり、tは前記オブジェクトの推定された透明度であり、L_bは推定された前記後景深度でのバックグラウンドの明るさであり、L_fは前記オブジェクトの明るさであり、z_fは推定された前記前景深度で前記オブジェクトから反射した第１反射信号を仮定して算出される前景深度情報であり、z_bは前記オブジェクトを透過して前記バックグラウンドから反射した第２反射信号を仮定して算出される後景深度情報である）

【請求項6】

前記決定部は、測定された前記第１深度情報と推定された前記第２深度情報との間の差が予め決定した範囲以内である場合、前記オブジェクトの第３深度情報が推定された前記第２深度情報であると判断することを特徴とする請求項１〜５のうち何れか１項に記載の３Ｄ情報処理装置。

【請求項7】

測定された前記第１深度情報と推定された前記第２深度情報との間の差が予め決定した範囲内に含まれない場合、前記推定部は、推定された前記前景深度及び後景深度を変更して前記第２深度情報を再推定し、前記比較部は前記第１深度情報と再推定された第２深度情報とを比較することを特徴とする請求項２に記載の３Ｄ情報処理装置。

【請求項8】

前記測定部は、前記オブジェクトから反射した信号を受信するＮ個（Ｎは１以上の整数）の深度カメラを含み、前記Ｎ個の深度カメラに対応するＮ個の第１深度情報を生成し、
前記推定部は、推定された前記前景深度、後景深度、及び透明度に基づいて、前記Ｎ個の深度カメラに対応するＮ個の第２深度情報を推定し、
前記比較部は、前記Ｎ個の深度カメラに対応する前記Ｎ個の第１深度情報のそれぞれと前記Ｎ個の第２深度情報のそれぞれとを比較することを特徴とする請求項２に記載の３Ｄ情報処理装置。

【請求項9】

前記測定部は、前記オブジェクトの方向に赤外線を送信する送信部を含み、
前記赤外線が前記オブジェクトから反射した信号及び前記赤外線によって背景が照射される場合、前記オブジェクトを透過してバックグラウンドから反射した信号を用いて前記オブジェクトの前記第１深度情報を測定することを特徴とする請求項１〜８のうち何れか１項に記載の３Ｄ情報処理装置。

【請求項10】

１つ以上の処理実行ユニットを制御するプロセッサと、
オブジェクトの第１深度情報を測定する測定部と、
前記オブジェクトの位置及び透明度を推定し、推定された位置及び透明度に基づいて前記オブジェクトの第２深度情報を推定する推定部と、
測定された前記第１深度情報と推定された前記第２深度情報とを比較する比較部と、
前記比較部の比較結果に応じて、前記オブジェクトの透明度を決定する決定部と、
を備えることを特徴とする３Ｄ情報処理装置。

【請求項11】

前記推定部は、
前記推定された位置で前記オブジェクトから反射した第１反射信号を利用して算出される前景深度情報と、
前記オブジェクトを透過してバックグラウンドから反射した第２反射信号を利用して算出される後景深度情報と、
前記オブジェクトの推定された前記透明度と、
に基づいて前記第２深度情報を推定することを特徴とする請求項１０に記載の３Ｄ情報処理装置。

【請求項12】

測定された前記第１深度情報と推定された前記第２深度情報との間の差が予め決定した範囲内に含まれない場合、
前記推定部は、推定された位置を変更して前記第２深度情報を再推定し、
前記比較部は、前記第１深度情報と再推定された第２深度情報とを比較することを特徴とする請求項１０に記載の３Ｄ情報処理装置。

【請求項13】

深度カメラを用いてオブジェクトの第１深度情報を測定するステップと、
前記オブジェクトの前景深度、バックグラウンドの後景深度、及び前記オブジェクトの透明度を推定し、推定された前記前景深度、前記後景深度、及び前記透明度に基づいて、第２深度情報をプロセッサにより推定するステップと、
測定された前記第１深度情報と推定された第２深度情報と比較することによって、前記オブジェクトの第３深度情報を決定するステップと、
を含むことを特徴とする３Ｄ情報処理方法。

【請求項14】

推定された前記第２深度情報は、推定された前記前景深度、後景深度、及び透明度に基づいて、予め決定したモデリングによって推定されることを特徴とする請求項１３に記載の３Ｄ情報処理方法。

【請求項15】

前記推定された第２深度情報は、
前記推定された前景深度で前記オブジェクトから反射した第１反射信号を利用して算出される前景深度情報と、
前記オブジェクトを透過して推定された前記後景深度でバックグラウンドから反射した第２反射信号を利用して算出される後景深度情報と、
前記オブジェクトの推定された透明度と、
に基づいて推定されることを特徴とする請求項１４に記載の３Ｄ情報処理方法。

【請求項16】

推定された前記第２深度情報は、
推定された前記前景深度で前記オブジェクトから反射した第１反射信号を利用して算出される前景深度情報と、
前記オブジェクトの明るさと、
前記オブジェクトを透過して前記推定された後景深度でバックグラウンドから反射した第２反射信号を利用して算出される後景深度情報と、
前記バックグラウンドの明るさと、
前記オブジェクトの推定された透明度と、
のうち少なくとも１つに基づいて推定されることを特徴とする請求項１４に記載の３Ｄ情報処理方法。

【請求項17】

前記モデリングは、下記の数式によって前記第２深度情報を推定することを特徴とする請求項１４に記載の３Ｄ情報処理方法。

【数5】

（ここで、z^は前記推定された第２深度情報であり、g(x)は前記第１深度情報を測定する深度カメラの特性に応じて決定される関数であり、xは受信された信号の強度であり、tは前記オブジェクトの透明度であり、L_bは前記後景深度でのバックグラウンドの明るさであり、L_fは前記オブジェクトの明るさであり、z_fは前記推定された前景深度で前記オブジェクトから反射した第１反射信号を仮定して算出される前景深度情報であり、z_bは前記オブジェクトを透過して前記バックグラウンドから反射した第２反射信号を仮定して算出される後景深度情報である）

【請求項18】

推定された前記第２深度情報は、前記オブジェクトの位置を推定し、推定された位置に基づいて予め決定したモデリングによって推定されることを特徴とする請求項１３〜１７のうち何れか１項に記載の３Ｄ情報処理方法。

【請求項19】

前記オブジェクトの第３深度情報を決定する前記ステップは、測定された前記第１深度情報と推定された前記第２深度情報との間の差が予め決定した範囲以内である場合、前記オブジェクトの第３深度情報が前記推定された前景深度であると判断するステップを含むことを特徴とする請求項１４に記載の３Ｄ情報処理方法。

【請求項20】

請求項１３ないし請求項１９のいずれか１項に記載の３Ｄ情報処理方法をコンピュータに実行させるコンピュータプログラム。

【請求項21】

深度カメラを用いてオブジェクトの第１深度情報を測定するステップと、
前記オブジェクトの透明度及び前記オブジェクトの位置をプロセッサにより推定するステップと、
前記透明度及び前記オブジェクトの推定された位置に基づいて前記オブジェクトの第２深度情報を推定するステップと、
測定された前記第１深度情報と推定された前記第２深度情報とを比較することによって、前記オブジェクトの透明度を決定するステップと、
を含むことを特徴とする３Ｄ情報処理方法。

【請求項22】

前記オブジェクトの前景深度、バックグラウンドの後景深度、及び前記オブジェクトの透明度が推定され、前記第２深度情報は、推定された前記前景深度、前記後景深度、及び前記透明度に基づいて予め決定したモデリングによって推定されることを特徴とする請求項２１に記載の３Ｄ情報処理方法。

【請求項23】

推定された前記第２深度情報は、
推定された前記前景深度で前記オブジェクトから反射した第１反射信号を利用して算出される前景深度情報と、
前記オブジェクトを透過して推定された前記後景深度でバックグラウンドから反射した第２反射信号を利用して算出される後景深度情報と、
前記オブジェクトの推定された前記透明度と、
に基づいて推定されることを特徴とする請求項２２に記載の３Ｄ情報処理方法。

【請求項24】

請求項２１ないし請求項２３のいずれか１項に記載の３Ｄ情報処理方法をコンピュータに実行させるコンピュータプログラム。

【請求項25】

オブジェクトの前景深度を推定し、前記前景深度で前記オブジェクトから反射した第１反射信号を利用して算出される前景深度情報と、
後景深度を推定し、前記オブジェクトを透過して前記後景深度でバックグラウンドから反射した第２反射信号を利用して算出される後景深度情報と、
前記オブジェクトの推定された透明度と、
に基づいて前記オブジェクトの深度情報を推定することを特徴とする３Ｄ情報処理方法。

【請求項26】

請求項２５に記載の３Ｄ情報処理方法をコンピュータに実行させるコンピュータプログラム。

【請求項27】

オブジェクトが透明であるか否かを判断する方法であって、
複数の異なる深度カメラを用いて前記オブジェクトの深度値をキャプチャーするステップと、
前記複数の異なる深度カメラを用いてキャプチャーされた前記オブジェクトの前記深度値をプロセッサにより比較するステップと、
比較された前記オブジェクトの深度値が異なる場合、前記オブジェクトが少なくとも或る程度の透明度を有するものと判断するステップと、
を含むことを特徴とするオブジェクトが透明であるか否かを判断する方法。

【請求項28】

請求項２７に記載の方法をコンピュータに実行させるコンピュータプログラム。

【発明の詳細な説明】

【技術分野】

【0001】

下記の説明は３Ｄ情報を処理する装置及び方法に関し、より具体的にはオブジェクトの深度情報を取得する技術に関する。

【背景技術】

【0002】

３Ｄ情報処理技術は、ユーザに立体感を与えることができるオブジェクトを処理する技術である。３Ｄオブジェクトキャプチャー技術は３Ｄ情報処理技術の一種として、３次元形状を有する各種オブジェクトの形状情報、位置情報、質感情報を取得してデータを生成し、生成されたデータを処理する技術である。オブジェクトキャプチャー技術を用いて生成されたデジタルデータは、３Ｄテレビなどのためのコンテンツとして活用されてもよい。

【0003】

深度情報はいずれかの位置（例えば、深度カメラの位置）とオブジェクトとの間の距離に関する情報として、例えば、オブジェクトの位置に応じて算出されてもよい。オブジェクトの深度情報は、オブジェクトの形状を把握するための最も基礎となる情報である。したがって、オブジェクトに対する正確な深度情報を取得することは、オブジェクトキャプチャー技術において極めて重要な作業である。

【0004】

３Ｄオブジェクトキャプチャー装置は、オブジェクトの深度情報を取得するために赤外線パルスなどを送信し、赤外線パルスがオブジェクトに反射して戻ってくる信号を用いてオブジェクトの位置を決定してもよい。ただし、従来の３Ｄオブジェクトキャプチャー装置は、一般的に透明なオブジェクトの深度を正確に測定することが困難である。

【発明の概要】

【発明が解決しようとする課題】

【0005】

本発明の目的は、３Ｄ情報処理装置及び方法を開示する。

【課題を解決するための手段】

【0006】

例示的な実施形態によると、１つ以上のプロセッサ実行可能なユニットを制御するプロセッサと、オブジェクトの第１深度情報を測定する測定部と、前記オブジェクトの第２深度情報を推定する推定部と、前記測定された第１深度情報と前記推定された第２深度情報とを比較する比較部と、前記比較部の比較結果を用いて、前記オブジェクトの第３深度情報を決定する判断部とを備える３Ｄ情報処理装置を提供する。

【0007】

ここで、前記推定部は、前記オブジェクトの前景深度、バックグラウンドの後景深度、及び前記オブジェクトの透明度を推定し、前記推定された前景深度、前記後景深度、及び前記透明度に基づいて、予め決定したモデリングによって前記第２深度情報を推定してもよい。

【0008】

また、前記推定部は、前記推定された前景深度で前記オブジェクトから反射した第１反射信号を仮定して算出される前景深度情報と、前記オブジェクトを透過して前記推定された後景深度でバックグラウンドから反射した第２反射信号を仮定して算出される後景深度情報と、前記オブジェクトの前記推定された透明度に基づいて前記第２深度情報を推定してもよい。

【0009】

また、前記推定部は、前記推定された前景深度で前記オブジェクトから反射した第１反射信号を仮定して算出される前景深度情報と、前記オブジェクトの明るさと、前記オブジェクトを透過して前記推定された後景深度でバックグラウンドから反射した第２反射信号を仮定して算出される後景深度情報と、前記バックグラウンドの明るさと、前記オブジェクトの前記推定された透明度と、のうち少なくとも１つに基づいて前記第２深度情報を推定してもよい。

【0010】

ここで、前記モデリングは、下記の数式（１）によって前記第２深度情報を推定してもよい。

【0011】

【数1】

ここで、z^は前記推定された第２深度情報であり、g(x)は前記第１深度情報を測定する深度カメラの特性に応じて決定される関数であり、xは受信された信号の強度であり、tは前記オブジェクトの推定された透明度であり、L_bは前記推定された後景深度でのバックグラウンドの明るさであり、L_fは前記オブジェクトの明るさであり、z_fは前記推定された前景深度で前記オブジェクトから反射した第１反射信号を仮定して算出される前景深度情報であり、z_bは前記オブジェクトを透過して前記バックグラウンドから反射した第２反射信号を仮定して算出される後景深度情報であってもよい。

【0012】

また、前記判断部は、前記測定された第１深度情報と前記推定された第２深度情報との間の差が予め決定した範囲以内である場合、前記オブジェクトの第３深度情報が前記推定された第２深度情報であると判断してもよい。

【0013】

また、前記測定された第１深度情報と前記推定された第２深度情報との間の差が予め決定した範囲内に含まれない場合、前記推定部は、前記推定された前景深度及び後景深度を変更して前記第２深度情報を再推定し、前記比較部は前記第１深度情報と前記再推定された第２深度情報とを比較してもよい。

【0014】

ここで、前記測定部は、前記オブジェクトから反射した信号を受信するＮ個（Ｎは１と同一であるか大きい整数）の深度カメラを含み、前記Ｎ個の深度カメラに対応するＮ個の第１深度情報を生成し、前記推定部は、前記推定された前景深度、後景深度、及び透明度に基づいて、前記Ｎ個の深度カメラに対応するＮ個の第２深度情報を推定し、前記比較部は、前記Ｎ個の深度カメラに対応する前記Ｎ個の第１深度情報のそれぞれと前記Ｎ個の第２深度情報のそれぞれとを比較してもよい。

【0015】

また、前記測定部は、前記オブジェクトの方向に赤外線を送信する送信部を含み、前記赤外線が前記オブジェクトから反射した信号及び前記赤外線によって前記背景が照射される場合、前記オブジェクトを透過してバックグラウンドから反射した信号を用いて前記オブジェクトの前記第１深度情報を測定してもよい。

【0016】

他の例示的な実施形態によると、１つ以上のプロセッサ実行可能なユニットを制御するプロセッサと、オブジェクトの第１深度情報を測定する測定部と、前記オブジェクトの位置及び透明度を推定し、前記推定された位置及び透明度に基づいて前記オブジェクトの第２深度情報を推定する推定部と、前記測定された第１深度情報と前記推定された第２深度情報とを比較する比較部と、前記比較部の比較結果に応じて、前記オブジェクトの透明度を決定する判断部とを備える３Ｄ情報処理装置が提供される。

【0017】

ここで、前記推定部は、前記推定された位置で前記オブジェクトから反射した第１反射信号を仮定して算出される前景深度情報と、前記オブジェクトを透過してバックグラウンドから反射した第２反射信号を仮定して算出される後景深度情報と、前記オブジェクトの前記推定された透明度と、に基づいて前記第２深度情報を推定してもよい。

【0018】

また、前記測定された第１深度情報と前記推定された第２深度情報との間の差が予め決定した範囲内に含まれない場合、前記推定部は、前記推定された位置を変更して前記第２深度情報を再推定し、前記比較部は、前記第１深度情報と前記再推定された第２深度情報とを比較してもよい。

【0019】

更なる例示的な実施形態によると、深度カメラを用いてオブジェクトの第１深度情報を測定するステップと、前記オブジェクトの第２深度情報をプロセッサの方式で推定するステップと、前記測定された第１深度情報を推定された第２深度情報と比較することによって、前記オブジェクトの第３深度情報を決定するステップとを含む３Ｄ情報処理方法が提供される。

【0020】

ここで、前記推定された第２深度情報は、前記オブジェクトの前景深度、バックグラウンドの後景深度、及び前記オブジェクトの透明度を推定し、前記推定された前景深度、後景深度、及び透明度に基づいて、予め決定したモデリングによって推定されてもよい。

【0021】

また、前記推定された第２深度情報は、前記推定された前景深度で前記オブジェクトから反射した第１反射信号を仮定して算出される前景深度情報と、前記オブジェクトを透過して前記推定された後景深度でバックグラウンドから反射した第２反射信号を仮定して算出される後景深度情報と、前記オブジェクトの前記仮定された透明度と、に基づいて推定されてもよい。

【0022】

また、前記推定された第２深度情報は、前記推定された前景深度で前記オブジェクトから反射した第１反射信号を仮定して算出される前景深度情報と、前記オブジェクトの明るさと、前記オブジェクトを透過して前記推定された後景深度でバックグラウンドから反射した第２反射信号を仮定して算出される後景深度情報と、前記バックグラウンドの明るさと、前記オブジェクトの前記仮定された透明度と、のうち少なくとも１つに基づいて推定されてもよい。

【0023】

ここで、前記モデリングは、下記の数式（１）によって前記第２深度情報を推定してもよい。

【0024】

また、前記推定された第２深度情報は、前記オブジェクトの位置を推定し、前記推定された位置に基づいて予め決定したモデリングによって推定されてもよい。

【0025】

また、前記オブジェクトの第３深度情報を決定する前記ステップは、前記測定された第１深度情報と前記推定された第２深度情報との間の差が予め決定した範囲以内である場合、前記オブジェクトの第３深度情報が前記推定された前景深度であると判断するステップを含んでもよい。

【0026】

更なる例示的な実施形態によると、深度カメラを用いてオブジェクトの第１深度情報を測定するステップと、前記オブジェクトの透明度及び前記オブジェクトの位置をプロセッサの方式によって推定するステップと、前記透明度及び前記オブジェクトの前記推定された位置に基づいて前記オブジェクトの第２深度情報を推定するステップと、前記測定された第１深度情報と推定された第２深度情報とを比較することによって、前記オブジェクトの透明度を決定するステップとを含む３Ｄ情報処理方法が提供される。

【0027】

ここで、前記推定された第２深度情報は、前記オブジェクトの前景深度、バックグラウンドの後景深度、及び前記オブジェクトの透明度を仮定し、前記仮定された前景深度、前記後景深度、及び前記透明度に基づいて予め決定したモデリングによって推定されてもよい。

【0028】

また、前記推定された第２深度情報は、前記推定された前景深度で前記オブジェクトから反射した第１反射信号を仮定して算出される前景深度情報と、前記オブジェクトを透過して前記推定された後景深度でバックグラウンドから反射した第２反射信号を仮定して算出される後景深度情報と、前記オブジェクトの前記推定された透明度と、に基づいて推定されてもよい。

【0029】

更なる例示的な実施形態によると、オブジェクトの前景深度を推定し、前記前景深度で前記オブジェクトから反射した第１反射信号を仮定して算出される前景深度情報と、後景深度を推定し、前記オブジェクトを透過して前記後景深度でバックグラウンドから反射した第２反射信号を仮定して算出される後景深度情報と、前記オブジェクトの前記仮定された透明度と、に基づいて前記オブジェクトの深度情報を推定する３Ｄ情報処理方法が提供される。

【0030】

更なる例示的な実施形態によると、オブジェクトが透明であるか判断する方法は、複数の異なる深度カメラを用いて前記オブジェクトの深度値をキャプチャーし、前記複数の異なる深度カメラを用いてキャプチャーされた前記オブジェクトの前記深度値をプロセッサの方式によって比較し、前記オブジェクトの前記比較された深度値が異なる場合、前記オブジェクトが少なくとも一定透明を有するものと決定する方法が提供される。「キャプチャー」は「取得」等と言及されてもよい。

【図面の簡単な説明】

【0031】

【図1】例示的な実施形態に係る３Ｄ情報処理技術を説明するための図である。

【図2】例示的な実施形態に係る３Ｄ情報処理装置を示すブロック図である。

【図3】例示的な実施形態に係る後景深度情報、前景深度情報、及びオブジェクトの第２深度情報を推定する方法を説明するための図である。

【図4】オブジェクトの深度情報を決定する例示的な実施形態を説明するための図である。

【図5A】複数の深度カメラを用いてオブジェクトの深度情報を決定する例示的な実施形態を説明するための図である。

【図5B】複数の深度カメラを用いてオブジェクトの深度情報を決定する例示的な実施形態を説明するための図である。

【図6】複数の深度カメラを備えた３Ｄ情報処理装置の一実施形態を示す図である。

【図7】例示的な実施形態に係る３Ｄ情報処理方法を説明するためのフローチャートである。

【発明を実施するための形態】

【0032】

以下、実施形態を添付する図面を参照しながら詳細に説明する。

【0033】

図１は、例示的な実施形態に係る３Ｄ情報処理技術を示す図である。

【0034】

３Ｄ情報処理装置１１０は、３次元形状のオブジェクト１２０に関する情報を処理する装置である。例えば、３Ｄ情報処理装置１１０は、オブジェクト１２０の深度情報（ｄｅｐｔｈ ｉｎｆｏｒｍａｔｉｏｎ）を取得する装置を含んでもよい。また、３Ｄ情報処理装置１１０は、オブジェクト１２０の位置、形状、質感などの情報を取得する３Ｄオブジェクトキャプチャー装置を含んでもよい。オブジェクト１２０の位置、形状、質感などの情報は、３Ｄディスプレイ装置を用いてユーザに表示されてユーザに立体感を提供する。

【0035】

３Ｄ情報処理装置１１０は、深度カメラを用いてオブジェクト１２０の深度情報を取得してもよい。深度カメラは、撮影対象者オブジェクト１２０に対する深度を測定して深度情報を測定することのできるカメラとして、例えば、ＴｏＦ（Ｔｉｍｅ ｔｏ Ｆｌｉｇｈｔ）方式の深度カメラまたはストラクチャードライト（Ｓｔｒｕｃｔｕｒｅｄ Ｌｉｇｈｔ）方式の深度カメラ、ノーマル取得基盤の深度カメラなどの深度情報を測定できる全ての装置を含んでもよい。他の実施形態によると、３Ｄ情報処理装置１１０はカメラを用いてオブジェクト１２０を撮影し、撮影された映像を分析してオブジェクトの位置、形状、質感などの情報を取得してもよい。

【0036】

深度カメラが撮影するオブジェクト１２０の後方にバックグラウンド（ｂａｃｋｇｒｏｕｎｄ）１３０が位置してもよい。この場合に、深度カメラを用いて取得した情報にはオブジェクト１２０に関する情報だけではなく、バックグラウンド１３０に関する情報を含んでもよい。

【0037】

特に、オブジェクト１２０が光を透過する性質を有する場合、深度カメラを用いて取得した情報のうちバックグラウンド１３０に関する情報を含んでもよい。例えば、オブジェクト１２０が透明であるか否か、半透明であれば、深度カメラを用いて撮影した映像のうち、オブジェクト１２０を撮影した部分にもバックグラウンド１３０の情報が含まれてもよい。オブジェクト１２０が透明な場合、深度カメラは、バックグラウンド１３０で反射して減衰されることなく、オブジェクト１２０を透過した信号を受信する。また、オブジェクト１２０が半透明な場合、深度カメラは、バックグラウンド１３０で反射してオブジェクト１２０で減衰された信号を受信する。

【0038】

したがって、オブジェクト１２０が光を透過する性質を有する場合、深度カメラを用いて取得した情報を分析して取得したオブジェクト１２０の深度情報は正確ではないことがある。

【0039】

例示的な実施形態によると、３Ｄ情報処理装置１１０は、オブジェクト１２０の深度情報、バックグラウンド１３０の深度情報、及びオブジェクト１２０の透明度を仮定して、数学的モデルにしたがってオブジェクト１２０の深度情報を推定してもよい。３Ｄ情報処理装置１１０は、測定された深度情報と前記推定されたオブジェクトの深度情報とを比較し、オブジェクト１２０の深度情報、バックグラウンドの深度情報及び／またはオブジェクト１２０の透明度を決定してもよい。

【0040】

例示的な実施形態によると、オブジェクト１２０が光を透過する性質を有する場合にも、深度カメラを用いてオブジェクト１２０の深度情報をより正確に生成することができる。また、例示的な実施形態によると、深度カメラを用いて撮影した深度映像にオブジェクト１２０とバックグラウンド１３０からの情報が混合している場合にも、オブジェクト１２０の深度情報を正確に決定することができる。また、オブジェクト１２０が透明または半透明であり、深度映像でオブジェクト１２０を撮影した部分にバックグラウンド１３０の情報が含まれている場合にも、オブジェクト１２０の深度情報を正確に決定することができる。したがって、任意のシーン（ｓｃｅｎｅ）を多様な視覚条件及び光条件下で合成し、仮想オブジェクトを実写映像に適切にレンダリングして混合して合成することができる。

【0041】

図２は、例示的な実施形態に係る３Ｄ情報処理装置の構造を示すブロック図である。

【0042】

例示的な実施形態に係る３Ｄ情報処理装置２００は、測定部２１０、推定部２２０、比較部２３０、判断部２４０を備える。

【0043】

測定部２１０は、オブジェクト２６０の第１深度情報を測定する装置であってもよい。第１深度情報はオブジェクト２６０に対して測定された値として、例えば、オブジェクト２６０に対する深度値またはいずれかの値であってもよい。

【0044】

測定部２１０は、深度カメラを含んでもよい。深度カメラを用いて撮影した深度映像は複数の画素で構成されてもよい。複数の画素それぞれの値は、深度カメラが受信した信号の値から決定されてもよい。

【0045】

測定部２１０は、前記深度カメラを用いて撮影された深度映像を分析して第１深度情報を測定してもよい。ここで、深度カメラは深度を測定できるカメラとして、例えば、ＴｏＦ（Ｔｉｍｅ ｏｆ Ｆｌｉｇｈｔ）方式の深度カメラなどを含んでもよい。

【0046】

３Ｄ情報処理装置２００は、オブジェクト２６０の方向にパルスを送信する送信部２５０をさらに含んでもよい。例えば、３Ｄ情報処理装置２００の測定部２１０は、オブジェクト２６０の方向にパルスを送信する送信部２５０を含んでもよい。ここで、送信部２５０が送信するパルスは赤外線であってもよい。この場合、測定部２１０は、前記赤外線によって前記オブジェクト２６０が照射される場合、前記オブジェクト２６０から反射した信号を用いて前記オブジェクト２６０の前記第１深度情報を測定してもよい。また、オブジェクト１２０が光を透過する性質を有する場合、測定部２１０は、前記赤外線が前記オブジェクト２６０から反射した信号及び前記赤外線によって前記背景が照射される場合、前記オブジェクト２６０を透過してバックグラウンド２７０から反射した信号を用いて前記オブジェクト２６０の前記第１深度情報を測定してもよい。

【0047】

測定部２１０は、深度映像の画素値を分析して深度カメラが受信した信号の値を判断し、深度カメラが受信した信号の値を用いてオブジェクト２６０の第１深度情報を測定してもよい。

【0048】

推定部２２０は、オブジェクト２６０の第２深度情報を推定する装置である。第２深度情報はオブジェクト２６０に対して推定された値として、例えば、オブジェクト２６０に対する推定された深度値、またはある形態の推定された値であってもよい。推定部２２０は、オブジェクト２６０の第２深度情報をユーザリクエストに応じて予め決定したモデリングを用いて生成することで、第２深度情報を推定してもよい。ここで、前記第２深度情報はリアルタイムで生成されてもよい。また、推定部は、少なくとも１つ以上の予め推定されたオブジェクト２６０の第２深度情報を格納することによって、第２深度情報を推定してもよい。ここで、前記少なくとも１つ以上の予め推定されたオブジェクト２６０は予め算出され、３Ｄ情報処理装置２００の格納部（図示せず）に格納されてもよい。

【0049】

推定部２２０は、オブジェクト２６０の位置及び透明度を推定し、前記推定された位置及び透明度に基づいてオブジェクト２６０の第２深度情報を推定する装置であってもよい。推定部２２０は、前記オブジェクトの中心位置を位置させるように、前記オブジェクトが位置する概略的な場所を推定することによって、前記オブジェクトの位置を推定してもよい。推定部２６０は、前景深度情報、後景深度情報、及びオブジェクト２６０の仮定された透明度に基づいて第２深度情報を推定してもよい。前景深度情報は、オブジェクト２６０の推定された位置でオブジェクト２６０から反射した第１反射信号を仮定して算出されてもよい。後景深度情報は、オブジェクト２６０を透過してバックグラウンド２７０から反射した第２反射信号を仮定して算出されてもよい。一側面によると、推定部２２０は、下記の数式（２）または数式（３）によって第２深度情報を推定してもよい。

【0050】

推定部２２０は、オブジェクト２６０の前景深度、バックグラウンド２７０の後景深度、及びオブジェクト２６０の透明度を推定し、推定された前景深度、後景深度、及び透明度に基づいて予め決定したモデリングにより第２深度情報を推定してもよい。

【0051】

前景深度は、いずれかの位置（例えば、３Ｄ情報処理装置２００の位置、測定部２１０の位置、送信部２５０の位置、深度カメラの位置など）からオブジェクト２６０までの距離を意味する。

【0052】

後景深度はいずれかの位置（例えば、３Ｄ情報処理装置２００の位置、測定部２１０の位置、送信部２５０の位置、深度カメラの位置など）からバックグラウンド２７０までの距離を意味する。

【0053】

推定部２２０は、前景深度情報、後景深度情報、及びオブジェクト２６０の推定された透明度のうち少なくとも１つ以上に基づいて第２深度情報を推定してもよい。例えば、推定部２２０は、前景深度情報、後景深度情報、及びオブジェクト２６０の推定された透明度の全てに基づいて第２深度情報を推定してもよい。

【0054】

前景深度情報はオブジェクト２６０に関する値として、例えば、推定された前景深度でオブジェクトで２６０から反射した第１反射信号を仮定して算出されてもよい。例えば、オブジェクト２６０が推定された前景深度に位置すると仮定し、予め決定したモデリングによって前記推定された前景深度を算出してもよい。

【0055】

後景深度情報はオブジェクト２６０に関する値として、例えば、オブジェクト２６０を透過して仮定された後景深度でバックグラウンドで２７０から反射した第２反射信号を仮定して算出されてもよい。例えば、オブジェクト２６０が推定された後景深度に位置すると仮定し、予め決定したモデリングによって前記推定された後景深度が算出されてもよい。

【0056】

推定された透明度は、オブジェクト２６０に関する値として、０よりも大きいか同一であり、１よりも小さいか同一の値が選択されてもよい。

【0057】

モデリングは、オブジェクト２６０に関する値を入力にして、オブジェクト２６０の推定された第２深度情報を出力にする関数として、例えば、オブジェクト２６０の算出された前景深度情報、後景深度情報、及び透明度のうち少なくとも１つ以上（例えば、全て）を入力にし、オブジェクト２６０の推定された第２深度情報を出力にする関数であってもよい。

【0058】

比較部２３０は、測定された第１深度情報と推定された第２深度情報とを比較する装置である。比較部２３０は、測定された第１深度情報と推定された第２深度情報との間の差が、予め決定した範囲以内であるか否かを判断する。

【0059】

一実施形態によると、判断部２４０は、比較部２３０の比較結果を用いてオブジェクト２６０の第３深度情報を決定する装置であってもよい。例えば、測定された第１深度情報と推定された第２深度情報とが同一であるか、測定された第１深度情報と推定された第２深度情報との間の差が予め一定の範囲以内である場合、判断部２４０は、オブジェクト２６０の第３深度情報（例えば、オブジェクト２６０の実際の深度情報）が前記推定された第２深度情報として決定してもよい。または、判断部２４０は、オブジェクト２６０の第３深度情報（例えば、オブジェクト２６０の実際の深度情報）が前記オブジェクト２６０の前記推定された前景情報として決定してもよい。

【0060】

更なる実施形態によると、前記測定された第１深度情報と前記推定された第２深度情報との間の差が予め決定した範囲内に含まれていない場合、推定部２２０は前記推定された前景深度及び／または後景深度を変更して前記第２深度情報を再推定してもよい。ここで、比較部２３０は、前記第１深度情報と前記再推定された第２深度情報とを比較してもよい。前記第１深度情報と前記再推定された第２深度情報とが同一であるか、測定された第１深度情報と前記再推定された第２深度情報との間の差が予め一定の範囲以内である場合、判断部２４０は、オブジェクト２６０の第３深度情報（例えば、オブジェクト２６０の実際の深度情報）が前記再推定された前景深度であると決定してもよい。更なる実施形態によると、この場合、判断部２４０は、オブジェクト２６０の第３深度情報（例えば、オブジェクト２６０の実際の深度情報）が前記再推定された第２深度情報であると決定してもよい。

【0061】

もし、再推定による第２深度情報と測定された第１深度情報との差が依然として予め決定した範囲内に含まれていない場合、推定部２２０は、前記推定された前景深度及び後景深度を変更して前記第２深度情報を再推定し、比較部２３０は、前記第１深度情報と前記再推定された第２深度情報とを比較する過程を繰り返してもよい。

【0062】

判断部２４０は、オブジェクト２６０が深度カメラに対応する特定の直線上に位置し、深度カメラからの距離は第３深度情報により決定されると判断する。

【0063】

更なる実施形態によると、判断部２４０は、比較部２３０の比較結果に応じてオブジェクト２６０の透明度を決定する装置であってもよい。例えば、測定された第１深度情報と推定された第２深度情報とが同一であるか、測定された第１深度情報と推定された第２深度情報との間の差が予め一定の範囲以内である場合、判断部２４０は、オブジェクト２６０の仮定された透明度をオブジェクト２６０の透明度に決定してもよい。

【0064】

更なる実施形態によると、前記測定された第１深度情報と前記推定された第２深度情報との間の差が予め決定した範囲内に含まれない場合、推定部２２０は更なる値として前記透明度を再推定し、前記再推定された透明度に基づいて前記オブジェクトの前記第２深度情報を再推定してもよい。比較部２３０は、前記第１深度情報と前記再推定された第２深度情報とを比較してもよい。前記第１深度情報と前記再推定された第２深度情報とが同一であるか、測定された第１深度情報と前記再推定された第２深度情報との間の差が予め一定の範囲以内である場合、判断部２４０は、オブジェクト２６０の透明度をオブジェクト２６０に対して推定された透明度であると判断する。

【0065】

もし、再推定による第２深度情報と測定された第１深度情報との差が依然として予め決定した範囲内に含まれていない場合、推定部２２０は、前記推定された前景深度及び後景深度を変更して前記第２深度情報を再推定し、比較部２３０は、前記第１深度情報と前記再推定された第２深度情報とを比較する過程を繰り返してもよい。

【0066】

図３は、例示的な実施形態により後景深度情報、前景深度情報、及びオブジェクトの第２深度情報を推定する方法を説明するための図である。図３に示す横軸は時間を示し、縦軸はパルスの大きさを示す。

【0067】

図３に示すように、送信部が送信したパルス３１０は仮定される。送信したパルス３１０は赤外線として仮定されてもよく、実施形態によって可視光線、高周波、低周波などのように仮定されてもよい。送信部が送信したものとして仮定されるパルス３１０は、長さがT₀（３１１）であり、大きさがA₀（３１２）であってもよい。送信部は、深度カメラ（例えば、ＴｏＦカメラ）として仮定してもよい。

【0068】

オブジェクトの第２深度情報を推定するために、オブジェクトは前景深度に位置するものと仮定してもよい。前景深度は、いずれかの位置からオブジェクトまでの距離を意味する。例えば、前景深度３Ｄ情報、処理装置の位置、測定部の位置、送信部の位置、深度カメラの位置などのような、いずれかの位置からオブジェクトまでの距離を意味する。

【0069】

また、バックグラウンドは、後景深度に位置するものと仮定してもよい。後景深度は、いずれかの位置からバックグラウンドまでの距離を意味する。例えば、後景深度３Ｄ情報、処理装置の位置、測定部の位置、送信部の位置、深度カメラの位置などのような、いずれかの位置からバックグラウンドまでの距離を意味する。

【0070】

オブジェクトの透明度が推定されてもよい。推定された透明度はオブジェクトに関する値として、０よりも大きいか同一であり、１よりも小さいか同一の値が選択されてもよい。

【0071】

パルス（ｐｕｌｓｅ）３１０が前記背景にぶつかったり照射する場合、バックグラウンドから反射した第２反射信号を仮定して後景深度情報３２０が算出されてもよい。後景深度情報３２０はオブジェクトに関する値として、例えば、パルス３１０が前記背景にぶつかる場合、オブジェクトを透過して仮定された後景深度でバックグラウンドから反射した第２反射信号を仮定して算出されてもよい。例えば、オブジェクトが推定された後景深度（ｅｓｔｉｍａｔｅｄ ｂａｃｋｇｒｏｕｎｄ ｄｅｐｔｈ）に位置すると仮定し、予め決定したモデリングによって、前記推定された後景深度情報３２０が算出されてもよい。

【0072】

例えば、パルス３１０によってバックグラウンドから反射した信号が推定されてもよい。パルス３１０が前記背景にぶつかる場合、バックグラウンドから反射した信号は、深度カメラからバックグラウンド、そしてバックグラウンドから深度カメラまで進行するため、図３に示すt_b（３２３）だけの時間が遅延される。また、オブジェクトを透過しながら、その大きさもr_b・A₀(３２２)に減少する。ここで、r_bは、オブジェクトの推定された透明度により決定される定数として、「０」よりは大きいか同一であり、「１」よりも小さいか同一の値である。オブジェクトの推定された透明度が大きいほどr_bの値は大きくなる。また、バックグラウンドから反射した信号の長さはT₀（３２１）である。

【0073】

パルス３１０が前記オブジェクトにぶつかる場合、オブジェクトから反射した第１反射信号を用いて前景深度情報３３０が算出されてもよい。前景深度情報３３０はオブジェクトに関する値として、例えば、推定された前景深度でオブジェクトから反射した第１反射信号を仮定して算出されてもよい。例えば、オブジェクトが推定された前景深度に位置すると仮定し、予め決定したモデリングによって前記推定された前景深度情報３３０が算出されてもよい。

【0074】

例えば、パルス３１０が前記オブジェクトにぶつかる場合、オブジェクトから反射した信号が推定されてもよい。オブジェクトから反射した信号は、深度カメラからオブジェクト、そして、オブジェクトから深度カメラまで進行するため、図３に示すt_f（３３３）だけの時間が遅延される。また、大きさもr_f・A₀（３３２）に減少する。ここでr_f、は、定数として「０」より大きいか同一であり、「１」より小さいか同一の値である。また、オブジェクトから反射した信号の長さはT₀（３３１）である。

【0075】

前景深度情報、後景深度情報、及びオブジェクトの推定された透明度に基づいて第２深度情報３４０が推定されてもよい。

【0076】

深度カメラが受信するものと推定される信号３４１は、バックグラウンドから反射した第２反射信号と、オブジェクトから反射した第１反射信号との和または組合のように表現されてもよい。それだけではなく、深度カメラが受信するものと推定された信号３４１は、バックグラウンドとオブジェクトとの間で繰り返し反射する信号を含んでもよい。深度カメラが受信するものと推定される信号３４１が算出された後、信号３４１に基づいて第２深度情報３４０が推定されてもよい。

【0077】

図４は、オブジェクトの深度情報を決定する例示的な実施形態を説明するための図である。

【0078】

図４を参照すると、オブジェクト４２０の後方にはバックグラウンド４３０が位置する。深度カメラ４１０を用いてオブジェクト４２０を撮影した映像には、バックグラウンド４３０に関する情報が含まれてもよい。特にオブジェクト４２０と光の少なくとも一部を透過させる場合（例えば、オブジェクト４２０が透明であるか半透明な場合）、オブジェクト４２０を撮影した画素にはオブジェクト４２０から反射した信号だけではなく、バックグラウンド４３０から反射した信号も含まれてもよい。

【0079】

したがって、深度カメラ４１０を用いて受信された信号を分析して推定された第２深度情報は、下記の数式（２）のように、オブジェクト４２０の推定された前景深度、バックグラウンド４３０の推定された後景深度、及びオブジェクト４２０の推定された透明度によって決定される値であってもよい。

【0080】

【数2】

ここで、z^は推定された第２深度情報であり、z_fは前景深度情報として、オブジェクト４２０の推定された前景深度でオブジェクト４２０から反射した反射信号を仮定して算出された値であってもよい。また、z_bは後景深度情報として、バックグラウンド４３０の推定された後景深度でバックグラウンド４３０から反射した反射信号を仮定して算出された値であってもよい。

【0081】

また、tはオブジェクト４２０の推定された透明度として、tの値が「０」である場合、オブジェクト４２０は不透明なオブジェクトであり、tの値が「１」の場合にオブジェクト４２０は完全に透明なオブジェクトである。tは０よりも大きいか同一であり、１よりも小さいか同一の値であってもよい。ここで、f(x)は関数を意味し、xは受信された信号の強度であってもよい。

【0082】

一側面によると、前記数式（２）は下記の数式（３）のようにオブジェクト４２０から反射した信号及びバックグラウンド４３０から反射した信号を区分して表現されてもよい。

【0083】

【数3】

ここで、g^-1(x)は関数g(x)の逆関数を意味し、g(x)は信号を受信する深度カメラの特性に応じて決定される関数であってもよい。L_f（４４０）はオブジェクト４２０の明るさであり、L_b（４５０）はバックグラウンド４３０の明るさであってもよい。

【0084】

数式（３）で、g^-1(x)に入力されたパラメータは３つの成分の和で構成される。最初の成分は、オブジェクト４２０から反射した信号の強度を示す。最初の成分は、オブジェクト４２０の前景深度情報z_fの自乗に反比例し、オブジェクト４２０の明るさL_f（４４０）に比例する。また、最初の成分はg(z_f)に比例して、オブジェクト４２０が透明で透明度tが「１」に近接すれば小さい値を有し、オブジェクト４２０が不透明で透明度tが「０」に近接すれば大きい値を有する。

【0085】

また、２番目の成分は、バックグラウンド４３０から反射した信号の強度を示す。２番目の成分はオブジェクト４２０の後景深度情報z_bの自乗に反比例し、バックグラウンド４３０の明るさL_b（４５０）に比例する。また、２番目の成分はg(z_b)に比例して、オブジェクト４２０が透明で透明度tが「１」に近接すれば大きい値を有し、オブジェクト４２０が不透明で透明度tが「０」に近接すれば小さい値を有する。

【0086】

３番目の成分は、バックグラウンド４３０から反射した信号が再びオブジェクト４２０に反射する場合を示す。オブジェクト４２０から反射した信号は再びバックグラウンド４３０に反射し、バックグラウンド４３０から反射した信号は再びオブジェクト４２０に反射してもよい。数式（３）において、ｉはバックグラウンド４３０からの反射回数を示す。３番目の成分は、オブジェクト４２０の後景深度情報z_b及びオブジェクト４２０の後景深度情報z_bと前景深度情報z_fとの差に反比例する。

【0087】

前述の内容を参考すると、推定部は、オブジェクト４２０の前景深度、後景深度及び透明度tを特定の値に推定し、推定された値に基づいて第２深度情報z^を推定してもよい。

【0088】

ここで、バックグラウンドが平たいと仮定すると、後景深度情報z_bは、深度カメラを用いて撮影した深度映像の全体に対して同一の値に仮定してもよい。また、オブジェクト４２０の透明度tも深度映像の全体に対して同一の値に仮定してもよい。

【0089】

そして、推定部は、オブジェクト４２０が深度カメラ４１０に対応する特定の直線上に位置するものと仮定してもよい。この場合に、オブジェクト４２０の位置は３次元空間上の位置ではなく、１次元空間上の位置に制限される。

【0090】

比較部は、測定された第１深度情報と推定された第２深度情報とを比較する。一側面によると、比較部は、測定された第１深度情報と推定された第２深度情報との間の差が予め決定した範囲以内に含まれているか否かを判断する。

【0091】

判断部は、比較部の比較結果を用いてオブジェクトの第３深度情報を決定する。一側面によると、測定された第１深度情報と推定された第２深度情報との間の差が予め決定した範囲以内である場合、判断部はオブジェクトの第３深度情報が前記推定された第２深度情報であると判断する。また、判断部は、オブジェクト４２０が深度カメラ４１０に対応する特定の直線上に位置し、深度カメラからの距離は第３深度情報（例えば、前記オブジェクトの実際の深度情報）を用いて生成されてもよい。

【0092】

他の側面によると、測定された第１深度情報と推定された第２深度情報との間の差が予め決定した範囲内に含まれていない場合、判断部は、第２深度情報を推定するための仮定（オブジェクト４２０の前景深度情報z_f、後景深度情報z_b、及びオブジェクト４２０の透明度tのうち少なくとも１つに対する仮定）が妥当ではないと判断する。推定部は仮定された前景深度、後景深度、及び透明度のうち少なくとも１つを変更して第２深度情報を再推定し、比較部２３０は、第１深度情報と再推定された第２深度情報とを比較してもよい。

【0093】

例えば、測定された第１深度情報と推定された第２深度情報が同一であるか、測定された第１深度情報と推定された第２深度情報との間の差が予め一定の範囲以内である場合、オブジェクト４２０の第３深度情報（例えば、オブジェクト４２０の実際の深度情報）は、前記第２深度情報を算出するために用いられた、オブジェクト４２０の推定された前景深度であると決定されてもよい。

【0094】

しかし、前記測定された第１深度情報と前記推定された第２深度情報との間の差が予め決定した範囲内に含まれない場合、推定部は、前記オブジェクトの推定されたオブジェクト４２０の前景深度、バックグラウンド４３０の後景深度、及びオブジェクト４２０の透明度を変更して前記第２深度情報を再推定してもよい。前記第１深度情報と前記再推定された第２深度情報とが同一であるか、測定された第１深度情報と前記再推定された第２深度情報との間の差が予め一定の範囲以内である場合、判断部はオブジェクト４２０の第３深度情報（例えば、オブジェクト４２０の実際の深度情報）が前記変更された前景深度であると判断する。もし、再推定による第２深度情報と測定された第１深度情報との差が依然として予め決定した範囲内に含まれていない場合、推定部は、前記オブジェクトの推定されたオブジェクト４２０の前景深度、バックグラウンド４３０の後景深度、及びオブジェクト４２０の透明度を再び変更して前記第２深度情報を再推定してもよい。

【0095】

図５Ａ及び図５Ｂは、複数の深度カメラを用いてオブジェクトの深度情報を測定する例示的な実施形態を説明するための図である。図５Ａは、オブジェクトの仮定された前景深度が不正確な場合を示す図であり、図５Ｂはオブジェクトの仮定された前景深度が正確な場合を示す図である。

【0096】

図５Ａにおいて、複数の深度カメラ５２１、５２２は、バックグラウンド５１０から反射した信号及びオブジェクト５２０から反射した信号を受信する。

【0097】

深度カメラ５２１、５２２に対応する一直線上にオブジェクト５２０の位置が仮定してもよい。オブジェクト５２０の仮定された位置５５１により前景深度情報が算出され、算出された前景深度情報に基づいて第２深度情報が推定されてもよい。オブジェクト５２０の仮定された位置５５１に応じてオブジェクトの前景深度が推定されてもよい。

【0098】

図５Ａにおいて、オブジェクト５２０の表面５５０は仮定された位置５５１より遠方に位置してもよい。したがって、仮定された前景深度は不正確であり、仮定された前景深度に基づいて推定された第２深度情報５４１、５４２は、測定された第１深度情報５３１、５３２と互いに異なってもよい。

【0099】

図５Ｂでは、仮定された位置５９３がオブジェクト５２０の表面に正確に設定されている。この場合、仮定された前景深度に基づいて推定された第２深度情報と測定された第１深度情報５８１、５８２とは一致してもよい。

【0100】

図５に示すように、複数の深度カメラ５２１、５２２を用いて深度映像を撮影し、撮影された深度映像を分析する場合には、各深度カメラ５２１、５２２を用いて取得された情報を組み合わせてオブジェクト５２０、５７０の位置またはオブジェクト５２０、５７０の深度情報をより正確に決定することができる。

【0101】

図５では、２つの深度カメラ５２１、５２２を用いた実施形態が示されているが、他の実施形態によると、３Ｄ情報処理装置は、Ｎ個（ここで、Ｎは１と同一であるか大きい整数）の深度カメラを用いて予め決定したモデリングによって、深度情報を決定してもよい。多重深度カメラを用いる場合、深度は各カメラによって時間ドメインで数回測定される必要がない。これは、多重深度カメラを用いる場合、多重深度情報は同時に単一オブジェクト表面に対して取得される。より詳細には、実施形態においてオブジェクトの前景、背景、及び透明度は、例えば、予め決定したモデルを用いて深度測定の同時に推定された与えられたグループであってもよい。

【0102】

モデリングは、オブジェクト５７０に関する値を入力にし、オブジェクト５７０の推定された第２深度情報を出力にする関数であってもよい。例えば、モデリングは、オブジェクト５７０の推定された前景深度情報、後景深度情報、及び透明度のうち少なくとも１つ以上（例えば、全て）を入力にし、オブジェクト５７０の推定された第２深度情報を出力にする関数であってもよい。前景深度情報は、オブジェクト５７０の推定された前景深度でオブジェクト５７０から反射した第１反射信号を仮定して算出される値であってもよい。後景深度情報は、オブジェクト５７０を透過して前記推定された後景深度でバックグラウンド５６０から反射した第２反射信号を仮定して算出される値であってもよい。前記透明度は、オブジェクト５７０に対して推定される透明度であってもよい。

【0103】

この場合、オブジェクト５７０の前景深度、バックグラウンド５６０の後景深度、及びオブジェクト５７０の透明度が推定され、前記推定された３つの値に基づいてオブジェクト５７０の第２深度情報が推定されてもよい。この第２深度情報を深度カメラ５９１、５９２によって測定された深度情報と比較することによって、オブジェクト５７０の実際の深度情報を取得することができる。したがって、３つ以上の深度カメラを用いて測定された深度情報と推定された第２深度情報とを比較すると、より正確なオブジェクト５７０の実際の深度情報を生成することができる。

【0104】

一実施形態によると、図２に示された測定部２１０は、Ｎ個（Ｎは１と同一であるか大きい整数）の深度カメラを含み、Ｎ個の深度カメラに対応するＮ個の第１深度情報を生成してもよい。前記Ｎ個の深度カメラのそれぞれは、オブジェクト２６０から反射した信号を受信する。推定部２２０は、前景深度、後景深度、及び透明度のうち少なくとも１つを仮定する。推定部２２０は、仮定された前景深度、後景深度、及び透明度に基づいて、Ｎ個の深度カメラに対応するＮ個の第２深度情報を推定してもよい。比較部２３０は、Ｎ個の深度カメラに対応するＮ個の第１深度情報のそれぞれとＮ個の深度カメラに対応するＮ個の第２深度情報をそれぞれ比較してもよい。判断部２４０は、前記比較部２３０の比較結果を用いてオブジェクト２６０の第３深度情報を決定してもよい。３つ以上の深度カメラを用いて深度情報を測定する場合（例えば、前記Ｎが３以上が場合）、より正確なオブジェクト２６０の実際の深度情報を生成してもよい。

【0105】

図６は、複数の深度カメラを備えた３Ｄ情報処理装置の一実施形態を示す図である。例示的な実施形態に係る３Ｄ情報処理装置６００は、図６に示すように、複数の深度カメラ６１０、６２０、６３０を備える。３Ｄ情報処理装置６００は、複数の深度カメラ６１０、６２０、６３０を用いてオブジェクトに対する深度映像をそれぞれ撮影し、撮影された深度映像を分析してオブジェクトに対する深度情報をより正確かつ迅速に決定することができる。

【0106】

複数の深度カメラ６１０、６２０、６３０のそれぞれは、オブジェクトの深度情報を測定してもよい。３Ｄ情報処理装置６００のプロセッサ（図示せず）は、オブジェクトの前景深度、バックグラウンドの後景深度、及びオブジェクトの透明度を仮定し、オブジェクトの深度情報を推定してもよい。３Ｄ情報処理装置６００のプロセッサは、前記推定された深度情報と前記測定された深度情報とを比較することによって、オブジェクトの深度情報を決定してもよい。本実施形態によると、オブジェクトが光を透過する場合にも、比較的に正確なオブジェクトの深度情報を生成することができる。

【0107】

実施形態に係る３Ｄ情報処理装置６００は、デジタルカメラ、携帯電話、携帯用電子機器などの様々な電子製品の一部として実現してもよい。

【0108】

図６は、深度カメラが３つの場合を示すが、３Ｄ情報処理装置６００に含まれる深度カメラの個数は４個以上であってもよい。また、３Ｄ情報処理装置６００に配置される深度カメラ６１０、６２０、６３０の位置は、図６に示すものと異なってもよい。

【0109】

図７は、例示的な実施形態に係る３Ｄ情報処理方法を説明するためのフローチャートである。

【0110】

ステップＳ７１０において、３Ｄ情報処理装置は、オブジェクトの第１深度情報を測定する。ここで、３Ｄ情報処理装置は、深度カメラで実現される従来のＴＯＦ方式を用いて第１深度情報を測定してもよい。

【0111】

一側面によると、３Ｄ情報処理装置はオブジェクトの方向にパルスを送信し、送信されたパルスがオブジェクトから反射した信号を用いてオブジェクトの第１深度情報を測定してもよい。一側面によると、３Ｄ情報処理装置が送信するパルスは赤外線パルスであってもよい。オブジェクトが光を透過する性質を有する場合、３Ｄ情報処理装置は赤外線が前記背景に照射される場合にオブジェクトから反射した信号、及び赤外線がオブジェクトを透過してバックグラウンドから反射した信号を用いてオブジェクトの第１深度情報を測定してもよい。

【0112】

ステップＳ７２０において、３Ｄ情報処理装置はオブジェクトの位置を推定し、推定された位置、前景深度情報、後景深度情報に基づいてオブジェクトの第２深度情報を推定する。一実施形態によると、３Ｄ情報処理装置は、前記オブジェクトのチュンシン位置のように前記オブジェクトが位置する概略的な位置を推定することによって前記オブジェクトの位置を推定してもよい。

【0113】

ここで、前記オブジェクトの前景深度情報は、オブジェクトの推定された位置でオブジェクトから反射した第１反射信号を仮定して推定されてもよい。後景深度情報は、オブジェクトを透過してバックグラウンドから反射した第２反射信号を仮定して算出されてもよい。一側面によると、３Ｄ情報処理装置は、前記説明された数式（２）または数式（３）により第２深度情報を推定してもよい。

【0114】

一側面によると、３Ｄ情報処理装置はオブジェクトの透明度を推定し、推定された透明度、前記オブジェクトの前記推定された前景深度情報、前記後景深度情報に基づいてオブジェクトの第２深度情報を推定してもよい。ここで、推定された透明度はオブジェクトに関する値として、０よりも大きいか同一であり、１よりも小さいか同一の値であってもよい。

【0115】

ステップＳ７３０において、３Ｄ情報処理装置は、前記オブジェクトの測定された第１深度情報と前記オブジェクトの推定された第２深度情報とを比較する。一側面によると、３Ｄ情報処理装置は、第１深度情報と第２深度情報との間の差が所定の閾値よりも小さいか否かを判断する。

【0116】

もし、前記オブジェクトの第１深度情報と前記オブジェクトの第２深度情報との間の差が所定の閾値よりも小さくなければ、３Ｄ情報処理装置は、前記オブジェクトの第１深度情報と前記オブジェクトの第２深度情報と間の差が予め一定の範囲以内に含まれていないと判断する。この場合、３Ｄ情報処理装置は、ステップＳ７２０でオブジェクトの位置を他の値に再推定し、前記オブジェクトの再推定された位置に応じてオブジェクトの第２深度情報を推定してもよい。もし、２番目の繰り返しで、前記オブジェクトの前記第１深度情報と前記オブジェクトの前記第２深度情報との間の差が予め決定した閾値よりも大きいか同一であれば、前記３Ｄ情報処理装置は、再び更なる値に前記オブジェクトの前記位置を再推定してもよく、他の位置値を有する以後繰り返し算出は、前記第１深度情報と前記第２深度情報との間の差が予め決定した閾値よりも小さくなるまで行われてもよい。他の実施形態で、前記３Ｄ情報処理装置は、第１深度情報と第２深度情報との間の差が最小化するまで前記オブジェクトの前記位置を再推定してもよい。

【0117】

もし、１深度情報と第２深度情報との間の差が所定の閾値よりも小さければ、３Ｄ情報処理装置は、オブジェクトの第３深度情報（例えば、オブジェクトの実際の深度情報）がオブジェクトの推定された前景深度であると決定してもよい。または、３Ｄ情報処理装置は、オブジェクトの第３深度情報（例えば、オブジェクトの実際の深度情報）が推定された第２深度情報と決定してもよい。

【0118】

更なる実施形態によると、ステップＳ７２０において、３Ｄ情報処理装置はオブジェクトの透明度を仮定し、仮定された透明度に基づいてオブジェクトの第２深度情報を推定する。

【0119】

この場合に、ステップＳ７３０において、第１深度情報と第２深度情報との間の差が所定の閾値よりも小さくなければ、３Ｄ情報処理装置は、ステップＳ７２０でオブジェクトの透明度を他の値に再推定し、再推定された透明度に応じてオブジェクトの第２深度情報を推定する。例えば、前記オブジェクトの前記第１深度情報と前記オブジェクトの前記第２深度情報との間の差が予め定めた閾値よりも大きいか同一である場合、最初の繰り返し結果で０．１の透明度値が用いられる場合、０．２の透明度値は２番目の繰り返しで用いてもよい。２番目の繰り返しで前記オブジェクトの第１深度情報と前記オブジェクトの第２深度情報との間の差が予め定めた閾値よりも大きいか同一である場合、前記３Ｄ情報処理装置は更なる値（例えば、０．３のような値）として透明度を再推定してもよく、他の透明度を有する以後繰り返し算出は、第１深度情報と第２深度情報との間の差が予め定めた閾値よりも小さくなるまで行われてもよい。

【0120】

第１深度情報と第２深度情報との間の差が所定の閾値よりも小さければ、ステップＳ７４０において、３Ｄ情報処理装置はオブジェクトに対して推定された透明度がオブジェクトの実際透明度であると判断する。

【0121】

実施形態に係る方法は、 様々なコンピュータ手段を介して様々な処理を実行することができるプログラム命令の形態で実現され、コンピュータ読取可能な記録媒体に記録されてもよい。コンピュータ読取可能な媒体は、プログラム命令、データファイル、データ構造などのうち１つまたはその組合せを含んでもよい。媒体に記録されるプログラム命令は、本発明の目的のために特別に設計されて構成されたものでもよく、コンピュータソフトウェア分野の技術を有する当業者にとって公知のものであり、使用可能なものであってもよい。コンピュータ読取可能な記録媒体の例としては、ハードディスク、フロッピー（登録商標）ディスク及び磁気テープのような磁気媒体、ＣＤ−ＲＯＭ、ＤＶＤのような光記録媒体、光ディスクのような光磁気媒体、及びＲＯＭ、ＲＡＭ、フラッシュメモリなどのようなプログラム命令を保存して実行するように特別に構成されたハードウェア装置が含まれてもよい。プログラム命令の例には、コンパイラによって作られるような機械語コードだけでなく、インタープリタなどを用いてコンピュータによって実行できる高級言語コードが含まれる。前記したハードウェア装置は、本発明の動作を行うために１つ以上のソフトウェアモジュールとして作動するように構成されてもよく、その逆も同様である。前述したソフトウェアモジュールは、１つ以上のモジュールに共通するプロセッサにより、または当該のユニットに固有の専用プロセッサのようなコントローラにより実行されてもよい。前述の方法は、コンピュータまたはプロセッサの一般的な用途上で実行されたり前述した装置のような特定装置上で実行されてもよい。

【0122】

上述したように、本発明を限定された実施形態と図面によって説明したが、本発明は、上記の実施形態に限定されることなく、本発明が属する分野における通常の知識を有する者であれば、このような実施形態から様々な修正及び変形が可能である。

【0123】

したがって、本発明の範囲は、開示された実施形態に限定されるものではなく、特許請求の範囲だけではなく特許請求の範囲と均等なものなどによって定められるものである。

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】