特許 6883608 深度マップに対して画像位置合せを行って深度データを最適化することができる深度データ処理システム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】6883608

(24)【登録日】2021年5月12日

(45)【発行日】2021年6月9日

(54)【発明の名称】深度マップに対して画像位置合せを行って深度データを最適化することができる深度データ処理システム

(51)【国際特許分類】

   G06T 7/593 20170101AFI20210531BHJP

   G06T 7/521 20170101ALI20210531BHJP

   G06T 1/00 20060101ALI20210531BHJP

【ＦＩ】

   G06T7/593

   G06T7/521

   G06T1/00 315

【請求項の数】8

【全頁数】13

(21)【出願番号】特願2019-99196(P2019-99196)

(22)【出願日】2019年5月28日

(65)【公開番号】特開2020-42772(P2020-42772A)

(43)【公開日】2020年3月19日

【審査請求日】2019年5月28日

(31)【優先権主張番号】201811067113.8

(32)【優先日】2018年9月13日

(33)【優先権主張国】CN

【前置審査】

(73)【特許権者】

【識別番号】512124762

【氏名又は名称】虹▲軟▼科技股▲ふん▼有限公司

(74)【代理人】

【識別番号】100107766

【弁理士】

【氏名又は名称】伊東 忠重

(74)【代理人】

【識別番号】100070150

【弁理士】

【氏名又は名称】伊東 忠彦

(74)【代理人】

【識別番号】100091214

【弁理士】

【氏名又は名称】大貫 進介

(72)【発明者】

【氏名】孫 昊

(72)【発明者】

【氏名】林 建華

(72)【発明者】

【氏名】林 崇仰

【審査官】 粕谷 満成

(56)【参考文献】

【文献】 特開２０１６−０８５６０２（ＪＰ，Ａ）

(58)【調査した分野】（Int.Cl.，ＤＢ名）

Ｇ０６Ｔ ７／５９３

Ｇ０６Ｔ ７／５２１

Ｇ０６Ｔ １／００

(57)【特許請求の範囲】

【請求項1】

深度データ処理システムを動作させるための方法であって、前記深度データ処理システムは、第１の深度取込み装置、第２の深度取込み装置、及び深度処理ユニットを有しており、当該方法は、
深度センサを含む少なくとも第１の深度取込み装置によって第１の深度マップを生成するステップと、
少なくとも１つのカメラを含む第２の深度取込み装置によって第２の深度マップを生成するステップと、
前記深度処理ユニットが、第１の深度マップ及び第２の深度マップに対して画像位置合せを行って、第１の深度マップの画素に対応する第２の深度マップの変換座標を生成するステップと、
前記深度処理ユニットが、第１の深度マップの深度データと第２の深度マップの深度データとを位置合わせして、第１の深度マップの前記画素に対応する第２の深度マップの前記変換座標に従って、最適化された深度マップを生成するステップであって、第１の深度マップの第１の画素に対応する第２の深度マップの座標が第２の深度マップの第２の画素に対応しており、且つ第２の画素に深度値が与えられていない場合に、前記深度処理ユニットが、前記最適化された深度マップにおける第１の画素及び第２の画素に対応する第３の画素に第１の画素の深度値に応じた深度値をレンダリングするステップを含む、生成するステップと、を含み、
第１の深度マップの画素に対応する第２の深度マップの前記変換座標は、以下の式から導き出され、

【数2】

【数3】

Ｚ_ｍｉｎは、第１の深度取込み装置によって取得された第１の深度マップの画素の最小有効深度値であり、ｘ_ｍｉｎ及びｙ_ｍｉｎは、前記最小有効深度値での前記画素の前記変換座標であり、ｘ_ｍａｘ及びｙ_ｍａｘは、深度値が無限大になるときの前記画素の変換座標であり、Ｚ_ｄは、第１の深度取込み装置によって取得された第１の深度マップの前記画素の深度値であり、ｘ_ｄ及びｙ_ｄは、第２の深度マップの前記画素の前記変換座標である、
方法。

【請求項2】

前記深度処理ユニットが、第１の深度マップ及び第２の深度マップに対して画像位置合せを行って、第１の深度マップの前記画素に対応する第２の深度マップの前記変換座標を生成するステップは、
前記深度処理ユニットが、第１の深度マップの前記画素の座標を第１の深度取込み装置の第１の三次元座標系の座標に変換して、第１の深度取込み装置の内部パラメータに従って、第１の深度マップの前記画素の第１の三次元座標を生成するステップと、
前記深度処理ユニットが、第１の深度取込み装置及び第２の深度取込み装置の外部パラメータに従って、第１の深度マップの前記画素の第１の三次元座標を第２の深度取込み装置の第２の三次元座標系の第２の三次元座標に変換するステップと、
前記深度処理ユニットが、第２の深度取込み装置の内部パラメータに従って、第１の深度マップの前記画素の第２の三次元座標を、第１の深度マップの前記画素に対応する第２の深度マップの前記変換座標に変換するステップと、を含む、請求項１に記載の方法。

【請求項3】

前記深度処理ユニットが、第１の深度マップの前記深度データと第２の深度マップの前記深度データとを位置合わせして、第１の深度マップの前記画素に対応する第２の深度マップの前記変換座標に従って、前記最適化された深度マップを生成するステップは、
第１の深度マップの第１の画素に対応する第２の深度マップの座標が第２の深度マップの第２の画素に対応しており、且つ第２の画素に不合理な深度値が与えられている場合に、前記深度処理ユニットが、前記最適化された深度マップにおける第１の画素及び第２の画素に対応する第３の画素に第１の画素の深度値に応じた深度値をレンダリングするステップを含む、請求項１に記載の方法。

【請求項4】

前記深度処理ユニットが、第１の深度マップの前記深度データと第２の深度マップの前記深度データとを位置合わせして、第１の深度マップの前記画素に対応する第２の深度マップの前記変換座標に従って、前記最適化された深度マップを生成するステップは、
第１の深度マップの解像度が第２の深度マップの解像度より小さく、且つ第１の深度マップの第１の画素に対応する第２の深度マップの座標が第２の深度マップの複数の第２の画素に対応する場合に、前記深度処理ユニットが、前記最適化された深度マップにおける前記複数の第２の画素に対応する複数の第３の画素に第１の画素の深度値及び前記複数の第２の画素の深度値に応じた深度値をレンダリングするステップを含む、請求項１に記載の方法。

【請求項5】

第１の深度取込み装置が、少なくとも１つのカメラによって少なくとも１つの第１の画像を取り込むステップと、
前記深度処理ユニットが、前記少なくとも１つの第１の画像に従って第１の深度マップを生成するステップと、をさらに含む、請求項１に記載の方法。

【請求項6】

前記深度処理ユニットは、立体視アルゴリズムに従って第２の深度マップを生成する、請求項５に記載の方法。

【請求項7】

第２の深度取込み装置が、少なくとも１つのカメラによって少なくとも１つの第２の画像を取り込むステップと、
前記深度処理ユニットが、前記少なくとも１つの第２の画像に従って第２の深度マップを生成するステップと、をさらに含む、請求項１に記載の方法。

【請求項8】

第１の深度取込み装置は、飛行時間によって又は構造化光を解析することによって第１の深度マップを生成する、請求項１に記載の方法。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、深度データ処理システムに関し、より具体的には、深度マップに対して画像位置合せを行って深度データを最適化することができる深度データ処理システムに関する。

【背景技術】

【0002】

電子装置の進歩及びマルチメディア技術の発展により、益々多くのアプリケーションが、三次元ディスプレイ技術による豊富な視覚効果をユーザに提供している。その技術は現実及び仮想世界を統合して新しい経験をユーザに提供する。電子装置によって現実世界の外観を捉えるために、従来技術では、カメラによって画像データを取得することに加えて、大抵の場合に、対象物の距離を検出するために深度センサが適用される。対象物の距離データを取得した後に、電子装置は、異なる焦点距離で画像を計算するために、又は仮想現実において対応する画像フレームを生成するために、動き認識をさらに行うことができる。

【0003】

しかしながら、従来技術では、単一の深度センサが限られた範囲の被写体深度を取り込み、深度センサがハードウェアによって制限されることがあるので、テクスチャが繰り返される領域又は光が殆ど吸収される領域においてより大きな誤差範囲を有することがある。そのため、有効な深度値を特定できない可能性がある。さらに、単一の深度データはベースラインを有していないので、得られた深度値の正確さを検証することは容易ではなく、これはその後のアプリケーションにおいてエラーを引き起こす可能性がある。

【発明の概要】

【0004】

一実施形態は、深度データ処理システムの動作方法を開示する。深度データ処理システムは、第１の深度取込み装置（depth capture device）と、第２の深度取込み装置と、深度処理ユニットとを有する。方法は、少なくとも第１の深度取込み装置によって第１の深度マップを生成するステップと、少なくとも第２の深度取込み装置によって第２の深度マップを生成するステップと、深度処理ユニットが、第１の深度マップ及び第２の深度マップに対して画像位置合せを行って、第１の深度マップの画素に対応する第２の深度マップの変換座標を求めるステップと、深度処理ユニットが、第１の深度マップの深度データと第２の深度マップの深度データとを位置合わせして、第１の深度マップの画素に対応する第２の深度マップの変換座標に従って、最適化された深度マップを生成するステップと、を含む。

【0005】

本発明のこれら及び他の目的は、様々な図及び図面に示される好ましい実施形態の以下の詳細な説明を読んだ後に、当業者には確かに明らかになるだろう。

【図面の簡単な説明】

【0006】

【図1】本発明の一実施形態による深度データ処理システムの図である。

【図2】一実施形態による第１の深度マップと第２の深度マップとの相関図である。

【図3】一実施形態による第１の深度マップの一部の図である。

【図4】一実施形態による第２の深度マップの一部の図である。

【図5】第１の深度マップ及び第２の深度マップに従って生成された最適化された深度マップを示す図である。

【図6】一実施形態による第１の深度マップと第２の深度マップとの相関図である。

【図7】別の実施形態による深度データ処理システムの図である。

【図8】別の実施形態による深度データ処理システムの図である。

【図9】図１又は図２の深度データ処理システムの動作方法のフローチャートである。

【図10】図９のステップＳ４３０のサブステップのフローチャートである。

【発明を実施するための形態】

【0007】

図１は、本発明の一実施形態による深度データ処理システム１００の図である。深度データ処理システム１００は、第１の深度取込み装置１１０、第２の深度取込み装置１２０、及び深度処理ユニット１３０を有する。

【0008】

深度データ処理システム１００は、第１の深度取込み装置１１０によって第１の深度マップＤ１を生成し、第２の深度取込み装置１２０によって第２の深度マップＤ２を生成することができる。図１の実施形態では、第１の深度取込み装置１１０は、飛行時間（ＴＯＦ）センサ又は構造化光センサであり得る内部深度センサ１１２によって第１の深度マップＤ１を生成することができる。第１の深度取込み装置１１０は、深度センサ１１２によって感知された結果を直接的に解析し、第１の深度マップＤ１を生成することができる。

【0009】

また、第２の深度取込み装置１２０は、共通の可視光カメラ１２２及び１２４を含み、これらカメラによって取り込まれた画像を深度処理ユニット１３０に送信することができる。深度処理ユニット１３０は、取り込んだ画像を左眼画像及び右眼画像として指定し、立体視（binocular vision）アルゴリズムを適用して、図２に示されるような第２の深度マップＤ２を生成することができる。しかしながら、本発明は、第２の深度取込み装置１２０が２つのカメラ１２２及び１２４だけを含み、又は立体視アルゴリズムだけを適用して第２の深度マップＤ２を生成することに限定するものではない。他の実施形態では、第２の深度取込み装置１２０は、単一のカメラによって取り込まれた画像によって、及び他の相関アルゴリズムを使用することによって、第２の深度マップＤ２を生成することもできる。

【0010】

換言すれば、図１の実施形態では、第１の深度取込み装置１１０は深度データを生成するように特に設計されたハードウェアを含み得、第２の深度取込み装置１２０は画像を取り込むために元々使用される可視光カメラを含み得る。従って、画像を取り込んだ後に深度処理ユニット１３０による更なる計算処理が必要となり、それによって深度データ処理システム１００が必要とする第２の深度マップＤ２を生成することができる。このようにして、第１の深度取込み装置１１０に加えて、深度データ処理システム１００は、既存の電子装置に設けられたカメラを使用して深度データ最適化のための追加の深度データを生成し、追加のハードウェア要素を減らすことができる。

【0011】

第１の深度マップＤ１及び第２の深度マップＤ２が生成された後に、深度処理ユニット１３０は、第１の深度マップＤ１及び第２の深度マップＤ２に対して画像位置合せを行い、第１の深度マップＤ１の画素に対応する第２の深度マップＤ２の変換座標を求めることができる。次に、その深度処理ユニット１３０は、第１の深度マップＤ１の深度データと第２の深度マップＤ２の深度データとを位置合わせして、図５に示されるように変換座標に従って、最適化された深度マップＤＡを生成することができる。

【0012】

いくつかの実施形態では、深度処理ユニット１３０は、第１の深度マップＤ１の画素の座標を第１の深度取込み装置１１０の第１の三次元座標系の座標に変換して、第１の深度取込み装置１１０の内部パラメータに従って、第１の深度マップＤ１の画素の第１の三次元座標を生成することができる。次に、深度処理ユニット１３０は、第１の深度取込み装置１１０及び第２の深度取込み装置１２０の外部パラメータに従って、第１の深度マップＤ１の画素の第１の三次元座標を第２の深度取込み装置１２０の第２の三次元座標系の第２の三次元座標に変換することができる。最後に、深度処理ユニット１３０は、第２の深度取込み装置１２０の内部パラメータに従って、第１の深度マップＤ１の画素の第２の三次元座標を第１の深度マップＤ１の画素に対応する第２の深度マップＤ２の変換座標に変換することができる。

【0013】

図２は、一実施形態における第１の深度マップＤ１と第２の深度マップＤ２との相関図である。図２において、第１の深度マップＤ１の画素Ｐ１を例にとると、画素Ｐ１の深度値が無限大に近づくと、画素Ｐ１は三次元空間内の点Ａに対応し得る。第２の深度マップＤ２の点Ａは、画素ＰＡの位置にくる。画素Ｐ１の深度値がＺ_ｄである場合に、画素Ｐ１は三次元空間内の点Ｂに対応し、点Ｂは第２の深度マップＤ２の画素ＰＢの位置にくる。さらに、画素Ｐ１の深度が、第１の深度取込み装置１１０が取得することができる最小有効深度値Ｚ_ｍｉｎである場合に、画素Ｐ１は、三次元空間内の点Ｃに対応し得、第２の深度マップＤ２の点Ｃは、画素ＰＣの位置にくる。

【0014】

換言すれば、第１の深度マップＤ１の画素Ｐ１は、三次元空間内でのその深さの差のために、第２の深度マップＤ２の異なる位置に対応し得る。いくつかの実施形態では、第２の深度マップＤ２における画素Ｐ１に対応する画素ＰＢと第２の深度マップＤ２の画素ＰＡとの間の距離Δｘは、式１によって表すことができる。

【数1】

【0015】

式１において、パラメータＢは、第１の深度マップＤ１に対応するカメラと第２の深度マップＤ２に対応するカメラとの間のベースライン距離を表す。パラメータｆ２は、第２の深度取込み装置１２０の焦点距離を表し、パラメータＺは、第２の深度マップＤ２における画素Ｐ１の深度値である。式１及び図２によれば、深度値Ｚが無限大に近づくと、画素Ｐ１は第２の深度マップＤ２の画素ＰＡの位置に対応し、こうして距離Δｘはゼロに近づく。深度値Ｚが最小有効深度Ｚ_ｍｉｎである場合に、画素Ｐ１は第２の深度マップＤ２の画素ＰＣの位置に対応し、距離Δｘは図２に示される距離Δｘ_ｍｉｎに等しくなる。

【0016】

この場合に、第２の深度マップＤ２の画素ＰＡの座標を（ｘ_ｍａｘ，ｙ_ｍａｘ）と表し、第２の深度マップＤ２の画素ＰＣの座標を（ｘ_ｍｉｎ，ｙ_ｍｉｎ）と表すことができる場合に、次に、第２の深度マップＤ２の画素ＰＢの座標は、（ｘ_ｄ，ｙ_ｄ）と表すことができる。座標は式２及び式３から導出することができる。

【数2】

【数3】

【0017】

このようにして、深度処理ユニット１３０は、第１の深度マップＤ１の画素に対応する第２の深度マップの変換座標を求めることができる。いくつかの実施形態では、深度処理ユニット１３０は、計算の複雑さを減らすためにルックアップテーブルを使用し得る。変換座標を求めた後に、深度処理ユニット１３０は、第１の深度マップＤ１の深度データと第２の深度マップＤ２の深度データとを位置合わせして、変換座標に従って、最適化された深度マップを生成することができる。

【0018】

図３は、一実施形態による第１の深度マップＤ１の図の一部を示す。図４は、一実施形態による第２の深度マップＤ２の図の一部を示す。第１の深度マップＤ１及び第２の深度マップＤ２がそれぞれ第１の深度取込み装置１１０及び第２の深度取込み装置１２０によって生成されるので、２つの深度マップは、僅かに異なる可能性があり、互いに補完して最適化された深度マップＤＡを生成することができる。図５は、第１の深度マップＤ１及び第２の深度マップＤ２に従って生成された最適化された深度マップＤＡを示す。

【0019】

なお、図３〜図５において、画素内の三角形は、その画素が深度マップの前景に属していることを示す。画素内の円は、その画素が深度マップの背景に属していることを示す。画素内の四角形は、その画素に不合理な（unreasonable）深度値（計算誤差）があることを示す。画素にマークがない場合は、画素に値が与えられていないことを意味する。

【0020】

第１の深度マップＤ１の画素ＰＤ１_Ａが第２の深度マップＤ２の画素ＰＤ２_Ａに対応しており、画素ＰＤ２_Ａに深度値が与えられていないのならば、次に、深度処理ユニット１３０は、最適化された深度マップＤＡの対応する画素ＰＤＡ_Ａに画素ＰＤ１_Ａの深度値に応じた深度値をレンダリングする。このようにして、最適化された深度マップＤＡにおける画素ＰＤ１_Ａ及び画素ＰＤ２_Ａに対応する画素ＰＤＡ_Ａは、画素ＰＤ１_Ａの深度値に応じた深度値にレンダリングされ、円としてマークされることになる。

【0021】

同様に、第１の深度マップＤ１の画素ＰＤ１_Ｂが第２の深度マップＤ２の画素ＰＤ２_Ｂに対応しており、画素ＰＤ１_Ｂに深度値が与えられていないのならば、次に、深度処理ユニット１３０は、最適化された深度マップＤＡの対応する画素ＰＤＡ_Ｂに画素ＰＤ２_Ｂの深度値に応じた深度値をレンダリングする。このようにして、最適化された深度マップＤＡにおける画素ＰＤ１_Ｂ及び画素ＰＤ２_Ｂに対応する画素ＰＤＡ_Ｂは、画素ＰＤ２_Ｂの深度値に応じた深度値にレンダリングされ、円としてマークされることになる。

【0022】

さらに、第１の深度マップＤ１の画素ＰＤ１_Ｃが第２の深度マップＤ２の画素ＰＤ２_Ｃに対応しており、画素ＰＤ２_Ｃに不合理な深度値が与えられているのならば、次に、深度処理ユニット１３０は、最適化された深度マップＤＡの対応する画素ＰＤＡ_Ｃに画素ＰＤ１_Ｃの深度値に応じた深度値をレンダリングする。このようにして、最適化された深度マップＤＡにおいて、画素ＰＤ１_Ｃ及び画素ＰＤ２_Ｃに対応する画素ＰＤＡ_Ｃは、画素ＰＤ１_Ｃの深度値に応じた深度値にレンダリングされ、丸としてマークされることになる。

【0023】

いくつかの実施形態では、第１の深度取込み装置１１０が特に深度データを取得して第１の深度マップＤ１を生成するためのハードウェアであるため、第１の深度マップＤ１の信頼度は、第２の深度マップＤ２の信頼度より可能性が高い。この場合に、最適化された深度マップＤＡは、第１の深度マップＤ１に基づくものであり、且つ第２の深度マップＤ２によって補完され得る。第１の深度マップＤ１と第２の深度マップＤ２との両方に深度値が与えられている場合に、深度処理ユニット１３０は、深度マップＤＡの画素に第１の深度マップＤ１の深度データに応じた値を優先的にレンダリングしてもよい。しかしながら、他の実施形態では、深度処理ユニット１３０は、第２の深度マップＤ２によって第１の深度マップＤ１を補完して、システムの実際の状態に応じた最適化された深度マップＤＡを生成するようにも変更され得、又は適切な重付けで、両方の深度データを位置合わせしてもよい。

【0024】

以上の方法により、深度処理ユニット１３０は、第１の深度マップＤ１と第２の深度マップＤ２とを互いに補完することができ、それにより第１の深度マップＤ１及び第２の深度マップＤ２における空白画素及び不合理な深度値を減らすことができる。その深度処理ユニット１３０は、最適化された深度マップＤＡにより多くの有効な画素を与え、深度データ処理システム１００がより完全で正確な深度マップを生成するのを可能にする。

【0025】

また、第１の深度マップＤ１及び第２の深度マップＤ２の解像度は異なる可能性がある。例えば、第１の深度マップＤ１の解像度が第２の深度マップＤ２の解像度より小さい場合に、第１の深度マップＤ１の各画素は、第２の深度マップＤ２の複数の画素に対応し得る。例えば、図６は、一実施形態による第１の深度マップＤ１’と第２の深度マップＤ２’との相関図である。

【0026】

図６において、第１の深度マップＤ１’の画素ＰＤ１’は、第２の深度マップＤ２の複数の画素ＰＤ２’_Ａ、ＰＤ２’_Ｂ、ＰＤ２’_Ｃ、及びＰＤ２’_Ｄに実質的に対応する。この場合に、深度データ処理システム１００は、最適化された深度マップＤＡの対応する画素に、第１の深度マップＤ１’の画素ＰＤ１’及び第２の深度マップＤ２’の画素ＰＤ２’_Ａ、ＰＤ２’_Ｂ、ＰＤ２’_Ｃ、ＰＤ２’_Ｄの深度値に応じた値をレンダリングする。換言すれば、深度データ処理システム１００は、第１の深度マップＤ１’及び第２の深度マップＤ２’の解像度に応じて、異なる深度マップの間の画素の相関を調整することができる。

【0027】

さらに、図１の実施形態では、第１の深度取込み装置１１０は、深度データを取得して第１の深度マップＤ１を生成するように特に設計されたハードウェアであり、第２の深度取込み装置１２０は、画像を取り込む可視光カメラである。次に、ソフトウェア処理により第２の深度マップＤ２が生成される。しかしながら、本発明は、第１の深度取込み装置１１０が深度データを生成するように特に設計されたハードウェアであるように限定するものではない。

【0028】

図７は、別の実施形態による深度データ処理システム２００の図である。深度データ処理システム１００及び２００は、同様の構成を有しており、且つ同様の原理に従って動作することができる。深度データ処理システム２００は、第１の深度取込み装置２１０、第２の深度取込み装置２２０、及び深度処理ユニット２３０を含むことができる。第１の深度取込み装置２１０と第２の深度取込み装置２２０との両方は、可視光を用いて画像を取り込み、且つ深度処理ユニット２３０によって第１の深度マップＤ１及び第２の深度マップＤ２を生成することができる。

【0029】

換言すると、図７において、第１の深度取込み装置２１０は、少なくとも１つのカメラで第１の画像ＩＭＧＲ１、ＩＭＧＬ１を取り込むことができるが、２つのカメラ２１２、２１４に限定されるものではない。深度処理ユニット２３０は、第１の画像ＩＭＧＲ１、ＩＭＧＬ１に従って第１の深度マップＤ１を生成することができる。同様に、第２の深度取込み装置２２０は、カメラ２２２及び２２４によって第２の画像ＩＭＧＲ２、ＩＭＧＬ２を取り込むことができ、深度処理ユニット２３０は、第２の画像ＩＭＧＲ２、ＩＭＧＬ２に従って第２の深度マップＤ２を生成することができる。

【0030】

図８の実施形態では、深度データ処理システム３００は３つの深度取込み装置を含むことができるが、これら３つの深度取込み装置に限定されるものではない。いくつかの実施形態では、深度データ処理システムは、より多くの深度取込み装置を含み得る。図８は、別の実施形態による深度データ処理システム３００の図である。深度データ処理システム１００及び３００は、同様の構成を有しており、且つ同様の原理に従って動作することができる。もっとも、深度データ処理システム３００は、第１の深度取込み装置３１０、第２の深度取込み装置３２０、深度処理ユニット３３０、及び第３の深度取込み装置３４０を含むことができる。第１の深度取込み装置３１０、第２の深度取込み装置３２０、及び第３の深度取込み装置３４０は、可視光カメラを用いて画像を取り込むことができ、深度処理ユニット３３０によって第１の深度マップＤ１、第２の深度マップＤ２、及び第３の深度マップＤ３を生成することができる。しかしながら、本発明は、これらに限定されるものではない。

【0031】

さらに、図８の実施形態では、深度処理ユニット３３０は、第１の深度マップＤ１、第２の深度マップＤ２、及び第３の深度マップＤ３の深度データに応じて、最適化された深度マップを生成することができる。例えば、深度処理ユニット３３０は、第１の深度マップＤ１及び第２の深度マップＤ２に対して画像位置合せを行って、第１の深度マップの画素に対応する第２の深度マップの変換座標を求めることができる。同じ方法を使用して、その深度処理ユニット３３０は、第３の深度マップＤ３及び第２の深度マップＤ２に対して画像位置合せを行って、第３の深度マップＤ３の画素に対応する第２の深度マップＤ２の変換座標を求めることができる。次に、深度処理ユニット３３０は、第１の深度マップＤ１、第２の深度マップＤ２、及び第３の深度マップＤ３の深度データを位置合わせして、第１の深度マップＤ１及び第３の深度マップＤ３の画素に対応する第２の深度マップＤ２の変換座標に従って、最適化された深度マップを生成する。

【0032】

深度データ処理システム１００及び２００は、単一の深度マップ内の欠陥を補償するために異なる深度マップに対して画像位置合せを行うことができるので、最適化された深度マップを生成することができる。その最適化された深度マップは、深度データをより正確にするだけでなく、より広範囲の深度データも提供する。

【0033】

図９は、本発明の一実施形態による深度データ処理システム１００（又は２００）を動作させる方法４００のフローチャートである。方法４００はステップＳ４１０〜Ｓ４４０を含む。
Ｓ４１０：少なくとも第１の深度取込み装置１１０（又は２１０）によって第１の深度マップＤ１を生成する。
Ｓ４２０：少なくとも第２の深度取込み装置１２０（又は２２０）によって第２の深度マップＤ２を生成する。
Ｓ４３０：深度処理ユニット１３０（又は２３０）は、第１の深度マップＤ１及び第２の深度マップＤ２に対して画像位置合せを行い、第１の深度マップＤ１の画素に対応する第２の深度マップＤ２の変換座標を求める。
Ｓ４４０：深度処理ユニット１３０（又は２３０）は、第１の深度マップＤ１の深度データと第２の深度マップＤ２の深度データとを位置合わせして、変換座標に従って最適化された深度マップＤＡを生成する。

【0034】

図１０は、ステップＳ４３０におけるサブステップＳ４３２〜Ｓ４３６のフローチャートである。
Ｓ４３２：第１の深度マップＤ１の画素の座標を第１の深度取込み装置１１０（又は２１０）の第１の三次元座標系の座標に変換して、第１の深度取込み装置１１０（又は２１０）の内部パラメータに従って第１の深度マップの画素の第１の三次元座標を生成する。
Ｓ４３４：第１の深度取込み装置１１０（又は２１０）及び第２の深度取込み装置１２０（又は２２０）の外部パラメータに従って、第１の深度マップＤ１の画素の第１の三次元座標を、第２の深度取込み装置１２０（又は２２０）の第２の三次元座標系の第２の三次元座標に変換する。
Ｓ４３６：第２の深度取込み装置１２０（又は２２０）の内部パラメータに従って、第１の深度マップＤ１の画素の第２の三次元座標を、第１の深度マップＤ１の画素に対応する第２の深度マップＤ２の変換座標に変換する。

【0035】

図２を例にとると、深度処理ユニット１３０は、Ｓ４３２〜Ｓ４３６において第１の深度マップＤ１及び第２の深度マップＤ２に対応するそれら三次元座標を位置合わせし、次に、その深度処理ユニット１３０は、第１の深度マップＤ１の画素の第２の三次元座標を、式２及び式３に従って、第１の深度マップＤ１の画素に対応する第２の深度マップＤ２の変換座標に変換する。

【0036】

また、ステップＳ４４０において、第１の深度マップの解像度が第２の深度マップの解像度よりも小さい場合に、第１の深度マップの第１の画素に対応する第２の深度マップの変換座標は、第２の深度マップの複数の第２の画素に対応する。最適化された深度マップにおける複数の第２の画素に対応する複数の第３の画素に、第１の画素の深度値及び複数の第２の画素の深度値に応じた深度値をレンダリングすることができる。図６を例にとると、深度データ処理システム１００は、画素ＰＤ２’_Ａ、ＰＤ２’_Ｂ、ＰＤ２’_Ｃ、及びＰＤ２’_Ｄに対応する最適化された深度マップにおける画素に、第１の深度マップＤ１’の画素ＰＤ１’の深度値、及び第２の深度マップＤ２’の画素ＰＤ２’_Ａ、ＰＤ２’_Ｂ、ＰＤ２’_Ｃ、ＰＤ２’_Ｄの深度値に応じた深度値をレンダリングする。換言すれば、深度データ処理システム１００は、第１の深度マップＤ１’及び第２の深度マップＤ２’の解像度に従って、異なる深度マップの画素同士の間の相関を調整することができる。

【0037】

さらに、ステップＳ４４０において、第１の深度マップの第１の画素が第２の深度マップの第２の画素に対応しており、第２の画素に深度値が与えられていないのならば、次に、深度処理ユニットは、最適化された深度マップにおける第１の画素及び第２の画素に対応する第３の画素に第１の画素の深度値に応じた深度値をレンダリングするだろう。さらに、第１の深度マップの第１の画素が第２の深度マップの第２の画素に対応しており、第２の画素に不合理な深度値が与えられているのならば、深度処理ユニットは、最適化された深度マップにおける第１の画素及び第２の画素に対応する第３の画素に第１の画素の深度値に応じた深度値をレンダリングするだろう。

【0038】

図３〜図５を例にとると、第１の深度マップＤ１の画素ＰＤ１_Ｂは第２の深度マップＤ２の画素ＰＤ２_Ｂに対応しており、画素ＰＤ１_Ｂには深度値が与えられていない。サブステップＳ４４４において、深度処理ユニット１３０は、最適化された深度マップＤＡの対応する画素ＰＤＡ_Ｂに画素ＰＤ２_Ｂの深度値に応じた深度値をレンダリングすることができる。

【0039】

方法４００によって、深度データ処理システム１００及び２００は、単一の深度マップ内の欠陥を補償するために異なる深度マップに対して画像位置合せを行って、最適化された深度マップを生成することができる。その深度データ処理システムは、深度データをより正確にするだけでなく、より広範囲の深度データも提供する。

【0040】

さらに、方法４００は、深度データ処理システム３００にも適用することができる。ステップＳ４３０と同様の方法で、その深度データ処理システム３００は、第２の深度マップＤ２及び第３の深度マップＤ３に対して画像位置合せを行って、第３の深度マップＤ３の各画素に対応する第２の深度マップＤ２の変換座標を求めることができる。次に、深度処理ユニット３３０は、第１の深度マップＤ１、第２の深度マップＤ２、及び第３の深度マップＤ３の深度データを位置合わせして、第１の深度マップＤ１及び第３の深度マップＤ３の画素に対応する第２の深度マップＤ２の変換座標に従って、最適化された深度マップを生成する。

【0041】

要約すると、本発明の実施形態によって提供される深度データ処理システム及びその動作方法は、異なる深度マップの深度データを補完し、それによって最適化された深度マップを生成することができる。その深度データ処理システム及びその動作方法は、深度データをより正確にするだけでなく、より広範囲の深度データも提供し、これは様々な用途によってより効率的に使用され得る。

【0042】

当業者は、本発明の教示を保持しながら、装置及び方法の多数の修正及び変更をなし得ることを容易に理解するであろう。従って、上記の開示は、添付の特許請求の範囲の境界及び範囲によってのみ限定されると解釈すべきである。

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】