特許 7534330 ３次元深度マップデータの２次元画像上へのマッピング

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2024-08-05

(45)【発行日】2024-08-14

(54)【発明の名称】３次元深度マップデータの２次元画像上へのマッピング

(51)【国際特許分類】

   G01C 3/00 20060101AFI20240806BHJP

【ＦＩ】

G01C3/00 120

【請求項の数】 20

(21)【出願番号】P 2021568002

(86)(22)【出願日】2020-05-07

(65)【公表番号】

(43)【公表日】2022-07-19

(86)【国際出願番号】 US2020031910

(87)【国際公開番号】W WO2020231747

(87)【国際公開日】2020-11-19

【審査請求日】2023-04-27

(31)【優先権主張番号】62/846,696

(32)【優先日】2019-05-12

(33)【優先権主張国・地域又は機関】US

(73)【特許権者】

【識別番号】517145315

【氏名又は名称】マジック アイ インコーポレイテッド

(74)【代理人】

【識別番号】110001210

【氏名又は名称】弁理士法人ＹＫＩ国際特許事務所

(72)【発明者】

【氏名】木村 昭輝

【審査官】仲野 一秀

(56)【参考文献】

【文献】特開２００７－６４７２３（ＪＰ，Ａ）

【文献】米国特許出願公開第２０１８／０２４９１４２（ＵＳ，Ａ１）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ０１Ｃ ３／００－３／３２

Ｇ０１Ｂ １１／００－１１／３０

Ｇ０６Ｔ ７／００－７／９０

(57)【特許請求の範囲】

【請求項1】

方法であって、
処理システムによって、光パターンを標的面上に投影するために３次元距離センサを制御するステップであって、前記光パターンは複数の光点を含む、ステップと、
前記処理システムによって、前記標的面上の前記光パターンの第１画像を取得するために２次元カメラを制御するステップであって、前記２次元カメラは、前記３次元距離センサに対する固定位置を有する、ステップと、
前記処理システムによって、前記標的面上の前記光パターンの第２画像を取得するために前記３次元距離センサの受光システムを制御するステップと、
前記処理システムによって、前記複数の光点のうちの第１光点の２次元座標のセットを、前記第１光点に対して座標の単一セットを形成するために前記第１光点の３次元座標のセットの距離座標と関連付けるステップであって、前記２次元座標のセットは、前記第１画像から取得され、前記３次元座標のセットは、前記第２画像から取得される、ステップと、
前記処理システムによって、関係式を前記座標の単一セットから導出するステップであって、前記関係式は、前記受光システムの前記標的面までの距離と、前記２次元カメラの画像センサ上の前記第１光点の位置との間の関係を記述する、ステップと、
を含む、方法。

【請求項2】

前記３次元距離センサは、前記光パターンを投影するために前記３次元距離センサを制御するステップの前に、３次元標的を用いて較正される、請求項１に記載の方法。

【請求項3】

前記光パターンは、赤外光を含み、前記受光システムは、赤外バンドパスフィルタを含む、請求項１に記載の方法。

【請求項4】

前記２次元カメラは、赤外カットオフフィルタを含む、請求項３に記載の方法。

【請求項5】

前記標的面は、赤外光によって励起されるときに蛍光を放出する材料を含む、請求項４に記載の方法。

【請求項6】

前記標的面は、平面形状を有する、請求項５に記載の方法。

【請求項7】

前記第１画像及び前記第２画像は、それぞれ、前記２次元カメラ及び前記３次元距離センサによって同時に取得される、請求項１に記載の方法。

【請求項8】

第１光点の前記２次元座標のセットは、前記２次元カメラの画像センサ上での前記第１光点の位置を記述する、請求項１に記載の方法。

【請求項9】

前記関係式は、前記複数の光点のサブセットに対して形成されている座標の単一セットから導出され、前記サブセットは、前記第１光点及び少なくとも１つの追加の光点を含む、請求項１に記載の方法。

【請求項10】

前記関連付けるステップは、前記処理システムによって、前記複数の光点のうちの別の光点に対する前記第１光点の位置に基づいて、前記第１画像及び前記第２画像内の前記第１光点を同定するステップを含む、請求項１に記載の方法。

【請求項11】

前記関連付けるステップの後だが前記導出するステップの前に、
前記処理システムによって、光パターンを投影するために前記３次元距離センサを前記制御するステップと、前記２次元カメラを前記制御するステップと、前記３次元距離センサの前記受光システムを前記制御するステップと、前記関連付けるステップと、を反復するステップであって、前記反復するステップは、前記標的面が動かされて、前記標的面と前記３次元距離センサとの間の距離、及び前記標的面と前記２次元カメラとの間の距離を変更した後に、実行される、ステップを更に含む、請求項１に記載の方法。

【請求項12】

前記導出するステップの後に、
前記処理システムによって、前記標的面以外の対象物上の前記光パターンの第３画像を取得するために前記２次元カメラを制御するステップと、
前記処理システムによって、前記対象物上の前記光パターンの第４画像を取得するために前記３次元距離センサの前記受光システムを制御するステップであって、前記第３画像と前記第４画像とは、同時に取得される、ステップと、
前記処理システムによって、前記複数の光点のうちの第２光点についての２次元座標のセットを、前記３次元距離センサによって測定された前記第２光点の３次元距離座標、及び前記関係式に基づいて同定するステップと、
を更に含む、請求項１に記載の方法。

【請求項13】

前記２次元カメラのレンズは、前記レンズのズーム又は焦点合せを制御する固定値に設定される、請求項１に記載の方法。

【請求項14】

前記関連付けるステップは、前記固定値を前記座標の単一セットと関連付けるステップを含む、請求項１３に記載の方法。

【請求項15】

前記関連付けるステップの後だが前記導出するステップの前に、
前記処理システムによって、光パターンを投影するために前記３次元距離センサを前記制御するステップと、前記２次元カメラを前記制御するステップと、前記３次元距離センサの前記受光システムを前記制御するステップと、前記関連付けるステップと、を反復するステップであって、前記反復するステップは、前記固定値が新しい固定値に設定された後に実行される、ステップを更に含む、請求項１４に記載の方法。

【請求項16】

プロセッサによって実行可能な命令によってコード化される非一時的機械可読記憶媒体であって、前記命令は、実行されると、前記プロセッサに動作を実行させ、前記動作は、
光パターンを標的面上に投影するために３次元距離センサを制御するステップであって、前記光パターンは、複数の光点を含む、ステップと、
前記標的面上の前記光パターンの第１画像を取得するために２次元カメラを制御するステップであって、前記２次元カメラは、前記３次元距離センサに対する固定位置を有する、ステップと、
前記標的面上の前記光パターンの第２画像を取得するために前記３次元距離センサの受光システムを制御するステップと、
前記複数の光点のうちの第１光点の２次元座標のセットを、前記第１光点についての座標の単一セットを形成するために前記第１光点の３次元座標のセットの距離座標と関連付けるステップであって、前記２次元座標のセットは、前記第１画像から取得され、前記３次元座標のセットは、前記第２画像から取得される、ステップと、
関係式を前記座標の単一セットから導出するステップであって、前記関係式は、前記受光システムの前記標的面までの距離と、前記２次元カメラの画像センサ上での前記第１光点の位置との間の関係を記述する、ステップと、
を含む、非一時的機械可読記憶媒体。

【請求項17】

前記光パターンは、赤外光を含み、前記受光システムは、赤外バンドパスフィルタを含み、前記２次元カメラは、赤外カットオフフィルタを含む、請求項１６に記載の非一時的機械可読記憶媒体。

【請求項18】

前記標的面は、赤外光によって励起されたときに蛍光を放出する材料を含む、請求項１７に記載の非一時的機械可読記憶媒体。

【請求項19】

前記導出するステップの後に、
前記標的面以外の対象物上の前記光パターンの第３画像を取得するために前記２次元カメラを制御するステップと、
前記対象物上の前記光パターンの第４画像を取得するために前記３次元距離センサの前記受光システムを制御するステップであって、前記第３画像と前記第４画像とは同時に取得される、ステップと、
前記３次元距離センサによって測定された第２光点の３次元距離座標、及び前記関係式に基づいて、前記複数の光点のうちの前記第２光点についての２次元座標のセットを同定するステップと、
を更に含む、請求項１６に記載の非一時的機械可読記憶媒体。

【請求項20】

装置であって、
プロセッサと、
前記プロセッサによって実行可能な命令によってコード化される非一時的機械可読記憶媒体であって、前記命令は、実行されると、前記プロセッサに動作を実行させ、前記動作は、
光パターンを標的面上に投影するために３次元距離センサを制御するステップであって、前記光パターンは、複数の光点を含む、ステップと、
前記標的面上の前記光パターンの第１画像を取得するために２次元カメラを制御するステップであって、前記２次元カメラは、前記３次元距離センサに対する固定位置を有する、ステップと、
前記標的面上の前記光パターンの第２画像を取得するために前記３次元距離センサの受光システムを制御するステップと、
前記複数の光点のうちの第１光点の２次元座標のセットを、前記第１光点についての座標の単一セットを形成するために前記第１光点の３次元座標のセットの距離座標と関連付けるステップであって、前記２次元座標のセットは、前記第１画像から取得され、前記３次元座標のセットは、前記第２画像から取得される、ステップと、
関係式を前記座標の単一セットから導出するステップであって、前記関係式は、前記受光システムの前記標的面までの距離と、前記２次元カメラの画像センサ上での前記第１光点の位置との間の関係を記述する、ステップと、
を含む、非一時的機械可読記憶媒体と、
を備えている、装置。

【発明の詳細な説明】

【技術分野】

【0001】

関連出願の相互参照
本出願は、２０１９年５月１２日に出願された米国仮特許出願第６２／８４６，６９６号の優先権を主張し、この出願は、参照により本明細書に全体として援用される。

【背景技術】

【0002】

米国特許出願第１４／９２０，２４６号、同第１５／１４９，３２３号、及び同第１５／１４９，４２９号には、距離センサの様々な構成が記載されている。かかる距離センサは、セキュリティ、ゲーム、無人車両の制御、ロボット又は自律型機器の動作及び別の用途を含む、様々な用途において有用である場合がある。

【0003】

これらの出願に記載された距離センサは、投影システム（例えば、レーザ、回折光学素子、及び／又は別の協働構成要素を備えている）を含み、該投影システムは、人間の目に実質的に不可視の波長の光ビーム（例えば、赤外線）を視野内に投影する。光ビームが広がって、適切な受光システム（例えば、レンズ、画像取込装置、及び／又は別の構成要素）によって検出され得るパターン（ドット、ダッシュ、又は別のアーチファクト）を生成する。パターンが視野内の対象物に入射するとき、センサから対象物までの距離は、視野の１つ又は複数の画像内でのパターンの外観（例えば、ドット、ダッシュ、又は別のアーチファクトの位置関係）に基づいて計算され得、該視野は、センサの受光システムによって取込まれてもよい。対象物の形状及び寸法が、また、決定され得る。

【0004】

例えば、パターンの外観は、対象物までの距離に応じて変化することがある。一例として、パターンがドットのパターンを含むならば、ドットは、対象物がセンサにより近接しているとき、互いにより近接して見えてもよく、そして、対象物がセンサからより遠く離れているとき、互いにより遠く離れているように見えることがある。

【発明の概要】

【課題を解決するための手段】

【0005】

一例では、処理システムによって実行される方法は、光パターンを標的面上に投影するために３次元距離センサを制御することであって、光パターンは複数の光点を含む、ことと、標的面上の光パターンの第１画像を取得するために、２次元カメラを制御することであって、２次元カメラは、３次元距離センサに対する固定位置を有する、ことと、標的面上の光パターンの第２画像を取得するために、３次元距離センサの受光システムを制御することと、複数の光点のうちの第１光点の２次元座標のセットを、第１光点の座標の単一セットを形成するために第１光点の３次元座標のセットの距離座標と関連付けることであって、２次元座標のセットは、第１画像からを取得され、３次元座標のセットは、第２画像から取得されて、関係式を座標の単一セットから導出し、関係式は、受光システムの標的面までの距離と、２次元カメラの画像センサ上の第１光点の位置との間の関係を記述する、ことと、を含む。

【0006】

別の一例では、非一時的機械可読記憶媒体が、プロセッサによって実行可能な命令によって符号化される。命令は、実行されると、プロセッサに、光パターンを標的面上に投影するために３次元距離センサを制御することであって、光パターンは、複数の光点を含む、ことと、標的面上の光パターンの第１画像を取得するために、２次元カメラを制御することであって、２次元カメラは、３次元距離センサに対する固定位置を有する、ことと、標的面上の光パターンの第２画像を取得するために、３次元距離センサの受光システムを制御することと、複数の光点のうちの第１光点の２次元座標のセットを、第１光点についての座標の単一セットを形成するために第１光点の３次元座標のセットの距離座標と関連付けることであって、２次元座標のセットは、第１画像からを取得され、３次元座標のセットは、第２画像から取得される、ことと、関係式を座標の単一セットから導出することであって、関係式は、受光システムの標的面までの距離と、２次元カメラの画像センサ上の第１光点の位置との間の関係を記述する、ことと、を含む動作を実行させる。

【0007】

別の一例では、装置は、プロセッサと、プロセッサによって実行可能な命令によってコード化される非一時的機械可読記憶媒体と、を含む。命令は、実行されると、プロセッサに動作を実行させ、該動作は、光パターンを標的面上に投影するために３次元距離センサを制御することであって、光パターンは、複数の光点を含む、ことと、標的面上の光パターンの第１画像を取得するために、２次元カメラを制御することであって、２次元カメラは、３次元距離センサに対する固定位置を有する、ことと、標的面上の光パターンの第２画像を取得するために、３次元距離センサの受光システムを制御することと、複数の光点のうちの第１光点の２次元座標のセットを、第１光点の座標の単一セットを形成するために第１光点の３次元座標のセットの距離座標と関連付けることであって、２次元座標のセットは、第１画像から取得され、３次元座標のセットは、第２画像から取得される、ことと、関係式を座標の単一セットから導出することであって、関係式は、受光システムの標的面までの距離と、２次元カメラの画像センサ上での第１光点の位置との間の関係を記述する、ことと、を含む。

【図面の簡単な説明】

【0008】

【図1】例示的な距離センサについての側面図である。

【図2】図１の３次元距離センサ、及び２次元カメラを含む例示的なシステムについての側面図である。

【図3】本開示に従う、図１又は図２に示す距離センサ等の３次元距離センサを較正する方法の一例を示す流れ図である。

【図4】本開示に従う、図２に示すシステム等の、３次元距離センサ及び２次元カメラを含むシステムを、３次元深度マップ情報が２次元画像上にマッピングされ得るように較正する方法の一例を示す流れ図である。

【図5A】３Ｄ距離センサの受光システムによって取込まれてもよい例示的な画像を示す図である。

【図5B】２Ｄカメラによって取込まれてもよい例示的な画像を示す図である。

【図6】３次元距離センサによって取得された３次元深度マップ情報を２次元カメラによって取得された２次元画像上にマッピングする方法の一例を示す流れ図である。

【図7】３次元深度マップデータを２次元画像上にマッピングする例示的な電子デバイスについてのハイレベルブロック図である。

【図8】図３の方法において導出される関係式がどのように導出され得るかについての一例を示す概要図である。

【発明を実施するための形態】

【0009】

本開示は、３次元（３Ｄ）深度マップデータを２次元（２Ｄ）画像上にマッピングする方法、コンピュータ可読媒体、及び装置を広く記述する。上述のように、米国特許出願第１４／９２０，２４６号、同第１５／１４９，３２３号、及び同第１５／１４９，４２９号に記載されているような距離センサは、パターン（例えば、ドット、ダッシュ、又は別のアーチファクト）を、対象物を含む視野内に作成するために広がる光ビームを投影することによって、対象物までの距離（及び、可能性として対象物の形状及び寸法）を決定する。光ビームは、１つ又は複数のレーザ光源から投影されてもよく、該レーザ光源は、人間の目に実質的に不可視であるけれども、それは、適切な検出器（例えば、受光システムの）には可視である波長の光を放出する。対象物までの３Ｄ距離は、次いで検出器へのパターンの外観に基づいて計算されてもよい。

【0010】

計算された３Ｄ距離は、セキュリティ（例えば、確保された位置及び／又はリソースへのアクセスを得るための顔認識）、ナビゲーション（例えば、無人車両のための）、及び別の用途を含む様々な用途に用いられてもよい。３Ｄ距離計算から取得されるような３Ｄ深度マップ情報はまた、２Ｄ画像データと組み合わせて、より直感的な深度表示を可能にしてもよい。例えば、対象物又は曲面の輪郭は、３Ｄ深度マップ情報のみが利用可能であるとき、認識することが困難であるけれども、その輪郭は、同じ対象物又は曲面の２Ｄ画像情報にマッピングされるとき、より正確に同定され、再生されることがある。

【0011】

３Ｄ深度マップ情報を２Ｄ画像と結合するための従来技術は、一般にステレオカメラの使用に依存している。例えば、ステレオカメラは、チェッカーボード等の対象物上の特徴点を検出するために用いられることがある。２つのカメラの結像光線間の相対的な位置関係は、例えば較正によって、特徴点検出の前に知られてもよい。この場合、対象物の３Ｄ位置は、次いで対象物の２Ｄ画像位置と結像光位置とを関連付ける式を解くことによって計算される。

【0012】

この技術は、特徴点の検出が容易であるときには良好に作用することがあるけれども、特徴点を容易に検出することができないときには、信頼性がより低い。更に、深度計算は、非常に複雑である傾向があり、その理由は、計算が多数のステップを含み、該ステップのうちの多くが、エラーを生じやすい漸近及び／又は近似計算に依存することがあるからである。２Ｄカメラ仕様が多値である（例えば、ズーム及び／又は焦点合せによって）、あるいは変化率が速い場合、深度計算が更に一層複雑になる場合がある。

【0013】

本開示の例は、結像されている対象物上の特徴点の存在による影響を受けない２Ｄ画像上に３Ｄ深度マップデータをマッピングする方法を提供する。その代わりに、本開示の例は、３Ｄ距離センサが測距に用いる投影ビームを用いて、深度マップ情報と２Ｄ画像との間の直接関係を活用する。このように、一例では、３Ｄ深度マップが、例えば３Ｄ距離センサによって、ビーム投影を用いて取得される。

【0014】

更なる例では、３Ｄ距離センサ及び２Ｄカメラを備えるシステムが較正されて、蛍光標的（例えば、赤外光によって励起されたときに蛍光を放出する材料から作成された標的）を用いて深度マップ情報と２Ｄ画像との間の関係を決定してもよい。

【0015】

「第１」、「第２」、「第３」等の用語の使用は、必ずしも、本開示の例が、ある数の要素又は項目を必要とすることを意味するものではないことに留意されたい。例えば、「第３画像」を参照することは、「第１画像」及び「第２画像」が存在することを必ずしも意味するものではない。むしろ、かかる専門用語が本明細書で用いられることにより、同じタイプの要素又は項目を区別する（例えば、２つ以上の異なる画像を区別する）ことがある。

【0016】

図１は、上述したセンサのうちのいずれか等の例示的な距離センサ１００の側面図である。図１に示すように、距離センサ１００は、投光システム１０２と、受光システム１０４と、を一般に備えていてもよい。

【0017】

投光システム１０２は、一般に、レーザエミッタ１０６と、回折光学素子（ＤＯＥ）１０８と、を備えていてもよい。レーザエミッタ１０６は、人間の目に実質的に不可視である波長（例えば、赤外光）の光ビームを放出するレーザ発光ダイオード（ＬＥＤ）を含んでもよい。一例では、レーザエミッタ１０６は、垂直共振器面発光レーザ（ＶＣＳＥＬ）を備えている。

【0018】

ＤＯＥ１０８は、レーザエミッタ１０６によって放出された光ビームを複数の光ビーム１１０に分割するように配置された回折格子、ホログラフィックフィルム、又は円錐ミラー等の光学構成要素を備えていてもよい。図１は、単一のレーザエミッタ１０６及びＤＯＥ１０８対を示しているけれども、投光システムは、任意の数のレーザエミッタ／ＤＯＥ対を備えていてもよいことに留意されたい。例えば、複数のレーザエミッタ／ＤＯＥ対が、受光システム１０４の周囲に配列されてもよく、その結果、例えば、受光システム１０４が、複数のレーザエミッタ／ＤＯＥ対の中心に配置される。この場合、複数のレーザエミッタ／ＤＯＥ対のそれぞれのレーザエミッタ／ＤＯＥ対は、図１に示すレーザエミッタ１０６及びＤＯＥ１０８と同様に構成されてもよい。

【0019】

一例では、複数の光ビーム１１０は、中心軸Ｃから複数の異なる方向に扇形に広がる。複数の光ビーム１１０内のそれぞれのビームの対の間の角度は、等しくてもよい。複数の光ビーム１１０が表面１１２に入射するとき、それぞれのビームは、ドット、ダッシュ等のアーチファクトを表面１１２上に生成してもよい。集合的に、複数の光ビーム１１０によって生成されたアーチファクトは、上記パターンを形成し、該パターンから対象物までの距離が計算され得る。例えば、パターンは、複数のアーチファクトが複数の行及び列にその中で配列されているグリッドを含んでもよい。

【0020】

パターンの少なくとも一部分（例えば、パターンを形成するアーチファクトの少なくとも一部分）は、受光システム１０４によって検出されてもよく、該受光システムは、投光システム１０２によって放出された光の波長の光を検出するように構成されているカメラを備えていてもよい。例えば、受光システム１０４は、一般に、画像センサ１１４（例えば、３Ｄ画像センサ）と、バンドパスフィルタ１１６と、レンズ１１８と、を備えていてもよい。複数の光ビーム１１０の部分が、表面１１２から反射して、受光システムのレンズ１１８を通ってバンドパスフィルタ１１６まで通過してもよい。バンドパスフィルタは、所定の波長（例えば、赤外）の光が、全ての別の波長をフィルタリングで除きながら、画像センサ１１４まで通過することを可能にするように構成されてもよい。画像センサ１１４は、複数のピクセルセンサユニットを備えるアクティブピクセルセンサ（ＡＰＳ）であってもよく、この場合、それぞれのピクセルセンサユニットは、光検出器と、少なくとも１つのアクティブトランジスタと、を含む。ピクセルセンサユニットは、バンドパスフィルタ１１６を通過する光の光子を吸収してもよい。このようにして、画像センサ１１４は、表面１１２の３Ｄ画像を生成してもよい。

【0021】

上述したように、複数の光ビーム１１０によって表面１１２上に生成されたパターンの外観は、表面１１２までの距離に応じて変化することがある。一例として、パターンがドットのパターンを含むならば、表面１１２が距離センサ１００により近接しているとき、ドットが互いにより近接して見えてもよく、表面１１２が距離センサ１００からより遠く離れているとき、互いからより遠く離れて見えてもよい。それにより、ドットの軌跡（すなわち、移動範囲）は、一緒に近接して見えても、又は互いからより遠く離れて見えてもよい。

【0022】

ドットの軌跡は、平面（例えば、横）方向及び高さ方向（例えば、横方向に垂直な方向）における、距離センサの投光システム１０２と受光システム１０４との間の位置関係によって決定される。ドットの軌跡は、放射パターン又は線（図１の挿入図１２０に示すような）として見えることがあり、そして、距離センサ１００と投影パターンが投影される対象物（例えば、表面１１２）との間の距離が変化するとき、ドットの移動を記述する。より具体的には、ドットの軌跡は、距離の変化による、距離センサの画像センサ１１４に対するドットの移動を記述する。

【0023】

例えば、挿入図１２０は、複数の光ビーム１１０によって表面１１２上に生成され得る複数のアーチファクトについての例示的な軌跡を示す。軌跡１２２を例にとれば、軌跡１２２は、距離センサ１００と表面１１２との間の距離が変化するとき、対応するドット（又は別のアーチファクト）ｐが移動し得る物理的範囲を示す。軌跡１２２によって示されるように、受光システム１０４は、距離センサ１００と表面１１２との間の距離が距離Ａに等しいとき、点ｐを第１位置ｐ（ａ）に見てもよく、距離センサ１００と表面１１２との間の距離が距離Ｂに等しいとき、点ｐを第２位置ｐ（ｂ）に見てもよい。

【0024】

図２は、図１の３次元距離センサ１００と、２次元カメラ２００と、を含む例示的なシステムの側面図である。距離センサ１００は、図１に示すのと同じ距離センサ１００であってもよく、それで、同じ参照番号が、図２の同じ構成要素を参照するために用いられている。

【0025】

２Ｄカメラ２００は、一般に、画像センサ２０２（例えば、２Ｄ画像センサ）と、カットオフフィルタ２０４と、レンズ２０６と、を備えていてもよい。表面（例えば、表面１１２）から反射する光は、レンズ２０６を通ってカットオフフィルタ２０４まで通過してもよい。一例では、カットオフフィルタは、赤外カットオフフィルタ（すなわち、別の波長の光を通過させることを許容しながら、赤外波長を反射するフィルタ）である。画像センサ２０２は、複数のピクセルセンサユニットを備えるアクティブピクセルセンサ（ＡＰＳ）であってもよく、この場合、それぞれのピクセルセンサユニットは、光検出器と、少なくとも１つのアクティブトランジスタと、を含む。カットオフフィルタ２０４を通過する光の光子は、画像センサ２０２のピクセルセンサユニットによって吸収されてもよく、該ピクセルセンサユニットは、表面１１２の対応する２Ｄ画像を生成してもよい。

【0026】

上述したように、３Ｄ距離センサ１００の投光システム１０２によって放出された光は、赤外光であってもよく、距離センサ１００の受光システム１０４は、赤外範囲外の波長を遮断して、距離測定時の外部光ノイズの影響を最小化してもよい。しかし、２Ｄカメラ２００が赤外カットオフフィルタを含むならば、２Ｄカメラ２００は、３Ｄ距離センサ１００によって生成された投影パターンの点（例えば、点ｐ（ａ）／ｐ（ｂ）を含む）を検出することができないことがある。

【0027】

したがって、較正の目的のために（例えば、図２のシステムを、３Ｄ深度マップ情報と２Ｄ画像との間の関係が決定され得るように較正するために）、一例では、表面１１２が蛍光材料を含んでもよい。特に、表面１１２は、赤外蛍光材料、すなわち、赤外光によって励起されたときに蛍光を放出する材料で形成されてもよい。この場合、点ｐが赤外光ビームによって表面１１２上に生成されるとき、点ｐがそこに見える表面１１２上の位置は、２Ｄカメラ２００の画像センサ２０２によって検出され得る蛍光を放出することになる。

【0028】

その結果、３Ｄ距離センサ１００は、反射された赤外光に基づいて、３次元（ｘ，ｙ，ｚ）座標空間内の点ｐの位置を計算してもよい。２次元カメラ２００は、表面１１２による蛍光の放出に基づいて、２次元（ｕ，ｖ）画像センサ座標系内の点ｐの位置を同時に計算してもよい。３Ｄ（ｘ，ｙ，ｚ）座標は、次いで２Ｄ（ｕ，ｖ）座標に直接マッピングされてもよく、これが、３Ｄ距離センサ１００の受光システム１０４と２Ｄカメラ２００との間の位置関係を与える。換言すれば、点ｐの２Ｄ位置（２Ｄ画像内での）は、同じ点の３Ｄ対象物距離にマッピングされてもよい。このマッピングは、続いて別の点の２Ｄ位置を別の点の３Ｄ対象物距離にマッピングすることを可能にしてもよい。

【0029】

一例では、蛍光面１１２は、３Ｄ距離センサ１００の視野のサイズ及び２Ｄカメラ２００の視野のサイズよりも小さいサイズを有する。蛍光面１１２がまた整形されることにより、較正プロセスの効率を改善してもよい。例えば、矩形等の形状が認識しやすい場合があり、一方、平面の表面が、計算されるべき距離関係を簡略化する場合がある。

【0030】

図３は、本開示に従う、図１又は図２に示す距離センサ１００等の３次元距離センサを較正する方法３００の一例を示す流れ図である。方法３００は、例えば、図７に示すプロセッサ７０２等の３Ｄ距離センサ及び２Ｄカメラと通信する（並びにそれらから画像データを受信する）プロセッサによって実行されてもよい。その代替として、方法３００は、３Ｄ距離センサ又は２Ｄカメラの一部であるプロセッサによって実行されてもよい。例示のため、方法３００は、処理システムによって実行されるものとして記述される。

【0031】

方法３００は、ステップ３０２から開始してもよい。ステップ３０４において、処理システムが３Ｄ距離センサを制御することにより、光パターンを標的面上に投影してもよい。上述したように、光パターンは、光点のパターン（又はドット、ダッシュ、複数のｘ等の別の投影アーチファクト）を含んでもよく、この場合、それぞれの光点は、３Ｄ距離センサの投光システムによって放出される各光ビームによって生成されてもよい。特に、それぞれの光点は、各光ビームが標的面に入射するときに生成されてもよい。光ビームは、赤外光（又は、人間の目には実質的に不可視であるけれども、３Ｄ距離センサの受光システムには可視である別の光の波長）のビームを含んでもよい。

【0032】

ステップ３０４において用いられる標的面は、例えば、標的面の様々な部分が３Ｄ距離センサの受光システムから様々な距離に存在することがあるような３次元標的を含んでもよい。

【0033】

ステップ３０６において、処理システムは、３Ｄ距離センサを制御することにより、標的面上の光パターンの画像を取得してもよい。上述したように、一例では、３Ｄ距離センサは、赤外バンドパスフィルタと、３Ｄ画像センサと、を含む受光システムを含んでもよい。受光システムは、標的面上に投影されるような光パターンの画像を取込んでもよく、そして、この画像を処理システムまで（例えば、有線又は無線接続を介して）送信してもよい。

【0034】

ステップ３０８において、処理システムは、画像に基づいて、３Ｄ距離センサの受光システムと（光パターンの）第１光点との間の距離を計算してもよい。一例では、距離は、米国特許出願第１４／９２０，２４６号、同第１５／１４９，３２３号、及び同１５／１４９，４２９号において論じられた技術のいずれかを用いて計算されてもよい。更なる例では、距離は、２つ以上の光点（例えば、第１光点と、少なくとも１つの第２光点と）についてこの方式で計算されてもよい。

【0035】

ステップ３１０において、処理システムは、ステップ３０８において計算された距離を、３Ｄ距離センサの３Ｄ画像センサ上の第１光点の位置と関連付けて記憶してもよい。ステップ３０８において計算される距離が、複数の光点について計算された場合、距離及び対応する画像センサ位置が、複数の光点のすべての光点について記憶されてもよい。

【0036】

ステップ３１２において、処理システムは、３Ｄ距離センサの受光システムの標的表面までの距離（この場合、この距離が連続的に変化することがある）と、３Ｄ画像センサ上の第１光点の位置との間の関係を記述する関係式を導出してもよい。一例では、上述したように、受光システムと複数の光点との間の距離が、ステップ３０８において計算されてもよい。この場合、複数の関係式が、ステップ３１２において導出されてもよい。例えば、３Ｄ距離センサの投光システムがｎ個の光ビーム（ｎ＞１）を放出する場合、ｎ個の別々の関係式が導出されるように、それぞれのビームについて（例えば、ビームのうちの１つによって生成されるそれぞれの光点について）の関係式が導出されて、処理システムにアクセス可能であるメモリ内に記憶されてもよい。

【0037】

方法３００は、ステップ３１４において終了してもよい。

【0038】

図８は、方法３００のステップ３１２において導出された関係式がどのように導出され得るかについての一例を示す概略図である。同様の参照番号が、図１及び図２に示す要素と同様の要素に用いられている。

【0039】

図８に示すように、標的面１１２は、上述のように、３Ｄ距離センサ１００までの距離を変化させるため移動させられてもよい。標的面１１２のそれぞれの位置は、図８における平面１１２_１～１１２_３として示されている。３つの平面が説明及び図示を容易にするために示されているけれども、任意の数の平面（例えば、ｎ個の平面）が用いられてもよいことが理解されるであろう。同じ点が、それぞれの平面上に結像させられてもよく、ｚ_１は、平面１１２_１上の点のｚ（３Ｄ距離センサ１００からの直線距離）位置を示し、ｚ_２は、平面１１２_２上の点の位置を示し、ｚ_３は、平面１１２_３上の点の位置を示す。

【0040】

同じ点が、また、画像センサ１１４上に結像されてもよく、（ｐ_ｘ１，ｐ_ｙ１，ｚ_１）は、第１平面１１２_１内の点についての画像センサ１１４におけるｘ、ｙ（カメラ画像）位置を示し、（ｐ_ｘ２，ｐ_ｙ２，ｚ_２）は、第２平面１１２_２内の点についての画像センサ１１４におけるｘ、ｙ（平面）位置を示し、（ｐ_ｘ３，ｐ_ｙ３，ｚ_３）は、第３平面１１２_３内の点についての画像センサ１１４におけるｘ、ｙ（平面）位置を示す。

【0041】

したがって、３Ｄ画像センサ１００から様々な距離にある点のｚ位置は、図表８００に示すように、２Ｄカメラ２００の画像センサ上の様々な距離にある対応するｐ_ｘ、ｐ_ｙ位置と照合されてもよい。

【0042】

一例では、ｚ位置は、描画８０２に示されているように、それぞれの平面内の点についてのｐ_ｘ、ｐ_ｙ位置に対してプロットされてもよい。曲線８０４は、描画８０２においてデータ点に適合されてもよく、この場合、ｌ（エル）は曲線８０４に沿った長さを表す。このように、一例では、所与の点のｐ_ｘ、ｐ_ｙ位置は、次式のような一例で表現される近似関数ｆによって、所与の点のｚ位置から取得されてもよい。
ｚ＝ｆ_１(ｐ_ｘ,ｐ_ｙ)＝ｆ_２(l) （式１）

【0043】

図４は、図２に示すシステム等の、３次元距離センサと２次元カメラとを含むシステムを較正する方法４００の一例を示す流れ図であり、該方法により、本開示に従って、３次元深度マップ情報が、２次元画像上にマッピングされてもよい。方法４００は、例えば、図３に関連して上述したように、３Ｄ距離センサがシステムから独立して較正された後に、実行されてもよい。

【0044】

方法４００は、例えば、図７に示すプロセッサ７０２等の、３Ｄ距離センサ及び２Ｄカメラと通信している（並びにそれらから画像データを受信する）プロセッサによって実行されてもよい。その代替として、方法４００は、３Ｄ距離センサ又は２Ｄカメラの一部であるプロセッサによって実行されてもよい。例示のために、方法４００は、処理システムによって実行されるように記述されている。

【0045】

方法４００は、ステップ４０２から開始してもよい。ステップ４０４において、処理システムが３Ｄ距離センサを制御することにより、光パターンを標的面上に投影してもよい。すなわち、光パターンは、（例えば、上述の方法３００に従う）３Ｄ距離センサを較正するために用いられたのと同じ光パターンであってもよいけれども、光パターンが現在その上に投影されている標的面は、３次元標的面が３Ｄ距離センサを較正するために用いた標的面とは異なる標的面であってもよい。ステップ４０４の場合、標的面は、例えば、標的面の全ての部分が３Ｄ距離センサの受光システムから同じ距離に存在するような２次元標的を含んでもよい。一例では、標的面は、平面標的を含んでもよい。標的面は、また、形状が矩形であることにより、較正を容易にしてもよい。光パターンが赤外光ビームによって生成される場合、標的面は、赤外蛍光材料、すなわち、赤外光によって励起されたときに蛍光を放出する材料を含んでもよい。

【0046】

ステップ４０６において、処理システムは、２Ｄカメラ及び３Ｄ距離センサの受光システムを制御して、標的面上での光パターンの第１画像及び第２画像をそれぞれ同時に取得してもよく、この場合、２Ｄカメラは、３Ｄ距離センサに対する固定位置を有する。すなわち、３Ｄ距離センサと２Ｄカメラとの間の位置関係が固定されている。上述したように、一例では、２Ｄカメラは、赤外カットオフフィルタと、２Ｄ画像センサと、を含んでもよい。

【0047】

図５Ａは、例えば、３Ｄ距離センサの受光システムによって取込まれてもよい例示的な画像５００（例えば、ステップ４０６による「第２画像」）を示し、一方、図５Ｂは、２Ｄカメラによって取込まれてもよい例示的な画像５０２（例えば、ステップ４０６による「第１画像」）を示す。

【0048】

図示のように、画像５００は、光パターンの複数の光点の位置を描いていてもよい。複数の光点のサブセットは、標的面（５０６に破線で示されている）に入射してもよい。しかしながら、３Ｄ距離センサの画像センサは、投光システムによって放出される赤外光を検出し得るので、画像５００は、標的面５０６に入射しないような光点さえも描くことがある。

【0049】

これとは対照的に、画像５０２は、標的面５０６に入射する複数の光点のサブセット５０８のみを描いてもよい。その理由は、２Ｄカメラの画像センサは、赤外光が標的面５０６に入射するとき、標的面５０６によって放出される蛍光を検出し得るだけで、赤外光自体を検出し得ないことがあるからである。これにより、２Ｄカメラは、３Ｄ距離センサ画像よりも、光パターンのより小さい部分を結像してもよい。

【0050】

２Ｄカメラ及び３Ｄ距離センサは、標的面上に投影されるような光パターンの第１及び第２画像をそれぞれ取込んでもよく、そして第１及び第２画像を処理システムまで（例えば、有線又は無線接続を介して）送信してもよい。

【0051】

ステップ４０８において、処理システムは、第１画像から取得されるような第１光点の２Ｄ座標と、第２画像から取得されるような第１光点と３Ｄ距離センサとの間の距離とを関連付けてもよい。すなわち、２Ｄカメラの２Ｄ画像センサ上の第１光点の（ｕ，ｖ）座標は、３Ｄ距離センサの３Ｄ画像センサ上の第１光点の（ｚ）座標と関連付けられることにより、第１光点についての座標（ｕ，ｖ，ｚ）の単一セットを生成する。一例では、第１光点は、光パターンにおける光点の相対的な位置に基づいて、第２画像及び第３画像の両方において同定される（例えば、同じ光点として同定される）。例えば、図５Ａ及び５Ｂを再び参照すると、光点５０４は、別の光点に対する光点５０４の位置に基づいて、画像５００及び５０２内の同じ光点として同定されてもよい。

【0052】

ステップ４１０において、処理システムは、標的面を移動させるべきか否かを決定してもよい。一例では、３Ｄ距離センサと２Ｄカメラとの間の位置関係を較正するために、ステップ４０４～４０８が複数回だけ反復させられ、この場合、標的面は、それぞれの回で動かされることにより、標的面と３Ｄ距離センサとの間の（及び標的面と２Ｄカメラとの間の）距離が変化する。

【0053】

ステップ４１０において、標的面が追加の測定を可能にするために移動させられるべきであると処理システムが結論を下したならば、方法４００は、ステップ４０４に戻ってもよく、それと共に、処理システムは、上述のように進行し、標的面がここで移動させられて距離を変更してもよい。

【0054】

しかし、処理システムが、ステップ４１０において、標的面が追加の測定を可能にするために移動されるべきでないと結論を下すならば、方法４００は、ステップ４１２まで進行してもよい。ステップ４１２において、処理システムは、３Ｄ距離センサの受光システムの標的面までの距離（この場合、この距離が連続的に変化してもよい）と、２Ｄ画像センサ上での第１光点の位置との間の関係を記述する関係式を導出してもよい。一例では、ステップ４０８に関連して記述されたように、座標の単一セットが、第１光点及び少なくとも１つの追加の光点を含む複数の光点のサブセットについて形成されてもよい。

【0055】

例えば、ステップ４０４～４０８がｋ回（ｋ＞１）だけ反復された場合、関係式は、複数のデータ点（ｕ_１，ｖ_１，ｚ_１）、（ｕ_２，ｖ_２，ｚ_２）．．．（ｕ_ｋ，ｖ_ｋ，ｚ_ｋ）から導出されてもよい。関係式は、処理システムにアクセス可能であるメモリに記憶されてもよい。関係式は、式１に関連して上述したように導出されてもよい。

【0056】

方法４００は、ステップ４１４において終了してもよい。

【0057】

図６は、３次元距離センサによって取得された３次元深度マップ情報を２次元カメラによって取得された２次元画像上にマッピングする方法６００の一例を示す流れ図である。方法６００は、例えば、図７に示すプロセッサ７０２のような、３Ｄ距離センサ及び２Ｄカメラと通信している（並びにそれらから画像データを受信する）プロセッサによって実行されてもよい。その代替として、方法６００は、３Ｄ距離センサ又は２Ｄカメラの一部であるプロセッサによって実行されてもよい。例示のため、方法６００は、処理システムによって実行されるものとして記述されている。

【0058】

方法６００は、ステップ６０２から開始してもよい。ステップ６０４において、処理システムは、３Ｄ距離センサを制御して、対象物（例えば、較正方法３００及び４００において用いられる標的面以外の対象物）上に光パターンを投影してもよい。すなわち、光パターンは、３Ｄ距離センサ及び２Ｄカメラを較正するために（例えば、上述した方法３００及び４００に従って）用いられたのと同じ光パターンであってもよいけれども、光パターンが現在その上に投影されている対象物は、較正に用いられる標的面とは異なる対象物であってもよい。例えば、対象物は、結像されている対象物であってもよい。

【0059】

ステップ６０６において、処理システムは、２Ｄカメラ及び３Ｄ距離センサの受光システムを制御して、対象物上での光パターンの第３画像及び第４画像をそれぞれ同時に取得してもよく、この場合、２Ｄカメラは、３Ｄ距離センサに対する固定位置を有する。すなわち、３Ｄ距離センサと２Ｄカメラとの間の位置関係は、固定されている。

【0060】

ステップ６０８において、処理システムは、３Ｄ距離センサによって測定された３Ｄ距離（ｚ）座標と、方法４００によって導出された第２関係式（すなわち、３Ｄ距離センサの受光システムの第２標的面に対する距離と、２Ｄ画像センサ上の第１光点の位置との間の関係を記述する関係式）に基づいて、光パターンの第２光点の２Ｄ（ｕ，ｖ）座標を同定してもよい。

【0061】

方法６００は、ステップ６１０において終了してもよい。

【0062】

いくつかの例では、２Ｄカメラは、ズーム及び／又は焦点合せ能力を有してもよい。この場合、方法４００は、固定値に設定された２Ｄカメラのレンズを用いて実行されてもよい。２Ｄカメラによって記録された任意の座標は、次いで３Ｄ距離センサからの対応する３Ｄ座標とだけでなく、レンズ設定の固定値ともメモリ内で関連付けられる。方法４００は、レンズ設定についての複数の異なる固定値で反復されてもよく、この場合、方法４００のそれぞれの反復において用いられる特性値は、メモリ内の対応する座標と関連付けられている。この場合、導出された任意の第２関係式は、また、レンズ設定の対応する値とメモリ内で関連付けられてもよい。

【0063】

明示的には指定されていないけれども、上述の方法３００、４００、又は６００のブロック、機能、又は動作のうちのいくつかは、特定の用途についての記憶、表示、及び／又は出力を含むことができることに留意されたい。換言すれば、方法３００、４００、又は６００で論じられた任意のデータ、記録、視野、及び／又は中間結果は、特定の用途に応じて、別の装置に記憶、表示、及び／又は出力されてもよい。更に、判定動作を列挙するか又は判定を含む図３、４又は６のブロック、機能、又は動作は、判定動作の両方の分岐が実行されることを意味しない。すなわち、判定動作の分岐のうちの１つが、判定動作の結果に応じて、実行されない場合がある。

【0064】

一例では、上述したように、光点のｐ_ｘ、ｐ_ｙ位置が、光点のｚ位置に基づいて決定されると、同じ投影内の別の光点のｐ_ｘ、ｐ_ｙ位置が、容易に決定されてもよい。その理由は、投影パターン内の光点同士の間の間隔は、先験的に既知であるからである。例えば、所与の光点と隣接する光点との間のｘ及びｙ距離は、投影パターンが対象物上に投影される以前に、既知である。

【0065】

更なる例では、第１光点のｐ_ｘ、ｐ_ｙ、ｚ位置は、３Ｄ距離センサからのそれの距離が変化させられる比較的小さな標的面を用いて、決定され得る。例えば、小さい標的面は、投影パターンの１つの光点（例えば、第１光点）のみが標的面に入射することを確実にする程十分に小さくてもよい。次いで、第１光点ｐ_ｘ、ｐ_ｙ、ｚ位置が決定されると、投影パターン内の別の光点の位置が、投影パターンの既知の間隔から上述したように決定され得る。

【0066】

図７は、３Ｄ深度マップデータを２Ｄ画像上にマッピングするための例示的な電子デバイス７００についての高レベルブロック図である。このように、電子デバイス７００は、距離センサ等の電子デバイス又はシステムのプロセッサとして実装されてもよい。

【0067】

図７に示すように、電子デバイス７００は、ハードウェアプロセッサ要素７０２、例えば、中央処理ユニット（ＣＰＵ）、マイクロプロセッサ、又はマルチコアプロセッサ、メモリ７０４、例えば、ランダムアクセスメモリ（ＲＡＭ）及び／又は読出し専用メモリ（ＲＯＭ）、３Ｄ深度マップデータを２Ｄ画像上にマッピングするためのモジュール７０５、並びに様々な入出力装置７０６を備え、例えば記憶装置、テープドライブ、フロッピードライブ、ハードディスクドライブ、又はコンパクトディスクドライブ、受信機、送信機、ディスプレイ、出力ポート、入力ポート、及びキーボード、キーパッド、マウス、マイク、カメラ、レーザ光源、ＬＥＤ光源等のユーザ入力装置が挙げられるが、これらに限定されない。

【0068】

１つのプロセッサ要素が示されているが、電子デバイス７００は、複数のプロセッサ要素を利用してもよいことに留意されたい。更に、１つの電子デバイス７００が図に示されているけれども、上記のような方法が、特定の例示的な例について分散又は並列方式で実装されるならば、すなわち、上記の方法のブロック又は方法全体が、複数の電子デバイス又は並列の電子デバイスにわたって実装されるならば、この図の電子デバイス７００は、それらの複数の電子デバイスのそれぞれを表すことを意図している。

【0069】

留意されたいことは、本開示が、機械可読命令によって、及び／又は機械可読命令とハードウェア（例えば、用途特定集積回路（ＡＳＩＣ）、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）を含むプログラマブルロジックアレイ（ＰＬＡ）、又はハードウェアデバイス、汎用コンピュータ若しくはいずれか別のハードウェア等価物に展開された状態機械）との組合せにおいて実装されてもよいこと、例えば、上記の方法に関するコンピュータ可読命令が、上記の開示された方法のブロック、機能及び／又は動作を実行するためのハードウェアプロセッサを構成するために用いられてもよいことである。

【0070】

一例では、３Ｄ深度マップデータを２Ｄ画像上にマッピングするための本モジュール又はプロセス７０５のための命令及びデータ、例えば、機械可読命令は、メモリ７０４内にロードされて、ハードウェアプロセッサ要素７０２によって実行されることにより、方法３００、４００、及び６００に関連して上述したブロック、機能又は動作を実装してもよい。更に、ハードウェアプロセッサが「動作」を行うための命令を実行するとき、これは、動作を直接実行するか、及び／又は、動作を実行するための別のハードウェアデバイス若しくは構成要素、例えば、コプロセッサ等を促進する、誘導する、若しくはそれと協同することを実行するハードウェアプロセッサを含んでもよい。

【0071】

上述の方法に関する機械可読命令を実行するプロセッサは、プログラミングされたプロセッサ又は専用プロセッサであると理解されてもよい。このように、本開示の３Ｄ深度マップデータを２Ｄ画像上にマッピングするための本モジュール９０５は、有形又は物理的（広義には、非一時的な）コンピュータ可読記憶装置又は媒体、例えば、揮発性メモリ、不揮発性メモリ、ＲＯＭメモリ、ＲＡＭメモリ、磁気若しくは光学ドライブ、デバイス、又はディスケット等に記憶されてもよい。より具体的には、コンピュータ可読記憶装置は、任意の物理デバイスを備えてもよく、該物理デバイスは、プロセッサによってアクセスされるデータ及び／又は命令等の情報を記憶する能力を提供するか、又は安全センサシステムのコンピュータ若しくはコントローラ等の電子デバイスを提供する。

【0072】

上記並びに別の特徴及び機能、又はその代替物についての変形が、多くの別の様々なシステム又はアプリケーションに結合され得ることが理解されるであろう。様々な現在予測されていない又は予期されていない代替、修正、若しくはその変更が、その後になされてもよく、これらは、また、以下の特許請求の範囲に包含されることが意図されている。

【図1】

【図2】

【図3】

【図4】

【図5A】

【図5B】

【図6】

【図7】

【図8】