知財求人 - 知財ポータルサイト「IP Force」
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2024-12-03
(45)【発行日】2024-12-11
(54)【発明の名称】３次元座標と２次元特徴点との関連付け
(51)【国際特許分類】
G06T 7/521 20170101AFI20241204BHJP
【ＦＩ】
G06T7/521
【請求項の数】
20
(21)【出願番号】P 2022539683
(86)(22)【出願日】2020-12-22
(65)【公表番号】
(43)【公表日】2023-03-02
(86)【国際出願番号】 US2020066554
(87)【国際公開番号】W WO2021138139
(87)【国際公開日】2021-07-08
【審査請求日】2023-12-12
(31)【優先権主張番号】62/954,533
(32)【優先日】2019-12-29
(33)【優先権主張国・地域又は機関】US
(73)【特許権者】
【識別番号】517145315
【氏名又は名称】マジック アイ インコーポレイテッド
(74)【代理人】
【識別番号】110001210
【氏名又は名称】弁理士法人ＹＫＩ国際特許事務所
(72)【発明者】
【氏名】木村 昭輝
【審査官】伊知地 和之
(56)【参考文献】
【文献】米国特許出願公開第２０１６／００８６３１８（ＵＳ，Ａ１）
【文献】米国特許出願公開第２０１７／００９４２５４（ＵＳ，Ａ１）
【文献】特開２００６－２４４３８７（ＪＰ，Ａ）
【文献】特開平１１－２９６６８６（ＪＰ，Ａ）
【文献】特開２０００－０７６４５２（ＪＰ，Ａ）
【文献】特許第２９１３０２１（ＪＰ，Ｂ２）
【文献】特開２０１５－１５８７６２（ＪＰ，Ａ）
【文献】Hasegawa Kosuke et al.，“A study of real-time path planning for mobile robots based on environment recognition using omnidirectional images”，Proceedings of SICE Annual Conference 2010[online]，米国，IEEE，2010年08月18日，pp.2953-2956，[検索日 2024.10.25], インターネット:<URL:https://ieeexplore.ieee.org/stamp/stamp.jsp?tp=&arnumber=5602895>
【文献】阿部亨 外２名，３次元表面形状による人間の顔の自動識別ーＢ－スプライン曲面の制御点を利用してー，電子情報通信学会論文誌，日本，社団法人電子情報通信学会，1990年09月25日，第J73-D-II巻 第9号，pp.1477～1484
(58)【調査した分野】(Int.Cl.，ＤＢ名)
Ｇ０１Ｂ １１／００ － １１／３０
Ｇ０６Ｔ １／００ － １／４０
Ｇ０６Ｔ ３／００ － ５／９４
Ｇ０６Ｔ ７／００ － ７／９０
Ｇ０６Ｖ １０／００ － ２０／９０
Ｇ０６Ｖ ３０／４１８
Ｇ０６Ｖ ４０／１６
Ｇ０６Ｖ ４０／２０
ＣＳＤＢ（日本国特許庁）
ＩＥＥＥ Ｘｐｌｏｒｅ
(57)【特許請求の範囲】
【請求項1】
距離センサの処理システムによって、前記距離センサの投光システムに、光の３次元パターンであって集合的に前記パターンを形成する複数の光点を含む前記光の３次元パターンを、物体上へ投影させることと、前記処理システムによって、前記距離センサの受光システムに、前記物体上に投影された前記光の３次元パターンの画像を取得させることと、
前記処理システムによって、前記受光システムに前記物体の２次元画像を取得させることと、
前記処理システムによって、特徴点を前記物体の前記２次元画像において検出することと、
前記処理システムによって、前記特徴点に対する補間領域を特定することと、
前記処理システムによって、前記特徴点に対する３次元座標を、前記補間領域内にある前記複数の点のうちの２つの点の３次元座標を用いて補間することによって計算することと、
を含むことを特徴とする方法。
【請求項2】
前記検出することは、前記処理システムによって、前記特徴点の種類を検出することを更に含む、ことを特徴とする請求項１に記載の方法。
【請求項3】
前記計算することは、前記処理システムによって、複数の候補補間技術の中から前記計算することのための補間技術を選択することを更に含む、ことを特徴とする請求項２に記載の方法。
【請求項4】
前記補間技術は、面内補間技術である、ことを特徴とする請求項３に記載の方法。
【請求項5】
前記補間技術は、スプライン処理技術である、ことを特徴とする請求項３に記載の方法。
【請求項6】
前記補間技術は、ベジェ曲線処理技術である、ことを特徴とする請求項３に記載の方法。
【請求項7】
前記補間領域は、前記特徴点の所定の半径に配置される前記３次元パターンの前記複数の点のサブセットに限定される、ことを特徴とする請求項１に記載の方法。
【請求項8】
前記所定の半径は、前記補間領域を、前記特徴点の近傍である前記複数の点のうちの点（複数可）に限定する、ことを特徴とする請求項７に記載の方法。
【請求項9】
前記計算することは、前記処理システムによって、前記特徴点の方向を前記補間することから得ることを更に含む、
ことを特徴とする請求項１に記載の方法。
【請求項10】
前記２つの点の前記３次元座標は、前記処理システムによって継続的に取得される、ことを特徴とする請求項１に記載の方法。
【請求項11】
前記距離センサは、顔認証システムの一部である、ことを特徴とする請求項１に記載の方法。
【請求項12】
前記距離センサは、ジェスチャ認識システムの一部である、ことを特徴とする請求項１に記載の方法。
【請求項13】
前記距離センサは、経路認識システムの一部である、ことを特徴とする請求項１に記載の方法。
【請求項14】
少なくとも１つのプロセッサを含む処理システムによって実行可能な命令で符号化された非一時的な機械可読記憶媒体であって、前記処理システムによって実行されると、前記命令は前記処理システムに動作を実行させ、前記動作は、距離センサの投光システムに、光の３次元パターンであって集合的に前記パターンを形成する複数の光点を含む前記光の３次元パターンを、物体上へ投影させることと、
前記距離センサの受光システムに、前記物体上に投影された前記光の３次元パターンの画像を取得させることと、
前記受光システムに前記物体の２次元画像を取得させることと、
特徴点を前記物体の前記２次元画像において検出することと、
前記特徴点に対する補間領域を特定することと、
前記特徴点に対する３次元座標を、前記補間領域内にある前記複数の点のうちの２つの点の３次元座標を用いて補間することによって計算することと、
を含むことを特徴とする非一時的な機械可読記憶媒体。
【請求項15】
前記検出することは、前記特徴点の種類を検出することを更に含む、ことを特徴とする請求項１４に記載の非一時的な機械可読記憶媒体。
【請求項16】
前記計算することは、複数の候補補間技術の中から前記計算することのための補間技術を選択することを更に含む、ことを特徴とする請求項１５に記載の非一時的な機械可読記憶媒体。
【請求項17】
前記補間技術は、面内補間技術である、ことを特徴とする請求項１６に記載の非一時的な機械可読記憶媒体。
【請求項18】
前記補間技術は、スプライン処理技術である、ことを特徴とする請求項１６に記載の非一時的な機械可読記憶媒体。
【請求項19】
前記補間技術は、ベジェ曲線処理技術である、ことを特徴とする請求項１６に記載の非一時的な機械可読記憶媒体。
【請求項20】
処理システムと、前記処理システムによって実行可能な命令で符号化された非一時的な機械可読記憶媒体であって、実行されると、前記命令は前記処理システムに動作を実行させる非一時的な機械可読記憶媒体と、
を備え、
前記動作は、
距離センサの投光システムに、光の３次元パターンであって集合的に前記パターンを形成する複数の光点を含む前記光の３次元パターンを、物体上へ投影させることと、
前記距離センサの受光システムに、前記物体上に投影された前記光の３次元パターンの画像を取得させることと、
前記受光システムに前記物体の２次元画像を取得させることと、
特徴点を前記物体の前記２次元画像において検出することと、
前記特徴点に対する補間領域を特定することと、
前記特徴点に対する３次元座標を、前記補間領域内にある前記複数の点のうちの２つの点の３次元座標を用いて補間することによって計算することと、
を含む、
ことを特徴とする装置。
【発明の詳細な説明】
【技術分野】
【0001】
関連出願の相互参照
本出願は、２０１９年１２月２９日に出願された米国仮特許出願第６２／９５４，５３３号の優先権を主張し、その開示全体は参照により本明細書に組み込まれる。
本出願は、２０１９年１２月２９日に出願された米国仮特許出願第６２／９５４，５３３号の優先権を主張し、その開示全体は参照により本明細書に組み込まれる。
【0002】
本発明は、一般に距離測定に関連し、特に３次元座標を２次元特徴点に関連付けることに関する。
【背景技術】
【0003】
顔認識は、デバイス及びアプリケーション認証に使用されることが多い。例えば、デバイス又はアプリケーションに対して認証されるように試みているユーザのリアルタイムの顔画像は、１つ以上の保存された正規ユーザの顔画像と比較され得て、認証を試みているユーザの顔画像が保存された顔画像と一致する場合、ユーザは認証され得る。
【0004】
一部の顔認識技術は、ユーザの顔の２次元画像を取得し、２次元画像から特徴点を抽出し、次に、ユーザ識別を特徴点の位置関係に基づき生成する。特徴点は２次元座標によって表されるため、補正が３次元測定値を使用して実行され得る。例えば、２次元画像においてユーザの顔に対する全体的な距離が既知の場合、ユーザの顔の絶対サイズを決定することが可能であり、これは、特徴点の位置関係を補正するのに役立つ。追加的に、ユーザの顔の傾きは、３次元マップの全体の形状を取得することと、その形状を使用して特徴点を補正することとにより検出することが可能である。
【発明の概要】
【課題を解決するための手段】
【0005】
１つの例では、少なくとも１つのプロセッサを含む処理システムによって実行される方法は、距離センサの投光システムに、光の３次元パターンであって集合的にパターンを形成する複数の光点を含む光の３次元パターンを、物体上へ投影させることと、距離センサの受光システムに、物体上に投影された光の３次元パターンの画像を取得させることと、受光システムに物体の２次元画像を取得させることと、物体の２次元画像において特徴点を検出することと、特徴点に対する補間領域を特定することと、特徴点に対する３次元座標を、補間領域内にある複数の点のうちの２つの点の３次元座標を用いて補間することによって計算することと、を含む。
【0006】
別の例では、非一時的な機械可読記憶媒体は、少なくとも１つのプロセッサを含む処理システムによって実行可能な命令で符号化される。命令は、実行されると、処理システムに動作を実行させ、この動作は、距離センサの投光システムに、光の３次元パターンであって集合的にパターンを形成する複数の光点を含む光の３次元パターンを、物体上へ投影させることと、距離センサの受光システムに、物体上に投影された光の３次元パターンの画像を取得させることと、受光システムに物体の２次元画像を取得させることと、物体の２次元画像において特徴点を検出することと、特徴点に対する補間領域を特定することと、特徴点に対する３次元座標を、補間領域内にある複数の点のうちの２つの点の３次元座標を用いて補間することによって計算することと、を含む。
【0007】
別の例では、装置は、少なくとも１つのプロセッサを含む処理システムと、処理システムによって実行可能な命令で符号化された非一時的な機械可読記憶媒体とを含む。命令は、実行されると、処理システムに動作を実行させ、この動作は、距離センサの投光システムに、光の３次元パターンであって集合的にパターンを形成する複数の光点を含む光の３次元パターンを、物体上へ投影させることと、距離センサの受光システムに、物体上に投影された光の３次元パターンの画像を取得させることと、受光システムに物体の２次元画像を取得させることと、物体の２次元画像において特徴点を検出することと、特徴点に対する補間領域を特定することと、特徴点に対する３次元座標を、補間領域内にある複数の点のうちの２つの点の３次元座標を用いて補間することによって計算することと、を含む。
【図面の簡単な説明】
【0008】
【図2】本開示の例による、３次元座標を２次元画像の特徴点と関連付けるための例示的な方法を示す流れ図である。
【図3A】３次元パターンが投影される顔の前向き画像の例を示す図である。
【図4A】例示的な特徴点及び特徴点を取り囲む補間領域を示す図である。
【図5】スプライン曲線を使用して、３次元パターンの点の補間位置を２次元特徴点と一致させることを示す図である。
【図6】ベジェ曲線を使用して、３次元パターンの点の補間位置を２次元特徴点と一致させることを示す図である。
【図7A】本開示の技術が経路認識に適用され得る通路の第１の部分を示す図である。
【図8】センサから物体までの距離を計算するための例示的な電子デバイスの高レベルのブロック図を示す図である。
【発明を実施するための形態】
【0009】
本開示は、３次元座標を２次元特徴点と関連付けるための装置、方法、及び非一時的なコンピュータ可読媒体を広く説明する。前述のように、一部の顔認識技術では、ユーザの顔の２次元画像を取得し、２次元画像から特徴点を抽出し、その後、ユーザ識別を特徴点の位置関係に基づき生成する。特徴点は２次元座標によって表されるため、補正が３次元測定値を使用して実行され得る。
【0010】
追加的に、スプライン計算などの技術を使用して、２次元画像から３次元表面を再構築し得る。しかし、この方法で３次元表面全体を再構築することは、時間がかかり、計算に負荷がかかるプロセスになる場合があり、したがって、この技術は、計算リソースが限られている場合、及び／又は結果が直ぐに必要な場合には理想的ではない。
【0011】
本開示の例は、３次元距離検出パターンを２次元画像に一致させるために必要な計算量及び時間を、２次元画像の特定の点で補間計算を実行することにより大幅に削減する。特に、２次元画像において特徴点が検出され得て、特徴点の補間領域内にある３次元パターンの２つ以上の点を使用して、特徴点の３次元座標を、２つ以上の点の３次元位置の間を補間することによって推定し得る。様々な要因、例えば特徴点の種類、環境／周囲条件、及び３次元パターンの点の配置に応じて、面内処理、スプライン処理、ベジェ曲線処理などの技術を用いて補間を実行し得る。
【0012】
本開示の例は、顔認識の文脈内で説明されるが、開示された例は、顔以外の物体の距離及び特徴の計算を改善するためにも使用され得ることが理解されよう。例えば、本開示の例はまた、コンピューティングシステム又はデバイスによって行われる所定の動作に関連付けられ得る、ハンドジェスチャを検出するのに有用であり得る。
【0013】
本開示の文脈内で、「２次元画像」は、人間の目に見えるスペクトルの光を使用して取得された画像を指すと理解される（例えば、従来の赤、緑、青（ＲＧＢ）画像センサによる）。対照的に、３次元パターンの画像は、人間の目には見えないスペクトルの光を使用して取得される（例えば、赤外線画像化センサによる）。
【0014】
図１Ａ～図１Ｂは、本開示の例示的な距離センサ１００の異なる構成を示す。同じ構成要素が図１Ａ及び図１Ｂに存在する場合、同じ参照番号が使用される。距離センサ１００は、米国特許出願第１４／９２０，２４６号、第１５／１４９，３２３号、及び第１５／１４９，４２９号に記載される距離センサと同様の方法で構成され得る。
【0015】
図１Ａは、例えば、距離センサ１００を示し、投光システム１０２、受光システム１０４、及びプロセッサ１２６を含む。投光システム１０４は、パターン１０６を表面又は物体１０８に投影するように構成され、パターン１０６は複数の光点を含む。光点は、図１Ａに示すように、グリッドに配置され得る（例えば、複数の行及び複数の列に配置される）。グリッドの行と列は、同一直線上に配置されてもよく、互い違いに配置されてもよい。光点は、人間の目には見えない場合もあるが、距離センサ１００の画像化センサには可視であり得る（以下で更に詳細に論じる）。
【0016】
したがって、３次元パターン１０６の点は、第１の軸１１２及び第１の軸１１２に垂直である第２の軸１１４によって規定される座標系に配置され得る。基準点１１０は、第１の軸１１２と第２の軸１１４が交差する場所に規定され得る。
【0017】
そのために、投光システム１０２は、１つ以上のレーザ光源を含み得て、それは人間の目に実質的に見えない波長（例えば、赤外線波長）で光のビームを投影することができる。投光システム１０２はまた、１つ以上の回折光学素子を含み、光のビームを追加の光のビームに分割し得る。各光のビームが表面又は物体１０８に入射すると、パターン１０６の点が表面又は物体１０８上に作成される。
【0018】
受光システム１０４は、画像を取り込むための画像化センサを含み得る。画像化センサは、相補型金属酸化物半導体（ＣＭＯＳ）センサであってもよい。画像は、表面又は物体１０８の２次元画像、及び表面又は物体１０８上の３次元パターン１０６の画像を含み得る。したがって、１つの例では、受光システム１０４が単一画像化センサ（例えば、カメラ）を含んで、２次元画像及び３次元パターン１０６の画像の両方を取り込む場合、受光システム１０４はまた、バンドパスフィルタを含んでもよい。バンドパスフィルタは、この場合、２次元画像（同じ光源、例えば、パターン１０６を生成するために使用される赤外線光源による照明を使用して取得される）を取り込むときに周囲光を除去するために必要とされる場合がある。しかし、２次元画像が暗い環境で取得される別の例では、バンドパスフィルタは周囲光を除去するために必要とされなくてもよい。
【0019】
表面又は物体１０８の２次元画像及び３次元パターン１０６の画像が同じ画像化センサによって取得される例では、画像における位置の間の自動対応は、以下で更に詳細に説明するように、第１の軸１１２、第２の軸１１４、及び基準点１１０に関連付けられた座標系を使用して取得され得る。
【0020】
プロセッサ１２６は、投光システム１０６を制御して、３次元パターン１０６を投影し、画像取り込みのために表面又は物体１０８を照明するように構成され得る。プロセッサ１２６はまた、受光システム１０４を制御して、表面又は物体１０８の２次元画像及び３次元パターン１０６の画像を取り込み得る。プロセッサ１２６はまた、以下で更に詳細に論じられるように、表面又は物体１０８の２次元画像を３次元パターン１０６の画像と整列させるための動作を実行し得る。
【0021】
図１Ｂの距離センサ１００は、図１Ａに示される距離センサに類似するが、図１Ｂでは受光システム１０４は、２次元画像及び３次元パターン１０６の画像を取得するための別個の画像化センサを含むことが異なる。特に、図１Ｂの受光システム１０４は、３次元パターン１０６の画像を取り込むための第１の画像化センサ１２４と、表面又は物体１０８の２次元画像を取り込むための第２の画像化センサ１１６を含む。この場合、第１の画像化センサ１２４も第２の画像化センサ１１６も、バンドパスフィルタを含まなくてもよい。第１の画像化センサ１２４及び第２の画像化センサ１１６の両方は、ＣＭＯＳ画像化センサを含み得て、そして互いに対して固定された位置を有し得る。
【0022】
しかし、２次元画像及び３次元パターン１０６の画像は、異なる画像化センサ及び異なる光システムによって取り込まれるため、２次元画像と３次元パターン１０６の画像との間の視差を補正することが必要になる。特に、表面又は物体１０８の特徴点は、第２の画像化センサ１１６によって取り込まれた２次元画像から得られる。しかし、２次元画像及び３次元パターン１０６の画像の位置は、３次元座標を特徴点と正しく関連付けることができるようにするために整列させる必要がある。
【0023】
１つの例では、視差補正は、較正プロセスを通じて計算され得る。例えば、第２の画像化センサ１１６は、カメラの基準位置（例えば、チェッカボード）に対して既知のサイズを有する較正物体の２次元画像を取り込み得て、一方、第１の画像化センサ１２４は、同時に３次元パターン１０６の画像を取り込む。較正物体の２次元画像と３次元パターン１０６の画像との間の関係は、観察して保存されてもよい。
【0024】
別の例では、米国特許出願第１６／８６９，３５８号に記載された方法を使用して、第１の画像化センサ１２４と第２の画像化センサ１１６との間の関係を、赤外線照明及び／又は較正物体を必要とせずに決定し得る。
【0025】
１つの例では、視差補正は、第２の画像化センサ１１６の前結節点への３次元パターン１０６の距離測定座標軸の調整をもたらす。示されるように、その結果、第１の軸１１２は補正された第１の軸１２０の位置に移動され、第２の軸１１４は補正された第２の軸１２２の位置に移動され、基準点１１０は補正された基準点１１８の位置に移動される。
【0026】
図２は、本開示の例による、３次元座標を２次元画像の特徴点と関連付けるための例示的な方法２００を示す流れ図である。方法２００は、例えば、少なくとも１つのプロセッサを含んだ処理システム、例えば距離センサの処理システム（図１Ａ及び図１Ｂのプロセッサ１２６）によって実行され得る。例として、方法２００は、処理システムによって実行されるものとして説明される。
【0027】
方法２００は、ステップ２０２から開始し得る。ステップ２０４において、処理システムは、距離センサの投光システムに、光の３次元パターンを物体に投影させ得て、ここで光のパターンは、集合的にパターンを形成する複数の光点を含む。例えば、処理システムは、電子信号を投光システムに送信し得て、そこで電子信号は命令を符号化する。上述したように、光は、人間の目には実質的に見えないが、距離センサの画像化センサによって検出可能である波長のもの（例えば、赤外光）であり得る。
【0028】
光のパターンは、距離センサの投光システムによって投影される複数のビームによって作成され得る。複数のビームは、複数の光点を物体上に投影し得て、複数の光点は集合的に光のパターン、又は「投影パターン」を形成する。１つの例では、複数の光点は、複数の行と複数の列を含むグリッドパターンに配置され得る。例えば、米国特許出願第１６／１５０，９１８号は、参照によりその全体が本明細書に組み込まれており、多点投影によって３次元ドットマップを取得するための方法を記載する。
【0029】
ステップ２０６において、処理システムは、距離センサの受光システムに、物体上の３次元投影パターンの画像を取得させ得る。３次元投影パターンの画像は、「ドットマップ」と呼ばれる場合もある（しかし、光点はドット以外の形状となり得る）。例えば、処理システムは、電子信号を受光システムに送信し得て、そこで電子信号は命令を符号化する。上記のように、投影パターン（例えば、投影パターンを形成する光）は、人間の目には見えない場合があるが、それは、受光システムの画像センサには可視であり得る。
【0030】
ステップ２０８において、処理システムは、距離センサの受光システムに、物体の２次元画像を取得させ得る（例えば、投影パターンなしで）。１つの例では、受光システムは、２次元画像を取得するために物体を照明し得る。１つの例では、物体の３次元投影パターンの画像と２次元画像の両方が同じ画像化センサによって取り込まれる場合、受光システムは、投影パターンを生成するために使用されるのと同じ光源（例えば、赤外線光源）を使用して物体を照明し得る。
【0031】
ステップ２１０において、処理システムは、物体の２次元画像において特徴点を検出し得る。１つの例では、検出される特徴点の種類は、物体の種類に基づいて変化し得て、特徴点の３次元特性は、特徴点の種類に応じて変化する。後続の処理技術は、特徴点の種類によって変更されてもよい。
【0032】
例えば、物体が顔である場合（例えば、顔認証システムの場合のように）、２次元特徴点は、口、鼻、及び目などの上の点を含むことができる。しかし、物体が手である場合（例えば、ジェスチャ認識システムの場合のように）、２次元特徴点は、指先、指の付け根、掌などの上の点を含むことができる。
【0033】
例えば、図３Ａは、３次元パターン（図３Ａでは黒い点として表される）が投影される顔の例示的な前向き画像３００を示す。画像３００は、複数の特徴点３０２１～３０２ｎ（以後、個別に「特徴点３０２」と呼ばれるか、又は集合的に「特徴点３０２」と呼ばれる）を含み、これらは、図３Ａでは白い点として示される。図３Ａでは、３次元パターンの各点は、距離情報を含み、それは３次元パターンの基準点（例えば、図１Ａ～１Ｂに示されるように）を参照として使用して計算され得る。
【0034】
図３Ｂは、図３Ａに示される顔の斜めに取り込まれた画像３０６の例を示し、図３Ｃは、図３Ａに示される顔の横方向に取り込まれた画像３０８の例を示す。図３Ａ～図３Ｃを合わせることで分かるように、各特徴点３０２は、顔の画像が取り込まれる方向に関して異なる特性を有する。例えば、鼻の先端の特徴点３０２ｎは、前向き画像３００では特徴を明確に示さないが、横方向に取り込まれた（輪郭）画像３０８では特徴のより明確な表示を提供する。しかし、特徴点３０２ｎはまた、顔の輪郭又はアウトラインの端部の近くに配置され、顔に入射する３次元パターンの点の周囲が少なくなる。その一方で、目の外側の角部にある特徴点３０２１は、画像３００、３０６、及び３０８のいずれにおいても、顔の輪郭又はアウトラインの端部の近くに配置されない。各特徴点３０２と顔の部分（例えば、鼻の先端、目の外側の角部など）との間の対応は、事前に仮定され得て、以下でより詳細に説明するように、特定の補間技術の選択を動機付け得る。
【0035】
図２に戻って参照すると、ステップ２１２において、処理システムは、特徴点の補間領域を識別し得る。補間領域は、特徴点を取り囲む所定の半径を含み得る（例えば、特徴点の近傍又は直ぐ隣接する３次元パターンのすべての点、特徴点からｘセンチメートル以内の３次元パターンのすべての点などに限定される）。例えば、再び図３Ａ～図３Ｃを参照すると、特徴点３０２１は、補間領域３０４１に関連付けられ、一方、特徴点３０２ｎは、補間領域３０４ｎに関連付けられる。
【0036】
ステップ２１４において、処理システムは、特徴点の３次元座標を、特徴点の補間領域内にある３次元パターンのうちの２つ（又はそれ以上）の点の３次元座標を使用して補間することによって、計算し得る。三次元座標の計算は、複数の候補補間技術の中から補間技術を選択することを含み得る。例えば、１つの例では、補間は面内処理技術を使用して実行され得る。別の例では、スプライン曲線を使用して、３次元座標を特徴点に一致させ得る。別の例では、ベジェ曲線を使用して、３次元座標を特徴点に一致させ得る。
【0037】
面内処理の場合、３次元パターンの各メッシュ領域（例えば、近傍する点によって境界が定められた領域）が平面を含むと仮定され得る。例えば、図４Ａは、例示的な特徴点４００及び特徴点４００を取り囲む補間領域を示す。特に、３次元パターンの点Ｐ１、Ｐ２、Ｐ３、Ｐ４、Ｐ５、及びＰ６は、特徴点４００に隣接し、一方、３次元パターンの追加の点は、点Ｐ１～Ｐ６に隣接し得る。各点Ｐ１～Ｐ６は、３次元座標のセット（例えば、ｘｉ、ｙｉ、ｚｉ、ｓｉ、ここでＩ＝｛１，…，６｝）に関連付けられる。
【0038】
図４の例では、視差がないと仮定される（例えば、２次元画像と３次元パターンの画像の座標系は、２次元画像と３次元パターンの画像を取り込む同じ画像化センサに基づいて一致する）。したがって、この場合、特徴点４００の３次元座標（ｘ０、ｙ０、ｚ０、ｓ０）は、既知の補間方法を使用して点Ｐ１、Ｐ２、及びＰ３の３次元座標間を補間することによって容易に計算され得る。
【0039】
図４Ｂは、図４Ａの特徴点４００の３次元座標を計算する代替の方法を示す。図４Ｂの場合では、特徴点４００と隣接する表面である平面２－３－４（３次元パターンの点Ｐ２、Ｐ３、及びＰ４との間に画定される）との関係もまた、既知の補間方法を使用する計算において考慮される。したがって、平面１－２－３と２－３－４との間の中間の３次元座標位置は、特徴点４００の３次元座標位置をもたらす可能性がある。
【0040】
特に、特徴点４００を取り囲む辺は、（１－２）、（２－３）、及び（３－１）である（ここで、「辺」は、３次元パターンの２つの点を接続する線として定義され、例えば、辺１－２は点Ｐ１とＰ２を接続する）。特徴点４００の３次元座標を取得する１つの方法は、特徴点を取り囲む辺のうちの最も近接する辺と、最も近接する辺に隣接する表面との間を補間することである。１つの例では、補間は、その座標が補間計算で使用される３次元パターン内の点の数を最小化する。その座標が利用される点は、特徴点に最も近接するｎ個の点であり得る。例えば、図４Ｂに示される例は、６点（すなわち、Ｐ１～Ｐ６）の座標を利用するが、図４Ａに示される例は、１２点（すなわち、Ｐ１～Ｐ１２）の座標を利用する。これにより、補間計算の演算量が低減する。
【0041】
図４Ｂでは、同じ計算は、平面１－２－６（点Ｐ１、Ｐ２、及びＰ６の間で画定される）と１－３－５（点Ｐ１、Ｐ３、及びＰ５の間で画定される）を使用して実行され得る。１つの例では、特徴点４００の最も正確な３次元座標は、特徴点４００に寄与する表面又は平面を特徴点の種類（例えば、平滑面の終点、中心部分）に応じて選択することによって計算され得る。
【0042】
別の例では、面内処理の代わりに、スプライン処理及び／又はベジェ曲線処理が利用され得る。スプライン処理及びベジェ曲線処理は、平面内の点を滑らかに接続するための技術である。例えば、スプライン曲線を使用して、並べて配置された複数の平面上の３次元ドットアレイを接続し得る。特徴点の位置を含む第１の平面（２次元座標（ｘ、ｙ）を有する）が、スプライン曲線（例えば、スプライン曲線の第１のセット）を含む平面に実質的に直交すると仮定し、第１の平面と第１のスプライン曲線のそれぞれの交点が、第２のスプライン曲線と接続されてもよい。第２のスプライン曲線上の特徴点の位置は、特徴点の３次元座標（例えば、（ｘ、ｙ、ｚ））を表し得る。このアプローチでは、３次元パターンの点が、ランダムに分散されるのではなく、実質的に直線の規則的な線（例えば、行又は列）で配置されると仮定する。
【0043】
図５は、スプライン曲線を使用して、３次元パターンの点の補間位置を２次元特徴点５００と一致させることを示す。上記に示し、説明したように、３次元パターンの点は、実質的に線形に配置されてもよい。図示の例では、複数のスプライン曲線５０２１～５０２ｋ（以後、個別に「スプライン曲線５０２」と呼ばれるか、又は集合的に「スプライン曲線５０２」と呼ばれる）は、第１のスプライン５０６の複数の平面５０４１～５０４ｋ（以後、個別に「平面５０４」と呼ばれるか、又は集合的に「平面５０４」と呼ばれる）に配置された点から得られる。更に、平面５０８は、特徴点５００を通過し、複数の平面５０４に対して実質的に垂直に配置される。平面５０８とスプライン曲線との各交点を接続して、最終的なスプライン曲線を得る。特徴点５００の３次元座標（ｘｓ、ｙｓ、ｚｓ）は、特徴点５００の２次元座標（ｘｐ、ｙｐ）及びスプライン曲線から得られてもよい。更に、特徴点５００の方向５１０（ベクトル、曲率などの表面特徴を示す）は、最終的なスプライン曲線及び複数のスプライン曲線５０２から得ることができる。
【0044】
ベジェ曲線は、特徴点を取り囲む３次元パターンの点によって形成される第１の平面と、第１の平面に近接する第２の平面とから得ることができる。次に、特徴点の３次元座標はベジェ曲線から取得され得る。２次元特徴点を含むベジェ曲線は、特徴点を含む三角形の領域に隣接する表面の傾斜、及び隣接する境界線の位置を使用することによって描かれてもよい。
【0045】
図６は、ベジェ曲線を使用して、３次元パターンの点の補間位置を２次元特徴点６００と一致させることを示す。この場合、特徴点６００の３次元座標は、２次元特徴点６００を含む平面に隣接する平面６０２と２次元特徴点６００を通過する任意の垂直面６０４が交差する線によって得られるベジェ曲線６０８によって指定され得る。
【0046】
補間が、面内処理技術、スプライン処理、又はベジェ曲線処理を使用して計算されるかどうかにかかわらず、特徴点の近くの３次元パターンの少数の点の間（及び特徴点の３次元位置に対してのみ）で補間することで十分である。これにより、前述のように、補間計算の演算量が低減される。追加的に、スプライン処理又はベジェ曲線処理を使用する場合、表面又は物体の曲線が同時に計算され得るため、特徴点を含む表面又は物体が配置される方向を計算するのは比較的簡単である。
【0047】
１つの例では、特徴点の３次元座標を計算するために使用される技術は、選択された技術の精度に影響を与える可能性のある１つ以上の要因、例えば、特徴点の種類（３次元座標を計算する前に処理システムによって決定される場合がある）、環境条件などの考慮に基づき選択され得る。
【0048】
方法２００は、ステップ２１６で終了し得る。
【0049】
方法２００の精度、特に２次元画像の特徴点に関連付けられた３次元座標の精度は、表面又は物体までの距離、較正の仕様、及び使用される補間技術などの要因により変化し得る。しかし、表面又は物体の距離と較正の仕様は、事前に（つまり、方法２００を実行する前に）決定され得る要因であり、したがって、計算された３次元座標の推定信頼度は、３次元座標に関連付けて出力され得る。
【0050】
３次元座標の要求される、又は所望される精度は、用途及び特徴点の種類に応じて変更し得る。例えば、顔認証の場合、必要とされる精度は、特徴点が目、口、鼻、又は別の顔の特徴上の点のいずれであるかによって異なる場合がある。
【0051】
１つの例では、３次元パターンの点が欠落している場合（例えば、３次元パターンの画像で認識されない場合）、又は異常な座標値（例えば、点の既知の間隔と矛盾する値）が３次元パターンの点の中に検出される場合、次に、点の３次元座標を検出するために使用される技術が修正され得る。例えば、３次元パターンの点の３次元座標は、継続的に（例えば、２次元画像の取り込みの前後を含む）検出され得る。次に、点の３次元座標は経時的に比較され、特異検出において異常性又は異例を検出し得る。このアプローチは、点の位置が不安定な事例（例えば、不安定な照明条件、及び表面又は物体の材料に関する事例など）を補正する場合にも役立ち得て、ここで表面又は物体は異なる露光条件を必要とする異なる反射特性（例えば、黒と白）を有する材料を含んでいる。
【0052】
明示的に指定されていないが、上記の方法２００の一部のブロック、機能、又は動作は、特定の用途のために保存すること、表示すること、及び／又は出力することを含み得ることに留意すべきである。言い換えると、方法２００で議論された任意のデータ、レコード、フィールド、及び／又は中間結果は、特定の用途に応じて、保存され、表示され、及び／又は別のデバイスに出力され得る。更に、図２のブロック、機能、又は動作は、判定動作を列挙し、又は決定を含むものであり、判定動作の両方の分岐が実行されることを意味するものではない。言い換えると、判定動作の分岐のうちの１つは、判定動作の結果によっては実行されない場合がある。
【0053】
本開示の例は、顔認証の文脈内で論じられるが、本明細書に開示される技術は、３次元座標を２次元特徴点と関連付けることが有用であり得る別の用途に適用できることが理解されるであろう。例えば、本開示の例は、経路認識、ジェスチャ認識、及び別の用途にも適用され得る。
【0054】
例えば、図７Ａ～図７Ｂは、本開示の技術が経路認識に適用され得る通路の例示的な画像を示す。特に、図７Ａは、本開示の技術が経路認識に適用され得る通路の第１の部分を示し、図７Ｂは、図７Ａの通路の第２の部分を示す。特に、既知のマーキング７００１～７００ｍ（以後、個別に「マーキング７００」と呼ばれるか、集合的に「マーキング７００」と呼ばれる）は、通路の要所に取り付けられ得る。通路の３次元認識は、マーキング７００を特徴点として使用することにより容易にされ得る。１つの例では、マーキング７００は、異なる形状又はパターンを有して、通路内の異なる種類の要所（例えば、平面、角部、縁部、底面など）を示し得る。例えば、マーキング７００１は、壁の平面部分を示すように成形され得て、マーキング７００２は、壁の縁部分を示すように成形され得て、マーキング７００３は、壁の底面を示すように成形され得て、マーキング７００ｍは、壁の角部を示すように成形され得る。異なる種類の特徴に固有である特殊なマーキングの使用は、３次元座標の計算の効率を向上し得る。
【0055】
経路検出の文脈内で、本開示の例を使用して、障害物の位置を、例えば、無人車両（例えば、自動車、ドローンなど）によって検出し得る。既知の表面上のマーキング７００を使用して、特徴点に対して計算される３次元座標の信頼性を高め、障害物との衝突を回避する車両の能力を向上させ得る。
【0056】
図１Ｂに戻って参照すると、本開示の例は、ハンドジェスチャ認識にも使用され得て、これは、特定のハンドジェスチャがコンピューティングシステム又はデバイスの特定の動作にマッピングされ得るアプリケーションにおいて有用であり得る（例えば、手を振ると画像が取り込まれ、親指を立てるとアプリケーションが起動される、など）。手（物体１０８）の２次元画像上の特徴点１３０１～１３０ｋ（以後、個別に「特徴点１３０」と呼ばれるか、又は集合的に「特徴点１３０」と呼ばれる）は、３次元センサ（例えば、第１の画像化センサ１２４）の座標系で表される必要があり得る。逆に、３次元センサの座標系の任意の点は、２次元のカメラ座標（例えば、ピクセルｘ、ｙ座標）に置き換えられてもよい。２次元から３次元への変換、又はその逆の変換は、座標系間の相互の位置関係が既知である場合に可能である。
【0057】
３次元座標系を動かすプロセスは、数学的な計算によってのみ実行され得るため、比較的容易である。したがって、３次元画像化センサの座標系の位置を２次元画像化センサの座標系に対して取得するプロセスは、機械的基準点に対する３次元画像化センサの座標系の位置を決定することによって開始され得る（これは、３次元センサの較正プロセス中に既に行われている場合がある）。３次元センサと２次元センサの機械的位置決めは、固定されてもよい。機械的基準（例えば、中心軸のずれ、画像の回転、画像の歪みなど）点に対する２次元センサの座標の位置（光学的位置）は、測定されて、補正され得る。
【0058】
３次元センサの座標軸が２次元カメラの光軸と合致する場合、３次元センサの座標系の点（ｘ＝０、ｙ＝０、ｚ）は、２次元画像の中心に留まり得る。更に、３次元センサの座標系の基準点を２次元カメラの入射点（すなわち、捕捉レンズの前結節点）に配置することにより、３次元センサの座標系は、２次元画像の座標位置と常に合致し得る。
【0059】
図８は、センサから物体までの距離を計算するための例示的な電子デバイス８００の高レベルのブロック図を示す。このように、電子デバイス８００は、距離センサなど、電子デバイス又はシステムのプロセッサとして実装され得る（例えば、図１Ａ～図１Ｂのプロセッサ１２６）。
【0060】
図８に示すように、電子デバイス８００は、ハードウェアプロセッサ要素８０２、例えば、中央処理ユニット（ＣＰＵ）、マイクロプロセッサ、又はマルチコアプロセッサと、メモリ８０４、例えば、ランダムアクセスメモリ（ＲＡＭ）及び／又は読み取り専用メモリ（ＲＯＭ）と、３次元座標を２次元特徴点と関連付けるためのジュール８０５と、様々な入力／出力デバイス８０６、例えば、限定するものではないがテープドライブ、フロッピドライブ、ハードディスクドライブ、又はコンパクトディスクドライブを含む記憶装置、受信機、送信機、ディスプレイ、出力ポート、入力ポート、及びユーザ入力デバイス、例えばキーボード、キーパッド、マウス、マイクロホン、カメラ、レーザ光源、ＬＥＤ光源などと、を含む。
【0061】
１つのプロセッサ要素が示されるが、電子デバイス８００は、複数のプロセッサ要素を使用し得ることに留意されたい。更に、１つの電子デバイス８００がこの図には示されているが、上述の方法（複数可）が、特定の例示的な例について分散又は並列方法で実装される場合、つまり、上記の方法（複数可）のブロック又はすべての方法（複数可）が、複数又は並列の電子デバイスにわたって実装される場合、この図の電子デバイス８００は、それらの複数の電子デバイスの各々を表すことを意図する。
【0062】
本開示は、機械可読命令によって、及び／又は機械可読命令とハードウェアの組み合わせで、例えば、特定用途向け集積回路（ＡＳＩＣ）、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）を含むプログラマブルロジックアレイ（ＰＬＡ）、又はハードウェアデバイス上に配備されるステートマシンを使用して実装され得て、汎用コンピュータ又は任意の他のハードウェアの等価物、例えば上述の方法（複数可）に関係するコンピュータ可読命令を使用して、上記で開示した方法（複数可）のブロック、機能、及び／又は動作を実行するようにハードウェアプロセッサを構成し得ることに留意されたい。
【0063】
１つの例では、３次元座標を２次元特徴点に関連付けるための本モジュール又はプロセス８０５用の命令及びデータ、例えば、機械可読命令は、メモリ８０４内にロードされ、ハードウェアプロセッサ要素８０２によって実行されて、方法２００に関連して上述したブロック、機能、又は動作を実装し得る。更に、ハードウェアプロセッサが命令を実行して「動作」を行う場合、これは、ハードウェアプロセッサがその動作を直接的に行うこと、及び／又はその動作を行うように、別のハードウェアデバイス又は構成要素、例えばコプロセッサなどに促すこと、指示すること、又は共働することを含み得る。
【0064】
上記の方法（複数可）に関する機械可読命令を実行するプロセッサは、プログラムされたプロセッサ又は専用プロセッサとして認識され得る。このように、本開示の３次元座標を２次元特徴点に関連付ける本モジュール８０５は、実体的な又は物理的な（概して非一時的な）コンピュータ可読記憶装置又は媒体、例えば、揮発性メモリ、非揮発性メモリ、ＲＯＭメモリ、ＲＡＭメモリ、磁気若しくは光学ドライブ、デバイス、又はディスケットなどに保存され得る。特に、コンピュータ可読記憶装置は、任意の物理的デバイスを含んでもよく、それはプロセッサ又は電子デバイス、例えばコンピュータ又は安全センサシステムのコントローラによってアクセスされるデータ及び／又は命令などの情報を保存する能力を提供する。
【0065】
上記開示の変形例と、他の特徴及び機能、又はそれらの代替物は、他の多くの異なるシステム又はアプリケーションに組み合わせ得ることを理解されたい。現在予期されない、又は予想されない様々な代替、変更、又は変形が今後行われ得るが、それらもまた、以下の特許請求の範囲に包含されることが意図される。
【図1A】
【図1B】
【図2】
【図3A】
【図3B】
【図3C】
【図4A】
【図4B】
【図5】
【図6】
【図7A】
【図7B】
【図8】
