知財求人 - 知財ポータルサイト「IP Force」
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2024-10-08
(45)【発行日】2024-10-17
(54)【発明の名称】飛行時間情報を用いた三角測量ベースの３次元距離測定の向上
(51)【国際特許分類】
G01C 3/06 20060101AFI20241009BHJP
【ＦＩ】
G01C3/06 110A
G01C3/06 140
【請求項の数】
20
(21)【出願番号】P 2022532635
(86)(22)【出願日】2020-11-25
(65)【公表番号】
(43)【公表日】2023-02-01
(86)【国際出願番号】 US2020062138
(87)【国際公開番号】W WO2021113135
(87)【国際公開日】2021-06-10
【審査請求日】2023-10-30
(31)【優先権主張番号】62/942,137
(32)【優先日】2019-12-01
(33)【優先権主張国・地域又は機関】US
(73)【特許権者】
【識別番号】517145315
【氏名又は名称】マジック アイ インコーポレイテッド
(74)【代理人】
【識別番号】110001210
【氏名又は名称】弁理士法人ＹＫＩ国際特許事務所
(72)【発明者】
【氏名】木村 昭輝
【審査官】信田 昌男
(56)【参考文献】
【文献】国際公開第２０１８／０４２８０１（ＷＯ，Ａ１）
【文献】特開２０１３－１０４７８４（ＪＰ，Ａ）
【文献】国際公開第２０１４／００２４１５（ＷＯ，Ａ１）
【文献】米国特許出願公開第２０１４／０２１１１９３（ＵＳ，Ａ１）
(58)【調査した分野】(Int.Cl.，ＤＢ名)
Ｇ０１Ｃ ３／０６
(57)【特許請求の範囲】
【請求項1】
距離センサの処理システムによって、前記距離センサの投光システムに、光のパターンを物体上へ投影させることであって、ここで前記光のパターンは集合的に前記パターンを形成する複数の光点を含むことと、前記処理システムによって、前記距離センサの受光システムに、前記物体上に投影された前記光のパターンの画像を取得させることと、
前記処理システムによって、前記受光システムの画像化センサ上で、前記複数の光点のうちの第１の光点の画像位置を検出することと、
前記処理システムによって、前記距離センサと前記物体との間の第１の推定距離及び第２の推定距離を、前記第１の光点の前記画像位置に基づいて計算することと、
前記処理システムによって、前記距離センサの前記投光システムに、前記物体へ向かって光のパルスを放出させることと、
前記処理システムによって、前記受光システムに、前記物体によって反射された前記光のパルスの一部分の画像を取得させることと、
前記処理システムによって、前記距離センサと前記物体との間の第３の推定距離を、前記光のパルスの飛行時間に基づいて計算することと、
前記処理システムによって、前記距離センサと前記物体との間の第４の推定距離を、前記第１の推定距離、前記第２の推定距離、及び前記第３の推定距離に基づいて計算することと、
を含む、方法。
【請求項2】
前記第１の推定距離と前記第２の推定距離を前記計算することは、前記処理システムによって、前記画像位置の位置で重なる第１の軌道と第２の軌道を識別することと、
前記処理システムによって、前記第１の推定距離を、前記光点が前記第１の軌道に属するという仮定に基づき計算することと、
前記処理システムによって、前記第２の推定距離を、前記光点が前記第２の軌道に属するという仮定に基づき計算することと、
を含む、請求項１に記載の方法。
【請求項3】
前記第１の軌道は、前記第１の軌道に属する前記複数の光点のうちの光点の潜在的な画像位置の範囲のうちの第１の範囲を含み、前記第２の軌道は、前記第１の軌道に属する前記複数の光点のうちの光点の潜在的な画像位置の第２の範囲を含む、請求項２に記載の方法。
【請求項4】
前記第１の推定距離と前記第２の推定距離は、三角測量を使用して計算される、請求項３に記載の方法。
【請求項5】
前記第４の推定距離を前記計算することは、前記処理システムによって、前記第１の推定距離が前記第２の推定距離よりも前記第３の推定距離に近いことを決定することと、
前記処理システムによって、前記第１の推定距離に等しい前記第４の推定距離を設定することと、
を含む、請求項３に記載の方法。
【請求項6】
前記投光システムに前記光のパターンを前記投影させることは、前記投光システムに前記光のパルスを前記放出させることと同時に実行される、請求項１に記載の方法。
【請求項7】
前記受光システムに、前記物体上に投影された前記光のパターンの前記画像を前記取得させることは、前記受光システムに前記光のパルスの前記一部分の前記画像を前記取得させることと同時に実行される、請求項６に記載の方法。
【請求項8】
前記複数の光点及び前記光のパルスが、人間の目には見えない波長の光を含む、請求項１に記載の方法。
【請求項9】
前記複数の光点と前記光のパルスは赤外光を含む、請求項８に記載の方法。
【請求項10】
前記光のパターンは、既知の寸法を有する所定のパターンを含む、請求項１に記載の方法。
【請求項11】
少なくとも１つのプロセッサを含む処理システムによって実行可能な命令で符号化された非一時的な機械可読記憶媒体であって、ここで前記処理システムによって実行されると、前記命令は前記処理システムに動作を実行させ、前記動作は、距離センサの投光システムに、光のパターンを物体上へ投影させることであって、ここで前記光のパターンは集合的に前記パターンを形成する複数の光点を含むことと、
前記距離センサの受光システムに、前記物体上に投影された前記光のパターンの画像を取得させることと、
前記受光システムの画像化センサ上で、前記複数の光点のうちの第１の光点の画像位置を検出することと、
前記距離センサと前記物体との間の第１の推定距離及び第２の推定距離を、前記第１の光点の前記画像位置に基づいて計算することと、
前記距離センサの前記投光システムに、前記物体へ向かって光のパルスを放出させることと、
前記受光システムに、前記物体によって反射された前記光のパルスの一部分の画像を取得させることと、
前記距離センサと前記物体との間の第３の推定距離を、前記光のパルスの飛行時間に基づいて計算することと、
前記距離センサと前記物体との間の第４の推定距離を、前記第１の推定距離、前記第２の推定距離、及び前記第３の推定距離に基づいて計算することと、
を含む、非一時的な機械可読記憶媒体。
【請求項12】
前記第１の推定距離と前記第２の推定距離を前記計算することは、前記画像位置の位置で重なる第１の軌道と第２の軌道を識別することと、
前記第１の推定距離を、前記光点が前記第１の軌道に属するという仮定に基づき計算することと、
前記第２の推定距離を、前記光点が前記第２の軌道に属するという仮定に基づき計算することと、
を含む、請求項１１に記載の非一時的な機械可読記憶媒体。
【請求項13】
前記第１の軌道は、前記第１の軌道に属する前記複数の光点のうちの光点の潜在的な画像位置の範囲のうちの第１の範囲を含み、前記第２の軌道は、前記第１の軌道に属する前記複数の光点のうちの光点の潜在的な画像位置の第２の範囲を含み、前記第１の推定距離と前記第２の推定距離は、三角測量を使用して計算される、請求項１２に記載の非一時的な機械可読記憶媒体。
【請求項14】
前記第４の推定距離を前記計算することは、前記処理システムによって、前記第１の推定距離が前記第２の推定距離よりも前記第３の推定距離に近いことを決定することと、
前記処理システムによって、前記第１の推定距離に等しい前記第４の推定距離を設定することと、
を含む、請求項１３に記載の非一時的な機械可読記憶媒体。
【請求項15】
前記投光システムに前記光のパターンを前記投影させることは、前記投光システムに前記光のパルスを前記放出させることと同時に実行される、請求項１１に記載の非一時的な機械可読記憶媒体。
【請求項16】
前記受光システムに、前記物体上に投影された前記光のパターンの前記画像を前記取得させることは、前記受光システムに前記光のパルスの前記一部分の前記画像を前記取得させることと同時に実行される、請求項１５に記載の非一時的な機械可読記憶媒体。
【請求項17】
前記複数の光点及び前記光のパルスが、人間の目には見えない波長の光を含む、請求項１１に記載の非一時的な機械可読記憶媒体。
【請求項18】
前記複数の光点と前記光のパルスは赤外光を含む、請求項１７に記載の非一時的な機械可読記憶媒体。
【請求項19】
前記光のパターンは、既知の寸法を有する所定のパターンを含む、請求項１１に記載の非一時的な機械可読記憶媒体。
【請求項20】
処理システムと、前記処理システムによって実行可能な命令で符号化された非一時的な機械可読記憶媒体であって、ここで、実行されると、前記命令は前記処理システムに動作を実行させ、前記動作は、
距離センサの投光システムに、光のパターンを物体上へ投影させることであって、ここで前記光のパターンは集合的に前記パターンを形成する複数の光点を含むこと、
前記距離センサの受光システムに、前記物体上に投影された前記光のパターンの画像を取得させること、
前記受光システムの画像化センサ上で、前記複数の光点のうちの第１の光点の画像位置を検出すること、
前記距離センサと前記物体との間の第１の推定距離及び第２の推定距離を、前記第１の光点の前記画像位置に基づいて計算すること、
前記距離センサの前記投光システムに、前記物体へ向かって光のパルスを放出させること、
前記受光システムに、前記物体によって反射された前記光のパルスの一部分の画像を取得させること、
前記距離センサと前記物体との間の第３の推定距離を、前記光のパルスの飛行時間に基づいて計算すること、及び、
前記距離センサと前記物体との間の第４の推定距離を、前記第１の推定距離、前記第２の推定距離、及び前記第３の推定距離に基づいて計算すること、を含む非一時的な機械可読記憶媒体と、
を備える、装置。
【発明の詳細な説明】
【技術分野】
【0001】
関連出願の相互参照
本出願は、２０１９年１２月１日に出願された米国仮特許出願第６２／９４２，１３７号の優先権を主張し、その開示全体は参照により本明細書に組み込まれる。
本出願は、２０１９年１２月１日に出願された米国仮特許出願第６２／９４２，１３７号の優先権を主張し、その開示全体は参照により本明細書に組み込まれる。
【0002】
本発明は、一般的に距離測定に関連し、特に、飛行時間（ＴＯＦ）情報を用いた三角測量ベースの３次元距離測定の向上に関連する。
【背景技術】
【0003】
米国特許出願第１４／９２０，２４６号、米国特許出願第１５／１４９，３２３号、及び米国特許出願第１５／１４９，４２９号には、距離センサの様々な構成が記載されている。このような距離センサは、様々な用途で有用であり得て、セキュリティ、ゲーム、無人車両の制御、及びその他の用途が挙げられる。
【0004】
これらの出願に記載された距離センサは、投光システム（例えば、レーザ、回折光学素子、及び／又は他の協調構成要素を含んでいる）を含み、これは、人間の目には実質的に見えない波長（例えば、赤外線）の光のビームを視野内に投影する。光のビームは広がって点（ドット、ダッシュ、又はその他）のパターンを作成し、それは、適切な受光システム（例えば、レンズ、画像取込デバイス、及び／又は他の構成要素）によって検出され得る。パターンが視野内の物体に入射すると、センサから物体までの距離は、視野の１つ以上の画像内のパターンの外観（例えば、点の位置関係）に基づいて計算され得て、これらの画像は、センサの受光システムによって取り込まれ得る。物体の形状及び寸法もまた、決定され得る。
【0005】
例えば、パターンの外観は、物体までの距離によって変化し得る。一例として、パターンが、ドットのパターンを含む場合、ドットは、物体がセンサに近いときに、互いに近接して表示され、物体がセンサから離れると、互いに離れて表示され得る。
【発明の概要】
【課題を解決するための手段】
【0006】
１つの例では、少なくとも１つのプロセッサを含む処理システムによって実行される方法は、距離センサの投光システムに、光のパターンを物体上へ投影させることであって、ここで光のパターンは、集合的にパターンを形成する複数の光点を含むことと、距離センサの受光システムに、物体上に投影された光のパターンの画像を取得させることと、受光システムの画像化センサ上で、複数の光点のうちの第１の光点の画像位置を検出することと、距離センサと物体との間の第１の推定距離及び第２の推定距離を、第１の光点の画像位置に基づいて計算することと、距離センサの投光システムに、物体へ向かって光のパルスを放出させることと、受光システムに、物体によって反射された光のパルスの一部分の画像を取得させることと、距離センサと物体との間の第３の推定距離を、光のパルスの飛行時間に基づいて計算することと、距離センサと物体との間の第４の推定距離を、第１の推定距離、第２の推定距離、及び第３の推定距離に基づいて計算することと、を含む。
【0007】
別の例では、非一時的な機械可読記憶媒体は、少なくとも１つのプロセッサを含む処理システムによって実行可能な命令で符号化される。命令は、実行されると、処理システムに動作を実行させ、この動作は、距離センサの投光システムに、光のパターンを物体上へ投影させることであって、ここで光のパターンが集合的にパターンを形成する複数の光点を含むことと、距離センサの受光システムに、物体上に投影された光のパターンの画像を取得させることと、受光システムの画像化センサ上で、複数の光点のうちの第１の光点の画像位置を検出することと、距離センサと物体との間の第１の推定距離及び第２の推定距離を、第１の光点の画像位置に基づいて計算することと、距離センサの投光システムに物体へ向かって光のパルスを放出させることと、受光システムに、物体によって反射された光のパルスの一部分の画像を取得させることと、距離センサと物体との間の第３の推定距離を、光のパルスの飛行時間に基づいて計算することと、距離センサと物体との間の第４の推定距離を、第１の推定距離、第２の推定距離、及び第３の推定距離に基づいて計算することと、を含む。
【0008】
別の例では、装置は、少なくとも１つのプロセッサを含む処理システムと、処理システムによって実行可能な命令で符号化された非一時的な機械可読記憶媒体とを含む。命令は、実行されると、処理システムに動作を実行させ、この動作は、距離センサの投光システムに、光のパターンを物体上へ投影させることであって、ここで光のパターンが集合的にパターンを形成する複数の光点を含むことと、距離センサの受光システムに、物体上に投影された光のパターンの画像を取得させることと、受光システムの画像化センサ上で、複数の光点のうちの第１の光点の画像位置を検出することと、距離センサと物体との間の第１の推定距離及び第２の推定距離を、第１の光点の画像位置に基づいて計算することと、距離センサの投光システムに物体へ向かって光のパルスを放出させることと、受光システムに、物体によって反射された光のパルスの一部分の画像を取得させることと、距離センサと物体との間の第３の推定距離を、光のパルスの飛行時間に基づいて計算することと、距離センサと物体との間の第４の推定距離を、第１の推定距離、第２の推定距離、及び第３の推定距離に基づいて計算することと、を含む。
【図面の簡単な説明】
【0009】
【図1A】距離センサの画像化センサ上の光点の画像位置と物体距離との間の関係を示す例示的なチャートである。
【図1B】物体距離と距離測定精度との間の関係を飛行時間ベースの距離計算に関して示す例示的なチャートである。
【図2】例えば、物体までの距離を測定するための距離センサの簡略化された例を示す図である。
【図3】軌道が重なるときの点の画像位置と物体距離との関係を示し、更に飛行時間ベースの測定技術を介して得られた測距結果が、三角測量ベースの測定技術を介して得られた測距結果と同時にどのように取得され得るかを示す概略図である。
【図5】本開示の例による、物体までの距離を計算するための例示的な方法を示す流れ図である。
【図6】センサから物体までの距離を計算するための例示的な電子デバイスの高レベルのブロック図である。
【発明を実施するための形態】
【0010】
本開示は、三角測量ベースの３次元距離測定を、飛行時間（ＴＯＦ）情報を用いて向上するための装置、方法、及び非一時的なコンピュータ可読媒体を広く説明する。上述のように、米国特許出願第１４／９２０，２４６号、米国特許出願第１５／１４９，３２３号、及び米国特許出願第１５／１４９，４２９号に記載されるような距離センサは、物体までの距離（及び、潜在的には、物体の形状及び寸法）を、広がる光のビームを投影して、その物体を含む視野内に点（例えば、ドット、ダッシュなど）のパターンを作成することによって決定する。光のビームは、１つ以上のレーザ光源から投影され得て、レーザ光源は、人間の目には実質的に見えないが、適切な検出器（例えば、受光システムの検出器）には可視である波長の光を放出する。次に、物体までの３次元距離は、三角測量技術を使用して、検出器までのパターンの外観に基づいて計算され得る。
【0011】
三角測量による３次元距離測定は、近距離で非常に正確であることが証明されており、したがって、顔認証（例えば、個人を、個人の顔の特徴と正規ユーザの顔の特徴との照合に基づいて、デバイス又はサービスの正規ユーザとして認証すること）などの用途に有用である。しかし、距離が長くなると、三角測量は、個々の光点を識別すること（つまり、パターン内の光点と、点を作成したビームとの間の対応を識別することであり、これは光点の位置関係を決定するために必要である）が困難なため、エラーが発生しやすくなる場合がある。
【0012】
例えば、上記のように、物体に投影されるパターン内の個々の光点の画像位置（すなわち、画像化センサ上の点によって反射される光の位置）は、物体までの距離に基づいて変化し得る。一例として、光点は、物体がセンサに近い場合は互いに近くに現れ、物体がセンサから離れている場合は互いに離れて出現し得る。個々の光点の潜在的な画像位置の範囲は、光点の「軌道」と呼ばれる場合があり、軌道は固定される傾向がある。パターン内の光点の数が増えると、個々の光点の軌道が重なる可能性が高くなり、どの光点が距離センサによって投影されたどのビームに対応するかを判断するのがより困難になる。光点が対応するビームが判断され得ない場合、三角測量による距離測定はより困難になる。
【0013】
図１Ａは、距離センサの画像化センサ上の光点の画像位置と物体距離との間の関係（つまり、距離センサから、その距離が測定されている物体までの距離）を示す例示的なチャート１００である。特に、チャート１００のｘ軸は、光点の位置分解能をプロットし、一方でチャート１００のｙ軸は、距離分解能をプロットする。上述のように、点の画像位置と物体距離との関係を知ることは、三角測量技術を使用して物体距離を計算できるようにするための秘訣である。
【0014】
図１Ａで分かるように、軌道（又は点の画像位置が移動する可能性のある範囲）は、物体までの距離が増加するにつれて縮小する。これは、三角測量ベースの距離測定技術において、距離測定が長距離に対して高分解能で実行できることを意味し、なぜなら画像位置の移動量が近距離では大きいためである。
【0015】
図１Ｂは、飛行時間（ｔｉｍｅ ｏｆ ｆｌｉｇｈｔ）ベースの距離計算に関して、物体距離と距離測定精度との間の関係を示す例示的なチャート１０２である。特に、チャート１０２のｘ軸は、時間測定分解能（すなわち、ラウンドトリップ飛行時間）をプロットし、一方、チャート１０２のｙ軸は、距離分解能をプロットする。図１Ｂから分かるように、飛行時間ベースの距離測定計算の測距分解能（又は精度）は、任意の物体距離に対して一定である。
【0016】
したがって、図１Ａ及び図１Ｂを一緒に検討する場合、三角測量ベースの距離測定技術の距離測定分解能は、飛行時間ベースの距離測定技術の距離測定分解能を、少なくとも特定の物体距離まで、はるかに上回ることが分かる。
【0017】
本開示の例は、飛行時間（ＴＯＦ）ベースの距離測定技術を使用して、三角測量ベースの３次元距離測定を増強し、精度を向上させる。ＴＯＦは通常、変調光を物体に投影し、投影された光が反射光として戻るのにかかる時間を追跡することによって機能し、物体までの距離は、投影された光の放出とセンサ上の反射光の画像化との間の経過時間の関数として計算され得る。このようにして、距離は、特定の分解能で、距離に関係なく測定され得る。この分解能は通常、高レベルの詳細度に依存する顔認証などの用途には粗すぎるが、三角測量ベースの測定結果を確認するのに役立ち得る。
【0018】
特に、１つの例では、三角測量ベースの技術を使用して行われる距離測定計算は、２つの隣接する軌道が重なる投影パターンの領域内で検出される投影パターン内の光点を識別し得る。三角測量ベースの距離測定技術のみを使用すると、その光点がどの軌道に属するか（したがって、どの投影ビームか）を判断するのが困難になり得る。しかし、飛行時間に基づく距離測定計算を用いて増強することにより、光点が属する軌道を識別できる場合がある。
【0019】
図２は、例えば、物体２１０までの距離を測定するための距離センサ２００の簡略化された例を示す。図示のように、距離センサ２００は、一般的に、プロセッサ２０２と、少なくとも第１の投影点２０４を含んだ複数の投影点を含む投光システムと、少なくとも画像化センサ２０６およびカメラのレンズ２１４を含む受光システム２０６と、を備える。
【0020】
投影点２０４は、複数の構成要素を含み得て、光源及び回折光学素子が挙げられる。光源は、レーザ光源を含み得て、レーザ光源は人間の目には実質的に見えない波長（例えば、赤外線波長）で光を放出することができる。光源は、単一の光のビームを放出し得て、光のビームは回折光学素子によって、共通の中心点又は原点から扇形に広がる複数の光のビームに分割される。
【0021】
図示のように、投影点２０４は、複数の光のビーム２０８１～２０８ｎ（以下、個々に「ビーム２０８」と呼ばれるか、又は集合的に「ビーム２０８」と呼ばれる）を物体２１０に投影し得る。ビーム２０８が物体２１０に入射すると、これは、複数の光点２１２１～２１２ｎ（以下、個々に「点２１２」と呼ばれるか、又は集合的に「点２１２」と呼ばれる）、すなわちビーム２０８毎に１つの光点を物体２１０上に作成する。光点２１２は、寸法が既知である所定のパターン（グリッドなど）を集合的に形成する。
【0022】
距離センサ２００から物体２１０までの距離は変化し得る。図２は、物体２１０を第１の距離Ｄａ及び第２の距離Ｄｂで示す。示されるように、光点２１２は、物体２１０に距離Ｄａ又はＤｂのいずれかで入射され得るが、距離を変更すると、上記のように光点２１２によって作成されたパターンの外観が変更する。特に、画像化センサ２０６上の点の反射された画像の位置は、示されるように変化する。
【0023】
挿入図２１８は、点２１２１～２１２ｎに対応する軌道２１６１～２１６ｎ（以下、個々に「軌道２１６」と呼ばれるか、又は集合的に「軌道２１６」と呼ばれる）が、画像化センサの表面上でどのように重なるかを示す。画像化センサの中心は、参照のためＣとして示される。軌道２１６の重なりのために、所与の光点２１２は、２つの隣接して重なる軌道２１６によって覆われる画像化センサ２０６上の位置に現れ、どの軌道２１６（したがって、どのビーム２０８）に所与の点２１２が属するかを確実に決定することが困難になる場合がある。
【0024】
図３は、軌道２１６が重なるときの点２１２の画像位置と物体距離Ｄとの関係を示し、更に飛行時間ベースの測定技術を介して得られた測距結果が、三角測量ベースの測定技術を介して得られた測距結果と同時にどのように取得され得るかを示す概略図である。
【0025】
図３は、図１Ａに示されているものと同様であるが、図２に示される光点２１２に対して、複数の画像位置－物体距離曲線を示す。例えば、曲線３００１は点２１２１に対応し、曲線３００２は点２１２２に対応し、曲線３００ｎは点２１２ｎに対応する。曲線３００１～３００ｎは、個々に「曲線３００」と呼ばれるか、又は集合的に「曲線３００」と呼ばれ得る。曲線３００間の間隔又は距離は、点２１２間の角度間隔によって決定され、範囲３０２に対応する。
【0026】
図３のＲｔは、飛行時間ベースの測定の分解能を表す。特に、Ｒｔは、指定された最も近い画像位置について、物体（例えば、物体２１０）が距離センサから距離Ｒｔ離れている場合、画像位置がＲｔだけ移動することを示す。したがって、Ｒｔ１は点２１２１の分解能を示し、Ｒｔ２は点２１２２の分解能を示し、Ｒｔｎは点２１２ｎの分解能を示す。
【0027】
点２１２の軌道２１６は、図示のように重なる。したがって、所与の光点が位置Ｐで検出される場合、計算される物体距離は、所与の光点が軌道２１６１、２１６２、又は２１６ｎに属するかどうかによって異なる。他方、位置Ｐで飛行時間技術を使用して計算された物体距離はすでに既知であるため、この知識は、所与の光点がどの軌道２１６に属するかを識別するのに役立ち得る。更に、飛行時間ベースの測定の分解能はＲｔであるため、点２１２の物体距離は、飛行時間の分解能を用いて確実に決定され得る。
【0028】
図４は、図２の画像化センサ２０６の例を、より詳細に示す。特に、図４は、画像化センサ２０６上の画像位置と飛行時間検出位置との間の関係を示す。図示のように、画像化センサ２０６は、グリッド又はマトリックスに配置された複数のピクセル４００１～４００ｍ（以下、個々に「ピクセル４００」と呼ばれるか、又は集合的に「ピクセル４００」と呼ばれる）を含む。各ピクセル４００は、例えば、受光器を含み得て、更に、反射光を受光器に集束させるためのレンズ（例えば、マイクロレンズ）と、特定の波長の光が受光器に通過することを可能にするためのフィルタとを含み得る。
【0029】
図示のように、光点４０２は、画像化センサ２０６上に画像化され得る。光点４０２の位置（三角測量ベースの測定技術によって決定される）は、画像化センサ２０６のピクセル４００のうちの１つ以上と重なる場合がある。図４において、影付きのピクセル４００は、点４０２の飛行時間検出位置を表し、一方、円形の輪郭は、三角測量ベースの測定技術を使用して検出された点４０２の画像位置を表す。点４０２が属する軌道４０４もまた示される。１つの例では、軌道４０４に属している点４０２は、距離センサから物体までの距離に応じて、軌道４０４内にある画像化センサ２０６上の任意の場所で画像化されてもよい。
【0030】
図５は、本開示の例による、物体までの距離を計算するための方法５００の一例を示す流れ図である。方法５００は、例えば、距離センサの処理システムのような、少なくとも１つのプロセッサを含んだ処理システムによって実行され得る。例として、方法５００は、処理システムによって実行されるものとして説明される。
【0031】
方法５００は、ステップ５０２から開始し得る。ステップ５０４において、処理システムは、距離センサの投光システムに、光のパターンを物体に投影させ得て、ここで光のパターンは、集合的にパターンを形成する複数の光点を含む。例えば、処理システムは、電子信号を投光システムに送信し得て、そこで電子信号は命令を符号化する。上述したように、光は、人間の目には実質的に見えないが、距離センサの画像化センサによって検出可能である波長のもの（例えば、赤外光）であり得る。
【0032】
光のパターンは、距離センサの投光システムによって投影される複数のビームによって作成され得る。複数のビームは、複数の光点を物体上に投影し得て、複数の光点は集合的に光のパターン、又は「投影パターン」を形成する。１つの例では、複数の光点は、複数の行と複数の列を含むグリッドパターンに配置され得る。
【0033】
更なる例では、行と列の配置は互い違いにされ得る。例えば、複数の行は、１行おきの光点が、ｙまたは垂直方向の光点の中心を通過する仮想線に沿って整列又は共線となるように配置され得る。逆に、隣接する２つの行の光点は整列されない（例えば、両方の行の光点の中心を通過するｙ、又は垂直方向の仮想線はない）。
【0034】
同様に、複数の列は、１列おきの光点が、ｘまたは水平方向の光点の中心を通過する仮想線に沿って整列又は共線となるように配置され得る。逆に、隣接する２つの列の光点は整列されない（例えば、両方の列の光点の中心を通過するｘ、又は水平方向の仮想線はない）。
【0035】
ステップ５０６において、処理システムは、距離センサの受光システムに、物体上の投影パターンの画像を取得させ得る。例えば、処理システムは、電子信号を受光システムに送信し得て、そこで電子信号は命令を符号化する。上記のように、投影パターン（例えば、投影パターンを形成する光）は、人間の目には見えない場合があるが、それは、受光システムの画像センサには可視であり得る。
【0036】
ステップ５０８において、処理システムは、受光システムの画像化センサ上の複数の光点のうちの第１の光点の画像位置を検出し得る。第１の光点の画像位置を検出することは、第１の光点に対応する（すなわち、生成された）投光システムの投影点によって投影された第１のビーム（第１のビームは、投影点から投影された複数のビームの１つである）を決定することを含み得る。
【0037】
１つの例では、第１の光点の画像位置を検出することは、第１の光点の画像位置が第１の軌道と第２の軌道とが重なる画像化センサの領域に位置すると決定することを含み得る。したがって、ステップ２０６で取得された画像から、第１の光点がどの軌道（したがって、複数のビームのどのビーム）に属するかが不明確である場合がある。
【0038】
例えば、図２において軌道２１６１、２１６２、及び２１６ｎが重なる領域の内にある位置Ｐの光点を考察する。点Ｐは、軌道２１６１上の点Ｐ１、軌道２１６２上の点Ｐ２、又は軌道２１６ｎ上の点Ｐｎとして潜在的に識別され得る。計算された物体距離は、どの点Ｐ１、Ｐ２、又はＰｎが点Ｐであると決定されるかによって異なる（つまり、物体距離は、点Ｐ１の場合はＤ１、点Ｐ２の場合はＤ２、点Ｐｎの場合はＤｎになる）。
【0039】
ステップ５１０において、処理システムは、距離センサと物体との間の第１の推定距離及び第２の推定距離を、第１の光点の画像位置に基づいて計算し得る。例えば、処理システムは、三角測量技術を使用して、第１の推定距離及び第２の推定距離を計算し得る。一例として、距離は、米国特許出願第１４／９２０，２４６号、米国特許出願第１５／１４９，３２３号、及び米国特許出願第１５／１４９，４２９号に記載された方法のいずれかにおいて計算され得る。
【0040】
１つの例では、第１の推定距離は、第１の軌道が第１の光点に対応するという仮定に基づき計算されてもよく、一方、第２の推定距離は、第２の軌道が第２の光点に対応するという仮定に基づいて計算されてもよい。したがって、三角測量ベースの距離測定は、画像化センサ上の第１の光点の位置と重なる各軌道に対して計算され得る。例えば、点Ｐについての上記の例に従って、どの軌道が点Ｐに対応するものとして識別されるかに応じて、第１の推定距離は、Ｄ１、Ｄ２、又はＤ３として計算され得る。
【0041】
ステップ５１２において、処理システムは、距離センサの投光システムに、物体に向かって光のパルスを放出させ得る。例えば、処理システムは、電子信号を投光システムに送信し得て、そこで電子信号は命令を符号化する。上述したように、光は、人間の目には実質的に見えないが、距離センサの画像化センサによって検出可能である波長のもの（例えば、赤外光）であり得る。１つの例では、ステップ５１２は、ステップ５０４と同時に実行される。
【0042】
ステップ５１４において、処理システムは、距離センサの受光システムに、物体によって反射される光のパルスの一部分の画像を取得させ得る。例えば、処理システムは、電子信号を受光システムに送信し得て、そこで電子信号は命令を符号化する。上述のように、光のパルス（及び反射される光のパルスの部分）は、人間の目には見えない場合があるが、それは受光システムの画像センサには可視であり得る。１つの例では、ステップ５１４は、ステップ５０６と同時に実行される。
【0043】
ステップ５１６において、処理システムは、距離センサと物体との間の第３の推定距離を、光のパルスの飛行時間に基づき計算し得る。例えば、処理システムは、第３の推定距離を、投光システムが光のパルスを放出する時間と、受光システムの画像化センサが物体によって反射される光のパルスの部分を検出する時間との間の経過時間に基づいて、計算し得る。例えば、画像化センサの位置Ｐにある光点について、第２の推定距離はＤｔ（Ｐ）として計算され得る。
【0044】
ステップ５１８において、処理システムは、距離センサと物体との間の第４の推定距離を、第１の推定距離、第２の推定距離、及び第３の推定距離に基づいて計算し得る。特に、第３の推定距離は、飛行時間ベースの距離測定技術を使用して計算されたもので、それを使用して、第１の推定距離と第２の推定距離のどちらが正当である（例えば、ある閾値公差内で第３の推定距離に一致するか、又は第３の推定距離に近い）か、を決定し得る。例えば、図４に戻って参照すると、点４０２が第１の光点を表す場合、点４０２を取り囲むピクセル４００の距離測定は、点４０２の距離測定として採用され得る。次に、第１の推定距離と第２の推定距離のいずれかが、第３の推定距離に基づいて正当であると判断され、距離センサから物体までの距離として出力又は保存され得る。
【0045】
方法５００は、ステップ５２０で終了し得る。
【0046】
明示的に指定されていないが、上記の方法５００の一部のブロック、機能、又は動作は、特定の用途のために保存すること、表示すること、及び／又は出力することを含み得ることに留意すべきである。換言すると、方法５００で議論された任意のデータ、レコード、フィールド、及び／又は中間結果は、特定の用途に応じて、保存され、表示され、及び／又は別のデバイスに出力され得る。更に、図５のブロック、機能、又は動作は、判定動作を列挙し、又は決定を含むものであり、判定動作の両方の分岐が実行されることを意味するものではない。言い換えると、判定動作の分岐のうちの１つは、判定動作の結果によっては実行されない場合がある。
【0047】
図６は、センサから物体までの距離を計算するための例示的な電子デバイス６００の高レベルのブロック図を示す。このように、電子デバイス６００は、距離センサなど、電子デバイス又はシステムのプロセッサとして実装され得る。
【0048】
図６に示すように、電子デバイス６００は、ハードウェアプロセッサ要素６０２、例えば、中央処理ユニット（ＣＰＵ）、マイクロプロセッサ、又はマルチコアプロセッサと、メモリ６０４、例えば、ランダムアクセスメモリ（ＲＡＭ）及び／又は読み取り専用メモリ（ＲＯＭ）と、センサから物体までの距離を計算するモジュール６０５と、様々な入力／出力デバイス６０６、例えば、限定するものではないがテープドライブ、フロッピドライブ、ハードディスクドライブ、又はコンパクトディスクドライブを含む記憶装置、受信機、送信機、ディスプレイ、出力ポート、入力ポート、及びユーザ入力デバイス、例えばキーボード、キーパッド、マウス、マイクロホン、カメラ、レーザ光源、ＬＥＤ光源などと、を含む。
【0049】
１つのプロセッサ要素が示されるが、電子デバイス６００は、複数のプロセッサ要素を使用し得ることに留意されたい。更に、１つの電子デバイス６００がこの図には示されているが、上述の方法（複数可）が、特定の例示的な例について分散又は並列方法で実装される場合、つまり、上記の方法（複数可）のブロック又はすべての方法（複数可）が、複数又は並列の電子デバイスにわたって実装される場合、この図の電子デバイス６００は、それらの複数の電子デバイスの各々を表すことを意図する。
【0050】
本開示は、機械可読命令によって、及び／又は機械可読命令とハードウェアの組み合わせで、例えば、特定用途向け集積回路（ＡＳＩＣ）、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）を含むプログラマブルロジックアレイ（ＰＬＡ）、又はハードウェアデバイス上に配備されるステートマシンを使用して実装され得て、汎用コンピュータ又は任意の別のハードウェアの等価物、例えば上述の方法（複数可）に関係するコンピュータ可読命令を使用して、上記で開示した方法（複数可）のブロック、機能、及び／又は動作を実行するようにハードウェアプロセッサを構成し得ることに留意されたい。
【0051】
１つの例では、センサから物体までの距離を計算するための本モジュール又はプロセス６０５用の命令及びデータ、例えば、機械可読命令は、メモリ６０４内にロードされ、ハードウェアプロセッサ要素６０２によって実行されて、方法５００に関連して上述したブロック、機能、又は動作を実装し得る。更に、ハードウェアプロセッサが命令を実行して「動作」を行う場合、これは、ハードウェアプロセッサがその動作を直接的に行うこと、及び／又はその動作を行うように、別のハードウェアデバイス又は構成要素、例えばコプロセッサなどと共に促進すること、指示すること、又は共働することを含み得る。
【0052】
上記の方法（複数可）に関する機械可読命令を実行するプロセッサは、プログラムされたプロセッサ又は専用プロセッサとして認識され得る。このように、本開示のセンサから物体までの距離を計算する本モジュール６０５は、実体的な又は物理的な（概して非一時的な）コンピュータ可読記憶装置又は媒体、例えば、揮発性メモリ、非揮発性メモリ、ＲＯＭメモリ、ＲＡＭメモリ、磁気若しくは光学ドライブ、デバイス、又はディスケットなどに保存され得る。特に、コンピュータ可読記憶装置は、任意の物理的デバイスを含んでもよく、それはプロセッサ又は電子デバイス、例えばコンピュータ又は安全センサシステムのコントローラによってアクセスされるデータ及び／又は命令などの情報を保存する能力を提供する。
【0053】
上記開示の変形例と、別の特徴及び機能、又はそれらの代替物は、他の多くの異なるシステム又はアプリケーションに組み合わせ得ることを理解されたい。現在予期されない、又は予想されない様々な代替、変更、又は変形が今後行われ得るが、それらもまた、以下の特許請求の範囲に包含されることが意図される。
【図1A】
【図1B】
【図2】
【図3】
【図4】
【図5】
【図6】