特許第6761817号(P6761817)IP Force 特許公報掲載プロジェクト 2022.1.31 β版

知財求人 - 知財ポータルサイト「IP Force」

▶ マジック アイ インコーポレイテッドの特許一覧

(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】6761817
(24)【登録日】2020年9月9日
(45)【発行日】2020年9月30日
(54)【発明の名称】物体までの距離を算出するための方法
(51)【国際特許分類】
   G01C 3/06 20060101AFI20200917BHJP
【FI】
   G01C3/06 110A
【請求項の数】9
【全頁数】22
(21)【出願番号】特願2017-558716(P2017-558716)
(86)(22)【出願日】2016年5月9日
(65)【公表番号】特表2018-514783(P2018-514783A)
(43)【公表日】2018年6月7日
(86)【国際出願番号】US2016031412
(87)【国際公開番号】WO2016182982
(87)【国際公開日】20161117
【審査請求日】2019年4月19日
(31)【優先権主張番号】62/159,286
(32)【優先日】2015年5月10日
(33)【優先権主張国】US
(73)【特許権者】
【識別番号】517145315
【氏名又は名称】マジック アイ インコーポレイテッド
(74)【代理人】
【識別番号】110001210
【氏名又は名称】特許業務法人YKI国際特許事務所
(72)【発明者】
【氏名】木村 昭輝
【審査官】 川村 大輔
(56)【参考文献】
【文献】 特開2007−187581(JP,A)
【文献】 特開2012−047500(JP,A)
【文献】 特開2010−256182(JP,A)
【文献】 国際公開第2013/145164(WO,A1)
【文献】 米国特許出願公開第2006/0055942(US,A1)
【文献】 特開2007−010346(JP,A)
【文献】 米国特許第05980454(US,A)
【文献】 米国特許出願公開第2010/0149315(US,A1)
【文献】 米国特許出願公開第2014/0207326(US,A1)
【文献】 米国特許出願公開第2014/0125813(US,A1)
【文献】 米国特許出願公開第2014/0320605(US,A1)
(58)【調査した分野】(Int.Cl.,DB名)
G01C 3/00−3/32
(57)【特許請求の範囲】
【請求項1】
物体までの距離を算出するための方法であって、
第1の複数の投影ビームを複数の投影点の第1の投影点から同時に投影するステップであって、前記複数の投影点は、画像取り込みデバイスのレンズ周りに配置され、前記第1の複数の投影ビームの各ビームは、物体に投影された時に互いに異なる可視パターンを作り出す投影パターンを前記画像取り込みデバイスの視野に投影し、前記第1の複数の投影ビームのうちの第1のビームは、前記レンズの中心を通過する軸から径方向外側に延びる線に対して第1の角度だけずれている、投影するステップと、
視野の画像を取り込むステップであって、前記物体を前記画像内に見ることができ、前記第1のビームを含む前記第1の複数の投影ビームによって投影された投影パターンにより生成された集合投影パターンもまた前記画像内に見ることができる、取り込むステップと、
前記画像内の情報を使用して前記物体までの前記距離を算出するステップと、
を含み、
第2の複数の投影ビームは、前記第1の複数の投影ビームと同時に、前記複数の投影点のうち第2の投影点から投影され、
前記第2の複数の前記複数の投影ビームの第1のビームは、前記レンズの中心を通過する軸から径方向外側に延びる線に対して第2の角度だけずれており、
前記第2の角度は、前記第1の角度よりも大きい、
ことを特徴とする方法。
【請求項2】
請求項1に記載の方法において、
前記第1の複数の投影ビームのうち複数のビームは、前記レンズの中心を通過する軸から径方向外側に延びる線に対して前記第1の角度だけずれている、
ことを特徴とする方法。
【請求項3】
請求項に記載の方法において、
前記投影するステップは、前記複数の投影点に対して前記画像取り込みデバイスを傾斜させるステップを含む、
ことを特徴とする方法。
【請求項4】
請求項に記載の方法において、
前記投影するステップは、前記レンズの中心から異なる半径距離だけ前記複数の投影点を離間させるステップを含む、
ことを特徴とする方法。
【請求項5】
請求項1に記載の方法において、
前記第1の複数の投影ビームのうち前記第1のビームは、前記複数の投影点のうち第2の投影点によって投影される第2の複数の投影ビームの第2のビームに平行に向けられている、
ことを特徴とする方法。
【請求項6】
請求項1に記載の方法において、
前記第1の角度は20度である、
ことを特徴とする方法。
【請求項7】
請求項1に記載の方法において、
前記第1の角度は45度である、
ことを特徴とする方法。
【請求項8】
請求項1に記載の方法において、
前記第1の角度は70度である、
ことを特徴とする方法。
【請求項9】
請求項1に記載の方法において、
前記投影パターンは、前記視野上に投影される個々の形状の可視パターンを含む、
ことを特徴とする方法。
【発明の詳細な説明】
【技術分野】
【0001】
本開示は、一般的なコンピュータビジョンシステムに関し、より詳細には、車両と物体又は点との間の距離を空間内で測定するためのセンサに関する。
【背景技術】
【0002】
関連出願の相互参照
本出願は、2015年5月10日出願の米国特許仮出願第62/159,286号の利益を主張するものであり、この出願を全体的に本願に引用して援用する。
【0003】
ロボット車両及びドローンなどの無人車両は、通常、周囲環境における妨害物検出及びナビゲーションのためにコンピュータビジョンシステムを利用する。これらのコンピュータビジョンシステムは、さらに、通常、周囲環境から視覚データを取得するさまざまなセンサを使用し、コンピュータビジョンシステムは、周囲環境についての情報を集めるためにこれらのデータを処理する。たとえば、1つ以上の撮像センサを介して取得されたデータは、車両から周囲環境内の特定の物体又は点までの距離を決定するために使用され得る。
【発明の概要】
【課題を解決するための手段】
【0004】
1つの実施形態では、物体までの距離を算出するための方法は、複数の投影ビームを複数の投影点の各々から投影するステップであって、複数の投影点は、画像取り込みデバイスのレンズ周りに配置され、複数の投影ビームのうち少なくとも2つのビームは、互いに平行である、投影するステップと、視野の画像を取り込むステップであって、物体を画像内に見ることができ、複数の投影ビームのうち少なくとも2つのビームによって生成された投影パターンもまた、画像内に見ることができる、取り込むステップと、画像内の情報を使用して物体までの距離を算出するステップとを含む。
【0005】
別の実施形態では、コンピュータ可読記憶デバイスは、プロセッサによって実行されたとき、プロセッサに物体までの距離を算出するための動作を実行させる複数の命令を記憶する。動作は、複数の投影ビームを複数の投影点の各々から投影するステップであって、複数の投影点は、画像取り込みデバイスのレンズ周りに配置され、複数の投影ビームのうち少なくとも2つのビームは、互いに平行である、投影するステップと、視野の画像を取り込むステップであって、物体を画像内に見ることができ、複数の投影ビームのうち少なくとも2つのビームによって生成された投影パターンもまた画像内に見ることができる、取り込むステップと、画像内の情報を使用して物体までの距離を算出するステップとを含む。
【0006】
別の実施形態では、物体までの距離を算出するための方法は、複数の投影ビームを複数の投影点の各々から投影するステップであって、複数の投影点は、画像取り込みデバイスのレンズ周りに配置され、複数の投影ビームのうち少なくとも1つのビームは、レンズの中心を通過する軸から径方向外側に延びる線に対して第1の角度だけずれている、投影するステップと、視野の画像を取り込むステップであって、物体を画像内に見ることができ、複数の投影ビームのうち少なくとも1つのビームによって生成された投影パターンもまた画像内に見ることできる、取り込むステップと、画像内の情報を使用して物体までの距離を算出するステップとを含む。
【0007】
本開示の教示は、添付の図に関連して以下の詳細な説明を考慮することによって容易に理解され得る。
【図面の簡単な説明】
【0008】
図1A】本開示の光学構成を生成するために使用することができる距離センサの1つの実施形態の断面図である。
図1B図1Aの距離センサの上面図である。
図2図1の距離センサによって、又は類似の能力を有する距離センサによって、投影することができるパターンの第1の実施形態である。
図3図1の距離センサによって、又は類似の能力を有する距離センサによって、投影することができるパターンの第2の実施形態である。
図4図1の距離センサによって、又は類似の能力を有する距離センサによって、投影することができるパターンの第3の実施形態である。
図5】背中合わせに装着された図1の距離センサのうち2つによって、又は背中合わせに装着された類似の能力を有する2つの距離センサによって、投影することができるパターンの第4の実施形態である。
図6図1の距離センサによって、又は類似の能力を有する距離センサによって、投影することができるパターンの第5の実施形態である。
図7】二対の平行パターンが投影されている例示的な視野を示す図である。
図8】センサから物体又は点までの距離を空間内で算出するための方法の流れ図である。
図9図8に示された方法においてセンサから物体又は点までの距離が、算出され得る三角法技術を示す図である。
図10】本開示の光学構成を生成するために使用することができる距離センサの第2の実施形態である。
図11図10の距離センサによって投影され得る例示的な投影パターンの上面図である。
図12図10の距離センサによって投影され得る別の例示的な投影パターンの上面図である。
図13】本開示の光学構成を生成するために使用することができる距離センサの別の実施形態の上面図である。
図14A】投影ビームと径方向の準線の間の様々な異なる傾斜の角度を使用して生成され得る例示的な投影パターンを示す図である。
図14B】投影ビームと径方向の準線の間の様々な異なる傾斜の角度を使用して生成され得る例示的な投影パターンを示す図である。
図14C】投影ビームと径方向の準線の間の様々な異なる傾斜の角度を使用して生成され得る例示的な投影パターンを示す図である。
図14D】投影ビームと径方向の準線の間の様々な異なる傾斜の角度を使用して生成され得る例示的な投影パターンを示す図である。
図15】センサから物体又は点までの距離を空間内で算出するための方法1500流れ図である。
図16】本明細書に説明する機能を実行する際に使用するのに適した汎用コンピュータの高レベルブロック図である。
図17】一対の平行な投影平面を使用して物体までの距離を算出するための関連パラメータを示す図である。
図18図17の撮像センサから図17の物体までの距離を算出するためのアルゴリズムの1つの実施形態を示す図である。
図19A図10及び13のセンサを使用して物体までの距離を算出するための簡単なアルゴリズムを導き出すことができる概念を示す図である。
図19B図10及び13のセンサを使用して物体までの距離を算出するための簡単なアルゴリズムを導き出すことができる概念を示す図である。
図20】例示的な距離センサに拡張される図19A〜19Bの概念を示す図である。
【発明を実施するための形態】
【0009】
理解を容易にするために、同一の参照番号が、可能な場合に、図に共通する同一の要素を示すために使用されている。
【0010】
1つの実施形態では、本開示は、距離センサに関する。距離センサは、コンピュータビジョンシステムが車両から周囲環境内の特定の物体又は点までの距離を決定するのを助けるために無人車両において使用され得る。たとえば、距離センサは、1つ以上の光ビームを物体又は点上に投影し、次いで、飛行時間(TOF)、反射された光(たとえばレーダ)の分析又は他の手段にしたがって距離を算出することができる。しかし、このタイプの従来の距離センサは、かさばる傾向があり、したがって小型車両に使用するには適さないことがある。さらに、センサは、製造するのが非常に高価であり、限定された視野を有する傾向があり得る。たとえば、複数の従来の撮像センサの配置を使用しても、360度未満の視野しか提供されない。
【0011】
本開示の実施形態は、2015年10月22日出願の米国特許出願第14/920,246号に開示された距離センサのいずれかなどの小型の距離センサの光学構成の改良を提供する。たとえば、図1A及び図1Bは、本開示の光学構成を生成するために使用することができる距離センサ100の1つの実施形態を示す。特に、図1Aは、距離センサ100の断面図を示し、一方で図1B図1Aの距離センサ100の上面図である。距離センサ100は、たとえば、無人車両に装着され得る。
【0012】
図1Aでは、距離センサ100は、小型のハウジング102内に配置された複数の構成要素を備える。構成要素は、少なくとも1つの光源104と、これ以後第1の回折光学素子106と称される第1のビーム分割手段と、これ以後第2の回折光学素子108〜108と称される(さらに、これ以後集合的に「第2の回折光学素子108”」と称される)第2のビーム分割手段の配列と、広角レンズ112を含む撮像センサ110とを備える。
【0013】
構成要素は、中央軸A−A’の周りにほぼ対称的に配置される。1つの実施形態では、中央軸A−A’は、撮像センサ110の光学軸と一致する。1つの実施形態では、光源104は、中央軸A−A’の第1の端部に配置される。1つの実施形態では、光源104は、中央軸A−A’に沿って光の単一ビームを発するレーザ光源である。これ以後、光源104によって発せられた単一ビームはまた、「一次ビーム」と称され得る。1つの実施形態では、光源104は、人間の視覚に対して比較的安全であることが知られている波長の光を発する(たとえば赤外線)。別の実施形態では、光源104は、その出力の強度を調整するための回路を含むことができる。別の実施形態では、光源104は、パルス式に光を発し、それによって画像取り込みに対する周囲光の影響を軽減することができる。
【0014】
第1の回折光学素子(DOE)106は、光源104の近位(たとえば光源104によって発せられた光が伝播する方向に対して、光源104の「正面」)に中央軸A−A’に沿って配置される。特に、第1のDOE106は、光源104によって発せられた単一の光ビームをとらえ、単一又は一次ビームを複数の二次ビームに分割するように配置される。1つの実施形態では、中央軸A−A’と二次ビームの各々との間の角度は等しい。第1のDOE106は、一次ビームを、異なる方向に一次ビームから分岐する複数の二次ビームに分割することができる任意の光学構成要素である。たとえば、1つの実施形態では、第1のDOE106は、円すい鏡又はホログラフィフィルムを含むことができる。この場合、複数の二次ビームは、円錐形状で配置される。別の実施形態では、一次ビームは、回折以外の手段によって分割され得る。
【0015】
二次DOE108の配列は、第1のDOE106の近位(たとえば光源104によって発せられた光が伝播する方向に対して、DOE106の「前」)に中央軸A−A’に沿って配置される。特に、第2のDOE108の配列は、第1のDOE106が、光源104と、第2のDOE108の配列との間に配置されるように配置される。図1Bにより明確に示すように、1つの実施形態では、第2のDOE108は、リング形状配列で配置され、このとき中央軸A−A’は、リングの中心を通り抜け、第2のDOE108はリング周りに定間隔で離間される。たとえば、1つの実施形態では、第2のDOE108は、リング周りに約30度離して離間される。1つの実施形態では、第2のDOE108の配列は、光源104によって発せられた光が伝播する方向に対して、撮像センサ110の主点(すなわち光学軸A−A’が画像平面と交差する点)の「後方」に配置される。
【0016】
各々の第2のDOE108は、第1のDOE106によって生み出された二次ビームの1つをとらえ、この二次ビームを複数の(たとえば、2つ又はそれ以上の)三次ビームに分割し、この三次ビームは、第2のDOE108から離れるように径方向に向けられる。したがって、各々の第2のDOE108は、センサ100の投影点を画定し、この投影点から、投影ビーム(又は三次ビーム)のグループが、視野内に発せられる。1つの実施形態では、各々それぞれの複数の三次ビームは、約100度の範囲を対象とするように広がる。第2のDOE108は、それぞれの二次ビームを、異なる方向に二次ビームから分岐する複数の三次ビームに分割することができる任意の光学構成要素である。たとえば、1つの実施形態では、各々の第2のDOEは、円すい鏡又はホログラフィフィルムを含むことができる。しかし、他の実施形態では、二次ビームは、回折以外の他の手段によって分割される。
【0017】
1つの実施形態では、各々複数の三次ビームは、ファンパターン又は径方向パターンで配置され、このときビームの各々の間に等しい角度を有する。1つの実施形態では、第2のDOE108の各々は、表面上に異なる視覚パターンを作り出す三次ビームを投影するように構成される。たとえば、1つの二次DOE108は、ドットのパターンを投影することができ、一方で別の第2のDOE108は、線又は「x」のパターンを投影することができる。
【0018】
撮像センサ110は、第2のDOE108の配列の中央に(たとえば、光源104によって発せられた光が伝播する方向に対して、第2のDOE108の配列の少なくとも部分的に「前」)に中央軸A−A’に沿って配置される。1つの実施形態では、撮像センサ110は、静止カメラ又はビデオカメラなどの画像取り込みデバイスである。上記で論じたように、撮像センサ110は、半球視野を作り出す、魚眼レンズなどの広角レンズを含む。1つの実施形態では、撮像センサ110は、距離センサ100から物体又は点までの距離を算出するための回路を含む。別の実施形態では、撮像センサは、取り込まれた画像をネットワークを介してプロセッサに送るためのネットワークインタフェースを含み、この場合プロセッサは、距離センサ100から物体又は点までの距離を算出し、次いで、算出された距離を距離センサ100に戻す。
【0019】
したがって、1つの実施形態では、距離センサ100は、単一光源(たとえば光源104)を使用して、投影ビーム(たとえばドット又は線のパターンを含む)のセットがそこから発せられる複数の投影点を生み出す。投影ビームのうち1つ以上は、投影平面を形成することができる。1つの実施形態では、投影平面の少なくとも1つは、センサ100の中央軸A−A’に平行である。別の実施形態では、この投影平面は、(たとえば、平面が図1に垂直に向けられるように)投影点のうち単一のもの又はDOK108から投影される。
【0020】
距離センサ100から物体までの距離は、(2015年10月22日出願の米国特許出願第14/920,246号に説明されるように)視野内の投影ビームの外観から算出され得る。特に、第1及び第2のDOEの使用は、光源によって発せられた光の単一ビームから、レンズ周りに複数の投影点を生成することを可能にする。これにより、距離センサ100は、広い視野内で距離を測定しながら相対的に小型の物理的形状及び大きさ(form factor)を維持することが可能になる。撮像センサ110及び光源104はまた、設計をより小型化するために同じ平面内に装着することができるが、1つの実施形態では、第2のDOE108−108は、(たとえば、視野の深さ角度が、完全な180度に近い、又は一部の場合ではさらにそれより大きくなるように)投影ビームによって対象とされ得る視野を増大させるために、撮像センサ110の主点の後方に配置される。
【0021】
さらに、第2のDOE108の各々が異なるパターンの三次ビームを投影するため、撮像センサ内の回路は、取り込まれた画像内のどのビームが、第2のDOE108のどれによって作り出されたかを容易に決定することができる。これは、距離算出を容易にし、これは、以下にさらに詳細に論じられる。
【0022】
センサ100が、単一光源104だけを含む(センサ100内の構成要素の総数を低減する)ものとして示されているが、代替の実施形態では、センサは複数光源を含むことができる。この場合、第1のDOE106は、必要ではない。その代わり、1つの実施形態では、複数光源の各々の光源が、(図1A及び図1B内の第2のDOE108の配列などの)DOEの配列内の1つのDOEに対応することができる。とりわけ、この構成は、(たとえば、配列内の各々のDOEによって画定された1つの投影点などの)複数の投影点を撮像センサのレンズ周りに依然として生み出し、そこから、投影ビームのセットが発せられ得る。
【0023】
いくつかの実施形態では、距離センサ100は、平行パターンを視野内に形成する投影ビームを生み出すように構成され得る。図2は、たとえば、図1の距離センサ100によって、又は類似の能力を有する距離センサによって、投影され得るパターン200の第1の実施形態を示す。図2もまた、レンズ112、並びにDOE又は投影点のうち2つ108及び108(これ以後集合的に「投影点108」と称される)を含む図1の距離センサ100の構成要素のいくつかを分解図で示す。
【0024】
全て示すと、パターン200は、投影ビームの2つのセット202及び202(これ以後集合的に「セット202」と称される)を含む。1つの例では、投影ビームの各々のセット202は、平面を形成するようにセンサ100の投影点108のうち1つから径方向に広がる。また示されるように、投影点108は、センサ100の中央軸A−A’周りに互いから約180度離して離間されるので、投影ビームの2つのセット202によって画定された平面は、互いにほぼ平行である。
【0025】
複数対のDOEを可能にすることによって、DOEの各対におけるDOEが、中央軸A−A’周りに互いから約180度離して離間される場合、複数の平行な投影パターン又は平面が、生み出され得る。図3は、たとえば、図1の距離センサ100によって、又は類似の能力を有する距離センサによって、投影され得るパターン300の第2の実施形態を示す。図3もまた、レンズ112を囲むレンズ112、及びDOE又は投影点108を含む図1の距離センサ100の構成要素のいくつかの分解図における上面図である。
【0026】
全て示すと、パターン300は、投影ビームの複数の平行な対を備え、f1及びf2を通る破線a1及びa2の対によって示されている。図2におけるように、投影ビーム(たとえば、a1及びa2の各対によって画定された平面は、対応する投影点108がセンサ100の中央軸A−A’周りに互いから約180度離して離間されるので、互いにほぼ平行である。
【0027】
いくつかの実施形態では、一対の平行パターンを構成する各々のパターン又は平面は、1つの光源及び1つのDOEではなく、少なくとも2つの光源及び2つのDOE又は投影点を使用して生成される。これは、いくつかの光源は、DOEと共に動作するときでも、90度よりも大きい弧で広がる投影ビームのセットを生成することができない場合があるからである。図4は、たとえば、図1の距離センサ100によって、又は類似の能力を有する距離センサによって投影され得るパターン400の第3の実施形態を示す。図4もまた、レンズ112及び4つのDOE又は投影点108〜108(これ以後集合的に「投影点108」と称される)を含む図1の距離センサ100の構成要素の一部を分解図で示す。1つの実施形態では、DOE108の各々は、センサ100の異なる光源(図示せず)に対応する。
【0028】
示されるように、パターン400は、2つの投影パターン又は平面402及び402(これ以後集合的に「投影平面402」と称される)を含む。1つの例では、各々の投影平面402は、センサ100の投影点408の1つから径方向に広がる投影ビームの2つのセット404及び404、又は404n−1及び404(これ以後集合的に「セット404」と称される)を含む。この場合、投影ビームの各々のセット404は、約90度の弧で広がり、セット404の各対は、1つの投影平面402に対応する約180度の弧に及ぶ。示されるように、投影平面402は、投影点408がセンサ100の中央軸A−A’周りに互いから約180度離して離間されるので、互いにほぼ平行である。
【0029】
別の実施形態では、図1に示されたセンサ100に類似する2つのセンサは、背中合わせに装着され得、光源及びDOEが視野内の約360度を対象とする投影パターンを生み出すことを可能にする。図5は、たとえば、背中合わせに装着された図1の2つの距離センサ100及び100(これ以後集合的に「距離センサ100」と称される)によって、又は背中合わせに装着された類似の能力を有する2つの距離センサによって投影され得るパターン500の第4の実施形態を示す。図5もまた、各々のセンサ100のレンズ及び4つのDOE又は投影点を含む図1の距離センサ100の構成要素の一部を分解図で示す。1つの実施形態では、DOEの各々は、関連するセンサ100の異なる光源(図示せず)に対応する。
【0030】
示されるように、パターン500は、4つの投影パターン又は平面502〜502(これ以後集合的に「投影平面502」と称される)を備える。1つの例では、各々の投影平面502は、関連するセンサ100の投影点の1つから径方向に広がる投影ビームの2つのセットを含む。この場合、図4にあるように、投影ビームの各々のセットは、約90度の弧で広がり、各々の対応する投影平面502は、約180度の弧に及ぶ。2つのそのような投影平面502が、背中合わせで投影されるとき、示したように、約350度の弧が、対象とされ得る。したがって、互いにほぼ平行である2つの360度の投影平面が、生成され得る。
【0031】
別の実施形態では、1つのDOE又は投影点は、複数の投影平面がいくらかの角度だけ互いからずれている複数の投影平面を生成することができる。さらに、複数の投影平面をそれぞれ生成する2つのDOE又は投影点を使用して、投影平面の複数の平行な対を生成することもできる。図6は、たとえば、図1の距離センサ100によって、又は類似の能力を有する距離センサによって、投影され得るパターン600の第5の実施形態を示す。図6もまた、レンズ112及び2つのDOE又は投影点108及び108(これ以後集合的に「投影点108」と称される)を含む図1の距離センサ100の構成要素の一部を分解図で示す。1つの実施形態では、DOE108の各々は、センサ100の異なる光源(図示せず)に対応する。
【0032】
示されるように、パターン600は、(上記で説明したように、各々の個々の投影平面は、投影点108から180度までの弧で広がる投影ビームのセットを含む)投影平面の複数対602〜602(これ以後集合的に「対602」と称される)を含む。この場合、各々の投影点108は、投影平面の各々の対602における投影平面の1つを生成する。さらに、各々の投影点108は、個々の投影ビームが広がる方向にほぼ直交する方向に互いから広がる複数の投影平面を生成する。たとえば、図6では、投影点108によって生成される個々の投影ビームは、z軸に沿った方向に径方向に広がり、一方で投影点108によって生成された複数の投影平面は、x軸に沿った方向に広がる。
【0033】
図7は、実線パターンを含む二対の平行パターン702及び702(これ以後集合的に「平行パターン702」と称される)が投影されている例示的な視野700を示す図である。距離が変化しても投影パターン702が常に連続的な直線であるので、視野内の物体までの距離は、平行パターン702の横移動によって容易に検出することができる。物体のサイズ及び寸法もまた、直接算出することができる。
【0034】
図17は、たとえば、一対の平行な投影平面1700及び1700(これ以後集合的に「投影平面1700」と称される)を使用して物体までの距離を算出するための関連パラメータを示す図である。示されるように、投影平面は、距離センサの撮像センサ1704から距離Dに配置される物体1702の上へ一対の平行な線を投影する。投影平面1700は、投影間隔aだけ離して離間されており、間隔の中点(又は投影中心)は、軸B−B’によって定められる。距離φは、距離センサの軸B−B’と中央軸A−A’の間に存在する。投影点1706〜1706(これ以後集合的に「投影点1706」と称される)は、撮像センサ1704の前に距離bで設定される。
【0035】
図18は、図17の撮像センサ1704から図17の物体1702までの距離Dを算出するためのアルゴリズムの1つの実施形態を示す。図17に示されたパラメータに加えて、図18は、投影点1706によって発せられた光の部分(すなわち投影間隔aだけ離されている投影平面)が物体1702によって反射され、撮像センサ1704に戻りの光として戻ることを示す。戻りの光のビームは、撮像センサ1704によって取り込まれる画像によって与えられる距離θだけ離される。
【0036】
距離センサの軸B−B’と中央軸A−A’の間の距離φが、ゼロであると知られているとき、(a/2)/D=tan(θ/2)である。したがって、撮像センサ1704から物体1702までの距離Dは、D=(a/2)/tan(θ/2)として算出することができる。また、a<<Dであるとき、D=a/tan(θ)である。
【0037】
距離センサの軸B−B’と中央軸A−A’間の距離φが、ゼロでない数である知られているとき、θ=(θ/2+φ)−(−θ/2+φ)であるとき、D=a/tan(θ)である。
【0038】
図8は、センサから物体又は点までの距離を空間内で算出するための方法800の流れ図を示す。1つの実施形態では、方法800は、(図1A〜1Bに示す撮像センサ110などの)撮像センサ内に組み込まれたプロセッサ又は図16に示し、以下に論じる汎用コンピューティングデバイスによって実行され得る。
【0039】
方法800は、ステップ802において始まる。ステップ804では、光源は、光の一次ビームを生成するように作動される。1つの実施形態では、単一の一次ビームが、単一光源によって生成されるが、他の実施形態では、複数の一次ビームが、複数光源によって生成される。1つの実施形態では、光源又は複数光源は、レーザ光源を含む。
【0040】
任意選択のステップ806では、一次ビームは、一次ビームがそれに沿って伝播する経路内に配置された第1のビーム分割手段(たとえば回折光学素子)を使用して複数の二次ビームに分割される。第1のビーム分割手段は、たとえば、円すい鏡でよい。ステップ806は、たとえば、(撮像センサがその一部である)距離センサが単一光源のみを含むときに実行される。
【0041】
ステップ808では、複数の二次ビーム内の各々のビームは、ビーム分割手段の配列内の第2のビーム分割手段(たとえば第2の回折光学素子)を使用して複数の投影ビーム又は三次ビームに分割される。1つの実施形態では、複数の第2のビーム分割手段は、リングとして配置され、それにより、各々の第2のビーム分割手段は、第2のビームの1つがそれに沿って伝播する経路内に配置される。1つの実施形態では、第2のビーム分割手段の少なくとも一部は、円すい鏡である。1つの実施形態では、距離センサが複数光源を備える場合、方法800は、ステップ804からステップ808に直接進むことができる。この場合、(複数光源を使用して生成された)複数の一次ビームの各々の一次ビームは、第2のビーム分割手段の1つによって複数の投影ビームに直接的に分割される。
【0042】
ステップ810では、物体又は点の少なくとも1つの画像が、取り込まれる。画像は、物体又は点上に、及び周囲空間上に投影されるパターンを含む。パターンは、投影ビームの各々が、一連のドット、線又は他の形状を物体、点、又は周囲空間上に投影することによって作り出される。1つの例では、たとえば、図2図7に示されるように、パターンは、一対以上の平行な投影ビーム又は投影平面を含む。
【0043】
ステップ812では、センサから物体又は点までの距離が、ステップ810において取り込まれた画像からの情報を使用して算出される。1つの実施形態では、三角法技術が、距離を算出するために使用される。たとえば、センサによって投影されたパターンの部分間の関係が、算出の基礎として使用され得る。
【0044】
方法800は、ステップ814において終了する。こうして、方法800は、図1A〜1Bに示すセンサ、又は類似の能力を有するセンサと組み合わせて、画像取り込み及び算出の単一のサイクルにおいてセンサから物体又は点までの距離を空間内で測定することができる。
【0045】
図9は、たとえば、センサから物体又は点までの距離が、ステップ812においてそれによって算出することができる三角法技術を示す。特に、図9は、図1の例示的な撮像センサ110と共に、第2の回折光学素子108及び108の2つによって画定され得る投影点のうち2つを示す。投影点は、撮像センサ110から等しい距離xで離間され、それにより、2つの投影点(たとえばx=s/2)の間のsの距離が存在するようになる。投影点の各々は、それぞれの投影ビーム900及び900を発し、これらのビームは、物体上に入射してそれぞれの点902及び902(たとえばドット又は線)を一パターンとして作り出す。これらの点902及び902は、撮像センサ110によって検出され、撮像センサ110と物体の間の距離Dを以下の通りに算出するために使用され得る:
D=s/(−tanα+tanα+tanθ+tanθ) (式1)
式中、αは、投影ビーム900と第2の回折光学素子108の中央軸cとの間に形成された角度であり、αは、投影ビーム900と第2の回折光学素子108の中央軸cとの間に形成された角度であり、θは、撮像センサ110の中央光学軸Oと、撮像センサ110が投影ビーム900によって作り出された点902を知覚する角度との間に形成された角度であり、θは、撮像センサ110の中央光学軸Oと、撮像センサ110が、投影ビーム900によって作り出された点902を知覚する角度との間に形成された角度である。
【0046】
式1は、以下の関係から導き出される。
D*tanα+D*tanθ=x (式2)
D*tanα+D*tanθ=s−x (式3)
【0047】
式2及び3は、(たとえばドットのパターンを含む)投影パターン源から、投影パターンがその上に投影される物体までの距離を算出することを可能にする。距離は、光点がその源周りの種々の投影点によって発せられたときに投影パターンを形成する光点(たとえばドット)間の位置関係に基づいて算出される。この実施形態では、光点間の位置関係は、先験的に知られている(すなわち算出の一部として測定されない)。
【0048】
別の実施形態では、距離算出は、投影点又はDOE108に対して撮像センサ110のある角度傾斜させることによって異なる環境内で容易にすることができる。図10、たとえば、本開示の光学構成を生成するために使用することができる距離センサ1000の第2の実施形態を示す。距離センサ1000は、図1のA及び1Bの距離センサ100類似するやり方で構成することができるが、図10の説明は、説明を簡単にするために単純化されている。
【0049】
図10に示されるように、距離センサ1000は、小型のハウジング1002内に配置された複数の構成要素を備える。ハウジング1002は、光源と、第1のビーム分割手段又は第1のDOEと、第2のビーム分割手段の配列(これ以後第2の回折光学素子1008〜1008と称される(そして、これ以後集合的に「第2のDOE1008」と称される))と、広角レンズ1012を含む撮像センサ1010とのうち少なくとも1つを収容することができる。
【0050】
構成要素は、中央軸A−A’の周りにほぼ対称的に配置される。1つの実施形態では、中央軸A−A’は、撮像センサ1010の光学軸と一致する。図示されていないが、光源は、中央軸A−A’の第1の端部に配置され、第1のDOEは、含まれている場合、光源の近位(たとえば光源によって発せられた光が伝播する方向に対して、光源の「正面」)に中央軸A−A’に沿って配置される。特に、第1のDOEは、単一の光源によって発せられた単一の光ビームをとらえ、単一又は一次ビームを複数の二次ビームに分割するように配置される。
【0051】
第2のDOE1008の配列は、第1のDOEの近位(たとえば単一の光源によって発せられた光が伝播する方向に対して、第1のDOEの「前」)に中央軸A−A’に沿って配置される。1つの実施形態では、第2のDOE1008は、リング形状配列で配置され、このとき中央軸A−A’は、リングの中心を通り抜け、第2のDOE1008はリング周りに定間隔で離間される。しかしながら、図10に示されるように、中央軸A−A’に沿って配置されたセンサ1000の部分(たとえば、少なくとも撮像センサ1010及びレンズ1012)は、中央軸A−A’が第2のDOE1008の配列によって投影された投影平面に対して傾斜されるように、第2のDOE1008の配列から独立して回転することができる。
【0052】
1つの実施形態では、第2のDOE1008は、リング周りに約30度離して離間される。1つの実施形態では、第2のDOE1008の配列は、単一の光源によって発せられた光が伝播する方向に対して、撮像センサ1010の主点(すなわち光学軸A−A’が画像平面と交差する点)の「後方」に配置される。
【0053】
各々の第2のDOE1008は、第1のDOEによって生み出された二次ビームの1つをとらえ、この二次ビームを複数の(たとえば、2つ又はそれ以上の)三次ビームに分割し、この三次ビームは、第2のDOE1008から離れるように径方向に向けられるように配置される。したがって、各々の第2のDOE1008は、センサ100の投影点を画定し、この投影点から、投影ビーム(又は三次ビーム)のグループが、視野内に発せられる。1つの実施形態では、各々それぞれの複数の三次ビームは、約100度の範囲を対象とするように広がる。
【0054】
1つの実施形態では、各々複数の三次ビームは、ファンパターン又は径方向パターンで配置され、このときビームの各々の間に等しい角度を有する。1つの実施形態では、第2のDOE1008の各々は、表面上に異なる視覚パターンを作り出す三次ビームを投影するように構成される。たとえば、1つの第2のDOE1008は、ドットのパターンを投影することができ、一方で別の第2のDOE1008は、線又はxのパターンを投影することができる。
【0055】
図10に示す構成は、中央軸A−A’から径方向外側に延びる線に対して傾斜されている又はある角度αだけずれているDOE1008から投影された投影(又は三次)ビームという結果である。たとえば、図11の上面図である例示的な投影パターン1100は、図10の距離センサ1000によって投影され得る。示されるように、DOE1008の各々は、ビーム又は平面を作り出し、DOE1008の場合、投影ビームは、1104として名付けられる。さらに示されるように、投影ビームは、センサ1000の中央軸A−A’から径方向外側に直接延びる仮想の基準線1102に平行ではない。投影ビーム1104が基準線1102からずれている量又は角度αは、設定可能であり、たとえば、センサ1000の中央軸A−A’が第2のDOE1008の配列に対して傾斜される量に直接関連し得る。1つの例では、角度αは、DOE1008の各々によって生成される投影ビームごとに同じである。しかしながら、他の例では、角度αは、投影ビームの少なくとも2つについて異なっていてもよい。
【0056】
投影ビームを構成する投影のアーチファクト(たとえば、ドット、ダッシュ、xなど)の各々が距離に関してセンサ1100から移動する量は、角度αの大きさによって変わり得る。たとえば、角度αが増加するとき、センサ1100からの距離に対しての投影のアーチファクトの移動も増加する。加えて、図14A図14Dを参照して以下より詳細に説明されるように、線密度(たとえば、単一のDOEによって投影される複数の投影ビームがどのくらい互いに近いか)は、角度αの増大とともに減少する。角度αを適切に設定することによって、個々の投影アーチファクトの容易な特定と実線パターンの容易な計算とを可能にする投影パターンを生成することができる。
【0057】
図12は、図10の距離センサ1000によって投影され得る別の例示的な投影パターン1200の上面図である。この場合、各々のDOE1008は、図1図7に関連して上記で論じたように、たとえば、平行ビーム又は平面のパターンを投影することができる。共通のDOEによって投影された平行なビームの各々のパターン内で、各々のビーム(たとえば、例として、DOE1008によって投影されたビーム1204を参照)は、同じ角度αだけ対応する基準線1202からずれている。したがって、開示した実施形態は、平行ビーム又は平面の投影とセンサの中央軸に対するこれらのビーム又は平面の傾斜を組み合わせる。
【0058】
図10は、DOEに対して中央軸に沿って位置するセンサの構成要素を傾斜させることによって中央軸に対して投影ビーム又は平面の傾斜を達成するが、この効果は、他の構成を用いて同様に達成することができる。図13は、たとえば、本開示の光学構成を生成するために使用することができる距離センサ1300の別の実施形態の上面図である。この場合、第2のDOE1308〜1308(これ以後集合的に「第2のDOE1308」と称される)の配列のレイアウトは、複数の投影ビームを投影するように構成され得、投影ビームのうち少なくとも2つが、異なる量又は角度だけ中央軸A−A’から径方向外側に向かって延びる基準線1302からずれている。1つの実施形態では、この効果は、第2のDOE1308の半径距離を中央軸A−A’から変更することによって達成される。たとえば、DOE1308は、DOE1308よりも撮像センサのレンズ1312からさらに離して配置される。結果として、示されるように、DOE1308と基準線1302の間のずれ角度α1は、DOE1308と基準線1302の間のずれ角度α2よりも小さい。
【0059】
投影ビームを傾斜させることによって、投影のアーチファクトの単一の線上で、重なっていない投影のアーチファクト(たとえば、ドット、ダッシュ、又はx)を用いて、あるものが物体までの距離を算出することを可能にする投影パターンを生成することができる。角度αを変更することによって、投影のアーチファクト間の重なりは、変わり得る。たとえば、図14A図14Dは、投影ビームと径方向の準線の間の様々な異なる傾斜の角度を使用して生成され得る例示的な投影パターンを示す。特に、図14Aは、角度αが0度であるときの投影パターンを示し、図14Bは、角度αが20度であるときの投影パターンを示し、図14Cは、角度αが45度であるときの投影パターンを示し、図14Dは、角度αが70度であるときの投影パターンを示す。示されるように、傾斜の角度がより大きいと、投影のアーチファクトがより大きい重なりとなり、共通のDOEによって投影される複数の投影ビームの線密度が減少する。
【0060】
図19A及び19Bは、図10及び13のセンサを使用して物体までの距離を算出するための簡単なアルゴリズムを導き出すことができる概念を示す。図19Aを参照すれば、OからDまでのベクトルrの高さz、深さy、及び長さxは、以下の通りに計算され得る。
z=r sinθ (式4)
y=r cosθ sinα (式5)
x=r cosθ cosα (式6)
したがって、
=x+y+z (式7)
【0061】
式4〜7は、距離センサによって発せられた傾斜した投影ビームの複数のパラメータの位置的な関係を説明する。
【0062】
図19Bを参照すれば、高さがbだけ低減され、長さがaだけ増大されるとき、寸法は以下のように計算され得る。
z−b=R sinφ (式8)
y=R cosφ sinβ (式9)
x+a=R cosφ cosβ (式10)
したがって、
=(x+a)+y+(z−b) (式11)
【0063】
式4及び式8から、
R0 sinφ+b=r0 sinθ (式12)
が、導き出され得る。
【0064】
式5及び式9から、
cosφ sinβ=r cosθ sinα (式13)
が、導き出され得る。
【0065】
式6及び式10から、
cosφ cosβ−a=r cosθ cosα (式14)
が、導き出され得る。
【0066】
したがって、
【数1】
となる。
【0067】
β及びφは、撮像センサによって取り込まれた画像から測定され、a、b、及びαは、撮像センサ/投影構成から知られており、θは、投影パターンから知られている。
【0068】
図20は、例示的な距離センサ2000に拡張される図19A〜19Bの概念を示す。例示的な距離センサ2000は、光源2002を含む光源のリング形状配列と、各々の光源(場合によってはビーム分割手段を含む)に対応する投影点2004などの投影点と、(広角レンズを含む)撮像センサ2006とを備える。例示的な距離センサ2000は、仮想球形2008を形成する光のパターンを投影するように構成される。
【0069】
示されるように、投影点2006などの距離センサ2000の投影点は、撮像センサ2006から距離D離れて配置された物体2010へ投影ビームを投影する。中央軸から径方向外側に延びる軸B−B’に対する投影ビームのある角度は、αによって定められる。投影ビームによって発せられた光の一部は、撮像センサ2006に戻りの光のビームとして戻るように反射される。
【0070】
図15は、センサから物体又は点までの距離を空間内で算出するための方法1500の流れ図を示す。1つの実施形態では、方法1500は、(図1A図1B及び図10に示す撮像センサ110などの)撮像センサ内に組み込まれたプロセッサ又は図16に示し、以下に論じる汎用コンピューティングデバイスによって実行され得る。
【0071】
方法1500は、ステップ1502において始まる。ステップ1504では、光源は、一次光ビームを生成するように作動される。1つの実施形態では、単一の一次ビームが、単一光源によって生成されるが、他の実施形態では、複数の一次ビームが、複数光源によって生成される。1つの実施形態では、光源又は複数光源は、レーザ光源を含む。
【0072】
任意選択のステップ1506では、一次ビームは、一次ビームがそれに沿って伝播する経路内に配置された第1のビーム分割手段(たとえば回折光学素子)を使用して複数の二次ビームに分割される。第1のビーム分割手段は、たとえば、円すい鏡でよい。ステップ806は、たとえば、(撮像センサがその一部である)距離センサが単一光源のみを含むときに実行される。
【0073】
ステップ1508では、複数の二次ビーム内の各々のビームは、ビーム分割手段の配列内の第2のビーム分割手段(たとえば第2の回折光学素子)を使用して複数の投影ビーム又は三次ビームに分割される。1つの実施形態では、複数の第2のビーム分割手段は、リングに配置され、それにより、各々の第2のビーム分割手段は、二次ビームの1つがそれに沿って伝播する経路内に配置される。1つの実施形態では、第2のビーム分割手段の少なくとも一部は、円すい鏡である。1つの実施形態では、距離センサが複数光源を備える場合、方法800は、ステップ1504からステップ1508に直接進むことができる。この場合、(複数光源を使用して生成された)複数の一次ビームの各々の一次ビームは、第2のビーム分割手段の1つによって複数の投影ビームに直接的に分割される。
【0074】
ステップ1510では、物体又は点の少なくとも1つの画像が、取り込まれる。画像は、物体又は点上に、及び周囲空間上に投影されるパターンを含む。パターンは、投影ビームの各々が、一連のドット、線又は他の形状を物体、点、又は周囲空間上に投影することによって作り出される。1つの例では、パターンは、たとえば、図10図14Dに示されるように、センサの「中央軸A−A’」から径方向外側に延びる仮想の基準線に対してずれている又は傾斜している1つ以上の投影ビームを含む。
【0075】
ステップ1512では、センサから物体又は点までの距離が、ステップ1510において取り込まれた画像からの情報を使用して算出される。1つの実施形態では、図9に関連して上記に論じたもののような三角法技術が、距離を算出するために使用される。たとえば、センサによって投影されたパターンの部分間の位置的な関係が、算出の基礎として使用され得る。
【0076】
方法1500は、ステップ1514において終了する。こうして、方法1500は、図1A〜1B又は図10に示すセンサ、又は類似の能力を有するセンサと組み合わせて、画像取り込み及び算出の単一のサイクルにおいてセンサから物体又は点までの距離を空間内で測定することができる。
【0077】
図16は、本明細書において説明する機能を実行する際に使用するのに適した汎用コンピュータの高レベルのブロック図を示す。図16に示すように、システム1600は、1つ以上のハードウェアプロセッサ要素1602(たとえば中央処理ユニット(CPU)、マイクロプロセッサ、又はマルチコアプロセッサ)と、メモリ1604、たとえばランダムアクセスメモリ(RAM)及び/又は読み取り専用メモリ(ROM)と、距離を算出するためのモジュール1605と、さまざまな入力/出力デバイス1606(たとえば、それだけに限定されないが、テープドライブ、フロッピー(登録商標)ドライブ、ハードディスクドライブ、又はコンパクトディスク(登録商標)ドライブを含む記憶装置、受信機、送信機、レンズ及び光学系、出力ポート、入力ポート、及びユーザ入力デバイス(キーボード、キーパッド、マウス、マイクロホンなど))とを備える。1つだけのプロセッサ要素が示されているが、汎用コンピュータは、複数のプロセッサ要素を使用してよいことに留意されたい。さらに、1つだけの汎用コンピュータが図に示されているが、上記で論じた方法が、特定の説明上の例に関して分散式又は並行式に実施される場合、すなわち上記の方法又は方法全体のステップが、複数の又は並行の汎用コンピュータにわたって実施される場合、この図の汎用コンピュータは、これらの複数の汎用コンピュータの各々を表すように意図される。さらに、1つ以上のハードウェアプロセッサは、仮想化された又は共通化されたコンピューティング環境を支持するのに利用され得る。仮想化されたコンピューティング環境は、コンピュータ、サーバ、又は他のコンピューティングデバイスを表す1つ以上の仮想機械を裏付けることができる。そのような仮想化された仮想機械では、ハードウェアプロセッサなどのハードウェア構成要素及びコンピュータ可読記憶デバイスは、仮想化され又は論理的に表され得る。
【0078】
本開示は、ソフトウェア及び/又はソフトウェア及びハードウェアの組み合わせにおいて、たとえば特定用途向け集積回路(ASIC)、フィールドプログラマブルゲートアレイ(FPGA)を含むプログラマブルロジックアレイ(PLA)、又はハードウェアデバイス上に配備されるステートマシンを使用して実施することができ、汎用コンピュータ又は任意の他のハードウェアの等価物、たとえば上記で論じた方法に関係するコンピュータ可読命令は、上記で開示した方法のステップ、機能、及び/又は動作を実行するようにハードウェアプロセッサを構成するために使用され得ることに留意されたい。1つの実施形態では、距離を算出するための本発明のモジュール又はプロセス1605(たとえば、コンピュータ可読命令を含むソフトウェアプログラム)のための命令及びデータは、メモリ1604にロードされ、ハードウェアプロセッサ要素1602によって実行されて、例示的な方法800及び1500に関連して上記で論じたステップ、機能、又は動作を実施することができる。さらに、ハードウェアプロセッサが命令を実行して「動作」を実行するとき、これは、ハードウェアプロセッサが動作を直接的に実行すること、及び/又は動作を実行するように別のハードウェアデバイス又は構成要素(たとえばコプロセッサなど)と共に促し、方向付け、共働することを含むことができる。
【0079】
上記で説明した方法に関するコンピュータ可読命令又はソフトウェア命令を実行するプロセッサは、プログラムされたプロセッサ又は専用のプロセッサとして認識され得る。したがって、本開示の(関連するデータ構造を含む)距離を算出するための本発明のモジュール1605は、実体的な又は物理的な(広く言えば非一時的な)コンピュータ可読記憶デバイス又は媒体、たとえば、揮発性メモリ、非揮発性メモリ、ROMメモリ、RAMメモリ、磁気又は光学ドライブ、デバイス、又はディスケット上などに記憶され得る。より詳細には、コンピュータ可読記憶デバイスは、コンピュータ又はアプリケーションサーバなどのプロセッサ又はコンピューティングデバイスによってアクセスされるデータ及び/又は命令などの情報を記憶する能力を提供する任意の物理的デバイスを備えることができる。
【0080】
さまざまな実施形態が上記で説明されてきたが、これらは、限定的ではなく例としてのみ提示されていることを理解されたい。したがって、好ましい実施形態の広さ及び範囲は、上記で説明した例示的な実施形態のいずれにも限定されてはならず、以下の特許請求の範囲及びその等価物にしたがってのみ定義されなければならない。
図1A
図1B
図2
図3
図4
図5
図6
図7
図8
図9
図10
図11
図12
図13
図14A
図14B
図14C
図14D
図15
図16
図17
図18
図19A
図19B
図20