(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2022-08-31
(45)【発行日】2022-09-08
(54)【発明の名称】焦点調整可能な画像センサを含む距離センサ
(51)【国際特許分類】
G01C 3/06 20060101AFI20220901BHJP
G01B 11/25 20060101ALI20220901BHJP
【FI】
G01C3/06 110A
G01B11/25 H
(21)【出願番号】P 2019530738
(86)(22)【出願日】2017-12-05
(86)【国際出願番号】 US2017064681
(87)【国際公開番号】W WO2018106671
(87)【国際公開日】2018-06-14
【審査請求日】2020-12-01
(32)【優先日】2016-12-07
(33)【優先権主張国・地域又は機関】US
(73)【特許権者】
【識別番号】517145315
【氏名又は名称】マジック アイ インコーポレイテッド
(74)【代理人】
【識別番号】110001210
【氏名又は名称】特許業務法人YKI国際特許事務所
(72)【発明者】
【氏名】木村 昭輝
【審査官】山▲崎▼ 和子
(56)【参考文献】
【文献】特開2014-238259(JP,A)
【文献】特開2014-044113(JP,A)
【文献】特開2002-056348(JP,A)
【文献】米国特許第05061062(US,A)
(58)【調査した分野】(Int.Cl.,DB名)
G01C 3/00-3/32
G01B 11/00-11/30
(57)【特許請求の範囲】
【請求項1】
物体までの距離を計算するための方法であって、
参照パターンを視野内に集合的に投射するために、距離センサの第1の投射点および第2の投射点を同時に起動するステップと、
測定パターンを前記視野内に投射するために、前記距離センサの第3の投射点を起動するステップと、
前記視野の画像を取得するステップであって、前記物体、前記参照パターン、および前記測定パターンが前記画像内で可視である、ステップと、
前記画像内の前記測定パターンの外観に基づいて前記距離センサから前記物体までの距離を計算するステップと、
前記画像内の前記参照パターンの外観に基づいて前記距離センサのレンズの動きを検出するステップと、
計算された前記距離を、検出された前記動きに基づいて調整するステップと
を含むことを特徴とする方法。
【請求項2】
請求項1に記載の方法であって、前記参照パターンは、互いに平行に配置される、第1の線、第2の線、および第3の線を含む、ことを特徴とする方法。
【請求項3】
請求項2に記載の方法であって、前記第1の線、前記第2の線、および前記第3の線の各々は、それぞれの一連のドットから形成される、ことを特徴とする方法。
【請求項4】
請求項1に記載の方法であって、前記動きは、前記参照パターンに含まれる参照点の前記画像における動きに基づいて検出される、ことを特徴とする方法。
【請求項5】
請求項4に記載の方法であって、前記画像を取得するために使用される画像センサの、前記参照点に対する固定点は、前記レンズの前方節点を含む、ことを特徴とする方法。
【請求項6】
請求項2に記載の方法であって、前記第1の線は、1次参照パターンを含み、前記第2の線および第3の線は、2次参照パターンを集合的に含み、前記1次参照パターンは、前記距離センサの画像センサの光軸に平行に向けられ、前記2次参照パターンは、前記1次参照パターンの平面に対してある角度に向けられる、ことを特徴とする方法。
【請求項7】
請求項6に記載の方法であって、前記1次参照パターンの回転角度は、球面座標において0であり、前記1次参照パターンの仰角は、前記球面座標において所定の範囲内に収まる、ことを特徴とする方法。
【請求項8】
請求項7に記載の方法であって、前記2次参照パターンの回転角度は、前記球面座標において一定の値であり、前記2次参照パターンの仰角は、前記球面座標において所定の範囲内に収まる、ことを特徴とする方法。
【請求項9】
請求項8に記載の方法であって、前記測定パターンの回転角度は、前記球面座標において所定の範囲内に収まり、前記測定パターンの仰角は、前記球面座標において一定の値である、ことを特徴とする方法。
【請求項10】
請求項1に記載の方法であって、前記第1の投射点および前記第2の投射点の少なくとも1つは、前記測定パターンを投射するために前記第3の投射点と協働する、ことを特徴とする方法。
【請求項11】
請求項1に記載の方法であって、前記動きは、前記距離センサの画像センサの光軸に垂直な方向のシフトである、ことを特徴とする方法。
【請求項12】
請求項1に記載の方法であって、前記動きは、前記距離センサの画像センサの光軸に平行な方向である、ことを特徴とする方法。
【請求項13】
請求項1に記載の方法であって、前記第1の投射点、前記第2の投射点、および前記第3の投射点のそれぞれの位置は、前記取得するステップを実行する画像センサの周りに固定される、ことを特徴とする方法。
【請求項14】
請求項1に記載の方法であって、前記画像を取得する画像センサが、焦点合せ機能を含む、ことを特徴とする方法。
【請求項15】
請求項1に記載の方法であって、前記画像を取得する画像センサが、焦点距離変更機能を含む、ことを特徴とする方法。
【請求項16】
プロセッサによって実行されるとき、物体までの距離を計算するための動作を前記プロセッサに実行させる複数の命令を記憶する、コンピュータ読取り可能記憶デバイスであって、前記動作は、
参照パターンを視野内に集合的に投射するために、距離センサの第1の投射点および第2の投射点を同時に起動することと、
測定パターンを前記視野内に投射するために、前記距離センサの第3の投射点を起動することと、
前記視野の画像を取得することであって、前記物体、前記参照パターン、および前記測定パターンが前記画像内で可視である、ことと、
前記画像内の前記測定パターンの外観に基づいて前記距離センサから前記物体までの距離を計算することと、
前記画像内の前記参照パターンの外観に基づいて前記距離センサのレンズの動きを検出することと、
計算された前記距離を、検出された前記動きに基づいて調整することと
を含む、ことを特徴とするデバイス。
【請求項17】
可動であるレンズを含む画像センサと、
参照パターンを視野内に集合的に投射するための第1の投射点および第2の投射点であって、前記画像センサに対するそれぞれの位置が固定されている第1の投射点および第2の投射点と、
測定パターンを前記視野内に投射するための第3の投射点であって、前記画像センサに対する位置が固定されている第3の投射点と、
前記画像センサによって取得された前記視野の画像内の前記測定パターンの外観に基づいて、前記視野内の装置から物体までの距離を計算し、前記画像内の前記参照パターンの外観に基づいて前記レンズの動きを検出し、計算された前記距離を、検出された前記動きに基づいて調整する回路と
を含むことを特徴とする装置。
【発明の詳細な説明】
【技術分野】
【0001】
本開示は、一般に、コンピュータ視覚システムに関し、より具体的には、空間内の物体または点までの距離を測定するためのセンサに関する。
【背景技術】
【0002】
本出願は、全体を本願に引用して援用する、2016年12月7日に出願した米国仮特許出願第62/430,998号の利益を主張する。
【0003】
ロボット車両およびドローンなどの無人車両は、通常、周囲の環境における障害物検出およびナビゲーションのためのコンピュータ視覚システムに依存する。これらのコンピュータ視覚システムは、同様に、通常、周囲の環境から視覚データを取得する様々なセンサに依存し、周囲の環境に関する情報を集めるためにコンピュータ視覚システムがそれらのデータを処理する。たとえば、1つ以上の画像センサを介して取得されたデータは、周囲の環境において車両から特定の物体または点までの距離を特定するために使用される場合がある。
【発明の概要】
【課題を解決するための手段】
【0004】
一実施形態では、物体までの距離を計算するための方法は、参照パターンを視野内に集合的に投射するために、距離センサの第1の投射点および第2の投射点を同時に起動するステップと、測定パターンを視野内に投射するために、距離センサの第3の投射点を起動するステップと、視野の画像を取得するステップであって、物体、参照パターン、および測定パターンが画像内で可視である、ステップと、画像内の測定パターンの外観に基づいて距離センサから物体までの距離を計算するステップと、画像内の参照パターンの外観に基づいて距離センサのレンズの動きを検出するステップと、検出された動きに基づいて計算されるときに距離を調整するステップとを含む。
【0005】
別の実施形態では、コンピュータ読取り可能記憶デバイスは、プロセッサによって実行されるとき、物体までの距離を計算するための動作をプロセッサに実行させる複数の命令を記憶する。これらの動作は、参照パターンを視野内に集合的に投射するために、距離センサの第1の投射点および第2の投射点を同時に起動することと、測定パターンを視野内に投射するために、距離センサの第3の投射点を起動することと、視野の画像を取得することであって、物体、参照パターン、および測定パターンが画像内で可視である、ことと、画像内の測定パターンの外観に基づいて距離センサから物体までの距離を計算することと、画像内の参照パターンの外観に基づいて距離センサのレンズの動きを検出することと、検出された動きに基づいて計算されるときに距離を調整することとを含む。
【0006】
別の例では、装置は、可動であるレンズを含む画像センサと、参照パターンを視野内に集合的に投射するための第1の投射点および第2の投射点であって、画像センサに対するそれぞれの位置が固定されている第1の投射点および第2の投射点と、測定パターンを視野内に投射するための第3の投射点であって、画像センサに対する位置が固定されている第3の投射点と、画像内の参照パターンの外観に基づいてレンズの動きを検出し、検出された動きに基づいて計算されるときに距離を調整するために、画像センサによって取得された視野の画像内の測定パターンの外観に基づいて視野内の装置から物体までの距離を計算するための回路とを含む。
【0007】
本開示の教示は、添付の図面と併せて次の発明を実施するための形態を検討することによって容易に理解することができる。
【図面の簡単な説明】
【0008】
【
図1A】本開示の光学的構成を生成するために使用することができる距離センサの一実施形態の断面図である。
【
図4A】画像拡大および/またはレンズシフトを検出するために2つの参照光線を使用することができる第1の例を示す図である。
【
図4B】同時に起こる画像拡大およびレンズシフトを検出するために
図4Aの第1および第2の参照光線が使用される例を示す図である。
【
図5A】第1の投射点および第2の投射点からの例示的な1次参照パターンの投射を示す図である。
【
図5B】第1の投射点および第2の投射点からの例示的な2次参照パターンの投射を示す図である。
【
図6A】同時に投射された例示的な1次および2次の参照パターンを示す図である。
【
図6B】同時に投射された例示的な1次および2次の参照パターンを示す図である。
【
図7】
図6Aおよび
図6Bの1次参照パターンおよび2次参照パターンの投射の第1の例示的な側面図である。
【
図8】様々な位置における投射されたドットの複数の矩形行列の重複を示す図である。
【
図9】ともに同時に投射された1次参照パターンおよび2次参照パターンを有する例示的な測定パターンを示す図である。
【
図10】空間内のセンサから物体または点までの距離を計算するための方法のフローチャートである。
【
図11】本明細書に説明された機能を実行する際の使用に適した汎用コンピュータのハイレベルブロック図である。
【発明を実施するための形態】
【0009】
理解を容易にするために、可能な場合、図に共通の同一の要素を指定するのに同一の参照番号が使用されている。
【0010】
一実施形態では、本開示は、距離センサに関する。距離センサは、コンピュータ視覚システムが周囲の環境において車両から特定の物体または点までの距離を特定するのを助けるために無人車両において使用することができる。たとえば、距離センサは、物体または点の上に1つ以上の光線を投射し、次いで、飛行時間(TOF:time of flight)、反射光の分析(たとえば、ライダー)、または他の手段によって距離を計算することができる。しかし、このタイプの従来の距離センサは、かさばる傾向があり、したがって、小型の車両に使用するには適さない場合がある。さらに、これらのセンサは、製作するには非常に高額であり、限られた視野を有する傾向がある可能性がある。たとえば、複数の従来の画像センサの構成を使用しても、360度未満の視野を提供するだけである。距離センサは、3次元(3D)画像処理、個人用および商用の車両カメラシステム、セキュリティシステムなどを含む、他の用途にも使用することができる。しかし、これらの用途の各々は、様々なタイプの画像データ(たとえば、広い視野、遠い距離、小さいサイズなど)を必要とする場合があり、したがって、レンズシフトおよび画像拡大は、所与の用途に必要な画像のタイプを取得するために使用される場合がある。
【0011】
いくつかの距離センサは、画像の位置を距離に直接関連付けるために簡単な三角測量アルゴリズムを利用し、それによって、画像に関連付けられた物体までの距離を計算する。このタイプのいくつかのセンサは、3次元センサとして2次元カメラを使用する場合がある。したがって、コストおよびサイズの点で、そのようなシステムには利点がある。しかし、光線投射を使用する動作中の三角測量システムでは、画像センサ(たとえば、カメラ)は、通常、ズーム機能が無い固定レンズ固定焦点システムとして構成される。固定焦点は、より遠い距離から画像を取得しようとするとき、ぶれを導く場合があり、ズームする能力が無いことにより、動く物体の鮮明な画像を取得することが難しくなる場合がある。他方、レンズがズームおよび焦点合せのために調整可能な場合、レンズのどんな望ましくない動き(たとえば、シフトまたは傾斜)も三角測量の精度に影響を及ぼす可能性がある。
【0012】
本開示の例は、全体を本願に引用して援用する、2015年10月22日に出願した米国特許出願第14/920,246号に開示された距離センサのいずれかなどの小型距離センサのための光学的構成の改良を提供する。1つ以上の光源は、物体上への入射の際に測定パターン(たとえば、複数の平行線)を集合的に形成する複数の光線を投射する。2つ以上の光源は、物体上への入射の際に参照パターン(たとえば、同様に複数の平行線)を集合的に形成する複数の光線を投射する。測定パターンおよび参照パターンは、同じ光源または異なる光源から同時に投射される場合がある。次いで、1つ以上の画像センサは、物体、測定パターン、および参照パターンの2次元画像を取得し、画像内の物体上の測定パターンおよび参照パターンの外観に基づいて、距離センサの画像センサレンズの動き(たとえば、シフト、傾斜など)を検出する。次いで、レンズの動きを考慮するために三角測量ベースの物体距離測定に対して補償を行うことができる。
【0013】
本開示の文脈においては、「光線」または「投射光線」は、開示された距離センサの光源によって放射された光の形態を指す。「線」または「パターン」は、光源によって放射された光線が表面または物体の上に入射するとき、その表面または物体の上に作られた画像を指す。
【0014】
たとえば、
図1Aおよび
図1Bは、本開示の光学的構成を生成するために使用することができる距離センサ100の一例を示す。具体的には、
図1Aは、距離センサ100の断面図を示すが、
図1Bは、
図1Aの距離センサ100の上面図を示す。距離センサ100は、たとえば、無人車両に取り付けることができる。
【0015】
図1Aに示すように、距離センサ100は、小型ハウジング102内に配置された複数の構成要素を含む。一例では、これらの構成要素は、広角レンズ112を含む画像センサ110の周りに配置された複数の光源108
1~108
n(以下、まとめて「光源108」と呼ぶか、または個別に「光源108」と呼ぶ)を含む。一例では、複数の光源108は、偶数の光源を含む。たとえば、
図1Bに示した例では、複数の光源108は、4つの光源108を含む。一例では、これらの構成要素は、中心軸A-A’に関して実質的に対称に配置される。たとえば、一例では、中心軸A-A’は、画像センサ110の光軸(たとえば、レンズユニットの中心)と一致し、光源108は、
図1Bに示したように、画像センサ110の周りのリングにおいて一定の間隔(たとえば、30度ごと、90度ごとなど)で離間される。
【0016】
一例では、光源108の各々は、複数の光線を放射するレーザ光源であり、複数の光線は、複数の光線が入射する表面上に複数の連続線またはドット(または、x、ダッシュなどの他の印)の線を投射することができる。したがって、各光源108は、距離センサ100のための投射点、すなわち複数の光線が視野内に投射される、距離センサ100上の点と見なすことができる。この目的で、各投射点は、光源108によって放射された単一の光線を複数の光線に分割する、それぞれの回折光学素子1141~114n(以下、まとめて「回折光学素子114」と呼ぶか、または個別に「回折光学素子114」と呼ぶ)を含むことができる。複数の光線の各個別の光線は、同様に、表面上にドットまたは点を投射することができ、複数の光線は、対応するドットが一連の平行線を集合的に形成するように配列される。これらの線は、矩形ドット行列を集合的に形成するように、ドットから形成することができる。代替として、線は、連続的であるか、またはダッシュ、xなどから形成されてもよい。
【0017】
各光源108の投射方向は、画像センサ110に対して固定することができる。一例では、各光源108は、表面上に異なる視覚パターンを形成する複数の光線を投射するように構成される。たとえば、光源1081は、ドットのパターンを投射することができるが、光源1082は、ダッシュまたはxなどのパターンを投射することができる。さらなる例では、複数の光源108の少なくとも1つの光源108は、投射するパターンを変化させるように構成可能である。加えて、光源108の1つ以上によって投射された光の強度は、変化する場合がある。たとえば、光源1081は、第1の強度の光を投射することができるが、光源1082は、異なる第2の強度の光を投射することができる、などである。代替として、各光源108は、強度がある範囲内で変化することができる光を投射することができる場合がある。
【0018】
各光源108から放射された光は、人間の視覚に比較的安全であることが知られている波長(たとえば、赤外線)を有する。さらなる例では、各光源108は、その出力の強度を調整するための回路を含むことができる。さらなる例では、各光源108は、画像取得時に周囲の光の効果を緩和するために光をパルスで放射することができる。
【0019】
一例では、複数の光源108は、
図1Aに示したように、複数の光源108によって放射された光が伝搬する方向に対して、画像センサ110の主点(すなわち、光軸A-A’が画像平面と交差する点)の「背後に」配置される。一例では、複数の光源108の少なくとも1つの光源108は、距離センサ100から取り外し可能である。
【0020】
上に論じたように、画像センサ110は、複数の光源108の中央の中心軸A-A’に沿って配置することができる。一例では、画像センサ110は、スチルカメラまたはビデオカメラなどの画像取得デバイスである。1つの特定の例では、画像取得デバイスは、赤、緑、青、赤外線(RGB-IR)センサを含む。上にも論じたように、画像センサ110は、半球状の視野を生成する魚眼レンズなどの広角レンズ112を含む。一例では、レンズ112は、中央投射光学レンズまたは自由曲面光学レンズ以外の任意のタイプのレンズを含む。一例では、画像センサ110は、距離センサ100から物体または点までの距離を計算するための回路を含む。別の例では、画像センサは、ネットワークを介して取得された画像をプロセッサに通信するためのネットワークインターフェースを含み、プロセッサは、距離センサ100から物体または点までの距離を計算し、次いで、計算された距離を再び距離センサ100に通信する。
【0021】
別の例では、距離センサ100は、光源108の光線を第1の複数の光線に分割するために回折光学素子を使用する単一の光源108を使用することができる。次いで、第1の複数の光線の各々は、上に論じたように、距離センサ100の各投射点から放射される第2の複数の光線に(たとえば、回折光学素子114によって)さらに分割される。この例は、米国特許出願第14/920,246号にさらに詳細に論じられている。
【0022】
したがって、一例では、距離センサ100は、複数の投射光線が放射される複数の投射点を生成するために1つ以上の光源および/または1つ以上の回折光学素子を使用し、複数の投射光線によって生成された複数の線(たとえば、ドットまたはダッシュのパターンを含むことができる)は、光線が投射された表面上に互いに平行に向けられる場合がある。したがって、距離センサ100によって表面上に投射されたパターンは、複数の平行線を含むことができ、これらの線の各々は、連続線、またはドット、ダッシュ、xなどの線を含む。次いで、距離センサ100から物体までの距離は、(たとえば、2015年10月22日に出願した米国特許出願第14/920,246号に説明したように)視野内の複数の平行線の外観から(たとえば、これらの線がドットから形成されるとき、ドットの位置によって)計算することができる。たとえば、物体までの距離は、平行線を形成するドットの横方向の動きを通して検出することができるが、それは、距離が変化しても、これらの線が常に連続的に線形であるからである。物体のサイズおよび寸法も、直接計算することができる。
【0023】
下により詳細に論じるように、平行線の様々なパターンが、距離を測定しレンズの動きを補償するために使用される場合がある。たとえば、第1および/または第2の参照パターンの画像が、レンズの動きを検出するために使用される場合がある。次いで、レンズの動きの情報は、測定パターンの画像に基づいて(たとえば、三角測量を介して)行われた距離測定を調整するために適用することができる。
【0024】
光源108の各々が異なるパターン(たとえば、ドット、x、ダッシュなど)の複数の線を投射するとき、画像センサ110内の回路は、取得された画像内のどの線が光源108のどれによって生成されたかを容易に特定することができる。このことは、下により詳細に論じるように、距離計算を容易にすることができる。一例では、異なる距離計算技法は、光源108の各々によって投射されたパターンと併せて使用することができる。
【0025】
図2は、
図1Aおよび
図1Bの距離センサ100の一部分の上面図を示す。具体的には、
図2は、検出される物体200に対するレンズシフトおよび画像拡大の概念を示す。
【0026】
図示したように、画像センサ110および光源108は、固定位置を有する。しかし、レンズ112は、可動位置を有し、その結果、焦点合せおよびズームのためにその位置を調整することができる。したがって、距離センサ100は、距離が測定されている物体200に対して固定位置を有することができるが、物体200に対するレンズ112の位置は、変化する場合があり、このことは、距離計算のために使用される三角測量技法の精度に影響を及ぼす場合がある。
【0027】
たとえば、レンズ112は、シフトする、すなわち、画像センサ110の光軸に対して横方向または垂直方向に動く場合がある。
図2では、最初のシフト前光軸はA-A’で示されるが、新しいシフト後光軸はB-B’で示される。
【0028】
レンズ112は、たとえば、画像拡大(ズーム)のために、画像センサ110の光軸に平行な方向に動く場合もある。この場合、画像センサの光軸の位置は、変化しない(たとえば、その位置はA-A’のままである)が、レンズ112から物体200までの距離は変化する。
【0029】
参照パターンは、光源108の2つ以上によって物体200上に投射することができ、各光源108は、それぞれの参照光線2061または206n(以下、まとめて「参照光線206」と呼ぶか、または個別に「参照光線206」と呼ぶ)を投射する。参照パターンは、下により詳細に論じるように、参照光線206が収束または交差する少なくとも1つの参照点204(たとえば、ドット、ダッシュ、線など)を含む。一例では、参照パターンの参照軸202は、画像センサ110の光軸A-A’と一直線になる(たとえば、同一直線上にある)。
【0030】
図3Aは、レンズシフトをより詳細に示す。具体的には、
図3Aは、レンズから物体306までの距離の変化が無いレンズシフトを示す。
図3Aでは、レンズ112の最初の位置は、300で示されるが、レンズ112の新しい位置またはシフトした位置は、302で示される。最初の位置300と新しい位置302との間のシフトまたは横方向の差は、sとして与えることができる。
【0031】
参照番号304は、以下で「参照点」と呼ぶ点(たとえば、ドット、x、ダッシュなど)画像PRを物体306上に生成する、物体306上に投射された参照光線を示す。図示したように、参照光線304は、レンズ112の最初の位置300のレンズ112の前方節点Nfから投射され、前方節点Nfを通過する。この場合、前方節点Nfは、三角測量のための距離センサ100の校正位置として機能する。レンズ112が新しい位置302にシフトするとき、レンズ112の前方節点は、Nf’に移動する。レンズ112の後方節点は、NrからNr’に移動する。その方向および参照光線304に関連付けられた参照点PRは固定される。
【0032】
レンズ112が最初の位置300にあるとき、画像センサ110上の参照点PRの画像は、QRによって示される。しかし、レンズ112が新しい位置302にシフトするとき、画像センサ110上の参照点PRの画像は、QR’に移動する。この場合、参照点PRの移動距離s’は、次のように計算することができる。
s’=s+s(b/a) (方程式1)
ここで、bは画像距離(すなわち、画像センサ110上の参照点PRの画像QR’からレンズ112の後方節点Nr’までの距離)を表し、aは物体距離(すなわち、物体306からレンズ112の後方節点Nr’までの距離)を表す。通常、比率b/aは、比較的小さく、その結果、シフトsは、移動距離s’にほぼ等しい。
【0033】
一例では、ドット画像P0、P1、およびP2は、距離測定のために物体306上に投射されるパターンの一部分を形成し、したがって、ドット画像P0、P1、およびP2は、本明細書では、「測定点」と呼ばれる場合がある。画像センサ110上の測定点の対応する画像は、それぞれ、Q0、Q1、およびQ2によって示される。レンズ112が新しい位置302にシフトするとき、画像センサ110上の測定点の画像は、それぞれ、Q0’、Q1’、およびQ2’に移動する。この場合、測定点P0、P1、およびP2の移動距離s’は、シフトsにほぼ等しい。
【0034】
したがって、レンズ112のシフトsは、物体306までの任意の距離とともに参照光線304を使用することによって特定することができる。シフトがsであるとき、物体306までの任意の距離における(画像センサ110によって取得される)いずれかの測定点P0、P1、およびP2の画像の移動値はs’である。
【0035】
図3Bは、画像拡大をより詳細に示す。画像拡大は画像距離(すなわち、画像センサ上のパターン点の画像からレンズの後方節点までの距離)と比例関係を有することに留意されたい。具体的には、
図3Bは、レンズシフトが無い画像拡大を示す。したがって、レンズ112は、物体306に(すなわち、画像センサ110の光軸に平行な方向に)さらに近づくか、または物体306からさらに離れる場合があるが、横方向に(すなわち、
図3Aに示したように、画像センサ110の光軸に垂直な方向に)は動かない。
【0036】
図3Bでは、レンズ112の最初の位置は、308で示されるが、レンズ112の新しい位置または拡大位置は、310で示される。参照番号304は、以下で「参照点」と呼ぶ点(たとえば、ドット、x、ダッシュなど)画像P
Rを物体306上に生成する、物体306上に投射された参照光線を示す。図示したように、参照光線304は、最初の位置308のレンズ112の前方節点N
fから投射され、前方節点N
fを通過する。この場合、前方節点N
fは、三角測量のための距離センサ100の校正位置として機能する。レンズ112が新しい位置310に移動するとき、レンズ112の前方節点は、N
f’に移動する。レンズ112の後方節点は、N
rからN
r’に移動する。その方向および参照光線304に関連付けられた参照点P
Rは固定される(すなわち、参照点P
Rは、画像距離が変化する場合があっても、物体306に対して動かない)。
【0037】
レンズ112が最初の位置308にあるとき、画像センサ110上の参照点の画像は、QRによって示される。上に論じたように、物体306上の参照点PRの画像の位置は、画像距離の変化とともには動かない。しかし、レンズ112が(たとえば、ズームまたは焦点合せのために)新しい位置310にシフトし画像距離が変化したとき、画像センサ110上の参照点の画像はQR’に移動する。
【0038】
さらなる例では、複数の(すなわち、少なくとも2つの)参照光線は、レンズシフトおよび画像拡大を検出し、それらを補償するために使用される。この場合、距離センサの少なくとも第1および第2の投射点は、距離が測定されている物体上に、少なくとも第1および第2の参照光線をそれぞれ投射するために使用される場合がある。
【0039】
図4Aは、たとえば、画像拡大および/またはレンズシフトを検出するために2つの参照光線を使用することができる第1の例を示す。この場合、変化比率kは、両参照光線に対応する取得画像の距離変化を検出することによって得ることができる。
【0040】
具体的には、第1の参照光線400および第2の参照光線402は、物体404上に、第1の参照点PRおよび第2の参照点PSRを生成するために投射される。画像センサ上の第1の参照点PRおよび第2の参照点PSRの画像の位置は、それぞれ、QRおよびQSRによって示され、画像センサ上の第1の参照点PRおよび第2の参照点PSRの画像の新しい位置は、それぞれ、QR’およびQSR’によって示される。点PおよびP0は、それぞれ、第1の測定光線406および第2の測定光線408によって物体404上に生成された第1の測定点および第2の測定点をそれぞれ示す。
【0041】
この場合の変化比率kは、次式によって得ることができる。
k=(khSR+khR)/(hSR*hR) (方程式2)
ここで、khSRおよびkhRは既知である。
【0042】
図4Bは、
図4Aの第1および第2の参照光線400および402が、同時に起こる画像拡大およびレンズシフトを検出するために使用される例を示す。この場合、シフトsと変化比率kの両方を計算するために第1および第2の参照光線400および402の絶対位置(すなわち、三角測量校正が行われる最初のレンズ前方シフト位置)を知ることが必要である。この場合の絶対位置は、画像センサの光軸A-A’に対する位置として定義され、光軸A-A’は、参照点の画像が物体距離変化または画像距離変化とともには動かない点としてさらに定義される。
【0043】
絶対位置が既知である必要がある精度は、状態によって変化する場合がある。しかし、いくつかの例では、第1の参照光線400、第2の参照光線402、および光軸の位置を検出することが可能な校正手段を使用することができる。校正手段はさらに、検出された位置を配置および記憶することができる。これらの位置の検出、配置、および記憶は、三角測量校正に関連して行うことができる。
【0044】
上に説明された例は、レンズシフトおよび物体距離変化を検出するために参照「光線」を使用することに関して論じてきたが、本開示のさらなる例は、レンズシフトおよび物体距離変化を検出するために複数の光線によって生成された参照「パターン」を使用することができる。この場合、距離センサの少なくとも2つの投射点は、複数の光線を同時に投射し、複数の光線は、それらが放射される投射点から扇形に広がる場合がある。複数の光線の各光線は、物体上に点を投射することができる。複数の光線によって投射された点は、物体上に複数の線(たとえば、連続線、または一連のドット、ダッシュ、xなどによって形成された線)を集合的に形成することができる。単一の投射点から放射された複数の光線によって、また複数の光線によって物体上に投射された点によって画定された空間は、距離センサのレンズの前方節点を含むことができる投射平面を形成する。各投射平面は、距離センサの光軸を含むことができる。
【0045】
図5Aは、たとえば、第1の投射点502および第2の投射点504からの例示的な1次参照パターン500の投射を示す。図示したように、第1の投射点502および第2の投射点504は各々、第1の投射平面506または第2の投射平面508をそれぞれ形成するために扇形に広がる複数の光線を投射する。
【0046】
図示したように、第1の投射平面506と第2の投射平面508は、画像センサ512の前方節点510を通過する線C-C’に沿って交差する。第1の投射点502および第2の投射点504の位置は、画像センサ512に対して固定されているので、第1の投射平面506と第2の投射平面508が交差する線C-C’の位置も、画像センサ512に対して固定される。したがって、線C-C’は、参照パターン500の画像を取得することによって実際に認識することができる「参照光線」と見なされる場合がある。
【0047】
第1の投射平面506および第2の投射平面508が画像センサ512の光軸を通るので、第1の投射平面506および第2の投射平面508によって生成された1次参照パターン500は、「1次」参照パターンと見なされる場合がある。線C-C’は、同様に、「1次」参照軸と見なされる場合がある。
【0048】
図5Bは、第1の投射点502および第2の投射点504からの例示的な2次参照パターン514の投射を示す。この場合、第1の投射点502および第2の投射点504は各々、第3の投射平面516または第4の投射平面518をそれぞれ形成するために扇形に広がる複数の光線を投射する。
【0049】
図示したように、第3の投射平面516と第4の投射平面518は、線D-D’に沿って所定の角度で交差する。第1の投射点502および第2の投射点504の位置は、画像センサ512に対して固定されているので、第3の投射平面516と第4の投射平面518が交差する線D-D’の位置も、画像センサ512に対して固定される。したがって、線D-D’は、参照パターン514の画像を取得することによって実際に認識することができる「参照光線」と見なされる場合がある。
【0050】
第3の投射平面516および第4の投射平面518が画像センサ512の光軸を通らないので、第3の投射平面516および第4の投射平面518によって生成された参照パターン514は、「2次」参照パターンと見なされる場合がある。線D-D’は、同様に、「2次」参照軸と見なされる場合がある。
【0051】
1次参照パターン500と2次参照パターン514は、同じ平面において、互いに平行である。1次参照パターン500と2次参照パターン514との間の画像センサ512によって取得される画像の距離は、物体距離の変化に対して一定である。
【0052】
図6Aは、本開示の距離センサによって物体上に投射することができる例示的な測定パターン600を示す。図示したように、測定パターン600は、ドットの矩形行列を含む。しかし、他の例では、ドットの各列または行は、連続線として形成される場合がある。上に論じたように、測定パターン600は、少なくとも2つの投射点によって生成され、これらの投射点は、画像センサの周りに配置され、画像センサのレンズの前方節点に対して(画像センサの光軸の方向に沿って)同じ高さに配置され、複数の光線を同時に放射する。
【0053】
測定パターン600内に(またはその上で重なって)同時に投射された例示的な1次および2次の参照パターンを示す、
図6Aおよび
図6Bに示した例では、1次参照パターンは、垂直に向けられたドットの中心線602を含むが、2次参照パターンは、中心線602から横方向外側に(および中心線に平行に)離間した、垂直に向けられた1組のドットの線604を含む。測定パターン600、1次参照パターン、および2次参照パターンは、それぞれの光源608に対応する回折光学素子を含むことができる、複数の投射点606から半球状の視野(たとえば、「仮想球体」)内に投射される。
【0054】
より詳細には、1次参照パターンは、球面座標においてφ=C(ここで、Cは一定であるが、任意の値である)の線に対応し、より具体的には、φ=0(すなわち、C=0)の線に対応するが、ここでφは測定パターン600の回転角度である。したがって、1次および2次の参照パターンは、それらが投射される投射点とともに平面を生成し、物体上に投射された結果的なパターンは、線を形成する。
【0055】
1次参照パターンは、仰角θ=+θaから-θa(ここで、θは任意の値であり、1次参照パターンは、θaからθbの所定の範囲にある)によってさらに定義される場合がある。2次参照パターンは、仰角θ=+θbから-θb(ここで、θは任意の値であり、2次参照パターンは、θcからθdの所定の範囲にある)によってさらに定義される場合がある。2次参照パターンの回転角度φは、φ=Δφ(ここでφは所定の値である)として定義される場合がある。
【0056】
対照的に、測定パターン600は、θ=0の線に対応する(および、より具体的には、測定パターン600の水平に向けられた中心線610はθ=0に対応する)が、ここでθは測定パターン600の仰角である。
【0057】
図7は、
図6Aおよび
図6Bの1次参照パターンおよび2次参照パターンの投射の第1の例示的な側面図を示す。図示したように、(光線702によって投射された)1次参照パターンおよび(光線704によって投射された)2次参照パターンを含む参照パターンの投射点の位置は、レンズ706の前方節点N
fと一致して配置される。したがって、参照パターンの線の取得された画像は、物体からのレンズ706の任意の距離において同じ位置を占める。
【0058】
したがって、(同様に構成されるが、異なるそれぞれの位置に配置される)1次参照パターン800および2つの2次参照パターン802の重複を示す
図8に示したように複数の投射点を配置することによって、それぞれの中心線804、806、および808が画像センサのレンズ812の光軸上で交差する点は、レンズ812から、1次参照パターン800および2次参照パターン804が投射される物体までの任意の距離に固定される。
【0059】
一例では、1次参照パターン800は、その交点を容易に認識することができるように構成される。しかし、1次参照パターン800のある部分は、(異常な反射状態、障害物の存在などの物体の状態によって)点画像状態のために検出不可能になる場合があることを仮定することができる。したがって、1次参照パターン800を検出するための距離センサの能力の精度は、時間とともに、変化する場合がある。
【0060】
したがって、一例では、1次参照パターン800の交点が認識される精度を改善するために安全策がとられる場合がある。たとえば、1次参照パターン800内の投射線の数が(たとえば、4つ以上に)増加する場合があり、および/または、投射線の長さが増加する場合がある。さらなる例では、選択手段は、1次参照パターン800の選択された部分に基づいて1次参照パターン800の最も効果的な部分および最も効果的な計算手段を選択するために使用することができる。さらなる例では、制御手段は、パターン状態および/または三角測量結果の分析に基づいて1次参照パターン800の投射および画像取得(たとえば、放射時間、放射強度、露出時間、画像減算方法など)を制御するために使用することができる。
【0061】
図9は、ともに同時に投射された1次参照パターン902および2次参照パターン904を有する例示的な測定パターン900を示す。図示したように、測定パターン900は、直線の規則的なパターン(この場合、各線は一連のドットとして形成される)から成る比較的単純な形状を有する。したがって、測定パターン900全体の形状は、測定パターン900の部分図からでも容易に仮定することができる。
【0062】
しかし、測定パターン900上で重なっている1次参照パターン902および2次参照パターン904から集合的に構成された参照パターンは、測定パターン900ならびに1次および2次の参照パターン902および904が距離センサの同じ投射点から投射される場合、測定パターン900の写像と干渉する場合がある。したがって、一例では、参照パターンは、複数の区画9061~906m(以下、集合的に「区画906」と呼ぶか、または個別に「区画906」と呼ぶ)に分割することができる。
【0063】
本開示のさらなる例は、ズーム用3次元距離センサを提供する。遠い距離では、投射された点画像の移動値は小さい。しかし、ズームインする(すなわち、レンズから物体までの距離を減少させる)ことによって、点画像の移動値は増加し、距離感度が改善する。
【0064】
遠い距離を測定する場合、レンズの明るさが減少するとき、戻り光(すなわち、物体によって反射され画像センサに再び戻る光)の強度も減少する。したがって、光源によって放射される光の強度が、増加させる場合がある。他方、放射される光の強度を増加させると、電力消費の増加、寿命の減少、安全性の減少などのいくつかの欠点が導かれる場合がある。
【0065】
したがって、制御手段は、ズーム機能と同期するために使用される場合がある。制御手段は、特定の投射パターンを選択し、光源強度を調整し、放射時間および/または光源パルスの間隔を調整し、画像センサの取得機能(たとえば、シャッター速度、露出タイミングなど)を調整することができる。
【0066】
加えて、画像ぶれは、焦点調整とともに変化する場合があり、距離測定の精度に影響を及ぼす場合もある。距離センサがズームインする(すなわち、画像拡大が増加する)とき、画像ぶれの影響は、より深刻になる場合がある。距離センサは、広い範囲の距離を測定する必要があるので、任意の自動焦点システムは、いつでも全範囲の距離に焦点を合わせるべきである。したがって、周期性パターンを有する焦点変更システムが使用される場合があり、周期性パターンは、画像拡大/ズーム値とともに変化する。
【0067】
本開示のさらなる例は、レンズの動きとともに変化する、レンズおよび他の画像処理光学素子の収差を補償することができる。一例では、このことは、校正された補償値を記憶するプロセスを使用することによって行われ、測定された距離に対応する校正された補償値を使用して3次元測定結果を調整する。
【0068】
図10は、空間内のセンサから物体または点までの距離を計算するための方法1000のフローチャートを示す。一実施形態では、方法1000は、
図11に示し、下に論じるように、画像センサ(
図1Aおよび
図1Bに示された画像センサ110など)に一体化されたプロセッサまたは汎用コンピューティングデバイスによって実行することができる。
【0069】
方法1000は、ステップ1002で開始する。ステップ1004では、距離センサの第1の投射点および第2の投射点は、それぞれ、第1および第2の複数の光線を投射するために同時に起動される。第1および第2の複数の光線は、視野内に参照パターンを集合的に投射する。上に論じたように、参照パターンは、1次参照パターンおよび2次参照パターンを含む場合があるが、1次参照パターンは第1の線を含み、2次参照パターンは、第1の線に平行に向けられた第2および第3の線を含む。たとえば、第1の線は、距離センサの画像センサの光軸に平行に向けられる場合があるが、第2および第3の線は、第1の線の平面に対してある角度に向けられる。
【0070】
第1、第2、および第3の線のいずれかは、一連の点(たとえば、ドット、ダッシュ、xなど)として形成される場合がある。第1、第2、および第3の線は、画像センサの固定点(たとえば、画像センサのレンズの前方節点)とともに、それぞれの第1、第2、および第3の平面を形成する場合がある。
【0071】
上に論じたように、1次参照パターンの回転角度は、球面座標において0である場合があり、1次参照パターンの仰角は、球面座標において所定の範囲内に収まる場合がある。同時に、2次参照パターンの回転角度は、球面座標において一定の値である場合があり、2次参照パターンの仰角は、球面座標において所定の範囲内に収まる場合がある。
【0072】
ステップ1006では、距離センサの第3の投射点が、第3の複数の光線を投射するために起動される。第3の複数の光線は、視野内に測定パターンを投射する。一例では、第1および/または第2の投射点によって投射された第1および/または第2の複数の光線は、参照パターンを形成するために第3の複数の光線と協働する場合がある。上に論じたように、測定パターンは、複数の平行線を含む場合があり、複数の平行線の各線は、一連の点(たとえば、ドット、ダッシュ、xなど)として形成される。したがって、一例では、測定パターンは、ドットの矩形行列を含む場合がある。一例では、参照パターンの第1、第2、および第3の線は、測定パターンの複数の平行線に平行に向けられるが、それらの平行線上で重なっている。
【0073】
上に論じたように、測定パターンの回転角度は、球面座標において所定の範囲内に収まる場合があり、測定パターンの仰角は、球面座標において一定の値である場合がある。
【0074】
ステップ1008では、視野の画像は、たとえば、画像センサによって取得され、第1、第2、および第3の投射点の位置は、画像センサの位置に対して固定される。物体、参照パターン、および測定パターンは、画像内で可視である。画像センサは、焦点合せ機能および/または焦点距離変更機能を含む場合がある。したがって、画像センサのレンズは、可動である場合がある。
【0075】
ステップ1010では、距離センサから物体までの距離は、画像内の測定パターンの外観に基づいて計算される。一例では、この距離は、三角測量アルゴリズムを使用して計算される。
【0076】
ステップ1012では、画像センサのレンズの動きは、画像内の参照パターンの外観に基づいて検出される。たとえば、画像センサの固定点(たとえば、画像センサのレンズの前方節点)に対する参照パターンの固定方向の外観に基づいて、レンズが画像センサの光軸の方向に対して横方向にシフトするか、または、レンズが物体に近づくか、もしくは物体からさらに離れることが特定される場合がある。この動きは、レンズの最初の(たとえば、校正された)位置と比較される。
【0077】
たとえば、レンズの動きは、1次参照パターンと2次参照パターンとの交点の最初の位置を検出することによって検出することができる。最初のパターンは、レンズの所定の(たとえば、校正された)位置に対して記憶される場合がある。次いで、交点の現在の位置を検出することができ、レンズの動きの量を見出すために最初の点と現在の点との間の差を計算することができる。さらなる例では、第1の参照パターンと第2の参照パターンとの間の最初の距離および現在の距離も検出することができ、最初の距離と現在の距離との間の差は、レンズの動きの量を示す場合がある。
【0078】
ステップ1014では、ステップ1010において計算された距離が、ステップ1012において検出された動きに基づいて調整される。したがって、距離計算は、レンズの動き(シフト、ズーム、傾斜など)を補償するために調整される場合がある。
【0079】
次いで、方法1000は、ステップ1016で終了する。
【0080】
図11は、本明細書に説明された機能を実行する際の使用に適した汎用コンピュータのハイレベルブロック図を示す。
図11に示したように、システム1100は、1つ以上のハードウェアプロセッサ要素1102(たとえば、中央処理ユニット(CPU)、マイクロプロセッサ、またはマルチコアプロセッサ)と、ランダムアクセスメモリ(RAM)および/またはリードオンリーメモリ(ROM)などのメモリ1104と、距離を計算するためのモジュール1105と、様々な入力/出力デバイス1106(たとえば、限定はしないが、テープドライブ、フロッピードライブ、ハードディスクドライブもしくはコンパクトディスクドライブ、受信機、送信機、レンズおよび光学素子、出力ポート、入力ポートおよびユーザ入力デバイス(キーボード、キーパッド、マウス、マイクロフォンなど)を含む記憶デバイス)とを含む。1つのプロセッサ要素のみが示されているが、汎用コンピュータは、複数のプロセッサ要素を使用することができることに留意されたい。さらに、図には1つの汎用コンピュータのみが示されているが、上に論じた方法が特定の説明に役立つ例に関して分散した方法でまたは並列的な方法で実施される場合、すなわち、上の方法のステップまたは方法全体が複数または並列の汎用コンピュータのいたる所で実施される場合、この図の汎用コンピュータは、これらの複数の汎用コンピュータの各々を表すことが意図される。さらに、1つ以上のハードウェアプロセッサは、仮想化されたまたは共用のコンピューティング環境をサポートする際に利用することができる。仮想化されたコンピューティング環境は、コンピュータ、サーバ、または他のコンピューティングデバイスを表す1つ以上の仮想マシンをサポートすることができる。そのような仮想化された仮想マシンでは、ハードウェアプロセッサおよびコンピュータ読取り可能記憶デバイスなどのハードウェア構成要素は、仮想化されるか、または論理的に表される場合がある。
【0081】
本開示は、ソフトウェアにおいて、および/または、たとえば、特定用途向け集積回路(ASIC)、フィールドプログラマブルゲートアレイ(FPGA)を含むプログラマブルロジックアレイ(PLA)、もしくはハードウェアデバイス上に展開される状態機械、汎用コンピュータ、もしくは任意の他のハードウェア均等物を使用して、ソフトウェアとハードウェアの組み合わせで実施することができ、たとえば、上で論じた方法に関連するコンピュータ読取り可能命令は、上で開示された方法のステップ、機能、および/または動作を実行するようにハードウェアプロセッサを構成するために使用することができることに留意されたい。一実施形態では、距離を計算するための本モジュールまたはプロセス1105のための命令およびデータ(たとえば、コンピュータ実行可能命令を含むソフトウェアプログラム)は、メモリ1104にロードされ、例示的な方法1000と併せて上に論じたステップ、機能、または動作を実施するためにハードウェアプロセッサ要素1102によって実行されることが可能である。さらに、ハードウェアプロセッサが「動作」を実行するために命令を実行するとき、このハードウェアプロセッサは、動作を直接実行し、および/または、容易にし、指示を出し、または動作を実行するために別のハードウェアデバイスもしくは構成要素(たとえば、コプロセッサなど)と協働する、ハードウェアプロセッサを含むことができる。
【0082】
上に説明した方法に関するコンピュータ読取り可能命令またはソフトウェア命令を実行するプロセッサは、プログラムされたプロセッサまたは特殊なプロセッサと考えることができる。したがって、本開示の距離を計算するための本モジュール1105(関連のデータ構造を含む)は、揮発性メモリ、非揮発性メモリ、ROMメモリ、RAMメモリ、磁気ドライブまたは光学ドライブ、デバイスまたはディスケットなどの有形のまたは物理的な(広くは、非一時的な)コンピュータ読取り可能記憶デバイスまたは媒体に記憶することができる。より具体的には、コンピュータ読取り可能記憶デバイスは、プロセッサ、またはコンピュータもしくはアプリケーションサーバなどのコンピューティングデバイスによってアクセスされるデータおよび/または命令などの情報を記憶する機能を提供する任意の物理的なデバイスを含むことができる。
【0083】
様々な実施形態を上に説明してきたが、これらの実施形態は例のみによって提示され、限定はされないことを理解されたい。したがって、好ましい実施形態の広さおよび範囲は、上に説明した例示的な実施形態のいずれかによって限定されるべきではなく、むしろ、次の特許請求の範囲およびそれらの均等物によってのみ定義されるべきである。