(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2024-10-10
(45)【発行日】2024-10-21
(54)【発明の名称】プログラム可能ライトカーテン
(51)【国際特許分類】
G01B 11/25 20060101AFI20241011BHJP
G06T 1/00 20060101ALI20241011BHJP
【FI】
G01B11/25 H
G06T1/00 400M
(21)【出願番号】P 2020550649
(86)(22)【出願日】2019-03-11
(86)【国際出願番号】 US2019021569
(87)【国際公開番号】W WO2019182784
(87)【国際公開日】2019-09-26
【審査請求日】2021-09-27
【審判番号】
【審判請求日】2023-06-21
(32)【優先日】2018-03-23
(33)【優先権主張国・地域又は機関】US
(73)【特許権者】
【識別番号】504337958
【氏名又は名称】カーネギー メロン ユニバーシティ
(74)【代理人】
【識別番号】110001173
【氏名又は名称】弁理士法人川口國際特許事務所
(72)【発明者】
【氏名】ナラシンハン,スリニバサ
(72)【発明者】
【氏名】ワン,ジーアン
(72)【発明者】
【氏名】サンカラナラヤナン,アスウィン・シー
(72)【発明者】
【氏名】バルテルス,ジョーセフ
(72)【発明者】
【氏名】ウィテカー,ウィリアム
【合議体】
【審判長】濱野 隆
【審判官】濱本 禎広
【審判官】田辺 正樹
(56)【参考文献】
【文献】国際公開第2016/131036(WO,A1)
【文献】特開2016-91006(JP,A)
【文献】特開平8-159756(JP,A)
【文献】特開2010-203864(JP,A)
【文献】特開平11-132713(JP,A)
(58)【調査した分野】(Int.Cl.,DB名)
G01B 11/00-11/30
G01C 3/00-3/32
G01S 7/48-7/51
G01S 17/00-17/95
G01V 8/10-8/26
(57)【特許請求の範囲】
【請求項1】
照明平面を画定する光のラインを作り出すための光源、
感知平面における光のラインを感知するためのラインセンサーであって、感知される光のラインが照明平面と感知平面の交差によって画定される、ラインセンサー、
プロセッサー、
プロセッサーによって実行されるソフトウェアであって、
交差がライトカーテンを画定する事前定義された経路を追従するように、照明平面および感知平面を同期して操縦し、
ライトカーテン上の個別の位置において光源のオンおよびオフを循環させ、
ライトカーテンにぶつかるオブジェクトの存在を示す、ラインセンサーによって検出された光の変化を検出するために光源のオンおよびオフが循環される際にラインセンサーを読み出す
機能を実施するためのソフトウェア
を備える、システム。
【請求項2】
光源が、
レーザーダイオードと、
コリメーションレンズと、
パウエル型レンズと
を備え、第1の操縦可能ミラーに当たる前に、レーザーダイオードによって放射された光がパウエル型レンズによって光のラインに形成される、請求項1に記載のシステム。
【請求項3】
ラインセンサーが、ピクセルの単一のラインを感知することができるレンズおよびセンサーを備える、請求項1に記載のシステム。
【請求項4】
ソフトウェアが、
ライトカーテンと交差するオブジェクトの存在を示す、ラインセンサーによって検出された光の変化を検出する
さらなる機能を実施する、請求項1に記載のシステム。
【請求項5】
ソフトウェアが、
変化を検出すると、オフユニットにアラートを通信する
さらなる機能を実施する、請求項4に記載のシステム。
【請求項6】
照明平面および感知平面が平行軸の周りを回転される、請求項1に記載のシステム。
【請求項7】
照明平面および感知平面が2つの軸上を回転される、請求項1に記載のシステム。
【請求項8】
照明平面および感知平面が2つの点上を回転される、請求項1に記載のシステム。
【請求項9】
ラインセンサーが連続波飛行時間センサーである、請求項1に記載のシステム。
【請求項10】
照明平面および感知平面が操縦可能ガルボミラーによって操縦される、請求項1に記載のシステム。
【請求項11】
照明平面および感知平面が機械的電動機によって操縦される、請求項1に記載のシステム。
【請求項12】
ラインセンサーがローリングシャッターまたは関心領域マスクを有する2Dセンサーである、請求項1に記載のシステム。
【請求項13】
ライン光源を第1の事前定義された経路上で前後に連続的に掃引することによって照明平面を作り出すことと、
ラインセンサーを第2の事前定義された経路上で前後に掃引することによって感知平面を作り出すことと、
照明平面および感知平面の交差を画定するラインが所望の形状のライトカーテンを作り出すように、第1の事前定義された経路および第2の事前定義された経路を同期させることと
を含む、方法。
【請求項14】
光源のオンおよびオフを循環させることと、
光源のオンおよびオフが循環される際にラインセンサーを読み出すことと
をさらに含む、請求項13に記載の方法。
【請求項15】
ライトカーテンと交差するオブジェクトの存在を示す、ラインセンサーによって検出された光の変化を検出すること
をさらに含む、請求項14に記載の方法。
【請求項16】
照明平面および感知平面が平行軸の周りを回転される、請求項13に記載の方法。
【請求項17】
照明平面および感知平面が2つの軸上を回転される、請求項13に記載の方法。
【請求項18】
照明平面および感知平面が2つの点上を回転される、請求項13に記載の
方法。
【請求項19】
プロセッサーによって実行されると、
ライン光源を第1の事前定義された経路上で前後に連続的に掃引することによって照明平面を作り出し、
ラインセンサーを第2の事前定義された経路上で前後に掃引することによって感知平面を作り出し、
照明平面および感知平面の交差を画定するラインが所望の形状のライトカーテンを作り出すように、第1の事前定義された経路および第2の事前定義された経路を同期させる
ステップを実施する命令を収容する、非一時的コンピュータ可読記憶媒体。
【請求項20】
プロセッサーによって実行されると、
光源のオンおよびオフを循環させ、
光源のオンおよびオフが循環される際にラインセンサーを読み出す
ステップを実施するさらなる命令を収容する、請求項19に記載のコンピュータ可読記憶媒体。
【請求項21】
プロセッサーによって実行されると、
ライトカーテンと交差するオブジェクトの存在を示す、ラインセンサーによって検出された光の変化を検出する
ステップを実施するさらなる命令を収容する、請求項19に記載のコンピュータ可読記憶媒体。
【請求項22】
プロセッサーによって実行されると、
変化を検出すると、オフユニットにアラートを通信する
ステップを実施するさらなる命令を収容する、請求項19に記載のコンピュータ可読記憶媒体。
【請求項23】
プロセッサーによって実行されると、
ライトカーテン中の同じラインを二度、一度は光源による照明を伴い、一度は伴わず、読み出し、読値を引き算することにより、ラインセンサーによって感知された光から周辺光をフィルターする
ステップを実施するさらなる命令を収容する、請求項20に記載のコンピュータ可読記憶媒体。
【発明の詳細な説明】
【背景技術】
【0001】
本出願は、その全体が本明細書に組み込まれる、2018年3月23日に出願した米国仮特許出願第62/761,479号の利益を主張するものである。
【0002】
政府利害関係
本発明は、NSFによって授与されたCNS1446601、ONRによって授与されたN000141512358、ONRによって授与されたN000141612906、DOTによって授与されたDTRT13GUTC26およびDARPAによって授与されたHR00111620021の下における政府支援でなされたものである。政府は、本発明における特定の権利を有する。
【0003】
3Dセンサーは、現場ロボットおよび自動運転自動車を含む多くの自律システムの配備において重要な役割を果たす。しかしながら十分に発達した3Dスキャナーを必ずしも使用しなくてもよい多くのタスクが存在する。例として、道路上の自己誘導車両または現場のロボットには、潜在的な衝突を検出し、あるいはそのブラインドスポットを監視するための十分に発達した3D深度センサーは不要である。その代わりに、衝突回避を可能にするために、車両は、何らかのオブジェクトが車両の事前定義されたペリメータ内に来るかどうかを検出できることが必要である。これは、全深度走査およびオブジェクト識別よりもはるかに容易なタスクである。
【0004】
ダイナミック地形(dynamic terrain)を動き回るロボットを考察する。長期経路計画のためには全3D知覚が重要であるが、障害物検出および回避のような緊急を要するタスクのためには、全3D知覚は大して役に立たない。同様に、自律運転では、衝突回避は、連続的に実施されなければならないが、場面の全3D知覚を必要としないタスクである。このようなタスクの場合、エネルギーおよび計算のフットプリントが大いに低減された近接センサーで十分であり得る。
【発明の概要】
【課題を解決するための手段】
【0005】
この概要は、本明細書において説明されるいくつかの新規な実施形態についての基本的な理解を提供するために、簡略化された概要を提示する。この概要は広範囲にわたる概説ではなく、また、鍵となる/重要な要素を識別すること、あるいはその範囲を詳細に記述することは意図されない。いくつかの概念は、後で提示されるより詳細な説明に対する前置きとして、簡略化された形態で提示される。
【0006】
様々な実施形態は、一般に、デバイスであって、デバイスの近くの仮想シェルを通過する、または仮想シェルにぶつかるオブジェクトの存在を監視する、本明細書においては「ライトカーテン」と呼ばれるデバイスを対象とする。ライトカーテンは、障害物回避および運行のための近接認識のための、軽量で、資源効率的なプログラム可能手法を提供する。また、これらのライトカーテンは、霧中での可視性、ならびにライトフォール-オフにおける取扱いの柔軟性を改善する観点から追加利益を有する。
【0007】
一実施形態では、ライトカーテンは、ラインセンサーおよびラインレーザーを同期して迅速に回転させることによって作り出される。この実施形態は、日光中で20-30m(曇り空の下で40m、また、室内で50m)の範囲の様々な形状のライトカーテンを生成することができ、また、タスクの要求に動的に適合する。
【0008】
一実施形態では、ライトカーテンは、ラインセンサーの感知平面を使用して、レーザーを扇形に広げることによって作り出される照明平面を三角測量することによって実装され得る。周囲照明がない場合、センサーは、これらの2つの平面の間の、物理世界ではラインである交差からの光のみを感知する。ライトカーテンは、次に、照明を掃引し、平面を同期して感知することによって作り出される。
【0009】
別の実施形態では、ライトカーテンは、自動運転車両のためのレーンにぶつかる車両の検出のためなどの、特定のペリメータに沿ったオブジェクトの検出を可能にするプログラム可能形状を有することができる。
【0010】
さらに別の実施形態では、相関に基づく飛行時間(ToF)センサーを使用することによってライトカーテンの能力が強化され得る。
【0011】
ライトカーテンは、システムの周りの仮想シェルと交差するオブジェクトの存在を検出することができる。仮想シェルと交差するオブジェクトのみを検出することにより、計算のオーバーヘッドがないか、あるいはごくわずかな計算のオーバーヘッドで、衝突回避および状況認識に関係する多くのタスクが解決され得る。
【0012】
ライトカーテンは、自律デバイスに対する計り知れない利益を有する、近接感知および衝突回避のための新規な手法を提供する。ライトカーテンの形状は、オンザフライで変更されてもよく、また、ライトカーテンの形状が使用されて、とりわけ強い周辺光(日光のような)ならびに全体照明(global illumination)(霧のような)の下でより良好な検出が提供され得る。
【0013】
本発明の詳細な説明は、添付の図と併せて読むことによってより良好に理解されよう。本発明を例証するために、図面には好ましい実施形態が示される。しかしながら本発明は、これらの実施形態または示される厳密な配置に限定されないことを理解されたい。
【図面の簡単な説明】
【0014】
【
図1】ライトカーテンデバイスの構成要素の概略図である。
【
図2】ライトプロジェクター、センサーの交差する平面、および、例えば平面の交差するラインを所望の形状で移動させるなど、プロジェクターおよびセンサーを同期走査することによるライトカーテンの形成を示す図である。
【
図4】(a)レーザー光平面およびセンサー平面を平行軸rの周りに回転させることによって生成されるライトカーテンの照明ジオメトリの図と;(b)様々なパラメータを示す座標フレームの図と;(c)座標系の上面図とを示す図である。
【
図6】ライトカーテンの2つの用途を示す。
図6(a)は傾斜した平面の近接アークおよび経路チェックのために使用されるライトカーテンを示す。
図6(b)は、近づきつつある交通、隣接する交通および隣接する敷設のチェックを感知する、自動運転車両におけるライトカーテンの用途を示す。
【
図7】(a‐d)は、センサーおよびレーザーが軸の周りおよび点の周りを回転する際に結果として生じるライトカーテンの例証である。
【発明を実施するための形態】
【0015】
以下、本発明が詳細に説明される。様々な構成要素または構成要素の配置を使用した実装を含む、本発明の説明に使用される実装は、単なる例示的なものと見なされるべきであり、それらは本発明を限定することを何ら意味していない。当業者が気づくように、本明細書において論じられる実装に対する、本発明の範囲の範疇である多くの変形形態が可能である。したがって本明細書において開示される例示的方法および装置は、本発明に対する限定として解釈されるべきではなく、本発明の例証として解釈されるべきである。
【0016】
一実施形態では、デバイスは、
図1の上面図で示されるように、ライン走査レーザー(照明モジュール100)およびライン走査センサー(センサーモジュール120)から成る。一実施形態では、レーザーダイオード102を使用する照明モジュール100は光源である。一実施形態では、レーザーダイオード102は、例えばピーク出力が700mWの638nmレーザーダイオードであってもよい。レーザーダイオード102から放射された光は、コリメーションレンズ104を使用してコリメートされる。光は、いくつかの実施形態では45°パウエルレンズであってもよいラインレンズ106を使用して引き伸ばされてラインにされる。
【0017】
光ビームの方向を操縦するために、操縦可能ガルボミラー108が使用される。好ましい実施形態では、ガルボミラーは11mm×7mmの寸法を有しており、また、22.5°の機械角を有しており、センサーおよびレーザーに45°の視野を与えることができる。ガルボミラー108は、2°の光学角度を回転するのに500μsを要する。センサー、レーザーおよびガルボミラー108、126を同期させるためにマイクロコントローラが使用される。好ましい実施形態では、照明モジュール100のために使用されるガルボミラー108、およびセンサーモジュール120のために使用されるガルボミラー126は、全く同じものである。代替実施形態では、機械的電動機を使用して光ビームおよびセンサーのが操縦され得る。さらに他の実施形態では、ローリングシャッターまたは関心領域(region of interest)マスクを有する2Dセンサーを使用して、より速いラインセンサーが効果的にエミュレートされ得る。
【0018】
センサーモジュール120は、ラインセンサー122、レンズ124および操縦可能ガルボミラー126を備える。一実施形態では、ラインセンサー122はライン走査強度センサーである。一実施形態では、ライン走査強度センサーは、45°の対角線視野および直径7mmのイメージサークルを有する6mmf/2 S-マウントレンズである。ラインセンサーは、ピクセルサイズが約7μm×7μmの合計2048×2個のピクセルを有することができる。好ましい実施形態では、限定されたレンズの照明のサークルのため、センサーの中央の1000個のピクセルしか使用されない。好ましくは、ライン走査センサーは、毎秒95,000ラインを走査することができ、また、周辺光を抑制する、630nmの中心波長と50nmの帯域幅を有する光帯域通過フィルターを装着する。
【0019】
好ましい実施形態では、回転軸は平行になるように整列され、また、300mmのベースラインで固定される。結果として生じるシステムの視野は約45°×45°である。
【0020】
パウエルレンズ106は、レーザービームを扇形に広げて光の平らなシートにし、また、ラインセンサー122は単一の平面からの光を感知する。一般的な構成では、2つの平面は、
図2に示されるように3Dにおけるラインで交差し、また、周辺の間接的な照明がない場合、ラインセンサー122は、ライン上の何らかのオブジェクトによって散乱される光を測定する。ラインセンサー122およびレーザー102の両方を高速で回転させることにより、交差するラインが掃引されて任意の線織曲面が形成され得る。オブジェクトの存在が検出され得るこの線織曲面がライトカーテンである。結果として生じるデバイスは、そのライトカーテン形状の観点からプログラム可能であり、また、用途の要求に合わせてレーザー出力およびセンサー露光時間を変えることができるという観点から柔軟である。
【0021】
図4(a)は、レーザー光平面およびセンサー平面を平行軸rの周りに回転させることによって生成されるライトカーテンの照明ジオメトリの図を示したものである。交差ラインは、
図4(b)に示されるように、2つの回転軸に対して同じく平行である。
図4(b)の座標フレームおよび
図4(c)の上面図は、関心のある様々なパラメータを示したものである。θ
cおよびθ
pを同期して変更することは、異なる形状を有するライトカーテンを生成することに留意されたい。
図4(c)および
図5は、有限サイズのセンサーピクセルおよび有限厚さのレーザーシートが、三角測量すると厚いライトカーテンにつながることを示したものである。
【0022】
強い周辺光、例えば日光中で動作されると、センサー122は、場面全体を照明する周辺光からの寄与を同じく測定する。これを抑制するために、ガルボの設定毎に2つの画像キャプチャ、1つはレーザー102からの照明がある画像キャプチャ、1つはレーザー102からの照明がない画像キャプチャがセンサー122で実施され、それぞれの露光は100μsである。画像は、次に、周辺光をフィルター除去するために差し引かれ得る。
【0023】
一実施形態では、ガルボミラー108、122は、回転後の安定化のための時間を要し得る。安定化時間は、ミラーがラインをキャプチャするのに十分に安定になるまでの500μs程度であり得る。これは、デバイスの全体のフレーム-レートを制限する。周辺光をフィルター除去するためのレーザーオンおよびオフのための2つの100μs露光を追加することが、毎秒1400ラインの表示を可能にする。ライトカーテンが200ラインを収容するように設計される場合、5.6fpsのレートでライトカーテン全体がリフレッシュされ得る。500μsより短い時間で安定化するガルボミラーは、20から30fpsに達するカーテンリフレッシュレートを可能にする。
【0024】
平行回転軸を有するライトカーテン-
図4に示されるようにセンサーおよびレーザーがそれぞれ単一の固定平行軸の周りを回転され得る場合は、ラインセンサーおよびレーザーの前方に各1個の2つの1Dガルボミラーを置くことによって実装され得る。センサーおよびレーザーの回転軸をrとする。カーテン中の交差するラインは同じく平行になり:
【数1】
の形式であり、ここでp
0はライン上の任意の3D点であり、u∈(-α,α)は回転軸に沿ったオフセットである(
図4(a、b)を参照されたい)。次に:
【数2】
になるように交差ラインを掃引することによってライトカーテン
【数3】
が得られ、ここで
【数4】
は、ラインセンサー上の中心ピクセルによって走査される点を記述する3D経路であり、また、t∈[0,1]は経路のパラメータ化である。
【0025】
ライトカーテンs(t,u)が与えられると、センサーおよびレーザーの回転角が計算され得る。一般性を失うことなく、座標系の原点は、ラインセンサーおよびレーザーの中心間の中間点に存在することが仮定される。回転軸はy軸に沿って整列されること、また、3D経路は、p(t)=[x(t),0,z(t)]
Tとして書かれ得ることがさらに仮定される。このライトカーテンを達成するために、レーザーはθ
p(t)の角プロファイルでその軸の周りを回転し、角度はx軸に対して反時計方向に測定されると想定する。同様に、ラインセンサーはθ
c(t)の角プロファイルで回転する。bを、レーザーとラインセンサーの間のベースラインとする。θ
c(t)およびθ
p(t)は:
【数5】
として導かれ得る。
【0026】
一般ライトカーテン-ライトカーテンデバイスは、非平行軸上を回転するラインセンサー122およびレーザー102を使用して、あるいは全回転自由度を享受してそれぞれ回転するラインセンサー122およびレーザー102を使用して同じく構成され得る。これらの構成は、それぞれユニークな利点を有する。デバイスが全回転自由を有する、すなわち拘束なく点の周りを回転することができるとき、任意の線織曲面(例えばメービウスの帯を含む)がライトカーテンとして生成され得る。しかしながら全回転自由は、多軸ガルボまたはジンバルが必要であり、また、しばしば法外な費用がかかるため、実装が困難である。
【0027】
2つの軸上の回転-ラインセンサーおよびラインレーザーがそれぞれ2つの軸l
cおよびl
p上を回転するとき、3D経路
【数6】
が与えられると、生成される線織曲面が決定され得る。表面中の個々のラインは、
【数7】
を通らなければならないだけでなく、それと同時にl
cおよびl
pに対する同一平面になければならない。生成されるライトカーテン
【数8】
のパラメータ形式は:
【数9】
として書かれることが可能であり、ここでuはスカラーであり、また、
【数10】
は、以下で一般条件から解析されるラインの方向である。
【0028】
図7(a、b、c)は、センサー122およびレーザー102の各々が軸の周りを回転する際に結果として生じるライトカーテンの例証である。
図7(d)は、センサー122およびレーザー102が点の周りを回転する際に結果として生じるライトカーテンの例証である。
図7(a)に示されるようにl
c∥l
pであるとき、ライトカーテン中のラインは、l
cまたはl
pに対して同じく平行でなければならず、したがってr(t)は一定の値であり、l
cの方向に存在する。
図7(b)に示されるようにl
cおよびl
pが一点で交差するとき、ライトカーテン中のラインは同じくAを通らなければならず、したがって:
【数11】
である。
【0029】
図7(c)に示されるようにl
cおよびl
pが同一平面にないとき、r(t)は以下のように導かれ得る。l
pがA(t)で平面
【数12】
と交差する場合、ラインはA(t)を同じく通過しなければならず、したがって:
【数13】
である。
【0030】
交差が存在しない場合、lpはこの平面に対して平行であり、r(t)はlpの方向に存在しなければならないことを意味する。
【0031】
3D経路p(t)が与えられると、ラインセンサーおよびラインレーザーの回転角が以下のように計算され得る。一般性を失うことなく、座標系の原点は、ラインセンサー122およびラインレーザー102の中心間の中間点に存在することを仮定する。2つの中心間の距離はbであり、また、l
cおよびl
pの方向は、それぞれ
【数14】
である。与えられた3D経路はy=0平面に存在し、p(t)=[x(t),0,z(t)]
Tとして書かれ得る。xy平面に対して反時計方向に測定されるセンサー122の回転角は:
【数15】
であり、また、レーザー102の回転角も同様である。それらは:
【数16】
である。
【0032】
l
cおよびl
pが同一平面にあるとき、式が簡略化され得る。一般性を失うことなく、両方がxy平面ににおいて同一平面にあり、また、両方がy軸に対して±γであると仮定すると、
【数17】
であり、l
c∥l
p、γ=0であるとき、これは:
【数18】
としてさらに簡略化され得る。
【0033】
2つの点上の回転-ラインセンサー122およびラインレーザー102がそれぞれ2つの点上で回転することができるとき(全回転自由度)、任意の線織曲面が生成され得る。
図7(d)は、例としてメービウスの帯を示したものである。証明は自明であるが、線織曲面中の任意のラインおよび回転中心が平面を形成し、それがラインセンサー122またはラインレーザー102の回転を決定することになる。
【0034】
ライトカーテンの最適化-実際的なライトカーテンにおける関心のあるパラメータは定量化されることが可能であり、例えばライトカーテンの厚さおよび測定された検出のSNR、ならびにライトカーテンを最適化する手法が本明細書において提示される。とりわけ関心のあるのは、カーテンの厚さの最小化、ならびにカーテンが広い深度範囲に及ぶときに、検出精度を改善するための露光時間およびレーザー出力を最適化することである。
【0035】
ライトカーテンの厚さ-本明細書において説明されるデバイスによって作られるライトカーテンは、センサーピクセルの有限サイズおよびレーザー照明の有限厚さのため、有限厚さを有する。レーザースポットはΔ
Lメートルの厚さを有し、また、個々のピクセルはδ
cラジアンの角範囲を有すると想定する。長さbメートルのベースラインを有するデバイスが与えられると、深度z(t)=zの点を画像化すると、ライトカーテンの厚さは、
図4(c)および
図5において陰が施された平行四辺形の面積として与えられ、これは:
【数19】
に対して評価し、ここでr
cおよびr
pは、それぞれ、交わった点とセンサーおよびレーザーとの間の距離である。
【0036】
異なるライトカーテンジオメトリが同じ面積のカーテンを作ることができる場合、厚さを特徴付けるためのより直感的で、意味のあるメトリックは長さ:
【数20】
である。
【0037】
任意の所与のシステムでは、レーザー厚さΔLを変更することは照明モジュールの光学の変更を必要とする。同様に、δcを変更することは、ピクセルピッチまたはセンサーの視野のどちらかの変更を必要とする。それとは対照的に、ベースラインを変えることは、単一の並進を伴う、カーテンの厚さを変更するためのより容易な代替を提供する。異なる用途は、カーテンの厚さに関して異なる必要性を有することがしばしばであるため、これは重要である。より長いベースラインは、極めて薄いカーテンの達成を助け、これは、誤ったアラームを回避するための重大な必要性が存在する場合に重要である。他方では、より短いベースラインを有することによって達成され得る厚いカーテンは、誤検出を回避することが重大であるシナリオにおいて重要である。さらに、十分に厚いカーテンは、固有の離散性により引き起こされる誤検出の回避を同じく助ける。
【0038】
近傍のライトカーテンのための厚さおよびエネルギーの最小化-ライトカーテンが遠くにあるとき、最も長い可能ベースラインが使用されて、不確実性を最小化してもよく、また、デバイスがどのように構成されても、消費されるエネルギーは同程度である。しかしながらライトカーテンが近傍に存在する場合、最良の構成は自明ではない。
【0039】
カーテン形状がxz平面p(τ)に与えられると、三角測量によって厚さを最小化する最適化問題は、以下:
【数21】
のように形式化され得る。ここでr
c(τ)およびr
p(τ)は、それぞれ、p(τ)からセンサー回転中心[C,0,0]およびレーザー回転中心[P,0,0]までの距離であり、また、z(τ)はp(τ)の深度であり、また、
【数22】
は、センサーおよびレーザーの回転中心が位置し得る範囲である。簡潔にするために、xz平面におけるライトカーテンの断面のみを考察する。
【0040】
目的がエネルギーを最小化することであるとき、問題は、
【数23】
になる。
【0041】
目的が、
【数24】
および
【数25】
のように、1つのサブジェクトを何らかの値より小さい他のサブジェクトに対して最小化することであるとき、最適化結果を予測することは困難である。
【0042】
レーザー出力および露光の適合-ライトカーテンデバイスの鍵となる利点は、深度の二乗に反比例する光フォール-オフを補償するために、交差するライン毎にレーザーの出力または露光時間が適合され得ることである。従来のプロジェクター-センサーシステムでは、光フォール-オフを補償するために投影の輝度を増加することは当たり前であり、したがって遠くの場面点が良好に照明され得る。しかしながらこれは、センサーに近い点が容易に飽和することを暗に意味することになる。これは、近傍の場面に強い光を送る必要性のため、高いダイナミックレンジのセンサならびに、低減した資源効率の必要性を、さらに暗に意味することになる。
【0043】
それとは対照的に、本発明のシステムは追加自由度を有しており、デバイス制約の下で、また、眼の安全性に関して、可能な程度まで光フォール-オフが補償されるよう、深度に応じてレーザーの出力および/またはセンサーの露光時間が調整され得る。さらに、システムは、オブジェクトが存在するか、あるいは存在しないかしか検出しないため、アルベドがあらゆる所で同じである理想シナリオでは、レーザーは、センサーの読出し雑音または周辺光の光子雑音を克服するだけの少量の光を送ることができ、要求されるのは1ビットセンサーのみである。
【0044】
飛行時間センサーとの結合-上記解析は、ライトカーテンは、二次式的に深度がより厚くなることが期待され得ることを同じく示す。センサーサイズ、レーザースポット厚さならびにベースラインに対する物理的制約のため、ベースラインを増加すること、およびシステムの他のパラメータは、この効果を部分的に軽減することしかできない。ライン強度センサーを、1D連続波飛行時間(CW-TOF)センサーで置換えることは、深度の厚さの二次式的依存性を軽減する。
【0045】
CW-TOFセンサーは、深度を得るために位相を測定する。CW-TOFセンサーは、振幅変調波(典型的には周波数f
mHzの周期信号)を使用して場面を照明することによって機能し、照明と個々のピクセルにおける光強度の間の位相を測定する。場面点の位相差φおよび深度dは:
【数26】
として関連付けられる。
【0046】
結果として、TOFセンサーの深度分解能は一定であり、また、深度に無関係である。さらに、深度分解能は、振幅波の周波数とともに増加する。しかしながらTOFに基づく深度リカバリは、mod(・)演算子の存在による位相ラッピング問題を有し、これは、深度推定は曖昧性の問題を有すること、また、この問題は、より高い周波数において、より悪くなることを暗に意味している。それとは対照的に、従来の三角測量に基づく深度推定は、曖昧性の問題を有さないが、二次式的深度不確実性を代償とする。
【0047】
従来の三角測量およびCW-TOFの相補的な強度は、広い範囲上でほぼ一定の厚さを有するライトカーテンを可能にするために活用され得る。三角測量および位相は、強度の通常の測定に加えて、位相を測定する(通常の相関に基づくToFと同様)ことによって融合される。
【0048】
カーテンの深度を知り、適切な位相が計算されて、著しく異なる位相値を有するピクセルを保持および放棄し得る。代替手法は、照明および感知における適切なコードを使用して、位相に基づく深度ゲーティングを実施することによってこれを達成する。三角測量を使用することが、三角測量の厚さが振幅波の波長より薄いことを条件として、位相に基づくゲーティングの深度曖昧性を自動的に排除する。これにより、広い深度範囲上でより薄いライトカーテンを作り出すことができる。
【0049】
透けて見える散乱媒体-従来の画像化では、センサーは、オブジェクトから反射された最初のバウンス光、ならびに多くの単一散乱光を受け取る。ライトカーテンにより、ラインセンサー102は単一散乱光を回避し、多重散乱光のみを受け取る。最初のバウンス光と全体光(global light)の間の比率ははるかに高く、したがってコントラストはより良好である。
【0050】
本明細書において説明されるライトカーテン方法およびデバイスは、多くの利益を有する。ライトカーテンの形状はプログラム可能であり、また、即時のタスクの要求に合わせて動的に構成され得る。例えばライトカーテンが使用されて、車両が前方のレーンを変更しているかどうか、横断歩道に歩行者がいるかどうか、あるいは隣のレーンに車両が存在しているかどうかが決定され得る。同様に、ロボットは、その計画された(さらには湾曲した)運動軌道を押し出すカーテンを使用することがあり得る。
図6(a、b)は、それぞれロボットおよび自動車に使用するための様々なライトカーテンを示したものである。
【0051】
平均レーザー出力、露光時間およびライトカーテンのリフレッシュレートの観点からエネルギーバジェットが与えられると、逆二乗の光フォール-オフに対抗するために、遠くに離れたカーテン中のラインに、より高い出力および露光が割り当てられ得る。これは、通常、全体積中の3D点クラウドをキャプチャするために同じ高出力をすべての方向に消費する従来の深度センサーに勝る著しい利点である。
【0052】
ライトカーテンの光学設計は、小さい領域が選択的に照明され、感知されるという
点で、共焦点画像化と類似点を共有する。霧および汚水などの散乱媒体中で画像化するとき、これは、多くの多重バウンス光路が光学的に回避され、増加したコントラストを伴う鮮明な画像を提供する暗黙の利点を有する。
【0053】
ライトカーテンの鍵となる利点は、照明および感知が薄い領域に集中され得ることである。これは、出力および露光適合性と相俟って、長い距離(すなわち20-30m)における直射日光を含む強い周囲照明の下で著しく良好な性能を提供する。性能は、曇り空の下、および室内でそれぞれ40mおよび50mまで増加する。
【0054】
任意の瞬間に、センサーは、小さい深度変動を有することがしばしばであり、したがって強度フォール-オフがほとんど変化しないライトカーテンの単一のラインのみをキャプチャする。したがって測定される輝度のダイナミックレンジを低くすることができる。したがってプログラム可能閾値を有する1ビットセンサーであっても、想定されるタスクのためには十分である。
【0055】
デバイスと共に使用するための多くのセンサータイプが利用可能である。強度センサー(CMOS、CCD、IuGaAs)、飛行時間(ToF)センサー(相関、SPAD)およびニューロモルフィックセンサー(DVS)を含む任意のラインセンサーが、説明されるデバイスと共に使用され得る。
【0056】
システムは、システムの機能を実装するソフトウェアを収容するメモリーと通信する1つまたは複数のマイクロプロセッサーの制御下で稼働され得る。ガルボミラー108、126の運動は、ライトカーテンの形状を画定するべくソフトウェアの制御下にある。ソフトウェアは、様々な形状のライトカーテンを画定することができるよう、構成可能であってもよい。さらに、ソフトウェアは、光源102の循環(cycling)ならびにラインセンサー122からのデータの読出しのタイミング、およびデータに対する何らかのフィルタリングの適用、例えば周辺光のフィルタリングを制御することができる。オブジェクトは、ライトカーテンを破壊し、ラインセンサー122によって感知されるピクセルのライン中の光に変化を引き起こすことによって検出され得る。ライトカーテンを破ったオブジェクトが検出されると、アラートが発せられ、また、オフユニット(off-unit)に通信され得る。
【0057】
本発明に関連する当業者には、本発明の多くの変更および適合が思い浮かぶことであろう。本明細書において開示される例示的方法および装置は、本発明に対する限定としてではなく、本発明の例証として解釈されるべきである。本発明の意図される範囲は、以下の特許請求の範囲によって定義される。