IP Force 特許公報掲載プロジェクト 2022.1.31 β版

知財求人 - 知財ポータルサイト「IP Force」

▶ バラジャ ピーティーワイ リミテッドの特許一覧

(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公表特許公報(A)
(11)【公表番号】
(43)【公表日】2023-03-15
(54)【発明の名称】適応型空間推定システム
(51)【国際特許分類】
   G01S 7/481 20060101AFI20230308BHJP
   G01S 17/42 20060101ALI20230308BHJP
   G01S 17/931 20200101ALI20230308BHJP
【FI】
G01S7/481 A
G01S17/42
G01S17/931
【審査請求】未請求
【予備審査請求】未請求
(21)【出願番号】P 2022539773
(86)(22)【出願日】2020-12-24
(85)【翻訳文提出日】2022-06-28
(86)【国際出願番号】 AU2020051438
(87)【国際公開番号】W WO2021138709
(87)【国際公開日】2021-07-15
(31)【優先権主張番号】2020900029
(32)【優先日】2020-01-07
(33)【優先権主張国・地域又は機関】AU
(81)【指定国・地域】
(71)【出願人】
【識別番号】518090546
【氏名又は名称】バラハ ピーティーワイ リミテッド
(74)【代理人】
【識別番号】110001461
【氏名又は名称】弁理士法人きさ特許商標事務所
(72)【発明者】
【氏名】プリッカセリル,シビー
(72)【発明者】
【氏名】ロア,アントン
(72)【発明者】
【氏名】ラム,スタンリー
【テーマコード(参考)】
5J084
【Fターム(参考)】
5J084AA05
5J084AA10
5J084AB01
5J084AB07
5J084AC02
5J084AD01
5J084BA04
5J084BA20
5J084BA22
5J084BA31
5J084BA50
5J084BB04
5J084BB07
5J084BB11
5J084BB31
5J084CA03
5J084DA01
5J084EA04
5J084EA22
(57)【要約】
光を環境内に指向するための方法及び装置、例えば、空間推定のために環境にわたって光を走査する光検出測距システムで使用するための方法と装置が記載されている。この方法及びシステムは、第1の走査で、ある角度分解能及び時間分解能で走査し、第2の走査で、異なる角度分解能及び異なる時間分解能(の一方又は両方)で走査することを含む。
【選択図】図16
【特許請求の範囲】
【請求項1】
視野にわたって動作可能な光検出測距システムにおいて光ビームを指向する方法であって、
前記光検出測距システムによって前記視野内に第1の角度分解能及び第1の時間分解能を達成するために、1つ以上の第1の光ビームをビームディレクタに供給するステップと、
環境から返された光を受光し、前記光検出測距システムによって、前記環境の特性を示す少なくとも1つの信号を生成するステップと、
前記視野内に第2の角度分解能及び第2の時間分解能を達成するために、1つ以上の第2の光ビームに関連する走査プロファイルの選択を受信し、選択された前記1つ以上の第2の光ビームを前記ビームディレクタに供給するステップと
を含み、
前記選択が前記少なくとも1つの信号に基づくものであり、前記視野の少なくとも一部にわたって、前記第2の角度分解能が前記第1の角度分解能と異なり、前記1つ以上の第2の光ビームが、前記視野の第1の部分内に前記第2の角度分解能を達成し、前記第1の部分とは異なる前記視野の第2の部分内にも第3の角度分解能を達成し、前記第3の角度分解能が前記第2の角度分解能と異なる、方法。
【請求項2】
視野にわたって動作可能な光検出測距システムにおいて光ビームを指向する方法であって、
前記光検出測距システムによって前記視野内に第1の角度分解能及び第1の時間分解能を達成するために、波長制御型光源によって、波長に基づいて環境に光を指向するように構成されたビームディレクタに、1つ以上の第1の光ビームを供給するステップと、
環境から返された光を受光し、前記光検出測距システムによって、前記環境の特性を示す少なくとも1つの信号を生成するステップと、
前記視野内に第2の角度分解能及び第2の時間分解能を達成するために、1つ以上の第2の光ビームに関連する走査プロファイルの選択を受信し、選択された前記1つ以上の第2の光ビームを前記ビームディレクタに供給するステップと
を含み、
前記選択が前記少なくとも1つの信号に基づくものであり、前記視野の少なくとも一部にわたって、前記第2の角度分解能が前記第1の角度分解能と異なり、前記1つ以上の第2の光ビームが、前記視野の第1の部分内に前記第2の角度分解能を達成し、前記第1の部分とは異なる前記視野の第2の部分内にも第3の角度分解能を達成し、前記第3の角度分解能が前記第2の角度分解能と異なる、方法。
【請求項3】
前記1つ以上の第1の光ビームが第1の波長チャネルセットを含み、前記1つ以上の第2の光ビームが前記第1の波長チャネルセットとは異なる第2の波長チャネルセットを含み、
前記1つ以上の第2の光ビームの後に1つ以上の第3の光ビームを前記ビームディレクタに供給するステップをさらに含み、
前記1つ以上の第3の光ビームが前記第1の波長チャネルセットを含む、請求項2に記載の方法。
【請求項4】
前記第1の光ビーム及び前記第2の光ビームが光パルスを含み、前記第1の光ビーム中の第1の波長範囲内の光パルスが、前記第2の光ビーム中の前記第1の波長範囲内の光パルスよりも多い、請求項2又は3に記載の方法。
【請求項5】
前記第1の光ビーム中の前記第1の波長範囲とは異なる第2の波長範囲内の光パルスが、前記第2の光ビーム中の前記第2の波長範囲内の光パルスよりも少ない、請求項4に記載の方法。
【請求項6】
前記第1の光ビーム及び前記第2の光ビームが同数の光パルスを含む、請求項5に記載の方法。
【請求項7】
前記第1の光ビーム及び前記第2の光ビームが光測距用信号を含み、
前記1つ以上の第1の光ビーム中の前記第1の波長範囲内の光測距用信号が、前記1つ以上の第2の光ビーム中の前記第1の波長範囲内の光測距用信号よりも多い、請求項2~6のいずれか一項に記載の方法。
【請求項8】
前記1つ以上の第1の光ビームが、前記光検出測距システムの第1の視野をもたらし、前記1つ以上の第2の光ビームが、前記第1の視野とは異なる、前記光検出測距システムの第2の視野をもたらす、請求項1~7のいずれか一項に記載の方法。
【請求項9】
前記1つ以上の第1の光ビームが、前記視野の第3の部分内に前記第1の角度分解能を達成し、また前記視野の第4の部分内に第4の角度分解能を達成し、前記第4の角度分解能が前記第1の角度分解能と異なり、前記視野の前記第4の部分が前記視野の前記第3の部分と異なる、請求項1~8のいずれか一項に記載の方法。
【請求項10】
前記第3の角度分解能が前記第4の角度分解能と同じである、請求項9に記載の方法。
【請求項11】
前記第3の角度分解能が前記第4の角度分解能と異なる、請求項9に記載の方法。
【請求項12】
前記視野の前記第1の部分が前記視野の前記第2の部分と同じ角度範囲をカバーし、前記視野の前記第2の部分が前記視野の前記第4の部分と同じ角度範囲をカバーする、請求項9~11のいずれか一項に記載の方法。
【請求項13】
前記1つ以上の第1の光ビームが、前記視野全体にわたって前記第1の角度分解能をもたらす、請求項1~12のいずれか一項に記載の方法。
【請求項14】
前記1つ以上の第1の光ビームが、前記視野全体にわたって実質的に一定の角度分解能をもたらす、請求項13に記載の方法。
【請求項15】
前記第2の時間分解能が前記第1の時間分解能と同じである、請求項1~14のいずれか一項に記載の方法。
【請求項16】
前記第2の時間分解能が前記第1の時間分解能と異なる、請求項1~14のいずれか一項に記載の方法。
【請求項17】
前記環境の特性を示す前記少なくとも1つの信号に基づいて前記視野内の水平線を特定するステップと、
特定された前記水平線に基づいて前記走査プロファイルを選択するステップと、をさらに含む、請求項1~16のいずれか一項に記載の方法。
【請求項18】
前記第2の角度分解能が前記第3の角度分解能よりも高く、
前記選択するプロセスが、前記特定された水平線の位置に前記第1の部分を有するとして前記走査プロファイルを決定するステップを含む、請求項17に記載の方法。
【請求項19】
前記走査プロファイルが、前記ビームディレクタ用の複数の異なる選択可能な走査プロファイルのうちの1つであり、
前記複数の異なる選択可能な走査プロファイルが、前記視野内の異なる特定可能な水平線に対応する異なる位置に、より高い角度分解能のエリアを含む、請求項17又は18に記載の方法。
【請求項20】
前記角度分解能が、前記視野内の第1の次元に関するものであり、選択された前記走査プロファイルが第1の走査プロファイルであり、
前記方法が、前記第1の次元及び前記第1の次元に直交する第2の次元にわたって走査反復を実行するステップをさらに含み、
前記走査反復内で、前記視野の第1の水平セクションが前記第1の走査プロファイルを使用し、前記視野の第2の水平セクションが第2の走査プロファイルを使用する、請求項1から19のいずれか一項に記載の方法。
【請求項21】
前記環境の特性を示す前記少なくとも1つの信号に基づいて、前記視野内の予測走行経路を決定するステップと、
決定された前記予測走行経路に基づいて前記走査プロファイルを選択するステップと、をさらに含む、請求項1~20のいずれか一項に記載の方法。
【請求項22】
請求項1~21のいずれか一項に記載の方法を実行するように構成された光検出測距システム。
【発明の詳細な説明】
【関連出願の相互参照】
【0001】
関連出願
本出願は、2019年1月7日出願のオーストラリア特許出願第2020900029号の優先権を主張するものである。
【0002】
本出願は、国際特許出願PCT/AU2016/050899号(国際公開第2017/054036A1号として公開)、国際特許出願PCT/AU2017/051395号(国際公開第2018/107237A1号として公開)、国際特許出願PCT/AU2018/050901号(国際公開第2019/036766A1号として公開)、及び国際特許出願PCT/AU2019/050437号(国際公開第2019/241825A1号として公開)に関するものであり、これらの各出願の内容全体を参照によって本開示に組み込むものとする。
【技術分野】
【0003】
開示の分野
本開示は、一般に、光ビームを指向するためのシステム及び方法に関する。特に、本開示は、2次元で光ビームを指向するためのシステム及び方法に関する。特定の実施形態は、例えば空間推定のために、深さ次元を有する環境に2次元にわたって光を指向することに関する。
【背景技術】
【0004】
開示の背景
光ビームの指向は、限定はしないが、空間推定目的のために環境に光が送られるLiDAR(光検出測距)用途を含むいくつかの使用法がある。3次元マッピングにおいては、次元のうちの1つは、光ビームの原点からの点の範囲に関連し、他の2つの次元は、光ビームがステアリングされる2次元空間(例えば、直交座標(x,y)又は極座標(θ,φ))に関連している。環境内の点の範囲は測定環境の1次変数を表す。他の2つの次元は、3次元マッピングシステムの視野にわたって延びている。
【0005】
LiDARシステムは、環境わたって1つ以上の光ビームを走査する。LiDARシステムの2つの重要な性能変数は、視野の走査を遂行するのに要するフレームレート又は時間(時間分解能)、及び視野にわたる、すなわち視野内のピクセルの解像度すなわち個数(点密度)を含む。視野にわたる、すなわち視野内の点密度は、角度分解能とも呼ばれる。フレームレート及び角度分解能は、1つ以上の制限要因によって相互に関連している。ある制限要因は、(範囲に影響を及ぼす)所与の出力パワーについて光増幅器が光パルス間で回復するのにかかる時間である。別の制限要因は、必要な視野である。これらの制限は、角度分解能と時間分解能との間のトレードオフを生じる。本明細書における「走査(scanning)」は、一般に、光ビームの指向の調整を指し、特記無き場合、本明細書における「走査する(scan)」とは、走査を完全に又は部分的に反復することを指す。走査は、調整中又は反復中のいずれか発光連続性を必ずしも要しない。また、走査は、調整又は反復中の光エネルギー及び波長などのいずれか一定の光学特性を必ずしも要しない。
【発明の概要】
【0006】
開示の概要
本開示は、例えば、空間推定のために環境にわたって光を走査する光検出測距システムにおいて、光を環境内に指向するための方法及び装置に関する。この方法及びシステムは、第1の走査で、ある角度分解能及び時間分解能で走査すること、及び、第2の走査で、異なる角度分解能及び時間分解能(一方又は両方)で走査すること、を含む。
【0007】
本開示の一態様において、光ビームを指向する方法が提供される。この方法は、光検出測距システムにおいて、波長に基づいて光ビームを指向するように構成されたビームディレクタに、
ビームディレクタが第1の方向セットに指向する第1の波長セットを含む1つ以上の第1の光ビームを供給し、続いて、
ビームディレクタが第1の方向セットとは異なる第2の方向セットに指向する、第1の波長セットとは異なる第2の波長セットを含む1つ以上の第2の光ビームを供給するステップを含む。
【0008】
本開示の別の態様において、光ビームを指向する方法が提供される。この方法は、光検出測距システムにおいて、波長に基づいて光ビームを指向するように構成されたビームディレクタに、
ビームディレクタが第1の方向セットに指向する第1のN個の波長のセットを含む1つ以上の第1の光ビームを供給し、続いて、
ビームディレクタが第2の方向セットに指向する第2のM個の波長のセットを含む1つ以上の第2の光ビーム(NはMと異なる)を供給するステップを含む。
【0009】
本開示の別の態様において、視野にわたって動作可能な光検出測距システムにおいて光ビームを指向する方法であって、
光検出測距システムによって視野内に第1の角度分解能及び第1の時間分解能を達成するために、波長に基づいて光を指向するように構成されたビームディレクタに、1つ以上の第1の光ビームを供給するステップと、
環境から返された光を受光し、受光された光を光検出測距システムによって分析するステップと、
視野内に第2の角度分解能及び第2の時間分解能を達成するために、受光された光の分析に基づいて1つ以上の第2の光ビームを選択し、選択された1つ以上の第2の光ビームをビームディレクタに供給するステップと
を含み、
視野の少なくとも一部にわたって、
第2の角度分解能が第1の角度分解能と異なる、
及び
第2の時間分解能が第1の角度分解能と異なる
の少なくとも一方である、方法が提供される。
【0010】
本開示の別の態様において、視野にわたって動作可能な光検出測距システムにおいて光ビームを指向する方法であって、
光検出測距システムによって視野内に第1の角度分解能及び第1の時間分解能を達成するために、波長制御型光源によって、波長に基づいて環境に光を指向するように構成されたビームディレクタに、1つ以上の第1の光ビームを供給するステップと、
環境から返された光を受光し、光検出測距システムによって、環境の特性を示す少なくとも1つの信号を生成するステップと、
視野内に第2の角度分解能及び第2の時間分解能を達成するために、1つ以上の第2の光ビームに関連する走査プロファイルの選択を受信し、選択された1つ以上の第2の光ビームをビームディレクタに供給するステップと
を含み、
この選択が少なくとも1つの信号に基づいており、視野の少なくとも一部にわたって、
第2の角度分解能が第1の角度分解能と異なる、
及び
第2の時間分解能が第1の角度分解能と異なる、
の少なくとも一方である、方法が提供される。
【0011】
本開示の別の態様において、視野にわたって動作可能な光検出測距システムにおいて光ビームを指向する方法が提供される。この方法は、
光検出測距システムによって視野内に第1の角度分解能及び第1の時間分解能を達成するために、1つ以上の第1の光ビームをビームディレクタに供給するステップと、
環境から返された光を受光し、光検出測距システムによって、環境の特性を示す少なくとも1つの信号を生成するステップと、
視野内に第2の角度分解能及び第2の時間分解能を達成するために、1つ以上の第2の光ビームに関連する走査プロファイルの選択を受信し、選択された1つ以上の第2の光ビームをビームディレクタに供給するステップと
を含み、
選択が少なくとも1つの信号に基づくものであり、視野の少なくとも一部にわたって、第2の角度分解能が第1の角度分解能と異なり、1つ以上の第2の光ビームが、視野の第1の部分内に第2の角度分解能を達成し、第1の部分とは異なる視野の第2の部分内にも第3の角度分解能を達成し、第3の角度分解能が第2の角度分解能と異なる。
【0012】
本開示の別の態様において、視野にわたって動作可能な光検出測距システムにおいて光ビームを指向する方法が提供される。この方法は、
光検出測距システムによって視野内に第1の角度分解能及び第1の時間分解能を達成するために、波長制御型光源によって、波長に基づいて環境に光を指向するように構成されたビームディレクタに、1つ以上の第1の光ビームを供給するステップと、
環境から返された光を受光し、光検出測距システムによって、環境の特性を示す少なくとも1つの信号を生成するステップと、
視野内に第2の角度分解能及び第2の時間分解能を達成するために、1つ以上の第2の光ビームに関連する走査プロファイルの選択を受信し、選択された1つ以上の第2の光ビームをビームディレクタに供給するステップと
を含み、
選択が少なくとも1つの信号に基づくものであり、視野の少なくとも一部にわたって、第2の角度分解能が第1の角度分解能と異なり、1つ以上の第2の光ビームが、視野の第1の部分内に第2の角度分解能を達成し、第1の部分とは異なる視野の第2の部分内にも第3の角度分解能を達成し、第3の角度分解能が第2の角度分解能と異なる。
【0013】
本開示の別の態様において、光検出測距システムにおいて光ビームを指向する方法が提供される。この方法は、
第1の1回以上走査反復セットにおいて、視野の第1の次元にわたる第1の角度分解能プロファイルで、第1の視野にわたって光を指向するステップと、
第2の1回以上走査反復セットにおいて、第1の次元にわたる第1の角度分解能プロファイルとは異なる第2の角度分解能プロファイルで、第1の視野にわたって光を指向するステップと
を含み、
第1の1回以上走査反復セットのフレームレート又は時間分解能が、第2の1回以上走査反復セットのフレームレート又は時間分解能と同じである。
【0014】
視野が、第1の次元に直交する第2の次元を備えてもよく、方法が、第1の1回以上走査反復セット及び第2の1回以上走査反復セットのために、第2の次元にわたって角度分解能プロファイルを維持又は変更するステップを備えてもよい。角度分解能が、第2の次元に沿って実質的に均一であってよく、又は、角度分解能が、圧縮された角度分解能の領域を含んでもよい。
【0015】
本開示の別の態様において、光検出測距システムにおいて光ビームを指向する方法が提供される。この方法は、
第1の1回以上走査反復セットにおいて、視野の第1の次元にわたる第1の角度分解能プロファイルで、第1の視野内で光を指向するステップと、
第2の1回以上走査反復セットにおいて、第1の次元にわたる第1の角度分解能プロファイルとは異なる第2の角度分解能プロファイルで、第1の視野内で光を指向するステップと
を含み、
第1の分解能プロファイルが、第1の次元にわたって実質的に均一な角度分解能を有し、第2の分解能プロファイルが、第1の次元にわたって均一な角度分解能を有しない。
【0016】
不均一な角度分解能は、視野内の第1の次元に沿って圧縮領域を含む場合もある。圧縮領域が、視野内の特定されたフォビエーション領域に対応することもある。第1の走査反復セット及び第2の走査反復セットの少なくとも一方は、第1の視野全体にわたって延在することもある。フレームレート又は時間分解能は、第1の走査反復セット及び第2の走査反復セットで同じであってもよい。
【0017】
上記の態様のいずれかのいくつかの実施形態において、静的な走査プロファイルセットが提供され、上述の角度分解能及び/又は時間分解能の変更をもたらすように利用可能な走査プロファイルから選択が行われる。走査プロファイルの静的セットは、空間推定に使用される唯一のプロファイルであってもよく、又は空間推定システムによって検出された推定環境に基づいて、静的セットに加えて追加の動的に形成された走査プロファイルが使用されてもよい。
【0018】
本開示のさらなる態様において、前の段落で説明した方法を実施するように構成された光ビーム指向のための装置が提供される。
【0019】
本開示のさらに別の態様において、前の段落で説明した方法を空間推定システムの処理ユニットに実行させる命令を含む非一時的コンピュータストレージが提供される。
【0020】
本開示のさらにまた別の態様及び前の段落で説明された態様のさらなる実施形態は、例として記載され、添付の図面を参照する、以下の説明から明らかになるであろう。
【図面の簡単な説明】
【0021】
図1】環境を空間的にプロファイリングするためのモジュールを示す図である。
図2A】光ビームディレクタの第1の実施形態を模式的に示す。
図2B】光ビームディレクタの第1の実施形態を模式的に示す。
図3A】光インタリーバの一構成を示す。
図3B】光インタリーバの別の構成を示す。
図4】アレイ状導波路回析格子の一例を示す。
図5】コリメート素子を備えるビームディレクタの第1の実施形態を示す。
図6】光ビームディレクタの第2の実施形態を模式的に示す。
図7】光ビームディレクタの第2の実施形態の一例を示す。
図8A】複数の回折素子を含む波長ステアリング素子の一例を示す。
図8B】複数の回折素子を含む波長ステアリング素子の別の例を示す。
図8C】複数の回折素子を含む波長ステアリング素子のさらに別の例を示す。
図9】環境の空間プロファイルの推定を容易にするためのシステムの別の構成を示す。
図10】空間プロファイリング装置の走査にフォビエーション走査パターンを適用するシステムの例を示す。
図11】本開示のいくつかの実施形態による、水平フォビエーション走査プロファイルの例を示すグラフである。
図12】本開示のいくつかの実施形態による、距離ベースのフォビエーション走査プロファイルの例を示すグラフである。
図13】本開示のいくつかの実施形態による、領域フォビエーション走査プロファイルの例を示すグラフである。
図14】本開示のいくつかの実施形態による、環境内の物体を検出する際の信頼度レベルの例を示す不確実性マップである。
図15】本開示のいくつかの実施形態によるフォビエーションのための強調領域を示す予測走行マップである。
図16】本開示のいくつかの実施形態による、空間プロファイリング装置の走査にフォビエーション走査パターンを適用するプロセスを示す。
図17】予め決められた走査プロファイルセットの例を示す。
図18】予め決められたセットに含まれ得る他の走査プロファイルを示す。
図19】2つの次元間の点密度のトレードオフを示す走査プロファイルの例を示す。
図20】予め決められた走査プロファイルセットから走査プロファイルを自動的に選択するプロセスの一例である。
図21】予め決められた走査プロファイルセットから走査プロファイルを自動的に選択するプロセスの別の例である。
図22】予め決められた走査プロファイルセットから走査プロファイルを自動的に選択するプロセスのさらに別の例である。
図23】予め決められた走査プロファイルセットから走査プロファイルをどのように直接選択するか示す例である。
図24】可変2D走査プロファイルを作成するプロセスの例を示す。
図25】可変2D走査プロファイルを作成するプロセスの別の例を示す。
図26】可変2D走査プロファイルの例を示す。
図27】空間プロファイリング装置のブロック図を示す。
【発明を実施するための形態】
【0022】
実施形態の詳細な説明
LiDARシステム内で、視野を変更/調整することで角度分解能及び時間分解能の一方又は両方が影響を受けることがある。例えば、LiDARシステムのいくつかの実施形態では、システムの視野(「第1の視野」)にわたって1回の走査が遂行され、より小さな視野(「第2の視野」)にわたって後続走査が遂行される場合がある。第2の視野は、第1の視野の一部である。他の実施形態では、第2の視野が第1の視野よりも大きい。第1の視野と第2の視野が重なっている場合もある。これらの実施形態のいずれにおいても、LiDARシステムは、さらなる後続走査の際に第1の視野にわたる走査に戻るように構成されてもよい。
【0023】
これに加え、又は、これとは別に、(例えば、第1の視野及び第2の視野が同じサイズの場合)点密度を変更することによって視野の一部の角度分解能及び時間分解能の一方又は両方が影響を受ける可能性がある。本願出願人の国際出願PCT/AU2016/050899号(国際公開第2017/054036A1号として公開)に記載されているような波長ステアリングが可能なLiDARシステムでは、光パルス又は他の光測距信号の数を走査ごとに変更することによって、及び/又は、より多くの(又は、より少ない)パルス又は測距信号が第1の1つ以上の波長範囲セット中にあり、より少ない(又は、より多い)パルス又は測距信号が第2の1つ以上の波長範囲セットの中にあるように(第2のセットにおける波長範囲(複数可)は、第1のセットにおける波長範囲(複数可)と異なる)、光パルス又は他の光測距信号の波長チャネルを構成することによって、点密度を変更できる。
【0024】
1つ以上の機械的ステアリング構成要素を備えるLiDARシステムでは、走査ごとに光パルス又は他の光測距信号の数を変更することによって、及び/又は、1つ以上の機械的ステアリング構成要素のステアリング速度を調整することによって、視野及び/又は点密度を変更できる。例えば、異なる方向に光を指向するために機械的ステアリング構成要素が回転する場合、回転速度の変化が、対応する変化を時間分解能にもたらす可能性があり、また、対応する変化を角度分解能にもたらすこともある。1つ以上の機械的ステアリング構成要素を備え、波長ベースのステアリング用に構成されたLiDARシステムでは、機械的構成要素と、波長ベースのステアリングに影響を及ぼす構成要素の一方又は両方が制御される場合がある。波長ベースのステアリング及び機械ベースのステアリングの両方を備えるLiDARシステムの例が、本願出願人の国際特許出願PCT/AU2017/051395号(国際公開第2018/107237A1号として公開)及び国際特許出願PCT/AU2019/050437号(国際公開第2019/241825A1号として公開)に記載されている。
【0025】
例えば、LiDARシステムのいくつかの実施形態において、第1のフレームレートと第1の点密度で1回の走査が遂行され、第2のフレームレートと第2の点密度で次の後続走査が遂行される場合がある。第2の点密度は第1の点密度よりも低くてもよく、第2のフレームレートは第1のフレームレート(より低い点密度によって少なくとも部分的に可能とされる)よりも高くてもよい。さらなる後続走査は、第1の点密度と第1のフレームレートで遂行される場合もある。
【0026】
別の例では、LiDARシステムのいくつかの実施形態において、1回の走査が、ある点密度分布、例えば視野にわたって実質的に均一な点密度、で遂行され、次いで、後続走査が、別の点密度分布、例えば同じ又は異なる視野にわたって不均一な点密度分布、例えば、視野の1つ以上のサブ領域内の点密度を比較的高くして、任意選択的にサブ領域(複数可)外側の点密度を低くした状態、で遂行されることがある。LiDARシステムは、さらなる後続走査において、元の(均一な)点密度分布を使用する走査に戻ってもよい。
【0027】
さらに別の例において、フレーム内の点の総数及び視野内の点の分布の両方を走査間で異なるように適合させることもある。
【0028】
いくつかの実施形態では、上記の例のうちの2つ以上を組み合わせる。
【0029】
本開示の実施形態は、時間分解能及び/又は角度分解能を効果的に制御するために、特定の特性を有するLiDARシステムを、例えば上述のように視野を調整するための制御システムとペアにできると認識している。この制御により、少なくとも特定の用途において、より効果的なLiDARシステムを提供できる。例えば、検出された高速移動(LiDARシステムに対して)している物体に関連して時間分解能を高める機能、及び/又は、検出された比較的離れた物体に関連して角度分解能を高める機能を備える自律走行車用LiDARシステムが使用される用途では、性能を向上させることができる。
【0030】
第2の視野の位置及び/又はサイズ及び/又は形状も適合させることができれば、いくつかの用途又は状況において、視野調整の利点はさらに向上される場合もある。例えば、高速移動する物体及び/又は遠方の物体が検出される場合、(例えば、物体外の領域と比べて増加させた点密度を物体内の領域に使用することによって)その物体に対してフォビエーションを行うシステムの機能が有利であってもよい。LiDARシステムにおいて、フォビエーションとは、異なる視野領域で、異なる時間分解能及び/又は異なる角度分解能を呈するように制御される機能を指す。点密度が変化するサブ領域の位置及び/又はサイズ及び/又は形状も適合させることができる場合、同様の利点がもたらされる場合もある。
【0031】
本開示は、少なくとも部分的に光ビームの波長に基づいて視野内の環境に光ビームを指向するビームディレクタを備えるLiDARシステムの実施形態に関する。例えば、上述の3次元マッピングでは、2次元空間(例えば、デカルト座標(x,y)又は極座標(θ,φ))の2つ次元のうちの少なくとも一方にわたって走査する。少なくとも1つの次元にわたる走査は、線形であっても非線形であってもよい。
【0032】
いくつかの実施形態において、ある次元にわたって走査を実施するビームディレクタの光学的構成要素(複数可)は、第1の視野から第2の視野までの視野にわたる制御を行うための機械的可動部品を含まない。また、いくつかの実施形態において、第1の視野から第2の視野への遷移に加え、フォビエーションを行うビームディレクタの光学的構成要素もまた機械的可動部品を含まない。例えば、関連の光学的構成要素は、ビーム方向に対して必要な制御を行うための走査ミラーを含まない。
【0033】
いくつかの実施形態において、ある次元にわたる走査を行うビームディレクタの光学的構成要素は、1つ以上の分散素子を含む。1つ以上の分散素子は、2つ以上の格子、プリズム、グリズム、及びアレイ状導波路格子のうちの1つ又は組合せから成る、又は、これらを含む、ことができる。分散素子は非移動性であってもよいし、視野調節及び/又はフォビエーションのために1つ以上の次元にわたって走査を行うために部分的に非移動性であってもよい。分散素子を用いた光ビームの指向を含むLiDARシステムの例が、本願出願人の国際特許出願PCT/AU2016/050899号(国際公開第2017/054036A1号として公開)に記載されている。
【0034】
本明細書に記載されているのは、角度分解能及び/又は時間分解能の向上又は調節をもたらし得る、少なくとも部分的に光ビーム内の光の波長(複数可)に基づいて光ビームを指向する光学システム(特に、空間プロファイリング装置)の実施形態である。角度分解能及び/又は時間分解能の向上又は制御は、光ビームの波長チャネルに基づいて光ビームを指向する他の光学システム(他の空間プロファイリング装置を含む)に適用することもできる。
【0035】
記載された実施形態は、1つ以上の選択された波長チャネルに基づいて光をステアリングすることができる。以下の説明は、(例えば、波長調整可能レーザを調整することによる)単一の波長チャネルの選択について言及しているが、当業者であれば、わずかな修正(例えば、2つ以上の波長調整可能レーザを光学的に結合)を加えれば、この記載を2つ以上の波長チャネルの選択に応用できることが分かるであろう。
【0036】
記載された実施形態は、例えば、環境の空間プロファイル(例えば、z軸すなわち深さ)を推定するための空間プロファイリング装置において、ビームディレクタとして、又はビームディレクタのために、使用できる。ビーム指向の他の用途例として、分光測定、(例えば、本願出願人の国際公開第2019/036766A1号として公開された国際特許出願PCT/AU2018/050901号に記載の)光見通し内通信、製造ライン上の2D走査、プロジェクタ、2Dプリンタ、適応型照明などがある。以下の説明は空間プロファイル推定に焦点を当てているが、当業者は、わずかな修正を加えれば、この説明が他のビーム方向用途にも適用可能であることを理解するであろう。
【0037】
図1は、空間プロファイリング装置100の一例を示す。装置100は、光源102と、ビームディレクタ103と、受光器104と、処理ユニット105とを含む。図1の構成では、光源102からの出射光は、ビームディレクタ103によって、空間プロファイルを有する環境110内に、2次元の方向に指向される。出射光が物体又は反射面に当たる場合、出射光の少なくとも一部は、物体又は反射面によって反射(実線矢印で表現)され、例えば散乱され、ビームディレクタ103に戻り、受光器104で受光される場合もある。その動作を制御するために処理ユニット105が光源102に動作可能に結合される。処理ユニット105は、また、反射光が移動した往復距離を特定することによって反射面までの距離を特定するために、受光器104に動作可能に結合される。
【0038】
処理ユニット105は、少なくとも1つの処理デバイスを含む。処理ユニット105は、単一のコンピュータ処理デバイス(例えば、中央処理装置、グラフィックス処理装置、プログラムされたファームウェアチップ、特定用途向け集積回路、又は他の計算デバイス)であってもよいし、同じタイプ及び/又は異なるタイプの複数のコンピュータ処理デバイスを含んでいてもよい。場合によっては、空間プロファイリング装置100の他の構成要素に対してローカルな物理的構成要素を備える処理ユニット105によって、すべての処理が実行されるが、他の場合には、空間プロファイリング装置100が(共有又は専用の方法で)アクセス可能かつ使用可能なリモート処理デバイスによって、少なくとも一部の処理が実行されてもよい。これらの処理デバイスの少なくともいくつかの形態は、その処理デバイス、ひいては処理ユニット105及び空間プロファイリング装置100の動作を制御するための命令及び/又はデータを記憶する1つ以上の関連する機械可読記憶デバイス(メモリ)を有する。処理デバイスとメモリデバイスとの間の通信は通信バスを介してもよい。
【0039】
処理ユニット105はまた、1つ以上のインタフェース(不図示)を含み、このインタフェースを介して様々なデバイス(例えば、光源102及び受光器104)及び/又はネットワークとインタフェースをとる。一般に、他のデバイスは処理ユニット105と一体であってもよいし、別体であってもよい。デバイスが別体である場合、接続は、有線又は無線のハードウェア及び通信プロトコルを介してもよく、直接接続であっても、間接接続(例えば、ネットワーク接続)であってもよい。
【0040】
光源102、ビームディレクタ103、受光器104は、2D若しくは3D導波路の形態の光ファイバ若しくは光回路などの自由空間光学系及び/又は光導波路を介して、互いに光学的に結合されてもよい。光源102からの出射光は、環境内に指向するためのビームディレクタ103に供給される。光源102とビームディレクタ103との間にビーム拡大光学系が設けられてもよい(又は、ビーム拡大光学系はいずれかの一部としてもよい)。ビームディレクタ103によって集められた反射光は、受光器104に指向されてもよい。一例では、光源102からの光はまた、光源102から受光器104への直接光路(不図示)を介して光学処理目的で受光器104に供給される。例えば、光源102からの光は、最初に、光の大部分(例えば、90%)がビームディレクタ103に供給され、光の残りのサンプル部分(例えば10%)が直接経路を介して受光器104に供給される、サンプラ(例えば、90/10の光ファイバカプラ)に入ってもよい。別の例では、光源102からの光は、最初に光スイッチの入力ポートに入って、2つの出力ポートのうちの1つから出てもよい。一方の出力ポートは光をビームディレクタ103に指向し、他方の出力ポートは、処理ユニット105によって決定された時間に光を受光器104に再指向する。組み込まれた国際特許出願PCT/AU2016/050899号(国際公開第2017/054036A1号)に、環境の空間プロファイルを判定するための技術が記載されている。
【0041】
図2Aは、図1のビームディレクタ103の実施形態103Aを示す。光源102からの光201は、M個の非隣接波長チャネルグループにグループ化されたN個の波長チャネルのうちの選択された1つを含む。光源102は、電子制御信号による所望の波長チャネルの選択を可能にする波長調整可能レーザであってもよい。非隣接波長チャネルの各グループは、複数の非連続波長チャネルを含む。M個のグループの非隣接波長チャネルは、インタリーブされた波長チャネルであってもよい。一例において、N個の波長チャネルはそれぞれの中心波長λ,λ,...λによって示される場合、M個のグループのインタリーブされた波長チャネルは、{λ,λM+1,...λN-M+1}、{λ,λM+2,...λN-M+2}、...及び{λ,λ2M,...λ}である。すなわち、この例では、各グループは、等間隔の波長チャネル(この場合、M個の波長チャネルごと)を含み、M個のグループのすべてが同じ間隔を有する。別の例では、非隣接波長チャネルは、インタリーブされていない波長チャネルであってもよいが、依然としてほぼλからλまで広がり得る(例えば{λ,...λ}、{λ,...λN-2}、...{λ,...λN-M)。どちらの例においても、インタリーブされた波長チャネルの各グループは、光源102の調整可能範囲のほぼλからλまで広がる。
【0042】
例示されるビームディレクタ103Aは、非隣接波長チャネルグループの光201を第1ポート204から第2ポート206-1、206-2...206-M(総称206)のうちの1つにルーティングするための波長ルータ202(例えば、光インタリーバ)を含む。このルーティングは、選択された波長チャネルに基づく。例えば、一インタリーブ構成で、例示されるビームディレクタ103Aは、第1のM個の連続する波長チャネルを、M個の第2ポートにそれぞれルーティングするように構成される。すなわち、λがポート206-1にルーティングされ、λがポート206-2にルーティングされ、...λがポート206-Mにルーティングされる。また、ビームディレクタ103Aは、第2のM個の連続波長チャネルをM個の第2ポートにそれぞれルーティングするように構成される。すなわち、λM+1がポート206-1にルーティングされ、λM+2がポート206-2にルーティングされ、...λ2Mがポート206-Mにルーティングされる。例示されているビームディレクタ103Aは、残りの波長チャネルについても同様にルーティングを行うように構成される。すなわち、このインタリーブ構成において、M個の連続波長チャネルの各後続ロットはM個の第2ポートにそれぞれルーティングされる。実際には、各第2ポートは、非隣接波長チャネルλkM+nのグループのうちの1つにそれぞれ対応付けられる。ここで、k∈0~N-1であり、nは指定された第2ポートを表す。例えば、例示されているビームディレクタ103Aは、波長チャネルλkM+1のうちの何れかにおける光201をポート206-1にルーティングし、波長チャネルλkM+2をポート206-2にルーティングし、...波長チャネルλ(k+1)Mをポート206-Mにルーティングするように構成される。
【0043】
第2ポート206は、ルーティングされた光を波長次元にわたって指向するように配置されている。この波長次元は、第1の次元(例えば、図2Aのy軸すなわち垂直方向に沿って)に関連付け又は対応付けられてもよい。図2Aにおいて、この対応付けは、第2ポート206の物理的分離配置から生じ、y軸に沿って出射光の独立した指向が可能となる。ビームディレクタ103Aは、対応する1つの第2ポート206からルーティングされた光をそれぞれ受光するように配置された分散素子208-1、208-2...208-M(総称208)のアレイをさらに含む。分散素子208は、ルーティングされた光を受光するために、(例えば、導波路結合、ファイバ結合、及び自由空間結合機構(コリメート素子を含む)のうちの1つ以上を介して)第2ポート206に光学的に結合される。この光結合は、図2に破線で表されている。アレイの各分散素子208は、受光した光をさらに第2の次元にわたって(例えば、図2Aのx軸すなわち水平方向に沿って)指向するように構成される。一例では、アレイの分散素子208のうちの1つ以上は、それぞれが自由空間回析カプラを含む。これとは別に、又は、これに追加して、アレイの分散素子208のうちの1つ以上が、回折格子、プリズム、及びグリズムを含む。さらに、これとは別に、又は、これに追加して、分散素子208は、それぞれが単一の素子であっても複数の素子であってもよい。分散素子208は、それぞれが導波路(合計M個の導波路)の出力ポート206に導波路結合され、M個の導波路のすべてが同じ光学的構成要素を通って伝搬する。ビームディレクタ103Aは、分散素子208からの出射光212(図2Aに破線で表されている)をコリメートするための1つ以上のコリメート素子を含む場合もある。
【0044】
説明のために、図2A及び図2Bに、選択された波長がλとλとの間で掃引されたときの出射光ビーム212の空間分布を示すためのスクリーン210が示されている。スクリーン210は上述のシステム103Aの一部ではない。図2Bは、出射光を遮るためにシステム103Aの出力側に配置されたスクリーン210の例示的な画像250を模式的に示す。図2Bの各ドットは、波長チャネルλ、λ...λのうちの選択された1つを表す。各ドットは、実際には、選択された波長チャネル(複数可)に基づいて別々に現れるが、図2Bでは、説明のために、すべてのドットが同時に捕捉される場合もあるかのように同時に示されていることに留意されたい。例示的な画像250は、M個の光出力グループ(212-1、212-2...212-Mを示す。グループあたりのドットの数は、単なる例示であり、実際の数を表すものではない。M個の光出力グループは、M個の分散素子208-1、208-2...208-Mにそれぞれ対応する。これらのグループは、第1の次元(例えば、y軸)にわたって分布し、それぞれが第1の次元に対して実質的に垂直な第2の次元(例えば、x軸)にわたって延在する。第1の次元は、波長次元(すなわち、波長ルータ202によって光が指向される次元)と必ずしも厳密に一致していなくてもよく、第2の次元は、波長次元に直交する次元と必ずしも厳密に一致していなくてもよい。
【0045】
説明のための非限定的な例において、光源102が遠隔通信グレードのレーザを含む場合もある。遠隔通信グレードのレーザは、0.0004nm~0.008nmまで段階的に(又は、1550nmにおいて約50MHz~1GHzまで段階的に)調整可能な、約1527nm~約1567nm(又は、1550nmで約5000GHz)など、100nmの波長調整可能範囲を有し得る。例えば、光源102が40nmにわたって波長調整可能である場合、総ステップ数は約5000(すなわち、N=5000)である。
【0046】
波長ルータ202は、8つ(すなわち、M-8)の第2ポートを含む光インタリーバであり、各ポートは、625のインタリーブされた波長チャネルに対応付けられる(例えば、λ、λ、λ17...λ4993が1つの第2ポートにルーティングされ、λ、λ10、λ18...λ4994が別の第2ポートにルーティングされ等、λ、λ16、λ24...λ5000が最後の第2ポートにルーティングされる)。インタリーブされた波長チャネルのグループなど、非隣接波長チャネルをそれぞれの第2ポートにグループ化することにより、各第2ポートは、光源120の調整可能範囲のほぼ全体にわたる光(例えばλ~λ4993は、(8×0.008nm)=39.936nmで約40nmにわたる)を受光して指向するように構成される。これに対し、隣接チャネルが別にグループ化される場合(例えば、λ~λ625が第1の第2ポートにグループ化される等)、各グループは、光源120の調整可能範囲全体の何分の1か(例えば、8分の1)にしかわたらない(例えば、λ~λ625は、約40nm/8=5.0nmにわたる)。したがって、非隣接波長チャネルをそれぞれの第2ポートにグループ化することで、第1の次元にわたるビーム指向が容易になるばかりではなく、グループ分けされた波長チャネルが非隣接であることで、波長チャネルの範囲の拡大、ひいては、分散素子208の所与の分散について、第2の次元にわたるビーム広がり角の増大も可能となる。
【0047】
一構成において、光インタリーバ202が1つ以上のマッハツェンダ干渉計(Mach-Zehnder interferometer:MZI)を含む場合がある。図3Aは、1×2光インタリーバにおけるMZI300の一例を示す。MZI300は、導波路ベースであっても、ファイバベースであってもよい。MZI300は、1つの入力ポート302と、2つの出力ポート304-1及び304-2(総称304)と、を備える。MZIは、入力ポート302に入射した光が波長チャネルに基づいて一方の出力ポート304に現れるように、干渉計の2つのアームの間に固定光路差を含む。一例において、入力ポート302は、波長チャネル{λ,λ,...λ}の光を受光し、受光した波長チャネルが{λ,λ,...λN-1}のうちの1つである場合は、その光を出力ポート304-1にルーティングし、受光した波長チャネルが{λ2,λ4,...λN}のうちの1つである場合は、出力ポート304-2にルーティングするように構成される。上記数値例のパラメータを使用すると、0.008nm(又は、1550nmにおいて約1GHz)の自由スペクトル域(Free Spectral Range:FSR)を有するようにMZI300を構成することによって1×2光インタリーバが実現される場合もある。
【0048】
図3Bは、1×4光インタリーバにおける縦続接続されたMZI306を示す。縦続接続されたMZI306は、図3Aにそれぞれ示されているように、3つの構成MZI300-1、300-2、及び300-3を含む。先行のMZI300-1の2つの出力ポートは、後続の2つのMZI300-2及び300-3のそれぞれの入力ポートに光学的に結合される。後続のMZI300-2及び300-3の各々は2つの出力ポートを含む。したがって、縦続接続されたMZI306は、合計4つの出力ポートを含む。縦続接続されたMZI306内の各構成MZIは、波長チャネルのインタリーブ式ルーティングを容易にするために、それぞれ2つの干渉アームにそれぞれの光路差を有する。例えば、縦続接続されたMZI306は、波長チャネル{λ,λ,...λ}の光を受光し、受光した波長チャネルが{λ,λk+4,...λN-4+k}のうちの1つである場合は、その光を出力ポート番号k(k∈1,2,3,4})にルーティングするように構成される。当業者には、縦続接続されたQ個の構成MZIを使用して1×M光インタリーバが実現される場合もあることが理解されるであろう。ここで、M=Q+1は、インタリーブされた波長チャネルの1グループにそれぞれが対応付けられた出力ポートの数である。受信した波長チャネルが{λ,λk+M,...λN-M+k}のうちの1つである場合、出力ポート番号k(ここで、k∈{1,2,...M})が、ルーティングされた光を受光する。
【0049】
当業者はまた、実際には、意図しないポートに光がルーティングされることによるクロストークが存在することを察知するであろう。すなわち、実際には、受光された波長チャネルが{λ,λk+M,…λN-M+k}のうちの1つでない場合でも、出力ポート番号kは、少量のルーティングされた光を受光することもある。一例において、クロストークのレベルは、約-30dB以下である。
【0050】
別の構成において、光インタリーバ202が1つ以上のアレイ状導波路格子(AWG)を含む場合もある。一例において、この1つ以上のAWGは、少なくとも1つのサイクリックAWG(カラーレスAWGとしても知られている)を含む。図4は、M×MサイクリックAWG400の一例を示す。サイクリックAWG400は、導波路ベースであってもよいし、ファイバベースであってもよい。サイクリックAWG400は、複数の入力ポート402-1...402-Mと複数の出力ポート404-1...404-Mとを含む。例えば、サイクリックAWG400は、その入力ポート402の何れかで波長チャネル{λ,λ,...λ}の光を受光し、受光した波長チャネルが{λ,λk+M,...λN-M+k}のうちの1つである場合は、その光を出力ポート404番号k)にルーティングするように構成される。サイクリックAWGは、一般に、非サイクリックAWGに比べてFSRが小さいので、出力ポート当たりのルーティングされた波長チャネルがより多いと予想される。
【0051】
さらに別の構成において、光インタリーバ202は、1つ以上のエシェル型分波器を含む場合もある
【0052】
さらに別の構成において、光インタリーバ202は、1つ以上のMZI、サイクリックAWGなどの1つ以上のAWG、及び1つ以上のエシェル型分波器のいずれかの組合せを含む場合もある。
【0053】
したがって、光インタリーバ202は、M個の波長チャネルグループに対応するM個の第2ポートを含み、各第2ポートは、M/N個の非隣接チャネルを通す。一事例において、M及びN/Mの一方は、少なくとも8、16、又は32である。この事例は、少なくとも8、16、又は32ピクセルにわたる第1の次元及び第2の次元の一方にわたって光が指向される(例えば、図2Bのx又はy軸に沿って8、16、又は32ドットを生成する)ビームディレクタに対応する。例えば、前述の構成では、Mは8である。別の例では、Mは16である。さらに別の例では、Mは32である。
【0054】
また、より小さなFSRを有する光インタリーバは、第2ポート当たり、より多くの波長チャネルを通す。1つの使用事例において、FSRは、10GHz以下であるように設計される。別の使用事例において、FSRは、5GHz以下であるように設計される。さらに別の使用事例において、FSRは、1GHz以下であるように設計される。例えば、前述の構成では、FSRは1GHzである。
【0055】
一構成において、図5に示されているように、出射光ビーム212をコリメートするために、ビームディレクタ103Aは、コリメート素子502に光学的に結合されてもよいし、コリメート素子502をさらに含んでもよい。簡潔にするために、出射光ビーム212の3つの平面のみが示されている。一例において、コリメートレンズ502はシリンドリカルレンズを含む。この例では、分散素子208は、シリンドリカルレンズの焦点面又はその近傍に配置される。図示されていないが、シリンドリカルレンズの出力側にスクリーンが配置されている場合、図2Bに示されているものと同様の分布が観察される場合もある。
【0056】
図6は、図1のビームディレクタ103の別の実施形態103Bを示す。光源102からの光601は、N個の波長チャネルのうちの選択された1つを含む。光源102は、電子制御信号による所望の波長チャネルの選択を可能にする波長調整可能レーザであってもよい。
【0057】
図6に示されているように、ビームディレクタ103Bは、複数の波長チャネルλ、λ,...λのうちの選択された1つに基づいて、波長次元603にわたって(例えば、図6のx軸に沿って)光を指向するように配置された分散素子602を含む。ビームディレクタ103Bはまた、波長チャネルベースの指向光601-1~601-Nを受光するための空間ルータ604をさらに含む。空間ルータ604は、指向光を受光するために、波長次元に応じて配置された複数の第1ポート(606-1...606-N、総称606)を含む。空間ルータ604は、(例えばx軸に沿った)第1の次元と(例えばy軸に沿った)第2の次元とを含む2次元に配置された複数の第2ポート(608-1...608-N、総称608)も含む。各第2ポートは、複数の第1ポート606のうちの1つにそれぞれ対応付けられる。ビームディレクタ103Bは、波長チャネルベースの指向光601-1~601-Nを複数の第1ポートに合焦する又はコリメートするための、1つ以上のGRINレンズなどのコリメート光学系(不図示)を含む場合もある。空間ルータ604は、指向光601を複数の第1ポート606のうちの1つから複数の第2ポート608のうちの1つにそれぞれルーティングするように構成される。一構成において、空間ルータ604は、1D-2D光導波路アレイを含む。空間ルータ604は、第1ポートと第2ポートとのそれぞれの対を光学的に結合するための光導波路605-1...605-N(総称605、簡素化のために2つのみ図示)を含む場合もある。
【0058】
光導波路605は、透明材料へのレーザ直描法によって描画される場合もある。そのような手法の1つは、導波路605を刻設するために非線形吸収によって透明材料の屈折率を制御可能に変化させるためのフェムト秒レーザパルスの使用を伴う。透明材料の一例はバルク状シリカである。これは、光源102の波長(例えば、遠隔通信グレードの光源の場合は約1550nm波長帯)及び直描用レーザの波長(例えば、Ti:サファイアフェムト秒レーザの場合は約810nm波長帯)を含む広範囲の波長で透明である。
【0059】
各次元に位置合わせされる波長チャネルの数は任意であり、レーザ直描プロセスによって決定される。例えば、N個の波長チャネルλ、λ...λNが、M個の波長チャネルグループにグループ分けされる場合もある。M個の波長チャネルグループが、第2ポート608のM個の行又はM個の列を表す場合もある。M個の波長チャネルグループは、{λ,λM+1,...λN-M+1}、{λ,λM+2,...λN-M+2}...及び{λ,λ2M,...λ}であってもよい。別の例において、M個の波長チャネルグループは、{λ,...λN/M}、{λN/M+1,...λ2M/N}...及び{λN-N/M,...λ})であってもよい。したがって、光601は、(例えば、光源102の波長調整によって)波長チャネルを選択することにより、複数の第2ポート608のうちの対応する1つにルーティングされる場合もある。ビームディレクタ103Bは、第2ポート608を出る光610(環境110内に発射される場合)又は第2ポート608に入る光(環境110から反射される場合)をコリメート又は合焦させるために、レンズアレイ(不図示)などの1つ以上のコリメート素子を含む場合もある。ビームディレクタ103Bは、図5のコリメート素子502と同様に、1つ以上の出力コリメートレンズを焦点面配置で含む場合もある。この配置では、2Dアレイの出力ポートは、1つ以上の出力コリメートレンズを介した変換によって、対応する2つの次元のビーム方向角度にマッピングされるように構成される。
【0060】
一構成において、分散素子602は、プリズム、回析格子、グリズムのうちのいずれか1つ以上を含む。別の構成では、図7に示されているように、分散素子602は、図4に例示されているAWG400と同様のアレイ状導波路格子(AWG)700を含む。AWG700は、1つの入力ポート702と複数の出力ポート704-1...704-Nとを含む。AWG700の出力ポート704-1...704-Nは、空間ルータ604の第1ポート606-1...606-Nにそれぞれ光学的に結合されている。
【0061】
図8A図8Cは、複数の回折素子800A,800B,及び800C、又は、800A及び800Bを含む波長ステアリング素子800の例を示す。
この例では、2つ又は3つの回折素子を有する例を示しているが、より多く(例えば、4)が使用される場合もある。各追加の回折素子が、追加の回折、ひいては、異なる指向ビームのさらに大きな角度分離を提供する場合もある。波長ステアリング素子はまた、2つ以上の分散素子814A又は複数の分散素子814A,814Bを含む。これらの構成では、省スペースのために、1つ以上の回折素子の間に1つ以上の分散素子が配置されている。
【0062】
回折素子800A,800B,及び800C(存在する場合)は、波長に応じて、第1の次元に沿って、少なくとも第1の方向812A及び第2の方向812Bに拡張ビーム806を指向するように構成される。第1の方向812Aは、第1の選択波長チャネルλの出射光に対応する。第2の方向812Bは、第1の選択波長チャネルλの出射光に対応する。図8A図8Cは、各回折素子が1つの回折次数を生成するが、実際にはそれぞれが1つ以上の追加の次数を生成できることを示す。各回折素子において、ビームは付加的に角度分散される。複数の回折素子の使用により、例えば単一の回折素子を有する構成と比較して角度分離が大きくなる。
【0063】
図示の実施形態では、一方向性ビーム経路で光ビームを(例えば、図8Aに示されるように回折格子800A、800B、次いで800Cを通って時計回りに、又は反時計回りに)回転させるように回折面が整列するように複数の回折素子が配置されている。一方向性ビーム経路では、波長ステアリング素子800のサイズ、ひいてはシステム全体のフットプリントを縮小するために光路を容易に折りたたむことができる。
【0064】
図8A図8Cにおいて、すべての回折素子はその回折軸を有する。これらの回折軸は、(例えば、x軸に沿った)第1の次元で角度分散を生じる(例えば、y軸に沿った)同一方向に整列される。回折素子のうちの少なくとも1つを(例えば、その光軸又はz軸を中心として)回転させるか、そうでなければ角度調整し、ひいては、(例えば、x-y平面内で)その回折軸を回転させることによって、光ビームは、(例えばx軸に沿った)第1の次元に略垂直な(例えばy軸に沿った)第2の次元にわたって指向される場合もある。「回転する(rotate)」、「回転(rotatione)」、「回転している(rotating)」等の本明細書中の記載は、任意の形態の角度調整を含むが、例えば、絶えず又は連続的に回転する要素を必ずしも含むものではない。
【0065】
図9は、図1に示す空間プロファイリング装置の一例900を示す。この例では、システム900は、光源102からの出射光901をビームディレクタ103に輸送し、ビームディレクタ103から反射光903を光検出器104に輸送するように構成された光輸送アセンブリ902を含む。光輸送アセンブリ902は、光ファイバ、又は2D若しくは3D導波路の形態の光回路(例えば、フォトニック集積回路)などの光導波路を含む。光源102からの出射光は、環境の中へ指向するためのビームディレクタ103に供給される。いくつかの実施形態において、ビームディレクタ103によって集められた反射光は、付加的に光検出器104に指向される場合もある。一構成において、光混合検出のために、光源102からの光はまた、光源102から光検出器104への直接光路(不図示)を介して、光検出器104に供給される。例えば、光源102からの光は、最初に、光の大部分(例えば、90%)がビームディレクタ103に供給され、光の残りのサンプル部分(例えば10%)が直接経路を介して光検出器104に供給される、サンプラ(例えば、90/10の光誘導カプラ)に入り得る。別の例では、光源102からの光は、最初に光スイッチの入力ポートに入って、2つの出力ポートのうちの1つから出てもよい。一方の出力ポートは光をビームディレクタ103に指向し、他方の出力ポートは、処理ユニット105によって決定された時間に光を光検出器104に再指向する。
【0066】
光輸送アセンブリ902は、第1ポートから受け取った出射光を第2ポートに結合し、第2ポートから受け取った出射光を第3ポートに結合するための3ポート素子905を含む。3ポート素子は、光サーキュレータ又は2x2カプラ(第4ポートが使用されない場合)を含む場合もある。一構成において、光輸送アセンブリ902は、第1の選択された波長チャネル及び第2の選択された波長チャネルで出射光901を搬送するための、光源102とビームディレクタ103との間のアウトバウンド誘導光路と、第1の選択された波長チャネル及び第2の選択された波長チャネルで(同時に又は異なる時間に)反射光903を搬送するための、ビームディレクタ103と光検出器104との間のインバウンド誘導光路903とを含む。誘導光路はそれぞれが光ファイバ経路及び光回路経路の一方であってもよい。
【0067】
一構成において、図9に示すように、ビームディレクタ103はビーム拡大光学系904を含む。ビーム拡大光学系904は、導波形態から出射光901を自由空間形態及び合焦素子に供給するために、屈折率分布型(GRIN)レンズなどのピグテイル付きコリメータ312を含む場合もある。
【0068】
図8A図8B図8C、及び図9において、実線及び破線が、選択した異なる波長チャネルにおける拡張ビームを表しており、説明のためにわずかにずらして示されていることが理解されよう。実際には、それらは、空間において実質的に又は完全に重なっていてもよいし、重なっていなくてもよい。
【0069】
視野及び/又は点密度の調節は、光源102を制御することによって達成される場合もある。例えば、処理ユニット105は、光源102によってパルスが生成される1つ以上の波長範囲を制御する処理デバイスを含む場合もある。
【0070】
例えば、図2A図2B(及び必要に応じて図5も)を参照して説明された実施形態を参照すると、視野は、光源102の走査又は掃引に存在する波長チャネルλ、λ,....λを選択することによって調整できる。「全」視野の走査は、波長チャネルλ、λ,....λの各々を選択する走査又は掃引を行うことによって行われ得る。より小さい視野の走査は、波長チャネルの1つ以上のサブセットを選択することによって行われ得る。あるサブセットの例は、例えば、λ~λN/2+M/2又はλ~λnMを含むことによって、図2Bに示される左側に焦点を合わせ得る。ここで、nは整数であり、走査に含まれる図2Bの左からの必要列数を包含するように選択される。別のサブセットの例は、図2Bに示される中心に焦点を合わせることができる。一例として、N=20及びM=4という意図的に少数の波長チャネルを使用すると、中央に焦点を合わせた走査によって波長チャネルがλ~λ、λ10~λ11及びλ14~λ15に制限される場合もある。
【0071】
より少数の波長チャネルλ(X<N)で走査することにより、より短時間で走査を完了させることができる。したがって、光源102が走査する波長チャネル数をより少なく選択することによってもたらされるより小さな視野は、所与の期間内でより多数回の走査が可能である。
【0072】
所与の期間内でより多数回の走査を行うことは、特定の状況、例えば、追跡する必要がある1つ以上の高速移動物体が検出された場合、に有用であってもよい。いくつかの実施形態では、走査される波長チャネルの数はXとしてもよい。ここで、2X<N、又は5X<N、又は10X<N、又は100X<N、又は1000X<N、又は10,000X<Nである。
【0073】
いくつかの実施形態では、選択が可能な波長チャネル数は固定されていない。波長チャネルλ~λを包含し、それらによって境界される波長範囲λ内において、光源102は、Nより多い又は少ない波長チャネルを生成するように調整可能であってもよい。例えば、光源102は、波長範囲λ内の2N個の別個の波長チャネルのいずれかに調整可能であってもよい。したがって、所与の波長範囲内で選択される波長チャネル数を調節することにより、その範囲に対応する視野内の角度分解能を調節することができる。例えば、1回の走査がN個の選択チャネルを使用して第1の解像度で遂行され、後続走査が2N個(又はN+1から2Nまで、又は2N超の任意の他の個数)の選択チャネルを使用してより高い解像度で遂行されてもよい。同様に、後続走査又はさらなる後続走査は、必要に応じて、より低い解像度であってもよい。
【0074】
いくつかの実施形態において、選択された波長範囲(複数可)と波長範囲ごとに選択された波長チャネルの数との両方を走査間又は走査内で変更することができる。各波長範囲に対して選択される波長チャネル数は、選択範囲にわたって一定であってもよいし、選択範囲にわたって可変であってもよい。同様に、選択波長範囲が2以上ある場合、それぞれの波長範囲に対して選択される波長チャネル数は同じとすることも別とすることも可能である。また、選択された波長範囲が2以上ある場合、各波長範囲に対して選択される波長範囲にわたる波長チャネル数の変動は、異なる選択波長範囲間で異なっていてもよい。
【0075】
光源102は、500μs未満、50μs未満、5μs未満、又は0.5μs未満など、5ms以内で、第1の1つ以上波長チャネルセットから第2の1つ以上波長チャネルセットに波長調整可能であってもよい。
【0076】
光源は、最大範囲40nm以内、及び調整速度8nm/ms以内(80nm/ms未満、800nm/ms未満、8nm/μs未満、又は80nm/μs未満など)で、波長調整可能であってもよい。いくつかの例において、光源102は、キャリア効果に基づく発光波長調整が可能な半導体レーザを含む場合もある。走査プロファイルは、光源102の比較的迅速な波長調整特性により、(例えば、フォビエーションのために)速やかに変更可能であることが理解されよう。
【0077】
いくつかの実施形態において、光源は、視野内の複数の点密度の使用及び分布を調節するように制御される。図2A及び図2Bを参照して説明した例を再び使用すると、λ~λN/2+M/2を含む波長範囲λR1内で選択される波長チャネルの数をN/2より大きい数に増加させることによって、左側に対する角度分解能の向上を達成できる。例えば、波長範囲λR1内で選択される波長チャネル数が(図2Bに表されるように)N/2から2N/3に増加すると、左側内の角度分解能が増加する。
【0078】
右側のために選択された波長チャネル数がN/2のままである場合、選択された波長チャネルの総数が増加する。これにより、システムの時間分解能が低下する場合がある。
【0079】
時間分解能に対するこの影響を回避又は低減するために、又は別の理由により、右側のために選択される波長チャネル数を減少させてもよい。例えば、波長チャネル数がN/3で設定される場合、選択波長チャネルの総数はNのままである。したがって、いくつかの実施形態では、システムは、視野の少なくとも1つの領域に対してフォビエーションを行う機能を有する。
【0080】
これとは別に、又は、これに追加して、視野を縮小することによって時間分解能に関する影響が低減される場合もある。例えば、走査が波長範囲λR1に限定された場合、選択波長チャネルの総数は2N/3になる。これはN未満であるので、(より小さい視野を犠牲にして)角度分解能の増加に併せて時間分解能が増加する。別の変形例では、光源は、走査のためにN個の波長チャネルを選択し続けてもよい。残りの波長チャネルは、Nが選択されるまでは、波長範囲λR1の外側で選択される。
【0081】
図2A及び図2Bの実施形態を参照して説明されたものと同じ又は同様の技術を、図6及び図7を参照して説明された実施形態に適用することができる。これらの実施形態の空間ルータは、角度分解能の必要動作可能範囲に対応するためにいくつかのポートを必要とする。同様に、(使用される場合)AWG600の出力ポート704-1...704-Nの数も、角度分解能の必要動作可能範囲に対応する必要がある。実際には、ポートの使用は波長チャネルの選択によって制御される。
【0082】
別の例において、図2A及び図2Bの実施形態を参照して説明されたものと同じ又は同様の技術を、図8A図8Cを参照して説明された実施形態に適用することができる。特に、波長チャネルの選択は、図8A図8Cの実施形態の説明で言及された第1の次元(「波長次元」と呼ばれ得る)の点群内の点の分解能及び/又は分布に影響を及ぼす。この影響は、適切なビームステアリング機構、例えば波長ステアリング素子800内の回折素子の回転(第2の次元は、ステアリングに影響を及ぼす物理的運動に起因して、「機械的次元」と称されることがある)によって、第2の次元に拡がり得る。波長次元と機械的次元との組合せを含む空間推定システムの例は、本願出願人の国際特許出願PCT/AU 2017/051395号(国際公開第2018/107237A1号として公開)に記載されている。
【0083】
波長ベースのステアリングと機械的ステアリングとの組合せ動作による2次元にわたるビームステアリングを含むいくつかの実施形態において、機械的次元(「低速軸」)に沿ったビームステアリングより、波長次元(「高速軸」)に沿ったビームステアリングのほうが速い。これらの実施形態において、走査プロファイルを迅速に変更する機能は、主に高速軸に沿って実現される場合もある。波長次元に沿った走査プロファイルの変更は、機械的次元に沿った走査プロファイルにある程度影響を及ぼしことがある。
【0084】
前述のように、本開示の実施形態は、フォビエーションを行う機能を有するように構成される。これらの実施形態は、例えば、自律走行車のための空間推定システムにおいて実施される場合もある。図1を参照して説明した空間プロファイリング装置100の場合、処理ユニット105は、フォビエーションを実施するために光源102の特定波長チャネルを動的に選択するように制御される場合もある。フォビエーションは特定の環境に適合させることもできる。
【0085】
いくつかの実施形態において、処理ユニット105は、(受光器104から受信した入力に基づいて)環境を分析し、1つ以上の後続走査に適用する、選択のためのフォビエーション走査プロファイル候補セットを決定できる。選択は、空間プロファイリング装置のユーザシステム(例えば、自動運転システム)によって又はそれを介して行われ得る。次いで、選択は、空間プロファイリング装置で受信されて、1つ以上の後続走査で実施される場合もある。
【0086】
いくつかの実施形態において、フォビエーション走査プロファイル候補セットは静的であり、利用可能な走査プロファイルからの選択が行われる。例えば、フォビエーション走査プロファイル候補のセットは、重複していることもあるM個の領域のいずれか1つでフォビエーションを規定するプロファイルを含む場合もある。M個の領域が空間プロファイリング装置の可能視野の略全体をカバーしてもよい。
【0087】
いくつかの実施形態において、少なくとも2つの異なる走査プロファイルを含む所定のフォビエーション走査プロファイルセットと、上記のような環境分析に基づく所定の走査プロファイルとは異なる1つ以上のさらなる走査プロファイルを決定する機能との組合せを含む。場合によっては、さらなる走査プロファイルは、所定の走査プロファイルの組合せである。例えば、ある走査プロファイルでは一領域に対してフォビエーションを行い、別の走査プロファイルでは別の領域対してフォビエーションを行い得る。処理ユニット105は、例えば2つの物体を追跡するために、両領域に対するフォビエーションを備えたプロファイルを選択する場合もある。場合によっては、所定の走査プロファイルに関係なく、さらに別の走査プロファイルを形成してもよいし、あるいは、先行走査(複数可)からの点群(複数可)に基づいて厳密にカスタマイズしてもよい。
【0088】
図10は、ユーザ選択可能な走査プロファイルセットを決定、又は、以前に定義された走査プロファイルセットのうちの1つを選択、するためのシステムの例1000を示す。システム1000は、空間プロファイリング装置100と処理デバイス1002とを含む。処理デバイス1002は、処理ユニット105の一部であってもよいし、処理ユニット105と通信するデバイスであってもよい。また、システム1000は、1つ以上の画像センサ(不図示)を含み得る。空間プロファイリング装置100は、先行走査からの出力として点群1004を供給する。点群は、空間内のデータ点のセットであり、各データ点は、空間プロファイリング装置100によって環境内に送られた光が遭遇する障害物の光学反射面を表す。点群1004は、受光器104で受光された光に基づいて空間プロファイリング装置100の処理ユニット105によって生成される場合もある。いくつかの実施形態において、この点群1004は、1つ以上のセンサからの画像データ1006と共に処理デバイス1002へ入力として供給される。
【0089】
処理デバイス1002は、物体検出モジュール1008と、セマンティック・セグメンテーション・モジュール1010と、を含む。物体検出モジュール1008は、点群1004及び画像データ1006を処理して、入力データに基づいて環境内の1つ以上の物体を検出するように構成される。さらに、いくつかの実施形態では、物体検出モジュール1008は、物体検出モジュール1008が環境内の1つ以上の物体を識別する際の信頼度レベルを識別する不確実性マップを生成するように構成されてもよい。物体を検出するために、物体検出モジュール1008が任意の適切な物体検出アルゴリズムを採用し得ることが理解されよう。
【0090】
セマンティック・セグメンテーション・モジュール1010は、識別された各物体を、人、車、花などのクラスラベルにリンクするように構成される。物体が分類されると、セマンティック・セグメンテーション・モジュール1010が意味マップを生成する。セマンティックマップは、先行走査で識別された物体のリストと一緒に物体追跡モジュール1012に転送される場合もある。物体追跡モジュール1012は、ある走査から次の走査まで分類済み物体の移動を追跡して、分類済み物体の、空間プロファイリング装置100からの距離、速度、及び進行方向を推定し、その推定速度及び推定進行方向に基づいて分類済み物体の将来の位置を予測するように構成される場合もある。いくつかの技術では、この予測物体位置は、物体検出モジュール1008にフィードバックされ、物体検出モジュール1008が将来の走査で物体を検出する際の助けとなり得る。また、物体追跡モジュール1012は、(例えば、空間プロファイリング装置100が設置された車両から)車両データを受信するように構成される場合もある。車両データは、車両の速度及び進行方向を含む場合もある。物体追跡モジュール1012は、車両データ及び物体追跡データに基づいて、車両の予測走行経路を示す走行予測マップを生成するように構成される場合もある。
【0091】
これらの技術及びモジュールを使用して、処理デバイス1002は、所与の空間プロファイリング装置100の周囲の環境を認知する。例えば、処理デバイス1002は、前方の道路の曲率と、その距離に水平線があるかどうか判定する場合がある。また、100メートル以上先に1つ以上の物体が存在していること、又は空間プロファイリング装置100のすぐ近くに物体が存在していること、を判定する場合がある。次いで、角度分解能及び/又は時間分解能は、この判定を受けて、又は、これに基づいて、適合される。
【0092】
この判定された環境に基づいて、処理デバイス1002は、ユーザ選択可能なフォビエーション走査プロファイルのセットを決定、及び/又は、1つ以上の後続走査に適用するために利用可能なユーザ選択可能なフォビエーション走査プロファイルセットから選択、するように構成される場合もある。セット内の少なくとも2つのフォビエーション走査プロファイル候補は、それぞれが(例えば、地平線、1つ以上の物体、危険等を識別するための)共通識別情報に関連している。フォビエーション走査候補は、完全な走査パターン(例えば、各点の2次元座標)及び/又は走査パラメータ(例えば、垂直視野及び水平視野のそれぞれの範囲)によって定義される場合もある。このセットは、離散セット(例えば、固定された完全な走査パターンのセット)及び/又は連続セット(例えば、連続的な走査パラメータの範囲によって定義される)を含む場合もある。自律走行車の環境に対するいつくかの適応例を以下に説明する。上記又は他のフォビエーションの例は、他の判定された環境に適用される場合もある。
【0093】
水平線プロファイル
移動車両の視覚システム、特にLiDAR視覚システムは、その視野内に水平線を含むことが多い。少なくともいくつかの走査中、検出された水平線、及び/又は、処理ユニット105によって適用された、車両に対する視野の位置及び向きに基づいて以前に特定された水平線予想位置、のいずれか水平線に対して、フォビエーションを行うことが必要となる場合がある。このフォビエーションは、高点密度バンドを例えば視野の中央部分の近くに有することによって水平線及びその周囲の点密度を高くすることによって達成できる。言い換えれば、水平線から垂直方向に離れた視野内の角度における点密度は低くなりうる。
【0094】
図11は、水平線からの角度の変化に対するピクセル又は点の密度の変化を示すグラフ1100(ノンスケール)を示す。このグラフでは、x軸が水平線からの角度(0°は水平線を示す)を表し、y軸が点密度を表す。水平な線1102は、フォビエーション非適用のフォビエーション走査プロファイル候補を示す。この場合、水平線からのすべての角度に対して、点密度は一定のままである。線1104、1106、及び1108は、水平線に適用されるフォビエーションの異なる3つのレベルを示す。特に、線1104は、より地平線から遠い視野部分よりも中心に置かれた視野部分の平均点密度又は角度分解能が高くなる、地平線の近くで点密度がわずかに増加するフォビエーション走査プロファイル候補を示す。線1106は、点密度が地平線の近くでほぼ2倍になり、地平線から離れた領域で半分になるフォビエーション走査プロファイル候補を示す。線1108は、点密度が地平線の周りの少数の角度(例えば±20°)で2倍以上になり、この領域の外側で劇的に減少するベル状の曲線を有するフォビエーション走査プロファイル候補を示す。
【0095】
水平線は、例えば、本願明細書に記載されている技術を使用する図10の処理デバイス1002によって、以前の走査(複数可)の点群から検出される場合もある。地平線が検出された場合、高点密度領域の位置を、地平線を「追う(follow)」ように適合させてもよい。検出された(及び/又は、予想される)水平線を考慮して、例えば、垂直視野を水平線の周りのより狭い帯域に縮小して、水平線の周りの領域の走査セットの時間分解能を増加させることによって、視野のサイズも適合させることができる。水平線に関するフォビエーション及び/又は視野の制限は、処理デバイス1002によって決定される1つ以上の事象に対応する場合がある。そのような事象の一例は、水平線にある新物体の検出、又は前方の道路の推定経路に対応する位置における水平線にある新物体の検出(以前の走査の点群に基づいて物体追跡モジュール1012によってなされた推定)であってもよい。
【0096】
例として、空間プロファイリング装置100は、水平線に対するフォビエーションを伴わずに第1の走査又は第1の走査セットを実施してもよい。第2の走査又は第2の走査セットにおいて、水平線が検出されると、処理デバイス1002は、図11に示されるフォビエーションプロファイル候補のうちの1つに変更するように空間プロファイリング装置100に指示するユーザ選択を受信する場合がある。このフォビエーションプロファイルは事前に構成されていてもよく、これによって空間プロファイリング装置100が、このフォビエーションプロファイルを備えるモードに出入りできる。異なるフォビエーションプロファイルを備える2つ以上の選択可能モードが存在してもよく、選択は1つ以上の変数に基づく。あるいは、フォビエーションプロファイルは、1つ以上の変数に基づいて動的に決定されてもよい。例えば、フォビエーション走査プロファイル候補の決定に関わる変数は、車両が走行しているスピードすなわち速度、相対スピード若しくは速度、又は点群内で検出された物体の相対スピード若しくは速度の変化、予定されている車両経路若しくは軌道、検出された水平線の変化率、又は新物体の検出などである。特定の事象に対するシステムの応答性基準を達成するために、他の変数を使用してもよい。
【0097】
距離ベースのプロファイル
移動車両の視覚システム、特にLiDAR視覚システムは、その視野内に、車両から様々な距離にある1つ以上の物体を含むことが多い。車両に近い物体は粗い解像度で検出できるが、車両から遠い物体は、物体を容易に検出及び識別できるように、より細かい解像度を必要とする場合がある。したがって、いくつかの例において、処理デバイス1002は、車両からの物体の相対距離に基づいて異なるフォビエーションプロファイルを適用する場合がある。このフォビエーションは、車両からより遠いと検出された物体及びその周囲の点密度を増加させることによって、及び/又は、車両により近いと検出された物体及びその周囲の点密度を減少させることによって達成できる。
【0098】
図12は、車両からの距離の変化に対するピクセル又は点の密度の変化を示すグラフ1200(ノンスケール)を示す。このグラフでは、x軸が車両からの距離を表し、y軸が点密度を表す。水平な線1202は、フォビエーション非適用のフォビエーション走査プロファイル候補を示す。この場合、車両からのすべての距離に対して、点密度は一定のままである。線1204、1206、及び1208は、車両からの距離に基づいて適用されるフォビエーションの3つの異なるレベルを示す。特に、線1204は、点密度が徐々に増加するフォビエーション走査プロファイル候補を示す。点密度は、車両に近い領域ではわずかに減少し、車両からの距離が増加するにつれてわずかに増加する。線1206及び1208は、空間プロファイリング装置100が遠くの物体に徐々に焦点を合わせる、より積極的なフォビエーション走査プロファイル候補を示す。
【0099】
車両からの障害物の距離は、例えば、本願明細書に記載されている技術を使用する図10の処理デバイス1002によって、以前の走査(複数可)の点群から検出される場合もある。また、距離に関するフォビエーション及び/又は視野の制限は、処理デバイス1002によって判定される1つ以上の事象に対応してもよい。そのような事象の一例は、車両から遠く離れている新物体の検出、又は前方の道路の推定経路に対応する位置における、車両から遠く離れている新物体の検出(以前の走査の点群に基づいて物体追跡モジュール1012によってなされた推定)であってもよい。
【0100】
一例として、空間プロファイリング装置100は、フォビエーションを伴わずに第1の走査又は第1の走査セットを実施する場合がある。第2の走査又は第2の走査セットにおいて、物体が検出されて、車体からのその相対距離が特定されると、処理デバイス1002は、図12に示されるフォビエーションプロファイル候補のうちの1つに変更するように空間プロファイリング装置100に指示するユーザ選択を受信する場合がある。このフォビエーションプロファイルは事前に構成されていてもよく、これによって空間プロファイリング装置100が、このフォビエーションプロファイルを備えるモードに出入りできる。異なるフォビエーションプロファイルを有する2つ以上の選択可能なモードが存在してもよく、選択は1つ以上の変数に基づく。あるいは、フォビエーションプロファイルは、1つ以上の変数に基づいて動的に決定されてもよい。例えば、フォビエーションプロファイルの検出又は決定に関わる変数は、車両が走行しているスピードすなわち速度、相対スピード若しくは速度、又は点群内で検出された物体の相対スピード若しくは速度の変化、予定されている車両経路若しくは軌道、又は新物体の検出などである。特定の事象に対するシステムの応答性基準を達成するために、他の変数を使用してもよい。
【0101】
領域プロファイル
いくつかの例において、処理デバイス1002は、対象物の分類に基づいてフォビエーションを適用する場合がある。例えば、環境が、樹木、山、道路、1つ以上の車両、及び道路標識を含むと判断された場合、1つ以上の車両及び道路標識の周りの点密度を増加させることが有益であってもよい。他方、木や山などの他のオブジェクトは背景の一部を形成しているので、その周りの点密度は減少させることができる。このタイプのフォビエーションは、フォビエーションを実施する必要がある識別された物体の周りに境界ボックス又は関心領域を定義し、これらの境界ボックス又は関心領域(複数可)内の点密度を増加させ、他の領域の点密度を減少させることによって達成できる。
【0102】
図13は、特定の境界ボックスの中心からの距離に対するピクセル又は点の密度の変化を示すグラフ1300を示す。このグラフでは、x軸はボックスの中心からの距離(0はボックスの中心を示す)を表し、y軸は点密度を表す。水平な線1302水平線ラインは、フォビエーション不適用のフォビエーション走査プロファイル候補を示す。この場合、すべての領域に対して、点密度は一定のままである。線1304、1306、及び1308は、境界ボックスに適用されるユーザ選択可能なフォビエーションの異なる3つのレベルを示す。これらのレベルは、ボックスの中心からの距離の関数としての点密度によって異なる。詳細には、線1304は、点密度がボックスの中心でわずかに増加し、ボックスの中心からの距離が増加するにつれて徐々に減少するフォビエーション走査プロファイル候補を示す。線1306は、ボックスの中心からの距離が増加するにつれて点密度がより急激に減少するフォビエーション走査プロファイル候補を示し、線1308は、ボックスの中心からの距離が増加するにつれて点密度が急激に減少するベル状の曲線を有するフォビエーション走査プロファイル候補を示す。
【0103】
物体が処理デバイス1002によって検出されて識別される場合、高点密度領域の位置を、識別された物体を「追う」ように適合できる。水平線に関するフォビエーション及び/又は視野の制限は、処理デバイス1002によって決定される1つ以上の事象に対応してもよい。そのような事象の一例は、新しい関心物体(例えば、人、車両、道路標識、信号機など)の検出/識別、移動物体の検出、又は新物体の検出であってもよい。
【0104】
一例として、空間プロファイリング装置100は、いかなるフォビエーションも伴わずに第1の走査又は第1の走査セットを実施する場合がある。第2の走査又は第2の走査セットにおいて、1つ以上の物体が検出及び分類されると、処理デバイス1002は、これらの物体のうちの1つ以上を関心物体として識別してもよく、関心物体の周囲の境界ボックスのサイズを決定してもよい。その後、処理デバイス1002は、図13に示されるフォビエーション走査プロファイル候補のうちの1つに変更するように空間プロファイリング装置100に指示するユーザ選択を受信する場合がある。このフォビエーションプロファイルは事前に構成されていてもよく、これによって空間プロファイリング装置100が、このフォビエーションプロファイルを備えるモードに出入りできる。異なるフォビエーションプロファイルを有する2つ以上の選択可能なモードが存在してもよく、選択は1つ以上の変数に基づく。あるいは、フォビエーションプロファイルは、1つ以上の変数に基づいて動的に決定されてもよい。例えば、フォビエーションプロファイルが検出又は決定される変数は、車両が走行しているスピードすなわち速度、相対スピード若しくは速度、又は点群内で検出された物体の相対スピード若しくは速度の変化、予定されている車両経路若しくは軌道、又は新物体の検出率などである。特定の事象に対するシステムの応答性基準を達成するために、他の変数を使用してもよい。
【0105】
信頼度プロファイル
場合によっては、処理デバイス1002、具体的には物体検出及びセグメント化モジュールが高信頼度で物体を識別できないことがある。例えば、標準的な走査解像度を使用して、車両からより遠くにある1つ以上の小さな物体を確実に識別することができない場合がある。したがって、いくつかの例において、処理デバイス1002は、先行走査からの識別された物体の信頼度レベルに基づいて、異なるフォビエーションプロファイルを適用する場合がある。このフォビエーションは、以前に低信頼度で検出された物体及びその周囲の点密度を増加させることによって、並びに、以前に高信頼度で識別された物体及びその周囲の点密度を減少させることによって、達成できる。
【0106】
識別又は分類された物体の信頼度レベルは、例えば、適切な物体認識アルゴリズムを使用することによって、以前の走査(複数可)の点群に基づいて処理デバイスによって判定される場合もある。この判定に基づいて、処理デバイス1002は、不確実性マップ又は画像、すなわち、低、中、又は高信頼度で識別された領域又は物体を示すマップ又は画像を生成することができる。図14は、不確実性マップ1400の一例を示す。この場合、物体を検出及び分類するために、先行走査からの点群が処理デバイス1002によって、利用される。このマップ1400では、低信頼度で検出及び識別された物体が赤色の領域で示され、中信頼度で検出及び識別されたオブジェクトが黄色の領域で示され、高信頼度で検出及び識別されたオブジェクトが緑色の領域で示される。
【0107】
この例では、この不確実性マップに基づいて、処理デバイス1002は、低信頼領域と識別された領域内の点密度をXだけ増加させ(ここで、Xは連続変数セットから選択可能)、それに応じて高信頼領域と識別された領域内の点密度を減少させるように空間プロファイリング装置100に指示するユーザ選択を受信する場合がある。
【0108】
さらに、これらの信頼領域に関するフォビエーション及び/又は視野の制限は走査ごとに変化する可能性がある。例えば、物体が(例えば、フォビエーションのために)より高信頼度で識別されると、不確実性マップが変化する可能性があり、処理デバイス1002は、それに応じてそのフォビエーションプロファイルを変更するように空間プロファイリング装置100に指示するユーザ選択を受信する場合がある。
【0109】
危険プロファイル
場合によっては、処理デバイス1002,具体的には物体検出及びセグメント化モジュールは、車両が横切る環境領域(道路など)又は予測車両経路と交差する場合がある環境領域(歩道など)を識別する場合がある。これらの領域は、環境の他の領域とは対照的に、より細かい解像度又はより高い点密度を必要とすることがある。したがって、いくつかの例では、処理デバイス1002は、車両が走行すると予測されるか、又は車両の走行経路と交差する可能性がある識別された領域に基づいて、異なるフォビエーションプロファイルを走査に適用することができる。このフォビエーションは、識別された領域及びその周囲の点密度を増加させ、他の領域及びその周囲の点密度を減少させることによって達成することができる。
【0110】
特定の実施形態において、車両走行領域又は車両経路との交差領域は、処理デバイス1002によって、先行走査からの点群、車両の予測走行経路、現在の速度、及び進行方向に基づいて識別される場合もある。この識別に基づいて、処理デバイス1002は、予測走行マップ又は画像、すなわち、車両が走行すると予測される領域及び/又は車両の予測経路と交差すると予測される環境の領域を示すマップ又は画像を生成する場合がある。図15は予測走行マップの例1500を示す。この場合、物体を検出及び分類するために、先行走査からの点群が処理デバイス1002によって、利用される。さらに、車両に関する情報(例えば、速度及び進行方向)が、処理デバイス1002によって、予測走行領域を判定して予測走行領域と交差する場合がある任意の物体を識別するために利用される。このマップでは、識別された領域が強調表示されている。
【0111】
この例では、この予測走行マップに基づいて、処理デバイス1002が、識別された領域内の点密度をX(Xは連続変数セットから選択可能)だけ増加させ、それに応じて視野の他の領域の点密度を減少させるように空間プロファイリング装置100に指示するユーザ選択を受信する場合がある。
【0112】
カスタムプロファイル
上記のフォビエーションプロファイルに加え、オペレータが、任意数の定義された上記プロファイルを組み合わせて独自のフォビエーションプロファイルを作成する独自のマップまた又は画像を定義することもできる。詳細には、オペレータが新しいプロファイルを定義して、空間プロファイリング装置100を制御するための選択に利用できるように新しいプロファイルを定義するデータをコンピュータ可読記憶装置に記憶してもよい。次いで、処理デバイス1002は、状況に応じてその点密度を調整するように空間プロファイリング装置100に指示するために、先行走査と事前設定されたフォビエーションプロファイルとから点群を分析するように構成される場合もある。
【0113】
いくつかの実施形態において、空間プロファイリング装置100は、異なるフォビエーション構成を繰り返してもよい。言い換えれば、フォビエーションの変更は、特定の事象の検出に依存せず、固定されておらず、所定の又は適応的なタイミング間隔にしたがって時間とともに変化する。例えば、処理ユニット105は、1つの走査又は走査セットのためフォビエーションを含まず、第2の走査又は走査セットのための水平線に関するフォビエーションを実施し、第3の走査又は走査セットのための信頼度に基づくフォビエーションを実施する、ように構成を制御する場合がある。
【0114】
プロセスの例
図16は、図10のシステムによって実行される場合もある処理を全体的に表す流れ図である。
【0115】
ステップ1602において、空間プロファイリング装置100は視野の第1の走査を実行してもよい。いくつかの実施形態では、この走査は、第1の波長セットを掃引することによって実行されてもよい。一例において、これは、光源102の走査又は掃引に存在するすべての利用可能な波長チャネルλ、λ,...λを掃引することによって走査を実行することを含む場合もある。
【0116】
次に、ステップ1604において、第1の点群が生成される場合もある。一実施形態において、(例えば、受光器104によって)反射光が検出され、処理のために処理ユニット105に伝達される場合もある。処理ユニット105が、反射光信号の処理に基づいて点群を生成してもよい。
【0117】
点群が生成されると、さらなる処理のために処理デバイス1002に伝達される場合もある。例えば、処理デバイス1002は、物体を検出及び分類するために、及び/又は、セマンティックマップ、不確実性マップ、予測走行マップ、カスタムマップなどの1つ以上の複数のマップを作成するために、点群を利用してもよい。これらのマップのうちの1つ以上を作成するために、処理デバイス1002は1つ以上の外部ソースから車両データなどの追加データを受信してもよい。
【0118】
次に、検出及び分類された物体及び/又はマップに基づいて、処理デバイス1002は、ステップ1606において、1つ以上の後続走査に適用されるユーザ選択のためのフォビエーション走査プロファイル候補セットを決定してもよい。例えば、先行走査の点群が、低信頼度で識別された水平線付近の車両の予測走行経路上の1つ以上の物体を示す場合、処理デバイス1002は、識別された水平線付近の点密度によって異なる水平線プロファイルと、識別された物体の周囲の点密度によって異なる領域プロファイルと、識別された特定の信頼度の領域付近の点密度によって異なる信頼度プロファイルとの組合せを含む走査プロファイル候補セットを決定してもよい。あるいは、車両経路内では物体が識別されないが、水平線が識別される場合、処理デバイス1002は、識別された水平線付近の点密度によって異なる水平線フォビエーションプロファイルを含む走査プロファイル候補セットを決定してもよい。別の例において、処理デバイス1002が低信頼度で物体を識別した場合、処理デバイス1002は物体の周囲の領域を識別し、特定信頼度の識別領域周囲の点密度によって異なる信頼度フォビエーションプロファイルを含む走査プロファイル候補セットを決定してもよい。
【0119】
次いで、処理ユニット105は、フォビエーション走査プロファイル候補セットからの選択を受信又は実施する。上述したように、受信された選択は、空間プロファイリング装置100を利用するユーザシステム(例えば、自動運転システム)によるものであってもよい。したがって、選択は環境(例えば、道路状況)に応じて行われ得ることが理解されよう。
【0120】
ステップ1608において、ユーザが選択したフォビエーションプロファイルに基づいて第2の走査が実行される場合もある。第2の走査では、フォビエーションプロファイルで指定される点密度の変動に基づいて掃引の点密度が変動される場合もある。一実施形態では、高点密度が指定される視野領域では、より多くのパルスがその領域内に指向されるように、フレーム当たりのパルス数及び/又はパルスの波長が分配される。同様に、低点密度が指定される視野領域では、より少ないパルスがその領域内に指向されるように、フレーム当たりのパルス数及び/又はパルスの波長が分配される。
【0121】
このプロセス1600は、先行走査からの点群が次の走査のフォビエーションパターンの選択に利用されるように、連続的に繰り返される。
【0122】
上述したように、ユーザシステムは、関心領域がより精密に走査されるように、空間プロファイリング装置が視野を走査する態様を微調整するために、1つ以上の予め定義されたフォビエーション走査パターンを選択できる。また、フォビエーションパターンはフレームごとに選択できる。いくつかの実施形態において、フォビエーションパターンは、ラインごとに(すなわち、ある次元にわたる各走査について選択される又は選択可能であり、他の次元が存在する場合、他の次元は一定のまま)、又は、セグメントごとに(すなわち、ある次元にわたる走査グループに対して選択又は選択可能であり、他の次元が存在する場合、他の次元は一定のまま)選択できる。
【0123】
ユーザ選択が空間プロファイリング装置(例えば、自動運転システム)に関連するシステムによるものであるプロセス1600の代わりに、又はこれに追加して、1つ以上のフォビエーションプロファイルを手動又は他の方法で指定又は選択し、空間プロファイリング装置100の設置時に固定してもよい。例えば、取付角度の変動に要する許容誤差を含めるために、又は空間プロファイリング装置100の取付角度の変動を補正するために、手動選択が使用されてもよい。したがって、設置方法は、空間プロファイリング装置100の一実施形態を設置し、その視野を決定し、決定された視野に基づいて1つ以上のフォビエーションプロファイルを選択することを含む。
【0124】
図17は、空間推定システムの走査プロファイル1700のセットの例を示す。1つ以上の走査プロファイル1700は空間プロファイル装置100の一実施形態によって提供される場合もあるものであり、例えば、空間プロファイル装置100のユーザシステムによって選択可能、又は空間プロファイル装置100自体によって(例えば、処理ユニット105によって実施される選択手順を用いて)選択可能である。走査プロファイル1700を定義するデータは、処理ユニット105にアクセス可能な、及び/又は、処理ユニット105と通信するためのユーザシステムにアクセス可能な、コンピュータ可読記憶装置に記憶してもよい。
【0125】
図17において、それぞれの水平なダッシュ(例えば、ダッシュ1701)は、光が光源102から指向される垂直ステアリング角度を表す。したがって、各水平ダッシュは、空間推定システムによる環境の測定値若しくは潜在的な測定値、又は空間推定システムのピクセルに対応してもよい。垂直次元が波長ステアリングによって制御される実施形態では、各ダッシュは、ビームディレクタによって指向される光の波長を表す。したがって、列内の異なるダッシュは異なる波長を表し、図17の水平に整列されたダッシュは同じ波長の光を表す。垂直次元が機械的ステアリングによって制御される実施形態では、図17において、列内の異なるダッシュは機械的ステアリング装置の異なる位置を表し、水平に整列されたダッシュは機械的ステアリング装置の同じ位置を表す。
【0126】
図示のように、走査プロファイル1700は、図17の列によって表されるプロファイル(例えば、1702、1704、1706、1708)のセットを含む。この例の各プロファイルは、2つの点で垂直方向に圧縮されている。すなわち、視野の垂直範囲の中間に高圧縮エリアがあり、また、垂直範囲において、より下方の範囲と比較して、より上方範囲に向かって、より高圧縮となっている。各垂直圧縮パターンは、同じ垂直FOV(すなわち、同じ垂直ステアリング角、この例では約30度)をカバーし、同じ又は実質的に同数の光出射角度(すなわち、同じピクセル数)を有するが、特に点密度が最も高い垂直角度(フォビエーションと呼ばれることもある)を含む点密度の分布が互いに異なる。この例では、フォビエーション角度は-5度~+0.5度である(0.5度刻み)。角度0°が任意の基準である。一例において、0度の角度は、ビームディレクタの開口部中心からの水平方向に対応してもよい。
【0127】
フォビエーション機能を備える他の実施形態では、最高密度の特定角度が存在する必要はない。例えば、より高密度の領域が存在してもよく、その領域内で密度は実質的に均一であってもよいし、最小密度及び最大密度の複数の角度を生じるばらつきがあってもよい。これらの実施形態では、フォビエーション角度は、より高密度の領域、例えば領域の中間を基準としてもよい。
【0128】
空間プロファイリング装置100の視野、例えば移動車両のLiDARビジョンシステムにおける水平線、に対して可変垂直位置を有する環境のアスペクトを追跡又は他の方法でこれに適応するために、走査プロファイル1700と可変垂直フォビエーション角度を備える他の走査プロファイルとを使用してもよい。この例では、フォビエーション角度はほとんどが負であり、これは車両の頂部付近に設置されたLiDARビジョンシステムの使用事例に対応してもよい。したがって、道路に向かってわずかに下向きに出射光を放射し、水平線は通常0度未満である。このセット内のフォビエーション角度の範囲は、空間プロファイリング装置のビームディレクタの取り付け高さ及び/又は角度の変動、及び/又は前方の道路が上り又は下りに傾斜するなどの道路条件の変化に適応し得るものであることが理解されよう。さらに、上述したように、走査プロファイル1700は、下方垂直角度と比較して、視野内の上方垂直角度においてより高い密度を備える。上記の使用事例の例は、やはり車両に設置されたLiDARビジョンシステムであってもよい。上方垂直角度はより長い距離で走査することが予想されるため、角度差は反射点での分離に、より大きな影響を及ぼす。したがって、概して近い物体(例えば、車両の直前の道路)と概して遠い物体(例えば、水平線付近又は水平線より上のもの)との間のピクセルの間隔の違いは、相対点密度を調節することによって、調節、例えば低減、される場合もある。
【0129】
空間推定システムは、図17に表される垂直ステアリング角度に対する制御と組み合わせて、別のステアリング角度、例えば水平ステアリング角度を制御することもできる。例えば、空間推定システムは、水平視野にわたる1回以上の走査反復のために走査プロファイル1702を選択し、1回以上の後続走査の反復のために走査プロファイル1708を選択してもよい。いくつかの実施形態では、走査プロファイルは視野の走査反復ごとに固定されるので、例えば、フォビエーション領域の垂直位置は走査反復ごとに一定のままである。他の実施形態では、少なくとも1つの次元、場合によっては両方の次元、の走査プロファイルが走査反復内で制御可能に可変であり、それによって、1回の走査内で、異なる水平ステアリング角で、フォビエーション領域の異なる垂直位置が可能となる。
【0130】
図17は、垂直に整列した列の走査パターンを示しているが、これは、異なる垂直ステアリング角度でのビームディレクタからの対応する光が必ず垂直に整列していることを意味するものではない。異なる垂直ステアリング角度でのビームディレクタからの光は整列される場合もあるが、一例は、水平傾斜軸を有するチルトミラーの場合であるが、やはりいくらかの水平変動があってもよい。図17の垂直ステアリング角度の使用は一例であり、圧縮パターンは他の次元、特に水平次元(垂直成分あり又はなし)にも適用できることが理解されよう。
【0131】
図18は、空間推定システムの別の走査プロファイル1800のセットの例を示す。走査プロファイル1800のうちの1つ以上は空間プロファイル装置100の一実施形態によって提供される場合もあるものであり、例えば、空間プロファイル装置100のユーザシステムによって選択可能、又は空間プロファイル装置100自体によって選択可能である。図17と同様に、各水平ダッシュはステアリング角度を表し、これは例えば垂直ステアリング角度又は水平操角度であってもよい。空間推定システムの選択可能な走査プロファイルのセットは、1つ以上の走査プロファイル1700及び1つ以上の走査プロファイル1800、及び/又は、その変形、並びに任意選択的に他の走査プロファイルを含む場合もある。
【0132】
走査プロファイル1800Aは、フォビエーションを含まない均一な走査プロファイルを表す。4つの走査プロファイル1800Bは、同じフォビエーション角度で異なる圧縮レベルを含む走査プロファイルを表す。図18では左から右に圧縮レベルが増加する。すなわち、走査プロファイル1800B-1は最低圧縮の走査プロファイルを示し、走査プロファイル1800B-4は最高圧縮の走査プロファイルを示す。3つの走査プロファイル1800Cは、垂直FOVを減少させた(例えば、垂直ステアリング角度を減少させた)走査プロファイルを表し、図18の左から右に視野が小さくなる。
【0133】
均一な走査プロファイル1800Aと比較して、不均一な走査プロファイル1800Bのそれぞれは、いくつかの角度で密度を増加させ、他の角度で密度を減少させている。FOVを減少させた不均一な走査プロファイル1800Cのそれぞれは、いくつかの角度でより高密度の点を有するが、他の角度では点を有しない。したがって、ピクセル数は、走査プロファイル1800Aと、走査プロファイル1800B及び1800Cのそれぞれで同じであってもよい。
【0134】
異なる走査パターンで一定のピクセル数を維持することにより、均一すなわち一定の時間分解能が可能となり得る。例えば、パルスレーザシステムなど、ピクセルに対する固定又は一定の発光速度が存在する空間推定システムでは、図18の各プロファイルを使用して走査反復を行うのに同じ時間がかかる。さらに、空間プロファイリング装置100は、空間推定システムが対応する必要がある関連するラウンドトリップ時間(tRT,tRT=2R/c、式中、cは出射光の速度)を有する最大検出距離R(例えば、出射光の最大出力光パワーによって制限される)を有する。ただし、1秒あたりのポイント数(PPS)は制限される(PPS=1/tRT=c(2R))。例えば、検出距離(R)が250mの場合、tRTは約1.667μsであり、1秒あたりのポイント数は600,000に制限される。
【0135】
より多くのプロファイルを作成するために、図17を参照して例として説明したフォビエーションの可変角度を図18を参照して説明した可変点密度と組み合わせてもよい。例えば、圧縮されたプロファイル1800Bのうちの1つ以上は、同じ圧縮プロファイルで異なるフォビエーション角度のプロファイルを含むプロファイルセットの中の1つであってもよい。同様に、視野が制限されたプロファイル1800Cのうちの1つ以上が、異なる角度で制限視野が提供されるセットの中の1つであってもよい。さらなる走査プロファイルは、制限視野を領域内の圧縮レベルと組み合わせる。さらに別の走査プロファイルは、2つ以上の圧縮領域及び/又は2つ以上の角度的に分離された視野を含む。
【0136】
複数の走査機構を備えた2次元の視野を有する空間推定システムの実施形態では、走査パターンの変動は、走査機構のうちの別の走査機構ではなく、1つの走査機構でもたらされてもよい。より早い走査機構とより遅い走査機構とを含む2次元の視野を有する空間推定システムの実施形態では、走査パターンの変動は、より遅い走査機構ではなくより速い走査機構によってもたらされてもよい。例えば、波長ベースのステアリングは、機械的ステアリングよりも高速であってもよい。したがって、走査プロファイルは、物理的ステアリング機構に対する制御ではなく、波長調整によってもたらされてもよい。これは、信頼性及び/又は寿命の潜在的向上を伴う可動部品の減少というさらなる利点を有し得る。
【0137】
あるいは、走査プロファイルは、両方の次元にわたって変動を有してもよい。図19は、垂直(すなわち、第1の次元)及び水平(すなわち、第2の次元)の点密度のトレードオフを示す走査プロファイルの例1900A、1900B、及び1900Cを示す。図示のように、走査プロファイル1900Aは、FOVにわたって垂直方向に32ピクセル及び水平方向に32ピクセルを有する。縦軸に沿った点密度が、走査プロファイル1900Bで64に増加し、走査プロファイル1900Cで128に増加すると、横軸に沿った点密度は、32(走査プロファイル1900Aの通り)から16(走査プロファイル1900Bの通り)と8(走査プロファイル1900Cの通り)にそれぞれ減少する。縦軸に沿った走査プロファイルが波長ステアリングによって達成され、横軸に沿った走査プロファイルが機械的ステアリングによって(例えば、図8A図8Cのように回折素子のうちの少なくとも1つを回転させることによって)達成される例では、横軸に沿った点密度は、機械的ステアリング角度の数(すなわち、走査プロファイル1900Aをもたらす32の機械的ステアリング角度、1900Bをもたらす16の機械的ステアリング角度、及び1900Cをもたらす8の機械的ステアリング角度)に対応してもよい。
【0138】
図19の例を参照して説明した次元間の点密度の変動を、図17及び図18を参照して説明したフォビエーション角度及び/又は点密度の変動に組み合わせてもよいことが理解されよう。例えば、走査プロファイル1900Aを考えると、水平方向のピクセルの線は、垂直方向に不均一な分布を有してもよく、及び/又は、より小さい視野に圧縮されても、より大きい視野に拡張されてもよい。走査プロファイル1900B及び1900Cに対して同様の変形を行ってもよい。これらの変動は、空間推定システムの選択可能プロファイルセットに追加することができる。
【0139】
図20図22は、走査プロファイルを選択するためのプロセスの例を説明している。そのうちの1つ以上は、空間推定システム、例えば空間推定システム100の一実施形態、で実施されてもよく、以下の説明は、主にこの例を参照して行われる。いくつかの実施形態における走査プロファイルの選択は、所定の走査プロファイルセットからのものである。選択は、空間推定システムの処理デバイスによる計算選択プロセスにしたがって、例えば、手順にしたがって自動運転システム内の処理デバイスによって、又は、空間推定システムの処理デバイス(例えば、空間推定システム100の処理ユニット105内の処理デバイス)によって、又は通信する処理デバイスの組合せによって、行われ得る。いくつかの実施形態において、選択は、空間推定システムの処理ユニットによって、自動運転システムから受信したデータに基づいて行われる。手順の例は、環境のアスペクトを位置特定及び/又は追跡するための手順、例えば水平線を位置特定及び追跡するための手順、である。
【0140】
図20に示すプロセスの一例2000では、ステップ2002において地表点が識別される。地表点は、空間推定システム100からの方向及び距離測定値に基づいて識別される。一例において、ステップ2002で識別された地表点は、空間推定システム100のビームディレクタ103に近接している地表点である。例えば、地表点は、ビームディレクタ103の前方約5メートル~約100メートルの距離(又は、その間の任意の距離)内で戻り光が検出される最も下方のピクセルの全部又は選択であってもよい。
【0141】
次いで、ステップ2004において、識別された地表点にサーフェスがフィッティングされる。例えば、最小二乗回帰などを実施するなど、誤差最小化アルゴリズムを使用して、識別された地表点に、最も合う平坦なサーフェスをフィッティングしてもよい。平坦なサーフェスをフィッティングするための他の技術が使用されてもよく、他の実施形態では、地表点にフィッティングさせるサーフェスは平坦ではなく、それによって周囲の地形により近いフィッティングが可能になる。
【0142】
ステップ2006において、サーフェスは、所望の焦点距離と交差するように外挿される。所望の焦点距離は、一定、例えば200メートル、であってもよい。他の実施形態では、所望の焦点距離は、変数、例えば、空間推定システム100を搭載する車両の走行速度の入力に基づく変数である。所望の焦点距離は、視野に現れる障害物に停止又は他の方法で反応するのに必要な増加した距離を反映するために、速度の増加に伴って増加し、速度の減少に伴って減少してもよい。他の変数、例えば道路状況を示すデータ、車両の重量を示すデータ、及び/又は車両の停止距離を示すデータが所望の焦点距離に影響を及ぼす場合がある。
【0143】
次いで、ステップ2008において、サーフェス交差の仰角が求められる。仰角の判定は、外挿されたサーフェスに基づいてもよい。平坦なフィッティングサーフェスの例を挙げると、(例えば、その向きに基づいて水平な)空間推定システムの基準角度に対する、外挿された平坦なサーフェスの角度が既知又は特定可能であり、所望の焦点距離が既知である。次いで、仰角を三角法計算によって判定できる。計算の代わりにルックアップテーブルなどの代替物が使用される場合もあるので、関連する処理デバイスが計算を実行する場合もあるし、しない場合もある。
【0144】
ステップ2010において、求められた仰角おける圧縮領域を含む走査プロファイルが選択される。図17及び図18を参照して圧縮領域を有する走査プロファイルの例を説明した。いくつかの実施形態において、選択に利用可能な走査プロファイルは、角度的に隣接する又は重なり合う2つ以上の圧縮領域を含み、その結果、圧縮領域が存在しないプロファイル間のギャップに、特定された仰角が入ることはない。選択可能なプロファイルの圧縮領域間にギャップが存在する場合、選択プロセスは、最も近い圧縮領域を含む走査プロファイルを特定することもあるし、圧縮領域を備えるプロファイルの選択を取り止め、均一な走査プロファイルを使用することもある。他の実施形態において、走査プロファイルはオプションの選択に制約されず、求められた仰角と、決定された走査プロファイルにしたがって圧縮領域を提供するように制御されたビームディレクタ103とに基づいて決定される。次いで、選択又は決定された走査プロファイルを使用して、少なくとも1回の走査反復のための空間推定が実行される。
【0145】
図21に記載された別の例示プロセス2100では、ステップ2102において、空間内のデータ点セットが最初に距離によってグループ分けされる。例えば、例えば5~100メートル(又はその間の任意の距離)の閾値距離まで、1メートル以内の距離間隔で決定されるピクセルが、グループとして識別される場合もある。いくつかの実施形態において、ビームディレクタ103の視野全体にわたるピクセルがグループにまとめられる。他の実施形態において、視野のサブセットにわたるピクセル、例えば、車両正面の領域に対応してもよい又は視野にわたる全角度範囲ではなく車両の正面のより狭い角度範囲に対応してもよい中央部分、がグループにまとめられる。さらに、いくつかの実施形態では、ある距離間隔の全画素が関連するグループに属すると判定されが、他の実施形態では、プロセス2100に要する計算時間又はリソースを削減するために、例えば2ピクセルごと又は10ピクセルごとの、全部に満たないピクセルがグループ内にあると判定される
【0146】
ステップ2104において、各距離グループに対し、その距離で観測された最低仰角が求められる。データフィルタリング又は他の技術を適用して、例えば、隣接ピクセルを下回る閾値距離を越えるピクセルの除外、移動平均の使用、又は他の方法によって、外れ値データの影響を除去又は低減してもよい。
【0147】
次に、ステップ2106において、傾向線が最低仰角にフィッティングされる。例えば、最小二乗回帰などを実施するなど、誤差最小化アルゴリズムを使用して、傾向線をフィッティングしてもよい。ステップ2108において、傾向線が所望の焦点距離に外挿され、それに応じて軌跡が形成される。プロセス2000を参照して説明したように、所望の焦点距離は、一定であっても可変であってもよい。次いで、ステップ2110において、サーフェス交差の仰角が求められる。ステップ2112において、求められた仰角の圧縮領域を含む走査プロファイルが選択される。このプロセスはプロセス2000のステップ2010と同様であってもよい。
【0148】
図22に示すように走査プロファイルを選択するためのさらに別の例示プロセス2200では、ステップ2202において、例えば車両に設置されたカメラから最初に視覚データが取得される。視覚データは、画像データ、ビデオデータ、又は別の適切な形態であってもよい。
【0149】
ステップ2204において、視覚データから得られた視覚的キューを使用して、水平線の位置及び角度が推定される。例えば、空と陸との境界の検出は、色の違いに基づいて行われてもよい。色の違いなどに基づいて、画像又は一連の画像の水平線を識別するために、他の様々な画像処理技術を利用してもよい。
【0150】
ステップ2206において、推定された水平線が、使用された空間プロファイリング装置の座標フレームに投影される。例えば、カメラと空間プロファイリング装置との相対視野が既知である場合、投影は、カメラ視野のどの領域が空間プロファイリング装置の仰角に対応するかの判定を含む場合もある。次いで、ステップ2208において、推定された水平線の仰角が特定される。ステップ2210において、求められた仰角の圧縮領域を含む走査プロファイルが選択される。このプロセスはプロセス2000のステップ2010と同様であってもよい。
【0151】
図23は、所定の走査プロファイルセットからの走査プロファイルの動的選択を示す例を示す。イラストレーション2300は、仰角(例えば、ー1.5度)の検出された水平線2301を示す。図20図22で説明した例のいずれか1つによれば、イラストレーション2302に示すように、仰角-1.5度の圧縮領域2305を含む走査プロファイル2303が選択される。
【0152】
このプロセスは、水平線の変化を検出することを含む。例えば、水平線の変化が生じたかどうかを判定するために、図20のプロセス2002~2008、図21のプロセス2102~2110、又は図22のプロセス2202~2208をそれぞれ繰り返してもよい。水平線仰角が変化する(例えば、車両が傾いて、イラストレーション2304に示すように水平線角度が変化する)場合、イラストレーション2304及びイラストレーション2306に示すように、異なる仰角(例えば、+1.5度)の新しい水平線2307が検出される。
【0153】
新たに検出された水平線に基づいて、新しい走査プロファイルを選択するための閾値条件が満たされたという判定に応答して、イラストレーション2308に示すように、仰角1.5度の圧縮領域2311を含む別の走査プロファイル2309が選択される。選択プロセスは、図20図22を参照して説明したプロセスと同じ又は同様であってもよい。第1の次元に沿った走査プロファイルが選択されると、選択された走査プロファイルは、図23に示すようにFOVの第2の次元にわたって適用される場合もある。その結果、水平線を追跡する圧縮領域を含むように動的かつ自動的に走査プロファイルが選択される。
【0154】
図23の例は、例えば移動車両が前後に傾いたことによる水平線の垂直変動に対応する。いくつかの実施形態において、上記の動的及び自動的選択プロセスは、1つの次元(この例では垂直次元)のみに適用される。圧縮領域の垂直スパンは、他の次元(水平次元)の変動範囲に対応するように選択される場合もある。他の実施形態において、動的及び自動的選択プロセスは、視野の両方の次元(例えば、垂直次元に加え水平次元にも延在)にわたって適用してもよい。移動車両の例を続けると、水平適合は、水平線に対する車両の横揺れを容認するものである。
【0155】
図24は、視野の2つの次元にわたる走査プロファイルを選択するためのプロセスの例を示す。このプロセスは、水平線の垂直位置を判定する例を参照して再び説明されるが、物体追跡を含む他の例に適用してもよい。説明のために、垂直次元を「第1の次元」と呼び、水平次元は「第2の次元」と呼ぶ。ステップ2400において、第2の次元をセグメントに分ける。例えば、第2の次元は、同サイズの12のセグメントにセグメント化される場合もある。システムの分解能を向上させるために他のセグメントサイズ及びセグメント数を選択してもよいことが理解されよう。この記載の目的のために、各セグメントはセグメント化される次元にわたって少なくとも2つのピクセルを含むが、セグメント数が約500以下、又は約50以下、又は約25以下となるように、多くのピクセルを含むことが好ましい。セグメントは、同じサイズであってもよいし、違うサイズであってもよい。例えば、自律走行車との関連では、車両の前方、又は車両の前方及びその近傍のセグメントに対応するセグメントは、周辺のセグメントよりも小さくてもよい。
【0156】
ステップ2400に続いて、プロセスはステップ2402~2410を含む。これらのステップは、図20を参照して説明したステップ2002~2010に対応している。したがって、繰り返しを避けるために、異なる又は異なり得る態様のみを説明する。
【0157】
いくつかの実施形態では、ステップ2402~2406が視野にわたって適用される。その場合、図20を参照して説明したものと同じプロセスを実行してもよい。他の実施形態では、セグメントごとに、ステップ2404における地表点へのサーフェスのフィッティング及びステップ2406における外挿が実施される。セグメントのフィッティング及び外挿は、そのセグメントについて識別された地表点を使用して、図20を参照して説明したものと同じ方法で実行される場合もある。
【0158】
ステップ2408は、第2の次元のセグメントごとに仰角が判定されることを除き、ステップ2008と同様である。同様に、ステップ2410において、各セグメントに判定された仰角に基づいて、セグメントごとに走査プロファイルの選択が行われる。
【0159】
図25は、水平線の垂直位置を特定する例を参照して再び説明される視野の2つ次元にわたる走査プロファイルを選択するためのプロセスの例を示す。図24のプロセスと同様に、ステップ2500において、1つの次元(「第2の次元」)をセグメントに分ける。ステップ2502~2506は、図20のステップ2002~2006と同じであってもよいので、ここでは説明を繰り返さない。ステップ2508において、各セグメントの推定水平線に基づいて仰角が特定され、ステップ2510において、各セグメントについて特定された仰角に基づいて各セグメントの走査プロファイルが選択される。これらのプロセスは、セグメントごとであることを除き、ステップ2008及びステップ2010について説明したものと同様であってもよい。
【0160】
図26は、図24又は図25で論じられたプロセスを適用した結果としての可変2D走査プロファイルの例2600を示す。第2の次元(すなわち、この例における水平次元)に沿ったFOVのセグメント(総称2601)ごとの仰角で水平線が検出又は特定されると、横軸に沿ったFOVのセグメントごとに走査プロファイルが選択される。前方の道路が左又は右に傾斜している場合に可変2D走査プロファイルが特に有用であってもよいことが理解されよう。
【0161】
他の実施形態では、視野の少なくとも1つの次元にわたる走査パターンのピクセルごとの制御が実行される。例えば、波長ベースのステアリングを含む空間プロファイリングシステムでは、視野内の各ピクセルが1つ以上の光のパルスに対応することができ、光源はパルスごとに波長を制御するように構成される場合もある。1つの観点から、これは、前述の第2の次元にわたってセグメントサイズを、セグメントがかかるピクセルがただ1つになるまで漸進的に縮小する限界である。しかしながら、多くの実際のシステムでは、このレベルの調節は保証されず、必要なリソースが多すぎ、及び/又は、ビームディレクタの制約内では達成できない。波長ステアリング(波長次元を提供する)と機械的ステアリング(機械的次元を提供する)とを組み合わせたシステムでは、セグメントは機械的次元を参照して定義される場合もある。
【0162】
図27は、空間プロファイリング装置100aのブロック図を示す。図27の空間プロファイリング装置100aは、図1のものに対する追加の詳細及び構成要素が示されているが、図1を参照して説明した空間プロファイリング装置100と同じ又は同様の形態であってもよい。
【0163】
図27は、本明細書に記載の実施形態及び/又は特徴、特に図1の処理ユニット105の機能、を実施するように構成された処理システム2700のブロック図を含む。システム2700は、汎用コンピュータ処理システムである。図27がコンピュータ処理システムのすべての機能的又は物理的構成要素を示しているわけではないことが理解されよう。例えば、電源も電源インタフェースも示されていないが、システム2700は、電源を搭載又は電源に接続(又は、その両方)するように構成される。また、特定の種類のコンピュータ処理システムが適切なハードウェア及びアーキテクチャを決定すること、また、本開示の特徴を実施するのに適した別のコンピュータ処理システムが、図示のものに対して追加となる又は代わりとなる構成要素、又は図示のものより少ない構成要素を有し得ることが理解されよう。例えば、処理システム2700は、汎用コンピュータ処理システムではなく、ハードウェア及び/又はファームウェア、又は専用マイクロコントローラを、全体的又は部分的に実装できる。
【0164】
処理システム2700は、少なくとも1つの処理デバイス2702、例えば、汎用若しくは中央処理装置、グラフィックス処理ユニット、又は代替の計算デバイス、を含む。処理システム2700は複数のコンピュータ処理デバイスを含む場合もある。これらのデバイスは同じ場所に配置されなくてもよい。簡潔さ及び明確さのために、以下の説明では、単一の処理デバイス2702を参照する。
【0165】
処理デバイス2702は、処理システム2700の動作を制御するための命令及び/又はデータを記憶する1つ以上のコンピュータ可読記憶デバイスと、通信バスを介してデータ通信を行う。データの例は、空間プロファイリング装置用の走査プロファイルのうちの1つ以上を定義するデータである。この例では、処理システム2700は、システムメモリ2704(例えば、BIOS)、揮発性メモリ2706(例えば、1以上のDRAMモジュールなどのランダムアクセスメモリ)、及び不揮発性(又は非一時的)メモリ2708(例えば、1つ以上の複数のハードディスク又はソリッドステートドライブ)を含む。一般に、本明細書に記載の機能(特に処理ユニット105の機能)を処理デバイス2702に実行させるための命令は、不揮発性メモリ2708に記憶される。
【0166】
処理システム2700はまた一般に2709で示される1つ以上のインタフェースを含み、処理システム2700はこのインタフェースを介して様々なデバイス及び/又はネットワークとつながる。図27は各機能インタフェースを表す。これらは、別個の物理インタフェース又は共有の物理インタフェースを介して提供される場合もある。デバイス又はネットワークと処理システム2700との接続は、有線又は無線のハードウェア及び通信プロトコルを介して行われ得るが、直接接続であっても間接接続(例えば、ネットワーク接続)であってもよい。
【0167】
他のデバイス/ネットワークとの有線接続は、任意の適切な標準又は独自のハードウェア、並びに接続プロトコル、例えばユニバーサルシリアルバス(USB)、eSATA、サンダーボルト、イーサネット、HDMI(登録商標)、及び/又は任意の他の有線接続ハードウェア/接続プロトコルによるものであってもよい。他のデバイス/ネットワークとの無線接続は、同様に、任意の適切な標準又は独自のハードウェア、並びに通信プロトコル、例えば、光プロトコル、WiFi、Near Field Communications(NFC)、Global System for Mobile Communications(GSM)、Enhanced Data GSM Environment(EDGE)、Long Term Evolution(LTE)、Code Division Multiple Access(CDMA及び/又はその変形)、及び/又は任意の他の無線ハードウェア/接続プロトコルによるものであってもよい。ほとんどの実施形態では、ネットワーク通信のための接続は無線であり、図27の他の接続は有線であると予想される。
【0168】
ユーザシステム入力/出力2710は、少なくともユーザシステムデータ2720を送信するために、いくつかの実施形態では送受信するために、提供される。発信ユーザシステムデータ2720は、空間推定システムによって検出された光に基づいて生成されたデータを含む場合もある。データは、空間推定を形成するための処理を要する生データであってもよいし、処理されたデータ、例えば生データに基づいて決定された空間推定の形態のデータ、であってもよい。自律走行車のユースケース例において、ユーザシステムは自動運転システム2730であってもよく、送信ユーザシステムデータ2720は自動運転に使用される。受信ユーザシステムデータ2720は、空間推定がフォビエーションを行うべき場所、使用すべき走査プロファイル、使用すべき走査解像度、もしあれば出射光に含めるべき通信情報等を定義する構成情報を含む場合もある。処理デバイス2702は、自動運転システム2730の処理デバイスとは異なっていてもよく、又は処理デバイス2702が自動運転システム2730の一部を形成してもよい(すなわち、1つ以上の処理デバイスが空間推定機能と自動運転機能の両方を提供するように構成される)。
【0169】
LiDAR制御2712は、少なくとも送信を行うため、いくつかの実施形態では、LiDAR構成要素2732のための制御信号2726を送受信するために設けられている。送信制御信号の例は、光源102への信号、受光器104への信号、及び、それらのそれぞれの動作を制御するためのビームディレクタ103への信号を含む。制御信号2726は、本明細書に記載されるように、ビームディレクタ103の波長ベースのステアリング及び/又は機械的ステアリングを実施してもよい。受信制御信号の例は、光源102の出力に対する制御を可能にするために、これらの構成要素のうちの1つ以上からのフィードバック、例えば受光器104が受光する光の強度の測定値、を含む場合がある。
【0170】
LiDAR入力2714は、受光器2734からデータを受信するために設けられている。このデータは、本明細書で説明するように、空間推定に使用される。LiDARに加えてカメラを含む実施形態では、画像及び/又は動画を含むカメラデータ2728がカメラ入力2716で受信される。いくつかの実施形態では、空間推定システム100aは、通信インタフェース2718を介してネットワーク2738とのネットワーク通信2724、例えばセルラネットワーク又は衛星ネットワークとの通信、を送信及び/又は受信する機能を含む。
【0171】
本明細書に記載及び定義される開示は、本文又は図面から言及又は明らかな個々の特徴の2つ以上のすべての代替的な組合せに及ぶことが理解されよう。これらの異なる組合せはすべて本開示の様々な代替態様を構成する。
図1
図2A
図2B
図3A
図3B
図4
図5
図6
図7
図8A
図8B
図8C
図9
図10
図11
図12
図13
図14
図15
図16
図17
図18
図19
図20
図21
図22
図23
図24
図25
図26
図27
【国際調査報告】