(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公表特許公報(A)
(11)【公表番号】
(43)【公表日】2023-11-01
(54)【発明の名称】ポイントクラウドのフィルタリングに関する技術
(51)【国際特許分類】
G01S 17/34 20200101AFI20231025BHJP
G01S 17/89 20200101ALI20231025BHJP
G01S 17/931 20200101ALI20231025BHJP
【FI】
G01S17/34
G01S17/89
G01S17/931
【審査請求】未請求
【予備審査請求】未請求
(21)【出願番号】P 2023523136
(86)(22)【出願日】2021-10-08
(85)【翻訳文提出日】2023-06-02
(86)【国際出願番号】 US2021054248
(87)【国際公開番号】W WO2022081432
(87)【国際公開日】2022-04-21
(32)【優先日】2020-10-15
(33)【優先権主張国・地域又は機関】US
(32)【優先日】2021-08-10
(33)【優先権主張国・地域又は機関】US
(81)【指定国・地域】
(71)【出願人】
【識別番号】521095112
【氏名又は名称】エヴァ インコーポレイテッド
(74)【代理人】
【識別番号】100119792
【氏名又は名称】熊崎 陽一
(72)【発明者】
【氏名】トシュニワル クリシュナ
(72)【発明者】
【氏名】レズク ミナ
(72)【発明者】
【氏名】ヘクセル ブルーノ
(72)【発明者】
【氏名】ビスワナサ クマール バルガブ
(72)【発明者】
【氏名】クラウス ペリン ホセ
(72)【発明者】
【氏名】ムートリ ラジェンドラ ツシャール
(72)【発明者】
【氏名】ナカムラ ジェイムズ
【テーマコード(参考)】
5J084
【Fターム(参考)】
5J084AA05
5J084AA07
5J084AA10
5J084AC02
5J084AD01
5J084BA03
5J084BA31
5J084BA48
5J084BB04
5J084BB15
5J084BB16
5J084BB20
5J084BB28
5J084BB31
5J084BB33
5J084CA08
5J084CA65
5J084DA08
5J084EA01
5J084EA22
(57)【要約】
ポイントクラウドのPOIのセットであって各POIのPOIが1つ以上のポイントを含むセットが第1のフィルタにおいて受信され、POIのセットの各POIがフィルタリングされ、POIの近傍ポイントのセットが選択され、近傍ポイントのセットについて指標が計算され、指標に基づいて、POIを受け入れるかPOIを修正するかPOIを拒否するかターゲットに関連する距離または速度の情報の少なくとも一方を抽出するためにPOIを第2のフィルタに送信するかが決定される。POIが受け入れられるか修正される場合にPOIはフィルタリングされたポイントクラウドに送信され、POIが拒否された場合にPOIはフィルタリングされたポイントクラウドに到達するのを阻止され、POIが受け入れられず修正されずまたは拒否された場合にPOIは第2のフィルタに送信される。
【選択図】
図3B
【特許請求の範囲】
【請求項1】
光検出および測距(LIDAR)システムにおいてポイントをフィルタリングする方法であって、
POI(関心点)のセットの各POIは1つ以上のポイントを含んでおり、第1のフィルタにおいてポイントクラウドの前記POIのセットを受信するステップを有し、
前記POIのセットの各POIをフィルタリングするステップは、
POIの近傍ポイントのセットを選択するステップと、
前記近傍ポイントのセットの指標を計算するステップと、
前記指標に基づいて、前記POIを受け入れるか、前記POIを修正するか、前記POIを拒否するか、または前記POIを第2のフィルタに送信してターゲットに関連する距離または速度の情報の少なくとも一方を抽出するかを決定するステップと、
前記POIが受け入れられ、または修正された場合に、前記ターゲットに関連する距離または速度の情報の少なくとも一方を抽出するために前記POIをフィルタリングされたポイントクラウドに送信するステップと、
前記POIが前記第1のフィルタで拒否された場合に、前記POIが前記フィルタリングされたポイントクラウドに到達するのを阻止するステップと、
前記POIが前記第1のフィルタで受け入れられず、修正されず、または拒否された場合に、前記POIを受け入れるか、修正するか、または拒否するかどうかを判断して前記ターゲットに関連する距離または速度の情報の少なくとも一方を抽出させるために前記POIを第2のフィルタに送信するステップと、
を含む方法。
【請求項2】
前記POIの近傍ポイントのセットを選択するステップは、
前記POIの周囲の同じ方位角または仰角におけるデータポイントのウィンドウを選択するステップを含む請求項1に記載の方法。
【請求項3】
前記POIの近傍ポイントのセットを選択するステップは、
前記POIの周囲の2次元グリッドの近傍ポイントのセットを選択するステップを含む請求項1に記載の方法。
【請求項4】
前記POIの近傍ポイントのセットを選択するステップは、
前記POIの周囲の3次元空間の近傍ポイントのセットを選択するステップを含む請求項1に記載の方法。
【請求項5】
前記POIの近傍ポイントのセットを選択するステップは、
前記POIの周囲の以前のフレームからの3次元時空間の近傍ポイントのセットを選択するステップを含む請求項1に記載の方法。
【請求項6】
前記近傍ポイントのセットの指標を計算するステップは、
前記近傍ポイントのセットおよび前記POIそれぞれの速度、強度、または距離の特性の分散に基づいて前記指標を計算するステップを含む請求項1に記載の方法。
【請求項7】
前記指標は、さらに、前記近傍ポイントのセットおよび前記POIそれぞれの、歪度または尖度を含む高次モーメントの特性に基づいて計算される請求項6に記載の方法。
【請求項8】
前記近傍ポイントのセットの指標を計算するステップは、
前記近傍ポイントのセットおよび前記POIそれぞれの速度、強度、距離の類似性に対応する信頼度に基づいて前記指標を計算するステップを含む請求項1に記載の方法。
【請求項9】
前記近傍ポイントのセットの指標を計算するステップは、
前記近傍ポイントのセットおよび前記POIそれぞれの速度、強度、距離の閾値に基づいて前記指標を計算するステップを含む請求項1に記載の方法。
【請求項10】
前記近傍ポイントのセットの指標を計算するステップは、
前記近傍ポイントのセットおよび前記POIそれぞれのアップチャープ周波数またはダウンチャープ周波数の分散に基づいて前記指標を計算するステップを含む請求項1に記載の方法。
【請求項11】
光検出および測距(LIDAR)システムであって、
プロセッサと、
前記プロセッサによって実行される命令を格納するメモリと、を備えており、前記命令に従って以下を実行するように構成されるLIDARシステム。
第1のポイントクラウドのPOI(関心点)のセットであって、各POIが1つ以上のポイントを含むセットを第1のフィルタにおいて受信する;
前記POIのセットの各POIをフィルタリングする;
ここで、当該LIDARシステムは、
前記POIの近傍ポイントのセットを選択する;
前記近傍ポイントのセットについて指標を計算する;
前記指標に基づいて、前記POIを受け入れるか、前記POIを修正するか、前記POIを拒否するか、あるいは、前記POIを第2のフィルタに送信してターゲットに関連する距離または速度の情報の少なくとも一方を抽出するかを決定する;
前記POIが受け入れられ、または修正された場合に、前記ターゲットに関連する距離または速度の情報の少なくとも一方を抽出するために前記POIをフィルタリングされたポイントクラウドに送信する;
前記POIが拒否された場合に、前記POIが前記フィルタリングされたポイントクラウドに到達するのを阻止する;
さらに、前記POIが受け入れられず、修正されず、または拒否された場合に、前記POIを受け入れるか、修正するか、または拒否するかどうかを判断して前記ターゲットに関連する距離情報または速度情報の少なくとも一方を抽出するために前記POIを第2フィルタに送信する。
【請求項12】
前記LIDARシステムは、前記POIの周囲で同じ方位角または仰角にあるデータポイントのウィンドウを選択する請求項11に記載のLIDARシステム。
【請求項13】
前記LIDARシステムは、前記POIの周囲の以前のフレームから2次元グリッドの近傍、3次元空間の近傍、3次元時空間の近傍ポイントのセットを選択する請求項11に記載のLIDARシステム。
【請求項14】
前記LIDARシステムは、前記近傍ポイントのセットおよび前記POIそれぞれの特性であって、速度、強度、または距離を含む特性の分散に基づいて前記指標を計算し、あるいは、前記システムは、前記近傍ポイントのセットおよび前記POIのアップチャープ周波数またはダウンチャープ周波数の分散に基づいて前記指標を計算する請求項11に記載のLIDARシステム。
【請求項15】
前記LIDARシステムは、前記近傍ポイントのセットおよび前記POIそれぞれの速度、強度、距離の類似性に対応する信頼度に基づいて前記指標を計算する請求項11に記載のLIDARシステム。
【請求項16】
前記LIDARシステムは、前記近傍ポイントのセットおよび前記POIそれぞれの速度、強度、または距離の閾値に基づいて前記指標を計算する請求項11に記載のLIDARシステム。
【請求項17】
光検出および測距(LIDAR)システムであって、
光信号の一部をターゲットに向けて送信する光源と、
前記光信号に基づいた前記ターゲットからのリターンビームを受信する光受信器と、
回路と、
前記回路によって実行される命令を格納するメモリと、を備えており、前記命令に従って以下を実行するように構成されるLIDARシステム。
第1のポイントクラウドのPOI(関心点)のセットであって、各POIが1つ以上のポイントを含むセットを第1のフィルタにおいて受信する;
前記POIのセットの各POIをフィルタリングする;
ここで、当該LIDARシステムは、
POIの近傍ポイントのセットを選択する;
前記近傍ポイントのセットについて指標を計算する;
前記指標に基づいて、前記POIを受け入れるか、前記POIを修正するか、前記POIを拒否するか、あるいは、前記POIを第2のフィルタに送信して前記ターゲットに関連する距離または速度の情報の少なくとも一方を抽出するかを決定する;
前記POIが受け入れられ、または修正された場合に、ターゲットに関連する距離または速度の情報の少なくとも一方を抽出するために前記POIをフィルタリングされたポイントクラウドに送信する;
前記POIが拒否された場合に、前記POIがフィルタリングされたポイントクラウドに到達するのを阻止する;
前記POIが受け入れられず、修正されず、または拒否された場合に、前記POIを受け入れるか、修正するか、または拒否するかどうかを判断してターゲットに関連する距離情報または速度情報の少なくとも一方を抽出するために前記POIを第2フィルタに送信する。
【請求項18】
前記LIDARシステムは、前記POIの周囲で同じ方位角または仰角にあるデータポイントのウィンドウを選択する請求項17に記載のLIDARシステム。
【請求項19】
前記LIDARシステムは、前記POIの周囲の以前のフレームから2次元グリッドの近傍、3次元空間の近傍、3次元時空間の近傍ポイントのセットを選択する請求項17に記載のLIDARシステム。
【請求項20】
前記LIDARシステムは、前記近傍ポイントのセットおよび前記POIそれぞれの特性であって、速度、強度、または距離を含む特性の分散に基づいて前記指標を計算し、あるいは、前記システムは、前記近傍ポイントのセットおよび前記POIのアップチャープ周波数またはダウンチャープ周波数の分散に基づいて前記指標を計算する請求項17に記載のLIDARシステム。
【請求項21】
前記LIDARシステムは、前記近傍ポイントのセットおよび前記POIそれぞれの速度、強度、距離の類似性に対応する信頼度に基づいて前記指標を計算する請求項17に記載のLIDARシステム。
【請求項22】
前記LIDARシステムは、前記近傍ポイントのセットおよび前記POIそれぞれの速度、強度、または距離の閾値に基づいて前記指標を計算する請求項17に記載のLIDARシステム。
【発明の詳細な説明】
【技術分野】
【0001】
本願は、米国特許法第119条(e)に基づく2020年10月15日に出願された米国仮特許出願第63/092,228号、および2021年8月10日に出願された米国特許出願第17/398,895号の優先権を主張するものであり、その全内容は参照により本明細書に組み込まれる。
【0002】
本開示は、一般に、ポイントセットまたはポイントクラウドのフィルタリング技術に関し、より詳細には、光検出および測距(LiDAR)システムで用いるためのポイントセットまたはポイントクラウドのフィルタリング技術に関する。
【発明の概要】
【発明が解決しようとする課題】
【0003】
従来の周波数変調連続波(FMCW)LIDARシステムには、レーザの位相ノイズ、回路の位相ノイズ、レーザの駆動用電子部品が発するフリッカノイズ、温度/天候によるドリフト、チャープレートオフセットなどの位相障害が含まれている。FMCW LIDARのポイントクラウドは、誤ったピークのマッチングに起因する独特のノイズパターンを示す場合がある。これにより、何も存在しない場合でも誤って検出されるポイントがシーンに現れることがある。
例えば、FMCW LIDARがフェンスや茂みを向いた場合、LIDARとフェンスの間のシーンに多数のゴーストポイントが現れることがある。これらのゴーストポイントやノイズの多いポイントは、偽警報(FA)ポイントとしても分類され、フィルタリングせずに放置すると、ゴーストオブジェクトを取り込み、推定ターゲット距離/速度に誤差を生じさせる可能性がある。
【課題を解決するための手段】
【0004】
本開示は、LIDARシステムにおけるポイントクラウドフィルタの様々な例について説明する。
【0005】
以下に開示されているいくつかの例では、ポイントクラウドをフィルタリングする方法が記載されている。
FAポイントと真の検出を区別するFAポイントの異なる特徴を利用して、FAポイントおよび距離を特定することができる。ポイントクラウドが、本明細書でフィルタと呼ばれるフィルタリングアルゴリズムに渡されるとき、フィルタは、所定の時間に、単一のポイントまたは関心点(POI)と呼ばれる複数のポイントのいずれかに対して動作する。POIの近傍からのいくつかのポイントや統計情報は、コンテキストを提供するためにフィルタに提供される。そのコンテキストを利用して、POIの特性が近傍ポイントと一致しているかどうかを確認し、POIに関する判断を行うことができる。そのコンテキストは、POIの周囲のコンテキストデータを含んでおり、このことが、フィルタがPOIの近傍ポイントとの整合性をチェックしてPOIを決定するときの助けとなる。
これらの統計/特性を定量化するために、異なる指標が策定される。
ポイントクラウドとは異なる特性を持つFAポイントを特定するために、複数のフィルタを設計することができる。特定されたFAポイントは、その後、ポイントクラウドから修正または削除される。得られたポイントクラウドは、元のポイントクラウドからFAポイントを除いたフィルタリングされたバージョンである。
例えば、フィルタは、ポイントクラウドからPOIを反復的に取得し、POIの近傍ポイントを選択してフィルタにコンテキストを提供し、POIとその近傍に対する指標を計算し、POIを維持、削除、または修正する判断を(例えば、計算した指標に基づき)下すことができる。
【0006】
いくつかの例において、ポイントクラウド内のポイントをフィルタリングする方法が本明細書に開示される。
POIのセットの各POIは1つ以上のポイントを含んでおり、ポイントクラウドのPOIのセットは第1のフィルタにおいて受信される。POIのセットの各POIはフィルタリングされる。POIの近傍ポイントのセットが選択される。近傍ポイントのセットの指標が計算される。前記指標に基づいて、前記POIを受け入れるか、前記POIを修正するか、前記POIを拒否するか、または前記POIを第2のフィルタに送信して前記ターゲットに関連する距離または速度の情報の少なくとも一方を抽出するかが決定される。前記POIが受け入れられ、または修正された場合に、前記POIはフィルタリングされたポイントクラウドに送信され、ターゲットに関連する距離または速度の情報の少なくとも一方を抽出する。前記POIが拒否された場合に、前記POIはフィルタリングされたポイントクラウドに到達するのを阻止される。前記POIが受け入れられず、修正されず、または拒否された場合に、前記POIは第2のフィルタに送信され、前記POIを受け入れるか、修正するか、または拒否するかどうかを判断し、前記ターゲットに関連する距離または速度の情報の少なくとも一方を抽出する。
【0007】
いくつかの例において、LIDARシステムが本明細書に開示される。
POIのセットの各POIは、1以上のポイントを含んでおり、当該LIDARシステムは、プロセッサと、このプロセッサによって実行される命令であって第1のフィルタにおいてポイントクラウドのPOIのセットをシステムに受信させる命令を格納するメモリとを備えている。前記システムは、さらに、前記POIの集合の各POIをフィルタリングする。前記システムは、POIの近傍ポイントのセットを選択し、前記近傍ポイントのセットの指標を計算し、前記指標に基づいて、前記POIを受け入れるか、前記POIを修正するか、前記POIを拒否するか、またはターゲットに関連する距離または速度の情報の少なくとも一方を抽出するために前記POIを第2のフィルタに送信するかを決定し、前記POIが受け入れられ、または修正された場合に、前記システムは、前記ターゲットに関連する距離または速度の情報の少なくとも一方を抽出するために前記POIをフィルタリングされたポイントクラウドに送信し、前記POIが拒否された場合に、前記POIがフィルタリングされたポイントクラウドに到達するのを阻止し、前記POIが受け入れられず、修正されず、拒否された場合に、前記システムは、前記POIを第2のフィルタに送信し、POIを受け入れるか、修正するか、拒否するかどうかを判断し、前記ターゲットに関連する距離または速度の情報の少なくとも1つを抽出する。
【0008】
いくつかの例において、LIDARシステムが本明細書に開示される。
当該LIDARシステムは、光信号の一部をターゲットに向けて送信する光源と、前記光信号に基づいて前記ターゲットからのリターンビームを受信する光受信器と、回路と、前記回路によって実行されたとき、当該LIDARシステムに、第1のポイントクラウドのPOIのセットであって各POIが1つ以上のポイントを含むセットを第1のフィルタにおいて受信させる命令を格納するメモリと、を備えている。当該LIDARシステムは、さらに、前記POIのセットの各POIをフィルタリングする。当該LIDARシステムは、POIの近傍ポイントのセットを選択し、前記近傍ポイントのセットについて指標を計算し、前記指標に基づいて、前記POIを受け入れるか、前記POIを修正するか、前記POIを拒否するか、あるいは、前記POIを第2のフィルタに送信して前記ターゲットに関連する距離または速度の情報の少なくとも一方を抽出するかを決定し、前記POIが受け入れられ、または修正された場合に、前記POIをフィルタリングされたポイントクラウドに送信し、ターゲットに関連する距離または速度の情報の少なくとも一方を抽出し、前記POIが拒否された場合に、前記POIがフィルタリングされたポイントクラウドに到達するのを阻止し、前記POIが受け入れられず、修正されず、または拒否された場合に、POIを第2フィルタに送信し、POIを受け入れるか、修正するか、または拒否するかどうかを判断し、ターゲットに関連する距離情報または速度情報の少なくとも一方を抽出する。
【0009】
本開示の一部の実施形態では、ポイントクラウドの使用が示されているが、本発明の実施形態はこれに限定されず、ポイントセットなどの使用も含まれる可能性があるが、これに限定されない。
【0010】
本開示のこれらおよび他の態様は、以下に簡潔に説明される添付の図とともに、以下の詳細な説明を読むことによって明らかになる。本開示は、本開示に規定される特徴または要素が、本明細書に記載された特定の例示的な実装において明示的に組み合わされるか、または他の方法で説明されるかにかかわらず、2つ、3つ、4つまたはそれ以上の特徴または要素の任意の組合せを含む。本開示は、その全体を総合的に読むことが意図されており、本開示のいかなる態様や例においても、分離可能な特徴や要素は、開示の文脈が明確に異なることを示していない限り、組み合わせることができると見なすべきである。
【0011】
したがって、要約は、いくつかの例を要約し、本開示の一部の態様を基本的に理解するためのものであり、本開示の範囲や趣旨を制限または狭めることなく提供されていることが理解されるであろう。他の例、態様、および利点は、記載された実施例の原理を説明する添付の図と合わせて考慮することで、以下の詳細な説明から明らかになるであろう。
【図面の簡単な説明】
【0012】
本発明の種々の態様を明確にするために、後述の詳細な説明(実施形態)で参照される図面を示す。なお図中の同一の符号は同一の要素である。
【0013】
【
図1A】本開示の実施形態による例示的なLIDARシステムを例示するブロック図である。
【0014】
【
図1B】本開示の実施形態によるLIDARシステムのポイントクラウドフィルタリングモジュールの一例を例示するブロック図である。
【0015】
【
図2】本開示の実施形態によるFMCW LIDAR波形の一例を示す時間-周波数図である。
【0016】
【
図3A】本開示の実施形態によるポイントクラウドフィルタの一例を示すブロック図である。
【0017】
【
図3B】本開示の実施形態によるポイントクラウドフィルタのフィルタコアの一例を示すブロック図である。
【0018】
【
図4A】本開示の実施形態によるフィルタコアの一例を示すブロック図である。
【0019】
【
図4B】本開示の実施形態によるフィルタコアの別の例を示すブロック図である。
【0020】
【
図5A】本開示の実施形態によるフィルタコアのさらに別の例を示すブロック図である。
【0021】
【
図5B】本開示の実施形態によるフィルタコアのまたさらに別の例を示すブロック図である。
【0022】
【
図6】本開示の実施形態によるポイントクラウドフィルタのフィルタリングのプロセスの一例を示す流れ図である。
【0023】
【
図7】本開示の実施形態によるポイントクラウドをフィルタリングするプロセスの一例を示すブロック図である。
【発明を実施するための形態】
【0024】
以下の詳細な説明を参照して本開示の様々な実施形態および態様について説明し、添付の図面により様々な実施形態を説明する。以下の説明および図面は、本開示を例示するものであり、本開示を限定するものではない。本開示の様々な実施形態の完全な理解を提供するために、多数の具体的な内容が説明される。しかし、ある場合には、本開示の実施形態の簡潔な考察を提供するために、周知または慣用的な内容については記載しない。
【0025】
本明細書で説明するLIDARシステムは、輸送、製造、計測、医療、仮想現実、拡張現実、およびセキュリティシステムなどの任意のセンシング市場において実施することができるが、これらに限定されるものではない。
いくつかの実施形態によれば、上述したLIDARシステムは、自動運転支援システム、または自動運転車の空間認識を支援する周波数変調連続波(FMCW)デバイスのフロントエンドの一部として実装される。
【0026】
図1は、本開示の例示的な実施態様によるLIDARシステム100を示す。
LIDARシステム100は、多数の構成要素のいずれか1つまたは複数を含むが、
図1に示すよりも少ない構成要素または追加の構成要素を含んでもよい。いくつかの実施形態によれば、LIDARシステム100に関して本明細書で説明した構成要素の1つ以上は、フォトニクスチップ上に実装することができる。光学回路101には、能動光学構成要素と受動光学構成要素との組み合わせが含まれている。いくつかの例では、能動光学構成要素は、異なる波長の光ビームを有し、1つ以上の光増幅器、1つ以上の光検出器などを含んでいる。
【0027】
自由空間光学系115には、光信号を送信し、能動光回路の適切な入力/出力ポートに光信号をルーティングして操作するための1つ以上の光導波路が含まれている。自由空間光学系115には、タップ、波長分割マルチプレクサ(WDM)、スプリッタ/コンバイナ、偏光ビームスプリッタ(PBS)、コリメータ、カプラなどの1つ以上の光学構成要素が含まれている。
一態様では、自由空間光学系115には、偏光状態を変換し、受信した偏光を、例えば、PBSを用いて光検出器に導くための構成要素が含まれている。自由空間光学系115は、異なる周波数を有する光ビームを異なる角度で偏向させるための回折素子をさらに含んでもよい。
【0028】
本実施形態のLIDARシステム100は、1つ以上のスキャニングミラーを有する光スキャナ102を備えている。これらのスキャニングミラーは、スキャニングパターンに従って環境をスキャンする光信号を誘導するために、回折素子の速軸に直交または実質的に直交する軸(例.低速軸)に沿って回転可能になっている。例えば、スキャニングミラーは、1つ以上のガルバノメータによって回転可能である。
ターゲット環境内の対象物は、入射光を散乱させてリターン光ビームやターゲットリターン信号にすることがある。また、光スキャナ102は、リターン光ビームまたはターゲットリターン信号を収集し、これは光学回路101の光回路構成要素に戻される場合がある。例えば、リターン光ビームは、偏光ビームスプリッタによって光検出器に向けられる。なお、光スキャナ102には、ミラーやガルバノメータに加えて、1/4波長板、レンズ、反射防止コーティングされた光学窓などが含まれる場合がある。
【0029】
LIDARシステム100には、光学回路101および光スキャナ102を制御およびサポートするために、LIDAR制御装置110が設けられている。LIDAR制御装置110には、LIDARシステム100に必要な処理装置が含まれている。一態様では、処理装置は、マイクロプロセッサ、中央処理装置などの1つ以上の汎用処理装置である。より具体的には、複合命令セットコンピューティング(CISC)マイクロプロセッサ、縮小命令セットコンピューティング(RISC)マイクロプロセッサ、超長命令語(VLIW)マイクロプロセッサ、または他の命令セットを実装するプロセッサ、または命令セットの組み合わせを実装するプロセッサである。また、上記処理装置は、特定用途向け集積回路(ASIC)、フィールドプログラマブルゲートアレイ(FPGA:現場プログラム可能ゲートアレイ)、デジタル信号プロセッサ(DSP)、ネットワークプロセッサ等の特殊用途処理装置の1つ以上であってもよい。
【0030】
一態様では、LIDAR制御装置110には、デジタルシグナルプロセッサ(DSP)などの信号処理ユニット112が設けられる。これにより、LIDAR制御装置110は、光学ドライバ103を制御するためのデジタル制御信号を出力する。そのデジタル制御信号は、信号変換ユニット106を介してアナログ信号に変換される。例えば、信号変換ユニット106には、デジタル/アナログ変換器が含まれる。光学ドライバ103は、光学回路101の能動光学構成要素に駆動信号を供給し、レーザや増幅器などの光源を駆動する。一態様では、複数の光源を駆動するために、複数の光学ドライバ103および信号変換ユニット106を設けてもよい。
【0031】
LIDAR制御装置110はまた、光スキャナ102に対してデジタル制御信号を出力するように構成されている。モーション制御装置105は、LIDAR制御装置110から受信した制御信号に基づいて、光スキャナ102のガルバノメータを制御することができる。具体的には、デジタル/アナログ変換器を用いて、LIDAR制御装置110からの座標ルーティング情報を、光スキャナ102のガルバノメータによって処理可能な信号に変換することができる。一態様では、モーション制御装置105は、光スキャナ102の構成要素の位置または動作に関する情報をLIDAR制御装置110に送り返すこともできる。具体的には、アナログ/デジタル変換器を用いて、ガルバノメータの位置に関する情報をLIDAR制御装置110が処理可能な信号に順次変換することができる。
【0032】
LIDAR制御装置110は、さらに、入力されたデジタル信号を解析するように構成されている。これに関連して、LIDARシステム100には、光学回路101によって受信された1つ以上のビームを測定するための光受信器104が設けられている。具体的には、光受信器104としての基準ビーム受信器は、能動光学構成要素からの基準ビームの振幅を測定し、アナログ/デジタル変換器により、同基準ビーム受信器からの信号を、LIDAR制御装置110によって処理可能な信号に変換する。
また、光受信器104としてのターゲット受信器は、ビート周波数変調光信号の形でターゲットの距離と速度に関する情報を搬送する光信号を計測する。この場合、光信号の反射ビームは、局部発振器からの信号と混合されてもよい。光受信器104には、ターゲット受信器からの信号をLIDAR制御装置110によって処理可能な信号に変換する高速アナログ/デジタル変換器を設けることができる。
一態様では、光受信器104からの信号は、LIDAR制御装置110に受信される前に、信号調整ユニット107による信号調整の対象となり得る。例えば、光受信器104からの信号は、リターン信号の増幅のために信号調整ユニット107のオペアンプに供給され、そのオペアンプによって増幅された信号がLIDAR制御装置110に供給されるようにしてもよい。
【0033】
一部のアプリケーションでは、LIDARシステム100には、環境の画像をキャプチャするように構成された1つ以上の撮像装置108、同システムの地理的位置を提供するように構成された全地球測位システム(GPS)109、または他のセンサ入力を追加的に設けることもできる。
また、LIDARシステム100には画像処理装置114を設けることができる。この場合、同画像処理装置114は、撮像装置108および全地球測位システム(GPS)109から画像および地理的位置を受信し、画像および位置またはそれに関連する情報を、LIDAR制御装置110またはLIDARシステム100に接続された他のシステムに送信するように構成することができる。
【0034】
いくつかの実施例による動作では、LIDARシステム100は、非縮退光学光源を用いて2次元で距離および速度を同時に測定するように構成される。この機能により、周囲環境の距離、速度、方位角および仰角について遠距離測定がリアルタイムで可能になる。
【0035】
いくつかの例では、スキャンプロセスは、光学ドライバ103およびLIDAR制御装置110から開始される。LIDAR制御装置110は、光学ドライバ103に1つ以上の光ビームをそれぞれ変調するように指示し、これらの変調信号は光学回路101の受動光学回路を通って自由空間光学系115のコリメータに送信される。同コリメータは、上記変調信号を光スキャナ102に誘導し、光スキャナ102はモーション制御装置105によって定義され予めプログラムされたパターンで環境をスキャンする。
光学回路101には、光が光学回路101を出る際に光の偏光状態を変換する偏光波長板(PWP)を設けてもよい。一態様では、偏光波長板は、1/4波長板または半波長板であってもよい。
偏光された光ビームの一部は、光学回路101に戻るように反射される場合もある。例えば、LIDARシステム100で使用されるレンズ系またはコリメート系は、自然な反射特性または反射コーティングを有する場合があり、これにより光ビームの一部が光学回路101に反射される。
【0036】
環境から反射された光信号は、光学回路101を通して受信器(光受信器104)に送られる。このとき、光の偏光状態は変換されているため、光学回路101に反射して戻ってきた偏光光の一部とともに偏光ビームスプリッタで反射される。その結果、反射された光信号は、光源と同じ光ファイバまたは導波路には戻らず、それぞれ別の光受信器に反射される。これらの信号は互いに干渉し、合成された信号を生成する。
ターゲットから戻ってくる各ビーム信号は、時間シフトされた波形を生成し、これら2つの波形間の時間的位相差によって光受信器(光検出器)で計測されるビート周波数が生成される。そして、その合成された信号は光受信器104に反射させることができる。
【0037】
光受信器104で受信したアナログ信号は、ADC(アナログ/デジタル変換器)によりデジタル信号に変換される。次いで、同デジタル信号は、LIDAR制御装置110に送信される。同装置の信号処理ユニット112は、同デジタル信号を受信しそれらを処理する。一態様では、信号処理ユニット112は、モーション制御装置105およびガルバノメータ(図示されない)から位置データを受信し、画像処理装置114から画像データを受信する。
これにより、信号処理ユニット112は、光スキャナ102が追加ポイントをスキャンする際に、環境内のポイントの距離と速度に関する情報を有する3Dポイントクラウドを生成することができる。信号処理ユニット112はまた、3Dポイントクラウドを画像データと重ね合わせて、周囲の対象物の速度および距離を判断する場合もある。このシステムはさらに衛星ベースのナビゲーション位置データを処理して正確な全地球的位置情報を提供する場合もある。
【0038】
図1Bは、本開示の実施形態によるLIDARシステムにおけるポイントクラウドフィルタリングモジュール140の一例を示すブロック
図100bである。
信号処理ユニット112は、ポイントクラウドフィルタリングモジュール140を含んでもよい。ポイントクラウドフィルタリングモジュールは信号処理ユニット112内に存在するものとして描かれているが、本開示の実施形態はそのように限定されない。例えば、一実施形態では、ポイントクラウドフィルタリングモジュール140は、システム100(例えば、LIDAR制御システム110)内のコンピュータメモリ(例えば、RAM、ROM、フラッシュメモリなど)に存在し得る。
【0039】
図1Bを参照すると、ポイントクラウドフィルタリングモジュール140は、1つ以上のフィルタを使用して、ポイントのセットから近傍データポイントを選択し、指標を計算し、ポイントのセットまたはポイントクラウドへの受け入れ、修正、除去および/または送信に関する判断を行う機能を含む。
【0040】
例えば、ポイントクラウドフィルタリングモジュール140は、フィルタ121を含むことができる。いくつかの状況では、ポイントクラウドフィルタリングモジュール140は、フィルタ121において、ポイントクラウドからPOIのセットを受け取る(例えば、取得、入手、生成など)ことができ、POIのセットの各POIは1つ以上のポイントを含む。
フィルタ121は、特定のポイントクラウドによって提供される所定のPOIのセットのPOIをフィルタリングする機能を含む。
【0041】
図1Bに描かれているように、フィルタ121は、近傍コンテキストモジュール122、指標計算モジュール123および判断モジュール124を備えている。近傍コンテキストモジュール122は、POIの近傍ポイントのセットを選択する機能を有する。指標計算モジュール123は、与えられた近傍ポイントのセットに対して1つ以上の指標を計算する機能を有する。
【0042】
判断モジュール124は、特定の指標に基づいて、とりわけ、POIを受け入れるか、POIを修正するか、POIを拒否するか、または、POIを後続フィルタ(図示せず)に送信するかを判断するための機能を有する。
いくつかの状況では、特定のフィルタモジュールでPOIが受け入れられるか、または、修正されることを条件に、判断モジュール124は、POIを別のポイントクラウドに送信する機能を有する。いくつかの状況では、POIが特定のフィルタで拒否されることを条件として、判断モジュール124は、POIが特定のポイントクラウド、たとえば出力ポイントクラウドに到達することを阻止するように構成される。
【0043】
いくつかの状況では、POIが特定のフィルタで受け入れられず、修正されず、または拒否されることを条件として、判断モジュール124は、POIを受け入れ、修正し、または拒否するかどうかを判断するために、後続のフィルタモジュールに送信するように構成される。
【0044】
図2は、一実施形態において、LIDARシステム100のようなLIDARシステムがターゲット環境をスキャンするために使用可能なFMCWスキャニング信号201の時間-周波数
図200である。この例において、f
FM(t)と表示されたFMCWスキャニング信号201は、チャープ帯域幅Δf
Cおよびチャープ周期Tを持つ鋸歯状波形(鋸歯「チャープ」)である。鋸歯の傾きは、k=(Δf
C/T)である。
図2にはまた、一実施形態におけるターゲットリターン信号202が示される。
f
FM(t-Δt)で示されるターゲットリターン信号202は、FMCWスキャニング信号201の時間遅延バージョンであり、Δtは、FMCWスキャニング信号201によって照射されたターゲットとの間の往復時間である。この往復時間は Δt=2R/vで与えられる。ここで、Rはターゲットの距離、vは光ビームの速度である光速cである。
したがって、同ターゲットの距離Rは、R=c(Δt/2) として計算できる。
ターゲットリターン信号202がFMCWスキャニング信号と光学的に混合されると、距離依存の差周波数(「ビート周波数」)Δf
R(t)が生成される。
ビート周波数Δf
R(t)は、鋸歯の傾きkによって時間遅延Δtと線形の関係にある。つまり、ΔfR(t)=kΔtとなる。
ターゲットの距離RはΔtに比例するので、ターゲットの距離RはR=(c/2)(Δf
R(t)/k)として算出することができる。つまり、距離Rはビート周波数Δf
R(t)と線形の関係にある。
ビート周波数Δf
R(t)は、例えば、LIDARシステム100の光受信器104でアナログ信号として生成される。このビート周波数は、例えば、LIDARシステム100の信号調整ユニット107内のアナログ/デジタル変換器(ADC)によってデジタル化される。このようにしてデジタル化されたビート周波数信号は、LIDARシステム100内の信号処理ユニット(例えば、信号処理ユニット112)でデジタル処理される。
ただし、ターゲットがLIDARシステム100に対して相対速度を有する場合、ターゲットリターン信号202には一般に周波数オフセット(ドップラーシフト)が含まれる。ドップラーシフトは別途検出されてリターン信号の周波数を補正するために使用されるため、
図2では簡略化と説明の容易化のためドップラーシフトは表示されていない。
また、ADCのサンプリング周波数は、エイリアシングを発生させずにシステムで処理可能な最高のビート周波数に決定される。一般的に処理可能な最高周波数はサンプリング周波数の半分(すなわち「ナイキスト限界」)である。
例えば、限定はしないが、ADCのサンプリング周波数が1ギガヘルツである場合、エイリアシングなしで処理できる最高ビート周波数(Δf
Rmax)は500メガヘルツである。この限界は、システムの最大ターゲット距離R
max=(c/2)(Δf
Rmax/k)で決まり、これは鋸歯の傾きkを変更することによって調整することができる。
一例では、ADCからのデータサンプルは連続的であってもよいが、後述する後続のデジタル処理は、LIDARシステム100の所定の周期性に関連付けることができる「時間セグメント」に分割することができる。例えば、限定はしないが、時間セグメントは、チャープ周期Tの数、または前述の光スキャナによる方位角方向の回転数に対応する。
【0045】
図3Aは、本開示の実施形態によるポイントクラウドフィルタ(例えば、フィルタ310)の使用を含むシステム300aを示すブロック図である。
いくつかの状況では、ポイントクラウド(例えば、311)は、光スキャニングシステム(例えば、LIDARシステム100)の1つ以上の構成要素を用いて収集されたシーン内のデータポイント(またはポイント)のセットである。本開示では、「データポイント」および「ポイント」という用語が互換的に使用される。
【0046】
各ポイントは、座標のセット、例えば、(X、Y、Z)および/または(距離、方位角、仰角)を有し、これらの座標はLIDARシステム100によって使用され、LIDARシステム100が用いる1つ以上のセンサの位置に対してポイントの場所をシーン内で決定するのに用いられる。また、速度、強度、反射率、記録時間、メタデータなどの付加的な属性も、特定のポイントについて計算することができる。真の検出(TD)ポイントは、地面、枝葉などのオブジェクトまたはシーンのセグメントを表すシーン内のポイントである。誤報(FA)ポイントとは、シーン内の真偽不明の検出点、例えば、ゴーストポイント、ノイズポイントなどである。FAポイントは、シーンのオブジェクトやセグメントと関連付けることができない。
【0047】
いくつかの状況では、ポイントクラウド(例:FMCW LIDARポイントクラウド)には、主に不正確なピークマッチングから生じる特徴的なノイズパターンがある。これにより、何も存在しない場合でも、シーンにFAポイント(誤検出ポイント)が表示されることがある。
例えば、FMCW LIDARシステムがフェンスやブッシュに対応するポイントをスキャンする場合、LIDARシステムとフェンスの間のシーンでは、多数のFAポイント、例えばゴーストポイントが現れることがある。FA点は、真の検出(TD)ポイントとは異なる特徴を持っている。
本明細書でより詳細に説明するように、本開示の実施形態は、これらの区別できる特徴を利用してこれらのポイントおよび領域を特定し、その後、TDポイントをそのままにしてポイントクラウドからこれらを修正または除去することができる。その結果として得られるポイントクラウド(例えば、フィルタリングされたポイントクラウド319)は、FAポイントを除いた元のポイントクラウド(例えば、ポイントクラウド311)をフィルタリングしたものである。
【0048】
本明細書で説明したように、本実施形態によって実行されるポイントクラウドのフィルタリングは、指標について所定の閾値を満たさないポイントをポイントクラウドから除去することができる。例えば、フィルタは、ポイントクラウドを処理し、フィルタリングされたポイントクラウドを出力するフィルタリング技術またはアルゴリズムを指す場合がある。いくつかの実施形態において、フィルタは、ポイントクラウドが処理され、例えば、指標について所定の閾値を満たさないポイントが除去され、フィルタリングされたポイントクラウドが出力される工程を含む。本明細書で説明する実施形態によって生成されるフィルタリングされたポイントクラウドでは、一部のポイントが修正され、一部のポイントが削除される場合がある。
【0049】
実施形態に従って本明細書で説明するフィルタ処理は、一度に所定数のポイント、例えば、単一のポイントまたは複数のポイントを処理することができる。フィルタは所定時間で所定数のデータポイントで作用するように構成されており、そのポイントの中にはPOIが含まれている。各POIは、1つ以上のポイントを含む。POIは、実施形態によって、速度閾値などの所定の閾値または他のタイプの自明な識別子に基づいて特定され得る。本明細書に記載のフィルタは、一度にPOIで作用するように構成することができ、POIは、単一のポイントまたは複数のポイントを含む。
【0050】
詳細は後述するが、ポイントクラウドから1つ以上のポイントを受け取ると、ここで説明するフィルタは、所定の時間に、POI、単一のポイント、または複数のポイントのいずれかに作用する。これらのフィルタは、POIの近傍からのポイントを用いるように構成することができ、フィルタにはコンテキストを提供するために統計情報が提供される場合がある。フィルタは、POIに対して行われる判断にコンテキスト情報を用い、POIの特性が近傍ポイントと一致するかどうかをチェックするように構成することができる。フィルタは、POIと近傍ポイントとの整合性を確認することによりPOIに関する判断を行うが、コンテキスト情報は、その判断を支援することができるPOIの周囲のコンテキストデータを含む。
本明細書に記載の実施形態は、これらの統計/特性を定量化するために異なる指標を用いるように構成することができる。ポイントクラウドとは異なる特性を持つFAポイントを特定するために、複数のフィルタを使用することができる。
そして、その特定されたFAポイントは、説明された実施形態によって、その後、ポイントクラウドから修正または削除される。その結果として得られるポイントクラウドは、FAのないオリジナルのポイントクラウドのフィルタリングされたバージョンである。
【0051】
例えば、
図3Aの実施形態に描かれているように、ポイントクラウド311は、例えば、フィルタ310によって受信される。ある状況では、フィルタ310は、ポイントクラウドフラグメンター312、POIディスパッチャ-313、フィルタコア315、POIコレクタ-316、および/またはポイントクラウドビルダー317を有する。ポイントクラウド311は、ポイントクラウドフラグメンター312に供給され、このポイントクラウドフラグメンター312はフィルタ310が作用するポイントクラウド311の領域を特定し、POIディスパッチャ-313に送信する1つ以上のPOIを作成する。フィルタ310が作用しないポイントクラウド311の一部は、ポイントクラウドビルダー317に伝達または転送される。
ポイントクラウドフラグメンター312は、ポイントクラウド311のうち、FAポイントを有する可能性のある領域を特定し、これにより、フィルタが作用すべきPOIのセットを特定する。ポイントクラウドフラグメンター312は、事前に設定された閾値、例えば、速度の閾値に基づいて、フィルタ310が作用する領域内のPOIのセットを特定する。例えば、フィルタ310が速度>10m/sの総てのポイントに作用する場合、ポイントクラウドフラグメンター312は速度<10m/sの任意のポイントを無視するように構成される。
そして、無視されたポイントは、ポイントクラウドフラグメンター312とポイントクラウドビルダー317との間のリンク318を介してポイントクラウドビルダー317に送信(例えば、伝送)される。フィルタ310が作用しなかったポイントは、フィルタ310によって承認されたとみなされ、そのためフィルタリングされたポイントクラウド319に存在する。
【0052】
ある状況では、POIのサイズが選択される場合がある。例えば、POI内のポイントの数量が選択されることがある。そして、ポイントクラウド311のうち、フィルタ310が作用することになる領域が特定される。POIのサイズと領域情報は、ポイントクラウドフラグメンター312が、ポイントクラウド311を、フィルタコア315の作用するPOIのセットに断片化するのに役立つ場合がある。
【0053】
POIディスパッチャー313は、ポイントクラウドフラグメンター312からPOIを受け取り、1つずつフィルタコア315に送信して処理させる。状況によっては、このディスパッチ機構を複数のスレッド/グラフィック・プロセッシング・ユニット(GPU)コアやフィールド・プログラマブル・ゲート・アレイ(FPGA)上で並列化し、高速処理を行うこともある。
実施形態によって選択されるディスパッチ戦略は、フィルタコア315がPOI上でどのように動作するかに依存する。状況によっては、複数のスレッドまたはGPUコアを処理するために、複数のフィルタコアを初期化することがある。これらの状況では、POIディスパッチャ-313は、この調整を処理するように構成され得る。
【0054】
フィルタコア315は、フィルタ310の1つ以上のモジュールを収容しており、後述するように各モジュールはPOIを処理するように個別に構成されている。フィルタコア315は、フィルタが行う近傍コンテキスト戦略、指標、および判断の組み合わせを選択するように設定することができる。その組み合わせは、フィルタが対象とするように構成されたノイズパターンに依存する場合がある。
【0055】
いくつかの実施形態では、フィルタ310は、承認、修正、拒否、または、引き継ぎ(別のフィルタに送信)を含む、POIに関する決定を行うように構成される。POIが処理されると、フィルタは、POIに対して行われた決定(例えば、承認、修正、拒否、または、デリゲート(委任)を含むがこれらに限定されない)を含む「フィルタリングされたPOI」を決定する。
【0056】
POIコレクタ-316は、フィルタコア315から受信したフィルタリングされたPOIを収集し、例えば、総てのPOIが処理されると、フィルタリングされたPOIをポイントクラウドビルダ-317に送るように構成されている。
【0057】
ポイントクラウドビルダー317は、POIの承認された総てのポイント、およびポイントクラウドフラグメンター312から受け取ったバイパスされたPOIから、フィルタリングされたポイントクラウド319を構築するように構成されている。フィルタ310からは、フィルタリングされたポイントクラウド319が出力される。
いくつかの状況では、フィルタ310によって拒否されたポイントがポイントクラウド311から除去されることがあるので、フィルタリングされたポイントクラウド319は、ポイントクラウド311よりも少ない数のポイントクラウドを有する場合がある。ポイントクラウドビルダー317は、ポイントクラウドフラグメンター312と協調して動作するように構成することができる。ポイントクラウドビルダー317は、フィルタコア315によって処理されていないポイントに関連する情報を受け取るように構成されている。
【0058】
フィルタ310は、システム全体の待ち時間を短縮するために、POIフレーム全体が構築されるのを待つのではなく、より小さなポイントグループに対して選択的に動作するように構成されることもある。
【0059】
図3Bは、本開示の実施形態によるフィルタ310のフィルタコア315の一例を示すブロック図である。
フィルタコアは、特定の特性を持つノイズを対象とするように構成される場合がある。複数のフィルタコアを設計して、状況に潜在する様々なノイズパターンに対処することができる。本明細書に記載されるようなフィルタの機能は、フィルタコアによって包含され得る。本明細書では、「フィルタ」および「フィルタコア」という用語が互換的に使用されることがある。
いくつかの実施形態では、フィルタコア315は、近傍コンテキストモジュール322、指標計算モジュール323、および判断モジュール324を含む。近傍コンテキストモジュール322は、POIの近傍ポイントのセットを選択するように構成されている。指標計算モジュール323は、近傍ポイントのセットの指標を計算するように構成されている。判断モジュール124は、指標に基づいて、POIを受け入れるか、POIを修正するか、POIを拒否するか、またはPOIを別のフィルタに送信するかを決定するように構成されている。
【0060】
いくつかの実装では、フィルタコア315は、一度に1つのPOIのみを処理するように構成される場合がある。近傍コンテキストモジュール322は、複数の近傍POI、近傍POIの統計の1つ以上、および/またはポイントクラウド311全体を受信するように構成することもできる。このコンテキスト情報は、近傍ポイントと特徴が一致しているかどうかを確認することで、POIの判断に用いることができる。
いくつかの例では、フィルタが処理するノイズの種類について、本明細書に記載の実施形態によって指標が使用される場合がある。POIを処理した後、判断モジュール124は、POIを受け入れる、修正する、破棄する、または送信する(引き継ぐ)ことを含むがこれらに限定されない1つ以上の動作を実行するように構成される。
【0061】
図4Aは、本開示の実施形態に従って使用されるフィルタコア415aを含むシステム400aのブロック図である。
本開示において、「フィルタ」および「フィルタコア」という用語は、互換的に使用される。いくつかの実施形態によれば、フィルタは、例えば、近傍データポイントの異なる選択、異なる指標、および/または判断の組み合わせに基づくポイントクラウド内のPOIのセットに対して動作する。本明細書に記載された例は、説明のためのものに過ぎない。本開示に基づくフィルタコアの他にも、多くの異なる実施形態が存在する可能性がある。
【0062】
図4Aに示されているように、フィルタコア415aは、近傍コンテキストモジュール422a、指標計算モジュール423a、および判断モジュール424aを含んでいる。近傍コンテキストモジュール422aは、POI430aの近くのポイントのウィンドウ、例えば、同じ方位角/仰角のいずれかを有するPOIの周囲のデータポイントのウィンドウを選択するように構成される場合がある。
【0063】
指標計算モジュール423aは、POIおよび選択された近傍データポイントにわたるポイント特性、例えば、速度の類似性に基づいて信頼度指標を計算するように構成されている。フィルタコア415aは、POIが近傍ポイントと極端に異ならない特性を有するか否かを確認するように構成されてもよい。例えば、POIの速度の最小値、最大値、または距離が、近傍点の最小値、最大値、または距離に対してそれぞれ所定の閾値内にある場合、POIの信頼度指標は高いと判定される。
【0064】
判断モジュール424aは、信頼度指標に基づいて、POIを受け入れるか、POIを修正するか、POIを拒否するか、またはPOIをフィルタコア、例えば515aにデリゲート/送信するかを決定するように構成されている。そのPOIの信頼度指標が高いと判断した場合、そのPOIを承認する。例えば、信頼度指標が第1の所定の閾値内にある場合、POI430aは受け入れられ、フィルタリングされたPOI440aになる。信頼度指標が第1の所定の閾値内にあるが、特定の所定の閾値内で近傍コンテキストとの不整合が検出された場合、POIに修正が加えられることがある。例えば、距離および/または速度などのポイント特性を修正することができる。
POIの信頼度指標が近傍ポイントと一致しない場合、例えば、第2の所定の、または、指定された閾値と一致しない場合、POIはFAとして分類される。そのPOIは破棄されるか、取り除かれるか、またはフィルタリングされる。
【0065】
決定を下すことができないが、POIが疑わしいと判断された場合、POIは、デリゲートされたPOI450aとしてマークされ、後続のフィルタコア、例えば、フィルタコア515aに送信(例えば、デリゲート)される。そのPOIは、後続のフィルタコア515aに渡されてもよい。フィルタコア、例えば後続のフィルタコア515aは、POIを受け入れる、修正する、または拒否する決定を行うように構成される。このように判断をデリゲートすることで、後続のフィルタコア515aは、全体のポイントクラウドではなく、ポイントのサブセット(つまり、未決定または送信されたPOI)に対してのみ動作するため、後続のフィルタコア515aの負荷を軽減することができる。
【0066】
図4Bは、本開示の実施形態に従って用いられるようなフィルタコア415bを含むシステム400bのブロック図である。
図4Bは、本明細書に記載されたそれぞれのハードウェア/ソフトウェアプロファイルに基づいてフィルタが実行できる機能の種類を示す追加の例を提供する。例えば、フィルタは、計算時間、消費電力などの制約条件に基づいて、本明細書に記載された処理を実行するように構成することができる。
【0067】
図4Bを参照すると、フィルタコア415bは、近傍コンテキストモジュール422b、指標計算モジュール423b、および判断モジュール424bを含んでいる。近傍コンテキストモジュール422bは、POI430bに対して近傍の選択をバイパスするように構成することができる。指標計算モジュール423bは、POIが非常に低い速度(第1の所定の閾値、例えば、1m/sより低い)を有するか、または、POIポイントが非常に高い速度(第2の所定の閾値、例えば、100m/sより高い)を有するかをチェックするように構成することができる。
判断モジュール424bは、POIが非常に低い速度を有する場合にPOIを承認し、そのPOIはフィルタリングされたPOI440bになる。判断モジュール424bは、POIポイントが非常に高い速度を有する場合、POIを拒否するように構成することができる。判断モジュール424bは、例えば、第1の所定の閾値と第2の所定の閾値との間にある速度を有する任意のPOIをデリゲート(送信)するように構成することもでき、その後、POIはデリゲートされたPOI450bとなる。シーンの大部分は通常静的であるため、ノイズの多い動的なポイントは、後続のフィルタコア、例えば515bで対処することができる。
【0068】
図5Aは、本開示の実施形態に従って用いられるようなフィルタコア515aを含むシステム500aのブロック図である。
例えば、ここで
図5Aを参照すると、一実施形態では、フィルタコア515aは、近傍コンテキストモジュール522a、指標計算モジュール523a、および判断モジュール524aを含んでいる。近傍コンテキストモジュール522aは、デリゲートされたPOI530a(例えば、450a)のために3次元空間の近傍を選択するように構成されている。近傍のデータポイントを取得するために、総てのPOIに対して検索ツリー(KDツリー、Octツリー、またはそのバリエーション)を構築することができる。
【0069】
指標計算モジュール523aは、速度、強度、または距離などを含むポイント特性の分散を演算するように構成されている。POI特性の分散は、3次元空間の近傍で演算または計算することができる。そのPOI特性は、データポイント/POIの速度、強度、距離、あるいは歪度や尖度などの高次のモーメントを含むことができる。POI特性(例えば、速度または強度)の分散は、近傍(例えば、近傍データポイント)を対象に計算される場合がある。
【0070】
判断モジュール524aは、信頼度指標に基づいて、POIを受け入れるか、POIを修正するか、POIを拒否するか、またはPOIを別のフィルタコアにデリゲート/送信するかを決定するように構成されている。データポイント/POI特性(例えば、速度または強度)の分散は、所定の閾値と比較することができる。POI特性(例えば、速度または強度)が所定の閾値より低い場合、データポイント/POIは、フィルタリングされたPOI540aになるように受け入れられ、または、承認される。フィルタリングされたPOI540aは、フィルタリングされたポイントクラウドに追加される。POI特性(例えば、速度または強度)が所定の閾値より低くない場合、データポイント/POIは拒否されることがある。判断がつかない場合は、POIは後続のフィルタコアに送信されることがある。
【0071】
図5Bを参照すると、フィルタコア515bは、近傍コンテキストモジュール522b、指標計算モジュール523b、および判断モジュール524bを含んでいる。
近傍コンテキストモジュール522bは、POI530bの周囲の同じ方位角または仰角にあるデータポイントのウィンドウを選択する。近傍コンテキストモジュール522bは、スキャンパターンに沿って隣接するポイントのウィンドウを選択する。いくつかの実施形態では、データポイントの追加の範囲を考慮するために、2次元または3次元空間の近傍を含む複数の近傍データポイントを選択することができる。
【0072】
スキャンパターンで隣接するポイントのウィンドウからのアップチャープ周波数とダウンチャープ周波数が記憶される。指標計算モジュール523bは、ポイントのウィンドウからのアップチャープ周波数またはダウンチャープ周波数の分散の指標を計算する。例えば、アップチャープ周波数の分散、またはダウンチャープ周波数の分散、またはアップチャープ周波数の分散とダウンチャープ周波数の分散との差は、それぞれの所定の閾値と比較される。
【0073】
アップチャープ周波数の分散、またはダウンチャープ周波数の分散、またはアップチャープ周波数の分散とダウンチャープ周波数の分散との間の差がそれぞれの所定の閾値より低くない場合、判断モジュール524bは、POIを拒否することを決定する。そうでなければ、データPOIは、フィルタリングされたPOI540bになることを承認されるか、別のフィルタ(図示せず)にデリゲート/送信されるかもしれない。
【0074】
図6は、本開示の実施形態によるポイントクラウドフィルタのフィルタリングのプロセスの一例を示す流れ図である。
ステップ602において、ポイントクラウドが、例えば、フィルタ121(
図1Bに図示されている)で受信される。ポイントクラウドは、複数のポイント/データポイントを含む。
【0075】
ステップ604では、ポイントクラウド内のPOIのセットが識別されるか、または、取得される。フィルタ(例えば、フィルタ121,315,415a,415b,515a,515b)は、例えば、ポイントクラウドにおけるPOIのセットの各POIを反復することによって、POIのセットの各POIをフィルタリングする。
【0076】
ステップ606において、フィルタの近傍コンテキストモジュール(例えば、122,322,422a,422b,522a,522b)において、POIの周囲における近傍POIのセットが選択される。例えば、POIの周囲における複数の近傍データポイントが選択される。近傍コンテキストモジュールは、近傍のPOIから、および/またはポイントクラウドから、ポイントを選択する。近傍のポイントは、フィルタの指標計算モジュール(例えば、123,323,423a,423b,523a,523b)にコンテキストを提供するために選択されなければならない。
【0077】
一実施形態では、同じ方位角または仰角にあるPOIの周囲のデータポイントのウィンドウが選択される。1次元配列のPOIの周囲の同じ方位角または仰角にある近傍データポイントのセットを選択することができる。
【0078】
一実施形態では、POIの周囲の2次元グリッドの近傍ポイントが選択される。また、POIの周囲の2次元グリッドにおける近傍データポイントのセットが選択される。
【0079】
一実施形態では、POIの周囲の3次元空間/グリッド近傍ポイントが選択される。また、POIの周囲の3次元空間/グリッドにおける近傍データポイントのセットが選択されることもある。近傍の近傍データポイントを取得するために、総てのポイントに対して探索ツリー(k次元(KD)ツリー、Octツリー、またはそのバリエーション)を構築することができる。
KDツリーは、k次元空間のデータポイントを整理するための空間分割データ構造である。KDツリーは、多次元的な検索キーを含む検索(範囲検索や最近傍検索など)やポイントクラウドの作成など、いくつかのアプリケーションで有用なデータ構造である。
Octツリーとは、各内部ノードがちょうど8個の子ノードを持つツリーデータ構造である。Octツリーは、3次元空間を8つのオクタント(八分木)に再帰的に分割するために最もよく用いられる。一実施形態では、POIの周囲の以前のフレームからの3次元時空間の近傍ポイントが選択される。
【0080】
ステップ608において、指標計算モジュール(例えば、123,323,423a,423b,523a,523b)において、近傍ポイントのセットに対する指標が計算される。POIの近傍が選択されると、近傍ポイントのセットの指標が計算される。例えば、FAポイントと正しい検出とを区別するために、1つ以上の特性が計算される。メトリックは、POIおよび/または近傍ポイントのセットの1つ以上の特性を含む。
【0081】
一実施形態では、速度、強度、距離、さらには歪度や尖度などの高次モーメントの分散を含むポイント特性の分散が計算される。ポイントの特性としては、速度、強度、距離、歪度や尖度などの高次モーメントなどを挙げることができる。指標は、速度、強度、距離、あるいは、歪度、尖度などの高次モーメントを含むポイント特性の分散を含む。
【0082】
一実施形態では、信頼度(例えば、信頼度指標または値)は、速度、強度、距離などを含む特性について、POIと選択された近傍データポイントの間で類似性がある場合に決定される。例えば、信頼度指標または値は、速度、強度または距離の類似性に基づいて決定することができる。その信頼度指標は、POIが近傍ポイントと極端に異ならない特性を持つかどうかをチェックする。例えば、POIの速度の最小値、最大値、または距離が、近傍ポイントとの速度の最小値、最大値、または類似性に対して、それぞれの所定の閾値内にある場合、POIの信頼度指標は高いと判定する。信頼度指標は、POIのポイント特性と近傍ポイントのポイント特性との類似性を示す。判断がつかない場合は、信頼度指標が低くなり、より複雑なフィルタを追加してそのようなPOIの判断を行うこともある。明らかに異常値であるPOIは拒否される場合がある。
【0083】
一実施形態では、特性(例えば、速度、強度、および距離)の絶対的な閾値が決定される。例えば、速度、強度、距離、または高次モーメント(歪度、尖度など)を含むPOI特性は、所定の閾値を有する。指標は、特性の絶対的な閾値を含む場合がある。
【0084】
一実施形態では、アップチャープ検出とダウンチャープ検出の両方に対して、分散、信頼度指標、周波数推定値および/または強度推定値の差などが決定される。例えば、スキャンパターンにおいて隣接するポイントのウィンドウからのアップチャープ周波数および/またはダウンチャープ周波数(
図2に示す)を記憶し、アップチャープ周波数および/またはダウンチャープ周波数の分散を計算することができる。指標は、アップチャープ検出とダウンチャープ検出の両方について、分散、信頼度指標、周波数推定値および/または強度推定値の差を含む。
【0085】
ステップ610では、フィルタの判断モジュール(例えば、124,324,424a,424b,524a,524b)において、POIが指標計算モジュール上で処理された後、POIに関する判断が行われる。POIを受け入れる、POIを修正する、POIを破棄する、POIを後続のフィルタにデリゲートまたは送信する、POIにスコアを付ける、などのオプションが利用可能な場合がある。
【0086】
POIの指標または特性が第1の所定のまたは指定された閾値内にある場合は、そのPOIはFAとして分類されない。したがって、そのPOIは正しい検出であると承認され、そのPOIはフィルタリングされたポイントクラウド(例えば、319)に送信される。
【0087】
POIの指標または特性が第1の所定のまたは指定された閾値内にあるが、近傍コンテキストとの軽微な不整合がある場合は、POIに対して軽微な修正が行われることがある。例えば、ポイントクラウドを平滑化するためにPOIを修正する。
【0088】
指標に基づくPOIの指標または特性が、近傍ポイントと一致しないか、または、第2の所定のまたは指定された閾値と一致しない場合は、そのPOIはFAとして分類される。そのPOIは破棄または削除またはフィルタリングされる。そのPOIは、フィルタリングされたポイントクラウドに存在しないようにする。
【0089】
判断ができないが、POIがFAである疑いがあることが判明した場合は、そのPOIはマークされるか、送信されるか、後続のフィルタにデリゲートされる。そのPOIは、その後に続くより複雑なフィルタに渡される可能性がある。その後続のフィルタは、POIを受け入れるか、修正するか、拒否するかを判断することができる。
【0090】
フィルタは、データポイント/POIがFAでない確率をスコアリングする場合がある。複数のフィルタからのPOIの複数のスコアを、例えば異なるアルゴリズムによってレビューし、複数のスコアのうちの1つが低い場合にそのPOIを削除することができる。
【0091】
ステップ612において、ポイントクラウド内の総てのPOIが処理されたかどうかが判断される。
【0092】
ポイントクラウド内のすべてのPOIが処理されていないと判断された場合、ステップ614において、フィルタは、別のPOIを取得し、ポイントクラウド内のすべてのPOIが処理されるまで、前述のステップ、例えば、ステップ604~610を繰り返す。ポイントクラウド内の総ての領域が処理されるまで、このステップが繰り返される。
【0093】
ポイントクラウド内の総てのPOIが処理されたとき、ステップ616では、フィルタリングされたポイントクラウドが出力される。
【0094】
フィルタは、近傍コンテキスト戦略、指標、およびフィルタが行える判断の特定の組み合わせを選択することによって選ばれる場合がある。
【0095】
一実施形態では、異なる距離は異なる特性を有する可能性があり、PD/FAポイントの期待値および/またはPOI特性の所定の閾値が距離によって異なるため、フィルタは、距離または方位角によって特定の距離で動作するように設計されている。従って、フィルタは距離によって異なる場合がある。一実施形態では、フィルタは、全体の待ち時間を短縮するために、ポイントクラウド全体が構築されるのを待つ代わりに、ポイントクラウドの一部に対して直ちに動作することができる。
【0096】
図7は、本開示の実施形態によるポイントクラウドをフィルタリングするプロセスの一例を示すブロック図である。
例えば、その処理は、
図1A-
図1Bに示したように、LIDARシステムの信号処理ユニット112によって実行される。この処理では、FA点を除去することで、推定されるターゲットの距離/速度の精度を向上させることができる。
【0097】
ブロック701において、ポイントクラウドのPOIのセットが、例えば、第1のフィルタにおいて受信される。POIのセットの各POIは、1つ以上のポイントを含む。一実施形態では、POIのセットを受信することは、所定の閾値に基づいてポイントクラウドのPOIのセットを識別することをさらに含む。
【0098】
ブロック702において、POIのセットの各POIは、フィルタリングされ、例えば、第1のフィルタにおいてフィルタリングされる。
【0099】
ブロック703において、POIの近傍ポイントのセットが選択される。
【0100】
ブロック704において、近傍ポイントのセットに対する指標が計算される。
【0101】
ブロック705において、指標に基づいてPOIを受け入れるか、POIを修正するか、POIを拒否するか、または、POIを第2のフィルタに送信するかを決定し、ターゲットに関連する距離または速度の情報の少なくとも一方を抽出する。
【0102】
ブロック706において、POIが第1のフィルタにおいて受け入れられるか、または修正された場合、POIは、フィルタリングされたポイントクラウドに送信され、ターゲットに関連する距離または速度の情報の少なくとも一方を抽出する。フィルタリングされたポイントクラウドは、出力ポイントクラウドとなる。一実施形態では、POIは、指標が当該指標に対して設定された第1の所定の閾値を満たすことに対応して、受け入れられ、または修正される。
【0103】
ブロック707において、POIが第1のフィルタにおいて拒否された場合、POIは、フィルタリングされたポイントクラウドに到達することを阻止される。一実施形態では、POIは、指標が当該指標に対して設定された第2の所定の閾値を満たさないことに対応して拒否される。
【0104】
ブロック708において、POIが第1のフィルタで受け入れられず、修正されず、または拒否された場合、POIは第2のフィルタに送信され、POIを受け入れるか、修正するか、または拒否するかどうかを判断し、ターゲットに関連する距離または速度の情報の少なくとも一方を抽出する。
【0105】
前述した説明では、本発明の実施形態を理解しやすくするために、特定のシステム、構成要素、方法などの具体例を複数示しているが、当業者であればこれらの具体例の説明がなくても本発明を実施することができる。また、公知の構成要素や方法はその詳細が省略され、または、単純なブロック図の形式で示されることがあるが、これは本発明の理解を容易にするためである。したがって、開示された内容は単に例示であり、一事例は他の例示と異なる場合があっても、本発明の範囲内に含まれると考えられる。
【0106】
本明細書において「一実施形態」または「実施形態」という表現が使用される場合、それらの実施形態に関連して説明された特定の特徴、構造、または特性が少なくとも一つの実施形態に含まれていることを意味する。したがって、本明細書のいくつかの箇所で「一実施形態において」または「実施形態において」という表現が現れている場合、必ずしも同じ実施形態を示すものではない。
【0107】
ここで説明されている方法の操作は特定の順序で示されているが、各方法の操作の順序は変更されることがあり、特定の操作を逆順で行ってもよいし、少なくとも一部の操作を他の操作と同時に行ってもよい。異なる操作の指示または補助的な操作は、断続的または交互に行うことができる。
【0108】
上記に記載されている発明の実施例についての説明は、要約に記載されている内容を含めて、詳細で網羅的であることを意図しているものではなく、開示された具体的形態に限定するものでもない。本発明の具体的な実施態様および実施例は、例示の目的で本明細書に記載されているが、当業者が認識する範囲で種々の同等な変更を行うことができる。ここで使用される「例」または「例示的」の語は、例、実例または説明として役立つことを意味するために使用されている。本明細書において「例」または「例示」と説明された態様または設計は、必ずしも他の態様または設計よりも好ましいまたは有利であると解釈されるべきではない。むしろ、「例」または「例示」という用語の使用は、概念を具体的な形で示すことを意図している。
本明細書において使用される「または」の用語は、排他的な「または」ではなく、包括的な「または」として解釈されることを意図している。つまり、特に指定されていない限り、あるいは文脈から明らかでない限り、「XはAまたはBを含む」という表現は、自然な包括的順列のいずれかを意味する。つまり、XがAを含む場合、XがBを含む場合、あるいはXがAおよびBの両方を含む場合、前述のいずれの場合にも、「XはAまたはBを含む」という条件を満たすことになる。
さらに、本明細書および添付された特許請求の範囲で使用される冠詞「a」および「an」は、特に指定されていない限り、文脈から単数形であることが明らかでない場合には「1つまたは複数」を意味するものと解釈される。
さらに、本明細書において「第1」、「第2」、「第3」、「第4」のような用語が使用される場合、これらの用語は異なる要素を区別するための識別子として使用されるもので、数字の指定に従って必ずしも順序を示すものではない。
【国際調査報告】