(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2024-10-04
(45)【発行日】2024-10-15
(54)【発明の名称】LIDARウィンドウにおける障害検出
(51)【国際特許分類】
G01S 7/497 20060101AFI20241007BHJP
G01S 17/34 20200101ALI20241007BHJP
G01S 17/931 20200101ALI20241007BHJP
【FI】
G01S7/497
G01S17/34
G01S17/931
(21)【出願番号】P 2023510492
(86)(22)【出願日】2020-08-31
(86)【国際出願番号】 US2020048737
(87)【国際公開番号】W WO2022035442
(87)【国際公開日】2022-02-17
【審査請求日】2023-08-28
(32)【優先日】2020-08-14
(33)【優先権主張国・地域又は機関】US
(73)【特許権者】
【識別番号】521095112
【氏名又は名称】エヴァ インコーポレイテッド
(74)【代理人】
【識別番号】100119792
【氏名又は名称】熊崎 陽一
(72)【発明者】
【氏名】クラウス ペリン ホセ
(72)【発明者】
【氏名】ビスワナサ クマール バルガブ
(72)【発明者】
【氏名】ムートリ ラジェンドラ ツシャール
(72)【発明者】
【氏名】レズク ミナ
【審査官】佐藤 宙子
(56)【参考文献】
【文献】特開2020-076589(JP,A)
【文献】独国特許出願公開第102017222618(DE,A1)
【文献】特開2003-307567(JP,A)
【文献】特開2011-022080(JP,A)
【文献】特開2020-118514(JP,A)
【文献】米国特許出願公開第2018/0284268(US,A1)
(58)【調査した分野】(Int.Cl.,DB名)
G01S 7/48- 7/51
G01S 17/00-17/95
G01C 3/00- 3/32
G01B 11/00-11/30
(57)【特許請求の範囲】
【請求項1】
光検出および測距(LIDAR)システムであって、
LIDARウィンドウを通して
周波数変調連続波(FMCW)光ビームを送信し、同光ビームの反射からのリターン信号を受信する光スキャナと、
前記リターン信号に応じて反射距離に依存した距離依存ベースバンド信号を生成する光処理装置と、
プロセッサ、およびこのプロセッサにより実行されるプログラム命令を格納するメモリを含む信号処理装置と、を備え、
前記プロセッサにより前記プログラム命令が実行されると、
前記周波数変調連続波(FMCW)光ビームの反射から受信した前記リターン信号が前記LIDARウィンドウ上またはその近傍の障害物により生じたものかどうかを
、前記障害物からの前記リターン信号に対応する前記距離依存ベースバンド信号内の閾値周波数に基づいて判定し、
前記障害物が前記LIDARシステムの使用に及ぼす影響を判定し、
加えて、前記障害物が前記LIDARシステムの使用に及ぼす影響を低減する指示を与えるように構成される、LIDARシステム。
【請求項2】
請求項1記載のLIDARシステムであって、前記リターン信号が前記LIDARウィンドウ上の障害物によって生じたものかどうかを判定するために、前記距離依存ベースバンド信号内の
前記閾値周波数よりも低い周波数を検出するように前記プロセッサにより指示される、LIDARシステム。
【請求項3】
請求項2記載のLIDARシステムであって、前記障害物が前記LIDARシステムの使用に及ぼす影響を判定するために、前記LIDARウィンドウで遮蔽された視野(FOV)と、前記障害物によって反射された光エネルギーとを特定する反射率マップを生成するように前記プロセッサにより指示される、LIDARシステム。
【請求項4】
請求項3記載のLIDARシステムであって、前記信号処理装置は、前記LIDARウィンドウにおける視野(FOV)の反射率マップを解析し、前記遮蔽された視野(FOV)が安全上重要な視野(FOV)であるかどうかを判定するとともに、前記視野の最大検出範囲が安全上重要な最小検出範囲よりも小さいかどうかを判定する、LIDARシステム。
【請求項5】
請求項4記載のLIDARシステムであって、車両搭載装置に設けられており、かつ、前記信号処理装置は、前記障害物が前記LIDARシステムの使用に及ぼす影響を低減するために、前記車両を減速させる、前記車両を停止させる、および前記LIDARウィンドウをクリーニングする、のうち一つ以上の指示を与える、LIDARシステム。
【請求項6】
請求項1記載のLIDARシステムであって、
前記光処理装置は、
周波数変調連続波(FMCW)光ビームを生成する光源と、
前記光源からのFMCW光ビームを受信する光カプラと、
前記光カプラに接続され、前記FMCW光ビームを前記光スキャナに送信するとともに、前記光スキャナから前記リターン信号を受信する偏光ビームスピリッタ(PBS)と、
前記偏光ビームスピリッタ(PBS)から受信するリターン信号と、前記光カプラから受信するFMCW光ビームのサンプル信号とを空間混合することにより前記距離依存ベースバンド信号を生成する光検出器(PD)と、を備える、LIDARシステム。
【請求項7】
請求項2記載のLIDARシステムであって、
前記光処理装置に接続され、前記距離依存ベースバンド信号の時間領域サンプルを生成するサンプラと、
前記サンプラに接続され、前記時間領域サンプルを周波数領域に変換する離散フーリエ変換(DFT)プロセッサと、
前記離散フーリエ変換(DFT)プロセッサに接続され、前記周波数領域で前記閾値周波数より低い周波数における前記距離依存ベースバンド信号のエネルギーピークを検索するピーク検索プロセッサと、を備える、LIDARシステム。
【請求項8】
請求項7に記載のLIDARシステムであって、
前記信号処理装置は、
前記ピーク検索プロセッサに接続され、ドップラー走査アーティファクトを補正する周波数補償プロセッサと、
前記周波数補償プロセッサに接続され、前記LIDARウィンドウにおける視野(FOV)の反射率マップおよびウィンドウ健全性評価レポートを生成するポストプロセッサと、を備える、LIDARシステム。
【請求項9】
LIDARシステムにおける方法であって、
周波数変調連続波(FMCW)光ビームに対応するリターン信号を受信するステップと、
光検出および測距(LIDAR)のためのリターン信号に基づいて
LIDARウィンドウ上またはその近傍の障害物を検出するステップ
であって、前記リターン信号が、前記障害物に応じた前記リターン信号に対応する閾値周波数に基づくものであるステップと、
前記障害物が前記LIDARシステムの使用に及ぼす影響を判定するステップと、
前記障害物が前記LIDARシステムの使用に及ぼす影響を低減する指示を与えるステップと、を含む方法。
【請求項10】
請求項9に記載の方法であって、
前記LIDARウィンドウの障害物を検出する方法は、
前記リターン信号に応じて反射距離に依存した距離依存ベースバンド信号を生成するステップと、
前記距離依存ベースバンド信号内で前記LIDARウィンドウまたはその近傍に対応する
前記閾値周波数より低い周波数を検出するステップと、を含む方法。
【請求項11】
請求項10に記載の方法であって、
前記距離依存ベースバンド信号内で前記閾値周波数より低い周波数を検出する方法は、
前記距離依存ベースバンド信号を時間領域でサンプリングするステップと、
前記ステップによる時間領域のサンプルを周波数領域に変換するステップと、
前記閾値周波数よりも低い周波数領域において前記距離依存ベースバンド信号のエネルギーピークを検索するステップと、を含む方法。
【請求項12】
請求項10に記載の方法であって、
前記障害物が前記LIDARシステムの使用に及ぼす影響を判定する方法は、
前記LIDARシステムにおける視野(FOV)の反射率マップを生成するステップと、
前記反射率マップを解析することにより前記LIDARシステムで遮蔽された視野(FOV)を特定し、かつ、同遮蔽された視野(FOV)から反射されたエネルギーを特定するステップと、を含む方法。
【請求項13】
請求項12に記載の方法であって、さらに、
前記遮蔽された視野(FOV)が安全上重要な視野(FOV)であるかどうかを判定するステップと、
前記視野の最大検出範囲が安全上重要な最小検出範囲よりも小さいかどうかを判定するステップと、を含む方法。
【請求項14】
請求項9に記載の方法であって、
前記LIDARシステムが車両搭載装置を備えており、かつ、前記障害物が前記LIDARシステムの使用に及ぼす影響を低減するために、前記車両を減速させる、前記車両を駐車させる、および前記LIDARウィンドウをクリーニングする、のうち一つ以上の指示を与える、方法。
【請求項15】
非一時的コンピュータ可読媒体であって、
LIDARシステムのプロセッサにより実行されるプログラム命令が格納されており、前記プロセッサにより前記プログラム命令が実行されると、
前記LIDARシステムが、
周波数変調連続波(FMCW)光ビームに対応するリターン信号を受信し、
受信した前記リターン信号が
LIDARウィンドウ上またはその近傍の障害物により生じたものかどうかを
、前記障害物に応じた前記リターン信号に対応する閾値周波数に基づいて判定し、
前記障害物が前記LIDARシステムの使用に及ぼす影響を判定し、
加えて、前記障害物が前記LIDARシステムの使用に及ぼす影響を低減する指示を与える、コンピュータ可読媒体。
【請求項16】
請求項15に記載のコンピュータ可読媒体であって、
前記LIDARウィンドウの障害物を検出するために、前記LIDARシステムが、さらに、
前記リターン信号に応じて反射距離に依存した距離依存ベースバンド信号を生成し、
前記距離依存ベースバンド信号内で前記LIDARウィンドウまたはその近傍に対応する
前記閾値周波数より低い周波数を検出する、コンピュータ可読媒体。
【請求項17】
請求項16に記載のコンピュータ可読媒体であって、
前記距離依存ベースバンド信号内で前記閾値周波数より低い周波数を検出するために、前記LIDARシステムが、さらに、
前記距離依存ベースバンド信号を時間領域でサンプリングし、
前記時間領域のサンプルを周波数領域に変換し、
前記閾値周波数よりも低い周波数領域において周波数領域ピークを検索する、
コンピュータ可読媒体。
【請求項18】
請求項15に記載のコンピュータ可読媒体であって、前記障害物が前記LIDARシステムの使用に及ぼす影響を判定するために、前記LIDARシステムが、さらに、
前記LIDARシステムにおける視野(FOV)の反射率マップを生成し、
前記反射率マップを解析することにより前記LIDARシステムで遮蔽された視野(FOV)を特定し、かつ、同遮蔽された視野(FOV)から反射されたエネルギーを特定する、コンピュータ可読媒体。
【請求項19】
請求項18に記載のコンピュータ可読媒体であって、前記LIDARシステムが、さらに、
前記遮蔽された視野(FOV)が安全上重要な視野(FOV)であるかどうかを判定し、
前記視野の最大検出範囲が安全上重要な最小検出範囲よりも小さいかどうかを判定する、コンピュータ可読媒体。
【請求項20】
請求項15に記載のコンピュータ可読媒体であって、
前記LIDARシステムが車両搭載装置を備えており、かつ、前記障害物が前記LIDARシステムの使用に及ぼす影響を低減するために、前記LIDARシステムが、前記車両を減速させる、前記車両を駐車させる、または、前記LIDARウィンドウをクリーニングする指示を与える、コンピュータ可読媒体。
【発明の詳細な説明】
【技術分野】
【0001】
本出願は、米国特許法第119条(e)に基づき2020年8月14日に出願された米国特許出願第16/994,109号の優先権を主張するものであり、その全内容は参照により本明細書に組み込まれる。
【0002】
本発明は、光検出および測距(LIDAR)システムに関し、詳しくは、LIDARシステムの視野ウィンドウにおける障害物の検出、評価、および低減に関する。
【背景技術】
【0003】
周波数変調連続波(FMCW)LIDARシステムは、ターゲットに向けて周波数変調された光を照射するために波長可変レーザを使用し、またターゲットからの後方散乱光または反射光を検出するために送信信号のローカルコピーを備えたコヒーレント受信器を使用する。そして、同受信器において、ローカルコピーと、ターゲットまでの往復時間だけ遅延し戻るリターン信号とを混合し、それにより、システムの視野内における各ターゲットまでの距離に比例したビート周波数を生成する。
【発明の概要】
【発明が解決しようとする課題】
【0004】
このようなLIDARシステムは、外部環境が過酷な車両搭載用のナビゲーションとして使用することができる。ターゲットに照射する光ビームは、同システムの光学系、電気光学系、機械系の各部品を保護するために、密閉された窓(LIDARウィンドウ)を通して伝送される。
しかしながら、このような光ビームは、雨、水滴、泥、道路塩(雪・氷を溶かすためにまかれた塩化カルシウム等)、昆虫、またはその他の破片によって妨げられることがあり、このような場合、光ビームが遮断または減衰され、安全上の問題が引き起こされるおそれがある。
【課題を解決するための手段】
【0005】
以下、本発明の態様、すなわち、LIDARウィンドウに対する障害物を検出、評価し、かつその影響を低減するためのLIDARシステムおよびその方法の各発明の態様について説明する。
【0006】
本発明の一態様によるLIDARシステムは、LIDARウィンドウを通して光ビームを送信し、同光ビームの反射からのリターン信号を受信する光スキャナを備える。また、同LIDARシステムは、前記リターン信号に応じて反射距離に依存した距離依存ベースバンド信号を生成する光処理装置を備える。さらに同LIDARシステムは、プロセッサ、およびこのプロセッサにより実行されるプログラム命令を格納する非一時的メモリを含む信号処理装置を備える。
そして、前記プロセッサにより前記プログラム命令が実行されると、
受信した前記リターン信号が前記LIDARウィンドウ上(またはその近傍)の障害物により生じたものかどうかを判定し、
前記障害物が前記LIDARシステムの使用に及ぼす影響を判定し、
加えて、前記障害物が前記LIDARシステムの使用に及ぼす影響を低減する指示を与えるように構成される。
【0007】
本発明の一態様おいて、前記リターン信号が前記LIDARウィンドウ上の障害物によって生じたものかどうかを判定するために、前記信号処理装置は、前記距離依存ベースバンド信号内の閾値周波数よりも低い周波数を検出するように構成される。
【0008】
本発明の一態様において、前記障害物が前記LIDARシステムの使用に及ぼす影響を判定するために、前記LIDARシステムは、前記LIDARウィンドウで遮蔽された視野(FOV)と、前記障害物によって反射された光エネルギーとを特定する反射率マップを生成するように構成される。
【0009】
本発明の一態様による前記LIDARシステムは、前記LIDARウィンドウにおける視野(FOV)の反射率マップを解析し、前記遮蔽された視野(FOV)が安全上重要な視野(FOV)であるかどうかを判定するとともに、前記視野の最大検出範囲が安全上重要な最小検出範囲よりも小さいかどうかを判定するように構成される。
【0010】
本発明の一態様において、前記LIDARシステムが車両搭載装置になっており、かつ、前記信号処理装置は、前記障害物が前記LIDARシステムの使用に及ぼす影響を低減するために、前記車両を減速させる、前記車両を停止させる、および前記LIDARウィンドウをクリーニングする、のうち一つ以上の指示を与えるように構成される。
【0011】
本発明の一態様による前記LIDARシステムは、
周波数変調連続波(FMCW)光ビームを生成する光源と、
前記光源からのFMCW光ビームを受信する光カプラと、
前記光カプラに接続され、前記FMCW光ビームを前記光スキャナに送信するとともに、前記光スキャナから前記リターン信号を受信する偏光ビームスピリッタ(PBS)と、
前記偏光ビームスピリッタ(PBS)から受信するリターン信号と、前記光カプラから受信するFMCW光ビームのサンプル信号とを空間混合することにより前記距離依存 ベースバンド信号を生成する光検出器(PD)と、を備える。
【0012】
本発明の一態様による前記信号処理装置は、
前記光処理装置に接続され、前記距離依存ベースバンド信号の時間領域サンプルを生成するサンプラと、
前記サンプラに接続され、前記時間領域サンプルを周波数領域に変換する離散フーリエ変換(DFT)プロセッサと、
前記離散フーリエ変換(DFT)プロセッサに接続され、前記周波数領域で前記閾値周波数より低い周波数における前記距離依存ベースバンド信号のエネルギーピークを検索するピーク検索プロセッサと、を備える。
【0013】
本発明の一態様による前記信号処理装置は、
前記ピーク検索プロセッサに接続され、ドップラー走査アーティファクトを補正する周波数補償プロセッサと、
前記周波数補償プロセッサに接続され、前記LIDARウィンドウにおける視野の反射率マップおよびウィンドウ健全性評価レポートを生成するポストプロセッサと、を備える。
【0014】
本発明の一態様によるLIDARシステムにおける方法は、
光検出および測距(LIDAR)のためのリターン信号に基づいて前記LIDARウィンドウ上またはその近傍の障害物を検出するステップと、
前記障害物が前記LIDARシステムの使用に及ぼす影響を判定するステップと、
前記障害物が前記LIDARシステムの使用に及ぼす影響を低減する指示を与えるステップと、を含む。
【0015】
本発明の一態様による非一時的コンピュータ可読媒体は、LIDARシステムのプロセッサにより実行されるプログラム命令を格納しており、
前記プロセッサにより前記プログラム命令が実行されると、前記LIDARシステムが以下の処理を行う。
受信した前記リターン信号が前記LIDARウィンドウ上またはその近傍の障害物により生じたものかどうかを判定し、
前記障害物が前記LIDARシステムの使用に及ぼす影響を判定し、
加えて、前記障害物が前記LIDARシステムの使用に及ぼす影響を低減する指示を与える。
【図面の簡単な説明】
【0016】
本発明の種々の態様を明確にするために、後述の詳細な説明(実施形態)で参照される図面を示す。なお図中の同一の符号は同一の要素である。
【
図1】本発明の実施形態におけるLIDARシステムの一例を示すブロック図である。
【0017】
【
図2】本発明の実施形態におけるLIDAR波形の一例を示す時間-周波数特性図である。
【0018】
【
図3】本発明の実施形態における光処理装置を示すブロック図である。
【0019】
【
図4】本発明の実施形態における、時間領域の距離依存ベースバンド信号の一例を示す時間-振幅プロット(座標図)である。
【0020】
【
図5】本発明の実施形態における信号処理装置を示すブロック図である。
【0021】
【
図6】本発明の実施形態におけるLIDARウィンドウの反射率マップを示す説明図である。
【0022】
【
図7】本発明の実施形態における角度分解能と周波数分解能との間のトレードオフを説明するためのサンプリングタイムライン図である。
【0023】
【
図8】本発明の実施形態における、LIDARウィンドウの障害を検出および評価するための一方法を示すフローチャートである。
【0024】
【
図9】本発明の実施形態における、LIDARウィンドウの障害を検出および評価するためのシステムを示すブロック図である。
【発明を実施するための形態】
【0025】
以下、本発明の実施形態によるLIDARシステムと、LIDARウィンドウ上の障害物による影響を検出し、評価し、かつ低減する方法について説明する。
本発明の実施形態におけるLIDARシステムは、輸送、製造、計測、医療、セキュリティシステムなど、任意のセンシング市場に導入することができる。その他、実施形態で説明されるLIDARシステムは、自動運転支援システムや自動運転車の空間認識を支援する周波数変調連続波(FMCW)デバイスのフロントエンド(前置型)パーツとして実装される。
【0026】
図1は、一実施形態によるLIDARシステム100を示している。LIDARシステム100には、複数のコンポーネントが組み込まれているが、図示より少ないコンポーネントであってもよく、または追加コンポーネントを含んでもよい。
図1に示すように、LIDARシステム100は、フォトニクスチップ上に実装された光学回路101を有する。光学回路101には、アクティブ光学部品とパッシブ光学部品とが組み込まれる。アクティブ光学部品は、光信号を生成、増幅、および/または検出するようになっており、異なる波長の光ビームを有し、一つ以上の光増幅器、一つ以上の光学的な検出器等を含む。
【0027】
フリースペースオプティクス115は、光信号を伝送し適切な入力/出力ポートにルーティングおよび操作するための一つ以上の光導波路を備える。フリースペースオプティクス115には、タップ、波長分割多重器(WDM)、スプリッタ/コンバイナ(分割器/合成器)、偏光ビームスプリッタ(PBS)、コリメータ、カプラ等の一つ以上の光学部品が含まれる。加えて、フリースペースオプティクス115には、偏波状態を変換し、たとえば偏光ビームスプリッタ(PBS)を使用して受信偏光光を光検出器に直接誘導するための部品が含まれる場合がある。また、フリースペースオプティクス115には、周波数の異なる光ビームを軸(例.速軸)上の異なる角度に偏向する回折素子がさらに含まれる場合がある。
【0028】
本実施形態のLIDARシステム100は、一つ以上のスキャンミラーを有する光スキャナ102を備えている。これらのスキャンミラーは、スキャンパターンに従って環境をスキャンする光信号を誘導するために、回折素子の速軸に直交または実質的に直交する軸(例.遅軸)に沿って回転可能になっている。
たとえば、スキャンミラーは一つまたは複数のガルバノメータによって回転可能である。光スキャナ102は、また環境内の任意の物体に反射した光を受信し、光学回路101のパッシブ光学(回路)部品に戻るリターン光ビームにする。リターン光ビームは、たとえば偏光ビームスプリッタによって光検出器に向けられる。
なお、光スキャナ102には、ミラーやガルバノメータに加えて、四分の一波長板、レンズ、反射防止コーティングされた光学窓などの部品が含まれる場合がある。
【0029】
LIDARシステム100には、光学回路101および光スキャナ102を制御およびサポートするために、LIDAR制御装置110が設けられる。LIDAR制御装置110には、LIDARシステム100に必要な処理デバイスが含まれる。処理デバイスはマイクロプロセッサ、中央処理装置などの汎用処理デバイスであり、具体的には、複合命令セット演算(CISC)マイクロプロセッサ、縮小命令セットコンピュータ(RISC)マイクロプロセッサ、超長命令語(VLIW)マイクロプロセッサ、または他の命令セットを実装するプロセッサ、あるいは、命令セットの組み合わせを実装するプロセッサである。また、上記処理デバイスは、特定用途向け集積回路(ASIC)、フィールドプログラマブルゲートアレイ(FPGA:現場プログラム可能ゲートアレイ)、デジタル信号プロセッサ(DSP)、ネットワークプロセッサ等の特殊用途処理デバイスの一つ以上であってもよい。
【0030】
LIDAR制御装置110には、DSPなどの信号処理ユニット112が設けられる。これにより、 LIDAR制御装置110は、光学ドライバ103を制御するためのデジタル制御信号を出力する。デジタル制御信号は、信号変換ユニット106を介してアナログ信号に変換される。信号変換ユニット106にはたとえばデジタル/アナログ変換器が含まれる。
光学ドライバ103は、光学回路101のアクティブ光学部品に駆動信号を送り、レーザや増幅器などの光源を駆動する。他の一実施形態においては、複数の光源を駆動するために、複数の光学ドライバ103および信号変換ユニット106を設けてもよい。
【0031】
LIDAR制御装置110はまた、光スキャナ102に対してデジタル制御信号を出力するように構成される。モーション制御装置105は、LIDAR制御装置110から受信した制御信号に基づいて、光スキャナ102のガルバノメータを制御することができる。具体的には、デジタル/アナログ変換器を使用して、LIDAR制御装置110からの座標ルーティング情報を、光スキャナ102のガルバノメータによって処理可能な信号に変換することができる。
また、モーション制御装置105は、光スキャナ102のコンポーネントの位置または動作に関する情報をLIDAR制御装置110に送り返すこともできる。具体的には、アナログ/デジタル変換器を使用して、ガルバノメータの位置に関する情報をLIDAR制御装置110が処理可能な信号に変換することができる。
【0032】
LIDAR制御装置110は、入力されたデジタル信号を解析するように構成される。これに関連して、LIDARシステム100には、光学回路101で受信された一つまたは複数のビームを測定するための光受信器104が設けられる。具体的には、光受信器104としての基準ビーム受信器は、アクティブ光学部品からの基準ビームの振幅を測定し、アナログ/デジタル変換器により同基準ビーム受信器からの信号を、LIDAR制御装置110で処理可能な信号に変換する。また、光受信器104としてのターゲット受信器は、ビート周波数変調光信号の形でターゲットの距離と速度に関する情報をもつ光信号を計測する。この場合、光信号の反射ビームは、ローカル発振器からの第2の信号(ローカルコピー)と混合されてもよい。
光受信器104には、ターゲット受信器からの信号をLIDAR制御装置110によって処理可能な信号に変換する高速アナログ/デジタル変換器を設けることができる。本実施形態では、光受信器104からの信号は、LIDAR制御装置110に受信される前に、信号調整ユニット107による信号調整を施される。たとえば信号調整ユニット107では、光受信器104からの信号に対して、オペアンプによる受信信号の増幅が行われ、増幅された信号がLIDAR制御装置110に送られる。
【0033】
LIDARシステム100には、環境の画像をキャプチャするように構成された一つ以上の撮像装置108、同システムの地理的位置を提供するように構成された全地球測位システム(GPS)109、または他のセンサ入力を設けることもできる。
また、LIDARシステム100には画像処理装置114を設けることができる。この場合、同画像処理装置114は、撮像装置108および全地球測位システム(GPS)109から画像および地理的位置を受信し、画像および位置またはそれに関連する情報を、LIDAR制御装置110またはそれに接続された他の装置に送信するように構成される。
【0034】
LIDARシステム100は、非縮退光学光源を用いて二次元で距離および速度を同時に測定するように構成される。この機能により、周囲環境の距離、速度、方位および高さ(標高)について遠距離測定がリアルタイムで可能になる。
【0035】
本実施形態におけるスキャンプロセスは、光学ドライバ103およびLIDAR制御装置110から開始される。LIDAR制御装置110は、光学ドライバ103に一つまたは複数の光ビームをそれぞれ変調するように指示し、これらの変調信号は光学回路101のパッシブ光学回路を通ってフリースペースオプティクス115のコリメータに伝送される。同コリメータは、この光ビームを光スキャナ102に向けて誘導し、光スキャナ102はモーション制御装置105で事前にプログラムされたパターンで環境をスキャンする。
光学回路101には、光が光学回路101を出る際に偏光を変換する偏光波板(PWP)を設けてもよい。この場合、偏光波板は四分の一波板または半波板を採用することができる。偏光された光ビームの一部は、光学回路101に戻るように反射される場合もある。たとえば、LIDARシステム100で使用されるレンズ・コリメータシステムは、自然な反射特性または反射コーティングを有する場合があり、これにより光ビームの一部が光学回路101に反射される。
【0036】
環境から反射された光信号は、光学回路101を通して受信器(光受信機104)に送られる。このとき、反射光の偏光が変化しているため偏光光の一部とともに偏光ビームスプリッタに送られる。その結果、反射された光信号は、光源と同じ光ファイバまたは波導路には戻らず、それぞれ異なる光受信器に反射される。これらの信号は互いに干渉し、混合信号を生成する。ターゲットから戻ってくる各ビーム信号は、時間シフトされた波形を生成し、これら2つの波形間の時間的位相差によって光受信器(光検出器) で計測されるビート周波数が生成される。そして、この混合信号は光受信器104で処理される。
【0037】
光受信器104で受信したアナログ信号は、ADC(アナログ/デジタル変換器)によりデジタル信号に変換される。次いで、同デジタル信号は、LIDAR制御装置110に送信される。同装置の信号処理ユニット112は、同デジタル信号を受信しそれらを処理する。
本実施形態において、信号処理ユニット112は、モーション制御装置105およびガルバノメータ(図示されない)から位置データを受信し、画像処理装置114から画像データを受信することができる。これにより、信号処理ユニット112は、光スキャナ102が追加ポイントを走査する際に、環境内のポイントの範囲と速度に関する情報を有する3Dポイントクラウドを生成することができる。信号処理ユニット112はまた、3Dポイントクラウドを画像データと重ね合わせて、周囲の物体の速度および距離を決定する場合もある。このユニットによるシステムはさらに衛星ベースのナビゲーション位置データを処理して正確な全地球的位置情報を提供する場合もある。
【0038】
図2は、LIDARシステム100のようなLIDARシステムで使用可能なFMCWスキャン信号201の時間-周波数ダイアグラム200である。この例において、スキャン信号201の波形は、チャープ帯域幅Δf
Cおよびチャープ周期T
Cを持つ鋸波形(鋸「チャープ」)であり、f
FM(t)とラベル付けされている。鋸波の傾きは、k =(Δf
C/ T
C)となる。
図2にはまたターゲットリターン信号202が示される。f
FM(t-Δt)で示されるターゲットリターン信号202は、スキャン信号201の時間遅延バージョンであり、Δtは、スキャン信号201によるターゲットへの照射往復時間である。この往復時間は Δt=2R/v で表すことができる。ここで、R はターゲットの距離、v は光ビームの速度である光速cである。したがって、同ターゲットの距離R は、R=c(Δt/2) として計算できる。
リターン信号202がスキャン信号と光学的に混合されると、距離依存の差周波数(「ビート周波数」)Δf
R(t)が生成される。ビート周波数Δf
R(t)は、鋸波の傾きkによって時間遅延Δtに線形(直線的)に関連付けられる。つまり、Δf
R(t) =kΔt として表される。ターゲット距離RはΔt に比例するため、ターゲット距離Rは R =(c/2)(Δf
R(t)/k) として計算できる。すなわち、距離Rは、ビート周波数Δf
R(t)に線形(直線的)に関連付けられる。
ビート周波数Δf
R(t)は、LIDARシステム100の光受信器104でアナログ信号として生成される。このビート周波数は、LIDARシステム100の信号調整ユニット107内のアナログ/デジタル変換器(ADC)によってデジタル信号に変換される。
このようにしてデジタル化されたビート周波数信号は、LIDARシステム100内の信号処理ユニット(例えば、信号処理ユニット112)でデジタル処理される。
ただし、ターゲットがLIDARシステム100に対して速度を有する場合、ターゲットのリターン信号には一般に周波数オフセット(ドップラーシフト)が生じることに注意する必要がある。ドップラーシフトは別途検出されてリターン信号の周波数を補正するために使用されるため、
図2では説明の簡略化のためドップラーシフトは表示されない。
また、ADCのサンプリング周波数は、エイリアシングを発生させずにシステムで処理可能な最高のビート周波数に設定される。一般的に処理可能な最高周波数はサンプリング周波数の半分(すなわち「ナイキスト制限」)である。例えば、制限のないADCのサンプリング周波数が1ギガヘルツである場合、エイリアシングなしで処理できる最高ビート周波数(Δf
Rmax)は500メガヘルツである。この制限は、システムの最大ターゲット距離R
max=(c/2)(Δf
Rmax/k)で決まり、これは鋸波の傾きkを変更することによって調整することができる。
本実施形態では、データサンプルはADCから連続的に得られるが、下記に説明する後続のデジタル処理は、「時間セグメント」に分割され、LIDARシステム100内の周期性に関連付けられることがある。たとえば時間セグメントは、一定数のチャープ周期T
C、または前述の光スキャナの方位における回転数に対応する。
【0039】
図3は、一実施形態におけるLIDARシステム(光学システム)300を示すブロック図である。LIDARシステム300は、
図1で説明した光スキャナ102と同様な光スキャナ301を備える。LIDARシステム300はまた、
図1で説明したフリースペースオプティクス115、光学回路101、光学ドライバ103、光受信器104、および信号変換ユニット106を含む光処理装置302を備える。
【0040】
光処理装置302には、周波数変調連続波(FMCW)光ビーム304を生成する光源303が含まれる。光ビーム304は、光カプラ305を介して偏光ビームスピリッタ(PBS)306に送られる。光ビーム304のサンプル307(基準ビーム)は光カプラ305を介して光検出器(PD)308に送られる。PBS306は、偏光によって光ビーム304を光スキャナ301に送るように構成される。光スキャナ301は、LIDARウィンドウ309の視野(FOV)をカバーする方位角および仰角の範囲内で光ビーム304でターゲット環境をスキャンするように構成されている。なお、
図3では説明の簡略化のため方位角スキャンのみが示されている。
【0041】
図3に示すように、ある方位角度(または角度の範囲)では、光ビーム304はLIDARウィンドウ309を障害なく透過し、ターゲット310を照射する。ターゲット310からのリターン信号311-1は、LIDARウィンドウ309を障害なく透過し、光スキャナ301によってPBS306に送られる。
スキャン中の後の時点(すなわち方位角度が増加した時)には、光スキャナ301により光ビーム304が障害物312で全部または部分的に妨げられたLIDARウィンドウ309上の場所に向けられることがある。その結果、光ビーム304はLIDARウィンドウ309を透過し、障害物312によって反射または部分的に反射される。そして、障害物312からのリターン信号311-2は、LIDARウィンドウ309を通過し、光スキャナ301によってPBS306に送られる。
なお、
図3には、障害物312で反射または吸収されなかった光ビーム304の減衰した部分を表す減衰光ビーム304Aも示されている。説明の簡潔化のため減衰光ビーム304Aが別のターゲットを照射していることは示されていない。
【0042】
図3に示すような二つのリターン信号311(ターゲット310からのリターン信号311-1と、障害物312からのリターン信号311-2とを含む時間領域信号)は、PBS306によって光ビーム304と異なる偏光をもって光検出器(PD)308に送られる。PD308では、これらのリターン信号311が光ビーム304のローカロコピーであるサンプル307(基準ビーム)と空間的に混合され、時間領域での距離依存ベースバンド信号313が生成される。距離依存ベースバンド信号313は、サンプル307(基準ビーム)と、二つのリターン信号311との周波数差(すなわちΔf
R(t))と時間との関係によって決まる。
【0043】
図4は、本発明の一実施形態によって生成された時間領域の距離依存ベースバンド信号313の時間―振幅プロットである。
図4において、横軸は時間または時間の関数である方位走査角度を表す。
図3で説明したスキャン方向を考慮する場合、光ビーム304はまず
図4に示すように、ターゲット310によって反射され、その後に障害物312によって反射される。
図4において、障害物312による信号強度はターゲット310による信号よりも大きく表示されているが、これはターゲットの距離と障害物312の反射係数に依存するものであり、常にこのような関係とは限らない。
本実施形態による信号処理装置は、後述の
図5で説明するように、
図4に示される情報を処理して、さらなる処理を行うための離散時間領域シーケンスを生成する。
【0044】
図5は、一実施形態による信号処理装置500を示すブロック図である。信号処理装置500は、
図1で説明した、信号変換ユニット106、信号調整ユニット107、LIDAR制御装置110、信号処理ユニット112、およびモーション制御装置105等から構成される。
信号処理システム500の各機能ブロックは、ハードウェア、ファームウェア、ソフトウェア、またはこれらの組み合わせにより実現される。
図5において、光処理装置300から生成された距離依存ベースバンド信号313は、時間領域サンプラ501に送られ、この時間領域サンプラ501は、連続的な距離依存ベースバンド信号313を離散時間領域シーケンス502に変換する。この離散時間領域シーケンス502は、離散フーリエ変換(DFT)プロセッサ503に送られ、同DFTプロセッサ503により離散周波数領域シーケンス504に変換される。
離散周波数領域シーケンス504において、障害物312に対応する周波数は、ターゲット310に対応する周波数よりも低くなることが判る。これは、障害物312への往復時間がターゲット310への往復時間よりも短いためである。また、距離依存ベースバンド信号のビート周波数は距離に比例することも判る。つまり、Δf
R(t)=kΔtであり、Δf
Rはビート周波数、Δtは往復時間、およびkは
図2で説明したチャープ波形の傾きである。
【0045】
このように、LIDARシステムの幾何学的情報、すなわちLIDARウィンドウから光源までの距離を含む情報が既知であるため、閾値周波数(例えば
図5に示す閾値周波数505)を下回るビート周波数は、LIDARウィンドウの障害物に関連していることが判る。
離散周波数領域シーケンス504はピーク検索プロセッサ506に送られ、このピーク検索プロセッサ506によって周波数領域でのエネルギーピークが検索される。これにより、ターゲットからの反射(例えばターゲットからの反射:リターン信号311-1)と、LIDARウィンドウの障害物からの反射リターン(例えば障害物312からの反射:リターン信号311-2)とが特定される。
本実施形態の信号処理装置500には、このシステムに生じる周波数アーティファクトを修正または除去するための周波数補償プロセッサ507が設けられる。たとえば、本実施形態のスキャンプロセス自体に光スキャナ301の高速回転ミラーによるドップラー周波数シフトを生じさせる場合があり、これに対して周波数補償プロセッサ507が処理を行う。
ピーク検索プロセッサ506によって提供される情報、すなわち距離依存ベースバンド信号313に反映されたリターン信号のエネルギー周波数プロファイル(周波数成分とその周波数成分に対応するエネルギー量を表したグラフ)は、周波数補償プロセッサ507による周波数補償を経てポストプロセッサ508に送られる。
ポストプロセッサ508は、メモリ509に格納された処理手順(プログラム命令)に従って、LIDARシステム100のモーション制御装置105からの方位角および仰角データに上記エネルギー周波数プロファイルを組み合わせ、LIDARウィンドウの視野(FOV)の反射率マップおよびウィンドウ全体の健全性評価レポートを生成する。
【0046】
図6は、反射率マップ600の一例である。この反射率マップ600には、連続する障害物601のプロットが含まれる。障害物601の各点は、例えば
図3で説明したLIDARシステム300のLIDARウィンドウ309の視野(FOV)内のピクセルを表し、各ピクセルは方位角と仰角に関連付けられる。
図6の例では、方位角は-50度から+50度の100度の範囲であり、仰角は-30度から+30度の60度の範囲である。LIDARウィンドウの反射率は、各仰角と各方位角で反射率等高線としてプロットすることができる。
図6には、20度の仰角での方位角に対する反射率は反射率等高線602で示される。一方、-30度の方位角での仰角に対する反射率は反射率等高線603で示される。
【0047】
前述した反射率マップとウィンドウ健全性評価レポートは、信号処理ユニット112およびLIDAR制御装置110が障害物の影響(障害物がLIDARシステムの使用に及ぼす影響)を判定し、その影響を低減するために必要な措置を行うために用いられる。
本実施形態におけるウィンドウ健全性評価レポートには、ウィンドウ309のFOVのどの部分がどの程度ブロックされているのかに関する詳細情報が含まれる。たとえばLIDARシステム100が安全に作動するために十分な視野があるかどうかに関する情報が含まれる。
本実施形態では、ウィンドウ健全性評価レポートがウィンドウの障害レベルにおいて安全な作動状態を示していない場合、LIDAR制御装置110は、LIDARシステム100を搭載している車両または他のプラットフォームを安全な場所に停車させ、必要な措置を講じるように指示する。
反射率マップとウィンドウ健全性評価レポートは、遮蔽もしくはそれに近い視野をマッピングし、障害物からの反射エネルギー量とリターン信号の信号対ノイズ比に基づいて、障害のあるウィンドウ309における視野(FOV)の最大検出範囲を計算するために使用することができる。
信号処理装置500(信号処理ユニット112)は、これらの情報を使用して移動中の車両の前方視野など、安全上重要な視野が遮られているかどうかを判定することができる。
また、信号処理装置500(信号処理ユニット112)は、最大検出範囲の減少が、安全上重要な最小検出範囲を超えて、道路障害物、あるいは他の移動車両の検出および回避を妨げる安全上重大な障害であるかどうかを判定することができる。
本実施形態が車載LIDARシステムである場合には、信号処理ユニット112およびLIDAR制御装置110は、同システムの使用上の影響を低減するための是正措置をとることができる。
このような是正措置としては、たとえば車両を減速して対応時間を増やすための制御信号を送信する、安全な場所に停車させるための指示を送る、あるいはウィンドウ洗浄やウィンドウワイパーシステムの起動等のウィンドウクリーニング手順を実行する等が挙げられる。
【0048】
一実施形態のLIDARシステムは、時間領域サンプラ501(
図5参照)によって距離依存ベースバンド信号313をサンプリングするためのサンプリングレートと、LIDARウィンドウの視野内の各ピクセルあたりのサンプル数とを設定することができる。
図7のタイムライン701および702に示すように、1ピクセルあたりのサンプル数は一定のサンプリングレートを有するものとする。タイムライン701はNサンプル/ピクセルを示し、タイムライン702は2Nサンプル/ピクセルを示す。
この場合、ピクセルあたりのサンプル数の選択は、角度分解能(すなわち障害物の位置の精度)と周波数分解能(すなわち距離分解能に対応)とのバランスを保つ(トレードオフ)手段となる。ピクセルあたりのサンプル数が減ると、角度分解能が高くなり、距離分解能が低下する。一方、ピクセルあたりのサンプル数が増えると、角度分解能が低下し、距離分解能が高くなる。
他の実施形態では、LIDARウィンドウの障害が検出されたタイミングで、時間領域サンプラ501はサンプリングレートを増加させて、視野(FOV)の遮蔽された部分をより精確に解像する。このようなタイミングでサンプリングレートの増加させることにより、距離分解能を犠牲にすることなく、角度分解能を向上させるために使用することができる。
【0049】
図8は、前述の実施形態に従ってLIDARウィンドウの障害の影響(障害物がLIDARシステムの使用に及ぼす影響)を判定し、その影響を低減するための方法800を示すフローチャートである。
方法800は、ステップ(操作)802で開始され、FMCW-LIDARリターン信号(例えば、リターン信号311)から距離依存ベースバンド信号(例えば、ベースバンド信号313)を生成する。ステップ804では、距離依存ベースバンド信号を時間領域でサンプリングする(例えば、時間領域サンプラ501を使用する。)。ステップ806では、時間領域サンプルを周波数領域に変換する(例えば、DFTプロセッサ503を使用する)。ステップ808では、閾値周波数より低い周波数で周波数領域のエネルギーピークを検索する(例えば、ピーク検索プロセッサ506を使用する。)。ステップ810では、FMCW-LIDARシステムの遮蔽された視野(FOV)を特定する(例えば、ポストプロセッサ508で特定する。)。ステップ812では、遮蔽されたFOVから反射されるエネルギーを特定する(例えば、ポストプロセッサ508によって生成された反射率マップに基づいて特定する。)。ステップ814では、遮蔽されたFOVが安全上重要なFOVであるかどうかを判定する(例えば、信号処理ユニット112によって判定する。)。ステップ816では、最大検出範囲が安全上重要な最小検出範囲よりも小さいかどうかを判定する(例えば、信号処理ユニット112によって判定する。)。ステップ818では、障害の影響を低減する(例えば、ウィンドウを自動的に洗浄/拭き取りするか、LIDARシステムのホスト車両を安全な場所に自動的に誘導して後でクリーニングする。)指示を与える。
【0050】
図9は、前述の実施形態によるFMCW-LIDARシステムにおいて、LIDARウィンドウの障害の影響(障害物がLIDARシステムの使用に及ぼす影響)を判定し、その影響を低減するためのシステム900のブロック図である。
システム900は、信号処理ユニット112および/または信号処理装置500の一部であるプロセッサ901を備える。システム900にはまた、プログラム命令を含むメモリ902(例えばROM、RAM、フラッシュメモリ等の非一時的コンピュータ可読媒体)を備えており、このプログラム命令がプロセッサ901によって実行されると、LIDARシステム100が
図8に示すようにLIDARウィンドウの障害を検出し、その影響を判定評価し、かつ低減する方法を実施することになる。具体的には、非一時的コンピュータ可読なメモリ902には、次のプログラム命令が格納される。
FMCW-LIDARのリターン信号(例えばリターン信号311)から距離依存ベースバンド信号を生成するための指示904;
時間領域で距離依存ベースバンド信号をサンプリングするための指示906(例えば時間領域サンプラ501を使用);
時間領域のサンプルを周波数領域に変換するための指示908(例えばDFTプロセッサ503を使用);
閾値周波数未満の周波数領域でエネルギーピークを検索するための指示910(例えばピーク検索プロセッサ506を使用);
LIDARシステムの遮蔽された視野(FOV)を特定するための指示912(例えばポストプロセッサ508で特定);
遮蔽されたFOVからで反射されるエネルギーを特定するための指示914(例えば、ポストプロセッサ508で生成された反射率マップから特定);
遮蔽されたFOVが安全上重要なFOVであるかどうかを判定するための指示916(例えば、信号処理ユニット112によって判定);
最大検出範囲が安全上重要な最小検出範囲よりも小さいかどうかを判定するための指示918(例えば、信号処理ユニット112によって判定); および
遮蔽障害におる影響を低減するための指示920(例えば、自動的にLIDARウィンドウのクリーニング/ワイピングを行うか、または自動的にLIDARシステムのホスト車両を安全な場所に誘導してからクリーニングを行う。)。
【0051】
前述した説明では、本発明の実施形態を理解しやすくするために、特定のシステム、コンポーネント、方法などの具体例を複数示しているが、当業者であればこれらの具体例の説明がなくても本発明を実施しうる。
また、公知のコンポーネントや方法はその詳細が省略されていたり、単純なブロック図の形式で示されることがあるが、これは本発明の理解を容易にするためである。したがって、開示された内容は単に例示であり、一事例は他の例示と異なる場合があっても、本発明の範囲内に含まれる場合がある。
【0052】
本明細書において「一実施形態」または「実施形態」という表現が使用される場合、それらの実施形態に関連して説明された特定の特徴、構造、または特性が少なくとも一つの実施形態に含まれていることを意味する。したがって、本明細書のいくつかの箇所で「一実施形態において」または「実施形態において」という表現が現れている場合、必ずしも同じ実施形態を示すものではない。
【0053】
ここで説明されている方法の操作は特定の順序で示されているが、各方法の操作の順序は変更されることがあり、特定の操作を逆順で行ってもよいし、少なくとも一部の操作を他の操作と同時に行ってもよい。異なる操作の指示または補助的な操作は、断続的または交互に行うことができる。
【0054】
上記の本発明に関する実施形態の説明は、その抽象的な概念説明を含め本発明をこれらに限定するものではない。本明細書において説明された実施形態や具体例は、本発明の説明の目的で記載されるものであり、本件技術分野における当業者が認識する範囲で種々の同等な変更を行うことができる。
ここで使用される「例」または「例示的」の語は、事例または例示として役立つように使用されている。「例」または「例示的」と説明された態様や造形がどのようなものであっても他の態様や造形に対して優れたものとして解釈されるべきではない。「例」または「例示的」という用語の使用は、概念を具体的な形で示すことを意図している。
本明細書において使用される「または」の用語は、排他的な「または」ではなく、包括的な「または」として解釈されることを意図している。つまり、特に指定されていない限り、あるいは文脈から明らかでない限り、「XはAまたはBを含む」という表現は、自然な包括的な並び替えのいずれかを意味する。つまり、XがAを含む場合、XがBを含む場合、あるいはXがAとBの両方を含む場合、すべての前述の場合において、「X はAまたはBを含む」という条件を満たすものとする。
さらに、本明細書および添付された特許請求の範囲の請求項で使用される冠詞「a」と「an」は、特に指定されていない限り、文脈から単数形であることが明らかでない場合には「一つまたは複数」を意味するものと解釈される。
さらに、明細書において「第1」、「第2」、「第3」、「第4」のような用語が使用される場合、これらの用語は異なる要素を区別するためのラベルとして使用されるもので、数字の指定に従って必ずしも順序を示すものではない。