IP Force 特許公報掲載プロジェクト 2022.1.31 β版

知財求人 - 知財ポータルサイト「IP Force」

▶ ブラックモア センサーズ アンド アナリティクス インク.の特許一覧

特開2022-58483コヒーレント距離ドップラー光学センサを用いた自律走行車の制御方法およびシステム
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2022058483
(43)【公開日】2022-04-12
(54)【発明の名称】コヒーレント距離ドップラー光学センサを用いた自律走行車の制御方法およびシステム
(51)【国際特許分類】
   G01S 17/34 20200101AFI20220405BHJP
   G01S 17/89 20200101ALI20220405BHJP
   G01S 17/931 20200101ALI20220405BHJP
   G05D 1/02 20200101ALI20220405BHJP
   G08G 1/16 20060101ALI20220405BHJP
【FI】
G01S17/34
G01S17/89
G01S17/931
G05D1/02 W
G05D1/02 L
G08G1/16 A
【審査請求】有
【請求項の数】20
【出願形態】OL
【外国語出願】
(21)【出願番号】P 2022000212
(22)【出願日】2022-01-04
(62)【分割の表示】P 2020559530の分割
【原出願日】2019-04-22
(31)【優先権主張番号】62/661,327
(32)【優先日】2018-04-23
(33)【優先権主張国・地域又は機関】US
【公序良俗違反の表示】
(特許庁注:以下のものは登録商標)
1.ブルートゥース
(71)【出願人】
【識別番号】519174791
【氏名又は名称】ブラックモア センサーズ アンド アナリティクス エルエルシー
(74)【代理人】
【識別番号】110002789
【氏名又は名称】特許業務法人IPX
(72)【発明者】
【氏名】クラウチ,ステファン シー.
(72)【発明者】
【氏名】ベーカー,デブリン
(57)【要約】      (修正有)
【課題】高解像度距離ドップラーライダーを用いた自律走行車の制御方法及びシステムを提供する。
【解決手段】作動を制御するプロセッサで自律走行車を制御するための技術は、それぞれのポイントに対する傾斜角、方位角、距離および前記ポイントと前記ライダーシステムとの間の相対速度を含む少なくとも4つの次元を示すポイントクラウドデータを収集するためにドップラーライダーシステムを作動することを含む。前記ポイントクラウドのオブジェクトの属性値は、4つ以上の次元のうち、3つ以下に基づいて決定される。一部の実施例において、オブジェクトの属性値を決定することは、ポイントクラウドデータで高い値のドップラーコンポーネントを有する複数のポイントを分離することを含む。複数のポイントのうち、移動するオブジェクトは、方位角およびドップラーコンポーネント値によってクラスタに基づいて決定される。
【選択図】図4
【特許請求の範囲】
【請求項1】
ドップラーライダー(Doppler LIDAR)システムを作動させるように構成されたプロセッサ上で具現される方法であって、
a)それぞれのポイントに対する傾斜角、方位角、距離および前記ポイントと前記ライダーシステムとの間の相対速度を含む少なくとも4つの次元を示すポイントクラウドデータを収集するためにドップラーライダーシステムを作動するステップと、
b)前記少なくとも4つの次元のうち、3つ以下の次元に基づいて前記ポイントクラウドでオブジェクトの属性値を決定するステップと、を含む方法。
【請求項2】
それぞれのポイントに対する前記ポイントクラウドデータは、反射率(Reflectivity)に対する少なくても5番目の次元を示す請求項1に記載の方法。
【請求項3】
前記オブジェクトの前記属性値に少なくとも部分的に基づいて前記ドップラーライダーを運搬する車両を作動させるステップをさらに含む請求項1に記載の方法。
【請求項4】
前記オブジェクトの前記属性値を決定するステップは、
c)前記ポイントクラウドデータで高い値のドップラーコンポーネントを有する複数のポイントを分離するステップと、
d)方位角およびドップラーコンポーネントの値によるクラスタに基づいて前記複数のポイント内で移動オブジェクトを決定するステップと、をさらに含む請求項1に記載の方法。
【請求項5】
e)複数の異なるスキャン周期に対して、ステップc)およびd)を繰り返すステップと、
l)前記複数のスキャン周期それぞれに対するデータベースに、前記クラスタの距離と方位角に基づく前記オブジェクトの位置および前記スキャン周期に対する時間を示すタイムスタンプを格納するステップと、をさらに含む請求項4に記載の方法。
【請求項6】
前記ポイントクラウドで前記オブジェクトの属性値を決定するステップは、
複数の静止ポイントのそれぞれのポイントに対する傾斜角に少なくとも部分的に基づいて前記ポイントクラウドで前記複数の静止ポイントを識別するステップをさらに含み、
c)前記複数の静止ポイントに対応する複数の相対速度に基づいて前記ライダーの地上速度(Ground Speed)を決定するステップをさらに含む請求項1に記載の方法。
【請求項7】
前記地上速度に少なくとも部分的に基づいて前記ドップラーライダーを運搬する車両を作動させるステップをさらに含む請求項6に記載の方法。
【請求項8】
前記複数の静止ポイントを識別するステップは、
前記複数の静止ポイントに対応する前記複数の相対速度に基づく統計からしきい値以上を超える相対速度を有するポイントを前記複数の静止ポイントから廃棄するステップをさらに含む請求項6に記載の方法。
【請求項9】
d)前記複数の静止ポイントのうち、前記相対速度が最大である前記複数の静止ポイントの静止ポイントに関連する方位角に基づいてライダー速度の方位角の方向を決定するステップをさらに含む請求項6に記載の方法。
【請求項10】
前記ライダーの地上速度を決定するステップは、
前記ライダー速度の前記方位角の方向にあるすべての静止ポイントの相対速度の平均に基づいて前記ライダーの地上速度を決定するステップをさらに含む請求項9に記載の方法。
【請求項11】
e)少なくとも車両の質量中心に対する前記車両上の高解像度ドップラーライダーシステムの位置および前記車両の前方方向に対する前記ライダーシステムの視野の中心方向を示す構成データをデータベースに格納するステップをさらに含む請求項1に記載の方法。
【請求項12】
車両に前記ドップラーライダーシステムを設置するステップをさらに含む請求項3に記載の方法。
【請求項13】
f)静止地点に対する第1速度残差しきい値(Velocity Residual Threshold)を示す構成データをデータベースに格納するステップと、
g)現在ライダー速度と前記ポイントクラウドデータに示される相対速度との間の残差ベクトル(Residual Vector)を決定するステップと、
h)行(Row)に対する残差が前記第1速度残差しきい値を超過する場合、補正された残差ベクトルを形成するために前記残差ベクトルから前記行を削除するステップと、
i)前記補正された残差ベクトルを最小化することに少なくとも部分的に基づいて新しい現在速度を決定するステップと、をさらに含む請求項1に記載の方法。
【請求項14】
前記構成データは、前記残差ベクトルに対するターゲット許容誤差(Target Tolerance)をさらに示し、
前記方法は、前記第1速度残差しきい値を減少させるステップおよび前記残差ベクトルの大きさが前記残差ベクトルに対する前記ターゲット許容誤差を超過する場合、前記h)およびi)ステップを繰り返すステップをさらに含む請求項13に記載の方法。
【請求項15】
前記構成データは、角度ビン(Angular Bin)の大きさおよび行の残差ビン(Row Residual Bin)の大きさをさらに示し、
前記方法は、
j)前記行に対するデータが移動オブジェクト残差ベクトルに対する前記角度ビンの大きさおよび前記行の残差ビンの大きさ内にある場合は、h)ステップの間に前記残差ベクトルから削除された行を前記移動オブジェクト残差ベクトルに追加するステップと、
k)前記移動オブジェクト残差ベクトルを最小化することに少なくとも部分的に基づいて前記移動オブジェクト残差ベクトルに関連する現在相対速度を決定するステップと、をさらに含む請求項13に記載の方法。
【請求項16】
l)前記新しい現在速度、前記オブジェクトの前記現在相対速度に基づく前記オブジェクトの現在オブジェクト速度および現在時間を示すタイムスタンプを前記データベースに格納するステップをさらに含む請求項15に記載の方法。
【請求項17】
前記データベースに基づいて前記オブジェクトに対するトラック(Track)を決定するステップと、
前記オブジェクトに対する前記トラックを示すデータを前記データベースに格納するステップと、をさらに含む請求項16に記載の方法。
【請求項18】
前記ドップラーライダーに強固に接続されたジャイロスコープから回転(Rotation)データを受信するステップと、
前記回転データに少なくとも部分的に基づいて新しいライダー速度を決定するステップと、をさらに含む請求項9に記載の方法。
【請求項19】
前記ジャイロスコープを前記ドップラーライダーに強固に接続するステップをさらに含む請求項18に記載の方法。
【請求項20】
スキャン周期内で固定された時間との時間差および現在ライダー速度に基づいて前記ポイントクラウドデータでポイントの方位角、傾斜角または距離を変更するステップをさらに含む請求項1に記載の方法。
【請求項21】
高解像度ライダー(Hi-res LIDAR)システムを作動するように構成されたプロセッサ上で具現される方法において、
a)それぞれのポイントに対する傾斜角、方位角、距離および前記ポイントの反射率を含む少なくとも4つの次元を示すポイントクラウドデータを収集するために高解像度ライダーシステムを作動するステップと、
b)前記ポイントクラウドで高い反射率値を有する前記ポイントクラウドの複数の隣接ポイントに基づいてそれぞれのオブジェクト、複数のオブジェクトを決定するステップと、
c)前記データベースのそれぞれのオブジェクトは、知られた位置を有し、データベース内の対応する複数のオブジェクトを決定するステップと、
d)前記データベース内の対応する複数のオブジェクトに対する前記データベース内の前記それぞれのオブジェクトの知られた位置に少なくとも部分的に基づいて前記ドップラーライダーシステムの位置を決定するステップと、を含む方法。
【請求項22】
ドップラーライダーシステムを作動させるように構成されたプロセッサ上で具現される方法であって、
a)それぞれのポイントに対する傾斜角、方位角、距離、前記ポイントと前記ライダーシステムとの間の相対速度および前記ポイントの反射率を含む少なくとも4つの次元を示すポイントクラウドデータを収集するためにドップラーライダーシステムを作動するステップと、
b)前記ポイントクラウド内でそれぞれのオブジェクトは、高い反射率値を有する前記ポイントクラウド内の隣接する複数のポイントまたは全域的静止オブジェクトに対してほぼ適切な相対速度値を有する前記ポイントクラウド内の複数の隣接ポイントを決定するステップと、
c)前記データベースのそれぞれのオブジェクトは、知られた位置を有し、データベース内で対応する複数のオブジェクトを決定するステップと、
d)前記データベース内の対応する前記複数のオブジェクトに対する前記データベース内の前記それぞれのオブジェクトの知られた位置に少なくとも部分的に基づいて前記ドップラーライダーシステムの速度を決定するステップと、を含む方法。
【請求項23】
ドップラーライダーシステムを作動させるように構成されたプロセッサ上で具現される方法であって、
a)それぞれのポイントに対する傾斜角、方位角、距離、前記ポイントと前記ライダーシステムとの間の相対速度および前記ポイントの反射率を含む少なくとも4つの次元を示すポイントクラウドデータを収集するためにドップラーライダーシステムを作動するステップと、
b)前記ポイントクラウドで高い反射率値を有する前記ポイントクラウドの複数の隣接ポイントまたは方位角およびドップラーコンポーネント値のクラスタに基づいて前記オブジェクト、オブジェクト上の複数の地点を決定するステップと、
c)前記オブジェクト上の前記複数の地点の間のドップラーコンポーネント値の差に基づいて前記オブジェクトの回転速度またはグローバル速度を決定するステップと、を含む方法。
【請求項24】
1つ以上の命令語シーケンスを伝達する非一時的なコンピュータ読み取り可能媒体であって、1つ以上のプロセッサによって前記1つ以上の命令語シーケンスを実行すると、1つ以上のプロセッサが次のステップを行い、
a)それぞれのポイントに対する傾斜角、方位角、距離および前記ポイントと前記ライダーシステムとの間の相対速度を含む少なくとも4つの次元を示すポイントクラウドデータを収集するためにドップラーライダーシステムを作動するステップと、
b)前記少なくとも4つの次元のうち、3つ以下の次元に基づいて前記ポイントクラウドでオブジェクトの属性値を決定するステップと、を含む方法。
【請求項25】
1つ以上の命令語シーケンスを伝達する非一時的なコンピュータ読み取り可能媒体であって、1つ以上のプロセッサによって前記1つ以上の命令語シーケンスを実行すると、1つ以上のプロセッサが次のステップを行い、
a)それぞれのポイントに対する傾斜角、方位角、距離および前記ポイントの反射率を含む少なくとも4つの次元を示すポイントクラウドデータを収集するために高解像度ライダーシステムを作動するステップと、
b)前記ポイントクラウドで高い反射率値を有する前記ポイントクラウドの複数の隣接ポイントに基づいてそれぞれのオブジェクト、複数のオブジェクトを決定するステップと、
c)前記データベース内のそれぞれのオブジェクトは、知られた位置を有し、データベースで対応する複数のオブジェクトを決定するステップと、
d)前記データベース内の対応する前記複数のオブジェクトに対する前記データベース内の前記それぞれのオブジェクトの知られた位置に少なくとも部分的に基づいて前記ドップラーライダーシステムの位置を決定するステップと、を含む方法。
【請求項26】
1つ以上の命令語シーケンスを伝達する非一時的なコンピュータ読み取り可能媒体であって、1つ以上のプロセッサによって前記1つ以上の命令語シーケンスを実行すると、1つ以上のプロセッサが次のステップを行い、
a)それぞれのポイントに対する傾斜角、方位角、距離、前記ポイントと前記ライダーシステムとの間の相対速度および前記ポイントの反射率を含む少なくとも4つの次元を示すポイントクラウドデータを収集するドップラーライダーシステムを作動するステップと、
b)前記ポイントクラウドで高い反射率を有する前記ポイントクラウドの複数の隣接ポイントまたは全域的静止オブジェクトに対するほぼ適切な相対速度値を有する前記ポイントクラウドの複数の隣接ポイントに基づいてそれぞれのオブジェクト、複数のオブジェクトを決定するステップと、
c)前記データベース内のそれぞれのオブジェクトは、知られた位置を有し、データベースで対応する複数のオブジェクトを決定するステップと、
d)前記データベース内の対応する前記複数のオブジェクトに対する前記データベース内の前記それぞれのオブジェクトの知られた位置に少なくとも部分的に基づいて前記ドップラーライダーシステムの速度を決定するステップと、を含む方法。
【請求項27】
1つ以上の命令語シーケンスを伝達する非一時的なコンピュータ読み取り可能媒体であって、1つ以上のプロセッサによって前記1つ以上の命令語シーケンスを実行すると、1つ以上のプロセッサが次のステップを行い、
a)それぞれのポイントに対する傾斜角、方位角、距離、前記ポイントと前記ライダーシステムとの間の相対速度および前記ポイントの反射率を含む少なくとも4つの次元を示すポイントクラウドデータを収集するためにドップラーライダーシステムを作動するステップと、
b)前記ポイントクラウドで高い反射率値を有する前記ポイントクラウドの複数の隣接ポイントまたは方位角およびドップラーコンポーネント値のクラスタに基づいて前記オブジェクト、オブジェクト上の複数の地点を決定するステップと、
c)前記オブジェクト上の前記複数の地点の間のドップラーコンポーネント値の差に基づいて前記オブジェクトの回転速度または全体速度を決定するステップと、を含む方法。
【請求項28】
プロセッサと、
前記プロセッサによって少なくとも部分的に制御されるように構成された車両と、
前記車両に取り付けられた高解像度ドップラーライダーシステムと、
1つ以上の命令シーケンスを含む1つ以上のメモリ、前記プロセッサとともにシステムが少なくとも次を実行するように構成された1つ以上のメモリおよび1つ以上の命令シーケンスは、
a)それぞれのポイントに対する傾斜角、方位角、距離および前記ポイントと前記ライダーシステムとの間の相対速度を含む少なくとも4つの次元を示すポイントクラウドデータを収集するためにドップラーライダーシステムを作動するステップと、
b)前記少なくとも4つの次元のうち、3つ以下に基づいて前記ポイントクラウドにあるオブジェクトの属性値を決定するシステム。
【請求項29】
プロセッサと、
前記プロセッサによって少なくとも部分的に制御されるように構成された車両と、
前記車両に取り付けられた高解像度ドップラーライダーシステムと、
1つ以上の命令シーケンスを含む1つ以上のメモリ、前記プロセッサとともにシステムが少なくとも次を実行するように構成された1つ以上のメモリおよび1つ以上の命令シーケンスは、
a)それぞれのポイントに対する傾斜角、方位角、距離および前記ポイントの反射率を含む少なくとも4つの次元を示すポイントクラウドデータを収集するために高解像度ライダーシステムを作動するステップと、
b)前記ポイントクラウドで高い反射率値を有する前記ポイントクラウドの複数の隣接ポイントに基づいてそれぞれのオブジェクト、複数のオブジェクトを決定するステップと、
c)データベース内でそれぞれのオブジェクトは、知られた位置を有し、前記データベース内の対応する複数のオブジェクトを決定するステップと、
d)前記データベース内で対応する前記複数のオブジェクトに対する前記データベース内の前記それぞれのオブジェクトの知られた位置に少なくとも部分的に基づいて前記ドップラーライダーシステムの位置を決定するシステム。
【請求項30】
プロセッサと、
前記プロセッサによって少なくとも部分的に制御されるように構成された車両と、
前記車両に取り付けられた高解像度ドップラーライダーシステムと、
1つ以上の命令シーケンスを含む1つ以上のメモリ、前記プロセッサとともにシステムが少なくとも次を実行するように構成された1つ以上のメモリおよび1つ以上の命令シーケンスは、
a)それぞれのポイントに対する傾斜角、方位角、距離、前記ポイントと前記ライダーシステムとの間の相対速度および前記ポイントの反射率を含む少なくとも4つの次元を示すポイントクラウドデータを収集するためにドップラーライダーシステムを作動するステップと、
b)前記ポイントクラウドで高い反射率を有する前記ポイントクラウドの複数の隣接ポイントまたは全域的静止オブジェクトに対するほぼ適切な相対速度値を有する前記ポイントクラウドの複数の隣接ポイントに基づいてそれぞれのオブジェクト、複数のオブジェクトを決定するステップと、
c)前記データベース内のそれぞれのオブジェクトは、知られた位置を有し、データベース内の対応する複数のオブジェクトを決定するステップと、
d)前記データベース内の対応する前記複数のオブジェクトに対する前記データベース内の前記それぞれのオブジェクトの知られた位置に少なくとも部分的に基づいて前記ドップラーライダーシステムの速度を決定するシステム。
【請求項31】
プロセッサと、
前記プロセッサによって少なくとも部分的に制御されるように構成された車両と、
前記車両に取り付けられた高解像度ドップラーライダーシステムと、
1つ以上の命令シーケンスを含む1つ以上のメモリ、前記プロセッサとともにシステムが少なくとも次を実行するように構成された1つ以上のメモリおよび1つ以上の命令シーケンスは、
a)それぞれのポイントに対する傾斜角、方位角、距離、前記ポイントと前記ライダーシステムとの間の相対速度を含む少なくとも4つの次元を示すポイントクラウドデータを収集するために前記ドップラーライダーシステムを作動するステップと、
b)前記ポイントクラウドで高い反射率値を有する前記ポイントクラウドの複数の隣接ポイントまたは方位角およびドップラーコンポーネント値のクラスタに基づいて前記オブジェクト、オブジェクト上の複数の地点を決定するステップと、
c)前記オブジェクト上の前記複数の地点の間のドップラーコンポーネント値の差に基づいて前記オブジェクトの回転速度または全体速度を決定するシステム。
【発明の詳細な説明】
【背景技術】
【0001】
コンピューティングおよび車両レーザーレーダー(RADAR)とも呼ばれる光検出および距離測定のためのライダー(LIDAR)、ニーモニック(Mnemonic)で頻繁に参照されているレーザーを用いた距離の光学検出は、高度計から映像(Imaging)、衝突防止に至るまで様々な応用分野で使用される。ライダーは、電波検出および距離測定(Radio-wave Detection and Ranging、RADAR)のような従来のマイクロ波距離測定システムよりも小さいビーム大きさで、より微細な範囲の解像度を提供する。距離の光学的検出は、光パルスのオブジェクトまでの往復移動時間に基づく直接距離測定を含み、送信されたチャープ(Chirp)光学信号とオブジェクトから散乱してリターンされた信号との間の周波数の差に基づくチャープ検出を含み、自然信号から区別できる一連の単一周波数位相変化に基づいて位相エンコーディング検出(Phase-Encoded Detection)を含む種々の他の技術で行われ得る。
【0002】
適用可能な距離精度と検出感度を取得するために直接長距離ライダー(Direct Long Range LIDAR) システムは、パルス繰り返し率が低く、パルス最大電力が非常に高い短いパルスレーザーを使用する。高いパルス電力は、光学コンポーネント(Optical Components)の急速な低下をもたらし得る。チャープおよび位相エンコーディングライダー(Chirped and Phase-Encoded LIDAR)システムは、最大光出力が相対的に低い長い光パルスを使用する。前記構成において、距離精度は、パルス持続時間よりチャープ帯域幅(Bandwidth)または位相コードの長さおよび帯域幅に応じて増加するため、相変らず高い距離精度を取得し得る。
【0003】
光搬送波(Optical Carrier)を変調するために広帯域無線周波数(RF)の電気信号を使用して有用な光帯域幅を達成した。ライダーの最近発展は、基準信号と同じように変調された光搬送波(Optical Carrier)を使用することを含み、基準信号は、周波数差に比例するRF帯域内の相対的に低いビート周波数の電気信号を生成するために光検出器からリターンされた信号と結合され、また基準およびリターンされた光信号の位相を使用することを含む。検出器において周波数が異なるビート周波数を検出する場合をヘテロダイン(Heterodyne)検出と言う。前記技術は、RFコンポーネントを使用するとき、即時かつ安価に使用できる利点のようないくつかの利点が知られている。
【0004】
本発明者の最近の研究は、ライダーシステムとそれぞれの外部オブジェクトとの間のベクトルで改善された距離だけでなく、相対的な符号を有する(Signed)速度を提供するリターンされた信号からドップラー移動を検出するための光学コンポーネントの新しい配列とコヒーレント(Coherent)プロセッシングを開示する。前記システムは、高解像度距離ドップラーライダー(Hi-res Range-Doppler LIDAR)と呼ばれる。例えば、特許協力条約(PCT)特許出願PCT/US2017/062703およびPCT/US2018/016632のそれぞれに基づく世界知的所有権機関(WIPO)の刊行物WO2018/160240およびWO/2018/144853を参照し得る。
【0005】
自律走行ナビゲーションソリューションは、ほしい結果を取得するために複数のセンサの協力を必要とする。例えば、現代の自律走行車は、多くの場合、空間認識のためにカメラ、レーダーおよびライダーシステムを組み合わせる。前記システムは、さらにグローバル座標系(Global Coordinate System)内で位置、速度および進行方向を生成するために衛星航法システム(GPS)ソリューション、慣性測定装置(Inertial Measurement Unit INS)および走行距離計(Odometer)を使用する。前記システムは、時には慣性航法システム(INS)「ソリューション」と呼ばれ得る。ナビゲーション作業は、提案された運動計画(Motion Plan)(INSおよびマッピングソフトウェアによって指示される)と動的障害物の回避(カメラ、レーダーおよびライダーシステム)との間の複雑な相互作用を示す。前記2つの下位システムの従属性は、2つのうち、いずれかのシステムの下位コンポーネントが信頼できないように動作するときに複雑になる。例えば、INSソリューションは、信頼できないことで有名である。
【発明の概要】
【発明が解決しようとする課題】
【0006】
【課題を解決するための手段】
【0007】
現在の発明者たちは、高解像度距離ドップラーライダーが自律走行車の制御を改善するために活用される可能性があることを認識した。例えば、以前のINSソリューションのコンポーネントが失敗すると、高解像度距離ドップラーライダーのデータフィード(Feeds)が車両の位置把握を支援するために呼び出され得る。一例は、車両の位置および速度ソリューションを改善するための試みとして知られた相対位置(例:車線表示)または知られた地理空間的位置(例:建物または道路標識のみまたは軌道表示)を有するオブジェクトについての探索になり得る。
【0008】
第1セットの実施例において、ドップラーライダーシステムが作動するように構成されたプロセッサで具現される方法は、傾斜角、方位角、距離、前記ポイントと前記ライダーシステムとの間の相対速度を含む少なくとも4つの次元をそれぞれのポイントについて示すポイントクラウドデータを収集するためにドップラーライダーシステムを作動することを含む。前記方法は、また前記少なくとも4つの次元のうち、3つ以下の次元に基づいて前記ポイントクラウドでオブジェクトの属性値を決定することを含む。
【0009】
前記第1セットの一部の実施例において、前記オブジェクトの前記属性値を決定することは、高価(High Value)のドップラーコンポーネントを有する前記ポイントクラウドデータから複数のポイントを分離することと、方位角およびドップラーコンポーネント値によるクラスタに基づいて前記複数のポイントのうち、移動オブジェクトを決定することと、を含む。
【0010】
前記第1セットの一部の実施例において、前記ポイントクラウドの前記オブジェクトの前記属性値を決定することは、前記複数の静止ポイントでそれぞれのポイントに対する傾斜角に少なくとも部分的に基づいて前記ポイントクラウドで前記複数の静止したポイントを識別することを含む。前記方法は、前記複数の静止ポイントに対応する複数の相対速度に基づいて前記ライダーの地上速度を決定することを含む。前記実施例のうち、一部において、前記複数の静止ポイントに対応する前記複数の相対速度に基づく統計からしきい値以上の相対速度を有するポイントを前記複数の静止したポイントから廃棄することを含む。一部の実施例において、前記方法は、前記相対速度が前記複数の静止ポイントのうち、最大の静止ポイントに関連する方位角に基づいてライダー速度の方位角の方向を決定することを含む。
【0011】
前記第1セットの一部の実施例において、前記方法は、現在ライダー速度およびスキャン周期内の固定時間からの時間差に基づいて前記ポイントクラウドデータでポイントの方位または傾斜または距離を変更することによって、デスキューイング(De-Skewing)するステップを含む。
【0012】
第2セットの実施例において、高解像度ライダーシステムを作動するように構成されたプロセッサで具現される方法は、それぞれのポイントに対する傾斜角、方位角、距離および前記ポイントの反射率を含む少なくとも4つの次元を示すポイントクラウドデータを収集するために高解像度ライダーシステムを作動するステップを含む。前記方法は、また前記ポイントクラウドで複数のオブジェクトを決定することを含む。それぞれのオブジェクトは、高い反射率値を有する前記ポイントクラウドの複数の隣接ポイントに基づく。前記方法も前記データベースで対応する数のオブジェクトを決定するステップを含む。データベースのそれぞれのオブジェクトは、位置が知られている。また、前記方法は、前記データベースに対応する前記オブジェクトについてのデータベース内のそれぞれのオブジェクトの知られた位置に少なくとも部分的に基づいて前記ドップラーライダーシステムの位置を決定するステップを含む。
【0013】
第3セットの実施例において、ドップラーライダーシステムを作動するように構成されたプロセッサで具現される方法は、それぞれのポイントに対する傾斜角、方位角、距離、前記ポイントと前記ライダーシステムとの間の相対速度および前記ポイントの反射率を含む少なくとも4つの次元を示すポイントクラウドデータを収集するためにドップラーライダーシステムを作動するステップを含む。前記方法は、ポイントクラウドで複数のオブジェクトを決定するステップを含む。それぞれのオブジェクトは、高い反射率値を有するポイントクラウドで隣接するポイントまたは全域的静止オブジェクトのためのほぼ適切な相対速度値を有するポイントクラウドの隣接ポイントを基盤とする。前記方法は、またデータベースで対応する数のオブジェクトを決定するステップを含む。データベースでそれぞれのオブジェクトには、位置が知られている。前記方法は、データベース内の対応するオブジェクトについてのデータベース内のそれぞれのオブジェクトの知られた位置に少なくとも部分的に基づいてドップラーライダーシステムの速度を決定するステップをさらに含む。
【0014】
第4セットの実施例において、ドップラーライダーシステムを作動するように構成されたプロセッサで具現された方法は、それぞれのポイントに対する傾斜角、方位角、距離、前記ポイントとライダーシステムとの間の相対速度および前記ポイントの反射率(Reflectivity)を含む少なくとも4つの次元を示すポイントクラウドデータを収集するためにドップラーライダーシステムを作動するステップを含む。前記方法は、また前記ポイントクラウドでオブジェクトの複数の地点を決定するステップを含む。前記オブジェクトは、高い反射率値を有する前記ポイントクラウドで隣接するポイントまたは方位角とドップラーコンポーネント値のクラスタを基盤とする。前記方法は、前記オブジェクト上の前記地点の間のドップラーコンポーネント値の差に基づいて前記オブジェクトの回転速度またはグローバル速度(Global Velocity)を決定するステップをさらに含む。
【0015】
他の実施例において、システムまたは装置またはコンピュータ読み取り可能媒体は、前記方法の1つ以上のステップを実行するように構成される。
【0016】
また他の側面において、本発明を行うために考慮される最上のモードを含む多数の特定の実施例および具現を単純に例示することによって、次の詳細な説明から本発明の特徴および長所を容易に理解することができる。他の実施例は、また異なる特徴および長所を有し得、一部の詳細事項は、本明細書の思想および範囲を逸脱しない様々な側面で明らかになるように修正され得る。したがって、図面および説明は、限定的ではなく、本質的に例示的なものとみなされるべきである。
【図面の簡単な説明】
【0017】
実施例は、限定的な方式ではなく、例示的な方式で説明され、添付された図面で同様の構成要素は、同様の参照番号が付与されておる。
【0018】
図1A】本発明の一実施例によって、距離の測定のためにリターンされた光信号とともに一連の2進数として、送信された信号の例を示す図式グラフ(Schematic Graph)である。
【0019】
図1B】本発明の一実施例によって、リターンされた2つの信号の基準信号の交差相関(Cross-Correlations)の例を示す図式グラフであり、かつ基準信号のスペクトルおよびドップラーシフトされたリターン信号(Doppler Shifted Return Signal)のスペクトルの例を示す図式グラフである。
【0020】
図1C】本発明の一実施例によって、ドップラーシフトされたリターン信号の位相コンポーネントの交差-スペクトルの例を示す図式グラフである。
【0021】
図1D】一実施例によって、距離(Range)についての光チャープ測定の例を示すグラフセットである。
【0022】
図1E】一実施例によって、対称LO信号を使用するグラフであり、ドップラーシフトがないときに周波数時間プロットのリターン信号を破線で示すグラフである。
【0023】
図1F】一実施例によって、対称LO信号を使用する図1Eと同様のグラフであり、0ではないドップラーシフトがあるときに周波数時間プロットのリターン信号を破線で示すグラフである。
【0024】
図2A】一実施例によって、高解像度ライダーシステムコンポーネントの例を示すブロック図である。
【0025】
図2B】一部の実施例で使用される高解像度ドップラーシステムのための鋸歯(Sawtooth)スキャンパターンを示すブロック図である。
【0026】
図2C】一実施例によって、高解像度ドップラーライダーシステムによって生成された速度ポイントクラウドの例を示すイメージである。
【0027】
図3A】一実施例によって、車両に装着された少なくとも1つの高解像度ドップラーライダーシステムを含むシステムの例を示すブロック図である。
【0028】
図3B】一実施例によって、車両に装着された多重の高解像度ドップラーライダー(Multiple Hi-res Doppler LIDAR)システムを含むシステムの例を示すブロック図である。
【0029】
図3C】一実施例によって、ポイントクラウドから検出されたオブジェクトに関連して車両に装着された多重の高解像度ドップラーライダーシステムを含む例を示すブロック図である。
【0030】
図4】一実施例によって、自律走行車の設定で高解像度ドップラーライダーシステムからデータを使用するための方法の例を示す流れ図である。
【0031】
図5A】一実施例によって、静止した路面に対する自車両(Own Vehicle)の移動を検出するための計算コンポーネントの例を示すブロック図である。
【0032】
図5B】一実施例によって、エゴモーション(Ego-Motion)に対して補償されず、x/y/z空間でレンダリングした原始ドップラーライダー(Raw Doppler LIDAR)ポイントクラウドの例を示すプロットである。
【0033】
図5C】一実施例によって、ドップラー計算速度のソリューションに基づいてエゴモーション(Ego-Motion)に対する距離が補償され、x/y/z空間でレンダリングして具現されたドップラーライダーポイントクラウドの例を示すプロットである。
【0034】
図6】一実施例によって、自車両(Own Vehicle)の速度を決定する方法の例を示す流れ図である。
【0035】
図7A】一実施例によって、衛星航法システム(GPS)データおよび高解像度3Dドップラーライダーデータから導出された速度比較の例を示すグラフである。
図7B】一実施例によって、衛星航法システム(GPS)データおよび高解像度3Dドップラーライダーデータから導出された速度比較の例を示すグラフである。
【0036】
図7C】一実施例によって、車両の移動方向による方位角でドップラーライダーからの速度依存性の例を示すグラフである。
【0037】
図7D】一実施例によって、車両の移動方向による方位角でドップラーライダーからの速度依存性の例を示すグラフである。
【0038】
図7E】一実施例によって、車両の移動方向による方位角でドップラーライダーからの速度依存性の例を示すグラフである。
【0039】
図7F】一実施例によって、方位角でドップラーライダーからの速度依存性測定の例を示すグラフである。
【0040】
図8】他の実施例によって、自車両(Own Vehicle)の速度および他の移動オブジェクトを決定するための方法の例を示す流れ図である。
【0041】
図9A】一実施例によって、自車両(Own Vehicle)に対する他のオブジェクトの移動を検出するための計算コンポーネントの例を示すブロック図である。
【0042】
図9B】一実施例によって、自車両(Own Vehicle)に対する他のオブジェクトの移動を検出するための計算コンポーネントの例を示すブロック図である。
【0043】
図9C】一実施例によって、自車両(Own Vehicle)に対する他のオブジェクトの移動を検出するための計算コンポーネントの例を示すブロック図である。
【0044】
図10】他の実施例によって、他の移動オブジェクトの移動およびトラック(Track)を決定するための方法の例を示す流れ図である。
【0045】
図11】一実施例によって、検出された調査オブジェクト(マッピングデータベースで静止オブジェクト)に対する自己位置(Own Position)を決定するための計算コンポーネントの例を示すブロック図である。
【0046】
図12】一実施例によって、検出された調査オブジェクトに対する自己位置(Own Position)を決定する例を示す流れ図である。
【0047】
図13】一実施例によって、独自のグローバル速度を決定するための計算コンポーネントの例を示すブロック図である。
【0048】
図14】一実施例によって、独自のグローバル速度を決定する例を示す流れ図である。
【0049】
図15】一実施例によって、自車両(Own Vehicle)に対する移動オブジェクトの回転速度を決定するための計算コンポーネントの例を示すブロック図である。
【0050】
図16】一実施例によって、移動オブジェクトのグローバル速度を決定するための方法の例を示す流れ図である。
【0051】
図17A】一実施例によって、高解像度ドップラーライダーシステムから照明される地点の位置の例を示すブロック図である。
【0052】
図17B】一実施例によって、静止オブジェクトおよび移動オブジェクトのトラック(Track)からのリターンを示す照明される地点でリターンの例を示すイメージである。
【0053】
図17C】一実施例によって、静止オブジェクトおよび移動オブジェクトのトラック(Track)からのリターンを示す照明される地点でリターンの例を示すイメージである。
【0054】
図17D】一実施例によって、静止オブジェクトおよび移動オブジェクトのトラック(Track)からのリターンを示す照明される地点でリターンの例を示すイメージである。
【0055】
図18A】一実施例によって、移動オブジェクトとして別の車両でリターンの例を示すグラフである。
【0056】
図18B】一実施例によって、移動オブジェクトとして別の車両でリターンの例を示すグラフである。
【0057】
図18C】一実施例によって、移動オブジェクトとして別の車両でリターンの例を示すグラフである。
【0058】
図18D】一実施例によって、測定されたポイントクラウドの例を示すプロットである。
【0059】
図18E】一実施例によって、測定されたポイントクラウドの例を示すプロットである。
【0060】
図19】本発明の一実施例が具現されることができるコンピュータシステムを示すブロック図である。
【0061】
図20】本発明の一実施例が具現されることができるチップセットを示すものである。
【発明を実施するための形態】
【0062】
車両を作動させるための光距離検出のドップラー補正の利用方法、装置、システムおよびコンピュータ読み取り可能媒体が記述される。説明の目的のために次の詳細な説明において、本発明の完全な理解を提供するために様々な具体的な内容が記述される。しかし、当業者は、このような具体的な内容がなくても、本発明が実行できることを理解するであろう。他の場合において、本発明を不必要に曖昧にすることを避けるためによく知られている構造とデバイスは、ブロック図の形として示す。
【0063】
広い範囲を表す数値範囲とパラメータは、たとえ近似値であっても、具体的な非-限定的な例において意味する数値は、できるだけ正確に報告される。しかし、任意の数値は、本発明の作成時点で、それぞれの実験測定で発見された標準偏差から生じるしかない特定の誤差を内在的に含む。さらに、文脈から特に明らかでない限り、本発明に提示された数値は、最下位の数字によって与えられた含蓄された精度を有する。したがって、値1.1は、1.05から1.15までの値を暗示する。「約」という用語は、与えられた値を中心に、より広い範囲を表すのに使用され、文脈から特に明らかでない限り、「約1.1」が1.0から1.2まで暗示するように、最下位の数字の周辺のより広い範囲を暗示する。もし、最下位の数字が不明であれば、「約」という用語は、2倍を意味する。例えば、「約X」は、0.5Xから2Xまでの範囲内の値を暗示する。例えば、「約100」は、50から200までの範囲内の値を暗示する。さらに、本発明に開示されたすべての範囲は、その中に含まれた任意の範囲とすべての下位の範囲を含むものと理解されるべきである。例えば、「10未満」の範囲は、ゼロ(Zero)の最小値と10の最大値との間(含む)の任意の範囲と下位の範囲すなわち、ゼロと同じか、またはより大きい最小値10と同じか、またはより小さい最大値を有する任意の範囲と下位の範囲例えば、1ないし4を含み得る。
【0064】
本発明の一部の実施例は、個人用自動車に単一前面装着(Single Front Mounted)の高解像度ドップラーライダーシステムに関連して以下に記述される。しかし、実施例は、このような内容に限定されない。他の実施例において、重なるか、または重ならない視野を有する多重システムまたはより小さいか、またはより大きな地上、海上または宇宙車両(自律または部分自律または運転者補助)に装着された1つ以上のシステムが使用される。一部の実施例において、高解像度ドップラーライダーは、本発明者たちの以前の研究で説明されたように、外部変調とともに連続波(Continuous Wave、CW)レーザーを使用するものである。外部変調は、電子制御を通じる波形の柔軟性を可能にし、レーザーの要求事項を減らし(レーザーは、単にCW)、同時距離およびドップラー(速度測定)に対する新しい方法を許容し、ビームが他の小さなターゲット半点(Speckle Realizations)を迅速に通過する際に、低いSNRでより良い性能を許容する利点を提供する。
【0065】
1.位相-エンコーディング検出の概要
【0066】
距離測定のために光位相-エンコーディング信号が使用され、送信された信号は、送信された信号の一部に対する搬送波(Carrier)(位相=0)を有する同相(In Phase)であり、その後、短い時間の区間中、ΔФ(位相=ΔФ)に代表される1つ以上の位相変化によって送信された信号に対して繰り返しに2つ以上の位相値の間を前後にスイッチングする。一定の位相の最も短い区間は、パルス持続期間(τ)と呼ばれるエンコーディングのパラメータであり、通常、帯域で最も低い周波数の多数の周期の持続期間である。逆(1/τ)は、ボーレート(Baud Rate)であり、それぞれのボーは、シンボルを示す。送信された信号の時間中のこのような一定の位相パルスの数(N)は、シンボルの数(N)であり、エンコーディングの長さを示す。2進エンコーディングにおいて、2つの位相値が存在し、最も短い長さの位相のうち、1つの値は、0で見なされ得、他の1つの値は、1で見なされ得るため、シンボルは、1ビット(Bit)であり、ボーレートもビットレート(Bit Rate)と命名される。多重位相エンコーディングの場合、多数の位相値が存在する。例えば、ΔФ*{0、1、2、3}、ΔФ=π/2(90゜)のように、4つの位相値は、{0、π/2、π、3π/2}とそれぞれ同じであり、したがって、4つの位相値は、それぞれ0、1、2、3を示し得る。前記例において、それぞれのシンボルは、2ビットであり、ビット速度は、ボーレートの2倍である。
【0067】
位相-シフトキーイング(Phase-Shift Keying、PSK)は、基準信号(搬送波)の位相を変化(変調)させることによって、データを伝達するデジタル変調方式を意味する。変調は、正確な時間にサイン入力とコサイン入力を変化させることによって行われる。無線周波数(RF)において、PSKは、無線近距離通信網(LANs)、無線周波数認識(RFID)およびブルートゥース通信のために手広く使用される。代替的に、一定の基準波(Reference Wave)に対して作動する代わりに、送信は、自分自身に対して作動し得る。単一の送信波形の位相変化は、シンボルと見なされ得る。前記システムにおいて、復調器は、(基準波に対する)位相そのものではなく、受信された信号の位相の変化を決定する。前記方式は、連続的な位相の間の差に依存するため、これは差動位相-シフトキーイング(Differential Phase-Shift Keying、DPSK)と命名される。復調器が受信された信号の正確な位相を決定するために基準信号のコピーを有する必要がないため、DPSKは、通常のPSKよりも確実かつ簡単に具現されることができる(したがって、それはノンコヒーレント方式である)。
【0068】
光距離測定応用の場合、搬送波周波数(Carrier Frequency)は、光周波数fであり、RF周波数fは、光搬送波(Optical Carrier)に変調される。シンボルの数Nと持続期間τが要求される距離精度と分解能を達成するために選択される。シンボルのパターンは、コード化された信号の他のソースとノイズから区別できるように選択される。したがって、送信された信号とリターンされた信号との間の強い相関は、反射するか、または後方散乱した(Back Scattered)信号の強い表示である。送信された信号は、1つ以上のシンボルのブロックで構成され、それぞれのブロックは、さらにノイズが存在する場合にも、反射するか、または後方散乱したリターンとの強い相関を提供するほど十分に長い。次の論議で、送信された信号は、ブロックごとにN個のシンボルのMブロックで構成され、MとNは、負の整数ではないと見なされる。
【0069】
図1Aは、本発明の一実施例によって、距離の測定のためにリターンされた光信号とともに一連の2進数として送信された信号の例を示す図式グラフ120である。水平軸122は、ゼロの開始時間後の時間を任意の単位で示す。垂直軸124aは、ゼロに対する周波数f+fでの光送信された信号の振幅を任意の単位で示す。垂直軸(124b)は、ゼロに対する周波数f+fでのリターンされた光信号の振幅を任意の単位で示し、トレースを分離するために垂直軸124aからオフセットされる。トレース125は、00011010から開始し、省略によって表示されたように、連続するコードを生成するために図1Aに示されたような位相変化を有するM*N2進シンボルの送信された信号を示す。トレース126は、動かないオブジェクトから散乱する理想的な(ノイズのない)リターン信号を示す(したがって、リターンは、ドップラーシフトされない)。振幅は、減少するが、コード00011010は、認識可能である。トレース127は、動き、したがって、ドップラーシフトされるオブジェクトから散乱する理想的な(ノイズのない)リターン信号を示す。リターンは、適切な光周波数f+fにおらず、予想された周波数帯域内でよく検出されないため、振幅が減少する。
【0070】
リターンの観察された周波数f’は、数1によって与えられたドップラー効果によるリターンの正確な周波数f=f+fと異なる。
【0071】
【数1】
【0072】
ここで、cは、媒体内の光の速度であり、vは、観察者の速度であり、vは、受信機を連結するベクトルに従うソースの速度である。観察者とソースが両者の間のベクトル上で同じ方向に同じ速度で移動すると、2つの周波数は、同じであることに留意するべきである。2つの周波数間の差Δf=f’-fは、距離測定に問題を引き起こすドップラーシフトΔfとして、数2によって与えられる。
【0073】
【数2】
【0074】
エラーの大きさは、信号の周波数fに応じて増加することに留意する。また、静止したライダーシステム(v=0)でオブジェクトが毎秒10メートルの速度(v=10)で移動し、可視光線の周波数が約500THzの場合、エラーの大きさは、16メガヘルツ(MHz、1MHz=10ヘルツ(Hz)、1Hz=毎秒1サイクル)であることに留意するべきである。以下に記述される様々な実施例において、ドップラーシフトエラーは、検出されて距離の計算のためのデータプロセッシングに使用される。
【0075】
位相コード化された距離測定(Phase Coded Ranging)において、位相コード化された反射の到達は、送信された信号または他の基準信号をリターンされた信号と交差相関(Cross-Correlations)させることによって、リターン内で検出され、RF信号用コードをヘテロダイン(Heterodyne)検出を用いて光検出器からの電気信号と交差相関させ、これによってRF帯域に戻すダウンミキシング(Down Mixing)を通じて実質的に具現される。任意の1つのラグのための交差相関は、2つのトレースのコンボルビング(Convolving)すなわち、2つのトレース内の対応する値を乗じ、トレース内のすべての点(Point)を加算し、その後、それぞれのタイムラグでこれを繰り返すことによって計算される。代替的に、前記交差相関は、2つのトレースそれぞれのフーリエ変換を乗じた後に、逆(Inverse)フーリエ変換することによって行われ得る。高速(Fast)フーリエ変換(Fast Fourier Transform、FFT)のための効果的なハードウェアとソフトウェアの具現は、順方向フーリエ変換と逆方向フーリエ変換の両方のために広く用いられ得る。
【0076】
交差相関の計算は、通常、リターンの振幅と位相が光検出器から検出された後に、アナログまたはデジタル電気信号を用いて行われることに留意する。光検出器の信号を容易にデジタル化できるRF周波数の距離に移動させるために光リターン信号は、検出器に影響を与える前に基準信号と光学的にミックスされる。位相-エンコーディングされた送信光信号のコピーは、基準信号として使用できるが、レーザーによって出力される連続波搬送波周波数光信号(Continuous Wave Carrier Frequency Optical Signal)を基準信号として使用し、検出器によって出力される電気信号の振幅と位相の両方をキャプチャすることも可能であり、多くの場合好ましい。
【0077】
動かないオブジェクトから反射する理想的な(ノイズのない)リターン信号(したがって、リターンは、ドップラーシフトされない)の場合、ピークは、送信された信号の開始後の時刻Δtで発生する。これは、リターンされた信号が時刻Δtで開始される送信された位相コードのバージョンを含むことを示す。反射する(または後方散乱する)オブジェクトに対する距離Rは、媒体内の光cの速度に基づく双方向(Two Way)旅行時間遅延から計算され、数3のように与えられる。
【0078】
【数3】
【0079】
移動オブジェクトから散乱した理想的な(ノイズのない)リターン信号(したがって、リターンは、ドップラーシフトされる)の場合、リターン信号は、適切な周波数ビン(Bin)内の位相エンコーディングを含まず、相関は、すべてのタイムラグ(Time Lags)中に低く保持され、ピークは、容易に検出されず、ノイズがある場合は、多くの場合に感知されないこともある。したがって、Δtは、容易に決定されず、距離Rが容易に生成されない。
【0080】
発明者の以前作業の様々な実施例によると、ドップラーシフトは、リターンされた信号の電気的プロセッシング内で決定され、ドップラーシフトは、交差相関計算を補正するために使用される。したがって、ピークは、より容易に発見され、距離は、より容易に決定され得る。図1Bは、一実施例によって送信された信号の例示的スペクトルとドップラーシフトされた複雑なリターン信号の例示的スペクトルを示す図式グラフ140である。水平軸142は、光搬送波fからオフセットされたRF周波数を任意の単位で示す。垂直軸144aは、スペクトル密度とも呼ばれ、特定の狭い周波数ビンの振幅をゼロ(0)に相対的な(Relative to Zero)任意の単位で示す。垂直軸144bは、スペクトル密度を0に相対的な任意の単位で示し、トレースを分離するために垂直軸144aからオフセットされる。トレース145は、送信された信号を示し、ピークは、適切なRF fで発生する。トレース146は、ライダーシステムに向けて移動するオブジェクトから後方散乱して理想的な(ノイズのない)複雑なリターン信号を示し、したがって、より高い周波数にドップラーシフト(ブルーシフトと呼ばれる)される。リターンは、適切なRF fでピークを有しないが、代わりに、Δfほどシフトされた周波数fにブルーシフトされる。実際に、リターンの同相および直角(I/Q)コンポーネントをすべて示す複雑なリターンは、+Δfでピークを決定するのに使用するため、ドップラー移動方向、センサとオブジェクトとの間のベクトルにある対象の移動方向が単一リターンで明らかに示される。
【0081】
一部のドップラー補償実施例において、Δfを見つけるために送信された信号とリターンされた信号の両方のスペクトルを取り、それぞれのピークを検索した後に、対応するピークの周波数を減算するより、図1Bに例示されたように、RF帯域内のダウン-ミックスリターンされた信号の同相および直角コンポーネントの交差スペクトル(Cross Spectrum)を取ることがより効果的である。図1Cは、本発明の一実施例によって、交差-スペクトルの例を示す図式グラフ150である。水平軸152は、基準スペクトルに対する任意の単位の周波数シフトを示し、垂直軸154は、ゼロに相対的な任意の単位の交差スペクトルの振幅を示す。トレース155は、ライダーシステムに向けて移動する第1オブジェクト(ΔfD1のブルーシフト=図1BのΔf)とライダーシステムから離れるように移動する第2オブジェクト(ΔfD2のレッドシフト)によって生成された理想的な(ノイズのない)リターン信号との交差スペクトルを示す。コンポーネントの1つがブルーシフト(ΔfD1)されるときにピークが発生し、コンポーネントの1つがレッドシフト(ΔfD2)されるときに他のピークが発生する。これによってドップラーシフトが決定される。前記シフトは、衝突防止応用のために非常に重要であり、ライダー周辺のオブジェクトの符号を有する接近速度を決定するのに用いられ得る。しかし、I/Q処理が完了しない場合は、+/- ΔfD1および+/- ΔfD2の両方にピークが示されるため、ドップラー移動信号と移動方向に曖昧さが存在する。
【0082】
発明者の以前の作業でより詳細に説明したように、交差スペクトル内で検出されるドップラーシフトは、交差相関を補正するのに使用されることによって、ピーク135は、ラグΔtでドップラー補償されたドップラーシフトされたリターン内に明らかであり、距離Rが決定され得る。一部の実施例において、同時I/Q処理は、S.Crouch et al.のWO2018/144853による「Method and system for Doppler detection and Doppler correction of optical phase-encoded range detection」というタイトルの国際特許出願公報により詳細に説明されているように行われる。他の実施例において、例えば、S.Crouch et al.WO20019/014177の「Method and system for Time Separated Quadrature Detection of Doppler Effects in Optical Range Measurements」というタイトルの特許出願公報により詳細に説明されているように、直列I/Q処理がドップラーリターン符号を決定するのに使用される。他の実施例において、ドップラー補正を決定するために他の手段が使用される。様々な実施例において、ドップラー補正を行うために当業者に知られている任意の方法または装置またはシステムが使用される。
【0083】
2.チャープ検出の概要(Chirped Detection Overview)
【0084】
図1Dは、一実施例による例示的な光チャープ距離測定を示すグラフのセットである。水平軸102は、4つのグラフのすべてに対して同じであり、ミリ秒(ms、1ms=10-3秒)ずつ任意の単位で時間を示す。グラフ100は、送信光信号として使用される光のビームの電力を示す。グラフ100の垂直軸104は、送信信号の電力を任意の単位で示す。トレース106は、時間0から開始して制限されたパルス持続時間、τの間に電力が供給されていることを示す。グラフ110は、送信信号の周波数を示す。垂直軸114は、任意の単位で送信周波数を示す。トレース116は、パルスの持続時間τにわたってパルスの周波数がfからfに増加することを示し、したがって、帯域幅B=f-fを有する。周波数変化率は、(f-f)/τである。
【0085】
リターンされた信号は、グラフ160で示され、前記グラフ160は、時間を示す水平軸102およびグラフ110のように周波数を示す垂直軸114を有する。グラフ110のチャープ116がまたグラフ160上に破線として示されている。第1リターンされた信号は、トレース166aに与えられ、強度(図示せず)が減少され、Δtほど遅延した送信基準信号である。リターンされた信号が2Rの距離をカバーした後に、前記外部オブジェクトから受信されると、リターンされた信号は、前述した数3に応じて2R/cに与えられる遅延した時間Δtから開始し、ここでRは、ターゲットまでの距離(Range)であり、cは、媒体での光の速度(約3×10m/s)である。前記時間中の周波数は、距離による量、すなわち周波数変化率に遅延時間を乗じて与えられながら、fと呼ばれる量だけ変更される。これは、数4Aによって与えられる。
【0086】
【数4】
【0087】
の値は、デチャーピング(De-chirping)と呼ばれる時間領域混合作動で送信信号116とリターンされた信号166aとの間の周波数差によって測定される。したがって、距離Rは、数4Bによって与えられる。
【0088】
もちろん、リターンされた信号がパルスが完全に送信された後に到着すると、すなわち、2R/cがτよりも大きい場合、数4Aおよび4Bは、有効ではない。この場合、基準信号は、知られたまたは固定された量ほど遅延し、リターンされた信号が基準信号と重ね合わせるようにする。基準信号の固定されたまたは知られた遅延時間は、数4Bから計算された距離に追加される追加距離を提供するために光の速度cと乗じられる。媒体で光の速度の不確実性によって絶対距離は不正確であり得るが、これはほとんど一定の誤差(Near-Constant Error)であり、周波数差に基づく相対的距離は、相変らず非常に正確である。
【0089】
状況によって、送信された光ビームによって照明される地点が、半透明オブジェクトの前方および後方、またはライダーから様々な長さにあるオブジェクトのより近い部分とより遠い部分、または照明される地点内で2つの個別オブジェクトのような異なる距離で2つ以上の異なる散乱者に出会う。このような状況で、グラフ160にトレース166bに表示されたように、第2の減少された強度および異なるように遅延した信号も受信されるであろう。これは、数4bを使用して異なる距離を提供するfの異なる測定値を有することになる。状況によっては、複数の追加のリターンされた信号が受信される。
【0090】
グラフ170は、第1リターンされた信号166aと基準チャープ116との間の差の周波数fを示す。水平軸102は、図1Dの他のすべての整列したグラフのように時間を示し、垂直軸164は、はるかに拡大したスケールでの周波数差を示す。トレース176は、送信されたチャープに対する応答で測定された一定の周波数fを示し、数4Bによって与えられた特定距離を示す。第2リターンされた信号166bは、存在する場合、デチャーピング中に他のより大きいf(図示せず)値を発生させるであろう。その結果、数4Bを使用してより大きい距離を算出することになる。
【0091】
デチャーピングのための一般的な方法は、基準光信号とリターンされた光信号を同じ光検出器に向けるようにすることである。検出器の電気出力は、検出器に収束する2つの信号の周波数および位相の差と同じか、またはそれに依存するビート周波数によって左右される。前記電気的出力信号のフーリエ変換は、ビート周波数でピークを引き起こすであろう。前記ビート周波数は、テラヘルツ(THz、1THz=1012Hz)の光周波数距離ではないメガヘルツ(MHz、1MHz=10Hz=毎秒10サイクル)の無線周波数(RF)距離にある。前記信号は、マイクロプロセッサまたは特殊製作されたFTT(Fast Fourier Transform)またはその他のデジタル信号処理(DSP)集積回路で行われるFFTアルゴリズムのような共通および安価なRFコンポーネントで容易に処理される。他の実施例において、リターン信号は、(局部発振器としてチャープと比較して)局部発振器としての役割をする連続波(CW)トーンと混合される。これは、この自体がチャープである検出信号を誘発する(またはどんな波形が送信されたのか)。この場合、検出された信号は、Kachelmyer1990に説明されたとおり、デジタル領域でマッチングフィルタリング(Matching Filtering)を経る。短所は、デジタイザー(Digitizer)帯域幅の要求事項が一般的に高いものである。コヒーレント検出の肯定的な面は、他の方式で保持される。
【0092】
いくつかの実施例において、ライダーシステムは、同時的アップおよびダウンチャープを生成するように変更される。前記アプローチは、実際に距離を変更したり、ビーム内の、他のものなどの間の、または相当な組み合わせの一時的散乱者を変更するオブジェクトの速度差、またはオブジェクトに関連するライダー位置変更によって導入される可変性を除去する。前記アプローチは、またアップおよびダウンチャープとして測定された距離とドップラーシフトが実際に同じであり、非常に有用に結合できることを保障する。ドップラー方式は、周波数空間で非対称にシフトされたリターンペアを並列捕捉し、正確な補償の高い確率を保障する。
【0093】
図1Eは、一実施例によって、対称LO信号を使用するグラフであり、ドップラーシフトがないときの周波数時間プロット(Frequency Time Plot)のリターン信号を破線で示す。水平軸は、10-5秒(数十マイクロ秒)単位で時間を示す。垂直軸は、搬送波周波数fまたは基準信号に対する光送信信号の周波数をギガヘルツ(10Hertz)単位で示す。パルス持続時間の間、いつでも2つの光学周波数を含む光線が生成される。1つの周波数が、例えば、fからf(光搬送波より上に1~2GHz)に増加する間に、他の周波数は、fからf(光搬送波より下に1~2GHz)に減少する。2つの周波数帯域(例えば、fからfまでの帯域1と、fからfまでの帯域2)がオーバーラップされないため、送信信号とリターン信号は、すべて通過周波数fから開始する通過帯域を有する高域通過フィルタや低域通過フィルタ、またはこれらの組み合わせによって光学的に分離できる。例えば、f<f<f<f<fであり得る。開示される実施例において、より高い周波数がアップチャープを提供し、より低い周波数がダウンチャープを提供するが、他の実施例においては、より高い周波数がダウンチャープを生成し、より低い周波数がアップチャープを生成する。
【0094】
一部の実施例において、2つの異なるレーザーソースが時間ごとにそれぞれのビームで2つの異なる光周波数を生成するのに使用される。しかし、一部の実施例において、単一の光搬送波は、単一のRFチャープによって変調され、同時的アップおよびダウンチャープとして作用する対称的な側波帯(Symmetrical Sidebands)を生成する。前記実施例のうち、一部において、一般的に搬送波周波数に多くのエネルギーを残さないダブルサイドバンドマッハツェンダ変調器(Double Sideband Mach-Zehnder Modulator)が使用される。代わりに、ほとんどすべてのエネルギーが側波帯に入る。
【0095】
側波帯対称(Sideband Symmetry)の結果として、同じ手順の側波帯が使用されると、2つの光チャープの帯域幅は、同じであり得る。他の実施例において、他の側波帯、例えば、2番目の順序の側波帯が使用されるか、最初の順序の側波帯に重ね合わせない2番目の側波帯が使用されるか、または他の何かの組み合わせが使用される。
【0096】
Crouch et al.のWO2018/160240、「Method and System for Doppler Detection and Doppler Correction of Optical Chirped Range Detection」というタイトルの米国特許出願公報に説明されているように、送信(TX)および局部発振器(LO)チャープ波形を選択するとき、システムの周波数移動帯域が利用可能なデジタイザー(Digitizer)の帯域幅を最大限活用させることが有利である。一般的に、これは0に近い距離周波数ビートを有するように、アップチャープまたはダウンチャープを移動して行われる。
【0097】
図1Fは、一実施例によって、対称LO信号を使用する図1Eと同様のグラフであり、0ではないドップラーシフトがあるときは、前記周波数時間プロットのリターン信号を破線で示す。チャープ波形の場合は、時間分離したI/Q処理(別名時間ドメインマルチプレキシング)が前述した他のアプローチのハードウェア要求事項を克服するために使用されることができる。この場合は、AOM(Acousto-Optic Modulator)が実際値の信号に対する距離ドップラーの曖昧さを解除するために使用されることができる。一部の実施例において、引用された特許出願公開WO2018/160240により詳細に説明されているように、スコアリングシステムでアップおよびダウンチャープリターンは、ペアで使用されることができる。他の実施例において、I/Q処理は、S.Crouch et al.のWO20019/014177、「Method and System for Time Separated Quadrature Detection of Doppler Effects in Optical Range Measurements」というタイトルの特許出願公報により詳細に説明されているように、ドップラーチャープの符号を決定するのに使用されることができる。
【0098】
3.光検出ハードウェアの概要
【0099】
高解像度距離ドップラー検出システムを使用する方法を説明するために、いくつかの一般的なハードウェアアプローチが記述される。図2Aは、一実施例による高解像度ライダーシステムの例示的なコンポーネントを説明するブロック図である。光学信号は、矢印で表示される。電子の有線または無線接続は、矢先がない線分で表示される。レーザーソース(Laser Source)212は、スプリッタ216の以前または以後、変調器282aから位相または周波数変調された搬送波201を放出して持続時間Dを有する位相コーディングされるか、またはチャープされた光信号203を生成する。スプリッタ216は、基準経路220に使用するための変調された(または示されたように、変調されない)光信号を分離(Split)する。ビーム201のエネルギーの大部分を有する本発明で送信された信号とも呼ばれるターゲットビーム205が生成される。オブジェクト(図示せず)から散乱したリターンされた光291と良好な混合を生成するのに十分なエネルギーのはるかに少ない量を有する変調されるか、または変調されない基準ビーム207aがまた生成される。例示された実施例において、基準ビーム207aは、変調器282bで個別に変調される。基準ビーム207aは、基準経路220を通過し、基準ビーム207bとして複数の検出器に向ける。一部の実施例において、基準経路220は、基準ビーム207aが関心距離の拡散内でライダー外部のオブジェクトから散乱した光とともに検出器アレイ230に到逹するのに十分な遅延をもたらす。一部の実施例において、基準ビーム207bは、別個の発振器から局部的に基準ビーム207bを生成する以前のアプローチを示す局部発振器(Local Oscillator、LO)信号と命名される。様々な実施例において、柔軟性が低いアプローチからより柔軟なアプローチ至るまで、基準は、次を通じて散乱するか、または反射したフィールドに到着することになる。1)経路の長さがよくマッチングされるように、検出器アレイで送信ビームの一部分を後ろに反射させるためにシーン(Scene)内に鏡を置くことによって、2)経路の長さを近接するようにマッチングさせ、図2に提案されたように、特定距離のために観察されるか、または予測された位相差を補償するための経路調節を利用したり利用せず、検出器アレイ周辺の光学を用いて基準ビームをブロードキャスト(Broadcast)するために繊維(Fiber)遅延を用いることによって、または経路長さの不調和(Mismatch)を補償するための別個の変調を生成するために周波数シフティングデバイス(音響光学変調器)または局部発振器の波形変調の時間遅延を用いることによって、または一部の組み合わせ。一部の実施例において、オブジェクトは、十分に近く、送信された持続時間は、十分に長く、リターンは、遅延なしに基準信号と十分に重ね合わせる。
【0100】
送信された信号は、多くの場合、スキャニング光学装置218を介して関心領域を照明するために送信され得る。検出器アレイは、単一ペアまたはペアを成さない検出器またはオブジェクトからリターンされたビーム291にほぼ垂直である平面に配列されたペアを成すか、またはペアを成さない検出器の1次元(1D)または2次元(2D)アレイである。基準ビーム207bおよびリターンされたビーム291は、0個以上の光学ミキサー284で結合されて適切に検出される特性の光学信号を生成する。干渉パターンの周波数、位相または振幅または一部の組み合わせは、信号持続期間Dの間、複数回それぞれの検出器に対して取得システム240によって記録される。
【0101】
信号持続時間当り処理される時間的(Temporal)サンプルの数は、ダウン-レンジ規模(Down-Range Extent)に影響を与える。前記数は、信号当りシンボルの数、信号反復率および可用カメラフレームレートに基づいて選択される実質的考慮事項である。フレームレートは、サンプリング帯域幅であり、「デジタイザー(Digitizer)周波数」とも呼ばれる。距離規模の唯一の根本的な限界は、レーザーのコヒーレンス(Coherence)長さと、それを繰り返し(明確な距離測定のために)前のチャープまたは固有(Unique)位相コードの長さということである。これは、リターンされたヘテロダイン(Heterodyne)信号またはビットのデジタルレコードを以前の送信履歴から送信されたビットの任意の部分と比較したり、交差相関できるため活性化される。
【0102】
取得されたデータは、図19を参照して後述されるコンピュータシステムまたは図20を参照して後述されるチップセットのような処理システム250に利用可能になる。符号付きのドップラー補償モジュール270は、ここで説明された任意の他の補正とともにドップラーシフトの符号と大きさおよびこれに基づく補正された距離を決定する。一部の実施例において、処理システム250は、またスキャニング光学系218を駆動するためのスキャニング信号を提供し、図2に示されたように、変調器282a、282bを駆動する1つ以上の電気信号を送信するための変調信号モジュールを含む。例示された実施例において、処理システムは、また共有された地理空間座標システムについてまたは1つ以上の検出されたオブジェクトまたは一部の組み合わせについて車両の位置および移動についての情報を提供するために車両制御モジュール272を含む。一部の実施例において、車両制御モジュール272は、またこのような情報に対応して車両(図示せず)を制御する。
【0103】
任意の知られている装置またはシステムがレーザーソース212、変調器282a、282b、ビームスプリッタ216、基準経路220、光学ミキサー284、検出器アレイ230、スキャニング光学218または取得システム240を具現するために使用されることができる。フラッド(Flood)に対する光結合(Optical Coupling)またはターゲットに対するフォーカスまたはピューピル平面(Pupil Plane)を経るフォーカスは、示されていない。本発明に使用されたように、光結合器(Optical Coupler)は、そのうち、何よりも真空、空気、ガラス、クリスタル、鏡、レンズ、光サーキュレータ(Optical Circulator)、ビームスプリッタ、位相板(Phase Plate)、ポーラライザー(Polarizer)、光繊維(Optical Fiber)、光ミキサー、単独で、または一部の組み合わせのように、1つのコンポーネントから他のコンポーネントまで光を案内するために空間座標内で光の伝搬(Propagation)に影響を与える任意のコンポーネントである。
【0104】
図2Aは、また一実施例による同時アップおよびダウンチャープライダーシステムに対するコンポーネントの例を示す。前記実施例において、変調器282aは、送信されたビーム205の光経路に追加された周波数シフタ(Shifter)である。他の実施例において、周波数シフタは、リターンされたビーム291の光経路または基準経路220の代わりに追加される。一般的に、周波数シフタの構成要素は、変調器282bで使用される装置(例えば、AOM(Acousto-Optic Modulator)、音響光学変調器)のような局部発振器(Local Oscillator、LO、または基準経路と命名される)側、または送信側(光増幅器の前)に変調器282bとして追加され、変調器で使用される装置は、関連する損失があるため、受信側または光増幅器の後に損失コンポーネントを配置することは不利である。光シフタの目的は、光検出器230によって出力される電気信号の分析において、例えば、処理システム250でFTT(Fast Fourier Transform)コンポーネントによってピックアップされることができる異なる周波数帯域において、アップおよびダウンチャープのビート周波数が発生するように、基準信号の周波数に対して送信された信号(またはリターン信号)の周波数を知られているΔfほどシフトするものである。例えば、距離効果を誘発するブルーシフトがfである場合、アップチャープのビート周波数は、オフセットほど増加し、f+Δfから発生し、ダウンチャープのビート周波数は、オフセットほど減少してf-Δfになる。したがって、アップチャープは、ダウンチャープより高い周波数帯域にあるため、互いに分離できる。もし、Δfが予想されるドップラー効果よりも大きい場合、アップチャープおよびダウンチャープに関連する距離の曖昧さはなくなることがある。
【0105】
測定されたビートは、適切なアップチャープおよびダウンチャープ距離を得るために知られているΔfの正確な符号値に修正され得る。一部の実施例において、バランス検出器から出るRF信号は、FTT(Fast Fourier Transform)を介して分離される帯域とともに直接デジタル化される。一部の実施例において、バランス検出器から出るRF信号は、直接デジタル化できる低帯域(アップチャープおよびダウンチャープのうち、1つに対応)と基底帯域に電子的にダウンミックスできる高帯域(反対チャープ)を分離するためのアナログRF電子装置で前処理された後に、デジタル化される。両方の実施例は、検出された信号の帯域をデジタイザー(Digitizer)リソースに一致させる経路を提供する。
【0106】
図2Bは、一部の実施例で使用される高解像度ドップラーライダーシステムの鋸歯(Sawtooth)スキャンパターンを例示するブロック図である。スキャンは、方位角(水平)および傾斜角(ゼロ(0)傾斜で水平方向の垂直の上および垂直の下)範囲をスイープ(Sweep)する。他の実施例において、他のスキャンパターンが使用される。例えば、一部の実施例において、適応型スキャニングは、Crouchの「Method and system for adaptive scanning with optical ranging systems」、WO2018/125438または「Method and system for automatic real-time adaptive scanning with optical ranging systems」、WO2018/102188というタイトルの国際特許出願公報に開示された方法を用いて行われ得る。
【0107】
図2Cは、一実施例によるスキャニング高解像度ドップラーライダーシステムによって生成された速度ポイントクラウドの例を示すイメージである。ポイントクラウドと命名されるが、クラウドのそれぞれの構成要素は、一地点(Spot)からリターンを示す。地点の大きさは、ビーム幅と距離の関数である。一部の実施例において、ビームは、通常的に約1mm(mm、1mm=10-3meters)から100mmの間のライダーシステムから放出される円形の対称ガウスコリメートビーム(Collimated Beam)と断面直径(ビーム幅)を有するペンシルビームである。2Dイメージのそれぞれのピクセルは、特定の方位角および傾斜角によって照明される他の地点を示し、それぞれの地点は、ライダーに相対的な距離(3次元)および速度(4次元 )に関連し得る。一部の実施例において、反射率の測定は、またリターンされた信号(5次元)の強度または振幅によって表示される。したがって、ポイントクラウドのそれぞれのポイントは、少なくとも4Dベクトルおよび可能であれば、5Dベクトルとして示す。
【0108】
前述の技術を使用して、スキャニング高解像度レンジドップラーライダーは、各ポイントごとにライダーシステムのビュー(View)からシーン(Scene)の相対的な速度の符号を有する(Signed)高解像度3Dポイントクラウドイメージを生成する。前述した現在高解像度ドップラーライダーを用いて、ドップラー相対速度は、非常に大きいスピードスプレッド(>+/-100m/s)にわたって高い粒状度(Granularity)(<0.25m/s)で決定される。コヒーレント測定技術の使用は、ドップラーに対する固有の感度をライダースキャナのための同時距離ドップラー測定に変換する。また、コヒーレント測定技術は、従来のライダーソリューションに比べて非常に高い動的距離測定が可能にする。前記データフィールドの組み合わせは、INS(Inertial Navigation System)ドロップアウトがある場合に、非常に効果的に車両の位置を把握できるようにする。
【0109】
4.車両制御の概要
【0110】
一部の実施例において、車両は、車両に装着された高解像度ドップラーライダーシステムから受信されたデータに基づいて少なくとも部分的に制御される。
【0111】
図3Aは、一実施例によって、車両310に装着された少なくとも1つの高解像度ドップラーライダーシステム320を含むシステムの例を示すブロック図である。車両は、星311によって表示された質量中心を有し、矢印313によって与えられた前方方向に移動する。一部の実施例において、車両310は、プロセッサからの信号に応答して作動する操向または制動システム(図示せず)のようなコンポーネントを含む。一部の実施例において、車両は、図20に示されたチップセット(Chip Set)のようなオンボード(On-board)プロセッサ314を有する。一部の実施例において、オンボードプロセッサ314は、図19に示されたように、遠隔プロセッサと有線または無線通信する。高解像度ドップラーライダーは、方位角視野(Field of View)324だけでなく、周辺の垂直角度(図示せず)をフューチャービーム323で表現される1つの側面から他の側面にスイーピングするスキャニングビーム322を使用する。一部の実施例において、視野は、360度の方位角である。一部の実施例において、傾斜角視野(Inclination Angle Field of View)は、約+10度ないし約-10度またはその部分集合である。
【0112】
一部の実施例において、車両は、当業者に広く公知されているGPSセンサ、走行距離計、回転速度計(Tachometer)、温度センサ、真空センサ、電圧または電流センサのような補助センサ(Ancillary Sensor)(図示せず)を含む。一部の実施例において、回転情報を提供するためにジャイロスコープ330が含まれる。
【0113】
また、図3Aには、2つの矢印の基底にある点で表現される知られた地理的位置から北を示す矢印と東を示す矢印で表現されたグローバル座標系(Global Coordinate System)がで示されている。地理情報システム(Geographical Information System、GIS)のデータベースとしてマッピングシステムのデータは、グローバル配置(Global Positioning)システムに対して相対的に配置される。車両を制御するとき、車両周辺の他の移動オブジェクトおよび移動しないオブジェクトと比較して車両の相対的な位置および移動だけでなく、グローバル座標系における車両の位置と方向を知ることは有利である。
【0114】
図3Bは、一実施例によって、車両310に装着された多重高解像度ドップラーライダーシステムを含むシステムの例を示すブロック図である。項目310、311、313および314およびグローバル座標系は、図3Aに示されたようである。ここで、多重高解像度ドップラーライダーシステム340a、340b、340c、340c(以下、総称してライダーシステム340と指称)は、車両310に配置して特定距離を超過する範囲(Range)に対して少なくとも一部の角度で重ね合わせる完全な角度カバレッジ(Coverage)を提供する。
【0115】
図3Cは、一実施例によって、ポイントクラウドから検出されたオブジェクトに関連して車両310に装着された多重高解像度ドップラーライダーシステム340を含む例を示すブロック図である。項目310、311、313、314、340、342、343および344は、図3Bのようである。システム340から3Dポイントクラウドで検出できる項目には、路面391、カーブ395、停止信号392、ライトポスト(Light Posts)393a、393b、393c(以下、総称してライトポスト393と指称)、車線表示394、移動する別の車両396を含む。移動する別の車両396は、回転しているため、車両の前方にある速度ベクトル397aと車両の後方にある速度ベクトル397bが異なる。停止信号392およびライトポスト393のような一部の項目は、GIS(Geographical Information System)のデータベースにグローバル座標系を有し得る。
【0116】
図4は、一実施例によって、自律走行または補助走行車の設定で高解像度ドップラーライダーシステムからデータを使用するための方法400の例を示す流れ図である。図4および後続流れ図である図6図8図10図12図14および図16でのステップが例示的な目的のための特定の手順で示されているが、他の実施例において、1つ以上のステップまたはその一部が異なる手順で行われたり、連続的に直列または並列に重畳したり、省略されたり、または1つ以上の追加ステップが追加されたり、またはいくつかの組み合わせに変更され得る。
【0117】
401ステップにおいて、高解像度ライダーシステム340が車両310(周辺に別の車両396を区別するために以下、自車両(Own Vehicle)ともいう)に構成される。一部の実施例において、前記構成は、車両310にライダーシステム340を設置することを含む。構成データは、車両310内で、または遠隔で、または一部の組み合わせで複数の自車両(Own Vehicle)のデータベースに格納される。構成データは、少なくとも車両の質量中心311に対するシステム340の位置および車両の前方方向313に対するシステムの視野344を含む。一部の実施例において、40ステップは、例えば、図8を参照して以下で説明されるように、自車両(Own Vehicle)の速度に対するソリューション許容誤差(Tolerance)値のように、後続ステップのうち、1つ以上で使用される方法の他の定数または媒介変数の値を格納するステップを含む。
【0118】
403ステップにおいて、自車両(Own Vehicle)のセンサシステムが動作される。例えば、走行距離計から速度情報、GPS受信機から位置情報、ジャイロスコープから方向情報、車両の質量中心および方向に対するライダー視野の位置と方向を補正する高解像度ドップラーライダーの3Dポイントクラウドデータを得るために慣性航法装置(Inertial Navigation System、INS)が動作される。補正データは、1つ以上のデータベースに格納される。
【0119】
405ステップにおいて、どのようなキャリブレーション測定よりも高解像度ドップラーライダーは、1つ以上の前記ライダーシステム340それぞれでの一度の完全なスキャンの結果として、それぞれのポイントで相対速度を有する3Dポイントクラウドを含むシーンを構成するために作動する。411ステップにおいて、シーンデータは、静止オブジェクト(例えば、路面391または交通標識板392またはランプポスト393またはカーブ395または表示394または一部の組み合わせ)、静止オブジェクトに対する自車両の移動(自己運動(Ego-Motion)とも称する)、そして、もし存在する場合は、1つ以上の移動オブジェクト(例:396)の速度および方向を決定するために分析される。前記の結果、それぞれまたはすべてを決定するための方法の様々な実施例は、残りの流れ図を参照して以下でより詳細に説明される。
【0120】
大きな距離(車両の大きさの規模のような)を扱う前に自己運動(Ego-Motion)の決定が移動変化(加速)を感知するほど速いことが有利である。車両速度ベクトルの最大コンポーネント別変化(Component-Wise Change)(amax)は、数4に与えられたように、スキャン周期(Tscan)およびドップラー分解能(r)の積に比べて有利に小さい。
【0121】
例えば、r=0.25m/s、10Hzスキャンレート(Tscan=0.1sec)を有するライダーセンサは、車両の加速度が2.5m/sを超過する場合に、移動行為者を正しく分離できないことがある。これは、特に高い値ではないため、現在の具現は、全体垂直フレーム(異なる傾斜角オフセットで順次に行われる1つ以上のフレームレットを構成する)よりは、それぞれの「フレームレット(Framelet)」(1つ以上の同時ドップラーライダービームの垂直配列の左から右スキャン)の速度の解を求めることになる。これは、典型的な速度ソリューションの作動が効果的な80Hzのスキャン速度を有するようにしてほとんどの自動車作動を含めて多くの車両シナリオに十分な重力加速度の2倍以上の最大20m/sの加速度を提供する。他のオブジェクトの速度推定にも同様の限界が存在するが、その理由は、優先的に他のオブジェクトの範囲にわたる速度の変化が他のオブジェクトの移動を決定するための特性ドップラーノイズ値を有利に超過するためである。
【0122】
一般的に、ポイントクラウドのそれぞれの地点を1ミリ秒未満で測定し、数百個の地点からなるポイントクラウドが1/10秒未満で蓄積できるようにすることが有用である。数十マイクロ秒程度の高速測定でポイントクラウドが100倍に大きくなる。例えば、前述した高解像度ドップラー位相エンコードされたライダーは、500Mbpsで1Gbpsのボーレート(Baud Rate)を達成し得る。その結果、一度の測定に対する前記コードの持続時間は、約500ナノ秒(ns、1ns=10-9seconds)と8マイクロ秒との間である。前記条件下で前記距離ウィンドウ(Range Window)を数キロメートルまで延長することができ、ドップラー解像度も非常に高くなる可能性があることに留意する(送信信号の持続時間に応じて異なる)。
【0123】
421ステップにおいて、移動オブジェクトが自車両に対する危険、例えば、自車両(Own Vehicle)の速度または移動オブジェクトの速度または一部の組み合わせが衝突または近接衝突を示す場合を示すかどうかが決定される。もし、そうであれば、423ステップにおいて、例えば、運転者に警報を送信したり、ブレーキ、操向(Steering)またはエアバッグのような1つ以上のシステムが動作されるように自車両(Own Vehicle)に命令信号を送信することによって、危険緩和措置が開始される。一部の実施例において、危険緩和措置は、衝突または近接衝突に関与すると予測されるオブジェクトを決定することを含む。例えば、他のオブジェクトが人であるか、または汽車やトラックのような大きな移動オブジェクトである場合、自車両(Own Vehicle)を滑ったり転がしたりできるほどの深刻な衝突回避が許容されるが、他のオブジェクトが一時停止の標識または縁石である場合は、衝突を遅くすることができます。一部の実施例のうち、一部において、オブジェクトは、当業者に公知された任意の方法を使用した反射率の変化または形状または一部の組み合わせに基づいて識別される。例えば、一部の実施例において、「Method and system for classification of an object in a point cloud data set」 というタイトルのCrouchによるPCT特許出願、WO2018/102190に説明された方法を使用して行われる。一部の実施例において、オブジェクトは、自車両のグローバル位置および他の静止または移動オブジェクトに対するグローバル位置を示すGISに基づいて識別される。次に、制御は、高解像度ドップラーライダーシステム340を使用して次のシーンを収集するために405ステップに戻る。421ステップで何の危険が決定されないまで405ステップないし411ステップないし421ステップないし423ステップのループが繰り返される。明らかに、スキャンがより速く測定されるほど、ループはより迅速に完成されることができる。
【0124】
431ステップにおいて、自車両の速度が信頼できるかどうかが決定される(図4のYESで表示)。例えば、キャリブレーションデータは、走行距離計が適切に作動し、走行距離計で信号が受信されていることを示すか、またはジャイロスコープは、自車両が回転しないことを示す。一部の実施例において、3Dポイントクラウドから相対速度で決定された速度は、グローバル座標系の速度を決定するために使用され、走行距離計がポイントクラウドから決定された速度と一致しない場合、正常の速度ではない。そうでなければ、433ステップにおける速度は、相対速度データがある3Dポイントクラウドに基づいて決定される。一部の実施例において、道路表面または他の地面に対する前記速度は、411ステップで自動的に決定される。一部の実施例において、地面に対して以前に使用された速度は、433ステップで使用される。一部の実施例において、3Dポイントクラウドデータは、このような速度決定のために選択され、速度決定は、代わりに、または再び433ステップの間に行われる。次に、制御は、441ステップに進む。
【0125】
441ステップにおいて、例えば、前記媒介変数に対する値が1つ以上の自車両データベースにある場合、自車両の速度および方向が道路離脱の危険または道路状態に対する安全速度の範囲超過のような危険性を示すかどうかが決定される。もし、そうであれば、制御は、433ステップに進んで危険緩和措置を開始する。例えば、様々な実施例において、危険緩和措置の開始は、運転者に警報を送信したり、ブレーキまたは操向(Steering)のような自車両の1つ以上のシステムが作動して車両を安全な速度と方向に減速させるか、またはエアバッグが展開されるように、命令信号を送信することが含まれる。次に、制御は、405ステップに戻り、次のシーンを生成するために高解像度ドップラーライダーデータを収集する。
【0126】
451ステップにおいて、自車両の位置を信頼できるかどうかが決定される(図4のYESで表示)。例えば、縁石や車線表示のような反射率が高い地点までの長さは、正しい方向に行く道路にあるものと一致する。そうでない場合、453ステップで相対位置は、道路表示および縁石のような反射率が高い地点まで測定された長さに基づく相対速度データを有する3Dポイントクラウドに基づいて決定される。一部の実施例において、自車両のこのような相対位置は、411ステップで自動的に決定される。一部の実施例において、以前に使用された相対位置は、453ステップで使用される。一部の実施例において、反射率が高い静止オブジェクトの3Dポイントクラウドデータが453ステップの間に、自車両の相対的位置を決定するために選択される。次に、制御は、461ステップに進む。
【0127】
461ステップにおいて、自車両の相対的位置が道路離脱の危険のような危険性を示すのかの可否が決定される。もし、そうであれば、制御は、危険緩和措置を開始するために463ステップに進む。例えば、様々な実施例において、危険緩和措置の開始は、運転者に警報を送信したり、ブレーキまたは操向(Steering)のような自車両の1つ以上のシステムが作動して自車両が道路上に残るように誘導するか、またはエアバッグが展開されるようにする命令信号を送信することを含む。次に、制御は、405ステップに戻り、高解像度ドップラーライダーデータを収集して次のシーンを構成する。
【0128】
421、441または461ステップで検出される危険がない場合、制御は、470ステップに進む。470ステップにおいて、グローバル位置は、相対速度データがある3Dポイントクラウドに基づいて決定される。一部の実施例において、自車両のこのようなグローバル位置は、411ステップで自動的に決定される。一部の実施例において、以前に使用された自車両のグローバル位置は、470ステップで再び使用される。一部の実施例において、道路標識板およびランプポストのような静止オブジェクトの3Dポイントクラウドデータまたは軌跡オブジェクトのような精緻に知られている全体座標および軌道を有する移動オブジェクトが選択され、470ステップでGISと相互参照されて自車両の全体位置を決定する。一部の実施例において、470ステップは、省略される。次に、制御は、481ステップに進む。
【0129】
481ステップで自車両のグローバル位置が特定の目的地に進むために間違った道路上にいる危険のような危険性を示すかどうかが決定される。もし、そうであれば、制御は、483ステップに進んで危険緩和措置を開始する。例えば、様々な実施例において、危険緩和措置の開始は、運転者に警報を送信したり、ブレーキまたは操向(Steering)のような自車両にある1つ以上のシステムが自車両の正確なグローバル位置に誘導するか、またはエアバッグが展開されるようにする命令信号を送信することを含む。次に、制御は、405ステップに戻り、高解像度ドップラーライダーデータを収集して次のシーンを構成する。
【0130】
421、441、461または481ステップで検出される危険がない場合、制御は、491ステップに進んで最終条件が満たされるかどうかを決定する。様々な実施例で任意の最終条件が使用されることができる。例えば、一部の実施例において、車両の電源がオフにされたか、特定の目的地に到着したか、またはシステムをオフにするように運転者から命令が受信されたものと検出されると、終了条件が満たされる。終了条件が満たされない場合、制御は、前述した403ステップの後に再び戻る。そうでなければ、過程は終了される。
【0131】
5.例示的な実施例
【0132】
図5Aは、一実施例によって、静止した路面に対する自車両の移動(自己運動(Ego-Motion))を検出するための計算コンポーネントの例を示すブロック図である。高解像度ドップラーライダーシステムのセンサ520は、速度V(車両の前方方向に)で進行する車両に装着される。センサは、路面よりも上の高さにあり、車両がかなりの距離を移動する時間に比べて短いスキャンの間に、単位ベクトルで表現された傾斜角(例えば、大きさ=1)lおよびlでビームをスキャンすることに対応して路面590の前方にある地点591、592からリターンを受信する。固定地点591、592からのリターンの相対速度Vr1およびVr2は、センサ520の基準フレームで観察された高解像度ドップラーライダーシステムによって直接測定される。前記速度は、数5aおよび5bに提示されたように、それぞれの逆単位ベクトルl’およびl’の内積と同じである。
【0133】
【数5】
【0134】
’およびl’が知られており、Vr1およびVr2が測定され、Vは、水平(路面590に平行)であり、車両の進行方向にあると仮定するため、Vについてそれぞれの式の解を求めることができる。しかし、システム的エラーのため、それぞれの決定にエラーがあり得る。システム的エラーを除去するために、数5Cによって差が決定され、差の方程式のVについての解が求められ得る。
【0135】
または数5Dのように異なるように表現され得る。
【0136】
ここで、ΔV=Vr1-Vr2およびΔl’=l’-l’は、図5に示すようなものである。したがって、ライダーシステムは、ポイントとライダーシステムとの間の傾斜角と相対速度をそれぞれのポイントで示すポイントクラウドデータを収集するように動作される。それぞれのポイントに対する傾斜角に基づいて複数の静止ポイントは、ポイントクラウドで識別される。次に、ライダーの地上速度の決定(そして、車両の地上速度推論によって)は、複数の静止ポイントに対応する複数の相対速度に基づく。
【0137】
前記プロセッシングは、データで利用可能な4つの次元または5つの次元(傾斜、方位、距離およびドップラーコンポーネント)のうち、2つの次元(傾斜およびドップラーコンポーネント)に制限されることに留意する必要がある。これは、少なくとも4つの次元のうち、3つ以下のみを基準にポイントクラウドにあるオブジェクトの属性値を決定する例である。前記2つの次元アプローチの利点は、ノイズがある連立方程式を解く様々な計算方法が3つの次元または4つの次元に実行されなければならない場合よりもはるかに効率的というものである。ノイズがある連立線形方程式を解く一般的な方法は、一般的に最小二乗法(Least Squares Solutions)と呼ばれ、主に恒等式(Identity)を用いてx=(A*A)-1*A*bを暗示する量b-Axを最小化し、このためには、(A*A)の逆を見つける必要がある。これは、一般的にSVD(特異値分解)または完全直交分解(COD)を通じて行われる。このようなものは、ベクトルb、xおよび行列Aの次元が高いほど計算集約的である。したがって、利用可能なすべてのプロセッシングについてより短い時間にソリューションを決定し得る。したがって、前記アプローチは、危ない状況に対応するのにより多くの時間を提供する。
【0138】
図5Bは、一実施例によって、自己運動(Ego-Motion)は、補償されず、x/y/z空間でレンダリングした原始ドップラーライダーポイントクラウドの例を示す構成である。図5Cは、一実施例によって、ドップラー計算速度ソリューションに基づいて自己運動(Ego-Motion)に対する距離が補償され、x/y/z空間でレンダリングした具現されたドップラーライダーポイントクラウドの例を示す構成である。
【0139】
図6は、一実施例によって、自車両の速度を決定する方法の例を示す流れ図である。前記実施例は、数5Aないし5Dに基づく。601ステップにおいて、図4の405ステップに対応して高解像度ドップラーライダーデータが得られる。603ステップにおいて、静止された地面および車両の前に対応するデータの地点が識別される。一部の実施例において、地面ポイントは、地面の地点として使用するために例えば、前記3Dデータクラウドで使用者が地点を囲むことができるように使用するグラフィックユーザインターフェース(Graphical User Interface、GUI)のような手動入力に基づいて識別される。これは、また幾何学的特徴に基づいて自動的に行われ得るが、例えば、車両の進行方向313に沿って陰の傾斜角で車両の前の線に沿うポイントを使用できる。
【0140】
前記ポイントの間を移動するオブジェクトは、計算に混乱を与えることができる。したがって、幾何学的条件を満たしているほとんどのポイントと速度差が大きい他の速度を破棄する努力が行われる。
【0141】
605ステップにおいて、センサと地面の複数の地点の間の単位ベクトルlが決定される。607ステップにおいて、Δl’は、地面にある任意の地点のペアに対して決定される。609ステップにおいて、ΔVは、任意の地点のペアに対する測定されたドップラー速度に基づいて決定される。611ステップにおいて、Vを得るために任意のペアに対して数5Dが計算される。一部の実施例において、607、609および611ステップが複数の任意のペアに対して繰り返しかつ平均化されて測定においてノイズ効果をより減少させる。
【0142】
図7Aおよび図7Bは、一実施例によって、衛星航法システム(GPS)データと高解像度3Dドップラーライダーデータから導出された速度の間の比較の例を示すグラフである。図7Aは、スキャン数の任意の単位で時間を示す水平軸と、最小約1から最大約15までのメートル毎秒の単位で前方方向313の速度を示す垂直軸を有するグラフ710を示す。軌跡716は、GPSから由来した速度を示し、GPSソリューションと呼ばれる。車両は、ポイント716aでほとんど停止し、ポイント716bで高速に到逹する。ボックス718は、図7Bのグラフ720で拡張されたスケールで再表示された区間を示す。グラフ720は、スキャン数の任意の単位で時間を示す水平軸と最小約11.1から最大約12までのメートル毎秒単位で前方方向313の速度を示す垂直軸を有するグラフ720を示す。軌跡726は、GPSソリューションを示し、軌跡727は、ドップラーソリューションと呼ばれる高解像度ドップラーからのポイントクラウドから由来した速度を示す。毎秒約0.1メートル以内でほとんど一致している。2つの軌跡の両方で発見された非常に小さな推移を形成するシステム的エラーがある。
【0143】
実際に、数5D自体が測定値Vr1およびVr2で任意のノイズの影響を受けるため、移動オブジェクトより静止した地面を示す地点を客観的に決定するのが難しかった。車両の方向313以外の方向に測定された速度は、自車両の車両速度(速力および方向)を決定するとき、ノイズの影響を低減するために使用できることが認識された。また他の方位角の方向を使用すると、車両が前方方向に移動しているという仮定を避け得る。図7Cないし図7Eは、一実施例によって、車両の移動方向に相対的な方位角に対するドップラーライダーからの速度依存性の例を示すグラフである。図7Cのプロット730は、360度にわたってスキャンする1つの実験で測定されたドップラー速度を示す。水平軸は、-180度から180度までの方位角を示す。垂直軸は、-2.5から+2.5までメートル毎秒でドップラー速度を示す。開いた円(Open Circle)は、地面の測定値(すなわち、仮定された静止ポイント)を示す。それぞれの方位角でライダーが360度を複数回スキャンするときに、複数の速度が測定される。前記実験中の速度の範囲(Range)は、測定のノイズのために発生する。前記実験においては、ポイントクラウドで静止ポイントの測定を汚染させる移動オブジェクトがなかった。
【0144】
前方方位角(Azimuths in Front)は、相対運動が車両に向かうときに陽の速度を示し、車両310の方向313に対して0度の方位角の近くで移動方向の最大値を有する。0からの差は、車両の推定された前方方向からの速度差を示す。後方方位角(Reaward Azimuth)は、地面の地点の相対運動が車両から離れるにつれて陰の速度を示す。前記データは、コサイン関数と同様の軌跡(Trace)737から与えられた多項式に一致し得る。したがって、地上速度の方位角の方向は、複数の静止ポイントのうち、相対速度が最大である静止ポイントに関連する方位角に基づいて決定される。そして、実際の地上速度は、相対速度が最大である複数の静止ポイントに基づく。
【0145】
同じノイズ平均最大値が車両の移動方向に対するデータの下位集合を用いて得られる。図7Dのプロット740は、-30度から30度までの方位角を示す水平軸を有する。垂直軸は、0から+2.5までのメートル毎秒のドップラー速度を示す。ドット746は、約-25度の方位角から約25度までの測定値と、軌跡747は、多項式適合度(Polynomial Fit)を示す。同様に、図7Eのプロット750には、-60度から60度までの方位角を示す水平軸を有する。垂直軸は、0から+2.5までのメートル毎秒でドップラー速度を示す。ドット756は、約-25度の方位角から約25度までの測定値と、軌跡757は、多項式適合度を示す。本質的に方位角補正車両速度は、図7Cないし図7Dの多項式の軌跡で表現される。
【0146】
前記実験において、すべてのポイントは、静止した地面に向かうため、車両の速度は、多項式適合度が最大であるドップラーで提供される。それぞれのポイントでドップラーの速度Vは、数6に与えられたビーム方向と車両の速度Vの単位ベクトルlの内積である。
【0147】
【数6】
【0148】
図7Fは、一実施例によって、方位角に対するドップラーライダーからの速度依存性を測定する例を示すグラフである。示されたプロジェクションは、方位角/距離/ドップラー空間でレンダリングしたドップラーライダーポイントクラウドを示すが、方位角およびドップラー軸のみ表示するように回転された。静止した地点のコサイン構造のように、前記観点から見ると、別の移動オブジェクトが明らかになる。
【0149】
数5Aないし5Dの2次元処理を、x、yおよびzのそれぞれが東、北および上を示す3次元に一般化する。計算的に効率的であるが、潜在的に数値的不安定なアプローチは、短い時間間隔内にスキャナによって検出されたポイント集合に対して数6に3つの未知数を使用して3つの式システムを形成するものである。前記連立方程式は、次のような形式である。
【0150】
【数7】
【0151】
Aは、それぞれのドップラー測定に対する逆単位ベクトルl’の行列、それぞれのベクトルl’は、x、yおよびz方向に対して3つのコンポーネントl’l’l’を有し、Vは、車両速度およびスカラー測定されたドップラー相対速度の配列Dの3次元ベクトルである。次のように表し得る。
【0152】
【数8】
【0153】
数8は、速度ベクトルであるVに対する値を提供するためにAの逆を繰り返して内積することのような方法で計算され得る。
【0154】
前記アプローチは、システムを形成するのに利用されるポイントの選択に敏感であるが、行列Aが特異な場合、逆Aを求めるのに失敗し得るためである。これは、ポイントが非常に同様のビームベクトルを有する場合、例えば、ポイントが小さな角度領域にわったて収集された場合に発生する。また、距離のようなドップラー値の測定には、ノイズによって正確なソリューションを得ることができず、ソリューションは、繰り返し遂行を通じて収束しなければならない。前記公式は、ソリューションに含まれた移動オブジェクトの地点に非常に敏感であるため、移動オブジェクトの地点が含まれないように簡単かつ低水準の方法が有利である。一部の実施例において、移動オブジェクトは、最新の以前の速度ソリューションとの互換性に基づいてフィルタを適用することによって、セグメント化し得る。n番目のサンプルの正規化ビームベクトルのために静止オブジェクトのドップラー検出は、数9に与えられた関係に従うべきである。
【0155】
【数9】
【0156】
ここで、ΔVは、スキャナのドップラー速度測定で予想されるエラーの量に以前ソリューションをサンプリングしてから車両速度の最大予想変化が乗算された小さなベクトルである。これは、他のアプローチのうち、最新の加速およびサンプリング時間(スキャンまたは下位スキャン周期)によって評価され得る。
【0157】
一部の実施例で使用される代替的なアプローチは、例えば、特異値分解(SVD)に基づいて過度に決定された最小二乗法のソリューション(Over-Determined Least Squares Solution)を見つけることである。ここで、Aは、n×3である行列であり、ここで、nは、使用されたライダー地点(3Dポイントクラウドのポイント)の数を意味する。この場合、数7は、数10Aの形態を取り得る。
【0158】
【数10】
【0159】
数10Aによって与えられた過度に決定された表現に対するソリューションが発見されるが、ここで目的は、方程数10Bによって与えられた大きさ(n×1)の列ベクトルである残差ベクトルRを最小化するベクトルVを見つけることである。
【0160】
本質的に、Rは、図7Cないし図7Dの多項式軌跡によって表現された方位角補正車両速度とデータポイントとの間の差を示す。
【0161】
視野(Field of View:FOV)を通過するドップラー変化の特性がよく定義されているため、擬似-逆基盤SVD(Singular Value Decomposition)ソリューションが図7Cに示されたデータに対してよく動作されることは、明らかである。対照的に、図7Dは、これと同じ状況を+/-20度(40°FOV)に対してのみ表示し、その差は、はるかに明らかでない。したがって、実際に前記制限は、FOVによって強く駆動される速度ベクトルをよく分解することができる最小速度の形態を取る。これは、車両に使用されるライダーセンサが垂直方向により小さなFOVを有する場合が多いため、垂直(傾斜/高度)方向で最も一般的に発生することを分かる。また、速度ベクトルは、最上の性能を得るためにライダーセンサのFOV内部を指すべきである(すなわち、移動方向は、ライダーによって角度方向スキャナ内にある)。公式は、前記制約の範囲外の値をリターンするが、この場合、ノン-カウンタースキャニングパターン(Non-Counter Scanning Pattern)に対するスキャン周期中の急激な線形加速と区別できないため、有効でないことがある。ノン-カウンタースキャニングパターンは、単一スキャニングフレームの実行ですべてのビームが常に同じ方向に移動する1つ以上のライダービームのスキャニングパターンである。カウンタースキャニングパターンは、1つ以上のライダービームが単一スキャニングフレームの実行で同時にまたは他のポイントで1つ以上の反対方向に移動するスキャニングパターンである。
【0162】
FOV限界は、数10Cによって与えられた中間角度(<~80度)に対して近似化され得る。
【0163】
ここで、rは、ドップラーライダーセンサの速度分解能であり、||v||は、車両速度ベクトルの大きさであり、θは、移動方向とFOVのエッジの1つとの間の2つの角度のうち、より小さい値である。
【0164】
目標速度推定に対しても同様の限界が存在し、最初にターゲット範囲にわたる速度の変化は、ターゲットの運動(Motion)を決定するために特性ドップラーノイズ値を超過するべきである。しかし、実際には、ドップラーライダーの例で提供するスキャン方向の非常に高いサンプル密度によって最小二乗?(Least Squares Solutions)適用の限界内で作動し得る。
【0165】
図8は、他の実施例によって、自車両の速度および他の移動オブジェクトを決定するための方法800の例を示す流れ図である。これは、自車両移動(自己運動)補償に関連する。本実施例は、数10Bの残余コラムベクトル(Residual Column Vector)Rに基づき、自車両移動(自己運動)を決定するだけでなく、自己運動に基づく移動および静止オブジェクトの検出を補償する。自己運動は、実際には、LIDARの運動であり、前記運動は、前記LIDARが固定された車両の動きに転嫁されることに留意する。また、同じ車両の複数のLIDARシステムの前記自己運動は、前記車両の動きを決定するために結合され得ることに留意する。
【0166】
801ステップにおいて、現在速度ベクトルVcurrentが決定される。方法800を使用して発見されるソリューションに対する本質的に最初の推測である現在速度ベクトルを決定するために任意の方法が使用されることができる。例えば、止めの状態で開始する車両の場合、現在速度ベクトルは、0である。例えば、走行距離計が機能を停止したとき、ソリューションを見つける一部の実施例において、現在速度ベクトルは、車両がその時刻に走行していた方向に走行距離計からの最後の速度で選択され得る。例えば、後の時間の増加分でソリューションを決定するための実施例において、現在速度ベクトルは、以前の時間の増加分でのソリューションと同じように選択される。一部の実施例において、現在速度は、前述したように、最大速度を有する下向き傾斜ペアおよび方位角を用いて決定される。
【0167】
801ステップは、ソリューション許容誤差、3Dポイントクラウドで静止した地点に関連する残差第1しきい値、同じ速度で動くことが予想されるオブジェクトに対する角度ビン(Angle Bin)の大きさおよび同様に移動するオブジェクトに対する角度ビンの大きさを決定することを含む。第1しきい値は、スキャン時間中の車両速度の変化よりも大きい速度差である。例えば、スキャンが1ミリ秒内に完了され、車両が10秒内に時速100km(毎秒約3メートル)で加速できる場合、毎秒.003メートル以上の変化は、自車両速度の変化によるものではなく、その変化は、おそらく移動オブジェクトがスキャンされるためであるものと予想される。このような場合、第1しきい値は、秒当.01メートルである。もし、スキャニングパターンにある隣接ビームが同様の速度、例えば、同様の残差の大きさを有する場合、これらは、同じオブジェクトに属し得る。したがって、同じ移動オブジェクトに対するデータポイントは、近接する角度および近接する速度変化の大きさの範囲を有することと予想される。前記データは、一部の実施例において、移動オブジェクトの大きさおよび速度を決定するために探索される。角度ビンの大きさおよび残差ビンの大きさのために決定された値は、3Dポイントクラウドで移動オブジェクトの存在と速度を決定するためにデータポイントをグループ化する方法に影響を与える。
【0168】
前記値を決定するために、ローカルまたは遠隔メモリまたはストレージからの読み出し、標準アルゴリズムを用いたコンピューティング、任意または情報要請についての応答として、遠隔プロセッサからメッセージの受信を含む任意の方法が使用されることができる。一部の実施例において、前記すべてのパラメータについての値は、図4の401ステップの間に決定され、構成データとともに1つ以上のデータベースに格納される。
【0169】
803ステップにおいて、単一スキャンの間に収集された3Dポイントクラウドデータは、現在速度によるスキュー(Skew)に対して補正される。スキューは、ライダーがシーンをスキャンする間に車両が動くときに発生する。したがって、ポイントクラウドのそれぞれのポイントに関連する距離およびドップラー速度は、車両速度に対する現在値を用いてスキャン開始時間またはスキャン中の時刻またはスキャン終了時刻または他の時刻に補正されることができる。したがって、803ステップは、現在のライダー速度およびスキャン周期中に停止した時間からの時間差に基づくポイントクラウドデータでポイントの方位角または傾斜角または距離の変化を含む。一部の実施例において、スキューは、重要ではないか、または無視され、803ステップは、省略され得る。
【0170】
805ステップにおいて、例えば、V、VおよびVzを有し、数10Bを用いて計算された現在車両速度に基づいて残差ベクトルが決定される。残差ベクトルの行は、ポイントクラウドデータのポイント速度が現在車両速度からどのくらい異なるのかを測定する。もし、差が非常に大きい場合、ポイントは、おそらく地面のような静止オブジェクトではなく、移動オブジェクトであり得る。次のステップは、移動オブジェクト上の前記地点を見つけようと自車両速度の計算から前記ポイントを除去しようとする試みである。
【0171】
811ステップにおいて、残差ベクトルRの次の行が選択される。813ステップにおいて、前記行の残差値が静止した地点に対する第1しきい値よりも大きいかの可否が決定される。もし大きい場合、前記行は、おそらく静止オブジェクトのドップラー観察のためのものではなく、制御は、815ステップに進む。815ステップにおいて、前記行が残差ベクトルRから削除され、ドップラー相対速度Vを有するデータアレイDに対応する行が削除され、ベクトル大きさが減少される(例えば、new n=current n-1)。817ステップにおいて、削除された行は、角度ビンの大きさおよび残差ビンの大きさに基づいて1つ以上の移動オブジェクトそれぞれに対する他の残差ベクトルに追加される。それぞれの移動オブジェクト残差ベクトルは、1つの残差ビン(Residual Bin)の大きさを超えない特定残差範囲の残差のみを含み、1つの角度ビンの大きさを超えない特定角度範囲の角度のみ含まれる。次に、制御は、811ステップに進んで残差ベクトルRに対する次の行を選択する。一部の実施例において、削除された行は、移動オブジェクト残差ベクトルに追加されず、817ステップは、省略され、制御は、815ステップから811ステップに進む。
【0172】
813ステップで次の行が第1しきい値よりも大きい残差を有しないと決定されると、制御は、821ステップに進む。821ステップにおいて、選択できる残差ベクトルRの行がさらに残っているかどうかが決定される。そうでない場合、制御は、823ステップに進む。
【0173】
823ステップにおいて、SVD作業のよいな作業が実行され、Rを新しい値のセットRnewで最小化するVcurrentの値を決定する。一部の実施例において、前記ソリューションは、数11Aによって与えられた任意の行列の分解、特異値の分解(Singular Value Decomposition)を使用して数10Aでn×3行列Aの擬似逆を繰り返しに実行することによって、得られる。
【0174】
【数11】
【0175】
ここで、Uは、n×n大きさの単位行列(Unitary Matrix)である。Σは、n×3大きさの対角行列であり、Vは、3×3単位行列であり、V*は、Vの共役転置(Conjugate Transpose)である。Aの擬似逆、A-1は、数11Bに与えられた近似値に基づいている。
【0176】
Σは、対角行列であるため、容易に逆を求めることができる。そして、U*は、単にUの共役転置(Conjugate Transpose)に過ぎない。この場合、残差Rは、擬似逆行列の解決策の「品質」を計算するためにのみ使用される。
【0177】
825ステップにおいて、新しい残差が十分に減少されたのかの可否が決定される。これは、新しい残差ベクトルRnewの大きさ||R||がターゲットの速度許容誤差よりも小さいか、または等しいかを観察することによって、行われ得る。他のものの中で、Rnewの最大元素、Rnew元素の合計、Rnew元素の絶対値の合計、Rnew元素の二乗の合計のような任意の方法が||R||を決定するために使用されることができる。許容誤差の値は、Rnewの大きさが決定される方式に依存する。例えば、残差許容誤差は、ドップラー測定のエラーとともに拡張されるべきである(ビーム方向のエラーも寄与するが、比較的小さい)。完全なソリューションの残差の正規化されたL2ノルム(Norm)は、単にドップラー測定の分散であるか、または前記エラーがガウスである場合、二乗された標準偏差でなければならない。良好な許容誤差は、分散の小さな倍数である。許容誤差がこれよりも小さい場合、満たされる可能性が低く、最終条件が達成されない。Rnewが許容誤差よりも大きい場合に制御は、827ステップに進む。
【0178】
827ステップで新しい残差ベクトルRnewからより多くの行を削除するために第1しきい値が減少される。プロセスは、Rnewを現在残差ベクトルにし、残差ベクトルの最初の行を選択される次の行にすることによって再開される。制御は、811ステップに進んで残差ベクトルの次の行を選択する。したがって、速度ベクトルVcurrentが所望の許容誤差以下または残差ベクトルの大きさで決定されるまでプロセスを繰り返すようにループが形成される。一部の実施例において、十分に小さな残差ベクトルに収束しない場合、繰り返し回数に制限が設定され、例えば、100回の繰り返しが行われるか、または隣接する繰り返し間の速度V差が1%のように一定割合の未満である場合に、プロセスが終了され得る。
【0179】
831ステップにおいて、ジャイロスコープ(存在する場合)からのデータに基づいて決定された回転が速度ベクトルVに加算される。前述した式では、しかし純粋な回転運動(固定軸を中心に回転)を検出できないため、振動構造ジャイロスコープのように、回転速度を直接検出できるセンサが支配的に回転運動ができるすべての車両の追加入力として推薦される。一部の実施例においては、ジャイロスコープが含まれず、831ステップは、省略され得る。次に、制御は、833ステップに進む。
【0180】
833ステップにおいて、スキューを補正するかどうかが決定される。一定の時間間隔の間に検出されたポイント集合をベースにした車両速度ソリューションの計算は、前記時間間隔内でライダービームの有限なスキャン速度によって発生する「ローリングシャッター(Rolling Shutter)」のようなスキュー効果を一定に補正できるようにする。例えば、水平スキャニングビームを有するライダーシステムの速度ベクトルに直交する平らな直交表面は、対角線でスキューされたように見えるが、なぜなら間隔内で後で検出されたポイント表面は、車移動によってより短い距離を有するためである。もし、前記間隔の間に検出されたポイント集合を用いてマップまたはポイントクラウドとマッチングまたは比較して車両の位置および/または姿勢を決定する場合、前記有限なスキャン速度スキュー効果は、マッチングアルゴリズムの精度と安全性を大きく低下させ得る。検出されたポイント集合から抽出された速度ベクトルは、収集時間間隔の間に車両の変形に対する即時かつ一定の測定を提供するのに使用でき、前記集合は、dt*||v||によって与えられた量の前記ベクトルに沿ってそれぞれのポイントを逆投影することによって、デスキュすることができる(de-Skewed)。もし、これが行われる必要があれば、制御は、データをデスキュー(de-Skew)するために803ステップに戻る。そうではない場合、制御は、841ステップに進む。
【0181】
841ステップにおいて、固定データポイントから削除された行を移動して形成された式は、それぞれの移動オブジェクトの残差ベクトルそれぞれに対して前記方法を使用して3Dポイントクラウドで自車両に相対的な移動オブジェクトの速度Vを求めるために使用される。自車両の速度は、1つ以上の移動オブジェクト(存在する場合)のグローバル座標速度Vを得るために前記速度に追加される。もし、隣接するオブジェクトが同様に移動することと決定されると、2つの移動オブジェクトの残差ベクトルおよびドップラー速度に対する行を併合した後、併合した式に対してVを求め、隣接するオブジェクトを1つのオブジェクトとして併合することができる。次に、制御は、843ステップに進む。
【0182】
843ステップにおいて、連続的なスキャンから検出された移動オブジェクトは、同じオブジェクトであるかの可否を決定するために検査され得る。845ステップにおいて、スキャンからスキャンに関連するオブジェクトの位置および速度は、結合されて前記オブジェクトのトラック(Track)を形成し、前記移動オブジェクトのトラック(Track)は、1つ以上のデータベースに追加される。一部の実施例において、移動オブジェクトは、追跡されず、843ステップおよび845ステップは、省略され得る。
【0183】
図9Aないし図9Cは、一実施例によって、自車両に対する他のオブジェクトの移動を検出するための計算コンポーネントの例を示すブロック図である。図9Aにおいて、高解像度ドップラーライダーシステムのセンサ921は、車両の前方方向yの速度で進行する車両に装着される。前記センサは、路面の上の高さにあり、車両がかなりの距離を移動する時間に比べて短いスキャンの間に、単位ベクトルlで表現される方位角でビームをスキャニングすることに対応する地点991からリターンを受信する。グローバル座標系は、3DポイントAで表現されるグローバル原点からそれぞれ北方向のベクトルNと東方向のEで表示される。もし、動かない場合、リターンは、単に地点991の位置を提供する。図9Bにおいて、地点991で表現されたオブジェクトは、ベクトルVで表現された速度で移動している。相対速度Vは、数12に与えられた逆単位ベクトルl’と速度Vの内積によって求められ、
【0184】
【数12】
【0185】
センサ921の基準フレームで観察されたように、高解像度ドップラーライダーシステムによって直接測定される。図9Cにおいて、ターゲットオブジェクト991およびセンサ921は、それぞれVtargetおよびVsensorの速度で移動している。センサで高解像度ドップラーライダーによって測定されたターゲットの相対速度Vr_corrは、数13によってこれらを連結するラインに沿って2つの速度を合わせることによって求められる。
【0186】
【数13】
【0187】
図10は、他の実施例によって、他の移動オブジェクトの移動およびトラック(Track)を決定するための方法1000の例を示す流れ図である。前記実施例は、数12および13に基づく。1001ステップにおいて、高解像度ドップラーライダーデータに基づくポイントクラウドがフィルタリングされてドップラー速度の大きい値を有するポイントを分離する。1003ステップにおいて、ポイントは、同様のドップラー速度値に基づいてクラスタリングされる。同様の方位角の方向、例えば、360度と比較して小さい範囲の方位角で同様のドップラー速度を有するそれぞれのクラスタは、オブジェクトと見なされる。1005ステップでそれぞれの時間ステップに対する高いドップラークラスタのオブジェクトリストが保持される。1007ステップにおいて、互いに異なる時間でオブジェクトクラスタが空間的(方位角および傾斜)近接性およびドップラー類似性に基づいて関連付けられる。1009ステップにおいて、関連するオブジェクトクラスタに対するオブジェクトトラック(Track)が例えば、コンピュータ格納装置で決定され、保持される。
【0188】
前記処理は、データで使用できる3つの次元または5つの次元(傾斜、方位角、距離、ドップラーコンポーネントおよび反射率)から3つの次元(傾斜、方位角およびドップラーコンポーネント)に制限されることに再び留意する価値がある。これは、最小4つの次元のうち、3つ以下だけでポイントクラウドでオブジェクトの属性値を決定するまた他の例である。前記3つの次元アプローチの長所は、ノイズがある連立方程式をクラスタリングして解決するための様々な計算方法が前記方法を4つの次元で行うべきである場合よりも効率的であるというものである。したがって、使用可能なすべての処理能力に対してより短い時間にソリューションを決定できるため、前記アプローチは、危ない状況に対応するのにより多くの時間を提供する。
【0189】
一部の実施例において、知られた位置での前記オブジェクトの検出は、自分のセンサ位置を決定するのに使用される。図11は、一実施例によって、検出された調査オブジェクト(マッピングデータベースの静止オブジェクトまたは時間によって動く位置が知られたオブジェクト)に相対的な自己位置(Own Position)を決定するための計算コンポーネントの例を示すブロック図である。高解像度ドップラーライダーシステムのセンサ1121は、3Dベクトルpによって与えられた位置で車両に装着され、車両が感知できる距離を移動する時間に比べて短いスキャンの間に、3Dベクトルrおよびrで表示される互いに異なる距離の地点1191および1192からリターンを受信し、方位角からビームをスキャンすることに応答して単位ベクトルlおよびlでそれぞれ表現される方位角を受信する。2つのオブジェクトの知られた位置は、それぞれ3Dベクトルtおよびtによって提供される。データは、次の数14Aないし14Eを満足する。
【0190】
【数14】
【0191】
したがって、センサ位置pについての3Dベクトルが決定される。
【0192】
図12は、一実施例によって、検出された調査オブジェクトに対する自己位置(Own Position)を決定する例を示す流れ図である。1201ステップにおいて、高解像度ライダーイメージが得られる。これはドップラーイメージである必要はない。1203ステップにおいて、シーン内の高反射率のオブジェクトを識別する。これらは、道路標識板392、ランプポスト393のような知られた位置のオブジェクトを含む可能性がある。1205ステップにおいて、オブジェクトを例えば、地理情報システム(GIS)データベースから調査された隣接オブジェクトと交差参照(Cross References)する。自己位置がよく知られていない場合、前記交差参照は、近似値として、例えば、GISで調査されたオブジェクトが検出されたオブジェクトであることもあり、そうでないこともある。1207ステップにおいて、センサと検出されたオブジェクトとの間の視線単位ベクトルlの集合が決定される。1209ステップにおいて、Δlは、前記検出されたオブジェクトの任意のペアに対して計算される。1211ステップでGISのような測量されたオブジェクト位置から測定されたΔlおよびΔtで数14Dを使用してRを求める。1213ステップにおいて、複数のペアに対するR、lおよびtは、それぞれセンサの位置pを推定するのに使用される。またpに対する推定値を得るためにpに対する多くの値の幾何学的平均が決定される。一部の実施例において、値pに対する信頼レベルも213ステップの間に決定される。
【0193】
図13は、一実施例によって、独自のグローバル速度を決定するための計算コンポーネントの例を示すブロック図である。前記実施例において、センサは、速度Vで位置pで動く車両に位置する。高解像度ドップラーライダーシステムのセンサ1321は、3Dベクトルpによって与えられた位置で車両に装着される。車両が感知できる距離を移動する時間に比べて短いスキャンの間に、それぞれ単位ベクトルlおよびlによって表現される方位角でビームをスキャニングすることに対応して他の方位角に移動しない地点1391および1392からリターンを受信する。データは、次の数14Aないし14Eを満足する。
【0194】
【数15】
【0195】
したがって、前記センサ速度のための3DベクトルVglobalが決定される。
【0196】
図14は、一実施例によって、独自のグローバル速度を決定する方法1400の例を示す流れ図である。1401ステップにおいて、高解像度ドップラーライダーイメージが得られる。1403ステップにおいて、前述された1つ以上の技術を使用して全体的に静的な表面と一致するドップラー値でシーンのポイントを識別する。1405ステップにおいて、センサと検出された静止オブジェクトとの間の視線単位ベクトルlの集合が決定される。1407ステップにおいて、前記検出された地点に対してΔlが計算される。1409ステップでΔl’とΔを測定した方程数15Cを使用してVlocalを求める。1411ステップでRは、Vglobalを推定するのに使用される。
【0197】
図15は、一実施例によって、自車両に対する移動オブジェクトの回転速度を決定するための計算コンポーネントの例を示すブロック図である。高解像度ドップラーライダーシステムのセンサ1521は、車両に装着される。車両がかなりの距離を移動する時間に比べて短いスキャンの間の速度Vで動く回転オブジェクトの他の位置にある地点1591および1592からリターンを受信する。地点は、それぞれ単位ベクトルlおよびlで表現されるスキャニングビームに対応して検出された方位角内にある。検出されたドップラー速度は、それぞれVr1およびVr2である。データは、次の数16Aないし16Dを満足する。
【0198】
【数16】
【0199】
したがって、ターゲットの全体速度は、移動するターゲットにある2つの地点の相対速度から得られる。
【0200】
図16は、一実施例によって、移動オブジェクトのグローバル速度を決定するための方法の例を示す流れ図である。1601ステップにおいて、高解像度ドップラーライダーイメージが得られる。1603ステップにおいて、検出されたそれぞれの地点に対するVr_corrを取得するために数13を使用して自車両の動きを補正する。1605ステップにおいて、ドップラーの速度および方位角の近接度に基づいて同じ移動オブジェクト上の複数の地点がクラスタリングされる。1607ステップにおいて、センサと移動オブジェクト上の検出された地点との間の視線単位ベクトルlの集合が決定される。1609ステップにおいて、Δlは、前記検出された地点の任意のペアに対して計算される。1611ステップにおいて、Vr_corrは、前記検出された地点の任意のペアに対して計算される。1613ステップでΔl’およびΔVを測定し、数16Dを使用してVを求める。前記Vは、検出されたオブジェクトに対するVglobalとして使用される。線形速度は、図15の式および図16の方法の主体である。しかし、回転するオブジェクトは、その同等性を違反する可能性があり、回転速度を測定することが有利であろう。
【0201】
5.例示的実施例
【0202】
図17Aは、一実施例によって、高解像度ドップラーライダーシステムから照明される地点の位置の例を示すブロック図である。前記スキャンした地点は、道路表面にあり、方法600または方法800によって独自のグローバル速度を決定するのに使用される。
【0203】
図17Bないし図17Dは、一実施例によって、静止オブジェクトからのリターンおよび移動オブジェクトのトラックを示す照明される地点からのリターンの例を示すイメージである。前記イメージは、方法800または方法1000を使用してオブジェクトを追跡するのに使用される。
【0204】
図18Aないし図18Cは、一実施例によって、移動オブジェクトとして別の車両からリターンの例を示すグラフである。ドップラーポイントは、速度と方位角および傾斜角の近接度によってクラスタ化される。オブジェクトの純移動は、方法1600を使用して決定される。
【0205】
図18Dおよび図18Eは、一実施例によって、測定されたポイントクラウドの例を示す構成である。それぞれのポイントは、測定された速度に応じて陰影処理される。コーナーを回っているトラックが描かれた結果、前記オブジェクトは、並進運動と回転運動を同時に進行していることが分かる。これは、図8aおよび図8bに示されたシミュレーションデータの実際のデータ表現である。
【0206】
6.コンピュータハードウェアの概要
【0207】
図19は、本発明の実施例が具現されることができるコンピュータシステム1900を例示するブロック図である。コンピュータシステム1900は、コンピュータシステム1900の他の内部および外部コンポーネントの間で情報を伝達するためのバス1910のような通信メカニズムを含む。情報は、測定可能な現状の物理的信号、通常、電圧として表現されるが、他の実施例において、磁気的、電磁気的、気圧、化学的、分子原子および量子相互作用のような現象を含む。例えば、北と南の磁場、またはゼロと非ゼロの電圧は、2進数(ビット)の2つの状態(0、1)を示す。他の現象は、より高いベースの数を示し得る。測定前の複数の同時(Simultaneous)量子状態の重ね合わせは、クァンタムビット(クビット)を示す。1つ以上の数字のシーケンスは、数字または1つの文字のためのコードを表すために使用される。一部の実施例において、アナログデータと命名されている情報は、特定の距離内で測定可能な値の近接連続性(Near Continuum)によって表現される。コンピュータシステム1900またはその一部は、本明細書で記述された1つ以上の方法の1つ以上のステップを行うための手段を構成する。
【0208】
2進数のシーケンスは、数字または文字のためのコードを表すために使用されるデジタルデータを構成する。バス1910は、バス1910に結合されたデバイスの間で情報が迅速に伝達されるように、情報の多くの並列コンダクターを含む。情報をプロセッシングするための1つ以上のプロセッサ1902は、バス1910に結合される。プロセッサ1902は、情報上で一連の演算を実行する。一連の演算は、バス1910からの情報を取得することと、バス1910上に情報を配置させることを含む。また、一連の情報は、1つ以上の情報ユニットの比較、情報ユニットの位置のシフト、および加算または乗算のように、2つ以上の情報ユニットの結合を典型的に含む。プロセッサ1902によって実行される演算のシーケンスは、コンピュータ命令を構成する。
【0209】
また、コンピュータシステム1900は、バス1910に結合されたメモリ1904を含む。ランダムアクセスメモリ(RAM)または他の動的格納デバイスのようなメモリ1904は、コンピュータ命令を含む情報を格納する。動的メモリは、その中に格納された情報がコンピュータシステム1900によって変換されるようにする。RAMは、メモリアドレスと命名される位置に格納された情報のユニットが隣接するアドレスの情報に独立するように格納され、検索されるようにする。また、メモリ1904は、コンピュータ命令の実行中に一時的な値を格納するためにプロセッサ1902によって使用される。また、コンピュータシステム1900は、読み取り専用メモリ(ROM)1906、またはコンピュータシステム1900によって変更されない命令を含む静的情報を格納するためにバス1910に結合されたその他の静的格納デバイスを含む。また、コンピュータシステム1900がオフになったり、電源を失ったりしても持続する命令を含む情報を格納するための磁気ディスクまたは光ディスクのような不揮発性(持続的)格納デバイス1908は、バス1910に結合される。
【0210】
命令を含む情報は、人間のユーザーによって操作される文字と数字のキーを含むキーボードのような外部入力デバイス1912またはセンサからプロセッサによって使用するためにバス1910に提供される。センサは、その周辺の条件を検出し、前記探索をコンピュータシステム1900内の情報を表現するために使用される信号と互換性のある信号に変換させる。基本的に人間と相互作用するために使用されるバス1910に結合された他の外部デバイスは、イメージを描写するための陰極線管(CRT)または液晶ディスプレイ(LCD)のようなディスプレイデバイス1914およびディスプレイ1914上に表示される小さなカーソルイメージの位置を制御し、ディスプレイ1914上に表示されるグラフィック要素に関連する命令語を発するためのマウスまたはトラックボールまたはカーソル方向キーのようなポインティングデバイス1916を含む。
【0211】
例示された実施例において、特殊用途の集積回路(IC)1920のような特殊目的のハードウェアは、バス1910に結合される。特殊目的のハードウェアは、特殊な目的のために十分に迅速にプロセッサ1902によって実行されない操作を実行するように構成される。特殊用途の集積回路の例は、ディスプレイ1914のためのイメージを生成するためのグラフィックスアクセラレータカード、ネットワークを介して送信されるメッセージを暗号化および復号化するための暗号(Cryptographic)ボード、音声認識、およびハードウェア内でより効果的に具現される操作の一部複雑なシーケンスを繰り返しに実行するロボットアームと医療スキャニング装置のように、特殊な外部デバイスに対するインターフェースを含む。
【0212】
また、コンピュータシステム1900は、バス1910に結合された通信インターフェース1970の1つ以上のインスタンスを含む。通信インターフェース1970は、プリンター、スキャナおよび外部ディスクのように、独自のプロセッサを用いて作動する様々な外部デバイスに対する双方向通信カップリングを提供する。一般的に、カップリングは、独自のプロセッサを有する様々な外部デバイスが接続されたローカルネットワーク1980に接続されたネットワークリンク1978を含む。例えば、通信インターフェース1970は、パーソナルコンピュータ上の並列ポートまたは直列ポートまたは汎用直列バス(USB)ポートであり得る。一部の実施例において、通信インターフェース1970は、総合情報通信網(ISDN)カードまたはデジタル加入者回線(DSL)カードまたは対応する形態の電話回線に対する情報通信接続を提供する電話モデムである。一部の実施例において、通信インターフェース1970は、バス1910上の信号を同軸ケーブルを介して通信接続用信号に変換するか、または光ファイバケーブルを介して通信接続のための光信号に変換するケーブルモデムである。他の例として、通信インターフェース1970は、イーサネットのように、互換可能な近距離通信網(LAN)に対してデータ通信接続を提供するためのLANカードであり得る。また、無線リンクが実装され得る。音波と電磁波などの搬送波は、有線またはケーブルなしで空間を介して移動する電波、光学波および赤外線波を含む。信号は、搬送波の振幅、周波数、位相、極性または他の物理的性質の人工的な変化を含む。無線リンクの場合、通信インタフェース1970は、デジタルデータのように、情報ストリームを運搬する赤外線信号と光信号を含む電気、音響または電磁信号を送受信する。
【0213】
本発明に使用される「コンピュータ読み取り可能な媒体」という用語は、実行のための命令を含む情報をプロセッサ1902に提供するのに参与する任意の媒体を意味する。このような媒体は、不揮発性媒体、揮発性媒体および送信媒体を含むが、これに限定されない様々な形態を取り得る。例えば、不揮発性媒体は、動的メモリ1904を含む。例えば、送信媒体は、同軸ケーブル、銅線、光ファイバケーブル、および電波、光学波および赤外線波を含む音波および電磁波のように、有線またはケーブルなしで空間を介して移動する波形を含む。本発明に使用される「コンピュータ読み取り可能な格納媒体」という用語は、送信媒体を除く情報をプロセッサ1902に提供するのに参与する任意の媒体を意味する。
【0214】
例えば、コンピュータ読み取り可能な媒体の通常の形態は、フロッピーディスク、フレキシブルディスク、ハードディスク、磁気テープ、または任意の他の磁気媒体、コンパクトディスクROM(CD-ROM)、デジタルビデオディスク(DVD)または任意の他の光学媒体、パンチカード、ペーパーテープ、またはホールパターンを有する任意の他の物理的媒体、RAM、プログラム可能なROM(PROM)、削除可能なPROM(EPROM)、FLASH-EPROM、または任意の他のメモリチップまたはカートリッジ、搬送波、またはコンピュータが読み取ることができる任意の他の媒体を含む。本発明に使用された「非一時的コンピュータ読み取り可能な格納媒体」という用語は、搬送波と他の信号を除き、情報をプロセッサ1902に提供するのに参与する任意の媒体を意味する。
【0215】
1つ以上の有形(Tangible)媒体内にエンコーディングロジック(Logic)は、コンピュータ読み取り可能な格納媒体とASIC1920のような特殊目的ハードウェア上のプロセッサ命令の1つまたはすべてを含む。
【0216】
ネットワークリンク1978は、一般的に情報を使用するか、または処理する他のデバイスに対して1つ以上のネットワークを介して情報通信を提供する。例えば、ネットワークリンク1978は、インターネットサービス供給者(ISP)によって作動するホストコンピュータ1982またはISP装置1984に対してローカルネットワーク1980を介する接続を提供し得る。ISP装置1984は、結局、インターネット1990として現在一般的に呼ばれているネットワークの公衆の世界的パケット-交換通信ネットワークを介してデータ通信サービスを提供する。インターネットに接続されたサーバー1992と命名されるコンピュータは、インターネットを介して受信された情報に応じてサービスを提供する。例えば、サーバー1992は、ディスプレイ1914での表現のためのビデオデータを表す情報を提供する。
【0217】
本発明は、本明細書で説明する技術を実装するためのコンピュータシステム1900の用途に関するものである。本発明の一実施例によると、このような技術は、メモリ1904内に含まれた1つ以上の命令または1つ以上のシーケンスを実行するプロセッサ1902に応じてコンピュータシステム1900によって行われる。また、ソフトウェアとプログラムコードと命名される前記命令は、格納デバイス1908のような他のコンピュータ読み取り可能な媒体からメモリ1904に読み込まれ得る。メモリ1904内に含まれた命令のシーケンスの実行は、プロセッサ1902が本明細書に記述された方法のステップを実行することである。代替的実施例において、アプリケーション特定集積回路1920のようなハードウェアは、本発明を具現するためのソフトウェアの代わりに、またはこれと組み合わせて使用されることができる。したがって、本発明の実施例は、ハードウェアとソフトウェアの任意の特定の組み合わせに限定されるものではない。
【0218】
ネットワークリンク1978および通信インターフェース1970を介する他のネットワークを介して送信される信号は、コンピュータシステム1900に、そして、それからの情報を運搬する。コンピュータシステム1900は、他のものなどのうち、ネットワーク1980、1990を介して、ネットワークリンク1978と通信インターフェース1970を介して、プログラムコードを含む情報を送受信し得る。インターネット1990を用いる例において、サーバー1992は、インターネット1990、ISP装置1984、ローカルネットワーク1980および通信インターフェース1970を介して、コンピュータシステム1900から送信されるメッセージによって要求された、特殊な応用のためのプログラムコードを送信する。受信されたコードは、それが受信されるときに、プロセッサ1902によって行われ得、または格納デバイス1908、または後の実行のための他の不揮発性格納デバイス、または両方に格納され得る。前記方式において、コンピュータシステム1900は、搬送波上の1つの信号の形態で応用プログラムコードを得ることができる。
【0219】
コンピュータ読み取り可能な媒体の様々な形態は、命令またはデータまたはその両方の1つ以上のシーケンスを実行用プロセッサ1902に移すことを含み得る。例えば、命令とデータは、ホスト1982のようなリモートコンピュータの磁気ディスク上に初期に保有され得る。リモートコンピュータは、命令とデータをその動的メモリにロードし、モデムを用いて電話回線を介して命令とデータを送信する。コンピュータシステム1900に対するローカルモデムは、電話回線上の命令とデータを受信し、命令とデータをネットワークリンク1978として役割をする赤外線搬送波上の信号に変換するために赤外線送信機を用いる。通信インターフェース1970として役割をする赤外線検出器は、赤外線信号内に伴う命令とデータを受信し、命令とデータを表す情報をバス1910上に配置させる。バス1910は、情報をメモリ1904に移し、それからプロセッサ1902は、命令とともに送信されるデータの一部を用いて命令を検索して実行する。メモリ1904内に受信される命令とデータは、プロセッサ1902による実行前または後に、格納デバイス1908上に選択的に格納され得る。
【0220】
図20は、本発明の実施例が具現されることができるチップセット(Chip Set)2000を例示する。チップセット2000は、例えば、1つ以上の物理的パッケージ(例、チップ)に統合された図19に関連して前述したプロセッサおよびメモリコンポーネントを含む本明細書に記述された方法の1つ以上のステップを行うためにプログラムされる。例示的方式であって、物理的パッケージは、電気的相互作用の物理的影響力、サイズの管理、および/または制限のような1つ以上の特徴を提供するために構造的アセンブリ(例、ベースボード)上の材料、コンポーネントおよび/またはワイヤの1つ以上の配置を含む。特定の実施例において、チップセットは、単一チップで実装できることが考えられる。チップセット2000またはその部分は、本発明で説明された方法の1つ以上のステップを実行するための手段を構成する。
【0221】
一実施例において、チップセット2000は、チップセット2000のコンポーネントの間で情報を移動させるためのバス2001のような通信メカニズムを含む。プロセッサ2003は、命令を実行し、例えば、メモリ2005内に格納された情報を処理するためにバス2001への接続性を有する。プロセッサ2003は、それぞれのコアが独立して行うように構成された1つ以上のプロセッシングコアを含み得る。多重-コアプロセッサは、単一の物理的パッケージの内部で多重プロセッシングを可能にする。多重-コアプロセッサの例は、2つ、4つ、8つ、またはより大きい数のプロセッシングコアを含む。代替的にまたは付加的に、プロセッサ2003は、命令の独立した実行、パイプライニング、およびマルチスレッディング(Multithreading)が可能になるようにバス2001を経由して並んで構成された1つ以上のマイクロプロセッサを含み得る。また、プロセッサ2003は、1つ以上のデジタル信号プロセッサ(DSP)2007、または1つ以上の特殊目的用集積回路(ASIC)2009のように、特定のプロセッシング機能と作業を行うために1つ以上の特殊なコンポーネントを伴い得る。通常、DSP2007は、プロセッサ2003と独立するようにリアルタイムで実世界の信号(例、サウンド)を処理するように構成される。同様に、ASIC2009は、一般目的のプロセッサによって容易に行われない特殊な目的を行うように構成され得る。本発明で説明された発明的な機能を実行することを支援するための他の特殊なコンポーネントは、1つ以上のフィールドプログラム可能なゲートアレイ(FPGA)(図示せず)、1つ以上のコントローラー(図示せず)、または1つ以上の他の特殊-目的コンピュータチップを含む。
【0222】
プロセッサ2003と付随するコンポーネントは、バス2001を経由し、メモリ2005への接続性を有する。メモリ2005は、本明細書に記述された方法の1つ以上のステップを行うために実行されるとき、実行可能な命令を格納するために動的メモリ(例、RAM、磁気ディスク、書き込み可能な光ディスクなど)および静的メモリ(例、ROM、CD-ROMなど)の両方を含む。また、メモリ2005は、本明細書で記述された方法の1つ以上のステップの実行に関連したり、実行によって生成されたデータを格納する。
【0223】
7.変更、拡張および変形
【0224】
前述の詳細な説明において、本発明は、その具体的な実施例を参照して記述された。ただし、本発明のより広い思想と範囲を逸脱しない限りで様々な変形と変更が加えられることは明らかである。したがって、詳細な説明と図面は、限定的な意味ではなく、例示的な意味とみなされるべきである。本明細書及び請求の範囲全体において、文脈上他に要求しない限り、「含む」および「備える」と「備えて」のような変形は、言及した項目、要素またはステップまたは項目たち、要素たちまたはステップたちのグループを含むが、任意の他の項目、要素またはステップまたは項目たち、要素たちまたはステップたちのグループたちを排除するものではない。さらに、不定冠詞「1つ」は、その冠詞によって変形された項目、要素またはステップの1つ以上を示す意味を有する。本発明に開示されたように、文脈から特に明らかでない限り、それが他の値の2つ(2倍または半分)の因子内にある場合、1つの値は、「約」他の値である。例示的な範囲が与えられたが、文脈から特に明らかでない限り、任意の包含された範囲も様々な実施例内に含まれる。したがって、0から10までの範囲は、一部の実施例において、1から4までの範囲を含む。
図1A
図1B
図1C
図1D
図1E
図1F
図2A
図2B
図2C
図3A
図3B
図3C
図4
図5A
図5B
図5C
図6
図7A
図7B
図7C
図7D
図7E
図7F
図8
図9A
図9B
図9C
図10
図11
図12
図13
図14
図15
図16
図17A
図17B
図17C
図17D
図18A
図18B
図18C
図18D
図18E
図19
図20
【手続補正書】
【提出日】2022-03-11
【手続補正1】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項1】
光検出及び測距(LIDAR)システムであって、
レーザーソースと、変調器と、1つ以上のスキャニング光学装置と、1つ以上のプロセッサと、を備え、
前記レーザーソースは、ビームを出力し、
前記変調器は、前記レーザーソースから前記ビームを受信し、前記ビームの周波数及び位相の少なくとも一方を変調して送信信号を生成し、
前記1つ以上のスキャニング光学装置は、自律走行車に結合され、前記送信信号を出力し、
前記1つ以上のプロセッサは、
実世界オブジェクトによる前記送信信号の反射及び散乱の少なくとも一方から受信したリターン信号に対応する3次元(3D)ポイントクラウドを決定し、
前記3Dポイントクラウドに基づいて前記オブジェクトのドップラー速度を決定し、
前記ドップラー速度に基づき、前記オブジェクトに対する前記自律走行車の車両速度を決定する、
LIDARシステム。
【請求項2】
請求項1に記載のLIDARシステムにおいて、
前記1つ以上のプロセッサは、前記3Dポイントクラウドに基づく前記オブジェクトの傾斜角を用いて前記車両速度を決定する、
LIDARシステム。
【請求項3】
請求項1に記載のLIDARシステムにおいて、
前記スキャニング光学装置は、前記自律走行車に搭載されている、
LIDARシステム。
【請求項4】
請求項1に記載のLIDARシステムにおいて、
前記1つ以上のプロセッサは、(i)前記3Dポイントクラウドの方位角又は(ii)前記3Dポイントクラウドの距離を使用せずに前記車両速度を決定する、
LIDARシステム。
【請求項5】
請求項1に記載のLIDARシステムにおいて、
前記オブジェクトは、静止オブジェクトであり、
前記1つ以上のプロセッサは、
オブジェクト位置を静止オブジェクトにマッピングするデータベースを用いて前記静止オブジェクトのオブジェクト位置を決定し、
前記静止オブジェクトの前記オブジェクト位置を用いて、前記自律走行車の車両位置を決定する、
LIDARシステム。
【請求項6】
請求項1に記載のLIDARシステムにおいて、
前記1つ以上のプロセッサは、
前記3Dポイントクラウドの1つ以上のデータ点に割り当てられたドップラー速度に基づいて前記3Dポイントクラウドをフィルタリングし、
前記3Dポイントクラウドのフィルタリングに応答して、前記3Dポイントクラウドによって表される移動オブジェクトの移動オブジェクト速度を決定する、
LIDARシステム。
【請求項7】
請求項6に記載のLIDARシステムにおいて、
前記1つ以上のプロセッサは、前記移動オブジェクト速度を用いて、前記移動オブジェクトのトラックを決定する、
LIDARシステム。
【請求項8】
請求項1に記載のLIDARシステムにおいて、
前記1つ以上のプロセッサは、前記リターン信号の振幅に基づいて前記3Dポイントクラウドを決定する、
LIDARシステム。
【請求項9】
請求項1に記載のLIDARシステムにおいて、
前記1つ以上のプロセッサは、
移動オブジェクトに関連する前記3Dポイントクラウドのポイントを識別し、
補正された3Dポイントクラウドデータを生成するために、前記3Dポイントクラウドから前記ポイントを除去し、
前記補正された3Dポイントクラウドデータに基づいて、前記オブジェクトの前記ドップラー速度を決定する、
LIDARシステム。
【請求項10】
方法であって、
レーザーソースによってビームを出力することと、
変調器により前記ビームを受信することと、
送信信号を生成するために、前記変調器により前記ビームの周波数及び位相の少なくとも一方を変調することと、
前記送信信号を出力することと、
前記送信信号が実世界オブジェクトによって反射又は散乱されたことによるリターン信号を受信することと、
前記リターン信号に基づいて3Dポイントクラウドを決定することと、
前記3Dポイントクラウドに基づいて前記オブジェクトのドップラー速度を決定することと、
前記ドップラー速度に基づいて、前記オブジェクトに対する自律走行車の車両速度を決定することと、を備える、
方法。
【請求項11】
請求項10に記載の方法において、
前記車両速度を決定することは、前記3Dポイントクラウドに基づいて前記オブジェクトの傾斜角を使用することを含む、
方法。
【請求項12】
請求項10に記載の方法において、
前記3Dポイントクラウドの1つ以上のデータポイントに割り当てられたドップラー速度に基づいて、前記3Dポイントクラウドをフィルタリングすることと、
前記3Dポイントクラウドのフィルタリングに応答して、前記3Dポイントクラウドによって表される移動オブジェクトの移動オブジェクト速度を決定することと、を含む、
方法。
【請求項13】
請求項12に記載の方法において、
前記移動オブジェクト速度を用いて前記移動オブジェクトのトラックを決定することを含む、
方法。
【請求項14】
請求項10に記載の方法において、
前記オブジェクトは、静止オブジェクトであり、
前記3Dポイントクラウドの複数の静止ポイントのそれぞれの傾斜角を用いて前記複数の静止ポイントを識別し、
前記複数の静止ポイントの下位集合を提供するために統計からしきい値以上を超える相対速度を有する特定の静止ポイントを前記複数の静止ポイントから廃棄し、
前記複数の静止ポイントの前記下位集合を用いて前記静止オブジェクトのオブジェクト速度を決定することによって、前記静止オブジェクトの前記オブジェクト速度を決定することを含み、
前記統計は、前記複数の静止ポイントに対応する複数の相対速度を用いて決定される、
方法。
【請求項15】
自律走行車であって、
1つ以上のプロセッサを含むLIDARシステムと、操向システムと、ブレーキシステムと、車両制御部とを含み、
前記1つ以上のプロセッサは、
3Dポイントクラウドに基づいて実世界オブジェクトのドップラー速度を決定し、
前記3Dポイントクラウドは、前記オブジェクトによる送信信号の散乱及び反射の少なくとも一方から受信したリターン信号から決定され、
前記送信信号は、レーザーソースから変調器によって受信し自律走行車に取り付けられた一つ以上のスキャニング光学装置によって送信されるビームの位相及び周波数の少なくとも一方を変調することによって生成し、
前記ドップラー速度に基づいて、前記オブジェクトに対する前記自律走行車の車両速度を決定し、
前記車両制御部は、前記車両速度に応答して、前記操向システム及び前記ブレーキシステムの少なくとも一方の動作を制御する、
自律走行車。
【請求項16】
請求項15に記載の前記自律走行車において、
前記LIDARシステムの1つ以上のプロセッサは、前記3Dポイントクラウドに基づく前記オブジェクトの傾斜角を使用して前記車両速度を決定する、
自律走行車。
【請求項17】
請求項15に記載の前記自律走行車において、
前記LIDARシステムの1つ以上のプロセッサは、
前記3Dポイントクラウドの1つ以上のデータポイントに割り当てられたドップラー速度に基づいて、前記3Dポイントクラウドをフィルタリングし、
前記3Dポイントクラウドのフィルタリングに応答して、前記3Dポイントクラウドによって表される移動オブジェクトの移動オブジェクト速度を決定し、
前記車両制御部は、前記移動オブジェクト速度を用いて前記自律走行車の動作を制御する、
車両制御システム。
【請求項18】
請求項15記載の前記自律走行車において、
慣性航法装置(INS)、全地球測位システム(GPS)受信機及びジャイロスコープの少なくとも1つを含むセンサを備え、
前記LIDARシステムの前記1つ以上のプロセッサは、前記センサから受信したセンサデータに基づいて前記車両速度を決定する、
自律走行車。
【請求項19】
請求項15に記載の前記自律走行車において、
前記車両制御部は、前記操向システム及び前記ブレーキシステムの少なくとも1つを制御して衝突回避を実行するように構成されている、
自律走行車。
【請求項20】
請求項15に記載の前記自律走行車において、
前記1つ以上のプロセッサは、
移動オブジェクトに関連する前記3Dポイントクラウドのポイントを識別し、
補正された3Dポイントクラウドを生成するために、前記3Dポイントクラウドから前記ポイントを除去し、
前記補正された3Dポイントクラウドデータに基づいて、前記オブジェクトのドップラー速度を決定する、
自律走行車。
【外国語明細書】