特許 7369847 自動運転車両に対するデータ処理方法及び装置、電子機器、記憶媒体、コンピュータプログラム、ならびに自動運転車両

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2023-10-18

(45)【発行日】2023-10-26

(54)【発明の名称】自動運転車両に対するデータ処理方法及び装置、電子機器、記憶媒体、コンピュータプログラム、ならびに自動運転車両

(51)【国際特許分類】

   G01S 17/86 20200101AFI20231019BHJP

   G01S 17/931 20200101ALI20231019BHJP

   G06T 7/55 20170101ALI20231019BHJP

   G05D 1/02 20200101ALI20231019BHJP

   B60W 60/00 20200101ALI20231019BHJP

   B60W 40/02 20060101ALI20231019BHJP

   B60W 50/00 20060101ALI20231019BHJP

【ＦＩ】

G01S17/86

G01S17/931

G06T7/55

G05D1/02 H

B60W60/00

B60W40/02

B60W50/00

【請求項の数】 22

(21)【出願番号】P 2022173997

(22)【出願日】2022-10-31

(65)【公開番号】P2023021994

(43)【公開日】2023-02-14

【審査請求日】2022-10-31

(31)【優先権主張番号】202111291238.0

(32)【優先日】2021-11-02

(33)【優先権主張国・地域又は機関】CN

(73)【特許権者】

【識別番号】321009845

【氏名又は名称】アポロ インテリジェント ドライビング テクノロジー（ペキン）カンパニー リミテッド

(74)【代理人】

【識別番号】100083116

【弁理士】

【氏名又は名称】松浦 憲三

(72)【発明者】

【氏名】高 巍

(72)【発明者】

【氏名】丁 文▲東▼

(72)【発明者】

【氏名】万 国▲偉▼

(72)【発明者】

【氏名】彭 ▲亮▼

【審査官】藤田 都志行

(56)【参考文献】

【文献】中国特許出願公開第１１２５９８７５７（ＣＮ，Ａ）

【文献】米国特許出願公開第２０２１／００９４５５０（ＵＳ，Ａ１）

【文献】特開２０２１－１６２３６６（ＪＰ，Ａ）

【文献】特表２０１５－５１８５６６（ＪＰ，Ａ）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ０１Ｓ ７／４８－ ７／５１

Ｇ０１Ｓ １７／００－１７／９５

Ｇ０６Ｔ ７／５５

Ｇ０５Ｄ １／０２

Ｂ６０Ｗ ６０／００

Ｂ６０Ｗ ４０／０２

Ｂ６０Ｗ ５０／００

(57)【特許請求の範囲】

【請求項1】

自動運転車両に対するデータ処理方法であって、
慣性測定データ、レーザーライダーデータ及び視覚画像データを含む、前記自動運転車両に対するセンサデータを取得すること、
前記慣性測定データ及び前記視覚画像データに基づいて、前記慣性測定データに対する第一拘束ファクターを決定すること、
前記慣性測定データ及び前記レーザーライダーデータに基づいて、前記レーザーライダーデータに対する第二拘束ファクターを決定すること、
前記慣性測定データ、前記視覚画像データ及び前記レーザーライダーデータに基づいて、前記視覚画像データに対する第三拘束ファクターを決定すること、及び
前記第一拘束ファクター、前記第二拘束ファクター及び前記第三拘束ファクターに基づいて、前記センサデータを処理して、前記自動運転車両を測位するための測位データを取得すること、を含む、
自動運転車両に対するデータ処理方法。

【請求項2】

請求項１に記載の自動運転車両に対するデータ処理方法であって、
前記レーザーライダーデータは複数フレームのレーザー点群データを含み、
前記慣性測定データ及び前記レーザーライダーデータに基づいて、前記レーザーライダーデータに対する第二拘束ファクターを決定することは、
前記慣性測定データ、前記複数フレームのレーザ点群データにおける第一フレームのレーザ点群データ及び第二フレームのレーザ点群データに基づいて、第一フレームのレーザ点群データと第二フレームのレーザ点群データとの間の初期相対位置姿勢を決定すること、
前記第一フレームのレーザ点群データの第一投影データ及び前記第二フレームのレーザ点群データの第二投影データをそれぞれ決定すること、
前記第一投影データ及び前記第二投影データに基づいて、前記初期相対位置姿勢を調整し、点群フレーム間の相対位置姿勢を取得すること、及び
前記点群フレーム間の相対位置姿勢に基づいて、前記第二拘束ファクターを決定すること、を含む、
自動運転車両に対するデータ処理方法。

【請求項3】

請求項２に記載の自動運転車両に対するデータ処理方法であって、
前記第一投影データ及び前記第二投影データはいずれもＮ（Ｎは１より大きい整数である）個のボクセルを含み、、
前記第一投影データ及び前記第二投影データに基づいて、前記初期相対位置姿勢を調整し、点群フレーム間の相対位置姿勢を取得することは、
Ｎ個のボクセルにおける各体画素と前記初期相対位置姿勢に基づいて、Ｎ回の反復操作を実行し、第Ｎ相対位置姿勢を得て、前記点群フレーム間の相対位置姿勢とすることを含む、
自動運転車両に対するデータ処理方法。

【請求項4】

請求項３に記載の自動運転車両に対するデータ処理方法であって、
前記第一投影データは第一投影画像及び第一法線ベクトルを含み、
前記第二投影データは第二投影画像及び第二法線ベクトルを含み、
前記第一投影データ及び前記第二投影データに基づいて、前記初期相対位置姿勢を調整し、点群フレーム間の相対位置姿勢を取得することについて、
前記Ｎ回の反復におけるｉ回目の反復は、
ｉ（ｉが１以上Ｎ以下である）に基づいて距離閾値及び角度閾値を決定すること、
第一投影画像における第ｉ第一画素と第二投影画像における第ｉ第二画素との間の距離が前記距離閾値以下であり、かつ第ｉ画素の対応する第一法線ベクトルと対応する第二法線ベクトルとの間の角度が前記角度閾値以下であると決定した場合、第ｉ－１回の反復により得られた第ｉ－１相対位置姿勢、第ｉ第一画素、第ｉ第二画素、第ｉ画素の対応する第一法線ベクトル及び第ｉ画素の対応する第二法線ベクトルを用いて、第ｉ相対姿勢を決定することを含む、
自動運転車両に対するデータ処理方法。

【請求項5】

請求項１に記載の自動運転車両に対するデータ処理方法であって、
前記慣性測定データ、前記視覚画像データ及び前記レーザーライダーデータに基づいて、前記視覚画像データに対する第三拘束ファクターを決定することは、
前記視覚画像データ及び前記レーザーライダーデータに基づいて、前記視覚画像データの深度情報を決定すること、
前記視覚画像データ及び前記慣性測定データに基づいて、前記視覚画像データと前記慣性測定データとの間のマッピング関係を決定すること、及び
前記深度情報と前記マッピング関係に基づいて、前記第三拘束ファクターを決定すること、を含む、
自動運転車両に対するデータ処理方法。

【請求項6】

請求項５に記載の自動運転車両に対するデータ処理方法であって、
前記視覚画像データ及び前記レーザーライダーデータに基づいて、前記視覚画像データの深度情報を決定することは、
視覚画像データの視覚画像収集時刻の隣接するレーダデータに対するレーダデータ収集時刻の初期慣性測定相対位置姿勢を決定すること、
視覚画像収集時刻、レーダデータ収集時刻及び初期慣性測定相対位置姿勢に基づいて、前記レーザーライダーデータから視覚画像データ平面までの第一投影位置を決定すること、
前記第一投影位置に基づいて画像投影時刻及び更新された慣性測定相対位置姿勢を決定すること、及び
前記更新された慣性測定相対位置姿勢に基づいて視覚画像データの深度情報を決定すること、を含む、
自動運転車両に対するデータ処理方法。

【請求項7】

請求項６に記載の自動運転車両に対するデータ処理方法であって、
前記第一投影位置に基づいて画像投影時刻及び更新された慣性測定相対位置を決定することは、
視覚画像収集時刻の画像投影時刻に対する第一慣性測定相対位置姿勢を決定すること、
画像投影時刻のレーザデータ収集時刻に対する第二慣性測定相対位置姿勢を決定すること、及び
前記第一慣性測定相対位置姿勢及び前記第二慣性測定相対位置姿勢を利用して前記初期慣性測定相対位置姿勢を補間し、前記更新された慣性測定相対位置姿勢を取得することを含む、
自動運転車両に対するデータ処理方法。

【請求項8】

請求項１乃至７のいずれか一項に記載の自動運転車両に対するデータ処理方法であって、
前記第一拘束ファクター、前記第二拘束ファクター及び前記第三拘束ファクターに基づいて、前記センサデータを処理し、前記自動運転車両を測位するための測位データを取得することは、
以下の式を満たすＸを前記測位データとすることを含み、

【数1】

自動運転車両に対するデータ処理方法。

【請求項9】

請求項１乃至７のいずれか一項に記載の自動運転車両に対するデータ処理方法であって、
前記慣性測定データは慣性センサーにより収集されるものであり、
前記レーザーライダーデータ及び前記第一拘束ファクターに基づいて、前記慣性センサーの速度及び加速度を初期化することを、さらに含む、
自動運転車両に対するデータ処理方法。

【請求項10】

自動運転車両に対するデータ処理装置であって、
慣性測定データ、レーザーライダーデータ及び視覚画像データを含む、前記自動運転車両に対するセンサデータを取得するための取得モジュールと、
前記慣性測定データ及び前記視覚画像データに基づいて、前記慣性測定データに対する第一拘束ファクターを決定するための第一決定モジュールと、
前記慣性測定データ及び前記レーザーライダーデータに基づいて、前記レーザーライダーデータに対する第二拘束ファクターを決定するための第二決定モジュールと、
前記慣性測定データ、前記視覚画像データ及び前記レーザーライダーデータに基づいて、前記視覚画像データに対する第三拘束ファクターを決定するための第三決定モジュールと、
前記第一拘束ファクター、前記第二拘束ファクター及び前記第三拘束ファクターに基づいて、前記センサデータを処理し、前記自動運転車両を測位するための測位データを取得するための処理モジュールと、を含む、
自動運転車両に対するデータ処理装置。

【請求項11】

請求項１０に記載の自動運転車両に対するデータ処理装置であって、
前記レーザーライダーデータは複数フレームのレーザ点群データを含み、
前記第二決定モジュールは、
前記慣性測定データ、前記複数フレームのレーザ点群データにおける第一フレームのレーザ点群データ及び第二フレームのレーザ点群データに基づいて、第一フレームのレーザ点群データと第二フレームのレーザ点群データとの間の初期相対位置姿勢を決定するための第一決定サブモジュールと、
前記第一フレームのレーザ点群データの第一投影データと前記第二フレームのレーザ点群データの第二投影データをそれぞれ決定するための第二決定サブモジュールと、
前記第一投影データ及び前記第二投影データに基づいて、前記初期相対位置姿勢を調整し、点群フレーム間の相対位置姿勢を取得するための調整サブモジュールと、
前記点群フレーム間の相対位置姿勢に基づいて、前記第二拘束ファクターを決定するための第三決定サブモジュールと、を含む、
自動運転車両に対するデータ処理装置。

【請求項12】

請求項１１に記載の自動運転車両に対するデータ処理装置であって、
前記第一投影データ及び前記第二投影データはいずれもＮ（Ｎは１より大きい整数である）個のボクセルを含み、
前記調整サブモジュールは、
Ｎ個のボクセルにおける各体画素と前記初期相対位置姿勢に基づいて、Ｎ回の反復操作を実行し、第Ｎ相対位置姿勢を得て、前記点群フレーム間の相対位置姿勢とするために用いられる、
自動運転車両に対するデータ処理装置。

【請求項13】

請求項１２に記載の自動運転車両に対するデータ処理装置であって、
前記第一投影データは第一投影画像及び第一法線ベクトルを含み、
前記第二投影データは第二投影画像及び第二法線ベクトルを含み、
前記調整サブモジュールについて、
前記Ｎ回の反復におけるｉ回目の反復は、
ｉ（ｉが１以上Ｎ以下である）に基づいて距離閾値及び角度閾値を決定すること、
第一投影画像における第ｉ第一画素と第二投影画像における第ｉ第二画素との間の距離が前記距離閾値以下であり、かつ第ｉ画素の対応する第一法線ベクトルと対応する第二法線ベクトルとの間の角度が前記角度閾値以下であると決定した場合、第ｉ－１回の反復により得られた第ｉ－１相対位置姿勢、第ｉ第一画素、第ｉ第二画素、第ｉ画素の対応する第一法線ベクトル及び第ｉ画素の対応する第二法線ベクトルを用いて、第ｉ相対姿勢を決定すること、を含む、
自動運転車両に対するデータ処理装置。

【請求項14】

請求項１０に記載の自動運転車両に対するデータ処理装置であって、
前記第三決定モジュールは、
前記視覚画像データ及び前記レーザーライダーデータに基づいて、前記視覚画像データの深度情報を決定するための第四決定サブモジュールと、
前記視覚画像データ及び前記慣性測定データに基づいて、前記視覚画像データと前記慣性測定データとの間のマッピング関係を決定するための第五決定サブモジュールと、
前記深度情報と前記マッピング関係に基づいて、前記第三拘束ファクターを決定するための第六決定サブモジュールと、を含む、
自動運転車両に対するデータ処理装置。

【請求項15】

請求項１４に記載の自動運転車両に対するデータ処理装置であって、
前記第四決定サブモジュールは、
視覚画像データの視覚画像収集時刻の隣接するレーダデータに対するレーダデータ収集時刻の初期慣性測定相対位置姿勢を決定するための第一決定手段と、
視覚画像収集時刻、レーダデータ収集時刻及び初期慣性測定相対位置姿勢に基づいて、前記レーザーライダーデータから視覚画像データ平面までの第一投影位置を決定するための第二決定手段と、
前記第一投影位置に基づいて画像投影時刻及び更新された慣性測定相対位置姿勢を決定するための第三決定手段と、
前記更新された慣性測定相対位置姿勢に基づいて視覚画像データの深度情報を決定するための第四決定手段と、を含む、
自動運転車両に対するデータ処理装置。

【請求項16】

請求項１５に記載の自動運転車両に対するデータ処理装置であって、
前記第三手段は、
視覚画像収集時刻の画像投影時刻に対する第一慣性測定相対位置姿勢を決定するための第一決定サブ手段と、
画像投影時刻のレーザデータ収集時刻に対する第二慣性測定相対位置姿勢を決定するための第二決定サブ手段と、
前記第一慣性測定相対位置姿勢及び前記第二慣性測定相対位置姿勢を利用して前記初期慣性測定相対位置姿勢を補間し、前記更新された慣性測定相対位置姿勢を取得するための補間サブ手段とを、含む、
自動運転車両に対するデータ処理装置。

【請求項17】

請求項１０乃至１６のいずれか一項に記載の自動運転車両に対するデータ処理装置であって、
前記処理モジュールは、以下の式を満たすＸを前記測位データとするために用いられ、

【数2】

自動運転車両に対するデータ処理装置。

【請求項18】

請求項１０乃至１６のいずれか一項に記載の自動運転車両に対するデータ処理装置であって、
前記慣性測定データは慣性センサーにより収集されるものであり、
前記レーザーライダーデータ及び前記第一拘束ファクターに基づいて、前記慣性センサーの速度及び加速度を初期化するための初期化モジュールをさらに含む、
自動運転車両に対するデータ処理装置。

【請求項19】

少なくとも１つのプロセッサ、及び
前記少なくとも１つのプロセッサと通信可能に接続されたメモリを含み、
前記メモリは、前記少なくとも１つのプロセッサにより実行可能な指令を格納し、前記指令は、前記少なくとも１つのプロセッサが請求項１乃至７のいずれか一項に記載の自動運転車両に対するデータ処理方法を実施可能となるよう、前記少なくとも１つのプロセッサにより実行される、
電子機器。

【請求項20】

コンピュータ指令を格納する非一時性コンピュータが読み取り可能な記録媒体であって、
前記コンピュータ指令は、前記コンピュータに請求項１乃至７のいずれか一項に記載の自動運転車両に対するデータ処理方法を実行させるためのものである、
記録媒体。

【請求項21】

プロセッサにより実行される場合、請求項１乃至７のいずれか一項に記載の自動運転車両に対するデータ処理方法を実行する、
コンピュータプログラム。

【請求項22】

自動運転車両であって、
請求項１９に記載の電子機器を含む、
自動運転車両。

【発明の詳細な説明】

【技術分野】

【0001】

本開示はスマート交通技術分野に関し、特に自動運転の分野に関し、より具体的には、自動運転車両に対するデータ処理方法及び装置、電子機器、記憶媒体、コンピュータプログラム、ならびに自動運転車両に関する。

【背景技術】

【0002】

現在、視覚／ＬｉＤＡＲオドメトリ問題に対して既に多くの解決手段があり、従来の方法は、オンラインリアルタイム運用の需要を満たすことができるが、一般的に大量のＣＰＵ計算リソースを消費する必要がある。

【発明の概要】

【0003】

本開示は、自動運転車両に対するデータ処理方法及び装置、電子機器、記憶媒体、コンピュータプログラム、ならびに自動運転車両を提供する。

【0004】

本開示の一態様によれば、自動運転車両に対するデータ処理方法であって、慣性測定データ、レーザーライダーデータ及び視覚画像データを含む、前記自動運転車両に対するセンサデータを取得すること、前記慣性測定データ及び前記視覚画像データに基づいて、前記慣性測定データに対する第一拘束ファクターを決定すること、前記慣性測定データ及び前記レーザーライダーデータに基づいて、前記レーザーライダーデータに対する第二拘束ファクターを決定すること、前記慣性測定データ、前記視覚画像データ及び前記レーザーライダーデータに基づいて、前記視覚画像データに対する第三拘束ファクターを決定すること、及び前記第一拘束ファクター、前記第二拘束ファクター及び前記第三拘束ファクターに基づいて、前記センサデータを処理して、前記自動運転車両を測位するための測位データを取得すること、を含む方法を提供する。

【0005】

本開示の別の態様によれば、：取得モジュール、第一決定モジュール、第二決定モジュール、第三決定モジュール及び処理モジュールを含む自動運転車両に対するデータ処理装置を提供する。取得モジュールは、慣性測定データ、レーザーライダーデータ及び視覚画像データを含む、前記自動運転車両に対するセンサデータを取得するために用いられる。第一決定モジュールは、前記慣性測定データ及び前記視覚画像データに基づいて、前記慣性測定データに対する第一拘束ファクターを決定するために用いられる。第二決定モジュールは、前記慣性測定データ及び前記レーザーライダーデータに基づいて、前記レーザーライダーデータに対する第二拘束ファクターを決定するために用いられる。第三決定モジュールは、前記慣性測定データ、前記視覚画像データ及び前記レーザーライダーデータに基づいて、前記視覚画像データに対する第三拘束ファクターを決定するために用いられる。処理モジュールは、前記第一拘束ファクター、前記第二拘束ファクター及び前記第三拘束ファクターに基づいて、前記センサデータを処理し、前記自動運転車両を測位するための測位データを取得するために用いられる。

【0006】

本開示の別の態様によれば、少なくとも１つのプロセッサ、及び前記少なくとも１つのプロセッサと通信可能に接続されたメモリを含み、前記メモリは、前記少なくとも１つのプロセッサにより実行可能な指令を格納し、前記指令は、前記少なくとも１つのプロセッサが上記自動運転車両に対するデータ処理方法を実施可能となるよう、前記少なくとも１つのプロセッサにより実行される電子機器を提供する。

【0007】

本開示の別の態様によれば、コンピュータ指令を格納する非一時性コンピュータが読み取り可能な記録媒体であって、前記コンピュータ指令は、前記コンピュータに上記自動運転車両に対するデータ処理方法を実行させるためのものである記録媒体を提供する。

【0008】

本開示の別の態様によれば、プロセッサにより実行される場合、上記自動運転車両に対するデータ処理方法を実行するコンピュータプログラムを提供する。

【0009】

本開示の別の態様によれば、上記電子機器を含む自動運転車両を提供する。

【0010】

理解すべきことは、本部分に記載された内容は本開示の実施例のキー又は重要な特徴を識別することを意図するものではなく、本開示の範囲を限定するものではない。本開示の他の特徴は、以下の説明により容易に理解されるであろう。

【図面の簡単な説明】

【0011】

図面は、本開示の発明をよりよく理解するために用いられ、本開示を限定するものではない。

【図1】図１は本開示の一実施例に係る自動運転車両に対するデータ処理方法のフローチャートを模式的に示す。

【図2】図２は本開示の一実施例に係る自動運転車両に対するデータ処理方法の原理図を模式的に示す。

【図3】図３は本開示の一実施例に係る補間計算の原理概略図を模式的に示す。

【図4】図４は本開示の一実施例に係るファクターグラフの概略図を模式的に示す。

【図5】図５は本開示の一実施例に係る自動運転車両に対するデータ処理装置のブロック図を模式的に示す。

【図6】図６は、本発明の実施例に係る自動運転車両に対するデータ処理を実行するための電子機器を示すブロック図である。

【発明を実施するための形態】

【0012】

以下、図面を参照して本開示の例示的な実施例を説明する。ここで、より理解しやすいために本開示の実施例の様々な詳細は含まれ、それらが例示的なものであると考えられるべきである。したがって、当業者であれば、ここで記載される実施例に対して様々な変更・修正を行うことができ、本開示の範囲及び精神から逸脱することはないと分るべきである。同様に、明確かつ簡潔に説明するために、以下の記載において周知の機能や構成に対する説明を省略する。

【0013】

ここで使用した用語は、具体的な実施例を説明するためのものに過ぎず、本開示を限定することを意図しない。ここで使用した「含む」、「含まれる」などの用語は、前記特徴、ステップ、操作及び／又は部品の存在を表すが、１つ又は複数の他の特徴、ステップ、操作又は部品の存在や、追加を除外しない。

【0014】

ここで使用したすべての用語（技術及び科学用語を含む）は、別途定義しない限り、当業者が通常に理解した意味を持つ。ここで使用した用語は、本明細書のコンテキストと一致する意味を持つと解釈すべきであり、理想化又は硬すぎる方式で解釈すべきではないことに留意すべきである。

【0015】

「Ａと、Ｂと、Ｃなどの少なくとも１つ」といった表現を使用する場合、一般的に当業者が通常に理解したこの表現の意味で解釈すべきである（例えば、「Ａと、Ｂと、Ｃとの少なくとも１つを有するシステム」は、単にＡを有する、単にＢを有する、単にＣを有する、ＡとＢとを有する、ＡとＣとを有する、ＢとＣとを有する、及び／又はＡと、Ｂと、Ｃとを有するシステムなどを含むが、これらに限られない）。

【0016】

視覚／ＬｉＤＡＲオドメトリを利用して測位計算を行う過程において一般的に大量のＣＰＵ計算リソースを消費する必要がある。そのため、精度が高く、ＣＰＵリソースの占用が少なく、ＧＰＵリソースに対する利用が合理的な視覚、ライダー、慣性測定ユニットのオドメトリを利用することは実用的価値がある。本開示の実施例は、視覚、ライダー、慣性測定ユニットに基づくオドメトリを構築する方法を提供し、かつ視覚、ライダー、慣性測定ユニットに基づくオドメトリを利用して自動運転車両の測位を行う。

【0017】

【数1】

【0018】

本開示の実施例は、自動運転車両に対するデータ処理方法であって、慣性測定データ、レーザーライダーデータ及び視覚画像データを含む、前記自動運転車両に対するセンサデータを取得すること、前記慣性測定データ及び前記視覚画像データに基づいて、前記慣性測定データに対する第一拘束ファクターを決定すること、前記慣性測定データ及び前記レーザーライダーデータに基づいて、前記レーザーライダーデータに対する第二拘束ファクターを決定すること、前記慣性測定データ、前記視覚画像データ及び前記レーザーライダーデータに基づいて、前記視覚画像データに対する第三拘束ファクターを決定すること、さらに、前記第一拘束ファクター、前記第二拘束ファクター及び前記第三拘束ファクターに基づいて、前記センサデータを処理して、前記自動運転車両を測位するための測位データを取得すること、を含む自動運転車両に対するデータ処理方法を提供する。

【0019】

以下、図１～図４を参照して、本開示の例示的な実施形態に係る自動運転車両に対するデータ処理方法について説明する。

【0020】

図１は本開示の一実施例に係る自動運転車両に対するデータ処理方法のフローチャートを模式的に示す。

【0021】

図１に示すように、本開示の実施例の自動運転車両に対するデータ処理方法１００は、例えば、動作Ｓ１１０～動作Ｓ１５０を含んでもよい。

【0022】

動作Ｓ１１０において、慣性測定データ、レーザーライダーデータ及び視覚画像データを含む、自動運転車両に対するセンサデータを取得する。

【0023】

動作Ｓ１２０において、慣性測定データ及び視覚画像データに基づいて、慣性測定データに対する第一拘束ファクターを決定する。

【0024】

動作Ｓ１３０において、慣性測定データ及びレーザーライダーデータに基づいて、レーザーライダーデータに対する第二拘束ファクターを決定する。

【0025】

動作Ｓ１４０において、慣性測定データ、視覚画像データ及びレーザーライダーデータに基づいて、視覚画像データに対する第三拘束ファクターを決定する。

【0026】

動作Ｓ１５０において、第一拘束ファクター、第二拘束ファクター及び第三拘束ファクターに基づいて、センサデータを処理し、自動運転車両を測位するための測位データを取得する。

【0027】

例示的には、自動運転車両は運転中に、様々なタイプのセンサによりデータを収集することができ、様々なタイプのセンサは、例えば、慣性測定ユニット、ライダー、カメラを含むがそれらに限定されるものではない。慣性計測部としては、例えば、ＩＭＵジャイロや車輪速計が挙げられるが、これらに限定されるものではない。

【0028】

センサデータを収集して取得した後、センサデータに基づいて第一拘束ファクター、第二拘束ファクター及び第三拘束ファクターを取得することができる。そして、第一拘束ファクター、第二拘束ファクター及び第三拘束ファクターに基づいてセンサデータを処理して測位データを取得することで、自動運転車両が測位データに基づいて測位を行うことができる。

【0029】

理解できるように、本開示の実施例は慣性測定ユニット、ライダー、カメラによりセンサデータを収集し、かつセンサデータに基づいてデータ処理を行って自動運転車両の測位を実現することで、自動運転車両の測位精度を向上させる。また、センサデータに基づいてデータ処理を行うプロセスにおいて、ＧＰＵリソースを合理的に利用することで、ＣＰＵリソースの占有率を低下させ、資源を節約しつつ、計算速度を向上させる。

【0030】

図２は本開示の一実施例に係る自動運転車両に対するデータ処理方法の原理図を模式的に示す。

【0031】

図２に示すように、本開示の実施例によれば、まず、レーザーライダーデータ２１０、視覚画像データ２２０及び慣性測定データ２３０を取得する。次に、ＩＣＰ ＣＵＤＡ（Ｉｔｅｒａｔｉｖｅ Ｃｌｏｓｅｔ Ｐｏｉｎｔ ｏｆ ＵｎｉｆｉｃＤｅｖｉｃｅ Ａｒｃｈｉｔｅｃｔｕｒｅ）アルゴリズムに基づいてレーザーライダーデータ２１０を処理して、点群フレーム間の相対位置姿勢拘束情報を取得する；光フロー法特徴追跡アルゴリズムを利用して視覚画像データ２２０を処理して視覚特徴を取得し、かつ深度情報推定アルゴリズムを利用して視覚特徴及びレーザーライダーデータ２１０に基づいて深度情報を取得する；慣性測定データ２３０に数値積分を行い、フレーム間動き予測及び状態拘束情報を取得し、慣性測定データ２３０は例えばＩＭＵデータ及び車輪速計データを含む。

【0032】

次に、点群フレーム間の相対位置姿勢拘束情報、深度情報、フレーム間動き予測及び状態拘束情報に基づいて融合計算を行って複数の拘束ファクター２４０を取得し、複数の拘束ファクター２４０は例えば第一拘束ファクター、第二拘束ファクター及び第三拘束ファクターを含む。

【0033】

複数の拘束ファクター２４０を取得した後、複数の拘束ファクター２４０のうちの少なくとも一つを状態として出力することにより、慣性測定ユニットを校正することができ、校正過程は、例えば、慣性測定データに基づいて数値積分を行う場合、複数の拘束ファクター２４０のうちの少なくとも一つを拘束とすることを含む。

【0034】

慣性測定データに対して、２フレームの慣性測定データに対応する時間がそれぞれｔ_ｋ，ｔ_ｋ＋１であり、この２フレーム時刻の間において、複数回のＩＭＵ及び車輪速計測定を有することを仮定する。地球の自転要因の影響を無視し、ＩＭＵジャイロスコープ及び車輪速計の測定値に基づいてこれらの２フレームに対応する時刻のローカル座標系の相対位置姿勢関係を直接計算して取得することができる。

【0035】

例えば、ＩＭＵから出力された角速度情報を直接的に積分して回転部分を取得することができる。回転部分の一例の計算方法は以下のとおりである：

【0036】

【数2】

【0037】

車輪速計の出力と外部パラメータの関係に基づいてＩＭＵの局所座標系での速度を直接的に算出し、さらに速度を積分することにより、変位部分を得る。例えば、ＩＭＵの時刻ｔでの速度計算方法は以下のとおりである：

【0038】

【数3】

【0039】

視覚画像データに対して、非直接法を採用することができ、すなわち視覚画像データの特徴を抽出し、かつ視覚画像フレーム（即ち、視覚フレーム）の間の動き拘束を取得する。

【0040】

第二拘束ファクターについて、レーザーライダーデータを利用して視覚画像データの深度情報を取得し、かつ該深度情報を利用してレーザーライダーデータに対する第二拘束ファクターを決定することができる。

【0041】

例えば、レーザーライダーデータは複数フレームのレーザ点群データを含むことができる。慣性測定データ及びレーザーライダーデータに基づいて、レーザーライダーデータに対する第二拘束ファクターを決定することは、例えば、以下のプロセスを含む。

【0042】

まず、慣性測定データ、複数フレームのレーザ点群データにおける第一フレームのレーザ点群データ及び第二フレームのレーザ点群データに基づいて、第一フレームのレーザ点群データと第二フレームのレーザ点群データとの間の初期相対位置姿勢を決定する。

【0043】

次に、第一フレームのレーザ点群データの第一投影データ及び第二フレームのレーザ点群データの第二投影データをそれぞれ決定する。

【0044】

次に、第一投影データ及び第二投影データに基づいて、初期相対位置姿勢を調整し、点群フレーム間の相対位置姿勢を取得し、かつ点群フレーム間の相対位置姿勢に基づいて、第二拘束ファクターを決定する。

【0045】

例示的には、第一投影データ及び第二投影データは例えば、いずれもＮ個の画素を含み、Ｎは１より大きい整数である。第一投影データ及び第二投影データに基づいて、初期相対位置姿勢を調整し、点群フレーム間の相対位置姿勢を取得することができる。例えば、Ｎ個のボクセルにおける各体画素及び初期相対位置姿勢に基づいて、Ｎ回の反復操作を実行し、第Ｎ相対位置姿勢を取得して点群フレーム間の相対位置姿勢とする。

【0046】

例示的には、第一投影データは、例えば、第一投影画像及び第一法線ベクトルを含み、第二投影データは例えば第二投影画像及び第二法線ベクトルを含む。Ｎ回の反復操作を実行することにより、第Ｎ相対姿勢を取得する。

【0047】

例えば、Ｎ回の反復におけるｉ回目の反復は、以下を含む。ｉに基づいて距離閾値及び角度閾値を決定し、ｉが１以上Ｎ以下である。第一投影画像における第ｉ第一画素と第二投影画像における第ｉ第二画素との間の距離が距離閾値以下であり、かつ第ｉ画素の対応する第一法線ベクトルと対応する第二法線ベクトルとの間の角度が角度閾値以下であると決定した場合、第ｉ－１回の反復により得られた第ｉ－１相対位置姿勢、第ｉ第一画素、第ｉ第二画素、第ｉ画素の対応する第一法線ベクトル及び第ｉ画素の対応する第二法線ベクトルを用いて、第ｉ相対姿勢を決定する。例えば、第ｉ画素は、例えば、第ｉ第一画素と第ｉ第二画素を含み、第ｉ第一画素は第一法線ベクトルに対応し、第ｉ第二画素は第二法線ベクトルに対応する。

【0048】

本開示の実施例によれば、ＬｉＤＡＲ（ライダー）データはレーザ点群データを含むことができ、２フレームの点群データを採用してレジストレーションを行うことができる。したがって、理論的には、２フレームの点群のレジストレーションを完了可能な任意の方法であれば、いずれも本開示の実施例に適用される。利点は、実施形態がより拡張しやすいことである。

【0049】

異なるフレームの点群データをレジストレーションすることにより、対応する時刻のＩＭＵ座標系の相対的な姿勢関係を取得することができる。ＧＰＵにより実行されたＩＣＰ（Ｉｔｅｒａｔｉｖｅ Ｃｌｏｓｅｔ Ｐｏｉｎｔ、反復の最近点）方法によれば、２フレームの点群レジストレーションの時間消費を低減し、さらに複数対のキーフレームの点群のレジストレーションを迅速に完了することができる。ＩＣＰ方法に基づいて劣化ファクターを改善する方法は、元の方法のＬｉＤＡＲ退化シーンの精度を向上させる。

【0050】

【数4】

【0051】

【数5】

【0052】

【数6】

【0053】

【数7】

【0054】

【数8】

【0055】

【数9】

【0056】

【数10】

【0057】

【数11】

【0058】

注意すべきことは、以上のアルゴリズムはＧＰＵで並列実行することができ、これによりＣＰＵのリソース占有を低減し、処理効率を向上させることができる。

【0059】

当業者であれば理解できるように、視覚画像データに対して、複数の視覚画像フレーム間に基づいて一致な観測を構築することができ、後続の画像特徴点の再投影エラーの計算に用いられる。

【0060】

第三拘束ファクターについて、慣性測定データ、視覚画像データ及びレーザーライダーデータに基づいて、視覚画像データに対する第三拘束ファクターを決定することができる。

【0061】

例えば、視覚画像データ及びレーザーライダーデータに基づいて、視覚画像データの深度情報を決定する。次に、視覚画像データ及び慣性測定データに基づいて、視覚画像データと慣性測定データとの間のマッピング関係を決定し、かつ深度情報とマッピング関係に基づいて、第三拘束ファクターを決定する。

【0062】

深度情報について、視覚画像データの視覚画像収集時刻が隣接するレーダデータのレーダデータ収集時刻に対する初期慣性測定相対位置を決定することができる。次に、視覚画像収集時刻、レーダデータ収集時刻及び初期慣性測定相対位置姿勢に基づいて、レーザーライダーデータの画像データ平面への第一投影位置を決定する。次に、第一投影位置に基づいて画像投影時刻及び更新された慣性測定相対位置姿勢を決定し、かつ更新された慣性測定相対位置姿勢に基づいて視覚画像データの深度情報を決定する。

【0063】

例示的には、第一投影位置に基づいて画像投影時刻及び更新された慣性測定相対位置を決定することは、例えば、以下のプロセスを含む。まず、視覚画像収集時刻の画像投影時刻に対する第一慣性測定相対位置姿勢を決定し、かつ画像投影時刻のレーザデータ収集時刻に対する第二慣性測定相対位置姿勢を決定する。次に、第一慣性測定相対位置姿勢及び第二慣性測定相対位置姿勢を利用して初期慣性測定相対位置姿勢を補間し、更新された慣性測定相対位置姿勢を取得する。

【0064】

【数12】

【0065】

【数13】

【0066】

図３は本開示の一実施例に係る補間計算の原理概略図を模式的に示す。

【0067】

【数14】

【0068】

投影の方法によりレーザーライダーデータと視覚画像データを融合した後、視覚特徴点の周囲の点群データｐａｔｃｈを利用して視覚特徴点の深度を計算することができ、例示的な方法はＬＩＭＯと類似し、説明を省略する。

【0069】

当業者であれば理解されるように、上記する本開示に基づくレーザ点群データを利用して深度値を計算する方法を加え、マルチフレーム視覚画像の三角化の方法を利用してよく、本開示はこれについて制限がない。ライダーの垂直視野角がカメラの視覚画像収集装置の視野角より小さくなり、又はライダーの有効観測距離に制限が存在することが多いので、一部の視覚画像領域がレーザ点群データで覆われない状況が存在する。したがって、レーザ点群データにより一部の視覚特徴点の深度情報を算出することができない。この部分の視覚特徴点に対して、マルチフレーム画像観測データの三角化の方法により特徴点の深度を計算することができ、即ち、安定追跡が一定のフレーム数を超える特徴点のみを三角化する。２フレームの三角化に比べて、このような方法は、特徴点の深度に対する推定がより正確となり、さらに特徴点の深度の推定エラーの運動推定精度に対する悪影響を低減する。

【0070】

本開示の実施例によれば、スライドウィンドウに基づく図最適化方法を採用することができる。各視覚又はライダーキーフレームの状態のそれぞれは、図のノードで表すことができ、各ノードの状態は以下のように定義される。

【0071】

【数15】

【0072】

システム全体の状態は以下のとおりである。

【0073】

【数16】

【0074】

Ｘは測位データであり、自動運転車両は該測位データに基づいて測位することができる。例えば、該測位データを環境感知、運動制御、相対測位、地図構築などの分野に用いることができる。

【0075】

図４は本開示の一実施例に係るファクターグラフの概略図を模式的に示す。

【0076】

図４に示すように、本開示の実施例によれば、中空円形はＬｉＤＡＲノードを、中空正方形は視覚ノードを、中空五角星は視覚特徴を、一点鎖線はＩＭＵ事前積分ファクターを、破線はＩＣＰファクターを、線分は視覚ファクターを、それぞれ示す。ファクター図における辺について、スライドウィンドウの長さが最大値に達した後、新たなキーフレームノードを挿入し、かつ最も古いキーフレームノードを削除する。関連観測フレームが存在しない画像データ特徴を削除することにより、計算複雑度が時間の経過に伴って増大しないことを保証することができる。一例において、スライドウィンドウの長さの最大値は例えば４０である。図４におけるＩＭＵ事前積分ファクターは例えば第一拘束ファクターであり、ＩＣＰファクターは例えば第二拘束ファクターであり、視覚ファクターは例えば第三拘束ファクターである。

【0077】

測位データを最適化するために、第一拘束ファクター、第二拘束ファクター及び第三拘束ファクターに基づいて、センサデータを処理し、自動運転車両を測位するための測位データを取得することができる。例えば、以下の式を満たすものを測位データとすることができる。

【0078】

【数17】

【0079】

ＩＭＵ事前積分ファクターは、すなわち、ＩＭＵ事前積分結果に基づいて隣接するキーフレーム間の状態に対して作成された拘束関係である。本開示の実施例によれば、視覚画像キーフレームとレーザー点群キーフレームに対して統一的なシリアルＩＭＵ事前積分ファクターを作成する。ＩＭＵ事前積分ファクターを採用すると、ＩＭＵ測定値を効果的に利用してノードの全ての次元の状態を拘束し、さらにノードを有効に推定する速度に役立っている。

【0080】

視覚ファクターは、即ち、視覚キーフレームに作成された拘束関係である。本開示の実施例によれば、再投影エラーを視覚ファクターとして採用し、また再投影エラーを計算する場合に、Ｒｏｌｌｉｎｇ Ｓｈｕｔｔｅｒカメラシャッタの平面投影座標への影響は除去される。

【0081】

【数18】

【0082】

【数19】

【0083】

【数20】

【0084】

本開示の実施例によれば、慣性測定データは慣性センサーにより収集され、レーザーライダーデータ及び第一拘束ファクターに基づいて、慣性センサーの速度及び加速度を初期化することができる。

【0085】

例示的には、慣性センサーを初期化する必要があり、初期化の目的は初期キーフレームシーケンスを構築することにより、キーフレームノードの状態を推定し、グローバル姿勢、速度、加速度計ゼロバイアス、ジャイロスコープゼロオフセットなどを含み、かつ重力方向を推定することにより、正確なシステム初期状態を確立し、初期化はシステムが正常に実行する前提である。視覚画像センサを有するシステムに対して、初期化プロセスにおいて、さらに視覚地図のスケール情報を確立する必要がある。初期化精度が高くない、引いて初期化が行われないと、システム状態が収束しにくいので、システム精度が低下される。

【0086】

本開示の実施例によれば、レーザーライダーデータを用いて慣性センサーを初期化することができる。また、視覚画像データ及び車輪速計データを用いて慣性センサーを初期化することができる。

【0087】

レーザーライダーデータを用いて慣性センサーを初期化する場合、例えば、非退化シーンでＬｉＤＡＲのフロントエンドによりフレーム間の相対運動を計算することができる。その後の初期化過程は、ジャイロスコープゼロバイアス推定段階及び速度及び重力加速度推定段階を含んでもよい。

【0088】

ジャイロスコープゼロバイアス推定段階に対して、例えば、ＶＩＮＳ－Ｍｏｎｏ（Ｄｉｇｉｔａｌ ＭｏｎｏｃｕＶｉａ Ｖｉｓｕａｌ Ｉｎｅｒｔｉａｌ Ｓｔａｔｅ Ｅｓｔｉｍａｔｏｒ、単眼視覚慣性システム、香港科学技術大学が開発したオープンソース単眼慣性視覚オドメトリＶＩＯ）を用いて実現することができる。ジャイロスコープゼロバイアス推定段階では、キーフレームの間の回転運動に基づいてＩＭＵを推定しかつ結合して回転運動の事前積分結果に基づいてＩＭＵのジャイロスコープゼロバイアスを計算することができる。ＩＭＵのジャイロスコープゼロバイアスを更新した後に、事前積分結果の正確性を保証するために、事前積分を改めて行う必要がある。具体的な過程は、例えば、関連文献（Ｔｏｎｇ Ｑ、Ｐｅｉｌｉａｎｇ Ｌ、Ｓｈａｏｊｉｅ Ｓ．ＶＩＮＳ－Ｍｏｎｏ：Ａ Ｒｏｂｕｓｔ ａｎｄ Ｖｅｒｓａｔｉｌｅ ＭｏｎｏｃｕＶｉｓｕａｌ－Ｉｎｅｒｔｉａｌ Ｓｔａｔｅ Ｅｓｔｉｍａｔｏｒ［Ｊ］．ＩＥＥＥ Ｔｒａｎｓｌｏｎｓ ｏｎ Ｒｏｂｏｔｉｃｓ、２０１８、ＰＰ（９９）：１－１７）を参照することができる。簡潔にするために、本開示の実施例は説明を省略する。

【0089】

速度及び重力加速度の推定段階において、推定しようとする状態変数は以下のとおりである。

【0090】

【数21】

【0091】

速度及び重力加速度の推定段階において、運動推定結果とＩＭＵ事前積分における速度及び変位結果を結合して、以下の初期化問題を構築することができる。

【0092】

【数22】

【0093】

該最適化問題において、最適化目標関数は、ＩＭＵ事前積分残差であって、ＩＭＵ事前積分結果速度及び変位成分と推定値との差異を示し、それにより、システムノードの速度状態及び重力加速状態に対する拘束を提供する。

【0094】

【数23】

【0095】

もう一つの最適化目的関数は，地球表面の重力加速度のモジュロが定数と近似するとの事実を利用することにある。これにより、算出された重力加速度がより正確であることを保証することができる。

【0096】

本開示の実施例によれば、直接観測可能な回転成分及び平行移動成分を最適化する必要がなく、速度成分、ＩＭＵジャイロゼロバイアス及び重力加速度ベクトルのみを最適化することになる。ＩＭＵ加速度計のゼロバイアス初期値をゼロに設定してもよい。上記方法は、利用範囲が広く、すなわち、他のセンサによりフレーム間の相対運動を取得する方法に対しても適用される。

【0097】

【数24】

【0098】

レーザーライダーデータがない場合、視覚画像データ及び車輪速計データを用いて初期化を行うことができる。ＩＭＵ及び車輪速計を用いてフレーム間の運動を計算する場合、ジャイロスコープゼロバイアスがゼロであると仮定し、したがって、このような初期化方法において、ジャイロスコープゼロバイアスの推定を省略し、ゼロであると直接仮定する。

【0099】

車輪速計データを採用して初期化を補助する利点は、実現しやすくなり、初期運動条件に対する要求が低く、かつ一般的な場合に精度が十分であり、これにより、単純ＩＭＵプラス視覚初期化の車両運動性への要求によるサイズの過大を回避する。

【0100】

視覚画像センサを含むシステムを初期化することは、ノードの状態を推定する必要がある以外に、視覚特徴点の深度情報を確立する必要がある。一例において、ＢＡ（Ｂｕｎｄｌｅ Ａｄｊｕｓｔｍｅｎｔ、ビーム平行差法）により実現することができる。

【0101】

本開示の実施例の技術案によれば、視覚及びレーザーライダーデータを処理する必要があるため、処理効率に対する要求がより高くなる。特にデータ処理の計算量がより大きいため、視覚画像データとライダーフレームデータを並列処理する必要がある。データ融合部分において、視覚キーフレームノードとライダーキーフレームノードを同一ファクターマップを利用して状態最適化を行い、かつ前にＩＭＵ事前積分ファクターにより、時間順序に応じて視覚キーフレームノードとライダーキーフレームノードを順に接続するため、ＩＭＵの事前積分の動作がシリアル処理であることが必要とされる。同様に、データ融合部分に対して、システム全体が同じスライドウィンドウを共有し、かつスライドウィンドウに視覚画像キーフレーム及びライダーキーフレームが含まれるため、スライドウィンドウ更新及び融合最適化操作はスレッド同期を行う必要があり、すなわち、並列処理する。これに鑑みて、ＧＰＵを用いて並列処理を実行することができ、したがって、ＣＰＵリソースの占用を減少させ、ＧＰＵリソースを合理的に利用することができる。

【0102】

一つの実施形態によれば、それぞれ独立したスレッドを作成して視覚画像データとレーザーライダーデータを処理することができ、それにより並列処理を実現する。ＩＭＵ事前積分などのシリアル処理に対して、スレッド同期によりタイミングの正確性を保証することができる。

【0103】

図５は本開示の一実施例に係る自動運転車両に対するデータ処理装置のブロック図を模式的に示す。

【0104】

図５に示すように、本開示の実施例の自動運転車両に対するデータ処理装置５００は、例えば、取得モジュール５１０、第一決定モジュール５２０、第二決定モジュール５３０、第三決定モジュール５４０及び処理モジュール５５０を含む。

【0105】

取得モジュール５１０は慣性測定データ、レーザーライダーデータ及び視覚画像データを含む、自動運転車両に対するセンサデータを取得するために用いられる。本開示の実施例によれば、取得モジュール５１０は、例えば、図１を参照して前文で説明した動作Ｓ１１０を実行することができ、ここでは説明を省略する。

【0106】

第一決定モジュール５２０は慣性測定データ及び視覚画像データに基づいて、慣性測定データに対する第一拘束ファクターを決定するために用いられる。本開示の実施例によれば、第一決定モジュール５２０は、例えば、図１を参照して前文で説明した動作Ｓ１２０を実行することができ、ここで説明を省略する。

【0107】

第二決定モジュール５３０は慣性測定データ及びレーザーライダーデータに基づいて、レーザーライダーデータに対する第二拘束ファクターを決定するために用いられる。本開示の実施例によれば、第二決定モジュール５３０は、例えば、図１を参照して前文で説明した動作Ｓ１３０を実行することができ、ここで説明を省略する。

【0108】

第三決定モジュール５４０は慣性測定データ、視覚画像データ及びレーザーライダーデータに基づいて、視覚画像データに対する第三拘束ファクターを決定するために用いられる。本開示の実施例によれば、第三決定モジュール５４０は、例えば、図１を参照して前文で説明した動作Ｓ１４０を実行することができ、ここで説明を省略する。

【0109】

処理モジュール５５０は第一拘束ファクター、第二拘束ファクター及び第三拘束ファクターに基づいて、センサデータを処理し、自動運転車両を測位するための測位データを取得するために用いられる。本開示の実施例によれば、処理モジュール５５０は、例えば、図１を参照して前文で説明した動作Ｓ１５０を実行することができ、ここで説明を省略する。

【0110】

本開示の実施例によれば、レーザーライダーデータは複数フレームのレーザ点群データを含み、第二決定モジュール５３０は、第一決定サブモジュール、第二決定サブモジュール、調整サブモジュール及び第三決定サブモジュールを含む。第一決定サブモジュールは、慣性測定データ、複数フレームのレーザ点群データにおける第一フレームのレーザ点群データ及び第二フレームのレーザ点群データに基づいて、第一フレームのレーザ点群データと第二フレームのレーザ点群データとの間の初期相対位置姿勢を決定するために用いられる。第二決定サブモジュールは、第一フレームのレーザ点群データの第一投影データ及び第二フレームのレーザ点群データの第二投影データをそれぞれ決定するために用いられる。調整サブモジュールは、第一投影データ及び第二投影データに基づいて、初期相対位置姿勢を調整し、点群フレーム間の相対位置姿勢を取得するために用いられる。第三決定サブモジュールは、点群フレーム間の相対位置姿勢に基づいて、第二拘束ファクターを決定するために用いられる。

【0111】

本開示の実施例によれば、第一投影データ及び第二投影データはいずれもＮ（Ｎは１より大きい整数である）個のボクセルを含み、調整サブモジュールは、さらに、Ｎ個のボクセルにおける各体画素と初期相対位置姿勢に基づいて、Ｎ回の反復操作を実行し、第Ｎ相対位置姿勢を得て、点群フレーム間の相対位置姿勢とするために用いられる。

【0112】

本開示の実施例によれば、第一投影データは第一投影画像及び第一法線ベクトルを含み、第二投影データは第二投影画像及び第二法線ベクトルを含む。調整サブモジュールについて、さらに、Ｎ回の反復における第ｉ回の反復は、ｉ（ｉが１以上Ｎ以下である）に基づいて距離閾値及び角度閾値を決定すること；第一投影画像における第ｉ第一画素と第二投影画像における第ｉ第二画素との間の距離が距離閾値以下であり、かつ第ｉ画素の対応する第一法線ベクトルと対応する第二法線ベクトルとの間の角度が角度閾値以下であると決定した場合、第ｉ－１回の反復により得られた第ｉ－１相対位置姿勢、第ｉ第一画素、第ｉ第二画素、第ｉ画素の対応する第一法線ベクトル及び第ｉ画素の対応する第二法線ベクトルを用いて、第ｉ相対姿勢を決定することを含む。

【0113】

本開示の実施例によれば、第三決定モジュール５４０は、第四決定サブモジュール、第五決定サブモジュール及び第六決定サブモジュールを含む。第四決定サブモジュールは、視覚画像データ及びレーザーライダーデータに基づいて、視覚画像データの深度情報を決定するために用いられる。第五決定サブモジュールは、視覚画像データ及び慣性測定データに基づいて、視覚画像データと慣性測定データとの間のマッピング関係を決定するために用いられる。第六決定サブモジュールは、深度情報及びマッピング関係に基づいて、第三拘束ファクターを決定するために用いられる。

【0114】

本開示の実施例によれば、第四決定サブモジュールは、第一決定手段、第二決定手段、第三決定手段及び第四決定手段を含む。第一決定手段は、視覚画像データの視覚画像収集時刻が隣接するレーダデータのレーダデータ収集時刻に対する初期慣性測定相対位置姿勢を決定するために用いられる。第二決定手段は、視覚画像収集時刻、レーダデータ収集時刻及び初期慣性測定相対位置姿勢に基づいて、レーザーライダーデータを視覚画像データ平面の第一投影位置に決定するために用いられる。第三決定手段は、第一投影位置に基づいて画像投影時刻及び更新された慣性測定相対位置姿勢を決定するために用いられる。第四決定手段は、更新された慣性測定相対位置姿勢に基づいて視覚画像データの深度情報を決定するために用いられる。

【0115】

本開示の実施例によれば、第三決定手段は、第一決定サブ手段、第二決定サブ手段及び補間サブ手段を含む。第一決定サブ手段は、画像投影時刻における画像投影時刻に対する第一慣性測定相対位置姿勢を決定するために用いられる。第二決定サブ手段は、画像投影時刻におけるレーザデータ収集時刻に対する第二慣性測定相対位置姿勢を決定するために用いられる。補間サブ手段は、第一慣性測定相対位置姿勢及び第二慣性測定相対位置姿勢を利用して初期慣性測定相対位置姿勢を補間し、更新された慣性測定相対位置姿勢を取得するために用いられる。

【0116】

本開示の実施例によれば、処理モジュール５５０は以下の式を満たすＸを測位データとする。

【0117】

【数25】

【0118】

本開示の実施例によれば、慣性測定データは慣性センサーにより収集されるものである；装置５００は、レーザーライダーデータ及び第一拘束ファクターに基づいて、慣性センサーの速度及び加速度を初期化するために用いられる初期化モジュールを、さらに含んでもよい。

【0119】

本開示の技術案において、言及するユーザ個人情報の収集、記憶、使用、加工、伝送、提供及び開示等の処理は、いずれも相関法規則の規定に適合し、かつ公序良俗にも違反されることはない。

【0120】

本開示の実施例によれば、本開示はさらに電子機器、読み取り可能な記憶媒体及びコンピュータプログラム製品を提供する。

【0121】

本開示の実施例によれば、自動運転車両を提供し、図６の電子機器を含む。

【0122】

図６は、本発明の実施例に係る自動運転車両に対するデータ処理を実行するための電子機器を示すブロック図である。

【0123】

図６は、本開示の実施例を実施可能な例示的電子機器６００の模式的ブロック図を示している。電子機器６００は、様々な形式のデジタルコンピュータを示すことを目的とし、例えば、ラップトップコンピュータ、デスクトップコンピュータ、ワークステーション、パーソナルデジタルアシスタント、サーバ、ブレードサーバ、大型コンピュータ及び他の適切なコンピュータである。電子機器は、さらに様々な形式の移動装置を示してもよく、例えば、パーソナルデジタルアシスタント、携帯電話、スマートフォン、ウェアラブル機器及び他の類似の演算装置である。本明細書に示された部材、それらの接続及び関係、並びにそれらの機能は、例示に過ぎず、本明細書に記載された及び／又は要求された本開示の実現を限定しない。

【0124】

図６に示すように、電子機器６００は、計算手段６０１を含み、計算手段６０１は、リードオンリーメモリ（ＲＯＭ）６０２に記憶されたコンピュータプログラム又は記憶手段６０８からランダムアクセスメモリ（ＲＡＭ）６０３にロードされたコンピュータプログラムに基づいて、様々な適切な動作及び処理を実行してもよい。ＲＡＭ６０３には、さらに電子機器６００の操作に必要な様々なプログラム及びデータを記憶してもよい。計算手段６０１、ＲＯＭ６０２、及びＲＡＭ６０３は、バス６０４を介して相互に接続される。入出力（Ｉ／Ｏ）インターフェース６０５も、バス６０４に接続される。

【0125】

電子機器６００における複数の部品は、Ｉ／Ｏインターフェース６０５に接続され、例えばキーボード、マウス等の入力手段６０６と、例えば様々な種類のディスプレイ、スピーカ等の出力手段６０７と、例えば磁気ディスク、光ディスク等の記憶手段６０８と、例えばネットワークカード、モデム、無線通信トランシーバ等の通信手段６０９とを含む。通信手段６０９は、電子機器６００がインターネット等のコンピュータネットワーク及び／又は各種の電気ネットワークを介して他の機器と情報・データをやり取りすることを可能にする。

【0126】

計算手段６０１は、処理及び演算能力を有する各種の汎用及び／又は専用の処理モジュールであってもよい。計算手段６０１の幾つかの例として、中央処理ユニット（ＣＰＵ）、ＧＰＵ（Ｇｒａｐｈｉｃｓ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）、各種専用の人工知能（ＡＩ）演算チップ、各種機械学習モデルアルゴリズムをランニングする演算ユニット、ＤＳＰ（Ｄｉｇｉｔａｌ Ｓｉｇｎａｌ Ｐｒｏｃｅｓｓｏｒ）、並びに任意の適切なプロセッサ、コントローラ、マイクロコントローラ等が挙げられるが、これらに限定されない。計算手段６０１は、上記で記載された各方法及び処理、例えば自動運転車両に対するデータ処理を実行する。例えば、幾つかの実施例において、自動運転車両に対するデータ処理は、例えば記憶手段６０８のような機械可読媒体に有形的に含まれるコンピュータソフトウェアプログラムとして実現されてもよい。いくつかの実施例において、コンピュータプログラムの一部又は全部は、ＲＯＭ ６０２及び／又は通信手段６０９を介して電子機器６００にロード及び／又はインストールされてもよい。コンピュータプログラムがＲＡＭ６０３にロードされて計算手段６０１により実行される場合、上記に記載の交通信号機に対する提示方法の１つ又は複数のステップを実行してもよい。代替的に、他の実施例において、計算手段６０１は、他の任意の適切な方式（例えば、ファームウェアを介する）により自動運転車両に対するデータ処理を実行するように構成されてもよい。

【0127】

本明細書で以上に説明されたシステム及び技術の様々な実施形態は、デジタル電子回路システム、集積回路システム、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）、特定用途向け集積回路（ＡＳＩＣ）、特定用途向け標準製品（ＡＳＳＰ）、システムオンチップ（ＳＯＣ）、コンプレックスプログラムマブルロジックデバイス （ＣＰＬＤ）、コンピュータハードウェア、ファームウェア、ソフトウェア、及び／又はそれらの組み合わせにおいて実現されてもよい。これらの様々な実施形態は、１つ又は複数のコンピュータプログラムにおいて実施され、該１つ又は複数のコンピュータプログラムは、少なくとも１つのプログラムマブルプロセッサを含むプログラムマブルシステムで実行され及び／又は解釈されることが可能であり、該プログラムマブルプロセッサは、専用又は汎用のプログラムマブルプロセッサであってもよく、記憶システム、少なくとも１つの入力装置、及び少なくとも１つの出力装置からデータ及び命令を受信し、かつデータ及び命令を該記憶システム、該少なくとも１つの入力装置、及び該少なくとも１つの出力装置に伝送することができることを含んでもよい。

【0128】

本開示の方法を実施するためのプログラムコードは、１つ又は複数のプログラミング言語の任意の組み合わせで作成されてもよい。これらのプログラムコードは、汎用コンピュータ、専用コンピュータ又は他のプログラマブルの自動運転車両に対するデータ処理装置のプロセッサ又はコントローラに提供されてもよく、それによって、プログラムコードがプロセッサ又はコントローラにより実行される時に、フローチャート及び／又はブロック図に規定された機能・操作が実施される。プログラムコードは、機器に完全に実行されてもよく、部分的に機器で実行されてもよく、独立したソフトウェアパッケージとして部分的に機器で実行され、かつ部分的に遠隔機器で実行されるか又は完全に遠隔機器又はサーバで実行されてもよい。

【0129】

本開示のコンテキストにおいて、機械可読媒体は、有形の媒体であってもよく、命令実行システム、装置又は電子機器に使用され、又は命令実行システム、装置又は電子機器と組み合わせて使用されるプログラムを含んで又は記憶してもよい。機械可読媒体は、機械可読信号媒体又は機械可読記憶媒体であってもよい。機械可読媒体は、電子の、磁気的、光学的、電磁的、赤外線の、又は半導体システム、装置又は電子機器、又は上記内容の任意の適切な組み合わせを含んでもよいが、それらに限定されない。機械可読記憶媒体のより具体的な例としては、１つ以上の線による電気的接続、携帯式コンピュータディスク、ハードディスク、ランダムアクセスメモリ（ＲＡＭ）、読み出し専用メモリ（ＲＯＭ）、消去可能なプログラマブルリードオンリーメモリ（ＥＰＲＯＭ又はフラッシュメモリ）、光ファイバ、コンパクトディスクリードオンリーメモリ（ＣＤ－ＲＯＭ）、光学記憶装置、磁気記憶装置、又は上記内容の任意の適切な組み合わせを含む。

【0130】

ユーザとの対話を提供するために、コンピュータにここで説明されたシステム及び技術を実施させてもよく、該コンピュータは、ユーザに情報を表示するための表示装置（例えば、ＣＲＴ（陰極線管）又はＬＣＤ（液晶ディスプレイ）モニタ）と、キーボード及びポインティングデバイス（例えば、マウス又はトラックボール）とを備え、ユーザは、該キーボード及び該ポインティングデバイスを介して入力をコンピュータに提供することができる。他の種類の装置は、さらにユーザとの対話を提供してもよく、例えば、ユーザに提供されたフィードバックは、いかなる形式のセンシングフィードバック（例えば、視覚フィードバック、聴覚フィードバック、又は触覚フィードバック）であってもよく、かついかなる形式（音声入力、語音入力又は、触覚入力を含む）でユーザからの入力を受信してもよい。

【0131】

ここで説明されたシステム及び技術は、バックグラウンド部品を含むコンピューティングシステム（例えば、データサーバとする）、又はミドルウェア部品を含むコンピューティングシステム（例えば、アプリケーションサーバ）、又はフロントエンド部品を含むコンピューティングシステム（例えば、グラフィカルユーザインタフェース又はウェブブラウザを有するユーザコンピュータ、ユーザが該グラフィカルユーザインタフェース又は該ネットワークブラウザを介してここで説明されたシステム及び技術の実施形態と対話することができる）、又はこのようなバックグラウンド部品、ミドルウェア部品、又はフロントエンド部品のいずれかの組み合わせを含むコンピューティングシステムに実施されることが可能である。任意の形式又は媒体のデジタルデータ通信（例えば、通信ネットワーク）によりシステムの部品を互いに接続することができる。通信ネットワークの例としては、ローカルエリアネットワーク（ＬＡＮ）、ワイドエリアネットワーク（ＷＡＮ）及びインターネットを例示的に含む。

【0132】

コンピュータシステムは、クライアント及びサーバを含んでもよい。クライアントとサーバ同士は、一般的に離れており、通常、通信ネットワークを介して対話する。クライアントとサーバとの関係は、該当するコンピュータ上でランニングし、クライアント－サーバの関係を有するコンピュータプログラムによって生成される。サーバは、クラウドサーバであってもよく、分散型システムのサーバであってもよく、又はブロックチェーンを組合せたサーバであってもよい。

【0133】

理解されるべきこととして、以上に示された様々な形式のフローを使用してもよく、操作を改めてソーティングしたり、追加したり又は削除してもよい。例えば、本開示に記載の各操作は、並列に実行されたり、順次に実行されたり、又は異なる順序で実行されてもよく、本開示の発明の所望の結果を実現することができれば、本明細書はここで限定されない。

【0134】

上記具体的な実施形態は、本開示の保護範囲を限定するものではない。当業者であれば、設計要件及び他の要因に応じて、様々な修正、組み合わせ、サブコンビネーション及び代替を行うことが可能であると理解すべきである。本開示の精神と原則内で行われる任意の修正、均等置換及び改良などは、いずれも本開示の保護範囲内に含まれるべきである。

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】