特表 2022-535568 汎用的に使用可能な特徴マップを生成する方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公表特許公報(A)

(11)【公表番号】

(43)【公表日】2022-08-09

(54)【発明の名称】汎用的に使用可能な特徴マップを生成する方法

(51)【国際特許分類】

   G09B 29/00 20060101AFI20220802BHJP

   G01S 17/89 20200101ALI20220802BHJP

   B60W 40/02 20060101ALI20220802BHJP

   B60W 60/00 20200101ALI20220802BHJP

   G06T 11/60 20060101ALI20220802BHJP

【ＦＩ】

G09B29/00 Z

G01S17/89

B60W40/02

B60W60/00

G06T11/60 300

【審査請求】有

【予備審査請求】未請求

(21)【出願番号】P 2021572328

(86)(22)【出願日】2020-05-07

(85)【翻訳文提出日】2022-02-04

(86)【国際出願番号】 EP2020062702

(87)【国際公開番号】W WO2020244881

(87)【国際公開日】2020-12-10

(31)【優先権主張番号】102019208384.6

(32)【優先日】2019-06-07

(33)【優先権主張国・地域又は機関】DE

(81)【指定国・地域】

(71)【出願人】

【識別番号】591245473

【氏名又は名称】ロベルト・ボッシュ・ゲゼルシャフト・ミト・ベシュレンクテル・ハフツング

【氏名又は名称原語表記】ＲＯＢＥＲＴ ＢＯＳＣＨ ＧＭＢＨ

(74)【代理人】

【識別番号】100118902

【弁理士】

【氏名又は名称】山本 修

(74)【代理人】

【識別番号】100196508

【弁理士】

【氏名又は名称】松尾 淳一

(74)【代理人】

【識別番号】100147991

【弁理士】

【氏名又は名称】鳥居 健一

(74)【代理人】

【識別番号】100201743

【弁理士】

【氏名又は名称】井上 和真

(72)【発明者】

【氏名】ホマン，ハンノ

(72)【発明者】

【氏名】ランパクレシア，マルコ

(72)【発明者】

【氏名】ビーバー，ペーター

(72)【発明者】

【氏名】シェラー，ゼーバスティアン

【テーマコード（参考）】

2C032

3D241

5B050

5J084

【Ｆターム（参考）】

2C032HB11

2C032HC08

3D241BA42

3D241BA49

3D241CE04

3D241CE05

3D241DC35Z

3D241DC39Z

3D241DC41Z

3D241DC50Z

5B050AA07

5B050BA06

5B050BA11

5B050BA17

5B050DA05

5B050EA19

5B050FA02

5J084AA05

5J084AA10

5J084AB16

5J084AC02

5J084AC07

5J084CA65

(57)【要約】

制御装置によるデジタルマップの生成方法であって、測定走行中に環境の測定データを受信し、受信された測定データに基づくＳＬＡＭを実行して測定走行の軌道を特定し、受信された測定データを軌道の座標系に変換し、変換された測定データを強度マップの生成に使用し、強度マップから特徴を抽出して特徴マップに保存する方法が開示されている。さらに、自己位置特定を実行する方法、制御装置、コンピュータプログラム、および機械読み取り可能な記憶媒体が開示されている。

【特許請求の範囲】

【請求項1】

制御装置（１０）によるデジタルマップを生成する方法（２）であって、
測定走行中に環境（Ｕ）の測定データを受信し（１８）、
当該受信された測定データに基づくＳＬＡＭを実行して前記測定走行の軌道を特定し（１９）、
当該受信された測定データを前記軌道の座標系に変換し（２０）、
当該変換された測定データを強度マップ（３０）の生成（２１）に使用し、
前記強度マップ（３０）から特徴（６２、６４、６６）を抽出して（２３）、特徴マップ（６０）に保存する（２４）、方法。

【請求項2】

前記特徴マップ（６０）は、デジタルマップとして、またはデジタルマップのマップレイヤとして保存される、請求項１に記載の方法。

【請求項3】

当該受信された測定データは点群として存在し、複数のセル（３１、３２）からなるラスタに割り当てられ、前記強度マップ（３０）を生成するために、各セル（３１、３２）の測定データの平均値が算出される、請求項１または２に記載の方法。

【請求項4】

当該受信された測定データから高度マップ（４０）が生成され、前記高度マップ（４０）を生成するために、各セル（３１）および隣接するセル（３２）の測定データから加重平均値が算出される、請求項３に記載の方法。

【請求項5】

当該抽出された特徴（６２、６４、６６）の高度を決定するために、当該生成された高度マップ（４０）から情報が受信され、前記特徴マップ（６０）に保存される、請求項４に記載の方法。

【請求項6】

当該抽出された特徴（６２、６４、６６）は、汎用的に特定可能な特徴（６２、６４、６６）として前記特徴マップ（６０）に保存され、前記特徴（６２、６４、６６）は、幾何学的形状、線、点および／または点群として抽出されて保存される、請求項１から５のいずれか一項に記載の方法。

【請求項7】

特に制御装置（１１）により自己位置特定を実行する方法（４）であって、
環境（Ｕ）の測定データおよび特徴マップ（６０）受信し（２５）、
当該受信された測定データの特徴を認識および抽出し（２６）、
抽出された少なくとも１つの特徴を、前記特徴マップに格納された特徴（６２、６４、６６）と照合して位置を特定する（２７）方法。

【請求項8】

当該受信された測定データは位置データとして実現され、位置ダイアグラムに保存され、当該特定された位置は、特徴（６２、６４、６６）が正常に照合されたときは、新しい測定値として前記位置ダイアグラムに格納される（２８）、請求項７に記載の方法。

【請求項9】

前記測定データは、前記特徴マップ（６０）の生成に使用された少なくとも１つのセンサ（１４）とは異なる少なくとも１つのセンサ（１５）から測定される、請求項７または８に記載の方法。

【請求項10】

請求項１から９のいずれか一項に記載の方法（２、４）の少なくとも１つを実施するように構成されている制御装置（１０、１１）。

【請求項11】

コンピュータまたは制御装置（１０、１１）によって実行されると、コンピュータまたは制御装置に請求項１から９のいずれか一項に記載の方法（２、４）の少なくとも１つを実行させる複数の命令を含む、コンピュータプログラム。

【請求項12】

請求項１１に記載のコンピュータプログラムが保存された、機械読み取り可能な記憶媒体（１２、１３）。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、デジタルマップを生成する方法および自己位置特定（ローカリゼーション）を実行する方法に関する。さらに、本発明は、制御装置、コンピュータプログラムおよび機械読み取り可能な記録媒体に関する。

【背景技術】

【0002】

自動車やロボットの自動運転には、自己位置特定（ローカリゼーション）は不可欠な機能要素である。自己位置特定によって、マップや環境内での車両やロボットの正確な位置を認識できる。特定した位置に基づいて、例えば軌道を走行したり、タスクを実施したりするように制御コマンドを生成することができる。

【0003】

特にＧＮＳＳデータへアクセスしないアプリケーションでは、いわゆるＳＬＡＭにより自己位置特定とマッピング（マップ生成）とを同時に行うことができる。この目的のため、マップを生成するために、例えばライダー（ＬＩＤＡＲ）センサ等の測定データが収集され、解析される。続くステップにおいて、マップ内の位置を決定することができる。

【0004】

ＳＬＡＭの問題点は、動的または半静的な環境での適用である。このような環境は、例えば、格納場所、建設現場、イントラロジスティクス、またはコンテナポート等に存在し得る。対象物が定期的に移動することにより、生成されたマップは短時間で有効性が失われる。このようなマップの定期的な更新には、測定および解析の大きな手間を要する。特に、定期的に更新されるマップを、全てのユーザが利用可能にする必要があり、このため大量のデータを提供するためのインフラが必要である。

【発明の概要】

【発明が解決しようとする課題】

【0005】

本発明の根底にある課題は、データ消費を抑えた汎用的に利用可能なデジタルマップを生成する方法を提案することにあると考えられる。

【課題を解決するための手段】

【0006】

この課題は、独立請求項の各主題によって解決される。本発明の有利な実施形態は、それぞれの従属請求項の主題である。

【0007】

本発明の一態様によれば、制御装置によるデジタルマップを生成する方法が提供される。１つのステップでは、測定走行中に環境の測定データを受信する。ここで、測定走行は任意の走行であってよい。好ましくは、測定データを、少なくとも１つのセンサによって静止時または駐車時にも収集することができる。続いて、対応する測定データを制御装置で受信し、処理することができる。

【0008】

受信された測定データに基づいて、測定走行の軌道を特定するためにＳＬＡＭが実行される。ここで、一連の測定データに基づいて自らの自己位置特定が行われ、測定走行中のそれぞれの位置が軌道を形成する。

【0009】

さらなるステップでは、受信された測定データを軌道の座標系に変換する。受信された測定データは、例えば、センサに対する相対位置および／または相対距離を有し得る。続いて、この相対座標を、例えば軌道の絶対座標系に変換することができる。このような座標系としては、例えばカルテシアン（直交）座標系があり得る。

【0010】

変換された測定データは、強度マップの生成に使用される。例えば、１つまたは複数のライダー（ＬＩＤＡＲ）センサまたはレーダセンサの反射光の強度を測定し、受信光強度のマップの形態で格納してもよい。

【0011】

続いて、強度マップから特徴を抽出し、特徴マップに保存する。当該特徴は、好ましくは、強度マップから検出することができる。このプロセスは、例えばパターン認識アルゴリズムによって行うことができる。パターン認識は、あらかじめ適宜学習されたニューラルネットワークによって行われてもよい。パターン認識は、例えば処理を行う者により手動で行われてもよいし、または自動で行われてもよい。さらに、処理を行う者により、自動的に行われるパターン認識が解除されたり、確認されたりされてもよい。

【0012】

パターンマップは、好ましくは汎用的に使用可能である。特に、パターンマップはセンサに依存せず、あるいはセンサ優位（ｓｅｎｓｏｒｕｂｅｒｇｒｅｉｆｅｎｄ）に使用可能であるため、測定された異なる測定データから特徴を抽出し、特徴マップに基づき自己位置特定に使用することができる。

【0013】

本発明のさらなる態様によれば、特に制御装置で自己位置特定を実行する方法が提供される。１つのステップでは、環境の測定データと特徴マップを受信する。測定データは、１つまたは複数のセンサによって測定されてもよい。このようなセンサは、例えばカメラセンサ、ライダーセンサ、レーダセンサ、超音波センサ等であってもよい。特に、当該センサは、特徴マップを生成するために使用されたセンサと異なってもよい。

【0014】

さらなるステップでは、受信された測定データの特徴を認識し抽出する。続いて、抽出した少なくとも１つの特徴と特徴マップに格納された特徴とを照合して位置を特定する。少なくとも１つの特徴の照合が成功したときは、センサまたはセンサを使用して測定を行う車両の位置を決定することができる。

【0015】

本発明のさらなる態様によれば、制御装置が提供され、制御装置は、上記方法を実施するように構成されている。ここで、制御装置は、自動走行機能を実行するための車両制御装置に組み込まれる車載制御装置であってもよいし、車両制御装置に接続可能な装置であってもよい。代替的または追加的に、制御装置は、例えばサーバ装置またはクラウド技術のような、車両外部の制御装置として構成されてもよい。

【0016】

さらに、本発明の一態様によれば、コンピュータまたは制御装置によって実行されると、コンピュータまたは制御装置に本発明に係る方法を実行させる複数の命令を含むコンピュータプログラムが提供される。本発明のさらなる態様によれば、本発明に係るコンピュータプログラムが保存された機械読み取り可能な記憶媒体が提供される。

【0017】

この際、制御装置は車両に組み込まれていてもよい。特に、少なくとも１回の測定走行は、制御装置を備えた車両で実行できる。この際、車両は、ＢＡＳｔ規格に基づき、アシスト、部分自動運転、高度自動運転、および／または完全自動運転、またはドライバーレスで運転可能である。代替または追加の形態によれば、車両は、ロボット、ドローン、船舶等であってよい。これにより、高速道路等の道路、田舎道、市街地、および路外またはオフロードでも本方法を使用することができる。本方法は、特に、建物またはホール、地下空間、駐車場および駐車ガレージ、トンネル等で利用できる。

【0018】

測定データを測定するための少なくとも１つのセンサは、周辺環境センサシステムの構成要素または車両の少なくとも１つのセンサであってよい。特に、少なくとも１つのセンサは、ライダーセンサ、レーダセンサ、超音波センサ、カメラセンサ、オドメータ、加速度センサ、位置センサ等であってもよい。特に、センサは、単独で使用されてもよいし、互いに組み合わせて使用されてもよい。さらに、オドメトリック（積算）法を実行するために、例えば加速度センサ、ホイールセンサ、ライダーセンサ、超音波距離センサ、カメラ等のセンサを使用してもよい。

【0019】

本発明に係る方法によって、特に環境の静的な特徴を特定して抽出することができる。このような特徴は、例えば、道路標識、建物の幾何学的形状、縁石、道路、信号機の配置や位置、視線誘導標、車線境界、建物、コンテナ等であってよい。このような特徴を複数の異なるセンサによって検出し、自己位置特定に利用することができる。例えば、ライダーセンサの測定データから抽出される特徴をカメラセンサでも検出し、自己位置特定のために互いに比較してもよい。そのため、異なる車両や機械で利用できる、汎用的に使用可能な特徴マップを生成することができる。例えば、このような特徴マップは、パーソナルモビリティ、搬送ユニット、マニピュレータ等によって正確な自己位置特定に利用され得る。

【0020】

好ましくは、第１のステップでマーキングマップを生成し、続いて自己位置特定のタスクに使用することができる。特に、マーキングマップは、自動運転される車両やロボットの自己位置特定や制御タスクに利用できる。

【0021】

特徴マップの特徴は、幾何学図形や直線、点等であり得るため、座標やベクトルの形で最小限のデータサイズで保存可能である。これにより、車両やロボットに特徴マップを提供する際に必要なデータ容量を削減することができる。

【0022】

実施例によれば、特徴マップは、デジタルマップとして、またはデジタルマップのマップレイヤとして保存される。これにより、特徴マップは特にフレキシブルに使用され得る。特に、既存のマップを、特徴マップによってアップグレードしたり、最小限の所要の記憶容量でデジタルマップとして実施したりすることができる。

【0023】

さらなる実施例によれば、受信された測定データは点群として存在し、複数のセルからなるラスタに割り当てられている。好ましくは、強度マップを生成するために、各セルの測定データの平均値を算出する。デジタルマップのセルは、例えば、画素、画素群、ポリゴン等であってよい。平均値を算出することで、測定値の局所的な不一致や揺れを補償することができる。測定値は、特に、レーダセンサおよび／またはライダーセンサからの反射ビーム、または後方散乱後に検出されるビームによって構成され得る。

【0024】

さらなる実施形態によれば、受信された測定データから高度マップが生成され、高度マップを生成するために、各セルおよび隣接するセルの測定データから加重平均値が算出される。これにより、測定された測定データから付加情報を抽出し、特徴マップの生成に利用することができる。

【0025】

さらなる実施例によれば、抽出された特徴の高度を決定するために、生成された高度マップから情報を受信し、特徴マップに保存する。ここで、高度マップと特徴マップとを重ね合わせて、高度マップの対応する属性や情報を特徴マップに伝達することができる。これに加え、例えば、特徴の位置における高さや強度の傾きを、それぞれの特徴から引き継ぐことができる。このプロセスは、好ましくは自動的に実行され、高度マップの各セルと特徴マップの各セルとが照合される。

【0026】

さらなる実施形態によれば、抽出された特徴は、汎用的に特定可能な特徴として特徴マップに保存される。有利な形態によれば、特徴は、幾何学的形状、線、点および／または点群等として抽出され、保存される。このようにして、自己位置特定を行うために、環境測定データから物体、標識、特有の形状または特徴を有する形状を抽出し、使用することができる。特に、これによって動的な環境下でも多数の静的な特徴を特定し、位置を正確に特定するために使用することができる。ここで、特徴は基本的にセンサに依存せずに特定できるため、マーキングマップは汎用的に利用可能である。

【0027】

さらなる実施例によれば、受信された測定データは位置データとして実現され、位置ダイアグラムに保存される。好ましくは、特定された位置は、特徴が正常に照合されたときは、新しい測定値として位置ダイアグラムに格納される。特徴マップは、例えば、車両やロボットの位置を特定するために使用できる。この際、それぞれの現在位置は、経路に沿って、例えば所定の時間間隔で特定され、位置ダイアグラムや位置マップに格納される。位置ダイアグラムによって、移動距離や軌道を表示することができる。特徴マップに特徴があれば、その特徴マップ内での位置を、測定データを測定した車両やセンサに割り当てることができる。その後、この位置は別の測定値として位置ダイアグラムに保存される。

【0028】

さらなる実施例によれば、測定データは、特徴マップの生成に使用された少なくとも１つのセンサとは異なる少なくとも１つのセンサから測定される。抽出された特徴は、好ましくは抽象化された形式で存在し、ひいては汎用的に読み取り可能または比較可能であってもよい。このような特徴の形式は、例えばテキスト形式の座標として存在してもよい。特に、座標内の特徴は、始点、終点、中間点、方向、長さ、高さ等を有してもよい。これらの情報を特に少ない所要の記憶容量で格納し、照合を行うために利用することができる。

【0029】

以下に、非常に簡略化した模式図を用いて、本発明の好ましい実施例を詳述する。

【図面の簡単な説明】

【0030】

【図1】本発明に係る方法を説明するための配置の模式図である。

【図2】一実施例に係るデジタルマップを生成する方法を説明するための模式図である。

【図3】一実施例に係る自己位置特定を実行する方法を説明するための模式図である。

【図4】模式的な強度マップを示す図である。

【図5】模式的な高度マップを示す図である。

【図6】特徴マップの斜視図である。

【発明を実施するための形態】

【0031】

図１は、本発明に係る方法２、４を説明するための配置１の模式図である。

【0032】

配置１は、２つの車両６、８を有する。代替的または追加的に、配置１は、ロボットおよび／またはさらなる車両を有してもよい。図示の実施例によれば、第１の車両６は、デジタルマップ、特にマーキングマップを生成するための方法２を実行する機能を果たす。第２の車両８は、デジタルマップ内での自己位置特定を実行する方法４を明確化するために模式的に示されている。

【0033】

第１の車両６は、機械読み取り可能なメモリ１２およびセンサ１４とデータ通信可能に接続された制御装置１０を有する。センサ１４は、例えばライダー（ＬＩＤＡＲ）センサ１４であってもよい。

【0034】

ライダーセンサ１４によって、第１の車両６は環境Ｕを走査し、測定データを生成することができる。続いて、測定された測定データを制御装置１０によって受信し、解析することができる。制御装置１０によって生成された特徴マップは、通信リンク１６を介して他の道路利用者や車両８に提供され得る。特徴マップを、機械読み取り可能な記憶媒体１２に格納してもよい。

【0035】

第２の車両８は、同様に制御装置１１を有する。制御装置１１は、機械読み取り可能な記憶媒体１３と、センサ１５とにデータ通信可能に接続されている。本実施例によればセンサ１５はカメラセンサ１５であり、同様に環境Ｕの測定データを測定して制御装置１１に伝送することができる。制御装置１１は、環境Ｕの測定データから特徴を抽出し、通信リンク１６を介して制御装置１１から受信された、特徴マップからの特徴と照合することができる。

【0036】

図２は、実施例に係るデジタルマップを生成する方法２を説明するための模式図である。

【0037】

第１のステップ１８において、環境Ｕの測定データを、第１の車両６の測定走行中に測定し、制御装置１０によって受信する。実施例によれば、環境Ｕをライダーセンサ１４で走査する。

【0038】

続くステップ１９では、測定走行中に受信された測定データを用いてＳＬＡＭを実行する。ＳＬＡＭは、第１の車両６の軌道を決定する。

【0039】

受信された測定データを軌道の座標系に変換する（２０）。代替的に、軌道を測定データの座標系に変換してもよい。例えば、共通の座標系はカルテシアン（直交）座標系であってもよい。

【0040】

変換された測定データを用いて強度マップ３０を生成する（２１）。このような強度マップ３０を図４に示す。特に、測定データは、複数のセル３１、３２を有するグリッドマップとして存在してよい。セル３１、３２は、例えば、画素として、あるいは画素群として構成されてよい。各セル３１、３２は、座標系に対応して、例えばＧＰＳ座標等の局所的な割り当てを有してよい。

【0041】

続いて、各セル３１、３２について強度を計算する。このため、それぞれのセル３１、３２内の全ての測定値について平均値を計算する。こうして計算された平均値から強度マップ３０を生成する（２１）。

【0042】

さらに、高度マップ４０を生成する（２２）。高度マップ４０は加重平均値から生成され、これは図５に示されている。加重平均は、各セル３１内の測定値と、対応する隣接セル３２の測定データとについて計算される。

【0043】

さらなるステップ２３では、強度マップ３０から特徴を抽出する。これは、例えば自動化されたパターン認識アルゴリズムや、オペレータによる手動で行うことができる。例えば、強度マップ３０における明部と暗部の間の遷移が、可能なパターンとして考慮される。高度マップ４０に基づき、各特徴にプロファイルを割り当てることができる。

【0044】

特定された特徴を、強度マップ３０内の位置に応じて特徴マップ６０に保存する（２４）。特徴マップ６０は、図６に模式的に示されている。ここでは、複数の特徴６２、６４、６６に例示的なライダーのスキャンがオーバレイされている。特徴６２、６４、６６は、例示的な車道マーキング６２、車道境界部６４、および地面上の他のマーキング６６である。特徴マップ６０を、例えば機械読み取り可能な記憶媒体１２に保存し、通信リンク１６を介して提供してもよい。

【0045】

図３は、一実施例に係る自己位置特定（ローカリゼーション）を実行する方法４を説明するための模式図である。方法４を、例示的に第２の車両８の制御装置１１によって実施する。

【0046】

ステップ２５では、環境Ｕの測定データをセンサ１５によって測定し、制御装置１１に伝達する。さらに、特徴マップ６０を、通信リンク１６を介して制御装置１１によって受信する。これは、制御装置１１に実装された位置ダイアグラムロケータ（位置測定器）によって実施することができる。

【0047】

この際、測定データを、連続的にまたは所定の時間間隔で取得し、制御装置１１によって受信することができる。さらに、オドメトリックな（積算された）測定データを制御装置１１で受信してもよい。

【0048】

さらなるステップ２６では、受信された測定データから特徴６２、６４、６６を抽出する。この際、特徴６２、６４、６６を受信された特徴マップ６０と照合する（２７）。照合の際、車両内で検出された特徴６２、６４、６６を特徴マップ６０上で見つけることが試みられる。この際、オドメトリ（積算）によって測定された測定データは、特徴マップ６０内の探索領域を限定することができる。特徴マップ６０は、抽象化された、ひいては汎用的に使用可能な特徴６２、６４、６６を有するため、カメラセンサ１５を用いて測定された測定データも、自己位置特定に使用することができる。

【0049】

車両側で特定された特徴と、特徴マップ６０の特徴６２、６４、６６との間に一致が見られた場合、車両８の位置を補正または更新することができる（２８）。

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【国際調査報告】