特開 2021-18823 機械学習に基づく運転支援システムの検出能力を改善する方法およびシステム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】特開2021-18823(P2021-18823A)

(43)【公開日】2021年2月15日

(54)【発明の名称】機械学習に基づく運転支援システムの検出能力を改善する方法およびシステム

(51)【国際特許分類】

   G08G 1/16 20060101AFI20210118BHJP

   G09B 29/00 20060101ALI20210118BHJP

   G08G 1/09 20060101ALI20210118BHJP

   B60W 40/02 20060101ALI20210118BHJP

   B60W 30/095 20120101ALI20210118BHJP

【ＦＩ】

   G08G1/16 A

   G09B29/00 Z

   G08G1/09 F

   B60W40/02

   B60W30/095

【審査請求】未請求

【請求項の数】15

【出願形態】ＯＬ

【外国語出願】

【全頁数】14

(21)【出願番号】特願2020-126194(P2020-126194)

(22)【出願日】2020年7月27日

(31)【優先権主張番号】19187706

(32)【優先日】2019年7月23日

(33)【優先権主張国】EP

(71)【出願人】

【識別番号】508097870

【氏名又は名称】コンチネンタル オートモーティヴ ゲゼルシャフト ミット ベシュレンクテル ハフツング

【氏名又は名称原語表記】Ｃｏｎｔｉｎｅｎｔａｌ Ａｕｔｏｍｏｔｉｖｅ ＧｍｂＨ

(74)【代理人】

【識別番号】100069556

【弁理士】

【氏名又は名称】江崎 光史

(74)【代理人】

【識別番号】100111486

【弁理士】

【氏名又は名称】鍛冶澤 實

(74)【代理人】

【識別番号】100191835

【弁理士】

【氏名又は名称】中村 真介

(74)【代理人】

【識別番号】100208258

【弁理士】

【氏名又は名称】鈴木 友子

(72)【発明者】

【氏名】トゥドール・ニコセヴィッシ

【テーマコード（参考）】

2C032

3D241

5H181

【Ｆターム（参考）】

2C032HB22

2C032HC08

3D241BA31

3D241BA50

3D241CE01

3D241CE05

3D241DC01Z

3D241DC31Z

3D241DC33Z

3D241DC34Z

3D241DC37Z

5H181AA01

5H181BB04

5H181BB20

5H181CC03

5H181CC04

5H181CC12

5H181CC14

5H181CC24

5H181FF04

5H181FF10

5H181FF13

5H181FF22

5H181FF27

5H181LL01

5H181LL02

5H181LL09

5H181MC18

(57)【要約】      （修正有）

【課題】機械学習検出アルゴリズムの検出能力を改善する。
【解決手段】運転支援システムは車両３の周囲における静的環境特徴量を検出する少なくとも１つのセンサ２を備え、センサから車両の処理エンティティで静的環境特徴量に関する情報を受信し、受信し処理されたセンサ情報を得て、少なくとも１つの保存された静的環境特徴量を環境データソースから受信し、処理されたセンサ情報を保存された静的環境特徴量と比較する。処理されたセンサ情報と保存された静的環境特徴量との間に非一貫性が存在するか否かを判定し、処理されたセンサ情報と保存された静的環境特徴量との間の非一貫性が判定される場合、機械学習アルゴリズムに基づいて、処理されたセンサ情報と保存された静的環境特徴量との比較結果から導出される訓練情報を機械訓練アルゴリズムに供給することにより検出アルゴリズムを修正する。
【選択図】図３

【特許請求の範囲】

【請求項1】

運転支援システムの検出アルゴリズムの検出能力を改善する方法において：
−検出結果をもたらす検出アルゴリズムを実行する処理エンティティ（４）を備える、車両に基づく運転支援システムを設けるステップであって、前記運転支援システムは前記車両（３）の周囲における静的環境特徴量を検出する少なくとも１つのセンサ（２）を備える、ステップ（Ｓ１０）と；
−前記センサ（２）から前記車両（３）の処理エンティティ（４）で静的環境特徴量に関するセンサ情報を受信するステップ（Ｓ１１）と；
−前記受信されたセンサ情報を処理するステップにおいて、これにより処理されたセンサ情報を得る、ステップ（Ｓ１２）と；
−少なくとも１つの保存された静的環境特徴量を環境データソースから受信するステップ（Ｓ１３）と；
−処理されたセンサ情報を前記保存された静的環境特徴量と比較するステップ（Ｓ１４）と；
−処理されたセンサ情報と保存された静的環境特徴量との間に非一貫性が存在するか否かを判定するステップ（Ｓ１５）と；
−処理されたセンサ情報と保存された静的環境特徴量との間の非一貫性が判定される場合、機械学習アルゴリズムに基づいて、処理されたセンサ情報と前記保存された静的環境特徴量との比較結果から導出される訓練情報を前記機械訓練アルゴリズムに供給することにより前記検出アルゴリズムを修正するステップ（Ｓ１６）と；
を備える方法。

【請求項2】

前記保存された静的環境特徴量はマップから抽出される情報であり、かつ／またはマップに含まれる情報から導出される、請求項１に記載の方法。

【請求項3】

環境データソースからの保存された静的環境特徴量は第１座標系から第２座標系に変換されるのであって、前記第２座標系は前記第１座標系とは異なりかつ車両座標系であり、車両座標に基づく保存された静的環境特徴量を取得する、請求項１または２に記載の方法。

【請求項4】

受信されたセンサ情報を処理するステップは、センサ座標系から前記受信されたセンサ情報を車両座標系に変換することを含む、請求項１〜３のいずれか１項に記載の方法。

【請求項5】

受信されたセンサ情報を処理するステップは、静的環境特徴量を検出し、分類し、かつ／または位置特定することを含む、請求項１〜４のいずれか１項に記載の方法。

【請求項6】

処理されたセンサ情報を前記保存された静的環境特徴量と比較するステップは、検出され、分類され、かつ／または位置特定された静的環境特徴量を、マップに含まれる情報と、マップから導出される情報と、かつ／またはマップから導出される道路モデルの情報と比較することを含む、請求項５に記載の方法。

【請求項7】

前記車両（３）は複数のセンサ（２）を有し、前記センサ（２）から供給されるか、または導出される情報は融合されて環境モデルを決定する、請求項１〜６のいずれか１項に記載の方法。

【請求項8】

複数のセンサ（２）およびマップデータから導出される融合された情報は前記車両（３）の位置および／または方向を推定するために用いられる、請求項７に記載の方法。

【請求項9】

処理されたセンサ情報を前記保存された静的環境特徴量と比較するステップは、マップおよび前記車両（３）の位置情報から導出される道路モデル特徴量を前記処理されたセンサ情報と関連付けることを含む、請求項１〜８のいずれか１項に記載の方法。

【請求項10】

非一貫性が発見される場合、訓練情報は、機械学習アルゴリズムを実行するモデル訓練エンティティ（５）に供給されるのであって、前記訓練情報は、前記処理されたセンサ情報に関する情報と、非一貫性の詳細を示すさらなる情報とを含む、請求項１〜９のいずれか１項に記載の方法。

【請求項11】

訓練情報はフィルタ処理されかつ／または検証されて、フィルタ処理されたかつ／または検証された訓練サンプルが提供される、請求項１０に記載の方法。

【請求項12】

モデル訓練エンティティ（５）は前記車両（３）から遠隔したバックエンドエンティティに設けられる、請求項１０または１１に記載の方法。

【請求項13】

モデル訓練エンティティ（５）は、機械学習アルゴリズムを用いて、訓練情報に基づいて、特にフィルタ処理／検証された訓練サンプルに基づいて、前記検出アルゴリズムを修正する、請求項１０〜１２のいずれか１項に記載の方法。

【請求項14】

修正された検出アルゴリズムは前記車両（３）にフィードバックされ、前記車両（３）において実行される検出アルゴリズムが更新される、請求項１３に記載の方法。

【請求項15】

運転支援システムの検出アルゴリズムの検出能力を改善するシステムにおいて、前記システムは、車両（５）の周囲における静的環境特徴量を検出する少なくとも１つのセンサ（２）と、処理エンティティ（４）と、モデル訓練エンティティ（５）とを備え、前記処理エンティティ（４）は：
−前記センサ（２）から静的環境特徴量に関するセンサ情報を受信し；
−少なくとも１つの保存された静的環境特徴量を環境データソースから受信し；
−処理されたセンサ情報を前記保存された静的環境特徴量と比較し；
−処理されたセンサ情報と保存された静的環境特徴量との間に非一貫性が存在するか否かを判定し；
−処理されたセンサ情報と保存された静的環境特徴量との間の非一貫性が判定される場合、処理されたセンサ情報の情報を含む訓練情報を、前記モデル訓練エンティティ（５）に供給するように構成され、
前記モデル訓練エンティティ（５）は機械学習アルゴリズムに基づいて、前記訓練情報を用いて前記検出アルゴリズムを修正するように構成される、システム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、一般には、車両に基づく検出アルゴリズムに関する。より具体的には、本発明は、機械学習アルゴリズムにより訓練される運転支援システムの検出能力を改善する方法およびシステムに関する。

【背景技術】

【0002】

輸送手段がますます自動でインテリジェントになるなか、車両がより良好に、よりロバストにそしてより包括的にその周囲を理解することを可能にするシステムに対する要求が不可避のものとなっている。そのようなシステムの土台は、車両周囲の特定の要素（例えば道路要素など）を確実に検出し、計測し、そして分類することができる先進運転支援システム（ＡＤＡＳ：Ａｄｖａｎｃｅｄ Ｄｒｉｖｅｒ Ａｓｓｉｓｔａｎｃｅ Ｓｙｓｔｅｍ）センサに代表される。この文脈において、ハードウェアとソフトウェア両方における最近の発達により、ＡＤＡＳセンサ機能において機械学習技術が広く活用されている。

【0003】

非常に高性能である一方で、機械学習システムに関する主な課題の１つがその訓練である。訓練中、サンプルセットが機械学習システムに与えられ、それにより機械学習システムはそれらが抽出しようとしている特徴量の特定の詳細（例えばテクスチャ、形状、色彩など）を自動的に学習できる。

【0004】

非常に重要な点は、何が特定の特徴量（例えば車両の形状やホイール、歩行者のシルエットなど）について関連性があり識別性があるかを機械学習システムが本当に「理解する」ために、高い変動性を有する十分なサンプルが訓練中に与えられる必要がある。

【0005】

訓練が適切に、十分で多様性のあるサンプルを用いてなされない場合、機械学習システムは、与えられたサンプルにフィットする、物体および現象に関係がない属性を抽出してしまうが、うまく一般化はしない。これはオーバーフィッティングと呼ばれ、ただ１つの最も顕著な欠点であり、機械学習システムの質とロバスト性に影響を与える。

【0006】

検出、分類、分割そして位置特定に用いる場合、機械学習システムの訓練の大部分は手動でラベル付けされたデータを必要とするため、十分な訓練サンプルを与えるための膨大な人的手間がかかる。このことは、複雑で高性能なアーキテクチャが何十万または何百万さえものパラメータを訓練することを必要とする、ディープニューラルネットワークの場合に特にあてはまる。

【0007】

そのようなネットワークを訓練するためには、オーバーフィッティングを回避し高性能な機械学習システムを構築するべく何万ものサンプルが必要とされる。

【0008】

不利には、機械学習システムの性能をさらに高める際、比較的小さい改善のために膨大な量の追加の訓練データが必要になる。このことは、データおよびラベル付けに必要な人的手間の入手は限られることから、実用的ではない。

【発明の概要】

【課題を解決するための手段】

【0009】

本発明の実施形態の目的は、限られた訓練の手間で機械学習検出アルゴリズムの検出能力を大幅に改善する、機械学習検出アルゴリズムの検出能力を改善する方法を提供することである。この目標は、独立請求項に記載の特徴により達成される。好ましい実施形態は従属請求項に示される。明示的な指定のない限り、本発明の実施形態は互いに自由に組み合わせ可能である。

【0010】

１つの態様において、本発明は運転支援システムの検出アルゴリズムの検出能力を改善する方法に関する。検出アルゴリズムは機械学習検出アルゴリズムであり、言い換えれば、機械学習により続けて絞り込まれることができる。本方法は以下のステップを有する。

【0011】

まず、車両に基づく運転支援システムが設けられる。運転支援システムは検出結果をもたらす検出アルゴリズムを実行する処理エンティティを備える。運転支援システムは車両の周囲における静的環境特徴量を検出する少なくとも１つのセンサをさらに備える。

【0012】

さらなるステップにおいて、処理エンティティは車両のセンサから静的環境特徴量に関するセンサ情報を受信する。

【0013】

センサ情報の受信後、受信されたセンサ情報は処理され、これにより処理されたセンサ情報を得る。この処理は環境特徴量の検出、分類および／または位置特定という結果になってよい。

【0014】

また、少なくとも１つの保存された静的環境特徴量が環境データソースから受信される。環境データソースは、例えば、静的環境特徴量を提供するマップまたはデータソースであってよい。

【0015】

さらなるステップにおいて、処理されたセンサ情報は、受信され保存された静的環境特徴量と比較される。この比較は、処理されたセンサ情報の特徴が保存された静的環境特徴量の特徴と一致するか否かチェックすることを含んでよい。

【0016】

この比較に基づいて、処理されたセンサ情報と保存された静的環境特徴量との間に非一貫性が存在するか否かが判定される。この非一貫性の判定は、処理されたセンサ情報の１つまたは複数の特徴が静的環境特徴量の１つまたは複数の特徴と一致するか否かを含んでよい。

【0017】

処理されたセンサ情報と保存された静的環境特徴量との間の非一貫性が判定される場合、検出アルゴリズムは、機械学習アルゴリズムに基づいて、処理されたセンサ情報と保存された静的環境特徴量との比較結果から導出される訓練情報を機械訓練アルゴリズムに供給することにより修正される。この文脈において、処理されたセンサ情報と保存された静的環境特徴量との比較結果から導出される訓練情報は、静的環境特徴量の誤検出または誤分類を示す任意の情報であってよい。より具体的には、訓練情報は、少なくとも、センサにより供給された部分情報を含んでよく、好ましくは、なぜセンサ情報が非一貫性を有するとして分類されたか、なぜ誤検出または誤分類としてそれぞれ分類されたかの表示を与える追加情報（「ラベル」とも称される）もまた含んでよい。機械学習アルゴリズムは、例えば、ニューラルネットワーク、特にディープニューラルネットワークを用いるアルゴリズムであってよい。

【0018】

本方法が有利であるのは、機械学習検出アルゴリズムが失敗する状況、例えば偽陽性、偽陰性、間違った分類などを検知し、これらのサンプルを用いて追加訓練を実行するというはるかに効率的な解決策であるからである。これにより、比較的少ないデータを用いて機械学習システムの精度が大幅に改善される。

【0019】

１つの実施形態において、保存された静的環境特徴量はマップから抽出される情報であり、かつ／またはマップに含まれる情報から導出される。このマップは、静的環境特徴量、例えばレーンマーカー、道路特性、衝突バリア、交通標識、交通信号などを地理的位置と対応付けて保存し、言い換えれば、マップは、どの種類の静的環境特徴量、そして好ましくは、この環境情報量の特性が特定の地理的位置に位置しているという情報を供給する。これにより、センサにより観測される情報をマップに含まれる情報と比較することができる。

【0020】

１つの実施形態において、環境データソースからの保存された静的環境特徴量は、第１座標系から第２座標系に変換されるのであって、第２座標系は第１座標系とは異なりかつ車両座標系であり、車両座標に基づく保存された静的環境特徴量を取得する。第１座標系は環境データソース、特にこのマップで用いられる座標系であってよい。第１座標系から第２座標系へのこの変換は、車両精密位置決定情報（例えば高分解能ＧＰＳ）および／または車両位置特定情報を用いて得られてよい。この座標変換を用いることでセンサ情報を環境データソースからの静的環境特徴量と比較することができるのは、両者が同一の座標系に関するからである。

【0021】

１つの実施形態において、受信されたセンサ情報を処理するステップは、センサ座標系から受信されたセンサ情報を車両座標系に変換することを含む。これにより、例えば車両周辺環境を検出する複数のセンサを用いる場合、センサ情報は融合されてよく、このセンサ情報に基づいて（座標系の原点であってよい）車両内の特定の位置に関する環境モデルを発展させてよい。

【0022】

１つの実施形態において、受信されたセンサ情報を処理するステップは、静的環境特徴量を検出し、かつ／または分類することを含む。この文脈において「検出する」とは、特定の環境特徴量が存在するか否か（例えばレーンマーカーが存在するか否か）を判定することを意味する。この文脈において「分類する」とは、検出された環境特徴量を複数のグループまたはクラスのうちの１つ（例えば実線のレーンマーカーまたは破線のレーンマーカー）に割り当てることを意味する。受理されたセンサ情報を処理するとは、検出された環境特徴量の位置特定の推定、言い換えれば、（車両座標系における）車両または（センサ座標系における）センサに関する１つまたは複数の静的環境特徴量の物理的位置特定の推定もまた含んでよい。

【0023】

１つの実施形態において、処理されたセンサ情報を保存された静的環境特徴量と比較するステップは、検出され、かつ／または位置特定された静的環境特徴量を、マップに含まれる情報と、マップから導出される情報と、かつ／またはマップから導出される道路モデルの情報と比較することを含む。これにより、検出アルゴリズムが、マップ情報またはマップ情報に基づいて供給される情報と一致する検出結果を供給したか否かをチェックすることができる。

【0024】

１つの実施形態において、車両は複数のセンサを有し、これらのセンサから供給されるか、または導出される情報は融合されて環境モデルを決定する。これにより、異なる検出領域を有してよく、異なる検出技術（カメラ、レーダセンサ、ライダセンサなど）を用いてよい複数のセンサに基づいて、改善された環境モデルを発展できる。

【0025】

１つの実施形態において、複数のセンサおよびマップデータから導出される融合された情報は車両の位置および／または方向を推定するために用いられる。例えば、複数のセンサ情報に基づいて発展される環境モデルは、マップ（マップデータ）に含まれるかマップ（マップデータ）から導出される情報と比較される。この比較に基づいて、車両の地理的位置および／または方向を決定することができる。より具体的には、この地理的位置および／または方向の決定は、全地球測位システム（ＧＰＳ）に基づくよりもより精確であってよい。

【0026】

１つの実施形態において、処理されたセンサ情報を保存された静的環境特徴量と比較するステップは、マップおよび車両の位置情報から導出される道路モデル特徴量を処理されたセンサ情報と関連付けることを含む。そのような道路モデルを用いることで、処理されたセンサ情報の検証を改善し、言い換えれば、非一貫性に関する処理されたセンサ情報のチェックをより少ない手間および／またはより高い精度で実行することができる。

【0027】

１つの実施形態において、非一貫性が発見される場合、訓練情報は、機械学習アルゴリズムを実行するモデル訓練エンティティに供給されるのであって、訓練情報は、処理されたセンサ情報に関する情報と、非一貫性の詳細を示すさらなる情報、いわゆる「ラベル」とを含む。ラベルは、なぜ特定の処理されたセンサ情報が誤検出または誤分類として分類されたかの表示を与えてよい。これにより、検出アルゴリズムを誤検出および誤分類に関する情報に基づいて修正でき、限られた数の改善ループでも大幅な改善に至る。

【0028】

１つの実施形態において、訓練情報はフィルタ処理されかつ／または検証されて、フィルタ処理されたかつ／または検証された訓練サンプルが提供される。これにより、処理されたセンサ情報の誤検出または誤分類としての分類が正しいか否かをダブルチェックすることができ、これによりシステムの間違いが回避される。

【0029】

１つの実施形態において、モデル訓練エンティティは車両から遠隔したバックエンドエンティティに設けられる。これにより、有利には、機械学習アルゴリズムは、一般に車両自体において利用可能ではない演算資源を備える演算エンティティにより実行可能である。しかし、車両が十分な演算資源を備える場合、当然のことながら機械学習アルゴリズムは車両内で実行されてもよい。

【0030】

１つの実施形態において、モデル訓練エンティティは、機械学習アルゴリズムを用いて、訓練情報に基づいて、特にフィルタ処理／検証された訓練サンプルに基づいて、検出アルゴリズムを修正する。これにより、検出アルゴリズムは、機械学習技術により、誤検出および／または誤分類に至った検出事例の情報を用いて修正される。

【0031】

１つの実施形態において、修正された検出アルゴリズムは車両にフィードバックされ、車両において実行される検出アルゴリズムが更新される。これにより、改善された検出アルゴリズムを今後の検出目的のために用いることができる。

【0032】

さらなる態様において、本発明は、運転支援システムの検出アルゴリズムの検出能力を改善するシステムに関する。システムは、車両の周囲における静的環境特徴量を検出する少なくとも１つのセンサと、処理エンティティと、モデル訓練エンティティとを備える。処理エンティティは：
−センサから静的環境特徴量に関するセンサ情報を受信し；
−少なくとも１つの保存された静的環境特徴量を環境データソースから受信し；
−処理されたセンサ情報を保存された静的環境特徴量と比較し；
−処理されたセンサ情報と保存された静的環境特徴量との間に非一貫性が存在するか否かを判定し；
−処理されたセンサ情報と保存された静的環境特徴量との間の非一貫性が判定される場合、処理されたセンサ情報の情報を含む訓練情報を、モデル訓練エンティティに供給するように構成される。
モデル訓練エンティティは機械学習アルゴリズムに基づいて、この訓練情報を用いて検出アルゴリズムを修正するように構成される

【0033】

本開示で用いられる「車両」の用語は、乗用車、トラック、バス、列車または任意の他の船舶航空機に関してよい。

【0034】

「保存された静的環境特徴量」の用語は、環境データソースから直接導出される特徴量に関してよく、または環境データソースに保存される情報から導出される特徴量であってよい。

【0035】

「環境データソース」の用語は、環境特徴量、特に静的環境特徴量に関する情報を提供する任意のデータソース、例えばマップ、データベースなどに関してよい。

【0036】

本発明において用いられる「本質的に」または「約」の用語は、厳密な値から＋／−１０％だけ、好ましくは＋／−５％だけ乖離すること、ならびに／または機能および／または道路交通法にとって重要ではない変化分の乖離を意味する。

【0037】

本発明の具体的な特徴そして有利な点を含む、本発明の様々な態様は、以下の詳細な説明および添付の図面から容易に理解されるだろう。

【図面の簡単な説明】

【0038】

【図1】図１は、道路上を走行する車両と、車両に設けられるセンサの検出領域の概略図を示す。

【図2】図２は、機械学習技術に基づいて検出アルゴリズムの検出能力を改善するシステムのブロック図を示す。

【図3】図３は、検出アルゴリズムの検出能力を改善する方法のステップを示す概略ブロック図を示す。

【発明を実施するための形態】

【0039】

以下、例示の実施形態が示される添付の図面を参照して、本発明をさらに十分に記載する。図中の実施形態は好ましい実施形態に関してよい一方、実施形態に関して記載されるすべての要素と特徴は、適切である限り、本明細書に記載され、特に上記の任意の他の実施形態と関連する、任意の他の実施形態および特徴と組み合わせて用いられてよい。しかし、本発明は本明細書に記載の実施形態に限定されると解釈されるべきではない。以下の記載を通して、類似の参照符号は、該当する場合、類似の要素、部分、種目または特徴を示すものとして用いられている。

【0040】

明細書、請求項、実施形態例および／または図面に開示される本発明の特徴は、単独およびその任意の組み合わせの両方で、その様々な形態において本発明を実現する材料であってよい。

【0041】

図１は、運転支援システムを備える、走行方向ＤＤにて走行中の車両３の概略的な上面図を示す。運転支援システムは、１つまたは複数のセンサ２を備え、車両３の周囲の情報を収集し、運転者の操縦を支援し、かつ／または車両３の自動運転を少なくとも部分的に実行する。

【0042】

図１に示されるように、センサ２は、以下において環境特徴量とも称される、車両３を囲む環境の特徴量を観測できる、検出領域２．１を有する。特に、センサ２は静的環境特徴量、言い換えれば移動しない環境特徴量を観測するように構成される。そのような環境特徴量は、例えば道路、建物、ガードレール、レーンマーカーなどであってよい。センサ２は、この静的環境特徴量を観測可能な任意のセンサ、例えばカメラ、レーダセンサ、ライダセンサなどであってよい。以下において詳細に記載されるように、複数のセンサ２の情報も静的環境特徴量を観測するために用いられてよい。

【0043】

図１の例において、センサ２は、例えば、車両３が移動中の道路レーンマーカーを検出するように構成される前方視野カメラである。センサの検出領域２．１には複数の太線が含まれている。これらの太線は、センサ２、センサ２と接続される処理エンティティ４それぞれにより検出されるレーンマーカーを示している。

【0044】

図１に示されるレーンマーカー検出は、道路に設けられている実際のレーンマーカーと比較されなければならない。比較により、複数の検出の非一貫性、つまり不正確な検出と誤分類が示されている。

【0045】

図１に示されるように、右側のレーンマーカーは間隙のない実線のレーンマーカーである。しかし、処理エンティティ４は、２つのレーンマーカー部を検出しており、これらのレーンマーカー部間に間隙がある。このように、誤検出とも称される、不正確な検出が生じたのは、実線のレーンマーカーが間隙を有するとして検出されるからである。

【0046】

また、図１の中間のレーンマーカーが不正確に分類されたのは、破線のレーンマーカーが実線として検出されるからである。したがって、誤分類は処理エンティティ４の検出プロセス中に生じたものである。

【0047】

以下、図２および３に基づいて、検出アルゴリズムを修正するために用いられる機械学習システムを訓練するために、検出の非一貫性を用いる、車両に基づく運転支援システムの機械学習検出アルゴリズムの検出能力を改善する方法およびシステム１が開示される。

【0048】

図２は、システム１の概略的なブロック図を示し、ブロック図は機能ブロック、これらそれぞれの機能ブロックの、機械学習検出アルゴリズムの検出能力を改善するエンティティおよびインタラクションをそれぞれ示す。

【0049】

基本原理は、１つまたは複数のセンサ２から得られる検出結果と、環境データソース、例えばマップにより提供される静的環境特徴量に関する情報と、の比較による、１つまたは複数の検出の非一貫性の判定である。センサに基づく検出結果と、環境データソースにより提供される静的環境特徴量との間の不一致を比較が示す場合、このセンサに基づく検出結果はテスト候補として用いられるか、またはこのセンサに基づく検出結果からテスト候補が導出される。このテスト候補に基づいて、検出アルゴリズムは機械学習技術に基づいて再訓練され、検出性能が改善される。

【0050】

再度図２を参照すると、センサ２は検出された環境特徴量に関する情報を処理エンティティ４に供給する。以下、静的環境特徴量のみが機械学習検出アルゴリズムの検出能力を改善するために考慮される。この情報は、未処理のセンサ情報または少なくとも一部が処理されたセンサ情報であってよい。処理エンティティ４に供給そして受信されるこの情報は、センサ座標系に関してよく、言い換えれば、センサ２により供給されるこの情報に含まれる静的環境特徴量の位置は、車両特定座標系とは異なってよいセンサ特定座標系に関してよい。

【0051】

検出された環境特徴量に関するこの情報を処理エンティティ４で受信した後、この処理エンティティ４はこの情報を処理してよい。この処理は、特徴量とも称される、処理されたセンサ情報を導出するための、受信された情報のデータ処理を含んでよい。この処理はパターン認識、認識された環境特徴量の分類および／または位置特定を含んでよい。

【0052】

また、この情報処理は、座標変換ステップを含んでよい。さらに詳細には、処理エンティティ４は、センサ２から受信される情報の座標系変換、特にセンサ特定座標系から車両特定座標系への変換を実行してよい。このように、処理されたセンサ情報、処理エンティティ４により提供される特徴量のそれぞれは、車両特定座標系に関するものである。このようにして、別々のセンサ２からの情報は同一の座標系に関するものであり、それぞれ融合され、重畳されてよい。

【0053】

この処理されたセンサ情報、特徴量それぞれは、処理エンティティ４からセンサデータ検証エンティティ６に供給される。このセンサデータ検証エンティティ６は、受信されたセンサ情報、この受信されたセンサ情報のチェックによる特徴量それぞれ、保存された静的環境特徴量に対する特徴量それぞれを検証するように構成されてよい。

【0054】

１つの好ましい実施形態において、処理されたセンサ情報、特徴量それぞれは、処理エンティティ４から融合エンティティ７に供給される。この融合エンティティ７は、別々のセンサ２の処理されたセンサ情報を受信し、この情報をフューズしてフューズされたセンサ情報を得てよい。このフューズされたセンサ情報は、別々のセンサの情報が組み合わされているため、高次の情報コンテンツを含んでよい。このフューズされたセンサ情報は、例えば、車両の地理的位置を決定するために、特にＧＰＳセンサに基づくよりも精確に決定するために用いることができる。このようにして、フューズされたセンサ情報は位置特定エンティティ８に供給され、位置特定エンティティ８は、このフューズされたセンサ情報と、環境データソース１１、特にマップにより供給される静的環境データとに基づいて車両３を位置特定し（言い換えれば地理的位置を決定し）、車両の地理的位置情報と、自己ポーズデータとも称される、向きを供給するように構成される。この地理的位置情報または自己ポーズデータは、この静的環境データを供給するために用いられる環境データソース、特にマップにより定義される座標系に応じて供給されてよい。

【0055】

代替としてまたは追加で、例えばディファレンシャルＧＰＳ（ＤＧＰＳ：Ｄｉｆｆｅｒｅｎｔｉａｌ Ｇｌｏｂａｌ Ｐｏｓｉｔｉｏｎｉｎｇ Ｓｙｓｔｅｍ）に基づいて、車両の位置を精確に決定するための他の技術も用いることができる。

【0056】

１つの実施形態において、融合エンティティ７は、フューズされたセンサ情報を環境モデル化エンティティ９に供給してもよい。この環境モデル化エンティティ９は、このフューズされたセンサ情報に基づいて車両３を囲む環境の環境モデルを発展させるように構成されてよい。

【0057】

位置特定エンティティ８は車両３の地理的位置情報を道路モデル化エンティティ１０に供給してよい。また、静的環境データは、環境データソース１１により道路モデル化エンティティ１０に供給されてよい。この道路モデル化エンティティ１０は道路モデルを生成するように構成される。この道路モデルはマップ特徴量、特に道路情報を含む。このマップ特徴量、特に道路情報は、車両特定座標系に応じてセンサデータ検証エンティティ６に供給されてよい。言い換えれば、センサデータ検証エンティティ６は、処理されたセンサ情報とマップ特徴量、特に道路情報との両方を車両領域に応じた座標で受信する。

【0058】

センサデータ検証エンティティ６は、処理エンティティ４により提供される処理されたセンサ情報をこのマップ特徴量、特に道路情報と関連付けてよく、処理されたセンサ情報内に非一貫性または誤検出があるか否かをチェックしてよい。例えば、処理エンティティ４は、レーンマーカーを含む道路に関する情報を供給してよく、センサデータ検証エンティティ６は、センサ４により供給される情報に基づいて検出されるレーンマーカーが道路モデル化エンティティ１０により供給される情報に含まれるレーンマーカー情報と一致するか否かをチェックしてよい。これにより、誤検出および／または誤分類を検出することができる。

【0059】

上記システム１の機能ブロックおよびエンティティは車両３内に設けられる。車両において利用可能な演算資源よりも大きな演算能力を有する演算資源を用いるために、センサデータ検証エンティティ６は、バックエンドハードウェアとデータリンクを介して、好ましくは無線データリンクを介して接続されてよい。バックエンドハードウェアは車両３とは離れた別個のハードウェアであってよい。データリンクは恒久的またはほぼ恒久的に利用可能であってよく、またはデータリンクは一時的、例えば車両サービスの場合などにのみ提供されてよい。

【0060】

センサデータ検証エンティティ６は、訓練情報を提供してよく、検出アルゴリズムは訓練情報に基づいて訓練可能である。この訓練情報は、誤検出および／または誤分類を含むとして分類されていた、処理されたセンサ情報に関する情報を含んでよい。また、訓練情報は、非一貫性の詳細を示す更なる情報、言い換えれば、なぜ特定の検出が誤検出および／または誤分類として分類されているのかという情報を含んでよい。さらに、例えば、訓練情報は、処理されたセンサ情報を非一貫性を有するとして分類する根拠となっていたマップ特徴量、特に道路情報に関する情報を含んでよい。

【0061】

訓練情報はモデル訓練エンティティ５に直接供給されてよい。好ましくは、訓練情報は、フィルタ処理された訓練情報を得るために、フィルタ処理エンティティ１２を通して供給され、このフィルタ処理された訓練情報は、このフィルタ処理された訓練情報に基づいて機械学習検出アルゴリズムを訓練するために、モデル訓練エンティティ５に供給される。言い換えれば、フィルタ処理エンティティ１２は、訓練情報をダブルチェックする追加の検証ステップを提供する。これにより、不正確な訓練サンプルにより訓練工程を間違ったものにする場合がある、モデル訓練に不正確な訓練情報を用いるというリスクを低減することができる。

【0062】

モデル訓練エンティティ５は検出および分類アルゴリズムの根拠となる機械学習モデルを改善するために、受信された訓練情報、それぞれフィルタ処理／検証された訓練情報を用いてよい。さらに詳細には、受信された（処理／検証された）訓練情報は、モデル訓練エンティティ５に、検出および／または分類の失敗（例えば偽陽性または偽陰性検出）に至ったもので、それゆえに機械学習検出アルゴリズムを改善するのに非常に有利である訓練候補を与えてよい。

【0063】

検出アルゴリズムが基づくモデルの改善後、モデル訓練エンティティ５は改善された検出および分類モデルを車両３に戻って供給してよい。この改善された検出および分類モデルは、車両３の処理エンティティ４で受信されてよく、その場合、この改善された検出および分類モデルに基づいてセンサ２により供給される情報を処理するために、実行されてよい。検出および分類モデルは、車両３に、このモデル再訓練を実行するバックエンドとの間で利用可能な無線通信チャネルを介して伝送されてよく、またはメンテナンス中、例えばファームウェア更新中には車両３において実行されてよい。

【0064】

図３は、機械学習アルゴリズムにより更新される検出アルゴリズムの検出能力を改善するために実行される方法ステップを示す。

【0065】

ステップＳ１０において、車両に基づく運転支援システムが設けられる。

【0066】

次のステップＳ１１において、静的環境特徴量に関するセンサ情報がセンサ２により供給され、処理エンティティ４で受信される。引き続いて、センサ情報は処理エンティティ４で処理される（Ｓ１２）。

【0067】

また、少なくとも１つの保存された静的環境特徴量が受信される（Ｓ１３）。

【0068】

ここで、この処理されたセンサ情報はこの保存された静的環境特徴量と比較され、比較結果が得られる（Ｓ１４）。

【0069】

次に、この処理されたセンサ情報とこの保存された静的環境特徴量との間に非一貫性が存在するか否かをチェックする、判定ステップＳ１５が実行される。

【0070】

非一貫性が判定される場合、機械学習アルゴリズムに基づいて、処理されたセンサ情報とこの保存された静的環境特徴量との比較結果から導出される訓練情報をこの機械訓練アルゴリズムに供給することにより、車両の処理エンティティにおいて実行されるべき検出アルゴリズムが修正される（Ｓ１６）。

【0071】

明細書および図面は提案される本発明の原理を記載しているに過ぎないことに留意するべきである。当業者は、本明細書において明示的に記載または説明されていないが、本発明の原理を具体化する様々な構成を実施することができるだろう。

【符号の説明】

【0072】

１ システム
２ センサ
２．１ 検出領域
３ 車両
４ 処理エンティティ
５ モデル訓練エンティティ
６ センサデータ検証エンティティ
７ 融合エンティティ
８ 位置特定エンティティ
９ 環境モデル化エンティティ
１０ 道路モデル化エンティティ
１１ 環境データソース
１２ フィルタ処理エンティティ
ＤＤ 走行方向

【図1】

【図2】

【図3】

【外国語明細書】

2021018823000001.pdf