特許 7511750 自車両の自動運転及び支援運転における環境特徴の連続適応型検出コンピュータ実装方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2024-06-27

(45)【発行日】2024-07-05

(54)【発明の名称】自車両の自動運転及び支援運転における環境特徴の連続適応型検出コンピュータ実装方法

(51)【国際特許分類】

   G06V 10/778 20220101AFI20240628BHJP

   G06V 10/46 20220101ALI20240628BHJP

   G06V 20/56 20220101ALI20240628BHJP

   G06V 10/82 20220101ALI20240628BHJP

   G08G 1/09 20060101ALI20240628BHJP

【ＦＩ】

G06V10/778

G06V10/46

G06V20/56

G06V10/82

G08G1/09 H

【請求項の数】 8

(21)【出願番号】P 2023517795

(86)(22)【出願日】2021-09-21

(65)【公表番号】

(43)【公表日】2023-10-04

(86)【国際出願番号】 EP2021075936

(87)【国際公開番号】W WO2022063774

(87)【国際公開日】2022-03-31

【審査請求日】2023-03-16

(31)【優先権主張番号】20465562.5

(32)【優先日】2020-09-23

(33)【優先権主張国・地域又は機関】EP

(73)【特許権者】

【識別番号】322007626

【氏名又は名称】コンチネンタル・オートナマス・モビリティ・ジャーマニー・ゲゼルシャフト・ミト・ベシュレンクテル・ハフツング

(74)【代理人】

【識別番号】100069556

【弁理士】

【氏名又は名称】江崎 光史

(74)【代理人】

【識別番号】100111486

【弁理士】

【氏名又は名称】鍛冶澤 實

(74)【代理人】

【識別番号】100191835

【弁理士】

【氏名又は名称】中村 真介

(74)【代理人】

【識別番号】100221981

【弁理士】

【氏名又は名称】石田 大成

(72)【発明者】

【氏名】ニコセヴィッシ・トゥドール

【審査官】藤原 敬利

(56)【参考文献】

【文献】米国特許出願公開第２０２０／０２４１５４３（ＵＳ，Ａ１）

【文献】米国特許出願公開第２０１９／０２２６８５１（ＵＳ，Ａ１）

【文献】国際公開第２０２０／０４９６８５（ＷＯ，Ａ１）

【文献】特開２０１９－００８７９６（ＪＰ，Ａ）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ０６Ｔ ７／００－ ７／９０

Ｇ０６Ｖ １０／００－２０／９０

Ｇ０８Ｇ １／００－９９／００

(57)【特許請求の範囲】

【請求項1】

自車両Ｖ１の自動運転及び支援運転における環境特徴の連続適応型検出コンピュータ実装方法であって、自車両Ｖ１はサーバに接続され、前記サーバは複数の他車両Ｖｉ，ｉ＝２，…ｎに接続され、自車両Ｖ１、他車両Ｖｉ及び前記サーバには機械学習モデルが提供されており、
前記方法は、
自車両Ｖ１のデータ収集及び処理ユニットによって実行されるデータ収集ステップＩ、すなわち
自車両Ｖ１の周囲からセンサデータを当該自車両Ｖ１のＡＤＡＳセンサによって取得することと、
特定のシナリオ解釈を生成する機械学習モデルに基づいてセンサデータを解釈することと、
前記特定のシナリオ解釈に従って、関連する命令を自車両Ｖ１の実行電子制御ユニットに送信することと、
前記特定のシナリオ解釈が誤っている場合、すなわち、機械学習の失敗、コヒーレンスチェック、高い不確実性、運転者による解放、又は、予測された挙動と自車両Ｖ１の実際の挙動との間の不一致などの任意のデータ不整合が検出された場合、誤って解釈されたシナリオに基づいて、前記実行電子制御ユニットによって、前記特定のシナリオ解釈が誤っているというフィードバックを自車両Ｖ１のデータ収集及び処理ユニットに送信することと、
誤った特定のシナリオ解釈に関するフィードバックを前記実行電子制御ユニットから受信することと、
前記誤った特定のシナリオ解釈に対応して取得されたセンサデータからカメラ画像を抽出することと、
誤って解釈された特定のシナリオに対応するカメラ画像を符号化してハッシュ化し、自車両Ｖ１の画像ハッシュを取得することと、
前記誤って解釈された特定のシナリオに対応する自車両Ｖ１の画像のハッシュを、取得されたセンサデータ、及び他車両Ｖｉによる特定の類似のシナリオを当該他車両Ｖｉによって識別するための要求と共に、前記サーバに送信する、
データ収集ステップＩと、
前記サーバによって実行されるデータ処理ステップＩＩ、すなわち
自車両Ｖ１による前記誤った特定のシナリオ解釈に対応する環境特徴の特定の組合せを識別することと、
複数の他車両Ｖｉの各々が前記サーバに通信することを求めるサーバ要求、すなわち、自車両Ｖ１から受信したデータ画像ハッシュに従った他車両Ｖｉによる特定の類似のシナリオ、及び類似のシナリオにおける他車両Ｖｉにそれぞれ対応する他車両Ｖｉに関連する取得されたセンサデータと共に、自車両Ｖ１の画像ハッシュを複数の他車両Ｖｉにブロードキャストする、
データ処理ステップＩＩと、
他車両Ｖｉのそれぞれのデータ収集及び処理ユニットによって実行されるデータ処理ステップＩＩＩ、すなわち
前記サーバからブロードキャストされた自車両Ｖ１の画像ハッシュ及びサーバ要求を受信することと、
他車両Ｖｉの各々のＡＤＡＳセンサによって、前記サーバ要求に従って当該他車両Ｖｉの各々の周囲からセンサデータを取得することと、
前記取得されたセンサデータから他車両Ｖｉのカメラ画像を抽出、符号化、及びハッシュ化し、それぞれの他車両Ｖｉの画像ハッシュを取得することを含む、当該他車両Ｖｉによって前記取得されたセンサデータを処理することと、
構造及び内容に関して、所与の閾値を超える類似度スコアによって、自車両Ｖ１から受信した画像ハッシュとそれぞれの他車両Ｖｉから受信した画像ハッシュとの間の類似度を比較することであって、高い類似度スコアが類似画像に対応することを意味する、ことと、
前記類似度スコアに基づいて、
取得されたセンサデータ、及び前記類似度スコアが前記所与の閾値を上回る画像ハッシュに対応する他車両Ｖｉによる前記特定の類似のシナリオを検索することと、
自車両Ｖ１から受信した前記データ画像ハッシュに従った他車両Ｖｉによる前記特定の類似のシナリオと、他車両Ｖｉの類似のシナリオにそれぞれ対応する当該他車両Ｖｉに関連する取得されたセンサデータとを、前記サーバへ送信する、
データ処理ステップＩＩＩと、
前記サーバによって実行されるデータ処理ステップＩＶ、すなわち
前記誤って解釈された特定のシナリオに対応する自車両Ｖ１のセンサデータを、前記類似のシナリオにそれぞれ対応する他車両Ｖｉに関連する取得されたセンサデータと比較することと、
自車両Ｖ１及び他車両Ｖｉから受信した取得されたセンサデータを集約し、集約されたセンサデータを機械学習モデルの増分再訓練に使用することと、
増分的に再訓練された機械学習モデルを自車両Ｖ１に送信する、
データ処理ステップＩＶと、
自車両Ｖ１のデータ収集及び処理ユニットによって実行されるデータ処理ステップＶ、すなわち
既存の機械学習モデルを前記サーバから受信した前記増分的に再訓練された機械学習モデルで置き換えることによって、自車両Ｖ１上の機械学習モデルを更新する、
データ処理ステップＶと、
を含む、連続適応型検出コンピュータ実装方法。

【請求項2】

前記増分的に再訓練された機械学習モデルは、他車両Ｖｉ上の機械学習モデルを更新するために、前記サーバによって複数の他車両Ｖｉに送信される、請求項１に記載の方法。

【請求項3】

前記機械学習は畳み込みニューラルネットワークである、請求項１又は２に記載の方法。

【請求項4】

画像の符号化及びハッシュ化は、視覚的語の袋（ＢｏＷ）技術によって行われる、請求項１から３のいずれか１項に記載の方法。

【請求項5】

前記視覚的語の袋技術は、バイナリロバスト独立要素特徴（ＢＲＩＥＦ）又は指向及び回転バイナリロバスト独立要素特徴（ＯＲＢ）などのバイナリ技術である、請求項４に記載の方法。

【請求項6】

請求項１から５のいずれか１項に記載の方法に従って訓練された、訓練された機械学習モデル。

【請求項7】

データ処理システムであって、
－自車両Ｖ１と、
－サーバと、
－複数の他車両Ｖｉと、ここでｉ＝２，．．．ｎ、
－前記サーバに、自車両Ｖ１及び他車両Ｖｉの各々を接続する電気通信ネットワークとを含み、
前記システムは、請求項１から５のいずれか１項に記載の方法のステップを実行するように構成された手段を備える、データ処理システム。

【請求項8】

前記サーバ、自車両Ｖ１、及び他車両Ｖｉの１つ以上のそれぞれのプロセッサによって実行されると、それぞれの１つ以上のサーバプロセッサに請求項１から５のいずれか１項に記載の方法を実行させる命令を記憶する複数の非一時的コンピュータ可読媒体。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、自車両の自動運転及び支援運転における環境特徴の検出に使用される連続的且つ適応的なコンピュータ実装方法であって、機械訓練モデルの使用を含む方法と、訓練された機械学習モデルと、方法を実行するためのシステムと、複数の非一時的コンピュータ可読媒体とに関する。

【背景技術】

【0002】

ますます自律的でインテリジェントな輸送により、車両がより良く、より堅牢で、より包括的にその周囲を理解することを可能にするシステムの必要性が要求されている。そのようなシステムの基盤は、車両の環境内の特定の特徴（例えば、道路要素など）を確実に検出、測定、及び分類することができる先進運転支援（ＡＤＡＳ）センサによって表される。

【0003】

車両の先進運転支援（ＡＤＡＳ）センサは、車両の先進運転支援機能に使用される画像を含む様々な種類のデータを取得する。

【0004】

これに関連して、ハードウェア及びソフトウェアの両方における最新の開発は、人工知能、すなわち先進運転支援センサ機能における機械学習技術の広範な展開をもたらした。

【0005】

先進運転支援センサ機能で使用される機械学習モデルの訓練は、通常、機械学習モデルの助けを借りて複数のシナリオを作成することに基づいている。

【0006】

複数のシナリオからの各特定のシナリオは、環境特徴の特定の組み合わせに関する。シナリオの限定されない例は、木のある直線高速道路、木のない直線高速道路、トンネル内の入口、トンネルからの出口、道路が直線であるときのトンネルの内側、駐車場、高度の変化のないカーブ、高度の変化のあるカーブなどである。機械学習モデルの使用により、車両は、訓練データに対応する限られた数のシナリオ、シナリオからの組み合わせに類似する環境特徴の組み合わせに基づいて識別できることが期待される。

【0007】

機械学習モデルの出力データは、シナリオ解釈を生成するサーバから取得されたデータの解釈である。

【0008】

次いで、各シナリオは、運転の安全のために特定のアクションを取る目的で、自車両Ｖ１のための関連する命令を有する。命令は、一般に、車両が有人であるときの運転者へのメッセージ、又は車両が自動であるときの運転命令へのメッセージを含む。命令は、本発明の範囲を超える。

【0009】

従来技術の欠点
非常に強力であるが、機械学習モデルに関連する主な課題の１つは、それらの訓練である。訓練中、例のセットが機械学習モデルに提供され、それらが抽出しようとする特徴の特定の特殊性（テクスチャ、形状、色など）を自動的に学習することを可能にする。最も重要な態様は、機械学習モデルが特定の特徴（例えば、車両の形状及び車輪、歩行者のシルエットなど）に関して何が関連性があり弁別的であるかを真に「理解」するために、訓練中に変動性の高い十分な例を提供する必要があることである。十分に多様な例で訓練が適切に行われない場合、機械学習モデルは、提供された例に適合するが十分に一般化しない、物体及び現象の無関係な属性を抽出する。これはオーバーフィッティングと呼ばれ、この単一の最も重要な欠点であり、機械学習モデルの品質及び堅牢性に影響を及ぼす。

【0010】

検出、分類、セグメント化、及び位置特定の用途の場合、機械学習モデルの訓練は手動でラベル付けされたデータを必要とし、十分な訓練例を提供するための多大な人的努力につながった。これは、複雑で強力なアーキテクチャが何十万、更には何百万ものパラメータを訓練する必要がある深層ニューラルネットワークの場合に特に当てはまる。そのようなネットワークを訓練するために、オーバーフィッティングを回避し、強力な機械学習モデルを構築するために、数万の訓練例が必要とされる。これは、データの利用可能性及びラベリングに必要な人間の労力が限られているため、実用的ではない。

【0011】

はるかに効率的な解決策は、偽陽性及び偽陰性、誤った分類、シナリオの誤った解釈など、機械学習モデルが失敗する可能性が高い状況を検出し、通常はコーナケースと呼ばれるこれらのサンプル又は類似のケースを使用して追加の訓練を実行することである。これにより、比較的少量の追加データを使用する機械学習モデルの精度が大幅に向上する。

【0012】

前述したように、機械学習モデルが失敗する可能性が高いそのようなコーナケースを取得し、それらを機械学習モデルの再訓練にフィードバックして、それらの性能を大幅に改善することが重要である。そのような場合は、訓練されたモデルの制限によって決定されるだけでなく、おそらくより頻繁には環境条件によっても決定される。以下にいくつかの例を示す。
－トンネル、屋内駐車場などに見られるような困難な照明状況は、車線マーカ、交通標識、信号機などの検出及び分類を担当するカメラベースの機械学習モデルの精度を低下させる可能性がある。
－橋梁、ガードレール、及び他の金属構造は、交通参加者、及び静的環境要素を検出及び位置特定する際に、レーダベースの機械学習モデルの性能に悪影響を及ぼす可能性がある。
－更に、交差点及びラウンドアバウトなどの複雑なシナリオは、機械学習モデルにとって困難であることが判明する可能性がある。
現在、機械学習モデルの再訓練は、自車両のレベルで増分的に行われる。シナリオの修正は、そうするための処理能力を有するサーバからオペレータによって手動で実行され、次いで、正しいデータが自車両に送信され、自車両のそれぞれの機械学習モデルを再訓練するために使用される。
この手法の欠点は以下の通りである。
－単一の例を使用した再訓練後の自車両のそれぞれの機械学習モデルの改善は、限界がある、
－補正は手動で行われるため、追加の時間が必要であり、改善が遅い、
－場合によっては、サーバからのオペレータが補正を行うために利用可能な情報を有していない場合、オペレータは、追加コストを伴うそのような情報を見つけるために他のアクションを実行しなければならない。

【発明の概要】

【発明が解決しようとする課題】

【0013】

これらの理由から、解決されるべき技術的課題は、そのような機械学習モデルが故障した状況を検出することだけでなく、機械学習モデルが故障した類似のシナリオに対応するセンサデータ、後に分析されて、自車両の機械学習モデルのための追加の訓練データとして使用され得るセンサデータを抽出することができることである。

【0014】

したがって、本発明の目的は、従来技術の欠点を解決し、そのようなコーナケースが自車両によって検出された場合に、正しいシナリオを検出するために、及び自車両の機械学習モデルを更新するために、他車両からの類似のケースの自動検索を可能にするように、自車両の自動運転及び支援運転における環境特徴の検出の連続適応方法を提供することである。

【0015】

「機械学習モデルを再訓練する」及び「機械学習モデルを更新する」という表現は、本発明では互換的に使用される。

【課題を解決するための手段】

【0016】

本発明の主題は、第１の態様において、自車両の自動運転及び支援運転における環境特徴の連続適応型検出コンピュータ実装方法であって、自車両はサーバに接続され、サーバは複数の他車両に接続され、自車両、他車両及びサーバには機械学習モデルが提供されており、
方法は、
自車両のデータ収集及び処理ユニットによって実行されるデータ収集ステップＩ、すなわち
－環境特徴を参照する自車両の周囲からセンサデータを自車両のＡＤＡＳセンサによって取得することと、
－特定のシナリオ解釈を生成する機械学習モデルに基づいてセンサデータを解釈することと、
－特定のシナリオ解釈に従って、関連する命令を自車両の実行電子制御ユニットに送信することと、
－誤って解釈された特定のシナリオをもたらす、特定のシナリオ解釈が誤っている場合、実行電子制御ユニットからフィードバックを受信することと、
－誤った特定のシナリオ解釈に対応する取得されたセンサデータからカメラ画像を抽出することと、
－誤って解釈された特定のシナリオに対応するカメラ画像を符号化してハッシュ化し、自車両の画像ハッシュを取得することと、
－誤って解釈された特定のシナリオに対応する自車両の画像ハッシュを、取得されたセンサデータ、及び車両による特定の類似のシナリオを他車両によって識別するための要求と共に、サーバに送信することと、
サーバによって実行されるデータ処理ステップＩＩ、すなわち
－自車両による誤った特定のシナリオ解釈に対応する環境特徴の特定の組み合わせを識別することと、
－複数の他車両の各々がサーバに通信することを求めるサーバ要求、すなわち、
－自車両から受信したデータ画像ハッシュに従った車両による特定の類似のシナリオ、
－及び他車両の類似のシナリオにそれぞれ対応する前記他車両に関連付けられた取得されたセンサデータ、
と共に、自車両の画像ハッシュを複数の他車両にブロードキャストすることと、
他車両のそれぞれのデータ収集及び処理ユニットによって実行されるデータ処理ステップＩＩＩ、すなわち
－サーバからブロードキャストされた自車両の画像ハッシュ及びサーバ要求を受信することと、
－他車両の各々のＡＤＡＳセンサによって、サーバ要求に従って他車両の各々の周囲からセンサデータを取得することと、
－取得されたセンサデータから他車両のカメラ画像を抽出、符号化、及びハッシュ化し、それぞれの他車両の画像ハッシュを取得することを含む、他車両によって取得されたセンサデータを処理することと、
－構造及び内容に関して、所与の閾値を超える類似度スコアによって、自車両から受信した画像ハッシュとそれぞれの他車両との間の類似度を比較することであって、高い類似度スコアが類似画像に対応することを意味する、ことと、
－類似度スコアに基づいて、
－取得されたセンサデータ及び類似度スコアが所与の閾値を超える画像ハッシュに対応する車両による特定の類似のシナリオを検索することと、
－サーバへ、
－自車両から受信したデータ画像ハッシュに従った車両による特定の類似のシナリオと、
－他車両の類似のシナリオに対応する他車両に関連する取得されたセンサデータと
を送信することと、
サーバによって実行されるデータ処理ステップＩＶ、すなわち
－誤って解釈された特定のシナリオに対応する自車両のセンサデータを、
－類似のシナリオにそれぞれ関連付けられた他車両の取得されたセンサデータと
比較することと、
－自車両及び他車両から受信した取得されたセンサデータを集約し、集約されたセンサデータを機械学習モデルの増分再訓練に使用することと、
－増分的に再訓練されたモデルを自車両に送信することと、
を含む、連続適応型検出コンピュータ実装方法である。

【0017】

本発明の第２の態様では、追加の訓練データに基づいて実施形態のいずれかのステップ４に従ってサーバによって実行される、自車両の自動運転及び支援運転における環境特徴の連続適応型検出のための訓練方法が提示され、追加の訓練データは、自車両の誤ったシナリオ解釈に対応する、それぞれの他車両に関連付けられた取得されたセンサデータである。

【0018】

本発明の第３の態様では、実施形態のいずれかの方法に従って訓練された、訓練された機械学習モデルが提示される。

【0019】

本発明の第４の態様では、
－自車両と、
－サーバと、
－複数の他車両と、
サーバに、自車両及び他車両の各々を接続する電気通信ネットワークとを含み、
システムは、実施形態のいずれかの方法のステップを実行するように構成された手段を含む、データ処理システムが提供される。

【0020】

最後に、本発明の第５の態様では、サーバ、自車両、及び他車両の１つ以上のそれぞれのプロセッサによって実行されると、それぞれの１つ以上のサーバプロセッサに実施形態のいずれかの方法を実行させる命令を記憶する複数の非一時的コンピュータ可読媒体が提示される。

【0021】

更なる有利な実施形態は、従属請求項の主題である。

【0022】

本発明による方法を使用する主な利点は以下の通りである。
－類似のシナリオに遭遇した複数の車両によって収集された画像のサブセットを含むセンサデータがあり、訓練データの変動性の程度がはるかに高くなるため、再訓練による自車両のそれぞれの機械学習モデルの改善の程度は、最新技術よりも高い。
－一方でデータ取得プロセスの自動化のため、及び時間の節約のために、改善の時間が大幅に短縮される。
－本発明の方法で説明したアクション以外に、モデルを再訓練するための情報を取得するための他のアクションを実行する必要がないため、財務資源が節約される。
－サーバの追加のコンピューティングリソースが効率的に割り当てられ、比較的少量の追加データを使用して機械学習モデルの精度が大幅に改善される。
－そのような方法は、有利には、車線、交通標識、信号機、道路標示などの交通参加者及び静的環境要素のための機械学習ベースの検出及び分類の継続的な改善を可能にする。

【0023】

本発明の更なる特別な特徴及び利点は、以下の説明及び添付の図面から得ることができる。

【図面の簡単な説明】

【0024】

【図1】本発明による方法の概略ブロック図である。

【図2a】コーナケースがある状況に自車両が遭遇したシナリオの概略図である。

【図2b】他車両Ｖｉのうちの１つによって識別される図２ａのものと類似のシナリオの概略図である。

【発明を実施するための形態】

【0025】

ここで図１を参照すると、本発明の例示的な実施形態が示されている。
本発明の方法は、
－自車両Ｖ１と、
－サーバと、
－複数の他車両Ｖｉと、ここで、ｉ＝２，…ｎ、
－自車両Ｖ１と他車両Ｖｉの各々とをサーバに接続する電気通信ネットワークと、
を備えるシステムにおいて実行される。

【0026】

自車両Ｖ１、他車両Ｖｉには、先進運転支援（ＡＤＡＳ）センサが設けられている。
サーバは、物理的に近接して配置されるか、又は電気通信ネットワーク内で通信するかのいずれかである。単一部品のハードウェアサーバ又は複数部品のハードウェアサーバとすることができる。サーバの構成は従来技術によるものである。

【0027】

自車両Ｖ１、他車両Ｖｉ及びサーバは、同一の機械学習モデルを備える。当業者が、各車両及び／又はサーバへの機械学習モデルのわずかな適合が必要であると考える場合、そのようなわずかな適合は「同じ機械学習モデル」の範囲内に含まれることを理解されたい。

【0028】

本発明の理解を容易にするために、図２ａ及び２ｂを参照して具体例を考える。図２ａの現実世界のシーンでは、トンネルへの入口がある。レーダセンサの性質により、例えば、自車両の知覚システムは、トンネルの壁からのレーダ反射により、自車線上の別の車両の存在を解釈し、突然の車線変更などの望ましくない操作をもたらす可能性がある。自車両の運転者は、自動運転システムのアクションを修正する。

【0029】

図２ｂは、ボブキャット、植生の存在などの無関係な違いにもかかわらず、本発明によって、他車両によって検出可能な、車両Ｖ１が遭遇するシナリオと類似のシナリオを表す。

【0030】

現実世界の風景は動的に考慮され、すなわち、それらは、車両が走行時にそれらの位置を変更するにつれて連続的に変化する。図２ａは、例示を目的として、ある時点における状況を示す。この現実に基づいて、連続的に適応可能な環境特徴を検出する方法を提供することが必要であり、そのためにはシナリオが連続的に適応可能で豊富であることが必要である。シナリオの適応性は、サーバ上、自車両Ｖ１上、及び他車両Ｖｉ上で機械学習モデルを使用することによって実行される。

【0031】

本発明による方法は、５つのステップを有する。

【0032】

本方法の第１のステップは、自車両Ｖ１のデータ収集及び処理ユニットによって実行されるデータ収集ステップＩである。

【0033】

自車両Ｖ１は、ＡＤＡＳセンサがカメラ、ライダー、レーダなどを理解することによって、ＡＤＡＳセンサデータを使用する。ＡＤＡＳセンサデータは、自車両Ｖ１の周囲の環境特徴をキャプチャするために、前方視カメラ、サラウンドビューカメラシステムなどによって取得されたカメラ画像を含むが、これらに限定されない。

【0034】

そのようなセンサデータは、交通参加者及び環境特徴、すなわち車線、交通標識、信号機、道路標示などの環境特徴を検出及び分類することができる、自車両Ｖ１の機械学習モデルに基づいて処理される。

【0035】

機械学習モデルを使用することにより、自車両Ｖ１のデータ収集及び処理ユニットは、特定のシナリオ解釈を生成するセンサデータを解釈する。

【0036】

図２ａ及び図２ｂからの例では、自車両Ｖ１のデータ収集及び処理ユニットは、機械学習モデルの使用によって、図２ｂに示すシナリオに従って図２ａの風景から取得されたセンサデータを解釈し、次いで、特定のシナリオ解釈に従って自車両Ｖ１の実行制御ユニットに関連する命令を送信することが期待される。

【0037】

関連する命令は、自車両Ｖ１からの特定の予測された挙動に対応する。

【0038】

関連する命令の例：減速してライトをオンにすることは、それぞれライトを減速してオンにする特定の予測された挙動に対応する。

【0039】

センサデータ処理（検出、分類など）の健全性は、信頼度、信憑性スコアを計算することによって、又は運転者の介入によるシステムの解放によって継続的に監視及び検証される。運転者のアクションを解釈することによって実行されるこのような検証は、本発明の目的ではない。

【0040】

実行制御ユニットがコーナケース、すなわち、機械学習の失敗、コヒーレンスチェック、高い不確実性、運転者からの解放などの任意のデータ不整合を検出したとき、実行制御ユニットは、誤って解釈された特定のシナリオがあることを意味する、特定のシナリオ解釈が誤っているというフィードバックを自車両Ｖ１のデータ収集及び処理ユニットに送信する。

【0041】

自車両Ｖ１の予測された挙動と実際の挙動との間に不一致が生じるたびに、フィードバックが自車両Ｖ１のデータ収集及び処理ユニットに送信される。

【0042】

フィードバックを受信した後、自車両Ｖ１のデータ収集及び処理ユニットは、センサデータからカメラ画像、好ましくは前方視カメラからの画像を抽出し、カメラ画像は誤って解釈された特定のシナリオに対応する。

【0043】

次いで、抽出された画像は符号化され、ハッシュ化される。対応する自車両Ｖ１の画像ハッシュは、誤った特定のシナリオ解釈に対応する取得されたセンサデータと、他車両Ｖｉの各々による特定の類似のシナリオの他車両Ｖｉによる識別のために、自車両Ｖ１のデータ収集及び処理ユニットによってサーバに行われた要求とを伴って、サーバに送信される。

【0044】

図２ａ及び図２ｂから例を取ると、図２ａから抽出された画像は、符号化され、ハッシュ化され、それらに対応する他の全てのセンサデータと共にサーバに送信される。この場合のサーバへの要求は、図２ａからの抽出画像と一致する特定の類似のシナリオを識別するように他車両Ｖｉに「依頼」することである。

【0045】

他車両Ｖｉの各々には、自車両Ｖ１のデータ収集処理ユニットと類似のデータ収集及び処理ユニットがそれぞれ設けられている。データ収集ユニットと処理ユニットとの間の類似度は、それぞれのデータ収集ユニット及び処理ユニットの機能が同一に実行される場合に考慮される。

【0046】

サーバによって実行されることによって実行されるデータ処理ステップＩＩでは、まず、誤って解釈された特定のシナリオに対応する環境特徴の特定の組み合わせが、自車両Ｖ１によって識別される。

【0047】

次いで、サーバは、複数の他車両Ｖｉの各々がサーバに通信するサーバ要求、すなわち、
－自車両Ｖ１から受信したデータ画像ハッシュに従った車両Ｖｉによる特定の類似のシナリオ、
－及び
－類似のシナリオで他車両Ｖｉに対応する他車両Ｖｉに関連する取得されたセンサデータ、
と共に、自車両Ｖ１から受信した画像ハッシュをブロードキャストする。

【0048】

図２ａの例では、サーバ要求は、トンネル内の入口、すなわち特定のシナリオの識別に問題があるという事実、及び他車両Ｖｉが、類似の特性、すなわち他車両Ｖｉの画像ハッシュを有するトンネル内の入口を参照するセンサデータを送信しなければならないという事実を、他車両Ｖｉの画像ハッシュ、すなわち、類似の環境特徴を有するトンネル入口、つまり自車両Ｖ１が遭遇するものの類似の特性を有するトンネルへの入口に対応する全ての取得されたセンサデータと共に参照する。

【0049】

データ処理ステップＩＩＩは、他車両Ｖｉのそれぞれのデータ収集及び処理ユニットによって実行される。

【0050】

第一に、他車両Ｖｉのデータ収集及び処理ユニットの各々は、サーバから、ブロードキャストされた自車両Ｖ１ハッシュ画像及びサーバ要求を受信する。

【0051】

次いで、他車両ＶｉのＡＤＡＳセンサは、サーバ要求に従って環境特徴の特定の組み合わせを参照して、他の各車両Ｖｉの周囲からセンサデータを取得する。この例では、他車両Ｖｉのセンサデータは、サーバからの要求の特徴と類似する特性を有するトンネルへの入口に関する情報を取得する。このステップの持続時間は、例えば、利用可能な他車両の数、風景の内容などに応じて、１日又は１週間に予め設定される。

【0052】

次いで、他車両Ｖｉのそれぞれのデータ収集及び処理ユニットは、取得されたセンサデータをリアルタイムで処理し、処理は、センサデータからカメラ画像を抽出することと、抽出された画像をハッシュ化することと、それぞれの他車両Ｖｉの画像ハッシュを取得することとを含む。

【0053】

次いで、他車両Ｖｉのそれぞれのデータ収集及び処理ユニットは、所与の閾値を超える類似度スコアによって、自車両Ｖ１自体のそれぞれの画像ハッシュから受信した画像ハッシュ間の類似度を比較し、これは、高い類似度スコアが構造及び内容に関して類似のシナリオに対応することを意味する。

【0054】

サーバからのブロードキャストは、他車両Ｖｉの各々によって受信されるが、例えば、複数の他車両Ｖｉからの他車両Ｖｉの一部が、そのような類似の周囲がない、例えばトンネルがない領域を走行しているため、複数の他車両Ｖｉからの全ての他車両Ｖｉが、サーバ要求に従って、それぞれの周囲から画像を取得することができる訳ではないことがある。代わりに、それぞれの周囲から画像を取得した他車両Ｖｉの各々は、それぞれの画像ハッシュを出力し、自身の画像ハッシュと、自車両Ｖ１から受信した画像ハッシュとの間の比較に類似度スコアを適用する。

【0055】

次いで、類似度スコアに基づいて、他車両Ｖｉのそれぞれのデータ収集及び処理ユニットは、取得されたセンサデータ及び類似度スコアが所与の閾値を超える画像ハッシュに対応する車両Ｖｉによる特定の類似のシナリオを検索する。

【0056】

本発明は、他車両Ｖｉの少なくとも１つが、上述のように取得されたセンサデータをサーバに送信することができる場合に機能する。

【0057】

ステップＩＩＩの終わりに、他車両Ｖｉのそれぞれのデータ収集及び処理ユニットは、サーバに以下を送信する。
－自車両Ｖ１から受信したデータ画像ハッシュに従った車両Ｖｉによる特定の類似のシナリオ、
－類似のシナリオに対応する、他車両Ｖｉに関連する取得されたセンサデータ。
データ処理ステップＩＶは、サーバによって実行される。
このステップでは、サーバは以下を比較する。
－Ｖ１の誤って解釈されたシナリオに対応する自車両Ｖ１センサデータ、
と
－類似のシナリオに対応する他車両Ｖｉに関連する取得されたセンサデータ、
とを比較し、
類似度スコアの定義、及び他車両Ｖｉの機械学習モデルが同じであるという事実を考えると、前のステップにおける他車両Ｖｉの大多数による特定の類似のシナリオが同じであると予想することが合理的である。この例では、これは図２ｂに示す画像に対応する。

【0058】

サーバが自車両Ｖ１及び他車両Ｖｉによって取得されたセンサデータを受信すると、サーバは、他車両Ｖｉ及び自車両Ｖ１から受信された取得されたセンサデータを集約する。これは、サーバの機械学習モデルを使用して実行される。

【0059】

これが、ステップＩＩでサーバが他車両Ｖｉに、他車両Ｖｉの画像ハッシュに対応する、関連する取得されたセンサデータを送信するように要求する理由である。実際、他車両Ｖｉデータハッシュは、コーナケースを識別するために使用されるが、コーナケースのセンサデータは、センサデータが画像のみよりも環境特徴に関するより多くの情報を提供するので、機械学習モデルの増分再訓練の目的のために集約に使用される。

【0060】

取得されたセンサデータの集約は、センサデータに適した集約の技術を使用して実行される。

【0061】

次いで、集約されたセンサデータは、機械学習モデルの増分再訓練のためにサーバによって使用される。

【0062】

ステップＩＶの終わりに、サーバは、増分的に再訓練されたモデルを自車両Ｖ１に送信する。

【0063】

サーバによる増分的に再訓練された機械学習モデルの送信は、それだけに限定されないが、無線更新などの更新を自車両Ｖ１に送信するための通常の方法で実行される。

【0064】

次いで、自車両Ｖ１のデータ収集及び処理ユニットによって実行されるデータ処理ステップＶでは、既存の機械学習モデルをサーバから受信した増分的に再訓練された機械学習モデルで置き換えることによって、自車両Ｖ１の機械学習モデルが更新される。

【0065】

再び例を取ると、図２ａの風景に再び直面した場合、自車両Ｖ１の機械学習モデルを再訓練することによって、自車両Ｖ１のデータ収集及び処理ユニットは、図２ｂの特定のシナリオに従って取得された画像を正しく解釈し、特定のシナリオは、これらの新しい環境特徴で強化されている。

【0066】

好ましい実施形態では、サーバによって実行される機械学習モデルの再訓練は、他車両Ｖｉ上のそれぞれの機械学習モデルの各々を更新するために複数の他車両Ｖｉに送信される。

【0067】

サーバによる増分的に再訓練された機械学習モデルの送信は、それだけに限定されないが、無線更新などの更新を複数の他車両Ｖｉに送信するための通常の方法で実行される。

【0068】

これには、各車両Ｖｉが特定の瞬間に自車両Ｖ１の役割を果たすことができ、全ての他車両Ｖｉが自車両Ｖ１の増分的に再訓練された機械学習モデルを利用することができるという利点がある。

【0069】

別の好ましい実施形態では、環境特徴の検出及び分類に使用される機械学習モデルの例は、畳み込みニューラルネットワーク（ＣＮＮ）である。

【0070】

別の好ましい実施形態では、画像符号化及びハッシュ化は、視覚的語の袋（ＢｏＷ）表現によって行われる。この技術によれば、画像特徴を抽出することによって生画像から視覚情報が取得される。画像特徴は、高い識別値を有する画像の領域に対応し、それらを画像コンテンツを表すものにする。次いで、画像特徴は、典型的には領域内の勾配分布を考慮して、対応する領域をコンパクトな形式で記述する特徴記述子を使用して表される。古典的な手法は、特徴抽出及び記述のためにスケール不変特徴変換（ＳＩＦＴ）及び高速ロバスト特徴（ＳＵＲＦ）技術を使用する。

【0071】

画像符号化及びハッシュ化のための視覚的語の袋（ＢｏＷ）表現の使用は、この技術が現実世界の風景の物体の物体カテゴリ化を強化するので有利である。

【0072】

視覚的語の袋（ＢｏＷ）表現を使用する別の好ましい実施形態では、バイナリ技術が使用される。バイナリ技術の非限定的な例は、バイナリロバスト独立要素特徴（ＢＲＩＥＦ）又は指向及び回転バイナリロバスト独立要素特徴（ＯＲＢ）であり、よりコンパクトな表現をもたらし、画像特徴の処理、記憶及び送信に関連する計算コストを低減する。

【0073】

バイナリ技術を使用する利点は、それらが画像ハッシュの現実世界の風景の本質を記述する能力を向上させることにつながる効率的な特徴点記述であることである。

【0074】

視覚的語の袋処理技術は、一般に３つの段階を含む。
１．訓練段階：この段階では、一連の訓練画像から画像特徴が抽出される。次いで、視覚的に類似した画像特徴が一緒にグループ化され、視覚的単語と呼ばれる一般化された画像特徴のセットを表す、いわゆる視覚的語彙が得られる。特徴グループ化は、ｋ平均及び凝集などのクラスタリング技術を使用して実行される。
２．ハッシュ化（インデックス付け）段階：これにより、画像のコンパクトな表現が可能になる。ここでは、画像から特徴を抽出する。次いで、特徴は、視覚的類似度基準を使用して、訓練段階中に生成された語彙内の単語に関連付けられる。結果は、画像ハッシュを表す、所与の画像に対する視覚的単語発生頻度のヒストグラムである。
３．視覚的類似度の計算：２つの画像間の視覚的類似度を計算するために、それらのハッシュのユークリッド距離又はコサイン類似度のいずれかが計算される。

【0075】

本発明の第２の態様では、追加の訓練データに基づいて実施形態のいずれかのステップ４に従ってサーバによって実行される、自車両の自動運転及び支援運転における環境特徴の連続適応型検出のための訓練方法が提示され、追加の訓練データは、自車両Ｖ１の誤ったシナリオ解釈に対応する、それぞれの他車両Ｖｉに関連付けられた取得されたセンサデータである。

【0076】

機械学習モデルは、初期訓練データを使用して本発明の方法を開始する前にサーバによって既に訓練されている。本発明は、機械学習方法の更新を含む環境特徴の連続適応型検出を扱う。本発明は、方法の開始前の機械学習モデルの初期訓練には対処しない。これが、本発明の訓練方法が、それぞれの他車両Ｖｉから受信した追加の訓練データを使用する理由である。

【0077】

本発明の第３の態様では、実施形態のいずれかの方法に従って訓練された、訓練された機械学習モデルが提示される。

【0078】

第３の態様の訓練された機械学習モデルは、機械学習方法の各更新から生じ、更新は、実施形態のいずれかにおける本発明の方法の結果である。

【0079】

本発明の第４の態様では、
－自車両Ｖ１と、
－サーバと、
－複数の他車両Ｖｉと、
－サーバに、自車両及び他車両の各々を接続する電気通信ネットワークとを含む、データ処理システムが提供され、
本発明のシステムは、方法を参照するセクションにおいて上記で開示されたように、実施形態のいずれかの方法のステップを実行するように構成された手段を備える。

【0080】

最後に、本発明の第５の態様では、サーバ、自車両、及び他車両の１つ以上のそれぞれのプロセッサによって実行されると、それぞれの１つ以上のサーバプロセッサに実施形態のいずれかの方法を実行させる命令を記憶する複数の非一時的コンピュータ可読媒体が提示される。

【0081】

本発明の方法が分散システムにおいて実行されるとき、システム要素の各々、すなわちサーバ、自車両Ｖ１、及び他車両Ｖｉの各々は、命令を記憶するそのそれぞれの非一時的コンピュータ可読媒体を有し、１つ以上のプロセッサを有する。本方法のステップによれば、前述のシステム要素の各々は、本方法を参照するセクションで上述したように、本方法の特定のステップを実行する。

【0082】

本発明は、サーバ及び車両を備えるシステムがあるときはいつでも産業分野で使用され、車両にはＡＤＡＳセンサが設けられ、サーバと車両の両方に機械学習モデルが設けられ、増分的に再訓練されたモデルを全ての車両に送信する必要があるときはいつでも使用される。

【0083】

１つの特定の用途は、車両が道路用車両である自動車産業におけるものである。道路用車両のうちの１つが遭遇するコーナケースは、機械学習モデルの増分的な再訓練を開始し、機械学習モデルはその後、全ての車両に送信される。

【0084】

別の特定の用途は、車両がクレーン、土工機器、トラクタなどであり、全てＡＤＡＳセンサを備えている建設産業の分野である。クレーン、土工機器、トラクタなどのうちの１つが遭遇するコーナケースは、機械学習モデルの増分的な再訓練を開始し、機械学習モデルはその後、全ての車両に送信される。

【0085】

別の特定の用途は、車両がＡＤＡＳセンサを備えたロボットであるロボット工学の分野である。ロボットのうちの１つが遭遇するコーナケースは、機械学習モデルの増分的な再訓練を開始し、機械学習モデルはその後、全ての車両に送信される。

【0086】

上記に示された特定の用途の３つの非限定的な例の間の唯一の違いは、現実世界の風景の内容、及びそれに対応してシナリオの内容にある。しかしながら、その内容自体は本発明の目的ではない。

【0087】

本発明の特定の実施形態を詳細に説明してきたが、本発明が関連する技術に精通した者は、以下の特許請求の範囲によって定義される本発明を実施するための様々な代替の設計及び実施形態を認識するであろう。

【図1】

【図2a】

【図2b】