▶ コンチネンタル・オートナマス・モビリティ・ジャーマニー・ゲゼルシャフト・ミト・ベシュレンクテル・ハフツングの特許一覧
特表2024-541489周辺捕捉センサ類の有用乃至伝達価値のある車両データを割り出すための車両データシステム及び方法
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公表特許公報(A)
(11)【公表番号】
(43)【公表日】2024-11-08
(54)【発明の名称】周辺捕捉センサ類の有用乃至伝達価値のある車両データを割り出すための車両データシステム及び方法
(51)【国際特許分類】
G08G 1/01 20060101AFI20241031BHJP
G06T 7/00 20170101ALI20241031BHJP
G06V 20/56 20220101ALI20241031BHJP
G06V 10/82 20220101ALI20241031BHJP
G06V 10/774 20220101ALN20241031BHJP
【ＦＩ】
G08G1/01 C
G06T7/00 650Z
G06V20/56
G06V10/82
G06V10/774
【審査請求】有
【予備審査請求】未請求
(21)【出願番号】P 2024531112
(86)(22)【出願日】2022-12-12
(85)【翻訳文提出日】2024-05-23
(86)【国際出願番号】 DE2022200295
(87)【国際公開番号】W WO2023110034
(87)【国際公開日】2023-06-22
(31)【優先権主張番号】102021214334.2
(32)【優先日】2021-12-14
(33)【優先権主張国・地域又は機関】DE
(81)【指定国・地域】
(71)【出願人】
【識別番号】322007626
【氏名又は名称】コンチネンタル・オートナマス・モビリティ・ジャーマニー・ゲゼルシャフト・ミト・ベシュレンクテル・ハフツング
(74)【代理人】
【識別番号】100069556
【弁理士】
【氏名又は名称】江崎 光史
(74)【代理人】
【識別番号】100111486
【弁理士】
【氏名又は名称】鍛冶澤 實
(74)【代理人】
【識別番号】100191835
【弁理士】
【氏名又は名称】中村 真介
(74)【代理人】
【識別番号】100221981
【弁理士】
【氏名又は名称】石田 大成
(74)【代理人】
【識別番号】100191938
【弁理士】
【氏名又は名称】高原 昭典
(72)【発明者】
【氏名】ナッケン・カール・マティアス
(72)【発明者】
【氏名】カルク・ミシェール
(72)【発明者】
【氏名】シュタウデンマイアー・アルミン
【テーマコード（参考）】
5H181
5L096
【Ｆターム（参考）】
5H181AA01
5H181BB20
5H181CC03
5H181CC04
5H181CC11
5H181CC14
5H181FF05
5H181FF10
5H181LL01
5H181LL02
5H181LL04
5H181LL06
5H181LL09
5H181MC19
5H181MC27
5L096BA04
5L096DA02
5L096GA08
5L096GA51
5L096HA11
(57)【要約】
周辺捕捉センサ類の有用乃至伝達価値のある車両データを割り出すための車両データシステム及び方法
本発明は、以下に関する：であって、周辺捕捉センサ（１）の伝達する価値のある車両データを割り出すための、且つ、例えば、アシストされた、或いは、自動化された走行用のシステムを改善すると言うコンテクストにおいて採用可能なことを特徴とする車両データシステム（１０）及び方法。
車両データシステム（１０）は、車両内に周辺検出システム（１６）及びモニタシステム（１５）を包含している。
周辺検出システム（１６）は、周辺捕捉センサ類（１）の入力データＸを受信し、評価できるように構成されている。入力データＸは、訓練済みの第一人工神経網Ｋによって評価され、この評価の結果として、周辺検出データＹ’が、出力される。
モニタシステム（１５）は、周辺捕捉センサ（１）の同一の入力データＸを、訓練済みの第二人工神経網ＫＲによって評価し、この評価の結果として、再現データＸ’を出力する様に構成されている。
該モニタシステム（１５）が、入力データＸに対する閾値を超える再現データＸ’の差異を検出した場合、モニタシステム（１５）は、入力データＸの独立したデータユニット（２０）への転送を促す。
これにより、周辺検出システムの開発中には、十分には、又は、全くカバーされず、その結果として、神経網の訓練時に、エッジケース（境界的な例）として、（十分には）考慮されなかったシナリオやオブジェクト（４４）を重点的にカバーすることができる。
本発明は、以下に関する：であって、周辺捕捉センサ（１）の伝達する価値のある車両データを割り出すための、且つ、例えば、アシストされた、或いは、自動化された走行用のシステムを改善すると言うコンテクストにおいて採用可能なことを特徴とする車両データシステム（１０）及び方法。
車両データシステム（１０）は、車両内に周辺検出システム（１６）及びモニタシステム（１５）を包含している。
周辺検出システム（１６）は、周辺捕捉センサ類（１）の入力データＸを受信し、評価できるように構成されている。入力データＸは、訓練済みの第一人工神経網Ｋによって評価され、この評価の結果として、周辺検出データＹ’が、出力される。
モニタシステム（１５）は、周辺捕捉センサ（１）の同一の入力データＸを、訓練済みの第二人工神経網ＫＲによって評価し、この評価の結果として、再現データＸ’を出力する様に構成されている。
該モニタシステム（１５）が、入力データＸに対する閾値を超える再現データＸ’の差異を検出した場合、モニタシステム（１５）は、入力データＸの独立したデータユニット（２０）への転送を促す。
これにより、周辺検出システムの開発中には、十分には、又は、全くカバーされず、その結果として、神経網の訓練時に、エッジケース（境界的な例）として、（十分には）考慮されなかったシナリオやオブジェクト（４４）を重点的にカバーすることができる。
【特許請求の範囲】
【請求項1】
車両（２）内に周辺検出システム（１６）及びモニタシステム（１５）を包含している車両データシステム（１０）であって、周辺検出システム（１６）が、周辺捕捉センサ（１）の入力データＸを受信し、これを訓練済みの第一人工神経網Ｋを用いて評価し、この評価の結果として、周辺検出データＹ’を出力できる様に構成さており、
モニタシステム（１５）が、周辺捕捉センサ（１）の同一の入力データＸを、訓練済みの第二人工神経網ＫＲによって評価し、その結果として、再現データＸ’を出力できる様に構成されており、且つ、
該モニタシステムが、入力データＸに対する閾値を超える再現データＸ’の差異を検出した場合、該モニタシステム（１５）は、入力データＸの独立したデータユニット（２０）への転送を促す
ことを特徴とする車両データシステム。
【請求項2】
第二人工神経網ＫＲが、オート・エンコーダであることを特徴とする請求項１に記載の車両データシステム（１０）。
【請求項3】
モニタシステム（１５）が、差異に基づいて入力データＸの有用性を推定するスコアを算出することを特徴とする請求項１或いは２に記載の車両データシステム（１０）。
【請求項4】
第一人工神経網Ｋが、予め定められている訓練用データを用いて訓練され、入力データＸ＿１，Ｘ＿２，・・・，Ｘ＿ｎに対して、それぞれ、基準出力データＹ＿１，Ｙ＿２，・・・，Ｙ＿ｎが、用いられ、且つ、第一神経網Ｋの加重を調整することにより、入力データＸ＿１，Ｘ＿２，・・・，Ｘ＿ｎ用の第一神経網Ｋの出力と対応する基準出力データＹ＿１，Ｙ＿２，・・・，Ｙ＿ｎとの差異を示す第一エラー関数（Ｌｏｓｓ）が最小化されたことを特徴とする先行請求項のうち何れか一項に記載の車両データシステム（１０）。
【請求項5】
第二人工神経網ＫＲが、第二人工神経網ＫＲの加重を調整することにより、トレーニングされ、周辺捕捉センサ（１）の入力データＸに対する再現データＸ’の差異を示す第二エラー関数（Ｌｏｓｓ２）が、最小化されたことを特徴とする先行請求項のうち何れか一項に記載の車両データシステム（１０）。
【請求項6】
周辺捕捉センサ（１）の入力データＸに加え、付加的にメタ情報も伝達され、該メタ情報が、以下のグループの一つの、或いは、複数の情報：最新のソフトウェアバージョン、モニタシステムの算出されたスコア、ＧＰＳデータ、日付、時刻、車両識別番号（ＦＩＮ＝Ｆａｈｒｚｅｕｇ－Ｉｄｅｎｔｉｆｉｋａｔｉｏｎｓ－Ｎｕｍｍｅｒ）、及び、現場状況（シーン）及び／或いは車両状況を把握することを可能にするクラウドデータ；に対応していることを特徴とする先行請求項のうち何れか一項に記載の車両データシステム（１０）。
【請求項7】
周辺検出システム（１６）が、複数の周辺捕捉センサ（１）の入力データＸを受信し、これらを一括に評価できる様に構成されていることを特徴とする先行請求項のうち何れか一項に記載の車両データシステム（１０）。
【請求項8】
モニタシステム（１５）が、周辺捕捉センサ（１）の入力データＸを、周辺検出システム（１６）と並列に処理する様に構成されていることを特徴とする先行請求項のうち何れか一項に記載の車両データシステム（１０）。
【請求項9】
モニタシステム（１５）が、付加的な検出ヘッドとして周辺検出システム（１６）に組み込まれており、且つ、モニタシステム（１５）と周辺検出システム（１６）が、共通のエンコーダを使用することを特徴とする先行請求項のうち何れか一項に記載の車両データシステム（１０）。
【請求項10】
周辺捕捉センサ（１）の入力データが、画像データであり、且つ、モニタシステム（１５）が、画像全体又は画像の一部の抜粋を再現する様に構成されていることを特徴とする先行請求項のうち何れか一項に記載の車両データシステム（１０）。
【請求項11】
モニタシステム（１５）が、不確実性尺度を割出し、出力する様に構成され、その際、該不確実性尺度が、モニタシステム（１５）が、再現データＸ’を出力する際どの程度確実なのかを与える値であることを特徴とする先行請求項のうち何れか一項に記載の車両データシステム（１０）。
【請求項12】
モニタシステム（１５）が、再現データＸ’の経時的な一貫性を考慮する様に構成されていることを特徴とする先行請求項のうち何れか一項に記載の車両データシステム（１０）。
【請求項13】
モニタシステム（１５）の再現データＸ’の入力データＸからの差異が、継続的なものであるか、或いは、限られた期間にのみ表れるのかも区別されることを特徴とする請求項１２に記載の車両データシステム。
【請求項14】
周辺検出システム（１６）とモニタシステム（１５）の双方が、無線（ｏｖｅｒ ｔｈｅ ａｉｒ）アップデートできる様に構成されていることを特徴とする先行請求項のうち何れか一項に記載の車両データシステム。
【請求項15】
以下のステップを包含していることを特徴とする周辺捕捉センサ（１）の伝達する価値のある車両データを割り出すための方法：訓練済みの第一人工神経網を用いて実施される周辺検出システム（１６）による周辺捕捉センサ（１）の入力データＸを評価するステップ；
評価の際に割り出された周辺検出データＹ’を出力するステップ；
訓練済みの第二人工神経網ＫＲを用いて実施されるモニタシステム（１５）による周辺捕捉センサ（１）の同一の入力データＸを評価するステップ；
評価の際に割り出された再現データＸ’を出力するステップ；並びに、
閾値を超える入力データＸに対する再現データＸ’の差異が確認された場合に、独立したデータユニット（２０）への入力データＸの伝達を指示するステップ。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、周辺捕捉センサ類の伝達価値のある車両データを割り出すための車両データシステム及び方法に関し、例えば、アシストされた、或いは、自動化された走行用のシステムを改善すると言うコンテクストにおいて採用可能なものである。
【背景技術】
【0002】
従来の技術は、検出機能用や車両機能用のネットワークの、例えば、開発時にテスト車両によって得られる訓練用データを基にしたトレーニングを包含している。これは、その際に起こったシナリオにおけるデータに限定されている。
道路交通シナリオを十分にカバーするためには、車両を実際に使用している際のデータ収集が有利である。これにより、訓練用データを選択するためのデータの幅広い多様性が可能になる。
道路交通シナリオを十分にカバーするためには、車両を実際に使用している際のデータ収集が有利である。これにより、訓練用データを選択するためのデータの幅広い多様性が可能になる。
【0003】
開発時におけるテスト車両を用いたデータ収集には、この際に収集されるシナリオも含まれている。しかしながら、量産車両の運用中には、開発中には、十分に乃至殆どカバーできない更なるシナリオが発生する。これは、特に「Ｅｄｇｅ Ｃａｓｅｓ（エッジケース）」（これは、境界的な例、特殊な例、個別な例、又は、非常に希にしか発生しないため通常はテスト車両によって記録されない、或いは、抜き打ち的にのみ記録される特殊な例を意味している）のことである。エッジケースにも対応できる人工知能（独：ＫＩ（ｋｕｅｎｓｔｌｉｃｈｅ Ｉｎｔｅｌｌｉｇｅｎｚ）＝英：ＡＩ、以下、原文に従って「ＫＩ」と記す）を開発するには、ＫＩを実用している間のデータ収集が、役に立つ。今後の開発に対して転送されるデータの数を削減するためには、それらの車両内におけるデータ選択が、必要である。ここでは、該データ選択に必要な計算負荷は、それらの車両に搭載されるシステムに対するバジェットが限られているため、最小限に留められなければならない。
【0004】
即ち、量産車領においてＡＤＡＳ及びＡＤ用のＫＩアルゴリズムの開発にとって、その道路交通シナリオが有用であるかを評価するのに僅かな演算時間しか必要としない方法が、有利である。
【0005】
量産車両から訓練用データを得るための一般的な方法は、ＷＯ２０２０／０５６３３１Ａ１に、個々のセンサ用に記述されている。
該車両内には、センサデータを評価する人工神経網が備えられている。トリガ分類手段が、神経網が出した中間結果に用いられ、センサデータの分類スコアが割り出される。少なくとも部分的に分類スコアに基づいて、コンピュータネットワークを介してセンサデータの少なくとも一部が転送されるか否かが、決断される。肯定的な決断の場合、センサデータは、転送され、訓練用データを生成するために用いられる。
該車両内には、センサデータを評価する人工神経網が備えられている。トリガ分類手段が、神経網が出した中間結果に用いられ、センサデータの分類スコアが割り出される。少なくとも部分的に分類スコアに基づいて、コンピュータネットワークを介してセンサデータの少なくとも一部が転送されるか否かが、決断される。肯定的な決断の場合、センサデータは、転送され、訓練用データを生成するために用いられる。
【先行技術文献】
【特許文献】
【0006】
【特許文献1】ＷＯ２０２０／０５６３３１Ａ１
【発明の概要】
【発明が解決しようとする課題】
【0007】
本発明の課題は、複数の車両から有用なデータを効率的に収集する最適化された方法を提供することにある。
【課題を解決するための手段】
【0008】
一つのアスペクトは、データベースのアルゴリズム、乃至、データによる機械学習システム及び方法の最適化のために、車両群からの有用なサンプルとエッジケースを認識することに関する。
【0009】
本発明に係る車両データシステムは、車両内に周辺検出システム及びモニタシステムを包含している。
周辺検出システムは、周辺捕捉センサ類の入力データＸを受信し、評価できるように構成されている。入力データＸは、訓練済みの第一人工神経網Ｋによって評価され、この評価の結果として、周辺検出データＹ’が、出力される。
モニタシステムは、周辺捕捉センサの同一の入力データＸを、訓練済みの第二人工神経網ＫＲによって評価し、この評価の結果として再現データＸ’を出力する様に構成されている。
該モニタシステムが、入力データＸに対する閾値を超える再現データＸ’の差異を検出した場合（→エッジケースの候補）、モニタシステムは、入力データＸの独立したデータユニットへの転送を促す。独立したデータユニットは、例えば、外部サーバ、クラウドメモリ、或いは、Ｖ２Ｘシステムのバックボーンであることができる。Ｖ２Ｘ（ｖｅｈｉｃｌｅ－ｔｏ－Ｘ）とは、該車両が他の参加者らと交信するためのコミュニケーションシステム乃至テレマティクスシステムを意味している。
周辺検出システムは、周辺捕捉センサ類の入力データＸを受信し、評価できるように構成されている。入力データＸは、訓練済みの第一人工神経網Ｋによって評価され、この評価の結果として、周辺検出データＹ’が、出力される。
モニタシステムは、周辺捕捉センサの同一の入力データＸを、訓練済みの第二人工神経網ＫＲによって評価し、この評価の結果として再現データＸ’を出力する様に構成されている。
該モニタシステムが、入力データＸに対する閾値を超える再現データＸ’の差異を検出した場合（→エッジケースの候補）、モニタシステムは、入力データＸの独立したデータユニットへの転送を促す。独立したデータユニットは、例えば、外部サーバ、クラウドメモリ、或いは、Ｖ２Ｘシステムのバックボーンであることができる。Ｖ２Ｘ（ｖｅｈｉｃｌｅ－ｔｏ－Ｘ）とは、該車両が他の参加者らと交信するためのコミュニケーションシステム乃至テレマティクスシステムを意味している。
【0010】
ある実施例においては、該第二人工神経網ＫＲは、オート・エンコーダである。
記述されている「ノン・セーフティ・クリティカル」な（モニタリング）システムは、オート・エンコーダとして実施されている。これは、上述の検出アルゴリズム乃至機能と同じ入力データを基にしている。その機能原理により、オート・エンコーダは、その他の実施し得るアプローチと比較して、有意な長所を提供する。
記述されている「ノン・セーフティ・クリティカル」な（モニタリング）システムは、オート・エンコーダとして実施されている。これは、上述の検出アルゴリズム乃至機能と同じ入力データを基にしている。その機能原理により、オート・エンコーダは、その他の実施し得るアプローチと比較して、有意な長所を提供する。
【0011】
センサデータが、画像データである例においてこれを、説明する：
一枚の画像が、オート・エンコーダに入力された場合、エンコーダは、これを出力において再現することを試みる。オート・エンコーダは、付加的なラベルを用いることなく、入力シグナルのみを用いてトレーニングできる。これは、アノテーションに関して付加的な労力がかからないという利点があるのみならず、更には、入力データに関連したエラーを、何時でも（未知のデータであっても）定量化できるという決定的な利点も提供する。但しこれには、適切な閾値形成が、推奨される。オート・エンコーダは、画像全体、或いは、一部の抜粋に対して用いることができる。
一枚の画像が、オート・エンコーダに入力された場合、エンコーダは、これを出力において再現することを試みる。オート・エンコーダは、付加的なラベルを用いることなく、入力シグナルのみを用いてトレーニングできる。これは、アノテーションに関して付加的な労力がかからないという利点があるのみならず、更には、入力データに関連したエラーを、何時でも（未知のデータであっても）定量化できるという決定的な利点も提供する。但しこれには、適切な閾値形成が、推奨される。オート・エンコーダは、画像全体、或いは、一部の抜粋に対して用いることができる。
【0012】
よって、オート・エンコーダは、各々有り得る入力シグナルにおいて、自己エラーを測定することができる。機械学習法では、一般的に、訓練用データと十分に一致しない入力データに対してより高いエラー値が期待される。オート・エンコーダと検出機能が、同じデータを基にしていることから、以下の様な長所が得られる：オート・エンコーダによって識別された未知な又は不確実なシナリオは、この様なシナリオが、訓練用データには十分に含まれておらず、交通シナリオの広範囲なカバーが、機能開発に有用であることを示唆する。
【0013】
ある実施形態によれば、該モニタシステムは、差異に基づいて入力データＸの有用性を推定するスコアを算出する。
【0014】
実施例においては、第一人工神経網Ｋが、予め定められている訓練用データを用いて訓練されるが、入力データＸ＿１，Ｘ＿２，…，Ｘ＿ｎに対しては、それぞれ、基準出力データＹ＿１，Ｙ＿２，…，Ｙ＿ｎが、用いられる。第一神経網Ｋの加重を調整することにより、入力データＸ＿１，Ｘ＿２，…，Ｘ＿ｎ用の第一神経網Ｋの出力と対応する基準出力データＹ＿１，Ｙ＿２，…，Ｙ＿ｎとの差異を示す第一エラー関数が最小化される。
【0015】
ある実施形態によれば、第二人工神経網ＫＲは、第二人工神経網ＫＲの加重を調整することにより、トレーニングされるが、その際、周辺捕捉センサの入力データＸに対する再現データＸ’の差異を示す第二エラー関数が、最小化される。
【0016】
実施例では、付加的に、周辺捕捉センサの入力データＸに加え、メタ情報も伝達される。メタ情報は、以下のグループの一つの、或いは、複数の情報に対応している：最新のソフトウェアバージョン、モニタシステムの算出されたスコア、ＧＰＳデータ、日付、時刻、車両識別番号（ＦＩＮ＝Ｆａｈｒｚｅｕｇ－Ｉｄｅｎｔｉｆｉｋａｔｉｏｎｓ－Ｎｕｍｍｅｒ）、及び、現場状況（シーン）及び／或いは車両状況を把握することを可能にするクラウドデータ。
これを基に、例えば、展開中のシーンを忠実に再現可能である（同じソフトウェアバージョンを用いたシミュレーション）。この様な情報獲得により、未知のシーンとエッジケースを選択し、車両検出機能、乃至、周辺検出機能の開発プロセスに直接的に取り入れることが可能になる。これにより、絶え間ない品質保証プロセスを確立することができる。開発ステップが進む度に、より多くの有用なデータが、該システムに取り入れられる。
これを基に、例えば、展開中のシーンを忠実に再現可能である（同じソフトウェアバージョンを用いたシミュレーション）。この様な情報獲得により、未知のシーンとエッジケースを選択し、車両検出機能、乃至、周辺検出機能の開発プロセスに直接的に取り入れることが可能になる。これにより、絶え間ない品質保証プロセスを確立することができる。開発ステップが進む度に、より多くの有用なデータが、該システムに取り入れられる。
【0017】
更には、ソフトウェアの成熟度を、受信されるデータ送信の数から導き出すことも可能である。即ち、予測精度不足を理由としたデータ送信プロセスの回数が減れば減るほど、ソフトウェアの成熟度は、高い。
【0018】
ある実施形態によれば、周辺検出システムは、複数の周辺捕捉センサの入力データＸを受信し、これらを一括に評価できる様に構成されている。
これは、マルチ・センサ・セットアップに対応している。マルチ・センサシステムは、複数の周辺捕捉センサによる検出を検証することにより、道路交通用の検出アルゴリズムの安全性を高めることができると言う長所を有している。マルチ・センサシステムは、例えば、以下の候補：
－ 一台乃至複数のカメラ、
－ 一台乃至複数のレーダ、
－ 一つ乃至複数の超音波システム、
－ 一台乃至複数のライダ、
－ 及び或いは、一つ乃至複数のマイクロフォン
の任意の組合わせであることができる。
これは、マルチ・センサ・セットアップに対応している。マルチ・センサシステムは、複数の周辺捕捉センサによる検出を検証することにより、道路交通用の検出アルゴリズムの安全性を高めることができると言う長所を有している。マルチ・センサシステムは、例えば、以下の候補：
－ 一台乃至複数のカメラ、
－ 一台乃至複数のレーダ、
－ 一つ乃至複数の超音波システム、
－ 一台乃至複数のライダ、
－ 及び或いは、一つ乃至複数のマイクロフォン
の任意の組合わせであることができる。
【0019】
この際、マルチ・センサシステムは、少なくとも二つのセンサで構成されている。これらのセンサｓの内の一台の時点ｔにおけるデータ取得は、Ｄ＿（ｓ，ｔ）と表記することができる。これらのデータＤは、画像及び／或いはオーディオ録音、角度、距離、速度の測定値、及び、周辺部内の複数のオブジェクトからの反射であることができる。
【0020】
ある実施例では、該モニタシステムは、周辺捕捉センサの入力データＸを、周辺検出システムと並列に処理する様に構成されている。
【0021】
ある実施形態によれば、該モニタシステムは、付加的な検出ヘッドとして周辺検出システムに組み込まれている。該モニタシステムと周辺検出システムは、共通のエンコーダを使用する。
【0022】
ある実施例では、周辺捕捉センサの入力データは、画像データである。該モニタシステムは、画像全体又は画像の一部の抜粋を再現する様に構成されている。これは更に、再現エラーの値を推定し、出力することもできる。
【0023】
ある実施形態によれば、該モニタシステムは、不確実性尺度を割出し、出力する様に構成されている。不確実性尺度は、モニタシステムが、再現データＸ’を出力する際どの程度確実なのかを与える値である。
【0024】
ある実施例においては、該モニタシステムは、再現データＸ’の経時的な一貫性を考慮する様に構成されている。
【0025】
ある実施バリエーションでは、加えて、モニタシステムの再現データＸ’の入力データＸからの差異が、継続的なものであるか、或いは、限られた期間にのみ表れるのかも区別される。
【0026】
ある実施例では、周辺検出システムとモニタシステムは、双方とも、無線（ｏｖｅｒ ｔｈｅ ａｉｒ）アップデートできる様に構成されている。
【0027】
本発明の更なる対象は、周辺捕捉センサの伝達する価値のある車両データを割り出すための方法に関する。本方法は、以下のステップを包含する：
訓練済みの第一人工神経網を用いて実施される周辺検出システムによる周辺捕捉センサの入力データＸを評価するステップ；
評価の際に割り出された周辺検出データＹ’を出力するステップ；
訓練済みの第二人工神経網ＫＲを用いて実施されるモニタシステムによる周辺捕捉センサの同一の入力データＸを評価するステップ；
評価の際に割り出された再現データＸ’を出力するステップ；並びに、
閾値を超える入力データＸに対する再現データＸ’の差異が確認された場合に、独立したデータユニットへの入力データＸの伝達を指示するステップ。
訓練済みの第一人工神経網を用いて実施される周辺検出システムによる周辺捕捉センサの入力データＸを評価するステップ；
評価の際に割り出された周辺検出データＹ’を出力するステップ；
訓練済みの第二人工神経網ＫＲを用いて実施されるモニタシステムによる周辺捕捉センサの同一の入力データＸを評価するステップ；
評価の際に割り出された再現データＸ’を出力するステップ；並びに、
閾値を超える入力データＸに対する再現データＸ’の差異が確認された場合に、独立したデータユニットへの入力データＸの伝達を指示するステップ。
【0028】
交通シナリオの有用性の評価は、マルチ・センサ・セットアップ、経時的な推移、及び、ネットワークの出力を予測する信頼性の推定を考慮することにより、更に改善される。更に、計算時間が短いことは、組み込みシステムにとって有利である。
これらの点は、例えば、計算量の少ないモニタシステム又はオートエンコーダ・アプローチを選択し、これらにおいて、マルチ・センサシステム用に、信頼性推定と経時的検証を加え拡張することによって、対応できる。
これらの点は、例えば、計算量の少ないモニタシステム又はオートエンコーダ・アプローチを選択し、これらにおいて、マルチ・センサシステム用に、信頼性推定と経時的検証を加え拡張することによって、対応できる。
【0029】
以下、実施例と図をより詳しく説明する。図の説明：
【図面の簡単な説明】
【0030】
【発明を実施するための形態】
【0031】
図１は、周辺捕捉センサ１とデータシステム１０を備えた車両２を示している。描写されている周辺捕捉センサ１は、車両２内部－例えば、バックミラーの領域－に配置され、車両２のフロントガラスを通して車両の周辺を捕捉するカメラに相当している。車両２の更なる周辺捕捉センサ１は、例えば、カメラセンサ、レーダセンサ、ライダセンサ、及び／或いは、超音波センサであることができる（図示せず）。全ての周辺捕捉センサ類１が、車両２の周辺部に関する情報を包含しているデータを記録する。これらのデータは、車両のデータシステム１０に伝達され、これによって処理される。該データシステムは、例えば、アシストされた、乃至、自動化された走行用の、センサデータから検出物を割出し、車両周辺部や交通状況をある程度は把握している制御装置（ＡＤＡＳ又はＡＤ、例えば、Ａｕｔｏｍａｔｅｄ Ｄｒｉｖｉｎｇ Ｃｏｎｔｒｏｌ Ｕｎｉｔ，ＡＤＣＵ）などと言った制御装置を包含していることができる。これらの検出物に基づいて、アシストされた走行では、ドライバーに警告を発したり、限定的に車両制御に介入したりし、自動化された走行では、ＡＤＣＵが、車両２の制御全体を請け負うことができる。
【0032】
図２は、周辺捕捉センサ１、データシステム１０、並びに、独立したデータユニット２０を示している。
【0033】
該データシステム１０は、車両２内部の少なくとも一つの周辺捕捉センサ１、例えば、画像撮影手段と電気的に接続されている。該画像撮影手段は、車両のフロントカメラであることができる。該フロントカメラは、車両前方に広がる周辺の捕捉用のセンサとして機能する。該フロントカメラの信号乃至画像データに基づいて、車両２の周辺部が検出される。これら周辺検出物を基にして、例えば、走行レーン認識、レーン維持サポート、道路標識認識、速度制限アシスタント、交通参加者認識、衝突警告、緊急ブレーキアシスタント、車間維持追従制御、工事現場アシスタント、アウトバーン・パイロット（高速道路自動操縦）、クルージング・運転手機能、及び／或いは、オートパイロットなどのＡＤＡＳ機能又はＡＤ機能が、ＡＤＡＳ／ＡＤ制御ユニットによって提供される。
画像撮影手段は、典型的には、光学系乃至レンズ及び画像撮影センサ、例えば、ＣＭＯＳセンサを包含している。
画像撮影手段は、典型的には、光学系乃至レンズ及び画像撮影センサ、例えば、ＣＭＯＳセンサを包含している。
【0034】
周辺捕捉センサ１によって捕捉されたデータ乃至シグナルは、データシステム１０の入力インターフェース１２へ伝達される。データは、データシステム１０内においてデータプロセッサ１４によって処理される。該データプロセッサ１４は、周辺検出システム１６、並びに、モニタシステム１５を包含している。該周辺検出システム１６は、第一人工神経網、例えば、ＣＮＮを包含していることができる。該周辺検出システム１６は、純粋な検出に加え、総合的な周辺把握や状況理解、例えば、自車両２の軌道予測のみならず、車両２の周辺部内の他のオブジェクト又は交通参加者の軌道予測なども生成できる。周辺検出システム１６の検出は、それに、車両のＡＤＡＳシステム乃至ＡＤシステムのアクションや警告が依存していると言う理由から、安全クリティカルである可能性がある。一方、該モニタシステム１５は、その主要なタスクが、周辺検出システム１６の監視とデータを独立したデータユニット２０へ伝達するか否かを決断することであると言う理由から、安全クリティカルではない。該モニタシステム１５は、第二人工神経網、例えば、オート・エンコーダを包含していることができる。
人工神経網が、データを車両内においてリアルタイムに処理できる様に、データシステム１０又はデータプロセッサ１４は、人工神経網用の一つの乃至複数のハードウェア加速手段を包含していることができる。
人工神経網が、データを車両内においてリアルタイムに処理できる様に、データシステム１０又はデータプロセッサ１４は、人工神経網用の一つの乃至複数のハードウェア加速手段を包含していることができる。
【0035】
モニタシステム１５の検出が、周辺検出システム１６の検出と、例えば閾値を超える、差異を有している場合、データシステム１０は、出力インターフェース１８を介して、独立したデータユニット２０（クラウド、バックボーン、インフラストラクチャ・・・）へデータの無線伝達を実施する。
【0036】
図３は、周辺検出システムとしての分級システムとモニタシステムの実施例を示している。
【0037】
分級システムＫは、例えば、オブジェクトを、周辺捕捉センサ１のセンサデータＸを基準に、分級する。分級システムＫに加え、独立し且つ付加的な第二モニタシステムＫＲも導入される。
【0038】
図３ａは、機械学習による分級システムＫとモニタシステムをトレーニングするための方法の実施例のフローチャートを示している。トレーニング中、双方のシステムは、同一のセンサデータＸによってトレーニングされる。
例えば、決定木学習システム、サポートベクターマシン、回帰分析に基づいた学習システム、ベイジアン・ネットワーク、ニューラルネットワーク、又は、畳み込みニューラルネットワークである分級システムＫをトレーニングするために、トレーニング用入力データＸとトレーニング用目標値Ｙが用意される。分級システムＫを用いて、トレーニング用入力データＸから出力データＹ’が生成される。モニタシステムＫＲ（オート・エンコーダ）により、トレーニング用入力データＸから、トレーニング用入力データＸに類似する再現データＸ’が、作成される。分級システムＫのトレーニングの目標は、出力データＹ’が、トレーニング用目標値Ｙと、過学習することなく、可能な限り類似することである。
作成された出力データＹ’とトレーニング用目標値Ｙから、第一エラー関数Ｌｏｓｓを用いて、出力データＹ’とトレーニング用目標値Ｙとの間に残っている差異が、割り出される。これらの差異は、例えば、誤差逆伝播法（Ｂａｃｋｐｒｏｐａｇａｔｉｏｎ）を介して、分級システムＫのパラメータを適応させるために使用される。これは、予め定められている一致度が達成されるまで、又は、過学習の兆候が現れるまで、反復される。
モニタシステムＫＲは、オート・エンコーダを基にしており、実際のセンサデータＸ以外には、更なるアノテーションは、必要としていない。モニタシステムＫＲのトレーニングの目標は、再現データＸ’が、トレーニング用入力データＸと可能な限り類似することである。作成された再現データＸ’とトレーニング用入力データＸから、第二エラー関数Ｌｏｓｓ２を用いて、再現データＸ’とトレーニング用入力データＸとの間に残っている差異が、割り出される。これらの差異は、例えば、誤差逆伝播法を介してモニタシステムＫＲのパラメータを適応させるために使用される。これは、予め定められている一致度が達成されるまで、又は、過学習の兆候が現れるまで、反復される。
モニタシステムＫＲのトレーニングは、例えば、分級システムＫのトレーニング後に実施されるが、同一の入力データＸが使用されなければならないことは、注意されなければならない。
オート・エンコーダ乃至モニタシステムＫＲは、何時も、その出力を基のセンサデータと比較でき、（メトリクスを用いて）定量化されたエラー、乃至、定量化された不確実性Ｕを算出できる。再現データＸ’の入力データＸに対する差異は、メトリクスによって割り出される。この様にして割り出された差異値が、出力データＹ’の不確実性Ｕを定量する。
例えば、決定木学習システム、サポートベクターマシン、回帰分析に基づいた学習システム、ベイジアン・ネットワーク、ニューラルネットワーク、又は、畳み込みニューラルネットワークである分級システムＫをトレーニングするために、トレーニング用入力データＸとトレーニング用目標値Ｙが用意される。分級システムＫを用いて、トレーニング用入力データＸから出力データＹ’が生成される。モニタシステムＫＲ（オート・エンコーダ）により、トレーニング用入力データＸから、トレーニング用入力データＸに類似する再現データＸ’が、作成される。分級システムＫのトレーニングの目標は、出力データＹ’が、トレーニング用目標値Ｙと、過学習することなく、可能な限り類似することである。
作成された出力データＹ’とトレーニング用目標値Ｙから、第一エラー関数Ｌｏｓｓを用いて、出力データＹ’とトレーニング用目標値Ｙとの間に残っている差異が、割り出される。これらの差異は、例えば、誤差逆伝播法（Ｂａｃｋｐｒｏｐａｇａｔｉｏｎ）を介して、分級システムＫのパラメータを適応させるために使用される。これは、予め定められている一致度が達成されるまで、又は、過学習の兆候が現れるまで、反復される。
モニタシステムＫＲは、オート・エンコーダを基にしており、実際のセンサデータＸ以外には、更なるアノテーションは、必要としていない。モニタシステムＫＲのトレーニングの目標は、再現データＸ’が、トレーニング用入力データＸと可能な限り類似することである。作成された再現データＸ’とトレーニング用入力データＸから、第二エラー関数Ｌｏｓｓ２を用いて、再現データＸ’とトレーニング用入力データＸとの間に残っている差異が、割り出される。これらの差異は、例えば、誤差逆伝播法を介してモニタシステムＫＲのパラメータを適応させるために使用される。これは、予め定められている一致度が達成されるまで、又は、過学習の兆候が現れるまで、反復される。
モニタシステムＫＲのトレーニングは、例えば、分級システムＫのトレーニング後に実施されるが、同一の入力データＸが使用されなければならないことは、注意されなければならない。
オート・エンコーダ乃至モニタシステムＫＲは、何時も、その出力を基のセンサデータと比較でき、（メトリクスを用いて）定量化されたエラー、乃至、定量化された不確実性Ｕを算出できる。再現データＸ’の入力データＸに対する差異は、メトリクスによって割り出される。この様にして割り出された差異値が、出力データＹ’の不確実性Ｕを定量する。
【0039】
図３ｂは、図３ａの実施例に合った分級システムＫとモニタシステムＫＲを使用するための方法のフローチャートを示している。これが、分級システムＫの出力データＹ’の不確実性Ｕの定量を可能にする。
この原理には、アプリケーション（推論）内のモニタシステムＫＲ自体が、メトリクスを使用して、入力信号乃至入力データＸに対する再現データＸ’の差異を、何時でも、測定できると言う長所がある。
この原理には、アプリケーション（推論）内のモニタシステムＫＲ自体が、メトリクスを使用して、入力信号乃至入力データＸに対する再現データＸ’の差異を、何時でも、測定できると言う長所がある。
【0040】
分級システムＫのみならず、モニタシステムＫＲも、同一のデータに基づいて開発されたため、双方のシステムは、似通った欠陥を有している。分級システムＫの場合、出力データＹ’の欠陥は、アプリケーションにおいて測定できなくなるが、モニタシステムＫＲとの関係から同定されることができる。
【0041】
例えば、入力データＸは、画像の画像データであり、出力データＹ’は、画像上に描写されたオブジェクトに相当する分級データであり得る。そして該モニタシステムＫＲを用いて、元画像Ｘに類似した再現画像Ｘ’を作成できた場合、モニタシステムＫＲと分級システムＫのトレーニング時に、既に、類似した入力データＸが存在していたことを示唆しており、従って、出力データＹ’の不確実性Ｕは、低い。しかし、再現画像Ｘ’が、元画像Ｘと大きく異なる場合、モニタシステムＫＲと分級システムＫのトレーニング時に、類似した入力データＸが用いられなかったことを示唆しており、従って、出力データＹ’の不確実性Ｕは、大きい。
大きな不確実性Ｕは、入力データ乃至インプットデータが、エッジケースであったことを示唆している。
大きな不確実性Ｕは、入力データ乃至インプットデータが、エッジケースであったことを示唆している。
【0042】
図４は、未知のシーン／状況を捕捉した車両２を模式的に示している。車両の周辺捕捉センサ類の捕捉領域４４には、非日常的なオブジェクト４２、ここでは、象が、存在している。
即ち、トレーニングされたシステムの使用において、トレーニング用データに非日常的オブジェクト４２として象を含んではいなかったため、開発時に十分に考慮されなかった状況に陥ることとなる。この様な極限的状況は、モニタシステムＫＲによって動的でき、図４内の符号４６の感嘆符「！」（注意）などによって示されることができる。続いて、周辺捕捉センサによって捕捉されたデータは、検出システムＫを更に発展させるために用いられる。そのためにデータは、例えば、テレマティクス手段を介して、外部のデータユニット、例えば、サーバ乃至クラウド５０へ無線伝達４８されることができる。可能な開発工程の範疇において、クラウド内に保存されたデータは、将来的に最適化されたトレーニングも用いてこの様な極限的なケースに対しても準備しておくことができる様に、使用される。
即ち、トレーニングされたシステムの使用において、トレーニング用データに非日常的オブジェクト４２として象を含んではいなかったため、開発時に十分に考慮されなかった状況に陥ることとなる。この様な極限的状況は、モニタシステムＫＲによって動的でき、図４内の符号４６の感嘆符「！」（注意）などによって示されることができる。続いて、周辺捕捉センサによって捕捉されたデータは、検出システムＫを更に発展させるために用いられる。そのためにデータは、例えば、テレマティクス手段を介して、外部のデータユニット、例えば、サーバ乃至クラウド５０へ無線伝達４８されることができる。可能な開発工程の範疇において、クラウド内に保存されたデータは、将来的に最適化されたトレーニングも用いてこの様な極限的なケースに対しても準備しておくことができる様に、使用される。
【0043】
このシステムによれば、トレーニング用データでは十分に代表されなかったデータの多くが特定される。十分に代表されなかったデータは、特殊な走行状況における周辺捕捉センサの限界に起因するところもあるが、単に非日常的な周辺シナリオに起因している場合もあり得る。
【0044】
図５は、車載カメラの、誤った露光制御に起因する過度な露光を示すグレースケール画像を、概略的に示している。この様に明るすぎ、コントラストが弱い画像の分級は、多くのケースにおいて成功しない。この様な状況は、同様な走行状況において、例えば、トンネルから出た瞬間などにおいて、露光制御の限界に起因して頻繁に発生する。その原因は、センサの性質である。
【0045】
図６は、道路間の島（安全地帯など）上に設けられたモダンアートの予期しない効果を表現したグレースケール画像を概略的に示している。ここに示されている芸術作品は、英国の５ＴＧ，Ｔｒａｆａｌｇａｒ Ｗａｙ，Ｂｌａｃｋｗａｌｌ，Ｌｏｎｄｏｎにある「Ｔｒａｆｆｉｃ Ｌｉｇｈｔ Ｔｒｅｅ（信号機の木）」である。
このモダンアートは、多数の信号機から構成されている。これは、交通整理には役立っていない。カメラベースの信号認識に、この芸術作品に交通整理に関する情報を帰属させることは、無理である。
このモダンアートは、多数の信号機から構成されている。これは、交通整理には役立っていない。カメラベースの信号認識に、この芸術作品に交通整理に関する情報を帰属させることは、無理である。
【0046】
以下に、更なるアスペクトと実施例を記述する：
【0047】
アシストされた走行から自律した走行への移行は、技術的なハードルである。自律システムは、場合によっては、シミュレーションや試験走行によってカバーしきれなかった様な複雑なシナリオも意のままにこなせなければならない。この際における目標は、車両機能用の周辺捕捉が、常に、且つ、可能な限り多くのシナリオ－理想的には、全てのシナリオ－において、信頼性高く機能することである。
【0048】
この問題を解決するため、我々は、この複雑且つ有用なデータを、開発のために、実際の道路交通から自動的に集める付加的なモニタシステム、即ち、セーフティ・クリティカルではないシステムを提案する。但し、「有用な」データは、ソフトウェアのバージョンとともに変化し得るため、更に該システムは、アップデート自在、且つ、ローデータは、バージョン管理を必要としている。総システムの詳細は以下の通りである：
【0049】
－ 実装したい、又は、監視したい車両機能が、同一のデータを基にした独立した第二モニタシステムを加えて拡張される。即ち、該モニタシステムも、車両機能における調整時、同様に調整される。
【0050】
－ 続いて、該モニタシステムは、作動中、システムによってカバーされているデータを基に、現在の状況のカバーを連続的に監視する。この際、優位な差異が、例えば、閾値制御を介して、認められた場合、データは、開発用に捕捉され、車両機能の更なる開発のために伝達される。そのため、該モニタシステムは、一つ乃至複数のセンサ類によって捕捉されたシーン全体、或いは、例えば、個々のオブジェクトなど、シーン内からの抜粋を評価することができる。
【0051】
－ ローデータに加え、このデータ・パッケージは、最新のソフトウェアバージョン、モニタシステムが算出したデータの有用性に関するスコア、ＧＰＳ情報、日時、ＦＩＮ（Ｆａｈｒｚｅｕｇ－Ｉｄｅｎｔｉｆｉｋａｔｉｏｎｓ－Ｎｕｍｍｅｒ、車両識別番号）、或いは、コネクテッド・ビークル・クラウド・データ（ｃｏｎｎｅｃｔｅｄ－ｖｅｈｉｃｌｅ－ｃｌｏｕｄ ｄａｔａ）などのメタ情報も包含している。これらを基に、展開中のシーンを忠実に再現可能である（同じソフトウェアバージョンを用いたシミュレーション）。この様な情報獲得により、未知のシーンとエッジケースを選択し、車両機能の開発プロセスに直接的に取り入れることが可能になる。これにより、絶え間ない品質保証プロセスを確立することができる。開発ステップが進む度に、より多くの有用なデータが、該システムに取り入れられる。
【0052】
－ 更には、ソフトウェアの成熟度を、受信されるデータ送信の数から導き出すことも可能である。
【0053】
マルチセンサ／マルチネットワークセットアップへの拡張
【0054】
提案されているモニタシステムは、ここでは、アシストされた及び自律した走行のコンテクストにおいて、車両用のセンサ・セットアップを想定している。これは、オプション的に、マルチ・センサ・セットアップに拡張可能である。マルチ・センサシステムは、複数のセンサ類による検出を検証することにより、道路交通用の検出アルゴリズムの安全性を高めることができると言う長所を有している。マルチ・センサシステムは、例えば、以下の候補：
－ 一台乃至複数のカメラ、
－ 一台乃至複数のレーダ、
－ 一つ乃至複数の超音波システム、
－ 一台乃至複数のライダ、
－ 及び或いは、一つ乃至複数のマイクロフォン
の任意の組合わせであることができる。
－ 一台乃至複数のカメラ、
－ 一台乃至複数のレーダ、
－ 一つ乃至複数の超音波システム、
－ 一台乃至複数のライダ、
－ 及び或いは、一つ乃至複数のマイクロフォン
の任意の組合わせであることができる。
【0055】
この際、マルチ・センサシステムは、少なくとも二つのセンサで構成されている。これらのセンサｓの内の一台の時点ｔにおけるデータ取得は、以下、Ｄ＿（ｓ，ｔ）と表記する。これらのデータＤは、画像及び／或いはオーディオ録音、角度、距離、速度の測定値、及び、周辺部内の複数のオブジェクトからの反射であることができる。
【0056】
作動形態
【0057】
記述されているモニタシステム（乃至、「セーフティ・クリティカルではないシステム」は、オート・エンコーダとして実施されている。これは、上述の検出アルゴリズム乃至機能と同じデータを基にしている。オート・エンコーダは、様々な方法で実現可能である。一例としては、オート・エンコーダを検出アルゴリズムと並行して用いる方法が挙げられ、別の例としては、付加的な検出ヘッドとして実施する、即ち、検出とオート・エンコーダ用に共通のエンコーダを使用する方法が挙げられる。以下のシステムを用いる方法も、即ち、実施された周辺検出後にスタートするモニタシステムも考え得る。
その機能原理により、オート・エンコーダは、その他のアプローチと比較して、有意な長所を提供する。画像データの例を用いて解説する：
その機能原理により、オート・エンコーダは、その他のアプローチと比較して、有意な長所を提供する。画像データの例を用いて解説する：
【0058】
一枚の画像が、オート・エンコーダに入力された場合、エンコーダは、これを出力において再現することを試みる。オート・エンコーダは、付加的なラベルを用いることなく、入力シグナルのみを用いてトレーニングできる。これは、アノテーションに関して付加的な労力がかからないという利点があるのみならず、更には、入力データに関連したエラーを、何時でも（未知のデータであっても）定量化できるという決定的な利点も提供する。但しこれには、適切な閾値形成が、推奨される。オート・エンコーダは、画像全体、或いは、一部の抜粋に対して用いることができる。
【0059】
よって、オート・エンコーダは、各々有り得る入力シグナルにおいて、自己エラーを測定することができる。機械学習法では、一般的に、訓練用データと十分に一致しない入力データに対してより高いエラー値が期待される。オート・エンコーダと検出機能が、同じデータを基にしていることから、以下の様な長所が得られる：オート・エンコーダによって識別された未知な又は不確実なシナリオは、この様なシナリオが、トレーニング用データには十分に含まれておらず、交通シナリオの広範囲なカバーが、機能開発に有用であることを示唆する。
【0060】
不確実性尺度を加えた拡張
【0061】
ネットワークの再構成確定性を推定するオート・エンコーダの出力に加え、更に、それに基づいてオート・エンコーダが、決断を下す確定性の尺度も有用である。この所謂確定性尺度は、オート・エンコーダ出力を補完し、特に、様々なセンサ類に係るオート・エンコーダ出力の融合、及び／或いは、オート・エンコーダ出力の経時的な融合を考慮する際に有用である。
この様な確定性尺度は、統計的な較正、又は、不確実性推定を用いて算出できる。これには以下が適している：
ａ） 統計的な較正方法であって、確率的不確実性を示す様にオート・エンコーダの出力を加重する方法。この方法は、計算リソースが非常に少ない場合に適している。
ｂ） 計算リソースが十分に用意されている場合は、モデル不確実性を推定できる：例えば、モンテカルロ・ドロップアウトを使用して個々のネットワーク層を拡張することによって。これにより、実行時、本ネットワーク層とこれに続くネットワーク層は、各々のニューラル層のランダム化された活性化により、ｍ回、繰り返し計算される。これにより、出力ｙ＿ｉ（ｉ＝１…ｍ）のセットが得られる。
ｃ） 更に、測定不確実性も推定される：例えば、エラー関数（Ｌｏｓｓ；Ｌｏｓｓ２）に、実行時、測定不確実性を測定する正則化を加えることによって。
不確実性推定を加えた未知の又は不確かなシーンを割り出すための拡張は、分級手段は正しく決断したが、その決断に大きな不確実性がある様なシーンの評価を、可能にする。不確実性推定を加えることにより、不確かなシーンの検索が加えられ、未知のシーンの検索の堅牢性が拡張される。この様なアーキテクチャにより、未知なシーンのみならず、ネットワークにとって不確かなシーンも選択できる様になる。
この様な確定性尺度は、統計的な較正、又は、不確実性推定を用いて算出できる。これには以下が適している：
ａ） 統計的な較正方法であって、確率的不確実性を示す様にオート・エンコーダの出力を加重する方法。この方法は、計算リソースが非常に少ない場合に適している。
ｂ） 計算リソースが十分に用意されている場合は、モデル不確実性を推定できる：例えば、モンテカルロ・ドロップアウトを使用して個々のネットワーク層を拡張することによって。これにより、実行時、本ネットワーク層とこれに続くネットワーク層は、各々のニューラル層のランダム化された活性化により、ｍ回、繰り返し計算される。これにより、出力ｙ＿ｉ（ｉ＝１…ｍ）のセットが得られる。
ｃ） 更に、測定不確実性も推定される：例えば、エラー関数（Ｌｏｓｓ；Ｌｏｓｓ２）に、実行時、測定不確実性を測定する正則化を加えることによって。
不確実性推定を加えた未知の又は不確かなシーンを割り出すための拡張は、分級手段は正しく決断したが、その決断に大きな不確実性がある様なシーンの評価を、可能にする。不確実性推定を加えることにより、不確かなシーンの検索が加えられ、未知のシーンの検索の堅牢性が拡張される。この様なアーキテクチャにより、未知なシーンのみならず、ネットワークにとって不確かなシーンも選択できる様になる。
【0062】
経時的一義性を加えた拡張
【0063】
上述の如く、オート・エンコーダは、トレーニング用データにおいて十分に取り扱われなかったデータを識別する方法を提供する。この原理を経時的一貫性と言う考え方と組合わせることにより、更なる価値が得られる。例えば、識別されたデータを時間的にフィルタリングし、継続的に発生するサンプルデータと、希にしか発生しない異常値を区別すると、貴重な追加情報が得られる。
短期間の異常値は、例えば、センサ的な要因であることを示唆できる。要するに、トンネルへの進入時、カメラのホワイトバランスが、ある時点ｔにおいて、大きく変動する可能性がある。これらのデータは、それぞれのセンサ開発にとって有用であろう。
識別されたデータが、連続的に表れる場合、これは、未知のシナリオである確率が高く、アルゴリズム開発に有用である。
短期間の異常値は、例えば、センサ的な要因であることを示唆できる。要するに、トンネルへの進入時、カメラのホワイトバランスが、ある時点ｔにおいて、大きく変動する可能性がある。これらのデータは、それぞれのセンサ開発にとって有用であろう。
識別されたデータが、連続的に表れる場合、これは、未知のシナリオである確率が高く、アルゴリズム開発に有用である。
【0064】
上述の実施形態とアスペクトから、以下の長所が得られる：
－特別な長所：ランタイムに関して最適化
－任意のセンサデータ及びそれらの組み合わせに応用可能
－開発プロセスに容易に導入可能、独立したデータ収集が、不要
－例えば、オブジェクトトラックを見失ったなど、車両機能の出力のみを監視しているイベントベースのアプローチよりも広範囲をカバー
－観察されているアルゴリズム専用の有用データを自動的に選択
－再現が困難なリアルなシナリオ（事故、確率的に低い事象の組み合わせ．．．）を識別
－特別な長所：ランタイムに関して最適化
－任意のセンサデータ及びそれらの組み合わせに応用可能
－開発プロセスに容易に導入可能、独立したデータ収集が、不要
－例えば、オブジェクトトラックを見失ったなど、車両機能の出力のみを監視しているイベントベースのアプローチよりも広範囲をカバー
－観察されているアルゴリズム専用の有用データを自動的に選択
－再現が困難なリアルなシナリオ（事故、確率的に低い事象の組み合わせ．．．）を識別
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【手続補正書】
【提出日】2024-05-23
【手続補正1】
【補正対象書類名】明細書
【補正対象項目名】００６４
【補正方法】変更
【補正の内容】
【0064】
上述の実施形態とアスペクトから、以下の長所が得られる：
－特別な長所：ランタイムに関して最適化
－任意のセンサデータ及びそれらの組み合わせに応用可能
－開発プロセスに容易に導入可能、独立したデータ収集が、不要
－例えば、オブジェクトトラックを見失ったなど、車両機能の出力のみを監視しているイベントベースのアプローチよりも広範囲をカバー
－観察されているアルゴリズム専用の有用データを自動的に選択
－再現が困難なリアルなシナリオ（事故、確率的に低い事象の組み合わせ．．．）を識別
なお、本願は、特許請求の範囲に記載の発明に関するものであるが、他の観点として以下も含む。
１．
車両（２）内に周辺検出システム（１６）及びモニタシステム（１５）を包含している車両データシステム（１０）であって、
周辺検出システム（１６）が、周辺捕捉センサ（１）の入力データＸを受信し、これを訓練済みの第一人工神経網Ｋを用いて評価し、この評価の結果として、周辺検出データＹ’を出力できる様に構成さており、
モニタシステム（１５）が、周辺捕捉センサ（１）の同一の入力データＸを、訓練済みの第二人工神経網Ｋ Ｒ によって評価し、その結果として、再現データＸ’を出力できる様に構成されており、且つ、
該モニタシステムが、入力データＸに対する閾値を超える再現データＸ’の差異を検出した場合、該モニタシステム（１５）は、入力データＸの独立したデータユニット（２０）への転送を促す
ことを特徴とする車両データシステム。
２．
第二人工神経網Ｋ Ｒ が、オート・エンコーダであることを特徴とする上記１に記載の車両データシステム（１０）。
３．
モニタシステム（１５）が、差異に基づいて入力データＸの有用性を推定するスコアを算出することを特徴とする上記１或いは２に記載の車両データシステム（１０）。
４．
第一人工神経網Ｋが、予め定められている訓練用データを用いて訓練され、入力データＸ＿１，Ｘ＿２，・・・，Ｘ＿ｎに対して、それぞれ、基準出力データＹ＿１，Ｙ＿２，・・・，Ｙ＿ｎが、用いられ、且つ、第一神経網Ｋの加重を調整することにより、入力データＸ＿１，Ｘ＿２，・・・，Ｘ＿ｎ用の第一神経網Ｋの出力と対応する基準出力データＹ＿１，Ｙ＿２，・・・，Ｙ＿ｎとの差異を示す第一エラー関数（Ｌｏｓｓ）が最小化されたことを特徴とする上記１～３のうち何れか一つに記載の車両データシステム（１０）。
５．
第二人工神経網Ｋ Ｒ が、第二人工神経網Ｋ Ｒ の加重を調整することにより、トレーニングされ、周辺捕捉センサ（１）の入力データＸに対する再現データＸ’の差異を示す第二エラー関数（Ｌｏｓｓ ２ ）が、最小化されたことを特徴とする上記１～４のうち何れか一つに記載の車両データシステム（１０）。
６．
周辺捕捉センサ（１）の入力データＸに加え、付加的にメタ情報も伝達され、該メタ情報が、以下のグループの一つの、或いは、複数の情報：最新のソフトウェアバージョン、モニタシステムの算出されたスコア、ＧＰＳデータ、日付、時刻、車両識別番号（ＦＩＮ＝Ｆａｈｒｚｅｕｇ－Ｉｄｅｎｔｉｆｉｋａｔｉｏｎｓ－Ｎｕｍｍｅｒ）、及び、現場状況（シーン）及び／或いは車両状況を把握することを可能にするクラウドデータ；に対応していることを特徴とする上記１～５のうち何れか一つに記載の車両データシステム（１０）。
７．
周辺検出システム（１６）が、複数の周辺捕捉センサ（１）の入力データＸを受信し、これらを一括に評価できる様に構成されていることを特徴とする上記１～６のうち何れか一つに記載の車両データシステム（１０）。
８．
モニタシステム（１５）が、周辺捕捉センサ（１）の入力データＸを、周辺検出システム（１６）と並列に処理する様に構成されていることを特徴とする上記１～７のうち何れか一つに記載の車両データシステム（１０）。
９．
モニタシステム（１５）が、付加的な検出ヘッドとして周辺検出システム（１６）に組み込まれており、且つ、モニタシステム（１５）と周辺検出システム（１６）が、共通のエンコーダを使用することを特徴とする上記１～８のうち何れか一つに記載の車両データシステム（１０）。
１０．
周辺捕捉センサ（１）の入力データが、画像データであり、且つ、モニタシステム（１５）が、画像全体又は画像の一部の抜粋を再現する様に構成されていることを特徴とする上記１～９のうち何れか一つに記載の車両データシステム（１０）。
１１．
モニタシステム（１５）が、不確実性尺度を割出し、出力する様に構成され、その際、該不確実性尺度が、モニタシステム（１５）が、再現データＸ’を出力する際どの程度確実なのかを与える値であることを特徴とする上記１～１０のうち何れか一つに記載の車両データシステム（１０）。
１２．
モニタシステム（１５）が、再現データＸ’の経時的な一貫性を考慮する様に構成されていることを特徴とする上記１～１１のうち何れか一つに記載の車両データシステム（１０）。
１３．
モニタシステム（１５）の再現データＸ’の入力データＸからの差異が、継続的なものであるか、或いは、限られた期間にのみ表れるのかも区別されることを特徴とする上記１２に記載の車両データシステム。
１４．
周辺検出システム（１６）とモニタシステム（１５）の双方が、無線（ｏｖｅｒ ｔｈｅ ａｉｒ）アップデートできる様に構成されていることを特徴とする上記１～１３のうち何れか一つに記載の車両データシステム。
１５．
以下のステップを包含していることを特徴とする周辺捕捉センサ（１）の伝達する価値のある車両データを割り出すための方法：
訓練済みの第一人工神経網を用いて実施される周辺検出システム（１６）による周辺捕捉センサ（１）の入力データＸを評価するステップ；
評価の際に割り出された周辺検出データＹ’を出力するステップ；
訓練済みの第二人工神経網Ｋ Ｒ を用いて実施されるモニタシステム（１５）による周辺捕捉センサ（１）の同一の入力データＸを評価するステップ；
評価の際に割り出された再現データＸ’を出力するステップ；並びに、
閾値を超える入力データＸに対する再現データＸ’の差異が確認された場合に、独立したデータユニット（２０）への入力データＸの伝達を指示するステップ。
－特別な長所：ランタイムに関して最適化
－任意のセンサデータ及びそれらの組み合わせに応用可能
－開発プロセスに容易に導入可能、独立したデータ収集が、不要
－例えば、オブジェクトトラックを見失ったなど、車両機能の出力のみを監視しているイベントベースのアプローチよりも広範囲をカバー
－観察されているアルゴリズム専用の有用データを自動的に選択
－再現が困難なリアルなシナリオ（事故、確率的に低い事象の組み合わせ．．．）を識別
なお、本願は、特許請求の範囲に記載の発明に関するものであるが、他の観点として以下も含む。
１．
車両（２）内に周辺検出システム（１６）及びモニタシステム（１５）を包含している車両データシステム（１０）であって、
周辺検出システム（１６）が、周辺捕捉センサ（１）の入力データＸを受信し、これを訓練済みの第一人工神経網Ｋを用いて評価し、この評価の結果として、周辺検出データＹ’を出力できる様に構成さており、
モニタシステム（１５）が、周辺捕捉センサ（１）の同一の入力データＸを、訓練済みの第二人工神経網Ｋ Ｒ によって評価し、その結果として、再現データＸ’を出力できる様に構成されており、且つ、
該モニタシステムが、入力データＸに対する閾値を超える再現データＸ’の差異を検出した場合、該モニタシステム（１５）は、入力データＸの独立したデータユニット（２０）への転送を促す
ことを特徴とする車両データシステム。
２．
第二人工神経網Ｋ Ｒ が、オート・エンコーダであることを特徴とする上記１に記載の車両データシステム（１０）。
３．
モニタシステム（１５）が、差異に基づいて入力データＸの有用性を推定するスコアを算出することを特徴とする上記１或いは２に記載の車両データシステム（１０）。
４．
第一人工神経網Ｋが、予め定められている訓練用データを用いて訓練され、入力データＸ＿１，Ｘ＿２，・・・，Ｘ＿ｎに対して、それぞれ、基準出力データＹ＿１，Ｙ＿２，・・・，Ｙ＿ｎが、用いられ、且つ、第一神経網Ｋの加重を調整することにより、入力データＸ＿１，Ｘ＿２，・・・，Ｘ＿ｎ用の第一神経網Ｋの出力と対応する基準出力データＹ＿１，Ｙ＿２，・・・，Ｙ＿ｎとの差異を示す第一エラー関数（Ｌｏｓｓ）が最小化されたことを特徴とする上記１～３のうち何れか一つに記載の車両データシステム（１０）。
５．
第二人工神経網Ｋ Ｒ が、第二人工神経網Ｋ Ｒ の加重を調整することにより、トレーニングされ、周辺捕捉センサ（１）の入力データＸに対する再現データＸ’の差異を示す第二エラー関数（Ｌｏｓｓ ２ ）が、最小化されたことを特徴とする上記１～４のうち何れか一つに記載の車両データシステム（１０）。
６．
周辺捕捉センサ（１）の入力データＸに加え、付加的にメタ情報も伝達され、該メタ情報が、以下のグループの一つの、或いは、複数の情報：最新のソフトウェアバージョン、モニタシステムの算出されたスコア、ＧＰＳデータ、日付、時刻、車両識別番号（ＦＩＮ＝Ｆａｈｒｚｅｕｇ－Ｉｄｅｎｔｉｆｉｋａｔｉｏｎｓ－Ｎｕｍｍｅｒ）、及び、現場状況（シーン）及び／或いは車両状況を把握することを可能にするクラウドデータ；に対応していることを特徴とする上記１～５のうち何れか一つに記載の車両データシステム（１０）。
７．
周辺検出システム（１６）が、複数の周辺捕捉センサ（１）の入力データＸを受信し、これらを一括に評価できる様に構成されていることを特徴とする上記１～６のうち何れか一つに記載の車両データシステム（１０）。
８．
モニタシステム（１５）が、周辺捕捉センサ（１）の入力データＸを、周辺検出システム（１６）と並列に処理する様に構成されていることを特徴とする上記１～７のうち何れか一つに記載の車両データシステム（１０）。
９．
モニタシステム（１５）が、付加的な検出ヘッドとして周辺検出システム（１６）に組み込まれており、且つ、モニタシステム（１５）と周辺検出システム（１６）が、共通のエンコーダを使用することを特徴とする上記１～８のうち何れか一つに記載の車両データシステム（１０）。
１０．
周辺捕捉センサ（１）の入力データが、画像データであり、且つ、モニタシステム（１５）が、画像全体又は画像の一部の抜粋を再現する様に構成されていることを特徴とする上記１～９のうち何れか一つに記載の車両データシステム（１０）。
１１．
モニタシステム（１５）が、不確実性尺度を割出し、出力する様に構成され、その際、該不確実性尺度が、モニタシステム（１５）が、再現データＸ’を出力する際どの程度確実なのかを与える値であることを特徴とする上記１～１０のうち何れか一つに記載の車両データシステム（１０）。
１２．
モニタシステム（１５）が、再現データＸ’の経時的な一貫性を考慮する様に構成されていることを特徴とする上記１～１１のうち何れか一つに記載の車両データシステム（１０）。
１３．
モニタシステム（１５）の再現データＸ’の入力データＸからの差異が、継続的なものであるか、或いは、限られた期間にのみ表れるのかも区別されることを特徴とする上記１２に記載の車両データシステム。
１４．
周辺検出システム（１６）とモニタシステム（１５）の双方が、無線（ｏｖｅｒ ｔｈｅ ａｉｒ）アップデートできる様に構成されていることを特徴とする上記１～１３のうち何れか一つに記載の車両データシステム。
１５．
以下のステップを包含していることを特徴とする周辺捕捉センサ（１）の伝達する価値のある車両データを割り出すための方法：
訓練済みの第一人工神経網を用いて実施される周辺検出システム（１６）による周辺捕捉センサ（１）の入力データＸを評価するステップ；
評価の際に割り出された周辺検出データＹ’を出力するステップ；
訓練済みの第二人工神経網Ｋ Ｒ を用いて実施されるモニタシステム（１５）による周辺捕捉センサ（１）の同一の入力データＸを評価するステップ；
評価の際に割り出された再現データＸ’を出力するステップ；並びに、
閾値を超える入力データＸに対する再現データＸ’の差異が確認された場合に、独立したデータユニット（２０）への入力データＸの伝達を指示するステップ。
【手続補正2】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項1】
車両（２）内に周辺検出システム（１６）及びモニタシステム（１５）を包含している車両データシステム（１０）であって、周辺検出システム（１６）が、周辺捕捉センサ（１）の入力データＸを受信し、これを訓練済みの第一人工神経網Ｋを用いて評価し、この評価の結果として、周辺検出データＹ’を出力できる様に構成さており、
モニタシステム（１５）が、周辺捕捉センサ（１）の同一の入力データＸを、訓練済みの第二人工神経網ＫＲによって評価し、その結果として、再現データＸ’を出力できる様に構成されており、且つ、
該モニタシステムが、入力データＸに対する閾値を超える再現データＸ’の差異を検出した場合、該モニタシステム（１５）は、入力データＸの独立したデータユニット（２０）への転送を促す
ことを特徴とする車両データシステム。
【請求項2】
第二人工神経網ＫＲが、オート・エンコーダであることを特徴とする請求項１に記載の車両データシステム（１０）。
【請求項3】
モニタシステム（１５）が、差異に基づいて入力データＸの有用性を推定するスコアを算出することを特徴とする請求項１又は２に記載の車両データシステム（１０）。
【請求項4】
第一人工神経網Ｋが、予め定められている訓練用データを用いて訓練され、入力データＸ＿１，Ｘ＿２，・・・，Ｘ＿ｎに対して、それぞれ、基準出力データＹ＿１，Ｙ＿２，・・・，Ｙ＿ｎが、用いられ、且つ、第一神経網Ｋの加重を調整することにより、入力データＸ＿１，Ｘ＿２，・・・，Ｘ＿ｎ用の第一神経網Ｋの出力と対応する基準出力データＹ＿１，Ｙ＿２，・・・，Ｙ＿ｎとの差異を示す第一エラー関数（Ｌｏｓｓ）が最小化されたことを特徴とする請求項１又は２に記載の車両データシステム（１０）。
【請求項5】
第二人工神経網ＫＲが、第二人工神経網ＫＲの加重を調整することにより、トレーニングされ、周辺捕捉センサ（１）の入力データＸに対する再現データＸ’の差異を示す第二エラー関数（Ｌｏｓｓ２）が、最小化されたことを特徴とする請求項１又は２に記載の車両データシステム（１０）。
【請求項6】
周辺捕捉センサ（１）の入力データＸに加え、付加的にメタ情報も伝達され、該メタ情報が、以下のグループの一つの、或いは、複数の情報：最新のソフトウェアバージョン、モニタシステムの算出されたスコア、ＧＰＳデータ、日付、時刻、車両識別番号（ＦＩＮ＝Ｆａｈｒｚｅｕｇ－Ｉｄｅｎｔｉｆｉｋａｔｉｏｎｓ－Ｎｕｍｍｅｒ）、及び、現場状況（シーン）及び／或いは車両状況を把握することを可能にするクラウドデータ；に対応していることを特徴とする請求項１又は２に記載の車両データシステム（１０）。
【請求項7】
周辺検出システム（１６）が、複数の周辺捕捉センサ（１）の入力データＸを受信し、これらを一括に評価できる様に構成されていることを特徴とする請求項１又は２に記載の車両データシステム（１０）。
【請求項8】
モニタシステム（１５）が、周辺捕捉センサ（１）の入力データＸを、周辺検出システム（１６）と並列に処理する様に構成されていることを特徴とする請求項１又は２に記載の車両データシステム（１０）。
【請求項9】
モニタシステム（１５）が、付加的な検出ヘッドとして周辺検出システム（１６）に組み込まれており、且つ、モニタシステム（１５）と周辺検出システム（１６）が、共通のエンコーダを使用することを特徴とする請求項１又は２に記載の車両データシステム（１０）。
【請求項10】
周辺捕捉センサ（１）の入力データが、画像データであり、且つ、モニタシステム（１５）が、画像全体又は画像の一部の抜粋を再現する様に構成されていることを特徴とする請求項１又は２に記載の車両データシステム（１０）。
【請求項11】
モニタシステム（１５）が、不確実性尺度を割出し、出力する様に構成され、その際、該不確実性尺度が、モニタシステム（１５）が、再現データＸ’を出力する際どの程度確実なのかを与える値であることを特徴とする請求項１又は２に記載の車両データシステム（１０）。
【請求項12】
モニタシステム（１５）が、再現データＸ’の経時的な一貫性を考慮する様に構成されていることを特徴とする請求項１又は２に記載の車両データシステム（１０）。
【請求項13】
モニタシステム（１５）の再現データＸ’の入力データＸからの差異が、継続的なものであるか、或いは、限られた期間にのみ表れるのかも区別されることを特徴とする請求項１２に記載の車両データシステム。
【請求項14】
周辺検出システム（１６）とモニタシステム（１５）の双方が、無線（ｏｖｅｒ ｔｈｅ ａｉｒ）アップデートできる様に構成されていることを特徴とする請求項１又は２に記載の車両データシステム。
【請求項15】
以下のステップを包含していることを特徴とする周辺捕捉センサ（１）の伝達する価値のある車両データを割り出すための方法：訓練済みの第一人工神経網を用いて実施される周辺検出システム（１６）による周辺捕捉センサ（１）の入力データＸを評価するステップ；
評価の際に割り出された周辺検出データＹ’を出力するステップ；
訓練済みの第二人工神経網ＫＲを用いて実施されるモニタシステム（１５）による周辺捕捉センサ（１）の同一の入力データＸを評価するステップ；
評価の際に割り出された再現データＸ’を出力するステップ；並びに、
閾値を超える入力データＸに対する再現データＸ’の差異が確認された場合に、独立したデータユニット（２０）への入力データＸの伝達を指示するステップ。
【国際調査報告】