特表 2024-542050 機械学習システムの出力データの不確実性を定量化する方法およびシステムならびに機械学習システムを訓練する方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公表特許公報(A)

(11)【公表番号】

(43)【公表日】2024-11-13

(54)【発明の名称】機械学習システムの出力データの不確実性を定量化する方法およびシステムならびに機械学習システムを訓練する方法

(51)【国際特許分類】

   G06N 20/00 20190101AFI20241106BHJP

   G06N 3/09 20230101ALI20241106BHJP

   G06N 3/0464 20230101ALI20241106BHJP

【ＦＩ】

G06N20/00 130

G06N3/09

G06N3/0464

【審査請求】有

【予備審査請求】未請求

(21)【出願番号】P 2024525881

(86)(22)【出願日】2022-11-24

(85)【翻訳文提出日】2024-05-01

(86)【国際出願番号】 DE2022200275

(87)【国際公開番号】W WO2023093953

(87)【国際公開日】2023-06-01

(31)【優先権主張番号】102021213392.4

(32)【優先日】2021-11-29

(33)【優先権主張国・地域又は機関】DE

(81)【指定国・地域】

(71)【出願人】

【識別番号】322007626

【氏名又は名称】コンチネンタル・オートナマス・モビリティ・ジャーマニー・ゲゼルシャフト・ミト・ベシュレンクテル・ハフツング

(74)【代理人】

【識別番号】100069556

【弁理士】

【氏名又は名称】江崎 光史

(74)【代理人】

【識別番号】100111486

【弁理士】

【氏名又は名称】鍛冶澤 實

(74)【代理人】

【識別番号】100191835

【弁理士】

【氏名又は名称】中村 真介

(74)【代理人】

【識別番号】100221981

【弁理士】

【氏名又は名称】石田 大成

(74)【代理人】

【識別番号】100191938

【弁理士】

【氏名又は名称】高原 昭典

(72)【発明者】

【氏名】シュタウデンマイアー・アルミン

(72)【発明者】

【氏名】ナッケン・カール・マティアス

(57)【要約】

本発明は、出力データ（Ｙ’）の不確実性（Ｕ）を定量化する機械学習システム（１）を訓練する方法に関する。ここでは、訓練入力データ（Ｘ）と訓練目標値（Ｙ）とを含む訓練データ（Ｘ，Ｙ）が供給される。訓練データ（Ｘ，Ｙ）を用いて、機械学習システム（１）が、訓練入力データ（Ｘ）の入力の際に、訓練目標値（Ｙ）に類似する出力データ（Ｙ’）を生成し、訓練データ（Ｘ，Ｙ）の既知度の尺度を表す再構築データ（Ｘ’；Ｙ”）を生成するように、機械学習システム（１）のパラメータは調整される。また、本発明は、機械学習システム（１）の出力データ（Ｙ’）の不確実性（Ｕ）を定量化する方法であって、機械学習システム（１）が上記方法により訓練されたものである、方法に関する。ここでは、機械学習システム（１）により、入力データ（Ｘ）から出力データ（Ｙ’）が生成され、機械学習システム（１）により、再構築データ（Ｘ’；Ｙ”）が生成される。メトリック（４）と再構築データ（Ｘ’；Ｙ”）と再構築データ（Ｘ’；Ｙ”）に対応するデータ（Ｘ；Ｙ’）とを用いて、差分値が生成され、差分値は、入力データ（Ｘ）に関する訓練データ（Ｘ，Ｙ）の既知度の尺度であり、出力データ（Ｙ’）の不確実性（Ｕ）を定量化し、出力データ（Ｙ’）に割り当てられる。

【特許請求の範囲】

【請求項1】

出力データ（Ｙ’）の不確実性（Ｕ）を定量化する機械学習システム（１）を訓練する方法であって、訓練入力データ（Ｘ）と訓練目標値（Ｙ）とを含む訓練データ（Ｘ，Ｙ）が供給され、前記訓練データ（Ｘ，Ｙ）を用いて、前記機械学習システム（１）が、
前記訓練入力データ（Ｘ）の入力の際に、前記訓練目標値（Ｙ）に類似する出力データ（Ｙ’）を生成し、
訓練データ（Ｘ，Ｙ）の既知度の尺度を表す再構築データ（Ｘ’；Ｙ”）を生成するように、前記機械学習システム（１）のパラメータは調整される、方法。

【請求項2】

前記再構築データ（Ｘ’）は、前記訓練入力データ（Ｘ）に類似する、請求項１に記載の方法。

【請求項3】

前記再構築データ（Ｙ”）は、前記訓練目標値（Ｙ）に類似し、前記再構築データ（Ｙ”）と前記訓練目標値（Ｙ）との間の差分は、前記出力データ（Ｙ’）と前記訓練目標値（Ｙ）との間の差分よりも小さい、請求項１に記載の方法。

【請求項4】

前記再構築データ（Ｘ’；Ｙ”）を生成するために、前記訓練入力データ（Ｘ）および／または前記出力データ（Ｙ’）が入力として用いられる、請求項１～３の何れか１項に記載の方法。

【請求項5】

前記機械学習システム（１）はニューラルネットワーク、特に、畳み込みニューラルネットワークである、請求項１～４の何れか１項に記載の方法。

【請求項6】

前記入力データ（Ｘ）は、特に、車両の、センサデータ、特に、画像データ、レーダデータおよび／またはライダデータを含む、請求項１～５の何れか１項に記載の方法。

【請求項7】

機械学習システム（１）の出力データ（Ｙ’）の不確実性（Ｕ）を定量化する方法であって、前記機械学習システム（１）が請求項１～６の何れか１項に記載の機械学習システム（１）を訓練する方法により訓練されたものである、方法において、
前記機械学習システム（１）により、入力データ（Ｘ）から出力データ（Ｙ’）が生成され、
前記機械学習システム（１）により、再構築データ（Ｘ’；Ｙ”）が生成され、
メトリック（４）と前記再構築データ（Ｘ’；Ｙ”）と前記再構築データ（Ｘ’；Ｙ”）に対応するデータ（Ｘ；Ｙ’）とを用いて、差分値が生成され、前記差分値は、前記入力データ（Ｘ）に関する訓練データ（Ｘ，Ｙ）の既知度の尺度であり、前記出力データ（Ｙ’）の不確実性（Ｕ）を定量化し、前記出力データ（Ｙ’）に割り当てられる、方法。

【請求項8】

前記再構築データ（Ｘ’）に対応する前記データは、前記入力データ（Ｘ）である、請求項７に記載の方法。

【請求項9】

前記再構築データ（Ｘ’）に対応する前記データは、前記入力データ（Ｘ）から生成された前記出力データ（Ｙ’）である、請求項７に記載の方法。

【請求項10】

前記再構築データ（Ｘ’；Ｙ”）を生成するために、前記入力データ（Ｘ）および／または前記入力データ（Ｘ）から生成された前記出力データ（Ｙ’）が用いられる、請求項７～９の何れか１項に記載の方法。

【請求項11】

前記メトリック（４）は、前記再構築データ（Ｘ’；Ｙ”）および前記再構築データ（Ｘ’；Ｙ”）に対応する前記データ（Ｘ；Ｙ’）Ｖの一部のみに適用される、請求項７～１０の何れか１項に記載の方法。

【請求項12】

不確実性（Ｕ）が所定値を超過している出力データ（Ｙ’）に関して、不確実性警告が発せられる、請求項７～１１の何れか１項に記載の方法。

【請求項13】

不確実性（Ｕ）が所定値を超過している出力データ（Ｙ’）に関して、前記機械学習システム（１）をさらに訓練するための前記入力データ（Ｘ）が保存される、請求項７～１２の何れか１項に記載の方法。

【請求項14】

機械学習システム（１）の出力データ（Ｙ’）の不確実性（Ｕ）を定量化するシステムであって、
入力データ（Ｘ）を受信する入力ユニット（７）と、
請求項７～１３の何れか１項に記載の方法を実行するように構成されている計算ユニット（８）と、
前記計算ユニット（８）により生成された前記出力データ（Ｙ’）、前記出力データ（Ｙ’）の不確実性（Ｕ）および／または不確実性警告を出力する出力ユニット（９）とを備える、システム。

【請求項15】

請求項１４に記載の出力データ（Ｙ’）の不確実性（Ｕ）を定量化するシステム（６）を備える車両。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、機械学習に関する。特に、本発明は、不確実性を定量化する機械学習システムを訓練する方法、機械学習システムの出力データの不確実性を定量化する方法、機械学習システムの出力データの不確実性を定量化するシステムおよび出力データの不確実性を定量化するシステムを備える車両に関する。

【背景技術】

【0002】

多くの分野において、機械学習は高い価値を有するツールになっている。また、ここでは、機械学習システムの出力の不確実性の信頼性高い推定に一段と依存している。

【0003】

このように、例えば、自動運転において、分類出力における不確実性の信頼性高い推定は、安全性に関連する側面である。この場合、システムにとって不確かであるような状況が検出され、制御が運転者に委譲されるか減速が行われることにより、事故を回避することができる。

【0004】

特に、畳み込みニューラルネットワークにおいて、不確実性の推定が困難な課題であるのは、この場合、分類誤りは畳み込みニューラルネットワークの非線形性に起因して実際の不確実性と相関性を有さないためである。また、例えば、非線形の活性化関数を有するさらなる層の追加により、またはノミネーション手法により、畳み込みニューラルネットワークが複雑になるほど、この影響は強まる。

【0005】

公知の不確実性を計算する方法は、モンテカルロドロップアウト法とアンサンブル法である。両方法は、入力信号について複数の結果を生成する、統計的分類結果散布モデリングの原理に基づいている。これら結果が互いに異なるほど、不確実性は大きくなる。このために、モンテカルロドロップアウト法の場合にはランダムにネットワークの重みが切り替えられる一方、アンサンブル法の場合にはアンサンブルのメンバ毎に出力が生成される。この場合、代表統計には多数の結果が必要とされる。このために必要とされる高度な計算複雑性のため、これらの方法は、一般に、リアルタイムシステムでの実装に適していない。さらに、アンサンブル法には大きいメモリコストが必要とされる。

【先行技術文献】

【非特許文献】

【0006】

【非特許文献1】Ｂ． Ｌａｋｓｈｍｉｎａｒａｙａｎａｎ， Ａ． Ｐｒｉｔｚｅｌ， Ｃ． Ｂｌｕｎｄｅｌｌ， “Ｓｉｍｐｌｅ ａｎｄ Ｓｃａｌａｂｌｅ Ｐｒｅｄｉｃｔｉｖｅ Ｕｎｃｅｒｔａｉｎｔｙ Ｅｓｔｉｍａｔｉｏｎ ｕｓｉｎｇ Ｄｅｅｐ Ｅｎｓｅｍｂｌｅｓ” （ａｒＸｉｖ：１６１２．０１４７４， ２０１７）

【非特許文献2】Ｃ． Ｇｕｏ， Ｇ． Ｐｌｅｉｓｓ， Ｙ． Ｓｕｎ， Ｋ． Ｗｅｉｎｂｅｒｇｅｒ， “Ｏｎ Ｃａｌｉｂｒａｔｉｏｎ ｏｆ Ｍｏｄｅｒｎ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋｓ” （ａｒＸｉｖ：１７０６．０４５９９， ２０１７）

【発明の概要】

【発明が解決しようとする課題】

【0007】

従って、本発明の課題は、適度な計算コストで機械学習システムの出力データの不確実性を定量化する方法を提供することである。本課題は独立請求項の主題により解決される。本発明の発展形態は従属請求項および以下の説明から明らかになる。

【課題を解決するための手段】

【0008】

本発明の１つの態様は、出力データの不確実性を定量化する機械学習システムを訓練する方法に関する。この場合、訓練入力データと訓練目標値とを含む訓練データが供給される。ここで、訓練目標値は、各々の訓練入力データに割り当てられる。この場合、訓練目標値は、例えば、手動で個々の訓練入力データについて作成されたものであり、例えば、訓練入力データの分類を表す。

【0009】

訓練データを用いて、機械学習システムは訓練され、言い換えれば、機械学習システムが、訓練入力データの入力の際に、訓練目標値に類似する出力データを生成するように、機械学習システムのパラメータは調整される。パラメータは、例えば、ニューラルネットワークの場合、個々の入力値とニューロンとの間の重みを含む。ここで、機械学習システムの訓練は、多数の学習法が周知となっている教師あり学習方法を用いて行われる。このようにして、例えば、ニューラルネットワークを訓練するために、誤差逆伝播法を用いることができる。この場合、訓練の間に、出力データと訓練目標値との間の誤差が可能な限り小さくなるように、機械学習システムのパラメータは調整される。ここで、出力データと訓練目標値との間の誤差は、例えば、出力データと訓練目標値との間の距離および出力データについてその対応するメトリックを介して決定される。なお、ここでは、過学習が回避されるが、これは、例えば、テスト入力データから生成された出力データとそれに対応するテスト目標値との間の誤差を考慮に入れることにより達成される。その際、テスト目標値はテスト入力データに割り当てられ、テスト入力データおよびテスト目標値は機械学習システムのパラメータの調整には用いられない。

【0010】

また、訓練データを用いて、機械学習システムが再構築データを生成するように、機械学習システムのパラメータは調整される。ここで、再構築データは訓練データの既知度の尺度を表す。訓練された学習システムを用いて処理すべき入力データについて訓練データが既知である場合、機械学習システムの出力データの不確実性は小さい。その一方、訓練された学習システムを用いて処理すべき入力データについて訓練データがほぼ未知であるか全く未知である場合、機械学習システムの出力データの不確実性は大きい。つまり、再構築データを介して、機械学習システムの出力データの不確実性を定量化することができる。その際、計算コストは適度であり、再構築データを計算するための追加の計算コストは、最大でも、例えば、出力データを計算するための計算コストと一致するに過ぎない。また、再構築データの計算は、既に利用可能となっている訓練データに基づいて行われることから、ここでは、さらなる入力は必要とされない。

【0011】

ここで、再構築データは、出力データを生成する機械学習システムのさらなる出力として生成されてよい。代替的に、機械学習システムは２つのサブシステムを備えてよく、第１サブシステムは出力データを生成し、第２サブシステムは再構築データを生成する。機械学習システムの２つのサブシステムにより出力データと再構築データが生成される場合、両サブシステムの訓練が同一の訓練データに基づいていることが重要であるのは、このことによってのみ、再構築データは、出力データの生成に用いられた同じ訓練データの既知度の尺度を表すからである。

【0012】

いくつかの実施形態において、再構築データは訓練入力データに類似する。つまり、再構築データと訓練入力データとの間の誤差が可能な限り小さくなるように、機械学習システムのパラメータは調整される。言い換えれば、再構築データを介して入力データは再構築される。

【0013】

いくつかの実施形態において、再構築データは訓練目標値に類似し、再構築データと訓練目標値との間の差分は出力データと訓練目標値との間の差分よりも小さい。つまり、再構築データと訓練目標値との間の誤差が出力データと訓練目標値との間の誤差よりも小さくなるように、機械学習システムのパラメータは調整される。過学習を回避しながら、出力データと訓練目標値との間の誤差が可能な限り小さいように、機械学習システムのパラメータは既に調整されているため、このことは、再構築データを生成するために機械学習システムの過学習が行われることを意味する。

【0014】

いくつかの実施形態において、再構築データを生成するために、訓練入力データが入力として用いられる。このことは、再構築データが出力データを生成する機械学習システムのさらなる出力として生成される場合にも、再構築データが機械学習システムの第２サブシステムにより生成される場合にも、可能である。代替的または追加的に、出力データは再構築データを生成するための入力として用いられてよい。このためには、まず、出力データが利用可能である必要があるため、このことは、再構築データが機械学習システムの第２サブシステムにより生成される場合にのみ可能である。従って、この場合、機械学習システムの第１サブシステムの出力は、機械学習システムの第２サブシステムのための入力として用いられる。

【0015】

いくつかの実施形態において、機械学習システムはニューラルネットワークである。ここで、ニューラルネットワークが上記方法に特に好適であるのは、ニューラルネットワークは簡単に調整することが可能だからである。ここで、ニューラルネットワークは、特に、畳み込みニューラルネットワークである。この場合、畳み込みニューラルネットワークの非線形性は、上記方法のユーザビリティに関して問題とはならない。

【0016】

その一方、上記方法は、他の機械学習システム、例えば、決定木学習、サポートベクタマシン、回帰分析またはベイジアンネットワークを用いて適用されてもよい。また、上記方法をマルチタスク分類システムにおいて適用することができる。この場合、マルチタスク分類システムは、例えば、エンコーダと多数のデコーダとを備える。ここで、各デコーダに関して、再構築データが生成され、それに応じて機械学習システムのパラメータが調整される。また、機械学習システムを複数のサブシステムに分割することができる。この場合、各サブシステムは本開示の機械学習システムの機能性を有している一方、サブシステムは、例えば、機械学習システムのタイプまたは訓練データの選択の点において、互いに異なる。その場合、サブシステムを用いて生成された出力データを組み合わせることができ、これにより、改善された出力を得ることができる。

【0017】

いくつかの実施形態において、入力データは、センサデータ、特に、画像データ、レーダデータおよび／またはライダデータを含む。画像データの場合の例として、再構築データは、再構築データが訓練入力データに類似する場合には、原画像の再構築を表す。この場合、原画像を精確に再構築することができるほど、この画像に関する訓練データは既知になり、出力データの不確実性は小さくなる。

【0018】

ここで、入力データは車両のセンサデータであってよい。この場合、出力データは、例えば、センサデータに記録された物体の分類である。このようにして、上記方法は、自動運転システム用に出力データの不確実性を定量化するために適用することができる。

【0019】

本発明のさらなる態様は、機械学習システムの出力データの不確実性を定量化する方法であって、機械学習システムが上記機械学習システムを訓練する方法により訓練されたものである、方法に関する。

【0020】

従って、機械学習システムは、例えば、決定木学習システム、サポートベクタマシン、回帰分析に基づく学習システム、ベイジアンネットワーク、ニューラルネットワークまたは畳み込みニューラルネットワークであってよい。また、機械学習システムは、マルチタスク分類システムであってよい。また、機械学習システムは、２つのサブシステムを含んでよい。

【0021】

機械学習システムにより、入力データから出力データが生成される。ここで、入力データは、例えば、センサデータ、特に、画像データ、レーダデータおよび／またはライダデータであってよく、例えば、車両により取得されてよい。出力データは、入力データの分類、従って、例えば、センサデータに記録された物体の分類であってよい。

【0022】

また、機械学習システムにより、再構築データが生成される。ここで、再構築データと再構築データに対応するデータから、メトリックを用いて、差分値が生成される。この場合、この差分値は、入力データに関する訓練データの既知度の尺度である。従って、差分値は、出力データの不確実性を定量化し、出力データに割り当てられる。

【0023】

従って、不確実性の定量化は、訓練された機械学習システムを用いることにより達成され、このため、計算コストは、最大でも、例えば、出力データを計算するための計算コストと一致するに過ぎない。

【0024】

ここで用いられるメトリックは、再構築データと再構築データに対応するデータがどのようなデータであるかに依存する。そのようなメトリックの例は、距離メトリックまたは類似度尺度、例えば、平均二乗誤差、平均絶対誤差、構造的類似度指標または二値交差エントロピである。

【0025】

また、不確実性推定の品質を決定することができる。このための公知の手法は、例えば、非特許文献１または非特許文献２に認められる。

【0026】

いくつかの実施形態において、再構築データに対応するデータは、入力データである。この場合、機械学習システムは、訓練の際に取得した再構築データが訓練入力データに類似するように、訓練されている。従って、メトリックを用いて再構築データと入力データから差分値が生成される。入力データに類似していた訓練入力データが存在していた場合、再構築データも入力データに類似することになり、従って、差分値は小さくなる。この場合、訓練入力データに類似していた入力データが存在していたため、再構築データも誤差が小さいことが予測されることから、良好な出力データによる小さい差分値となり、従って、小さい不確実性が出力データにおいて得られる。その一方、入力データに類似していた訓練入力データが存在していなかった場合、再構築データと入力データとの間には大きい差分が存在することから、差分値は大きい。これは、大きい不確実性に対応しており、入力データが訓練入力データの何れにも対応していないことに起因している。

【0027】

いくつかの実施形態において、再構築データに対応するデータは、入力データから生成された出力データである。この場合、機械学習システムは、訓練の際に取得した再構築データが訓練目標値に類似するように、訓練されているものであり、再構築データと訓練目標値との間の差分は訓練入力データから生成された出力データと訓練目標値との間の差分よりも小さいものであった。メトリックを用いて算出された、再構築データと出力データとの間の差分が小さい場合、このことは、入力データに類似していた訓練入力データが存在していたことを示しているため、出力データの不確実性も小さい。その一方、メトリックを用いて算出された、再構築データと出力データとの間の差分が大きい場合、このことは、入力データに類似していた訓練入力データが存在していなかったことを示しており、そのため、これに対応して、出力データの不確実性は大きい。

【0028】

メトリックを用いて算出された、再構築データと出力データとの間の差分が小さい場合、再構築データは、機械学習システムの出力を改善するために用いることができる。このために、例えば、出力データの代わりに、機械学習システムの訓練に基づいて出力データよりもさらに精確な結果を表すことができる再構築データが出力されてよい。代替的に、例えば、出力データの代わりに、同様に、出力データよりもさらに精確な結果を表すことができる出力データと再構築データの平均値が出力されてよい。

【0029】

いくつかの実施形態において、再構築データを生成するために、入力データが用いられる。代替的または追加的に、再構築データを生成するために、入力データから生成された出力データが用いられる。ここで、再構築データを生成するためにどのデータが用いられるかは、機械学習システムの訓練の際に再構築データを生成するためにどのデータが用いられたかに基づく。

【0030】

いくつかの実施形態において、メトリックは、再構築データおよび再構築データに対応するデータの一部のみに適用される。このようにして、例えば、メトリックは、例えば、バウンディングボックスを用いて限定され、特に、検出された物体を含む、画像の一部のみに適用されてよい。この場合、不確実性は、この物体の分類において別途分析される。さらなる一例として、メトリックは、例えば、小さい詳細点がどちらかと言えば重要ではないとしてみなされるべき場合には、低い解像度を有する画像全体に対して適用されてもよい。

【0031】

いくつかの実施形態において、不確実性が所定値を超過している出力データに関して、不確実性警告が発せられる。この不確実性警告は、出力データを用いているシステムにより、これに対応して考慮されてよい。このようにして、例えば、機械学習システムを用いてセンサデータに基づいて検出された物体が決定的に重要である自動運転の際に、機械学習システムの出力データの不確実性が上昇した場合、これに対応する安全対策措置が開始されてよく、例えば、減速または運転者への車両制御の移譲が導入されてよい。

【0032】

いくつかの実施形態において、不確実性が所定値を超過している出力データに関して、機械学習システムをさらに訓練するための入力データが保存される。その次に、このようにして保存された入力データに関して、例えば、ユーザによる分類により、これに対応する目標値が生成される。この場合、入力データおよび目標値からなるこれら新規ペアは、機械学習システムの訓練の際に用いられるため、機械学習システムは、新規入力データに類似する入力データからも、信頼性高い出力データを生成することができる。

【0033】

本発明のさらなる態様は、機械学習システムの出力データの不確実性を定量化するシステムに関する。このシステムは、入力ユニットと計算ユニットと出力ユニットとを備える。ここで、入力ユニットは、入力データを受信するように構成されており、例えば、センサとのインタフェースとして構成されている。計算ユニットは、上記の機械学習システムの出力データの不確実性を定量化する方法を実行するように構成されている。ここでは、機械学習システムは、上記の機械学習システムを訓練する方法を用いて既に訓練されている。従って、計算ユニットは、入力データから出力データを生成し、再構築データを生成する。さらに、再構築データおよび再構築データに対応するデータから、計算ユニットは、出力データの不確実性を定量化する差分値を生成する。出力ユニットは、計算ユニットにより生成された出力データ、出力データの不確実性および／またはこの不確実性に基づく不確実性警告を出力するように構成されている。出力ユニットは、例えば、出力データをさらに処理するシステムとのインタフェースである。

【0034】

本発明のさらなる態様は、上記の出力データの不確実性を定量化するシステムを備える車両に関する。機械学習システムにより生成された出力データにおいて不確実性の上昇が検出されると、これに対応する措置が取られてよく、自動運転の場合には、例えば、減速または運転者への車両制御の移譲が行われ、安全性が著しく向上することになる。

【0035】

図面に記載されている実施形態に基づいて本発明をさらに詳細に説明する。これらの実施形態は例示に過ぎず、限定として理解されるべきではない。

【図面の簡単な説明】

【0036】

【図1a】図１ａは、機械学習システムを訓練する方法の実施形態例のフロー図である。

【図1b】図１ｂは、出力データの不確実性を定量化する図１ａの実施形態例に好適な方法のフロー図である。

【図2a】図２ａは、機械学習システムを訓練する方法のさらなる実施形態例のフロー図である。

【図2b】図２ｂは、出力データの不確実性を定量化する図２ａの実施形態例に好適な方法のフロー図である。

【図3a】図３ａは、機械学習システムを訓練する方法のさらなる実施形態例のフロー図である。

【図3b】図３ｂは、出力データの不確実性を定量化する図３ａの実施形態例に好適な方法のフロー図である。

【図4a】図４ａは、機械学習システムを訓練する方法のさらなる実施形態例のフロー図である。

【図4b】図４ｂは、出力データの不確実性を定量化する図４ａの実施形態例に好適な方法のフロー図である。

【図5a】図５ａは、機械学習システムを訓練する方法のさらなる実施形態例のフロー図である。

【図5b】図５ｂは、出力データの不確実性を定量化する図５ａの実施形態例に好適な方法のフロー図である。

【図6】図６は、出力データの不確実性を定量化するシステムを備える車両の実施形態例の概略図である。

【発明を実施するための形態】

【0037】

図１ａは、機械学習システム１を訓練する方法の実施形態例のフロー図を示し、図１ｂは、出力データＹ’の不確実性Ｕを定量化する図１ａの実施形態例に好適な方法のフロー図を示す。

【0038】

機械学習システム１、例えば、決定木学習システム、サポートベクタマシン、回帰分析に基づく学習システム、ベイジアンネットワーク、ニューラルネットワークまたは畳み込みニューラルネットワークを訓練するために、訓練入力データＸと訓練目標値Ｙが供給される。機械学習システム１を用いて、訓練入力データＸから、出力データＹ’、および訓練入力データＸに類似する再構築データＸ’が生成される。訓練の目的は、過学習を生じさせることなく出力データＹ’が訓練目標値Ｙに可能な限り類似すること、そして再構築データＸ’が訓練入力データに可能な限り類似することである。このために、生成された出力データＹ’と再構築データＸ’そして訓練目標値Ｙと訓練入力データＸから、誤差関数２を用いて、出力データＹ’と訓練目標値Ｙとの間そして再構築データＸ’と訓練入力データＸとの間に依然として存在する差分を算出する。この差分を、誤差逆伝播法３を用いて、機械学習システム１のパラメータを調整するために用いる。所定の一貫性が達成されるまで、または過学習の兆候が現れるまで、これを繰り返す。

【0039】

このようにして訓練された機械学習システム１を用いて、その次に、図１ｂに示されるように、入力データＸから出力データＹ’および再構築データＸ’が生成される。そして、再構築データＸ’と入力データＸとの差分はメトリック４を用いて決定される。このようにして決定された差分値は出力データＹ’の不確実性Ｕを定量化する。

【0040】

一例として、入力データＸは、画像の画像データであってよく、出力データＹ’は、画像に表されている物体に対応する分類データであってよい。機械学習システム１を用いて、原画像Ｘに類似する再構築画像Ｘ’を生成することができる場合、このことは、機械学習システム１の訓練の際に既に類似の入力データＸが利用可能であったことを示しているため、出力データＹ’の不確実性Ｕは小さい。その一方、再構築画像Ｘ’が原画像Ｘとは大きく異なる場合、このことは、機械学習システム１を訓練するために類似の入力データＸが用いられなかったことを示しているため、出力データＹ’の不確実性Ｕは大きい。

【0041】

図２ａおよび２ｂに示されている、機械学習システム１を訓練する、または出力データＹ’の不確実性Ｕを定量化する方法は、図１ａおよび１ｂに示されている方法とは、出力データＹ’および再構築データＸ’の生成が、共通の機械学習システム１によってではなく、機械学習システム１の第１サブシステム１．１または第２サブシステム１．２により行われるという点で異なる。その結果、第２サブシステム１．２の訓練は、例えば、第１サブシステム１．１の訓練の後に行われてもよく、その際、同一の訓練入力データＸを用いる必要があることには注意しなければならない。それ以外の点については、これらの方法は、図１ａおよび１ｂの方法と一致する。当然のことながら、誤差関数２および誤差逆伝播法３は機械学習システム１の各々のサブシステム１．１または１．２に対して調整されている。

【0042】

その一方、図３ａおよび３ｂに示されている、機械学習システム１を訓練する、または出力データＹ’の不確実性Ｕを定量化する方法において、機械学習システム１は、２つのサブシステム１．１および１．２を備える。サブシステム１．１は、入力データＸから出力データＹ’を生成し、サブシステム１．２の上流で訓練される。明瞭性の観点から、サブシステム１．１の訓練の図示をここでは省略している。サブシステム１．２はサブシステム１．１により生成された出力データＹ’を入力として取得し、これに基づいて、訓練目標値Ｙに類似する再構築データＹ”を生成する。ここで、サブシステム１．２を訓練するために、生成された再構築データＹ”は訓練目標値Ｙと比較され、サブシステム１．２のパラメータは、再構築データＹ”が訓練目標値Ｙに可能な限り類似するように、誤差逆伝播法３を用いて調整される。

【0043】

その次に、出力データＹ’の不確実性Ｕを定量化するために、出力データＹ’と再構築データＹ”との間の差分がメトリック４を用いて決定される。ここで、出力データＹ’と再構築データＹ”との間の高い類似度は、入力データＸに類似する訓練入力データＸが存在していたことを示しているため、出力データＹ’の不確実性Ｕは小さいと考えられる。その一方、出力データＹ’と再構築データＹ”との間の大きい差分は、入力データＸに類似する訓練入力データＸが存在していなかったことを示しているため、出力データＹ’の不確実性Ｕは大きいとして定量化される。

【0044】

図４ａおよび４ｂに示されている、機械学習システム１を訓練する、または出力データＹ’の不確実性Ｕを定量化する方法は、図３ａおよび３ｂに示されている方法とは、第２サブシステム１．２が、第１サブシステム１．１の出力データＹ’に加えて、訓練入力データＸまたは入力データＸも入力として用いるという点で異なる。これにより、出力データＹ’の不確実性Ｕの決定がさらに改善される。

【0045】

最後に、図５ａおよび５ｂに示されている、機械学習システム１を訓練する、または出力データＹ’の不確実性Ｕを定量化する方法は、図３ａおよび３ｂまたは図４ａおよび４ｂに示されている方法とは、第２サブシステム１．２が、入力データＸに対応する再構築データＸ’を生成するのであって、出力データＹ’に対応する再構築データＹ”を生成するのではないという点で異なる。ここでは、第２サブシステム１．２に関して、入力データとして訓練入力データＸまたは入力データＸを用いることは任意であるため、点線で示されている。

【0046】

図６は、出力データＹ’の不確実性Ｕを定量化するシステム６を備える車両５の実施形態例を示す。ここで、システム６は、入力ユニット７と計算ユニット８と出力ユニット９とを備える。この場合、入力ユニット７は、車両５のセンサ１０、例えば、画像センサ、レーダセンサまたはライダセンサによる入力データＸを受信する。その次に、受信した入力データＸは、出力データＹ’の不確実性Ｕを定量化する方法を実行する計算装置８に転送される。そして、このようにして生成された出力データＹ’および不確実性Ｕは、出力ユニット９を介して、車両５のさらなるシステム１１、例えば、自動運転用のシステム１１に転送される。出力データＹ’と共に、不確実性警告も送信されてよく、不確実性警告は、不確実性Ｕが所定値を超過している場合に発せられる。

【0047】

不確実性Ｕが大き過ぎる場合または不確実性警告が発せられた場合には、例えば、自動運転用のシステム１１は、車両５を減速させてよく、または車両制御を運転者に移譲してよい。

【図1a】

【図1b】

【図2a】

【図2b】

【図3a】

【図3b】

【図4a】

【図4b】

【図5a】

【図5b】

【図6】

【手続補正書】

【提出日】2024-05-01

【手続補正1】

【補正対象書類名】明細書

【補正対象項目名】００４７

【補正方法】変更

【補正の内容】

【0047】

不確実性Ｕが大き過ぎる場合または不確実性警告が発せられた場合には、例えば、自動運転用のシステム１１は、車両５を減速させてよく、または車両制御を運転者に移譲してよい。
なお、本願は、特許請求の範囲に記載の発明に関するものであるが、他の観点として以下も含む。
１．
出力データ（Ｙ’）の不確実性（Ｕ）を定量化する機械学習システム（１）を訓練する方法であって、訓練入力データ（Ｘ）と訓練目標値（Ｙ）とを含む訓練データ（Ｘ，Ｙ）が供給され、前記訓練データ（Ｘ，Ｙ）を用いて、前記機械学習システム（１）が、
前記訓練入力データ（Ｘ）の入力の際に、前記訓練目標値（Ｙ）に類似する出力データ（Ｙ’）を生成し、
訓練データ（Ｘ，Ｙ）の既知度の尺度を表す再構築データ（Ｘ’；Ｙ”）を生成するように、前記機械学習システム（１）のパラメータは調整される、方法。
２．
前記再構築データ（Ｘ’）は、前記訓練入力データ（Ｘ）に類似する、上記１に記載の方法。
３．
前記再構築データ（Ｙ”）は、前記訓練目標値（Ｙ）に類似し、前記再構築データ（Ｙ”）と前記訓練目標値（Ｙ）との間の差分は、前記出力データ（Ｙ’）と前記訓練目標値（Ｙ）との間の差分よりも小さい、上記１に記載の方法。
４．
前記再構築データ（Ｘ’；Ｙ”）を生成するために、前記訓練入力データ（Ｘ）および／または前記出力データ（Ｙ’）が入力として用いられる、上記１～３の何れか１つに記載の方法。
５．
前記機械学習システム（１）はニューラルネットワーク、特に、畳み込みニューラルネットワークである、上記１～４の何れか１つに記載の方法。
６．
前記入力データ（Ｘ）は、特に、車両の、センサデータ、特に、画像データ、レーダデータおよび／またはライダデータを含む、上記１～５の何れか１つに記載の方法。
７．
機械学習システム（１）の出力データ（Ｙ’）の不確実性（Ｕ）を定量化する方法であって、前記機械学習システム（１）が上記１～６の何れか１つに記載の機械学習システム（１）を訓練する方法により訓練されたものである、方法において、
前記機械学習システム（１）により、入力データ（Ｘ）から出力データ（Ｙ’）が生成され、
前記機械学習システム（１）により、再構築データ（Ｘ’；Ｙ”）が生成され、
メトリック（４）と前記再構築データ（Ｘ’；Ｙ”）と前記再構築データ（Ｘ’；Ｙ”）に対応するデータ（Ｘ；Ｙ’）とを用いて、差分値が生成され、前記差分値は、前記入力データ（Ｘ）に関する訓練データ（Ｘ，Ｙ）の既知度の尺度であり、前記出力データ（Ｙ’）の不確実性（Ｕ）を定量化し、前記出力データ（Ｙ’）に割り当てられる、方法。
８．
前記再構築データ（Ｘ’）に対応する前記データは、前記入力データ（Ｘ）である、上記７に記載の方法。
９．
前記再構築データ（Ｘ’）に対応する前記データは、前記入力データ（Ｘ）から生成された前記出力データ（Ｙ’）である、上記７に記載の方法。
１０．
前記再構築データ（Ｘ’；Ｙ”）を生成するために、前記入力データ（Ｘ）および／または前記入力データ（Ｘ）から生成された前記出力データ（Ｙ’）が用いられる、上記７～９の何れか１つに記載の方法。
１１．
前記メトリック（４）は、前記再構築データ（Ｘ’；Ｙ”）および前記再構築データ（Ｘ’；Ｙ”）に対応する前記データ（Ｘ；Ｙ’）Ｖの一部のみに適用される、上記７～１０の何れか１つに記載の方法。
１２．
不確実性（Ｕ）が所定値を超過している出力データ（Ｙ’）に関して、不確実性警告が発せられる、上記７～１１の何れか１つに記載の方法。
１３．
不確実性（Ｕ）が所定値を超過している出力データ（Ｙ’）に関して、前記機械学習システム（１）をさらに訓練するための前記入力データ（Ｘ）が保存される、上記７～１２の何れか１つに記載の方法。
１４．
機械学習システム（１）の出力データ（Ｙ’）の不確実性（Ｕ）を定量化するシステムであって、
入力データ（Ｘ）を受信する入力ユニット（７）と、
上記７～１３の何れか１つに記載の方法を実行するように構成されている計算ユニット（８）と、
前記計算ユニット（８）により生成された前記出力データ（Ｙ’）、前記出力データ（Ｙ’）の不確実性（Ｕ）および／または不確実性警告を出力する出力ユニット（９）とを備える、システム。
１５．
上記１４に記載の出力データ（Ｙ’）の不確実性（Ｕ）を定量化するシステム（６）を備える車両。

【手続補正2】

【補正対象書類名】特許請求の範囲

【補正対象項目名】全文

【補正方法】変更

【補正の内容】

【特許請求の範囲】

【請求項1】

出力データ（Ｙ’）の不確実性（Ｕ）を定量化する機械学習システム（１）を訓練する方法であって、訓練入力データ（Ｘ）と訓練目標値（Ｙ）とを含む訓練データ（Ｘ，Ｙ）が供給され、前記訓練データ（Ｘ，Ｙ）を用いて、前記機械学習システム（１）が、
前記訓練入力データ（Ｘ）の入力の際に、前記訓練目標値（Ｙ）に類似する出力データ（Ｙ’）を生成し、
訓練データ（Ｘ，Ｙ）の既知度の尺度を表す再構築データ（Ｘ’；Ｙ”）を生成するように、前記機械学習システム（１）のパラメータは調整される、方法。

【請求項2】

前記再構築データ（Ｘ’）は、前記訓練入力データ（Ｘ）に類似する、請求項１に記載の方法。

【請求項3】

前記再構築データ（Ｙ”）は、前記訓練目標値（Ｙ）に類似し、前記再構築データ（Ｙ”）と前記訓練目標値（Ｙ）との間の差分は、前記出力データ（Ｙ’）と前記訓練目標値（Ｙ）との間の差分よりも小さい、請求項１に記載の方法。

【請求項4】

前記再構築データ（Ｘ’；Ｙ”）を生成するために、前記訓練入力データ（Ｘ）および／または前記出力データ（Ｙ’）が入力として用いられる、請求項１に記載の方法。

【請求項5】

前記機械学習システム（１）はニューラルネットワーク、特に、畳み込みニューラルネットワークである、請求項１に記載の方法。

【請求項6】

前記入力データ（Ｘ）は、特に、車両の、センサデータ、特に、画像データ、レーダデータおよび／またはライダデータを含む、請求項１に記載の方法。

【請求項7】

機械学習システム（１）の出力データ（Ｙ’）の不確実性（Ｕ）を定量化する方法であって、前記機械学習システム（１）が請求項１に記載の機械学習システム（１）を訓練する方法により訓練されたものである、方法において、
前記機械学習システム（１）により、入力データ（Ｘ）から出力データ（Ｙ’）が生成され、
前記機械学習システム（１）により、再構築データ（Ｘ’；Ｙ”）が生成され、
メトリック（４）と前記再構築データ（Ｘ’；Ｙ”）と前記再構築データ（Ｘ’；Ｙ”）に対応するデータ（Ｘ；Ｙ’）とを用いて、差分値が生成され、前記差分値は、前記入力データ（Ｘ）に関する訓練データ（Ｘ，Ｙ）の既知度の尺度であり、前記出力データ（Ｙ’）の不確実性（Ｕ）を定量化し、前記出力データ（Ｙ’）に割り当てられる、方法。

【請求項8】

前記再構築データ（Ｘ’）に対応する前記データは、前記入力データ（Ｘ）である、請求項７に記載の方法。

【請求項9】

前記再構築データ（Ｘ’）に対応する前記データは、前記入力データ（Ｘ）から生成された前記出力データ（Ｙ’）である、請求項７に記載の方法。

【請求項10】

前記再構築データ（Ｘ’；Ｙ”）を生成するために、前記入力データ（Ｘ）および／または前記入力データ（Ｘ）から生成された前記出力データ（Ｙ’）が用いられる、請求項７に記載の方法。

【請求項11】

前記メトリック（４）は、前記再構築データ（Ｘ’；Ｙ”）および前記再構築データ（Ｘ’；Ｙ”）に対応する前記データ（Ｘ；Ｙ’）Ｖの一部のみに適用される、請求項７に記載の方法。

【請求項12】

不確実性（Ｕ）が所定値を超過している出力データ（Ｙ’）に関して、不確実性警告が発せられる、請求項７に記載の方法。

【請求項13】

不確実性（Ｕ）が所定値を超過している出力データ（Ｙ’）に関して、前記機械学習システム（１）をさらに訓練するための前記入力データ（Ｘ）が保存される、請求項７に記載の方法。

【請求項14】

機械学習システム（１）の出力データ（Ｙ’）の不確実性（Ｕ）を定量化するシステムであって、
入力データ（Ｘ）を受信する入力ユニット（７）と、
請求項７～１３の何れか１項に記載の方法を実行するように構成されている計算ユニット（８）と、
前記計算ユニット（８）により生成された前記出力データ（Ｙ’）、前記出力データ（Ｙ’）の不確実性（Ｕ）および／または不確実性警告を出力する出力ユニット（９）とを備える、システム。

【請求項15】

請求項１４に記載の出力データ（Ｙ’）の不確実性（Ｕ）を定量化するシステム（６）を備える車両。

【国際調査報告】