特表 2022-540171 人工ニューラルネットワークのよりロバストなトレーニング

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公表特許公報(A)

(11)【公表番号】

(43)【公表日】2022-09-14

(54)【発明の名称】人工ニューラルネットワークのよりロバストなトレーニング

(51)【国際特許分類】

   G06N 3/08 20060101AFI20220907BHJP

   G06N 20/00 20190101ALI20220907BHJP

   G06N 99/00 20190101ALI20220907BHJP

【ＦＩ】

G06N3/08

G06N20/00

G06N99/00 180

【審査請求】有

【予備審査請求】未請求

(21)【出願番号】P 2022501013

(86)(22)【出願日】2020-06-17

(85)【翻訳文提出日】2022-02-07

(86)【国際出願番号】 EP2020066772

(87)【国際公開番号】W WO2021004741

(87)【国際公開日】2021-01-14

(31)【優先権主張番号】102019210167.4

(32)【優先日】2019-07-10

(33)【優先権主張国・地域又は機関】DE

(81)【指定国・地域】

(71)【出願人】

【識別番号】390023711

【氏名又は名称】ローベルト ボツシユ ゲゼルシヤフト ミツト ベシユレンクテル ハフツング

【氏名又は名称原語表記】ＲＯＢＥＲＴ ＢＯＳＣＨ ＧＭＢＨ

【住所又は居所原語表記】Ｓｔｕｔｔｇａｒｔ， Ｇｅｒｍａｎｙ

(74)【代理人】

【識別番号】100114890

【弁理士】

【氏名又は名称】アインゼル・フェリックス＝ラインハルト

(74)【代理人】

【識別番号】100098501

【弁理士】

【氏名又は名称】森田 拓

(74)【代理人】

【識別番号】100116403

【弁理士】

【氏名又は名称】前川 純一

(74)【代理人】

【識別番号】100134315

【弁理士】

【氏名又は名称】永島 秀郎

(74)【代理人】

【識別番号】100162880

【弁理士】

【氏名又は名称】上島 類

(72)【発明者】

【氏名】フランク シュミット

(72)【発明者】

【氏名】トルステン ザクセ

(57)【要約】

複数の処理ユニット（２）を含む人工ニューラルネットワークＫＮＮ（１）を訓練するための方法（１００）であって、ＫＮＮ（１）が学習入力量値（１１ａ）をコスト関数（１６）に従って可能な限り良好に対応する学習出力量値（１３ａ）へマッピングする目的で、ＫＮＮ（１）の挙動を特徴付けるパラメータ（１２）を最適化し（１１０）、少なくとも１つの処理ユニット（２）の出力（２ｂ）にランダム値ｘを乗算し（１１２）、続いて少なくとも１つの他の処理ユニット（２’）に入力（２ａ）として供給し（１１３）、ランダム値ｘは、｜ｘ－ｑ｜の増加につれて減少する、｜ｘ－ｑ｜の指数関数を含む確率密度関数（４ａ）によって確率変数（４）から取り出され（１１１）、ここで、ｑは、任意に選択可能な位置パラメータであり、指数関数の引数における｜ｘ－ｑ｜は、ｋ≦１として、冪乗｜ｘ－ｑ｜^ｋに含まれる、方法に関する。人工ニューラルネットワークＫＮＮ（１）を訓練して動作させる方法（２００）にも関する。

【特許請求の範囲】

【請求項1】

複数の処理ユニット（２）を含む人工ニューラルネットワークＫＮＮ（１）を訓練するための方法（１００）であって、
前記ＫＮＮ（１）が学習入力量値（１１ａ）をコスト関数（１６）に従って可能な限り良好に対応する学習出力量値（１３ａ）へマッピングする目的で、前記ＫＮＮ（１）の挙動を特徴付けるパラメータ（１２）を最適化し（１１０）、
少なくとも１つの処理ユニット（２）の出力（２ｂ）にランダム値ｘを乗算し（１１２）、続いて少なくとも１つの他の処理ユニット（２’）に入力（２ａ）として供給し（１１３）、
前記ランダム値ｘは、予め定められた確率密度関数（４ａ）によって確率変数（４）から取り出され（１１１）、
前記確率密度関数（４ａ）は、｜ｘ－ｑ｜の増加につれて減少する、｜ｘ－ｑ｜の指数関数に比例し、ここで、ｑは、任意に選択可能な位置パラメータであり、指数関数の引数における｜ｘ－ｑ｜は、ｋ≦１として、冪乗｜ｘ－ｑ｜^ｋに含まれる、
方法（１００）。

【請求項2】

前記確率密度関数（４ａ）は、ラプラス分布関数である、
請求項１に記載の方法（１００）。

【請求項3】

前記ラプラス分布関数の前記確率密度Ｌ_ｂ（ｘ）は、

【数1】

かつ０≦ｐ＜１として、

【数2】

によって与えられる、
請求項２に記載の方法。

【請求項4】

前記ＫＮＮは、複数のレイヤ（３ａ～３ｃ）から構築されており、少なくとも１つのレイヤ（３ａ～３ｃ）における前記処理ユニット（２）に対して、前記ランダム値ｘは、同一の確率変数（４）から取り出される（１１１ａ）、
請求項１乃至３のいずれか一項に記載の方法（１００）。

【請求項5】

・トレーニング後、訓練されたＫＮＮ（１^＊）が検証入力量値（１１ｂ）を対応する検証出力量値（１３ｂ）へマッピングする際の精度（１４）を算定し（１２０）、
・前記パラメータ（１２）のそれぞれランダムな初期化（１２ａ）によってトレーニングを複数回反復し（１３０）、
・個々のトレーニング後にそれぞれ算定された精度（１４）にわたる分散度を当該トレーニングのロバストネス（１５）の尺度として算定する（１４０）、
請求項１乃至４のいずれか一項に記載の方法（１００）。

【請求項6】

前記指数関数における｜ｘ－ｑ｜の最大冪ｋ又は前記ラプラス確率密度Ｌ_ｂ（ｘ）の値ｐは、トレーニングのロバストネス（１５）を改善する目的で最適化される（１５０）、
請求項５に記載の方法（１００）。

【請求項7】

前記ＫＮＮ（１）のアーキテクチャを特徴付ける少なくとも１つのハイパーパラメータが、トレーニングのロバストネス（１５）を改善する目的で最適化される（１６０）、
請求項５又は６に記載の方法（１００）。

【請求項8】

前記ランダム値ｘは、前記ＫＮＮ（１）のトレーニングステップ中はそれぞれ一定に維持され（１１１ｂ）、各トレーニングステップ間に新たに前記確率変数（４）から取り出される（１１１ｃ）、
請求項１乃至７のいずれか一項に記載の方法（１００）。

【請求項9】

前記ＫＮＮ（１）は、分類器及び／又は回帰分析器として構成されている、
請求項１乃至８のいずれか一項に記載の方法（１００）。

【請求項10】

人工ニューラルネットワークＫＮＮ（１）を訓練して動作させる方法（２００）であって、
・前記ＫＮＮ（１）を、請求項１乃至９のいずれか一項に記載の方法（１００）によって訓練し（２１０）、
・物理的な測定プロセスによって及び／又は前記測定プロセスの部分的な若しくは完全なシミュレーションによって及び／又は前記測定プロセスによって監視可能な技術システムの部分的な若しくは完全なシミュレーションによって得られた測定データを、訓練されたＫＮＮ（１^＊）に入力量値（１１）として供給し（２２０）、
・前記訓練されたＫＮＮ（１^＊）から送出された出力量値（１３）に依存して、駆動制御信号（５）を形成し、
・車両（５０）及び／又は分類システム（６０）及び／又は大量生産される製品の品質管理システム（７０）及び／又は医用撮像システム（８０）を、駆動制御信号（５）によって駆動制御する（２３０）、
方法（２００）。

【請求項11】

ＫＮＮ（１）の挙動を特徴付けるパラメータ（１２）を含むパラメータセットであって、請求項１乃至９のいずれか一項に記載の方法（１００）によって得られるパラメータセット。

【請求項12】

１つ又は複数のコンピュータによって実行されるときに、前記１つ又は複数のコンピュータに、請求項１乃至１０のいずれか一項に記載の方法（１００，２００）を実施させるための機械可読命令を含むコンピュータプログラム。

【請求項13】

請求項１１に記載のパラメータセット及び／又は請求項１２に記載のコンピュータプログラムを含む機械可読データ担体及び／又はダウンロード製品。

【請求項14】

請求項１１に記載のパラメータセット、請求項１２に記載のコンピュータプログラム、及び／又は、請求項１３に記載の機械可読データ担体及び／又はダウンロード製品を含むコンピュータ。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、例えば分類器及び／又は回帰分析器として使用される人工ニューラルネットワークのトレーニングに関する。

【背景技術】

【0002】

従来技術
人工ニューラルネットワークＫＮＮ（英略号：ＡＮＮ）は、パラメータセットによって設定された挙動プロトコルに従って入力量値を出力量値へマッピングするように構成されている。挙動プロトコルは、言語規則の形態ではなく、パラメータセット内のパラメータの数値によって定められている。パラメータは、ＫＮＮのトレーニングの際に、ＫＮＮが学習入力量値を可能な限り良好に対応する学習出力量値へマッピングするように最適化される。以降、ＫＮＮにおいては、トレーニングの際に獲得された知識が適当に一般化されることが期待される。よって、入力量値は、その後トレーニングにおいて発生しなかった未知の状況に関連する場合にも、それぞれの用途に必要な出力量値へマッピングされなければならない。

【0003】

ＫＮＮのこうしたトレーニングの際には、基本的に、オーバーフィッティングの危険が存在する。これは、ＫＮＮが学習入力量値から学習出力量値への正しいマッピングをより大きい完全性により「暗記学習する」ことと引き換えに、新たな状況への一般化が損なわれることを意味する。

【0004】

（G.E.Hinton, N.Srivastava, A.Krizevsky, I.Sutskever, R. S. Salakhutdinov,“Improving neural networks by preventing co-adaptation of feature detectors”, arXiv:1207.0580 (2012)）には、オーバーフィッティングを抑制し、トレーニングの際に獲得された知識のより良好な一般化を達成するために、トレーニングの際にそれぞれランダム方式に従って利用可能な処理ユニットの１／２が不活性化（「ドロップアウト」）されることが開示されている。

【0005】

（S.I.Wang, C.D.Manning,“Fast dropout training”, Proceedings of the 30th International Conference on Machine Learning (2013)）には、処理ユニットが完全には不活性化されず、ガウス分布から得られたランダム値と乗算されることが開示されている。

【先行技術文献】

【非特許文献】

【0006】

【非特許文献1】G.E.Hinton, N.Srivastava, A.Krizevsky, I.Sutskever, R. S. Salakhutdinov,“Improving neural networks by preventing co-adaptation of feature detectors”, arXiv:1207.0580 (2012)

【非特許文献2】S.I.Wang, C.D.Manning,“Fast dropout training”, Proceedings of the 30th International Conference on Machine Learning (2013)

【発明の概要】

【課題を解決するための手段】

【0007】

発明の開示
本発明の範囲において、人工ニューラルネットワークＫＮＮ（英略号：ＡＮＮ）を訓練するための方法が開発されている。当該ＫＮＮは、例えば、ＫＮＮのニューロンに対応し得る複数の処理ユニットを含む。当該ＫＮＮは、入力量値をそれぞれの用途の意味において有意な出力量値へマッピングするために用いられる。

【0008】

ここで、「値」なる概念は、それぞれ次元に関して限定的なものではないと理解されたい。従って、画像は、例えば、個々のピクセルの強度値のそれぞれ１つずつの２次元アレイを有する３つの色平面から成るテンソルとして存在し得る。ＫＮＮは、当該画像の全体を入力量値として取り出し、これに例えば出力量値として分類のベクトルを割り当てることができる。当該ベクトルは、例えば分類の各クラスに対して示すことができ、その確率又は信頼度で対応するクラスのオブジェクトが画像内に存在する。ここでの画像は、例えば、少なくとも８×８ピクセル、１６×１６ピクセル、３２×３２ピクセル、６４×６４ピクセル、１２８×１２８ピクセル、２５６×２５６ピクセル又は５１２×５１２ピクセルのサイズを有し得るものであり、撮像センサ、例えば、ビデオセンサ、超音波センサ、レーダセンサ又はＬｉｄａｒセンサ又はサーモカメラによって撮影されたものであってよい。ＫＮＮは、特に、ディープニューラルネットワークであるものとしてよく、従って、少なくとも２つの隠れレイヤを含む。処理ユニットの数は、好適には大きく、例えば、１０００個超、好ましくは１００００個超である。

【0009】

ＫＮＮは、特に、算定された出力量値に依存して車両及び／又はロボット及び／又は生産機械及び／又はワークツール及び／又は監視カメラ及び／又は医用撮像システムを相応に駆動制御するための駆動制御信号を形成する制御システムに埋め込み可能である。

【0010】

トレーニングの際には、ＫＮＮの挙動を特徴付けるパラメータが最適化される。こうした最適化の目的は、ＫＮＮが学習入力量値をコスト関数に従って可能な限り良好に対応する学習出力量値へマッピングすることである。

【0011】

少なくとも１つの処理ユニットの出力にはランダム値ｘが乗算され、これが、続いて少なくとも１つの他の処理ユニットに入力として供給される。ここで、ランダム値ｘは、予め定められた確率密度関数によって確率変数から取り出される。このことは、確率変数からの取り出しの際にそれぞれ１つずつの新たなランダム値ｘが生じることを意味する。充分に大きい数のランダム値ｘが取り出されると、観察されている当該ランダム値ｘの頻度が近似的に予め定められた確率密度関数をマッピングする。

【0012】

確率密度関数は、絶対値が｜ｘ－ｑ｜の増加につれて減少する、｜ｘ－ｑ｜の指数関数に比例する。当該指数関数の引数における｜ｘ－ｑ｜は、ｋ≦１として、冪乗｜ｘ－ｑ｜^ｋに含まれる。ここで、ｑは、確率変数の中央値の位置を定める、任意に選択可能な位置パラメータである。

【0013】

驚くべきことに、オーバーフィッティングの傾向が上述した従来技術の方法に比較してさらに良好に抑制されることが認識された。これは、このようにして訓練されたＫＮＮが、それまで未知であった状況に関する入力量値が当該ＫＮＮに到来した場合にも、それぞれの用途の目的により設けられる出力量値を算定することができる状態にあることを意味する。

【0014】

ＫＮＮが特段の尺度でその一般化のための能力を確保しなければならない用途には、公共道路交通における車両の少なくとも部分的な自動運転がある。試験までに大抵の場合５０時間弱の操縦を行って１０００ｋｍ未満を走破する人間の運転者の修練と同様に、ＫＮＮも制限された状況セットにおけるトレーニングを受けることになる。ここで、制限の要因は、学習入力量値、例えば車両環境からのカメラ画像を学習出力量値、例えば画像内の可視のオブジェクトの分類によって「ラベリング」することが、多くの場合に人間の作業を必要とし、相応に高価となることである。同様に、確実性にとって必須なのは、後から交通に参入してくる特異な設計の自動車も自動車として認識されること、及び、気付かれにくいデザインの衣服を身に着けている歩行者が自由に走行可能な平面として分類されないようにすることである。

【0015】

従って、オーバーフィッティングの良好な抑制により、このようなまた別の安全性に関連する用途において、ＫＮＮから出力される出力量値が高度に信頼し得るものとなり、同等の安全性レベルを達成するのにわずかな量の学習データしか必要でなくなる。

【0016】

さらに、オーバーフィッティングの良好な抑制により、トレーニングのロバストネスも改善される効果が得られる。技術的に重要なロバストネスの基準は、トレーニング結果の品質がトレーニングに由来する出力状態にどの程度依存しているかということである。よって、ＫＮＮの挙動を特徴付けるパラメータは、通常、ランダムに初期化され、その後連続的に最適化される。多くの用途、例えば「敵対的生成ネットワーク」を用いた、例えばそれぞれ異なる画像スタイルを表現したドメイン間の画像の転送においては、ランダムな初期化から開始されるトレーニングが最終的に必要な結果を送出するかどうかの予測が困難となり得る。ここで、出願人の試験では、それぞれの用途のトレーニング結果が必要となるまで、しばしば複数回の試行が必要となることが判明している。

【0017】

オーバーフィッティングの良好な抑制により、この状況における成果のない試行にかかる計算時間、ひいてはエネルギ及び費用も節約される。

【0018】

オーバーフィッティングの良好な抑制の要因は、学習入力量値に含まれる、ＫＮＮの一般化のための能力に依存する分散度が処理ユニットのランダムな影響によって増加させられることである。上述した特性を有する確率密度関数は、ここでは、学習出力量値による学習入力量値の「ラベリング」において具現化されてトレーニングに使用された「グラウンドトゥルース」についての異論の少ない処理ユニットの影響を生成するという有利な作用を有する。

【0019】

｜ｘ－ｑ｜の冪乗｜ｘ－ｑ｜^ｋを指数ｋ≦１に限定することにより、特段の尺度でトレーニング時の特異点の発生に対抗する作用が生じる。トレーニングはしばしばコスト関数に関する勾配降下法によって行われる。このことは、ＫＮＮの挙動を特徴付けるパラメータがコスト関数の良好な値において予測される方向において最適化される。ただし、勾配の形成には、指数ｋ＞１で行われる微分が必要であり、このため、０の周囲の絶対値関数は、微分することができない。

【0020】

特に有利な一構成においては、確率密度関数は、ラプラス分布関数である。当該関数は、その中心に先鋭のピーク最大値を有しているが、確率密度は、当該最大値においても一定である。最大値は、例えば、ランダム値ｘが１であることを表すことができ、即ち、或る処理ユニットの出力を入力として他の処理ユニットへ変化なしに転送することができる。この場合、最大値の周囲には、１に近い多数のランダム値ｘが集中している。このことは、多数の処理ユニットの出力がわずかしか修正されないことを意味する。このように、学習出力量値による学習入力量値の「ラベリング」において得られる知識に対する言及した異論は抑制される。

【0021】

特に、ラプラス分布関数の確率密度Ｌ_ｂ（ｘ）は、例えば、

【数1】

かつ０≦ｐ＜１として、

【数2】

によって与えられ得る。

【0022】

ここで、ｑは、上述したように、任意に選定可能なラプラス分布の位置パラメータである。当該位置パラメータが例えば１にセットされると、確率密度の最大値Ｌ_ｂ（ｘ）は、上述したようにｘ＝１により仮定される。ラプラス分布のスケーリングパラメータｂは、パラメータｐによって表現され、これにより、設定された用途にとって有意な範囲が０≦ｐ＜１へ正規化される。

【0023】

特に有利な一構成においては、ＫＮＮは複数のレイヤから構築されている。少なくとも１つのレイヤ内の、上述したような出力とランダム値ｘとの乗算を行う処理ユニットにおいては、ランダム値ｘが同一の確率変数から取り出される。ランダム値ｘの確率密度がラプラス分散されている上述した実施例においては、このことは、総ての処理ユニットの値ｐが少なくとも１つのレイヤにおいて均等であることを意味する。このことは、ＫＮＮのレイヤが入力量値のそれぞれ異なる処理段を表し、各レイヤの複数の処理ユニットによって処理が集中的に並列化されるという事情を斟酌している。

【0024】

例えば、ＫＮＮの複数のレイヤは、画像内の特徴を識別するように構成されており、種々の複雑性を有する特徴の識別に用いられる。従って、例えば第１のレイヤにおいては、基本要素が識別可能であり、これに続く第２のレイヤにおいては、基本要素から成る特徴が識別可能である。

【0025】

このように、１つのレイヤの種々の処理ユニットが同様の種類のデータによって動作するので、１つのレイヤの内部におけるランダム値ｘによる出力の変化を同一の確率変数から引き出すと有利である。この場合、１つのレイヤの内部の異なる出力は、通常、異なるランダム値ｘによって変化している。ただし、１つのレイヤの内部で取り出される総てのランダム値ｘは、同一の確率密度関数に従って分布する。

【0026】

特に有利な他の一構成においては、トレーニング後、訓練されたＫＮＮが検証入力量値を対応する検証出力量値へマッピングする際の精度が算定される。トレーニングは、パラメータのそれぞれランダムな初期化によって複数回反復される。

【0027】

ここで、特に有利には、検証入力量値のうちの多数又は最良には総てが学習入力量値のセットに含まれない。この場合、精度の算定は、条件に応じたＫＮＮのオーバーフィッティングによる影響を受けない。

【0028】

個々のトレーニング後にそれぞれ算定された精度にわたる分散度は、当該トレーニングのロバストネスの尺度として算定される。精度の相互の差が小さくなるにつれて、ここでの尺度の意味におけるロバストネスがより良好となる。

【0029】

種々のランダムな初期化から開始されるトレーニングがＫＮＮの挙動を特徴付ける同一又は類似のパラメータを終了時に生じさせることは保証されていない。連続して開始された２つのトレーニングがパラメータの完全に異なるセットを結果として送出することもある。ただし、２つのパラメータセットによって特徴付けられるＫＮＮが検証データセットの適用の際に定性的に類似した挙動を呈することは保証される。

【0030】

説明している手法における精度の定性的測定から、ＫＮＮ及び／又はそのトレーニングの最適化のためのさらなる起点が得られる。特に有利な他の一構成においては、指数関数における｜ｘ－ｑ｜の最大冪ｋ又はラプラス確率密度Ｌ_ｂ（ｘ）の値ｐのいずれかが、トレーニングのロバストネスを改善する目的で最適化される。このように、トレーニングは、最大冪ｋ又は値ｐと用途との間の具体的な相互作用を予め既知とする必要なく、ＫＮＮの意図された用途に合わせてさらに良好に調整可能となる。

【0031】

特に有利な他の一構成においては、ＫＮＮのアーキテクチャを特徴付ける少なくとも１つのハイパーパラメータが、トレーニングのロバストネスを改善する目的で最適化される。ハイパーパラメータは、例えば、ＫＮＮのレイヤの数及び／又はレイヤのタイプ及び／又は各レイヤ内の処理ユニットの数に関連するものとしてよい。これにより、ＫＮＮのアーキテクチャに関して、人間による開発作業を少なくとも部分的に自動の機械作業によって置き換える手段も得られる。

【0032】

有利には、ランダム値ｘは、ＫＮＮのトレーニングステップ中はそれぞれ一定に維持され、各トレーニングステップ間に新たに確率変数から取り出される。トレーニングステップは、特に、学習入力量値の少なくとも１つのサブセットを処理して出力量値とし、当該出力量値をコスト関数に従って学習出力量値と比較して、そこから得られた知識を、ＫＮＮの挙動を特徴付けるパラメータへフィードバックすることを含み得る。この場合、当該フィードバックは、例えば、ＫＮＮを通した連続的なバックプロパゲーションによって行うことができる。特に、こうしたバックプロパゲーションにおいては、各処理ユニットにおけるランダム値ｘが入力量値の処理の途中で使用されたものに等しい場合に有意である。この場合、処理ユニットによって表現される関数のうちバックプロパゲーションにおいて利用される導関数は、途中で使用される関数に対応する。

【0033】

特に有利な一構成においては、ＫＮＮは、分類器又は回帰分析器として構成されている。分類器は、ＫＮＮがトレーニングにおいて遭遇しなかった新たな状況においてより高い確率で具体的な用途の意味における正しい分類を送出する、改善されたトレーニングをもたらす。これと同様に、回帰分析器は、回帰分析により探索された少なくとも１つの量の具体的な用途の意味における正しい値に近似する（１次元又は多次元の）回帰値を送出する。

【0034】

こうした手法により改善された結果は、あらためて技術システムにおいて有利に作用させることができる。従って、本発明は、ＫＮＮを訓練して動作させるための組合せ方法にも関する。

【0035】

当該方法においては、ＫＮＮが、上述した方法によって訓練される。訓練されたＫＮＮには、続いて測定データが供給される。当該測定データは、物理的な測定プロセスによって及び／又は当該測定プロセスの部分的な若しくは完全なシミュレーションによって及び／又は当該測定プロセスによって監視可能な技術システムの部分的な若しくは完全なシミュレーションによって得られたものである。

【0036】

まさにこうした測定データにつき、ＫＮＮのトレーニングに使用された学習データには含まれていなかった配置構成が頻繁に生じることが判明している。例えば、カメラによって観察されたシーンが撮影された画像の強度値へどのように変換されるかについては、きわめて多数の要因が影響している。従って、同一のシーンが種々の時点において観察される場合、確実に近い確率で、同一でない画像が撮影される。よって、訓練されたＫＮＮの利用時に生じる各画像は、少なくとも所定の程度、ＫＮＮのトレーニング時に使用された画像とは異なっていることが予測される。

【0037】

訓練されたＫＮＮは、例えば分類及び／又は回帰分析においてと同様に、入力量値として得られた測定データを出力量値へマッピングする。当該出力量値に依存して駆動制御信号が形成され、車両及び／又は分類システム及び／又は大量生産される製品の品質管理システム及び／又は医用撮像システムが当該駆動制御信号によって駆動制御される。

【0038】

このことに関連して、改善されたトレーニングは、各用途の事情において、及び、測定データを表すその時点におけるシステム状態の事情において選定されたそれぞれの技術システムの駆動制御がより高い確率により起動されるという作用を有する。

【0039】

トレーニングの結果は、ＫＮＮの挙動を特徴付けるパラメータとして具現化される。こうしたパラメータを含む、上述した方法によって得られたパラメータセットは、ＫＮＮを訓練された状態へ移行させるために直接的に使用可能である。特に、上述したトレーニングによって改善された挙動を有するＫＮＮは、パラメータセットを一旦生じさせると、任意の多様化が可能となる。従って、パラメータセットは、固有に購買可能な製品となる。

【0040】

説明している方法は、完全に又は部分的にコンピュータ実装可能である。従って、本発明は、１つ又は複数のコンピュータによって実行されるときに、説明している方法を１つ又は複数のコンピュータに実行させるための機械可読命令を含むコンピュータプログラムにも関する。この意味において、同様に機械可読命令を実行させることが可能な車両用制御装置及び技術装置用エンベデッドシステムも、コンピュータとみなすことができる。

【0041】

同様に、本発明は、コンピュータプログラムを含む機械可読データ担体及び／又はダウンロード製品に関する。ダウンロード製品は、データネットワークを介して伝送可能なデジタル製品、即ち、データネットワークのユーザがダウンロード可能なデジタル製品であり、例えば、直接のダウンロードのためにオンラインショップに提供可能なものであってよい。

【0042】

さらに、コンピュータは、パラメータセット、コンピュータプログラム、及び／又は、機械可読データ担体及び／又はダウンロード製品を含み得る。

【0043】

本発明を改善するさらなる措置を、以下に、本発明の好ましい実施例の説明と共に、図面に即して詳細に示す。

【図面の簡単な説明】

【0044】

【図1】ＫＮＮ１を訓練するための方法１００の実施例を示す図である。

【図2】複数のレイヤ３ａ～３ｃを有するＫＮＮ１内の処理ユニット２の出力２ｂの変化を例示する図である。

【図3】ＫＮＮ１を訓練し、このように訓練されたＫＮＮ１^＊を動作させるための組合せ方法２００の実施例を示す図である。

【発明を実施するための形態】

【0045】

実施例
図１は、ＫＮＮ１を訓練するための方法１００の一実施例のフローチャートである。ステップ１１０において、アーキテクチャにおいて定められたＫＮＮ１のパラメータ１２が、学習入力量値１１ａをコスト関数１６に従って可能な限り良好に学習出力量値１３ａにマッピングする目的で最適化される。結果として、ＫＮＮ１は、最適化されたパラメータ１２^＊によって特徴付けられる訓練された状態１^＊へ移行する。

【0046】

従来技術に属するコスト関数１６に従った最適化は、簡明性のために、図１においては詳細には説明されていない。その代わりに、ボックス１１０内に、トレーニングの結果を改善するために、こうした公知のプロセスにどのように介入が行われるかのみが示されている。

【0047】

ステップ１１１においては、ランダム値ｘが確率変数４から取り出される。当該確率変数４は、統計的に、その確率密度関数４ａによって特徴付けられている。多数のランダム値ｘが同一の確率変数４から取り出される場合、個々の値ｘが生じる確率は、平均して密度関数４ａによって記述される。

【0048】

ＫＮＮ１の処理ユニット２の出力２ｂは、ステップ１１２において、ランダム値ｘと乗算される。ステップ１１３においては、このようにして形成された積が、入力２ａとしてＫＮＮ１の他の処理ユニット２’へ供給される。

【0049】

ここで、ブロック１１１ａでは、ＫＮＮ１のレイヤ３ａ～３ｃ内において、総ての処理ユニット２に対してそれぞれ同一の確率変数４が利用可能となる。ブロック１１１ｂにおいては、学習入力量値１１ａから学習出力量値１３へのマッピングのほか、ＫＮＮ１を通した、コスト関数１６によって算定される誤差の連続的バックプロパゲーションも含まれ得るＫＮＮ１のトレーニングステップ中は、ランダム値ｘが一定に維持可能である。この場合、ランダム値ｘは、ブロック１１１ｃにより、トレーニングステップ間に新たに確率変数４から取り出すことができる。

【0050】

ステップ１１０におけるＫＮＮ１の１回のトレーニングにより既に、技術用途におけるその挙動が改善される。こうした改善は、このようなトレーニングが複数回行われる場合に、より向上させることができる。このことは、図１に詳細に示されている。

【0051】

ステップ１２０においては、トレーニング後に、訓練されたＫＮＮ１^＊が検証入力量値１１ｂを対応する検証出力量値１３ｂへマッピングする際の精度１４が算定される。ステップ１３０においては、パラメータ１２のそれぞれランダムな初期化１２ａによってトレーニングが複数回反復される。個々のトレーニング後にそれぞれ算定された精度１４にわたる分散度が、ステップ１４０において、トレーニングのロバストネス１５の尺度として算定される。

【0052】

こうしたロバストネス１５は、それ自体が任意の方式により、ＫＮＮ１の挙動に関する記述の導出のために評価可能である。ただし、ロバストネス１５は、ＫＮＮ１のトレーニングにフィードバックすることもできる。これについて、図１には、２つの例示的手段が示されている。

【0053】

ステップ１５０においては、指数関数における｜ｘ－ｑ｜の最大冪ｋ又はラプラス確率密度Ｌ_ｂ（ｘ）の値ｐが、ロバストネス１５を改善する目的で最適化可能となる。ステップ１６０においては、ＫＮＮのアーキテクチャを特徴付ける少なくとも１つのハイパーパラメータが、ロバストネス１５を改善する目的で最適化可能となる。

【0054】

図２には、複数のレイヤ３ａ～３ｃを有するＫＮＮ１の処理ユニット２の出力２ｂが確率変数４，４’から取り出されたランダム値ｘによってどのような作用を受け得るかが例示されている。ＫＮＮ１は、図２に示されている実施例においては、それぞれ４つの処理ユニット２を有する３つのレイヤ３ａ～３ｃから成っている。

【0055】

入力量値１１ａは、ＫＮＮ１の第１のレイヤ３ａの処理ユニット２に入力２ａとして供給される。パラメータ１２によってその挙動が特徴付けられる処理ユニット２は、それぞれ次のレイヤ３ａ～３ｃの処理ユニット２のために決定される出力２ａを生成する。最後のレイヤ３ｃの処理ユニット２の出力２ｂは、全体としてＫＮＮ１から送出される出力量値１３を同時に形成する。読み取り易さのために、各処理ユニット２に対して、他の処理ユニットへの１回のみの転送しか示していない。現実のＫＮＮ１においては、レイヤ３ａ～３ｃの各処理ユニット２の出力２ｂは、典型的には後続のレイヤ３ａ～３ｃの複数の処理ユニット２への入力２ａとして遷移していく。

【0056】

処理ユニット２の出力２ｂは、それぞれランダム値ｘと乗算され、それぞれ得られた積が、次の処理ユニット２へ入力２ａとして供給される。ここで、第１のレイヤ３ａの処理ユニット２の出力２ｂに対して、それぞれ第１の確率変数４からのランダム値ｘが取り出される。第２のレイヤ３ｂの処理ユニット２の出力２ｂに対しては、それぞれ第２の確率変数４’からのランダム値ｘが取り出される。例えば、２つの確率変数４，４’を特徴付ける確率密度関数４ａは、異なってスケーリングされたラプラス分布であるものとしてよい。

【0057】

ＫＮＮが学習入力量値１１ａをマッピングする出力量値１３は、コスト関数１６の評価の枠組みにおいて、学習出力量値１３ａと比較される。ここから、学習入力量値１１ａのさらなる処理の際にコスト関数１６によるより良好な重み付けを予め得ることができるパラメータ１２の変化が算定される。

【0058】

図３は、ＫＮＮ１を訓練し、続いてこのように訓練されたＫＮＮ１^＊を動作させるための組合せ方法２００の一実施例のフローチャートである。

【0059】

ステップ２１０においては、ＫＮＮ１が方法１００により訓練される。ＫＮＮ１は、この場合、訓練された状態１^＊となり、その挙動は、最適化されたパラメータ１２^＊によって特徴付けられる。

【0060】

ステップ２２０においては、トレーニングが完了したＫＮＮ１^＊が駆動され、測定データを含む入力量値１１が出力量値１３へマッピングされる。ステップ２３０において、出力量値１３から駆動制御信号５が形成される。ステップ２４０において、車両５０及び／又は分類システム６０及び／又は大量生産される製品の品質管理システム７０及び／又は医用撮像システム８０が駆動制御信号５によって駆動制御される。

【図1】

【図2】

【図3】

【手続補正書】

【提出日】2022-03-04

【手続補正1】

【補正対象書類名】特許請求の範囲

【補正対象項目名】全文

【補正方法】変更

【補正の内容】

【特許請求の範囲】

【請求項1】

複数の処理ユニット（２）を含む人工ニューラルネットワークＫＮＮ（１）を訓練するための方法（１００）であって、
前記人工ニューラルネットワークＫＮＮ（１）が学習入力量値（１１ａ）をコスト関数（１６）に従って可能な限り良好に対応する学習出力量値（１３ａ）へマッピングする目的で、前記人工ニューラルネットワークＫＮＮ（１）の挙動を特徴付けるパラメータ（１２）を最適化し（１１０）、
少なくとも１つの処理ユニット（２）の出力（２ｂ）にランダム値ｘを乗算し（１１２）、続いて少なくとも１つの他の処理ユニット（２’）に入力（２ａ）として供給し（１１３）、
前記ランダム値ｘは、予め定められた確率密度関数（４ａ）によって確率変数（４）から取り出され（１１１）、
前記確率密度関数（４ａ）は、｜ｘ－ｑ｜の増加につれて減少する、｜ｘ－ｑ｜の指数関数に比例し、ここで、ｑは、任意に選択可能な位置パラメータであり、指数関数の引数における｜ｘ－ｑ｜は、ｋ≦１として、冪乗｜ｘ－ｑ｜^ｋに含まれる、
方法（１００）。

【請求項2】

前記確率密度関数（４ａ）は、ラプラス分布関数である、
請求項１に記載の方法（１００）。

【請求項3】

前記ラプラス分布関数の前記確率密度Ｌ_ｂ（ｘ）は、

【数1】

かつ０≦ｐ＜１として、

【数2】

によって与えられる、
請求項２に記載の方法。

【請求項4】

前記人工ニューラルネットワークＫＮＮは、複数のレイヤ（３ａ～３ｃ）から構築されており、少なくとも１つのレイヤ（３ａ～３ｃ）における前記処理ユニット（２）に対して、前記ランダム値ｘは、同一の確率変数（４）から取り出される（１１１ａ）、
請求項１乃至３のいずれか一項に記載の方法（１００）。

【請求項5】

・トレーニング後、訓練された人工ニューラルネットワークＫＮＮ（１^＊）が検証入力量値（１１ｂ）を対応する検証出力量値（１３ｂ）へマッピングする際の精度（１４）を算定し（１２０）、
・前記パラメータ（１２）のそれぞれランダムな初期化（１２ａ）によってトレーニングを複数回反復し（１３０）、
・個々のトレーニング後にそれぞれ算定された精度（１４）にわたる分散度を当該トレーニングのロバストネス（１５）の尺度として算定する（１４０）、
請求項１乃至４のいずれか一項に記載の方法（１００）。

【請求項6】

前記指数関数における｜ｘ－ｑ｜の最大冪ｋ又は前記ラプラス確率密度Ｌ_ｂ（ｘ）の値ｐは、トレーニングのロバストネス（１５）を改善する目的で最適化される（１５０）、
請求項５に記載の方法（１００）。

【請求項7】

前記人工ニューラルネットワークＫＮＮ（１）のアーキテクチャを特徴付ける少なくとも１つのハイパーパラメータが、トレーニングのロバストネス（１５）を改善する目的で最適化される（１６０）、
請求項５又は６に記載の方法（１００）。

【請求項8】

前記ランダム値ｘは、前記人工ニューラルネットワークＫＮＮ（１）のトレーニングステップ中はそれぞれ一定に維持され（１１１ｂ）、各トレーニングステップ間に新たに前記確率変数（４）から取り出される（１１１ｃ）、
請求項１乃至７のいずれか一項に記載の方法（１００）。

【請求項9】

前記人工ニューラルネットワークＫＮＮ（１）は、分類器及び／又は回帰分析器として構成されている、
請求項１乃至８のいずれか一項に記載の方法（１００）。

【請求項10】

人工ニューラルネットワークＫＮＮ（１）を訓練して動作させる方法（２００）であって、
・前記人工ニューラルネットワークＫＮＮ（１）を、請求項１乃至９のいずれか一項に記載の方法（１００）によって訓練し（２１０）、
・物理的な測定プロセスによって及び／又は前記測定プロセスの部分的な若しくは完全なシミュレーションによって及び／又は前記測定プロセスによって監視可能な技術システムの部分的な若しくは完全なシミュレーションによって得られた測定データを、訓練された人工ニューラルネットワークＫＮＮ（１^＊）に入力量値（１１）として供給し（２２０）、
・前記訓練された人工ニューラルネットワークＫＮＮ（１^＊）から送出された出力量値（１３）に依存して、駆動制御信号（５）を形成し、
・車両（５０）及び／又は分類システム（６０）及び／又は大量生産される製品の品質管理システム（７０）及び／又は医用撮像システム（８０）を、駆動制御信号（５）によって駆動制御する（２３０）、
方法（２００）。

【請求項11】

人工ニューラルネットワークＫＮＮ（１）の挙動を特徴付けるパラメータ（１２）を含むパラメータセットであって、請求項１乃至９のいずれか一項に記載の方法（１００）によって得られるパラメータセット。

【請求項12】

１つ又は複数のコンピュータによって実行されるときに、前記１つ又は複数のコンピュータに、請求項１乃至１０のいずれか一項に記載の方法（１００，２００）を実施させるための機械可読命令を含むコンピュータプログラム。

【請求項13】

請求項１１に記載のパラメータセット及び／又は請求項１２に記載のコンピュータプログラムを含む機械可読データ担体。

【請求項14】

請求項１１に記載のパラメータセット、請求項１２に記載のコンピュータプログラム、及び／又は、請求項１３に記載の機械可読データ担体を含むコンピュータ。

【国際調査報告】