特開 2025-19046 機械学習アルゴリズムを最適化された状態でトレーニングするための方法及びシステム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2025019046

(43)【公開日】2025-02-06

(54)【発明の名称】機械学習アルゴリズムを最適化された状態でトレーニングするための方法及びシステム

(51)【国際特許分類】

   G06N 20/00 20190101AFI20250130BHJP

【ＦＩ】

G06N20/00

【審査請求】未請求

【請求項の数】14

【出願形態】ＯＬ

【外国語出願】

(21)【出願番号】P 2024121227

(22)【出願日】2024-07-26

(31)【優先権主張番号】10 2023 207 211.4

(32)【優先日】2023-07-27

(33)【優先権主張国・地域又は機関】DE

(71)【出願人】

【識別番号】390023711

【氏名又は名称】ローベルト ボツシユ ゲゼルシヤフト ミツト ベシユレンクテル ハフツング

【氏名又は名称原語表記】ＲＯＢＥＲＴ ＢＯＳＣＨ ＧＭＢＨ

【住所又は居所原語表記】Ｓｔｕｔｔｇａｒｔ， Ｇｅｒｍａｎｙ

(74)【代理人】

【識別番号】100114890

【弁理士】

【氏名又は名称】アインゼル・フェリックス＝ラインハルト

(74)【代理人】

【識別番号】100098501

【弁理士】

【氏名又は名称】森田 拓

(74)【代理人】

【識別番号】100116403

【弁理士】

【氏名又は名称】前川 純一

(74)【代理人】

【識別番号】100134315

【弁理士】

【氏名又は名称】永島 秀郎

(74)【代理人】

【識別番号】100162880

【弁理士】

【氏名又は名称】上島 類

(72)【発明者】

【氏名】クリスティアン ハインツェマン

(72)【発明者】

【氏名】クリストフ グラディッシュ

(72)【発明者】

【氏名】マーティン ヘルマン

(72)【発明者】

【氏名】マティアス ヴェールレ

(57)【要約】      （修正有）

【課題】機械学習アルゴリズムを最適化した状態でトレーニングする方法を提供する。
【解決手段】方法は、ドメイン３０６に対するドメインパラメータＰ１～Ｐ３及び／又はドメイン値ｖ１１～ｖ３２を有するドメインモデル、それに対するトレーニングデータを含むトレーニングデータセット３０４を有するデータモデル３０２を供給し、ドメインパラメータ及び／又はドメイン値に依存して、トレーニングデータセットからトレーニングデータを除去及びマスキング３１４し、変更し、低減されたトレーニングデータセット３１２に基づいてニューラルネットワーク３１８をトレーニングし、決定したモデル出力３１９とトレーニングデータセットに対応付けられたモデル出力２０５とを比較３２２し、モデル出力偏差を決定し、それに依存して、トレーニングデータセットからトレーニングデータを選択し、それに基づいて機械学習アルゴリズムをトレーニングして供給する。
【選択図】図２

【特許請求の範囲】

【請求項1】

機械学習アルゴリズムを最適化された状態でトレーニングするための方法であって、
前記方法は、
－少なくとも１つのドメインに対するドメインパラメータ及び／又はドメイン値を有するドメインモデルを供給するステップ（Ｓ１）と、
－前記少なくとも１つのドメインに対するトレーニングデータを含むトレーニングデータセットを有するデータモデルを供給するステップ（Ｓ２）と、
－低減されたトレーニングデータセットを供給するために、特に、少なくとも１つの除去された及び／又はマスキングされたドメインパラメータ及び／又はドメイン値の感度を評価するために、少なくとも１つのドメインパラメータ及び／又はドメイン値に依存して、前記トレーニングデータセットから少なくとも１つのトレーニングデータを除去する及び／又はマスキングする及び／又は変更するステップ（Ｓ３）と、
－前記低減されたデータセットに依存してモデル出力を決定するために、前記低減されたトレーニングデータセットに基づいてニューラルネットワークをトレーニングするステップ（Ｓ４）と、
－決定されたモデル出力と前記トレーニングデータセットに対応付けられたモデル出力とを比較するステップ（Ｓ５）と、
－前記モデル出力の比較に依存して、前記トレーニングデータセットからトレーニングデータを選択するステップ（Ｓ６）と、
－選択されたトレーニングデータに基づいて前記機械学習アルゴリズムをトレーニングするステップ（Ｓ７）と、
－トレーニングされた前記機械学習アルゴリズムを供給するステップ（Ｓ８）と、
を含む、方法。

【請求項2】

前記少なくとも１つのドメインに対するトレーニングデータは、それぞれドメインパラメータ及び／又はドメイン値から成る少なくとも１つの組合せに依存して特徴付けられている、請求項１に記載の方法。

【請求項3】

前記データモデルのトレーニングデータセットは、少なくとも１つの予測ドメイン識別子を有する、請求項１又は２に記載の方法。

【請求項4】

前記少なくとも１つのドメインパラメータ及び／又はドメイン値に依存して前記トレーニングデータセットから少なくとも１つのトレーニングデータを除去する及び／又はマスキングする及び／又は変更するステップ（Ｓ３）は、前記少なくとも１つのドメインパラメータ及び／又はドメイン値を変化させることによって連続的に及び／又は反復的に行われる、請求項１乃至３のいずれか一項に記載の方法。

【請求項5】

それぞれのニューラルネットワークのトレーニング、それぞれのモデル出力の決定、及び、モデル出力の比較は、このように連続的に及び／又は反復的に低減されたトレーニングデータセットごとに行われ、このようにして前記トレーニングデータセットからサブセットが選択され、前記サブセットに基づいて前記機械学習アルゴリズムがトレーニングされる、請求項４に記載の方法。

【請求項6】

前記トレーニングデータセットからのサブセットは、特に少なくとも１つの境界値に依存して、前記モデル出力に対する予め定められた影響を有さないトレーニングデータを有する、請求項５に記載の方法。

【請求項7】

前記決定されたモデル出力と前記トレーニングデータセットに対応付けられたモデル出力との比較に基づいて、少なくとも２つのドメインパラメータ及び／又はドメイン値の間の相互作用が算定可能である、請求項１乃至６のいずれか一項に記載の方法。

【請求項8】

前記機械学習アルゴリズムは、ニューラルネットワーク、特にディープニューラルネットワークを含む、請求項１乃至７のいずれか一項に記載の方法。

【請求項9】

さらに、設定可能な製品を生産するための装置構成を含む製造ラインが提供される、請求項１乃至８のいずれか一項に記載の方法。

【請求項10】

前記方法は、前記製造ラインが提供された後に、さらに、前記装置構成を使用して、少なくとも１つの設定可能な製品を生産するステップを含む、請求項９に記載の方法。

【請求項11】

自律型車両及び／又はロボットシステム及び／又は産業機械に含まれる制御装置であって、前記制御装置上で、請求項１乃至１０のいずれか一項に記載の方法に従ってトレーニングされた機械学習アルゴリズムを実行し得る、制御装置。

【請求項12】

機械学習アルゴリズムを最適化された状態でトレーニングするためのシステム（１）であって、
前記システム（１）は、
－少なくとも１つのドメインに対するドメインパラメータ及び／又はドメイン値を有するドメインモデルと前記少なくとも１つのドメインに対するトレーニングデータを含むトレーニングデータセットを有するデータモデルとを供給するように構成された供給装置と、
－低減されたトレーニングデータセットを供給するために、少なくとも１つのドメインパラメータ及び／又はドメイン値に依存して、前記トレーニングデータセットから少なくとも１つのトレーニングデータを除去し及び／又はマスキングし及び／又は変更し、前記低減されたデータセットに依存してモデル出力を決定するために、前記低減されたトレーニングデータセットに基づいてニューラルネットワークをトレーニングし、決定されたモデル出力と前記トレーニングデータセットに対応付けられたモデル出力とを比較し、前記モデル出力の比較に依存して前記トレーニングデータセットからトレーニングデータを選択し、選択されたトレーニングデータに基づいて前記機械学習アルゴリズムをトレーニングするように構成された評価計算装置と、
を備え、
前記供給装置はさらに、トレーニングされた前記機械学習アルゴリズムを供給するように構成されている、システム（１）。

【請求項13】

コンピュータプログラムであって、当該コンピュータプログラムがコンピュータ上で実行されるときに、請求項１乃至１０のいずれか一項に記載の方法の少なくとも一部を実施するためのプログラムコードを含むコンピュータプログラム。

【請求項14】

コンピュータ可読データ担体であって、コンピュータプログラムがコンピュータ上で実行されるときに、請求項１乃至１０のいずれか一項に記載の方法の少なくとも一部を実施するための前記コンピュータプログラムのプログラムコードを含むコンピュータ可読データ担体。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、機械学習アルゴリズムを最適化された状態でトレーニングするための方法及びシステムに関する。本発明はさらに、プログラムコードを含むコンピュータプログラムと、コンピュータプログラムのプログラムコードを含むコンピュータ可読データ担体とに関する。

【背景技術】

【0002】

背景技術
オントロジの形態のドメインモデルは、特定の知識領域の構造化された意味論的な像である。機械学習モデルの分野においては、こうしたドメインモデルの開発は、モデルの理解及び解釈を改善するために決定的な役割を果たしている。また、これは、専門家、開発者及びユーザの間での効果的なコミュニケーションを可能にする。

【0003】

機械学習モデルのオントロジの形態のドメインモデルの構築は、通常、関連する知識の体系的な検出及びカテゴライズを必要とする反復プロセスである。まず、ドメインにおいて関連し合う種々の概念及びエンティティ、例えば、データソース、モデル、アルゴリズム、メトリック及び評価方法が識別される。これに基づいて概念間の関係が定義され、これにより、その依存関係及び関係性が把握される。この場合、オントロジの構造を形成するために、分類、集約、関連付け及び階層化を使用することができる。概念の属性及び特性を定義することにより、個々の要素の詳細な記述及び特徴付けが可能となる。ここでの属性は、例えば、機械学習モデルのパラメータ、特性又は適用領域に関する情報を含み得る。

【0004】

オントロジを検証し改善するためには、専門家及び実務者を参入させることが好ましい。彼らの専門知識及び経験はモデルの完全性及び正確性を保証することに寄与する。既存のオントロジ及び規格を使用することも、一貫性及び互換性を保証することにとって有益であり得る。

【0005】

オントロジの形態で良好に開発されたドメインモデルにより、機械学習モデルの分野における知識を、構造化された状態で統一的に表現することが可能となる。これは、モデルの理解、解釈、再利用性を支援し、専門家、開発者及びユーザ間の効果的な協働を促進する。

【0006】

刊行物“Using ontologies for dataset engineering in automotive AI applications”（http://dx.doi.org/10.23919/DATE54114.2022.9774675）には、オントロジの形態のドメインモデルを構築するための方法が記載されている。ここでのドメインモデルは、機械学習モデルの使用領域又はドメインからの効果及び／又は特性（いわゆる「次元」又はドメインパラメータ）と、これらが発生し得る可能な特異性（いわゆる「オプション」又はドメイン値）とを記述する。

【0007】

刊行物“Datamodels: Predicting Predictions from Training Data”（https://arxiv.org/abs/2202.00622）には、トレーニングされた機械学習モデルのパフォーマンスに対するデータポイントの（クラスの拡張における）影響を考察するために、データモデルの利用、すなわち、機械学習モデルの利用が記載されている。

【0008】

さらに、ソフトウェアのテストのために開発された組合せテストを使用する方法が知られている。ここでは、ドメインモデルを用いたデータセットの増分構築のためのアプローチが記載されている。この場合、ドメインモデルの次元及びオプションがカバーされることが保証されるが、トレーニングされた機械学習モデルのパフォーマンス又は性能は考察されていない。

【0009】

これまで、トレーニングされた機械学習モデルのパフォーマンスは、不十分にしか考察されていない。また、考察される次元及びオプションの重要度についても触れられていない。

【先行技術文献】

【非特許文献】

【0010】

【非特許文献1】“Using ontologies for dataset engineering in automotive AI applications”（http://dx.doi.org/10.23919/DATE54114.2022.9774675）

【非特許文献2】“Datamodels: Predicting Predictions from Training Data”（https://arxiv.org/abs/2202.00622）

【発明の概要】

【発明が解決しようとする課題】

【0011】

したがって、本発明が基礎とする課題は、特にドメインモデルの次元及びオプションに関して機械学習アルゴリズム又は機械学習モデルのパフォーマンスを改善する、機械学習アルゴリズムをトレーニングするための方法を提供することである。さらに、本発明においては、観察されるドメインモデルの次元及びオプションの重要度を考察することも課題である。

【課題を解決するための手段】

【0012】

上記の課題は、請求項１に記載の特徴による、機械学習アルゴリズムを最適化された状態でトレーニングするための方法によって解決される。さらに、上記の課題は、請求項１２に記載の特徴による、機械学習アルゴリズムを最適化された状態でトレーニングするためのシステムによって解決される。

【0013】

発明の開示
ここでは、機械学習アルゴリズムを最適化された状態でトレーニングするための方法を提示する。本方法は、この場合、少なくとも以下の各ステップ、すなわち、
－少なくとも１つのドメインに対するドメインパラメータ及び／又はドメイン値を有するドメインモデルを供給するステップと、
－少なくとも１つのドメインに対するトレーニングデータを含むトレーニングデータセットを有するデータモデルを供給するステップと、
－低減されたトレーニングデータセットを供給するために、特に、少なくとも１つの除去された及び／又はマスキングされたドメインパラメータ及び／又はドメイン値の感度を評価するために、少なくとも１つのドメインパラメータ及び／又はドメイン値に依存して、トレーニングデータセットから少なくとも１つのトレーニングデータを除去する及び／又はマスキングする及び／又は変更するステップと、
－低減されたデータセットに依存してモデル出力を決定するために、低減されたトレーニングデータセットに基づいてニューラルネットワークをトレーニングするステップと、
－決定されたモデル出力とトレーニングデータセットに対応付けられたモデル出力とを比較するステップと、
－当該モデル出力の比較に依存して、トレーニングデータセットからトレーニングデータを選択するステップと、
－選択されたトレーニングデータに基づいて機械学習アルゴリズムをトレーニングするステップと、
－トレーニングされた機械学習アルゴリズムを供給するステップと、
を含む。

【0014】

データモデルは、好適には画像データ及び／又はビデオデータを有しており、これらの画像データ及び／又はビデオデータによって、好適には、ドメインパラメータ及び／又はドメイン値の種々の組合せが少なくとも１つのドメインへマッピングされる。基本的に、ドメインパラメータの組合せ及び／又はドメイン値の組合せの全体をデータモデルによってマッピングする必要はない。非存在は、本発明に係る方法により、例えば少なくとも１つのドメインパラメータ及び／又はドメイン値が少なくとも一時的にマスキングされ及び／又は除去され、これらについての画像データ及び／又はビデオデータが存在しなくなる場合に見出すことができる。

【0015】

トレーニングデータセットに対応付けられたモデル出力は、好適には、トレーニングデータセット全体に基づいて算定されたモデル出力を記述する。このような算定の際には、必ずしもドメインモデルが考慮されなくてもよい。

【0016】

本明細書においては、データモデルはドメインモデルと結合され、このようにして機械学習アルゴリズムのトレーニングフェーズにおいてどのドメインパラメータ及びどのドメイン値が有意であり、したがって必要とされるかを導出できるようにする手段がもたらされる。さらに、これにより特に、さらにドメインパラメータ及び／又はドメイン値に依存して、ドメインパラメータとドメイン値との間のどのような相互作用度を使用しなければならないかが導出される。このようにして得られたデータモデルにより、（トレーニング）データセットが導出され、これにより機械学習アルゴリズム又は機械学習モデルがトレーニングされる。このようにしてトレーニングされたモデルは、好適にはデータモデルの多様性に対してロバストである。ここでは常に、トレーニングデータセットを、特に好ましくは計算能力に基づいて、可能な限り小さく維持することが好ましい。この場合、例えばわずかな冗長性しか存在しないことが望ましい。なお、トレーニングデータセットを小さく維持することには、特に（部分）教師ありトレーニング方法の場合、経済的な理由も存在する。なぜなら、トレーニングデータセットのサイズと共に、しばしば手動で実行されるラベリングのコストも増大するからである。しかし、トレーニングデータセットは、好適には、ドメインの特性に関する十分な可変性を含めるために、過度に小さく選択されるべきではない。

【0017】

コンピュータビジョンの分野においては、「ドメインモデル」は、好適には、視覚情報の処理及び／又は解析に関連する知識領域の構造化された像及び／又は意味論的な像に関する。こうして、コンピュータビジョン技術を使用することにより、画像、ビデオ又は他の視覚データの理解の改善が得られる。ドメインモデルは、例えば、物体認識、顔認識、画像セグメンテーション、運動解析、画像分類など多数の様々な様態を含み得る。ドメインモデルは、好適には、各ドメイン内で関連し合う視覚的な特性、特徴及び／又は構造を表現する概念、エンティティ及び／又は関係性の集合体を有する。このようなモデルは、例えば、自動車、人物又は動物のような物体のクラス、その特徴及び／又はその相互関係を定義することができる。これは、視覚データの処理及び解析に使用されるアルゴリズム及び技術、例えば畳み込みニューラルネットワーク（ＣＮＮ）、特徴抽出法又はクラスタリング法も含み得る。ドメインモデルの開発は、好適には、画像処理、パターン認識及び／又は人工知能の分野における専門家の知識を考慮して行われる。ここで、専門家は、好適には、関連し合う概念を識別し、ドメインの包括的な理解を達成するためにその関係を定義する。ドメインモデルは、好適には、高性能なコンピュータビジョンアプリケーションの開発、例えば物体認識システム、自律型車両、医用撮像システム及び／又はビデオ監視システムなどの開発を支援する。このことは、コンピュータビジョン技術を、ロボティクス、安全性及び／又は拡張現実などの他のアプリケーションドメインへ統合するためにも有用であり得る。

【0018】

ドメインモデルは、好適には、機械学習モデルの使用領域又はドメインからの効果及び／又は特性を記述している。ここでの効果及び／又は特性は「次元」とも称され、例えばドメインパラメータとして示される。効果及び／又は特性が発生し得る可能な特徴は、好適には「オプション」と称され、例えばドメイン値として示される。

【0019】

本方法により、トレーニングフェーズにおいて及び／又は算定の際に、ドメインモデルの個々の次元及びオプションに対して並びにその相互作用に対して、十分なデータがトレーニングデータセット内に存在することを達成することができる。本発明によれば、感度解析のためのいくつかの公知の機械学習アルゴリズムにおいていまだに必要とされているドメインの密なサンプリングの必要性、及び、（トレーニング）データセットの反復的な改善のためにシミュレートされた（トレーニング）データ又は合成された（トレーニング）データを生成する必要性がもはやなくなる。

【0020】

本方法により、別のデータにつき特定の効果に関してモデルパフォーマンスの向上を潜在的に期待できるかどうかに関する「離散的な」記述を行うことができる。付加的に、様々な効果間の相互作用の影響を検出し、さらにこれらの相互作用がモデルパフォーマンスにどのように作用するかを評価することができる。本方法により、トレーニングの効率又は品質が高まる。これにより、全体的に、機械学習アルゴリズムのトレーニングフェーズがより好都合となる。すなわち、本方法においては、１つの次元の完全な組合せ及び／又は完全なサンプリングがトレーニングデータに必要とされないよう、特別なデータモデルが意図的に利用される。むしろ、データのサブセット又は部分集合を用いて、既に根拠ある推定を得ることができる。したがって、全体として、本発明においては、トレーニングコストが著しく低減される。

【0021】

本方法は、基本的に、目標ドメインに対して特にマーキングされた又はラベリングされた画像データがまったく又は不十分にしか存在していない、画像処理を基礎としたあらゆる用途に適用可能である。本方法は、基本的に、センサデータを解析するために及び／又は処理するために適用可能である。このことは、特に、運転者支援システム及び／又は完全自動運転及び／又は監視カメラ及び／又はオートメーションシステム及び／又は他の画像処理分野において当てはまり、特に支援機能をトレーニングするための及び／又は適用するための多量のデータが存在する場合に有利である。さらに、本発明は、例えば、カメラ、ＬｉＤＡＲセンサ及び／又はレーダセンサ又はこれらの任意の組合せによって形成される画像データに基づくマルチモーダルシステムの用途にも適用される。ここで、機械学習アルゴリズムによって使用されるデータは、少なくとも１つのセンサに由来するものであり得る。センサは、例えば次のソース、すなわち、例えばデジタル画像、例えばビデオ、レーダ、ＬｉＤＡＲ、超音波、運動、熱画像及び／又はオーディオ信号に由来するものであり得るセンサ信号の形態で周囲の測定値を算定したものである。センサ信号に基づいて、このセンサ信号が符号化されている要素に関する情報を取得することができる（すなわち、直接の測定として使用されているセンサ信号に基づいて間接的な測定を実行することができる）。

【0022】

機械学習アルゴリズムをトレーニングするための本方法は、能動的な学習及び／又は検査及び／又は評価又はデータキュレーションの分野において特に適用される。この場合、本方法は、特に、好適には任意の技術システム、特に自律型車両及び／又はロボットシステム及び／又は産業機械がバックエンドコンピュータへ伝送する（トレーニング）データを能動的に選択するために使用することができる。これにより、データトラフィックを低減することができる。解放された帯域幅は、特に、機械学習システムのトレーニングのための情報を効率的にかつ効果的に使用するために利用可能である。

【0023】

改善されたドメインモデルに基づいて、本方法においては、機械学習アルゴリズムのトレーニングデータセット及び／又はテストデータセットを良好に及び／又はより効果的にキュレーションすることができる。さらに、スプリットを設定することができる。同様に、本方法によれば、標識付け又はラベリングのために標識又はラベルが付されていないデータを選択することができ、これにより、このデータを、例えば機械学習アルゴリズムの教師あり学習又はトレーニングに使用することができる。さらに、ここでのドメインモデルは、特に自律運転車両及び／又はロボットシステム及び／又は産業機械において実現可能及び／又は実行可能であり、これにより、ここでのドメインモデルによって供給される少なくとも１つの起動又はトリガに基づいて（トレーニング）データの効果的な記録を行うことができる。機械学習アルゴリズムをトレーニングするための本方法は、技術的な観点においては、特にコンピュータ上で及び／又は制御装置上で可能な限り計算効率良くかつ効果的に実行されるよう、数学的方法の技術的使用を指向している。ここで、本方法においては特に、コンピュータ及び／又はプロセッサの内部技術の機能方式が、コンピュータ及び／又は制御装置の内部機能を最適化するための方法の実現形態を設計する際に役立つ。こうした最適化は、特に組合せテストに結びついた組合せの「爆発」を計算によって回避するために本データモデルを使用することによって達成される。

【0024】

本トレーニングモデルにより、特にドメインモデルから（トレーニング）データセットを導出する際に重要となる少なくとも以下の技術的効果が達成される。１つには、良好な又は効果的に利用可能なトレーニングデータセットのためにどの「次元」及び／又はどの次元における「オプション」が決定的であるかを算定することができる感度解析が可能となることである。さらには、それぞれ異なる次元間でどれだけの相互作用が必要となるかを算定することができ、これにより、必要な組合せの相互作用が提供可能となる。付加的に、方法の結果により、これまでにラベリングされていない又は特徴付けされていない（トレーニング）データの選択を支援することができ、その際に、ラベリングに対し、特に感度解析及び／又はパフォーマンス解析に基づいて「報酬」が与えられる。このことは、例えば、（トレーニング）データに含まれている効果に関して、トレーニングされた機械学習アルゴリズム又は機械学習モデルのパフォーマンス又は性能がまだ飽和していない場合に有利であり得る。よって、本明細書においては、要約すると、機械学習モデルのパフォーマンスが特に選択可能なメトリックに関連して最適化可能となるように、ドメインの記述から、最も重要な効果、又は、次元及び／又はその相互作用、又は、オプションを選択するためのトレーニング方法を説明している。データモデルを利用することによって、（トレーニング）データにおいてどの効果が重要であるか、及び／又は、（トレーニング）データセットにおいて当該効果のうちのどれが特にどの程度の強さで考慮されるべきかを算定することができる。

【0025】

本発明によるステップ及びさらなる任意選択手段としてのステップは、必ずしも図示の順序で実行されなくてもよく、他の順序で実行することもできる。さらに、別の中間ステップを設けることもできる。また、個々のステップが、本発明に係る方法の範囲を逸脱することなく、１つ又は複数のサブステップを含むこともあり得る。

【0026】

好ましい実施形態においては、少なくとも１つのドメインに対するトレーニングデータは、それぞれドメインパラメータ及び／又はドメイン値の少なくとも１つの組合せに依存して特徴付けられる。よって、個々のトレーニングデータは、好適には、ドメイン値と対応するドメインパラメータとの特定の組合せに対応するラベルを有している。

【0027】

好ましい実施形態においては、データモデルのトレーニングデータセットは少なくとも１つの予測ドメイン識別子を有する。予測ドメイン識別子は好適には従来技術からの「標準ラベル」に対応し、この標準ラベルによって、トレーニングされるべき機械学習アルゴリズムが、どのドメインにトレーニングデータが含まれているかに関する記述を受け取る。アルゴリズムが画像データ及び／又はビデオデータを評価した後及び／又は分類した後及び／又はセグメンテーションした後に、アルゴリズムが各画像データ及び／又はビデオデータに含まれる意味内容を正しく検出したかどうかを検査するために、ここでの結果と予測ドメイン識別子とが比較される。

【0028】

好ましい実施形態においては、少なくとも１つのドメインパラメータ及び／又はドメイン値に依存して、トレーニングデータセットから少なくとも１つのトレーニングデータを除去する及び／又はマスキングする及び／又は変更するステップが、少なくとも１つのドメインパラメータ及び／又はドメイン値を変化させることによって連続的に及び／又は反復的に行われる。方法は、トレーニングデータの除去、マスキング又は変更を実行するために、少なくとも１つのドメインパラメータ及び／又はドメイン値を変化させることを含む。ここでのプロシージャの変形形態及び／又はステップ形式の厳密なタイプは特定されず、様々な形式を使用することができる。

【0029】

好ましい実施形態においては、それぞれのニューラルネットワークのトレーニング、それぞれのモデル出力の決定、及び、モデル出力の比較が、連続的に及び／又は反復的に低減されたトレーニングデータセットごとに行われ、トレーニングデータセットからサブセットが選択され、当該サブセットに基づいて機械学習アルゴリズムがトレーニングされる。除去された及び／又はマスキングされた及び／又は変更されたドメインパラメータ及び／又はドメイン値につき、ニューラルネットワークは、このようにモデル出力を決定して比較用モデル出力と比較することができるようにトレーニングされる。個々のニューラルネットワークはトレーニングされるべき機械学習アルゴリズムにはまだ対応せず、この機械学習アルゴリズムは、トレーニングデータセットが本方法の方式で選択された場合、及び／又は、オリジナルのより大きいトレーニングデータセットを起点として低減された場合に、はじめてトレーニングされる。

【0030】

好ましい実施形態においては、トレーニングデータセットからのサブセットは、特に少なくとも１つの境界値に依存して、モデル出力に対する予め定められた影響を有するトレーニングデータを有する。これに対して、好適には、ここでのモデル出力の比較においてモデル出力に対する影響を有さないトレーニングデータセットからのトレーニングデータがマスキングされる。なぜなら、当該トレーニングデータは、トレーニングの品質及び／又は性能に正の影響を及ぼさず、トレーニング中に計算出力に負荷をかけるのみだからである。

【0031】

好ましい実施形態においては、決定されたモデル出力とトレーニングデータセットに対応付けられたモデル出力との比較に基づいて、少なくとも２つのドメインパラメータ及び／又はドメイン値間の相互作用が算定可能である。データモデルに基づいて、好適には、具体的なインスタンスに対して、データモデルへの埋め込みを計算することができる。線形データモデルの場合、これは、データモデルの係数によって記述される変換された空間への埋め込みである。埋め込み又はエンベディングにより、好適には、トレーニングデータ間の共通性及び／又は相互作用を識別することができる。ここでは、予め定められたモデル出力を達成するために、ドメインパラメータ及び／又はドメイン値のどの組合せが好適には共通に考察されるべきであるかを算定することができる。

【0032】

好ましい実施形態においては、機械学習アルゴリズムは、ニューラルネットワーク、特にディープニューラルネットワークを含む。ディープニューラルネットワークは、好適には、複数のニューロン層から成る一種の人工ニューラルネットワークアーキテクチャである。各層は、入力データを処理してこれを次の層へ転送し、これにより複雑なパターン及び関係性を学習することができる。ディープニューラルネットワークは、好適には、例えば画像識別及び音声認識、機械翻訳及び他の複雑なデータ処理タスクのようなタスクのために使用される。好ましい実施形態における機械学習アルゴリズムは、好ましくはこのようなディープニューラルネットワークを使用する。

【0033】

好ましい実施形態においてはさらに、設定可能な製品を生産するための装置構成を含む製造ラインが提供される。製造ラインは、好適には、少なくとも１つの製品を製造するために協働するように配置された一連の生産ステーション及び／又は作業領域である。当該製造ラインは、設定された製品の生産のために構成された様々な装置、機械及び／又は設備を含み得る。ここでの実施形態においては、好ましい実施形態において特定の装置構成が製造ライン内に存在していることが強調される。このような装置構成は、例えば、設定された製品の生産に必要な機械、ロボット、自動化された組み立てライン、工具及び／又は他の装置を含み得る。

【0034】

好ましい実施形態においては、方法は、製造ラインが提供された後にさらに、装置構成を使用して、少なくとも１つの設定可能な製品を生産するステップを含む。製造ラインが提供された後、当該実施形態によれば、少なくとも１つの設定可能な製品を製造することを目標とする方法が実行される。ここでのステップは、製造ラインにおける既存の装置構成を使用して行われる。本方法においては、どのタイプの製品であるか、又は、製造プロセスの正確なフローがどのような様態となるかは、詳細には指定されない。重点は、方法が、好適な実施形態において、供給された装置構成を用いて少なくとも１つの設定可能な製品を製造ラインにおいて生産することを目標とすることにある。

【0035】

本発明によれば、自律型車両及び／又はロボットシステム及び／又は産業機械に含まれる制御装置であって、当該制御装置上で、本方法に従ってその実施形態のうちの１つにおいてトレーニングされた機械学習アルゴリズムを実行することができる、制御装置も特許請求される。

【0036】

本発明によれば、機械学習アルゴリズムを最適化された状態でトレーニングするためのシステムも特許請求される。システムは、少なくとも１つのドメインに対するドメインパラメータ及び／又はドメイン値を有するドメインモデルと少なくとも１つのドメインに対するトレーニングデータを含むトレーニングデータセットを有するデータモデルとを供給するように構成された供給装置を備える。さらに、システムは、低減されたトレーニングデータセットを供給するために、少なくとも１つのドメインパラメータ及び／又はドメイン値に依存して、トレーニングデータセットから少なくとも１つのトレーニングデータを除去し及び／又はマスキングし及び／又は変更し、低減されたトレーニングデータセットに基づいてニューラルネットワークをトレーニングし、これにより、低減されたデータセットに依存してモデル出力を決定し、決定されたモデル出力とトレーニングデータセットに対応付けられたモデル出力とを比較し、当該モデル出力の比較に依存してトレーニングデータセットからトレーニングデータを選択し、選択されたトレーニングデータに基づいて機械学習アルゴリズムをトレーニングする、ように構成された評価計算装置を備え、ここで、供給装置はさらに、トレーニングされた機械学習アルゴリズムを供給するように構成されている。

【0037】

本発明によれば、コンピュータ上で実行されるときに、本発明に係る方法の少なくとも一部をその実施形態のうちの１つにおいて実施するためのプログラムコードを含むコンピュータプログラムも特許請求される。換言すれば、本発明によれば、コンピュータによってプログラムが実行されるときに、当該コンピュータに、本発明に係る方法のプロセス又はステップをその実施形態のうちの１つにおいて実施させるための命令を含むコンピュータプログラム（製品）が特許請求される。

【0038】

本発明によれば、コンピュータ上で実行されるときに、本発明に係る方法の少なくとも一部をその実施形態のうちの１つにおいて実施するためのコンピュータプログラムのプログラムコードを含むコンピュータ可読データ担体が提案される。換言すれば、本発明は、コンピュータによって実行されるときに、当該コンピュータに、本発明に係る方法のプロセス又はステップをその実施形態のうちの１つにおいて実施させるための命令を含むコンピュータ可読媒体（メモリ）媒体に関する。

【0039】

説明している構成及び発展形態は、相互に任意に組み合わせることができる。

【0040】

本発明の他の可能な構成、発展形態及び実現形態には、上記において又は下記において実施例に即して説明する本発明の特徴の明確に言及していない組合せも含まれる。

【0041】

添付の図面は本発明の実施形態をより良く理解するためのものである。これらの図面は実施形態を示すものであり、明細書、基本方式の説明及び本発明の概念との関連において用いられる。

【0042】

図面を参照すれば、他の実施形態及び上述した利点の多くが明らかとなる。図示されている要素は必ずしも相互に縮尺通りには示されていない。

【図面の簡単な説明】

【0043】

【図1】機械学習アルゴリズムを最適化された状態でトレーニングする本方法の実施例を示す概略的なフローチャートである。

【図2】機械学習アルゴリズムを最適化された状態でトレーニングする従来のトレーニング方法（ａ）と本方法（ｂ）との比較を示す概略的なブロック図である。

【発明を実施するための形態】

【0044】

図面の各図において、同一の又は類似の機能を有する要素、モジュール又はコンポーネントには、反対の記載がない限り、同様の符号を付してある。

【0045】

図１には、機械学習アルゴリズムを最適化された状態でトレーニングするための方法の概略的なフローチャートが示されている。

【0046】

方法は、任意の実施形態において、少なくとも部分的にシステム１によって実行することができ、このシステム１は、このために、詳細には示されていない複数のコンポーネント、例えば、１つ又は複数の供給装置及び／又は少なくとも１つの評価計算装置を含み得る。供給装置が評価計算装置と共に構成されるものとしてもよいし又は評価計算装置とは異なるものとしてもよいことは理解されよう。システムはさらに、メモリ装置及び／又は出力装置及び／又は表示装置及び／又は入力装置を含み得る。

【0047】

機械学習アルゴリズムを最適化された状態でトレーニングするコンピュータ実装方法は、本明細書においては、少なくとも以下のステップを含む。

【0048】

ステップＳ１においては、少なくとも１つのドメインに対するドメインパラメータ及び／又はドメイン値を有するドメインモデルが供給される。

【0049】

ステップＳ２においては、少なくとも１つのドメインに対するトレーニングデータを含むトレーニングデータセットを有するデータモデルが供給される。

【0050】

ステップＳ３においては、低減されたトレーニングデータセットを供給するために、少なくとも１つのドメインパラメータ及び／又はドメイン値に依存して、トレーニングデータセットからの少なくとも１つのトレーニングデータの除去及び／又はマスキング及び／又は変更が行われる。

【0051】

ステップＳ４においては、低減されたデータセットに依存してモデル出力を決定するために、低減されたトレーニングデータセットに基づいてニューラルネットワークのトレーニングが行われる。

【0052】

ステップＳ５においては、決定されたモデル出力が、トレーニングデータセットに対応付けられたモデル出力と比較される。

【0053】

ステップＳ６においては、モデル出力の比較に依存して、トレーニングデータセットからトレーニングデータが選択される。

【0054】

ステップＳ７においては、選択されたトレーニングデータに基づいて、機械学習アルゴリズムのトレーニングが行われる。

【0055】

ステップＳ８においては、トレーニングされた機械学習アルゴリズムが供給される。

【0056】

少なくとも１つのドメインパラメータ及び／又はドメイン値に依存してトレーニングデータセットから少なくとも１つのトレーニングデータを除去する及び／又はマスキングする及び／又は変更するステップＳ３は、特に好ましくは、少なくとも１つのドメインパラメータ及び／又はドメイン値を変化させることによって、連続的に及び／又は反復的に行われる。それぞれのニューラルネットワークのトレーニング、それぞれのモデル出力の決定及びモデル出力の比較は、特に好ましくは、それぞれ、連続的に及び／又は反復的に低減されたトレーニングデータセットごとに実行され、トレーニングデータセットからサブセットが選択され、当該サブセットに基づいて機械学習アルゴリズムがトレーニングされる。

【0057】

図２からは、従来のトレーニング方法（図２の（ａ））と本願の最適化されたトレーニング方法（図２の（ｂ））との間での比較が見て取れる。

【0058】

図２の（ａ）によれば、ニューラルネットワーク２００は、トレーニングデータから成るトレーニングデータセット２０２を用いてトレーニングされる。このようにしてトレーニングされたモデルは、グラフ２０４に概略的に示されている決定されたモデル出力２０５を有する。任意選択手段として、トレーニングデータセット２０２のトレーニングデータを、予め定められたカテゴリ２０６、例えば予測クラスに依存して特徴付ける又はラベリングすることができる。ラベルは、参照符号２０８によって示されている。

【0059】

図２の（ｂ）には、本明細書において特許請求している、機械学習アルゴリズムを最適化された状態でトレーニングするための方法の一実施例が示されている。ここでは、ドメインモデル３００が供給され、このドメインモデルは、例えば、それぞれ対応するドメイン値ｖ１１，ｖ１２，ｖ１３，ｖ２１，ｖ２２及びｖ３１，ｖ３２，ｖ３３を有する複数のドメインパラメータＰ１，Ｐ２，Ｐ３によって定義可能である。さらに、少なくとも１つのドメインに対するトレーニングデータを含むトレーニングデータセット３０４を有するデータモデル３０２が供給される。任意選択手段として、トレーニングデータセット３０４のトレーニングデータは、予め定められたカテゴリ又はドメイン３０６、例えば予測クラスに依存して特徴付け可能であり又はラベリング可能である。ラベルは、参照符号３０８によって示されている。本方法においては、例示的に、低減されたトレーニングデータセット３１２を供給するために、少なくとも１つのドメインパラメータＰ３及び／又はドメイン値ｖ３３に依存して、少なくとも１つのトレーニングデータ３１０がトレーニングデータセット３０４から少なくとも一時的に除去され及び／又はマスキングされる。除去及び／又はマスキングは参照符号３１４によって示されている。これにより、特に分離されたドメインパラメータ及び／又はドメイン値に依存して、モデル出力への影響を判別することができる。トレーニングデータセット３０４の個々のトレーニングデータは、本方法においては、ドメインパラメータＰ１，Ｐ２，Ｐ３及びそれぞれ対応するドメイン値ｖ１１，ｖ１２，ｖ１３；ｖ２１，ｖ２２及びｖ３１，ｖ３２，ｖ３３に依存してラベリングされている。したがって、例えば、トレーニングデータセット３０４の各トレーニングデータには、ドメインパラメータ及びドメイン値からの特定のコンフィギュレーションに対して、少なくとも１つの識別子が対応付けられる。当該識別子は、参照符号３１６によって示されている。本方法においては、例えば、ドメインパラメータに対するドメイン値ｖ３３を有する又はドメインパラメータに対するドメイン値ｖ３３として特徴付けられている少なくとも１つのトレーニングデータが除去される。その結果、低減されたトレーニングデータセット３１２に基づいて、それぞれニューラルネットワーク３１８がトレーニングされ、これにより、低減されたデータセット３１２に依存してモデル出力が決定される。低減されたデータセット３１２を用いてトレーニングされたニューラルネットワーク３１８に対する決定されたモデル出力３１９が、グラフ３２０に概略的に示されている。このようにして決定されたモデル出力３１９、又は、低減されたデータセット３１２に基づいてトレーニングされたニューラルネットワーク３１８によって示されているモデル出力３１９が、（全体的な）トレーニングデータセットに対応付けられたモデル出力２０５と比較される。比較は、参照符号３２２によって示されており、ステップＳ５に対応する。

【0060】

ここでは、上記の比較に基づき、トレーニングデータをトレーニングデータセットから選択することができるが、このことはもはや図２には示されていない。好適にはセマンティックドメインモデルをリッチ化するデータモデル３０２により、トレーニングデータ及び／又は組合せ事例の部分集合又はサブセットをドメインパラメータ及びドメイン値から決定し、ここから好適には、ドメインモデルからの特別なドメイン値を有するＸにおけるデータポイントＸ’を特に連続的に及び／又は部分的に除去する及び／又は追加することによって、大域的な出力挙動を算定することができる。

【0061】

次いで、機械学習アルゴリズムを、選択されたトレーニングデータに基づいてトレーニングすることができる。

【0062】

すなわち、本方法においては特に、ドメインモデル、好適にはセマンティックドメインモデルのリッチ化が、学習されたデータモデルによって行われる。ここで、ドメインモデルＳは好適には複数の入力変数Ｄ_Ｎを有しており、
Ｓ＝{Ｄ_１，…，Ｄ_Ｎ}
のように表現することができ、ここで、それぞれＤ_ｉ＝（Ｄ_ｉ１，…，Ｄ_ｉｋ）である。

【0063】

（トレーニング）データとしてＸ，Ｙ，Ｍを定義することができ、ここで、Ｘは、入力データであり、Ｙは、予測のための任意のラベルであり、Ｍは、ドメインモデルＳにおけるｘの記述である。

【0064】

データモデルは、ｆ（Ｘ）→ｙ’のように定義することができる。コスト関数Ｌ（ｙ’）は場合によりＬ（ｙ，ｙ’）である。

【0065】

本方法においては、特に好ましくは、データモデルＤ_Ｍ＝ｇ（ｓ）＝ｇ（Ｄ_１１，…，Ｄ_Ｎｋ）→Ｒが計算され及び／又は提示される。

【0066】

ドメインモデルの包括的な組合せのために、好適には、ニューラルネットワークの結果として生じるモデル出力の予測が形成される。データモデルの計算は、好適には基本的に公知の方法に従って実行されるが、この場合、データモデルは、従来技術とは異なり、Ｓ内の具体的なインスタンスｓについて計算される。換言すれば、データモデルの計算のためにドメインモデルへのマッピングが行われる。

【0067】

|Ｓ’|＜｜Ｓ｜を伴うモデル出力Ｓ’として、特に好ましくは、機械学習アルゴリズムのトレーニングのために効果的に使用することができるトレーニングデータのサブセットを算定する及び／又は出力することができる。トレーニングデータのサブセットは、好適には、モデル出力に重大な影響を及ぼすドメインパラメータ及び／又はドメイン値に対するシナリオを形成している。さらに、本方法においては、特に組合せテストのために相互作用度ｋの推定を出力することができる。ここでは、例えば、ドメインパラメータ及び／又はドメイン値の重要な（又は重要でない）組合せに関する検査を行うことができる。このようにして低減されたデータモデル及び／又は特定の相互作用度によって、好適には、Ｘから、ドメインモデルの予め定められた品質の度合を満たす（トレーニング）データＸ’が選択される。任意選択手段として、それ以外の場合、当該低減された（トレーニング）データセットの教師あり学習のためのラベルを作成することができる。次いで、得られた（トレーニング）データセットを用いて、データモデルに対してロバストな機械学習アルゴリズムがトレーニングされる。

【図1】

【図2】

【手続補正書】

【提出日】2024-10-23

【手続補正1】

【補正対象書類名】特許請求の範囲

【補正対象項目名】全文

【補正方法】変更

【補正の内容】

【特許請求の範囲】

【請求項1】

機械学習アルゴリズムを最適化された状態でトレーニングするための方法であって、
前記方法は、
－少なくとも１つのドメインに対するドメインパラメータ及び／又はドメイン値を有するドメインモデルを供給するステップ（Ｓ１）と、
－前記少なくとも１つのドメインに対するトレーニングデータを含むトレーニングデータセットを有するデータモデルを供給するステップ（Ｓ２）と、
－低減されたトレーニングデータセットを供給するために、特に、少なくとも１つの除去された及び／又はマスキングされたドメインパラメータ及び／又はドメイン値の感度を評価するために、少なくとも１つのドメインパラメータ及び／又はドメイン値に依存して、前記トレーニングデータセットから少なくとも１つのトレーニングデータを除去する及び／又はマスキングする及び／又は変更するステップ（Ｓ３）と、
－前記低減されたデータセットに依存してモデル出力を決定するために、前記低減されたトレーニングデータセットに基づいてニューラルネットワークをトレーニングするステップ（Ｓ４）と、
－決定されたモデル出力と前記トレーニングデータセットに対応付けられたモデル出力とを比較するステップ（Ｓ５）と、
－前記モデル出力の比較に依存して、前記トレーニングデータセットからトレーニングデータを選択するステップ（Ｓ６）と、
－選択されたトレーニングデータに基づいて前記機械学習アルゴリズムをトレーニングするステップ（Ｓ７）と、
－トレーニングされた前記機械学習アルゴリズムを供給するステップ（Ｓ８）と、
を含む、方法。

【請求項2】

前記少なくとも１つのドメインに対するトレーニングデータは、それぞれドメインパラメータ及び／又はドメイン値から成る少なくとも１つの組合せに依存して特徴付けられている、請求項１に記載の方法。

【請求項3】

前記データモデルのトレーニングデータセットは、少なくとも１つの予測ドメイン識別子を有する、請求項１に記載の方法。

【請求項4】

前記少なくとも１つのドメインパラメータ及び／又はドメイン値に依存して前記トレーニングデータセットから少なくとも１つのトレーニングデータを除去する及び／又はマスキングする及び／又は変更するステップ（Ｓ３）は、前記少なくとも１つのドメインパラメータ及び／又はドメイン値を変化させることによって連続的に及び／又は反復的に行われる、請求項１に記載の方法。

【請求項5】

それぞれのニューラルネットワークのトレーニング、それぞれのモデル出力の決定、及び、モデル出力の比較は、連続的に及び／又は反復的に低減されたトレーニングデータセットごとに行われ、前記トレーニングデータセットからサブセットが選択され、前記サブセットに基づいて前記機械学習アルゴリズムがトレーニングされる、請求項４に記載の方法。

【請求項6】

前記トレーニングデータセットからのサブセットは、特に少なくとも１つの境界値に依存して、前記モデル出力に対する予め定められた影響を有するトレーニングデータを有する、請求項５に記載の方法。

【請求項7】

前記決定されたモデル出力と前記トレーニングデータセットに対応付けられたモデル出力との比較に基づいて、少なくとも２つのドメインパラメータ及び／又はドメイン値の間の相互作用が算定可能である、請求項１に記載の方法。

【請求項8】

前記機械学習アルゴリズムは、ニューラルネットワーク、特にディープニューラルネットワークを含む、請求項１に記載の方法。

【請求項9】

さらに、設定可能な製品を生産するための装置構成を含む製造ラインが提供される、請求項１に記載の方法。

【請求項10】

前記方法は、前記製造ラインが提供された後に、さらに、前記装置構成を使用して、少なくとも１つの設定可能な製品を生産するステップを含む、請求項９に記載の方法。

【請求項11】

自律型車両及び／又はロボットシステム及び／又は産業機械に含まれる制御装置であって、前記制御装置上で、請求項１に記載の方法に従ってトレーニングされた機械学習アルゴリズムを実行し得る、制御装置。

【請求項12】

機械学習アルゴリズムを最適化された状態でトレーニングするためのシステム（１）であって、
前記システム（１）は、
－少なくとも１つのドメインに対するドメインパラメータ及び／又はドメイン値を有するドメインモデルと前記少なくとも１つのドメインに対するトレーニングデータを含むトレーニングデータセットを有するデータモデルとを供給するように構成された供給装置と、
－低減されたトレーニングデータセットを供給するために、少なくとも１つのドメインパラメータ及び／又はドメイン値に依存して、前記トレーニングデータセットから少なくとも１つのトレーニングデータを除去し及び／又はマスキングし及び／又は変更し、前記低減されたデータセットに依存してモデル出力を決定するために、前記低減されたトレーニングデータセットに基づいてニューラルネットワークをトレーニングし、決定されたモデル出力と前記トレーニングデータセットに対応付けられたモデル出力とを比較し、前記モデル出力の比較に依存して前記トレーニングデータセットからトレーニングデータを選択し、選択されたトレーニングデータに基づいて前記機械学習アルゴリズムをトレーニングするように構成された評価計算装置と、
を備え、
前記供給装置はさらに、トレーニングされた前記機械学習アルゴリズムを供給するように構成されている、システム（１）。

【請求項13】

コンピュータプログラムであって、当該コンピュータプログラムがコンピュータによって実行されるときに、請求項１に記載の方法を前記コンピュータに実施させるためのプログラムコードを含むコンピュータプログラム。

【請求項14】

請求項１３に記載のコンピュータプログラムが格納されているコンピュータ可読データ担体。

【外国語明細書】