特開 2024-40135 技術的システムを妥当性確認又は検証するための方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2024040135

(43)【公開日】2024-03-25

(54)【発明の名称】技術的システムを妥当性確認又は検証するための方法

(51)【国際特許分類】

   G06N 20/00 20190101AFI20240315BHJP

   G06N 3/045 20230101ALI20240315BHJP

   G05B 23/02 20060101ALI20240315BHJP

【ＦＩ】

G06N20/00

G06N3/045

G05B23/02 T

【審査請求】未請求

【請求項の数】9

【出願形態】ＯＬ

【外国語出願】

(21)【出願番号】P 2023146704

(22)【出願日】2023-09-11

(31)【優先権主張番号】22195125

(32)【優先日】2022-09-12

(33)【優先権主張国・地域又は機関】EP

(71)【出願人】

【識別番号】390023711

【氏名又は名称】ローベルト ボツシユ ゲゼルシヤフト ミツト ベシユレンクテル ハフツング

【氏名又は名称原語表記】ＲＯＢＥＲＴ ＢＯＳＣＨ ＧＭＢＨ

【住所又は居所原語表記】Ｓｔｕｔｔｇａｒｔ， Ｇｅｒｍａｎｙ

(74)【代理人】

【識別番号】100114890

【弁理士】

【氏名又は名称】アインゼル・フェリックス＝ラインハルト

(74)【代理人】

【識別番号】100098501

【弁理士】

【氏名又は名称】森田 拓

(74)【代理人】

【識別番号】100116403

【弁理士】

【氏名又は名称】前川 純一

(74)【代理人】

【識別番号】100134315

【弁理士】

【氏名又は名称】永島 秀郎

(74)【代理人】

【識別番号】100162880

【弁理士】

【氏名又は名称】上島 類

(72)【発明者】

【氏名】ダーフィト レープ

(72)【発明者】

【氏名】カニル パテル

(72)【発明者】

【氏名】カリム ザイド マームート バージム

(72)【発明者】

【氏名】マーティン シーク

(72)【発明者】

【氏名】ゼバスティアン ゲアヴィン

【テーマコード（参考）】

3C223

【Ｆターム（参考）】

3C223AA12

3C223AA16

3C223BB17

3C223EB02

3C223FF04

3C223FF22

3C223FF26

(57)【要約】      （修正有）

【課題】供給される入力信号に基づいて出力信号を送出する制御システムが所望の基準を満たすかどうかを検証及び／又は妥当性確認する方法を提供する。
【解決手段】方法は、制御システム４０に含まれる複数のコンポーネントＳ^１，Ｓ^２～Ｓ^Ｃに関するモデルＭ^１，Ｍ^２～Ｍ^Ｃを取得するステップと、複数の妥当性確認測定値を取得するステップと、夫々のコンポーネント毎に、夫々のコンポーネントの入力に基づいてそれぞれのコンポーネントの出力を予測するように、機械学習モデルＶ^１，Ｖ^２～Ｖ^Ｃを訓練するステップと、テスト入力ｑ^０に基づいて最後のモデルから第１のテスト出力ｑ^Ｍ，Ｃを取得するステップと、最後のモデルに対応する機械学習モデルから、モデルのテスト入力に基づいて第２のテスト出力ｑ^Ｖ，Ｃを決定するステップと、偏差ｄを決定するステップと、制御システムが基準を満たすかどうかを検証及び／又は妥当性確認するステップと、を含む。
【選択図】図１

【特許請求の範囲】

【請求項1】

技術的システム（４０）が所望の基準を満たすかどうかを検証及び／又は妥当性確認するための方法であって、前記技術的システム（４０）は、当該技術的システム（４０）に供給される入力信号に基づいて出力信号を送出する、方法において、
・前記技術的システム（４０）に含まれる複数のコンポーネント（Ｓ^１，Ｓ^２，Ｓ^Ｃ）に関するモデル（Ｍ^１，Ｍ^２，Ｍ^Ｃ）を取得するステップであって、取得された前記モデル間の接続は、どのコンポーネントがどの信号を他のどのコンポーネントに送信するかを特徴付ける、ステップと、
・複数の妥当性確認測定値を取得するステップであって、１つの妥当性確認測定値は、測定値入力及び測定値出力を含み、前記測定値出力は、前記コンポーネント（Ｓ^１，Ｓ^２，Ｓ^Ｃ）に前記測定値入力が提供されると、前記測定値入力に対して前記技術的システム（４０）のコンポーネント（Ｓ^１，Ｓ^２，Ｓ^Ｃ）から取得される、ステップと、
・それぞれのコンポーネント（Ｓ^１，Ｓ^２，Ｓ^Ｃ）ごとに、前記それぞれのコンポーネントの入力に基づいて前記それぞれのコンポーネント（Ｓ^１，Ｓ^２，Ｓ^Ｃ）の出力を予測するように、機械学習モデル（Ｖ^１，Ｖ^２，Ｖ^Ｃ）を訓練するステップであって、前記複数の妥当性確認測定値のうちの少なくとも一部が、訓練データセットとして使用され、前記機械学習モデル（Ｖ^１，Ｖ^２，Ｖ^Ｃ）は、前記コンポーネントに対して取得された前記モデル（Ｍ^１，Ｍ^２，Ｍ^Ｃ）に対応する、ステップと、
・テスト入力（ｑ^０）に基づいて最後のモデル（Ｍ^Ｃ）から第１のテスト出力（ｑ^Ｍ，Ｃ）を取得するステップであって、前記第１のテスト出力（ｑ^Ｍ，Ｃ）は、前記モデル間の接続を介して前記テスト入力（ｑ^０）を伝搬させることによって取得される、ステップと、
・前記最後のモデルに対応する前記機械学習モデル（Ｖ^Ｃ）から、前記モデル（Ｍ^１，Ｍ^２，Ｍ^Ｃ）の前記テスト入力（ｑ^０）に基づいて第２のテスト出力（ｑ^Ｖ，Ｃ）を決定するステップであって、前記第２のテスト出力（ｑ^Ｖ，Ｃ）は、前記機械学習モデル（Ｖ^１，Ｖ^２，Ｖ^Ｃ）間の接続を介して前記テスト入力（ｑ^０）を伝搬させることによって取得され、前記機械学習モデル（Ｖ^１，Ｖ^２，Ｖ^Ｃ）間の接続は、それぞれの前記機械学習モデル（Ｖ^１，Ｖ^２，Ｖ^Ｃ）に対応する前記モデル（Ｍ^１，Ｍ^２，Ｍ^Ｃ）間の接続に対応する、ステップと、
・偏差（ｄ）を決定するステップであって、前記偏差（ｄ）は、前記最後のモデル（Ｍ^Ｃ）から決定された第１のテスト出力（ｑ^Ｍ，Ｃ）と、前記最後のモデル（Ｍ^Ｃ）に対応する前記機械学習モデル（Ｖ^Ｃ）によって決定された第２のテスト出力（ｑ^Ｖ，Ｃ）との間の差を特徴付ける、ステップと、
・前記技術的システム（４０）が前記基準を満たすかどうかを検証及び／又は妥当性確認するステップであって、前記検証及び／又は妥当性確認は、前記第１のテスト出力（ｑ^Ｍ，Ｃ）のうちの、オフセット基準を満たす分画を決定することによって特徴付けられ、前記オフセット基準は、決定された前記偏差（ｄ）の分だけ前記基準をオフセットすることによって決定される、ステップと、
を含む方法。

【請求項2】

複数の第１のテスト出力と、対応する第２のテスト出力とに関して差を決定し、前記差の所定の分位数を偏差として提供することによって、前記偏差が決定される、
請求項１に記載の方法。

【請求項3】

前記機械学習モデルの少なくとも１つは、ガウス過程であり又はガウス過程を含む、
請求項１又は２に記載の方法。

【請求項4】

前記技術的システム（４０）の入力を合成し、合成された前記入力を、前記モデルを介して転送することによって、前記テスト入力及び前記テスト出力が決定される、
請求項１乃至３のいずれか一項に記載の方法。

【請求項5】

前記基準を検証及び／又は妥当性確認できない場合には、モデルが改善される、
請求項１乃至４のいずれか一項に記載の方法。

【請求項6】

前記所望の基準を検証及び／又は妥当性確認できない場合には、前記技術的システム（４０）の前記複数のコンポーネントのうちの少なくとも１つが改善される、
請求項１乃至５のいずれか一項に記載の方法。

【請求項7】

前記技術的システム（４０）は、製造機械及び／又はロボットに制御信号を提供するように構成されている、
請求項１乃至６のいずれか一項に記載の方法。

【請求項8】

プロセッサによって実行された場合に、請求項１乃至７のいずれか一項に記載の方法の全てのステップをコンピュータに実施させるように構成されているコンピュータプログラム。

【請求項9】

請求項８に記載のコンピュータプログラムが格納されている機械可読記憶媒体。

【発明の詳細な説明】

【技術分野】

【0001】

技術分野
本発明は、技術的システムを妥当性確認（validate）又は検証（verify）するためのコンピュータ実装方法と、コンピュータプログラムと、機械可読記憶媒体とに関する。

【背景技術】

【0002】

従来技術
Shalev-Shwartzら著の「“On a Formal Model of Safe and Scalable Self-driving Cars”，2018年，https://arxiv.org/pdf/1708.06374.pdf」は、安全性保証のための数学的モデルを開示している。

【0003】

Danquahら著の「“Statistical Validation Framework for Automotive Vehicle Simulations Using Uncertainty Learning”，2021年，https://doi.org/10.3390/app11051983」は、変動するパラメータ構成を備えた動的システムのための統計的な妥当性確認フレームワークを開示している。

【0004】

ICLR 2022にて発表されたJiangら著の「“Assessing Generalization of SGD via Disagreement”，2021年，https://arxiv.org/abs/2106.13799」は、同様のアーキテクチャの訓練を、単純に同様の訓練セットに対して、ただし確率的勾配降下の実行を異なるようにして行うことによって、深層ネットワークのテスト誤差を推定することができることを経験的に示している。

【0005】

背景技術
技術的システムは、複数のコンポーネントを含み、当該システムは、複数のコンポーネントの間の相互作用及び／又は相互関係を定義すると理解可能である。例えば、自律的な車両のようなロボットの制御システムは、典型的には、ロボットの環境を感知するためのコンポーネントと、そのような環境内におけるロボットの行動を計画するためのコンポーネントと、計画された行動を実行するためのロボットのアクチュエータへの制御信号を決定するためのコンポーネントとを含む。

【0006】

現代の技術的システムには、典型的には相当な量のコンポーネントが含まれており、このこと自体により、そのようなシステムの挙動を予測することが非常に困難になる可能性がある。前述の例の場合には、環境を感知するためのコンポーネントは、感知プロセスにおいてミスを犯す可能性があり、例えば環境内のオブジェクトを見落とす可能性があり、計画コンポーネントは、この計画コンポーネントにおいて適当な行動が未知であるような、検知された環境に直面する可能性があり、又は、計画された行動とロボットによって実際に実行された行動との間に不一致が存在する可能性がある。

【0007】

一般的に、技術的システムがその環境内において所望の挙動を示すことを検証及び／又は妥当性確認することは非常に困難であり、ましてや、そのような所望の挙動を保証することが非常に困難であることは言うまでもない。その主な理由は、システムに含まれるコンポーネント自体が、未知の挙動及び／又は確率的な挙動を示す可能性があるからであり、及び／又は、ブラックボックスとして取り扱われることしかできないほど非常に複雑である可能性があるからである。例えば、ロボットの最新の環境知覚コンポーネントは、典型的に、環境を感知するための機械学習の分野からの方法、特に深層学習方法に依拠している。このような方法は、本質的に統計的であり、その複雑さにより、典型的には、知覚システムの正確な挙動を決定するための単刀直入なアプローチが不可能である。

【0008】

それどころかさらに、システムのコンポーネント自体が、システムである可能性があり、すなわち、システムが、実際には複数のシステムからなる１つのシステムである可能性がある。複数のシステムからなるこのようなシステムにおいては、複雑さが極めて急速に増大し、このこと自体により、このようなシステムの挙動を正確に予測すること、すなわち、システムが要求通り又は所望通りに挙動していることを検証及び／又は妥当性確認することが非常に困難になる。

【先行技術文献】

【非特許文献】

【0009】

【非特許文献1】Shalev-Shwartzら著、「“On a Formal Model of Safe and Scalable Self-driving Cars”，2018年，https://arxiv.org/pdf/1708.06374.pdf」

【非特許文献2】Danquahら著、「“Statistical Validation Framework for Automotive Vehicle Simulations Using Uncertainty Learning”，2021年，https://doi.org/10.3390/app11051983」

【非特許文献3】Jiangら著の「“Assessing Generalization of SGD via Disagreement”，2021年，https://arxiv.org/abs/2106.13799，ICLR 2022にて発表」

【発明の概要】

【発明が解決しようとする課題】

【0010】

有利には、本提案の発明は、技術的システムが複雑である場合であっても、例えば、技術的システムが、互いに入り組んでリンクされた複数のコンポーネントを含む場合であっても、技術的システムを検証及び／又は妥当性確認することを可能にする。

【課題を解決するための手段】

【0011】

発明の開示
第１の態様においては、本発明は、技術的システムが所望の基準を満たすかどうかを検証及び／又は妥当性確認するための方法であって、技術的システムは、技術的システムに供給される入力信号に基づいて出力信号を送出する、方法において、
・技術的システムに含まれる複数のコンポーネントに関するモデルを取得するステップであって、取得されたモデル間の接続は、どのコンポーネントがどの信号を他のどのコンポーネントに送信するかを特徴付ける、ステップと、
・複数の妥当性確認測定値を取得するステップであって、１つの妥当性確認測定値は、測定値入力及び測定値出力を含み、測定値出力は、コンポーネントに測定値入力が提供されると、測定値入力に対して技術的システムのコンポーネントから取得される、ステップと、
・それぞれのコンポーネントごとに、それぞれのコンポーネントの入力に基づいてそれぞれのコンポーネントの出力を予測するように、機械学習モデルを訓練するステップであって、複数の妥当性確認測定値のうちの少なくとも一部が、訓練データセットとして使用され、機械学習モデルは、コンポーネントに対して取得されたモデルに対応する、ステップと、
・テスト入力に基づいて最後のモデルから第１のテスト出力を取得するステップであって、第１のテスト出力は、モデル間の接続を介してテスト入力を伝搬させることによって取得される、ステップと、
・最後のモデルに対応する機械学習モデルから、モデルのテスト入力に基づいて第２のテスト出力を決定するステップであって、第２のテスト出力は、機械学習モデル間の接続を介してテスト入力を伝搬させることによって取得され、機械学習モデル間の接続は、それぞれの機械学習モデルに対応するモデル間の接続に対応する、ステップと、
・偏差を決定するステップであって、偏差は、最後のモデルから決定された第１のテスト出力と、最後のモデルに対応する機械学習モデルによって決定された第２のテスト出力との間の差を特徴付ける、ステップと、
・技術的システムが基準を満たすかどうかを検証及び／又は妥当性確認するステップであって、検証及び／又は妥当性確認は、第１のテスト出力のうちの、オフセット基準を満たす分画を決定することによって特徴付けられ、オフセット基準は、決定された偏差の分だけ基準をオフセットすることによって決定される、ステップと、
を含む方法に関する。

【0012】

一般的に、技術的システムを検証及び／又は妥当性確認するための方法の目的は、技術的システムが所望の基準を満たす確率を決定することにおいて、本方法のユーザを支援することとして理解可能である。次いで、決定された確率を、確率閾値と比較することができ、所望の基準を満たす確率が、確率閾値と等しい又はそれを上回る場合には、その技術的システムを、基準に関して検証及び／又は妥当性確認されたものとしてみなすことができる。決定された確率が、確率閾値に到達していない又は確率閾値を超えていない場合には、この基準を、検証又は妥当性確認されることが不可能であるとみなすことができる。例えば、技術的システムは、移動式ロボットであるものとしてよく、基準は、「ロボットが、ロボットの所望の経路から５０ｃｍを超えて逸脱していないこと」として表現可能である。次いで、本方法は、基準が満たされている確率を統計的に評価することを可能にする。

【0013】

代替的に、本方法を、所望の基準に違反している確率を決定するためにも使用するものとしてよい。この場合には、決定された確率が、確率閾値と等しい又はそれを下回る場合に、その基準を、検証及び／又は妥当性確認されたものとみなすことができる。

【0014】

いくつかの実施形態においては、所望の基準は、何らかの仕様、例えば設計仕様又は法的仕様に関する１つ又は複数の要件であるものとしてよい。例えば、所望の基準は、内燃エンジンが含まれる車両のパワートレイン（すなわち、技術的システム）が、所定の動作時間の間、指定された量の排出粒子しか生成しない（例えば、ＮＯｘ粒子の数が、所定の閾値を下回っていなければならない）ことという要件であるものとしてよい。この特定の場合においては、本方法は、パワートレインが実際に指定された排出量に従って動作している確率を決定するために、妥当性確認エンジニアを支援することができる。

【0015】

確率閾値は、システムの仕様に従って選択可能である。代替的に、確率閾値を、法的規定によって提供又は導出するものとしてよい。

【0016】

一般的に、本方法は、コンポーネント又はサブシステムが含まれる任意のシステムのために使用可能である。全てのこのようなシステムに対して、本方法は、ガイドされたプロセスを可能にする。検証及び／又は妥当性確認は、典型的には開発中のシステムのリリースに関して不可欠なビルディングブロックであるので、例えば、基準が満たされていることが検証及び／又は妥当性確認されると、システムをリリースすることができる。代替的に、本方法を、複数の基準を検証及び／又は妥当性確認するために使用するものとしてよく、全ての基準が満たされていることが検証及び／又は妥当性確認されると、システムをリリースすることができる。代替的に、本方法は、システムをリリースしてもよいどうかを評価するためのより大きいテスト戦略の一部であるものとしてよい。上記の全ての実施形態において、例えば、１つ又は複数の基準を検証及び／又は妥当性確認することができなかった場合に、システムがリリースされないようにすることができる。このような場合には、技術的システムのコンポーネントを改善することができ、１つ又は複数の基準に関して改善されたシステムを検証及び／又は妥当性確認するために、コンポーネントの改善後に本方法を再度実行することができる。例えば、上記の実施形態においては、放出される粒子の量を削減するためにエンジンの出力を制限することができ、及び／又は、パワートレインのコンポーネントを、放出される粒子に関してより効率的なコンポーネントに交換することができる。

【0017】

換言すれば、本方法は、現実世界でシステムを使用する際に特定の基準が満たされていることを予期することができるかどうかを評価するための、ヒューマン－マシンのガイド付きプロセスとして理解可能である。

【0018】

技術的システムは、入力信号に基づいて出力信号を決定することによって、現実世界と相互作用する。上記の例示的な実施形態においては、パワートレインには、例えば、パワートレインの環境の温度を測定するためのセンサを搭載することができ、パワートレインは、エンジンを、及び／又は、排気ガスを後処理する部品、例えば触媒を、相応に制御することができる。しかしながら、システムへの入力信号は、必ずしもセンサ又は通信装置を用いて技術的システムに入力されたものでなくてもよい。入力信号は、例えば、技術的システムの動作に影響を及ぼす技術的システムの環境条件を特徴付けるものであってよい。例えば、内燃エンジンによって生成される排出量は、一般的に、内燃エンジンの環境の温度に依存する。このような実施形態においては、エンジンが、センサ又は通信装置を用いて温度情報を受信するわけではないが、それでもなお、温度を、技術的システムの入力信号とみなすことができる。換言すれば、温度は、エンジンが温度を測定しなくてもエンジンに物理的な影響を及ぼす。したがって、入力信号は、入力刺激としても理解可能である。

【0019】

したがって、技術的システムの複数の異なるコンポーネント同士は、例えば信号（例えば、測定データ、制御信号）を介した情報の交換によって接続されるものとしてもよいし、及び／又は、物理的な相互作用（例えば、排気ガスの処理）によって接続されるものとしてもよい。

【0020】

一般的に、本発明において説明される技術的システムは、例えば、技術的システムのコンポーネント同士が互いに相互作用する方式に関して極めて複雑である可能性があり、及び／又は、技術的システムの個々のコンポーネントに関して極めて複雑である可能性があり、このことにより、技術的システムの種々異なる環境状況と、このような種々異なる入力信号とに関して技術的システムの挙動を正確に評価することが、非常に困難になる可能性がある。公知の方法によれば、このような技術的システムの挙動を評価するための唯一の手法は、典型的に、技術的システムをその入出力挙動に関してブラックボックスとして取り扱い、入出力挙動に関するデータを収集するために技術的システムを現実世界において実行し、統計的な方法を使用して入出力挙動に関する情報を導出することである。このことは、技術的システムの入出力挙動を予測するためのデータ収集としても理解可能である。しかしながら、このようなアプローチの主な欠点は、典型的に、入出力挙動を正確に評価するために大量のデータを収集しなければならないことである。特に、セーフティクリティカルなシステム及び／又は技術的システムが、その入出力挙動に関して何らかの形態の法的規定（例えば、特定の動作時間にわたって放出される粒子の所定の最大数のみが許容される）に拘束されている場合には、入出力挙動を正確に予測するためにそのようなデータを収集することは、過剰なテスト又は妥当性確認キャンペーンを要求することとなり、このような過剰なテスト又は妥当性確認キャンペーンは、収集のために必要とされるデータの量が膨大であることに起因して実現不可能であることが多い。

【0021】

有利には、本提案の方法は、収集しなければならない現実世界のデータの実際の量を大幅に削減することを可能にし、その一方で、依然として、技術的システムの入出力挙動を正確に評価することが可能である。特に、本方法によれば、エンドツーエンドのデータ（ブラックボックス）を必要とすることなく、コンポーネントレベルのデータのみを必要とするだけで、技術的システムの検証及び／又は妥当性確認が可能となり、したがって、技術的システムの設計中、完全な技術的システムが組み立てられる前であっても、検証及び／又は妥当性確認を実施することができる。

【0022】

本提案の方法を使用して、技術的システムのコンポーネントを決定することも可能であるものとしてよい。例えば、技術的システムにおいて、使用されることが妥当と考えられ得る複数の異なる種類のコンポーネント（例えば、パワートレインの例においては、複数の異なる種類の触媒）が存在する可能性がある。それぞれのそのようなコンポーネントごとに１つの専用のモデルを使用することができ、コンポーネントの全てのこのような考えられる実現可能な組合せに対して、基準が満たされているかどうかを評価することができる。次いで、例えば、結果的に最良の確率をもたらすようなコンポーネントの構成を、技術的システムを構築するための設計仕様として使用することができる。

【0023】

抽象的な観点から、種々異なるモデルと種々異なる機械学習モデルとを介して技術的システムの種々異なるコンポーネントをモデル化し、次いで、モデルを用いて技術的システムの挙動をシミュレーションすることが可能であることによって技術的システムのモデルが構築されるという点で、本方法を理解することができる。有利には、モデルと機械学習モデルとを用いて技術的システムの挙動をシミュレーションすることができる。本発明者らは、有利にはそれぞれの出力の間の差、すなわち、モデルから決定された第１の出力と、機械学習モデルから決定された第２の出力との間の差を使用して、技術的システムが基準を満たす確率をヒューリスティックに決定することができるということを発見した。

【0024】

以下においては、モデルと機械学習モデルとが参照される。このような場合には、モデルという用語は、１つのコンポーネントのモデル、好ましくは物理モデルを指すが、モデルを参照する際に、コンポーネントに関する統計モデルを合理的に使用することもできる。「機械学習モデル」という用語は、好ましくはコンポーネントの入力データ及び出力データを訓練データとして使用する教師あり訓練によって決定される統計モデルを指す。本方法においては、モデルが統計モデルである場合には、このモデルに対応する機械学習モデルを、同様の統計モデルとすることも可能である。このことは、特に、モデルに対応するコンポーネントが、統計モデルである場合に当てはまり得る。例えば、技術的システムは、技術的システムの周囲を決定するための知覚パイプラインを使用するロボットであるものとしてよく、ロボットの近傍にあるオブジェクトを決定するためにニューラルネットワークが使用される。ニューラルネットワークは、技術的システムの１つのコンポーネントとして理解可能であり、ニューラルネットワーク自体を、モデル及び機械学習モデルとして使用することもできる。

【0025】

第１のステップにおいては、技術的システムのコンポーネントに関するモデルが取得される。モデルは、物理モデルであるものとしてよい。上記の例においては、パワートレインのエンジン（パワートレインが、技術的システムであり、エンジンが、技術的システムの１つのコンポーネントである）を、エンジンの物理モデルによってモデル化することができる。代替的に、モデルを、コンポーネント自体によって提供するものとしてよい（上記のニューラルネットワークの例を参照のこと）。

【0026】

有利には、モデル化の粒度をユーザの裁量で選択することができる。すなわち、モデルの細部（ひいては機械学習モデルの細部）をユーザの裁量で選択することができる。例えば、ユーザは、エンジンのコンポーネントを単一のモデルとしてモデル化すべきかどうか、又は、例えば、ピストン、バルブ及びクランクシャフトのようなエンジンの部品の燃料噴射挙動、燃焼挙動及び／又は機械特性をモデル化することによって粒度の細かいモデル化を適用すべきかどうかを決定することができる。

【0027】

換言すれば、本方法は、コンポーネントのモデル化のレベル（粗い粒度、細かい粒度、又は、その間の任意の粒度）には依存していない。

【0028】

第２のステップにおいては、技術的システムのコンポーネントに関する妥当性確認測定値が取得される。本方法の文脈において、妥当性確認測定値とは、測定値入力と測定値出力とのペアとして理解され、コンポーネントに測定値入力が提供されると、測定値出力が取得される。換言すれば、測定値出力は、それぞれの出力を決定するコンポーネントにリンクされている。第１のコンポーネントの測定値出力を、測定値入力として第２のコンポーネントに提供することができる。技術的システムの入力は、技術的システムの１つ又は複数のコンポーネントへの測定値入力としても使用可能である。有利には、それぞれのコンポーネントを、例えばテストベンチにおいて別個に実行及び測定することにより、技術的システムのそれぞれのコンポーネントごとの妥当性確認測定値を取得することができる。全体的な技術的システムが既に組み立てられている場合、及び／又は、実行のために既に利用可能である場合には、現実世界において技術的システムの１回又は複数回のテスト実行（妥当性確認実行と称されることもある）を実行し、それぞれのコンポーネントのそれぞれの入力測定値及び出力測定値を測定することによって、妥当性確認測定値を取得することもできる。

【0029】

第３のステップにおいては、これらの妥当性確認測定値が、機械学習モデルを訓練するために使用される。このために、それぞれのコンポーネントの測定値入力及び測定値出力を使用して、機械学習モデルを訓練することができる。このことは、コンポーネントの、独立変数として使用される測定値入力と、コンポーネントの、従属変数として使用される測定値出力とを用いた教師あり訓練として理解可能である。

【0030】

好ましい実施形態においては、機械学習モデルの少なくとも１つは、ガウス過程であり、又は、ガウス過程を含む。機械学習モデルがガウス過程を含む場合には、機械学習モデルは、機械学習モデルの出力を決定するための他の要素、例えば、前処理要素又は後処理要素を含み得る。特に、コンポーネントによって出力されるデータの種類に応じて、機械学習モデルをガウス過程回帰又はガウス過程分類のために構成することができる。コンポーネントが入力及び出力として時系列を有している場合には、ガウス過程の適当な組合せ（例えば、ＧＰ－ＮＡＲＸ）によって、このような時系列モデルを構築することもできる。

【0031】

第４のステップ及び第５のステップにおいては、モデルを使用して、第１のテスト出力が決定され、機械学習モデルを使用して、第２のテスト出力が決定される。このことは、モデル間の接続及び機械学習モデル間の接続を介してそれぞれ情報を伝搬させることによって達成される。それぞれの接続は、技術的システムのコンポーネントから導出される。技術的システムにおけるコンポーネント同士は、どのコンポーネントが他のどのコンポーネントに入力を提供するかに基づいて（論理的に）接続されている。接続は、コンポーネント間で送信される実際の信号と、コンポーネント間で送信される実際の刺激とを特徴付けることができる。モデルも機械学習モデルも、１対１の関係によって単一のコンポーネントに対応するので、コンポーネント間の接続を、モデル間の接続として、及び、機械学習モデル間の接続として使用することもできる。したがって、複数のモデルは、チェーンの最初のモデルから最後のモデルへの情報の流れを定義する１つのチェーンを形成する。この情報の流れは、技術的システム自体において起こり得る情報の流れをモデル化している。同様に、複数の機械学習モデルも、技術的システムにおける情報の流れの別の異なるモデルを定義する１つのチェーンを形成する。したがって、テスト入力が技術的システム自体に提供された（又は技術的システムに対する刺激として発生した）場合の結果となり得るそれぞれの結果を予測するために、テスト入力を、モデルのチェーン及び機械学習モデルのチェーンを介してそれぞれ伝搬させることができる。

【0032】

第１のテスト出力は、モデルのチェーンの最後のモデルから取得される。同様に、第２のテスト出力は、最後のモデルに対応する機械学習モデルから取得される。「第１の」及び「第２の」という修飾語は、単に、最後のモデル（第１のモデル）、又は、最後のモデルに対応する機械学習モデル（第２のモデル）との対応関係を指しているに過ぎない。

【0033】

本方法においては、モデル及び機械学習モデルに、好ましくは複数のテスト入力が提供されて、複数の第１のテスト出力及び複数の第２のテスト出力が決定される。テスト入力は、好ましくは所望のデータを合成することによって取得可能である。例えば、妥当性確認測定値を使用して、敵対的生成ネットワーク、正規化フロー、又は、拡散モデルのような生成的機械学習モデルを訓練することができる。次いで、テスト入力を決定するために、訓練されたモデルをサンプリングすることができる。このようにして、技術的システムを検証及び／又は妥当性確認するためのデータ量を、現実世界においてデータを収集する必要なしに容易に改善することができる。しかしながら、現実世界のデータを、合成データと組み合わせて又は単独で、テスト入力として使用することもできる。

【0034】

テスト入力とテスト出力とのペアは、測定値入力と測定値出力とのペアに対する相手側であるとみなすことができる。測定値入力及び測定値出力が技術的システムのコンポーネントにリンクされている場合には、テスト入力及びテスト出力は、モデル又は機械学習モデルにリンクされている。

【0035】

機械学習モデルを介してデータを転送する際には、それぞれのモデル又は機械学習モデルは、所与のテスト入力に対する複数の出力を予測することができ、これらの複数の出力は、次いで、別の機械学習モデルに提供される。このようにして、データ量がさらに増加し、検証及び／又は妥当性確認の結果は、さらにより信頼できるものとなる。

【0036】

第６のステップにおいては、最後のモデルからの第１のテスト出力と、このモデルに対応する機械学習モデルからの第２のテスト出力との間の差が決定される。このことは、モデルの予測が、機械学習モデルの予測とどの程度一致するかを決定することとして理解可能である。差を決定するために、同一のテスト入力を、モデルを介して伝搬させることができ、かつ、機械学習モデルを介して伝搬させることができる。したがって、このテスト入力に対して第１のテスト出力及び第２のテスト出力を決定することができる。複数の第１のテスト出力及び／又は複数の第２のテスト出力を決定することも可能である。このことが当てはまる場合には、複数の第１のテスト出力を平均することによって、複数の第１のテスト出力を単一の第１のテスト出力に集約することができる。同様に、複数の第２のテスト出力を平均することによって、複数の第２のテスト出力を単一の第２のテスト出力に集約することができる。

【0037】

最終的には、テスト入力に対して単一の第１のテスト出力と単一の第２のテスト出力とが存在する。次いで、第２のテスト出力から第１のテスト出力を減算して、所与のテスト入力に対するモデルと機械学習モデルとの間の差を決定することができる。複数のテスト入力が、モデルと機械学習モデルとの間の複数の差を結果的にもたらす場合には、好ましくはこのプロセスが繰り返される。モデルと機械学習モデルとの間の差をランダム変数としてみなすと、決定された差の値の所定の分位数を決定することによって、モデルと機械学習モデルとの間の典型的な偏差を評価することができる。使用されるべき正確な分位数は、公知のハイパーパラメータ最適化方法を用いて調整することができる本方法のハイパーパラメータとしてみなすことができるが、本発明者らは、本方法のために９５％の分位数が適していることを発見した。

【0038】

次いで、第７のステップにおいては、技術的システムがオフセット基準を満たすかどうかが検証及び／又は妥当性確認され、オフセット基準は、決定された偏差の分だけ基準をオフセットすることによって決定される。このことは、第１のテスト出力のうちの、オフセット基準を満たす分画を決定することによって達成可能である。この分画は、基準を満たす確率に等しい。

【0039】

驚くべきことに、著者らは、第１のテスト出力が技術的システムの挙動をどの程度正確に予測するかに関する不確実性の尺度又は安全マージンとして、この偏差を使用することができるということを発見した。第１のテスト出力の分画が、この安全マージンを上回っている場合には、それぞれの分画を、基準を満たす確率を評価するために容易に使用することができる。

【0040】

基準が数の観点から定義されている場合には、その数を超過すべきであることをその基準が示しているか、又は、超過すべきではないことをその基準が示しているかに応じて、オフセットを決定するために、偏差を、例えば、その数から減算すること、又は、その数に加算することができる。代替的に、基準が数の観点から定義されていない場合には、第１のテスト出力の各々から偏差を減算することができ、オフセットされた第１のテスト出力に関して基準を評価することができる。

【0041】

したがって、偏差は、基準が満たされているものとして評価するために、第１のテスト出力が（所望の確率で）上回らなければなければならない安全マージンとして理解可能である。

【0042】

基準を検証及び／又は妥当性確認することができないということは、本方法において、出力コンポーネントをモデル化しているモデルの出力に対する拘束を十分に厳しくすることができないほど不正確であるモデルに依拠している可能性がある。拘束が緩ければ、結果的に基準を満たすことができなくなる可能性があり、基準を満たすことができないということは、１つ又は複数のモデルのそれぞれのコンポーネントに関する不正確さに由来する可能性があり、このことは、出力に対する拘束が過度に悲観的になるという結果をもたらす可能性がある。したがって、有利には、１つ又は複数のモデルを改善することができ、すなわち、各自のそれぞれのコンポーネントの挙動をより正確に反映するように、１つ又は複数のモデルを適合させることができる。このことは、偏差を損失関数として使用し、偏差が減少するように１つ又は複数のモデルを最適化することによって達成可能である。モデルが微分可能である場合には、このことは、勾配降下アルゴリズムによって達成可能である。代替的に、又は、モデルが微分可能でない場合には、最適化のために進化的アルゴリズムを使用することができる。

【0043】

有利には、モデルの改善によって、出力コンポーネントに対応するモデルの拘束をより厳しくすることができ、ひいては基準のより正確な評価をもたらすことができる。この改善を評価することは、好ましくは、モデルを改善するためには使用されなかった測定データ（すなわち、測定値入力及び測定値出力）を使用して実施されるべきである。なぜなら、そうしなければ、これによって過剰適合及び／又は情報漏洩がもたらされる可能性があるからである。

【0044】

前述の実施形態のいずれか１つにおいては、基準を検証及び／又は妥当性確認できない場合には、技術的システムのコンポーネントを改善することがさらに可能である。

【0045】

このことは、技術的システムが所望の基準を満たすことができないということ又はできそうにないということ、ひいては所望の基準を満たすために改善されなければならないということを決定することとして理解可能である。パワートレインを例にすると、コンポーネントの改善は、例えば、エンジンの出力を低減して、燃料の消費をより少なくすること、ひいては粒子の放出をより少なくすること、及び／又は、より多くの放出された粒子を除去するためにパワートレインの触媒を交換することを含み得る。

【0046】

本発明の実施形態を、以下の図面を参照しながらより詳細に説明する。

【図面の簡単な説明】

【0047】

【図1】制御システムを示す図である。

【図2】少なくとも半自律的なロボットを制御する制御システムを示す図である。

【図3】製造機械を制御する制御システムを示す図である。

【発明を実施するための形態】

【0048】

実施形態の説明
図１は、複数のコンポーネント（Ｓ^１，Ｓ^２，Ｓ^Ｃ）が含まれる制御システム（４０）を、どのようにして検証及び／又は妥当性確認することができるかを例示的に示している。制御システム（４０）は、本願において言及されている技術的システムの一実施形態として理解可能である。それぞれのコンポーネント（Ｓ^１，Ｓ^２，Ｓ^Ｃ）ごとに、それぞれ１つのモデル（Ｍ^１，Ｍ^２，Ｍ^Ｃ）が提供される。モデル（Ｍ^１，Ｍ^２，Ｍ^Ｃ）は、破線の矢印によって示されたコンポーネント（Ｓ^１，Ｓ^２，Ｓ^Ｃ）と１対１で対応する。それぞれのコンポーネント（Ｓ^１，Ｓ^２，Ｓ^Ｃ）ごとに、１つの機械学習モデル（Ｖ^１，Ｖ^２，Ｖ^Ｃ）がさらに提供され、機械学習モデル（Ｖ^１，Ｖ^２，Ｖ^Ｃ）は、コンポーネント（Ｓ^１，Ｓ^２，Ｓ^Ｃ）と、コンポーネント（Ｓ^１，Ｓ^２，Ｓ^Ｃ）のそれぞれのモデル（Ｍ^１，Ｍ^２，Ｍ^Ｃ）との両方に対応する。それぞれのコンポーネント（Ｓ^１，Ｓ^２，Ｓ^Ｃ）は、入力測定値を受信し、測定値を別のコンポーネント（Ｓ^２，Ｓ^Ｃ）に提供及び出力し、又は、制御システム（４０）の出力として提供及び出力する。機械学習モデル（Ｖ^１，Ｖ^２，Ｖ^Ｃ）は、各自の対応するコンポーネント（Ｓ^１，Ｓ^２，Ｓ^Ｃ）の出力測定値を、そのコンポーネント（Ｓ^１，Ｓ^２，Ｓ^Ｃ）に入力測定値が提供された場合に予測するように訓練されている。

【0049】

制御システム（４０）は、センサからの入力を受信するように構成された入力コンポーネント（Ｓ^１）を含む。センサは、好ましくは、制御システム（４０）の一部であるものとしてよい。センサは、入力コンポーネントに入力測定値を提供する。

【0050】

制御システム（４０）は、入力測定値に基づいて出力又は行動を決定するように構成されている。このために入力測定値が、複数のコンポーネントを介して転送される。したがって、それぞれのコンポーネントは、以下のような入力を受信し、すなわち、入力測定値に基づいているが（そのコンポーネントが入力コンポーネントでない場合に限り）制御システムのコンポーネントによって処理されている入力を受信する。例えば、入力コンポーネント（Ｓ^１）は、入力測定値を受信し、この入力測定値から何らかの出力を決定し、この決定した出力を制御システム（４０）の別のコンポーネント（Ｓ^２）に転送する。今度はこの別のコンポーネント（Ｓ^２）が、この別のコンポーネント（Ｓ^２）に提供された入力を処理し、その出力をさらに別のコンポーネント（図示せず）に転送する。

【0051】

制御システム（４０）の最後のコンポーネント（Ｓ^Ｃ）の出力は、実施されるべき行動を特徴付ける信号、及び／又は、実数を特徴付ける信号であるものとしてよい。例えば、制御システム（４０）が、ロボット（例えば、少なくとも半自律的な車両）の制御信号を決定するように構成されている場合には、出力は、ロボットによって実施されるべきハイレベルの行動（例えば、車線変更の実施）を特徴付けるものであってもよいし、又は、ロボットを制御するために使用される数値（例えば、操舵角位置、加速度、及び／又は、制動力）を特徴付けるものであってもよい。出力は、何らかの所望の基準に関して本提案の方法による検証及び／又は妥当性確認を受けるものとして理解可能である。ロボットを例にすると、基準は、ロボットによって行われる何らかの行動の結果として、ロボットが所定又は特定の経路から所定の許容される距離を超えて逸脱していないことであるものとしてよい。さらなる実施形態（図示せず）においては、制御システム（４０）の出力コンポーネントを、制御システム（４０）を動作させる際には使用されないが、制御システム（４０）の挙動を評価するために使用される「特別な」コンポーネントとすることも可能である。例えば、制御システム（４０）がパワートレインである場合には、出力コンポーネントを、例えば、制御システム（４０）のコンポーネントから放出された粒子の量を決定するための放出測定装置とすることができる。

【0052】

制御システム（４０）のために決定された複数の入力測定値は、確率分布（ｐ^０）のランダムサンプリングとみなすことができる。制御システム（４０）を検証及び／又は妥当性確認するために、同様の複数のテスト入力を使用することができる。テスト入力は、好ましくは合成モデルによる合成によって取得可能である。さらにより好ましくは、テスト入力は、合成によって取得されたデータと、入力測定値との両方の組合せであるものとしてよい。

【0053】

テスト入力が、モデルのチェーンと、機械学習モデルのチェーンとにそれぞれ提供されると、それぞれのモデル及びそれぞれの機械学習モデルは、それぞれの出力を決定する。このことが複数のテスト入力に対して繰り返される場合には、それぞれのモデル及びそれぞれの機械学習モデルの出力を、それぞれの出力に関する分布（ｑ^Ｍ，０，ｑ^Ｍ，１，ｑ^{Ｍ，Ｃ－１}，ｑ^Ｍ，Ｃ，ｑ^Ｖ，０，ｑ^Ｖ，１，ｑ^{Ｖ，Ｃ－１}，ｑ^Ｖ，Ｃ）とみなすことができる。

【0054】

最後のモデル（Ｍ^Ｃ）から取得される分布（ｑ^Ｍ，Ｃ）は、モデル（Ｍ^１，Ｍ^２，Ｍ^Ｃ）によって予測されるような、制御システム（４０）の出力挙動に関する典型的な予測として理解可能である。同様に、最後の機械学習モデル（Ｖ^Ｃ）から取得される分布（ｑ^Ｖ，Ｃ）も、機械学習モデル（Ｖ^１，Ｖ^２，Ｖ^Ｃ）によって予測されるような、制御システム（４０）の出力挙動に関する典型的な予測として理解可能である。それぞれの分布を決定するために、同一のテスト入力が使用される。すなわち、テスト入力は、最後のモデル（Ｍ^Ｃ）によって予測されるような第１のテスト出力と、最後の機械学習モデル（Ｖ^Ｃ）によって予測されるような第２のテスト出力とを結果的にもたらす。第１のテスト出力と第２のテスト出力との間の差は、入力としてテスト入力が提供された際に制御システム（４０）が出力したであろうものについての、モデル（Ｍ^１，Ｍ^２，Ｍ^Ｃ）と機械学習モデル（Ｖ^１，Ｖ^２，Ｖ^Ｃ）との間の相違とみなすことができる。

【0055】

ここで、テスト入力と測定値入力とが、同様の構造（例えば、同一の次元のベクトル）と、同様の意味論的類似性（例えば、テスト入力及び測定値入力が、それぞれ画像を特徴付ける）とを共有しているということに留意すべきである。

【0056】

本方法においては、第１のテスト出力と、対応する第２のテスト出力（すなわち、第１のテスト出力を取得するために使用されたものと同一のテスト入力に対して取得されたテスト出力）とを使用して、モデルの出力と、機械学習モデルの出力との間の典型的な相違を決定することができる。好ましくは、このことは、対応する第１のテスト出力と第２のテスト出力との差の分位数、好ましくは９０％を超える分位数を決定することによって達成される。本実施形態においては、９５％の分位数が使用される。本発明者らは、経験的な安全マージンとして分位数を使用することができることを発見した。安全マージンが基準に加算される（又は所望の基準によっては減算される）と、最後のモデル（Ｍ^Ｃ）の分布（ｐ^Ｍ，Ｃ）を、マージンに関して評価することができ、すなわち、安全マージンを加算（又は減算）した場合に第１のテスト出力のうちのどの分画が依然として基準を満たすかに関して評価することができる。この分画を、基準を満たす確率（に対して推定される拘束）として直接的に使用することができる。さらにより保守的な安全マージンに関して基準を評価するためには、第１のテスト出力と、対応する第２のテスト出力との間の絶対差に関して分位数を決定することができる。

【0057】

次いで、決定された確率が、所定の確率と等しい又はそれを上回る場合には、その基準を、検証及び／又は妥当性確認されたものとして理解することができる。

【0058】

図２は、少なくとも半自律的なロボット、例えば少なくとも半自律的な車両（１００）を制御するために制御システム（４０）が使用される実施形態を示している。

【0059】

車両（１００）のセンサ（３０）は、１つ又は複数のビデオセンサ、及び／又は、１つ又は複数のレーダセンサ、及び／又は、１つ又は複数の超音波センサ、及び／又は、１つ又は複数のＬｉＤＡＲセンサを含み得る。これらのセンサの一部又は全部は、必須ではないが、好ましくは車両（１００）に搭載されている。制御システムは、例えば、車両（１００）の環境内にある他のオブジェクトから所定の距離よりも離間するように車両（１００）を自動的に維持するように構成可能であり、又は、環境内にある所定の閾値を下回っている車両と衝突するまでの時間を、車両に短縮させないようにするように構成可能である。妥当性確認されるべき所望の基準は、例えば車両（１００）が、所定の距離よりも近づくように他の車両に接近している確率が、所定のパーセンテージ閾値を下回っていることであるものとしてよい。

【0060】

制御システム（４０）は、好ましくはコンポーネントとして、例えば入力コンポーネント（Ｓ^１）として画像分類器を含み得る。画像分類器は、入力画像に基づいて、少なくとも半自律的なロボットの近傍にあるオブジェクトを検出するように構成可能である。入力画像の測定値出力は、少なくとも半自律的なロボットの近傍におけるどこにオブジェクトが位置しているかを特徴付ける情報を含み得る。その場合、後続のコンポーネントは、衝突までの時間に関する所定の距離又は所定の閾値が全ての認識されたオブジェクトに対して維持されるように、環境を通過する適当な運転経路を決定することができる。次いで、制御システム（４０）の出力コンポーネントから、制御信号を決定することができる。制御信号は、車両（１００）のアクチュエータ（１０）を制御するために使用可能である。制御信号は、運転経路に従って車両を運転させるように設定可能である。

【0061】

好ましくは車両（１００）に搭載されているアクチュエータ（１０）は、車両（１００）のブレーキ、推進システム、エンジン、パワートレイン又はステアリングによって提供可能である。

【0062】

さらなる実施形態においては、少なくとも半自律的なロボットは、例えば、飛行、水泳、潜水又は歩行によって移動することができる他の移動型ロボット（図示せず）によって提供可能である。移動型ロボットは、特に、少なくとも半自律的な芝刈り機、又は、少なくとも半自律的な掃除ロボットであるものとしてよい。上記の全ての実施形態において、移動型ロボットが前述の識別されたオブジェクトとの衝突を回避することができるように、移動型ロボットの推進ユニット及び／又はステアリング及び／又はブレーキが制御されるように、制御信号を決定することができる。

【0063】

さらなる実施形態においては、少なくとも半自律的なロボットは、園芸用ロボット（図示せず）によって提供可能であり、園芸用ロボットは、センサ（３０）、好ましくは光学センサを使用して、環境（２０）における植物の状態を特定する。アクチュエータ（１０）は、液体を噴霧するためのノズル、及び／又は、切断装置、例えば、ブレードを制御することができる。植物の識別された種及び／又は識別された状態に依存して、アクチュエータ（１０）に、適当な液体の適当な量を植物に噴霧させるように、及び／又は、植物を切断させるように、制御信号を決定することができる。

【0064】

さらに他の実施形態においては、少なくとも半自律的なロボットは、例えば、洗濯機、ストーブ、オーブン、電子レンジ又は食器洗浄機のような家電装置（図示せず）によって提供可能である。センサ（３０）、例えば光学センサは、家電装置によって処理が施されるべきオブジェクトの状態を検出することができる。例えば、家電製品が洗濯機である場合には、センサ（３０）は、洗濯機内の洗濯物の状態を検出することができる。次いで、検出された洗濯物の素材に依存して、制御信号を決定することができる。

【0065】

図３は、例えば生産ラインの一部としての、製造システム（２００）の製造機械（１１）、例えば、パンチカッタ、カッタ、ガンドリル、溶接ロボット又はグリッパを制御するために制御システム（４０）が使用される実施形態を示している。製造機械（１１）は、製造された製品（１２）を移動させる搬送装置、例えばコンベヤベルト又は組み立てラインを含み得る。制御システム（４０）は、アクチュエータ（１０）を制御し、アクチュエータ（１０）自体は、製造機械（１１）を制御する。

【0066】

制御システム（４０）に入力測定値を提供するために使用されるセンサ（３０）は、例えば製造された製品（１２）の特性を捕捉する光学センサによって提供可能である。制御システム（４０）は、入力コンポーネント（Ｓ^１）として画像分類器を含み得る。

【0067】

画像分類器は、搬送装置に対する製造された製品（１２）の位置を特定することができる。次いで、製造された製品（１２）の後続の製造工程のために、製造された製品（１２）の特定された位置に依存してアクチュエータ（１０）を制御することができる。例えば、製造された製品をこの製造された製品（１２）上の特定の経路に沿って切断又は溶接するように、アクチュエータ（１０）を制御することができる。本実施形態においては、制御システム（４０）の１つのコンポーネントによって経路を決定することができ、次いで、制御システム（４０）の別のコンポーネントが、製造機械（１１）のアクチュエータ（１０）のための制御信号を決定する。所望の基準は、切断又は溶接が、計画された経路から所定の閾値を超えて逸脱していないことであるものとしてよい。

【0068】

代替的に、製造された製品が破損している又は欠陥を示しているかどうかを、画像分類器が分類することを想定することができる。その場合、その製造された製品（１２）を搬送装置から除去するように、アクチュエータ（１０）を制御することができる。この場合、所望の基準は、誤って選別された製品（例えば、実際には破損していない製品、又は、欠陥を示しているが依然として選別されている製品）の量が、所定の閾値を下回っていることであるものとしてよい。

【図1】

【図2】

【図3】

【手続補正書】

【提出日】2023-12-01

【手続補正1】

【補正対象書類名】特許請求の範囲

【補正対象項目名】全文

【補正方法】変更

【補正の内容】

【特許請求の範囲】

【請求項1】

技術的システム（４０）が所望の基準を満たすかどうかを検証及び／又は妥当性確認するための方法であって、前記技術的システム（４０）は、当該技術的システム（４０）に供給される入力信号に基づいて出力信号を送出する、方法において、
・前記技術的システム（４０）に含まれる複数のコンポーネント（Ｓ^１，Ｓ^２，Ｓ^Ｃ）に関するモデル（Ｍ^１，Ｍ^２，Ｍ^Ｃ）を取得するステップであって、取得された前記モデル（Ｍ ^１ ，Ｍ ^２ ，Ｍ ^Ｃ ）間の接続は、どのコンポーネント（Ｓ ^１ ，Ｓ ^２ ，Ｓ ^Ｃ ）がどの信号を他のどのコンポーネント（Ｓ ^１ ，Ｓ ^２ ，Ｓ ^Ｃ ）に送信するかを特徴付ける、ステップと、
・複数の妥当性確認測定値を取得するステップであって、１つの妥当性確認測定値は、測定値入力及び測定値出力を含み、前記測定値出力は、前記コンポーネント（Ｓ^１，Ｓ^２，Ｓ^Ｃ）に前記測定値入力が提供されると、前記測定値入力に対して前記技術的システム（４０）の前記コンポーネント（Ｓ^１，Ｓ^２，Ｓ^Ｃ）から取得される、ステップと、
・それぞれのコンポーネント（Ｓ^１，Ｓ^２，Ｓ^Ｃ）ごとに、前記それぞれのコンポーネント（Ｓ ^１ ，Ｓ ^２ ，Ｓ ^Ｃ ）の入力に基づいて前記それぞれのコンポーネント（Ｓ^１，Ｓ^２，Ｓ^Ｃ）の出力を予測するように、機械学習モデル（Ｖ^１，Ｖ^２，Ｖ^Ｃ）を訓練するステップであって、前記複数の妥当性確認測定値のうちの少なくとも一部が、訓練データセットとして使用され、前記機械学習モデル（Ｖ^１，Ｖ^２，Ｖ^Ｃ）は、前記コンポーネント（Ｓ ^１ ，Ｓ ^２ ，Ｓ ^Ｃ ）に対して取得された前記モデル（Ｍ^１，Ｍ^２，Ｍ^Ｃ）に対応する、ステップと、
・テスト入力（ｑ^０）に基づいて、前記モデル（Ｍ ^１ ，Ｍ ^２ ，Ｍ ^Ｃ ）のうちの最後のモデル（Ｍ^Ｃ）から第１のテスト出力（ｑ^Ｍ，Ｃ）を取得するステップであって、前記第１のテスト出力（ｑ^Ｍ，Ｃ）は、前記モデル（Ｍ ^１ ，Ｍ ^２ ，Ｍ ^Ｃ ）間の接続を介して前記テスト入力（ｑ^０）を伝搬させることによって取得される、ステップと、
・前記最後のモデル（Ｍ ^Ｃ ）に対応する前記機械学習モデル（Ｖ^Ｃ）から、前記モデル（Ｍ^１，Ｍ^２，Ｍ^Ｃ）の前記テスト入力（ｑ^０）に基づいて第２のテスト出力（ｑ^Ｖ，Ｃ）を決定するステップであって、前記第２のテスト出力（ｑ^Ｖ，Ｃ）は、前記機械学習モデル（Ｖ^１，Ｖ^２，Ｖ^Ｃ）間の接続を介して前記テスト入力（ｑ^０）を伝搬させることによって取得され、前記機械学習モデル（Ｖ^１，Ｖ^２，Ｖ^Ｃ）間の接続は、それぞれの前記機械学習モデル（Ｖ^１，Ｖ^２，Ｖ^Ｃ）に対応する前記モデル（Ｍ^１，Ｍ^２，Ｍ^Ｃ）間の接続に対応する、ステップと、
・偏差（ｄ）を決定するステップであって、前記偏差（ｄ）は、前記最後のモデル（Ｍ^Ｃ）から決定された前記第１のテスト出力（ｑ^Ｍ，Ｃ）と、前記最後のモデル（Ｍ^Ｃ）に対応する前記機械学習モデル（Ｖ^Ｃ）によって決定された前記第２のテスト出力（ｑ^Ｖ，Ｃ）との間の差を特徴付ける、ステップと、
・前記技術的システム（４０）が前記所望の基準を満たすかどうかを検証及び／又は妥当性確認するステップであって、前記検証及び／又は妥当性確認は、前記第１のテスト出力（ｑ^Ｍ，Ｃ）のうちの、オフセット基準を満たす分画を決定することによって特徴付けられ、前記オフセット基準は、決定された前記偏差（ｄ）の分だけ前記所望の基準をオフセットすることによって決定される、ステップと、
を含む方法。

【請求項2】

複数の前記第１のテスト出力（ｑ ^Ｍ，Ｃ ）と、対応する前記第２のテスト出力（ｑ ^Ｖ，Ｃ ）とに関して差を決定し、前記差の所定の分位数を偏差として提供することによって、前記偏差（ｄ）が決定される、
請求項１に記載の方法。

【請求項3】

前記機械学習モデル（Ｖ ^１ ，Ｖ ^２ ，Ｖ ^Ｃ ）の少なくとも１つは、ガウス過程であり又はガウス過程を含む、
請求項１に記載の方法。

【請求項4】

前記技術的システム（４０）の入力を合成し、合成された前記入力を、前記モデル（Ｍ ^１ ，Ｍ ^２ ，Ｍ ^Ｃ ）を介して転送することによって、前記テスト入力（ｑ ^０ ）、前記第１のテスト出力（ｑ ^Ｍ，Ｃ ）及び前記第２のテスト出力（ｑ ^Ｖ，Ｃ ）が決定される、
請求項１に記載の方法。

【請求項5】

前記所望の基準を検証及び／又は妥当性確認できない場合には、前記モデル（Ｍ ^１ ，Ｍ ^２ ，Ｍ ^Ｃ ）が改善される、
請求項１に記載の方法。

【請求項6】

前記所望の基準を検証及び／又は妥当性確認できない場合には、前記技術的システム（４０）の前記複数のコンポーネント（Ｓ ^１ ，Ｓ ^２ ，Ｓ ^Ｃ ）のうちの少なくとも１つが改善される、
請求項１に記載の方法。

【請求項7】

前記技術的システム（４０）は、製造機械及び／又はロボットに制御信号を提供するように構成されている、
請求項１に記載の方法。

【請求項8】

コンピュータによって実行された場合に、請求項１に記載の方法の全てのステップを前記コンピュータに実施させるように構成されているコンピュータプログラム。

【請求項9】

請求項８に記載のコンピュータプログラムが格納されている機械可読記憶媒体。

【外国語明細書】