特開 2024-1877 機械学習システムの敵対的摂動を決定するための装置及び方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2024001877

(43)【公開日】2024-01-10

(54)【発明の名称】機械学習システムの敵対的摂動を決定するための装置及び方法

(51)【国際特許分類】

   G06N 20/00 20190101AFI20231227BHJP

   G06N 3/094 20230101ALI20231227BHJP

【ＦＩ】

G06N20/00

G06N3/094

【審査請求】未請求

【請求項の数】9

【出願形態】ＯＬ

【外国語出願】

(21)【出願番号】P 2023101494

(22)【出願日】2023-06-21

(31)【優先権主張番号】22180551

(32)【優先日】2022-06-22

(33)【優先権主張国・地域又は機関】EP

(71)【出願人】

【識別番号】390023711

【氏名又は名称】ローベルト ボツシユ ゲゼルシヤフト ミツト ベシユレンクテル ハフツング

【氏名又は名称原語表記】ＲＯＢＥＲＴ ＢＯＳＣＨ ＧＭＢＨ

【住所又は居所原語表記】Ｓｔｕｔｔｇａｒｔ， Ｇｅｒｍａｎｙ

(74)【代理人】

【識別番号】100114890

【弁理士】

【氏名又は名称】アインゼル・フェリックス＝ラインハルト

(74)【代理人】

【識別番号】100098501

【弁理士】

【氏名又は名称】森田 拓

(74)【代理人】

【識別番号】100116403

【弁理士】

【氏名又は名称】前川 純一

(74)【代理人】

【識別番号】100134315

【弁理士】

【氏名又は名称】永島 秀郎

(74)【代理人】

【識別番号】100162880

【弁理士】

【氏名又は名称】上島 類

(72)【発明者】

【氏名】ニコル イン フィニー

(72)【発明者】

【氏名】ヤン ヘンドリク メッツェン

(72)【発明者】

【氏名】ロビン フートマッハー

(57)【要約】

【課題】機械学習システム（６０）の入力信号（ｘ）、特にセンサ信号又はセンサ信号の特徴に対する敵対的摂動を決定するためのコンピュータ実装された方法（７００）に関する。
【解決手段】本方法（７００）においては、最良の摂動が反復的に決定され、最良の摂動は、所定の反復回数の後に敵対的摂動として提供され、少なくとも１回の反復は、・摂動をサンプリングするステップ（７０１）と、・サンプリングされた摂動を入力信号に適用し、それにより、潜在的な敵対的例を決定するステップ（７０２）と、・潜在的な敵対的例に対する機械学習システムからの出力信号を決定するステップ（７０３）と、・出力信号と、入力信号に対応する所望の出力信号との偏差を特徴付ける損失値を決定するステップ（７０４）と、・損失値が以前の損失値よりも大きい場合に、最良の摂動を、サンプリングされた摂動に設定するステップ（７０５）と、を含む。
【選択図】図１

【特許請求の範囲】

【請求項1】

機械学習システム（６０）の入力信号（ｘ）、特にセンサ信号又はセンサ信号の特徴に対する敵対的摂動を決定するためのコンピュータ実装された方法（７００）であって、
最良の摂動が反復的に決定され、
前記最良の摂動は、所定の反復回数の後に敵対的摂動として提供され、
少なくとも１回の反復は、
・摂動をサンプリングするステップ（７０１）と、
・サンプリングされた前記摂動を入力信号に適用し、それにより、潜在的な敵対的例を決定するステップ（７０２）と、
・前記潜在的な敵対的例に対する前記機械学習システムからの出力信号を決定するステップ（７０３）と、
・前記出力信号と、前記入力信号に対応する所望の出力信号との偏差を特徴付ける損失値を決定するステップ（７０４）と、
・前記損失値が以前の損失値よりも大きい場合に、前記最良の摂動を、前記サンプリングされた摂動に設定するステップ（７０５）と、
を含む、方法（７００）。

【請求項2】

それぞれの反復において、前記サンプリングされた摂動の要素がゼロに設定され、
前記ゼロに設定される要素の個数は、反復が何回実施されたかに比例する、
請求項１に記載の方法（７００）。

【請求項3】

前記入力信号（ｘ）の少なくとも１つの要素は、整数を特徴付け、
前記サンプリングされた摂動は、整数を特徴付ける対応する要素を含む、
請求項１又は２に記載の方法（７００）。

【請求項4】

データセットのそれぞれの入力信号に対してランダムな摂動をサンプリングし、サンプリングされた前記ランダムな摂動を組み合わせることによって、前記敵対的摂動がサンプリングされる、
請求項１乃至３のいずれか一項に記載の方法（７００）。

【請求項5】

前記出力信号（ｙ）は、前記入力信号に基づく分類及び／又は回帰結果及び／又は密度値及び／又は確率値を特徴付ける、
請求項１乃至４のいずれか一項に記載の方法（７００）。

【請求項6】

請求項１乃至５のいずれか一項に記載の機械学習システム（６０）をトレーニングするための方法であって、
当該トレーニングは、
前記機械学習システム（６０）のトレーニング用入力信号のために、請求項１乃至５のいずれか一項に従って敵対的摂動を決定することと、
前記敵対的摂動を前記トレーニング用入力信号に適用し、それにより、敵対的例（ｘ_ｉ）を決定することと、
前記敵対的例（ｘ_ｉ）に対する、前記トレーニング用入力信号に対応する所望の出力信号（ｔ_ｉ）を予測するように、前記機械学習システムをトレーニングすることと、
を含む、方法。

【請求項7】

請求項１乃至６のいずれか一項に記載のトレーニング方法を実施するように構成されているトレーニングシステム（１４０）。

【請求項8】

コンピュータプログラムであって、当該コンピュータプログラムがプロセッサ（４５，１４５）によって実行された場合に、請求項１乃至６のいずれか一項に記載の方法の全てのステップをコンピュータに実施させるために構成されているコンピュータプログラム。

【請求項9】

請求項８に記載のコンピュータプログラムが記憶されている機械可読記憶媒体（４６，１４６）。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、機械学習システムの敵対的摂動を決定するための方法と、機械学習システムをトレーニングするための方法と、トレーニングシステムと、コンピュータプログラムと、機械可読記憶装置とに関する。

【背景技術】

【0002】

従来技術
Balletら著の「Imperceptible Adversarial Attacks on Tabular Data」（2019，https://arxiv.org/pdf/1911.03274.pdf）は、表形式ドメインにおける敵対的例の概念について開示している。著者らは、表形式ドメインにおける攻撃の知覚不能性に基づく定式化を提案しており、これにより、知覚し得ない敵対的例を生成するためのアプローチがもたらされる。実験により、知覚し得ない敵対的例を、高い騙し率で生成することができることが示されている。

【0003】

Brendelら著の「Decision-Based Adversarial Attacks: Reliable Attacks Against Black-Box Machine Learning Models」（2018，https://arxiv.org/abs/1712.04248）は、大きい敵対的摂動から開始し、敵対性を維持しながら摂動を低減することを試みる、決定に基づく攻撃であるBoundary Attackについて開示している。

【0004】

背景技術
機械学習システムは、例えば、画像分類、音響検出及び分類、並びに、音声検出及び分類における種々の技術的なタスク及び問題を解決するためのバックボーンとして機能し、又は、適当なセンサ信号から間接的な測定値を決定するための仮想的なセンサとして機能する。しかしながら、機械学習システムが、敵対的例の影響を受け易いこと、即ち、悪意をもって機械学習システムによる誤った予測を誘発するための機械学習システムへの入力として使用されるデータサンプルの影響を受け易いことが知られている。

【0005】

公知の方法は、画像のための敵対的例を設計することに焦点を当てており、その目標は、敵対的例を人間が知覚できないようにすることである。この背後にある理論的根拠は、典型的には、人間は、単純に入力を見ることによって機械学習システムに対する攻撃を認識することが不可能であるからとして表現されている。

【0006】

しかしながら、特に機械学習システムの入力として使用される非画像データの場合には、知覚不能性は、典型的には、最大の懸念事項ではない。画像の場合には、人間は、画像が変更されたことを直接的に「見る」ことができるが、このことは、特徴ベクトルという用語で表現される表形式のデータのような非画像データの場合には、典型的には、当てはまらない。非画像データは、局所的整合性のような画像特性を示さないので（即ち、２つの連続する特徴ベクトル次元同士は、全く関連し合っていない可能性があるが、その一方で、画像の隣り合う画素同士は、高度に相関し合っている）、そのようなデータに対する敵対的例に気づくことは、この敵対的例のために使用された摂動が比較的大きいものであったとしても不可能であろう（Balletら著の第３章：「通常、ほとんどの人は、画像の正しい分類と、画像が変更されているように見えるかどうかとを判断することができるが、その一方で、表形式データの場合には、非常に複雑である。なぜなら、この形式のデータは可読性が低く、専門知識が必要であるからである。」）

【0007】

非画像データの別の側面として、データは、典型的には、整数値を含み得るものであり、例えば、機械学習システムの入力として使用される特徴ベクトルは、整数値及び浮動値を有し得る。敵対的例又は敵対的摂動は、典型的には、勾配に基づく方法を実施することによって得られ、この勾配に基づく方法は、入力信号が浮動小数点レベルで変更可能であることを必要とする。しかしながら、このようにして得られた敵対的例は、入力信号の少なくとも一部のために整数入力を必要とする現実世界の例においては使用することができない。

【先行技術文献】

【非特許文献】

【0008】

【非特許文献1】Balletら著「Imperceptible Adversarial Attacks on Tabular Data」（2019，https://arxiv.org/pdf/1911.03274.pdf）

【非特許文献2】Brendelら著「Decision-Based Adversarial Attacks: Reliable Attacks Against Black-Box Machine Learning Models」（2018，https://arxiv.org/abs/1712.04248）

【発明の概要】

【発明が解決しようとする課題】

【0009】

有利には、独立請求項１の特徴を有する方法は、勾配を必要とすることなく敵対的摂動を決定することを可能にする。このことにより、整数値を含む入力信号に対して敵対的摂動を取得することが可能になる（ただし、入力信号が浮動小数点値だけを含む場合にも、本方法自体は適用可能である）。

【課題を解決するための手段】

【0010】

発明の開示
第１の態様においては、本発明は、機械学習システムの入力信号、特にセンサ信号に対する敵対的摂動を決定するためのコンピュータ実装された方法であって、最良の摂動が反復的に決定され、最良の摂動は、所定の反復回数の後に敵対的摂動として提供され、少なくとも１回の反復は、
・摂動をサンプリングするステップと、
・サンプリングされた摂動を入力信号に適用し、それにより、潜在的な敵対的例を決定するステップと、
・潜在的な敵対的例に対する機械学習システムからの出力信号を決定するステップと、
・出力信号と、入力信号に対応する所望の出力信号との偏差を特徴付ける損失値を決定するステップと、
・損失値が以前の損失値よりも大きい場合に、最良の摂動を、サンプリングされた摂動に設定するステップと、
を含む、方法に関する。

【0011】

敵対的摂動とは、機械学習システムの入力信号に適用することができるエンティティとして理解可能であり、敵対的摂動を適用することによって敵対的例が決定される。敵対的摂動は、入力信号と同様の構造で構成可能である。例えば、入力信号は、ベクトルであるものとしてよく、敵対的摂動も、ベクトルであるものとしてよい。「敵対的摂動を適用する」という用語は、入力信号に敵対的摂動を重ね合わせることとして理解可能である。重ね合わせは、例えば、入力信号の値を敵対的摂動の値によって置き換えることによって実施するものとしてもよいし、又は、好ましくは、入力信号に敵対的摂動を追加することによって実施するものとしてもよい。

【0012】

入力信号は、好ましくは、センサ信号、即ち、センサから得られた信号であるものとしてよい。好ましくは、センサ信号は、画像又は画像に類似したセンサ信号ではなく、特徴ベクトルとして表現されている。センサ信号は、特に、センサによって測定された時系列の測定値を特徴付けることができる。

【0013】

好ましい実施形態においては、入力信号は、少なくとも１つの整数値を含み、この少なくとも１つの整数値は、場合によっては特定の範囲に制限されている。例えば、整数値は、整数として表現されかつ特定の範囲に制限された温度であるものとしてよい。代替的に、入力信号は、受信したレーダ信号を特徴付けることができ、整数は、ミリ秒でのレーダ信号のパルス長を特徴付けることができる。この場合には、パルス長を特徴付ける入力信号の次元は、０で下限が定められており、レーダ信号を放射してからの時間によって上限が定められている。

【0014】

機械学習システムは、入力信号に基づいて出力信号を決定するように構成されている。好ましくは、出力信号は、入力信号に基づく分類及び／又は回帰結果及び／又は密度値及び／又は確率値を特徴付ける。

【0015】

即ち、機械学習システムは、入力信号を分類するために、及び／又は、入力信号に基づく回帰分析の結果を決定するために使用可能である。代替的又は追加的に、機械学習システムは、入力信号に基づく密度値、尤度値又は確率値を決定するように構成可能である。このような値は、機械学習システムがトレーニングされたときに使用されたデータが与えられた場合に、その入力信号が出現する尤度として理解可能である。例えば、機械学習システムは、（変分）オートエンコーダ、敵対的生成ネットワーク、正規化フロー、又は、拡散モデルであるものとしてよい。

【0016】

敵対的摂動を決定するための方法は、所定の反復回数にわたって実施される。例えば、本方法の最大ランタイムを提供し、それぞれの反復ごとのランタイムを決定し、次いで、最大ランタイムから反復回数を推定することによって、反復回数を暗黙的に定義することもできる。

【0017】

それぞれの反復において、摂動を決定することができる。摂動は、入力信号（例えば、ベクトル）と同様の形態の複数の値として理解可能である。摂動及び入力信号は、両方とも同様の形態であるので、摂動の次元と入力信号の次元とは、好ましくは、対応することができる。即ち、摂動の添え字ｉにおける次元は、添え字ｉにおける入力信号の次元に対応する。好ましくは、摂動及び入力信号の対応する次元は、同様のデータ型である。即ち、入力信号の次元が整数値を有する場合には、摂動の対応する次元も整数値を有する。好ましくは、摂動の適用後にも入力信号のそれぞれの次元の許容範囲が維持されるように、摂動をサンプリングすることができる。入力信号に摂動を追加することによって摂動の適用が達成される場合には、例えば、追加後にもそれぞれの次元に関する許容範囲が維持されるように、摂動を削減することができる。即ち、潜在的な敵対的例のそれぞれの次元の値は、許容範囲内にある。

【0018】

したがって、摂動を決定するために、整数データを特徴付ける次元に対する摂動の値を、離散確率分布からのサンプリングによって決定することができる。代替的に、連続確率分布からサンプリングして、サンプリングされた値を、摂動に提供する前に定量化することも可能である。

【0019】

機械学習システムを騙すことに対する摂動の適応度は、損失関数によって評価可能である。損失関数は、好ましくは、（元々の）入力信号に対応する所望の出力信号と、潜在的な敵対的例に対して決定された出力信号との偏差を決定することができる。即ち、所望の出力信号を、入力信号と共に提供することができ、損失関数は、次いで、偏差を特徴付ける損失値を決定することができる。損失関数として、出力信号の種類にとって適した任意の損失関数を選択することができる。例えば、出力信号が分類を特徴付ける場合には、損失関数は、クロスエントロピー損失であるものとしてよい。出力信号が回帰分析の結果を特徴付ける場合には、損失関数は、平均二乗誤差損失又はＬ１損失であるものとしてよい。出力信号が複数の異なる種類の出力（例えば、分類及び回帰結果）を含む場合には、損失関数によってそれぞれの種類を評価することができ、現在の反復の損失値を決定するために、得られた損失値を合計又は平均することができる。

【0020】

それぞれの反復において、決定された損失値が以前の損失値と比較される。以前の損失値とは、以前の反復において決定された損失値として、又は、現在の反復が１回目の反復である場合には初期値として理解可能である。このアプローチは、最大損失値と、最大損失値に対応する摂動とを保存するものとして理解可能である。このようにして、機械学習システムを騙すための摂動の能力は、反復の過程で増大する。このことは、機械学習システムのアーキテクチャの勾配又は知識、即ち、機械学習システムに対するブラックボックス攻撃を必要としない、摂動の最適化として理解可能である。

【0021】

有利には、攻撃は、最大損失値に対応する摂動を敵対的摂動として選択し、即ち、機械学習システムを騙すために最良に適していることが発見された摂動として選択する。この摂動を取得することにより、機械学習システムのユーザ又は開発者は、機械学習システムに対する直接的な洞察、即ち、機械学習システムの弱点に対する洞察を得る。敵対的例を形成するために、敵対的摂動を任意の入力信号に重ね合わせることができるので、敵対的摂動は、機械学習システムの内部機能に関連する技術的条件である。したがって、本方法によって敵対的摂動を自動的に検出することによって、機械学習システムのユーザは、有利には機械学習システムと、その弱点とに対する洞察を得る。ユーザは、弱点を検出することが可能であり、特定の敵対的摂動に対する検出器のような対抗措置を開始すること、又は、敵対的摂動に対して機械学習システムを防御するために機械学習システムに対して敵対的トレーニングを実施することが可能である。

【0022】

好ましい実施形態においては、それぞれの反復において、サンプリングされた摂動の要素がゼロに設定され、ゼロに設定される要素の個数は、反復が何回実施されたかに比例する。

【0023】

有利には、このアプローチは、敵対的摂動が変化させることができる入力信号における次元の量を徐々に制限する。したがって、このアプローチは、入力信号の少量の最も脆弱な次元を決定するために使用可能である。このことは、機械学習システムに対する洞察、特に、どのグループの特徴が最も脆弱な特徴であるかに対する一層さらなる洞察をユーザに提供する。

【0024】

好ましくは、入力信号の少なくとも１つの要素は、整数を特徴付け、サンプリングされた摂動は、整数を特徴付ける対応する要素を含む。

【0025】

有利には、本方法は、整数の次元を有する敵対的摂動を決定することを可能にする。公知の方法は、敵対的摂動を決定するために勾配降下法に依拠しているが、このような公知の方法においては、勾配降下法が入力変数における滑らかな損失関数を必要とするので、敵対的摂動の次元を浮動小数点として表現することが必要である。したがって、公知の方法は、整数を処理することが不可能であり、敵対的摂動を決定するために量子化のようなプロキシ方法を必要とする。対照的に、本方法の提案される実施形態によれば、場合によっては整数の範囲が固定されていても、好ましくは、整数値のサポートを伴う確率分布から、直接的に整数値をサンプリングすることが可能となる。

【0026】

本方法においては、データセットのそれぞれの入力信号に対してランダムな摂動をサンプリングし、サンプリングされたランダムな摂動を組み合わせることによって、敵対的摂動がサンプリングされるようにすることも可能である。

【0027】

他の態様においては、本発明は、機械学習システムをトレーニングするための方法であって、当該トレーニングは、機械学習システムのトレーニング用入力信号のために、敵対的摂動を決定するための上記方法の１つの実施形態に従って敵対的摂動を決定することと、敵対的摂動をトレーニング用入力信号に適用し、それにより、敵対的例を決定することと、敵対的例に対する、トレーニング用入力信号に対応する所望の出力信号を予測するように、機械学習システムをトレーニングすることと、を含む、方法に関する。

【0028】

本トレーニング方法は、先行する方法を用いて発見された最も強力な敵対的摂動に対して機械学習システムを強化するための敵対的トレーニングの１つの形態として理解可能である。好ましくは、複数の敵対的摂動を決定して、これらの敵対的摂動に対して防御するために、本方法を反復的に繰り返すことができる。有利には、トレーニングするための本方法は、敵対的例に対して機械学習システムを強化する。

【0029】

本発明の実施形態を、以下の図面を参照しながらより詳細に説明する。

【図面の簡単な説明】

【0030】

【図1】敵対的摂動を決定するための方法を概略的に示す図である。

【図2】機械学習システムをトレーニングするためのトレーニングシステムを示す図である。

【図3】環境におけるアクチュエータを制御する、機械学習システムを含む制御システムを示す図である。

【図4】少なくとも半自律的なロボットを制御する制御システムを示す図である。

【図5】製造機械を制御する制御システムを示す図である。

【図6】自動化されたパーソナルアシスタントを制御する制御システムを示す図である。

【図7】アクセス制御システムを制御する制御システムを示す図である。

【図8】監視システムを制御する制御システムを示す図である。

【図9】イメージングシステムを制御する制御システムを示す図である。

【図10】医用分析システムを制御する制御システムを示す図である。

【発明を実施するための形態】

【0031】

実施形態の説明
図１は、機械学習システムに対する敵対的摂動を決定するための方法を描いたフローチャートを示している。機械学習システムは、好ましくは、ベクトル形式の入力信号を受信するように構成可能である。ベクトルは、好ましくは、整数値を含み得る。入力信号は、例えば、センサ信号であってもよいし、又は、センサ信号の特徴、例えば受信したレーダ信号のパルス長を特徴付けるものであってもよい。機械学習システムは、入力信号から出力信号を決定するように構成されている。出力信号は、好ましくは、入力信号に対する分類及び／又は回帰結果を特徴付けることができる。出力信号は、例えば、レーダ信号を反射するオブジェクトまでの距離又はオブジェクトからの速度を分類することができる。

【0032】

機械学習システムは、好ましくは、本方法の前にトレーニング済みである。

【0033】

本方法は、反復的に進行する。本方法の第１のステップ（７０１）においては、摂動がサンプリングされる。入力信号がベクトル、行列又はテンソルのような同様のデータ型の多次元構造を特徴付ける場合には、摂動を多変量分布からサンプリングすることができる。代替的に、入力信号のそれぞれの次元が、値をサンプリングするための一変量確率分布又は多変量確率分布に対応するものとしてもよい。

【0034】

第２のステップ（７０２）においては、サンプリングされた摂動が入力信号に適用される。この適用は、好ましくは、サンプリングされた摂動を加法性雑音として使用することによって達成可能である。それにより、潜在的な敵対的例が決定される。この敵対的例が潜在的であるのというは、機械学習システムを実際に騙すためのこの敵対的例の適応度が、まだ評価されていないからである。

【0035】

第３のステップ（７０３）においては、潜在的な敵対的例に対する機械学習システムからの出力信号が決定される。このことは、潜在的な敵対的例を入力として機械学習システムに供給し、機械学習システムからの出力を決定することによって達成される。例えば、機械学習システムがニューラルネットワークであり又はニューラルネットワークを含む場合には、出力信号は、ニューラルネットワークを通して潜在的な敵対的例を順伝播させることによって決定される。

【0036】

第４のステップ（７０４）においては、出力信号と、所望の出力信号との偏差を特徴付ける損失値が決定される。所望の出力信号は、入力信号に対応する。換言すれば、所望の出力信号とは、出力信号を所望の出力信号から可能な限り遠ざけるという敵対的摂動の目標を有する、入力信号の注釈であるとみなすことができる。損失値は、好ましくは、損失関数に基づいて決定可能であり、損失関数への入力は、決定のために出力信号と、所望の出力信号とを含む。好ましくは、機械学習システムをトレーニングするために使用されたものと同様の損失関数が使用される。

【0037】

損失値が以前に決定された損失値よりも大きい場合、好ましくは、複数の入力信号に対する損失値の合計が、以前に決定された複数の損失値の合計よりも大きい場合には、第５のステップ（７０５）において、その敵対的摂動が最良の摂動として、即ち、これまでに発見された最良の摂動として保存される。

【0038】

第５のステップ（７０５）の後、第１のステップ（７０１）に戻ることにより、本方法の新たな反復を実施することができる。サンプリングのために、それぞれのステップにおいて発見された最適な摂動を、摂動がサンプリングされる元となる分布の期待値として（又は複数の分布に対して）使用することができる。

【0039】

本方法は、所望の反復回数が経過すると終了し、最良の摂動が、敵対的摂動として提供される。

【0040】

図２は、敵対的摂動に対して機械学習システム（６０）を強化するために、制御システム（４０）の機械学習システム（６０）をトレーニングデータセット（Ｔ）によってトレーニングするためのトレーニングシステム（１４０）の実施形態を示している。トレーニングデータセット（Ｔ）は、機械学習システム（６０）をトレーニングするために使用される複数の入力信号を含み、トレーニングデータセット（Ｔ）は、それぞれの入力信号ごとに所望の出力信号（ｔ_ｉ）をさらに含み、この所望の出力信号（ｔ_ｉ）は、入力信号に対応し、入力信号の分類及び／又は回帰結果を特徴付ける。

【0041】

トレーニングのために、トレーニングデータユニット（１５０）は、コンピュータ実装されるデータベース（Ｓｔ_２）にアクセスし、このデータベース（Ｓｔ_２）は、トレーニングデータセット（Ｔ）を提供する。トレーニングデータユニット（１５０）は、トレーニングデータセット（Ｔ）から少なくとも１つの入力信号と、この入力信号に対応する所望の出力信号（ｔ_ｉ）とを、好ましくは、ランダムに決定する。次いで、トレーニングデータユニット（１５０）は、例えば、図１の方法を使用して機械学習システム（６０）に対する敵対的摂動を決定し、この敵対的摂動を入力信号に適用し、それにより、敵対的例（ｘ_ｉ）を決定する。次いで、この敵対的例（ｘ_ｉ）が機械学習システム（６０）に送信される。機械学習システム（６０）は、入力信号（ｘ_ｉ）に基づいて出力信号（ｙ_ｉ）を決定する。

【0042】

所望の出力信号（ｔ_ｉ）と決定された出力信号（ｙ_ｉ）とが、修正ユニット（１８０）に送信される。

【0043】

次いで、修正ユニット（１８０）は、所望の出力信号（ｔ_ｉ）と決定された出力信号（ｙ_ｉ）とに基づいて、機械学習システム（６０）に対する新たなパラメータ（Φ’）を決定する。この目的で、修正ユニット（１８０）は、所望の出力信号（ｔ_ｉ）と決定された出力信号（ｙ_ｉ）とを、損失関数を使用して比較する。損失関数は、決定された出力信号（ｙ_ｉ）が所望の出力信号（ｔ_ｉ）からどの程度ずれているかを特徴付ける第１の損失値を決定する。所与の実施形態においては、損失関数として負の対数尤度関数が使用される。代替的な実施形態においては、その他の損失関数も考えられる。

【0044】

さらに、決定された出力信号（ｙ_ｉ）と所望の出力信号（ｔ_ｉ）とが、例えばテンソル形式の複数のサブ信号をそれぞれ含むことも考えられ、この場合、所望の出力信号（ｔ_ｉ）のサブ信号は、決定された出力信号（ｙ_ｉ）のサブ信号に対応する。例えば、機械学習システム（６０）が、オブジェクト検出のために構成されており、第１のサブ信号が、入力信号（ｘ_ｉ）の一部に関してオブジェクトの発生確率を特徴付け、第２のサブ信号が、そのオブジェクトの正確な位置を特徴付けるようにすることが考えられる。決定された出力信号（ｙ_ｉ）と所望の出力信号（ｔ_ｉ）とが、複数の対応するサブ信号を含む場合には、好ましくは、それぞれの対応するサブ信号ごとに適当な損失関数によって第２の損失値が決定され、これらの決定された第２の損失値が適当に組み合わせられて、例えば重み付き和によって第１の損失値が形成される。

【0045】

修正ユニット（１８０）は、第１の損失値に基づいて新たなパラメータ（Φ’）を決定する。所与の実施形態においては、このことは、勾配降下法、好ましくは、確率的勾配降下法、Ａｄａｍ又はＡｄａｍＷを使用して実施される。さらなる実施形態においては、トレーニングは、ニューラルネットワークをトレーニングするための進化的アルゴリズム又は二次法に基づくこともできる。

【0046】

他の好ましい実施形態においては、上記のトレーニングは、所定の反復ステップ回数にわたって反復的に繰り返され、又は、第１の損失値が所定の閾値を下回るまで反復的に繰り返される。代替的又は追加的に、テストデータセット又は検証データセットに対する第１の平均損失値が所定の閾値を下回ると、トレーニングを終了させることも考えられる。複数回の反復のうちの少なくとも１回の反復において、以前の反復において決定された新たなパラメータ（Φ’）が、機械学習システム（６０）のパラメータ（Φ）として使用される。

【0047】

さらに、トレーニングシステム（１４０）は、少なくとも１つのプロセッサ（１４５）と、少なくとも１つの機械可読記憶媒体（１４６）とを含み得るものであり、少なくとも１つの機械可読記憶媒体（１４６）は、プロセッサ（１４５）によって実行された場合に本発明の態様のうちの１つによるトレーニング方法をトレーニングシステム（１４０）に実行させるための命令を含む。

【0048】

図３は、アクチュエータ（１０）の環境（２０）におけるアクチュエータ（１０）の実施形態を示している。アクチュエータ（１０）は、制御システム（４０）と相互作用する。アクチュエータ（１０）とアクチュエータ（１０）の環境（２０）とを、合わせてアクチュエータシステムと称することとする。好ましくは等間隔の時点に、センサ（３０）がアクチュエータシステムの状態を感知する。センサ（３０）は、複数のセンサを含み得る。好ましくは、センサ（３０）は、環境（２０）の画像を撮影する光学センサである。感知された状況を符号化する、センサ（３０）の出力信号（Ｓ）（又はセンサ（３０）が複数のセンサを含む場合には、これらのセンサの各々ごとの出力信号（Ｓ））が、制御システム（４０）に送信される。

【0049】

それにより、制御システム（４０）は、センサ信号（Ｓ）のストリームを受信する。次いで、制御システム（４０）は、センサ信号（Ｓ）のストリームに依存して一連の制御信号（Ａ）を計算し、これらの制御信号（Ａ）は、次いで、アクチュエータ（１０）に送信される。

【0050】

制御システム（４０）は、センサ（３０）のセンサ信号（Ｓ）のストリームを、任意選択肢の受信ユニット（５０）において受信する。受信ユニット（５０）は、センサ信号（Ｓ）を入力信号（ｘ）に変換する。代替的に、受信ユニット（５０）が設けられていない場合には、それぞれのセンサ信号（Ｓ）を直接的に入力信号（ｘ）として取得するものとしてもよい。入力信号（ｘ）を、例えばセンサ信号（Ｓ）の抜粋として提供することができる。代替的に、センサ信号（Ｓ）を処理して入力信号（ｘ）を生成するものとしてもよい。換言すれば、入力信号（ｘ）は、センサ信号（Ｓ）に従って提供される。

【0051】

次いで、入力信号（ｘ）は、機械学習システム（６０）に伝送される。

【0052】

機械学習システム（６０）は、パラメータ（Φ）によってパラメータ化されており、このパラメータ（Φ）は、パラメータ記憶装置（Ｓｔ_１）に格納されており、パラメータ記憶装置（Ｓｔ_１）によって提供される。

【0053】

機械学習システム（６０）は、入力信号（ｘ）から出力信号（ｙ）を決定する。出力信号（ｙ）は、入力信号（ｘ）に１つ又は複数のラベルを割り当てる情報を含む。出力信号（ｙ）は、任意選択肢の変換ユニット（８０）に送信され、変換ユニット（８０）は、出力信号（ｙ）を制御信号（Ａ）に変換する。次いで、制御信号（Ａ）は、アクチュエータ（１０）を相応に制御するためにアクチュエータ（１０）に送信される。代替的に、出力信号（ｙ）を直接的に制御信号（Ａ）として取得するものとしてもよい。

【0054】

アクチュエータ（１０）は、制御信号（Ａ）を受信し、相応に制御され、制御信号（Ａ）に対応する行動を実施する。アクチュエータ（１０）は、制御信号（Ａ）をさらなる制御信号に変換する制御ロジックを含み得るものであり、その場合、このさらなる制御信号を使用してアクチュエータ（１０）が制御される。

【0055】

さらなる実施形態においては、制御システム（４０）は、センサ（３０）を含み得る。さらに他の実施形態においては、制御システム（４０）は、代替的又は追加的にアクチュエータ（１０）を含み得る。

【0056】

さらに他の実施形態においては、制御システム（４０）が、アクチュエータ（１０）に代えて又はこれに加えて、ディスプレイ（１０ａ）を制御することを想定することができる。

【0057】

さらに、制御システム（４０）は、少なくとも１つのプロセッサ（４５）と、少なくとも１つの機械可読記憶媒体（４６）とを含み得るものであり、少なくとも１つの機械可読記憶媒体（４６）上には、実行された場合に本発明の態様による方法を制御システム（４０）に実行させるための命令が格納されている。

【0058】

図４は、少なくとも半自律的なロボット、例えば少なくとも半自律的な車両（１００）を制御するために制御システム（４０）が使用される実施形態を示している。

【0059】

センサ（３０）は、１つ又は複数のビデオセンサ、及び／又は、１つ又は複数のレーダセンサ、及び／又は、１つ又は複数の超音波センサ、及び／又は、１つ又は複数のＬｉＤＡＲセンサを含み得る。これらのセンサの一部又は全部は、必須ではないが、好ましくは車両（１００）に搭載されている。したがって、入力信号（ｘ）は、入力画像として理解可能であり、機械学習システム（６０）は、画像分類器として理解可能である。

【0060】

機械学習システム（６０）は、入力画像（ｘ）に基づいて、少なくとも半自律的なロボットの近傍にあるオブジェクトを検出するように構成可能である。出力信号（ｙ）は、少なくとも半自律的なロボットの近傍におけるどこにオブジェクトが位置しているかを特徴付ける情報を含み得る。次いで、例えば検出されたオブジェクトとの衝突を回避するために、この情報に従って制御信号（Ａ）を決定することができる。

【0061】

好ましくは車両（１００）に搭載されているアクチュエータ（１０）は、車両（１００）のブレーキ、推進システム、エンジン、ドライブトレイン又はステアリングによって提供可能である。検出されたオブジェクトとの衝突を車両（１００）が回避するように、アクチュエータ（１０）が制御されるように、制御信号（Ａ）を決定することができる。検出されたオブジェクトを、機械学習システム（６０）によってそうである可能性が最も高いと判断された、それらのオブジェクトの正体、例えば、歩行者や樹木に従って分類し、その分類に依存して、制御信号（Ａ）を決定することもできる。

【0062】

代替的又は追加的に、制御信号（Ａ）は、例えば機械学習システム（６０）によって検出されたオブジェクトが表示されるように、ディスプレイ（１０ａ）を制御するためにも使用可能である。車両（１００）が、検出されたオブジェクトのうちの少なくとも１つと衝突しそうになった場合に、警告信号が生成されるように、制御信号（Ａ）がディスプレイ（１０ａ）を制御することができるようにすることも想像することができる。警告信号は、警告音及び／又は触覚信号、例えば、車両のステアリングホイールの振動であるものとしてよい。

【0063】

さらなる実施形態においては、少なくとも半自律的なロボットは、例えば、飛行、水泳、潜水又は歩行によって移動することができる別の移動型ロボット（図示せず）によって提供可能である。移動型ロボットは、特に、少なくとも半自律的な芝刈り機、又は、少なくとも半自律的な掃除ロボットであるものとしてよい。上記の全ての実施形態において、移動型ロボットが前述の識別されたオブジェクトとの衝突を回避することができるように、移動型ロボットの推進ユニット及び／又はステアリング及び／又はブレーキが制御されるように、制御信号（Ａ）を決定することができる。

【0064】

さらなる実施形態においては、少なくとも半自律的なロボットは、園芸用ロボット（図示せず）によって提供可能であり、園芸用ロボットは、センサ（３０）、好ましくは光学センサを使用して、環境（２０）における植物の状態を特定する。アクチュエータ（１０）は、液体を噴霧するためのノズル、及び／又は、切断装置、例えばブレードを制御することができる。植物の識別された種及び／又は識別された状態に依存して、アクチュエータ（１０）に、適当な液体の適当な量を植物に噴霧させるように、及び／又は、植物を切断させるように、制御信号（Ａ）を決定することができる。

【0065】

さらに他の実施形態においては、少なくとも半自律的なロボットは、例えば、洗濯機、ストーブ、オーブン、電子レンジ又は食器洗浄機のような家電装置（図示せず）によって提供可能である。センサ（３０）、例えば光学センサは、家電装置によって処理が施されるべきオブジェクトの状態を検出することができる。例えば、家電製品が洗濯機である場合には、センサ（３０）は、洗濯機内の洗濯物の状態を検出することができる。次いで、検出された洗濯物の素材に依存して、制御信号（Ａ）を決定することができる。

【0066】

図５は、例えば生産ラインの一部としての、製造システム（２００）の製造機械（１１）（例えば、パンチカッタ、カッタ、ガンドリル、又は、グリッパ）を制御するために制御システム（４０）が使用される実施形態を示している。製造機械は、製造された製品（１２）を移動させる搬送装置、例えば、コンベヤベルト又は組み立てラインを含み得る。制御システム（４０）は、アクチュエータ（１０）を制御し、アクチュエータ（１０）自体は、製造機械（１１）を制御する。

【0067】

センサ（３０）は、例えば製造された製品（１２）の特性を捕捉する光学センサによって提供可能である。したがって、機械学習システム（６０）は、画像分類器として理解可能である。

【0068】

機械学習システム（６０）は、搬送装置に対する製造された製品（１２）の位置を特定することができる。次いで、製造された製品（１２）の後続の製造工程のために、製造された製品（１２）の特定された位置に依存してアクチュエータ（１０）を制御することができる。例えば、製造された製品をこの製造された製品自体の特定の箇所において切断するように、アクチュエータ（１０）を制御することができる。代替的に、製造された製品が破損しているかどうか又は欠陥を示しているかどうかを、機械学習システム（６０）が分類することを想定することができる。その場合、その製造された製品を搬送装置から除去するように、アクチュエータ（１０）を制御することができる。

【0069】

図６は、自動化されたパーソナルアシスタント（２５０）を制御するために制御システム（４０）が使用される実施形態を示している。センサ（３０）は、例えばユーザ（２４９）のジェスチャのビデオ画像を受信するための光学センサであるものとしてよい。代替的に、センサ（３０）は、例えばユーザ（２４９）の音声コマンドを受信するための音響センサであるものとしてもよい。

【0070】

次いで、制御システム（４０）は、自動化されたパーソナルアシスタント（２５０）を制御するための制御信号（Ａ）を決定する。制御信号（Ａ）は、センサ（３０）のセンサ信号（Ｓ）に従って決定される。センサ信号（Ｓ）は、制御システム（４０）に送信される。例えば、機械学習システム（６０）は、例えばユーザ（２４９）によって実施されたジェスチャを識別するためのジェスチャ認識アルゴリズムを実行するように構成可能である。次いで、制御システム（４０）は、自動化されたパーソナルアシスタント（２５０）に送信するための制御信号（Ａ）を決定することができる。次いで、制御システム（４０）は、制御信号（Ａ）を自動化されたパーソナルアシスタント（２５０）に送信する。

【0071】

例えば、機械学習システム（６０）によって認識された識別されたユーザジェスチャに従って、制御信号（Ａ）を決定することができる。制御信号（Ａ）は、自動化されたパーソナルアシスタント（２５０）にデータベースから情報を検索させ、この検索された情報を、ユーザ（２４９）による受信のために適した形態で出力させるための情報を含み得る。

【0072】

さらなる実施形態においては、自動化されたパーソナルアシスタント（２５０）に代えて、制御システム（４０）が、識別されたユーザジェスチャに従って制御される家電製品（図示せず）を制御することを想定することができる。家電製品は、洗濯機、ストーブ、オーブン、電子レンジ、又は、食器洗浄機であるものとしてよい。

【0073】

図７は、制御システム（４０）がアクセス制御システム（３００）を制御する実施形態を示している。アクセス制御システム（３００）は、アクセスを物理的に制御するように設計可能である。アクセス制御システム（３００）は、例えば、ドア（４０１）を含み得る。センサ（３０）は、アクセスが許可されるべきかどうかを判定するために関連するシーンを検出するように構成可能である。例えば、センサは、画像又はビデオデータを提供するための、例えば人物の顔を検出するための光学センサであるものとしてよい。したがって、機械学習システム（６０）は、画像分類器として理解可能である。

【0074】

機械学習システム（６０）は、例えば、検出された人物の顔を、データベースに格納されている他の既知の人物の顔と照合し、それにより、その人物の識別情報を特定することによって、人物の識別情報を分類するように構成可能である。次いで、機械学習システム（６０）の分類に依存して、例えば特定された識別情報に従って、制御信号（Ａ）を決定することができる。アクチュエータ（１０）は、制御信号（Ａ）に依存してドアを開放又は閉鎖するロックであるものとしてよい。代替的に、アクセス制御システム（３００）は、非物理的かつ論理的なアクセス制御システムであるものとしてよい。この場合には、制御信号は、人物の識別情報に関する情報、及び／又は、その人物にアクセスが許可されるべきかどうかに関する情報を表示するように、ディスプレイ（１０ａ）を制御するために使用可能である。

【0075】

図８は、制御システム（４０）が監視システム（４００）を制御する実施形態を示している。この実施形態は、図７に示されている実施形態と大部分で同一である。したがって、異なっている態様についてのみ詳細に説明する。センサ（３０）は、監視下にあるシーンを検出するように構成されている。制御システム（４０）は、必ずしもアクチュエータ（１０）を制御する必要はないが、代替的に、ディスプレイ（１０ａ）を制御することができる。例えば、機械学習システム（６０）は、シーンの分類を決定することができ、例えば、光学センサ（３０）によって検出されたシーンが正常であるかどうか又はシーンが異常を示しているかどうかを判定することができる。次いで、ディスプレイ（１０ａ）に送信された制御信号（Ａ）は、例えばディスプレイ（１０ａ）に、決定された分類に依存して表示する内容を調整させるように、例えば、機械学習システム（６０）によって異常であると判定されたオブジェクトを強調表示させるように構成可能である。

【0076】

図９は、制御システム（４０）によって制御される医用イメージングシステム（５００）の実施形態を示している。イメージングシステムは、例えば、ＭＲＩ装置、Ｘ線イメージング装置、又は、超音波イメージング装置であるものとしてよい。センサ（３０）は、例えば患者の少なくとも１つの画像を撮影する、例えば患者の種々異なる種類の身体組織を表示する、イメージングセンサであるものとしてよい。

【0077】

次いで、機械学習システム（６０）は、感知された画像の少なくとも一部の分類を決定することができる。したがって、画像の少なくとも一部は、機械学習システム（６０）への入力画像（ｘ）として使用される。したがって、機械学習システム（６０）は、画像分類器として理解可能である。

【0078】

次いで、この分類に従って制御信号（Ａ）を選択することができ、それにより、ディスプレイ（１０ａ）を制御することができる。例えば、機械学習システム（６０）は、例えば画像内に表示された組織を悪性組織又は良性組織のいずれかに分類することによって、感知された画像内の種々異なる種類の組織を検出するように構成可能である。このことは、機械学習システム（６０）による入力画像（ｘ）のセマンティックセグメンテーションによって実施可能である。次いで、ディスプレイ（１０ａ）に、例えば入力画像（ｘ）を表示して、同一の組織種類の複数の異なる領域を同一の色で着色することによって複数の異なる組織を表示させるように、制御信号（Ａ）を決定することができる。

【0079】

さらなる実施形態（図示せず）においては、イメージングシステム（５００）を、非医用目的で、例えばワークピースの材料特性を特定するために使用することができる。これらの実施形態においては、機械学習システム（６０）は、ワークピースの少なくとも一部の入力画像（ｘ）を受信し、入力画像（ｘ）のセマンティックセグメンテーションを実施し、それにより、ワークピースの材料特性を分類するように構成可能である。次いで、ディスプレイ（１０ａ）に、入力画像（ｘ）と、検出された材料特性に関する情報とを表示させるように、制御信号（Ａ）を決定することができる。

【0080】

図１０は、制御システム（４０）によって制御される医用分析システム（６００）の実施形態を示している。医用分析システム（６００）にはマイクロアレイ（６０１）が供給され、マイクロアレイは、医用試料に曝露された複数のスポット（６０２、特徴としても知られる）を含む。医用試料は、例えば、ヒト試料であるものとしてもよいし、又は、例えばスワブから得られた動物試料であるものとしてもよい。

【0081】

マイクロアレイ（６０１）は、ＤＮＡマイクロアレイ又はタンパク質マイクロアレイであるものとしてよい。

【0082】

センサ（３０）は、マイクロアレイ（６０１）を感知するように構成されている。センサ（３０）は、好ましくは、ビデオセンサのような光学センサである。したがって、機械学習システム（６０）は、画像分類器として理解可能である。

【0083】

機械学習システム（６０）は、センサ（３０）によって供給されたマイクロアレイの入力画像（ｘ）に基づいて試料の結果を分類するように構成されている。特に、機械学習システム（６０）は、マイクロアレイ（６０１）が試料中にウイルスの存在を示しているかどうかを判定するように構成可能である。

【0084】

次いで、ディスプレイ（１０ａ）が分類の結果を表示するように、制御信号（Ａ）を選択することができる。

【0085】

「コンピュータ」という用語は、所定の計算規則を処理するための任意の装置を包含するものとして理解可能である。これらの計算規則は、ソフトウェアの形態、ハードウェアの形態、又は、ソフトウェアとハードウェアとの混合形態であるものとしてよい。

【0086】

一般的に、複数形には添え字が付されているものと理解可能であり、即ち、好ましくは、複数形に含まれている複数の要素に連続した整数を割り当てることにより、複数形のそれぞれの要素に一意の添え字が割り当てられる。好ましくは、ある複数形にＮ個の要素が含まれていて、かつ、Ｎがその複数形における要素の個数である場合、これらの要素には１乃至Ｎの整数が割り当てられる。複数形に含まれているそれぞれの要素には、これらの要素の添え字を介してアクセス可能であることも理解可能である。

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【手続補正書】

【提出日】2023-09-11

【手続補正1】

【補正対象書類名】特許請求の範囲

【補正対象項目名】全文

【補正方法】変更

【補正の内容】

【特許請求の範囲】

【請求項1】

機械学習システム（６０）の入力信号（ｘ）、特にセンサ信号又はセンサ信号の特徴に対する敵対的摂動を決定するためのコンピュータ実装された方法（７００）であって、
最良の摂動が反復的に決定され、
前記最良の摂動は、所定の反復回数の後に敵対的摂動として提供され、
少なくとも１回の反復は、
・摂動をサンプリングするステップ（７０１）と、
・サンプリングされた前記摂動を入力信号に適用し、それにより、潜在的な敵対的例を決定するステップ（７０２）と、
・前記潜在的な敵対的例に対する前記機械学習システムからの出力信号を決定するステップ（７０３）と、
・前記出力信号と、前記入力信号に対応する所望の出力信号との偏差を特徴付ける損失値を決定するステップ（７０４）と、
・前記損失値が以前の損失値よりも大きい場合に、前記最良の摂動を、前記サンプリングされた摂動に設定するステップ（７０５）と、
を含む、方法（７００）。

【請求項2】

それぞれの反復において、前記サンプリングされた摂動の要素がゼロに設定され、
前記ゼロに設定される要素の個数は、反復が何回実施されたかに比例する、
請求項１に記載の方法（７００）。

【請求項3】

前記入力信号（ｘ）の少なくとも１つの要素は、整数を特徴付け、
前記サンプリングされた摂動は、整数を特徴付ける対応する要素を含む、
請求項１に記載の方法（７００）。

【請求項4】

データセットのそれぞれの入力信号に対してランダムな摂動をサンプリングし、サンプリングされた前記ランダムな摂動を組み合わせることによって、前記敵対的摂動がサンプリングされる、
請求項１に記載の方法（７００）。

【請求項5】

前記出力信号（ｙ）は、前記入力信号に基づく分類及び／又は回帰結果及び／又は密度値及び／又は確率値を特徴付ける、
請求項１に記載の方法（７００）。

【請求項6】

機械学習システム（６０）をトレーニングするための方法であって、
当該方法は、
前記機械学習システム（６０）のトレーニング用入力信号のために、請求項１に記載の方法を使用して敵対的摂動を決定することと、
前記敵対的摂動を前記トレーニング用入力信号に適用し、それにより、敵対的例（ｘ_ｉ）を決定することと、
前記敵対的例（ｘ_ｉ）に対する、前記トレーニング用入力信号に対応する所望の出力信号（ｔ_ｉ）を予測するように、前記機械学習システムをトレーニングすることと、
を含む、方法。

【請求項7】

請求項６に記載の方法を実施するように構成されているトレーニングシステム（１４０）。

【請求項8】

コンピュータプログラムであって、当該コンピュータプログラムがコンピュータによって実行された場合に、請求項１に記載の方法を前記コンピュータに実施させるために構成されているコンピュータプログラム。

【請求項9】

請求項８に記載のコンピュータプログラムが記憶されている機械可読記憶媒体（４６，１４６）。

【外国語明細書】