特表 2022-515756 「敵対的サンプル」に対するロバスト性を改善する装置及び方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公表特許公報(A)

(11)【公表番号】

(43)【公表日】2022-02-22

(54)【発明の名称】「敵対的サンプル」に対するロバスト性を改善する装置及び方法

(51)【国際特許分類】

   G06N 3/08 20060101AFI20220215BHJP

   G05B 23/02 20060101ALI20220215BHJP

【ＦＩ】

G06N3/08

G05B23/02 302R

G05B23/02 T

【審査請求】有

【予備審査請求】未請求

(21)【出願番号】P 2021535830

(86)(22)【出願日】2019-11-27

(85)【翻訳文提出日】2021-06-18

(86)【国際出願番号】 EP2019082757

(87)【国際公開番号】W WO2020126372

(87)【国際公開日】2020-06-25

(31)【優先権主張番号】18213925.3

(32)【優先日】2018-12-19

(33)【優先権主張国・地域又は機関】EP

(81)【指定国・地域】

(71)【出願人】

【識別番号】390023711

【氏名又は名称】ローベルト ボツシユ ゲゼルシヤフト ミツト ベシユレンクテル ハフツング

【氏名又は名称原語表記】ＲＯＢＥＲＴ ＢＯＳＣＨ ＧＭＢＨ

【住所又は居所原語表記】Ｓｔｕｔｔｇａｒｔ， Ｇｅｒｍａｎｙ

(71)【出願人】

【識別番号】591236068

【氏名又は名称】カーネギー－メロン ユニバーシティ

【氏名又は名称原語表記】ＣＡＲＮＥＧＩＥ－ＭＥＬＬＯＮ ＵＮＩＶＥＲＳＩＴＹ

(74)【代理人】

【識別番号】100114890

【弁理士】

【氏名又は名称】アインゼル・フェリックス＝ラインハルト

(74)【代理人】

【識別番号】100098501

【弁理士】

【氏名又は名称】森田 拓

(74)【代理人】

【識別番号】100116403

【弁理士】

【氏名又は名称】前川 純一

(74)【代理人】

【識別番号】100134315

【弁理士】

【氏名又は名称】永島 秀郎

(74)【代理人】

【識別番号】100135633

【弁理士】

【氏名又は名称】二宮 浩康

(74)【代理人】

【識別番号】100162880

【弁理士】

【氏名又は名称】上島 類

(72)【発明者】

【氏名】ジェレミー ジーグ コルター

(72)【発明者】

【氏名】フランク シュミット

(72)【発明者】

【氏名】エリック ウォン

【テーマコード（参考）】

3C223

【Ｆターム（参考）】

3C223AA12

3C223EA04

3C223FF03

3C223FF24

3C223FF26

(57)【要約】

センサ（３０）から取得された入力信号（ｘ）を分類する分類器（６０）に対する敵対的入力信号（ｘ^ａｄｖ）を取得するためのコンピュータ実装方法であって、前記敵対的入力信号（ｘ^ａｄｖ）は、原入力信号（ｘ^ｏｒｇ）から取得され、前記敵対的入力信号（ｘ^ａｄｖ）及び前記原入力信号（ｘ^ｏｒｇ）は、前記分類器（６０）に指示して、前記原入力信号（ｘ^ｏｒｇ）を第１のクラス（ｌ_０）に属するものとして分類させ、前記敵対的入力信号（ｘ^ａｄｖ）を前記第１のクラス（ｌ_０）とは異なる第２のクラス（ｌ）に属するものとして分類させ、当該方法は、前記原入力信号（ｘ^ｏｒｇ）を修正して、修正入力信号（ｘ^ｍｏｄ）を生じさるステップと、前記修正入力信号（ｘ^ｍｏｄ）を、前記原入力信号（ｘ^ｏｒｇ）周囲のメトリック球体上に投影して、投影入力信号（ｘ^ｐｒｏｊ）を生じさせるステップと、前記投影入力信号（ｘ^ｐｒｏｊ）に依存して前記敵対的入力信号（ｘ^ａｄｖ）を取得するステップとを備え、前記メトリックは、少なくとも近似的なワッサースタイン距離であることを特徴とする。

【特許請求の範囲】

【請求項1】

センサ（３０）から取得された入力信号（ｘ）を分類するための分類器（６０）に対する敵対的入力信号（ｘ^ａｄｖ）を取得するためのコンピュータ実装方法であって、
前記敵対的入力信号（ｘ^ａｄｖ）は、原入力信号（ｘ^ｏｒｇ）から取得され、
前記敵対的入力信号（ｘ^ａｄｖ）及び前記原入力信号（ｘ^ｏｒｇ）は、前記分類器（６０）に指示して、前記原入力信号（ｘ^ｏｒｇ）を第１のクラス（ｌ_０）に属するものとして分類させ、前記敵対的入力信号（ｘ^ａｄｖ）を前記第１のクラス（ｌ_０）とは異なる第２のクラス（ｌ）に属するものとして分類させ、
当該方法は、
前記原入力信号（ｘ^ｏｒｇ）を修正して、修正入力信号（ｘ^ｍｏｄ）を生じさせるステップと、
前記修正入力信号（ｘ^ｍｏｄ）を、前記原入力信号（ｘ^ｏｒｇ）周囲のメトリック球体上に投影して、投影入力信号（ｘ^ｐｒｏｊ）を生じさせるステップと、
前記投影入力信号（ｘ^ｐｒｏｊ）に依存して前記敵対的入力信号（ｘ^ａｄｖ）を取得するステップと、
を備え、
前記メトリックは、少なくとも近似的なワッサースタイン距離（Ｗ_Ｄ、Ｗ_Ｄ ^λ）である、
ことを特徴とする方法。

【請求項2】

前記少なくとも近似的なワッサースタイン距離（Ｗ_Ｄ、Ｗ_Ｄ ^λ）による距離が、前記メトリック球体の予め定義された半径（ε）よりも大きくない、という制約のもとで、前記修正入力信号（ｘ^ｍｏｄ）までの距離を最小化することにより、前記投影入力信号（ｘ^ｐｒｏｊ）を決定する、
請求項１に記載の方法。

【請求項3】

前記少なくとも近似的なワッサースタイン距離は、ワッサースタイン距離（Ｗ_Ｄ）である、
請求項１又は２に記載の方法。

【請求項4】

前記最小化は、前記制約のもとで前記最小化により与えられる主問題に対応する双対問題を最大化することによって取得される、
請求項２及び３に記載の方法。

【請求項5】

前記少なくとも近似的なワッサースタイン距離は、エントロピー項（Ｅ_Ｔ）によって前記ワッサースタイン距離（Ｗ_Ｄ）とは異なるシンクホーン距離（Ｗ_Ｄ ^λ）であり、第１の分布（Ｐ）と第２の分布（Ｑ）とから成る任意のペアについて、前記エントロピー項（Ｅ_Ｔ）は、Π１_ｎ＝Ｐ，Π^Ｔ１_ｎ＝Ｑを満たす分布Πのエントロピーを表す、
請求項１又は２に記載の方法。

【請求項6】

前記投影入力信号（ｘ^ｐｒｏｊ）は、前記最小化に対応する凸最適化を解決することにより決定される、
請求項２及び５に記載の方法。

【請求項7】

前記分類器（６０）は、入力信号（ｘ）が供給されると、前記第１のクラス（ｌ_０）に対応する第１の分類値（ｆ_ｌ０）と、予め定義された前記第２のクラス（ｌ）に対応する第２の分類値（ｆ_ｌ）とを出力するように構成されており、前記修正入力信号（ｘ^ｍｏｄ）は、前記第１の分類値（ｆ_ｌ０）と前記第２の分類値（ｆ_ｌ）との差（ｇ）を、前記原入力信号（ｘ^ｏｒｇ）によりもたらされる差（ｇ）よりも小さくさせる、
請求項１乃至６のいずれか一項に記載の方法。

【請求項8】

前記分類器（６０）は、入力信号（ｘ）が供給されると、前記第１のクラス（ｌ_０）に対応する第１の分類値（ｆ_ｌ０）を出力するように構成されており、前記修正入力信号（ｘ^ｍｏｄ）は、前記第１の分類値（ｆ_ｌ０）を、前記原入力信号（ｘ^ｏｒｇ）によりもたらされる前記第１の分類値（ｆ_ｌ０）よりも小さくさせる、
請求項１乃至７のいずれか一項に記載の方法。

【請求項9】

前記原入力信号（ｘ^ｏｒｇ）を修正して前記修正入力信号（ｘ^ｍｏｄ）を生じさせ、前記修正入力信号（ｘ^ｍｏｄ）を前記予め定義された部分集合に投影して、前記投影入力信号（ｘ^ｐｒｏｊ）を生じさせるステップは、先行の反復の前記投影入力信号（ｘ^ｐｒｏｊ）を後続の反復の原入力信号（ｘ^ｏｒｇ）として使用することにより、繰り返し実行され、前記修正入力信号（ｘ^ｍｏｄ）を前記予め定義された部分集合に投影する前記ステップは、前記原入力信号（ｘ^ｏｒｇ）を修正する各ステップの後に実行される、
請求項１乃至８のいずれか一項に記載の方法。

【請求項10】

センサ（３０）から取得された入力信号（ｘ）を分類するために改善された精度を有する分類器（６０）をトレーニングするためのコンピュータ実装方法であって、
複数のトレーニング入力信号を用いてトレーニング済みの前記分類器（６０）に、メモリ（１４６）からアクセスするステップであって、前記トレーニング画像は、複数のクラスにラベル付けされている、ステップと、
請求項１乃至９のいずれか一項に記載の方法によって、敵対的入力信号（ｘ^ａｄｖ）を生成するステップと、
少なくとも前記敵対的入力信号（ｘ^ａｄｖ）を用いて、改善された精度を有するように前記分類器（６０）をさらにトレーニングするステップと、
を備える方法。

【請求項11】

センサ信号を分類するために、請求項１０に記載の方法を用いてトレーニングされた分類器（６０）を使用するためのコンピュータ実装方法であって、
センサ（３０）からのデータを含むセンサ信号（Ｓ）を受信するステップと、
前記センサ信号（Ｓ）に依存する入力信号（ｘ）を決定するステップと、
前記入力信号（ｘ）を前記分類器（６０）に供給して、前記入力信号（ｘ）の分類を表す出力信号（ｙ）を取得するステップと、
を備える方法。

【請求項12】

アクチュエータ（１０）を制御するアクチュエータ制御信号（Ａ）を供給するために、請求項１０に記載の方法を用いてトレーニングされた分類器（６０）を使用するためのコンピュータ実装方法であって、
請求項８に記載の方法の総てのステップを備え、さらに、
前記出力信号（ｙ）に依存して前記アクチュエータ制御信号（Ａ）を決定するステップを備える方法。

【請求項13】

センサ信号を分類するための分類器のロバスト性を評価するためのコンピュータ実装方法であって、
センサ（３０）からのデータを含むセンサ信号（Ｓ）を受信するステップと、
前記センサ信号（Ｓ）に依存する原入力信号（ｘ^ｏｒｇ）を決定するステップと、
前記分類器（６０）により、前記原入力信号（ｘ^ｏｒｇ）の分類を表す第１の出力信号（ｙ１）を取得するステップと、
請求項１乃至９のいずれか一項に記載の方法によって、敵対的入力信号（ｘ^ａｄｖ）を決定するステップと、
前記分類器（６０）により、前記敵対的入力信号（ｘ^ａｄｖ）の分類を表す第２の出力信号（ｙ２）を決定するステップと、
前記第１の出力信号（ｙ１）と前記第２の出力信号（ｙ２）とに依存して、ロバスト性の値を決定するステップと、
を備える方法。

【請求項14】

分類器（６０）の出力信号（ｙ）に依存してアクチュエータ（１０）を制御するアクチュエータ制御信号（Ａ）を供給するためのコンピュータ実装方法であって、
前記分類器（６０）がロバストであるか否かを、請求項１０に記載の方法を用いて評価するステップと、
前記評価の結果に従って、特に、前記評価の結果として前記分類器（６０）がロバストではないとみなされたならば、前記アクチュエータ（１０）をセーフモードで動作させるように、前記アクチュエータ制御信号（Ａ）を決定することによって、前記アクチュエータ制御信号（Ａ）を決定するステップと、
を備える方法。

【請求項15】

前記アクチュエータ（１０）は、少なくとも部分的に自律的なロボット（１００）及び／又は製造機械（２００）及び／又はアクセス制御システム（３００）を制御する、
請求項１２又は１４に記載の方法。

【請求項16】

コンピュータプログラムであって、前記コンピュータプログラムがプロセッサ（４５、１４５）によって実行されると、コンピュータに指示して、請求項１乃至１５のいずれか一項に記載の方法を、当該方法の総てのステップと共に実施させるために構成されているコンピュータプログラム。

【請求項17】

請求項１６に記載のコンピュータプログラムが記憶されている機械可読記憶媒体（４６、１４６）。

【請求項18】

センサ信号を分類するための分類器（６０）であって、
請求項１０に記載の方法を用いてトレーニングすることによって取得可能であることを特徴とする分類器（６０）。

【請求項19】

アクチュエータ（１０）を動作させるための制御システム（４０）であって、
請求項１８に記載の分類器（６０）を備え、前記分類器（６０）の出力に従って前記アクチュエータ（１０）を動作させるように構成されている制御システム（４０）。

【請求項20】

請求項１２乃至１５のいずれか一項に記載の方法を実施するように構成されている制御システム（４０）。

【請求項21】

請求項１０に記載の方法を実施するように構成されているトレーニングシステム（１４０）。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、敵対的入力信号を取得するための方法、分類器を使用及び／又はトレーニングするための方法、分類器のロバスト性を評価するための方法、及び、アクチュエータを動作させるための方法、コンピュータプログラム及び機械可読記憶媒体、分類器、制御システム及びトレーニングシステムに関する。

【背景技術】

【0002】

従来技術
米国特許第１０００７８６６号明細書には、以下のことを含む方法、即ち、
複数のクラスについてラベル付けされた、入力空間からの複数のトレーニング画像を用いてトレーニング済みのニューラルネットワーク画像分類器に、メモリからアクセスし、
敵対的画像ごとに、トレーニング画像のうちの１つの周囲の入力空間において、ニューラルネットワークが線形である領域をサーチして、ニューラルネットワークにより複数のクラスに誤分類された１つの画像を見出すことによって、複数の敵対的画像を計算し、
トレーニング画像をニューラルネットワークに適用して、ニューラルネットワークの反応を観察し、
観察された反応を用いて、入力空間を表現する制約システムを計算し、
少なくともこれらの敵対的画像を用いて精度が改善されるように、ニューラルネットワーク画像分類器をさらにトレーニングする、
ことを含む方法が開示されている。

【0003】

“Universal Adversarial Perturbations Against Semantic Image Segmentation”, arXiv preprint arXiv: 1704.05712v3, Jan Hendrik Metzen, Mummadi Chaithanya Kumar, Thomas Brox, Volker Fischerには、敵対的摂動を生成するための方法が開示されている。

【先行技術文献】

【特許文献】

【0004】

【特許文献1】米国特許第１０００７８６６号明細書

【非特許文献】

【0005】

【非特許文献1】“Universal Adversarial Perturbations Against Semantic Image Segmentation”, arXiv preprint arXiv: 1704.05712v3, Jan Hendrik Metzen, Mummadi Chaithanya Kumar, Thomas Brox, Volker Fischer

【発明の概要】

【発明が解決しようとする課題】

【0006】

発明の利点
例えばニューラルネットワーク分類システムのような分類器は、容易に欺くことができる。また、ディープラーニングに基づくものとすることができる分類器は、微小摂動の影響を受けやすいものとなり得る、ということはよく知られている。このようなシステムを物理的世界に配備するために重要であることは、システムのロバスト性に関する証明を提供することである。

【0007】

小さいＬ_ｐ球体内にある敵対的ノイズに関して、ロバストな分類器を計算することができる。それにもかかわらず、より自然な摂動に関する敵対性は、それらのロバスト性の提示によって必ずしも担保されているわけではない。より自然な摂動には、部分的な並進、回転及びモーションブラーが含まれる。例えば、１つのピクセルによる暗い物体を移動させると、背景が著しく明るいならば、著しく長いＬ_∞－距離が引き起こされることになり、ただし、これは、物理的世界においては通常、小さい変化とみなされることになる。結果として、このような小さい物理的変化は、Ｌ_∞－ロバスト性によっても担保されない。

【課題を解決するための手段】

【0008】

独立請求項１に記載のステップを備える方法は、かかる摂動に関してロバスト性を改善するという利点を有する。

【0009】

発明の開示
従って、第１の態様によれば、本発明は、分類器への入力信号（ｘ）を分類する前記分類器に対する敵対的入力信号（ｘ^ａｄｖ）を取得するためのコンピュータ実装方法に関し、前記入力信号（ｘ）は、センサから取得されたものとすることができ、前記敵対的入力信号（ｘ^ａｄｖ）は、前記センサから取得されたものとすることができる原入力信号（ｘ^ｏｒｇ）から取得され、前記敵対的入力信号（ｘ^ａｄｖ）及び前記原入力信号（ｘ^ｏｒｇ）は、前記分類器に指示して、前記原入力信号（ｘ^ｏｒｇ）を第１のクラス（ｌ_０）に属するものとして分類させ、前記敵対的入力信号（ｘ^ａｄｖ）を前記第１のクラス（ｌ_０）とは異なる第２のクラス（ｌ）に属するものとして分類させ、
当該方法は、
前記原入力信号（ｘ^ｏｒｇ）を修正して、修正入力信号（ｘ^ｍｏｄ）を生じさるステップと、
前記修正入力信号（ｘ^ｍｏｄ）を、前記原入力信号（ｘ^ｏｒｇ）周囲の（例えば、周囲にセンタリングされた）メトリック球体上に投影して、投影入力信号（ｘ^ｐｒｏｊ）を生じさせるステップと、
前記投影入力信号（ｘ^ｐｒｏｊ）に依存して前記敵対的入力信号（ｘ^ａｄｖ）を取得するステップと、
を備え、
前記メトリックは、少なくとも近似的なワッサースタイン距離であることを特徴としている。用語「所与の点をメトリック球体上に投影する」とは、「前記所与の点に最も近い点を前記メトリック球体から決定する」という意味であると解することができる。

【0010】

前記少なくとも近似的なワッサースタイン距離を、例えば、予め定義された半径など、予め定義されたパラメータによって表すことができる。前記ワッサースタイン距離は、計算することが困難であり、ワッサースタイン球体上への投影をどのようにして実施するのかは、これまで知られていなかった。

【0011】

よって、ここで提案されていることは、前記少なくともワッサースタイン距離による、例えばＬ^２メトリックにより測定された距離が、前記メトリック球体の予め定義された半径（ε）よりも大きくないという制約のもとで、前記修正入力信号（ｘ^ｍｏｄ）までの距離を最小化することにより、前記投影入力信号（ｘ^ｐｒｏｊ）を決定する、ということである。

【0012】

これによって、正確な解法、即ち、前記少なくとも近似的なワッサースタイン距離はワッサースタイン距離（Ｗ_Ｄ）である、という場合の解法が可能となる。好都合なことに、上述の前記最小化を、前記制約のもとにおける前記最小化により与えられる主問題に対応する双対問題を最大化することによって、取得することができ、この場合、前記双対問題は、前記制約に対応するラグランジュ乗数の変数を有する。このことは、図１３及び対応する説明において詳述されている。

【0013】

１つの好ましい実施形態によれば、前記少なくとも近似的なワッサースタイン距離は、エントロピー項によってワッサースタイン距離とは異なるシンクホーン距離であり、この場合、第１の分布（Ｐ）と第２の分布（Ｑ）とから成る任意のペアについて、前記エントロピー項は、Π１_ｎ＝Ｐ，Π^Ｔ１_ｎ＝Ｑを満たす分布Πのエントロピーを表す。Ｐ及びＱが同一の定義域Ω全体において定義された分布であるならば、Πは、周辺分布としてＰ及びＱを含む定義域Ω＊Ω全体にわたる分布である。

【0014】

ここで見出されたことは、前記エントロピー項を含めることによって、計算がはるかに高速化されたワッサースタイン球体上への投影に対する近似解法が可能になる、ということである。

【0015】

ここで留意されたいことは、“Sinkhorn Distances: Lightspeed Computation of Optimal Transportation Distances”, arXiv preprint arXiv: 1306.0895vl, Marco Cuturi (2013)に示されているように、シンクホーン距離は、実のところ数学的な意味におけるメトリックではない、ということであり、その理由は、同一ではない２つの分布間において距離ゼロとなる場合があるからである。むしろ数学的な意味では、これは疑似メトリックである。

【0016】

実際には、前記制約のもとにおける前記最小化に対応する凸最適化を解決することによって、前記投影入力信号（ｘ^ｐｒｏｊ）を決定するための良好な手法が見出されている。これについては、図１４に対応する説明において詳述されている。

【0017】

本発明の１つのさらなる態様によれば、前記敵対的入力信号（ｘ^ａｄｖ）を標的型攻撃によって供給することができ、即ち、前記分類器に指示して、この信号を予め定義された第２のクラスに属するものとして分類させるように、供給することができる。前記入力信号（ｘ）が供給されたときに前記分類器が、前記第１のクラス（ｌ_０）に対応する第１の分類値（ｆ_ｌ０）と、前記予め定義された第２のクラス（ｌ）に対応する第２の分類値（ｆ_ｌ）とを出力するように構成されているならば、そのようにするための効率的な手法をもたらすことができる。この意味においては、前記入力信号（ｘ）が前記第１及び／又は第２の分類値を生じさせる、ということができる。前記標的型の誤分類を生成するためのロバストな手法は、前記第１の分類値（ｆ_ｌ０）と前記第２の分類値（ｆ_ｌ）との差（ｇ）を、前記原入力信号（ｘ^ｏｒｇ）によりもたらされる差（ｇ）よりも小さくさせるように、前記修正入力信号（ｘ^ｍｏｄ）を決定することによるものである。好都合なことに、前記差（ｇ）の勾配（▽ｇ）に依存して前記修正入力信号（ｘ^ｍｏｄ）を決定することによって、このことを達成することができる。

【0018】

前記標的型攻撃に対する選択的な実施形態によれば、前記敵対的入力信号（ｘ^ａｄｖ）を、非標的型攻撃によって供給することができ、即ち、前記分類器に指示して、この信号を任意の異なる第２のクラスに属するものとして分類させるように、供給することができる。この場合においては、好都合なことに、前記第１の分類値（ｆ_ｌ０）を、前記原入力信号（ｘ^ｏｒｇ）によりもたらされる前記第１の分類値（ｆ_ｌ０）よりも小さくさせるように、前記修正入力信号（ｘ^ｍｏｄ）が供給される。好都合なことに、前記第１の分類値（ｆ_ｌ０）の勾配（▽ｆ_ｌ０）に依存して前記修正入力信号（ｘ^ｍｏｄ）を決定することによって、このことを達成することができる。

【0019】

さらに他の態様によれば、前記原入力信号（ｘ^ｏｒｇ）を修正して前記修正入力信号（ｘ^ｍｏｄ）を生じさせ、当該修正入力信号（ｘ^ｍｏｄ）を予め定義された部分集合に投影して、前記投影入力信号（ｘ^ｐｒｏｊ）を生じさせるステップは、先行の反復の前記投影入力信号（ｘ^ｐｒｏｊ）を後続の反復の原入力信号（ｘ^ｏｒｇ）として使用することにより、繰り返し実行され、前記修正入力信号（ｘ^ｍｏｄ）を前記予め定義された部分集合に投影する前記ステップは、前記原入力信号（ｘ^ｏｒｇ）を修正する各ステップの後に実行される。かかる反復的な方法が好ましい理由は、このようにすることにより、中間の修正入力信号（ｘ^ｍｏｄ）が、少なくとも近似的なワッサースタイン球体の境界近傍に留まることが保証され、それによって、方法の収束が強められるからである。

【0020】

以下の図面を参照しながら、本発明の実施形態についてさらに詳細に説明する。

【図面の簡単な説明】

【0021】

【図1】アクチュエータをその環境内において制御する分類器を有する制御システムを示す図である。

【図2】少なくとも部分的に自律的なロボットを制御する制御システムを示す図である。

【図3】製造機械を制御する制御システムを示す図である。

【図4】自動化されたパーソナルアシスタントを制御する制御システムを示す図である。

【図5】アクセス制御システムを制御する制御システムを示す図である。

【図6】監視システムを制御する制御システムを示す図である。

【図7】撮像システムを制御する制御システムを示す図である。

【図8】分類器を制御するためのトレーニングシステムを示す図である。

【図9】前記トレーニングシステムにより実施されるトレーニング方法を示すフローチャートである。

【図10】前記制御システムを動作させるための方法を示すフローチャートである。

【図11】前記分類器の構造の１つの実施形態を示す図である。

【図12】前記敵対的入力信号ｘ^ａｄｖを決定するための方法を示すフローチャートである。

【図13】修正入力信号ｘ^ｍｏｄをワッサースタイン球体上に投影するための方法を示すフローチャートである。

【図14】修正入力信号ｘ^ｍｏｄをシンクホーン球体上に投影するための方法を示すフローチャートである。

【図15】式（５）を解く最大化を行う値Φ^＊，Ψ^＊，ρ^＊から、式（２）に定義されたΠを計算するための方法を示すフローチャートである。

【発明を実施するための形態】

【0022】

実施形態の説明
図１には、アクチュエータ１０の１つの実施形態がその環境２０内において示されている。アクチュエータ１０は、制御システム４０と相互に作用する。アクチュエータ１０とその環境２０とが連帯的に、アクチュエータシステムと称される。好ましくは等間隔の距離で、センサ３０がアクチュエータシステムの状態をセンシングする。センサ３０は、複数のセンサを含み得る。好ましくは、センサ３０は、環境２０の画像を撮影する光学センサである。センシングされた状態を符号化するセンサ３０の出力信号Ｓ（又はセンサ３０が複数のセンサを有する場合においては、センサ各々の出力信号Ｓ）が、制御システム４０に送信される。

【0023】

これにより、制御システム４０は、センサ信号Ｓのストリームを受信する。その後、制御システム４０は、センサ信号Ｓのストリームに依存して、一連のアクチュエータ制御命令Ａを計算し、次いで、それらがアクチュエータ１０に送信される。

【0024】

制御システム４０は、任意選択的な受信ユニット５０においてセンサ３０のセンサ信号Ｓのストリームを受信する。受信ユニット５０は、センサ信号Ｓを入力信号ｘに変換する。選択的に、受信ユニット５０が設けられていない場合においては、各センサ信号Ｓをそのまま入力信号ｘとして取り扱うものとしてもよい。入力信号ｘを、例えば、センサ信号Ｓからの抜粋として実現することができる。選択的に、センサ信号Ｓを処理して、入力信号ｘを生じさせるものとしてもよい。入力信号ｘは、センサ３０により記録された画像に対応する画像データを含む。換言すれば、入力信号ｘは、センサ信号Ｓに従って供給される。

【0025】

その後、入力信号ｘは、例えば、人工ニューラルネットワークによって実現可能な画像分類器６０に送られる。

【0026】

分類器６０は、パラメータφによってパラメータ化され、これらのパラメータφは、パラメータストレージＳｔ_１内に格納されており、このストレージＳｔ_１によって供給される。

【0027】

分類器６０は、入力信号ｘから出力信号ｙを決定する。出力信号ｙは、１つ又は複数のラベルを入力信号ｘに割り当てる情報を有する。出力信号ｙは、任意選択的な変換ユニット８０に送信され、この変換ユニット８０は、出力信号ｙを制御命令Ａに変換する。次いで、アクチュエータ制御命令Ａは、これに応じてアクチュエータ１０を制御するためにアクチュエータ１０に送信される。選択的に、出力信号ｙをそのまま制御命令Ａとして取り扱うものとしてもよい。

【0028】

アクチュエータ１０は、アクチュエータ制御命令Ａを受信し、これに応じて制御されて、アクチュエータ制御命令Ａに対応するアクションを実施する。アクチュエータ１０は、アクチュエータ制御命令Ａをさらなる制御命令に変換する制御ロジックを有することができ、次いで、このさらなる制御命令を使用してアクチュエータ１０が制御される。

【0029】

さらなる実施形態によれば、制御システム４０は、センサ３０を有することができる。さらに他の実施形態によれば、制御システム４０は、選択的に又は付加的に、アクチュエータ１０を有することができる。

【0030】

さらに他の実施形態によれば、制御システム４０は、アクチュエータ１０の代わりにディスプレイ１０ａを制御するように構成することができる。

【0031】

さらに、制御システム４０は、１つのプロセッサ４５（又は複数のプロセッサ）及び少なくとも１つの機械可読記憶媒体４６を有することができ、この機械可読記憶媒体４６には命令が格納されており、これらの命令は、これらの実行時に制御システム４０に指示して、本発明の１つの態様による方法を実施させる。

【0032】

図２に示されている実施形態によれば、制御システム４０を使用して、少なくとも部分的に自律的なロボット、例えば、少なくとも部分的に自律的な車両１００が制御される。

【0033】

センサ３０は、１つ又は複数のビデオセンサ、及び／又は、１つ又は複数のレーダセンサ、及び／又は、１つ又は複数の超音波センサ、及び／又は、１つ又は複数のＬｉＤＡＲセンサ、及び／又は、１つ又は複数のポジションセンサ（例えばＧＰＳなど）を有することができる。これらのセンサのうちの一部又は全部は、好ましくは、ただし必須ではないが、車両１００内に組み込まれている。選択的に又は付加的にセンサ３０は、アクチュエータシステムの状態を特定するための情報システムを有することができる。かかる情報システムのための１つの例は、環境２０における現在の又は今後の天候状態を特定する天候情報システムである。

【0034】

例えば入力信号ｘを使用して、分類器６０は、例えば、少なくとも部分的に自律的なロボット付近の物体を検出することができる。出力信号ｙは、少なくとも部分的に自律的なロボット付近において、物体がどこに位置しているのかを表す情報を有し得る。次いで、この情報に従って、例えば、検出された前記物体との衝突を回避するために、制御命令Ａを決定することができる。

【0035】

好ましくは車両１００に組み込まれたアクチュエータ１０を、車両１００のブレーキ、推進システム、エンジン、駆動トレイン又はステアリングによって実現することができる。車両１００が検出された前記物体との衝突を回避するように、１つのアクチュエータ（又は複数のアクチュエータ）１０が制御されるように、アクチュエータ制御命令Ａを決定することができる。分類器６０が、検出された物体を最も高い可能性で何であるとみなしたのかに従って、例えば、歩行者であるのか又は木であるのかに従って、検出された物体を分類することもでき、その分類に依存してアクチュエータ制御命令Ａを決定することができる。

【0036】

さらなる実施形態によれば、少なくとも部分的に自律的なロボットを、例えば、飛行、水泳、潜水、歩進により移動可能な他の移動型ロボット（図示せず）によって実現することができる。移動型ロボットを、特に、少なくとも部分的に自律的な芝刈り機、又は、少なくとも部分的に自律的な掃除ロボットとすることができる。上述の実施形態の総てにおいて、移動型ロボットが識別された前記物体との衝突を回避し得るように、移動型ロボットの推進ユニット及び／又はステアリング及び／又はブレーキが制御されるように、アクチュエータ制御命令Ａを決定することができる。

【0037】

さらなる実施形態によれば、少なくとも部分的に自律的なロボットを、ガーデニングロボット（図示せず）によって実現することができ、このガーデニングロボットは、センサ３０、好ましくは光学センサを使用して、環境２０内の植物の状態を特定することができる。アクチュエータ１０を、化学薬品を散布するためのノズルとすることができる。植物の識別された種類及び／又は識別された状態に依存して、アクチュエータ１０に指示して適当な量の適当な化学薬品を植物に散布させるように、アクチュエータ制御命令Ａを決定することができる。

【0038】

さらに他の実施形態によれば、少なくとも部分的に自律的なロボットを、洗濯機、ストーブ、オーブン、電子レンジ又は皿洗い機などのような屋内電気器具（図示せず）によって実現することができる。センサ３０、例えば光学センサは、家庭電化製品によって処理されている物体の状態を検出することができる。例えば、屋内電気器具が洗濯機である場合には、センサ３０は、洗濯機内部の洗濯物の状態を検出することができる。この場合には、アクチュエータ制御信号Ａを、洗濯物の検出された材質に依存して決定することができる。

【0039】

図３に示されている実施形態によれば、制御システム４０を使用して、例えば、製造ラインの一部である製造システム２００の製造機械１１、例えば、押し抜き機、カッタ又はガンドリルが制御される。制御システム４０は、アクチュエータ１０を制御し、さらに、アクチュエータ１０は、製造機械１１を制御する。

【0040】

センサ３０を、例えば、ある工業製品１２の特性を捕捉する光学センサによって実現することができる。分類器６０は、この工業製品１２の状態を、捕捉されたそれらの特性から特定することができる。次いで、製造機械１１を制御するアクチュエータ１０を、この工業製品１２の特定された状態に依存して、工業製品１２の後続の製造ステップのために制御することができる。又は、この工業製品１２の特定された状態に依存して、後続の工業製品１２の製造中にアクチュエータ１０が制御される、というように構成するものとしてもよい。

【0041】

図４に示されている実施形態によれば、自動化されたパーソナルアシスタント２５０を制御するために制御システム４０が用いられる。センサ３０を、例えば、ユーザ２４９のジェスチャのビデオ画像を受信するための、光学センサとすることができる。選択的にセンサ３０を、例えば、ユーザ２４９の音声命令を受信するための、音声センサとすることもできる。

【0042】

この場合に、制御システム４０は、自動化されたパーソナルアシスタント２５０を制御するためのアクチュエータ制御命令Ａを決定する。アクチュエータ制御命令Ａは、センサ３０のセンサ信号Ｓに従って決定される。センサ信号Ｓは、制御システム４０に送信される。例えば、分類器６０を、ユーザ２４９によりなされたジェスチャを識別するために、例えば、ジェスチャ認識アルゴリズムを実行するように構成することができる。この場合に、制御システム４０は、自動化されたパーソナルアシスタント２５０へ送信するためのアクチュエータ制御命令Ａを決定することができる。次いで、制御システム４０は、前記アクチュエータ制御命令Ａを自動化されたパーソナルアシスタント２５０に送信する。

【0043】

例えば、アクチュエータ制御命令Ａを、分類器６０により認識されたユーザの識別されたジェスチャに従って決定することができる。この場合に、アクチュエータ制御命令Ａは、自動化されたパーソナルアシスタント２５０に指示して、データベースから情報を取り出させ、取り出されたこの情報をユーザ２４９による受信のために適した形態で出力させる情報を含み得る。

【0044】

さらなる実施形態によれば、自動化されたパーソナルアシスタント２５０の代わりに、制御システム４０が、識別されたユーザのジェスチャに従って屋内電気器具（図示せず）を制御するように、構成することができる。屋内電気器具を、洗濯機、ストーブ、オーブン、電子レンジ又は皿洗い機とすることができる。

【0045】

図５に示されている実施形態によれば、制御システムはアクセス制御システム３００を制御する。アクセス制御システムを、アクセスを物理的に制御するように設計することができる。このシステムは、例えば、ドア４０１を有することができる。センサ３０は、アクセスが許可されるのか否かの決定に関連するシーンを検出するように構成されている。これを、例えば、人間の顔を検出するために画像又はビデオデータを供給する光学センサとすることができる。分類器６０を、例えば、データベースに格納されている既知の人々との同一性のマッチングによって、この画像又はビデオデータを解釈し、それによって、人物の身元を特定するように構成することができる。この場合には、例えば、特定された身元に従い分類器６０の解釈に依存して、アクチュエータ制御信号Ａを決定することができる。アクチュエータ１０を、アクチュエータ制御信号Ａに依存してアクセスを許可する又は許可しない鎖錠とすることができる。物理的ではなく論理的なアクセス制御も可能である。

【0046】

図６に示されている実施形態によれば、制御システム４０はアクセス監視システム４００を制御する。この実施形態は、図５に示した実施形態とほとんど同様である。従って、異なる態様についてのみ詳細に説明する。センサ３０は、監視下にあるシーンを検出するように構成されている。制御システムは、必ずしもアクチュエータ１０を制御するのではなく、ディスプレイ１０ａを制御する。例えば、機械学習システム６０は、例えば光学センサ３０により検出されたシーンが疑わしいか否かなど、シーンの分類を決定することができる。次いで、ディスプレイ１０ａに送信されるアクチュエータ制御信号Ａを、例えば、ディスプレイ１０ａに指示して、決定された分類に依存して表示される内容を調節させ、例えば、機械学習システム６０により疑わしいとみなされた物体を強調させるように、構成することができる。

【0047】

図７には、撮像システム５００、例えば、ＭＲＩ装置、Ｘ線撮像装置又は超音波撮像装置を制御するための制御システム４０の実施形態が示されている。センサ３０を、例えば撮像センサとすることができる。この場合には、機械学習システム６０が、センシングされた画像の全部又は一部の分類を決定することができる。次いで、この分類に従ってアクチュエータ制御信号Ａを選択することができ、それによって、ディスプレイ１０ａが制御される。例えば、機械学習システム６０は、センシングされた画像のある１つの領域を、潜在的に異常であると解釈することができる。この場合には、ディスプレイ１０ａに指示して、潜在的に異常な領域を撮像し強調して表示させるように、アクチュエータ制御信号Ａを決定することができる。

【0048】

図８には、分類器６０をトレーニングするためのトレーニングシステム１４０の実施形態が示されている。トレーニングデータユニット１５０は、入力信号ｘを決定し、この信号は、分類器６０に送られる。例えば、トレーニングデータユニット１５０は、コンピュータにより実装されたデータベースＳｔ_２にアクセスすることができ、このデータベース内にトレーニングデータのセットＴが格納されている。セットＴは、入力信号ｘと対応する望ましい出力信号ｙ_ｓとから成るペアを含む。トレーニングデータユニット１５０は、セットＴから例えばランダムにサンプルを選択する。選択されたサンプルの入力信号ｘは、分類器６０に送られる。望ましい出力信号ｙ_ｓは、評価ユニット１８０に送られる。

【0049】

分類器６０は、入力信号ｘから出力信号ｙを計算するように構成されている。それらの出力信号ｙも、評価ユニット１８０に送られる。

【0050】

修正ユニット１６０は、評価ユニット１８０からの入力に依存して、更新されたパラメータφ’を決定する。更新されたパラメータφ’は、パラメータストレージＳｔ_１に送信され、それによって、現在のパラメータφが置き換えられる。

【0051】

例えば、評価ユニット１８０は、出力信号ｙと望ましい出力信号ｙ_ｓとに依存して、損失関数￡の値を決定するように構成することができる。次いで、修正ユニット１６０は、損失関数￡を最適化するために、例えば確率的勾配降下法を用いて、更新されたパラメータφ’を計算することができる。

【0052】

さらに、修正ユニット１６０は、例えば、トレーニングセットＴとそれらの個々の望ましい出力信号ｙ_ｓとから取られた原入力信号ｘに基づき、修正入力信号ｘ^ａｄｖを有する敵対的データセットＴ’を計算することができる。

【0053】

さらに、トレーニングシステム１４０は、１つのプロセッサ１４５（又は複数のプロセッサ）及び少なくとも１つの機械可読記憶媒体１４６を備えることができ、この機械可読記憶媒体１４６には、命令が格納されており、これらの命令は、これらの実行時にトレーニングシステム１４０に指示して、本発明の１つの態様による方法を実施させる。

【0054】

図９には、トレーニングシステム１４０により実装可能な、分類器６０をトレーニングするための方法の１つの実施形態のフローチャートが示されている。

【0055】

最初に（９０１）、セットＴのトレーニングデータを用いて慣用の手法により、上述のように分類器６０がトレーニングされる。

【0056】

次いで（９０２）、図１１に示されているとおりの方法を用い、データセットＴからの入力信号を修正し、かつ、対応する望ましい出力信号ｙ_ｓは修正しないままにすることにより、１つ又は複数の敵対的入力信号ｘ^ａｄｖと、対応する望ましい出力信号ｙ_ｓとが生成される。敵対的入力信号ｘ^ａｄｖと対応する望ましい出力信号ｙ_ｓとから成る、１つ又は複数のこれらのペアが、敵対的データセットＴ’に加えられる。

【0057】

ここで（９０３）、トレーニングデータセットである敵対的データセットＴ’を用いて分類器６０がトレーニングされる。その後（９０４）、トレーニング済みの分類器６０を用いて、アクチュエータ制御信号Ａを供給することができ、これは以下のことにより行われる。即ち、センサ３０からのデータを含むセンサ信号Ｓを受信し、このセンサ信号Ｓに依存して入力信号ｘを決定し、さらに、この入力信号ｘを分類器６０に供給して、入力信号ｘの分類を表す出力信号ｙを取得する。次いで、供給されたアクチュエータ制御信号Ａに従って、アクチュエータ１０又は１０ａを制御することができる。これにより、この方法は終了する。

【0058】

図１０には、制御システム４０により実装可能な、分類器６０を動作させるための方法の１つの実施形態のフローチャートが示されている。

【0059】

最初に（９１１）、分類器６０の動作を表すパラメータφが供給される。慣用のようにそれらのパラメータは、分類器６０をトレーニングするためのトレーニング方法によって、例えば上述のような教師ありトレーニングによって、取得される。

【0060】

その後（９１２）、トレーニング済みの分類器６０を用いて、第１の出力信号ｙ１を供給することができ、これは以下のことにより行われる。即ち、センサ３０からのデータを含むセンサ信号Ｓを受信し、このセンサ信号Ｓに依存して入力信号ｘを決定し、さらに、この入力信号ｘを分類器６０に入力して、入力信号ｘの分類を表す第１の出力信号ｙ１を取得する。

【0061】

次いで（９１３）、図１１に示されているとおりの方法を用い、入力信号ｘを修正することによって、敵対的入力信号ｘ^ａｄｖが生成される。

【0062】

次いで（９１４）、この敵対的入力信号ｘ^ａｄｖが分類器６０に入力されて、敵対的入力信号ｘ^ａｄｖの分類を表す第２の出力信号ｙ２が取得される。

【0063】

次に（９１５）、前記第１の出力信号ｙ１と前記第２の出力信号ｙ２とに基づき、分類器６０の脆弱性を表すパラメータｖｕが計算される。例えば、前記パラメータｖｕを、前記第１の出力信号ｙ１が前記第２の出力信号ｙ２と等しくなければ、脆弱性を表す第１の値（例えば「１」）にセットすることができ、前記第１の出力信号ｙ１が前記第２の出力信号ｙ２と等しければ、非脆弱性を表す第２の値（例えば「０」）と等しくなるようにセットすることができる。

【0064】

次いで（９１６）、前記パラメータｖｕに従ってアクチュエータ制御信号（Ａ）を決定することができ、このアクチュエータ制御信号（Ａ）に従ってアクチュエータ（１０）を制御することができる。例えば、前記パラメータｖｕが非脆弱性を表すならば、その場合には前記アクチュエータ制御信号（Ａ）を、通常動作モードに対応するように決定することができるのに対し、前記パラメータｖｕが脆弱性を表すのであれば、その場合には前記アクチュエータ制御信号（Ａ）を、例えば、前記アクチュエータ（１０）の運動ダイナミクスを低減することよる、フェイルセーフ動作モードに対応するように決定することができる。

【0065】

図１１には、分類器６０の１つの実施形態の構造が概略的に示されている。例えば、ニューラルネットワークの最後の層を除く総ての層によって実現可能な処理ユニット６１に、入力信号ｘが入力される。処理ユニット６１は、分類のために考えられるクラスｌごとに、好ましくは少なくとも１つのエントリｚ_ｌを有するベクトルｆを出力するように、構成されている。例えばａｒｇｍａｘ関数の実装によって実現可能なセレクタ６２に、前記ベクトルｆが入力される。セレクタ６２は、最大値を有するベクトルｆのエントリｆ_ｌのうちの１つと一致するクラスに対応する信号ｙを出力するように構成されている。入力信号ｘとの依存関係を強調するために、ベクトルｆをｆ（ｘ）とも表す。

【0066】

図１２には、原入力信号ｘ^ｏｒｇとも称する所与の入力信号ｘに基づき、敵対的入力信号ｘ^ａｄｖを決定するための方法が示されている。この方法を、制御システム４０又はトレーニングシステム１４０によって実装することができる。初期化ステップ（１０００）において、カウンタ変数をｃｏｕｎｔｅｒ＝０として初期化することができ、ステップサイズτを例えばτ＝２０として初期化することができ、修正入力信号ｘ^ｍｏｄをｘ^ｍｏｄ＝ｘとして初期化することができる。原入力信号ｘ^ｏｒｇが分類器６０に入力され、結果として出力される信号ｙが決定される。正解分類ｌ_０がｌ_０＝ｙとして初期化される。標的分類ｌ≠ｌ_０を、ランダムに選択することができ、又は、例えば、これを予め定義された値にセットすることにより、若しくは、正解分類ｌ_０に最も近い分類ｌ≠ｌ_０としてこれを選択することにより、選択することができる。例えば、標的分類ｌを、ベクトルｆの２番目に大きいエントリｆ_ｌに対応する分類として、決定することができる。この場合、標的型攻撃又は非標的型攻撃とすることができる。

【0067】

次いで（１１００）、修正入力信号ｘ^ｍｏｄが分類器６０に入力され、対応するベクトルｆ（ｘ^ｍｏｄ）が決定される。その後、スカラ関数ｇ（ｘ）＝ｆ（ｘ）_ｌ－ｆ（ｘ）_ｌ０が評価され、その勾配▽ｇ（ｘ）｜_ｘ＝ｘ ^ｍｏｄが決定される。修正入力信号ｘ^ｍｏｄを、以下のように更新することができる。即ち、

【数1】

【0068】

次に（１２００）、原入力信号ｘ^ｏｒｇの周囲にセンタリングされた、予め定義された半径εを有するワッサースタイン球体上に、修正入力信号ｘ^ｍｏｄを投影することによって、投影入力信号ｘ^ｐｒｏｊが決定される。この投影を、図１３及び図１４に示した方法のうちの一方によって実行することができる。

【0069】

次いで（１３００）、カウンタがｃｏｕｎｔｅｒ←ｃｏｕｎｔｅｒ＋１というように増分され、カウンタが例えば２０といった予め定義された数値の倍数であるか否かがチェックされる（１４００）。このことが該当するならば（１５００）、カウンタがｃｏｕｎｔｅｒ＝０にリセットされ、ステップサイズτが、例えばτ←τ・１．１といった予め定義された係数により増分される。

【0070】

ステップ（１４００）及び（１５００）の両方に続いて、カウンタが予め定義された最大カウンタｃｏｕｎｔｅｒ_ｍａｘ未満であるか否かが、即ち、ｃｏｕｎｔｅｒ＜ｃｏｕｎｔｅｒ_ｍａｘであるか否かが、チェックされる（１６００）。さらに、修正入力信号ｘ^ｍｏｄが、投影入力信号ｘ^ｐｒｏｊと等しくなるようにセットされ、スカラｇ（ｘ^ｍｏｄ）が評価される。ｃｏｕｎｔｅｒ＜ｃｏｕｎｔｅｒ_ｍａｘであり、かつ、ｇ（ｘ^ｍｏｄ）≦ｕｂであるならば、この方法は、ステップ（１１００）に戻って繰り返され、ただし、上限ｕｂを任意の非負数、例えばｕｂ＝０（即ち、分類は正解分類ｌ_０から標的分類ｌへと変化しなかった）にセットすることができる。このことが該当しなければ（１６００）、敵対的入力信号ｘ^ａｄｖが、修正入力信号ｘ^ｍｏｄと等しいものとして供給される。任意選択的に、ｇ（ｘ^ａｄｖ）≦ｕｂであれば、敵対性が望ましい信頼性では見出されなかったことを表すエラーメッセージを供給することができる。これにより、この方法は終了する。

【0071】

図１３には、修正入力信号ｘ^ｍｏｄから投影入力信号ｘ^ｐｒｏｊを決定するための方法が示されている。この投影には、Ｐ＝（Ｐ_１，．．．，Ｐ_ｎ）及びＱ＝（Ｑ_１，．．．，Ｑ_ｎ）として与えられた２つのｎ次元ベクトルＰとＱとの間のワッサースタイン距離Ｗ_Ｄ（Ｐ，Ｑ）の計算が含まれる。添え字ｉとｊとの間の距離が、行列Ｄ_ｉｊ∈Ｒ^ｎ×ｎに格納され（ただし、ｐの何らかの予め定義された値についてＤ_ｉｊ＝、｜|ｉ－ｊ|｜^ｐ）、ワッサースタイン距離Ｗ_Ｄ（Ｐ，Ｑ）を以下のようにして計算することができる。即ち、

【数2】

（ここで、Π１＝Ｐ、Π^Ｔ１＝Ｑにおける１は、複数の１から成るｎ次元のベクトルを表す）。この場合、前記投影入力信号ｘ^ｐｒｏｊを決定するということは、以下の式を解くことに相当する。即ち、

【数3】

（当然ながら、Ｌ_２メトリックを他の任意のメトリックと置き換えることができる）。

【0072】

最初に（１３１０）、修正入力信号ｘ^ｍｏｄと原入力信号ｘ^ｏｒｇとの間のワッサースタイン距離Ｗ_Ｄ（ｘ^ｍｏｄ，ｘ^ｏｒｇ）が、予め定義された半径εよりも大きくないか否か、即ち、
Ｗ_Ｄ（ｘ^ｍｏｄ，ｘ^ｏｒｇ）≦ε （４）
であるか否かが特定される。

【0073】

このことが該当するならば（１３２０）、投影入力信号ｘ^ｐｒｏｊが修正入力信号ｘ^ｍｏｄと等しくなるようにセットされ、この方法は終了する。

【0074】

このことが該当せず（１３３０）、Ｐ＝ｘ^ｍｏｄかつＱ＝ｘ^ｏｒｇを表すならば、式

【数4】

が、例えば投影勾配上昇法を用いて解かれ、それによって、最大化をもたらす値Φ^＊，Ψ^＊，ρ^＊が生じる。自明のとおり、式（５）は、式（３）及び（２）により与えられる主問題に対する双対定式化である。

【0075】

次に（１３４０）、式（２）において定義されたΠが、例えば図１５に示した方法を用いることにより、最大化をもたらす値Φ^＊，Ψ^＊，ρ^＊から決定される。

【0076】

次いで（１３５０）、投影入力信号ｘ^ｐｒｏｊが、ｘ^ｐｒｏｊ＝Π^Ｔ１と等しくなるようにセットされる。これにより、この方法は終了する。

【0077】

図１４には、適当な、ただし、より効率的な他の方法が示されており、この場合、投影の対象となる球体を定義するために、式（２）に定義されたワッサースタイン距離Ｗ_Ｄ（Ｐ，Ｑ）を用いる代わりに、シンクホーン距離Ｗ_Ｄ ^λ（Ｐ，Ｑ）が、エントロピー項Ｅ_Ｔを減ずることにより用いられ、即ち、

【数5】

であり、ここで、予め定義された変数λ≠０であり、例えばλ＝１である。

【0078】

最初に（１３１１）、修正入力信号ｘ^ｍｏｄと原入力信号ｘ^ｏｒｇとの間のシンクホーン距離Ｗ_Ｄ ^α（ｘ^ｍｏｄ，ｘ^ｏｒｇ）が、予め定義された半径εよりも大きくないか否か、即ち、
Ｗ_Ｄ ^α（ｘ^ｍｏｄ，ｘ^ｏｒｇ）≦ε （８）
であるか否かが特定される。

【0079】

このことが該当するならば（１３２１）、投影入力信号ｘ^ｐｒｏｊが修正入力信号ｘ^ｍｏｄと等しくなるようにセットされ、この方法は終了する。

【0080】

このことが該当せず（１３３１）、Ｐ＝ｘ^ｍｏｄかつＱ＝ｘ^ｏｒｇを表すならば、変数ρがρ＝１のように初期化され、２つのｎ次元ベクトルＲ、Ｓが、それらの要素各々を、例えば、Ｒ_ｉ＝Ｓ_ｉ＝１／ｎと等しくなるようにセットすることによって、初期化される。

【0081】

次いで（１３４１）、ｎｘｎ次元の指数行列Ｋが
Ｋ＝ｅｘｐ（－λ・ρ・Ｄ） （９）
のように計算される。

【0082】

次に（１３５１）、行列Ｒの要素Ｒ_ｉが
Ｒ_ｉ＝Ｐ_ｉ／（Ｋ・Ｓ）_ｉ （１０）
のように更新され、行列Ｓの要素Ｓ_ｉが
Ｓ_ｉ＝Ｗ_０（ｅｘｐ（λＱ_ｉ－１／２）・ｔｍｐ_ｉ）／ｔｍｐ_ｉ （１１）
のように更新され、
ただし、
ｔｍｐ＝λ・Ｋ^ＴＲ （１２）
である。

【0083】

次いで（１３６１）、スカラｇ及びｈが
ｇ＝〈Ｒ，ＤＫＳ〉－ε （１３）
ｈ＝－λ〈Ｒ，ＤＤＫＳ〉 （１４）
のように計算され、ここで、〈．．．〉は、スカラ積を表し、即ち、エントリごとの乗算及びそれに続き乗算された総てのエントリの和を表す。値αは、正の値、例えばα＝１にセットされる。

【0084】

次いで（１３７１）、例えば、ρ＜α（ｇ／ｈ）である限りα←（α／２）と更新することによって、ρ≒α（ｇ／ｈ）、ただしρ≧α（ｇ／ｈ）でもあるように、αがセットされる。

【0085】

ここで（１３８１）、ρ←ρ－α（ｇ／ｈ）のようにρが更新される。

【0086】

次に（１３９１）、この方法が収束しているのか否か、例えば、最後の反復にわたりＲ及び／又はＳへの変化が十分に小さい（例えば、予め定義された閾値未満）か否かがチェックされる。このことが該当しなければ、この方法は、ステップ（１３４１）に戻って繰り返される。しかしながら、この方法が収束したならば、ステップ（１３９２）が続く。

【0087】

このステップにおいて、
Π_ｉｊ＝〈Ｒ_ｉ，Ｋ・Ｓ_ｉ〉 （１５）
ｘ^ｐｒｏｊ＝Π^Ｔ１ （１６）
がセットされる。これにより、この方法は終了する。

【0088】

図１５には、ステップ（１３３０）において式（５）を解くことにより得られた、最大化を行う値Φ^＊，Ψ^＊，ρ^＊から、式（２）に定義されたΠを計算するための実施形態が示されている。最初に（２０００）、変数ｉがｉ＝１のように初期化される。次いで（２０１０）、ｊ∈｛１，．．．，ｎ｝のうちΦ^＊ _ｉ＜Ψ^＊ _ｊ＋ρ^＊・Ｄ_ｉｊが成り立つ総ての値が識別される。これが行われたならば、対応する要素Π_ｉｊがΠ_ｉｊ＝０にセットされる。次いで（２０２０）、ｊ∈｛１，．．．，ｎ｝のうちΦ^＊ _ｉ＝Ψ^＊ _ｊ＋ρ^＊・Ｄ_ｉｊが成り立つ総ての値（即ち、ｊの残余の総ての値）が識別されて、セットＪに格納される。次に（２０３０）、Ｊにおける要素の個数がカウントされ、ｓｚ（Ｊ）として表される。次いで（２０４０）、総てのｊ∈Ｊについて、対応する要素Π_ｉｊがΠ_ｉｊ＝ｐ_ｉ／ｓｚ（ｊ）にセットされる。その後、ｉ＜ｎが成り立つか否かがチェックされる（２０５０）。このことが該当するのであれば（２０６０）、ｉ←ｉ＋１のようにｉが増分され、この方法は、ステップ（２０１０）に戻って繰り返される。このことが該当しないのであれば、この方法は終了し、ステップ（１３５０）から続行される。

【0089】

用語「コンピュータ」は、予め定義された計算命令を処理するための任意のデバイスを含む。これらの計算命令を、ソフトウェアの形態とすることができ、又は、ハードウェアの形態とすることができ、又は、ソフトウェアとハードウェアの混合形態とすることもできる。

【0090】

さらに、自明のとおり、これらの手順は、既述のようにソフトウェアにおいて完全に実装することができるだけではない。これらの手順を、ハードウェアにおいても、又は、ソフトウェアとハードウェアの混合形態においても、実装することができる。

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】

【図15】

【手続補正書】

【提出日】2021-06-18

【手続補正1】

【補正対象書類名】特許請求の範囲

【補正対象項目名】全文

【補正方法】変更

【補正の内容】

【特許請求の範囲】

【請求項1】

センサ（３０）から取得された入力信号（ｘ）を分類するための分類器（６０）に対する敵対的入力信号（ｘ^ａｄｖ）を取得するためのコンピュータ実装方法であって、
前記敵対的入力信号（ｘ^ａｄｖ）は、原入力信号（ｘ^ｏｒｇ）から取得され、
前記敵対的入力信号（ｘ^ａｄｖ）及び前記原入力信号（ｘ^ｏｒｇ）は、前記分類器（６０）に指示して、前記原入力信号（ｘ^ｏｒｇ）を第１のクラス（ｌ_０）に属するものとして分類させ、前記敵対的入力信号（ｘ^ａｄｖ）を前記第１のクラス（ｌ_０）とは異なる第２のクラス（ｌ）に属するものとして分類させ、
当該方法は、
前記原入力信号（ｘ^ｏｒｇ）を修正して、修正入力信号（ｘ^ｍｏｄ）を生じさせるステップと、
前記修正入力信号（ｘ^ｍｏｄ）を、前記原入力信号（ｘ^ｏｒｇ）周囲のメトリック球体上に投影して、投影入力信号（ｘ^ｐｒｏｊ）を生じさせるステップと、
前記投影入力信号（ｘ^ｐｒｏｊ）に依存して前記敵対的入力信号（ｘ^ａｄｖ）を取得するステップと、
を備え、
少なくとも近似的なワッサースタイン距離（Ｗ _Ｄ 、Ｗ _Ｄ ^λ ）による距離が、前記メトリック球体の予め定義された半径（ε）よりも大きくない、という制約のもとで、前記修正入力信号（ｘ ^ｍｏｄ ）までの距離を最小化することにより、前記投影入力信号（ｘ ^ｐｒｏｊ ）を決定する、
ことを特徴とする方法。

【請求項2】

前記少なくとも近似的なワッサースタイン距離は、ワッサースタイン距離（Ｗ_Ｄ）である、
請求項１に記載の方法。

【請求項3】

前記最小化は、前記制約のもとで前記最小化により与えられる主問題に対応する双対問題を最大化することによって取得される、
請求項１又は２に記載の方法。

【請求項4】

前記少なくとも近似的なワッサースタイン距離は、エントロピー項（Ｅ_Ｔ）によってワッサースタイン距離（Ｗ_Ｄ）とは異なるシンクホーン距離（Ｗ_Ｄ ^λ）であり、第１の分布（Ｐ）と第２の分布（Ｑ）とから成る任意のペアについて、前記エントロピー項（Ｅ_Ｔ）は、Π１_ｎ＝Ｐ，Π^Ｔ１_ｎ＝Ｑを満たす分布Πのエントロピーを表す、
請求項１に記載の方法。

【請求項5】

前記投影入力信号（ｘ^ｐｒｏｊ）は、前記最小化に対応する凸最適化を解決することにより決定される、
請求項１乃至３のいずれか一項に記載の方法。

【請求項6】

前記分類器（６０）は、入力信号（ｘ）が供給されると、前記第１のクラス（ｌ_０）に対応する第１の分類値（ｆ_ｌ０）と、予め定義された前記第２のクラス（ｌ）に対応する第２の分類値（ｆ_ｌ）とを出力するように構成されており、前記修正入力信号（ｘ^ｍｏｄ）は、前記第１の分類値（ｆ_ｌ０）と前記第２の分類値（ｆ_ｌ）との差（ｇ）を、前記原入力信号（ｘ^ｏｒｇ）によりもたらされる差（ｇ）よりも小さくさせる、
請求項１乃至５のいずれか一項に記載の方法。

【請求項7】

前記分類器（６０）は、入力信号（ｘ）が供給されると、前記第１のクラス（ｌ_０）に対応する第１の分類値（ｆ_ｌ０）を出力するように構成されており、前記修正入力信号（ｘ^ｍｏｄ）は、前記第１の分類値（ｆ_ｌ０）を、前記原入力信号（ｘ^ｏｒｇ）によりもたらされる前記第１の分類値（ｆ_ｌ０）よりも小さくさせる、
請求項１乃至６のいずれか一項に記載の方法。

【請求項8】

前記原入力信号（ｘ^ｏｒｇ）を修正して前記修正入力信号（ｘ^ｍｏｄ）を生じさせ、前記修正入力信号（ｘ^ｍｏｄ）を前記メトリック球体に投影して、前記投影入力信号（ｘ^ｐｒｏｊ）を生じさせるステップは、先行の反復の前記投影入力信号（ｘ^ｐｒｏｊ）を後続の反復の原入力信号（ｘ^ｏｒｇ）として使用することにより、繰り返し実行され、前記修正入力信号（ｘ^ｍｏｄ）を前記メトリック球体に投影する前記ステップは、前記原入力信号（ｘ^ｏｒｇ）を修正する各ステップの後に実行される、
請求項１乃至７のいずれか一項に記載の方法。

【請求項9】

センサ（３０）から取得された入力信号（ｘ）を分類するために改善された精度を有する分類器（６０）をトレーニングするためのコンピュータ実装方法であって、
複数のクラスにラベル付けされた複数のトレーニング入力信号を用いてトレーニング済みの前記分類器（６０）に、メモリ（１４６）からアクセスするステップと、
請求項１乃至８のいずれか一項に記載の方法によって、敵対的入力信号（ｘ^ａｄｖ）を生成するステップと、
少なくとも前記敵対的入力信号（ｘ^ａｄｖ）を用いて、改善された精度を有するように前記分類器（６０）をさらにトレーニングするステップと、
を備える方法。

【請求項10】

センサ信号を分類するために、請求項９に記載の方法を用いてトレーニングされた分類器（６０）を使用するためのコンピュータ実装方法であって、
センサ（３０）からのデータを含むセンサ信号（Ｓ）を受信するステップと、
前記センサ信号（Ｓ）に依存する入力信号（ｘ）を決定するステップと、
前記入力信号（ｘ）を前記分類器（６０）に供給して、前記入力信号（ｘ）の分類を表す出力信号（ｙ）を取得するステップと、
を備える方法。

【請求項11】

アクチュエータ（１０）を制御するアクチュエータ制御信号（Ａ）を供給するために、請求項９に記載の方法を用いてトレーニングされた分類器（６０）を使用するためのコンピュータ実装方法であって、
請求項７に記載の方法の総てのステップを備え、さらに、
前記出力信号（ｙ）に依存して前記アクチュエータ制御信号（Ａ）を決定するステップを備える方法。

【請求項12】

センサ信号を分類するための分類器のロバスト性を評価するためのコンピュータ実装方法であって、
センサ（３０）からのデータを含むセンサ信号（Ｓ）を受信するステップと、
前記センサ信号（Ｓ）に依存する原入力信号（ｘ^ｏｒｇ）を決定するステップと、
前記分類器（６０）により、前記原入力信号（ｘ^ｏｒｇ）の分類を表す第１の出力信号（ｙ１）を取得するステップと、
請求項１乃至８のいずれか一項に記載の方法によって、敵対的入力信号（ｘ^ａｄｖ）を決定するステップと、
前記分類器（６０）により、前記敵対的入力信号（ｘ^ａｄｖ）の分類を表す第２の出力信号（ｙ２）を決定するステップと、
前記第１の出力信号（ｙ１）と前記第２の出力信号（ｙ２）とに依存して、ロバスト性の値を決定するステップと、
を備える方法。

【請求項13】

分類器（６０）の出力信号（ｙ）に依存してアクチュエータ（１０）を制御するアクチュエータ制御信号（Ａ）を供給するためのコンピュータ実装方法であって、
前記分類器（６０）がロバストであるか否かを、請求項９に記載の方法を用いて評価するステップと、
前記評価の結果に従って、特に、前記評価の結果として前記分類器（６０）がロバストではないとみなされたならば、前記アクチュエータ（１０）をセーフモードで動作させるように、前記アクチュエータ制御信号（Ａ）を決定することによって、前記アクチュエータ制御信号（Ａ）を決定するステップと、
を備える方法。

【請求項14】

前記アクチュエータ（１０）は、少なくとも部分的に自律的なロボット（１００）及び／又は製造機械（２００）及び／又はアクセス制御システム（３００）を制御する、
請求項１１又は１３に記載の方法。

【請求項15】

コンピュータプログラムであって、前記コンピュータプログラムがプロセッサ（４５、１４５）によって実行されると、コンピュータに指示して、請求項１乃至１４のいずれか一項に記載の方法を、当該方法の総てのステップと共に実施させるために構成されているコンピュータプログラム。

【請求項16】

請求項１５に記載のコンピュータプログラムが記憶されている機械可読記憶媒体（４６、１４６）。

【請求項17】

センサ信号を分類するための分類器（６０）であって、
請求項９に記載の方法を用いてトレーニングすることによって取得可能であることを特徴とする分類器（６０）。

【請求項18】

アクチュエータ（１０）を動作させるための制御システム（４０）であって、
請求項１７に記載の分類器（６０）を備え、前記分類器（６０）の出力に従って前記アクチュエータ（１０）を動作させるように構成されている制御システム（４０）。

【請求項19】

請求項１１乃至１４のいずれか一項に記載の方法を実施するように構成されている制御システム（４０）。

【請求項20】

請求項９に記載の方法を実施するように構成されているトレーニングシステム（１４０）。

【国際調査報告】