知財求人 - 知財ポータルサイト「IP Force」
特許7654170ユニバーサル敵対的摂動を生成するためのニューラルネットワークを訓練するための方法およびシステム
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2025-03-21
(45)【発行日】2025-03-31
(54)【発明の名称】ユニバーサル敵対的摂動を生成するためのニューラルネットワークを訓練するための方法およびシステム
(51)【国際特許分類】
G06N 3/094 20230101AFI20250324BHJP
G06N 7/01 20230101ALI20250324BHJP
【ＦＩ】
G06N3/094
G06N7/01
【請求項の数】
20
(21)【出願番号】P 2024540076
(86)(22)【出願日】2022-07-11
(65)【公表番号】
(43)【公表日】2024-09-12
(86)【国際出願番号】 JP2022027960
(87)【国際公開番号】W WO2023062902
(87)【国際公開日】2023-04-20
【審査請求日】2024-03-08
(31)【優先権主張番号】17/450,476
(32)【優先日】2021-10-11
(33)【優先権主張国・地域又は機関】US
(73)【特許権者】
【識別番号】000006013
【氏名又は名称】三菱電機株式会社
(74)【代理人】
【識別番号】110001195
【氏名又は名称】弁理士法人深見特許事務所
(72)【発明者】
【氏名】ワン，イェ
(72)【発明者】
【氏名】アーロン，シューチン
(72)【発明者】
【氏名】ラキン，アドナン
(72)【発明者】
【氏名】秋濃 俊昭
(72)【発明者】
【氏名】ムーラン，ピエール
(72)【発明者】
【氏名】パーソンズ，キーラン
【審査官】大倉 崚吾
(56)【参考文献】
【文献】特開２０２１－０１２６９３（ＪＰ，Ａ）
【文献】国際公開第２０２１／０１４５５１（ＷＯ，Ａ１）
【文献】特開２０２１－０９６８５４（ＪＰ，Ａ）
【文献】国際公開第２０２０／２３０６９９（ＷＯ，Ａ１）
【文献】米国特許出願公開第２０２１／０１２４９９９（ＵＳ，Ａ１）
【文献】HSU, Chia-Yi et al.，"ADVERSARIAL EXAMPLES FOR UNSUPERVISED MACHINE LEARNING MODELS"，arXiv [online]，2021年04月，p. 1-24，［2025年01月07日検索］，インターネット＜ＵＲＬ：https://arxiv.org/abs/2103.01895v2＞，2103.01895v2
【文献】WANG, Ye et al.，"Robust Machine Learning via Privacy/Rate-Distortion Theory"，arXiv [online]，2021年05月，p. 1-9，［2025年01月07日検索］，インターネット＜ＵＲＬ：https://arxiv.org/abs/2007.11693v2＞，2007.11693v2
(58)【調査した分野】(Int.Cl.，ＤＢ名)
Ｇ０６Ｎ ３／００－９９／００
(57)【特許請求の範囲】
【請求項1】
ユニバーサル敵対的摂動を生成するためのニューラルネットワークを訓練するためのコンピュータ実施方法であって、複数のデータサンプルを収集することを含み、前記複数のデータサンプルの各々は、有限のラベルセット中のラベルによって特定され、前記方法は、
複数の摂動データサンプルに対して条件付けられた前記複数のデータサンプルの前記有限のラベルセットの条件付きエントロピーを最大化することによって、前記複数のデータサンプルを、前記複数のデータサンプルからの有界偏差確率を有する、対応する複数の摂動データサンプルに変換するための確率的ニューラルネットワークを訓練することを含み、前記条件付きエントロピーは、未知であり、前記確率的ニューラルネットワークは、前記ラベルの未知の条件付きエントロピーの勾配の反復推定値に基づいて訓練され、前記方法は、
前記訓練済み確率的ニューラルネットワークに基づいて前記ユニバーサル敵対的摂動を生成することを含む、方法。
【請求項2】
前記条件付きエントロピーを最大化することは、前記ラベルと、前記有限のラベルセットの固定エントロピーに対する前記複数の摂動データサンプルのうち、対応する摂動データサンプルとの間の未知の相互情報を最小化することとして表され、前記ラベルの未知の条件付きエントロピーの前記勾配は、相互情報勾配推定法に基づいて推定される、請求項１に記載の方法。
【請求項3】
前記未知の相互情報の前記勾配は、前記ラベルに対して条件付けられた前記摂動データサンプルの前記条件付きエントロピーなしで、前記摂動データサンプルのエントロピーとして分解され、前記ラベルに対して条件付けられた前記摂動データサンプルの前記条件付きエントロピーは、各ラベルの確率によって加重された対応するデータサンプルの各ラベルに対する前記摂動データサンプルのエントロピーの合計として分解され、
前記摂動データサンプルの前記エントロピーの勾配は、スコア関数推定法を用いて推定され、
各ラベルに対する前記摂動データサンプルの前記エントロピーは、スコア関数推定法を用いて推定される、請求項２に記載の方法。
【請求項4】
前記スコア関数は、ステイン勾配推定器、スペクトルステイン勾配推定器、およびカーネル指数ファミリー推定器のうちの１つまたは組み合わせを含む、請求項３に記載の方法。
【請求項5】
前記有界偏差確率内で前記有限のラベルセットの前記条件付きエントロピーを最大化するという目的を、前記条件付きエントロピーを最大化するための最適解の固定点特徴評価を生成するラグランジュ形式に変換することをさらに含み、前記確率的ニューラルネットワークの前記訓練は、前記固定点特徴評価を満たす勾配整合損失関数を最小化することによって実行される、請求項１に記載の方法。
【請求項6】
前記確率的ニューラルネットワークの前記訓練は、終了条件が満たされるまで反復され、前記方法は、前記複数のデータサンプルに対応する前記有限のラベルセットでラベル付けられた前記複数の摂動データサンプルを用いて、ロバストニューラルネットワークモデルを訓練することをさらに含む、請求項１に記載の方法。
【請求項7】
前記確率的ニューラルネットワークの前記訓練は、終了条件が満たされるまで反復され、前記方法は、
前記確率的ニューラルネットワークを用いて入力データを処理することによって、摂動入力データを生成することと、
訓練済み分類器を用いて前記摂動入力データを分類することとをさらに含む、請求項１に記載の方法。
【請求項8】
前記ユニバーサル敵対的摂動は、多目的摂動であり、前記方法は、前記確率的ニューラルネットワークの目的に基づいて、前記複数のデータサンプルからの前記複数の摂動データサンプルの前記偏差確率を制約するための異なる境界を選択することをさらに含み、
前記確率的ニューラルネットワークの前記目的は、データプライバシー目的と、ロバスト学習目的とを含み、
前記データプライバシー目的の境界は、前記ロバスト学習目的の境界よりも大きい、請求項１に記載の方法。
【請求項9】
前記複数のデータサンプルは、センサによって測定された検知データ信号に対応し、前記検知データ信号は、前記センサと前記検知データ信号のソースとの間の相対配置の種類に基づいて測定され、前記検知データ信号は、被験者の１つ以上のバイタルサインを含み、
前記有限のラベルセット中の前記対応するラベルは、前記相対配置の前記種類を指定する、請求項１に記載の方法。
【請求項10】
ユニバーサル敵対的摂動を生成するためのニューラルネットワークを訓練するためのシステムであって、前記システムは、プロセッサと、命令を記憶するためのメモリとを含み、
前記プロセッサは、前記記憶された命令を実行することによって、前記システムに以下の動作を実行させるように構成され、
前記動作は、
データ信号の複数のデータサンプルを収集することを含み、前記複数のデータサンプルの各々は、有限のラベルセット中のラベルによって特定され、
前記動作は、
複数の摂動データサンプルに対して条件付けられた前記複数のデータサンプルの前記有限のラベルセットの条件付きエントロピーを最大化することによって、前記複数のデータサンプルを、前記複数のデータサンプルからの有界偏差確率を有する、対応する複数の摂動データサンプルに変換するための確率的ニューラルネットワークを訓練することを含み、前記有限のラベルセットの前記条件付きエントロピーは、未知であり、前記確率的ニューラルネットワークは、前記有限のラベルセットの前記未知の条件付きエントロピーの勾配の反復推定値に基づいて訓練され、
前記動作は、
前記訓練済み確率的ニューラルネットワークに基づいて前記ユニバーサル敵対的摂動を生成することを含む、システム。
【請求項11】
前記条件付きエントロピーを最大化するために、前記プロセッサは、前記記憶された命令を実行することによって、前記システムに、前記条件付きエントロピーを最大化することを、前記ラベルと、前記有限のラベルセットの固定エントロピーに対する前記のデータサンプルのうちの摂動データサンプルとの間の未知の相互情報を最小化することとして表すことを実行させるように構成され、前記ラベルの未知の条件付きエントロピーの前記勾配は、前記未知の相互情報の勾配に基づいて推定される、請求項１０に記載のシステム。
【請求項12】
前記プロセッサは、前記記憶された命令を実行することによって、前記システムに少なくとも以下の動作をさらに実行させるように構成され、前記動作は、
前記ラベルに対して条件付けられた前記摂動データサンプルの前記条件付きエントロピーなしで、前記未知の相互情報の前記勾配を前記摂動データサンプルのエントロピーとして分解することと、
前記ラベルに対して条件付けられた前記摂動データサンプルの前記条件付きエントロピーを、各ラベルの確率によって加重された対応するデータサンプルの各ラベルに対する前記摂動データサンプルのエントロピーの合計として分解することとを含み、
前記摂動データサンプルの前記エントロピーの勾配と各ラベルに対する前記摂動データサンプルの前記エントロピーとは、スコア関数推定法を用いて推定される、請求項１１に記載のシステム。
【請求項13】
前記プロセッサは、前記記憶された命令を実行することによって、前記システムに少なくとも以下の動作をさらに実行させるように構成され、前記動作は、
前記有界偏差確率内で前記有限のラベルセットの前記条件付きエントロピーを最大化するという目的を、前記条件付きエントロピーを最大化するための最適解の固定点特徴評価を生成するラグランジュ形式に変換することと、
前記固定点特徴評価を満たす勾配整合損失関数を最小化することによって、前記確率的ニューラルネットワークの前記訓練を実行することとを含む、請求項１０に記載のシステム。
【請求項14】
前記確率的ニューラルネットワークの前記訓練は、終了条件が満たされるまで反復され、前記プロセッサは、前記記憶された命令を実行することによって、前記システムに少なくとも以下の動作をさらに実行させるように構成され、
前記動作は、前記複数のデータサンプルに対応する前記有限のラベルセットでラベル付けられた前記複数の摂動データサンプルを用いて、ロバストニューラルネットワークモデルを訓練することをさらに含む、請求項１０に記載のシステム。
【請求項15】
前記確率的ニューラルネットワークの前記訓練は、終了条件が満たされるまで反復され、前記プロセッサは、前記記憶された命令を実行することによって、前記システムに少なくとも以下の動作をさらに実行させるように構成され、
前記動作は、
前記確率的ニューラルネットワークを用いて入力データを処理することによって、摂動入力データを生成することと、
訓練済み分類器を用いて前記摂動入力データを分類することとをさらに含む、請求項１０に記載のシステム。
【請求項16】
前記ユニバーサル敵対的摂動は、多目的摂動であり、前記プロセッサは、前記記憶された命令を実行することによって、前記システムに少なくとも以下の動作をさらに実行させるように構成され、
前記動作は、前記確率的ニューラルネットワークの目的に基づいて、前記複数のデータサンプルからの前記複数の摂動データサンプルの前記偏差確率を制約するための異なる境界を選択することをさらに含み、
前記確率的ニューラルネットワークの前記目的は、データプライバシー目的と、ロバスト学習目的とを含み、
前記データプライバシー目的の境界は、前記ロバスト学習目的の境界よりも大きい、請求項１０に記載のシステム。
【請求項17】
前記複数のデータサンプルは、センサによって測定された検知データ信号に対応し、前記検知データ信号は、前記センサと前記検知データ信号のソースとの間の相対配置の種類に基づいて測定され、前記有限のラベルセット中の前記対応するラベルは、前記相対配置の前記種類を指定する、請求項１０に記載のシステム。
【請求項18】
前記検知データ信号は、被験者の１つ以上のバイタルサインを含む、請求項１７に記載のシステム。
【請求項19】
ユニバーサル敵対的摂動システムであって、検知データ信号を受信するようにセンサに動作可能に接続された受信装置と、
複数の摂動データサンプルに対して条件付けられた前記複数のデータサンプルの前記有限のラベルセットの条件付きエントロピーを最大化することによって、前記複数のデータサンプルを、前記複数のデータサンプルからの有界偏差確率を有する、対応する複数の摂動データサンプルに変換するように訓練済み確率的ニューラルネットワークを実行するように構成されたプロセッサとを含み、前記条件付きエントロピーは、未知であり、前記確率的ニューラルネットワークは、前記ラベルの未知の条件付きエントロピーの勾配の反復推定値に基づいて訓練され、
無線または有線通信チャネルを介して、前記複数の摂動データサンプルを摂動データ信号として送信するように構成された送信装置とを含む、ユニバーサル敵対的摂動システム。
【請求項20】
前記センサは、前記センサと前記検知データ信号のソースとの間の配置における相対配置の種類に基づいて、データ信号を検知するように構成され、前記検知データ信号は、被験者の１つ以上のバイタルサインを含み、
前記複数のデータサンプルの各々に対応する前記ラベルは、前記相対配置の前記種類を指定し、
前記確率的ニューラルネットワークは、前記相対配置の前記種類を分類する前記ラベルと前記複数の摂動データサンプルとの間の未知の相互情報を低減するように訓練される、請求項１９に記載のユニバーサル敵対的摂動システム。
【発明の詳細な説明】
【技術分野】
【0001】
本開示は、一般的には、敵対的データ摂動に関し、より具体的には、ユニバーサル敵対的摂動を生成するためのニューラルネットワークを訓練するための方法およびシステムに関する。
【背景技術】
【0002】
近年、データの分類には、機械学習およびディープニューラルネットワークが広く使用されている。しかしながら、機械学習モデルは、しばしば、データの敵対的操作に基づく攻撃に対して脆弱である。データの敵対的操作は、敵対的例として知られている。敵対的例は、意図的に小さな特徴摂動を加えたデータのサンプルである。これらの特徴摂動は、機械学習（ＭＬ）モデルまたはディープニューラルネットワーク（ＤＮＮ）モデルに不正確な予測を出力させることを意図している。具体的には、特徴摂動は、データに対して知覚できないノイズであるため、ＭＬ分類器がデータを誤分類してしまう原因となる。このような敵対的例は、ＭＬシステムに対する攻撃を実行するために使用され、セキュリティ上の懸念を引き起こす。このような敵対的例は、カメラおよび他のセンサを通して世界を認識するロボット、ビデオ監視システム、画像または音声を分類するためのモバイルアプリケーションなどのＭＬアプリケーションに潜在的なセキュリティ脅威をもたらす。このようなＭＬシステムに対する攻撃は、パラメータ、すなわち、重み、勾配、モデル照会、アーキテクチャなどの標的モデル情報を必要とする。標的モデル情報は、敵対的攻撃の効率を向上させるために必要である。
【0003】
敵対的攻撃は、ブラックボックス敵対的攻撃、ホワイトボックス敵対的攻撃などを含む。ホワイトボックス敵対的攻撃は、ＭＬ／ＤＮＮモデルの標的モデル情報に依拠するが、ブラックボックス敵対的攻撃は、敵対的摂動を生成するためにこのような標的モデル情報に依拠する必要がない。ブラックボックス敵対的攻撃は、クエリを用いて決定規則などの情報を抽出することによって、改善された敵対的摂動を生成する。しかしながら、クエリの使用は、追加のメモリ、計算オーバーヘッド、または決定規則情報を抽出するために複数のクエリ要求を送信するためのオンラインアクセスが必要となる。また、ブラックボックス敵対的攻撃およびホワイトボックス敵対的攻撃は、標的ＭＬ／ＤＮＮモデルに応じて敵対的摂動を調整する必要があり、計算的に高価である。
【0004】
したがって、上記の問題を克服する必要がある。より具体的には、標的ＭＬ／ＤＮＮモデル情報に依存せず、ユニバーサル敵対的摂動を生成するための方法およびシステムを開発する必要がある。
【発明の概要】
【0005】
例示的な敵対的攻撃は、２種類の脅威モデル、例えば、ホワイトボックス敵対的攻撃およびブラックボックス攻撃に広く分類される。ホワイトボックス敵対的攻撃では、攻撃者は、標的モデルのパラメータにアクセスする。例えば、攻撃者は、標的モデルのアーキテクチャ、重み、勾配などのパラメータにアクセスする。ホワイトボックス敵対的攻撃は、攻撃を成功させるために強力な敵対的アクセスを必要とするが、これは実現不可能である。さらに、このようなホワイトボックス敵対的攻撃は、時間および攻撃反復などの計算オーバーヘッドが大きい。対照的に、ブラックボックス敵対的攻撃では、標的モデルのパラメータへの敵対的アクセスが制限される。例えば、敵対的アクセスは、標的モデルの例示的な入力データおよび出力データ対へのアクセスのみを含む。代替的には、ブラックボックス敵対的攻撃では、標的モデルのいかなる情報も使用されない。このような敵対的攻撃では、敵対的摂動を生成するために、訓練データを用いてソースモデルまたは代用モデルを訓練する。生成された敵対的摂動を入力データに追加して、標的ブラックボックスＤＮＮを攻撃する。例えば、入力画像を代用モデルに入力して、敵対的摂動を生成する。その後、敵対的摂動を入力画像に追加して、標的ブラックボックスＤＮＮを攻撃する。いくつかの場合において、モデルクエリを用いて、標的ブラックボックスＤＮＮから情報を取得する。このようなモデルクエリは、ブラックボックスまたはホワイトボックス敵対的攻撃の有効性を向上させる。したがって、標的ＤＮＮに知識がなく、モデルクエリにアクセスできない場合、ブラックボックスまたはホワイトボックス敵対的攻撃を避ける。
【0006】
そのため、本開示の目的は、標的モデル情報とは無関係な一組の敵対的例を含むユニバーサル敵対的摂動を生成することである。ユニバーサル敵対的摂動は、データの統計分布に固有の構造を利用する確率的ニューラルネットワークによって生成される。また、本開示の目的は、ユニバーサル敵対的摂動を生成するための確率的ニューラルネットワークを訓練することである。
【0007】
本開示のいくつかの実施形態は、ゲーム理論の観点から、ロバスト機械学習モデル（例えば、分類器）問題とプライバシー保護データ処理機構（例えば、摂動機構）問題との間に基本的な関連があるという認識に基づいている。より具体的には、分類器と摂動機構との間のゲームが鞍点を有する。この鞍点は、平衡戦略を見つけるために活用される情報理論最適化問題によって特徴付けられるミニマックス点である。そのため、ユニバーサル敵対的摂動は、ロバスト機械学習モデル問題およびプライバシー保護データ処理機構問題を解く際に使用される多目的摂動である。例えば、ユニバーサル敵対的摂動は、ロバスト機械学習モデルを訓練するための入力データを補強するために使用される。ユニバーサル敵対的摂動は、入力データ中の機密情報を隠蔽するなどのプライバシー保護データ処理機構として使用されると共に、プライバシーとユーティリティとの間の最適なトレードオフを達成し、敵対的攻撃を防止する。
【0008】
いくつかの例示的な実施形態において、確率的ニューラルネットワークは、複数のデータサンプルを対応する複数の摂動データサンプルに変換するために訓練される。複数のデータサンプルの各々は、有限のラベルセット中のラベルによって特定される。複数の摂動データサンプルは、複数のデータサンプルからの有界偏差確率を有する。有界偏差確率は、複数の摂動データサンプルに対して条件付けられた複数のデータサンプルの有限のラベルセットの条件付きエントロピーを最大化することによって得られる。複数の摂動データサンプルに対して条件付けられた複数のデータサンプルの統計分布が未知であり、推定が困難であるため、複数の摂動データサンプルに対して条件付けられた複数のデータサンプルの有限のラベルセットの条件付きエントロピーは、未知である。
【0009】
そのため、条件付きエントロピーを最大化することは、ラベルと、有限のラベルセットの固定エントロピーに対応する摂動データサンプルとの間の未知の相互情報を最小化することとして表される。一般的には、ラベルと摂動データサンプルの相互情報は、ラベルと摂動データサンプルとの間の相互依存性の尺度である。相互依存性の尺度は、摂動データサンプルに基づいて得られたラベルの情報量に対応する。ラベルと摂動データサンプルとの間の相互情報を最小化するために、確率的ニューラルネットワークは、オフラインで訓練される。
【0010】
いくつかの実施形態において、確率的ニューラルネットワークは、有限のラベルセットの未知の条件付きエントロピーの勾配の反復推定値に基づいて訓練される。有限のラベルセットの未知の条件付きエントロピーの勾配は、相互情報勾配推定法に基づいて推定される。具体的には、未知の相互情報の勾配は、ラベルに対して条件付けられた摂動データサンプルの条件付きエントロピーなしで、摂動データサンプルのエントロピーとして分解される。さらに、ラベルに対して条件付けられた摂動データサンプルの条件付きエントロピーは、各ラベルの確率によって加重された対応するデータサンプルの各ラベルに対する摂動データサンプルのエントロピーの合計として分解される。
【0011】
いくつかの実施形態において、摂動データサンプルのエントロピーと摂動データサンプルのエントロピーとの勾配は、スコア関数推定法を用いて推定される。スコア関数推定法は、ステイン勾配推定器（Stein Gradient Estimator）、スペクトルステイン勾配推定器（Spectral Stein Gradient Estimator）、およびカーネル指数ファミリー推定器（Kernel Exponential Family Estimator）のうちの１つまたは組み合わせを含む。
【0012】
いくつかの実施形態において、有界偏差確率内で有限のラベルセットの条件付きエントロピーを最大化するという目的は、対応するラグランジュ形式に変換される。ラグランジュ形式への変換は、条件付きエントロピーを最大化するための最適解の固定点特徴評価を生成する。そのため、確率的ニューラルネットワークの訓練は、固定点特徴評価を満たす勾配整合損失関数を最小化することによって実行される。確率的ニューラルネットワークの訓練は、終了条件が満たされるまで反復的である。
【0013】
本開示のいくつかの実施形態は、訓練済み確率的ニューラルネットワークを用いて、ロバストニューラルネットワークモデルを学習するための標準的な敵対的訓練方法を置換するまたは増強するという理解に基づいている。例えば、ロバストニューラルネットワークモデルは、モデル訓練の各ステップで敵対的入力データを生成し、敵対的入力データに対して損失関数を最小化するようにロバストニューラルネットワークモデルを更新することによって訓練される。しかしながら、訓練の各ステップの敵対的入力データの生成は、計算的に高価である。そのため、訓練済み確率的ニューラルネットワークユニバーサル敵対的摂動を用いて、ロバストニューラルネットワークモデルを訓練する。具体的には、訓練済み確率的ニューラルネットワークによって生成されたユニバーサル敵対的摂動を用いて、入力データを増強する。ユニバーサル敵対的摂動を用いて入力データを増強することによって、ロバストニューラルネットワークモデルを訓練するために使用される摂動入力データを出力する。ロバストニューラルネットワークモデルを訓練するための摂動入力データは、交互敵対最適化の計算の複雑性および不安定性を回避する。さらに、摂動入力データは、訓練済み分類器を用いて分類される。
【0014】
推論段階またはオンライン応用段階では、訓練済み確率的ニューラルネットワークを用いて、高い計算コストなしに一組の敵対的例を生成する。一組の敵対的例を用いて、特定の機械学習またはニューラルネットワークモデルに依存することなく、敵対的訓練を通してユニバーサル防御応答を開発する。このような一組の敵対的例は、ユニバーサル敵対的摂動と呼ばれる。
【0015】
いくつかの実施形態において、ユニバーサル敵対的摂動は、多目的摂動を含む。多目的摂動において、確率的ニューラルネットワークの目的に基づいて、複数のデータサンプルから、複数の摂動データサンプルの偏差確率を制約するための異なる境界を選択する。確率的ニューラルネットワークの目的は、データプライバシー目的と、ロバスト学習目的とを含む。データプライバシー目的の限界は、ロバスト学習目的の限界よりも大きい。
【0016】
そのため、ユニバーサル敵対的摂動を生成するための訓練済み確率的ニューラルネットワークは、物理的世界で動作するＭＬシステムに使用される。ＭＬシステムは、カメラまたはモーションセンサなどのセンサを用いて、複数のデータサンプルを収集する。いくつかの例示的実施形態において、複数のデータサンプルは、被験者のバイタルサインなどの検知データ信号に対応する。検知データ信号は、被験者の１つ以上のバイタルサインを含む。検知データ信号は、センサと検知データ信号のソースとの間の相対配置の種類に基づいてセンサによって測定される。有限のラベルセット中の対応するラベルは、相対配置の種類を指定する。
【0017】
したがって、一実施形態は、ユニバーサル敵対的摂動を生成するためのニューラルネットワークを訓練するコンピュータ実施方法を開示する。この方法は、複数のデータサンプルを収集することを含む。複数のデータサンプルの各々は、有限のラベルセット中のラベルによって特定される。この方法は、複数の摂動データサンプルに対して条件付けられた複数のデータサンプルの有限のラベルセットの条件付きエントロピーを最大化することによって、複数のデータサンプルを、複数のデータサンプルからの有界偏差確率を有する、対応する複数の摂動データサンプルに変換するための確率的ニューラルネットワークを訓練することを含む。条件付きエントロピーは、未知であり、確率的ニューラルネットワークは、ラベルの未知の条件付きエントロピーの勾配の反復推定値に基づいて訓練される。この方法は、訓練済み確率的ニューラルネットワークに基づいてユニバーサル敵対的摂動を生成することをさらに含む。
【0018】
したがって、別の実施形態は、ユニバーサル敵対的摂動を生成するためのニューラルネットワークを訓練するためのシステムを開示する。このシステムは、プロセッサと、命令を記憶するためのメモリとを含む。プロセッサは、記憶された命令を実行することによって、システムに、データ信号の複数のデータサンプルを収集させるように構成され、各サンプルは、有限のラベルセット中のラベルによって特定される。プロセッサは、記憶された命令を実行することによって、システムに、複数の摂動データサンプルに対して条件付けられた複数のデータサンプルの有限のラベルセットの条件付きエントロピーを最大化することによって、複数のデータサンプルを、複数のデータサンプルからの有界偏差確率を有する、対応する複数の摂動データサンプルに変換するための確率的ニューラルネットワークを訓練させるように構成されている。有限のラベルセットの条件付きエントロピーは、未知であり、確率的ニューラルネットワークは、ラベルの未知の条件付きエントロピーの勾配の反復推定値に基づいて訓練される。プロセッサは、記憶された命令を実行することによって、システムに、訓練済み確率的ニューラルネットワークに基づいてユニバーサル敵対的摂動をさらに生成させるように構成されている。
【0019】
したがって、さらに別の実施形態は、ユニバーサル敵対的摂動システムを開示する。ユニバーサル敵対的摂動システムは、受信装置と、プロセッサと、送信装置とを含む。受信装置は、検知データ信号を受信するようにセンサに動作可能に接続されている。プロセッサは、複数の摂動データサンプルに対して条件付けられた複数のデータサンプルの有限のラベルセットの条件付きエントロピーを最大化することによって、複数のデータサンプルを、複数のデータサンプルからの有界偏差確率を有する、対応する複数の摂動データサンプルに変換するように訓練済み確率的ニューラルネットワークを実行するように構成されている。条件付きエントロピーは、未知であり、確率的ニューラルネットワークは、未知の条件付きエントロピーの勾配の反復推定値に基づいて訓練される。送信装置は、無線または有線通信チャネルを介して、複数の摂動データサンプルを摂動データ信号として送信するように構成されている。
【図面の簡単な説明】
【0020】
【図1】本開示のいくつかの実施形態に従って、ユニバーサル敵対的摂動を生成するためのニューラルネットワークを訓練するためのシステムを示すブロック図である。
【図2】本開示のいくつかの実施形態に従って、ユニバーサル敵対的摂動を生成するためのニューラルネットワークを訓練するための手順を示す概略図である。
【図3A】本開示のいくつかの実施形態に従って、ユニバーサル敵対的摂動を生成するための確率的ニューラルネットワークを訓練するためのオフライン訓練段階を示す概略図である。
【図3B】本開示のいくつかの実施形態に従って、確率的ニューラルネットワークのオフライン訓練段階を示すフローチャートである。
【図4A】本開示のいくつかの実施形態に従って、訓練済み確率的ニューラルネットワークのオンライン応用段階を示す概略図である。
【図4B】本開示のいくつかの実施形態に従って、訓練済み確率的ニューラルネットワークの評価を示すグラフ表現である。
【図5】本開示のいくつかの実施形態に従って、ユニバーサル敵対的摂動システムを示す図である。
【図6】本開示のいくつかの実施形態に従って、ユニバーサル敵対的摂動システムの使用を示す使用事例である。
【図7】本開示のいくつかの他の実施形態に従って、ユニバーサル敵対的摂動システムの使用を示す使用事例である。
【図8】本開示のいくつかの他の実施形態に従って、ユニバーサル敵対的摂動システムの使用を示す使用事例である。
【図9】本開示のいくつかの実施形態に従って、ユニバーサル敵対的摂動を生成するためのニューラルネットワークを訓練するための方法を示すフロー図である。
【図10】本開示のいくつかの例示的な実施形態に従って、ユニバーサル敵対的摂動を生成するためのニューラルネットワークを訓練するためのシステムを示す図である。
【発明を実施するための形態】
【0021】
以下の説明において、説明の目的のために、本開示に対する完全な理解を提供するために、多くの具体的な詳細が記載されている。これらの具体的な詳細がなくても、１つ以上の実施形態を実施することができることは、当業者にとって明白である。また、本開示を不明瞭にしないように、装置および方法をブロック図として示している。
【0022】
本明細書および特許請求の範囲に使用された場合、用語「例えば」、「例示として」、「・・・のような」ならびに動詞「備える」、「有する」、「含む」およびそれらの他の動詞形は、１つ以上の構成要素または他の項目のリストと共に使用される場合、このリストから他の追加の構成要素または項目を排除しないことを意味するオープンエンドとして解釈すべきである。用語「・・・に基づく」は、少なくとも部分的に基づくことを意味する。さらに、理解すべきことは、本明細書に使用された表現および用語は、説明の目的のためのものであり、限定として具体的に定義されない限り、限定的なものとして見なすべきではないことである。本明細書に使用されたいずれかの見出しは、便宜のためのものであり、法的または限定的な効果を有しない。
【0023】
図１は、本開示のいくつかの実施形態に従って、ニューラルネットワーク、例えばユニバーサル敵対的摂動１１０を生成するための確率的ニューラルネットワーク１０６を訓練するためのシステム１００を示す概略ブロック図である。システム１００は、プロセッサ１０２と、プロセッサ１０２によって実行される命令を記憶するためのメモリ１０４とを含む。プロセッサ１０２は、記憶された命令を実行することによって、システム１００に、データ信号１０８に対応する複数のデータサンプルを収集させるように構成されている。複数のデータサンプルの各々は、有限のラベルセット中のラベルによって特定される。
【0024】
いくつかの実施形態において、メモリ１０４は、確率的ニューラルネットワーク１０６を記憶する。確率的ニューラルネットワーク１０６は、複数のデータサンプルを対応する複数の摂動データサンプルに変換するように訓練される。複数のデータサンプルの各データサンプルは、有限のラベルセット中の対応するラベルによって特定される。データサンプルおよび関連するラベルは、確率的ニューラルネットワーク１０６に入力される。同様に、複数のデータサンプルの残りのデータサンプルおよび有限のラベルセット中の対応するラベルは、確率的ニューラルネットワーク１０６に入力される。
【0025】
また、複数のデータサンプルの変換は、複数のデータサンプルからの有界偏差確率を含む。具体的には、複数のデータサンプルは、複数の摂動データサンプルに対して条件付けられた複数のデータサンプルの有限のラベルセットの条件付きエントロピーを最大化することによって変換される。有限のラベルセットの条件付きエントロピーは、未知である。いくつかの例示的な実施形態において、確率的ニューラルネットワーク１０６は、有限のラベルセットの未知の条件付きエントロピーの勾配の反復推定値に基づいて訓練される。
【0026】
さらに、訓練済み確率的ニューラルネットワーク１０６を用いて、ユニバーサル敵対的摂動１１０を生成する。ユニバーサル敵対的摂動１１０は、標的モデルのいかなる特定の情報なしで生成された一組の敵対的例に対応する。
【0027】
次に、図２を参照して、ユニバーサル敵対的摂動１１０を生成するための詳細な手順を説明する。
【0028】
図２は、本開示のいくつかの実施形態に従って、ユニバーサル敵対的摂動１１０を生成するための確率的ニューラルネットワーク１０６を訓練するための手順２００を示す概略図である。手順２００は、システム１００によって実行される。
【0029】
ステップ２０２において、データ信号（例えば、データ信号１０８）の複数のデータサンプルを収集する。複数のデータサンプルの各々は、有限のラベルセット中のラベルによって特定される。
【0030】
ステップ２０４において、複数のデータサンプルを対応する複数の摂動データサンプルに変換するように、確率的ニューラルネットワーク１０６を訓練する。複数の摂動データサンプルは、複数のデータサンプルからの有界偏差確率を有する。いくつかの実施形態において、確率的ニューラルネットワーク１０６は、複数の摂動データサンプルに対して条件付けられた複数のデータサンプルの有限のラベルセットの条件付きエントロピーを最大化することによって、複数のデータサンプルを変換するように訓練される。有限のラベルセットの条件付きエントロピーは、未知である。確率的ニューラルネットワークは、ラベルの未知の条件付きエントロピーの勾配の反復推定値に基づいて訓練される。
【0031】
【数1】
【0032】
【数2】
【0033】
【数3】
【0034】
【数4】
【0035】
【数5】
【0036】
【数6】
【0037】
【数7】
【0038】
【数8】
【0039】
このようなユニバーサル敵摂動１１０を用いて、無視できる計算オーバーヘッドで、任意のブラックボックス標的モデルを攻撃する。また、ユニバーサル敵対的摂動１１０を用いて、少ないコストで、敵対的訓練を実行する。訓練サンプルが特定のニューラルネットワークモデルに依存しないため、この防御は、ユニバーサル防御応答として呼ばれる。
【0040】
いくつかの実施形態において、図３Ａを用いて次に説明するように、確率的ニューラルネットワーク１０６は、オフライン段階で訓練される。
【0041】
図３Ａは、本開示のいくつかの他の実施形態に従って、確率的ニューラルネットワークモデル１０６を訓練するためのオフライン訓練段階３０２を示す概略図３００Ａである。オフライン訓練３０２では、複数のデータサンプル３０４および有限のラベルセット３０６が使用される。複数のデータサンプル３０４中の各データサンプルは、有限のラベルセット３０６中のラベルによって特定される。複数のデータサンプル３０４の各々および有限のラベルセット３０６の対応するラベルは、確率的ニューラルネットワーク１０６に入力される。
【0042】
【数9】
【0043】
【数10】
【0044】
【数11】
【0045】
【数12】
【0046】
モデルは、モデルのパラメータに対して上記の目的の勾配を計算する確率的勾配降下法などの勾配降下法を介して、上記の目的を最小化するように最適化される。そのため、確率的ニューラルネットワーク１０６の訓練は、固定点特徴評価を満たす勾配整合損失関数を最小化することによって実行される。
【0047】
さらに、確率的ニューラルネットワークモデル１０６は、複数の摂動データサンプルに対して、損失関数、すなわち、交差エントロピー損失関数３０８を最小化するように更新される。１つの例示的な実施形態において、確率的ニューラルネットワーク１０６は、重み更新３１０に基づいて更新される。確率的ニューラルネットワーク１０６は、ユニバーサル敵対的摂動１１０を生成する。
【0048】
次に、図３Ｂを参照して、相互情報を最小化するように確率的ニューラルネットワーク１０６の全体的なオフライン訓練を説明する。
【0049】
図３Ｂは、本開示のいくつかの実施形態に従って、確率的ニューラルネットワーク１０６のオフライン訓練段階３０２を示すフローチャート３００Ｂである。オフライン訓練３０２は、ステップ３１２から開始する。ステップ３１４において、確率的ニューラルネットワーク１０６のパラメータ（ｇθ）を初期化する。パラメータが初期化されると、確率的ニューラルネットワーク１０６を訓練するための反復が開始する。ステップ３１６において、確率的ニューラルネットワーク１０６の訓練反復を終了するための終了条件を確認する。例えば、ステップ３１６の終了条件は、パラメータの終了に対応する。
【0050】
【数13】
【0051】
終了条件が満たされると、有限のラベルセットの未知の条件付きエントロピーの勾配の推定が開始し、有限のラベルセットの終了までループする。
【0052】
【数14】
【0053】
【数15】
【0054】
ステップ３３４において、訓練済み確率的ニューラルネットワークを出力する。ステップ３２４において、オフライン訓練は終了する。
【0055】
いくつかの実施形態において、訓練済み確率的ニューラルネットワーク１０６を用いて、ロバストニューラルネットワークモデルまたは分類器を学習するための標準的な敵対的訓練方法を置換するまたは増強する。そのため、図４Ａを用いて次に説明するように、訓練済み確率的ニューラルネットワーク１０６を用いて、ロバストニューラルネットワークモデルを訓練する。
【0056】
【数16】
【0057】
【数17】
【0058】
【数18】
【0059】
【数19】
【0060】
そのため、確率的ニューラルネットワーク１０６の目的に基づいて、複数のデータサンプルから複数の摂動データサンプルの偏差確率を制約するための異なる境界を選択する。確率的ニューラルネットワーク１０６の目的は、データプライバシー目的と、ロバスト学習目的とを含む。データプライバシー目的の限界は、ロバスト学習目的の限界よりも大きい。
【0061】
【数20】
【0062】
【数21】
【0063】
【数22】
【0064】
図４Ｂに示されたように、曲線４１２Ｂ、４１４Ｂおよび４１６Ｂによって示されたブラックボックス敵対的訓練モデルは、曲線４１２Ａ、４１４Ａおよび４１６Ａによって示されたクリーンデータモデルよりも脆弱である。また、ロバストモデル４０８に対応する曲線４１２Ｃ、４１４Ｃおよび４１６Ｃは、ユニバーサル敵対的摂動１１０に基づいてロバストモデル４０８を訓練することが高速かつ効率的であることを示す。そのため、ユニバーサル敵対的摂動１１０を用いてロバストモデル４０８を訓練する確率的ニューラルネットワーク１０６は、ロバスト機械学習モデルの大規模な敵対的訓練において有用である。
【0065】
いくつかの実施形態において、図５を用いて次に説明するように、確率的ニューラルネットワーク１０６は、ユニバーサル敵対的摂動システムに使用される。
【0066】
図５は、本開示のいくつかの実施形態に従って、ユニバーサル敵対的摂動システム５００を示す。ユニバーサル敵対的摂動システム５００は、受信装置５０２と、センサ５０４と、プロセッサ５１０と、メモリ５１２と、送信装置５１６とを含む。
【0067】
受信装置５０２は、センサ５０４に動作可能に接続され、データ信号５０６のソース５０８から測定された検知データ信号５０６を受信する。検知データ信号は、被験者のバイタルサイン（例えば、心拍、脈拍数）のうちの１つ以上を含む。いくつかの例示的な実施形態において、センサ５０４は、センサ５０４と検知データ信号５０６のソースとの間の配置における相対配置の種類に基づいて、データ信号５０６を検知するように構成されている。センサ５０４は、カメラ、モーションセンサ、バイタルサインセンサまたは光学センサなどのタッチセンサまたはタッチレスセンサに対応する。センサ５０４は、迷惑な変動、すなわち、相対配置の種類に影響を及ぼす雑音を引き起こすソース５０８から所定の距離に設置されている。いくつかの実施形態において、相対配置の種類は、データ信号５０６に対応する複数のデータサンプルの各々に対応するラベルによって指定される。例えば、相対配置の種類は、測定される被験者に対するセンサの物理的な向きの変動、または測定される被験者に固有の変動に起因する可能性がある。
【0068】
いくつかの実施形態において、プロセッサ５１０は、メモリ５１２に記憶された確率的ニューラルネットワーク５１４を実行するように構成されている。確率的ニューラルネットワーク５１４は、確率的ニューラルネットワーク１０６の一例である。確率的ニューラルネットワーク５１４は、検知データ信号５０６に対応する複数のデータサンプルを、有界偏差確率を有する複数の摂動データサンプルに変換するように訓練される。有界偏差確率は、複数の摂動データサンプルに対して条件付けられた複数のデータサンプルの有限のラベルセットの条件付きエントロピーを最大化することによって、複数の摂動データサンプルを複数のデータサンプルから偏差させる。いくつかの実施形態において、確率的ニューラルネットワーク５１４は、相対配置の種類を分類するラベルと複数の摂動データサンプルとの間の未知の相互情報を低減するように訓練される。未知の相互情報の最小化は、式（２）の最適化問題に基づいて解かれる。
【0069】
さらに、送信装置５１６は、ネットワーク５２０などの無線または有線通信チャネルを介して、複数の摂動データサンプルを摂動データ信号５１８として送信する。
【0070】
【0071】
図６は、本開示のいくつかの実施形態に従って、ユニバーサル敵対的摂動システム５００の使用を示す使用事例６００である。使用事例６００は、２つの異なるシナリオ、例えば、シナリオ６０２Ａおよびシナリオ６０２Ｂを含む。シナリオ６０２Ａにおいて、セキュリティルーム６０８などの制限区域へのアクセスを可能にするように、ユーザ６０４Ａを識別する。ユーザ６０４Ａは、ユーザ６０４Ａの顔画像を撮影するカメラ６０６などのセンサを用いて識別される。いくつかの場合において、カメラ６０６は、ネットワーク５２０などのネットワークを介して、ユニバーサル敵対的摂動システム５００に接続される。いくつかの他の場合において、カメラ６０６は、ユニバーサル敵対的摂動５００に一体化される。カメラ６０６は、撮影されたユーザ６０４Ａの顔画像をユニバーサル敵対的摂動システム５００に送信する。ユニバーサル敵対的摂動システム５００は、撮影されたユーザ６０４Ａの顔画像を処理する。訓練済み確率的ニューラルネットワーク５１４を用いて、撮影されたユーザ６０４Ａの顔画像を処理することによって、機密情報、例えば、ユーザ６０４Ａに対応する識別マークを隠すと共に、撮影されたユーザ６０４Ａの顔画像の有用性を維持する。
【0072】
撮影されたユーザ６０４Ａの顔画像を処理した後、ユニバーサル敵対的摂動システム５００は、処理された情報を制御システム（図示せず）に送信して、ユーザ６０４Ａを識別し、ユーザ６０４Ａの識別に基づいてアクセスを許可する。
【0073】
他のシナリオ６０２において、侵入者６０４Ｂが、ユーザ６０４Ａの写真６１０などの顔画像を用いて部屋６０８にアクセスしようとする。カメラ６０６は、写真６１０内のユーザ６０４Ａの顔画像を撮影する。写真６１０は、ユニバーサル敵対的摂動システム５００を用いて処理される。しかしながら、写真６１０は、このような侵入から保護される機密情報を含まない。したがって、侵入者６０４Ｂは、ユーザ６０４Ａの顔画像を含む写真６１０を使用しても、部屋６０６へのアクセスが拒否される。したがって、隠されたユーザ６０４Ａの機密情報は、侵入者６０４Ｂによる望ましくない攻撃を防止する。
【0074】
図７は、本開示のいくつかの他の実施形態に従って、ユニバーサル敵対的摂動システム５００の使用を示す使用事例７００である。使用事例７００は、車両７０２Ａの車両ナビゲーション支援システム（図示せず）に対応する。車両ナビゲーション支援システムは、ユニバーサル敵対的摂動システム５００に接続されている。車両ナビゲーション支援システムは、車両７０２Ａのカメラ、例えば道路シーンまたはビューを撮影するフロントカメラに接続されている。１つの例示的なシナリオにおいて、カメラは、「停止」標識を示す道路標識７０４を撮影する。撮影された道路標識７０４は、ユニバーサル敵対的摂動システム５００に送信される。ユニバーサル敵対的摂動システム５００は、確率的ニューラルネットワーク５１０を用いて、撮影された道路標識７０４を処理する。撮影された道路標識７０４は、ユニバーサル敵対的摂動１１０を用いて処理され、道路標識７０４内の「停止」標識を識別するためのロバストモデルを生成する。車両ナビゲーション支援システムは、ロバストモデルを用いて、道路標識７０４を正確に識別し、車両７０２Ａが別の車両、例えば車両７０２Ａの前方の車両７０２Ｂと衝突することを防止する。
【0075】
図８は、本開示のさらにいくつかの他の実施形態に従って、ユニバーサル敵対的摂動システム５００の使用を示す使用事例８００である。使用事例８００は、センサ８０４が被験者８０２の脳信号８０６などの１つ以上のバイタルサインを検知することに対応する。センサ８０４は、センサ８０４と被験者８０２の頭部との間の配置における相対配置の種類に基づいて脳信号８０６を検知するセンサ５０４の一例である。相対配置の種類は、脳信号８０６の対応するラベルによって特定される。
【0076】
センサ８０４が被験者８０２の頭部に配置されると、センサ８０４と被験者８０２の頭部との間の相対配置に起因して、迷惑な変動が生じる。この迷惑な変動は、脳信号８０６の不正確な読み取りを引き起こす。不正確な読み取りは、脳信号の誤った診断８０６につながる。そのため、脳信号８０６は、ユニバーサル敵対的摂動システム５００に送信される。ユニバーサル敵対的摂動システム５００は、確率的ニューラルネットワーク５１０を用いて脳信号８０６を処理する。確率的ニューラルネットワーク５１０は、ユニバーサル敵対的摂動を用いて脳信号８０６を処理することによって、ユニバーサル敵対的摂動システム５００を用いて迷惑な変動を除去し、脳信号８０６の正確な読み取り値を出力し、被験者８０２の１つ以上のバイタルサインの診断を改善する。
【0077】
図９は、本開示のいくつかの実施形態に従って、ユニバーサル敵対的摂動を生成するための方法９００を示すフロー図である。方法９００は、システム１００によって実行される。
【0078】
ステップ９０２において、方法９００は、複数のデータサンプルを収集することを含み、複数のデータサンプルの各々は、有限のラベルセット中のラベルによって特定される。複数のデータサンプルは、データ信号１０８に対応する。
【0079】
ステップ９０４において、方法９００は、複数のデータサンプルを複数の摂動データサンプルに変換するための確率的ニューラルネットワーク、例えば確率的ニューラルネットワーク１０６を訓練することを含む。複数の摂動データサンプルは、複数の摂動データサンプルに対して条件付けられた複数のデータサンプルの有限のラベルセットの条件付きエントロピーを最大化することによって得られる、複数のデータサンプルからの有界偏差確率を含む。複数のデータサンプルの統計分布が未知であるため、条件付きエントロピーは、未知である。そのため、条件付きエントロピーの最大化は、ラベルと、有限のラベルセットの固定エントロピーに対応する摂動データサンプルとの間の未知の相互情報を最小化することとして表される。いくつかの例示的な実施形態において、確率的ニューラルネットワークは、未知の条件付きエントロピーの勾配の反復推定値に基づいて訓練される（図３Ａ参照）。有限のラベルセットの未知条件エントロピーの勾配は、相互情報勾配推定法に基づいて推定される（図３Ｂ参照）。
【0080】
ステップ９０６において、方法９００は、訓練済み確率的ニューラルネットワークに基づいてユニバーサル敵対的摂動を生成することを含む。いくつかの実施形態において、ユニバーサル敵対的摂動は、多目的摂動である。多目的摂動において、複数のデータサンプルからの複数の摂動データサンプルの偏差確率を制限するための異なる境界が選択される。異なる境界は、確率的ニューラルネットワークの目的に基づいて選択される。確率的ニューラルネットワークの目的は、データプライバシー目的と、ロバスト学習目的とを含む。データプライバシー目的の限界は、ロバスト学習目的の限界よりも大きい。
【0081】
図１０は、本開示のいくつかの実施形態に従って、ユニバーサル敵対的摂動を生成するためのシステム１０００を示すブロック図である。システム１０００は、少なくとも１つのプロセッサ１００２と、システム１０００の制御中に少なくとも１つのプロセッサ１００２によって実行される実行可能モジュールを含む命令を記憶するためのメモリ１００４とを含む。メモリ１００４は、記憶媒体、例えば、ＲＡＭ（ランダムアクセスメモリ）、ＲＯＭ（読取り専用メモリ）、ハードディスク、またはそれらの組み合わせとして具現化される。例えば、メモリ１００４は、少なくとも１つのプロセッサ１００２によって実行可能な命令を記憶する。１つの例示的な実施形態において、メモリ１００４は、確率的ニューラルネットワーク１００６を記憶するように構成されている。確率的ニューラルネットワーク１００６は、確率的ニューラルネットワーク１０６に対応する。
【0082】
少なくとも１つのプロセッサ１００２は、シングルコアプロセッサ、マルチコアプロセッサ、コンピューティングクラスタ、または任意の数の他の構成として具現化される。少なくとも１つのプロセッサ１００２は、バス１０１２を介して、センサ１００８および受信装置１０１０に動作可能に接続されている。一実施形態において、少なくとも１つのプロセッサ１００２は、複数のデータサンプルを収集するように構成されている。いくつかの例示的な実施形態において、複数のデータサンプルは受信装置１０１０から収集される。受信装置１０１０は、ネットワーク１０２４を介して入力装置１０２０に接続されている。複数のデータサンプルの各々は、有限のラベルセット中のラベルによって特定される。有限のラベルセットは、記憶装置１０１４に記憶される。いくつかの他の例示的な実施形態において、複数のデータサンプルは、センサ１００８から収集される。センサ１００８は、ソース（図示せず）から測定されたデータ信号１０１６を受信する。いくつかの実施形態において、センサ１００８は、センサ１００８と検知データ信号１０１６のソースとの間の配置における相対配置の種類に基づいて、データ信号１０１６を検知するように構成されている。相対配置の種類は、複数のデータサンプルの各々に対応するラベルによって特定される。
【0083】
追加的にまたは代替的には、システム１０００は、ネットワークインターフェースコントローラ１０２６と一体化され、ネットワーク１０２４を用いて複数のデータサンプルを受信する。
【0084】
また、少なくとも１つのプロセッサ１００２は、複数のデータサンプルを対応する複数の摂動データサンプルに変換するための確率的ニューラルネットワークを訓練するように構成されている。複数の摂動データサンプルは、複数のデータサンプルからの有界偏差確率を有する。有界確率は、複数の摂動データサンプルに対して条件付けられた複数のデータサンプルの有限のラベルセットの未知の条件付きエントロピーを最大化することによって得られる。具体的には、少なくとも１つのプロセッサ１００２は、条件付きエントロピーの最大化を、ラベルと、有限のラベルセットの固定エントロピーに対する複数のデータサンプルのうちの摂動データサンプルとの間の未知の相互情報を最小化することとして表すように構成されている。いくつかの例示的な実施形態において、有界偏差確率内で有限のラベルセットの条件付きエントロピーを最大化するという目的は、条件付きエントロピーを最大化するための最適解の固定点特徴評価をもたらす対応するラグランジュ形式に変換される。確率的ニューラルネットワーク１００６の訓練は、固定点特徴評価を満たす勾配整合損失関数を最小化することによって実行される。
【0085】
いくつかの実施形態において、確率的ニューラルネットワーク１００６は、センサ１００８と検知データ信号１０１６のソースとの間の相対配置の種類を分類するラベルと複数の摂動データサンプルとの間の未知の相互情報を低減するように訓練される。複数の摂動データサンプルは、訓練済み確率的ニューラルネットワーク１００６による複数のデータサンプルの変換に基づいて取得される。
【0086】
いくつかの実施形態において、確率的ニューラルネットワーク１００６は、有限のラベルセットの未知の条件付きエントロピーの勾配の反復推定値に基づいて訓練される。ラベルの未知の条件付きエントロピーの勾配は、未知の相互情報の勾配に基づいて推定される。未知の相互情報の勾配は、ラベルに対して条件付けられた摂動データサンプルの条件付きエントロピーなしで、摂動データサンプルのエントロピーとして分解される。ラベルに対して条件付けられた摂動データサンプルの条件付きエントロピーは、各ラベルの確率によって加重された対応するデータサンプルの各ラベルに対する摂動データサンプルのエントロピーの合計として分解される。各ラベルに対する摂動データサンプルのエントロピーおよび摂動データサンプルのエントロピーの勾配は、スコア関数推定法を用いて推定される。スコア関数推定法は、ステイン勾配推定器、スペクトルステイン勾配推定器、およびカーネル指数ファミリー推定器のうちの１つまたは組み合わせを含む。
【0087】
訓練済み確率的ニューラルネットワーク１００６は、ユニバーサル敵対的摂動（例えば、ユニバーサル敵対的摂動１１０）を生成し、ユニバーサル敵対的摂動は、送信装置１０１８を介して送信される。追加的にまたは代替的には、送信装置１０１８は、出力装置１０２２に接続され、ネットワーク１０２４などのワイヤレスまたはワイヤード通信チャネルを介して摂動データ信号を出力する。出力装置１０２２は、出力装置１０２２にインストールされたアプリケーションに対する敵対的攻撃を防ぐために使用されるコンピュータ、ラップトップ、スマート装置、または任意のコンピューティング装置を含む。
【0088】
また、各々の実施形態は、フローチャート、フロー図、データフロー図、構造図、またはブロック図として示されるプロセスとして説明されることがある。フローチャートが動作を順次のプロセスとして説明しても、多くの動作は、並列にまたは同時に実行されてもよい。また、動作の順序は、変更されてもよい。プロセスの動作が完了したときに、プロセスを終了することができるが、このプロセスは、討論されていないまたは図示されていない追加のステップを含むことができる。さらに、具体的に記載されたプロセス内の全ての動作は、全ての実施形態に含まれる必要がない。プロセスは、方法、関数、プロシージャ、サブルーチン、サブプログラムなどであってもよい。プロセスが関数である場合、関数の終了は、当該関数を呼び出し関数または主関数に復帰させることに対応する。
【0089】
さらに、開示された主題の実施形態は、手動でまたは自動で、少なくとも部分的に実装されてもよい。手動または自動の実装は、マシン、ハードウェア、ソフトウェア、ファームウェア、ミドルウェア、マイクロコード、ハードウェア記述言語、またはそれらの任意の組み合わせで実装されてもよく、または少なくとも支援されてもよい。ソフトウェア、ファームウェア、ミドルウェア、またはマイクロコードで実装される場合、必要なタスクを実行するためのプログラムコードまたはコードセグメントは、機械可読媒体に記憶されてもよい。プロセッサは、必要なタスクを実行することができる。
【0090】
上述した本開示の実施形態は、多くの方法で実装されてもよい。例えば、実施形態は、ハードウェア、ソフトウェア、またはそれらの組み合わせで実装されてもよい。ソフトウェアで実装される場合、ソフトウェアコードは、単一のコンピュータに設けられたまたは複数のコンピュータに分散されたことにも拘らず、任意の適切なプロセッサまたは一群のプロセッサで実行されてもよい。このようなプロセッサは、集積回路として実装されてもよい。１つの集積回路要素は、１つ以上のプロセッサを含むことができる。しかしながら、プロセッサは、任意の適切な回路で実装されてもよい。
【0091】
また、本明細書において概説した様々な方法または工程は、様々なオペレーティングシステムまたはプラットフォームのいずれか１つを採用する１つ以上のプロセッサ上で実行可能なソフトウェアとしてコード化されてもよい。さらに、このようなソフトウェアは、いくつかの適切なプログラミング言語および／またはプログラミングツールもしくはスクリプトツールのいずれかを用いて書かれてもよく、フレームワークまたは仮想マシン上で実行される実行可能な機械言語コードもしくは中間コードとしてコンパイルされてもよい。通常、プログラムモジュールの機能は、所望に応じて様々な実施形態に組み合わせられてもよく、分散させられてもよい。
【0092】
本開示の実施形態は、一例として提供された方法として具現化されてもよい。この方法の一部として実行される動作は、任意の適切な方法で順序付けられてもよい。したがって、例示的な実施形態において順次に実行される動作とは異なる順序で動作を実行すること、いくつかの動作を同時に実行することを含み得る実施形態を構築することができる。したがって、添付の特許請求の範囲は、本開示の真の精神および範囲内にある全ての変形および修正を網羅する。
【0093】
いくつかの好ましい実施形態を参照して本開示を説明したが、理解すべきことは、本開示の精神および範囲内で、様々な他の改造および修正を行うことができることである。したがって、添付の特許請求の範囲は、本開示の真の精神および範囲内にある全ての変形および修正を網羅する。
【図1】
【図2】
【図3A】
【図3B】
【図4A】
【図4B】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
