特開 2025-27421 敵対的ロバスト性のための特徴分離および再調整方法およびシステム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2025027421

(43)【公開日】2025-02-27

(54)【発明の名称】敵対的ロバスト性のための特徴分離および再調整方法およびシステム

(51)【国際特許分類】

   G06N 3/094 20230101AFI20250219BHJP

   G06N 20/00 20190101ALI20250219BHJP

【ＦＩ】

G06N3/094

G06N20/00

【審査請求】有

【請求項の数】20

【出願形態】ＯＬ

(21)【出願番号】P 2024046360

(22)【出願日】2024-03-22

(11)【特許番号】

(45)【特許公報発行日】2025-02-10

(31)【優先権主張番号】10-2023-0106035

(32)【優先日】2023-08-14

(33)【優先権主張国・地域又は機関】KR

(31)【優先権主張番号】10-2024-0002170

(32)【優先日】2024-01-05

(33)【優先権主張国・地域又は機関】KR

【新規性喪失の例外の表示】特許法第３０条第２項適用申請有り 掲載アドレス ｈｔｔｐｓ：／／ａｒｘｉｖ．ｏｒｇ／ａｂｓ／２３０３．１３８４６ 掲載年月日 令和５年３月２４日

(71)【出願人】

【識別番号】518366555

【氏名又は名称】コリア アドバンスト インスティテュート オブ サイエンス アンド テクノロジー

(74)【代理人】

【識別番号】110001519

【氏名又は名称】弁理士法人太陽国際特許事務所

(72)【発明者】

【氏名】ユン・ソンウィ

(72)【発明者】

【氏名】キム・ウジェ

(72)【発明者】

【氏名】チョ・ユンギ

(72)【発明者】

【氏名】チョン・ジュンシク

(57)【要約】

【課題】敵対的ロバスト性のための特徴分離および再調整方法およびシステムを提供する。
【解決手段】一実施形態に係る特徴分離および再調整方法は、入力特徴マップを、ロバスト性スコアに基づいて、強靭な特徴として定義された第１特徴と強靭でない特徴として定義された第２特徴に分離する段階、前記第２特徴の活性化を再調整して再調整された特徴を生成する段階、および前記第１特徴と前記再調整された特徴を組み合わせて出力特徴マップを生成する段階を含む。
【選択図】図２

【特許請求の範囲】

【請求項1】

少なくとも１つのプロセッサを含むコンピュータ装置の特徴分離および再調整方法であって、
前記少なくとも１つのプロセッサにより、入力特徴マップを、ロバスト性スコアに基づいて、強靭な特徴として定義された第１特徴と強靭でない特徴として定義された第２特徴に分離する段階と、
前記少なくとも１つのプロセッサにより、前記第２特徴の活性化を再調整して再調整された特徴を生成する段階と、
前記少なくとも１つのプロセッサにより、前記第１特徴と前記再調整された特徴を組み合わせて出力特徴マップを生成する段階と、
を含む、特徴分離および再調整方法。

【請求項2】

前記分離する段階は、
特徴のロバスト性を学習して特徴マップ単位のロバスト性スコアを示すロバスト性マップを出力するように学習された分離ネットワークを介して前記入力特徴マップのロバスト性マップを生成する段階と、
前記ロバスト性マップに基づいてバイナリマスクを生成する段階と、
前記バイナリマスクを前記入力特徴マップに適用して前記第１特徴および前記第２特徴を分離する段階と、
を含むことを特徴とする、請求項１に記載の特徴分離および再調整方法。

【請求項3】

前記バイナリマスクを生成する段階は、
ガムベルソフトマックス（Ｇｕｍｂｅｌ ｓｏｆｔｍａｘ）を使用して、差別可能なソフトマスクを有するバイナリマスクを生成することを特徴とする、
請求項２に記載の特徴分離および再調整方法。

【請求項4】

前記第１特徴および前記第２特徴を分離する段階は、
前記入力特徴マップと前記バイナリマスクのうちの正のマスク間の要素ごとに積を計算して前記第１特徴を取得し、前記入力特徴マップと前記バイナリマスクのうちの負のマスク間の要素ごとに積を計算して前記第２特徴を取得することを特徴とする、
請求項２に記載の特徴分離および再調整方法。

【請求項5】

前記分離ネットワークは、第１特徴および第２特徴それぞれを入力として使用して前記第１特徴に対する第１特徴スコアおよび前記第２特徴に対する第２特徴スコアを出力するように学習されたＭＬＰ（Ｍｕｌｔｉ－Ｌａｙｅｒ Ｐｅｒｃｅｐｔｒｏｎ）基盤の補助階層を含み、
前記補助階層は、分離損失に基づいて、前記分離ネットワークが、前記バイナリマスクのうちの正のマスクで保存された活性化に基づいて前記第１特徴に相対的により高いロバスト性スコアを割り当てるようにガイドすること
を特徴とする、請求項２に記載の特徴分離および再調整方法。

【請求項6】

前記分離損失は、前記第１特徴スコア、前記第２特徴スコア、グラウンドトゥルースラベル、およびモデルの最終出力で誤って予測されたクラスのうちで最も高い予測スコアを有するクラスに該当するラベルに基づいて計算されることを特徴とする、
請求項５に記載の特徴分離および再調整方法。

【請求項7】

前記再調整された特徴を生成する段階は、
特徴の入力を受けて、特徴の活性化を調整するように学習された再調整ネットワークを介して前記第２特徴の活性化を調整して再調整ユニットを生成する段階と、
前記入力特徴マップのロバスト性マップに基づいて生成されたバイナリマスクのうちの負のマスクを前記再調整ユニットに適用する段階と、
前記負のマスクが適用された再調整ユニットと前記第２特徴を組み合わせて前記再調整された特徴を計算する段階と、
を含むことを特徴とする、請求項１に記載の特徴分離および再調整方法。

【請求項8】

前記再調整ネットワークは、前記第２特徴の入力を受けて出力予測スコアを出力する補助階層を含み、
前記補助階層は、再調整損失に基づいて、前記再調整ネットワークが前記第２特徴の活性化を調整してグラウンドトゥルーラベルと関連する信号を提供するように前記第２特徴の活性化を調整するようにガイドすること
を特徴とする、請求項７に記載の特徴分離および再調整方法。

【請求項9】

前記再調整損失は、前記グラウンドトゥルーラベルと前記出力予測スコアに基づいて計算されることを特徴とする、
請求項８に記載の特徴分離および再調整方法。

【請求項10】

請求項１～９のうちのいずれか一項に記載の方法をコンピュータ装置に実行させるためのプログラムが記録されている、コンピュータ読み取り可能な記録媒体。

【請求項11】

特徴分離および再調整方法をコンピュータ装置に実行させるためにコンピュータ読み取り可能な記録媒体に記録されるコンピュータプログラムであって、
前記特徴分離および再調整方法は、
入力特徴マップを、ロバスト性スコアに基づいて、強靭な特徴として定義された第１特徴と強靭でない特徴として定義された第２特徴に分離する段階と、
前記第２特徴の活性化を再調整して再調整された特徴を生成する段階と、
前記第１特徴と前記再調整された特徴を組み合わせて出力特徴マップを生成する段階と、
を含むことを特徴とする、コンピュータプログラム。

【請求項12】

前記分離する段階は、
特徴のロバスト性を学習して特徴マップ単位のロバスト性スコアを示すロバスト性マップを出力するように学習された分離ネットワークを介して前記入力特徴マップのロバスト性マップを生成する段階と、
前記ロバスト性マップに基づいてバイナリマスクを生成する段階と、
前記バイナリマスクを前記入力特徴マップに適用して前記第１特徴および前記第２特徴を分離する段階と、
を含むことを特徴とする、請求項１１に記載のコンピュータプログラム。

【請求項13】

前記分離ネットワークは、第１特徴および第２特徴それぞれを入力として使用して前記第１特徴に対する第１特徴スコアおよび前記第２特徴に対する第２特徴スコアを出力するように学習されたＭＬＰ（Ｍｕｌｔｉ－Ｌａｙｅｒ Ｐｅｒｃｅｐｔｒｏｎ）基盤の補助階層を含み、
前記補助階層は、分離損失に基づいて、前記分離ネットワークが、前記バイナリマスクのうちの正のマスクで保存された活性化に基づいて前記第１特徴に相対的により高いロバスト性スコアを割り当てるようにガイドすることを特徴とする、請求項１２に記載のコンピュータプログラム。

【請求項14】

前記再調整された特徴を生成する段階は、
特徴の入力を受けて、特徴の活性化を調整するように学習された再調整ネットワークを介して前記第２特徴の活性化を調整して再調整ユニットを生成する段階と、
前記入力特徴マップのロバスト性マップに基づいて生成されたバイナリマスクのうちの負のマスクを前記再調整ユニットに適用する段階と、
前記負のマスクが適用された再調整ユニットと前記第２特徴を組み合わせて前記再調整された特徴を計算する段階と、
を含むことを特徴とする、請求項１１に記載のコンピュータプログラム。

【請求項15】

前記再調整ネットワークは、前記第２特徴の入力を受けて出力予測スコアを出力する補助階層を含み、
前記補助階層は、再調整損失に基づいて、前記再調整ネットワークがグラウンドトゥルーラベルと関連する信号を提供するように記第２特徴の活性化を調整するようにガイドすることを特徴とする、請求項１４に記載のコンピュータプログラム。

【請求項16】

コンピュータ装置で読み取り可能な命令を実行するように実現された少なくとも１つのプロセッサ
を含み、
前記少なくとも１つのプロセッサにより、
入力特徴マップを、ロバスト性スコアに基づいて、強靭な特徴として定義された第１特徴と強靭でない特徴として定義された第２特徴に分離し、
前記第２特徴の活性化を再調整して再調整された特徴を生成し、
前記第１特徴と前記再調整された特徴を組み合わせて出力特徴マップを生成することを特徴とする、コンピュータ装置。

【請求項17】

前記入力特徴マップを分離するために、前記少なくとも１つのプロセッサにより、
特徴のロバスト性を学習して特徴マップ単位のロバスト性スコアを示すロバスト性マップを出力するように学習された分離ネットワークを介して前記入力特徴マップのロバスト性マップを生成し、
前記ロバスト性マップに基づいてバイナリマスクを生成し、
前記バイナリマスクを前記入力特徴マップに適用して前記第１特徴および前記第２特徴を分離することを特徴とする、請求項１６に記載のコンピュータ装置。

【請求項18】

前記分離ネットワークは、第１特徴および第２特徴それぞれを入力として使用して前記第１特徴に対する第１特徴スコアおよび前記第２特徴に対する第２特徴スコアを出力するように学習されたＭＬＰ（Ｍｕｌｔｉ－Ｌａｙｅｒ Ｐｅｒｃｅｐｔｒｏｎ）基盤の補助階層を含み、
前記補助階層は、分離損失に基づいて、前記分離ネットワークが、前記バイナリマスクのうちの正のマスクで保存された活性化に基づいて前記第１特徴に相対的により高いロバスト性スコアを割り当てるようにガイドすることを特徴とする、
請求項１７に記載のコンピュータ装置。

【請求項19】

前記再調整された特徴を生成するために、前記少なくとも１つのプロセッサにより、
特徴の入力を受けて、特徴の活性化を調整するように学習された再調整ネットワークを介して前記第２特徴の活性化を調整して再調整ユニットを生成し、
前記入力特徴マップのロバスト性マップに基づいて生成されたバイナリマスクのうちの負のマスクを前記再調整ユニットに適用し、
前記負のマスクが適用された再調整ユニットと前記第２特徴を組み合わせて前記再調整された特徴を計算することを特徴とする、請求項１６に記載のコンピュータ装置。

【請求項20】

前記再調整ネットワークは、前記第２特徴の入力を受けて出力予測スコアを出力する補助階層を含み、
前記補助階層は、再調整損失に基づいて、前記再調整ネットワークが、グラウンドトゥルーラベルと関連する信号を提供するように前記第２特徴の活性化を調整するようにガイドすることを特徴とする、請求項１９に記載のコンピュータ装置。

【発明の詳細な説明】

【技術分野】

【0001】

以下の説明は、敵対的ロバスト性のための特徴分離および再調整方法およびシステムに関する。

【背景技術】

【0002】

敵対的防御とは、人工知能モデルが、敵対的サンプル（ａｄｖｅｒｓａｒｉａｌ ｅｘａｍｐｌｅ）と呼ばれる微小のノイズや歪みを含んだ入力に対しても強靭に作動するように保護する技術または方法を意味する。敵対的サンプルは、一般の入力に似ているようにも見えるが、モデルの誤答や誤った出力を誘発するように設計された入力である。ここで、「敵対的」とは、人間の目には大きな差がないように見える入力であっても、機械学習モデルにとっては大きな違いを生むことを意味する。このような敵対的サンプルは、保安の脆弱性を攻撃したり人工知能モデルの性能を下げるために使用されることもあることから、敵対的防御は保安と信頼性の面において極めて重要であると見なされている。代表的な敵対的防御技術として敵対的学習（ａｄｖｅｒｓａｒｉａｌ ｔｒａｉｎｉｎｇ）方法があるが、これは、学習データに敵対的サンプルを追加することで、モデルが敵対的攻撃をより強靭に学習するようにした技法である。

【0003】

従来のディープニューラルネットワークは敵対的攻撃に弱く、特徴レベルでの累積的な歪みによって問題が発生していた。従来の敵対的防御技術では、特徴の非活性化によって攻撃に弱い特徴を非活性化しながらモデルのロバスト性を高める方法を活用していた。この方法では、敵対的攻撃に対するロバスト性を高めることはできるが、非活性化した特徴に有用な情報が含まれている可能性もある。これにより、モデルの性能と制度に制限が生じるという問題を抱えている。

【発明の概要】

【発明が解決しようとする課題】

【0004】

敵対的ロバスト性のための特徴分離および再調整方法およびシステムを提供する。

【課題を解決するための手段】

【0005】

少なくとも１つのプロセッサを含むコンピュータ装置の特徴分離および再調整方法であって、前記少なくとも１つのプロセッサにより、入力特徴マップを、ロバスト性スコアに基づいて、強靭な特徴として定義される第１特徴と強靭でない特徴として定義される第２特徴に分離する段階、前記少なくとも１つのプロセッサにより、前記第２特徴の活性化を再調整して再調整された特徴を生成する段階、および前記少なくとも１つのプロセッサにより、前記第１特徴と前記再調整された特徴を組み合わせて出力特徴マップを生成する段階を含む、特徴分離および再調整方法を提供する。

【0006】

一側によると、前記分離する段階は、特徴のロバスト性を学習して特徴マップ単位のロバスト性スコアを示すロバスト性マップを出力するように学習された分離ネットワークを介して前記入力特徴マップのロバスト性マップを生成する段階、前記ロバスト性マップに基づいてバイナリマスクを生成する段階、および前記バイナリマスクを前記入力特徴マップに適用して前記第１特徴および前記第２特徴を分離する段階を含むことを特徴としてよい。

【0007】

他の側面によると、前記バイナリマスクを生成する段階は、ガムベルソフトマックス（Ｇｕｍｂｅｌ ｓｏｆｔｍａｘ）を使用して、差別可能なソフトマスクを有するバイナリマスクを生成することを特徴としてよい。

【0008】

また他の側面によると、前記第１特徴と前記第２特徴を分離する段階は、前記入力特徴マップと前記バイナリマスクの正のマスクの間の各要素の積を計算して前記第１特徴を取得し、前記入力特徴マップと前記バイナリマスクの負のマスクの間の各要素の積を計算して前記第２特徴を取得することを特徴としてよい。

【0009】

また他の側面によると、前記分離ネットワークは、第１特徴および第２特徴それぞれを入力として使用して前記第１特徴に対する第１特徴スコアおよび前記第２特徴に対する第２特徴スコアを出力するように学習されたＭＬＰ（Ｍｕｌｔｉ－Ｌａｙｅｒ Ｐｅｒｃｅｐｔｒｏｎ）基盤の補助階層を含み、前記補助階層は、分離損失に基づいて、前記分離ネットワークが、前記バイナリマスクの正のマスクで保存された活性化に基づいて、前記第１特徴に相対的により高いロバスト性スコアを割り当てるようにガイドすることを特徴としてよい。

【0010】

また他の側面によると、前記分離損失は、前記第１特徴スコア、前記第２特徴スコア、グラウンドトゥルースラベル、およびモデルの最終出力で誤って予測されたクラスのうちで最も高い予測スコアを有するクラスに該当するラベルに基づいて計算されることを特徴としてよい。

【0011】

また他の側面によると、前記再調整された特徴を生成する段階は、特徴の入力を受け、特徴の活性化を調整するように学習された再調整ネットワークを介して前記第２特徴の活性化を調整して再調整ユニットを生成する段階、前記入力特徴マップのロバスト性マップに基づいて生成されたバイナリマスクの負のマスクを前記再調整ユニットに適用する段階、および前記負のマスクが適用された再調整ユニットと前記第２特徴を組み合わせて前記再調整された特徴を計算する段階を含むことを特徴としてよい。

【0012】

また他の側面によると、前記再調整ネットワークは、前記第２特徴の入力を受けて出力予測スコアを出力する補助階層を含み、前記補助階層は、再調整損失に基づいて、前記再調整ネットワークが、グラウンドトゥルーラベルと関連する信号を提供するように前記第２特徴の活性化を調整するようにガイドすることを特徴としてよい。

【0013】

さらに他の側面によると、前記再調整損失は、前記グラウンドトゥルースラベルと前記出力予測スコアに基づいて計算されることを特徴としてよい。

【0014】

コンピュータ装置と結合して前記方法をコンピュータ装置に実行させるためにコンピュータ読み取り可能な記録媒体に記録される、コンピュータプログラムを提供する。

【0015】

前記方法をコンピュータ装置に実行させるためのプログラムが記録されている、コンピュータ読み取り可能な記録媒体を提供する。

【0016】

コンピュータ装置で読み取り可能な命令を実行するように実現される少なくとも１つのプロセッサを含み、前記少なくとも１つのプロセッサにより、入力特徴マップを、ロバスト性スコアに基づいて、強靭な特徴として定義される第１特徴と強靭でない特徴として定義される第２特徴に分離し、前記第２特徴の活性化を再調整して再調整された特徴を生成し、前記第１特徴と前記再調整された特徴を組み合わせて出力特徴マップを生成することを特徴とする、コンピュータ装置を提供する。

【発明の効果】

【0017】

敵対的ロバスト性のための特徴分離および再調整方法およびシステムを提供することができる。

【図面の簡単な説明】

【0018】

【図1】本発明の一実施形態における、ＦＳＲモジュールが装着された敵対的学習モデルによって取得したイメージの例を示した図である。

【図2】本発明の一実施形態における、ＦＳＲモジュールの例を示した図である。

【図3】本発明の一実施形態における、コンピュータ装置の例を示したブロック図である。

【図4】本発明の一実施形態における、特徴分離および再調整方法の例を示したフローチャートである。

【発明を実施するための形態】

【0019】

本発明には多様な変換を加えることが可能であり、複数の実施形態を有することが可能であるが、以下では、特定の実施形態について添付の図面を参照しながら詳しく説明する。

【0020】

本発明を説明するにあたり、これと関連する公知技術に対する具体的な説明が本発明の要旨を不明瞭する可能性があると判断される場合には、その詳細な説明は省略する。

【0021】

深層ニューラルネットワークは、特徴レベルに摂動（ｐｅｒｔｕｒｂａｔｉｏｎ）が蓄積することで敵対的攻撃に脆弱になるが、多くの研究では、モデル予測エラーを引き起こす強靭でない（ｎｏｎ－ｒｏｂｕｓｔ）特徴の活性化を非活性化することによってモデルのロバスト性を高めてきた。しかし、このような悪性活性化には差別的な信号が含まれており、再調整を行うことによって正しいモデル予測のための有用な情報を追加で取り込むことができる。このために、本発明の実施形態では、分離と再調整によってより強靭な特徴マップに対する強靭でない活性化を再調整する、特徴分離および再調整（Ｆｅａｔｕｒｅ Ｓｅｐａｔａｔｉｏｎ ａｎｄ Ｒｅｃａｌｉｂｒａｔｉｏｎ：ＦＳＲ）と呼ばれる、プラグインが容易な新たな接近方式を提供する。分離パートでは、入力特徴マップを、モデルが正しく予測することをサポートする活性化によって強靭な特徴に分離し、敵対的攻撃の際に、モデルが誤った予測を担当する活性化によって強靭でない特徴によって分離することができる。この後、再調整パートでは、強靭でない活性化を調整して、モデルの予測に潜在的に有用な信号を復元することができる。広範囲の実験により、従来の非活性化技術に比べてＦＳＲの優位性が検証されたし、わずかな計算オーバーヘッドにより、従来の敵対的学習方法のロバスト性を最大８．５７％も高めることができた。

【0022】

コンピュータビジョン作業におけるディープニューラルネットワーク（Ｄｅｅｐ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋ：ＤＮＮ）の発展にもかかわらず、ＤＮＮは自然イメージに感知することができないノイズを追加し、このようなモデルの決定を覆すために悪意的に操作された敵対的サンプルに対して脆弱である。敵対的サンプルは、自律走行や生体認識を含む実際の事例において成功的であり、攻撃者が対象モデルを認知できない場合でも効果的であることが知られている。したがって、このような不安定性に対する効果的な防御戦略の考案が重要となっている。

【0023】

このために、防御蒸留、入力ノイズ除去、攻撃探知などの多様な防御技法が提案された。このような方法のうちでも最悪の敵対的サンプル集合にモデルを学習させてモデルを強靭にする敵対的学習が、最も成功的で人気がある。

【0024】

しかし、敵対的学習を使用したとしても、ピクセルレベルの極小の敵対的摂動が中間特徴空間にはるかに多く蓄積し、モデルの最終出力を台無しにする。このような問題を解決するために、近年の高級方法は、モデルの誤った予測を引き起こす強靭でない特徴の活性化を分離して非活性化した。例えば、中断された活性化を非活性化するために、古典的なノイズ除去技術を適用したり、正しいモデルの決定と関係のないチャンネルを非活性化する接近方式を使用した。しかし、このような接近方式は、強靭でない活性化に潜在的に存在する差別的な信号を無視することになる。一方、モデルが入力空間の強靭でない特徴から差別的な情報を学習できることを示す研究が存在する。この研究に基づくと、強靭でない活性化に潜在的な差別的な信号が存在し、これを非活性化すれば、モデルが正しい予測を実施するためのより優れた指針を提供する有用な情報を失う恐れがある。

【0025】

本発明の実施形態では、適切な調整により、モデル予測エラーを誘発する強靭でない活性化が、正しいモデル決定のための差別的な信号を取り込む恐れがあるため、特徴ロバスト性を高めることを目的とするＦＳＲモジュールを提供することができる。ＦＳＲモジュールは、先ず、モデルの中間特徴マップを、モデル予測エラーを担当する悪意的かつ強靭でない活性化と、敵対的攻撃にも正しいモデル予測に有用な信号を提供する強靭な活性化に分離する。しかし、従来の方法と同じように、強固な特徴だけを活用すれば、強靭でない特徴から潜在的に有用な信号が失われることがある。したがって、ＦＳＲモジュールは、正確なモデル決定に対して有用な指針を提供する信号を取り込むために、強靭でない活性化を再調整してよい。このような追加の信号は、モデルが正しい予測を実施するようにモデルをより適切にガイドすることでモデルのロバスト性を高めることができる。

【0026】

図１は、本発明の一実施形態における、ＦＳＲモジュールが装着された敵対的学習モデルによって取得したイメージの例を示した図である。図１では、自然に訓練されたモデル（ｆ_ｎａｔ）による、ＦＳＲモジュールが装着された敵対的学習モデルから得られた敵対的サンプル（ｘ’）上の、強靭な特徴（ｆ^＋）、強靭でない特徴（ｆ^－）、および再調整された特徴（

）による自然イメージの特徴に対する注意マップを視覚化した例を示している。敵対的サンプルが与えられた場合、強靭でない特徴（ｆ^－）はグランドトゥルースクラスとは関係のない信号を捉えるが、強固な特徴（ｆ^＋）は差別的な信号（例えば、馬の足（ｈｏｒｓｅ’ｓ ｌｅｇ））を捉えることができる。このとき、ＦＳＲモジュールは、従来の方法によって無視される強靭でない活性化（

）を再調整することで、強靭な活性化（例えば、馬の体（ｈｏｒｓｅ’ｓ ｂｏｄｙ））によって捉えられなかった有用な追加信号を復元することができる。このような追加信号により、ＦＳＲは、敵対的サンプルに対して正しい決定を下すことができるモデルの能力をさらに高めることができる。

【0027】

単純性により、ＦＳＲモジュールは、ＣＮＮモデルのすべての階層に簡単に連結することができ、モデル全体をエンドツーエンド方式で訓練することができる。ＦＳＲモジュールは、分離段階でモデルの決定に与える影響に基づいて特徴の活性化を効果的に分離することができ、再調整段階でモデルの予測に有用となる信号を成功的に捉えることができる。これにより、ＦＳＲは、小さな計算オーバーヘッドによって多様なバリエーションの敵対的学習のロバスト性を高めることができ、強靭でない活性化を従来の技術のように単に非活性化するのではなく、再調整する接近方式によって有用な情報を保存することで、モデルのロバスト性を高めることができる。

【0028】

関連研究：敵対的防御としての敵対的学習
敵対的学習は、敵対的に生成されたデータによってモデルを訓練することによって敵対的攻撃に強靭になるように誘導するものであり、最も効果的な防御戦略の１つとして見なされている。これは、以下の数式（１）のような最小最大最適化問題を解決することができる。

【0029】

【数1】

・・・（１）

【0030】

ここで、Ｆ_θはθによって媒介変数化したモデルを、ｘはデータセットＤのラベルｙをもつ自然イメージを、δは||δ||_p≦∈のようなサイズ∈のｌ_ｐ－ｎｏｒｍ内で制限された摂動を、Ｌ_ｃｌｓ（－、－）は分類損失を示している。内部最大化は、分類損失を最大化する最も強靭な摂動δを見つけることを目的とし、外部最小化は、最悪の場合に敵対的サンプルと関連して損失を最小化するためのモデルを学習する。内部最大化を最適化するために、ＦＧＳＭ（Ｆａｓｔ Ｇｒａｄｉｅｎｔ Ｓｉｇｎ Ｍｅｔｈｏｄ）またはＰＤＧ（Ｐｒｏｊｅｃｔｅｄ Ｇｒａｄｉｅｎｔ Ｄｅｓｃｅｎｔ）攻撃が使用されてよい。

【0031】

ここ数年の間に、敵対的学習の多くの変形技術が登場した。例えば、自然イメージのロジックと敵対的対応との距離を縮めるための技術、敵対的サンプルに対する予測エラーを自然エラーと境界エラーに分解してロバスト性と正確性の両方を高めるための技術、訓練中に誤って分類されたサンプルを追加で考慮するための技術、カリキュラム学習に起因する、一般化を高めるためにより強靭な敵対的サンプルでモデルを学習させる技術、学習過程によって多様なモデルの加重値を組み合わせる独自のアンサンブル方法を提案する技術、敵対的学習のロバスト性を高めるためにモデルの加重値に２次統計を適用する技術など、多様な技術が登場している。単純性により、本発明の実施形態に係る特徴分離および再調整方法は、このような多様な敵対的学習技術のすべてに容易に連結することが可能であり、ロバスト性をさらに高めることができる。

【0032】

関連研究：特徴空間に対する敵対的防御
並列研究ラインの以前のモデルの一部は、データセットから強靭でない特徴を学習し、敵対的サンプルの入力摂動はどんどん中間層に蓄積するようになり、最終予測のガイドに誤りが生じることが明らかになっている。このような問題を解決するための多様な作業により、ネットワーク構造を修正してみたり、正規化を適用して強靭な特徴表現を学習しようと努めた。一例として、バッチ正規化の観点から敵対的脆弱性を研究したり、ランダム活性化集合、特に、極小の活性化に剪定を適用したり、敵対的攻撃に弱い活性化を剪定したり、各クラスの特徴分離を提案して各クラスの中心を互いにプッシュして差別的な特徴表現を学習する技術などがある。

【0033】

特徴の活性化を明示的に操作して特徴マップの非正常を減らすことも試された。例えば、最も大きいｋユニットを除いたすべての特徴ユニットを非活性化するｋ－Ｗｉｎｎｅｒ－Ｔａｋｅｓ－Ａｌｌ活性化を提案した技術、ピクセル、イメージ、およびネットワークレベルに対する敵対的摂動の影響を解釈して摂動に敏感な特徴単位をマスキングする技術、特徴マップの重要な領域を強調するために注意メカニズムを適用する技術、非正常活性化を非活性化するために古典的なノイズ除去技術を適用するＦＤ（Ｆｅａｔｕｒｅ Ｄｅｎｏｉｓｉｎｇ）を提案した技術、チャンネルの観点で摂動が特徴の活性化に及ぼす影響を研究して強靭でないチャンネルの活性化を非活性化するために、それぞれチャンネル活性化抑制（Ｃｈａｎｎｅｌ Ａｃｔｉｖａｔｉｏｎ Ｓｕｐｐｒｅｓｓｉｏｎ：ＣＡＳ）とチャンネル別重要度基盤の特徴選択（Ｃｈａｎｎｅｌ－ｗｉｓｅ Ｉｍｐｏｒｔａｎｃｅ－ｂａｓｅｄ Ｆｅａｔｕｒｅ Ｓｅｌｅｃｔｉｏｎ：ＣＩＦＳ）を提案した技術などがある。

【0034】

このような方法とは対照的に、本発明の実施形態では、再調整戦略を提案する。既存の非活性化戦略では、モデルの失敗の原因である、強靭でない特徴の活性化を破棄するだけだった。本発明の実施形態では、潜在的に差別的な信号を再び捉え、モデルのロバスト性を高めるためにこのような活性化を調節する。

【0035】

特徴分離と再調整方法
敵対的攻撃の際に歪んだ特徴の活性化がモデル予測エラーの原因となることが知られているが、ＦＳＲモジュールは、調整によってモデル予測に有用となる信号を再び捉え、潜在的に有用な信号を十分に活用することができる。

【0036】

図２は、本発明の一実施形態における、ＦＳＲモジュールの例を示した図である。分離段階で、ＦＳＲモジュールは、強靭でない活性化または強靭な活性化をそれぞれマスキングすることで、特徴マップを強靭な特徴と強靭でない特徴に分離する。この後、再調整段階で、ＦＳＲモジュールは、強靭でない特徴の活性化を再調整して正しいモデル予測に有用となる情報を提供する。図２に示すように、ＦＳＲモジュールは、その単純性により、モデルのすべての階層に挿入することができ、ロバスト性を高めることができる。

【0037】

特徴分離
強靭でない活性化を非活性化して特徴マップを強靭にする近年の接近方式に比べて、ＦＳＲモジュールは、モデルの予測に潜在的に有用となるきっかけを復元するために再調整を行う。このために、分離段階で、ＦＳＲモジュールは、入力された中間特徴マップから、再調整する強靭でない活性化を抽出してよい。どの活性化が強靭であるか強靭でないかを判断するために、各特徴ユニットのロバスト性を学習する分離ネットワークＳを活用してよい。中間特徴マップ

が入力として与えられると、Ｃ、Ｈ、Ｗはそれぞれ、ｆのチャンネル、高さ、幅の次元を示す。分離ネットワークは、該当となるｆ単位のロバスト性スコアを示すロバスト性マップ

を出力し、スコアが高いほど強靭である特徴の活性化を意味する。

【0038】

強靭でない特徴を抽出するために、ＦＳＲモジュールは、ロバスト性スコアに基づいて、強靭な特徴と強靭でない特徴に基づいて特徴マップを要素ごとに分離してよい。例えば、ロバスト性スコアに基づいて生成されたバイナリマスク

を特徴マップに適用してよい。しかし、このような離散サンプリングは区別することができず不連続的であるため、誤ったロバスト性の感覚を与えることがある。

【0039】

このような問題を防ぐために、本発明の一実施形態では、ガムベルソフトマックス（Ｇｕｍｂｅｌ ｓｏｆｔｍａｘ）を使用して、以下の数式（２）のように、差別可能なソフトマスク

を有するバイナリマスクｂを近似化してよい。

【0040】

【数2】

・・・（２）

【0041】

ここで、ｒはロバスト性マップを、σはロバスト性マップを正規化するために使用されるシグモイド関数である。ｇ_１とｇ_２は、ｇ＝－ｌｏｇ（－ｌｏｇ（ｕ））のようなガンベル分布から抽出されたサンプルを示している。ここで、ｕ～Ｕｎｉｆｏｒｍ（０，１）とτは、ｇ_１とｇ_２の効果を制御するために使用される温度である。推論中にｇ_１とｇ_２のサンプリングで確率性を避けるために－ｌｏｇ（（－ｌｏｇ（ｕ_ｃ））で固定するが、

はＵｎｉｆｏｒｍ分布の予想値である。正規化されたロバスト性マップと反転されたバージョン間の２クラスのガンベルソフトマックスを計算し、高いロバスト性スコアの場合には１に近い値を有するマスクｍを取得し、低いロバスト性スコアの場合には０に近い値を取得する。次に、入力特徴ｆから強靭でない活性化をマスキングし、強靭な特徴ｆ^＋を得るために

となるように特徴ｆと正のマスクｍ^＋＝ｍの間の各要素の積を計算する。同じように、負のマスクｍ^－＝１－ｍで強靭な活性化をマスキングすることで、強靭でない特徴

を取得することができる。

【0042】

しかし、指針がなければ、分離ネットワークは、各活性化に対する正しいロバスト性スコアを学習することができない。このために、本実施形態では、特徴活性化が正確であるか誤った予測をするモデルに及ぼす影響に基づいてロバスト性スコアを学習するように分離ネットワークをガイドする目標を設計する。本実施形態では、２つの特徴ｆ^＋とｆ^－それぞれを入力として使用し、予測スコアｐ^＋とｐ^－を出力するＭＬＰ（Ｍｕｌｔｉ－Ｌａｙｅｒ Ｐｅｒｃｅｐｔｒｏｎ（ＭＬＰ）基盤の補助階層ｈを利用しながら、次の数式（３）のように分離損失Ｌ_ｓｅｐを計算してよい。

【0043】

【数3】

・・・（３）

【0044】

ここで、Ｎはクラス数、ｙはグラウンドトゥルースラベル、ｙ’はモデルの最終出力から誤って予測されたクラスのうちで最も高い予測スコアを受けたクラスに該当するラベルをそれぞれ意味する。Ｌ_ｓｅｐは、補助階層が正のマスクｍ^＋で保存された活性化に基づいて正しい予測を行うように訓練することによって、補助階層が正しい予測をするようにサポートするユニットに高いロバスト性スコアを割り当てるように分離ネットワークをガイドする。これと同時に、敵対的攻撃の際にモデルが誤った予測を行うようにする、極めて破壊的な活性化を分離することを目標とする。また、Ｌ_ｓｅｐは、最も可能性のある誤った予測を特別に担当する強靭でない活性化に低いロバスト性スコアを割り当てるように分離ネットワークをガイドする。

【0045】

Ｌ_ｓｅｐを使用すると、分離ネットワークは、強靭な特徴の活性化と強靭でない特徴の活性化を効果的に分離することができる。強靭でない活性化を破棄することは特徴ロバスト性を高めるための方法ではあるが、この接近方式は、再調整によって再び捉えられるようになる潜在的に有用な信号を無視する。以下では、分離された強靭でない活性化を再調整して、特徴ロバスト性を高めるための追加の有用な信号を捉える方法について説明する。

【0046】

特徴再調整
近年の技法と同じように、分離段階で得られた強靭な特徴だけを活用すれば、モデルのロバスト性をさらに高めることのできる、モデル予測に潜在的に有用な信号が失われることがある。したがって、最初の再調整段階では、追加の有用な信号を捉えるために強靭でない特徴の活性化を調整する。先ず、強靭でない特徴ｆ^－を入力として使用し、これによってｆ^－の活性化を調整するように設計された再調整ユニットを出力する再調整ネットワークＲを使用する。ロバスト性マップで指定した強靭でない活性化を再調整するために、ＦＳＲモジュールは、負のマスクｍ^－を再調整ユニットに適用してよい。最後に、ＦＳＲモジュールは、結果をｆ^－、すなわち、

に追加して再調整された特徴

を計算してよい。

【0047】

再調整段階の目標は、モデルが正しい判断を下せるようにサポートする、強靭でない活性化が信号を再び捉えるようにすることにある。この目標を達成するために、再調整された特徴

の次に補助階層を再び付着して、以下の数式（４）に示すように再調整損失Ｌ_ｒｅｃを計算してよい。

【0048】

【数4】

・・・（４）

【0049】

ここで、

は、入力として

が与えられた補助階層の出力予測スコアを示している。本実施形態では、再調整された特徴に基づいて正しい判断を下すことができるように、同一の補助階層を訓練し、再調整されたネットワークがグラウンドトゥルースクラスと関連する信号を提供するように強靭でない活性化を調整するようにガイドしてよい。再調整段階の後、ＦＳＲモジュールは、強靭な特徴ｆ^＋と再調整された強靭でない特性

を各要素の方式によって追加して出力特徴マップ

を得るようになるが、これはモデルの後続する階層に伝達される。再調整段階によって、従来の接近方式では無視されていた強靭でない活性化から、有用な信号を捉えることができるようになる。

【0050】

モデル学習
提案されたＦＳＲモジュールは、モデルのすべての階層に容易に挿入することができ、この単純性により、全体モデルとエンドツーエンド方式で訓練することができる。また、多様なタイプの敵対的学習に対して分類損失Ｌ_ｃｌｓとともに提案された方法を適用することができる。全体の目的関数は、以下の数式（５）のように示されてよい。

【0051】

【数5】

・・・（５）

【0052】

ここで、ＬはＦＳＲモジュールが挿入される位置の集合を示しており、Ｌ_ｓｅｐとＬ_ｒｅｃはそれぞれ、最初の階層でＦＳＲモジュールに適用される分離損失と再調整損失を示している。ハイパーパラメータλ_ｓｅｐとλ_ｒｅｃはそれぞれ、Ｌ_ｓｅｐとＬ_ｒｅｃの加重値を制御するために使用される。このような簡単なＦＳＲモジュールを追加すれば、計算オーバーヘッドによってホワイトボックス攻撃とブラックボックス攻撃の両方に対する敵対的学習方法のロバスト性を高めることができる。

【0053】

本発明の実施形態に係る特徴分離および再調整システムは、少なくとも１つのコンピュータ装置によって実現されてよく、本発明の実施形態に係る特徴分離および再調整方法は、特徴分離および再調整システムに含まれる少なくとも１つのコンピュータ装置によって実行されてよい。コンピュータ装置においては、本発明の一実施形態に係るコンピュータプログラムがインストールされて実行されてよく、コンピュータ装置は、実行されたコンピュータプログラムの制御にしたがって本発明の実施形態に係る特徴分離および再調整方法を実行してよい。上述したコンピュータプログラムは、コンピュータ装置と結合してコンピュータ装置に特徴分離および再調整方法を実行させるためにコンピュータ読み取り可能な記録媒体に記録されてよい。

【0054】

図３は、本発明の一実施形態における、コンピュータ装置の一例を示したブロック図である。コンピュータ装置（Ｃｏｍｐｕｔｅｒ ｄｅｖｉｃｅ）３００は、図３に示すように、メモリ（Ｍｅｍｏｒｙ）３１０、プロセッサ（Ｐｒｏｃｅｓｓｏｒ）３２０、通信インタフェース（Ｃｏｍｍｕｎｉｃａｔｉｏｎ ｉｎｔｅｒｆａｃｅ）３３０、および入力／出力インタフェース（Ｉ／Ｏ ｉｎｔｅｒｆａｃｅ）３４０を含んでよい。メモリ３１０は、コンピュータ読み取り可能な記録媒体であって、ＲＡＭ（ｒａｎｄｏｍ ａｃｃｅｓｓ ｍｅｍｏｒｙ）、ＲＯＭ（ｒｅａｄ ｏｎｌｙ ｍｅｍｏｒｙ）、およびディスクドライブのような永続的大容量記録装置（ｐｅｒｍａｎｅｎｔ ｍａｓｓ ｓｔｏｒａｇｅ ｄｅｖｉｃｅ）を含んでよい。ここで、ＲＯＭやディスクドライブのような永続的大容量記録装置は、メモリ３１０とは区分される別の永続的記録装置としてコンピュータ装置３００に含まれてもよい。また、メモリ３１０には、オペレーティングシステムと、少なくとも１つのプログラムコードが記録されてよい。このようなソフトウェア構成要素は、メモリ３１０とは別のコンピュータ読み取り可能な記録媒体からメモリ３１０にロードされてよい。このような別のコンピュータ読み取り可能な記録媒体は、フロッピー（登録商標）ドライブ、ディスク、テープ、ＤＶＤ／ＣＤ－ＲＯＭドライブ、メモリカードなどのコンピュータ読み取り可能な記録媒体を含んでよい。他の実施形態において、ソフトウェア構成要素は、コンピュータ読み取り可能な記録媒体ではない通信インタフェース３３０を通じてメモリ３１０にロードされてもよい。例えば、ソフトウェア構成要素は、ネットワーク（Ｎｅｔｗｏｒｋ）３６０を介して受信されるファイルによってインストールされるコンピュータプログラムに基づいてコンピュータ装置３００のメモリ３１０にロードされてよい。

【0055】

プロセッサ３２０は、基本的な算術、ロジック、および入出力演算を実行することにより、コンピュータプログラムの命令を処理するように構成されてよい。命令は、メモリ３１０または通信インタフェース３３０によって、プロセッサ３２０に提供されてよい。例えば、プロセッサ３２０は、メモリ３１０のような記録装置に記録されたプログラムコードにしたがって受信される命令を実行するように構成されてよい。

【0056】

通信インタフェース３３０は、ネットワーク３６０を介してコンピュータ装置３００が他の装置と互いに通信するための機能を提供してよい。一例として、コンピュータ装置３００のプロセッサ３２０がメモリ３１０のような記録装置に記録されたプログラムコードにしたがって生成した要求や命令、データ、ファイルなどが、通信インタフェース３３０の制御にしたがってネットワーク３６０を介して他の装置に伝達されてよい。これとは逆に、他の装置からの信号や命令、データ、ファイルなどが、ネットワーク３６０を経てコンピュータ装置３００の通信インタフェース３３０を通じてコンピュータ装置３００に受信されてよい。通信インタフェース３３０を通じて受信された信号や命令、データなどは、プロセッサ３２０やメモリ３１０に伝達されてよく、ファイルなどは、コンピュータ装置３００がさらに含むことのできる記録媒体（上述した永続的記録装置）に記録されてよい。

【0057】

入力／出力インタフェース３４０は、入力／出力装置（Ｉ／Ｏ ｄｅｖｉｃｅ）３５０とのインタフェースのための手段であってよい。例えば、入力装置は、マイク、キーボード、またはマウスなどの装置を、出力装置は、ディスプレイ、スピーカのような装置を含んでよい。他の例として、入力／出力インタフェース３４０は、タッチスクリーンのように入力と出力のための機能が１つに統合された装置とのインタフェースのための手段であってもよい。入力／出力装置３５０は、コンピュータ装置３００と１つの装置で構成されてもよい。

【0058】

また、他の実施形態において、コンピュータ装置３００は、図３の構成要素よりも少ないか多くの構成要素を含んでもよい。しかし、大部分の従来技術的構成要素を明確に図に示す必要はない。例えば、コンピュータ装置３００は、上述した入力／出力装置３５０のうちの少なくとも一部を含むように実現されてもよいし、トランシーバ、データベースなどのような他の構成要素をさらに含んでもよい。

【0059】

図４は、本発明の一実施形態における、特徴分離および再調整方法の一例を示したフローチャートである。本実施形態に係る特徴分離および再調整方法は、図３を参照しながら説明したコンピュータ装置３００によって実行されてよい。このとき、コンピュータ装置３００のプロセッサ３２０は、メモリ３１０が含むオペレーティングシステムのコードと、少なくとも１つのコンピュータプログラムのコードとによる制御命令（ｉｎｓｔｒｕｃｔｉｏｎ）を実行するように実現されてよい。ここで、プロセッサ３２０は、コンピュータ装置３００に記録されたコードが提供する制御命令にしたがってコンピュータ装置３００が図４の方法に含まれる段階４１０～４４０を実行するようにコンピュータ装置３００を制御してよい。

【0060】

段階４１０で、コンピュータ装置３００は、入力特徴マップを、ロバスト性スコアに基づいて、強靭な特徴として定義される第１特徴と強靭でない特徴として定義される第２特徴に分離してよい。一例として、コンピュータ装置３００は、先ず、特徴のロバスト性を学習し、特徴マップ単位のロバスト性スコアを示すロバスト性マップを出力するように学習された分離ネットワークを介して前記入力特徴マップのロバスト性マップを生成してよい。分離ネットワークは、第１特徴および第２特徴それぞれを入力として使用して、第１特徴に対する第１特徴スコアおよび第２特徴に対する第２特徴スコアを出力するように学習されたＭＬＰ基盤の補助階層を含んでよい。このとき、補助階層は、分離損失に基づいて、分離ネットワークが、以下で説明するバイナリマスクのうちの正のマスクで保存された活性化に基づいて、第１特徴に相対的に高いロバスト性スコアを割り当てるようにガイドしてよい。ここで、分離損失は、第１特徴スコア、第２特徴スコア、グラウンドトゥルースラベル、およびモデルの最終出力で誤って予測されたクラスのうちで最も高い予測スコアを受けたクラスに該当するラベルに基づいて計算されてよい。一例として、分離損失は、上述した数式（３）のように計算されてよい。また、コンピュータ装置３００は、ロバスト性マップに基づいてバイナリマスクを生成してよい。このとき、コンピュータ装置３００は、ガンベルソフトマックスを使用して、差別が可能なソフトマスクを有するバイナリマスクを生成してよい。ソフトマスクは、数式（２）を参照しながら説明したとおりである。また、コンピュータ装置３００は、バイナリマスクを入力特徴マップに適用して第１特徴および第２特徴を分離してよい。このとき、コンピュータ装置３００は、入力特徴マップとバイナリマスクのうちの正のマスク間の要素ごとの積を計算して第１特徴を取得し、入力特徴マップとバイナリマスクのうちの負のマスク間の要素ごとの積を計算して第２特徴を取得してよい。

【0061】

段階４２０で、コンピュータ装置３００は、第２特徴の活性化を再調整して再調整された特徴を生成してよい。例えば、コンピュータ装置３００は、特徴の入力を受けると、特徴の活性化を調整するように学習された再調整ネットワークを介して第２特徴の活性化を調整して再調整ユニットを生成してよい。ここで、再調整ネットワークは、第２特徴の入力を受けて出力予測スコアを出力する補助階層を含んでよく、補助階層は、再調整損失に基づいて、再調整ネットワークがグラウンドトゥルーラベルと関連する信号を提供するように第２特徴の活性化を調節するようにガイドしてよい。このとき、再調整損失は、前記グラウンドトゥルーラベルおよび前記出力予測スコアに基づいて計算されてよい。再調整損失を計算する例は、数式（４）を参照しながら説明したとおりである。また、コンピュータ装置３００は、入力特徴マップのロバスト性マップに基づいて生成されたバイナリマスクのうちの負のマスクを再調整ユニットに適用してよく、負のマスクが適用された再調整ユニットと第２特徴を組み合わせて再調整された特徴を計算（

）してよい。

【0062】

段階４３０で、コンピュータ装置３００は、第１特徴と再調整された特徴を組み合わせて出力特徴マップを生成してよい。上述では、強靭な特徴として定義された第１特徴であるｆ^＋と再調整された強靭でない特徴である

を結合することで出力特徴マップ

が得られることについて説明した。

【0063】

このように、本発明の実施形態によると、敵対的ロバスト性のための特徴分離および再調整方法およびシステムを提供することができる。本発明の特徴分離および再調整方法およびシステムは、ＣＩＦＡＲ－１０とＳＶＨＮデータセットにおいて敵対的サンプルに対する堅牢性を高めた。この性能向上は、以下の表１から確認することができる。表１は、多様な敵対的攻撃（ＦＧＳＭ、ＰＧＤ－２０、ＰＧＤ－１００、Ｃ＆Ｗ、Ｅｎｓｅｍｂｌｅ）に対する各防御技法（１列目）の分類正確度（％）を示している。

【0064】

【表1】

【0065】

ＡＴ、ＴＲＡＤＥＳ、ＭＡＲＴなどの多様な敵対的学習技法に適用するとき、特徴分離および再調整方法およびシステムは、多様な敵対的攻撃に対して堅牢性が高まることを確認することができる。

【0066】

敵対的防御の研究は、ディープニューラルネットワークのような機械学習モデルが敵対的サンプルに対して堅牢に作動するように保護する技術と方法を研究する分野である。このような研究は多様な分野において重要な影響を与えており、次のような効果をもたらしている。

【0067】

１．モデルのロバスト性の向上：敵対的防御の研究は、モデルが敵対的攻撃に対してより堅牢に作動するように改善する方法を開発するものである。これにより、モデルが一般的なデータと敵対的サンプルの両方に対してより優れた性能を発揮するようになり、信頼性のあるモデルを作成することができる。

【0068】

２．保安の脆弱性の緩和：敵対的防御の研究は、モデルの脆弱性を把握して補完するようにサポートする。悪意的なユーザがモデルを攻撃するために作り出した敵対的サンプルに対して、堅牢性のあるＡＩモデルを構築することができる。

【0069】

３．現実世界への応用に有用なＡＩモデル：敵対的防御の研究は、現実世界の敵対的環境でも高い性能を発揮するＡＩモデルの開発をサポートする。特に、保安に対する要件事項が高い分野では、敵対的防御が重要な役割を果たすようになる。

【0070】

上述したシステムまたは装置は、ハードウェア構成要素、またはハードウェア構成要素とソフトウェア構成要素との組み合わせによって実現されてよい。例えば、実施形態で説明された装置および構成要素は、例えば、プロセッサ、コントローラ、ＡＬＵ（ａｒｉｔｈｍｅｔｉｃ ｌｏｇｉｃ ｕｎｉｔ）、デジタル信号プロセッサ、マイクロコンピュータ、ＦＰＧＡ（ｆｉｅｌｄ ｐｒｏｇｒａｍｍａｂｌｅ ｇａｔｅ ａｒｒａｙ）、ＰＬＵ（ｐｒｏｇｒａｍｍａｂｌｅ ｌｏｇｉｃ ｕｎｉｔ）、マイクロプロセッサ、または命令を実行して応答することができる様々な装置のように、１つ以上の汎用コンピュータまたは特殊目的コンピュータを利用して実現されてよい。処理装置は、オペレーティングシステム（ＯＳ）およびＯＳ上で実行される１つ以上のソフトウェアアプリケーションを実行してよい。また、処理装置は、ソフトウェアの実行に応答し、データにアクセスし、データを記録、操作、処理、および生成してもよい。理解の便宜のために、１つの処理装置が使用されるとして説明される場合もあるが、当業者であれば、処理装置が複数個の処理要素および／または複数種類の処理要素を含んでもよいことが理解できるであろう。例えば、処理装置は、複数個のプロセッサまたは１つのプロセッサおよび１つのコントローラを含んでよい。また、並列プロセッサのような、他の処理構成も可能である。

【0071】

ソフトウェアは、コンピュータプログラム、コード、命令、またはこれらのうちの１つ以上の組み合わせを含んでもよく、思うままに動作するように処理装置を構成したり、独立的または集合的に処理装置に命令したりしてよい。ソフトウェアおよび／またはデータは、処理装置に基づいて解釈されたり、処理装置に命令またはデータを提供したりするために、いかなる種類の機械、コンポーネント、物理装置、仮想装置（ｖｉｒｔｕａｌ ｅｑｕｉｐｍｅｎｔ）、コンピュータ記録媒体または装置に具現化されてよい。ソフトウェアは、ネットワークによって接続されたコンピュータシステム上に分散され、分散された状態で記録されても実行されてもよい。ソフトウェアおよびデータは、１つ以上のコンピュータ読み取り可能な記録媒体に記録されてよい。

【0072】

実施形態に係る方法は、多様なコンピュータ手段によって実行可能なプログラム命令の形態で実現されてコンピュータ読み取り可能な媒体に記録されてよい。前記コンピュータ読み取り可能な媒体は、プログラム命令、データファイル、データ構造などを単独でまたは組み合わせて含んでよい。媒体は、コンピュータで実行可能なプログラムを継続して記録するものであっても、実行またはダウンロードのために一時的に記録するものであってもよい。また、媒体は、単一または複数のハードウェアが結合した形態の多様な記録手段または格納手段であってよく、あるコンピュータシステムに直接接続する媒体はもちろん、ネットワーク上に分散して存在するものであってもよい。媒体の例としては、ハードディスク、フロッピー（登録商標）ディスク、および磁気テープのような磁気媒体、ＣＤ－ＲＯＭ、ＤＶＤのような光媒体、フロプティカルディスク（ｆｌｏｐｔｉｃａｌ ｄｉｓｋ）のような光磁気媒体、およびＲＯＭ、ＲＡＭ、フラッシュメモリなどのようなプログラム命令が記録されるように構成されたものであってよい。また、他の媒体の例として、アプリケーションを流通するアプリストアや、その他の多様なソフトウェアを供給したり流通したりするサイト、サーバなどで管理する記録媒体や格納媒体も含まれる。プログラム命令の例としては、コンパイラによって生成されるもののような機械語コードだけではなく、インタプリタなどを使用してコンピュータによって実行される高級言語コードを含む。

【0073】

以上のように、実施形態を、限定された実施形態および図面に基づいて説明したが、当業者であれば、上述した記載から多様な修正および変形が可能であろう。例えば、説明された技術が、説明された方法とは異なる順序で実行されたり、かつ／あるいは、説明されたシステム、構造、装置、回路などの構成要素が、説明された方法とは異なる形態で結合されたりまたは組み合わされたり、他の構成要素または均等物によって対置されたり置換されたとしても、適切な結果を達成することができる。

【0074】

したがって、異なる実施形態であっても、特許請求の範囲と均等なものであれば、添付の特許請求の範囲に属する。

【符号の説明】

【0075】

３００：コンピュータ装置
３１０：メモリ
３２０：プロセッサ
３３０：通信インタフェース
３４０：入力／出力インタフェース
３５０：入力／出力装置
３６０：ネットワーク

【図1】

【図2】

【図3】

【図4】