(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2024-09-30
(45)【発行日】2024-10-08
(54)【発明の名称】敵対的データ検知装置及び敵対的データ検知方法
(51)【国際特許分類】
G06F 21/57 20130101AFI20241001BHJP
G06N 3/094 20230101ALN20241001BHJP
【ＦＩ】
G06F21/57 370
G06N3/094
【請求項の数】
12
(21)【出願番号】P 2021165477
(22)【出願日】2021-10-07
(65)【公開番号】P2023056241
(43)【公開日】2023-04-19
【審査請求日】2024-03-18
(73)【特許権者】
【識別番号】000005108
【氏名又は名称】株式会社日立製作所
(74)【代理人】
【識別番号】110001678
【氏名又は名称】藤央弁理士法人
(72)【発明者】
【氏名】山本 恭平
(72)【発明者】
【氏名】吉野 雅之
(72)【発明者】
【氏名】横張 由美子
(72)【発明者】
【氏名】川名 のん
【審査官】宮司 卓佳
(56)【参考文献】
【文献】国際公開第２０２１／１６１４２３（ＷＯ，Ａ１）
【文献】国際公開第２０２１／１３１０２９（ＷＯ，Ａ１）
【文献】ROTH,K et al.，The Odds are Odd:A Statistical Test for Detecting Adversarial Examples，Proceedings of the 36th International Conference on Machine Learning[online]，2019年，http://proceedings.mlr.press/v97/roth19a/roth19a.pdf
(58)【調査した分野】(Int.Cl.，ＤＢ名)
Ｇ０６Ｆ ２１／５７
Ｇ０６Ｎ ３／０９４
(57)【特許請求の範囲】
【請求項1】
敵対的データ検知装置であって、プロセッサとメモリとを有し、
前記メモリは、評価対象データと、データが入力されると評価値を出力するモデルと、を保持し、
前記プロセッサは、
前記評価対象データを前記モデルに入力して、前記評価対象データの評価値を算出し、
前記評価対象データに異なるノイズを付加して、複数の拡張評価対象データを生成し、
前記複数の拡張評価対象データに基づいて、第１の判定処理を実行し、
前記第１の判定処理において、
前記複数の拡張評価対象データそれぞれに対して、当該拡張評価対象データの評価値が、前記評価対象データの評価値と一致しないようになるまで、ノイズを加えて当該拡張評価対象データを更新し、
更新後の拡張評価対象データそれぞれの評価値の偏りに基づいて、前記評価対象データが敵対的データであるかを判定する、敵対的データ検知装置。
【請求項2】
請求項１に記載の敵対的データ検知装置であって、前記プロセッサは、前記複数の拡張評価対象データの個数に占める前記更新後の拡張評価対象データそれぞれの評価値の最頻値の度数が所定の閾値より大きい場合、前記評価対象データが敵対的データであると判定する、敵対的データ検知装置。
【請求項3】
請求項１に記載の敵対的データ検知装置であって、前記プロセッサは、
前記複数の拡張評価対象データそれぞれを前記モデルに入力して、前記複数の拡張評価対象データそれぞれの評価値を算出し、
前記複数の拡張評価対象データそれぞれの評価値と、前記評価対象データの評価値と、が一致する割合に基づいて、前記評価対象データが敵対的データでない可能性があるかを判定する第２の判定処理を実行し、
前記評価対象データが敵対的データでない可能性があると判定した場合、前記第１の判定処理を実行する、敵対的データ検知装置。
【請求項4】
請求項３に記載の敵対的データ検知装置であって、前記プロセッサは、前記複数の拡張評価対象データそれぞれの評価値と、前記評価対象データの評価値と、が一致する割合が所定の閾値より小さいときに、前記評価対象データが敵対的データでない可能性があると判定する、敵対的データ検知装置。
【請求項5】
請求項１に記載の敵対的データ検知装置であって、前記複数の拡張評価対象データの生成において付加されるノイズ、及び前記複数の拡張評価対象データの更新において付加されるノイズは、所定の確率分布に従うノイズ、及び評価値を操作するために生成されたノイズの少なくとも１つを含む、敵対的データ検知装置。
【請求項6】
請求項１に記載の敵対的データ検知装置であって、前記モデルは、深層学習により生成された学習済みモデル、又は深層学習が行われる際に訓練データに対しリサイズ及びパディングの少なくとも１つを含む処理を施したデータを学習させて得られた学習済みモデルである、敵対的データ検知装置。
【請求項7】
敵対的データ検知装置による敵対的データ検知方法であって、前記敵対的データ検知装置は、プロセッサとメモリとを有し、
前記メモリは、評価対象データと、データが入力されると評価値を出力するモデルと、を保持し、
前記敵対的データ検知方法は、
前記プロセッサが、前記評価対象データを前記モデルに入力して、前記評価対象データの評価値を算出し、
前記プロセッサが、前記評価対象データに異なるノイズを付加して、複数の拡張評価対象データを生成し、
前記プロセッサが、前記複数の拡張評価対象データに基づいて、第１の判定処理を実行し、
前記第１の判定処理において、
前記プロセッサが、前記複数の拡張評価対象データそれぞれに対して、当該拡張評価対象データの評価値が、前記評価対象データの評価値と一致しないようになるまで、ノイズを加えて当該拡張評価対象データを更新し、
前記プロセッサが、更新後の拡張評価対象データそれぞれの評価値の偏りに基づいて、前記評価対象データが敵対的データであるかを判定する、敵対的データ検知方法。
【請求項8】
請求項７に記載の敵対的データ検知方法であって、前記プロセッサが、前記複数の拡張評価対象データの個数に占める前記更新後の拡張評価対象データそれぞれの評価値の最頻値の度数が所定の閾値より大きい場合、前記評価対象データが敵対的データであると判定する、敵対的データ検知方法。
【請求項9】
請求項７に記載の敵対的データ検知方法であって、前記プロセッサが、前記複数の拡張評価対象データそれぞれを前記モデルに入力して、前記複数の拡張評価対象データそれぞれの評価値を算出し、
前記プロセッサが、前記複数の拡張評価対象データそれぞれの評価値と、前記評価対象データの評価値と、が一致する割合に基づいて、前記評価対象データが敵対的データでない可能性があるかを判定する第２の判定処理を実行し、
前記プロセッサが、前記評価対象データが敵対的データでない可能性があると判定した場合、前記第１の判定処理を実行する、敵対的データ検知方法。
【請求項10】
請求項９に記載の敵対的データ検知方法であって、前記プロセッサが、前記複数の拡張評価対象データそれぞれの評価値と、前記評価対象データの評価値と、が一致する割合が所定の閾値より小さいときに、前記評価対象データが敵対的データでない可能性があると判定する、敵対的データ検知方法。
【請求項11】
請求項７に記載の敵対的データ検知方法であって、前記複数の拡張評価対象データの生成において付加されるノイズ、及び前記複数の拡張評価対象データの更新において付加されるノイズは、所定の確率分布に従うノイズ、及び評価値を操作するために生成されたノイズの少なくとも１つを含む、敵対的データ検知方法。
【請求項12】
請求項７に記載の敵対的データ検知方法であって、前記モデルは、深層学習により生成された学習済みモデル、又は深層学習が行われる際に訓練データに対しリサイズ及びパディングの少なくとも１つを含む処理を施したデータを学習させて得られた学習済みモデルである、敵対的データ検知方法。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、敵対的データ検知装置及び敵対的データ検知方法に関する。
【背景技術】
【0002】
金融、医療、及び製造などの様々な分野でＡＩ（Ａｒｔｉｆｉｃｉａｌ Ｉｎｔｅｌｌｉｇｅｎｃｅ）の普及が進み、ＡＩが機微情報を扱う場面が増加している。一方、ＡＩに特有の脆弱性をついた攻撃が報告されている。
【0003】
ＡＩ特有の脆弱性をついた攻撃の一例として、人が気づかない程の微小のノイズがデータに加えられ、ＡＩに誤判定を引き起こさせるＡＥ（Ａｄｖｅｒｓａｒｉａｌ Ｅｘａｍｐｌｅ）攻撃がある。以下では、微小のノイズが加えられたデータを敵対的（Ａｄｖｅｒｓａｒｉａｌ）データ、敵対的データをＡＩへ投じることをＡＥ攻撃とも呼ぶ。
【0004】
ＡＥ攻撃への対策として、敵対的データを生成するまでの過程や敵対的データの持つ特徴を捉えることでＡＥ攻撃を検知する技術が提案されている。ＡＥ攻撃を検知する背景技術として、非特許文献１がある。非特許文献１に記載の技術は、入力データにランダムな微小ノイズを加えた際の、出力結果の変化を利用してＡＥ攻撃を検知する。
【先行技術文献】
【非特許文献】
【0005】
【文献】Ｊｉｎｇｙｉ Ｗａｎｇ，外３名， “Ｄｅｔｅｃｔｉｎｇ Ａｄｖｅｒｓａｒｉａｌ Ｓａｍｐｌｅｓ ｆｏｒ Ｄｅｅｐ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋｓ ｔｈｒｏｕｇｈ Ｍｕｔａｔｉｏｎ Ｔｅｓｔｉｎｇ．”， ［ｏｎｌｉｎｅ］， ＮＩＰＳ ２０１８年５月，［令和３年３月２６日検索］，インターネット<https://arxiv.org/pdf/1805.05010.pdf>
【発明の概要】
【発明が解決しようとする課題】
【0006】
非特許文献１のＡＥ攻撃を検知する技術は、攻撃者が敵対的データの検知手法についての情報を知っている状況下では、安全性が十分でなく、攻撃者は非特許文献１に記載の検知をすり抜ける敵対的データを意図的に生成できる。そこで、本発明の一態様は、攻撃者が敵対的データの検知手法についての情報を知っている状況下においても高精度に敵対的データを検知して、ひいては安全性を保つ。
【課題を解決するための手段】
【0007】
上記課題を解決するために、本発明の一態様は以下の構成を採用する。敵対的データ検知装置は、プロセッサとメモリとを有し、前記メモリは、評価対象データと、データが入力されると評価値を出力するモデルと、を保持し、前記プロセッサは、前記評価対象データを前記モデルに入力して、前記評価対象データの評価値を算出し、前記評価対象データに異なるノイズを付加して、複数の拡張評価対象データを生成し、前記複数の拡張評価対象データに基づいて、第１の判定処理を実行し、前記第１の判定処理において、前記複数の拡張評価対象データそれぞれに対して、当該拡張評価対象データの評価値が、前記評価対象データの評価値と一致しないようになるまで、ノイズを加えて当該拡張評価対象データを更新し、更新後の拡張評価対象データそれぞれの評価値の偏りに基づいて、前記評価対象データが敵対的データであるかを判定する。
【発明の効果】
【0008】
本発明の一態様によれば、攻攻撃者が敵対的データの検知手法についての情報を知っている状況下においても高精度に敵対的データを検知することができ、ひいては安全性を保つことができる。
【0009】
上記した以外の課題、構成及び効果は、以下の実施形態の説明により明らかにされる。
【図面の簡単な説明】
【0010】
【図1】実施例１における敵対的データ検知システムの構成例を示すブロック図である。
【図2】実施例１におけるノイズ付加サーバのハードウェア構成例を示すブロック図である。
【図3】実施例１における評価サーバのハードウェア構成例を示すブロック図である。
【図4】実施例１における検知サーバのハードウェア構成例を示すブロック図である。
【図5】実施例１におけるデータ送信端末のハードウェア構成例を示すブロック図である。
【図6】実施例１における敵対的データ検知処理の一例を示すシーケンス図である。
【図7】実施例１における拡張評価対象データ更新処理の一例を示すフローチャートである。
【図8】実施例１における敵対的データ判定処理の一例を示すフローチャートである。
【図9】実施例１における敵対的データ検知処理の概要の一例を示す説明図である。
【図10】実施例２における敵対的データ検知処理の一例を示すシーケンス図である。
【図11】実施例２における敵対的データ判定処理の一例を示すフローチャートである。
【図12】実施例３における敵対的データ検知システムの入出力データの一例を示す説明図である。
【発明を実施するための形態】
【0011】
以下、添付図面を参照して本発明の実施形態を説明する。本実施形態において、同一の構成には原則として同一の符号を付け、繰り返しの説明は省略する。なお、本実施形態は本発明を実現するための一例に過ぎず、本発明の技術的範囲を限定するものではないことに注意すべきである。本実施形態は、データ送信者から受信したデータが、ＡＥ（Ａｄｖｅｒｓａｒｉａｌ Ｅｘａｍｐｌｅ）攻撃により生成されたデータであるか否かを判定し、判定結果に応じてデータ受信者に処理結果を送信するシステムを説明する。
【実施例1】
【0012】
図１は、敵対的データ検知システムの構成例を示すブロック図である。敵対的データ検知システムは、例えば、評価対象データを保持するデータ送信端末４００、評価対象データにノイズを付加するノイズ付加サーバ１００、評価対象データに対する評価値を計算する評価サーバ２００、評価対象データがＡＥ攻撃を受けたデータであるかを判定する検知サーバ３００、及び評価対象データに対する評価値を受信するデータ受信端末５００を含む。
【0013】
データ送信端末４００、ノイズ付加サーバ１００、評価サーバ２００、検知サーバ３００、及びデータ受信端末５００の詳細な構成については後述する。データ送信端末４００とノイズ付加サーバ１００と評価サーバ２００と検知サーバ３００とデータ受信端末５００は、インターネット等のネットワーク６００を介して相互に情報を送受信する。
【0014】
なお、敵対的データ検知システムに含まれる装置の一部又は全部が一体化していてもよい。例えば、ノイズ付加サーバ１００、評価サーバ２００、及び検知サーバ３００の少なくとも一部が一体化していてもよいし、データ送信端末４００とデータ受信端末５００とが一体化していてもよい。
【0015】
図２は、ノイズ付加サーバ１００のハードウェア構成例を示すブロック図である。ノイズ付加サーバ１００は、例えば、互いにバス等の内部信号線１０４で接続された、プロセッサ（ＣＰＵ）１０１、補助記憶装置１０２、メモリ１０３、表示装置１０５、入出力インターフェース１０６、及び通信インターフェース１０７を有する計算機によって構成される。
【0016】
プロセッサ１０１は、メモリ１０３に格納されたプログラムを実行する。メモリ１０３は、不揮発性の非一時的な記憶素子であるＲＯＭ及び揮発性の記憶素子であるＲＡＭを含む。ＲＯＭは、不変なプログラム（たとえばＢＩＯＳ）などを格納する。ＲＡＭは、ＤＲＡＭ（Ｄｙｎａｍｉｃ Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）のような高速かつ揮発性の記憶素子であり、プロセッサ１０１が実行するプログラム及びプログラムの実行時に使用されるデータを一時的に格納する。
【0017】
補助記憶装置１０２は、例えば、磁気記憶装置（ＨＤＤ）、フラッシュメモリ（ＳＳＤ）等の大容量かつ不揮発性の非一時的な記憶装置であり、プロセッサ１０１が実行するプログラム及びプログラムの実行時に使用されるデータを格納する。すなわち、プログラムは、補助記憶装置１０２から読み出されて、メモリ１０３にロードされて、プロセッサ１０１によって実行される。
【0018】
入出力インターフェース１０６は、キーボードやマウスなどが接続され、オペレータからの入力を受けるインターフェースである。また、入出力インターフェース１０６は、表示装置１０５やプリンタなどが接続され、プログラムの実行結果をオペレータが視認可能な形式で出力するインターフェースでもある。表示装置１０５は、入出力インターフェース１０６から出力されたプログラムの実行結果を表示する。
【0019】
通信インターフェース１０７は、所定のプロトコルに従って、他の装置との通信を制御するネットワークインターフェース装置である。また、通信インターフェース１０７は、例えば、ＵＳＢ（Ｕｎｉｖｅｒｓａｌ Ｓｅｒｉａｌ Ｂｕｓ）等のシリアルインターフェースを含んでもよい。
【0020】
プロセッサ１０１が実行するプログラムの一部又は全部は、計算機が読み取り可能な非一時的記憶媒体であるリムーバブルメディア（ＣＤ－ＲＯＭ、フラッシュメモリなど）から、又はネットワーク６００を介して接続された非一時的記憶装置を備える外部計算機から、ノイズ付加サーバ１００に提供され、非一時的記憶媒体である不揮発性の補助記憶装置１０２に格納されてもよい。このため、ノイズ付加サーバ１００は、リムーバブルメディアからデータを読み込むインターフェースを有するとよい。これは、評価サーバ２００、検知サーバ３００、データ送信端末４００、及びデータ受信端末５００についても同様である。
【0021】
ノイズ付加サーバ１００は、物理的に一つの計算機上で、又は、論理的又は物理的に構成された複数の計算機上で構成される計算機システムであり、同一の計算機上で別個のスレッドで動作してもよく、複数の物理的計算機資源上に構築された仮想計算機上で動作してもよい。これは、評価サーバ２００、検知サーバ３００、データ送信端末４００、及びデータ受信端末５００についても同様である。
【0022】
プロセッサ１０１は、例えば、データ拡張部１１１、及びノイズ付加部１１２を含む。例えば、プロセッサ１０１はメモリ１０３にロードされたデータ拡張プログラムに従って動作することで、データ拡張部１１１として機能し、メモリ１０３にロードされたノイズ付加プログラムに従って動作することで、ノイズ付加部１１２として機能する。
【0023】
データ拡張部１１１は、例えば、評価対象データにノイズを付加して拡張評価対象データを生成する。ノイズ付加部１１２は、拡張評価対象データにノイズを付加することで拡張評価対象データを更新する。
【0024】
図３は、評価サーバ２００のハードウェア構成例を示すブロック図である。評価サーバ２００は例えば、互いにバス等の内部信号線２０４で接続された、プロセッサ（ＣＰＵ）２０１、補助記憶装置２０２、メモリ２０３、表示装置２０５、入出力インターフェース２０６、及び通信インターフェース２０７を有する計算機によって構成される。
【0025】
プロセッサ２０１、補助記憶装置２０２、メモリ２０３、内部信号線２０４、表示装置２０５、入出力インターフェース２０６、及び通信インターフェース２０７のハードウェアとしての説明は、プロセッサ１０１、補助記憶装置１０２、メモリ１０３、内部信号線１０４、表示装置１０５、入出力インターフェース１０６、及び通信インターフェース１０７のハードウェアとしての説明と同様であるため説明を省略する。
【0026】
プロセッサ２０１は評価部２１１を含む。例えば、プロセッサ２０１は、メモリ２０３にロードされた評価プログラムに従って動作することで、評価部２１１として機能する。
評価部２１１は、評価対象データ及び拡張評価対象データに対する評価値を計算する。
評価部２１１は、評価対象データ及び拡張評価対象データに対する評価値を計算する。
【0027】
図４は、検知サーバ３００のハードウェア構成例を示すブロック図である。検知サーバ３００は、例えば、互いにバス等の内部信号線３０４で接続された、プロセッサ（ＣＰＵ）３０１、補助記憶装置３０２、メモリ３０３、表示装置３０５、入出力インターフェース３０６、及び通信インターフェース３０７を有する計算機によって構成される。
【0028】
プロセッサ３０１、補助記憶装置３０２、メモリ３０３、内部信号線３０４、表示装置３０５、入出力インターフェース３０６、及び通信インターフェース３０７のハードウェアとしての説明は、プロセッサ１０１、補助記憶装置１０２、メモリ１０３、内部信号線１０４、表示装置１０５、入出力インターフェース１０６、及び通信インターフェース１０７のハードウェアとしての説明と同様であるため説明を省略する。
【0029】
プロセッサ３０１は第１検知部３１１と第２検知部３１２を含む。例えば、プロセッサ３０１は、メモリ３０３にロードされた第１検知プログラムに従って動作することで、第１検知部３１１として機能し、メモリ３０３にロードされた第２検知プログラムに従って動作することで、第２検知部３１２として機能する。
【0030】
第１検知部３１１は、評価対象データが敵対的データ（ＡＥ攻撃を受けたデータであるか）であるかの最終判定を行う。第２検知部３１２は、評価対象データが敵対的データであるか敵対的データである可能性があるかを判定し、敵対的データである可能性があるかを判定した場合に、第１検知部３１１に最終判定を依頼する。なお、実施例１のプロセッサ３０１は第２検知部３１２を含まなくてもよい。
【0031】
図５は、データ送信端末４００のハードウェア構成例を示すブロック図である。データ送信端末４００は例えば、互いにバス等の内部信号線４０４で連結された、プロセッサ（ＣＰＵ）４０１、補助記憶装置４０２、メモリ４０３、表示装置４０５、入出力インターフェース４０６、及び通信インターフェース４０７を有する計算機によって構成される。
【0032】
プロセッサ４０１、補助記憶装置４０２、メモリ４０３、内部信号線４０４、表示装置４０５、入出力インターフェース４０６、及び通信インターフェース４０７のハードウェアとしての説明は、プロセッサ１０１、補助記憶装置１０２、メモリ１０３、内部信号線１０４、表示装置１０５、入出力インターフェース１０６、及び通信インターフェース１０７のハードウェアとしての説明と同様であるため説明を省略する。
【0033】
データ送信端末４００の補助記憶装置４０２は、評価対象データ４２１を保持する。なお、評価対象データ４２１は、データ送信端末４００のメモリ４０３に格納されていてもよい。
【0034】
データ受信端末５００のハードウェア構成例は、図５のデータ送信端末４００のハードウェア構成例と同様であるため説明を省略する。
【0035】
図６は、敵対的データ検知処理の一例を示すシーケンス図である。まず、データ送信端末４００は、評価対象データをノイズ付加サーバ１００へ送信する（Ｓ６０１）。画像データは、評価対象データの一例である。
【0036】
データ拡張部１１１は、受信した評価対象データに対してデータ拡張を行うことで複数の拡張評価対象データを生成する（Ｓ６０２）。ステップＳ６０２の処理の一例について説明する。例えば、拡張評価対象データの生成数を示すパラメータｎが予め設定されてメモリ１０３に格納されている。データ拡張部１１１は、例えば、ｎ種類の異なるノイズを生成し、１つの評価対象データにｎ種類のノイズそれぞれを付加することで、ｎ個の拡張評価対象データを生成する。データ拡張部１１１が生成するノイズは、例えば、評価対象データと同じ次元数の数値ベクトルである。また、データ拡張部１１１は、例えば、ガウス分布等の所定の確率分布に従って、ノイズを生成する。
【0037】
ノイズ付加部１１２と評価部２１１は相互に通信して、評価対象データに対する評価値の計算と、拡張評価対象データに対する評価値の計算と、ステップＳ６０２で生成された拡張評価対象データに対するノイズ付加と、ノイズが付加された拡張評価対象データに対する評価値の計算と、を行う（Ｓ６０３）。
【0038】
例えば、ノイズ付加部１１２はｎ個の拡張評価対象データそれぞれに対し異なるノイズを生成し付加することでｎ個の拡張評価対象データそれぞれを更新し、評価部２１１は更新後のｎ個の拡張データそれぞれについて評価値を算出する。なお、ノイズ付加部１１２は、例えば、ガウス分布、一様分布、又はラプラス分布等の所定の確率分布に従ってノイズを生成してもよいし、評価部２１１により計算される評価値を意図的に変化させるようなノイズを生成してもよい。評価値を意図的に変化させるノイズとして、例えば、敵対的データ作成時に生成されるノイズと同様の手法で生成されるノイズが使用される。
【0039】
本実施形態において、評価部２１１は、例えば、深層学習を用いて生成された学習済みモデルに更新後のｎ個の拡張評価対象データを入力して得られたクラスを評価値として算出する。なお、当該学習済みモデルは、深層学習を行う際に訓練データに対しリサイズやパディング等の処理を施したデータを学習させることで、ロバスト性を向上させた学習済みモデルであってもよい。なお、この学習済みモデルは、例えば、メモリ２０３に予め格納されている。
【0040】
なお、ステップＳ６０３におけるｎ個の拡張評価対象データそれぞれの更新処理と更新後のｎ個の拡張評価対象データそれぞれの評価値算出処理は、所定条件が満たされるまで繰り返し実行される。評価部２１１は、ステップＳ６０３で最終的に算出された拡張評価対象データそれぞれの評価値を検知サーバ３００へ送信する（Ｓ６０４）。なお、ステップＳ６０３とステップＳ６０４の処理の詳細は図７を用いて後述する。
【0041】
第１検知部３１１は、ステップＳ６０４で受信した評価値を用いて、ステップＳ６０１で送信された評価対象データが、敵対的データであるか否か判定する（Ｓ６０５）。ステップＳ６０５の処理の詳細は図８を用いて後述する。
【0042】
第１検知部３１１は、評価対象データが敵対的データであると判定した場合（Ｓ６０５：Ｙｅｓ）、評価対象データの評価値をデータ送信端末４００に送信せず、当該評価値の送信を拒否することを示す通知（判定結果：ｒｅｊｅｃｔ）をデータ送信端末４００に送信する（Ｓ６０６）。第１検知部３１１は、評価対象データが敵対的データでないと判定した場合（Ｓ６０５：Ｎｏ）、評価対象データの評価値を、データ受信端末５００に送信して（Ｓ６０７）、敵対的データ検知処理が終了する。
【0043】
なお、第１検知部３１１は、ステップＳ８０３において評価対象データが敵対的データであると判定した場合に、ステップＳ６０６において、当該評価値の送信を拒否することを示す通知（判定結果：ｒｅｊｅｃｔ）をデータ送信端末４００に送信せずに、ステップＳ６０３で最終的に算出された拡張評価対象データそれぞれの評価値をデータ受信端末５００に送信してもよい。
【0044】
図７は、ステップＳ６０３及びステップＳ６０４における、拡張評価対象データ更新処理の一例を示すフローチャートである。評価部２１１は、ステップＳ６０１で受け取った評価対象データＤの評価値Ｅｖａｌを計算する（Ｓ７０１）。つまり、評価部２１１は、評価対象データＤを上記した学習済みモデルに入力して得られた評価対象データＤのクラスを評価値Ｅｖａｌとして計算する。
【0045】
評価部２１１は、ｉ＝１，・・・，ｎそれぞれについてｉ＝１から順に、下記のステップＳ７０２～ステップＳ７０５の処理を実行する。評価部２１１は、ｎ個の拡張評価対象データ｛Ｄ１，・・・，Ｄｎ｝に含まれるＤｉの評価値ＡＥＥｖａｌｉを計算する（Ｓ７０２）。評価部２１１は、Ｅｖａｌ＝ＡＥＥｖａｌｉであるかを判定する（Ｓ７０３）。
【0046】
評価部２１１は、Ｅｖａｌ＝ＡＥＥｖａｌｉであると判定した場合（Ｓ７０３：Ｙｅｓ）、ノイズ付加部１１２はＤｉにノイズを付加することでＤｉを更新し（Ｓ７０４）、ステップＳ７０２に戻って更新後のＤｉに対して評価値を再度計算する。なお、ステップＳ７０４におけるノイズ付加の方法は、ステップＳ６０２におけるノイズ付加の方法と同じであっても異なってもよい。
【0047】
評価部２１１は、Ｅｖａｌ＝ＡＥＥｖａｌｉでないと判定した場合（Ｓ７０３：Ｎｏ）、直近のステップＳ９０２で算出した評価値ＡＥＥｖａｌｉを、例えば、メモリ２０３に保存して（Ｓ７０５）、ｉの値をインクリメントしてステップＳ９０２に戻る。
【0048】
なお、Ｅｖａｌ＝ＡＥＥｖａｌｉであることは、評価対象データＤのクラスとＤｉのクラスとが一致していること、即ちＤにノイズが付加されて生成されたにも関わらずクラスが変化していないことを示す。一方、Ｅｖａｌ＝ＡＥＥｖａｌｉでないことは、評価対象データＤのクラスとＤｉのクラスとが一致していないこと、即ちＤにノイズが付加されてクラスが変化したことを示す。
【0049】
なお、評価部２１１は、Ｄｉに対して所定回数以上のステップＳ７０４の処理が行われてもステップＳ７０５においてＥｖａｌ＝ＡＥＥｖａｌｉであると判定した場合には、このＤｉに対するステップＳ７０２～ステップＳ７０４の処理を終了して（即ちこのＤｉに対する最終的な評価値を算出することなく）、ｉをインクリメントしてもよいし、データ送信端末４００にエラーを送信して敵対的データ検知処理を終了してもよい。
【0050】
ｉ＝１，・・・，ｎそれぞれに対してステップＳ７０５の処理が完了したら、評価部２１１は、メモリ２０３に保存されたＡＥＥｖａｌ１，・・・，ＡＥＥｖａｌｎを検知サーバ３００に送信して（Ｓ６０４）、拡張評価対象データ更新処理が終了する。
【0051】
図８は、ステップＳ６０４及びステップＳ６０５における敵対的データ判定処理の一例を示すフローチャートである。第１検知部３１１は、評価値｛ＡＥＥｖａｌ１，…，ＡＥＥｖａｌｎ｝を受け取る（Ｓ６０４）。第１検知部３１１は、ＡＥＥｖａｌ１，・・・，ＡＥＥｖａｌｎからなる評価値群における最頻値の度数Ｎｕｍを求める（Ｓ８０１）。
【0052】
第１検知部３１１は、Ｎｕｍをデータ数ｎで割った値が、予め定められた閾値ｑより大きいかを判定する（Ｓ８０２）。なお、閾値ｑは、例えば、メモリ３０３に予め格納されている。第１検知部３１１は、Ｎｕｍをデータ数ｎで割った値が、予め定められた閾値ｑより大きいと判定した場合（Ｓ８０２：Ｙｅｓ）、評価対象データが敵対的データであると判定して（Ｓ８０３）、敵対的データ判定処理を終了する。
【0053】
第１検知部３１１は、Ｎｕｍをデータ数ｎで割った値が、予め定められた閾値ｑ以下であると判定した場合（Ｓ８０２：Ｎｏ）、評価対象データが敵対的データでないと判定して（Ｓ８０４）、敵対的データ判定処理を終了する。
【0054】
図８の例では、第１検知部３１１は、ＡＥＥｖａｌ１，・・・，ＡＥＥｖａｌｎからなる評価値群における最頻値の度数Ｎｕｍを敵対的データの検知に用いているが、Ｎｕｍは敵対的データを検知するための指標の一例に過ぎず、ＡＥＥｖａｌ１，・・・，ＡＥＥｖａｌｎの偏りを示す指標であれば上記したＮｕｍと異なる指標を用いてもよい。第１検知部３１１は、例えば、ＡＥＥｖａｌ１，・・・，ＡＥＥｖａｌｎからなる評価値群において度数が上位ｎ位までの評価値の度数の合計をＮｕｍとして用いてもよいし、ＡＥＥｖａｌ１，・・・，ＡＥＥｖａｌｎそれぞれを出力したデータ数に関する分散を敵対的データの検知に用いてもよい。
【0055】
上記した分散の一例について説明する。第１検知部３１１は、ＡＥＥｖａｌ１，・・・，ＡＥＥｖａｌｎのからなる評価値群に含まれる評価値の度数を算出し、算出した度数の分散を算出する。例えば、拡張評価対象データの個数が１０個であり、拡張評価対象データの評価値として取り得る値が、０又は１のいずれかであるとする。さらに、ＡＥＥｖａｌ１～ＡＥＥｖａｌ１０の値がいずれも１であるとする。この場合、評価値０の度数が０であり、評価値１の度数が１０である。このとき第１検知部３１１は、例えば、（平均）＝（拡張評価対象データの個数）／（評価値として取り得る値の個数）を算出し（つまり１０／２＝５を算出し）、評価値として取り得る各値について(平均－度数)２-を算出して（つまり、（５－０）２＝２５と、（５－１０）２＝２５と、を算出して）、算出した(（平均）－度数))２の総和を拡張評価対象データの個数で割った値（つまり、（２５＋２５）／１０＝５）を分散として算出する。第１検知部３１１は、算出した分散が予め定められた閾値ｒ以下であると判定した場合、評価対象データが敵対的データでないと判定し、算出した分散が予め定められた閾値ｒより大きいと判定した場合、評価対象データが敵対的データであると判定する。
【0056】
図９は、敵対的データ検知処理の概要の一例を示す説明図である。図９の例では、評価対象データが画像である例を説明する。人間が当該画像を見ると当該画像が猫の画像であると認識するが、評価部２１１がモデルに当該画像を入力すると当該画像が馬の画像であると誤認識する。つまり図９の評価対象データは敵対的データである。
【0057】
この場合、評価対象データである画像は人間からの見た目は猫の画像であるため、評価対象データである画像にノイズが付加されれば、当該ノイズが付加された画像が当該モデルに入力された分類結果は猫の画像である可能性が高い。
【0058】
データ拡張部１１１は、画像に異なるノイズを付加することで、複数の画像（拡張評価対象データ）を生成する（Ｓ６０２）。ノイズ付加部１１２は、複数の画像それぞれに対して、評価部２１１による評価値（即ち画像をモデルに入力したときに出力される分類結果）が変化するまでノイズを付加する（Ｓ６０３）。
【0059】
第１検知部３１１は、変化後の評価値の偏りを示す指標（Ｎｕｍ）を計算し、偏りが大きいと判定した場合、（敵対的データである馬の画像に様々なノイズが付加されると、元画像である猫の画像に変化すると考えられるため）、評価対象データが敵対的データであると判定する。
【0060】
図９の例において、閾値ｑを０．５とすれば、変化後の４つの評価値のうち３つの評価値が猫の画像であるため、Ｎｕｍ／ｎ＝３／４＞０．５であるため、第１検知部３１１は、評価対象データが敵対的データであると判定する。
【0061】
以上、本実施例の敵対的データ検知システムは、前述の処理により敵対的データを高精度かつ少ない計算量で検知することができる。なお、敵対的データがモデルに入力されると正常なデータと異なる評価値を出力するが、敵対的データは、正常なデータに作為的な微小ノイズを加えて作成されたデータである可能性が高い。従って、敵対的データにノイズ付加し続けると元の正常データの評価値を出力するデータに戻りやすい傾向があると期待できる。つまり、変化後の拡張評価対象データの評価値が同じ値になる割合が大きい場合には、当該同じ評価値を有する拡張評価対象データは正常なデータに戻っていると考えられ、本実施例の敵対的データ検知システムはこの性質を利用して評価対象データが敵対的データであるかを判定している。
【0062】
具体的には、前述したように、本実施例の敵対的データ検知システムは、拡張評価対象データの評価値が変化するまで拡張評価対象データにノイズを加え続け、変化後の評価値の偏りに基づいて評価対象データが敵対的データであるかを判定する。従って、攻撃者が本実施例の検知手法についての情報を有している場合であっても、モデルの情報を有していて微小なノイズを少ない回数加えても当該モデルによる出力結果が変わらない敵対的データを生成した場合であっても、評価対象データが敵対的データであるかを高精度に検知することができ、ひいては安全性を保つことができる。
【0063】
また、ノイズ付加部１１２は、ステップＳ６０３において、毎回ガウス分布に従ってノイズを生成する等のように各拡張評価対象データに対して同一のアルゴリズムから生成したノイズを付加してもよいし、Ｄ１にはガウス分布に従うノイズを付加し、Ｄ２には一様分布に従うノイズを付加する等のように、異なる拡張評価対象データに異なるアルゴリズムから生成したノイズを付加してもよい。また、ステップＳ６０３において、検知サーバ３００からデータ受信端末５００へ送信される評価対象データの評価値の計算は、ステップＳ６０２において事前に実行されてもよいし、ステップＳ６１３の直前に実行されてもよい（ステップＳ６０１より後かつステップＳ６１３より前の任意のタイミングで行われればよい）。
【実施例2】
【0064】
本実施例では、敵対的データ検知処理の別例を説明する。本実施例の敵対的データ検知処理では、敵対的データ検知システムは、評価対象データにノイズを付加して最初に生成した拡張評価対象データに対する評価値に基づいて評価対象データが敵対的データであるかを判定し（第１の判定）、評価対象データが敵対的データであると判定した場合、さらに実施例１で説明したステップＳ６０３～ステップＳ６０７の判定処理（第２の判定）を実行する。
【0065】
図１０は、敵対的データ検知処理の一例を示すシーケンス図である。図６との相違点を主に説明する。ステップＳ６０２に続いて、データ拡張部１１１は、生成した拡張評価対象データと評価対象データとを、評価サーバ２００に送信する（Ｓ１００１）。
【0066】
評価部２１１は、ステップＳ１００１で受信した評価対象データ及び拡張評価対象データそれぞれの評価値を計算する（Ｓ１００２）。評価部２１１は、ステップＳ１００２で計算した評価値を、検知サーバ３００に送信する（Ｓ１００３）。第２検知部３１２は、ステップＳ１００３で受信した評価値を用いて、評価対象データが敵対的データであるか敵対的データでない可能性があるかを判定する（Ｓ１００４）。ステップＳ１００４の処理の詳細は、図１１を用いて後述する。
【0067】
第２検知部３１２は、評価対象データが敵対的データであると判定した場合（Ｓ１００４：Ｙｅｓ）、評価対象データの評価値をデータ送信端末４００に送信せず、当該評価値の送信を拒否することを示す通知（判定結果：ｒｅｊｅｃｔ）をデータ送信端末４００に送信して（Ｓ１００５）、敵対的データ検知処理が終了する。第２検知部３１２は、敵対的データでない可能性があると判定した場合（Ｓ１００４：Ｎｏ）、第２の判定に移行すること（及び／又は評価対象データが敵対的データでない可能性があること）を示す通知（判定結果：ａｃｃｅｐｔ）をノイズ付加サーバ１００に送信し（Ｓ１００６）、ステップＳ６０３～ステップＳ６０７の処理（第２の判定）が行われて、敵対的データ検知処理が終了する。
【0068】
なお、Ｄｉ（ｉ＝１，・・・，ｎ）それぞれに対する初回のステップＳ７０２において算出されるＤｉの評価値は、ステップＳ１００２で算出される拡張評価対象データそれぞれの評価値と同一であるため、Ｄｉ（ｉ＝１，・・・，ｎ）それぞれに対する初回のステップＳ７０２の処理は省略されてもよい。
【0069】
図１１はステップＳ１００４における敵対的データ判定処理（第２の判定）の一例を示すフローチャートである。第２検知部３１２は、評価対象データに対する評価値Ｅｖａｌと拡張評価対象データに対する評価値｛Ｅｖａｌ１，…，Ｅｖａｌｎ｝を受け取る（Ｓ１００３）。第２検知部３１２は、Ｅｖａｌ≠Ｅｖａｌｉ（ｉ＝１，…ｎ）となる拡張評価対象データの個数Ｎｕｍを求める（Ｓ１１０１）。第２検知部３１２は、Ｎｕｍを拡張評価対象データの個数ｎで割った値が予め定められた閾値ｐより小さいと判定する（Ｓ１１０２）。なお、閾値ｐは、例えば、メモリ３０３に予め格納されている。
【0070】
第２検知部３１２は、Ｎｕｍを拡張評価対象データの個数ｎで割った値が予め定められた閾値ｐより小さいと判定した場合（Ｓ１１０２：Ｙｅｓ）、評価対象データは敵対的データであると判定して（Ｓ１１０３）、敵対的データ判定処理を終了する。第２検知部３１２は、Ｎｕｍを拡張評価対象データの個数ｎで割った値が予め定められた閾値ｐ以上であると判定した場合（Ｓ１１０２：Ｎｏ）、評価対象データが敵対的データでない可能性があると判定して（Ｓ１１０４）、敵対的データ判定処理を終了する。
【0071】
なお、第２検知部３１２は、ステップＳ１１０２において、評価値が異なる拡張評価対象データの個数の割合を検知に用いているが、他の指標を検知に用いてもよい。第２検知部３１２は、例えば、ステップＳ１１０２において、拡張評価対象データそれぞれの評価値の、評価対象データの評価値からの変化量をカウントし、当該変化量の平均値をＮｕｍの代わりに用いてもよい。
【0072】
敵対的データは、正常なデータに作為的な微小ノイズを加えて作成されたデータである可能性が高いため、モデルが出力される評価値が変化する境界に近いデータである可能性が高い。つまり、評価対象データが敵対的データである場合には、評価対象データにノイズが付加された拡張評価対象データの評価値は、評価対象データの評価値と異なる可能性が高い。従って、本実施例の敵対的データ検知システムは、図１１の処理で評価対象データと評価値が異なる拡張評価対象データの割合に基づいて、評価対象データが敵対的データであるかを判定することにより、効率的に敵対的データを検知することができる。
【0073】
なお、上記した例では、敵対的データ検知システムは、第１の判定において評価対象データが敵対的データであると判定した場合に第２の判定により評価対象データが敵対的データであるかの最終的な判定を行うが、第２の判定において評価対象データが敵対的データであると判定した場合に第１の判定による評価対象データが敵対的データであるかの最終的な判定を行ってもよい。
【0074】
以上、本実施例の敵対的データ検知システムは、本実施例の敵対的データ検知システムは、評価対象データに対して、異なる性質を捉えるための２つの検知手法を用いることにより、より安全性が高くかつ高精度に敵対的データを検知することができる。
【実施例3】
【0075】
本実施例は、敵対的データ検知システムのユースケースの一例を説明する。図１２は、敵対的データ検知システムの入出力データの一例を示す説明図である。図１２の例では、評価対象データが医療画像であり、敵対的データ検知システムは当該医療画像に基づいて、医療画像の被写体の人間が病気であるか、及び病気である場合には被写体の人間がり患している病気の種類を判定する。
【0076】
データ送信端末４００は、ステップＳ６０１において、医療画像をノイズ付加サーバ１００に送信する。ステップＳ６０５において、検知サーバ３００は、医療画像が敵対的データであると判定した場合、ステップＳ６０６において、その旨を示す報告をデータ送信端末４００へ送信する。
【0077】
検知サーバ３００は、ステップＳ６０５において、医療画像が敵対的データではないと判定した場合、ステップＳ６０７において、医療画像に対する評価結果（被写体の人間が病気であるか否か、及び病気である場合には病気の種類を示す分類結果）をデータ受信端末５００へ送信する。
【0078】
なお、本発明は上記した実施例に限定されるものではなく、様々な変形例が含まれる。例えば、上記した実施例は本発明を分かりやすく説明するために詳細に説明したものであり、必ずしも説明した全ての構成を備えるものに限定されるものではない。また、ある実施例の構成の一部を他の実施例の構成に置き換えることも可能であり、また、ある実施例の構成に他の実施例の構成を加えることも可能である。また、各実施例の構成の一部について、他の構成の追加や削除、置換をすることが可能である。
【0079】
また、上記の各構成、機能、処理部、処理手段等は、それらの一部又は全部を、例えば集積回路で設計する等によりハードウェアで実現してもよい。また、上記の各構成、機能等は、プロセッサがそれぞれの機能を実現するプログラムを解釈し、実行することによりソフトウェアで実現してもよい。各機能を実現するプログラム、テーブル、ファイル等の情報は、メモリや、ハードディスク、ＳＳＤ（Ｓｏｌｉｄ Ｓｔａｔｅ Ｄｒｉｖｅ）等の記録装置、または、ＩＣカード、ＳＤカード、ＤＶＤ等の記録媒体に置くことができる。
【0080】
また、制御線や情報線は説明上必要と考えられるものを示しており、製品上必ずしも全ての制御線や情報線を示しているとは限らない。実際には殆ど全ての構成が相互に接続されていると考えてもよい。
【符号の説明】
【0081】
１００ ノイズ付加サーバ、２００ 評価サーバ、３００ 検知サーバ、４００ データ送信端末、５００ データ受信端末、１０１ プロセッサ、１０２ 補助記憶装置、１０３ メモリ、１０７ 通信インターフェース、１１１ データ拡張部、１１２ ノイズ付加部、２０１ プロセッサ、２０２ 補助記憶装置、２０３ メモリ、２０７ 通信インターフェース、２１１ 評価部、３０１ プロセッサ、３０２ 補助記憶装置、３０３ メモリ、３０７ 通信インターフェース、３１１ 第１検知部、３１２ 第２検知部、４０１ プロセッサ、４０２ 補助記憶装置、４０３ メモリ、４０７ 通信インターフェース
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
