特許 7517417 敵対的サンプル検知装置、敵対的サンプル検知方法、およびプログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2024-07-08

(45)【発行日】2024-07-17

(54)【発明の名称】敵対的サンプル検知装置、敵対的サンプル検知方法、およびプログラム

(51)【国際特許分類】

   G06N 20/00 20190101AFI20240709BHJP

【ＦＩ】

G06N20/00

【請求項の数】 10

(21)【出願番号】P 2022528400

(86)(22)【出願日】2020-06-05

(86)【国際出願番号】 JP2020022424

(87)【国際公開番号】W WO2021245945

(87)【国際公開日】2021-12-09

【審査請求日】2022-12-01

(73)【特許権者】

【識別番号】000004237

【氏名又は名称】日本電気株式会社

(74)【代理人】

【識別番号】100149548

【弁理士】

【氏名又は名称】松沼 泰史

(74)【代理人】

【識別番号】100181135

【弁理士】

【氏名又は名称】橋本 隆史

(72)【発明者】

【氏名】天田 拓磨

(72)【発明者】

【氏名】柿崎 和也

(72)【発明者】

【氏名】荒木 俊則

【審査官】渡辺 順哉

(56)【参考文献】

【文献】特開２００８－０５９４０８（ＪＰ，Ａ）

【文献】東亮憲 ほか，ＪＰＥＧ圧縮による画像分類器の識別結果の変動解析に基づく敵対的事例の検知法，コンピュータセキュリティシンポジウム2019論文集，日本，一般社団法人 情報処理学会，2019年10月14日，vol.2019，pp.975-981，ISSN 1882-0840

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ０６Ｎ ３／００－９９／００

(57)【特許請求の範囲】

【請求項1】

第１算出方法によって、入力データおよび比較データのそれぞれについて第１特徴量を抽出する第１特徴量抽出手段と、
前記第１算出方法と異なる第２算出方法によって、前記入力データおよび前記比較データのそれぞれについて第２特徴量を抽出する第２特徴量抽出手段と、
前記第１特徴量と前記第２特徴量を用いた計算により、前記入力データおよび前記比較データの少なくとも一方が敵対的サンプルであるか否かを判定する判定手段と
を備え、
前記第２特徴量抽出手段は、前記第１特徴量に基づく認証に成功した場合に、前記入力データおよび前記比較データを加工した加工データの特徴量を前記第２特徴量として抽出する
敵対的サンプル検知装置。

【請求項2】

前記第１算出方法および前記第２算出方法は、機械学習により作成された計算モデルを基にした算出方法である
請求項１に記載の敵対的サンプル検知装置。

【請求項3】

前記第２算出方法は、前記入力データおよび前記比較データを加工した前記加工データを生成し、前記第１算出方法によって、前記加工データの特徴量を算出する算出方法である
請求項１または請求項２に記載の敵対的サンプル検知装置。

【請求項4】

前記第２算出方法は、前記第２特徴量の算出対象のデータの一部を強調しながら、前記第１算出方法により特徴量を算出する算出方法である
請求項１または請求項２に記載の敵対的サンプル検知装置。

【請求項5】

前記第１特徴量抽出手段により算出される前記比較データの第１特徴量と、前記第２特徴量抽出手段により算出される前記比較データの第２特徴量を記憶手段に記憶させる記録手段を備え、
前記判定手段は、前記記憶手段から前記第１特徴量と前記第２特徴量を取得する、
請求項１から請求項３の何れか１項に記載の敵対的サンプル検知装置。

【請求項6】

前記入力データの第１特徴量と前記比較データの第１特徴量とに基づいて、前記入力データと前記比較データが、同一人物もしくは同一物由来のデータであるか否かを認証する認証手段を備える
請求項１から請求項４の何れか１項に記載の敵対的サンプル検知装置。

【請求項7】

前記第２算出方法は、前記入力データおよび前記比較データそれぞれの色深度を減少させ、または平滑化した加工データを生成し、前記第１算出方法によって、前記加工データの特徴量を算出する算出方法である
請求項１または請求項２に記載の敵対的サンプル検知装置。

【請求項8】

前記第１算出方法は、学習済みニューラルネットワークモデルである第１モデルに前記入力データおよび前記比較データを入力することで、前記第１特徴量を算出する算出方法であり、
前記第２算出方法は、前記第１モデルを構成する複数のニューロンのうち特定のニューロンの値を変更したニューラルネットワークモデルである第２モデルに前記入力データおよび前記比較データを入力することで、前記第２特徴量を算出する算出方法である
請求項２に記載の敵対的サンプル検知装置。

【請求項9】

第１算出方法によって、入力データおよび比較データのそれぞれについて第１特徴量を抽出することと、
前記第１算出方法と異なる第２算出方法によって、前記入力データおよび前記比較データのそれぞれについて第２特徴量を抽出することと、
前記第１特徴量と前記第２特徴量を用いた計算により、前記入力データおよび前記比較データの少なくとも一方が敵対的サンプルであるか否かを判定することと
を有し、
前記第２特徴量を抽出することは、前記第１特徴量に基づく認証に成功した場合に、前記入力データおよび前記比較データを加工した加工データの特徴量を前記第２特徴量として抽出することによってなされる
敵対的サンプル検知方法。

【請求項10】

コンピュータを、
第１算出方法によって、入力データおよび比較データのそれぞれについて第１特徴量を抽出する第１特徴量抽出手段、
前記第１算出方法と異なる第２算出方法によって、前記入力データおよび前記比較データのそれぞれについて第２特徴量を抽出する第２特徴量抽出手段、
前記第１特徴量と前記第２特徴量を用いた計算により、前記入力データおよび前記比較データの少なくとも一方が敵対的サンプルであるか否かを判定する判定手段
として機能させ、
前記第２特徴量抽出手段が、前記第１特徴量に基づく認証に成功した場合に、前記入力データおよび前記比較データを加工した加工データの特徴量を前記第２特徴量として抽出する
プログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、敵対的サンプル検知装置、敵対的サンプル検知方法、およびプログラムに関する。

【背景技術】

【0002】

機械学習を用いて画像認識を行う技術がある。画像認識をより正確に行うために、機械学習された学習済みモデルが誤認識するように作成された敵対的サンプル（Adversarial Examples）と呼ばれる入力を検知する必要がある。非特許文献１、２には、１つの入力データを予め設定された複数のクラスの１つに分類する分類器において、１つの入力データに異なる処理を行い、処理をした結果生じたデータの比較を行うことで、敵対的サンプルを検知する技術が開示されている。
なお、特許文献１には、敵対的生成ネットワークを用いて、機械学習に必要な学習データを自動的に生成し、学習精度を向上させる技術が開示されている。

【先行技術文献】

【特許文献】

【0003】

【文献】特開２０１９－０４６３９０号公報

【非特許文献】

【0004】

【文献】Weilin Xu, et al. “Feature Squeezing: Detecting Adversarial Examples in Deep Neural Networks”, Proceedings of the In Network and Distributed Systems Security. Symposium (NDSS) 2018.

【文献】Guanhong Tao, et al. “Attacks Meet Interpretability: Attribute-steered Detection of Adversarial Samples”, Proceedings of Advances in Neural Information Processing Systems (NIPS), 2018.

【発明の概要】

【発明が解決しようとする課題】

【0005】

ところで、人物等の認証を行う方法として、入力データを予め設定された複数の人物を表すクラスの１つに分類することで人物の認証を行う手法のほかに、入力データと比較データとの特徴量の類似度を計算することで人物の認証を行う手法とが知られている。
しかしながら、非特許文献１、２に記載の技術は、１つのデータを複数のクラスの１つに分類する分類器において敵対的サンプルを検知するものであって、２つ以上のデータの特徴量の比較を行う認証器において敵対的サンプルを検知する技術は開示されていない。また、特許文献１に記載された技術において、敵対的サンプルを検知することは考慮されていない。
本発明の目的は、上述した課題を解決する敵対的サンプル検知装置、敵対的サンプル検知方法、およびプログラムを提供することにある。

【課題を解決するための手段】

【0006】

本発明の第１の態様によれば、敵対的サンプル検知装置は、第１算出方法によって、入力データおよび比較データのそれぞれについて第１特徴量を抽出する第１特徴量抽出手段と、前記第１算出方法と異なる第２算出方法によって、前記入力データおよび前記比較データのそれぞれについて第２特徴量を抽出する第２特徴量抽出手段と、前記第１特徴量と前記第２特徴量を用いた計算により、前記入力データおよび前記比較データの少なくとも一方が敵対的サンプルであるか否かを判定する判定手段とを備える。

【0007】

本発明の第２の態様によれば、敵対的サンプル検知方法は、第１算出方法によって、入力データおよび比較データのそれぞれについて第１特徴量を抽出することと、前記第１算出方法と異なる第２算出方法によって、前記入力データおよび前記比較データのそれぞれについて第２特徴量を抽出することと、前記第１特徴量と前記第２特徴量を用いた計算により、前記入力データおよび前記比較データの少なくとも一方が敵対的サンプルであるか否かを判定することとを有する。

【0008】

本発明の第３の態様によれば、敵対的サンプル検知プログラムは、コンピュータを、１つ以上の入力データおよび１つ以上の比較データから、第１算出方法により第１特徴量を算出する第１特徴量抽出部、前記入力データおよび前記比較データから、第２算出方法により第２特徴量を算出し、前記第２算出方法は前記第１算出方法と異なる第２特徴量抽出部、前記第１特徴量と前記第２特徴量を用いた計算により、前記入力データおよび前記比較データの少なくとも一方が敵対的サンプルであるか否かを判定する判定部として機能させる。

【発明の効果】

【0009】

本発明によれば、２つ以上のデータの特徴量の比較を行う認証器において敵対的サンプルを検知することができる。

【図面の簡単な説明】

【0010】

【図1】第１の実施形態に係る認証装置の構成図である。

【図2】第１の実施形態に係る認証装置のソフトウェア構成を示す概略ブロック図である。

【図3】第1の実施形態に係るモデル記憶部が記憶する機械学習モデルの構成図である。

【図4】第１の実施形態に係るモデル記憶部が記憶する機械学習モデルの生成方法を示すフローチャートである。

【図5】第１の実施形態に係る認証装置の動作を示すフローチャートである。

【図6】第２の実施形態に係るモデルの学習方法を示すフローチャートである。

【図7】第３の実施形態に係る認証装置の構成を示す概略ブロック図である。

【図8】第３の実施形態に係る認証装置の一部構成を示す概略ブロック図である。

【図9】第３の実施形態に係る認証装置の比較データの入力から記憶までの流れを示すフローチャートである。

【図10】第３の実施形態に係る認証装置の入力データの入力から認証までの流れを示すフローチャートである。

【図11】敵対的サンプル検知装置の基本構成を示す概略ブロック図である。

【図12】少なくとも１つの実施形態に係るコンピュータの構成を示す概略ブロック図である。

【発明を実施するための形態】

【0011】

以下、図面を参照しながら本発明の実施形態について詳しく説明する。
〈第１の実施形態〉
図１は、第１の実施形態に係る認証装置の構成図である。
認証装置１は、読み取り装置１０２から、利用者Ｕの所持する写真や証明書から画像データを取得する。その後、カメラ１０１で利用者Ｕを撮影することでもう１つの画像データを取得する。その後、２つの画像データを比較し、認証装置１が同一人物であるかどうかを認証する。その後、認証装置１はディスプレイ１０３に結果を出力し、表示させる。なお、画像データは、認証装置の誤判定を誘発する敵対的サンプルである可能性がある。第１の実施形態に係る認証装置は、入力された画像データが敵対的サンプルであるか否かを判定する機能を有する。

【0012】

図２は、第１の実施形態に係る認証装置のソフトウェア構成を示す概略ブロック図である。
認証装置１は、入力部１０、比較データ取得部１１、第１特徴量抽出部２０、第２特徴量抽出部２１、モデル記憶部２２、類似度計算部３０、スコア計算部３１、認証部４０、スコア判定部４１、出力部５０を備える。

【0013】

入力部１０は、利用者から認証のための画像データの入力を受け付ける。画像データは、例えば、利用者の顔が写ったものである。例えば、入力部１０は、カメラ１０１によって撮影された利用者の顔が写る画像データを取得する。以下、入力部に入力されるデータを入力データともいう。
比較データ取得部１１は、入力データと比較するための比較データを取得する。例えば、比較データ取得部１１は、読み取り装置１０２によって利用者を写した写真や利用者の顔写真のデータが入ったＩＣチップから読み取られた画像データを取得する。
モデル記憶部２２は、データを入力することで、当該データの特徴量を出力する学習済みの機械学習モデルを記憶する。

【0014】

第１特徴量抽出部２０は、モデル記憶部２２が記憶する学習済みモデルを用いて、入力データおよび比較データのそれぞれについて特徴量（第１特徴量）を抽出する。具体的には、第１特徴量抽出部２０は、モデル記憶部２２が記憶する学習済みモデルにデータを入力することで、当該データの特徴量を得る。
第２特徴量抽出部２１は、入力データおよび比較データのそれぞれについて特徴量（第２特徴量）を抽出する。具体的には、第２特徴量抽出部２１は、データに所定の加工を施し、当該加工されたデータをモデル記憶部２２が記憶する学習済みモデルに入力することで、当該データの特徴量を得る。所定の加工の例としては、画像データの各ピクセルの色深度を減少させる処理や空間の平滑化処理など、敵対的サンプルの摂動の影響を低減するような処理が挙げられる。

【0015】

スコア計算部３１は、第１特徴量抽出部２０が算出した入力データの特徴量および比較データ特徴量、ならびに第２特徴量抽出部２１が算出した入力データの特徴量および比較データ特徴量を用いて、前述の４つの特徴量により求められるスコアの計算を行う。例えば、以下の式（１）に示す計算式を用いて計算することができる。

【0016】

【数1】

【0017】

ここでａはスコア、ｘ_ｓは入力データ、ｘ_ｔは比較データ、ｇ_０(ｘ)は第１特徴量抽出部２０にｘを入力したときに出力される特徴量、ｇ_d(ｘ)は第２特徴量抽出部２１にｘを入力したときに出力される特徴量である。これらの特徴量はベクトルで得られ、次元が同じ場合に加減の計算をすることができる。|ｘ|_pはｘのp-ノルムの値である。

【0018】

スコア判定部４１は、スコア計算部３１より取得したスコアを元に入力データおよび比較データの少なくとも一方が敵対的サンプルであるかないかの判定を行う。判定方法の一例としては、あるしきい値を予め設定しておき、計算結果がそのしきい値を超えた場合には敵対的サンプルであると判定し、計算結果がそのしきい値以下である場合には敵対的サンプルでないと判定するというものが挙げられる。

【0019】

類似度計算部３０は、第１特徴量抽出部２０が算出した入力データの特徴量および比較データ特徴量の類似度を算出する。類似度の例としては、コサイン類似度やユークリッド距離が挙げられる。
認証部４０は、類似度計算部３０が計算した類似度に基づいて、入力データの顔写真に写る人物と出力データの顔写真に写る人物が同一人物であるかを認証する。
出力部５０は、類似度判定部３０３の判定結果および認証部の認証結果を外部に出力する。出力の例としては、認証失敗、認証成功、および敵対的サンプル検知を、ディスプレイ１０３に表示すること、プリンタによって印刷すること、通信によって外部に送信すること、記憶装置に記録することなどが挙げられる。

【0020】

<<学習済みモデルの生成方法>>
モデル記憶部２２が記憶する機械学習モデルの生成方法を説明する。
図３は、第1の実施形態に係るモデル記憶部２２が記憶する機械学習モデルを生成するために用いる分類モデルＭ０の構成図である。
機械学習モデルＭ０は、図３に示すように、データ入力部Ｍ１、特徴量算出部Ｍ２、および分類部Ｍ３を備える。
データ入力部Ｍ１は、入力された画像データをベクトルとして特徴量算出部Ｍ２に出力する。
特徴量算出部Ｍ２は、データ入力部Ｍ１から入力されたベクトルを、低次元の特徴ベクトルに変換し、分類部Ｍ３に出力する。特徴ベクトルは特徴量の一例である。また特徴量算出部Ｍ２は、特徴量関数、特徴量計算モデルの一例である。
分類部Ｍ３は、２層以上のニューラルネットワークによって構成される。分類部Ｍ３は、特徴量算出部Ｍ２から入力された特徴ベクトルから、当該特徴ベクトルが表す画像に写る人物の事後確率を示すＰ次元のベクトルに変換する。

【0021】

図４は、第１の実施形態に係るモデル記憶部２２が記憶する機械学習モデルＭ０の生成方法を示すフローチャートである。
入力部１０は、図示しないデータベースから予め用意されていたデータセットを取得し、第２特徴量抽出部に出力する（ステップＬ１）。当該データセットは、入力サンプルである画像データと、入力サンプルである人物を表すラベルの組み合わせである。第２特徴量抽出部は機械学習モデルＭ０を基にして特徴量の計算を行う（ステップＬ２）。次に、計算された結果を基にして特徴量算出部Ｍ２および分類部Ｍ４のパラメータを更新する（ステップＬ３）。次に、ステップＬ３でパラメータを更新した機械学習モデルＭ０のうち、データ入力部Ｍ１および特徴量算出部Ｍ２からなる部分モデルを抽出して、モデル記憶部２２に記憶させる（ステップＬ４）。なお、ステップＬ３の次に再びステップＬ１を行い、複数回特徴量算出部Ｍ２および分類部Ｍ４のパラメータを更新してもよい。

【0022】

図５は、第１の実施形態に係る認証装置の動作を示すフローチャートである。
第１特徴量抽出部２０は、入力部１０から入力データを取得する（ステップＳ１）。さらに第１特徴量抽出部２０は、比較データ取得部１１から比較データを取得する（ステップＳ２）。第１特徴量抽出部２０は、取得した入力データおよび比較データを、モデル記憶部２２が記憶する学習済みモデルに対して入力することで、それぞれ入力データおよび比較データの特徴量を抽出する（ステップＳ３）。

【0023】

その後、類似度計算部３０が、入力データおよび比較データそれぞれの特徴量を基にして類似度を算出する（ステップＳ４）。認証部４０は、算出した類似度が設定した認証しきい値より小さいか否かを判定する（ステップＳ５）。算出した類似度が設定した認証しきい値より小さい場合（ステップＳ５：ＮＯ）、認証部４０が認証失敗と判断する。そして、出力部５０が認証失敗したことを出力し（ステップＳ１０２）、処理を終了する。

【0024】

他方、算出した類似度が設定した認証しきい値以上である場合（ステップＳ５：ＹＥＳ）、第２特徴量抽出部２１は、入力データおよび比較データに所定の加工を加える（ステップＳ６）。次に、第２特徴量抽出部２１は、加工された入力データおよび比較データをモデル記憶部が記憶する学習済みモデルに入力することで、入力データおよび比較データそれぞれの特徴量を算出する（ステップＳ７）。次に、スコア計算部３１が、第１特徴量抽出部２０および第２特徴量抽出部２１より特徴量データを取得し、取得した特徴を基にしたスコアを算出する（ステップＳ８）。

【0025】

スコア判定部４１は、算出したスコアが設定した検知しきい値より大きいか否かを判定する（ステップＳ９）。スコア判定部４１は、算出したスコアが設定した検知しきい値より大きい場合（ステップＳ９：ＮＯ）、スコア判定部４１が入力データおよび比較データの少なくとも一方が敵対的サンプルであると判断し、出力部５０が敵対的サンプル検知したことを出力し（ステップＳ１０１）、処理を終了する。
算出したスコアが設定した検知しきい値以下である場合（ステップＳ９：ＹＥＳ）、スコア判定部４１は入力データおよび比較データに敵対的サンプルが含まれないと判定する。これにより、認証部４０は、認証成功と判断する。そして、出力部５０が認証成功を出力し（ステップＳ１００）、処理を終了する。

【0026】

《作用・効果》
このように、第１の実施形態によれば、認証装置は、入力データおよび比較データのそれぞれについて第１特徴量抽出部により第１特徴量を、第２特徴量抽出部により第２特徴量を算出し、入力データの第１特徴量、入力データの第２特徴量、比較データの第１特徴量および比較データの第２特徴量を用いて、入力データおよび比較データの少なくとも一方が敵対的サンプルであるか否かを判定する。つまり、認証装置は、入力データおよび比較データの２つのデータについて得られた特徴量に基づいて１つの計算結果を出力する。これにより、第１の実施形態に係る認証装置は、２つのデータを用いて敵対的サンプルを検知することができる。
なお、本願発明によれば、認証装置は、入力データおよび比較データの２つのデータについて得られた特徴量に基づいて１つの計算結果を出力するため、非特許文献１、２のように１つの入力データに基づいて敵対的サンプルを検知する手法と比較して、より正確に敵対的サンプルの検知をすることができる。

【0027】

〈第２の実施形態〉
第１の実施形態に係る認証装置は、第２特徴量抽出部２１がデータに所定の加工を施していた。これに対し、第２の実施形態に係る認証装置は、第２特徴量抽出部２１がモデル記憶部２２から取得するモデルＭ１０はモデルＭ０とは異なるモデルである。モデルＭ１０は、モデルＭ０を構成するニューラルネットワークから、顔写真データの顔のパーツ（目や鼻など）と相関性の強いニューロンを調べ、そのニューロンの値を強調したモデルである。第２の実施形態による認証方法は、第２特徴量抽出部２１の動作が異なる以外は、第１の実施形態と同様である。

【0028】

モデルＭ１０について説明する。
図６は、第２の実施形態に係るモデルＭ１０の学習方法を示すフローチャートである。
入力部１０は、図示しないデータベースから予め用意されていたデータセットを取得し、第２特徴量抽出部に出力する（ステップＬ１）。当該データセットは、入力サンプルである画像データと、入力サンプルである人物を表すラベルの組み合わせである。第２特徴量抽出部は機械学習モデルＭ０を基にして特徴量の計算を行う（ステップＬ２）。次に、モデルＭ０を構成するニューラルネットワークから、顔写真データの顔のパーツ（目や鼻など）と相関性の強いニューロンを調べ、そのニューロンの値を強調する（ステップＬ３１）。次に、ステップＬ３１において変更を加えた機械学習モデルＭ０のうち、データ入力部Ｍ１および特徴量算出部Ｍ２からなる部分モデルを抽出して、モデル記憶部２２に記憶させる（ステップＬ４）。

【0029】

《作用・効果》
このように、第２の実施形態によれば、認証装置は、第１の実施形態同様、入力データおよび比較データの２つのデータについて得られた特徴量に基づいて１つの計算結果を出力するため、非特許文献１、２のように１つの入力データから１つの計算結果を出力する装置と比較して、より正確に敵対的サンプルの検知をすることができる。

【0030】

〈第３の実施形態〉
図７は、第３の実施形態に係る認証装置の構成を示す概略ブロック図である。
図８は、第３の実施形態に係る認証装置の一部構成を示す概略ブロック図である。
第１の実施形態に係る認証装置は、１つの入力データと１つの比較データにより認証を行う装置である。これに対し、第３の実施形態に係る認証装置は、１つの入力データと予め用意されたＮ個の比較データにより、もしくは、Ｎ個の入力データと予め用意されたＮ個の比較データにより、認証を行う装置である。

【0031】

第３の実施形態に係る敵対的サンプル検知装置は、第１の実施形態に加え特徴量記憶部２３をさらに備えるものである。
第１特徴量抽出部２０および第２特徴量抽出部２１は、比較データ取得部１１から比較データを取得し、取得した比較データの特徴量を算出する。また、第１特徴量抽出部２０および第２特徴量抽出部２１は、算出した特徴量を特徴量記憶部２３に出力する。ここで、第１特徴量抽出部２０および第２特徴量抽出部２１は記録手段の一例である。
特徴量記憶部２３は、比較データに係る特徴量データを記憶する。また、特徴量記憶部２３は、類似度計算部３０またはスコア計算部３１に記憶した特徴量データを出力する。
類似度計算部３０およびスコア計算部３１は、入力データの第１特徴量および入力データの第２特徴量、特徴量記憶部２３より取得した比較データの特徴量を用いて計算を行う。

【0032】

図９は、第３の実施形態に係る認証装置の比較データの入力から記憶までの流れを示すフローチャートである。
比較データ取得部１１が、Ｎ個の比較データを取得する（ステップＫ１）。第３の実施形態に係る比較データは、例えば予めデータベースなどに記憶される。以下、認証装置は、取得されたＮ個の比較データを１つずつ選択し（ステップＫ２）、各比較データについて以下のステップＫ３からＫ５の処理を実行する。
第１特徴量抽出部２０は、ステップＫ２で選択された比較データの第１特徴量を算出する（ステップＫ３）。また第２特徴量抽出部２１は、ステップＫ２で選択された比較データの第２特徴量を算出する（ステップＫ４）。特徴量記憶部２３はステップＳ３で算出した第１特徴量およびステップＳ４で算出した第２特徴量を関連付けて記憶する（ステップＫ５）。
これにより、特徴量記憶部２３には、Ｎ個の比較データそれぞれの第１特徴量および第２特徴量が記憶される。

【0033】

図１０は、第３の実施形態に係る認証装置の入力データの入力から認証までの流れを示すフローチャートである。
入力部は、入力データを取得する（ステップＳ２０１）。第１特徴量抽出部２０が入力データの第１特徴量を算出する（ステップ２０２）。また、第２特徴量抽出部２１は、入力データの第２特徴量を算出する（ステップＳ２０３）。

【0034】

以下、認証装置は、Ｎ個の比較データを１つずつ選択し（ステップＳ２０４）、各比較データについて以下のステップＳ２０６からステップＳ２０９の処理を実行する（ステップ２０５）。
類似度計算部３０は、特徴量記憶部２３からステップＳ２０４で選択された比較データの第１特徴量を取得する（ステップＳ２０６）。
類似度計算部３０は、ステップＳ２０２で算出した入力データの第１特徴量と、ステップＳ２０５で取得した比較データの第１特徴量に基づいて、比較データに対する入力データの類似度を算出する（ステップＳ２０７）。認証部４０は、算出した類似度が設定した認証しきい値より小さいか否かを判定する（ステップＳ２０８） 。

【0035】

算出したすべての類似度が、設定した認証しきい値より小さい場合（ステップＳ２０９：ＮＯ）、認証部４０が認証失敗と判断する。そして、出力部５０が認証失敗したことを出力し（ステップＳ２１４）、処理を終了する。

【0036】

算出した少なくとも１つの類似度が、設定した認証しきい値以上である場合（ステップＳ２０９：ＹＥＳ）、限定した比較データについて以下のステップＳ２１１からステップＳ２１３の処理を実行する（ステップＳ２１０）。ここでいう限定した比較データとは、ステップ２０８で認証しきい値以上であると判定した類似度に対応する比較データのことである。
スコア計算部３１は、特徴量記憶部２３から比較データの第２特徴量を取得する（ステップＳ２１１）。スコア計算部３１は、ステップＳ２０２で算出した入力データの第１特徴量、ステップＳ２０３で算出した入力データの第２特徴量、ステップＳ２０６で取得した比較データの第１特徴量、およびステップＳ２１１で取得した比較データの第２特徴量を基にしたスコアを算出する（ステップＳ２１２）。

【0037】

スコア判定部４１は、算出したスコアが設定した検知しきい値より大きいか否かを判定する（ステップＳ２１３）。算出したスコアが検知しきい値より大きい場合（ステップＳ２１３：ＮＯ）、スコア判定部４１が敵対的サンプルを検知したと判断し、出力部５０が敵対的サンプルを検知したことを出力し（ステップＳ２１６）、処理を終了する。
算出したすべてのスコアが設定した検知しきい値以下である場合、出力部５０が認証成功を出力し（ステップＳ２１５）、処理を終了する。

【0038】

《作用・効果》
このように、第３の実施形態によれば、予め複数の比較データの特徴量データを記憶し、１つの入力データと比較を行い敵対的サンプルの検知を行っている。これにより、比較データの計算を省略することができ、計算量を低減することができる。

【0039】

〈他の実施形態〉
以上、図面を参照してこの発明の一実施形態について詳しく説明してきたが、具体的な構成は上述のものに限られることはなく、この発明の要旨を逸脱しない範囲内において様々な設計変更等をすることが可能である。
上述した実施形態においては、認証装置１は入力データとして顔写真データで説明したが、これに限られない。例えば、他の実施形態に係る入力データは、利用者の音声を収録した音声データなどを用いてもよい。

【0040】

また、認証部４０が認証する対象も顔写真に写る人物に限られない。例えば、動物や道路標識などを対象に認証してもよい。

【0041】

また、上述した実施形態においては、第１特徴量抽出部２０および第２特徴量抽出部２１は、機械学習モデルの最終出力である特徴量を用いて敵対的サンプルを検知するが、これに限られない。例えば、他の実施形態に係る第１特徴量抽出部２０および第２特徴量抽出部２１は、機械学習モデルの計算過程において現れる値（例えば、ニューラルネットワークの中間層の計算で得られる特徴量）を敵対的サンプルの検知に使用してもよい。具体的にはスコア計算部３１はある中間層により抽出される特徴量を元にスコアを計算し、スコア判定部４１はそのスコアを元に敵対的サンプルであるか否かの判定を行うものであってもよい。

【0042】

第１の実施形態に係る第２特徴量抽出部２１は、第１特徴量抽出部２０が用いる機械学習モデルを用いて、入力データおよび比較データに加工を加えたものから特徴量を抽出する。また第２の実施形態に係る第２特徴量抽出部２１は、第１特徴量抽出部２０が用いる機械学習モデルのうち特定のニューロンの値を強調したニューラルネットワークから構成されるモデルを使用して特徴量を抽出する。このように、第１の実施形態および第２の実施形態において、第２特徴量抽出部２１が第１特徴量抽出部と異なる特徴量を算出する例を説明したが、第２特徴量抽出部２１による特徴量の算出方法はこれに限られない。すなわち、第２特徴量抽出部２１は第１特徴量抽出部２０と異なる算出方法により、入力データおよび比較データの第２特徴量を抽出すればよい。

【0043】

また、上述の第３の実施形態に係る認証装置は、比較データの特徴量を算出し、特徴量記憶部２３に記憶させた後に入力データを入力し類似度計算およびスコア計算を行っているが、これに限られない。例えば、入力データおよび比較データを同時に取得し、入力データまたは比較データから算出した特徴量を特徴量記憶部２３に記憶させる。および特徴量を用いて類似度計算とスコア計算を行うというように、記憶部への記憶と個人認証または敵対的サンプルの検知が並列で行われてもよい。

【0044】

〈基本構成〉
図１１は、敵対的サンプル検知装置の基本構成を示す概略ブロック図である。
上述した実施形態では、敵対的サンプル検知装置の一実施形態として図１等に示す構成について説明したが、敵対的サンプル検知装置の基本構成は、図１１に示すとおりである。
すなわち、敵対的サンプル検知装置は、第１特徴量抽出部２０、第２特徴量抽出部２１、及び判定部４を基本構成とする。

【0045】

第１特徴量抽出部２０は、第１算出方法によって、入力データおよび比較データのそれぞれについて第１特徴量を抽出する。
第２特徴量抽出部２１は、第１算出方法と異なる第２算出方法によって、入力データおよび比較データのそれぞれについて第２特徴量を抽出する。
判定部４は、第１特徴量と第２特徴量を用いた計算により、入力データおよび比較データの少なくとも一方が敵対的サンプルであるか否かを判定する。
これにより、敵対的サンプル検知装置は、２つ以上のデータの特徴量の比較を行う認証器において敵対的サンプルを検知することができる。

【0046】

図１２は、少なくとも１つの実施形態に係るコンピュータの構成を示す概略ブロック図である。
コンピュータ９０は、プロセッサ９１、メインメモリ９２、ストレージ９３、インタフェース９４を備える。
上述の敵対的サンプル検知装置は、コンピュータ９０に実装される。そして、上述した各処理部の動作は、プログラムの形式でストレージ９３に記憶されている。プロセッサ９１は、プログラムをストレージ９３から読み出してメインメモリ９２に展開し、当該プログラムに従って上記処理を実行する。また、プロセッサ９１は、プログラムに従って、上述した各記憶部に対応する記憶領域をメインメモリ９２に確保する。

【0047】

プログラムは、コンピュータ９０に発揮させる機能の一部を実現するためのものであってもよい。例えば、プログラムは、ストレージ９３に既に記憶されている他のプログラムとの組み合わせ、または他の装置に実装された他のプログラムとの組み合わせによって機能を発揮させるものであってもよい。なお、他の実施形態においては、コンピュータ９０は、上記構成に加えて、または上記構成に代えてＰＬＤ（Programmable Logic Device）などのカスタムＬＳＩ（Large Scale Integrated Circuit）を備えてもよい。ＰＬＤの例としては、ＰＡＬ(Programmable Array Logic)、ＧＡＬ(Generic Array Logic)、ＣＰＬＤ(Complex Programmable Logic Device)、ＦＰＧＡ（Field Programmable Gate Array）が挙げられる。この場合、プロセッサ９１によって実現される機能の一部または全部が当該集積回路によって実現されてよい。

【0048】

ストレージ９３の例としては、ＨＤＤ（Hard Disk Drive）、ＳＳＤ（Solid State Drive）、磁気ディスク、光磁気ディスク、ＣＤ－ＲＯＭ（Compact Disc Read Only Memory）、ＤＶＤ－ＲＯＭ（Digital Versatile Disc Read Only Memory）、半導体メモリ等が挙げられる。ストレージ９３は、コンピュータ９０のバスに直接接続された内部メディアであってもよいし、インタフェース９４または通信回線を介してコンピュータ９０に接続される外部メディアであってもよい。また、このプログラムが通信回線によってコンピュータ９０に配信される場合、配信を受けたコンピュータ９０が当該プログラムをメインメモリ９２に展開し、上記処理を実行してもよい。少なくとも１つの実施形態において、ストレージ９３は、一時的でない有形の記憶媒体である。

【0049】

また、当該プログラムは、前述した機能の一部を実現するためのものであってもよい。さらに、当該プログラムは、前述した機能をストレージ９３に既に記憶されている他のプログラムとの組み合わせで実現するもの、いわゆる差分ファイル（差分プログラム）であってもよい。

【符号の説明】

【0050】

１ 認証装置
１０１ カメラ
１０２ 読み取り装置
１０３ ディスプレイ
１０ 入力部
１１ 比較データ取得部
２０ 第１特徴量抽出部
２１ 第２特徴量抽出部
２２ モデル記憶部
２３ 特徴量記憶部
３０ 類似度計算部
３１ スコア計算部
４ 判定部
４０ 認証部
４１ スコア判定部
５０ 出力部

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】