特許 7622829 学習装置、学習済みモデルの生成方法、演算装置、演算方法およびプログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2025-01-20

(45)【発行日】2025-01-28

(54)【発明の名称】学習装置、学習済みモデルの生成方法、演算装置、演算方法およびプログラム

(51)【国際特許分類】

   G06N 3/094 20230101AFI20250121BHJP

   G06N 3/082 20230101ALI20250121BHJP

【ＦＩ】

G06N3/094

G06N3/082

【請求項の数】 9

(21)【出願番号】P 2023523728

(86)(22)【出願日】2021-05-24

(86)【国際出願番号】 JP2021019638

(87)【国際公開番号】W WO2022249246

(87)【国際公開日】2022-12-01

【審査請求日】2023-11-01

(73)【特許権者】

【識別番号】000004237

【氏名又は名称】日本電気株式会社

(74)【代理人】

【識別番号】100149548

【弁理士】

【氏名又は名称】松沼 泰史

(74)【代理人】

【識別番号】100181135

【弁理士】

【氏名又は名称】橋本 隆史

(72)【発明者】

【氏名】柿崎 和也

(72)【発明者】

【氏名】古川 潤

【審査官】多賀 実

(56)【参考文献】

【文献】米国特許出願公開第２０１８／０３００６２９（ＵＳ，Ａ１）

【文献】特開２０２０－１６０３１９（ＪＰ，Ａ）

【文献】特開２０２０－１２６５２０（ＪＰ，Ａ）

【文献】米国特許出願公開第２０２０／０２３４１４２（ＵＳ，Ａ１）

【文献】米国特許出願公開第２０１９／０１５６１８３（ＵＳ，Ａ１）

【文献】Li Wan ほか，"Regularization of Neural Networks using DropConnect"，Proceedings of the 30th International Conference on Machine Learning [online]，Volume 28，MLResearchPress，2013年，[検索日 2024.07.16], インターネット:<URL:http://proceedings.mlr.press/v28/wan13.pdf>

【文献】Tiange Luo ほか，"RANDOM MASK: Towards Robust Convolutional Neural Networks"，arXiv.org [online]，arXiv:2007.14249v1，米国，Cornell University，2020年，pp.1-11，[検索日 2024.07.16], インターネット:<URL:https://arxiv.org/abs/2007.14249v1>

【文献】Sahar Abdelnabi ほか，"'What's in the box?!': Deflecting Adversarial Attacks by Randomly Deploying Adversarially-Disjoint Models"，arXiv.org [online]，arXiv:2102.05104v2，米国，Cornell University，2021年03月，pp.1-13，[検索日 2024.07.16], インターネット:<URL:https://arxiv.org/abs/2102.05104v2>

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ０６Ｎ ３／００－９９／００

(57)【特許請求の範囲】

【請求項1】

ニューラルネットワークモデルのエッジの刈り取り位置の複数のパターンを決定する刈り取り位置決定部と、
入力サンプルと出力サンプルの組である学習用データに基づいて、前記ニューラルネットワークモデルのエッジのうち前記刈り取り位置に係るエッジの重みをゼロとしたものに前記入力サンプルを入力したときに前記出力サンプルが出力されるように、前記ニューラルネットワークモデルのパラメータを更新する更新部と
を備え、
前記更新部は、前記パターン別に、刈り取り位置に係るエッジの重みをゼロにした前記ニューラルネットワークモデルに対する摂動ベクトルを求め、前記パターン別の前記摂動ベクトルの差異が大きくなるように、前記ニューラルネットワークモデルのパラメータを更新する
学習装置。

【請求項2】

前記出力サンプルは、前記入力サンプルの正解ラベルを表すワンホットベクトルである 請求項１に記載の学習装置。

【請求項3】

前記更新部は、前記ニューラルネットワークモデルのエッジのうち前記刈り取り位置に係るエッジの重みをゼロとしたものに前記入力サンプルを入力したときに前記出力サンプルが出力され、かつ、前記パターン別の前記摂動ベクトルの差異が大きくなるように、前記ニューラルネットワークモデルのパラメータを更新する
請求項２に記載の学習装置。

【請求項4】

前記パラメータが更新された前記ニューラルネットワークモデルのうち後段の層を除去した部分モデルを、入力データの特徴量を抽出する特徴量抽出モデルとして出力する出力部
を備える請求項２または請求項３に記載の学習装置。

【請求項5】

コンピュータに、
ニューラルネットワークモデルのエッジの刈り取り位置の複数のパターンを決定するステップと、
入力サンプルと出力サンプルの組である学習用データに基づいて、前記ニューラルネットワークモデルのエッジのうち前記刈り取り位置に係るエッジの重みをゼロとしたものに前記入力サンプルを入力したときに前記出力サンプルが出力されるように、前記ニューラルネットワークモデルのパラメータを更新するステップと
を実行させ、
前記パラメータを更新するステップは、前記パターン別に、刈り取り位置に係るエッジの重みをゼロにした前記ニューラルネットワークモデルに対する摂動ベクトルを求め、前記パターン別の前記摂動ベクトルの差異が大きくなるように、前記ニューラルネットワークモデルのパラメータを更新する
プログラム。

【請求項6】

ニューラルネットワークモデルのエッジの刈り取り位置の複数のパターンを決定するステップと、
入力サンプルと出力サンプルの組である学習用データに基づいて、前記ニューラルネットワークモデルのエッジのうち前記刈り取り位置に係るエッジの重みをゼロとしたものに前記入力サンプルを入力したときに前記出力サンプルが出力されるように、前記ニューラルネットワークモデルのパラメータを更新するステップと、
前記パラメータが更新された前記ニューラルネットワークモデルである学習済みモデルを出力するステップと
を備え、
前記パラメータを更新するステップは、前記パターン別に、刈り取り位置に係るエッジの重みをゼロにした前記ニューラルネットワークモデルに対する摂動ベクトルを求め、前記パターン別の前記摂動ベクトルの差異が大きくなるように、前記ニューラルネットワークモデルのパラメータを更新する
学習済みモデルの生成方法。

【請求項7】

前記学習済みモデルを出力するステップは、前記パラメータが更新された前記ニューラルネットワークモデルのうち後段の層を除去した部分モデルを前記学習済みモデルとして出力する
請求項６に記載の学習済みモデルの生成方法。

【請求項8】

ニューラルネットワークモデルのエッジの刈り取り位置の複数のパターンを決定するステップと、入力サンプルと出力サンプルの組である学習用データに基づいて、前記ニューラルネットワークモデルのエッジのうち前記刈り取り位置に係るエッジの重みをゼロとしたものに前記入力サンプルを入力したときに前記出力サンプルが出力されるように、前記ニューラルネットワークモデルのパラメータを更新するステップと、前記パラメータが更新された前記ニューラルネットワークモデルである学習済みモデルを出力するステップと、を備える学習済みモデルの生成方法で生成された学習済みモデルを取得する学習済みモデル取得部と、
前記学習済みモデルのエッジの刈り取り位置のパターンを無作為に決定する刈り取り位置決定部と、
前記学習済みモデルのエッジのうち前記刈り取り位置に係るエッジの重みをゼロとしたものに入力データを入力することで、出力データを得る演算部と
を備える演算装置。

【請求項9】

コンピュータに、
ニューラルネットワークモデルのエッジの刈り取り位置の複数のパターンを決定するステップと、入力サンプルと出力サンプルの組である学習用データに基づいて、前記ニューラルネットワークモデルのエッジのうち前記刈り取り位置に係るエッジの重みをゼロとしたものに前記入力サンプルを入力したときに前記出力サンプルが出力されるように、前記ニューラルネットワークモデルのパラメータを更新するステップと、前記パラメータが更新された前記ニューラルネットワークモデルである学習済みモデルを出力するステップと、を備える学習済みモデルの生成方法で生成された学習済みモデルを取得するステップと、
前記学習済みモデルのエッジの刈り取り位置のパターンを無作為に決定するステップと、
前記学習済みモデルのエッジのうち前記刈り取り位置に係るエッジの重みをゼロとしたものに入力データを入力することで、出力データを得るステップと
を実行させるためのプログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、学習装置、学習済みモデルの生成方法、演算装置、演算方法およびプログラムに関する。

【背景技術】

【0002】

機械学習において、入力データに所定のノイズを加えることで誤判定を誘発させる敵対的サンプル（Adversarial Examples）という攻撃手法が知られている。この手法は、学習済みモデルの演算の傾向に基づいて、誤判定させる対象となるデータと特徴量が近くなるようにノイズが算出される。複数のニューラルネットワークモデルを用いて敵対的サンプルに対してロバストな予測を行うＰＥＤＭ（Promoting Ensemble Diversity Method）と呼ばれる技術が知られている（例えば、非特許文献１を参照）。

【先行技術文献】

【非特許文献】

【0003】

【文献】Tianyu Pang, Taufik Xu, Chao Du, Ning Chen, Jun Zhu. “Improving Adversarial Robustness via Promoting Ensemble Diversity” ICML, 2019

【発明の概要】

【発明が解決しようとする課題】

【0004】

ＰＥＤＭは、複数のニューラルネットワークモデルを用いるため、使用するニューラルネットワークモデルの数に比例してパラメータ数が増大する。つまり、使用するニューラルネットワークモデルの数に比例して計算に必要な記憶容量が増大する。
本開示の目的の一例は、上述した課題を解決するために、敵対的サンプルに対するロバスト性を高め、かつ記憶容量の増大を抑えることができる学習装置、学習済みモデルの生成方法、演算装置、演算方法およびプログラムを提供することにある。

【課題を解決するための手段】

【0005】

本発明の第１の態様によれば、学習装置は、ニューラルネットワークモデルのエッジの刈り取り位置のパターンを決定する刈り取り位置決定部と、入力サンプルと出力サンプルの組である学習用データに基づいて、前記ニューラルネットワークモデルのエッジのうち前記刈り取り位置に係るエッジの重みをゼロとしたものに前記入力サンプルを入力したときに前記出力サンプルが出力されるように、前記ニューラルネットワークモデルのパラメータを更新する更新部とを備える。

【0006】

本発明の第２の態様によれば、プログラムは、コンピュータに、ニューラルネットワークモデルのエッジの刈り取り位置のパターンを決定するステップ、入力サンプルと出力サンプルの組である学習用データに基づいて、前記ニューラルネットワークモデルのエッジのうち前記刈り取り位置に係るエッジの重みをゼロとしたものに前記入力サンプルを入力したときに前記出力サンプルが出力されるように、前記ニューラルネットワークモデルのパラメータを更新するステップを実行させる。

【0007】

本発明の第３の態様によれば、学習済みモデルの生成方法は、ニューラルネットワークモデルのエッジの刈り取り位置のパターンを決定するステップと、入力サンプルと出力サンプルの組である学習用データに基づいて、前記ニューラルネットワークモデルのエッジのうち前記刈り取り位置に係るエッジの重みをゼロとしたものに前記入力サンプルを入力したときに前記出力サンプルが出力されるように、前記ニューラルネットワークモデルのパラメータを更新するステップと、前記パラメータが更新された前記ニューラルネットワークモデルである学習済みモデルを出力するステップとを備える。

【0008】

本発明の第４の態様によれば、演算装置は、上記態様に係る学習済みモデルの出力方法で生成された学習済みモデルを取得する学習済みモデル取得部と、前記学習済みモデルのエッジの刈り取り位置のパターンを決定する刈り取り位置決定部と、前記学習済みモデルのエッジのうち前記刈り取り位置に係るエッジの重みをゼロとしたものに入力データを入力することで、出力データを得る演算部とを備える。

【0009】

本発明の第５の態様によれば、プログラムは、コンピュータに、上記態様に係る学習済みモデルの出力方法で生成された学習済みモデルを取得するステップと、前記学習済みモデルのエッジの刈り取り位置のパターンを決定するステップと、前記学習済みモデルのエッジのうち前記刈り取り位置に係るエッジの重みをゼロとしたものに入力データを入力することで、出力データを得るステップとを実行させるためのプログラムである。

【0010】

本発明の第６の態様によれば、演算方法は、上記態様に係る学習済みモデルの出力方法で生成された学習済みモデルを取得するステップと、前記学習済みモデルのエッジの刈り取り位置のパターンを決定するステップと、前記学習済みモデルのエッジのうち前記刈り取り位置に係るエッジの重みをゼロとしたものに入力データを入力することで、出力データを得るステップとを備える。

【発明の効果】

【0011】

上記態様のうち少なくとも１つの態様によれば、敵対的サンプルに対するロバスト性を高め、かつ記憶容量の増大を抑えることができる。

【図面の簡単な説明】

【0012】

【図1】第１の実施形態に係る認証システムの構成を示す概略ブロック図である。

【図2】第１の実施形態に係る学習装置によって学習される分類モデルの構成図である。

【図3】第１の実施形態に係る学習装置による特徴量モデルの学習方法を示すフローチャートである。

【図4】第１の実施形態に係る認証装置による認証方法を示すフローチャートである。

【図5】学習装置の基本構成を示す概略ブロック図である。

【図6】演算装置の基本構成を示す概略ブロック図である。

【図7】少なくとも１つの実施形態に係るコンピュータの構成を示す概略ブロック図である。

【発明を実施するための形態】

【0013】

〈第１の実施形態〉
《認証システムの構成》
以下、図面を参照しながら実施形態について詳しく説明する。
図１は、第１の実施形態に係る認証システム１の構成を示す概略ブロック図である。
認証システム１は、学習装置１０と認証装置２０とを備える。
学習装置１０は、生体データが入力されると当該生体データの特徴量を出力するように、特徴量抽出モデルのパラメータを学習させる。生体データの例としては、顔画像、静脈画像、指紋データ、音声データなどが挙げられる。特徴量抽出モデルは、ニューラルネットワークなどの機械学習モデルによって表される。
認証装置２０は、学習装置１０によって学習されたパラメータを有する特徴量抽出モデル（学習済みモデル）を用いて、生体データに基づくユーザの認証を行う。
なお、第１の実施形態に係る認証システム１は、学習装置１０と認証装置２０とを別個の装置として備えるが、これに限られない。例えば、他の実施形態に係る認証システム１は、認証装置２０が学習装置１０の機能を有していてもよい。

【0014】

《学習装置１０の構成》
図２は、第１の実施形態に係る学習装置１０によって学習される分類モデルＭ０の構成図である。
学習装置１０は、分類モデル記憶部１１、データセット取得部１２、刈り取り位置決定部１３、演算部１４、摂動生成部１５、更新部１６、モデル抽出部１７、出力部１８を備える。

【0015】

分類モデル記憶部１１は、ニューラルネットワークによって構成された分類モデルＭ０を記憶する。分類モデルＭ０は、図２に示すように、入力層Ｍ０１、中間層Ｍ０２、出力層Ｍ０３を備える。入力層Ｍ０１は、入力された生体データをベクトルとして中間層Ｍ０２に出力する。中間層Ｍ０２は、２層以上のニューラルネットワークによって構成され、全結合層を１つ以上有する。中間層Ｍ０２は、ＣＮＮ（Convolutional Neural Network）によって構成されてもよい。中間層Ｍ０２は、入力層Ｍ０１から入力されたベクトルを、低次元の特徴ベクトルに変換し、出力層Ｍ０３に出力する。特徴ベクトルは特徴量の一例である。出力層Ｍ０３は、中間層Ｍ０２から入力された特徴ベクトルから、当該特徴ベクトルが表す人物の事後確率を示すＰ次元のベクトルに変換する。

【0016】

データセット取得部１２は、入力サンプルである生体データと、出力サンプルである人物ラベルとを関連付けた学習用データセットを取得する。人物ラベルは、データセットにおける人物の数をＰとした場合に、Ｐ次元のワンホットベクトルによって表される。

【0017】

刈り取り位置決定部１３は、中間層Ｍ０２のうち全結合層に係るエッジの刈り取り位置のパターンをランダムに決定する。具体的には、刈り取り位置決定部１３は、予め定められた刈り取り率に基づいて、分類モデルＭ０のエッジをマスクするマスクベクトルを生成する。マスクベクトルは、分類モデルＭ０のエッジに対応する要素を有するベクトルである。マスクベクトルの全要素のうち刈り取り率相当の要素の値が０であり、他の要素の値が１である。

【0018】

演算部１４は、刈り取り位置決定部１３が生成したマスクベクトルによって分類モデルＭ０のエッジをマスクしたテンポラリモデルに入力データを入力することで、出力ベクトルを計算する。

【0019】

摂動生成部１５は、テンポラリモデルに基づいて、敵対的サンプルを生成するための摂動ベクトルを演算する。摂動ベクトルは、入力データに加算することでテンポラリモデルが出力するベクトルのうち最も大きい値を有する要素を異ならせるためのベクトルである。摂動ベクトルの生成方法は、例えば参考文献１（Aleksander Madry, Aleksandar Makelov, Ludwig Schmidt, Dimitris Tsipras, Adrian Vladu, “Towards Deep Learning Models Resistant to Adversarial Attacks”, ICLR 2018）に示されるPGD Attack法を用いることができる。

【0020】

更新部１６は、データセット取得部１２が取得した学習用データセットを用いて、生体データを、刈り取り位置決定部１３が生成したマスクベクトルによってエッジをマスクした分類モデルＭ０に入力したときに、当該生体データに該当する人物の事後確率を示すＰ次元のベクトルを出力するように、分類モデルＭ０のパラメータを学習させる。

【0021】

モデル抽出部１７は、更新部１６によって学習された分類モデルＭ０のうち入力層Ｍ０１および中間層Ｍ０２からなる部分モデルを、特徴量抽出モデルとして抽出する。
出力部１８は、モデル抽出部１７によって抽出された特徴量抽出モデルを認証装置２０に出力する。出力は、ネットワーク等を介した通信によってなされてもよいし、可搬性の記憶装置を介してなされてもよい。

【0022】

《学習方法》
図３は、第１の実施形態に係る学習装置１０による特徴量モデルの学習方法を示すフローチャートである。
学習装置１０のデータセット取得部１２は、図示しないデータベースから予め用意されたデータセットを取得する（ステップＳ１）。刈り取り位置決定部１３は、乱数に基づいてエッジの刈り取り位置を示す複数のマスクベクトルを生成する（ステップＳ２）。このとき刈り取り位置決定部１３は、完全に一致するマスクベクトルの組が生じないように複数のマスクベクトルを生成する。

【0023】

学習装置１０は、生成されたマスクベクトルを１つずつ選択し（ステップＳ３）、選択したマスクベクトルごとに以下のステップＳ４からステップＳ７の処理を実行する。演算部１４は、分類モデル記憶部１１が記憶する分類モデルＭ０にステップＳ３で選択したマスクベクトルを適用し、中間層Ｍ０２の一部のエッジの伝達関数をゼロに置き換えたテンポラリモデルを生成する（ステップＳ４）。すなわち、演算部１４は、中間層Ｍ０２のエッジの刈り取りを行う。

【0024】

演算部１４は、取得したデータセットに含まれる入力サンプルと出力サンプルの組を１つずつ選択し（ステップＳ５）、選択した組ごとに以下のステップＳ６からステップＳ７の処理を実行する。なお、ステップＳ５からステップＳ７の処理はバッチ処理として実行されてよい。

【0025】

演算部１４は、ステップＳ４で生成したテンポラリモデルにステップＳ５で選択した入力サンプルを入力し、出力ベクトルを計算する（ステップＳ６）。摂動生成部１５は、ステップＳ４で生成したテンポラリモデルとステップＳ５で選択した入力サンプルとに基づいて、摂動ベクトルを生成する（ステップＳ７）。

【0026】

更新部１６は、複数の入力サンプルおよび複数のテンポラリモデルについて計算された出力ベクトルおよび摂動ベクトルを用いて、以下の式（１）に基づいて損失関数Ｌを算出する（ステップＳ８）。

【0027】

【数1】

【0028】

式（１）において、Ｄはデータセットの集合を示す。Ｍ_ｋは刈り取り割合ｋのマスクベクトルの集合を示す。Ｋは、刈り取り位置決定部１３が生成したマスクベクトルの数を示す。θは分類モデルＭ０を示す。ｘは入力サンプルを示す。ｙは出力サンプルを示す。Ｌ_ｎは、以下の式（２）で表される誤差基準関数を示す。Ｌ_ｄは、以下の式（３）で表されるダイバーシティ基準関数を示す。

【0029】

【数2】

【0030】

式（２）において、ｆ（θ，ｘ）は、モデルθにデータｘを入力して得られる出力ベクトルを示す。つまり、第１の実施形態において誤差基準関数Ｌ_ｎは、クロスエントロピー誤差である。

【0031】

【数3】

【0032】

式（３）において∇ｆ（θ，ｘ）は、モデルθとデータｘの組み合わせに対する摂動ベクトルを示す。つまり、第１の実施形態においてダイバーシティ基準関数Ｌ_ｄは、マスク位置を異ならせたテンポラリモデルどうしの摂動ベクトルのコサイン距離の平均値を表す。ダイバーシティ基準関数Ｌ_ｄは、刈り取り位置のパターン別の計算結果の差異が大きくなるように分類モデルＭ０のパラメータを更新するための評価基準である。計算結果の差異の大きさを表す方法の一例として、計算結果の距離が挙げられる。

【0033】

更新部１６は、算出した損失関数Ｌが小さくなるように、分類モデル記憶部１１が記憶する分類モデルＭ０のパラメータを更新する（ステップＳ９）。このとき更新部１６は、テンポラリモデルではなく分類モデルＭ０を更新する。これにより、更新部１６は、生体データを、テンポラリモデルに入力したときに、当該生体データに該当する人物の事後確率を示すＰ次元のベクトルを出力するように、分類モデルＭ０のパラメータを学習させることができる。

【0034】

更新部１６は、分類モデルＭ０のパラメータの更新処理を所定のエポック数だけ実行したか否かを判定する（ステップＳ１０）。分類モデルＭ０のパラメータの更新処理の実行回数が所定のエポック数未満である場合（ステップＳ１０：ＮＯ）、学習装置１０は処理をステップＳ２に戻し、パラメータの更新処理を繰り返す。

【0035】

他方、分類モデルＭ０のパラメータの更新処理の実行回数が所定のエポック数に至った場合（ステップＳ１０：ＹＥＳ）、モデル抽出部１７は、分類モデル記憶部１１が記憶する分類モデルＭ０のうち入力層Ｍ０１および中間層Ｍ０２からなる部分モデルを、特徴量抽出モデルとして抽出する（ステップＳ１１）。出力部１８は、ステップＳ１１で抽出された特徴量抽出モデルを認証装置２０に出力する（ステップＳ１２）。なお、テンポラリモデルは、学習処理が終了するとともに破棄される。

【0036】

《認証装置２０の構成》
図１を参照すると、認証装置２０は、ユーザデータ記憶部２１、モデル取得部２２、抽出モデル記憶部２３、生体データ取得部２４、刈り取り位置決定部２５、特徴量抽出部２６、類似度算出部２７、および認証部２８を備える。

【0037】

ユーザデータ記憶部２１は、ユーザのアカウントデータと、当該ユーザの生体データとを関連付けて記憶する。
モデル取得部２２は、学習装置１０から学習済みの特徴量抽出モデルを取得する。
抽出モデル記憶部２３は、モデル取得部２２が取得した学習済みの特徴量抽出モデルを記憶する。

【0038】

生体データ取得部２４は、認証装置２０に設けられたセンサ等から認証対象となる生体データを取得する。
刈り取り位置決定部２５は、特徴量抽出モデルに係るエッジの刈り取り位置のパターンをランダムに決定する。具体的には、刈り取り位置決定部２５は、予め定められた刈り取り率に基づいて、特徴量抽出モデルのエッジをマスクするマスクベクトルを生成する。つまり、刈り取り位置決定部２５は刈り取り位置決定部１３と同様の処理を行う。なお、刈り取り位置決定部２５が用いる刈り取り率は学習装置１０の刈り取り位置決定部１３が用いる刈り取り率と異なるものであってよい。例えば、刈り取り位置決定部２５が用いる刈り取り率は０％であってもよい。

【0039】

特徴量抽出部２６は、刈り取り位置決定部１３が生成したマスクベクトルによって抽出モデル記憶部２３が記憶する特徴量抽出モデルのエッジをマスクしたテンポラリモデルを生成する。特徴量抽出部２６は、生成したテンポラリモデルを用いてユーザデータ記憶部２１が記憶する生体データおよび生体データ取得部２４が取得した生体データから特徴ベクトルを抽出する。

【0040】

類似度算出部２７は、２つの特徴ベクトルどうしの類似度を算出する。類似度の尺度の例としては、Ｌ２距離、コサイン類似度、ＰＬＤＡ（Probabilistic Linear Discriminant Analysis）などが挙げられる。

【0041】

認証部２８は、類似度算出部２７が算出した類似度に基づいて、ユーザデータ記憶部２１に記憶されたユーザであるか否かの認証を行う。認証部２８は、ユーザデータ記憶部２１に記憶されたユーザであると判定した場合、当該ユーザのアカウントデータを返す。

【0042】

《認証方法》
図４は、第１の実施形態に係る認証装置２０による認証方法を示すフローチャートである。なお、認証方法の実行に先立ってモデル取得部２２は、学習装置１０から学習済みの特徴量抽出モデルを取得し、抽出モデル記憶部２３に記録しているものとする。

【0043】

認証装置２０の生体データ取得部２４は、認証装置２０に接続されたセンサ等から生体データを取得する（ステップＳ２１）。刈り取り位置決定部１３は、乱数に基づいてエッジの刈り取り位置を示す１つのマスクベクトルを生成する（ステップＳ２２）。特徴量抽出部２６は、抽出モデル記憶部２３が記憶する特徴量抽出モデルにマスクベクトルを適用し、一部のエッジの伝達関数をゼロに置き換えたテンポラリモデルを生成する（ステップＳ２３）。

【0044】

特徴量抽出部２６は、ステップＳ２１で取得した生体データを、ステップＳ２３で生成したテンポラリモデルに入力することで、特徴ベクトルを算出する（ステップＳ２４）。次に、認証装置２０は、ユーザデータ記憶部２１が記憶するユーザを１つずつ選択し（ステップＳ２５）、以下に示すステップＳ２６からステップＳ２７を実行する。

【0045】

まず、特徴量抽出部２６は、ステップＳ２５で選択されたユーザに関連付けられた生体データを、ステップＳ２３で生成したテンポラリモデルに入力することで、特徴ベクトルを算出する（ステップＳ２６）。次に、類似度算出部２７は、ステップＳ２４で算出した特徴ベクトルとステップＳ２６で算出した特徴ベクトルとの類似度を算出する（ステップＳ２７）。

【0046】

認証部２８は、ユーザデータ記憶部２１が記憶する各ユーザについて、取得された生体データとの類似度を算出すると、算出された類似度のうち、所定の認証閾値を超えるものがあるか否かを判定する（ステップＳ２８）。すべての類似度が認証閾値以下である場合（ステップＳ２８：ＮＯ）、認証部２８は、ステップＳ２１で取得した生体データによる認証に失敗したと判定し（ステップＳ２９）、処理を終了する。

【0047】

他方、少なくとも１つの類似度が認証閾値を超える場合（ステップＳ２８：ＹＥＳ）、認証部２８は、最も高い類似度に係るユーザを特定し（ステップＳ３０）、当該ユーザのアカウントデータを出力する（ステップＳ３１）。なお、テンポラリモデルは、認証処理が終了するとともに破棄される。

【0048】

《作用・効果》
このように、第１の実施形態に係る認証システム１によれば、１つの特徴量抽出モデルをランダムにマスクすることで、特徴量抽出モデルと同様に特徴量を抽出可能な無数のテンポラリモデルを生成することができる。これは、学習装置１０が分類モデルＭ０のエッジのうちランダムに決定された刈り取り位置に係るものを刈り取ったテンポラリモデルに入力サンプルを入力したときに出力サンプルが出力されるように、分類モデルＭ０のパラメータを更新したことによる。無数に生成可能なテンポラリモデルに対する敵対的サンプルの生成が困難であることから、第１の実施形態に係る認証システム１は敵対的サンプルに対するロバスト性が高いといえる。また、第１の実施形態における無数のテンポラリモデルは、１つの特徴量抽出モデルから生成されることから、認証システム１が保持しておくべきモデルは、１つの特徴量抽出モデルだけであるため、第１の実施形態に係る認証システム１は無数のテンポラリモデルを用いた演算が可能であるにもかかわらず、記憶容量の増大を抑えることができる。

【0049】

《実験例》
発明者は、第１の実施形態に係る手法と、非特許文献１に記載の手法との比較実験を行った。比較実験において、学習用データセットとしてＣＩＦＡＲ１０（https://www.cs.toronto.edu/~kriz/cifar.html［２０２１年５月１４日検索］）を用いた。また比較実験では、第１の実施形態に係る手法のモデルとしては、分類モデルＭ０を用いた。第１の実施形態および非特許文献１におけるアンサンブル数Ｋは３とした。敵対的摂動の生成は、参考文献１のPGD Attack法を用いた。摂動の大きさ（敵対的サンプルの生成元である画像と敵対的サンプルのＬ_∞距離）は０．０２とした。また、学習装置１０における刈り取り率は２０％とし、マスクベクトルの数Ｋは２とした。認証装置２０における刈り取り率は０％とした。

【0050】

その結果、非特許文献１に記載の手法で得られたモデルを用いた場合、正常データ（摂動ベクトルを加算しないデータ）を正しく分類できた割合は９５．４％であり、敵対的サンプル（摂動ベクトルを加算しないデータ）を正しく分類できた割合は３６．５％であった。
これに対し、第１の実施形態に係る分類モデルＭ０を用いた場合、正常データを正しく分類できた割合は９３．３％であり、敵対的サンプルを正しく分類できた割合は５８．７％であった。

【0051】

なお、非特許文献１に記載の手法で得られたモデルのデータサイズは３２×Ｐ×Ｋであるのに対し、第１の実施形態に係る分類モデルＭ０のデータサイズは３２×Ｐである。Ｐは１つのモデルのパラメータ数を示し、Ｋはモデル数を示す。これは、１つのパラメータが32 bit floatで表されるためである。
つまり、第１の実施形態に係る分類モデルＭ０は、非特許文献１に記載の手法と比較してデータサイズをＫ分の１に抑えられるうえ、非特許文献１に記載の手法と同程度の精度を実現することができる。特に、敵対的サンプルを正しく分類できた割合は、非特許文献１に記載の手法より高かった。

【0052】

〈他の実施形態〉
以上、図面を参照して一実施形態について詳しく説明してきたが、具体的な構成は上述のものに限られることはなく、様々な設計変更等をすることが可能である。すなわち、他の実施形態においては、上述の処理の順序が適宜変更されてもよい。また、一部の処理が並列に実行されてもよい。

【0053】

上述した実施形態に係る学習装置１０および認証装置２０は、それぞれ別個のコンピュータによって構成されるが、他の実施形態においては１つのコンピュータで実現されてもよい。

【0054】

上述した実施形態に係る認証装置２０は、特徴量抽出モデルによって抽出された特徴量の類似度によって認証処理を行うが、これに限られない。例えば、他の実施形態に係る認証装置２０は、分類モデルＭ０の出力に基づいて認証処理を行ってもよい。また上述した実施形態においては、学習済みモデルを用いた演算装置を生体認証を行う認証装置２０に適用したが、これに限られない。例えば、他の実施形態に係る演算装置は、生体データでないデータ、例えば製品の画像などを入力し、正規品であるか否かの判定を行う装置など、生体認証以外の処理を行う者であってもよい。

【0055】

上述した実施形態に係る認証装置２０は、特徴量抽出モデルの刈り取りを行った１つのテンポラリモデルに基づいて特徴量を抽出するが、これに限られない。例えば、他の実施形態に係る認証装置２０は、１つの特徴量抽出モデルから複数のテンポラリモデルを生成し、複数のテンポラリモデルのアンサンブル処理によって特徴量を抽出してもよい。

【0056】

上述した実施形態に係る学習装置１０は、式（３）に示すダイバーシティ基準関数を用いることで、刈り取り位置のパターン別の計算結果の差異が大きくなるように分類モデルＭ０のパラメータを更新するが、これに限られない。例えば、他の実施形態に係る学習装置１０は、例えばテンポラリモデルによる計算結果のうち、正解ラベルをマスクしたベクトル同士の距離が大きくなるような損失関数を用いてもよい。すなわち学習装置１０は、摂動ベクトルを計算せずに分類モデルＭ０のパラメータを更新してもよい。

【0057】

〈基本構成〉
図５は、学習装置０１０の基本構成を示す概略ブロック図である。
上述した実施形態では、学習装置０１０の一実施形態として図１に示す学習装置１０について説明したが、学習装置０１０の基本構成は、図５に示すとおりである。
すなわち、学習装置０１０は、刈り取り位置決定部０１１、および更新部０１２を基本構成とする。

【0058】

刈り取り位置決定部０１１は、ニューラルネットワークモデルのエッジの刈り取り位置のパターンを決定する。刈り取り位置決定部０１１は、刈り取り位置決定部１３に相当する。
更新部０１２は、入力サンプルと出力サンプルの組である学習用データに基づいてニューラルネットワークモデルのパラメータを更新する。具体的には、更新部０１２は、ニューラルネットワークモデルのエッジのうち刈り取り位置に係るエッジの重みをゼロとしたものに入力サンプルを入力したときに出力サンプルが出力されるように、パラメータを更新する。更新部０１２は、更新部１６に相当する。

【0059】

これにより、学習装置０１０は、敵対的サンプルに対するロバスト性を高め、かつ記憶容量の増大を抑えることができることができる。

【0060】

図６は、演算装置０２０の基本構成を示す概略ブロック図である。
上述した実施形態では、演算装置０２０の一実施形態として図１に示す認証装置２０について説明したが、演算装置０２０の基本構成は、図６に示すとおりである。
すなわち、演算装置０２０は、学習済みモデル取得部０２１、刈り取り位置決定部０２２および演算部０２３を基本構成とする。

【0061】

学習済みモデル取得部０２１は、学習装置０１０によって生成された学習済みモデルを取得する。学習済みモデル取得部０２１は、モデル取得部２２に相当する。
刈り取り位置決定部０２２は、学習済みモデルのエッジの刈り取り位置のパターンを決定する。刈り取り位置決定部０２２は、刈り取り位置決定部２５に相当する。
演算部０２３は、学習済みモデルのエッジのうち刈り取り位置に係るエッジの重みをゼロとしたものに入力データを入力することで、出力データを得る。演算部０２３は、特徴量抽出部２６に相当する。

【0062】

これにより、演算装置０２０は、敵対的サンプルに対するロバスト性を高め、かつ記憶容量の増大を抑えることができることができる。

【0063】

〈コンピュータ構成〉
図７は、少なくとも１つの実施形態に係るコンピュータの構成を示す概略ブロック図である。
コンピュータ９０は、プロセッサ９１、メインメモリ９３、ストレージ９５、インタフェース９７を備える。
上述の学習装置１０および認証装置２０は、コンピュータ９０に実装される。そして、上述した各処理部の動作は、プログラムの形式でストレージ９５に記憶されている。プロセッサ９１は、プログラムをストレージ９５から読み出してメインメモリ９３に展開し、当該プログラムに従って上記処理を実行する。また、プロセッサ９１は、プログラムに従って、上述した各記憶部に対応する記憶領域をメインメモリ９３に確保する。プロセッサ９１の例としては、ＣＰＵ（Central Processing Unit）、ＧＰＵ（Graphic Processing Unit）、マイクロプロセッサなどが挙げられる。

【0064】

プログラムは、コンピュータ９０に発揮させる機能の一部を実現するためのものであってもよい。例えば、プログラムは、ストレージに既に記憶されている他のプログラムとの組み合わせ、または他の装置に実装された他のプログラムとの組み合わせによって機能を発揮させるものであってもよい。なお、他の実施形態においては、コンピュータ９０は、上記構成に加えて、または上記構成に代えてＰＬＤ（Programmable Logic Device）などのカスタムＬＳＩ（Large Scale Integrated Circuit）を備えてもよい。ＰＬＤの例としては、ＰＡＬ(Programmable Array Logic)、ＧＡＬ(Generic Array Logic)、ＣＰＬＤ(Complex Programmable Logic Device)、ＦＰＧＡ（Field Programmable Gate Array）が挙げられる。この場合、プロセッサ９１によって実現される機能の一部または全部が当該集積回路によって実現されてよい。このような集積回路も、プロセッサの一例に含まれる。

【0065】

ストレージ９５の例としては、磁気ディスク、光磁気ディスク、光ディスク、半導体メモリ等が挙げられる。ストレージ９５は、コンピュータ９０のバスに直接接続された内部メディアであってもよいし、インタフェース９７または通信回線を介してコンピュータ９０に接続される外部メディアであってもよい。また、このプログラムが通信回線によってコンピュータ９０に配信される場合、配信を受けたコンピュータ９０が当該プログラムをメインメモリ９３に展開し、上記処理を実行してもよい。少なくとも１つの実施形態において、ストレージ９５は、一時的でない有形の記憶媒体である。

【0066】

また、当該プログラムは、前述した機能の一部を実現するためのものであってもよい。さらに、当該プログラムは、前述した機能をストレージ９５に既に記憶されている他のプログラムとの組み合わせで実現するもの、いわゆる差分ファイル（差分プログラム）であってもよい。

【符号の説明】

【0067】

１…認証システム １０…学習装置 １１…分類モデル記憶部 １２…データセット取得部 １３…刈り取り位置決定部 １４…演算部 １５…摂動生成部 １６…更新部 １７…モデル抽出部 １８…出力部 ２０…認証装置 ２１…ユーザデータ記憶部 ２２…モデル取得部 ２３…抽出モデル記憶部 ２４…生体データ取得部 ２５…刈り取り位置決定部 ２６…特徴量抽出部 ２７…類似度算出部 ２８…認証部 ９０…コンピュータ ９１…プロセッサ ９３…メインメモリ ９５…ストレージ ９７…インタフェース

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】