特許 7597225 学習用データ生成装置、学習用データの生成方法、プログラム、検知モデルの生成方法および認証システム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2024-12-02

(45)【発行日】2024-12-10

(54)【発明の名称】学習用データ生成装置、学習用データの生成方法、プログラム、検知モデルの生成方法および認証システム

(51)【国際特許分類】

   G06F 18/214 20230101AFI20241203BHJP

   G06N 20/00 20190101ALI20241203BHJP

【ＦＩ】

G06F18/214

G06N20/00

【請求項の数】 5

(21)【出願番号】P 2023534567

(86)(22)【出願日】2021-07-16

(86)【国際出願番号】 JP2021026796

(87)【国際公開番号】W WO2023286269

(87)【国際公開日】2023-01-19

【審査請求日】2024-01-05

(73)【特許権者】

【識別番号】000004237

【氏名又は名称】日本電気株式会社

(74)【代理人】

【識別番号】100149548

【弁理士】

【氏名又は名称】松沼 泰史

(74)【代理人】

【識別番号】100181135

【弁理士】

【氏名又は名称】橋本 隆史

(72)【発明者】

【氏名】柿崎 和也

(72)【発明者】

【氏名】荒木 俊則

【審査官】大倉 崚吾

(56)【参考文献】

【文献】米国特許出願公開第２０２０／０００５１３３（ＵＳ，Ａ１）

【文献】国際公開第２０２０／１２１４５０（ＷＯ，Ａ１）

【文献】特表２０２１－５１３１４３（ＪＰ，Ａ）

【文献】国際公開第２０２１／１３１０２９（ＷＯ，Ａ１）

【文献】中国特許出願公開第１１０２２２５０２（ＣＮ，Ａ）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ０６Ｎ ３／００－９９／００

Ｇ０６Ｆ １８／００－１８／４０

Ｇ０６Ｆ ２１／３２

Ｇ０６Ｆ ２１／３６

(57)【特許請求の範囲】

【請求項1】

第１の個体に係る個体データである第１サンプルを取得するサンプル取得部と、
前記第１サンプルに摂動を加えて敵対的サンプルを生成するＡＸ生成部と、
入力された個体データに学習済みのパラメータを用いた計算をすることで特徴量を算出する学習済みモデルによって算出された、前記敵対的サンプルの特徴量である第１特徴量と、前記第１の個体に係る個体データの特徴量である第２特徴量と、前記第１の個体と異なる第２の個体に係る個体データの特徴量である第３特徴量とを取得する特徴量取得部と、
前記第１特徴量と前記第２特徴量との類似度が閾値以上であり、かつ前記第１特徴量と前記第３特徴量との類似度が閾値以上である前記敵対的サンプルを出力する出力部と
を備える学習用データ生成装置。

【請求項2】

コンピュータが、
第１の個体に係る個体データである第１サンプルを取得し、
前記第１サンプルに摂動を加えて敵対的サンプルを生成し、
入力された個体データに学習済みのパラメータを用いた計算をすることで特徴量を算出する学習済みモデルによって算出された、前記敵対的サンプルの特徴量である第１特徴量と、前記第１の個体に係る個体データの特徴量である第２特徴量と、前記第１の個体と異なる第２の個体に係る個体データの特徴量である第３特徴量とを取得し、
前記第１特徴量と前記第２特徴量との類似度が閾値以上であり、かつ前記第１特徴量と前記第３特徴量との類似度が閾値以上である前記敵対的サンプルを学習用データとして出力する
学習用データの生成方法。

【請求項3】

コンピュータに、
第１の個体に係る個体データである第１サンプルを取得するステップと、
前記第１サンプルに摂動を加えて敵対的サンプルを生成するステップと、
入力された個体データに学習済みのパラメータを用いた計算をすることで特徴量を算出する学習済みモデルによって算出された、前記敵対的サンプルの特徴量である第１特徴量と、前記第１の個体に係る個体データの特徴量である第２特徴量と、前記第１の個体と異なる第２の個体に係る個体データの特徴量である第３特徴量とを取得するステップと、 前記第１特徴量と前記第２特徴量との類似度が閾値以上であり、かつ前記第１特徴量と前記第３特徴量との類似度が閾値以上である前記敵対的サンプルを出力するステップと
を実行させるためのプログラム。

【請求項4】

コンピュータが、
請求項２に示す学習用データの生成方法によって学習用データとして出力される複数の敵対的サンプルを生成し、
生成された前記複数の敵対的サンプルと複数の正常な個体データとを用いて、個体データを入力とし、当該個体データが正常な個体データであるか敵対的サンプルであるかの判定結果を出力する機械学習モデルである検知モデルのパラメータを学習する
検知モデルの生成方法。

【請求項5】

記憶媒体に認証用生体データとアカウントデータとを記録する記録装置と、
前記記憶媒体に基づいて人物の認証を行う認証装置と、
生体データが敵対的サンプルであるか否かを判定する判定装置と
を備える認証システムであって、
前記記録装置は、
第１人物が提出した第１生体データを取得する取得部と、
前記第１人物から第２生体データを生成する第１生成部と、
入力された個体データに学習済みのパラメータを用いた計算をすることで特徴量を算出する学習済みモデルである特徴量抽出モデルによって、前記第１生体データの特徴量および前記第２生体データの特徴量を算出する第１算出部と、
算出された前記第１生体データの前記特徴量と前記第２生体データの前記特徴量との類似度が閾値以上である場合に前記第１生体データを前記記憶媒体に記録する記録部と
を備え、
前記認証装置は、
第２人物から第３生体データを生成する第２生成部と、
前記特徴量抽出モデルによって、前記記憶媒体が記憶する第１生体データの特徴量と、前記第３データの特徴量とを算出する第２算出部と、
算出された前記類似度が閾値以上であるか否かを判定する照合部と
を備え、
前記判定装置は、前記第１生体データを、請求項４に記載の検知モデルの生成方法で生成された学習済みの検知モデルに入力することで、前記第１生体データが敵対的サンプルであるか否かを判定する判定部を備える
認証システム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、学習用データ生成装置、学習用データの生成方法、プログラム、検知モデルの生成方法および認証システムに関する。

【背景技術】

【0002】

機械学習において、入力データに所定のノイズを加えることで誤判定を誘発させる敵対的サンプル（Adversarial Examples）という攻撃手法が知られている。この手法は、学習済みモデルの演算の傾向に基づいて、誤判定させる対象となるデータと特徴量が近くなるようにノイズが算出される。非特許文献１には、入力されたデータが敵対的サンプルを検知する検知モデルの学習方法が開示されている。

【先行技術文献】

【非特許文献】

【0003】

【文献】Zhitao Gong, Wenlu Wang, Wei-Shinn Ku, “Adversarial and Clean Data Are Not Twins”、［online］、［2021年05月28日検索］、インターネット〈URL: https://arxiv.org/abs/1704.04960〉

【発明の概要】

【発明が解決しようとする課題】

【0004】

敵対的サンプルは、人物の認証システムなどの学習に基づく認証処理を行うシステムにおいて脅威となる。検知モデルを用いて認証システムにおいて脅威となる敵対的サンプルの検知精度を高めるためには、検知モデルに学習用データとして無作為に生成された敵対的サンプルを与えるのではなく、適切なデータを与えることが求められる。
本発明の目的は、上述した課題を解決するために、認証システムにおいて脅威となる敵対的サンプルの検知精度を高めることができる学習用データ生成装置、学習用データの生成方法、プログラム、検知モデルの生成方法および認証システムを提供することにある。

【課題を解決するための手段】

【0005】

本発明の第１の態様によれば、学習用データ生成装置は、第１の個体に係る個体データである第１サンプルを取得するサンプル取得部と、前記第１サンプルに摂動を加えて敵対的サンプルを生成するＡＸ生成部と、入力された個体データに学習済みのパラメータを用いた計算をすることで特徴量を算出する学習済みモデルによって算出された、前記敵対的サンプルの特徴量である第１特徴量と、前記第１の個体に係る個体データの特徴量である第２特徴量と、前記第１の個体と異なる第２の個体に係る個体データの特徴量である第３特徴量とを取得する特徴量取得部と、前記第１特徴量と前記第２特徴量との類似度が閾値以上であり、かつ前記第１特徴量と前記第３特徴量との類似度が閾値以上である前記敵対的サンプルを出力する出力部とを備える。

【0006】

本発明の第２の態様によれば、学習用データの生成方法は、第１の個体に係る個体データである第１サンプルを取得するステップと、前記第１サンプルに摂動を加えて敵対的サンプルを生成するステップと、入力された個体データに学習済みのパラメータを用いた計算をすることで特徴量を算出する学習済みモデルによって算出された、前記敵対的サンプルの特徴量である第１特徴量と、前記第１の個体に係る個体データの特徴量である第２特徴量と、前記第１の個体と異なる第２の個体に係る個体データの特徴量である第３特徴量とを取得するステップと、前記第１特徴量と前記第２特徴量との類似度が閾値以上であり、かつ前記第１特徴量と前記第３特徴量との類似度が閾値以上である前記敵対的サンプルを学習用データとして出力するステップとを備える。

【0007】

本発明の第３の態様によれば、プログラムは、コンピュータに、第１の個体に係る個体データである第１サンプルを取得するステップと、前記第１サンプルに摂動を加えて敵対的サンプルを生成するステップと、入力された個体データに学習済みのパラメータを用いた計算をすることで特徴量を算出する学習済みモデルによって算出された、前記敵対的サンプルの特徴量である第１特徴量と、前記第１の個体に係る個体データの特徴量である第２特徴量と、前記第１の個体と異なる第２の個体に係る個体データの特徴量である第３特徴量とを取得するステップと、前記第１特徴量と前記第２特徴量との類似度が閾値以上であり、かつ前記第１特徴量と前記第３特徴量との類似度が閾値以上である前記敵対的サンプルを出力するステップとを実行させる。

【0008】

本発明の第４の態様によれば、検知モデルの生成方法は、請求項２に示す学習用データの生成方法によって複数の敵対的サンプルを生成するステップと、生成された前記複数の敵対的サンプルと複数の正常な個体データとを用いて、個体データを入力とし、当該個体データが正常な個体データであるか敵対的サンプルであるかの判定結果を出力する機械学習モデルである検知モデルのパラメータを学習するステップとを備える。

【0009】

本発明の第５の態様によれば、認証システムは、人物の認証に用いる生体データを記憶する記憶媒体と、前記記憶媒体に認証用生体データとアカウントデータとを登録する登録装置と、前記記憶媒体に基づいて人物の認証を行う認証装置と、生体データが敵対的サンプルであるか否かを判定する判定装置とを備える認証システムであって、前記登録装置は、第１人物が提出した第１生体データを取得する取得部と、前記第１人物から第２生体データを生成する生成部と、入力された個体データに学習済みのパラメータを用いた計算をすることで特徴量を算出する学習済みモデルである特徴量抽出モデルによって、前記第１生体データおよび前記第２生体データの類似度を算出する第１算出部と、前記第１算出部が算出した類似度が閾値以上である場合に前記第１生体データを前記記憶媒体に記録する記録部と、を備え、前記認証装置は、第２人物から第３生体データを生成する生成部と、前記特徴量抽出モデルによって、前記記憶媒体が記憶する複数の第１生体データそれぞれの特徴量と、前記第３データの特徴量とを算出する第２算出部と、前記第２算出部が算出した類似度が閾値以上であるか否かを判定する判定部と、を備え、前記判定装置は、前記第１生体データを、上記態様に係る検知モデルの生成方法で生成された学習済みの検知モデルに入力することで、前記第１生体データが敵対的サンプルであるか否かを判定する判定部を備える。

【発明の効果】

【0010】

上記少なくとも１つの態様によれば、認証システムにおいて脅威となる敵対的サンプルの検知精度を高めることができる学習用データを供給することができる。

【図面の簡単な説明】

【0011】

【図1】第１の実施形態に係る認証システムの構成を示す概略図である。

【図2】第１の実施形態に係る発行装置のコンピュータ構成を示す概略図である。

【図3】第１の実施形態に係る発行装置の動作を示すフローチャートである。

【図4】第１の実施形態に係る認証装置の構成を示す概略図である。

【図5】第１の実施形態に係る認証装置の動作を示すフローチャートである。

【図6】第１の実施形態に係る学習装置の構成を示す概略ブロック図である。

【図7】第１の実施形態に係る学習装置による特徴量抽出モデルの学習方法を示すフローチャートである。

【図8】第１の実施形態に係る学習装置による検知モデルの学習方法を示す第１のフローチャートである。

【図9】第１の実施形態に係る学習装置による検知モデルの学習方法を示す第２のフローチャートである。

【図10】学習用データ生成装置の基本構成を示す概略ブロック図である。

【図11】認証システムの基本構成を示す概略ブロック図である。

【図12】少なくとも１つの実施形態に係るコンピュータの構成を示す概略ブロック図である。

【発明を実施するための形態】

【0012】

〈第１の実施形態〉
《認証システムの構成》
以下、図面を参照しながら実施形態について詳しく説明する。
図１は、第１の実施形態に係る認証システム１の構成を示す概略図である。
第１の実施形態に係る認証システム１は、人物を撮像して得られる顔画像と、登録証Ｒに記録された顔画像と照合することで、人物の認証を行う。人物の顔画像は、生体データの一例である。また顔画像は、個体データの一例である。

【0013】

登録証Ｒは、人物の認証に用いる認証用顔画像と、当該人物のアカウントデータとが関連付けて記録された記録媒体である。アカウントデータは、例えば人物の氏名やＩＤなど、人物を特定可能なデータである。例えば、登録証Ｒは、認証用顔画像とアカウントデータとを電子的または磁気的に記憶するＩＣカードや磁気ストライプカードであってよい。また登録証Ｒは、認証用顔画像とアカウントデータとが印刷されたカードであってもよい。

【0014】

認証システム１は、発行装置１１、認証装置１３、学習装置１５を備える。

【0015】

発行装置１１は、例えば登録証Ｒの発行事務所に設けられる。発行装置１１は、登録証Ｒの発行を受けようとする人物から認証用顔画像の提出を受け付け、提出された認証用顔画像とアカウントデータとを記録した登録証Ｒを発行する。発行装置１１は、提出された認証用顔画像とその人物の顔画像との照合を行い、照合に成功した場合に限り、登録証Ｒを発行する。

【0016】

認証装置１３は、正規の登録証Ｒを有するものに入場を許可する施設の入口に設けられる。認証装置１３は、施設へ入場しようとする人物の顔画像を撮像し、登録証Ｒに記録された認証用顔画像との照合を行う。また認証装置１３は、照合に成功した場合に登録証Ｒの認証用顔画像が敵対的サンプルであるか否かを判定する。認証装置１３は、顔画像と認証用顔画像との照合に成功し、かつ認証用顔画像が敵対的サンプルでない場合に、人物の施設への入場を許可する。認証装置１３は、生体データが敵対的サンプルであるか否かを判定する判定装置の機能を有する。

【0017】

学習装置１５は、発行装置１１および認証装置１３において顔画像の照合に用いる特徴量抽出モデルのパラメータの学習を行う。発行装置１１および認証装置１３は、特徴量抽出モデルによって顔画像から抽出された特徴量どうしの比較によって顔画像の照合を行う。また学習装置１５は、認証装置１３において画像が敵対的サンプルか否かの判定に用いる検知モデルのパラメータの学習を行う。

【0018】

《発行装置１１の構成》
第１の実施形態に係る発行装置１１は、コンピュータ１１１、撮像装置１１２および発行機１１３を備える。撮像装置１１２は、発行事務所のカウンタの前に位置する人物が撮像されるように設置される。撮像装置１１２は、例えば発行事務所のカウンタの上に設けられる。発行機１１３は、所定の情報が記録された登録証Ｒを出力する。発行機１１３は、例えばＩＣカードライタやプリンタである。

【0019】

図２は、第１の実施形態に係る発行装置１１のコンピュータ構成を示す概略図である。
コンピュータ１１１は、提出情報取得部１２１、撮像部１２２、モデル記憶部１２３、特徴量算出部１２４、照合部１２５、発行部１２６を備える。

【0020】

提出情報取得部１２１は、登録証Ｒの発行を受けようとする人物から提出されたアカウントデータおよび顔画像を取得する。以下、人物から提出された顔画像を提出顔画像と呼ぶ。提出情報取得部１２１は、人物が提出した生体データを取得する取得部の一例である。

【0021】

撮像部１２２は、発行装置１１に接続された撮像装置１１２によって、アカウントデータの登録を受けようとする人物の顔画像を撮像する。以下、発行装置１１の撮像部１２２が撮像した顔画像を第１撮像顔画像と呼ぶ。撮像部１２２は、人物から生体データを生成する生成部の一例である。

【0022】

モデル記憶部１２３は、特徴量算出部１２４による計算に用いられる特徴量抽出モデルを記憶する。特徴量抽出モデルは、顔画像データを入力とし、当該顔画像データの特徴量を出力とする。特徴量抽出モデルは、学習装置１５によってパラメータの学習がなされた学習済みモデルである。

【0023】

特徴量算出部１２４は、提出顔画像の特徴量および第１撮像顔画像の特徴量を算出する。特徴量算出部１２４は、モデル記憶部１２３が記憶する特徴量抽出モデルに提出顔画像を入力することで提出顔画像の特徴量を算出する。特徴量算出部１２４は、モデル記憶部１２３が記憶する特徴量抽出モデルに第１撮像顔画像を入力することで第１撮像顔画像の特徴量を算出する。

【0024】

照合部１２５は、特徴量算出部１２４が算出した提出顔画像の特徴量と第１撮像顔画像の特徴量との類似度を算出し、２つの顔画像に写る人物が同一人物であるか否かを判定する。具体的には、照合部１２５は、提出顔画像の特徴量と第１撮像顔画像の特徴量との距離（例えばＬ２距離）を算出し、距離が所定の閾値以下である場合に、２つの顔画像に写る人物が同一人物であるか否かを判定する。なお、照合部１２５は、距離に代えて類似度（例えばコサイン類似度）を算出してもよい。距離が所定の閾値以下であると判定することは、類似度が所定の閾値以上であると判定することと同義である。

【0025】

発行部１２６は、照合部１２５によって提出顔画像に写る人物と第１撮像顔画像に写る人物が同一人物であると判定された場合に、提出情報取得部１２１が受け付けたアカウントデータおよび顔画像を記録した登録証Ｒを発行機１１３に発行させる。つまり発行部１２６は、登録証Ｒにアカウントデータおよび顔画像を記録する。

【0026】

《発行装置１１の動作》
図３は、第１の実施形態に係る発行装置１１の動作を示すフローチャートである。
登録証Ｒの発行希望者は、登録証Ｒの発行事務所の受付担当者にアカウントデータと持参した顔画像（提出顔画像）とを提出する。受付担当者は、提出されたアカウントデータと提出顔画像とを発行装置１１に入力する。提出顔画像はデータとして提出されてもよいし、印刷物として提出されてもよい。提出顔画像が印刷物として提出された場合、受付担当者は、例えばスキャナによって提出顔画像をデータ化する。

【0027】

発行装置１１の提出情報取得部１２１は、入力されたアカウントデータと提出顔画像とを読み込む（ステップＳ１）。次に、撮像部１２２は、撮像装置１１２によって発行希望者の顔画像を撮像し、第１撮像顔画像を生成する（ステップＳ２）。

【0028】

特徴量算出部１２４は、モデル記憶部１２３が記憶する特徴量抽出モデルにステップＳ１で取得した提出顔画像を入力し、提出顔画像の特徴量を算出する（ステップＳ３）。また特徴量算出部１２４は、特徴量抽出モデルにステップＳ２で取得した第１撮像顔画像を入力し、第１撮像顔画像の特徴量を算出する（ステップＳ４）。照合部１２５は、ステップＳ３で算出した提出顔画像の特徴量とステップＳ４で算出した第１撮像顔画像の特徴量との距離を算出する（ステップＳ５）。照合部１２５は、算出した距離が所定の閾値以下であるか否かを判定する（ステップＳ６）。

【0029】

距離が閾値以下である場合（ステップＳ６：ＹＥＳ）、発行部１２６は、発行機１１３にステップＳ１で取得したアカウントデータと提出顔画像とを出力し、当該アカウントデータと提出顔画像とが記録された登録証Ｒを発行させる（ステップＳ７）。
距離が閾値を超える場合（ステップＳ６：ＮＯ）、照合部１２５は、ディスプレイに顔画像の照合に失敗した旨を出力し、登録証Ｒを発行しない（ステップＳ８）。

【0030】

これにより、発行装置１１は、提出顔画像が発行希望者の顔画像であることが確認できた場合に登録証Ｒを発行する。

【0031】

《認証装置１３の構成》
図４は、第１の実施形態に係る認証装置１３の構成を示す概略図である。
第１の実施形態に係る認証装置１３は、コンピュータ１３１、撮像装置１３２、読取装置１３３、およびゲート１３４を備える。撮像装置１３２は、発行事務所のカウンタの前に位置する人物が撮像されるように設置される。読取装置１３３は、登録証Ｒに記録されたデータを読みとる。読取装置１３３は、例えばＩＣカードリーダや、カメラであってよい。読取装置１３３は、ゲート１３４の入口側に設けられる。ゲート１３４は、コンピュータ１３１による認証に成功した場合に開き、認証に失敗した場合に閉じる。

【0032】

コンピュータ１３１は、登録証読取部１４１、撮像部１４２、モデル記憶部１４３、特徴量算出部１４４、照合部１４５、ＡＸ判定部１４６、ゲート制御部１４７を備える。

【0033】

登録証読取部１４１は、読取装置１３３を介して登録証Ｒに記録されたアカウントデータおよび顔画像を取得する。登録証Ｒに記録された顔画像を、認証用顔画像と呼ぶ。
撮像部１４２は、認証装置１３に接続された撮像装置１３２によって、登録証Ｒを提示した人物の顔画像を撮像する。以下、認証装置１３の撮像部１４２が撮像した顔画像を第２撮像顔画像と呼ぶ。撮像部１４２は、人物から生体データを生成する生成部の一例である。

【0034】

モデル記憶部１４３は、特徴量算出部１４４による計算に用いられる特徴量抽出モデルおよびＡＸ判定部１４６による計算に用いられる検知モデルを記憶する。特徴量抽出モデルは、発行装置１１が記憶する特徴量抽出モデルと同じものである。検知モデルは、顔画像データを入力とし、当該顔画像データが敵対的サンプルである確率を示す判定結果を出力とする。検知モデルは、顔画像データを入力とし、当該顔画像データが敵対的サンプルである確率を出力とする。検知モデルは、学習装置１５によってパラメータの学習がなされた学習済みモデルである。

【0035】

特徴量算出部１４４は、認証用顔画像の特徴量および第２撮像顔画像の特徴量を算出する。特徴量算出部１４４は、モデル記憶部１４３が記憶する特徴量抽出モデルに認証用顔画像を入力することで認証用顔画像の特徴量を算出する。特徴量算出部１４４は、モデル記憶部１４３が記憶する特徴量抽出モデルに第２撮像顔画像を入力することで第２撮像顔画像の特徴量を算出する。

【0036】

照合部１４５は、特徴量算出部１４４が算出した認証用顔画像の特徴量と第２撮像顔画像の特徴量との類似度を算出し、２つの顔画像に写る人物が同一人物であるか否かを判定する。

【0037】

ＡＸ判定部１４６は、モデル記憶部１４３が記憶する検知モデルに認証用顔画像を入力することで、認証用顔画像が敵対的サンプルであるか否かを判定する。具体的には、ＡＸ判定部１４６は、検知モデルによって計算された提出顔画像が敵対的サンプルである確率が所定の閾値以上である場合に、提出顔画像が敵対的サンプルであると判定する。

【0038】

ゲート制御部１４７は、照合部１４５によって認証用顔画像と第２撮像顔画像に写る人物が同一人物であると判定され、かつＡＸ判定部１４６によって認証用顔画像が敵対的サンプルでないと判定された場合に、ゲート１３４を開くための制御信号を出力する。

【0039】

《認証装置１３の動作》
図５は、第１の実施形態に係る認証装置１３の動作を示すフローチャートである。
施設への入場希望者は、発行装置１１によって発行された登録証Ｒを読取装置１３３にかざす。認証装置１３の登録証読取部１４１は、読取装置１３３を介して登録証Ｒに記録された認証用顔画像を取得する（ステップＳ２１）。次に、撮像部１４２は、撮像装置１３２によって発行希望者の顔画像を撮像し、第２撮像顔画像を生成する（ステップＳ２２）。

【0040】

特徴量算出部１４４は、モデル記憶部１４３が記憶する特徴量抽出モデルにステップＳ２１で取得した認証用顔画像を入力し、認証用顔画像の特徴量を算出する（ステップＳ２３）。また特徴量算出部１４４は、特徴量抽出モデルにステップＳ２２で取得した第２撮像顔画像を入力し、第２撮像顔画像の特徴量を算出する（ステップＳ２４）。照合部１４５は、ステップＳ２３で算出した認証用顔画像の特徴量とステップＳ２４で算出した第２撮像顔画像の特徴量との距離を算出する（ステップＳ２５）。照合部１４５は、算出した距離が所定の閾値以下であるか否かを判定する（ステップＳ２６）。

【0041】

距離が閾値以下である場合（ステップＳ２６：ＹＥＳ）、ＡＸ判定部１４６は、モデル記憶部１４３が記憶する検出モデルにステップＳ２１で取得した認証用顔画像を入力し、認証用顔画像が敵対的サンプルである確率を算出する（ステップＳ２７）。ＡＸ判定部１４６は、認証用顔画像が敵対的サンプルである確率が閾値以下であるか否かを判定する（ステップＳ２８）。確率が閾値以下である場合（ステップＳ２８：ＹＥＳ）、ゲート制御部１４７は、ゲート１３４に開状態にすることを指示する制御信号を出力する（ステップＳ２９）。

【0042】

他方、ステップＳ２５において距離が閾値を超える場合（ステップＳ２６：ＮＯ）、およびステップＳ２８において確率が閾値を超える場合（ステップＳ２８：ＮＯ）、ゲート制御部１４７は、ゲート１３４に閉状態を維持することを指示する制御信号を出力する（ステップＳ３０）。

【0043】

これにより、認証装置１３は、認証用顔画像に写る人物と入場希望者とが同一人物であり、かつ認証用顔画像が敵対的サンプルでない場合に、施設への入場を許可することができる。

【0044】

《学習装置１５の構成》
図６は、第１の実施形態に係る学習装置１５の構成を示す概略ブロック図である。
学習装置１５は、モデル記憶部１５２、データセット取得部１５１、分類処理部１５３、第１更新部１５４、モデル抽出部１５５、ＡＸ生成部１５６、ＡＸ検証部１５７、判定処理部１５８、第２更新部１５９、出力部１６０を備える。

【0045】

モデル記憶部１５２は、ニューラルネットワークによって構成された分類モデルと、検知モデルを記憶する。

【0046】

分類モデルは、入力層、中間層、出力層を備える。入力層は、入力された顔画像データをベクトルとして中間層に出力する。中間層は、２層以上のニューラルネットワークによって構成される。中間層は、ＣＮＮ（Convolutional Neural Network）によって構成されてもよい。中間層は、入力層から入力されたベクトルを、低次元の特徴ベクトルに変換し、出力層に出力する。特徴ベクトルは特徴量を表すベクトルである。出力層は、中間層から入力された特徴ベクトルから、当該特徴ベクトルが表す人物の確率を示すＰ次元のベクトルに変換する。

【0047】

検知モデルは、入力層、中間層、出力層を備える。入力層は、入力された顔画像データをベクトルとして中間層に出力する。中間層は、２層以上のニューラルネットワークによって構成される。中間層は、ＣＮＮによって構成されてもよい。中間層は、入力層から入力されたベクトルを、低次元の特徴ベクトルに変換し、出力層に出力する。出力層は、中間層から入力された特徴ベクトルから、当該特徴ベクトルが表す画像が敵対的サンプルであるか否かの確率を示す２次元のベクトルに変換する。

【0048】

データセット取得部１５１は、入力サンプルである顔画像データと、出力サンプルである人物ラベルとを関連付けた学習用データセットを取得する。人物ラベルは、データセットにおける人物の数をＰとした場合に、Ｐ次元のワンホットベクトルによって表される。

【0049】

分類処理部１５３は、分類モデルに入力データを入力することで、出力ベクトルを計算する。

【0050】

第１更新部１５４は、データセット取得部１５１が取得した学習用データセットを用いて、顔画像データを分類モデルに入力したときに、当該顔画像データに該当する人物の確率を示すＰ次元のベクトルを出力するように、分類モデルのパラメータを学習させる。

【0051】

モデル抽出部１５５は、第１更新部１５４によって学習された分類モデルのうち入力層および中間層からなる部分モデルを、特徴量抽出モデルとして抽出し、モデル記憶部１５２に記録する。

【0052】

ＡＸ生成部１５６は、第１更新部１５４によって学習された分類モデルに基づいて、敵対的サンプルを生成するための摂動ベクトルを演算する。摂動ベクトルは、入力データに加算することで分類モデルが出力するベクトルのうち最も大きい値を有する要素を異ならせるためのベクトルである。摂動ベクトルの生成方法は、例えば参考文献１（Yaoyao Zhong, Weihong Deng, “Adversarial Learning with Margin-based Triplet Embedding Regularization”, ICCV 2019）に示されるIFTGSM法や、参考文献２（Aleksander Madry, Aleksandar Makelov, Ludwig Schmidt, Dimitris Tsipras, Adrian Vladu, “Towards Deep Learning Models Resistant to Adversarial Attacks”, ICLR 2018）に示されるPGD Attack法を用いることができる。ＡＸ生成部１５６は、入力サンプルに摂動を加算することで、敵対的サンプルを生成する。

【0053】

ＡＸ検証部１５７は、ＡＸ生成部１５６が生成した敵対的サンプルが、入力サンプルおよび他の顔画像データの両方と類似するか否かを検証する。すなわち、ＡＸ検証部１５７は、生成された敵対的サンプルのうち、発行装置１１および認証装置１３の両方を通過し得るものを出力する。具体的には、ＡＸ検証部１５７は、敵対的サンプルと、学習用データセットに係る複数の入力サンプルとについて、特徴量抽出モデルを用いて特徴量を算出し、敵対的サンプルと各入力サンプルとの類似度を算出する。

【0054】

判定処理部１５８は、検知モデルに、入力データを入力することで、出力ベクトルを計算する。

【0055】

第２更新部１５９は、データセット取得部１５１が取得した学習用データセットの入力ベクトルと、ＡＸ検証部１５７が出力した敵対的サンプルを用いて、顔画像データを検知モデルに入力したときに、当該顔画像データが敵対的サンプルであるか否かの確率を示す２次元のベクトルを出力するように、検知モデルのパラメータを学習させる。
出力部１６０は、モデル抽出部１５５によって抽出された特徴量抽出モデルを発行装置１１に出力する。また出力部１６０は、モデル抽出部１５５によって抽出された特徴量抽出モデルと、第２更新部１５９によって学習された検知モデルとを認証装置１３に出力する。出力は、ネットワーク等を介した通信によってなされてもよいし、可搬性の記憶装置を介してなされてもよい。

【0056】

《学習方法》
図７は、第１の実施形態に係る学習装置１５による特徴量抽出モデルの学習方法を示すフローチャートである。
学習装置１５のデータセット取得部１５１は、図示しないデータベースから予め用意されたデータセットを取得する（ステップＳ４１）。分類処理部１５３は、取得したデータセットに含まれる複数の入力サンプルを、それぞれモデル記憶部１５２が記憶する分類モデルに入力し、出力ベクトルを計算する（ステップＳ４２）。第１更新部１５４は、入力サンプルに対応する出力サンプルと、ステップＳ４２で計算された出力ベクトルとに基づいて、クロスエントロピー誤差を示す損失関数を算出する（ステップＳ４３）。第１更新部１５４は、算出した損失関数Ｌが小さくなるように、モデル記憶部１５２が記憶する分類モデルのパラメータを更新する（ステップＳ４４）。

【0057】

第１更新部１５４は、分類モデルのパラメータの更新処理を所定のエポック数だけ実行したか否かを判定する（ステップＳ４５）。分類モデルのパラメータの更新処理の実行回数が所定のエポック数未満である場合（ステップＳ４５：ＮＯ）、学習装置１５は処理をステップＳ４２に戻し、パラメータの更新処理を繰り返す。
他方、分類モデルのパラメータの更新処理の実行回数が所定のエポック数に至った場合（ステップＳ４５：ＹＥＳ）、モデル抽出部１５５は、モデル記憶部１５２が記憶する分類モデルのうち入力層および中間層からなる部分モデルを、特徴量抽出モデルとして抽出する（ステップＳ４６）。モデル抽出部１５５は、抽出した特徴量抽出モデルをモデル記憶部１５２に記録する（ステップＳ４７）。そして、学習装置１５は、特徴量抽出モデルの学習処理を終了する。

【0058】

図８は、第１の実施形態に係る学習装置１５による検知モデルの学習方法を示す第１のフローチャートである。図９は、第１の実施形態に係る学習装置１５による検知モデルの学習方法を示す第２のフローチャートである。
学習装置１５のデータセット取得部１５１は、図示しないデータベースから予め用意されたデータセットを取得する（ステップＳ６１）。ＡＸ検証部１５７は、取得されたデータセットに係る複数の入力サンプルをモデル記憶部１５２が記憶する特徴量抽出モデルに入力することで、複数の入力サンプルそれぞれの特徴量を算出する（ステップＳ６２）。

【0059】

ＡＸ生成部１５６は、ステップＳ６１で取得したデータセットに係る複数の入力サンプルに基づいて複数の敵対的サンプルを生成する（ステップＳ６３）。ＡＸ検証部１５７は、ステップＳ６３で生成した複数の敵対的サンプルを１つずつ選択し（ステップＳ６４）、以下のステップＳ６５からステップＳ７０の処理を実行する。

【0060】

ＡＸ検証部１５７は、ステップＳ６４で選択した敵対的サンプルをモデル記憶部１５２が記憶する特徴量抽出モデルに入力することで、敵対的サンプルの特徴量を算出する（ステップＳ６５）。ＡＸ検証部１５７は、ステップＳ６５で算出した敵対的サンプルの特徴量と、ステップＳ６２で算出した複数の入力サンプルの特徴量それぞれとの距離を算出する（ステップＳ６６）。

【0061】

ＡＸ検証部１５７は、ステップＳ６６の計算結果に基づいて、ステップＳ６４で選択した敵対的サンプルの特徴量と、当該敵対的サンプルの生成に用いた入力サンプルの特徴量との距離が所定の閾値以下であるか否かを判定する（ステップＳ６７）。選択した敵対的サンプルの特徴量と生成に用いた入力サンプルの特徴量との距離が閾値以下である場合（ステップＳ６７：ＹＥＳ）、ＡＸ検証部１５７は、複数の入力サンプルのうち、ステップＳ６４で選択した敵対的サンプルの生成に用いた入力サンプルと異なるラベルに係る入力サンプルである複数のストレンジャサンプルを抽出する（ステップＳ６８）。ＡＸ検証部１５７は、複数のストレンジャサンプルのうち、ステップＳ６４で選択した敵対的サンプルの特徴量との距離が所定の閾値以下であるものが存在するか否かを判定する（ステップＳ６９）。選択した敵対的サンプルの特徴量との距離が閾値以下となる少なくとも１つのストレンジャサンプルが存在する場合（ステップＳ６９：ＹＥＳ）、ＡＸ検証部１５７は、ステップＳ６４で選択した敵対的サンプルを、検知モデルの学習用データとして出力する（ステップＳ７０）。

【0062】

他方、選択した敵対的サンプルの特徴量と生成に用いた入力サンプルの特徴量との距離が閾値を超える場合（ステップＳ６７：ＮＯ）、または選択した敵対的サンプルの特徴量との距離が閾値以下となるストレンジャサンプルが存在しない場合（ステップＳ６９：ＮＯ）、ＡＸ検証部１５７は、ステップＳ６４で選択した敵対的サンプルを、検知モデルの学習用データとして用いないことを決定する。

【0063】

次に、分類処理部１５３は、ステップＳ６１で取得したデータセットに含まれる複数の入力サンプルと、ステップＳ７０で出力された敵対的サンプルとを、それぞれモデル記憶部１５２が記憶する検知モデルに入力し、出力ベクトルを計算する（ステップ７１）。第２更新部１５９は、ステップＳ２で計算された出力ベクトルと、入力されたデータが敵対的サンプルであるか否かを示すワンホットベクトルとに基づいて、クロスエントロピー誤差を示す損失関数を算出する（ステップＳ７２）。第２更新部１５９は、算出した損失関数が小さくなるように、モデル記憶部１５２が記憶する検知モデルのパラメータを更新する（ステップＳ７３）。

【0064】

第２更新部１５９は、検知モデルのパラメータの更新処理を所定のエポック数だけ実行したか否かを判定する（ステップＳ７４）。検知モデルのパラメータの更新処理の実行回数が所定のエポック数未満である場合（ステップＳ７４：ＮＯ）、学習装置１５は処理をステップＳ６３に戻し、パラメータの更新処理を繰り返す。
他方、検知モデルのパラメータの更新処理の実行回数が所定のエポック数に至った場合（ステップＳ７４：ＹＥＳ）、学習装置１５は、検知モデルの学習処理を終了する。

【0065】

そして、出力部１６０は、モデル記憶部１５２が記憶する特徴量抽出モデルを発行装置１１および認証装置１３に出力する。また出力部１６０は、モデル記憶部１５２が記憶する検知モデルを認証装置１３に出力する。

【0066】

《作用・効果》
このように、第１の実施形態に係る認証システム１は、検知モデルの学習用データとして、敵対的サンプルの生成元の画像データに係る人物と、他の人物の両方に類似するものを抽出し、利用する。抽出された敵対的サンプルは、登録証Ｒの発行のときの照合と、人物の認証のときの照合の両方を通過しうるものであり、認証システム１の運用に沿ったものである。これにより、第１の実施形態に係る認証システム１は、認証システム１の運用において精度よく敵対的サンプルを検出する検知モデルを生成することができる。

【0067】

〈他の実施形態〉
以上、図面を参照して一実施形態について詳しく説明してきたが、具体的な構成は上述のものに限られることはなく、様々な設計変更等をすることが可能である。すなわち、他の実施形態においては、上述の処理の順序が適宜変更されてもよい。また、一部の処理が並列に実行されてもよい。

【0068】

上述した実施形態においては、発行装置１１および認証装置１３がそれぞれ特徴量の抽出および照合を行うが、これに限られない。例えば、他の実施形態に係る認証システム１は、特徴量の抽出および照合を同一のサーバ装置によって実現してもよい。例えば、発行装置１１および認証装置１３は、認証システム１に２つの画像データを送信することで、認証システム１によって計算された照合結果を受信するものであってもよい。

【0069】

また、上述した実施形態においては、学習装置１５が特徴量抽出モデルおよび検知モデルの両方の学習処理を行うが、これに限られない。例えば、他の実施形態に係る認証システム１は、クラウドサービスで提供される特徴量抽出モデルを用いた認証を行うものであってもよい。つまり学習装置１５にとって特徴量抽出モデルの構成はブラックボックである。この場合、学習装置１５のＡＸ生成部１５６は、クラウドサービスで提供される特徴量抽出モデルを模擬した模擬特徴量抽出モデルを用いて敵対的サンプルを生成する。模擬特徴量抽出モデルは、例えば特徴量抽出モデルの入出力を用いた蒸留処理によって生成される。そして、学習装置１５のＡＸ検証部１５７は、クラウドサービスで提供される特徴量抽出モデルを用いて敵対的サンプルの検証を行う。

【0070】

また、上述した実施形態においては、ＡＸ検証部１５７は、ステップＳ６９において、敵対的サンプルとストレンジャサンプルとの照合を行うが、これに限られない。例えば、ＡＸ生成部１５６によって生成される敵対的サンプルが必ず他のラベルに係る入力サンプルと類似することが分かっている場合、ＡＸ検証部１５７はステップＳ６９の判定を省略してもよい。

【0071】

また、上述した実施形態においては、学習装置１５が学習用の敵対的サンプルの抽出と、当該敵対的サンプルを用いた学習との両方を行うが、これに限られない。例えば、他の実施形態に係る認証システム１は、学習装置１５と学習用データ生成装置とを別個に備え、学習用データ生成装置が学習用の敵対的サンプルの生成を行い、学習装置１５が学習用データ生成装置によって生成された敵対的サンプルを用いた学習処理を行ってもよい。

【0072】

また、上述した実施形態に係る認証システム１においては、発行装置１１は敵対的サンプルであるか否かの判定を行わず、認証装置１３が敵対的サンプルであるか否かの判定を行うが、これに限られない。例えば、他の実施形態に係る認証システム１では、発行装置１１が敵対的サンプルであるか否かの判定を行ってもよい。この場合、認証装置１３は、敵対的サンプルであるか否かの判定を行わなくてもよい。なお、発行装置１１と認証装置１３とが異なる事業者によって運用され、認証装置１３の事業者が敵対的サンプルに対するロバスト性を高めたいと考える場合に、第１の実施形態に係る構成を適用することができる。

【0073】

〈基本構成〉
図１０は、学習用データ生成装置０１の基本構成を示す概略ブロック図である。
上述した実施形態では、学習用データ生成装置０１の一実施形態として図６に示す学習装置１５の構成について説明したが、学習用データ生成装置０１の基本構成は、図１０に示すとおりである。
すなわち、学習用データ生成装置０１は、サンプル取得部０１１、ＡＸ生成部０１２、特徴量取得部０１３および出力部０１４を基本構成とする。

【0074】

サンプル取得部０１１は、第１の個体に係る個体データである第１サンプルを取得する。サンプル取得部０１１は、データセット取得部１５１に対応する。
ＡＸ生成部０１２は、第１サンプルに摂動を加えて敵対的サンプルを生成する。ＡＸ生成部０１２は、ＡＸ生成部１５６に対応する。
特徴量取得部０１３は、入力された個体データに学習済みのパラメータを用いた計算をすることで特徴量を算出する学習済みモデルによって算出された、敵対的サンプルの特徴量である第１特徴量と、第１の個体に係る個体データの特徴量である第２特徴量と、第１の個体と異なる第２の個体に係る個体データの特徴量である第３特徴量とを取得する。特徴量取得部０１３は、ＡＸ検証部１５７に対応する。
出力部０１４は、第１特徴量と第２特徴量との類似度が閾値以上であり、かつ第１特徴量と第３特徴量との類似度が閾値以上である敵対的サンプルを出力する。出力部０１４は、ＡＸ検証部１５７に対応する。

【0075】

これにより、学習用データ生成装置０１は、認証システムにおいて脅威となる敵対的サンプルの検知精度を高めることができる学習用データを供給することができる。

【0076】

図１１は、認証システム０２の基本構成を示す概略ブロック図である。
上述した実施形態では、認証システム０２の一実施形態として図１に示す認証システム１の構成について説明したが、認証システム０２の基本構成は、図１１に示すとおりである。
すなわち、認証システム０２は、記録装置０２１、認証装置０２２および判定装置０２３を基本構成とする。

【0077】

記録装置０２１は、記憶媒体に認証用生体データとアカウントデータとを記録する。記録装置０２１は、発行装置１１に対応する。記録装置０２１は、取得部０２１１、第１生成部０２１２、第１算出部０２１３および記録部０２１４を備える。

【0078】

取得部０２１１は、第１人物が提出した第１生体データを取得する。取得部０２１１は、提出情報取得部１２１に対応する。
第１生成部０２１２は、第１人物から第２生体データを生成する。第１生成部０２１２は、撮像部１２２に対応する。
第１算出部０２１３は、入力された個体データに学習済みのパラメータを用いた計算をすることで特徴量を算出する学習済みモデルである特徴量抽出モデルによって、第１生体データの特徴量および第２生体データの特徴量を算出する。第１算出部０２１３は、特徴量算出部１２４に対応する。
記録部０２１４は、算出された第１生体データの特徴量と第２生体データの特徴量との類似度が閾値以上である場合に第１生体データを記憶媒体に記録する。記録部０２１４は発行部１２６に対応する。

【0079】

認証装置０２２は、記憶媒体に基づいて人物の認証を行う。認証装置０２２は、認証装置１３に対応する。
認証装置０２２は、第２生成部０２２１、第２算出部０２２２、照合部０２２３を備える。
第２生成部０２２１は、第２人物から第３生体データを生成する。第２生成部０２２１は、撮像部１４２に対応する。
第２算出部０２２２は、特徴量抽出モデルによって、記憶媒体が記憶する第１生体データの特徴量と、第３データの特徴量とを算出する。第２算出部０２２２は、特徴量算出部１４４に対応する。
照合部０２２３は、算出された前記類似度が閾値以上であるか否かを判定する。照合部０２２３は、照合部１４５に対応する。

【0080】

判定装置０２３は、生体データが敵対的サンプルであるか否かを判定する。判定装置０２３は、認証装置１３に対応する。判定装置０２３は、判定部０２３１を備える。判定部０２３１は、第１生体データを、学習用データ生成装置０１によって生成された学習済みの検知モデルに入力することで、第１生体データが敵対的サンプルであるか否かを判定する。

【0081】

これにより、認証システム０２は、脅威となる敵対的サンプルの検知精度を高めることができる。

【0082】

〈コンピュータ構成〉
図１２は、少なくとも１つの実施形態に係るコンピュータの構成を示す概略ブロック図である。
コンピュータは、プロセッサ９１、メインメモリ９３、ストレージ９５、インタフェース９７を備える。
上述の学習装置１５は、コンピュータに実装される。そして、上述した各処理部の動作は、プログラムの形式でストレージ９５に記憶されている。プロセッサ９１は、プログラムをストレージ９５から読み出してメインメモリ９３に展開し、当該プログラムに従って上記処理を実行する。また、プロセッサ９１は、プログラムに従って、上述した各記憶部に対応する記憶領域をメインメモリ９３に確保する。プロセッサ９１の例としては、ＣＰＵ（Central Processing Unit）、ＧＰＵ（Graphic Processing Unit）、マイクロプロセッサなどが挙げられる。

【0083】

プログラムは、コンピュータに発揮させる機能の一部を実現するためのものであってもよい。例えば、プログラムは、ストレージに既に記憶されている他のプログラムとの組み合わせ、または他の装置に実装された他のプログラムとの組み合わせによって機能を発揮させるものであってもよい。なお、他の実施形態においては、コンピュータは、上記構成に加えて、または上記構成に代えてＰＬＤ（Programmable Logic Device）などのカスタムＬＳＩ（Large Scale Integrated Circuit）を備えてもよい。ＰＬＤの例としては、ＰＡＬ(Programmable Array Logic)、ＧＡＬ(Generic Array Logic)、ＣＰＬＤ(Complex Programmable Logic Device)、ＦＰＧＡ（Field Programmable Gate Array）が挙げられる。この場合、プロセッサ９１によって実現される機能の一部または全部が当該集積回路によって実現されてよい。このような集積回路も、プロセッサの一例に含まれる。

【0084】

ストレージ９５の例としては、磁気ディスク、光磁気ディスク、光ディスク、半導体メモリ等が挙げられる。ストレージ９５は、コンピュータのバスに直接接続された内部メディアであってもよいし、インタフェース９７または通信回線を介してコンピュータに接続される外部メディアであってもよい。また、このプログラムが通信回線によってコンピュータに配信される場合、配信を受けたコンピュータが当該プログラムをメインメモリ９３に展開し、上記処理を実行してもよい。少なくとも１つの実施形態において、ストレージ９５は、一時的でない有形の記憶媒体である。

【0085】

また、当該プログラムは、前述した機能の一部を実現するためのものであってもよい。さらに、当該プログラムは、前述した機能をストレージ９５に既に記憶されている他のプログラムとの組み合わせで実現するもの、いわゆる差分ファイル（差分プログラム）であってもよい。

【符号の説明】

【0086】

１…認証システム １１…発行装置 １１１…コンピュータ １１２…撮像装置 １１３…発行機 １２１…提出情報取得部 １２２…撮像部 １２３…モデル記憶部 １２４…特徴量算出部 １２５…照合部 １２６…発行部 １３…認証装置 １３１…コンピュータ １３２…撮像装置 １３３…読取装置 １３４…ゲート １４１…登録証読取部 １４２…撮像部 １４３…モデル記憶部 １４４…特徴量算出部 １４５…照合部 １４６…ＡＸ判定部 １４７…ゲート制御部 １５…学習装置 １５１…データセット取得部 １５２…モデル記憶部 １５３…分類処理部 １５４…第１更新部 １５５…モデル抽出部 １５６…ＡＸ生成部 １５７…ＡＸ検証部 １５８…判定処理部 １５９…第２更新部 １６０…出力部 ９１…プロセッサ ９３…メインメモリ ９５…ストレージ ９７…インタフェース Ｒ…登録証

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】