特許 7683814 情報処理装置、情報処理方法、及び記録媒体

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2025-05-19

(45)【発行日】2025-05-27

(54)【発明の名称】情報処理装置、情報処理方法、及び記録媒体

(51)【国際特許分類】

   G06F 21/31 20130101AFI20250520BHJP

   G06F 21/45 20130101ALI20250520BHJP

【ＦＩ】

G06F21/31

G06F21/45

【請求項の数】 8

(21)【出願番号】P 2024507306

(86)(22)【出願日】2022-03-16

(86)【国際出願番号】 JP2022011958

(87)【国際公開番号】W WO2023175783

(87)【国際公開日】2023-09-21

【審査請求日】2024-08-19

(73)【特許権者】

【識別番号】000004237

【氏名又は名称】日本電気株式会社

(74)【代理人】

【識別番号】100104765

【弁理士】

【氏名又は名称】江上 達夫

(74)【代理人】

【識別番号】100107331

【弁理士】

【氏名又は名称】中村 聡延

(74)【代理人】

【識別番号】100131015

【弁理士】

【氏名又は名称】三輪 浩誉

(72)【発明者】

【氏名】橋本 博志

(72)【発明者】

【氏名】早坂 昭裕

【審査官】川原 光司

(56)【参考文献】

【文献】国際公開第２０２０／１１５１５４（ＷＯ，Ａ１）

【文献】特開２０２０－０４２７６５（ＪＰ，Ａ）

【文献】特開２０２１－１２８４０９（ＪＰ，Ａ）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ０６Ｆ ２１／００

２１／３０－２１／４６

(57)【特許請求の範囲】

【請求項1】

認証処理の対象に関するクエリ特徴量を取得する特徴量取得手段と、
前記クエリ特徴量と、予め登録されたターゲット特徴量と、が一致する度合を示す第１スコアを算出する第１スコア算出手段と、
前記第１スコアに基づいて、前記クエリ特徴量と、前記ターゲット特徴量とが一致しない度合を示す第２スコアを算出する第２スコア算出手段と、
前記第１スコアを第１のクラスに対応する第１クラススコアとして扱い、前記第２スコアを第２のクラスに対応する第２クラススコアとして扱うことで、前記認証処理に関するサリエンシーマップを生成するマップ生成手段と、
を備える情報処理装置。

【請求項2】

前記マップ生成手段は、ＣＡＭ（Ｃｌａｓｓ Ａｃｔｉｖａｔｉｏｎ Ｍａｐ）を生成する、
請求項１に記載の情報処理装置。

【請求項3】

前記マップ生成手段は、前記認証処理に含まれる前記クエリ特徴量の正規化処理による影響を除去して、前記サリエンシーマップを生成する、
請求項１又は２に記載の情報処理装置。

【請求項4】

前記マップ生成手段は、前記正規化処理による影響を含まない第１データを第１パラメータに対応させ、前記正規化処理による影響を含む第２データを第２パラメータに対応させて、前記サリエンシーマップを生成する、
請求項３に記載の情報処理装置。

【請求項5】

前記マップ生成手段は、前記クエリ特徴量に基づく特徴量マップの各要素の前記認証処理に対する寄与を、ノルムと類似度との２つの要素に分解して、前記サリエンシーマップを生成する、
請求項１又は２に記載の情報処理装置。

【請求項6】

前記マップ生成手段は、前記ノルムを第１パラメータに対応させ、前記類似度を第２パラメータに対応させて、前記サリエンシーマップを生成する、
請求項５に記載の情報処理装置。

【請求項7】

少なくとも１つのコンピュータによって、
認証処理の対象に関するクエリ特徴量を取得し、
前記クエリ特徴量と、予め登録されたターゲット特徴量と、が一致する度合を示す第１スコアを算出し、
前記第１スコアに基づいて、前記クエリ特徴量と、前記ターゲット特徴量とが一致しない度合を示す第２スコアを算出し、
前記第１スコアを第１のクラスに対応する第１クラススコアとして扱い、前記第２スコアを第２のクラスに対応する第２クラススコアとして扱うことで、前記認証処理に関するサリエンシーマップを生成する、
情報処理方法。

【請求項8】

少なくとも１つのコンピュータに、
認証処理の対象に関するクエリ特徴量を取得し、
前記クエリ特徴量と、予め登録されたターゲット特徴量と、が一致する度合を示す第１スコアを算出し、
前記第１スコアに基づいて、前記クエリ特徴量と、前記ターゲット特徴量とが一致しない度合を示す第２スコアを算出し、
前記第１スコアを第１のクラスに対応する第１クラススコアとして扱い、前記第２スコアを第２のクラスに対応する第２クラススコアとして扱うことで、前記認証処理に関するサリエンシーマップを生成する、
情報処理方法を実行させるコンピュータプログラム。

【発明の詳細な説明】

【技術分野】

【0001】

この開示は、情報処理装置、情報処理方法、及び記録媒体の技術分野に関する。

【背景技術】

【0002】

この種の装置として、推論結果における寄与度を視覚的に表示するものが知られている。例えば特許文献１では、畳み込みニューラルネットワークで生成された特徴マップから、Ｇｒａｄ－ＣＡＭ処理によってアクティベーションマップを生成すること開示されている。

【0003】

その他の関連する技術として、例えば特許文献２では、特徴マップにおける対象カテゴリへの影響の度合を表す重みを、畳み込み層のチャネルごと及び出力位置ごとに出力することが開示されている。特許文献３では、入力データのクラスを識別する際に、入力データから抽出した特徴ベクトルを重みベクトルとして処理することが開示されている。

【先行技術文献】

【特許文献】

【0004】

【文献】特開２０２１－０８９５１２号公報

【文献】特開２０１９－２１１９１３号公報

【文献】特開２０１２－０８４１１７号公報

【発明の概要】

【発明が解決しようとする課題】

【0005】

この開示は、先行技術文献に開示された技術を改善することを目的とする。

【課題を解決するための手段】

【0006】

この開示の情報処理装置の一の態様は、認証処理の対象に関するクエリ特徴量を取得する特徴量取得手段と、前記クエリ特徴量と、予め登録されたターゲット特徴量と、が一致する度合を示す第１スコアを算出する第１スコア算出手段と、前記第１スコアに基づいて、前記クエリ特徴量と、前記ターゲット特徴量とが一致しない度合を示す第２スコアを算出する第２スコア算出手段と、前記第１スコアを第１のクラスに対応する第１クラススコアとして扱い、前記第２スコアを第２のクラスに対応する第２クラススコアとして扱うことで、前記認証処理に関するサリエンシーマップを生成するマップ生成手段と、を備える。

【0007】

この開示の情報処理方法の一の態様は、少なくとも１つのコンピュータによって、認証処理の対象に関するクエリ特徴量を取得し、前記クエリ特徴量と、予め登録されたターゲット特徴量と、が一致する度合を示す第１スコアを算出し、前記第１スコアに基づいて、前記クエリ特徴量と、前記ターゲット特徴量とが一致しない度合を示す第２スコアを算出し、前記第１スコアを第１のクラスに対応する第１クラススコアとして扱い、前記第２スコアを第２のクラスに対応する第２クラススコアとして扱うことで、前記認証処理に関するサリエンシーマップを生成する。

【0008】

この開示の記録媒体の一の態様は、少なくとも１つのコンピュータに、認証処理の対象に関するクエリ特徴量を取得し、前記クエリ特徴量と、予め登録されたターゲット特徴量と、が一致する度合を示す第１スコアを算出し、前記第１スコアに基づいて、前記クエリ特徴量と、前記ターゲット特徴量とが一致しない度合を示す第２スコアを算出し、前記第１スコアを第１のクラスに対応する第１クラススコアとして扱い、前記第２スコアを第２のクラスに対応する第２クラススコアとして扱うことで、前記認証処理に関するサリエンシーマップを生成する、情報処理方法を実行させるコンピュータプログラムが記録されている。

【図面の簡単な説明】

【0009】

【図1】第１実施形態に係る情報処理装置のハードウェア構成を示すブロック図である。

【図2】第１実施形態に係る情報処理装置の機能的構成を示すブロック図である。

【図3】第１実施形態に係る情報処理装置の動作の流れを示すフローチャートである。

【図4】第２実施形態に係る情報処理装置の機能的構成を示すブロック図である。

【図5】第２実施形態に係る情報処理装置の動作の流れを示すフローチャートである。

【図6】勾配計算における正規化処理の影響を示す模式図である。

【図7】第３実施形態に係る情報処理装置におけるＣＡＭ生成部の機能的構成を示すブロック図である。

【図8】第３実施形態に係る情報処理装置の動作の流れを示すフローチャートである。

【図9】第４実施形態に係る情報処理装置による可視化手法の一例を示す概念図である。

【図10】第５実施形態に係る情報処理装置の機能的構成を示すブロック図である。

【図11】第５実施形態に係る情報処理装置の動作の流れを示すフローチャートである。

【図12】第６実施形態に係る情報処理装置による可視化手法の一例を示す概念図である。

【発明を実施するための形態】

【0010】

以下、図面を参照しながら、情報処理装置、情報処理方法、及び記録媒体の実施形態について説明する。

【0011】

＜第１実施形態＞
第１実施形態に係る情報処理装置について、図１から図３を参照して説明する。

【0012】

（ハードウェア構成）
まず、図１を参照しながら、第１実施形態に係る情報処理装置のハードウェア構成について説明する。図１は、第１実施形態に係る情報処理装置のハードウェア構成を示すブロック図である。

【0013】

図１に示すように、第１実施形態に係る情報処理装置１０は、プロセッサ１１と、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）１２と、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）１３と、記憶装置１４とを備えている。情報処理装置１０は更に、入力装置１５と、出力装置１６と、を備えていてもよい。上述したプロセッサ１１と、ＲＡＭ１２と、ＲＯＭ１３と、記憶装置１４と、入力装置１５と、出力装置１６とは、データバス１７を介して接続されている。

【0014】

プロセッサ１１は、コンピュータプログラムを読み込む。例えば、プロセッサ１１は、ＲＡＭ１２、ＲＯＭ１３及び記憶装置１４のうちの少なくとも一つが記憶しているコンピュータプログラムを読み込むように構成されている。或いは、プロセッサ１１は、コンピュータで読み取り可能な記録媒体が記憶しているコンピュータプログラムを、図示しない記録媒体読み取り装置を用いて読み込んでもよい。プロセッサ１１は、ネットワークインタフェースを介して、情報処理装置１０の外部に配置される不図示の装置からコンピュータプログラムを取得してもよい（つまり、読み込んでもよい）。プロセッサ１１は、読み込んだコンピュータプログラムを実行することで、ＲＡＭ１２、記憶装置１４、入力装置１５及び出力装置１６を制御する。本実施形態では特に、プロセッサ１１が読み込んだコンピュータプログラムを実行すると、プロセッサ１１内には、サリエンシーマップを生成するための機能ブロックが実現される。このように、プロセッサ１１は、情報処理装置１０における各制御を実行するコントローラとして機能してよい。

【0015】

プロセッサ１１は、例えばＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）、ＧＰＵ（Ｇｒａｐｈｉｃｓ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）、ＦＰＧＡ（ｆｉｅｌｄ－ｐｒｏｇｒａｍｍａｂｌｅ ｇａｔｅ ａｒｒａｙ）、ＤＳＰ（Ｄｅｍａｎｄ－Ｓｉｄｅ Ｐｌａｔｆｏｒｍ）、ＡＳＩＣ（Ａｐｐｌｉｃａｔｉｏｎ Ｓｐｅｃｉｆｉｃ Ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔ）として構成されてよい。プロセッサ１１は、これらのうち一つで構成されてもよいし、複数を並列で用いるように構成されてもよい。

【0016】

ＲＡＭ１２は、プロセッサ１１が実行するコンピュータプログラムを一時的に記憶する。ＲＡＭ１２は、プロセッサ１１がコンピュータプログラムを実行している際にプロセッサ１１が一時的に使用するデータを一時的に記憶する。ＲＡＭ１２は、例えば、Ｄ－ＲＡＭ（Ｄｙｎａｍｉｃ Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）や、ＳＲＡＭ(Ｓｔａｔｉｃ Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ)であってよい。また、ＲＡＭ１２に代えて、他の種類の揮発性メモリが用いられてもよい。

【0017】

ＲＯＭ１３は、プロセッサ１１が実行するコンピュータプログラムを記憶する。ＲＯＭ１３は、その他に固定的なデータを記憶していてもよい。ＲＯＭ１３は、例えば、Ｐ－ＲＯＭ（Ｐｒｏｇｒａｍｍａｂｌｅ Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）や、ＥＰＲＯＭ(Ｅｒａｓａｂｌｅ Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ)であってよい。また、ＲＯＭ１３に代えて、他の種類の不揮発性 メモリが用いられてもよい。

【0018】

記憶装置１４は、情報処理装置１０が長期的に保存するデータを記憶する。記憶装置１４は、プロセッサ１１の一時記憶装置として動作してもよい。記憶装置１４は、例えば、ハードディスク装置、光磁気ディスク装置、ＳＳＤ（Ｓｏｌｉｄ Ｓｔａｔｅ Ｄｒｉｖｅ）及びディスクアレイ装置のうちの少なくとも一つを含んでいてもよい。

【0019】

入力装置１５は、情報処理装置１０のユーザからの入力指示を受け取る装置である。入力装置１５は、例えば、キーボード、マウス及びタッチパネルのうちの少なくとも一つを含んでいてもよい。入力装置１５は、スマートフォンやタブレット等の携帯端末として構成されていてもよい。入力装置１５は、例えばマイクを含む音声入力が可能な装置であってもよい。

【0020】

出力装置１６は、情報処理装置１０に関する情報を外部に対して出力する装置である。例えば、出力装置１６は、情報処理装置１０に関する情報を表示可能な表示装置（例えば、ディスプレイ）であってもよい。また、出力装置１６は、情報処理装置１０に関する情報を音声出力可能なスピーカ等であってもよい。出力装置１６は、スマートフォンやタブレット等の携帯端末として構成されていてもよい。また、出力装置１６は、画像以外の形式で情報を出力する装置であってもよい。例えば、出力装置１６は、情報処理装置１０に関する情報を音声で出力するスピーカであってもよい。

【0021】

なお、図１では、複数の装置を含んで構成される情報処理装置１０の例を挙げたが、これらの全部又は一部の機能を、１つの装置として実現してもよい。その場合、情報処理装置１０は、例えば上述したプロセッサ１１、ＲＡＭ１２、ＲＯＭ１３のみを備えて構成され、その他の構成要素（即ち、記憶装置１４、入力装置１５、出力装置１６）については、情報処理装置１０に接続される外部の装置が備えるようにしてもよい。また、情報処理装置１０は、一部の演算機能を外部の装置（例えば、外部サーバやクラウド等）によって実現するものであってもよい。

【0022】

（機能的構成）
次に、図２を参照しながら、第１実施形態に係る情報処理装置１０の機能的構成について説明する。図２は、第１実施形態に係る情報処理装置の機能的構成を示すブロック図である。

【0023】

第１実施形態に係る情報処理装置１０は、認証処理に関するサリエンシーマップを生成するものとして構成されている。例えば、情報処理装置１０は、認証処理に関する寄与度の高い部分を可視化するサリエンシーマップを生成可能に構成されている。なお、ここでの認証処理の種別は特に限定されないが、例えば顔画像や虹彩画像を用いた生体認証処理であってよい。情報処理装置１０は、それ自身が認証処理を実行可能に構成されてもよいが、自身が認証処理を実行しないように構成されてもよい（例えば、認証処理は外部の装置が行うように構成されてよい）。

【0024】

図２に示すように、第１実施形態に係る情報処理装置１０は、その機能を実現するための構成要素として、特徴量取得部１１０と、照合部１２０と、マップ生成部１３０と、を備えて構成されている。特徴量取得部１１０、照合部１２０、マップ生成部１３０の各々は、例えば上述したプロセッサ１１（図１参照）によって実現される処理ブロックであってよい。また、特徴量取得部１１０、照合部１２０、マップ生成部１３０の各々は、ニューラルネットワークとして構成されてよい。

【0025】

特徴量取得部１１０は、認証処理の対象に関するクエリ特徴量を取得可能に構成されている。例えば、特徴量取得部１１０は、対象の画像に対して各種処理を実行することによって、クエリ特徴量を抽出可能に構成されてよい。特徴量取得部１１０は、取得した特徴量を照合部１２０に出力可能に構成されている。また、特徴量取得部１１０は、マップ生成に用いる情報（例えば、勾配計算に用いる中間特徴量等）をマップ生成部１３０に出力可能に構成されてよい。

【0026】

照合部１２０は、特徴量取得部１１０で取得されたクエリ特徴量と、予め登録されたターゲット特徴量と、を用いて照合処理を実行可能に構成されている。具体的には、照合部１２０は、クエリ特徴量とターゲット特徴量とから照合スコアを算出する。この場合、照合部１２０は、算出した照合スコアと、そのスコアが本人である（即ち、登録された対象である）ことを判定するための判定閾値、及び他人である（即ち、登録された対象のいずれでもない）ことを判定するための判定閾値と、を比較して照合処理を行ってよい。照合スコアは、例えばクエリ特徴量とターゲット特徴量とのコサイン類似度として算出されてよい。

【0027】

照合部１２０は、上述した照合スコアを算出する構成要素として、第１スコア算出部１２１と、第２スコア算出部１２２とを備えている。第１スコア算出部１２１は、クエリ特徴量とターゲット特徴量とが一致する度合を示す第１スコア（所謂、本人スコア）を算出可能に構成されている。なお、登録されているターゲットが複数存在する場合、第１スコアは複数のターゲットの各々について算出されてよい。即ち、第１スコアは複数算出されてよい。第２スコア１２２は、クエリ特徴量とターゲット特徴量とが一致しない度合を示す第２スコア（所謂、他人スコア）を算出可能に構成されている。

【0028】

マップ生成部１３０は、照合部で算出された照合スコアを用いてサリエンシーマップを生成可能に構成されている。具体的には、マップ生成部１３０は、第１スコア算出部１２１で算出された第１スコアを第１のクラスに対応する第１クラススコアとして扱う。例えば、マップ生成部１３０は、下記式（１）のように表される第１スコアｙ^ｔを、第１クラススコアｙ^ｃとみなしてよい。

【0029】

【数1】

なお、ｆ（ハット）はクエリ特徴量、ｆ（ハット）_ｔはｔ番目のターゲット特徴量である。

【0030】

また、マップ生成部１３０は、第２スコア算出部１２２で算出された第２スコアを第２のクラス（即ち、第１のクラスとは異なるクラス）に対応する第２クラススコアとして扱う。例えば、下記式（２）のように表される他人確率ｐより、第２クラススコアｘを下記式（３）のように定義してよい。

【0031】

【数2】

なお、λは本人、他人を判定するための判定閾値、ｓは正の数（超パラメタ）である。

【0032】

上記のように、第１スコア（本人スコア）を第１クラススコアとして扱い、第２スコア（他人スコア）を第２クラススコアとして扱うことで、予めクラスが定義されていない認証タスクを、クラス分類タスクとみなして処理することができる。なお、第２クラススコアを定数（例えば、単に閾値）にすると、勾配計算結果がすべてゼロとなり、所望の結果が得られないが、上記のように定義することで、このような課題を回避することが可能となる。

【0033】

（動作の流れ）
次に、図３を参照しながら、第１実施形態に係る情報処理装置１０の動作の流れ（具体的には、サリエンシーマップを出力するまでの流れ）について説明する。図３は、第１実施形態に係る情報処理装置の動作の流れを示すフローチャートである。

【0034】

図３に示すように、第１実施形態に係る情報処理装置１０による動作が開始されると、まず特徴量取得部１１０が、認証処理の対象に関するクエリ特徴量を取得する（ステップＳ１０１）。特徴量取得部１１０で取得されたクエリ特徴量は、照合部１２０に出力される。また、特徴量取得部１１０で取得された中間特徴量等は、マップ生成部１３０に出力されてよい。

【0035】

続いて、照合部１２０における第１スコア算出部１２１が、クエリ特徴量とターゲット特徴量とが一致する度合を示す第１スコアを算出する（ステップＳ１０２）。また、照合部１２０における第２スコア算出部１２２が、クエリ特徴量とターゲット特徴量とが一致しない度合を示す第２スコアを算出する（ステップＳ１０３）。第１スコア算出部１２１で算出された第１スコア、及び第２スコア算出部１２２で算出された第２スコアは、それぞれマップ生成部１３０に出力される。

【0036】

続いて、マップ生成部１３０が、第１スコア算出部１２１で算出された第１スコアを第１クラススコアとして扱い、第２スコア算出部１２２で算出された第２スコアを第２クラススコアとして扱うことで、サリエンシーマップを生成する（ステップＳ１０４）。そして、マップ生成部１３０は、生成したサリエンシーマップを出力する（ステップＳ１０５）。サリエンシーマップは、例えば上述した出力装置１６（図１参照）等によって出力されてよい。例えば、サエリエンシーマップは、ディスプレイを用いて画像表示されてよい。なお、サリエンシーマップの具体的な可視化方法については、後述する他の実施形態で詳しく説明する。

【0037】

（技術的効果）
次に、第１実施形態に係る情報処理装置１０によって得られる技術的効果について説明する。

【0038】

図１から図３で説明したように、第１実施形態に係る情報処理装置１０では、認証処理における照合スコアをクラススコアとして扱うことにより、サリエンシーマップが生成される。このようにすれば予めクラスが定義されていない認証タスクを、クラス分類タスクとみなして処理することができるため、適切にサリエンシーマップを生成することが可能となる。

【0039】

＜第２実施形態＞
第２実施形態に係る情報処理装置１０について、図４及び図５を参照して説明する。なお、第２実施形態は、上述した第１実施形態と一部の構成及び動作が異なるのみであり、その他の部分については第１実施形態と同一であってよい。このため、以下では、すでに説明した第１実施形態と異なる部分について詳細に説明し、その他の重複する部分については適宜説明を省略するものとする。

【0040】

（機能的構成）
まず、図４を参照しながら、第２実施形態に係る情報処理装置１０の機能的構成について説明する。図４は、第２実施形態に係る情報処理装置の機能的構成を示すブロック図である。なお、図４では、図２で示した構成要素と同様の要素に同一の符号を付している。

【0041】

図４に示すように、第２実施形態に係る情報処理装置１０は、その機能を実現するための構成要素として、特徴量生成部１１０と、照合部１２０と、ＣＡＭ生成部１３５と、を備えて構成されている。即ち、第２実施形態に係る情報処理装置１０は、第１実施形態におけるマップ生成部１３０（図２参照）に代えて、ＣＡＭ生成部１３５を備えている。ＣＡＭ生成部１３５は、例えば上述したプロセッサ１１（図１参照）によって実現される処理ブロックであってよい。

【0042】

ＣＡＭ生成部１３５は、サリエンシーマップの一具体例であるＣＡＭ（Ｃｌａｓｓ Ａｃｔｉｖａｔｉｏｎ Ｍａｐ）を生成可能に構成されている。ＣＡＭ生成部１３５は、上述した第１実施形態のマップ生成部１３０（図２参照）と同様に、第１スコア算出部１２１で算出された第１スコアを第１クラススコアとして扱い、第２スコア算出部１２２で算出された第２スコアを第２クラススコアとして扱う。このようにして、ＣＡＭ生成部１３５は、第１スコア及び第２スコアからＣＡＭを生成する。

【0043】

なお、ＣＡＭの具体的な生成手法については、既存の技術を適宜採用することができるため、ここでの詳細な説明は省略する。なお、ＣＡＭ生成部１３５は、ＣＡＭから派生した様々な手法を用いてよい。例えば、ＣＡＭ生成部１３５は、Ｇｒａｄ－ＣＡＭ（Ｇｒａｄｉｅｎｔ－ｗｅｉｇｈｔｅｄ Ｃｌａｓｓ Ａｃｔｉｖａｔｉｏｎ Ｍａｐ）の手法を用いてＣＡＭを生成してよい。この場合、例えばｔ番目のターゲット特徴量をＧｒａｄ－ＣＡＭの重みＷ^ｃとみなすことで、照合スコアをクラススコアとして扱うことができる。

【0044】

（動作の流れ）
次に、図５を参照しながら、第２実施形態に係る情報処理装置１０の動作の流れについて説明する。図５は、第２実施形態に係る情報処理装置の動作の流れを示すフローチャートである。なお、図５では、図３で示した処理と同様の処理に同一の符号を付している。

【0045】

図５に示すように、第２実施形態に係る情報処理装置１０による動作が開始されると、まず特徴量取得部１１０が、認証処理の対象に関するクエリ特徴量を取得する（ステップＳ１０１）。そして、照合部１２０における第１スコア算出部１２１が、クエリ特徴量とターゲット特徴量とが一致する度合を示す第１スコアを算出する（ステップＳ１０２）。また、照合部１２０における第２スコア算出部１２２が、クエリ特徴量とターゲット特徴量とが一致しない度合を示す第２スコアを算出する（ステップＳ１０３）。

【0046】

続いて、ＣＡＭ生成部１３５が、第１スコア算出部１２１で算出された第１スコアを第１クラススコアとして扱い、第２スコア算出部１２２で算出された第２スコアを第２クラススコアとして扱うことで、ＣＡＭを生成する（ステップＳ２０１）。そして、ＣＡＭ生成部１３５は、生成したＣＡＭを出力する（ステップＳ２０２）。ＣＡＭは、例えば上述した出力装置１６（図１参照）等によって出力されてよい。例えば、ＣＡＭは、ディスプレイを用いて画像表示されてよい。なお、ＣＡＭの具体的な可視化方法については、後述する他の実施形態で詳しく説明する。

【0047】

（技術的効果）
次に、第２実施形態に係る情報処理装置１０によって得られる技術的効果について説明する。

【0048】

図４及び図５で説明したように、第２実施形態に係る情報処理装置１０では、認証処理における照合スコアをクラススコアとして扱うことにより、ＣＡＭが生成される。このようにすれば予めクラスが定義されていない認証タスクを、クラス分類タスクとみなして処理することができるため、適切にＣＡＭを生成することが可能となる。

【0049】

＜第３実施形態＞
第３実施形態に係る情報処理装置１０について、図６から図８を参照して説明する。なお、第３実施形態は、上述した第１及び第２実施形態と一部の構成及び動作が異なるのみであり、その他の部分については第１及び第２実施形態と同一であってよい。このため、以下では、すでに説明した各実施形態と異なる部分について詳細に説明し、その他の重複する部分については適宜説明を省略するものとする。

【0050】

（正規化処理の影響）
まず、図６を参照しながら、第３実施形態に係る情報処理装置１０で実行される正規化処理が与える影響について説明する。図６は、勾配計算における正規化処理の影響を示す模式図である。

【0051】

認証処理は、正規化処理を含むことがある。例えば、正規化処理は、クエリ特徴量を及びターゲット特徴量正規化する処理を含むことがある。正規化処理の一具体例としては、下記式（４）及び（５）のように特徴量マッマップＦ_ｉｊ ^ｋ（ｉｊはマップの要素を示す符号）を正規化する処理が挙げられる。ただし、本実施形態に係る正規化処理が下記例に限定されるものではない。

【0052】

【数3】

【0053】

そして、上記の正規化処理に対する勾配計算は、下記式（６）のようになる。

【0054】

【数4】

なお、δはクロネッカーのデルタである。

【0055】

上記式（６）の第１項は、図６におけるｆに対応しており、正規化処理の影響を含まないものである。一方、第２項を含めた場合は、図６におけるｗに対応し、正規化処理の影響を含むものとなる。このように、正規化処理の影響を含むものとそうでないものとでは、ベクトルの方向が全く異なるものとなる。

【0056】

なお、正規化処理の影響を含まない第１項については、人間が直感的に理解しやすいものである。一方で、正規化処理の影響を含む第２項を含めると、機械には理解しやすいものの、人間には直感的に理解しにくいものとなる。よって、正規化処理の影響を含んだものからサリエンシーマップを生成すると、人間の直感的理解にそぐわない結果が得られることになってしまう。本実施形態に係る情報処理装置１０は、このような正規化処理の影響を排除することで（具体的には、上記式（６）の第２項の影響を排除するような処理を行うことで）、適切なサリエンシーマップを生成可能とされている。

【0057】

（機能的構成）
次に、図７を参照しながら、第３実施形態に係る情報処理装置１０の機能的構成（特に、ＣＡＭ生成部１３５の構成）について説明する。図７は、第３実施形態に係る情報処理装置におけるＣＡＭ生成部の機能的構成を示すブロック図である。

【0058】

図７に示すように、第２実施形態に係るＣＡＭ生成部１３５は、その機能を実現するための構成要素として、第１重要度重み算出部１３５１と、第２重要度重み算出部１３５２と、第１ＣＡＭ算出部１３５３と、第２ＣＡＭ算出部１３５４と、を備えて構成されている。

【0059】

第１重要度重み算出部１３５１は、正規化処理の影響を受けた重要度重みを算出可能に構成されている。一方、第２重要度重み算出部１３５２は、正規化処理の影響を取り除いた重要度重みを算出可能に構成されている。第１重要度重み算出部１３５１及び第２重要度重み算出部１３５２には、照合スコアや照合特徴量、その他の勾配計算に用いる情報等が入力される。そして、第１重要度重み算出部１３５１及び第２重要度重み算出部１３５２は、それらの入力される情報を用いて、それぞれ重要度重みを算出する。

【0060】

第１ＣＡＭ算出部１３５３は、第１重要度重み算出部１３５１で算出された重要度重み（即ち、正規化処理の影響を受けた重要度重み）と中間特徴量等とを用いて、第１ＣＡＭを生成する。第１ＣＡＭは、正規化処理の影響を受けたＣＡＭである。一方、第２ＣＡＭ算出部１３５４は、第２重要度重み算出部１３５２で算出された重要度重み（即ち、正規化処理の影響を取り除いた重要度重み）と中間特徴量等とを用いて、第２ＣＡＭを生成する。第２ＣＡＭは、正規化処理の影響を取り除いたＣＡＭである。

【0061】

（動作の流れ）
次に、図８を参照しながら、第３実施形態に係る情報処理装置１０の動作の流れについて説明する。図８は、第３実施形態に係る情報処理装置の動作の流れを示すフローチャートである。なお、図８では、図５で示した処理と同様の処理に同一の符号を付している。

【0062】

図８に示すように、第３実施形態に係る情報処理装置１０による動作が開始されると、まず特徴量取得部１１０が、認証処理の対象に関するクエリ特徴量を取得する（ステップＳ１０１）。そして、照合部１２０における第１スコア算出部１２１が、クエリ特徴量とターゲット特徴量とが一致する度合を示す第１スコアを算出する（ステップＳ１０２）。また、照合部１２０における第２スコア算出部１２２が、クエリ特徴量とターゲット特徴量とが一致しない度合を示す第２スコアを算出する（ステップＳ１０３）。

【0063】

続いて、第１重要度重み算出部１３５１が、正規化処理の影響を受けた重要度重みを算出する（ステップＳ３０１）。そして、第１ＣＡＭ算出部１３５３は、第１重要度重み算出部１３５１で算出された重要度重みと中間特徴量等とを用いて、正規化処理の影響を受けた第１ＣＡＭを生成する（ステップＳ３０２）。一方、第２重要度重み算出部１３５２は、正規化処理の影響を取り除いた重要度重みを算出する（ステップＳ３０３）。そして、第２ＣＡＭ算出部１３５４は、第２重要度重み算出部１３５２で算出された重要度重みと中間特徴量等とを用いて、正規化処理の影響を取り除いた第２ＣＡＭを生成する（ステップＳ３０４）。

【0064】

続いて、ＣＡＭ生成部１３５は、生成したＣＡＭを出力する（ステップＳ２０２）。ＣＡＭ生成部１３５は、正規化処理の影響を受けた第１ＣＡＭ及び正規化処理の影響を受けない第２ＣＡＭの両方を出力してもよいし、第１ＣＡＭ及び第２ＣＡＭのいずれか一方を出力してもよい。なお、第１ＣＡＭ及び第２ＣＡＭの具体的な可視化方法については、後述する他の実施形態で詳しく説明する。

【0065】

（技術的効果）
次に、第３実施形態に係る情報処理装置１０によって得られる技術的効果について説明する。

【0066】

図６から図８で説明したように、第３実施形態に係る情報処理装置１０では、正規化処理の影響を取り除いたＣＡＭが生成される。このようにすれば、人間の直感的理解に即したＣＡＭを生成することができる。なお、本実施形態では、ＣＡＭを生成する例を挙げたが、正規化処理を取り除くことによる効果は、ＣＡＭ以外のサリエンシーマップでも得られる。

【0067】

＜第４実施形態＞
第４実施形態に係る情報処理装置１０について、図９を参照して説明する。なお、第４実施形態は、上述した第３実施形態におけるマップの可視化手法を説明するものであり、装置構成や動作の流れ等については第３実施形態と同一であってよい。このため、以下では、すでに説明した各実施形態と異なる部分について詳細に説明し、その他の重複する部分については適宜説明を省略するものとする。

【0068】

（可視化手法）
まず、図９を参照しながら、第４実施形態に係る情報処理装置１０によるサリエンシーマップの可視化手法について説明する。図９は、第４実施形態に係る情報処理装置による可視化手法の一例を示す概念図である。

【0069】

図９に示すように、第４実施形態に係る情報処理装置１０では、正規化処理の影響がないＣＡＭ（即ち、第２ＣＡＭ算出部１３５４で算出された第２ＣＡＭ）と、正規化処理の影響があるＣＡＭ（即ち、第１ＣＡＭ算出部１３５３で算出された第１ＣＡＭ）とが、表示に係る別々のパラメータに対応付けられることで可視化が行われる。例えば、正規化処理の影響がない第２ＣＡＭが色相に対応し、正規化処理の影響がある第１ＣＡＭが彩度に対応するように可視化が行われる。このようにすれば、例えば入力を明度に対応させることで、入力画像（白黒画像）に第１ＣＡＭ及び第２ＣＡＭをオーバレイして表示することができる。

【0070】

なお、第１ＣＡＭ及び第２ＣＡＭが対応付けられるパラメータは、上述した色相及び彩度に限定されるものではない。ただし、正規化処理の影響がない第１ＣＡＭについては、第２ＣＡＭと比較して、人間に対する視覚的効果の強いパラメータ（例えば、上記例の色相など）に対応付けられることが好ましい。

【0071】

（技術的効果）
次に、第４実施形態に係る情報処理装置１０によって得られる技術的効果について説明する。

【0072】

図９で説明したように、第４実施形態に係る情報処理装置１０では、正規化処理の影響がないＣＡＭと、正規化処理の影響があるＣＡＭとが、別々のパラメータに対応するように可視化が行われる。このようにすれば、人間の直感的理解に即した可視化を実現することが可能となる。

【0073】

＜第５実施形態＞
第５実施形態に係る情報処理装置１０について、図１０及び図１１を参照して説明する。なお、第５実施形態は、上述した第１から第４実施形態と一部の構成及び動作が異なるのみであり、その他の部分については第１から第４実施形態と同一であってよい。このため、以下では、すでに説明した各実施形態と異なる部分について詳細に説明し、その他の重複する部分については適宜説明を省略するものとする。

【0074】

（機能的構成）
まず、図１０を参照しながら、第５実施形態に係る情報処理装置１０の機能的構成について説明する。図１０は、第５実施形態に係る情報処理装置の機能的構成を示すブロック図である。なお、図１０では、図２で示した構成要素と同様の要素に同一の符号を付している。

【0075】

図１０に示すように、第５実施形態に係る情報処理装置１０は、その機能を実現するための構成要素として、特徴量取得部１１０と、照合部１２０と、マップ生成部１３０と、を備えて構成されている。そして特に、第５実施形態に係るマップ生成部１３０は、要素分解部１３１を備えている。

【0076】

要素分解部１３１は、クエリ特徴量に基づく特徴量マップの各要素の認証処理に対する寄与を、ノルムと類似度とに分解可能に構成されている。ただし、要素分解部１３１は、特徴量マップの生成後の処理がほとんど線形処理であることを前提としている。なお、ここで“ほとんど”としたのは、アフィン変換に含まれるバイアス処理等、定義拡張が自明な場合を想定しているためである。非線形処理の例としては、ＲｅＬＵ等の活性化関数処理が挙げられる。

【0077】

上述した線形処理の前提を課すと、正規化特徴量は下記式（７）のように表すことができる。

【0078】

【数5】

なお、Ｇ_ｉｊは各要素ｉｊで定義された特徴量である。

【0079】

正規化処理は非線形処理であるが、上記式（７）のように正規化係数を予め計算することにより、線形処理として定義することができる。そして、上記式（７）を念頭に照合スコアを見直すと、下記式（８）のように、各要素の寄与をノルムと角度（類似度）とに分解して定義することができる。

【0080】

【数6】

なお、｜Ｇ_ｉｊ｜はＧ_ｉｊのノルムであり、ｙ^ｔ _ｉｊはＧ_ｉｊとｆ_ｔのコサイン類似度である。

【0081】

上記構成では、類似度の重み付き和が利用される。類似度は、例えば顔認証等においてよく用いられる指標であり、本実施形態では、このような認証処理の特性を考慮してサリエンシーマップの生成が行われることになる。

【0082】

（動作の流れ）
次に、図１１を参照しながら、第５実施形態に係る情報処理装置１０の動作の流れについて説明する。図１１は、第５実施形態に係る情報処理装置の動作の流れを示すフローチャートである。なお、図１１では、図３で示した処理と同様の処理に同一の符号を付している。

【0083】

図１１に示すように、第５実施形態に係る情報処理装置１０による動作が開始されると、まず特徴量取得部１１０が、認証処理の対象に関するクエリ特徴量を取得する（ステップＳ１０１）。そして、照合部１２０における第１スコア算出部１２１が、クエリ特徴量とターゲット特徴量とが一致する度合を示す第１スコアを算出する（ステップＳ１０２）。また、照合部１２０における第２スコア算出部１２２が、クエリ特徴量とターゲット特徴量とが一致しない度合を示す第２スコアを算出する（ステップＳ１０３）。

【0084】

続いて、マップ生成部１３０が、特徴量マップの要素ごとの寄与を、ノルムと類似度とに分解してサリエンシーマップを生成する（ステップＳ５０１）。そして、マップ生成部１３０は、生成したサリエンシーマップを出力する（ステップＳ２０２）。なお、分解したノルムと類似度とを用いた具体的な可視化方法については、後述する他の実施形態で詳しく説明する。

【0085】

（技術的効果）
次に、第５実施形態に係る情報処理装置１０によって得られる技術的効果について説明する。

【0086】

図１０及び図１１で説明したように、第５実施形態に係る情報処理装置１０では、特徴量マップの要素ごとの寄与がノルムと類似度とに分解される。このようにすれば、正規化処理を前提とする認証処理の特性を考慮して、適切なサリエンシーマップを生成することが可能となる。

【0087】

＜第６実施形態＞
第６実施形態に係る情報処理装置１０について、図１２を参照して説明する。なお、第６実施形態は、上述した第５実施形態におけるマップの可視化手法を説明するものであり、装置構成や動作の流れ等については第５実施形態と同一であってよい。このため、以下では、すでに説明した各実施形態と異なる部分について詳細に説明し、その他の重複する部分については適宜説明を省略するものとする。

【0088】

（可視化手法）
まず、図１２を参照しながら、第６実施形態に係る情報処理装置１０によるサリエンシーマップの可視化手法について説明する。図１２は、第６実施形態に係る情報処理装置による可視化手法の一例を示す概念図である。

【0089】

図１２に示すように、第６実施形態に係る情報処理装置１０では、要素分解部１３１によって分解されたノルムと類似度とが、表示に係る別々のパラメータに対応付けられることで可視化が行われる。例えば、ノルムが彩度に対応し、類似度が色相に対応するように可視化が行われる。このようにすれば、例えば入力を明度に対応させることで、入力画像（白黒画像）にノルム及び類似度に対応する要素をオーバレイして表示することができる。

【0090】

なお、ノルム及び類似度が対応付けられるパラメータは、上述した色相及び彩度に限定されるものではない。ただし、相対的に重要度が高いと考えられる類似度については、ノルムと比較して、人間に対する視覚的効果の強いパラメータ（例えば、上記例の色相など）に対応付けられることが好ましい。

【0091】

（技術的効果）
次に、第６実施形態に係る情報処理装置１０によって得られる技術的効果について説明する。

【0092】

図１２で説明したように、第６実施形態に係る情報処理装置１０では、分解されたノルムと類似度とが、別々のパラメータに対応するように可視化が行われる。このようにすれば、認証処理の特性を考慮した可視化を実現することが可能となる。

【0093】

上述した各実施形態の機能を実現するように該実施形態の構成を動作させるプログラムを記録媒体に記録させ、該記録媒体に記録されたプログラムをコードとして読み出し、コンピュータにおいて実行する処理方法も各実施形態の範疇に含まれる。すなわち、コンピュータ読取可能な記録媒体も各実施形態の範囲に含まれる。また、上述のプログラムが記録された記録媒体はもちろん、そのプログラム自体も各実施形態に含まれる。

【0094】

記録媒体としては例えばフロッピー（登録商標）ディスク、ハードディスク、光ディスク、光磁気ディスク、ＣＤ－ＲＯＭ、磁気テープ、不揮発性メモリカード、ＲＯＭを用いることができる。また該記録媒体に記録されたプログラム単体で処理を実行しているものに限らず、他のソフトウェア、拡張ボードの機能と共同して、ＯＳ上で動作して処理を実行するものも各実施形態の範疇に含まれる。更に、プログラム自体がサーバに記憶され、ユーザ端末にサーバからプログラムの一部または全てをダウンロード可能なようにしてもよい。

【0095】

＜付記＞
以上説明した実施形態に関して、更に以下の付記のようにも記載されうるが、以下には限られない。

【0096】

（付記１）
付記１に記載の情報処理装置は、認証処理の対象に関するクエリ特徴量を取得する特徴量取得手段と、前記クエリ特徴量と、予め登録されたターゲット特徴量と、が一致する度合を示す第１スコアを算出する第１スコア算出手段と、前記第１スコアに基づいて、前記クエリ特徴量と、前記ターゲット特徴量とが一致しない度合を示す第２スコアを算出する第２スコア算出手段と、前記第１スコアを第１のクラスに対応する第１クラススコアとして扱い、前記第２スコアを第２のクラスに対応する第２クラススコアとして扱うことで、前記認証処理に関するサリエンシーマップを生成するマップ生成手段と、を備える情報処理装置である。

【0097】

（付記２）
付記２に記載の情報処理装置は、前記マップ生成手段は、ＣＡＭ（Ｃｌａｓｓ Ａｃｔｉｖａｔｉｏｎ Ｍａｐ）を生成する、付記１に記載の情報処理装置である。

【0098】

（付記３）
付記３に記載の情報処理装置は、前記マップ生成手段は、前記認証処理に含まれる前記クエリ特徴量の正規化処理による影響を除去して、前記サリエンシーマップを生成する、付記１又は２に記載の情報処理装置である。

【0099】

（付記４）
付記４に記載の情報処理装置は、前記マップ生成手段は、前記正規化処理による影響を含まない第１データを第１パラメータに対応させ、前記正規化処理による影響を含む第２データを第２パラメータに対応させて、前記サリエンシーマップを生成する、付記３に記載の情報処理装置である。

【0100】

（付記５）
付記５に記載の情報処理装置は、前記マップ生成手段は、前記クエリ特徴量に基づく特徴量マップの各要素の前記認証処理に対する寄与を、ノルムと類似度との２つの要素に分解して、前記サリエンシーマップを生成する、付記１又は２に記載の情報処理装置である。

【0101】

（付記６）
付記６に記載の情報処理装置は、前記マップ生成手段は、前記ノルムを第１パラメータに対応させ、前記類似度を第２パラメータに対応させて、前記サリエンシーマップを生成する、付記５に記載の情報処理装置である。

【0102】

（付記７）
付記７に記載の情報処理方法は、少なくとも１つのコンピュータによって、認証処理の対象に関するクエリ特徴量を取得し、前記クエリ特徴量と、予め登録されたターゲット特徴量と、が一致する度合を示す第１スコアを算出し、前記第１スコアに基づいて、前記クエリ特徴量と、前記ターゲット特徴量とが一致しない度合を示す第２スコアを算出し、前記第１スコアを第１のクラスに対応する第１クラススコアとして扱い、前記第２スコアを第２のクラスに対応する第２クラススコアとして扱うことで、前記認証処理に関するサリエンシーマップを生成する、情報処理方法である。

【0103】

（付記８）
付記１２に記載の記録媒体は、少なくとも１つのコンピュータに、認証処理の対象に関するクエリ特徴量を取得し、前記クエリ特徴量と、予め登録されたターゲット特徴量と、が一致する度合を示す第１スコアを算出し、前記第１スコアに基づいて、前記クエリ特徴量と、前記ターゲット特徴量とが一致しない度合を示す第２スコアを算出し、前記第１スコアを第１のクラスに対応する第１クラススコアとして扱い、前記第２スコアを第２のクラスに対応する第２クラススコアとして扱うことで、前記認証処理に関するサリエンシーマップを生成する、情報処理方法を実行させるコンピュータプログラムが記録された記録媒体である。

【0104】

（付記９）
付記９に記載のコンピュータプログラムは、少なくとも１つのコンピュータに、認証処理の対象に関するクエリ特徴量を取得し、前記クエリ特徴量と、予め登録されたターゲット特徴量と、が一致する度合を示す第１スコアを算出し、前記第１スコアに基づいて、前記クエリ特徴量と、前記ターゲット特徴量とが一致しない度合を示す第２スコアを算出し、前記第１スコアを第１のクラスに対応する第１クラススコアとして扱い、前記第２スコアを第２のクラスに対応する第２クラススコアとして扱うことで、前記認証処理に関するサリエンシーマップを生成する、情報処理方法を実行させるコンピュータプログラムである。

【0105】

（付記１０）
付記１０に記載の情報処理システムは、認証処理の対象に関するクエリ特徴量を取得する特徴量取得手段と、前記クエリ特徴量と、予め登録されたターゲット特徴量と、が一致する度合を示す第１スコアを算出する第１スコア算出手段と、前記第１スコアに基づいて、前記クエリ特徴量と、前記ターゲット特徴量とが一致しない度合を示す第２スコアを算出する第２スコア算出手段と、前記第１スコアを第１のクラスに対応する第１クラススコアとして扱い、前記第２スコアを第２のクラスに対応する第２クラススコアとして扱うことで、前記認証処理に関するサリエンシーマップを生成するマップ生成手段と、を備える情報処理システムである。

【0106】

この開示は、請求の範囲及び明細書全体から読み取ることのできる発明の要旨又は思想に反しない範囲で適宜変更可能であり、そのような変更を伴う情報処理装置、情報処理方法、及び記録媒体もまたこの開示の技術思想に含まれる。

【符号の説明】

【0107】

１０ 情報処理装置
１１ プロセッサ
１６ 出力装置
１１０ 特徴量取得部
１２０ 照合部
１２１ 第１スコア算出部
１２２ 第２スコア算出部
１３０ マップ生成部
１３１ 要素分解部
１３５ ＣＡＭ生成部
１３５１ 第１重要度重み算出部
１３５２ 第２重要度重み算出部
１３５３ 第１ＣＡＭ算出部
１３５４ 第２ＣＡＭ算出部

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】