特開 2023-180936 認証ガイド装置および認証ガイド方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2023180936

(43)【公開日】2023-12-21

(54)【発明の名称】認証ガイド装置および認証ガイド方法

(51)【国際特許分類】

   G06F 21/32 20130101AFI20231214BHJP

   G06T 7/00 20170101ALI20231214BHJP

   G06F 21/45 20130101ALI20231214BHJP

   G10L 17/00 20130101ALI20231214BHJP

   G10L 17/22 20130101ALI20231214BHJP

【ＦＩ】

G06F21/32

G06T7/00 510F

G06T7/00 530

G06F21/45

G10L17/00 400

G10L17/22

【審査請求】未請求

【請求項の数】13

【出願形態】ＯＬ

(21)【出願番号】P 2022094623

(22)【出願日】2022-06-10

(71)【出願人】

【識別番号】314012076

【氏名又は名称】パナソニックＩＰマネジメント株式会社

(74)【代理人】

【識別番号】110002000

【氏名又は名称】弁理士法人栄光事務所

(72)【発明者】

【氏名】福田 鉄平

(72)【発明者】

【氏名】山崎 龍次

【テーマコード（参考）】

5B043

【Ｆターム（参考）】

5B043AA01

5B043AA04

5B043AA09

5B043BA02

5B043BA04

5B043BA07

5B043CA09

5B043CA10

5B043DA05

5B043FA02

5B043FA03

5B043GA02

5B043GA13

5B043GA17

(57)【要約】

【課題】認証の利用状況に応じて、有効な認証のガイドを利用者に適応的に提示し、認証の効率化を支援する。
【解決手段】認証ガイド装置は、複数種類の生体認証に用いる人物の１つ以上の生体情報の取得時の周囲条件情報を取得する１つ以上の取得部と、周囲環境情報に基づいて、複数種類の生体認証のうち人物に優先的に実行するための実行順序を提示するガイド方法を決定するガイド決定部と、ガイド方法を表示部に表示するガイド表示部と、を備える。
【選択図】図１０

【特許請求の範囲】

【請求項1】

複数種類の生体認証に用いる人物の１つ以上の生体情報の取得時の周囲条件情報を取得する１つ以上の取得部と、
前記周囲条件情報に基づいて、前記複数種類の生体認証のうち前記人物に優先的に実行するための実行順序を提示するガイド方法を決定するガイド決定部と、
前記ガイド方法を表示部に表示するガイド表示部と、を備える、
認証ガイド装置。

【請求項2】

前記周囲条件情報は、前記認証ガイド装置の配置に関するシステム条件情報と、前記人物の周囲の環境条件情報と、前記生体認証の用途条件情報と、を含み、
前記ガイド決定部は、前記システム条件情報と前記環境条件情報と前記用途条件情報とのうち少なくとも１つに基づいて、前記ガイド方法を決定する、
請求項１に記載の認証ガイド装置。

【請求項3】

前記周囲条件情報は、前記人物の嗜好あるいは特性を有する利用者情報、をさらに含む、
請求項２に記載の認証ガイド装置。

【請求項4】

前記ガイド決定部は、前記認証ガイド装置の配置に関するシステム条件情報と、前記人物の周囲の環境条件情報と、前記生体認証の用途条件情報と、前記人物の嗜好あるいは特性を有する利用者情報とのうち少なくとも２つに基づいて、前記ガイド方法を決定する、
請求項１に記載の認証ガイド装置。

【請求項5】

前記環境条件情報は、経時的に変動する特性を有し、前記認証ガイド装置の周囲の環境パラメータの測定値である、
請求項２に記載の認証ガイド装置。

【請求項6】

前記システム条件情報は、経時的に変動しない特性を有し、前記認証ガイド装置の配置時に定められる固定的な機器条件情報である、
請求項２に記載の認証ガイド装置。

【請求項7】

前記用途条件情報は、前記認証ガイド装置による生体認証の用途を示す情報である、
請求項２に記載の認証ガイド装置。

【請求項8】

前記複数種類の生体認証は、前記人物の顔認証、指紋認証および声認証のうち少なくとも２つを有し、
前記生体情報は、前記顔認証に対応する前記人物の顔画像もしくはその顔画像に基づく特徴量、前記指紋認証に対応する前記人物の指紋画像もしくはその指紋画像に基づく特徴量、前記声認証に対応する前記人物の音声もしくはその音声に基づく特徴量である、
請求項１に記載の認証ガイド装置。

【請求項9】

前記ガイド決定部は、前記ガイド方法中の前記実行順序を切り替えるための切り替え条件を決定し、
前記ガイド表示部は、前記切り替え条件を満足する場合、前記切り替え条件を満足する時に前記表示部に表示されている前記ガイド方法中の前記実行順序を切り替えて前記表示部に表示する、
請求項１に記載の認証ガイド装置。

【請求項10】

前記ガイド方法の前記表示部への表示中に、前記複数種類の生体認証のうち少なくとも１つの生体認証を実行する１つ以上の認証部、をさらに備える、
請求項１に記載の認証ガイド装置。

【請求項11】

前記ガイド決定部は、前記生体認証のスコアに基づいて、前記実行順序を変更する、
請求項１０に記載の認証ガイド装置。

【請求項12】

前記ガイド表示部は、前記人物の前記複数種類の生体認証による最終結果を、前記複数種類の生体認証の名称とともに前記表示部に表示する、
請求項１０に記載の認証ガイド装置。

【請求項13】

認証ガイド装置により実行される認証ガイド方法であって、
複数種類の生体認証に用いる人物の１つ以上の生体情報の取得時の周囲条件情報を取得するステップと、
前記周囲条件情報に基づいて、前記複数種類の生体認証のうち前記人物に優先的に実行するための実行順序を提示するガイド方法を決定するステップと、
前記ガイド方法を表示部に表示するステップと、を有する、
認証ガイド方法。

【発明の詳細な説明】

【技術分野】

【0001】

本開示は、認証ガイド装置および認証ガイド方法に関する。

【背景技術】

【0002】

特許文献１は、撮影対象者の顔を撮影して得られた撮影画像を取得し、人の顔の撮影画像と人を特定するための特定情報とが対応付けられた認証用データを参照し、取得した撮影画像に基づいて撮影対象者に対応する人を特定する情報処理装置を開示している。特に、情報処理装置は、撮影対象者に対応する人を特定できない場合に撮影対象者の発話音声の入力を受け付け、その発話音声から撮影対象者を特定する特定情報を抽出し、撮影対象者の撮影画像と抽出した特定情報とを対応付けた認証用データを登録する。

【先行技術文献】

【特許文献】

【0003】

【特許文献1】特開２０２１－１３１６１９号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

認証を受ける人物があらかじめデータベースに登録された人物と一致するか否かを、その人物の生体情報を用いて本人確認（認証）する個人認証技術が知られている。近年、個人認証技術では、認証を受ける人物から複数種類（例えば、顔、声）の生体情報を取得し多段階で認証を行うマルチモーダル生体認証の普及が見込まれている。これにより、他人によるなりすまし等に対するセキュリティの向上を図ることが期待されている。

【0005】

特許文献１の情報処理装置が行う認証処理には顔認証と声認証とが挙げられているが、その実行順序が定められ、具体的には顔認証、声認証の順に実行されている。つまり、それぞれの生体認証（以下「モーダル生体認証」と称する）の実行順序が予め決められており、認証を受ける人物（撮影対象者）が生体認証を取得する時の環境に適した実行順序とは必ずしもなっていない可能性がある。例えば、生体情報の取得時が明るい環境であれば顔認証の精度が向上する可能性が高いが、暗い環境であれば顔認証の精度が劣化する可能性がある。ところが、生体情報を取得する時の環境が考慮されずに固定的な実行順序による認証では、その認証精度が悪くなったり、認証に時間を要したりするという課題があるため、認証の効率性の向上に改善が期待されるところである。

【0006】

本開示は、上述した従来の状況に鑑みて案出され、認証の利用状況に応じて、有効な認証のガイドを利用者に適応的に提示し、認証の効率化を支援する認証ガイド装置および認証ガイド方法を提供することを目的とする。

【課題を解決するための手段】

【0007】

本開示は、複数種類の生体認証に用いる人物の１つ以上の生体情報の取得時の周囲条件情報を取得する１つ以上の取得部と、前記周囲環境情報に基づいて、前記複数種類の生体認証のうち前記人物に優先的に実行するための実行順序を提示するガイド方法を決定するガイド決定部と、前記ガイド方法を表示部に表示するガイド表示部と、を備える、認証ガイド装置を提供する。

【0008】

また、本開示は、認証ガイド装置により実行される認証ガイド方法であって、複数種類の生体認証に用いる人物の１つ以上の生体情報の取得時の周囲条件情報を取得するステップと、前記周囲環境情報に基づいて、前記複数種類の生体認証のうち前記人物に優先的に実行するための実行順序を提示するガイド方法を決定するステップと、前記ガイド方法を表示部に表示するステップと、を有する、認証ガイド方法を提供する。

【0009】

なお、これらの包括的または具体的な態様は、システム、装置、方法、集積回路、コンピュータプログラム、または、記録媒体で実現されてもよく、システム、装置、方法、集積回路、コンピュータプログラムおよび記録媒体の任意な組み合わせで実現されてもよい。

【発明の効果】

【0010】

本開示によれば、認証の利用状況に応じて、有効な認証のガイドを利用者に適応的に提示でき、認証の効率化を支援できる。

【図面の簡単な説明】

【0011】

【図1】生体認証システムのシステム構成例およびマルチモーダル認証装置のハードウェア構成例を示すブロック図

【図2】マルチモーダル認証装置のプロセッサの内部構成例を示すブロック図

【図3】顔認証の利用判定条件例を規定するテーブルを示す図

【図4】声認証の利用判定条件例を規定するテーブルを示す図

【図5】指紋認証の利用判定条件例を規定するテーブルを示す図

【図6】時系列に遷移するモーダル生体認証のガイド方法の第１表示例を示す図

【図7】時系列に遷移するモーダル生体認証のガイド方法の第２表示例を示す図

【図8】認証成功の表示画面例を示す図

【図9】認証失敗の表示画面例を示す図

【図10】マルチモーダル認証装置の全体的な動作手順例を示すフローチャート

【図11】ガイド方法決定の第１サブルーチンの動作手順例を示すフローチャート

【図12】ガイド方法決定の第２サブルーチンの動作手順例を示すフローチャート

【図13】ガイド方法切り替えのサブルーチンの動作手順例を示すフローチャート

【図14】モーダル生体認証の優先度決定のサブルーチンの動作手順例を示すフローチャート

【発明を実施するための形態】

【0012】

以下、図面を適宜参照して、本開示に係る認証ガイド装置および認証ガイド方法を具体的に開示した実施の形態について、詳細に説明する。ただし、必要以上に詳細な説明は省略する場合がある。例えば、すでによく知られた事項の詳細説明及び実質的に同一の構成に対する重複説明を省略する場合がある。これは、以下の説明が不必要に冗長になるのを避け、当業者の理解を容易にするためである。なお、添付図面及び以下の説明は、当業者が本開示を十分に理解するために提供されるのであって、これらにより特許請求の記載の主題を限定することは意図されていない。

【0013】

＜用語の定義＞
まず、以下の実施の形態（「本実施の形態」と称する場合がある）で使用する用語を定義する。

【0014】

（１）「モーダル生体認証」：認証対象者が特定の用途あるいは目的を満たす行動を行うために、その認証対象者の生体情報を取得あるいは参照して認証ガイド装置（例えばマルチモーダル認証装置１０）が行う生体認証の処理であり、以下の顔認証、指紋認証および声認証の各処理を包括的に網羅する生体認証である。
（２）「顔認証」：モーダル生体認証の一つであり、予め利用者情報データベース（後述参照）に登録されている認証対象者の顔画像（顔の撮像データ）あるいはその撮像データの特徴点ごとの特徴量（生体情報の一例）を参照し、顔認証を受ける認証対象者がその登録済みの顔画像あるいはその特徴量に対応する認証対象者と一致するか否かに応じて本人確認を行う認証である。
（３）「指紋認証」：モーダル生体認証の一つであり、予め利用者情報データベース（後述参照）に登録されている認証対象者の指紋画像あるいはその特徴量（生体情報の一例）を参照し、指紋認証を受ける認証対象者がその登録済みの指紋画像（指紋の撮像データ）あるいはその撮像データの特徴点ごとの特徴量に対応する認証対象者と一致するか否かに応じて本人確認を行う認証である。以下の本実施の形態では、指紋認証は、認証対象者の指がセンサ（例えば指紋カメラ２０２）に対して非接触で実行される非接触型の認証であるとして説明するが、同センサに対して接触して実行される接触型の認証であってもよい。
（４）「声認証」：モーダル生体認証の一つであり、予め利用者情報データベース（後述参照）に登録されている認証対象者の音声あるいはその特徴量（生体情報の一例）を参照し、声認証を受ける認証対象者がその登録済みの音声あるいはその特徴量に対応する認証対象者と一致するか否かに応じて本人確認を行う認証である。
（５）「周囲条件情報」：複数種類のモーダル生体認証に用いる認証対象者の１つ以上の生体情報の取得時の認証対象者周囲の各種の環境を含む条件を示す情報であり、以下のシステム条件情報、環境条件情報、用途条件情報および利用者情報のそれぞれを包括的に網羅する情報である。
（６）「システム条件情報」：生体認証システムの設計あるいは実際の設置場所への設置の時点において、生体認証システムの目的（例えばマルチモーダル認証装置１０がどのような場所に配置され、生体認証が成功するとどのような行動が認証対象者に許可されるか等）、センサ群（下記参照）が配置される場所、あるいはセンサ群（下記参照）の仕様を示す固定的（静的）な情報である。
（７）「環境条件情報」：複数種類のモーダル生体認証に用いる認証対象者の１つ以上の生体情報の取得時の認証対象者の周囲の環境を示す情報（例えば明るさ、騒音信号の音圧）であり、システム条件情報とは異なりその取得時点ごとに常々変動し得る情報である。
（８）「用途条件情報」：認証対象者が何のために生体認証システムを利用するかを示す用途の情報であり、その認証対象者が生体認証システムの設置場所に訪れた時点で決めている情報である。用途条件情報は、例えば現金の引き出し、振込、残高照会、預入等、その用途ごとにセキュリティレベル（後述参照）を変更させることを必要とする情報である。
（９）「利用者情報」：認証対象者の嗜好あるいは特性（例えば習熟度、あるいは人的属性）を示す情報であり、その認証対象者が生体認証システムの設置場所に訪れた時点で固定的あるいは認証対象者の気分等によって変動し得る情報である。なお、人的属性とは、例えば認証対象者が双子であることを示す情報である。

【0015】

＜システム構成＞
まず、図１を参照して、本実施の形態に係る生体認証システムのシステム構成ならびにマルチモーダル認証装置のハードウェア構成例について説明する。図１は、生体認証システム１のシステム構成例およびマルチモーダル認証装置１０のハードウェア構成例を示すブロック図である。

【0016】

生体認証システム１は、マルチモーダル認証装置１０と、利用者情報データベース３０と、駆動装置４０とを含む。図１ではデータベースをＤＢと表記している。なお、利用者情報データベース３０および駆動装置４０のうち少なくとも１つは、マルチモーダル認証装置１０に含まれてもよい。

【0017】

マルチモーダル認証装置１０（認証ガイド装置の一例）は、複数種類の生体認証（モーダル生体認証）に用いる認証対象者（利用者）の１つ以上の生体情報の取得時の周囲条件情報（上述参照）を取得し、その取得された周囲条件情報に基づいて複数種類の生体認証のうち認証対象者（利用者）に優先的に実行するための実行順序を規定するガイド方法を決定する。マルチモーダル認証装置１０は、決定されたガイド方法を表示部（後述参照）に表示するとともに、そのガイド方法の表示と並行して、決定されたガイド方法にしたがって認証対象者（利用者）に対してモーダル生体認証を順々に実行する。

【0018】

マルチモーダル認証装置１０は、センサ群２０と、ディスプレイ２１と、プロセッサ２２と、メモリ２３と、通信ＩＦ２４と、入力デバイス２５と、を含む。図１ではインターフェースをＩＦと表記している。マルチモーダル認証装置１０は、複数種類のモーダル生体認証に用いる認証対象者（利用者）の１つ以上の生体情報を取得するための各センサを含むセンサ群２０を備えた筐体を有し、例えばタブレット、ＰＣ（Ｐｅｒｓｏｎａｌ Ｃｏｍｐｕｔｅｒ）あるいは携帯端末等でよい。また、マルチモーダル認証装置１０は、複数のセンサを備えた１つの筐体により構成してもよいし、少なくとも１つのセンサを備えた複数の筐体により構成してもよい。マルチモーダル認証装置１０は、例えば商業施設、遊園地、観光地またはビルの入り口等に設置され、入場者である認証対象者（利用者）の本人確認を行う。また、マルチモーダル認証装置１０は、例えば銀行あるいは郵便局等の金融機関のＡＴＭ（Ａｕｔｏｍａｔｉｃ Ｔｅｌｌｅｒ Ｍａｃｈｉｎｅ）に搭載され、認証対象者（利用者）の本人確認を行う。なお、マルチモーダル認証装置１０の設置場所は、上述した場所はあくまで一例であり、これらに限定されない。

【0019】

センサ群２０は、顔カメラ２０１と、指紋カメラ２０２と、マイク２０３とを含む。なお、顔カメラ２０１と指紋カメラ２０２とは同一のカメラを用いてもよい。

【0020】

顔カメラ２０１は、認証対象者である認証対象者の顔を撮像するカメラデバイス（センサの一例）である。以下、顔カメラ２０１あるいは指紋カメラ２０２の撮像により得られた画像データを撮像データと称する。顔カメラ２０１は、あらかじめ規定されたフレームレートにしたがう撮像により顔認証に必要な生体情報である認証対象者の顔の撮像データを取得したり、その撮像データを用いて撮像データ中の特徴点ごとの特徴量（例えばベクトルデータ）を算出することにより取得したりする。顔カメラ２０１は、撮像データあるいは撮像データに基づく特徴量データをプロセッサ２２に出力する。なお、認証対象者の顔の撮像データに基づく特徴量データの算出はプロセッサ２２により実行されてもよい。

【0021】

指紋カメラ２０２は、認証対象者の指紋を撮像するカメラデバイス（センサの一例）である。指紋カメラ２０２は、あらかじめ規定されたフレームレートにしたがう撮像により指紋認証に必要な生体情報である認証対象者の指の撮像データを取得したり、その撮像データを用いて撮像データ中の特徴点ごとの特徴量データ（例えばベクトルデータ）を算出することにより取得したりする。指紋カメラ２０２は、撮像データあるいは撮像データに基づく特徴量データをプロセッサ２２に出力する。なお、認証対象者の指の撮像データに基づく特徴量データの算出はプロセッサ２２により実行されてもよい。

【0022】

顔カメラ２０１および指紋カメラ２０２のそれぞれは、撮像データに写る被写体の輝度成分に基づいてマルチモーダル認証装置１０の周囲条件情報（上述参照）を算出することにより取得してもよい。顔カメラ２０１または指紋カメラ２０２が取得可能な周辺環境情報とは、例えば、マルチモーダル認証装置１０が配置されている箇所の周囲の明るさである。なお、周囲条件情報（例えば明るさ）の取得は、顔カメラ２０１および指紋カメラ２０２に限られず、マルチモーダル認証装置１０に設けられたもしくは外部のカメラを含むセンサにより実行されてもよい。

【0023】

マイク２０３は、認証対象者の発話を収音するマイクロホンデバイス（センサの一例）である。マイク２０３は、声認証に必要な生体情報である認証対象者の発話に基づく音声の収音データを取得したり、その収音データを用いて収音データ中の特徴量データ（例えばベクトルデータ）を算出することにより取得したりする。マイク２０３は、収音データあるいは収音データに基づく特徴量データをプロセッサ２２に出力する。なお、収音データに基づく特徴量データの算出はプロセッサ２２により実行されてもよい。

【0024】

マイク２０３は、収音データに含まれる信号成分に基づいてマルチモーダル認証装置１０の周囲条件情報を算出することにより取得してもよい。マイク２０３が取得可能な周囲環境情報とは、例えば、認証対象者の周囲における認証対象者の発話音声以外の騒音信号（ノイズ）の音圧等である。なお、周辺環境情報（例えばノイズ等の騒音信号）の取得は、マイク２０３に限られず、マルチモーダル認証装置１０に設けられたもしくは外部のマイクを含むセンサにより実行されてもよい。

【0025】

ディスプレイ２１（表示部の一例）は、例えばＬＣＤ（Ｌｉｑｕｉｄ Ｃｒｙｓｔａｌ Ｄｉｓｐｌａｙ）あるいは有機ＥＬ（Ｅｌｅｃｔｒｏｌｕｍｉｎｅｓｃｅｎｃｅ）を用いて構成される表示デバイスである。ディスプレイ２１は、プロセッサ２２から取得した認証結果画面（例えば図８に示す認証成功画面ＷＤ４、あるいは図９に示す認証失敗画面ＷＤ５参照）を表示する。

【0026】

プロセッサ２２は、例えばＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）、ＤＳＰ（Ｄｉｇｉｔａｌ Ｓｉｇｎａｌ Ｐｒｏｃｅｓｓｏｒ）、ＧＰＵ（Ｇｒａｐｈｉｃａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）、ＦＰＧＡ（Ｆｉｅｌｄ Ｐｒｏｇｒａｍｍａｂｌｅ Ｇａｔｅ Ａｒｒａｙ）等の電子デバイスのうち少なくとも１つが実装された半導体チップにより構成される。プロセッサ２２は、マルチモーダル認証装置１０の全体的な動作を司るコントローラとして機能し、マルチモーダル認証装置１０の各部の動作を統括するための制御処理、マルチモーダル認証装置１０の各部との間のデータの入出力処理、データの演算処理およびデータの記憶処理を行う。

【0027】

プロセッサ２２は、メモリ２３のＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）に記憶されたプログラムおよび制御用データを用いることで、全体制御部５０（図２参照）、モーダル生体認証部６０１，…，６０ｎ（図２参照）のそれぞれの機能を実現する。プロセッサ２２は、動作中にメモリ２３のＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）を使用し、プロセッサ２２が機能的に実行する各部が生成あるいは取得したデータもしくは情報をメモリ２３のＲＡＭに一時的に保存する。

【0028】

メモリ２３は、例えばプロセッサ２２が行う各種の処理を規定したプログラムとそのプログラムの実行中に使用する制御用データとを格納するＲＯＭと、プロセッサ２２が行う各種の処理を実行する際に用いるワークメモリとしてのＲＡＭと、を少なくとも有する。ＲＯＭには、プロセッサ２２が行う各種の処理を規定したプログラムとそのプログラムの実行中に使用する制御用データとが書き込まれている。ＲＡＭには、プロセッサ２２により生成あるいは取得されたデータもしくは情報（例えば、センサ群２０のそれぞれのセンサデバイスが取得した生体情報、あるいはモーダル生体認証部が行った生体認証のスコアおよび信頼度等）が一時的に保存される。なお、ＲＯＭは、例えば、フラッシュメモリ、ＨＤＤ（Ｈａｒｄ Ｄｉｓｋ Ｄｒｉｖｅ）、あるいはＳＳＤ（Ｓｏｌｉｄ Ｓｔａｔｅ Ｄｒｉｖｅ）や認証装置外部のサーバ装置などに置き替えて、装置起動時にデータを読み込むように処理してもよい。なお、ＲＡＭに保存されるデータもしくは情報はこれらに限定されない。

【0029】

通信ＩＦ２４は、マルチモーダル認証装置１０と利用者情報データベース３０および駆動装置４０のそれぞれとの間で無線または有線で通信を行うネットワークインターフェース回路である。通信ＩＦ２４での通信に使用される通信方式は、例えば、ＷＡＮ（Ｗｉｄｅ Ａｒｅａ Ｎｅｔｗｏｒｋ）、ＬＡＮ（Ｌｏｃａｌ Ａｒｅａ Ｎｅｔｗｏｒｋ）、Ｗｉ－Ｆｉ（登録商標）、ＬＴＥ（Ｌｏｎｇ Ｔｅｒｍ Ｅｖｏｌｕｔｉｏｎ）、ＬＴＥ－Ａｄｖａｎｃｅｄ、５Ｇ等の移動体通信、電力線通信、近距離無線通信（例えばＢｌｏｏｔｏｏｔｈ（登録商標）通信）、携帯電話用の通信等である。

【0030】

入力デバイス２５は、認証対象者からの入力を受け付けるデバイスである。入力デバイス２５は、例えば、タッチパネルディスプレイまたは入館証または社員証等を認証できるセンサ等である。入力デバイス２５は、認証対象者から名前、性別、年齢、ＩＤ、パスワード、マルチモーダル認証装置１０による生体認証の用途条件情報（上述参照）もしくは利用者情報（上述参照）等の入力を受け付ける。入力デバイス２５は、入力された各種の情報をプロセッサ２２に送る。なお、入力デバイス２５は、マルチモーダル認証装置１０の構成から省略されてもよい。

【0031】

利用者情報データベース３０は、記憶媒体（例えばフラッシュメモリ、ＨＤＤ（Ｈａｒｄ Ｄｉｓｋ Ｄｒｉｖｅ）、あるいはＳＳＤ（Ｓｏｌｉｄ Ｓｔａｔｅ Ｄｒｉｖｅ））を用いて構成される。利用者情報データベース３０は、モーダル生体認証において使用される認証対象者の過去に登録された生体情報のデータおよび各種情報（名前、年齢、性別、顔写真、ＩＤ、パスワード、嗜好、習熟度等）を保存している。生体情報とは、例えば顔の撮像データ、その顔の撮像データ上の特徴点の特徴量データ、指（指紋）の撮像データ、その指紋の撮像データ上の特徴点の特徴量データ、発話音声のデータ、その発話音声の特徴量データ等である。なお、生体情報はこれらに限られない。利用者情報データベース３０は、例えばクラウドサーバ（図示略）上に保存され、ネットワークを介してマルチモーダル認証装置１０と通信可能に接続されてもよい。

【0032】

駆動装置４０は、マルチモーダル認証装置１０による生体認証の結果に基づく各種の処理を実行な装置である。ここで、各種の処理とは、例えばマルチモーダル認証装置１０の付近に設置された認証用ゲート（図示略）のゲート開閉を制御する処理、マルチモーダル認証装置１０に搭載されたスピーカからブザー音を鳴らす処理、マルチモーダル認証装置１０に搭載されたライト（例えばＬＥＤ（Ｌｉｇｈｔ Ｅｍｉｓｓｉｏｎ Ｄｉｏｄｅ）ライト）を点灯もしくは点滅させる処理等である。なお、駆動装置４０が実行する動作はこれらに限られない。

【0033】

＜マルチモーダル認証装置のプロセッサの内部構成＞
次に、図２を参照して、マルチモーダル認証装置１０のプロセッサ２２の内部構成例について説明する。図２は、マルチモーダル認証装置１０のプロセッサ２２の内部構成例を示すブロック図である。

【0034】

プロセッサ２２は、全体制御部５０、モーダル生体認証部６０１～６０ｎ（ｎ：２以上の既定の整数）のそれぞれの機能を実現する。全体制御部５０、モーダル生体認証部６０１～６０ｎは、図２に示すように１つのプロセッサにより実現されてもよいし、それぞれ別のプロセッサの機能として実現されてもよい。モーダル生体認証部の数は２つに限られず、マルチモーダル認証装置１０が実行可能な複数種類の生体認証の数と一致する数でもよい。例えば、マルチモーダル認証装置１０が顔認証、指紋認証および声認証の３種類のモーダル生体認証を実行可能である場合、計３つのモーダル生体認証部がプロセッサ２２により実現される。

【0035】

全体制御部５０は、認証対象者の本人確認用の生体認証に関する各種の処理、複数種類のモーダル生体認証のうち認証対象者に優先的に実行するための実行順序を提示するガイド方法の決定および表示の各処理を実行する。また、全体制御部５０は、モーダル生体認証部６０１～６０ｎのそれぞれから各モーダル生体認証の処理結果（例えばモーダル生体認証のスコアおよび信頼度）を取得し、その取得された処理結果から認証対象者が利用者情報データベース３０に登録された人物と一致するか（つまり本人確認が正常になされたか）否かを判定し、その判定結果をディスプレイ２１に表示する（図８あるいは図９参照）、および／または、駆動装置４０を介して扉の開閉などの動作を行う。全体制御部５０は、システム条件設定部５１と、環境条件設定部５２と、用途条件設定部５３と、利用者選択設定部５４と、ガイド方法決定部５５と、ガイド表示部５６と、を機能的に含む。

【0036】

システム条件設定部５１（取得部の一例）は、フラッシュメモリ等のメモリを内蔵し、生体認証システム１の初期設定時に生体認証システム１のシステム条件情報を内蔵メモリに設定する。初期設置時以降、システム条件設定部５１は、生体認証システム１のシステム条件情報をその内蔵メモリに保持している。システム条件情報は生体認証システム１の初期設置時に設定されて運用開始すると、途中でシステム条件情報の追加、変更、削除はなされない。なお、システム条件設定は、例えば、フラッシュメモリ、ＨＤＤ、あるいはＳＳＤや認証装置外部のサーバ装置に保持し、装置起動時にシステム条件設定を読み込むように処理してもよい。

【0037】

環境条件設定部５２（取得部の一例）は、フラッシュメモリ等のメモリを内蔵し、認証対象者が生体情報を取得する時の認証対象者の周囲の環境を示す情報（例えば明るさ、騒音信号の音圧）である環境条件情報を、センサ群２０からの出力からそのまま取得したり、あるいはその出力を基にして算出して内蔵メモリに設定したりする。環境条件設定部５２は、生体認証を行うために生体情報を取得する度に環境条件情報を取得したり算出したりする。なお、環境条件設定部５２は、生体情報の取得とは別に、環境条件情報の取得のみを行っても良い。

【0038】

用途条件設定部５３（取得部の一例）は、フラッシュメモリ等のメモリを内蔵し、認証対象者の入力デバイス２５を用いた操作により入力された用途条件情報を取得して内蔵メモリに設定する。用途条件設定部５３は、認証対象者の生体認証システム１を利用する用途が変更される度に入力デバイス２５から変更後の用途条件情報を取得して内蔵メモリに設定する。

【0039】

利用者選択設定部５４（取得部の一例）は、フラッシュメモリ等のメモリを内蔵し、認証対象者の入力デバイス２５を用いた操作により入力された利用者情報を取得して内蔵メモリに設定する。また、利用者選択設定部５４は、入力デバイス２５を用いた操作により認証対象者のＩＤ等の個人識別情報を取得した場合、その個人識別情報に対応する利用者情報を利用者情報データベース３０から取得して内蔵メモリに設定してもよい。利用者選択設定部５４は、認証対象者の嗜好あるいは特性が変更される度に利用者情報を取得して内蔵メモリに設定する。

【0040】

ガイド方法決定部５５は、システム条件設定部５１、環境条件設定部５２、用途条件設定部５３および利用者選択設定部５４のそれぞれに設定された内容（周囲環境情報の一例）に基づいて、複数種類の生体認証のうち認証対象者に優先的に実行するための実行順序を提示するガイド方法を決定する。ガイド方法決定部５５によるガイド方法の決定手順の詳細については後述する。

【0041】

ガイド表示部５６は、ガイド方法決定部５５により決定されたガイド方法をディスプレイ２１に出力して表示する。また、ガイド表示部５６は、モーダル生体認証部６０１～６０ｎのそれぞれの処理結果に基づいて全体制御部５０が判定した生体認証の結果を示す画面（図８あるいは図９参照）をディスプレイ２１に出力して表示する。

【0042】

マルチモーダル認証装置１０は、複数種類の生体認証に対応可能とするために、実行可能な生体認証の数と一致する分のモーダル生体認証部を備える。具体的には、マルチモーダル認証装置１０は、ｎ（ｎ：２以上の既定の整数）種類のモーダル生体認証のそれぞれを実行可能であり、それに伴い各モーダル生体認証に対応するようにｎ個のモーダル生体認証部（具体的には、モーダル生体認証部６０１～６０ｎ）を有している。

【0043】

モーダル生体認証部６０１は、環境条件判定部６１１と、スコア算出部６２１と、を含む。同様に、モーダル生体認証部６０ｎは、環境条件判定部６１ｎと、スコア算出部６２ｎと、を含む。このため、モーダル生体認証部の説明はモーダル生体認証部６０１を例示して説明するが、この説明は他のモーダル生体認証部（例えばモーダル生体認証部６０ｎ）の構成も同様に適用可能である。

【0044】

モーダル生体認証部６０１は、センサ群２０から取得した１つ以上の生体情報を用いたモーダル生体認証の処理を実行し、そのモーダル生体認証の処理結果を全体制御部５０に送る。

【0045】

環境条件判定部６１１は、センサ群２０の出力あるいは環境条件設定部５２から環境条件情報（例えば明るさ、騒音信号の音圧）を取得する。環境条件判定部６１１は、その取得された環境条件情報に基づいて、モーダル生体認証部６０１が行うモーダル生体認証の処理の実行時の信頼度を判定する。

【0046】

スコア算出部６２１は、センサ群２０の出力からモーダル生体認証部６０１が行うモーダル生体認証に必要な生体情報（例えば顔の撮像データあるいはその撮像データ中の特徴点ごとの特徴量データ）を取得するとともに、利用者情報データベース３０に登録された同じ種類の生体情報（例えば顔の撮像データあるいはその撮像データ中の特徴点ごとの特徴量データ）を参照して読み出す。スコア算出部６２１は、その取得された生体情報と利用者情報データベース３０に登録された同じ種類の生体情報とを比較することによりモーダル生体認証の処理の結果（つまり、認証対象者が利用者情報データベース３０に登録された人物と一致するか否かの尤度を示すスコア）を算出する。

【0047】

図３は、顔認証の利用判定条件例を規定するテーブルを示す図である。図３において、「静的システム条件」はシステム条件情報に対応し、「動的環境条件」は環境条件情報に対応し、「動的利用者条件」は利用者情報に対応する。ガイド方法決定部５５（図２参照）は、システム条件情報、環境条件情報および利用者情報のうち少なくとも１つと図３に示すテーブルに示す内容とに基づいて、認証対象者に顔認証を優先的に実行させるのがよいか否かを判定する。

【0048】

例えば、「静的システム条件」には、「カメラ設置位置」と「センサ性能」との各項目が規定される。「カメラ設置位置」は、顔カメラ２０１の高さおよび遠さ（つまり認証対象者との間の距離）を示す。顔カメラ２０１は生体認証システム１の初期設置時に取り付けられるので、システム条件情報の「カメラ設置位置」を基に顔認証を優先的に行うべきか否かはシステム設計時あるいは機器設置時（初期設置時）に判定することになる。つまり、「カメラ設置位置」による顔認証は、顔カメラ２０１の撮像データあるいはその特徴量データが顔認証の設計要件（例えば使用可能な距離、角度の条件）を満たす場合に優先的に実行するべきと判定される。

【0049】

また、「センサ性能」は、顔カメラ２０１の解像度および感度を示す。顔カメラ２０１は生体認証システム１の初期設置時に取り付けられるので、システム条件情報の「センサ性能」を基に顔認証を優先的に行うべきか否かはシステム設計時に判定することになる。つまり、「センサ性能」による顔認証は、顔カメラ２０１の撮像データあるいはその特徴量データが顔認証の設計要件（例えば必要な解像度、最低の照度条件）を満たす場合に優先的に実行するべきと判定される。

【0050】

次に、「動的環境条件」には、「暗すぎる・明るすぎる」と「その他照明条件」との各項目が規定される。「暗すぎる・明るすぎる」は、顔カメラ２０１の撮像データの輝度成分に基づく明るさが所定の暗さ閾値未満であったり、その明るさが所定の明るさ閾値より大きかったりする状態を示す。環境条件情報（「動的環境条件」）の「暗すぎる・明るすぎる」を基に顔認証を優先的に行うべきか否かは定期的あるいはモーダル生体認証の実行時に判定することになる。つまり、「暗すぎる・明るすぎる」による顔認証の要否は、過去の顔認証時の顔の撮像データに基づく明るさの履歴、あるいは顔カメラ２０１の撮像データ中の顔部分および背景部分のそれぞれの明るさを規定するテーブル（図示略）を参照することにより定期的に判定したり、顔カメラ２０１が照度センサ（図示略）を備えている場合にはその照度センサの出力値を用いて判定したりする。

【0051】

また、「その他照明条件」は、顔カメラ２０１により撮像される位置の周囲の側面光および逆光が該当する。環境条件情報（「動的環境条件」）の「その他照明条件」を基に顔認証を優先的に行うべきか否かは定期的あるいはモーダル生体認証の実行時に判定することになる。つまり、「その他照明条件」による顔認証の要否は、過去の顔認証時の顔の照明条件履歴、あるいは顔の照明条件と背景との関係を規定するテーブル（図示略）を参照することにより定期的に判定する。

【0052】

次に、「動的利用者条件」には、「マスク・サングラス・前髪・表情・顔向き・複数人」と「双子であることが分かっている」と「登録品質不備」との各項目が規定される。認証対象者が顔認証を受けようとする際、顔カメラ２０１の撮像データにおいて「マスク」を着用している、「サングラス」を装着している、「前髪」で顔の一部が写っていない、笑顔など平常時と「表情」が著しく異なっている、「顔向き」が正面ではない、「複数人」が写っているのいずれかが満たされてしまうと、顔認証の精度が劣化する。このため、利用者情報（「動的利用者条件」）の「マスク・サングラス・前髪・表情・顔向き・複数人」を基に顔認証を優先的に行うべきか否かは、顔カメラ２０１の撮像データに基づいてモーダル生体認証の実行時に判定することが好ましい。なお、顔カメラ２０１の撮像データにおいて「マスク」を着用している、「サングラス」を装着している、「前髪」で顔の一部が写っていない、笑顔など平常時と「表情」が著しく異なっている、「顔向き」が正面ではない、「複数人」が写っているのいずれか、あるいは複数の条件が満たされた上で顔認証が実行された場合には、そのスコアだけでなく顔認証の信頼度の判定結果を用いて、次回以降の顔認証の要否を判定することが好ましい。

【0053】

また、利用者情報データベース３０の参照により「双子であることが分かっている」が満たされてしまうと、例えば男性の双子の場合に認証対象者が兄なのか弟なのかが分かり難くなり顔認証の精度が劣化する。女性の双子の場合であっても同様である。このため、利用者情報（「動的利用者条件」）の「双子であることが分かっている」を基に顔認証を優先的に行うべきか否かは、顔カメラ２０１の撮像データに基づいてモーダル生体認証の実行時（特に利用者情報データベース３０の参照時）に判定することが好ましい。なお、「双子であることが分かっている」が満たされた上で顔認証が実行された場合には、その出力として双子の存在が既知である旨の情報も併せて含まれることが好ましい。

【0054】

また、利用者情報データベース３０の参照により「登録品質不備」が満たされてしまうと、その登録されている情報あるいはデータの品質（信頼性）が悪いため、顔認証の精度が劣化する。このため、利用者情報（「動的利用者条件」）の「登録品質不備」を基に顔認証を優先的に行うべきか否かは、顔カメラ２０１の撮像データに基づいてモーダル生体認証の実行時（特に利用者情報データベース３０の参照時）に判定することが好ましい。なお、「登録品質不備」が満たされた上で顔認証が実行された場合には、その出力として登録時の顔の画像データあるいはその特徴量データの品質が不十分である旨の情報も併せて含まれることが好ましい。

【0055】

なお、マルチモーダル認証装置１０の筐体が配置されている箇所において認証対象者が顔カメラ２０１を自然に（つまり視線を一定角度以上、上に向けたり下に向けたりしないで）見るような高さの位置に顔カメラ２０１が配置されている場合、あるいは、認証対象者がマルチモーダル認証装置１０から少し離れた位置に存在している場合、マルチモーダル認証装置１０は、その顔カメラ２０１の高さ情報を有するシステム条件情報に基づいて、顔認証を優先的にガイドしてよい。この場合、例えば入退室管理、病院等の受付、点呼、イベントでの本人確認がユースケースとして該当するが、これらに限定されないことは言うまでもない。

【0056】

図４は、声認証の利用判定条件例を規定するテーブルを示す図である。図４において、「静的システム条件」はシステム条件情報に対応し、「動的環境条件」は環境条件情報に対応し、「動的利用者条件」は利用者情報に対応する。ガイド方法決定部５５（図２参照）は、システム条件情報、環境条件情報および利用者情報のうち少なくとも１つと図４に示すテーブルに示す内容とに基づいて、認証対象者に声認証を優先的に実行させるのがよいか否かを判定する。

【0057】

例えば、「静的システム条件」には、「マイク位置」と「センサ性能」と「音響環境」との各項目が規定される。「マイク位置」は、マイク２０３の遠さ（つまり認証対象者との間の距離）を示す。マイク２０３は生体認証システム１の初期設置時に取り付けられるので、システム条件情報の「マイク位置」を基に声認証を優先的に行うべきか否かはシステム設計時あるいは機器設置時（初期設置時）に判定することになる。つまり、「マイク位置」による声認証は、マイク２０３の収音データあるいはその特徴量データが声認証の設計要件（例えば使用可能な距離等の条件）を満たす場合に優先的に実行するべきと判定される。

【0058】

また、「センサ性能」は、マイク２０３がマイクアレイなのか単一（シングル）のマイクなのかを示す情報、感度および伝送条件等を示す。マイク２０３は生体認証システム１の初期設置時に取り付けられるので、システム条件情報の「センサ性能」を基に声認証を優先的に行うべきか否かはシステム設計時に判定することになる。つまり、「センサ性能」による声認証は、マイク２０３の収音データあるいはその特徴量データが声認証の設計要件（例えば必要な感度等）を満たす場合に優先的に実行するべきと判定される。

【0059】

また、「音響環境」は、認証対象者が存在する位置を含む空間の広さあるいはその位置の周囲の反響音の条件等を示す。マイク２０３は生体認証システム１の初期設置時に取り付けられるので、システム条件情報の「音響環境」を基に声認証を優先的に行うべきか否かはマイク２０３の設置時に判定することになる。つまり、「音響環境」による声認証は、マイク２０３の収音データあるいはその特徴量データが声認証の設計要件（例えば認証対象者が存在する位置を含む空間の広さあるいはその位置の周囲の反響音の条件等）を満たす場合に優先的に実行するべきと判定される。

【0060】

次に、「動的環境条件」には、「背景ノイズ」の項目が規定される。「背景ノイズ」は、マイク２０３が認証対象者の発話する音声を収音する時のマイク２０３の周囲のノイズ成分（例えば騒音信号）の音圧を示す。環境条件情報（「動的環境条件」）の「背景ノイズ」を基に声認証を優先的に行うべきか否かは定期的あるいはモーダル生体認証の実行時に判定することになる。つまり、「背景ノイズ」による声認証の要否は、モーダル生体認証（声認証）をしていない時とその実行時のそれぞれの背景ノイズの成分（例えば音圧等のレベル）を規定するテーブル（図示略）を参照することにより定期的に判定する。

【0061】

次に、「動的利用者条件」には、「マスク着用等」と「発話品質」と「双子であることが分かっている」との各項目が規定される。認証対象者が声認証を受けようとする際にマスク等を着用していると、認証対象者から発話された音声がマスク等により減衰し易くなり、マイク２０３にて収音される音圧等のレベルが低下することにより声認証の精度が劣化する。このため、利用者情報（「動的利用者条件」）の「マスク等」を基に声認証を優先的に行うべきか否かは、マイク２０３の収音データに基づいてモーダル生体認証の実行時に判定することが好ましい。なお、マイク２０３の収音データにおいて「マスク等」を着用している上で声認証が実行された場合には、そのスコアだけでなく利用者条件（例えば声認証の信頼度の判定結果、スコアの出やすさ）を用いて、次回以降の声認証の要否を判定することが好ましい。

【0062】

また、「発話品質」は時間、複雑さ、同時発話者の存在等の発話の品質に影響を与える要因を示す。これらの例示した要因を含む「発話品質」が良好でない場合にマイク２０３が収音した収音データも同じように悪影響を受けてしまうため、声認証の精度が劣化する。このため、利用者情報（「動的利用者条件」）の「発話品質」を基に声認証を優先的に行うべきか否かは、マイク２０３の収音データに基づいてモーダル生体認証の実行時に判定することが好ましい。なお、マイク２０３の収音データにおいて声認証が実行された場合には、そのスコアだけでなく利用者条件（例えば声認証の信頼度の判定結果、スコアの出やすさ）を用いて、次回以降の声認証の要否を判定することが好ましい。

【0063】

また、利用者情報データベース３０の参照により「双子であることが分かっている」が満たされてしまうと、例えば男性の双子の場合に認証対象者が兄なのか弟なのかが分かり難くなり声認証の精度が劣化する。女性の双子の場合であっても同様である。このため、利用者情報（「動的利用者条件」）の「双子であることが分かっている」を基に声認証を優先的に行うべきか否かは、マイク２０３の収音データに基づいてモーダル生体認証の実行時（特に利用者情報データベース３０の参照時）に判定することが好ましい。なお、「双子であることが分かっている」が満たされた上で声認証が実行された場合には、その出力として双子の存在が既知である旨の情報も併せて含まれることが好ましい。

【0064】

なお、認証対象者が顔カメラ２０１、指紋カメラ２０２およびマイク２０３のいずれの方向を見ない状態、あるいはマルチモーダル認証装置１０の配置箇所を中心として広範囲にカバーするように生体情報を取得する場合、マルチモーダル認証装置１０は、認証対象者の音声さえ収音すればよいマイク２０３の特性に基づいて、声認証を優先的にガイドしてよい。この場合、例えば工場等の作業者特定、会議等の発言者の特定、スポーツジムの入場等の利用履歴管理がユースケースとして該当するが、これらに限定されないことは言うまでもない。

【0065】

図５は、指紋認証の利用判定条件例を規定するテーブルを示す図である。図５において、「静的システム条件」はシステム条件情報に対応し、「動的環境条件」は環境条件情報に対応し、「動的利用者条件」は利用者情報に対応する。ガイド方法決定部５５（図２参照）は、システム条件情報、環境条件情報および利用者情報のうち少なくとも１つと図４に示すテーブルに示す内容とに基づいて、認証対象者に指紋認証を優先的に実行させるのがよいか否かを判定する。

【0066】

例えば、「静的システム条件」には、「センサ設置位置」と「フィードバック条件」との各項目が規定される。「センサ設置位置」は、例えば指紋カメラ２０２の高さおよび遠さ（つまり距離）を示す。指紋カメラ２０２は生体認証システム１の初期設置時に取り付けられるので、システム条件情報の「センサ設置位置」を基に指紋認証を優先的に行うべきか否かはシステム設計時あるいは機器設置時（初期設置時）に判定することになる。つまり、「センサ設置位置」による指紋認証は、指紋カメラ２０２の撮像データあるいはその特徴量データが指紋認証の設計要件（例えば使用可能な距離、角度の条件）を満たす場合に優先的に実行するべきと判定される。

【0067】

また、「フィードバック条件」は、指紋認証の処理結果を認証対象者本人にフィードバック（例えば画面あるいは音声による通知）を行うか否か、および、そのフィードバックする内容を示す。指紋カメラ２０２が認証対象者の指を正しく撮像できているかは認証対象者が把握しづらいことがあり、この場合にフィードバックがなされると指紋認証の精度向上が見込まれる。システム条件情報の「フィードバック条件」を基に指紋認証を優先的に行うべきか否かはシステム設計時に判定することになる。つまり、「フィードバック条件」による指紋認証は、フィードバックの有無およびその内容の認証対象者への通知（上述参照）を満たす場合に優先的に実行するべきと判定される。

【0068】

次に、「動的環境条件」には、「暗すぎる・明るすぎる」の項目が規定される。「暗すぎる・明るすぎる」は、指紋カメラ２０２の撮像データの輝度成分に基づく明るさが所定の暗さ閾値未満であったり、その明るさが所定の明るさ閾値より大きかったりする状態を示す。環境条件情報（「動的環境条件」）の「暗すぎる・明るすぎる」を基に指紋認証を優先的に行うべきか否かは定期的あるいはモーダル生体認証の実行時に判定することになる。つまり、「暗すぎる・明るすぎる」による指紋認証の要否は、過去の指紋認証時の指の撮像データに基づく明るさの履歴、あるいは指紋カメラ２０２の撮像データ中の指部分および背景部分のそれぞれの明るさを規定するテーブル（図示略）を参照することにより定期的に判定したり、指紋カメラ２０２が照度センサ（図示略）を備えている場合にはその照度センサの出力値を用いて判定したりする。

【0069】

次に、「動的利用者条件」には、「撮影距離／フォーカス」と「指の皮膚表面状態」と「使用した指の数」との各項目が規定される。認証対象者が指紋認証を受けようとする際、指紋カメラ２０２の撮影距離が正しく保たれたりフォーカスが適切に実行されたりすることは指紋認証の精度向上のために必要な条件となる。このため、利用者情報（「動的利用者条件」）の「撮影距離／フォーカス」を基に指紋認証を優先的に行うべきか否かは、指紋カメラ２０２の撮像データに基づいてモーダル生体認証の実行時に判定することが好ましい。なお、指紋カメラ２０２の撮像データを用いて指紋認証が実行された場合には、そのスコアだけでなく指紋画質条件（例えば指部分のサイズ、解像度、フォーカスレベル）を用いて、次回以降の指紋認証の要否を判定することが好ましい。

【0070】

認証対象者が指紋認証を受けようとする際、認証対象者の指の皮膚表面状態（例えば湿潤度合い、汚れの有無、傷の有無）が良好でない場合、指紋認証の精度が劣化する。湿潤度合いは乾燥、濡れの有無を示す。このため、利用者情報（「動的利用者条件」）の「指の皮膚表面状態」を基に指紋認証を優先的に行うべきか否かは、指紋カメラ２０２の撮像データに基づいてモーダル生体認証の実行時に判定することが好ましい。なお、指紋カメラ２０２の撮像データを用いて指紋認証が実行された場合には、そのスコアだけでなく湿潤度合い、汚れ、傷等の指紋画質条件を用いて、次回以降の指紋認証の要否を判定することが好ましい。

【0071】

認証対象者が指紋認証を受けようとする際、指紋認証に指１本を使用するアルゴリズムと、複数の指を使用するアルゴリズムとがあることが知られている。このため、利用者情報（「動的利用者条件」）の「使用した指の数」を基に指紋認証を優先的に行うべきか否かは、指紋カメラ２０２の撮像データに基づいてモーダル生体認証の実行時、あるいは、指紋カメラ２０２の撮像データに基づいてモーダル生体認証の実行時（特に利用者情報データベース３０の参照時）に判定することが好ましい。なお、指紋カメラ２０２の撮像データを用いて指紋認証を実行する際、使用されるアルゴリズムに応じて、１本の指を使用して判定したり、複数本の指を使用したりすることが好ましい。

【0072】

なお、認証対象者が顔カメラ２０１、指紋カメラ２０２およびマイク２０３のいずれの方向を見ない状態、あるいはセンサ群２０が認証対象者から見て比較的低い位置に設置されている場合、マルチモーダル認証装置１０は、認証対象者の指さえ撮影すればよい指紋カメラ２０２の特性に基づいて、指紋認証を優先的にガイドしてよい。この場合、例えばドライバー（運転手）の認証、ホテルのチェックイン／チェックアウト／入室／退室の管理、ロッカーの施錠、ＡＴＭの利用がユースケースとして該当するが、これらに限定されないことは言うまでもない。

【0073】

図６は、時系列に遷移するモーダル生体認証のガイド方法の第１表示例を示す図である。図７は、時系列に遷移するモーダル生体認証のガイド方法の第２表示例を示す図である。ガイド方法決定部５５（図２参照）は、システム条件設定部５１、環境条件設定部５２、用途条件設定部５３および利用者選択設定部５４のそれぞれに設定された内容（周囲環境情報の一例）に基づいて、複数種類の生体認証のうち認証対象者に優先的に実行するための実行順序を提示するガイド方法を決定する。ガイド表示部５６は、ガイド方法決定部５５により決定されたガイド方法をディスプレイ２１に出力して表示する。

【0074】

ガイド方法の第１表示例は、認証対象者に優先的に実行するための順序として、例えば図６に示すように顔認証に特化したガイド画面ＷＤ１→声認証に特化したガイド画面ＷＤ２→指紋認証に特化したガイド画面ＷＤ３の順にガイド（案内）する。ガイド画面ＷＤ１，ＷＤ２，ＷＤ３のそれぞれの画面遷移（切り替え）は、後述するように所定の切り替え条件が満たされるとガイド表示部５６により行われる。なお、実行順序は図６の例に限定されるものではなく、あくまで一例に過ぎないことは言うまでもない。

【0075】

顔認証のガイド画面ＷＤ１は、例えば人物の顔が写っている全身画像の一部とモーダル生体認証の名称（具体的には「顔認証」の文字）と認証対象者へのメッセージ「顔をかざしてください」とを表示する。なお、認証対象者へのメッセージは「顔をかざしてください」に限定されなくてよく、顔認証を受ける認証対象者へのメッセージとして顔カメラ２０１に向けて顔が写るように構える旨の文言であればよく、以下同様である。

【0076】

声認証のガイド画面ＷＤ２は、例えば人物の口から声を出す様子を示す画像とモーダル生体認証の名称（具体的には「声認証」の文字）と認証対象者へのメッセージ「以下の言葉をお話ください「あいうえお」」とを表示する。なお、認証対象者に発話させるフレーズは「あいうえお」に限定されなくてよく、以下同様である。

【0077】

指紋認証のガイド画面ＷＤ３は、例えば人物の指を撮影する指紋カメラ２０２のイラスト画像とモーダル生体認証の名称（具体的には「指紋認証」の文字）と認証対象者へのメッセージ「手のひらを上に向け、ガイドラインへ指をかざしてください そのままお待ちください」とを表示する。なお、認証対象者へのメッセージは上述したものに限定されなくてよく、以下同様である。

【0078】

ガイド方法の第２表示例は、認証対象者に優先的に実行するための順序として、例えば図７に示すように顔認証、声認証および指紋認証の３種類のモーダル生体認証のうち顔認証部分だけをハイライト表示しかつ他の２つのモーダル生体認証部分をグレーアウト表示したガイド画面ＷＤ１Ｈ→同じ３種類のモーダル生体認証のうち声認証部分だけをハイライト表示しかつ他の２つのモーダル生体認証部分をグレーアウト表示したガイド画面ＷＤ２Ｈ→同じ３種類のモーダル生体認証のうち指紋認証部分だけをハイライト表示しかつ他の２つのモーダル生体認証部分をグレーアウト表示したガイド画面ＷＤ３Ｈの順にガイド（案内）する。ガイド画面ＷＤ１Ｈ，ＷＤ２Ｈ，ＷＤ３Ｈのそれぞれの画面遷移（切り替え）は、後述するように所定の切り替え条件が満たされるとガイド表示部５６により行われる。なお、実行順序は図７の例に限定されるものではなく、あくまで一例に過ぎないことは言うまでもない。

【0079】

ガイド画面ＷＤ１Ｈは、例えばモーダル生体認証の名称（具体的には「顔認証」の文字）と認証対象者へのメッセージ「顔をかざしてください」とをハイライト表示し、声認証および指紋認証のそれぞれに対応するモーダル生体認証の名称および認証対象者へのメッセージ部分をグレーアウト表示する。

【0080】

ガイド画面ＷＤ２は、例えばモーダル生体認証の名称（具体的には「声認証」の文字）と認証対象者へのメッセージ「以下の言葉をお話ください「あいうえお」」とをハイライト表示し、顔認証および指紋認証のそれぞれに対応するモーダル生体認証の名称および認証対象者へのメッセージ部分をグレーアウト表示する。

【0081】

ガイド画面ＷＤ３は、例えばモーダル生体認証の名称（具体的には「指紋認証」の文字）と認証対象者へのメッセージ「手のひらを上に向け、ガイドラインへ指をかざしてください そのままお待ちください」とをハイライト表示し、顔認証および声認証のそれぞれに対応するモーダル生体認証の名称および認証対象者へのメッセージ部分をグレーアウト表示する。

【0082】

図８は、認証成功の表示画面例を示す図である。図９は、認証失敗の表示画面例を示す図である。ガイド表示部５６は、モーダル生体認証部６０１～６０ｎのそれぞれの処理結果に基づいて全体制御部５０が判定した生体認証の結果を示す画面（図８あるいは図９参照）をディスプレイ２１に出力して表示する。

【0083】

図８の認証成功画面ＷＤ４は、モーダル生体認証部６０１～６０ｎのそれぞれの処理結果に基づく全体制御部５０の判定により生体認証が成功した旨（例えば「ＯＫ」というメッセージ）と、利用者情報データベース３０の参照により特定された認証対象者の氏名（例えば「Ａ丸Ｂ太郎」）と、実際に使用したモーダル生体認証の種類ＭＤ１とを表示する。ここで、実際に使用したモーダル生体認証の種類ＭＤ１は、ハイライト表示している顔認証および指紋認証の２種類を例示しているが、これらに限定されなくてよい。なお、グレーアウト表示している声認証は使用されていないことを示している。

【0084】

一方、図９の認証失敗画面ＷＤ５は、モーダル生体認証部６０１～６０ｎのそれぞれの処理結果に基づく全体制御部５０の判定により生体認証が失敗した旨（例えば「ＮＧ」というメッセージ）と、利用者情報データベース３０の参照により認証対象者の氏名が特定されなかったことを示すメッセージ（例えば「本人確認が取れませんでした」）と、実際に使用したモーダル生体認証の種類ＭＤ１とを表示する。ここで、実際に使用したモーダル生体認証の種類ＭＤ１は、ハイライト表示している顔認証および指紋認証の２種類を例示しているが、これらに限定されなくてよい。なお、グレーアウト表示している声認証は使用されていないことを示している。

【0085】

＜システム動作手順＞
次に、図１０から図１４を参照して、本実施の形態に係るマルチモーダル認証装置の動作手順例について説明する。図１０は、マルチモーダル認証装置１０の全体的な動作手順例を示すフローチャートである。図１１は、ガイド方法決定の第１サブルーチンの動作手順例を示すフローチャートである。図１２は、ガイド方法決定の第２サブルーチンの動作手順例を示すフローチャートである。図１３は、ガイド方法切り替えのサブルーチンの動作手順例を示すフローチャートである。図１４は、モーダル生体認証の優先度決定のサブルーチンの動作手順例を示すフローチャートである。図１０～図１４の各処理（ステップ）は、主にマルチモーダル認証装置１０のプロセッサ２２（図２参照）により実行される。

【0086】

図１０において、プロセッサ２２は、生体認証システム１の初期設定時あるいは起動時等に、生体認証システム１のシステム条件情報を取得してメモリ２３等に一時的に設定する（ステップＳｔ１）。プロセッサ２２は、認証対象者が生体情報を取得する時のあるいは定期的に認証対象者の周囲の環境を示す環境条件情報（例えば明るさ、騒音信号の音圧）を、センサ群２０からの出力からそのまま取得あるいはその出力を基にして算出してメモリ２３等に一時的に設定する（ステップＳｔ２）。プロセッサ２２は、認証対象者の入力デバイス２５を用いた操作により入力された用途条件情報（例えば現金の引き出し、預金の残高照会、あるいは現金の預け入れを示す情報）を取得してメモリ２３等に一時的に設定する（ステップＳｔ３）。また、プロセッサ２２は、認証対象者の入力デバイス２５を用いた操作により入力された利用者情報（例えば利用者ＩＤ）を取得してメモリ２３等に一時的に設定する（ステップＳｔ３）。

【0087】

プロセッサ２２は、ステップＳｔ１～ステップＳｔ３のそれぞれで設定した各種の情報に基づいて、複数種類の生体認証のうち認証対象者に優先的に実行するための実行順序を提示するガイド方法を決定する（ステップＳｔ４）。ステップＳｔ４の詳細な動作手順例については、図１１および図１２のそれぞれを参照して後述する。

【0088】

プロセッサ２２は、ステップＳｔ４で決定したガイド方法（例えば各モーダル生体認証の優先度および表示順）をディスプレイ２１に出力して表示することによりどのモーダル生体認証を優先的に認証対象者に実行するのがよいかのガイドを開始する（ステップＳｔ５Ａ）。また、プロセッサ２２は、ステップＳｔ５Ａと並行して、ステップＳｔ４で決定したガイド方法にしたがう各モーダル生体認証の処理を認証対象者に対して実行する（ステップＳｔ５Ｂ）。プロセッサ２２は、ステップＳｔ５Ｂで実行した各モーダル生体認証の処理結果を用いて認証対象者があらかじめ利用者情報データベース３０に登録された人物であるか否かの判定（総合判定）を行う（ステップＳｔ６Ｂ）。

【0089】

プロセッサ２２は、ステップＳｔ５Ａでガイドを開始した後、例えばステップＳｔ５Ｂで実行されたモーダル生体認証の処理結果に基づいて所定の切り替え条件を満たすと判定した際、ガイド方法（つまり、現時点で認証対象者にどの実行順序でモーダル生体認証を優先的に行うか）を切り替えてディスプレイ２１に出力して表示する（ステップＳｔ６Ａ）。なお、ステップＳｔ６Ａは、所定の切り替え条件が満たされない限り実行されず、現在のガイド方法の内容の表示が維持される。プロセッサ２２は、総合判定（ステップＳｔ６Ｂ参照）が終了したか否かを判定する（ステップＳｔ７）。総合判定（ステップＳｔ６Ｂ参照）が終了していないと判定された場合（ステップＳｔ７、ＮＯ）、プロセッサ２２はステップＳｔ５Ａの処理を実行する。

【0090】

プロセッサ２２は、総合判定（ステップＳｔ６Ｂ）が終了したと判定した場合（ステップＳｔ７、ＹＥＳ）、ステップＳｔ４で決定したガイド方法あるいはステップＳｔ６Ａで切り替えたガイド方法のディスプレイ２１における表示を終了する（ステップＳｔ８）。プロセッサ２２は、ガイド方法の表示終了に伴い、ステップＳｔ６Ｂで判定した認証対象者に対する認証結果を示す画面（図８あるいは図９参照）を生成してディスプレイ２１に出力して表示する。

【0091】

具体的には、プロセッサ２２は、認証対象者が利用者情報データベース３０に登録された人物と一致する（つまり認証対象者が本人である）と判定した場合、図８に示す認証成功画面ＷＤ４をディスプレイ２１に表示する（ステップＳｔ９）。一方、プロセッサ２２は、認証対象者が利用者情報データベース３０に登録された人物と一致しない（つまり認証対象者が本人ではない）と判定した場合、図９に示す認証失敗画面ＷＤ５をディスプレイ２１に表示する（ステップＳｔ１０）。これにより、マルチモーダル認証装置１０の全体的な動作手順が終了する。

【0092】

ここで、ステップＳｔ４のガイド方法の決定の処理を詳細に例示する第１サブルーチンについて、図１１を参照して説明する。

【0093】

図１１において、プロセッサ２２は、認証対象者の周囲環境情報（例えば認証対象者の周囲の騒音信号の音圧、周囲の明るさ、現在時刻あるいはマルチモーダル認証装置１０の設置場所の情報）をメモリ２３等の参照によって取得する（ステップＳｔ１１）。プロセッサ２２は、ステップＳｔ１１で取得した周囲環境情報に基づいて、各モーダル生体認証の優先度を決定する（ステップＳｔ１２）。ステップＳｔ１２の詳細については、図１４を参照して後述するが、例えば周囲が明るい環境であれば顔認証を優先したり、暗い環境であれば声認証を優先したりしてよい。また、周囲が騒がしい環境であれば声認証は優先度を低くしたり、モーダル生体認証の処理の早さが求められる設置場所であれば顔認証の優先度を高くしたりしてよい。プロセッサ２２は、ステップＳｔ１２で決定した各モーダル生体認証の優先度に基づいて、各モーダル生体認証のガイドの表示順（例えば図６のように一つ一つのモーダル生体認証を優先度の高い順番に表示、あるいは、図７のように全ガイドを表示するが優先度の高いガイドをハイライト表示し優先度の低いガイドをグレーアウト表示）を決定する（ステップＳｔ１３）。

【0094】

プロセッサ２２は、優先的に実行するべきとして表示中のモーダル生体認証のガイド（例えば図６の単一のモーダル生体認証のガイド画面ＷＤ１，ＷＤ２，ＷＤ３のうちいずれか、あるいは図７のハイライト表示中のモーダル生体認証のガイド画面ＷＤ１Ｈ，ＷＤ２Ｈ，ＷＤ３Ｈのうちいずれか）を、他のモーダル生体認証のガイドに切り替える（変更する）ための切り替え条件を決定して設定する（ステップＳｔ１４）。切り替え条件は、例えば、認証対象者の生体情報が取得されるまでは現在表示中のモーダル生体認証のガイドの表示が維持されたり、当初決定時点において優先度の低いモーダル生体認証のガイドは認証対象者の生体情報の取得の有無に拘わらず一定時間が経過した時点で次のモーダル生体認証のガイドに切り替わったりする等が該当する。なお、切り替え条件は、これらに限定されないことは言うまでもない。

【0095】

ここで、ステップＳｔ４のガイド方法の決定の処理を詳細に例示する第２サブルーチンについて、図１２を参照して説明する。

【0096】

図１２において、プロセッサ２２は、認証対象者の利用者情報（例えば認証対象者の識別番号となる利用者ＩＤ）あるいは用途条件情報（例えば認証対象者が利用したいサービスで、現金の振り込み、現金の預け入れ、預金の残高照会）をメモリ２３等の参照によって取得する（ステップＳｔ２１）。プロセッサ２２は、ステップＳｔ２１で取得した利用者情報あるいは用途条件情報に基づいて、各モーダル生体認証の優先度を決定する（ステップＳｔ２２）。例えば用途条件情報が現金の振り込みである場合には、認証対象者の指紋認証が必須と判定され、その他のモーダル生体認証（顔認証、声認証）は必ずしも必須ではないと判定される。プロセッサ２２は、ステップＳｔ２２で決定した各モーダル生体認証の優先度に基づいて、各モーダル生体認証のガイドの表示順（例えば図６のように一つ一つのモーダル生体認証を優先度の高い順番に表示、あるいは、図７のように全ガイドを表示するが優先度の高いガイドをハイライト表示し優先度の低いガイドをグレーアウト表示）を決定する（ステップＳｔ２３）。また、プロセッサ２２は、ステップＳｔ２３において、ステップＳｔ２２で必須のモーダル生体認証をガイド方法の最初に表示する等のように決定してもよい。

【0097】

プロセッサ２２は、優先的に実行するべきとして表示中のモーダル生体認証のガイド（例えば図６の単一のモーダル生体認証のガイド画面ＷＤ１，ＷＤ２，ＷＤ３のうちいずれか、あるいは図７のハイライト表示中のモーダル生体認証のガイド画面ＷＤ１Ｈ，ＷＤ２Ｈ，ＷＤ３Ｈのうちいずれか）を、他のモーダル生体認証のガイドに切り替える（変更する）ための切り替え条件を決定して設定する（ステップＳｔ２４）。切り替え条件は、例えば、必須と判定されたモーダル生体認証のガイドは、その対応する認証対象者の生体情報が取得されるまでは表示が維持される等が該当する。なお、切り替え条件は、これらに限定されないことは言うまでもない。

【0098】

ここで、ステップＳｔ６Ａのガイド方法の切り替えの処理を詳細に例示するサブルーチンについて、図１３を参照して説明する。

【0099】

図１３において、プロセッサ２２は、メモリ２３等の参照により、２つ以上のモーダル生体認証部のそれぞれにより対応するモーダル生体認証の処理を実行したか否かを判定する（ステップＳｔ３１）。２つ以上のモーダル生体認証部のそれぞれにより対応するモーダル生体認証の処理を実行していないと判定された場合には（ステップＳｔ３１、ＮＯ）、２つ以上のモーダル生体認証部のそれぞれにより対応するモーダル生体認証の処理を実行したと判定するまでプロセッサ２２はステップＳｔ３１の処理を繰り返す。

【0100】

プロセッサ２２は、２つ以上のモーダル生体認証部のそれぞれにより対応するモーダル生体認証の処理を実行したと判定した場合（ステップＳｔ３１、ＹＥＳ）、各モーダル生体認証のスコアを取得する（ステップＳｔ３２）。プロセッサ２２は、ステップＳｔ３２で取得した各モーダル生体認証のスコアに基づいて、各モーダル生体認証のガイドの表示順（例えばスコアが所定のＮＧ閾値より低い場合には再度そのモーダル生体認証に対応する生体情報の取得を促すように表示、あるいは、スコアが所定のＯＫ閾値より高い場合にはその他のモーダル生体認証のガイドを表示）を決定する（ステップＳｔ３３）。

【0101】

プロセッサ２２は、優先的に実行するべきとして表示中のモーダル生体認証のガイド（例えば図６の単一のモーダル生体認証のガイド画面ＷＤ１，ＷＤ２，ＷＤ３のうちいずれか、あるいは図７のハイライト表示中のモーダル生体認証のガイド画面ＷＤ１Ｈ，ＷＤ２Ｈ，ＷＤ３Ｈのうちいずれか）を、他のモーダル生体認証のガイドに切り替える（変更する）ための切り替え条件を決定して設定する（ステップＳｔ３４）。切り替え条件は、例えば、必須と判定されたモーダル生体認証のガイドは、その対応する認証対象者の生体情報が取得されるまでは表示が維持される等が該当する。なお、切り替え条件は、これらに限定されないことは言うまでもない。

【0102】

ここで、ステップＳｔ１２の周囲環境情報に基づく各モーダル生体認証の優先度決定の詳細について、図１４を参照して説明する。なお、ステップＳｔ１２の周囲環境情報に基づく各モーダル生体認証の優先度決定は、図１４に示した内容に限定されない。

【0103】

図１４において、プロセッサ２２は、用途条件情報の設定がメモリ２３等になされているか否かを判定する（ステップＳｔ４１）。プロセッサ２２は、用途条件情報が設定されていないと判定した場合（ステップＳｔ４１、ＮＯ）、あらかじめ規定されているデフォルトのモーダル生体認証のガイドの表示順、または、他の条件（例えばシステム条件情報、環境条件情報、利用者情報）に基づいて決定したガイドの表示順を設定する（ステップＳｔ４２）。ステップＳｔ４２の後、図１４の処理は終了する。

【0104】

一方、プロセッサ２２は、用途条件情報が設定されていると判定した場合（ステップＳｔ４１、ＹＥＳ）、プライマリの（つまり最初にガイドする）モーダル生体認証のガイドの設定がなされているか否かをメモリ２３等の参照により判定する（ステップＳｔ４３）。

【0105】

プロセッサ２２は、プライマリのモーダル生体認証のガイドの設定がなされていないと判定した場合（ステップＳｔ４３、ＮＯ）、例えば環境条件情報に応じてプライマリのモーダル生体認証のガイドを設定すると決定する（ステップＳｔ４４）。例えば認証対象者の周囲の明るさがメモリ２３等に保存されている適切な範囲（例えば暗さ閾値（上述参照）から明るさ閾値（上述参照））内の値であれば、プロセッサ２２は、プライマリのモーダル生体認証のガイドとして顔認証のガイドを使用すると決定する（ステップＳｔ４５）。例えば認証対象者の周囲の騒音信号の音圧（背景ノイズ）がメモリ２３等に保存されている所定の音圧閾値より小さければ、プロセッサ２２は、プライマリのモーダル生体認証のガイドとして声認証のガイドを使用すると決定する（ステップＳｔ４６）。なお、プロセッサ２２は、例えば認証対象者の周囲の明るさが適切な範囲を示す所定の範囲内の値でなく、かつ、認証対象者の周囲の騒音信号の音圧（背景ノイズ）が所定の音圧閾値より大きければ、プロセッサ２２は、プライマリのモーダル生体認証のガイドとして指紋認証のガイドを使用すると決定する（ステップＳｔ４７）。

【0106】

一方、プロセッサ２２は、プライマリのモーダル生体認証のガイドの設定がなされていると判定した場合（ステップＳｔ４３、ＹＥＳ）、プライマリのモーダル生体認証が顔認証、声認証および指紋認証のうちいずれであるかを判定する（ステップＳｔ４８）。

【0107】

プロセッサ２２は、プライマリのモーダル生体認証が顔認証であると判定した場合（ステップＳｔ４８、顔）、認証対象者の周囲の騒音信号の音圧（背景ノイズ）がメモリ２３等に保存されている所定の音圧閾値より小さければ、セカンダリ（つまりプライマリの後の２番目）のモーダル生体認証のガイドとして声認証のガイドを使用すると決定する（ステップＳｔ４９）。プロセッサ２２は、プライマリのモーダル生体認証が顔認証であると判定した場合（ステップＳｔ４８、顔）、認証対象者の周囲の騒音信号の音圧（背景ノイズ）がメモリ２３等に保存されている所定の音圧閾値より大きければ、セカンダリ（つまりプライマリの後の２番目）のモーダル生体認証のガイドとして指紋認証のガイドを使用すると決定する（ステップＳｔ５０）。

【0108】

プロセッサ２２は、プライマリのモーダル生体認証が声認証であると判定した場合（ステップＳｔ４８、声）、認証対象者の周囲の明るさがメモリ２３等に保存されている適切な範囲（例えば暗さ閾値（上述参照）から明るさ閾値（上述参照））内の値であれば、セカンダリ（つまりプライマリの後の２番目）のモーダル生体認証のガイドとして顔認証のガイドを使用すると決定する（ステップＳｔ５１）。プロセッサ２２は、プライマリのモーダル生体認証が声認証であると判定した場合（ステップＳｔ４８、顔）、認証対象者の周囲の明るさがメモリ２３等に保存されている適切な範囲（例えば暗さ閾値（上述参照）から明るさ閾値（上述参照））内の値でない場合には、セカンダリ（つまりプライマリの後の２番目）のモーダル生体認証のガイドとして指紋認証のガイドを使用すると決定する（ステップＳｔ５２）。

【0109】

プロセッサ２２は、プライマリのモーダル生体認証が指紋認証であると判定した場合（ステップＳｔ４８、指紋）、認証対象者の周囲の明るさがメモリ２３等に保存されている適切な範囲（例えば暗さ閾値（上述参照）から明るさ閾値（上述参照））内の値であれば、セカンダリ（つまりプライマリの後の２番目）のモーダル生体認証のガイドとして顔認証のガイドを使用すると決定する（ステップＳｔ５３）。プロセッサ２２は、プライマリのモーダル生体認証が指紋認証であると判定した場合（ステップＳｔ４８、指紋）、認証対象者の周囲の騒音信号の音圧（背景ノイズ）がメモリ２３等に保存されている所定の音圧閾値より小さければ、セカンダリ（つまりプライマリの後の２番目）のモーダル生体認証のガイドとして声認証のガイドを使用すると決定する（ステップＳｔ５４）。

【0110】

以上により、本実施の形態に係る認証ガイド装置（例えばマルチモーダル認証装置１０）は、複数種類の生体認証（モーダル生体認証）に用いる人物（例えば認証対象者）の１つ以上の生体情報の取得時の周囲条件情報を取得する１つ以上の取得部（例えばシステム条件設定部５１、環境条件設定部５２、用途条件設定部５３）と、周囲条件情報に基づいて、複数種類の生体認証のうち人物に優先的に実行するための実行順序を提示するガイド方法を決定するガイド決定部（例えばガイド方法決定部５５）と、ガイド方法を表示部（例えばディスプレイ２１）に表示するガイド表示部５６と、を備える。これにより、マルチモーダル認証装置１０は、認証（例えばモーダル生体認証）の利用状況（例えば認証対象者の周囲条件情報）に応じて、その周囲条件情報に相応しい有効な認証のガイドを利用者に適応的に提示でき、認証の効率化を支援できる。

【0111】

また、周囲条件情報は、認証ガイド装置（例えばマルチモーダル認証装置１０）の配置に関するシステム条件情報と、人物（例えば認証対象者）の周囲の環境条件情報と、生体認証の用途条件情報と、を含む。ガイド決定部（例えばガイド方法決定部５５）は、システム条件情報と環境条件情報と用途条件情報とのうち少なくとも１つに基づいて、ガイド方法を決定する。これにより、マルチモーダル認証装置１０は、あらかじめ内容が途中で変更しにくいシステム条件情報とセンサ群２０による測定の都度変更しやすい環境条件情報と認証対象者ごとに目的が異なりやすい用途条件情報とのうち少なくとも１つに応じて、認証対象者の周囲の利用状況に適合するモーダル生体認証の実行を認証対象者に提示できる。

【0112】

また、周囲条件情報は、人物の嗜好あるいは特性を有する利用者情報をさらに含む。これにより、マルチモーダル認証装置１０は、認証対象者ごとの人物的な嗜好あるいは特性が異なる利用者情報に応じて、認証対象者に適合するモーダル生体認証の実行を認証対象者に提示できる。

【0113】

また、ガイド決定部（例えばガイド方法決定部５５）は、認証ガイド装置（例えばマルチモーダル認証装置１０）の配置に関するシステム条件情報と、人物（例えば認証対象者）の周囲の環境条件情報と、生体認証の用途条件情報と、人物の嗜好あるいは特性を有する利用者情報とのうち少なくとも２つに基づいて、ガイド方法を決定する。これにより、マルチモーダル認証装置１０は、あらかじめ内容が途中で変更しにくいシステム条件情報とセンサ群２０による測定の都度変更しやすい環境条件情報と認証対象者ごとに目的が異なりやすい用途条件情報と認証対象者ごとの人物的な嗜好あるいは特性が異なる利用者情報とのうち少なくとも２つを組み合わせた利用状況に適合するモーダル生体認証の実行を認証対象者に提示できる。

【0114】

また、環境条件情報は、経時的に変動する特性を有し、認証ガイド装置（例えばマルチモーダル認証装置１０）の周囲の環境パラメータの測定値である。これにより、マルチモーダル認証装置１０は、認証対象者が生体認証を受けるための生体情報の取得時ごとに変動しやすい環境条件情報を加味して認証対象者に負担の少ないスムーズな生体認証を行うためのガイドを適切に行える。

【0115】

また、システム条件情報は、経時的に変動しない特性を有し、認証ガイド装置（例えばマルチモーダル認証装置１０）の配置時に定められる固定的な機器条件情報である。これにより、マルチモーダル認証装置１０は、マルチモーダル認証装置１０の機器設置時に定められる固定的な機器条件情報（例えば顔カメラ２０１および指紋カメラ２０２の位置もしくは性能、マイク２０３の位置もしくは性能）を加味して認証対象者に負担の少ないスムーズな生体認証を行うためのガイドを適切に行える。

【0116】

また、用途条件情報は、認証ガイド装置（例えばマルチモーダル認証装置１０）による生体認証の用途を示す情報である。これにより、マルチモーダル認証装置１０は、認証対象者が認証を受ける用途を加味して認証対象者に負担の少ないスムーズな生体認証を行うためのガイドを適切に行える。

【0117】

また、複数種類の生体認証は、人物（例えば認証対象者）の顔認証、指紋認証および声認証のうち少なくとも２つを有する。生体情報は、顔認証に対応する人物の顔画像もしくはその顔画像に基づく特徴量、指紋認証に対応する人物の指紋画像もしくはその指紋画像に基づく特徴量、声認証に対応する人物の音声もしくはその音声に基づく特徴量である。これにより、マルチモーダル認証装置１０は、認証対象者の顔、指紋および声のうち少なくとも２つを用いた認証を複合的に受けることができ、他人によるなりすまし等による被害を受けにくくすることができる。

【0118】

また、ガイド決定部（例えばガイド方法決定部５５）は、ガイド方法中の実行順序を切り替えるための切り替え条件を決定する。ガイド表示部５６は、切り替え条件を満足する場合、切り替え条件を満足する時に表示部（例えばディスプレイ２１）に表示されているガイド方法中の実行順序を切り替えて表示部に表示する。これにより、マルチモーダル認証装置１０は、常時同一のモーダル生体認証の表示を行うのではなく、切り替え条件を満たした場合に都度次に行うべきモーダル生体認証の実行を認証対象者に提示できる。

【0119】

また、認証ガイド装置（例えばマルチモーダル認証装置１０）は、ガイド方法の表示部（例えばディスプレイ２１）への表示中に、複数種類の生体認証のうち少なくとも１つの生体認証を実行する１つ以上の認証部（例えばモーダル生体認証部６０１～６０ｎ）をさらに備える。これにより、マルチモーダル認証装置１０は、認証対象者の周囲の利用状況に合わせたモーダル生体認証の実行順序のガイドを提示しながら、認証対象者の生体情報を取得した上でのモーダル生体認証を並行して実行できる。

【0120】

また、ガイド決定部（例えばガイド方法決定部５５）は、生体認証のスコアに基づいて、実行順序を変更する。これにより、マルチモーダル認証装置１０は、実際に行ったモーダル生体認証のスコアに基づいて優先的に実行するべきモーダル生体認証のガイドを認証対象者にリアルタイムに提示できる。

【0121】

また、ガイド表示部５６は、人物（例えば認証対象者）の複数種類の生体認証による最終結果を、複数種類の生体認証の名称とともに表示部（例えばディスプレイ２１）に表示する。これにより、マルチモーダル認証装置１０は、認証対象者に対してモーダル生体認証の最終結果（つまり、認証が成功したかあるいは失敗したか）を視覚的に提示でき、認証対象者へのフィードバックを適切に行える。

【0122】

以上、添付図面を参照しながら実施の形態について説明したが、本開示はかかる例に限定されない。当業者であれば、特許請求の範囲に記載された範疇内において、各種の変更例、修正例、置換例、付加例、削除例、均等例に想到し得ることは明らかであり、それらについても本開示の技術的範囲に属すると了解される。また、発明の趣旨を逸脱しない範囲において、上述した実施の形態における各構成要素を任意に組み合わせてもよい。

【産業上の利用可能性】

【0123】

本開示は、認証の利用状況に応じて、有効な認証のガイドを利用者に適応的に提示し、認証の効率化を支援する認証ガイド装置および認証ガイド方法として有用である。

【符号の説明】

【0124】

１ 生体認証システム
１０ マルチモーダル認証装置
２０ センサ群
２１ ディスプレイ
２２ プロセッサ
２３ メモリ
２４ 通信ＩＦ
２５ 入力デバイス
３０ 利用者情報データベース
４０ 駆動装置
５０ 全体制御部
５１ システム条件設定部
５２ 環境条件設定部
５３ 用途条件設定部
５４ 利用者選択設定部
５５ ガイド方法決定部
５６ ガイド表示部
２０１ 顔カメラ
２０２ 指紋カメラ
２０３ マイク
６０１、６０ｎ モーダル処理部
６１１、６１ｎ 環境条件判定部
６２１、６２ｎ スコア算出部

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】