特許 7229824 認証システム及び認証方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2023-02-17

(45)【発行日】2023-02-28

(54)【発明の名称】認証システム及び認証方法

(51)【国際特許分類】

   G06F 21/40 20130101AFI20230220BHJP

   G06F 21/32 20130101ALI20230220BHJP

【ＦＩ】

G06F21/40

G06F21/32

【請求項の数】 6

(21)【出願番号】P 2019050735

(22)【出願日】2019-03-19

(65)【公開番号】P2020154496

(43)【公開日】2020-09-24

【審査請求日】2022-02-04

(73)【特許権者】

【識別番号】000001432

【氏名又は名称】グローリー株式会社

(74)【代理人】

【識別番号】100114306

【弁理士】

【氏名又は名称】中辻 史郎

(74)【代理人】

【識別番号】100148655

【弁理士】

【氏名又は名称】諏訪 淳一

(72)【発明者】

【氏名】盛脇 荘太郎

(72)【発明者】

【氏名】西田 繁信

(72)【発明者】

【氏名】藤田 裕一

(72)【発明者】

【氏名】國分 亜優美

【審査官】中里 裕正

(56)【参考文献】

【文献】特開２００３－０３６４４２（ＪＰ，Ａ）

【文献】米国特許出願公開第２０１６／０３０８８５９（ＵＳ，Ａ１）

【文献】特開２００３－０３０１５４（ＪＰ，Ａ）

【文献】特開２００８－００４０５０（ＪＰ，Ａ）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ０６Ｆ ２１／４０

Ｇ０６Ｆ ２１／３２

(57)【特許請求の範囲】

【請求項1】

複数種類の認証を用いる認証システムであって、
利用者の顔を検知する顔検知手段と、
前記利用者の顔を検知した場合に、所定のパスワードを表示制御し、前記パスワードの表示後に前記利用者情報として音声が得られたならば、前記利用者の動画像の取得を開始し、該利用者の動画像を利用者情報として取得する利用者情報取得手段と、
前記利用者情報から前記複数種類の認証に対応する認証用情報を抽出する認証用情報抽出手段と、
前記認証用情報を用いて利用者の認証を行う認証手段と
を備えたことを特徴とする認証システム。

【請求項2】

前記認証用情報抽出手段は、前記利用者の顔画像、前記利用者の音声、前記利用者が発話したパスワード、前記利用者の顔と声の一致度のうち、すくなくともいずれかの要素を含んだ情報を前記認証用情報として抽出することを特徴とする請求項１に記載の認証システム。

【請求項3】

前記認証用情報抽出手段は、所定の種類の利用者情報からの認証用情報の抽出に、他の種類の利用者情報を用いることを特徴とする請求項１又は２に記載の認証システム。

【請求項4】

前記認証用情報抽出手段は、前記利用者情報として取得した音声から発話内容を識別し、発話内容とタイミングに応じて前記利用者情報として取得した画像から顔画像を抽出することを特徴とする請求項３に記載の認証システム。

【請求項5】

前記利用者情報取得手段を端末装置に設け、前記端末装置と通信可能なサーバ装置に前記認証手段を設けたことを特徴とする請求項１～４のいずれか一つに記載の認証システム。

【請求項6】

複数種類の認証を用いる認証方法であって、
利用者の顔を検知する顔検知ステップと、
前記利用者の顔を検知した場合に、所定のパスワードを表示制御し、前記パスワードの表示後に前記利用者情報として音声が得られたならば、前記利用者の動画像の取得を開始し、該利用者の動画像を利用者情報として取得する利用者情報取得ステップと、
前記利用者情報から前記複数種類の認証に対応する認証用情報を抽出する認証用情報抽出ステップと、
前記認証用情報を用いて利用者の認証を行う認証ステップと
を含むことを特徴とする認証方法。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、複数種類の認証を用いる認証システム及び認証方法に関する。

【背景技術】

【0002】

従来、パスワードや生体情報などを予め登録し、利用者から受け付けたパスワードや生体情報と登録した情報とが一致するか否かを判定することで、利用者の認証が行われてきた。

【0003】

また、さらに高いセキュリティ性や認証精度を確保するため、使い捨てのパスワードを用いるワンタイムパスワード認証や、複数種類の認証を用いる多要素認証も用いられている。例えば、特許文献１は、生体情報、所持情報、知識情報、及び知識情報の２以上の情報を用いる多要素認証を開示している。また、特許文献２は、顔や音声などの複数の生体情報を用いる多要素認証を開示している。

【先行技術文献】

【特許文献】

【0004】

【文献】特開２０１７－１１１６０８号公報

【文献】特表２０１７－５３５９８６号公報

【発明の概要】

【発明が解決しようとする課題】

【0005】

しかしながら、従来の技術では、多要素認証を用いる場合に利用者の負担が大きくなり、利便性が低下するという問題点があった。例えば、パスワードと顔画像の双方を用いる場合には、パスワードの入力と顔画像の撮影をそれぞれ行うことになる。このように、認証に使用する要素ごとに利用者の操作が必要となると、要素の増加に伴って利用者の操作負担が大きくなる。

【0006】

また、認証に使用する要素ごとに認証用データを取得すると、要素の増加に伴ってデータ量が大きくなる。かかるデータ量の肥大化は、端末装置が認証用データを取得してサーバ装置に送信し、サーバ装置で認証を実行する場合に深刻な問題となる。

【0007】

これらのことから、複数種類の認証を用いる多要素認証において、認証用データの取得と取り扱いを効率化し、利用者の負担を軽減し、利便性を向上することが重要な課題となっていた。

【0008】

本発明は、上記従来技術の課題を解決するためになされたものであって、複数種類の認証を用いる認証システムにおける利便性を向上することを目的とする。

【課題を解決するための手段】

【0009】

上述した課題を解決し、目的を達成するため、本発明は、複数種類の認証を用いる認証システムであって、利用者の顔を検知する顔検知手段と、前記利用者の顔を検知した場合に、所定のパスワードを表示制御し、前記パスワードの表示後に前記利用者情報として音声が得られたならば、前記利用者の動画像の取得を開始し、該利用者の動画像を利用者情報として取得する利用者情報取得手段と、前記利用者情報から前記複数種類の認証に対応する認証用情報を抽出する認証用情報抽出手段と、前記認証用情報を用いて利用者の認証を行う認証手段とを備えたことを特徴とする。

【0010】

また、本発明は、上記発明において、前記認証用情報抽出手段は、前記利用者の顔画像、前記利用者の音声、前記利用者が発話したパスワード、前記利用者の顔と声の一致度のうち、すくなくともいずれかの要素を含んだ情報を前記認証用情報として抽出することを特徴とする。

【0014】

また、本発明は、上記発明において、前記認証用情報抽出手段は、所定の種類の利用者情報からの認証用情報の抽出に、他の種類の利用者情報を用いることを特徴とする。

【0015】

また、本発明は、上記発明において、前記認証用情報抽出手段は、前記利用者情報として取得した音声から発話内容を識別し、発話内容とタイミングに応じて前記利用者情報として取得した画像から顔画像を抽出することを特徴とする。

【0016】

また、本発明は、上記発明において、前記利用者情報取得手段を端末装置に設け、前記端末装置と通信可能なサーバ装置に前記認証手段を設けたことを特徴とする。

【0017】

また、本発明は、複数種類の認証を用いる認証方法であって、利用者の顔を検知する顔検知ステップと、前記利用者の顔を検知した場合に、所定のパスワードを表示制御し、前記パスワードの表示後に前記利用者情報として音声が得られたならば、前記利用者の動画像の取得を開始し、該利用者の動画像を利用者情報として取得する利用者情報取得ステップと、前記利用者情報から前記複数種類の認証に対応する認証用情報を抽出する認証用情報抽出ステップと、前記認証用情報を用いて利用者の認証を行う認証ステップとを含むことを特徴とする。

【発明の効果】

【0018】

本発明によれば、複数種類の認証を用いる認証システムにおける利便性を向上することができる。

【図面の簡単な説明】

【0019】

【図1】図１は、実施例に係る認証システムの概念を説明するための説明図である。

【図2】図２は、認証システムのシステム構成についての説明図である。

【図3】図３は、端末装置の外観構成を示す外観構成図である。

【図4】図４は、端末装置の機能構成を示す機能ブロック図である。

【図5】図５は、サーバ装置の機能構成を示す機能ブロック図である。

【図6】図６は、端末装置の処理の具体例についての説明図である。

【図7】図７は、端末装置の処理手順を示すフローチャートである。

【図8】図８は、認証時のサーバ装置の処理手順を示すフローチャートである。

【図9】図９は、登録時のサーバ装置の処理手順を示すフローチャートである。

【図10】図１０は、動画データを送受信する構成における端末装置の処理手順を示すフローチャートである。

【図11】図１１は、動画データを送受信する構成における認証時のサーバ装置の処理手順を示すフローチャートである。

【図12】図１２は、動画データを送受信する構成における登録時のサーバ装置の処理手順を示すフローチャートである。

【発明を実施するための形態】

【実施例】

【0020】

以下に、添付図面を参照して、本発明に係る認証システム及び認証方法の好適な実施例を詳細に説明する。

【0021】

＜実施例に係る認証システムの概念＞
図１は、実施例に係る認証システムの概念を説明するための説明図である。図１に示した端末装置１０は、利用者の画像と音声を利用者データとして取得し、利用者データから複数種類の認証用データを抽出し、サーバ装置２０に送信する。サーバ装置２０は、端末装置１０から受信した複数種類の認証用データを用いて多要素認証を行う。

【0022】

ここで、端末装置１０は、利用者データを認証用データの抽出元として用いるのみならず、認証用データを取得するための処理の制御にも用いる。また、所定の種類の利用者データから認証用データを抽出する際に、他の種類の利用者データを利用する。

【0023】

具体的には、端末装置１０は、利用者の画像を取得し、顔の検知を行う（Ｓ１）。そして、顔を検知したならば、パスワードを表示して（Ｓ２）、読み上げを促す。利用者がパスワードを読み上げると、その発話音声を検知し（Ｓ３）、動画の保存を開始する（Ｓ４）。

【0024】

端末装置１０は、音声から発話の内容を識別する（Ｓ５）。そして、発話内容に含まれる複数の音節のそれぞれについて、その音節を発話しているタイミングの顔画像を動画データから切り出す（Ｓ６）。

【0025】

端末装置１０は、各音節の発話時の顔画像、発話内容、音声を認証用データとしてサーバ装置２０に送信する。サーバ装置２０は、端末装置１０から受信した認証用データを用い、顔認証、声紋認証、顔声一致度認証、パスワード照合などを含む多要素認証を行うことができる。

【0026】

なお、顔認証には、認証用データに含まれる発話時の顔画像と予め登録された顔画像とを比較することで行う。同様に、声紋認証は、認証用データに含まれる音声と予め登録された音声とを比較することで行う。顔声一致度認証は、発話時の顔画像の口の形と識別された音節とが適合しているか否かを判定することで行う。パスワード照合は、認証用データに含まれる発話内容と表示したパスワードとが一致するか否かを判定することで行う。

【0027】

このように、端末装置１０は、顔の検知をパスワードの表示制御に使用し、音声の検知を動画保存の制御に使用する。このため、利用者は、端末装置１０を見ながら表示されたパスワードを発話するのみで、顔画像の入力、音声の入力、パスワードの入力を行うことができる。

【0028】

また、音声から識別した発話内容を利用し、動画データから発話時の顔画像を切り出すことで、サーバ装置２０に送信する認証用データのデータサイズを削減することが可能となる。

【0029】

＜システムと装置の構成＞
図２は、認証システムのシステム構成についての説明図である。図２に示すように、サーバ装置２０は、所定のネットワークを介して複数の端末装置１０と接続されている。所定のネットワークは、インターネットなどの公開されたネットワークであってもよいし、社内ネットワークや金融系ネットワークなどの非公開のネットワークであってもよい。

【0030】

サーバ装置２０は、利用者の顔画像や音声などを登録データとして保持している。そして、いずれかの端末装置１０から認証用データを受信したならば、サーバ装置２０は、必要に応じて登録データと認証用データとを比較して認証を実行する。

【0031】

図３は、端末装置１０の外観構成を示す外観構成図である。端末装置１０は、例えばスマートフォンなどであり、表示操作部１１と、カメラ１２と、マイク１３とを有する。表示操作部１１は、タッチパネルディスプレイなどである。カメラ１２は、表示操作部１１による表示を視認中の利用者を撮像可能に配置する。マイク１３は、利用者の音声を取得できるよう適宜配置すればよい。

【0032】

また、表示操作部１１は、図３に示したように、カメラ１２が撮像した利用者の顔画像１１ａと、利用者が読み上げるべきパスワードを示すメッセージ表示１１ｂとを表示することができる。

【0033】

図４は、端末装置１０の機能構成を示す機能ブロック図である。図４に示すように、端末装置１０は、既に説明した表示操作部１１、カメラ１２、マイク１３に加え、通信部１４、記憶部１５、制御部１６を有する。

【0034】

通信部１４は、所定のネットワークを介してサーバ装置２０などとの通信を行う通信インタフェースである。記憶部１５は、不揮発性メモリ等の記憶デバイスであり、各種プログラムや利用者データ１５ａなどを記憶する。利用者データ１５ａは、カメラ１２により撮像した画像データや動画データ、マイク１３により集音した音声データなどである。また、利用者データ１５ａを加工したデータや、認証用データなども記憶部１５に格納することができる。

【0035】

制御部１６は、ＣＰＵ（Central Processing Unit）などであり、記憶部１５から所定のプログラムを読み出して実行することにより、利用者データ取得部１６ａ、取得処理制御部１６ｂ、認証用データ抽出部１６ｃ及び認証用データ送信部１６ｄなどの機能を実現する。

【0036】

利用者データ取得部１６ａは、利用者の画像と音声を利用者データとして取得する処理部である。具体的には、利用者データ取得部１６ａは、カメラ１２が撮像した画像とマイク１３が取得した音声を利用者データ１５ａとして取得し、記憶部１５に格納する。また、利用者データ取得部１６ａは、カメラ１２が撮像した画像をリアルタイムで表示操作部１１に表示制御することができる。

【0037】

取得処理制御部１６ｂは、認証用データの取得に係る処理を制御する処理部である。具体的には、取得処理制御部１６ｂは、利用者データとして取得した画像から顔を検知した場合に、表示操作部１１にパスワードを表示制御する。パスワードとしては、使い捨てのワンタイムパスワードを生成して用いることが好適である。

【0038】

また、取得処理制御部１６ｂは、パスワードの表示後に利用者データとして音声が得られた場合に、動画の保存を開始する。動画の保存は、カメラ１２が連続して撮像した画像を関連付けて動画データとして記憶部１５に格納することで行えばよい。その後、音声の終了を検知したならば、取得処理制御部１６ｂは、動画の保存を終了する。

【0039】

認証用データ抽出部１６ｃは、利用者データから複数種類の認証に対応する複数種類の認証用データを抽出する処理を行う。具体的には、認証用データ抽出部１６ｃは、利用者の顔画像、発話内容、音声を認証用データとして抽出する。これらの認証用データは、顔認証、声紋認証、顔声一致度認証、パスワード照合などの認証に用いられる。

【0040】

また、認証用データ抽出部１６ｃは、所定の種類の利用者データから認証用データを抽出する際に、他の種類の利用者データを利用する。具体的には、認証用データ抽出部１６ｃは、利用者データとして取得した音声から発話の内容を識別する。この発話内容は、利用者が読み上げたパスワードであるため、発話内容はパスワード照合に用いる認証用データである。

【0041】

また、認証用データ抽出部１６ｃは、発話内容を顔画像の切り出しに利用する。すなわち、発話内容に含まれる複数の音節のそれぞれについて、その音節を発話しているタイミングの顔画像を動画データから切り出す。

【0042】

認証用データ送信部１６ｄは、認証用データ抽出部１６ｃが抽出した認証用データをサーバ装置２０に送信する処理部である。既に登録済みの利用者が、認証のために認証用データを送信する場合には、認証用データ送信部１６ｄは、認証要求フラグを認証用データに付してサーバ装置２０への送信を行う。また、新規に登録を行う場合には、認証用データ送信部１６ｄは、登録要求フラグを認証用データに付してサーバ装置２０への送信を行う。

【0043】

図５は、サーバ装置２０の機能構成を示す機能ブロック図である。図５に示すように、サーバ装置２０は、表示部２１、入力部２２、通信部２３、記憶部２４及び制御部２５を有する。

【0044】

表示部２１は、液晶ディスプレイなどの表示デバイスである。入力部２２は、キーボードやマウスなどの入力デバイスである。通信部２３は、端末装置１０との通信を行う通信インタフェースである。記憶部２４は、ハードディスク装置等の記憶デバイスであり、利用者の顔画像や音声などを登録データ２４ａとして記憶する。

【0045】

制御部２５は、サーバ装置２０を全体制御する制御部であり、登録処理部２５ａ、認証処理部２５ｂ及び要素別データ処理部２５ｃを有する。実際には、これらの機能部に対応するプログラムを図示しないＲＯＭや不揮発性メモリに記憶しておき、これらのプログラムをＣＰＵにロードして実行することにより、登録処理部２５ａ、認証処理部２５ｂ及び要素別データ処理部２５ｃにそれぞれ対応するプロセスを実行させることになる。

【0046】

登録処理部２５ａは、利用者の顔画像や音声などを登録データ２４ａとして記憶部２４に格納する処理を行う。具体的には、登録処理部２５ａは、登録要求フラグが付された認証用データを受信したならば、認証用データを要素別データ処理部２５ｃに処理させ、認証用データの正当性が確認されたことを条件に、登録を行う。ここで、認証用データの正当性は、要素別データ処理部２５ｃによるパスワード照合や顔声一致度認証により確認することができる。また、登録の対象となるのは、認証用データに含まれる顔画像や音声であるが、顔画像や音声はそのまま登録してもよいし、顔の特徴や声紋の特徴を示すデータであってもよい。

【0047】

認証処理部２５ｂは、端末装置１０からの要求に基づいて、利用者の認証を行う処理部である。具体的には、認証処理部２５ｂは、認証要求フラグが付された認証用データを受信したならば、認証用データを要素別データ処理部２５ｃに処理させ、各要素の処理結果を総合することで利用者の多要素認証を行う。

【0048】

要素別データ処理部２５ｃは、認証用データに含まれる各要素について個別にデータ処理を行う処理部であり、顔認証エンジン、声紋認証エンジン、顔声一致度認証エンジン、パスワード処理エンジンを含む。

【0049】

顔認証エンジンは、認証用データに含まれる顔画像と登録データ２４ａの顔画像とを比較し、一致度を判定する処理を行う。声紋認証エンジンは、認証用データに含まれる音声と登録データ２４ａの音声とを比較し、一致度を判定する処理を行う。顔声一致度認証エンジンは、発話時の顔画像の口の形と識別された音節とがどの程度適合しているかを判定する処理を行う。パスワード処理エンジンは、認証用データに含まれる発話内容と端末装置１０が表示したパスワードとが一致するか否かを判定する処理を行う。ここで、端末装置１０が表示したパスワードは、予め登録されるものであってもよいし、使い捨てのワンタイムパスワードであってもよい。予め登録されるパスワードは、登録データ２４ａに格納しておくことが可能である。また、使い捨てのワンタイムパスワードは、例えば、パスワード処理エンジンが発行して端末装置１０に通知すればよい。

【0050】

＜処理の説明＞
図６は、端末装置１０の処理の具体例についての説明図である。図６では、ワンタイムパスワードを発行し、顔の検知をトリガーにパスワードの表示を行った後の処理を示している。また、図６の例では、パスワードは「かすてら」である。

【0051】

端末装置１０は、ワンタイムパスワードの表示とともに発話の監視、録画の準備、顔の検知を行う。そして、発話の開始を検知したならば、端末装置１０は、発話区間の始端として動画の保存を開始するとともに、音声認識による発話内容の識別を開始する。その後、発話の終了を検知したならば、端末装置１０は、発話区間の終端として動画の保存を終了し、音声認識による発話内容の識別を終了する。

【0052】

図６では、音声認識の結果、「か」、「す」、「て」、「ら」の４つの音節が認識される。端末装置１０は、４つの音節のそれぞれについて、その音節を発話しているタイミングの音声と顔画像を抜き出して対応づけ、認証用データとする。

【0053】

図７は、端末装置１０の処理手順を示すフローチャートである。まず、端末装置１０の取得処理制御部１６ｂは、利用者データとして取得した画像から顔を検知し（ステップＳ１０１）、表示操作部１１にパスワードを表示制御する（ステップＳ１０２）。

【0054】

その後、取得処理制御部１６ｂは、利用者データとして取得した音声から発話の開始を検知し（ステップＳ１０３）、動画の保存を開始する（ステップＳ１０４）。また、認証用データ抽出部１６ｃは、音声の認識を行う（ステップＳ１０５）。

【0055】

取得処理制御部１６ｂは、利用者データとして取得した音声から発話の終了を検知しなければ（ステップＳ１０６；Ｎｏ）、ステップＳ１０５に移行する。発話の終了を検知したならば（ステップＳ１０６；Ｙｅｓ）、認証用データ抽出部１６ｃは、音声認識の結果から発話内容を特定し（ステップＳ１０７）、音節ごとの発話音声を切り出し（ステップＳ１０８）、音節ごとの発話顔画像を切り出す（ステップＳ１０９）。そして、認証用データ送信部１６ｄが発話内容、発話音声、発話顔画像を認証用データとしてサーバ装置２０に送信し（ステップＳ１１０）、処理を終了する。

【0056】

図８は、認証時のサーバ装置２０の処理手順を示すフローチャートである。まず、サーバ装置２０の認証処理部２５ｂは、発話内容、発話音声、発話顔画像を認証用データとして端末装置１０から受信する（ステップＳ２０１）。

【0057】

要素別データ処理部２５ｃは、パスワード処理エンジンにより発話内容とパスワードとを照合する（ステップＳ２０２）。また、要素別データ処理部２５ｃは、顔声一致度認証エンジンにより顔声一致度の認証を行い（ステップＳ２０３）、顔認証エンジンにより顔画像の認証を行い（ステップＳ２０４）、声紋認証エンジンにより声紋の認証を行う（ステップＳ２０５）。

【0058】

認証処理部２５ｂは、各要素の処理結果を総合して判定し（ステップＳ２０６）。判定結果を出力して（ステップＳ２０７）、処理を終了する。

【0059】

図９は、登録時のサーバ装置２０の処理手順を示すフローチャートである。まず、サーバ装置２０の登録処理部２５ａは、発話内容、発話音声、発話顔画像を認証用データとして端末装置１０から受信する（ステップＳ３０１）。

【0060】

要素別データ処理部２５ｃは、パスワード処理エンジンにより発話内容とパスワードとを照合する（ステップＳ３０２）。発話内容とパスワードとが一致して照合が成功したならば（ステップＳ３０３；Ｙｅｓ）、要素別データ処理部２５ｃは、顔声一致度認証エンジンにより顔声一致度の認証を行う（ステップＳ３０４）。

【0061】

そして、顔声一致度の認証に成功したならば（ステップＳ３０５；Ｙｅｓ）、登録処理部２５ａは、認証用データに含まれる顔画像と音声を登録して（ステップＳ３０６）、処理を終了する。また、照合に失敗した場合（ステップＳ３０３；Ｎｏ）や認証に失敗した場合には（ステップＳ３０５；Ｎｏ）、登録不可とし（ステップＳ３０７）、必要に応じてその旨を報知して、処理を終了する。

【0062】

＜変形例＞
これまでの説明では、端末装置１０が動画データから発話内容、顔画像、音声を抽出し、認証用データとしてサーバ装置２０に送信する構成を例示したが、端末装置１０が動画データをサーバ装置２０に送信し、サーバ装置が動画データから発話内容、顔画像、音声を抽出する構成としてもよい。

【0063】

図１０は、動画データを送受信する構成における端末装置１０の処理手順を示すフローチャートである。端末装置１０の取得処理制御部１６ｂは、利用者データとして取得した画像から顔を検知し（ステップＳ４０１）、表示操作部１１にパスワードを表示制御する（ステップＳ４０２）。

【0064】

その後、取得処理制御部１６ｂは、利用者データとして取得した音声から発話の開始を検知し（ステップＳ４０３）、音声を対応づけた動画（音声付動画）の保存を開始する（ステップＳ４０４）。取得処理制御部１６ｂは、利用者データとして取得した音声から発話の終了を検知しなければ（ステップＳ４０５；Ｎｏ）、ステップＳ４０５に移行して音声付動画の保存を継続する。そして、発話の終了を検知したならば（ステップＳ４０５；Ｙｅｓ）、認証用データ送信部１６ｄが音声付動画データを認証用データとしてサーバ装置２０に送信し（ステップＳ４０６）、処理を終了する。

【0065】

図１１は、動画データを送受信する構成における認証時のサーバ装置２０の処理手順を示すフローチャートである。まず、サーバ装置２０の認証処理部２５ｂは、音声付動画データを認証用データとして端末装置１０から受信する（ステップＳ５０１）。

【0066】

認証処理部２５ｂは、音声付動画データの音声を認識し（ステップＳ５０２）、発話内容を特定する（ステップＳ５０３）。そして、音節ごとの発話音声を切り出し（ステップＳ５０４）、音節ごとの発話顔画像を切り出す（ステップＳ５０５）。

【0067】

要素別データ処理部２５ｃは、パスワード処理エンジンにより発話内容とパスワードとを照合する（ステップＳ５０６）。また、要素別データ処理部２５ｃは、顔声一致度認証エンジンにより顔声一致度の認証を行い（ステップＳ５０７）、顔認証エンジンにより顔画像の認証を行い（ステップＳ５０８）、声紋認証エンジンにより声紋の認証を行う（ステップＳ５０９）。

【0068】

認証処理部２５ｂは、各要素の処理結果を総合して判定し（ステップＳ５１０）。判定結果を出力して（ステップＳ５１１）、処理を終了する。

【0069】

図１２は、動画データを送受信する構成における登録時のサーバ装置２０の処理手順を示すフローチャートである。まず、サーバ装置２０の登録処理部２５ａは、音声付動画データを認証用データとして端末装置１０から受信する（ステップＳ６０１）。

【0070】

認証処理部２５ｂは、音声付動画データの音声を認識し（ステップＳ６０２）、発話内容を特定する（ステップＳ６０３）。そして、音節ごとの発話音声を切り出し（ステップＳ６０４）、音節ごとの発話顔画像を切り出す（ステップＳ６０５）。

【0071】

要素別データ処理部２５ｃは、パスワード処理エンジンにより発話内容とパスワードとを照合する（ステップＳ６０６）。発話内容とパスワードとが一致して照合が成功したならば（ステップＳ６０７；Ｙｅｓ）、要素別データ処理部２５ｃは、顔声一致度認証エンジンにより顔声一致度の認証を行う（ステップＳ６０８）。

【0072】

そして、顔声一致度の認証に成功したならば（ステップＳ６０９；Ｙｅｓ）、登録処理部２５ａは、認証用データに含まれる顔画像と音声を登録して（ステップＳ６１０）、処理を終了する。また、照合に失敗した場合（ステップＳ６０７；Ｎｏ）や認証に失敗した場合には（ステップＳ６０９；Ｎｏ）、登録不可とし（ステップＳ６１１）、必要に応じてその旨を報知して、処理を終了する。

【0073】

上述してきたように、本実施例によれば、認証システムは、利用者の画像と音声を利用者データとして取得し、利用者データから複数種類の認証に対応する認証用データを抽出し、認証用データを用いて利用者の認証を行う。かかる構成と動作によって、複数種類の認証を用いる多要素認証において、認証用データの取得と取り扱いを効率化し、利用者の負担を軽減し、利便性を向上することができる。

【0074】

ここで、認証用データとしては、利用者の顔画像、利用者の音声、利用者が発話したパスワード、利用者の顔と声の一致度などの要素を含んだ情報を用いることができる。

【0075】

また、本実施例によれば、利用者データに基づいて、認証用データの取得に係る処理を制御することができる。具体的には、利用者データとして顔画像が得られた場合にパスワードを表示制御し、パスワードの表示後に利用者データとして音声が得られた場合に利用者の動画像の取得を開始することができる。

【0076】

また、本実施例によれば、所定の種類の利用者データからの認証用データの抽出に、他の種類の利用者データを用いることができる。具体的には、利用者データとして取得した音声から発話内容を識別し、発話内容とタイミングに応じて利用者データとして取得した画像から顔画像を抽出することができる。

【0077】

また、本実施例によれば、端末装置で利用者データを取得し、端末装置と通信可能なサーバ装置で認証を行うことができる。

【0078】

なお、上述の実施例で図示した各構成は機能概略的なものであり、必ずしも物理的に図示の構成をされていることを要しない。すなわち、各装置の分散・統合の形態は図示のものに限られず、その全部又は一部を各種の負荷や使用状況などに応じて、任意の単位で機能的又は物理的に分散・統合して構成することができる。

【0079】

例えば、パスワード照合や顔声一致度の認証を端末装置１０で実行し、パスワード照合と顔声一致度の認証の成功を条件に認証用データをサーバ装置２０に送信する構成としてもよい。また、この場合には、パスワード照合や顔声一致度の認証に使用するデータはサーバ装置２０に送信しないことも可能である。

【0080】

また、本実施例では、顔認証エンジンや声紋認証エンジンなどの要素別データ処理部をサーバ装置２０の内部に設ける構成を例示したが、要素別データ処理部はサーバ装置２０の外部に設ける構成であってもよい。例えば、サーバ装置２０の制御部２５と別サーバとを通信可能に接続し、ＡＰＩ（アプリケーションプログラミングインターフェース）を介して認証用情報や認証結果の送受信をする構造とすることができる。このような別サーバは、認証ごとに設けることも可能であり、複数の認証のうち一部の認証を別サーバにより行うこともできる。すなわち、顔認証はサーバ装置２０の内部で処理し、パスワード照合については別サーバで行うといった構成が可能である。

【0081】

また、本実施例では、説明を簡明にするため、サーバ装置２０が物理的な記憶装置として記憶部２４を備える場合を例に説明を行ったが、記憶部２４はクラウド環境で構築した仮想記憶装置であってもよい。同様に、サーバ装置２０の各種機能もクラウド環境で仮想的に構築可能である。

【0082】

また、上述の実施例で示した利用者データや認証用データはあくまで一例であり、任意のデータを適宜利用することができる。例えば、端末装置１０でマスクの着用や風邪声の識別を行ってサーバ装置２０に通知し、マスクの有無や風邪声を考慮した認証を行うこともできる。

【産業上の利用可能性】

【0083】

本発明の認証システム及び認証方法は、複数種類の認証を用いる認証システムにおける利便性の向上に有用である。

【符号の説明】

【0084】

１０ 端末装置
１１ 表示操作部
１２ カメラ
１３ マイク
１４、２３ 通信部
１５、２４ 記憶部
１５ａ 利用者データ
１６、２５ 制御部
１６ａ 利用者データ取得部
１６ｂ 取得処理制御部
１６ｃ 認証用データ抽出部
１６ｄ 認証用データ送信部
２０ サーバ装置
２１ 表示部
２２ 入力部
２４ａ 登録データ
２５ａ 登録処理部
２５ｂ 認証処理部
２５ｃ 要素別データ処理部

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】