知財求人 - 知財ポータルサイト「IP Force」
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2024117391
(43)【公開日】2024-08-29
(54)【発明の名称】顔認証システムおよび顔認証方法
(51)【国際特許分類】
G06V 40/40 20220101AFI20240822BHJP
G06V 40/16 20220101ALI20240822BHJP
G06T 7/20 20170101ALI20240822BHJP
G06V 40/20 20220101ALI20240822BHJP
G06V 10/82 20220101ALI20240822BHJP
G06T 7/00 20170101ALI20240822BHJP
【ＦＩ】
G06V40/40
G06V40/16 A
G06T7/20 300A
G06V40/16 C
G06V40/20
G06V10/82
G06T7/00 350C
G06T7/00 660A
【審査請求】未請求
【請求項の数】10
【出願形態】ＯＬ
(21)【出願番号】P 2023023461
(22)【出願日】2023-02-17
(71)【出願人】
【識別番号】000006220
【氏名又は名称】ミツミ電機株式会社
(74)【代理人】
【識別番号】100173691
【弁理士】
【氏名又は名称】高橋 康久
(74)【代理人】
【識別番号】100137095
【弁理士】
【氏名又は名称】江部 武史
(74)【代理人】
【識別番号】100091627
【弁理士】
【氏名又は名称】朝比 一夫
(74)【代理人】
【識別番号】100091292
【弁理士】
【氏名又は名称】増田 達哉
(72)【発明者】
【氏名】金田 健佑
(72)【発明者】
【氏名】大槌 輝彦
(72)【発明者】
【氏名】薄坂 武雄
【テーマコード（参考）】
5B043
5L096
【Ｆターム（参考）】
5B043AA04
5B043AA09
5B043AA10
5B043BA04
5B043CA10
5B043DA05
5B043EA06
5B043EA08
5B043FA03
5B043HA13
5L096AA02
5L096AA06
5L096BA08
5L096BA18
5L096CA04
5L096CA14
5L096DA02
5L096FA06
5L096FA09
5L096FA62
5L096FA67
5L096FA69
5L096GA51
5L096HA02
5L096HA11
5L096JA03
(57)【要約】
【課題】カメラ以外の追加的なセンサーデバイスを用いることなく、かつ、シンプルな演算で、「なりすまし」を検知することができる顔認証システムおよび顔認証方法を提供すること。
【解決手段】顔認証システム１は、認証対象者１００の顔を撮影するためのカメラ２と、認証対象者１００に対して顔振り動作を指示する指示ユニット３と、認証対象者１００の顔認証を実行するための顔認証装置４と、を含む。顔認証装置４は、顔振り動作中における顔の任意の特徴点の位置変化から、認証対象者１００が生体であるか否かを判別し、認証対象者１００が生体ではないと判別された場合、顔認証が失敗したと判断する、よう構成されている。
【選択図】図１
【解決手段】顔認証システム１は、認証対象者１００の顔を撮影するためのカメラ２と、認証対象者１００に対して顔振り動作を指示する指示ユニット３と、認証対象者１００の顔認証を実行するための顔認証装置４と、を含む。顔認証装置４は、顔振り動作中における顔の任意の特徴点の位置変化から、認証対象者１００が生体であるか否かを判別し、認証対象者１００が生体ではないと判別された場合、顔認証が失敗したと判断する、よう構成されている。
【選択図】図１
【特許請求の範囲】
【請求項1】
認証対象者の顔を撮影するためのカメラと、
前記認証対象者に対して顔振り動作を指示するための指示ユニットと、
前記認証対象者の顔認証を実行するための顔認証装置と、を含み、
前記顔認証装置は、
前記顔振り動作中における前記顔の任意の特徴点の位置変化に基づいて、前記認証対象者が生体であるか否かを判別し、
前記認証対象者が前記生体ではないと判別された場合、前記顔認証が失敗したと判断する、よう構成されていることを特徴とする顔認証システム。
前記認証対象者に対して顔振り動作を指示するための指示ユニットと、
前記認証対象者の顔認証を実行するための顔認証装置と、を含み、
前記顔認証装置は、
前記顔振り動作中における前記顔の任意の特徴点の位置変化に基づいて、前記認証対象者が生体であるか否かを判別し、
前記認証対象者が前記生体ではないと判別された場合、前記顔認証が失敗したと判断する、よう構成されていることを特徴とする顔認証システム。
【請求項2】
前記顔認証装置は、前記認証対象者が前記顔振り動作を実行している間に前記カメラが前記認証対象者の前記顔を撮影することによって取得された顔振り画像から、前記顔振り動作中の前記任意の特徴点の位置変化量を算出し、算出された前記任意の特徴点の前記位置変化量に基づいて、前記認証対象者が前記生体であるか否かを判別する、よう構成されている請求項１に記載の顔認証システム。
【請求項3】
前記カメラは、前記認証対象者の前記顔を正面から撮影することによって正面顔画像を取得し、さらに、前記認証対象者が前記顔振り動作を実行している間、前記認証対象者の前記顔を撮影し続け、複数の前記顔振り画像を取得する、よう構成されており、
前記顔認証装置は、
前記正面顔画像および複数の前記顔振り画像のそれぞれにおける前記任意の特徴点を検出し、
前記正面顔画像における前記任意の特徴点の位置と、複数の前記顔振り画像のそれぞれにおける前記任意の特徴点の位置から、複数の前記位置変化量を算出し、
複数の前記位置変化量のうち、最大の１つが所定のしきい値未満である場合、前記認証対象者が前記生体ではないと判別する、よう構成されている請求項２に記載の顔認証システム。
前記顔認証装置は、
前記正面顔画像および複数の前記顔振り画像のそれぞれにおける前記任意の特徴点を検出し、
前記正面顔画像における前記任意の特徴点の位置と、複数の前記顔振り画像のそれぞれにおける前記任意の特徴点の位置から、複数の前記位置変化量を算出し、
複数の前記位置変化量のうち、最大の１つが所定のしきい値未満である場合、前記認証対象者が前記生体ではないと判別する、よう構成されている請求項２に記載の顔認証システム。
【請求項4】
前記任意の特徴点は、鼻尖である請求項２に記載の顔認証システム。
【請求項5】
前記顔認証装置は、
前記認証対象者が前記顔振り動作を実行している間に前記カメラが前記認証対象者の前記顔を撮影することによって取得された顔振り画像における、前記任意の特徴点から、前記任意の特徴点よりも左側に位置する左側特徴点までの第１の距離と、前記任意の特徴点から、前記任意の特徴点よりも右側に位置する右側特徴点までの第２の距離と、を算出し、
前記顔振り動作中の前記第１の距離と前記第２の距離との差分または比率の変化量に基づいて、前記認証対象者が前記生体であるか否かを判別する、よう構成されている請求項１に記載の顔認証システム。
前記認証対象者が前記顔振り動作を実行している間に前記カメラが前記認証対象者の前記顔を撮影することによって取得された顔振り画像における、前記任意の特徴点から、前記任意の特徴点よりも左側に位置する左側特徴点までの第１の距離と、前記任意の特徴点から、前記任意の特徴点よりも右側に位置する右側特徴点までの第２の距離と、を算出し、
前記顔振り動作中の前記第１の距離と前記第２の距離との差分または比率の変化量に基づいて、前記認証対象者が前記生体であるか否かを判別する、よう構成されている請求項１に記載の顔認証システム。
【請求項6】
前記カメラは、前記認証対象者の前記顔を正面から撮影することによって正面顔画像を取得し、さらに、前記認証対象者が前記顔振り動作を実行している間、前記認証対象者の前記顔を撮影し続け、複数の前記顔振り画像を取得するよう、構成されており、
前記顔認証装置は、
前記正面顔画像および複数の前記顔振り画像のそれぞれにおける前記任意の特徴点、前記左側特徴点、および前記右側特徴点を検出し、
前記正面顔画像における前記第１の距離と前記第２の距離の前記差分または前記比率と、複数の前記顔振り画像のそれぞれの前記第１の距離と前記第２の距離の前記差分または前記比率との変化から、複数の前記変化量を算出し、
複数の前記変化量のうち、最大の１つが所定のしきい値未満である場合、前記認証対象者が前記生体ではないと判別する、よう構成されている請求項５に記載の顔認証システム。
前記顔認証装置は、
前記正面顔画像および複数の前記顔振り画像のそれぞれにおける前記任意の特徴点、前記左側特徴点、および前記右側特徴点を検出し、
前記正面顔画像における前記第１の距離と前記第２の距離の前記差分または前記比率と、複数の前記顔振り画像のそれぞれの前記第１の距離と前記第２の距離の前記差分または前記比率との変化から、複数の前記変化量を算出し、
複数の前記変化量のうち、最大の１つが所定のしきい値未満である場合、前記認証対象者が前記生体ではないと判別する、よう構成されている請求項５に記載の顔認証システム。
【請求項7】
前記任意の特徴点は、鼻尖であり、
前記左側特徴点は、前記顔の輪郭の左側最外点であり、
前記右側特徴点は、前記顔の前記輪郭の右側最外点である請求項５に記載の顔認証システム。
前記左側特徴点は、前記顔の輪郭の左側最外点であり、
前記右側特徴点は、前記顔の前記輪郭の右側最外点である請求項５に記載の顔認証システム。
【請求項8】
前記顔認証装置は、
前記認証対象者の顔を正面から前記カメラによって撮影することにより取得された正面顔画像を用いて、データベース内に保存されている複数の登録者の顔情報と前記認証対象者の前記顔との顔照合を実行し、
前記顔照合が成功し、かつ、前記認証対象者が前記生体であると判別された場合に、前記顔認証が成功したと判断する、よう構成されている請求項１に記載の顔認証システム。
前記認証対象者の顔を正面から前記カメラによって撮影することにより取得された正面顔画像を用いて、データベース内に保存されている複数の登録者の顔情報と前記認証対象者の前記顔との顔照合を実行し、
前記顔照合が成功し、かつ、前記認証対象者が前記生体であると判別された場合に、前記顔認証が成功したと判断する、よう構成されている請求項１に記載の顔認証システム。
【請求項9】
指示ユニットによって、認証対象者に顔振り動作を実行するよう指示する工程と、
カメラによって、前記認証対象者が前記顔振り動作を実行している間に前記認証対象者の顔を撮影し、顔振り画像を取得する工程と、
プロセッサーによって、前記顔振り画像から、前記顔振り動作中における前記顔の任意の特徴点の位置変化を特定する工程と、
前記プロセッサーによって、前記任意の特徴点の前記位置変化に基づいて、前記認証対象者が生体であるか否かを判別する工程と、
前記認証対象者が前記生体ではないと判別された場合、前記プロセッサーによって、前記認証対象者の顔認証が失敗したと判断する工程と、を含むことを特徴とする顔認証方法。
カメラによって、前記認証対象者が前記顔振り動作を実行している間に前記認証対象者の顔を撮影し、顔振り画像を取得する工程と、
プロセッサーによって、前記顔振り画像から、前記顔振り動作中における前記顔の任意の特徴点の位置変化を特定する工程と、
前記プロセッサーによって、前記任意の特徴点の前記位置変化に基づいて、前記認証対象者が生体であるか否かを判別する工程と、
前記認証対象者が前記生体ではないと判別された場合、前記プロセッサーによって、前記認証対象者の顔認証が失敗したと判断する工程と、を含むことを特徴とする顔認証方法。
【請求項10】
前記プロセッサーによって、前記認証対象者の前記顔を正面から前記カメラによって撮影することにより取得された正面顔画像を用いて、データベース内に保存されている複数の登録者の顔情報と前記認証対象者の前記顔との顔照合を実行する工程をさらに含み、
前記顔照合が成功し、かつ、前記認証対象者が前記生体であると判別された場合に、前記プロセッサーによって、前記顔認証が成功したと判断される請求項９に記載の顔認証方法。
前記顔照合が成功し、かつ、前記認証対象者が前記生体であると判別された場合に、前記プロセッサーによって、前記顔認証が成功したと判断される請求項９に記載の顔認証方法。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、一般に、認証対象者の顔を撮影し、認証対象者の顔認証を実行するための顔認証システムおよび顔認証方法に関し、より具体的には、認証対象者が顔振り動作を実行している間、認証対象者の顔の任意の特徴点の位置変化に基づいて、認証対象者が生体であるか否かを判別する顔認証システムおよび顔認証方法に関する。
【背景技術】
【0002】
従来、携帯電話、スマートフォン、ノートパソコン、ラップトップコンピューターのような様々なデバイスにおいて、パスワードとＩＤや、指紋認証、声紋認証、虹彩認証のような生体認証技術等が、本人確認を行うために利用されてきた。特に、近年のカメラモジュールの小型化・高性能化によって様々なデバイスにカメラモジュールが搭載されたことに伴い、認証対象者の顔を撮影し、撮影した顔画像と、予め登録した本人の顔画像とを照合することによって本人確認を行う顔認証技術が広く用いられるようになった。
【0003】
一般的な顔認証技術においては、ユーザーの顔をカメラで撮影することにより得られたユーザーの顔画像をデータベースに登録することにより、ユーザーの登録が完了する。自身の顔画像のデータベースへの登録が完了したユーザーは、登録者と称される。一方、認証対象者は、顔認証システムのカメラに自身の顔の撮影を実行させ、顔認証システムに自身の顔画像を取得させる。顔認証システムは、取得した顔画像と、データベースに登録された１人以上の登録者の顔画像とを照合し、取得した正面顔画像との類似度（一致度）が所定の値を超える顔画像がデータベース内に保存されているかどうかを判別する。取得した顔画像との類似度が所定のしきい値以上の顔画像がデータベース内に保存されている場合、顔認証システムは、顔認証が成功したものと判断する。一方、取得した顔画像との類似度が所定のしきい値以上の顔画像がデータベース内に存在しない場合、顔認証システムは、顔認証が失敗したものと判断する。その後、顔認証システムは、顔認証の結果に応じた処理（例えば、ドアのロックの解除処理や情報端末のロック解除処理）を実行する。
【0004】
このような認証対象者の顔画像を用いた顔認証には、登録者以外の人物がなんらかの手段で登録者になりすまして認証を不正に通過するという「なりすまし」問題が存在する。典型的には、認証対象者の顔を撮影するときに、登録者の顔写真を撮影させることにより、「なりすまし」が実行されることが多い。登録者の顔写真を利用した「なりすまし」では、印画紙のような媒体に印刷された顔写真やモニタのような表示装置に表示された顔写真が用いられる。
【0005】
このような「なりすまし」問題に対し、様々な解決方法が提案されている。例えば、２台以上のカメラを用いて認証対象者の顔を撮影し、認証対象者の顔の３次元形状を取得する方法が提案されている。顔写真は平面であるため、認証対象者の顔の３次元形状を取得すれば、「なりすまし」を検知することができる。しかしながら、このような方法では、２台以上のカメラを用いる必要があるため、認証システムのサイズの増大やコストの増大を招いてしまう。また、認証対象者の顔画像を用いた認証と、赤外線カメラを用いた認証対象者の温度測定による生体判別、指紋認証等による生体認証等の様々な認証とを組み合わせることにより、「なりすまし」を検知する方法も提案されている。しかしながら、このような方法では、カメラの他に、追加的なセンサーデバイス（赤外線センサー、指紋認証用センサー等）を用いることがあるため、認証システムのサイズの増大やコストの増大を招いてしまう。
【0006】
このような問題に対し、特許文献１は、顔認証の際に、認証対象者の顔を正面から撮影することにより得られた正面顔画像と、認証対象者に対して顔振り動作を指示し、顔振り動作の結果によって得られた顔振り画像とを用いて、「なりすまし」を検知する顔認証システムを提案している。
【0007】
顔写真を用いた「なりすまし」が実行される際、悪意のユーザーは、登録者の顔写真を、顔認証システムのカメラに対して傾け、認証対象者が顔振り動作を実行したかのように見せかけて、登録者の顔写真を顔認証システムに撮影させる。顔写真は平面であるため、このようにして得られる顔振り画像は、登録者の正面顔画像に対して画像変換処理（平面から別平面への写像）を施すことにより得られる変換画像と略一致する。そのため、特許文献１の顔認証システムでは、顔振り画像と、前述の変換画像とのマッチング処理を実行し、それらが一致した場合には、顔写真による「なりすまし」を検知する。
【0008】
しかしながら、特許文献１の顔認証システムでは、顔写真による「なりすまし」を検知するために、登録者の正面顔画像に対する画像変換処理と、顔振り画像と変換画像との間のマッチング処理を実行する必要がある。また、顔認証の精度を高めるため、顔認証に用いられる顔画像のピクセル数は一般的に多い。画像変換処理およびマッチング処理は、画像全体に対する演算であり、さらに、顔画像のピクセル数が多い場合、顔認証処理の演算時間および演算量が増大してしまうという問題があった。また、特許文献１の顔認証システムでは、高い演算能力を有する処理ユニット（ＣＰＵ等）を用いる必要があり、顔認証システムのコストおよび演算時間の増大という問題があった。
【先行技術文献】
【特許文献】
【0009】
【特許文献1】国際公開番号第２００９－００４９１６号公報
【発明の概要】
【発明が解決しようとする課題】
【0010】
本発明は、上記従来の問題点を鑑みたものであり、その目的は、カメラ以外の追加的なセンサーデバイスを用いることなく、かつ、シンプルな演算で、「なりすまし」を検知することができる顔認証システムおよび顔認証方法を提供することにある。
【課題を解決するための手段】
【0011】
このような目的は、以下の（１）および（２）によって規定される本発明により達成される。
【0012】
（１）認証対象者の顔を撮影するためのカメラと、
前記認証対象者に対して顔振り動作を指示するための指示ユニットと、
前記認証対象者の顔認証を実行するための顔認証装置と、を含み、
前記顔認証装置は、
前記顔振り動作中における前記顔の任意の特徴点の位置変化に基づいて、前記認証対象者が生体であるか否かを判別し、
前記認証対象者が前記生体ではないと判別された場合、前記顔認証が失敗したと判断する、よう構成されていることを特徴とする顔認証システム。
前記認証対象者に対して顔振り動作を指示するための指示ユニットと、
前記認証対象者の顔認証を実行するための顔認証装置と、を含み、
前記顔認証装置は、
前記顔振り動作中における前記顔の任意の特徴点の位置変化に基づいて、前記認証対象者が生体であるか否かを判別し、
前記認証対象者が前記生体ではないと判別された場合、前記顔認証が失敗したと判断する、よう構成されていることを特徴とする顔認証システム。
【0013】
（２）指示ユニットによって、認証対象者に顔振り動作を実行するよう指示する工程と、
カメラによって、前記認証対象者が前記顔振り動作を実行している間に前記認証対象者の顔を撮影し、顔振り画像を取得する工程と、
プロセッサーによって、前記顔振り画像から、前記顔振り動作中における前記顔の任意の特徴点の位置変化を特定する工程と、
前記プロセッサーによって、前記任意の特徴点の前記位置変化に基づいて、前記認証対象者が生体であるか否かを判別する工程と、
前記認証対象者が前記生体ではないと判別された場合、前記プロセッサーによって、前記認証対象者の顔認証が失敗したと判断する工程と、を含むことを特徴とする顔認証方法。
カメラによって、前記認証対象者が前記顔振り動作を実行している間に前記認証対象者の顔を撮影し、顔振り画像を取得する工程と、
プロセッサーによって、前記顔振り画像から、前記顔振り動作中における前記顔の任意の特徴点の位置変化を特定する工程と、
前記プロセッサーによって、前記任意の特徴点の前記位置変化に基づいて、前記認証対象者が生体であるか否かを判別する工程と、
前記認証対象者が前記生体ではないと判別された場合、前記プロセッサーによって、前記認証対象者の顔認証が失敗したと判断する工程と、を含むことを特徴とする顔認証方法。
【発明の効果】
【0014】
本発明においては、認証対象者の顔振り動作中における顔の任意の特徴点の位置変化に基づいて、認証対象者が生体であるか否かを判別し、顔写真による「なりすまし」を検知することができる。顔の任意の特徴点の位置変化は、複数の顔画像のそれぞれにおいて任意の特徴点を検出し、複数の顔画像のそれぞれにおける検出された任意の特徴点の座標の比較によって算出することができる。そのため、顔の任意の特徴点の位置変化を算出するために必要な演算量および演算時間は、非常に小さい。そのため、本発明においては、顔写真による「なりすまし」を検知するために、高い演算能力を有する処理ユニットを用いる必要がなく、顔認証システムのコストおよび演算時間を大幅に減少させることができる。
【図面の簡単な説明】
【0015】
【図1】本発明の第１実施形態に係る顔認証システムを概略的に示すブロック図である。
【図4】認証対象者の顔が生体である場合に、顔振り動作を実行した場合の特徴点の位置変化を説明するための図である。
【図5】認証対象者の顔が生体ではない場合に、顔振り動作を実行した場合の特徴点の位置変化を説明するための図である。
【図6】本発明の第１実施形態に係る顔認証方法を示すフローチャートである。
【図8】本発明の第２実施形態に係る顔認証システムにおける生体判別処理を説明するための図である。
【図9】本発明の第２実施形態に係る顔認証システムにおける生体判別処理を説明するための別の図である。
【図10】本発明の第２実施形態に係る顔認証方法における生体判別処理のフローチャートである。
【発明を実施するための形態】
【0016】
＜第１実施形態＞
以下、図１～図５を参照して、本発明の第１実施形態に係る顔認証システムを詳述する。図１は、本発明の第１実施形態に係る顔認証システムを概略的に示すブロック図である。図２は、図１に示す顔認証装置のブロック図である。図３は、図２に示す特徴点検出モジュールによる特徴点の検出を説明するための図である。図４は、認証対象者の顔が生体である場合に、顔振り動作を実行した場合の特徴点の位置変化を説明するための図である。図５は、認証対象者の顔が生体ではない場合に、顔振り動作を実行した場合の特徴点の位置変化を説明するための図である。
以下、図１～図５を参照して、本発明の第１実施形態に係る顔認証システムを詳述する。図１は、本発明の第１実施形態に係る顔認証システムを概略的に示すブロック図である。図２は、図１に示す顔認証装置のブロック図である。図３は、図２に示す特徴点検出モジュールによる特徴点の検出を説明するための図である。図４は、認証対象者の顔が生体である場合に、顔振り動作を実行した場合の特徴点の位置変化を説明するための図である。図５は、認証対象者の顔が生体ではない場合に、顔振り動作を実行した場合の特徴点の位置変化を説明するための図である。
【0017】
図１に示す顔認証システム１は、認証対象者１００の顔を正面から撮影することによって得られた正面顔画像を用いて、認証対象者１００の顔照合を実行する機能を有している。さらに、顔認証システム１は、認証対象者１００に対して顔振り動作を実行するよう促し、顔振り動作中における認証対象者１００の顔の任意の特徴点の位置変化から、認証対象者１００が生体であるか否かを判別し、顔写真による「なりすまし」を検知する機能を有している。顔認証システム１は、認証対象者１００の顔照合が成功し、かつ、認証対象者１００が生体であると判別したときにのみ、認証対象者１００の顔認証が成功したと判断し、それ以外の場合には、認証対象者１００の顔認証が失敗したと判断するよう構成されている。
【0018】
顔認証システム１による顔認証の結果は、有線通信または無線通信を通じて、任意の機能を有する図示しない他のデバイス（例えば、ドアのロック装置や情報端末）に送信され、該他のデバイスは、顔認証の結果に応じた処理（例えば、ドアのロック解除や情報端末のロック解除）を実行する。典型的には、顔認証システム１は、家屋やオフィスのドアのロックを制御するためのスマートロックデバイスにおいて用いられ、スマートロックデバイスは、顔認証の結果に応じて、ドアの施錠または解錠を実行する。以下、顔認証システム１は、スマートロックデバイスにおいて用いられるものとして、説明を提供する。
【0019】
図１に示されているように、顔認証システム１は、認証対象者１００の顔を撮影するためのカメラ２と、認証対象者１００に対して顔振り動作を指示するための指示ユニット３と、認証対象者１００の顔を撮影することによって得られた画像を用いて、認証対象者１００の顔認証を実行するための顔認証装置４と、を含む。なお、以下の説明において、図１に示されているように、高さ方向をＺ方向とし、Ｚ方向に直交し、カメラ２と認証対象者１００の離間方向をＹ方向とし、さらに、Ｚ方向およびＹ方向に直交する方向をＸ方向と呼ぶ。
【0020】
カメラ２は、認証対象者１００の顔を正面から撮影し、認証対象者１００の正面顔画像を取得するために用いられる。さらに、カメラ２は、認証対象者１００が顔振り動作を実行している間、認証対象者１００の顔を所定のシャッタースピードで撮影し続け、認証対象者１００の複数の顔振り画像（動画）を取得するために用いられる。カメラ２は、光学系２１と、光学系２１によって形成された光学像を撮像し、認証対象者１００の正面顔画像または複数の顔振り画像を取得するための画像センサー２２と、を含む。
【0021】
光学系２１は、認証対象者１００の顔を含む光学像を形成する機能を有する。光学系２１は、１つ以上のレンズや絞り等の光学素子から構成され、認証対象者１００から入射してくる光を集光し、画像センサー２２の撮像面上に認証対象者１００の顔を含む光学像を形成する。また、光学系２１は、任意選択的に、オートフォーカス機能を提供するためのフォーカスレンズを含んでいてもよい。この場合、光学系２１は、フォーカスレンズを駆動させることにより、オートフォーカス機能を実現するレンズアクチュエーターをさらに含む。このようなレンズアクチュエーターは、光学系２１のフォーカスレンズを駆動させることができれば特に限定されないが、例えば、ＤＣモーター、ステッピングモーター、ボイスコイルモーター等のアクチュエーターにより構成することができる。
【0022】
画像センサー２２は、光学系２１によって形成された認証対象者１００の顔を含む光学像を撮像することにより、認証対象者１００の正面顔画像または複数の顔振り画像を取得する機能を有している。画像センサー２２としては、カラーまたは白黒のＣＣＤ画像センサーやＣＭＯＳ画像センサーのようなカメラ分野において既知の任意の画像センサーを用いることができる。光学系２１および画像センサー２２は、光学系２１の光軸ＯＡが画像センサー２２の撮像面と略直交し、光軸ＯＡと画像センサー２２の撮像面の中心点とが略一致するよう、同一のカメラ筐体内に設けられている。
【0023】
カメラ２は、有線接続または無線接続を介して、顔認証装置４に接続されており、画像センサー２２によって取得された認証対象者１００の正面顔画像および複数の顔振り画像は、顔認証装置４に送信される。顔認証装置４は、画像センサー２２から送信された正面顔画像を用いて、認証対象者１００の顔照合を実行する。さらに、顔認証装置４は、画像センサー２２から送信された正面顔画像および複数の顔振り画像を用いて、認証対象者１００が生体であるかを判別する生体判別処理を実行し、顔写真による「なりすまし」を検知する。
【0024】
カメラ２は、光学系２１の前側主点から－Ｙ方向に所定の距離だけ離れた位置（光学系２１がオートフォーカス機能を有する場合、所定の距離範囲）にピントを合わせるよう構成および配置されている。光学系２１の光軸ＯＡ上であって、カメラ２の前側主点から＋Ｙ方向にカメラ２の該所定の距離（光学系２１がオートフォーカス機能を有する場合、所定の距離範囲内の特定の距離）だけ離れた位置を、認証対象者１００が位置すべき「所定の撮影位置」として定義する。スマートロックデバイスにおいて顔認証システム１が用いられる場合、典型的には、カメラ２は、光学系２１の前側主点から－Ｙ方向に４０～１００ｃｍの範囲内の特定の距離にピントを合わせるよう構成および配置されている。この場合、「所定の撮影位置」は、光軸ＯＡ上であって、光学系２１の前側主点から－Ｙ方向に４０～１００ｃｍの範囲内の特定の距離だけ離れた位置である。
【0025】
カメラ２は、スマートロックによってロックが制御されるドア上であって、一般的な成人の目線の高さ（例えば、床面から１４０～１７０ｃｍの高さ）の箇所に設けられている。認証対象者１００は、ドア上に設けられたカメラ２に対して認証対象者１００の顔を正対させた状態で、カメラ２に自身の顔を撮影させ、カメラ２に認証対象者１００の正面顔画像を取得させる。なお、本明細書において「認証対象者１００の顔がカメラ２に対して正対した状態」は、カメラ２の光学系２１の光軸ＯＡと、認証対象者１００の顔の中心（例えば、両目間の中心点）から正面方向に直進する仮想線とが完全に一致する状態だけでなく、光軸ＯＡと該仮想線との間の角度および位置のずれが、所定の許容範囲内である状態も含む。例えば、光軸ＯＡと該仮想線との間の角度のずれが数度（例えば、３度）以内であり、かつ、光軸ＯＡと該仮想線との間の位置のＸ方向またはＺ方向のずれが数ｃｍ（例えば、５ｃｍ）以内である状態は、「認証対象者１００の顔がカメラ２に対して正対した状態」と見なすことができる。
【0026】
また、本明細書において「認証対象者１００の顔が所定の撮影位置に位置している状態」は、認証対象者１００の顔の中心が、所定の撮影位置に正確に位置している状態だけでなく、認証対象者１００の顔の中心が所定の撮影位置からＹ方向に所定の許容量だけシフトしている状態も含む。例えば、認証対象者１００の顔の中心と所定の撮影位置との間のＹ方向のずれが数ｃｍ（例えば、５ｃｍ）以内であり、認証対象者１００の顔の中心が、カメラ２の被写界深度内に位置している状態は、「認証対象者１００の顔が所定の撮影位置に位置している状態」と見なすことができる。
【0027】
後述するように、本発明の顔認証システム１においては、指示ユニット３によって、認証対象者１００に対して、顔振り動作を実行するよう促す指示が提供される。認証対象者１００が指示に従い顔振り動作を実行している間、カメラ２は、認証対象者１００の顔を、所定のシャッタースピードで撮影し続け、複数の顔振り画像を取得する。
【0028】
指示ユニット３は、所定の撮影位置において、認証対象者１００の顔をカメラ２に対して正対させるように、認証対象者１００に対して、顔の位置および顔の向きの調整をガイドする機能と、認証対象者１００に対して顔振り動作を指示する機能と、を有している。指示ユニット３は、典型的には、ドア上であって、カメラ２が設けられている箇所の近傍に設けられている。
【0029】
指示ユニット３は、所定の撮影位置において、認証対象者１００の顔をカメラ２に対して正対させるために、認証対象者１００の顔の位置および向きを修正するように促すガイドを提供する。指示ユニット３は、有線接続または無線接続を介して、顔認証装置４に接続されており、顔認証装置４からの制御に応じて、認証対象者１００に対して、顔の位置および向きを修正させるためのガイドを提供する。また、指示ユニット３は、顔認証装置４からの制御に応じて、認証対象者１００に対して、顔振り動作を実行するよう促す指示を提供する。指示ユニット３は、認証対象者１００に対して文字、画像、音声、光等の任意の手段でガイドおよび指示を提供することができれば特に限定されず、ディスプレイ、スピーカー、発光装置等を、指示ユニット３として用いることができる。
【0030】
例えば、図示の形態では、指示ユニット３は、液晶ディスプレイ等の任意のディスプレイである。この場合、指示ユニット３は、顔認証装置４から送信される認証対象者１００の正面顔画像を、ガイドとして表示する。認証対象者１００は、指示ユニット３に表示された正面顔画像を参照することにより、自身の顔のカメラ２に対する位置や向きが適切であるか否かを判断できる。そのため、認証対象者１００は、自身の顔の位置や向きを調整し、所定の撮影位置において、自身の顔をカメラ２に対して正対させることができる。
【0031】
なお、この際、指示ユニット３は、認証対象者１００の顔をカメラ２に対して正対させるための追加的なガイドを提供してもよい。この追加的なガイドは、例えば、点線により表されたリング状の図形と、「点線の枠内に顔がピッタリとフィットするよう、位置と向きを調整してください」等のメッセージであってもよい。また、指示ユニット３は、正面顔画像および追加的なガイドに加えて、または、これらと代えて、文字またはアイコンによるガイドメッセージを表示してもよい。この場合、ガイドメッセージは、「もう少し、前（後、右、または左）へ移動してください。」や「もう少し、上（下、右、または左）に顔を向けてください。」等の認証対象者１００へ、具体的な動作を指示する文字列またはアイコンである。このようなガイドメッセージに従うことにより、認証対象者１００は、確実に、所定の撮影位置において、自身の顔をカメラ２に対して正対させることができる。
【0032】
また、指示ユニット３は、認証対象者１００が、所定の撮影位置において、自身の顔をカメラ２に対して正対させている場合には、「顔の位置および向きが適切です。」等の認証対象者１００の顔がカメラ２に対して正対しているかどうかを示すメッセージを表示してもよい。一方、指示ユニット３は、認証対象者１００が、所定の撮影位置において、自身の顔をカメラ２に対して正対させていない場合には、「顔の位置および向きが不適切です。」等のメッセージを提供してもよい。
【0033】
さらに、指示ユニット３は、認証対象者１００に対して、所定の時間、指定の方向（例えば、左右方向、上下方向）への顔振り動作の実行を促すメッセージ（例えば、「５秒間、左右方向に大きく顔振り動作を実行して下さい。」等のメッセージ）を、指示として表示する。認証対象者１００は、指示ユニット３からの指示に従い、所定の時間、指定の方向への顔振り動作を実行することができる。
【0034】
さらに、指示ユニット３は、顔認証装置４による認証対象者１００の顔認証の結果を文字またはアイコンによって表示してもよい。認証対象者１００は、指示ユニット３に表示された顔認証の結果（例えば、「顔認証が成功しました。ドアロックを解除します。」、「顔認証が失敗しました。再度、顔認証をお試しください。」）を参照して、ドアを開ける、再度顔認証にチャレンジする等の適切な行動を取ることができる。
【0035】
顔認証装置４は、カメラ２によって取得された認証対象者１００の正面顔画像を用いて、認証対象者１００の顔照合を実行する機能を有している。さらに、顔認証装置４は、カメラ２によって取得された認証対象者１００の複数の顔振り画像を用いて、認証対象者１００が生体であるか否かを判別する生体判別処理を実行し、顔写真による「なりすまし」を検知する機能を有している。顔認証装置４は、認証対象者１００の顔照合が成功し、かつ、認証対象者１００が生体であると判別された場合にのみ、認証対象者１００の顔認証が成功したと判断する。一方、顔認証装置４は、認証対象者１００の顔照合が成功した場合であっても、認証対象者１００が生体ではないと判別された場合に、認証対象者１００の顔認証が失敗したと判断する。顔認証装置４は、顔認証の結果を、スマートロックデバイスに送信する。顔認証装置４から顔認証の結果を受信したスマートロックデバイスは、顔認証の結果に応じた処理（ドアの解錠等）を実行する。
【0036】
顔認証装置４は、有線接続または無線接続を介して、カメラ２および指示ユニット３に接続されている。顔認証装置４が、カメラ２および指示ユニット３の少なくとも１つと有線接続されている場合には、顔認証装置４は、カメラ２および指示ユニット３が設けられているドア上またはドアの近傍に設けられる。この場合、カメラ２、指示ユニット３、および顔認証装置４は、同一の筐体内に設けられていてもよい。一方、顔認証装置４が、カメラ２および指示ユニット３と無線接続されている場合には、顔認証装置４は、該ドア上以外の任意の遠隔地に設けられていてもよい。
【0037】
図２に示されているように、顔認証装置４は、顔認証装置４の制御を実行するための１つ以上のプロセッサー４１と、顔認証装置４への入力および顔認証装置４からの出力を実行するためのＩ／Ｏ（インプット／アウトプット）インターフェース４２と、登録者の識別情報４３１および特徴量セット４３２を保存する顔情報データベース４３と、顔認証装置４の処理を実行するために用いられるモジュール４５を保存している１つ以上のメモリー４４と、を備えている。
【0038】
１つ以上のプロセッサー４１は、１つ以上のマイクロプロセッサー、マイクロコンピューター、マイクロコントローラー、デジタル信号プロセッサー（ＤＳＰ）、中央演算処理装置（ＣＰＵ）、メモリーコントロールユニット（ＭＣＵ）、画像処理用演算処理装置（ＧＰＵ）、状態機械、論理回路、特定用途向け集積回路（ＡＳＩＣ）、またはこれらの組み合わせ等のコンピューター可読命令に基づいて信号操作等の演算処理を実行する演算ユニットである。特に、プロセッサー４１は、メモリー４４内に保存されているコンピューター可読命令（例えば、データ、プログラム、モジュール等）をフェッチし、演算、信号操作および制御を実行するよう構成されている。
【0039】
Ｉ／Ｏインターフェース４２は、ウェブインターフェース、グラフィカルユーザーインターフェース（ＧＵＩ）等の様々なソフトウェアインターフェースおよびハードウェアインターフェースを含む。例えば、Ｉ／Ｏインターフェース４２は、キーボード、マウス、タッチパネルディスプレイ、外部メモリー、プリンター、ディスプレイのような周辺デバイスのためのインターフェースである。Ｉ／Ｏインターフェース４２は、キーボード、マウス、タッチパネルディスプレイのような入力デバイスを用いた顔認証装置４への入力およびディスプレイ、プリンター、外部メモリーへの顔認証装置４からの出力を可能とする。また、Ｉ／Ｏインターフェース４２は、顔認証装置４が、インターネット等のネットワークを介して、外部に設けられたウェブサーバーやデータサーバーのような任意の外部デバイスと通信を行うことを可能としてもよい。また、Ｉ／Ｏインターフェース４２は、顔認証装置４が、有線接続または無線接続を介して、カメラ２、指示ユニット３、およびスマートロックデバイスと通信を行うことを可能とする。
【0040】
顔情報データベース４３は、不揮発性記憶媒体（例えば、ＲＯＭ、ＥＰＲＯＭ、ＥＥＰＲＯＭ、フラッシュメモリー、ハードディスク、ソリッドステートドライブ、ＳＤカード、光ディスク、ＣＤ－ＲＯＭ、デジタル多用途ディスク（ＤＶＤ）、ブルーレイディスク、磁気カセット、磁気テープ、磁気ディスク）を含むコンピューター可読媒体である。なお、図２では、顔情報データベース４３は、顔認証装置４の内部に組み込まれているが、本発明はこれに限られない。顔情報データベース４３は、顔認証装置４と別個に設けられた外部サーバー等の内部に存在していてもよく、顔認証装置４は、インターネット等のネットワークを介して、顔情報データベース４３にアクセスしてもよい。
【0041】
顔情報データベース４３は、登録者の識別情報４３１と、識別情報４３１に関連付けられた登録者の特徴量セット４３２と、を含んでいる。顔認証システム１のユーザーは、最初に、自身の情報端末（スマートフォン等）にインストールされた顔認証システム１用のアプリケーションを起動し、顔認証装置４にアクセスする。ユーザーは、自身の氏名、所属、連絡先（電話番号やメールアドレス等）、パスワード等の識別情報４３１をアプリケーションに入力し、顔認証装置４に送信する。その後、ユーザーは、自身の情報端末のカメラを用いて、自身の顔をカメラに対して正対させた状態で撮影し、自身の正面顔画像を取得し、アプリケーションを介して、顔認証装置４に送信する。代替的に、ユーザーは、自身の顔を顔認証システム１のカメラ２に対して正対させた状態で、カメラ２に自身の顔を撮影させ、顔認証装置４に自身の正面顔画像を取得させてもよい。
【0042】
顔認証装置４は、取得されたユーザーの識別情報４３１を顔情報データベース４３内に保存する。さらに、顔認証装置４は、メモリー４４内に保存されている後述する特徴量抽出モジュール４５４を用いて、取得したユーザーの正面顔画像から、複数の特徴量を抽出する。顔認証装置４は、既に顔情報データベース４３内に保存されている識別情報４３１と関連付けて、抽出された複数の特徴量を、顔情報データベース４３内に、特徴量セット４３２として保存する。また、取得したユーザーの正面顔画像も、識別情報４３１と関連付けて、顔情報データベース４３内に保存されてもよい。顔情報データベース４３内へのユーザーの識別情報４３１および特徴量セット４３２の保存が完了すると、顔認証装置４は、Ｉ／Ｏインターフェース４２を介して、ユーザーの情報端末に対して、ユーザーの登録が完了した旨を示すメッセージを送信する。
【0043】
メモリー４４は、揮発性記憶媒体（例えば、ＲＡＭ、ＳＲＡＭ、ＤＲＡＭ）、不揮発性記憶媒体（例えば、ＲＯＭ、ＥＰＲＯＭ、ＥＥＰＲＯＭ、フラッシュメモリー、ハードディスク、ソリッドステートドライブ、ＳＤカード、光ディスク、ＣＤ－ＲＯＭ、デジタル多用途ディスク（ＤＶＤ）、ブルーレイディスク、磁気カセット、磁気テープ、磁気ディスク）、またはこれらの組み合わせを含むコンピューター可読媒体である。
【0044】
モジュール４５は、ルーティーン、アプリケーション、プログラム、アルゴリズム、ライブラリー、オブジェクト、コンポーネント、データ構造、またはこれらの組み合わせ等のプロセッサー４１により実行可能なコンピューター可読命令である。
【0045】
モジュール４５は、カメラ２を制御するためのカメラ制御モジュール４５１と、指示ユニット３を制御するための指示ユニット制御モジュール４５２と、所定の撮影位置において、認証対象者１００の顔をカメラ２に対して正対させるためのガイドを提供するガイドモジュール４５３と、正面顔画像から複数の特徴量（特徴量セット）を抽出するための特徴量抽出モジュール４５４と、認証対象者１００の正面顔画像を用いた顔照合を実行するための顔照合モジュール４５５と、認証対象者１００に対して顔振り動作を指示するための顔振り指示モジュール４５６と、認証対象者１００が顔振り動作を実行している間に取得された複数の顔振り画像のそれぞれにおける顔の複数の特徴点を検出するための特徴点検出モジュール４５７と、顔振り動作中における顔の任意の特徴点の位置変化に基づいて、認証対象者１００が生体であるか否かを判別する生体判別処理を実行するための生体判別モジュール４５８と、複数の顔振り画像のそれぞれに対してサイズ正規化処理（スケーリング処理）を施す画像処理モジュール４５９と、を含んでいる。なお、画像処理モジュール４５９は、サイズ正規化処理（例えば、画像の長辺と短辺を指定された値に拡大・縮小するスケーリング処理）を含む画像処理の分野において一般に用いられている画像変換処理を実行することができればよいので、画像処理モジュール４５９に対する詳述は省略する。
【0046】
プロセッサー４１は、メモリー４４内に保存されている各種モジュールを用いることにより、所望の機能を提供することができる。例えば、プロセッサー４１は、生体判別モジュール４５８を用いることにより、顔振り動作中における顔の任意の特徴点の位置変化から、認証対象者１００が生体であるか否かを判別するための生体判別処理を実行することができる。また、各モジュールは、他のモジュールを使用することも可能である。
【0047】
カメラ制御モジュール４５１は、カメラ２を制御する機能を有している。カメラ制御モジュール４５１は、Ｉ／Ｏインターフェース４２を介して、カメラ２と通信を実行し、カメラ２から正面顔画像または複数の顔振り画像を取得する。取得された正面顔画像は、ガイドモジュール４５３に送られる。一方、取得された複数の顔振り画像は、画像処理モジュール４５９によるサイズ正規化処理を施された後、特徴点検出モジュール４５７に送られる。
【0048】
指示ユニット制御モジュール４５２は、指示ユニット３を制御する機能を有している。指示ユニット制御モジュール４５２は、顔振り指示モジュール４５６からの指示に応じて、指示ユニット３を制御し、認証対象者１００に対して、文字、画像、または音声によって、顔振り動作を実行するよう促す指示を提供する。認証対象者１００は、指示ユニット３から提供される指示に従うことにより、確実に、所定の時間、指定の方向への顔振り動作を実行することができる。さらに、指示ユニット制御モジュール４５２は、ガイドモジュール４５３の判別結果に応じて、指示ユニット３を制御し、指示ユニット３に、文字、画像、または音声による認証対象者１００へのガイドを提供させる。認証対象者１００は、指示ユニット３から提供されるガイドに従うことにより、確実に、所定の撮影位置において、自身の顔をカメラ２に対して正対させることができる。
【0049】
ガイドモジュール４５３は、カメラ２から取得した認証対象者１００の正面顔画像を用いて、所定の撮影位置において、認証対象者１００の顔がカメラ２に対して正対しているかどうかを判別する機能を有している。より具体的には、ガイドモジュール４５３は、カメラ２の画像センサー２２が取得した正面顔画像内における認証対象者１００の顔の占有面積や向きから、所定の撮影位置において、認証対象者１００の顔が、カメラ２に対して正対しているかどうかを判別する。ガイドモジュール４５３によって認証対象者１００の顔が、カメラ２に対して正対していると判別された場合、正面顔画像がメモリー４４内に一時保存される。
【0050】
さらに、ガイドモジュール４５３は、認証対象者１００の顔が、カメラ２に対して正対していると判別した場合、正面顔画像における認証対象者１００の顔の輪郭から、正面顔画像における認証対象者１００の縦サイズおよび横サイズを算出する。具体的には、ガイドモジュール４５３は、正面顔画像における認証対象者１００の顔の輪郭の左右方向および上下方向の最外点間の距離から、正面顔画像における認証対象者１００の縦サイズおよび横サイズを算出する。ガイドモジュール４５３によって算出された正面顔画像における認証対象者１００の顔の縦サイズおよび横サイズは、メモリー４４内に一時保存され、複数の顔振り動画のそれぞれに対するサイズ正規化処理において用いられる。
【0051】
メモリー４４内に正面顔画像における認証対象者１００の顔の縦サイズおよび横サイズが一時保存されると、プロセッサー４１は、以後、画像処理モジュール４５９を用いて、カメラ２によって取得される認証対象者１００の複数の顔振り画像のそれぞれに対して、一時保存された縦サイズおよび横サイズを用いたサイズ正規化処理を施す。サイズ正規化処理によって、複数の顔振り画像のそれぞれにおける顔の縦サイズおよび横サイズが、正面顔画像における顔の縦サイズおよび横サイズと一致する。サイズ正規化処理が施された複数の顔振り画像は、特徴点検出モジュール４５７に送られる。
【0052】
一方、所定の撮影位置において、認証対象者１００の顔が、カメラ２に対して正対していない場合、ガイドモジュール４５３は、認証対象者１００の顔の位置や向きをどのように修正するべきかを判別し、判別結果に対応したガイド（例えば、「もう少し、前（後、右、または左）へ移動してください。」や「もう少し、上（下、右、または左）に顔を向けてください。」等のガイドメッセージ）を作成する。その後、ガイドモジュール４５３は、所定の撮影位置において、認証対象者１００の顔が、カメラ２に対して正対しているかどうかの判別結果およびガイドを、指示ユニット制御モジュール４５２に提供する。指示ユニット制御モジュール４５２は、指示ユニット３を制御し、ガイドモジュール４５３から受信した判別結果およびガイドを、認証対象者１００に提供する。
【0053】
ガイドモジュール４５３は、上述の機能を有していれば特に限定されないが、顔認証の分野において用いられる既知の人工知能をガイドモジュール４５３として用いることができる。ガイドモジュール４５３として用いられる人工知能は、ニューラルネットワークやディープラーニング等の多層構造を有しており、トレーニングにより、正面顔画像を入力として受信し、所定の撮影位置において、認証対象者１００の顔が、カメラ２に対して正対しているかどうかの判別結果、および、認証対象者１００の位置および顔をどのように修正するべきかの判別結果を出力することができる。
【0054】
特徴量抽出モジュール４５４は、ユーザーの登録時に、ユーザーの正面顔画像から特徴量セットを抽出し、さらに、認証対象者１００の顔照合時に、認証対象者１００の正面顔から特徴量セットを抽出する機能を有している。特徴量抽出モジュール４５４によって抽出される特徴量セットは、典型的には、複数の特徴量から構成されるｎ行ｍ列のベクトル（例えば、５１２個の特徴量から構成されるｎ行ｍ列のベクトル）である。前述のように、ユーザーの正面顔画像から抽出された特徴量セットは、登録者の識別情報４３１と関連付けられた状態で、顔情報データベース４３に特徴量セット４３２として保存される。一方、認証対象者１００の正面顔画像から抽出された特徴量セットは、顔情報データベース４３内に保存されている１人以上の登録者の特徴量セット４３２と照合される。
【0055】
特徴量抽出モジュール４５４は、ユーザーの正面顔画像および認証対象者１００の正面顔画像のそれぞれから特徴量セットを抽出する機能を有していれば特に限定されないが、ガイドモジュール４５３と同様の顔認証の分野において用いられる既知の人工知能（例えば、ＸＩＬＩＮＸ（登録商標）社の顔認識モジュール）を特徴量抽出モジュール４５４として用いることができる。特徴量抽出モジュール４５４として用いられる人工知能は、ニューラルネットワークやディープラーニング等の多層構造を有しており、トレーニングにより、正面顔画像を入力として受信し、ｎ行ｍ列のベクトルを、特徴量セットとして出力することができる。
【0056】
顔照合モジュール４５５は、認証対象者１００の正面顔画像を用いて、認証対象者１００の顔照合を実行する機能を有している。より具体的には、顔照合モジュール４５５は、特徴量抽出モジュール４５４が抽出した認証対象者１００の正面顔画像の特徴量セット（ｎ行ｍ列のベクトル）と、顔情報データベース４３に保存されている１人以上の登録者の特徴量セット４３２（ｎ行ｍ列のベクトル）のそれぞれとを照合する。この照合処理において、顔照合モジュール４５５は、認証対象者１００の正面顔画像の特徴量セットと、顔情報データベース４３に保存されている１人以上の登録者の特徴量セット４３２のそれぞれとの内積を算出する。算出された内積の値は、０～１．０の間の値を取り、認証対象者１００の類似度としてメモリー４４内に一時保存される。
【0057】
次に、顔照合モジュール４５５は、メモリー４４内に一時保存されている１つ以上の認証対象者１００の類似度の内、最も値が高い類似度を抽出する。その後、顔照合モジュール４５５は、抽出された最も値が高い類似度が、所定のしきい値（例えば、０．９）以上であるかどうかを判別する。抽出された最も値が高い類似度が、所定のしきい値以上である場合には、顔照合モジュール４５５は、認証対象者１００の顔照合が成功したものと判断する。一方、抽出された最も値が高い類似度が、所定のしきい値未満である場合には、顔照合モジュール４５５は、認証対象者１００の顔照合が失敗したものと判断する。
【0058】
顔振り指示モジュール４５６は、認証対象者１００の顔照合が成功した場合に、指示ユニット制御モジュール４５２を用いて指示ユニット３を制御し、認証対象者１００に対して、顔振り動作を実行するよう促す指示を提供する。ここでいう「顔振り動作」とは、認証対象者１００が立ち位置を固定した状態で、顔を左右方向、上下方向、または斜め４５度方向に振る往復動作、若しくは、顔を右回りまたは左回りに回転させる回転動作を意味する。具体的には、顔振り指示モジュール４５６は、顔振り動作の方向および顔振り動作の継続時間を含む指示（例えば、「５秒間、左右方向に大きく顔振り動作を実行して下さい。」等）を作成し、指示ユニット３を介して、認証対象者１００に提供する。
【0059】
特徴点検出モジュール４５７は、認証対象者１００の正面顔画像および複数の顔振り画像のそれぞれにおける顔の複数の特徴点を検出する機能を有している。具体的には、特徴点検出モジュール４５７は、正面顔画像または顔振り画像を入力として受信し、正面顔画像または顔振り画像における顔の各特徴点の位置（画像内での座標）を出力する。図３は、特徴点検出モジュール４５７の出力結果の１例を示している。図３に示されているように、特徴点検出モジュール４５７は、入力として正面顔画像または顔振り画像を受信すると、画像内における顔の複数の特徴点（例えば、顔の輪郭、眉毛、目尻、鼻尖、口角等）を検出する。さらに、特徴点検出モジュール４５７は、複数の特徴点のそれぞれに固有のインデックス番号を一意に割り当て、さらに、各インデックス番号に対応する特徴点の画像内での位置（座標）を関連付けて出力する。例えば、特徴点検出モジュール４５７からの出力されるデータは、｛（インデックス番号１のＸ座標値およびＹ座標値）、（インデックス番号２のＸ座標値およびＹ座標値）、・・・（（インデックス番号ｎのＸ座標値およびＹ座標値））｝である。
【0060】
各インデックス番号には、顔の特徴点の属性が一意に割り当てられている。例えば、図３に示す例では、インデックス番号１～１７が両目のラインより下側の顔の輪郭に相当し、インデックス番号１８～２２が右眉の輪郭、インデックス番号２３～２７が左眉の輪郭、インデックス番号２８～３６が鼻の輪郭、インデックス番号３７～４２が右目の輪郭、インデックス番号４３～４６が左目の輪郭に対応している。さらに、インデックス番号２８が鼻根（鼻の始まりの部分）に対応し、インデックス番号３４が鼻尖（鼻の最も前方に突出している部分）に対応している。
【0061】
このように、特徴点検出モジュール４５７から出力されるデータは、インデックス番号の昇順または降順に並べられたＸ座標値およびＹ座標値からなる行列である。したがって、データ量として非常に小さく、また、演算処理が非常に容易である。例えば、顔振り動作中の顔の任意の特徴点の位置変化をトレースしたい場合には、複数の顔振り画像のそれぞれから算出された行列から、任意の特徴点に対応するインデックス番号の要素だけ抽出し、比較すれば十分であり、このような処理の演算時間および処理に要する演算力は、非常に小さい。特徴点検出モジュール４５７から出力されたデータは、生体判別モジュール４５８に送られ、認証対象者１００が生体であるか否かを判別するための生体判別処理において用いられる。
【0062】
特徴点検出モジュール４５７は、認証対象者１００の正面顔画像または顔振り画像から上述のデータを出力する機能を有していれば特に限定されないが、特徴点検出モジュール４５７と同様の顔認証の分野において用いられる既知の人工知能（例えば、Ｃ＋＋またはＰｙｔｈｏｎの機械学習ライブラリーとして公開されているＤｌｉｂ）を特徴点検出モジュール４５７として用いることができる。特徴点検出モジュール４５７として用いられる人工知能は、ニューラルネットワークやディープラーニング等の多層構造を有しており、トレーニングにより、正面顔画像または顔振り画像を入力として受信し、上述のデータを出力することができる。
【0063】
図２に戻り、生体判別モジュール４５８は、特徴点検出モジュール４５７によって出力されたデータから、顔振り動作中における顔の任意の特徴点の位置変化を特定し、任意の特徴点の位置変化に基づいて、認証対象者１００が生体であるか否かを判別するための生体判別処理を実行する機能を有している。本実施形態では、生体判別モジュール４５８は、顔振り動作中における顔の任意の特徴点の位置変化量に基づいて、認証対象者１００が生体であるか否かを判別するよう、構成されている。
【0064】
図４および図５を参照して、顔振り動作中における顔の任意の特徴点の位置変化量に基づいて、認証対象者１００が生体であるか否かを判別する生体判別処理を詳述する。図４は、認証対象者１００が生体である場合に、特徴点検出モジュール４５７が正面顔画像および顔振り画像のそれぞれを受信し、出力したデータを示している。図５は、認証対象者１００が生体ではない場合に、特徴点検出モジュール４５７が正面顔画像および顔振り画像のそれぞれを受信し、出力したデータを示している。なお、図４および図５中では、認証対象者１００が、所定の時間、左右方向に顔振り動作を実行し、認証対象者１００が左方向へ顔振り動作を実行した際にカメラ２によって取得された顔振り画像を「顔振り画像Ｌ」とし、認証対象者１００が右方向へ顔振り動作を実行した際にカメラ２によって取得された顔振り画像を「顔振り画像Ｒ」としている。また、図４および図５では、顔の任意の特徴点として、鼻尖が星印で強調されている。
【0065】
図４に示されているように、認証対象者１００が生体である場合、認証対象者１００の顔は当然に立体物である。また、顔振り動作は、認証対象者１００の首を中心として実行される。したがって、指示ユニット３から提供された指示に従って認証対象者１００が顔振り動作を実行した場合、正面顔画像からの顔の各特徴点のシフト量は、認証対象者１００の首からの距離に応じて、変化する。
【0066】
次に、図５に示されているように、認証対象者１００が生体ではない場合、すなわち、印画紙に印刷された顔写真またはディスプレイに表示された顔写真である場合を想定する。この場合、悪意のユーザーは、指示ユニット３から提供された指示に従って顔振り動作が実行されたかのように、印画紙またはディスプレイをカメラ２に対して傾けたり、回転させたりして、顔振り動作を実行し、カメラ２に顔振り画像を取得させる。しかしながら、悪意のユーザーが顔振り動作を実行したとしても、認証対象者１００の顔（すなわち、顔写真）は平面物なので、正面顔画像からの顔の各特徴点のシフト量は、非常に小さい。
【0067】
本実施形態における生体判別モジュール４５８は、認証対象者１００の顔が立体物である場合における顔振り動作時の特徴点のシフト量と、認証対象者１００の顔が平面物である場合（顔写真である場合）における顔振り動作（印画紙またはディスプレイを傾けたり、回転させたりする動作）時の特徴点のシフト量との差から、認証対象者１００が生体であるか否かを判別するように構成されている。
【0068】
また、生体判別モジュール４５８は、認証対象者１００が生体であるか否かを判別するために用いられる任意の特徴点として、鼻尖を選択することが好ましい。鼻尖は、顔振り動作の中心となる首から最も遠くに位置する顔のパーツであり、そのため、顔振り動作時の正面顔画像からの鼻尖のシフト量は、顔のパーツの中で最大となる。したがって、認証対象者１００の顔が立体物である場合における顔振り動作時の鼻尖のシフト量と、認証対象者１００の顔が平面物である場合における顔振り動作時の鼻尖のシフト量との差が大きい。このような差を利用することにより、より正確に、認証対象者１００が生体であるか否かを判別することができる。以下、生体判別モジュール４５８が、認証対象者１００が生体であるか否かを判別するために用いられる任意の特徴点として、鼻尖を選択したものとして説明を提供する。
【0069】
生体判別モジュール４５８は、特徴点検出モジュール４５７から、認証対象者１００の正面顔画像から算出されたデータ（「正面顔画像データ」という）、および、認証対象者１００の複数の顔振り画像から算出された複数のデータ（「顔振り画像データ」という）を受信する。その後、生体判別モジュール４５８は、正面顔画像データから、鼻尖に対応するインデックス番号（例えば、図３の例では、インデックス番号「３４」）の要素（座標値）を抽出し、基準値としてメモリー４４内に一時保存する。次に、生体判別モジュール４５８は、複数の顔振り画像のそれぞれから、鼻尖に対応するインデックス番号の要素（座標値）を抽出し、基準値との差分を取り、複数の位置変化量を算出する。算出される位置変化量は、基準値のＸ座標およびＹ座標と、比較されるＸ座標およびＹ座標とのユークリッド距離（差の二乗和の平方根）である。
【0070】
次に、生体判別モジュール４５８は、算出された複数の位置変化量のうち、最大の１つを、最大位置変化量として抽出し、最大位置変化量が所定のしきい値（例えば、正面顔画像の顔の縦サイズまたは横サイズの５％）未満である場合、認証対象者１００が生体ではないと判別する。一方、生体判別モジュール４５８は、最大位置変化量が所定のしきい値以上である場合、認証対象者１００が生体であると判別する。生体判別モジュール４５８による判別結果は、プロセッサー４１に送られる。プロセッサー４１は、顔照合モジュール４５５による顔照合が成功し、かつ、生体判別モジュール４５８によって認証対象者１００が生体であると判別された場合にのみ、認証対象者１００の顔認証が成功したものと判断する。一方、プロセッサー４１は、顔照合モジュール４５５による顔照合が成功したとしても、生体判別モジュール４５８によって認証対象者１００が生体ではないと判別された場合に、認証対象者１００の顔認証が失敗したものと判断する。プロセッサー４１による認証対象者１００の顔認証の結果は、Ｉ／Ｏインターフェース４２を介して、スマートロックデバイスに送信される。認証対象者１００の顔認証の結果を受信したスマートロックデバイスは、顔認証の結果に応じた処理（ドアの解錠等）を実行する。
【0071】
このように、本発明の顔認証システム１においては、認証対象者１００が生体であるか否かを判別し、顔写真による「なりすまし」を検知するための生体判別処理が、顔の複数の特徴点の検出処理、ユークリッド距離の算出処理、および算出されたユークリッド距離と所定のしきい値との比較処理によって実行される。そのため、背景技術の欄において述べた画像変換処理およびマッチング処理を用いて、顔写真による「なりすまし」を検知する従来技術の処理と比較して、本発明の顔認証システム１の生体判別処理の演算時間および演算量は、極めて少ない。そのため、本発明の顔認証システム１においては、顔写真による「なりすまし」を検知するために、高い演算能力を有する処理ユニットを用いる必要がなく、顔認証システム１のコストおよび演算時間を大幅に減少させることができる。また、本発明の顔認証システム１においては、顔写真による「なりすまし」を検知するために、カメラ２の他に、追加的なセンサーデバイス（赤外線センサー、指紋認証用センサー等）を用いる必要がないため、顔認証システム１のサイズの増大やコストの増大が生じることもない。
【0072】
上述した顔認証システム１を用いて本発明の顔認証方法Ｓ１００が実行される。以下、図６および図７を参照して、本発明の顔認証方法Ｓ１００を詳述する。図６は、本発明の第１実施形態に係る顔認証方法Ｓ１００を示すフローチャートである。図７は、図６に示す生体判別処理のフローチャートである。
【0073】
認証対象者１００がカメラ２に対して接近し、認証対象者１００がカメラ２の撮影範囲に入ると、顔認証方法Ｓ１００がスタートする。工程Ｓ１１０において、カメラ２は、認証対象者１００の顔を正面から撮影し、さらに、認証対象者１００の正面顔画像が、カメラ２から顔認証装置４に送信される。次に、ガイドモジュール４５３は、カメラ２から受信した認証対象者１００の正面顔画像から、所定の撮影位置において、認証対象者１００の顔がカメラ２に正対しているかどうかを判別する。所定の撮影位置において、認証対象者１００の顔がカメラ２に正対していないと判別された場合、ガイドモジュール４５３は、認証対象者１００の顔の位置や向きをどのように修正するべきかを判別し、判別結果に対応したガイドを生成する。
【0074】
その後、ガイドモジュール４５３は、判別結果とガイドを指示ユニット制御モジュール４５２へ提供する。指示ユニット制御モジュール４５２は、指示ユニット３を制御し、ガイドモジュール４５３から提供された判別結果およびガイドを認証対象者１００に提供する。認証対象者１００は、指示ユニット３から提供されたガイドに従い、自身の顔の位置や向きを調整し、所定の撮影位置において、自身の顔をカメラ２に対して正対させる。工程Ｓ１１０において認証対象者１００が自身の顔の位置や向きを調整している間、カメラ２は、リアルタイムで認証対象者１００の正面顔画像を取得し続け、顔認証装置４に送信し続ける。ガイドモジュール４５３によって、所定の撮影位置において、認証対象者１００の顔がカメラ２に正対していると判別されると、正面顔画像がメモリー４４内に一時保存される。
【0075】
このような工程により、認証対象者１００の顔がカメラ２に対して正対した状態で、正面顔画像が取得されることを保証することができる。前述したように、正面顔画像は、認証対象者１００が生体であるか否かを判別する生体判別処理において使用される基準値を得るために使用される。そのため、ガイドモジュール４５３によって、正面顔画像が取得される際の条件（顔の位置や向き）の変動を抑制することにより、生体判別処理の判別精度を向上させることができる。
【0076】
認証対象者１００の顔がカメラ２に正対している状態で正面顔画像が取得され、メモリー４４内に一時保存されると、顔認証方法Ｓ１００は、工程Ｓ１２０に移行する。工程Ｓ１２０において、ガイドモジュール４５３は、正面顔画像における認証対象者１００の顔の輪郭から、正面顔画像における認証対象者１００の縦サイズおよび横サイズを算出する。算出された正面顔画像における認証対象者１００の顔の縦サイズおよび横サイズは、メモリー４４内に一時保存される。
【0077】
工程Ｓ１３０において、特徴量抽出モジュール４５４は、認証対象者１００の正面顔から特徴量セットを抽出し、メモリー４４内に一時保存する。次に、顔照合モジュール４５５は、メモリー４４内に一時保存されている特徴量セットと、顔情報データベース４３内に保存されている１人以上の登録者の特徴量セット４３２と照合する顔照合処理を実行する。工程Ｓ１３０での顔照合処理が失敗した場合、工程Ｓ１４０において、顔認証方法Ｓ１００は、工程Ｓ１５０に移行する。工程Ｓ１５０において、プロセッサー４１は、認証対象者１００の顔認証が失敗したものと判断し、Ｉ／Ｏインターフェース４２を介して、顔認証の結果を、スマートロックデバイスに送信し、顔認証方法Ｓ１００が終了する。
【0078】
一方、工程Ｓ１３０での顔照合処理が成功した場合、工程Ｓ１４０において、顔認証方法Ｓ１００は、工程Ｓ１６０に移行する。工程Ｓ１６０において、認証対象者１００が生体であるか否かを判別する生体判別処理が実行される。図７は、工程Ｓ１６０において実行される生体判別処理のフローチャートを示している。工程Ｓ１６１において、顔振り指示モジュール４５６は、指示ユニット制御モジュール４５２を用いて指示ユニット３を制御し、認証対象者１００に対して、顔振り動作を実行するよう促す指示を提供する。認証対象者１００は、指示ユニット３によって提供された指示に従い、指示された継続時間、指示された方向に顔振り動作を実行する。
【0079】
工程Ｓ１６２において、カメラ２は、認証対象者１００が顔振り動作を実行している間、認証対象者１００の顔を撮影し続け、複数の顔振り画像を取得し、顔認証装置４に送信する。なお、カメラ２による複数の顔振り画像の取得および送信は、リアルタイムで実行されてもよい。顔認証装置４が複数の顔振り画像を受信すると、画像処理モジュール４５９は、工程Ｓ１２０においてメモリー４４内に一時保存された正面顔画像における認証対象者１００の顔の縦サイズおよび横サイズを用いて、複数の顔振り画像のそれぞれに対して、サイズ正規化処理（スケーリング処理）を施す。このようなサイズ正規化処理により、複数の顔振り画像のそれぞれにおける認証対象者１００の顔の縦サイズおよび横サイズを、正面顔画像における認証対象者１００の顔の縦サイズおよび横サイズと略一致させることができる。このため、顔振り動作中にカメラ２と認証対象者１００の顔との距離が変化したとしても、顔の任意の特徴点の位置変化を正確に算出することが可能となる。サイズ正規化処理が施された複数の顔振り画像は、特徴点検出モジュール４５７へ送られる。
【0080】
工程Ｓ１６３において、特徴点検出モジュール４５７は、認証対象者１００の正面顔画像、および、サイズ正規化処理が施された複数の顔振り画像のそれぞれにおける顔の複数の特徴点を検出する。特徴点検出モジュール４５７は、正面顔画像から正面顔画像データを作成し、複数の顔振り画像のそれぞれから顔振り画像データを作成し、生体判別モジュール４５８に送信する。前述のように、正面顔画像データおよび顔振り画像データのそれぞれは、顔の複数の特徴点にそれぞれ一意に割り当てられた複数のインデックス番号と、各インデックス番号に割り当てられた顔の特徴点のＸ座標値およびＹ座標値とからなる行列である。
【0081】
工程Ｓ１６４において、生体判別モジュール４５８は、特徴点検出モジュール４５７によって出力された正面顔画像データおよび複数の顔振り画像データから、顔振り動作中における顔の任意の特徴点の位置変化を特定する。具体的には、生体判別モジュール４５８は、正面顔画像データから、任意の特徴点に対応するインデックス番号の要素（座標値）を抽出し、基準値としてメモリー４４内に一時保存する。次に、生体判別モジュール４５８は、複数の顔振り画像のそれぞれから、任意の特徴点に対応するインデックス番号の要素（座標値）を抽出し、基準値との差分を取り、複数の位置変化量を算出する。さらに、生体判別モジュール４５８は、算出された複数の位置変化量のうち、最大の１つを、最大位置変化量として抽出し、メモリー４４内に一時保存する。
【0082】
工程Ｓ１６５において、生体判別モジュール４５８は、抽出した最大位置変化量が所定のしきい値以上であるか否かを判別する。最大位置変化量が所定のしきい値未満である場合、工程Ｓ１６６において、生体判別モジュール４５８は、認証対象者１００が生体ではないと判別し、判別結果を、プロセッサー４１に送信する。一方、最大位置変化量が所定のしきい値以上である場合、工程Ｓ１６７において、生体判別モジュール４５８は、認証対象者１００が生体であると判別し、判別結果を、プロセッサー４１に送信する。プロセッサー４１が生体判別モジュール４５８から判別結果を受信すると、工程Ｓ１６０が終了する。
【0083】
図６に戻り、工程Ｓ１７０において、プロセッサー４１は、工程Ｓ１６０の生体判別処理において、認証対象者１００が生体であると判別されたか否かを確認する。認証対象者１００が生体ではないと判別された場合、顔認証方法Ｓ１００は、前述の工程Ｓ１５０に移行し、終了する。一方、認証対象者１００が生体であると判別された場合、顔認証方法Ｓ１００は、工程Ｓ１８０に移行する。工程Ｓ１８０において、プロセッサー４１は、認証対象者１００の顔認証が成功したものと判断し、Ｉ／Ｏインターフェース４２を介して、顔認証の結果を、スマートロックデバイスに送信し、顔認証方法Ｓ１００が終了する。その後、認証対象者１００の顔認証の結果を受信したスマートロックデバイスは、顔認証の結果に応じた処理（ドアの解錠等）を実行する。
【0084】
＜第２実施形態＞
次に、図８～図９を参照して、本発明の第２実施形態に係る顔認証システム１を詳述する。図８は、本発明の第２実施形態に係る顔認証システムにおける生体判別処理を説明するための図である。図９は、本発明の第２実施形態に係る顔認証システムにおける生体判別処理を説明するための別の図である。
次に、図８～図９を参照して、本発明の第２実施形態に係る顔認証システム１を詳述する。図８は、本発明の第２実施形態に係る顔認証システムにおける生体判別処理を説明するための図である。図９は、本発明の第２実施形態に係る顔認証システムにおける生体判別処理を説明するための別の図である。
【0085】
本実施形態の顔認証システムは、顔認証装置４の生体判別モジュール４５８が実行する生体判別処理が変更されている点を除き、第１実施形態の顔認証システム１と同様の構成を有している。そのため、本実施形態の顔認証システムについて、第１実施形態の顔認証システム１との相違点を中心に説明し、同様の事項については、その説明を省略する。
【0086】
前述の第１実施形態では、生体判別モジュール４５８は、顔振り動作中の認証対象者１００の顔の任意の特徴点（例えば、鼻尖）の位置変化量に基づいて、認証対象者１００が生体であるか否かを判別するよう構成されていた。一方、本実施形態では、生体判別モジュール４５８は、認証対象者１００の顔の任意の特徴点から、任意の特徴点よりも左側に位置する左側特徴点までの第１の距離Ｌ１と、顔振り動作中の認証対象者１００の顔の任意の特徴点から、任意の特徴点よりも右側に位置する右側特徴点までの第２の距離Ｌ２と、を算出し、顔振り動作中の第１の距離Ｌ１と第２の距離Ｌ２との差分（Ｌ１－Ｌ２またはＬ２－Ｌ１）の絶対値または比率（Ｌ１／Ｌ２またはＬ２／Ｌ１）の変化量に基づいて、認証対象者１００が生体であるか否かを判別するよう、構成されている。
【0087】
図８および図９を参照して、顔振り動作中における第１の距離Ｌ１と第２の距離Ｌ２との差分の絶対値または比率の変化量に基づいて、認証対象者１００が生体であるか否かを判別する処理を詳述する。図８は、認証対象者１００が生体である場合に、特徴点検出モジュール４５７が正面顔画像および顔振り画像のそれぞれを受信し、出力したデータを示している。図９は、認証対象者１００が生体ではない場合（認証対象者１００の顔が顔写真である場合）に、特徴点検出モジュール４５７が正面顔画像および顔振り画像のそれぞれを受信し、出力したデータを示している。
【0088】
なお、図８および図９中では、認証対象者１００が、所定の時間、左右方向に顔振り動作を実行し、認証対象者１００が左方向へ顔振り動作を実行した際にカメラ２によって取得された顔振り画像を「顔振り画像Ｌ」とし、認証対象者１００が右方向へ顔振り動作を実行した際にカメラ２によって取得された顔振り画像を「顔振り画像Ｒ」としている。また、図８および図９では、顔の任意の特徴点、左側特徴点、および右側特徴点として、それぞれ、鼻尖、顔の輪郭の左側最外点、および顔の輪郭の右側最外点が、星印で強調されている。以下、顔の任意の特徴点、左側特徴点、および右側特徴点として、それぞれ、鼻尖、顔の輪郭の左側最外点、および顔の輪郭の右側最外点を選択した場合を典型例として説明する。
【0089】
図８に示されているように、認証対象者１００が生体である場合、認証対象者１００の顔は当然に立体物である。また、顔振り動作は、認証対象者１００の首を中心として実行される。したがって、指示ユニット３から提供された指示に従って認証対象者１００が顔振り動作を実行した場合、正面顔画像からの顔の各特徴点の移動の様態は、認証対象者１００の首からの距離に応じて、変化する。顔が立体物であることから、首から鼻尖までの距離と、首から顔の輪郭の左側最外点または右側最外点までの距離は異なる。そのため、認証対象者１００が顔振り動作を実行した際、鼻尖の移動の様態は、顔の輪郭の左側最外点または右側最外点の移動の様態と異なる。そのため、認証対象者１００が生体である場合、顔振り動作を実行すると、顔振り動作中の第１の距離Ｌ１と第２の距離Ｌ２との差分の絶対値または比率は、図８に示されているように、大きく変化する。
【0090】
次に、図９に示されているように、認証対象者１００が生体ではない場合、すなわち、認証対象者１００の顔が印画紙に印刷された顔写真またはディスプレイに表示された顔写真である場合を想定する。この場合、悪意のユーザーが、指示ユニット３から提供された指示に従って顔振り動作が実行されたかのように、印画紙またはディスプレイをカメラ２に対して傾けたり、回転させたりして顔振り動作を実行したとしても、認証対象者１００の顔は平面物なので、正面顔画像からの顔の各特徴点の移動の様態は、略同じとなる。そのため、認証対象者１００が生体ではない場合、悪意のユーザーが顔振り動作を実行したとしても、顔振り動作中の第１の距離Ｌ１と第２の距離Ｌ２との差分または比率は、図９に示されているように、大きく変化しない。
【0091】
本実施形態における生体判別モジュール４５８は、認証対象者１００の顔が立体物である場合における顔振り動作時の第１の距離Ｌ１と第２の距離Ｌ２との差分の絶対値または比率の変化量と、認証対象者１００の顔が平面物である場合における顔振り動作時の第１の距離Ｌ１と第２の距離Ｌ２との差分の絶対値または比率との差から、認証対象者１００が生体であるか否かを判別するように構成されている。
【0092】
また、生体判別モジュール４５８は、認証対象者１００が生体であるか否かを判別するために用いられる任意の特徴点として鼻尖を選択し、左側特徴点として顔の輪郭の左側最外点を選択し、右側特徴点として顔の輪郭の右側最外点を選択することが好ましい。鼻尖は、顔振り動作の中心となる首から最も遠くに位置する顔のパーツであり、顔の輪郭の左側最外点および右側最外点は、正面顔画像および顔振り画像のいずれにおいても検出可能であり、かつ、鼻尖から最も左右方向に離れて位置する部位である。そのため、認証対象者１００が生体である場合、顔振り動作時の正面顔画像からの鼻尖の移動の様態は、顔の輪郭の左側最外点または右側最外点の移動の様態と大きく異なる。したがって、認証対象者１００の顔が立体物である場合における顔振り動作時の第１の距離Ｌ１と第２の距離Ｌ２との差分の絶対値または比率の変化量と、認証対象者１００の顔が平面物である場合における顔振り動作時の第１の距離Ｌ１と第２の距離Ｌ２との差分の絶対値または比率の変化量との差が大きい。このような差を利用することにより、より正確に、認証対象者１００が生体であるか否かを判別することができる。
【0093】
なお、以下、顔振り動作中における第１の距離Ｌ１と第２の距離Ｌ２との差分（Ｌ１－Ｌ２またはＬ２－Ｌ１）の絶対値の変化量に基づいて、認証対象者１００が生体であるか否かを判別する例を説明するが、本発明はこれに限られない、顔振り動作中における第１の距離Ｌ１と第２の距離Ｌ２の比率（Ｌ１／Ｌ２またはＬ２／Ｌ１）の変化量に基づいて、認証対象者１００が生体であるか否かを判別してもよいし、顔振り動作中における第１の距離Ｌ１と第２の距離Ｌ２の差分の絶対値および比率の双方の変化量に基づいて、生体であるか否かを判別してもよい。顔振り動作中における第１の距離Ｌ１と第２の距離Ｌ２の差分の絶対値および比率の双方の変化量に基づいて、生体であるか否かを判別する場合、例えば、第１の距離Ｌ１と第２の距離Ｌ２の差分の絶対値の変化量による判別において認証対象者１００が生体であると判別され、かつ、第１の距離Ｌ１と第２の距離Ｌ２の比率の変化量による判別において認証対象者１００が生体であると判別された場合にのみ、認証対象者１００が生体であると判断されてもよい。代替的に、第１の距離Ｌ１と第２の距離Ｌ２の差分の絶対値の変化量による判別と第１の距離Ｌ１と第２の距離Ｌ２の比率の変化量による判別のいずれかにおいて認証対象者１００が生体であると判別された場合に、認証対象者１００が生体であると判断されてもよい。
【0094】
生体判別モジュール４５８は、特徴点検出モジュール４５７から、正面顔画像データ、および、複数の顔振り画像データを受信する。その後、生体判別モジュール４５８は、正面顔画像データから、鼻尖に対応するインデックス番号（例えば、図３の例では、インデックス番号「３４」）、顔の輪郭の左側最外点（例えば、図３の例では、インデックス番号「２」）、および顔の輪郭の右側最外点（例えば、図３の例では、インデックス番号「１６」）の要素（座標値）を抽出し、鼻尖から顔の輪郭の左側最外点までの第１の距離Ｌ１と、鼻尖から顔の輪郭の右側最外点までの第２の距離Ｌ２を算出する。さらに、生体判別モジュール４５８は、第１の距離Ｌ１と第２の距離Ｌ２の差分の絶対値を算出し、基準値としてメモリー４４内に一時保存する。なお、第１の距離Ｌ１は、鼻尖と顔の輪郭の左側最外点との間のユークリッド距離（差の二乗和の平方根）であり、第２の距離Ｌ２は、鼻尖と顔の輪郭の右側最外点との間のユークリッド距離である。
【0095】
次に、生体判別モジュール４５８は、複数の顔振り画像のそれぞれに対しても、同様の演算を施し、複数の顔振り画像のそれぞれにおける第１の距離Ｌ１と第２の距離Ｌ２の差分の絶対値を算出し、メモリー４４内に一時保存する。次に、生体判別モジュール４５８は、複数の顔振り画像のそれぞれから算出した第１の距離Ｌ１と第２の距離Ｌ２の差分の絶対値と、基準値との差分の絶対値を算出し、複数の変化量を算出する。次に、生体判別モジュール４５８は、算出された複数の変化量のうち、最大の１つを、最大変化量として抽出し、最大変化量が所定のしきい値未満である場合、認証対象者１００が生体ではないと判別する。一方、生体判別モジュール４５８は、最大変化量が所定のしきい値以上である場合、認証対象者１００が生体であると判別する。生体判別モジュール４５８による判別結果は、プロセッサー４１に送られる。このような構成によっても、生体判別モジュール４５８は、顔振り動作中の顔の任意の特徴点の位置変化から、認証対象者１００が生体であるか否かを判別することができる。
【0096】
【0097】
本実施形態の顔認証方法は、第１実施形態の顔認証方法Ｓ１００の工程Ｓ１６０において実行される生体判別処理が変更されている点を除き、第１実施形態の顔認証方法Ｓ１００と同様の構成を有している。そのため、本実施形態の顔認証方法について、第１実施形態の顔認証方法Ｓ１００との相違点を中心に説明し、同様の事項については、その説明を省略する。
【0098】
図１０に示されている本実施形態の生体判別処理の工程Ｓ１６１～Ｓ１６３は、前述した第１実施形態の顔認証方法Ｓ１００の生体判別処理の工程Ｓ１６１～Ｓ１６３と同じであるため、第１実施形態の顔認証方法Ｓ１００の生体判別処理の工程Ｓ１６１～Ｓ１６３に対する説明を、本実施形態の生体判別処理の工程Ｓ１６１～Ｓ１６３に対しても援用する。
【0099】
工程Ｓ１６４において、生体判別モジュール４５８は、特徴点検出モジュール４５７によって出力された正面顔画像データから、任意の特徴点に対応するインデックス番号、左側特徴点、および右側特徴点の要素（座標値）を抽出し、任意の特徴点から左側特徴点までの第１の距離Ｌ１と、任意の特徴点から右側特徴点までの第２の距離Ｌ２を算出する。さらに、生体判別モジュール４５８は、第１の距離Ｌ１と第２の距離Ｌ２の差分の絶対値または比率を算出し、基準値としてメモリー４４内に一時保存する。次に、生体判別モジュール４５８は、複数の顔振り画像のそれぞれに対しても、同様の演算を施し、複数の顔振り画像のそれぞれにおける第１の距離Ｌ１と第２の距離Ｌ２の差分の絶対値または比率を算出し、メモリー４４内に一時保存する。
【0100】
工程Ｓ１６５において、生体判別モジュール４５８は、複数の顔振り画像のそれぞれから算出した第１の距離Ｌ１と第２の距離Ｌ２の差分の絶対値または比率と、基準値との差分の絶対値を算出し、複数の変化量を算出する。次に、生体判別モジュール４５８は、算出された複数の変化量のうち、最大の１つを、最大変化量として抽出する。工程Ｓ１６６において、生体判別モジュール４５８は、抽出した最大変化量が所定のしきい値以上であるか否かを判別する。最大変化量が所定のしきい値未満である場合、工程Ｓ１６７において、生体判別モジュール４５８は、認証対象者１００が生体ではないと判別し、判別結果を、プロセッサー４１に送信する。一方、最大変化量が所定のしきい値以上である場合、工程Ｓ１６８において、生体判別モジュール４５８は、認証対象者１００が生体であると判別し、判別結果を、プロセッサー４１に送信する。プロセッサー４１が生体判別モジュール４５８から判別結果を受信すると、工程Ｓ１６０が終了する。
【0101】
以上、本発明の顔認証システムおよび顔認証方法を図示の実施形態に基づいて説明したが、本発明は、これに限定されるものではない。本発明の各コンポーネントの構成は、同様の機能を発揮し得る任意のものと置換することができ、あるいは、本発明の構成に任意の構成のものを付加することができる。
【0102】
本発明の属する分野および技術における当業者であれば、本発明の原理、考え方、および範囲から有意に逸脱することなく、記述された本発明の顔認証システムおよび顔認証方法の構成の変更を実行可能であろうし、変更された構成を有する顔認証システムおよび顔認証方法もまた、本発明の範囲内である。
【0103】
例えば、図１～図５、図８、および図９を参照して詳述された各実施形態の顔認証システムのコンポーネントの数や種類は、説明のための例示にすぎず、本発明は必ずしもこれに限られない。本発明の原理および意図から逸脱しない範囲において、任意のコンポーネントが追加若しくは組み合わされ、または任意のコンポーネントが削除された態様も、本発明の範囲内である。また、顔認証システムの各コンポーネントは、ハードウェア的に実現されていてもよいし、ソフトウェア的に実現されていてもよいし、これらの組み合わせによって実現されていてもよい。
【0104】
また、図６、図７、および図１０に示された各実施形態の顔認証方法の工程の数や種類は、説明のための例示にすぎず、本発明は必ずしもこれに限られない。本発明の原理および意図から逸脱しない範囲において、任意の工程が、任意の目的で追加若しくは組み合わされ、または、任意の工程が削除される態様も、本発明の範囲内である。
【符号の説明】
【0105】
１…顔認証システム ２…カメラ ２１…光学系 ２２…画像センサー ３…指示ユニット ４…顔認証装置 ４１…プロセッサー ４２…Ｉ／Ｏインターフェース ４３…顔情報データベース ４３１…識別情報 ４３２…特徴量セット ４４…メモリー ４５…モジュール ４５１…カメラ制御モジュール ４５２…指示ユニット制御モジュール ４５３…ガイドモジュール ４５４…特徴量抽出モジュール ４５５…顔照合モジュール ４５６…顔振り指示モジュール ４５７…特徴点検出モジュール ４５８…生体判別モジュール ４５９…画像処理モジュール １００…認証対象者 Ｌ１…第１の距離 Ｌ２…第２の距離 ＯＡ…光軸 Ｓ１００…顔認証方法 Ｓ１１０、Ｓ１２０、Ｓ１３０、Ｓ１４０、Ｓ１５０、Ｓ１６０、Ｓ１７０、Ｓ１８０…工程 Ｓ１６１、Ｓ１６２、Ｓ１６３、Ｓ１６４、Ｓ１６５、Ｓ１６６、Ｓ１６７、Ｓ１６８…工程
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】