特開 2024-80541 顔認証の方法、プログラム、および、コンピューター・システム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2024080541

(43)【公開日】2024-06-13

(54)【発明の名称】顔認証の方法、プログラム、および、コンピューター・システム

(51)【国際特許分類】

   G06T 7/00 20170101AFI20240606BHJP

   G06F 21/32 20130101ALI20240606BHJP

   A61B 5/1171 20160101ALI20240606BHJP

【ＦＩ】

G06T7/00 510F

G06F21/32

A61B5/1171 200

【審査請求】未請求

【請求項の数】9

【出願形態】ＯＬ

(21)【出願番号】P 2022193842

(22)【出願日】2022-12-02

(71)【出願人】

【識別番号】523408846

【氏名又は名称】株式会社ＴＩＧＥＲＥＹＥ

(74)【代理人】

【識別番号】100139778

【弁理士】

【氏名又は名称】栗原 潔

(72)【発明者】

【氏名】上村 学

(72)【発明者】

【氏名】小林 隆典

【テーマコード（参考）】

4C038

5B043

【Ｆターム（参考）】

4C038VA07

4C038VB03

4C038VC05

5B043GA13

(57)【要約】      （修正有）

【課題】利用者に対して表情を作ることを指示するステップは含まない、精度が高く、認証対象者の負担が小さく、リアルタイム性が高い顔認証の方法、プログラムおよびコンピューター・システムを提供する。
【解決手段】コンピューターにより実行される顔認証方法であって、特徴点抽出に基づく類似度算出を行う第１の認証のステップと、表情パラメーター抽出に基づく類似度算出を行う第２の認証のステップと、第１の認証のステップで算出された類似度と第２の認証のステップで算出された類似度の両方に基づいて認証の判定を行うステップと、を含む。
【選択図】図２

【特許請求の範囲】

【請求項1】

特徴点抽出に基づいて、登録された顔情報との類似度算出を行う第１の認証のステップと、
表情パラメーター抽出に基づいて、登録された表情パラメーターとの類似度算出を行う第２の認証のステップと、
前記第１の認証のステップで算出された第１の類似度と前記第２の認証のステップで算出された第２の類似度の両方に基づいて認証の判定を行うステップとを含み、
利用者に対して表情を作ることを指示するステップを含まない、
コンピューターにより実行される顔認証方法。

【請求項2】

前記認証の判定を行うステップでは、前記第１の類似度が所定の第１の閾値以上であり、前記第２の類似度が所定の第２の閾値以上である場合のみに認証が成功したと判定する、
請求項１に記載の顔認証方法。

【請求項3】

前記第２の認証のステップでは、所定の時間内における前記利用者の顔の動画画像から抽出した表情パラメーターの代表値を使用した類似判定を行う、
請求項１に記載の顔認証方法。

【請求項4】

前記第２の認証のステップでは、怒りと、悲しみと、驚きと、喜びの表情パラメーターを使用し、嫌悪と、恐怖と、無表情の表情パラメーターを使用しない、
請求項１に記載の顔認証方法。

【請求項5】

特徴点抽出に基づく類似度算出を行う第１の命令群と、
表情パラメーター抽出に基づく類似度算出を行う第２の認証命令群と、
前記第１の認証の命令群により算出された第１の類似度と前記第２の認証の命令群により算出された第２の類似度の両方に基づいて認証の判定を行う命令群とをコンピューターに実行させ、
利用者に対して表情を作ることを指示する命令群を含まない、
顔認証プログラム。

【請求項6】

前記認証の判定を行う命令群は、前記第１の類似度が所定の第１の閾値以上であり、前記第２の類似度が所定の第２の閾値以上である場合のみに認証が成功したと判定する命令群を含む、
請求項５に記載の顔認証プログラム。

【請求項7】

前記第２の認証命令群は、所定の時間内における前記利用者の顔の動画画像から抽出した表情パラメーターの代表値を使用した類似判定を行う命令群を含む、
請求項５に記載の顔認証プログラム。

【請求項8】

前記第２の認証命令群では、怒りと、悲しみと、驚きと、喜びの表情パラメーターを使用し、嫌悪と、恐怖と、無表情の表情パラメーターを使用しない、
請求項５に記載の顔認証プログラム。

【請求項9】

請求項５から請求項８のいずれか１項に記載のプログラムを実行するよう構成されたコンピューター・システム。

【発明の詳細な説明】

【技術分野】

【0001】

本願は、広くは人間の顔画像に基づく認証の方法、プログラム、および装置に関し、より詳細には、精度が高く、かつ、認証対象者の負担を軽減した顔認証の方法、プログラム、および、コンピューター・システムに関する。
に関する。

【背景技術】

【0002】

人間の顔画像に基づいて、当該人物を識別することによる認証方法が一般化している。たとえば、携帯情報端末のサインイン時のユーザーの認証、建築物の入口におけるセキュリティ等に広く使用されている。顔認証は、パスワードを記憶したりトークンなどの専用器具を携帯したりすること等が不要なことから利用者の負担が小さく、なりすましが比較的困難であり、利用者の心理的抵抗が比較的小さいという優位性がある。

【0003】

一般に、顔認証技術においては、利用者の顔の画像から特徴量を抽出し、その特徴量を事前に保存された特徴量と比較することで、その利用者が本人であるか否かの判断、あるいは、複数の人物のうちの誰に相当するかを判断する。ここで、顔の一致の判断の閾値をどう定めるかが問題となる。閾値を大きくしすぎると、他人を本人として認識してしまう誤認識（false positive）の確率が増し、閾値を小さくしすぎると本人が本人として認識されないという別の誤認識（false negative）の確率が増すという課題があった。

【0004】

このような課題に対応する方法として、利用者の表情を使用する顔認証技術がある。たとえば、人の表情の度合いを数値化できる技術（たとえば、特許文献１）を応用し、利用者に笑顔を作ってもらうことで、顔認証の精度を高める技術が開示されている（たとえば、特許文献２）。しかし、このような方法では、認証対象者に負担をかける（特に、建築物の入口での認証などにおいて衆人環境で表情を作ることは抵抗があるであろう）、認証に時間を要する（特に、通過する人物をリアルタイムで認証するケースに適用することは困難である）といった課題があった。

【0005】

本願発明は、このような課題を鑑みてなされたものであり、精度が高く（認識率が高く、誤認識率が低い）、ユーザーの負担が小さく、リアルタイムの認証にも応用可能である顔認証の方法、プログラム、および、コンピューター・システムを提供することを目的とするものである。

【先行技術文献】

【特許文献】

【0006】

【特許文献1】公開特許公報 特開２０１４－２０６９０３

【特許文献2】公開特許公報 特開２０１６－００９４５３

【発明の概要】

【発明が解決しようとする課題】

【0007】

精度が高く、認証対象者の負担が小さく、リアルタイム性が高い顔認証の方法、プログラム、および、コンピューター・システムを提供する。

【課題を解決するための手段】

【0008】

本願発明は、特徴点抽出に基づいて、登録された顔情報との類似度算出を行う第１の認証のステップと、表情パラメーター抽出に基づいて、登録された表情パラメーターとの類似度算出を行う第２の認証のステップと、前記第１の認証のステップで算出された第１の類似度と前記第２の認証のステップで算出された第２の類似度の両方に基づいて認証の判定を行うステップとを含み、利用者に対して表情を作ることを指示するステップを含まない、コンピューターにより実行される顔認証方法を提供することで上記課題を解決する。

【0009】

また、本願発明は、前記認証の判定を行うステップでは、前記第１の類似度が所定の第１の閾値以上であり、前記第２の類似度が所定の第２の閾値以上である場合のみに認証が成功したと判定する、段落０００８に記載の顔認証方法を提供することで上記課題を解決する。

【0010】

また、本願発明は、前記第２の認証のステップでは、所定の時間内における前記利用者の顔の動画画像から抽出した表情パラメーターの代表値を使用した類似判定を行う、段落０００８に記載の顔認証方法を提供することで上記課題を解決する。

【0011】

また、本願発明は、前記第２の認証のステップでは、怒りと、悲しみと、驚きと、喜びの表情パラメーターを使用し、嫌悪と、恐怖と、無表情の表情パラメーターを使用しない、段落０００８に記載の顔認証方法を提供することで上記課題を解決する。

【0012】

また、本願発明は、特徴点抽出に基づく類似度算出を行う第１の命令群と、表情パラメーター抽出に基づく類似度算出を行う第２の認証命令群と、前記第１の認証の命令群により算出された第１の類似度と前記第２の認証の命令群により算出された第２の類似度の両方に基づいて認証の判定を行う命令群とをコンピューターに実行させ、利用者に対して表情を作ることを指示する命令群を含まない、顔認証プログラムを提供することで上記課題を解決する。

【0013】

また、本願発明は、前記認証の判定を行う命令群は、前記第１の類似度が所定の第１の閾値以上であり、前記第２の類似度が所定の第２の閾値以上である場合のみに認証が成功したと判定する命令群を含む、段落００１２に記載の顔認証プログラムを提供することで上記課題を解決する。

【0014】

また、本願発明は、前記第２の認証命令群は、所定の時間内における前記利用者の顔の動画画像から抽出した表情パラメーターの代表値を使用した類似判定を行う命令群を含む、段落００１２に記載の顔認証プログラムを提供することで上記課題を解決する。

【0015】

また、本願発明は、前記第２の認証命令群では、怒りと、悲しみと、驚きと、喜びの表情パラメーターを使用し、嫌悪と、恐怖と、無表情の表情パラメーターを使用しない、段落００１２に記載の顔認証プログラムを提供することで上記課題を解決する。

【0016】

また、本願発明は、段落００１２から段落００１５のいずれか１つに記載のプログラムを実行するよう構成されたコンピューター・システムを提供することで上記課題を解決する。

【発明の効果】

【0017】

精度が高く、認証対象者の負担が小さく、リアルタイム性が高い顔認証の方法、プログラム、および、コンピューター・システムが提供される。

【図面の簡単な説明】

【0018】

【図1】本願発明に係る方法が実行される情報システムの実施例である。

【図2】本願発明に係る認証装置の実施例の機能構造である。

【図3】本願発明に係る実施例の第１認証部で行われる処理のフローチャートである。

【図4】利用者の平常時における表情の度合いを表す概念図である。

【図5】本願発明に係る実施例の第２認証部で行われる処理のフローチャートである。

【図6】本願発明に係る他の実施例を表す図である。

【発明を実施するための形態】

【0019】

以下に図を参照しながら本願発明の実施例について説明する。図１に、本願発明に係る方法が実行される情報システムの実施例を示す。本実施例は、建築物のゲートのセキュリティを想定したものであるが、本願発明の実施例はそれに限定されるものではなく、たとえば、携帯情報端末のユーザー認証、街頭における不特定多数の通行人からの不審者特定等にも応用可能である。

【0020】

カメラ（100）は利用者の顔を撮影するための手段であり、所定のフレームレートで動画像を取得できることが望ましい。認証装置（101）は、カメラ（100）が取得した、利用者の顔画像を処理し、顔認証を行うためのコンピューター装置である。企業等の組織が管理する、その施設内に設置されたコンピューター装置に限定されず、その機能の少なくとも一部が、組織外部に設置され、クラウド・サービス等によって管理されるコンピューター装置であってもよい。利用者（102）は、顔認証の対象となるユーザーである。出力装置（103）は、認証の結果を出力するための装置であり、人間が目で確認するための表示装置（ディスプレイ、モニター）であってもよいし、音声アラーム等の信号を発生する装置であってもよいし、ゲートの開閉機構を操作するためのインターフェース装置であってもよいし、他のプログラムに認証結果を送るための中継プログラムであってもよい。

【0021】

図２に本願発明の一実施例に係る認証装置（101）の機能構造を示す。顔画像取得部（201）は、カメラ（100）が取得した画像から、顔認証の対象とする画像を取得する手段であり、本願発明では、当該画像から表情パラメーターを読み取る必要性があることから、静止画像ではなく、数秒程度の長さの動画像であることが望ましい。利用者（103）の顔の全体を含み、ピントが合っている画像をプログラムにより判定して、自動的に選択できるように構成されていることが望ましい。利用者（103）の顔が適切に撮影できるように、メッセージや音声等で利用者（103）に指示を出せるようにプログラムが構成されていてもよい。

【0022】

第１認証部（202）は、ユーザーの顔画像の特徴点に基づいて利用者（103）の顔と登録された顔情報の類似度を算出する手段である。その処理内容については後述する。第２認証部（203）は、表情パラメーターに基づいて利用者（103）の顔と登録された顔情報の類似度を算出するを行う手段である。その処理内容については後述する。認証判定部（204）は、第１認証部（202）が算出した類似度と第２認証部（203）が算出した類似度に基づいて、最終的な判定（認証が成功したか否か、利用者の顔が登録されたものと一致するか、登録された複数の顔情報から利用者の顔に最も近いものはどれか等）の結果を返す手段である。顔情報データベース（205）は、一人または複数の利用者（102）の顔画像の比較対象者のデータを保存するための手段であり、事前に利用者（102）の顔画像を撮影し、処理することで顔情報データがセットアップされていることが望ましい。顔情報データベース（205）には、第１認証部（202）で使用される顔画像の特徴量、および、第２認証部（203）で使用される表情パラメーターを、認証実行時と同一の取得方法で求めたものが予め保存されていることが望ましい。顔情報データベース（205）の各レコードは、各比較対象者を一位に識別する識別子（キー）を含むことが望ましい。また、各レコードには（あるいはレコードの識別子によりアクセスされる別の保存手段には）、比較対象者の属性情報（識別番号、氏名、年齢、性別等）が含まれていてもよい。スマートフォンやパソコンへのサインイン時の顔認証処理に本願発明を適用する場合には、顔情報データベース（205）は複数人ではなく１人またはごく少数の人数の顔情報を含むだけでよい。

【0023】

上記各機能はコンピューター・ハードウェアと専用プログラム（ソフトウェア）の協調処理によって実現されてよいが、上記機能のそれぞれが１つのプログラムに対応している必要はない。たとえば、第１認証部（202）と第２認証部（203）とが１つのプログラムによって実装されていてもよい。前述のとおり、これらの機能は、企業が管理するコンピューターに限らず、たとえば、その一部が、クラウド・サービスによって組織外部で稼働し、あるいは、管理されるコンピューターによって実現されてもよい。カメラやスマートフォン等に搭載されたハードウェアによって実現されてもよい。

【0024】

図３に、本願発明に係る実施例の第１認証部（202）で行われる処理のフローチャートを示す。本実施例は、顔情報データベース（205）内に利用者（103）の顔と十分に似た（類似度が所定の閾値範囲内に収まる）顔情報があるかを判定するケース（たとえば、建物のゲートにおけるセキュリティ）を想定しているが、たとえば、既に対象となる顔情報が決定しており、利用者（103）が本人であるかどうかを判定するケース（たとえば、スマホのサインイン時におけるセキュリティ）でも、顔の特徴量に基づいた類似度を結果として返す点は同様である。

【0025】

まず、第１認証部（202）は、顔画像取得部（201）から顔認証の対象となる利用者（102）の顔画像を取得する（S301）。この画像は静止画像であってもよいが、短い（数秒程度の）動画像であってもよい。顔画像取得部（201）の機能により、利用者（102）の顔が明確に写っているように選択され、かつ、明るさの正規化やエッジ強調などの適切な前処理を施された画像が提供されることが望ましい。次に、第１認証部（202）は、当該顔画像から特徴量を抽出する（S302）。Haar-like特徴などの既知の特徴量を使用してよい。次に、第１認証部（202）は、顔情報データベース（205）に登録されている顔情報の特徴量を読み出し、利用者（102）の顔画像の特徴量と比較して、類似度（照合スコア）を算出する（S303）。類似度の算出は顔認証技術分野における既知の方法を使用してよい。代替方法として、機械学習ソフトウェアまたはニューラルネットに、訓練データによって学習を行わせることで類似度を出力させるようにしてよい。加えて、特徴点の検出ステップ（S302）もニューラルネット）（典型的にはCNN（畳み込みニューラルネット）の畳み込み層）に行わせるようにしてもよい。この場合において、顔情報データベース（205）に含まれる、年齢や性別等の属性情報を類似度判定の入力パラメーターとしてよい（発明者の実験により、こうすることで顔認証の精度を一層向上できることが明らかになっている）。最後に、第１認証部（202）は、最も類似度が大きい顔情報データベース（205）中の顔情報の識別子と類似度を返す（S304）。

【0026】

図４に示すように、発明者の実験により、利用者が表情を作っていると意識していない場合でも、その顔画像の表情パラメーターにはその利用者固有の数値が顕れていることが判明している。顔の特徴点情報だけでは確定的な類似判定が困難な場合でも、加えて、表情パラメーターの相違を使用することで、精度の高い人物の識別が可能である。従来型の顔認証では、類似判定における類似度の閾値を小さくすると、対象人物を別の人物と判定してしまう（false negative）可能性が増し、類似判定における類似度の閾値を大きくすると、他の人物を当該人物であると判定してしまう（false positive）可能性が増すというトレードオフがあったが、表情を作っていない時でも利用者の顔に無意識に顕れる表情パラメーターに基づいた認証を追加的に行うことで、false negativeとfalse positiveの両方の可能性を削減できる。

【0027】

図５に、本願発明に係る実施例の第２認証部（203）で行われる処理のフローチャートを示す。第２認証部（203）は、利用者の表情パラメーターに基づいた類似度の算出を行う。ここで、表情とは、利用者が（たとえば、「笑ってください」といった指示をされることにより）意図的に表情を作っていない通常の（無意識の）状態における表情である。まず、第２認証部（203）は、顔画像取得部（201）から顔認証との対象となる利用者（102）の顔画像を取得する（S501）。この画像は短い（数秒程度の）動画像であることが好ましい。次に、第２認証部（203）は、当該顔画像から表情パラメーターの抽出を行う（S502）。表情パラメーターの抽出は、たとえば特許文献１に開示されているような方法で行ってよいが、動画像内の複数フレームにおける表情パラメーターの複数の値から平均値等の代表値を算出し、それを認証処理に使用することが好ましい。次に、第２認証部（203）は、第１認証部（202）が出力した識別子に相当する、顔情報データベース（205）のレコードから表情パラメーターを読み出す（S503）。最後に、第２認証部（203）は、利用者（102）の顔画像から得た表情パラメーターと顔情報データベース（205）の上記レコードの表情パラメーターを比較し、類似度を算定する（S504）。

【0028】

表情パラメーターは、怒り（angry）、悲しみ（sad）、驚き（surprised）、喜び（happy）、嫌悪（disgust）、恐怖（fear）、無表情（neutral）から成っていてよく、それぞれ正規化された数値として表現されていてよい。利用者の顔画像から抽出した表情パラメーターと顔情報データベース（204）の項目中の表情パラメーター間の類似度は、表情パラメーター間のユークリッド距離を算出し、正規化することで算出してよいが、別の数式に基づいて算出してもよい。機械学習あるいはディープラーニングに学習させることで、類似度を算出するようにしてもよい。この場合において、顔情報データベース（205）に含まれる、年齢や性別等の属性情報を類似度判定の入力パラメーターとしてよい（発明者の実験により、こうすることで顔認証の精度を一層向上できることが明らかになっている）。

【0029】

発明者の実験により、怒り（angry）、悲しみ（sad）、驚き（surprised）、喜び（happy）の表示パラメーターは個人差が比較的大きく、かつ、その人物に固有の値を取る傾向が強いのに対して、嫌悪（disgust）、恐怖（fear）、無表情（neutral）の表示パラメーターは個人間の差異が大きくないことが判明しているため、第２認証部（203）では、怒り（angry）、悲しみ（sad）、驚き（surprised）、喜び（happy）の表情パラメーターのみを使用した類似度を算出する、あるいは、怒り（angry）、悲しみ（sad）、驚き（surprised）、喜び（happy）の表情パラメーターの重み付けを相対的に大きくして類似度を算出してもよい。第１認証処理部（202）の処理と第２認証処理部（203）の処理は逐次的に実行されてもよいが、認証処理の高速化のために、同時並行的に実行してもよい。

【0030】

認証判定部（204）は、第１認証処理部（202）が算出した類似度と第２認証処理部（203）が算出した類似度の両方に基づいて、最終的な認証判定（典型的には、利用者（102）の顔画像が顔情報データベース（204）に登録されている顔情報と同一人物のものであるか）を行う。たとえば、閾値Ａ（厳しめの判定の閾値）と閾値Ｂ（緩めの判定の閾値）を設定しておき、第１認証処理部（202）が算定した類似度が閾値Ａと閾値Ｂの間の値である場合（すなわち、同一人物である可能性が高いが確実ではない場合）に、第２認証処理部（203）が算定した類似度が閾値Ｃ（閾値Ａや閾値Ｂとは別の所定の値）を超えるかどうかに基づき、同一人物であるかを判定するようにしてよい。また、第１認証処理部（202）と第２認証処理部（203）の両方で認証成功（利用者の顔と顔情報データベース（204）の項目の類似度が所定の閾値以上）した場合のみに、認証成功（利用者が顔情報データベース（204）に登録された人物と一致する）と判断するようにしてもよい。代替の方法として、第１認証処理部（202）が判定した類似度と第２認証処理部（203）が判定した類似度から、最終的な類似度を算出し、それに基づいて最終的な認証の判断を行うようにしてよい。最終的な類似度を第１認証処理部（202）が判定した類似度と第２認証処理部（203）が判定した類似度の重み付け平均に基づいて算出してもよいが、非線形の計算式を使用してもよい。第１認証処理部（202）が算出した類似度と第２認証処理部（203）が算出した類似度を入力とする機械学習あるいはディープラーニングに学習させることで、最終的な認証判定を行わせるようにしてもよい。

【0031】

図６に本願発明に係る他の実施例を示す。図６ａ）は、本願発明に係る顔認証方法をスマートフォン（601）などの携帯情報機器やパーソナル・コンピューターのサインイン（ログイン）時のユーザー（602）の認証に適用した実施例である。この実施例では、認証装置（101）はスマートフォン（601）そのものであり（一部の処理をネットワークを介して別のコンピューター装置に行わせてもよい）、出力装置（103）は、スマートフォンのログイン処理を行うプログラムに認証結果を伝えるプログラムであってよい。この場合、顔情報データベース（205）に相当する要素は携帯情報機器に保存されたファイルであってよく、１人のユーザー（その携帯情報機器の正規のユーザー）の顔情報だけを保管する構成であってよい。この場合において、第１認証部（202）の結果は、サインインを行っているユーザー（602）と当該ファイル中の顔情報（特徴点）との類似度だけでよく、第２認証部（203）は、第１認証部（202）から識別子を得ることなく、顔情報データベース（205）（ファイル）中の表情パラメーターとの比較を行ってよい。

【0032】

図６ｂ）は、本願発明に係る顔認証方法を、移動している複数の対象者（603）に適用した例である。カメラ（604）は固定設置されたものであっても、たとえば、ドローン等の移動体に搭載されたものであってもよい。この実施例での、認証装置（101）と出力装置（103）は、図１で説明したものと同等であってよい。この実施例では、画像取得部（201）は、顔認識を行うソフトウェアを実行し、撮影した動画像から人間の顔部分を抽出してから、それに対して必要な前処理を行い、第１認証処理部（202）および第２認証処理部（203）に渡すように構成されていることが望ましい。また、出力装置（103）の出力は、顔情報データベース（205）のレコードのうちで、複数の対象者（603）との類似度が所定の閾値以上であるレコードに含まれる属性情報（識別番号、氏名等）であってよい。図６の実施例のいずれにおいても、使用されるハードウェア（カメラ、コンピューター等）は、従来技術の顔認証に使用されるものと同等でよく、ソフトウェアの変更だけで本願発明を実施可能である。

【0033】

（本願発明による技術的に顕著な効果）
顔認証方式は、利用者の負担が小さく、なりすましが比較的困難であり、利用者の心理的抵抗が比較的小さいという本質的優位性があるが、本願発明により、利用者の心理的抵抗を増したり、リアルタイム性を犠牲にすることなく、認証制度を向上することでさらなる優位性が得られる。また、カメラなどのハードウェア機器については、従来型の顔認証で使用されていたものを流用可能であり、ソフトウェアの変更だけで認証精度を向上できるのでコスト効果にも優れる。

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】