知財求人 - 知財ポータルサイト「IP Force」
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2024-12-05
(45)【発行日】2024-12-13
(54)【発明の名称】顔認識システム及び顔認識システム制御方法
(51)【国際特許分類】
G06F 21/32 20130101AFI20241206BHJP
G06T 7/00 20170101ALI20241206BHJP
G06V 40/16 20220101ALI20241206BHJP
【ＦＩ】
G06F21/32
G06T7/00 510F
G06V40/16
【請求項の数】
12
(21)【出願番号】P 2022186939
(22)【出願日】2022-11-22
(65)【公開番号】P2023076819
(43)【公開日】2023-06-02
【審査請求日】2022-11-22
(31)【優先権主張番号】10-2021-0162281
(32)【優先日】2021-11-23
(33)【優先権主張国・地域又は機関】KR
【前置審査】
(73)【特許権者】
【識別番号】505205812
【氏名又は名称】ネイバー コーポレーション
【氏名又は名称原語表記】ＮＡＶＥＲ Ｃｏｒｐｏｒａｔｉｏｎ
(74)【代理人】
【識別番号】110004381
【氏名又は名称】弁理士法人ＩＴＯＨ
(72)【発明者】
【氏名】イ スミ
(72)【発明者】
【氏名】シン ジウン
(72)【発明者】
【氏名】パク ウォンギョン
(72)【発明者】
【氏名】ナ ヌリ
(72)【発明者】
【氏名】キム ボムス
(72)【発明者】
【氏名】キム ソンホ
(72)【発明者】
【氏名】ソ ジヨン
(72)【発明者】
【氏名】ジョン サンヨプ
(72)【発明者】
【氏名】ユン ジョンスン
(72)【発明者】
【氏名】ホン ミハク
【審査官】行田 悦資
(56)【参考文献】
【文献】国際公開第２０２１／１８６５７６（ＷＯ，Ａ１）
【文献】国際公開第２０２１／１８６６２６（ＷＯ，Ａ１）
【文献】国際公開第２０２１／０６６１４８（ＷＯ，Ａ１）
【文献】特開２０１７－００８６３８（ＪＰ，Ａ）
【文献】特開２０１９－２１９７２１（ＪＰ，Ａ）
【文献】特開２０１９－１２５０００（ＪＰ，Ａ）
【文献】特開２０２１－０１５６２７（ＪＰ，Ａ）
(58)【調査した分野】(Int.Cl.，ＤＢ名)
Ｇ０６Ｆ ２１／３２
Ｇ０６Ｔ ７／００
Ｇ０６Ｖ ４０／１６
(57)【特許請求の範囲】
【請求項1】
顔認識結果に基づく制御を行う顔認識システムの制御方法において、顔認識機能を実行する端末機に備えられるカメラを用いて映像を取得するステップと、
所定の顔認識アルゴリズムに基づいて、前記映像から顔を認識するステップであって、前記認識した顔に対して前記認識した顔を特定するための特定ＩＤを割り当て、前記映像から前記特定ＩＤを割り当てた前記認識した顔に関する位置情報、サイズ情報及び角度情報の少なくとも１つを含む顔情報を抽出し、前記抽出した顔情報は、前記認識した顔に割り当てた前記特定ＩＤにマッチングされて保存部に保存されるものである、前記映像から顔を認識するステップと、
前記映像から前記認識した顔が、前記映像における前記認識した顔が含まれる位置、前記映像における前記認識した顔が占める領域のサイズ、及び前記映像における前記認識した顔の角度の少なくとも１つに関する所定の顔条件を満たすか否かを確認するステップと、
前記保存部に保存された、前記映像を取得した時点より前の時点で取得した少なくとも１つの他の映像から抽出した前記特定ＩＤにマッチングされた顔情報と、前記映像から抽出した前記特定ＩＤにマッチングされた顔情報を用いて、前記認識した顔に対応する前記特定ＩＤが割り当てられたユーザのユーザ認証意図を判断するステップと、
前記認識した顔が前記所定の顔条件を満たすことに基づいて、前記認識した顔に対するユーザ認証を行うために、前記認識した顔に対するユーザ認証を所定のサーバに要求するステップと、
前記サーバから受信した前記認識した顔に対するユーザ認証の結果に基づいて、前記認識した顔に対するユーザ認証の結果に応じた制御を行うステップと、を含み、
前記ユーザ認証意図を判断するステップでは、
前記映像から抽出した前記特定ＩＤにマッチングされた顔情報、及び前記他の映像から抽出した前記特定ＩＤにマッチングされた顔情報に基づいて、前記映像及び前記他の映像から前記特定ＩＤに該当する顔のサイズ及び位置の変化量を算出し、
前記変化量に基づいて、前記特定ＩＤが割り当てられた前記ユーザのユーザ認証意図を判断することを特徴とする顔認識システムの制御方法。
【請求項2】
前記ユーザ認証を要求するステップでは、前記認識した顔が前記所定の顔条件を満たし、且つ、前記ユーザ認証意図を判断するステップにおいて前記ユーザに前記ユーザ認証意図があると判断された場合、前記認識した顔に対するユーザ認証を前記サーバに対して要求し、
前記認識した顔が前記所定の顔条件を満たしても、前記ユーザ認証意図を判断するステップにおいて前記ユーザに前記ユーザ認証意図がないと判断された場合には、前記認識した顔に対するユーザ認証を前記サーバに対して要求しないことを特徴とする請求項１に記載の顔認識システムの制御方法。
【請求項3】
前記確認するステップでは、前記映像から複数の顔を認識した場合、認識した複数の顔のそれぞれに対して前記所定の顔条件を満たすか否かを確認し、
前記複数の顔のうち、前記所定の顔条件を満たす顔を特定し、
前記ユーザ認証を要求するステップでは、
前記所定のサーバに、前記特定した顔に対するユーザ認証を要求することを特徴とする請求項１に記載の顔認識システムの制御方法。
【請求項4】
前記特定した顔は、前記映像において前記複数の顔のそれぞれが占める顔領域のうち、所定のサイズ以上である顔領域に含まれる顔であり、
前記映像において前記所定のサイズ以上である顔領域が複数の場合、
前記ユーザ認証は、複数の顔領域のうち、最も大きい顔領域に含まれる顔に対して行うことを特徴とする請求項３に記載の顔認識システムの制御方法。
【請求項5】
前記確認の結果、前記複数の顔に前記所定の顔条件を満たす顔が存在しない場合、前記サーバに対して、前記映像に基づくユーザ認証の要求を行わないことを特徴とする請求項３に記載の顔認識システムの制御方法。
【請求項6】
前記ユーザ認証の結果に応じた制御を行うステップでは、開放状態及び閉鎖状態のいずれかの状態を有する進入制限ゲートに対する制御を行い、
前記進入制限ゲートは、
前記認識した顔に対するユーザ認証が成功した場合、前記認識した顔に対応するユーザが前記進入制限ゲートを通過するように、所定時間の開放状態を有するように制御され、
前記所定時間が経過すると、進入制限機能が実行されるように、閉鎖状態を有するように制御されることを特徴とする請求項１に記載の顔認識システムの制御方法。
【請求項7】
前記映像から複数の顔を認識し、前記サーバで行ったユーザ認証の結果、前記複数の顔のそれぞれに対するユーザ認証が成功した場合、
前記進入制限ゲートは、
前記複数の顔のそれぞれに対応する複数のユーザが全て通過するまで、開放状態を有するように制御されることを特徴とする請求項６に記載の顔認識システムの制御方法。
【請求項8】
特定空間への進入を制限するために、前記特定空間に異なる複数の進入制限ゲートが存在する状態において、前記サーバに対して、前記複数の進入制限ゲートのうち、第１進入制限ゲートへの進入のために、前記特定ＩＤを有する前記認識した顔に対する第１ユーザ認証を要求し、その後、所定の時間内に、前記複数の進入制限ゲートのうち、第２進入制限ゲートへの進入のために、前記特定ＩＤを有する前記認識した顔に対する第２ユーザ認証を要求した場合、
前記サーバでは、前記第２ユーザ認証の要求に応じたユーザ認証は行わないことを特徴とする請求項６に記載の顔認識システムの制御方法。
【請求項9】
前記制御を行うステップでは、前記特定ＩＤを有する顔に対するユーザ認証の結果に応じて前記進入制限ゲートに対する制御を行い、
その後、前記サーバから前記特定ＩＤを有する顔に対するユーザ認証の結果を追加で受信すると、前記進入制限ゲートにおいて、追加で受信したユーザ認証の結果に応じた制御が制限的に行われることを特徴とする請求項６に記載の顔認識システムの制御方法。
【請求項10】
映像を取得するカメラ部と、前記取得した映像を保存する保存部と、
所定の顔認識アルゴリズムに基づいて、前記映像から顔を認識し、前記映像から前記認識した顔が、前記映像における前記認識した顔が含まれる位置、前記映像における前記認識した顔が占める領域のサイズ、及び前記映像における前記認識した顔の角度の少なくとも１つに関する所定の顔条件を満たすか否かを確認する制御部と、を含み、
前記制御部は、
前記認識した顔に対して前記認識した顔を特定するための特定ＩＤを割り当て、
前記映像から前記特定ＩＤを割り当てた前記認識した顔に関する位置情報、サイズ情報及び角度情報の少なくとも１つを含む顔情報を抽出し、
前記抽出した顔情報を、前記認識した顔に割り当てた前記特定ＩＤにマッチングして保存部に保存し、
前記保存部に保存された、前記映像を取得した時点より前の時点で取得した少なくとも１つの他の映像から抽出した前記特定ＩＤにマッチングされた顔情報と、前記映像から抽出した前記特定ＩＤにマッチングされた顔情報を用いて、前記認識した顔に対応する前記特定ＩＤが割り当てられたユーザのユーザ認証意図を判断し、前記映像から抽出した前記特定ＩＤにマッチングされた顔情報、及び前記他の映像から抽出した前記特定ＩＤにマッチングされた顔情報に基づいて、前記映像及び前記他の映像から前記特定ＩＤに該当する顔のサイズ及び位置の変化量を算出し、前記変化量に基づいて、前記特定ＩＤが割り当てられた前記ユーザのユーザ認証意図を判断し、
前記認識した顔が前記所定の顔条件を満たすことに基づいて、前記認識した顔に対するユーザ認証を行うために、前記認識した顔に対するユーザ認証を所定のサーバに要求し、
前記サーバから受信した前記認識した顔に対するユーザ認証の結果に基づいて、前記認識した顔に対するユーザ認証の結果に応じた制御を行うことを特徴とする顔認識システム。
【請求項11】
映像を取得するカメラ部と、前記取得した映像を保存する保存部と、
所定の顔認識アルゴリズムに基づいて、前記映像から顔を認識し、前記映像から前記認識した顔が、前記映像における前記認識した顔が含まれる位置、前記映像における前記認識した顔が占める領域のサイズ、及び前記映像における前記認識した顔の角度の少なくとも１つに関する所定の顔条件を満たすか否かを確認する制御部と、
前記認識した顔が前記所定の顔条件を満たす場合、前記認識した顔に対するユーザ認証を行うサーバと、を含み、
前記制御部は、
前記認識した顔に対して前記認識した顔を特定するための特定ＩＤを割り当て、
前記映像から前記特定ＩＤを割り当てた前記認識した顔に関する位置情報、サイズ情報及び角度情報の少なくとも１つを含む顔情報を抽出し、
前記抽出した顔情報を、前記認識した顔に割り当てた前記特定ＩＤにマッチングして保存部に保存し、
前記保存部に保存された、前記映像を取得した時点より前の時点で取得した少なくとも１つの他の映像から抽出した前記特定ＩＤにマッチングされた顔情報と、前記映像から抽出した前記特定ＩＤにマッチングされた顔情報を用いて、前記認識した顔に対応する前記特定ＩＤが割り当てられたユーザのユーザ認証意図を判断し、前記映像から抽出した前記特定ＩＤにマッチングされた顔情報、及び前記他の映像から抽出した前記特定ＩＤにマッチングされた顔情報に基づいて、前記映像及び前記他の映像から前記特定ＩＤに該当する顔のサイズ及び位置の変化量を算出し、前記変化量に基づいて、前記特定ＩＤが割り当てられた前記ユーザのユーザ認証意図を判断し、
前記サーバで行った前記認識した顔に対するユーザ認証の結果に基づいて、前記認識した顔に対するユーザ認証の結果に応じた制御を行うことを特徴とする顔認識システム。
【請求項12】
顔認識機能を実行する端末機に備えられるカメラを用いて映像を取得するステップと、所定の顔認識アルゴリズムに基づいて、前記映像から顔を認識するステップであって、前記認識した顔に対して前記認識した顔を特定するための特定ＩＤを割り当て、前記映像から前記特定ＩＤを割り当てた前記認識した顔に関する位置情報、サイズ情報及び角度情報の少なくとも１つを含む顔情報を抽出し、前記抽出した顔情報は、前記認識した顔に割り当てた前記特定ＩＤにマッチングされて保存部に保存されるものである、前記映像から顔を認識するステップと、
前記映像から前記認識した顔が、前記映像における前記認識した顔が含まれる位置、前記映像における前記認識した顔が占める領域のサイズ、及び前記映像における前記認識した顔の角度の少なくとも１つに関する所定の顔条件を満たすか否かを確認するステップと、
前記保存部に保存された、前記映像を取得した時点より前の時点で取得した少なくとも１つの他の映像から抽出した前記特定ＩＤにマッチングされた顔情報と、前記映像から抽出した前記特定ＩＤにマッチングされた顔情報を用いて、前記認識した顔に対応する前記特定ＩＤが割り当てられたユーザのユーザ認証意図を判断するステップと、
前記認識した顔が前記所定の顔条件を満たすことに基づいて、前記認識した顔に対するユーザ認証を行うために、前記認識した顔に対するユーザ認証を所定のサーバに要求するステップと、
前記サーバから受信した前記認識した顔に対するユーザ認証の結果に基づいて、前記認識した顔に対するユーザ認証の結果に応じた制御を行うステップと、を含むプログラムであって、
前記ユーザ認証意図を判断するステップでは、
前記映像から抽出した前記特定ＩＤにマッチングされた顔情報、及び前記他の映像から抽出した前記特定ＩＤにマッチングされた顔情報に基づいて、前記映像及び前記他の映像から前記特定ＩＤに該当する顔のサイズ及び位置の変化量を算出し、
前記変化量に基づいて、前記特定ＩＤが割り当てられた前記ユーザのユーザ認証意図を判断する、プログラム。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、ユーザ認証を行うためにユーザの顔を認識するシステム及びそれを制御する方法に関する。
【背景技術】
【0002】
技術の発展に伴って端末機の活用度が高まっており、特に端末機は様々な状況でユーザを認証する手段として活用されている。
【0003】
例えば、立入禁止区域に設置される進入制限装置（例えば、進入制限ゲート又はスピードゲート）におけるユーザの確認、カンファレンスにおける出席者の確認、病院における患者来院の確認、カフェにおける決済のためのユーザ確認など、様々な状況で真のユーザを認証するニーズがある。このように、ユーザに対する認証が求められる状況で端末機を活用することにより、不要な労力が減り、さらにユーザ認証に要する時間が短縮されるという効果がもたらされる。
【0004】
端末機を用いたユーザ認証には様々な方式があり、例えばユーザが自分を識別させるための識別情報（例えば、電話番号、メールアドレスなど）又は生体情報（例えば、指紋情報など）を端末機に直接入力することにより認証が行われる方式が挙げられる。
【0005】
しかし、近年は、ユーザが端末機に情報を直接入力することなくユーザ認証を行えるように、迅速かつ正確にユーザの顔を認識する方法に関する研究が盛んに行われている。
【発明の概要】
【発明が解決しようとする課題】
【0006】
本発明は、ユーザ認証を行うユーザの顔をより迅速かつ正確に認識する顔認識システム及びそれを制御する方法を提供するものである。
【0007】
また、本発明は、ユーザ認証を行うかどうかについてのユーザの意図を把握する顔認識システム及びそれを制御する方法を提供するものである。
【0008】
さらに、本発明は、真にユーザ認証を意図するユーザに対してユーザ認証を完了する顔認識システム及びそれを制御する方法を提供するものである。
【課題を解決するための手段】
【0009】
上記課題を解決するために、本発明に係る顔認識システムの制御方法は、顔認識機能を実行する端末機に備えられるカメラを用いて映像を取得するステップと、所定の顔認識アルゴリズムに基づいて、前記映像から顔を認識するステップと、前記映像から前記認識した顔が所定の顔条件を満たすか否かを確認するステップと、前記確認の結果に基づいて、前記認識した顔に対するユーザ認証を行うために、前記認識した顔に対するユーザ認証を所定のサーバに要求するステップと、前記サーバから受信した前記認識した顔に対するユーザ認証の結果に基づいて、前記認識した顔に対するユーザ認証の結果に応じた制御を行うステップと、を含むものであってもよい。
【0010】
また、本発明に係る顔認識システムは、映像を取得するカメラ部と、前記取得した映像を保存する保存部と、所定の顔認識アルゴリズムに基づいて、前記映像から顔を認識し、前記映像から前記認識した顔が所定の顔条件を満たすか否かを確認する制御部とを含み、前記制御部は、前記確認の結果に基づいて、前記認識した顔に対するユーザ認証を行うために、前記認識した顔に対するユーザ認証を所定のサーバに要求し、前記サーバから受信した前記認識した顔に対するユーザ認証の結果に基づいて、前記認識した顔に対するユーザ認証の結果に応じた制御を行うものであってもよい。
【0011】
さらに、本発明に係る顔認識システムは、映像を取得するカメラ部と、前記取得した映像を保存する保存部と、所定の顔認識アルゴリズムに基づいて、前記映像から顔を認識し、前記映像から前記認識した顔が所定の顔条件を満たすか否かを確認する制御部と、前記認識した顔が前記所定の顔条件を満たす場合、前記認識した顔に対するユーザ認証を行うサーバとを含み、前記制御部は、前記サーバで行った前記認識した顔に対するユーザ認証の結果に基づいて、前記認識した顔に対するユーザ認証の結果に応じた制御を行うものであってもよい。
【0012】
さらに、本発明に係る、電子機器において１つ以上のプロセスにより実行され、コンピュータ読取可能な記録媒体に保存されたプログラムは、顔認識機能を実行する端末機に備えられるカメラを用いて映像を取得するステップと、所定の顔認識アルゴリズムに基づいて、前記映像から顔を認識するステップと、前記映像から前記認識した顔が所定の顔条件を満たすか否かを確認するステップと、前記確認の結果に基づいて、前記認識した顔に対するユーザ認証を行うために、前記認識した顔に対するユーザ認証を所定のサーバに要求するステップと、前記サーバから受信した前記認識した顔に対するユーザ認証の結果に基づいて、前記認識した顔に対するユーザ認証の結果に応じた制御を行うステップと、を行わせるコマンドを含むものであってもよい。
【発明の効果】
【0013】
前述したように、本発明に係る顔認識システム及びその制御方法は、顔認識機能を実行する端末機に備えられるカメラを用いて映像を取得し、所定の顔認識アルゴリズムに基づいて、映像から顔を認識することができる。このように、本発明は、ユーザから直接入力しなくても、ユーザが端末機の近くに位置することで、ユーザの顔を正確かつ迅速に認識することができる。よって、ユーザは、端末機の近くに位置することにより、自分の顔を端末機にさらに便利かつ直観的に認識させることができる。
【0014】
また、本発明に係る顔認識システム及びその制御方法は、映像から認識した顔がユーザ認証を行うのに適切であるか否かを判断することができる。すなわち、本発明では、映像から認識した顔が所定の顔条件を満たすか否かを確認することができる。従って、本発明によれば、ユーザ認証に適さない顔を認識した場合はユーザ認証を行わないようにすることにより、データ処理の効率を向上させることができる。
【0015】
さらに、本発明に係る顔認識システム及びその制御方法は、所定の顔条件を満たすユーザに限ってユーザ認証を行うことができる。従って、本発明によれば、端末機の近くに複数のユーザがいる場合でも、ユーザ認証を行おうとするユーザの顔を正確に認識して当該ユーザに対する認証を行うことができる。
【0016】
さらに、本発明に係る顔認識システム及びその制御方法は、映像から認識した顔が所定の顔条件を満たすか否かに基づいて、認識した顔に対するユーザ認証を所定のサーバに要求することができる。このように、本発明に係る顔認識システム及びその制御方法は、真にユーザ認証を望んでいるユーザの顔に対してユーザ認証を行うことができる。従って、本発明によれば、ユーザ認証を行おうとしないユーザや、ユーザ認証を行うユーザの近くにいる他のユーザに対してユーザ認証を行ってしまう不具合を減少させることにより、ユーザ認証の結果の正確性及び信頼性を向上させることができる。
【図面の簡単な説明】
【0017】
【図1】本発明に係る顔認識システムを説明するための概念図である。
【図2】本発明に係る顔認識システムを説明するためのフローチャートである。
【図3】本発明に係る顔認識システムの制御方法を説明するためのフローチャートである。
【図4】本発明に係る顔認識システム及びその制御方法を説明するための概念図である。
【図5】本発明に係る顔認識システム及びその制御方法を説明するための概念図である。
【図6】本発明に係る顔認識システム及びその制御方法を説明するための概念図である。
【図7A】本発明に係る顔認識システム及びその制御方法を説明するための概念図である。
【図7B】本発明に係る顔認識システム及びその制御方法を説明するための概念図である。
【図8】本発明に係る顔認識システム及びその制御方法を説明するための概念図である。
【図9】本発明に係る顔認識システム及びその制御方法を説明するための概念図である。
【図10】本発明に係る顔認識システム及びその制御方法を説明するための概念図である。
【図11】本発明に係る顔認識システム及びその制御方法を説明するための概念図である。
【図12】本発明に係る顔認識システム及びその制御方法を説明するための概念図である。
【図13】本発明に係る顔認識システム及びその制御方法を説明するための概念図である。
【発明を実施するための形態】
【0018】
以下、添付図面を参照して本明細書に開示される実施形態について詳細に説明するが、図面番号に関係なく同一又は類似の構成要素には同一又は類似の符号を付し、その説明は省略する。以下の説明で用いる構成要素の接尾辞である「モジュール」及び「部」は、明細書の作成を容易にするために付与又は混用されるものであり、それ自体が有意性や有用性を有するものではない。また、本明細書に開示される実施形態について説明するにあたって、関連する公知技術についての具体的な説明が本明細書に開示される実施形態の要旨を不明にする恐れがあると判断される場合は、その詳細な説明を省略する。なお、添付図面は本明細書に開示される実施形態を容易に理解できるようにするためのものにすぎず、添付図面により本明細書に開示される技術的思想が限定されるものではなく、本発明の思想及び技術範囲に含まれるあらゆる変更、均等物又は代替物が本発明に含まれるものと解されるべきである。
【0019】
第１、第２などのように序数を含む用語は様々な構成要素を説明するために用いられるが、上記構成要素は上記用語により限定されるものではない。上記用語は１つの構成要素を他の構成要素と区別する目的でのみ用いられる。
【0020】
ある構成要素が他の構成要素に「連結」又は「接続」されていると言及された場合は、他の構成要素に直接連結又は接続されていてもよく、中間にさらに他の構成要素が存在してもよいものと解すべきである。それに対して、ある構成要素が他の構成要素に「直接連結」又は「直接接続」されていると言及された場合は、中間にさらに他の構成要素が存在しないものと解されるべきである。
【0021】
単数の表現には、特に断らない限り複数の表現が含まれる。
【0022】
本明細書において、「含む」や「有する」などの用語は、明細書に記載された特徴、数字、ステップ、動作、構成要素、部品、又はそれらの組み合わせが存在することを指定しようとするもので、１つ又はそれ以上の他の特徴、数字、ステップ、動作、構成要素、部品、又はそれらの組み合わせの存在や付加可能性を予め排除するものではないと解されるべきである。
【0023】
本発明は、ユーザから直接入力されなくても、ユーザの顔を正確かつ迅速に認識し、ユーザ認証を行うかについてのユーザの真の意図を把握するために、所定の顔条件を満たすユーザの顔を認識できる顔認識システム及び顔認識システムの制御方法を提供するものである。以下、添付図面を参照して、本発明について具体的に説明する。図１は本発明による顔認識システムを説明するための概念図であり、図２は本発明による顔認識システムを説明するためのブロック図である。図３は本発明による顔認識システムの制御方法を説明するためのフローチャートである。また、図４、図５、図６、図７A、図７B、図８、図９、図１０、図１１、図１２及び図１３は本発明による顔認識システム及びその制御方法を説明するための概念図である。
【0024】
図１に示すように、本発明において、ユーザ認証は、顔認識システム１００とサーバ２００の連動により行う。本発明において、サーバ２００は、顔認識システム１００と同一場所に位置してもよく、別の場所に位置してもよい。サーバ２００は、顔認識システム１００で認識した顔に対するユーザ認証を処理するように構成される。
【0025】
なお、サーバ２００は、顔認識システム１００の構成の一部として実現されてもよく、その場合、顔認識システム１００は、サーバ２００の役割を含む機能を実行する。
【0026】
また、図１に示すように、顔認識システム１００とサーバ２００は、別個の構成として実現されてもよい。本発明においては、説明の便宜上、顔認識システム１００とサーバ２００を分けて説明する。
【0027】
なお、顔認識システム１００とサーバ２００が物理的に分離されることとは関係なく、本発明において説明される顔認識システム１００及びサーバ２００において行う機能、制御が「顔認識システム」において行うと説明されてもよいことは言うまでもない。
【0028】
本発明においては、ユーザの顔を認識し、ユーザ認証を行い、ユーザ認証の結果に応じてユーザ認証に関するイベント又は機能（以下、ターゲット機能）が行われるように制御することができる。
【0029】
ここで、「ターゲット機能」の種類は非常に多く、特定空間進入制限機能、決済機能、出席確認機能、病院における来院確認機能などのように、ユーザ認証が必要な機能を意味する。例えば、特定空間進入制限機能は、図１に示す進入制限ゲート（又は進入制限装置、スピードゲート）２０が開放状態及び閉鎖状態のいずれかの状態になるように動作を制御することにより行われる。
【0030】
このように、本発明において、顔認識システム１００は、顔認識及びユーザ認証により達成しようとする機能（例えば、進入制限、出席確認、決済承認など）に応じて様々なハードウェア構成を有する。本発明においては、代表的な例として、図１に示すように、進入制限ゲート２０におけるユーザ認証について説明する。ただし、以下で説明する顔認識及びユーザ認証方法を様々な機能を有する顔認識システムに適用できることは言うまでもない。
【0031】
図１に示すように、本発明による顔認識システム１００（以下、「システム１００」という）は、センサ部１１０、保存部１２０、通信部１３０、ディスプレイ部１４０、音響出力部１５０及び制御部１６０の少なくとも１つを含むように構成される。ここで、本発明によるシステム１００は、上記構成要素に限定されるものではなく、本明細書において説明する機能と同一又は類似の役割を果たす構成要素をさらに含んでもよい。
【0032】
また、顔認識システム１００は、進入制限ゲート２０に連動してもよく、進入制限ゲート２０を構成要素として含んでもよい。さらに、顔認識システム１００は、進入制限ゲート２０の構成の一部となってもよいことは言うまでもない。センサ部１１０は、システム１００に備えられる検知モジュール（例えば、カメラ１１１、熱画像カメラ、近接センサ、赤外線センサなど）の構成を用いてユーザ（又はオブジェクト）を検知（又は撮影）する。
【0033】
本発明における「検知する」とは、検知モジュールによって様々に解釈される。一例として、カメラ１１１を用いる場合、「検知する」とは、映像を撮影することと解される。他の例として、近接センサを用いる場合、ユーザ（又はオブジェクト）の存在を検知することと解される。以下、「検知する」は、「映像を撮影（又は取得）する」と混用される。
【0034】
センサ部１１０は、映像（例えば、ＲＧＢイメージフレーム及び熱画像イメージフレームの少なくとも１つ）を撮影する。ここで、センサ部１１０は、動画像（ｖｉｄｅｏ）及び画像（ｉｍａｇｅ）の少なくとも１つの形態で映像を撮影する。
【0035】
センサ部１１０は、所定の時間周期で又はユーザの要求に基づいて、映像を撮影する。
【0036】
保存部１２０は、システム１００に備えられる（又は挿入される）メモリ又はクラウドサーバを用いて、本発明による顔認識及び／又はユーザ認証に関するデータを保存するように構成される。例えば、保存部１２０には、センサ部１１０で検知した情報もしくは取得した映像、又はそれらから取得した情報などが保存される。
【0037】
また、通信部１３０は、システム１００に備えられる通信モジュール（例えば、移動通信モジュール、近距離通信モジュール、無線インターネットモジュール、位置情報モジュール、放送受信モジュールなど）の構成を用いて、サーバ２００、外部サーバ（図示せず）又はクラウドサーバ（図示せず）などとデータを送受信する。
【0038】
さらに、ディスプレイ部１４０は、視覚的情報を出力するように構成され、制御部１６０の制御下で、顔認識及びユーザ認証の少なくとも１つに関する情報を出力するように構成される。
【0039】
例えば、ディスプレイ部１４０は、サーバ２００から受信した認証対象ユーザに関する認証結果情報に基づいて、ユーザ認証成功（又は失敗）に関する情報を出力したり、センサ部１１０がユーザを撮影できるようにユーザの位置を案内する案内情報を出力するように制御される。
【0040】
例えば、認証対象ユーザに関する認証結果情報に基づいて、ディスプレイ部１４０には、認証結果又はターゲット機能実行に関する案内情報（例えば、「Ｗｅｌｃｏｍｅ ＵＳＥＲ１様 ようこそ！」，図８の８１０参照）が出力されるように構成される。
【0041】
さらに、音響出力部１５０は、本発明に関する情報を聴覚的に出力する。
【0042】
例えば、制御部１６０の制御下で、認証対象ユーザに関する認証結果情報に基づいて、音響出力部１５０は、認証結果又はターゲット機能実行に関する案内情報を音声で出力する。
【0043】
さらに、制御部１６０は、システム１００に備えられるＣＰＵ及びクラウドサーバの少なくとも１つを活用して、各構成に対する制御及び本発明に関する全般的な制御を行う。
【0044】
制御部１６０は、本発明を実行するために、システム１００の構成の少なくとも１つに対する制御権限を有する。
【0045】
制御部１６０は、センサ部１１０で検知した情報や、通信部１３０により受信した情報に基づいて、ユーザの顔を認識し、ユーザ認証のためのプロセスを行う。
【0046】
制御部１６０は、顔認識部１６１を含み、顔認識部１６１は、顔認識機能を有するアルゴリズムに基づいて、センサ部１１０で撮影した映像から顔を認識する。また、顔認識部１６１は、認識した顔に関する一連の制御を行う。それについては後述する。本発明においては、説明の便宜上、顔認識部１６１と制御部１６０の構成を区分せず、制御部１６０に統一して説明する。
【0047】
一方、本発明によるシステム１００及びサーバ２００は、互いに連動して動作することにより、ターゲット機能に対するユーザ認証を行い、ターゲット機能に対するユーザ認証実行結果に基づいてターゲット機能の実行を制御する。
【0048】
サーバ２００は、システム１００からのユーザ認証の要求に基づいて、ユーザ認証を行い、ユーザ認証の結果をシステム１００に送信する役割を果たす。
【0049】
一方、本発明において、ユーザ認証の結果として実行される機能が進入制限ゲート２０の動作制御の場合、認証対象ユーザに対するユーザ認証の結果に基づいて、進入制限ゲート２０のドア（ｄｏｏｒ）が開くように制御したり、開かないように制御する。進入制限ゲート２０は、サーバ２００及びシステム１００の少なくとも１つから送信される制御命令に基づいて制御されるように構成される。
【0050】
一方、図１に示すように、本発明によるサーバ２００は、通信部２１０、保存部２２０及び制御部２３０の少なくとも１つを含むように構成される。ここで、本発明によるサーバ２００は、上記構成要素に限定されるものではなく、本明細書において説明する機能と同一又は類似の役割を果たす構成要素をさらに含んでもよい。
【0051】
通信部２１０は、システム１００、進入制限ゲート２０、外部サーバ（図示せず）又はクラウドサーバ（図示せず）の少なくとも１つとデータを送受信するように構成される。
【0052】
例えば、通信部２１０は、システム１００から認証対象ユーザの顔が含まれる映像情報又は認証の対象となるユーザに関する顔情報を受信し、認証対象ユーザに対するユーザ認証の結果をシステム１００に送信する。
【0053】
保存部２２０は、ユーザ認証に関する様々な情報が保存されるように構成される。
【0054】
保存部２２０は、予め登録されている顔に関する参照顔特徴情報を含むユーザＤＢ２２１、及びシステム１００に関する情報を含む端末機ＤＢ２２２の少なくとも１つを含む。
【0055】
ここで、参照顔特徴情報は、予め登録されている顔画像、及び予め登録されている顔に関する特徴情報（例えば、特徴ベクトル情報）の少なくとも１つを含む。
【0056】
ユーザＤＢ２２１には、個別人物（又は人）単位で、各人物に関するユーザ情報が保存される。すなわち、ユーザＤＢには、各人物毎にそれぞれ対応するユーザ情報がマッチングされて保存される。
【0057】
ここで、ユーザ情報は、各人物の名前、生年月日、住所、電話番号、メールアドレス、アカウント情報、社員番号、ＩＤ、生体情報（指紋情報、虹彩情報など）、参照顔特徴情報、日程（スケジュール）に関する情報の少なくとも１つを含む。
【0058】
参照顔特徴情報に含まれる参照顔画像は、特定の人物の顔画像であり、１つであってもよく、複数であってもよい。本発明において、ユーザＤＢは、「ユーザに関する情報」、「ユーザの身元情報」又は「ユーザの識別情報」ともいう。
【0059】
一方、端末機ＤＢ２２２には、ユーザ認証プロセスを行うシステム１００に関する情報が保存される。
【0060】
ここで、端末機に関する情報は、各システム１００（又は進入制限ゲート２０）の識別情報（シリアルナンバー）、位置、ユーザ認証に連動するターゲット機能に関する情報のいずれかを含む。
【0061】
一方、制御部２３０は、ユーザＤＢ２２１に保存されている参照顔特徴情報を用いて、認証対象ユーザに対するユーザ認証を行う。
【0062】
ここで、ユーザ認証は、制御部２３０のユーザ認証部２３１により行う。すなわち、ユーザ認証部２３１は、制御部２３０の役割の一部を果たすものと解される。本発明においては、制御部２３０とユーザ認証部２３１を区分せず、混用する。
【0063】
以下、前述したシステム１００及びサーバ２００の構成に基づいて、本発明においてユーザ認証を行う基本プロセスについて説明する。
【0064】
図２に示すように、本発明によるシステム１００においては、センサ部（例えば、カメラ）１１０を用いて映像を撮影し、撮影した映像のデータ処理を行う過程を行う（Ｓ２１０）。映像は、所定の時間間隔で撮影されるようにしてもよい。
【0065】
センサ部１１０においては、イメージフレーム（又は映像，例：ＲＧＢイメージフレーム）及び熱画像イメージフレーム（又は映像）をそれぞれ撮影する（Ｓ２１１，Ｓ２１２）。
【0066】
このように、センサ部１１０での撮影により、顔認識対象となる画像（本発明の説明においては「映像」という）が確保される。
【0067】
次に、システム１００においては、画像、すなわち映像から顔を認識する過程を行う（Ｓ２２０）。
【0068】
より具体的には、制御部１６０は、映像からユーザの顔を認識し（Ｓ２２１）、認識したユーザの顔が所定の顔条件を満たすか否かを判断する（Ｓ２２２）。
【0069】
ここで、所定の顔条件は、認識した顔がユーザ認証を行うのに適した条件を備えているかに関するものであり、所定の顔条件は、様々に設定される。例えば、所定の顔条件は、ｉ）映像における認識した顔が含まれる位置、ｉｉ）映像における認識した顔が占める領域のサイズ、ｉｉｉ）映像における認識した顔の角度（例：ユーザの顔が正面を向いているか否か）、ｉｖ）ユーザの顔全体を認識したか否か、ｖ）ユーザがマスクを着用しているか否かなどの様々な条件の少なくとも１つに関するものである。
【0070】
制御部１６０は、カメラ１１１で取得した映像から、所定の顔条件を満たす顔を認識した場合、当該映像を用いて、所定の顔条件を満たす顔に対するユーザ認証を行うための過程を行う。
【0071】
制御部１６０は、映像から認識した顔のうち、所定の顔条件を満たす顔を認証対象顔として特定する。例えば、制御部１６０は、図４の（ｂ）に示す映像において、複数のユーザの顔２０００ａ、２０００ｂ、２０００ｃ、２０００ｄ、２０００ｅのうち、顔が切断されておらず、最も広い領域を占める顔２０００ａを認証対象顔として特定する。
【0072】
このように、映像から認証の対象となる顔である認証対象顔を特定すると、制御部１６０は、スプーフィング（ｓｐｏｏｆｉｎｇ）確認及び温度確認をさらに行う（Ｓ２３０）。
【0073】
制御部１６０は、スプーフィング確認及び温度確認をパスした映像に対して、ユーザ認証を要求する。
【0074】
制御部１６０は、認証対象ユーザに対するユーザ認証の要求をサーバ２００に送信する（Ｓ２５０，図２参照）。
【0075】
制御部１６０は、ユーザ認証の要求と共に、認証対象ユーザの顔に関する情報（ユーザの顔画像や顔特徴情報など）をサーバ２００に送信する。
【0076】
サーバ２００は、映像に含まれる認証対象ユーザの顔に関する情報と、サーバ２００のユーザＤＢ２２１に保存されている参照顔特徴情報との類似度判断を行う（Ｓ２４０）。
【0077】
類似度判断方法の一例として、サーバ２００は、映像に含まれる認証対象ユーザの顔と、ユーザＤＢ２２１に保存されている参照顔画像とを比較して、ユーザ認証を行う。
【0078】
ここで、参照顔画像と、映像に含まれる認証対象ユーザの顔とを比較するとは、参照顔画像に対応する特徴点情報と、映像から認識したユーザの顔に関する特徴点情報とを比較することを意味する。すなわち、ユーザＤＢには、ユーザの参照顔画像、参照顔画像に含まれる目、鼻、口などの顔つきにより定義される特徴点情報が存在する。
【0079】
類似度判断方法の他の例として、サーバ２００は、顔画像から抽出した認証対象ユーザの顔についての特徴ベクトルと、参照顔特徴情報に含まれる特徴ベクトルとの類似度の比較により、ユーザ認証を行う。ここで、ユーザＤＢには、様々な参照顔についての特徴ベクトルが保存され、存在する。サーバ２００は、認証対象ユーザの顔についての特徴ベクトルに最も類似する特徴ベクトルをユーザＤＢから検索（又は抽出）し、検索した特徴ベクトルと、認証対象ユーザの顔についての特徴ベクトルとの類似度が所定の値（閾値）以上であれば、ユーザに対する認証成功として処理する。
【0080】
また、サーバ２００は、ユーザ認証の結果をシステム１００に提供（又は送信）し、システム１００においては、サーバ２００から受信した認証結果に基づいて、ユーザ認証の結果をユーザに提供する（Ｓ２６０）。例えば、システム１００に備えられる出力部（例えば、ディスプレイ部、音響出力部（スピーカ）など）から、認証結果がユーザに提供される。一例としてば、制御部１６０は、認証対象ユーザの顔に対するユーザ認証が成功すると、ディスプレイ部１４０に認証結果又はターゲット機能実行に関する案内情報（例えば、「Ｗｅｌｃｏｍｅ ＵＳＥＲ１様 ようこそ！」，図８の８１０参照）が出力されるようにディスプレイ部１４０を制御する。
【0081】
さらに、制御部１６０は、サーバ２００から受信した認証対象ユーザに対するユーザ認証の結果に基づいて様々な制御を行う。一例として、システム１００が進入制限装置に連動する場合や、進入制限装置に含まれる場合、制御部１６０は、認証対象ユーザに対するユーザ認証が成功すると、認証に成功したユーザが特定空間に進入できるように、進入制限ゲート２０を制御する。進入制限ゲート２０は、閉鎖状態をデフォルト駆動状態として維持し、制御部１６０による制御又はサーバ２００から受信される制御信号に基づいて、開放状態になるように制御される。
【0082】
さらに、本発明においては、システム１００と、ユーザ認証の結果が適用される進入制限ゲート２０や決済端末機などとが、互いに独立して駆動される。この場合、サーバ２００は、ユーザ認証の結果をシステム１００だけでなく、進入制限ゲート２０や決済端末機にも送信する（Ｓ２７０）。
【0083】
この場合、進入制限ゲート２０や決済端末機は、サーバ２００から受信されるユーザ認証の結果に基づいて、動作が制御されるように構成される。
【0084】
一例として、ユーザ認証の結果が進入制限ゲート２０の動作制御に活用される場合、サーバ２００は、ユーザ認証の結果に基づいて、進入制限ゲート２０のゲート（又はドア（ｄｏｏｒ））を開放状態にする制御信号を進入制限ゲート２０に送信する。
【0085】
以下、システム１００及びサーバ２００に含まれる各構成を用いて、迅速かつ正確にユーザの顔を認識する方法について具体的に説明する。
【0086】
本発明による顔認識システムの制御方法においては、顔認識機能を実行するシステム１００に備えられるカメラ１１１を用いて映像を取得する過程を行う（Ｓ３１０，図３参照）。
【0087】
図４の（ａ）に示すように、特定空間１には多くのユーザが位置する。例えば、特定空間１には、進入制限ゲート２０を通過しようとするユーザ１０００ａ、１０００ｂ、１０００ｃ、特定位置に停止しているユーザ１０００ｄ、又は特定空間１を自由に移動しているユーザ１０００ｅが存在する。
【0088】
以下、説明の便宜上、進入制限ゲート２０又はシステム１００を基準に、１列目に立っているユーザ１０００ａを第１ユーザ１０００ａといい、２列目に立っているユーザ１０００ｂを第２ユーザ１０００ｂといい、３列目に立っているユーザ１０００ｃを第３ユーザ１０００ｃという。また、特定位置に停止しているユーザ１０００ｄを第４ユーザ１０００ｄといい、移動中のユーザ１０００ｅを第５ユーザ１０００ｅという。
【0089】
一方、システム１００、又はシステム１００に備えられるカメラ１１１は、ユーザ認証により行おうとする機能（例えば、進入制限ゲート２０のドア動作機能）の実行のために、特定空間１の映像を撮影できるように配置される。カメラ１１１は、ユーザの顔を認識できる適切な位置に配置されるように構成される。
【0090】
例えば、図４の（ａ）に示すように、カメラ１１１は、進入制限ゲート２０を通過しようとするユーザが位置する特定空間を撮影できるように、進入制限ゲート２０の周辺又は進入制限ゲート２０の一領域に配置される。
【0091】
図４の（ｂ）に示すように、カメラ１１１で撮影した映像４００には、カメラ１１１の画角（ｆｉｅｌｄ ｏｆ ｖｉｅｗ）に対応する空間に関する情報が含まれる。図４の（ａ）に示すように、カメラ１１１の画角内にユーザが位置する場合、図４の（ｂ）に示すように、映像４００にはユーザに対応するグラフィックオブジェクト２０００ａ、２０００ｂ、２０００ｃ、２０００ｄ、２０００ｅが含まれる。同図に示すように、グラフィックオブジェクト２０００ａ、２０００ｂ、２０００ｃ、２０００ｄ、２０００ｅには、ユーザの顔に該当する画像が含まれる。
【0092】
図４の（ａ）に示すように複数のユーザがカメラ１１１周辺に位置する場合、図４の（ｂ）には、複数のユーザのそれぞれの顔に対応するグラフィックオブジェクト（又は顔画像）２０００ａ、２０００ｂ、２０００ｃ、２０００ｄ、２０００ｅが含まれる。
【0093】
本発明においては、用語の混同を避けるために、ユーザの顔に対応するグラフィックオブジェクトを「顔」又は「顔画像」という。例えば、第１ユーザ１０００ａの顔に対応するグラフィックオブジェクトを第１顔２０００ａ又は第１顔画像２０００ａといい、第２ユーザ１０００ｂの顔に対応するグラフィックオブジェクトを第２顔２０００ｂ又は第２顔画像２０００ｂという。また、本発明の図面においては、説明の便宜上、映像４００内のユーザの顔のみ強調して示す。
【0094】
なお、前述したステップＳ３１０は、図２において説明したステップＳ２１０に対応しており、ステップＳ３１０には、ステップＳ２１０で説明した詳細プロセスが含まれる。
【0095】
次に、本発明においては、所定の顔認識アルゴリズムに基づいて、映像から顔を認識する過程を行う（Ｓ３２０，図３参照）。
【0096】
制御部１６０は、図４の（ｂ）で取得した映像４００から、顔認識アルゴリズムに基づいて、顔を認識する。顔を認識するアルゴリズムは、映像からオブジェクトを認識する様々な映像オブジェクト認識方法により行われる。一例として、映像４００から顔を認識するアルゴリズムは、顔認識のために学習されたアルゴリズム（例えば、ＹＯＬＯアルゴリズム、ＣＮＮアルゴリズム）を用いて映像からユーザの顔を認識する方法の少なくとも１つである。
【0097】
図５の（ａ）に示すように、制御部１６０は、認識した顔２０００ａ、２０００ｂ、２０００ｃ、２０００ｄ、２０００ｅのそれぞれに対してバウンディングボックス（Ｂｏｕｎｄｉｎｇ ｂｏｘ）３０００ａ、３０００ｂ、３０００ｃ、３０００ｄ、３０００ｅを割り当てる。各バウンディングボックス３０００ａ、３０００ｂ、３０００ｃ、３０００ｄ、３０００ｅは、映像に含まれる顔２０００ａ、２０００ｂ、２０００ｃ、２０００ｄ、２０００ｅ毎にそれぞれ割り当てる。
【0098】
制御部１６０は、認識した顔毎に互いに異なる識別情報を割り当てる。なお、認識した顔毎に割り当てる識別情報は、バウンディングボックス３０００ａ、３０００ｂ、３０００ｃ、３０００ｄ、３０００ｅに関する識別情報と同様であることが理解されるであろう。
【0099】
ここで、識別情報は、ＩＤ（Ｉｄｅｎｔｉｆｉｃａｔｉｏｎ）であり、例えば、制御部１６０は、認識したユーザの顔２０００ａ、２０００ｂ、２０００ｃ、２０００ｄ、２０００ｅのそれぞれに互いに異なるＩＤ（例えば、「ＵＳＥＲ１」）を割り当てる。
【0100】
なお、制御部１６０は、映像に含まれる複数の顔毎に互いに異なるＩＤを割り当て、互いに異なる映像に同じ顔が含まれる場合は、互いに異なる映像に含まれる同じ顔に同じＩＤを割り当てる。
【0101】
例えば、図７Aにおいて、互いに異なる時点ｔｐ３、ｔｐ２、ｔｐ１、ｔ０で取得した映像７３０、７２０、７１０、７００に含まれる同じ顔２０００ａに同じＩＤ（例えば、「ＵＳＥＲ１」）を割り当てる。
【0102】
なお、制御部１６０は、映像から顔を認識すると、認識した顔のそれぞれに関する情報を抽出する。説明の便宜上、抽出した情報を「顔情報」という。
【0103】
制御部１６０は、認識した顔のそれぞれに関する顔情報を抽出し、抽出した顔情報５１０は、図５の（ｂ）に示すように、認識した顔に割り当てたＩＤにマッチングされて保存される。制御部１６０は、映像４００から抽出した顔情報５１０が映像から認識した顔に割り当てたＩＤにマッチングされて保存部１２０に保存されるように制御する。
【0104】
図５の（ｂ）に示すように、「顔情報５１０」には、映像に含まれる顔に関連して抽出される様々な情報が含まれる。例えば、顔情報５１０には、ｉ）映像における顔（バウンディングボックス）の位置情報（ピクセル座標情報）５１１、ｉｉ）顔のサイズ情報（映像において顔が占める領域のサイズ、又はバウンディングボックスに対応する領域のサイズ（又は広さ）に相当する）５１２、ｉｉｉ）顔の角度情報（顔が基準方向（例：カメラ方向）を向いているか否かに関する情報、ｉｖ）顔特徴情報（例：ベクトル情報）の少なくとも１つが含まれる。
【0105】
ここで、顔特徴情報とは、それぞれの顔が有する特徴についての情報であり、目、眉、鼻、口、顎などの特徴が変わる各部位毎の特徴（Ｆｅａｔｕｒｅ）となる特徴データ又はそれに関する特徴ベクトルを意味する。人それぞれ、顔つきによって異なる特徴を有するので、異なる顔つきのユーザは、異なる顔特徴情報を有する。
【0106】
このような顔情報は、ユーザの顔を認識した映像毎にそれぞれ存在する。
【0107】
図５の（ｂ）に示すように、カメラ１１１で取得した映像（又はフレーム）には、映像毎に識別情報５２０が存在し、映像の識別情報５２０と、当該映像から抽出した顔情報５１０とは、互いにマッチングされて存在する。同図に示すように、映像の識別情報及び顔情報は、テーブルの形態で保存部に存在する。
【0108】
映像の識別情報５２０は、ｉ）映像を区分するためのシーケンス番号、ＩＤ（例えば、ＦＲＡＭＥ ｎｏ：＃１０２５）、ｉｉ）映像の撮影日時情報（又はフレームの撮影日時情報，例えば、２０２１－１１－１４－１３：００：０５）、ｉｉｉ）映像を撮影した端末機に関する情報（端末機の識別情報、端末機の位置情報（例えば、ＬＯＢＢＹ Ａ））の少なくとも１つを含む。
【0109】
図５の（ｂ）に示すように、保存部１２０には、映像から認識した顔のそれぞれの顔情報５１０、映像から認識した顔に割り当てたＩＤ、顔を認識した映像の識別情報５２０が互いにマッチングされて保存される。
【0110】
なお、制御部１６０は、カメラ１１１で取得した映像、映像から抽出した顔情報５１０、映像の識別情報などが所定の期間（所定の情報保存期間，例えば、１０分間）にのみ保存部１２０に保存されるように制御することにより、保存部１２０を効率的に用いることができる。
【0111】
例えば、制御部１６０は、所定の時間（所定の情報保存時間）が経過すると、前述した情報が保存部１２０から削除されるように保存部を制御する。
【0112】
一方、カメラから取得される映像に１人のユーザの顔が含まれることもあり、図５の（ａ）に示すように、映像４００に複数の顔２０００ａ、２０００ｂ、２０００ｃ、２０００ｄ、２０００ｅが含まれることもある。この場合、複数の顔に該当するユーザの一部は、ユーザ認証を意図しないユーザである。また、映像に複数の顔が含まれる場合、本当にユーザ認証を意図する特定ユーザであっても、他のユーザの顔により認証が行われないことがある。
【0113】
それだけでなく、空間にユーザ認証を試みるユーザがいないのに、映像４００に含まれる複数の顔２０００ａ、２０００ｂ、２０００ｃ、２０００ｄ、２０００ｅの少なくとも１つの顔に対するユーザ認証が行われることもある。
【0114】
よって、複数のユーザが自由に進入できる空間において顔認識によりユーザ認証を行うためには、ユーザ認証を意図する特定ユーザに対する正確なユーザ認証が必須である。
【0115】
よって、本発明においては、映像４００から認識した顔のうち、所定の顔条件を満たす少なくともいずれかの顔に対するユーザ認証を行う。
【0116】
より具体的には、本発明においては、映像から認識した顔が所定の顔条件を満たすか否かを確認する過程を行う（Ｓ３３０，図３参照）。
【0117】
ここで、所定の顔条件は、認識した顔がユーザ認証を行うのに適した条件を備えているか否かに関するものであり、所定の顔条件は様々に設定される。例えば、所定の顔条件は、ｉ）映像における認識した顔が含まれる位置、ｉｉ）映像における認識した顔が占める領域のサイズ、ｉｉｉ）映像における認識した顔の角度（例：ユーザの顔が正面を向いているか否か）、ｉｖ）ユーザの顔全体を認識したか否か、ｖ）ユーザがマスクを着用しているか否かなどの様々な条件の少なくとも１つに関するものである。制御部１６０は、映像に含まれる顔のうち、所定の顔条件を満たす少なくともいずれかの顔を用いて、当該顔に対応するユーザに対するユーザ認証を行うように制御する。
【0118】
制御部１６０は、映像から複数の顔を認識した場合、認識した複数の顔のそれぞれに対して所定の顔条件を満たすか否かを確認し、複数の顔のうち、所定の顔条件を満たす顔を特定する。
【0119】
例えば、図５の（ａ）のように、制御部１６０は、映像４００から複数の顔を認識した場合、認識した第１顔２０００ａ、第２顔２０００ｂ、第３顔２０００ｃ、第４顔２０００ｄ、第５顔２０００ｅのそれぞれに対して所定の顔条件を満たすか否かを判断する。
【0120】
制御部１６０は、映像４００に所定の顔条件を満たす顔が含まれる場合に限って、当該映像４００に含まれる顔に対応するユーザに対するユーザ認証を行うようにする。すなわち、制御部４００は、映像から顔を認識しても、当該映像に所定の顔条件を満たす顔が存在しない場合、当該映像に含まれる顔に対応するユーザのユーザ認証のためにユーザ認証の要求をサーバに送信する過程を行わない。
【0121】
一方、所定の顔条件の一例として、認識した顔が占める領域のサイズについて説明する。制御部１６０は、映像から認識した複数の顔のそれぞれが占めるサイズ（例えば、顔領域（又はバウンディングボックス領域）のサイズ又は広さ）が所定のサイズ以上であるか否かを判断する。制御部１６０は、所定のサイズ以上である顔が存在すると、当該顔に対応するユーザをユーザ認証の対象となる顔として特定する。
【0122】
例えば、図６の（ａ）に示すように、制御部１６０は、映像６１０から認識した第１顔２０００ａ及び第４顔２０００ｄのうち、所定のサイズ以上である顔領域に含まれる第１顔２０００ａをユーザ認証の対象となる認証対象顔として特定する。
【0123】
また、制御部１６０は、映像において所定のサイズ以上である顔領域が複数の場合、複数の顔領域のうち、最も大きい顔領域に含まれる顔をユーザ認証の対象となる認証対象顔として特定する。
【0124】
例えば、図６の（ａ）に示す映像６１０において、第１顔２０００ａ及び第４顔２０００ｄの両方が所定のサイズ以上であっても、制御部１６０は、最も大きい顔領域に含まれる第１顔２０００ａをユーザ認証の対象となる認証対象顔として特定する。
【0125】
所定の顔条件の他の例として、認識した顔が映像に含まれる位置について説明する。所定の顔条件は、図６の（ａ）に示すように、映像における認識した顔が含まれる位置が映像の所定の位置（例えば、中央６１１）から所定の半径以内であるか否かに関するものである。
【0126】
例えば、図６の（ａ）に示すように、制御部１６０は、映像６１０から認識した第１顔２０００ａ及び第４顔２０００ｄのうち、映像６１０の所定の位置（例えば、映像の中央６１１）から所定の半径以内に位置する第１顔２０００ａをユーザ認証の対象となる認証対象顔として特定する。
【0127】
さらに他の例として、所定の顔条件は、映像から認識した顔が顔全体であるか否かに関するものである。図６の（ｂ）に示すように、映像６２０から認識した第１顔２０００ａがユーザの顔全体に対応しておらず、顔の一部に該当する場合、制御部１６０は、第１顔２０００ａをユーザ認証の対象となる顔認証対象顔として特定しない。この場合、第４顔２０００ｄが前述した所定のサイズを有する顔でない場合、制御部１６０は、当該映像６３０にユーザ認証の対象となる顔が存在しないと判断する。
【0128】
ただし、認証を試みる最も前にいるユーザが近すぎる場合、当該ユーザの顔を一部のみ認識し、その後ろにいる他のユーザの顔が適切なサイズであれば認証対象顔として決定されるので、最も前にいると考えられるユーザ（例えば、顔が最も大きいユーザ）の顔が一部のみ露出していればユーザ認証の対象となる顔がないと判断し、ユーザを少し後ろに下がらせるガイド、又は顔全体が画面に位置するようにユーザを移動させるガイドを出力する。
【0129】
さらに他の例として、所定の顔条件は、映像における認識した顔の角度が所定の方向を基準に所定の角度範囲に含まれるか否かに関するものである。これは、基準方向（例えば、カメラ方向）を向いているか否か、すなわちユーザがカメラの正面を向いているか否かに関するものである。
【0130】
例えば、図６の（ｃ）に示すように、映像６３０から認識した第５顔２０００ｅの角度（例えば、ｘ方向を基準に－ｙに向かって９０゜回転、－９０゜）が、カメラ１１１の正面方向（ｘ）６４１を基準に第１角度（例えば、－２０゜）から第２角度（例えば、＋２０゜）までに該当しない場合、制御部１６０は、第５顔２０００ｅをユーザ認証の対象となる顔として特定しない。
【0131】
すなわち、制御部１６０は、映像における認識した顔の角度が所定の方向を基準に所定の条件を満たす場合にのみ、当該顔が所定の顔条件を満たすと判断する。
【0132】
このように、本発明においては、迅速かつ正確にユーザの顔を認識するために、カメラ１１１により取得した映像において所定の顔条件を満たす顔を確認する。
【0133】
なお、前述したように、所定の顔条件が複数の場合、制御部１６０は、映像において顔が複数の顔条件を全て満たすものに限って、当該映像に含まれる顔をユーザ認証の対象となる顔として特定する。
【0134】
また、映像において所定の顔条件を満たす顔が複数の場合、制御部１６０は、映像において最も大きい顔をユーザ認証の対象となる顔として特定する。それとは異なり、場合によっては、制御部１６０は、映像において所定の顔条件を満たす顔が複数の場合、複数の顔の全てをユーザ認証の対象となる顔として特定する。
【0135】
次に、本発明においては、映像から認識した顔が所定の顔条件を満たすか否かを確認した結果に基づいて、ユーザ認証を要求する過程を行う（Ｓ３４０）。
【0136】
映像から認識した顔が所定の顔条件を満たす場合、制御部１６０は、当該顔に対応するユーザ認証のために、サーバ２００にユーザ認証を要求する。この場合、ユーザ認証の要求は、システム１００からサーバ２００に送信される。
【0137】
それとは異なり、映像から認識した顔が所定の顔条件を満たさない場合、制御部１６０は、サーバ２００にユーザ認証の要求を送信しない。すなわち、制御部１６０は、映像から認識した顔が所定の顔条件を満たすか否かを確認した結果、複数の顔に所定の顔条件を満たす顔が存在しない場合、サーバ２００に対して映像に基づくユーザ認証の要求を送信しない。
【0138】
このように、本発明においては、所定の顔条件を満たす顔に対してユーザ認証プロセスを行うように制御することにより、ユーザ認証を試みるユーザの顔ではない他のユーザの顔に対してユーザ認証を行うことを防止し、ユーザ認証の正確性を向上させることができる。また、不要に認証のための演算を繰り返さないことにより、演算リソースを減らし、迅速な処理を可能にする。
【0139】
なお、本発明においては、ユーザ認証サーバ２００においてユーザ認証プロセスを行う場合について説明しているが、システム１００においてユーザ認証プロセスを行ってもよいことは言うまでもない。
【0140】
制御部１６０は、映像から認識した顔が所定の顔条件を満たす場合、サーバ２００において認識した顔に対するユーザ認証を行うように、認識した顔に関する情報をサーバ２００に送信する。
【0141】
このとき、サーバ２００には、ユーザ認証の要求と共に、認証の対象となるユーザに関する情報を送信する。
【0142】
認証の対象となるユーザに関する情報は、映像に含まれる顔に関する情報であり、ｉ）認識した顔を含む映像、ｉｉ）映像から認識した顔のうち、所定の顔条件を満たす顔に関する識別情報（例：当該顔のＩＤ）、ｉｉｉ）映像から認識した顔のうち、所定の顔条件を満たす顔に関する顔情報の少なくとも１つを含む。
【0143】
ここで、顔情報には、前述したように、ｉ）映像における顔（バウンディングボックス）に関する位置情報（ピクセル座標情報）５１１、ｉｉ）顔のサイズ情報（映像において顔が占める領域のサイズ、又はバウンディングボックスに対応する領域のサイズ（又は広さ）に相当する）５１２、ｉｉｉ）顔の角度情報（顔が基準方向（例：カメラ方向）を向いているか否かに関する情報、ｉｖ）顔特徴情報の少なくとも１つが含まれる。
【0144】
なお、制御部１６０は、映像から認識した顔のうち、認証の対象となる特定ユーザに関する顔情報のみサーバ２００に送信するようにしてもよいことは言うまでもない。例えば、制御部１６０は、サーバ２００に映像自体を送信するのではなく、認証の対象となる特定顔に対応する顔特徴情報をサーバ２００に送信する。この場合、サーバ２００は、システム１００から受信した顔特徴情報に基づいて、ユーザ認証を行う。
【0145】
一方、システム１００においては、映像から複数の顔を認識した場合、複数の顔のうち、認証の対象となる特定顔を特定する情報をサーバ２００に送信しないようにしてもよい。この場合、サーバ２００においては、独自に複数の顔の少なくとも１つの顔に対するユーザ認証を行う。サーバ２００においては、認識した複数の顔のうち、映像において最も大きい領域を占める顔に対してユーザ認証を行う。この場合も、サーバ２００は、複数の顔のうち、前述した所定の顔条件を満たす顔に対してのみユーザ認証を行う。
【0146】
一方、サーバ２００においては、システム１００からのユーザ認証の要求に基づいて、映像から認識した顔に対するユーザ認証を行う。
【0147】
前述したように、サーバ２００に含まれる制御部２３０は、映像に含まれる認証対象ユーザの顔に関する情報と、サーバ２００のユーザＤＢ２２１に保存されている参照顔特徴情報との類似度判断を行う。
【0148】
類似度判断方法の一例として、制御部２３０は、映像に含まれる認証対象ユーザの顔と、ユーザＤＢ２２１に保存されている参照顔画像とを比較して、ユーザ認証を行う。
【0149】
ここで、参照顔画像と、映像に含まれる認証対象ユーザの顔とを比較するとは、参照顔画像に関する特徴点情報と、映像から認識したユーザの顔に関する特徴点情報とを比較することを意味する。すなわち、ユーザＤＢには、参照顔画像に含まれる目、鼻、口などの顔つきに応じてユーザの参照顔画像が定義される特徴点情報が存在する。
【0150】
類似度判断方法の他の例として、サーバ２００に含まれる制御部２３０は、顔画像から抽出した認証対象ユーザの顔についての特徴ベクトルと、参照顔特徴情報に含まれる特徴ベクトルとの類似度の比較により、ユーザ認証を行う。ここで、ユーザＤＢには、様々な参照顔についての特徴ベクトルが保存され、存在する。サーバ２００に含まれる制御部２３０は、認証対象ユーザの顔についての特徴ベクトルに最も類似する特徴ベクトルをユーザＤＢから検索（又は抽出）し、検索した特徴ベクトルと認証対象ユーザの顔についての特徴ベクトルとの類似度が所定の値（閾値）以上であれば、ユーザに対する認証成功として処理する。
【0151】
サーバ２００に含まれる制御部２３０は、認証対象顔に対応する人物がユーザＤＢ２２１から検索されると、認証対象顔に対するユーザ認証を完了する。本発明においては、認証対象顔に対するユーザ認証を完了することを「ユーザ認証成功」ともいう。
【0152】
それとは異なり、サーバ２００に含まれる制御部２３０は、認証対象ユーザの顔に関する情報と、ユーザＤＢに保存されている参照顔特徴情報との類似度が低ければ、ユーザＤＢから認証対象顔に対応する正確な人物を検索することができない。すなわち、サーバ２００に含まれる制御部２３０は、認証対象顔に対するユーザ認証を完了することができない。本発明においては、ユーザＤＢ２２１から認証対象顔に対応する正確な人物を検索できないことを「ユーザ認証失敗」ともいう。
【0153】
また、本発明においては、認証対象顔に対応するユーザにユーザ認証の対象となるイベント又は機能に対する権限がある場合に限って、ユーザ認証成功として処理する。例えば、ユーザ認証の対象となるイベント又は機能が特定空間への進入を許可するためのスピードゲートの制御であれば、サーバ２００は、認証対象ユーザが当該特定空間に進入する権限を有する場合に限って、ユーザ認証成功として処理する。
【0154】
サーバ２００に含まれる制御部２３０は、ユーザＤＢ２２１から認証対象顔に対応する参照顔画像にマッチングされた人物が検索されると、検索された人物にマッチングされたユーザ情報をユーザＤＢ２２１から抽出する。
【0155】
認証対象ユーザの権限に関する情報（又は権限情報）は、ユーザＤＢ２２１に保存されている認証対象ユーザのユーザ情報に含まれ、存在する。
【0156】
ここで、ユーザ認証の対象となるイベント又は機能に対する権限は、様々な意味に解釈される。例えば、ユーザ認証の対象となるイベント又は機能に対する権限は、ｉ）認証対象顔に対応するユーザ（以下、認証対象ユーザ）がユーザ認証の対象となるイベント又は機能の提供を受ける権限を有するか否か、ｉｉ）認証対象ユーザがユーザ認証の対象となるイベント又は機能にアクセスする権限を有するか否か、ｉｉｉ）認証対象ユーザが特定場所に進入する権限を有するか否か、ｉｖ）認証対象ユーザが特定電子機器を制御する権限を有するか否かなどのように、認証対象ユーザが任意の機能、装置又は場所に関してアクセスする権限を有するか否かに関する情報である。
【0157】
例えば、ユーザ認証の対象となるイベント又は機能が、図４の（ａ）に示すように、進入制限ゲート２０を認証対象ユーザの特定場所への進入が可能な開放状態に制御する機能の場合、サーバ２００に含まれる制御部２３０は、認証対象ユーザのユーザ情報に基づいて、認証対象ユーザが特定場所（例えば、建物）に進入する権限があるか否かを判断する。
【0158】
サーバ２００に含まれる制御部２３０は、ユーザＤＢ２２１から抽出したユーザ情報に基づいて、認証対象顔に対応するユーザにユーザ認証の対象となるイベント又は機能に対する権限があるか否かを判断する。
【0159】
サーバ２００に含まれる制御部２３０は、認証対象顔に対応するユーザにユーザ認証の対象となるイベント又は機能に対する権限があれば、ユーザ認証を完了し、ユーザ認証が成功したと判断する。
【0160】
それとは異なり、サーバ２００に含まれる制御部２３０は、認証対象顔に対応する参照顔画像にマッチングされた人物が検索されても、認証対象顔に対応するユーザにユーザ認証の対象となるイベント又は機能に対する権限がないと判断すると、ユーザ認証が失敗したと判断する。
【0161】
一方、サーバ２００は、認証対象顔に対するユーザ認証の結果をシステム１００に送信する。ここで、ユーザ認証が成功した場合、サーバ２００は、認証対象顔に対応するユーザ情報（例えば、名前、勤務部署など）、及びユーザ認証の対象となるイベント又は機能に関する制御命令の少なくとも１つをシステム１００に送信する。
【0162】
また、サーバ２００は、ユーザ認証が成功した場合、認証対象顔に対応するユーザ情報（例えば、名前、勤務部署など）をシステム１００に送信し、ユーザ認証の対象となるイベント又は機能に関する制御命令をユーザ認証の対象となるイベント又は機能に関する装置（例えば、進入制限ゲート２０）に送信するようにしてもよい。
【0163】
一方、本発明においては、サーバ２００から受信した認証対象顔に対するユーザ認証の結果に基づいて、認証対象顔に対するユーザ認証の結果に応じて制御する過程を行う。
【0164】
システム１００の制御部１６０は、ユーザ認証の結果に基づいて異なる制御を行う。
【0165】
より具体的には、制御部１６０は、認証対象顔に対するユーザ認証の成功及び失敗に基づいて、認証対象ユーザに対して異なる情報が提供されるように、ディスプレイ部１４０及び音響出力部１５０の少なくとも１つを制御する。
【0166】
認証対象顔に対するユーザ認証が成功すると、制御部１６０は、ディスプレイ部１４０及び音響出力部１５０の少なくとも１つにより、認証対象ユーザにユーザ認証成功に対応する情報を提供する。ここで、制御部１６０は、認証対象顔に対応するユーザ情報を用いて、認証対象ユーザのカスタマイズ情報を提供する。
【0167】
一例として、図８の（ａ）及び（ｂ）に示すように、第１顔２０００ａ及び第２顔２０００ｂに対するユーザ認証が成功すると、制御部１６０は、第１顔２０００ａ及び第２顔２０００ｂに対応するユーザの名前と共にユーザ認証成功に対応する情報（例えば、「Ｗｅｌｃｏｍｅ ＵＳＥＲ１様 ようこそ！」）８１０、８２０がディスプレイ部１４０上に視覚的に出力されるようにディスプレイ部１４０を制御する。また、制御部１６０は、ユーザ認証成功に対応する情報が音響出力部１５０により聴覚的に出力されるように音響出力部１５０を制御する。
【0168】
他の例として、図８の（ｃ）に示すように、第３顔２０００ｃに対するユーザ認証が失敗すると、制御部１６０は、ユーザ認証失敗に対応する情報（例えば、「Ｏｏｐｓ！ ユーザ登録をしてください」）８３０がディスプレイ部１４０上に視覚的に出力されるようにディスプレイ部１４０を制御する。また、制御部１６０は、ユーザ認証成功に対応する情報が音響出力部１５０により聴覚的に出力されるように音響出力部１５０を制御する。
【0169】
さらに、制御部１６０は、認証対象顔に対するユーザ認証の成功及び失敗に基づいて、ユーザ認証の対象となるイベント又は機能が実行されるようにイベント又は機能に関する制御を行う。
【0170】
前述したとおり、図４の（ａ）に示すように、ユーザ認証の対象となるイベント又は機能は、進入制限ゲート２０を認証対象ユーザの特定場所への進入が可能な又は不可能な状態に制御するものであってもよい。この場合、サーバ２００から受信されるユーザ認証の結果に応じて、制御部１６０は、進入制限ゲート２０が開放状態及び閉鎖状態のいずれかの状態を有するように、進入制限ゲート２０を制御する。
【0171】
より具体的には、制御部１６０は、認証対象顔に対するユーザ認証が成功すれば、認証対象顔に対応するユーザが進入制限ゲート２０を通過できるように、所定の時間進入制限ゲート２０が開放状態を有するように制御する。また、制御部１６０は、所定の時間が経過すると、進入制限機能が実行されるように、進入制限ゲート２０が閉鎖状態を有するように制御する。
【0172】
それとは異なり、制御部１６０は、認証対象顔に対するユーザ認証が失敗すれば、認証対象顔に対応するユーザが進入制限ゲート２０を通過できないように、進入制限ゲート２０が閉鎖状態を有するように制御する。
【0173】
一方、進入制限ゲート２０は、サーバ２００から受信される制御命令に基づいて、開放状態又は閉鎖状態を制御する。サーバ２００は、ユーザ認証の結果をシステム１００だけでなく、進入制限ゲート２０にも送信する。進入制限ゲート２０は、サーバ２００から受信されるユーザ認証の結果に基づいて、開放状態を制御する。
【0174】
このように、本発明においては、所定の顔条件を満たす顔に対してユーザ認証を行うことにより、ユーザ認証に要するデータ処理を効率的に管理することができる。
【0175】
一方、本発明においては、所定の顔条件を満たす認証対象顔に対してユーザ認証を行う前に、認証対象顔に対応するユーザが本当にユーザ認証を望んでいるか否かのユーザ認証意図を把握することにより、当該ユーザにユーザ認証意図がある場合に限って、ユーザ認証を行う。以下、ユーザの認証意図を把握する方法について具体的に説明する。
【0176】
本発明においては、映像から認識した顔が所定の顔条件を満たす場合、所定の顔条件を満たす顔のユーザにユーザ認証を行う意図があるか否かを判断する。また、判断の結果に基づいて、ユーザ認証を選択的に行う。
【0177】
制御部１６０は、所定の顔条件を満たし、且つ、認証対象顔に対応するユーザに認証意図があると判断した場合に、認証対象顔に対するユーザ認証をサーバ２００に要求する。
【0178】
それとは異なり、本発明においては、映像から認識した顔が所定の顔条件を満たさないか、所定の顔条件を満たしたとしても、顔に対応するユーザにユーザ認証意図がないと判断すると、認識した顔に対するユーザ認証をサーバ２００に要求しない。
【0179】
制御部１６０は、認証対象顔でないか、認証対象顔に対応するユーザにユーザ認証意図がないと判断すると（例えば、進入制限ゲートであれば、ゲートを通過する意図のない通りすがりのユーザや、進入制限ゲートから出てきたユーザなど）、ユーザ認証サーバ２００への認証対象顔に対するユーザ認証の要求が制限されるように制御する。
【0180】
認証対象顔に対応するユーザのユーザ認証の判断は、認証対象ユーザに関して保存部１２０に保存されている情報に基づいて行う。
【0181】
ここで、認証対象ユーザに関して保存部１２０に保存されている情報は、認証対象ユーザの顔が含まれる映像、及び当該映像に含まれる認証対象ユーザの顔情報の少なくとも１つを含む。
【0182】
制御部１３０は、図７Aに示すように、現在時点ｔ０で撮影した映像（例えば、第１映像）７００、及び現在時点ｔ０より前の時点（過去時点，ｔｐ１～ｔｐ３など）で撮影した少なくとも１つの映像７１０、７２０、７３０から抽出した認証対象ユーザの顔情報を用いて、認証対象ユーザの意図を判断する。
【0183】
制御部１６０は、認証対象顔２０００ａを認識した第１映像７００を取得した時点ｔ０より前の時点ｔｐ１，ｔｐ２，ｔｐ３で取得した第２映像７１０、第３映像７２０、第４映像７３０から抽出した認証対象ユーザの特定ＩＤ（ＵＳＥＲ１）にマッチングされた顔情報が保存部１２０に存在するか否か確認する。
【0184】
より具体的には、制御部１６０は、第１映像７００において認証対象顔に割り当てたＩＤと同じＩＤにマッチングされた顔情報が保存部１２０に存在するか否か確認する。
【0185】
特定ＩＤにマッチングされた顔情報は、特定ＩＤを割り当てた顔２０００ａに関する顔情報であることが理解されるであろう。
【0186】
前述したように、顔情報は、映像から抽出される特定顔（又は顔画像）に関する様々な情報である。例えば、顔情報には、ｉ）顔（顔画像）に関する位置情報、ｉｉ）顔に関するサイズ情報（顔画像又はバウンディングボックスに対応する領域のサイズ（又は広さ））、ｉｉｉ）顔に関する角度情報、ｉｖ）顔特徴情報の少なくとも１つが含まれる。
【0187】
制御部１６０は、第１映像７００において認証対象顔２０００ａに割り当てたＩＤと同じＩＤにマッチングされた顔情報が存在すれば、第１映像７００から抽出した認証対象顔２０００ａの顔情報、及び第１映像７００より前の時点で撮影した映像７１０、７２０、７３０から抽出した認証対象顔２０００ａの顔情報に基づいて、認証対象顔（又はバウンディングボックス）のサイズ及び位置の変化量を算出する。
【0188】
ここで、認証対象顔のサイズ及び位置の変化量とは、認証対象顔を認識した複数の映像７００、７１０、７２０、７３０における認証対象顔に対応する領域のサイズ及び認証対象顔に対応する座標の変化の程度を意味することが理解されるであろう。
【0189】
一例として、図７Aにおいて、現在時点ｔ０で取得した第１映像７００における認証対象顔２０００ａのサイズが、第１過去時点ｔｐ１で取得した第２映像７１０における認証対象顔２０００ａのサイズより相対的に大きくなった場合（領域の広さが増加した場合）、各映像における認証対象顔２０００ａのサイズ差（又は広さ差）がすなわち認証対象顔のサイズの変化量である。
【0190】
他の例として、図７Bにおいて、現在時点ｔ０で取得した第１映像７００における認証対象顔２０００ａの位置（ピクセル座標）と、第１過去時点ｔｐ１で取得した第２映像７１０における認証対象顔２０００ａの位置（ピクセル座標）の差がすなわち認証対象顔の位置の変化量である。また、各映像撮影時点間の差とサイズの変化を用いて、ユーザがシステムに接近する速度や移動する速度なども計算する。
【0191】
このように、制御部１６０は、顔情報に基づいて、認証対象顔のサイズ及び位置の変化量の少なくとも１つを算出し、算出した変化量に基づいて、認証対象顔に対応するユーザのユーザ認証意図を判断する。
【0192】
制御部１６０は、算出した変化量に基づいて、認証対象顔に対応するユーザがシステム１００又は進入制限ゲート２０に接近したと判断すると、認証対象顔に対応するユーザがユーザ認証意図を有すると判断する。
【0193】
具体的には、制御部１６０は、認証対象顔のサイズが時間の流れに従って増加する場合、認証対象顔に対応するユーザがユーザ認証意図を有してシステム１００又はカメラ１１１に接近していると判断する。
【0194】
例えば、図４の（ａ）に示すように、複数のユーザ１０００ａ、１０００ｂ、１０００ｃがユーザ認証のためにシステム１００の前に並んでいると仮定する。ユーザ認証意図を有するユーザは、システム１００又は進入統制ゲート２０から相対的に遠い位置から、システム１００又はカメラ１１１に近い位置に順次移動する。
【0195】
また、図７Aに示すように、制御部１６０は、現在及び過去時点の認証対象顔２０００ａに関する顔情報から算出した顔のサイズの変化量に基づいて、第４映像７３０、第３映像７２０、第２映像７１０及び第１映像７００において時間の流れに従って認証対象顔２０００ａのサイズが増加したと判断すると、認証対象顔２０００ａに対応するユーザがユーザ認証意図を有してシステム１００又はカメラ１１１に接近したと判断する。
【0196】
一方、制御部１６０は、算出した位置の変化量に基づいて、認証対象顔に対応するユーザの顔が特定領域（例えば、中央地点から所定半径以内の領域，図７Bの符号７１０参照）に位置移動したと判断すると、認証対象顔に対応するユーザがユーザ認証意図を有すると判断する。
【0197】
具体的には、制御部１６０は、認証対象顔の位置が時間の流れに従って特定領域（例えば、映像の中央領域）に移動すると、認証対象顔に対応するユーザがユーザ認証意図を有してシステム１００又は進入制限ゲート２０に接近したと判断する。
【0198】
例えば、ユーザ認証意図を有するユーザは、図７Bに示すように、自分の顔が映像の特定領域（例えば、映像の中央地点７４０から所定半径以内）に位置するように、姿勢及び顔の位置を変更する。
【0199】
この場合、図７Bに示すように、制御部１６０は、現在及び過去時点の認証対象顔２０００ａに関する顔情報から算出した顔の位置の変化量に基づいて、第４映像７３０、第３映像７２０、第２映像７１０及び第１映像７００のように、時間の流れに従って認証対象顔２０００ａが特定地点７４０に移動したと判断すると、認証対象顔２０００ａに対応するユーザがユーザ認証意図を有してシステム１００又は進入制限ゲート２０に自分の顔を配置したと判断する。
【0200】
このように、本発明においては、ターゲット映像を取得した時点より前の時点で取得した少なくとも１つの他の映像から抽出した認証対象顔の顔情報を用いて、認証対象顔に対応するユーザがユーザ認証意図を有するか否かを判断する。
【0201】
よって、本発明においては、所定の顔条件を満たす顔を認識しても、ユーザ認証意図のあるユーザの顔に対してのみユーザ認証を行うことにより、ユーザ認証意図のないユーザの顔に対してユーザ認証を行う誤認識を解決することができ、ユーザ認証手段の正確性及び信頼性を向上させることができる。
【0202】
一方、ユーザ認証に成功したにもかかわらず、同一ユーザに対して重複してユーザ認証を処理することがある。
【0203】
例えば、図９の（ａ）に示すように、特定ユーザ（ＵＳＥＲ７）がユーザ認証に成功して進入制限ゲート２０が開放状態に制御されたにもかかわらず、特定ユーザ（ＵＳＥＲ７）が進入制限ゲート２０を通過せずにそのまま立っている場合、図９の（ｂ）に示すように、カメラ１１１は、認証成功ユーザの顔９００が含まれる映像９１０を再び取得する。
【0204】
この場合、サーバ２００においては、システム１００から受信した情報に基づいて、特定ＩＤを有するユーザ（ＵＳＥＲ７）に対するユーザ認証を再び行い、ユーザ認証の結果をシステム１００に送信する。
【0205】
この場合、制御部１６０は、特定ＩＤを有する顔に対するユーザ認証の結果に応じて進入制限ゲート２０に対する制御を行い、その後サーバ２００から特定ＩＤを有する顔に対するユーザ認証の結果を追加で受信すると、追加で受信したユーザ認証の結果に応じた制御が制限的に行われる。
【0206】
制御部１６０は、特定ＩＤ（ＵＳＥＲ７）を有する顔に対するユーザ認証が成功した後、図９の（ｂ）に示すように、所定の時間内に同一ユーザに対するユーザ認証が再び成功すると、認証成功顔９００に対するユーザ認証が再び成功しても、ユーザ認証成功に対応する機能が実行されないように制御する。
【0207】
例えば、図９の（ａ）に示すように、第１時点ｔ０から所定の時間内である第２時点ｔ１で取得した映像９１０に基づいて、特定ＩＤ（ＵＳＥＲ７）を有する顔９１０に対する再認証に成功しても、制御部１６０は、図９の（ｂ）に示すように、ユーザ認証成功に対応する情報（例えば、「Ｗｅｌｃｏｍｅ ＵＳＥＲ７様 ようこそ！」）９２０がディスプレイ部１４０に出力されないようにディスプレイ部１４０を制御する。
【0208】
また、制御部１６０は、所定の時間が経過し、認証成功顔９１０に対するユーザ認証が再び成功すると、ユーザ認証成功に対応するターゲット機能が再び実行されるように制御する。
【0209】
例えば、認証成功ユーザが進入制限ゲート２０の外部に出た後に再び進入制限ゲート２０を通過しなければならないと仮定する。図９の（ａ）及び（ｃ）に示すように、第１時点ｔ０の所定の時間後である第３時点ｔ２で取得した映像９２０に基づいて、特定ＩＤ（ＵＳＥＲ７）を有する顔９１０に対する再認証に成功すると、制御部１６０は、ユーザ認証成功に対応する情報（例えば、「Ｗｅｌｃｏｍｅ ＵＳＥＲ７様 ようこそ！ ２度目の認証ですね」）９３０がディスプレイ部１４０に出力され、進入制限ゲート２０が再び開放状態になるように制御する。ここで、進入制限ゲート２０の制御は、前述したように、サーバ２００において直接行ってもよいことは言うまでもない。
【0210】
一方、本発明においては、複数のユーザが順次ユーザ認証を行う場合、複数のユーザに対するユーザ認証の結果に基づいて実行されるターゲット機能が途切れることなく、順調かつ円滑に滞りなく実行されるように制御する。
【0211】
このように、本発明においては、複数のユーザに対するユーザ認証及びターゲット機能の繰り返しにより生じる時間のターム（ｔｅｒｍ）を短くし、ユーザがユーザ認証により感じる煩雑さを解消することができる。
【0212】
以下、本発明において、複数のユーザが順次特定空間に進入するために、進入制限ゲート２０が開放状態になるようにユーザ認証を行う例について説明する。
【0213】
例えば、図１０の（ａ）に示すように、第１ユーザ１０００ａと進入制限ゲート２０間の距離ａが非常に近い場合、第１ユーザ１０００ａが進入制限ゲート２０の前まで移動する時間より、第１ユーザ１０００ａに対するユーザ認証を行って進入制限ゲート２０が開放状態になるのにかかる時間の方が長い。この場合、第１ユーザ１０００ａにとっては、ユーザ認証を試みるために一次的に停止し、進入制限ゲート２０が開放状態になるまで二次的に待機しなければならないという煩雑さがある。
【0214】
本発明においては、ユーザに対するユーザ認証が完了すると、進入制限ゲート２０が開放状態になるまで待機することなく、ユーザが直ちに進入制限ゲート２０を通過できるようにするために、ユーザとシステム（端末機、カメラ又は進入制限ゲート２０）間に確保しなければならない基準距離に基づいて、所定の顔条件を判断する。ここで、所定の顔条件には、映像に含まれるユーザの顔のサイズに関する条件が含まれる。サーバ２００におけるユーザ認証処理時間、ユーザ認証の結果に応じた進入制限ゲート２０の制御時間、及びユーザの移動時間を考慮して、映像において顔が占める領域のサイズについての条件が設定される。
【0215】
制御部１３０は、映像に含まれる顔のサイズが所定の顔サイズ条件より大きい場合、映像に含まれる顔のサイズが所定の顔サイズ条件を満たすと判断する。その所定の顔サイズ条件は、ユーザと進入制限ゲート２０間の距離に関するものであり、その距離とは、ユーザが進入制限ゲート２０に到達する前に、ユーザ認証及び進入制限ゲート２０の開放状態への制御を全て行うのに十分な時間を確保できる距離を意味する。
【0216】
このように、本発明においては、ユーザが特定空間に進入するためにユーザ認証を行う場合、ユーザがユーザ認証のために待機することなく特定空間に進入できるように、ユーザに要求する最小基準距離を設定する。
【0217】
以下、複数のユーザがより便利かつ円滑に進入制限ゲート２０を通過する方法について説明する。
【0218】
本発明においては、複数のユーザの顔に対するユーザ認証が連続して成功すると、複数のユーザが全て通過するまで、進入制限ゲート２０の開放状態が維持されるように進入制限ゲート２０を制御することにより、進入制限ゲート２０が開放状態及び閉鎖状態を繰り返す動作時間及び不要なエネルギーを削減することができる。
【0219】
図１１に示すように、制御部１６０は、カメラ１１１で取得した映像１１１０、１１２０、１１３０から複数の顔２０００ａ、２０００ｂ、２０００ｃを認識し、サーバ２００において行ったユーザ認証の結果、複数の顔２０００ａ、２０００ｂ、２０００ｃのそれぞれに対するユーザ認証が全て成功すると、複数の顔それぞれに対応する複数のユーザが全て通過する（ｔ０時点からｔ２時点）まで、進入制限ゲート２０が開放状態を維持するように制御する。
【0220】
ここで、映像から認識した複数の顔２０００ａ、２０００ｂ、２０００ｃは、前述した所定の顔条件を満たす顔であることが理解されるであろう。
【0221】
ここで、複数の顔２０００ａ、２０００ｂ、２０００ｃに対応するユーザは、ユーザ認証意図を有するユーザであり、制御部１３０は、前述したように現在時点及び過去時点で撮影した映像に基づいて、複数のユーザのそれぞれの意図を判断する。
【0222】
このように、本発明においては、映像から認識した複数の顔２０００ａ、２０００ｂ、２０００ｃのそれぞれに対するユーザ認証が全て成功すると、複数の顔のそれぞれに対応する複数のユーザが全て通過する（ｔ０時点からｔ２時点）まで、進入制限ゲート２０が開放状態を維持するように制御する。
【0223】
よって、本発明においては、ユーザが進入制限ゲート２０を通過する度に進入制限ゲート２０が開放状態及び閉鎖状態を繰り返す所要時間を短縮し、ユーザ認証が完了すればユーザが直ちに進入制限ゲート２０を通過できるようにする。
【0224】
また、本発明においては、進入制限ゲート２０が開放状態及び閉鎖状態を繰り返すことに要するエネルギーを削減することができる。
【0225】
一方、図１２の（ａ）に示すように、特定空間１には互いに異なる複数の進入制限ゲート２０ａ、２０ｂが存在してもよい。本発明のシステム１００は、複数の進入制限ゲート２０ａ、２０ｂに関する互いに異なるカメラ１１１ａ、１１１ｂで取得した映像を用いて、複数の進入制限ゲート２０ａ、２０ｂのそれぞれにおけるユーザ認証を個別に行う。
【0226】
例えば、本発明によるシステム１００は、第１カメラ１１１ａで取得した映像１２１０を用いて、第１進入制限ゲート２０ａにおけるユーザ認証を行い、第２カメラ１１１ｂで取得した映像１２２０を用いて、第２進入制限ゲート２０ｂにおけるユーザ認証を行う。
【0227】
一方、第１進入制限ゲート２０ａ及び第２進入制限ゲート２０ｂの周辺には、各進入制限ゲートを通過しようとする複数のユーザが位置する。
【0228】
第１進入制限ゲート２０ａ又は第１カメラ１１１ａの前には、第１進入制限ゲート２０ａを通過しようとする第１ユーザ１０００ａ、第２ユーザ１０００ｂ、第３ユーザ１０００ｃが順に並んでいる。
【0229】
また、第２進入制限ゲート２０ｂ又は第２カメラ１１１ｂの周辺には、第２進入制限ゲート２０ｂを通過しようとする第４ユーザ１０００ｄ、第５ユーザ１０００ｅが順に並んでいる。
【0230】
本発明においては、第１カメラ１１１ａで撮影した映像１２１０、及び第２カメラ１１１ｂで撮影した映像１２２０の両方から認識した特定ユーザに対するユーザ認証を重複して行わないように制御する。
【0231】
より具体的には、ユーザ認証サーバ２００は、複数の進入制限ゲートのうち、第１進入制限ゲート２０ａへの進入のために、特定ＩＤを有する認証対象顔に対する第１ユーザ認証を要求し、その後、所定の時間内に、第２進入制限ゲート２０ｂへの進入のために、特定ＩＤを有する認証対象顔に対する第２ユーザ認証を要求した場合、第２ユーザ認証の要求に応じたユーザ認証は行わないように制御する。
【0232】
図１２の（ａ）に示すように、第１進入制限ゲート２０ａを通過するために、第１ユーザ１０００ａは、第１進入制限ゲート２０ａに関する第１カメラ１１１ａによりユーザ認証を試みる。
【0233】
この場合、図１２の（ｂ）及び（ｃ）に示すように、第１ユーザ１００ａの第１顔２０００ａは、第１カメラ１１１ａで撮影した映像１２１０、及び第２カメラ１１１ｂで撮影した映像１２２０の両方に含まれる。
【0234】
制御部１６０は、第１カメラ１１１ａで撮影した映像１２１０、及び第２カメラ１１１ｂで撮影した映像１２２０から認識した第１顔２０００ａがどちらも所定の顔条件を満たせば、ユーザ認証サーバ２００にユーザ認証の要求を重複して行う。
【0235】
すなわち、サーバ２００は、システム１００から、第１カメラ１１１ａで撮影した映像１２１０から認識した第１顔２０００ａに対する第１ユーザ認証の要求、及び第２カメラ１１１ｂで撮影した映像１２２０から認識した第１顔２０００ａに対する第２ユーザ認証の要求を受信する。
【0236】
図１３に示すように、サーバ２００は、互いに異なる進入制限ゲート２０ａ、２０ｂへの進入のために、所定の時間内に同じ第１顔２０００ａに対する第１ユーザ認証の要求と第２ユーザ認証の要求があった場合、先に要求された第１ユーザ認証の要求を処理し、それ以降は、第２ユーザ認証の要求に応じたユーザ認証を行わない。
【0237】
また、サーバ２００は、システム１００に、第２ユーザ認証の要求に応じたユーザ認証の結果を送信しないか、ユーザ認証を行っていないこと（又は第１ユーザ認証の要求と重複すること）を通知する情報を送信する。
【0238】
制御部１６０は、第２進入制限ゲート２０ｂに関する第２ユーザ認証の要求に基づいて、サーバ２００からユーザ認証の結果を受信しないか、ユーザ認証を行っていないこと（又は第１ユーザ認証の要求と重複すること）を通知する情報を受信すると、ユーザ認証の結果に応じた制御を行わないように制御する。
【0239】
一例として、図１３に示すように、サーバ２００がｔ０時点で第１カメラ１１１ａにより撮影した映像１２１０から認識した第１顔２０００ａに対する第１ユーザ認証を行うと、システム１００は、第１カメラ１１１ａに関する第１進入制限ゲート２０ａの動作を制御し、第１カメラ１１１ａに関する第１ディスプレイ部１４０ａにユーザ認証の結果又はターゲット機能実行に関する案内情報が出力されるように制御する。
【0240】
他の例として、図１３に示すように、ｔ１時点で第２カメラ１１１ｂにより撮影した映像１２２０から認識した第１顔２０００ａに対する第２ユーザ認証の要求を受信すると、サーバ２００は、所定の時間内に同じ第１顔２０００ａに対する第１ユーザ認証の要求があったことに基づいて、第２ユーザ認証の要求に応じたユーザ認証を行わない。ここで、第１ユーザに対するユーザ認証を失敗として処理する。
【0241】
このように、本発明においては、複数の進入制限ゲート２０ａ、２０ｂに関する互いに異なるカメラ１１１ａ、１１１ｂで取得した映像から同じ顔を認識しても、重複認識したユーザに対するユーザ認証を重複処理しないことにより、ユーザが位置する進入制限ゲートの動作のみ正確に処理することができる。
【0242】
前述したように、本発明による顔認識システム及びその制御方法は、顔認識機能を実行する端末機に備えられるカメラを用いて映像を取得し、所定の顔認識アルゴリズムに基づいて、映像から顔を認識することができる。このように、本発明は、ユーザから直接入力されなくても、ユーザが端末機周辺に位置することに基づいて、ユーザの顔を正確かつ迅速に認識することができる。よって、ユーザは、端末機周辺に位置することにより、自分の顔を端末機にさらに便利かつ直観的に送信することができる。
【0243】
また、本発明による顔認識システム及びその制御方法は、映像から認識した顔がユーザ認証を行うのに適切であるか否かを判断することができる。すなわち、本発明においては、映像から認識した顔が所定の顔条件を満たすか否かを確認することにより、ユーザ認証に適さない顔を認識した場合はユーザ認証を行わないようにし、データ処理の効率を図ることができる。
【0244】
さらに、本発明による顔認識システム及びその制御方法は、所定の顔条件を満たすユーザに限ってユーザ認証を行うことにより、端末機周辺に複数のユーザがいる場合も、ユーザ認証を試みるユーザの顔を正確に認識してユーザに対する認証を行うことができる。
【0245】
さらに、本発明による顔認識システム及びその制御方法は、映像から認識した顔が所定の顔条件を満たすか否かに基づいて、所定のサーバに認識した顔に対するユーザ認証を要求することができる。このように、本発明による顔認識システム及びその制御方法は、本当にユーザ認証を望んでいるユーザの顔に対してユーザ認証を行うことにより、ユーザ認証を試みないユーザや、ユーザ認証を試みるユーザの周辺にいる他のユーザに対してユーザ認証を行うエラーを減少させ、ユーザ認証の結果の正確性及び信頼性を向上させることができる。
【0246】
なお、コンピュータ読取可能な媒体には、コンピュータシステムにより読み出されるデータが保存されるあらゆる種類の記録装置が含まれる。コンピュータ読取可能な媒体の例としては、ＨＤＤ（Ｈａｒｄ Ｄｉｓｋ Ｄｒｉｖｅ）、ＳＳＤ（Ｓｏｌｉｄ Ｓｔａｔｅ Ｄｉｓｋ）、ＳＤＤ（Ｓｉｌｉｃｏｎ Ｄｉｓｋ Ｄｒｉｖｅ）、ＲＯＭ、ＲＡＭ、ＣＤ－ＲＯＭ、磁気テープ、フロッピーディスク、光データ記憶装置などが挙げられる。
【0247】
また、コンピュータ読取可能な媒体には、保存場所が含まれ、端末機が通信を介してアクセスできるサーバ又はクラウド保存場所が含まれる。この場合、コンピュータは、有線又は無線通信を介して、サーバ又はクラウド保存場所から本発明によるプログラムをダウンロードすることができる。
【0248】
さらに、本発明において、前述したコンピュータは、プロセッサ、すなわちＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ，中央処理装置）が搭載された端末機であり、その種類はいかなるものでもよい。
また、本開示の保存部１２０や制御部１６０等の構成や機能は、例えば、コンピュータのメモリやプロセッサにより具現・実行される場合がある。
また、本開示の保存部１２０や制御部１６０等の構成や機能は、例えば、コンピュータのメモリやプロセッサにより具現・実行される場合がある。
【0249】
なお、上記詳細な説明は、いかなる面でも制限的に解釈されてはならず、例示的なものと考慮されるべきである。本発明の範囲は特許請求の範囲の合理的解釈により定められるべきであり、本発明の等価的範囲内におけるあらゆる変更が本発明に含まれる。
【符号の説明】
【0250】
１ 特定空間
２０ 進入制限ゲート
２０ａ 第１進入制限ゲート
２０ｂ 第２進入制限ゲート
１００ 顔認識システム
１１１ カメラ
１２０ 保存部
１６０ 制御部
２００ サーバ
２２０ 保存部
４００，６１０，６２０，６３０，９１０，１１１０，１１２０，１１３０，１２１０，１２２０ 映像
５１０ 顔情報
５１１ 位置情報
５１２ サイズ情報
２０ 進入制限ゲート
２０ａ 第１進入制限ゲート
２０ｂ 第２進入制限ゲート
１００ 顔認識システム
１１１ カメラ
１２０ 保存部
１６０ 制御部
２００ サーバ
２２０ 保存部
４００，６１０，６２０，６３０，９１０，１１１０，１１２０，１１３０，１２１０，１２２０ 映像
５１０ 顔情報
５１１ 位置情報
５１２ サイズ情報
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7A】
【図7B】
【図8】
【図9】
【図10】
【図11】
【図12】
【図13】
