特許 7504478 ユーザ認証装置、ユーザ認証方法及びコンピュータで読出し可能な記録媒体

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2024-06-14

(45)【発行日】2024-06-24

(54)【発明の名称】ユーザ認証装置、ユーザ認証方法及びコンピュータで読出し可能な記録媒体

(51)【国際特許分類】

   G06T 7/00 20170101AFI20240617BHJP

   G06T 1/00 20060101ALI20240617BHJP

   G06F 21/32 20130101ALI20240617BHJP

   E05B 49/00 20060101ALI20240617BHJP

【ＦＩ】

G06T7/00 510F

G06T1/00 400H

G06F21/32

E05B49/00 R

【請求項の数】 2

(21)【出願番号】P 2021552497

(86)(22)【出願日】2020-06-18

(65)【公表番号】

(43)【公表日】2022-04-19

(86)【国際出願番号】 KR2020007933

(87)【国際公開番号】W WO2021060670

(87)【国際公開日】2021-04-01

【審査請求日】2021-09-02

(31)【優先権主張番号】10-2019-0118786

(32)【優先日】2019-09-26

(33)【優先権主張国・地域又は機関】KR

(31)【優先権主張番号】10-2020-0042142

(32)【優先日】2020-04-07

(33)【優先権主張国・地域又は機関】KR

【前置審査】

(73)【特許権者】

【識別番号】521393971

【氏名又は名称】アンドオープン カンパニー， リミテッド

(74)【代理人】

【識別番号】240000327

【弁護士】

【氏名又は名称】弁護士法人クレオ国際法律特許事務所

(72)【発明者】

【氏名】リ チュン ク

(72)【発明者】

【氏名】オ トン ヒョン

【審査官】宮島 潤

(56)【参考文献】

【文献】特開２００７－４６１２（ＪＰ，Ａ）

【文献】特開２０１７－５５２５０（ＪＰ，Ａ）

【文献】特開２００８－３０５３３２（ＪＰ，Ａ）

【文献】特開２００８－１５８５９７（ＪＰ，Ａ）

【文献】国際公開第２００９／１０７２３７（ＷＯ，Ａ１）

【文献】特開２０１９－２８５１６（ＪＰ，Ａ）

【文献】特開２００５－２１６０５７（ＪＰ，Ａ）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ０６Ｔ ７／００

Ｇ０６Ｖ ４０／００ － ４０／１６

Ｇ０６Ｖ ４０／１８ － ４０／１９

Ｇ０６Ｖ ４０／３０ － ４０／７０

Ｇ０６Ｔ １／００

(57)【特許請求の範囲】

【請求項1】

ユーザを認証するためのユーザ認証装置であって、
前記ユーザのカードを認識するときに前記カードに格納された前記ユーザの顔イメージを取得するカード読取り器と、
ユーザに向かって赤外線を放射する赤外線光源と、
ユーザに向かって白色光を放射する白色光源と、
前記ユーザの顔領域を含む赤外線イメージを取得する赤外線カメラと、
前記ユーザの顔領域を含むカラーイメージを取得するカラーカメラと、
前記赤外線イメージ及び前記カラーイメージの少なくとも一方と、前記顔イメージと、
に基づいてユーザ認証の結果を決定し、前記ユーザ認証の結果による制御信号を生成する制御部と、
を含み、
前記ユーザ認証は、前記ユーザのカードの有効性の有無の判断と、前記赤外線イメージ及び前記カラーイメージの少なくとも一方に基づいて、前記ユーザが生きている本物のオブジェクトであるか否かを決定するライブネス検査と、顔認証と、を含み、
前記ライブネス検査は、前記赤外線イメージ及び前記カラーイメージの少なくとも一方における前記ユーザの顔領域の存在の有無を検査することにより行われ、
前記制御部は、
前記ライブネス検査により前記ユーザが本物のオブジェクトでなく、前記ライブネス検査の結果が失敗であると決定された場合に、前記ユーザ認証の最終結果が失敗したものと決定し、
前記ライブネス検査により、前記ユーザが本物のオブジェクトであり、前記ライブネス検査の結果が成功であると決定された場合、前記顔認証に移行し、当該顔認証において、
前記カード読取り器を介して前記ユーザのカードから取得した前記顔イメージから、顔特徴点情報を含む第１顔特徴を抽出し、前記赤外線イメージ及び前記カラーイメージのうち少なくとも一方から、顔特徴点情報を含む第２顔特徴を抽出し、前記第１顔特徴と前記第２顔特徴との類似度を算出し、算出された当該類似度が閾値以上である場合に、前記顔認証の結果が成功したものと決定し、
前記カードの有効性の有無の判断することは、カードが認識されれば、前記カードからカード識別情報を受信し、前記受信したカード識別情報に基づいて前記カードが有効なカードであるか否かを決定することを含み、
前記ユーザ認証装置は、前記カードが有効なカードであると決定されれば、ライブネス検査過程及び顔の認証過程のユーザ認証手続を引き続き行い、前記カードが有効なカードでないものと決定されれば、前記ユーザ認証手続を中断し、
前記制御部は、前記ユーザ認証が全て終了したときに、 前記取得した赤外線イメージ、前記取得したカラーイメージ、及び取得した前記顔イメージを格納部から削除するように制御する、
ユーザ認証装置。

【請求項2】

ユーザ認証装置によって行われるユーザを認証するユーザ認証方法であって、
カード読取り器を介して、前記ユーザのカードに格納された顔イメージを取得するステップと、
前記ユーザに向かって赤外線を放射するステップと、
前記ユーザに向かって白色光を放射するステップと、
前記ユーザの顔領域を含む赤外線イメージと前記ユーザの顔領域を含むカラーイメージを取得するステップと、
前記赤外線イメージ及び前記カラーイメージの少なくとも一方と、顔イメージと、に基づいてユーザ認証の結果を決定するステップと、
を含み、
前記ユーザ認証は、前記ユーザが提示したカードの有効性の有無の判断と、前記赤外線イメージ及び前記カラーイメージの少なくとも一方に基づいて、前記ユーザが生きている本物のオブジェクトであるか否かを決定するライブネス検査と、顔認証と、を含み、
前記ライブネス検査は、前記赤外線イメージ及び前記カラーイメージの少なくとも一方における前記ユーザの顔領域の存在の有無を検査することにより行われ、
前記ユーザ認証の結果を決定するステップは、
前記ライブネス検査により、前記ユーザが本物のオブジェクトでなく、前記ライブネス検査の結果が失敗であると決定された場合に、前記ユーザ認証の最終結果が失敗したものと決定するステップと、
前記ライブネス検査により、前記ユーザが本物のオブジェクトであり、前記ライブネス検査の結果が成功であると決定された場合に、顔認証に移行するステップと、
前記顔認証において、前記カード読取り器を介して前記ユーザのカードから取得した前記顔イメージから、顔特徴点情報を含む第１顔特徴を抽出し、前記赤外線イメージ及び前記カラーイメージのうち少なくとも一方から、顔特徴点情報を含む第２顔特徴を抽出し、
前記第１顔特徴と前記第２顔特徴との類似度を算出し、算出された前記類似度が閾値以上である場合に、前記顔認証の結果が成功したものと決定するステップと、
を含み、
前記カードの有効性の有無の判断することは、カードが認識されれば、前記カードからカード識別情報を受信し、前記受信したカード識別情報に基づいて前記カードが有効なカードであるか否かを決定することを含み、
前記ユーザ認証装置は、前記カードが有効なカードであると決定されれば、ライブネス検査過程及び顔の認証過程のユーザ認証手続を引き続き行い、前記カードが有効なカードでないものと決定されれば、前記ユーザ認証手続を中断し、
制御部は、前記ユーザ認証が全て終了したときに、 前記取得した赤外線イメージ、前記取得したカラーイメージ、及び取得した前記顔イメージを格納部から削除するように制御する、
ユーザ認証方法。

【発明の詳細な説明】

【技術分野】

【0001】

以下の説明は、セキュリティーカードを用いたユーザ認証装置及びユーザ認証方法に関する。

【背景技術】

【0002】

重要な施設を含むセキュリティーが求められる施設の出入口には、一般的に、出入者の身分を確認し、立入り権限によりユーザの立入りを統制するユーザ認証システムが設けられている。このようなユーザ認証システムにおいて、ユーザの出入り権限を確認するための手段として出入カードが幅広く使われており、セキュリティー性を高めるために、生体認証を使用する出入統制システムも開発されている。

【0003】

出入りカードを使用する方式の場合、出入りカードの紛失、未返却、権限のない第３者が出入りカードを習得したり詐取して、施設に出入りする問題が発生する恐れがある。また、顔、指紋、紅彩などの生体情報を使用する出入り規制システムは、上記で説明した出入りカードを使用する方式の問題を克服することは可能であるが、誤拒否率が存在し、ユーザが増えるほど誤認識率が高くなり、出入り規制システムの実現のためのコストが大きくなるという限界が存在する。また、ユーザ固有の生体情報の格納及び管理に高額のコストが費やされ、生体情報のハッキングに対する恐れも存在する。

【0004】

上記のような問題を効率よく解消できるユーザ認証技術に対する研究及び開発が求められている。

【発明の概要】

【発明が解決しようとする課題】

【0005】

一実施形態に係るユーザ認証装置は、カードが認識される場合、前記カードに格納された顔イメージを取得するカード読取り器と、ユーザに向かって赤外線を放射する赤外線光源と、前記ユーザの顔領域を含む赤外線イメージを取得する赤外線カメラと、前記ユーザの顔領域を含むカラーイメージを取得するカラーカメラと、前記赤外線イメージ、前記カラーイメージ、及び前記の顔イメージのうち少なくとも１つに基づいてユーザ認証結果を決定し、前記ユーザ認証結果による制御信号を生成する制御部とを含み、前記制御部は、前記赤外線イメージに基づいてライブネス検査を行って前記ライブネス検査結果が成功であると決定された場合、前記カラーイメージ及び前記赤外線イメージのうち少なくとも１つに示された顔領域の情報と前記カードから取得した顔イメージに基づいて顔の認証結果を決定することができる。

【0006】

前記制御部は、前記赤外線イメージに基づいてライブネス検査を行って前記ライブネス検査結果が成功であると決定された場合、前記カラーイメージ及び前記赤外線イメージのうち少なくとも１つに示された顔領域の情報と前記カードから取得した顔イメージに基づいて顔の認証結果を決定することができる。

【0007】

前記制御部は、前記ユーザ認証結果が決定された場合、前記取得した赤外線イメージ、前記取得したカラーイメージ、及び前記取得した顔イメージを格納部から削除するように制御することができる。

【0008】

前記制御部は、前記赤外線イメージで前記赤外線がユーザの瞳孔に反射して示された反射点の存在有無を検査し、前記赤外線イメージに前記反射点が存在しないものと決定された場合、前記ユーザ認証結果を認証失敗として決定することができる。

【0009】

前記制御部は、前記赤外線イメージに瞳孔の反射点が存在するものと決定された場合、前記カラーイメージ及び前記赤外線イメージのうち少なくとも１つと前記カードに格納された顔イメージに基づいて顔認証を行うことができる。

【0010】

前記制御部は、前記赤外線イメージで前記ユーザの顔領域の存在有無を検査し、前記赤外線イメージから前記の顔領域の検出が失敗した場合、前記ユーザ認証結果を認証失敗として決定することができる。

【0011】

前記制御部は、前記赤外線イメージで赤外線の透過現像及び飽和現像のうち少なくとも１つが発生したか否かを検査し、前記透過現像及び前記飽和現像のうち少なくとも１つが発生した場合、前記ユーザ認証結果を認証失敗として決定することができる。

【0012】

前記カードは、暗号化された顔イメージを含むセキュリティーカードであり、前記制御部は、前記ライブネス検査結果が成功であると決定された場合、前記カード読取り器を介して取得した暗号化された顔イメージから第１顔特徴を抽出し、前記カラーイメージ及び前記赤外線イメージのうち少なくとも１つから第２顔特徴を抽出し、前記第１顔特徴と前記第２顔特徴との間の比較結果に基づいて顔の認証結果を決定することができる。

【0013】

一実施形態に係るユーザ認証方法は、カード読取り器を介してカードに格納された顔イメージを取得するステップと、ユーザに向かって赤外線を放射するステップと、ユーザの顔領域を含む赤外線イメージと前記ユーザの顔領域を含むカラーイメージを取得するステップと、前記赤外線イメージ、前記カラーイメージ、及び前記顔イメージのうち少なくとも１つに基づいてユーザ認証結果を決定するステップとを含み、前記ユーザ認証結果を決定するステップは、前記赤外線イメージに基づいてライブネス検査を行って前記ライブネス検査結果が成功であると決定された場合、前記カラーイメージ及び前記赤外線イメージのうち少なくとも１つに示された顔領域の情報と前記カードから取得した顔イメージに基づいて顔の認証結果を決定するステップを含むことができる。

【0014】

一実施形態に係るユーザ認証方法は、前記ユーザ認証結果が決定された場合、前記取得した赤外線イメージ、前記取得したカラーイメージ、及び前記取得した顔イメージを格納部から削除するステップをさらに含むことができる。

【0015】

前記ユーザ認証結果を決定するステップは、前記赤外線イメージで前記赤外線がユーザの瞳孔に反射して示された反射点の存在有無を検査するステップと、前記赤外線イメージに前記反射点が存在しないものと決定された場合、前記ユーザ認証結果を認証失敗として決定するステップとを含むことができる。

【0016】

前記ユーザ認証結果を決定するステップは、前記赤外線イメージに瞳孔の反射点が存在するものと決定された場合、前記カードに格納された顔イメージと、前記カラーイメージ及び前記赤外線イメージのうち少なくとも１つに基づいて顔認証を行うステップを含むことができる。

【0017】

前記ユーザ認証結果を決定するステップは、前記赤外線イメージから前記ユーザの顔領域の存在有無を検査するステップと、前記赤外線イメージから前記の顔領域の検出が失敗した場合、前記ユーザ認証結果を認証失敗として決定するステップとを含むことができる。

【0018】

前記ユーザ認証結果を決定するステップは、前記赤外線イメージで赤外線の透過現像及び飽和現像のうち少なくとも１つが発生したか否かを検査するステップと、前記透過現像及び前記飽和現像のうち少なくとも１つが発生した場合、前記ユーザ認証結果を認証失敗として決定するステップとを含むことができる。

【0019】

前記ユーザ認証結果を決定するステップは、前記ライブネス検査結果が成功であると決定された場合、前記カード読取り器を介して取得した暗号化された顔イメージから第１顔特徴を抽出するステップと、前記カラーイメージ及び前記赤外線イメージのうち少なくとも１つから第２顔特徴を抽出するステップと、前記第１顔特徴と前記第２顔特徴との間の比較結果に基づいて顔の認証結果を決定するステップとを含むことができる。

【図面の簡単な説明】

【0020】

【図1】一実施形態に係るセキュリティーカードを活用したユーザ認証システムの概要を説明するための図である。

【図2】一実施形態に係るセキュリティーカードとユーザ認証装置を含むユーザ認証システムの構成を示す図である。

【図3】一実施形態に係るユーザ認証装置の動作を説明するための図である。

【図4】一実施形態に係るユーザ認証方法の動作を説明するためのフローチャートである。

【発明を実施するための形態】

【0021】

以下、添付の図面を参照して実施形態を詳細に説明する。しかし、実施形態には多様な変更が加えられることができ、特許出願の権利範囲がこの実施形態により制限されたり限定されることはない。実施形態に対するすべての変更、均等物ないし代替物が権利範囲に含まれるものとして理解されなければならない。

【0022】

本明細書で用いる用語は、単に特定の実施形態を説明するために用いられるものであって、本発明を限定しようとする意図はない。単数の表現は、文脈上、明白に異なる意味をもたない限り複数の表現を含む。本明細書において、「含む」又は「有する」等の用語は明細書上に記載した特徴、数字、ステップ、動作、構成要素、部品、又はこれらを組み合わせたものが存在することを示すものであって、一つ又はそれ以上の他の特徴や数字、ステップ、動作、構成要素、部品、又はこれらを組み合わせたものなどの存在又は付加の可能性を予め排除しないものとして理解しなければならない。

【0023】

異なるように定義がされない限り、技術的であるか又は科学的な用語を含む。ここで用いる全ての用語は、本実施形態が属する技術分野で通常の知識を有する者によって一般的に理解されるものと同じ意味を有する。一般的に用いられる予め定義された用語は、関連技術の文脈上で有する意味と一致する意味を有するものと解釈すべきであって、本明細書で明白に定義しない限り、理想的又は過度に形式的な意味として解釈されることはない。

【0024】

また、図面を参照して説明する際に、図面符号に拘わらず同じ構成要素は同じ参照符号を付与し、これに対する重複する説明は省略する。実施形態の説明において関連する公知技術に対する具体的な説明が本発明の要旨を不要に曖昧にすると判断される場合、その詳細な説明は省略する。

【0025】

図１は、一実施形態に係るセキュリティーカードを活用したユーザ認証システムの概要を説明するための図である。

【0026】

図１を参照すると、ユーザ１１０は、ユーザ認証装置１３０を介してユーザ認証を試みることができる。本明細書において、ユーザ１１０は、ユーザ認証装置１３０にユーザ認証を試みようとする人を示し、認証対象者として称してもよい。ユーザ１１０は、ユーザ認証のためにユーザ認証装置１３０にカードを認識させることができ、ユーザ認証装置１３０は、カードが認識されればユーザ認証手続を行う。ユーザ認証手続は、検査対象者が生きている本物のオブジェクト（ｇｅｎｕｉｎｅ ｏｂｊｅｃｔ）であるか、そうでなければ、紙、写真、デジタル機器、模型などの偽オブジェクト（ｆａｋｅ ｏｂｊｅｃｔ）であるかを区別するライブネス検査過程と顔イメージに基づいて認証結果を決定する顔の認証過程を含むことができる。

【0027】

一実施形態において、ユーザ認証手続は、カードの有効性の有無を判断する過程を含む。ユーザ認証装置１３０は、カードが認識されれば、カードからカード情報を受信し、受信したカード情報（例えば、カード識別情報など）に基づいて該当カードが有効なカードであるか否かを決定する。ユーザ認証装置１３０は、該当カードが有効なカードであると決定されれば、ライブネス検査過程及び顔の認証過程のユーザ認証手続を引き続き行い、該当カードが有効なカードでないものと決定されれば、ユーザ認証手続を中断してユーザ１１０のアクセスを遮断することができる。

【0028】

本明細書において、カードは、顔イメージを含むセキュリティーカード１２０であってもよい。セキュリティーカード１２０は、例えば、顔イメージが圧縮又は暗号化されて格納されている生体ＩＤカードであってもよい。セキュリティーカード１２０が顔イメージを格納することで、他のシステムで顔認証アルゴリズムが変更されても、既存に発行されたセキュリティーカードが互換されて使用できるという長所を提供する。

【0029】

実施形態により、セキュリティーカード１２０には、名前、メールアドレス、固有識別符号、個人キー、公開キー、証明書、個人データなどの情報がさらに暗号化されて格納されていてもよい。ユーザ１１０は、セキュリティーカード１２０を活用してユーザ認証装置１３０にユーザ認証を試みることができ、ユーザ認証装置１３０は、セキュリティーカード１２０で取得した暗号化された顔イメージと共に、ユーザ１１０の顔を撮影したイメージを用いてユーザ認証を行うことができる。ここで、ユーザ認証装置１３０は、イメージ取得部１４０を介してユーザ１１０の顔に対するカラーイメージと赤外線イメージを取得してもよい。ユーザ認証装置１３０は、赤外線イメージ及び／又はカラーイメージを介してユーザ１１０に対するライブネス検査を行い、セキュリティーカード１２０から取得した顔イメージとカラーイメージ及び／又は赤外線イメージに基づいて顔認証を行うことができる。

【0030】

ユーザ１１０がユーザ認証装置１３０のカード読取り器１５０にセキュリティーカード１２０をタグする場合、セキュリティーカード１２０に格納されている生体情報（例えば、顔イメージ）がカード読取り器１５０を介してユーザ認証装置１３０に送信される。カード読取り器１５０は、近距離無線通信機能を行う通信部（図示せず）を含んでもよい。ユーザ認証装置１３０は、イメージ取得部１４０を介してユーザ１１０の顔１６０に関する顔イメージを取得し、リアルタイムに画像分析を行うことで、セキュリティーカード１２０から取得した顔イメージと、顔イメージ（カラーイメージ及び／又は赤外線イメージ）に示された顔イメージとを比較して顔認証を行うことができる。

【0031】

セキュリティーカード１２０の場合、セキュリティーカード１２０を所有しているユーザ１１０が実際に正当な権限があるか否かを判断し難い側面があるものの、ユーザ認証装置１３０は、カメラを介してユーザ１１０の顔１６０を撮影して顔イメージを取得し、取得した顔イメージとセキュリティーカード１２０から取得した顔イメージに基づいて顔認証を行うことで、セキュリティーカード１２０の短所を補完し、ユーザ認証の正確度及びセキュリティー性を改善することができる。また、ユーザ認証装置１３０は、ユーザ認証結果が導き出されれば、ユーザ認証の過程において利用されたデータ（例えば、セキュリティーカード１２０から取得した顔イメージ、イメージ取得部１４０を介して取得したカラーイメージ及び赤外線イメージなど）を削除することにより、生体情報の流出によって発生し得る問題を未然に防止することができる。また、ユーザ認証装置１３０は、単に顔認証を行うことだけではなく、ライブネス検査を行うことで模型や写真、ディスプレイ装置によるスプーフィング攻撃を効率よく防止し、ユーザ認証の正確度を改善させることができる。

【0032】

従って、本明細書で提案するユーザ認証装置１３０及びユーザ認証方法によると、従来におけるセキュリティーカード１２０のみを使用する方式が有する短所と、生体認識のみを用いた方式が有する短所とを同時に効率よく克服し、正確度の高いユーザ認証技術の実現が可能になる。

【0033】

以下、ユーザ認証装置１３０とユーザ認証装置１３０によって実行されるユーザ認証方法をより詳しく説明する。

【0034】

図２は、一実施形態に係るセキュリティーカードとユーザ認証装置を含むユーザ認証システムの構成を示す図である。

【0035】

図２を参照すると、ユーザ認証システムは、セキュリティーカード１２０とユーザ認証装置１３０を含む。セキュリティーカード１２０は、セキュリティーカード１２０に対応するユーザの顔イメージを含む。実施形態により、セキュリティーカード１２０は、該当ユーザに関する個人情報や固有識別符号に関する情報をさらに含んでもよい。

【0036】

一実施形態において、セキュリティーカード１２０は、１３．５６ＭＨｚの周波数を使用する近距離通信できるスマートカード系列のカードであってもよい。セキュリティーカード１２０は、ユーザ認証イベントの発生時に暗号化され、格納された情報をユーザ認証装置１３０に送信するユーザ認証用の道具として使用されてもよい。セキュリティーカード１２０は、マイクロチップ２２０、マイクロチップ２２０と接続されたアンテナ２１０、顔イメージとその他に関連情報を格納する格納部（図示せず）を含んでもよい。アンテナ２１０は、通信部（図示せず）に含まれてもよく、通信部は、近距離無線通信機能を有する外部機器と通信を行う。セキュリティーカード１２０に格納されたデータは、暗号化された形態に格納されてもよい。セキュリティーカード１２０の格納部に格納されたデータは、アンテナ２１０を介してセキュリティーカード１２０の外部に送信されてもよい。

【0037】

本明細書において、セキュリティーカード１２０の形態は、図面や実施形態に記述された内容に限定されず、様々な形態に実現することができる。例えば、近接通信を行うアンテナと特定データを格納するチップを含むものであれば、形態に関係なく用いられることができる。

【0038】

一実施形態に係るユーザ認証装置１３０は、光源２３０、赤外線カメラ２５０、カラーカメラ２４０、カード読取り器１５０、制御部２６０、及び格納部２７０を含む。

【0039】

ユーザ認証装置１３０によるユーザ認証イベントの発生は、例えば、セキュリティーカード１２０がカード読取り器１５０にタギング（ｔａｇｇｉｎｇ）されたり、赤外線カメラ２５０やカラーカメラ２４０が顔領域を検出したり、又は、近接センサを介してオブジェクトがユーザ認証装置１３０に接近したことが検出されたときに行われる。ユーザ認証イベントが発生する場合、ライブネス検査過程及び／又は顔の認証過程を含む一連のユーザ認証過程が行われる。

【0040】

一実施形態において、光源２３０は、ユーザに向かって赤外線を放射する赤外線光源を含むことができる。赤外線カメラ２５０は、ユーザの顔領域を含む赤外線イメージを取得する。カラーカメラ２４０は、ユーザの顔領域を含むカラーイメージを取得する。カード読取り器１５０は、セキュリティーカード１２０のようなカードが認識される場合、セキュリティーカード１２０に格納された顔イメージを取得する。取得された顔イメージ、赤外線イメージ、及び／又はカラーイメージは格納部２７０に臨時的に格納されてもよい。

【0041】

制御部２６０は、ユーザ認証装置１３０の全体的な動作を制御する。制御部２６０は、ユーザ認証装置１３０の各構成要素の制御及び処理データを送受信し、ユーザの出入り権限により、ユーザ認証成功又はユーザ認証失敗による動作を実行させることができる。

【0042】

例えば、制御部２６０は、セキュリティーカード１２０から取得した顔イメージ、赤外線イメージ及びカラーイメージのうち少なくとも１つに基づいてユーザ認証結果を決定し、ユーザ認証結果による制御信号を生成する。制御部２６０は、取得した赤外線イメージに基づいてユーザに対するライブネス検査を行う。制御部２６０は、ライブネス検査結果、ユーザが本物のオブジェクトであると決定される場合、ライブネス検査結果が成功であると決定する。この場合、制御部２６０は、顔認証を行って顔の認証結果を決定する。制御部２６０は、ライブネス検査結果、ユーザが偽オブジェクトであると決定される場合、ライブネス検査結果が失敗であると決定し、ユーザ認証の最終結果が失敗したものと決定し、ユーザのアクセスを遮断したり出入りを制限するように制御する。

【0043】

制御部２６０は、例えば、ライブネス検査過程で赤外線イメージの飽和及び透過の有無を検査する過程及び／又は赤外線イメージで赤外線がユーザの瞳孔に反射して示された反射点の存在有無を検査する過程を行う。制御部２６０は、赤外線イメージから赤外線の透過現像及び飽和現像のうち少なくとも１つが発生したか否かを検査し、該当の透過現像及び飽和現像のうち少なくとも１つが発生した場合、ユーザ認証結果を認証失敗として決定することができる。

【0044】

異なる例として、制御部２６０は、ライブネス検査過程において、赤外線イメージ及び／又はカラーイメージから電子装置のディスプレイや写真、紙などに対応するボックス領域の検出有無、指などの検出有無を検査する過程を行う。制御部２６０は、このボックス領域が検出されたり、又は指などの身体部位が検出された場合、顔認証を行うことなく、ユーザ認証結果を認証失敗として決定する。

【0045】

また、赤外線イメージに赤外線がユーザの瞳孔に反射して示された反射点が存在するものと決定された場合、制御部２６０は、カードに格納された顔イメージと、カラーイメージ及び赤外線イメージのうち少なくとも１つに基づいて顔認証を行う。これとは相違して、赤外線イメージに該当の反射点が存在しないものと決定された場合、制御部２６０は、ユーザ認証結果を認証失敗として決定する。また、制御部２６０は、赤外線イメージ及び／又はカラーイメージからユーザの顔領域の存在有無を検査し、顔領域の検出が失敗した場合にユーザ認証結果を認証失敗として決定する。

【0046】

一実施形態において、制御部２６０は、赤外線イメージに基づいてライブネス検査を行ってライブネス検査結果が成功であると決定された場合、カラーイメージ及び／又は赤外線イメージに示された顔領域の情報と、カードから取得した顔イメージに示された顔領域の情報に基づいて顔の認証結果を決定することができる。カードに格納されている顔イメージは、暗号化された顔イメージであってもよい。

【0047】

制御部２６０は、ライブネス検査結果が成功であると決定された場合、カード読取り器１５０を介して取得した暗号化された顔イメージから第１顔特徴を抽出し、カラーカメラ２４０を介して取得したカラーイメージ、及び赤外線カメラ２５０を介して取得した赤外線イメージのうち少なくとも１つから第２顔特徴を抽出する。一実施形態において、制御部２６０は、カードから取得した顔イメージから顔特徴点を抽出及び分析して第１顔特徴を決定し、カラーイメージ及び／又は赤外線イメージから顔特徴点を抽出及び分析して第２顔特徴を決定することができる。

【0048】

制御部２６０は、第１顔特徴と第２顔特徴とを比較して、第１顔特徴と第２顔特徴との間の比較結果に基づいて顔の認証結果を決定することができる。例えば、制御部２６０は、第１顔特徴と第２顔特徴との間の類似度を算出し、算出された類似度が閾値以上である場合に、顔の認証結果が成功したものと決定する。もし、該当の類似度が閾値未満である場合、顔の認証結果が失敗したと決定される。

【0049】

ユーザ認証結果が決定されてから、制御部２６０は、ユーザ認証過程で取得した赤外線イメージ、カラーイメージ、及びカードの顔イメージを格納部２７０において削除するように制御することができる。

【0050】

ユーザ認証装置１３０は、基本的にユーザの顔認証によるユーザ認証を行うが、他の認証装置とは異なるように、カードに格納された顔イメージとカメラを介して取得した顔イメージを用いて、誤認識率及び誤拒否率を著しく低くし、セキュリティー性及び使用便利性を高めることができる。また、ユーザ認証装置１３０は、カードの発行過程でユーザ登録過程が行われ、ユーザと管理者に便宜性を提供し、プラグアンドプレー方式で容易に設置運用を可能にする利点を提供する。

【0051】

そして、ユーザ認証システムは、顔認証のための生体情報がユーザ認証装置１３０又は他の外部のサーバに格納する方式ではなく、ユーザが所有していたセキュリティーカード１２０に格納されている顔イメージなどのような生体情報をユーザ認証装置１３０で一回限りで使用する方式により動作するため、生体情報に対するハッキングから自由になり、個人情報の管理コスト及び認証システムの構築コストを下げる効果を提供する。

【0052】

また、ユーザ認証システムにおいて、セキュリティーカード１２０に格納されている生体情報は、ユーザ認証装置１３０の前でユーザ認証を試みる実際の人から取得した情報と比較されるため、セキュリティーカード１２０が紛失されても、第３者のセキュリティーカード１２０の改ざんが不可能となり、ユーザ認証システムは優れたセキュリティー性を提供する。

【0053】

図３は、一実施形態に係るユーザ認証装置の動作を説明するための図である。

【0054】

図３を参照すると、ユーザ認証装置は、カード読取り器１５０にセキュリティーカード１２０のアクセスが認識され、ユーザ認証イベントが発生するか否かを監視する。カード読取り器１５０を介してセキュリティーカード１２０のアクセスが認識されれば、ユーザ認証装置は、カード読取り器１５０を介してセキュリティーカード１２０から伝達されたカード情報に基づいて、該当セキュリティーカード１２０が印加されたセキュリティーカード１２０であるか否かを検査する。該当セキュリティーカード１２０が印加されたセキュリティーカード１２０の場合、ユーザ認証イベントが発生し、近距離無線通信を介してセキュリティーカード１２０に格納されている顔イメージがユーザ認証装置に伝達されることができる。顔イメージは、制御部２６０によって復号化され、格納部２７０に格納される。

【0055】

制御部２６０は、セキュリティーカード１２０から取得した顔イメージを分析して第１生体情報に該当する第１顔特徴を抽出する。例えば、第１顔特徴は、顔特徴点情報を含む。制御部２６０は、抽出した第１顔特徴に関する情報を格納部２７０に臨時的に格納することができる。

【0056】

制御部２６０は、セキュリティーカード１２０を所持したユーザの顔を撮影するように光源２３０、カラーカメラ２４０、及び赤外線カメラ２４０を活性化させる。光源２３０は、ユーザの顔１６０に向かって赤外線を放射し、赤外線カメラ２５０は、光源２３０で放射された赤外線がユーザの顔１６０に反射して戻ってきた反射光を受光し、ユーザの顔領域が示された赤外線イメージを取得することができる。カラーカメラ２４０は、ユーザの顔１６０を撮影して顔領域が示されたカラーイメージを取得することができる。

【0057】

制御部２６０は、取得した赤外線イメージ及び／又はカラーイメージに基づいてライブネス検査を行う。ライブネス検査は、実際の人の顔と写真、模型、映像などを介して再現された偽顔を区分するための検査であって、実際の人の顔ではないと判断される場合はライブネス検査結果が失敗であると決定され、実際の人の顔であると判断された場合はライブネス検査結果が成功であると決定される。

【0058】

一実施形態において、ライブネス検査は、光源２３０がランダムパターンの赤外線を発光し、赤外線イメージに透過現像及び／又は飽和現像が示されるか否かを確認する過程、赤外線イメージでユーザの顔領域の存在有無、又は赤外線がユーザの瞳孔に反射して示された反射点の存在有無を確認する過程を含むことができる。このような過程は、赤外線イメージでユーザの瞳孔領域を検出し、検出された瞳孔領域で反射点の存在有無を検査する過程を含む。透過現像又は飽和現像が発生したものと確認された場合、又は、該当の反射点が検出されていない場合、ライブネス検査結果が失敗であると決定される。また、ライブネス検査は、赤外線イメージ及び／又はカラーイメージで電子装置のディスプレイや写真、紙などに対応するボックス領域の検出の有無、指などの検出有無を検査する過程を行う。赤外線イメージ及び／又はカラーイメージで該当のボックス領域が検出されたり、又は、指などの身体部位が検出された場合、ライブネス検査結果が失敗であると決定される。

【0059】

ライブネス検査結果が失敗として決定された場合、次のステップに行われることなく、ユーザ認証結果が最終的に失敗したと決定されてもよい。これとは反対に、ライブネス検査結果が成功であると決定された場合、顔認証手続を動作させることができる。

【0060】

顔認証手続が動作する場合、制御部２６０は、カラーイメージ及び／又は赤外線イメージを分析してカラーイメージから第２生体情報に該当する第２顔特徴を抽出する。第２顔特徴は、カラーイメージ及び／又は赤外線イメージでから出した顔特徴点情報を含む。制御部２６０は、カラーイメージ及び／又は赤外線イメージからユーザの顔領域を検出し、検出された顔領域で顔特徴点（例えば、目、鼻、口元、眉毛などの領域に位置する特徴点）を第２顔特徴として抽出する。制御部２６０は、抽出した第２顔特徴に関する情報を格納部２７０に臨時的に格納する。

【0061】

制御部２６０は第１顔特徴と第２顔特徴とを比較して２つの顔特徴間の類似度を算出する。制御部２６０は、算出された類似度が特定の条件を満足（例えば、閾値以上の場合）させれば、顔認証が成功したものと決定し、該当の条件を満足させていない場合は顔認証が失敗したものと決定する。

【0062】

制御部２６０は、ユーザ認証結果に応じてユーザ認証結果情報を送信したり、ユーザ認証の成功による対応動作を行う。例えば、ライブネス検査結果が失敗として決定された場合、又は顔の認証結果が失敗したものと決定された場合、ユーザ認証は失敗したと最終決定し、制御部２６０は、ゲート３１０への出入りを遮断する制御動作を行う。ライブネス検査結果と顔の認証結果が全て成功したと決定された場合、ユーザ認証は成功したと最終決定し、制御部２６０は、ゲート３１０への出入りを許容し、ゲートをオープンするなどの制御動作を行う。

【0063】

ライブネス検査及び／又は顔の認証過程を含むユーザ認証過程が全て終了すれば、制御部２６０は、格納部２７０でユーザ認証に使用されたデータ（例えば、セキュリティーカード１２０から取得された情報、赤外線イメージ、カラーイメージ、ユーザ認証結果情報など）を削除するよう制御する。従って、ユーザ認証装置は、登録されたユーザの生体情報を格納する別途のデータベースを備える必要がなく、これにより、生体情報のハッキング危険を根本的に除去することができる。

【0064】

図４は、一実施形態に係るユーザ認証方法の動作を説明するためのフローチャートである。ユーザ認証方法は、本明細書で説明されるユーザ認証装置によって実行されることができる。

【0065】

図４を参照すると、ステップ４１０において、ユーザ認証装置は、セキュリティーカードのようなカードがカード読取り器に接近することを待機する。ユーザ認証装置のカード読取り器は、セキュリティーカードの情報を取得するための要求信号を放送して待機している。

【0066】

ステップ４１５において、ユーザ認証装置は、カードが認識されたか否かを監視する。監視の結果、カードが認識されていない場合、ユーザ認証装置は、ステップ４１０に戻って続けて待機する。一実施形態において、ユーザがセキュリティーカードをユーザ認証装置のカード読取り器に近接させれば、近距離無線通信を行うカード読取り器は、セキュリティーカードの印加の有無を確認する。例えば、ユーザ認証装置は、セキュリティーカードに格納された発行コードや固有識別符号を検証し、セキュリティーカードが印加されたカードであるか否かを確認する。非印加されたカードであると確認された場合、ユーザ認証装置は、ステップ４１０の待機状態に回帰する。

【0067】

カードの印加されたカードであると認識される場合、ユーザ認証イベントが発生し、ユーザ認証装置は、ステップ４２０でカード読取り器を介してカードに格納された情報を取得する。ユーザ認証装置は、例えば、カード読取り器を介してカードに格納された顔イメージや固有識別符号に関する情報を取得してもよい。ユーザ認証装置は、取得した顔イメージや固有識別符号に関する情報を復号化して臨時的に格納することができる。

【0068】

カードが認識されるとき以外にも、例えば、赤外線カメラやカラーカメラが顔領域を検出したり、又は、近接センサを介してオブジェクトがユーザ認証装置に接近したことが検出された場合にユーザ認証イベントが発生する。

【0069】

ステップ４２５において、ユーザ認証装置は、カード読取り器を介して取得した情報から第１顔特徴を抽出する。ユーザ認証装置は、カード読取り器を介して取得した暗号化された顔イメージを復号化し、復号化された顔イメージから第１顔特徴を抽出する。例えば、ユーザ認証装置は、復号化された顔イメージを分析して顔特徴点情報を抽出することができる。ユーザ認証装置は、抽出された第１顔特徴に関する情報を格納部に臨時的に格納させてもよい。

【0070】

ステップ４３０において、ユーザ認証装置は、光源を活性化させる。光源が活性化することによりユーザに向かって赤外線が放射される。

【0071】

ステップ４３５において、ユーザ認証装置は、カラーカメラを介してユーザ認証の対象者であるユーザの顔領域が示されたカラーイメージを取得し、赤外線カメラを介してユーザの顔領域が示された赤外線イメージを取得する。ユーザ認証装置は、リアルタイムにユーザの顔領域が示されたカラーイメージと赤外線イメージを取得し、赤外線イメージ、カラーイメージ、及びカードから取得した顔イメージのうち少なくとも１つに基づいてユーザ認証結果を決定することができる。ユーザ認証結果を決定するために、ユーザ認証装置は、ライブネス検査及び顔の認証過程を行う。

【0072】

ユーザ認証装置は、ステップ４４０において、ユーザが本物のオブジェクトであるか否かを区別するためのライブネス検査を行い、ステップ４４５において、ライブネス検査結果が予め設定された条件を満たすか否かを判断する。

【0073】

例えば、ユーザ認証装置は、カラーイメージ及び／又は赤外線イメージでユーザの顔領域の存在有無を検査してもよい。赤外線イメージ及び／又はカラーイメージで顔領域の検出が失敗した場合、ユーザ認証装置は、ユーザ認証結果を認証失敗として決定する。ユーザ認証装置は、カラーイメージ及び／又は赤外線イメージからユーザの顔領域をリアルタイム検出する動作を行い、特定時間が経過しても顔領域が検出されない場合は、ライブネス検査結果が条件を満たさないものと決定し、最終的にユーザ認証が失敗したものと決定する。

【0074】

また、ユーザ認証装置は、赤外線イメージから赤外線の透過現像及び飽和現像のうち少なくとも１つが発生したか否かを検査し、該当の透過現像及び飽和現像のうち少なくとも１つが発生した場合は、ライブネス検査結果が条件を満たさないものと決定し、最終的にユーザ認証が失敗したものと決定する。

【0075】

また、ユーザ認証装置は、赤外線イメージから赤外線がユーザの瞳孔に反射して示された反射点の存在有無を検査し、赤外線イメージに該当の反射点が存在しないものと決定された場合、ライブネス検査結果が条件を満たさないものと決定し、最終的にユーザ認証が失敗したものと決定する。

【0076】

また、ユーザ認証装置は、赤外線イメージ及び／又はカラーイメージで電子装置のディスプレイや写真、紙などに対応するボックス領域の検出の有無、指などの検出の有無を検査する過程を行い、該当のボックス領域や指などの身体部位が検出された場合、ライブネス検査結果が条件を満たさないものと決定し、最終的にユーザ認証が失敗したものと決定する。

【0077】

ライブネス検査結果が該当条件を満たさない場合、ユーザ認証装置は、ユーザ認証過程を終了させ、ステップ４６０を介して格納部から関連データを削除する。

【0078】

ライブネス検査結果が条件を満たし、ライブネス検査結果が成功であると決定された場合、ユーザ認証装置は顔の認証過程を行う。例えば、赤外線イメージに瞳孔の反射点が存在するものと決定された場合、ユーザ認証装置は、ライブネス検査結果が条件を満たすものと決定する。この場合、カードに格納された顔イメージとカラーイメージ及び／又は赤外線イメージに基づいて顔認証するステップが行われ、顔の認証結果が決定されることができる。

【0079】

ライブネス検査結果が成功であると決定されて顔の認証過程が行われる場合、ステップ４５０において、ユーザ認証装置は、カラーイメージ及び／又は赤外線イメージから第２顔特徴を抽出する。ユーザ認証装置は、カラーイメージ及び／又は赤外線イメージを分析し、カラーイメージ及び／又は赤外線イメージに示された顔イメージを分析して顔特徴点情報を抽出する。ユーザ認証装置は、抽出された第２顔特徴に関する情報を格納部に臨時的に格納させることができる。

【0080】

ステップ４５５において、ユーザ認証装置は、第１顔特徴と第２顔特徴に基づいて顔の認証結果を決定する。ユーザ認証装置は、第１顔特徴と第２顔特徴とを比較して類似度を決定し、第１顔特徴と第２顔特徴との間の比較結果に基づいて顔の認証結果を決定する。一実施形態において、ユーザ認証装置は、第１顔特徴と第２顔特徴がそれぞれ示す特徴点を比較して同じユーザの顔であるか否かを判断して顔認証を行うことができる。

【0081】

顔の認証結果が成功であれば、ユーザ認証装置は、ユーザ認証成功に対応する処理動作を行う。顔の認証結果が失敗であれば、ユーザ認証装置は、ユーザのアクセスを遮断したり許容しないなどのユーザ認証失敗に対応する処理動作を行う。

【0082】

ユーザ認証結果が決定される場合、ユーザ認証装置は、ステップ４６０において、格納部から関連データを削除する。例えば、ユーザ認証結果が決定された場合、ユーザ認証装置は、ユーザ認証過程で取得した赤外線イメージ、カラーイメージ、及びカードから取得した顔イメージを格納部から削除する。従って、ユーザ認証過程の後には、ユーザ認証を試みたユーザに対する生体情報がユーザ認証装置又は他の装置に残存しなくなる。

【0083】

以上で説明された装置は、ハードウェア構成要素、ソフトウェア構成要素、又はハードウェア構成要素及びソフトウェア構成要素の組み合せで具現される。例えば、本実施形態で説明した装置及び構成要素は、例えば、プロセッサ、コントローラ、ＡＬＵ（ａｒｉｔｈｍｅｔｉｃ ｌｏｇｉｃ ｕｎｉｔ）、デジタル信号プロセッサ（ｄｉｇｉｔａｌ ｓｉｇｎａｌ ｐｒｏｃｅｓｓｏｒ）、マイクロコンピュータ、ＦＰＡ（ｆｉｅｌｄ ｐｒｏｇｒａｍｍａｂｌｅ ａｒｒａｙ）、ＰＬＵ（ｐｒｏｇｒａｍｍａｂｌｅ ｌｏｇｉｃ ｕｎｉｔ）、マイクロプロセッサー、又は命令（ｉｎｓｔｒｕｃｔｉｏｎ）を実行して応答する異なる装置のように、１つ以上の汎用コンピュータ又は特殊目的コンピュータを用いて具現される。処理装置は、オペレーティングシステム（ＯＳ）及び前記オペレーティングシステム上で行われる１つ以上のソフトウェアアプリケーションを行うことができる。また、処理装置は、ソフトウェアの実行に応答してデータをアクセス、格納、操作、処理及び生成することもできる。理解の利便のために、処理装置は、１つが使用されるものと説明される場合もあるが、当該技術分野において通常の知識を有する者は、処理装置が複数の処理要素（ｐｒｏｃｅｓｓｉｎｇ ｅｌｅｍｅｎｔ）及び又は複数のタイプの処理要素を含んでいることが分かる。例えば、処理装置は、複数のプロセッサ又は一のプロセッサ及び一つのコントローラを含んでもよい。また、並列プロセッサのような、他の処理構成も可能である。

【0084】

本実施形態による方法は、様々なコンピュータ手段を介して実施されるプログラム命令の形態で具現され、コンピュータ読み取り可能な記録媒体に記録される。記録媒体は、プログラム命令、データファイル、データ構造などを単独又は組み合せて含む。記録媒体及びプログラム命令は、本発明の目的のために特別に設計して構成されたものでもよく、コンピュータソフトウェア分野の技術を有する当業者にとって公知のものであり使用可能なものであってもよい。コンピュータ読み取り可能な記録媒体の例として、ハードディスク、フロッピー（登録商標）ディスク及び磁気テープのような磁気媒体、ＣＤ－ＲＯＭ、ＤＶＤのような光記録媒体、フロプティカルディスクのような磁気－光媒体、及びＲＯＭ、ＲＡＭ、フラッシュメモリなどのようなプログラム命令を保存して実行するように特別に構成されたハードウェア装置を含む。プログラム命令の例としては、コンパイラによって生成されるような機械語コードだけでなく、インタプリタなどを用いてコンピュータによって実行される高級言語コードを含む。上記で説明したハードウェア装置は、本発明に示す動作を実行するために１つ以上のソフトウェアモジュールとして作動するように構成してもよく、その逆も同様である。

【0085】

上述したように実施形態をたとえ限定された図面によって説明したが、当技術分野で通常の知識を有する者であれば、上記の説明に基づいて様々な技術的な修正及び変形を適用することができる。例えば、説明された技術が説明された方法と異なる順で実行されるし、及び／又は説明されたシステム、構造、装置、回路などの構成要素が説明された方法と異なる形態で結合又は組み合わせられてもよいし、他の構成要素又は均等物によって置き換え又は置換されたとしても適切な結果を達成することができる。

【0086】

したがって、本発明の範囲は、開示された実施形態に限定されて定められるものではなく、特許請求の範囲及び特許請求の範囲と均等なものなどによって定められるものである。

【図1】

【図2】

【図3】

【図4】