知財求人 - 知財ポータルサイト「IP Force」
特表2022-534632顔認識及び手書き署名検証基盤のユーザ認証方法及び装置（Ａｐｐａｒａｔｕｓ ａｎｄ ｍｅｔｈｏｄ ｆｏｒ ｕｓｅｒ ａｕｔｈｅｎｔｉｃａｔｉｏｎ ｂａｓｅｄ ｏｎ ｆａｃｅ ｒｅｃｏｇｎｉｔｉｏｎ ａｎｄ ｈａｎｄｗｒｉｔｔｅｎ ｓｉｇｎａｔｕｒｅ ｖｅｒｉｆｉｃａｔｉｏｎ）
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公表特許公報(A)
(11)【公表番号】
(43)【公表日】2022-08-03
(54)【発明の名称】顔認識及び手書き署名検証基盤のユーザ認証方法及び装置（Ａｐｐａｒａｔｕｓ ａｎｄ ｍｅｔｈｏｄ ｆｏｒ ｕｓｅｒ ａｕｔｈｅｎｔｉｃａｔｉｏｎ ｂａｓｅｄ ｏｎ ｆａｃｅ ｒｅｃｏｇｎｉｔｉｏｎ ａｎｄ ｈａｎｄｗｒｉｔｔｅｎ ｓｉｇｎａｔｕｒｅ ｖｅｒｉｆｉｃａｔｉｏｎ）
(51)【国際特許分類】
G06F 21/32 20130101AFI20220727BHJP
G06T 7/00 20170101ALI20220727BHJP
G06V 40/30 20220101ALI20220727BHJP
【ＦＩ】
G06F21/32
G06T7/00 510F
G06T7/00 570
G06V40/30
【審査請求】有
【予備審査請求】未請求
(21)【出願番号】P 2021505266
(86)(22)【出願日】2019-11-21
(85)【翻訳文提出日】2021-03-25
(86)【国際出願番号】 KR2019015989
(87)【国際公開番号】W WO2020241987
(87)【国際公開日】2020-12-03
(31)【優先権主張番号】10-2019-0061591
(32)【優先日】2019-05-27
(33)【優先権主張国・地域又は機関】KR
(81)【指定国・地域】
【公序良俗違反の表示】
（特許庁注：以下のものは登録商標）
１．ＪＡＶＡＳＣＲＩＰＴ
(71)【出願人】
【識別番号】514308863
【氏名又は名称】シキューブ カンパニー，リミテッド
【住所又は居所原語表記】（Ｇｕｒｏ－ｄｏｎｇ，ＪＮＫＤｉｇｉｔａｌＴｏｗｅｒ）８０１，８０２，８０３ｈｏ，１１１，Ｄｉｇｉｔａｌ－ｒｏ ２６－ｇｉｌ Ｇｕｒｏ－ｇｕ Ｓｅｏｕｌ ０８３９０ Ｒｅｐｕｂｌｉｃ ｏｆ Ｋｏｒｅａ
(74)【代理人】
【識別番号】100091683
【弁理士】
【氏名又は名称】▲吉▼川 俊雄
(74)【代理人】
【識別番号】100179316
【弁理士】
【氏名又は名称】市川 寛奈
(72)【発明者】
【氏名】ホン，キ ユン
【テーマコード（参考）】
5B043
【Ｆターム（参考）】
5B043AA09
5B043BA04
5B043BA06
5B043DA05
5B043EA07
5B043EA08
5B043GA02
5B043GA13
(57)【要約】
本発明は手書き署名を利用したユーザ認証における認証精度をより高めた顔認識及び手書き署名検証基盤のユーザ認証方法及び装置に関するものであって、ユーザの手書き署名を入力して貰うが、前記手書き署名の入力と同時に前記手書き署名を入力するユーザの顔イメージを獲得し、前記顔イメージの特徴情報を基に、前記ユーザが正当なユーザであるか判断し、前記顔イメージの特徴情報に基づいた判断結果に応じて、前記手書き署名の特徴情報に基づいた検証の為の基準値を補正し、前記入力して貰った手書き署名の特徴情報及び補正した基準値を基に、前記ユーザが正当なユーザであるかを判断することで手書き署名時のユーザ状態、周辺状況、環境によって他人受諾率又は本人拒否率を最小化して認証結果の信頼度を高めることができる。
【選択図】図２
【選択図】図２
【特許請求の範囲】
【請求項1】
ユーザの手書き署名を入力してもらう段階、前記手書き署名を入力するユーザの顔イメージを獲得する段階、
前記顔イメージの特徴情報を基に、前記ユーザが正当なユーザであるかを判断する第１分析段階、
前記顔イメージの特徴情報に基づいた判断結果に応じて、前記手書き署名の特徴情報に基づいた検証の為の基準値を補正する段階、
前記入力してもらった手書き署名の特徴情報及び補正された基準値を基に、前記ユーザが正当なユーザであるかを判断する第２分析段階、
を含む顔認識及び手書き署名検証基盤のユーザ認証方法。
【請求項2】
前記第１分析段階は、前記獲得したユーザの顔イメージを既登録した正当なユーザの顔イメージと比較して、顔イメージの類似度に応じて正当なユーザであるかを判断することを特徴とする請求項１に記載の顔認識及び手書き署名基盤のユーザ認証方法。
【請求項3】
前記第１分析段階は、前記ユーザの顔イメージから、ユーザの視線、距離、位置、方向、行為のいずれか１つ以上を含む特徴情報をさらに抽出し、前記特徴情報を基に前記ユーザが正当なユーザであるかを判断することを特徴とする請求項１に記載の顔認識及び手書き署名検証基盤のユーザ認証方法。
【請求項4】
前記第１分析段階で前記判断結果は、数値、確率、段階のいずれか１つ以上で出力され、前記補正する段階は、前記手書き署名の特徴情報に基づいた検証の為の基準値を前記数値、確率、段階のいずれか１つによって異なる調整をすることを特徴とする請求項１に記載の顔認識及び手書き署名検証基盤のユーザ認証方法。
【請求項5】
前記補正する段階は、前記顔イメージの特徴情報に基づいた判断結果によって、本人拒否率を下げる方向で前記第２分析段階で使用される基準値を調整することを特徴とする請求項１に記載の顔認識及び手書き署名検証基盤のユーザ認証方法。
【請求項6】
前記補正する段階は、 前記顔イメージの特徴情報に基づいた判断結果によって、他人受諾率を下げる方向で第２分析段階で使用される基準値を調整することを特徴とする請求項１に記載の顔認識及び手書き署名検証基盤のユーザ認証方法。
【請求項7】
前記補正する段階は、前記手書き署名の特徴情報に基づいた検証の為の基準値を補正時、既設定された範囲以内で前記基準値を補正することを特徴とする請求項１に記載の顔認識及び手書き署名検証基盤のユーザ認証方法。
【請求項8】
前記第２分析段階は、 前記入力して貰った手書き署名と既登録された正当なユーザの手書き署名を比較して、その類似度によって前記ユーザが正当なユーザであるかを判断することを特徴とする請求項１に記載の顔認識及び手書き署名検証基盤のユーザ認証方法。
【請求項9】
前記ユーザの顔イメージを獲得する段階は、前記ユーザが前記手書き署名を入力する間、継続的に顔イメージを獲得し、前記第１分析段階は、前記継続的に獲得される顔イメージを基に、一定周期で繰り返して前記ユーザが正当なユーザであるかを判断することを特徴とする顔認識及び手書き署名検証基盤のユーザ認証方法。
【請求項10】
前記補正する段階は、前記第１分析段階で一定周期で出力される判断結果の中１つ以上を組み合わせて、前記手書き署名の特徴情報に基盤した検証の為の基準値を補正することを特徴とする請求項９に記載の顔認識及び手書き署名検証基盤のユーザ認証方法。
【請求項11】
第１項ないし第１０項の中ある１つの項に記載された顔認識及び手書き署名検証基盤のユーザ認証方法を実行させるプログラムを記録したコンピュータ判読可能な記録媒体
【請求項12】
第１項ないし第１０項の中ある１つの項に記載された顔認識及び手書き署名検証基盤のユーザ認証方法を実行させるように実装されて、コンピュータ判読可能記録媒体に記録されたプログラム。
【請求項13】
ユーザから手書き署名を入力してもらう入力部、前記ユーザの顔イメージを獲得するカメラ部、
前記入力部及びカメラ部を制御し、前記入力部にカメラ部から伝達される手書き署名及びユーザの顔イメージに対等するデータを処理し、ユーザを認証する制御部を含み、
前記制御部は、
前記入力部に手書き署名が入力される間、前記カメラ部から伝達されたユーザの顔イメージの特徴情報を基に、前記ユーザが正当なユーザであるかを判断した後、前記顔イメージの特徴情報に基づいた判断結果に応じて、前記手書き署名の特徴情報に基づいた検証の為の基準値を補正し、
前記入力部から伝達された手書き署名の特徴情報及び前記補正した基準値を基に、前記ユーザが正当なユーザであるかを判断する顔認識及び手書き署名検証基盤のユーザ認証装置。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は他人と区分してユーザ本人を認証する為のユーザ認証方法に関するもので、さらに詳細には顔認識技術を利用して手書き署名に対した認証時の判断基準になる基準値を補正することにより、他人受諾率及び本人拒否率を最小化して認証結果の信頼度を高めることができる顔認識及び手書き署名検証基盤のユーザ認証方法及び装置に関する。
【背景技術】
【0002】
情報通信技術（ＩＣＴ： Ｉｎｆｏｒｍａｔｉｏｎ ＆ Ｃｏｍｍｕｎｉｃａｔｉｏｎ Ｔｅｃｈｎｏｌｏｇｙ）の発達により、オンライン基盤の様々なサービス及びコンテンツが登場し、生活をより豊かにしている一方で、これらを通じたユーザ個人情報の漏洩可能性が高まりこれを補完する為のセキュリティ技術としてユーザ認証技術が重要となっている。
【0003】
ユーザ認証技術（Ｕｓｅｒ Ａｕｔｈｅｎｔｉｃａｔｉｏｎ）はユーザを個別に識別して登録されたユーザを認証する技術を意味することで、最近にはユーザが登録したパスワードを利用する従来のやり方に反してユーザ固有の生体情報、例えば、指紋、網膜、虹彩、筆跡などを利用した方法が用いられている。
【0004】
このうち、個人ごとに異なる筆跡を用いた方法で、署名を利用したユーザ認証方法がある。ここで、署名は誰かの名前、仮名または誰かが文書に記録したという証拠、自己同一性の為の表示として、ユーザが直接手書きしたものを意味するものとして、オフライン上でクレジットカードなどの金融取引、動産・不動産などの契約、企業体で処理される多様な文書の決裁、官公庁での照明書類発行などにおけるユーザー本人確認に使用される。
【0005】
このような手書き署名認証技術は、ユーザの習慣や行動様式によって異なる筆跡の特性を基にしたもので、イメージの形状に対する一致度を検査するイメージ比較方式と署名者の署名行為時に現れる特性データを比較する行為特性比較方式がある。
【0006】
通常的にイメージ比較方式が適用された手書き署名認証技術の場合、第三者でもイメージ形状だけを類似して模倣する場合、手書き署名が一致すると判断でき、他人により盗用した手書き署名を正当なユーザの手書き署名だと判断する他人受諾率が高いという問題点がある。
【0007】
反面、行為特性に基盤した手書き署名認証技術は、手書き署名時署名者の署名習慣から発生する圧力、速度、交差点、変曲点の角度などの行為特性を基に認証を実行する為に、他人によって模倣された手書き署名を区分して他人受諾防止率を高めることができる反面、ユーザ本人の署名でも周辺状況、環境、本人の状態によって異なる署名を本人の署名であると認識できないことによって、本人拒否率も高まることがあるという問題点がある。
【先行技術文献】
【特許文献】
【0008】
【特許文献1】韓国公開特許 １０―２０１６―００４１５６９号公報
【発明の概要】
【発明が解決しようとする課題】
【0009】
本発明は手書き署名を利用したユーザ認証における認証正確度をより高めようとするものであり、顔認識技術を利用して手書き署名に対した認証時の判断基準となる基準値を補正することで他人受諾率及び本人拒否率を最小化して認証結果の信頼度を高めることができる顔認識及び手書き署名検証基盤のユーザ認証方法及び装置を提供しようとする。
【課題を解決するための手段】
【0010】
上述した課題の解決手段として、本発明による顔認識及び手書き署名検証基盤のユーザ認証方法は、ユーザの手書き署名を入力される段階、前記手書き署名を入力するユーザの顔イメージを獲得する段階、前記獲得した顔イメージの特徴情報に基づいて、前記ユーザが正当なユーザであるか判断する第１分析段階、前記顔イメージの特徴情報に基づいた判断結果によって、手書き署名の特徴情報に基づいた検証の為に基準値を補正する段階、及び前記入力受けた手書き署名の特徴情報及び前記補正された基準値を基に前記ユーザが正当なユーザであるかを判断する第２分析段階を含む。
【0011】
前記方法にあって、前記第２分析段階は、前記入力された手書き署名の特徴情報と既登録された正当なユーザの手書き署名の特徴情報を比較してその類似度に応じて前記ユーザが正当なユーザであるかを判断することができる。
【0012】
そして、本発明に基づくユーザ認証方法において、前記補正する段階は、前記顔イメージの特徴情報に基づいた判断結果に応じて、本人拒否率を下げる方向で上記第２分析段階で使用される基準値を調整するか、他人受諾率を下げる方向で前記第２分析段階で使用される基準値を調整することができ、この際、基準値の調整は既設定された範囲内で行うことができる。
【0013】
加えて、本発明によるユーザ認証方法において、前記第１分析段階での判断結果は、数値、確率、段階のいずれか以上で出力され、この場合、前記補正する段階で、前記手書き署名の特徴情報に基づいた検証の為の基準値を前記数値、確率、段階のいずれかによって異なって補正することができる。
【0014】
また、本発明によるユーザ認証方法にあって、前記第１分析段階は、前記獲得したユーザの顔イメージの特徴情報を既登録した正当なユーザの顔イメージの特徴情報と比較して、顔イメージの類似度によって正当なユーザであるか無いかを判断したり、ユーザの視線、距離、位置、方向、行為中１つ以上を含む特徴情報を抽出し、前記特徴情報を基に前記ユーザが正当なユーザであるかを判断することができる。
【0015】
また、本発明によるユーザ認証方法において、前記ユーザの顔イメージを獲得する段階は、前記ユーザが手書き署名を入力する間、継続的に顔イメージを獲得し、前記第１分析段階は、前記継続的に獲得される顔イメージを基に一定周期で繰り返し前記ユーザが正当なユーザであるかを判断でき、その際、前記補正する段階は、前記第１分析段階において一定周期で出力される判断結果のうち１つ以上を組み合わせて、前記手書き署名の特徴情報に基づく検証の為の基準値を補正することができる。
【0016】
本発明による顔認識及び手書き署名検証基盤のユーザ認証方法はプログラムに実装され、コンピュータ読み取り可能な記録媒体に記録されることができる。
【0017】
加えて、本発明による顔認識及び手書き署名検証基盤のユーザ認証装置は、ユーザから手書き署名を入力される入力部、前記ユーザの顔イメージを獲得するカメラ部、前記入力部及びカメラ部を制御し、前記入力部及びカメラ部から配信される手書き署名及びユーザの顔イメージに対応するデータを処理し、ユーザを認証する制御部を含んでなり、この際、前記制御部は、前記入力部に手書き署名が入力される間に前記カメラ部から配信されたユーザの顔イメージの特徴情報を基に、前記ユーザが正当なユーザなのかを判断し、前記顔イメージの特徴情報に基づいた判断結果に従って、手書き署名の検証の為の基準値を補正した後、前記入力部から配信されたユーザの手書き署名の特徴情報及び補正された基準値に基づいて前記ユーザが正当なユーザであるかを判断する。
【発明の効果】
【0018】
本発明はユーザによって手書き署名が行われる際に、署名するユーザの顔イメージを一緒に撮影することで、ユーザの手書き署名に対した特徴情報だけではなくユーザの顔イメージの特徴情報を同時に獲得し、獲得した顔イメージに基づいた顔認識結果に根拠して、手書き署名の検証に使われる基準値を補正し、補正された基準値によって前記手書き署名の特徴情報を分析し入力された手書き署名のユーザが正当なユーザであるかを判断することで、手書き署名に基づいたユーザ認証に対した精度及び信頼度をさらに高めることができるものである。
【0019】
より具体的に、本発明は手書き署名を行うユーザの顔認識結果、正当なユーザであったり、ユーザの視線、位置、距離、瞳が瞬きする回数等に基づいて実際のユーザが署名していると判断する場合、手書き署名の特徴情報に基づく検証時に使われる基準値を本人拒否率を下げる方向に補正し、一方、顔認識結果正当なユーザで無いと疑われる場合、他人受諾率を下げる方向で前記基準値を補正することで、手書き署名時の周辺状況、環境、ユーザ状態に応じて手書き署名の検証時に使われる基準値を動的に調整し、他人受諾率及び本人拒否率を最小化し、その結果認証結果の信頼度を高めることができる。
【図面の簡単な説明】
【0020】
【図1】本発明による顔認識及び手書き署名検証に基づいたユーザ認証装置の概略的な構成を示したブロック構成図である。
【図2】本発明による顔認識及び手書き署名検証に基づいたユーザ認証方法を示した手順図である。
【図3】本発明による顔認識及び手書き署名検証に基づいたユーザ認証において、手書き署名認証結果の補正過程を説明する為の図面である。
【図4】本発明による顔認識及び手書き署名検証に基づいたユーザ認証装置の多様な実装例を示した図面である。
【図5】本発明による顔認識及び手書き署名検証に基づいたユーザ認証装置の多様な実装例を示した図面である。
【図6】本発明による顔認識及び手書き署名検証に基づいたユーザ認証装置の多様な実装例を示した図面である。
【図7】本発明による顔認識及び手書き署名検証に基づいたユーザ認証装置の多様な実装例を示した図面である。
【発明を実施するための形態】
【0021】
以下、本発明の多様な実施例が添付された図面を参照して記載される。しかし、これは本発明を特定な実施形態について限定しようとするものではなく、本発明の実施例の多様な変更（ｍｏｄｉｆｉｃａｔｉｏｎ）、均等物（ｅｑｕｉｖａｌｅｎｔ）、及び/又は代替物（ａｌｔｅｒｎａｔｉｖｅ）を含むものと理解されるべきである。図面の説明と関連して、類似の構成要素に対し類似な参照符号が使用されることができる。
【0022】
特に、本明細書及び請求範囲に使用された用語や単語は通常又は辞書的な意味に限定して解釈されてはならず、発明者は自身の発明を最も最善の方法で説明する為の用語の概念として適切に定義できるという原則に立脚し本発明の技術的思想に合致する意味と概念で解釈しなければならない。従って、本明細書に記載された実施例と図面に表示された構成は本発明の望ましい実施例に過ぎず、本発明の技術的思想をすべて代弁するものではないので、本出願時点においてこれを代替できる様々な均等物と変更例があり得ることを理解しなければならない。
【0023】
なお、第１、第２などのように序数を含む用語は様々な構成要素を説明する為に使うもので、一つの構成要素を違う構成要素から区別する目的で用いられるだけで前記構成要素を限定する為に用いられない。例えば、本発明の権利範囲を外れておらず第２構成要素は第１構成要素と命名され得るし、同様に第１構成要素も第２構成要素に命名され得る。
【0024】
加えて、ある構成要素が他の構成要素に“連結されて”いるとか“アクセスされて”いると言及する場合、これは論理的または物理的に連結されたり、アクセスできることを意味する。言い換えれば、構成要素が他の構成要素に直接に連結されたりアクセスされていられるが、途中に他の構成要素が存在する可能性もあり、間接的に連結されたりアクセスされることもあると理解されなければならないであろう。
【0025】
また、本明細書で使用した用語はただ特定な実施例を説明する為に使用されるもので、本発明を限定する意図ではない。単数の表現は文脈上明らかに異なった意味を持たない限り、複数の表現を含む。また、本明細書で技術される「含む」又は「持つ」などの用語は明細書上に記載された特徴、数字、段階、動作、構成要素、部品又はこれらを組み合わせたものが存在することを指定しようとするものであって、１つまたはそれ以上の他の特徴や数字、段階、動作、構成要素、部品またはこれらを組み合わせたものの存在または付加可能性を予め排除しないものと理解されなければならない。
【0026】
本発明はユーザを識別して正当なユーザであるかを確認する為のユーザ認証技術に関するもので、特に手書き署名認証技術を基にするが、顔認識技術をより考慮することで、ユーザ認証性能を高めようとしたものである。
【0027】
本発明にあって、手書き署名によるユーザ認証技術は、手書き署名に含まれた特徴情報、より具体的には手書き署名のイメージ特徴情報及び署名者の署名習慣から発生する圧力、速度、交差点、変曲点の角度などのような署名行為特徴情報中１つ以上を基に手書き署名のユーザ認証を実行する。
【0028】
なお、本発明は、手書き署名から抽出される固有の特徴情報を基盤として認証を行う上で、認証対象手書き署名と既登録された手書き署名の特徴情報を比較して一致度を点数化してこれによる認証成功・失敗を判別する一致度分析方法と、認証失敗・成功の結果を学習用データ（本人の手書き署名及び偽造・盗用・真似なのによって模倣された手書き署名含む）を基盤に学習されたディープラーニング分析アルゴリズムを用いることができる。前記ディープラーニング分析アルゴリズムの場合、認証対象手書き署名の特徴情報を入力すると該当手書き署名が既登録された手書き署名である確率値を分析結果として出力することができる。
【0029】
もちろん、本発明はこれに限定されず出願時点で公開された多様な分析アルゴリズムがさらに利用されることがある。
【0030】
本発明はこのような様々なアルゴリズムに基盤して手書き署名を通じて正当なユーザであるかを知る為の認証結果を出すにあたり、手書き署名時に獲得したユーザの顔イメージの特徴情報に基盤した顔認識結果によって、前記認証成功・失敗を判別する一致度・確率などに対した基準値を手書き署名入力時の周辺状況、環境、ユーザ状態によって動的に補正することにより、認証結果の正確度及び信頼度を高めようとしたものである。
【0031】
図１は本発明による顔認識及び手書き署名検証に基づいたユーザ認証装置の概略的な構成を表したブロック図である。
【0032】
本発明によるユーザ認証装置は、スタンドアローンタイプの独立されたディバイス（Ｄｅｖｉｃｅ）として実装されることもでき、ノートパソコン、タブレットＰＣ、スマートフォン、ＰＯＳ端末機、キオスク等の既存ディバイスに搭載される形で実装されることができる。
【0033】
ただし、このような多様な実装形態に関係にかかわらず本発明によるユーザ認証装置（１００）は基本的に図１に図示されたように手書き署名を入力してもらうための入力部（１１０）と、ユーザ認証の為のＵＩ（Ｕｓｅｒ Ｉｎｔｅｒｆａｃｅ）を出力する為の出力部（１２０）と、ユーザ、特に前記手書き署名を入力するユーザの顔イメージを獲得する為のカメラ部（１４０）及び前記構成要素を制御して顔認識及び手書き署名検証基盤のユーザ認証を実行し、認証結果を出力する制御部(１５０)を含む。
【0034】
前記入力部（１１０）は、本発明による認証対象になる手書き署名を入力してもらうための構成である。通常、手書き署名はユーザの自筆で記載されるべきものであってこのような手書き署名の入力の為に、前記入力部（１１０）は、ユーザが指又は電子ペンを利用して手書き署名を書くとこれを認識できる入力装置として、タッチパッドあるいはタッチスクリーン及び電子ペンの中、１つ以上を含むことができる。これ以外に、前記入力部（１１０）は手書き署名以外に数字または多様な文字情報を入力してもらい、各種機能の設定及び装置の機能制御の為に、キーボード、キーパッド、マウス、モーションセンサ等の多様な種類の入力装置をさらに含むことができる。
【0035】
出力部（１２０）は本発明によるユーザ認証装置でユーザとのインターフェース（Ｕｓｅｒ Ｉｎｔｅｒｆａｃｅ）の為のメッセージあるいはグラフィックを出力する為の構成で、より具体的に、入力された手書き署名、手書き署名の認証進行段階案内メッセージ、認証結果、ユーザの顔イメージなどを出力することができる。このような出力部（１２０）は液晶表示装置（Ｌｉｑｕｉｄ Ｃｒｙｓｔａｌ Ｄｉｓｐｌａｙ）、ＯＬＥＤ（Ｏｒｇａｎｉｃ Ｌｉｇｈｔ Ｅｍｉｔｔｅｄ Ｄｉｏｄｅ）などの平板表示パネル形の多様なディスプレイ装置または入力と出力が一緒に行えるタッチスクリーンとして実装することができる。
【0036】
つまり、本発明によるユーザ認証装置（１００）において、前記入力部 （１１０）と出力部（１２０）はタッチスクリーン装置（１３０）と一緒に一体化されて実装されることもできる。
【0037】
次に、カメラ部（１４０）は、手書き署名を入力するユーザの顔を撮影できるように、ユーザ認証装置（１００）において、入力部（１１０）の前面を向くように備えられ、制御部（１５０）の制御に応じて、前記入力部（１１０）を通じて手書き署名入力が行われる間、継続的に手書き署名を行うユーザの顔イメージを撮影することができる。
【0038】
制御部（１５０）は本発明によるユーザ認証装置の全般的動作を制御し、ユーザ認証プロセスを処理することで、プログラムを保存するメモリ、本発明のユーザ認証方法による機能とプロセスを実行する為のプログラムコマンドを処理することができる１つ以上のプロセッサ（Ｐｒｏｃｅｓｓｏｒ）を含みうる。ここで、プロセッサによって実行されるコマンドとしては、ＪａｖａＳｃｒｉｐｔやＥＣＭＡＳｃｒｉｐｔコマンドなどのスクリプトコマンド、実行可能なコードあるいはコンピュータで判読可能な記録媒体に保存されるコマンドを含むことができる。
【0039】
より具体的に、制御部（１５０）は、前記入力部（１１０）及びカメラ部 （１４０）から配信される手書き署名及びユーザの顔イメージに対応するデータを処理して、ユーザ認証処理結果を認証成功・失敗に出力する。特に、前記制御部（１５０）は、ユーザ認証処理時、前記入力部（１１０）から配信された手書き署名の特徴情報を基盤に前記ユーザが正当なユーザでああるかを判断する。
【0040】
本発明は、前記手書き署名に対した検証結果の正確度及び信頼度を高めるために、前記制御部（１５０）は、前記入力部（１１０）に手書き署名が入力される間、前記カメラ部（１４０）から顔イメージを受けて、その特徴情報を抽出し、前記抽出した顔イメージの特徴情報を基盤に、前記ユーザが正当なユーザであるかを判断する。そして、前記手書き署名の特徴情報を基にした検証を行う前、前記顔イメージの特徴情報に基づいた判断結果によって、前記手書き署名の特徴情報に基づいた認証成功・失敗を判別する一致度・確率などに対した基準時を補正する。そして、前記入力部（１１０）で入力された手書き署名の特徴情報の検証時、前記顔認識結果に応じて補正された基準値に基づいて認証成功又は認証失敗を判断する。
【0041】
つまり、手書き署名に撮影されたユーザの顔認識結果を利用して、実際手書き署名検証時に利用される基準値を手書き署名時のユーザ状態、周辺状況、環境によって動的に補正した後、補正された基準値を利用して手書き署名の検証を行うものである。次に、図２は本発明による顔認識及び手書き署名検証に基づいたユーザ認証方法を示した手順図であり、これを参照して前記ユーザ認証装置でのユーザ認証過程をさらに詳細に説明する。
【0042】
図２を参照すると、本発明によるユーザ認証装置（１００）は、手書き署名の入力が開始すると（Ｓ１０１）、入力部（１１０）を通じてユーザが作成した手書き署名のデータを収集する（ｓ１０５）。ここで、手書き署名入力の開始は、タッチパッドやタッチスクリーンのような入力部（１１０）に対したユーザのタッチを通じて認識されたり、別途の手書き署名入力ボタンを選択することによって認識されることもある。また、前記手書き署名データの収集はユーザが本人認証の為の手書き署名の入力時、前記入力部（１１０）を通じてこれを認識してユーザが書いた手書き署名の形、手書き署名時にタッチする位置、速度、圧力などのセンシング情報を収集する形で行うことができる。
【0043】
併せて、本発明によるユーザ認証装置（１００）は、手書き署名入力が開始され（Ｓ１０１）、手書き署名データの収集が行われる間、制御部（１５０）を通じてカメラ部（１４０）を活性化させ、手書き署名を行うユーザの顔イメージを同時に獲得し（Ｓ１１０）、獲得した顔イメージの特徴情報に基づいて正当なユーザであるかを判断する。（Ｓ１２０）。前記ユーザの顔イメージの獲得と獲得した顔イメージの特徴情報に基づいた正当なユーザであるかに対する判断は、手書き署名入力が行われる間（Ｓ１０５）継続的に又は反復的に行われうる。（Ｓ１１０、Ｓ１２０、Ｓ１２２）。
【0044】
そして、前記ユーザ認証装置の制御部（１５０）は、前記手書き署名入力が終了されると（Ｓ１２２）、Ｓ１２０段階で行われた前記顔イメージの特徴情報に基づいた判断結果に応じて手書き署名の検証に用いられる基準値を補正する（Ｓ１２５）。ここで補正される基準値は、入力された手書き署名の特徴情報と登録された手書き署名の特徴情報との間の一致度を判断する基準になる値である。
【0045】
つまり、ユーザ認証装置（１００）の制御部（１５０）は、前記入力もらった手書き署名の特徴情報及び前記補正された基準値を基に、前記ユーザが正当なユーザであるかを判断する（Ｓ１３０）。
【0046】
ここで、便宜上Ｓ１２０段階を第１分析段階に、Ｓ１３０段階を第２分析段階に区分でき、第１分析段階（Ｓ１２０）、第２分析段階（Ｓ１３０）はほぼ同時に実行できる。
【0047】
ちなみに、前記第１分析段階（Ｓ１２０）は、顔認識アルゴリズムを用いて行うことができ、第２分析段階（Ｓ１３０）はディープラーニング分析アルゴリズムや一致度分析アルゴリズムのような手書き署名分析プログラムを用いて行うことができる。この際、前記顔認識アルゴリズムと手書き署名分析アルゴリズムは相互独立的に動作する。そして、前記第１分析段階（Ｓ１２０）及び第２分析段階（Ｓ１３０）の判断結果は、ユーザが正当なユーザであるかどうかに対した可否またはこれを数値、確率、段階のいずれか以上で表すことができる。例えば、前記顔イメージ及び手書き署名が登録された正当なユーザの顔イメージ及び手書き署名と一致する程度を、数値・段階または確率に算出して出力することができる。
【0048】
前記第１、第２分析段階（S１２０、S１３０）での具体的な分析方法を説明すると次のようになる。
【0049】
第１分析段階（S１２０）では、前記獲得したユーザの顔イメージを既登録した正当なユーザの顔イメージと比較して、顔イメージの類似度に応じて正当なユーザであるかを判断したり、前記ユーザの顔イメージから、ユーザの視線、距離、位置、方向、行為の中１つ以上を含む特徴情報をさらに抽出して、前記特徴情報を基に前記ユーザが正当なユーザであるかを判断することができる。
【0050】
ちなみに、ユーザの視線、距離、位置、方向、行為に応じて認識された顔が手書き署名を行うユーザであるかどうか、例えば、実際の人であるか写真や人形であるかを判断することができる。
【0051】
つまり、第１分析段階（Ｓ１２０）では、実際登録されたユーザとの一致度によって正当なユーザであるかを判断したり、獲得した顔イメージが写真又は人形であるかそれとも実際人のイメージであるかを区分したりユーザが実際署名する人であるかを識別し、顔認識されたユーザが実際署名するものと認知されれば、正当なユーザだと判断できる。加えて、前記第１分析段階（Ｓ１２０）では上述した２つの方法を組み合わせて使用することもでき、これを通じて不正なユーザが正当なユーザの写真を利用するケースと実際正当なユーザが署名するケースを識別することができる。
【0052】
そして第２分析段階（Ｓ１３０）では、前記入力して貰った手書き署名と既登録された正当なユーザの手書き署名を比較してその類似度によって前記ユーザが正当なユーザであるかを判断することができる。
【0053】
尚、本発明によるユーザ認証装置（１００）の制御部（１５０）は、手書き署名が終了されると、前記第１分析段階（Ｓ１２０）から導出された前記顔イメージの特徴に基づいた判断結果に従って、前記手書き署名の特徴情報に基づいた検証の為の基準値を補正（Ｓ１２５）するが、前記Ｓ１２５段階での補正は、前記顔イメージの特徴情報に基盤した判断結果に従って、本人拒否率を下げる方向で上記第２分析段階で使用される基準値を補正したり、前記顔イメージの特徴情報に基づいた判断結果によって、他人受諾率を下げる方向に前記第２分析段階で使用される基準値を調整する方法で行われ得る。
【0054】
より具体的に、補正する段階（Ｓ１２５）で、前記手書き署名認証時に正当なユーザを判断するための基準値を低く調整することで、本人拒否率を低くすることができ、逆に正当なユーザを判断する為の基準値を高く調整することで他人受諾率を下げることができる。
【0055】
これによると、他人がユーザの手書き署名を偽造して書き込むことが疑われる状態では他人受諾率を最小化することで高度に偽造された手書き署名でも判別することが可能とし、また顔認識結果によってユーザ本人が署名する可能性が高い場合、本人拒否率が最小化される方向に補正することでユーザの周辺状況や状態によって手書き署名が多少異な場合であっても本人拒否を防止できる。
【0056】
例えば、図３に図示されたように、前記第２分析段階（Ｓ１３０）で、本発明によるユーザ認証装置（１００）が、手書き署名の特徴情報を既登録された手書き署名の特徴情報と比較して一致度を点数化した後判別する一致度分析アルゴリズムと、学習に基盤したディープラーニング分析アルゴリズム及び４個のしきい値（ρ、Ｔ１DL、Ｔ１F、λ）を利用して正当なユーザの手書き署名であるかを判断すると仮定する。ここで、第１しきい値ρはディープラーニング分析アルゴリズムで認証成功を判断する基準値であり、第２しきい値Ｔ１DLは前記第１しきい値ρより高く、１より低い値の中任意に設定される基準値であり、第３しきい値Ｔ１Fは一致度分析アルゴリズムで認証成功を判断する基準値であり、第４しきい値λは０より高く前記第３しきい値Ｔ１Fより低い値の中任意で設定された基準値である。
【0057】
このとき、本発明によるユーザ認証装置（１００）の制御部（１５０）は、入力された手書き署名から特徴情報を抽出した後、前記特徴情報をそれぞれ前記一致度分析アルゴリズム及びディープラーニング分析アルゴリズムに適用し、一致度分析アルゴリズムを通じて既登録された手書き署名との一致度を数値に示したスコア（ｓｃｏｒｅ１）を算出し、ディープラーニング分析アルゴリズムを通じて前記入力してもらった手書き署名が正当なユーザの手書き署名である確率値（δ１）を算出した後、確率値（δ１）が第１しきい値ρ以上でありながらスコア（ｓｃｏｒｅ１）が第３しきい値Ｔ１F以上であるか、確率値（δ１）が第２しきい値Ｔ１DL以上でありながらスコア（ｓｃｏｒｅ１）が第４しきい値λ以上であるＡ、Ｂ、Ｃ領域に該当する時、該当手書き署名に対して認証成功と判断し、その他の場合を正当でない手書き署名として認証失敗に判断する。これは、両アルゴリズムの分析結果を組み合わせて認証成功可否を判断することで、手書き署名の正確度及び信頼性を向上させるための方法である。
【0058】
ところが、この方法の場合、前記Ａ，Ｂ，Ｃ領域を狭く設定する場合、本人拒否率が高くなり、逆に前記Ａ，Ｂ，Ｃ領域を広く設定する場合、他人受諾率が高くなり認証結果の信頼度が低下することがある。従って、４個のしきい値を適切に設定する必要がある。
【0059】
本発明は、第２分析段階（Ｓ１３０）が上述したように行われると仮定する時、第１分析段階（Ｓ１２０）の顔認識に対した分析結果手書き署名を行うユーザが正当なユーザであると判断された場合、実際ユーザによる手書き署名である可能性が高いのでＡ、Ｂ、Ｃ領域が広がるように第１ないし第４しきい値の中１つ以上を調整した後、該当手書き署名の認証成功可否を判断することにより、本人拒否率を下げることができる。好ましくは第２しきい値Ｔ１DLと第３しきい値Ｔ１F及び第４しきい値λのいずれか一つ以上を低く調整することができる。
【0060】
反面、第１分析段階（Ｓ１２０）で、顔認識に対した分析結果、手書き署名を行うユーザが正当なユーザでは無いと疑われる場合Ａ、Ｂ、Ｃ領域が狭くなるように第１ないし第４しきい値のいずれが１つ以上を調整した後、該当手書き署名の認証成功可否を判断することで他人受諾率を低減することができる。好ましくは第２しきい値Ｔ１DLと第３しきい値Ｔ１F及び第４しきい値λ中いずれか１つ以上を高く調整することができる。
【0061】
なお、前記手書き署名の検証の為の基準値を補正する段階（Ｓ１２５）では、前記手書き署名の特徴情報に基づいた検証の為の基準値を補正時、既設定された範囲以内で基準値を補正することが望ましい。例えば、図３のように第１ないし第４しきい値に基づいて手書き署名の認証成功・失敗を判断する場合、第２しきい値Ｔ１DLは第１しきい値ρより大きく最大値（１）よりは低い範囲内で調整されるのが望ましく、第３しきい値Ｔ１Fは第４しきい値λより大きく最大値（１）よりは低い範囲内で調整されることが望ましいし、第４しきい値λは最小値（０）より大きく第３しきい値Ｔ１Fよりは低い範囲内で調整されることが望ましい。
【0062】
なお、前記第１分析段階（Ｓ１２０）で前記判断結果を、一致度・確率値などに対した数値あるいは段階（レベル）に出力可能な場合、前記補正する段階（Ｓ１２５）で、第１分析段階（Ｓ１２０）で算出された数値、確率、段階のいずれかに応じて第２分析段階（Ｓ１３０）で使用される基準値の調整程度を異にすることにより、手書き署名の認証結果に対して最適の補正が行われるようにすることができる。つまり、第１分析段階（Ｓ１２０）で分析結果正当なユーザである可能性が高いほど、基準値の減少幅を大きくしたり、正当ではないユーザである可能性が高いほど基準値の増加幅をを大きくしたりする。これにより、本発明によるユーザ認証方法での本人拒否率及び他人受諾率を動的に管理することが可能となる。
【0063】
尚、前記ユーザの顔イメージを獲得する段階（Ｓ１１０）で、前記ユーザが前記手書き署名を入力する間（Ｓ１０５）、継続的に顔イメージを獲得する場合（Ｓ１１０、Ｓ１２２）、前記第１分析段階（Ｓ１２０）で、前記継続的に獲得される顔イメージを基に一定周期で繰り返し前記ユーザが正当なユーザであるかを判断するようにすることができ、以後、前記補正する段階（Ｓ１２５）は、前記第１分析段階（Ｓ１２０）で一定周期に出力される判断結果の中１つ以上を組み合わせて前記手書き署名の特徴情報に基づいた検証の為の基準値を補正するようにすることができる。
【0064】
例えば、一定周期に繰り返して判断した顔認識に対した分析結果の中、最も否定的な結果を利用して前記手書き署名の特徴情報に基づいた検証の為の基準値を補正するようにしたり、一定周期に繰り返して判断した顔認識に対した分析結果の平均値を用いて前記手書き署名の特徴情報に基づいた検証の為の基準値を補正するようにすることができる。
【0065】
以上で述べたように、本発明によるユーザ認証方法及び装置は、手書き署名が行われる時、ユーザの顔イメージを同時に獲得して獲得した顔イメージに基づいた顔認識結果に基づいて、手書き署名の特徴情報に基づいた検証の為の基準値を補正するものであり、顔認識技術と手書き署名検証技術を組み合わせることにより、手書き署名に基づくユーザ認証に対した正確度及び信頼度をさらに高めることができる。
【0066】
以上で述べた本発明によるユーザ認証装置は、前述したようにスタンドアローンタイプの独立されたディバイス（Ｄｅｖｉｃｅ）として実装することもでき、ノートパソコン、タブレットＰＣ、スマートフォン、ＰＯＳ端末機、キオスクなどの既存ディバイスに搭載される形で実装することもできる。
【0067】
【0068】
まず、図４及び図５は本発明によるユーザ認証装置が、スマートフォン、ＰＤＡ、タブレットＰＣなどのような携帯形端末装置で実装されたケースを例示したものとして、図示されたように携帯形端末装置で実装されたユーザ認証装置（２００）は、装置の前面にカメラ部（２１０）と、入力及び出力が一緒に行われるタッチスクリーン（２２０）が実装され、前記タッチスクリーン（２２０）上にユーザ認証処理の為のＵＩ画面が出力されるが、前記ＵＩ画面は、カメラ部（２１０）で撮影されたユーザの顔映像が出力される映像出力窓（２２１）と、署名入力窓（２２２）が実装される、前記署名入力窓（２２２）はユーザがタッチ入力を通じて手書き署名を入力する領域で、手書き署名の入力及び出力が同時に行われることができる。
【0069】
携帯形端末装置に実装される場合、装置の画面サイズによって図４のように、カメラ部（２１０）、映像出力窓（２２１）と署名入力窓（２２２）の配置、大きさ及び割合は図４や図５に図示されたように、又はその他の違う一配置、大きさ及び割合で異なってくることがある。
【0070】
本発明によるユーザ認証装置はノートパソコンに実装できる。ノートパソコンの場合、図６に図示されたように、ディスプレイ部（３１０）と、本体部（３３０）からなり、本体部（３３０）の前面に通常的にタッチパッドが形成され、ディスプレイ部（３１０）の上部にカメラ（３２０）が装着される。
【0071】
このようにノートパソコンを利用する場合、本発明によるユーザ認証装置の署名入力の為入力部は、タッチパッド（署名入力パッド）に置き換えられて、ディスプレイ部（３１０）の画面上に、前記同様にカメラ（３２０）で撮影された顔映像が出力される映像出力窓（３１１）と一緒にタッチパッドで入力された署名を表示する署名過程表示窓（３１２）が形成される。
【0072】
従って、ユーザはディスプレイ部（３１０）の映像出力窓（３１１）及び署名過程表示窓（３１２）を見ながら、本体部（３３０）のタッチパッド（署名入力パッド）に署名を記入できる。
【0073】
尚、本発明によるユーザ認証装置はデスクトップＰＣやキオスクＰＯＳ端末機のような固定形装置で実装できる。
【0074】
図７を参照すると、デスクトップＰＣや、キオスク、ＰＯＳ端末機のような固定形装置はディスプレイ装置（４１０）とキーボード装置（４２０）と、本体（４５０）を含む。この際、カメラ（４４０）はディスプレイ装置（４１０）の上段に装着されたり外付けで連結することができる。このような固定形装置で実装される場合、ユーザの手書き署名入力の為の署名入力パッド（４３０）は、タッチパッドを外付けに連結して、前記ディスプレイ装置（４１０）に映像出力窓（４１１）及び署名過程表示窓（４１２）を含むＵＩを提供することで、ユーザ認証装置を実装することができる。
【0075】
従って、ユーザは署名入力パッド（４３０）を通じて自分の手書き署名を入力し、入力された手書き署名をディスプレイ装置（４１０）の署名過程表示窓（４１２）を通じて確認でき、なお、自分の顔映像を映像出力窓（４１１）で確認する事ができる。
【0076】
以上で説明した多様な形のユーザ認証装置は、手書き署名入力時、自分の顔映像が見えるように映像出力窓（２２１，３１１，４１１）を通じて自分の位置を調整した状態で、手書き署名を入力することが可能となれば、その結果、手書き署名と一緒にユーザの顔イメージをさらに獲得し、顔認識結果を考慮することができ、これを通じて手書き署名の特徴情報を用いた認証の正確度及び信頼性を高めることができる。
【産業上の利用可能性】
【0077】
本発明はオン・オフライン上すべて適用可能なユーザ認証技術として、手書き署名が行われる時、ユーザの顔イメージを同時に獲得し、獲得した顔イメージに基づいた顔認識結果に根拠して、手書き署名の特徴情報に基づいた検証の為の基準値を補正することで、手書き署名に基づいたユーザ認証に対した正確度及び信頼度をより高めることができるものとして、産業上利用可能性が高い。
【0078】
より具体的に、本発明は手書き署名を行うユーザの顔認識結果正当なユーザだったりユーザの視線、位置、距離、瞳の点滅回数に基づいて正当なユーザの署名が行われているものと判断する場合、手書き署名の特徴情報に基づいたユーザ認証時の判断基準となる基準値を本人拒否率を下げる方向で設定し、一方、顔認識の結果、正当なユーザで無いことが疑われる場合、他人受諾率を下げる方向で前記基準値を調整することで、他人受諾率及び本人拒否率を最小化し認証結果の信頼度を高めることができる。
【符号の説明】
【0079】
１００：ユーザ認証装置
１１０：入力部
１２０：出力部
１３０：タッチスクリーン部
１４０：カメラ部
１５０：制御部
２００：ユーザ認証装置
２１０：カメラ部
２２０：タッチスクリーン
２２１：映像出力窓
２２２：署名入力窓
３１０：ディスプレイ部
３１１：映像出力窓
３１２：署名入力窓
３２０：カメラ
３３０：本体部
４１０：ディスプレイ部
４１１：映像出力窓
４１２：署名過程表示窓
４２０：キーボード装置
４３０：署名入力パッド
４４０：カメラ
４５０：本体
１１０：入力部
１２０：出力部
１３０：タッチスクリーン部
１４０：カメラ部
１５０：制御部
２００：ユーザ認証装置
２１０：カメラ部
２２０：タッチスクリーン
２２１：映像出力窓
２２２：署名入力窓
３１０：ディスプレイ部
３１１：映像出力窓
３１２：署名入力窓
３２０：カメラ
３３０：本体部
４１０：ディスプレイ部
４１１：映像出力窓
４１２：署名過程表示窓
４２０：キーボード装置
４３０：署名入力パッド
４４０：カメラ
４５０：本体
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【国際調査報告】