(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2022-09-01
(45)【発行日】2022-09-09
(54)【発明の名称】顔認証方法及び装置
(51)【国際特許分類】
G06T 7/00 20170101AFI20220902BHJP
G06V 40/16 20220101ALI20220902BHJP
G06F 21/32 20130101ALI20220902BHJP
【ＦＩ】
G06T7/00 510F
G06V40/16
G06F21/32
【請求項の数】
62
(21)【出願番号】P 2018042975
(22)【出願日】2018-03-09
(65)【公開番号】P2018165983
(43)【公開日】2018-10-25
【審査請求日】2021-01-04
(31)【優先権主張番号】10-2017-0039489
(32)【優先日】2017-03-28
(33)【優先権主張国・地域又は機関】KR
(73)【特許権者】
【識別番号】390019839
【氏名又は名称】三星電子株式会社
【氏名又は名称原語表記】Ｓａｍｓｕｎｇ Ｅｌｅｃｔｒｏｎｉｃｓ Ｃｏ．，Ｌｔｄ．
【住所又は居所原語表記】１２９，Ｓａｍｓｕｎｇ－ｒｏ，Ｙｅｏｎｇｔｏｎｇ－ｇｕ，Ｓｕｗｏｎ－ｓｉ，Ｇｙｅｏｎｇｇｉ－ｄｏ，Ｒｅｐｕｂｌｉｃ ｏｆ Ｋｏｒｅａ
(74)【代理人】
【識別番号】100107766
【弁理士】
【氏名又は名称】伊東 忠重
(74)【代理人】
【識別番号】100070150
【弁理士】
【氏名又は名称】伊東 忠彦
(74)【代理人】
【識別番号】100091214
【弁理士】
【氏名又は名称】大貫 進介
(72)【発明者】
【氏名】韓 承 周
(72)【発明者】
【氏名】金 徳 相
(72)【発明者】
【氏名】高 民 守
(72)【発明者】
【氏名】孫 辰 雨
(72)【発明者】
【氏名】孫 昌 用
(72)【発明者】
【氏名】崔 昌 圭
(72)【発明者】
【氏名】韓 在 濬
【審査官】新井 則和
(56)【参考文献】
【文献】特開２０００－２１５３０８（ＪＰ，Ａ）
【文献】特開２０１７－０１０５４３（ＪＰ，Ａ）
【文献】特開２００３－１３２３３９（ＪＰ，Ａ）
【文献】特開２００８－０５２５４９（ＪＰ，Ａ）
【文献】特開２００１－３０７１０２（ＪＰ，Ａ）
【文献】特開昭６２－２１２７８１（ＪＰ，Ａ）
【文献】特開２００３－０６７７４４（ＪＰ，Ａ）
【文献】特開２０１５－０１８４０１（ＪＰ，Ａ）
【文献】特開２０１０－２４４３６５（ＪＰ，Ａ）
【文献】特開２０１５－１９４９４７（ＪＰ，Ａ）
【文献】特開２００４－１４５５７６（ＪＰ，Ａ）
【文献】米国特許出願公開第２０１６／０３７９０４１（ＵＳ，Ａ１）
【文献】前田 卓志，瞬時に正確な本人認証を実現 バイオメトリクス複合認証システム，月刊バーコード，第14巻 第9号，日本工業出版株式会社，2001年08月02日，pp. 64-66
(58)【調査した分野】(Int.Cl.，ＤＢ名)
Ｇ０６Ｔ ７／００
Ｇ０６Ｖ ４０／００－４０／７０
Ｇ０６Ｆ ２１／３２
(57)【特許請求の範囲】
【請求項1】
プロセッサによって実行される顔認証方法において、複数の認証モードのうち顔認証のために実行される現在認証モードを選択するステップと、
複数の認識器のうち前記選択された現在認証モードに基づいて顔認証に利用する１つ以上の認識器を決定するステップと、
前記決定された１つ以上の認識器のうち、少なくとも１つを用いて顔の情報から特徴情報を抽出するステップと、
前記抽出された特徴情報に基づいて認証成功の有無を表示するステップと、
を含み、
前記１つ以上の認識器は、第１認識器及び第２認識器を含み、
前記第１認識器は、低照度環境で撮影された入力映像に対する認識率が前記第２認識器よりも高く、かつ、前記第２認識器は、顔領域に顔の隠しによる閉塞領域が存在する入力映像に対する認識率が前記第１認識器よりも高い、
顔認証方法。
【請求項2】
１つ以上の認識器の決定に基づいて１つの認識器を取得するステップをさらに含み、前記特徴情報を抽出するステップは、前記抽出された特徴情報を生成するために前記取得された認識器に映像の決定された顔領域からの映像情報を適用するステップを含む、
請求項１に記載の顔認証方法。
【請求項3】
前記取得された認識器への適用に適するよう予め決定された形態に前記映像情報を生成するために、前記映像の前記決定された顔領域の第１正規化を行うステップをさらに含み、前記取得された認識器は、学習されたニューラルネットワーク又は機械学習モデルである、
請求項２に記載の顔認証方法。
【請求項4】
前記現在認証モードに基づいて異なる取得された認識器への適用に適するよう予め決定された形態に各映像情報を生成するために、映像の決定された顔領域に対してそれぞれ正規化を行うステップをさらに含み、前記特徴情報を抽出するステップは、前記異なる取得された認識器を用いて各映像情報からそれぞれの特徴情報を抽出するステップを含み、
前記認証成功の有無を表示するステップは、前記抽出されたそれぞれの特徴情報のうち少なくとも１つに基づいて前記認証が成功したか否かを表示するステップを含む、
請求項１ないし３のいずれか一項に記載の顔認証方法。
【請求項5】
前記各正規化を行うステップは、前記映像の決定された顔領域で閉塞領域又は閉塞が予想される領域に関する映像情報を合成するステップを含む、請求項４に記載の顔認証方法。
【請求項6】
前記顔認証を行うステップをさらに含み、前記顔認証を行うステップは、
前記抽出されたそれぞれの特徴情報のうち抽出された第１特徴情報に基づいて第１認証を行うステップと、
前記抽出されたそれぞれの特徴情報のうち抽出された第２特徴情報に基づいて第２認証を選択的に行うステップと、
前記第２認証が選択的に実行されたか否かに依存して、前記抽出された第１特徴情報及び前記抽出された第２特徴情報に基づいて第３認証を選択的に行うステップと、
前記第３認証の結果に基づいて前記顔認証が成功したか否かを決定するステップと、
を含む、請求項４に記載の顔認証方法。
【請求項7】
前記特徴情報を抽出するステップは、前記現在認証モードに基づいて異なる決定された認識器を用いて映像の決定された顔領域の各正規化からそれぞれの特徴情報を抽出するステップを含み、前記それぞれの特徴情報を抽出するステップは、現在認証モードに基づいて前記顔認証の使用性及びセキュリティー性のうち１つに加重値を付与して選択的かつ部分的に実行される、
請求項１に記載の顔認証方法。
【請求項8】
前記１つ以上の認識器を決定するステップは、前記顔認証のための複数の異なる認識器を決定するステップと、
前記現在認証モードに依存して、前記異なる認識器の選択組み合わせ及び／又は配置に基づいて前記顔認証を行うステップを含む、
請求項１に記載の顔認証方法。
【請求項9】
前記顔認証を行うステップは、前記現在認証モードに基づいて前記異なる認識器に対応するそれぞれの認証手続を選択的に行うステップを含む、請求項８に記載の顔認証方法。
【請求項10】
前記それぞれの認証手続は、互いに異なるように抽出された特徴情報及び対応する登録情報の間で対応する閾値でそれぞれの類似度を比較するステップを含む、請求項９に記載の顔認証方法。
【請求項11】
前記第１認識器及び前記第２認識器は、学習データを用いてそれぞれ学習され、前記第１認識器は低照度環境の顔認証のために低照度の顔特徴抽出を行い、前記第２認識器は１つ以上の閉塞領域を含む顔領域に関する学習データで学習される、
請求項８に記載の顔認証方法。
【請求項12】
前記特徴情報を抽出するステップは、前記第１認識器を用いて映像の決定された顔領域の映像情報から第１特徴情報を取得するステップを含み、
前記顔認証方法は顔認証を行うステップをさらに含み、
前記顔認証を行うステップは、
前記第１特徴情報に基づいて第１認証結果を決定するステップと、
前記第１認証結果と前記現在認証モードに基づいて、前記第２認識器を用いて第２特徴情報を抽出するか否かを決定するステップと、
を含み、
前記複数の認証モードは、第１認証モード及び第２認証モードのうち少なくとも１つを含む、
請求項８に記載の顔認証方法。
【請求項13】
前記特徴情報を抽出するステップは、前記第２特徴情報を抽出するか否かの決定に応答して、前記第２認識器を用いて他の映像の決定された顔領域又は前記映像の前記決定された顔領域からの他の映像情報又は前記映像情報から前記第２特徴情報を抽出するステップを含み、前記第２特徴情報を抽出するか否かの決定は、前記第２特徴情報を抽出するという決定であり、前記顔認証を行うステップは、
前記第２特徴情報に基づいて第２認証結果を決定するステップと、
前記第２認証結果に基づいて前記認証成功の有無を決定するステップと、
を含む、請求項１２に記載の顔認証方法。
【請求項14】
前記顔認証を行うステップは、第１認証モードとして選択された前記現在認証モードに応答して、
前記第２認証結果が失敗である場合に応答して、最終認証結果を失敗として決定するステップと、
前記第２認証結果が成功である場合に応答して、前記最終認証結果を成功として決定するステップと、
を含む、請求項１３に記載の顔認証方法。
【請求項15】
前記顔認証を行うステップは、第２認証モードとして選択された前記現在認証モードに応答して、
前記第１認証結果が成功である場合に応答して、前記第２特徴情報が抽出されるものと決定するステップと、
前記第２認証結果が成功である場合に応答して、前記最終認証結果を成功として決定するステップと、
を含む、請求項１４に記載の顔認証方法。
【請求項16】
前記顔認証を行うステップは、前記現在認証モードが第１認証モードとして選択された場合、
前記第１認証結果が認証失敗である場合、前記第２特徴情報を抽出するものと決定するステップと、
前記第１認証結果が認証成功である場合、最終認証結果を認証成功として決定して顔認証手続を終了するステップと、
を含む、請求項１２に記載の顔認証方法。
【請求項17】
前記第２認証モードとして選択された前記現在認証モードに応答して、前記第１認証結果が認証失敗である場合、最終認証結果を認証失敗として決定して顔認証手続を終了するステップと、
前記第１認証結果が認証成功である場合、前記第２特徴情報を抽出するものと決定するステップと、
を含む、請求項１５に記載の顔認証方法。
【請求項18】
前記第１認証結果を決定するステップは、前記第１特徴情報と前記第１認識器を用いて予め抽出された第１登録特徴情報の比較に基づいて前記第１認証結果を決定するステップをさらに含む、請求項１２に記載の顔認証方法。
【請求項19】
前記第１認証結果が認証成功である場合、前記第１特徴情報を用いて前記第１登録特徴情報をアップデートするステップを選択的にさらに含む、請求項１８に記載の顔認証方法。
【請求項20】
前記第２認証結果を決定するステップは、前記第２特徴情報と前記第２認識器を用いて抽出された第２登録特徴情報を比較して前記第２認証結果を決定する、請求項１３に記載の顔認証方法。
【請求項21】
前記第２認証結果が認証成功である場合、前記第２特徴情報を用いて前記第２登録特徴情報をアップデートするステップを選択的にさらに含む、請求項２０に記載の顔認証方法。
【請求項22】
前記第１認証結果を決定するステップは、前記第１特徴情報と前記第１認識器を用いて抽出された第１登録特徴情報間の類似度を算出するステップと、
前記類似度と予め設定された第１閾値との間の比較結果に基づいて前記第１認証結果を決定するステップと、
を含む、請求項１２に記載の顔認証方法。
【請求項23】
前記特徴情報を抽出するステップは、入力映像から顔領域を検出するステップと、
前記検出された顔領域から顔のランドマークを検出するステップと、
前記検出されたランドマークに基づいて前記顔領域を正規化して前記顔の前記情報を生成するステップと、
を含む、請求項１に記載の顔認証方法。
【請求項24】
請求項１ないし請求項２３のいずれか一項に記載の方法をコンピュータで実行するためのプログラムを記録するコンピュータで読み出し可能な記録媒体。
【請求項25】
顔認証装置において、前記顔認証装置は少なくとも１つのプロセッサを含み、前記少なくとも１つのプロセッサは、複数の認証モードのうち顔認証のために実行される現在認証モードを選択し、
前記選択された現在認証モードに基づいて複数の認識器のうち１つ以上の認識器を決定し、
前記決定された１つ以上の認識器を用いて顔の情報から特徴情報を抽出し、
前記抽出された特徴情報に基づいて認証成功の有無を表示するように構成されており、
前記１つ以上の認識器は、第１認識器及び第２認識器を含み、
前記第１認識器は、低照度環境で撮影された入力映像に対する認識率が前記第２認識器よりも高く、かつ、前記第２認識器は、顔領域に顔の隠しによる閉塞領域が存在する入力映像に対する認識率が前記第１認識器よりも高い、
顔認証装置。
【請求項26】
前記１つ以上のプロセッサは、１つ以上の認識器の決定に基づいて１つの認識器を取得し、前記１つ以上のプロセッサは、前記抽出された特徴情報を生成するために前記取得された認識器に映像の決定された顔領域からの映像情報を適用する、
請求項２５に記載の顔認証装置。
【請求項27】
前記１つ以上のプロセッサは、前記取得された認識器への適用に適するよう所定の形態に前記映像情報を生成するため、前記映像の前記決定された顔領域の第１正規化を行い、
前記取得された認識器は、学習されたニューラルネットワーク又は機械学習モデルである、
請求項２６に記載の顔認証装置。
【請求項28】
前記１つ以上のプロセッサは、前記現在認証モードに基づいて異なる取得された認識器への適用に適するよう予め決定された形態に各映像情報を生成するために、映像の決定された顔領域に対してそれぞれ正規化を行い、
前記異なる取得された認識器を用いて各映像情報からそれぞれの特徴情報を抽出し、
前記抽出されたそれぞれの特徴情報のうち少なくとも１つに基づいて前記認証が成功したか否かを表示する、
請求項２５ないし２７のいずれか一項に記載の顔認証装置。
【請求項29】
前記１つ以上のプロセッサは、前記各正規化のうち少なくとも１つのために前記映像の決定された顔領域で閉塞領域又は閉塞が予想される領域に関する映像情報を合成する、請求項２８に記載の顔認証装置。
【請求項30】
前記１つ以上のプロセッサは、前記抽出されたそれぞれの特徴情報のうち抽出された第１特徴情報に基づいて第１認証を行い、
前記抽出されたそれぞれの特徴情報のうち抽出された第２特徴情報に基づいて第２認証を選択的に行い、
前記第２認証が選択的に実行されたか否かに依存して、前記抽出された第１特徴情報及び前記抽出された第２特徴情報に基づいて第３認証を選択的に行い、
前記第３認証の結果に基づいて、前記顔認証が成功したか否かを決定する、
請求項２８に記載の顔認証装置。
【請求項31】
前記１つ以上のプロセッサは、前記現在認証モードに基づいて異なる決定された認識器を用いて映像の決定された顔領域の各正規化からそれぞれの特徴情報を抽出し、
前記１つ以上のプロセッサは、現在認証モードに基づいて前記顔認証の使用性及びセキュリティー性のうち１つに加重値を付与して選択的かつ部分的に行う、
請求項２５に記載の顔認証装置。
【請求項32】
前記１つ以上のプロセッサは、前記現在認証モードに基づいて前記顔認証のための複数の異なる認識器を決定し、
前記現在認証モードに依存して、前記異なる認識器の選択組み合わせ及び／又は配置に基づいて前記認証を行うように構成される、
請求項２５に記載の顔認証装置。
【請求項33】
前記１つ以上のプロセッサは、前記現在認証モードに基づいて前記異なる認識器に対応してそれぞれの認証手続を選択的に行うように構成される、請求項３２に記載の顔認証装置。
【請求項34】
前記１つ以上のプロセッサによって、前記それぞれの認証手続は互いに異なるように抽出された特徴情報及び対応する登録情報の間で対応する閾値からそれぞれの類似度を比較するステップを含む、請求項３３に記載の顔認証装置。
【請求項35】
前記１つ以上のプロセッサは、前記特徴情報の抽出を行うために、前記第１認識器を用いて映像の決定された顔領域から導き出された映像情報から第１特徴情報を抽出し、
前記認証を行うために、前記第１特徴情報に基づいて第１認証結果を決定し、
前記第１認証結果と前記現在認証モードに基づいて、前記第２認識器を用いて第２特徴情報を抽出するか否かを決定するように構成され、
前記複数の認証モードは、第１認証モード及び異なる第２認証モードのうち少なくとも１つを含む、
請求項３２に記載の顔認証装置。
【請求項36】
前記少なくとも１つのプロセッサは、前記第２特徴情報を抽出するか否かの決定に応答して、前記第２認識器を用いて他の映像の決定された顔領域又は前記映像の前記決定された顔領域からの他の映像情報又は前記映像情報から前記第２特徴情報を抽出し、前記第２特徴情報を抽出するか否かの決定は前記第２特徴情報を抽出するという決定であり、
前記第２特徴情報に基づいて第２認証結果を決定して前記認証を行い、
前記第２認証結果に基づいて前記認証成功の有無を決定するように構成される、
請求項３５に記載の顔認証装置。
【請求項37】
前記少なくとも１つのプロセッサは、前記現在認証モードが前記第１認証モードとして選択された場合、
前記第２認証結果が認証失敗である場合に応答して、最終認証結果を認証失敗として決定し、
前記第２認証結果が認証成功である場合に応答して、最終認証結果を認証成功として決定するように構成される、
請求項３６に記載の顔認証装置。
【請求項38】
前記少なくとも１つのプロセッサは、前記現在認証モードが第２認証モードとして選択された場合、
前記第１認証結果が認証失敗である場合に応答して、第２特徴情報を抽出するものと決定し、
前記第２認証結果が認証成功である場合に応答して、最終認証結果を認証成功として決定するように構成される、
請求項３７に記載の顔認証装置。
【請求項39】
前記１つ以上のプロセッサは、前記現在認証モードが第１認証モードとして選択されることに応答して、
前記第１認証結果が認証失敗である場合に応答して、前記第２特徴情報を抽出するものと決定し、
前記第１認証結果が認証成功である場合、最終認証結果を認証成功として決定して顔認証手続を終了するように構成される、
請求項３５に記載の顔認証装置。
【請求項40】
前記１つ以上のプロセッサは、前記現在認証モードが第２認証モードとして選択された場合に応答して、
前記第１認証結果が認証失敗である場合、最終認証結果を認証失敗として決定して顔認証手続を終了し、
前記第１認証結果が認証成功である場合、前記第２特徴情報を抽出するものと決定するように構成される、
請求項３５に記載の顔認証装置。
【請求項41】
前記１つ以上のプロセッサは、前記第１特徴情報と前記第１認識器を用いて予め抽出された第１登録特徴情報を比較して前記第１認証結果を決定するように構成される、請求項３５に記載の顔認証装置。
【請求項42】
前記１つ以上のプロセッサは、前記第１認証結果が認証成功である場合、前記第１特徴情報を用いて前記第１登録特徴情報をアップデートするよう選択的に構成される、請求項４１に記載の顔認証装置。
【請求項43】
前記１つ以上のプロセッサは、前記第２特徴情報と前記第２認識器を用いて予め抽出された第２登録特徴情報を比較して前記第２認証結果を決定するように構成される、請求項３６に記載の顔認証装置。
【請求項44】
前記１つ以上のプロセッサは、前記第２認証結果が認証成功である場合、前記第２特徴情報を用いて前記第２登録特徴情報をアップデートするよう選択的に構成される、請求項４３に記載の顔認証装置。
【請求項45】
前記１つ以上のプロセッサは、前記第１特徴情報と前記第１認識器を用いて予め抽出された第１登録特徴情報間の類似度を算出し、
前記類似度と予め設定された第１閾値との間の比較結果に基づいて前記第１認証結果を決定するように構成される、
請求項３５に記載の顔認証装置。
【請求項46】
前記１つ以上のプロセッサは、入力映像から顔領域を検出し、
前記検出された顔領域から顔のランドマークを検出し、
前記検出されたランドマークに基づいて前記顔領域を正規化するように構成される、
請求項２５に記載の顔認証装置。
【請求項47】
ユーザの顔領域が示された入力映像から第１特徴情報を抽出するニューラルネットワークモデルを含む第１認識器と、前記入力映像から前記第１特徴情報と異なる第２特徴情報を抽出する異なるニューラルネットワークモデルを含む第２認識器と、
前記抽出された第１特徴情報と登録された第１登録特徴情報とを比較した第１認証結果、及び前記抽出された第２特徴情報と登録された第２登録特徴情報とを比較した第２認証結果のうち少なくとも１つが成功であれば、顔認証を成功として決定する１つ以上のプロセッサと、
を含み、
前記第１認識器は、低照度環境で撮影された入力映像に対する認識率が前記第２認識器よりも高く、かつ、前記第２認識器は、顔領域に顔の隠しによる閉塞領域が存在する入力映像に対する認識率が前記第１認識器よりも高い、
コンピューティング装置。
【請求項48】
前記第１認識器のニューラルネットワークモデル及び前記第２認識器の異なるニューラルネットワークモデルは、互いに異なる学習データに基づいてそれぞれ学習されたものである、請求項４７に記載のコンピューティング装置。
【請求項49】
前記第２認識器の異なるニューラルネットワークモデルは、学習の顔領域に閉塞領域が存在したり、存在するものと予想される学習データに基づいて学習されたものである、請求項４７に記載のコンピューティング装置。
【請求項50】
前記顔領域から閉塞領域が存在するものと予想される領域を平均映像、平均値映像又は単一カラー映像の対応する領域の映像情報に代替する映像が、前記第２特徴情報の抽出のために前記第２認識器の異なるニューラルネットワークモデルに入力される、請求項４７に記載のコンピューティング装置。
【請求項51】
前記閉塞領域が存在するものと予想される領域は、前記顔領域からメガネ、サングラス、帽子、又はマスクのうちの１つ以上の組み合わせにより閉塞が示される領域である、請求項５０に記載のコンピューティング装置。
【請求項52】
前記１つ以上のプロセッサは、前記顔認証が成功であれば、前記コンピューティング装置のロックモードを解除し、
前記第１認証結果及び前記第２認証結果が認証失敗である場合に応答して、前記１つ以上のプロセッサはロックモードを保持したりロックモードを解除しない、
請求項４７ないし５１のいずれか一項に記載のコンピューティング装置。
【請求項53】
ユーザの顔領域が示された入力映像から第１特徴情報を抽出するニューラルネットワークモデルを含む第１認識器と、前記入力映像から前記第１特徴情報と異なる第２特徴情報を抽出する異なるニューラルネットワークモデルを含む第２認識器と、
前記抽出された第１特徴情報と登録された第１登録特徴情報とを比較した第１認証結果、及び前記抽出された第２特徴情報と登録された第２登録特徴情報とを比較した第２認証結果のうち少なくとも１つが失敗であれば、顔認証を失敗として決定する１つ以上のプロセッサと、
を含み、
前記第１認識器は、低照度環境で撮影された入力映像に対する認識率が前記第２認識器よりも高く、かつ、前記第２認識器は、顔領域に顔の隠しによる閉塞領域が存在する入力映像に対する認識率が前記第１認識器よりも高い、
コンピューティング装置。
【請求項54】
前記第１認識器のニューラルネットワークモデル及び前記第２認識器の異なるニューラルネットワークモデルは、互いに異なる学習データに基づいてそれぞれ学習されたものである、請求項５３に記載のコンピューティング装置。
【請求項55】
前記第２認識器の異なるニューラルネットワークモデルは、学習の顔領域に閉塞領域が存在したり存在するものと予想される学習データに基づいて学習されたものである、請求項５３に記載のコンピューティング装置。
【請求項56】
前記顔領域から閉塞領域が存在するものと予想される領域を平均映像、平均値映像又は単一カラー映像の対応する領域の映像情報に代替する映像が、前記第２特徴情報を抽出するために前記第２認識器の異なるニューラルネットワークモデルに入力される、請求項５３に記載のコンピューティング装置。
【請求項57】
前記閉塞領域が存在するものと予想される領域は、前記顔領域からメガネ、サングラス、帽子、又はマスクのうちの１つ以上の組み合わせにより閉塞が示される領域である、請求項５６に記載のコンピューティング装置。
【請求項58】
前記コンピューティング装置は、前記顔認証が失敗であれば、前記コンピューティング装置を用いた金融サービス又は決済サービスにおける認証結果を認証失敗として決定し、
前記第１認証結果及び前記第２認証結果が認証成功である場合に応答して、前記１つ以上のプロセッサは、前記決済サービス又は前記金融サービスで前記認証結果を認証成功として決定する、
請求項５３ないし５７のいずれか一項に記載のコンピューティング装置。
【請求項59】
前記コンピューティング装置はトランシーバーをさらに含み、前記決済サービス又は前記金融サービスで前記認証結果が成功に決定された場合、前記１つ以上のプロセッサは、前記トランシーバーが決済情報を外部の端末に送信したり、前記金融サービスにより金融トランザクションを行ったり、及び／又は、前記金融サービスによりユーザインターフェースに金融情報を提供するよう構成される、
請求項５８に記載のコンピューティング装置。
【請求項60】
ユーザの顔領域を含む入力映像から第１特徴情報を抽出するように構成されるニューラルネットワークを含む第１認識器と、前記第１特徴情報と異なる第２特徴情報を前記入力映像から抽出するように構成される異なるニューラルネットワークを含む第２認識器と、
第１認証モード及び第２認証モードのうちの１つから前記ユーザを認証するために実行される現在認証モードを決定するよう構成された１つ以上のプロセッサと、
を含み、
前記現在認証モードが前記第１認証モードとして決定される場合、前記１つ以上のプロセッサは、第１認証結果及び第２認証結果のうち少なくとも１つが認証成功である場合に応答して顔認識が成功であると決定し、前記第１認証結果は前記第１特徴情報を第１登録特徴情報と比較することによって取得され、前記第２認証結果は前記第２特徴情報を第２登録特徴情報と比較することによって取得され、
前記現在認証モードが前記第２認証モードとして決定される場合、前記１つ以上のプロセッサは、前記第１認証結果及び前記第２認証結果のうち少なくとも１つが失敗である場合に応答して顔認証を失敗として決定し、
前記第１認識器は、低照度環境で撮影された入力映像に対する認識率が前記第２認識器よりも高く、かつ、前記第２認識器は、顔領域に顔の隠しによる閉塞領域が存在する入力映像に対する認識率が前記第１認識器よりも高い、
コンピューティング装置。
【請求項61】
前記第１認証モードは予め決定されたロック解除モードであり、前記ロック解除モードは、コンピューティング装置がロック状態である場合に１つ以上のプロセッサによって自動で実行されるよう調整されたり、前記ユーザが前記コンピューティング装置のユーザインターフェースを解除しようと試みる場合に前記１つ以上のプロセッサによって実行されるよう決定される、
請求項６０に記載のコンピューティング装置。
【請求項62】
前記第２認証モードは予め決定された決済モードであり、前記決済モードは、前記ユーザが前記コンピューティング装置の決済サービスにアクセスしたり選択する場合に、前記１つ以上のプロセッサによって実行されるよう決定される、
請求項６０または６１に記載のコンピューティング装置。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、顔認証技術に関する。
【背景技術】
【0002】
生体認証技術のうちの１つである顔認証技術は、静画や動画に示された顔に基づいてユーザが正当なユーザであるか否かを決定する認証技術である。顔認証技術は、認証対象者を非接触式で確認できるという長所がある。
【発明の概要】
【発明が解決しようとする課題】
【0003】
本発明の目的は、顔認証技術を提供することにある。
【課題を解決するための手段】
【0004】
一実施形態に係る顔認証方法は、プロセッサによって実行され、複数の認証モードのうち顔認証のために実行される現在認証モードを選択するステップと、複数の認識器のうち前記選択された現在認証モードに基づいて顔認証に利用する１つ以上の認識器を決定するステップと、前記決定された１つ以上の認識器のうち、少なくとも１つを用いて顔の情報から特徴情報を抽出するステップと、前記抽出された特徴情報に基づいて認証成功の有無を表示するステップとを含む。
【0005】
前記顔認証方法は、１つ以上の認識器の決定に基づいて１つの認識器を取得するステップをさらに含み、前記特徴情報を抽出するステップは、前記抽出された特徴情報を生成するために前記取得された認識器に映像の決定された顔領域からの映像情報を適用するステップを含み得る。
【0006】
前記顔認証方法は、前記取得された認識器への適用に適するよう予め決定された形態に前記映像情報を生成するために、前記映像の前記決定された顔領域の第１正規化を行うステップをさらに含み、前記取得された認識器は、学習されたニューラルネットワーク又は機械学習モデルであり得る。
【0007】
前記顔認証方法は、前記現在認証モードに基づいて異なる取得された認識器への適用に適するよう予め決定された形態に各映像情報を生成するために、映像の決定された顔領域に対してそれぞれ正規化を行うステップをさらに含み、前記特徴情報を抽出するステップは、前記異なる取得された認識器を用いて各映像情報からそれぞれの特徴情報を抽出するステップを含み、前記認証成功の有無を表示するステップは、前記抽出されたそれぞれの特徴情報のうち少なくとも１つに基づいて前記認証が成功したか否かを表示するステップを含み得る。
【0008】
前記各正規化を行うステップは、前記映像の決定された顔領域で閉塞領域又は閉塞が予想される領域に関する映像情報を合成するステップを含み得る。
【0009】
前記顔認証方法は、前記顔認証を行うステップをさらに含み、前記顔認証を行うステップは、前記抽出されたそれぞれの特徴情報のうち抽出された第１特徴情報に基づいて第１認証を行うステップと、前記抽出されたそれぞれの特徴情報のうち抽出された第２特徴情報に基づいて第２認証を選択的に行うステップと、前記第２認証が選択的に実行されたか否かに依存して、前記抽出された第１特徴情報及び前記抽出された第２特徴情報に基づいて第３認証を選択的に行うステップと、前記第３認証の結果に基づいて前記顔認証が成功したか否かを決定するステップとを含み得る。
【0010】
前記特徴情報を抽出するステップは、前記現在認証モードに基づいて異なる決定された認識器を用いて映像の決定された顔領域の各正規化からそれぞれの特徴情報を抽出するステップを含み、前記それぞれの特徴情報を抽出するステップは、現在認証モードに基づいて前記顔認証の使用性及びセキュリティー性のうち１つに加重値を付与して選択的かつ部分的に実行され得る。
【0011】
前記１つ以上の認識器を決定するステップは、前記顔認証のための複数の異なる認識器を決定するステップと、前記現在認証モードに依存して、前記異なる認識器の選択組み合わせ及び／又は配置に基づいて前記顔認証を行うステップを含み得る。
【0012】
前記顔認証を行うステップは、前記現在認証モードに基づいて前記異なる認識器に対応するそれぞれの認証手続を選択的に行うステップを含み得る。
【0013】
前記顔認証方法は、前記それぞれの認証手続は、互いに異なるように抽出された特徴情報及び対応する登録情報の間で対応する閾値でそれぞれの類似度を比較するステップを含み得る。
【0014】
前記複数の異なる認識器は、第１ニューラルネットワークモデル認識器及び第２ニューラルネットワークモデル認識器を含み、前記第１ニューラルネットワークモデル認識器及び前記第２ニューラルネットワークモデル認識器は、学習データを用いてそれぞれ学習され、前記第１ニューラルネットワークモデル認識器は低照度環境の顔認証のために低照度の顔特徴抽出を行い、前記第２ニューラルネットワークモデル認識器は１つ以上の閉塞領域を含む顔領域に関する学習データで学習され得る。
【0015】
前記特徴情報を抽出するステップは、第１認識器を用いて映像の決定された顔領域の映像情報から第１特徴情報を取得するステップを含み、前記顔認証方法は顔認証を行うステップをさらに含み、前記顔認証を行うステップは、前記第１特徴情報に基づいて第１認証結果を決定するステップと、前記第１認証結果と前記現在認証モードに基づいて、第２認識器を用いて第２特徴情報を抽出するか否かを決定するステップとを含み、前記複数の認証モードは、第１認証モード及び第２認証モードのうち少なくとも１つを含み得る。
【0016】
前記特徴情報を抽出するステップは、前記第２特徴情報を抽出するか否かの決定に応答して、前記第２認識器を用いて他の映像の決定された顔領域又は前記映像の前記決定された顔領域からの他の映像情報又は前記映像情報から前記第２特徴情報を抽出するステップを含み、前記第２特徴情報を抽出するか否かの決定は、前記第２特徴情報を抽出するという決定であり、前記顔認証を行うステップは、前記第２特徴情報に基づいて第２認証結果を決定するステップと、前記第２認証結果に基づいて前記認証成功の有無を決定するステップとを含み得る。
【0017】
前記顔認証を行うステップは、第１認証モードとして選択された前記現在認証モードに応答して、前記第２認証結果が失敗である場合に応答して、最終認証結果を失敗として決定するステップと、前記第２認証結果が成功である場合に応答して、前記最終認証結果を成功として決定するステップとを含み得る。
【0018】
前記顔認証を行うステップは、前記第２認証モードとして選択された前記現在認証モードに応答して、前記第１認証結果が成功である場合に応答して、前記第２特徴情報が抽出されるものと決定するステップと、前記第２認証結果が成功である場合に応答して、前記最終認証結果を成功として決定するステップとを含み得る。
【0019】
前記顔認証を行うステップは、前記現在認証モードが第１認証モードとして選択された場合、前記第１認証結果が認証失敗である場合、前記第２特徴情報を抽出するものと決定するステップと、前記第１認証結果が認証成功である場合、最終認証結果を認証成功として決定して顔認証手続を終了するステップとを含み得る。
【0020】
前記第２認証モードとして選択された前記現在認証モードに応答して、前記第１認証結果が認証失敗である場合、最終認証結果を認証失敗として決定して顔認証手続を終了するステップと、前記第１認証結果が認証成功である場合、前記第２特徴情報を抽出するものと決定するステップとを含み得る。
【0021】
前記第１認証結果を決定するステップは、前記第１特徴情報と前記第１認識器を用いて予め抽出された第１登録特徴情報の比較に基づいて前記第１認証結果を決定するステップをさらに含み得る。
【0022】
前記顔認証方法は、前記第１認証結果が認証成功である場合、前記第１特徴情報を用いて前記第１登録特徴情報をアップデートするステップを選択的にさらに含み得る。
【0023】
前記第２認証結果を決定するステップは、前記第２特徴情報と前記第２認識器を用いて抽出された第２登録特徴情報を比較して前記第２認証結果を決定し得る。
【0024】
前記顔認証方法は、前記第２認証結果が認証成功である場合、前記第２特徴情報を用いて前記第２登録特徴情報をアップデートするステップを選択的にさらに含み得る。
【0025】
前記第１認証結果を決定するステップは、前記第１特徴情報と前記第１認識器を用いて抽出された第１登録特徴情報間の類似度を算出するステップと、前記類似度と予め設定された第１閾値との間の比較結果に基づいて前記第１認証結果を決定するステップとを含み得る。
【0026】
前記特徴情報を抽出するステップは、入力映像から顔領域を検出するステップと、前記検出された顔領域から顔のランドマークを検出するステップと、前記検出されたランドマークに基づいて前記顔領域を正規化して前記顔の前記情報を生成するステップとを含み得る。
【0027】
コンピュータで読み出し可能な記録媒体は、前記方法をコンピュータで実行するためのプログラムを記録し得る。
【0028】
一実施形態に係る顔認証装置は、少なくとも１つのプロセッサを含み、前記少なくとも１つのプロセッサは、複数の認証モードのうち顔認証のために実行される現在認証モードを選択し、前記選択された現在認証モードに基づいて複数の認識器のうち１つ以上の認識器を決定し、前記決定された１つ以上の認識器を用いて顔の情報から特徴情報を抽出し、前記抽出された特徴情報に基づいて認証成功の有無を表示するように構成される。
【0029】
前記１つ以上のプロセッサは、１つ以上の認識器の決定に基づいて１つの認識器を取得し、前記１つ以上のプロセッサは、前記抽出された特徴情報を生成するために前記取得された認識器に映像の決定された顔領域からの映像情報を適用し得る。
【0030】
前記１つ以上のプロセッサは、前記取得された認識器への適用に適するよう所定の形態に前記映像情報を生成するため、前記映像の前記決定された顔領域の第１正規化を行い、前記取得された認識器は、学習されたニューラルネットワーク又は機械学習モデルであり得る。
【0031】
前記１つ以上のプロセッサは、前記現在認証モードに基づいて異なる取得された認識器への適用に適するよう予め決定された形態に各映像情報を生成するために、映像の決定された顔領域に対してそれぞれ正規化を行い、前記異なる取得された認識器を用いて各映像情報からそれぞれの特徴情報を抽出し、前記抽出されたそれぞれの特徴情報のうち少なくとも１つに基づいて前記認証が成功したか否かを表示し得る。
【0032】
前記１つ以上のプロセッサは、前記各正規化のうち少なくとも１つのために前記映像の決定された顔領域で閉塞領域又は閉塞が予想される領域に関する映像情報を合成し得る。
【0033】
前記１つ以上のプロセッサは、前記抽出されたそれぞれの特徴情報のうち抽出された第１特徴情報に基づいて第１認証を行い、前記抽出されたそれぞれの特徴情報のうち抽出された第２特徴情報に基づいて第２認証を選択的に行い、前記第２認証が選択的に実行されたか否かに依存して、前記抽出された第１特徴情報及び前記抽出された第２特徴情報に基づいて第３認証を選択的に行い、前記第３認証の結果に基づいて、前記顔認証が成功したか否かを決定し得る。
【0034】
前記１つ以上のプロセッサは、前記現在認証モードに基づいて異なる決定された認識器を用いて映像の決定された顔領域の各正規化からそれぞれの特徴情報を抽出し、前記１つ以上のプロセッサは、現在認証モードに基づいて前記顔認証の使用性及びセキュリティー性のうち１つに加重値を付与して選択的かつ部分的に行い得る。
【0035】
前記１つ以上のプロセッサは、前記現在認証モードに基づいて前記顔認証のための複数の異なる認識器を決定し、前記現在認証モードに依存して、前記異なる認識器の選択組み合わせ及び／又は配置に基づいて前記認証を行うように構成され得る。
【0036】
前記１つ以上のプロセッサは、前記現在認証モードに基づいて前記異なる認識器に対応してそれぞれの認証手続を選択的に行うように構成され得る。
【0037】
前記顔認証装置は、前記１つ以上のプロセッサによって、前記それぞれの認証手続は互いに異なるように抽出された特徴情報及び対応する登録情報の間で対応する閾値からそれぞれの類似度を比較するステップを含み得る。
【0038】
前記１つ以上のプロセッサは、前記特徴情報の抽出を行うために、第１認識器を用いて映像の決定された顔領域から導き出された映像情報から第１特徴情報を抽出し、前記認証を行うために、前記第１特徴情報に基づいて第１認証結果を決定し、前記第１認証結果と前記現在認証モードに基づいて、第２認識器を用いて第２特徴情報を抽出するか否かを決定するように構成され、前記複数の認証モードは、第１認証モード及び異なる第２認証モードのうち少なくとも１つを含み得る。
【0039】
前記少なくとも１つのプロセッサは、前記第２特徴情報を抽出するか否かの決定に応答して、前記第２認識器を用いて他の映像の決定された顔領域又は前記映像の前記決定された顔領域からの他の映像情報又は前記映像情報から前記第２特徴情報を抽出し、前記第２特徴情報を抽出するか否かの決定は前記第２特徴情報を抽出するという決定であり、前記第２特徴情報に基づいて第２認証結果を決定して前記認証を行い、前記第２認証結果に基づいて前記認証成功の有無を決定するように構成され得る。
【0040】
前記少なくとも１つのプロセッサは、前記現在認証モードが前記第１認証モードとして選択された場合、前記第２認証結果が認証失敗である場合に応答して、最終認証結果を認証失敗として決定し、前記第２認証結果が認証成功である場合に応答して、最終認証結果を認証成功として決定するように構成され得る。
【0041】
前記少なくとも１つのプロセッサは、前記現在認証モードが前記第２認証モードとして選択された場合、前記第１認証結果が認証失敗である場合に応答して、第２特徴情報を抽出するものと決定し、前記第２認証結果が認証成功である場合に応答して、最終認証結果を認証成功として決定するように構成され得る。
【0042】
前記１つ以上のプロセッサは、前記現在認証モードが第１認証モードとして選択されることに応答して、前記第１認証結果が認証失敗である場合に応答して、前記第２特徴情報を抽出するものと決定し、前記第１認証結果が認証成功である場合、最終認証結果を認証成功として決定して顔認証手続を終了するように構成され得る。
【0043】
前記１つ以上のプロセッサは、前記現在認証モードが第２認証モードとして選択された場合に応答して、前記第１認証結果が認証失敗である場合、最終認証結果を認証失敗として決定して顔認証手続を終了し、前記第１認証結果が認証成功である場合、前記第２特徴情報を抽出するものと決定するように構成され得る。
【0044】
前記１つ以上のプロセッサは、前記第１特徴情報と前記第１認識器を用いて予め抽出された第１登録特徴情報を比較して前記第１認証結果を決定するように構成され得る。
【0045】
前記１つ以上のプロセッサは、前記第１認証結果が認証成功である場合、前記第１特徴情報を用いて前記第１登録特徴情報をアップデートするよう選択的に構成され得る。
【0046】
前記１つ以上のプロセッサは、前記第２特徴情報と前記第２認識器を用いて予め抽出された第２登録特徴情報を比較して前記第２認証結果を決定するように構成され得る。
【0047】
前記１つ以上のプロセッサは、前記第２認証結果が認証成功である場合、前記第２特徴情報を用いて前記第２登録特徴情報をアップデートするよう選択的に構成され得る。
【0048】
前記１つ以上のプロセッサは、前記第１特徴情報と前記第１認識器を用いて予め抽出された第１登録特徴情報間の類似度を算出し、前記類似度と予め設定された第１閾値との間の比較結果に基づいて前記第１認証結果を決定するように構成され得る。
【0049】
前記１つ以上のプロセッサは、入力映像から顔領域を検出し、前記検出された顔領域から顔のランドマークを検出し、前記検出されたランドマークに基づいて前記顔領域を正規化するように構成され得る。
【0050】
一実施形態に係るコンピューティング装置は、ユーザの顔領域が示された入力映像から第１特徴情報を抽出するニューラルネットワークモデルを含む第１認識器と、前記入力映像から前記第１特徴情報と異なる第２特徴情報を抽出する異なるニューラルネットワークモデルを含む第２認識器と、前記抽出された第１特徴情報と登録された第１登録特徴情報とを比較した第１認証結果、及び前記抽出された第２特徴情報と登録された第２登録特徴情報とを比較した第２認証結果のうち少なくとも１つが成功であれば、顔認証を成功として決定する１つ以上のプロセッサとを含む。
【0051】
前記第１認識器のニューラルネットワークモデル及び前記第２認識器の異なるニューラルネットワークモデルは、互いに異なる学習データに基づいてそれぞれ学習されたものであり得る。
【0052】
前記第２認識器の異なるニューラルネットワークモデルは、学習の顔領域に閉塞領域が存在したり、存在するものと予想される学習データに基づいて学習されたものであり得る。
【0053】
前記顔領域から閉塞領域が存在するものと予想される領域を平均映像、平均値映像又は単一カラー映像の対応する領域の映像情報に代替する映像が、前記第２特徴情報の抽出のために前記第２認識器の異なるニューラルネットワークモデルに入力され得る。
【0054】
前記閉塞領域が存在するものと予想される領域は、前記顔領域からメガネ、サングラス、帽子、又はマスクのうちの１つ以上の組み合わせにより閉塞が示される領域であり得る。
【0055】
前記１つ以上のプロセッサは、前記顔認証が成功であれば、前記コンピューティング装置のロックモードを解除し、前記第１認証結果及び前記第２認証結果が認証失敗である場合に応答して、前記１つ以上のプロセッサはロックモードを保持したりロックモードを解除しない。
【0056】
一実施形態に係るコンピューティング装置は、ユーザの顔領域が示された入力映像から第１特徴情報を抽出するニューラルネットワークモデルを含む第１認識器と、前記入力映像から前記第１特徴情報と異なる第２特徴情報を抽出する異なるニューラルネットワークモデルを含む第２認識器と、前記抽出された第１特徴情報と登録された第１登録特徴情報とを比較した第１認証結果、及び前記抽出された第２特徴情報と登録された第２登録特徴情報とを比較した第２認証結果のうち少なくとも１つが失敗であれば、顔認証を失敗として決定する１つ以上のプロセッサとを含む。
【0057】
前記第１認識器のニューラルネットワークモデル及び前記第２認識器の異なるニューラルネットワークモデルは、互いに異なる学習データに基づいてそれぞれ学習されたものであり得る。
【0058】
前記第２認識器の異なるニューラルネットワークモデルは、学習の顔領域に閉塞領域が存在したり存在するものと予想される学習データに基づいて学習されたものであり得る。
【0059】
前記顔領域から閉塞領域が存在するものと予想される領域を平均映像、平均値映像又は単一カラー映像の対応する領域の映像情報に代替する映像が、前記第２特徴情報を抽出するために前記第２認識器の異なるニューラルネットワークモデルに入力され得る。
【0060】
前記閉塞領域が存在するものと予想される領域は、前記顔領域からメガネ、サングラス、帽子、又はマスクのうちの１つ以上の組み合わせにより閉塞が示される領域であり得る。
【0061】
前記顔認証装置は、前記顔認証が失敗であれば、前記コンピューティング装置を用いた金融サービス又は決済サービスにおける認証結果を認証失敗として決定し、前記第１認証結果及び前記第２認証結果が認証成功である場合に応答して、前記１つ以上のプロセッサは、前記決済サービス又は前記金融サービスで前記認証結果を認証成功として決定する。
【0062】
前記コンピューティング装置は、トランシーバーをさらに含み、前記決済サービス又は前記金融サービスで前記認証結果が成功に決定された場合、前記１つ以上のプロセッサは、前記トランシーバーが決済情報を外部の端末に送信したり、前記金融サービスにより金融トランザクションを行ったり、及び／又は、前記金融サービスによりユーザインターフェースに金融情報を提供するよう構成され得る。
【0063】
前記コンピューティング装置は、ユーザの顔領域を含む入力映像から第１特徴情報を抽出するように構成されるニューラルネットワークを含む第１認識器と、前記第１特徴情報と異なる第２特徴情報を前記入力映像から抽出するように構成される異なるニューラルネットワークを含む第２認識器と、第１認証モード及び第２認証モードのうちの１つから前記ユーザを認証するために実行される現在認証モードを決定するよう構成された１つ以上のプロセッサとを含み、前記現在認証モードが前記第１認証モードとして決定される場合、前記１つ以上のプロセッサは、第１認証結果及び第２認証結果のうち少なくとも１つが認証成功である場合に応答して顔認識が成功であると決定し、前記第１認証結果は前記第１特徴情報を第１登録特徴情報と比較することによって取得され、前記第２認証結果は前記第２特徴情報を第２登録特徴情報と比較することによって取得され、前記現在認証モードが前記第２認証モードとして決定される場合、前記１つ以上のプロセッサは、前記第１認証結果及び前記第２認証結果のうち少なくとも１つが失敗である場合に応答して顔認証を失敗として決定する。
【0064】
前記第１認証モードは予め決定されたロック解除モードであり、前記ロック解除モードは、コンピューティング装置がロック状態である場合に１つ以上のプロセッサによって自動で実行されるよう調整されたり、前記ユーザが前記コンピューティング装置のユーザインターフェースを解除しようと試みる場合に前記１つ以上のプロセッサによって実行されるよう決定され得る。
【0065】
前記第２認証モードは予め決定された決済モードであり、前記決済モードは、前記ユーザが前記コンピューティング装置の決済サービスにアクセスしたり選択する場合に、前記１つ以上のプロセッサによって実行されるよう決定され得る。
【発明の効果】
【0066】
本発明によれば、顔認証技術を提供することができる。
【図面の簡単な説明】
【0067】
【図1】一実施形態に係る顔認証を説明するための図である。
【図2】一実施形態に係る顔認証方法を説明するためのフローチャートである。
【図3】一実施形態に係る顔登録手続と認証手続を説明するためのフローチャートである。
【図4】一実施形態に係る顔登録手続の一例を示す図である。
【図5】一実施形態に係る第１認証モードによる認証方法を説明するためのフローチャートである。
【図6】一実施形態に係る認証モードのうちロック解除モードを説明するためのフローチャートである。
【図7】他の実施形態に係る第２認証モードによる認証方法を説明するためのフローチャートである。
【図8】他の実施形態に係る認証モードのうち決済モードを説明するためのフローチャートである。
【図9】一実施形態に係る顔認証装置の構成を示す図である。
【図10】一実施形態に係るコンピューティング装置の一例を示す図である。
【図11】一実施形態に係る学習装置の一例を示す図である。
【発明を実施するための形態】
【0068】
本明細書に開示されている本発明の概念による実施形態に対して特定の構造的又は機能的な説明は、単に本発明の概念による実施形態を説明するための目的として例示されたものであり、本発明の概念による実施形態は様々な形態で実施され、本明細書に説明された実施形態に限定されることはない。
【0069】
第１又は第２などの用語を複数の構成要素を説明するために用いることができるが、このような用語は１つの構成要素を他の構成要素から区別する目的としてのみ解釈されなければならない。例えば、第１構成要素は第２構成要素と命名することができ、同様に第２構成要素は第１構成要素にも命名することができる。
【0070】
単数の表現は、文脈上、明白に異なる意味をもたない限り複数の表現を含む。本明細書において、「含む」又は「有する」等の用語は明細書上に記載した特徴、数字、ステップ、動作、構成要素、部品又はこれらを組み合わせたものが存在することを示すものであって、１つ又はそれ以上の他の特徴や数字、ステップ、動作、構成要素、部品、又はこれを組み合わせたものなどの存在又は付加の可能性を予め排除しないものとして理解しなければならない。
【0071】
異なるように定義さがれない限り、技術的又は科学的な用語を含むここで用いる全ての用語は、本実施形態が属する技術分野で通常の知識を有する者によって一般的に理解されるものと同じ意味を有する。一般的に用いられる予め定義された用語は、関連技術の文脈上で有する意味と一致する意味を有するものと解釈すべきであって、本明細書で明白に定義しない限り、理想的又は過度に形式的な意味として解釈されることはない。
【0072】
以下、実施形態を添付する図面を参照しながら詳細に説明する。各図面に提示された同一の参照符号は同一の部材を示す。
【0073】
図１は、一実施形態に係る顔認証を説明するための図である。
【0074】
顔認証は、認証（ｖｅｒｉｆｉｃａｔｉｏｎ）を試みたユーザの顔に基づいて当該のユーザが有効なユーザであるか否かを判断する認証方法である。図１を参照すると、顔認証装置は、コンピューティング装置１２０に含まれて動作する。コンピューティング装置１２０は、例えば、スマートフォン、ウェアラブル機器、タブレットコンピュータ、ネットブック、ラップトップ、デスクトップ、ＰＤＡ（ｐｅｒｓｏｎａｌ ｄｉｇｉｔａｌ ａｓｓｉｓｔａｎｔ）、セットトップボックス、家電機器、生体ドアロック、セキュリティー装置又は車両始動装置であり得る。
【0075】
顔認証装置は、ユーザ１１０の顔を認証してコンピューティング装置１２０を介して実行されるサービスを用いることが可能であるか否かを決定する。例えば、顔認証装置は、コンピューティング装置１２０に含まれたカメラ１３０を用いてユーザ１１０の顔を撮影した入力映像を取得する。カメラ１３０は、例えば、デジタルスチールカメラ、ビデオカメラのような映像取得装置であってもよい。入力映像は、顔認証装置に入力される映像であり、顔認証の対象となる映像である。
【0076】
顔認証装置は、入力映像から顔領域１４０を検出して複数の認識器を用いて顔領域１４０から特徴を抽出する。認識器は、入力された情報に対応する特徴を出力するモデルであって、一例として、学習データにより学習されたニューラルネットワークモデルであり得る。
【0077】
顔認証装置は、認識により抽出された特徴を顔登録手続を介して登録された特徴と比較し、その比較結果に基づいて認証成功の有無を決定する。有効なユーザ１１０は、顔登録手続を介して自分の顔をコンピューティング装置１２０に予め登録し、コンピューティング装置１２０は、顔登録手続を介して決定された有効なユーザ１１０の特徴を格納する。
【0078】
一実施形態によると、顔認証を行う装置である顔認証装置は、複数の認識器を使用することで様々な条件の入力映像に対する顔認証の正確度を向上させ得る。顔認証装置は、認証モードの目的による認識器の認証結果間の関係を設定することによって顔認証をより効率よく行うことができる。
【0079】
セキュリティー性よりも相対的に使用性が重要に作用する認証モードと、使用性よりはセキュリティー性が相対的に重要に作用する認証モードが存在する。例えば、前者の認証モードはユーザログイン及びロック状態解除などが認証状況で用いられ、後者の認証モードは決済及び金融サービスなどの認証状況で用いられる。認証モードに応じて要求される認証強度が異なってもよい。以下で説明する顔認証方法又は顔認証装置は、認証モードの目的に応じて認証強度を柔軟に決定することができる。認証目的に適切な認証強度で顔認証が実行されれば、認証強度に関して相反している使用便宜性及びセキュリティー性の全てが満足される。
【0080】
図２は、一実施形態に係る顔認証方法を説明するためのフローチャートである。
【0081】
図２を参照すると、ステップ２０１において、顔認証装置は現在認証モードを識別する。認証モードは、顔認証装置の使用目的により使用性とセキュリティー性の間で様々な認証強度を満足するモードを含む。例えば、認証モードは、使用性を強調したロック解除モード又はセキュリティー性を強調した決済モードを含む。
【0082】
ステップ２０３において、顔認証装置は、現在認証モードに基づいて顔認証に利用する少なくとも１つの認識器を決定する。顔認証装置は、顔認証に利用する複数の認識器を決定し、現在認証モードに基づいて前記顔認証に用いられる認識器の組み合わせを決定する。
【0083】
認識器のそれぞれは、様々な条件で撮影された学習データから学習されることにより当該の条件に応じて強い特性を有する。顔認証装置は、複数の認識器を用いることにより様々な条件で撮影された入力映像を用いてもっと正確にユーザを認証することができる。現在認証モードに基づいて認識器に基づいた認証手続が決定され得る。
【0084】
ステップ２０５において、顔認証装置は、決定された少なくとも１つの認識器を用いて入力映像に示された顔領域から特徴情報を取得する。ステップ２０７において、顔認証装置は特徴情報に基づいて認証成功の有無を決定する。
【0085】
顔認証装置は、入力映像から顔領域を検出する。例えば、顔認証装置は、Ｈａａｒ基盤のカスケードエイダブースト分類器（Ｈａａｒ－ｂａｓｅｄ ｃａｓｃａｄｅ ａｄａｂｏｏｓｔ ｃｌａｓｓｉｆｉｅｒ）又はＶｉｏｌａ－Ｊｏｎｅｓ検出器などを用いて顔領域を検出し得る。ただし、実施形態の範囲がこれに限定されることなく、顔認証装置は様々な顔領域検出方式を用いて顔領域を検出し得る。
【0086】
図面には示されていないが、実施形態により顔認証装置は、受信した入力映像に対する映像前処理を先に行ってもよい。映像前処理過程は、入力映像を顔認証により適切な形態で処理する１つ以上の過程を含む。例えば、前処理過程は、入力映像の大きさを調整する過程、入力映像を回転する過程、入力映像に含まれたノイズを除去する過程、入力映像のコントラストを増加させる過程、入力映像に含まれたブラを除去するボケ除去（ｄｅｂｌｕｒｒｉｎｇ）過程、背景領域を除去する過程、入力映像に含まれた歪みを補正するワーピング過程、入力映像で特定領域をクロッピングする過程、又は入力映像を２進化する過程などを含む。映像前処理が実行される場合、以下の「入力映像」は「映像前処理が実行された入力映像」に代替され得る。
【0087】
顔認証装置は、第１認識器を用いて顔領域の映像情報から第１特徴情報を取得する。顔領域が正規化過程を経た場合、顔認証装置は、第１認識器を用いて正規化された顔領域の映像情報から第１特徴情報を取得する。第１認識器は、学習データによって予め学習されたニューラルネットワークモデルであってもよい。第１特徴情報は特徴ベクトルの形態であり、映像情報は映像に含まれたピクセルのピクセル値を示す。
【0088】
顔認証装置は、第１特徴情報に基づいて第１認証結果を決定する。顔認証装置は、第１特徴情報と予め登録された第１登録特徴情報とを比較し、比較結果に基づいて第１認証結果を決定する。顔認証装置は、比較結果に応じて第１認証結果を認証成功又は認証失敗として決定する。例えば、第１特徴情報と第１登録特徴情報との間の類似度が予め設定された閾値よりも大きければ認証成功であると決定され、当該の類似度が閾値以下であれば認証失敗として決定される。
【0089】
顔認証装置は、追加認証過程を続行するか否かを決定する。顔認証装置は、第１認証結果と認証モードに基づいて、第２認識器を用いて第２特徴情報を取得するか否かを決定する。認証モードは認証状況によって予め決定される。認証モードは、例えば、ロック解除のように誤り拒否（Ｆａｌｓｅ Ｒｅｊｅｃｔｉｏｎ、ＦＲ）を防止することが重要な認証モード、及び決済及び金融サービスのように誤り認識（Ｆａｌｓｅ Ａｃｃｅｐｔａｎｃｅ、ＦＡ）を防止することが重要な認証モードを含む。ここで、誤り拒否とは正当なユーザを判断することを意味し、誤り認識とは正当でないユーザを正当なユーザとして認証することを意味する。
【0090】
例えば、スマートフォンのロック解除の場合、スマートフォンに顔認証を試みるユーザがほとんどである場合、正当なユーザである可能性が高いことからセキュリティー性よりも誤り拒否を防止することが使用性の側面で重要である。この場合、低い認証強度に基づいて顔認証が実行される。例えば、互いに異なる認識器による複数の認証結果のうちの１つでも認証成功として決定される場合、最終認証結果が認証成功として決定される。一方、決済サービスの場合、使用性よりも正当でないユーザの認証を防ぐ高いセキュリティー性が重要である。この場合、高い認証強度に基づいて顔認証が実行される。例えば、互いに異なる認識器による複数の認証結果のうちいずれか１つでも認証失敗として決定される場合、最終認証結果が認証失敗として決定される。ただし、上記の認証状況及び認証モードは例示に過ぎず、複数の認識器の認証結果を組み合わせた様々な形態の認証モードが存在し得る。
【0091】
顔認証装置は第２特徴情報を取得するという決定に応答して、第２認識器を用いて顔領域の映像情報から第２特徴情報を取得する。第２認識器も第１認識器と同様に学習データによって予め学習されたニューラルネットワークモデルであり得る。一実施形態によると、第２認識器は第１認識器と異なってもよい。第１認識器と第２認識器は、条件に応じて互いに異なる認証性能を示し得る。例えば、第１認識器は、低照度環境で撮影された入力映像に対する認識率が第２認識器よりも高くてもよく、第２認識器は、顔領域に顔の隠しによる閉塞領域（ｏｃｃｌｕｓｉｏｎ ｒｅｇｉｏｎ）が存在する入力映像に対する認識率が第１認識器よりも高くてもよい。
【0092】
顔認証装置は、第２特徴情報に基づいて第２認証結果を決定する。顔認証装置は、第２特徴情報と予め登録された第２登録特徴情報とを比較し、比較結果に基づいて第２認証結果を決定する。顔認証装置は、比較結果に応じて第２認証結果を認証成功又は認証失敗として決定する。例えば、第２特徴情報と第２登録特徴情報との間の類似度が予め設定された閾値よりも大きければ認証成功であると決定され、当該の類似度が閾値以下であれば認証失敗として決定される。
【0093】
顔認証装置は、第２認証結果に基づいて最終認証結果を決定する。例えば、第２認証結果が認証成功であれば最終認証結果も認証成功として決定され、第２認証結果が認証失敗であれば最終認証結果も認証失敗として決定される。
【0094】
実施形態により、顔認証装置が３つ以上の認識器を使用する場合、最終認証結果は最後の認識器を用いて実行される認証結果として決定される。
【0095】
図３は、一実施形態に係る顔登録手続と顔認証手続を説明するためのフローチャートである。
【0096】
一実施形態によると、顔登録手続３１０の後に顔認証手続３２０が実行される。顔登録手続３１０において、顔登録のための映像３１１から顔領域が検出された後、検出された顔領域から顔のランドマークが検出される。
【0097】
検出された顔領域は、各認識器の入力に適するようランドマークに基づいて正規化される。例えば、第１認識器の入力に適するよう顔領域を正規化し、正規化された映像３１２が生成される。また、第２認識器の入力に適するよう顔領域を正規化して正規化された映像３１３が生成される。
【0098】
第１認識器を用いて正規化された映像３１２から第１登録特徴が抽出３１４される。例えば、第１認識器が低照度に強い認識器である場合、第１認識器によって低照度による認識率の低下が補償される。また、第２認識器を用いて正規化された映像３１３から第２登録特徴が抽出３１５される。例えば、第２認識器がメガネによる閉塞領域に強い認識器である場合、第２認識器によって閉塞領域による認識率の低下が補償される。上記のような過程によって抽出された登録特徴はデータベースなどに格納３１６される。
【0099】
顔認証手続３２０において、顔認証装置は、映像取得装置から認証対象となる入力映像３２１を受信する。顔認証手続３２０において、特徴情報を抽出する過程は顔登録手続３１０に類似し得る。顔認証装置は、入力映像３２１から顔領域を検出して第１認識器の入力に適するよう正規化し、正規化された映像３２２を第１認識器に入力して第１特徴を抽出３２４する。顔認証装置は、入力映像３２１から顔領域を検出して第２認識器の入力に適するよう正規化し、正規化された映像３２３を第２認識器に入力して第２特徴を抽出３２５する。
【0100】
顔認証装置は、抽出された第１特徴及び／又は第２特徴を用いて認証成功の有無を判断３２６する。顔認証装置は、第１特徴とデータベースに格納された第１登録特徴との間の比較結果に基づいて第１認証結果を決定し、第２特徴とデータベースに格納された第２登録特徴との間の比較結果に基づいて第２認証結果を決定する。認証モードに応じて、第１認証結果と第２認証結果のうちいずれか１つ、又は両方に基づいて最終認証結果が決定される。例えば、第１認証結果に応じて最終認証結果が決定され、この場合に第２認証結果を決定するための過程は実行されなくてもよい。
【0101】
図４は、一実施形態に係る顔登録手続の一例を示す図である。
【0102】
図４は、図３に示す顔登録手続をより具体化したものであって、具体化された技術的要素は例示に過ぎない。図４を参照すると、顔登録のために有効なユーザの映像４０１が入力される。映像４０１から顔領域が検出４０３され、検出された顔領域からランドマークが検出４０５される。一実施形態では、検出されたランドマークに基づいて各認識器の入力に適するよう、顔領域が正規化４１１，４２１され得る。
【0103】
顔認証装置は、第１認識器４１７の入力に適するよう顔領域に対して第１正規化４１１を行う。第１認識器４１７は、正規化された顔領域４１３の映像情報が入力され、入力された映像情報に基づいて第１登録特徴４１９を出力する。顔認証装置は、第２認識器４２７の入力に適するよう顔領域に対して第２正規化４２１を行う。第２認識器４２７は、正規化された顔領域４２３の入力された映像情報に基づいて第２登録特徴４２９を出力する。
【0104】
第１認識器４１７によって抽出された第１登録特徴４１９と第２認識器４２７によって抽出された第２登録特徴４２９は、データベース４３０に格納される。このように、顔登録手続を介して顔認証の有無を判断するために用いられる登録特徴が取得され得る。
【0105】
図５は、一実施形態に係る第１認証モードによる認証方法を説明するためのフローチャートである。
【0106】
一実施形態では、第１認証モードは、セキュリティー性よりも正当なユーザが容易に認証されることが重要なモードである。例えば、第１認証モードは、スマートフォンなどのロックモードを解除するために適用される認証モードであり得る。この場合、顔認証装置は、第１認証モードで複数の認証結果のうちいずれか１つでも認証成功として決定される場合、最終認証結果を認証成功として決定して顔認証手続を終了する。
【0107】
ステップ５１０において、顔認証装置は第１認証過程を行う。第１認証過程で顔認証装置は、第１認識器を用いて入力映像から第１特徴情報を抽出する。顔認証装置は図２を参照して説明したように、入力映像から顔領域を検出し、検出された顔領域からランドマークを検出し、検出されたランドマークに基づいて正規化過程を行う。顔認証装置は、正規化された顔領域から第１特徴情報を抽出する。
【0108】
ステップ５１５において、顔認証装置は、第１認証過程の認証成功の有無を決定する。顔認証装置は、データベースに格納された第１登録特徴情報と抽出された第１特徴情報との間の比較結果に基づいて、第１認証過程の認証成功の有無を決定する。顔認証装置は、第１認証過程の結果と認証モードに基づいて、第２認識器を用いて第２特徴情報を取得するか否かを決定する。
【0109】
第１登録特徴情報と第１特徴情報との間の比較結果が予め設定された条件を満足する場合、顔認証装置は第１認証過程の認証結果を認証成功として決定５４０し、顔認証手続を終了する。ここで、認証結果は、最終認証結果であってもよい。第１登録特徴情報と第１特徴情報との間の比較結果が予め設定された条件を満足しない場合、顔認証装置は、認証結果を認証失敗として決定して第２認証過程を行う。このように、顔認証装置は、第１認証過程の認証結果が認証失敗である場合、第２特徴情報を取得すると決定し、第１認証過程の認証結果が認証成功である場合、最終認証結果を認証成功として決定して顔認証手続を終了する。
【0110】
ステップ５２０において、顔認証装置は第２認証過程を行う。第２認証過程で顔認証装置は、第２認識器を用いて入力映像から第２特徴情報を抽出する。顔認証装置は、第１認識器と類似の方式により第２認識器の入力に適するよう入力映像を処理した後、処理された入力映像を第２認識器に入力する。
【0111】
ステップ５２５において、顔認証装置は、第２認証過程の認証成功の有無を決定する。顔認証装置は、データベースに格納された第２登録特徴情報と抽出された第２特徴情報とを比較することにより、第２認証過程の認証成功の有無を決定する。顔認証装置は、第２認証過程の認証結果と認証モードに基づいて、第３認識器を用いて第３特徴情報を取得するか否かを決定する
【0112】
第２登録特徴情報と第２特徴情報との間の比較結果が予め設定された条件を満足する場合、顔認証装置は認証結果を認証成功として決定５４０し、顔認証手続を終了する。ここで、認証結果は最終認証結果であってもよい。第２登録特徴情報と第２特徴情報との間の比較結果が予め設定された条件を満足しない場合、顔認証装置は認証結果を認証失敗として決定する。第３認証過程を行わない場合、顔認証装置は第２認証過程の認証結果が認証失敗である場合、最終認証結果を認証失敗として決定し、第２認証過程の認証結果が認証成功である場合、最終認証結果を認証成功として決定する。
【0113】
ステップ５３０において、第２認証過程の認証結果が認証失敗として決定された場合、顔認証装置は第３認証過程を行う。ただし、第３認証過程は例示に過ぎず省略されてもよく、他の種類の認識器を使用する追加的な認証過程が顔認証手続に含まれてもよい。第３認証過程において顔認証装置は、例えば、第１認証過程のパラメータと第２認証過程のパラメータを合成した結果から第３認識器を用いて第３特徴情報を取得し得る。例えば、パラメータは、各認識器によって顔領域から抽出された特徴情報を含み得る。
【0114】
ステップ５３５において、顔認証装置は、第３認証過程の認証成功の有無を決定する。一実施形態に係る顔認証装置は、第１認識器から抽出された第１特徴情報と第２認識器から抽出された第２特徴情報を結合して結合された特徴情報を生成する。顔認証装置は、第１特徴情報に対応する第１登録特徴情報と第２特徴情報に対応する第２登録特徴情報とが結合された登録特徴情報と上記の結合された特徴情報との間の比較結果が予め設定された条件を満足する場合、認証結果を認証成功として決定し（５４０）、顔認証手続を終了する。一方、当該の比較結果が予め設定された条件を満足しない場合、顔認証装置は認証結果を認証失敗として決定し（５５０）、顔認証手続を終了する。ここで、認証結果は、最終認証結果であってもよい。
【0115】
図６は、一実施形態に係る認証モードのうちロック解除モードを説明するためのフローチャートである。
【0116】
一例として、顔認証装置はロック解除モードを行う。顔認証装置は、入力映像６０１から顔領域を検出する（６０３）。顔認証装置は、検出された顔領域からランドマークを検出する（６０５）。顔認証装置は、第１認識器６１７の入力に適するよう顔領域に対して第１正規化を行う（６１１）。
【0117】
顔認証装置は、例えば、検出されたランドマークの位置を予め定義された基準位置にマッチングさせたり、検出された顔領域の大きさを調整することで検出された顔領域を正規化する。カメラの視野から離れることにより下方の顔領域が撮影されていない場合、顔認証装置は、入力映像の下方の顔領域を平均映像又は平均値映像の下方の顔領域に対応する領域で満たし得る。
【0118】
顔認証装置は、正規化された映像６１３を第１認識器６１７に入力する。顔認証装置は、第１認識器６１７を用いて第１特徴６１９を抽出する。顔認証装置は、抽出された第１特徴６１９とデータベースに予め格納された第１登録特徴とを比較して認証成功の有無を決定する（６５１）。ここで、第１登録特徴は、有効なユーザの入力映像から第１認識器６１７を用いて抽出された特徴である。
【0119】
一例として、顔認証装置は第１特徴６１９と第１登録特徴との間の類似度を算出し、類似度と予め設定された第１閾値とを比較することにより認証成功の有無を決定する。顔認証装置は、例えば、決定された類似度が第１閾値よりも大きい場合、認証が成功したものと決定する（６５５）。これとは反対に、顔認証装置は、類似度が閾値以下である場合には認証が失敗したものと決定する。
【0120】
顔認証装置は、認証結果が認証成功として決定された場合（６５５）、第１特徴情報に基づいて第１登録特徴をアップデートするか否かを決定する（６３１）。顔認証装置は、例えば、第１閾値よりも高く設定された閾値と決定された類似度とを比較して第１登録特徴をアップデートする（６３３）。顔認証装置は、認証結果が認証成功として決定された場合（６５５）、最終認証結果を認証成功として決定して顔認証手続を終了する。顔認証装置は、認証結果を認証失敗として決定した場合、第２正規化を実行する（６２１）。
【0121】
顔認証装置は正規化された映像６２３を第２認識器６２７に入力する。一実施形態に係る顔認証装置は、顔領域にメガネなどのような閉塞領域が存在するか否かに関わらず、閉塞領域が存在するものと予想される領域を平均映像、平均値映像、又は任意の単一カラー映像の対応する部分の映像情報で満たす。平均映像は、学習映像の間で互いに対応する位置で有するピクセル値を平均することで生成される。平均値映像は、学習映像に含まれた全体ピクセルのピクセル値を平均し、平均ピクセル値を全体ピクセルに割り当てることにより生成される。平均映像では、各ピクセル位置に応じてピクセル値が変わり得るためその形態が示されるが、平均値映像では全体ピクセルが全て同一のピクセル値を有するためその形態が示されない。ただし、これは一例に過ぎず、顔領域が閉塞される場合に対する処理方法はこれに限定されることはない。
【0122】
顔認証装置は、第２認識器６２７を用いて第２特徴６２９を抽出する。顔認証装置は、抽出された第２特徴６２９とデータベースに予め格納された第２登録特徴とを比較して認証成功の有無を決定する（６５３）。ここで、第２登録特徴は、有効なユーザの入力映像から第２認識器６２７を用いて抽出された特徴である。
【0123】
顔認証装置は認証結果を認証成功として決定した場合（６５５）、第２特徴６２９に基づいて第２登録特徴をアップデートするか否かを決定する（６４１）。顔認証装置はアップデートするものと決定した場合、第２特徴６２９に基づいて第２登録特徴をアップデートする（６４３）。顔認証装置は、最終認証結果を認証成功として決定する。
【0124】
顔認証装置は、認証結果を認証失敗として決定した場合（６５７）、最終認証結果を認証失敗として決定する。顔認証装置は顔認証手続を終了してもよく、他の入力映像を受信して顔認証手続を再び行ってもよい。例えば、顔認証装置は、最終認証結果が認証成功として決定されるまで、カメラの連続撮影により６秒間受信された入力映像に対して顔認証手続を繰り返して行ってもよい。
【0125】
図７は、他の実施形態に係る第２認証モードによる認証方法を説明するためのフローチャートである。
【0126】
一実施形態に係る第２認証モードは、使用性よりもセキュリティー性が相対的に重く作用する認証モードである。例えば、第２認証モードは、決済のために正当なユーザであるかを確認するモードであり得る。この場合、顔認証装置は、第２認証モードで複数の認証結果のうちいずれか１つでも認証失敗として決定される場合、最終認証結果を認証失敗として決定して顔認証手続を終了する。
【0127】
ステップ７１０において、顔認証装置は第１認証過程を行う。第１認証過程で顔認証装置は、第１認識器を用いて入力映像から第１特徴情報を抽出する。特徴情報を抽出する過程については図２を参照して説明された方式が使用される。
【0128】
ステップ７１５において、顔認証装置は、第１認証過程の認証成功の有無を決定する。顔認証装置は、データベースに格納された第１登録特徴情報と抽出された第１特徴情報との間の比較結果に基づいて、第１認証過程の認証成功の有無を決定する。顔認証装置は第１認証過程の結果と認証モードに基づいて、第２認識器を用いて第２特徴情報を取得するか否かを決定する。
【0129】
第１登録特徴情報と第１特徴情報との間の比較結果が予め設定された条件を満足しない場合、顔認証装置は、第１認証過程の認証結果を認証失敗として決定し（７４０）、顔認証手続を終了する。ここで、認証結果は、最終認証結果であり得る。第１登録特徴情報と第１特徴情報との間の比較結果が予め設定された条件を満足する場合、顔認証装置は、認証結果を認証成功として決定して第２認証過程を行う。このように、顔認証装置は、第１認証過程の認証結果が認証成功である場合、第２特徴情報を取得するものと決定し、第１認証過程の認証結果が認証失敗である場合、最終認証結果を認証失敗として決定して顔認証手続を終了する。
【0130】
ステップ７２０において、顔認証装置は第２認証過程を行う。第２認証過程で顔認証装置は、第２認識器を用いて入力映像から第２特徴情報を抽出する。特徴情報を抽出する過程は、図２を参照して説明された方式が使用される。
【0131】
ステップ７２５において、顔認証装置は、第２認証過程の認証成功の有無を決定する。顔認証装置は、データベースに格納された第２登録特徴情報と抽出された第２特徴情報とを比較することで、第２認証過程の認証成功の有無を決定する。顔認証装置は、第２認証結果と認証モードに基づいて第３認識器を用いて第３特徴情報を取得するか否かを決定する。
【0132】
第２登録特徴情報と第２特徴情報との間の比較結果が予め設定された条件を満足しない場合、顔認証装置は認証結果を認証失敗として決定し（７４０）、顔認証手続を終了する。ここで、認証結果は最終認証結果であり得る。第２登録特徴情報と第２特徴情報との間の比較結果が予め設定された条件を満足する場合、顔認証装置は認証結果を認証成功として決定する。第３認証過程を行わない場合、顔認証装置は、第２認証過程の認証結果が認証失敗である場合、最終認証結果を認証失敗として決定し、第２認証過程の認証結果が認証成功である場合、最終認証結果を認証成功として決定する。
【0133】
ステップ７３０において、第２認証過程の認証結果が認証成功として決定された場合、顔認証装置は第３認証過程を行う。図５に示すものと同様に、第３認証過程は例示に過ぎず、省略されてもよく、他の種類の認識器を使用する追加的な認証過程が顔認証手続に含まれてもよい。
【0134】
ステップ７３５において、顔認証装置は、第３認証過程の認証成功の有無を決定する。第１認識器を介して抽出された第１特徴情報と第２認識器から抽出された第２特徴情報を結合した特徴情報と、第１特徴情報に対応する第１登録特徴情報と第２特徴情報に対応する第２登録特徴情報を結合した登録特徴情報との間の比較結果が予め設定された条件を満足する場合、顔認証装置は、認証結果を認証成功として決定し（７５０）、顔認証手続を終了する。当該の比較結果が予め設定された条件を満足しない場合、顔認証装置は認証結果を認証失敗として決定し（７４０）、顔認証手続を終了する。ここで、認証結果は最終認証結果であり得る。
【0135】
図８は、他の実施形態に係る認証モードのうち決済モードを説明するためのフローチャートである。
【0136】
一例として、顔認証装置は決済モードを行う。図６に示す顔認証手続と同様に、顔認証装置は入力映像６０１から顔領域を検出する（６０３）。顔認証装置は、検出された顔領域からランドマークを検出する（６０５）。顔認証装置は、第１認識器６１７の入力に適するよう顔領域に対して第１正規化を行う。顔認証装置は、正規化された映像６１３を第１認識器６１７に入力する。顔認証装置は、第１認識器６１７を用いて第１特徴６１９を抽出する。顔認証装置は、抽出された第１特徴６１９とデータベースに予め格納された第１登録特徴とを比較して認証成功の有無を決定する（６５１）。
【0137】
顔認証装置は認証結果を認証成功として決定した場合（６５５）、第１特徴に基づいて第１登録特徴をアップデートするか否かを決定し（６３１）、第２正規化を実行する（６２１）。顔認証装置は、例えば、第１閾値よりも高く設定された閾値と決定された類似度とを比較して第１登録特徴をアップデートする（６３３）。顔認証装置は認証結果を認証失敗として決定した場合、最終認証結果を認証失敗として決定して顔認証手続を終了する。
【0138】
顔認証装置は、正規化された映像６２３を第２認識器６２７に入力する。例えば、カメラの視野を離れることにより下方の顔領域が撮影されていない場合、顔認証装置は、入力映像の下の顔領域を平均映像、平均値映像、又は任意の単一カラー映像の下方の顔領域に対応する部分で満たしたり、又は、メガネ、サングラス、マスク又は帽子などのような顔の隠し要素により閉塞が示される領域を、上方の平均映像、平均値映像、又は任意の単一カラー映像の対応する部分で満たし得る。
【0139】
顔認証装置は、第２認識器６２７を用いて第２特徴６２９を抽出する。顔認証装置は、抽出された第２特徴６２９とデータベースに予め格納された第２登録特徴とを比較して認証成功の有無を決定する（６５３）。ここで、第２登録特徴は、有効なユーザの入力映像から第２認識器６２７を用いて抽出された特徴である。
【0140】
顔認証装置は、認証結果を認証成功として決定した場合（６５５）、第２特徴６２９に基づいて第２登録特徴をアップデートするか否かを決定する（６４１）。顔認証装置はアップデートするものと決定した場合、第２特徴６２９に基づいて第２登録特徴をアップデートする（６４３）。顔認証装置は、最終認証結果を認証成功として決定する。顔認証装置は認証結果を認証失敗として決定した場合（６５７）、最終認証結果を認証失敗として決定する。顔認証装置は顔認証手続を終了してもよく、他の入力映像を受信して顔認証手続を再び行ってもよい。
【0141】
図９は、一実施形態に係る顔認証装置の構成を示す図である。
【0142】
図９を参照すると、顔認証装置９００は、顔認証のための入力映像を受信する。顔認証装置９００は、入力映像から抽出された特徴とデータベース９３０に予め格納された登録特徴と間の比較結果に基づいて認証成功の有無を決定する。有効なユーザは、顔登録過程によって自分の顔に対する特徴又は映像を予め登録し、このように登録された情報はデータベース９３０に格納される。
【0143】
顔認証装置９００は、顔認証方法に関して本明細書に記述されたり、又は示された１つ以上の動作を実行し、顔認証の結果をユーザに提供できる。顔認証装置９００は、顔認証の結果を音声、振動、字、絵又は動画などの形態に出力するが、実施形態の範囲がこれに限定されることなく、顔認証装置９００は様々な形態に認証結果を出力し得る。
【0144】
顔認証装置９００は、１つ以上のプロセッサ９１０及びメモリ９２０を含む。メモリ９２０は、プロセッサ９１０に接続され、プロセッサ９１０によって実行可能な命令、プロセッサ９１０が演算するデータ又はプロセッサ９１０によって処理されたデータを格納する。メモリ９２０は、非一時的なコンピュータで読み出し可能な記録媒体、例えば、高速ランダムアクセスメモリ及び／又は不揮発性コンピュータで読み出し可能な格納媒体（例えば、１つ以上のディスク記憶装置、フラッシュメモリ装置、又は、その他の不揮発性固体メモリ装置）を含む。
【0145】
プロセッサ９１０は、図１～図８を参照して説明された１つ以上の動作を実行するための命令を実行する。例えば、プロセッサ９１０は、入力映像で顔領域及び顔のランドマークを検出し、検出されたランドマークに基づいてそれぞれの認識器の入力に適するよう入力映像を正規化する。プロセッサ９１０は、顔領域の一部がカメラの視野から離れて撮影されないか、メガネなどの外部物体によって閉塞された場合、当該の領域に対して基準映像を用いてパッディングを行う。
【0146】
プロセッサ９１０は現在認証モードを識別し、現在認証モードに基づいて顔認証に利用する少なくとも１つの認識器を決定する。プロセッサ９１０は、決定された少なくとも１つの認識器を用いて入力映像に示された顔領域から特徴情報を取得する。
【0147】
プロセッサ９１０は、認識器を用いて顔領域から入力の顔に対する特徴を抽出し、抽出された特徴と登録特徴とを比較し、その比較結果に基づいて認証成功の有無を決定する。ここで、顔領域は、正規化又はパッディングが実行された顔領域に代替されてもよい。プロセッサ９１０は、認証モードに基づいてそれぞれの認識過程による認証結果に応じて最終認証結果を決定し、顔認証手続を終了したり他の認識器による認証過程を行う。このように、プロセッサ９１０は、特徴情報に基づいて認証成功の有無を決定する。
【0148】
一実施形態によると、プロセッサ９１０は、ロック解除モードで顔認証手続を行う。プロセッサ９１０は、第１認識器による認証過程の認証結果を認証成功として決定する場合、最終認証結果を認証成功として決定して顔認証手続を終了する。プロセッサ９１０は、第１認識器による認証過程の認証結果を認証失敗として決定する場合、第２認識器による認証過程を行う。ここで、最終認証結果は、第２認識器による認証結果に応じて決定される。
【0149】
他の実施形態によると、プロセッサ９１０は、決済モードで顔認証手続を行う。プロセッサ９１０は、第１認識器による認証過程の認証結果を認証失敗として決定する場合、最終認証結果を認証失敗として決定して顔認証手続を終了する。プロセッサ９１０は、第１認識器による認証過程の認証結果を認証成功として決定する場合、第２認識器による認証過程を行う。ここで、最終認証結果は、第２認識器による認証結果に応じて決定される。
【0150】
図１０は、一実施形態に係るコンピューティング装置の一例を示す図である。
【0151】
図１０を参照すると、コンピューティング装置１０００は、ユーザの顔を含む映像を取得し、取得された映像から抽出された特徴と登録された特徴とを比較することによって顔認証過程を行う。コンピューティング装置１０００は、図１に示されたコンピューティング装置１２０、図９に示された顔認証装置９００、又は図１１に示された学習装置１１００に対応し、これに限定されることはない。
【0152】
コンピューティング装置１０００は、プロセッサ１０１０、メモリ１０２０、カメラ１０３０、記憶装置１０４０、入力装置１０５０、出力装置１０６０、及びネットワークインターフェース１０７０を含む。プロセッサ１０１０、メモリ１０２０、カメラ１０３０、記憶装置１０４０、入力装置１０５０、出力装置１０６０、及びネットワークインターフェース１０７０は、通信バス１０８０を介して通信する。
【0153】
カメラ１０３０は、静画、動画、又はこの２つを撮影する。プロセッサ１０１０は、ユーザが顔認証を試みる場合、ユーザの顔領域に対する映像を撮影することで、例えば、顔を含むユーザの映像を取得したり撮影するようにカメラ１０３０を調整したり、例えば、ユーザが初期化を行わなくても自動で映像を撮影して自動でユーザを認証するようカメラ１０３０を調整する。加えて、カメラ１０３０は、個人カメラとして動作する場合のように、コンピューティング装置１０００の他の機能が実行される間にプロセッサ１０１０によって調整されてもよい。カメラ１０３０は、カラー映像／動画カメラ、及び深度又は赤外線カメラ又はＴＯＦ（ｔｉｍｅ ｏｆ ｆｌｉｇｈｔ）モジュールのような複数のカメラを示し、これに限定されることはない。
【0154】
プロセッサ１０１０は、コンピューティング装置１０００で動作する機能及び命令を行う。例えば、プロセッサ１０１０は、メモリ１０２０又は記憶装置１０４０に格納された命令を行う。プロセッサ１０１０は、図９に示すプロセッサ９１０又は図１１に示すプロセッサ１１１０のようなプロセッサやこれを含む１つ以上のプロセッサであってもよい。プロセッサ１０１０は、図１～図１１までの説明に関する１つ以上の動作又はその組み合わせを行うように構成される。例えば、プロセッサ１０１０は、カメラ１０３０によって撮影された顔映像と登録された顔映像又は対応する登録された特徴とを比較することで顔認証及び登録を行うよう構成されてもよい。さらに、プロセッサ１０１０は、コンピューティング装置１０００の他の機能を調整するよう構成されてもよい。例えば、コンピューティング装置１０００は、モバイルフォンのようなモバイル装置、タブレット、又はパーソナルコンピュータであってもよく、プロセッサ１０１０は、コンピューティング装置１０００の他の典型的な機能を行うよう構成されてもよい。例えば、プロセッサ１０１０は、上述のように、ユーザの撮影された顔映像の成功的な認証に対してラック－アウト（ｌｏｃｋ－ｏｕｔ）動作を行ってユーザがアクセスするよう許容したり、他の典型的な機能を行うように構成されてもよい。
【0155】
メモリ１０２０は、顔認証のために使用される情報を格納する不揮発性コンピュータで読み出し可能な記録媒体又は装置であり得る。メモリ１０２０は、図９に示すメモリ９２０及び／又は図１１に示すメモリ１１２０のようなメモリであってもよく、これに限定されることはない。メモリ１０２０は、コンピュータで読み出し可能な格納媒体又はコンピュータで読み出し可能な記憶装置であり得る。さらに、メモリ１０２０は、複数の種類のメモリを示す。
【0156】
一例として、顔登録又は認証がそれぞれ実行される間に、コンピューティング装置１０００は、カメラ１０３０によって取得された現在撮影された顔映像又はプレビュー映像をユーザが見ることができる表示画面上に表示したり、視覚的にフィードバックしたり、例題の顔映像、プレビュー映像、又はその他にガイドを表示できないことがある。例示的な顔映像又はプレビュー映像は、視覚的なフィードバック又は動機を提供してコンピューティング装置１０００に全体の顔映像を提供するようユーザをガイドする。視覚的フィードバックは入力映像が顔認証のために選択的に撮影される現在撮影された映像フレームのディスプレイであってもよく、又は、ユーザに好ましい位置及び大きさに対する例示のガイドライン又はオーバーレイを提供してもよい。顔認証のために撮影された映像であってもよい。このような顔認証で、例えば、ユーザの開始なしに自動的に実行される例のように、顔映像又はプレビュー映像が提供されなくてもよい。
【0157】
図１１は、一実施形態に係る学習装置の一例を示す図である。
【0158】
図１１を参照すると、学習装置１１００は、限定的ではない例示として、本願に開示された１つ以上の特徴抽出器の組み合わせのような、顔認証のために用いられる特徴抽出器１１３０を学習させるよう構成される。例えば、特徴抽出器１１３０は、複数の学習映像及び基準映像に基づいて学習され、入力値に対応する結果値を出力するように構成されたニューラルネットワークモデルであってもよい。学習装置１１００は、例示的な特徴抽出器１１３０の学習と共に、ニューラルネットワークの追加的な分類又は比較の部分又は目的の部分を学習させ得る。
【0159】
学習装置１１００は、１つ以上のプロセッサ１１１０及びメモリ１１２０を含む。メモリ１１２０は、プロセッサ１１１０と接続された不揮発性コンピュータで読み出し可能な媒体又は装置であってもよく、ニューラルネットワークの学習の間にプロセッサ１１１０によって処理されるデータ及び／又はプロセッサ１１１０によって処理されるデータ、ニューラルネットワークの学習を行うためにプロセッサ１１１０によって実行され得る命令を格納する。
【0160】
１つの例示として、１つ以上の学習映像が学習装置１１００に入力されるとき、プロセッサ１１１０は学習映像でそれぞれの顔領域を検出し、前記検出された顔領域から特徴を抽出し、上記の例示的である抽出器１１３０をそれぞれ学習させ、例えば、抽出器１１３０は、ここで議論された別個の特徴認識器又は抽出器を示す。特徴認識又は抽出は顔映像に関するものでなくてもよく、他の例示において、特徴認識器又は抽出器は、予め検出された顔映像に対する認識を実行して究極的な認証目的のためにこれを組み合わせてもよい。異なる例として、プロセッサ１１１０は、特徴抽出器１１３０によって抽出された特徴及び意図的な特徴間の差によって発生した損失を算出することで学習を実行し、算出された損失を減らす方向に特徴抽出器１１３０に含まれたパラメータを調整することで特徴抽出器１１３０の学習を行うことができる。
【0161】
上述の実施形態は、ハードウェア構成要素、ソフトウェア構成要素、又はハードウェア構成要素及びソフトウェア構成要素の組み合わせで具現化される。例えば、本実施形態で説明した装置及び構成要素は、例えば、プロセッサ、コントローラ、ＡＬＵ（ａｒｉｔｈｍｅｔｉｃ ｌｏｇｉｃ ｕｎｉｔ）、デジタル信号プロセッサ（ｄｉｇｉｔａｌ ｓｉｇｎａｌ ｐｒｏｃｅｓｓｏｒ）、マイクロコンピュータ、ＦＰＡ（ｆｉｅｌｄ ｐｒｏｇｒａｍｍａｂｌｅ ａｒｒａｙ）、ＰＬＵ（ｐｒｏｇｒａｍｍａｂｌｅ ｌｏｇｉｃ ｕｎｉｔ）、マイクロプロセッサー、又は命令（ｉｎｓｔｒｕｃｔｉｏｎ）を実行して応答する異なる装置のように、１つ以上の汎用コンピュータ又は特殊目的コンピュータを用いて具現化される。処理装置は、オペレーティングシステム（ＯＳ）及びオペレーティングシステム上で実行される１つ以上のソフトウェアアプリケーションを実行する。また、処理装置は、ソフトウェアの実行に応答してデータをアクセス、格納、操作、処理、及び生成する。理解の便宜のために、処理装置は１つが使用されるものとして説明する場合もあるが、当該技術分野で通常の知識を有する者は、処理装置が複数の処理要素（ｐｒｏｃｅｓｓｉｎｇ ｅｌｅｍｅｎｔ）及び／又は複数類型の処理要素を含むことが分かる。例えば、処理装置は、複数のプロセッサ又は１つのプロセッサ及び１つのコントローラを含む。また、並列プロセッサ（ｐａｒａｌｌｅｌ ｐｒｏｃｅｓｓｏｒ）のような、他の処理構成も可能である。
【0162】
ソフトウェアは、コンピュータプログラム、コード、命令、又はこれらのうちの１つ以上の組み合わせを含み、希望通りに動作するように処理装置を構成し、独立的又は結合的に処理装置に命令する。ソフトウェア及び／又はデータは、処理装置によって解釈され、処理装置に命令又はデータを提供するためのあらゆる類型の機械、構成要素、物理的装置、仮想装置、コンピュータ格納媒体又は装置、或いは送信される信号波を介して永久的又は一時的に具現化される。ソフトウェアは、ネットワークに接続されたコンピュータシステム上に分散され、分散された方法で格納されるか又は実行される。ソフトウェア及びデータは１つ以上のコンピュータ読み取り可能な記録媒体に格納される。
【0163】
本実施形態による方法は、多様なコンピュータ手段を介して実施されるプログラム命令の形態で具現化され、コンピュータ読み取り可能な記録媒体に記録される。記録媒体は、プログラム命令、データファイル、データ構造などを単独で又は組み合わせて含む。記録媒体及びプログラム命令は、本発明の目的のために特別に設計して構成されたものでもよく、コンピュータソフトウェア分野の技術を有する当業者にとって公知のものであり使用可能なものであってもよい。コンピュータ読み取り可能な記録媒体の例としては、ハードディスク、フロッピー（登録商標）ディスク及び磁気テープのような磁気媒体、ＣＤ－ＲＯＭ、ＤＶＤのような光記録媒体、フロプティカルディスクのような磁気－光媒体、及びＲＯＭ、ＲＡＭ、フラッシュメモリなどのようなプログラム命令を保存して実行するように特別に構成されたハードウェア装置を含む。プログラム命令の例としては、コンパイラによって生成されるような機械語コードだけでなく、インタプリタなどを用いてコンピュータによって実行される高級言語コードを含む。ハードウェア装置は、本発明の動作を実行するために１つ以上のソフトウェアモジュールとして作動するように構成してもよく、その逆も同様である。
【0164】
上述のように実施形態がたとえ限定された図面によって説明されても、当該技術分野で通常の知識を有する者であれば、上記に基づいて様々な技術的な修正及び変形を適用することができる。例えば、説明された技術が説明された方法と異なる順序で実行されたり、かつ／あるいは説明されたシステム、構造、装置、回路などの構成要素が説明された方法と異なる形態で結合又は組み合わせられたり、他の構成要素又は均等物によって置き換えたり置換されても適切な結果を達成することができる。
【符号の説明】
【0165】
１１０ ユーザ
１２０ コンピューティング装置
１３０ カメラ
１４０ 顔領域
３１０、３２０ 顔認証手続
３１２、３１３、３２２、３２３ 正規化された映像
４０１ 映像
４１３、４２３ 正規化された顔領域
１２０ コンピューティング装置
１３０ カメラ
１４０ 顔領域
３１０、３２０ 顔認証手続
３１２、３１３、３２２、３２３ 正規化された映像
４０１ 映像
４１３、４２３ 正規化された顔領域
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】