特許 7107598 認証用顔画像候補判定装置、認証用顔画像候補判定方法、プログラム、および記録媒体

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2022-07-19

(45)【発行日】2022-07-27

(54)【発明の名称】認証用顔画像候補判定装置、認証用顔画像候補判定方法、プログラム、および記録媒体

(51)【国際特許分類】

   G06T 7/00 20170101AFI20220720BHJP

   G06V 40/16 20220101ALI20220720BHJP

   G06F 21/32 20130101ALI20220720BHJP

【ＦＩ】

G06T7/00 510F

G06T7/00 660A

G06V40/16 A

G06F21/32

【請求項の数】 10

(21)【出願番号】P 2020541324

(86)(22)【出願日】2019-09-06

(86)【国際出願番号】 JP2019035250

(87)【国際公開番号】W WO2020050413

(87)【国際公開日】2020-03-12

【審査請求日】2020-11-16

(31)【優先権主張番号】P 2018167128

(32)【優先日】2018-09-06

(33)【優先権主張国・地域又は機関】JP

(73)【特許権者】

【識別番号】000232092

【氏名又は名称】ＮＥＣソリューションイノベータ株式会社

(74)【代理人】

【識別番号】100115255

【弁理士】

【氏名又は名称】辻丸 光一郎

(74)【代理人】

【識別番号】100201732

【弁理士】

【氏名又は名称】松縄 正登

(74)【代理人】

【識別番号】100154081

【弁理士】

【氏名又は名称】伊佐治 創

(74)【代理人】

【識別番号】100194515

【弁理士】

【氏名又は名称】南野 研人

(72)【発明者】

【氏名】梅田 一秀

【審査官】新井 則和

(56)【参考文献】

【文献】国際公開第２０１８／１１６３７３（ＷＯ，Ａ１）

【文献】特開２０１２－１６０００１（ＪＰ，Ａ）

【文献】特開２０１３－２１０８２４（ＪＰ，Ａ）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ０６Ｔ ７／００－７／９０

Ｇ０６Ｖ ４０／００－４０／７０

Ｇ０６Ｆ ２１／３２

(57)【特許請求の範囲】

【請求項1】

記憶部、画像取得部、属性決定部、スコア算出部、および選択部を含み、
前記記憶部は、基準記憶部、および閾値記憶部を含み、
前記基準記憶部は、登録対象者ごとに、基準顔画像と、前記基準顔画像の属性とを、紐づけて記憶し、
前記閾値記憶部は、照合する顔画像と顔画像との属性の組合せごとに、スコア閾値を記憶し、
前記属性は、顔画像の特徴に基づく属性であり、
前記スコア閾値は、照合する顔画像と顔画像とが同一人の可能性があると判定する閾値であり、
前記画像取得部は、
判定顔画像として、被判定者の顔画像を取得し、
前記属性決定部は、
前記判定顔画像の属性を決定し、
前記スコア算出部は、
前記基準顔画像と前記判定顔画像とを照合し、一致度を示すスコアを算出し、
前記選択部は、
前記スコア閾値を満たす基準顔画像を、認証のための顔画像候補とし、前記顔画像候補およびその算出スコアを、前記判定顔画像の認証用情報として選択する
ことを特徴とする認証用の顔画像候補判定装置。

【請求項2】

前記顔画像の属性が、顔の向き、顔の表情、および顔への装着物からなる群から選択された少なくとも一つである、請求項１に記載の顔画像候補判定装置。

【請求項3】

前記顔画像の属性が、正面顔、横顔、俯き顔、上向き顔、斜め右向き顔、斜め左向き顔、笑顔、帽子着用、マスク着用、およびサングラス着用からなる群から選択された少なくとも一つである、請求項２に記載の顔画像候補判定装置。

【請求項4】

さらに、抽出部および出力部を含み、
前記抽出部は、前記判定顔画像の認証用情報に基づいて、前記属性ごとに、最も高いスコアの顔画像候補を抽出し、
前記出力部は、前記属性ごとに、前記抽出された顔画像候補に紐づけられた登録対象者が、前記被判定者である可能性が高いと出力する、請求項１から３のいずれか一項に記載の顔画像候補判定装置。

【請求項5】

さらに、抽出部および出力部を含み、
前記抽出部は、前記判定顔画像の認証用情報に基づいて、前記属性ごとに、スコア順に顔画像候補を抽出し、
前記出力部は、前記属性ごとに、前記抽出された顔画像候補に紐づけられたスコア順の登録対象者が、前記被判定者である可能性の高い順であることを出力する、請求項１から４のいずれか一項に記載の顔画像候補判定装置。

【請求項6】

記憶工程、画像取得工程、属性決定工程、スコア算出工程、および選択工程を含み、
前記記憶工程は、基準記憶工程、および閾値記憶工程を含み、
前記基準記憶工程は、登録対象者ごとに、基準顔画像と、前記基準顔画像の属性とを、紐づけて記憶し、
前記閾値記憶工程は、照合する顔画像と顔画像との属性の組合せごとに、スコア閾値を記憶し、
前記属性は、顔画像の特徴に基づく属性であり、
前記スコア閾値は、照合する顔画像と顔画像とが同一人の可能性があると判定する閾値であり、
前記画像取得工程は、
判定顔画像として、被判定者の顔画像を取得し、
前記属性決定工程は、
前記判定顔画像の属性を決定し、
前記スコア算出工程は、
前記基準顔画像と前記判定顔画像とを照合し、一致度を示すスコアを算出し、
前記選択工程は、
前記スコア閾値を満たす基準顔画像を、認証のための顔画像候補とし、前記顔画像候補およびその算出スコアを、前記判定顔画像の認証用情報として選択する
ことを特徴とする認証用の顔画像候補判定方法。

【請求項7】

顔画像候補判定部と、認証部とを含み、
前記顔画像候補判定部は、
請求項１から５のいずれか一項に記載の認証用の顔画像候補判定装置を含み、
前記基準顔画像の属性ごとに、前記スコア閾値を満たす顔画像を、認証のための顔画像候補とし、
前記認証部は、
前記顔画像候補の認証用情報に基づいて、被判定者の顔画像に対する認証を行う
ことを特徴とする顔画像認証装置。

【請求項8】

顔画像候補判定工程と、認証工程とを含み、
前記顔画像候補判定工程は、
請求項６記載の認証用の顔画像候補判定方法を含み、
前記基準顔画像の属性ごとに、前記スコア閾値を満たす顔画像を、認証のための顔画像候補とし、
前記認証工程は、
前記顔画像候補の認証用情報に基づいて、被判定者の顔画像に対する認証を行う
ことを特徴とする顔画像認証方法。

【請求項9】

請求項６に記載の顔画像候補判定方法の各工程、または請求項８に記載の顔画像認証方法の各工程をコンピュータに実行させることを特徴とするプログラム。

【請求項10】

請求項９記載のプログラムを記録したことを特徴とするコンピュータ読み取り可能な記録媒体。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、認証用顔画像候補判定装置、認証用顔画像候補判定方法、プログラム、および記録媒体に関する。

【背景技術】

【0002】

様々な分野において、顔画像解析による本人認証（以下、顔画像認証という）が利用されている。前記顔画像認証は、予め、登録対象者の顔画像がマスター画像として記憶され、ライブで得られた被認証者の顔画像をクエリー画像として、前記マスター画像と照合し、一致する場合に本人認証される。

【発明の概要】

【発明が解決しようとする課題】

【0003】

しかし、前記クエリー画像は、例えば、証明写真のように、被認証対象者の顔の造形がはっきりとわかるような状態で撮像された顔画像とは限らず、帽子、マスクまたはサングラス等を着用した状態、横向き、上向きまたは俯きの状態等、様々である。また、前記マスター画像も、同様に、前記証明写真のような顔画像には限られない。このため、前記マスター画像や前記クエリー画像の状態によっては、顔画像認証の精度が不十分な場合がある。

【0004】

そこで、本発明は、最終的に行われる顔画像認証の精度を向上できる認証用顔画像候補判定システムの提供を目的とする。

【0005】

より具体的には、本発明は、上記システムにおいて、認証用顔画像候補判定装置、認証用顔画像候補判定方法、プログラム、記録媒体を提供することを目的とする。

【課題を解決するための手段】

【0006】

前記目的を達成するために、本発明の顔画像候補判定装置は、
記憶部、画像取得部、属性決定部、スコア算出部、および選択部を含み、
前記記憶部は、基準記憶部、および閾値記憶部を含み、
前記基準記憶部は、登録対象者ごとに、基準顔画像と、前記基準顔画像の属性とを、紐づけて記憶し、
前記閾値記憶部は、照合する顔画像と顔画像との属性の組合せごとに、スコア閾値を記憶し、
前記属性は、顔画像の特徴に基づく属性であり、
前記スコア閾値は、照合する顔画像と顔画像とが同一人の可能性があると判定する閾値であり、
前記画像取得部は、
判定顔画像として、被判定者の顔画像を取得し、
前記属性決定部は、
前記判定顔画像の属性を決定し、
前記スコア算出部は、
前記基準顔画像と前記判定顔画像とを照合し、一致度を示すスコアを算出し、
前記選択部は、
前記スコア閾値を満たす基準顔画像を、認証のための顔画像候補とし、前記顔画像候補およびその算出スコアを、前記判定顔画像の認証用情報として選択する
ことを特徴とする。

【0007】

本発明の顔画像候補判定方法は、
記憶工程、画像取得工程、属性決定工程、スコア算出工程、および選択工程を含み、
前記記憶工程は、基準記憶工程、および閾値記憶工程を含み、
前記基準記憶工程は、登録対象者ごとに、基準顔画像と、前記基準顔画像の属性とを、紐づけて記憶し、
前記閾値記憶工程は、照合する顔画像と顔画像との属性の組合せごとに、スコア閾値を記憶し、
前記属性は、顔画像の特徴に基づく属性であり、
前記スコア閾値は、照合する顔画像と顔画像とが同一人の可能性があると判定する閾値であり、
前記画像取得工程は、
判定顔画像として、被判定者の顔画像を取得し、
前記属性決定工程は、
前記判定顔画像の属性を決定し、
前記スコア算出工程は、
前記基準顔画像と前記判定顔画像とを照合し、一致度を示すスコアを算出し、
前記選択工程は、
前記スコア閾値を満たす基準顔画像を、認証のための顔画像候補とし、前記顔画像候補およびその算出スコアを、前記判定顔画像の認証用情報として選択する
ことを特徴とする。

【0008】

本発明のプログラムは、前記本発明の顔画像候補判定方法をコンピュータに実行させることを特徴とする。

【0009】

本発明のコンピュータ読み取り可能な記録媒体は、前記本発明のプログラムを記録したことを特徴とする。

【発明の効果】

【0010】

本発明によれば、例えば、最終的に行われる顔画像認証の精度を向上できる。

【図面の簡単な説明】

【0011】

【図1】実施形態１の顔画像候補判定装置の一例を示すブロック図である。

【図2】実施形態１の顔画像候補判定装置のハードウェア構成の一例を示すブロック図である。

【図3】実施形態１の顔画像候補判定方法の一例を示すフローチャートである。

【発明を実施するための形態】

【0012】

以下、本発明において、基準顔画像は「マスター画像」、判定顔画像は、「クエリー画像」ともいう。

【0013】

顔画像認証では、前述のように、予め登録されているマスター画像に対して、ライブで得られたクエリー画像を照合し、一致する場合に認証が行われる。この際、マスター画像としては、一般に、複数の登録対象者について、それぞれ複数の顔画像が登録されている。そして、マスター画像とクエリー画像を照合する際は、例えば、まず、前記クエリー画像から特徴点が抽出され、つぎに、複数のマスター画像について、同じ特徴点を検索し、前記特徴点を有するマスター画像が、本人認証のためのマスター画像候補として選択される。そして、さらに、前記マスター画像候補のうち、最もクエリー画像との一致度が高いものに対して、前記クエリー画像は、本人として認証されることなる。ここで、本発明者らは、顔画像認証の精度が、前記マスター画像候補の選択の方法に影響されているとの知見を得た。例えば、前記クエリー画像が帽子を着用した顔画像であり、特徴点として帽子が抽出されたとする。その場合、複数のマスター画像からは、帽子という特徴点を有するもののみが、前記マスター画像候補として選択されることになる。仮に、前記クエリー画像の本人Ｘが、登録対象者Ｘとして、帽子を着用したマスター画像を登録していなければ、本人Ｘであるにもかかわらず、登録対象者Ｘのマスター画像からは、帽子の特徴点が抽出できないため、登録対象者Ｘのマスター画像は、前記マスター画像候補としては選択されないことになる。つまり、本人Ｘのマスター画像が候補から漏れてしまう。このため、前記マスター画像候補との一致度から認証を行っても、その認証が誤りという結果につながる場合がある。このような問題に対して、例えば、登録対象者が、それぞれ、あらゆる状態のマスター画像を大量に登録することが考えられるが、それは現実的ではない。また、仮に、前記マスター画像と前記クエリー画像との一致度が高くても、顔の詳細がわかりにくい顔画像同士の場合、認証されても、その認証が誤りという結果につながる場合がある。

【0014】

そこで、本発明者らは、顔画像の属性と、照合する顔画像の属性の組合せに着目し、本発明に至った。前記顔画像の属性とは、顔画像の特徴に基づく属性であり、前述のような、特徴点となり得る顔および顔周りの特徴であり、具体的には、後述する顔の向き（例えば、正面顔、横顔）、顔の表情（例えば、笑顔）、顔への装着物（例えば、サングラス、マスク）等である。属性の組合せとは、例えば、正面顔と正面顔、正面顔とサングラス顔、サングラス顔とサングラス顔等である。仮に、正面顔画像（マスター）と正面顔画像（クエリー）との一致度を示すスコアが、６０％であり、サングラス顔画像（マスター）とサングラス顔画像（クエリー）との一致度を示すスコアが、同様に６０％であったとする。一致度は、それぞれ同じであるが、顔の詳細がクリアである正面顔画像間の一致度６０％に対して、目が判別できないサングラス顔画像間の一致度６０％は、照合する両顔画像が同一人物である可能性としては、信頼性が低いと考えられる。つまり、照合する２つの顔画像の属性の組合せによって、同一人物の可能性があると判断する場合、一致度の閾値は、それぞれについて設定できるといえる。

【0015】

このため、本発明は、まず、マスター画像となる基準顔画像の情報として、登録対象者の基準顔画像と、前記基準顔画像の属性を紐づけて記憶させ、さらに、顔画像と顔画像とを照合した場合における、前記両顔画像の属性の組合せごとに、任意で設定したスコア閾値を記憶する。一方、クエリー画像となる判定顔画像について、属性を決定し、前記判定顔画像および前記基準顔画像の属性にかかわらず、両者を照合し、一致度を示すスコアを算出する。そして、照合した判定顔画像と前記基準顔画像との属性の組合せに応じて、前記スコアが、前記組合せの閾値を満たすか否かを判断し、満たす場合に、その基準顔画像を、認証のための顔画像候補として選択する。これによれば、前述のように、判定顔画像（クエリー）の特徴点を有する基準顔画像（マスター）が記憶されていない登録対象者であっても、候補から外れることを防止し、候補からの取りこぼしが抑制できる。また、判定顔画像（クエリー）および基準顔画像（マスター）の少なくとも一方が、顔の詳細が分かりにくい顔画像であっても、両者の属性の組合せに応じて閾値が設定されているため、例えば、一致度が高いというだけで、認証のための顔画像候補として選択されることを防止できる。このため、本発明により得られた顔画像候補を用いることで、結果的に、本人認証の精度の向上が可能となる。

【0016】

本発明において、前記属性は、前述のように、例えば、顔の向き、顔の表情、および顔への装着物等があげられる。前記顔の向きは、例えば、正面顔、横顔、俯き顔、上向き顔、斜め右向き顔、斜め左向き顔等であり、顔の表情は、例えば、笑顔、真顔等であり、顔への装着物は、例えば、帽子着用、マスク着用、サングラス着用等である。

【0017】

本発明の実施形態について図を用いて説明する。本発明は、以下の実施形態には限定されない。以下の各図において、同一部分には、同一符号を付している。また、各実施形態の説明は、特に言及がない限り、互いの説明を援用でき、各実施形態の構成は、特に言及がない限り、組合せ可能である。

【0018】

［実施形態１］
本発明の顔画像候補判定装置および顔画像候補判定方法の一例について、図を用いて説明する。

【0019】

図１は、本発明の実施形態１による顔画像候補判定装置１の一例の構成を示すブロック図である。図１を参照すると、顔画像候補判定装置１は、記憶部１０、画像取得部１１、属性決定部１２、スコア算出部１３、選択部１４を有する。顔画像候補判定装置１は、例えば、顔画像候補判定システムともいう。顔画像候補判定装置１は、前記構成に限定されず、例えば、抽出部、出力部等を有してもよい。

【0020】

顔画像候補判定装置１は、例えば、前記各部を含む１つの顔画像候補判定装置でもよいし、前記各部が、通信回線網を介して接続可能な顔画像候補判定装置でもよい。前記通信回線網は、特に制限されず、公知のネットワークを使用でき、例えば、有線でも無線でもよい。前記通信回線網は、例えば、インターネット回線、電話回線、ＬＡＮ（Local Area Network）、ＷｉＦｉ（Wireless Fidelity）等があげられる。

【0021】

図２に、図１の顔画像候補判定装置１のハードウェア構成のブロック図を例示する。図２を参照すると、顔画像候補判定装置１は、例えば、ＣＰＵ（中央処理装置）１０１、メモリ１０２、バス１０３、入力装置１０４、ディスプレイ１０５、通信デバイス１０６、記憶装置１０７等を有する。前記ハードウェア構成において各部は、例えば、それぞれのインターフェイス（Ｉ／Ｆ）により、バス１０３を介して、相互に接続されている。

【0022】

ＣＰＵ１０１は、顔画像候補判定装置１の全体の制御を担う。顔画像候補判定装置１において、ＣＰＵ１０１により、例えば、本発明のプログラム１０８やその他のプログラムが実行され、また、各種情報の読み込みや書き込みが行われる。具体的に、顔画像候補判定装置１は、例えば、ＣＰＵ１０１が、画像取得部１１、属性決定部１２、スコア算出部１３、選択部１４として機能する。

【0023】

顔画像候補判定装置１は、例えば、バス１０３に接続された通信デバイス１０６により、通信回路網に接続でき、前記通信回路網を介して、外部機器とも接続できる。前記外部機器は、特に制限されず、例えば、カメラ等の撮像装置、撮像された顔画像が記憶された外部端末等があげられる。前記外部端末は、例えば、パーソナルコンピュータ（ＰＣ）、タブレット、スマートフォン等があげられる。顔画像候補判定装置１と前記外部機器との接続方式は、特に制限されず、例えば、有線による接続でもよいし、無線による接続でもよい。前記有線による接続は、例えば、コードによる接続でもよいし、通信回線網を利用するためのケーブル等による接続でもよい。前記無線による接続は、例えば、通信回線網を利用した接続でもよいし、無線通信を利用した接続でもよい。前記通信回線網は、特に制限されず、例えば、公知の通信回線網を使用でき、前述と同様である。顔画像候補判定装置１と前記外部機器との接続形式は、例えば、ＵＳＢ等であってもよい。

【0024】

メモリ１０２は、例えば、メインメモリを含み、前記メインメモリは、主記憶装置ともいう。ＣＰＵ１０１が処理を行う際には、例えば、後述する補助記憶装置に記憶されている、本発明のプログラム等の種々の動作プログラム１０８を、メモリ１０２が読み込み、ＣＰＵ１０１は、メモリ１０２からデータを受け取って、前記プログラムを実行する。前記メインメモリは、例えば、ＲＡＭ（ランダムアクセスメモリ）である。メモリ１０２は、例えば、さらに、ＲＯＭ（読み出し専用メモリ）を含む。

【0025】

記憶装置１０７は、例えば、前記メインメモリ（主記憶装置）に対して、いわゆる補助記憶装置ともいう。記憶装置１０７は、例えば、記憶媒体と、前記記憶媒体に読み書きするドライブとを含む。前記記憶媒体は、特に制限されず、例えば、内蔵型でも外付け型でもよく、ＨＤ（ハードディスク）、ＦＤ（フロッピー（登録商標）ディスク）、ＣＤ－ＲＯＭ、ＣＤ－Ｒ、ＣＤ－ＲＷ、ＭＯ、ＤＶＤ、フラッシュメモリー、メモリーカード等があげられ、前記ドライブは、特に制限されない。記憶装置１０７は、例えば、記憶媒体とドライブとが一体化されたハードディスクドライブ（ＨＤＤ）、ソリッドステートドライブ（ＳＳＤ）等も例示できる。記憶装置１０７は、例えば、本発明のプログラム１０８等の動作プログラムが格納される。記憶装置１０７は、記憶部１０であり、例えば、登録対象者の基準顔画像１０９と、前記基準顔画像の属性１１０とが紐づけて格納され、また、照合する顔画像と顔画像との属性の組み合わせごとに、スコア閾値１１１が格納される。スコア閾値１１１については、後述する。

【0026】

顔画像候補判定装置１は、例えば、さらに、入力装置１０４、ディスプレイ１０５を任意で有する。入力装置１０４は、例えば、タッチパネル、キーボード、マウス等である。ディスプレイ１０５は、例えば、ＬＥＤディスプレイ、液晶ディスプレイ等である。

【0027】

つぎに、顔画像候補判定装置１の各部について、説明する。まず、記憶部１０は、基準記憶部１１２、および閾値記憶部１１３を含み、基準記憶部１１２は、登録対象者ごとに、基準顔画像と、前記基準顔画像の属性とを、紐づけて記憶し、閾値記憶部１１３は、照合する顔画像と顔画像との属性の組合せごとに、スコア閾値を記憶する。

【0028】

画像取得部１１は、判定顔画像として、被判定者の顔画像を取得する。前記判定顔画像は、例えば、顔画像認証において、クエリー画像として使用する顔画像である。画像取得部１１は、例えば、それ自体が顔画像を撮像する撮像部でもよいし、撮像された顔画像を入力する入力部であってもよい。画像取得部１１が前記撮像部の場合、例えば、前記カメラがあげられる。画像取得部１１が前記入力部の場合、顔画像候補判定装置１は、例えば、前記カメラと電気的に接続され、前記カメラで撮像された顔画像情報が入力されてもよい。顔画像候補判定装置１と前記カメラとの接続は、特に制限されず、例えば、有線でも無線でもよい。顔画像候補判定装置１と前記カメラとは、例えば、通信回線網を介して接続可能であり、前記通信回線網は、特に制限されず、例えば、前述の通りである。

【0029】

属性決定部１２は、前記判定顔画像の属性を決定する。前記判定顔画像の属性は、例えば、例えば、公知の画像解析手段が使用できる。

【0030】

スコア算出部１３は、前記基準顔画像と前記判定顔画像とを照合し、一致度を示すスコアを算出する。前記一致度とは、例えば、一致の程度を意味し、類似度ということもできる。前記スコアは、例えば、一致の程度を、相対的に示す指標である。前記一致度は、例えば、公知の類似度計算が利用できる。スコア算出部１３による照合方法は、特に制限されず、例えば、目、鼻、口等の特徴点の距離の比や、前記特徴点を結んだ線の向き等の特徴量を用いる方法等、公知の顔認証方法を使用できる。

【0031】

また、スコアの算出は、例えば、機械学習およびＡＩ等を利用することもできる。この場合、学習データとして、例えば、様々な属性の基準顔画像と様々な属性の判定顔画像とを組み合わせ、および、それらが同一人であるか否かの結果を使用し、学習させることで、基準顔画像の属性と判定顔画像の属性と同一人か否かの判断の信頼性に関する学習モデルを生成できる。このような学習モデルを使用することで、例えば、より信頼性のあるスコアの算出が可能である。

【0032】

選択部１４は、前記スコア閾値を満たす基準顔画像を、認証のための顔画像候補とし、前記顔画像候補およびその算出スコアを、認証用情報として選択する。前述のように、前記基準顔画像は、その属性が紐づけて記憶されており、前記判定顔画像は、属性が決定されているため、それらに基づき、照合した顔画像間の属性の組み合わせは明らかである。そこで、前記基準顔画像のうち、前記顔画像間の組合せに応じた閾値を満たすものを、認証のための顔画像候補として選択する。

【0033】

前記スコア閾値は、前述のように、例えば、顔画像の属性に応じて、任意で決定できる。例えば、正面顔画像は、目、鼻、口等の顔の特徴部が明確であるため、顔の大部分が隠れているマスク顔画像、目が隠れているサングラス顔画像等よりも、照合において、信頼性が高い顔画像といえる。また、例えば、判定顔画像が前記サングラス顔画像である場合、基準顔画像が前記マスク顔画像である場合に比べ、前記サングラス顔画像の方が、画像同士で照合できる特徴点が多く、信頼性が高い顔画像といえる。このように、例えば、顔画像の信頼性と、前記基準顔画像と前記判定顔画像との照合できる特徴点の多さ等の観点から、前記スコア閾値を設定できる。前記スコア閾値は、例えば、前記顔画像の信頼性が相対的に高い程、前記スコア閾値を相対的に低く設定でき、前記基準顔画像と前記判定顔画像との照合できる特徴点が相対的に多いほど、前記スコア閾値を低く設定できる。また、前記基準顔画像と前記判定顔画像との照合は、例えば、既存の照合エンジン（照合ソフト）が使用できる。一般に、同じ基準顔画像と判定顔画像との組み合わせであっても、前記照合エンジンの種類によって、一致度を示すスコアが異なることが知られている。このため、例えば、照合に使用する照合エンジンに応じて、前記スコア閾値を設定することが好ましい。

【0034】

前記スコア閾値は、具体的に、例えば、下記表１のように設定できる。なお、下記表１は、例示であり、本発明を何ら制限せず、前記スコア閾値は、例えば、前述のような観点から任意に設定できる。下記表１において、「正面顔（無）」とは、例えば、帽子、サングラス等の顔への装着物がない正面の顔画像である。

【0035】

【表1】

【0036】

つぎに、本実施形態１の顔画像候補判定方法について説明する。本実施形態の顔画像候補判定方法は、例えば、図１および図２に示す顔画像候補判定装置１を用いて実施できる。なお、本発明の実施形態１による顔画像候補判定方法は、顔画像候補判定装置１の使用には限定されない。また、本実施形態の顔画像候補判定方法における記載は、前述した顔画像候補判定装置１に援用できる。

【0037】

前記記憶工程は、基準記憶工程、および閾値記憶工程を含む。前記基準記憶工程は、登録対象者ごとに、基準顔画像と、前記基準顔画像の属性とを、紐づけて記憶する。前記閾値記憶工程は、照合する顔画像と顔画像との属性の組合せごとに、スコア閾値を記憶する。前記記憶工程は、例えば、顔画像候補判定装置１の記憶部１０により実行できる。

【0038】

前記画像取得工程は、判定顔画像として、被判定者の顔画像を取得する。前記画像取得工程は、例えば、顔画像候補判定装置１の画像取得部１１により実行できる。

【0039】

前記属性決定工程は、前記判定顔画像の属性を決定する。前記属性決定工程は、例えば、顔画像候補判定装置１の属性決定部１２により実行できる。

【0040】

前記スコア算出工程は、前記基準顔画像と前記判定顔画像とを照合し、一致度を示すスコアを算出する。前記スコア算出工程は、例えば、顔画像候補判定装置１のスコア算出部１３により実行できる。

【0041】

前記選択工程は、前記スコア閾値を満たす基準顔画像を、認証のための顔画像候補とし、前記顔画像候補およびその算出スコアを、前記判定顔画像の認証用情報として選択する。前記選択工程は、例えば、顔画像候補判定装置１の選択部１４により実行できる。

【0042】

つぎに、本発明の実施形態１による顔画像候補判定方法について、図３のフローチャートを用いて、より具体的に説明する。なお、本発明の顔画像候補判定方法は、これらの例に制限されない。

【0043】

まず、予め、顔画像候補判定装置１の記憶部１０において、基準記憶部１１２に、登録対象者ごとに、基準顔画像と、前記基準顔画像の属性とを、紐づけて記憶させ、閾値記憶部１１３に、照合する顔画像と顔画像との属性の組合せごとに、スコア閾値を記憶させておき、これらを使用する。具体的に、前述のように、基準記憶部１１２には、登録対象者について、それぞれ、基準顔画像と、その属性とが、紐づけて記憶されている。前記登録対象者の基準顔画像は、例えば、１種類でもよいし、２種類以上であってもよい。また、閾値記憶部１１３には、照合する顔画像と顔画像との属性の組合せごとに、前記表１に示すスコア閾値が記憶されている。

【0044】

前記画像取得工程として、顔画像候補判定装置１の画像取得部１１により、判定顔画像として、被判定者の顔画像を取得する（Ｓ１０１）。

【0045】

前記属性決定工程として、顔画像候補判定装置１の属性決定部１２により、前記判定顔画像の属性を決定する（Ｓ１０２）。本例では、仮に、サングラス着用の正面の顔画像であると仮定する。

【0046】

そして、前記スコア算出工程として、顔画像候補判定装置１のスコア算出部１３により、前記属性ごとに、前記基準顔画像と、前記判定顔画像を照合し（Ｓ１０３）、一致度を示すスコアを算出する（Ｓ１０４）。

【0047】

ここで、例えば、登録対象者Ａ、Ｂ、Ｃについて、それぞれ、サングラス等の装着物が無い正面の顔画像（Ａ）、サングラス着用の正面の顔画像（Ｂ）、マスク着用の正面の顔画像（Ｃ）が記憶されているとする。そして、前記判定顔画像と前記基準顔画像とを照合することによって得られる、一致度を示すスコアを、一例として下記表２に示す。一致度を示すスコアは、例えば、既存の照合エンジン等を使用できる。

【0048】

【表2】

【0049】

つぎに、前記選択工程として、顔画像候補判定装置１の選択部１４により、算出したスコアが、属性の組合せのスコア閾値を満たすか否かを判断する（Ｓ１０５）。ここで、前記表２に、前記判定顔画像と基準顔画像（Ａ、Ｂ、Ｃ）とのそれぞれの属性の組み合わせに応じて、前記表１の閾値を合わせて示す。例えば、前記表２の一致度を示すスコアについて、それぞれの属性の組合せに関する前記表１の閾値に基づいて判断すると、前記判定顔画像と、前記Ｂのサングラス着用の基準顔画像との一致度スコア（８０）のみが、閾値７０を満たしていると判断できる。

【0050】

前記スコア閾値を満たす場合（ＹＥＳ）、その基準顔画像を、認証用の顔画像候補として選択し（Ｓ１０６）、前記顔画像候補およびその算出スコアを、認証用情報として選択し（Ｓ１０７）、出力して（Ｓ１０９）、終了する（ＥＮＤ）。他方、前記スコア閾値を満たさない場合（ＮＯ）、その基準顔画像を、認証用の顔画像候補から外して（Ｓ１０８）、終了する（ＥＮＤ）。つまり、前記表２の例においては、前記Ｂのサングラス着用の基準顔画像を、顔画像候補として選択し、それ以外の基準顔画像（ＡおよびＣ）を、顔画像候補から外す。

【0051】

このようにして選択した前記認証用情報を、出力する（Ｓ１０９）。前記認証用情報は、例えば、最終的に、認証できるか否かの判断に利用できる。

【0052】

本実施形態において、前記スコア閾値を満たすとして選択された前記認証用の顔画像候補が、複数ある場合、例えば、属性ごとに、その属性の閾値に対する乖離度に応じた順次に沿って、出力してもよい。具体的には、例えば、前記閾値に対して、相対的により高い値、相対的に乖離度が大きいものから順に、出力してもよい。

【0053】

前記表２の例においては、前記選択工程の結果、スコア閾値を満たすものが１つである場合を示したが、例えば、スコア閾値を満たすものが２つ以上存在する場合には、一致度スコアと閾値との差分を求め、差分の最も大きい基準顔画像を、最も可能性が高い基準顔画像として選択してもよい。また、例えば、スコア閾値を満たす複数の基準顔画像を、差分が大きい順に、可能性が高いランキングとして選択し、出力してもよい。例えば、下記表３に示すように、前記Ａの基準顔画像の一致度スコアと、前記Ｂの基準顔画像の一致度スコアとが、それぞれの閾値を満たす場合、例えば、一致度スコアと閾値との差分を求める。この例においては、前記Ｂの基準顔画像の差分は、前記Ａの基準顔画像の差分よりも大きいため、前記Ｂの基準顔画像のみを選択してもよいし、前記Ｂの基準顔画像を第１候補、前記Ａの基準顔画像を第２候補として、ランキング形式で選択してもよい。

【0054】

【表3】

【0055】

［実施形態２］
本実施形態は、さらに、属性ごとに、最も高いスコアの顔画像候補を抽出する形態である。特に示さない限り、本実施形態は、前記実施形態１の記載を援用できる。

【0056】

本実施形態の顔画像候補判定装置は、さらに、抽出部および出力部を含み、前記抽出部は、前記判定顔画像の認証用情報に基づいて、前記属性ごとに、最も高いスコアの顔画像候補を抽出し、前記出力部は、前記属性ごとに、前記抽出された顔画像候補に紐づけられた登録対象者が、前記被判定者である可能性が高いと出力する。

【0057】

また、本実施形態の顔画像候補判定方法は、さらに、抽出工程および出力工程を含み、前記抽出工程は、前記判定顔画像の認証用情報に基づいて、前記属性ごとに、最も高いスコアの顔画像候補を抽出し、前記出力工程は、前記属性ごとに、前記抽出された顔画像候補に紐づけられた登録対象者が、前記被判定者である可能性が高いと出力する。

【0058】

前記抽出工程は、例えば、前記抽出部により実行でき、ハードウェア構成において、ＣＰＵ１０１が前記抽出部として機能する。

【0059】

前記実施形態１に示すように、前記判定顔画像と前記各基準顔画像との一致度を示すスコアが算出され、組み合わせの閾値によって、前記顔画像候補が選択される。その認証用情報に基づけば、前記判定顔画像と照合した各顔画像候補のうち、属性ごとに、最も高いスコアの顔画像候補を抽出することができる。具体例として、前記表２を例にあげると、顔画像候補の属性が正面顔の場合、登録対象者Ａの正面顔画像が、最も高いスコアを示し、属性が横顔の場合、登録対象者Ｂの横顔画像が、最も高いスコアを示し、属性がマスク顔の場合、登録対象者Ａのマスク顔画像が、最も高いスコアを示し、属性がサングラスの場合、登録対象者Ａのサングラス顔画像が、最も高いスコアを示す。そして、この結果を、属性ごとの結果として、つまり、前記顔画像候補の各属性について、前記判定顔画像と最も一致している顔画像候補を出力できる。

【0060】

なお、本実施形態の顔画像候補判定装置は、この例には制限されず、例えば、前記抽出部は、前記判定顔画像の認証用情報に基づいて、前記属性ごとに、スコア順に顔画像候補を抽出し、前記出力部は、前記属性ごとに、前記抽出された顔画像候補に紐づけられたスコア順の登録対象者が、前記被判定者である可能性の高い順であることを出力してもよい。また、本実施形態の顔画像候補判定方法も同様に、例えば、前記抽出工程は、前記判定顔画像の認証用情報に基づいて、前記属性ごとに、スコア順に顔画像候補を抽出し、前記出力工程は、前記属性ごとに、前記抽出された顔画像候補に紐づけられたスコア順の登録対象者が、前記被判定者である可能性の高い順であることを出力してもよい。つまり、各属性について、前記顔画像候補の一致度のランキングを出力してもよい。

【0061】

本実施形態において、ランキングは、例えば、前述のように、属性ごとに、その属性の閾値に対する乖離度（例えば、前述のような差分）に応じた順序として出力してもよい。また、前記顔画像の属性として、例えば、基本的に正面顔の精度が高いことから、正面顔の顔画像候補をファーストプライオリティとして、判定してもよい。

【0062】

本実施形態の顔画像候補判定装置および顔画像候補判定装置は、前述のように、属性ごとに、前記被判定者である可能性の高い順に顔画像候補を抽出することから、顔画像認証装置および顔画像認証方法ということもできる。

【0063】

［実施形態３］
本実施形態のプログラムは、前記実施形態１および２の顔画像候補判定方法を、コンピュータ上で実行可能なプログラムである。または、本実施形態のプログラムは、例えば、コンピュータ読み取り可能な記録媒体に記録されてもよい。前記記録媒体としては、特に限定されず、例えば、前述のような記憶媒体等があげられる。

【0064】

［実施形態４］
本実施形態は、本発明の顔認証装置および顔認証方法の一例である。本実施形態は、特に示さない限り、前記実施形態１および２の顔画像候補判定装置および顔画像候補判定方法と同様であり、その記載を援用できる。

【0065】

本実施形態の顔認証装置は、顔画像候補判定部と、認証部とを含む。前記顔画像候補判定部は、前記本発明の認証用の顔画像候補判定装置を含み、前記基準顔画像の属性ごとに、前記スコア閾値を満たす顔画像を、認証のための顔画像候補とし、前記認証部は、前記顔画像候補の認証用情報に基づいて、被判定者の顔画像に対する認証を行う。本実施形態の顔認証装置は、属性に基づいて顔画像候補を判定することが特徴であり、その他の構成は、何ら制限されない。本実施形態の顔認証装置は、例えば、前記実施形態１または２の顔画像候補判定装置であってもよく、前記実施形態１または２の顔画像候補判定装置が、さらに、前記認証部を含むことによって、顔認証装置となってもよい。

【0066】

本実施形態の顔認証方法は、顔画像候補判定工程と、認証工程とを含む。前記顔画像候補判定工程は、前記本発明の認証用の顔画像候補判定方法を含み、前記基準顔画像の属性ごとに、前記スコア閾値を満たす顔画像を、認証のための顔画像候補とし、前記認証工程は、前記顔画像候補の認証用情報に基づいて、被判定者の顔画像に対する認証を行う。

【0067】

［実施形態５］
本実施形態のプログラムは、前記実施形態４の顔認証方法を、コンピュータ上で実行可能なプログラムである。または、本実施形態のプログラムは、例えば、コンピュータ読み取り可能な記録媒体に記録されてもよい。前記記録媒体としては、特に限定されず、例えば、前述のような記憶媒体等があげられる。

【0068】

以上、実施形態を参照して本願発明を説明したが、本願発明は、上記実施形態に限定されるものではない。本願発明の構成や詳細には、本願発明のスコープ内で当業者が理解し得る様々な変更をすることができる。

【0069】

この出願は、２０１８年９月６日に出願された日本出願特願２０１８－１６７１２８を基礎とする優先権を主張し、その開示の全てをここに取り込む。

【0070】

＜付記＞
上記の実施形態および実施例の一部または全部は、以下の付記のように記載されうるが、以下には限られない。
（付記１）
記憶部、画像取得部、属性決定部、スコア算出部、および選択部を含み、
前記記憶部は、基準記憶部、および閾値記憶部を含み、
前記基準記憶部は、登録対象者ごとに、基準顔画像と、前記基準顔画像の属性とを、紐づけて記憶し、
前記閾値記憶部は、照合する顔画像と顔画像との属性の組合せごとに、スコア閾値を記憶し、
前記属性は、顔画像の特徴に基づく属性であり、
前記スコア閾値は、照合する顔画像と顔画像とが同一人の可能性があると判定する閾値であり、
前記画像取得部は、
判定顔画像として、被判定者の顔画像を取得し、
前記属性決定部は、
前記判定顔画像の属性を決定し、
前記スコア算出部は、
前記基準顔画像と前記判定顔画像とを照合し、一致度を示すスコアを算出し、
前記選択部は、
前記スコア閾値を満たす基準顔画像を、認証のための顔画像候補とし、前記顔画像候補およびその算出スコアを、前記判定顔画像の認証用情報として選択する
ことを特徴とする認証用の顔画像候補判定装置。
（付記２）
前記顔画像の属性が、顔の向き、顔の表情、および顔への装着物からなる群から選択された少なくとも一つである、付記１に記載の顔画像候補判定装置。
（付記３）
前記顔画像の属性が、正面顔、横顔、俯き顔、上向き顔、斜め右向き顔、斜め左向き顔、笑顔、帽子着用、マスク着用、およびサングラス着用からなる群から選択された少なくとも一つである、付記２に記載の顔画像候補判定装置。
（付記４）
さらに、抽出部および出力部を含み、
前記抽出部は、前記判定顔画像の認証用情報に基づいて、前記属性ごとに、最も高いスコアの顔画像候補を抽出し、
前記出力部は、前記属性ごとに、前記抽出された顔画像候補に紐づけられた登録対象者が、前記被判定者である可能性が高いと出力する、付記１から３のいずれかに記載の顔画像候補判定装置。
（付記５）
さらに、抽出部および出力部を含み、
前記抽出部は、前記判定顔画像の認証用情報に基づいて、前記属性ごとに、スコア順に顔画像候補を抽出し、
前記出力部は、前記属性ごとに、前記抽出された顔画像候補に紐づけられたスコア順の登録対象者が、前記被判定者である可能性の高い順であることを出力する、付記１から４のいずれかに記載の顔画像候補判定装置。
（付記６）
記憶工程、画像取得工程、属性決定工程、スコア算出工程、および選択工程を含み、
前記記憶工程は、基準記憶工程、および閾値記憶工程を含み、
前記基準記憶工程は、登録対象者ごとに、基準顔画像と、前記基準顔画像の属性とを、紐づけて記憶し、
前記閾値記憶工程は、照合する顔画像と顔画像との属性の組合せごとに、スコア閾値を記憶し、
前記属性は、顔画像の特徴に基づく属性であり、
前記スコア閾値は、照合する顔画像と顔画像とが同一人の可能性があると判定する閾値であり、
前記画像取得工程は、
判定顔画像として、被判定者の顔画像を取得し、
前記属性決定工程は、
前記判定顔画像の属性を決定し、
前記スコア算出工程は、
前記基準顔画像と前記判定顔画像とを照合し、一致度を示すスコアを算出し、
前記選択工程は、
前記スコア閾値を満たす基準顔画像を、認証のための顔画像候補とし、前記顔画像候補およびその算出スコアを、前記判定顔画像の認証用情報として選択する
ことを特徴とする認証用の顔画像候補判定方法。
（付記７）
前記顔画像の属性が、顔の向き、顔の表情、および顔への装着物からなる群から選択された少なくとも一つである、付記６に記載の顔画像候補判定方法。
（付記８）
前記顔画像の属性が、正面顔、横顔、俯き顔、上向き顔、斜め右向き顔、斜め左向き顔、笑顔、帽子着用、マスク着用、およびサングラス着用からなる群から選択された少なくとも一つであることを特徴とする付記７に記載の顔画像候補判定方法。
（付記９）
さらに、抽出工程および出力工程を含み、
前記抽出工程は、前記判定顔画像の認証用情報に基づいて、前記属性ごとに、最も高いスコアの顔画像候補を抽出し、
前記出力工程は、前記属性ごとに、前記抽出された顔画像候補に紐づけられた登録対象者が、前記被判定者である可能性が高いと出力する、付記６から８のいずれかに記載の顔画像候補判定方法。
（付記１０）
さらに、抽出工程および出力工程を含み、
前記抽出工程は、前記判定顔画像の認証用情報に基づいて、前記属性ごとに、スコア順に顔画像候補を抽出し、
前記出力工程は、前記属性ごとに、前記抽出された顔画像候補に紐づけられたスコア順の登録対象者が、前記被判定者である可能性の高い順であることを出力する、付記６から９のいずれかに記載の顔画像候補判定方法。
（付記１１）
付記６から１０のいずれかに記載の顔画像候補判定方法をコンピュータに実行させることを特徴とするプログラム。
（付記１２）
付記１１に記載のプログラムを記録したことを特徴とするコンピュータ読み取り可能な記録媒体。
（付記１３）
顔画像候補判定部と、認証部とを含み、
前記顔画像候補判定部は、
付記１から５のいずれかに記載の認証用の顔画像候補判定装置を含み、
前記基準顔画像の属性ごとに、前記スコア閾値を満たす顔画像を、認証のための顔画像候補とし、
前記認証部は、
前記顔画像候補の認証用情報に基づいて、被判定者の顔画像に対する認証を行う
ことを特徴とする顔画像認証装置。
（付記１４）
顔画像候補判定工程と、認証工程とを含み、
前記顔画像候補判定工程は、
付記６から１０のいずれかに記載の認証用の顔画像候補判定方法を含み、
前記基準顔画像の属性ごとに、前記スコア閾値を満たす顔画像を、認証のための顔画像候補とし、
前記認証工程は、
前記顔画像候補の認証用情報に基づいて、被判定者の顔画像に対する認証を行う
ことを特徴とする顔画像認証方法。
（付記１５）
付記１４に記載の顔画像認証方法をコンピュータに実行させることを特徴とするプログラム。
（付記１６）
付記１５に記載のプログラムを記録したことを特徴とするコンピュータ読み取り可能な記録媒体。

【産業上の利用可能性】

【0071】

本発明の顔画像候補判定装置、顔画像候補判定方法、それを実行するためのプログラム、およびそのプログラムを記録したコンピュータ読み取り可能な記録媒体によれば、例えば、登録されているマスター画像の種類に関わらず、精度よく画像認証できるため、例えば、顔画像認証に最適である。

【符号の説明】

【0072】

１ 顔画像候補判定装置
１０ 記憶部
１１２ 基準記憶部
１１３ 閾値記憶部
１１ 画像取得部
１２ 属性決定部
１３ スコア算出部
１４ 選択部
１０１ ＣＰＵ
１０２ メモリ
１０３ バス
１０４ 入力装置
１０５ ディスプレイ
１０６ 通信デバイス
１０７ 記憶装置
１０８ プログラム
１０９ 基準顔画像
１１０ 顔画像の属性
１１１ スコア閾値

【図1】

【図2】

【図3】