特許 7435908 認証システム、処理方法及びプログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2024-02-13

(45)【発行日】2024-02-21

(54)【発明の名称】認証システム、処理方法及びプログラム

(51)【国際特許分類】

   G06V 40/16 20220101AFI20240214BHJP

   G06T 7/00 20170101ALI20240214BHJP

【ＦＩ】

G06V40/16 A

G06T7/00 510F

【請求項の数】 11

(21)【出願番号】P 2023512829

(86)(22)【出願日】2022-01-28

(86)【国際出願番号】 JP2022003351

(87)【国際公開番号】W WO2022215328

(87)【国際公開日】2022-10-13

【審査請求日】2023-07-05

(31)【優先権主張番号】P 2021066319

(32)【優先日】2021-04-09

(33)【優先権主張国・地域又は機関】JP

(73)【特許権者】

【識別番号】000004237

【氏名又は名称】日本電気株式会社

(74)【代理人】

【識別番号】100110928

【弁理士】

【氏名又は名称】速水 進治

(72)【発明者】

【氏名】萩原 麻理子

【審査官】真木 健彦

(56)【参考文献】

【文献】特開２０１９－１６８９２９（ＪＰ，Ａ）

【文献】特開２０１９－１２５００３（ＪＰ，Ａ）

【文献】特開２００８－１７６６４５（ＪＰ，Ａ）

【文献】特開２０１８－０４９６５５（ＪＰ，Ａ）

【文献】特開２００５－０７８４１３（ＪＰ，Ａ）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ０６Ｖ ４０／１６

Ｇ０６Ｔ ７／００

Ｇ０６Ｔ １／００

(57)【特許請求の範囲】

【請求項1】

ユーザの顔を含む処理対象画像を取得する取得手段と、
予め登録された登録画像と前記処理対象画像とに基づき、顔のパーツ毎に変化を評価するパーツ毎評価手段と、
前記登録画像と前記処理対象画像とに基づき、顔照合処理を行う照合手段と、
前記顔照合処理の照合スコアが所定条件を満たす場合、顔のパーツ毎の変化の評価結果及び前記登録画像の更新の案内を通知対象者に通知する通知手段と、
を有する認証システム。

【請求項2】

前記通知手段は、
基準レベル以上の変化が検出された顔のパーツに関する情報を、前記通知対象者に通知する請求項１に記載の認証システム。

【請求項3】

前記通知手段は、
前記照合スコアの遷移を示す情報を、前記通知対象者に通知する請求項１又は２に記載の認証システム。

【請求項4】

前記通知手段は、
前記顔照合処理の照合スコアが所定条件を満たし、かつ、前記評価結果が他の所定条件を満たす場合、前記評価結果を前記通知対象者に通知する請求項１から３のいずれか１項に記載の認証システム。

【請求項5】

前記他の所定条件は、顔のパーツ毎の変化に基づき定義される請求項４に記載の認証システム。

【請求項6】

前記パーツ毎評価手段は、
２次元の前記登録画像から作成された３次元の登録画像と、２次元の前記処理対象画像から作成された３次元の処理対象画像とに基づき、顔のパーツ毎に変化を評価する請求項１から５のいずれか１項に記載の認証システム。

【請求項7】

前記通知手段は、
前記顔照合処理の結果とともに、前記評価結果を前記ユーザに通知する請求項１から６のいずれか１項に記載の認証システム。

【請求項8】

前記通知手段は、
前記評価結果を、複数の前記ユーザの前記登録画像を管理する管理者に通知する請求項１から７のいずれか１項に記載の認証システム。

【請求項9】

前記照合手段は、
前記登録画像で示される顔の全体と前記処理対象画像で示される顔の全体とに基づき前記顔照合処理を行い、前記照合スコアがＳ１以下の場合、顔認証に失敗と判断し、前記照合スコアがＳ１より大の場合、顔認証に成功と判断し、
前記照合スコアの前記所定条件は、前記照合スコアがＳ１より大かつＳ２以下（Ｓ１＜Ｓ２）である請求項１から８のいずれか１項に記載の認証システム。

【請求項10】

コンピュータが、
ユーザの顔を含む処理対象画像を取得し、
予め登録された登録画像と前記処理対象画像とに基づき、顔のパーツ毎に変化を評価し、
前記登録画像と前記処理対象画像とに基づき、顔照合処理を行い、
前記顔照合処理の照合スコアが所定条件を満たす場合、顔のパーツ毎の変化の評価結果及び前記登録画像の更新の案内を通知対象者に通知する処理方法。

【請求項11】

コンピュータを、
ユーザの顔を含む処理対象画像を取得する取得手段、
予め登録された登録画像と前記処理対象画像とに基づき、顔のパーツ毎に変化を評価するパーツ毎評価手段、
前記登録画像と前記処理対象画像とに基づき、顔照合処理を行う照合手段、及び、
前記顔照合処理の照合スコアが所定条件を満たす場合、顔のパーツ毎の変化の評価結果及び前記登録画像の更新の案内を通知対象者に通知する通知手段、
として機能させるプログラム。

【発明の詳細な説明】

【技術分野】

【0001】

この開示は、認証システム、処理方法及びプログラムに関する。

【背景技術】

【0002】

この開示に関連する技術が、特許文献１乃至３に開示されている。

【0003】

特許文献１には、画像から検出した人物の顔情報そのものを蓄積せずに、顔のパーツ、属性情報及び関連情報で顔情報の特徴を蓄積して照合する技術が開示されている。

【0004】

特許文献２には、顔の画像から生体認証に必要な複数のパーツを抽出し、位置や特徴を演算処理して求めた第１の特徴情報と第２の特徴情報とを照合して顔認証を行うこと、及び、第１の特徴情報及び第２の特徴情報に基づき経年変化が検出された場合、第１の特徴情報の更新を促す通知を利用者に対して行うことが開示されている。第１の特徴情報は登録データであり、第２の特徴情報は認証用に取得されたデータである。

【0005】

特許文献３には、広角画像から切り出した顔画像と、予め登録された顔画像とを照合する技術であって、画像内の被写体の位置や向きに基づき上記顔画像を補正し、補正後の顔画像に基づき照合する技術が開示されている。

【先行技術文献】

【特許文献】

【0006】

【文献】特開２０１２－２０３５９２号公報

【文献】特開２０１３－２０６２３２号公報

【文献】特開２０２０－１５４４０８号公報

【発明の概要】

【発明が解決しようとする課題】

【0007】

近年、顔認証技術が広く利用されている。顔認証技術においては、次の課題がある。

【0008】

特許文献２には、登録データである第１の特徴情報と、顔認証用に取得されたデータである第２の特徴情報に基づき経年変化が検出された場合、登録した画像データの更新を促す通知をユーザに対して行うことが開示されている。しかし、「登録した画像データを更新してください」等のように、単に更新を促すだけの場合、ユーザは、なぜ登録した画像データの更新が必要なのかを理解できない。すなわち、ユーザは、登録した画像データの更新の要否を適切に判断することができない。

【0009】

この開示は、顔認証用に登録した画像データの更新要否を適切に判断できるようにすることを課題とする。

【課題を解決するための手段】

【0010】

この開示によれば、
ユーザの顔を含む処理対象画像を取得する取得手段と、
予め登録された登録画像と前記処理対象画像とに基づき、顔のパーツ毎に変化を評価するパーツ毎評価手段と、
前記登録画像と前記処理対象画像とに基づき、顔照合処理を行う照合手段と、
前記顔照合処理の照合スコアが所定条件を満たす場合、顔のパーツ毎の変化の評価結果を通知対象者に通知する通知手段と、
を有する認証システムが提供される。

【0011】

また、この開示によれば、
コンピュータが、
ユーザの顔を含む処理対象画像を取得し、
予め登録された登録画像と前記処理対象画像とに基づき、顔のパーツ毎に変化を評価し、
前記登録画像と前記処理対象画像とに基づき、顔照合処理を行い、
前記顔照合処理の照合スコアが所定条件を満たす場合、顔のパーツ毎の変化の評価結果を通知対象者に通知する処理方法が提供される。

【0012】

また、この開示によれば、
コンピュータを、
ユーザの顔を含む処理対象画像を取得する取得手段、
予め登録された登録画像と前記処理対象画像とに基づき、顔のパーツ毎に変化を評価するパーツ毎評価手段、
前記登録画像と前記処理対象画像とに基づき、顔照合処理を行う照合手段、及び、
前記顔照合処理の照合スコアが所定条件を満たす場合、顔のパーツ毎の変化の評価結果を通知対象者に通知する通知手段、
として機能させるプログラムが提供される。

【図面の簡単な説明】

【0013】

【図1】本実施形態の認証システムのハードウエア構成の一例を示す図である。

【図2】本実施形態の認証システムの機能ブロック図の一例を示す図である。

【図3】本実施形態の認証システムの処理の流れの一例を示す図である。

【図4】本実施形態の認証システムの処理の流れの一例を示す図である。

【図5】本実施形態の認証システムが処理する情報の一例を模式的に示す図である。

【図6】本実施形態の認証システムの機能ブロック図の一例を示す図である。

【図7】本実施形態の認証システムの処理の流れの一例を示す図である。

【発明を実施するための形態】

【0014】

以下、この開示の実施の形態について、図面を用いて説明する。尚、すべての図面において、同様な構成要素には同様の符号を付し、適宜説明を省略する。

【0015】

まず、この開示の実施形態の理解を容易にするために、この開示の背景を説明する。
顔認証用に登録した画像データにおいて、人の顔は、加齢、生活習慣、外科手術等の様々な要因により変化するため、更新時期に満たない場合であっても最新の画像データに更新する方が適切な場合がある。それは、例えば、高度な顔認証技術により本人であるという認証がなされたとしても、人が目で見た場合の変化が大きく、認証用に登録する画像データとして適切ではない場合である。このため、顔認証用に登録した画像データを、顔の変化に応じて個人の適切なタイミングで最新の画像データに更新する必要がある。また、関連する技術には、登録した画像データの更新要否を、適切に判断する手段がなかった。

【0016】

以下に説明されるこの開示の実施形態によれば、顔認証用に登録した画像データの更新要否を、顔の変化に応じて個人の適切なタイミングで判断できる。

【0017】

＜第１の実施形態＞
「概要」
本実施形態の認証システムは、顔認証を利用してユーザの本人確認を行う機能を備える。認証システムは、処理対象画像を取得すると、処理対象画像と予め顔認証用に登録された登録画像とに基づき顔照合処理を行う。そして、認証システムは、顔照合処理の結果をユーザに通知する。「処理対象画像」は、ユーザの顔を含む画像である。本実施形態では、顔認証のために認証システムに入力されたユーザの顔を含む画像が処理対象画像となる。「ユーザ」は、認証システムが実施する顔認証に成功した人が受けられるサービスのユーザである。

【0018】

また、認証システムは、処理対象画像を取得すると、当該処理対象画像と予め顔認証用に登録された登録画像とに基づき、顔のパーツ毎に変化を評価する。そして、認証システムは、登録画像と処理対象画像とに基づく上記顔照合処理の照合スコアが基準値以下の場合、顔のパーツ毎の変化の評価結果を通知対象者に通知する。「通知対象者」は、登録画像の更新に関わる情報を通知する必要がある又は通知することが好ましい人であり、例えばユーザ自身や、認証システムのオペレータや、認証システムを利用する施設の担当者等が例示される。

【0019】

このように、認証システムは、登録画像と処理対象画像とに基づく顔照合処理の照合スコアに基づき、登録画像の更新要否を検討する必要があるユーザを抽出する。そして、認証システムは、抽出したユーザに関する更新の要否を判断するための材料情報、具体的には顔のパーツ毎の変化の評価結果を、通知対象者に通知する。通知対象者は、顔のパーツ毎の変化の評価結果に基づき、顔認証用に登録した登録画像の更新要否を適切に判断できる。

【0020】

「ハードウエア構成」
次に、認証システム１０のハードウエア構成の一例を説明する。図１は、認証システム１０のハードウエア構成例を示す図である。認証システム１０が備える各機能部は、任意のコンピュータのＣＰＵ（Central Processing Unit）、メモリ、メモリにロードされるプログラム、そのプログラムを格納するハードディスク等の記憶ユニット、ネットワーク接続用インターフェイスを中心にハードウエアとソフトウエアの任意の組合せによって実現される。記憶ユニットは、あらかじめ装置を出荷する段階から格納されているプログラムのほか、ＣＤ（Compact Disc）等の記憶媒体やインターネット上のサーバ等からダウンロードされたプログラムをも格納できるそして、その実現方法、装置にはいろいろな変形例があることは、当業者には理解されるところである。

【0021】

図１に示すように、認証システム１０は、プロセッサ１Ａ、メモリ２Ａ、入出力インターフェイス３Ａ、周辺回路４Ａ、バス５Ａを有する。周辺回路４Ａには、様々なモジュールが含まれる。認証システム１０は、周辺回路４Ａを有さなくてもよい。なお、認証システム１０は物理的及び／又は論理的に分かれた複数の装置で構成されてもよいし、物理的及び論理的に一体となった１つの装置で構成されてもよい。物理的及び／又は論理的に分かれた複数の装置で構成される場合、複数の装置各々が上記ハードウエア構成を備えることができる。

【0022】

バス５Ａは、プロセッサ１Ａ、メモリ２Ａ、周辺回路４Ａ及び入出力インターフェイス３Ａが相互にデータを送受信するためのデータ伝送路である。プロセッサ１Ａは、例えばＣＰＵ、ＧＰＵ（Graphics Processing Unit）などの演算処理装置である。メモリ２Ａは、例えばＲＡＭ（Random Access Memory）やＲＯＭ（Read Only Memory）などのメモリである。入出力インターフェイス３Ａは、入力装置、外部装置、外部サーバ、外部センサ等から情報を取得するためのインターフェイスや、出力装置、外部装置、外部サーバ等に情報を出力するためのインターフェイスなどを含む。入力装置は、例えばキーボード、マウス、マイク等である。出力装置は、例えばディスプレイ、スピーカ、プリンター、メーラ等である。プロセッサ１Ａは、各モジュールに指令を出し、それらの演算結果をもとに演算を行うことができる。

【0023】

「機能構成」
次に、認証システム１０の機能構成を説明する。図２に、認証システム１０の機能ブロック図の一例を示す。図示するように、認証システム１０は、取得部１１と、照合部１２と、パーツ毎評価部１３と、通知部１４と、記憶部１５とを有する。なお、認証システム１０は、図６の機能ブロック図に示すように記憶部１５を有さなくてもよい。この場合、認証システム１０からアクセス可能に構成された外部装置が記憶部１５を備える。

【0024】

記憶部１５は、各種情報を記憶する。例えば、記憶部１５は、顔認証用に登録された登録画像を記憶する。記憶部１５が記憶するその他の情報は、以下で適宜説明する。

【0025】

取得部１１は、ユーザの顔を含む処理対象画像を取得する。本実施形態では、取得部１１は、顔認証のために撮影され、認証システム１０に入力されたユーザの顔を含む画像を処理対象画像として取得する。

【0026】

例えば、認証システム１０はカメラを有してもよい。そして、取得部１１は、当該カメラが作成した画像を、処理対象画像として取得してもよい。当該カメラは、顔認証を行うユーザの顔を撮影する位置及び向きで設置される。

【0027】

その他、認証システム１０は、外部装置から、ユーザの顔を含む画像を受信してもよい。そして、取得部１１は、当該外部装置から受信した画像を、処理対象画像として取得してもよい。外部装置は、カメラ機能と通信機能とを備えた装置であり、例えばパーソナルコンピュータ、スマートフォン、タブレット端末、スマートウォッチ、携帯電話、携帯ゲーム等が例示されるが、これらに限定されない。この例は、オンラインでの顔認証を想定したものである。

【0028】

照合部１２は、予め記憶部１５に登録されている登録画像と、取得部１１が取得した処理対象画像とに基づき、顔照合処理を行う。顔照合処理では、登録画像で示されるユーザの顔全体と、処理対象画像で示されるユーザの顔全体とが照合され、照合結果に応じた照合スコアが算出される。本実施形態では、登録画像で示されるユーザの顔と、処理対象画像で示されるユーザの顔とが類似しているほど、照合スコアの値が大きくなるものとするが、その逆であってもよい。当該照合において、照合部１２は、顔のパーツ毎の照合を行ってもよい。しかし、この場合であっても、照合部１２は、顔のパーツ毎の照合結果を統合し、顔全体での照合の結果を算出して出力する。照合の結果は、照合スコアである。照合部１２による顔照合処理は、あらゆる技術を利用して実現できる。

【0029】

記憶部１５は、照合部１２が算出した照合スコアを、各ユーザに紐付けて記憶する。記憶部１５は、過去の期間に行われた顔照合処理各々の照合スコアを照合履歴として記憶してもよい。過去の期間は、直近の所定期間であってもよいし、その他であってもよい。

【0030】

パーツ毎評価部１３は、予め記憶部１５に登録されている登録画像と、取得部１１が取得した処理対象画像とに基づき、顔のパーツの変化を評価する。上述の通り、処理対象画像は、顔認証のために認証システム１０に入力されたユーザの顔を含む画像である。本実施形態では、様々な評価手法を採用できるが、以下一例を説明する。

【0031】

当該例では、パーツ毎評価部１３は、２次元の登録画像及び２次元の処理対象画像から３次元の登録画像及び３次元の処理対象画像を作成し、３次元の登録画像及び３次元の処理対象画像同士で照合する。この場合、パーツ毎評価部１３は、３次元の登録画像及び３次元の処理対象画像各々から、顔のパーツ毎に特徴点を複数抽出する。抽出結果には、複数の特徴点各々の位置を３次元座標系の座標で示した情報等が含まれる。そして、パーツ毎評価部１３は、抽出結果に基づき、顔のパーツ毎に、３次元の登録画像及び３次元の処理対象画像の特徴点の差、例えば特徴点の変化量を算出する。

【0032】

顔のパーツは、目、鼻、口、眉毛、顎、耳等が例示されるが、これらに限定されない。

【0033】

記憶部１５は、パーツ毎評価部３が算出した顔のパーツ毎の変化の評価結果を、各ユーザに紐付けて記憶する。記憶部１５は、過去の期間に算出された顔のパーツ毎の変化の評価結果を照合履歴として記憶してもよい。過去の期間は、直近の所定期間であってもよいし、その他であってもよい。また、記憶部１５は、所定レベル以上の変化が検出された場合のみ、その顔のパーツの変化の評価結果を記憶してもよい。「所定レベル以上の変化が検出された場合」は、例えば閾値以上の変化量が検出された場合である。すなわち、記憶部１５は、所定レベル以上の変化が検出されなかった場合の上記評価結果は記憶しなくてもよい。「所定レベル以上の変化が検出されかった場合」は、例えば閾値以上の変化量が検出されなかった場合である。

【0034】

通知部１４は、照合部１２による顔照合処理の照合スコアが所定条件を満たす場合、顔のパーツ毎の変化に関する評価結果を通知対象者に通知する。

【0035】

上述の通り、本実施形態では、登録画像で示されるユーザの顔と、処理対象画像で示されるユーザの顔とが類似しているほど、顔照合処理の照合スコアの値が大きくなる。この場合の上記所定条件は、「照合スコアが基準値以下」である。すなわち、登録画像で示されるユーザの顔と、処理対象画像で示されるユーザの顔との類似度が基準レベル以下である場合、通知部１４は上記通知を行う。

【0036】

通知対象者は、例えばユーザである。この場合、通知部１４は、顔照合処理の結果とともに、顔のパーツ毎の変化の評価結果を通知してもよい。顔照合処理の結果は、顔認証の結果、すなわち認証成功又は認証失敗を示す。通知部１４は、例えば、ディスプレイ、スピーカ、投影装置、ユーザ端末を介して、当該通知を行うことができる。ユーザ端末は、例えばパーソナルコンピュータ、スマートフォン、タブレット端末、スマートウォッチ、携帯電話、携帯ゲーム等である。

【0037】

その他、通知対象者は、認証システム１０のオペレータ又は認証システム１０を利用する施設の担当者であってもよい。この場合、通知部１４は、リアルタイム処理で通知対象者に通知してもよいし、バッチ処理で通知対象者に通知してもよい。後者の場合、上記所定条件を満たしたユーザの一覧が、上記顔のパーツ毎の変化の評価結果とともに、通知対象者に提示されてもよい。

【0038】

通知部１４は、
登録画像の更新の案内、
基準レベル以上の変化が検出された顔のパーツを示す情報、
基準レベル以上の変化が検出された顔のパーツの変化の程度を示す情報、
基準レベル以上の変化が検出された顔のパーツの変化の遷移を示す情報、
基準レベル以上の変化が検出された顔のパーツにおける検出された回数を示す情報、
各顔のパーツにおいて基準レベル以上の変化が検出された回数を示す情報、
各顔のパーツの変化の程度を示す情報、及び、
各顔のパーツの変化の遷移を示す情報、
の中の少なくとも１つを、顔のパーツ毎の変化の評価結果として通知することができる。その他、通知部１４は、照合部１２による顔照合処理の照合スコアの遷移を示す情報を、通知対象者に通知してもよい。

【0039】

「登録画像の更新の案内」は、登録画像の更新の検討を促すものであり、例えば、「登録画像の更新を検討してください。」等の文章であってもよい。その他の情報が、顔認証用に登録した画像データの更新要否を各ユーザが適切に判断するための材料となる。

【0040】

「基準レベル以上の変化が検出された顔のパーツを示す情報」は、例えば上記顔のパーツ毎に算出した変化量が閾値以上となったことがある顔のパーツを示す情報である。

【0041】

「基準レベル以上の変化が検出された顔のパーツの変化の程度を示す情報」は、上記顔のパーツ毎に算出した変化量に基づき作成される。当該情報は、顔のパーツ毎に算出した変化量そのものを示してもよいし、顔のパーツ毎に算出した変化量を他の指標に変換した情報であってもよい。当該変換は、例えば「変化量Ａ１以上：変化大」、「変化量Ａ１より小、Ａ２以上：変化やや大」等のような変換基準に基づき実現される。

【0042】

「基準レベル以上の変化が検出された顔のパーツの変化の遷移を示す情報」は、上記顔のパーツ毎に算出した変化量に基づき作成される。当該情報は、顔のパーツ毎に算出した変化量又は当該変化量から変換された他の指標の値を時系列に並べた情報であってもよいし、顔のパーツ毎に算出した変化量の時間変化をグラフで表示したものであってもよい。

【0043】

「基準レベル以上の変化が検出された顔のパーツにおける検出された回数を示す情報」は、例えば上記顔のパーツ毎に算出した変化量が閾値以上となったことがある顔のパーツを示す情報と、その回数とを示す情報である。

【0044】

「各顔のパーツにおいて基準レベル以上の変化が検出された回数を示す情報」は、上記「基準レベル以上の変化が検出された顔のパーツにおける検出された回数を示す情報」と同様の内容を示す。しかし、「基準レベル以上の変化が検出された顔のパーツにおける検出された回数を示す情報」は、基準レベル以上の変化が検出された顔のパーツの情報のみを含むのに対し、「各顔のパーツにおいて変化が検出された回数を示す情報」は、このような限定を有さない点で異なる。「各顔のパーツにおいて基準レベル以上の変化が検出された回数を示す情報」は、例えばすべての顔のパーツの情報を含んでもよい。「各顔のパーツにおいて基準レベル以上の変化が検出された回数を示す情報」においては、例えばすべての顔のパーツが一覧表示され、各顔のパーツに紐付けて、基準レベル以上の変化が検出された回数が示される。なお、基準レベル以上の変化が検出されていない顔のパーツにおいては、上記回数として「０」が示される。

【0045】

「各顔のパーツの変化の程度を示す情報」は、上記「基準レベル以上の変化が検出された顔のパーツの変化の程度を示す情報」と同様の内容を示す。しかし、「基準レベル以上の変化が検出された顔のパーツの変化の程度を示す情報」は、基準レベル以上の変化が検出された顔のパーツの情報のみを含むのに対し、「各顔のパーツの変化の程度を示す情報」は、このような限定を有さない点で異なる。「各顔のパーツの変化の程度を示す情報」は、例えばすべての顔のパーツの情報を含んでもよい。「各顔のパーツの変化の程度を示す情報」においては、例えばすべての顔のパーツが一覧表示され、各顔のパーツに紐付けて、変化の程度を示す情報が表示される。変化の程度を示す情報は、顔のパーツ毎に算出した変化量そのものを示してもよいし、顔のパーツ毎に算出した変化量を他の指標に変換した情報であってもよい。当該変換は、例えば「変化量Ａ１以上：変化大」、「変化量Ａ１より小、Ａ２以上：変化やや大」、「変化量Ａ２より小、Ａ３以上：小」等のような変換基準に基づき実現される。

【0046】

「各顔のパーツの変化の遷移を示す情報」は、上記「基準レベル以上の変化が検出された顔のパーツの変化の遷移を示す情報」と同様の内容を示す。しかし、「基準レベル以上の変化が検出された顔のパーツの変化の遷移を示す情報」は、基準レベル以上の変化が検出された顔のパーツの情報のみを含むのに対し、「各顔のパーツの変化の遷移を示す情報」は、このような限定を有さない点で異なる。「各顔のパーツの変化の遷移を示す情報」は、例えばすべての顔のパーツの情報を含んでもよい。「各顔のパーツの変化の遷移を示す情報」においては、例えばすべての顔のパーツが一覧表示され、各顔のパーツに紐付けて、変化の遷移を示す情報が表示される。

【0047】

「照合部１２による顔照合処理の照合スコアの遷移を示す情報」は、顔照合処理の照合スコアを時系列に並べた情報であってもよいし、顔照合処理の照合スコアの時間変化をグラフで表示したものであってもよい。

【0048】

また、登録画像の登録日が記憶部１５に記憶されている場合、通知部１４は、登録画像の登録日をさらに通知対象者に通知してもよい。

【0049】

次に、図７のフローチャートを用いて、認証システム１０の処理の流れの一例を説明する。

【0050】

認証システム１０は、ユーザの顔を含む処理対象画像を取得すると（Ｓ１０）、予め登録された登録画像と、Ｓ１０で取得した処理対象画像とに基づき、顔のパーツ毎に変化を評価する（Ｓ１１）。また、認証システム１０は、予め登録された登録画像と、Ｓ１０で取得した処理対象画像とに基づき、顔照合処理を行う（Ｓ１２）。そして、認証システム１０は、顔照合処理の照合スコアが基準値以下という所定条件を満たす場合（Ｓ１３のＹｅｓ）、顔のパーツ毎の変化の評価結果を通知対象者に通知する（Ｓ１４）。認証システム１０は、顔照合処理の照合スコアが基準値以下という所定条件を満たさない場合（Ｓ１３のＮｏ）、顔のパーツ毎の変化の評価結果を通知対象者に通知しない。

【0051】

なお、Ｓ１１の処理とＳ１２の処理の処理順は、図示する例に限定されない。Ｓ１２の処理の後にＳ１１の処理を行ってもよいし、Ｓ１１の処理とＳ１２の処理を並行して行ってもよい。

【0052】

次に、図３を用いて、認証システム１０の処理の流れの一例をより詳細に説明する。

【0053】

まず、顔認証を行うユーザは、自身の顔画像を撮影する作業を行う（Ｓ１００）。顔認証は、例えば所定のシステムへのログインや、所定の施設への入場や、企業や行政が提供するサービスを受ける際等に本人確認のために実施される。ユーザの顔画像を撮影する装置は、所定位置に設置された専用の装置であってもよいし、ユーザ自身のユーザ端末であってもよい。専用の装置が設置される所定位置は、施設の入口等が例示されるが、これに限定されない。ユーザ端末は、パーソナルコンピュータ、スマートフォン、タブレット端末、スマートウォッチ、携帯電話、携帯ゲーム等であるが、これらに限定されない。撮影された２次元の顔画像は、有線及び／又は無線での通信で、認証システム１０に送信される。

【0054】

認証システム１０は、上記２次元の顔画像を処理対象画像として取得し、事前に登録されている２次元の登録画像を照合する顔照合処理を行う（Ｓ１０１）。

【0055】

照合スコアがＳ１以下の場合（Ｓ１０２のＹｅｓ）、認証システム１０は、顔認証に失敗した旨をユーザに通知する（Ｓ１０３）。当該通知は、所定位置に設置された専用の装置を介して行われてもよいし、ユーザ自身のユーザ端末を介して行われてもよい。Ｓ１は、照合スコアを示す数値を用いて定義される閾値であり、顔認証の成功と失敗の境界を示す。

【0056】

また、照合スコアがＳ１以下でなく（Ｓ１０２のＮｏ）、かつ、照合スコアがＳ２以下でもない場合（Ｓ１０４のＮｏ）、認証システム１０は、顔認証に成功した旨をユーザに通知する（Ｓ１０５）。Ｓ２は、照合スコアを示す数値を用いて定義される閾値であり、顔のパーツ毎の変化の評価結果を通知するか否かの境界を示す。なお、Ｓ１＜Ｓ２である。当該通知は、所定位置に設置された専用の装置を介して行われてもよいし、ユーザ自身のユーザ端末を介して行われてもよい。

【0057】

また、照合スコアがＳ１以下でなく（Ｓ１０２のＮｏ）、かつ、照合スコアがＳ２以下である場合（Ｓ１０４のＹｅｓ）、認証システム１０は、そのユーザに紐付けて登録されている顔のパーツ毎の変化の評価結果を記憶部１５から読み出す（Ｓ１０６）。そして、認証システム１０は、顔認証に成功した旨と、顔のパーツ毎の変化の評価結果とをユーザに通知する（Ｓ１０７）。当該通知は、所定位置に設置された専用の装置を介して行われてもよいし、ユーザ自身のユーザ端末を介して行われてもよい。図３に、顔認証に成功した旨とともに通知される情報の一例が示されているが、これに限定されない。

【0058】

また、認証システム１０は、処理対象画像と、Ｓ１０１の顔照合の結果である照合スコアとを紐付けて記憶部１５に記憶させる（Ｓ１０８）。

【0059】

記憶部１５は、例えば図３に示すように、処理対象画像を互いに識別するための情報である写真ＩＤ（identifier）と、ユーザを互いに識別するための情報であるユーザＩＤと、処理対象画像を記憶部１５に登録した日時である登録日時と、Ｓ１０１の顔照合の結果である照合スコアとを紐付けた情報を記憶する。

【0060】

さらに、認証システム１０は、取得した２次元の処理対象画像から３次元の処理対象画像を作成する（Ｓ１０９）。そして、認証システム１０は、取得した２次元の処理対象画像から作成された３次元の処理対象画像と、記憶部１５に記憶されているそのユーザの２次元の登録画像から作成された３次元の登録画像とに基づき、顔のパーツ毎に変化を評価する（Ｓ１１０）。として、認証システム１０は、Ｓ１１０の評価結果を記憶部１５に記憶する（Ｓ１１１）。

【0061】

記憶部１５は、例えば図３に示すように、写真ＩＤと、ユーザＩＤと、照合スコアと、分析日時と、顔パーツ情報と、変化量情報とを紐付けた情報を記憶する。写真ＩＤ、ユーザＩＤ及び照合スコアは、上述の通りである。分析日時は、Ｓ１１０の処理を実施した日時を示す。顔パーツ情報は、基準レベル以上の変化が検出された顔のパーツを示す。変化量は、基準レベル以上の変化が検出された顔のパーツの変化量を示す。

【0062】

次に、図４を用いて、図３のＳ１０８乃至Ｓ１１１の処理を具体的に説明する。なお、図４のフローの中には、図３のＳ１０８乃至Ｓ１１１の処理以外の処理も含まれる。

【0063】

まず、ユーザは、自身の顔を含む２次元の登録画像２Ｒを認証システム１０に登録する作業を行う。認証システム１０は、２次元の登録画像２Ｒを取得し、記憶部１５に記憶させる（Ｓ２００）。２次元の登録画像２Ｒの登録のためにユーザが行う作業、及びＳ２００の処理の詳細は特段制限されない。次いで、認証システム１０は、２次元の登録画像２Ｒから３次元の登録画像３Ｒを作成し、記憶部１５に記憶させる（Ｓ２０１）。

【0064】

その後、利用者が顔認証するたびに、すなわち顔認証のために作成されたユーザの顔を含む処理対象画像２Ｐが認証システム１０に入力されるたびに、認証システム１０は、以下の処理を実行する。

【0065】

まず、認証システム１０は、処理対象画像２Ｐと、図３のＳ１０１の顔照合の結果である照合スコアとを互いに紐付けて、記憶部１５に記憶させる（Ｓ２０３、Ｓ２０５、Ｓ２０７）。また、認証システム１０は、記憶部１５に記憶させた２次元の処理対象画像２Ｐ各々から３次元の処理対象画像３Ｐを作成し、記憶部１５に記憶させる（Ｓ２０４、Ｓ２０６、Ｓ２０８）。

【0066】

そして、認証システム１０は、２次元の登録画像２Ｒから作成された３次元の登録画像３Ｒと、２次元の処理対象画像２Ｐから作成された３次元の処理対象画像３Ｐとに基づき、顔のパーツ毎に、顔のパーツの変化を評価する。例えば、認証システム１０は、顔のパーツ毎に、上述した変化量を算出する（Ｓ２０９）。次に、認証システム１０は、Ｓ２０９の評価結果を記憶部１５に記憶させる（Ｓ２１０）。

【0067】

図４の「出力部」の欄において、認証システム１０の通知部１４が通知対象者に通知する情報の一例が示されている。「結果表示」に含まれる情報は、ユーザに向けて通知される情報の一例である。「帳票出力」は、認証システム１０のオペレータや認証システム１０を利用する施設の担当者に向けて通知される情報の一例である。

【0068】

「作用効果」
本実施形態の認証システム１０は、所定条件を満たす場合、顔のパーツ毎の変化の評価結果を通知対象者に通知する。通知対象者は、この顔のパーツごとの変化の評価結果に基づき、例えば、更新の時期に満たない場合であっても顔認証用に登録した画像データの更新要否を適切に判断することができる。また、高度な顔認証技術により本人であるという認証がなされたとしても、人が目で見た場合の変化が大きく、認証用に登録する画像データとして適切ではない場合もある。この場合でも本実施形態では、顔認証用に登録した画像データを、顔の変化に応じて個人の適切なタイミングで最新の画像データに更新することができる。

【0069】

また、本実施形態の認証システム１０は、上記評価結果の通知を、所定条件を満たす場合に限ることができる。このように構成することで、不要に当該通知を行い、顔認証用に登録した画像データの更新要否の判断を不要にユーザ等に促す不都合を抑制できる。

【0070】

また、本実施形態の場合、上記所定条件は、『登録画像と処理対象画像とに基づく顔照合処理の照合スコアが基準値Ｓ２以下の場合』、すなわち登録画像と処理対象画像との類似度が基準値Ｓ２以下の場合、とすることができる。所定条件をこのように適切に設定することで、適切なタイミングでユーザ等に対し上記評価結果の通知を行い、顔認証用に登録した画像データの更新要否の判断を促すことができる。

【0071】

また、認証システム１０は、通知対象者に対し、基準レベル以上の変化が検出された顔のパーツを示す情報、基準レベル以上の変化が検出された顔のパーツの変化の程度を示す情報、基準レベル以上の変化が検出された顔のパーツの変化の遷移を示す情報、基準レベル以上の変化が検出された顔のパーツにおける検出された回数を示す情報、各顔のパーツにおいて基準レベル以上の変化が検出された回数を示す情報、各顔のパーツの変化の程度を示す情報、各顔のパーツの変化の遷移を示す情報、及び照合部１２による顔照合処理の照合スコアの遷移を示す情報の中の少なくとも１つを、通知対象者に通知することができる。このような有益な情報に基づき、通知対象者は、顔認証用に登録した画像データの更新要否を適切に判断できる。

【0072】

＜第２の実施形態＞
第１の実施形態では、通知部１４は、照合部１２による顔照合処理の照合スコアが基準値以下という所定条件を満たす場合に、顔のパーツ毎の変化の評価結果を通知した。本実施形態では、通知部１４は、照合部１２による顔照合処理の照合スコアが上記所定条件を満たし、かつ、顔のパーツ毎の変化の評価結果が他の所定条件の一つあるいは複数の条件を満たす場合に、顔のパーツ毎の変化の評価結果を通知対象者に通知する。

【0073】

他の所定条件は、
基準レベル以上の変化が検出された顔のパーツが存在する、
基準レベル以上の変化を所定回数以上検出された顔のパーツが存在する、
基準レベル以上の変化が検出された顔のパーツが所定数以上存在する、
基準レベル以上の変化を所定回数以上検出された顔のパーツが所定数以上存在する、
予め登録された重要な顔のパーツにおいて、基準レベル以上の変化が検出された、
予め登録された重要な顔のパーツにおいて、基準レベル以上の変化が所定回数以上検出された、または、
基準レベル以上の変化が検出された顔のパーツが存在し、かつ、その検出された顔のパーツを手術したことが手術履歴情報に登録されている、
である。

【0074】

「上記基準レベル」は、第１の実施形態で説明した変化量を用いて定義できる。

【0075】

「予め登録された重要な顔のパーツ」は、顔認証において重要度が高い顔のパーツである。どの顔のパーツを重要な顔のパーツとするかは特段制限されないが、例えば、目、鼻、口等が重要な顔のパーツとして扱われてもよい。

【0076】

「手術履歴情報」は、各ユーザの手術の履歴を示す情報である。外部システムが当該情報を記憶している。そして、認証システム１０は外部システムから手術履歴情報を取得する。図５に、手術履歴情報の一例を模式的に示す。図示する手術履歴情報は、ユーザＩＤと、手術日と、手術した顔のパーツとが紐付けて登録されている。

【0077】

なお、手術履歴情報のユーザＩＤと、認証システム１０が管理するユーザＩＤとは、同じ情報であってもよいし、異なる情報であってもよい。同じ情報とする場合、例えばマイナンバー等、国が国民に付与した識別情報等をユーザＩＤとして利用してもよい。異なる情報とする場合、手術履歴情報のユーザＩＤと、認証システム１０が管理するユーザＩＤとの対応関係を特定する手段が必要となる。この場合、手術履歴情報のユーザＩＤ、及び、認証システム１０が管理するユーザＩＤ各々に紐付けられた他の情報に基づき、これら２つのユーザＩＤの対応関係を特定してもよい。認証システム１０は、他の情報が一致する「手術履歴情報のユーザＩＤ」、及び、「認証システム１０が管理するユーザＩＤ」の組み合わせを、同じユーザのユーザＩＤとして特定する。他の情報は、住所、電話番号、生年月日等が例示されるが、これらに限定されない。

【0078】

本実施形態の認証システム１０のその他の構成は、第１の実施形態と同様である。

【0079】

本実施形態の認証システム１０によれば、第１の実施形態と同様の作用効果が実現される。また、本実施形態の場合、顔のパーツ毎の変化の評価結果を通知対象者に通知するための所定条件は、『登録画像と処理対象画像とに基づく顔照合処理の照合スコアが基準値以下であり（類似度が基準値以下の場合）、かつ、顔のパーツ毎の変化の評価結果が上記他の所定条件を満たす場合』、すなわち登録画像と処理対象画像との類似度が基準値以下であり、かつ、顔のパーツ毎の変化の評価結果が上記他の所定条件を満たす場合、とすることができる。所定条件をこのように適切に設定することで、適切なタイミングでユーザに対し上記評価結果の通知を行い、顔認証用に登録した画像データの更新要否の判断を促すことができる。そして、不要に当該通知を行い、顔認証用に登録した画像データの更新要否の判断を不要にユーザに促す不都合を抑制できる。

【0080】

＜変形例＞
－第１の変形例－
上記実施形態では、パーツ毎評価部１３は、２次元の登録画像及び２次元の処理対象画像から３次元の登録画像及び３次元の処理対象画像を作成し、３次元の登録画像及び３次元の処理対象画像に基づき、顔のパーツ毎に変化を評価した。変形例として、パーツ毎評価部１３は、３次元の登録画像及び３次元の処理対象画像を作成せず、２次元の登録画像及び２次元の処理対象画像のまま、顔のパーツ毎に変化を評価してもよい。

【0081】

－第２の変形例－
上記実施形態では、取得部１１は、顔認証のために入力された画像を処理対象画像として取得した。変形例として、取得部１１は、顔認証のために入力された画像と異なる画像を、処理対象画像として取得してもよい。また、取得部１１は、顔認証のために入力された画像と、顔認証のために入力された画像と異なる画像の両方を、処理対象画像として取得してもよい。

【0082】

例えば、取得部１１は、外部システムから、外部システムに入力されたユーザの顔画像を取得してもよい。外部システムの機能やユーザに提供するサービスの内容などは特段制限されない。

【0083】

この場合、外部システムが管理しているユーザＩＤと、認証システム１０が管理しているユーザＩＤとは、同じ情報であってもよいし、異なる情報であってもよい。同じ情報とする場合、例えばマイナンバー等、国が国民に付与した識別情報等をユーザＩＤとして利用してもよい。異なる情報とする場合、外部システムが管理するユーザＩＤと、認証システム１０が管理するユーザＩＤとの対応関係を特定する手段が必要となる。この場合、外部システムが管理するユーザＩＤ、及び、認証システム１０が管理するユーザＩＤ各々に紐付けられた他の情報に基づき、これら２つのユーザＩＤの対応関係を特定してもよい。認証システム１０は、他の情報が一致する「外部システムが管理するユーザＩＤ」、及び、「認証システム１０が管理するユーザＩＤ」の組み合わせを、同じユーザのユーザＩＤとして特定する。他の情報は、住所、電話番号、生年月日等が例示されるが、これらに限定されない。外部システムは、顔認証を行うシステムであって、認証システム１０とは異なるシステムであってもよいし、その他の機能を備えたシステムであってもよい。

【0084】

－第３の変形例－
第１の実施形態で図３を用いて説明した処理の流れでは、照合部１２による顔照合処理の照合スコアがＳ１以下の場合（Ｓ１０２のＹｅｓ）、認証システム１０は、顔認証に失敗した旨のみをユーザに通知した（Ｓ１０３）。変形例として、照合部１２による顔照合処理の照合スコアがＳ１以下の場合（Ｓ１０２のＹｅｓ）、認証システム１０は、顔認証に失敗した旨と、顔のパーツ毎の変化の評価結果を通知対象者に通知してもよい。

【0085】

なお、この場合、顔認証に失敗しているので、認証システム１０は、処理対象画像を入力したユーザを特定できていない。そこで、認証システム１０は、処理対象画像との間での顔照合処理の照合スコアが最も高い登録画像に紐付いているユーザの顔のパーツ毎の変化の評価結果を、通知対象者に通知してもよい。

【0086】

これら変形例においても、上記実施形態と同様の作用効果が実現される。

【0087】

なお、本明細書において、「取得」とは、ユーザ入力に基づき、又は、プログラムの指示に基づき、「自装置が他の装置や記憶媒体に格納されているデータを取りに行くこと（能動的な取得）」、たとえば、他の装置にリクエストまたは問い合わせして受信すること、他の装置や記憶媒体にアクセスして読み出すこと等、および、ユーザ入力に基づき、又は、プログラムの指示に基づき、「自装置に他の装置から出力されるデータを入力すること（受動的な取得）」、たとえば、配信（または、送信、プッシュ通知等）されるデータを受信すること、また、受信したデータまたは情報の中から選択して取得すること、及び、「データを編集（テキスト化、データの並び替え、一部データの抽出、ファイル形式の変更等）などして新たなデータを作成し、当該新たなデータを取得すること」の少なくともいずれか一方を含む。

【0088】

上記の実施形態の一部または全部は、以下の付記のようにも記載されうるが、以下に限られない。
１． ユーザの顔を含む処理対象画像を取得する取得手段と、
予め登録された登録画像と前記処理対象画像とに基づき、顔のパーツ毎に変化を評価するパーツ毎評価手段と、
前記登録画像と前記処理対象画像とに基づき、顔照合処理を行う照合手段と、
前記顔照合処理の照合スコアが所定条件を満たす場合、顔のパーツ毎の変化の評価結果を通知対象者に通知する通知手段と、
を有する認証システム。
２． 前記通知手段は、
基準レベル以上の変化が検出された顔のパーツに関する情報を、前記通知対象者に通知する１．に記載の認証システム。
３． 前記通知手段は、
前記照合スコアの遷移を示す情報を、前記通知対象者に通知する１．又は２．に記載の認証システム。
４． 前記通知手段は、
前記顔照合処理の照合スコアが所定条件を満たし、かつ、前記評価結果が他の所定条件を満たす場合、前記評価結果を前記通知対象者に通知する１．から３．のいずれか１つに記載の認証システム。
５． 前記他の所定の条件は、顔のパーツ毎の変化に基づき定義される４．に記載の認証システム。
６． 前記評価手段は、
２次元の前記登録画像から作成された３次元の登録画像と、２次元の前記処理対象画像から作成された３次元の処理対象画像とに基づき、顔のパーツ毎に変化を評価する１．から５．のいずれか１つに記載の認証システム。
７． 前記通知手段は、
前記顔照合処理の結果とともに、前記評価結果を前記ユーザに通知する１．から６．のいずれか１つに記載の認証システム。
８． 前記通知手段は、
前記評価結果を、複数の前記ユーザの前記登録画像を管理する管理者に通知する１．から７．のいずれか１つに記載の認証システム。
９． コンピュータが、
ユーザの顔を含む処理対象画像を取得し、
予め登録された登録画像と前記処理対象画像とに基づき、顔のパーツ毎に変化を評価し、
前記登録画像と前記処理対象画像とに基づき、顔照合処理を行い、
前記顔照合処理の照合スコアが所定条件を満たす場合、顔のパーツ毎の変化の評価結果を通知対象者に通知する処理方法。
１０． コンピュータを、
ユーザの顔を含む処理対象画像を取得する取得手段、
予め登録された登録画像と前記処理対象画像とに基づき、顔のパーツ毎に変化を評価するパーツ毎評価手段、
前記登録画像と前記処理対象画像とに基づき、顔照合処理を行う照合手段、及び、
前記顔照合処理の照合スコアが所定条件を満たす場合、顔のパーツ毎の変化の評価結果を通知対象者に通知する通知手段、
として機能させるプログラム。

【0089】

この出願は、２０２１年４月９日に出願された日本出願特願２０２１－０６６３１９号を基礎とする優先権を主張し、その開示の全てをここに取り込む。

【符号の説明】

【0090】

１０ 認証システム
１１ 取得部
１２ 照合部
１３ パーツ毎評価部
１４ 通知部
１５ 記憶部
１Ａ プロセッサ
２Ａ メモリ
３Ａ 入出力Ｉ／Ｆ
４Ａ 周辺回路
５Ａ バス

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】