特開 2025-12253 顔認証装置、顔認証システム及び顔認証方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2025012253

(43)【公開日】2025-01-24

(54)【発明の名称】顔認証装置、顔認証システム及び顔認証方法

(51)【国際特許分類】

   G06V 40/40 20220101AFI20250117BHJP

   G06T 7/00 20170101ALI20250117BHJP

   G06V 40/16 20220101ALI20250117BHJP

   G06T 7/246 20170101ALI20250117BHJP

   G06V 10/62 20220101ALI20250117BHJP

   A61B 3/113 20060101ALI20250117BHJP

   A61B 5/1171 20160101ALI20250117BHJP

【ＦＩ】

G06V40/40

G06T7/00 510F

G06V40/16 A

G06T7/00 350B

G06T7/00 660A

G06T7/246

G06V10/62

A61B3/113

A61B5/1171 200

【審査請求】未請求

【請求項の数】12

【出願形態】ＯＬ

(21)【出願番号】P 2023114972

(22)【出願日】2023-07-13

(71)【出願人】

【識別番号】000001432

【氏名又は名称】グローリー株式会社

(74)【代理人】

【識別番号】100114306

【弁理士】

【氏名又は名称】中辻 史郎

(74)【代理人】

【識別番号】100148655

【弁理士】

【氏名又は名称】諏訪 淳一

(72)【発明者】

【氏名】松尾 友暉

(72)【発明者】

【氏名】森藤 健

【テーマコード（参考）】

4C038

4C316

5B043

5L096

【Ｆターム（参考）】

4C038VA04

4C038VA07

4C038VB03

4C038VB04

4C038VC05

4C316AA21

4C316FA20

4C316FC28

4C316FZ01

4C316FZ03

5B043AA09

5B043AA10

5B043BA04

5B043DA05

5B043EA02

5B043EA05

5L096BA18

5L096CA04

5L096FA70

5L096GA02

5L096GA51

5L096HA05

5L096KA04

5L096KA15

(57)【要約】

【課題】顔画像が生体の顔を撮像した顔画像であるか否かを効率良く判定し、顔認証を行うことが課題。
【解決手段】顔認証装置１０は、取得した顔画像に基づいて、目の部分画像を切り出し、該部分画像に基づいて目の開閉度スコア及び目らしさスコアを算出する。そして、顔認証装置は、複数の開閉度スコアのデータから瞬きが行われたか否かを判別し、瞬きが検出されなかった場合は、生体を撮像した顔画像ではないと判別する。また、瞬きが検出された場合は、瞬きが行われた区間を検出し、さらに、その瞬き区間に含まれるフレーム画像の枚数と、該瞬き区間のうち、目らしさスコアが所定の閾値以下であるフレーム画像の枚数の割合を算出し、該割合が所定の閾値より小さい場合は、生体を撮像した顔画像であると判別し、生体を撮像した顔画像である場合は、顔認証を行う。
【選択図】図１

【特許請求の範囲】

【請求項1】

認証対象者の顔画像を予め登録された登録顔画像と照合して前記認証対象者の顔認証を行う顔認証装置であって、
前記認証対象者の顔を連続して撮像した複数の顔画像を取得する取得部と、
前記複数の顔画像に含まれる目の開閉度の度合いを示す開閉度スコアを算出する開閉度スコア算出部と、
前記複数の顔画像に含まれる目の領域の目らしさの度合いを示す目らしさスコアを算出する目らしさスコア算出部と、
前記開閉度スコアの時系列変化に基づいて瞬き区間を検出する瞬き区間検出部と、
前記目らしさスコアの時系列変化と前記瞬き区間とに基づいて、前記顔画像が生体を撮像した顔画像であるか否かを判別する生体判別部と
前記顔画像が生体を撮像した顔画像であることを条件として、前記認証対象者の顔認証を行う顔認証処理部と
を備えたことを特徴とする顔認証装置。

【請求項2】

前記瞬き区間検出部により瞬き区間が検出されない場合には、前記顔画像が生体を撮像した顔画像でない旨を報知する報知部をさらに備えたことを特徴とする請求項１に記載の顔認証装置。

【請求項3】

前記瞬き区間検出部は、
フレームごとの開閉度スコアを連結した折れ線を微分処理した第１の変化点をなすフレームから第２の変化点をなすフレームまでを瞬き区間として検出することを特徴とする請求項１に記載の顔認証装置。

【請求項4】

前記生体判別部は、
前記瞬き区間に含まれる複数のフレームのうち、前記目らしさスコアが所定の閾値に満たないフレーム数の割合が一定以下である場合に、前記顔画像が生体を撮像した顔画像であると判別することを特徴とする請求項１に記載の顔認証装置。

【請求項5】

前記目らしさスコア算出部は、
複数の目の領域の学習用画像及び正解データとしての目らしさスコアを含む教師データを用いて機械学習された学習済モデルを用いて前記目らしさスコアを算出することを特徴とする請求項１に記載の顔認証装置。

【請求項6】

前記開閉度スコア算出部は、
複数の目の領域の学習用画像及び正解データとしての目の開閉度スコアを含む教師データを用いて機械学習された学習済モデルを用いて前記開閉度スコアを算出することを特徴とする請求項１に記載の顔認証装置。

【請求項7】

前記複数の顔画像に含まれる顔の角度を算出する顔角度算出部をさらに備え、
前記生体判別部は、
前記目らしさスコアの時系列変化、前記瞬き区間及び前記顔角度に基づいて、前記顔画像が生体を撮像した顔画像であるか否かを判別する
ことを特徴とする請求項１に記載の顔認証装置。

【請求項8】

前記複数の顔画像に含まれる顔のぼけ度を算出する顔ぼけ度算出部をさらに備え、
前記生体判別部は、
前記目らしさスコアの時系列変化、前記瞬き区間及び前記顔ぼけ度に基づいて、前記顔画像が生体を撮像した顔画像であるか否かを判別する
ことを特徴とする請求項１に記載の顔認証装置。

【請求項9】

前記複数の顔画像に含まれる顔部分の顔らしさの度合いを示す顔スコアを算出する顔スコア算出部をさらに備え、
前記生体判別部は、
前記目らしさスコアの時系列変化、前記瞬き区間及び前記顔スコアに基づいて、前記顔画像が生体を撮像した顔画像であるか否かを判別する
ことを特徴とする請求項１に記載の顔認証装置。

【請求項10】

顔画像が人物を撮像した顔画像であるか否かを判別する生体判別装置であって、
人物の顔を連続して撮像した複数の顔画像を取得する取得部と、
前記複数の顔画像に含まれる目の開閉度の度合いを示す開閉度スコアを算出する開閉度スコア算出部と、
前記複数の顔画像に含まれる目の領域の目らしさの度合いを示す目らしさスコアを算出する目らしさスコア算出部と、
前記開閉度スコアの時系列変化に基づいて瞬き区間を検出する瞬き区間検出部と、
前記目らしさスコアの時系列変化と前記瞬き区間とに基づいて、前記顔画像が生体を撮像した顔画像であるか否かを判別する生体判別部と
を備えたことを特徴とする生体判別装置。

【請求項11】

認証対象者の顔画像を撮像する撮像装置と、予め登録された登録顔画像と照合して前記認証対象者の顔認証を行う顔認証装置とを有する顔認証システムであって、
前記顔認証装置は、
前記認証対象者の顔を連続して撮像した複数の顔画像を取得する取得部と、
前記複数の顔画像に含まれる目の開閉度の度合いを示す開閉度スコアを算出する開閉度スコア算出部と、
前記複数の顔画像に含まれる目の領域の目らしさの度合いを示す目らしさスコアを算出する目らしさスコア算出部と、
前記開閉度スコアの時系列変化に基づいて瞬き区間を検出する瞬き区間検出部と、
前記目らしさスコアの時系列変化と前記瞬き区間とに基づいて、前記顔画像が生体を撮像した顔画像であるか否かを判別する生体判別部と
前記顔画像が生体を撮像した顔画像であることを条件として、前記認証対象者の顔認証を行う顔認証処理部と
を備えたことを特徴とする顔認証システム。

【請求項12】

認証対象者の顔画像を予め登録された登録顔画像と照合して前記認証対象者の顔認証を行う顔認証装置における顔認証方法であって、
前記認証対象者の顔を連続して撮像した複数の顔画像を取得する取得工程と、
前記複数の顔画像に含まれる目の開閉度の度合いを示す開閉度スコアを算出する開閉度スコア算出工程と、
前記複数の顔画像に含まれる目の領域の目らしさの度合いを示す目らしさスコアを算出する目らしさスコア算出工程と、
前記開閉度スコアの時系列変化に基づいて瞬き区間を検出する瞬き区間検出工程と、
前記目らしさスコアの時系列変化と前記瞬き区間とに基づいて、前記顔画像が生体を撮像した顔画像であるか否かを判別する生体判別工程と
前記顔画像が生体を撮像した顔画像であることを条件として、前記認証対象者の顔認証を行う顔認証処理工程と
を含むことを特徴とする顔認証方法。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、顔画像が生体を撮像した顔画像か否かを効率良く判別し、顔認証を行う顔認証装置、顔認証システム及び顔認証方法に関する。

【背景技術】

【0002】

従来、利用者の顔を撮像装置で撮像した顔画像と、あらかじめ登録された登録顔画像とを照合して利用者の認証を行う顔認証システムが知られている。かかる顔認証システムにおいて、正当な人物の顔写真を撮像装置で撮像させることにより、正当な人物に成りすます不正行為が行われる場合がある。

【0003】

このため、撮像装置で撮像した顔画像が、顔写真によるものではなく人物の顔を撮像した顔画像であると判別する技術が知られている。例えば、特許文献１には、顔画像の目領域を形成する画素数の変化量に基づいて瞬きが存在するか否かを判定し生体識別する技術が開示されている。また、特許文献２には、顔画像に含まれる目領域が目を閉じる動作を行う場合には、この顔画像が人物（生体）を撮像したものであると検知する技術が開示されている。

【先行技術文献】

【特許文献】

【0004】

【特許文献1】特開２００６－３３０９３６

【特許文献2】特開２０１５－０４１３０７

【発明の概要】

【発明が解決しようとする課題】

【0005】

しかしながら、上記特許文献１及び２のものは、撮像装置で撮像される顔写真が傾けられた場合、又は顔写真の目の部分を指等で隠された場合には、顔写真の目領域を形成する画素数に変化が生じ、瞬きが生じたと誤判定されるという問題がある。

【0006】

本発明は、上記従来技術による問題点（課題）を解決するためになされたものであって、顔画像が生体の顔を撮像した顔画像であるか否かを効率良くはんべつし、顔認証を行う顔認証装置、顔認証システム及び顔認証方法を提供することを目的とする。

【課題を解決するための手段】

【0007】

上述した課題を解決し、目的を達成するため、本発明は、認証対象者の顔画像を予め登録された登録顔画像と照合して前記認証対象者の顔認証を行う顔認証装置であって、前記認証対象者の顔を連続して撮像した複数の顔画像を取得する取得部と、前記複数の顔画像に含まれる目の開閉度の度合いを示す開閉度スコアを算出する開閉度スコア算出部と、前記複数の顔画像に含まれる目の領域の目らしさの度合いを示す目らしさスコアを算出する目らしさスコア算出部と、前記開閉度スコアの時系列変化に基づいて瞬き区間を検出する瞬き区間検出部と、前記目らしさスコアの時系列変化と前記瞬き区間とに基づいて、前記顔画像が生体を撮像した顔画像であるか否かを判別する生体判別部と前記顔画像が生体を撮像した顔画像であることを条件として、前記認証対象者の顔認証を行う顔認証処理部とを備えた。

【0008】

また、本発明は、上記発明において、前記瞬き区間検出部により瞬き区間が検出されない場合には、前記顔画像が生体を撮像した顔画像でない旨を報知する報知部をさらに備えた。

【0009】

また、本発明は、上記発明において、前記瞬き区間検出部は、フレームごとの開閉度スコアを連結した折れ線を微分処理した第１の変化点をなすフレームから第２の変化点をなすフレームまでを瞬き区間として検出する。

【0010】

また、本発明は、上記発明において、前記生体判別部は、前記瞬き区間に含まれる複数のフレームのうち、前記目らしさスコアが所定の閾値に満たないフレーム数の割合が一定以下である場合に、前記顔画像が生体を撮像した顔画像であると判別する。

【0011】

また、本発明は、上記発明において、前記目らしさスコア算出部は、複数の目の領域の学習用画像及び正解データとしての目らしさスコアを含む教師データを用いて機械学習された学習済モデルを用いて前記目らしさスコアを算出する。

【0012】

また、本発明は、上記発明において、前記開閉度スコア算出部は、複数の目の領域の学習用画像及び正解データとしての目の開閉度スコアを含む教師データを用いて機械学習された学習済モデルを用いて前記開閉度スコアを算出する。

【0013】

また、本発明は、上記発明において、前記複数の顔画像に含まれる顔の角度を算出する顔角度算出部をさらに備え、前記生体判別部は、前記目らしさスコアの時系列変化、前記瞬き区間及び前記顔角度に基づいて、前記顔画像が生体を撮像した顔画像であるか否かを判別する。

【0014】

また、本発明は、上記発明において、前記複数の顔画像に含まれる顔のぼけ度を算出する顔ぼけ度算出部をさらに備え、前記生体判別部は、前記目らしさスコアの時系列変化、前記瞬き区間及び前記顔ぼけ度に基づいて、前記顔画像が生体を撮像した顔画像であるか否かを判別する。

【0015】

また、本発明は、上記発明において、前記複数の顔画像に含まれる顔部分の顔らしさの度合いを示す顔スコアを算出する顔スコア算出部をさらに備え、前記生体判別部は、前記目らしさスコアの時系列変化、前記瞬き区間及び前記顔スコアに基づいて、前記顔画像が生体を撮像した顔画像であるか否かを判別する。

【0016】

また、本発明は、顔画像が人物を撮像した顔画像であるか否かを判別する生体判別装置であって、人物の顔を連続して撮像した複数の顔画像を取得する取得部と、前記複数の顔画像に含まれる目の開閉度の度合いを示す開閉度スコアを算出する開閉度スコア算出部と、前記複数の顔画像に含まれる目の領域の目らしさの度合いを示す目らしさスコアを算出する目らしさスコア算出部と、前記開閉度スコアの時系列変化に基づいて瞬き区間を検出する瞬き区間検出部と、前記目らしさスコアの時系列変化と前記瞬き区間とに基づいて、前記顔画像が生体を撮像した顔画像であるか否かを判別する生体判別部とを備えた。

【0017】

また、本発明は、認証対象者の顔画像を撮像する撮像装置と、予め登録された登録顔画像と照合して前記認証対象者の顔認証を行う顔認証装置とを有する顔認証システムであって、前記顔認証装置は、前記認証対象者の顔を連続して撮像した複数の顔画像を取得する取得部と、前記複数の顔画像に含まれる目の開閉度の度合いを示す開閉度スコアを算出する開閉度スコア算出部と、前記複数の顔画像に含まれる目の領域の目らしさの度合いを示す目らしさスコアを算出する目らしさスコア算出部と、前記開閉度スコアの時系列変化に基づいて瞬き区間を検出する瞬き区間検出部と、前記目らしさスコアの時系列変化と前記瞬き区間とに基づいて、前記顔画像が生体を撮像した顔画像であるか否かを判別する生体判別部と前記顔画像が生体を撮像した顔画像であることを条件として、前記認証対象者の顔認証を行う顔認証処理部とを備えた。

【0018】

また、本発明は、認証対象者の顔画像を予め登録された登録顔画像と照合して前記認証対象者の顔認証を行う顔認証装置における顔認証方法であって、前記認証対象者の顔を連続して撮像した複数の顔画像を取得する取得工程と、前記複数の顔画像に含まれる目の開閉度の度合いを示す開閉度スコアを算出する開閉度スコア算出工程と、前記複数の顔画像に含まれる目の領域の目らしさの度合いを示す目らしさスコアを算出する目らしさスコア算出工程と、前記開閉度スコアの時系列変化に基づいて瞬き区間を検出する瞬き区間検出工程と、前記目らしさスコアの時系列変化と前記瞬き区間とに基づいて、前記顔画像が生体を撮像した顔画像であるか否かを判別する生体判別工程と前記顔画像が生体を撮像した顔画像であることを条件として、前記認証対象者の顔認証を行う顔認証処理工程とを含む。

【発明の効果】

【0019】

本発明によれば、顔画像が生体の顔を撮像した顔画像であるか否かを効率良く判定し、顔認証を行うことができる。

【図面の簡単な説明】

【0020】

【図1】図１は、実施形態１に係る顔認証装置の概要を示す図である。

【図2】図２は、実施形態１に係る顔認証システムのシステム構成を示す図である。

【図3】図３は、図２に示した顔認証装置の構成を示す機能ブロック図である。

【図4】図４は、図３に示した学習済モデルの教師あり学習の概要を説明するための説明図である。

【図5】図５は、図３に示した開閉度スコア算出部の概要を説明するための説明図である。

【図6】図６は、図３に示した目らしさスコア算出部の概要を説明するための説明図である。

【図7】図７は、瞬き検出の概要を説明するための説明図である。

【図8】図８は、瞬き区間検出部の概要を説明するための説明図である。

【図9】図９は、削除率算出部の概要を説明するための説明図である。

【図10】図１０は、図３に示した顔認証装置の処理手順を示すフローチャート（その１）である。

【図11】図１１は、図３に示した顔認証装置の処理手順を示すフローチャート（その２）である。

【図12】図１２は、実施形態２に係る顔認証装置の概要を示す図である。

【図13】図１３は、変形例１に係る顔認証装置の概要を示す図である。

【図14】図１４は、変形例２に係る顔認証装置の概要を示す図である。

【発明を実施するための形態】

【0021】

以下に、本発明に係る顔認証装置、顔認証システム及び顔認証方法の実施形態を図面に基づいて詳細に説明する。

【0022】

［実施形態１］
本実施形態１に係る顔認証装置の概要について説明する。図１は、実施形態１に係る顔認証装置１０の概要を説明するための説明図である。図１に示すように、顔認証装置１０は、複数のフレーム画像（動画を構成する１コマ１コマの静止画像）から構成されている顔画像を入力し、入力した複数のフレーム画像のうち１枚の画像から目の部分の画素を切り出した部分画像を生成する。顔認証装置１０は、該部分画像を利用して、目の開閉度を開閉度スコアとして算出するとともに、部分画像の目らしさのスコアを算出する。ここで、目らしさのスコアとは、取得した画像が目である確からしさを表すスコアである。そして、顔認証装置１０は、複数のフレーム画像の目の開閉度データ及び目らしさスコアに基づいて、取得した画像が生体のものであるか否かの判別を行う。その後、顔認証装置１０は、顔認証処理を行う。

【0023】

顔認証装置１０は、切出処理部１５ｂと、開閉度スコア算出部１５ｃと、目らしさスコア算出部１５ｄと、生体判別部１５ｅと、顔認証処理部１５ｈとを有する。切出処理部１５ｂは、顔認証装置１０に取得した複数のフレーム画像より目の部分の画像を切出処理を行う。顔画像から目の部分画像を切り出すためには、例えば、目の特徴点の参照データを準備し、顔画像と特徴点マッチングを行うことにより切り出すことができる。

【0024】

開閉度スコア算出部１５ｃは、詳細は後述するが、大量の目の教師画像と、正解データとを準備し、深層学習により教師有り学習を行って学習モデルを作成しておき、目の画像を学習済モデルに入力することにより、目の開閉度スコアを算出する。目らしさスコア算出部１５ｄは、詳細は後述するが、大量の目の教師画像と、正解データとを準備し、深層学習により教師有り学習を行って学習済モデルを作成しておき、目の画像を学習済モデルに入力することにより、入力した画像が目である確からしさを示す目らしさスコアを算出する。

【0025】

生体判別部１５ｅは、開閉度スコア及び目らしさスコアに基づいて、取得した顔画像が生体を撮像した顔画像であるか否かを判別する。詳細は後述するが、複数の開閉度スコアのデータから瞬きが行われたか否かを判別し、瞬きが検出されなかった場合は、生体を撮像した顔画像ではないと判別する。また、瞬きが検出された場合は、瞬きが行われた区間を検出し、さらに、その瞬き区間に含まれるフレーム画像の枚数と、該瞬き区間のうち、目らしさスコアが所定の閾値以下であるフレーム画像の枚数の割合を算出し、該割合が所定の閾値より小さい場合は、生体を撮像した顔画像であると判別する。また該割合が所定の閾値以上である場合は、生体を撮像した顔画像ではないと判別する。

【0026】

顔認証処理部１５ｈは、生体判別部１５ｅの判別が生体を撮像した顔画像であると判別された場合には、該顔画像を用いて顔認証処理を行う。具体的には、複数の人物の特徴点を記憶した認証データをあらかじめ用意し、取得した顔画像と認証データを照合することにより、人物の特定（認証）を行う。

【0027】

このように、実施形態１に係る顔認証装置１０は、取得した顔画像に基づいて、目の部分画像を切り出し、該部分画像に基づいて目の開閉度スコア及び目らしさスコアを算出する。そして、開閉度スコア及び目らしさスコアに基づいて、取得した顔画像が生体を撮像した顔画像であるか否かを判別し、生体を撮像した顔画像である場合は、顔認証を行うようにした。

【0028】

次に、顔認証システムについて説明する。図２は、実施形態１に係る顔認証システムのシステム構成を示す図である。図２に示すように、顔認証システムは顔認証装置１０と、撮像装置２０ａ、２０ｂ、２０ｃ（以下、「撮像装置２０」と総称する場合がある）とを有し、顔認証装置１０と、撮像装置２０とは、ネットワークＮに接続されている。

【0029】

顔認証装置１０は、撮像装置２０から送信される顔画像の動画を取得する処理、顔画像から目の部分画像を切り出しする処理、目の部分画像から目の開閉度スコアを算出する処理、目の部分画像から目らしさスコアを算出する処理、開閉度スコアの時系列変化から瞬き区間を算出する処理、目らしさスコア及び瞬き区間に基づいて顔画像が生体を撮像した顔画像であるか否かを判別する処理及び顔画像から顔認証処理を行う。撮像装置２０は、顔画像の動画を撮像する処理を行う。

【0030】

次に、図２に示した顔認証装置１０の構成について説明する。図３は、図２に示した顔認証装置１０の構成を示す機能ブロック図である。図３に示すように、顔認証装置１０は、表示部１１、入力部１２、通信Ｉ／Ｆ部１３、記憶部１４及び制御部１５を有する。

【0031】

表示部１１は、液晶パネル又はディスプレイ装置などの表示デバイスであり、入力部１２は、キーボードやマウスなどの入力デバイスである。通信Ｉ／Ｆ部１３は、撮像装置２０などの他の装置と通信を行うためのインターフェース部である。

【0032】

記憶部１４は、ハードディスク装置や不揮発性メモリ等の記憶デバイスであり、開閉度学習済モデル１４ａ、目らしさ学習済モデル１４ｂ、開閉度スコアデータ１４ｃ、目らしさスコアデータ１４ｄ及び顔認証用データ１４ｅ等を記憶する。

【0033】

開閉度学習済モデル１４ａは、目の開閉度の異なる大量の教師用画像Ａと、正解データＲとを用いて深層学習による教師有り学習を行った結果得られるモデルである。具体的には、図４に示すように、教師用画像ＡをＣＮＮ（Convolutional Neural Network）Ｂに入力するとともに、例えば正解データＲに基づいてバックプロパゲーションを行わせ、各パスの重みを決定する教師有り学習処理を繰り返して、学習済モデルＭを生成する。なお、正解データＲすなわち既知の現象である確率は、教師有り学習を行う担当者が付与することができる。また、学習済モデルＭの生成は、サーバ、クラウド等の装置で行う。

【0034】

目らしさ学習済モデル１４ｂは、大量の目の画像の教師用画像Ａと、正解データＲとを用いて深層学習による教師有り学習を行った結果得られるモデルである。目らしさ学習済モデル１４ｂは、開閉度学習済モデル１４ａと同様に、サーバ、クラウド等を用いて生成される。

【0035】

開閉度スコアデータ１４ｃは、目の部分画像を開閉度学習済モデル１４ａに入力し得られた開閉度スコアの時系列変化のデータである。目らしさスコアデータ１４ｄは、目の部分画像を目らしさ学習済モデル１４ｂに入力し得られた目らしさスコアの時系列変化のデータである。顔認証用データ１４ｅは、認証する複数の人物の顔の特徴データである。

【0036】

制御部１５は、顔認証装置１０の全体制御を行う制御部であり、画像取得処理部１５ａと、切出処理部１５ｂと、開閉度スコア算出部１５ｃと、目らしさスコア算出部１５ｄと、生体判別部１５ｅと、顔認証処理部１５ｈと、表示制御部１５ｉとを有する。実際には、これらのプログラムをＣＰＵにロードして実行することにより、画像取得処理部１５ａと、切出処理部１５ｂと、開閉度スコア算出部１５ｃと、目らしさスコア算出部１５ｄと、生体判別部１５ｅと、顔認証処理部１５ｈと、表示制御部１５ｉとにそれぞれ対応するプロセスを実行させることになる。

【0037】

画像取得処理部１５ａは、撮像装置２０から送信される顔画像を取得する処理を行う。切出処理部１５ｂは、取得した顔画像から目の部分画像を切り出す処理を行う。具体的には、顔画像を図示しない目の特徴データと照合することにより、目の特徴を持つ部分の画像を切り出す。なお、切り出し処理には、機械学習や深層学習を用いた学習済モデルを用いてもよい。

【0038】

開閉度スコア算出部１５ｃは、開閉度学習済モデル１４ａを用いて目の部分画像の開閉度スコアを算出する処理部である。具体的には、図５に示すように、顔画像の目の部分画像である切出画像を開閉度学習済モデル１４ａに入力し、開閉度学習済モデル１４ａからの出力を０から２５の目の開閉度スコアを算出する。

【0039】

目らしさスコア算出部１５ｄは、目らしさ学習済モデル１４ｂを用いて目の部分画像である切出画像を目らしさ学習済モデル１４ｂに入力し、目らしさ学習済モデル１４ｂからの出力を切出画像が目である確からしさのスコアとして０から１の目らしさスコアを算出する。

【0040】

生体判別部１５ｅは、開閉度スコアデータ１４ｃ及び目らしさスコアデータ１４ｄに基づいて、顔画像が生体を撮像した顔画像であるか否かを判別する処理部である。生体判別部１５ｅは、瞬き区間検出部１５ｆと、削除率算出部１５ｇとを有する。

【0041】

瞬き区間検出部１５ｆは、開閉度スコアデータ１４ｃ及び目らしさスコアデータ１４ｄ、又は、開閉度スコアデータ１４ｃに基づいて、瞬き区間の検出を行う処理部である。瞬き区間検出部１５ｆが、開閉度スコアデータ１４ｃ及び目らしさスコアデータ１４ｄに基づいて瞬き区間の検出を行う場合は、具体的には、図７に示すように、開閉度スコアデータ１４ｃ（図７（ａ）参照）と、目らしさスコアデータ１４ｄ（図７（ｄ））とをフレームＩＤ毎に照合し、目らしさスコアが所定の閾値Ｔよりも小さい場合に、該フレームＩＤの開閉度スコアを削除する（図７（ｂ）参照）。

【0042】

そして、目らしさスコアが所定の閾値Ｔより小さいデータが削除された開閉度スコアの時系列変化データの２次微分係数を算出する（図７（ｃ）参照）。その後、２次微分係数の時系列変化から瞬き区間の検出を行う。

【0043】

ここで、瞬き区間の検出は、２次微分係数が下に凸に変化後上に凸の時系列変化と、２次微分係数が上に凸に変化後下に凸の時系列変化とが存在する場合に、瞬きがあったと判別し、その間のフレーム数を瞬き区間とする。なお、図７の場合は、２次微分係数が下に凸に変化後上に凸の変化しか存在しないため、瞬きは無かったと判別し、瞬き区間は０フレームとなる。

【0044】

また、瞬き区間検出部１５ｆが、開閉度スコアデータ１４ｃに基づいて瞬き区間の検出を行う場合は、具体的には、図８に示すように、開閉度スコアデータ１４ｃ（図８（ａ）参照）の２次微分係数を算出する（図８（ｂ）参照）。そして、瞬き区間検出部１５ｆは、２次微分係数が下に凸に変化後上に凸の時系列変化と、２次微分係数が上に凸に変化後下に凸の時系列変化とが存在する場合に、瞬きがあったと判別し、その間のフレーム数を瞬き区間とする。

【0045】

なお、図８（ｂ）に示すように、フレームＩＤが１３から１９の区間及びフレームＩＤに２次微分係数が下に凸に変化後上に凸の時系列変化があるような場合には、最初の２次微分係数の時系列変化は、無効と判別する。

【0046】

削除率算出部１５ｇは、瞬き区間及び目らしさスコアに基づいて、瞬き区間のうち削除されるフレームの割合を削除率として算出する処理部である。具体的には、図９（ａ）に示すように、算出された瞬き区間のフレーム数に対して、目らしさスコアが所定の閾値Ｔよりも小さいフレーム数（図９（ｂ）を参照）を削除するフレームとして、削除率を算出する。この例では、瞬き区間は、フレームＩＤ２１からフレームＩＤ４８までの２８フレームとなる。そして、該瞬き区間のうち、削除フレーム数は、フレームＩＤ４４を除く２７となるため、削除率は、９６％となる。

【0047】

生体判別部１５ｅは、削除率が所定の閾値（例えば、３０％）以下の場合は、取得した顔画像が生体を撮像した顔画像であると判別し、削除率が所定の閾値より大きい場合は、顔画像が生体を撮像した顔画像ではないと判別する。なお、削除率が所定の閾値より小さい場合は、取得した顔画像が生体を撮像した顔画像であると判別し、削除率が所定の閾値以上の場合は、顔画像が生体を撮像した顔画像ではないと判別してもよい。

【0048】

顔認証処理部１５ｈは、登録された顔認証用データ１４ｅに基づいて、顔画像の認証処理を行う。具体的には、取得した顔画像を登録された顔認証用データ１４ｅと照合し、照合成功の場合には、認証成功と判別し、照合ができなかった場合は、認証失敗と判別する。なお、顔画像の認証には、パターンマッチング手法を用いる。なお、顔認証に大量の顔画像を教師用画像と、正解データとを用いて機械学習を行った学習済モデルに顔画像を入力して認証処理を行ってもよい。

【0049】

表示制御部１５ｉは、瞬きの有無及び顔認証の結果に基づいて、認証の結果を表示部１１に表示制御する処理部である。具体的には、顔認証処理部１５ｈの結果が認証成功である場合は、表示部１１に「認証成功」と表示制御する。また、瞬きがなかった場合及び顔認証処理部１５ｈの結果が認証失敗である場合は、表示部１１に「認証失敗」と表示制御する。

【0050】

次に、顔認証装置１０の処理手順について説明する。図１０及び図１１は、図３に示した顔認証装置１０の処理手順を示すフローチャートである。図１０に示すように、顔認証装置１０は、撮像装置２０からネットワークＮを介して顔画像を取得する（ステップＳ１０１）。そして、顔認証装置１０は、顔画像から目の部分画像を切出し（ステップＳ１０２）、開閉度スコアを算出する（ステップＳ１０３）。その後、顔認証装置１０は、目の部分画像に基づいて目らしさスコアを算出する（ステップＳ１０４）。

【0051】

そして、顔認証装置１０は、開閉度スコアの時間変化データから目らしさスコアが所定の閾値以下であるデータを削除し（ステップＳ１０５）、データが削除された残りの開閉度スコアデータに基づいて２次微分係数を算出する（ステップＳ１０６）。その後、顔認証装置１０は、２次微分係数に基づいて、２次微分係数の立ち上がり及び立ち下がりを検知する（ステップＳ１０７）。

【0052】

そして、顔認証装置１０は、瞬き区間を検出したか否かを判別する（ステップＳ１０８）。顔認証装置１０は、瞬き区間を検出しなかった場合は（ステップＳ１０８：Ｎｏ）、「認証失敗」を表示制御する（ステップＳ１１５）。

【0053】

一方、顔認証装置１０は、瞬き区間を検出した場合は（ステップＳ１０８：Ｙｅｓ）、
開閉度スコアデータに基づいて、２次微分係数を算出する（ステップＳ１０９）。そして、顔認証装置１０は、検知した瞬き区間内で削除条件に当てはまるデータ数をカウントする（ステップＳ１１０）。その後、顔認証装置１０は、瞬き区間でのデータ数に対する削除したデータの割合が所定の閾値以下であるか否かを判別する（ステップＳ１１１）。

【0054】

顔認証装置１０は、削除したデータの割合が所定の閾値以下でない場合は（ステップＳ１１１：Ｎｏ）、「認証失敗」を表示部１１に表示制御する（ステップＳ１１５）。一方、顔認証装置１０は、削除したデータの割合が所定の閾値以下である場合は（ステップＳ１１１：Ｙｅｓ）、顔認証処理を行う（ステップＳ１１２）。

【0055】

そして、顔認証装置１０は、顔認証が成功したか否かを判別する（ステップＳ１１３）。顔認証装置１０は、顔認証が成功しなかった場合は（ステップＳ１１３：Ｎｏ）、表示部１１に「認証失敗」を表示制御する（ステップＳ１１５）。一方、顔認証装置１０は、顔認証が成功した場合は（ステップＳ１１３：Ｙｅｓ）、表示部１１に「認証成功」を表示制御し（ステップＳ１１４）、一連の処理を終了する。

【0056】

上述してきたように、本実施形態１では、顔認証装置１０は、顔画像を取得し、顔画像から目の部分画像を切り出す。そして、顔認証装置１０は、目の部分画像に基づいて目の開閉度スコア及び目らしさスコアを算出し、開閉度スコア及び目らしさスコアに基づいて瞬き区間を検知する。その後、顔認証装置１０は、瞬き区間のフレーム数と、瞬き区間の複数のフレームのうち、目らしさスコアが所定の閾値以下であるフレーム数を削除フレームとして瞬き区間のフレーム数に対する削除フレームの割合を算出し、該割合が所定の閾値以下である場合に、顔認証を行うように構成した。

【0057】

［実施形態２］
ところで、上記実施形態１では、生体判別を目の開閉度スコア及び目らしさスコアに基づいて判別する場合について説明したが、実施形態２では、生体判別を目の開閉度スコア及び目らしさスコアと、顔角度とに基づいて生体判別を行う場合について説明する。

【0058】

図１２は、実施形態２に係る顔認証装置３０の概要を示す図である。なお、図１に示した顔認証装置１０と同様の部位については、同一符号を付すこととして、その詳細な説明を省略する。図１２に示すように、顔認証装置３０は、切出処理部１５ｂと、開閉度スコア算出部１５ｃと、目らしさスコア算出部１５ｄと、顔認証処理部１５ｈと、顔角度算出部３５ａと、生体判別部３５ｂとを有する。

【0059】

顔角度算出部３５ａは、取得した顔画像の顔の角度を算出する処理部である。具体的には、大量の顔の角度が異なる顔画像の教師用画像と、正解データとに基づいて機械学習を行った顔角度学習済モデルを生成し、顔画像を該顔角度学習済モデルに入力し、取得した顔画像の顔角度を算出する。

【0060】

生体判別部３５ｂは、開閉度スコアの時系列変化のデータと、目らしさスコアの時系列変化のデータと、顔角度の時系列変化データに基づいて、取得した顔画像が生体を撮像した顔画像であるか否かを判別する処理部である。具体的には、生体判別部３５ｂは、開閉度スコアの時系列変化データの２次微分係数を算出し、該２次微分係数の時系列変化に基づいて瞬き区間を算出する。そして、生体判別部３５ｂは、瞬き区間のデータのうち、目らしさスコアが所定の閾値以下のフレームＩＤのデータ及び顔角度が所定の閾値以上のフレームＩＤデータの数を算出し、削除率を算出する。その後、生体判別部３５ｂは、削除率が所定の閾値以下の場合は、取得した顔画像が生体を撮像した顔画像であると判別し、削除率が所定の閾値より大きい場合は、該顔画像が生体を撮像した顔画像ではないと判別する。

【0061】

上述してきたように、本実施形態２では、顔認証装置３０は、顔画像を取得し、顔画像から目の部分画像を切り出す。そして、顔認証装置１０は、目の部分画像に基づいて目の開閉度スコア及び目らしさスコアを算出する。また、顔認証装置３０は、取得した顔画像から顔角度を算出する。そして、顔認証装置３０は、開閉度スコア及び目らしさスコアに基づいて瞬き区間を検知する。その後、顔認証装置１０は、瞬き区間のフレーム数と、瞬き区間の複数のフレームのうち、目らしさスコアが所定の閾値以下であるフレーム、又は、顔角度が所定の閾値以上であるフレームを削除フレームとして瞬き区間のフレーム数に対する削除フレームの割合を算出し、該割合が所定の閾値以下である場合に、顔画像が生体を撮像した顔画像であると判別し、顔認証を行うように構成した。

【0062】

なお、上記実施形態２では、生体判別部３５ｂは、瞬き区間のデータのうち、目らしさスコアが所定の閾値以下のレームＩＤのデータ及び顔角度が所定の閾値以上のフレームＩＤデータの数を算出し、削除率を算出する場合について説明したが、本発明は、これに限定されるものではなく、生体判別部３５ｂは、瞬き区間のデータのうち、目らしさスコアが所定の閾値より小さいレームＩＤのデータ及び顔角度が所定の閾値より大きいフレームＩＤデータの数を算出し、削除率を算出してもよい。

【0063】

＜変形例１＞
ところで、上記実施形態２では、取得した顔画像から顔角度を算出して、開閉度スコア、目らしさスコア及び顔角度に基づいて顔画像が生体を撮像した顔画像であるか否かの判別を行う場合について説明したが、変形例１では、取得した顔画像から顔ぼけ度を算出して顔画像が生体を撮像した顔画像であるか否かを判別する場合について説明する。ここで、顔ぼけ度とは、取得した顔画像の焦点が合っておらず、ピントがぼけている度合いである。

【0064】

図１３は、変形例１に係る顔認証装置４０の概要を示す図である。なお、図１２に示した顔認証装置３０と同様の部位については、同一符号を付すこととして、その詳細な説明を省略する。図１３に示すように、顔認証装置４０は、切出処理部１５ｂと、開閉度スコア算出部１５ｃと、目らしさスコア算出部１５ｄと、顔認証処理部１５ｈと、顔ぼけ度算出部４５ａと、生体判別部４５ｂとを有する。

【0065】

顔ぼけ度算出部４５ａは、取得した顔画像の顔ぼけ度を算出する処理部である。具体的には、大量の顔のぼけ度が異なる顔画像の教師用画像と、正解データとに基づいて機械学習を行った顔ぼけ度学習済モデルを生成し、顔画像を該顔ぼけ度学習済モデルに入力し、取得した顔画像の顔ぼけ度を算出する。なお、顔ぼけ度は、顔画像のぼけ度が大きいほど、大きな値となる。

【0066】

生体判別部４５ｂは、開閉度スコアの時系列変化のデータと、目らしさスコアの時系列変化のデータと、顔ぼけ度の時系列変化データに基づいて、取得した顔画像が生体を撮像した顔画像であるか否かを判別する処理部である。具体的には、顔認証装置は、開閉度スコアの時系列変化データの２次微分係数を算出し、該２次微分係数の時系列変化に基づいて瞬き区間を算出する。そして、生体判別部４５ｂは、瞬き区間のデータのうち、目らしさスコアが所定の閾値以下のフレームＩＤのデータ及び顔ぼけ度が所定の閾値以上のフレームＩＤデータの数を算出し、削除率を算出する。その後、生体判別部３５ｂは、削除率が所定の閾値以下の場合は、取得した顔画像が生体を撮像した顔画像であると判別し、削除率が所定の閾値より大きい場合は、該顔画像が生体を撮像した顔画像ではないと判別する。

【0067】

＜変形例２＞
ところで、上記実施形態２では、取得した顔画像から顔角度を算出して、開閉度スコア、目らしさスコア及び顔角度に基づいて顔画像が生体を撮像した顔画像であるか否かの判別を行う場合について説明したが、変形例２では、取得した顔画像から顔スコアを算出して顔画像が生体を撮像した顔画像であるか否かを判別する場合について説明する。ここで、顔スコアとは、取得した顔画像の顔らしさの度合いである。

【0068】

図１４は、変形例２に係る顔認証装置５０の概要を示す図である。なお、図１２に示した顔認証装置３０と同様の部位については、同一符号を付すこととして、その詳細な説明を省略する。図１４に示すように、顔認証装置５０は、切出処理部１５ｂと、開閉度スコア算出部１５ｃと、目らしさスコア算出部１５ｄと、顔認証処理部１５ｈと、顔スコア算出部５５ａと、生体判別部５５ｂとを有する。

【0069】

顔スコア算出部５５ａは、取得した顔画像の顔らしさである顔スコアを算出する処理部である。具体的には、大量の顔画像の教師用画像と、正解データとに基づいて機械学習を行った顔スコア学習済モデルを生成し、顔画像を該顔スコア学習済モデルに入力し、取得した顔画像の顔スコアを算出する。なお、顔スコアは、顔画像が顔らしい場合に、大きな値となる。

【0070】

生体判別部５５ｂは、開閉度スコアの時系列変化のデータと、目らしさスコアの時系列変化のデータと、顔スコアの時系列変化データに基づいて、取得した顔画像が生体を撮像した顔画像であるか否かを判別する処理部である。具体的には、顔認証装置は、開閉度スコアの時系列変化データの２次微分係数を算出し、該２次微分係数の時系列変化に基づいて瞬き区間を算出する。そして、生体判別部４５ｂは、瞬き区間のデータのうち、目らしさスコアが所定の閾値以下のフレームＩＤのデータ及び顔スコアが所定の閾値以下のフレームＩＤデータの数を算出し、削除率を算出する。その後、生体判別部３５ｂは、削除率が所定の閾値以下の場合は、取得した顔画像が生体を撮像した顔画像であると判別し、削除率が所定の閾値より大きい場合は、該顔画像が生体を撮像した顔画像ではないと判別する。

【0071】

なお、上記実施形態１及び実施形態２では、目の開閉度スコア及び目らしさスコアに基づき瞬きの有無を検出し、目の開閉度スコアに基づいて瞬き区間を検出するように説明したが、本発明は、これに限定されることはなく、目の開閉度スコアに基づいて瞬きの有無及び瞬き区間を検出するようにしてもよい。

【0072】

また、上記実施形態１及び実施形態２では、瞬きの有無及び瞬き区間の検出に、開閉度スコアの２次微分係数を算出する場合について説明したが、本発明は、これに限定されることはなく、開閉度スコアの１次微分係数を算出し、瞬きの有無及び瞬き区間の検出を行ってもよい。

【0073】

なお、上記実施形態１及び実施形態２では、目の開閉度スコアの算出及び目らしさスコアの算出にＣＮＮを用いた学習済モデルを用いていたが、ＲＮＮ（Recurrent Neural Network）、ランダムフォレスト等別の機械学習により生成された学習済モデルを用いてもよい。

【0074】

また、上記実施形態１及び実施形態２では、撮像する人物の自発性瞬きの検出について説明したが、撮像装置２０にフラッシュ等の発光部を設けて、フラッシュを発光させた時の反射性瞬きを検出するようにしてもよい。

【0075】

上記の各実施形態で図示した各構成は機能概略的なものであり、必ずしも物理的に図示の構成をされていることを要しない。すなわち、各装置の分散・統合の形態は図示のものに限られず、その全部又は一部を各種の負荷や使用状況などに応じて、任意の単位で機能的又は物理的に分散・統合して構成することができる。

【産業上の利用可能性】

【0076】

本発明に係る顔認証装置、顔認証システム及び顔認証方法は、顔画像が生体の顔を撮像した顔画像であるか否かを効率良く判定し、顔認証を行う場合に適している。

【符号の説明】

【0077】

１０ 顔認証装置
１１ 表示部
１２ 入力部
１３ 通信Ｉ／Ｆ部
１４ 記憶部
１４ａ 開閉度学習済モデル
１４ｂ 目らしさ学習済モデル
１４ｃ 開閉度スコアデータ
１４ｄ 目らしさスコアデータ
１４ｅ 顔認証用データ
１５ 制御部
１５ａ 画像取得処理部
１５ｂ 切出処理部
１５ｃ 開閉度スコア算出部
１５ｄ 目らしさスコア算出部
１５ｅ 生体判別部
１５ｆ 瞬き区間検出部
１５ｇ 削除率算出部
１５ｈ 顔認証処理部
１６ｉ 表示制御部
２０ 撮像装置
３０ 顔認証装置
３５ａ 顔角度算出部
３５ｂ 生体判別部
４０ 顔認証装置
４０ａ 顔ぼけ度算出部
４０ｂ 生体判別部
５０ 顔認証装置
５０ａ 顔スコア算出部
５０ｂ 生体判別部

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】