特開 2024-6392 画像処理装置、画像処理方法およびプログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2024006392

(43)【公開日】2024-01-17

(54)【発明の名称】画像処理装置、画像処理方法およびプログラム

(51)【国際特許分類】

   G06V 40/40 20220101AFI20240110BHJP

   G06T 7/00 20170101ALI20240110BHJP

   G06V 40/16 20220101ALI20240110BHJP

   G06T 7/20 20170101ALI20240110BHJP

【ＦＩ】

G06V40/40

G06T7/00 510F

G06V40/16 A

G06T7/20 300B

【審査請求】未請求

【請求項の数】13

【出願形態】ＯＬ

(21)【出願番号】P 2022107215

(22)【出願日】2022-07-01

(71)【出願人】

【識別番号】000001443

【氏名又は名称】カシオ計算機株式会社

(74)【代理人】

【識別番号】100095407

【弁理士】

【氏名又は名称】木村 満

(72)【発明者】

【氏名】安藤 菜々子

【テーマコード（参考）】

5B043

5L096

【Ｆターム（参考）】

5B043AA09

5B043AA10

5B043BA04

5B043DA05

5B043EA02

5B043EA07

5B043GA02

5B043HA02

5L096CA04

5L096EA35

5L096FA25

5L096FA32

5L096FA64

5L096FA69

5L096GA51

(57)【要約】

【課題】顔認証における不正な認証突破を抑制するために瞬きの有無を好適に判別できる画像処理装置、画像処理方法およびプログラムを提供する。
【解決手段】画像処理装置は、時系列的に撮像された認証対象の目を含む第１の画像および第２の画像から、認証対象の目の外形を表す器官点に基づいて瞳孔および虹彩のうち少なくとも一方の想定位置を含む第１および第２の判別用画像の切り出しを行う編集部と、第１の判別用画像の画素値と、第２の判別用画像の画素値とを取得する取得部と、第１の判別用画像の画素値と第２の判別用画像の画素値とに基づいて、認証対象の瞬きの有無を判別する判別部と、を備える。
【選択図】図１

【特許請求の範囲】

【請求項1】

時系列的に撮像された認証対象の目を含む第１の画像および第２の画像から、前記認証対象の目の外形を表す器官点に基づいて瞳孔および虹彩のうち少なくとも一方の想定位置を含む第１および第２の判別用画像の切り出しを行う編集部と、
前記第１の判別用画像の画素値と、前記第２の判別用画像の画素値とを取得する取得部と、
前記第１の判別用画像の画素値と前記第２の判別用画像の画素値とに基づいて、前記認証対象の瞬きの有無を判別する判別部と、
を備える画像処理装置。

【請求項2】

前記編集部は、前記第１の画像の直前の撮像画像であり前記認証対象の目を含む第３の画像から、前記器官点に基づいて前記想定位置を含む第３の判別用画像を切り出し、
前記取得部は、前記第３の判別用画像の画素値を取得し、
前記判別部は、前記第１の判別用画像の画素値と前記第２の判別用画像の画素値と前記第３の判別用画像の画素値とに基づいて、前記認証対象の瞬きの有無を判別する、
請求項１に記載の画像処理装置。

【請求項3】

前記編集部は、前記器官点のうち、前記認証対象の目頭および目尻を示す器官点に基づいて前記第１、第２および第３の判別用画像の切り出しを行う、
請求項２に記載の画像処理装置。

【請求項4】

前記取得部は、前記第１の判別用画像、前記第２の判別用画像、前記第３の判別用画像のそれぞれの全画素について、前記認証対象の目頭と目尻とを結ぶ基線に略並行な方向である横方向に一列に並ぶ画素のうち最も低い画素値を抽出し、前記第１の判別用画像、前記第２の判別用画像、前記第３の判別用画像それぞれについて、最も低い画素値の平均値を算出する、
請求項２に記載の画像処理装置。

【請求項5】

前記取得部は、前記第１の判別用画像の前記最も低い画素値の平均値と、前記第３の判別用画像の前記最も低い画素値の平均値と、の平均値である過去平均値を算出する、
請求項４に記載の画像処理装置。

【請求項6】

前記取得部は、前記第２の判別用画像の前記最も低い画素値の平均値と前記過去平均値との比を算出し、
前記判別部は、前記比が閉眼閾値より大きい場合に、前記第２の画像において前記認証対象の目が閉じていると判別する、
請求項５に記載の画像処理装置。

【請求項7】

前記取得部は、前記画素のうち、画素値が前記認証対象の肌の色を示す画素値より２０以上高い数値である外れ値を除外して前記平均値を算出する、
請求項４に記載の画像処理装置。

【請求項8】

前記取得部は、前記第１、第２および第３の判別用画像をグレースケールに変換後に画素値を取得する、
請求項２に記載の画像処理装置。

【請求項9】

前記取得部は、前記第１、第２および第３の判別用画像の前記基線に沿う方向の長さを、前記基線の長さの半分の長さとし、中間点が前記基線の中間点と一致する、
請求項４に記載の画像処理装置。

【請求項10】

前記取得部は、切り出された前記第１、第２および第３の判別用画像を、アフィン変換で矩形にし、前記第１、第２および第３の判別用画像の底辺を前記第１、第２および第３の画像の底辺と平行にする、
請求項２に記載の画像処理装置。

【請求項11】

前記判別部は、前記第３の画像における前記認証対象の目の開閉の判別と、前記第２の画像における前記認証対象の目の開閉の判別と、によって前記認証対象の瞬きの有無を判別する、
請求項６に記載の画像処理装置。

【請求項12】

時系列的に撮像された認証対象の目を含む第１の画像および第２の画像から、前記認証対象の目の外形を表す器官点に基づいて瞳孔および虹彩のうち少なくとも一方の想定位置を含む第１および第２の判別用画像の切り出しを行い、
前記第１の判別用画像の画素値と、前記第２の判別用画像の画素値とを取得し、
前記第１の判別用画像の画素値と前記第２の判別用画像の画素値とに基づいて、前記認証対象の瞬きの有無を判別する、
画像処理方法。

【請求項13】

コンピュータに、
時系列的に撮像された認証対象の目を含む第１の画像および第２の画像から、前記認証対象の目の外形を表す器官点に基づいて瞳孔および虹彩のうち少なくとも一方の想定位置を含む第１および第２の判別用画像の切り出しを行い、
前記第１の判別用画像の画素値と、前記第２の判別用画像の画素値とを取得し、
前記第１の判別用画像の画素値と前記第２の判別用画像の画素値とに基づいて、前記認証対象の瞬きの有無を判別する、
ように機能させるためのプログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、画像処理装置、画像処理方法およびプログラムに関する。

【背景技術】

【0002】

従来、生体認証技術の一つとして、認証対象である人物の顔画像を取得し、これを予め登録された顔画像と照合することにより、本人であるか否かの認証を行う顔認証技術が知られている。顔認証を不正に認証突破されることを抑制するために、顔認証装置に、例えば、非特許文献１に記載の、目の周りの特徴点の動きの検出によって瞬きの有無を判別する瞬き検出の機能を付加する場合がある。

【先行技術文献】

【非特許文献】

【0003】

【非特許文献1】Tereza Soukupova and Jan Cech, Real-Time Eye Blink Detection using Facial Landmarks, 21st Computer Vision Winter Workshop,Slovenia, February 3-5, 2016

【発明の概要】

【発明が解決しようとする課題】

【0004】

しかし、非特許文献１に開示された瞬き検出方法では、眼鏡のフレームを目であると誤認識することがあった。また、眼鏡のレンズに反射光が映り込んでいる場合等には目の形を正しく捉えられず、特徴点の設定が困難になるので瞬きの検出ができない場合があり、顔認証における不正な認証突破を抑制することに貢献できないこともあった。

【0005】

本発明は、上記課題を解決するためになされたものであり、顔認証における不正な認証突破を抑制するために瞬きの有無を好適に判別できる画像処理装置、画像処理方法およびプログラムを提供することを目的とする。

【課題を解決するための手段】

【0006】

上記目的を達成するため、本発明の画像処理装置は、
時系列的に撮像された認証対象の目を含む第１の画像および第２の画像から、前記認証対象の目の外形を表す器官点に基づいて瞳孔および虹彩のうち少なくとも一方の想定位置を含む第１および第２の判別用画像の切り出しを行う編集部と、
前記第１の判別用画像の画素値と、前記第２の判別用画像の画素値とを取得する取得部と、
前記第１の判別用画像の画素値と前記第２の判別用画像の画素値とに基づいて、前記認証対象の瞬きの有無を判別する判別部と、
を備える。

【発明の効果】

【0007】

本発明によれば、顔認証における不正な認証突破を抑制するために瞬きの有無を好適に判別する画像処理装置、画像処理方法およびプログラムを提供することができる。

【図面の簡単な説明】

【0008】

【図1】本発明の実施形態に係る画像処理装置で実行される処理の概要を示すフローチャートである。

【図2】本発明の実施形態に係る画像処理装置で実行される器官点検出の結果を例示する図である。

【図3】（ａ）は、図２の顔画像の右目付近を拡大して示す図であり、（ｂ）は、（ａ）を用いて本発明の実施形態に係る画像処理装置で実行される切り出し矩形決定処理を説明する図である。

【図4】図３（ｂ）の基準点をもとにアフィン変換した判別用画像を示す図である。

【図5】本発明の実施形態に係る画像処理装置のブロック図である。

【図6】本発明の実施形態に係る瞬き検出組込顔認証処理のフローチャートである。

【図7】本発明の実施形態に係る判別用画像生成処理のフローチャートである。

【図8】本発明の実施形態に係る切り出し矩形算出処理のフローチャートである。

【図9】本発明の実施形態に係る瞬き判別処理のフローチャートである。

【図10】本発明の実施形態に係る目の開閉状態判別処理のフローチャートである。

【図11】本発明の実施形態に係る画像処理装置による目の開閉の判別結果を例示する図である。

【発明を実施するための形態】

【0009】

本発明の実施形態に係る画像処理装置について、以下、図面を参照して詳細に説明する。

【0010】

［画像処理装置の概要］
本発明の実施形態に係る画像処理装置は、例えば、商業施設等の限られたスタッフ等が立ち入りを許される管理対象エリア（セキュリティエリア）において、入退出の際の顔認証および顔認証の信頼性を高めるために認証対象に対して瞬き検出を行う。画像処理装置は、認証対象が瞬きを行ったか否かを判別することによって、顔認証の対象である認証対象が生体であることを確認し、顔認証の不正な認証突破を抑制する。

【0011】

図１は、画像処理装置が実行する瞬き検出の概要を示すフローチャートである。まず、図２に示す認証対象Ｔの顔Ｆの目を含む動画の１フレームである画像Ｐ１において、顔検出を行い（ステップＳ１００）、検出した顔Ｆに対して器官点Ｖの検出を行う（ステップＳ１０１）。次に、ステップＳ１０２において、検出した器官点Ｖのうちで目の外形を表すものに基づいて認証対象Ｔの目の位置を特定する。目の位置を特定後、ステップＳ１０３において、図３（ａ）、（ｂ）に示すように、瞳孔および虹彩（以下、眼球有色部という）周辺に基準点Ｋ１からＫ４を設定して、基準点Ｋ１からＫ４で構成される矩形画像を切り取る（設定方法は後述する）。その後、アフィン変換を行い図４に示す、Ｌピクセル×Ｌピクセルの正方形の判別用画像Ｄ１を生成する。画像Ｐ１に続いて時系列的に撮像された、次のフレームである画像Ｐ２、…、画像Ｐｎについても同様に、判別用画像Ｄ２～Ｄｎを生成する。ステップＳ１０４に進み、判別用画像Ｄ１の横方向に一列に並ぶ画素の中で最も小さい画素値を取り出し、続いてその上または下に１画素移動して、同様に横方向に一列に並ぶ画素の中で最小値の画素値を取り出す。これをＬ回繰り返して判別用画像Ｄ１の全ての画素がサーチされる。この最小値の平均を算出する。判別用画像Ｄ２－Ｄｎについても同様にそれぞれの画像毎に最小値の平均を算出する。ステップＳ１０５に進み、判別用画像Ｄｎの最小値の平均値Ｇと判別用画像Ｄｎ以前の判別用画像７つの最小値の過去平均値Ｈとの比が後述する閉眼閾値より大きいか否かを判別する。目を閉じていれば、眼球有色部の（低い）画素値の代わりに瞼の（高い）画素値が抽出され、平均値Ｇは大きくなる。この結果をもとに（詳細は後述する）画像処理装置は、認証対象Ｔの目の開閉状態および瞬きの有無を判別する。瞬きがあると判別した場合に、認証対象Ｔは生体であると判別されて顔認証が実行される。瞬きが無いと判別した場合には、認証対象Ｔは生体では無く不正な認証突破が試みられたと判別され、認証対象Ｔの顔認証は実行されない。このように、画像処理装置１０は、認証対象Ｔの顔の眼球有色部想定位置の画素値を利用して認証対象Ｔの目の開閉および瞬きの有無を検出することにより、顔認証における不正な認証突破を抑制することができる。

【0012】

［画像処理装置の構成］
以下、画像処理装置１０の構成を説明する。図５に示すように、画像処理装置１０は、認証対象Ｔの瞬きの検出および顔認証を行う制御部２０と、平均値Ｇ、認証対象Ｔの顔画像等を記憶する記憶部３０と、認証対象Ｔの顔画像等を撮像する撮像部４０、入退出ゲート等との通信を行う通信部５０と、認証結果等を表示する表示部６０と、情報等を入力する入力部７０と、を備える。

【0013】

制御部２０は、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）等の少なくとも１つのプロセッサで構成され、記憶部３０に記憶されたプログラム等を実行することにより、後述する各部（画像取得部２１、検出部２２、判別部２３、編集部２４、画素値取得部２５、顔認証部２６）の機能を実現する。また、制御部２０は、図示しない時計を有し、現在日時の取得や経過時間のカウント等をすることができる。

【0014】

記憶部３０は、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）等の少なくとも１つのメモリで構成され、ＲＯＭの一部または全部は電気的に書き換え可能なメモリ（フラッシュメモリ等）で構成されている。記憶部３０は、機能的に、画像記憶部３１と、顔画像記憶部３２と、平均値記憶部３３と、判別用画像記憶部３４と、顔認証画像記憶部３５と、設定記憶部３６と、を有する。ＲＯＭには、制御部２０のＣＰＵが実行するプログラムおよびプログラムを実行する上であらかじめ必要なデータが記憶されている。ＲＡＭには、プログラム実行中に作成されたり、変更されるデータが記憶される。

【0015】

画像記憶部３１には、撮像部４０に時系列的に撮像された画像Ｐ１、画像Ｐ２、画像Ｐ３等が記憶される。

【0016】

顔画像記憶部３２には、器官点が付された画像Ｐ１、画像Ｐ２、画像Ｐ３等が記憶される。

【0017】

平均値記憶部３３には、画素値取得部２５が取得した平均値Ｇ、過去平均値Ｈ等が記憶される。

【0018】

判別用画像記憶部３４には、判別用画像Ｄ１、判別用画像Ｄ２、判別用画像Ｄ３等が記憶される。

【0019】

顔認証画像記憶部３５には、顔認証部２６が顔認証の際に使用する、管理対象エリアに立ち入りが許されたスタッフ等の顔画像が記憶される。システムの管理者は、眼鏡が必要になった、コンタクトを使用することで眼鏡が不要になった、短髪にした等顔画像に変化があった際や、管理エリア立ち入り許可スタッフの退職や入職等の際に、新しい顔画像の登録、古い顔画像の削除等を行うことができる。

【0020】

設定記憶部３６には、画像処理装置１０で使用する各種設定が記憶される。後述する、瞬き検出を実行する時間の長さを示す判別期間Ｑ、認証対象Ｔの目が閉じているか否かを判別する閉眼閾値、移動閾値、外れ値、フレームレート等の瞬き検出組込顔認証処理に使用される設定値等が記憶され、システム管理者は必要に応じてこれらの設定について入力部７０を介して変更することができる。

【0021】

撮像部４０は、認証対象Ｔを撮像する撮像装置４１と、撮像装置４１の姿勢を変化させる駆動装置４２と、を有する。

【0022】

撮像装置４１は、ＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ Ｍｅｔａｌ Ｏｘｉｄｅ Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）カメラを備える。撮像装置４１は、認証対象Ｔをフレームレートｆ＝３０ｆｐｓで撮像し、画像Ｐ１、画像Ｐ２等を生成する。

【0023】

駆動装置４２は、撮像装置４１の姿勢を変化させる。これにより、撮像装置４１の撮像範囲や撮像角度等を変化させ、認証対象Ｔの顔を適切に撮像することができる。

【0024】

通信部５０は、入退出ゲート等の外部機器と通信するためのモジュールである通信装置５１を有する。通信装置５１は、外部機器と通信する場合にはアンテナを含む無線モジュールである。例えば、通信装置５１は、Ｂｌｕｅｔｏｏｔｈ（登録商標）に基づく近距離無線通信を行うための無線モジュールである。通信部５０を介して、画像処理装置１０は、入退出ゲート等をコントロールして、認証対象Ｔの入退出、管理対象エリアのセキュリティを管理する。

【0025】

表示部６０は、液晶表示パネル（ＬＣＤ：Ｌｉｑｕｉｄ Ｃｒｙｓｔａｌ Ｄｉｓｐｌａｙ）から構成された表示装置６１を備える。

【0026】

表示装置６１は、薄膜トランジスタ（ＴＦＴ：Ｔｈｉｎ Ｆｉｌｍ Ｔｒａｎｓｉｓｔｏｒ）、液晶、または有機ＥＬ等により構成される。表示装置６１は、認証結果等を表示する。

【0027】

入力部７０は、認証対象Ｔが画像処理装置１０に諸情報を入力するための入力装置７１を有する。入力部７０は、管理者、認証対象Ｔ等が情報等を入力するためのキーボード、マウス等も有する。

【0028】

次に、画像処理装置１０の制御部２０の機能的構成について説明する。制御部２０は、画像取得部２１、検出部２２、判別部２３、編集部２４、画素値取得部２５、顔認証部２６、の機能を実現し、後述する顔認証生体検知入退出処理等を行う。

【0029】

画像取得部２１は、あらかじめ画像処理装置１０に設定された、またはユーザ設定された条件等で撮像範囲を撮像部４０に撮像させ、画像Ｐ１、画像Ｐ２…、画像Ｐｎ等を含む動画を取得する。画像取得部２１は、取得した画像を検出部２２に送信する。また、画像取得部２１は、取得した画像Ｐ１、画像Ｐ２、…、画像Ｐｎ等を画像記憶部３１に記憶する。

【0030】

検出部２２は、画像Ｐ１、画像Ｐ２、…、画像Ｐｎにおいて、顔検出および器官点検出を行う。検出部２２は、公知のＩｎｓｉｇｈｔＦａｃｅ等を用いて顔検出および器官点検出を行う。検出部２２は、検出した器官点Ｖを付した顔画像を顔画像記憶部３２に記憶する。

【0031】

判別部２３は、各画像内の認証対象Ｔの目の開閉を判別する。また、判別部２３は、各画像内の認証対象Ｔの瞬きの有無を判別する。さらに、判別部２３は、画像Ｐｎ－１での目頭と目尻の器官点座標から画像Ｐｎでの目頭と目尻の器官点座標までの移動量が移動閾値以内であるか否かを判別する。

【0032】

編集部２４は、判別用画像を画像Ｐ１～Ｐｎから切り出す。また、判別用画像Ｄ１～Ｄｎをグレースケールに変換し、判別用画像記憶部３４に記憶する。また、編集部２４は、目頭Ｅ１と目尻Ｅ２とを結ぶ基線Ｗに対する垂直線Ｊ１、Ｊ２の位置および長さを算出する。編集部２４は、基準点Ｋ１、Ｋ２、Ｋ３、Ｋ４を配置する。

【0033】

画素値取得部（取得部）２５は、判別用画像記憶部３４に記憶された判別用画像の画素値を取得する。また、判別用画像Ｄ１～Ｄｎのそれぞれについて、横方向（基線Ｗに沿う方向）に一列に並ぶ画素のうち最も低い画素値を抽出することを縦方向について繰り返し、判別用画像で最も低い画素値の平均値を取得する。また、画素値取得部２５は、画素値のうち、画素値が１８０以上である外れ値を除外して平均値を取得する。画素値取得部２５は、判別用画像Ｄｎ－８～Ｄｎ－１それぞれの平均値Ｇを平均した過去平均値Ｈを取得する。

【0034】

顔認証部２６は、顔画像記憶部３２に記憶された顔画像を用いて顔認証を行う。顔認証部２６は、顔画像に写った目・鼻・口等の位置を認識し、顔認証画像記憶部３５内の顔画像と照合することにより、特定の人物であると認証する、公知の２Ｄ顔認証を実行する。

【0035】

以上、制御部２０の機能的構成について説明した。以下、画像処理装置１０で行われる瞬き検出対応顔認証処理についてフローチャートを用いて説明する。

【0036】

（瞬き検出組込顔認証処理）
図６を参照して、瞬き検出組込顔認証処理のフローを説明する。瞬き検出組込顔認証処理によって、顔認証に対する不正な認証突破を抑制することができる。画像処理装置１０では、顔認証および瞬き検出を組み合わせて入退出管理を行う。顔認証を実行する前に、瞬き検出において、顔認証でも使用する画像Ｐ１等を使用して認証対象Ｔが生体であるか否かの判別を行い、認証対象Ｔが生体であると判別されなければ顔認証は実行されず、認証対象Ｔは入退出を許可されない。

【0037】

まず、ステップＳ１において、画像処理装置１０は、撮像部４０のフレームレートｆ＝１５ｆｐｓ、判別期間Ｑ＝３０秒の設定で、認証対象Ｔの顔の動画の撮像を始める。ｎ＝１とする。

【0038】

画像取得部２１は、認証対象Ｔの顔が撮像された動画から画像Ｐ１を取得し、画像記憶部３１に記憶する（ステップＳ２）。

【0039】

ステップＳ３に進み、検出部２２は、画像記憶部３１に記憶された画像Ｐ１を用いて顔検出を行う。

【0040】

ステップＳ４に進み、判別用画像生成処理を行う。詳細は後述するが、判別用画像生成処理において、画像Ｐ１内で検出された顔から器官点を検出し、眼球有色部想定位置を含んだ判別用画像Ｄ１を生成する。

【0041】

ステップＳ５では、瞬き判別処理を行う。詳細は後述するが、瞬き判別処理において認証対象Ｔの目に瞬きがあったか否かを判別する。判別後、ステップＳ６に進む。

【0042】

ステップＳ６では、認証対象Ｔの目に瞬きがあった場合（ステップＳ６：Ｙｅｓ）、ステップＳ７に進み、認証対象Ｔの目に瞬きが無かった場合（ステップＳ６：Ｎｏ）、ステップＳ１１に進む。

【0043】

ステップＳ７では、顔認証部２６は、画像Ｐ１に映る認証対象Ｔの顔画像について、顔認証画像記憶部３５に記憶された顔画像と照合する。

【0044】

ステップＳ８に進み、認証対象Ｔの顔認証に成功した場合（ステップＳ８：Ｙｅｓ）、表示部６０に認証成功と表示して（ステップＳ９）終了する。認証対象Ｔの顔認証に失敗した場合（ステップＳ８：Ｎｏ）、表示部６０に認証失敗と表示して（ステップＳ１０）終了する。

【0045】

ステップＳ１１では、認証対象Ｔの撮像時間が判別期間Ｑを超えたか否かを判別する。認証対象Ｔの撮像時間が判別期間Ｑを超えた場合（ステップＳ１１：Ｙｅｓ）、判別期間Ｑを超えても認証対象Ｔの目の開閉および目に瞬きが確認できないので認証対象Ｔは生体では無いと判別し、表示部６０に不正と表示して（ステップＳ１２）終了する。認証対象Ｔの撮像時間が判別期間Ｑ以下の場合（ステップＳ１１：Ｎｏ）、ステップＳ１３に進み、ｎ＝ｎ＋１として、ステップＳ２に戻って画像Ｐ２を取得する。

【0046】

以上、瞬き検出組込顔認証処理について説明した。次に、瞬き検出組込顔認証処理のステップＳ４で行われる判別用画像生成処理について図７を用いて説明する。

【0047】

まず、ステップＳ２０において、検出部２２は、認証対象Ｔの顔の映っている画像Ｐｎの器官点座標を取得する。

【0048】

次に、ステップＳ２１に進み、切り出し矩形編集処理を行う。詳細は後述するが、判別用画像として切り出す矩形画像の編集を行う。

【0049】

ステップＳ２２に進み、ｎ＝１の場合（ステップＳ２２：Ｙｅｓ）、ステップＳ２３に進み、ｎ＝１でない場合（ステップＳ２２：Ｎｏ）、ステップＳ２４に進む。

【0050】

ステップＳ２３では、ステップＳ２１の切り出し矩形編集処理で得られた切り出しデータに基づいて、画像Ｐｎにおいて判別用画像となる矩形の領域を切り出し、終了する。

【0051】

ステップＳ２４では、画像Ｐｎ－１の切り出した矩形の座標を取得する（ステップＳ２４）。

【0052】

ステップＳ２５に進み、判別部２３は、画像Ｐｎ－１での目頭と目尻の器官点座標から画像Ｐｎでの目頭と目尻の器官点座標までの移動量が移動閾値以内であるか否かを判別する。画像Ｐｎ－１での目頭と目尻の器官点座標から画像Ｐｎでの目頭と目尻の器官点座標までの移動量が移動閾値以内である場合（ステップＳ２５：Ｙｅｓ）、編集部２４は、画像Ｐｎ－１での矩形の座標と画像Ｐｎでの矩形の座標との平均値である矩形の領域を切り出して（ステップＳ２６）、終了する。画像Ｐｎ－１での目頭と目尻の器官点座標から画像Ｐｎでの目頭と目尻の器官点座標までの移動量が移動閾値を超える場合（ステップＳ２５：Ｎｏ）、画像Ｐｎでの矩形の領域を切り出して（ステップＳ２３）、終了する。

【0053】

以上、判別用画像生成処理について説明した。次に、判別用画像生成処理のステップＳ２１で行われる切り出し矩形編集処理について図８を用いて説明する。

【0054】

まず、ステップＳ４０において、編集部２４は、目頭Ｅ１と目尻Ｅ２とを結ぶ基線Ｗに対する垂直線を配置する。図３（ａ）に示すように、基線Ｗについて、目頭Ｅ１側：目尻Ｅ２側を１：３に分割する垂直線Ｊ１と、基線Ｗについて目頭Ｅ１側：目尻Ｅ２側を３：１に分割する垂直線Ｊ２とを配置する。

【0055】

次に、ステップＳ４１では、編集部２４は、垂直線Ｊ１、Ｊ２の長さを基線Ｗの長さと同じに設定する。

【0056】

ステップＳ４２に進み、編集部２４は、垂直線Ｊ１、Ｊ２を、基線Ｗを境界にして上瞼側６、下瞼側４になるように調整する。

【0057】

ステップＳ４３では、編集部２４は、垂直線Ｊ１、Ｊ２を、基線Ｗに平行な分割線Ｂでそれぞれ３３分割し、分割線Ｂと垂直線Ｊ１、Ｊ２との交点のうち、上下９つ目に基準点Ｋ１、Ｋ２、Ｋ３、Ｋ４を配置する。図３（ｂ）に、垂直線Ｊ１、Ｊ２と、上瞼側の分割線Ｂ９本（残りの分割線Ｂは図を見やすくするために省略した）と、基準点Ｋ１、Ｋ２との位置関係を例示する。

【0058】

ステップＳ４４に進み、編集部２４は、４点の基準点Ｋ１、Ｋ２、Ｋ３、Ｋ４を頂点とする矩形をアフィン変換でＬ×Ｌの正方形に調整し、Ｋ３、Ｋ４で構成される底辺を画像Ｐｎの底辺と平行になるように回転させて終了する。

【0059】

以上、切り出し矩形編集処理について説明した。次に、瞬き検出対応顔認証処理のステップＳ５で行われる瞬き判別処理について図９を用いて説明する。

【0060】

まず、ステップＳ５０では、目の開閉状態判別処理が行われる。詳細は後述するが、目の開閉状態判別処理によって、判別部２３は、画像Ｐｎにおいて、認証対象Ｔの目が開いている状態か、閉じている状態かを判別する。

【0061】

次に、ステップＳ５１に進み、画像Ｐｎにおいて、認証対象Ｔの目が閉じていると判別された場合（ステップＳ５１：Ｙｅｓ）、ステップＳ５２に進み、認証対象Ｔの目が閉じていると判別されなかった場合（ステップＳ５１：Ｎｏ）、終了する。

【0062】

ステップＳ５２では、画像Ｐｎ－１において、認証対象Ｔの目が開いていると判別されていたか否かを判別する。画像Ｐｎ－１において、認証対象Ｔの目が開いていると判別されていた場合（ステップＳ５２：Ｙｅｓ）、判別部２３は、瞬き有りと判別し（ステップＳ５３）終了する。画像Ｐｎ－１において、認証対象Ｔの目が開いていないと判別されていた場合（ステップＳ５２：Ｎｏ）、終了する。

【0063】

以上、瞬き判別処理について説明した。次に、瞬き判別処理のステップＳ５０で行われる目の開閉状態判別処理について図１０を用いて説明する。

【0064】

まず、ステップＳ６０では、編集部２４は、判別用画像Ｄｎをグレースケールに変換する。

【0065】

次に、ステップＳ６１では、ｍ＝１とし、ステップＳ６２に進んで、Ｌ×Ｌピクセルの判別用画像Ｄｎの横方向（図４の基準点Ｋ１とＫ２と（或いは基準点Ｋ３とＫ４と）を結ぶ線分に沿う方向、目頭Ｅ１と目尻Ｅ２とを結ぶ線分に沿う方向）の一列に並んだ画素のうちで一番低い画素値を抽出する。

【0066】

ステップＳ６３に進み、ｍ＝Ｌか否かを判別する。ｍ＝Ｌの場合（ステップＳ６３：Ｙｅｓ）、ｍ＝１からＬでそれぞれ抽出した画素値のうちで、外れ値を除外して判別用画像Ｄｎの平均値Ｇを取得する（ステップＳ６５）。ｍ＝Ｌでない場合（ステップＳ６３：Ｎｏ）、ｍ＝ｍ＋１として（ステップＳ６４）、ステップＳ６２に戻る。なお、外れ値は、本実施形態では、１８０以上とする。

【0067】

ステップＳ６６に進み、ｍ＜８の場合、平均値Ｇが算入許容値未満であるか否かを判別する。ｍ＜８であり、平均値Ｇが算入許容値未満である場合（ステップＳ６６：Ｙｅｓ）、終了する。ｍが８以上の場合、または、ｍ＜８であるが平均値Ｇが算入許容値以上である場合（ステップＳ６６：Ｎｏ）、ステップＳ６７に進む。算入許容値は、ステップＳ６７で使用する、過去平均値Ｈに目を閉じた画像の平均値Ｇが入りこんで目の開閉判別の精度が低下してしまうことを防ぐために設けられている。本実施形態では、算入許容値は、顔認証画像記憶部３５に記憶された顔画像から取得した判別用画像の平均値Ｇに１．２を掛けたものとしている。

【0068】

ステップＳ６７に進み、画素値取得部２５は、平均値記憶部３３に記憶されている、判別用画像Ｄｎより前の７つの判別用画像それぞれの平均値Ｇを平均した過去平均値Ｈを取得する。

【0069】

ステップＳ６８では、平均値Ｇと過去平均値Ｈの比Ｇ／Ｈが閉眼閾値である１．３３以上になるか否かを判別する（図１１参照）。Ｇ／Ｈが１．３３以上になる場合（ステップＳ６８：Ｙｅｓ）、判別部２３は、画像Ｐｎにおいて認証対象Ｔの目が閉じていると判別し（ステップＳ６９）、終了する。Ｇ／Ｈが１．３３未満の場合（ステップＳ６８：Ｎｏ）、判別部２３は、画像Ｐｎにおいて認証対象Ｔの目が開いていると判別し（ステップＳ７０）、画像Ｐｎの平均値Ｇを平均値Ｈに組み込み、平均値Ｈに組み込まれているもののうち、一番古い画像（画像Ｐｎ－８またはそれ以前の画像）の平均値Ｇを除外して、新たな平均値Ｈを平均値記憶部３３に記憶して（ステップＳ７１）終了する。

【0070】

以上、目の開閉状態判別処理について説明した。

【0071】

このように、瞬き検出組込顔認証処理によって、画像処理装置１０は、認証対象Ｔの目を含む画像Ｐｎ－８～Ｐｎ－１および画像Ｐｎから、目頭Ｅ１と目尻Ｅ２の位置に基づいて眼球有色部の想定位置を含む判別用画像Ｄｎ－８～Ｄｎ－１および判別用画像Ｄｎの切り出しを行い、画素値ｎ－８～ｎ－１および画素値ｎを取得する。その後、画素値ｎ－８～ｎ－１および画素値ｎに基づいて、認証対象Ｔの目の開閉および瞬きの有無を判別する。器官点検出の容易な目頭Ｅ１と目尻Ｅ２の位置に基づいて判別用画像の切り出しを行うので、眼鏡等を認証対象Ｔが着用していても、目の開閉および瞬きの有無の判別に好適な判別用画像を切り出すことができる。従って、顔認証に対する不正な認証突破を判別し、抑制できる。

【0072】

また、画像処理装置１０は、判別用画像Ｄｎ－８～Ｄｎ－１および判別用画像Ｄｎのそれぞれについて、目頭Ｅ１と目尻Ｅ２とを結ぶ基線Ｗに沿う方向である横方向に一列に並ぶ画素のうち最も低い画素値を抽出することを基線Ｗに直交する縦方向について繰り返し、各判別用画像それぞれについて、最も低い画素値の平均値を算出するので、例えば、眼球有色部の一部が眼鏡に映り込む照明光等で隠れてしまったとしても、眼球有色部の画素値を抽出する可能性を上げることができ、瞬きの有無を好適に判別できる。

【0073】

また、画像処理装置１０は、判別用画像Ｄｎ－８～Ｄｎ－１の最も低い画素値の過去平均値Ｈを算出して使用するので、一時的に周囲の明るさに変化があったとしても、過去平均値Ｈに対する影響を小さく抑えることができ、瞬きの有無を好適に判別できる。

【0074】

画像処理装置１０は、判別用画像Ｄｎの平均値Ｇと判別用画像Ｄｎ－８～Ｄｎ－１の最も低い画素値の過去平均値Ｈとの比を算出して閉眼閾値より大きい場合に、画像Ｐｎにおいて認証対象Ｔの目が閉じていると判別する。過去フレームと現在のフレームとの比で目の開閉状態を判別するので、個人差（目の大きさの違い）を吸収でき、瞬きの有無を好適に判別できる（図１１参照）。

【0075】

また、画像処理装置１０は、画素のうち、画素値が１８０以上である外れ値を除外して平均値を算出するので、眼鏡等に照明の映り込みがあった場合などに、映り込み等のあった画素を除外できる。従って、瞬きの有無を好適に判別できる。

【0076】

画像処理装置１０は、判別用画像をグレースケールに変換後に画素値を算出するので、画素値の算出負荷が減少し、処理を高速化できる。また、切り出された判別用画像を、アフィン変換で正方形にすることによっても、画素値の算出負荷が減少し、処理を高速化できる。

【0077】

また、画像処理装置１０は、判別用画像の基線Ｗに沿う方向の長さを、基線Ｗの長さの半分の長さとし、中間点が基線Ｗの中間点と一致するように設定し、基線に直交する方向の長さを、基線Ｗの長さの１５／３３と設定するので、眼球有色部を好適に判別用画像に入れることができ、平均値をより正確に算出できる。従って、瞬きの有無を好適に判別できる。

【0078】

画像処理装置１０は、画像Ｐｎにおける認証対象Ｔの目の開閉の判別と、画像Ｐｎ－１における認証対象Ｔの目の開閉の判別と、によって認証対象Ｔの瞬きの有無を判別するので、目を閉じた写真、静止画像の一時的な差し込み等による不正な認証突破を抑制できる。

【0079】

（変形例）
上記実施形態において、画像処理装置１０は、基線Ｗに沿う方向に１列に並んだ画素列毎に最も低い画素値を算出していたが、基線Ｗに直交する方向に１列に並んだ画素列毎に最も低い画素値を算出してもよい。

【0080】

また、上記実施形態では、画像処理装置１０は、撮像部４０、表示部６０等を有していたが、これらを外部機器によって代替してもよい。

【0081】

上記実施形態では、画像処理装置１０は、瞬き検出と顔認証とを実行していたが、顔認証を外部機器に行わせてもよい。

【0082】

上記実施形態では、画像処理装置１０では、閉眼閾値が１．３３に設定されていたが、１．２から１．４程度が好ましく、認証対象Ｔと撮像部４０との距離、撮像部４０周辺の照度等の諸条件にあわせて適切な閾値を設定するとよい。また、判別期間Ｑ、移動閾値等も適切な閾値を適宜設定するとよい。

【0083】

上記実施形態では、平均値Ｇは、判別用画像７つの過去平均値Ｈと比較されたが、例えば、処理速度の向上のために、判別用画像Ｄｎ－１の過去平均値と比較してもよいし、例えば、より精度を高めるために、判別用画像１０個の過去平均値と比較してもよく、過去平均値の算出に用いられる判別用画像の数は適宜増減させてもよい。

【0084】

また、上記実施形態では、眼球有色部として瞳孔および虹彩の想定位置を含むものを判別用画像としていたが、眼球有色部として瞳孔および虹彩のうち少なくとも一方の想定位置を含むものを判別用画像としてもよい。さらに、判別用画像は、認証対象Ｔの目頭Ｅ１と目尻Ｅ２の位置に基づいて切り出されていたが、認証対象Ｔの目の外形を表す器官点、虹彩の外形を表す器官点、眉毛を表す器官点等に基づいて切り出されてもよい。

【0085】

上記実施形態では、画像処理装置１０は、画素値が１８０以上のものを外れ値としていたが、例えば、認証対象Ｔの肌の色を示す画素値より２０パーセント以上高いものを外れ値としてもよいし、認証対象Ｔの肌の色を示す画素値より２０以上高いものを外れ値としてもよく、認証対象Ｔと撮像部４０との距離、撮像部４０周辺の照度等の諸条件にあわせて適切な外れ値を設定するとよい。また、算入許容値も、諸条件にあわせて入力部７０を介して適宜変更するとよい。

【0086】

また、上記実施形態では、判別用画像の基線Ｗに直交する方向の長さを、基線Ｗの長さの１５／３３としたが、例えば、処理の高速化のために基線Ｗの長さの４割としたり、直前の判別用画像と同一としたり、過去平均値を構成する判別用画像の平均の長さ等としてもよい。

【0087】

上記実施形態では、判別用画像は、アフィン変換により、正方形に変換されていたが、矩形に変換されてもよい。

【0088】

上記実施形態では、画像処理装置１０は、瞬き検出後に顔認証を行っていたが、顔認証後に瞬き検出を行ってもよいし、瞬き検出と顔認証とを並行して行ってもよい。

【0089】

上記実施形態では、画像処理装置１０は、２Ｄ顔認証を行っていたが、赤外線センサを用いた顔認証等、他の顔認証を行ってもよい。

【0090】

上記実施形態では、画像処理装置１０は、入退出管理に使用されていたが、出退勤管理、ＰＣセキュリティ、タブレットやスマートフォン等のログオン認証等に使用してもよいし、ロボットやロッカーに組み込んでもよい。

【0091】

上記実施形態では、画像処理装置１０では、判別用画像を、グレースケール変換していたが、グレースケール変換せずに、Ｇ／Ｈの値等を適宜調整して対応してもよい。

【0092】

この発明の画像処理装置１０の各機能は、通常のＰＣ（Ｐｅｒｓｏｎａｌ Ｃｏｍｐｕｔｅｒ）やタブレット等のコンピュータによっても実施することができる。具体的には、上記実施形態では、画像処理装置１０が行う瞬き検出組込顔認証処理、判別用画像生成処理、切り出し矩形編集処理、瞬き判別処理および目の開閉状態判別処理のプログラムが、記憶部３０のＲＯＭに予め記憶されているものとして説明した。しかし、プログラムを、フレキシブルディスク、ＣＤ－ＲＯＭ（Ｃｏｍｐａｃｔ Ｄｉｓｃ Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）、ＤＶＤ（Ｄｉｇｉｔａｌ Ｖｅｒｓａｔｉｌｅ Ｄｉｓｃ）およびＭＯ（Ｍａｇｎｅｔｏ－Ｏｐｔｉｃａｌ Ｄｉｓｃ）等のコンピュータ読み取り可能な記録媒体に格納して配布し、そのプログラムをコンピュータに読み込んでインストールすることにより、上述の各機能を実現することができるコンピュータを構成してもよい。

【0093】

以上、本発明の好ましい実施形態について説明したが、本発明は係る特定の実施形態に限定されるものではなく、本発明には、特許請求の範囲に記載された発明とその均等の範囲が含まれる。以下に、本願出願の当初の特許請求の範囲に記載された発明を付記する。

【0094】

（付記）
（付記１）
時系列的に撮像された認証対象の目を含む第１の画像および第２の画像から、前記認証対象の目の外形を表す器官点に基づいて瞳孔および虹彩のうち少なくとも一方の想定位置を含む第１および第２の判別用画像の切り出しを行う編集部と、
前記第１の判別用画像の画素値と、前記第２の判別用画像の画素値とを取得する取得部と、
前記第１の判別用画像の画素値と前記第２の判別用画像の画素値とに基づいて、前記認証対象の瞬きの有無を判別する判別部と、
を備える画像処理装置。

【0095】

（付記２）
前記編集部は、前記第１の画像の直前の撮像画像であり前記認証対象の目を含む第３の画像から、前記器官点に基づいて前記想定位置を含む第３の判別用画像を切り出し、
前記取得部は、前記第３の判別用画像の画素値を取得し、
前記判別部は、前記第１の判別用画像の画素値と前記第２の判別用画像の画素値と前記第３の判別用画像の画素値とに基づいて、前記認証対象の瞬きの有無を判別する、
付記１に記載の画像処理装置。

【0096】

（付記３）
前記編集部は、前記器官点のうち、前記認証対象の目頭および目尻を示す器官点に基づいて前記第１、第２および第３の判別用画像の切り出しを行う、
付記２に記載の画像処理装置。

【0097】

（付記４）
前記取得部は、前記第１の判別用画像、前記第２の判別用画像、前記第３の判別用画像のそれぞれの全画素について、前記認証対象の目頭と目尻とを結ぶ基線に略並行な方向である横方向に一列に並ぶ画素のうち最も低い画素値を抽出し、前記第１の判別用画像、前記第２の判別用画像、前記第３の判別用画像それぞれについて、最も低い画素値の平均値を算出する、
付記２に記載の画像処理装置。

【0098】

（付記５）
前記取得部は、前記第１の判別用画像の前記最も低い画素値の平均値と、前記第３の判別用画像の前記最も低い画素値の平均値と、の平均値である過去平均値を算出する、
付記４に記載の画像処理装置。

【0099】

（付記６）
前記取得部は、前記第２の判別用画像の前記最も低い画素値の平均値と前記過去平均値との比を算出し、
前記判別部は、前記比が閉眼閾値より大きい場合に、前記第２の画像において前記認証対象の目が閉じていると判別する、
付記５に記載の画像処理装置。

【0100】

（付記７）
前記取得部は、前記画素のうち、画素値が前記認証対象の肌の色を示す画素値より２０以上高い数値である外れ値を除外して前記平均値を算出する、
付記４に記載の画像処理装置。

【0101】

（付記８）
前記取得部は、前記第１、第２および第３の判別用画像をグレースケールに変換後に画素値を取得する、
付記２に記載の画像処理装置。

【0102】

（付記９）
前記取得部は、前記第１、第２および第３の判別用画像の前記基線に沿う方向の長さを、前記基線の長さの半分の長さとし、中間点が前記基線の中間点と一致する、
付記４に記載の画像処理装置。

【0103】

（付記１０）
前記取得部は、切り出された前記第１、第２および第３の判別用画像を、アフィン変換で矩形にし、前記第１、第２および第３の判別用画像の底辺を前記第１、第２および第３の画像の底辺と平行にする、
付記２に記載の画像処理装置。

【0104】

（付記１１）
前記判別部は、前記第３の画像における前記認証対象の目の開閉の判別と、前記第２の画像における前記認証対象の目の開閉の判別と、によって前記認証対象の瞬きの有無を判別する、
付記６に記載の画像処理装置。

【0105】

（付記１２）
時系列的に撮像された認証対象の目を含む第１の画像および第２の画像から、前記認証対象の目の外形を表す器官点に基づいて瞳孔および虹彩のうち少なくとも一方の想定位置を含む第１および第２の判別用画像の切り出しを行い、
前記第１の判別用画像の画素値と、前記第２の判別用画像の画素値とを取得し、
前記第１の判別用画像の画素値と前記第２の判別用画像の画素値とに基づいて、前記認証対象の瞬きの有無を判別する、
画像処理方法。

【0106】

（付記１３）
コンピュータに、
時系列的に撮像された認証対象の目を含む第１の画像および第２の画像から、前記認証対象の目の外形を表す器官点に基づいて瞳孔および虹彩のうち少なくとも一方の想定位置を含む第１および第２の判別用画像の切り出しを行い、
前記第１の判別用画像の画素値と、前記第２の判別用画像の画素値とを取得し、
前記第１の判別用画像の画素値と前記第２の判別用画像の画素値とに基づいて、前記認証対象の瞬きの有無を判別する、
ように機能させるためのプログラム。

【符号の説明】

【0107】

１０…画像処理装置、２０…制御部、２１…画像取得部、２２…検出部、２３…判別部、２４…編集部、２５…画素値取得部（取得部）、２６…顔認証部、３０…記憶部、３１…画像記憶部、３２…顔画像記憶部、３３…平均値記憶部、３４…判別用画像記憶部、３５…顔認証画像記憶部、３６…設定記憶部、４０…撮像部、４１…撮像装置、４２…駆動装置、５０…通信部、５１…通信装置、６０…表示部、６１…表示装置、７０…入力部、７１…入力装置、Ｂ…分割線、Ｅ１…目頭、Ｅ２…目尻、Ｆ…顔、Ｇ…平均値、Ｈ…過去平均値、Ｊ１、Ｊ２…垂直線、Ｋ１～Ｋ４：基準点、Ｔ…認証対象、Ｖ…器官点、Ｗ…基線

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】