特開 2024-6316 画像処理装置、画像処理システム、画像処理方法およびプログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2024006316

(43)【公開日】2024-01-17

(54)【発明の名称】画像処理装置、画像処理システム、画像処理方法およびプログラム

(51)【国際特許分類】

   G06V 40/40 20220101AFI20240110BHJP

   G06T 7/00 20170101ALI20240110BHJP

   G06V 40/20 20220101ALI20240110BHJP

   G06T 7/20 20170101ALI20240110BHJP

【ＦＩ】

G06V40/40

G06T7/00 510F

G06V40/20

G06T7/20 300B

【審査請求】未請求

【請求項の数】10

【出願形態】ＯＬ

(21)【出願番号】P 2022107096

(22)【出願日】2022-07-01

(71)【出願人】

【識別番号】000001443

【氏名又は名称】カシオ計算機株式会社

(74)【代理人】

【識別番号】100095407

【弁理士】

【氏名又は名称】木村 満

(72)【発明者】

【氏名】奈良 和也

【テーマコード（参考）】

5B043

5L096

【Ｆターム（参考）】

5B043AA10

5B043BA04

5B043DA05

5L096CA04

5L096EA03

5L096GA19

5L096GA51

5L096HA04

(57)【要約】      （修正有）

【課題】不正な認証突破を抑制する簡易な構成の顔認証を実行する画像処理装置、画像処理システム、画像処理方法及びプログラムを提供する。
【解決手段】画像処理システムにおいて、画像処理装置２は、認証対象の顔が時系列的に撮像された第１の画像および第２の画像に含まれる第１の顔画像と第２の顔画像とを用いてオプティカルフローを行う処理部２６と、オプティカルフローにより得られた顔の動きベクトルＭＶに基づいて、認証対象が生体であるか否かを判別する判別部２３と、を有する。
【選択図】図４

【特許請求の範囲】

【請求項1】

認証対象の顔が時系列的に撮像された第１の画像および第２の画像に含まれる第１の顔画像と第２の顔画像とを用いてオプティカルフローを行う処理部と、
前記オプティカルフローにより得られた前記顔の動きベクトルに基づいて、前記認証対象が生体であるか否かを判別する判別部と、
を備える画像処理装置。

【請求項2】

前記第１の画像および前記第２の画像から、前記第１の顔画像および前記第２の顔画像の切り出しを行う編集部をさらに備える、
請求項１に記載の画像処理装置。

【請求項3】

前記編集部は、前記第１の顔画像および前記第２の顔画像をそれぞれ複数の領域に分割し、
前記判別部は、前記複数の領域の動きベクトルに基づいて、前記認証対象が生体であるか否かを判別する、
請求項２に記載の画像処理装置。

【請求項4】

前記複数の領域の動きベクトルの差分二乗和が動作閾値以上である場合に、前記認証対象が生体であると判別する、
請求項３に記載の画像処理装置。

【請求項5】

前記編集部は、前記第１の顔画像と、前記第２の顔画像の大きさを揃える、
請求項４に記載の画像処理装置。

【請求項6】

前記第１の顔画像と、前記第２の顔画像の大きさを揃えるのに対応して、前記複数の領域の大きさおよび動きベクトルを調整する、
請求項５に記載の画像処理装置。

【請求項7】

前記複数の領域の動きベクトルは、前記第１の画像および前記第２の画像から得られる前記認証対象の顔の動きベクトルを予め差し引かれている、
請求項６に記載の画像処理装置。

【請求項8】

請求項１から７のいずれか１項に記載の画像処理装置と、
前記認証対象を撮像する撮像装置と、
前記認証対象に認証結果を提示する表示装置と、
を有する画像処理システム。

【請求項9】

認証対象の顔が時系列的に撮像された第１の画像および第２の画像に含まれる第１の顔画像と第２の顔画像とを用いてオプティカルフローを行い、
前記オプティカルフローにより得られた前記顔の動きベクトルに基づいて、前記認証対象が生体であるか否かを判別する、
画像処理方法。

【請求項10】

コンピュータに、
認証対象の顔が時系列的に撮像された第１の画像および第２の画像に含まれる第１の顔画像と第２の顔画像とを用いてオプティカルフローを行い、
前記オプティカルフローにより得られた前記顔の動きベクトルに基づいて、前記認証対象が生体であるか否かを判別する、
ように機能させるためのプログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、画像処理装置、画像処理システム、画像処理方法およびプログラムに関する。

【背景技術】

【0002】

従来、生体認証技術の一つとして、認証対象である人物の顔画像を取得し、これを予め登録された顔画像と照合することにより、本人であるか否かの認証を行う顔認証技術が知られている。顔認証を不正に認証突破されることを抑制するために、例えば、特許文献１に記載の生体認証装置は、光学パターンを照射して顔の３次元情報を取得することにより認証対象の顔の３次元画像を生成して顔認証を行い、虹彩認証も同時に行う。

【先行技術文献】

【特許文献】

【0003】

【特許文献1】特開２０２０－１３４４３号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

特許文献１に開示された生体認証装置では、顔の３次元情報および虹彩の情報を取得するために、２種類の光学パターンを照射する投影装置等を組み込む必要があり、また、３次元情報に係る各種計算を大量に実行する必要がある。従って、生体認証装置の構成が複雑化する。

【0005】

本発明は、上記課題を解決するためになされたものであり、不正な認証突破を抑制できる簡易な構成の顔認証を実行する画像処理装置、画像処理システム、画像処理方法およびプログラムを提供することを目的とする。

【課題を解決するための手段】

【0006】

上記目的を達成するため、本発明の画像処理装置は、
認証対象の顔が時系列的に撮像された第１の画像および第２の画像に含まれる第１の顔画像と第２の顔画像とを用いてオプティカルフローを行う処理部と、
前記オプティカルフローにより得られた前記顔の動きベクトルに基づいて、前記認証対象が生体であるか否かを判別する判別部と、
を備える。

【発明の効果】

【0007】

本発明によれば、不正な認証突破を抑制できる簡易な構成の顔認証を実行することができる。

【図面の簡単な説明】

【0008】

【図1】（ａ）は、本発明の実施形態に係る画像処理システムで生体認証されたときの第１の顔画像を簡略化して示す図であり、（ｂ）は、第２の顔画像を簡略化して示す図である。

【図2】（ａ）は、本発明の実施形態に係る画像処理システムで生体認証されなかったときの第１の顔画像を簡略化して示す図であり、（ｂ）は、第２の顔画像を簡略化して示す図である。

【図3】本発明の実施形態に係る画像処理システムの構成を例示する図である。

【図4】本発明の実施形態に係る画像処理システムのブロック図である。

【図5】図１（ａ）、（ｂ）を用いてオプティカルフローを実行して得られたデータを示す図である。

【図6】図２（ａ）、（ｂ）を用いてオプティカルフローを実行して得られたデータを示す図である。

【図7】本発明の実施形態に係る生体検知対応顔認証処理のフローチャートである。

【発明を実施するための形態】

【0009】

本発明の実施形態に係る画像処理システムについて、以下、図面を参照して詳細に説明する。

【0010】

［画像処理システムの概要］
本発明の実施形態に係る画像処理システムは、例えば、商業施設等の限られたスタッフ等（認証対象Ｔを含む場合がある）が立ち入りを許される管理対象エリア（セキュリティエリア）において、入退出の際の顔認証および顔認証の信頼性を高めるための生体検知を行う。生体検知には、例えば、図１（ａ）に示す認証対象Ｔの顔を映した動画の１フレームであり、顔を複数の領域Ｒに分割した第１の顔画像Ｆ１、および第１の顔画像Ｆ１の次のフレームである、図１（ｂ）に示す第２の顔画像Ｆ２を使用する。顔認証には、第１の顔画像Ｆ１または第２の顔画像Ｆ２、或いは複数の領域Ｒに分割する前の顔画像を使用する。画像処理システム１では、顔認証後に生体検知が行われる。

【0011】

顔認証は、一般的な認証方式であるビジュアル方式で行われる。生体検知は、第１の顔画像Ｆ１と第２の顔画像Ｆ２とで認証対象Ｔの顔の動きを検出し、その動きをベクトルで表現する処理（オプティカルフロー）を行う。オプティカルフローにより得られた認証対象Ｔの顔のそれぞれの領域Ｒの動きベクトルＭＶの差分二乗和（ＳＳＤ：Ｓｕｍ ｏｆ Ｓｑｕａｒｅｄ Ｄｉｆｆｅｒｅｎｃｅ）を取得し、差分二乗和が動作閾値以上である領域が存在した場合に、認証対象Ｔは生体であると判別されて入退出が許可される。差分二乗和が動作閾値未満である場合には、認証対象Ｔは生体ではないと判別され、認証対象Ｔの入退出は許可されない。このように、画像処理システム１は、特別な装置や構成を有することなく、簡易な構成で顔認証における不正な認証突破を抑制することができる。

【0012】

［画像処理システムの構成］
以下、画像処理システム１の構成を説明する。図３に示すように、画像処理システム１は、生体検知および顔認証を行う画像処理装置２、認証対象Ｔを撮像する撮像装置４、撮像された認証対象Ｔや認証結果等を表示する表示装置６、を有する。図４に示すように、画像処理装置２は、オプティカルフローを行う制御部２０と、認証対象Ｔの顔画像、動きベクトル等を記憶する記憶部３０と、撮像装置４、表示装置６や入退出ゲートとの通信を行う通信部５０と、情報等を入力する入力部７０と、を備える。

【0013】

制御部２０は、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）等の少なくとも１つのプロセッサで構成され、記憶部３０に記憶されたプログラム等を実行することにより、後述する各部（画像取得部２１、顔認証部２２、判別部２３、編集部２４、特徴点検出部２５、処理部２６）の機能を実現する。また、制御部２０は、図示しない時計を有し、現在日時の取得や経過時間のカウント等をすることができる。

【0014】

記憶部３０は、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）等の少なくとも１つのメモリで構成され、ＲＯＭの一部または全部は電気的に書き換え可能なメモリ（フラッシュメモリ等）で構成されている。記憶部３０は、機能的に、画像記憶部３１と、顔認証画像記憶部３２と、顔画像記憶部３３と、特徴点記憶部３４と、設定記憶部３５と、を有する。ＲＯＭには、制御部２０のＣＰＵが実行するプログラムおよびプログラムを実行する上であらかじめ必要なデータが記憶されている。ＲＡＭには、プログラム実行中に作成されたり、変更されるデータが記憶される。

【0015】

画像記憶部３１には、撮像部４０に撮像された第１の画像、第２の画像等が記憶される。

【0016】

顔認証画像記憶部３２には、顔認証部２２が顔認証の際に使用する、管理対象エリアに立ち入りが許されたスタッフ等の顔画像が記憶される。画像処理システム１の管理者は、眼鏡が必要になった、コンタクトを使用することで眼鏡が不要になった、短髪にした等顔画像に変化があった際や、管理エリア立ち入り許可スタッフの退職や入職等の際に、新しい顔画像の登録、古い顔画像の削除等を行うことができる。

【0017】

顔画像記憶部３３には、編集部２４に編集された第１の顔画像Ｆ１、第２の顔画像Ｆ２等が記憶される。

【0018】

特徴点記憶部３４には、特徴点検出部２５に検出された特徴点が第１の画像、第２の画像とともに記憶される。

【0019】

設定記憶部３５には、画像処理装置２で使用する各種設定が記憶される。顔の向き、角度が同一か否かを判別するフレーム数、生体検知許容差違、動作閾値等の生体検知対応顔認証処理に必要な設定値等が記憶され、画像処理システム１の管理者は必要に応じてこれらの設定について入力部７０を介して変更することができる。ここで、顔の向きとは、首を中心に顔を左右に回転させることで変わるものである。顔の角度とは、頭頂を中点とした顔の角度を表すものである。

【0020】

通信部５０は、入退出ゲート等の外部機器と通信するためのモジュールである通信装置５１を有する。通信装置５１は、外部機器と通信する場合にはアンテナを含む無線モジュールである。例えば、通信装置５１は、Ｂｌｕｅｔｏｏｔｈ（登録商標）に基づく近距離無線通信を行うための無線モジュールである。通信部５０を介して、画像処理装置２は、撮像装置４、表示装置６、入退出ゲート等をコントロールして、認証対象Ｔの入退出、管理対象エリアのセキュリティを管理する。

【0021】

入力部７０は、認証対象Ｔが画像処理装置２に諸情報を入力するための入力装置７１を有する。入力部７０は、管理者、認証対象Ｔ等が情報等を入力するためのキーボード、マウス等も有する。

【0022】

撮像装置４は、認証対象Ｔを撮像する撮像部４０と、撮像部４０の姿勢を変化させる駆動部４１と、を有する。

【0023】

撮像部４０は、ＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ Ｍｅｔａｌ Ｏｘｉｄｅ Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）カメラを備える。撮像部４０は、認証対象Ｔを撮像し、第１の画像、第２の画像等を生成する。

【0024】

駆動部４１は、撮像部４０の姿勢を変化させる。これにより、撮像部４０の撮像範囲や撮像角度等を変化させ、認証対象Ｔの顔を適切に撮像することができる。

【0025】

表示装置６は、液晶表示パネル（ＬＣＤ：Ｌｉｑｕｉｄ Ｃｒｙｓｔａｌ Ｄｉｓｐｌａｙ）から構成された表示部６０を備える。

【0026】

表示部６０は、薄膜トランジスタ（ＴＦＴ：Ｔｈｉｎ Ｆｉｌｍ Ｔｒａｎｓｉｓｔｏｒ）、液晶、または有機ＥＬ等により構成される。表示部６０は、第１の顔画像Ｆ１、第２の顔画像Ｆ２等を表示する。

【0027】

次に、画像処理装置２の制御部２０の機能的構成について説明する。制御部２０は、画像取得部２１、顔認証部２２、判別部２３、編集部２４、特徴点検出部２５、処理部２６、の機能を実現し、後述する顔認証生体検知入退出処理等を行う。

【0028】

画像取得部２１は、あらかじめ画像処理装置２に設定された、またはユーザ設定された条件等で撮像範囲を撮像部４０に撮像させ、第１の画像、第２の画像等を含む動画を取得する。画像取得部２１は、取得した第１の画像を顔認証部２２に送信する。また、画像取得部２１は、取得した第１の画像、第２の画像を含む動画を画像記憶部３１に記憶する。

【0029】

顔認証部２２は、画像取得部２１から送信された第１の画像を用いて顔認証を行う。顔認証部２２は、画像に写った目・鼻・口等の位置を認識し、顔認証画像記憶部３２内の顔画像と照合することにより、特定の人物であると認証する、公知の２Ｄ顔認証を行う。

【0030】

判別部２３は、各画像内の認証対象Ｔの顔の向きおよび角度が同一であるか否かを判別する。また、判別部２３は、第１の画像における顔位置情報（画像内での顔の位置）と第２の画像における顔位置情報との差違が生体検知許容差違以内であるか否かを判別する。さらに、顔画像全体の動きベクトルＧＭＶを差し引いた各領域Ｒの動きベクトルＭＶの差分二乗和が動作閾値以上の領域Ｒがあるか否かを判別する。

【0031】

編集部２４は、画像取得部２１が取得した第１の画像および第２の画像から、認証対象Ｔの顔の正面のパーツおよびその周辺が映った第１の顔画像Ｆ１および第２の顔画像Ｆ２を、２２４ピクセル×２２４ピクセルに切り出す。また、切り出した第２の顔画像Ｆ２を第１の顔画像Ｆ１のサイズと同じになるように調整する。さらに、図１および図２（ａ）、（ｂ）に示すように、第１の顔画像Ｆ１および第２の顔画像Ｆ２に複数の、本実施形態では５×５の矩形状の領域Ｒを設定する。各領域のサイズは、３２ピクセル×３２ピクセルとする。また、編集部２４は、顔画像のサイズの調整を行うために第２の顔画像Ｆ２の始点をオフセットして、第１の顔画像Ｆ１と第２の顔画像Ｆ２との顔の位置合わせを行う。始点のオフセット、顔の位置合わせの詳細は後述する。編集部２４は、切り出した第１の顔画像Ｆ１および第２の顔画像Ｆ２を顔画像記憶部３３に記憶する。

【0032】

特徴点検出部２５は、第１の顔画像Ｆ１および第２の顔画像Ｆ２の複数の領域Ｒ内において、特徴点を検出する。特徴点検出部２５は、検出した特徴点を特徴点記憶部３４に記憶する。

【0033】

処理部２６は、特徴点検出部２５が検出した特徴点を用いて第１の顔画像Ｆ１および第２の顔画像Ｆ２とでオプティカルフローを行い、複数の領域Ｒの動きベクトルＭＶを取得する。また、顔画像全体の動きベクトルＧＭＶも取得する。さらに、顔画像全体の動きベクトルＧＭＶを差し引いた各領域Ｒの動きベクトルＭＶの差分二乗和を算出する。なお、オプティカルフローの計算には、Ｌｕｃａｓ－Ｋａｎａｄｅ法を用いる。

【0034】

以上、制御部２０の機能的構成について説明した。以下、第１の顔画像Ｆ１が図１（ａ）、第２の顔画像Ｆ２が図１（ｂ）である場合、および第１の顔画像Ｆ１が図２（ａ）、第２の顔画像Ｆ２が図２（ｂ）である場合を例として、画像処理システム１で行われる生体検知対応顔認証処理について具体的に説明する。なお、図１（ａ）、図２（ａ）、（ｂ）に示す顔画像Ｆ１，Ｆ２（すなわち第１および第２の画像に映された顔画像）と同一である顔画像は、顔認証画像記憶部３２に記憶されているものとする。また、認証対象Ｔの顔は、指定フレーム数の間、顔の向き、角度が同一であるとする。第１、第２の画像内の認証対象Ｔの顔位置の差違は生体検知許容差違以内であるとし、図１（ａ）、（ｂ）に示すような顔画像Ｆ１，Ｆ２を用いてオプティカルフローを行った結果、図５に例示するデータが得られたものとする。また、図２（ａ）、（ｂ）に示すような顔画像Ｆ１，Ｆ２を用いてオプティカルフローを行った結果、図６に例示するデータが得られたものとする。

【0035】

（第１の顔画像Ｆ１が図１（ａ）、第２の顔画像Ｆ２が図１（ｂ）である場合）
図３に示すように、認証対象Ｔが画像処理システム１の撮像装置４の前に立ち、撮像装置４は、認証対象Ｔの顔を動画に撮像する。画像取得部２１は、動画から第１の画像、第２の画像を取得し、第１の画像を顔認証部２２に送信する。

【0036】

顔認証部２２は、第１の画像に映された顔画像と顔認証画像記憶部３２に記憶されている顔画像とを照合する。段落００３４で設定したように、第１の画像に映された顔画像と同一である顔画像が顔認証画像記憶部３２に記憶されているので、認証成功する。

【0037】

また、段落００３４で設定したように、認証対象Ｔの顔は、指定フレーム数の間、顔の向き、角度が同一であり、第１、第２の画像内の認証対象Ｔの顔位置の差違は生体検知許容差違以内であるので、編集部２４は、第１の顔画像Ｆ１、第２の顔画像Ｆ２を生成する。

【0038】

調整後、顔の目、鼻、口が配置されている箇所を範囲に含めるように複数の領域Ｒ（本実施形態では５×５＝２５個の領域Ｒ）を設定し、図１（ａ）、（ｂ）に示す、第１の顔画像Ｆ１および第２の顔画像Ｆ２が得られる。編集部２４は、サイズの調整にあわせて第２の顔画像Ｆ２の始点をオフセットして、第１の顔画像Ｆ１と第２の顔画像Ｆ２との顔の位置合わせを行う。編集部２４は、第１の画像から第１の顔画像Ｆ１、第２の画像から位置合わせを行った第２の顔画像Ｆ２を切り出し、第２の顔画像Ｆ２を第１の顔画像Ｆ１のサイズと同じになるように調整する。始点のオフセットおよび調整方法は、整体検知対応顔認証処理のステップＳ６において後述する。なお、始点は、顔画像の左上端の頂点とする。

【0039】

特徴点検出部２５は、第１の顔画像Ｆ１および第２の顔画像Ｆ２の複数の領域Ｒ内において、特徴点を検出する。

【0040】

処理部２６は、検出された特徴点を用いて第１の顔画像Ｆ１および第２の顔画像Ｆ２とでオプティカルフローを行い、複数の領域Ｒの動きベクトルＭＶを取得する。また、顔画像全体の動きベクトルＧＭＶも取得する。

【0041】

図５に示す動きベクトルＭＶおよび顔画像全体の動きベクトルＧＭＶが得られ、顔画像全体の動きベクトルＧＭＶを差し引いた各領域Ｒの動きベクトルＭＶの差分二乗和が算出される。

【0042】

差分二乗和が４８を超える領域Ｒが５つある（図５のＳＳＤ（－ＧＭＶ）の項目のうち［］で囲まれた数値が５つある）ので、判別部２３は、図１（ａ）、（ｂ）に映された認証対象Ｔが生体であると判別し、顔認証が正当に認証成功されたとして、認証対象Ｔに入退出許可を与える。

【0043】

（第１の顔画像Ｆ１が図２（ａ）、第２の顔画像Ｆ２が図２（ｂ）である場合）
段落００３５－００３７，００３９－００４０については、第１，２の顔画像が図１（ａ）、（ｂ）の場合と同一の内容であるので省略する。以下、第１，２の顔画像が図１（ａ）、（ｂ）の場合と異なる内容を含む段落についてのみ説明する。

【0044】

編集部２４は、第１の画像から第１の顔画像Ｆ１、第２の画像から第２の顔画像Ｆ２を切り出し、第２の顔画像Ｆ２を第１の顔画像Ｆ１のサイズと同じになるように調整する。調整後、顔の目、鼻、口が配置されている箇所を範囲に含めるように複数の領域Ｒ（本実施形態では５×５＝２５個の領域Ｒ）を設定し、図２（ａ）、（ｂ）に示す、第１の顔画像Ｆ１および第２の顔画像Ｆ２が得られる。

【0045】

図６に示す動きベクトルＭＶおよび顔画像全体の動きベクトルＧＭＶが得られ、顔画像全体の動きベクトルＧＭＶを差し引いた各領域Ｒの動きベクトルＭＶの差分二乗和が算出される。

【0046】

差分二乗和が４８を超える領域Ｒが無い（図６のＳＳＤ（－ＧＭＶ）の項目のうち［］で囲まれた数値が無い）ので、判別部２３は、図２（ａ）、（ｂ）に映された認証対象Ｔが生体で無いと判別し、顔認証の不正な認証突破が試みられたので認証失敗であると判別して、認証対象Ｔに入退出許可を与えない。

【0047】

以下、画像処理システム１で行われる生体検知対応顔認証処理についてフローチャートを用いて説明する。

【0048】

（生体検知対応顔認証処理）
図７を参照して、生体検知対応顔認証処理のフローを説明する。生体検知対応顔認証処理によって、顔認証に対する不正な認証突破を抑制することができる。画像処理システム１では、顔認証および生体検知を組み合わせて入退出管理を行う。顔認証が認証成功であっても、その後に続いて行われる生体検知において、認証対象Ｔが生体であると判別されなければ認証対象Ｔは入退出を許可されない。

【0049】

まず、画像取得部２１は、認証対象Ｔの顔が撮像された動画から第１の画像を取得する（ステップＳ１）。

【0050】

ステップＳ２に進み、顔認証部２２は、第１の画像を用いて顔認証を行う。第１の画像内の顔と同一とみなせる顔画像が顔認証画像記憶部３２に記憶された画像内にあり、顔認証に成功した場合（ステップＳ２：Ｙｅｓ）、ステップＳ３に進む。顔認証に失敗した場合（ステップＳ２：Ｎｏ）、表示部６０に非認証のメッセージを表示して（ステップＳ１４）終了する。

【0051】

ステップＳ３では、画像取得部２１は、認証対象Ｔの顔が撮像された動画から第１の画像に連続するフレームである第２の画像を取得し、ステップＳ４に進む。

【0052】

ステップＳ４では、判別部２３は、第１の画像の直前の８フレームおよび第１の画像、第２の画像の２フレームの計１０フレーム（以後、顔配置確認フレームとする）の画像において、認証対象Ｔの顔の向きおよび角度が同一であるか否かを判別する。顔配置確認フレームの画像において、認証対象Ｔの顔の向きおよび角度が同一である場合（ステップＳ４：Ｙｅｓ）、ステップＳ５に進む。認証対象Ｔの顔の向きおよび角度が同一でない場合（ステップＳ４：Ｎｏ）、生体検知の精度の低下が予想されるので生体検知を行わず、ステップＳ１に戻る。

【0053】

ステップＳ５では、判別部２３は、第１の画像における顔位置（座標）情報と第２の画像における顔位置（座標）情報との差違が生体検知許容差違である３０ピクセル以内であるか否かを判別する。差違が３０ピクセル以内である場合（ステップＳ５：Ｙｅｓ）、ステップＳ６に進み、差違が３０ピクセルを超えた場合（ステップＳ５：Ｎｏ）、生体検知の精度の低下が予想されるので生体検知を行わず、ステップＳ１に戻る。

【0054】

ステップＳ６では、編集部２４は、第１の顔画像と第２の顔画像との大きさを比較し、第１の顔画像と第２の顔画像との大きさが異なる場合に、第２の顔画像Ｆ２の始点をオフセットして、第１の顔画像Ｆ１と第２の顔画像Ｆ２との顔の位置合わせを行う。具体的には、位置合わせでは、以下の２つのいずれかの処理を行う。「第１の顔画像のサイズ＞第２の顔画像のサイズ」である場合、（（第１の顔画像のサイズ－第２の顔画像のサイズ）÷２）だけ、第２の顔画像の始点の座標をマイナス方向にずらす。例えば、第１の顔画像の始点（１００、１００）、第１の顔画像のサイズが幅３００高さ３００、第２の顔画像の始点（１００、１００）、第２の顔画像のサイズが幅２８０高さ２８０である場合、第２の顔画像の始点（１００、１００）から（３００－２８０）÷２ずつ引いて（９０、９０）を始点の座標とする。その後、ステップＳ７で、第２の顔画像のサイズを第１の顔画像のサイズに拡大する。「第１の顔画像のサイズ＜第２の顔画像のサイズ」である場合、（（第２の顔画像のサイズ－第１の顔画像のサイズ）÷２）だけ、第２の顔画像の始点の座標をプラス方向にずらす。例えば、第１の顔画像の始点（１００、１００）、第１の顔画像のサイズが幅２６０高さ２６０、第２の顔画像の始点（１００、１００）、第２の顔画像のサイズが幅３００高さ３００である場合、第２の顔画像の始点（１００、１００）に（３００－２６０）÷２ずつ加えて（１２０、１２０）を始点の座標とする。その後、ステップＳ７で、第２の顔画像のサイズを第１の顔画像のサイズに縮小する。

【0055】

ステップＳ７では、編集部２４は、第１の画像から第１の顔画像Ｆ１を切り出し、第２の画像から位置合わせを行った第２の顔画像Ｆ２を切り出す。このとき、認証対象Ｔの顔の移動（微動）や顔情報のばらつきによる影響を低減させるため、編集部２４は、第２の顔画像Ｆ２のサイズを第１の顔画像Ｆ１のサイズと同じになるように調整する。また、第１の顔画像Ｆ１および第２の顔画像Ｆ２に複数の領域Ｒを設定する。

【0056】

ステップＳ８に進み、特徴点検出部２５は、第１の顔画像Ｆ１および第２の顔画像Ｆ２から特徴点を検出する。処理部２６は、検出された特徴点および顔の位置合わせ後の第１の顔画像Ｆ１と第２の顔画像Ｆ２とを用いて、オプティカルフローを行う。

【0057】

ステップＳ９では、処理部２６は、ステップＳ８でのオプティカルフローの実行によって、認証対象Ｔの顔画像全体の動きベクトルＧＭＶを取得する。

【0058】

ステップＳ１０では、処理部２６は、認証対象Ｔの顔画像全体の動きベクトルＧＭＶを差し引いた顔画像の各領域Ｒの動きベクトルＭＶを算出する。その後、処理部２６は、算出した各領域Ｒの動きベクトルＭＶの差分二乗和を取得する。

【0059】

ステップＳ１１に進み、判別部２３は、差分二乗和が動作閾値である４８以上の数値である領域Ｒがあったか否かを判別する。差分二乗和が８以上の数値である領域Ｒがあった場合（ステップＳ１１：Ｙｅｓ）、認証対象Ｔは生体であり、顔認証の正当な認証成功であったと判別して入退出許可を出して（ステップＳ１２）、終了する。差分二乗和が４８以上の数値であった領域Ｒが無かった場合（ステップＳ１１：Ｎｏ）、認証対象Ｔは生体ではなく、顔認証の不正な認証突破が試みられたので認証失敗であると判別して入退出許可を出さず（ステップＳ１３）、終了する。

【0060】

以上、生体検知対応顔認証処理について説明した。

【0061】

このように、生体検知対応顔認証処理によって、画像処理システム１は、認証対象Ｔの顔が時系列的に撮像された第１および第２の画像に含まれる第１の顔画像Ｆ１および第２の顔画像Ｆ２を用いてオプティカルフローによって顔画像の顔の各部の動きベクトルＭＶの差分二乗和を取得し動作閾値と比較することにより、認証対象Ｔが生体であるか否かを判別するという簡易な構成で、予め用意されていた静止画像、ポスター写真、人形等による顔認証に対する不正な認証突破を判別し、抑制できる。また、第１の顔画像Ｆ１および第２の顔画像Ｆ２の切り出しを行い、第１の顔画像Ｆ１および第２の顔画像Ｆ２をそれぞれ複数の領域Ｒに分割して動きベクトルＭＶを取得することにより、計算量を大きく削減することができる。

【0062】

また、画像処理システム１は、第１の顔画像Ｆ１と、第２の顔画像Ｆ２の大きさを揃えることにより、動きベクトルＭＶの精度を上げることができる。さらに、第１の顔画像Ｆ１と、第２の顔画像Ｆ２の大きさを揃えるのに対応して、複数の領域Ｒの大きさおよび動きベクトルＭＶを調整することにより、動きベクトルＭＶの精度を上げることができる。また、複数の領域Ｒの動きベクトルＭＶは、第１および第２の画像から得られる認証対象Ｔの顔の動きベクトルを予め差し引くことにより、顔画像内の各領域内での特徴点の動きを抽出することができる。

【0063】

（変形例）
上記実施形態において、画像処理システム１は、差分二乗和が動作閾値以上で生体であると判別していたが、差分の絶対値の和（ＳＡＤ：Ｓｕｍ ｏｆ Ａｂｓｏｌｕｔｅ Ｄｉｆｆｅｒｅｎｃｅ）が動作閾値以上で認証対象Ｔが生体であると判別してもよい。

【0064】

また、上記実施形態では、画像処理システム１は、画像処理装置２、撮像装置４、表示装置６を有していたが、これらをタブレット等の１つの機器によって代替してもよい。或いは、例えば、表示装置と撮像装置とが１つの機器で構成されていてもよい。

【0065】

上記実施形態では、画像処理装置２は、生体検知と顔認証とを実行していたが、顔認証を外部機器に行わせてもよい。

【0066】

上記実施形態では、画像処理システム１では、動作閾値が４８に設定されていたが、認証対象Ｔと撮像装置４との距離、撮像装置４の解像度等の条件にあわせて適切な閾値を設定するとよい。また、生体検知許容差違等も適切な閾値を適宜設定するとよい。

【0067】

また、上記実施形態では、画像処理システム１は、図１（ａ）、（ｂ）および図２（ａ）、（ｂ）に示すような、５×５の領域Ｒに分割していたが、分割数を変更してもよいし、例えば、ほぼ動きの見られない頬の位置付近の領域Ｒを設定しない、或いはオプティカルフローの対象外としてもよい。或いは、分割せずに１つの領域としてもよいし、領域Ｒに分割することなく、直接認証対象Ｔの顔の各部（例えば、目、鼻、口、眉、顔の輪郭等）の動きベクトルを算出してもよい。

【0068】

上記実施形態では、画像処理システム１は、第２の画像を第１の画像の次のフレームとしていたが、認証対象Ｔの瞬きが検知できるフレームレートであれば、第２の画像は第１の画像の２つ後のフレームや、それよりも後のフレームであってもよい。

【0069】

上記実施形態では、画像処理システム１は、顔認証後に生体検知を行っていたが、生体検知後に顔認証を行ってもよいし、生体検知と顔認証とを並行して行ってもよい。

【0070】

上記実施形態では、画像処理システム１は、２Ｄ顔認証を行っていたが、赤外線センサを用いた顔認証等、他の顔認証を行ってもよい。

【0071】

上記実施形態では、画像処理システム１は、入退出管理に使用されていたが、出退勤管理、ＰＣセキュリティ、タブレットやスマートフォン等のログオン認証等に使用してもよいし、ロボットやロッカーに組み込んでもよい。

【0072】

上記実施形態では、画像処理システム１では、第１の顔画像Ｆ１および第２の顔画像Ｆ２を、２２４ピクセル×２２４ピクセルに切り出し、３２ピクセル×３２ピクセルの領域Ｒを５×５の矩形状に編集していたが、これらの各数値は適宜調整してもよい。

【0073】

この発明の画像処理システム１の各機能は、通常のＰＣ（Ｐｅｒｓｏｎａｌ Ｃｏｍｐｕｔｅｒ）やタブレット等のコンピュータによっても実施することができる。具体的には、上記実施形態では、画像処理システム１が行う生体検知対応顔認証処理のプログラムが、記憶部３０のＲＯＭに予め記憶されているものとして説明した。しかし、プログラムを、フレキシブルディスク、ＣＤ－ＲＯＭ（Ｃｏｍｐａｃｔ Ｄｉｓｃ Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）、ＤＶＤ（Ｄｉｇｉｔａｌ Ｖｅｒｓａｔｉｌｅ Ｄｉｓｃ）およびＭＯ（Ｍａｇｎｅｔｏ－Ｏｐｔｉｃａｌ Ｄｉｓｃ）等のコンピュータ読み取り可能な記録媒体に格納して配布し、そのプログラムをコンピュータに読み込んでインストールすることにより、上述の各機能を実現することができるコンピュータを構成してもよい。

【0074】

以上、本発明の好ましい実施形態について説明したが、本発明は係る特定の実施形態に限定されるものではなく、本発明には、特許請求の範囲に記載された発明とその均等の範囲が含まれる。以下に、本願出願の当初の特許請求の範囲に記載された発明を付記する。

【0075】

（付記）
（付記１）
認証対象の顔が時系列的に撮像された第１の画像および第２の画像に含まれる第１の顔画像と第２の顔画像とを用いてオプティカルフローを行う処理部と、
前記オプティカルフローにより得られた前記顔の動きベクトルに基づいて、前記認証対象が生体であるか否かを判別する判別部と、
を備える画像処理装置。

【0076】

（付記２）
前記第１の画像および前記第２の画像から、前記第１の顔画像および前記第２の顔画像の切り出しを行う編集部をさらに備える、
付記１に記載の画像処理装置。

【0077】

（付記３）
前記編集部は、前記第１の顔画像および前記第２の顔画像をそれぞれ複数の領域に分割し、
前記判別部は、前記複数の領域の動きベクトルに基づいて、前記認証対象が生体であるか否かを判別する、
付記２に記載の画像処理装置。

【0078】

（付記４）
前記複数の領域の動きベクトルの差分二乗和が動作閾値以上である場合に、前記認証対象が生体であると判別する、
付記３に記載の画像処理装置。

【0079】

（付記５）
前記編集部は、前記第１の顔画像と、前記第２の顔画像の大きさを揃える、
付記４に記載の画像処理装置。

【0080】

（付記６）
前記第１の顔画像と、前記第２の顔画像の大きさを揃えるのに対応して、前記複数の領域の大きさおよび動きベクトルを調整する、
付記５に記載の画像処理装置。

【0081】

（付記７）
前記複数の領域の動きベクトルは、前記第１の画像および前記第２の画像から得られる前記認証対象の顔の動きベクトルを予め差し引かれている、
付記６に記載の画像処理装置。

【0082】

（付記８）
付記１から７のいずれか１つに記載の画像処理装置と、
前記認証対象を撮像する撮像装置と、
前記認証対象に認証結果を提示する表示装置と、
を有する画像処理システム。

【0083】

（付記９）
認証対象の顔が時系列的に撮像された第１の画像および第２の画像に含まれる第１の顔画像と第２の顔画像とを用いてオプティカルフローを行い、
前記オプティカルフローにより得られた前記顔の動きベクトルに基づいて、前記認証対象が生体であるか否かを判別する、
画像処理方法。

【0084】

（付記１０）
コンピュータに、
認証対象の顔が時系列的に撮像された第１の画像および第２の画像に含まれる第１の顔画像と第２の顔画像とを用いてオプティカルフローを行い、
前記オプティカルフローにより得られた前記顔の動きベクトルに基づいて、前記認証対象が生体であるか否かを判別する、
ように機能させるためのプログラム。

【符号の説明】

【0085】

１…画像処理システム、２…画像処理装置、４…撮像装置、６…表示装置、２０…制御部、２１…画像取得部、２２…顔認証部、２３…判別部、２４…編集部、２５…特徴点検出部、２６…処理部、３０…記憶部、３１…画像記憶部、３２…顔認証画像記憶部、３３…顔画像記憶部、３４…特徴点記憶部、３５…設定記憶部、４０…撮像部、４１…駆動部、５０…通信部、５１…通信装置、６０…表示部、７０…入力部、７１…入力装置、Ｆ１…第１の顔画像、Ｆ２…第２の顔画像、ＧＭＶ…顔画像全体の動きベクトル、ＭＶ…動きベクトル、Ｒ…領域、Ｔ…認証対象

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】