特開 2024-6234 画像処理装置、画像処理方法およびプログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2024006234

(43)【公開日】2024-01-17

(54)【発明の名称】画像処理装置、画像処理方法およびプログラム

(51)【国際特許分類】

   G06V 40/40 20220101AFI20240110BHJP

   G06T 7/00 20170101ALI20240110BHJP

   G06V 40/16 20220101ALI20240110BHJP

【ＦＩ】

G06V40/40

G06T7/00 510F

G06V40/16 A

【審査請求】未請求

【請求項の数】11

【出願形態】ＯＬ

(21)【出願番号】P 2022106940

(22)【出願日】2022-07-01

(71)【出願人】

【識別番号】000001443

【氏名又は名称】カシオ計算機株式会社

(74)【代理人】

【識別番号】100095407

【弁理士】

【氏名又は名称】木村 満

(72)【発明者】

【氏名】加藤 芳幸

【テーマコード（参考）】

5B043

【Ｆターム（参考）】

5B043AA09

5B043AA10

5B043BA04

5B043DA05

5B043EA05

5B043EA15

5B043GA02

5B043HA02

(57)【要約】

【課題】顔認証における不正な認証突破を抑制する画像処理装置、画像処理方法およびプログラムを提供する。
【解決手段】画像処理装置は、背景Ｂを映した第１の画像Ｐ１の特徴点Ｋ１と、背景Ｂに認証対象Ｔが映った第２の画像Ｐ２の特徴点Ｋ２と、を検出する特徴点検出部と、第１の画像Ｐ１の特徴点Ｋ１と、第２の画像Ｐ２の特徴点Ｋ２と、を比較することにより、不正な認証突破の試みの有無についての判別を行う判別部と、を備える。
【選択図】図２

【特許請求の範囲】

【請求項1】

背景を映した第１の画像の特徴点と、前記背景に認証対象が映った第２の画像の特徴点と、を検出する特徴点検出部と、
前記第１の画像の特徴点と、前記第２の画像の特徴点と、を比較することにより、不正な認証突破の試みの有無の判別を行う判別部と、
を備える画像処理装置。

【請求項2】

前記認証対象を前記第１の画像の特徴点のうち少なくとも１つの特徴点と重なる位置へ移動させるように誘導を行う誘導部をさらに備える、
請求項１に記載の画像処理装置。

【請求項3】

前記第２の画像を表示する表示部をさらに備え、
前記表示部に前記第２の画像とともに前記認証対象を移動させる方向を示す誘導画像を表示することにより前記誘導を行う、
請求項２に記載の画像処理装置。

【請求項4】

前記第２の画像に前記認証対象を囲む矩形状の特徴点が検出された場合、または、前記第２の画像に前記矩形状の特徴点に囲まれた範囲内の前記第１の画像の特徴点に対応する位置に特徴点が検出されない場合に、前記不正な認証突破の試みが有りと判別する、
請求項１に記載の画像処理装置。

【請求項5】

前記判別部は、２つ以上の前記第２の画像から取得したそれぞれの前記第２の画像の特徴点を比較し、前記認証対象の表情認識を行う、
請求項１から４のいずれか１項に記載の画像処理装置。

【請求項6】

前記判別または前記表情認識と同時に顔認証を行う顔認証部をさらに備える、
請求項５に記載の画像処理装置。

【請求項7】

前記第１の画像と、前記第２の画像と、を撮像する撮像部をさらに備え、
前記撮像部の画角を変化させることにより、前記第２の画像の特徴点の数または位置を変化させる、
請求項１に記載の画像処理装置。

【請求項8】

前記認証対象が所有するものまたは情報による認証を組み合わせることにより、成功した認証の種類に応じて前記認証対象に権限を与える、
請求項１に記載の画像処理装置。

【請求項9】

前記不正な認証突破の試みが無いと判別され、かつ、前記認証対象が所有するものまたは情報による認証に成功した場合、前記認証対象に最も高い権限が与えられ、
前記不正な認証突破の試みが無いと判別され、かつ、前記認証対象が所有するものまたは情報による認証を行わなかった場合、前記認証対象に次に高い権限が与えられ、
前記不正な認証突破の試みの有無の判別が行われず、かつ、前記認証対象が所有するものまたは情報による認証に成功した場合、前記認証対象に最も低い権限が与えられる、
請求項８に記載の画像処理装置。

【請求項10】

背景を映した第１の画像の特徴点と、前記背景に認証対象が映った第２の画像の特徴点と、を検出し、
前記第１の画像の特徴点と、前記第２の画像の特徴点と、を比較することにより、不正な認証突破の試みの有無の判別を行う、
画像処理方法。

【請求項11】

コンピュータに、
背景を映した第１の画像の特徴点と、前記背景に認証対象が映った第２の画像の特徴点と、を検出し、
前記第１の画像の特徴点と、前記第２の画像の特徴点と、を比較することにより、不正な認証突破の試みの有無の判別を行う、
ように機能させるためのプログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、画像処理装置、画像処理方法およびプログラムに関する。

【背景技術】

【0002】

従来、生体認証技術の一つとして、認証対象である人物の顔画像を取得し、これを予め登録された顔画像と照合することにより、本人であるか否かの認証を行う顔認証技術が知られている。例えば、特許文献１には、利用者が携帯する携帯端末と携帯端末から送信された顔画像とを使用して顔認証を行う認証システムが開示されている。

【先行技術文献】

【特許文献】

【0003】

【特許文献1】特開２０２２－４７１０２号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

特許文献１に開示された認証システムに使用する携帯端末が第３者の手に渡った場合、携帯端末と携帯端末内に保存された顔画像とを利用して、第３者が認証システムに対して不正な認証突破をすることが可能になる。

【0005】

本発明は、上記課題を解決するためになされたものであり、顔認証における不正な認証突破を抑制する画像処理装置、画像処理方法およびプログラムを提供することを目的とする。

【課題を解決するための手段】

【0006】

上記目的を達成するため、本発明の画像処理装置は、
背景を映した第１の画像の特徴点と、前記背景に認証対象が映った第２の画像の特徴点と、を検出する特徴点検出部と、
前記第１の画像の特徴点と、前記第２の画像の特徴点と、を比較することにより、不正な認証突破の試みの有無の判別を行う判別部と、
を備える。

【発明の効果】

【0007】

本発明によれば、顔認証における不正な認証突破を抑制することができる。

【図面の簡単な説明】

【0008】

【図1】（ａ）は、本発明の実施形態に係る画像処理装置で使用される第１の画像を示す図であり、（ｂ）は、第２の画像を示す図である。

【図2】（ａ）は、第１の画像の特徴点を示す図であり、（ｂ）は、第２の画像の特徴点を示す図であり、（ｃ）は、第３の画像の特徴点を示す図である。

【図3】不正な認証突破が試みられた際における第２の画像で検出される特徴点を例示する図である。

【図4】本発明の実施形態に係る画像処理装置のブロック図である。

【図5】（ａ）から（ｃ）は、本発明の実施形態に係る誘導画像を説明する図である。

【図6】（ａ）から（ｃ）は、図５（ａ）から（ｃ）に従い、認証対象が移動した場合の画像を説明する図である。

【図7】本発明の実施形態に係る顔認証入退出処理のフローチャートである。

【図8】本発明の実施形態に係る人検知処理のフローチャートである。

【図9】本発明の実施形態に係る顔認証処理のフローチャートである。

【図10】本発明の実施形態に係る画像処理装置の並列処理を説明する図である。

【図11】変形例に係る不正な認証突破の判別方法を説明する図である。

【図12】本発明の変形例に係る画像処理装置の並列処理を説明する図である。

【発明を実施するための形態】

【0009】

本発明の実施形態に係る画像処理装置について、以下、図面を参照して詳細に説明する。

【0010】

［画像処理装置の概要］
本発明の実施形態に係る画像処理装置は、例えば、鉄道の駅、空港等の限られたスタッフ等（認証対象Ｔ）が立ち入りを許される管理対象エリア（セキュリティエリア）における入退出の際の顔認証を行う。顔認証には、例えば、図１（ａ）に示す、背景Ｂを映した第１の画像Ｐ１と、図１（ｂ）に示す、背景Ｂを背にして認証対象Ｔの顔Ｆと体Ｃの一部とが映った第２の画像Ｐ２と、を使用する。また、顔認証とあわせて、或いは単独で、ＩＣ（Ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔ）カードによる認証も実行可能である。

【0011】

図２（ａ）、（ｂ）に〇印で囲って示すように、画像処理装置１０は、第１の画像Ｐ１の特徴点Ｋ１と、第２の画像Ｐ２の特徴点Ｋ２とを検出する。例えば、Ｈａｒｒｉｓのコーナー検出法によって、物体の端部や交点に特徴点Ｋ１、Ｋ２が検出される。第２の画像Ｐ２には認証対象Ｔが映っており、第１の画像Ｐ１には認証対象Ｔが映っていない。従って、第１の画像Ｐ１の特徴点Ｋ１と特徴点Ｋ２とを比較すると、特徴点Ｋ１のうち、数、位置が図２（ｃ）に示す特徴点Ｋ１Ｈに対応する位置の特徴点が図２（ｂ）で確認できなくなる。このとき、例えば、第３者が認証対象Ｔの写ったタブレット、スマートフォン、或いは、出力した写真等を使用して、不正に顔認証を認証突破しようと試みる場合、例えば、図３に示すように、第２の画像Ｐ２には、認証対象Ｔの特徴点Ｋ２以外に認証対象Ｔを囲む矩形の角を構成する特徴点Ｋ２Ｓが検出される。このような特徴点Ｋ２Ｓが検出された場合、画像処理装置１０は、不正な顔認証が試みられたと判別し、この第３者の入退出を許可しない。よって、画像処理装置１０は、顔認証における不正な認証突破を抑制することができる。

【0012】

［画像処理装置の構成］
以下、画像処理装置１０の構成を説明する。図４に示すように、画像処理装置１０は、特徴点Ｋ１，Ｋ２の検出や比較を行う制御部２０と、認証対象Ｔの顔画像等を記憶する記憶部３０と、認証対象Ｔや背景Ｂを撮像する撮像部４０と、入退出ゲートとの通信を行う通信部５０と、撮像された認証対象Ｔや背景Ｂ等を表示する表示部６０と、ＩＣカードの情報等を入力する入力部７０と、を備える。

【0013】

制御部２０は、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）等の少なくとも１つのプロセッサで構成され、記憶部３０に記憶されたプログラム等を実行することにより、後述する各部（画像取得部２１、特徴点検出部２２、対象物検知部２３、判別部２４、誘導部２５、登録情報認証部２６、顔認証部２７、補正部２８）の機能を実現する。また、制御部２０は、図示しない時計を有し、現在日時の取得や経過時間のカウント等をすることができる。

【0014】

記憶部３０は、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）等の少なくとも１つのメモリで構成され、ＲＯＭの一部または全部は電気的に書き換え可能なメモリ（フラッシュメモリ等）で構成されている。記憶部３０は、機能的に、画像記憶部３１と、特徴点記憶部３２と、検出エリア記憶部３３と、対象物記憶部３４と、不正条件記憶部３５と、個人情報記憶部３６と、を有する。ＲＯＭには、制御部２０のＣＰＵが実行するプログラムおよびプログラムを実行する上であらかじめ必要なデータが記憶されている。ＲＡＭには、プログラム実行中に作成されたり、変更されるデータが記憶される。

【0015】

画像記憶部３１には、撮像部４０に撮像された第１の画像Ｐ１、第２の画像Ｐ２等が記憶される。

【0016】

特徴点記憶部３２には、特徴点検出部２２に検出された特徴点Ｋ１，Ｋ２が第１の画像Ｐ１（図２（ａ））、第２の画像Ｐ２（図２（ｂ））とともに記憶され、第１の画像Ｐ１と第２の画像Ｐ２を比較後、第３の画像Ｐ３（図２（ｃ））を記憶する。

【0017】

検出エリア記憶部３３には、撮像部４０に撮像された画像において、特徴点Ｋ１，Ｋ２を検出する検出エリアが記憶される。検出エリアは、ユーザが任意に設定することができる。顔認証時に、認証対象Ｔ以外の人物が映るエリアは検出エリアに含めないように設定するとよい。検出エリアを設定する代わりに、エリア内の特徴点の検出を行わない非検出エリアを設定してもよい。

【0018】

対象物記憶部３４には、撮像部４０に撮像された画像から検出された対象物である顔画像が記憶される。

【0019】

不正条件記憶部３５には、画像処理装置１０が不正な認証突破であると判別する、不正条件が記憶される。例えば、前述した認証対象Ｔを囲む矩形を構成する特徴点Ｋ２Ｓ（図３）、後述する表情認識時間、特徴点消失ゾーンＶ等が記憶される。ユーザが任意に不正条件を設定或いは追加することもできる。

【0020】

個人情報記憶部３６には、ＩＣカードの所有者の個人情報が記憶される。例えば、氏名、年齢、性別、所属部署、顔画像等が記憶される。ＩＣカード認証と顔認証の両方が行われる際には、撮像された画像内の顔画像と、個人情報記憶部３６に記憶された顔画像とが比較される。

【0021】

撮像部４０は、認証対象Ｔや背景Ｂを撮像する撮像装置４１と、撮像装置４１の姿勢を変化させる駆動装置４２と、を有する。

【0022】

撮像装置４１は、ＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ Ｍｅｔａｌ Ｏｘｉｄｅ Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）カメラを備える。撮像装置４１は、背景Ｂを撮像範囲に含んだ範囲を撮像し、第１の画像Ｐ１、第２の画像Ｐ２等を生成する。

【0023】

駆動装置４２は、撮像装置４１の姿勢を変化させる。これにより、撮像装置４１の撮像範囲を変化させ、第１の画像Ｐ１の特徴点Ｋ１、第２の画像Ｐ２の特徴点Ｋ２の位置、数等を変化させることができる。第１の画像Ｐ１の特徴点Ｋ１の一部が第２の画像Ｐ２では認証対象Ｔによって確認できないようにしつつ、特徴点Ｋ１の一部が認証対象Ｔによっても第２の画像Ｐ２において特徴点Ｋ２として確認できるようにするために、第１の画像Ｐ１、第２の画像Ｐ２の上方に、例えば、天井が含まれるように駆動装置４２を用いて撮像装置４１の撮像範囲を設定する。駆動装置４２は、撮像装置４１の姿勢を変化させることにより、撮像装置４１の撮像範囲を変化させ、第１の画像Ｐ１の特徴点Ｋ１、第２の画像Ｐ２の特徴点Ｋ２の位置、数等を変化させることができる。

【0024】

通信部５０は、入退出ゲート等の外部機器と通信するためのモジュールである通信装置５１を有する。通信装置５１は、外部機器と通信する場合にはアンテナを含む無線モジュールである。例えば、通信装置５１は、Ｂｌｕｅｔｏｏｔｈ（登録商標）に基づく近距離無線通信を行うための無線モジュールである。通信部５０を介して、画像処理装置１０は、入退出ゲートをコントロールして、管理対象エリアのセキュリティを管理する。

【0025】

表示部６０は、液晶表示パネル（ＬＣＤ：Ｌｉｑｕｉｄ Ｃｒｙｓｔａｌ Ｄｉｓｐｌａｙ）から構成された表示装置６１を備える。

【0026】

表示装置６１は、薄膜トランジスタ（ＴＦＴ：Ｔｈｉｎ Ｆｉｌｍ Ｔｒａｎｓｉｓｔｏｒ）、液晶、または有機ＥＬ等により構成される。表示装置６１は、第１の画像Ｐ１、第２の画像Ｐ２、誘導画像Ｙ等を表示する。

【0027】

入力部７０は、認証対象Ｔが画像処理装置１０に諸情報を入力するための入力装置７１を有する。入力装置７１は、認証対象Ｔが所持するＩＣカードを読み込むＩＣカードリーダである。入力部７０は、例えば、顔認証開始ボタン７２、ＩＣカード認証のみボタン７３、認証対象ＴがＩＣカードを紛失等した場合に、ＩＣカード認証の代わりにパスワード、ＩＤ番号等の情報を入力できるキーボード等も有する。

【0028】

次に、画像処理装置１０の制御部２０の機能的構成について説明する。制御部２０は、画像取得部２１、特徴点検出部２２、対象物検知部２３、判別部２４、誘導部２５、登録情報認証部２６、顔認証部２７、補正部２８、の機能を実現し、後述する顔認証入退出処理等を行う。

【0029】

画像取得部２１は、あらかじめ画像処理装置１０に設定された、またはユーザ設定された条件等で背景Ｂを含む撮像範囲を撮像部４０に撮像させ、第１の画像Ｐ１、第２の画像Ｐ２等を撮像する。画像取得部２１は、取得した第１の画像Ｐ１、第２の画像Ｐ２を特徴点検出部２２に送信する。

【0030】

特徴点検出部２２は、画像取得部２１から送信された第１の画像Ｐ１、第２の画像Ｐ２において、特徴点Ｋ１，Ｋ２を検出する。特徴点検出部２２は、検出した特徴点Ｋ１，Ｋ２を特徴点記憶部３２に記憶する。

【0031】

対象物検知部２３は、撮像された画像Ｐ２の検知エリア内に、検知サイズ（８０ピクセル）以上の顔の人を検知する。対象物検知部２３は、検知した顔画像を対象物記憶部３４に記憶する。

【0032】

判別部２４は、対象物検知部２３が検知した顔画像が設定された認証確認時間以上検知サイズ以上であるか否かを判別する。さらに、判別部２４は、第１の画像Ｐ１の特徴点Ｋ１、第２の画像Ｐ２の特徴点Ｋ２を比較する。

【0033】

誘導部２５は、認証対象Ｔを移動させるように誘導する。図５（ａ）に示すように、認証対象Ｔの現在の顔の中心線を示す中心線Ｌ１および顔の上下端を示す顔上下線Ｌ２、認証対象Ｔの顔および体を移動させたい位置に表示する枠Ｅ、を含む誘導画像Ｙを表示部６０に表示して認証対象Ｔを誘導する。誘導画像Ｙは、第２の画像Ｐ２と重畳させて、或いは単独で表示する。例えば、認証対象Ｔを後方に移動させる場合、図５（ｂ）に示すように、現在、認証対象Ｔの顔の上下端に顔上下線Ｌ２を表示し、認証対象Ｔを移動させたい位置に枠Ｅを表示することにより、認証対象Ｔを誘導する。側方に認証対象Ｔを移動させたい場合には、図５（ｃ）に示すように、現在、認証対象Ｔの顔の中心位置に中心線Ｌ１を表示し、認証対象Ｔを移動させたい位置に枠Ｅを表示することにより誘導を行う。認証対象Ｔを誘導することにより、第２の画像Ｐ２における特徴点Ｋ２の位置、数等が図６（ａ）に示す状態から、図６（ｂ）または（ｃ）に示すように変化する。変化前後の特徴点を比較して不自然な特徴点の変化（認証対象Ｔの特徴点の変化の非連続性、認証対象Ｔの撮像部４０への接近或いは離隔にかかわらず認証対象Ｔの特徴点の無変化、図３に示す特徴点Ｋ２Ｓの出現等）があるか否かを判別することにより、不正な認証突破が試みられていないかをより精度を高く確認することができる。音声による誘導を行ってもよい。なお、移動させたい位置を中心線Ｌ１および顔上下線Ｌ２で示し、枠Ｅを現在の認証対象Ｔの位置を示すようにしてもよい。

【0034】

登録情報認証部２６は、本実施形態では、ＩＣカードの認証を行う。

【0035】

顔認証部２７は、第２の画像Ｐ２から検知された顔画像を、個人情報記憶部３６に記憶された顔画像の中に同一とみなせるものがあるか否かを顔画像内の特徴点を比較することにより顔認証を行う。顔認証部２７は、機械学習により、精度の高いＡＩ（Ａｒｔｉｆｉｃｉａｌ Ｉｎｔｅｌｌｉｇｅｎｃｅ）顔認証を行うことができる。

【0036】

補正部２８は、第１の画像Ｐ１の特徴点Ｋ１と第２の画像Ｐ２の特徴点Ｋ２とを比較し、第１の画像Ｐ１において、特徴点Ｋ１のうちで、第２の画像Ｐ２内の特徴点Ｋ１に対応する位置に特徴点が検出されていないものの名称を特徴点Ｋ１Ｈに補正した第３の画像Ｐ３（図２（ｃ））を特徴点記憶部３２に記憶させる。

【0037】

以上、制御部２０の機能的構成について説明した。以下、画像処理装置１０で行われる顔認証入退出処理についてフローチャートを用いて説明する。

【0038】

（顔認証入退出処理）
図７を参照して、顔認証入退出処理のフローを説明する。顔認証入退出処理によって、顔認証に対する不正な突破を抑制することができる。画像処理装置１０では、顔認証およびＩＣカード認証を組み合わせて入退出管理を行う。顔認証、ＩＣカード認証のいずれか一方による認証、顔認証、ＩＣカード認証の両方を用いた認証、の組み合わせがある。顔認証およびＩＣカード認証の両方による認証をクリアすると、全ての管理エリアに立ち入ることが可能な許可レベル３の権限が得られる。顔認証のみの認証をクリアした場合は、一部エリアを除くエリアに立ち入り可能な許可レベル２の権限が得られる。ＩＣカード認証のみの認証をクリアした場合は、許可レベル２よりも立ち入りできないエリアが広い許可レベル１の権限が得られる。すなわち、成功した認証の種類に応じて認証対象Ｔに権限が与えられる。ＩＣカードは、本人以外による使用が考えられる一方、本願の顔認証では、本人以外による認証突破は考えにくいので、顔認証のみによる許可レベル２はＩＣカード認証のみによる許可レベル１よりも信頼性が高く、許可レベルが高く設定されている。

【0039】

まず、制御部２０は、ＩＣカードが入力装置７１に読み取られたか否かを判別する（ステップＳ１）。ＩＣカードが読み取られた場合（ステップＳ１：Ｙｅｓ）、ステップＳ５に進む。

【0040】

ＩＣカードが読み取られていない場合（ステップＳ１：Ｎｏ）、ステップＳ２へ進む。

【0041】

ステップＳ２では、制御部２０は、顔認証開始ボタン７２が押下されたか否かを判別する。顔認証開始ボタン７２が押下された場合（ステップＳ２：Ｙｅｓ）、ステップ６へ進み、顔認証開始ボタン７２が押下されていない場合（ステップＳ２：Ｎｏ）、ステップＳ３へ進む。

【0042】

ステップＳ３では、制御部２０は、認証対象Ｔが検知サイズ以上で認証確認時間以上の間、撮像部４０に撮像されているか否かを判別する人検知処理を実行する。人検知処理の詳細は後述する。人検知処理が行われた後、ステップＳ４に進む。

【0043】

ステップＳ４では、制御部２０は、ステップＳ３の人検知処理において、人を検知したか否かを判別する。人検知処理において、人を検知した場合（ステップＳ４：Ｙｅｓ）、ステップＳ６に進み、人を検知しなかった場合（ステップＳ４：Ｎｏ）、ステップＳ１に戻る。

【0044】

ステップＳ５では、登録情報認証部２６は、ＩＣカードの情報が個人情報記憶部３６に記憶された情報と一致するか否かを判別する。ＩＣカードの情報が個人情報記憶部３６に記憶された情報と一致する場合（ステップＳ５：Ｙｅｓ）、ステップＳ６に進み、ＩＣカードの情報が個人情報記憶部３６に記憶された情報と一致しない場合（ステップＳ５：Ｎｏ）、顔認証は不許可となり（ステップＳ１４）、顔認証入退出処理は終了する。

【0045】

ステップＳ６では、制御部２０は、不正な顔認証突破を抑制する顔認証処理を実行する。顔認証処理の詳細は後述する。顔認証処理を実行した後、ステップＳ７に進む。

【0046】

ステップＳ７では、制御部２０は、ステップＳ６での顔認証処理において、人認識が実行された（ステップＳ３３の人認識で特徴点の比較が行われた）か否かを判別する。ステップＳ６で人認識が実行された場合（ステップＳ７：Ｙｅｓ）、ステップＳ８に進み、ステップＳ６で人認識が実行されなかった場合（ステップＳ７：Ｎｏ）、ステップＳ１０に進む。

【0047】

ステップＳ８では、制御部２０は、ステップＳ６での顔認証処理において、認証（ステップＳ３８）で終了したか非認証（ステップＳ３９）で終了したかを判別する。ステップＳ６において認証で終了した場合（ステップＳ８：Ｙｅｓ）、ステップＳ９に進み、非認証で終了した場合（ステップＳ８：Ｎｏ）、顔認証は不許可となり（ステップＳ１４）、顔認証入退出処理は終了する。

【0048】

ステップＳ９では、制御部２０は、ステップＳ１においてＩＣカードが使用されたか否かを判別する。ＩＣカードが使用された場合（ステップＳ９：Ｙｅｓ）、許可レベル３の許可を出して（ステップＳ１１）終了し、ＩＣカードが使用されなかった場合（ステップＳ９：Ｎｏ）、許可レベル２の許可を出して（ステップＳ１２）終了する。

【0049】

ステップＳ１０では、ＩＣカードの使用があったか否かを判別する。ＩＣカードの使用があった場合（ステップＳ１０：Ｙｅｓ）、許可レベル１の許可を出して（ステップＳ１３）終了する。ＩＣカードの使用がなかった場合（ステップＳ１０：Ｎｏ）、不許可として（ステップＳ１４）終了する。

【0050】

以上、顔認証入退出処理について説明した。次に、顔認証入退出処理のステップＳ３で行われる人検知処理について図８を用いて説明する。

【0051】

まず、画像取得部２１は、撮像部４０が撮像した第１の画像Ｐ１または第２の画像Ｐ２を取得する（ステップＳ２１）。

【0052】

次に、判別部２４は、対象物検知部２３が撮像された画像Ｐ２の検知エリア内に、検知サイズ以上の顔の人を検知したか否かを判別する（ステップＳ２２）。検知サイズ以上の顔の人を検知した場合（ステップＳ２２：Ｙｅｓ）、ステップＳ２３に進み、検知サイズ以上の顔の人を検知しなかった場合（ステップＳ２２：Ｎｏ）、人検知処理を終了する。

【0053】

ステップＳ２３では、判別部２４は、ステップＳ２２で検知した人が認証確認時間以上の間、検知サイズ以上であったか否かを判別する。ステップＳ２２で検知した人が認証確認時間以上の間、検知サイズ以上であった場合（ステップＳ２３：Ｙｅｓ）、人検知有りと判別し（ステップＳ２４）、終了する。ステップＳ２２で検知した人が認証確認時間未満の間、検知サイズ以上であった場合（ステップＳ２３：Ｎｏ）、ステップＳ２１に戻る。

【0054】

以上、人検知処理について説明した。次に、顔認証入退出処理のステップＳ６で行われる顔認証処理について図９を用いて説明する。

【0055】

まず、画像取得部２１は、撮像部４０が撮像した第１の画像Ｐ１または第２の画像Ｐ２を取得する（ステップＳ３１）。

【0056】

ステップＳ３２に進み、認証対象Ｔは、ＩＣカード認証のみを行いたい場合、入力部７０に設けられたＩＣカード認証のみボタン７３を押し（ステップＳ３２：Ｙｅｓ）、顔認証処理が終了する。顔認証を行う場合は、入力部７０に設けられたＩＣカード認証のみボタン７３を押さずに待ち（ステップＳ３２：Ｎｏ）、ステップＳ３３に進み、人認識が実行される。

【0057】

ステップＳ３３に進み、判別部２４は、取得した第１の画像Ｐ１または第２の画像Ｐ２に対して人認識を行う。具体的には、特徴点検出部２２が第１の画像Ｐ１または第２の画像Ｐ２の特徴点を検出し、比較することによって、判別部２４は、例えば、背景Ｂ内に認証対象Ｔが存在するか否か、および、図３に例示するような認証対象Ｔを矩形に囲む矩形を構成する特徴点Ｋ２Ｓが第２の画像Ｐ２にあるか否か、を判別する。認証対象Ｔが存在し、特徴点Ｋ２Ｓが存在しない場合（ステップＳ３３：Ｙｅｓ）、判別部２４は、認証対象Ｔが人であると判別し、ステップＳ３４およびステップＳ３５に進む。認証対象Ｔが存在しない場合、または、認証対象Ｔが存在し特徴点Ｋ２Ｓが存在する場合（ステップＳ３３：Ｎｏ）、判別部２４は、認証対象Ｔが存在しない、或いは、認証対象Ｔが人ではなく不正な認証突破が試みられたと判別し、顔認証判定を行わず異常（ステップＳ４１）判定して顔認証処理を終了する。認証対象Ｔの特徴点Ｋ２の検出が困難な場合等には、誘導部２５により認証対象Ｔの移動等を促す誘導を行う。

【0058】

ステップＳ３４およびステップＳ３５は図１０に示すように、並列処理される。ステップＳ３４では、表情認識が行われ、ステップＳ３５では、ＡＩ顔認証が行われる。

【0059】

表情認識では、対象物検知部２３が第１の画像Ｐ１または第２の画像Ｐ２において顔画像を検知した後、表情認識時間の間、特徴点検出部２２が顔画像内の特徴点ＫＦを検出する。表情認識時間は、本実施形態では、５秒とする。表情認識時間は、まばたき、口元の動き等が生じるのに十分な時間を設定する。判別部２４は、表情認識時間内の特徴点ＫＦを観察し、特徴点ＫＦの位置、数等に変化があった場合、顔画像に表情の変化があった（顔画像は撮像部４０に撮像された人間の顔である）と判別し、表情認識ＯＫとして表情認識を終了する。表情認識時間の間、特徴点ＫＦの位置、数等に変化が無かった場合、顔画像に表情の変化が無かった（顔画像は予め用意されていた画像等である）と判別し、表情認識ＮＧとして表情認識を終了する。なお、顔画像が検知されなかった場合も、表情認識ＮＧとして表情認識を終了する。

【0060】

ＡＩ顔認証では、顔認証部２７は、対象物検知部２３が第１の画像Ｐ１または第２の画像Ｐ２において検知した顔画像を、個人情報記憶部３６に記憶された顔画像の中に同一とみなせるものがあるか否かを顔画像内の特徴点を比較して顔認証を行う。特に、目元、口元等は、同一人物であっても、撮像画像の顔画像と個人情報記憶部３６に記憶された顔画像とは差違が生じることがあるので、顔画像内の特徴点ＫＦのうち、一定数（或いは一定比率）以上の同一点があれば撮像画像の顔画像と個人情報記憶部３６に記憶された顔画像とは同一であるとみなし、顔認証ＯＫと判別し、同一点が一定数（或いは一定比率）未満であれば顔認証ＮＧと判別する。

【0061】

表情認識およびＡＩ顔認証が並列処理された後、ステップＳ３６に進み、判別部２４は、表情認識において、表情認識ＯＫであった場合（ステップＳ３６：Ｙｅｓ）、ステップＳ３７に進み、表情認識ＮＧであった場合（ステップＳ３６：Ｎｏ）、異常（ステップＳ４１）判定して顔認証処理を終了する。

【0062】

ステップＳ３７では、判別部２４は、顔認証において、顔認証にエラーがなかった場合（ステップＳ３７：Ｎｏ）、ステップＳ３８に進む。顔認証にエラーがあった場合（ステップＳ３７：Ｙｅｓ）、表示部６０にエラー表示し（ステップＳ４２）、ステップＳ３１に戻る。エラー表示には、顔認証が実行できなかった理由、例えば、サングラス、帽子、マスク等の着用、照度不足等が含まれ、認証対象Ｔに対応を促すようにする。また、レベル１の許可でよい場合には、認証対象Ｔは、ステップＳ３２にてＩＣカード認証のみに変更することもできる。

【0063】

ステップＳ３８では、判別部２４は、顔認証において、顔認証が成功した場合（ステップＳ３８：Ｙｅｓ）、顔認証が認証された（ステップＳ３９）と表示部６０に結果表示して顔認証処理を終了する。顔認証が失敗した場合（ステップＳ３８：Ｎｏ）、顔認証が非認証であった（ステップＳ４０）と表示部６０に結果表示して顔認証処理を終了する。

【0064】

以上、顔認証入退出処理によって、画像処理装置１０は、タブレット等の動画等を利用した不正な試みがなされた場合、顔認証にも使用可能な第２の画像Ｐ２に認証対象Ｔを囲む矩形の角を構成する特徴点Ｋ２Ｓが検出できるので、不正な認証突破を抑制できる。また、表情認識を行うことによって、画像処理装置１０は、表情認識時間内の特徴点ＫＦを観察することで、予め用意されていた静止画像、ポスター写真、人形等による不正な認証突破を抑制できる。さらに、表情認識とＡＩ顔認証とを並列処理することにより、処理時間の増大を抑制できる。

【0065】

（変形例）
上記実施形態において、画像処理装置１０は、ステップＳ３２の人認識において矩形の角を構成する特徴点Ｋ２Ｓが検出された場合に、不正な認証突破が試みられたと判別したが、特徴点Ｋ２Ｓでは無く、例えば図１１に破線で示すように、認証対象Ｔの周囲に、一定の範囲の特徴点消失ゾーンＶの存在を確認することによって不正な認証突破が試みられたと判別してもよい。言い換えると、第２の画像Ｐ２に矩形状の特徴点Ｋ２Ｓに囲まれた範囲内の第１の画像Ｐ１の特徴点Ｋ１に対応する位置に特徴点が検出されない場合に不正な認証突破が試みられたと判別してもよい。光の加減や、背景の色等により、特徴点Ｋ２Ｓが検出できない場合等に有効である。或いは、頭頂部付近の特徴点ＫＴを特定し（鼻を示す特徴点ＫＮを特定しその上方にある特徴点から特定する）、例えば特徴点ＫＴより５ピクセル以上上方の特徴点Ｋ１に対応する特徴点が第２の画像Ｐ２に見られない場合に、不正な認証突破が試みられたと判別してもよい。或いは、図２（ａ）、（ｂ）に示す、第１の画像Ｐ１の特徴点Ｋ１と第２の画像Ｐ２の特徴点Ｋ２とを比較して、第１の画像Ｐ１の特徴点Ｋ１のうち、図２（ｃ）に示す特徴点Ｋ１Ｈに対応する位置の特徴点だけが図２（ｂ）で確認できない場合に認証対象Ｔが人であると判別するようにしてもよい。また、例えば、矩形の角を構成する特徴点Ｋ２Ｓを検出した場合には、矩形状の角を構成する特徴点Ｋ２Ｓに囲まれた範囲内の特徴点は排除するような条件を設定して、スマホ、タブレット等の画面内に検出された特徴点が第１の画像Ｐ１の特徴点Ｋ１と偶然に一致することを防ぐようにしてもよい。

【0066】

上記実施形態では、画像処理装置１０は、８０ピクセル以上の顔の人を検知の対象としていたが、例えば、目間３２ピクセル以上としてもよいし、他の基準によって検知の対象を決定してもよい。

【0067】

上記実施形態では、画像処理装置１０は、表情認識時間を５秒としていたが、３秒や１０秒としてもよいし、他の時間を設定してもよい。

【0068】

また、上記実施形態では、画像処理装置１０は、撮像部４０、通信部５０、表示部６０、入力部７０等を備えていたが、これらを備えず、カメラ、タブレット、ＩＣカードリーダ等の外部機器と接続すること等によって代替してもよい。或いは、例えば、表示部と入力部とが一体的に構成されていてもよい。

【0069】

上記実施形態では、画像処理装置１０は、表情認識と顔認証とを並列処理していたが、人認識と顔認証とを並列処理してもよいし、顔認証を画像処理装置１０と接続された外部機器等に行わせてもよい。或いは、図１２に示すように、表情認識と顔認証とを並列処理した後（顔認証はまだ終了していなくても）に、再度、人認識を実行して、不正抑制の精度を高めてもよい。

【0070】

上記実施形態では、画像処理装置１０は、中心線Ｌ１、顔上下線Ｌ２、枠Ｅによる誘導画像Ｙによって認証対象Ｔを移動させていたが、矢印、動画等による誘導画像や矢印、動画等と誘導画像Ｙとを組み合わせた画像で誘導してもよい。

【0071】

また、上記実施形態では、画像処理装置１０は、誘導画像Ｙによって認証対象Ｔを移動させて特徴点の位置、数を変化させていたが、駆動装置４２を用いて撮像装置４１の画角を変化させることにより特徴点の位置、数を変化させてもよいし、誘導画像Ｙと駆動装置４２を併用してもよい。

【0072】

上記実施形態では、画像処理装置１０は、表情認識を行っていたが、例えば、画像による脈拍認識を行ってもよい。

【0073】

上記実施形態では、画像処理装置１０は、ＩＣカード認証を併用していたが、ＩＣカード認証の代わりに、スマートフォン、トークン等を利用した認証や暗証番号、パスワード、秘密の質問等の情報による認証を併用してもよい。

【0074】

上記実施形態では、画像処理装置１０は、ＡＩ顔認証を行っていたが、赤外線センサを用いた顔認証等、他の顔認証を行ってもよい。

【0075】

この発明の画像処理装置１０の各機能は、通常のＰＣ（Ｐｅｒｓｏｎａｌ Ｃｏｍｐｕｔｅｒ）やタブレット等のコンピュータによっても実施することができる。具体的には、上記実施形態では、画像処理装置１０が行う顔認証入退出処理、人検知処理および顔認証処理のプログラムが、記憶部３０のＲＯＭに予め記憶されているものとして説明した。しかし、プログラムを、フレキシブルディスク、ＣＤ－ＲＯＭ（Ｃｏｍｐａｃｔ Ｄｉｓｃ Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）、ＤＶＤ（Ｄｉｇｉｔａｌ Ｖｅｒｓａｔｉｌｅ Ｄｉｓｃ）およびＭＯ（Ｍａｇｎｅｔｏ－Ｏｐｔｉｃａｌ Ｄｉｓｃ）等のコンピュータ読み取り可能な記録媒体に格納して配布し、そのプログラムをコンピュータに読み込んでインストールすることにより、上述の各機能を実現することができるコンピュータを構成してもよい。

【0076】

以上、本発明の好ましい実施形態について説明したが、本発明は係る特定の実施形態に限定されるものではなく、本発明には、特許請求の範囲に記載された発明とその均等の範囲が含まれる。以下に、本願出願の当初の特許請求の範囲に記載された発明を付記する。

【0077】

（付記）
（付記１）
背景を映した第１の画像の特徴点と、前記背景に認証対象が映った第２の画像の特徴点と、を検出する特徴点検出部と、
前記第１の画像の特徴点と、前記第２の画像の特徴点と、を比較することにより、不正な認証突破の試みの有無の判別を行う判別部と、
を備える画像処理装置。

【0078】

（付記２）
前記認証対象を前記第１の画像の特徴点のうち少なくとも１つの特徴点と重なる位置へ移動させるように誘導を行う誘導部をさらに備える、
付記１に記載の画像処理装置。

【0079】

（付記３）
前記第２の画像を表示する表示部をさらに備え、
前記表示部に前記第２の画像とともに前記認証対象を移動させる方向を示す誘導画像を表示することにより前記誘導を行う、
付記２に記載の画像処理装置。

【0080】

（付記４）
前記第２の画像に前記認証対象を囲む矩形状の特徴点が検出された場合、または、前記第２の画像に前記矩形状の特徴点に囲まれた範囲内の前記第１の画像の特徴点に対応する位置に特徴点が検出されない場合に、前記不正な認証突破の試みが有りと判別する、
付記１に記載の画像処理装置。

【0081】

（付記５）
前記判別部は、２つ以上の前記第２の画像から取得したそれぞれの前記第２の画像の特徴点を比較し、前記認証対象の表情認識を行う、
付記１から４のいずれか１つに記載の画像処理装置。

【0082】

（付記６）
前記判別または前記表情認識と同時に顔認証を行う顔認証部をさらに備える、
付記５に記載の画像処理装置。

【0083】

（付記７）
前記第１の画像と、前記第２の画像と、を撮像する撮像部をさらに備え、
前記撮像部の画角を変化させることにより、前記第２の画像の特徴点の数または位置を変化させる、
付記１に記載の画像処理装置。

【0084】

（付記８）
前記認証対象が所有するものまたは情報による認証を組み合わせることにより、成功した認証の種類に応じて前記認証対象に権限を与える、
付記１に記載の画像処理装置。

【0085】

（付記９）
前記不正な認証突破の試みが無いと判別され、かつ、前記認証対象が所有するものまたは情報による認証に成功した場合、前記認証対象に最も高い権限が与えられ、
前記不正な認証突破の試みが無いと判別され、かつ、前記認証対象が所有するものまたは情報による認証を行わなかった場合、前記認証対象に次に高い権限が与えられ、
前記不正な認証突破の試みの有無の判別が行われず、かつ、前記認証対象が所有するものまたは情報による認証に成功した場合、前記認証対象に最も低い権限が与えられる、
付記８に記載の画像処理装置。

【0086】

（付記１０）
背景を映した第１の画像の特徴点と、前記背景に認証対象が映った第２の画像の特徴点と、を検出し、
前記第１の画像の特徴点と、前記第２の画像の特徴点と、を比較することにより、不正な認証突破の試みの有無の判別を行う、
画像処理方法。

【0087】

（付記１１）
コンピュータに、
背景を映した第１の画像の特徴点と、前記背景に認証対象が映った第２の画像の特徴点と、を検出し、
前記第１の画像の特徴点と、前記第２の画像の特徴点と、を比較することにより、不正な認証突破の試みの有無の判別を行う、
ように機能させるためのプログラム。

【符号の説明】

【0088】

１０…画像処理装置、２０…制御部、２１…画像取得部、２２…特徴点検出部、２３…対象物検知部、２４…判別部、２５…誘導部、２６…登録情報認証部、２７…顔認証部、２８…補正部、３０…記憶部、３１…画像記憶部、３２…特徴点記憶部、３３…検出エリア記憶部、３４…対象物記憶部、３５…不正条件記憶部、３６…個人情報記憶部、４０…撮像部、４１…撮像装置、４２…駆動装置、５０…通信部、５１…通信装置、６０…表示部、６１…表示装置、７０…入力部、７１…入力装置、７２…顔認証開始ボタン、７３…ＩＣカード認証のみボタン、Ｂ…背景、Ｃ…体、Ｅ…枠、Ｆ…顔、Ｌ１…中心線、Ｌ２…顔上下線、Ｋ１，Ｋ２，ＫＦ…特徴点、Ｐ１…第１の画像、Ｐ２…第２の画像、Ｐ３…第３の画像、Ｔ…認証対象、Ｖ…特徴点消失ゾーン、Ｙ…誘導画像

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】