特許 7168192 顔画像の適正判定装置、顔画像の適正判定方法、プログラム、および記録媒体

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2022-10-31

(45)【発行日】2022-11-09

(54)【発明の名称】顔画像の適正判定装置、顔画像の適正判定方法、プログラム、および記録媒体

(51)【国際特許分類】

   G06T 7/00 20170101AFI20221101BHJP

【ＦＩ】

G06T7/00 660A

G06T7/00 510F

【請求項の数】 10

(21)【出願番号】P 2018096419

(22)【出願日】2018-05-18

(65)【公開番号】P2019200722

(43)【公開日】2019-11-21

【審査請求日】2021-04-05

(73)【特許権者】

【識別番号】000232092

【氏名又は名称】ＮＥＣソリューションイノベータ株式会社

(74)【代理人】

【識別番号】100115255

【弁理士】

【氏名又は名称】辻丸 光一郎

(74)【代理人】

【識別番号】100154081

【弁理士】

【氏名又は名称】伊佐治 創

(72)【発明者】

【氏名】矢口 貴宏

(72)【発明者】

【氏名】半田 享

【審査官】小池 正彦

(56)【参考文献】

【文献】特開２０１０－０９７３７９（ＪＰ，Ａ）

【文献】特開２０１８－０１０３９３（ＪＰ，Ａ）

【文献】特開２０１３－１０１５５１（ＪＰ，Ａ）

【文献】特開２００４－３１０３９７（ＪＰ，Ａ）

【文献】特開２００７－３３４６２３（ＪＰ，Ａ）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ０６Ｔ ７／００

(57)【特許請求の範囲】

【請求項1】

顔画像を取得する顔画像取得部と、
既定の閾値に基づき、前記顔画像から二値化画像を生成する二値化処理部と、
前記顔画像について、顔の輪郭、右目を含む右目領域、左目を含む左目領域、鼻を含む鼻領域、および口を含む口領域を検出する部位検出部と、
前記二値化画像において、前記右目領域の境界のいずれかの位置を第１始点とし、前記第１始点よりも下方向の右顔面の輪郭との交点を第１終点とする第１直線、および前記左目領域の境界のいずれかの位置を第２始点とし、前記第２始点よりも下方向の左顔面の輪郭との交点を第２終点とする第２直線を設定する検出線設定部と、
前記第１直線および前記第２直線について、前記右目領域、前記左目領域、前記鼻領域および前記口領域を除き、輝度変化を検出する輝度変化検出部と、
前記第１直線および前記第２直線の少なくとも一方について、前記輝度変化が検出された場合、前記顔画像を、顔画像認証に不適切な画像であると判定する判定部とを含むことを特徴とする顔画像の適正判定装置。

【請求項2】

前記第１直線が、前記第１始点からの垂線であり、前記第２直線が、前記第２始点からの垂線であり、前記垂線は、右目と左目とを結ぶ線に対して垂直な線であることを特徴とする請求項１記載の適正判定装置。

【請求項3】

さらに、前記検出線設定部が、前記第１直線の中点と前記第２直線の中点とを結ぶ第３直線を設定し、
前記輝度変化検出部が、前記第３直線について、前記右目領域、前記左目領域、前記鼻領域および前記口領域を除き、輝度変化を検出し、
前記判定部は、前記第３直線について前記輝度変化が検出された場合にも、前記顔画像を、顔画像認証に不適切な画像であると判定することを特徴とする請求項１または２記載の適正判定装置。

【請求項4】

マスター画像の候補顔画像について、前記輝度変化が検出された場合、前記候補顔画像を、前記顔画像認証に不適切な画像であると判定し、前記輝度変化が検出されなかった場合、前記候補顔画像を、顔画像認証に適切な画像であると判定する適正判定部と、
前記候補顔画像が適切な画像であると判定された場合、前記マスター画像の候補顔画像を、マスター画像として記憶する記憶部と、
クエリー画像と前記マスター画像とを照合し、一致する場合、認証する顔画像認証部とを含み、
前記適正判定部が、請求項１から３のいずれか一項に記載の適正判定装置であることを特徴とする顔画像認証装置。

【請求項5】

前記適正判定部は、クエリー画像の候補顔画像について、前記輝度変化が検出された場合、前記候補顔画像を、前記顔画像認証に不適切な画像であると判定し、前記輝度変化が検出されなかった場合、前記候補顔画像を、顔画像認証に適切な画像であると判定し、
前記顔画像認証部は、前記候補顔画像が適切な画像であると判定された場合、前記クエリー画像の候補顔画像をクエリー画像とし、さらに、前記クエリー画像と前記マスター画像とを照合し、一致する場合、認証することを特徴とする請求項４記載の顔画像認証装置。

【請求項6】

既定の閾値に基づき、顔画像から二値化画像を生成する二値化処理工程と、
前記顔画像について、顔の輪郭、右目を含む右目領域、左目を含む左目領域、鼻を含む鼻領域、および口を含む口領域を検出する部位検出工程と、
前記二値化画像において、前記右目領域の境界のいずれかの位置を第１始点とし、前記第１始点よりも下方向の右顔面の輪郭との交点を第１終点とする第１直線、および前記左目領域の境界のいずれかの位置を第２始点とし、前記第２始点よりも下方向の左顔面の輪郭との交点を第２終点とする第２直線を設定する検出線決定工程と、
前記第１直線および前記第２直線について、前記右目領域、前記左目領域、前記鼻領域および前記口領域を除き、輝度変化を検出する輝度変化検出工程と、
前記第１直線および前記第２直線の少なくとも一方について、前記輝度変化が検出された場合、前記顔画像を、顔画像認証に不適切な画像であると判定する判定工程とを含むことを特徴とする顔画像の適正判定方法。

【請求項7】

マスター画像の候補顔画像について、前記輝度変化が検出された場合、前記候補顔画像を、前記顔画像認証に不適切な画像であると判定し、前記輝度変化が検出されなかった場合、前記候補顔画像を、顔画像認証に適切な画像であると判定する適正判定工程と、
前記候補顔画像が適切な画像であると判定された場合、前記マスター画像の候補顔画像を、マスター画像として記憶する記憶工程と、
クエリー画像と前記マスター画像とを照合し、一致する場合、認証する顔画像認証工程とを含み、
前記適正判定工程が、請求項６に記載の適正判定方法であることを特徴とする顔画像認証方法。

【請求項8】

請求項６記載の顔画像の適正判定方法をコンピュータに実行させることを特徴とするプログラム。

【請求項9】

請求項７記載の顔画像認証方法をコンピュータに実行させることを特徴とするプログラム。

【請求項10】

請求項８または９に記載のプログラムを記録したことを特徴とするコンピュータ読み取り可能な記録媒体。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、顔画像の適正判定装置、顔画像の適正判定方法、プログラム、および記録媒体に関する。

【背景技術】

【0002】

様々な分野において、顔画像を用いた顔画像認証による本人認証が一般的になっている。前記顔画像認証において、通常、マスター画像として、まず、本人の証明写真等の顔画像がデータベースに記憶され、その後、ライブで得られた対象者の顔画像をクエリー画像として照合することにより、認証が行われる。

【0003】

前記証明写真は、一般的に、大きさや背景等について、特定の様式を要求する。このため、顔画像中の背景、顔の数、向き、および大きさ等から、前記顔画像が、証明写真用として適しているかを判定する装置が知られている（特許文献１）。

【先行技術文献】

【特許文献】

【0004】

【文献】特開２００７－０３４８０４号公報

【発明の概要】

【発明が解決しようとする課題】

【0005】

しかし、前記マスター画像として記憶した顔画像が、照合に使用できない場合がある。例えば、前記マスター画像が手ぶれ写真であると、対象者が本人であっても認証が行えない場合がある。このため、手ぶれ写真は、マスター画像として使用しないのが現状である。しかし、理由は不明だが、手ぶれ写真でなくても、マスター画像として使用できない顔画像もあり、どのような顔画像であればマスター画像として使用できるかの判断が困難という問題がある。

【0006】

そこで、本発明は、顔画像について、顔画像認証に不適切なものを判定する新たなシステムの提供を目的とする。

【課題を解決するための手段】

【0007】

前記目的を達成するために、本発明の顔画像の適正判定装置は、
顔画像を取得する顔画像取得部と、
既定の閾値に基づき、前記顔画像から二値化画像を生成する二値化処理部と、
前記顔画像について、顔の輪郭、右目を含む右目領域、左目を含む左目領域、鼻を含む鼻領域、および口を含む口領域を検出する部位検出部と、
前記二値化画像において、前記右目領域の境界のいずれかの位置を第１始点とし、前記第１始点よりも下方向の右顔面の輪郭との交点を第１終点とする第１直線、および前記左目領域の境界のいずれかの位置を第２始点とし、前記第２始点よりも下方向の左顔面の輪郭との交点を第２終点とする第２直線を設定する検出線設定部と、
前記第１直線および前記第２直線について、前記右目領域、前記左目領域、前記鼻領域および前記口領域を除き、輝度変化を検出する検出線設定部と、
前記第１直線および前記第２直線の少なくとも一方について、前記輝度変化が検出された場合、前記顔画像を、顔画像認証に不適切な画像であると判定する判定部とを含むことを特徴とする。

【0008】

本発明の顔画像の適正判定方法は、
既定の閾値に基づき、顔画像から二値化画像を生成する二値化処理工程と、
前記顔画像について、顔の輪郭、右目を含む右目領域、左目を含む左目領域、鼻を含む鼻領域、および口を含む口領域を検出する部位検出工程と、
前記二値化画像において、前記右目領域の境界のいずれかの位置を第１始点とし、前記第１始点よりも下方向の右顔面の輪郭との交点を第１終点とする第１直線、および前記左目領域の境界のいずれかの位置を第２始点とし、前記第２始点よりも下方向の左顔面の輪郭との交点を第２終点とする第２直線を設定する検出線決定工程と、
前記第１直線および前記第２直線について、前記右目領域、前記左目領域、前記鼻領域および前記口領域を除き、輝度変化を検出する輝度変化検出工程と、
前記第１直線および前記第２直線の少なくとも一方について、前記輝度変化が検出された場合、前記顔画像を、顔画像認証に不適切な画像であると判定する判定工程とを含むことを特徴とする。

【0009】

本発明の顔画像認証装置は、
マスター画像の候補顔画像について、前記輝度変化が検出された場合、前記候補顔画像を、前記顔画像認証に不適切な画像であると判定し、前記輝度変化が検出されなかった場合、前記候補顔画像を、顔画像認証に適切な画像であると判定する適正判定部と、
前記候補顔画像が適切な画像であると判定された場合、前記マスター画像の候補顔画像を、マスター画像として記憶する記憶部と、
クエリー画像と前記マスター画像とを照合し、一致する場合、認証する顔画像認証部とを含み、
前記適正判定部が、前記本発明の適正判定装置であることを特徴とする。

【0010】

本発明の顔画像認証方法は、
マスター画像の候補顔画像について、前記輝度変化が検出された場合、前記候補顔画像を、前記顔画像認証に不適切な画像であると判定し、前記輝度変化が検出されなかった場合、前記候補顔画像を、顔画像認証に適切な画像であると判定する適正判定工程と、
前記候補顔画像が適切な画像であると判定された場合、前記マスター画像の候補顔画像を、マスター画像として記憶する記憶工程と、
クエリー画像と前記マスター画像とを照合し、一致する場合、認証する顔画像認証工程とを含み、
前記適正判定工程が、前記本発明の適正判定方法であることを特徴とする。

【0011】

本発明のプログラムは、前記本発明の顔画像の適正判定方法をコンピュータに実行させることを特徴とする。

【0012】

本発明のプログラムは、前記本発明の顔画像認証方法をコンピュータに実行させることを特徴とする。

【0013】

本発明のコンピュータ読み取り可能な記録媒体は、前記本発明のプログラムを記録したことを特徴とする。

【発明の効果】

【0014】

本発明によれば、例えば、手ぶれ写真か否かにかかわらず、画像認証に不適切な顔画像を容易に判定できる。

【図面の簡単な説明】

【0015】

【図1】実施形態１の適正判定装置の一例を示すブロック図である。

【図2】実施形態１の適正判定装置のハードウェア構成の一例を示すブロック図である。

【図3】実施形態１の適正判定方法の一例を示すフローチャートである。

【図4】実施形態１の適正判定装置による、画像処理の一例を示す概略図であり、（Ａ）は二値化処理画像、（Ｂ）は二値化処理前の顔画像（グレースケール画像）について、口領域等を示したもの、（Ｃ）は前記二値化処理画像に、口領域等を示し、且つ、第１直線と第２直線を示したもの、（Ｄ）は（Ｃ）に、さらに第３直線を示したものを、それぞれ示す。

【発明を実施するための形態】

【0016】

本発明者らは、鋭意研究の結果、顔画像認証において、顔画像の目から下の領域に影があると認証が困難になることを見出した。そして、この知見に基づき、このような領域における影の発生を判別し、顔画像が顔画像認証において使用しうる適正なものか否かを判定できる本発明を確立するに到った。

【0017】

本発明の実施形態について図を用いて説明する。本発明は、以下の実施形態には限定されない。以下の各図において、同一部分には、同一符号を付している。また、各実施形態の説明は、特に言及がない限り、互いの説明を援用でき、各実施形態の構成は、特に言及がない限り、組合せ可能である。本発明において、顔画像および二値化画像における方向は、頭側が上方向、首側が下方向、右目側が右方向、左目側が左方向を示す。本実施形態において、「顔画像」は、二値化処理前の画像であり、「二値化画像」は、前記顔画像を二値化処理した画像である。

【0018】

［実施形態１］
本発明の適正判定装置および適正判定方法の一例について、図を用いて説明する。

【0019】

図１は、本発明の実施形態１による顔画像の適正判定装置１の一例の構成を示すブロック図である。図１を参照すると、適正判定装置１は、顔画像取得部１０、二値化処理部１１、部位検出部１２、検出線設定部１３、輝度変化検出部１４、判定部１５を有する。適正判定装置１は、例えば、顔画像の適正判定システムともいう。適正判定装置１は、前記構成に限定されず、例えば、記憶部、出力部等を有してもよい。

【0020】

適正判定装置１は、例えば、前記各部を含む１つの適正判定装置でもよいし、前記各部が、通信回線網を介して接続可能な適正判定装置でもよい。前記通信回線網は、特に制限されず、公知のネットワークを使用でき、例えば、有線でも無線でもよい。前記通信回線網は、例えば、インターネット回線、電話回線、ＬＡＮ（Local Area Network）、ＷｉＦｉ（Wireless Fidelity）等があげられる。

【0021】

図２に、図１の適正判定装置１のハードウェア構成のブロック図を例示する。図２を参照すると、適正判定装置１は、例えば、ＣＰＵ（中央処理装置）１０１、メモリ１０２、インターフェイス（Ｉ／Ｆ）１０３、入力装置１０４、ディスプレイ１０５、通信デバイス１０６、記憶装置１０７等を有する。適正判定装置１の各部は、例えば、Ｉ／Ｆ１０３を介して、接続されている。前記ハードウェア構成において、内部での回路間の通信は、バスによって接続される。

【0022】

ＣＰＵ１０１は、適正判定装置１の全体の制御を担う。適正判定装置１において、ＣＰＵ１０１により、例えば、本発明のプログラム１０８やその他のプログラムが実行され、また、各種情報の読み込みや書き込みが行われる。具体的に、適正判定装置１は、例えば、ＣＰＵ１０１が、顔画像取得部１０、二値化処理部１１、部位検出部１２、検出線設定部１３、輝度変化検出部１４、判定部１５として機能する。

【0023】

Ｉ／Ｆ１０３は、例えば、前述したＣＰＵ１０１、メモリ１０２等のそれぞれの機能部間を接続する。また、Ｉ／Ｆ１０３は、例えば、カメラ等の外部機器とも接続できる。適正判定装置１は、Ｉ／Ｆ１０３に接続された通信デバイス１０６により、前記通信回線網に接続でき、前記通信回線網を介して、前記外部機器と接続することもできる。適正判定装置１が前記出力部を有する場合、例えば、Ｉ／Ｆ１０３、またはＩ／Ｆ１０３に接続された通信デバイス１０６が、前記出力部として機能する。

【0024】

メモリ１０２は、例えば、メインメモリを含み、前記メインメモリは、主記憶装置ともいう。ＣＰＵ１０１が処理を行う際には、例えば、後述する補助記憶装置に記憶されている、本発明のプログラム等の種々の動作プログラム１０８を、メモリ１０２が読み込み、ＣＰＵ１０１は、メモリ１０２からデータを受け取って、前記プログラムを実行する。前記メインメモリは、例えば、ＲＡＭ（ランダムアクセスメモリ）である。メモリ１０２は、例えば、さらに、ＲＯＭ（読み出し専用メモリ）を含む。

【0025】

記憶装置１０７は、例えば、前記メインメモリ（主記憶装置）に対して、いわゆる補助記憶装置ともいう。記憶装置１０７は、例えば、記憶媒体と、前記記憶媒体に読み書きするドライブとを含む。前記記憶媒体は、特に制限されず、例えば、内蔵型でも外付け型でもよく、ＨＤ（ハードディスク）、ＦＤ（フロッピー（登録商標）ディスク）、ＣＤ－ＲＯＭ、ＣＤ－Ｒ、ＣＤ－ＲＷ、ＭＯ、ＤＶＤ、フラッシュメモリー、メモリーカード等があげられ、前記ドライブは、特に制限されない。記憶装置１０７は、例えば、記憶媒体とドライブとが一体化されたハードディスクドライブ（ＨＤＤ）、ソリッドステートドライブ（ＳＳＤ）等も例示できる。記憶装置１０７は、例えば、本発明のプログラム１０８等の動作プログラムが格納される。記憶装置１０７は、例えば、前記記憶部である。

【0026】

適正判定装置１は、例えば、さらに、入力装置１０４、ディスプレイ１０５を任意で有する。入力装置１０４は、例えば、タッチパネル、キーボード、マウス等である。ディスプレイ１０５は、例えば、ＬＥＤディスプレイ、液晶ディスプレイ等である。

【0027】

顔画像取得部１０は、顔画像を取得する。前記顔画像は、例えば、顔画像認証において、マスター画像（予め登録しておく画像）として使用する顔画像でもよいし、クエリー画像（前記マスター画像に対して照合する画像）として使用する顔画像でもよい。顔画像取得部１０は、例えば、それ自体が対象者の顔画像を撮像する撮像部でもよいし、撮像された顔画像を入力する入力部であってもよい。顔画像取得部１０が前記撮像部の場合、例えば、前記カメラがあげられる。顔画像取得部１０が前記入力部の場合、適正判定装置１は、例えば、前記カメラと電気的に接続され、前記カメラで撮像された顔画像情報が入力されてもよい。適正判定装置１と前記カメラとの接続は、特に制限されず、例えば、有線でも無線でもよい。適正判定装置１と前記カメラとは、例えば、通信回線網を介して接続可能であり、前記通信回線網は、特に制限されず、例えば、前述の通りである。

【0028】

二値化処理部１１は、既定の閾値に基づき、二値化処理により、前記顔画像から二値化画像を生成する。前記二値化処理とは、画像を、画素値が２つの値のみである画像（二値化画像）に改変する処理である。前記閾値は、例えば、顔画像の適正判定を、相対的に厳しく行うか、相対的に緩く行うかによって適宜決定できる。前記閾値は、例えば、画像において明るさを示す画素値を、任意の基準値とすることで、設定できる。前記画素値は、例えば、輝度である。前記輝度は、通常、値が高い程、明るい色であることを示し、値が低い程、暗い色であることを示す。前記二値化処理では、例えば、画像における各画素について、前記画素値が閾値を超える場合（または閾値以上の場合）、１の画素（白色の画素）に変換し、前記画素値が閾値以下の場合（または閾値未満の場合）、０の画素（黒色の画素）に変換する。なお、前記二値化処理においては、例えば、白黒を反転させてもよい。

【0029】

部位検出部１２は、二値化処理をしていない前記顔画像について、顔の輪郭、右目を含む右目領域、左目を含む左目領域、鼻を含む鼻領域、および口を含む口領域を検出する。前記各領域は、右目、左目、鼻、または口の各部位を、それぞれ含んでいればよく、その形状は、特に制限されず、例えば、円形状でも、角形状でもよい。具体的に、例えば、前記各領域（右目領域、左目領域、鼻領域、および口領域）は、それぞれ、前記顔画像において、各部位について、上下方向の最長長さＶを縦方向、前記Ｖに垂直な左右方向の最長長さＨを横方向とする四角形、前記最長長さＶおよびＨの長い方を直径とする円形、または、前記最長長さＶおよびＨの長い方を長径、短い方を短径とする楕円形とすることができる。部位検出部１２による前記顔の輪郭、および前記各部位の検出は、公知の部位検出手段が利用でき、例えば、ＯｐｅｎＣＶ等が利用できる。

【0030】

検出線設定部１３は、前記二値化画像において、前記右目領域の境界のいずれかの位置を第１始点とし、前記第１始点よりも下方向の右顔面の輪郭との交点を第１終点とする第１直線、および前記左目領域の境界のいずれかの位置を第２始点とし、前記第２始点よりも下方向の左顔面の輪郭との交点を第２終点とする第２直線を設定する。前記第１直線は、前述のような方向への直線であればよく、具体例として、前記前記第１始点からの垂線があげられる。前記第２直線は、前述のような方向への直線であればよく、具体例として、前記第２始点からの垂線があげられる。前記垂線は、例えば、右顔面および左顔面における頬の領域を通る線となる。前記頬の領域において、輝度変化がある場合、つまり影がある場合、前記顔画像を顔画像認証に使用できない可能性が高くなる。このため、前記垂線を、後述する輝度変化の検出線として設定することが好ましい。前記垂線は、例えば、右目と左目とを結ぶ線に対して垂直な線である。前記右目と左目とを結ぶ線とは、例えば、前記右目領域の中心と前記左目領域の中心とを結ぶ線である。

【0031】

輝度変化検出部１４は、前記第１直線および前記第２直線について、前記右目領域、前記左目領域、前記鼻領域および前記口領域を除き、輝度変化を検出する。前記輝度変化とは、例えば、前記第１直線または前記第２直線上において、２つの値が存在することを意味し、具体的には、例えば、０の画素（黒色の画素）が存在することを意味する。

【0032】

判定部１５は、前記第１直線および前記第２直線の少なくとも一方について、前記輝度変化が検出された場合、前記顔画像を、顔画像認証に不適切な画像であると判定する。

【0033】

検出線設定部１３は、例えば、さらに、前記第１直線の中点と前記第２直線の中点とを結ぶ第３直線を設定してもよい。前記第３直線を設定した場合、輝度変化検出部１４は、例えば、さらに、前記第３直線についても、前記右目領域、前記左目領域、前記鼻領域および前記口領域を除き、輝度変化を検出する。そして、判定部１５は、例えば、さらに、前記第３直線について前記輝度変化が検出された場合にも、前記顔画像を、顔画像認証に不適切な画像であると判定する。つまり、判定部１５は、前記第１直線、前記第２直線、および前記第３直線のいずれか一つでも、前記輝度変化が検出された場合に、前記顔画像を、顔画像認証に不適切な画像であると判定する。

【0034】

つぎに、本実施形態の適正判定方法について説明する。本実施形態の適正判定方法は、例えば、図１および図２に示す顔画像の適正判定装置１を用いて実施できる。なお、本実施形態の適正判定方法は、適正判定装置１の使用には限定されない。また、本実施形態の適正判定方法における記載は、前述した適正判定装置１に援用できる。

【0035】

前記二値化処理工程は、既定の閾値に基づき、取得した顔画像から二値化画像を生成する。前記二値化処理工程は、例えば、適正判定装置１の二値化処理部１１により実行できる。前記顔画像の取得は、例えば、適正判定装置１の顔画像取得部１０により実行できる。

【0036】

前記部位検出工程は、前記顔画像について、顔の輪郭、右目を含む右目領域、左目を含む左目領域、鼻を含む鼻領域、および口を含む口領域を検出する。前記部位検出工程は、例えば、適正判定装置１の部位検出部１２により実行できる。

【0037】

前記二値化処理工程および前記部位検出工程の実行順序は、特に制限されず、例えば、それぞれ、後述する検出線設定工程より先に実行されていればよく、同時に実行してもよいし、別個に実行してもよい。後者の場合、実行する順序は、特に制限されず、任意である。

【0038】

前記検出線設定工程は、前記二値化画像において、前記右目領域の境界のいずれかの位置を第１始点とし、前記第１始点よりも下方向の右顔面の輪郭との交点を第１終点とする第１直線、および前記左目領域の境界のいずれかの位置を第２始点とし、前記第２始点よりも下方向の左顔面の輪郭との交点を第２終点とする第２直線を設定する。前記検出線設定工程は、例えば、適正判定装置１の検出線設定部１３により実行できる。前記検出線設定工程は、例えば、さらに、前記第１直線の中点と前記第２直線の中点とを結ぶ第３直線を設定してもよい。前記第１直線および前記第２直線は、例えば、前述のような垂線があげられる。

【0039】

前記輝度変化検出工程は、前記第１直線および前記第２直線について、前記右目領域、前記左目領域、前記鼻領域および前記口領域を除き、輝度変化を検出する。前記輝度変化検出工程は、例えば、適正判定装置１の輝度変化検出部１４により実行できる。前記検出線設定工程において前記第３直線を設定した場合、前記輝度変化検出工程は、例えば、さらに、前記第３直線についても、前記右目領域、前記左目領域、前記鼻領域および前記口領域を除き、輝度変化を検出する。前記第１直線、前記第２直線、および任意で前記第３直線における、輝度変化の検出順序は、特に制限されず、例えば、同時に実行してもよいし、別個に実行してもよい。後者の場合、実行する順序は、特に制限されず、任意である。

【0040】

前記判定工程は、前記第１直線および前記第２直線の少なくとも一方について、前記輝度変化が検出された場合、前記顔画像を、顔画像認証に不適切な画像であると判定する。前記判定工程は、例えば、適正判定装置１の判定部１５により実行できる。前記第３直線を設定した場合、前記判定工程は、例えば、さらに、前記第３直線について前記輝度変化が検出された場合にも、前記顔画像を、顔画像認証に不適切な画像であると判定する。一方、前記判定工程は、例えば、前記第１直線、前記第２直線、および、任意で、前記第３直線のいずれにも輝度変化が検出されなかった場合、前記顔画像を、顔画像認証に適切な画像であると判定してもよい。

【0041】

つぎに、本発明の実施形態１による適正判定方法について、図３のフローチャートおよび図４を用いて、より具体的に説明する。なお、本発明の適正判定方法は、これらの例に制限されない。図４は、本発明の実施形態１による適正判定装置および適正判定方法における、画像処理の一例を示す概略図である。

【0042】

まず、顔画像を取得する（Ｓ１００）。前記顔画像は、例えば、カラー画像またはグレースケール画像等である。

【0043】

そして、前記二値化処理工程として、図４（Ａ）に示すように、二値化処理部１１により、既定の閾値に基づき、前記取得した顔画像から、二値化画像２０を生成する（Ｓ１０１）。

【0044】

前記部位検出工程として、図４（Ｂ）に示すように、部位検出部１２により、二値化処理前の顔画像３０について、顔の輪郭１２１、右目を含む右目領域１２２ａ、左目を含む左目領域１２２ｂ、鼻を含む鼻領域１２３、および口を含む口領域１２４を検出する（Ｓ１０２）。

【0045】

前記検出線設定工程として、図４（Ｃ）に示すように、検出線設定部１３により、二値化画像２０において、右目領域１２２ａの境界下部を第１始点とし、前記第１始点よりも下方向の右顔面の輪郭との交点を第１終点とする第１直線１３１、および左目領域１２２ｂの境界下部を第２始点とし、前記第２始点よりも下方向の左顔面の輪郭との交点を第２終点とする第２直線１３２を設定する。第１直線１３１および第２直線１３２は、それぞれ、前記第１始点または第２始点から、前記第１終点または第２終点を結ぶ垂線である。さらに、図４（Ｄ）に示すように、第１直線１３１の中点と第２直線１３２の中点とを結ぶ、第３直線１３３を設定する（Ｓ１０３）。

【0046】

前記検出線設定工程においては、例えば、二値化画像２０と二値化処理前の顔画像３０とを照合し、顔画像３０において検出された輪郭１２１、右目領域１２２ａ、左目領域１２２ｂ、鼻領域１２３、および口領域１２４を、二値化画像２０において設定すればよい。これにより、前述のような第１直線１３１、第２直線１３２および任意で第３直線１３３を設定できる。

【0047】

前記輝度変化検出工程として、輝度変化検出部１４により、第１直線１３１、第２直線１３２、および第３直線１３３について、右目領域１２２ａ、左目領域１２２ｂ、鼻領域１２３および口領域１２４を除き、輝度変化を検出する（Ｓ１０４）。

【0048】

そして、前記判定工程として、まず、第１直線１３１に輝度変化があるかを判定する（Ｓ１０５－１）。第１直線１３１に輝度変化がある場合（ＹＥＳ）、判定部１５により、前記顔画像は、顔画像認証に不適切な画像として判定し（Ｓ１０６）、終了する（ＥＮＤ）。一方、第１直線１３１に輝度変化がない場合（ＮＯ）、つぎに、第２直線１３２に輝度変化があるかを判定する（Ｓ１０５－２）。第２直線１３２に輝度変化がある場合（ＹＥＳ）、判定部１５により、前記顔画像は、顔画像認証に不適切な画像として判定し（Ｓ１０６）、終了する（ＥＮＤ）。一方、第２直線１３２に輝度変化がない場合（ＮＯ）、さらに、第３直線１３３に輝度変化があるかを判定する（Ｓ１０５－３）。第３直線１３３に輝度変化がある場合（ＹＥＳ）、判定部１５により、前記顔画像は、顔画像認証に不適切な画像として判定し（Ｓ１０６）、終了する（ＥＮＤ）。一方、第３直線１３３に輝度変化がない場合（ＮＯ）、すなわち、第１直線１３１、第２直線１３２、および第３直線１３３のいずれにも輝度変化がない場合、判定部１５により、前記顔画像は、顔画像認証に適切な画像であると判定し（Ｓ１０７）、終了する（ＥＮＤ）。

【0049】

なお、図３に示す、前記判定工程（前記Ｓ１０５－１工程、前記Ｓ１０５－２工程、および前記Ｓ１０５―３工程）の実行の順序は、例示であり、特に制限されない。前記Ｓ１０５－１工程、前記Ｓ１０５－２工程、および前記Ｓ１０５―３工程は、例えば、同時に実行してもよいし、別個に実行してもよい。後者の場合、実行する順序は、特に制限されず、任意である。この場合、例えば、同時または任意の順序で実行した、前記Ｓ１０５－１工程、前記Ｓ１０５－２工程、および前記Ｓ１０５－３工程のいずれか一つにおいて輝度変化がある場合、前記顔画像は、顔画像認証に不適切な画像として判定し、前記Ｓ１０５－１工程、前記Ｓ１０５－２工程、および前記Ｓ１０５－３工程いずれにも輝度変化がない場合、前記顔画像は、顔画像認証に適切な画像として判定する。

【0050】

適正判定装置１は、前述のように二値化処理した顔画像の輝度変化を検出するため、例えば、顔画像における、顔の輪郭外、目、口および鼻の位置等を除く、目から下の領域に影が存在するかどうかを判定できる。これにより、例えば、顔画像認証に不適切な顔画像を容易に判定できる。

【0051】

［実施形態２］
本発明の実施形態２によるプログラムは、前記本発明の適正判定方法を、コンピュータ上で実行可能なプログラムである。または、本発明の実施形態２によるプログラムは、例えば、コンピュータ読み取り可能な記録媒体に記録されてもよい。前記記録媒体としては、特に限定されず、例えば、前述のような記憶媒体等があげられる。

【0052】

［実施形態３］
本発明の顔画像認証装置および顔画像認証方法について、説明する。

【0053】

本発明の実施形態３による顔画像認証装置は、顔画像の適正判定部、記憶部、および顔画像認証部を有する。前記顔画像認証装置は、例えば、前記各部を含む１つの顔画像認証装置でもよいし、前記各部が、通信回線網を介して接続可能な顔画像認証装置でもよい。前記通信回線網は、特に制限されず、例えば、前述の通りである。前記顔画像認証装置は、例えば、顔画像認証システムともいう。前記顔画像認証装置は、前記構成に限定されず、例えば、出力部等を有してもよい。前記顔画像認証装置は、例えば、前記実施形態１の適正判定装置１が、さらに、前記記憶部および前記顔画像認証部を有する構成でもよい。

【0054】

前記適正判定部は、マスター画像（予め登録しておく画像）の候補顔画像について、前記輝度変化が検出された場合、前記候補顔画像を、前記顔画像認証に不適切な画像であると判定し、前記輝度変化が検出されなかった場合、前記候補顔画像を、顔画像認証に適切な画像であると判定する。前記適正判定部は、例えば、さらに、クエリー画像（前記マスター画像に対して照合する画像）の候補顔画像について、前記輝度変化が検出された場合、前記候補顔画像を、前記顔画像認証に不適切な画像であると判定し、前記輝度変化が検出されなかった場合、前記候補顔画像を、顔画像認証に適切な画像であると判定してもよい。前記クエリー画像の候補顔画像が適切な画像であると判定された場合、後述する顔画像認証部は、例えば、前記クエリー画像の候補顔画像を、クエリー画像とする。前記適正判定部は、例えば、前記実施形態１の適正判定装置１である。

【0055】

前記記憶部は、前記マスター画像の候補顔画像が適切な画像であると判定された場合、前記マスター画像の候補顔画像を、マスター画像として記憶する。前記記憶部としては、例えば、前述のような記憶装置があげられる。

【0056】

前記顔画像認証部は、クエリー画像と前記マスター画像とを照合し、一致する場合、認証する。前記顔画像認証部は、例えば、前記クエリー画像と前記マスター画像とが一致するかを照合してもよいし、前記クエリー画像と前記マスター画像とが類似するかを照合してもよい。前記一致および類似は、例えば、前記クエリー画像と前記マスター画像とに対して、公知の類似度計算により得られる類似度に基づき判断することができる。前記顔画像認証部による照合方法は、特に制限されず、例えば、前記クエリー画像と前記マスター画像との類似度計算による方法、目、鼻、口等の特徴点の距離の比や、前記特徴点を結んだ線の向き等の特徴量を用いる方法等、従来公知の顔認証方法を使用できる。前記顔画像認証部は、例えば、ＣＰＵにより実行される。

【0057】

つぎに、本発明の実施形態３による顔画像認証方法について説明する。本発明の実施形態３による顔画像認証方法は、例えば、本発明の実施形態３による前記顔画像認証装置を用いて実施できる。なお、本発明の実施形態３による顔画像認証方法は、前記顔画像認証装置の使用には限定されない。また、本発明の実施形態３による顔画像認証方法における記載は、前述した顔画像認証装置に援用できる。

【0058】

本発明の実施形態３による顔画像認証方法は、顔画像の適正判定工程、記憶工程、および顔画像認証工程を有する。

【0059】

前記適正判定工程は、マスター画像の候補顔画像について、前記輝度変化が検出された場合、前記候補顔画像を、前記顔画像認証に不適切な画像であると判定し、前記輝度変化が検出されなかった場合、前記候補顔画像を、顔画像認証に適切な画像であると判定する。前記適正判定工程は、例えば、さらに、クエリー画像の候補顔画像について、前記輝度変化が検出された場合、前記候補顔画像を、前記顔画像認証に不適切な画像であると判定し、前記輝度変化が検出されなかった場合、前記候補顔画像を、顔画像認証に適切な画像であると判定してもよい。前記クエリー画像の候補顔画像が適切な画像であると判定された場合、後述する顔画像認証工程において、例えば、前記クエリー画像の候補顔画像をクエリー画像とする。前記適正判定工程は、例えば、前記本発明の適正判定方法である。前記適正判定工程は、例えば、前記顔画像認証装置の前記適正判定部により実行できる。

【0060】

前記記憶工程は、前記マスター画像の候補顔画像が適切な画像であると判定された場合、前記マスター画像の候補顔画像を、マスター画像として記憶する。前記記憶工程は、例えば、前記顔画像認証装置の前記記憶部により実行できる。

【0061】

前記顔画像認証工程は、クエリー画像と前記マスター画像とを照合し、一致する場合、認証する。前記顔画像認証工程は、例えば、前記顔画像認証装置の前記顔画像認証部により実行できる。

【0062】

［実施形態４］
本発明の実施形態４によるプログラムは、前記本発明の顔画像認証方法を、コンピュータ上で実行可能なプログラムである。または、本発明の実施形態４によるプログラムは、例えば、コンピュータ読み取り可能な記録媒体に記録されてもよい。前記記録媒体としては、特に限定されず、例えば、前述のような記憶媒体等があげられる。

【0063】

以上、実施形態を参照して本願発明を説明したが、本願発明は、上記実施形態に限定されるものではない。本願発明の構成や詳細には、本願発明のスコープ内で当業者が理解し得る様々な変更をすることができる。

【0064】

＜付記＞
上記の実施形態および実施例の一部または全部は、以下の付記のように記載されうるが、以下には限られない。
（付記１）
顔画像を取得する顔画像取得部と、
既定の閾値に基づき、前記顔画像から二値化画像を生成する二値化処理部と、
前記顔画像について、顔の輪郭、右目を含む右目領域、左目を含む左目領域、鼻を含む鼻領域、および口を含む口領域を検出する部位検出部と、
前記二値化画像において、前記右目領域の境界のいずれかの位置を第１始点とし、前記第１始点よりも下方向の右顔面の輪郭との交点を第１終点とする第１直線、および前記左目領域の境界のいずれかの位置を第２始点とし、前記第２始点よりも下方向の左顔面の輪郭との交点を第２終点とする第２直線を設定する検出線設定部と、
前記第１直線および前記第２直線について、前記右目領域、前記左目領域、前記鼻領域および前記口領域を除き、輝度変化を検出する検出線設定部と、
前記第１直線および前記第２直線の少なくとも一方について、前記輝度変化が検出された場合、前記顔画像を、顔画像認証に不適切な画像であると判定する判定部とを含むことを特徴とする顔画像の適正判定装置。
（付記２）
前記第１直線が、前記第１始点からの垂線であり、前記第２直線が、前記第２始点からの垂線であることを特徴とする付記１記載の適正判定装置。
（付記３）
さらに、前記検出線設定部が、前記第１直線の中点と前記第２直線の中点とを結ぶ第３直線を設定し、
前記輝度変化検出部が、前記第３直線について、前記右目領域、前記左目領域、前記鼻領域および前記口領域を除き、輝度変化を検出し、
前記判定部は、前記第３直線について前記輝度変化が検出された場合にも、前記顔画像を、顔画像認証に不適切な画像であると判定することを特徴とする付記１または２記載の適正判定装置。
（付記４）
マスター画像の候補顔画像について、前記輝度変化が検出された場合、前記候補顔画像を、前記顔画像認証に不適切な画像であると判定し、前記輝度変化が検出されなかった場合、前記候補顔画像を、顔画像認証に適切な画像であると判定する適正判定部と、
前記候補顔画像が適切な画像であると判定された場合、前記マスター画像の候補顔画像を、マスター画像として記憶する記憶部と、
クエリー画像と前記マスター画像とを照合し、一致する場合、認証する顔画像認証部とを含み、
前記適正判定部が、付記１から３のいずれかに記載の適正判定装置であることを特徴とする顔画像認証装置。
（付記５）
前記適正判定部は、クエリー画像の候補顔画像について、前記輝度変化が検出された場合、前記候補顔画像を、前記顔画像認証に不適切な画像であると判定し、前記輝度変化が検出されなかった場合、前記候補顔画像を、顔画像認証に適切な画像であると判定し、
前記顔画像認証部は、前記候補顔画像が適切な画像であると判定された場合、前記クエリー画像の候補顔画像をクエリー画像とし、さらに、前記クエリー画像と前記マスター画像とを照合し、一致する場合、認証することを特徴とする付記４記載の顔画像認証装置。
（付記６）
既定の閾値に基づき、顔画像から二値化画像を生成する二値化処理工程と、
前記顔画像について、顔の輪郭、右目を含む右目領域、左目を含む左目領域、鼻を含む鼻領域、および口を含む口領域を検出する部位検出工程と、
前記二値化画像において、前記右目領域の境界のいずれかの位置を第１始点とし、前記第１始点よりも下方向の右顔面の輪郭との交点を第１終点とする第１直線、および前記左目領域の境界のいずれかの位置を第２始点とし、前記第２始点よりも下方向の左顔面の輪郭との交点を第２終点とする第２直線を設定する検出線決定工程と、
前記第１直線および前記第２直線について、前記右目領域、前記左目領域、前記鼻領域および前記口領域を除き、輝度変化を検出する輝度変化検出工程と、
前記第１直線および前記第２直線の少なくとも一方について、前記輝度変化が検出された場合、前記顔画像を、顔画像認証に不適切な画像であると判定する判定工程とを含むことを特徴とする顔画像の適正判定方法。
（付記７）
前記第１直線が、前記第１始点からの垂線であり、前記第２直線が、前記第２始点からの垂線であることを特徴とする付記６記載の適正判定方法。
（付記８）
さらに、前記検出線設定工程が、前記第１直線の中点と前記第２直線の中点とを結ぶ第３直線を設定し、
前記輝度変化検出工程が、前記第３直線について、前記右目領域、前記左目領域、前記鼻領域および前記口領域を除き、輝度変化を検出し、
前記判定工程が、前記第３直線について前記輝度変化が検出された場合にも、前記顔画像を、顔画像認証に不適切な画像であると判定することを特徴とする付記６または７記載の適正判定方法。
（付記９）
マスター画像の候補顔画像について、前記輝度変化が検出された場合、前記候補顔画像を、前記顔画像認証に不適切な画像であると判定し、前記輝度変化が検出されなかった場合、前記候補顔画像を、顔画像認証に適切な画像であると判定する適正判定工程と、
前記候補顔画像が適切な画像であると判定された場合、前記マスター画像の候補顔画像を、マスター画像として記憶する記憶工程と、
クエリー画像と前記マスター画像とを照合し、一致する場合、認証する顔画像認証工程とを含み、
前記適正判定工程が、付記６から８のいずれかに記載の適正判定方法であることを特徴とする顔画像認証方法。
（付記１０）
前記適正判定工程は、クエリー画像の候補顔画像について、前記輝度変化が検出された場合、前記候補顔画像を、前記顔画像認証に不適切な画像であると判定し、前記輝度変化が検出されなかった場合、前記候補顔画像を、顔画像認証に適切な画像であると判定し、
前記顔画像認証工程は、前記候補顔画像が適切な画像であると判定された場合、前記クエリー画像の候補顔画像をクエリー画像とし、さらに、前記クエリー画像と前記マスター画像とを照合し、一致する場合、認証することを特徴とする付記９記載の顔画像認証方法。
（付記１１）
付記６から８のいずれかに記載の顔画像の適正判定方法をコンピュータに実行させることを特徴とするプログラム。
（付記１２）
付記９または１０記載の顔画像認証方法をコンピュータに実行させることを特徴とするプログラム。
（付記１３）
付記１１または１２記載のプログラムを記録したことを特徴とするコンピュータ読み取り可能な記録媒体。

【産業上の利用可能性】

【0065】

本発明によれば、例えば、手ぶれ写真か否かにかかわらず、画像認証に不適切な顔画像を容易に判定できるため、顔画像認証に最適である。

【符号の説明】

【0066】

１ 適正判定装置
１０ 顔画像取得部
１１ 二値化処理部
１２ 部位検出部
１３ 検出線設定部
１４ 輝度変化検出部
１５ 判定部
１０１ ＣＰＵ
１０２ メモリ
１０３ インターフェイス
１０４ 入力装置
１０５ ディスプレイ
１０６ 通信デバイス
１０７ 記憶装置
１０８ プログラム
２０ 二値化画像
３０ （二値化処理前の）顔画像
１２１ 顔の輪郭
１２２ａ 右目領域
１２２ｂ 左目領域
１２３ 鼻領域
１２４ 口領域
１３１ 第１直線
１３２ 第２直線
１３３ 第３直線

【図1】

【図2】

【図3】

【図4】