特許 7385416 画像処理装置、画像処理システム、画像処理方法及び画像処理プログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2023-11-14

(45)【発行日】2023-11-22

(54)【発明の名称】画像処理装置、画像処理システム、画像処理方法及び画像処理プログラム

(51)【国際特許分類】

   G06T 7/00 20170101AFI20231115BHJP

   G06T 1/00 20060101ALI20231115BHJP

【ＦＩ】

G06T7/00 660A

G06T1/00 340A

【請求項の数】 16

(21)【出願番号】P 2019186945

(22)【出願日】2019-10-10

(65)【公開番号】P2021064043

(43)【公開日】2021-04-22

【審査請求日】2022-08-01

(73)【特許権者】

【識別番号】000001432

【氏名又は名称】グローリー株式会社

(74)【代理人】

【識別番号】110000914

【氏名又は名称】弁理士法人ＷｉｓｅＰｌｕｓ

(72)【発明者】

【氏名】中嶋 康博

(72)【発明者】

【氏名】黒岩 素子

【審査官】伊知地 和之

(56)【参考文献】

【文献】特開２００８－０２７０５８（ＪＰ，Ａ）

【文献】特開２０１１－０５３９１５（ＪＰ，Ａ）

【文献】特開２０１０－０２７０３５（ＪＰ，Ａ）

【文献】特開２００８－１９１７６０（ＪＰ，Ａ）

【文献】特開２００７－０７２６０６（ＪＰ，Ａ）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ０６Ｔ １／００

Ｇ０６Ｔ ３／００ － ３／６０

Ｇ０６Ｔ ５／００ － ５／５０

Ｇ０６Ｔ ７／００ － ７／９０

Ｇ０６Ｖ １０／００ － ２０／９０

Ｇ０６Ｖ ３０／４１８

Ｇ０６Ｖ ４０／１６

Ｇ０６Ｖ ４０／２０

ＣＳＤＢ（日本国特許庁）

(57)【特許請求の範囲】

【請求項1】

画像から、大きさが所定範囲の顔を検出可能な顔検出部と、
入力画像から検出すべき顔の大きさの範囲として利用者により設定された設定範囲を記憶する記憶部と、
前記所定範囲及び前記設定範囲に基づいて前記顔検出部が検出可能な画像の解像度を決定し、決定した前記解像度に前記入力画像の解像度を変更した画像である拡大縮小画像を生成する解像度変更部と、
を備え、
前記顔検出部は、前記拡大縮小画像に対して顔検出する
ことを特徴とする画像処理装置。

【請求項2】

前記解像度変更部は、前記設定範囲の最大値に係る大きさの顔と、前記設定範囲の最小値に係る大きさの顔との少なくとも一方を前記顔検出部が検出可能となるように、前記入力画像の前記解像度を変更して前記拡大縮小画像を生成する
ことを特徴とする請求項１記載の画像処理装置。

【請求項3】

前記解像度変更部は、少なくとも前記設定範囲の最大値に係る大きさの顔を前記顔検出部が検出可能となるように、前記入力画像の前記解像度を低くすることによって前記拡大縮小画像を生成する
ことを特徴とする請求項２記載の画像処理装置。

【請求項4】

前記顔検出部は、前記設定範囲の最小値によっては、前記入力画像に対しても更に顔検出する
ことを特徴とする請求項１～３のいずれかに記載の画像処理装置。

【請求項5】

前記入力画像に対する前記拡大縮小画像の拡大／縮小率をＸ％とし、前記所定範囲の最小値をＭｉｎ１とし、前記設定範囲の最小値をＭｉｎ２としたとき、（Ｍｉｎ２×Ｘ／１００）＜Ｍｉｎ１の関係を満たす場合、前記顔検出部は、前記入力画像に対しても更に顔検出する
ことを特徴とする請求項４記載の画像処理装置。

【請求項6】

前記拡大縮小画像にて検出された顔の領域に対応する前記入力画像中の第１の領域が、前記入力画像にて検出された顔の領域である第２の領域と重なる場合、前記顔検出部は、前記第１の領域及び前記第２の領域の重なり具合に応じて、いずれか一方の顔に係る情報を検出結果として出力する
ことを特徴とする請求項４又は５記載の画像処理装置。

【請求項7】

前記顔検出部は、検出した顔の顔らしさに係るスコアを更に出力するものであり、前記第１の領域が前記第２の領域と重なり、かついずれか一方の顔に係る情報を出力する場合、顔らしさに係るスコアがより高い方の顔に係る情報を検出結果として出力する
ことを特徴とする請求項６記載の画像処理装置。

【請求項8】

前記顔検出部の検出結果に基づき認証処理を行う顔認証部を更に備え、
前記第１の領域が前記第２の領域と重なり、かつ前記顔検出部が前記拡大縮小画像にて検出した前記顔に係る情報を検出結果として出力する場合、前記顔認証部は、前記拡大縮小画像にて検出された前記顔の座標に対応する前記入力画像の座標から特定される前記入力画像の画像領域に基づいて認証処理を行う
ことを特徴とする請求項６又は７記載の画像処理装置。

【請求項9】

前記顔検出部の検出結果に基づき認証処理を行う顔認証部を更に備える
ことを特徴とする請求項１～７のいずれかに記載の画像処理装置。

【請求項10】

前記所定範囲の少なくとも一部が前記設定範囲を超えており、かつ前記顔検出部によって前記設定範囲外の大きさの顔が検出された場合、前記顔検出部は、当該設定範囲外の大きさの顔に係る情報を検出結果として出力しない
ことを特徴とする請求項１～９のいずれかに記載の画像処理装置。

【請求項11】

前記顔検出部は、画像に含まれる顔の複数の特徴点を検出し、かつ前記複数の特徴点に基づいて当該顔の大きさを算出する
ことを特徴とする請求項１～１０のいずれかに記載の画像処理装置。

【請求項12】

前記顔検出部は、メモリ容量が互いに異なる複数の顔検出器を有し、
前記複数の顔検出器のメモリ容量は、複数の画像サイズに応じて設定されたものである
ことを特徴とする請求項１～１１のいずれかに記載の画像処理装置。

【請求項13】

前記拡大縮小画像のサイズが前記複数の画像サイズのうちの最も近い画像サイズに一致するように、前記拡大縮小画像の周囲の少なくとも一部に背景画像を追加する画像サイズ調整部を更に備え、
前記顔検出部は、前記背景画像が追加された前記拡大縮小画像に対して顔検出する
ことを特徴とする請求項１２記載の画像処理装置。

【請求項14】

画像から、大きさが所定範囲の顔を検出可能な顔検出部と、
入力画像から検出すべき顔の大きさの範囲として利用者により設定された設定範囲を記憶する記憶部と、
前記所定範囲及び前記設定範囲に基づいて前記顔検出部が検出可能な画像の解像度を決定し、決定した前記解像度に前記入力画像の解像度を変更した画像である拡大縮小画像を生成する解像度変更部と、
を備え、
前記顔検出部は、前記拡大縮小画像に対して顔検出する
を備えることを特徴とする画像処理システム。

【請求項15】

画像から顔を検出する画像処理方法であって、
入力画像から検出すべき顔の大きさの範囲として利用者により設定された設定範囲を記憶するステップと、
検出可能な顔の大きさの範囲である所定範囲と、前記設定範囲とに基づいて顔検出部が検出可能な画像の解像度を決定し、決定した前記解像度に前記入力画像の解像度を変更した画像である拡大縮小画像を生成するステップと、
前記拡大縮小画像に対して顔検出するステップと、
を含むことを特徴とする画像処理方法。

【請求項16】

画像から顔を検出するためにコンピュータを、
検出可能な顔の大きさの範囲である所定範囲と、入力画像から検出すべき顔の大きさの範囲として利用者により設定された設定範囲とに基づいて顔検出部が検出可能な画像の解像度を決定し、決定した前記解像度に前記入力画像の解像度を変更した画像である拡大縮小画像を生成する手段、及び
前記拡大縮小画像に対して顔検出する手段、
として機能させることを特徴とする画像処理プログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、画像処理装置、画像処理システム、画像処理方法及び画像処理プログラムに関する。

【背景技術】

【0002】

人物が撮影された画像を画像処理装置にて解析し、その画像から当該人物の顔を検出する手法が従来から提案されている。

【0003】

例えば、特許文献１には、入力画像を段階的に縮小し、縮小した画像に対してテンプレート・マッチングによる顔検出を行う顔検出装置が開示されている。

【0004】

また、非特許文献１には、ニューラルネットワークを使用して画像から物体を検出する手法の一つが開示されている。

【先行技術文献】

【特許文献】

【0005】

【文献】特開２００８－２５７３２１号公報

【非特許文献】

【0006】

【文献】Tsung-Yi Lin, Piotr Dollar, Ross Girshick, Kaiming He, Bharath Hariharan, Serge Belongie, "Feature Pyramid Networks for Object Detection," The IEEE Conference on Computer Vision and Pattern Recognition (CVPR), 2017, pp. 2117-2125

【発明の概要】

【発明が解決しようとする課題】

【0007】

しかしながら、特許文献１に記載の顔検出装置では、設定された全ての段階において顔検出処理をしなければならず、処理時間が長くなってしまう。また、当該装置の利用者が検出する必要がないと考える大きさの顔を多く検出してしまう可能性もある。

【0008】

また、非特許文献１に記載の手法を利用して顔を検出することは可能であるが、検出可能な顔の大きさの範囲を広げすぎると、検出精度を確保するために複雑なネットワークを使用する必要があり、学習時及び検出時ともに時間的なコストが増大するとともに、必要なリソースが大きくなることによる経済的なコストアップを招いてしまう。

【0009】

本発明は、上記現状に鑑みてなされたものであり、利用者が要求する大きさの顔を効率的に検出可能な画像処理装置、画像処理システム、画像処理方法及び画像処理プログラムを提供することを目的とするものである。

【課題を解決するための手段】

【0010】

上述した課題を解決し、目的を達成するために、本発明は、画像処理装置であって、前記画像処理装置は、画像から、大きさが所定範囲の顔を検出可能な顔検出部と、入力画像から検出すべき顔の大きさの範囲として設定された設定範囲を記憶する記憶部と、前記所定範囲及び前記設定範囲に基づいて、前記入力画像の解像度を変更した画像である拡大縮小画像を生成する解像度変更部と、を備え、前記顔検出部は、前記拡大縮小画像に対して顔検出することを特徴とする。

【0011】

また、本発明は、上記発明において、前記解像度変更部は、前記設定範囲の最大値に係る大きさの顔と、前記設定範囲の最小値に係る大きさの顔との少なくとも一方を前記顔検出部が検出可能となるように、前記入力画像の前記解像度を変更して前記拡大縮小画像を生成することを特徴とする。

【0012】

また、本発明は、上記発明において、前記解像度変更部は、少なくとも前記設定範囲の最大値に係る大きさの顔を前記顔検出部が検出可能となるように、前記入力画像の前記解像度を低くすることによって前記拡大縮小画像を生成することを特徴とする。

【0013】

また、本発明は、上記発明において、前記顔検出部は、前記設定範囲の最小値によっては、前記入力画像に対しても更に顔検出することを特徴とする。

【0014】

また、本発明は、上記発明において、前記入力画像に対する前記拡大縮小画像の拡大／縮小率をＸ％とし、前記所定範囲の最小値をＭｉｎ１とし、前記設定範囲の最小値をＭｉｎ２としたとき、（Ｍｉｎ２×Ｘ／１００）＜Ｍｉｎ１の関係を満たす場合、前記顔検出部は、前記入力画像に対しても更に顔検出することを特徴とする。

【0015】

また、本発明は、上記発明において、前記拡大縮小画像にて検出された顔の領域に対応する前記入力画像中の第１の領域が、前記入力画像にて検出された顔の領域である第２の領域と重なる場合、前記顔検出部は、前記第１の領域及び前記第２の領域の重なり具合に応じて、いずれか一方の顔に係る情報を検出結果として出力することを特徴とする。

【0016】

また、本発明は、上記発明において、前記顔検出部は、検出した顔の顔らしさに係るスコアを更に出力するものであり、前記第１の領域が前記第２の領域と重なり、かついずれか一方の顔に係る情報を出力する場合、顔らしさに係るスコアがより高い方の顔に係る情報を検出結果として出力することを特徴とする。

【0017】

また、本発明は、上記発明において、前記画像処理装置は、前記顔検出部の検出結果に基づき認証処理を行う顔認証部を更に備え、前記第１の領域が前記第２の領域と重なり、かつ前記顔検出部が前記拡大縮小画像にて検出した前記顔に係る情報を検出結果として出力する場合、前記顔認証部は、前記拡大縮小画像にて検出された前記顔の座標に対応する前記入力画像の座標から特定される前記入力画像の画像領域に基づいて認証処理を行うことを特徴とする。

【0018】

また、本発明は、上記発明において、前記画像処理装置は、前記顔検出部の検出結果に基づき認証処理を行う顔認証部を更に備えることを特徴とする。

【0019】

また、本発明は、上記発明において、前記所定範囲の少なくとも一部が前記設定範囲を超えており、かつ前記顔検出部によって前記設定範囲外の大きさの顔が検出された場合、前記顔検出部は、当該設定範囲外の大きさの顔に係る情報を検出結果として出力しないことを特徴とする。

【0020】

また、本発明は、上記発明において、前記顔検出部は、画像に含まれる顔の複数の特徴点を検出し、かつ前記複数の特徴点に基づいて当該顔の大きさを算出することを特徴とする。

【0021】

また、本発明は、上記発明において、前記顔検出部は、メモリ容量が互いに異なる複数の顔検出器を有し、前記複数の顔検出器のメモリ容量は、複数の画像サイズに応じて設定されたものであることを特徴とする。

【0022】

また、本発明は、上記発明において、前記画像処理装置は、前記拡大縮小画像のサイズが前記複数の画像サイズのうちの最も近い画像サイズに一致するように、前記拡大縮小画像の周囲の少なくとも一部に背景画像を追加する画像サイズ調整部を更に備え、前記顔検出部は、前記背景画像が追加された前記拡大縮小画像に対して顔検出することを特徴とする

【0023】

また、本発明は、画像処理システムであって、前記画像処理システムは、画像から、大きさが所定範囲の顔を検出可能な顔検出部と、入力画像から検出すべき顔の大きさの範囲として設定された設定範囲を記憶する記憶部と、前記所定範囲及び前記設定範囲に基づいて、前記入力画像の解像度を変更した画像である拡大縮小画像を生成する解像度変更部と、を備え、前記顔検出部は、前記拡大縮小画像に対して顔検出することを特徴とする。

【0024】

また、本発明は、画像から顔を検出する画像処理方法であって、入力画像から検出すべき顔の大きさの範囲として設定された設定範囲を記憶するステップと、検出可能な顔の大きさの範囲である所定範囲と、前記設定範囲とに基づいて、前記入力画像の解像度を変更した画像である拡大縮小画像を生成するステップと、前記拡大縮小画像に対して顔検出するステップと、を含むことを特徴とする。

【0025】

また、本発明は、画像処理プログラムであって、前記画像処理プログラムは、画像から顔を検出するためにコンピュータを、検出可能な顔の大きさの範囲である所定範囲と、入力画像から検出すべき顔の大きさの範囲として設定された設定範囲とに基づいて、前記入力画像の解像度を変更した画像である拡大縮小画像を生成する手段、及び前記拡大縮小画像に対して顔検出する手段、として機能させることを特徴とする。

【発明の効果】

【0026】

本発明の画像処理装置、画像処理システム、画像処理方法及び画像処理プログラムによれば、利用者が要求する大きさの顔を効率的に検出することができる。

【図面の簡単な説明】

【0027】

【図1】実施形態１における顔検出の手法の概要を説明するための模式図である。

【図2】実施形態１に係る画像処理装置を含むシステムの全体構成を説明するブロック図である。

【図3】実施形態１に係る画像処理装置の構成を説明するブロック図である。

【図4】設定部による設定範囲の設定方法の一例を説明するための模式図であり、（ａ）は、カメラにより利用者を撮像する方法を示し、（ｂ）は、モニタ上に表示された利用者の顔から設定範囲を設定する方法を示す。

【図5】設定部による設定範囲の設定方法の別の例を説明するための模式図であり、モニタ上に表示された顔のモデルから設定範囲を設定する方法を示す。

【図6】顔検出部によって検出された顔の特徴点及びバウンディングボックスを示した模式図である。

【図7】拡大縮小画像にて顔検出部によって検出された顔の領域（バウンディングボックス）と、入力画像にて顔検出部によって検出された顔の領域（バウンディングボックス）との対応関係を示した模式図である。

【図8】実施形態１に係る画像処理装置で行われる処理、主に顔検出処理の手順の一例を示す模式図である。

【図9】実施形態１に係る画像処理装置で行われる処理、主に顔検出処理の手順の一例を示すフローチャートである。

【図10】変形形態に係る画像処理システムの全体構成を説明する模式図である。

【発明を実施するための形態】

【0028】

以下、本発明に係る画像処理装置、画像処理システム、画像処理方法及び画像処理プログラムの好適な実施形態を、図面を参照しながら説明する。本発明において、顔の大きさを示す具体的なパラメータ（所定範囲及び設定範囲を特定するためのパラメータ）は、特に限定されず、例えば、左右の目間の距離（以下、単に目間距離とも言う）、左右の目間の中心から口までの距離、顎先から頭の頂上までの距離、左右の耳の間の距離、等が挙げられるが、以下では、目間距離を使用した例について説明する。

【0029】

＜本実施形態の概要＞
まず、実施形態１における顔検出の手法の概要について説明する。本実施形態では、機械学習された推論モデルから構成される顔検出器（顔検出エンジン）にて検出可能な顔の大きさの所定範囲（例えば目間距離が８～２００画素）と、検出したい顔の大きさとして利用者が設定した設定範囲（任意の設定値、例えば目間距離が１０～４００画素）に応じて、入力画像のサイズを変更（拡大又は縮小、例えば２００／４００にサイズを圧縮）した画像である拡大縮小画像を生成し、拡大縮小画像に基づき顔検出する。これにより、顔検出器のみでは対応できない大きさ（目間距離）の顔であっても拡大縮小画像から検出することが可能となる。以下、図１を用いて、より詳しく説明する。

【0030】

まず、事前処理として、機械学習（好ましくは深層学習）により、入力画像中から所定範囲の大きさ（例えば目間距離が８～２００画素）の顔を検出可能な顔検出器を作成する。そして、運用時の初期化処理等において、作成した顔検出器をメモリ容量（サイズ）が異なる複数の顔検出器として記憶部に読み込む。ここで、各顔検出器のメモリ容量は、ＶＧＡ、ＦｕｌｌＨＤ、４Ｋ等の規格サイズの画像やその他任意の画像サイズ応じて設定する。

【0031】

そして、顔検出時の処理では、図１に示すように、利用者が設定した検出したい顔の大きさ（例えば目間距離）を示す範囲である設定範囲に応じて、顔検出器が検出可能な適切な画像の解像度（サイズ）を決定し、入力画像の解像度（サイズ）を変更する。すなわち、顔検出器が検出可能な顔の大きさになるように入力画像を拡大又は縮小し、拡大縮小画像を生成する。

【0032】

より具体的には、例えば、各顔検出器が検出可能な目間距離の所定範囲が８～２００画素であり、入力画像から検出すべき顔の大きさとして利用者が設定した目間距離の設定範囲が８～４００画素とする。この場合、各顔検出器は、入力画像からは、目間距離が２００～４００画素の顔を検出できない。そこで、入力画像を、そのアスペクト比を保ったまま５０％のサイズに縮小した拡大縮小画像を生成する。この拡大縮小画像でも各顔検出器が検出できる目間距離は、８～２００画素であるが、この拡大縮小画像は、サイズが入力画像の半分であるため、入力画像のサイズでは、その２倍の目間距離が１６～４００画素の顔を検出することになる。したがって、各顔検出器は、拡大縮小画像から、入力画像のサイズに換算したときに目間距離が２００～４００画素となる顔を検出することができる。

【0033】

ただし、この場合、拡大縮小画像では、入力画像のサイズに換算して目間距離が１６画素未満の顔を検出することができず、設定範囲の最小値付近の大きさの顔を検出することができない。そこで、本実施形態では、拡大縮小画像のみならず、入力画像に対しても顔検出を行う。各顔検出器は、入力画像から目間距離が８～２００画素の顔を検出することができる。

【0034】

このように、拡大縮小画像から、入力画像のサイズに換算して目間距離が１６～４００画素の顔を検出するとともに、入力画像から、目間距離が８～２００画素の顔を検出する。これにより、設定範囲（目間距離が８～４００画素）全域の大きさの顔を検出可能としている。

【0035】

このとき、拡大縮小画像及び入力画像のそれぞれの画像に対して、いずれの顔検出器を使用するかは、検出対象の画像のサイズに応じて決定される。検出対象の画像のサイズにメモリ容量が最も近いもの（ただし、画像サイズ以上のもの）を選択する。

【0036】

また、図１に示したように、検出結果が複数ある場合、すなわち複数の顔検出器によって重なり合う領域に顔が検出された場合は、重なり具合で検出結果を統合し、最終的な結果を求める。

【0037】

本実施形態によれば、顔検出器が対応可能な所定範囲と、利用者が希望する設定範囲とに基づいて、入力画像の解像度（サイズ）を変更して拡大縮小画像を生成し、拡大縮小画像に対して顔検出することから、利用者が要求する大きさの顔を効率的に検出することができる。

【0038】

＜画像処理装置を含むシステムの全体構成＞
次に、図２を用いて、実施形態１に係る画像処理装置を含むシステムの全体構成について説明する。図２に示すように、このシステムは、屋内外の所定エリア（例えば屋外の通路や店舗内）等を対象にして構築されるものであり、画像取得部として機能するカメラ１と、画像記録部として機能するレコーダ（画像記録装置）２と、顔検出部及び顔認証部として機能する画像処理装置３と、を備えている。所定エリアは、用途に応じて適宜設定可能である。

【0039】

カメラ１は、屋内外の所望の場所に設置される。カメラ１により屋内外の所定エリアが撮影される。撮影された映像（各フレーム）は、レコーダ２に蓄積される。

【0040】

画像処理装置３には、撮影した映像等を表示する表示部としてのモニタ（表示装置）４と、操作者が種々の入力操作を行う入力部としての入力デバイス５（例えばキーボードやマウス等）とが通信可能に接続されている。なお、モニタ４及び入力デバイス５は、タッチパネルディスプレイ等の入力機能付きの表示装置から構成されてもよい。

【0041】

画像処理装置３は、利用者が、モニタ４によって、カメラ１で撮像された映像をリアルタイムで閲覧できるように構成されるとともに、レコーダ２に録画された過去の映像を閲覧できるように構成されている。

【0042】

＜画像処理装置の構成＞
次に、図３を用いて、画像処理装置３の構成について説明する。画像処理装置３は、一般的なパーソナルコンピュータ相当の機能を有し、図３に示すように、制御部１０及び記憶部２０を備えている。

【0043】

制御部１０は、映像入力部１１と、設定部１２と、解像度変更部１３と、画像サイズ調整部１４と、顔検出部１５と、顔認識部１６との機能を備えている。制御部１０は、例えば、各種の処理を実現するためのソフトウェアプログラムと、該ソフトウェアプログラムを実行するＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）と、該ＣＰＵによって制御される各種ハードウェア等によって構成されている。制御部１０の動作に必要なソフトウェアプログラムやデータは記憶部２０に記憶される。

【0044】

なお、制御部１０の図３に示した各部は、制御部１０のＣＰＵで本実施形態に係る画像処理プログラムを実行させることによって実現される。本実施形態に係る画像処理プログラムは、画像処理装置３に予め導入されてもよいし、汎用ＯＳ上で動作可能なアプリケーションプログラムとして、コンピュータ読み取り可能な記録媒体に記録して、又は、ネットワークを介して、利用者に提供されてもよい。

【0045】

記憶部２０は、ハードディスク装置や不揮発性メモリ等の記憶装置から構成され、推論モデル２１を記憶している。

【0046】

映像入力部１１は、カメラ１又はレコーダ２から画像を取得する処理を行う。顔検出をリアルタイムで行う場合にはカメラ１から画像を取得し、過去の映像から顔検出を行う場合にはレコーダ２から画像を取得する。映像入力部１１によって取得された画像は、入力画像として解像度変更部１３に出力される。なお、入力画像は、静止画像であってもよいし、動画像（映像）であってもよい。

【0047】

設定部１２は、利用者の入力操作に応じて、入力画像から検出すべき顔の大きさ（目間距離）の範囲として、設定範囲を設定する処理を行う。設定範囲は、検出すべき顔の大きさ（目間距離）の最大値及び最小値を指定することによって設定され、記憶部２０に記憶される。設定範囲の最大値及び最小値は、いずれも任意の値であり、好ましくは画素数（任意の自然数）である。設定範囲は、利用者が入力デバイス５を用いて目間距離の最大値及び最小値を直接入力し、当該入力値に基づき設定部１２が設定してもよいし、下記の手法により設定されてもよい。

【0048】

例えば、図４（ａ）に示すように、カメラ１の前を利用者に前後に歩行してもらいながら撮影し、撮影した映像をモニタ４に表示する。図４（ｂ）に示すように、モニタ４には、顔の大きさが徐々に変化する利用者が表示されることになる。次に、利用者にモニタ４上で顔の大きさの変化を実際に確認してもらいながら、検出したい大きさの顔、すなわち検出したい最も小さい顔の画像と、検出したい最も大きい顔の画像とを選択してもらう。そして、それぞれの画像について、解像度変更部１３による拡大縮小画像の生成処理と顔検出部１５による顔検出処理とを、顔検出部１５がそれらの顔を検出するまで、拡大縮小率を種々変更しながら繰り返す。そして、顔検出部１５によって検出された最も小さい顔及び最も小さい顔の目間距離から、検出すべき目間距離の範囲（最大値及び最小値）を決定する。また、これとは異なり、利用者にモニタ４上で検出したい最も小さい顔の画像と検出したい最も大きい顔の画像とを選択してもらい、そして、それぞれの顔の両目の位置を利用者に入力デバイス５を用いて指定してもらうことによって、検出すべき目間距離の範囲（最大値及び最小値）を決定してもよい。

【0049】

また、図５に示すように、カメラ１の映像に顔のイラスト画像等をオーバーレイ表示し、利用者にマウス等により検出したい顔の大きさまで拡大縮小してもらってもよい。この場合、設定部１２が、最も縮小された顔（検出したい最も小さい顔）と、最も拡大された顔（検出したい最も大きい顔）から、それぞれ、検出すべき目間距離の最大値及び最小値を決定し、設定範囲を設定する。

【0050】

更に、設定部１２が、入力画像の解像度から、検出したい顔の大きさ、すなわち設定範囲を自動で設定してもよい。これは、スマートフォンやパスコンのカメラで顔認証（ログイン）する場合に好適である。この用途では、画像中に顔が大きく写るはずであるため、例えば、入力画像の解像度の半分以上等の画素数を設定範囲としてもよい。

【0051】

解像度変更部１３は、顔検出部１５が検出可能な顔の大きさ（目間距離）の範囲である所定範囲と、上述の設定範囲（入力画像から検出すべき顔の大きさ（目間距離）の範囲）とに基づいて、入力画像の解像度を変更した画像である拡大縮小画像を生成する。拡大縮小画像とは、入力画像の解像度を上げるか、又は下げた画像、すなわち入力画像を拡大又は縮小した画像である。なお、通常は、解像度変更部１３は、入力画像のアスペクト比を維持したまま拡大縮小画像を生成する。

【0052】

より詳細には、解像度変更部１３は、設定範囲の最大値に係る大きさの顔と、設定範囲の最小値に係る大きさの顔との少なくとも一方を顔検出部１５が検出可能となるように、入力画像の解像度を変更して拡大縮小画像を生成する。これにより、検出可能な所定範囲を超える大きさの顔（顔検出部１５の検出可能な範囲を超える大き過ぎる顔）と、検出可能な所定範囲を下回る大きさの顔（顔検出部１５の検出可能な範囲を下回る小さすぎる顔）との少なくとも一方について、顔検出部１５によって効率的に検出することができる。

【0053】

より好ましくは、解像度変更部１３は、少なくとも設定範囲の最大値に係る大きさの顔を顔検出部１５が検出可能となるように、入力画像の解像度を低くすることによって拡大縮小画像を生成する。これにより、少なくとも検出可能な所定範囲を超える大きさの顔（顔検出部１５の検出可能な範囲を超える大き過ぎる顔）を効率的に検出することができる。また、入力画像の解像度を低くした拡大縮小画像、すなわち縮小画像に対して顔検出できることから、顔検出処理の負担を軽減することができる。

【0054】

具体的には、例えば、目間距離の所定範囲が８～２００画素であり、目間距離の設定範囲が８～４００画素である場合、設定範囲の最大値の目間距離である４００画素が所定範囲の最大値と一致するように、入力画像の解像度を低くする。すなわち、（所定範囲の最大値）／（設定範囲の最大値）×１００の式から算出される拡大／縮小率（％）で入力画像を拡大／又は縮小して拡大縮小画像を生成する。

【0055】

なお、拡大／縮小率とは、入力画像に対する拡大縮小画像の倍率を意味し、ここでは、入力画像に対する拡大縮小画像の面積比率ではなく、入力画像に対する拡大縮小画像の幅及び高さの比率を表す。具体的には、上述のように、例えば、所定範囲の最大値及び設定範囲の最大値から算出される。

【0056】

顔検出部１５は、入力画像や拡大縮小画像といった検出対象の画像（画像データ）から顔検出する、すなわち顔検出処理を実行する。ただし、顔検出部１５は、画像中のあらゆる大きさ（目間距離）の顔を検出できるものではなく、所定範囲の大きさ（目間距離）の顔のみを検出可能なように構成されている。

【0057】

そこで、顔検出部１５は、少なくとも拡大縮小画像に対して顔検出する。これにより、例え検出すべき目間距離（設定範囲）が検出可能な所定範囲外であっても、拡大縮小画像から設定範囲の顔を検出できるようになる。

【0058】

具体的には、例えば、目間距離の所定範囲が８～２００画素であり、目間距離の設定範囲が５０～４００画素であり、５０％の拡大／縮小率で入力画像を縮小して拡大縮小画像を生成する場合、顔検出部１５は、拡大縮小画像では、入力画像のサイズに換算して目間距離が１６～４００画素の顔を検出できることから、設定範囲の大きさの顔を検出できることになる。

【0059】

ただし、上述のように、例えば、目間距離の所定範囲が８～２００画素であり、目間距離の設定範囲が８～４００画素であり、５０％の拡大／縮小率で入力画像を縮小して拡大縮小画像を生成する場合、顔検出部１５は、拡大縮小画像では、入力画像のサイズに換算して目間距離が１６画素未満の顔を検出できなくなってしまう。

【0060】

そこで、顔検出部１５は、設定範囲の最小値によっては、入力画像に対しても更に顔検出する。これにより、例え検出すべき顔の大きさ（設定範囲）が拡大縮小画像にて顔検出部１５が検出可能な範囲を下回る場合であっても、入力画像に対して顔検出を行うことから、拡大縮小画像では検出できないような小さな顔を検出できる可能性が高くなる。

【0061】

具体的には、上述のように、目間距離の所定範囲が８～２００画素であり、目間距離の設定範囲が８～４００画素であり、５０％の拡大／縮小率で入力画像を縮小して拡大縮小画像を生成する場合であっても、顔検出部１５は、入力画像では、目間距離が８～２００画素の顔を検出することができる。すわなち、拡大縮小画像では検出できない目間距離が８～１６画素の顔を入力画像から検出することができる。

【0062】

入力画像に対しても更に顔検出するか否かの基準としては、下記式（１）が好適である。すなわち、入力画像に対する拡大縮小画像の拡大／縮小率をＸ％（ただし、Ｘは０を除く正の数）とし、所定範囲の最小値をＭｉｎ１とし、設定範囲の最小値をＭｉｎ２としたとき、下記式（１）で表される関係を満たす場合は、顔検出部１５は、入力画像に対しても更に顔検出することが好ましい。
（Ｍｉｎ２×Ｘ／１００）＜Ｍｉｎ１ （１）

【0063】

他方、上記式（１）で表される関係を満たさない場合、すなわち（Ｍｉｎ２×Ｘ／１００）≧Ｍｉｎ１を満たす場合は、顔検出部１５は、入力画像に対して顔検出しなくてもよい。

【0064】

図６に示すように、顔検出部１５（各顔検出器）は、少なくとも、検出対象の画像に含まれる顔の左右の目の座標Ｅ１、Ｅ２と、当該顔の領域を示す矩形のバウンディングボックスＢＢと、当該顔の顔らしさに係るスコアとを出力（推定）するものである。なお、顔らしさに係るスコアとは、検出した顔がどの程度顔らしいかを示すパラメータであり、０～１の連続する値で出力され、より１に近いほど当該顔がより顔らしいことを意味する。また、顔検出部１５は、左右の目の座標Ｅ１、Ｅ２に基づいて当該顔の大きさ（本実施形態では目間距離）を算出する処理を行う。すなわち、目間距離は、検出された左右の目の座標Ｅ１及びＥ２間の距離に対応する。

【0065】

そして、顔検出部１５の検出結果には、検出した顔に係る情報として、左右の目の座標Ｅ１、Ｅ２、バウンディングボックスＢＢの座標（左上のコーナーの座標及びサイズ）、顔らしさに係るスコア、顔の大きさとしての目間距離、等が含まれる。顔検出部１５による検出結果、例えば、左右の目に位置を示す記号やバウンディングボックスＢＢは、モニタ４に表示されることによって利用者に報知される。

【0066】

図７に示すように、拡大縮小画像にて顔検出部１５によって検出された顔Ｆ１の領域ｒ１に対応する入力画像中の第１の領域Ｒ１が、入力画像にて顔検出部１５によって検出された顔Ｆ２の領域である第２の領域Ｒ２と重なる場合、顔検出部１５は、第１の領域Ｒ１及び第２の領域Ｒ２の重なり具合に応じて、いずれか一方の顔Ｆ１又はＦ２に係る情報を検出結果として出力する。これにより、顔認証部１６に出力される顔を減らすことができるので、画像処理装置３の処理コストを削減することができる。

【0067】

ここで、第１の領域Ｒ１が第２の領域Ｒ２と重なる場合としては、具体的には、例えば、拡大縮小画像と入力画像との両方にて同一人物の顔が検出された場合と、拡大縮小画像及び入力画像のそれぞれにて異なる人物の顔が互いに近接して検出された場合とが想定できる。そして、前者の場合は、拡大縮小画像と入力画像とのいずれかの検出結果のみを採用すべき場合であり、後者の場合は、拡大縮小画像と入力画像とのそれぞれの検出結果を採用すべき場合である。そこで、これらの場合に対応可能とするために、上述のように、顔検出部１５は、第１の領域Ｒ１及び第２の領域Ｒ２の重なり具合に応じて、いずれか一方の顔Ｆ１又はＦ２に係る情報を検出結果として出力するようになっている。ここで、第１の領域Ｒ１及び第２の領域Ｒ２の重なり具合とは、具体的には、例えば、ＩｏＵ（Intersection over Union）であり、ＩｏＵが所定の基準値以上であれば、第１の領域Ｒ１と第２の領域Ｒ２の重なりが大きいため、顔Ｆ１又はＦ２に係る顔を同一人物に係る顔とみなし、いずれか一方の顔Ｆ１又はＦ２に係る情報を検出結果として出力し、ＩｏＵがその基準値未満であれば、第１の領域Ｒ１と第２の領域Ｒ２の重なりが小さいため、顔Ｆ１又はＦ２に係る顔をそれぞれ異なる人物の顔とみなして両方の顔Ｆ１及びＦ２に係る情報をそれぞれ検出結果として出力する。なお、ＩｏＵは、（領域の共通部分）／（領域の和集合）の式から算出される。

【0068】

また、第１の領域Ｒ１が第２の領域Ｒ２と重なり、かついずれか一方の顔Ｆ１又はＦ２に係る情報を出力する場合、顔検出部１５は、顔らしさに係るスコアがより高い方の顔Ｆ１又はＦ２に係る情報を検出結果として出力する。これにより、拡大縮小画像と入力画像で検出された２つの顔Ｆ１及びＦ２のうち、より顔らしさのスコアが高い方の顔に係る情報を利用できることから、顔認証部１６による当該顔の認証精度を向上することができる。

【0069】

なお、顔Ｆ１に係る領域ｒ１及び顔Ｆ２に係る領域Ｒ２は、いずれも顔検出部１５によって検出されたバウンディングボックスＢＢに相当するものである。また、領域ｒ１の拡大縮小画像内における相対的な位置は、第１の領域Ｒ１の入力画像内における相対的な位置と一致している。

【0070】

また、顔検出部１５は、所定範囲の少なくとも一部が設定範囲を超えており、かつ顔検出部１５によって設定範囲外の大きさの顔が検出された場合、その顔、すなわち当該設定範囲外の大きさの顔に係る情報を、利用者が設定可能な設定条件に応じて処理する。具体的には、顔検出部１５は、当該設定範囲外の大きさの顔に係る情報を検出結果として出力しないことが好ましい。これにより、検出すべきでない大きさの顔、すなわち利用者が希望しない大きさの顔が検出された場合に、当該顔が検出されたことをモニタ４に表示されないようにして、利用者が望む検出結果のみを確認しやすくすることができる。

【0071】

なお、所定範囲の少なくとも一部が設定範囲を超える場合とは、より具体的には、所定範囲の最大値が設定範囲の最大値を超える場合、所定範囲の最小値が設定範囲の最小値を下回る場合、所定範囲の最大値が設定範囲の最大値を超え、かつ所定範囲の最小値が設定範囲の最小値を下回る場合が挙げられる。

【0072】

また、設定条件によっては、設定範囲外の大きさの顔が検出された場合、該顔を検出すべき顔（設定範囲内の大きさの顔）とは異なる態様でモニタ４に表示されるようにしてもよい。例えば、設定範囲外の大きさの顔と、設定範囲内の大きさの顔とで、バウンディングボックスの表示態様を異なるもの、例えば異なる色にしてもよい。

【0073】

また、顔検出部１５は、上述のように、メモリ容量が互いに異なる複数の顔検出器を含んでいる。なお、複数の顔検出器は、メモリ容量が異なるだけであり、検出可能な顔の大きさを示す所定範囲は、いずれの顔検出器でも共通である。

【0074】

顔検出器のメモリ容量は、顔検出処理中の演算結果を記憶するために確保されたものであり、複数の画像サイズ（以下、基準画像サイズとも言う）に応じて設定される。このように、顔検出器のメモリ容量を複数の基準画像サイズに応じて設定することによって、検出対象となる画像（拡大縮小画像や入力画像）の画像サイズに応じて検出器のメモリ容量を都度確保する場合に比べて、処理時間を短縮することができる。顔検出器のメモリ容量は、上述のように、ＶＧＡ、ＦｕｌｌＨＤ、４Ｋ、任意の画像サイズ等の複数の画像サイズに応じて設定されている。

【0075】

顔検出部１５は、検出対象の画像内をくまなく検索し、画像内の任意の場所で顔を見つけ出す（推定する）ものである。また、顔検出部１５は、正面を向いていない顔、すなわち様々な方向を向いた顔を検出することができる。

【0076】

より具体的には、顔検出部１５は、上述のように複数の顔検出器を含んでおり、各顔検出器は、記憶部２０に記憶された推論モデル２１を制御部１０にて実行することによって、その機能、すなわち顔検出機能を実現する。

【0077】

ここで、推論モデル２１について説明する。推論モデル２１は、ラベル情報（正解データ）が付されたデータセット（教師データ）の教師あり機械学習により作成される。より具体的には、推論モデル２１は、人物の顔及び人物の顔以外の物体が写った画像（例えば二次元の静止画像）を入力データとし、その顔に付与された特徴点（例えば、左右の目）の位置や、その顔の領域を示す矩形のバウンディングボックス、人物の顔を１とし人物の顔以外の物体を０とするスコア情報等の情報をラベルとして、畳み込みニューラルネットワーク（ＣＮＮ：Convolutional Neural Network）を利用した学習用プログラムにより深層学習（ディープラーニング）を行うことによって作成される。

【0078】

教師あり機械学習により作成された推論モデル２１は、学習済みパラメータが組み込まれた推論プログラム（学習済みモデル）として機能する。なお、学習済みパラメータは、データセットを用いた学習の結果、得られたパラメータ（係数）である。また。推論プログラムは、入力として与えられた入力画像（静止画像、又は映像（動画像）を構成する各静止画像）に対して、学習の結果として取得された学習済みパラメータを適用し、当該入力画像に対する結果（具体的には、上述したような各特徴点やバウンディングボックスの位置等）を出力するための一連の演算手順を規定したプログラムである。

【0079】

なお、推論モデル２１（各顔検出器）は、追加学習されてもよい。すなわち、推論モデル２１に異なるデータセットを適用し、更なる学習を行うことによって、新たに学習済みパラメータを生成し、この新たな学習済みパラメータが組み込まれた推論プログラムを推論モデル２１（各顔検出器）として利用してもよい。

【0080】

画像サイズ調整部１４は、拡大縮小画像のサイズが複数の基準画像サイズのうちの最も近い画像サイズに一致するように、拡大縮小画像の周囲の少なくとも一部に背景画像を追加する処理を行う。この結果、拡大縮小画像のサイズは、いずれかの顔検出器のメモリ容量に対応するものとなる。そして、背景画像が追加された拡大縮小画像は、複数の顔検出器のうち、背景画像が追加された拡大縮小画像のサイズに対応するメモリ容量が確保された顔検出器によって、顔検出が行われる。これにより、上述のように、検出対象となる画像（拡大縮小画像や入力画像）の画像サイズに応じて顔検出器のメモリ容量を都度確保することなく顔検出処理を実行できるため、処理時間を短縮することができる。

【0081】

また、上述のように、拡大縮小画像のみならず入力画像に対しても顔検出を行う場合は、同様に、画像サイズ調整部１４は、入力画像のサイズが複数の基準画像サイズのうちの最も近い画像サイズに一致するように、入力画像の周囲の少なくとも一部に背景画像を追加する処理を行う。この結果、入力画像のサイズは、いずれかの顔検出器のメモリ容量に対応するものとなる。そして、背景画像が追加された入力画像は、複数の顔検出器のうち、背景画像が追加された入力画像のサイズに対応するメモリ容量が確保された顔検出器によって、顔検出が行われる。

【0082】

なお、背景画像は、顔検出部１５（各顔検出器）によってその背景画像内に顔が検出され得ない画像であれば、特に限定されないが、黒等の単色の画像が好適である。また、背景画像を元の画像（拡大縮小画像又は入力画像）のどこに追加するかも特に限定されず、例えば、矩形又は正方形の元の画像の一辺のみに追加してもよいし、隣り合う又は対向する二辺のみに追加してもよいし、三辺のみに追加してもよいし、四辺全てに追加してもよい。何れの場合も背景画像は、通常、元の画像の辺に対して幅が一定の帯状の領域として追加される。

【0083】

具体的には、例えば、入力画像のサイズ（解像度）が８００×８００であり、拡大縮小画像のサイズ（解像度）が４００×４００であり、ＶＧＡ（６４０×４８０）、ＦｕｌｌＨＤ（１９２０×１０８０）、４Ｋの画像サイズにそれぞれ対応した３つの顔検出器がある場合、画像サイズ調整部１４は、入力画像及び拡大縮小画像にそれぞれ黒色の背景画像を追加し、入力画像及び拡大縮小画像のサイズをそれぞれＦｕｌｌＨＤ（１９２０×１０８０）及びＶＧＡ（６４０×４８０）に変更する。そして、サイズ変更後の入力画像に対してＦｕｌｌＨＤ（１９２０×１０８０）の画像サイズに対応した顔検出器で顔検出を行い、サイズ変更後の拡大縮小画像に対してＶＧＡ（６４０×４８０）の画像サイズに対応した顔検出器で顔検出を行う。

【0084】

顔認証部１６は、顔検出部１５の検出結果に基づき認証処理を行う。具体的な認証処理の内容は、特に限定されず、例えば、本人特定、属性（年齢、性別等）の推定、アクセサリ（眼鏡、サングラスの有無等）の検知等の処理が挙げられ、これらのうちの一つの処理のみを行ってもよいし、２以上の処理を行ってもよいが、顔認証部１６は、少なくとも本人特定を行うことが好ましい。顔認証部１６によって参照される顔検出部１５の検出結果は、顔検出部１５によって検出された顔の画像領域を特定できる情報であれば特に限定されず、例えば、バウンディングボックスＢＢの座標、特徴点の位置（例えば左右の目の座標）等が挙げられる。

【0085】

図７で説明したように、拡大縮小画像にて顔検出部１５によって検出された顔Ｆ１の領域ｒ１に対応する入力画像中の第１の領域Ｒ１が、入力画像にて顔検出部１５によって検出された顔Ｆ２の領域である第２の領域Ｒ２と重なり、かつ顔検出部１５が拡大縮小画像にて検出した顔Ｆ１に係る情報を検出結果として出力する場合、顔認証部１６は、拡大縮小画像にて検出された顔Ｆ１の座標に対応する入力画像の座標から特定される入力画像の画像領域に基づいて認証処理を行う。すなわち、顔認証部１６は、入力画像から当該画像領域を切り出す処理を行い、当該画像領域に対して認証処理を行う。これにより、顔認証部１６による認証精度の低下を防ぐことが可能である。画像を縮小すると、画素を間引く、又は画素値を重み付けて平均とる処理が入り、入力画像に比べて情報量が落ちるため、認証精度が低下する可能性がある。拡大の場合は、補間処理が入り、情報量は入力画像以下になるため、認証精度は同等以下になる。したがって、上述のように、入力画像から認証用の画像を切り出すことにより、認証精度の低下を防ぐことが可能である。

【0086】

ここで、拡大縮小画像にて検出された顔Ｆ１の座標とは、顔Ｆ１の領域ｒ１（バウンディングボックスＢＢ）の座標（左上のコーナーの座標及びサイズ）であることが好ましく、顔検出部１５にて検出された顔Ｆ２の第２の領域Ｒ２とは、上述のように、顔Ｆ２のバウンディングボックスＢＢに相当するものである。したがって、顔認証部１６は、拡大縮小画像にて検出された顔Ｆ１の領域ｒ１（バウンディングボックスＢＢ）に対応する入力画像中の第１の領域Ｒ１が、入力画像にて検出された顔Ｆ２の第２の領域Ｒ２（バウンディングボックスＢＢ）と重なり、かつ拡大縮小画像にて検出された顔Ｆ１に係る情報が顔検出部１５の検出結果として出力される場合、入力画像中の第１の領域Ｒ１に基づいて認証処理を行うことがより好ましい。

【0087】

顔認証部１６による認証処理の結果は、モニタ４に表示されることによって利用者に報知される。

【0088】

＜顔検出処理の手順＞
次に、図８及び９を用いて、画像処理装置３で行われる画像処理の手順、主に顔検出に係る処理の手順について説明する。ここでは、目間距離の所定範囲が８～２００画素である場合、すなわち目間距離が８～２００画素の大きさの顔を顔検出部１５（各顔検出器）が検出可能な場合について説明する。

【0089】

まず、利用者の入力操作等に基づき、設定部１２によって、入力画像から検出すべき顔の大きさ（目間距離）の範囲として、設定範囲が設定される（ステップＳ１１）。ここでは、目間距離の設定範囲を８～４００画素とする。

【0090】

次に、映像入力部１１に、カメラ１又はレコーダ２から入力画像（静止画像又は動画像）が入力される（ステップＳ１２）。例えば、入力画像には、目間距離が４００画素の顔が撮像されている。

【0091】

次に、解像度変更部１３が、所定範囲と設定範囲とに基づいて、入力画像の解像度を変更した画像である拡大縮小画像を生成する（ステップＳ１３）。具体的には、（所定範囲の最大値）／（設定範囲の最大値）×１００、すなわち２００／４００×１００の式から算出した拡大／縮小率（＝５０％）で入力画像を拡大／又は縮小（ここでは縮小）し、拡大縮小画像を生成する。この結果、顔検出部１５は、拡大縮小画像では、入力画像の解像度に換算して、目間距離が１６～４００画素の顔を検出可能となる。このように、拡大縮小画像では、目間距離が１６未満の顔を検出できないことから、顔検出部１５は、入力画像に対しても顔検出を行う。

【0092】

次に、画像サイズ調整部１４が、拡大縮小画像及び入力画像にそれぞれ背景画像を追加し、例えば、サイズをそれぞれＶＧＡ（６４０×４８０）及びＦｕｌｌＨＤ（１９２０×１０８０）に調整する（ステップＳ１４）。

【0093】

次に、顔検出部１５が、拡大縮小画像及び入力画像に対して顔検出処理を実行する（ステップＳ１５）。顔検出部１５は、メモリ容量がＶＧＡ、ＦｕｌｌＨＤ及び４Ｋの画像サイズに対応した３つの顔検出器を有しており、いずれの顔検出器を用いるかは、入力画像及び拡大縮小画像の画像サイズに応じて決定される。ここでは、拡大縮小画像に対しては、メモリ容量がＶＧＡに対応した顔検出器が顔検出を行い、入力画像に対しては、メモリ容量がＦｕｌｌＨＤに対応した顔検出器が顔検出を行う。

【0094】

その結果、拡大縮小画像及び入力画像にそれぞれに対する顔検出部１５による検出結果が得られる。

【0095】

拡大縮小画像及び入力画像のそれぞれで検出結果が得られる場合は、それらの重なり具合で統合する（ステップＳ１６）。具体的には、顔検出部１５が、拡大縮小画像で検出された顔Ｆ１の領域ｒ１（バウンディングボックスＢＢ）に対応する入力画像中の第１の領域Ｒ１と、入力画像で検出された顔Ｆ２の第２の領域Ｒ２（バウンディングボックスＢＢ）とのＩｏＵを算出し、ＩｏＵが所定の基準値以上であれば、いずれか一方の顔Ｆ１又はＦ２（好ましくは、顔らしさに係るスコアがより高い方の顔）に係る情報を採用し、ＩｏＵがその基準値未満であれば、両方の顔Ｆ１及びＦ２に係る情報をそれぞれ採用する。

【0096】

そして、顔検出部１５が、ステップＳ１６にて採用した顔の左右の目の座標から目間距離を算出し、算出した目間距離が設定範囲外でなければ、その顔に係る検出結果を出力し、算出した目間距離が設定範囲外であれば、その顔に係る検出結果を出力することなく、その顔に係る情報を削除する（ステップＳ１７）。

【0097】

その後、顔認証部１６が、顔検出部１５の検出結果に基づき認証処理を行い（ステップＳ１８）、処理を終了する。

【0098】

以上説明したように、本実施形態では、検出可能な顔の大きさ（目間距離）の範囲を示す所定範囲と、入力画像から検出すべき顔の大きさ（目間距離）の範囲として設定された設定範囲とに基づいて、入力画像の解像度を変更、すなわち拡大縮小し、その拡大縮小画像に対して顔検出部１５が顔検出を行うことから、例え検出すべき顔の大きさ（設定範囲）が検出可能な所定範囲外である場合であっても、顔検出部１５が検出可能な適切な大きさの拡大縮小画像を生成でき、そして、その拡大縮小画像に対して顔検出を行うことができる。また、拡大縮小画像を所定範囲及び設定範囲に基づいて生成することから、必要最低限の拡大縮小画像に対して効率的に顔処理を行うことができる。以上より、利用者が要求する大きさの顔を効率的に検出することができる。

【0099】

なお、上記実施形態では、所定範囲の最大値と設定範囲の最大値とから算出される拡大／縮小率により入力画像を拡大／又は縮小する場合について具体的に説明したが、入力画像の拡大／縮小率は、所定範囲の最小値と設定範囲の最小値とから算出してもよいし、所定範囲の中央値と設定範囲の中央値とから算出してもよい。

【0100】

また、上記実施形態では、推論モデル２１が畳み込みニューラルネットワークを利用した深層学習により構築された場合について説明したが、推論モデル２１は、機械学習により作成されたものであれば特に限定されず、推論モデル２１は、深層学習以外の機械学習により作成されたものであってもよい。

【0101】

また、上記実施形態では、画像処理装置３を一つの装置として構成する場合について説明したが、画像処理装置３の各機能を適宜複数の装置に分散した分散処理システムにより実現してもよい。

【0102】

具体的には、例えば、図１０に示すように、画像取得部及び画像記録部としてのカメラ１０１と、カメラ１０１と通信可能に接続されたモニタ及び入力デバイスを備えるパーソナルコンピュータ１０２と、パーソナルコンピュータ１０２と通信可能に接続されたクラウドサーバ１０３とから画像処理システムを構成してもよい。そして、パーソナルコンピュータ１０２に上述の映像入力部１１、設定部１２、解像度変更部１３、画像サイズ調整部１４及び顔検出部１５及びの機能を持たせ、クラウドサーバ１０３に上述の顔認識部１６の機能を持たせ、パーソナルコンピュータ１０２のモニタ及び入力デバイスをそれぞれ表示部及び入力部として利用し、当該モニタにカメラ１０１による画像や、顔検出部１５による検出結果及び顔認識部１６による認証結果を表示してもよい。なお、画像記録部としての機能は、パーソナルコンピュータ１０２又はクラウドサーバ１０３に持たせてもよい。

【0103】

以上、図面を参照しながら本発明の実施形態を説明したが、本発明は、上記実施形態に限定されるものではない。また、各実施形態の構成は、本発明の要旨を逸脱しない範囲において適宜組み合わされてもよいし、変更されてもよい。

【産業上の利用可能性】

【0104】

以上のように、本発明は、画像から、利用者が要求する大きさの顔を効率的に検出するのに有用な技術である。

【符号の説明】

【0105】

１：カメラ
２：レコーダ
３：画像処理装置
４：モニタ
５：入力デバイス
１０：制御部
１１：映像入力部
１２：設定部
１３：解像度変更部
１４：画像サイズ調整部
１５：顔検出部
１６：顔認証部
２０：記憶部
２１：推論モデル
１０１：カメラ
１０２：パーソナルコンピュータ
１０３：クラウドサーバ

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】