特許 6443842 顔検出装置、顔検出システム、及び顔検出方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】6443842

(24)【登録日】2018年12月7日

(45)【発行日】2018年12月26日

(54)【発明の名称】顔検出装置、顔検出システム、及び顔検出方法

(51)【国際特許分類】

   A61B 5/1171 20160101AFI20181217BHJP

   G03B 13/36 20060101ALI20181217BHJP

   G06T 1/00 20060101ALI20181217BHJP

   G06T 7/00 20170101ALI20181217BHJP

   H04N 5/232 20060101ALI20181217BHJP

【ＦＩ】

   A61B5/1171 200

   G03B13/36

   G06T1/00 340A

   G06T7/00 510F

   H04N5/232 190

【請求項の数】6

【全頁数】14

(21)【出願番号】特願2015-123944(P2015-123944)

(22)【出願日】2015年6月19日

(65)【公開番号】特開2017-10210(P2017-10210A)

(43)【公開日】2017年1月12日

【審査請求日】2017年10月12日

【早期審査対象出願】

(73)【特許権者】

【識別番号】314012076

【氏名又は名称】パナソニックＩＰマネジメント株式会社

(74)【代理人】

【識別番号】110001379

【氏名又は名称】特許業務法人 大島特許事務所

(72)【発明者】

【氏名】松尾 昌俊

(72)【発明者】

【氏名】中村 剛

(72)【発明者】

【氏名】手塚 忠則

【審査官】 門田 宏

(56)【参考文献】

【文献】 特開２０１４−１８４００２（ＪＰ，Ａ）

【文献】 特開２０１４−２１９７０３（ＪＰ，Ａ）

【文献】 特開２０１０−０８５５３０（ＪＰ，Ａ）

【文献】 特開２０１５−２８６４７（ＪＰ，Ａ）

【文献】 特開２０１４−２０６５５２（ＪＰ，Ａ）

【文献】 国際公開第２０１３／０５４７２６（ＷＯ，Ａ１）

【文献】 特開２００６−３３０９３６（ＪＰ，Ａ）

【文献】 特開２０１３−２１０７７８（ＪＰ，Ａ）

(58)【調査した分野】（Int.Cl.，ＤＢ名）

Ａ６１Ｂ ５／１１７１

Ｇ０３Ｂ １３／３６

Ｇ０６Ｔ １／００

Ｇ０６Ｔ ７／００

Ｈ０４Ｎ ５／２３２

(57)【特許請求の範囲】

【請求項1】

撮像部により撮像された人物を含む画像から顔を検出する顔検出装置であって、
前記人物を含む時間的に連続する撮像画像が入力される画像入力部と、
前記撮像画像において１以上の顔領域を検出する顔領域検出部と、
ユーザ入力により第１のモードが選択される場合、前記顔領域に関する画像データに基づき、前記顔領域において撮像された顔の生きている状態を示す指標を含むバイタル情報を抽出し、ユーザ入力により第２のモードが選択される場合、前記バイタル情報を抽出しないバイタル情報抽出部と、
前記第１のモードが選択される場合、前記バイタル情報に基づき、前記顔領域における前記顔が生きている状態にあるか否かを判定するバイタル判定部と、
前記撮像部のフォーカス動作を制御するフォーカス制御部と、
を備え、
前記第１のモードが選択される場合、前記顔領域検出部は、前記１以上の顔領域のうち前記バイタル判定部によって生きている状態にあると判定された前記顔に対応する顔領域を、生体に基づく顔領域として認識し、
前記フォーカス制御部は、前記第１のモードが選択される場合、前記１以上の顔領域のうち前記生体に基づく顔領域の位置を基準として前記フォーカス動作を制御し、第２のモードの場合、前記１以上の顔領域の位置を基準として前記フォーカス動作を制御することを特徴とする顔検出装置。

【請求項2】

前記バイタル情報抽出部は、前記顔領域に関する画像データに基づき、前記顔領域において撮像された前記顔における脈拍を推定し、当該推定した脈拍を前記バイタル情報として抽出することを特徴とする請求項１に記載の顔検出装置。

【請求項3】

前記撮像画像を表示する表示部を更に備え、
前記顔領域検出部は、前記表示部に表示される前記撮像画像に対し、前記１以上の顔領域において前記生体に基づく顔領域と他の顔領域とをユーザに識別させるための画像処理を行うことを特徴とする請求項１または請求項２に記載の顔検出装置。

【請求項4】

前記フォーカス制御部は、前記バイタル判定部によって前記顔が生きている状態にあると判定されなかった顔領域については前記フォーカス処理を不実行とすることを特徴とする請求項１から請求項３のいずれかに記載の顔検出装置。

【請求項5】

請求項１から請求項４のいずれかに記載の前記顔検出装置と、前記顔検出装置に対して前記撮像画像を入力するカメラとを備えたことを特徴とする顔検出システム。

【請求項6】

撮像された人物を含む撮像画像から顔を検出する顔検出方法であって、
前記人物を含む時間的に連続する撮像画像が入力される画像入力ステップと、
前記撮像画像において１以上の顔領域を検出する顔領域検出ステップと、
ユーザ入力により第１のモードが選択される場合、前記顔領域に関する画像データに基づき、前記顔領域において撮像された顔が生きている状態を示す指標を含むバイタル情報を抽出し、ユーザ入力により第２のモードが選択される場合、前記バイタル情報を抽出しないバイタル情報抽出ステップと、
前記第１のモードが選択される場合、前記バイタル情報に基づき、前記顔領域における前記顔の生きている状態にあるか否かを判定するバイタル判定ステップと、
前記人物の撮像のフォーカス動作を制御するフォーカス制御ステップと、
を有し、
前記第１のモードが選択される場合、前記顔領域検出ステップは、前記１以上の顔領域のうち前記バイタル判定ステップによって生きている状態にあると判定された前記顔に対応する顔領域を、生体に基づく顔領域として認識し、
前記フォーカス制御ステップは、前記第１のモードが選択される場合、前記１以上の顔領域のうち前記生体に基づく顔領域の位置を基準として前記フォーカス動作を制御し、第２のモードの場合、前記１以上の顔領域の位置を基準として前記フォーカス動作を制御することを特徴とする顔検出方法。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、人物を含む画像から顔を検出する顔検出装置、顔検出システム、及び顔検出方法に関する。

【背景技術】

【0002】

従来、デジタルカメラを用いた撮影や認証などの分野では、撮影された画像から顔の位置等を検出する顔検出技術が利用されており、その顔検出結果に基づき種々の処理を行うことが可能となっている。

【0003】

例えば、カメラ撮影に関しては、被写体の顔の位置を検出することにより、カメラ方向を自動的に移動させて被写体を所定の画面位置で撮影することを可能とする自動雲台付きビデオカメラや、画像に含まれる被写体の顔を検出し、その検出した顔を含む領域を切り出したトリミング画像を、表示部に表示された画像上の所定の位置に選択可能に表示させることにより、撮影者が主要被写体を容易に指定することを可能とする撮像装置が知られている（特許文献１および特許文献２参照）。

【0004】

また例えば、認証に関しては、あらかじめ用意されたテンプレートを、画像中を移動させながら相関値を求めることにより、最も高い相関値を持った領域を被照合者の顔領域として検出し、検出した被照合者の顔画像による顔照合と人間の顔温度分布による顔照合とを組み合わせて本人認証を行う顔照合装置が知られている（特許文献３参照）。

【先行技術文献】

【特許文献】

【0005】

【特許文献1】特開平８−２９４０３８号公報

【特許文献2】特開２０１３−１５０２６５号公報

【特許文献3】特開２００５−１１５４６０号公報

【発明の概要】

【発明が解決しようとする課題】

【0006】

ところで、上記特許文献１−２に記載されたような従来技術では、顔検出の対象となる画像を取得（撮影）する場合に、被写体の周囲に人の顔に類似の特徴を有する物体（例えば、被写体の背後の壁に貼付された顔写真や、被写体の側に置かれた人形の顔など）が存在すると、その物体を人の顔として誤検出する可能性があるという問題があった。

【0007】

これに対し、上記特許文献３に記載された従来技術のように、人の顔に類似の形態を有する物体が人物の顔であるか否かを専用のセンサ等によって判定し、人の顔以外の物体を検出対象から排除することも考えられるが、装置構成が複雑となり、装置コストも嵩むという問題が生じ得る。

【0008】

本発明は、このような従来技術の課題を鑑みて案出されたものであり、人物を含む画像から顔を検出する場合に、人物以外の物体を生体の顔として誤検出することを防止する顔検出装置、顔検出システム、及び顔検出方法を提供することを主目的とする。

【課題を解決するための手段】

【0009】

本発明の顔検出装置は、人物を含む画像から顔を検出する顔検出装置であって、前記人物を含む時間的に連続する撮像画像が入力される画像入力部と、前記撮像画像において１以上の顔領域を検出する顔領域検出部と、前記顔領域に関する画像データに基づき、前記顔領域において撮像された顔の生きている状態を示す指標を含むバイタル情報を抽出するバイタル情報抽出部と、前記バイタル情報に基づき、前記顔領域における前記顔が生きている状態にあるか否かを判定するバイタル判定部とを備え、前記顔領域検出部は、前記１以上の顔領域のうち前記バイタル判定部によって生きている状態にあると判定された前記顔に対応する顔領域を、生体に基づく顔領域として認識することを特徴とする。

【発明の効果】

【0010】

本発明によれば、人物を含む画像から顔を検出する場合に、人物以外の物体を生体の顔として誤検出することを防止することが可能となる。

【図面の簡単な説明】

【0011】

【図1】第１実施形態に係る顔検出装置の機能ブロック図

【図2】第１実施形態に係る顔領域検出部による顔検出対象の第１の例を示す説明図

【図3】第１実施形態に係る顔領域検出部による顔検出対象の第２の例を示す説明図

【図4】第１実施形態に係るバイタル情報抽出部によるバイタル情報抽出処理の説明図

【図5】第１実施形態に係る顔検出装置による処理の流れを示すフロー図

【図6】第２実施形態に係る顔検出システムの全体構成図

【図7】第２実施形態に係る顔検出システムの機能ブロック図

【図8】第２実施形態に係る顔検出装置による処理の流れを示すフロー図

【発明を実施するための形態】

【0012】

上記課題を解決するためになされた第１の発明は、人物を含む画像から顔を検出する顔検出装置であって、前記人物を含む時間的に連続する撮像画像が入力される画像入力部と、前記撮像画像において１以上の顔領域を検出する顔領域検出部と、前記顔領域に関する画像データに基づき、前記顔領域において撮像された顔の生きている状態を示す指標を含むバイタル情報を抽出するバイタル情報抽出部と、前記バイタル情報に基づき、前記顔領域における前記顔が生きている状態にあるか否かを判定するバイタル判定部とを備え、前記顔領域検出部は、前記１以上の顔領域のうち前記バイタル判定部によって生きている状態にあると判定された前記顔に対応する顔領域を、生体に基づく顔領域として認識することを特徴とする。

【0013】

この第１の発明に係る顔検出装置によれば、撮像画像に含まれる１以上の顔領域のうち、生きている状態にあると判定された顔に対応する顔領域を生体に基づく顔領域として認識する構成としたため、人物を含む画像から顔を検出する場合に、人物以外の物体を生体の顔として誤検出することを防止することが可能となる。

【0014】

また、第２の発明では、上記第１の発明において、前記バイタル情報抽出部は、前記顔領域に関する画像データに基づき、前記顔領域において撮像された前記顔における脈拍を推定し、当該推定した脈拍を前記バイタル情報として抽出することを特徴とする。

【0015】

この第２の発明に係る顔検出装置によれば、顔領域における顔が生きている状態にあるか否かを脈拍に基づき判定する構成としたため、簡易な構成により、生体に基づく顔領域を認識することが可能となる。

【0016】

また、第３の発明では、上記第１または第２の発明において、前記撮像画像を表示する表示部を更に備え、前記顔領域検出部は、前記表示部に表示される前記撮像画像に対し、前記１以上の顔領域において前記生体に基づく顔領域と他の顔領域とをユーザに識別させるための画像処理を行うことを特徴とする。

【0017】

この第３の発明に係る顔検出装置によれば、ユーザに対して生体に基づく顔領域を容易に認識させることができ、その結果、ユーザは、その生体に基づく顔領域に対し、所望の操作を実行することが可能となる。

【0018】

また、第４の発明では、上記第１から第３の発明のいずれかにおいて、前記顔領域における顔の特徴量を予め登録された顔の情報と照合する顔照合部を更に備え、前記顔照合部は、前記バイタル判定部によって生きている状態にあると判定された前記顔に対してのみ前記照合を実行する。

【0019】

この第４の発明に係る顔検出装置によれば、生体に基づく顔（画像）に対してのみ顔照合が実行される構成としたため、生体に基づかない顔に対して照合が実施されることによる誤認証の発生を防止することが可能となる。

【0020】

また、第５の発明は、上記第１から第３の発明のいずれかにおいて、前記顔領域における顔の特徴量を予め登録された顔の情報と照合する顔照合部を更に備え、前記顔照合部は、前記バイタル判定部によって生きている状態にないと判定された前記顔について、前記照合の結果を無効または不一致とすることを特徴とする。

【0021】

この第５の発明に係る顔検出装置によれば、生体に基づかない顔（画像）に関する照合結果を無効または不一致とする構成としたため、生体に基づかない顔に対する照合結果に基づく誤認証の発生を防止することが可能となる。

【0022】

また、第６の発明は、上記第１から第５の発明のいずれかに係る前記顔検出装置と、前記顔検出装置に対して前記撮像画像を入力するカメラとを備えたことを特徴とする顔検出システムである。

【0023】

この第６の発明に係る顔検出システムによれば、撮像画像に含まれる１以上の顔領域のうち、生きている状態にあると判定された顔に対応する顔領域を生体に基づく顔領域として認識する構成としたため、人物を含む画像から顔を検出する場合に、人物以外の物体を生体の顔として誤検出することを防止することが可能となる。

【0024】

また、第７の発明は、人物を含む撮像画像から顔を検出する顔検出方法であって、前記人物を含む時間的に連続する撮像画像が入力される画像入力ステップと、前記撮像画像において１以上の顔領域を検出する顔領域検出ステップと、前記顔領域に関する画像データに基づき、前記顔領域において撮像された顔が生きている状態を示す指標を含むバイタル情報を抽出するバイタル情報抽出ステップと、前記バイタル情報に基づき、前記顔領域における前記顔の生きている状態にあるか否かを判定するバイタル判定ステップとを有し、前記顔領域検出ステップは、前記１以上の顔領域のうち前記バイタル判定ステップによって生きている状態にあると判定された前記顔に対応する顔領域を、生体に基づく顔領域として認識することを特徴とする。

【0025】

この第７の発明に係る顔検出方法によれば、撮像画像に含まれる１以上の顔領域のうち、生きている状態にあると判定された顔に対応する顔領域を生体に基づく顔領域として認識する構成としたため、人物を含む画像から顔を検出する場合に、人物以外の物体を生体の顔として誤検出することを防止することが可能となる。

【0026】

以下、本発明の実施の形態について図面を参照しながら説明する。

【0027】

（第１実施形態）
図１は本発明の第１実施形態に係る顔検出装置１の機能ブロック図であり、図２および図３はそれぞれ顔領域検出部４による顔検出対象の第１および第２の例を示す説明図であり、図４はバイタル情報抽出部８によるバイタル情報抽出処理の説明図である。

【0028】

図１に示すように、顔検出装置１は、人物の少なくとも顔を被写体として撮像する撮像部２と、撮像部２からの映像信号が入力される画像入力部３と、それら撮像画像において１以上の顔領域を検出する顔領域検出部４と、その顔領域の検出結果に基づき、撮像部２に像の光を入力する光学系を含むフォーカス機構（図示せず）の動作を制御するフォーカス制御部５と、画像入力部３に入力された撮像画像および顔領域検出部４による顔検出結果等を表示する表示部６と、撮像画像を記憶する画像記憶部７とを備えている。

【0029】

さらに、顔検出装置１は、人物以外の物体を生体の顔として誤検出することを防止するための構成として、顔領域検出部４により検出された顔領域に関する画像データに基づき、その顔領域におけるバイタル情報を抽出するバイタル情報抽出部８と、そのバイタル情報に基づき、顔領域における顔が生きている状態にあるか否かを判定するバイタル判定部９とを備えている。ここで、バイタル情報には、顔領域において撮像された顔の生きている状態を示す指標が少なくとも含まれる。

【0030】

撮像部２は、光学系を通して得られる被写体からの光を図示しないイメージセンサ（ＣＣＤ、ＣＭＯＳ等）に結像させることにより、その結像した像の光を電気信号に変換した映像信号を画像入力部３に対して出力する。また、撮像部２では、ノイズ抑制や輪郭強調等を目的とする公知の信号処理を実施することが可能である。これにより、画像入力部３には、時間的に連続する撮像画像（フレーム画像のデータ）が順次入力される。

【0031】

顔領域検出部４は、各撮像画像に対し、公知のパターン認識手法（例えば、予め準備したテンプレートとのマッチング）に基づく顔検出処理を実行することにより顔領域を検出・追尾し、その顔領域に関する顔検出情報（検出された顔領域の座標、画素値等）を取得する。また、顔領域検出部４によって取得された顔検出情報は、撮像画像のデータとともに、フォーカス制御部５、表示部６、及びバイタル情報抽出部８等に送出される。なお、顔領域検出部４による顔検出処理については、顔の特徴量を用いた公知の統計的学習手法を利用してもよい。

【0032】

また、後に詳述するように、顔検出装置１では、ユーザの選択により生体の顔のみを検出する動作モード（以下、バイタル検出モードという。）を実行することが可能であり、このバイタル検出モードでは、顔領域検出部４は、バイタル判定部９によって生きている状態にないと判定された顔が撮像画像中に存在する場合には、それらの顔を検出対象から除外する。

【0033】

例えば、図２に示すように、撮像画像Ｐ中に人物１１と、被写体の背後の壁に貼付された人の顔写真を含むポスター（人の顔に類似の形態を有する物体）１２が存在する場合、顔領域検出部４は、生体に基づく人物１１の顔領域１３のみを検出し、生体に基づかないポスター１２中の顔写真に基づく顔領域１４、１５は、検出対象から除外する。

【0034】

また、例えば、図３に示すように、撮像画像Ｐ中に人物２１と、その周辺に配置された複数（ここでは、４体）の衣裳陳列用の人形２２（マネキン）が存在する場合、顔領域検出部４は、生体に基づく人物２１の顔領域２４のみを検出し、生体に基づかない複数の人形２２の顔領域２５−２８は、検出対象から除外することができる。

【0035】

なお、ここでは、顔領域１３−１５、２４−２８を矩形で示しているが、顔領域検出部４によって検出される顔領域は種々の変更が可能であり、例えば、頭部を除く顔の輪郭を外縁とした顔領域を設定することができる。

【0036】

フォーカス制御部５は、顔領域検出部４から顔検出情報を取得することにより、撮像画像中の顔領域の位置を基準（フォーカスポイント）としてフォーカス機構の動作を制御する公知のオートフォーカス処理を実行することが可能である。特に、上述のバイタル検出モードが実行された場合には、顔領域検出部４からの顔検出情報には、生体の顔に基づく情報のみが含まれるため、フォーカス制御部５では、撮像画像に人の顔に類似の形態を有する物体（生体に基づかない顔）が存在する場合でも、人物の顔に適切にピントを合わせることができる。

【0037】

バイタル情報抽出部８は、抽出対象（人物）と接触することなく、生体の脈拍をバイタル情報として抽出するバイタル情報抽出処理を実行する。より詳細には、バイタル情報抽出部８は、時間的に連続する撮像画像において顔領域検出部４により検出された顔領域を構成する各画素に関し、例えばＲＧＢの各成分の画素値（０−２５５階調）を算出し、その代表値（ここでは、各画素の平均値）の時系列データを脈拍信号として生成する。この場合、脈動による変動が特に大きい緑成分（Ｇ）のみの画素値に基づき時系列データを生成することができる。

【0038】

また、生成された画素値（平均値）の時系列データは、例えば、図４（Ａ）に示すように、血液中のヘモグロビン濃度の変化に基づく微少な変動（例えば、画素値の１階調未満の変動）を伴う。そこで、バイタル情報抽出部８は、その画素値に基づく時系列データに対し、必要に応じて公知のフィルタ処理（例えば、所定の通過帯域が設定されたバンドパスフィルタによる処理等）を実施することにより、図４（Ｂ）に示すように、ノイズ成分を除去した脈波をバイタル情報として抽出することができる。また、バイタル情報抽出部８は、その脈波において隣接する２以上のピーク（またはゼロ点）間の時間から脈拍数を算出し、それらをバイタル情報とすることもできる。バイタル情報抽出部８によって抽出されたバイタル情報は、バイタル判定部９に対して送出される。さらに、バイタル情報抽出部８は、図４（Ａ）に示したような時系列データの周波数解析（高速フーリエ変換）により取得したスペクトルをバイタル情報とすることもできる。

【0039】

バイタル判定部９は、バイタル情報抽出部８によって抽出されたバイタル情報としての脈波（図４（Ｂ）参照）の情報に基づき、顔領域における顔が生きている状態にあるか否かを判定することができる。ここで、バイタル判定部９は、バイタル情報抽出部８によって抽出された脈波と、予め準備された脈波の基準波形とのマッチング処理を行うことにより、脈拍が検出されたか否か（すなわち、検出された顔が生きている状態にあるか否か）を判定することが可能である。別法として、バイタル判定部９は、バイタル情報抽出部８によって適正な脈拍数が検出されたか否かによって、顔が生きている状態にあるか否かを判定してもよい。更に別法として、バイタル判定部９は、バイタル情報抽出部８によってバイタル情報としてのスペクトルに基づき、顔が生きている状態にあるか否かを判定してもよい。

【0040】

上述のような顔検出装置１は、例えば、人物等の撮影に用いられるビデオカメラとして実現することが可能である。その場合、顔検出装置１では、撮像画像は装置の起動後に画像入力部３に対して順次入力されると共に、表示部６に表示され、ユーザがシャッターボタン（録画開始ボタン）を操作することにより、その撮影画像が画像記憶部７に順次記憶されることになる。

【0041】

詳細は図示しないが、例えば、顔検出装置１は、所定の制御プログラムに基づき撮像に関する処理や周辺機器の制御などを統括的に実行するＣＰＵ（Central Processing Unit）、イメージセンサから取り込んだ画像データを一時的に記憶するＲＡＭ（Random Access Memory）、画像データに対して所定の画像処理を実行するＤＳＰ（Digital Signal Processer）、イメージセンサ用のドライバ、ＬＣＤ、及びメモリカードなどを含む公知のハードウェア構成を有しており、図１に示した顔検出装置１の各部の機能の少なくとも一部については、ＣＰＵが本発明に関する所定の制御プログラムを実行することによって実現可能である。なお、顔検出装置１の機能の少なくとも一部を他の公知のハードウェアによる処理によって代替してもよい。

【0042】

図５は第１実施形態に係る顔検出装置１による処理の流れを示すフロー図である。顔検出装置１では、起動とともに撮像が開始され、撮像部２から画像入力部３に対して撮像画像（フレーム画像）が順次入力される（ＳＴ１０１）。そこで、顔検出装置１のユーザが、顔検出を実行する動作モード（以下、顔検出モードという。）を選択している場合（ＳＴ１０２：Ｙｅｓ）、顔領域検出部４は、顔検出処理を実行する（ＳＴ１０３）。

【0043】

続いて、顔検出装置１では、ステップＳＴ１０３の顔検出処理によって顔領域が検出されたか否かが判定され（ＳＴ１０４）、顔領域が検出されている場合（Ｙｅｓ）は、更に、ユーザがバイタル検出モードを選択しているか否かを判定する（ＳＴ１０５）。

【0044】

ステップＳＴ１０５においてバイタル検出モードが選択されている場合（Ｙｅｓ）、バイタル情報抽出部８は、ステップＳＴ１０３で検出された顔領域の各々からバイタル情報（ここでは、脈拍）を抽出する（ＳＴ１０６）。続いて、バイタル判定部９は、ステップＳＴ１０６において抽出されたバイタル情報の有効性を判定する（ＳＴ１０７）。本実施形態では、バイタル判定部９は、顔領域から抽出された脈波の情報に基づき、顔領域における顔が生きている状態にあると判定した場合にはバイタル情報を有効（ＳＴ１０７：Ｙｅｓ）とし、一方、顔領域における顔が生きている状態にない（すなわち、ステップＳＴ１０３で検出された顔は、人の顔に類似の形態を有する物体に由来する）と判定した場合には、バイタル情報を無効（ＳＴ１０７：Ｎｏ）とする。

【0045】

ステップＳＴ１０７においてバイタル情報が有効（Ｙｅｓ）であると判定された場合、フォーカス制御部５は、ステップＳＴ１０３で検出された顔領域の位置を基準としてオートフォーカス処理を実行する（ＳＴ１０８）。また、表示部６には、ステップＳＴ１０４に基づく顔検出結果（例えば、図２中に顔領域１３として示した顔を外囲する枠を参照）が撮像画像とともに表示される（ＳＴ１０９）。これにより、ユーザに対して生体に基づく顔領域を容易に認識させることができ、その結果、ユーザは、その生体に基づく顔領域に対し、所望の操作（例えば、ユーザが顔領域をタッチすることによる当該顔領域に対するオートフォーカス）を実行することが可能となる。

【0046】

一方、バイタル検出モードの実行中にステップＳＴ１０７においてバイタル情報が無効（Ｎｏ）であると判定された場合には、ステップＳＴ１０８、ＳＴ１０９は実行されることはない。これにより、生体に基づかない顔領域を基準としてフォーカス制御が実行されることを回避することができる。

【0047】

上述のステップＳＴ１０１−ＳＴ１０９の動作は、最終的にユーザの操作（例えば、電源オフ操作や、撮影の完了操作等）に基づく処理停止要求がある（ＳＴ１１０：Ｙｅｓ）まで、繰り返し実行される。なお、ユーザが顔検出モードの実行を選択していない場合（ＳＴ１０２：Ｎｏ）には、ステップＳＴ１０３−ＳＴ１０９の処理は省略される。また、ユーザがバイタル検出モードを選択していない場合（ＳＴ１０５：Ｎｏ）には、ステップＳＴ１０６、ＳＴ１０７は実行されず、ステップＳＴ１０３で検出された顔領域（生体に基づかない顔領域を含む）の位置を基準としてオートフォーカス処理が実行されることになる（ＳＴ１０８）。また、ステップＳＴ１０８のフォーカス制御が実行された後の撮像画像は、別途、ユーザがシャッターボタン（録画開始ボタン）を押下する操作を行うなどにより、画像記憶部７に記憶される。

【0048】

（第２実施形態）
図６は本発明の第２実施形態に係る顔検出システム１００の全体構成図であり、図７は顔検出システム１００の機能ブロック図である。図６および図７において、上述の第１実施形態と同様の構成要素については、同一の符号が付されている。また、第２実施形態では、以下で特に言及しない事項については、上述の第１実施形態の場合と同様とする。

【0049】

図６に示すように、顔検出システム１００は、被写体としての人物Ｈの少なくとも顔を撮像するカメラ３１と、カメラ３１の撮影により得られる撮像画像から顔を検出する顔検出装置１とを備える。本実施形態では、顔検出装置１は、顔検出を実行するのみならず、その顔検出の結果に基づき顔認証を実行する顔認証装置として機能し、これにより、顔検出システム１００は、顔認証システムとして機能することが可能である。また、顔検出システム１００において、カメラ３１および顔検出装置１は、インターネットやＬＡＮ（Local Area Network）等のネットワーク３２を介して互いに通信可能に接続されている。ただし、これに限らず、カメラ３１および顔検出装置１が、公知の通信ケーブルによって通信可能に直接接続される構成であってもよい。

【0050】

カメラ３１は、公知の構成を有するビデオカメラであり、図７に示すように、ズームレンズを通して得られる被写体からの光を図示しないイメージセンサ（ＣＣＤ、ＣＭＯＳ等）に結像させることにより、その結像した像の光を電気信号に変換した映像信号を顔検出装置１に対して出力する撮像部２を有している。なお、図６では１台のカメラ３１のみを示しているが、顔検出システム１００では、同様のカメラを複数設けた構成も可能である。

【0051】

顔検出装置１は、上述の第１実施形態の場合と同様の機能を有する画像入力部３、顔領域検出部４、表示部６、バイタル情報抽出部８、及びバイタル判定部９に加えて、顔領域検出部４により検出された顔領域における顔の特徴量を抽出する特徴量抽出部４１と、その抽出された特徴量を予め登録された複数の人物の顔の情報（以下、登録顔情報という。）と照合する顔照合処理を行う顔照合部４２と、その照合に用いられる登録顔情報を記憶する登録情報記憶部４３と、顔照合部４２による顔の照合結果に基づき、必要に応じて所定の認証後処理を実行する認証制御部４４とを有している。

【0052】

特徴量抽出部４１は、公知の手法により、顔領域検出部４から検出された顔領域から顔検出情報を取得することにより、顔領域における顔の形状、目・鼻・口などの相対位置、顔（肌）の色などに基づく特徴点を検出し、その特徴を表す特徴量を抽出する。ここで、顔領域検出部４から検出される顔領域は、人物Ｈの正面における顔画像を含むことが好ましい。

【0053】

顔照合部４２は、顔照合処理として、特徴量抽出部４１により抽出された特徴量と、登録顔情報（登録された特徴量）とのマッチング処理を行う。そのマッチング処理の結果、抽出された特徴量が登録顔情報のいずれかと一致すると判定された場合には、顔照合部４２は、認証が受理された旨の通知を認証制御部４４に対して送出する。一方、抽出された特徴量が登録顔情報のいずれとも一致しないと判定された場合には、顔照合部４２は、認証が棄却された旨の通知を認証制御部４４に対して送出する。

【0054】

また、顔照合部４２は、顔検出システム１００のユーザによりバイタル検出モードが選択されている場合には、バイタル判定部９による判定（顔領域における顔が生きている状態にあるか否かの判定）の結果を取得する。そして、顔照合部４２は、バイタル判定部９によって生体に基づく（すなわち、生きている状態にある）と判定された顔のみを照合（マッチング処理）の対象とすることができる。或いは、顔照合部４２は、マッチング処理の結果、抽出された特徴量が登録顔情報のいずれかと一致しても、その特徴量が抽出された顔について、バイタル判定部９によって生体に基づくものではないと判定された場合には、その照合結果を無効または不一致とすることができる。

【0055】

このような構成により、顔照合部４２では、バイタル検出モードが選択されている場合には、人の顔に類似の形態を有する物体（例えば、人形の顔、生体に基づかない人の顔写真、人の顔に似せて作った仮面など）を誤認証することを防止することが可能である。

【0056】

認証制御部４４は、顔照合部４２から認証が受理された旨の通知を受け取ると、予め設定された認証後処理を実行する。そのような認証後処理には、特に限定されるものではないが、例えば、セキュリティエリアのドアの解錠、表示部６における画像や音声による情報出力、電子機器に対する操作許可などが含まれる。一方、認証制御部４４は、顔照合部４２から認証が棄却された旨の通知を受け取った場合には、認証後処理を実行せずに、その認証の棄却に関する情報を記録する。

【0057】

上述の第２実施形態に係る顔検出装置１は、例えば、ＰＣ（Personal Computer）などの情報処理装置から構成することが可能である。詳細は図示しないが、顔検出装置１は、所定の制御プログラムに基づき各種情報処理や周辺機器の制御などを統括的に実行するＣＰＵ（Central Processing Unit）、ＣＰＵのワークエリア等として機能するＲＡＭ（Random Access Memory）、ＣＰＵが実行する制御プログラムやデータを格納するＲＯＭ（Read Only Memory）、ネットワークを介した通信処理を実行するネットワークインタフェース、モニタ（画像出力装置）、スピーカ、入力デバイス、及びＨＤＤ（Hard Disk Drive）などを含むハードウェア構成を有しており、図７に示した顔検出装置１の各部の機能の少なくとも一部については、ＣＰＵが所定の制御プログラムを実行することによって実現可能である。なお、顔検出装置１の機能の少なくとも一部を他の公知のハードウェアによる処理によって代替してもよい。

【0058】

図８は第２実施形態に係る顔検出装置１による処理の流れを示すフロー図である。顔検出システム１００では、起動とともにカメラ３１による撮像が開始され、図５中のステップＳＴ１０１と同様のステップＳＴ２０１が実行される。続いて、顔検出装置１では、図５中のステップＳＴ１０３−ＳＴ１０７とそれぞれ同様のステップＳＴ２０２−ＳＴ２０６が実行される。

【0059】

次に、顔検出システム１００のユーザ（管理者）が、顔認証を実行する動作モードを選択している場合（ＳＴ２０７：Ｙｅｓ）、顔照合部４２は、顔の特徴量を用いた顔照合処理を実行する（ＳＴ２０８）。続いて、認証制御部４４は、顔照合部４２から認証が受理された旨の通知を受け取ると（ＳＴ２０９：Ｙｅｓ）、規定の認証後処理を実行する（ＳＴ２１０）。

【0060】

なお、ステップＳＴ２０６でバイタル情報が無効である（検出された顔が生体に基づくものではない）と判定された場合（ＳＴ２０６：Ｎｏ）、認証制御部４４は、所定の異常発生処理（例えば、顔検出システム１００の管理者への報知、異常発生時の撮像画像の記録など）を行う（ＳＴ２１１）。

【0061】

上述のステップＳＴ２０１−ＳＴ２１１は、最終的に全ての認証処理が完了するまで繰り返し実行される。

【0062】

以上、本発明を特定の実施形態に基づいて説明したが、これらの実施形態はあくまでも例示であって、本発明はこれらの実施形態によって限定されるものではない。なお、上記実施形態に示した本発明に係る顔検出装置、顔検出システム、及び顔検出方法の各構成要素は、必ずしも全てが必須ではなく、少なくとも本発明の範囲を逸脱しない限りにおいて適宜取捨選択することが可能である。

【産業上の利用可能性】

【0063】

本発明に係る顔検出装置、顔検出システム、及び顔検出方法は、人物を含む画像から顔を検出する場合に、人物以外の物体を生体の顔として誤検出することを防止可能とし、人物を含む画像から顔を検出する顔検出装置、顔検出システム、及び顔検出方法などとして有用である。

【符号の説明】

【0064】

１ 顔検出装置
２ 撮像部
３ 画像入力部
４ 顔領域検出部
５ フォーカス制御部
６ 表示部
７ 画像記憶部
８ バイタル情報抽出部
９ バイタル判定部
１１、２１ 人物
１２ ポスター
１３−１５ 顔領域
２２ 人形
２４−２８ 顔領域
３１ カメラ
３２ ネットワーク
４１ 特徴量抽出部
４２ 顔照合部
４３ 登録情報記憶部
４４ 認証制御部
１００ 顔検出システム
Ｈ 人物
Ｐ 撮像画像

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】