特許 6136504 対象画像検出デバイス、その制御方法および制御プログラム、記録媒体、並びにデジタルカメラ

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】6136504

(24)【登録日】2017年5月12日

(45)【発行日】2017年5月31日

(54)【発明の名称】対象画像検出デバイス、その制御方法および制御プログラム、記録媒体、並びにデジタルカメラ

(51)【国際特許分類】

   H04N 5/232 20060101AFI20170522BHJP

   H04N 5/225 20060101ALI20170522BHJP

   G03B 15/00 20060101ALI20170522BHJP

   G03B 17/24 20060101ALI20170522BHJP

   G03B 17/18 20060101ALI20170522BHJP

   G06T 7/00 20170101ALI20170522BHJP

【ＦＩ】

   H04N5/232 Z

   H04N5/225 A

   G03B15/00 H

   G03B17/24

   G03B17/18 Z

   G06T7/00 C

【請求項の数】6

【全頁数】15

(21)【出願番号】特願2013-85298(P2013-85298)

(22)【出願日】2013年4月15日

(65)【公開番号】特開2014-207622(P2014-207622A)

(43)【公開日】2014年10月30日

【審査請求日】2016年3月4日

【前置審査】

(73)【特許権者】

【識別番号】000002945

【氏名又は名称】オムロン株式会社

(74)【代理人】

【識別番号】100155712

【弁理士】

【氏名又は名称】村上 尚

(72)【発明者】

【氏名】田中 清明

【審査官】 高野 美帆子

(56)【参考文献】

【文献】 特開２０１０−１６１５６２（ＪＰ，Ａ）

【文献】 特開２０１０−０４９１４８（ＪＰ，Ａ）

【文献】 特開２０１０−１８７２０８（ＪＰ，Ａ）

【文献】 特開２０１０−１５４２８７（ＪＰ，Ａ）

【文献】 特開２０１２−１１４５６１（ＪＰ，Ａ）

(58)【調査した分野】（Int.Cl.，ＤＢ名）

Ｈ０４Ｎ ５／２２２− ５／２５７

Ｇ０３Ｂ １５／００ −１５／０３５

Ｇ０３Ｂ １５／０６ −１５／１６

Ｇ０３Ｂ １７／１８ −１７／２０

Ｇ０３Ｂ １７／２４

Ｇ０３Ｂ １７／３６

Ｇ０６Ｔ ７／００

Ｇ０６Ｔ ７／２０− ７／６０

Ｈ０４Ｎ ７／１８

(57)【特許請求の範囲】

【請求項1】

撮影画像の一部であって、対象物の画像である対象画像を当該撮影画像から検出する対象画像検出デバイスであって、
情報を記憶する記憶部と、
動画像を構成する複数の前記撮影画像を順次取得する取得手段と、
該取得手段が前記撮影画像を取得すると、取得した撮影画像に含まれる対象画像を検出し、検出結果を生成して、前記記憶部に検出履歴として蓄積する検出手段と、
前記記憶部の検出履歴を参照して、対象物が同じである対象画像の検出結果が直近の所定数ａのうち、少なくとも所定数ｂの検出結果に含まれるかを、最近の検出結果に関係なく判定し（但し、ａおよびｂは自然数であり、かつ、ａはｂよりも大きい）、含まれる場合に当該検出結果を出力する一方、含まれない場合に当該検出結果を出力しない判定手段とを備えることを特徴とする対象画像検出デバイス。

【請求項2】

前記検出手段は、
検出した対象画像を識別する識別情報を、前記検出結果に対応付けて前記記憶部に蓄積しており、
今回検出した対象画像が、過去に検出した対象画像と対象物が同じである場合、当該過去に検出した対象画像の識別情報と同じ識別情報を、今回検出した対象画像の検出結果に対応付けて前記記憶部に蓄積しており、
前記判定手段は、前記判定を、前記対象画像の識別情報を用いて行うことを特徴とする請求項１に記載の対象画像検出デバイス。

【請求項3】

被写体の撮影を行って、動画像を構成する複数の撮影画像を作成する撮影部と、情報を表示する表示部とを備えるデジタルカメラであって、
前記撮影画像の一部であって、対象物の画像である対象画像を当該撮影画像から検出する、請求項１または２に記載の対象画像検出デバイスと、
前記対象画像検出デバイスからの検出結果に基づいて、前記対象画像を検出したことを示す検出マークを当該撮影画像に合成し、合成した画像を前記表示部に表示させる合成手段とを備えることを特徴とするデジタルカメラ。

【請求項4】

請求項１または２に記載の対象画像検出デバイスとしてコンピュータを機能させるための制御プログラムであって、コンピュータを上記各手段として機能させるための制御プログラム。

【請求項5】

請求項４に記載の制御プログラムを記録したコンピュータ読み取り可能な記録媒体。

【請求項6】

撮影画像の一部であって、対象物の画像である対象画像を当該撮影画像から検出する対象画像検出デバイスの制御方法であって、
動画像を構成する複数の前記撮影画像を順次取得する取得ステップと、
該取得ステップにて取得された撮影画像に含まれる対象画像を検出し、検出結果を生成して、記憶部に検出履歴として蓄積する検出ステップと、
前記記憶部の検出履歴を参照して、対象物が同じである対象画像の検出結果が直近の所定数ａのうち、少なくとも所定数ｂの検出結果に含まれるかを、最近の検出結果に関係なく判定し（但し、ａおよびｂは自然数であり、かつ、ａはｂよりも大きい）、含まれる場合に当該検出結果を出力する一方、含まれない場合に当該検出結果を出力しない判定ステップとを含むことを特徴とする対象画像検出デバイスの制御方法。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、撮影画像の一部であって、対象物の画像である対象画像を当該撮影画像から検出する対象画像検出デバイス、その制御方法および制御プログラム、記録媒体、並びにデジタルカメラに関するものである。

【背景技術】

【0002】

従来、撮像機器および表示デバイスなどにおいて、使い易いユーザインタフェースを提供したり、自動的に最適な画像を取得したりするために、撮影対象または表示対象を自動認識するニーズが高まっている。このようなニーズの一例として、人、動物などの顔（対象物）の画像である顔画像（対象画像）を検出し、検出した顔画像に対し、フォーカスおよび露出が最適となるように調整したり、文字（対象画像）を認識し、認識した文字の領域を自動的にＯＣＲ（Optical Character Recognition）の対象にしたりするような機能が挙げられる。

【0003】

このような自動認識の技術においては、誤認識（誤検出）が発生したり、認識（検出）の一時的な失敗が発生したりする場合がある。このような問題点に対し、種々の工夫がなされている。

【0004】

例えば、誤認識される画像は、検出されたり検出されなかったりする。そこで、特許文献１に記載の符号化処理装置では、或るフレームにて顔領域が検出された場合でも、当該フレーム以降の所定の枚数以上の連続するフレームにて当該顔領域が連続して検出されていない場合、当該フレームにて検出された顔領域の検出履歴を無効と判定している。

【0005】

また、認識に一時的に失敗した画像は、その後には連続で認識に成功することが多い。そこで、特許文献２に記載の区画線認識装置では、路面の撮影画像から区画線の画像（対象画像）を検出するものであり、当該区画線の画像が所定回数未検出であったとしても、所定回数連続して再検出された場合には、当該再検出を確定している。これにより、一旦未検出となった区画線をより適切に再検出することができる。

【先行技術文献】

【特許文献】

【0006】

【特許文献1】特開２００９−００５２３９号公報（２００９年０１月０８日公開）

【特許文献2】特開２０１３−００３６３４号公報（２０１３年０１月０７日公開）

【発明の概要】

【発明が解決しようとする課題】

【0007】

誤検出される対象画像については、上述のように、検出されたり検出されなかったりするので、検出情報が出力されたり、出力されなかったりする。このため、例えば、検出された対象画像の領域に、当該対象画像を検出したことを示す検出枠（検出マーク）を表示する場合、当該検出枠が表示されたり表示されなかったりして、見映えが悪い。

【0008】

本発明は、上記の問題点に鑑みてなされたものであり、その目的は、誤検出された対象画像の検出結果が出力されることを防止できる対象画像検出デバイスなどを提供することにある。

【課題を解決するための手段】

【0009】

本発明に係る対象画像検出デバイスは、撮影画像の一部であって、対象物の画像である対象画像を当該撮影画像から検出する対象画像検出デバイスであって、上記課題を解決するために、情報を記憶する記憶部と、動画像を構成する複数の前記撮影画像を順次取得する取得手段と、該取得手段が前記撮影画像を取得すると、取得した撮影画像に含まれる対象画像を検出し、検出結果を生成して、前記記憶部に検出履歴として蓄積する検出手段と、前記記憶部の検出履歴を参照して、対象物が同じである対象画像の検出結果が直近の所定数の検出結果に含まれるかを判定し、含まれる場合に当該検出結果を出力する一方、含まれない場合に当該検出結果を出力しない判定手段とを備えることを特徴としている。

【0010】

また、本発明に係る対象画像検出デバイスの制御方法は、撮影画像の一部であって、対象物の画像である対象画像を当該撮影画像から検出する対象画像検出デバイスの制御方法であって、上記課題を解決するために、動画像を構成する複数の前記撮影画像を順次取得する取得ステップと、該取得ステップにて取得された撮影画像に含まれる対象画像を検出し、検出結果を生成して、記憶部に検出履歴として蓄積する検出ステップと、前記記憶部の検出履歴を参照して、対象物が同じである対象画像の検出結果が直近の所定数の検出結果に含まれるかを判定し、含まれる場合に当該検出結果を出力する一方、含まれない場合に当該検出結果を出力しない判定ステップとを含むことを特徴としている。

【0011】

上記構成および方法によると、動画像を構成する複数の撮影画像が順次取得され、取得された撮影画像に含まれる対象画像が検出され、検出結果が記憶部に検出履歴として蓄積される。一般に、誤検出の対象画像は、前記撮影画像から検出されたり検出されなかったりする。そこで、本発明では、対象物が同じである対象画像の検出結果が、直近の所定数の検出結果に含まれるかを判定し、含まれる場合に適正な検出として当該検出結果を出力する一方、含まれない場合に当該検出結果を出力しない。これにより、誤検出の対象画像の検出結果が出力されることを防止できる。

【0012】

なお、上記所定数は、１以上の整数である。また、対象画像の対象物が同じであるかの判定は、位置、大きさ、類似度などの情報の少なくとも１つに基づいて行われる。

【0013】

本発明に係る対象画像検出デバイスでは、前記判定手段は、前記検出手段が検出した対象画像と対象物が同じである対象画像を、直近の所定数の検出結果に含まれるかを判定してもよい。この場合、連続して検出される対象画像の検出結果が出力され、その他の検出結果が出力されないので、誤検出の対象画像の検出結果が出力されることを確実に防止できる。

【0014】

ところで、検出すべき対象画像であったとしても、常に連続して検出されるとは限らず、一時的に検出できない場合もある。この場合、検出枠等の検出マークが一時的に消えることになり、見映えが悪いなどの問題点が発生する。

【0015】

そこで、本発明に係る対象画像検出デバイスでは、前記判定手段は、直近の所定期間のうち、少なくとも所定数の検出結果に、対象物が同じである対象画像の検出結果が含まれるかを判定してもよい。この場合、対象画像が一時的に検出できなくても、直近の所定期間に少なくとも所定数の対象画像が検出されていれば、当該対象画像の検出結果が出力される。その結果、一時的に検出できなかったことによる問題点を解消することができる。

【0016】

本発明に係る対象画像検出デバイスでは、前記検出手段は、検出した対象画像を識別する識別情報を、前記検出結果に対応付けて前記記憶部に蓄積しており、今回検出した対象画像が、過去に検出した対象画像と対象物が同じである場合、当該過去に検出した対象画像の識別情報と同じ識別情報を、今回検出した対象画像の検出結果に対応付けて前記記憶部に蓄積しており、前記判定手段は、前記判定を、前記対象画像の識別情報を用いて行うことが好ましい。この場合、判定手段は、前記記憶部の履歴情報から、前記対象画像の識別情報のみを利用して前記判定を行うことができるので、迅速な処理および動作が可能となる。

【0017】

なお、被写体の撮影を行って、動画像を構成する複数の撮影画像を作成する撮影部と、情報を表示する表示部とを備えるデジタルカメラであって、前記撮影画像の一部であって、対象物の画像である対象画像を当該撮影画像から検出する、請求項１から４までの何れか１項に記載の対象画像検出デバイスと、前記対象画像検出デバイスからの検出結果に基づいて、前記対象画像を検出したことを示す検出マークを当該撮影画像に合成し、合成した画像を前記表示部に表示させる合成手段とを備えるデジタルカメラであれば、上述と同様の効果を奏する。なお、検出マークとしては、検出した対象画像の領域を示す検出枠等任意のマークを利用することができる。

【0018】

本発明の各態様に係る対象画像検出デバイスは、コンピュータによって実現してもよく、この場合には、コンピュータを上記対象画像検出デバイスが備える各手段として動作させることにより上記対象画像検出デバイスをコンピュータにて実現させる対象画像検出デバイスの制御プログラム、およびそれを記録したコンピュータ読み取り可能な記録媒体も、本発明の範疇に入る。

【発明の効果】

【0019】

以上のように、本発明に係る対象画像検出デバイスは、対象物が同じである対象画像の検出結果が、直近の所定数の検出結果に含まれるかを判定し、含まれる場合に適正な検出として当該検出結果を出力する一方、含まれない場合に当該検出結果を出力しないので、誤検出の対象画像の検出結果が出力されることを防止できるという効果を奏する。

【図面の簡単な説明】

【0020】

【図1】本発明の一実施形態であるデジタルカメラの概略構成を示すブロック図である。

【図2】上記デジタルカメラの表示部にて表示される表示画像の変遷の一例を示す図である。

【図3】上記デジタルカメラにおける制御部が行う処理の流れを示すフローチャートである。

【図4】上記制御部における顔検出部が行う顔検出処理の流れを示すフローチャートである。

【図5】上記デジタルカメラにおける適正検出判定部の一例について、各フレームの入力データおよび出力データを表形式で示す図である。

【図6】上記適正検出判定部の別の例について、各フレームの入力データおよび出力データを表形式で示す図である。

【図7】上記適正検出判定部のさらに別の例について、各フレームの入力データおよび出力データを表形式で示す図である。

【図8】上記適正検出判定部のさらに別の例について、各フレームの入力データおよび出力データを表形式で示す図である。

【図9】上記適正検出判定部の他の例について、各フレームの入力データおよび出力データを表形式で示す図である。

【図10】従来のデジタルカメラの表示部にて表示される表示画像の変遷の一例を示す図である。

【発明を実施するための形態】

【0021】

〔実施の形態１〕
（デジタルカメラの概要）
本発明の一実施形態について図１〜図４を参照して説明する。なお、以下では、「同じ顔画像」どうしは、対象物である顔が同じである顔画像（対象画像）どうしを意味している。

【0022】

図１は、本実施形態であるデジタルカメラの概略構成を示すブロック図である。図示のように、デジタルカメラ１０は、撮影部１１での撮影により、動画像を構成する複数の撮影画像が順次作成され、画像処理部１２にて順次画像処理されて、表示部１３にてライブビュー画像として順次表示される。また、デジタルカメラ１０は、ユーザが操作部１４のシャッターボタン（図示せず）を押すと、画像処理部１２にて画像処理された撮影画像が、画像圧縮部１５にて画像圧縮された後、画像記録部１６に記録される。

【0023】

（デジタルカメラの詳細）
次に、本実施形態のデジタルカメラ１０の詳細について説明する。上述のように、デジタルカメラ１０は、撮影部１１、画像処理部１２、表示部１３、操作部１４、画像圧縮部１５、画像記録部１６、および画像合成部（合成手段）１７を備えている。さらに、図１に示すように、デジタルカメラ１０は、制御部（対象画像検出デバイス）２０および記憶部２１を備えている。

【0024】

撮影部１１は、被写体の撮影を行うものであり、例えばレンズ群、絞り、撮像素子などの光学系と、アンプ、Ａ／Ｄコンバータなどの回路系とを備えている。撮像素子の例としては、ＣＣＤ、ＣＭＯＳ（Complementary Metal-oxide Semiconductor）イメージセンサなどが挙げられる。撮影部１１は、上記撮影により撮影画像を生成し、撮影画像のデータに変換して画像処理部１２に送信する。

【0025】

画像処理部１２は、撮影部１１からの撮影画像のデータに対し、マトリックス演算、γ補正、ホワイトバランスの調整などの画像処理を行うものである。また、画像処理部１２は、画像処理された撮影画像のデータから、表示用、記録用、および顔検出用の撮影画像のデータを作成し、それぞれ、表示部１３、画像圧縮部１５、および制御部２０に送信する。なお、表示用および顔検出用の撮影画像のデータは同じであってもよい。

【0026】

画像合成部１７は、画像処理部１２からの撮影画像に対し、制御部２０からの画像（例えば、ＯＳＤ（On-Screen Display）用画像）を合成するものである。画像合成部１７は、合成した画像である合成画像のデータを表示部１３に送信する。

【0027】

表示部１３は、ＬＣＤ（液晶表示素子）、有機ＥＬ（Electroluminescence）ディスプレイ、プラズマディスプレイなどの表示デバイスによって構成されている。表示部１３は、画像合成部１７からの合成画像のデータに基づいて、文字や画像などの各種の情報を表示出力する。

【0028】

操作部１４は、ユーザの操作によりユーザから各種の入力を受け付けるものであり、入力用ボタン、タッチパネル、その他の入力デバイスによって構成されている。操作部１４は、ユーザが操作した情報を操作データに変換して制御部２０に送信する。なお、入力デバイスの他の例としては、キーボードと、テンキーと、マウスなどのポインティングデバイスとが挙げられる。

【0029】

画像圧縮部１５は、画像処理部１２からの撮影画像のデータを、ＪＰＥＧ（Joint Photographic Experts Group）、ＭＰＥＧ（Moving Picture Expert Group）などの方式に従って圧縮するものである。画像圧縮部１５は、圧縮した撮影画像のデータを画像記録部１６に記録する。

【0030】

画像記録部１６は、情報を記録するものであり、特に画像圧縮部１５が圧縮した撮影画像のデータを記録するものである。画像記録部１６は、フラッシュメモリ、ハードディスクなどの不揮発性の記憶装置によって構成される。

【0031】

制御部２０は、デジタルカメラ１０内における各種構成の動作を統括的に制御する。制御部２０は、例えばＣＰＵ（Central Processing Unit）およびメモリを含むコンピュータによって構成され、該コンピュータに制御プログラムを実行させることにより、各種構成の動作制御を行う。なお、制御部２０の詳細については後述する。

【0032】

記憶部２１は、フラッシュメモリ、ＲＯＭ（Read Only Memory）などの不揮発性の記憶装置と、ＲＡＭ（Random Access Memory）などの揮発性の記憶装置とによって構成されるものである。不揮発性の記憶装置に記憶される内容としては、上記した制御プログラム、ＯＳ（operating system）プログラム、その他の各種プログラム、各種の動作設定値などが挙げられる。一方、揮発性の記憶装置に記憶される内容としては、作業用ファイル、テンポラリファイルなどが挙げられる。なお、記憶部２１の詳細については後述する。

【0033】

本実施形態では、制御部２０は、画像処理部１２にて処理された撮影画像を取得し、取得した撮影画像に含まれる顔画像を検出し、検出した顔画像の領域を示す検出枠（検出マーク）の画像を作成して、画像合成部１７に送信するものである。これにより、画像処理部１２からの撮影画像に対し、制御部２０からの検出枠の画像が、画像合成部１７にて合成され、合成された合成画像が表示部１３を介して表示出力される。

【0034】

さらに、本実施形態では、制御部２０は、今回検出した顔画像と同じ顔画像が、直近の所定数（例えば２）の撮影画像のうち、当該所定数含まれているか、すなわち今回の撮影画像を含めて（所定数＋１）回連続して含まれているかを判定する。制御部２０は、連続して含まれていると判定した場合、当該顔画像は、誤検出されたものではなく、適正に検出されたものであるとして、上記検出枠の画像を作成する。一方、連続して含まれてはいないと判定した場合、当該顔画像は、誤検出の可能性があるとして、上記検出枠の画像の作成を省略する。従って、本実施形態の場合、撮影画像に顔画像が検出されても、すぐには検出枠が表示されず、（所定数＋１）回以上連続して検出された場合に、検出枠が表示されることになる。

【0035】

図２は、本実施形態のデジタルカメラ１０により順次表示される合成画像の一例を示す図である。一方、図１０は、従来のデジタルカメラにより順次表示される合成画像の一例を比較例として示す図である。図２および図１０の例では、犬の顔画像は、第１〜第６フレームの全ての撮影画像で検出されており、熊のヌイグルミの顔画像は、第２・第６フレームの撮影画像で誤検出されているとしている。

【0036】

従来のデジタルカメラは、撮影画像から顔画像を検出すると、当該撮影画像に対し、検出した顔画像の領域に検出枠の画像を合成して表示している。従って、図１０の（ａ）〜（ｆ）に示すように、犬の顔画像に関する検出枠ｆdは、第１〜第６フレームの全てにおいて表示される。一方、熊のヌイグルミの顔画像に関する検出枠ｆbは、第２・第６フレームにおいてのみ表示されるので、検出枠が点滅することになり、見映えが悪く、表示品質が低下することなる。

【0037】

これに対し、本実施形態のデジタルカメラ１０では、図２の（ａ）〜（ｆ）に示すように、犬の顔画像に関しては、第１フレームでは、１回検出したのみであるので、検出枠ｆdを表示せず、第２フレームでは、２回連続して検出したのみであるので、検出枠ｆdを表示しない。そして、第３フレーム以降では、３回以上連続して検出しているので、検出枠ｆdを表示する。このように、本実施形態では、適正な検出であっても、検出当初の所定数のフレームには検出枠ｆdが表示されないが、１フレームの期間は、１／３０秒であり、ユーザにとって極めて短時間であるので、問題とはならない。

【0038】

一方、熊のヌイグルミの顔画像に関しては、第１・３・４・５フレームでは、検出していないので、検出枠ｆbを表示せず、第２・６フレームでは、１回検出したのみであるので、検出枠ｆbを表示しない。すなわち、３回以上連続して検出したフレームが存在しないので、検出枠ｆbが表示されない。従って、誤検出による検出枠の点滅を防止することができ、表示品質の低下を防止することができる。

【0039】

（制御部および記憶部の詳細）
次に、制御部２０および記憶部２１の詳細について、図１を参照して説明する。同図には、制御部２０および記憶部２１において、顔画像の検出に関する構成が示されている。図示のように、制御部２０は、画像取得部（取得手段）３０、顔検出部（検出手段）３１、適正検出判定部（判定手段）３２、および検出枠生成部（合成手段）３３を備える構成である。また、記憶部２１は、検出履歴記憶部４０、および閾値記憶部４１を含む構成である。

【0040】

検出履歴記憶部４０は、上記顔検出の検出結果を検出履歴として蓄積している。上記検出結果は、検出された顔画像のＩＤ（識別情報）（以下、「顔ＩＤ」と称する。）、特徴情報、サイズ、および位置情報を含んでいる。さらに、上記検出結果は、検出された顔画像の検出日時、その他の情報を含んでもよい。閾値記憶部４１は、適正な検出であるかを判定するための閾値を記憶している。

【0041】

画像取得部３０は、画像処理部１２から撮影画像のデータを取得するものである。画像取得部３０は、上記撮影画像のデータを取得すると、取得した上記撮影画像のデータを顔検出部３１に送出する。

【0042】

顔検出部３１は、時系列順の複数の撮影画像からなる動画像に関して、上記撮影画像から顔画像を検出する顔検出機能と、検出された顔画像を、続く撮影画像から検出することにより、上記顔画像を追跡する顔追跡機能とを有するものである。なお、顔画像の検出には、テンプレートマッチングを利用したり、肌色領域を検出したり、顔の輪郭を検出したり、顔の特徴点を検出したりするなど、公知の顔検出技術を利用することができる。

【0043】

具体的には、顔検出部３１は、画像取得部３０から撮影画像のデータを受け取ると、当該撮影画像から顔画像を検出する。顔検出部３１は、検出した顔画像の検出結果を検出履歴として検出履歴記憶部４０に蓄積すると共に、当該検出結果のうち、顔ＩＤを適正検出判定部３２に送出する。

【0044】

さらに、顔検出部３１は、検出履歴記憶部４０の検出履歴を参照して、直近に検出した顔画像と同じ顔画像が、今回検出した顔画像に存在するかを判定する（顔追跡）。顔検出部３１は、同じ顔画像には、同じ顔ＩＤを付与する。なお、顔検出部３１が行う顔検出および顔追跡の具体的な処理は、従来と同様であるので、その説明を省略する。

【0045】

適正検出判定部３２は、顔検出部３１における顔画像の検出が、適正であるか否かを判定するものである。具体的には、適正検出判定部３２は、検出履歴記憶部４０を参照して、顔検出部３１から受け取った顔ＩＤが、直近の所定数（例えば２）のフレームの検出履歴に含まれるかを判断する。含まれる場合、適正な検出であるとして、当該顔ＩＤを検出枠生成部３３に送出する。一方、含まれない場合、適正な検出ではないとして、当該顔ＩＤの検出枠生成部３３への送出を省略する。なお、適正検出判定部３２は、送出すべき顔ＩＤが存在しない場合、検出枠生成部３３に対し、何も送出しなくてもよいし、顔画像を検出しなかった（未検出）旨を通知してもよい。

【0046】

検出枠生成部３３は、顔画像を検出した旨を示す検出枠の画像を生成するものである。具体的には、検出枠生成部３３は、適正検出判定部３２から顔ＩＤを取得すると、取得した顔ＩＤに対応するサイズおよび位置情報を、検出履歴記憶部４０の検出履歴から検索する。次に、検出枠生成部３３は、検索したサイズおよび位置情報に従って、検出枠の画像を作成し、作成した検出枠の画像のデータを画像合成部１７に送信する。これにより、画像合成部１７は、画像処理部１２からの撮影画像に対し、検出枠生成部３３からの検出枠の画像を合成し、合成した画像を、表示部１３を介して表示出力することになる。

【0047】

（制御部の処理動作）
次に、上記構成の制御部２０における処理動作について説明する。図３は、制御部２０が行う処理の流れを示すフローチャートである。図示のように、撮影部１１にて撮影された動画像における一撮影画像を画像取得部３０が取得すると、顔検出部３１は、取得された撮影画像から顔画像を検出し、該検出結果を検出履歴として検出履歴記憶部４０に蓄積する（Ｓ１０）。次に、適正検出判定部３２は、顔検出部３１が検出した顔画像のうち、直近の所定数の撮影画像にも同じ顔画像を含まれているものを、適正に検出された顔画像として抽出する（Ｓ１１）。

【0048】

そして、検出枠生成部３３は、適正検出判定部３２が抽出した顔画像に関する検出枠の画像を、検出履歴記憶部４０の検出履歴を参照して作成し、画像合成部１７に送信する（Ｓ１２）。これにより、画像処理部１２にて画像処理された撮影画像が、画像合成部１７にて検出枠の画像と合成されて、表示部１３にて表示されることになる。その後、制御部２０の処理を終了する。

【0049】

次に、制御部２０における顔検出部３１および適正検出判定部３２の処理動作について説明する。図４は、顔検出部３１が行う顔検出処理の流れを示すフローチャートである。なお、この顔検出処理は、検出された顔画像ごとに実行される。

【0050】

図４に示すように、顔検出部３１は、撮影画像から顔画像を検出すると、検出履歴記憶部４０の検出履歴を参照して、今回検出した顔画像と同じ顔画像が、直近に検出した顔画像に存在するか否かを判断する（Ｓ２０）。存在する場合、該当する顔画像の顔ＩＤを、今回検出した顔画像に付与する一方（Ｓ２１）、存在しない場合、新たな顔ＩＤを、今回検出した顔画像に付与する（Ｓ２２）。次に、今回検出した顔画像の検出結果に、付与した顔ＩＤを関連づけて、検出履歴として検出履歴記憶部４０に蓄積する（Ｓ２３）。その後、顔検出処理を終了する。

【0051】

〔実施例１〕
次に、適正検出判定部３２における動作の一例を、図５を参照して説明する。図５は、適正検出判定部３２にて入出力されるデータの一例をフレームごとに表形式で示す図である。図５の例は、図２の例に対応するものである。

【0052】

なお、図示の例では、顔検出部３１は、第１フレームにて検出し、その後追跡している犬の顔画像に対し、顔ＩＤとしてＩＤ１を付与している。また、顔検出部３１は、熊のヌイグルミの顔画像について、第２フレームにて検出した時に顔ＩＤとしてＩＤ２を付与し、第３〜第５フレームにて検出できなかったため追跡できず、このため、第６フレームにて検出した時には、顔ＩＤとしてＩＤ２とは別のＩＤ３を付与している。

【0053】

図５の例では、適正検出判定部３２は、第１フレームでは、ＩＤ１が入力されるが、直近の２フレームが存在しないので、未検出であるとして何も出力しない。第２フレームでは、ＩＤ１・ＩＤ２が入力されるが、直近の２フレームが存在しないので、未検出であるとして何も出力しない。第３〜第５フレームでは、ＩＤ１が入力され、直近の２フレームでもＩＤ１が入力されているので、ＩＤ１を出力する。第６フレームでは、ＩＤ１・ＩＤ３が入力され、ＩＤ１は、直近の２フレームでも入力されているので出力される一方、ＩＤ３は、直近の２フレームにて入力されていないので、出力されない。

【0054】

〔実施例２〕
次に、適正検出判定部３２における動作の別の例を、図６を参照して説明する。図６は、適正検出判定部３２にて入出力されるデータの一例をフレームごとに表形式で示す図である。図示の例では、適正検出判定部３２は、今回検出された顔画像が、直近の１フレームでも検出されている場合、すなわち、２フレーム連続して検出されている場合に、適正に検出された顔画像としている。

【0055】

図６の例では、適正検出判定部３２は、第１フレームでは、ＩＤ１が入力されるが、直近の１フレームが存在しないので、未検出であるとして何も出力しない。第２・４・６・８・１０・１２フレームでは、未検出であるとして何も入力されないので、未検出であるとして何も出力しない。第３・５・７・９・１１・１３フレームでは、それぞれ、新たなＩＤ２〜ＩＤ７が入力されるが、直近の１フレームにて入力されていないので出力せず、その結果、未検出であるとして何も出力しない。第１４・第１５フレームでは、ＩＤ７が入力され、直近の１フレームでもＩＤ７が入力されているので、ＩＤ７を出力する。

【0056】

従って、本実施例では、第１・３・５・７・９・１１・１３〜１５フレームにて、顔検出部３１が顔画像を検出しているが、検出枠生成部３３は、２フレーム連続して同じ顔画像（ＩＤ７）が検出される第１４・１５フレームでのみ検出枠を生成する。これにより、検出枠は、第１〜１３フレームでは表示されず、第１４・第１５フレームで表示されることになる。その結果、第１〜１２フレームにて検出枠が点滅表示されることを防止でき、表示品質の低下を防止できる。

【0057】

〔実施の形態２〕
次に、本発明の別の実施形態について説明する。本実施形態のデジタルカメラ１０は、図１に示すデジタルカメラ１０に比べて、適正検出判定部３２における判定処理が異なるのみであり、その他の構成は同様である。なお、上記実施形態で説明した構成および処理動作と同様の構成および処理動作には、同一の符号を付して、その説明を省略する。

【0058】

本実施形態では、適正検出判定部３２は、検出履歴記憶部４０を参照して、直近の所定数（例えば４）のフレームに少なくとも所定数（例えば２）のフレームの検出履歴に含まれるかを判断する。含まれる場合、適正な検出であるとして、当該顔ＩＤを検出枠生成部３３に送出する。一方、含まれない場合、適正な検出ではないとして、当該顔ＩＤの検出枠生成部３３への送出を省略する。

【0059】

〔実施例３〕
次に、本実施形態における適正検出判定部３２における動作の一例を、図７を参照して説明する。図７は、適正検出判定部３２にて入出力されるデータの一例をフレームごとに表形式で示す図である。図示の例では、適正検出判定部３２は、今回検出された顔画像が、直近の４フレームのうち、少なくとも２フレームに検出されている場合、適正に検出された顔画像としている。

【0060】

図７の例では、適正検出判定部３２は、第１・２フレームでは、直近の２フレームが存在しないので、未検出であるとして何も出力しない。第３・４フレームでは、直近のフレームのうち、ＩＤ１が１フレームしか入力されていないので、出力せず、その結果、未検出であるとして何も出力しない。第５〜７フレームでは、直近の４フレームのうち、ＩＤ１が２フレーム入力されているので、ＩＤ１を出力する。

【0061】

従って、本実施例では、第５フレームにて、顔検出部３１が顔画像を検出していないが、直近の４フレームのうち、２フレームにて同じ顔画像（ＩＤ１）が検出しているので、検出枠生成部３３は、検出枠を生成する。これにより、顔画像の検出に一時的に失敗したことにより、検出枠の表示が遅延することを防止することができる。

【0062】

〔実施例４〕
次に、本実施形態における適正検出判定部３２における動作の別の例を、図８を参照して説明する。図８は、適正検出判定部３２にて入出力されるデータの一例をフレームごとに表形式で示す図である。図示の例では、適正検出判定部３２は、今回検出された顔画像が、直近の５フレームのうち、少なくとも３フレームに検出されている場合、適正に検出された顔画像としている。

【0063】

図８の例では、適正検出判定部３２は、第１・２フレームでは、直近の３フレームが存在しないので、未検出であるとして何も出力しない。第３フレームでは、直近の３フレームしか存在しないが、ＩＤ１が３フレーム入力されているので、ＩＤ１を出力する。このように、直近の５フレーム全ての検出履歴を調べる必要はない。

【0064】

なお、上記実施形態では、適正検出判定部３２は、直近の数フレームの検出履歴を参照しているが、直近の十数フレームの検出履歴を参照してもよい。

【0065】

〔実施の形態３〕
次に、本発明の他の実施形態について説明する。本実施形態のデジタルカメラ１０は、図１に示すデジタルカメラ１０に比べて、適正検出判定部３２における判定処理が異なるのみであり、その他の構成は同様である。なお、上記実施形態で説明した構成および処理動作と同様の構成および処理動作には、同一の符号を付して、その説明を省略する。

【0066】

本実施形態では、適正検出判定部３２は、検出履歴記憶部４０を参照して、顔検出部３１から受け取った顔ＩＤが、直近の所定期間（例えば２秒）の検出履歴に含まれるかを判断する。含まれる場合、適正な検出であるとして、当該顔ＩＤを検出枠生成部３３に送出する。一方、含まれない場合、適正な検出ではないとして、当該顔ＩＤの検出枠生成部３３への送出を省略する。

【0067】

〔実施例５〕
次に、本実施形態における適正検出判定部３２における動作の一例を、図９を参照して説明する。図９は、適正検出判定部３２にて入出力されるデータの一例を０．２秒ごとに表形式で示す図である。図示の例では、適正検出判定部３２は、今回検出された顔画像が、直近の２秒間に連続して検出している場合、適正に検出された顔画像としている。

【0068】

図９の例では、適正検出判定部３２は、ＩＤ１が連続して入力されているが、開始から２秒間は、出力せず、その結果、未検出であるとして何も出力しない。そして、開始から２．２秒後は、直近の２秒間にＩＤ１が入力されているので、ＩＤを出力する。

【0069】

このように、適正検出判定部３２は、フレーム単位の代わりに時間単位で判定することもできる。

【0070】

〔ソフトウェアによる実現例〕
デジタルカメラ１０は、の制御ブロック（特に制御部２０）は、集積回路（ＩＣチップ）等に形成された論理回路（ハードウェア）によって実現してもよいし、ＣＰＵ（Central Processing Unit）を用いてソフトウェアによって実現してもよい。

【0071】

後者の場合、デジタルカメラ１０は、各機能を実現するソフトウェアであるプログラムの命令を実行するＣＰＵ、上記プログラムおよび各種データがコンピュータ（またはＣＰＵ）で読み取り可能に記録されたＲＯＭ（Read Only Memory）または記憶装置（これらを「記録媒体」と称する）、上記プログラムを展開するＲＡＭ（Random Access Memory）などを備えている。そして、コンピュータ（またはＣＰＵ）が上記プログラムを上記記録媒体から読み取って実行することにより、本発明の目的が達成される。上記記録媒体としては、「一時的でない有形の媒体」、例えば、テープ、ディスク、カード、半導体メモリ、プログラマブルな論理回路などを用いることができる。また、上記プログラムは、該プログラムを伝送可能な任意の伝送媒体（通信ネットワークや放送波等）を介して上記コンピュータに供給されてもよい。なお、本発明は、上記プログラムが電子的な伝送によって具現化された、搬送波に埋め込まれたデータ信号の形態でも実現され得る。

【0072】

本発明は上述した各実施形態に限定されるものではなく、請求項に示した範囲で種々の変更が可能であり、異なる実施形態にそれぞれ開示された技術的手段を適宜組み合わせて得られる実施形態についても本発明の技術的範囲に含まれる。

【0073】

例えば、上記実施形態では、撮影画像から人、動物などの顔画像を検出して認識しているが、人、動物などの全身の画像を検出してもよいし、ボール、車両その他の物体の画像を検出してもよい。すなわち、本発明は、取得した撮影画像に含まれる任意の対象画像の検出に適用可能である。

【0074】

また、上記実施形態では、本発明をデジタルカメラ１０に適用しているが、携帯電話機、スマートフォン、ＰＤＡ（Personal Digital Assistant）など、撮影部を有する任意の電子機器に本発明を適用可能である。

【産業上の利用可能性】

【0075】

以上のように、本発明に係る対象画像検出デバイスは、対象物が同じである対象画像の検出結果が、直近の所定数の検出結果に含まれるかを判定し、含まれる場合に適正な検出として当該検出結果を出力する一方、含まれない場合に当該検出結果を出力しないことにより、誤検出の対象画像の検出結果が出力されることを防止できるので、顔検出だけでなく、ボール検出、車両検出など、撮影画像から対象画像を検出する任意のデバイスに適用することができる。

【符号の説明】

【0076】

１０ デジタルカメラ
１１ 撮影部
１２ 画像処理部
１３ 表示部
１４ 操作部
１５ 画像圧縮部
１６ 画像記録部
１７ 画像合成部（合成手段）
２０ 制御部（対象画像検出デバイス）
２１ 記憶部
３０ 画像取得部（取得手段）
３１ 顔検出部（検出手段）
３２ 適正検出判定部（判定手段）
３３ 検出枠生成部（合成手段）
４０ 検出履歴記憶部
４１ 閾値記憶部

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】