特許 5895629 画像処理装置、画像処理方法、制御プログラムおよび記録媒体

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】5895629

(24)【登録日】2016年3月11日

(45)【発行日】2016年3月30日

(54)【発明の名称】画像処理装置、画像処理方法、制御プログラムおよび記録媒体

(51)【国際特許分類】

   G06T 7/00 20060101AFI20160317BHJP

【ＦＩ】

   G06T7/00 350B

   G06T7/00 300B

【請求項の数】8

【全頁数】16

(21)【出願番号】特願2012-59388(P2012-59388)

(22)【出願日】2012年3月15日

(65)【公開番号】特開2013-196045(P2013-196045A)

(43)【公開日】2013年9月30日

【審査請求日】2014年12月4日

(73)【特許権者】

【識別番号】000002945

【氏名又は名称】オムロン株式会社

(74)【代理人】

【識別番号】100127030

【弁理士】

【氏名又は名称】増井 義久

(74)【代理人】

【識別番号】100155712

【弁理士】

【氏名又は名称】村上 尚

(72)【発明者】

【氏名】田中 清明

(72)【発明者】

【氏名】山下 隆義

【審査官】 板垣 有紀

(56)【参考文献】

【文献】 特開２０１１−０３４２４４（ＪＰ，Ａ）

【文献】 特開２００９−１１６４０１（ＪＰ，Ａ）

【文献】 特開２０１０−２６２６０１（ＪＰ，Ａ）

(58)【調査した分野】（Int.Cl.，ＤＢ名）

Ｇ０６Ｔ ７／００

(57)【特許請求の範囲】

【請求項1】

所定の大分類対象を検出する汎用識別器であって、次段の弱識別器が前段の出力領域に対して検出処理を実行する弱識別器を１または複数有する汎用識別器と、上記大分類対象を細分化した小分類対象を検出する専用識別器であって、次段の弱識別器が前段の出力領域に対して検出処理を実行する弱識別器を１または複数有する専用識別器と、を備える画像処理装置であって、
カメラが撮影した撮影画像を取得する画像取得手段と、
上記撮影画像からユーザが指定した領域を含む登録画像を抽出する画像抽出手段と、
上記画像抽出手段が抽出した登録画像に対して、専用識別器による検出処理を実行させる専用識別器実行手段と、
検出結果の優劣を示す指標が最も高い専用識別器を選択する専用識別器選択手段と、
上記専用識別器選択手段が選択した専用識別器に含まれる弱識別器の或る階層までを、上記汎用識別器に含まれる上記或る階層までの弱識別器に代えて、上記登録画像に含まれる対象を検出するための登録画像識別器を生成する識別器生成手段とを備えることを特徴とする画像処理装置。

【請求項2】

上記識別器生成手段は、上記登録画像に対して上記汎用識別器の弱識別器が検出処理を実行できた階層までの上記汎用識別器の弱識別器を、上記専用識別器選択手段が選択した専用識別器の上記階層までの弱識別器と代えて、上記登録画像識別器を生成することを特徴とする請求項１に記載の画像処理装置。

【請求項3】

上記識別器生成手段は、予め定められた階層までの上記汎用識別器の弱識別器を、上記専用識別器選択手段が選択した専用識別器の上記階層までの弱識別器と代えて、上記登録画像識別器を生成することを特徴とする請求項１に記載の画像処理装置。

【請求項4】

上記専用識別器実行手段は、上記登録画像に対して専用識別器による検出処理を実行させた結果、何れの専用識別器も出力領域を出力しなかった場合、専用識別器が上記登録画像に対して検出処理を実行できた階層を上記指標として出力し、
上記専用識別器選択手段は、階層数が最も大きい専用識別器を選択することを特徴とする請求項１〜３の何れか１項に記載の画像処理装置。

【請求項5】

上記識別器生成手段は、上記専用識別器選択手段が選択した専用識別器の弱識別器のうち、上記登録画像に対して検出処理を実行できた階層までの当該専用識別器の弱識別器を使用して、上記登録画像識別器を生成することを特徴とする請求項４に記載の画像処理装置。

【請求項6】

所定の大分類対象を検出する汎用識別器であって、次段の弱識別器が前段の出力領域に対して検出処理を実行する弱識別器を１または複数有する汎用識別器と、上記大分類対象を細分化した小分類対象を検出する専用識別器であって、次段の弱識別器が前段の出力領域に対して検出処理を実行する弱識別器を１または複数有する専用識別器と、を備える画像処理装置の画像処理方法であって、
カメラが撮影した撮影画像を取得する画像取得ステップと、
上記撮影画像からユーザが指定した領域を含む登録画像を抽出する画像抽出ステップと、
上記画像抽出ステップにおいて抽出された登録画像に対して、専用識別器による検出処理を実行させる専用識別器実行ステップと、
検出結果の優劣を示す指標が最も高い専用識別器を選択する専用識別器選択ステップと、
上記専用識別器選択ステップにおいて選択された専用識別器に含まれる弱識別器の或る階層までを、上記汎用識別器に含まれる上記或る階層までの弱識別器に代えて、上記登録画像に含まれる対象を検出するための登録画像識別器を生成する識別器生成ステップとを含むことを特徴とする画像処理方法。

【請求項7】

請求項１〜５の何れか１項に記載の画像処理装置を動作させるための制御プログラムであって、コンピュータを上記各手段として機能させるための制御プログラム。

【請求項8】

請求項７に記載の制御プログラムを記録したコンピュータ読み取り可能な記録媒体。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、画像から人間やペット等の対象を検出する画像処理装置、画像処理方法、制御プログラムおよび記録媒体に関するものである。

【背景技術】

【0002】

近年、デジタルカメラ等の画像処理装置には、撮影時に、人間の顔等を検出し、検出した対象に焦点を合わしたり、検出した対象のホワイトバランス等を調整したりする技術が搭載されている。この技術においては、画像から人間の顔等の対象を正確に検出できることが望ましい。そのため、所定の対象を検出する技術について様々なものが開発されている。

【0003】

例えば、特許文献１には、対象データが特定内容のデータであるか否かを識別する識別処理に用いる特徴量の種類と識別条件を、サンプルデータを解析することにより、識別処理における識別精度と計算量の負担との所望のバランスに応じて決定する技術が記載されている。

【0004】

また、特許文献２には、教師データに基づいて、現在用いている認識器の組み合わせを環境に合わせて適応的に更新する技術が記載されている。

【0005】

また、特許文献３には、辞書データを参照して、登録ペット画像との照合度が高い顔パターンを抽出し、抽出した顔パターンに基づいて、登録ペット画像の認識処理を行う技術が記載されている。

【先行技術文献】

【特許文献】

【0006】

【特許文献1】特開２００５−１００１２１号公報（２００５年４月１４日公開）

【特許文献2】特開２００８−２０４１０３号公報（２００８年９月４日公開）

【特許文献3】特開２０１１−１２４８１９号公報（２０１１年６月２３日公開）

【発明の概要】

【発明が解決しようとする課題】

【0007】

ここで、従来の画像処理装置では、一般的な人間の顔やペットの顔等を検出する汎用検出器である顔検出器によって、顔検出処理が実行される。多くの場合、この顔検出器は撮影画像に含まれる人間やペットの顔を検出することができるが、一部検出できない場合もある。汎用検出器によって検出できない対象に関しては、従来、個々のユーザにその対象を含む画像を登録させ、その登録画像に基づいて所望の対象を検出することにより、この問題を解決していた。

【0008】

例えば、画像に人間とペットである柴犬が写っており、汎用検出器である顔検出器によって、柴犬の顔が検出できなかったとする。また、画像処理装置は、汎用検出器に加えて、柴犬識別器、チワワ識別器、ダックスフンド識別器等の汎用検出器の検出対象を細分化した対象を検出する専用検出器を予め備えているものとする。

【0009】

このとき、画像処理装置は、登録画像に対して専用検出器による検出処理を実行し、検出結果が最も良い専用検出器を、登録画像に含まれる対象を検出するための識別器として設定する。そのため、設定した識別器による検出処理を実行することにより、汎用検出器では検出できなかった対象を検出することができる。

【0010】

通常、ユーザは、汎用検出器で検出できなかった対象だけを登録する。そのため、上記の例において、画像処理装置は、人間および柴犬が写っている写真に対して、汎用識別器と、柴犬を検出するための識別器の両方の検出処理を実行することとなる。このように、対象を登録することにより、検出されない対象も検出することができるが、登録する対象数に応じて、検出処理を実行する識別器の個数も増える。それゆえ、従来の画像処理装置は、処理量または処理時間が増大するという問題がある。

【0011】

本発明は、上記の問題点に鑑みてなされたものであり、その目的は、或る画像から登録画像に含まれる対象を検出する処理において、その処理量または処理時間を軽減する画像処理装置、画像処理方法、制御プログラムおよび記録媒体を実現することにある。

【課題を解決するための手段】

【0012】

本発明に係る画像処理装置は、上記課題を解決するために、所定の大分類対象を検出する汎用識別器であって、次段の弱識別器が前段の弱識別器の出力領域に対して検出処理を実行する弱識別器を１または複数有する汎用識別器と、上記大分類対象を細分化した小分類対象を検出する専用識別器であって、次段の弱識別器が前段の出力領域に対して検出処理を実行する弱識別器を１または複数有する専用識別器と、を備える画像処理装置であって、カメラが撮影した撮影画像を取得する画像取得手段と、上記撮影画像からユーザが指定した領域を含む登録画像を抽出する画像抽出手段と、上記画像抽出手段が抽出した登録画像に対して、専用識別器による検出処理を実行させる専用識別器実行手段と、検出結果の優劣を示す指標が最も高い専用識別器を選択する専用識別器選択手段と、上記専用識別器選択手段が選択した専用識別器に含まれる弱識別器の一部を、上記汎用識別器に含まれる弱識別器に代えて、上記登録画像に含まれる対象を検出するための登録画像識別器を生成する識別器生成手段とを備えることを特徴としている。

【0013】

本発明に係る画像処理方法は、上記課題を解決するために、所定の大分類対象を検出する汎用識別器であって、次段の弱識別器が前段の出力領域に対して検出処理を実行する弱識別器を１または複数有する汎用識別器と、上記大分類対象を細分化した小分類対象を検出する専用識別器であって、次段の弱識別器が前段の出力領域に対して検出処理を実行する弱識別器を１または複数有する専用識別器と、を備える画像処理装置の画像処理方法であって、カメラが撮影した撮影画像を取得する画像取得ステップと、上記撮影画像からユーザが指定した領域を含む登録画像を抽出する画像抽出ステップと、上記画像抽出ステップにおいて抽出された登録画像に対して、専用識別器による検出処理を実行させる専用識別器実行ステップと、検出結果の優劣を示す指標が最も高い専用識別器を選択する専用識別器選択ステップと、上記専用識別器選択ステップにおいて選択された専用識別器に含まれる弱識別器の一部を、上記汎用識別器に含まれる弱識別器に代えて、上記登録画像に含まれる対象を検出するための登録画像識別器を生成する識別器生成ステップとを含むことを特徴としている。

【0014】

上記の構成によれば、登録画像に含まれる対象を検出できなかった汎用識別器の弱識別器と、専用識別器の弱識別器とを組み合わせて登録画像識別器が生成される。

【0015】

ここで、登録画像に含まれる対象と、汎用識別器によって検出可能な対象とを撮影画像から検出する場合、画像処理装置は、登録画像識別器と汎用識別器とを両方実行する。画像処理装置は、２つの識別器を実行するが、登録画像識別器の検出処理の際に、汎用識別器の弱識別器の検出結果を利用することにより、登録画像識別器に含まれる汎用識別器の弱識別器を実行しなくて済む。

【0016】

よって、画像処理装置は、登録画像に含まれる対象と、汎用識別器によって検出可能な対象とを撮影画像から検出する場合、検出処理にかかる処理量または処理時間を軽減することができるという効果を奏する。

【0017】

本発明に係る画像処理装置は、上記識別器生成手段は、上記登録画像に対して上記汎用識別器の弱識別器が検出処理を実行できた階層までの上記汎用識別器の弱識別器を、上記専用識別器選択手段が選択した専用識別器の上記階層までの弱識別器と代えて、上記登録画像識別器を生成することが好ましい。

【0018】

本発明に係る画像処理装置は、上記識別器生成手段は、予め定められた階層までの上記汎用識別器の弱識別器を、上記専用識別器選択手段が選択した専用識別器の上記階層までの弱識別器と代えて、上記登録画像識別器を生成することが好ましい。

【0019】

本発明に係る画像処理装置は、上記専用識別器実行手段は、上記登録画像に対して専用識別器による検出処理を実行させた結果、何れの専用識別器も出力領域を出力しなかった場合、専用識別器が上記登録画像に対して検出処理を実行できた階層を上記指標として出力し、上記専用識別器選択手段は、階層数が最も大きい専用識別器を選択することが好ましい。

【0020】

本発明に係る画像処理装置は、上記識別器生成手段は、上記専用識別器選択手段が選択した専用識別器の弱識別器のうち、上記登録画像に対して検出処理を実行できた階層までの当該専用識別器の弱識別器を使用して、上記登録画像識別器を生成することが好ましい。

【0021】

なお、上記画像処理装置は、コンピュータによって実現してもよく、この場合には、コンピュータを上記画像処理装置の各手段として動作させることにより、上記画像処理装置をコンピュータにて実現させる制御プログラム、及びそれを記録したコンピュータ読み取り可能な記録媒体も本発明の範疇に入る。

【発明の効果】

【0022】

以上のように、本発明に係る画像処理装置は、カメラが撮影した撮影画像を取得する画像取得手段と、上記撮影画像からユーザが指定した領域を含む登録画像を抽出する画像抽出手段と、上記画像抽出手段が抽出した登録画像に対して、専用識別器による検出処理を実行させる専用識別器実行手段と、検出結果の優劣を示す指標が最も高い専用識別器を選択する専用識別器選択手段と、上記専用識別器選択手段が選択した専用識別器に含まれる弱識別器の一部を、上記汎用識別器に含まれる弱識別器に代えて、上記登録画像に含まれる対象を検出するための登録画像識別器を生成する識別器生成手段とを備えている構成である。

【0023】

また、本発明に係る画像処理方法は、カメラが撮影した撮影画像を取得する画像取得ステップと、上記撮影画像からユーザが指定した領域を含む登録画像を抽出する画像抽出ステップと、上記画像抽出ステップにおいて抽出された登録画像に対して、専用識別器による検出処理を実行させる専用識別器実行ステップと、検出結果の優劣を示す指標が最も高い専用識別器を選択する専用識別器選択ステップと、上記専用識別器選択ステップにおいて選択された専用識別器に含まれる弱識別器の一部を、上記汎用識別器に含まれる弱識別器に代えて、上記登録画像に含まれる対象を検出するための登録画像識別器を生成する識別器生成ステップとを含む。

【0024】

よって、登録画像に含まれる対象と、汎用識別器によって検出可能な対象とを撮影画像から検出する場合、検出処理にかかる処理量または処理時間を軽減することができるという効果を奏する。

【図面の簡単な説明】

【0025】

【図1】本発明の実施形態を示すものであり、画像処理装置の要部構成の一例を示すブロック図である。

【図2】識別器を構成する弱識別器の検出処理および検出結果の一例を示す図である。

【図3】識別器を構成する弱識別器の検出処理および検出結果の一例を示す図である。

【図4】識別器を構成する弱識別器の検出処理および検出結果の一例を示す図である。

【図5】識別器を構成する弱識別器の検出処理および検出結果の一例を示す図である。

【図6】上記画像処理装置が実行する登録画像識別器を生成する識別器生成処理の一例を示すフローチャートである。

【発明を実施するための形態】

【0026】

本発明の一実施形態について図１から図６に基づいて説明すると以下の通りである。

【0027】

〔画像処理装置の構成〕
本発明に係る画像処理装置は、画像上における所定の対象を検出するものである。画像処理装置が検出する対象を検出対象と称する。ここで、検出対象とは、画像上の任意の有形物であり、例えば、人間の全身、顔、目、鼻、口、手、腕もしくは脚など、または、犬、猫、鳥等の動物の全身もしくは顔など、または、自動車、バイク等の車体全体もしくはタイヤなど、または、ビル、家屋等の建造物など、または、木、雲、太陽等の自然物などである。

【0028】

画像処理装置は、画像上における検出対象を検出するものであれば何でも良く、例えば、デジタルカメラ、デジタルビデオカメラ、ＰＣ、携帯電話機、ＰＤＡ（Personal Digital Assistant）、ゲーム機、写真を撮影して印刷する装置、画像を編集する装置などであってよい。

【0029】

本発明に係る画像処理装置は、入力された画像から検出対象を検出する識別器を備える。識別器に入力される画像を入力画像と称する。

【0030】

識別器は、１または複数の弱識別器からなる。識別器を構成する弱識別器は、入力画像内の所定の領域における１または複数の特徴量が所定の基準範囲内であるか否かを判定し、当該特徴量が所定の基準範囲内である領域を出力する。換言すると、弱識別器は、入力画像内の所定の領域に検出対象が含まれているか否かを判定し、検出対象が含まれていると判定した領域を出力する。なお、弱識別器が領域から抽出する特徴量は任意でよい。例えば、輝度値、エッジ情報、周波数特性（Gabor、Haar等）、輝度勾配特徴量（SIFT、HOG等）またはそれらの組み合わせを特徴量としてもよい。

【0031】

また、各弱識別器は、処理を実行する順序が設定されており、次段の弱識別器は、前段の弱識別器が出力する出力領域内の所定の領域に対して検出処理を実行する。なお、初段の弱識別器は、識別器に入力された入力画像（の全領域）に対して検出処理を実行する。また、最後段の弱識別器が出力する出力領域が識別器の出力である。なお、前段の弱識別器の出力する出力領域がない場合、以降の弱識別器は検出処理を実行しない。

【0032】

ここで、弱識別器の検出処理順序を階層と称する。例えば、識別器において、７番目に検出処理を実行する弱識別器は、階層７の弱識別器とする。

【0033】

識別器の検出処理について、図２〜図５に基づいてより具体的に説明する。図２〜図５は、識別器を構成する弱識別器の検出処理および検出結果の一例を示す図である。図２〜図５に示す識別器は、１０個の弱識別器Ｌ１〜Ｌ１０からなるものとする。また、図２〜図５に示す識別器は、犬を検出する犬識別器であるとする。

【0034】

図２に示すように、まず、弱識別器Ｌ１は、識別器に入力された入力画像５０上において、所定のサイズ、形状の領域５１を設定する。弱識別器が設定する領域を処理領域５１と称する。弱識別器Ｌ１は、入力画像５０全体を処理領域５１でラスタスキャンし、スキャンした各処理領域５１における１または複数の特徴量が所定の基準範囲内であるか否かをそれぞれ判定し、当該特徴量が所定の基準範囲内である処理領域５１を出力領域として出力する。

【0035】

ここで、図３に示すように、弱識別器Ｌ１の検出処理の結果、弱識別器Ｌ１が出力領域として、出力領域５２ａ、５２ｂおよび５２ｃを出力したとする。この状態で、弱識別器Ｌ２は、出力領域５２ａ、５２ｂおよび５２ｃに対して、それぞれ処理領域５１をラスタスキャンして、検出処理を実行する。

【0036】

続いて、弱識別器Ｌ３〜Ｌ１０の検出処理を実行し、図４に示すように、弱識別器Ｌ１０が出力領域として、出力領域５２ｄおよび５２ｅを出力したとする。つまり、入力画像５０に対して、弱識別器Ｌ１〜Ｌ１０で構成される犬識別器の検出処理を実行すると、出力領域５２ｄおよび５２ｅが出力として得られる。すなわち、入力画像５０の出力領域５２ｄおよび５２ｅに検出対象の「犬」が含まれる。

【0037】

なお、図５に示すように、弱識別器は、大きさの異なる複数の処理領域５１ａ、５１ｂ、５１ｃを設定してもよい。また、図２〜図５に示す例では、処理領域５１の形状が矩形であるが、これに限るものではない。例えば、処理領域５１の形状を円形にしてもよい。弱識別器が設定する処理領域の種類数、並びに、処理領域のサイズおよび形状は任意でよい。また、弱識別器ごとに、設定する処理領域が異なっていてもよい。

【0038】

また、本発明に係る画像処理装置は、識別器として、汎用識別器と専用識別器とを備える。ここで、専用識別器は、汎用識別器の検出対象を細分化した対象を検出するものである。換言すると、専用識別器の検出対象は、汎用識別器の検出対象を所定の区分で分類したものである。以下では、汎用識別器の検出対象を大分類対象と称し、専用識別器の検出対象を小分類対象と称する。

【0039】

例えば、汎用識別器の検出対象を「犬」とすると、専用識別器の検出対象は犬を犬種で分類した「柴犬」、「チワワ」、「ダックスフンド」等を検出対象としてもよい。この場合、汎用識別器は、任意の犬種の「犬」を検出することができる。しかしながら、各犬種の「犬」の検出率等の性能は、専用識別器に比べると平均的で高くはない。また、検出率等は、犬種によって異なる。一方、専用識別器は、特定の犬種に特化しているため、任意の犬種の「犬」を検出することができない。しかしながら、専用識別器は、検出対象である「特定の犬種の犬（例えば、柴犬等）」の検出率等の性能は、汎用識別器に比べると高い。

【0040】

汎用識別器と専用識別器との違いは、検出対象が異なるだけである。或る識別器が専用識別器であるか否かは、汎用識別器によって相対的に決定されるものである。すなわち、専用識別器は汎用識別器に対応付けられているものである。

【0041】

また、本発明に係る画像処理装置は、少なくとも１つの汎用識別器と、少なくとも１つの専用識別器を備えていればよい。また、汎用識別器および専用識別器を構成する弱識別器の個数は任意であり、かつ、互いに異なる個数の弱識別器で構成されていてもよい。

【0042】

なお、検出器は識別器と同義の単語であり、識別器をカスケードとも称する。また、弱識別器をレイヤーとも称する。

【0043】

次に、画像処理装置の構成について図１に基づいて説明する。図１は、画像処理装置１の要部構成の一例を示すブロック図である。図１に示すように、画像処理装置１は、制御部１１、記憶部１２、カメラ１３、表示部１４および操作部１５を備えている。なお、画像処理装置１は、他の装置と通信するための通信部、音声入力部、音声出力部等の部材を備えていてもよいが、発明の特徴点とは関係がないため当該部材を図示していない。

【0044】

カメラ１３は、画像を撮影するものである。カメラ１３が撮影した画像を撮影画像と称する。なお、本実施形態がカメラ１３を搭載しているが、これに限るものではない。例えば、カメラ１３と画像処理装置１が別体であってもよい。また、カメラ１３の代わりに、画像提供装置であってもよい。画像提供装置は、保持している画像または取得した画像を他の装置に提供する装置であれば何でもよい。例えば、画像提供装置は、デジタルカメラ、デジタルテレビ、ＰＣ、携帯電話機、ＰＤＡ（Personal Digital Assistant）、ゲーム機、ＵＳＢ（Universal Serial Bus）メモリ等の記憶装置などである。

【0045】

表示部１４は、制御部１１の指示に従って画像を表示するものである。表示部１４は、制御部１１の指示に従って画像を表示するものであればよく、例えば、ＬＣＤ（液晶ディスプレイ）、有機ＥＬディスプレイ、プラズマディスプレイなどを適用することが可能である。

【0046】

操作部１５は、ユーザが画像処理装置１に指示信号を入力し、画像処理装置１を操作するためのものである。操作部１５は、キーボード、マウス、キーパッド、操作ボタンなどの入力機器等で構成されているものであってもよい。また、操作部１５と表示部１４とが一体となっているタッチパネルであってもよい。また、操作部１５は、画像処理装置１と別体のリモートコントローラ等の遠隔制御装置であってもよい。

【0047】

制御部１１は、記憶部１２から一時記憶部（不図示）に読み出されたプログラムを実行することにより、各種の演算を行うと共に、画像処理装置１が備える各部を統括的に制御するものである。

【0048】

本実施形態では、制御部１１は、機能ブロックとして、画像取得部（画像取得手段）２１、汎用識別器実行部２２、画像抽出部（画像抽出手段）２３、専用識別器実行部（専用識別器実行手段）２４、専用識別器選択部（専用識別器選択手段）２５、識別器生成部（識別器生成手段）２６、登録画像用識別器実行部２７および表示制御部２８を備える構成である。これらの制御部１１の各機能ブロック（２１〜２８）は、ＣＰＵ（central processing unit）が、ＲＯＭ（read only memory）等で実現された記憶装置に記憶されているプログラムをＲＡＭ（random access memory）等で実現された一時記憶部に読み出して実行することで実現できる。

【0049】

画像取得部２１は、カメラ１３から撮影画像を取得するものである。画像取得部２１は、取得した撮影画像を汎用識別器実行部２２、専用識別器実行部２４、登録画像識別器実行部２７および表示制御部２８に出力する。

【0050】

汎用識別器実行部２２は、１または複数の汎用識別器を備えており、画像取得部２１から取得した撮影画像を入力画像として汎用識別器に入力する。そして、汎用識別器実行部２２は、汎用識別器に検出処理を実行させる。汎用識別器実行部２２は、汎用識別器の検出結果を表示制御部２８に出力する。

【0051】

また、汎用識別器実行部２２は、記憶部１２から汎用識別器情報を読み出し、汎用識別器の検出対象を変更したり、汎用識別器を構成する弱識別器が検出時に使用する特徴量および基準範囲を変更したりしてもよい。

【0052】

画像抽出部２３は、操作部１５に入力されたユーザの指示に基づいて、画像取得部２１から取得した撮影画像上の所定の領域を特定し、特定した領域を登録画像として抽出するものである。画像抽出部２３は、抽出した登録画像を専用識別器実行部２４に出力する。

【0053】

専用識別器実行部２４は、１または複数の専用識別器を備えており、画像抽出部２３から取得した登録画像を入力画像として専用識別器に入力する。そして、専用識別器実行部２４は、専用識別器に検出処理を実行させる。

【0054】

専用識別器は、検出結果として、出力領域に代えて、検出結果の優劣を示す指標を出力する。例えば、専用識別器は、当該指標として、出力領域のスコアを出力する。つまり、専用識別器の最後段の弱識別器は、出力領域のスコアを出力する。専用識別器実行部２４は、専用識別器の検出結果を専用識別器選択部２５に出力する。

【0055】

ここで、スコアとは、出力領域に検出対象が含まれる確度を示すものである。例えば、最後段の弱識別器は、スコアとして、領域に含まれる対象が検出対象と類似する程度を示す類似度を出力してもよい。

【0056】

なお、出力領域がない場合は、スコアをゼロとして出力する。ただし、全ての専用識別器の検出結果が「出力領域無し」の場合、検出処理を実行した弱識別器の階層数を上記指標として出力してもよい。

【0057】

また、専用識別器実行部２４は、記憶部１２から専用識別器情報を読み出し、専用識別器の検出対象を変更したり、専用識別器を構成する弱識別器が検出時に使用する特徴量および基準範囲を変更したりしてもよい。

【0058】

専用識別器選択部２５は、専用識別器実行部２４から専用識別器の検出結果を取得し、取得した検出結果に基づいて、スコア（指標）の最も高い専用識別器を選択するものである。専用識別器選択部２５は、選択した専用識別器を識別器生成部２６に通知する。

【0059】

識別器生成部２６は、専用識別器選択部２５が選択した専用識別器に含まれる弱識別器の一部を、汎用識別器に含まれる弱識別器に代えて、登録画像に含まれる対象を検出するための登録画像識別器を生成するものである。識別器生成部２６は、生成した登録画像識別器を登録画像に対応づけて記憶部１２に登録画像識別器情報として格納する。

【0060】

具体的には、識別器生成部２６は、登録画像に対する汎用識別器の検出結果を汎用識別器実行部２２から取得し、登録画像に対して汎用識別器の弱識別器が検出処理を実行できた階層を特定する。識別器生成部２６は、専用識別器選択部２５が選択した専用識別器に含まれる弱識別器のうち、特定した階層までを汎用識別器の弱識別器に代えて、登録画像識別器を生成する。

【0061】

例えば、汎用識別器および専用識別器がそれぞれ１０階層の弱識別器から構成されており、登録画像に対して汎用識別器の弱識別器が階層７まで検出処理を実行できたとする。この場合、識別器生成部２６は、専用識別器の階層１から階層７の弱識別器を汎用識別器の階層１から階層７の弱識別器に代えたものを登録画像識別器とする。換言すると、生成された登録画像識別器の階層１から階層７の弱識別器は、汎用識別器の階層１から階層７の弱識別器であり、生成された登録画像識別器の階層８から階層１０の弱識別器は、専用識別器の階層８から階層１０の弱識別器である。

【0062】

また、識別器生成部２６は、専用識別器選択部２５が選択した専用識別器に含まれる弱識別器のうち、予め定められた階層までを汎用識別器の弱識別器に代えて、登録画像識別器を生成してもよい。

【0063】

例えば、階層５までを汎用識別器の弱識別器に代えることが予め定められているとする。この場合、識別器生成部２６は、専用識別器の階層１から階層５の弱識別器を汎用識別器の階層１から階層５の弱識別器に代えたものを登録画像識別器とする。換言すると、生成された登録画像識別器の階層１から階層５の弱識別器は、汎用識別器の階層１から階層５の弱識別器であり、生成された登録画像識別器の階層６から階層１０の弱識別器は、専用識別器の階層６から階層１０の弱識別器である。

【0064】

登録画像識別器実行部２７は、記憶部１２から登録画像識別器情報を読み出し、登録画像識別器情報に基づいて登録画像識別器を生成する。登録画像識別器実行部２７は、画像取得部２１から取得した撮影画像を入力画像として、生成した登録画像識別器に入力する。そして、登録画像識別器実行部２７は、登録画像識別器に検出処理を実行させる。登録画像識別器実行部２７は、登録画像識別器の検出結果を表示制御部２８に出力する。

【0065】

表示制御部２８は、画像取得部２１から撮影画像を取得し、取得した撮影画像を表示部１４に表示させるものである。また、汎用識別器実行部２２または登録画像識別器実行部２７から検出結果を取得して、出力領域の画像上の位置を示すマーカーを撮影画像に重ねて表示する。

【0066】

記憶部１２は、制御部１１が参照するプログラムやデータ等を格納するものであり、例えば、上記の汎用識別器情報３１、専用識別器情報３２、登録画像識別器情報３３等を格納している。

【0067】

汎用識別器情報３１、専用識別器情報３２および登録画像識別器情報３３は、それぞれ所定の対象を検出するための識別器を生成するための情報である。汎用識別器情報３１、専用識別器情報３２および登録画像識別器情報３３は、例えば、識別器を構成する弱識別器の個数および順序、並びに、弱識別器が使用する特徴量および基準範囲等を示す情報である。

【0068】

〔登録画像識別器の生成処理〕
次に、画像処理装置１が実行する登録画像識別器を生成する識別器生成処理について図６に基づいて説明する。図６は、画像処理装置１が実行する登録画像識別器を生成する識別器生成処理の一例を示すフローチャートである。

【0069】

ここでは、撮影画像に対して汎用識別器による検出処理を行ったが、ユーザの所望する対象が検出されなかったため、ユーザが所望の対象を含む領域を登録画像として登録するものとして説明する。また、専用識別器実行部２４が５つの専用識別器を備えているものとする。

【0070】

まず、画像取得部２１がカメラ１３から撮影画像を取得する（Ｓ１）。上述のように、汎用識別器による検出処理を行った結果、ユーザの所望する対象が検出されない。ここで、ユーザが操作部１５を操作して、撮影画像上における所望の対象を含む領域が指定される。画像抽出部２３は、操作部１５に入力されたユーザの指示に基づいて、撮影画像上の所定の領域を特定し、特定した領域を登録画像として抽出する（Ｓ２）。画像抽出部２３は、抽出した登録画像を専用識別器実行部２４に出力する。

【0071】

専用識別器実行部２４は、画像抽出部２３から取得した登録画像を入力画像として５つの専用識別器にそれぞれ入力する。そして、専用識別器実行部２４は、各専用識別器に検出処理を実行させる（Ｓ３）。専用識別器実行部２４は、各専用識別器の出力であるスコアを専用識別器選択部２５に出力する。

【0072】

専用識別器選択部２５は、専用識別器実行部２４から各専用識別器のスコアを取得し、５つの専用識別器の中から、出力したスコアが最も高い専用識別器を選択する（Ｓ４）。専用識別器選択部２５は、選択した専用識別器を識別器生成部２６に通知する。

【0073】

識別器生成部２６は、専用識別器選択部２５が選択した専用識別器に含まれる弱識別器の一部を、汎用識別器に含まれる弱識別器に代えて、登録画像に含まれる対象を検出するための登録画像識別器を生成する（Ｓ５）。識別器生成部２６は、生成した登録画像識別器を登録画像に対応づけて記憶部１２に登録画像識別器情報として格納する（Ｓ６）。

【0074】

〔実施例１〕
次に、具体的な事例に基づいて、識別器生成処理例（実施例１）について説明する。

【0075】

実施例１では、撮影画像には、人間である「父」、「母」および「子供」、並びにペットである「犬」が写っているものとする。また、汎用識別器として、人間や犬などの動物の顔を検出する顔識別器を用いるものとする。撮影画像に対して汎用識別器による検出結果を行った結果、「父」、「母」および「子供」が検出され、「犬」が検出されなかったものとする。その結果を受けて、ユーザが「犬」を含む領域を登録画像として登録したものとする。

【0076】

また、専用識別器として、「ダックスフンド」、「パグ」、「柴犬」、「チワワ」、「パピヨン」をそれぞれ検出対象とする５つの識別器を用いるものとする。さらに、上記の「犬」の犬種は柴犬であるとする。

【0077】

さらに、汎用識別器および専用識別器は、１０階層の弱識別器から構成されているものとする。そして、登録画像識別器に使用する汎用識別器の弱識別器は、予め階層１から階層５までと定められているものとする。

【0078】

この場合において、専用識別器実行部２４が、登録画像に対して、各専用識別器を実行した結果、ダックスフンド識別器、パグ識別器、柴犬識別器、チワワ識別器およびパピヨン識別器のスコアが、それぞれ、「２００」、「０」、「９００」、「０」、「０」となった。

【0079】

この結果を受けて、専用識別器選択部２５は、柴犬識別器を選択し、それを識別器生成部２６に通知する。識別器生成部２６は、この通知を受けて、顔識別器の階層１から階層５の弱識別器と、柴犬識別器の階層６から階層１０の弱識別器とを組み合わせて、登録画像識別器を生成する。

【0080】

〔実施例２〕
次に、他の識別器生成処理例（実施例２）について説明する。

【0081】

実施例２では、実施例１と異なり、撮影画像に写っている「犬」の犬種が土佐犬であるとする。また、登録画像識別器に使用する汎用識別器の弱識別器の階層を、登録画像に対して汎用識別器の弱識別器が検出処理を実行できた階層とする。その他の設定は、実施例１と同じであるとする。

【0082】

この場合において、専用識別器実行部２４が、登録画像に対して、各専用識別器を実行した結果、何れの専用識別器も「出力領域なし」となった。このとき、ダックスフンド識別器、パグ識別器、柴犬識別器、チワワ識別器およびパピヨン識別器の検出処理を実行できた階層が、それぞれ、「階層３」、「階層５」、「階層９」、「階層１」、「階層６」であった。専用識別器実行部２４は、何れの専用識別器も「出力領域なし」となったため、指標として、各専用識別器の検出処理を実行できた階層数を専用識別器選択部２５に出力した。

【0083】

この結果を受けて、専用識別器選択部２５は、柴犬識別器を選択し、それを識別器生成部２６に通知する。また、汎用識別器実行部２２が登録画像に対して汎用識別器の検出処理を実行した結果、階層５まで検出できたとする。そして、汎用識別器実行部２２は、この結果を識別器生成部２６に通知する。

【0084】

ここで、識別器生成部２６は、専用識別器である柴犬識別器の階層６から階層１０の弱識別器を使用してもよいが、登録画像に対して柴犬識別器は階層９までしか検出処理を実行できなかったため、柴犬識別器の階層６から階層９の弱識別器を使用するものとする。すなわち、識別器生成部２６は、上記の通知を受けて、顔識別器の階層１から階層５の弱識別器と、柴犬識別器の階層６から階層９の弱識別器とを組み合わせて、登録画像識別器を生成する。

【0085】

〔登録画像識別器の検出処理〕
上述のように、登録画像識別器は、汎用識別器の弱識別器と専用識別器の弱識別器とを組み合わせたものである。例えば、上記の実施例１および２のように、登録画像識別器は、汎用識別器である顔識別器の階層１から階層５の弱識別器と、専用識別器である柴犬識別器の階層６から階層１０の弱識別器とを組み合わせたものである。

【0086】

ここで、登録画像に含まれる対象を単独で検出する場合、登録画像識別器だけを実行させるため、顔識別器の階層１から階層５の弱識別器と、柴犬識別器の階層６から階層１０の弱識別器との計１０階層の弱識別器を実行する。

【0087】

一方、撮影画像に「父」、「母」および「子供」、並びに、登録画像に含まれる対象である「犬」が写っている場合、画像処理装置１は、汎用識別器および登録画像識別器を実行させる。

【0088】

具体的には、まず、撮影画像に汎用識別器の階層１から階層１０までの弱識別器を実行する。汎用識別器で「父」、「母」および「子供」が検出されるが、「犬」は検出されない。次に、撮影画像に対して登録画像識別器を実行する。このとき、既に、撮影画像に対して汎用識別器の検出処理が実行されているため、先の検出結果を利用する。つまり、汎用識別器の検出処理の際に、階層５の弱識別器の検出結果を保存しておく。そして、登録画像識別器を実行する際に、保存しておいた検出結果に対して、登録画像識別器の階層６から階層１０の弱識別器の検出処理を実行する。

【0089】

よって、画像処理装置は、汎用識別器および登録画像識別器の２つの識別器を実行しているが、両者の重複する弱識別器の検出処理を実行しなくてよいため、検出処理の処理量または処理時間を軽減することができる。

【0090】

また、複数の登録画像識別器を生成し、両者の弱識別器が重複するとする。この複数の登録画像識別器を実行する場合も、検出結果を利用することにより、検出処理の処理量または処理時間を軽減することができる。

【0091】

また、登録画像識別器が汎用識別器の弱識別器を含むため、汎用識別器と専用識別器との処理時間または処理速度の差異と比較すると、汎用識別器と登録画像識別器との処理時間または処理速度の差異の方が小さい。そのため、登録画像識別器を処理時間または処理速度を汎用識別器の処理時間または処理速度から予測することができる。

【0092】

〔補足〕
本発明は上述した実施形態に限定されるものではなく、請求項に示した範囲で種々の変更が可能である。すなわち、請求項に示した範囲で適宜変更した技術的手段を組み合わせて得られる実施形態についても本発明の技術的範囲に含まれる。

【0093】

最後に、画像処理装置１の各ブロック、特に制御部１１は、ハードウェアロジックによって構成してもよいし、次のようにＣＰＵを用いてソフトウェアによって実現してもよい。

【0094】

すなわち、画像処理装置１は、各機能を実現する制御プログラムの命令を実行するＣＰＵ（central processing unit）、上記プログラムを格納したＲＯＭ（read only memory）、上記プログラムを展開するＲＡＭ（random access memory）、上記プログラムおよび各種データを格納するメモリ等の記憶装置（記録媒体）などを備えている。そして、本発明の目的は、上述した機能を実現するソフトウェアである画像処理装置１の制御プログラムのプログラムコード（実行形式プログラム、中間コードプログラム、ソースプログラム）をコンピュータで読み取り可能に記録した記録媒体を、上記画像処理装置１に供給し、そのコンピュータ（またはＣＰＵやＭＰＵ）が記録媒体に記録されているプログラムコードを読み出し実行することによっても、達成可能である。

【0095】

上記記録媒体としては、例えば、磁気テープやカセットテープ等のテープ系、フロッピー（登録商標）ディスク／ハードディスク等の磁気ディスクやＣＤ−ＲＯＭ／ＭＯ／ＭＤ／ＤＶＤ／ＣＤ−Ｒ等の光ディスクを含むディスク系、ＩＣカード（メモリカードを含む）／光カード等のカード系、あるいはマスクＲＯＭ／ＥＰＲＯＭ／ＥＥＰＲＯＭ／フラッシュＲＯＭ等の半導体メモリ系などを用いることができる。

【0096】

また、画像処理装置１を通信ネットワークと接続可能に構成し、上記プログラムコードを通信ネットワークを介して供給してもよい。この通信ネットワークとしては、特に限定されず、例えば、インターネット、イントラネット、エキストラネット、ＬＡＮ、ＩＳＤＮ、ＶＡＮ、ＣＡＴＶ通信網、仮想専用網（virtual private network）、電話回線網、移動体通信網、衛星通信網等が利用可能である。また、通信ネットワークを構成する伝送媒体としては、特に限定されず、例えば、ＩＥＥＥ１３９４、ＵＳＢ、電力線搬送、ケーブルＴＶ回線、電話線、ＡＤＳＬ回線等の有線でも、ＩｒＤＡやリモコンのような赤外線、Ｂｌｕｅｔｏｏｔｈ（登録商標）、８０２．１１無線、ＨＤＲ、携帯電話網、衛星回線、地上波デジタル網等の無線でも利用可能である。なお、本発明は、上記プログラムコードが電子的な伝送で具現化された、搬送波に埋め込まれたコンピュータデータ信号の形態でも実現され得る。

【産業上の利用可能性】

【0097】

本発明は、画像上の所定の有形物を検出する画像処理装置に利用することができる。

【符号の説明】

【0098】

１ 画像処理装置
１３ カメラ
２１ 画像取得部（画像取得手段）
２２ 汎用識別器実行部
２３ 画像抽出部（画像抽出手段）
２４ 専用識別器実行部（専用識別器実行手段）
２５ 専用識別器選択部（専用識別器選択手段）
２６ 識別器生成部（識別器生成手段）
２７ 登録画像識別器実行部

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】