特許 6020439 画像処理装置、撮像装置、および画像処理プログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】6020439

(24)【登録日】2016年10月14日

(45)【発行日】2016年11月2日

(54)【発明の名称】画像処理装置、撮像装置、および画像処理プログラム

(51)【国際特許分類】

   G06T 7/00 20060101AFI20161020BHJP

   G06T 1/00 20060101ALI20161020BHJP

【ＦＩ】

   G06T7/00 300B

   G06T1/00 340B

【請求項の数】21

【全頁数】18

(21)【出願番号】特願2013-503496(P2013-503496)

(86)(22)【出願日】2012年3月2日

(86)【国際出願番号】JP2012055351

(87)【国際公開番号】WO2012121137

(87)【国際公開日】20120913

【審査請求日】2015年2月25日

(31)【優先権主張番号】特願2011-47525(P2011-47525)

(32)【優先日】2011年3月4日

(33)【優先権主張国】JP

(73)【特許権者】

【識別番号】000004112

【氏名又は名称】株式会社ニコン

(74)【代理人】

【識別番号】100084412

【弁理士】

【氏名又は名称】永井 冬紀

(74)【代理人】

【識別番号】100078189

【弁理士】

【氏名又は名称】渡辺 隆男

(72)【発明者】

【氏名】西 岳志

【審査官】 佐藤 実

(56)【参考文献】

【文献】 特開２００７−１２８５１３（ＪＰ，Ａ）

【文献】 特開２００７−０９６３７９（ＪＰ，Ａ）

【文献】 米国特許出願公開第２００５／０１９０９６５（ＵＳ，Ａ１）

(58)【調査した分野】（Int.Cl.，ＤＢ名）

Ｇ０６Ｔ ７／００

Ｇ０６Ｔ １／００

(57)【特許請求の範囲】

【請求項1】

画像の中から動物の顔を検出する顔検出部と、
前記顔検出部による顔検出結果に基づいて、前記画像の中の前記動物の体の候補領域を設定する候補領域設定部と、
基準画像を取得する基準画像取得部と、
前記候補領域設定部により設定された前記動物の体の候補領域を複数の小領域に分割し、前記複数の小領域の画像のそれぞれについて前記基準画像との類似度をそれぞれ演算する類似度演算部と、
前記類似度演算部により演算された前記複数の小領域のそれぞれの類似度に基づいて、前記動物の体の候補領域の中から前記動物の体の領域を推定する体領域推定部とを備える画像処理装置。

【請求項2】

請求項１に記載の画像処理装置において、
前記候補領域設定部は、前記顔検出部により検出された前記動物の顔の大きさと傾きに応じて前記画像の中に前記動物の体の候補領域を設定する画像処理装置。

【請求項3】

請求項１または請求項２に記載の画像処理装置において、
前記顔検出部は、前記画像の中の前記動物の顔の位置に前記動物の顔の大きさと傾きに応じた矩形枠を設定し、
前記候補領域設定部は、前記顔検出部により設定された前記矩形枠と同一の矩形枠を所定個数並べて前記動物の体の候補領域を設定する画像処理装置。

【請求項4】

請求項３に記載の画像処理装置において、
前記類似度演算部は、前記動物の体の候補領域を構成する複数の前記矩形枠の中をそれぞれ複数の領域に分割して前記複数の小領域とする画像処理装置。

【請求項5】

請求項４に記載の画像処理装置において、
前記基準画像取得部は、それぞれの前記矩形枠の内側に前記複数の小領域と同じ大きさの第２の小領域をさらに設定し、複数の前記第２の小領域の画像をそれぞれ前記基準画像として取得し、
前記類似度演算部は、前記複数の小領域の画像のそれぞれと複数の前記第２の小領域の画像のそれぞれとの類似度をそれぞれ演算する画像処理装置。

【請求項6】

請求項５に記載の画像処理装置において、
前記基準画像取得部は、それぞれの前記矩形枠の中央に前記第２の小領域を設定する画像処理装置。

【請求項7】

請求項１〜６のいずれか一項に記載の画像処理装置において、
前記類似度演算部は、前記動物の体の候補領域内の前記複数の小領域のそれぞれと前記顔検出部により検出された前記動物の顔との距離が近いほど前記類似度に大きな重み付けを行う画像処理装置。

【請求項8】

請求項１〜７のいずれか一項に記載の画像処理装置において、
前記類似度演算部は、前記小領域の画像と前記基準画像との間で輝度、周波数、輪郭、色差、色相のいずれか１または複数を比較し、前記類似度を演算する画像処理装置。

【請求項9】

請求項１〜８のいずれか一項に記載の画像処理装置において、
前記基準画像取得部は、予め記憶されている画像を前記基準画像として用いる画像処理装置。

【請求項10】

請求項１〜９のいずれか一項に記載の画像処理装置において、
前記顔検出部は画像の中から前記動物の顔として人の顔を検出し、
前記候補領域設定部は、前記顔検出部による顔検出結果に基づいて、前記画像の中の人の体の候補領域を前記動物の体の候補領域として設定し、
前記類似度演算部は、前記候補領域設定部により設定された前記人の体の候補領域を複数の小領域に分割し、前記複数の小領域の画像のそれぞれと前記基準画像との類似度を演算し、
前記体領域推定部は、前記類似度演算部により演算された前記複数の小領域のそれぞれの類似度に基づいて、前記人の体の候補領域の中から前記人の体の領域を前記動物の体の領域として推定する画像処理装置。

【請求項11】

請求項１０に記載の画像処理装置において、
前記人の体の上半身の領域を推定し、前記上半身の領域の推定結果を用いて前記人の体の下半身の領域を推定する画像処理装置。

【請求項12】

画像の中から動物の顔を検出する顔検出部と、
前記顔検出部による顔検出結果に基づいて、前記画像中の前記動物の体の候補領域を設定する候補領域設定部と、
前記候補領域設定部により設定された前記体の候補領域内に複数の基準領域を設定し、前記候補領域内の小領域の画像と、前記各基準領域の基準画像との類似度を演算する類似度演算部と、
前記類似度演算部により演算されたそれぞれの前記小領域の類似度に基づいて、前記体の候補領域の中から前記動物の体の領域を推定する体領域推定部とを備える画像処理装置。

【請求項13】

画像データに基づく画像内の被写体の第1領域を特定する特定部と、
前記特定部の特定結果に基づいて、第２領域を設定する設定部と、
基準画像と前記設定部が設定した第２領域内の複数の領域とに基づいて、前記第２領域内の複数の領域の一部を選択する選択部と、を備える画像処理装置。

【請求項14】

請求項１３に記載の画像処理装置において、
前記基準画像は、前記第2領域内の画像に基づいて生成される画像処理装置。

【請求項15】

請求項１４に記載の画像処理装置において、
前記第２領域内の複数の領域から複数の基準画像が生成される画像処理装置。

【請求項16】

請求項１３〜１５のいずれか一項に記載の画像処理装置において、
前記選択部は、前記基準画像と、前記第2領域内の複数の領域との類似度に基づいて、前記複数の領域の一部を選択する画像処理装置。

【請求項17】

請求項１６に記載の画像処理装置において、
前記選択部は、前記第１領域からの距離が近いほど前記類似度に大きな重みを設定する画像処理装置。

【請求項18】

請求項１３〜１７のいずれか一項に記載の画像処理装置において、
前記特定部は、前記第１領域として前記画像内の被写体の顔を含む領域を特定する画像処理装置。

【請求項19】

被写体を撮像し、画像データを出力する撮像部と、
請求項１〜請求項１８に記載の画像処理装置と、を備えた撮像装置。

【請求項20】

画像の中から動物の顔を検出する顔検出処理と、
前記顔検出処理による顔検出結果に基づいて、前記画像の中の前記動物の体の候補領域を設定する候補領域設定処理と、
基準画像を取得する基準画像取得処理と、
前記候補領域設定処理により設定された前記動物の体の候補領域を複数の小領域に分割し、前記複数の小領域の画像のそれぞれと前記基準画像との類似度をそれぞれ演算する類似度演算処理と、
前記類似度演算処理により演算された前記複数の小領域のそれぞれの類似度に基づいて、前記動物の体の候補領域の中から前記動物の体の領域を推定する体領域推定処理とをコンピュータに実行させる画像処理プログラム。

【請求項21】

画像データに基づく画像内の被写体の第1領域を特定する特定処理と、
前記特定処理の特定結果に基づいて、第２領域を設定する設定処理と、
基準画像と前記設定処理により設定した第２領域内の複数の領域とに基づいて、前記第２領域内の複数の領域の一部を選択する選択処理と、
をコンピュータに実行させる画像処理プログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は画像処理装置、撮像装置、および画像処理プログラムに関する。

【背景技術】

【0002】

人体の顔と肌色を中心として人体位置を特定し、人体のモデルを用いて人体の姿勢を推定する方法が知られている（特許文献１参照）。

【先行技術文献】

【特許文献】

【0003】

【特許文献1】日本国特許第４２９５７９９号

【発明の概要】

【発明が解決しようとする課題】

【0004】

しかしながら、上述した従来の方法では、肌色が検出できない場合、人体位置の検出能力が著しく低下するという問題がある。

【課題を解決するための手段】

【0005】

（１） 本発明の第１の態様による画像処理装置は、画像の中から動物の顔を検出する顔検出部と、顔検出部による顔検出結果に基づいて、画像の中の動物の体の候補領域を設定する候補領域設定部と、基準画像を取得する基準画像取得部と、候補領域設定部により設定された動物の体の候補領域を複数の小領域に分割し、複数の小領域の画像のそれぞれについて基準画像との類似度をそれぞれ演算する類似度演算部と、類似度演算部により演算された複数の小領域のそれぞれの類似度に基づいて、動物の体の候補領域の中から動物の体の領域を推定する体領域推定部とを備える。
（２） 本発明の第２の態様によると、画像処理装置は、画像の中から動物の顔を検出する顔検出部と、顔検出部による顔検出結果に基づいて、画像中の動物の体の候補領域を設定する候補領域設定部と、候補領域設定部により設定された体の候補領域内に複数の基準領域を設定し、候補領域内の小領域の画像と、各基準領域の基準画像との類似度を演算する類似度演算部と、類似度演算部により演算されたそれぞれの小領域の類似度に基づいて、体の候補領域の中から動物の体の領域を推定する体領域推定部とを備える。
（３） 本発明の第３の態様によると、画像処理装置は、画像データに基づく画像内の被写体の第1領域を特定する特定部と、特定部の特定結果に基づいて、第２領域を設定する設定部と、基準画像と設定部が設定した第２領域内の複数の領域とに基づいて、前記第２領域内の複数の領域の一部を選択する選択部と、を備える。
(４) 本発明の第４の態様によると、画像処理プログラムは、画像の中から動物の顔を検出する顔検出処理と、顔検出処理による顔検出結果に基づいて、画像の中の動物の体の候補領域を設定する候補領域設定処理と、基準画像を取得する基準画像取得処理と、候補領域設定処理により設定された動物の体の候補領域を複数の小領域に分割し、複数の小領域の画像のそれぞれと基準画像との類似度をそれぞれ演算する類似度演算処理と、類似度演算処理により演算された複数の小領域のそれぞれの類似度に基づいて、動物の体の候補領域の中から動物の体の領域を推定する体領域推定処理とをコンピュータに実行させる。
(５) 本発明の第５の態様によると、画像処理プログラムは、画像データに基づく画像内の被写体の第1領域を特定する特定処理と、特定処理の特定結果に基づいて、第２領域を設定する設定処理と、基準画像と設定処理により設定した第２領域内の複数の領域とに基づいて、第２領域内の複数の領域の一部を選択する選択処理と、をコンピュータに実行させる。

【発明の効果】

【0006】

本発明によれば、動物の体の領域を正確に推定することができる。

【図面の簡単な説明】

【0007】

【図1】図１は、第１の実施の形態の画像処理装置の構成を示すブロック図である。

【図2】図２は、第１の実施の形態の画像処理プログラムを示すフローチャートである。

【図3】図３は、第１の実施の形態の画像処理例を示す図である。

【図4】図４は、第１の実施の形態の画像処理例を示す図である。

【図5】図５は、第１の実施の形態の画像処理例を示す図である。

【図6】図６は、第１の実施の形態の画像処理例を示す図である。

【図7】図７は、第１の実施の形態の画像処理例を示す図である。

【図8】図８は、第１の実施の形態の画像処理例を示す図である。

【図9】図９は、第１の実施の形態の画像処理例を示す図である。

【図10】図１０は、第１の実施の形態の画像処理例を示す図である。

【図11】図１１は、顔位置に設定された矩形ブロックと人体候補領域に並置された矩形ブロックを示す図である。

【図12】図１２は、一例として矩形ブロックＢｓ(0,0)（左上隅の矩形ブロック）を拡大してテンプレートＴｐ(0,0)を示す図である。

【図13】図１３は、第２の実施の形態の構成を示すブロック図である。

【図14】図１４は、第３の実施の形態の構成を示すブロック図である。

【図15】図１５は、第４の実施の形態の構成を示すブロック図である。

【図16】図１６は、第５の実施の形態の構成を示すブロック図である。

【図17】図１７は、第５の実施の形態の構成を示すブロック図である。

【図18】図１８は、第５の実施の形態の構成を示すブロック図である。

【図19】図１９は、プログラム製品を提供するために用いる機器の全体構成を説明する図である。

【発明を実施するための形態】

【0008】

《発明の第１の実施の形態》
図１は第１の実施の形態の画像処理装置の構成を示すブロック図である。図２は第１の実施の形態の画像処理プログラムを示すフローチャートである。また、図３〜図１０は第１の実施の形態の画像処理例を示す図である。これらの図を参照して発明の第１の実施の形態を説明する。

【0009】

第１の実施の形態の画像処理装置１００は、記憶装置１０とＣＰＵ２０を備えている。ＣＰＵ（制御部，制御装置）２０は、ソフトウエア形態による顔検出部２１、人体候補領域生成部２２、テンプレート作成部２３、テンプレートマッチング部２４、類似度算出部２５、人体領域推定部２６などを有し、記憶装置１０に記憶されている画像に各種の処理を施して人体推定領域５０を検出する。

【0010】

記憶装置１０には、図示しない入力装置により入力された画像が記憶されている。これらの画像は、カメラなどの撮像装置から直接入力した画像の他に、インターネットを介して入力した画像などが含まれる。

【0011】

図２のステップＳ１において、ＣＰＵ２０の顔検出部２１は顔認識アルゴリズムにより画像の中に写っている人体の顔を検出し、画像上に顔の大きさに応じた矩形のブロックを設定する。図３に画像上に顔の大きさに応じた矩形ブロックを設定した例を示す。図３において、顔検出部２１は、画像に写っている２人の人物の顔を検出し、画像上の顔の大きさと顔の傾きに応じて矩形ブロック、ここでは正方形のブロックを設定する。なお、顔の大きさに応じた矩形ブロックは正方形に限定されず、長方形あるいは多角形であってもよい。

【0012】

なお、顔検出部２１は、顔の傾きを顔認識アルゴリズムにより検出して、その顔の傾きに応じて矩形ブロックを傾けて設定する。図３に示す例では、画像左側の人物の顔はほぼ垂直方向（画像の縦方向）に向いているため、顔の大きさに応じた矩形ブロックが垂直方向に設定されている。一方、画像右側の人物の顔は垂直方向に対して少し左に傾いているため、顔の大きさに応じた矩形ブロックが顔の傾きに応じて左に傾いて設定されている。

【0013】

次に、図２のステップＳ２において、ＣＰＵ２０の人体候補領域生成部２２は、ステップＳ１の顔検出結果を用いて人体候補領域を生成する。一般に、大凡の人体の大きさは顔の大きさに基づいて推定することができる。また顔に続く人体の向きや傾きは顔の傾きに基づいて推定することができる。そこで、この一実施の形態では、人体候補領域生成部２２は、顔検出部２１が顔の大きさに応じて設定した顔の矩形ブロック（図３参照）と同一の矩形ブロックを人体が存在すると想定される画像上の領域に並べる。なお、人体候補領域生成部２２が生成する矩形ブロックは、顔検出部２１が設定した顔の矩形ブロックと実質的に同一であればよい。

【0014】

図４は、人体候補領域生成部２２が図３の画像に対して人体候補領域を生成（設定）した例を示す。図４の画像上の２人の人物の内の左側の人物については、顔がほぼ垂直方向に向いているため、人体候補領域生成部２２は顔の下に垂直方向に人体があると推定する。そこで、人体候補領域生成部２２は、水平方向に５個、垂直方向に４個、計２０個の矩形ブロックを左側の人物の顔の下に並べ、これらの２０個の矩形ブロックで表す領域を人体候補領域とする。一方、図４の画像上の右側の人物は顔が垂直方向に対して少し左に傾いているため、人体候補領域生成部２２は顔に続く人体も垂直方向に対して少し左に傾いていると推定する。人体候補領域生成部２２は、図４に示すように顔の矩形ブロックの傾きと同じ傾きに、右上がり横方向に５個、左に傾斜した縦方向に４個、計１９個の矩形ブロックを並べ（右端の矩形ブロックは画像からはみ出すので省略）、これらの１９個の矩形ブロックで表す領域を人体候補領域とする。以下では、左側の人物に対する画像処理例を説明するが、右側の人物に対する画像処理も同様であり、図示と説明を省略する。

【0015】

なお、上述した例では人体候補領域生成部２２が顔の矩形ブロックと同一の矩形ブロックを縦横に所定個数並べて人体候補領域を生成した。上述したように、人体の領域は顔の大きさと向きに応じた位置になる確率が高いので、上記の人体候補領域の生成方法によれば、人体の領域を正しく設定できる確率が高くなる。しかし、人体候補領域に並べる矩形ブロックの大きさと形状、および個数は上述した方法に限定されるものではない。

【0016】

図１１は顔位置に設定された矩形ブロックと人体候補領域に並置された矩形ブロックを示す。図１１に示すように、人体候補領域Ｂの各矩形ブロックＢｓに対して、左上隅の矩形ブロックＢｓ(０，０)から右下隅の矩形ブロックＢｓ(３，４)までアドレスを設定すると、人体候補領域Ｂと各矩形ブロックＢｓ(i,j)は(１)式に示すように行列で表現することができる。

【数1】

(１)式において、Ｂｓ(i,j)は人体候補領域Ｂ内の矩形ブロックＢｓのアドレス（行，列）を示し、pix(ａ,b)は各矩形ブロックＢｓ内の画素のアドレス（行，列）を示す。

【0017】

次に、ＣＰＵ２０の人体候補領域生成部２２は、人体候補領域Ｂを構成する各矩形ブロックＢｓを図５に示すように４分割し、各矩形ブロックＢｓを４個のサブブロックに分ける。

【0018】

図２のステップＳ３において、ＣＰＵ２０のテンプレート作成部２３は、各矩形ブロックＢｓの中央に上記サブブロックと同じ大きさのテンプレート領域を設定し、各矩形ブロックＢｓのテンプレート領域の画像データを用いてテンプレートを生成する。ここで、テンプレートとは、後述するテンプレートマッチング処理において参照される基準画像のことである。図６は、テンプレート作成部２３が各矩形ブロックＢｓごとに設定したテンプレート領域（各矩形ブロックＢｓの中央にハッチングで示す矩形領域）を示す。

【0019】

図１２は、一例として矩形ブロックＢｓ(0,0)（左上隅の矩形ブロック）を拡大してテンプレートＴｐ(0,0)を示す。矩形ブロックＢｓ(0,0)は４個の“サブブロック”ＢｓDiv1(0,0)、ＢｓDiv1(0,1)、ＢｓDiv1(1,0)、ＢｓDiv1(1,1)に分割され、さらに中央に４個のサブブロックと同じ大きさのテンプレート領域が設定され、このテンプレート領域の画像データを用いてテンプレートＴｐ(0,0)が生成される。

【0020】

テンプレートは(２)式に示すように行列で表すことができる。

【数2】

(２)式において、Ｔは人体候補領域Ｂのすべてのテンプレートの行列であり、Ｔｐ(i,j)は各矩形ブロックＢｓごとのテンプレートの行列である。

【0021】

図２のステップＳ４において、ＣＰＵ２０のテンプレートマッチング部２４は、テンプレート作成部２３が作成した各テンプレートＴｐ(i,j)を取得する。そして、テンプレートマッチング部２４は、その各テンプレートＴｐ(i,j)ごとに、すべての矩形ブロックＢｓのすべてのサブブロックＢｓDivに対してテンプレートマッチング処理を行う。テンプレートマッチング処理において、この実施の形態では、テンプレートマッチング部２４はテンプレートＴｐとマッチング対象のサブブロックＢｓDivの画素ごとの輝度の差分を演算する。

【0022】

例えば、図７に示すように、まずテンプレートマッチング部２４は、左上隅の矩形ブロックＢｓ(0,0)のテンプレートＴｐ(0,0)を用いて、すべての矩形ブロックＢｓのすべてのサブブロックＢｓDivに対してテンプレートマッチング処理を行う。次に、テンプレートマッチング部２４は、矩形ブロックＢｓ(0,1)のテンプレートＴｐ(0,1)を用いて、すべての矩形ブロックＢｓのすべてのサブブロックＢｓDivに対してテンプレートマッチング処理を行う。同様に、テンプレートマッチング部２４は、テンプレートＴｐを変えてすべての矩形ブロックＢｓのすべてのサブブロックＢｓDivに対してテンプレートマッチング処理を行った後、図８に示すように、最後に右下隅の矩形ブロックＢｓ(3,4)のテンプレートＴｐ(3,4)を用いて、すべての矩形ブロックＢｓのすべてのサブブロックＢｓDivに対してテンプレートマッチング処理を行う。

【0023】

図２のステップＳ５において、ＣＰＵ２０の類似度算出部２５は、テンプレートマッチング処理結果の差分の絶対値を積算して類似度Ｓ(m,n)を算出するとともに、類似度の平均値Ｓaveを算出する。

【数3】

(３)式において、Ｍは行方向の全体のサブブロック個数、Ｎは列方向の全体のサブブロック個数、Ｋはテンプレート個数である。

【0024】

ところで、人体候補領域Ｂを構成する複数の矩形ブロックＢｓの中で、人体候補領域Ｂを構成する矩形ブロックＢｓが顔の矩形ブロックに近いほど人体候補領域である確率が高い。そこで、類似度算出部２５は、顔の矩形ブロックに近い矩形ブロックＢｓのテンプレートマッチング処理結果に、顔の矩形ブロックから遠い位置にある矩形ブロックＢｓよりも大きな重み付けを行う。これにより、ＣＰＵ２０は、より正確な人体候補領域を識別できる。具体的には、(４)式により類似度算出部２５は、類似度Ｓ(m,n)と類似度の平均値Ｓaveを算出する。

【数4】

(４)式において、Ｗ(i,j)は重み行列である。

【0025】

図９は、人体候補領域ＢのすべてのサブブロックＢｓDivに対する類似度Ｓ(m,n)の演算結果を示す。図９において、濃くハッチングされたサブブロックＢｓDivは人体候補領域Ｂの全体に対する差異が少なく、類似度が高いことを示す。

【0026】

図２のステップＳ６において、ＣＰＵ２０の人体領域推定部２６は、各サブブロックＢｓDivの類似度Ｓ(m,n)を平均値Ｓaveと比較し、類似度Ｓ(m,n)が平均値Ｓaveよりも低いサブブロックＢｓDivを人体領域と推定する。

【数5】

人体領域推定部２６が類似度の平均値Ｓaveをしきい値として人体領域を推定する場合、確率密度関数を用いてもよいし、ＳＶＭ(Support Vector Machine)のような学習しきい値判別手法を用いてもよい。図１０は人体領域の推定結果の一例を示す。図１０において、ハッチングで示すサブブロックＢｓDivが人体領域と推定されたサブブロックである。

【0027】

《発明の第２の実施の形態》
上述した第１の実施の形態では、テンプレートとマッチング対象のサブブロックとの間で画素ごとの輝度を比較し、テンプレートマッチング処理を行う例を示した。第２の実施の形態では、輝度の比較以外に、テンプレートとマッチング対象のサブブロックとの間で周波数スペクトラム、輪郭（エッジ）、色差、色相などを比較したり、それらの組み合わせどうしを比較してテンプレートマッチング処理を行う。

【0028】

図１３は第２の実施の形態の構成を示すブロック図である。図１３において、図１に示す第１の実施の形態の構成要素と同様なものに対しては同一の符号を付して相違点を中心に説明する。第２の実施の形態の画像処理装置１０１は、記憶装置１０とＣＰＵ１２１を備えている。ＣＰＵ１２１は、コンピュータのソフトウエア形態による特徴量算出部３１を有している。この特徴量算出部３１は、テンプレートとマッチング対象のサブブロックとの間で輝度以外に周波数、輪郭（エッジ）、色差、色相などを比較し、あるいはそれらのパラメーターを複数組み合わせて比較する。そして、特徴量算出部３１はテンプレートマッチング処理、すなわち上述したようにテンプレートとマッチング対象のサブブロックとの間の比較パラメーターの差分を演算する。なお、第２の実施の形態は特徴量算出部３１によるテンプレートマッチング処理以外の構成および動作は上述した第１の実施の形態の構成および動作と同様であり、それらの説明を省略する。

【0029】

《発明の第３の実施の形態》
上述した第１の実施の形態では人体の領域を推定する例を示した。第３の実施の形態は、人体の領域に加え、人体の重心を推定する。図１４は第３の実施の形態の構成を示すブロック図である。図１４において、図１に示す第１の実施の形態の構成要素と同様なものに対しては同一の符号を付して相違点を中心に説明する。第３の実施の形態の画像処理装置１０２は、記憶装置１０とＣＰＵ１２２を備えている。ＣＰＵ１２２はコンピュータのソフトウエア形態による人体推定重心算出部３２を有しており、人体推定重心算出部３２により推定結果の人体領域の重心を算出する。この人体推定重心５１と顔の重心から人体の傾きを検出することができる。なお、第３の実施の形態は人体推定重心算出部３２による人体重心算出動作以外の構成および動作については上述した第１の実施の形態の構成および動作と同様であり、それらの説明を省略する。

【0030】

《発明の第４の実施の形態》
上述した第１の実施の形態では各サブブロックの中央にテンプレート領域を設定してテンプレートを生成し、これを用いてテンプレートマッチング処理を行う例を示した。第４の実施の形態は、予め人体の領域を判別するためのテンプレートを教師データとして記憶しており、このような教師データを用いてテンプレートマッチング処理を行うようにしてもよい。

【0031】

図１５は第４の実施の形態の構成を示すブロック図である。図１５において、図１に示す第１の実施の形態の構成要素と同様なものに対しては同一の符号を付して相違点を中心に説明する。第４の実施の形態の画像処理装置１０３は、記憶装置１０とＣＰＵ１２３を備えている。ＣＰＵ１２３のテンプレートマッチング部２７は、教師データ記憶装置３３に予めテンプレートとして記憶されている教師データを取得する。そして、テンプレートマッチング部２７は、その教師データと各サブブロックとの間でテンプレートマッチング処理を行う。なお、第４の実施の形態は、教師データ記憶装置３３の教師データを用いたテンプレートマッチング処理以外の構成および動作については上述した第１の実施の形態の構成および動作と同様であり、それらの説明を省略する。

【0032】

上述した各実施の形態では画像の一部をテンプレートに採用したが、このようなテンプレートによる人体領域の推定においては、人体領域を推定するための情報として画像上に存在する情報のみに限定されるため、推定精度や推定内容に限界がある。しかし、第４の実施の形態の画像処理装置１０３は、教師データとして多くの情報を盛り込むことができ、人体領域の推定精度を向上させることができる上に、推定内容を拡大することができる。例えば、第４の実施の形態の画像処理装置１０３は種々の色や形の服を着た人体領域でも正確に推定することができる。

【0033】

あるいは、第４の実施の形態の画像処理装置１０３の適用範囲は、人体領域の推定だけに限定されず、例えば犬や猫などのペットを含む動物、自動車などの物体、ビルなどの建造物の物体領域の推定にも拡大することができる。その結果、第４の実施の形態の画像処理装置１０３は、あらゆる物体の領域を正確に推定することも可能になる。

【0034】

《発明の第５の実施の形態》
第５の実施の形態は、顔検出結果に基づいて人体の上半身の領域を推定し、推定結果の上半身推定領域に基づいて人体の下半身の領域を推定する。図１６は第５の実施の形態の構成を示すブロック図である。図１６において、図１に示す第１の実施の形態の構成要素と同様なものに対しては同一の符号を付して相違点を中心に説明する。

【0035】

図１６は第５の実施の形態の画像処理装置１０４の全体構成を示すブロック図である。第５の実施の形態の画像処理装置１０４は、記憶装置１０とＣＰＵ１２４とを備えている。ＣＰＵ１２４はコンピュータのソフトウエア形態による顔検出部２１、上半身推定部４１および下半身推定部４２を有し、人体の領域を推定する。

【0036】

図１７は上半身推定部４１の構成を示すブロック図である。上半身推定部４１は、コンピュータのソフトウエア形態による人体候補領域生成部２２、テンプレート作成部２３、テンプレートマッチング部２４、類似度算出部２５および人体領域推定部２６を備え、顔検出部２１により検出された顔領域情報５２に基づいて人体の上半身の領域を推定し、上半身推定領域５３を出力する。

【0037】

図１８は下半身推定部４２の構成を示すブロック図である。下半身推定部４２は、コンピュータのソフトウエア形態による人体候補領域生成部２２、テンプレート作成部２３、テンプレートマッチング部２４、類似度算出部２５および人体領域推定部２６を備え、上半身推定部４２により推定された上半身推定領域５３に基づいて人体の下半身の領域を推定し、下半身推定領域５４を出力する。

【0038】

この第５の実施の形態は、人体の領域を推定する際に、上半身の領域の推定結果を下半身の領域の推定に用いて、人体全体の領域を正確に推定することができる。

【0039】

なお、上述した各実施の形態の画像処理プログラムにおいて、人体領域が検出できなかった場合には、ＣＰＵは人体候補領域を変更または拡大して上述した処理を行うようにしてもよい。

【0040】

上述した実施の形態では、顔領域検出部２１が画像の中から人の顔を検出し、顔の検出結果に基づいて画像の中の人体の領域を推定する例を示したが、本発明の画像処理装置は人体領域の推定に限定されず、例えば犬や猫などのペットを含む動物、自動車などの物体、ビルなどの建造物の物体領域の推定にも適用することができる。特に、関節を持つ動物はその動きが複雑になるため、従来はそれらの体の領域や姿勢を検出することが難しいとされていた。しかし、本発明の画像処理装置によれば、画像の中から動物の顔を検出し、顔の検出結果に基づいて画像の中の動物の体の領域を正確に推定することができる。とりわけ、サル目（霊長類）ヒト科の動物である人は、手足の複雑な関節により複雑な動きをするが、本発明の画像処理装置により人体領域を正確に推定でき、その推定結果からさらに姿勢検出や重心検出なども可能になる。

【0041】

上述した実施の形態とその変形例では、画像処理装置として実現する一例を示したが、一般的なパーソナルコンピュータに本発明の画像処理プログラムをインストールして実行し、パソコン上で上述した画像処理を行ってもよい。なお、本発明の画像処理プログラムはＣＤ−ＲＯＭなどの記録媒体に記録して提供してもよいし、インターネットを介してダウンロード可能にしてもよい。あるいは、本発明の画像処理装置または画像処理プログラムをデジタルカメラやビデオカメラに搭載し、撮像した画像に対して上述した画像処理を実行するものであってもよい。図１９はその様子を示す図である。パーソナルコンピュータ４００は、ＣＤ−ＲＯＭ４０４を介してプログラムの提供を受ける。また、パーソナルコンピュータ４００は、通信回線４０１との接続機能を有する。コンピュータ４０２は、上記プログラムを提供するサーバコンピュータであり、ハードディスク４０３などの記録媒体にプログラムを格納する。通信回線４０１は、インターネット、パソコン通信などの通信回線、あるいは専用通信回線などである。コンピュータ４０２はハードディスク４０３を使用してプログラムを読み出し、通信回線４０１を介してプログラムをパーソナルコンピュータ４００へ送信する。すなわち、プログラムをデータ通信（搬送波）などの種々の形態のコンピュータ読み込み可能なコンピュータプログラム製品として供給できる。

【0042】

なお、上述した実施の形態とそれらの変形例において、実施の形態どうし、または実施の形態と変形例とのあらゆる組み合わせが可能である。

【0043】

上述した実施の形態とその変形例によれば以下のような作用効果を奏することができる。まず、顔検出部２１が画像の中から動物の顔を検出する。そして、その顔検出結果に基づいて人体候補領域生成部２２が画像の中の動物（人）の体の候補領域（矩形ブロック）を設定する。テンプレートマッチング部２４，２７は、それぞれテンプレート作成部２３または教師データ記憶装置３３から基準画像（テンプレート）を取得する。そして、人体候補領域生成部２２は、動物の体の候補領域を複数の小領域（サブブロック）に分割する。そして、テンプレートマッチング部２４，２７と類似度算出部２５は、複数の小領域の画像のそれぞれについて基準画像との類似度をそれぞれ演算する。人体領域推定部２６は、それら複数の小領域のそれぞれの類似度に基づいて、動物の体の候補領域の中から動物の体の領域を推定するようにした。したがって、画像処理装置は、動物の体の領域を容易かつ正確に検出することができる。

【0044】

また、上述した実施の形態とその変形例によれば、図４に示すように、人体候補領域生成部２２が動物の顔の大きさと傾きに応じて画像の中に動物の体の候補領域を設定するようにした。動物の体の領域は顔の大きさと傾きに応じた位置になる確率が高い。したがって、画像処理装置は、体の候補領域を真の体の領域に設定できる確率が高くなり、体の領域の推定精度を向上させることができる。

【0045】

上述した実施の形態とその変形例によれば、顔検出部２１が画像の中の動物の顔の位置に動物の顔の大きさと傾きに応じた矩形ブロックを設定する。そして、図４に示すように、人体候補領域生成部２２がその矩形ブロックと同一の矩形ブロックを所定個数並べて動物の体の候補領域を設定するようにした。動物の体の領域は顔の大きさと傾きに応じた位置と大きさになる確率が高い。したがって、画像処理装置は、体の候補領域を真の体の領域に設定できる確率が高くなり、体の領域の推定精度を向上させることができる。

【0046】

上述した実施の形態とその変形例によれば、人体候補領域生成部２２が動物の体の候補領域を構成する複数の矩形ブロックの中をそれぞれ複数の領域に分割して小領域（サブブロック）とした。したがって、画像処理装置は、体の領域を推定するための類似度を正確に求めることができる。

【0047】

上述した実施の形態とその変形例によれば、テンプレート作成部２３がそれぞれの矩形ブロックの中央にサブブロックと同じ大きさのテンプレート領域を設定し、このテンプレート領域の画像をテンプレートとした。したがって、画像処理装置は、体の領域を推定するための類似度を正確に求めることができる。

【0048】

上述した実施の形態とその変形例によれば、類似度算出部２５が候補領域内のサブブロックと動物の顔との距離が近いほど類似度に大きな重み付けを行うようにした。したがって、画像処理装置は、動物の体の領域を正確に推定することができる。

【0049】

上述した実施の形態とその変形例によれば、ＣＰＵがサブブロックの画像とテンプレートとの間で輝度、周波数、輪郭、色差、色相のいずれか１または複数を比較し、類似度を演算するようにした。したがって、画像処理装置は、体の領域を推定するための類似度を正確に求めることができる。

【0050】

上述した第４の実施の形態とその変形例によれば、テンプレートマッチングマッチング部２７がサブブロックの画像の代わりに教師データ記憶装置３３に予め記憶されている画像をテンプレートとして用いるようにした。そのため、画像処理装置は体の領域を推定するための情報として画像上に存在する情報のみに制約されず、多くの情報を盛り込むことができる。その結果、画像処理装置は人体領域の推定精度を向上させることができる上に、推定内容を拡大することができる。

【0051】

上述した第５の実施の形態とその変形例によれば、上半身推定部４１が人の体の上半身の領域を推定する。そして、下半身推定部４２が上半身の領域の推定結果を用いて人の体の下半身の領域を推定するようにした。したがって、画像処理装置は体全体の領域を正確に推定することができる。

【0052】

上述した実施の形態とその変形例によれば、テンプレートマッチング部２４，２７は、テンプレート領域の画像または教師データをテンプレートとした。しかし、画像処理装置は人体候補領域生成部２２が設定したサブブロックの画像またはサブブロックと同じ大きさの矩形ブロックの一部の画像をテンプレートとして設定してもよい。

【0053】

上記では、種々の実施の形態および変形例を説明したが、本発明はこれらの内容に限定されるものではない。本発明の技術的思想の範囲内で考えられるその他の態様も本発明の範囲内に含まれる。

【0054】

次の優先権基礎出願の開示内容は引用文としてここに組み込まれる。
日本国特許出願２０１１年第０４７５２５号（２０１１年３月４日出願）

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】

【図15】

【図16】

【図17】

【図18】

【図19】