特許 5908596 顔面検出のための方法及び装置、および、方法を実行するためのコンピューターで読取り可能な固定記録媒体

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】5908596

(24)【登録日】2016年4月1日

(45)【発行日】2016年4月26日

(54)【発明の名称】顔面検出のための方法及び装置、および、方法を実行するためのコンピューターで読取り可能な固定記録媒体

(51)【国際特許分類】

   H04N 5/232 20060101AFI20160412BHJP

   G06T 7/20 20060101ALI20160412BHJP

【ＦＩ】

   H04N5/232 Z

   G06T7/20 B

   H04N5/232 C

【請求項の数】20

【全頁数】21

(21)【出願番号】特願2014-539874(P2014-539874)

(86)(22)【出願日】2012年11月2日

(65)【公表番号】特表2015-501614(P2015-501614A)

(43)【公表日】2015年1月15日

(86)【国際出願番号】KR2012009157

(87)【国際公開番号】WO2013066095

(87)【国際公開日】20130510

【審査請求日】2014年6月23日

(31)【優先権主張番号】10-2011-0114160

(32)【優先日】2011年11月3日

(33)【優先権主張国】KR

(73)【特許権者】

【識別番号】593096712

【氏名又は名称】インテル コーポレイション

(74)【代理人】

【識別番号】100107766

【弁理士】

【氏名又は名称】伊東 忠重

(74)【代理人】

【識別番号】100070150

【弁理士】

【氏名又は名称】伊東 忠彦

(74)【代理人】

【識別番号】100091214

【弁理士】

【氏名又は名称】大貫 進介

(72)【発明者】

【氏名】リュ，ウジュ

【審査官】 榎 一

(56)【参考文献】

【文献】 特開２００９−１９３４２１（ＪＰ，Ａ）

【文献】 特開２００８−１０９５５２（ＪＰ，Ａ）

【文献】 特開２００７−１２８１２７（ＪＰ，Ａ）

【文献】 特開２００８−２９９７８４（ＪＰ，Ａ）

(58)【調査した分野】（Int.Cl.，ＤＢ名）

Ｈ０４Ｎ ５／２２２〜２５７

Ｇ０６Ｔ ７／２０

(57)【特許請求の範囲】

【請求項1】

顔面検出の方法であって：
（ａ）入力画像を既定の数量に領域に分割することによって分割入力画像領域を生成するステップであり、前記入力画像は、既定の時間期間の最中に連続的に受け取られた複数のフレームのうち一つのフレームを含んでいるステップであり、前記フレームそれぞれの前記分割入力画像領域のうち一つの分割入力画像領域を前記フレームそれぞれの中央に配置する段階を含むステップ、と；
（ｂ）全体検出モードオペレーションの場合に、第１フレームの前記分割入力画像領域それぞれをリサイズし、かつ、分割されリサイズされた入力画像領域に対して顔面検出オペレーションを実行するステップであり、複数のリサイズ倍率または複数の回転角度を前記フレームそれぞれの中央に配置された前記分割入力画像領域に適用する段階であり、リサイズ倍率の数量または回転角度の数量は、前記中央に配置された前記分割入力画像領域以外の分割入力画像領域に適用されるリサイズ倍率の数量または回転角度の数量より大きい段階を含むステップ、と；
（ｃ）前記顔面検出オペレーションで、前記第１フレームの分割されリサイズされた入力画像領域のうち少なくとも一つの入力画像領域の所定の領域において顔面が検出された場合に、顔面追跡モードオペレーションを進め、かつ、前記顔面が検出された前記第１フレームの分割されリサイズされた入力画像領域のうち前記少なくとも一つの入力画像領域の所定の領域に対応する第２フレームの分割されリサイズされた入力画像領域における所定の領域に係る周辺領域に対して顔面追跡モードを実行するステップと；
（ｄ）顔面追跡オペレーションで、顔面が検出されなかった場合に、部分検出モードオペレーションを進め、かつ、第３フレームの分割されリサイズされた入力画像領域に対して前記顔面検出オペレーションを実行するステップであり、前記第３フレームの分割されリサイズされた入力画像領域は、前記顔面が検出された前記第１フレームの分割されリサイズされた入力画像領域のうち前記少なくとも一つの入力画像領域の所定の領域に対応する前記第３フレームにおける所定の領域を含んでいるステップと、
を含む、方法。

【請求項2】

ステップ（ｂ）は、前記第１フレームの前記分割入力画像領域をリサイズし回転する段階、および、前記第１フレームの分割されリサイズされ回転された前記入力画像領域に対して前記顔面検出オペレーションを実行する段階を含み、
ステップ（ｄ）は、前記第３フレームの前記分割入力画像領域をリサイズし回転する段階であり、前記第３フレームの前記分割入力画像領域は、前記顔面が検出された前記第１フレームの分割されリサイズされた入力画像領域のうち前記少なくとも一つの入力画像領域の所定の領域に対応する前記第３フレームにおける所定の領域を含んでいる段階、および、前記第３フレームの分割されリサイズされ回転された前記入力画像領域に対して前記顔面検出オペレーションを実行する段階を含む、
請求項１に記載の方法。

【請求項3】

ステップ（ｄ）の顔面検出オペレーションで、前記第３フレームの分割されリサイズされた入力画像領域のうち少なくとも一つの入力画像領域において顔面が検出されなかった場合に、
前記方法は、前記全体検出モードオペレーションに進み、第４フレームの分割入力画像領域をリサイズし、分割されリサイズされた入力画像領域に対して顔面検出オペレーションを実行する、
請求項１に記載の方法。

【請求項4】

ステップ（ｄ）の顔面検出オペレーションで、前記第３フレームの分割されリサイズされた入力画像領域のうち少なくとも一つの入力画像領域において顔面が検出された場合に、
前記方法は、前記顔面追跡モードオペレーションに進み、前記顔面が検出された前記第３フレームにおける所定の領域に対応する第４フレームの分割されリサイズされた入力画像領域における所定の領域に係る周辺領域に対して顔面追跡オペレーションを実行する、
請求項１に記載の方法。

【請求項5】

ステップ（ｃ）の顔面追跡オペレーションで、顔面が検出された場合に、
前記顔面追跡モードオペレーションが継続され、前記顔面が検出された前記第２フレームの分割されリサイズされた入力画像領域のうち少なくとも一つの入力画像領域の所定の領域に対応する２−Ａフレームの分割画像領域における所定の領域の周辺領域に対して前記顔面追跡オペレーションが実行され、
前記２−Ａフレームは、時間的に前記第２フレーム以降であり、かつ、前記第３フレーム以前である、
請求項１に記載の方法。

【請求項6】

ステップ（ｂ）は、リサイズによって前記顔面検出オペレーションを実行する段階を含み、
少なくとも一つの追加フレームにおける前記入力画像の分割入力画像領域のうち、前記少なくとも一つの追加フレームの分割入力画像領域は、顔面が検出されなかった前記第１フレームの分割入力画像領域に対応しており、
前記少なくとも一つの追加フレームは、時間的に前記第１フレーム以降であり、かつ、前記第２フレーム以前であって、前記第２フレームは時間的に前記第１フレームの後に続いている、
請求項１に記載の方法。

【請求項7】

前記顔面追跡オペレーションは、前記周辺領域においてブロックマッチングオペレーションを実行することによって、ステップ（ｂ）の前記顔面検出オペレーションにおいて検出された顔面画像と同一の顔面画像を有するブロックを追跡すること、を含む、
請求項１に記載の方法。

【請求項8】

前記全体検出モードオペレーションおよび前記部分検出モードオペレーションに係る前記顔面検出オペレーションは、アダブースト学習アルゴリズムにより学習され選択された特徴パターンを使用して顔面画像を検出する、
請求項１に記載の方法。

【請求項9】

顔面検出の方法であって：
（ａ）既定の時間期間の最中に連続的に入力された入力画像の複数のフレームを取得するステップと；
（ｂ）全体検出モードオペレーションである場合に、第１フレームに対して顔面検出オペレーションを実行するステップと；
（ｃ）前記顔面検出オペレーションで、前記第１フレームの所定の領域において顔面が検出された場合に、第２フレームを分割することにより第２フレームの分割入力画像領域を生成するために顔面追跡モードオペレーションに進み、かつ、前記第１フレームにおける所定の領域に対応する前記第２フレームの分割入力画像領域における所定の領域の周辺領域に対して顔面追跡オペレーションを実行するステップと；
（ｄ）前記顔面検出オペレーションで、顔面が検出されなかった場合に、部分検出モードオペレーションへ進み、かつ、第３フレームの分割入力画像領域のリサイズされた画像領域に対して前記顔面検出オペレーションを実行するステップであり、前記第３フレームの前記分割入力画像領域は、前記第１フレームにおける所定の領域に対応する前記第３フレームにおける所定の領域を含んでいるステップであり、複数のリサイズ倍率または複数の回転角度を前記フレームそれぞれの中央に配置された前記分割入力画像領域に適用する段階であり、リサイズ倍率の数量または回転角度の数量は、前記中央に配置された前記分割入力画像領域以外の分割入力画像領域に適用されるリサイズ倍率の数量または回転角度の数量より大きい段階を含むステップ、と、
を含み、
前記フレームそれぞれの前記分割入力画像領域のうち一つの分割入力画像領域は、前記フレームそれぞれの中央に配置されている、
方法。

【請求項10】

ステップ（ｄ）は、前記第３フレームの前記分割入力画像領域のうち前記顔面が検出された少なくとも一つの入力画像領域における所定の領域に対応する前記第３フレームにおける所定の領域を含んでいる、前記第３フレームの分割入力画像領域をリサイズし回転する段階、および、前記第３フレームの分割されリサイズされ回転された前記入力画像領域に対して前記顔面検出オペレーションを実行する段階、を含む、
請求項９に記載の方法。

【請求項11】

ステップ（ｄ）の顔面検出オペレーションで、前記第３フレームの分割されリサイズされた入力画像領域のうち少なくとも一つの入力画像領域において顔面が検出されなかった場合に、
前記方法は、前記全体検出モードオペレーションに進み、第４フレームの分割入力画像領域をリサイズし、分割されリサイズされた入力画像領域に対して顔面検出オペレーションを実行する、
請求項９に記載の方法。

【請求項12】

ステップ（ｄ）の顔面検出オペレーションで、前記第３フレームの分割されリサイズされた入力画像領域のうち少なくとも一つの入力画像領域において顔面が検出された場合に、
前記方法は、前記顔面追跡モードオペレーションに進み、前記顔面が検出された前記第３フレームにおける所定の領域に対応する第４フレームの分割されリサイズされた入力画像領域における所定の領域に係る周辺領域に対して顔面追跡オペレーションを実行する、
請求項９に記載の方法。

【請求項13】

ステップ（ｃ）の顔面追跡オペレーションで、顔面が検出された場合に、
前記顔面追跡モードオペレーションが継続され、前記第２フレームの分割されリサイズされた入力画像領域のうち少なくとも一つの入力画像領域の所定の領域に対応する２−Ａフレームの分割画像領域における所定の領域の周辺領域に対して前記顔面追跡オペレーションが実行され、
前記２−Ａフレームは、時間的に前記第２フレーム以降であり、かつ、前記第３フレーム以前である、
請求項９に記載の方法。

【請求項14】

前記顔面追跡オペレーションは、前記周辺領域においてブロックマッチングオペレーションを実行することによって、ステップ（ｂ）の前記顔面検出オペレーションにおいて検出された顔面画像と同一の顔面画像を有するブロックを追跡すること、を含む、
請求項９に記載の方法。

【請求項15】

前記全体検出モードオペレーションおよび前記部分検出モードオペレーションに係る前記顔面検出オペレーションは、アダブースト学習アルゴリズムにより学習され選択された特徴パターンを使用して顔面画像を検出する、
請求項９に記載の方法。

【請求項16】

顔面検出装置であって：
分割入力画像領域を生成するように入力画像を既定の数量の領域に分割するための画像分割ユニットであり、前記入力画像は、既定の時間期間の最中に連続的に受け取られた入力画像の複数のフレームのうち一つのフレームを含んでいる画像分割ユニットであり、前記フレームそれぞれの前記分割入力画像領域のうち一つの分割入力画像領域を前記フレームそれぞれの中央に配置する、画像分割ユニットと；
第１フレームに対して全体検出モード信号が生成された場合に、第１フレームの前記分割入力画像領域を連続的に伝送するモード変換ユニットであり、
時間的に前記第１フレームの後に続く第２フレームに対して顔面追跡モード信号が生成された場合に、顔面が検出された前記第１フレームの所定の領域に対応する第２フレームの所定の領域を含んでいる分割入力画像領域を連続的に伝送し、かつ、
時間的に前記第２フレームの後に続く第３フレームに対して部分検出モード信号が生成された場合に、前記顔面が検出された前記第１フレームの所定の領域に対応する第３フレームの所定の領域を含んでいる分割入力画像領域を連続的に伝送する、
モード変換ユニットと；
前記モード変換ユニットを通じて伝送された前記第１または第３フレームの前記分割入力画像領域をリサイズすることにより顔面を検出し、かつ、顔面検出オペレーションを実行する顔面検出ユニットであり、複数のリサイズ倍率を前記フレームそれぞれの中央に配置された前記分割入力画像領域に適用することにより前記顔面を検出し、リサイズ倍率の数量は、前記中央に配置された前記分割入力画像領域以外の分割入力画像領域に適用されるリサイズ倍率の数量より大きい、顔面検出ユニットと；
顔面追跡ユニットであり、前記モード変換ユニットを通じて伝送された前記第２フレームの前記分割入力画像領域の所定の領域の周辺領域に対して顔面追跡オペレーションを実行する顔面追跡ユニットと；
モード変換信号生成ユニットであり、
前記顔面検出ユニットが、前記第１フレームの前記分割されリサイズされた入力画像領域のうち少なくとも一つの分割されリサイズされた入力画像領域において顔面が検出されたと判断する場合に、前記顔面追跡モード信号を生成し、かつ、
前記顔面追跡ユニットが、前記第２フレームの前記分割入力画像領域において顔面が検出されなかったと判断する場合に、前記部分検出モード信号を生成する、
モード変換信号生成ユニットと；
を含む装置。

【請求項17】

前記顔面検出ユニットは、複数の回転角度を前記フレームそれぞれの中央に配置された前記分割入力画像領域に適用することにより前記顔面を検出し、回転角度の数量は、前記中央に配置された前記分割入力画像領域以外の分割入力画像領域に適用される回転角度の数量より大きい、
請求項１６に記載の装置。

【請求項18】

前記顔面検出ユニットは、
異なるサイズの既定の数量の前記分割入力画像領域をリサイズすることにより、既定の数量の分割されリサイズされた入力画像領域を生成するためのリサイズユニットと、
前記既定の数量の分割されリサイズされた入力画像領域に対して前記顔面検出オペレーションを連続的に実行するための顔面検出器と、
を含む、請求項１６に記載の装置。

【請求項19】

前記顔面検出ユニットは、さらに、
既定の数量の異なる回転角度で前記分割されリサイズされた入力画像領域のそれぞれを回転することにより、複数の分割されリサイズされ回転された入力画像領域を連続的に生成するための回転ユニットと、を含み、
前記顔面検出器は、前記複数の分割されリサイズされ回転された入力画像領域に対して連続的に前記顔面検出オペレーションを実行する、
請求項１８に記載の装置。

【請求項20】

請求項１に記載の方法を実行するためのコンピュータープログラムを記録する、コンピューターで読取り可能な固定記録媒体。

【発明の詳細な説明】

【技術分野】

【0001】

本発明開示は、顔面を検出するための方法及び装置に関し、その方法を実行するためのコンピューターで読取り可能な固定記録媒体に関する。本方法に従えば、画像ピックアップ装置によって取得された入力画像から顔面が検出された場合、連続して受け取られた入力画像における分割領域のいくつか又は全てに関して、顔面追跡モードオペレーションまたは部分検出モードオペレーションが実行される（連続して受け取られた入力画像における領域を含む分割領域は、以前の入力画像において顔面が検出された領域に対応している）。顔面を検出する可能性を拡大させ、一方で、そのために必要なオペレーションの数量が削減されるやり方で、連続して受け取られた入力画像における顔面を検出する。

【背景技術】

【0002】

ポータブル端末の小型化が継続しているため、それらは、より薄く、より軽くなっており。その携帯性は何年にもわたり継続的に改善されており、ポータブル端末に対するより大きな要求を結果として生じている。同様に、ポータブル端末に搭載される追加機能も多様化してきている。

【0003】

特に、そうした一つの追加機能として、デジタルカメラ機能は絶対必要であるものとして、、最近消費者によって認識されてきている。デジタルカメラ機能は、現在ほとんどのポータブル端末に含まれている。

【0004】

そうしたデジタルカメラ機能は、単に画像を撮ることに加えて、カメラを通じて取得された入力画像から顔面を検出するための顔面検出オペレーションを実行し、スマイル、まばたき等を認識するといった種々の認識オペレーションを実行することを含み得る。

【0005】

加えて、従来の顔面検出方法は、フレームを種々のサイズにリサイズすることができ、リサイズされたフレームの中で全ての画像における顔面を検出することができる。例えば、Ｐａｕｌ ＶｉｏｌａとＭｉｃｈａｅｌ Ｊ． Ｊｏｎｅｓによって開発され、「Ｒｏｂｕｓｔ Ｒｅａｌ−Ｔｉｍｅ Ｆａｃｅ Ｄｅｔｅｃｔｉｏｎ」というタイトルの論文で開示されており、２００４年５月に「Ｉｎｔｅｒｎａｔｉｏｎａｌ Ｊｏｕｒｎａｌ ｏｆ Ｃｏｍｐｕｔｅｒ Ｖｉｓｉｏｎ，Ｖｏｌｕｍｅ５７，Ｉｓｓｕｅ２」で発行されている（論文のセクション３以前のパラグラフを参照のこと）。こうした従来技術は、しかしながら、大量の計算を要し、そのため顔面検出オペレーションを実行するのに多くの時間がかかるという問題を有している。

【先行技術文献】

【非特許文献】

【0006】

【非特許文献1】Ｐａｕｌ Ｖｉｏｌａ ａｎｄ Ｍｉｃｈａｅｌ Ｊ． Ｊｏｎｅｓ，”Ｒｏｂｕｓｔ Ｒｅａｌ−Ｔｉｍｅ Ｆａｃｅ Ｄｅｔｅｃｔｉｏｎ”，Ｉｎｔｅｒｎａｔｉｏｎａｌ Ｊｏｕｒｎａｌ ｏｆ Ｃｏｍｐｕｔｅｒ Ｖｉｓｉｏｎ，Ｖｏｌｕｍｅ５７，Ｉｓｓｕｅ２，Ｍａｙ ２００４

【発明の概要】

【発明が解決しようとする課題】

【0007】

従って、本発明開示の少なくとも一つの目的は、上記の問題を解決することである。

【0008】

加えて、本発明開示の少なくとも別の目的は、以下のことによって、顔面検出オペレーションを実行するために必要な時間を削減することである。つまり、既定の時間期間にわたり、連続的に受け取られた入力画像のそれぞれを、既定の数量の領域に分割すること、連続的に受け取られた入力画像からの入力画像の分割領域それぞれに対して顔面検出オペレーションを実行すること、そして、分割領域のうち少なくとも一つから顔面が検出された場合に、連続的に受け取られた入力画像における全て又はいくつかの対応する分割領域に対して顔面追跡モードオペレーションまたは部分検出モードオペレーションを実行することによって、入力画像の後に連続的に受け取られた入力画像での顔面を検出することである。

【課題を解決するための手段】

【0009】

本発明開示の一つの実施態様に従って、以下を含む顔面検出の方法が提供される。（ａ）入力画像を既定の数量に領域に分割することによって分割入力画像領域を生成するステップであり、前記入力画像は、既定の時間期間の最中に連続的に受け取られた複数のフレームのうち一つのフレームを含んでいるステップと；（ｂ）全体検出モードオペレーションの場合に、第１フレームの前記分割入力画像領域それぞれをリサイズし、かつ、分割されリサイズされた入力画像領域に対して顔面検出オペレーションを実行するステップと；（ｃ）前記顔面検出オペレーションで、前記第１フレームの分割されリサイズされた入力画像領域のうち少なくとも一つの入力画像領域の所定の領域において顔面が検出された場合に、顔面追跡モードオペレーションを進め、かつ、前記顔面が検出された前記第１フレームの分割されリサイズされた入力画像領域のうち前記少なくとも一つの入力画像領域の所定の領域に対応する第２フレームの分割されリサイズされた入力画像領域における所定の領域に係る周辺領域に対して顔面追跡モードを実行するステップと；（ｄ）前記顔面追跡オペレーションで、顔面が検出されなかった場合に、部分検出モードオペレーションを進め、かつ、第３フレームの分割されリサイズされた入力画像領域に対して前記顔面検出オペレーションを実行するステップであり、前記第３フレームの分割されリサイズされた入力画像領域は、前記顔面が検出された前記第１フレームの分割されリサイズされた入力画像領域のうち前記少なくとも一つの入力画像領域の所定の領域に対応する前記第３フレームにおける所定の領域を含んでいるステップと、を含む方法である。

【0010】

本発明開示の別の実施態様に従って、以下を含む顔面検出の方法が提供される。（ａ）既定の時間期間の最中に連続的に入力された入力画像の複数のフレームを取得するステップと；（ｂ）全体検出モードオペレーションである場合に、第１フレームに対して顔面検出オペレーションを実行するステップと；（ｃ）前記顔面検出オペレーションで、前記第１フレームの所定の領域において顔面が検出された場合に、第２フレームを分割することにより第２フレームの分割入力画像領域を生成するために顔面追跡モードオペレーションに進み、かつ、前記第１フレームにおける所定の領域に対応する前記第２フレームの分割入力画像領域における所定の領域の周辺領域に対して顔面追跡オペレーションを実行するステップと；（ｄ）前記顔面検出オペレーションで、顔面が検出されなかった場合に、部分検出モードオペレーションへ進み、かつ、第３フレームの分割入力画像領域のリサイズされた画像領域に対して前記顔面検出オペレーションを実行するステップであり、前記第３フレームの前記分割入力画像領域は、前記第１フレームにおける所定の領域に対応する前記第３フレームにおける所定の領域を含んでいるステップと、を含む方法である。

【0011】

本発明開示のさらなる別の実施態様に従って、さらに以下の顔面検出装置が提供される。顔面検出装置であって：ｎ個の分割入力画像領域を生成するように入力画像を分割するための画像分割ユニットであり、前記入力画像は、既定の時間期間の最中に連続的に受け取られた入力画像の複数のフレームのうち一つのフレームを含んでいる画像分割ユニットと；第１フレームに対して全体検出モード信号が生成された場合に、第１フレームの前記ｎ個の分割入力画像領域を並行して伝送するモード変換ユニットであり、時間的に前記第１フレームの後に続く第２フレームに対して顔面追跡モード信号が生成された場合に、顔面が検出された前記第１フレームの所定の領域に対応する第２フレームの所定の領域を含んでいる分割入力画像領域を伝送し、かつ、時間的に前記第２フレームの後に続く第３フレームに対して部分検出モード信号が生成された場合に、前記顔面が検出された前記第１フレームの所定の領域に対応する第３フレームの所定の領域を含んでいる分割入力画像領域を伝送する、モード変換ユニットと；ｎ個の顔面検出ユニットであり、前記モード変換ユニットを通じて伝送された前記第１または第３フレームの前記分割入力画像領域をリサイズすることにより顔面を検出し、かつ、顔面検出オペレーションを実行する顔面検出ユニットと；ｎ個の顔面追跡ユニットであり、前記モード変換ユニットを通じて伝送された前記第２フレームの前記分割入力画像領域の所定の領域の周辺領域に対して顔面追跡オペレーションを実行する顔面追跡ユニットと；モード変換信号生成ユニットであり、前記ｎ個の顔面検出ユニットが、前記第１フレームの前記ｎ個の分割されリサイズされた入力画像領域のうち少なくとも一つの分割されリサイズされた入力画像領域において顔面が検出されたことを示す場合に、前記顔面追跡モード信号を生成し、かつ、前記ｎ個の顔面追跡ユニットが、前記第２フレームの前記分割入力画像領域において顔面が検出されなかったことを示す場合に、前記部分検出モード信号を生成する、モード変換信号生成ユニットと；を含む装置である。

【0012】

本発明開示のさらに別の実施態様に従って、さらに以下の顔面検出装置が提供される。顔面検出装置であって：分割入力画像領域を生成するように入力画像を既定の数量の領域に分割するための画像分割ユニットであり、前記入力画像は、既定の時間期間の最中に連続的に受け取られた入力画像の複数のフレームのうち一つのフレームを含んでいる画像分割ユニットと；第１フレームに対して全体検出モード信号が生成された場合に、第１フレームの前記分割入力画像領域を連続的に伝送するモード変換ユニットであり、時間的に前記第１フレームの後に続く第２フレームに対して顔面追跡モード信号が生成された場合に、顔面が検出された前記第１フレームの所定の領域に対応する第２フレームの所定の領域を含んでいる分割入力画像領域を連続的に伝送し、かつ、時間的に前記第２フレームの後に続く第３フレームに対して部分検出モード信号が生成された場合に、前記顔面が検出された前記第１フレームの所定の領域に対応する第３フレームの所定の領域を含んでいる分割入力画像領域を連続的に伝送する、モード変換ユニットと；顔面検出ユニットであり、前記モード変換ユニットを通じて伝送された前記第１または第３フレームの前記分割入力画像領域をリサイズすることにより顔面を検出し、かつ、顔面検出オペレーションを実行する顔面検出ユニットと；顔面追跡ユニットであり、前記モード変換ユニットを通じて伝送された前記第２フレームの前記分割入力画像領域の所定の領域の周辺領域に対して顔面追跡オペレーションを実行する顔面追跡ユニットと；モード変換信号生成ユニットであり、前記顔面検出ユニットが、前記第１フレームの前記分割されリサイズされた入力画像領域のうち少なくとも一つの分割されリサイズされた入力画像領域において顔面が検出されたと判断する場合に、前記顔面追跡モード信号を生成し、かつ、前記顔面追跡ユニットが、前記第２フレームの前記分割入力画像領域において顔面が検出されなかったと判断する場合に、前記部分検出モード信号を生成する、モード変換信号生成ユニットと；を含む装置である。

【0013】

加えて、本発明開示に係る種々の実施例を実施するように上述の方法を実行するためのコンピュータープログラムを記録するコンピューターで読取り可能な固定記録媒体が、さらに提供される。

【発明の効果】

【0014】

本発明開示に従えば、入力画像に対して全顔面検出オペレーションを実行することによって最初に顔面が検出された場合、連続的に受け取られた入力画像におけるいくつかの又は全ての分割領域に対して顔面追跡モードオペレーションまたは部分検出モードオペレーションを実行することによって、顔面が検出される。これは、以前の入力画像において顔面が最初に検出された領域に対応する領域を決定することを含んでいる。従って、連続的に受け取られた画像全体に対してより労力のかかる全顔面検出オペレーションを実行することなく、連続的に受け取られた入力画像に対する顔面検出を達成でき、よって、顔面検出オペレーションのために必要な時間を削減することができる。

【0015】

加えて、本発明開示に従えば、分割された顔面画像の領域から、顔面検出の最も高い可能性を有する領域に対するフォーカスを最適に特定することによって、顔面追跡オペレーションに要する時間を削減することができる。

【図面の簡単な説明】

【0016】

【図1】図１は、本発明開示の一つの実施例に従って、顔面検出装置の構成を説明するブロックダイヤグラムである。

【図2】図２は、図１のリサイズユニット、回転ユニット、および、顔面検出ユニットの構成を説明するブロックダイヤグラムである。

【図3】図３は、図１の画像分割ユニット、および、顔面検出ユニットの構成を説明するブロックダイヤグラムである。

【図4A】図４Ａは、図１の顔面追跡ユニットと実施例に係るオペレーションを説明するブロックダイヤグラムである。

【図4B】図４Ｂは、図１の顔面追跡ユニットと実施例に係るオペレーションを説明するブロックダイヤグラムである。

【図5】図５は、本発明開示の一つの実施例に係る顔面検出器の構成を説明するブロックダイヤグラムである。

【図6】図６は、図５の強力分類器の構成を説明するブロックダイヤグラムである。

【図7】図７は、本発明開示の別の実施例に従って、顔面検出装置の構成を説明するブロックダイヤグラムである。

【図8】図８は、本発明開示の一つの実施例に従って、顔面検出方法のオペレーションを説明するフローチャートである。

【発明を実施するための形態】

【0017】

以降に続く本発明開示の詳細な説明においては、添付の図面が参照される。図面は、説明の方法として、本発明開示が実行され得る種々の実施例を示している。これらの実施例は、当業者が本発明開示を実施することができるように十分な詳細を説明している。本発明開示に係る種々の実施例は、相違するとしても、必ずしも相互に排他的であることを要しないことが理解されるべきである。例えば、一つの実施例に関して説明された所定の機能、構成、および、性質は、本発明開示の主旨と範囲から逸脱することなく他の実施例において実施され得る。加えて、開示されたそれぞれ実施例の中の個々のエレメントに係る場所または配置は、本発明開示の主旨と範囲から逸脱することなく変更され得ることが理解されるべきである。以降の詳細な説明は、従って、限定する意味において理解されるべきではない。本発明開示の範囲は、添付の特許請求の範囲によってのみ定められるものであり、適切に解釈されるべきものである。特許請求の範囲が請求するものに対する均等物の全ての範囲も一緒である。図面において、類似の参照番号は、多くのやり方を通じて同一または類似の機能を参照するものである。

【0018】

以降においては、当業者が容易に本発明開示を実施することができるように、本発明開示の種々の実施例が、添付の図面に関して詳細に説明される。

【0019】

図１は、本発明開示の一つの実施例に従って、顔面検出装置１００の構成を説明するブロックダイヤグラムである。

【0020】

図１を参照すると、顔面検出装置１００は、画像分割ユニット１１０、リサイズユニット１２０−１から１２０−ｎ、回転ユニット１３０−１から１３０−ｎ、顔面検出ユニット１４０−１から１４０−ｎ、顔面追跡ユニット１５０−１から１５０−ｎ、モード変換ユニット１６０、および、モード変換信号生成ユニット１７０を含んでいる。モード変換ユニット１６０は、スイッチユニット１６０−１から１６０−ｎを含み、スイッチユニット１６０−１から１６０−ｎのそれぞれはスイッチＳ１およびＳ２を含んでいる。

【0021】

画像分割ユニット１１０は、分割入力画像領域ＤＩ１からＤＩｎを生成する。カメラといった、画像ピックアップ装置を介して受け取った入力画像を既定の数量の画像領域へと分割することによるものである。ここにおいて説明される入力画像は、既定の時間期間（例えば、一秒間）に受け取られた、既定の数量（例えば、３０個）の入力画像（フレーム単位におけるもの）を含んでよい。ここにおいて、用語「分割（ｄｉｖｉｄｉｎｇ）」は、実際の分割オペレーショを意味するが、上記の用語は、画像を仮想的な意味で分割されたものとして取り扱うオペレーションを含んでよいことは明らかである。

【0022】

それぞれのリサイズユニット１２０−１から１２０−ｎは、画像分割ユニット１１０によって分割された分割入力画像領域ＤＩ１からＤＩｎを受け取り、リサイズされた分割画像領域を生成する。入力画像領域を既定の数量の画像領域にリサイズすることによるものであり、画像領域は異なるサイズであってよい。

【0023】

それぞれの回転ユニット１３０−１から１３０−ｎは、既定の数量の互いに異なる角度によって、分割されリサイズされた画像領域を回転させることにより回転画像領域を生成する。

【0024】

それぞれの顔面検出ユニット１４０−１から１４０−ｎは、顔面が検出されると、分割されリサイズされ回転された画像領域を受け取り、顔面検出オペレーションを実行する。例えば、顔面検出オペレーションは、アダブースト（Ａｄａｂｏｏｓｔ）学習アルゴリズムによって学習され選択された顔面パターンを使用して実行され得る。

【0025】

それぞれの顔面追跡ユニット１５０−１から１５０−ｎは、分割入力画像領域を受け取り、顔面が検出された分割入力画像の領域の周辺部において、検出された顔面画像と同一の顔面が存在するか否かを追跡する。例えば、第１フレームの分割入力画像の所定の領域において顔面が検出された場合、それぞれの顔面追跡ユニット１５０−１から１５０−ｎは、ブロックマッチング法（ｂｌｏｃｋ ｍａｔｃｈｉｎｇ ｍｅｔｈｏｄ）を使用して、第２フレームの領域において、第１フレームの領域で検出された顔面画像と同一の顔面が存在するか検出する。周辺領域に対応しており、分割入力画像領域の所定の領域を含んでいるものである。

【0026】

ここでは、例としてブロックマッチング法を説明したが、本発明開示はこれに限定される必要はなく、特徴点追跡法を使用するといった、種々の変更された実施例が仮定されている。

【0027】

リサイズユニット１２０−１から１２０−ｎ、回転ユニット１３０−１から１３０−ｎ、および、顔面検出ユニット１４０−１から１４０−ｎを使用して、取得された所定の領域全体から顔面を検出することは、顔面追跡として参照される。しかしながら、顔面は、アダブースト学習アルゴリズム等といった区別されたアルゴリズムを使用して検出されるので、ここにおいては、説明目的のために、ブロックマッチング、または、アダブースト学習アルゴリズム等を使用する顔面検出方法以外の特徴点追跡法が、顔面追跡ユニット１５０−１から１５０−ｎによって実行されてよいことは当然である。同様に、ブロックマッチング、または、アダブースト学習アルゴリズム等を使用する顔面検出方法以外の特徴点追跡法を使用するモードは、追跡モードとして参照される。

【0028】

モード変換ユニット１６０は、スイッチユニット１６０−１から１６０−ｎにおけるスイッチＳ１をオフにし、かつ、スイッチＳ２をオンすることにより、部分検出モードへ変換する。モード変換信号信号生成ユニット１７０が、（ａ）顔面追跡ユニット１５０−１から１５０−ｎの中から、顔面を検出しなかった顔面追跡ユニットに対して部分検出モード信号を生成する場合、または、（ｂ）顔面検出ユニット１４０−１から１４０−ｎの中から、顔面を検出した顔面追跡ユニットに対して部分検出モード信号を生成する場合である。さらに、モード変換ユニット１６０は、スイッチユニット１６０−１から１６０−ｎにおいて対応するスイッチＳ１をオンにし、かつ、対応するスイッチＳ２をオフすることにより、顔面追跡モードへ変換する。モード変換信号信号生成ユニット１７０が、（ａ）顔面追跡ユニット１５０−１から１５０−ｎが、それぞれに、ブロックマッチング法、等を使用して顔面を検出したことを示す顔面モード追跡信号を生成する場合、または、（ｂ）全体検出モードのオペレーションにおいて、顔面検出ユニット１４０−１から１４０−ｎの中から、少なくとも一つの顔面検出ユニットによって顔面が検出されたケースに対して、ブロックマッチング法、等が、顔面検出ユニット１４０−１から１４０−ｎの中から、顔面を検出した少なくとも一つの顔面検出ユニットに適用されるべきであることを示す顔面モード追跡信号を生成する場合である。モード変換ユニット１６０は、スイッチユニット１６０−１から１６０−ｎにおけるｎ個全てのスイッチＳ１をオフにし、かつ、ｎ個全てのスイッチＳ２をオンすることにより、部分検出モードへ変換する。モード変換信号信号生成ユニット１７０が、（ａ）全ての顔面検出ユニット１４０−１から１４０−ｎが顔面を検出することができなかったために全ての分割領域が検出されるべきであることを示す全体検出モード信号を生成する場合、または、（ｂ）顔面検出ユニット１４０−１から１４０−ｎのいずれかによって顔面が検出されたか検出されないかにかかわらず、定期的に全体検出モード信号を生成する場合である。

【0029】

図２は、図１のリサイズユニット１２０−１、回転ユニット１３０−１、および、顔面検出ユニット１４０−１の構成を説明するブロックダイヤグラムである。

【0030】

図２を参照すると、リサイズユニット１２０−１は、ｍ個のリサイズ器１２０−１１から１２０−１ｍを含んでいる。回転ユニット１３０−１は、ｉ個の回転器１３０−１１から１３０−１ｉ、ｊ個の回転器１３０−１１から１３０−１ｊ、および、ｋ個のリ回転器１３０−１１から１３０−１ｋを含んでいる。そして、顔面検出ユニット１４０−１は、ｉ個の顔面検出器１４０−１１から１４０−１ｉ、ｊ個の顔面検出器１４０−１１から１４０−１ｊ、および、ｋ個の顔面検出器１４０−１１から１４０−１ｋを含んでいる。

【0031】

図２に示されたそれぞれのブロックの機能は、以下のとおりである。

【0032】

ｍ個のリサイズ器１２０−１１から１２０−１ｍは、それぞれに、分割入力画像領域を異なるサイズへと調整する。例えば、リサイズ器１２０−１１は、画像分割ユニット１１０によって分割された入力画像領域と同一のサイズを有する分割入力画像領域を生成し、リサイズ器１２０−１２は、半分のサイズの分割入力画像領域を生成し、リサイズ器１２０−１３は、１０分の１のサイズの分割入力画像領域を生成してよい。リサイズ器１２０−１１は同一サイズの分割入力画像領域を生成するので、リサイズオペレーションは実行しない。

【0033】

図１のリサイズユニット１２０−２から１２０ーｎのそれぞれは、図２のリサイズユニット１２０−１とは異なる数量のリサイズ器を有するように構成されてよい。そして、図２のリサイズユニット１２０−１のリサイズ器と同一の倍率、または、異なる倍率を有するリサイズ器を使用して構成されてもよい。

【0034】

ｉ個の回転器１３０−１１から１３０−１ｉは、リサイズ器１２０−１１から出力された、分割されリサイズされた入力画像領域を回転させる。例えば、回転器１３０−１１は、分割されリサイズされたが回転されていない画像を生成し、回転器１３０−１２は、分割されリサイズされ４５°回転された画像を生成し、回転器１３０−１３は、分割されリサイズされ−９０°回転された画像を生成してよい。

【0035】

ｊ個の回転器１３０−１１から１３０−１ｊは、リサイズ器１２０−１２から出力された、分割されリサイズされた入力画像領域を回転させる。ｊ個の回転器１３０−１１から１３０−１ｊは、ｉ個の回転器１３０−１１から１３０−１ｉと同様に構成されてよい。または、数量が異なり、異なる回転角度で入力画像領域を回転するように構成されてよい。つまり、ｉ個の回転器１３０−１１から１３０−１ｉは、分割されリサイズされた画像領域を受け取って、分割されリサイズされ、それぞれ０°、４５°、９０°、−４５°、および、−９０°だけ回転された画像領域を生成するように構成されている。そして、ｊ個の回転器１３０−１１から１３０−１ｊは、分割されリサイズされた画像領域を受け取って、分割されリサイズされ、それぞれ０°、９０°、および、−９０°だけ回転された画像領域を生成するように構成されている。

【0036】

ｋ個の回転器１３０−１１から１３０−１ｋも、また、リサイズ器１２０−１ｍから出力された、分割されリサイズされた入力画像領域を回転させる。ｋ個の回転器１３０−１１から１３０−１ｋは、ｉ個の回転器１３０−１１から１３０−１ｉおよびｊ個の回転器１３０−１１から１３０−１ｊと同様に構成されてよい。または、数量が異なり、異なる回転角度で入力画像領域を回転するように構成されてよい。 つまり、ｋ個の回転器１３０−１１から１３０−１ｋは、分割されリサイズされた画像領域を受け取って、分割されリサイズされ、それぞれ０°、４５°、９０°、−４５°、および、−９０°だけ回転された画像領域を生成するように構成されている。ｊ個の回転器１３０−１１から１３０−１ｊは、分割されリサイズされた画像領域を受け取って、分割されリサイズされ、それぞれ０°、９０°、および、−９０°だけ回転された画像領域を生成するように構成されている。そして、ｋ個の回転器１３０−１１から１３０−１ｋは、分割されリサイズされた画像領域を受け取って、分割されリサイズされ、それぞれ０°、４５°、および、−４５°だけ回転された画像領域を生成するように構成されている。

【0037】

ここで、回転器１３０−１１は、分割されリサイズされたが、回転されない入力画像領域を生成するので、回転オペレーションは実行されない。

【0038】

顔面検出ユニッ１４０−１１から１４０−１ｉ、１４０−１１から１４０−１ｊ、および、１４０−１１から１４０−１ｋは、回転器１３０−１１から１３０−１ｉ、１３０−１１から１３０−１ｊ、および、１３０−１１から１３０−１ｋより、分割されリサイズされ回転された画像領域を受け取り、顔面検出オペレーションを実行する。

【0039】

それぞれの顔面検出ユニッ１４０−１１から１４０−１ｉ、１４０−１１から１４０−１ｊ、および、１４０−１１から１４０−１ｋは、アダブーストアルゴリズムによって学習され選択された顔面パターンを使用して顔面検出オペレーションを実行するが、本発明開示は、それに限定される必要はなく、種々の変形された実施例が仮定されている。

【0040】

本発明開示の顔面検出装置は、入力画像が種々のサイズへとリサイズされるので、顔面のサイズにかかわらず顔面画像を検出することができる。そして、入力画像が種々の角度で回転されるので、種々の姿勢の顔面画像を検出することができる。

【0041】

図３は、図１に示した画像分割ユニット１１０、および、顔面検出ユニット１４０のオペレーション説明している。図３において、「Ｆ」は、カメラといった、画像ピックアップ装置によって直接的または間接的に受け取った入力画像のフレーム（Ｆｒａｍｅ）を意味している。「ＤＩ１」から「ＤＩ１５」は、図１で示される画像分割ユニット１１０によって分割された５つの画像領域を示している。

【0042】

図３を参照すると、図１の画像分割ユニット１１０は、フレームＦを、例えば、５つの分割画像領域ＤＩ１、ＤＩ２、ＤＩ３、ＤＩ４、および、ＤＩ５に分割する。そして、それらに対応する顔面検出ユニット１４０−１から１４０−５は、分割画像領域それぞれに適用されている既定のサイズのサブウィンドウ画像ａ、ｂ、ｃ、・・・、ｄを受け取り、顔面検出オペレーションを実行する。顔面検出オペレーションは、例えば、５×５のピクセルデータである既定のサイズのサブウィンドウ画像を使用して、分割画像領域ＤＩ１、ＤＩ２、ＤＩ３、ＤＩ４、および、ＤＩ５に対して実行される。

【0043】

加えて、分割画像領域の中で、中央領域に配置され、または移動された分割入力画像領域ＤＩ１に対してリサイズ及び/又は回転オペレーションが実行される。中央領域は、顔面検出する可能性がより高いところであり、顔面検出する可能性がより低い分割入力画像領域ＤＩ２からＤＩ４と比較して、より大きな倍率及び/又は回転角が使用される。

【0044】

本発明開示の全体検出（ＦＤ）モードオペレーションは、例えば、一つのフレームＦ、または、既定の数量のフレームにおける５つの分割入力画像領域ＤＩ１、ＤＩ２、ＤＩ３、ＤＩ４、および、ＤＩ５に対する少なくとも一つの顔面検出オペレーションを実行することを意味するものである。そして、部分検出モードオペレーションは、一つのフレームＦのいくつかの分割入力画像領域に対して顔面検出オペレーションを実行することを意味する。

【0045】

図４Ａと４Ｂは、図１の顔面追跡ユニット１５０−１の一つの実施例に係るオペレーションを説明している。図４Ａと４Ｂにおいて、「Ｆ１」と「Ｆ２」は、入力画像フレームを意味しており、フレームＦ１は、時間的にフレームＦ２より以前のものである。Ｆ１とＦ２は、連続的に受け取られたフレームであるが、それは単純に複数のフレームであり、単一フレームを構成するものではない。既定の時間期間（例えば、一秒間）の最中に３０フレームが入力される場合、フレームＦ１とＦ２は、お互いに時間的に隣接した画像であってよい。

【0046】

フレームＦ１に対して顔面検出オペレーションが実行され、分割入力画像ＤＩ１のブロックＦＡ１において顔面が検出された場合、顔面追跡ユニットは、フレームＦ２の分割入力画像ＤＩ１の周辺領域ＦＡＤに対して、ブロックマッチングオペレーション等を実行する。このようにしてブロックマッチングオペレーションを実行することにより、時間的に隣接するフレームに含まれる顔面画像を連続的に追跡することができる。

【0047】

ブロックマッチングオペレーションは、本発明開示の出願人の名前で発行された韓国特許第１０−０９７０１１９号において詳細に開示されており、ここにおいて参照として包含されている。この文書において開示されたブロックマッチングオペレーションは、フレームＦ１の顔面が配置されているブロックＦＡ１の近隣において周辺領域ＦＡＤを設定する。周辺領域ＦＡＤは、分割画像Ａの領域よりも小さく設定される。

【0048】

加えて、フレームＦ２の周辺領域ＦＡＤの中でフレームＦ１のブロックＦＡ１における顔面画像に一致する画像を有するブロックＦＡ２を捜すために、周辺領域ＦＡＤにおける全て又はいくつかのブロックが比較され、最も近く一致したブロックＦＡ２が見出され得る。

【0049】

従って、ブロックＦＡ１からブロックＦＡ２への移動を追跡することができる。

【0050】

図４Ａと４Ｂに係るブロックマッチングオペレーションを使用しても、フレームＦ１において検出された顔面画像と同一の顔面画像が、フレームＦ２における周辺領域ＦＡＤの中で捜し出せない場合は、部分検出モードオペレーションによって、時間的にフレームＦ２に続いているフレームＦ３（図示なし）における、分割入力画像ＤＩ１に対応する全ての領域から顔面が捜し出される。

【0051】

図５は、本発明開示の一つの実施例に係る顔面検出器１４０−１の構成を説明するブロックダイヤグラムである。ここで、顔面検出器１４０−１は、ｘ個のカスケード（ｃａｓｃａｄｅｄ）強力分類器２００−１から２００−ｘを含んでいる。

【0052】

図５を参照すると、それぞれの強力分類器２００−１から２００−ｘは、類似性を検出して、顔面検出の結果を出力する。分割されリサイズされ回転された入力画像領域のサブウィンドウに対してアダブースト学習アルゴリズムによって学習され選択された特徴パターンをマッチングすることによるものである。

【0053】

カスケード強力分類器２００−１から２００−ｘの中で、以前のステージにおける強力分類器は、以降のステージにおける強力分類器と比較してさらに少ない数量のアダブーストアルゴリズムによって学習され選択された特徴パターンを使用して、顔面が検出される。例えば、強力分類器２００−１が２つの異なる特徴パターンを使用し、強力分類器２００−２が４つの異なる特徴パターンを使用し、かつ、強力分類器２００−ｘが１０個の異なる特徴パターンを使用してよい。さらに、強力分類器２００−１から２００−ｘによってそれぞれに使用される特徴パターンの閾値は、お互いに異なるものであってよい。

【0054】

カスケード強力分類器２００−１から２００−ｘは、全ての強力分類器２００−１から２００−ｘが顔面を検出した場合に、顔面検出の結果を生成する。

【0055】

図示されていないが、他の顔面検出器１４０−１２から１４０−１ｉ、１４０−１１から１４０−１ｊ、および、１４０−１１から１４０−１ｋそれぞれも、また、図５の顔面検出器１４０−１と同一であるように構成されてよい。

【0056】

図６は、図５の実施例に係る強力分類器の構成を説明するブロックダイヤグラムである。図６を参照すると、強力分類器２００−１は、微力分類器２１０−１から２１０−ｙと判断ユニット２２０を含んでいる。

【0057】

微力分類器２１０−１から２１０−ｙそれぞれは、ｙ個の互いに異なる特徴パターンを使用する。そして、分割されリサイズされ回転された入力画像領域のサブウィンドウを受け取り、マッチングを行うことによって類似性を判断することができ、顔面が検出されたか否かを示す結果を出力する。ｙ個の微力分類器２１０−１から２１０−ｙのうち既定の数量（例えば、ｙ／２個）より多い微力分類器が顔面検出の結果を出力する場合、判断ユニット２２０は、顔面が検出されたことを示す検出結果を出力する。

【0058】

図１に示された顔面検出装置１００は、入力画像をｎ個の分割画像領域へと分割し、ｎ個の分割画像領域に対する画像検出を並行して実施することができる。しかしながら、本発明開示に係る顔面検出装置は、ｎ個の分割画像領域に対する画像検出オペレーションを連続的に実施することもでき、このことは図７に関して説明される。

【0059】

図７は、本発明開示の別の実施例に従って、顔面検出装置の構成を説明するブロックダイヤグラムである。

【0060】

図７を参照すると、顔面検出装置３００は、画像分割ユニット１１０、リサイズユニット１２０、回転ユニット１３０、顔面検出ユニット１４０、顔面追跡ユニット１５０、モード変換ユニット１６０、および、モード変換信号生成ユニット１７０を含んでいる。

【0061】

図７に示されているそれぞれのブロックの機能は、以下のとおりである。

【0062】

画像分割ユニット１１０は、カメラといった、画像ピックアップ装置を介して受け取った入力画像を既定の数量の画像領域へと分割し、分割入力画像領域を連続的に出力することができる。入力画像は、既定の時間期間（例えば、一分間）に受け取られた既定の数量（例えば、１０個）のフレームを含んでよい。全体検出モード信号が生成される場合、画像分割ユニット１１０は、一つのフレームに対する全ての分割入力画像領域を生成する。部分検出モード信号または顔面追跡信号が生成される場合、画像分割ユニット１１０は、顔面が検出された以前のフレームにおける領域に対応する領域を含んでいる以降のフレームの分割入力画像領域だけを生成する。顔面が検出された分割入力画像領域に対する情報は、コントロールユニット（図示なし）の中に保管され、顔面が検出された分割入力画像領域に対応する次のフレームの分割入力画像領域が、コントロールユニットの制御の下で生成される。

【0063】

リサイズユニット１２０は、既定の数量の異なる倍率を分割入力画像領域に適用することにより、分割されリサイズされた入力画像領域を生成する。加えて、コントロールユニット（図示なし）の制御の下で、５つの異なる倍率、例えば、０、１／２、１／４、１／８、及び、１／１６倍を図３の分割画像領域ＤＩ１に適用することにより、５つの分割されリサイズされた入力画像領域が生成される。また、例えば、３つの異なる倍率０、１／４、及び、１／１６倍をＤＩ２からＤＩ５それぞれの分割画像領域に適用することにより、３つの分割されリサイズされた入力画像領域も生成される。リサイズ倍率は、分割画像領域ＤＩ１と同じやり方で適用されてよい。回転ユニット１３０は、既定の数量の回転角度を分割されリサイズされた像領域に適用することにより、既定の分割されリサイズされ回転された入力画像領域を生成する。加えて、コントロールユニット（図示なし）の制御の下で、５つの回転角度、例えば、０度、４５度、９０度、−４５度、及び、−９０度を図３の分割画像領域ＤＩ１に適用することにより、５つの分割されリサイズされ回転された入力画像領域が生成される。そして、３つの回転角度、例えば、０度、９０度、及び、−９０度をＤＩ２からＤＩ５それぞれの分割画像領域に適用することにより、３つの分割されリサイズされ回転された入力画像領域を生成する。回転角度は、分割画像領域ＤＩ１と同じやり方で適用されてよい。

【0064】

顔面検出ユニット１４０は、分割されリサイズされ回転された画像領域それぞれを受け取り、顔面検出オペレーションを実行する。モード変換信号生成ユニット１７０は、顔面が検出された分割領域に対する部分検出モード信号を生成する。顔面検出オペレーションは、例えば、アダブースト学習アルゴリズムによって学習され選択された特徴パターンを使用して実行されてよい。

【0065】

顔面追跡ユニット１５０は、分割入力画像領域を受け取り、検出された顔面画像と同一の顔面が周辺領域の中に在るか否かを追跡する。周辺領域は、顔面が検出された以前のフレームの分割入力画像領域における領域に対応する、以降のフレームの分割入力画像領域における領域を含んでいる。例えば、第１フレームの入力画像の分割入力画像領域ＤＩ１において顔面が検出された場合、顔面追跡ユニット１５０−１は、第１フレームの入力画像において検出された顔面と同一の顔面が周辺領域の中に在るか否かを追跡する。周辺領域は、第１フレームの入力画像における領域に対応する第２フレームの領域を含んでいる。ブロックマッチング法などを使用して顔面が検出されたところ、つまり、第２フレームにおけ入力画像の分割入力画像領域ＤＩ１における周辺領域である。

【0066】

モード変換ユニット１６０は、全体検出モード信号または部分検出モード信号が生成された場合、スイッチＳ１をオフにしてスイッチＳ２をオンすることにより、顔面検出モードへ変換する。そして、顔面追跡モード信号が生成された場合、スイッチＳ１をオンしてスイッチＳ２をオフにすることにより、顔面追跡モードへ変換する。

【0067】

モード変換信号生成ユニット１７０は、少なくとも一つの入力画像の分割されリサイズされ回転された入力画像領域に対して実行された顔面検出ユニット１４０の顔面検出オペレーションの結果が、顔面が全く検出されなかったことを示す場合、または、定期的に全体検出が実行されることを必要とする場合に、全体検出モード信号を生成する。モード変換信号生成ユニット１７０は、所定の分割入力画像領域における所定の周辺領域に対して実行された顔面検出ユニット１５０の顔面検出オペレーションの結果が、顔面が検出されなかったことを示す場合に、全体検出モード信号を生成する。

【0068】

図８は、本発明開示の一つの実施例に係る顔面検出方法のオペレーションを説明するフローチャートである。

【0069】

最初に、連続的に取得されたフレームのそれぞれを分割することによって分割入力画像領域が生成される（ステップ４００）。例えば、既定の時間期間（例えば、一秒間）で異なる時点においてそれぞれ取得された３０フレームの入力画像のそれぞれを分割することによって、分割入力画像領域が生成される。異なる時点は、既定の時間期間にわたり連続的に受け取られている複数のフレームを参照するものである。

【0070】

オペレーションのモードが、全体検出モードオペレーションであるか否かが判断される（ステップ４１０）。全体検出モードオペレーションは、いずれの分割入力画像領域にも顔面が検出されない場合に実行され、または、顔面の検出にかかわらず定期的に実行される。

【0071】

全体検出オペレーションの場合、第１フレームの分割入力画像領域のそれぞれに対してリサイズオペレーションが実行される（ステップ４２０）。図１と図７に対して説明したように、それぞれの分割入力画像領域に適用される倍率および倍率の数量は、お互いに異なっていてよい。

【0072】

分割されリサイズされた入力画像領域のそれぞれに対して回転オペレーションが実行される（ステップ４３０）。図１と図７に対して説明したように、それぞれの分割されリサイズされた入力画像領域に適用される倍率および回転角度の数量は、お互いに異なっていてよい。

【0073】

分割されリサイズされ回転された入力画像領域のそれぞれに対して顔面検出オペレーションが実行される（ステップ４４０）。図１と図７に対して説明したように、顔面検出オペレーションは、アダブースト学習アルゴリズムによって学習され選択された特徴パターンを使用して実行されてよい。

【0074】

ステップ４４０の結果として、第１フレームの少なくとも一つの分割入力画像領域において顔面が検出された場合、フローは、ステップ４００、４１０、４５０、および、４６０に進み、顔面追跡モードオペレーションが実行される。ステップ４４０の結果として、第１フレームの少なくとも一つの分割入力画像領域において顔面が検出されなかった場合、フローは、ステップ４００、４２０、４３０、および、４４０に進み、連続的に入力された第２フレームに対して全体検出モードオペレーションが実行される。

【0075】

オペレーションのモードが顔面追跡モードオペレーションであるか否かが判断される（ステップ４５０）。

【0076】

上述のように、ステップ４４０の結果として、第１フレームの少なくとも一つの分割入力画像領域において顔面が検出された場合、フローはステップ４５０へ進む。そして、ステップ４５０の結果として、オペレーションのモードが顔面追跡モードオペレーションであると判断された場合、顔面が検出された第１フレームにおける領域に対応する第２フレームにおける領域を含む周辺領域に対して顔面追跡モードが実行される（ステップ４６０）。つまり、第２フレームの対応する分割入力画像領域に在る周辺領域のことである。顔面追跡オペレーションは、また、図１と図７に係る顔面追跡ユニット１５０に関する説明を参照することで容易に理解することができる。

【0077】

ステップ４５０の結果として、オペレーションのモードが顔面追跡モードオペレーションではないと判断された場合、オペレーションのモードは、部分検出モードオペレーションであると判断され、フローがステップ４７０に進む。

【0078】

ステップ４５０の結果として、部分検出モードオペレーションにいる場合、分割入力画像を使用してリサイズオペレーションが実行される（ステップ４７０）。分割入力画像は、顔面が検出された第１フレームに対応する第３フレーム（時間的に第２フレームの後に続くフレーム）における領域を含んでいる。

【0079】

分割されリサイズされた入力画像領域に対して回転オペレーションが実行される（ステップ４８０）。

【0080】

分割されリサイズされ回転された入力画像領域に対して顔面検出オペレーションが実行される（ステップ４９０）。

【0081】

ステップ４９０の結果として、分割入力画像領域において顔面が検出された場合、フローは、ステップ４００、４１０、４５０、および、４７０に進み、連続的に入力された第４フレームの分割入力画像に対して、部分検出モードオペレーションも連続的に実行される。ここで、別の実施例として、ステップ４９０の結果として、第３フレームの特定の分割入力画像領域において顔面が検出された場合、フローは、ステップ４００、４１０、４５０、および、４６０に進み、ブロックマッチング法などを通じて連続して入力された第４フレームの特定の分割入力画像領域における所定の周辺領域に対しても、顔面追跡モードオペレーションが実行される。このことは、本発明開示の全体について適用することができる。加えて、ステップ４９０の結果として、顔面が検出されなかった場合、フローは、ステップ４００、４１０、４３０、および、４４０に進み、連続的に入力された第４フレームの分割入力画像に対して、全体検出モードオペレーションが実行される。

【0082】

第１フレームと第２フレームの入力画像は、それらが入力された時間によって順序付けされた画像であるが、それらは必ずしも連続的に入力された画像ではない。同様に、第２フレームと第３フレームは、第３フレームと第４フレームのものとは異なる時点においてそれぞれ入力されたものである。３０フレームの入力画像が入力された場合、第１フレームに含まれている５つの入力画像領域（第１から第５の分割画像領域として参照されるもの）に対して顔面検出オペレーションを同時に実行することにより、全体検出モードオペレーションが実行される。代替的には、全体検出モードオペレーションが行われる変形された実施例が仮定されてよい。第１フレームについて第１の分割画像領域に対して顔面検出オペレーションを実行し、第２フレームについて第２の分割画像領域に対して顔面検出オペレーションを実行し、第３フレームについて第３の分割画像領域に対して顔面検出オペレーションを実行し、第４フレームについて第４の分割画像領域に対して顔面検出オペレーションを実行し、かつ、第５フレームについて第５の分割画像領域に対して顔面検出オペレーションを実行することによるものである。つまり、本発明開示の全滝検出モードオペレーションは一つのフレームの全ての分割画像領域に対して顔面検出オペレーションを実行するように構成されているが、検索領域として少なくとも一回は既定の数量のフレームが第１から第５の分割画像領域をカバーするように、顔面検出オペレーションを実行することによって全体検出モードオペレーションが達成される。

【0083】

上記の実施例においては、顔面検出オペレーションが、入力画像領域をリサイズし、リサイズされた入力画像領域を回転した後で、顔面検出オペレーションが実行されることが説明されてきたが、顔面検出オペレーションは、リサイズされた入力画像領域を回転すること無しに実行されてもよい。すなわち、リサイズされた入力画像領域を回転することは必須のオペレーションではなく、選択的に適用することができるオペレーションである。つまり、図１および図７の顔面検出装置に係る回転ユニットと図２の回転器は、必須の構成ではなく、そして、図８のステップ４３０と４８０も必須のステップではないが、これらは選択的に含むことができる構成およびステップである。

【0084】

加えて、図１と図７において、リサイズユニット、回転ユニット、および、顔面検出ユニットは、別々に構成されているものとして示されてきたが、顔面検出ユニットは、リサイズユニットと回転ユニットを含むように構成されてもよい。

【0085】

上記の実施例においては、入力画像領域は、リサイズされた後で回転されるものと説明されてきたが、顔面検出装置は、入力画像領域を回転した後で入力画像領域をリサイズするように構成されてよい、または、顔面検出方法は、入力画像領域を回転した後でリサイズするステップを実行するように実施されてよい。

【0086】

さらに、本発明開示に係る顔面検出方法および装置は、入力画像の全体、つまり、分割されていない画像、に対して全体検出モードを実行するように実施されてよい。かつ、顔面追跡モードオペレーションおよび後で実行される部分検出モードオペレーションにおいてのみ入力画像を分割することによって、顔面追跡オペレーションと顔面検出オペレーションを実行するように実施されてよい。

【0087】

さらに、本発明開示に係る顔面検出方法および装置において使用される入力画像は、画像ピックアップ装置を通じたプレビュー（ｐｒｅｖｉｅｗ）状態における画像入力であってよい。

【0088】

上記に説明された本発明開示に従った実施例は、プログラム命令の形式において実施することができ、種々のコンピューターコンポーネントを通じて実行され、コンピューターで読取り可能な記録媒体に記録することができる。コンピューターで読取り可能な記録媒体は、プログラム命令、データファイル、データ構造、および、類似のもの、または、それらの組み合わせを含んでいる。コンピューターで読取り可能な記録媒体に記録されたプログラム命令は、本発明開示のために特別に設計され構成されたプログラム命令であって、または、コンピューターソフトウェア分野における当業者によって使用されることが知られているプログラム命令であってよい。コンピューターで読取り可能な記録媒体は、例えば、ハードディスク、フロッピー（登録商標）ディスクと磁気テープといった磁気媒体、ＣＤ−ＲＯＭとＤＶＤといった光記録媒体、フロプティカルディスクといった光磁気媒体、および、ＲＯＭ、ＲＡＭ、フラッシュメモリー等といったプログラム命令を保管し実行するように特別に構成されたハードウェア装置、を含んでいる。プログラム命令は、例えば、インタープリター等を使用するコンピューターによって実行され得るハイレベル言語コードを含んでおり、コンパイラーによって生成されるマシンコードも同様である。ハードウェア装置は、本発明開示に従った処理を実行するために一つまたはそれ以上のソフトウェアモジュールを使用してオペレーションするように構成されており、その逆もまた同様である。

【0089】

前出の説明においては、特定のコンポーネント、典型的な実施例、および、図面といった、特定の事項に関して本発明開示が説明されてきたが、それらは本発明開示の理解を助けるためだけに提供されるものであって、本発明開示を実施例に限定するものではない。こうした説明から、当業者であれば種々の変形および変更がなされ得ることが明らかであろう。

【0090】

従って、本発明開示の主旨は、上記に説明された実施例に限定されるべきものではない。そして、添付の請求項およびそれらについて同様に又は均等に変形されたものは、本発明開示の範囲内に在るものと考えられる。

【図1】

【図2】

【図3】

【図4a】

【図4b】

【図5】

【図6】

【図7】

【図8】