特許 7479803 画像処理装置及び画像処理方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2024-04-26

(45)【発行日】2024-05-09

(54)【発明の名称】画像処理装置及び画像処理方法

(51)【国際特許分類】

   H04N 23/63 20230101AFI20240430BHJP

   G03B 15/00 20210101ALI20240430BHJP

   G03B 17/18 20210101ALI20240430BHJP

   G06T 7/20 20170101ALI20240430BHJP

   G09G 5/00 20060101ALI20240430BHJP

   G09G 5/37 20060101ALI20240430BHJP

   G09G 5/377 20060101ALI20240430BHJP

   H04N 23/611 20230101ALI20240430BHJP

【ＦＩ】

H04N23/63 330

G03B15/00 Q

G03B17/18

G06T7/20

G09G5/00 510G

G09G5/00 550C

G09G5/37 320

G09G5/377 100

H04N23/611

【請求項の数】 8

(21)【出願番号】P 2019158661

(22)【出願日】2019-08-30

(65)【公開番号】P2021040183

(43)【公開日】2021-03-11

【審査請求日】2022-08-29

(73)【特許権者】

【識別番号】000001007

【氏名又は名称】キヤノン株式会社

(74)【代理人】

【識別番号】100126240

【弁理士】

【氏名又は名称】阿部 琢磨

(74)【代理人】

【識別番号】100223941

【弁理士】

【氏名又は名称】高橋 佳子

(74)【代理人】

【識別番号】100159695

【弁理士】

【氏名又は名称】中辻 七朗

(74)【代理人】

【識別番号】100172476

【弁理士】

【氏名又は名称】冨田 一史

(74)【代理人】

【識別番号】100126974

【弁理士】

【氏名又は名称】大朋 靖尚

(72)【発明者】

【氏名】伊藤 佳絵

【審査官】▲高▼橋 真之

(56)【参考文献】

【文献】特開２０１９－１２０７４８（ＪＰ，Ａ）

【文献】特開２００６－２２８０６１（ＪＰ，Ａ）

【文献】米国特許出願公開第２０１７／０１１８４０５（ＵＳ，Ａ１）

【文献】特開２０１０－０５４５８７（ＪＰ，Ａ）

【文献】米国特許出願公開第２０１６／０２１９２０８（ＵＳ，Ａ１）

【文献】米国特許出願公開第２０１０／０２０２６６７（ＵＳ，Ａ１）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｈ０４Ｎ ２３／６０－２３／６９８

Ｇ０９Ｇ ５／００

Ｇ０９Ｇ ５／３６－ ５／３９９

Ｇ０６Ｔ ７／２０

Ｇ０３Ｂ １５／００

Ｇ０３Ｂ １７／１８

(57)【特許請求の範囲】

【請求項1】

表示手段に撮像画像およびアイコンを表示する表示制御手段と、
撮像画像から顔および目を検出する検出手段と、
第１の撮像画像において設定された顔領域を前記検出手段による検出よりも簡易な検出手法で第２の撮像画像から検出し追尾する追尾手段と、
前記検出手段が検出した目の位置、顔の位置および顔のサイズ情報をもとに顔に対する目の相対位置を決定する決定手段とを有し、
前記決定手段は、第２の撮像画像において前記追尾手段が検出した前記顔領域の顔位置および顔サイズに対して、前記顔に対する目の相対位置関係を当てはめて目の推定位置を決定し、
前記表示制御手段は、前記決定された目の推定位置を示すアイコンを表示手段に表示された前記第２の撮像画像に重畳表示することを特徴とする画像処理装置。

【請求項2】

前記推定位置によるアイコンの表示は、前記追尾手段から得た被写体の顔サイズが所定の閾値以下のサイズであると判定された場合に行われることを特徴とする
請求項１に記載の画像処理装置。

【請求項3】

前記決定手段が用いる前記検出手段により検出された顔および目の情報は、現コマから所定のコマ数前あるいは所定時間前の情報であることを特徴とする請求項１または２に記載の画像処理装置。

【請求項4】

前記決定手段が用いる前記検出手段により検出された顔および目の情報は、現コマから所定の時間内の情報であり、前記時間は被写体の移動量が大きい場合は少なく、移動量が少ない場合は多く設定されることを特徴とする請求項１乃至３のいずれか１項に記載の画像処理装置。

【請求項5】

前記目の相対位置の決定方法として、顔の中心点から目の中心点までの水平および垂直方向の移動距離を、顔サイズに対する相対量として決定することを特徴とする請求項１乃至４のいずれか１項に記載の画像処理装置。

【請求項6】

前記決定手段は、前記目の相対位置を、被写体の回転量ないしは直近のコマ間の器官の移動量を用いて補正することを特徴とする請求項１乃至５のいずれか１項に記載の画像処理装置。

【請求項7】

撮像手段をさらに有することを特徴とする請求項１乃至６のいずれか１項に記載の画像処理装置。

【請求項8】

表示手段に撮像画像およびアイコンを表示する表示制御ステップと、
撮像画像から顔および目を検出手段により検出する検出ステップと、
第１の撮像画像において設定された顔領域を前記検出手段による検出よりも簡易な検出手法で第２の撮像画像から検出し追尾する追尾ステップと、
前記検出手段が検出した目の位置、顔の位置および顔のサイズ情報をもとに顔に対する目の相対位置を決定する決定ステップとを有し、
前記決定ステップでは、第２の撮像画像において前記追尾ステップにて検出した前記顔領域の顔位置および顔サイズに対して、前記顔に対する目の相対位置関係を当てはめて目の推定位置を決定し、
前記表示制御ステップでは、前記決定された目の推定位置を示すアイコンを表示手段に表示された前記第２の撮像画像に重畳表示することを特徴とする画像処理方法。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、被写体を検出し、検出した被写体位置を表示する装置に関する。

【背景技術】

【0002】

撮像素子を使用したデジタルカメラにおいて、撮像素子から得られた画像データから被写体の検出及び追尾を行い、その被写体に対してピント、明るさ、色を好適な状態に合わせて撮影することが一般的になっている。検出対象となる被写体として一般的なものとしては、人物の顔や人体、あるいは犬猫などの特定の動物などが知られている。さらに、検出した被写体の特定の部位を検出する技術として、顔の中の目（瞳）、鼻、口といった器官検出がある。器官検出の代表的な使用用途としては、検出された目を焦点検出領域に設定しオートフォーカスを行う瞳ＡＦがある。特許文献１には、統計データ上の顔の輪郭領域からの瞳領域の相対位置を用いて、顔輪郭情報から瞳領域を推定する方法が開示されている。

【先行技術文献】

【特許文献】

【0003】

【文献】特開２００９－１７５７４４号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

カメラから遠い、すなわち小さな被写体では、被写体に対する情報が減少するため、検出精度が出にくい。このような小さな被写体に対して瞳検出を行う場合に、既存の手法では課題が存在している。

【0005】

そこで、本発明では、先行技術と比較して、小さい被写体に対してリアルタイム性を損なうことなく精度よく瞳位置を推定して表示する技術を提供することを目的としている。

【課題を解決するための手段】

【0006】

そこで、本発明の画像処理装置は、表示手段に撮像画像およびアイコンを表示する表示制御手段と、撮像画像から顔および目を検出する検出手段と、第１の撮像画像において設定された顔領域を前記検出手段による検出よりも簡易な検出手法で第２の撮像画像から検出し追尾する追尾手段と、前記検出手段が検出した目の位置、顔の位置および顔のサイズ情報をもとに顔に対する目の相対位置を決定する決定手段とを有し、前記決定手段は、第２の撮像画像において前記追尾手段が検出した前記顔領域の顔位置および顔サイズに対して、前記顔に対する目の相対位置関係を当てはめて目の推定位置を決定し、前記表示制御手段は、前記決定された目の推定位置を示すアイコンを表示手段に表示された前記第２の撮像画像に重畳表示することを特徴とする。

【発明の効果】

【0007】

本発明によれば、小さい被写体に対してリアルタイム性を損なうことなく精度よく瞳位置を推定して表示することができる。

【図面の簡単な説明】

【0008】

【図1】本発明を実施するための構成図

【図2】顔および器官検出方法に関する図

【図3】追尾方法に関する図

【図4】実施例１におけるタイミング図

【図5】実施例１における瞳位置推定方法を示した図

【図6】実施例１における小顔時の瞳位置推定に関するフローチャート

【図7】実施例２における顔角度による表示枠位置の補正方法を示した図

【図8】実施例２における顔角度による表示枠サイズの補正方法を示した図

【発明を実施するための形態】

【0009】

本発明の各種実施例について、添付図面を参照して説明する。各実施形態では、瞳検出機能を有する撮像装置を例示する。瞳検出機能を有する撮像装置としては、ビデオカメラ、デジタルカメラおよび銀塩スチルカメラや、さらにカメラ機能を搭載したスマートフォンなどの携帯機器も本発明の一側面を構成する。

【0010】

本実施形態では、瞳ＡＦの発動および発動位置をユーザに通知するため、カメラ上の表示装置上の被写体の画像データに重畳する形で、瞳ＡＦ領域に枠などのマークを表示する。特に動きのある被写体においては、ユーザに対して正確に瞳ＡＦの発動位置を知らせるために、リアルタイム性が要求される。また、瞳ＡＦは、撮影者の撮影準備にゆとりを持たせるためにカメラに対してなるべく遠い被写体でも発動し、枠表示されることが好ましい。

【0011】

顔検出および器官検出手段の既知の方法として、Ｈａａｒ－ｌｉｋｅ特徴（２つの領域の輝度差）を用いた手法や、ディープラーニング等が知られている。別の手段として、テンプレートマッチング手法を用いた汎用的な物体追尾を用いて、ある時点での器官位置を含む画像エリアをテンプレートとして作成し、次フレーム以降はテンプレートと類似するエリアを探索するパターンマッチングを行う手法が知られている。また、さらに他の手段として、器官の位置を他の情報から簡易推定する方法が知られている。

【0012】

一般的に器官検出手段は精度が高い代わりに検出にかかる時間が長い。そのため、リアルタイム性が損なわれてしまう。特に、顔検出と器官検出は別手段として装置が構成される場合にさらに時間を必要とする。例えば画面内から複数の顔候補を検出し、その複数の顔候補の中からＡＦ対象となりうる顔を選択・決定した上で顔エリアを器官検出手段に投入し、より詳細に解析することで器官を検出することが可能となる。このように、顔検出と器官検出を別構成とした場合は実行の順序関係がおのずと決定され、さらに器官検出にかかる時間によっては、顔検出実行時との時間的な乖離が発生する。

【0013】

一方、テンプレートマッチング手法を用いた追尾手段は、検出にかかる時間が短くリアルタイム性の確保が容易である代わりに、精度に課題がある。そもそもテンプレートマッチングは画像内に存在する類似パターンを探索する方式のため、本来検出したい被写体とは別の、類似する別被写体をヒットしてしまう場合がある。小さい顔の中のさらに小さい目では追尾に十分な解像度が得られず、マッチング精度が不足して誤追尾が発生する課題がある。器官の位置を他の情報から簡易推定する方法である特許文献１に記載の手法では、検出にかかる時間が短い利点はあるが、人の顔の平均形状に基づいて瞳領域を推定するため、顔パーツが平均から偏っている被写体ではズレが生じてしまう。

【0014】

そこで本実施形態では、器官検出処理とパターンマッチング処理とを併用することで瞳検出のリアルタイム性と精度を両立することを特徴とする。

【実施例1】

【0015】

図１は本発明の第１実施形態に係る撮像装置の構成例を示す図であり、瞳ＡＦ機能を搭載したミラーレスカメラ（以下、カメラ）の構成を例示したものである。

【0016】

交換レンズ１００は、カメラ本体部１２０に装着可能な光学機器のうちの一つである。交換レンズ１００は、主撮影光学系１０２、光量調節を行う絞り１０３、およびピント調節を行うフォーカスレンズ群１０４を含む撮影レンズユニット１０１を備える。

【0017】

レンズシステム制御用マイクロコンピュータ（以下、レンズ制御部という）１１１は、絞り１０３の動作を制御する絞り制御部１１２、フォーカスレンズ群１０４の動作（駆動とも称する）を制御するフォーカスレンズ制御部１１３、などを備える。フォーカスレンズ制御部１１３は、カメラ本体部１２０から取得したフォーカスレンズ駆動情報に基づいてフォーカスレンズ群１０４を撮影レンズユニット１０１の光軸方向に駆動させ、カメラのピント調節を行う。

【0018】

なお、フォーカスレンズ群１０４は、複数のフォーカスレンズを有していても、１枚のフォーカスレンズのみを有していても良い。また、ここでは図の簡略化のため、交換レンズの例として単焦点レンズを示しているが、焦点距離を変更可能なレンズ（ズームレンズ）であっても良い。ズームレンズである場合には、レンズ制御部１１３はズームレンズ位置を検出するエンコーダ出力から焦点距離情報する。また、手振れ補正機能を搭載したレンズの場合には、レンズ制御部１１３は、振れ補正用のシフトレンズ群などの制御も行う。

【0019】

カメラ本体部１２０は、露出制御に用いるシャッター１２１や、ＣＭＯＳ（相補型金属酸化膜半導体）センサ等の撮像素子１２２を備える。撮像素子１２２の出力する撮像信号は、アナログ信号処理回路１２３で処理された後、カメラ信号処理回路１２４に送られる。

【0020】

カメラシステム制御用マイクロコンピュータ（以下、カメラ制御部という）１３１は、撮像装置全体を制御する。例えば、カメラ制御部１３１は不図示のシャッター駆動用のモータを駆動制御し、シャッター１２１を駆動する。メモリカード１２５は撮影された画像のデータを記録する記録媒体である。撮影者によって操作されるレリーズスイッチ１８１の押下状態がカメラ制御部１３１に送られ、その状態に応じて撮像した画像がメモリカード１２５に記憶される。

【0021】

画像表示部１７１は、撮影者がカメラで撮影しようとしている画像をモニタし、また撮影した画像を表示する液晶パネル（ＬＣＤ）等の表示デバイスを備える。また、タッチパネル１７２は撮影者が指やタッチペンにより画像表示部１７１における座標を指定することができる操作部であり、画像表示部１７１とは一体的に構成することができる。例えば、タッチパネルを光の透過率が画像表示部１７１の表示を妨げないように構成し、画像表示部１７１の表示面の内部に組み込む内蔵型（インセル型）などである。そして、タッチパネル１７２上の入力座標と、画像表示部１７１上の表示座標とを対応付ける。これにより、あたかもユーザが画像表示部１７１上に表示された画面を直接的に操作可能であるかのようなＧＵＩ（グラフィカルユーザーインターフェース）を構成することができる。操作部１７２への操作状態はカメラ制御部１３１で管理される。

【0022】

カメラ本体部１２０は、交換レンズ１００とのマウント面に、交換レンズ１００と通信を行うための通信端子であるマウント接点部１６１を備える。また、交換レンズ１００は、カメラ本体１２０とのマウント面に、カメラ本体１２０と通信を行うための通信端子であるマウント接点部１１４を備える。

【0023】

レンズ制御部１０５とカメラ制御部１３１は、マウント接点部１１４および１６１を介して所定のタイミングでシリアル通信を行うよう通信を制御する。この通信により、カメラ制御部１３１からレンズ制御部１１１にはフォーカスレンズ駆動情報、絞り駆動情報などが送られ、レンズ制御部１１１からカメラ制御部１３１へ焦点距離などの光学情報が送られる。

【0024】

カメラ信号処理回路１２４は、顔情報検出部１４１を備え、さらに器官情報検出部１４２を備えており、器官情報検出部１４２は顔情報検出部１４１で検出した顔情報から、瞳、口などの器官情報を検出する。追尾部１４３は、アナログ信号処理回路１２３より撮像信号を受け取り、前記顔情報検出部１４１および器官情報検出部１４２よりも精度は劣るが高速な検出手法により瞳や顔を検出する。算出部１４４は、顔情報検出部１４１、器官情報検出部１４２、追尾部１４３における検出結果を用いて顔に対する瞳の相対位置を算出する。顔情報検出部１４１、器官情報検出部１４２、追尾部１４３における検出結果および算出部１４４の算出結果はカメラ制御部１３１に送られる。

【0025】

カメラ制御部１３１には、本発明に関連するブロックとして、対象とする瞳を検出した顔情報から自動で選択する瞳自動選択部１５０、検出した顔、あるいは瞳情報に対応して表示部１７１に表示させるための検出枠を設定する表示枠設定部１５１を有する。また、撮影者による操作に応じて、撮影者が指定した瞳を検出し続ける瞳として指定、あるいは指定を解除する瞳指定／指定解除部１５２を有する。また、ユーザによる操作に応じて指定した瞳や顔のほか、顔情報検出部１４１および器官情報検出部１４２、追尾部１４３の検出結果を記憶する記憶部１５３、さらに、選択あるいは指定した瞳や顔を、ピントを合わせるべき被写体（対象被写体とも称する）として焦点検出部１５５に通知するＡＦ対象被写体設定部１５４がある。これらは顔情報検出部１４１、器官情報検出部１４２、追尾部１４３の出力に基づいて動作する。焦点検出部１５５は、ＡＦ対象被写体設定部１５４によって通知されたピントを合わせるべき被写体に対応する画像信号に基づいて、焦点検出処理を行う。焦点検出処理は、例えば公知の位相差検出式や、コントラスト検出式等によって実行される。位相差検出式の場合、焦点検出処理として、視差を有する一対の像信号を相関演算することで算出された像すれ量の算出、もしくは像ずれ量を更にデフォーカス量に変換して算出する処理が行われる。デフォーカス量は、交換レンズ１００のレンズ駆動時の敏感度等を考慮することで、更にフォーカスレンズ駆動量へと変換することができる。カメラ制御部１３１は、焦点検出部１５５によって検出された焦点検出結果（像ずれ量またはデフォーカス量）あるいは焦点検出結果に基づいて算出されたフォーカスレンズ駆動量をレンズ制御部１１１に送信する。フォーカスレンズ制御部１１３は、カメラ制御部１３１から受信したフォーカスレンズ駆動情報に基づいて、フォーカスレンズの駆動を制御する。換言すると、カメラ制御部１３１がフォーカスレンズ制御部１１３を介してフォーカスレンズの駆動を制御する。

【0026】

このような構成からなるカメラにおいて、顔の器官を検出及び追尾する方法について説明する。

【0027】

図２に検出器による顔および器官の検出を行う器官検出処理の様子を示す。本実施形態では、顔情報検出部１４１あるいはその中の器官情報検出部１４２が行うものとする。図２（ａ）は画像内に複数の顔が存在している状況で複数の顔が検出できていることを示している（顔エリア２０１、顔エリア２１１、顔エリア２１２）。図２（ｂ）は顔エリア２０１を器官検出器（器官情報検出部１４２）にかけた結果を示している。器官検出は顔内部の特徴点を検出するものであり、代表的なものとして、目（２０３、２０５）、鼻２０７、口２０９を検出することができる。図２（ｃ）は顔の状況によって変化する顔検出の検出スコアの大小の様子を示している。検出スコアは顔検出の信頼度、自信度と言い換えられる情報で、その人物自身の表情によって変化したり、環境光の当たり方などの外部要因によっても変化する。高スコアであるほど正確な位置を検出できており、低スコアの場合はその位置情報は信頼ならない、といった使い分けを行うことができる。図２（ｃ）の顔エリア２０１では、目は大きく開いており、口もはっきりしている（比較的大きく見えている）ので顔検出スコアは相対的に高い。一方で顔エリア２３１、顔エリア２５１になるにつれて目は小さくあるいは閉じた状態に近くなり、口元もはっきり見えず小さくすぼんできており、顔検出スコアは合わせて相対的に低くなる。

【0028】

図２（ｄ）は検出された顔と器官の位置から、顔の角度を推定する様子を示している。正面顔（角度０度）の顔では、顔枠２６１の中心線２６２に対して両瞳が左右均等に配置され、鼻や口の中心は中心線上に配置される。一方、斜め４５度回転した顔では顔枠２７１の中心線２７２から目鼻口が寄っており、左右均等性が崩れる。目鼻口の配置の偏り程度によって、顔の角度を推定することができる。顔角度の信頼度は、目鼻口の検出スコアに基づき算出される。

【0029】

図３に汎用的な追尾手段による追尾処理の動作概念を示す。本実施形態では、撮像素子１２２からの信号に基づいて追尾部１４３によって本追尾処理が行われるものとする。撮像素子は駆動信号ＶＤ周期３０１で駆動され、露光３０３と読み出し３０５の繰り返し動作を行う。撮像素子から得られたデータは現像処理されて可視画像として画像生成される（画像生成３０７）。図３ではこの画像を用いてテンプレートマッチング（パターンマッチング）手法を適用する。露光１に基づいて画像生成３０７の処理で生成された画像１において、ユーザによる指定あるいは被写体検出処理に基づき自動で、追尾対象を含むエリアをテンプレート３３１（追尾領域）として設定する。その後、露光２に基づいて生成された画像２に対して、順次位置を変えながらテンプレート画像３３１との画像差分をとるサーチ動作を行う（サーチ３３３）。差分値を得る作業を繰り返し行い、差分が最も小さいマッチエリア３３５が追尾対象が存在する位置として確定する。その後、画像１と画像２の間で追尾処理が成立したあと画像２で求めた追尾位置を次回のためのテンプレートとして更新し、画像２と３による追尾、画像３と４による追尾を繰り返し実行していくことで、連続的な追尾処理を実現する。なお、更新の頻度は所定フレームごと、あるいは撮影条件や環境によって制御されてもよい。追尾手段によって、顔位置および瞳などの器官の位置を得ることができるが、マッチングの精度を得るためには対象が規定のサイズ以上であることが好ましい。

【0030】

上記説明した器官検出処理と追尾処理を併用して実行することによる本発明の効果を説明するため、図２で示した検出と、図３で説明した追尾処理を用い、処理時間の観点からの連写撮影時のタイミング図を図４に示す。図４（ａ）は静止画撮影（４１１、４３１、４５１）と、静止画撮影の間に検出及びＡＦ用のＬＶ露光（４１３、４３３、４５３）をもうけて検出を行い、検出結果を用いてＡＦ４１５および枠表示４１７を行うシーケンスを示している。枠表示４１７に使用する瞳位置情報を顔・器官検出４２１より得る場合、追尾４４１と比較して時間がかかるため、枠表示の位置更新までの時間４２９が長くなりリアルタイム性が損なわれる。また、検出処理時間は連写撮影時に求められる高速なコマ速の実現への律速となる。

【0031】

図４（ｂ）はＬＶ露光期間で得た画像を用いて追尾処理によりＡＦおよび表示枠対象位置を求めるシーケンスを示している。一般的に処理の複雑度が高い器官検出を用いた検出処理よりも、シンプルなマッチング処理を用いた追尾処理のほうが短時間で処理が終わることが知られている。追尾４４１の結果を用いてＡＦ４３５と枠表示４３７を行うことで、検出を行う図４（ａ）のシーケンスよりも短い時間４４９で枠表示の位置更新を行うことができ、早いコマ速も実現できていることが分かる。しかしながら、追尾単体での連続動作は類似被写体への誤追尾の懸念がある。被写体が小さい場合、例えば画像枠に全身が入っているような人の顔の場合、追尾による顔位置の精度はある程度は保たれるが目の位置の精度は不十分となる場合が多い。

【0032】

図４（ｃ）は検出と追尾を併用したシーケンスを、図５は併用方法を説明するためのイメージ図を示している。高速な追尾処理４６３により得られた現コマの顔情報５２１、５２３（位置及びサイズ）に対し、前コマの高精度な検出処理４６５から得られた顔枠中心５１３からの目５１５の相対位置の情報（図５ではＸ方向に顔枠５１１の水平幅を１００％とした時の２０％右方向、Ｙ方向に１５％上方向）を適用することで、器官検出だけを用いる場合と比較して枠表示のリアルタイム性を高めつつ、追尾情報のみを使用する場合と比較してより高い精度の検出結果に基づいて目の推定位置５２５を推定し、表示することができる。

【0033】

図６を用いて、本発明の処理フローを説明する。本フローはカメラ制御部１３１あるいはカメラ制御部１３１の指示によりカメラ信号処理回路１２４など各部で実行されるものとする。まずＡＦ用のＬＶ露光が終わると、図６（ｂ）のＳ２０１の瞳枠設定処理が開始される。Ｓ２０１で瞳枠設定処理が開始されると、カメラ制御部１３１は、Ｓ２０２に進んで追尾部１４３による現撮影コマにおける追尾処理の結果を取得し、Ｓ２０３に進む。Ｓ２０３では、追尾処理の結果、一定の閾値以上の信頼度で顔を検出できたかを判定する。Ｓ２０３一定の閾値以上の信頼度で顔検出ができたと判定される場合は、Ｓ２０４へ移行し、次にカメラ制御部１３１は、追尾処理を用いて検出された顔のサイズが所定の閾値以下であるか判定する。Ｓ２０４を行う意味として、追尾で検出精度を得るためには対象が規定のサイズ以上であることが好ましいからである。Ｓ２０４でカメラ制御部１３１が顔サイズが精度が出る十分な大きさではなかった場合、すなわち顔サイズが所定の閾値以下であると判定した場合は、Ｓ２０５へ移行する。Ｓ２０５では、算出部１４４が、顔情報検出部１４１および器官情報検出部１４２から得られている最新の顔と瞳の検出結果を取得する。カメラ制御部１３１はＳ２０５で検出結果を取得したのち、Ｓ２０６ではカメラ制御部１３１が、取得した検出結果が検出されたコマのコマ数（コマ番号）と現コマ数（現コマのコマ番号）の差分が所定の閾値以下であるか判定する。この判定に用いるものは、検出結果と現コマの間の時間に紐づいた情報であればなんでも良い。例えば、コマ数の代わりに時間そのものを記録して比較しても良い。この閾値は、好適には被写体の移動量が大きい場合は小さく、移動量が少ない場合は大きく設定される。移動量は、前コマと前々コマにおける同被写体の顔位置、顔角度、顔サイズの変化量の少なくともいずれか１つに基づいて決定されたものを使用する。Ｓ２０６において、カメラ制御部１３１が検出結果を得たコマ数と現コマ数の差分が閾値以下であると判定した場合、取得した検出結果を用いても現コマとの位置ずれが起こりにくいと判断し、Ｓ２０７に移行する。Ｓ２０７では、算出部１４４が、顔情報検出部１４１および器官情報検出部１４２から得られた瞳位置、顔位置情報および顔サイズ情報から、顔に対する瞳の相対位置を算出する。Ｓ２０８では、算出部１４４が算出された相対位置を現コマの追尾で得た顔位置および顔サイズ情報に適用し、現コマにおける瞳の推定位置を算出する。

【0034】

Ｓ２０８で現コマにおける瞳推定位置が算出されると、Ｓ２０９に移行し、カメラ制御部１３１は、表示枠設定部１５１が設定した表示部１７１上の前記瞳の推定位置に瞳枠を表示する。なお、そもそも顔サイズが所定の閾値より大きい大きさであった場合は、追尾の瞳検出結果を用いた方が前コマ以前の器官検出処理による検出結果から位置推定するよりも精度とリアルタイム性を確保できるため、Ｓ２０４からＳ２１１へ移行する。Ｓ２１１でカメラ制御部１３１は、追尾処理による瞳検出結果を取得したのち、Ｓ２１２で瞳を一定値以上の信頼度で検出できたかを判定する。Ｓ２１２で瞳を一定値以上の信頼度で検出できたと判定した場合には、Ｓ２０９に遷移し、カメラ制御部１３１は表示枠設定部１５１が追尾の瞳検出結果を用いて設定した瞳枠を表示部１７１に表示する。カメラ制御部１３１が、Ｓ２０３で追尾処理で顔検出ができない、Ｓ２０６での器官検出結果の取得コマ数と現コマ数の差が所定の閾値以下、あるいはＳ２１２で追尾処理で瞳検出ができないとそれぞれ判定した場合には、瞳枠表示を中止する（Ｓ２１３）。

【0035】

Ｓ２０５で取得される顔情報検出部１４１（器官情報検出部１４２）による器官検出の検出結果は、図６（ａ）に示されている処理フローに従って毎コマ更新されているものとする。具体的には、毎コマの器官検出処理が行われたのち、Ｓ１０１の検出結果情報更新処理が開始される。次いで、Ｓ１０２に進み、カメラ制御部１３１は、処理顔情報検出部１４１および器官情報検出部１４２の検出結果情報を取得する。Ｓ１０２で検出結果を取得したら、Ｓ１０３に推移して取得した顔および瞳の両方が一定の閾値以上の信頼度で検出できているかを判定する。一定以上の信頼度で顔・瞳検出ができていた場合はＳ１０４に移行し、記憶部１５３に格納されているコマ数と顔および瞳の検出位置情報を取得した検出結果に更新する。Ｓ１０３において、顔・瞳の信頼度が閾値未満であった場合は、更新処理を行わず更新処理を終了する。また、器官検出処理の更新頻度は必ずしも毎コマでなくてもよく、所定のコマ数ごとあるいは所定の期間ごとであってもよい。また、何らかのユーザ指示やシーン判定等によって割込みで器官検出処理が行われてもよい。いずれの態様においても、器官検出処理が行われた場合、最新の検出結果が記憶部１５３に記憶され、更新される。

【0036】

以上のように本実施形態では、器官検出処理だけを用いて瞳ＡＦを行う場合と比較して枠表示のリアルタイム性を高めつつ、パターンマッチング処理等を用いた追尾処理のみを行う場合と比較して高い精度の検出結果に基づいて目の推定を行うことができる。

【実施例2】

【0037】

次に、顔情報検出部１４１（器官情報検出部１４２）の検出結果に基づき算出部１４４が行う瞳位置の推定処理について、被写体がＰｉｔｃｈ、Ｙａｗ、Ｒｏ１１方向への回転を行っている場合においても正確な位置に瞳枠を推定することができる実施例２を示す。

【0038】

図７（ａ）に示したように、実施例１の方法では、被写体がカメラのレンズ１００に対し、顔角度が変わらないような移動をした場合、またはゆっくりとＰｉｔｃｈ、Ｙａｗ、Ｒｏ１１方向へ回転した場合は精度よく瞳位置を推定できるが、前記３種の回転方向のいずれかもしくは全部において急激な移動をした場合には、瞳の位置推定に前コマにおける顔枠に対する瞳の相対位置を用いるために実際の瞳位置と枠位置のズレが大きくなってしまう。例えば、Ｐｉｔｃｈ方向に７１１→７２１→７３１と被写体の顔が回転した場合では、前コマでの瞳の相対位置７２２を現コマに適用した場合、実際の瞳よりも下位置に瞳があると推測してしまい、枠７３２が実際の瞳位置から下方にずれてしまう。そこで、本変形例では表示枠設定部１５１が顔情報検出部１４１から得た前々コマと前コマの顔角度情報をもとに、枠７３２の位置から図７（ｂ）の枠７３３に補正する。また、Ｙａｗ（７４１～７６３）方向への回転でもＰｉｔｃｈと同様に、補正を行う。Ｙａｗ回転とＰｉｔｃｈ回転の補正の方法としては、簡便な手法としては前々コマと前コマの移動距離をそのまま補正量として用いる方法が考えられる。顔は略球形なので、例えば、正対方向からＹａｗ方向の奥側に行くにつれ、瞳移動量は減少する。そのため、さらに精度よく補正する方法としてこの顔角度に対する移動量をルックアップチャートとして持ち、参照しても良い。Ｒｏｌｌ（７７１～７９３）方向に顔が回転した場合では、ＹａｗとＰｉｔｃｈ回転で用いる前々コマと前コマの移動距離をそのまま補正量として用いる方法は適さない。なぜならば、瞳は画像上で円運動をするため、略直線移動を前提とした補正方法では位置ずれが悪化する可能性があるためである。そのため、図７（ｂ）に示すように、Ｒｏｌｌ方向の回転では、顔枠の中心７９５を円心とし、円心から瞳までの距離を半径とした円７９６の上を、顔角度に応じて表示枠を７９２→７９３へと移動させる補正を行う。

【0039】

図８（ａ）はカメラ８１１と被写体８１２を上空から見た図である。被写体８１２の瞳８１３がカメラ８１１に対し正対する顔角度を０度とし、矢印の方向に顔が回転する場合の画面上の瞳のサイズ変動を示したのが図（ｂ）である。０度から４５度に行く間で瞳８１３はカメラに接近し、顔に対して相対的に大きくなり、さらに奥方向へ向いたときには小さくなっていく。この顔の回転に伴う瞳のサイズ変動を加味して枠サイズを設定するとより実態に則した枠を付けることができる。また、枠が小さくなりすぎると視認性が下がるため、枠サイズが一定閾値以下にはならないようにするか、もしくは矢印にて瞳位置を示すなど表示方法を変えてもよい。Ｙａｗでも同様に、枠サイズ補正を行う。Ｒｏｌｌでは瞳のサイズは変化しないため、このサイズ補正を行わない。

【0040】

以上により、被写体がＰｉｔｃｈ、Ｙａｗ、Ｒｏ１１方向への回転を行っている場合において、処理負荷は増すものの、実施例１よりも正確な位置に瞳枠を表示することができる。

【0041】

以上、本発明をその好適な実施形態に基づいて詳述してきたが、本発明はこれら特定の実施形態に限られるものではなく、この発明の要旨を逸脱しない範囲の様々な形態も本発明に含まれる。上述の実施形態の一部を適宜組み合わせてもよい。また、上述の実施形態の機能を実現するソフトウェアのプログラムを、記録媒体から直接、或いは有線／無線通信を用いてプログラムを実行可能なコンピュータを有するシステム又は装置に供給し、そのプログラムを実行する場合も本発明に含む。従って、本発明の機能処理をコンピュータで実現するために、該コンピュータに供給、インストールされるプログラムコード自体も本発明を実現するものである。つまり、本発明の機能処理を実現するためのコンピュータプログラム自体も本発明に含まれる。その場合、プログラムの機能を有していれば、オブジェクトコード、インタプリタにより実行されるプログラム、ＯＳに供給するスクリプトデータ等、プログラムの形態を問わない。プログラムを供給するための記録媒体としては、例えば、ハードディスク、磁気テープ等の磁気記録媒体、光／光磁気記憶媒体、不揮発性の半導体メモリでもよい。また、プログラムの供給方法としては、コンピュータネットワーク上のサーバに本発明を形成するコンピュータプログラムを記憶し、接続のあったクライアントコンピュータがコンピュータプログラムをダウンロードしてプログラムするような方法も考えられる。

【符号の説明】

【0042】

１２２ 撮像素子
１２４ カメラ信号処理回路
１３１ カメラ制御部
１４１ 顔情報検出部
１４２ 器官情報検出部
１４３ 追尾部
１４４ 算出部
１５０ 瞳自動選択部
１５１ 表示枠設定部
１５２ 瞳指定／指定解除部
１５３ 指定瞳記憶部
１７１ 表示部
１７２ タッチパネル

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】