特許 7418104 画像処理装置及び画像処理装置の制御方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2024-01-11

(45)【発行日】2024-01-19

(54)【発明の名称】画像処理装置及び画像処理装置の制御方法

(51)【国際特許分類】

   G02B 7/28 20210101AFI20240112BHJP

   G03B 13/36 20210101ALI20240112BHJP

   G03B 15/00 20210101ALI20240112BHJP

   G03B 17/18 20210101ALI20240112BHJP

   H04N 23/67 20230101ALI20240112BHJP

   H04N 23/611 20230101ALI20240112BHJP

   H04N 23/63 20230101ALI20240112BHJP

【ＦＩ】

G02B7/28 N

G03B13/36

G03B15/00 Q

G03B17/18

H04N23/67

H04N23/611

H04N23/63

【請求項の数】 13

(21)【出願番号】P 2019158662

(22)【出願日】2019-08-30

(65)【公開番号】P2021039167

(43)【公開日】2021-03-11

【審査請求日】2022-08-25

(73)【特許権者】

【識別番号】000001007

【氏名又は名称】キヤノン株式会社

(74)【代理人】

【識別番号】100126240

【弁理士】

【氏名又は名称】阿部 琢磨

(74)【代理人】

【識別番号】100223941

【弁理士】

【氏名又は名称】高橋 佳子

(74)【代理人】

【識別番号】100159695

【弁理士】

【氏名又は名称】中辻 七朗

(74)【代理人】

【識別番号】100172476

【弁理士】

【氏名又は名称】冨田 一史

(74)【代理人】

【識別番号】100126974

【弁理士】

【氏名又は名称】大朋 靖尚

(72)【発明者】

【氏名】石井 拓弥

【審査官】越河 勉

(56)【参考文献】

【文献】国際公開第２０１５／０４５９１１（ＷＯ，Ａ１）

【文献】特開２００９－０３７０６７（ＪＰ，Ａ）

【文献】特開２００１－２１５４０３（ＪＰ，Ａ）

【文献】米国特許出願公開第２０１２／０１４７２５２（ＵＳ，Ａ１）

【文献】特開２０１２－１２３３０１（ＪＰ，Ａ）

【文献】中国特許出願公開第１０２５７２２６９（ＣＮ，Ａ）

【文献】特開２０１６－１９７１７９（ＪＰ，Ａ）

【文献】米国特許出願公開第２０１６／０２９５１００（ＵＳ，Ａ１）

【文献】特開２０１９－１２０７４８（ＪＰ，Ａ）

【文献】中国特許出願公開第１０８０９３１７０（ＣＮ，Ａ）

【文献】米国特許出願公開第２００８／０２３９１３９（ＵＳ，Ａ１）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ０２Ｂ ７／２８

Ｇ０３Ｂ １３／３６

Ｇ０３Ｂ １５／００

Ｇ０３Ｂ １７／１８

Ｈ０４Ｎ ２３／６７

Ｈ０４Ｎ ２３／６１１

Ｈ０４Ｎ ２３／６３

(57)【特許請求の範囲】

【請求項1】

撮像素子から出力された画像信号の画像において、瞳に対応する１つ以上の第１の領域を検出する第１の検出手段と、
ユーザ操作による指示を受け付けて、画像内で１つの位置を指定する指定手段と、
前記指定手段で指定した位置に対応する被写体をピントを合わせる被写体として設定する設定手段と、を有し、
前記設定手段は、第１の画像において前記指定手段が位置の指定を受け付けた際に前記第１の領域が検出されておらず、前記第１の画像よりも後に得られた第２の画像において１つまたは複数の前記第１の領域が検出された場合、前記指定手段により指定された位置と前記検出された前記第１の領域の位置に基づいて、ピントを合わせる被写体を設定することを特徴とする画像処理装置。

【請求項2】

前記撮像素子から出力された画像信号の画像において、第２の領域を検出する第２の検出手段をさらに有することを特徴とする請求項１に記載の画像処理装置。

【請求項3】

前記第２の領域は顔に対応する領域であることを特徴とする、請求項２に記載の画像処理装置。

【請求項4】

前記ユーザ操作による画像内での位置の指定は、前記第２の領域内にて受け付けられることを特徴とする請求項２または３に記載の画像処理装置。

【請求項5】

前記顔の角度に基づいて、検出できていない瞳に対応する第１の領域を推定する手段を有することを特徴とする、請求項３に記載の画像処理装置。

【請求項6】

前記設定手段は、第１の画像において前記指定手段が位置の指定を受け付けた際に前記第１の領域が検出されなかった場合は、前記第２の領域を指定し、前記第１の画像よりも後に得られた第２の画像において前記第１の領域が検出された場合は、その前記第１の領域の１つへの指定に切り替えることを特徴とする、請求項２乃至５のいずれか１項に記載の画像処理装置。

【請求項7】

撮像素子から出力された画像信号を表示し、かつタッチパネルを備える表示部をさらに備え、前記指定手段は、前記表示部にユーザがタッチした位置に基づき、前記画像内で１つの位置を指定することを特徴とする、請求項１乃至６のいずれか１項に記載の画像処理装置。

【請求項8】

前記指定手段による指定を解除する解除手段をさらに持つことを特徴とする請求項２乃至６のいずれか１項に記載の画像処理装置。

【請求項9】

前記解除手段は、前記指定手段で指定してから所定の時間を経過しても前記第１の領域が検出されない場合、前記指定手段による指定を解除することを特徴とする請求項８に記載の画像処理装置。

【請求項10】

前記解除手段は、前記第２の検出手段によって前記第２の領域が検出されなくなった場合には、前記指定手段による指定を解除することを特徴とする請求項８に記載の画像処理装置。

【請求項11】

前記設定手段は、前記表示部にユーザがタッチした位置に対し、距離が近い方の瞳に対応する第１の領域をピントを合わせる対象として設定することを特徴とする請求項７に記載の画像処理装置。

【請求項12】

撮像素子から出力された画像信号において、瞳に対応する１つ以上の第１の領域を検出する第１の検出ステップと、
ユーザ操作による指示を受け付けて、画像内で１つの位置を指定する指定ステップと、
前記指定ステップで指定した位置に対応する被写体をピントを合わせる被写体として設定する設定ステップと、を有し、
前記設定ステップでは、第１の画像において前記指定ステップで位置の指定を受け付けた際に前記第１の領域が検出されておらず、前記第１の画像よりも後に得られた第２の画像において１つまたは複数の前記第１の領域が検出された場合、前記指定ステップで指定された位置と前記検出された前記第１の領域の位置に基づいて、ピントを合わせる被写体を設定することを特徴とする画像処理装置の制御方法。

【請求項13】

請求項１２に記載の制御方法をコンピュータに実行させることを特徴とするプログラム。

【発明の詳細な説明】

【技術分野】

【0001】

瞳に自動的にピントを合わせることができる撮像装置に関する。

【背景技術】

【0002】

撮像素子を使用したデジタルカメラにおいて、撮像素子から得られた画像データから人の顔を検出し、顔に対応する画像データの領域から瞳が検出された場合には当該瞳にピントを合わせる技術が知られている。

【0003】

特許文献１では、左右の瞳のいずれかにピントを合わせることをユーザが指定するモードの場合に、選択された瞳にピントを合わせることが開示されている。

【先行技術文献】

【特許文献】

【0004】

【文献】特開２０１５－９６９６１号公報

【発明の概要】

【発明が解決しようとする課題】

【0005】

特許文献１によれば、左右の瞳のうち、ユーザが意図した瞳にピントを合わせることが可能である。しかしながら、特許文献１ではユーザビリティの面で課題が残る。例えば、ユーザが左右の瞳のいずれかを指定できるのは、指定したい瞳が検出できているときに限定される。その為、ユーザは指定したい瞳が検出できるまで待たなければならない。また、例えば、被写体が誰であろうと、左右の瞳のうち同じ瞳にピントを合わせてしまう。

【0006】

そこで、本発明では、先行技術と比較して、撮影者がピントを合わせたい被写体の瞳が現在検出できているか否かに関わらず、狙った被写体の狙った瞳を指定することが可能な技術を提供することを目的としている。

【課題を解決するための手段】

【0007】

そこで、本発明に係る画像処理装置は、撮像素子から出力された画像信号の画像において、瞳に対応する１つ以上の第１の領域を検出する第１の検出手段と、ユーザ操作による指示を受け付けて、画像内で１つの位置を指定する指定手段と、前記指定手段で指定した位置に対応する被写体をピントを合わせる被写体として設定する設定手段と、を有し、前記設定手段は、第１の画像において前記指定手段が位置の指定を受け付けた際に前記第１の領域が検出されておらず、前記第１の画像よりも後に得られた第２の画像において１つまたは複数の前記第１の領域が検出された場合、前記指定手段により指定された位置と前記検出された前記第１の領域の位置に基づいて、ピントを合わせる被写体を設定することを特徴とする。

【発明の効果】

【0008】

本発明によれば、先行技術と比較して、より撮影者の意図通りの瞳にピントを合わせることができる。

【図面の簡単な説明】

【0009】

【図1】本発明を実施するための構成図

【図2】本発明の実施例１の動作を示すフローチャート

【図3】自動瞳選択の方法を示すフローチャート

【図4】実施例１における、顔枠あるいは瞳枠表示の遷移例を示した図

【図5】実施例１における、指定した瞳が左右どちらかを判別するフローチャート

【図6】実施例１における、顔以外の領域を指定した際のフローチャート

【発明を実施するための形態】

【0010】

本発明の各種実施例について、添付図面を参照して説明する。各実施形態では、瞳検出機能を有する撮像装置を例示する。瞳検出機能を有する撮像装置としては、ビデオカメラ、デジタルカメラおよび銀塩スチルカメラや、さらにカメラ機能を搭載したスマートフォンなどの携帯機器も本発明の一側面を構成する。

【実施例1】

【0011】

図１は本発明の第１実施形態に係る撮像装置の構成例を示す図であり、瞳ＡＦ機能を搭載したミラーレスカメラ（以下、カメラ）の構成を例示したものである。

【0012】

交換レンズ１００は、カメラ本体部１２０に装着可能な光学機器のうちの一つである。交換レンズ１００は、主撮影光学系１０２、光量調節を行う絞り１０３、およびピント調節を行うフォーカスレンズ群１０４を含む撮影レンズユニット１０１を備える。

【0013】

レンズシステム制御用マイクロコンピュータ（以下、レンズ制御部という）１１１は、絞り１０３の動作を制御する絞り制御部１１２、フォーカスレンズ群１０４の動作（駆動とも称する）を制御するフォーカスレンズ制御部１１３、などを備える。フォーカスレンズ制御部１１３は、カメラ本体部１２０から取得したフォーカスレンズ駆動情報に基づいてフォーカスレンズ群１０４を撮影レンズユニット１０１の光軸方向に駆動させ、カメラのピント調節を行う。

【0014】

なお、フォーカスレンズ群１０４は、複数のフォーカスレンズを有していても、１枚のフォーカスレンズのみを有していても良い。また、ここでは図の簡略化のため、交換レンズの例として単焦点レンズを示しているが、焦点距離を変更可能なレンズ（ズームレンズ）であっても良い。ズームレンズである場合には、レンズ制御部１１３はズームレンズ位置を検出するエンコーダ出力から焦点距離情報する。また、手振れ補正機能を搭載したレンズの場合には、レンズ制御部１１３は、振れ補正用のシフトレンズ群などの制御も行う。

【0015】

カメラ本体部１２０は、露出制御に用いるシャッター１２１や、ＣＭＯＳ（相補型金属酸化膜半導体）センサ等の撮像素子１２２を備える。撮像素子１２２の出力する撮像信号は、アナログ信号処理回路１２３で処理された後、カメラ信号処理回路１２４に送られる。

【0016】

カメラシステム制御用マイクロコンピュータ（以下、カメラ制御部という）１３１は、撮像装置全体を制御する。例えば、カメラ制御部１３１は不図示のシャッター駆動用のモータを駆動制御し、シャッター１２１を駆動する。メモリカード１２５は撮影された画像のデータを記録する記録媒体である。撮影者によって操作されるレリーズスイッチ１８１の押下状態がカメラ制御部１３１に送られ、その状態に応じて撮像した画像がメモリカード１２５に記憶される。

【0017】

画像表示部１７１は、撮影者がカメラで撮影しようとしている画像をモニタし、また撮影した画像を表示する液晶パネル（ＬＣＤ）等の表示デバイスを備える。また、タッチパネル１７２は撮影者が指やタッチペンにより画像表示部１７１における座標を指定することができる操作部であり、画像表示部１７１とは一体的に構成することができる。例えば、タッチパネルを光の透過率が画像表示部１７１の表示を妨げないように構成し、画像表示部１７１の表示面の内部に組み込む内蔵型（インセル型）などである。そして、タッチパネル１７２上の入力座標と、画像表示部１７１上の表示座標とを対応付ける。これにより、あたかもユーザが画像表示部１７１上に表示された画面を直接的に操作可能であるかのようなＧＵＩ（グラフィカルユーザーインターフェース）を構成することができる。操作部１７２への操作状態はカメラ制御部１３１で管理される。

【0018】

カメラ本体部１２０は、交換レンズ１００とのマウント面に、交換レンズ１００と通信を行うための通信端子であるマウント接点部１６１を備える。また、交換レンズ１００は、カメラ本体１２０とのマウント面に、カメラ本体１２０と通信を行うための通信端子であるマウント接点部１１４を備える。

【0019】

レンズ制御部１０５とカメラ制御部１３１は、マウント接点部１１４および１６１を介して所定のタイミングでシリアル通信を行うよう通信を制御する。この通信により、カメラ制御部１３１からレンズ制御部１１１にはフォーカスレンズ駆動情報、絞り駆動情報などが送られ、レンズ制御部１１１からカメラ制御部１３１へ焦点距離などの光学情報が送られる。

【0020】

カメラ信号処理回路１２４は、顔情報検出部１４１を備え、さらに器官情報検出部１４２を備えており、器官情報検出部１４２は顔情報検出部１４１で検出した顔情報から、瞳、口などの器官情報を検出する。顔情報検出部１４１、器官情報検出部１４２における検出結果はカメラ制御部１３１に送られる。

【0021】

カメラ制御部１３１には、本発明に関連するブロックとして、対象とする瞳を検出した顔情報から自動で選択する自動選択部１５１、検出した顔、あるいは瞳情報に対応して表示部１７１に表示させるための検出枠を設定する表示枠設定部１５２を有する。また、ユーザによる操作に応じて選択された瞳や顔を記憶する記憶部１５３、さらに、選択あるいは指定した瞳や顔を、ピントを合わせるべき被写体（対象被写体とも称する）として焦点検出部１５５に通知するＡＦ対象被写体設定部１５４がある。これらは顔情報検出部１４１、器官情報検出部１４２の出力に基づいて動作する。焦点検出部１５５は、ＡＦ対象被写体設定部１５４によって通知されたピントを合わせるべき被写体に対応する画像信号に基づいて、焦点検出処理を行う。焦点検出処理は、例えば公知の位相差検出式や、コントラスト検出式等によって実行される。位相差検出式の場合、焦点検出処理として、視差を有する一対の像信号を相関演算することで算出された像すれ量の算出、もしくは像ずれ量を更にデフォーカス量に変換して算出する処理が行われる。デフォーカス量は、交換レンズ１００のレンズ駆動時の敏感度等を考慮することで、更にフォーカスレンズ駆動量へと変換することができる。カメラ制御部１３１は、焦点検出部１５５によって検出された焦点検出結果（像ずれ量またはデフォーカス量）あるいは焦点検出結果に基づいて算出されたフォーカスレンズ駆動量をレンズ制御部１１１に送信する。フォーカスレンズ制御部１１３は、カメラ制御部１３１から受信したフォーカスレンズ駆動情報に基づいて、フォーカスレンズの駆動を制御する。換言すると、カメラ制御部１３１がフォーカスレンズ制御部１１３を介してフォーカスレンズの駆動を制御する。

【0022】

＜瞳選択処理＞
図２はカメラ制御部１３１の本発明の実施例１に関する動作を示すフローチャートである。図２の処理は、フレーム毎の画像が生成される度に行われるものとして説明するが、所定数のフレームごとに行うなど適宜変更可能である。

【0023】

以下、図１、図２を参照しながら、本発明の実施例１の動作について詳細に説明する。

【0024】

まず、顔情報検出部１４１は、撮像された画像信号から顔に対応する領域を検出する処理が行われる。更に器官情報検出部１４２は、当該画像信号から、顔情報検出部１４１で検出された顔に対応するに含まれる領域であって、瞳に対応する領域を検出する処理が行われる。

【0025】

Ｓ２０１で、カメラ制御部１３１は、過去のフレームにおける検出結果に基づいて設定されていた顔枠、瞳枠、多点枠の表示フラグをすべてクリアし、Ｓ２０２へと移行する。

【0026】

Ｓ２０２で、カメラ制御部１３１は、撮像された画像に対して、顔情報検出部１４１で顔が検出されたかどうかを判定する。顔が検出されていればＳ２０３へと移行し、顔が検出されていなければＳ２１６へ移行する。

【0027】

Ｓ２０３で、カメラ制御部１３１は、Ｓ２０２で検出された顔のうち、主被写体の顔が検出されているかを判定する。主被写体の顔が検出されていればＳ２０５へと移行し、検出されていなければＳ２０４へと移行する。なお主被写体が決定されていない場合においても、Ｓ２０４へと移行する。主被写体とは後述のＳ２１８において枠を表示する対象であり、これまた後述のＳ２１９にて、焦点検出部１５５による焦点検出の対象となる被写体のことを表す。

【0028】

Ｓ２０４で、カメラ制御部１３１は、現在検出されている顔の中から主被写体を決定し、さらに記憶部１５３は、どの被写体が主被写体であるかを記憶する。さらに瞳手動選択フラグもクリアした後、Ｓ２０５へと移行する。なおこのＳ２０４に入った場合、後述のＳ２０５～Ｓ２１５、Ｓ２１８～Ｓ２１９においては、このＳ２０４で決定した主被写体の顔、そしてその顔に対応する瞳に対して実施される。また主被写体の決定基準としては例えば「撮像された画像信号における顔領域が最も大きい顔」などである。

【0029】

Ｓ２０５で、カメラ制御部１３１は、瞳手動選択フラグがセットされているかどうかを判定する。瞳手動選択フラグがセットされている場合はＳ２１１へと移行し、セットされていない場合はＳ２０６へと移行する。

【0030】

Ｓ２０６において、カメラ制御部１３１は、前述のタッチパネル１７２の操作によって、左右どちらかの瞳が撮影者により手動選択されたかどうかを判定する。左右どちらかの瞳が手動選択された場合はＳ２１０へと移行し、指定されていない場合はＳ２０７へと移行する。このように撮影者により瞳選択のためのタッチ操作が行われた場合に、瞳が手動選択されたと判断する。

【0031】

なおここで、現在の主被写体とは異なる被写体の顔領域内を、撮影者がタッチパネル１７２にタッチするなどにより、現在の主被写体とは異なる被写体の瞳を手動選択された場合は、その新たに選択された被写体を主被写体として設定し、以後のフローを実施する。またタッチパネル１７２の操作によって、どちらの瞳が選択されたかの判別の詳細は図５で後述する。

【0032】

Ｓ２０７において、カメラ制御部１３１は瞳手動選択フラグをクリアする。なお瞳手動選択フラグがセットされていない場合は改めてクリアしても良いし、クリアしなくてもよい。そしてカメラ制御部１３１はＳ２０８へと移行する。

【0033】

Ｓ２０８において瞳もしくは顔の自動選択処理が実行され、Ｓ２０９へと移行する。自動選択処理について、詳しくは図３で後述する。

【0034】

Ｓ２０８で瞳もしくは顔が自動選択されると、Ｓ２０９で、カメラ制御部１３１は、自動選択されたのが瞳なら一重の瞳、顔なら一重の顔の枠表示フラグをセットし、Ｓ２１８へと移行する。

【0035】

Ｓ２１０において、カメラ制御部１３１は、瞳手動選択フラグをセットし、さらに記憶部１５３はどの被写体の左右どちらの瞳が撮影者によって選択されたのかを記憶する。

【0036】

Ｓ２１１において、カメラ制御部１３１は、撮影者によって選択された被写体の瞳が検出できているかどうかを判定する。具体的には、器官情報検出部１４２により、記憶部１５３で記憶している撮影者により選択された瞳と、一致するものがあるかどうかを判定する。

【0037】

そして、検出できている場合にはＳ２１２へと移行し、検出できていない場合にはＳ２１５へと移行する。

【0038】

Ｓ２１２において、カメラ制御部１３１は所定の瞳指定実施条件に基づき、瞳指定を実施するか否かを判定する。実施すると判定した場合はＳ２１３へと移行し、実施しないと判定した場合はＳ２０７へと移行する。

【0039】

なお瞳指定実施条件とは例えば、「Ｓ２０６で瞳手動選択が行われてから所定時間以内」である。所定時間以内であればＳ２１３に移行し、所定時間を超えてればＳ２０７へと移行する。瞳指定実施条件は他にも、「瞳選択解除の操作が撮影者によって行われる」などや、「指定した被写体の顔における大きさ、位置、角度、信頼性、色、輝度、ボケ量、ブレ量それぞれが所定条件以内」などの例が挙げられる。そのような瞳指定実施条件を満たすならばＳ２１３に移行し、満たさないならばＳ２０７へと移行する。

【0040】

なお最後の例をさらに具体的に述べると、指定した被写体の顔（以下、指定顔）の大きさが所定以上、指定顔と画像中心からの距離が所定以内、指定顔のピッチ、ロール、ヨー各方向の角度が所定範囲内の値、指定顔の検出信頼性は所定値以上、指定顔の輝度は所定範囲内の値、指定顔のボケ量は所定値以下、指定顔のブレ量は所定値以下、といった具合である。

【0041】

Ｓ２１３では、自動選択に関するパラメータのリセットも行う。本実施例における自動選択に関するパラメータは、後述のＳ３０６、Ｓ３０７、Ｓ３０９で参照している自動選択した瞳の左右を変更するためのカウンタと、これまた後述のＳ３０４、Ｓ３１２で参照している瞳自動選択フラグであり、これらがリセット対象になる。パラメータのリセットを行った後はＳ２１４へと移行する。

【0042】

Ｓ２１４では、瞳が指定されていることを示す二重枠の瞳表示フラグをセットし、Ｓ２１８へと移行する。

【0043】

なお、カメラ制御部１３１は、Ｓ２１１において手動選択された瞳を検出できなかった場合は、Ｓ２１５で顔二重枠表示フラグをセットし、Ｓ２１８へと移行する。

【0044】

さて、カメラ制御部１３１は、Ｓ２０２で顔検出できなかった場合には、Ｓ２１６で瞳手動選択フラグと自動選択パラメータをクリアする。さらに記憶部１５３は、主被写体情報をクリアする。また、カメラ制御部１３１は、Ｓ２１７で顔、瞳ともに検出できていない状態を示す多点枠表示を行うためのフラグをセットし、Ｓ２１８へと移行する。

【0045】

Ｓ２１８において、セットされた枠表示フラグの条件に合わせて表示枠設定部１５２が顔枠、瞳枠、多点枠のいずれかを設定し、表示部１７１は当該設定に応じた表示を実行し、Ｓ２１９へと移行する。

【0046】

そして、Ｓ２１９において、焦点検出部１５５による焦点検出を行う。そして、当該焦点検出の結果に基づいて、レンズ制御部１１１がフォーカスレンズの駆動を制御（以下、合焦）する。ここで、Ｓ２０２で顔検出がなされてないと判断された場合には、例えば多点枠の各々に対応する画像信号に基づいて焦点検出が行われる。このとき、例えば多点枠のうち最至近の焦点検出結果を選択するなど、公知の方法で枠を選択し、選択された枠に対応する焦点検出結果によってフォーカスレンズの駆動が制御される。また、自動／手動選択された瞳に対応する領域の検出がなされていない場合には、主被写体の顔に対応する領域の画像信号を用いて焦点検出が行われる。これら以外の場合には、自動／手動選択された瞳に対応する領域の画像信号を用いて焦点検出が行われる。

【0047】

以上が実施例１の説明となる。撮影者が特定の被写体の瞳を選択したとき、選択した被写体の瞳が検出できていなくても、のちに選択した瞳が検出できれば、その瞳に合焦することが可能なところが本発明の実施例１の特徴的なところである。

【0048】

＜瞳自動選択処理＞
図３はＳ２０８でカメラ制御部１３１によって実行される瞳もしくは顔の自動選択処理を説明するフローチャートである。

【0049】

Ｓ３０１で、カメラ制御部１３１は、器官情報検出部１４２によって検出された目（瞳）の個数を判定する。両目が検出されていればＳ３０２、片目が検出されていればＳ３０３へと移行する。また、どちらの目も検出されてなければＳ３１３に移行し、Ｓ３１３にて自動選択部１５１は、顔を選択する。

【0050】

両目が検出されている場合、Ｓ３０２において、自動選択部１５１は、顔情報検出部１４１で検出された顔の向き、顔位置に応じて左右どちらかの瞳を選択し、Ｓ３０４へと移行する。例えば顔が正面を向いている場合、画角の中心に近い瞳が選択され、顔が左右のどちらかを向いている場合はカメラに近い側の瞳を選択する。

【0051】

自動選択部１５１は、Ｓ３０１で瞳が片側しか検出されていない場合は、Ｓ３０３で検出されている瞳を選択し、Ｓ３０４へと移行する。

【0052】

次にＳ３０４で、カメラ制御部１３１は、瞳自動選択フラグがセットされているかを判定する。セットされている場合は、Ｓ３０５へと移行する。セットされていない場合はＳ３１１へと移行する。

【0053】

Ｓ３１１で、カメラ制御部１３１は、今回選択した瞳が左右のどちらであるかを記憶部１５３に記憶させ、Ｓ３１２で瞳自動選択フラグをセットする。

【0054】

一方、カメラ制御部１３１は、すでに瞳自動選択フラグがセットされていた場合には、Ｓ３０５において、Ｓ３０２あるいはＳ３０３で選択された瞳が、記憶部１５３に記憶されている、前回までに選択されていた瞳と同じかどうかを判定する。同じである場合はＳ３０９へと移行し、同じでない場合はＳ３０６以降で、今回選択した瞳に変更するかどうかを判定する処理を行う。

【0055】

Ｓ３０６で、カメラ制御部１３１は、カウンタをインクリメントし、Ｓ３０７へと移行する。

【0056】

Ｓ３０７で、カメラ制御部１３１は、カウンタが所定値以上かどうかを判定する。所定値以上の場合、記憶部１５３は、Ｓ３０８で今回選択した瞳を新たに記憶する。そして、カメラ制御部１３１は、Ｓ３０９でカウンタをリセットし、次の瞳の変更処理に備える。

【0057】

一方、Ｓ３０７でカウンタが所定値以上になっていない場合は、カメラ制御部１３１はＳ３１０で、記憶部１５３に記憶されている前回までに選択されていた瞳に選択を変更する。これらのカウンタによる処理は、選択した瞳が切り替わり続けることにより表示が不自然になることを防ぐためである。

【0058】

また、Ｓ３０５で選択した瞳が前回と同じ瞳だった場合は、カメラ制御部１３１は、Ｓ３０９でカウンタをクリアする。

【0059】

以上のように、瞳自動選択処理では、例えば、顔が正面を向いている場合は画角内のより中心に近い瞳、また顔向きが正面ではなく左右どちらかに動いている場合にはより手前にある瞳を選択することによって、ピントが合わせやすくなるように設定する。また、選択していない方の瞳のピントが合いやすい状況になった場合には、選択する瞳を自動で切り替えるという動作を行っている。

【0060】

＜表示枠の表示例＞
図４は、図２のフローチャートで示した表示枠の表示例を示したものであり、表示部１７１に表示される顔枠および瞳枠の例となる。

【0061】

図４（ａ）は、自動選択時の表示であり、Ｓ２０９→Ｓ２１８と遷移した場合に表示される。

【0062】

図４（ｂ）は瞳指定時の枠表示であり、二重の瞳枠が表示される。Ｓ２１４→Ｓ２１８と遷移した場合の表示である。

【0063】

また、図４（ｃ）はＳ２１５→Ｓ２１８と遷移した場合の表示で、瞳手動選択はしているが、選択した瞳が検出できなかった場合の表示枠である。

【0064】

そして図４（ｄ）は、Ｓ２１７→Ｓ２１８と遷移した場合、すなわち全く顔が検出できなかった場合の多点枠表示となる。

【0065】

尚、本実施例では、指定した瞳以外の瞳が検出された場合には顔枠のみを表示する構成としたが、これに限らない。指定した瞳以外の瞳のみが検出された場合には例えば瞳枠を一重にして、顔枠を二重枠にする（図４、（ｅ）の表示）など、撮影者が瞳を指定中であることがわかるものであれば指定した瞳以外の瞳に枠がついても良い。

【0066】

なお、本実施例ではピントを合わせるべき被写体として、左右どちらの瞳が選択されるかに着目して説明した。不図示であるが、選択された瞳に対応する撮像信号に基づいて、焦点検出部１５５による焦点検出処理が行われる。そして、焦点検出部１５５によって得られた焦点検出結果に基づいて、基づいて算出されたフォーカスレンズ駆動情報（フォーカスレンズの駆動情報又はこれに類する情報）を、カメラ制御部１３１がレンズ制御部１１１に送信する。これにより、適切な瞳にピントを合わせることができる。

【0067】

＜選択した瞳の判別方法＞
図５はＳ２０６でカメラ制御部１３１によって実行される、左右どちらの瞳を指定したかの判別処理を説明するフローチャートである。

【0068】

Ｓ５０１で、カメラ制御部１３１は、器官情報検出部１４２によって両方の瞳が検出されているかどうかを判定する。両方の瞳が検出されていればＳ５０３へと移行し、片方の瞳が検出された、もしくは両方の瞳ともに検出されていない場合はＳ５０２へと移行する。

【0069】

Ｓ５０２で、器官情報検出部１４２は、顔情報検出部１４１で検出されているピッチ、ロール、ヨーの顔角度に基づき、非検出の瞳の座標とサイズを推定する。そしてＳ５０３へと移行する。

【0070】

Ｓ５０３で、カメラ制御部１３１は、それぞれの瞳と、撮影者がタッチパネル１７２に対してタッチした位置（以下、タッチ位置）の距離を算出し、Ｓ５０４でタッチ位置と距離が近い方の瞳を指定する。

【0071】

なお顔情報検出部１４１により複数の顔が検出されていた場合は、タッチ位置から最も顔領域の中心が近い顔でＳ５０１～Ｓ５０４のフローを実施する。

【0072】

＜顔以外の領域指定時のフローチャート＞
図６はカメラ制御部１３１によって実行される、顔以外の領域を指定したときの処理を説明するフローチャートである。

【0073】

Ｓ６０１で、カメラ制御部１３１は、撮影者によって顔以外への領域が指定されたかを判定する。もし顔領域を指定していた場合、本フローの実施を中止し、図２のフローを改めて実施する。顔以外への領域を指定されていた場合は、Ｓ６０２で、表示枠設定部１５２は、その指定領域に対する二重枠を表示する。なお本実施例では顔以外の領域としているが、頭部以外の領域としても良いし、顔を含む全身領域以外としても良い。

【0074】

以上、説明したように、左右、どちらかの瞳が指定された場合に、たとえ瞳が検出できてなくても、顔さえ検出できていれば、その後指定した瞳が検出できた時に瞳を指定状態に設定することができる。また瞳に対応した顔の検出が継続されている間は、指定状態を設定し続ける。これにより、撮影者が撮影を望んで設定した瞳にピントを合わせ続けることが可能である。また、当該顔が検出されなくなった場合や、瞳指定してから所定時間が経過したり、被写体が所定の状態に変化した場合は、当初撮影者が意図していたシーンとは異なるシーンになったと考えられることから、ユーザによる瞳の選択を解除して自動的に選択された瞳にピントを合わせる。これにより、シーンの変化にも柔軟に対応して瞳にピントを合わせ続けることが可能である。さらに、常に指定した瞳が選択できることにより、撮影者が望んだ瞳に対し常にピントを合わせることができる。

【0075】

なお、本実施例では瞳に対応した顔の検出が継続されている間は瞳の指定状態を維持し、顔が検出されなくなったことに応じてユーザによる瞳の選択を解除する例を説明したが、顔に代えて人体や頭部を用いても良い。瞳に対応する人体や頭部を用いることで、顔の場合と同様、撮影者が意図している被写体を捉えることができている間は意図した瞳にピントを合わせ続けることができる。

【0076】

＜その他の実施例＞
以上、本発明をその好適な実施形態に基づいて詳述してきたが、本発明はこれら特定の実施形態に限られるものではなく、この発明の要旨を逸脱しない範囲の様々な形態も本発明に含まれる。上述の実施形態の一部を適宜組み合わせてもよい。

【0077】

また、上述の実施形態の機能を実現するソフトウェアのプログラムを、記録媒体から直接、或いは有線／無線通信を用いてプログラムを実行可能なコンピュータを有するシステム又は装置に供給し、そのプログラムを実行する場合も本発明に含む。従って、本発明の機能処理をコンピュータで実現するために、該コンピュータに供給、インストールされるプログラムコード自体も本発明を実現するものである。つまり、本発明の機能処理を実現するためのコンピュータプログラム自体も本発明に含まれる。その場合、プログラムの機能を有していれば、オブジェクトコード、インタプリタにより実行されるプログラム、ＯＳに供給するスクリプトデータ等、プログラムの形態を問わない。プログラムを供給するための記録媒体としては、例えば、ハードディスク、磁気テープ等の磁気記録媒体、光／光磁気記憶媒体、不揮発性の半導体メモリでもよい。また、プログラムの供給方法としては、コンピュータネットワーク上のサーバに本発明を形成するコンピュータプログラムを記憶し、接続のあったクライアントコンピュータはがコンピュータプログラムをダウンロードしてプログラムするような方法も考えられる。

【符号の説明】

【0078】

１２２ 撮像素子
１２４ カメラ信号処理回路
１３１ カメラ制御部
１４１ 顔情報検出部
１４２ 器官情報検出部
１５１ 自動選択部
１５２ 表示枠設定部
１５３ 記憶部
１７１ 表示部
１７２ タッチパネル

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】