特許 7425562 撮像装置およびその制御方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2024-01-23

(45)【発行日】2024-01-31

(54)【発明の名称】撮像装置およびその制御方法

(51)【国際特許分類】

   H04N 23/60 20230101AFI20240124BHJP

   H04N 23/63 20230101ALI20240124BHJP

   G03B 15/00 20210101ALI20240124BHJP

   G03B 17/00 20210101ALI20240124BHJP

   G03B 17/20 20210101ALI20240124BHJP

   G02B 7/28 20210101ALI20240124BHJP

【ＦＩ】

H04N23/60

H04N23/63 330

G03B15/00 Q

G03B15/00 H

G03B17/00 Q

G03B17/20

G02B7/28 N

【請求項の数】 20

(21)【出願番号】P 2019148926

(22)【出願日】2019-08-14

(65)【公開番号】P2021034756

(43)【公開日】2021-03-01

【審査請求日】2022-08-03

(73)【特許権者】

【識別番号】000001007

【氏名又は名称】キヤノン株式会社

(74)【代理人】

【識別番号】110003281

【氏名又は名称】弁理士法人大塚国際特許事務所

(72)【発明者】

【氏名】松尾 康弘

【審査官】門田 宏

(56)【参考文献】

【文献】特開２０１５－０２２２０７（ＪＰ，Ａ）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｈ０４Ｎ ５／２２２－ ５／２５７

Ｈ０４Ｎ ２３／００

Ｈ０４Ｎ ２３／４０ －２３／７６

Ｈ０４Ｎ ２３／９０ －２３／９５９

Ｈ０４Ｎ ５／２２２－ ５／２５７

Ｇ０３Ｂ １５／００

Ｇ０３Ｂ １７／００

Ｇ０３Ｂ １７／１８ －１７／２０

Ｇ０２Ｂ ７／１１

Ｇ０２Ｂ ７／２８ － ７／４０

Ｇ０３Ｂ ３／００ － ３／１２

Ｇ０３Ｂ １３／３０ －１３／３６

Ｇ０３Ｂ ２１／５３

Ｇ０３Ｂ ７／００ － ７／３０

(57)【特許請求の範囲】

【請求項1】

ユーザの視線に基づいて、画像中の注視点の位置を検出する視線検出手段と、
前記画像から特徴領域を検出する領域検出手段と、
前記特徴領域に視線判定領域を設定する設定手段と、
前記注視点の位置を含んだ視線判定領域に対応する前記特徴領域を選択する選択手段と、
を有し、
前記設定手段は、前記特徴領域の大きさが予め定められた下限値以上の場合には前記特徴領域の大きさに応じた前記下限値以上の大きさを有する前記視線判定領域を設定し、前記特徴領域の大きさが前記下限値より小さい場合には前記下限値の大きさを有する前記視線判定領域を設定する、
ことを特徴とする撮像装置。

【請求項2】

前記設定手段は、前記特徴領域間の最短距離に基づいて前記視線判定領域の大きさを設定することを特徴とする請求項１に記載の撮像装置。

【請求項3】

前記設定手段は、前記最短距離に基づく大きさが前記下限値に満たない場合、前記視線判定領域の大きさを前記下限値とすることを特徴とする請求項２に記載の撮像装置。

【請求項4】

前記設定手段は、前記特徴領域と前記視線判定領域との中心位置とが等しくなるように前記視線判定領域を設定すると前記視線判定領域間に重複が生じる場合には、前記視線判定領域の中心位置を前記特徴領域の中心位置とずらすことを特徴とする請求項１から３のいずれか１項に記載の撮像装置。

【請求項5】

前記選択手段は、前記注視点の位置を含んだ時間が閾値以上である視線判定領域に対応する前記特徴領域を選択することを特徴とする請求項１から４のいずれか１項に記載の撮像装置。

【請求項6】

前記領域検出手段は、特定の被写体に関する領域を前記特徴領域として検出し、
前記設定手段は、前記特定の被写体の種類または動きの速さに応じて前記視線判定領域の大きさおよび前記閾値の少なくとも一方を異ならせることを特徴とする請求項５に記載の撮像装置。

【請求項7】

前記領域検出手段は、特定の被写体に関する領域を前記特徴領域として検出し、
前記設定手段は、前記特定の被写体の種類に応じて、前記視線判定領域の前記特徴領域に対する位置を異ならせることを特徴とする請求項５または６に記載の撮像装置。

【請求項8】

前記設定手段は、前記特徴領域のうち、注視される可能性の高い部位に前記視線判定領域を設定することを特徴とする請求項７に記載の撮像装置。

【請求項9】

前記設定手段は、前記特徴領域のうち、予め定めた条件を満たす特徴領域にのみ前記視線判定領域を設定することを特徴とする請求項６から８のいずれか１項に記載の撮像装置。

【請求項10】

前記被写体の動きが閾値以上である場合、前記選択手段は、前記視線検出手段が過去に検出した前記注視点の位置を用いて前記選択を行うことを特徴とする請求項６から９のいずれか１項に記載の撮像装置。

【請求項11】

前記特徴領域の距離情報を取得する取得手段をさらに有し、
前記設定手段は、前記選択手段が選択している特徴領域と距離の差が閾値以上である特徴領域については、前記視線判定領域を設定しないか、前記下限値の大きさを有する前記視線判定領域を設定する、
ことを特徴とする請求項１から１０のいずれか１項に記載の撮像装置。

【請求項12】

前記特徴領域の距離情報を取得する取得手段をさらに有し、
前記選択手段は、前記注視点の位置を含んだ時間が閾値以上である視線判定領域に対応する前記特徴領域を選択し、
前記選択手段が選択している特徴領域と距離の差が閾値以上である特徴領域については、前記選択手段が選択している前記特徴領域と距離の差が前記閾値以上でない特徴領域よりも前記閾値が長い、
ことを特徴とする請求項１から１１のいずれか１項に記載の撮像装置。

【請求項13】

前記選択手段は、前記注視点の位置を含んだ時間が閾値以上である視線判定領域に対応する前記特徴領域を選択し、
動いていると判定された特徴領域については、動いていると判定されない特徴領域よりも前記閾値が短く、
前記選択手段は、前記動いていると判定された特徴領域については、前記注視点の位置を含んだ時間が閾値以上であり、かつ該特徴領域についての動きベクトルおよび前記注視点の位置についての動きベクトルの一致度が条件を満たす場合に選択する、
ことを特徴とする請求項１から１２のいずれか１項に記載の撮像装置。

【請求項14】

前記設定手段は、動いていると判定された特徴領域については、動いていると判定されない特徴領域よりも前記視線判定領域を大きくすることを特徴とする請求項１から１３のいずれか１項に記載の撮像装置。

【請求項15】

前記設定手段は、動いていると判定された特徴領域についての前記視線判定領域を、該特徴領域の動き方向に大きくすることを特徴とする請求項１４に記載の撮像装置。

【請求項16】

前記選択手段は、前記注視点の位置を含んだ時間が閾値以上である視線判定領域に対応する前記特徴領域を選択し、
前記特徴領域ごとに、前記閾値の長さおよび、選択までに必要な注視時間を示す指標を表示する表示手段をさらに有する、
ことを特徴とする請求項１から１５のいずれか１項に記載の撮像装置。

【請求項17】

前記表示手段は、視線による選択ができない特徴領域については、前記指標を表示しないことを特徴とする請求項１６に記載の撮像装置。

【請求項18】

前記選択手段が選択した前記特徴領域の情報を用いて、露出制御、焦点検出、および撮影された画像に対する画像処理の１つ以上を行う制御手段をさらに有することを特徴とする請求項１から１７のいずれか１項に記載の撮像装置。

【請求項19】

視線検出手段が、ユーザの視線に基づいて、画像中の注視点の位置を検出する視線検出工程と、
領域検出手段が、前記画像から特徴領域を検出する領域検出工程と、
設定手段が、前記特徴領域に視線判定領域を設定する設定工程と、
選択手段が、前記注視点の位置を含んだ視線判定領域に対応する前記特徴領域を選択する選択工程と、
を有し、
前記設定工程では、前記特徴領域の大きさが予め定められた下限値以上の場合には前記特徴領域の大きさに応じた前記下限値以上の大きさを有する前記視線判定領域を設定し、前記特徴領域の大きさが前記下限値より小さい場合には前記下限値の大きさを有する前記視線判定領域を設定する、
ことを特徴とする撮像装置の制御方法。

【請求項20】

撮像装置が有する１つ以上のプロセッサーを、請求項１から１８のいずれか１項に記載の撮像装置が有する各手段として機能させるためのプログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、撮像装置およびその制御方法に関し、特には焦点を合わせる被写体の選択を支援する技術に関する。

【背景技術】

【0002】

従来、同一の大きさを有し、位置が固定された複数の候補領域の１つを視線によって選択可能とした撮像装置が知られている（特許文献１）。このような撮像装置では、候補領域ごとに予め設定した検出領域のうち、視線の方向から得られる画像中の注視点の座標を含む視線判定領域に対応する候補領域を、ユーザが選択した焦点検出領域とみなすことができる。

【先行技術文献】

【特許文献】

【0003】

【文献】特開２００５－２４９８３１号公報

【文献】特開２０１４－１８２３６０号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

例えば、大きさおよび位置が不定な複数の画像領域の１つを視線によって選択可能に構成しようとした場合、視線判定領域も動的に設定する必要があるが、従来、そのような技術は存在していなかった。

【0005】

本発明はこのような従来技術の課題に鑑みてなされたものである。本発明は、大きさおよび位置が不定な複数の画像領域の１つを視線によって選択可能とするための視線判定領域を適切に設定可能な撮像装置およびその制御方法を提供することを目的とする。

【課題を解決するための手段】

【0006】

上述の目的は、ユーザの視線に基づいて、画像中の注視点の位置を検出する視線検出手段と、画像から特徴領域を検出する領域検出手段と、特徴領域に視線判定領域を設定する設定手段と、注視点の位置を含んだ視線判定領域に対応する特徴領域を選択する選択手段と、を有し、設定手段は、特徴領域の大きさが予め定められた下限値以上の場合には特徴領域の大きさに応じた下限値以上の大きさを有する視線判定領域を設定し、特徴領域の大きさが下限値より小さい場合には下限値の大きさを有する視線判定領域を設定する、ことを特徴とする撮像装置によって達成される。

【発明の効果】

【0007】

本発明によれば、大きさおよび位置が不定な複数の画像領域の１つを視線によって選択可能とするための視線判定領域を適切に設定可能な撮像装置およびその制御方法を提供することができる。

【図面の簡単な説明】

【0008】

【図1】実施形態に係る撮像装置の機能構成例を示すブロック図

【図2】実施形態に係る撮像装置の射出瞳と光電変換部との対応関係の例を示す図

【図3】実施形態に係る視線検出部の構成例を示す模式図

【図4】第１実施形態に係る主被写体選択に関する図

【図5】第１実施形態に係る視線判定領域の設定を説明するための図

【図6】第１実施形態に係る主被写体の選択動作に関するフローチャート

【図7】第１実施形態に係る視線判定条件の設定に関するフローチャート

【図8】第１実施形態に係る視線判定領域の大きさ決定および再配置に関するフローチャート

【図9】第１実施形態に係る視線判定領域の例を示す図

【図10】第１実施形態に係る主被写体の更新動作に関するフローチャート

【図11】第３実施形態に係る主被写体の選択動作に関するフローチャート

【図12】第４実施形態に係る主被写体の選択動作に関するフローチャート

【図13】第４実施形態に係る主被写体の更新動作に関するフローチャート

【図14】第４実施形態に係る視線判定領域の例を示す図

【図15】第５実施形態に係る注視時間の閾値と注視時間を示すインジゲータの例を示す図

【発明を実施するための形態】

【0009】

●（第１実施形態）
以下、添付図面を参照して本発明をその例示的な実施形態に基づいて詳細に説明する。なお、以下の実施形態は特許請求の範囲に係る発明を限定しない。また、実施形態には複数の特徴が記載されているが、その全てが発明に必須のものとは限らず、また、複数の特徴は任意に組み合わせられてもよい。さらに、添付図面においては、同一若しくは同様の構成に同一の参照番号を付し、重複した説明は省略する。

【0010】

なお、以下の実施形態では、本発明をレンズ交換式のデジタルカメラで実施する場合に関して説明する。しかし、本発明は視線検出機能ならびに撮像機能を搭載可能な任意の電子機器に対して適用可能である。このような電子機器には、ビデオカメラ、コンピュータ機器（パーソナルコンピュータ、タブレットコンピュータ、メディアプレーヤ、ＰＤＡなど）、携帯電話機、スマートフォン、ゲーム機、ロボット、ドローン、ドライブレコーダなどが含まれる。これらは例示であり、本発明は他の電子機器にも適用可能である。また、視線検出機能と撮像機能とを互いに通信可能な別個の機器（例えば本体とリモートコントローラ）に設ける構成にも本発明は適用可能である。

【0011】

図１は、本発明の実施形態にかかる撮像装置の一例としてのデジタルカメラシステムの機能構成例を示すブロック図である。デジタルカメラシステムは、レンズ交換式デジタルカメラの本体１００と、本体１００に着脱可能なレンズユニット１５０とを有している。なお、レンズ交換式であることは本発明に必須でない。

【0012】

レンズユニット１５０は本体１００に装着されると本体１００に設けられた通信端子１０と接触する通信端子６を有する。通信端子１０および６を通じて本体１００からレンズユニット１５０に電源が供給される。また、レンズシステム制御回路４と本体１００のシステム制御部５０とは通信端子１０および６を通じて双方向に通信可能である。

【0013】

レンズユニット１５０において、レンズ群１０３は可動レンズを含む複数のレンズから構成される撮像光学系である。可動レンズには少なくともフォーカスレンズが含まれる。また、レンズユニット１５０によっては、変倍レンズ、ぶれ補正レンズの１つ以上がされに含まれうる。ＡＦ駆動回路３はフォーカスレンズを駆動するモータやアクチュエータなどを含む。フォーカスレンズは、レンズシステム制御回路４がＡＦ駆動回路３を制御することによって駆動される。絞り駆動回路２は絞り１０２を駆動するモータアクチュエータなどを含む。絞り２の開口量は、レンズシステム制御回路４が絞り駆動回路２を制御することによって調整される。

【0014】

メカニカルシャッタ１０１はシステム制御部５０によって駆動され、撮像素子２２の露光時間を調整する。なお、メカニカルシャッタ１０１は動画撮影時には全開状態に保持される。

【0015】

撮像素子２２は例えばＣＣＤイメージセンサやＣＭＯＳイメージセンサである。撮像素子２２には複数の画素が２次元配置され、各画素には１つのマイクロレンズ、１つのカラーフィルタ、および１つ以上の光電変換部が設けられている。本実施形態においては、各画素に複数の光電変換部が設けられ、光電変換部ごとに信号を読み出し可能に構成されている。画素をこのような構成にすることにより、撮像素子２２から読み出した信号から撮像画像、視差画像対、および位相差ＡＦ用の像信号を生成することができる。

【0016】

Ａ／Ｄ変換器２３は、撮像素子２２から出力されるアナログ画像信号をデジタル画像信号（画像データ）に変換するために用いられる。なお、Ａ／Ｄ変換器２３は撮像素子２２が備えてもよい。

【0017】

図２（ａ）は、撮像素子２２が有する画素が２つの光電変換部を有する場合の、レンズユニット１５０の射出瞳と各光電変換部との対応関係を模式的に示した図である。
画素に設けられた２つの光電変換部２０１ａおよび２０１ｂは１つのカラーフィルタ２５２および１つのマイクロレンズ２５１を共有する。そして、光電変換部２０１ａには射出瞳の部分領域２５３ａを通過した光が、光電変換部２０１ｂには射出瞳の部分領域２５３ｂを通過した光が、それぞれ入射する。

【0018】

したがって、ある画素領域に含まれる画素について、光電変換部２０１ａから読み出された信号で形成される画像と、光電変換部２０１ｂから読み出される信号で形成される画像とは視差画像対を構成する。また、視差画像対は位相差ＡＦ用の像信号（Ａ像信号およびＢ像信号）として用いることができる。さらに、光電変換部２０１ａおよび２０１ｂから読み出される信号を画素ごとに加算することで、通常の画像信号（撮像画像）を得ることができる。

【0019】

なお、本実施形態では撮像素子２２の各画素が、位相差ＡＦ用の信号を生成するための画素（焦点検出用画素）としても、通常の画像信号を生成するための画素（撮像用画素）としても機能する。しかしながら、撮像素子２２の一部の画素を専用の焦点検出用とし、他の画素を撮像用画素とした構成であってもよい。図２（ｂ）は、専用の焦点検出用画素の構成と、入射光が通過する射出瞳の領域２５３についての一例を示している。図２（ｂ）に示す構成の焦点検出用画素は、図２（ａ）の光電変換部２０１ｂと同様に機能する。実際には、図２（ｂ）に示す構成の焦点検出用画素と、図２（ａ）の光電変換部２０１ａと同様に機能する別の種類の焦点検出用画素とを撮像素子２２の全体に分散配置することにより、実質的に任意の場所及び大きさの焦点検出領域を設定することが可能になる。

【0020】

図２（ａ），（ｂ）は、記録用の画像を得るための撮像素子を位相差ＡＦ用のセンサとして用いる構成であるが、本発明は大きさおよび位置が不定の焦点検出領域を利用可能であればＡＦの方式には依存しない。例えばコントラストＡＦを用いる構成であっても本発明は実施可能である。コントラストＡＦのみを用いる場合、各画素が有する光電変換部は１つである。

【0021】

図１に戻り、Ａ／Ｄ変換器２３が出力する画像データ（ＲＡＷ画像データ）は、必要に応じて画像処理部２４で処理されたのち、メモリ制御部１５を通じてメモリ３２に格納される。メモリ３２は画像データや音声データを一時的に記憶するバッファメモリとして用いられたり、表示部２８用のビデオメモリとして用いられたりする。

【0022】

画像処理部２４は、画像データに対して予め定められた画像処理を適用し、信号や画像データを生成したり、各種の情報を取得および／または生成したりする。画像処理部２４は例えば特定の機能を実現するように設計されたＡＳＩＣのような専用のハードウェア回路であってもよいし、ＤＳＰのようなプロセッサがソフトウェアを実行することで特定の機能を実現する構成であってもよい。

【0023】

ここで、画像処理部２４が適用する画像処理には、前処理、色補間処理、補正処理、検出処理、データ加工処理、評価値算出処理などが含まれる。前処理には、信号増幅、基準レベル調整、欠陥画素補正などが含まれる。色補間処理は、画像データに含まれていない色成分の値を補間する処理であり、デモザイク処理とも呼ばれる。補正処理には、ホワイトバランス調整、画像の輝度を補正する処理、レンズユニット１５０の光学収差を補正する処理、色を補正する処理などが含まれる。検出処理には、特徴領域（たとえば顔領域や人体領域）の検出および追尾処理、人物の認識処理などが含まれる。データ加工処理には、スケーリング処理、符号化および復号処理、ヘッダ情報生成処理などが含まれる。評価値算出処理には、位相差ＡＦ用の１対の像信号やコントラストＡＦ用の評価値や、自動露出制御に用いる評価値などの算出処理が含まれる。なお、これらは画像処理部２４が実施可能な画像処理の例示であり、画像処理部２４が実施する画像処理を限定するものではない。また、評価値算出処理はシステム制御部５０が行ってもよい。

【0024】

Ｄ／Ａ変換器１９は、メモリ３２に格納されている表示用の画像データから表示部２８での表示に適したアナログ信号を生成して表示部２８に供給する。表示部２８は例えば液晶表示装置を有し、Ｄ／Ａ変換器１９からのアナログ信号に基づく表示を行う。

【0025】

動画の撮影と、撮影された動画の表示とを継続的に行うことで、表示部２８を電子ビューファインダ（ＥＶＦ）として機能させることができる。表示部２８をＥＶＦとして機能させるために表示する動画をライブビュー画像と呼ぶ。表示部２８は接眼部を通じて観察するように本体１００の内部に設けられてもよいし、接眼部を用いずに観察可能なように本体１００の筐体表面に設けられてもよい。表示部２８は、本体１００の内部と筐体表面との両方に設けられてもよい。

【0026】

システム制御部５０は例えばＣＰＵ（ＭＰＵ、マイクロプロセッサとも呼ばれる）である。システム制御部５０は、不揮発性メモリ５６に記憶されたプログラムをシステムメモリ５２に読み込んで実行することにより、本体１００およびレンズユニット１５０の動作を制御し、カメラシステムの機能を実現する。システム制御部５０は、通信端子１０および６を通じた通信によってレンズシステム制御回路４に様々なコマンドを送信することにより、レンズユニット１５０の動作を制御する。

【0027】

不揮発性メモリ５６は書き換え可能であってよい。不揮発性メモリ５６は、システム制御部５０が実行するプログラム、カメラシステムの各種の設定値、ＧＵＩ（Graphical User Interface）の画像データなどを記憶する。システムメモリ５２は、システム制御部５０がプログラムを実行する際に用いるメインメモリである。

【0028】

システム制御部５０はその動作の一部として、画像処理部２４または自身が生成した評価値に基づく自動露出制御（ＡＥ）処理を行い、撮影条件を決定する。撮影条件は例えば静止画撮影であればシャッター速度、絞り値、感度である。システム制御部５０は、設定されているＡＥのモードに応じて、シャッター速度、絞り値、感度の１つ以上を決定する。システム制御部５０はレンズユニット１５０の絞り機構の絞り値（開口量）を制御する。また、システム制御部５０は、メカニカルシャッタ１０１の動作も制御する。

【0029】

また、システム制御部５０は、画像処理部２４または自身が生成した評価値もしくはデフォーカス量に基づいてレンズユニット１５０のフォーカスレンズを駆動し、レンズ群１０３を焦点検出領域内の被写体に合焦させる自動焦点検出（ＡＦ）処理を行う。

【0030】

システムタイマー５３は内蔵時計であり、システム制御部５０が利用する。
操作部７０はユーザが操作可能な複数の入力デバイス（ボタン、スイッチ、ダイヤルなど）を有する。操作部７０が有する入力デバイスの一部は、割り当てられた機能に応じた名称を有する。シャッターボタン６１、モード切り替えスイッチ６０、電源スイッチ７２は便宜上、操作部７０と別に図示ししているが、操作部７０に含まれる。表示部２８がタッチディスプレイである場合、タッチパネルもまた操作部７０に含まれる。操作部７０に含まれる入力デバイスの操作はシステム制御部５０が監視している。システム制御部５０は、入力デバイスの操作を検出すると、検出した操作に応じた処理を実行する。

【0031】

シャッターボタン６１は半押し状態でＯＮする第１シャッタースイッチ（ＳＷ１）６２と、全押し状態でＯＮする第２シャッタースイッチ（ＳＷ２）６４とを有する。システム制御部５０は、ＳＷ１ ６２のＯＮを検出すると、静止画撮影の準備動作を実行する。準備動作には、ＡＥ処理やＡＦ処理などが含まれる。また、システム制御部５０は、ＳＷ２ ６４のＯＮを検出すると、ＡＥ処理で決定した撮影条件に従った静止画の撮影および記録動作を実行する。

【0032】

また、本実施形態の操作部７０は、ユーザの視線方向を検出する視線検出部７０１を有している。視線検出部７０１はユーザが直接操作する部材ではないが、視線検出部７０１が検出した視線の方向を入力として取り扱うため、操作部７０に含めている。

【0033】

図３は、ファインダ内に設ける視線検出部７０１の構成例を模式的に示す側面図である。視線検出部７０１は、本体１００の内部に設けられた表示部２８をファインダのアイピースを通じて見ているユーザの眼球５０１ａの光軸の回転角を視線の方向として検出する。検出された視線の方向に基づいて、ユーザが表示部２８で注視している位置（表示画像中の注視点）を特定することができる。

【0034】

表示部２８には例えばライブビュー画像が表示され、ユーザはアイピースの窓を覗き込むことにより、表示部２８の表示内容を接眼レンズ７０１ｄおよびダイクロックミラー７０１ｃを通じて観察することができる。光源７０１ｅは、アイピースの窓方向（本体１００の外部方向）に赤外光を発することができる。ユーザがファインダを覗いている場合、光源７０１ｅが発した赤外光は眼球５０１ａで反射されてファインダ内に戻ってくる。ファインダに入射した赤外光はダイクロックミラー７０１ｃで受光レンズ７０１ｂ方向に反射される。

【0035】

受光レンズ７０１ｂは、赤外光による眼球像を撮像素子７０１ａの撮像面に形成する。撮像素子７０１ａは赤外光撮影用のフィルタを有する２次元撮像素子である。視線検出用の撮像素子７０１ａの画素数は撮影用の撮像素子２２の画素数よりも少なくてよい。撮像素子７０１ａによって撮影された眼球画像はシステム制御部５０に送信される。システム制御部５０は、眼球画像から赤外光の角膜反射の位置と瞳孔の位置とを検出し、両者の位置関係から視線方向を検出する。また、システム制御部５０は、検出した視線方向に基づいて、ユーザが注視している表示部２８の位置（表示画像中の注視点）を検出する。なお、眼球画像から角膜反射の位置と瞳孔の位置を画像処理部２４で検出し、システム制御部５０は画像処理部２４からこれらの位置を取得してもよい。

【0036】

なお、本発明は視線検出の方法や視線検出部の構成には依存しない。したがって、視線検出部７０１の構成は図３（ａ）に示したものに限定されない。例えば、図３（ｂ）に示すように、本体１００の背面に設けられた表示部２８の近傍に配置されたカメラ７０１ｆにより得られた撮像画像に基づいて視線を検出してもよい。点線で示すカメラ７０１ｆの画角は、表示部２８を見ながら撮影を行うユーザの顔が撮影されるように定められている。カメラ７０１ｆで撮影した画像から検出した目領域の画像に基づいて視線の方向を検出することができる。赤外光の画像を用いる場合にはカメラ７０１ｆの近傍に配置した光源７０１ｅで画角内の被写体に赤外光を投写して撮影を行えばよい。得られた画像から視線の方向を検出する方法は図３（ａ）の構成と同様でよい。また、可視光の画像を用いる場合には光を投射しなくてもよい。可視光の画像を用いる場合には、目領域の目頭と虹彩の位置関係などから視線の方向を検出することができる。

【0037】

再び図１に戻り、電源制御部８０は、電池検出回路、ＤＣ－ＤＣコンバータ、通電するブロックを切り替えるスイッチ回路等により構成され、電池の装着の有無、電池の種類、電池残量の検出を行う。また、電源制御部８０は、検出結果及びシステム制御部５０の指示に基づいてＤＣ－ＤＣコンバータを制御し、必要な電圧を必要な期間、記録媒体２００を含む各部へ供給する。

【0038】

電源部３０は、電池やＡＣアダプター等からなる。Ｉ/Ｆ１８は、メモリカードやハードディスク等の記録媒体２００とのインターフェースである。記録媒体２００には、撮影された画像や音声などのデータファイルが記録される。記録媒体２００に記録されたデータファイルはＩ／Ｆ１８を通じて読み出され、画像処理部２４およびシステム制御部５０を通じて再生することができる。

【0039】

通信部５４は、無線通信および有線通信の少なくとも一方による外部機器との通信を実現する。撮像素子２２で撮像した画像（ライブビュー画像を含む）や、記録媒体２００に記録された画像は、通信部５４は通じて外部機器に送信可能である。また、通信部５４を通じて外部機器から画像データやその他の各種情報を受信することができる。

【0040】

姿勢検知部５５は重力方向に対する本体１００の姿勢を検知する。姿勢検知部５５は加速度センサ、または角速度センサであってよい。システム制御部５０は、撮影時に姿勢検知部５５で検知された姿勢に応じた向き情報を、当該撮影で得られた画像データを格納するデータファイルに記録することができる。向き情報は、例えば記録済みの画像を撮影時と同じ向きで表示するために用いることができる。

【0041】

本実施形態の本体１００は、画像処理部２４が検出した特徴領域が適切な画像となるように各種の制御を実施することが可能である。このような制御には以下の様なものがある。特徴領域に合焦させる自動焦点検出（ＡＦ）、特徴領域が適正露出となるような自動露出制御（ＡＥ）、特徴領域のホワイトバランスが適切になるような自動ホワイトバランス、および特徴領域の明るさが適切になるような自動フラッシュ光量調整。ただし、これらに限定されない。画像処理部２４（領域検出手段）は例えばライブビュー画像に対して公知の方法を適用して、予め定められた特徴に当てはまると判定される領域を特徴領域として検出し、各特徴領域の位置、大きさ、信頼度といった情報をシステム制御部５０に出力する。本発明は特徴領域の種類や検出方法には依存せず、また特徴領域の検出には公知の方法を利用可能であるため、特徴領域の検出方法についての説明は省略する。

【0042】

また、特徴領域は、被写体情報を検出するためにも用いることができる。特徴領域が顔領域の場合、被写体情報としては、例えば、赤目現象が生じているか否か、目をつむっているか否か、表情（例えば笑顔）などがあるが、これらに限定されない。

【0043】

本実施形態では、大きさおよび位置が不定である複数の画像領域の一例としての複数の特徴領域から、各種の制御に用いたり、被写体情報を取得したりするための１つの特徴領域（以下、主被写体領域と呼ぶ）を、ユーザが視線を用いて選択することを支援する。以下、検出されたユーザの視線を視線入力と呼ぶ。

【0044】

［視線入力の特徴］
スイッチやボタンの操作による入力に対する視線入力の特徴は、以下の２点である。１点目は、視線入力の場合、視線入力の方向（視線方向）が常に検出されているため、ユーザ指示の入力タイミングが特定できないことである。例えば、ボタン操作であれば、ボタン操作が検出されたタイミングをユーザ指示のタイミングと見なすことができる。しかし、視線方向は継続的に検出され、また変化するため、どの時点の視線方向がユーザの意図した視線方向かを判定することができない。

【0045】

２点目は、生体由来であることによる視線方向の不安定さである。ある一点を注視しているつもりでも、眼球が微小に移動したり、無意識に視線を外してしまったりすることがある。したがって、画像中の注視点を特定するためには、ある時間にわたって検出された視線方向を統計的に処理する必要がある。

【0046】

［視線入力による主被写体（または主被写体領域）の選択方法の概要］
本実施形態では、検出された特徴領域ごとに視線判定領域を設定する。そして、視線判定領域内に注視点の位置が存在する時間を、その視線判定領域に対応する特徴領域に対する注視時間として算出する。そして、注視時間が最初に閾値を超えた視線判定領域に対応する特徴領域を、ユーザが選択した主被写体領域と見なす。なお、主被写体領域の選択は、写っている被写体の選択でもあるため、主被写体の選択とも言える。

【0047】

図４（ａ）は、特徴領域として顔領域を検出する構成において、画像中に２つの顔３５１、３６１が存在し、画像処理部２４（領域検出手段）が顔領域３５２、３６２を検出した例を模式的に示している。図４（ａ）では顔領域３５２、３６２に対する視線判定領域３５３、３６３と、特徴領域に対応しない視線判定領域３７３とが設定されている。視線判定領域の設定方法に関しては後で詳しく説明する。

【0048】

図４（ｂ）には、検出した注視点に基づく注視時間の経時変化と主被写体（領域）の判定との例を示している。図４（ｂ）は、システム制御部５０が管理するシステムメモリ５２内の領域に記憶された値の時系列的な変化を示す。ここでは、ライブビュー画像の各フレームについて、特徴領域の検出および注視点の検出を行うものとする。図４（ｂ）には第１フレームから第６フレームについて、各フレームで検出された注視領域と、視線判定領域ごとの累積注視時間、主被写体の判定結果が示されている。なお、注視領域とは注視点の位置を含んでいる視線判定領域である。また、図４（ｂ）に示す例では、注視時間の閾値（フレーム数）が３であり、第１フレームで視線判定領域が設定されたものとする。

【0049】

第１フレームでは、視線判定領域３５３が注視領域であったため、システム制御部５０は視線判定領域３５３の注視時間を１（フレーム）に更新する。システム制御部５０は、注視領域以外の視線判定領域については注視時間を更新しない。第２フレームでも視線判定領域３５３が注視領域であったため、システム制御部５０は視線判定領域３５３の注視時間を２（フレーム）に更新する。第３フレームで、注視領域が視線判定領域３７３に変化し、システム制御部５０は視線判定領域３７３の注視時間を１（フレーム）に更新する。第４フレームでは、視線判定領域３６３が注視領域に変化し、システム制御部５０は視線判定領域３６３の注視時間を１（フレーム）に更新する。第５フレームでは、注視領域が視線判定領域３５３に変化し、システム制御部５０は視線判定領域３５３の注視時間を３に更新する。

【0050】

この時点で、視線判定領域３５３の注視時間が閾値以上となったため、システム制御部５０は、視線判定領域３５３に対応する被写体３５１を主被写体と判定する。また、主被写体が設定（変更）すると、システム制御部５０はすべての視線判定領域に対する注視時間を０（フレーム）にリセットする。第６フレームでは、注視領域が視線判定領域３５３のままであり、システム制御部５０は視線判定領域３５３の注視時間を１（フレーム）に更新する。第６フレームでは注視時間が閾値以上である視線判定領域が存在しないため、主被写体は第５フレームと同様に被写体３５１のままである。

【0051】

このように、いずれかの視線判定領域の注視時間が閾値以上になると、全ての視線判定領域の注視時間をリセットする。なお、特徴領域に対応しない視線判定領域３７３の注視時間が閾値以上になった場合、システム制御部５０は全ての視線判定領域の注視時間をリセットする。この際、主被写体についての判定結果は変更しなくてよい。これにより、意図しない被写体を注視してしまっても、特徴領域以外の領域を注視するように視線方向を変えることにより、ユーザが注視時間をリセットすることができる。また、特徴領域に対応しない視線判定領域３７３の注視時間が閾値以上になった場合、注視時間をリセットするだけでなく、主被写体の選択結果についてもリセットしてもよい。この場合、ユーザがいずれの特徴領域も注視していないと主被写体が選択されなくなるため、ユーザが被写体を注視しているか否かを常に検出することができる。

【0052】

［特徴領域を視線判定領域とした場合に生じる課題］
次に、図５を用いて、特徴領域をそのまま視線判定領域として設定した場合に生じる課題について説明する。図５（ａ）は、特徴領域として３つの顔領域３０１～３０３が検出された例を示している。図５（ａ）に示す例においては、被写体距離の違いにより、顔領域３０３が顔領域３０１、３０２よりも大きい。このように、特徴領域の大きさに差がある場合、特徴領域をそのまま視線判定領域として設定すると、大きな特徴領域に対応する被写体と比較して小さな特徴領域に対応する被写体の選択が難しくなる。また、特徴領域の大きさに差が無くても、特徴領域が小さくなると被写体の選択が難しくなる。

【0053】

［本実施形態による視線判定領域の設定］
一方、図５（ｂ）は、図５（ａ）と同様の特徴領域に対する本実施形態における視線判定領域の設定例を示している。図５（ｂ）に示す例では、全ての特徴領域３０１～３０３に対して同じ大きさの視線判定領域３０４～３０６を設定している。これにより、被写体間の選択容易性の差を抑制するとともに、特徴領域の小さな被写体に対する選択を容易にすることができる。ここでは、特徴領域よりも小さい視線判定領域を設定する場合には特徴領域と中心座標が等しくなるようにしている。また、特徴領域よりも大きな視線判定領域を設定する場合には、特徴領域を包含し、中心座標ができるだけ特徴領域の中心座標と近くなるようにしている。なお、視線判定領域は互いに重複しないように設定する。

【0054】

なお、図５（ｂ）では本実施形態における視線判定領域の設定方法の一例として、全ての特徴領域に対して同一の大きさの視線判定領域を設定する例を示した。しかしながら、特徴領域の大きさの差に起因する選択容易性の差を抑制可能であるか、特徴領域の絶対的な大きさが小さいことに起因する選択容易性を改善可能であれば、全ての特徴領域に対して同一の大きさの視線判定領域を設定しなくてもよい。

【0055】

例えば、所定の下限値を下回る大きさを有する特徴領域については特徴領域よりも大きな特定の大きさ（例えば下限値に等しい大きさ）の視線判定領域を設定し、下限値以上の大きさを有する特徴領域についてはそのまま視線判定領域として設定してもよい。また、所定の上限値以上の大きさを有し、かつ次に大きな特徴領域との大きさとの差が閾値以上である特徴領域については、特徴領域よりも小さな特定の大きさ（例えば上限値に等しい大きさ）の視線判定領域を設定してもよい。また、視線判定領域の大きさを、特徴領域の位置や大きさに応じて動的に定めてもよい。視線判定領域の設定動作の詳細については後でさらに説明する。

【0056】

［視線入力による主被写体の選択動作］
次に、本実施形態における視線入力による主被写体の選択動作に関して、図６～図８（ｂ）に示すフローチャートを用いて説明する。この動作は例えば撮影スタンバイ状態において表示部２８にライブビュー画像が表示されている際に、ライブビュー画像の生成や表示に関する動作を並行して実行することができる。

【0057】

Ｓ１において画像処理部２４（領域検出手段）において特徴領域の検出処理を実行する。画像処理部２４は検出した特徴領域の数や、個々の特徴領域の情報（例えば大きさ、位置、信頼度など）をシステム制御部５０に出力する。特徴領域は人物の顔検出に限らず、人体領域、瞳領域、動物の顔領域、乗り物領域など、パターンマッチングなど公知の技術によって検出可能な任意の特徴領域であってよい。また、特徴領域の候補の検出のみを行ってもよい。

【0058】

Ｓ２においてシステム制御部５０（設定手段）は、視線判定条件（視線判定領域の位置および大きさ、注視時間の閾値）を設定する。視線判定条件の設定動作の詳細については後述する。
Ｓ３においてシステム制御部５０は、Ｓ２で決定した視線判定領域の位置および大きさを表す指標（例えば枠）を、ライブビュー画像に重畳して表示部２８に表示する。このとき、特徴領域と視線判定領域との対応関係が把握できるように、特徴領域についても位置および大きさを示す指標をライブビュー画像に重畳して表示部２８に表示してもよい。特徴領域を表す指標と、視線判定領域を表す指標とは視覚的に区別できるように指標もしくは表示形態を異ならせる。なお、特徴領域だけをユーザに通知し、視線判定領域はユーザに通知せずに内部処理で用いるだけとしてもよい。

【0059】

Ｓ４においてシステム制御部５０（視線検出手段）は、視線検出部７０１から画像を取得し、図３に関して説明したようにして視線方向を検出する。さらに、システム制御部５０は、検出した視線方向に基づいて、ユーザが注視している表示部２８もしくはライブビュー画像中の位置（注視点の位置）を特定する。

【0060】

Ｓ５においてシステム制御部５０は、Ｓ２で設定した視線判定領域と、Ｓ４で検出した注視点の位置とから、ユーザが注視している視線判定領域を特定する。そして、システム制御部５０は、図４に関して説明したように、注視時間の更新またはリセット、および主被写体の判定または変更といった主被写体の更新処理を行う。主被写体の更新処理の詳細については後述する。

【0061】

Ｓ６でシステム制御部５０は、例えばＳＷ１ ６２のＯＮまたはＳＷ２ ６４のＯＮを検出したり、視線の検出ができないといった、終了条件が満たされたか否かを判定する。システム制御部５０は、終了条件が満たされたと判定された場合にはその時点で判定されている主被写体が選択されたものとして処理を終了する。一方、システム制御部５０は、終了条件が満たされたと判定されない場合には処理をＳ１に戻す。

【0062】

なお、特徴領域の検出を行うフレームレートＦ１と、視線検出を行うフレームレートＦ２が異なる場合、フレームレートＦ１でＳ１～Ｓ３を実施し、フレームレートＦ２でＳ４、Ｓ５を実施してもよい。

【0063】

［視線判定条件の設定］
次に、図６のＳ２で行う視線判定条件の設定の詳細に関して説明する。ここでは視線判定領域を正方形状とし、位置として中心位置を決定するものとするが、これらは単なる例示であり、他の形状としたり、他の位置を決定してもよい。

【0064】

図５に関して説明したように、視線判定領域が小さいと、対応する被写体を視線入力によって選択することが難しくなる。そのため、全ての特徴領域に対してある程度以上の大きさを有する視線判定領域を設定することが望ましい。しかし、大きさが閾値以下の特徴領域について、中心位置が特徴領域と同一で、閾値より大きい所定の大きさの視線判定領域を設定すると、近接する複数の特徴領域についての視線判定領域が重複することが起こりうる。

【0065】

視線判定領域の中心位置を対応する特徴領域の中心位置からずらして設定することが考えられるが、中心位置間のずれが大きくなると、視線判定領域と特徴領域との対応関係が不明確になり、ユーザを混乱させるおそれがある。

【0066】

このような観点から、本実施形態では、システム制御部５０は、まず、特徴領域と中心位置が等しく、他の視線判定領域と重複しない大きさの視線判定領域を仮設定する。そして、システム制御部５０は、仮設定した視線判定領域の大きさが予め定められた下限値を超える場合には、仮設定した視線判定領域を最終的な視線判定領域として設定する。一方、仮設定した視線判定領域の大きさが下限値を下回る場合、システム制御部５０は、大きさを下限値に変更した上で、視線判定領域の位置を変更する。具体的には、システム制御部５０は、閾値以下の移動量で、他の視線判定領域と重複しない位置を探索し、位置を決定する。このように、仮設定した視線判定領域の大きさが下限値を下回る場合、システム制御部５０は、下限値の大きさを有し、中心位置が対応する特徴領域の中心位置からずれた視線判定領域を設定する。本実施形態によれば、位置や大きさが不定の特徴領域に対し、視線による選択容易性を確保した視線判定領域を設定することができる。

【0067】

具体的な視線判定領域の設定動作に関して、図７～図８（ｂ）のフローチャートを用いてさらに説明する。なお、図４（ａ）に示した視線判定領域３７３のような、特徴領域に対応しない視線判定領域は、ここで説明する動作とは別に設定される。Ｓ２１においてシステム制御部５０は、特徴領域のそれぞれについて、視線判定領域を仮設定する。仮設定に関して図８（ａ）のフローチャートを用いてさらに説明する。ここでは説明を簡単にするために、水平方向のみを考慮して視線判定領域の大きさを決定するものとするが、水平方向と垂直方向の両方を考慮してもよい。

【0068】

システム制御部５０は、他の視線判定領域との重複が発生しない範囲で最大の大きさを有する視線判定領域を仮設定する。まず、Ｓ２１１でシステム制御部５０は、検出されている全ての特徴領域間の距離を算出する。ここでは、特徴領域の中心位置の水平方向における最短距離を算出する。そして、Ｓ２１２でシステム制御部５０は、算出した最短距離を水平方向の大きさとする視線判定領域を仮設定する。つまり、仮設定される視線判定領域の大きさは特徴領域の大きさによらず一定である。本実施形態では視線判定領域は正方形であるため、垂直方向においても水平方向と同じ大きさを有する。なお、この時点では、算出した最短距離の大きさについては考慮しない。

【0069】

このようにして視線判定領域の大きさを決定することにより、少なくとも水平方向において他の視線判定領域と重複しない視線判定領域を仮設定することができる。なお、垂直方向についても考慮する場合、例えば特徴領域の中心位置間の垂直方向および水平方向における最短距離のうち小さい方を、視線判定領域の大きさとして用いることができる。

【0070】

なお、対応する特徴領域の大きさとの差が大きい（例えば水平方向の大きさの比が閾値以上の）視線判定領域については、大きさを変更してもよい。例えば、視線判定領域が特徴領域に対して小さすぎる場合には大きく、大きすぎる場合には小さくすることができる。例えば、特徴領域の大きさを１とした視線判定領域の大きさの最大値および最小値を予め定めておき、仮設定時の大きさが最大値を上回る場合には最大値に、最小値を下回る場合には最小値に、それぞれ大きさを調整してもよい。

【0071】

特徴領域と、仮設定された視線判定領域との一例を図９（ａ）に示す。図９（ａ）は、図５（ａ）と同様に３つの顔領域が特徴領域として検出されている例を示している。図９（ａ）において、特徴領域３０１～３０３に対し、視線判定領域３０７～３０９が仮設定されている。図９（ａ）の例において、中心位置間の距離が最短なのは特徴領域３０１と３０２である。視線判定領域の大きさを特徴領域３０１と３０２の中心間距離に等しく設定しているため、視線判定領域３０７および３０８は水平方向に接している。

【0072】

図７に戻り、Ｓ２３でシステム制御部５０は、仮設定した視線判定領域の大きさが予め定められた下限値よりも小さいか否かを判定する。仮設定した視線判定領域の大きさがいずれも下限値以上と判定されれば、システム制御部５０は、仮設定した視線判定領域を最終的な視線判定領域として、処理をＳ２６に進める。一方、仮設定した視線判定領域に下限値より小さいものがあると判定された場合、システム制御部５０は処理をＳ２４に進める。

【0073】

なお、Ｓ２３で用いる下限値とは、視線入力による選択が困難でない視線判定領域の大きさとして予め定められた値である。下限値は、視線検出部７０１の検出精度や、ユーザ間の視線方向のばらつきなどを考慮し、十分な視線入力精度を実現できる値として例えば実験的に定めることができる。ここでは、図９（ａ）に示した、仮設定した視線判定領域３０７～３０９の大きさが同一であり（調整されておらず）、かつ下限値よりも小さいものとする。

【0074】

Ｓ２４でシステム制御部５０は、仮設定した視線判定領域のうち、下限値よりも小さいものの大きさを下限値に変更する。図９（ｂ）に、視線判定領域３０７～３０９の大きさを下限値に変更した視線判定領域３１０～３１２を示す。視線判定領域の大きさを下限値となるように増加させると、視線判定領域３１０と３１１のように互いに重複する視線判定領域が発生しうる。

【0075】

Ｓ２５でシステム制御部５０は、Ｓ２４により生じた視線判定領域間の重複を解消するために、視線判定領域の位置を調整する。位置調整の詳細について、図８（ｂ）に示すフローチャートを用いて説明する。

【0076】

Ｓ２５１でシステム制御部５０は、視線判定領域に重複が発生しているか否かを判定し、発生していると判定されればＳ２５２へ、判定されなければＳ２５６へ、それぞれ処理を進める。

【0077】

Ｓ２５２でシステム制御部５０は、重複している２つの視線判定領域を選択する。なお、図９（ｂ）に示す例では重複は１か所のみであるが、重複した視線判定領域が複数組存在する場合には、例えば中心位置間の距離が大きい組から１組ずつ選択することができる。これは、中心位置間の距離が大きい視線判定領域ほど少ない調整量で重複を解消でき、最終的により多くの重複を解消できると考えられるためである。

【0078】

中心位置間の距離が小さい視線判定領域は、密集した特徴領域に設定されている可能性が高く、１つの重複を解消するように視線判定領域の位置を調整すると、別の重複を発生させる可能性が高いことが予想される。また、全ての重複が解消できても、視線判定領域が密集していることから、視線によって所望の領域を選択することが容易でないことが予想される。そのため、重複した視線判定領域が複数組存在する場合には、中心位置間の距離が大きい組から位置を調整する。

【0079】

Ｓ２５３でシステム制御部５０は、選択した２つの視線判定領域の位置を変更する。図９（ｂ）に示した例では、システム制御部５０は、視線判定領域３１０と３１１の位置を、中心位置間の距離が大きくなるように水平方向に移動させる。なお本実施形態では水平方向のみを考慮しているため水平方向に移動させている。水平方向と垂直方向を考慮する場合には垂直方向にも移動させてもよい。

【0080】

なお、ここでは特徴領域と視線判定領域との中心位置間のずれを小さくするため、２つの視線判定領域の両方について位置を変更している。しかし、特徴領域と視線判定領域との中心位置間のずれが予め定められた範囲内に収まる場合には、一方の視線判定領域についてのみ位置を変更してもよい。Ｓ２５３において、視線判定領域３１０を水平左方向に、視線判定領域３１１を水平右方向に移動させて重複を解消した状態が、図５（ｂ）に示す状態である。

【0081】

Ｓ２５４でシステム制御部５０は、Ｓ２５３における位置の調整により、視線判定領域間に新たな重複が発生したか否かを判定し、発生したと判定されればＳ２５５へ処理を進め、判定されなければＳ２５１に処理を戻す。

【0082】

Ｓ２５５でシステム制御部５０は、重複しないように視線判定領域の位置を調整することができないと判定して、処理を終了する。この場合、他の視線判定領域と重複していない視線判定領域については有効とし、他の視線判定領域と重複している視線判定領域には無効とすることができる。無効とされた視線判定領域に対応する特徴領域は、視線を用いて選択することができない。

【0083】

Ｓ２５６でシステム制御部５０は、視線判定領域間の重複が存在しないと判定して、処理を終了する。

【0084】

図７に戻り、Ｓ２６においてシステム制御部５０は、注視時間の閾値を設定する。注視時間の閾値が長いと主被写体が切り替わりにくく、短いと主被写体が切り替わりやすくなる。注視時間の閾値は、すべての被写体（特徴領域）に共通であってよい。

【0085】

しかしながら、閾値を特徴領域に応じて異ならせてもよい。例えば、小さい特徴領域には別の小さな特徴領域が隣接する可能性が高い。そのため、小さい特徴領域には大きな特徴領域よりも注視時間の閾値を長くして、頻繁に主被写体が切り替わることを避けてもよい。あるいは、大きい特徴領域はユーザが意図している被写体である可能性が高いため、注視時間の閾値を短く設定して、短時間で主被写体になるようにしてもよい。また、注視時間の閾値を長くするか短くするかはユーザが例えばメニュー画面から設定可能としてもよい。

【0086】

［主被写体の更新のフローチャート］
次に、図６のＳ５で行う主被写体の更新動作の詳細について、図１０に示すフローチャートを用いて説明する。図４に関して説明したように、システム制御部５０は、Ｓ２で設定した視線判定条件とＳ４で検出した注視点の位置とに基づいて、視線判定領域ごとに注視時間を更新する。そして、注視時間が閾値に達したことに応じてシステム制御部５０は主被写体を更新する。

【0087】

Ｓ５１においてシステム制御部５０は、全ての視線判定領域について、注視時間を更新済みか否かを判定し、更新済みと判定されればＳ５８へ、判定されなければＳ５２へ処理を進める。なお、ここでは、特徴領域に対応しない視線判定領域（図４（ａ）の視線判定領域３７３）についても判定の対象とする。

【0088】

Ｓ５２においてシステム制御部５０は、注視時間が更新されていない視線判定領域を１つ選択する。
Ｓ５３においてシステム制御部５０は、Ｓ４において検出された注視点の位置が、選択した視線判定領域内に存在するか否かを判定し、存在すると判定されればＳ５４へ、判定されなければＳ５５へ処理を進める。

【0089】

Ｓ５４においてシステム制御部５０は、選択した視線判定領域の注視時間を更新する。本実施形態では注視時間の単位をフレーム数としているため、システム制御部５０は、選択した視線判定領域に対応するカウント値を１増加させる。
Ｓ５５においてシステム制御部５０は、選択した視線判定領域の注視時間が第１の閾値以上であると判定されればＳ５６へ処理を進め、判定されなければＳ５１へ処理を戻し、次の視線判定領域について注視時間の更新動作を行う。

【0090】

Ｓ５６においてシステム制御部５０（選択手段）は、選択した視線判定領域に対応する被写体を主被写体として選択する。ただし、選択した視線判定領域がいずれの特徴領域にも対応していない視線判定領域だった場合、システム制御部５０は、主被写体を変更しないか、主被写体が選択されていない状態に変更する。主被写体を変更しない場合、ユーザが特徴領域以外の領域を見ても主被写体が変化しないようにすることができる。例えば、風景写真の撮影時など、ユーザが構図を決めるために主被写体以外を見るような状況に適している。一方、主被写体がない状態に変更する場合、ユーザが主被写体を頻繁に切り替える状況（例えば被写体がフレームイン、フレームアウトしやすい状況）に適している。したがって、いずれの特徴領域にも対応していない視線判定領域についての注視時間が閾値を超えた場合の動作について、システム制御部５０は選択されている撮影モードや撮影シーンの認識結果などに応じて決定してもよい。

【0091】

Ｓ５７においてシステム制御部５０は、全ての視線判定領域について注視時間を０にリセットし、主被写体の更新動作を終了する。
Ｓ５８においてシステム制御部５０は、主被写体を変更することなく更新動作を終了する。

【0092】

以上説明したように本実施形態では、大きさおよび位置が不定な複数の画像領域のそれぞれに対し、画像領域の大きさにかかわらず、少なくとも予め定められた下限値の大きさを有する視線判定領域を設定するようにした。そのため、小さな画像領域に対しても視線を用いた安定的な選択を実現することができる。

【0093】

●（第２実施形態）
次に、本発明の第２実施形態について説明する。本実施形態では、被写体の特性を考慮して、視線判定条件を設定する。例えば、学習済みの畳み込みニューラルネットワーク等を用いることにより、風景、集合写真、サッカーなど、撮影しようとしているシーンを判別したり、人物の部位（頭部、瞳、手、足など）や姿勢を検出したりすることが可能である。被写体の特性に適切な視線判定条件を自動で設定することにより、視線を用いた快適な入力操作を実現することができる。本実施形態では、被写体の特性の例として、（１）動きおよび（２）注目部位を考慮して視線判定条件を設定する。以下の説明において、特に説明されていない構成および動作については第１実施形態と共通である。

【0094】

また、被写体の種類についても考慮して視線判定条件を設定する。本実施形態では、画像処理部２４が特定の被写体の検出器を有し、不揮発性メモリ５６には検出結果に対応した視線判定条件を示すテーブルが予め記憶されているものとする。ここでは画像処理部２４が人物、動物、電車という３種類の被写体それぞれに対する検出器を有し、不揮発性メモリ５６がそれぞれの種類の被写体に対する視線判定条件を記憶したテーブルを記憶しているものとする。システム制御部５０は、画像検出部２４から被写体が動物であるとの検出結果が与えられた場合、動物に適した視線判定条件を不揮発性メモリ５６から取得して設定する。なお、被写体の動きのように、必要な際に算出可能な特性に基づいて視線判定条件を設定する場合には、視線判定条件を予め記憶しておく必要は無い。

【0095】

［被写体の動き特性の活用］
被写体の動き特性に応じた視線判定条件を用いることにより、快適な視線入力操作を実現することができる。動きが速い被写体はフレームインしてからフレームアウトするまでの時間が短い。そのため、動きが速い被写体に対しては、注視時間の閾値を短くすることで、主被写体の選択を容易にすることができる。動きの速い被写体には例えば、レーシングカー、電車、飛行機、動物、子供などがある。そのため、画像処理部２４においてこれらの被写体が検出された場合には、注視時間の閾値を短く設定し、すぐに主被写体選択ができるようにする。

【0096】

また、視線判定領域を大きくすることにより、被写体の表示に対して視線判定領域の設定、表示に遅延が発生した場合でも、安定した視線入力操作を実現することができる。具体的には、図７のＳ２３、Ｓ２４で用いる下限値を大きい値に設定することで、表示遅延に対するマージンを設けられる。

【0097】

一方、動きが遅い、もしくは静止している被写体に対しては、注視時間の閾値を長くした方がよい。注視時間の閾値が短いと、ユーザが画角内の様々な場所を見ながら構図を決定する最中に主被写体が切り替わりやすくなり使い勝手が悪い。このような被写体（シーン）には例えば、集合写真や風景写真などが含まれる。そのため、画像処理部２４においてこれらの被写体やシーンが検出された場合や、被写体の動きが遅い（閾値未満）場合には、注視時間の閾値を長く設定する。

【0098】

また、視線判定領域を小さくすることにより、構図を決めるために視線を動かしても、意図しない主被写体が選択されにくくすることができる。具体的には、図６のＳ３において、視線判定領域を設定した後に、下限値以上の大きさの視線判定領域を一律の割合で小さくする方法が考えられる。ただし、視線判定領域の大きさが下限値未満になってしまう場合は下限値に設定する。

【0099】

なお、ここで説明した注視時間の閾値の調整は、基準となる注視時間の閾値に対して短く、もしくは長くすることができる。基準となる注視時間の閾値は、予め定められた標準値であってよいが、それに限定されない。

【0100】

［動きの速い被写体に対する過去の注視点位置の活用］
また、動きが速い被写体に対しては、視線判定領域を設定する前に注視点の位置を検出してもよい。視線判定領域が設定されてから注視点の位置の検出を開始すると、主被写体が最初に選択されるまでに最低でも注視時間の閾値に等しい時間を要する。そのため、主被写体が選択されるまでの間にシャッターチャンスを逃すことが起こりうる。

【0101】

そのため、被写体の動きが速い（例えば閾値以上である）場合、システム制御部５０は、視線判定領域を設定する前に検出された注視点の位置の時系列データについて、直近の所定数のデータの移動平均を直前の注視点の位置として毎フレーム算出する。そして、システム制御部５０は、視線判定領域を設定すると、直前の注視点の位置を含む視線判定領域に対応する被写体を主被写体として直ちに選択する。これにより、主被写体が最初に選択されるまでのタイムラグを短縮することができる。なお、被写体の動きが速い場合には、特徴領域をそのまま視線判定領域として用い、視点判定領域の大きさや位置の調整に要する時間を削減してもよい。

【0102】

なお、被写体の種類により、このような制御を行うか否かを切り替えてもよい。例えば、被写体の動きが速くても、特徴領域として人物の瞳領域を検出する場合には直前の注視点の位置を用いず、特徴領域として動物の瞳領域を検出する場合には直前の注視点の位置を用いるようにしてもよい。また、被写体の他の特性に応じて直前の注視点の位置を用いるか否かを切り替えてもよい。

【0103】

［ユーザが着目する部位情報の活用］
特徴領域のうちユーザが注視する部位が偏っている場合がある。例えば、特徴領域が顔領域である場合、ユーザは、顔領域内の目、すなわち顔領域の上半分を注視する可能性が高い。また、特徴領域が人物の全身領域である場合、ユーザは全身領域のうち頭部、すなわち全身領域の上端部を注視する可能性が高い。

【0104】

そのため、図７のＳ２１で視線判定領域を仮設定する際に、視線判定領域の中心位置を特徴領域の中心位置からユーザが注視する可能性が高い領域の方向にずらしてもよい。例えば、特徴領域が顔領域であれば、仮設定する視線判定領域の中心位置を、視線判定領域の縦方向の大きさの所定割合（例えば２５％）、上方向にずらすことなどが考えられる。なお、中心位置のずらし量または割合は、特徴領域の種類に応じて予め定めておくことができる。

【0105】

視線判定領域の中心位置をユーザが注視する傾向を考慮して設定した場合、対応する特徴領域との関係が分かりづらくなる場合がある。そのため、視線判定領域を表す指標を図４（ａ）や図５（ｂ）のように表示する場合には、ユーザが注視する傾向を考慮しない状態での中心位置を用いてもよい。

【0106】

また、注視する部位と、ピントを合わせたい部位が異なる場合がある。例えば、サッカーシーンを撮影する場合、選手の瞳にピントを合わせたいが、ボールを注視しているような場合が考えられる。このような場合、図７のＳ２１の視線判定領域の大きさ算出において、ユーザが注視する傾向を加味して、視線判定領域の大きさを設定することができる。

【0107】

一方、検出された特徴領域のうち、ユーザがピントを合わせる可能性が高い部位のみを用いて、焦点検出を行ってもよい。例えば、サッカーシーンで全身領域が検出されている場合、サッカーでは選手の足元を注視する可能性が高いため、視線判定領域の大きさを、全身領域の縦方向の大きさの所定割合（例えば２０％）、足元の方向に大きく設定することができる。一方で、ピントは顔や瞳に合わせたい可能性が高いため、焦点検出については全身領域の上端部（例えば上端から縦方向の大きさの２０％のみ）を用いることができる。

【0108】

なお、全身領域から頭部、足、手などの領域を推定する代わりに、全身領域に対して部位の検出処理を適用して頭部領域、足領域、手領域などを検出してもよい。
なお、部位の検出を行い、それぞれの部位に対して、被写体の動き情報を活用し、視線判定条件を設定してもよい。例えば、ボクシングでは手が頻繁に動くことが予想されるため、ボクシングのシーンにおける、人物の手の領域に対しては、視線判定領域を大きく設定することが考えられる。また、短い注視時間で主被写体判定ができるように、短い注視時間の閾値を設定することが考えられる。

【0109】

なお、上述した視線判定領域、焦点検出領域、注視時間の閾値などの設定は、画像処理部２４によるシーン判定や特徴領域の検出結果に基づいてシステム制御部５０が自動で変更することができる。もちろん、ユーザがメニュー画面から頭部、手、足などの部位を選択し、部位ごとに視線判定領域の大きさ、焦点検出領域として用いる領域、注視時間の閾値などを設定できるように構成してもよい。

【0110】

また、被写体の姿勢によっては、ユーザが注視しない場合がある。例えば、集合写真を撮影する場合、顔が正面を向いていない人物は、集合写真とは関係ない人物の可能性が高く、ユーザが主被写体として選択する可能性は低い。そのため、画像処理部２４におけるシーン判定により集合写真であると判定される場合には、正面を向いていると判断される顔領域についてのみ、視線判定領域を設定するようにしてもよい。また、正面を向いている顔領域の割合に基づいて視線判定領域の大きさや注視時間の閾値を変更してもよい。

【0111】

本実施形態によれば、撮影シーンや被写体の特性（種類や動きの速さなど）に応じて視線判定領域の大きさ、注視時間の閾値、焦点検出領域などを変更もしくは設定するようにした。これにより、視線を用いた主被写体の選択や焦点検出を、一層ユーザの意図に沿ったものとすることができる。

【0112】

●（第３実施形態）
次に、本発明の第３実施形態について説明する。本実施形態では、特徴領域（被写体）の距離情報を考慮して視線判定条件を設定する。距離情報を考慮する目的は、焦点検出の品位および機動性の低下を抑制することにある。

【0113】

例えば、ユーザの意図しない視線の移動により、ユーザがピントを合わせようとしている手前の被写体と、奥に位置する別の被写体とが、交互に主被写体として選択されたとする。主被写体に合焦するように設定されている場合、主被写体が入れ替わるごとに合焦距離は前後に大きく変化するため、焦点検出の品位が低下する。また、ユーザが意図しない被写体に合焦してしまうと、意図した被写体に合焦した状態に戻すには、意図した被写体が主被写体として選択されるまで少なくとも注視時間の閾値に等しい時間が必要になるため、機動性が低下する。

【0114】

本実施形態では、被写体の距離情報を考慮して視線判定条件を設定することに加え、主被写体候補の絞り込みを行う。これにより、ユーザの意図しない被写体が主被写体として選択されにくくなり、焦点検出および機動性の低下を抑制することができる。

【0115】

図１１は、本実施形態における視線入力による主被写体の選択動作に関するフローチャートである。図１１において、第１実施形態と共通するステップについては図６と同じ参照数字を付し、重複する説明は省略する。本実施形態ではＳ１とＳ２の間にＳ７およびＳ８が追加されている点で、第１実施形態と異なる。以下、本実施形態の特徴であるＳ７およびＳ８に関して説明する。

【0116】

Ｓ７においてシステム制御部５０は、特徴領域ごとに距離情報を取得する。距離情報の取得方法に特に制限はなく、任意の公知の手法を用いることができる。例えば、光電変換部２０１ａから得られる信号に基づく画像と、光電変換部２０１ｂから得られる信号に基づく画像からなる視差画像対から、各画素位置における距離情報を算出してもよい。この場合、各画素位置における距離情報から領域ごとの代表的な距離（例えば平均距離）を取得する。また、個々の特徴領域について合焦時のフォーカスレンズ位置から距離情報を得てもよい。

【0117】

Ｓ８においてシステム制御部５０は、主被写体候補の絞り込みを行う。システム制御部５０は、例えば、現在選択されている主被写体（特徴領域）の距離との差が閾値以上である被写体（特徴領域）については、主被写体として選択されないようにすることができる。システム制御部５０は、例えば特徴領域に対して視線判定領域を設定しないことにより、その特徴領域が主被写体として選択されないようにすることができる。

【0118】

なお、主被写体が選択されていない場合、システム制御部５０は、現在のフォーカスレンズの位置に対応する距離との差が閾値以上である被写体（特徴領域）を、主被写体として選択されないようにする。なお、主被写体が選択されていない場合に基準とする距離は、予め定められた固定値など、他の距離であってもよい。このように、現在選択されている主被写体との距離が大きく異なる被写体を、視線入力により選択できなくすることにより、ユーザの意図しない動作を抑制することができる。

【0119】

なお、ここでは現在のフォーカスレンズの位置に対応する距離との差が閾値以上である被写体が主被写体として選択されないようにしたが、選択されにくくしてもよい。例えば、Ｓ２における視線判定条件の設定のうち、注視時間の閾値の設定（図７のＳ２６）において、選択中の主被写体との距離の差に応じた閾値を設定するようにすることができる。具体的には、距離の差が閾値未満である被写体（特徴領域）よりも、距離の差が閾値以上である被写体（特徴領域）に長い閾値を設定する。これにより、現在の主被写体と距離の差が大きな被写体が新たな主被写体として選択されにくくなる。

【0120】

また、視線判定条件の設定処理（図７）において、視線判定領域の大きさが下限値以上と判定された場合（Ｓ２３でＮＯとなった場合）、現在の主被写体と距離の差が閾値以上の被写体に対応する特徴領域については視線判定領域の大きさを下限値としてもよい。仮設定した視線判定領域が全て下限値以上の大きさである場合、現在の主被写体と距離の差が大きな被写体についても選択しやすい大きさの視線判定領域が設定されている。そのため、現在の主被写体と距離の差が閾値以上の被写体に対応する特徴領域については視線判定領域の大きさを下限値とすることにより、選択の容易性を低下させることができる。

【0121】

本実施形態によれば、特徴領域（被写体）の距離情報を考慮して視線判定条件を設定することにより、焦点検出の品位および機動性の低下を抑制することができる。

【0122】

●（第４実施形態）
次に、本発明の第４実施形態について説明する。本実施形態では、特徴領域（被写体）の動きベクトルを考慮して視線判定条件を設定する。なお、本実施形態で考慮するのは面内方向の動きベクトルであり、奥行き方向の動きベクトルは考慮しない。なお、視線判定条件の設定に関しては奥行方向の動きベクトルは考慮しないが、面内方向の動きベクトルの算出精度を改善を目的として奥行き方向の動きベクトルを考慮してもよい。

【0123】

被写体の動きベクトルを考慮する目的は、被写体の（面内の）動きに対して、視線の追従が遅れたり、視線判定領域の更新が遅れたりした場合でも、視線入力による主被写体の選択を可能とすることにある。特徴領域に視線判定領域を設定し、注視点の位置と視線判定領域とに基づいて主被写体を選択する場合、これらの遅れの影響で主被写体の選択が難しくなる。そのため、本実施形態では、視線判定条件を緩和するとともに、動きベクトルを考慮することで、移動被写体に対する視線入力による選択を可能とする。

【0124】

図１２は、本実施形態における視線入力による主被写体の選択動作に関するフローチャートである。図１２において、第１実施形態と共通するステップについては図６と同じ参照数字を付し、重複する説明は省略する。本実施形態ではＳ９～Ｓ１１が追加されている点で、第１実施形態と異なる。以下、本実施形態の特徴であるＳ９～Ｓ１１に関して説明する。

【0125】

Ｓ９においてシステム制御部５０は、視線判定領域のそれぞれについて、動きベクトルを算出する。例えばシステム制御部５０は、視線判定領域の中心位置の時系列データを取得し、所定の複数フレームに渡って平均した、フレーム間の中心位置の移動量および移動方向を動きベクトルの成分とする。なお、動きベクトルは他の方法で求めてもよい。また、視線判定領域の代わりに、対応する特徴領域について動きベクトルを求めてもよい。また、特徴領域（被写体）の面内方向の動きを表す情報であれば、動きベクトル以外の情報を取得してもよい。

【0126】

Ｓ１０においてシステム制御部５０は、動きベクトルの大きさが所定値以上である視線判定領域については被写体が動いたと判定し、Ｓ１１の処理を実行する。一方、システム制御部５０は、動きベクトルの大きさが所定値未満である視線判定領域については被写体が動いていないと判定し、Ｓ５の処理を実行する。このように、システム制御部５０は、動いている被写体に対応する視線判定領域と、動いていない被写体に対応する視線判定領域とで異なる更新処理を実施する。

【0127】

Ｓ１１で行う、動きベクトルを考慮した主被写体の更新処理について、図１３に示すフローチャートを用いて説明する。図１３において、第１実施形態と共通するステップについては図１０と同じ参照数字を付し、重複する説明は省略する。本実施形態ではＳ５９～Ｓ６１が追加されている点で、第１実施形態と異なる。以下、本実施形態の特徴であるＳ５９～Ｓ６１に関して説明する。本実施形態では、Ｓ５９において注視時間の閾値を緩和する代わりに、Ｓ６１において、視線判定領域の動きベクトルと視線の動きベクトルの一致度を評価して主被写体の判定を行う。

【0128】

Ｓ５９でシステム制御部５０は、Ｓ５２で選択した視線判定領域の注視時間が第２閾値以上か否かを判定し、第２閾値以上と判定されればＳ６０に処理を進め、判定されなければＳ５１に処理を戻す。ここで、第２閾値は第１実施形態で用いる第１閾値よりも短い。被写体が動いている場合、視線の追従が遅れたり、視線判定領域の更新が遅れたりして注視位置が視線判定領域から外れやすくなる。そのため、短い注視時間の閾値を設定して、主被写体の選択が行われやすくしている。

【0129】

Ｓ６０でシステム制御部５０は、視線（注視点）の動きベクトルを求める。視線の動きベクトルは、視線判定領域の動きベクトルと同様に、面内方向の動きベクトルである。視線の動きベクトルは、図１２のＳ４で取得した注視点の位置の時系列データを、視点判定領域の中心位置と同様に取り扱って求めることができる。なお、注視点の位置のうち、同じもしくは近いタイミングにおける視点判定領域の中心位置と大きく異なる位置については意図しない注視点と見なして動きベクトルの算出から除外してもよい。

【0130】

Ｓ６１でシステム制御部５０は、Ｓ９で求めた視線判定領域の動きベクトルと、Ｓ６０で求めた視線の動きベクトルとの一致度が条件を満たすか否かを判定する。例えば、システム制御部５０は、それぞれの動きベクトルを単位ベクトルに換算した後に内積を計算して、内積の値が１に近い閾値以上であれば、方向の一致度が高い（あるいは一致している）と判定することができる。また、システム制御部５０は、動きベクトルの大きさの差が０に近い閾値未満であれば移動量の一致度が高い（あるいは一致している）と判定することができる。方向および移動量の何れについても一致度が高い（あるいは一致している）と判定される場合、システム制御部５０は、動きベクトルの一致度が高い（あるいは一致している）と判定する。ただし、動きベクトルの一致度は、他の方法で判定してもよい。システム制御部５０は、視線判定領域の動きベクトルと、視線の動きベクトルとが一致していると判定されればＳ５６に処理を進め、判定されなければＳ５１に処理を戻す。

【0131】

Ｓ５６でシステム制御部５０は、選択している視線判定領域に対応する被写体（特徴領域）を主被写体として選択する。

【0132】

また、図１２のＳ９において動いていると判定された被写体（特徴領域）に対する視線判定領域を拡張してもよい。図１４に、視線判定領域の拡張例を示す。ここでは被写体が面内で矢印に示す方向に移動しているものとする。前フレームでは視線判定領域４０１が設定されている。また、拡張を行わない場合、現フレームでは視線判定領域４０２が設定される。

【0133】

図１４（ａ）はユーザの視線の追従遅れを考慮した視線判定領域の拡張例を示している。被写体の動きに対して視線の追従が遅れると、現フレームにおける注視点が視線判定領域４０１と４０２との間に位置する可能性がある。そのため、現フレームに対する視線判定領域４０２を、視線判定領域４０１を包含するように拡張した視線判定領域４０３を設定する。これにより、視線の追従が遅れた場合でも、安定した主被写体の選択が実現できる。

【0134】

図１４（ｂ）はユーザの視線の追従遅れに加え、視線判定領域の更新遅延を考慮した視線判定領域の拡張例を示す。視線判定領域は、検出された特徴領域に対して設定されるため、ライブビュー画像が表示部２８に表示されるタイミングよりも遅れて視線判定領域が設定される。そのため、被写体が動体である場合、視線判定領域の設定が更新されるより前に移動後の被写体を注視している可能性が高い。

【0135】

そこで、被写体の動きを予測し、予測後の位置に応じた位置に視線判定領域を移動させることができる。図１４（ｂ）では、図１４（ａ）で示した拡張後の視線判定領域４０３が、予想した被写体の移動後の位置に基づいて視線判定領域４０４に移動されている。このように、被写体の予測移動位置に基づいて視線判定領域の設定を更新することで、安定して視線により主被写体を選択することができる。なお、図１４（ｂ）において視線判定領域４０２が設定されている特徴領域（被写体）は、視線判定領域４０４を設定するフレームにではさらに移動した位置に存在している。

【0136】

図１４に示すように視線判定領域を拡張した場合、他の視線判定領域と重複が発生する可能性がある。視線判定領域の重複領域に注視点の位置が含まれる場合、どちらの視点判定領域を注視しているかを特定するのは困難である。しかし、本実施形態では、視線判定領域の動きベクトルを考慮しているため、仮に重複領域に注視点の位置が含まれる場合であっても、どちらの視点判定領域を注視しているかを特定することができる。

【0137】

以上説明したように、本実施形態によれば特徴領域（被写体）の動きベクトルを考慮して視線判定条件を設定する。そのため、移動被写体に対してユーザの視線の追従が遅れたり、視線判定領域の更新が画像の表示に対して遅れたりしても、視線による主被写体の選択を可能とすることができる。

【0138】

●（第５実施形態）
次に、本発明の第５実施形態について説明する。本実施形態は、注視時間の閾値、および、現在の注視時間をユーザに通知する方法に関する。上述の実施形態では、視線判定条件のうち、視線判定領域の大きさや位置をユーザに通知する例について説明した（図５、図９）。しかし、視線による主被写体の選択を実現する際、被写体ごとの選択のし易さとしての注視時間の閾値や、主被写体として選択されるまでに必要な残りの注視時間をユーザに示すことで、使い勝手を改善することができる。

【0139】

図１５は、現在注視している被写体と、その被写体が主被写体として選択されるまでに必要な残り注視時間とをユーザに通知する方法の一例を示す。ここでは、ある被写体から、別の被写体に、視線を用いて主被写体を切り替える際の表示の変化を示す。

【0140】

ここでは、撮影範囲内に３人の人物Ａ～Ｃが存在し、特徴領域としてそれぞれの人物の顔領域が検出されているものとする。また、各特徴領域には視線判定領域が設定され、枠状の指標によって視線判定領域の大きさおよび位置が示されている。本実施形態では、それぞれの視線判定領域に関連づけて、設定されている注視時間の閾値と、主被写体として選択するために必要な残りの注視時間とを示す注視指標５０１～５０３を表示している。なお、ここでは注視指標を視線判定領域の指標の近傍に配置することで、視線判定領域に注視指標を関連づけているが、他の形態を用いてもよい。

【0141】

注視指標５０１～５０３は下向きの三角形状であり、その大きさが注視時間の閾値の長さを示す。ここでは設定されている注視時間の閾値が等しいため、注視指標５０１～５０３の大きさも等しい。また、全体が黒く塗りつぶされている注視指標５０３は、主被写体として選択されている被写体であることを示している。注視された視線判定領域に対応する注視指標は、注視時間の増加に従って内部が塗りつぶされていく。以下では、説明及び理解を容易にするため、人物Ａの顔領域に設定された視線判定領域の注視を、人物Ａの注視として取り扱う。人物Ｂ、Ｃについても同様とする。

【0142】

図１５（ａ）は、注視指標５０３の全体が黒く塗りつぶされており、人物Ｃが主被写体として選択されている。また、注視指標５０１、５０２はまったく塗りつぶされておらず、人物Ａ，Ｂに対する注視時間が０であることを示している。

【0143】

図１５（ａ）の状態で、ユーザが人物Ｃから人物Ｂに視線を移したとする。システム制御部５０は、図１０や図１３のＳ５４を実施すると、選択中の視線判定領域に対応する注視指標の塗りつぶし量を増加させる。これにより、図１５（ｂ）に示すように、人物Ｂに対する注視指標５０２の表示が変化する。１回に塗りつぶす割合は、指標の高さを１としたときに、１／（注視時間の閾値（フレーム数））とすることができる。図１５（ｂ）の時点では、人物Ｂに対する注視時間が閾値に達していないため、主被写体は人物Ｃのままであり、注視指標５０３の状態は変わらない。また、人物Ａは注視されていないので、注視指標５０４の状態も変わらない。

【0144】

その後もユーザが人物Ｂを注視し続け、注視時間が閾値に達すると、主被写体の選択が人物Ｃから人物Ｂに変更される。この時点で、図１５（ｃ）に示すように、注視指標５０２が完全に塗りつぶされ、また注視指標５０３は塗りつぶしがリセットされる。人物Ａは注視されていないので、注視指標５０４の状態は変わらない。

【0145】

このように、注視時間の閾値、および、現在の注視時間を注視指標表示することにより、ユーザに対して、正しく注視できているか、主被写体選択をするのに必要な注視時間などを通知することができる。

【0146】

なお、注視時間の閾値が視点判定領域によって異なる場合、例えば図１５（ｄ）に示すように、注視指標の大きさを異ならせることができる。図１５（ｄ）では、人物Ｃに対応する視点判定領域に設定されている注視時間の閾値が、人物Ａ，Ｂに対応する視点判定領域に設定されている注視時間の閾値がより短いことを、注視指標６０１～６０３の大きさによって示している。

【0147】

ここでは注視時間の閾値の長さを注視指標の大きさで表すものとした。しかし、注視時間の閾値の長さによらず同一の大きさの注視指標を用いても、注視指標が塗りつぶされる速さの違いによってユーザは注視時間の閾値が長いのか短いのかを把握することができる。

【0148】

なお、注視時間の閾値や、主被写体に選択されるまでの残り注視時間（あるいは現在の累積注視時間）をユーザに通知する方法は、図１５に示した例に限定されない。例えば、視線判定領域の枠の太さ、大きさ、色を注視指標として用いてもよい。また、視線判定領域の枠の上部に、後何フレーム注視すれば切り替わるのかを数字で表示してもよい。

【0149】

なお、図２（ｂ）に示したような専用の焦点検出画素を用いる場合など、焦点検出できない領域がある場合、焦点検出できない領域を含んだ特徴領域については注視指標を表示しないことにより、ユーザに焦点検出ができないことを通知してもよい。また、焦点検出可能な特徴領域については対応する視線判定領域の指標を表示し、焦点検出できない特徴領域については特徴領域の指標を表示することで、焦点検出が可能な特徴領域か否かをユーザに通知してもよい。

【0150】

なお、画面下や画面両端に視線入力によるメニュー選択領域がある場合、メニュー選択領域付近は誤検出を避けるために、視線入力による主被写体の選択は行わないようにしてもよい。その場合も、主被写体として選択できない特徴領域については注視指標を表示しないことでユーザに通知してもよい。

【0151】

なお、第１実施形態の図８（ｂ）のＳ２５５において、視線判定領域の再配置が不可と判定された特徴領域について、特徴領域の指標のみを表示し、視線判定領域の指標や注視指標は表示しないようにしてもよい。これにより、ユーザは視線によって主被写体として選択できない被写体を把握することができる。

【0152】

なお、主被写体が選択された状態で、ＳＷ１ ６２のＯＮが検出された場合、注視指標を非表示にし、主被写体についてのみ視線判定領域の指標を表示することにより、主被写体のトラッキングが開始されたことをユーザに通知してもよい。

【0153】

以上説明したように、本実施形態によれば、設定されている注視時間の閾値や、主被写体として選択されるまでに必要な残りの注視時間をユーザに通知するようにした。そのため、視線による主被写体の選択における使い勝手を改善することができる。

【0154】

（その他の実施形態）
なお、上述の実施形態では、ライブビュー画像のフレーム数（フレーム周期）を単位として注視時間を取り扱う構成について説明した。しかし、具体的な時間（例えばミリ秒）を単位として注視時間を取り扱ってもよい。

【0155】

なお、上述の実施形態では、特徴領域として顔領域を検出する構成について説明した。しかし、画像処理部２４は顔のような特定の特徴領域を検出する代わりに、特徴領域の候補となる領域の検出のみを行ってもよい。

【0156】

なお、上述の実施形態では、被写体検出領域、視線判定領域の形状を正方形とした構成について説明したが、長方形や円形など、他の形状としてもよい。

【0157】

なお、上述の実施形態では、ユーザが注視している主被写体を注視時間に基づいて決定する構成について説明した。しかし、視線判定領域と、検出した注視点の位置とから、ユーザが注視している主被写体を決定できれば、他の構成であってもよい。

【0158】

本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。

【0159】

本発明は上述した実施形態の内容に制限されず、発明の精神および範囲から離脱することなく様々な変更及び変形が可能である。したがって、発明の範囲を公にするために請求項を添付する。

【符号の説明】

【0160】

１００…本体、１５０…レンズユニット、４…レンズシステム制御回路、２２…撮像素子部、５０…システム制御部、２４…画像処理部、２８…表示部、３２…メモリ、５６…不揮発性メモリ、７０…操作部

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】

【図15】