特許 7588958 電子機器

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2024-11-15

(45)【発行日】2024-11-25

(54)【発明の名称】電子機器

(51)【国際特許分類】

   G03B 17/18 20210101AFI20241118BHJP

   G02B 7/28 20210101ALI20241118BHJP

   G03B 13/36 20210101ALI20241118BHJP

   H04N 23/611 20230101ALI20241118BHJP

   H04N 23/63 20230101ALI20241118BHJP

【ＦＩ】

G03B17/18

G02B7/28 N

G03B13/36

H04N23/611

H04N23/63 300

【請求項の数】 14

(21)【出願番号】P 2020025996

(22)【出願日】2020-02-19

(65)【公開番号】P2021131441

(43)【公開日】2021-09-09

【審査請求日】2023-02-13

(73)【特許権者】

【識別番号】000001007

【氏名又は名称】キヤノン株式会社

(74)【代理人】

【識別番号】110002860

【氏名又は名称】弁理士法人秀和特許事務所

(72)【発明者】

【氏名】吉村 勇希

(72)【発明者】

【氏名】玉木 嘉人

【審査官】▲うし▼田 真悟

(56)【参考文献】

【文献】特開平０５－１７３２４２（ＪＰ，Ａ）

【文献】特開２０１８－１２９６５９（ＪＰ，Ａ）

【文献】特開平０７－２８１２７５（ＪＰ，Ａ）

【文献】特開２００２－１２２７７５（ＪＰ，Ａ）

【文献】特開２００２－０６２４７０（ＪＰ，Ａ）

【文献】特開平０８－１８４７４８（ＪＰ，Ａ）

【文献】特開平０６－０６７０８６（ＪＰ，Ａ）

【文献】特開平１１－２４９２２０（ＪＰ，Ａ）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ０３Ｂ １７／１８

Ｇ０２Ｂ ７／０２－ ７／１４

Ｇ０２Ｂ ７／２８－ ７／４０

Ｇ０３Ｂ ５／００

Ｇ０３Ｂ １３／３６

Ｈ０４Ｎ ２３／４０－２３／７６

(57)【特許請求の範囲】

【請求項1】

ユーザの視線に関する視線情報を取得する取得手段と、
撮像された画像を表示面に表示するように制御すると共に、前記表示面における前記視線の位置を示す所定のアイテムを第１状態で表示するように制御する表示制御手段と
を有し、
前記表示制御手段は、所定の第１条件が満たされた場合に、前記所定のアイテムの表示状態を、前記第１状態よりも前記所定のアイテムの表示を抑制した第２状態に切り替えるように制御し、
前記第１条件は、
前記画像における前記視線の位置での露出が所定の範囲外であるという条件、
フォーカスレンズの駆動量または駆動速度が所定の閾値よりも大きいという条件、及び、
ズームレンズの駆動量または駆動速度が所定の閾値よりも大きいという条件
の少なくともいずれかを含む
ことを特徴とする電子機器。

【請求項2】

前記第１条件は、連写中であるという条件を含む
ことを特徴とする請求項１に記載の電子機器。

【請求項3】

前記第１条件は、撮影された画像を前記表示面に表示する指示があったという条件を含む
ことを特徴とする請求項１または２に記載の電子機器。

【請求項4】

前記第１条件は、撮影を行う画面とは異なる画面を前記表示面で表示中であるという条件を含む
ことを特徴とする請求項１～３のいずれか１項に記載の電子機器。

【請求項5】

前記第１条件は、マニュアルフォーカス中であるという条件を含む
ことを特徴とする請求項１～４のいずれか１項に記載の電子機器。

【請求項6】

前記取得手段は、所定の第２条件が満たされた場合に、前記視線情報の取得を停止することを特徴とする請求項１～５のいずれか１項に記載の電子機器。

【請求項7】

前記視線を検出して前記視線情報を出力する視線検出手段をさらに有し、
前記取得手段は、前記第２条件が満たされた場合に、前記視線検出手段による前記視線の検出を停止することにより、前記視線検出手段からの前記視線情報の取得を停止する
ことを特徴とする請求項６に記載の電子機器。

【請求項8】

前記視線を検出する前記視線情報を出力する視線検出手段をさらに有し、
前記取得手段は、前記第２条件が満たされた場合に、前記視線検出手段による前記視線の検出を停止せずに、前記視線検出手段からの前記視線情報の取得を停止する
ことを特徴とする請求項６に記載の電子機器。

【請求項9】

前記第２条件は、
撮影された画像を前記表示面に表示する指示があったという条件、
撮影を行う画面とは異なる画面を前記表示面で表示中であるという条件、
連写中であるという条件、及び、
マニュアルフォーカス中であるという条件
の少なくともいずれかを含む
ことを特徴とする請求項６～８のいずれか１項に記載の電子機器。

【請求項10】

前記電子機器は撮像装置である
ことを特徴とする請求項１～９のいずれか１項に記載の電子機器。

【請求項11】

前記第２の状態は、線種の変更、点滅、および変色の少なくともいずれかにより前記第１状態よりも前記所定のアイテムの表示を抑制した状態である
ことを特徴とする請求項１～１０のいずれか１項に記載の電子機器。

【請求項12】

ユーザの視線に関する視線情報を取得する取得ステップと、
撮像された画像を表示面に表示するように制御すると共に、前記表示面における前記視線の位置を示す所定のアイテムを第１状態で表示するように制御する表示制御ステップとを有し、
前記表示制御ステップでは、所定の第１条件が満たされた場合に、前記所定のアイテムの表示状態を、前記第１状態よりも前記所定のアイテムの表示を抑制した第２状態に切り替えるように制御し、
前記第１条件は、
前記画像における前記視線の位置での露出が所定の範囲外であるという条件、
フォーカスレンズの駆動量または駆動速度が所定の閾値よりも大きいという条件、及び、
ズームレンズの駆動量または駆動速度が所定の閾値よりも大きいという条件
の少なくともいずれかを含む
ことを特徴とする電子機器の制御方法。

【請求項13】

コンピュータを、請求項１～１１のいずれか１項に記載の電子機器の各手段として機能させるためのプログラム。

【請求項14】

コンピュータを、請求項１～１１のいずれか１項に記載の電子機器の各手段として機能させるためのプログラムを格納したコンピュータが読み取り可能な記憶媒体。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、ユーザの視線に関する視線情報を取得可能な電子機器に関する。

【背景技術】

【0002】

特許文献１には、ファインダ視野内を覗くユーザ（撮影者）の視線を検出することで、測距点を選択する方法が開示されている。特許文献１に開示の撮像装置では、複数の測距点選択方法の優先度に応じて測距点選択を行うため、ユーザの意図に応じた測距点選択を実現することができる。特許文献１に開示の撮像装置は、ピント板状に形成される光学像を観察するいわゆる光学ファインダを有している。

【0003】

一方、近年では、光学ファインダを備えず、撮影光学系を通過した光束を受光する撮像素子で取得された映像を再生する表示装置として、電子ビューファインダを有する撮像装置が存在する。光学ファインダを有する撮像装置が、光束分割部を有するのに対して、電子ビューファインダを有する撮像装置は、光束分割部を必要としないため、撮影範囲内のより広い範囲で焦点検出を行ったり、被写体検出を行ったりすることができる。

【0004】

特許文献１には、視線検出を優先したい場合にファインダ内の表示を抑制（視認性を低下）し、ファインダ内の表示を優先したい場合に視線検出を中断する技術が開示されている。

【先行技術文献】

【特許文献】

【0005】

【文献】特開平５－２９７２６３号公報

【発明の概要】

【発明が解決しようとする課題】

【0006】

しかしながら、ユーザの視線位置（視線）を検出可能であり、且つ、電子ビューファインダを備える従来の撮像装置では、検出された視線位置の表示状態を好適に制御できないことがある。例えば、特許文献１に開示の技術では、視線検出を優先したい場合や、ファインダ内の表示を優先したい場合などにおいて、他の要因により視線位置の表示状態（表示の有無など）を変更する必要があると、視線位置の表示状態を好適に制御することができない。

【0007】

本発明は、視線位置の表示状態を好適に制御することができる技術を提供することを目的とする。

【課題を解決するための手段】

【0008】

本発明の電子機器は、ユーザの視線に関する視線情報を取得する取得手段と、撮像された画像を表示面に表示するように制御すると共に、前記表示面における前記視線の位置を示す所定のアイテムを第１状態で表示するように制御する表示制御手段とを有し、前記表示制御手段は、所定の第１条件が満たされた場合に、前記所定のアイテムの表示状態を、前記第１状態よりも前記所定のアイテムの表示を抑制した第２状態に切り替えるように制御し、前記第１条件は、前記画像における前記視線の位置での露出が所定の範囲外であるという条件、フォーカスレンズの駆動量または駆動速度が所定の閾値よりも大きいという条件、及び、ズームレンズの駆動量または駆動速度が所定の閾値よりも大きいという条件の少なくともいずれかを含むことを特徴とする。

【発明の効果】

【0009】

本発明によれば、視線位置の表示状態を好適に制御することができる。

【図面の簡単な説明】

【0010】

【図1】本実施形態に係る撮像装置の構成例を示すブロック図

【図2】本実施形態に係る撮像装置の射出瞳と光電変換部の対応関係の例を示す図

【図3】本実施形態に係る視線検出部の構成例を示す図

【図4】本実施形態に係る撮影処理の一例を示すフローチャート

【図5】本実施形態に係る切り替え処理の一例を示すフローチャート

【図6】本実施形態に係る表示例を示す図

【発明を実施するための形態】

【0011】

以下、添付図面を参照して本発明をその例示的な実施形態に基づいて詳細に説明する。なお、以下の実施形態は本発明を限定するものではない。また、以下では複数の特徴が記載されているが、その全てが本発明に必須のものとは限らない。また、以下に記載される複数の特徴は任意に組み合わせてもよい。さらに、添付図面において同一若しくは同様の構成には同一の参照番号を付し、重複する説明は省略する。

【0012】

なお、以下の実施形態では、本発明を撮像装置（具体的にはレンズ交換式のデジタルカメラ）で実施する場合に関して説明する。しかし、本発明は視線情報取得機能（ユーザの視線に関する視線情報を取得する機能）を搭載可能な任意の電子機器に対して適用可能である。このような電子機器には、ビデオカメラ、コンピュータ機器（パーソナルコンピュータ、タブレットコンピュータ、メディアプレーヤ、ＰＤＡなど）、携帯電話機、スマートフォン、ゲーム機、ロボット、ドローン、ドライブレコーダなどが含まれる。これらは例示であり、本発明は他の電子機器にも適用可能である。また、以下のデジタルカメラは視線検出機能や撮像機能、表示機能などを有するが、それらの機能を互いに通信可能な複数の機器（例えば本体とリモートコントローラ）に分けて搭載する構成にも本発明は適用可能である。

【0013】

［構成］
図１は、本発明の実施形態にかかる電子機器の一例としてのデジタルカメラシステムの構成例を示すブロック図である。デジタルカメラシステムは、レンズ交換式デジタルカメラの本体１００と、本体１００に着脱可能なレンズユニット１５０とを有している。なお、レンズ交換式であることは本発明に必須でない。

【0014】

レンズユニット１５０は、本体１００に装着されると本体１００に設けられた通信端子１０と接触する通信端子６を有する。通信端子１０および通信端子６を通じて本体１００からレンズユニット１５０に電源が供給される。また、レンズユニット１５０のレンズシステム制御回路４と本体１００のシステム制御部５０とは通信端子１０および通信端子６を通じて双方向に通信可能である。

【0015】

レンズユニット１５０において、レンズ群１０３は可動レンズを含む複数のレンズから構成される撮像光学系である。可動レンズには少なくともフォーカスレンズが含まれる。また、レンズユニット１５０によっては、変倍レンズや、ぶれ補正レンズなどの１つ以上がさらに含まれ得る。ＡＦ駆動回路３は、フォーカスレンズを駆動するモータやアクチュエータなどを含む。フォーカスレンズは、レンズシステム制御回路４がＡＦ駆動回路３を制御することによって駆動される。絞り駆動回路２は、絞り１０２を駆動するモータアクチュエータなどを含む。絞り１０２の開口量は、レンズシステム制御回路４が絞り駆動回路２を制御することによって調整される。

【0016】

メカニカルシャッタ１０１はシステム制御部５０によって駆動され、撮像素子２２の露光時間を調整する。なお、メカニカルシャッタ１０１は動画撮影時には全開状態に保持される。

【0017】

撮像素子２２は例えばＣＣＤイメージセンサやＣＭＯＳイメージセンサである。撮像素子２２には複数の画素が２次元配置されており、各画素には１つのマイクロレンズ、１つのカラーフィルタ、および１つ以上の光電変換部が設けられている。本実施形態においては、各画素に複数の光電変換部が設けられており、各画素は光電変換部ごとに信号を読み出し可能に構成されている。画素をこのような構成にすることにより、撮像素子２２から読み出した信号から撮像画像、視差画像対、および位相差ＡＦ用の像信号を生成することができる。

【0018】

図２（ａ）は、撮像素子２２が有する画素が２つの光電変換部を有する場合の、レンズユニット１５０の射出瞳と各光電変換部との対応関係を模式的に示した図である。

【0019】

画素に設けられた２つの光電変換部２０１ａ，２０１ｂは１つのカラーフィルタ２５２および１つのマイクロレンズ２５１を共有する。そして、光電変換部２０１ａには射出瞳（領域２５３）の部分領域２５３ａを通過した光が、光電変換部２０１ｂには射出瞳の部分領域２５３ｂを通過した光が、それぞれ入射する。

【0020】

したがって、或る画素領域に含まれる画素について、光電変換部２０１ａから読み出される信号で形成される画像と、光電変換部２０１ｂから読み出される信号で形成される画像とは視差画像対を構成する。また、視差画像対は位相差ＡＦ用の像信号（Ａ像信号およびＢ像信号）として用いることができる。さらに、光電変換部２０１ａから読み出される信号と光電変換部２０１ｂから読み出される信号とを画素ごとに加算することで、通常の画像信号（撮像画像）を得ることができる。

【0021】

なお、本実施形態では撮像素子２２の各画素が、位相差ＡＦ用の信号を生成するための画素（焦点検出用画素）としても、通常の画像信号を生成するための画素（撮像用画像）としても機能する。しかしながら、撮像素子２２の一部の画素を焦点検出用画素とし、他の画素を撮像用画素とした構成であってもよい。図２（ｂ）は、焦点検出用画素と、入射光が通過する射出瞳の領域２５３との対応関係の一例を示している。図２（ｂ）に示す焦点検出用画素において、光電変換部２０１は、開口部２５４により、図２（ａ）の光電変換部２０１ｂと同様に機能する。図２（ｂ）に示す焦点検出用画素と、図２（ａ）の光電変換部２０１ａと同様に機能する別の種類の焦点検出用画素とを、撮像素子２２の全体に分散配置することにより、実質的に任意の場所及び大きさの焦点検出領域を設定することが可能になる。

【0022】

図２（ａ），２（ｂ）に示す構成は、記録用の画像を得るための撮像素子を位相差ＡＦ用のセンサとして用いる構成であるが、任意の大きさ及び位置の焦点検出領域を設定可能な他のＡＦなど、ＡＦの方式に依らず本発明は実施可能である。例えばコントラストＡＦを用いる構成であっても本発明は実施可能である。コントラストＡＦのみを用いる場合には、各画素が有する光電変換部は１つである。

【0023】

図１に戻り、Ａ／Ｄ変換器２３は、撮像素子２２から出力されるアナログ画像信号をデジタル画像信号（画像データ）に変換するために用いられる。なお、Ａ／Ｄ変換器２３は撮像素子２２が備えてもよい。

【0024】

Ａ／Ｄ変換器２３が出力する画像データ（ＲＡＷ画像データ）は、必要に応じて画像処理部２４で処理されたのち、メモリ制御部１５を通じてメモリ３２に格納される。メモリ３２は画像データや音声データを一時的に記憶するバッファメモリとして用いられたり、表示部２８用のビデオメモリとして用いられたりする。

【0025】

画像処理部２４は、画像データに対して予め定められた画像処理を適用し、信号や画像データを生成したり、各種の情報を取得および／または生成したりする。画像処理部２４は例えば特定の機能を実現するように設計されたＡＳＩＣのような専用のハードウェア回路であってもよいし、ＤＳＰのようなプロセッサがソフトウェアを実行することで特定の機能を実現する構成であってもよい。

【0026】

ここで、画像処理部２４が適用する画像処理には、前処理、色補間処理、補正処理、検出処理、データ加工処理、評価値算出処理などが含まれる。前処理には、信号増幅、基準レベル調整、欠陥画素補正などが含まれる。色補間処理は、画像データに含まれていない色成分の値を補間する処理であり、デモザイク処理とも呼ばれる。補正処理には、ホワイトバランス調整、画像の輝度を補正する処理、レンズユニット１５０の光学収差を補正する処理、色を補正する処理などが含まれる。検出処理には、特徴領域（たとえば顔領域や人体領域）の検出および追尾処理、人物の認識処理などが含まれる。データ加工処理には、スケーリング処理、符号化および復号処理、ヘッダ情報生成処理などが含まれる。評価値算出処理には、位相差ＡＦ用の１対の像信号やコントラストＡＦ用の評価値や、自動露出制御に用いる評価値などの算出処理が含まれる。なお、これらは画像処理部２４が実施可能な画像処理の例示であり、画像処理部２４が実施する画像処理を限定するものではない。また、評価値算出処理はシステム制御部５０が行ってもよい。

【0027】

Ｄ／Ａ変換器１９は、メモリ３２に格納されている表示用の画像データから、表示部２８での表示に適したアナログ信号を生成して、生成したアナログ信号を表示部２８に供給する。表示部２８は例えば液晶表示装置を有し、Ｄ／Ａ変換器１９からのアナログ信号に基づく表示を表示面上で行う。

【0028】

動画の撮像（撮像制御）と、撮像された動画の表示（表示制御）とを継続的に行うことで、表示部２８を電子ビューファインダ（ＥＶＦ）として機能させることができる。表示部２８をＥＶＦとして機能させるために表示する動画をライブビュー画像と呼ぶ。表示部２８は接眼部を通じて観察するように本体１００の内部に設けられてもよいし、接眼部を用いずに観察可能なように本体１００の筐体表面に設けられてもよい。表示部２８は、本体１００の内部と筐体表面との両方に設けられてもよい。

【0029】

システム制御部５０は例えばＣＰＵ（ＭＰＵ、マイクロプロセッサとも呼ばれる）である。システム制御部５０は、不揮発性メモリ５６に記憶されたプログラムをシステムメモリ５２に読み込んで実行することにより、本体１００およびレンズユニット１５０の動作を制御し、カメラシステムの機能を実現する。システム制御部５０は、通信端子１０および６を通じた通信によってレンズシステム制御回路４に様々なコマンドを送信することにより、レンズユニット１５０の動作を制御する。

【0030】

不揮発性メモリ５６は、システム制御部５０が実行するプログラム、カメラシステムの各種の設定値、ＧＵＩ（Ｇｒａｐｈｉｃａｌ Ｕｓｅｒ Ｉｎｔｅｒｆａｃｅ）の画像データなどを記憶する。システムメモリ５２は、システム制御部５０がプログラムを実行する際に用いるメインメモリである。不揮発性メモリ５６に格納されたデータ（情報）は書き替え可能であってよい。

【0031】

システム制御部５０はその動作の一部として、画像処理部２４または自身が生成した評価値に基づく自動露出制御（ＡＥ）処理を行い、撮影条件を決定する。例えば、静止画撮影の撮影条件はシャッター速度、絞り値、感度である。システム制御部５０は、設定されているＡＥのモードに応じて、シャッター速度、絞り値、感度の１つ以上を決定する。システム制御部５０はレンズユニット１５０の絞り機構の絞り値（開口量）を制御する。また、システム制御部５０は、メカニカルシャッタ１０１の動作も制御する。

【0032】

また、システム制御部５０は、画像処理部２４または自身が生成した評価値もしくはデフォーカス量に基づいてレンズユニット１５０のフォーカスレンズを駆動し、レンズ群１０３を焦点検出領域内の被写体に合焦させる自動焦点検出（ＡＦ）処理を行う。

【0033】

システムタイマー５３は内蔵時計であり、システム制御部５０が利用する。

【0034】

操作部７０はユーザが操作可能な複数の入力デバイス（ボタン、スイッチ、ダイヤルなど）を有する。操作部７０が有する入力デバイスの一部は、割り当てられた機能に応じた名称を有する。シャッターボタン６１、モード切り替えスイッチ６０、電源スイッチ７２は便宜上、操作部７０と別に図示ししているが、操作部７０に含まれる。表示部２８がタッチパネルを備えるタッチディスプレイである場合には、タッチパネルもまた操作部７０に含まれる。操作部７０に含まれる入力デバイスの操作はシステム制御部５０が監視している。システム制御部５０は、入力デバイスの操作を検出すると、検出した操作に応じた処理を実行する。

【0035】

シャッターボタン６１は半押し状態でＯＮとなり信号ＳＷ１を出力する第１シャッタースイッチ６２と、全押し状態でＯＮとなり信号ＳＷ２を出力する第２シャッタースイッチ６４とを有する。システム制御部５０は、信号ＳＷ１（第１シャッタースイッチ６２のＯＮ）を検出すると、静止画撮影の準備動作を実行する。準備動作には、ＡＥ処理やＡＦ処理などが含まれる。また、システム制御部５０は、信号ＳＷ２（第２シャッタースイッチ６４のＯＮ）を検出すると、ＡＥ処理で決定した撮影条件に従った静止画の撮影動作（撮像および記録の動作）を実行する。

【0036】

また、本実施形態の操作部７０は、ユーザの視線（視線方向）を検出して検出結果（ユーザの視線に関する視線情報）を出力する視線検出部７０１を有する。システム制御部５０は、視線検出部７０１からの視線情報に応じて各種制御を実行することができる。視線検出部７０１はユーザが直接操作する部材ではないが、視線検出部７０１が検出する視線を入力として取り扱うため、操作部７０に含めている。

【0037】

図３（ａ）は、ファインダ内に設ける視線検出部７０１の構成例を模式的に示す側面図である。視線検出部７０１は、本体１００の内部に設けられた表示部２８をファインダのアイピースを通じて見ているユーザの眼球５０１ａの光軸の回転角を視線の方向として検出する。検出された視線の方向に基づいて、ユーザが表示部２８で注視している位置（表示画像中の注視点）を特定することができる。

【0038】

表示部２８には例えばライブビュー画像が表示され、ユーザはアイピースの窓を覗き込むことにより、表示部２８の表示内容を接眼レンズ７０１ｄおよびダイクロックミラー７０１ｃを通じて観察することができる。光源７０１ｅは、アイピースの窓方向（本体１００の外部方向）に赤外光を発することができる。ユーザがファインダを覗いている場合には、光源７０１ｅが発した赤外光は眼球５０１ａで反射されてファインダ内に戻ってくる。ファインダに入射した赤外光はダイクロックミラー７０１ｃで受光レンズ７０１ｂ方向に反射される。

【0039】

受光レンズ７０１ｂは、赤外光による眼球像を撮像素子７０１ａの撮像面に形成する。撮像素子７０１ａは赤外光撮像用のフィルタを有する２次元撮像素子である。視線検出用の撮像素子７０１ａの画素数は撮影用の撮像素子２２の画素数よりも少なくてよい。撮像素子７０１ａによって撮像された眼球画像はシステム制御部５０に送信される。システム制御部５０は、眼球画像から赤外光の角膜反射の位置と瞳孔の位置とを検出し、両者の位置関係から視線方向を検出する。また、システム制御部５０は、検出した視線方向に基づ
いて、ユーザが注視している表示部２８の位置（表示画像中の注視点）を検出する。なお、眼球画像から角膜反射の位置と瞳孔の位置を画像処理部２４で検出し、システム制御部５０は画像処理部２４からこれらの位置を取得してもよい。

【0040】

なお、本発明は視線検出の方法や視線検出部の構成には依存しない。したがって、視線検出部７０１の構成は図３（ａ）に示したものに限定されない。例えば、図３（ｂ）に示すように、本体１００の背面に設けられた表示部２８の近傍に配置されたカメラ７０１ｆにより撮像された画像に基づいて視線を検出してもよい。破線で示すカメラ７０１ｆの画角は、表示部２８を見ながら撮影を行うユーザの顔が撮像されるように定められている。カメラ７０１ｆで撮像した画像から検出した目領域（眼球５０１ａと眼球５０１の少なくとも一方の領域）の画像に基づいて視線の方向を検出することができる。赤外光の画像を用いる場合には、カメラ７０１ｆの近傍に光源７０１ｅを配置し、光源７０１ｅで画角内の被写体に赤外光を投写して撮像を行えばよい。その場合は、得られた画像から視線の方向を検出する方法は図３（ａ）の方法と同様でよい。また、可視光の画像を用いる場合には光を投射しなくてもよい。可視光の画像を用いる場合には、目領域の目頭と虹彩の位置関係などから視線の方向を検出することができる。

【0041】

再び図１に戻り、電源制御部８０は、電池検出回路、ＤＣ－ＤＣコンバータ、通電するブロックを切り替えるスイッチ回路等により構成され、電池の装着の有無、電池の種類、電池残量の検出を行う。また、電源制御部８０は、検出結果及びシステム制御部５０の指示に基づいてＤＣ－ＤＣコンバータを制御し、必要な電圧を必要な期間、記録媒体２００を含む各部へ供給する。

【0042】

電源部３０は、電池やＡＣアダプター等からなる。Ｉ／Ｆ１８は、メモリカードやハードディスク等の記録媒体２００とのインターフェースである。記録媒体２００には、撮影された画像や音声などのデータファイルが記録される。記録媒体２００に記録されたデータファイルはＩ／Ｆ１８を通じて読み出され、画像処理部２４およびシステム制御部５０を通じて再生することができる。

【0043】

通信部５４は、無線通信および有線通信の少なくとも一方による外部機器との通信を実現する。撮像素子２２で撮像した画像（撮像画像；ライブビュー画像を含む）や、記録媒体２００に記録された画像は、通信部５４を通じて外部機器に送信可能である。また、通信部５４を通じて外部機器から画像データやその他の各種情報を受信することができる。

【0044】

姿勢検出部５５は重力方向に対する本体１００の姿勢を検出する。姿勢検出部５５は加速度センサ、または角速度センサであってよい。システム制御部５０は、撮影時に姿勢検出部５５で検出された姿勢に応じた向き情報を、当該撮影で得られた画像データを格納するデータファイルに記録することができる。向き情報は、例えば記録済みの画像を撮影時と同じ向きで表示するために用いることができる。

【0045】

本実施形態の本体１００は、画像処理部２４が検出した特徴領域が適切な画像となるように各種の制御を実施することが可能である。例えば、本体１００は、特徴領域で合焦させる自動焦点検出（ＡＦ）や、特徴領域が適正露出となるような自動露出制御（ＡＥ）を実施することが可能である。また、本体１００は、特徴領域のホワイトバランスが適切になるような自動ホワイトバランスや、特徴領域の明るさが適切になるような自動フラッシュ光量調整なども実施することが可能である。なお、特徴領域を適切にする制御は、これらに限定されない。画像処理部２４は、例えばライブビュー画像に対して公知の方法を適用して、予め定められた特徴に当てはまると判定される領域を特徴領域として検出し、各特徴領域の位置、大きさ、信頼度といった情報をシステム制御部５０に出力する。なお、本発明は特徴領域の種類や検出方法には依存しない。また特徴領域の検出には公知の方法
を利用可能であるため、特徴領域の検出方法についての説明は省略する。

【0046】

また、特徴領域は、被写体情報を検出するためにも用いることができる。特徴領域が顔領域の場合、被写体情報として、例えば、赤目現象が生じているか否か、目をつむっているか否か、表情（例えば笑顔）などが検出される。なお、被写体情報はこれらに限定されない。

【0047】

本実施形態では、大きさおよび位置が不定である複数の画像領域の一例としての複数の特徴領域から、各種の制御に用いたり、被写体情報を取得したりするための１つの特徴領域（主被写体領域）を、ユーザの視線を用いて選択することができる。視線検出部７０１で検出されるようにユーザが視線を向ける動作は、視線入力と呼ぶことができる。

【0048】

［動作］
以下、図４を参照して、本体１００で行われる撮影処理について説明する。図４は、本実施形態に係る撮影処理のフローチャートである。撮影モードで本体１００が起動したことや、本体１００のモードとして撮影モードが設定されたことなどに応じて、図４の処理が開始される。

【0049】

ステップＳ１では、システム制御部５０は、撮像素子２２の駆動を開始し、撮像データ（画像）の取得を開始する。これにより、焦点検出や被写体検出、ライブビュー表示などの少なくともいずれかを行うために十分な解像度を有する画像が順次取得される。ここでは、ライブビュー表示用の動画撮像のための駆動動作であるため、ライブビュー表示用のフレームレートに応じた時間の電荷蓄積を撮像データの読み出しの度に行う、いわゆる電子シャッタを用いた撮像を行う。ライブビュー表示は、表示部２８を電子ビューファインダ（ＥＶＦ）として機能させる表示であり、被写体を略リアルタイムで表す表示である。ライブビュー表示は、例えば、ユーザ（撮影者）が撮影範囲や撮影条件の確認を行うために行われ、ライブビュー表示用のフレームレートは、例えば、３０フレーム／秒（撮像間隔３３．３ｍｓ）や６０フレーム／秒（撮像間隔１６．６ｍｓ）などである。

【0050】

ステップＳ２では、システム制御部５０は、現在の撮像データから焦点検出データと撮像画像データを取得する処理を開始する。焦点検出データは、焦点検出領域における視差画像対を構成する第１画像と第２画像のデータを含む。例えば、第１画像を構成する画素のデータは、図２（ａ）の光電変換部２０１ａから得られるデータであり、第２画像を構成する画素のデータは、光電変換部２０１ｂから得られるデータである。撮像画像データは、撮像画像のデータであり、第１画像のデータと第２画像のデータとを足し合わせ、画像処理部２４で色補間処理などを適用して得られるデータである。このように、１回の撮像により、焦点検出データと撮像画像データを取得することができる。なお、焦点検出用画素と撮像用画素とを別々の画素とした場合には、焦点検出用画素の位置での画素値を得る補間処理などを行って撮像画像データを取得する。

【0051】

ステップＳ３では、システム制御部５０はライブビュー表示処理を開始する。システム制御部５０は、ライブビュー表示処理において、画像処理部２４を用いて現在の撮像画像（撮像画像データ）からライブビュー表示用の画像を生成し、生成した画像を表示部２８の画像表示領域に表示する。画像表示領域は、表示部２８の表示面の全領域、表示部２８に表示された画面（ウィンドウなど）の全領域、表示面または画面の一部の領域などのいずれかである。なお、ライブビュー表示用の画像は、例えば、表示部２８の解像度に合わせた縮小画像であり、撮像画像を生成する際に画像処理部２４で縮小処理を実施することもできる。この場合には、システム制御部５０は、生成された撮像画像（縮小処理後の画像）を表示部２８に表示する。上述したように、ライブビュー表示は被写体を略リアルタイムで表すため、ユーザは、ライブビュー表示を確認しながら、撮影時の構図や露出条件
の調整などを容易に行うことができる。さらに、本実施形態では、本体１００は、撮像画像から、人物の顔や動物などの被写体を検出することができる。このため、ライブビュー表示において、検出している被写体の領域を示す枠などの表示も行うことができる。

【0052】

ステップＳ４では、システム制御部５０は、視線検出と焦点検出を開始する。視線検出では、視線検出部７０１により、表示部２８の表示面における視線位置（ユーザの視線の位置）を示す視線情報が、ユーザが見ていた撮像画像と関連付けて、所定の時間間隔で取得される。さらに、ステップＳ４では、システム制御部５０は、検出された視線位置をユーザに通知するため、表示部２８の表示面における視線位置への所定のアイテム（丸など）の表示を開始する。焦点検出については後述する。

【0053】

本実施形態では、所定の条件Ａが満たされた否かに応じて、視線位置の表示状態を、視線位置（所定のアイテム）を常に表示する第１状態と、線種の変更、点滅、変色などにより視線位置の表示を第１状態よりも抑制した第２状態との間で切り替える。図６（ａ）は第１状態の表示例を示し、図６（ｂ），６（ｃ）は第２状態の表示例を示す。第１状態の図６（ａ）では、視線位置が太線６０１で表示されており、第２状態の図６（ｂ）では、視線位置が細線６０２で表示されており、第２状態の図６（ｃ）では、視線位置が破線６０３で表示されている。第２状態は、第１状態よりも視線位置の視認性が低い表示状態とも言える。図５（ａ）は、そのような切り替え処理（表示状態の切り替え処理）のフローチャートである。

【0054】

ステップＳ２０では、システム制御部５０は、条件Ａが満たされたか否かを判定する。システム制御部５０は、条件Ａが満たされたと判定した場合にステップＳ２２へ処理を進め、条件Ａが満たされなかったと判定した場合にステップＳ２１へ処理を進める。ステップＳ２１では、システム制御部５０は、視線位置の表示状態を、視線位置を常に表示する第１状態に制御する。ステップＳ２２では、システム制御部５０は、視線位置の表示状態を、非表示や点滅、変色などにより視線位置の表示を第１状態よりも抑制した第２状態に制御する。

【0055】

視線情報の信頼度（視線情報によって示された位置とユーザが意図した位置との一致度）は一定ではなく、変化し得る。そして、視線情報の信頼度が所定の閾値未満の場合には、視線情報に基づく処理がユーザの意図通りに行われない可能性が高い。そのため、視線情報の信頼度が所定の閾値未満であるという条件を、条件Ａに含めることが好ましい。ここで、視線情報の信頼度が所定の閾値未満であるという条件を条件Ａとして用いる場合を考える。システム制御部５０は、視線情報を取得する度に、取得した視線情報の信頼度を算出し、図５（ａ）の切り替え処理を行う。ステップＳ２０では、システム制御部５０は、視線情報の信頼度が所定の閾値未満であるか否かを判定する。信頼度が所定の閾値以上の場合には、ステップＳ２１へ処理が進められ、システム制御部５０は、視線位置の表示状態を第１状態に制御する。一方で、信頼度が所定の閾値未満の場合には、ステップＳ２２へ処理が進められ、システム制御部５０は、視線位置の表示状態を第２状態に制御する。こうすることで、視線位置の表示状態を好適に制御することができる。具体的には、信頼度の高い視線情報が本体１００で取得できている否か、視線情報に基づく処理がユーザの意図通りに行われない可能性の有無などをユーザに容易に把握させることができる。なお、視線情報の信頼度を算出する方法は特に限定されない。システム制御部５０は、視線情報の信頼度を算出せずに、視線情報の信頼度が所定の閾値未満の状態に対応する状態を検出してもよい（詳細は後述する）。

【0056】

図４に戻り、ステップＳ５では、システム制御部５０は、信号ＳＷ１（第１シャッタースイッチ６２のＯＮ；撮影準備指示；シャッターボタン６１の半押し状態）が検出された否かを判定する。システム制御部５０は、信号ＳＷ１が検出されたと判定した場合にステ
ップＳ６へ処理を進め、信号ＳＷ１が検出されなかったと判定した場合にステップＳ１３へ処理を進める。

【0057】

ステップＳ６では、システム制御部５０は、焦点検出領域の設定と、ステップＳ４で開始した焦点検出とを行う。ここでは、システム制御部５０は、現在の視線位置と、現在の撮像画像から検出された被写体の位置とに基づいて、焦点検出領域を設定する。例えば、検出された複数の被写体のうち、視線位置に最も近い被写体の領域（視線位置を含む領域）を、焦点検出領域に設定することができる。そして、システム制御部５０は、焦点検出領域で合焦する焦点位置（合焦点）を検出する。ステップＳ６以降では、視線情報を用いた焦点検出（焦点検出領域の設定を含む）が繰り返し実行される。なお、視線情報が取得される前の焦点検出領域の設定方法は特に限定されない。例えば、ユーザが任意に選択した被写体の領域を、焦点検出領域として設定することができる。

【0058】

システム制御部５０は、焦点検出を行う際に、焦点検出の精度を高める（保障する）ために露出制御も行う。システム制御部５０は、この露出制御により取得した露出情報（撮像画像の露出情報）から、視線位置における露出状態を判別することができる。視線位置における露出状態が飽和状態（高輝度状態）や低輝度状態である場合には、ユーザが視線位置の被写体を正しく視認できていない可能性が高く、視認情報の信頼度が低い可能性が高い。そのため、視線位置での露出が所定の範囲外の不適正露出であるという条件と条件Ａに含めて、図５（ａ）の切り替え処理を行うことが好ましい。そのような切り替え処理は、露出制御により露出情報を取得した後に行われる。なお、露出が所定の範囲の最大値を超えている状態が飽和状態であり、露出が所定の範囲の最小値を下回った状態が低輝度状態である。また、視線位置での露出が所定の範囲外の不適正露出である状態（飽和状態や低輝度状態）は、視線情報の信頼度が所定の閾値未満の状態に対応する状態とも言える。

【0059】

ここで、図５（ａ）の切り替え処理において、視線位置での露出が所定の範囲外の不適正露出であるという条件を条件Ａとして用いる場合を考える。ステップＳ２０では、システム制御部５０は、取得した露出情報に基づいて、視線位置での露出が所定の範囲外の不適正露出であるか否かを判定する。露出が不適正露出でない場合（露出が適正露出である場合）には、ステップＳ２１へ処理が進められ、システム制御部５０は、視線位置の表示状態を第１状態に制御する。一方で、露出が不適正露出である場合には、ステップＳ２２へ処理が進められ、システム制御部５０は、視線位置の表示状態を第２状態に制御する。

【0060】

なお、焦点検出時における露出制御で取得する露出情報から、視線位置における露出状態を判別する例を説明したが、視線位置における露出状態の判別の方法やタイミングは特に限定されず、他の方法やタイミングで露出状態が判別されてもよい。

【0061】

焦点検出では、焦点検出領域における視差画像対を構成する第１画像と第２画像の像ずれ量（位相差）が算出され、像ずれ量から焦点検出領域におけるデフォーカス量（大きさと方向を含むベクトル量）が算出される。以下、焦点検出について具体的に説明する。

【0062】

まず、システム制御部５０は、第１画像と第２画像にシェーディング補正を施すことにより、第１画像と第２画像の間の光量差（輝度差）を低減する。さらに、システム制御部５０は、シェーディング補正後の第１画像と第２画像にフィルター処理を施すことにより、位相差検出を行う空間周波数の画像（データ）を抽出する。

【0063】

次に、システム制御部５０は、フィルター処理後の第１画像と第２画像を相対的に瞳分割方向にシフトさせるシフト処理を行い、第１画像と第２画像の一致度を表す相関値を算出する。

【0064】

ここで、フィルター処理後の第１画像におけるｋ番目の画素のデータをＡ（ｋ）とし、フィルター処理後の第２画像におけるｋ番目の画素のデータをＢ（ｋ）とし、焦点検出領域に対応する番号ｋの範囲をＷとする。さらに、シフト処理によるシフト量をｓ１として、シフト量ｓ１の範囲（シフト範囲）をΓ１とする。この場合に、相関値ＣＯＲ（ｓ１）は、以下の式１を用いて算出できる。

【数1】

【0065】

具体的には、シフト量ｓ１のシフト処理により、フィルター処理後の第１画像におけるｋ番目の画素のデータＡ（ｋ）に、フィルター処理後の第２画像におけるｋ－ｓ１番目の画素のデータＢ（ｋ－ｓ１）を対応付ける。次に、データＡ（ｋ）からデータＢ（ｋ－ｓ１）を減算し、減算結果の絶対値を算出する。そして、焦点検出領域に対応する範囲Ｗ内で算出された絶対値の総和を、相関値ＣＯＲ（ｓ１）として算出する。なお、必要に応じて、行毎に算出された相関量を、シフト量毎に、複数行に亘って加算してもよい。

【0066】

次に、システム制御部５０は、相関値から、サブピクセル演算により、相関値が最小となる実数値のシフト量を、像ずれ量ｐ１として算出する。そして、システム制御部５０は、算出した像ずれ量ｐ１に、焦点検出領域の像高と、撮像レンズ（結像光学系；撮像光学系）のＦ値と、射出瞳距離とに応じた変換係数Ｋ１を乗算することにより、デフォーカス量を算出する。

【0067】

ステップＳ７では、システム制御部５０は、ステップＳ６で検出（算出）したデフォーカス量に基づき、フォーカスレンズを駆動する。検出されたデフォーカス量が所定値より小さい場合には、必ずしもフォーカスレンズを駆動する必要はない。

【0068】

フォーカスレンズを駆動する（移動させる）と像面移動が発生するため、撮像画像が変化する。デフォーカス量が大きい場合には、撮像画像の変化量も大きくなる。ユーザは、このような撮像画像の変化を予期することが難しく、フォーカスレンズの大きな駆動や速い駆動が行われる場合には、ユーザが視線で追っていた被写体をうまく視線で追えなくなる可能性が高く、視認情報の信頼度が低減する可能性が高い。そのため、フォーカスレンズの駆動量が所定の閾値よりも大きいという条件や、フォーカスレンズの駆動速度が所定の閾値よりも大きいという条件を条件Ａに含めて、図５（ａ）の切り替え処理を行うことが好ましい。そのような切り替え処理は、フォーカスレンズを駆動する前（際）に行われる。なお、システム制御部５０は、検出したデフォーカス量から、フォーカスレンズの駆動量やフォーカスレンズの駆動速度を判別することができる。また、フォーカスレンズの駆動量が所定の閾値よりも大きい状態や、フォーカスレンズの駆動速度が所定の閾値よりも大きい（速い）状態は、視線情報の信頼度が所定の閾値未満の状態に対応する状態とも言える。

【0069】

ここで、図５（ａ）の切り替え処理において、フォーカスレンズの駆動量が所定の閾値よりも大きいという条件を条件Ａとして用いる場合を考える。ステップＳ２０では、システム制御部５０は、フォーカスレンズの駆動量が所定の閾値よりも大きいか否かを判定する。駆動量が所定の閾値以下である場合には、ステップＳ２１へ処理が進められ、システム制御部５０は、視線位置の表示状態を第１状態に制御する。一方で、駆動量が所定の閾値よりも大きい場合には、ステップＳ２２へ処理が進められ、システム制御部５０は、視線位置の表示状態を第２状態に制御する。

【0070】

撮像光学系のズームレンズを駆動する（移動させる）場合も、像倍率変化が発生し、フォーカスレンズを駆動する場合と同様に、撮像画像の変化が発生する。そのため、ズームレンズの駆動量が所定の閾値よりも大きいという条件や、ズームレンズの駆動速度が所定の閾値よりも大きいという条件を条件Ａに含めて、図５（ａ）の切り替え処理を行うことが好ましい。そのような切り替え処理は、ズームレンズの駆動を検出できる場合に実行でき、ズームレンズを駆動する前（際）に実行される。なお、ズームレンズは、例えば、ユーザがレンズユニット１５０や操作部７０を操作することによって任意のタイミングで動かされる。そして、システム制御部５０は、レンズユニット１５０や操作部７０に対する操作などの、ズームレンズを駆動する指示から、ズームレンズの駆動量やズームレンズの駆動速度を判別することができる。また、ズームレンズの駆動量が所定の閾値よりも大きい状態や、ズームレンズの駆動速度が所定の閾値よりも大きい（速い）状態は、視線情報の信頼度が所定の閾値未満の状態に対応する状態とも言える。

【0071】

また、フォーカスレンズやズームレンズといった撮像光学系の駆動以外に、撮像画像の変化（変動）を発生させる要因として、本体１００の振れ（揺れ；本体１００を持つ手の振れに起因した手振れなど）がある。本体１００が大きく揺れている場合には、撮影範囲（撮像範囲）や、表示部２８の表示面（表示面上での撮像画像）も大きく揺れているため、ユーザが所望の被写体をうまく視線で追えない可能性が高く、視認情報の信頼度が低い可能性が高い。そのため、本体１００の振れ量が所定の閾値よりも大きいという条件と条件Ａに含めて、図５（ａ）の切り替え処理を行うことが好ましい。そのような切り替え処理は、本体１００の振れを検出できる場合に実行でき、本体１００の振れを検知した後に行われる。なお、システム制御部５０は、姿勢検出部５５による検出の結果から、本体１００の振れの種別や量を判別することができる。また、本体１００の振れ量（揺れ量）が所定の閾値よりも大きい状態は、視線情報の信頼度が所定の閾値未満の状態に対応する状態とも言える。

【0072】

ステップＳ８では、システム制御部５０は、ステップＳ１～Ｓ４で開始した処理（撮像、ライブビュー表示、視線検出、視線位置の表示、焦点検出など）を行う。焦点検出の方法は、ステップＳ６の方法（視線情報を用いた焦点検出）と同様である。なお、ステップＳ８の処理は、ステップＳ７の処理中（フォーカスレンズの駆動中）に、並列的に行ってもよい。また、ライブビュー表示（撮像画像）の変化や、視線位置の変化などに基づいて、焦点検出領域を変更してもよい。

【0073】

ステップＳ９では、システム制御部５０は、信号ＳＷ２（第２シャッタースイッチ６４のＯＮ；撮影指示；シャッターボタン６１の全押し状態）が検出された否かを判定する。システム制御部５０は、信号ＳＷ２が検出されたと判定した場合にステップＳ１０へ処理を進め、信号ＳＷ２が検出されなかったと判定した場合にステップＳ５へ処理を戻す。

【0074】

ステップＳ１０では、システム制御部５０は、撮像画像の記録（撮影）を行うか否かを判定する。システム制御部５０は、撮像画像の記録を行うと判定した場合にステップＳ１１へ処理を進め、撮像画像の記録を行わないと判定した場合にステップＳ１２へ処理を進める。本実施形態では、第２シャッタースイッチ６４の長押しで連写（連写撮影；連続撮影）が行われ、連写中には、撮影（撮像画像の記録）と焦点検出の間で処理が切り替えられる。撮影と焦点検出が交互に行われるように、１回の撮像の度に処理を切り替えてもよい。複数回（例えば、３回）の撮像の度に１回の焦点検出が行われるように処理を切り替えてもよい。これにより、単位時間当たりの撮影枚数を大幅に減らすことなく、焦点検出を好適に行うことができる。

【0075】

ステップＳ１１では、システム制御部５０は、撮像画像を記録媒体２００に記録する。また、システム制御部５０は、必要に応じて、記録（撮影）された画像を表示部２８に表
示する（画像確認表示）。撮影指示が画像確認表示の指示を兼ねて、撮影後に画像確認表示が自動で行われてもよい。操作部７０が撮影指示とは別の指示（操作）を受け付け、システム制御部５０が、当該指示に応じて画像確認表示のための制御を行ってもよい。ステップＳ１１の後、ステップＳ９へ処理が戻される。

【0076】

画像確認表示は、例えば、撮影された画像をユーザに確認させるために行われ、画像確認表示が実行中である場合には、視線位置（視線情報）の取得や表示を必要としない。このため、画像確認表示の指示があったという条件や、画像確認表示の実行中であるという条件を条件Ａに含めて、図５（ａ）の切り替え処理を行うことが好ましい。こうすることで、視線位置の表示状態をより好適に制御することができる。具体的には、視線情報に基づく処理が実行可能な状態か否かなどをユーザに容易に把握させることができる。上述したように、システム制御部５０は、操作部７０（シャッターボタン６１を含む）がユーザから受け付けた指示に応じて、画像確認表示のための制御を行う。このため、システム制御部５０は、操作部７０（シャッターボタン６１を含む）がユーザから受け付けた指示に応じて、画像確認表示の指示があったか否かや、画像確認表示の実行中であるか否かを判別することができる。

【0077】

同様に、撮影画面（撮影を行う画面）とは異なる画面が表示部２８で表示中である場合にも、視線位置（視線情報）の取得や表示を必要としないことがある。このため、撮影画面とは異なる画面が表示部２８で表示中であるという条件や、撮影画面とは異なる画面を表示部２８に表示する指示があったという条件を条件Ａに含めて、図５（ａ）の切り替え処理を行うことが好ましい。撮影画面とは異なる画面は、例えば、カメラシステムの設定を変更するためのカメラ設定変更画面（メニュー画面）や、カメラシステムを外部装置と通信させるための通信画面などである。画像確認表示と同様に、システム制御部５０は、操作部７０がユーザから受け付けた指示に応じて、撮影画面とは異なる画面を表示するための制御を行う。このため、システム制御部５０は、操作部７０がユーザから受け付けた指示に応じて、撮影画面とは異なる画面の表示中であるか否かや、撮影画面とは異なる画面を表示する指示があったか否かを判別することができる。

【0078】

一方で、撮影画面（ライブビュー画面）とは異なる画面が撮影画面とともに表示されている場合は、撮影画面を確認しつつ視線によって操作を行えるようにするために、継続して視線検出および検出された視線位置に基づく指示を受け付けてもよい。

【0079】

また、マニュアルフォーカス（手動での焦点調整）を行う場合にも、視線位置（視線情報）の取得や表示を必要としないことがある。このため、マニュアルフォーカス中であるという条件や、マニュアルフォーカスを開始する指示があったという条件を条件Ａに含めて、図５（ａ）の切り替え処理を行うことが好ましい。なお、マニュアルフォーカスを行う場合には、ステップＳ７のフォーカスレンズ駆動や、ステップＳ４，Ｓ６～８，Ｓ１２の焦点検出を図４の撮影処理から除いた処理が行われる。マニュアルフォーカスでは、フォーカスレンズが手動で駆動される。また、マニュアルフォーカスは、操作部７０がユーザから受け付けた指示に応じて、システム制御部５０により設定される。このため、システム制御部５０は、操作部７０がユーザから受け付けた指示に応じて、マニュアルフォーカス中であるか否かや、マニュアルフォーカスを開始する指示があったか否かを判別することができる。

【0080】

さらに、マニュアルフォーカスでは、ユーザはピントを合わせたい位置に焦点位置を手動で調整するため、細かなピントの変化を撮影画像から視認する必要がある。このため、視線位置が視認性良く表示されている場合には、ユーザが焦点位置の調整を好適に行えない可能性が高い（操作性の低下）。このため、マニュアルフォーカス中での視線位置の表示状態（第２状態）は、視認性が十分に低い状態であることが好ましく、非表示の状態で
あることが特に好ましい。こうすることで、焦点位置の調整を好適に行いやすくすることができる（操作性の向上）。

【0081】

ステップＳ１２では、システム制御部５０は、ステップＳ８と同様に、ステップＳ１～Ｓ４で開始した処理（撮像、ライブビュー表示、視線検出、視線位置の表示、焦点検出など）を行う。但し、連写のフレームレート（撮像コマ速）や、撮像画像から記録画像（記録する画像）を生成する生成処理などにより、ステップＳ１２では、撮像画像の表示期間や表示更新レート（間隔）、表示遅延などがステップＳ８と異なる。ステップＳ１２の後、ステップＳ９へ処理が戻される。

【0082】

連写中は、シャッターが切られることによりブラックアウトが発生したり、画像確認表示が行われたりする。このため、ユーザは表示部２８（電子ビューファインダ）で被写体を視認することが難しく、視認情報の信頼度が低い可能性が高い。そのため、連写中であるという条件と条件Ａに含めて、図５（ａ）の切り替え処理を行うことが好ましい。システム制御部５０は、操作部７０（シャッターボタン６１を含む）がユーザから受け付けた指示に応じて、連写のための制御を行う。このため、システム制御部５０は、操作部７０（シャッターボタン６１を含む）がユーザから受け付けた指示に応じて、連写中であるか否かを判別することができる。また、連写中である状態は、視線情報の信頼度が所定の閾値未満の状態に対応する状態とも言える。

【0083】

上述したように、ステップＳ５で信号ＳＷ１が検出されなかった場合には、ステップＳ１３へ処理が進められる。ステップＳ１３では、システム制御部５０は、撮影処理の終了指示（操作）があったか否かを判定する。終了指示は、例えば、本体１００のモードを撮影モードから他のモードへ変更する指示や、本体１００の電源を切る指示などである。システム制御部５０は、終了指示があったと判定した場合に図４の撮影処理を終了し、終了指示が無かったと判定した場合にステップＳ５へ処理を戻す。

【0084】

なお、所定の条件Ｂが満たされた否かに応じて、視線検出（視線情報の取得）の実行／非実行を切り替えてもよい。図５（ｂ）は、そのような切り替え処理（視線検出の実行／非実行の切り替え処理）のフローチャートである。

【0085】

ステップＳ３０では、システム制御部５０は、条件Ｂが満たされたか否かを判定する。システム制御部５０は、条件Ｂが満たされたと判定した場合にステップＳ３２へ処理を進め、条件Ａが満たされなかったと判定した場合にステップＳ３１へ処理を進める。ステップＳ３１では、システム制御部５０は、視線検出を実行する（視線検出を開始する）ように制御する。ステップＳ３２では、システム制御部５０は、視線検出を実行しない（視線検出を停止する）ように制御する。ステップＳ３２の処理が行われると、視線情報が取得されなくなるため、視線位置は非表示となる。視線検出を停止することにより、視線検出部７０１への電源供給を停止することができ、電力消費を低減することができる。さらに、視線検出に関する処理を省略することができ、処理負荷を低減することができる。なお、システム制御部５０は、視線検出部７０１による視線の検出を停止せずに、視線検出部７０１からの視線情報の取得を停止してもよい。そうすることにより、視線情報が取得される状態への復帰を短時間で行うことが可能となる。

【0086】

条件Ｂは条件Ａと同じであってもよいし、異なっていてもよい。視線位置（視線情報）の取得や表示を必要としない場合や、視認情報の信頼度が特に低い場合には、視線位置を表示しないことが好ましい。このため、そられの場合に対応する以下の条件の少なくともいずれかを条件Ｂに含めることが好ましい。
・画像確認表示の指示があったという条件
・撮影画面とは異なる画面を表示部２８で表示中であるという条件
・連写中であるという条件
・マニュアルフォーカス中であるという条件

【0087】

上述した条件Ａの候補を以下にまとめるが、条件Ａは以下の条件のうちの１つの条件であってもよいし、複数の条件を含んでもよい。
・画像確認表示の指示があったという条件
・撮影画面とは異なる画面を表示部２８で表示中であるという条件
・連写中であるという条件
・マニュアルフォーカス中であるという条件
・視線情報の信頼度が所定の閾値未満であるという条件
・フォーカスレンズの駆動量が所定の閾値よりも大きいという条件
・フォーカスレンズの駆動速度が所定の閾値よりも大きいという条件
・ズームレンズの駆動量が所定の閾値よりも大きいという条件
・ズームレンズの駆動速度が所定の閾値よりも大きいという条件
・本体１００の振れ量が所定の閾値よりも大きいという条件
・視線位置での露出が所定の範囲外であるという条件

【0088】

以上に示した条件Ａが複数の条件を含む場合には、複数の条件のいずれも満たされなければ、図５（ａ）のステップＳ２１の処理（視線位置の表示状態を第１状態に切り替える処理）が行われる。複数の条件の少なくともいずれかが満たされると、ステップＳ２２の処理（視線位置の表示状態を第２状態に切り替える処理）が行われる。同様に、条件Ｂは１つの条件であってもよいし、複数の条件を含んでもよい。条件Ｂが複数の条件を含む場合には、複数の条件のいずれも満たされなければ、図５（ｂ）のステップＳ３１の処理（視線検出を実行させる処理）が行われる。複数の条件の少なくともいずれかが満たされると、ステップＳ３２の処理（視線情報の取得を停止する処理）が行われる。

【0089】

（その他の実施形態）
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。

【0090】

なお、上述の実施形態はあくまで一例であり、本発明の要旨の範囲内で実施形態の構成（処理の順番を含む）を適宜変形したり変更したりすることにより得られる構成も、本発明に含まれる。実施形態の構成を適宜組み合わせて得られる構成も、本発明に含まれる。

【符号の説明】

【0091】

１００：本体 ２４：画像処理部 ２８：表示部 ５０：システム制御部
７０１：視線検出部

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】