特許 7433860 電子機器及び電子機器の制御方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2024-02-09

(45)【発行日】2024-02-20

(54)【発明の名称】電子機器及び電子機器の制御方法

(51)【国際特許分類】

   H04N 23/611 20230101AFI20240213BHJP

   G03B 15/00 20210101ALI20240213BHJP

   H04N 23/67 20230101ALI20240213BHJP

   H04N 23/71 20230101ALI20240213BHJP

   G06F 3/038 20130101ALI20240213BHJP

   G06F 3/01 20060101ALI20240213BHJP

   G06F 3/04842 20220101ALI20240213BHJP

   G02B 7/28 20210101ALI20240213BHJP

【ＦＩ】

H04N23/611

G03B15/00 Q

H04N23/67

H04N23/71

G06F3/038 310A

G06F3/01 510

G06F3/04842

G02B7/28 N

【請求項の数】 17

(21)【出願番号】P 2019213504

(22)【出願日】2019-11-26

(65)【公開番号】P2021087068

(43)【公開日】2021-06-03

【審査請求日】2022-11-08

(73)【特許権者】

【識別番号】000001007

【氏名又は名称】キヤノン株式会社

(74)【代理人】

【識別番号】110002860

【氏名又は名称】弁理士法人秀和特許事務所

(72)【発明者】

【氏名】船津 慶大

【審査官】登丸 久寿

(56)【参考文献】

【文献】特開２０１５－０２２２０８（ＪＰ，Ａ）

【文献】特開２０１９－０７５６９９（ＪＰ，Ａ）

【文献】特開２０１２－１２３３０１（ＪＰ，Ａ）

【文献】特開平０５－３２８１９７（ＪＰ，Ａ）

【文献】特開２００４－２１５０６２（ＪＰ，Ａ）

【文献】特開２０１９－０７５７１９（ＪＰ，Ａ）

【文献】特開２０１９－１２０７４８（ＪＰ，Ａ）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｈ０４Ｎ ２３／６１１

Ｇ０３Ｂ １５／００

Ｈ０４Ｎ ２３／６７

Ｈ０４Ｎ ２３／７１

Ｇ０６Ｆ ３／０３８

Ｇ０６Ｆ ３／０１

Ｇ０６Ｆ ３／０４８４２

Ｇ０３Ｂ ７／０８

Ｇ０２Ｂ ７／２８

(57)【特許請求の範囲】

【請求項1】

表示手段に表示される画像を見るユーザーの視線位置を検出する視線検出手段と、
前記画像から特定の種別の被写体および前記特定の種別の被写体に含まれる部位を検出する被写体検出手段と、
方向キーと、
前記方向キーに対する操作に応じて、前記表示手段に表示される前記画像内の位置を選択するように制御する制御手段と、を有し、
前記制御手段は、前記方向キーに対する操作に応じて、前記視線検出手段により検出された視線位置に基づく前記被写体検出手段により検出された前記特定の種別の被写体に含まれる部位であって、前記方向キーに対する操作に応じた部位を選択するように制御することを特徴とする電子機器。

【請求項2】

前記特定の種別の被写体は人物の顔であり、前記部位は顔の器官である
ことを特徴とする請求項１に記載の電子機器。

【請求項3】

前記器官は右側の目と左側の目を含む
ことを特徴とする請求項２に記載の電子機器。

【請求項4】

前記制御手段は、前記方向キーに対する操作が第１の方向を指示する操作である場合は、前記視線位置にある前記特定の種別の被写体の前記第１の方向側の部位を選択し、前記方向キーに対する操作が第２の方向を指示する操作である場合は、前記視線位置にある前記特定の種別の被写体の前記第２の方向側の部位を選択するように制御する
ことを特徴とする請求項１から３のいずれか１項に記載の電子機器。

【請求項5】

前記特定の種別の被写体は顔であり、前記部位は目であり、
前記制御手段は、前記方向キーに対する操作が第１の方向を指示する操作である場合は、前記視線位置にある顔の前記第１の方向側の目を選択し、前記方向キーに対する操作が第２の方向を指示する操作である場合は、前記視線位置にある顔の前記第２の方向側の目を選択するように制御する
ことを特徴とする請求項１に記載の電子機器。

【請求項6】

前記制御手段は、前記被写体検出手段によって前記視線位置で前記特定の種別の被写体が検出されているが、前記特定の種別の被写体に含まれる部位が検出されていない場合、前記方向キーに対する操作に応じて前記特定の種別の被写体の全体を選択するように制御する
ことを特徴とする請求項１から５のいずれか１項に記載の電子機器。

【請求項7】

前記制御手段は、前記方向キーに対する操作に応じて、当該操作の前に選択されていた部位の位置にかかわらず、前記被写体検出手段において前記視線位置で検出された前記特定の種別の被写体に含まれる部位であって、前記方向キーに対する操作に応じた部位を選択するように制御する、
ことを特徴とする請求項１から６のいずれか１項に記載の電子機器。

【請求項8】

前記制御手段は、
前記方向キーに対する操作に応じて、当該操作の前に選択されていた部位の位置にかかわらず、前記被写体検出手段において前記視線位置で検出された前記特定の種別の被写体に含まれる部位であって、前記方向キーに対応する方向に応じた部位を選択するように制御し、
前記方向キーとは異なる操作ボタンへの操作に応じて、前記被写体検出手段において前記視線位置で検出された前記特定の種別の被写体に含まれる部位を、当該操作の前に選択されていた部位の位置に応じて選択するように制御する、
ことを特徴とする請求項７に記載の電子機器。

【請求項9】

前記制御手段は、
前記被写体検出手段によって前記視線位置で前記特定の種別の被写体が検出されている場合、前記方向キーに対する操作に応じて、当該操作の前に選択されていた部位の位置にかかわらず、前記被写体検出手段において前記視線位置で検出された前記特定の種別の被写体に含まれる部位であって、前記方向キーに対する操作に応じた部位を選択するように制御し、
前記被写体検出手段によって前記視線位置で前記特定の種別の被写体が検出されていない場合、前記方向キーに対する操作に応じて、前記視線位置に関わらず、前記方向キーに対する操作および当該操作の前に選択されていた選択領域の位置に基づく位置を選択するように制御する
ことを特徴とする請求項１から８のいずれか１項に記載の電子機器。

【請求項10】

前記制御手段は、前記表示手段に表示される画像に対する視線入力に基づく処理を無効とする設定とされていた場合には、前記方向キーに対する操作および当該操作の前に選択されていた選択領域の位置に基づく位置を選択するように制御する
ことを特徴とする請求項１から９のいずれか１項に記載の電子機器。

【請求項11】

前記制御手段は、前記方向キーに対する操作に応じて選択された部位に基づいて特定の処理を実行するように制御する
ことを特徴とする請求項１から１０のいずれか１項に記載の電子機器。

【請求項12】

前記表示手段に表示される画像は撮像手段で撮像されているライブビュー画像であり、
前記特定の処理は、オートフォーカス、自動露出、追尾対象の決定のうち少なくとも１つである
ことを特徴とする請求項１１に記載の電子機器。

【請求項13】

前記表示手段に表示される画像は再生画像である
ことを特徴とする請求項１１に記載の電子機器。

【請求項14】

前記特定の処理は、画像補正処理、トリミング、属性情報の付与のうち少なくとも１つである
ことを特徴とする請求項１３に記載の電子機器。

【請求項15】

表示手段に表示される画像を見るユーザーの視線位置を検出する視線検出ステップと、
前記画像から特定の種別の被写体および前記特定の種別の被写体に含まれる部位を検出する被写体検出ステップと、
方向キーに対する操作に応じて、前記表示手段に表示される前記画像内の位置を選択するように制御する制御ステップと、を有し、
前記制御ステップにおいて、前記方向キーに対する操作に応じて、前記視線検出ステップで検出された視線位置に基づく前記被写体検出ステップで検出された前記特定の種別の被写体に含まれる部位であって、前記方向キーに対する操作に応じた部位を選択するように制御する
ことを特徴とする電子機器の制御方法。

【請求項16】

コンピュータを、請求項１から１４のいずれか１項に記載の電子機器の各手段として機能させるためのプログラム。

【請求項17】

コンピュータを、請求項１から１４のいずれか１項に記載の電子機器の各手段として機能させるためのプログラムを格納したコンピュータが読み取り可能な記憶媒体。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、視線入力を受け付け可能な電子機器及び電子機器の制御方法に関する。

【背景技術】

【0002】

近年、電子機器では、視線入力を使用して領域選択をする技術が知られている。視線入力は、例えば、ＰＣに接続した視線入力機器やゲームの入力機器で検出することにより、マウスポインタの位置の移動やゲームの各種操作に使用される。また、視線入力機能を有する撮像装置は、ファインダーの観測領域内で測距領域を選択するために視線入力を使用する。

【0003】

特許文献１では、焦点状態の検出や被写体の距離測定に用いられる複数の測定領域から、所望の測定領域を選択するために要する時間を短縮する技術が開示されている。具体的には、選択されている測定領域と検出された視線との位置関係に応じて、測定領域を変更するときの速度が変更される。

【先行技術文献】

【特許文献】

【0004】

【文献】特開２０１８－７４２００号公報

【発明の概要】

【発明が解決しようとする課題】

【0005】

ファインダーの観測領域内で所望の領域を選択する場合、ユーザーは、操作部材を操作して領域を順番に指定したり、上下左右に選択領域を移動させたりする。特許文献１では、領域を選択する場合の移動速度を変更して選択に要する時間を短縮できるが、ユーザーが所望の領域を選択するための操作の手間は、さらに削減されることが望まれる。

【0006】

そこで、本発明は、ユーザーが所望の領域を選択する場合の操作性を向上させることを目的とする。

【課題を解決するための手段】

【0007】

上記課題を解決するために、本発明の電子機器は、表示手段に表示される画像を見るユーザーの視線位置を検出する視線検出手段と、
前記画像から特定の種別の被写体および前記特定の種別の被写体に含まれる部位を検出する被写体検出手段と、
方向キーと、
前記方向キーに対する操作に応じて、前記表示手段に表示される前記画像内の位置を選択するように制御する制御手段と、を有し、
前記制御手段は、前記方向キーに対する操作に応じて、前記視線検出手段により検出された視線位置に基づく前記被写体検出手段により検出された前記特定の種別の被写体に含まれる部位であって、前記方向キーに対する操作に応じた部位を選択するように制御することを特徴とする。

【発明の効果】

【0008】

本発明によれば、ユーザーが所望の領域を選択する場合の操作性を向上させることができる。

【図面の簡単な説明】

【0009】

【図1】デジタルカメラの外観図である。

【図2】デジタルカメラの構成例を示すブロック図である。

【図3】視線入力を用いた領域選択操作を説明する図である。

【図4】操作部による領域選択操作を説明する図である。

【図5】視線入力および循環選択操作による領域選択を説明する図である。

【図6】視線入力および左右選択操作による領域選択を説明する図である。

【図7】領域選択処理を例示するフローチャートである。

【図8】方向選択操作による領域選択処理を例示するフローチャートである。

【図9】循環選択操作による領域選択処理を例示するフローチャートである。

【発明を実施するための形態】

【0010】

＜デジタルカメラの外観図＞
以下、図面を参照して本発明の好適な実施形態を説明する。図１（Ａ）および図１（Ｂ）に本発明を適用可能な電子機器の一例としてのデジタルカメラ１００の外観図を示す。図１（Ａ）はデジタルカメラ１００の前面斜視図であり、図１（Ｂ）はデジタルカメラ１００の背面斜視図である。

【0011】

表示部２８は、デジタルカメラ１００の背面に設けられた表示部であり、画像や各種情報を表示する。タッチパネル７０ａは、表示部２８の表示面（タッチ操作面）に対するタッチ操作を検出することができる。ファインダー外表示部４３は、デジタルカメラ１００の上面に設けられた表示部であり、シャッター速度や絞りをはじめとするデジタルカメラ１００の様々な設定値を表示する。シャッターボタン６１は、撮影指示を行うための操作部材である。モード切替スイッチ６０は、各種モードを切り替えるための操作部材である。端子カバー４０は、デジタルカメラ１００を外部機器に接続する接続ケーブル等のコネクタ（不図示）を保護するカバーである。

【0012】

メイン電子ダイヤル７１は回転操作部材であり、メイン電子ダイヤル７１を回すことで、シャッター速度や絞りなどの設定値の変更等が行える。電源スイッチ７２は、デジタルカメラ１００の電源のオン及びオフを切り替える操作部材である。サブ電子ダイヤル７３は回転操作部材であり、サブ電子ダイヤル７３を回すことで、選択枠（カーソル）の移動や画像送りなどを行える。

【0013】

４方向キー７４は、上、下、左、右部分をそれぞれ押し込み可能に構成され、４方向キー７４の押した部分に応じた処理が可能である。ＳＥＴボタン７５は、押しボタンであり、主に選択項目の決定などに用いられる。

【0014】

動画ボタン７６は、動画撮影モードにおいては、動画撮影（記録）の開始または停止の指示に用いられる。ＡＥロックボタン７７は押しボタンであり、撮影待機状態でＡＥロックボタン７７を押下することにより、露出状態を固定することができる。拡大ボタン７８は、撮影モードのライブビュー表示において拡大モードのオンとオフを切り替えるボタンである。拡大モードをオンとしてメイン電子ダイヤル７１を操作することにより、ライブビュー画像を拡大または縮小することができる。また、拡大ボタン７８は、再生モードにおいて再生画像を拡大し、拡大率を増加させるボタンとして機能する。

【0015】

再生ボタン７９は、撮影モードと再生モードとを切り替えるための操作ボタンである。撮影モード中に再生ボタン７９を押下することで再生モードに移行し、記録媒体２００（図２を用いて後述する）に記録された画像のうち、最新の画像を表示部２８に表示させることができる。

【0016】

メニューボタン８１は、メニュー画面を表示させる指示操作を行うために用いられる押しボタンであり、メニューボタン６７が押されると各種の設定が可能なメニュー画面が表示部２８に表示される。ユーザーは、表示部２８に表示されたメニュー画面と、４方向キ
ー７４、ＳＥＴボタン７５、またはマルチコントローラー（以下、ＭＣ）６５とを用いて直感的に各種設定をすることができる。ＭＣ６５は、八方向への方向指示と、中央部分の押し込み操作とを受け付ける。

【0017】

通信端子１０はデジタルカメラ１００がレンズ側（着脱可能）と通信を行うための通信端子である。接眼部１６は、接眼ファインダー（覗き込み型のファインダー）の接眼部であり、ユーザーは、接眼部１６を介して内部のＥＶＦ（Ｅｌｅｃｔｒｉｃ Ｖｉｅｗ Ｆｉｎｄｅｒ）２９に表示された映像を視認することができる。接眼検知部５７は接眼部１６に撮影者が接眼しているか否かを検知する接眼検知センサーである。

【0018】

蓋２０２は記録媒体２００を格納したスロットの蓋である。グリップ部９０は、ユーザーがデジタルカメラ１００を構えた際に右手で握りやすい形状とした保持部である。グリップ部９０を右手の小指、薬指、中指で握ってデジタルカメラを保持した状態で、右手の人差指で操作可能な位置にシャッターボタン６１、メイン電子ダイヤル７１が配置されている。また、同じ状態で、右手の親指で操作可能な位置に、サブ電子ダイヤル７３が配置されている。

【0019】

＜デジタルカメラのブロック図＞
図２は、デジタルカメラ１００の構成例を示すブロック図である。レンズユニット１５０は、交換可能な撮影レンズを搭載するレンズユニットである。レンズ１０３は通常、複数枚のレンズから構成されるが、図２では簡略して一枚のレンズで示している。

【0020】

通信端子６はレンズユニット１５０がデジタルカメラ１００側と通信を行うための通信端子であり、通信端子１０はデジタルカメラ１００がレンズユニット１５０側と通信を行うための通信端子である。レンズユニット１５０は、これらの通信端子６，１０を介してシステム制御部５０と通信する。レンズユニット１５０は、内部のレンズシステム制御回路４によって絞り駆動回路２を介して絞り１の制御を行う。また、レンズユニット１５０は、レンズシステム制御回路４によってＡＦ駆動回路３を介して、レンズ１０３を変位させることで焦点を合わせる。

【0021】

シャッター１０１は、システム制御部５０の制御で撮像部２２の露光時間を自由に制御できるフォーカルプレーンシャッターである。

【0022】

撮像部２２は光学像を電気信号に変換するＣＣＤやＣＭＯＳ素子等で構成される撮像素子である。Ａ／Ｄ変換器２３は、撮像部２２から出力されるアナログ信号をデジタル信号に変換する。

【0023】

画像処理部２４は、Ａ／Ｄ変換器２３からのデータ、または、メモリ制御部１５からのデータに対し所定の処理（画素補間、縮小といったリサイズ処理、色変換処理、等を行う。また、画像処理部２４は、撮像した画像データを用いて所定の演算処理を行う。システム制御部５０は、画像処理部２４により得られた演算結果に基づいて、露光制御および測距制御を行う。これにより、ＴＴＬ（スルー・ザ・レンズ）方式のＡＦ（オートフォーカス）処理、ＡＥ（自動露出）処理、ＥＦ（フラッシュプリ発光）処理、等が行われる。画像処理部２４は更に、撮像した画像データを用いて所定の演算処理を行い、得られた演算結果に基づいてＴＴＬ方式のＡＷＢ（オートホワイトバランス）処理を行う。

【0024】

メモリ制御部１５は、Ａ／Ｄ変換器２３、画像処理部２４、メモリ３２間のデータ送受を制御する。Ａ／Ｄ変換器２３からの出力データは、画像処理部２４およびメモリ制御部１５を介してメモリ３２に書き込まれる。あるいは、Ａ／Ｄ変換器２３からの出力データは、画像処理部２４を介さずにメモリ制御部１５を介してメモリ３２に書き込まれる。メ
モリ３２は、撮像部２２によって得られＡ／Ｄ変換器２３によりデジタルデータに変換された画像データや、表示部２８またはＥＶＦ２９に表示するための画像データを格納する。メモリ３２は、所定枚数の静止画像や所定時間の動画像および音声を格納するのに十分な記憶容量を備えている。

【0025】

また、メモリ３２は画像表示用のメモリ（ビデオメモリ）を兼ねている。メモリ３２に書き込まれた表示用の画像データはメモリ制御部１５を介して表示部２８またはＥＶＦ２９により表示される。表示部２８およびＥＶＦ２９は、それぞれＬＣＤや有機ＥＬ等の表示器上で、メモリ制御部１５からの信号に応じた表示を行う。Ａ／Ｄ変換器２３によってＡ／Ｄ変換されメモリ３２に蓄積されたデータを、表示部２８またはＥＶＦ２９に逐次転送して表示することで、ライブビュー表示（ＬＶ表示）が行われる。以下、ライブビュー表示で表示される画像をライブビュー画像（ＬＶ画像）と称する。

【0026】

視線検出ブロック１６０は、接眼部１６におけるユーザーの視線を検出する。視線検出ブロック１６０は、ダイクロイックミラー１６２、結像レンズ１６３、視線検知センサー１６４、視線検出回路１６５、赤外発光ダイオード１６６により構成される。

【0027】

赤外発光ダイオード１６６は、ファインダー画面内におけるユーザーの視線位置を検出するための発光素子であり、ユーザーの眼球（目）１６１に赤外光を照射する。赤外発光ダイオード１６６から発した赤外光は眼球（目）１６１で反射し、その赤外反射光はダイクロイックミラー１６２に到達する。ダイクロイックミラー１６２は、赤外光だけを反射して、可視光を透過させる。光路が変更された赤外反射光は、結像レンズ１６３を介して視線検知センサー１６４の撮像面に結像する。結像レンズ１６３は、視線検知光学系を構成する光学部材である。視線検知センサー１６４は、ＣＣＤ型イメージセンサー等の撮像デバイスから構成される。

【0028】

視線検知センサー１６４は、入射された赤外反射光を電気信号に光電変換して視線検出回路１６５へ出力する。視線検出回路１６５は、視線検知センサー１６４の出力信号に基づき、ユーザーの眼球（目）１６１の動きからユーザーの視線位置を検出し、検出情報をシステム制御部５０に出力する。

【0029】

視線検出ブロック１６０は、例えば、角膜反射法と呼ばれる方式で視線を検出することができる。角膜反射法は、赤外発光ダイオード１６６から発した赤外光が眼球（目）１６１の主に角膜で反射した反射光と、眼球（目）１６１の瞳孔との位置関係から、視線の向きおよび位置を検出する方式である。視線の向きおよび位置を検出する方式は、角膜反射法に限られず、黒目と白目とで光の反射率が異なることを利用する強膜反射法と呼ばれる方式など、様々な方式が挙げられる。視線検出ブロック１６０は、視線の向きおよび位置を検出できる方式であれば、上記以外の方式を用いてもよい。

【0030】

ファインダー外表示部４３には、ファインダー外表示部駆動回路４４を介して、シャッター速度や絞りをはじめとするカメラの様々な設定値が表示される。

【0031】

不揮発性メモリ５６は、電気的に消去・記録可能なメモリであり、例えばＦｌａｓｈ－ＲＯＭ等である。不揮発性メモリ５６には、システム制御部５０の動作用の定数、プログラム等が記録される。ここでいう、プログラムとは、本実施形態にて後述する各種フローチャートを実行するためのプログラムのことである。

【0032】

システム制御部５０は、少なくとも１つのプロセッサーまたは回路からなる制御部であり、デジタルカメラ１００全体を制御する。システム制御部５０は、前述した不揮発性メモリ５６に記録されたプログラムを実行することで、後述する本実施形態の各処理を実現
する。システムメモリ５２は、例えばＲＡＭであり、システム制御部５０は、システム制御部５０の動作用の定数、変数、不揮発性メモリ５６から読み出したプログラム等をシステムメモリ５２に展開する。また、システム制御部５０は、メモリ３２、表示部２８等を制御することにより表示制御も行う。

【0033】

システムタイマー５３は、各種制御に用いる時間や、内蔵された時計の時間を計測する計時部である。

【0034】

電源制御部８０は、電池検出回路、ＤＣ－ＤＣコンバータ、通電するブロックを切り替えるスイッチ回路等により構成され、電池の装着の有無、電池の種類、電池残量の検出などを行う。また、電源制御部８０は、その検出結果及びシステム制御部５０の指示に基づいてＤＣ－ＤＣコンバータを制御し、必要な電圧を必要な期間、記録媒体２００を含む各部へ供給する。電源部３０は、アルカリ電池やリチウム電池等の一次電池やＮｉＣｄ電池やＮｉＭＨ電池、Ｌｉ電池等の二次電池、ＡＣアダプター等からなる。

【0035】

記録媒体Ｉ／Ｆ１８は、メモリカードやハードディスク等の記録媒体２００とのインターフェースである。記録媒体２００は、撮影された画像を記録するためのメモリカード等の記録媒体であり、半導体メモリや磁気ディスク等から構成される。

【0036】

通信部５４は、無線または有線ケーブルによって接続された外部機器との間で、映像信号や音声信号の送受信を行う。通信部５４は無線ＬＡＮ（Ｌｏｃａｌ Ａｒｅａ Ｎｅｔｗｏｒｋ）やインターネットとも接続可能である。また、通信部５４は、Ｂｌｕｅｔｏｏｔｈ（登録商標）やＢｌｕｅｔｏｏｔｈ Ｌｏｗ Ｅｎｅｒｇｙでも外部機器と通信可能である。通信部５４は撮像部２２で撮像した画像（ＬＶ画像を含む）や、記録媒体２００に記録された画像を送信可能であり、外部機器から画像データやその他の各種情報を受信することができる。

【0037】

姿勢検知部５５は、重力方向に対するデジタルカメラ１００の姿勢を検知する。姿勢検知部５５で検知された姿勢に基づいて、撮像部２２で撮影された画像が、デジタルカメラ１００を横に構えて撮影された画像であるか、縦に構えて撮影された画像であるかを判別可能である。システム制御部５０は、姿勢検知部５５で検知された姿勢に応じた向き情報を撮像部２２で撮像された画像の画像ファイルに付加したり、画像を回転して記録したりすることが可能である。姿勢検知部５５としては、加速度センサーやジャイロセンサーなどを用いることができる。姿勢検知部５５である加速度センサーやジャイロセンサーを用いて、デジタルカメラ１００の動き（パン、チルト、持ち上げ、静止しているか否か等）を検知することも可能である。

【0038】

接眼検知部５７は、ファインダーの接眼部１６に対する目（物体）１６１の接近（接眼）および離脱（離眼）を検知する（接近検知）、接眼検知センサーである。システム制御部５０は、接眼検知部５７で検知された状態に応じて、表示部２８とＥＶＦ２９の表示（表示状態）／非表示（非表示状態）を切り替える。より具体的には、少なくとも撮影待機状態で、表示先の切替設定が自動切替である場合において、非接眼中は表示先を表示部２８として表示をオンとし、ＥＶＦ２９は非表示とする。また、接眼中は表示先をＥＶＦ２９として表示をオンとし、表示部２８は非表示とする。

【0039】

接眼検知部５７としては、例えば赤外線近接センサーを用いることができ、ＥＶＦ２９を内蔵するファインダーの接眼部１６への何らかの物体の接近を検知することができる。物体が接近した場合は、接眼検知部５７の投光部（図示せず）から投光した赤外線が物体で反射して赤外線近接センサーの受光部（図示せず）で受光される。受光された赤外線の量によって、物体が接眼部１６からどの距離まで近づいているか（接眼距離）も判別する
ことができる。このように、接眼検知部５７は、接眼部１６への物体の近接距離を検知する接眼検知を行う。

【0040】

なお、接眼検知部５７の投光部および受光部は、上述の赤外発光ダイオード１６６および視線検知センサー１６４とは別体のデバイスとすることができる。ただし、接眼検知部５７の投光部は、赤外発光ダイオード１６６で兼ねてもよい。また、受光部は、視線検知センサー１６４で兼ねてもよい。

【0041】

非接眼状態（非接近状態）から、接眼部１６に対して所定距離以内に近づく物体が検出された場合に、接眼されたと検出するものとする。接眼状態（接近状態）から、接近を検知していた物体が所定距離以上離れた場合に、離眼されたと検出するものとする。接眼を検出する閾値と離眼を検出する閾値は、例えばヒステリシスを設けるなどして異なっていてもよい。また、接眼を検出した後は、離眼を検出するまでは接眼状態であるものとする。離眼を検出した後は、接眼を検出するまでは非接眼状態であるものとする。なお、赤外線近接センサーは一例であって、接眼検知部５７には、接眼とみなせる目や物体の接近を検知できるものであれば他のセンサーを採用してもよい。

【0042】

システム制御部５０は、視線検出ブロック１６０または接眼検知部５７からの出力に基づいて、接眼部１６への以下の操作、あるいは状態を検出できる。
・接眼部１６へ向けられていなかった視線が新たに接眼部１６へ向けられたこと。すなわち、視線入力の開始。
・接眼部１６へ視線入力している状態であること。
・接眼部１６へ注視している状態であること。
・接眼部１６へ向けられていた視線を外したこと。すなわち、視線入力の終了。
・接眼部１６へ何も視線入力していない状態。
ここで注視とは、ユーザーの視線位置が所定時間内に所定の移動量を超えなかった場合のことを指す。

【0043】

これらの操作・状態や、接眼部１６に視線が向いている位置（方向）は内部バスを通じてシステム制御部５０に通知され、システム制御部５０は、通知された情報に基づいて接眼部１６上にどのような操作（視線操作）が行なわれたかを判定する。

【0044】

操作部７０は、ユーザーからの操作（ユーザー操作）を受け付ける入力部であり、システム制御部５０に各種の動作指示を入力するために使用される。図２に示すように、操作部７０は、モード切替スイッチ６０、シャッターボタン６１、電源スイッチ７２、タッチパネル７０ａ、等を含む。また、操作部７０は、その他の操作部材として、以下の操作部材を含む。すなわち、操作部７０は、マルチコントローラー６５、メイン電子ダイヤル７１、サブ電子ダイヤル７３、４方向キー７４、ＳＥＴボタン７５、動画ボタン７６、ＡＥロックボタン７７、拡大ボタン７８、再生ボタン７９、メニューボタン８１、等を含む。

【0045】

モード切替スイッチ６０は、システム制御部５０の動作モードを静止画撮影モード、動画撮影モード、再生モード等のいずれかに切り替える。静止画撮影モードに含まれるモードとして、オート撮影モード、オートシーン判別モード、マニュアルモード、絞り優先モード（Ａｖモード）、シャッター速度優先モード（Ｔｖモード）、プログラムＡＥモード（Ｐモード）がある。また、撮影シーン別の撮影設定となる各種シーンモード、カスタムモード等がある。モード切替スイッチ６０により、ユーザーは、これらのモードのいずれかに直接切り替えることができる。あるいは、モード切替スイッチ６０で撮影モードの一覧画面に一旦切り替えた後に、表示された複数のモードのいずれかに、他の操作部材を用いて選択的に切り替えるようにしてもよい。同様に、動画撮影モードにも複数のモードが含まれていてもよい。

【0046】

シャッターボタン６１は、第１シャッタースイッチ６２と第２シャッタースイッチ６４を備える。第１シャッタースイッチ６２は、シャッターボタン６１の操作途中、いわゆる半押し（撮影準備指示）でオンとなり第１シャッタースイッチ信号ＳＷ１を発生する。システム制御部５０は、第１シャッタースイッチ信号ＳＷ１により、ＡＦ（オートフォーカス）処理、ＡＥ（自動露出）処理、ＡＷＢ（オートホワイトバランス）処理、ＥＦ（フラッシュプリ発光）処理等の撮影準備動作を開始する。

【0047】

第２シャッタースイッチ６４は、シャッターボタン６１の操作完了、いわゆる全押し（撮影指示）でオンとなり、第２シャッタースイッチ信号ＳＷ２を発生する。システム制御部５０は、第２シャッタースイッチ信号ＳＷ２により、撮像部２２からの信号読み出しから、撮像された画像を画像ファイルとして記録媒体２００に書き込むまでの、一連の撮影処理の動作を開始する。

【0048】

タッチパネル７０ａと表示部２８とは一体的に構成することができる。例えば、タッチパネル７０ａは光の透過率が表示部２８の表示を妨げないように構成され、表示部２８の表示面の上層に取り付けられる。そして、タッチパネル７０ａにおける入力座標と、表示部２８の表示面上の表示座標とを対応付ける。これにより、あたかもユーザーが表示部２８上に表示された画面を直接的に操作可能であるかのようなＧＵＩ（グラフィカルユーザーインターフェース）を提供できる。システム制御部５０は、タッチパネル７０ａへの以下の操作、あるいは状態を検出できる。

【0049】

・タッチパネル７０ａにタッチしていなかった指やペンが新たにタッチパネル７０ａにタッチしたこと、すなわちタッチの開始（以下、タッチダウン（Ｔｏｕｃｈ－Ｄｏｗｎ）と称する）。
・タッチパネル７０ａを指やペンでタッチしている状態（以下、タッチオン（Ｔｏｕｃｈ－Ｏｎ）と称する）。
・指やペンがタッチパネル７０ａをタッチしたまま移動していること（以下、タッチムーブ（Ｔｏｕｃｈ－Ｍｏｖｅ）と称する）。
・タッチパネル７０ａへタッチしていた指やペンがタッチパネル７０ａから離れた（リリースされた）こと、すなわちタッチの終了（以下、タッチアップ（Ｔｏｕｃｈ－Ｕｐ）と称する）。
・タッチパネル７０ａに何もタッチしていない状態（以下、タッチオフ（Ｔｏｕｃｈ－Ｏｆｆ）と称する）。

【0050】

タッチダウンが検出されると、同時にタッチオンも検出される。タッチダウンの後、タッチアップが検出されない限りは、通常はタッチオンが検出され続ける。タッチムーブが検出された場合も、同時にタッチオンが検出される。タッチオンが検出されていても、タッチ位置が移動していなければタッチムーブは検出されない。タッチしていた全ての指やペンがタッチアップしたことが検出された後は、タッチオフとなる。

【0051】

これらの操作・状態や、タッチパネル７０ａ上に指やペンがタッチしている位置座標は、内部バスを通じてシステム制御部５０に通知される。システム制御部５０は、通知された情報に基づいてタッチパネル７０ａ上にどのような操作（タッチ操作）が行なわれたかを判定する。

【0052】

タッチムーブについてはタッチパネル７０ａ上で移動する指やペンの移動方向についても、位置座標の変化に基づいて、タッチパネル７０ａ上の垂直成分・水平成分毎に判定できる。所定距離以上をタッチムーブしたことが検出された場合はスライド操作が行なわれたと判定するものとする。タッチパネル７０ａ上に指をタッチしたままある程度の距離だ
け素早く動かして、そのまま離すといった操作をフリックと呼ぶ。フリックは、言い換えればタッチパネル７０ａ上を指ではじくように素早くなぞる操作である。所定距離以上を、所定速度以上でタッチムーブしたことが検出され、そのままタッチアップが検出されるとフリックが行なわれたと判定できる（スライド操作に続いてフリックがあったものと判定できる）。

【0053】

更に、複数箇所（例えば２点）を共にタッチして（マルチタッチして）、互いのタッチ位置を近づけるタッチ操作をピンチイン、互いのタッチ位置を遠ざけるタッチ操作をピンチアウトと称する。ピンチアウトとピンチインを総称してピンチ操作（あるいは単にピンチ）と称する。タッチパネル７０ａは、抵抗膜方式や静電容量方式、表面弾性波方式、赤外線方式、電磁誘導方式、画像認識方式、光センサー方式等、様々な方式のタッチパネルのうちいずれの方式のものであってもよい。タッチパネルに対する接触があったことでタッチがあったと検出する方式や、タッチパネルに対する指やペンの接近があったことでタッチがあったと検出する方式があるが、いずれの方式でもよい。

【0054】

接眼状態でのタッチムーブ操作について説明する。ユーザーは、タッチムーブ操作に応じた位置指標（例えばＡＦ枠）の位置の指定方法を、絶対位置指定または相対位置指定のいずれかに設定することができる。例えば、位置指標はＡＦ枠であるものとする。指定方法が絶対位置指定である場合、ＡＦ枠は、タッチパネル７０ａに対するタッチダウン位置（座標入力された位置）に設定される。そして、ＡＦ枠は、タッチムーブ操作に応じてタッチ位置とともに移動する。つまり、タッチ操作が行われた位置座標は、表示部２８の位置座標と対応づけられる。一方、指定方法が相対位置指定である場合、タッチ操作が行われた位置座標は、表示部２８の位置座標とは対応付けられない。相対位置指定では、タッチパネル７０ａに対するタッチダウン位置に関わらず、ＡＦ枠は、現在設定されているＡＦ枠の位置からタッチムーブ操作の移動方向に、タッチムーブの移動量に応じた距離だけ移動する。

【0055】

＜領域選択操作＞
（視線入力を用いた領域選択）
図３は、視線入力を用いた領域選択操作を説明する図である。デジタルカメラ１００の視線検出ブロック１６０は、ユーザーからの視線入力を検出する。システム制御部５０は、ユーザーからの選択操作により、検出された視線の位置に応じて領域を選択する。画像３－１から画像３－３は、表示手段としてのＥＶＦ２９または表示部２８（例えば、ＴＦＴ液晶ディスプレイ）に表示される表示画像である。これらの画像を用いて、視線入力を用いた領域選択操作に対する選択領域の移動について説明する。視線検出ブロック１６０による検出は、ユーザー操作によりオンまたはオフに設定することができる。

【0056】

画像３－１は、視線検出ブロック１６０の電源をオンにすると表示される画像である。視線ポインタ３０１は、視線検出ブロック１６０によって検出されたユーザーの視線の位置（視線入力の位置）を示す領域である。

【0057】

画像３－２は、ユーザーが視線の位置を被写体Ａに動かした状態を示す画像である。視線ポインタ３０１は、被写体Ａに重畳して表示される。ユーザーは、視線の位置を動かすことで、視線ポインタ３０１を所望の位置に移動させることができる。

【0058】

画像３－３は、ユーザーが操作部７０に対して領域の選択操作を実行した状態を示す画像である。選択領域３０２は、ユーザーの選択操作によって選択された領域を示す。システム制御部５０は、ユーザーが選択操作を実行すると、視線ポインタ３０１の付近に表示される被写体Ａを選択領域３０２として選択する。視線入力を使用して領域を選択することで、スムーズな操作性が実現される。なお、図３の例は、人の顔を選択領域３０２とし
て選択する例を示すが、選択対象は、人の顔に限られず、人物、目または口といった人の器官部、動物、動物の器官部、車、車の部品などに設定されてもよい。画像処理部２４は、システム制御部５０の制御により、画像を解析し選択対象となる被写体検出をすることができる。

【0059】

（操作部による領域選択）
図４は、視線入力を用いずに（例えば、予め視線入力を無効に設定した場合に）、操作部によって領域選択操作した場合を説明する画面遷移図である。ユーザは、操作部７０による操作によって領域を選択することができる。図４は、複数の被写体Ａから被写体Ｃが写っているＬＶ画像において、選択対象を瞳（目）に設定した場合の例を示す。すなわち、システム制御部５０は、被写体Ａから被写体Ｃのそれぞれの左右の瞳のうち、ユーザー操作に応じて領域（瞳）を選択する。表示例４－１から表示例４－６は、ＥＶＦ２９または表示部２８に表示される表示例を示し、ユーザー操作による領域選択の流れを示す。

【0060】

ユーザー操作は、例えば、循環選択操作または左右選択操作である。循環選択操作は、ユーザーが操作部７０に含まれるボタン（例えば、ＳＥＴボタン７５）を押下するごとに、現在選択されている選択領域を、所定の方向に循環して他の選択対象に移動させる操作である。選択対象は、顔などの特定の種別の被写体、および瞳、鼻、口などの器官部（被写体に含まれる部位）である。

【0061】

左右選択操作は、例えば４方向キー７４でユーザーが選択した方向側の器官部に、選択領域を移動させる操作である。視線入力の位置が検出されていない場合、循環選択操作と同様に、選択領域は、被写体内での方向に関わらず選択した方向側の器官部に移動する。

【0062】

まず、循環選択操作による領域選択（選択領域の移動）の流れについて説明する。循環選択操作による領域選択の流れは、表示例４－１から表示例４－６までの各画像間に示される片矢印４０３によって示される。表示例４－１に示される選択領域４０１は、ユーザー操作によって選択された領域であり、他の表示例４－２から表示例４－６においても、同様に実線の矩形で示される。また、表示例４－１で点線の矩形によって示される領域４０２は、選択領域４０１を含む被写体である顔を示す領域であって、他の表示例４－２から表示例４－６においても、同様に点線の矩形により示される。また、各画像中、被写体Ａが表示される側を左側、被写体Ｃが表示される側を右側として説明する。

【0063】

システム制御部５０は、循環選択操作のためのボタン（例としてＳＥＴボタン７５）が押下されるごとに、現在選択されている領域から所定の方向側の選択対象に、選択領域４０１を移動させる。表示例４－１の状態でＳＥＴボタン７５が１回押下されるたびに、表示例４－２、表示例４－３、表示例４－４、表示例４－４、表示例４－６、表示例４－１と順次遷移する。システム制御部５０は、表示例４－１の状態でＳＥＴボタン７５が１回押下されると、表示例４－２に遷移し、選択領域４０１を被写体Ａの左側の瞳から被写体Ａの右側の瞳に移動する。また、システム制御部５０は、表示例４－２の状態でＳＥＴボタン７５が１回押下されると、表示例４－３に遷移し、選択領域４０１を被写体Ａの右側の瞳から被写体Ｂの左側の瞳に移動する。ＳＥＴボタン７５の押下により新たに選択される被写体Ｂの左側の瞳は、被写体Ａの右側の瞳より右側にある瞳のうち、前に選択されていた被写体Ａの右側の瞳に最も近い位置にある瞳である。この時は、被写体Ａの瞳から被写体Ｂの瞳へと、異なる被写体の瞳が選択される。なお、図４では所定の方向は右方向であるものとして説明するが、右方向に限られず、左方向または下方向であってもよい。

【0064】

また、右側に選択対象の瞳がない場合には、選択領域４０１は、左端の選択対象に戻る。すなわち、システム制御部５０は、表示例４－６から表示例４－１の遷移では、選択領域４０１を被写体Ｃの右側の瞳から被写体Ａの左側の瞳に選択領域４０１を移動する。こ
のように、選択領域４０１は、画像内の選択対象を循環して移動する。

【0065】

次に、左右選択操作による領域選択（選択領域の変更）の流れについて説明する。左右選択操作による領域選択の流れは、表示例４－１から表示例４－６までの各画像間に示される両矢印４０４によって示される。

【0066】

システム制御部５０は、左右選択操作のための４方向キー７４により、右方向（第１の方向）を選択する操作が実行された場合、現在選択されている領域の右方向側（右側）の選択対象に選択領域４０１を移動させる。また、システム制御部５０は、左方向（第２の方向）を選択する操作が実行された場合、現在選択されている領域の左方向側（左側）の選択対象に選択領域４０１を移動させる。

【0067】

具体的には、システム制御部５０は、表示例４－１で右方向を選択（指示）する操作が実行されると、表示例４－２に示されるように選択領域４０１を被写体Ａの左側の瞳から右側の瞳に移動する。また、システム制御部５０は、表示例４－１で左方向を選択する操作が実行されると、表示例４－６に示されるように、選択領域４０１を被写体Ａの左側の瞳から、左側の選択対象である被写体Ｃの右側の瞳に移動する。右方向を指示する操作は、例えば、右キーが１回押下される操作である。左方向を指示する操作は、例えば、左キーが１回押下される操作である。

【0068】

ユーザーは、循環選択操作または左右選択操作によって、1以上の被写体から人物、人
の顔、人の器官部など所望の領域を選択することができる。なお、上述の循環選択操作または左右選択操作を受付ける操作部材は上述の例に限られない。例えば、左右選択操作を回転ダイヤルに対する回転操作（ダイヤル操作）とし、ダイアルの回転量及び回転方向に応じて選択領域４０１が移動されるようにしてもよい。また、左右を含む８方向の選択操作であって選択された方向に選択領域４０１が移動されるようにしてもよい。

【0069】

（視線入力および循環選択操作による領域選択）
図５は、視線入力を用いて（例えば、予め視線入力を有効に設定した場合に）、操作部によって循環選択操作をした場合を説明する画面遷移図である。図５の各表示例の被写体の状況は図４と同様であり、複数の被写体Ａから被写体Ｃが写っているＬＶ画像において、選択対象を瞳に設定した場合の例を示す。視線ポインタ５０１は、視線検出ブロック１６０によって検出されたユーザーの視線の位置（視線入力の位置）を示す領域である。本実施形態では視線ポインタ５０１を表示する例を説明するが、視線検出ブロック１６０によって検出された視線の位置は表示しなくてもよい。選択領域５０２は、被写体選択のユーザー操作によって選択されている領域である。図５（Ａ）、図５（Ｂ）、図５（Ｃ）は、視線ポインタ５０１の位置が異なる３パターンについて説明する。

【0070】

表示例５－１－１、表示例５－２－１、表示例５－３－１は、循環選択操作を実行する前の状態を示す。領域５０２は、被写体Ａの左側の瞳を選択している。視線ポインタ５０１は、表示例５－１－１では被写体Ｃ付近、表示例５－２－１では被写体Ａ付近、表示例５－３－１では画面の右上端付近に位置する。表示例５－１－２、５－１－３、５－２－２、５－２－３、５－３－２、５－３－３を用いて、循環選択操作による領域選択について説明する。

【0071】

図５（Ａ）の表示例５－１－１で循環選択操作が実行されると（例えばＳＥＴボタン７５が１回押下されると）、視線ポインタ５０１は被写体Ｃ上に位置するため、選択領域５０２は、被写体Ｃの右側の瞳に移動する（表示例５－１－２）。すなわち、選択領域５０２は、被写体Ａの右側の瞳には移動せず、視線ポインタ５０１が位置する被写体Ｃの右側の瞳に移動する。図５（Ａ）の表示例５－１－２で、続けて循環選択操作が実行されると
（例えばＳＥＴボタン７５が１回押下されると）、視線ポインタ５０１が被写体Ｃ上に位置するため、選択領域５０２は、被写体Ｃの左側の瞳に移動する（表示例５－１－３）。このように、循環選択操作が続けて実行されると、選択領域５０２は、視線ポインタ５０１が位置する被写体Ｃ内の各器官部を循環して移動する。表示例５－１－１のように被写体Ａの左側の瞳を選択した状態から表示例５－１－２のように被写体Ｃの右側の瞳を選択するまでにはＳＥＴボタン１回の押下で良い。すなわち、前述した図４－１のように被写体Ａの左側の瞳を選択した状態から表示例４－５のように被写体Ｃの右側の瞳を選択するまでの操作回数（ＳＥＴボタン４回押下）よりも少ない操作手数で移動させることができる。

【0072】

なお、表示例５－１－１から表示例５－１－２への循環選択操作では、選択領域５０２は、被写体Ｃの右側の瞳に移動するが、移動先は被写体Ｃ内であればよく、被写体Ｃの右側ではなく左側の瞳に移動してもよい。また、選択領域５０２は、視線ポインタ５０１が位置する被写体に含まれる器官部のうち、被写体Ｃ内で注視位置に最も近い器官部を選択してもよい。

【0073】

図５（Ｂ）の表示例５－２－１で循環選択操作が実行されると（例えばＳＥＴボタン７５が１回押下されると）、視線ポインタ５０１は被写体Ａ上に位置するため、選択領域５０２は、被写体Ａの右側の瞳に移動する（表示例５－２－２）。図５（Ｂ）の表示例５－２－２で、続けて循環選択操作が実行されると（例えばＳＥＴボタン７５が１回押下されると）、視線ポインタ５０１が被写体Ａ上に位置するため、選択領域５０２は、被写体Ａの左側の瞳に移動する（表示例５－２－３）。このように、循環選択操作が続けて実行されると、選択領域５０２は、視線ポインタ５０１が位置する被写体Ａ内の各器官部のうち、選択されていない器官部に移動する。すなわち、視線入力の位置の被写体以外の被写体（この例では被写体Ｂ，Ｃ）の位置に選択位置が移動することはない。これによって、ユーザーが注目していない被写体を選択するような、ユーザーの意図に合わない動作が行われることを防止している。

【0074】

図５（Ｃ）の表示例５－３－１で循環選択操作が実行されると、視線ポインタ５０１は、どの被写体も検出されてない画面の右上端付近に位置するため、選択領域５０２は、被写体Ａの右側の瞳に移動する（表示例５－３－２）。すなわち、視線ポインタ５０１がいずれの被写体とも重ならない場合、選択領域５０２は、図４で説明した通常の循環選択操作のルール（視線入力を用いない循環選択操作のルール）に従って移動する。図５（Ｃ）の表示例５－３－２で、続けて循環選択操作が実行されると、視線ポインタ５０１はどの被写体も検出されてない位置であるため、選択領域５０２は、通常の循環選択操作のルールに従って被写体Ｂの左側の瞳に移動する（５－３－３）。循環選択操作は、例えばＳＥＴボタン７５が１回押下される操作である。

【0075】

以上のように、循環選択操作が実行されると、選択領域５０２は、視線ポインタ５０１が位置する被写体の器官部に移動する。選択領域５０２が視線ポインタ５０１の位置に応じて移動するため、ユーザーは、循環選択操作を繰り返すことで、注視している被写体の器官部を順番に選択することができる。このように、視線入力を用いることで、領域選択の操作性は向上する。

【0076】

（視線入力および左右選択操作による領域選択）
図６は、視線入力を用いて（例えば、予め視線入力を有効に設定した場合に）、操作部によって左右選択操作をした場合を説明する画面遷移図である。図５の各表示例の被写体の状況は図４と同様であり、複数の被写体Ａから被写体Ｃが写っているＬＶ画像において、選択対象を瞳に設定した場合の例を示す。視線ポインタ６０１は、視線検出ブロック１６０によって検出されたユーザーの視線の位置（視線入力の位置）を示す領域である。本
実施形態では視線ポインタ６０１を表示する例を説明するが、視線検出ブロック１６０によって検出された視線の位置は表示しなくてもよい。選択領域６０２は、被写体選択のユーザー操作によって選択されている領域である。図６（Ａ）、図６（Ｂ）、図６（Ｃ）は、視線ポインタ６０１の位置が異なる３パターンについて説明する。

【0077】

表示例６－１－１、表示例６－２－１、表示例６－３－１は、左右選択操作を実行する前の状態を示す。中央の表示例６－１－１では、領域６０２は、被写体Ａの右側の瞳を選択している。視線ポインタ６０１は、表示例６－１－１では被写体Ｃ付近、表示例６－２－１では被写体Ａ付近、表示例６－３－１では画面の右上端付近に位置する。表示例６－１－２、６－１－３、６－２－２、６－２－３、６－３－２、６－３－３を用いて、左右選択操作による領域選択について説明する。

【0078】

図６（Ａ）の表示例６－１－１で、左右選択操作のうち左方向を選択する操作が実行されると、視線ポインタ６０１は被写体Ｃ上に位置するため、選択領域６０２は、被写体Ｃの左側の瞳に移動する（表示例６－１－２）。すなわち、選択領域６０２は、被写体Ａの左側の瞳には移動せず、視線ポインタ６０１が位置する被写体Ｃの瞳を選択対象とする。左方向を指示する操作は、例えば、左キーが１回押下される操作である。また、左右選択操作のうち右方向を選択する操作が実行されると、視線ポインタ６０１は被写体Ｃ上に位置するため、選択領域６０２は、被写体Ｃの右側の瞳に移動する（表示例６－１－３）。右方向を指示する操作は、例えば、右キーが１回押下される操作である。このように、方向を選択する１回の操作で、選択領域６０２は視線ポインタ６０１が位置する被写体Ｃ内に移動し、被写体Ｃ内で選択した方向側の瞳が選択されるため、ユーザーの操作性は向上する。また、表示例６－１－１のように被写体Ａの左側の瞳を選択した状態から表示例６－１－３のように被写体Ｃの右側の瞳を選択するまでには右キー１回の押下で良い。すなわち、前述した図４－１のように被写体Ａの左側の瞳を選択した状態から表示例４－５のように被写体Ｃの右側の瞳を選択するまでの操作回数（ＳＥＴボタン４回押下）よりも少ない操作手数で移動させることができる。

【0079】

図６（Ｂ）の表示例６－２－１で、左右選択操作のうち左方向を選択する操作が実行されると、視線ポインタ６０１は被写体Ａ上に位置するため、選択領域６０２は、被写体Ａの左側の瞳に移動する（表示例６－２－２）。左方向を指示する操作は、例えば、左キーが１回押下される操作である。また、左右選択操作のうち右方向を選択する操作が実行されると、視線ポインタ６０１は被写体Ａ上に位置するため、選択領域６０２は、被写体Ａの右側の瞳を選択した状態のまま移動しない（表示例６－２－３）。右方向を指示する操作は、例えば、右キーが１回押下される操作である。方向を選択する１回の操作で、選択領域６０２は視線ポインタ６０１が位置する被写体Ａ内で、選択した方向側の瞳が選択されるため、ユーザーの操作性は向上する。すなわち、視線入力の位置の被写体以外の被写体（この例では被写体Ｂ，Ｃ）の位置に選択位置が移動することはない。これによって、ユーザーが注目していない被写体を選択するような、ユーザーの意図に合わない動作が行われることを防止している。

【0080】

図６（Ｃ）の表示例６－３－１で、左右選択操作のうち左方向を選択する操作が実行されると、視線ポインタ６０１は、どの被写体も検出されてない画面の右上端付近に位置するため、選択領域６０２は、被写体Ａの左側の瞳に移動する（表示例６－３－２）。すなわち、視線ポインタ６０１がいずれの被写体とも重ならない場合、選択領域６０２は、図４で説明した通常の左右選択操作のルールに従って移動する。左方向を指示する操作は、例えば、左キーが１回押下される操作である。また、左右選択操作のうち右方向を選択する操作が実行されると、視線ポインタ６０１はどの被写体も検出されてない位置であるため、選択領域６０２は、通常の左右選択操作のルールに従って被写体Ｂの左側の瞳に移動する（表示例６－３－３）。右方向を指示する操作は、例えば、右キーが１回押下される
操作である。

【0081】

以上のように、左右選択操作が実行されると、選択領域６０２は、視線ポインタ６０１が位置する被写体の器官部に移動する。選択領域６０２は、左右選択操作のうち左方向を選択する操作が実行された場合には左側の器官部（瞳）に移動し、右方向を選択する操作が実行された場合には右側の器官部（瞳）に移動する。

【0082】

なお、図６では、左右選択操作は、右側または左方向を選択する操作として説明したが、これに限られず、左右以外の方向を選択する操作であってもよい。例えば、表示例６-
２－１において、各被写体の頭側を上、身体側を下としとした場合、下側を選択する操作が実行されると、選択領域６０２は、被写体Ａの口に移動させることができる。選択領域６０２を左右方向および左右以外の方向に移動させる操作は、方向選択操作と称する。

【0083】

図３から図６に例示する表示画像は、デジタルカメラ１００での撮影時に表示される画像に限られず、デジタルカメラ１００で撮像した画像または外部機器から取り込んだ画像の再生画像であってもよい。

【0084】

＜領域選択処理の流れ＞
図７から図９を用いて、ＥＶＦ２９または表示部２８に表示される画像での領域選択処理について説明する。領域選択処理は、デジタルカメラ１００の撮影処理または再生処理において、被写体に含まれる部位を選択領域として選択し、決定するまでの処理である。図７では、撮影処理の場合について説明する。撮影処理においては、ＡＦ領域、追尾対象の指定領域、測光領域（ＡＦの基準となる領域）などを選択する際に、本実施形態での選択領域の選択方法が利用可能である。例えば、撮影モードにおいてＡＦ枠の移動に本実施形態を適用した場合には、選択した選択領域でＡＦが実行される。また、再生処理においては、画像補正処理を施す領域や、トリミングして切り出す領域、被写体の名前などの関連情報やメモなどの属性情報の付与領域を選択する際に、本実施形態での選択領域の選択方法が利用可能である。例えば、画像編集モードにおいて赤目補正の対象とする瞳を選択する操作に本実施形態を適用した場合には、選択した選択領域の瞳に対して赤目補正処理が施される。このように、システム制御部５０は、撮影モードでは、選択領域に基づいて、オートフォーカス、自動露出、追尾対象の決定などの特定の処理を実行する。また、システム制御部５０は、再生処理では、選択領域に基づいて、画像補正処理、トリミング、属性情報の付与などの特定の処理を実行する。

【0085】

図７は、領域選択処理を例示するフローチャートである。図８は、方向選択操作による領域選択処理の詳細を例示するフローチャートである。図９は、循環選択操作による領域選択処理の詳細を例示するフローチャートである。これらのフローチャートおける各処理は、例えば、システム制御部５０が不揮発メモリ５６に格納されたプログラムをシステムメモリ５２に展開して実行することにより実現される。なお、図７の処理はデジタルカメラ１００に電源が入り、ユーザーが接眼部１６を覗いてＥＶＦ２９にライブビュー画像が表示されている状態に遷移すると開始する。

【0086】

Ｓ７０１では、システム制御部５０は、被写体の自動選択が行われたか否かを判定する。自動選択は、主被写体の選択条件に合致する被写体、あるいは被写体の部位（器官）を自動的に選択する処理である。例えば、ＥＶＦ２９上の略中央で検出された特定の種別の被写体または被写体に含まれる部位を選択対象として選択する。自動選択をするか否かは、予めユーザーにより設定可能とする。自動選択が行われた場合はＳ７０２へ進み、行われていない場合はＳ７０３へ進む。Ｓ７０２では、システム制御部５０は、Ｓ７０１で自動選択された選択対象に対して、選択領域を示す枠を表示する。

【0087】

Ｓ７０３では、システム制御部５０は、被写体の手動による直接選択が行われたか否かを判定する。直接選択は、タッチパネル７０ａへのタッチ操作により、ＬＶ画像に表示された画像のうち選択したい位置を直接タッチして行うような、ユーザーが特定の種別の被写体または被写体に含まれる部位を、選択対象として直接指定する処理である。直接選択が行われた場合はＳ７０４へ進み、行われていない場合はＳ７０５へ進む。Ｓ７０４では、システム制御部５０は、Ｓ７０３で直接選択された選択対象に対して、選択領域を示す枠を表示する。

【0088】

Ｓ７０５では、システム制御部５０は、領域の選択操作が可能であるか否かを判定する。選択操作が可能であるか否かは、例えば、画像処理部２４が撮像画像から複数の被写体および被写体の領域内の器官部（瞳、鼻、口等）を検出し、領域として選択可能な状態であるか否かによって判定することができる。選択操作が可能である場合、ユーザーは、ＥＶＦ２９上に表示された画像において、被写体を選択したり、被写体の領域内の器官部を選択したりすることができる。選択操作が可能な場合はＳ７０６へ進み、選択操作が可能でない場合はＳ７１０へ進む。

【0089】

Ｓ７０６では、システム制御部５０は、方向選択操作が実行されたか否かを判定する。方向選択操作は、図６で説明した左右選択操作を含み、左右方向以外の方向を選択する操作も含まれる。方向選択操作は、例えば、４方向キー７４によって実行することができる。方向選択操作が実行された場合はＳ７０７へ進み、方向選択操作が実行されていない場合はＳ７０８へ進む。

【0090】

Ｓ７０７では、システム制御部５０は、方向選択操作に基づいて領域選択を行う。方向選択操作に基づく領域選択処理の詳細は、図８を用いて後述する。

【0091】

Ｓ７０８では、システム制御部５０は、循環選択操作が実行されたか否かを判定する。循環選択操作は、循環選択操作に割り当てられたボタン、例えばＳＥＴボタン７５によって実行することができる。循環選択操作が実行された場合はＳ７０９へ進み、循環選択操作が実行されていない場合はＳ７１０へ進む。

【0092】

Ｓ７０９では、システム制御部５０は、循環選択操作に基づいて領域選択を行う。循環選択操作に基づく領域選択処理の詳細は、図９を用いて後述する。

【0093】

Ｓ７１０では、システム制御部５０は、領域選択を終了する操作が実行されたか否かを判定する。終了操作が実行された場合は図７に示す領域選択処理を終了し、終了操作が実行されていない場合はＳ７０１へ戻る。システム制御部５０は、図７の領域選択処理を撮影モードでのＡＦ枠の選択に適用した場合には、シャッターボタン６１の半押しに応じて、図７の処理で選択された選択領域でＡＦを行うように制御する。追尾対象の指定（決定）に適用した場合には、追尾開始時点で選択領域に居た被写体を追尾するように制御する。測光領域の選択に適用した場合には、選択領域での測光値に基づいてＡＥを行うように制御する。シャッターボタン６１の半押しに応じて、図７の処理で選択された選択領域でＡＦを行うように制御する。また、シャッターボタン６１が全押しされたことに応じて撮像部２２での撮像を行い、撮像された画像を画像ファイルとして記録媒体２００に記録するまでの一連の撮影処理を実行するように制御する。

【0094】

図８を用いて、Ｓ７０７で前述した方向選択操作による領域選択処理の詳細を説明する。システム制御部５０は、ユーザから方向選択操作を受け付けると、現在選択されている選択領域および視線入力の位置に基づいて選択領域を移動する。

【0095】

Ｓ８０１では、システム制御部５０は、左方向を選択する操作が実行されたか否かを判
定する。左方向を選択する操作が実行された場合はＳ８０２へ進み、左方向を選択する操作が実行されていない場合はＳ８０６へ進む。

【0096】

Ｓ８０２では、システム制御部５０は、視線入力の設定がオン（有効）で視線入力が検出されているか否かを判定する。視線入力が検出されている場合はＳ８０３へ進み、視線入力の設定がオフ（無効）、あるいは視線入力の設定がオンであるが視線が検出されていない場合はＳ８０５へ進む。

【0097】

Ｓ８０３では、システム制御部５０は、検出された視線入力の位置に顔などの検出可能な被写体があるか否かを判定する。図８では、人の顔が検出される場合について説明する。検出された視線入力の位置に顔がある場合はＳ８０４へ進み、検出された視線入力の位置に顔がない場合はＳ８０５へ進む。

【0098】

Ｓ８０４では、システム制御部５０は、視線入力の位置に顔がある場合、その顔の左側の瞳を選択する。この選択では、Ｓ７０６で受け付けた方向選択操作の操作前に選択されていた選択領域（位置）がどこであるかにかかわらず、視線入力の位置と、方向選択操作の方向に基づいて選択される被写体が決定される。図６（Ａ）の例では、視線入力位置６０１に被写体Ｃ、選択領域６０２が被写体Ａの右側の瞳にあった場合（表示例６－１－１）、システム制御部５０は、視線入力位置６０１にある被写体Ｃの左側の瞳に選択領域６０２を移動する（表示例６－１－２）。また、図６（Ｂ）のように、視線入力位置６０１に被写体Ａ、選択領域６０２が被写体Ａの右側の瞳にあった場合（表示例６－２－１）、システム制御部５０は、被写体Ａの左側の瞳に選択領域６０２を移動する（表示例６－２－２）。

【0099】

視線入力の位置にある被写体の種別が人の顔以外（動物や乗り物など）である場合、システム制御部５０は、その被写体内で左側にある器官部（例えば動物の尻尾、脚や、乗り物の窓、タイヤなど）を選択してもよい。なお、視線入力の位置で特定の被写体が検出されているが、特定の被写体に含まれる瞳、鼻、口などの器官部が検出されていない場合、システム制御部５０は、視線入力の位置にある被写体全体（顔の全体）を選択する。

【0100】

Ｓ８０５では、システム制御部５０は、現在選択されている選択領域（Ｓ７０６で受け付けた方向選択操作の操作前に選択されていた選択領域）から一つ左側にある被写体または器官部に選択領域を移動する。これは、上述の通常の左右選択操作のルールである。例えば、システム制御部５０は、顔が選択されている場合は左隣の顔に選択領域を移動する。図４に示すように被写体Ａの右側の瞳が選択されている場合には（表示例４－２）、システム制御部５０は、選択領域４０１を左側の瞳に移動する（表示例４－１）。また、システム制御部５０は、被写体Ｂの左側の瞳が選択されている場合は（表示例４－３）、左隣の被写体Ａの右側の瞳に選択領域４０１を移動する（表示例４－２）。

【0101】

Ｓ８０６では、システム制御部５０は、右方向を選択する操作が実行されたか否かを判定する。右方向を選択する操作が実行された場合はＳ８０７へ進み、右方向を選択する操作が実行されていない場合はＳ８１１へ進む。

【0102】

Ｓ８０７では、システム制御部５０は、視線入力の設定がオン（有効）で視線入力が検出されているか否かを判定する。視線入力が検出されている場合はＳ８０８へ進み、視線入力の設定がオフ（無効）、あるいは視線入力の設定がオンであるが視線が検出されていない場合はＳ８１０へ進む。

【0103】

Ｓ８０８では、システム制御部５０は、検出された視線入力の位置に顔などの検出可能な被写体があるか否かを判定する。検出された視線入力の位置に顔がある場合はＳ８０９
へ進み、検出された視線入力の位置に顔がない場合はＳ８１０へ進む。

【0104】

Ｓ８０９では、システム制御部５０は、視線入力の位置に顔がある場合、その顔の右側の瞳を選択する。この選択では、Ｓ７０６で受け付けた方向選択操作の操作前に選択されていた選択領域（位置）がどこであるかにかかわらず、視線入力の位置と、方向選択操作の方向に基づいて選択される被写体が決定される。図６（Ａ）の例では、視線入力位置６０１に被写体Ｃ、選択領域６０２が被写体Ａの右側の瞳にあった場合（表示例６－１－１）、システム制御部５０は、視線入力位置６０１にある被写体Ｃの右側の瞳に選択領域６０２を移動する（表示例６－１－３）。また、図６（Ｂ）の例では、視線入力位置６０１に被写体Ａ、選択領域６０２が被写体Ａの右側の瞳にあった場合（表示例６－２－１）、システム制御部５０は、被写体Ａの右側の瞳に選択領域６０２を移動する（表示例６－２－３）。

【0105】

視線入力の位置にある被写体が人の顔以外である場合、システム制御部５０は、その被写体内で右側にある器官部を選択してもよい。なお、選択対象となる瞳、鼻、口などの器官部が検出されていない場合、システム制御部５０は、視線入力の位置にある被写体全体（顔の全体）を選択する。

【0106】

Ｓ８１０では、システム制御部５０は、現在選択されている選択領域（Ｓ７０６で受け付けた方向選択操作の操作前に選択されていた選択領域）から一つ右側にある被写体または器官部に選択領域を移動する。これは、上述の通常の左右選択操作のルールである。例えば、システム制御部５０は、顔が選択されている場合は右隣の顔に選択領域を移動する。図４に示すように被写体Ａの左側の瞳が選択されている場合には（表示例４－１）、システム制御部５０は、選択領域４０１を右側の瞳に移動する（表示例４－２）。また、システム制御部５０は、被写体Ｂの右側の瞳が選択されている場合（表示例４－４）、右隣の被写体Ｃの左側の瞳に選択される（表示例４－５）。

【0107】

Ｓ８１１では、システム制御部５０は、下方向を選択する操作が実行されたか否かを判定する。下方向を選択する操作が実行された場合はＳ８１２へ進み、下方向を選択する操作が実行されていない場合は図８に示す領域選択処理は終了する。

【0108】

Ｓ８１２では、システム制御部５０は、視線入力の設定がオン（有効）で視線入力が検出されているか否かを判定する。視線入力が検出されている場合はＳ８１３へ進み、視線入力の設定がオフ（無効）、あるいは視線入力の設定がオンであるが視線が検出されていない場合はＳ８１５へ進む。

【0109】

Ｓ８１３では、システム制御部５０は、検出された視線入力の位置に顔などの検出可能な被写体があるか否かを判定する。検出された視線入力の位置に顔がある場合はＳ８１４へ進み、検出された視線入力の位置に顔がない場合はＳ８１５へ進む。

【0110】

Ｓ８１４では、システム制御部５０は、視線入力の位置に顔がある場合、その顔の口を選択する。すなわち、システム制御部５０は、ユーザー操作に応じて、視線入力の位置に基づく被写体に含まれる器官部のうち、ユーザー操作の前に選択されていた位置とは異なる位置（ここでは、下側）にある器官部を選択領域とする。この選択では、Ｓ７０６で受け付けた方向選択操作の操作前に選択されていた選択領域がどこであるかにかかわらず、視線入力の位置と、方向選択操作の方向に基づいて選択される被写体が決定される。すなわち、現在選択されている選択領域（Ｓ７０６で受け付けた方向選択操作の前に選択されていた選択領域）が、視線入力位置の被写体とは異なる被写体にある場合であっても、システム制御部５０は、視線入力位置にある被写体の器官部に選択領域を移動する。

【0111】

視線入力の位置にある被写体が人の顔以外である場合、システム制御部５０は、その被写体内で下側にある器官部を選択すればよい。なお、選択対象となる口、瞳、鼻などの器官部が検出されていない場合、システム制御部５０は、視線入力の位置にある被写体全体（顔の全体）を選択する。

【0112】

Ｓ８１５では、システム制御部５０は、現在選択されている選択領域（Ｓ７０６で受け付けた方向選択操作の操作前に選択されていた選択領域）から一つ下側にある被写体または器官部に選択領域を移動する。

【0113】

図９を用いて、Ｓ７０９で前述した循環選択操作による領域選択処理の詳細を説明する。Ｓ９０１では、システム制御部５０は、視線入力の設定がオンで視線入力が検出されているか否かを判定する。視線入力が検出されている場合はＳ９０２へ進み、視線入力の設定がオフ（無効）、あるいは視線入力の設定がオンであるが視線が検出されていない場合はＳ９０６へ進む。

【0114】

Ｓ９０２では、システム制御部５０は、検出された視線入力の位置に顔などの検出可能な被写体があるか否かを判定する。図９では、人の顔が検出される場合について説明する。検出された視線入力の位置に顔がある場合はＳ９０３へ進み、ない場合はＳ９０６へ進む。

【0115】

Ｓ９０３では、システム制御部５０は、現在の選択領域（Ｓ７０８で受け付けた循環選択操作の操作前に選択されていた選択領域）として、視線入力の位置にある被写体の右側の瞳が選択されているか否かを判定する。右側の瞳が選択されている場合はＳ９０４へ進み、右側の瞳が選択されていない場合はＳ９０５へ進む。視線入力の位置にある被写体とは異なる被写体の器官が選択されていた場合もＮｏと判断し、Ｓ９０５に進む。

【0116】

Ｓ９０４では、システム制御部５０は、視線入力の位置にある被写体の左側の瞳に選択領域を移動する。図５（Ａ）の例では、視線入力位置５０１に被写体Ｃ、選択領域５０２が被写体Ｃの右側の瞳にあった場合（表示例５－１－２）、システム制御部５０は、視線入力位置５０１にある被写体Ｃの左側の瞳に選択領域５０２を移動する（表示例５－１－３）。

【0117】

Ｓ９０５では、システム制御部５０は、視線入力の位置にある被写体の右側の瞳に選択領域を移動する。循環選択操作に対し、システム制御部５０は、現在の選択領域（Ｓ７０８で受け付けた循環選択操作の前に選択されていた選択領域）が視線入力位置の被写体の部位でない場合、現在の選択領域の位置にかかわらず、視線入力位置の被写体内に選択領域を移動する。図５（Ａ）の例では、視線入力位置５０１に被写体Ｃ、選択領域５０２が被写体Ａの左側の瞳にあった場合（表示例５－１－１）、システム制御部５０は、視線入力位置５０１にある被写体Ｃの右側の瞳に選択領域５０２を移動する（表示例５－１－２）。

【0118】

Ｓ９０６では、システム制御部５０は、現在選択されている選択領域から一つ右にある被写体や器官部に選択領域を移動する。これは、図４を用いて上述した通常の循環選択操作のルールである。例えば、ある顔の左側の瞳が選択されている場合は右側の瞳、ある顔の右側の瞳が選択されている場合は、右隣の顔の左側の瞳が選択される。なお、選択対象となる瞳、鼻、口などの器官部が検出されていない場合、システム制御部５０は、顔を選択することができる。

【0119】

以上のように、本実施形態によれば、ユーザーによる領域選択操作が実行されると、視線入力の位置にある被写体内に、選択領域を移動することで、ユーザーが所望の領域を選
択する場合の操作性を向上させることができる。視線入力の位置にある被写体に選択領域（選択位置）を移動することで操作手数を減らすことができる。さらに、視線入力の位置にある被写体のうちどの部位に選択領域を移動するかまでは、視線位置だけでは決定せず、操作部材に対する操作で決定する。視線入力位置は、ユーザーが同じ位置を見続けていたとしても検出される視線位置が一定でないという人間の特性（固視微動）などにより、精密な位置指定には向かない。これに対し本実施形態のように、視線入力の位置に基づいて選択領域の移動先の被写体を決定するという大まかな位置決定を行い、操作部材に対する操作で、その被写体の中のどの部位を選択するかという精密な位置決定を行う。このようにすることで、少ない操作手数で正確にユーザーの意図する部位を選択することが可能となる。

【0120】

なお、システム制御部５０が行うものとして説明した上述の各種制御は１つのハードウェアが行ってもよいし、複数のハードウェア（例えば、複数のプロセッサーや回路）が処理を分担することで、装置全体の制御を行ってもよい。

【0121】

また、本発明をその好適な実施形態に基づいて詳述してきたが、本発明はこれら特定の実施形態に限られるものではなく、この発明の要旨を逸脱しない範囲の様々な形態も本発明に含まれる。さらに、上述した各実施形態は本発明の一実施形態を示すものにすぎず、各実施形態を適宜組み合わせることも可能である。

【0122】

また、上述した実施形態においては、本発明をデジタルカメラ（撮像装置）に適用した場合を例にして説明したが、これはこの例に限定されず、視線入力を受け付け可能な電子機器であれば適用可能である。例えば、本発明は、パーソナルコンピュータやＰＤＡ、携帯電話端末や携帯型の画像ビューワ、プリンタ装置、デジタルフォトフレーム、音楽プレーヤー、ゲーム機、電子ブックリーダー、映像プレーヤーなどに適用可能である。また、本発明は、ヘッドマウントディスプレイ（ＨＭＤ）などのウェアラブル機器、表示装置（投影装置を含む）、タブレット端末、スマートフォン、ＡＩスピーカー、家電装置、車載装置、医療機器などにも適用可能である。

【0123】

＜その他の実施形態＞
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。

【符号の説明】

【0124】

１００：デジタルカメラ（電子機器） １６０：視線検出ブロック
５０：システム制御部 ７０：操作部

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】