特許 7570882 電子機器、電子機器の制御方法、プログラムおよび記憶媒体

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2024-10-11

(45)【発行日】2024-10-22

(54)【発明の名称】電子機器、電子機器の制御方法、プログラムおよび記憶媒体

(51)【国際特許分類】

   G02B 7/28 20210101AFI20241015BHJP

   G06F 3/038 20130101ALI20241015BHJP

   G06F 3/01 20060101ALI20241015BHJP

   H04N 23/60 20230101ALI20241015BHJP

   H04N 23/67 20230101ALI20241015BHJP

   G03B 17/02 20210101ALI20241015BHJP

   G03B 17/18 20210101ALI20241015BHJP

   H04N 23/63 20230101ALI20241015BHJP

   G03B 13/36 20210101ALI20241015BHJP

【ＦＩ】

G02B7/28 N

G06F3/038 310A

G06F3/01 510

H04N23/60 100

H04N23/67 100

G03B17/02

G03B17/18

H04N23/63 300

G03B13/36

【請求項の数】 18

(21)【出願番号】P 2020176006

(22)【出願日】2020-10-20

(65)【公開番号】P2021108447

(43)【公開日】2021-07-29

【審査請求日】2023-09-26

(31)【優先権主張番号】P 2019238836

(32)【優先日】2019-12-27

(33)【優先権主張国・地域又は機関】JP

(73)【特許権者】

【識別番号】000001007

【氏名又は名称】キヤノン株式会社

(74)【代理人】

【識別番号】110002860

【氏名又は名称】弁理士法人秀和特許事務所

(72)【発明者】

【氏名】小川 誠司

(72)【発明者】

【氏名】村上 新

【審査官】▲うし▼田 真悟

(56)【参考文献】

【文献】特開２０１５－２２２０８（ＪＰ，Ａ）

【文献】国際公開第２０１７／０１４４１５（ＷＯ，Ａ１）

【文献】特開２０１９－１６９０６（ＪＰ，Ａ）

【文献】特開２０１７－１０３５６６（ＪＰ，Ａ）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ０２Ｂ ７／２８－７／３６

Ｇ０３Ｂ １３／３６

Ｇ０３Ｂ １７／０２

Ｇ０３Ｂ １７／１８

Ｈ０４Ｎ ２３／６０

Ｈ０４Ｎ ２３／６３

Ｈ０４Ｎ ２３／６７

(57)【特許請求の範囲】

【請求項1】

表示手段を見るユーザの視線位置を検出する視線検出手段と、
前記視線検出手段により検出した視線位置または操作手段に対する第１の操作に応じて、前記表示手段における選択位置を指定するように制御する制御手段であって、
前記視線検出手段により検出した視線位置に基づいて前記選択位置が指定され、かつ、前記操作手段に対する前記第１の操作が行われていない第１の場合に、前記視線検出手段により検出した視線位置に基づく前記選択位置に第１の大きさの範囲を示す第１のアイテムを表示し、
前記視線検出手段により検出した視線位置に基づいて前記選択位置が指定され、かつ、前記操作手段に対する前記第１の操作が行われた第２の場合に、前記選択位置に前記第１の大きさよりも小さい第２の大きさの範囲を示す第２のアイテムを表示し、
前記第１の場合に、前記第１の操作とは異なる第２の操作が行われたことに応じて、前記第１のアイテムの位置で、所定の条件に基づいてオブジェクトを選択し、
前記第２の場合に、前記第２の操作が行われたことに応じて、前記第２のアイテムの位置で、前記所定の条件に基づかずにオブジェクトを選択する、
ように制御する制御手段と、
を有することを特徴とする電子機器。

【請求項2】

前記制御手段は、さらに前記選択されたオブジェクトに対してＡＦ処理を実行する、
ことを特徴とする請求項１に記載の電子機器。

【請求項3】

前記制御手段は、前記ＡＦ処理を実行した後にピント位置を固定する第１のＡＦモードと、ＡＦを実行し続ける第２のＡＦモードとを切り替え可能であって、
前記第２のＡＦモードであって、かつ前記第１の場合に、前記視線検出手段により検出した視線位置に基づく前記選択位置に第１の大きさよりも大きい第３の大きさの範囲を示す第３のアイテムを表示するように制御する
ことを特徴とする請求項２に記載の電子機器。

【請求項4】

前記制御手段は、前記第２の場合に、前記第１のアイテムを非表示にする、
ことを特徴とする請求項１から３のいずれか一項に記載の電子機器。

【請求項5】

前記第２の操作は、前記電子機器のグリップ部を保持した状態でシャッターボタンを操作可能で、かつ、前記グリップ部を保持する手の指で操作可能な位置に配置された、前記シャッターボタンとは異なる操作手段に対する操作である、
ことを特徴とする請求項１から４のいずれか一項に記載の電子機器。

【請求項6】

前記第２の操作は、撮像指示を行うための操作である、
ことを特徴とする請求項１から４のいずれか一項に記載の電子機器。

【請求項7】

表示手段を見るユーザの視線による視線位置を検出する視線検出手段と、
前記視線検出手段により検出した視線位置または操作手段に対する第１の操作に応じて、前記表示手段における選択位置を指定するように制御する制御手段であって、
前記視線検出手段により検出した視線位置に基づいて前記選択位置が指定され、かつ、前記操作手段に対する前記第１の操作が行われていない第１の場合に、
前記視線検出手段により検出した視線位置に基づく前記選択位置に第１の大きさの範囲を示す第１のアイテムを表示し、
前記視線検出手段により検出した視線位置に基づいて前記選択位置が指定され、かつ、前記操作手段に対する前記第１の操作が行われた第２の場合に、
前記選択位置に前記第１の大きさより小さい第２の大きさの範囲を示す第２のアイテムを表示し、
前記第１のアイテムを非表示にする、
ように制御する制御手段と、
を有することを特徴とする電子機器。

【請求項8】

前記制御手段は、前記第２のアイテムが表示された状態で、前記操作手段に対する移動指示操作があったことに応じて、前記第２のアイテムが表示された後の視線位置に基づかずに、前記移動指示操作に応じて前記第２のアイテムの表示位置を移動するように制御する、
ことを特徴とする請求項１から７のいずれか一項に記載の電子機器。

【請求項9】

前記操作手段はタッチ操作部材であり、前記第１の操作は、前記タッチ操作部材に対するタッチ操作である、
ことを特徴とする請求項１から８のいずれか一項に記載の電子機器。

【請求項10】

前記制御手段は、前記第２の場合に、前記タッチ操作に基づく前記選択位置に、前記第２のアイテムを表示するように制御する、
ことを特徴とする請求項９に記載の電子機器。

【請求項11】

前記制御手段は、前記第２の場合に、前記第１の操作がされた時点での前記視線検出手段により検出した視線位置に基づく前記選択位置に、前記第２のアイテムを表示するように制御する、
ことを特徴とする請求項１から９のいずれか一項に記載の電子機器。

【請求項12】

前記操作手段は操作体の移動を伴う移動操作を検知する検知手段であり、前記第１の操作は、前記検知手段に対する前記移動操作である、
ことを特徴とする請求項１から１１のいずれか一項に記載の電子機器。

【請求項13】

前記第１のアイテムは、前記表示手段に表示される対象のうち、複数の対象を包含可能な範囲を示すアイテムである、
ことを特徴とする請求項１から１２のいずれか一項に記載の電子機器。

【請求項14】

前記第２のアイテムは、前記表示手段に表示される対象のうち、１つを包含可能な範囲を示すアイテムである、
ことを特徴とする請求項１から１３のいずれか一項に記載の電子機器。

【請求項15】

表示手段を見るユーザの視線による視線位置を検出する視線検出ステップと、
前記視線検出ステップにおいて検出された視線位置または操作手段に対する第１の操作に応じて前記表示手段における選択位置を指定するように制御する制御ステップであって、
前記視線検出ステップにおいて検出された視線位置に基づいて前記選択位置が指定され、かつ、前記操作手段に対する前記第１の操作が行われていない第１の場合に、前記視線検出ステップにおいて検出された視線位置に基づく前記選択位置に第１の大きさの範囲を示す第１のアイテムを表示し、
前記視線検出ステップにおいて検出された視線位置に基づいて前記選択位置が指定され、かつ、前記操作手段に対する前記第１の操作が行われた第２の場合に、前記選択位置に前記第１の大きさよりも小さい第２の大きさの範囲を示す第２のアイテムを表示し、
前記第１の場合に、前記第１の操作とは異なる第２の操作が行われたことに応じて、前記第１のアイテムの位置で、所定の条件に基づいてオブジェクトを選択し、
前記第２の場合に、前記第２の操作が行われたことに応じて、前記第２のアイテムの位置で、前記所定の条件に基づかずにオブジェクトを選択する、
ように制御する制御ステップと、
を有することを特徴とする電子機器の制御方法。

【請求項16】

表示手段を見るユーザの視線による視線位置を検出する視線検出ステップと、
前記視線検出ステップにおいて検出された視線位置または操作手段に対する第１の操作に応じて前記表示手段における選択位置を指定するように制御する制御ステップであって、
前記視線検出ステップにおいて検出された視線位置に基づいて前記選択位置が指定され、かつ、前記操作手段に対する前記第１の操作が行われていない第１の場合に、
前記視線検出ステップにおいて検出された視線位置に基づく前記選択位置に第１の大きさの範囲を示す第１のアイテムを表示し、
前記視線検出ステップにおいて検出された視線位置に基づいて前記選択位置が指定され、かつ、前記操作手段に対する前記第１の操作が行われた第２の場合に、
前記選択位置に前記第１の大きさよりも小さい第２の大きさの範囲を示す第２のアイテムを表示し、
前記第１のアイテムを非表示にする、
ように制御する制御ステップと、
を有することを特徴とする電子機器の制御方法。

【請求項17】

コンピュータを、請求項１から１１のいずれか一項に記載された電子機器の各手段として機能させるためのプログラム。

【請求項18】

コンピュータを、請求項１から１１のいずれか一項に記載された電子機器の各手段として機能させるためのプログラムを格納したコンピュータが読み取り可能な記憶媒体。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、電子機器、電子機器の制御方法、プログラムおよび記憶媒体に関する。

【背景技術】

【0002】

ユーザが自身の視線（視線入力）によって操作を行う電子機器が知られている。特にデジタルカメラやゲーム機など、ユーザが即時的に電子機器に対して操作指示を行いたい場合に、視線入力は有効である。

【0003】

一般に、視線はブレが大きいため、視線の検出位置を示すポインタ（視線ポインタ；ＧＵＩ）を画面上に表示する場合に、小さいポインタ（枠）を表示すると、ポインタにブレが大きく生じるため、ユーザに不快感を与える可能性がある。視線の検出位置を示すポインタ（ＧＵＩ）を画面上に表示する場合に、大きいポインタ（枠）を表示すると、狙った被写体を枠の範囲内に収めやすくなるため、上述の不快感を軽減できる。しかし、大雑把な範囲指定となるため、その枠内での細かいオブジェクト（被写体）に対して、自動焦点調節（ＡＦ）や被写体追尾の指示を行いづらい。

【0004】

ポインタの大きさを変える技術として、特許文献１には、検出された被写体の近傍にユーザのタッチ位置を示すポインタ（タッチポインタ）を重ねると、タッチポインタのサイズを変更する技術が開示されている。

【先行技術文献】

【特許文献】

【0005】

【文献】特開２０１８－０３７８９３号公報

【発明の概要】

【発明が解決しようとする課題】

【0006】

しかしながら、特許文献１に開示された技術では、被写体に応じてポインタの大きさを変えることになるため、ユーザの意図に反してポインタの大きさが変わってしまう可能性がある。

【0007】

そこで、本発明は、ユーザの視線入力を用いて位置を指定する場合に、ユーザの意図した位置を容易に指定することができる技術を提供することを目的とする。

【課題を解決するための手段】

【0008】

本発明の一態様は、
表示手段を見るユーザの視線による視線位置を検出する視線検出手段と、
前記視線検出手段により検出した視線位置または操作手段に対する第１の操作に応じて、前記表示手段における選択位置を指定するように制御する制御手段であって、
前記視線検出手段により検出した視線位置に基づいて前記選択位置が指定され、かつ、前記操作手段に対する前記第１の操作が行われていない第１の場合に、前記視線検出手段により検出した視線位置に基づく前記選択位置に第１の大きさの範囲を示す第１のアイテムを表示し、
前記視線検出手段により検出した視線位置に基づいて前記選択位置が指定され、かつ、前記操作手段に対する前記第１の操作が行われた第２の場合に、前記選択位置に前記第１の大きさよりも小さい第２の大きさの範囲を示す第２のアイテムを表示し、
前記第１の場合に、前記第１の操作とは異なる第２の操作が行われたことに応じて、前記第１のアイテムの位置で、所定の条件に基づいてオブジェクトを選択し、
前記第２の場合に、前記第２の操作が行われたことに応じて、前記第２のアイテムの位置で、前記所定の条件に基づかずにオブジェクトを選択する、
ように制御する制御手段と、
を有することを特徴とする電子機器である。

【発明の効果】

【0009】

本発明によれば、ユーザの視線入力を用いて位置を指定する場合に、ユーザの意図した位置を容易に指定することができる。

【図面の簡単な説明】

【0010】

【図1】デジタルカメラ１００の外観図である。

【図2】デジタルカメラ１００のブロック図である。

【図3】一点ＡＦでの視線によるＡＦ枠の設定を説明する図である。

【図4】顔＋追尾優先ＡＦでの視線によるＡＦ枠の設定を説明する図である。

【図5A】撮影モード処理のフローチャートである。

【図5B】撮影モード処理のフローチャートである。

【図6】カメラ設定処理のフローチャートである。

【図7】タッチ操作応答処理のフローチャートである。

【図8】視線有効時相対位置指定処理のフローチャートである。

【図9】視線無効時相対位置指定処理のフローチャートである。

【図10】絶対位置指定処理のフローチャートである。

【図11】設定メニュー画面の表示例である。

【図12】視線を用いた文字の挿入位置の選択に関する表示例である。

【図13】変形例２に係るヘッドセット１３００および操作部材の外観図である。

【図14】変形例２に係る位置指定操作を説明する図である。

【発明を実施するための形態】

【0011】

［実施形態］
＜デジタルカメラ１００の外観図＞
以下、図面を参照して本発明の好適な実施形態を説明する。図１Ａ，１Ｂに、本発明を適用可能な装置の一例としてのデジタルカメラ１００の外観図を示す。図１Ａはデジタルカメラ１００の前面斜視図であり、図１Ｂはデジタルカメラ１００の背面斜視図である。

【0012】

表示部２８は、デジタルカメラ１００の背面に設けられた表示部であり、画像や各種情報を表示する。タッチパネル７０ａは、表示部２８の表示面（タッチ操作面；タッチ操作部材）に対するタッチ操作を検出することができる。ファインダー外表示部４３は、デジタルカメラ１００の上面に設けられた表示部であり、シャッター速度や絞りをはじめとするデジタルカメラ１００の様々な設定値を表示する。シャッターボタン６１は撮影指示（撮像指示）を行うための操作部材である。モード切替スイッチ６０は、各種モードを切り替えるための操作部材である。端子カバー４０は、デジタルカメラ１００を外部機器に接続するコネクタ（不図示）を保護するカバーである。

【0013】

メイン電子ダイヤル７１は回転操作部材であり、メイン電子ダイヤル７１を回すことで、シャッター速度や絞りなどの設定値の変更等が行える。電源スイッチ７２は、デジタルカメラ１００の電源のＯＮとＯＦＦを切り替える操作部材である。サブ電子ダイヤル７３は回転操作部材であり、サブ電子ダイヤル７３を回すことで、選択枠（カーソル）の移動や画像送りなどが行える。４方向キー７４は、上、下、左、右部分をそれぞれ押し込み可能に構成され、４方向キー７４の押した部分に応じた処理が可能である。ＳＥＴボタン７５は、押しボタンであり、主に選択項目の決定などに用いられる。マルチコントローラー（以下、ＭＣ）６５は、８方向への方向指示と、中央部分の押し込み操作とを受け付け可能である。

【0014】

動画ボタン７６は、動画撮影（記録）の開始や停止の指示に用いられる。ＡＥロックボタン７７は押しボタンであり、撮影待機状態でＡＥロックボタン７７を押下することにより、露出状態を固定することができる。拡大ボタン７８は、撮影モードのライブビュー表示（ＬＶ表示）において拡大モードのＯＮとＯＦＦを切り替えるための操作ボタンである。拡大モードをＯＮとしてからメイン電子ダイヤル７１を操作することにより、ライブビュー画像（ＬＶ画像）の拡大や縮小を行える。再生モードにおいては、拡大ボタン７８は、再生画像を拡大したり、その拡大率を増加させたりするための操作ボタンとして機能する。再生ボタン７９は、撮影モードと再生モードとを切り替えるための操作ボタンである。撮影モード中に再生ボタン７９を押下することで再生モードに遷移し、記録媒体２００（後述）に記録された画像のうち最新の画像を表示部２８に表示させることができる。メニューボタン８１はメニュー画面を表示させる指示操作を行うために用いられる押しボタンであり、メニューボタン８１が押されると各種の設定が可能なメニュー画面が表示部２８に表示される。ユーザは、表示部２８に表示されたメニュー画面と、４方向キー７４やＳＥＴボタン７５、またはＭＣ６５とを用いて直感的に各種設定を行うことができる。視線確定ボタン８２は、操作部７０に含まれる操作部材であって、後述する視線ポインタの位置に基づく被写体の選択実行または解除を指示する押しボタンである。視線確定ボタンは、ユーザーがファインダーを覗いた状態（接眼部１６に接眼した状態）でも操作しやすい位置に配置されており、グリップ部９０を持つ右手の親指で操作可能な位置に配置されている。

【0015】

通信端子１０は、デジタルカメラ１００がレンズユニット１５０（後述；着脱可能）側と通信を行うための通信端子である。接眼部１６は、接眼ファインダー（覗き込み型のファインダー）の接眼部であり、ユーザは、接眼部１６を介して内部のＥＶＦ２９（後述）に表示された映像を視認することができる。接眼検知部５７は、接眼部１６にユーザ（撮影者）が接眼しているか否かを検知する接眼検知センサーである。蓋２０２は、記録媒体２００（後述）を格納するスロットの蓋である。グリップ部９０は、ユーザがデジタルカメラ１００を構える際に右手で握りやすい形状とした保持部である。グリップ部９０を右手の小指、薬指、中指で握ってデジタルカメラ１００を保持した状態で、右手の人差指で操作可能な位置にシャッターボタン６１とメイン電子ダイヤル７１が配置されている。また、同じ状態で、右手の親指で操作可能な位置に、サブ電子ダイヤル７３、視線確定ボタン８２が配置されている。

【0016】

＜デジタルカメラ１００の構成ブロック図＞
図２は、デジタルカメラ１００の構成例を示すブロック図である。レンズユニット１５０は、交換可能な撮影レンズを搭載するレンズユニットである。レンズ１０３は通常、複数枚のレンズから構成されるが、図２では簡略して一枚のレンズのみで示している。通信端子６は、レンズユニット１５０がデジタルカメラ１００側と通信を行うための通信端子であり、通信端子１０は、デジタルカメラ１００がレンズユニット１５０側と通信を行うための通信端子である。レンズユニット１５０は、これら通信端子６，１０を介してシステム制御部５０と通信する。そして、レンズユニット１５０は、内部のレンズシステム制御回路４によって絞り駆動回路２を介して絞り１の制御を行う。また、レンズユニット１５０は、レンズシステム制御回路４によってＡＦ駆動回路３を介してレンズ１０３を変位させることで焦点を合わせる。

【0017】

シャッター１０１は、システム制御部５０の制御で撮像部２２の露光時間を自由に制御できるフォーカルプレーンシャッターである。

【0018】

撮像部２２は、光学像を電気信号に変換するＣＣＤやＣＭＯＳ素子等で構成される撮像素子である。撮像部２２は、システム制御部５０にデフォーカス量情報を出力する撮像面
位相差センサーを有していてもよい。

【0019】

画像処理部２４は、Ａ／Ｄ変換器２３からのデータ、又は、メモリ制御部１５からのデータに対し所定の処理（画素補間、縮小といったリサイズ処理、色変換処理、等）を行う。また、画像処理部２４は、撮像した画像データを用いて所定の演算処理を行い、システム制御部５０は、画像処理部２４により得られた演算結果に基づいて露光制御や測距制御を行う。これにより，ＴＴＬ（スルー・ザ・レンズ）方式のＡＦ（オートフォーカス）処理、ＡＥ（自動露出）処理、ＥＦ（フラッシュプリ発光）処理、等が行われる。画像処理部２４は、さらに、撮像した画像データを用いて所定の演算処理を行い、得られた演算結果に基づいてＴＴＬ方式のＡＷＢ（オートホワイトバランス）処理を行う。

【0020】

メモリ制御部１５は、Ａ／Ｄ変換器２３、画像処理部２４、メモリ３２間のデータの送受信を制御する。Ａ／Ｄ変換器２３からの出力データは、画像処理部２４及びメモリ制御部１５を介してメモリ３２に書き込まれる。あるいは、Ａ／Ｄ変換器２３からの出力データは、画像処理部２４を介さずにメモリ制御部１５を介してメモリ３２に書き込まれる。メモリ３２は、撮像部２２によって得られＡ／Ｄ変換器２３によりデジタルデータに変換された画像データや、表示部２８やＥＶＦ２９に表示するための画像データを格納する。メモリ３２は、所定枚数の静止画像や所定時間の動画像および音声を格納するのに十分な記憶容量を備えている。

【0021】

また、メモリ３２は画像表示用のメモリ（ビデオメモリ）を兼ねている。メモリ３２に書き込まれた表示用の画像データはメモリ制御部１５を介して表示部２８やＥＶＦ２９により表示される。表示部２８とＥＶＦ２９のそれぞれは、ＬＣＤや有機ＥＬ等の表示器上で、メモリ制御部１５からの信号に応じた表示を行う。Ａ／Ｄ変換器２３によってＡ／Ｄ変換されメモリ３２に蓄積されたデータを表示部２８またはＥＶＦ２９に逐次転送して表示することで、ライブビュー表示（ＬＶ）が行える。以下、ライブビュー表示で表示される画像をライブビュー画像（ＬＶ画像）と称する。

【0022】

視線検出部１６０（受付部）は、接眼部１６に接眼したユーザの目の、ＥＶＦ２９を見る視線を検出する。視線検出部１６０は、ダイクロイックミラー１６２、結像レンズ１６３、視線検知センサー１６４、視線検出回路１６５、赤外発光ダイオード１６６により構成される。

【0023】

赤外発光ダイオード１６６は、ファインダー画面内におけるユーザの視線位置を検出するための発光素子であり、ユーザの眼球（目）１６１に赤外光を照射する。赤外発光ダイオード１６６から発した赤外光は眼球（目）１６１で反射し、その赤外反射光はダイクロイックミラー１６２に到達する。ダイクロイックミラー１６２は、赤外光だけを反射して、可視光を透過させる。光路が変更された赤外反射光は、結像レンズ１６３を介して視線検知センサー１６４の撮像面に結像する。結像レンズ１６３は、視線検知光学系を構成する光学部材である。視線検知センサー１６４は、ＣＣＤ型イメージセンサ等の撮像デバイスから構成される。

【0024】

視線検知センサー１６４は、入射された赤外反射光を電気信号に光電変換して視線検出回路１６５へ出力する。視線検出回路１６５は、視線検知センサー１６４の出力信号に基づいて、ユーザの眼球（目）１６１の動きからユーザの視線位置を検出し、検出情報をシステム制御部５０および注視判定部１７０に出力する。

【0025】

注視判定部１７０は、視線検出回路１６５から受け取った検出情報に基づいて、ユーザの視線がある領域に固定されている期間が所定の閾値を越えた場合に、その領域を注視していると判定する。従って、当該領域は、注視が行われた位置である注視位置（注視領域
）であるといえる。なお、「視線がある領域に固定されている」とは、例えば、所定の期間経過するまでの間、視線の動きの平均位置が当該領域内にあり、かつ、ばらつき（分散）が所定値よりも少ないことである。なお、所定の閾値は、システム制御部５０により任意に変更可能である。また、注視判定部１７０を独立したブロックとして設けず、システム制御部５０が視線検出回路１６５から受け取った検出情報に基づいて注視判定部１７０と同じ機能を実行するようにしてもよい。

【0026】

本実施形態では、視線検出部１６０は、角膜反射法と呼ばれる方式を用いて視線を検出する。角膜反射法とは、赤外発光ダイオード１６６から発せられた赤外光が眼球（目）１６１（特に角膜）で反射した反射光と、眼球（目）１６１の瞳孔との位置関係から、視線の向き・位置を検出する方式である。なお、視線（視線の向き・位置）を検出する方式は特に限定されず、上記以外の方式を用いてもよい。例えば、黒目と白目での光の反射率が異なることを利用する強膜反射法と呼ばれる方式を用いてもよい。

【0027】

ファインダー外表示部４３には、ファインダー外表示部駆動回路４４を介して、シャッター速度や絞りをはじめとするカメラの様々な設定値が表示される。

【0028】

不揮発性メモリ５６は、電気的に消去・記録可能なメモリであり、例えば、ＦＬａｓｈ－ＲＯＭ等である。不揮発性メモリ５６には、システム制御部５０の動作用の定数、プログラム等が記録される。ここでいうプログラムとは、本実施形態にて後述する各種フローチャートを実行するためのプログラムのことである。

【0029】

システム制御部５０は、少なくとも１つのプロセッサーまたは回路からなる制御部であり、デジタルカメラ１００全体を制御する。システム制御部５０は、前述した不揮発性メモリ５６に記録されたプログラムを実行することで、後述する本実施形態の各処理を実現する。システムメモリ５２は例えばＲＡＭであり、システム制御部５０は、システム制御部５０の動作用の定数、変数、不揮発性メモリ５６から読み出したプログラム等をシステムメモリ５２に展開する。また、システム制御部５０は、メモリ３２、表示部２８等を制御することにより表示制御も行う。

【0030】

システムタイマー５３は、各種制御に用いる時間や、内蔵された時計の時間を計測する計時部である。

【0031】

電源制御部８０は、電池検出回路、ＤＣ－ＤＣコンバータ、通電するブロックを切り替えるスイッチ回路等により構成され、電池の装着の有無、電池の種類、電池残量の検出などを行う。また、電源制御部８０は、その検出結果及びシステム制御部５０の指示に基づいてＤＣ－ＤＣコンバータを制御し、必要な電圧を必要な期間、記録媒体２００を含む各部へ供給する。電源部３０は、アルカリ電池やリチウム電池等の一次電池やＮｉＣｄ電池やＮｉＭＨ電池、Ｌｉ電池等の二次電池、ＡＣアダプター等からなる。

【0032】

記録媒体Ｉ／Ｆ１８は、メモリカードやハードディスク等の記録媒体２００とのインターフェースである。記録媒体２００は、撮影された画像を記録するためのメモリカード等の記録媒体であり、半導体メモリや磁気ディスク等から構成される。

【0033】

通信部５４は、無線または有線ケーブルによって接続された外部機器との間で、映像信号や音声信号の送受信を行う。通信部５４は無線ＬＡＮ（Ｌｏｃａｌ Ａｒｅａ Ｎｅｔｗｏｒｋ）やインターネットとも接続可能である。また、通信部５４は、Ｂｌｕｅｔｏｏｔｈ（登録商標）やＢｌｕｅｔｏｏｔｈ Ｌｏｗ Ｅｎｅｒｇｙでも外部機器と通信可能である。通信部５４は撮像部２２で撮像した画像（ＬＶ画像を含む）や、記録媒体２００に記録された画像を送信可能であり、外部機器から画像データやその他の各種情報を受信
することができる。

【0034】

姿勢検知部５５は、重力方向に対するデジタルカメラ１００の姿勢を検知する。姿勢検知部５５で検知された姿勢に基づいて、撮像部２２で撮影された画像が、デジタルカメラ１００を横に構えて撮影された画像であるか、縦に構えて撮影された画像であるかを判別可能である。システム制御部５０は、姿勢検知部５５で検知された姿勢に応じた向き情報を撮像部２２で撮像された画像の画像ファイルに付加したり、画像を回転して記録したりすることが可能である。姿勢検知部５５としては、加速度センサーやジャイロセンサーなどを用いることができる。姿勢検知部５５である加速度センサーやジャイロセンサーを用いて、デジタルカメラ１００の動き（パン、チルト、持ち上げ、静止しているか否か等）を検知することも可能である。

【0035】

接眼検知部５７は、接眼ファインダー（以後、単に「ファインダー」と記載する）の接眼部１６に対する目（物体）１６１の接近（接眼）および離脱（離眼）を検知する（接近検知）、接眼検知センサーである。システム制御部５０は、接眼検知部５７で検知された状態に応じて、表示部２８とＥＶＦ２９の表示（表示状態）／非表示（非表示状態）を切り替える。より具体的には、少なくとも撮影待機状態で、かつ、表示先の切替が自動切替である場合において、非接眼中は表示先を表示部２８として表示をオンとし、ＥＶＦ２９は非表示とする。また、接眼中は表示先をＥＶＦ２９として表示をオンとし、表示部２８は非表示とする。接眼検知部５７としては、例えば赤外線近接センサーを用いることができ、ＥＶＦ２９を内蔵するファインダーの接眼部１６への何らかの物体の接近を検知することができる。物体が接近した場合は、接眼検知部５７の投光部（図示せず）から投光した赤外線が物体で反射して赤外線近接センサーの受光部（図示せず）で受光される。受光された赤外線の量によって、物体が接眼部１６からどの距離まで近づいているか（接眼距離）も判別することができる。このように、接眼検知部５７は、接眼部１６への物体の近接距離を検知する接眼検知を行う。非接眼状態（非接近状態）から、接眼部１６に対して所定距離以内に近づく物体が検出された場合に、接眼されたと検出するものとする。接眼状態（接近状態）から、接近を検知していた物体が所定距離以上離れた場合に、離眼されたと検出するものとする。接眼を検出する閾値と、離眼を検出する閾値は例えばヒステリシスを設けるなどして異なっていてもよい。また、接眼を検出した後は、離眼を検出するまでは接眼状態であるものとする。離眼を検出した後は、接眼を検出するまでは非接眼状態であるものとする。なお、赤外線近接センサーは一例であって、接眼検知部５７には、接眼とみなせる目や物体の接近を検知できるものであれば他のセンサーを採用してもよい。

【0036】

システム制御部５０は、視線検出部１６０を制御することによって、ＥＶＦ２９への以下の視線の状態を検出できる。
・ＥＶＦ２９へ向けられていなかった視線が新たにＥＶＦ２９へ向けられたこと。すなわち、視線入力の開始。
・ＥＶＦ２９に対する視線入力をしている状態であること。
・ＥＶＦ２９のある位置へ注視している状態であること。
・ＥＶＦ２９へ向けられていた視線を外したこと。すなわち、視線入力の終了。
・ＥＶＦ２９へ何も視線入力していない状態（ＥＶＦ２９を見ていない状態）。

【0037】

これらの操作・状態や、ＥＶＦ２９に視線が向いている位置（方向）は内部バスを通じてシステム制御部５０に通知され、システム制御部５０は、通知された情報に基づいてどのような視線入力が行われているかを判定する。

【0038】

操作部７０は、ユーザからの操作（ユーザ操作）を受け付ける入力部であり、システム制御部５０に各種の動作指示を入力するために使用される。図２に示すように、操作部７
０は、モード切替スイッチ６０、シャッターボタン６１、電源スイッチ７２、タッチパネル７０ａ、等を含む。また、操作部７０は、その他の操作部材７０ｂとして、メイン電子ダイヤル７１、サブ電子ダイヤル７３、４方向キー７４、ＳＥＴボタン７５、動画ボタン７６、ＡＥロックボタン７７、拡大ボタン７８、再生ボタン７９、メニューボタン８１、ＭＣ６５等を含む。

【0039】

モード切替スイッチ６０は、システム制御部５０の動作モードを静止画撮影モード、動画撮影モード、再生モード等のいずれかに切り替える。静止画撮影モードに含まれるモードとして、オート撮影モード、オートシーン判別モード、マニュアルモード、絞り優先モード（Ａｖモード）、シャッター速度優先モード（Ｔｖモード）、プログラムＡＥモード（Ｐモード）がある。また、撮影シーン別の撮影設定となる各種シーンモード、カスタムモード等がある。モード切替スイッチ６０により、ユーザは、これらのモードのいずれかに直接切り替えることができる。あるいは、モード切替スイッチ６０で撮影モードの一覧画面に一旦切り替えた後に、表示された複数のモードのいずれかに、他の操作部材を用いて選択的に切り替えるようにしてもよい。同様に、動画撮影モードにも複数のモードが含まれていてもよい。

【0040】

シャッターボタン６１は、第１シャッタースイッチ６２と第２シャッタースイッチ６４を備える。第１シャッタースイッチ６２は、シャッターボタン６１の操作途中、いわゆる半押し（撮影準備指示）でＯＮとなり第１シャッタースイッチ信号ＳＷ１を発生する。システム制御部５０は、第１シャッタースイッチ信号ＳＷ１により、ＡＦ（オートフォーカス）処理、ＡＥ（自動露出）処理、ＡＷＢ（オートホワイトバランス）処理、ＥＦ（フラッシュプリ発光）処理等の撮影準備動作を開始する。第２シャッタースイッチ６４は、シャッターボタン６１の操作完了、いわゆる全押し（撮影指示）でＯＮとなり、第２シャッタースイッチ信号ＳＷ２を発生する。システム制御部５０は、第２シャッタースイッチ信号ＳＷ２により、撮像部２２からの信号読み出しから、撮像された画像を画像ファイルとして記録媒体２００に書き込むまでの、一連の撮影処理の動作を開始する。

【0041】

タッチパネル７０ａと表示部２８とは一体的に構成することができる。例えば、タッチパネル７０ａは、光の透過率が表示部２８の表示を妨げないように構成され、表示部２８の表示面の上層に取り付けられる。そして、タッチパネル７０ａにおける入力座標と、表示部２８の表示面上の表示座標とを対応付ける。これにより、あたかもユーザが表示部２８上に表示された画面を直接的に操作可能であるかのようなＧＵＩ（グラフィカルユーザインターフェース）を提供できる。システム制御部５０は、タッチパネル７０ａへの以下の操作、あるいは状態を検出できる。

【0042】

・タッチパネル７０ａにタッチしていなかった指やペンが新たにタッチパネル７０ａにタッチしたこと、すなわちタッチの開始（以下、タッチダウン（Ｔｏｕｃｈ－Ｄｏｗｎ）と称する）。
・タッチパネル７０ａを指やペンでタッチしている状態（以下、タッチオン（Ｔｏｕｃｈ－Ｏｎ）と称する）。
・指やペンがタッチパネル７０ａをタッチしたまま移動していること（以下、タッチムーブ（Ｔｏｕｃｈ－Ｍｏｖｅ）と称する）。
・タッチパネル７０ａへタッチしていた指やペンがタッチパネル７０ａから離れた（リリースされた）こと、すなわちタッチの終了（以下、タッチアップ（Ｔｏｕｃｈ－Ｕｐ）と称する）。
・タッチパネル７０ａに何もタッチしていない状態（以下、タッチオフ（Ｔｏｕｃｈ－Ｏｆｆ）と称する）。

【0043】

タッチダウンが検出されると、同時にタッチオンも検出される。タッチダウンの後、タ
ッチアップが検出されない限りは、通常はタッチオンが検出され続ける。タッチムーブが検出された場合も、同時にタッチオンが検出される。タッチオンが検出されていても、タッチ位置が移動していなければタッチムーブは検出されない。タッチしていた全ての指やペンがタッチアップしたことが検出された後は、タッチオフとなる。

【0044】

これらの操作・状態や、タッチパネル７０ａ上に指やペンがタッチしている位置座標は内部バスを通じてシステム制御部５０に通知される。そして、システム制御部５０は通知された情報に基づいてタッチパネル７０ａ上にどのような操作（タッチ操作）が行われたかを判定する。タッチムーブについてはタッチパネル７０ａ上で移動する指やペンの移動方向についても、位置座標の変化に基づいて、タッチパネル７０ａ上の垂直成分・水平成分毎に判定できる。所定距離以上をタッチムーブしたことが検出された場合はスライド操作が行われたと判定するものとする。タッチパネル７０ａ上に指をタッチしたままある程度の距離だけ素早く動かして、そのまま離すといった操作をフリックと呼ぶ。フリックは、言い換えればタッチパネル７０ａ上を指ではじくように素早くなぞる操作である。所定距離以上を、所定速度以上でタッチムーブしたことが検出され、そのままタッチアップが検出されるとフリックが行われたと判定できる（スライド操作に続いてフリックがあったものと判定できる）。さらに、複数箇所（例えば２点）を共にタッチして（マルチタッチして）、互いのタッチ位置を近づけるタッチ操作をピンチイン、互いのタッチ位置を遠ざけるタッチ操作をピンチアウトと称する。ピンチアウトとピンチインを総称してピンチ操作（あるいは単にピンチ）と称する。タッチパネル７０ａは、抵抗膜方式や静電容量方式、表面弾性波方式、赤外線方式、電磁誘導方式、画像認識方式、光センサー方式等、様々な方式のタッチパネルのうちいずれの方式のものであってもよい。タッチパネルに対する接触があったことでタッチがあったと検出する方式や、タッチパネルに対する指やペンの接近があったことでタッチがあったと検出する方式があるが、いずれの方式でもよい。

【0045】

なお、デジタルカメラ１００には、内蔵されたマイクまたは音声入力端子を介して接続された音声入力装置から得られたシステム制御部５０に送信する音声入力部（不図示）が設けられていてもよい。この場合、システム制御部５０は、入力された音声信号を必要に応じて選択し、アナログデジタル変換を行い、レベルの適正化処理、特定周波数の低減処理等をして音声信号を生成する。

【0046】

本実施形態では、ユーザは、接眼状態でタッチムーブ操作が行われる場合の位置指標（例えば、ＡＦ枠）の位置を指定する方式を、絶対位置指定方式と相対位置指定方式とのいずれかに設定することができる。絶対位置指定方式とは、タッチパネル７０ａにおける入力座標と、ＥＶＦ２９の表示面上の表示座標とが対応付けられている方式である。絶対位置指定方式の場合、タッチパネル７０ａに対するタッチダウンがあると、タッチムーブが無くとも、タッチされた位置（座標入力された位置）に対応付けられた位置にＡＦ枠が設定される（タッチダウン前の位置から移動する）。絶対位置指定方式で設定される位置は、タッチダウン前に設定されていた位置には関係なく、タッチダウンされた位置に基づいた位置となる。また、タッチダウン後にタッチムーブがあると、タッチムーブ後のタッチ位置に基づいてＡＦ枠の位置も移動する。相対位置指定方式とは、タッチパネル７０ａにおける入力座標と、ＥＶＦ２９の表示面上の表示座標とが対応付けられていない方式である。相対位置指定方式の場合、タッチパネル７０ａに対するタッチダウンがあっただけでタッチムーブが無い状態では、ＡＦ枠の位置はタッチダウン前の位置から移動しない。その後タッチムーブがあると、タッチダウン位置に関わらず、現在設定されているＡＦ枠の位置（タッチダウン前に設定されていた位置）から、タッチムーブの移動方向にタッチムーブの移動量に応じた距離だけ、ＡＦ枠の位置が移動する。

【0047】

なお、ＡＦ方式（ＡＦ枠の設定方式）として、「一点ＡＦ」と「顔＋追尾優先ＡＦ」を含む複数のＡＦ方式のうちいずれかを設定可能である。「一点ＡＦ」とは、ＡＦを行う位
置として一点ＡＦ枠によって１箇所をユーザーが指定する方式である。「顔＋追尾優先ＡＦ」とは、ユーザーによる追尾対象の指定が無い場合には、自動選択条件に基づいて自動的にＡＦ位置が設定される方式である。自動的なＡＦ位置の設定では、ＬＶ画像から人物の顔が検出されていれば顔を優先してＡＦ対象被写体として選択する。人物の顔が複数検出されている場合には、顔のサイズが大きい、顔の位置がデジタルカメラ１００に近い（至近側である）顔の位置が画像内における中央に近い、予め登録された個人の顔である、等の優先度に従って１つの顔を選択してＡＦ対象被写体に設定する。人物の顔が検出されていなければ、デジタルカメラ１００に近い（至近側である）、コントラストが高い、動物や乗り物などの優先度の高い被写体である、動体である、などの優先度に従って顔以外の被写体を選択してＡＦ対象被写体に設定する。ユーザーによって追尾対象の被写体が指定された場合には、追尾対象の被写体をＡＦ対象被写体とする。すなわち、自動選択条件は、以下に示す例のような要素条件のうち少なくとも１つの要素条件を用いて重みづけを行い、得られるスコアが所定の閾値以上であることや得られるスコアが最も高いという条件である。
・検出された人物の顔である。
・顔のサイズが大きい。
・顔の位置がデジタルカメラ１００に近い（至近側である）。
・顔の位置が画像内における中央に近い。
・予め登録された個人の顔である。
・デジタルカメラ１００に近い（至近側である）。
・コントラストが高い。
・動物や乗り物などの優先度の高い被写体である。
・動体である。

【0048】

＜一点ＡＦでの視線によるＡＦ枠の設定＞
図３（ａ）～図３（ｆ）を用いて、デジタルカメラ１００においてＡＦ枠の選択方式（ＡＦ方式）を「一点ＡＦ」とした場合の、視線入力を利用したＡＦ枠の移動制御について説明する。図３（ａ）～図３（ｆ）はそれぞれ、ＡＦ枠の選択方式（ＡＦ方式）を「一点ＡＦ」とした場合にＥＶＦ２９に表示される表示例である。

【0049】

図３（ａ）は、視線機能（視線入力を用いたＡＦ位置の指定機能）を有効とし、視線検出部１６０でユーザーの視線を検出している状態の表示例である。ライブビュー（以下、ＬＶ）３０１は、撮像部２２で撮像されているＬＶ画像である。一点ＡＦ枠３０２は、ＡＦ枠の選択方式（ＡＦ方式）を「一点ＡＦ」とした場合のＡＦ枠（ＡＦの対象となる位置、すなわち焦点調節位置を示すインジケーター）である。１点ＡＦ枠は、初期状態では画面中央に設定される。視線ポインタ３１０は、視線検出部１６０で検出した視線入力の位置を示すポインタ（インジケーター、表示アイテム、第１のアイテム）である。視線検出部１６０は、視線入力がされている位置としてある１点の座標を取得可能であるが、視線ポインタ３１０は、視線入力されている位置を中心としたある程度大きい所定サイズの範囲を示すものとして表示される。このようにすることで、視線入力で検出されている位置が、ユーザーが選択したいターゲット被写体の位置に厳密に一致していなくとも、視線ポインタが示す範囲内にターゲット被写体を収めることが可能となる。すなわち、視線入力によって大雑把な位置の指定が可能である。また、視線検出部１６０で検出された視線位置を、所定期間分（例えば３０ミリ秒の期間）平均化した位置を中心として視線ポインタ３１０を表示する。このようにすることで、ユーザーの視線入力の位置の微小時間内のバラつきによる視線ポインタの過度な移動を防ぐことができ、視線ポインタの視認性を向上させることができる。人間による視線には、固視微動と呼ばれる、ある一点を注視している際にも眼球が細かい運動を起こすという特性がある。従って視線入力だけを用いて厳密な位置の指定を行おうとしても、ユーザーの意図通りの位置を指定することは難しく、ユーザーにとって不快な操作感となってしまう。これに対し、視線ポインタ３１０を、ある
程度大きい第１の大きさで、所定期間分平均化した位置に基づいて表示することで、このような不快感を軽減することができる。

【0050】

図３（ｂ）は、図３（ａ）の状態から、ユーザーが視線を移動させて、ＥＶＦ２９のうち見ている場所を変えた場合のＥＶＦ２９での表示例である。視線ポインタ３１０は、図３（ａ）では画面右上にあったが、図３（ｂ）では画面左下に移動している。このように、ユーザーの視線の移動に連動して視線ポインタ３１０の位置も移動する。なお、視線ポインタ３１０が移動しただけでは、一点ＡＦ３０２は移動しない。すなわち、図３（ａ）と図３（ｂ）における一点ＡＦ枠３０２の位置は同じである。

【0051】

図３（ｃ）は、図３（ｂ）の状態で視線確定ボタン８２が押下された場合のＥＶＦ２９における表示例である。視線ポインタ３１０が表示された状態で視線確定ボタン８２が押下されると、その時点での視線入力位置（視線検出部１６０で検出した位置を所定期間分平均化した位置）に一点ＡＦ枠３０２が設定される（移動する）。視線ポインタ３１０が画面端部に接していない場合には、視線入力位置を中心とした範囲に視線ポインタ３１０が表示されているため、一点ＡＦ枠は視線ポインタ３１０があった位置の中心に表示されることになる。また、視線による位置の指定が確定した状態となり、視線ポインタ３１０は非表示となる。このように、視線入力の位置に基づいてＡＦを行う位置を移動させることができる。アイコン３０３は、再び視線入力に基づいてＡＦ枠を移動させる場合には、視線による位置の指定の確定状態を解除する必要があること、および、解除する操作方法を示すアイコンである。「Ｅｙｅ」の文字列が視線確定ボタン８２を示しており、視線確定ボタン８２の押下によって確定状態を解除できることを示している。図３（ｃ）の状態から視線確定ボタン８２が押下されると、確定状態が解除され、図３（ａ）や図３（ｂ）の表示状態に戻る。

【0052】

図３（ｄ）は、図３（ｂ）の状態からタッチパネル７０ａに対するタッチダウンを検知した場合の表示例である。視線ポインタ３１０が表示された状態でタッチダウンがあると、その時点での視線入力位置（視線検出部１６０で検出した位置を所定期間分平均化した位置）に一点ＡＦ枠３０２が設定される（移動する）。そして、タッチ＆ドラッグＡＦ機能によるＡＦ枠の移動が可能な状態（タッチ＆ドラッグＡＦ機能によるＡＦ枠の移動途中の状態）となる。タッチ＆ドラッグＡＦ機能とは、ＥＶＦ２９に表示されたＡＦ枠を、ＥＶＦ２９とは異なる位置にあるタッチパネル７０ａに対するタッチムーブによって移動させる機能である。タッチ操作によってユーザーが所望する位置を正確に指定できるため、タッチ位置を示すポインタ（この例では一点ＡＦ枠３０２自体）が大きいと細かい位置の指定ができず煩わしい。従って視線ポインタ３１０のような大きいポインタは非表示とし、視線ポインタ３１０より小さい一点ＡＦ枠３０２によって位置の指定を行う状態とする。

【0053】

図３（ｅ）は、図３（ｄ）の状態から、タッチパネル７０ａに対する左下向きのタッチムーブを検知し、相対位置指定によって、検知したタッチムーブに応じて一点ＡＦ枠３０２を左下に移動させた場合の表示例である。

【0054】

図３（ｆ）は、図３（ｅ）の状態からタッチアップがあった場合の表示例である。タッチ＆ドラッグによる一点ＡＦ枠３０２の移動が終了した状態となり、アイコン３０３が表示される。このように、視線入力とタッチ操作とを組み合わせたＡＦ枠の位置（選択位置）の指定が可能である。なお、図３（ｆ）、あるいは図３（ｃ）の状態からさらにタッチパネル７０ａにタッチしてタッチムーブを行えば、一点ＡＦ枠３０２をタッチムーブに応じてさらに移動させることができる。

【0055】

上述の例において、ユーザーがピントを合わせたい位置が、ＬＶ画像３０１に含まれる
自動車（被写体）のナンバープレートであるものとする。この場合、次のようにして一点ＡＦ枠３０２をナンバープレートの位置に設定することができる。まず、図３（ｂ）のように、ＬＶ画像３０１のうち自動車のフロント部分を見ることで、自動車のフロント部分を視線ポインタ３１０で素早く大雑把に指定する。その後、視線ポインタ３１０に基づいて設定された一点ＡＦ枠３０２の位置（図３（ｄ）における一点ＡＦ枠３０２の位置）をタッチ操作によって移動させて微調整することで、ナンバープレートの位置に正確に合わせることができる。この時のタッチムーブの移動量は、すでにナンバープレート付近に一点ＡＦ枠３０２が視線入力に基づいて設定されており、ここからの移動量となるため、少なくて済む。このように、本実施形態によれば、素早く正確に、ユーザーが所望する位置を指定することが可能である。

【0056】

＜顔＋追尾優先ＡＦでの視線によるＡＦ枠の設定＞
図４（ａ）～図４（ｇ）を用いて、デジタルカメラ１００においてＡＦ枠の選択方式（ＡＦ方式）を「顔＋追尾優先」とした場合の、視線入力を利用したＡＦ枠の移動制御について説明する。図４（ａ）～図４（ｇ）はそれぞれ、ＡＦ枠の選択方式（ＡＦ方式）を「顔＋追尾優先」とした場合にＥＶＦ２９に表示される表示例である。

【0057】

図４（ａ）は、視線機能を有効とし、視線検出部１６０でユーザーの視線を検出している状態の表示例である。図３（ａ）で説明したものと同じものについては、同じ符号を付して説明を省略する。顔＋追尾優先でも、一点ＡＦの場合と同様に、視線ポインタ３１０は、ある程度大きい第１の大きさで、所定期間分平均化した位置に基づいて表示する。顔枠４０１～４０５は、ＬＶ画像から検出されている人物の顔の位置を示すインジケーターである。図４（ａ）の状態ではどの顔も選択されていない。

【0058】

図４（ｂ）は、図４（ａ）の状態から、ユーザーが視線を移動させて、ＥＶＦ２９のうち見ている場所を変えた場合のＥＶＦ２９での表示例である。視線ポインタ３１０は、図４（ａ）では画面左側にあったが、図４（ｂ）では画面右上に移動している。

【0059】

図４（ｃ）は、図４（ｂ）の状態で視線確定ボタン８２が押下された場合のＥＶＦ２９における表示例である。視線ポインタ３１０が表示された状態で視線確定ボタン８２が押下されると、その時点で視線ポインタ３１０が示す範囲内で、前述の自動選択条件に従って自動的に追尾対象（ＡＦ対象でもある）の被写体が選択される。図４（ｃ）の例では、図４（ｂ）に示す視線ポインタ３１０内において、全体が含まれる顔（顔枠４０２と顔枠４０３）のうち、最も至近側の顔である顔枠４０２によって示される顔が選択され、追尾対象として設定される。追尾対象となった被写体には追尾枠４１２が表示され、顔枠は非表示となる。そして、追尾が開始される。追尾中は、追尾対象の被写体が移動しても、追尾枠が追尾対象に追従して移動する。視線ポインタ３１０によって被写体を選択するゾーンを絞っているため、視線ポインタ３１０の外側の被写体が選択されることはなく、顔枠４０１や顔枠４０５によって示される顔や自動車が選択されることはない。すなわち、視線によって素早く大雑把にユーザーが指定した範囲の中から追尾対象が設定される分、視線を用いない自動選択よりもユーザーの意図にあった被写体を選択することが可能となる。また、図４（ｃ）では、視線による位置の指定が確定した状態となり、視線ポインタ３１０は非表示となる。図４（ｃ）の状態から視線確定ボタン８２が押下されると、確定状態が解除され、図４（ａ）や図４（ｂ）の表示状態に戻る。

【0060】

図４（ｄ）は、図４（ｂ）の状態からタッチパネル７０ａに対するタッチダウンを検知した場合の表示例である。視線ポインタ３１０が表示された状態でタッチダウンがあると、その時点での視線入力位置（視線検出部１６０で検出した位置を所定期間分平均化した位置）にタッチポインタ４０６が表示される。そして、タッチ＆ドラッグＡＦ機能による位置の指定が可能な状態（タッチ＆ドラッグＡＦ機能によるタッチポインタ４０６の移動
途中の状態）となる。タッチ操作によってユーザーが所望する位置を正確に指定できるため、タッチ位置を示すポインタ（この例でタッチポインタ４０６）が大きいと細かい位置の指定ができず煩わしい。従って視線ポインタ３１０のような大きいなポインタは非表示とし、視線ポインタ３１０より小さいタッチポインタ４０６によって位置の指定を行う状態とする。これによって、図示のように顔が密集しているような場合でも、ユーザー所望の顔を選択しやすくなる。

【0061】

図４（ｅ）は、図４（ｄ）の状態から、タッチパネル７０ａに対する右上向きのタッチムーブを検知し、相対位置指定によって、検知したタッチムーブに応じてタッチポインタ４０６を右上に移動させた場合の表示例である。タッチポインタ４０６が顔枠４０３の位置にほぼ一致する位置（より厳密には、顔枠４０３の範囲内にタッチポインタ４０６の中心が含まれる位置）となっている。この状態でタッチアップがなされると、タッチポインタ４０６の位置に基づいて、顔枠４０３が追尾対象として指定される。なお、図４（ｅ）のような表示に変えて、タッチアップ前のタッチポインタ４０６の移動中に、タッチポインタ４０６で顔枠の指定が可能な位置関係となった場合に、その時点でタッチアップがあった場合に指定される顔を示す表示（吸着表示）を行ってもよい。

【0062】

図４（ｆ）は、吸着表示の表示例を示す。タッチポインタ４０６をタッチムーブに応じて移動させ、顔枠４０３を指定可能な位置となったことに応じて、タッチポインタ４０６を非表示とし、顔枠４０３を他の顔枠と異なる表示形態で表示する。このようにすることで、ユーザーは、この時点でタッチアップを行えば顔枠４０３が指定されることを認識することができ、目的の位置までタッチムーブを行えたか否かを判断しやすくなる。

【0063】

図４（ｇ）は、図４（ｅ）または図４（ｆ）の状態からタッチアップがあった場合の表示例である。タッチアップ直前のタッチポインタ４０６の位置に基づいて顔枠４０３が追尾対象に設定され、追尾枠４１３が表示されて追尾が開始される。タッチ＆ドラッグによるタッチポインタ４０６の移動が終了した状態となり、アイコン３０３が表示される。なお、図４（ｇ）あるいは図４（ｃ）の状態からさらにタッチパネル７０ａにタッチしてタッチムーブを行えば、追尾が解除されて追尾対象のあった位置にタッチポインタ４０６が表示され、タッチポインタ４０６をタッチムーブに応じて移動させることができる。

【0064】

上述の例において、ユーザーがピントを合わせたい位置が、ＬＶ画像３０１に含まれる顔枠４０３が示す顔であるものとする。この場合、次のようにして追尾対象（ＡＦ位置）を顔枠４０３の位置に設定することができる。まず、図４（ｂ）のように、ＬＶ画像３０１のうち顔枠４０３の付近の部分を見ることで、素早く大雑把に範囲を指定する。その後、視線ポインタ３１０に基づいて設定された追尾対象である顔枠４０２の位置から、タッチ操作によってタッチポインタ４０６移動させて微調整することで、顔枠４０３に正確に合わせることができる。この時のタッチムーブの移動量は、すでに顔枠４０３付近の顔枠４０２が視線入力に基づいて設定されており、ここからの移動量となるため、少なくて済む。このように、本実施形態によれば、素早く正確に、ユーザーが所望する位置（被写体）を指定することが可能である。

【0065】

次に、以上説明した動作・画面遷移を実現する処理を説明する。

【0066】

＜撮影モード処理＞
図５Ａ、図５Ｂは、本実施形態におけるデジタルカメラ１００における撮影モード処理のフローチャートである。図５Ａ、図５Ｂの処理は、表示先がＥＶＦ２９となっている場合の処理であるものとする。この図５Ａ、図５Ｂを含む、図５Ａ～図１０のフローチャートにおける各処理は、システム制御部５０が、不揮発性メモリ５６に格納されたプログラムをシステムメモリ５２に展開して実行することにより実現される。デジタルカメラ１０
０を撮影モードで起動すると、フラグや制御変数等を初期化し、図５Ａ、図５Ｂの処理を開始する。

【0067】

Ｓ５００では、システム制御部５０は、撮像部２２でのライブビュー画像（ＬＶ画像）の撮像を開始し、撮像したＬＶ画像をＥＶＦ２９に表示する。

【0068】

Ｓ５０１では、システム制御部５０は、ユーザー操作に応じて撮像に関する各種設定を行うカメラ設定処理を行う。カメラ設定処理については図６を用いて後述する。
定処理の詳細は、図６を用いて後述する。

【0069】

Ｓ５０２では、システム制御部５０は、視線機能が有効であるか否か（後述する視線ＡＦの設定が有効であるか否か）を判断する。有効である場合はＳ５０３に進み、そうでない場合（無効である場合）はＳ５１６に進む。

【0070】

Ｓ５０３では、システム制御部５０は、視線検出部１６０で視線が検出されているか否かを判断する。検出されている場合はＳ５０４に進み、そうでない場合（視線機能が有効であるが、視線が検知されていない場合）はＳ５１６に進む。

【0071】

Ｓ５０４では、システム制御部５０は、視線ポインタ表示が有効であるか否かを判断する。有効である場合はＳ５０５に進み、そうでない場合（無効である場合）はＳ５０７に進む。

【0072】

Ｓ５０５では、システム制御部５０は、システムメモリに保持された視線確定フラグが０であるか否かを判定する。初期値は０である。視線確定フラグ＝０は前述の視線確定状態が解除されている状態を示しており、視線によって視線ポインタを移動させることが可能な状態である。視線によって大雑把な位置を指定可能な「粗調整モード」でもある。一方、視線確定フラグ＝１は、前述の視線確定状態を示しており、一旦、視線によって大雑把な位置を指定した後の状態で、視線による位置の指定はできない状態である。タッチムーブによって細かく位置を指定可能な「微調整モード」でもある。視線フラグが０である場合にはＳ５０６に進み、そうでない場合（視線フラグ＝１である場合）にはＳ５０７に進む。

【0073】

Ｓ５０６では、システム制御部５０は、ＥＶＦ２９に、視線検出部１６０で検出されている視線入力位置を基準として視線ポインタ３１０を表示する。前述の通り、視線ポインタ３１０はある程度大きい第１の大きさ（サイズ）で、視線入力位置を所定期間分平均化した位置に基づいて表示する。平均化された視線検出位置がＥＶＦ２９の端部周辺でない場合には、視線ポインタ３１０は視線入力位置を中心とした第１の大きさの範囲に表示される。平均化された視線検出位置がＥＶＦ２９の端部周辺である場合には、視線ポインタ３１０は視線入力位置に近い画面の端に接する第１の大きさの範囲に表示される。Ｓ５０６の処理によって、ＡＦ方式が一点ＡＦに設定されていれば前述した図３（ａ）、図３（ｂ）のような表示となり、顔＋追尾優先に設定されていれば前述した図４（ａ）、図４（ｂ）のような表示が行われる。

【0074】

Ｓ５０７では、システム制御部５０は、視線確定ボタン８２が押下されたか否か（すなわち、視線による位置の指定の実行を指示する操作があったか否か）を判定する。視線確定ボタン８２が押下された場合はＳ５０８に進み、そうでない場合はＳ５１６に進む。

【0075】

Ｓ５０８では、システム制御部５０は、システムメモリ５２に保持された視線確定フラグが０であるか否かを判定する。視線確定フラグ＝０である場合にはＳ５１２に進み、そうでない場合（視線確定フラグ＝１である場合）にはＳ５０９に進む。

【0076】

Ｓ５０９では、システム制御部５０は、視線確定フラグを０にセットする。また、表示されていたアイコン３０３を非表示とし、視線の確定が解除された状態の表示に復帰させる。

【0077】

Ｓ５１０では、システム制御部５０は、現在設定されているＡＦ方式が顔＋追尾優先ＡＦであるか否かを判定する。顔＋追尾優先ＡＦである場合にはＳ５１１に進んで追尾を解除し、Ｓ５０４に進む。これによって、例えば前述の図４（ｃ）や図４（ｇ）の表示が行われていた場合に視線確定ボタン８２が押下されたことに応じて、図４（ａ）や図４（ｂ）の表示状態に遷移する。Ｓ５１０で、現在設定されているＡＦ方式が顔＋追尾優先ＡＦではないと判定されると（すなわち一点ＡＦであると判定されると）、Ｓ５０４に進む。これによって、例えば前述の図３（ｃ）や図３（ｆ）の表示が行われていた場合に視線確定ボタン８２が押下されたことに応じて、図３（ａ）や図３（ｂ）の表示状態に遷移する。

【0078】

Ｓ５１２では、システム制御部５０は、視線確定フラグを１にセットする。また、アイコン３０３をＥＶＦ２９に表示し、視線の確定状態の表示とする。

【0079】

Ｓ５１３では、システム制御部５０は、現在設定されているＡＦ方式が顔＋追尾優先ＡＦであるか否かを判定する。顔＋追尾優先ＡＦである場合にはＳ５１４に進み、そうでない場合（すなわち一点ＡＦである場合）にはＳ５１５に進む。

【0080】

Ｓ５１４では、視線ポインタ３１０によって示される第１の大きさの範囲内において（視線ポインタ３１０が表示されていない場合でも同様の範囲内において）、追尾対象の被写体を前述の自動選択条件に基づいて選択する。そして、選択された被写体（追尾対象）に追尾枠を表示し、追尾を開始する。これによって、例えば前述の図４（ｂ）から図４（ｃ）のように表示が遷移する。

【0081】

Ｓ５１５では、システム制御部５０は、視線確定ボタン８２が押下された時点での視線入力位置（視線検出部１６０で検出した位置を所定期間分平均化した位置）に、一点ＡＦ枠３０２を設定する。これによって、例えば前述の図３（ｂ）から図３（ｃ）のように表示が遷移する。なお、本実施形態では一点ＡＦの場合には視線検出部１６０で検出されていた視線入力位置に一点ＡＦ枠を設定する例を説明した。しかしこれに限るものではなく、一点ＡＦの場合であっても、顔＋追尾優先ＡＦの場合と同様に、視線ポインタ３１０の範囲内で自動選択条件に基づく自動選択を行い、自動選択された被写体の位置に一点ＡＦ枠３０２を設定するようにしてもよい。

【0082】

Ｓ５１６では、システム制御部５０は、タッチパネル７０ａに対するタッチダウンがあったか否かを判定する。タッチダウンがあった場合はＳ５１７に進み、そうでない場合はＳ５１８に進む。

【0083】

Ｓ５１７では、システム制御部５０は、タッチパネル７０ａに対するタッチ操作に応じて、タッチ操作応答処理を行う。タッチ操作応答処理については図７を用いて後述する。

【0084】

Ｓ５１８では、システム制御部５０は、操作部７０に対するその他の操作があったか否かを判定する。その他の操作があった場合にはＳ５１９に進み、そうでない場合にはＳ５２０に進む。

【0085】

Ｓ５１９では、システム制御部５０は、その他の操作に応じた処理を行う。例えば、シャッター速度や絞り値、露出補正値といった各種撮影パラメータを変更したり、記録画質
やセルフタイマーの設定を行ったりすることができる。

【0086】

Ｓ５２０では、システム制御部５０は、第１シャッタースイッチ信号ＳＷ１がオンとなったか否か、すなわち、シャッターボタン６１が半押しされ、撮影準備指示が行われたか否かを判定する。

【0087】

Ｓ５２１では、システム制御部５０は、視線ポインタ３１０の表示中であるか否か、すなわち、視線機能が有効であり、視線検出がされており、視線ポインタの表示が有効であり、かつ、視線確定フラグ＝０であるか否かを判定する。視線ポインタ３１０の表示中である場合にはＳ５２２に進み、そうでない場合にはＳ５２３に進む。なお、視線ポインタ３１０が表示中であるか否かの判定に変えて、視線機能が有効であり、視線検出がされており、かつ、視線確定フラグ＝０であるか否かの判定としてもよい。この場合、視線機能が有効であり、視線検出がされており、かつ、視線確定フラグ＝０であれば、視線ポインタの表示が無効（視線ポインタ３１０が非表示）であってもＳ５２２に進む。

【0088】

Ｓ５２２では、システム制御部５０は、視線ポインタ３１０によって示される第１の大きさの範囲内において（視線ポインタ３１０が表示されていない場合でも同様の範囲内において）、ＡＦ対象の被写体を前述の自動選択条件に基づいて選択する。これは、Ｓ５１４での追尾対象の選択と同様の処理である。そして、選択された被写体（ＡＦ対象、焦点調節対象）に基づいてＡＦを実行する。同様にして、選択された被写体を基準としてＡＦ，ＡＷＢなどの処理を行ってもよい。なお、ＡＦ方式が一点ＡＦである場合には、ＡＦ対象を自動選択条件に基づいて選択するのではなく、その時点の視線入力位置を中心とする一点ＡＦ枠の範囲をＡＦ対象として選択してもよい。

【0089】

Ｓ５２３では、システム制御部５０は、現在設定されているＡＦ方式が顔＋追尾優先ＡＦであるか否かを判定する。顔＋追尾優先ＡＦである場合にはＳ５２４に進み、そうでない場合（一点ＡＦである場合）にはＳ５２７に進む。

【0090】

Ｓ５２４では、システム制御部５０は、被写体の追尾を行っている状態であるか否かを判定する。追尾中である場合にはＳ５２６に進み、そうでない場合にはＳ５２５に進む。

【0091】

Ｓ５２５では、システム制御部５０は、撮像されているＬＶ画像の全範囲を対象として、ＡＦ対象の被写体を前述の自動選択条件に基づいて選択する。そして、選択された被写体（ＡＦ対象、焦点調節対象）に基づいてＡＦを実行する。同様にして、選択された被写体を基準としてＡＦ，ＡＷＢなどの処理を行ってもよい。なお、ＬＶ画像の全範囲を対象とするものに限るものではなく、ＬＶ画像のうち、視線ポインタ３１０のサイズである第１の大きさよりも大きい第２の大きさの範囲内を対象としてもよい。例えば、ＬＶ画像の中央から８０％の範囲（＞第１のサイズ）をＳ５２５での自動選択条件に基づく被写体の自動選択の対象の範囲としてもよい。この場合、それ以外の端の領域はＡＦを合わせるべき主要被写体が存在する可能性が低いと想定されるため、Ｓ５２５での自動選択条件に基づく被写体の自動選択の対象外となる。

【0092】

Ｓ５２６では、システム制御部５０は、追尾中の追尾枠で（すなわち、追尾対象に対して）ＡＦを実行する。同様にして、追尾対象を基準としてＡＦ，ＡＷＢなどの処理を行ってもよい。

【0093】

Ｓ５２７では、システム制御部５０は、設定されている１点ＡＦ枠においてＡＦを実行する。同様にして、一点ＡＦ枠を基準としてＡＦ，ＡＷＢなどの処理を行ってもよい。

【0094】

Ｓ５２８では、システム制御部５０は、第２シャッタースイッチ信号ＳＷ２がオン、す
なわち、シャッターボタン６１が全押しされて撮影指示が行われたか否かを判定する。ＳＷ２がオンとなった場合にはＳ５３０に進み、そうでない場合はＳ５２９に進む。

【0095】

Ｓ５２９では、システム制御部５０は、ＳＷ１のオンが保持されているか否かを判定する。保持されている場合にはＳ５２８に戻り、そうでない場合（ＳＷ１がオフとなった場合）はＳ５３１に進む。

【0096】

Ｓ５３０では、システム制御部５０は、撮像部２２での露光から撮像された画像を画像ファイルとして記録媒体２００に記録するまでの一連の撮影処理（前述の撮影処理）を行う。

【0097】

Ｓ５３１では、撮影モードの終了イベント（電源オフ操作や、再生モードなどの他の動作モードに遷移させる指示など）があったか否かを判定する。終了イベントがない場合にはＳ５００に戻って処理を繰り返し、終了イベントがあった場合には撮影モード処理を終了する。

【0098】

＜カメラ設定処理＞
前述した図５ＡのＳ５０１のカメラ設定処理について説明する。カメラ設定処理は、メニューボタン８１が押下された場合に表示される撮影に関する設定メニュー画面における各設定項目についての設定を行う処理である。

【0099】

図１１（ａ）、図１１（ｂ）に、ＥＶＦ２９または表示部２８に表示される撮影に関する設定メニュー画面の表示例を示す。図１１（ａ）のメニュー画面に含まれる設定項目１１０１は、ＡＦ方式の設定を行うための項目である。設定項目１１０２は、タッチ＆ドラッグＡＦの設定を行うための項目である。設定項目１１０３は、視線機能関連の設定を行うための項目である。設定項目１１０４は、ＭＣ６５の中央部分の押し込み操作が行われた場合の動作を設定するための項目である。

【0100】

図１１（ｂ）は、視線機能関連の設定を行うための視線ＡＦの詳細設定メニュー画面の表示例である。この画面は、図１１（ａ）の設定項目１１０３が選択された場合に表示される。図１１（ｂ）の視線ＡＦの詳細設定メニュー画面には、設定項目１１０５～１１０７が表示される。設定項目１１０５は、視線機能を有効または無効に設定するための項目である。設定項目１１０６は、視線ポインタの表示を有効（表示）または無効（非表示）に設定するための項目である。設定項目１１０７は、ＳＷ１がオンとなった場合に視線検出位置にＡＦ枠をジャンプさせる機能を有効または無効に設定するための項目である。

【0101】

図６は、前述した図５ＡのＳ５０１のカメラ設定処理の詳細を示すフローチャートである。

【0102】

Ｓ６０１で、システム制御部５０は、視線機能（視線ＡＦ）のＯＮ／ＯＦＦ（有効／無効）を切り替える操作が操作部７０に対して行われたか否かを判断する。視線機能のＯＮ／ＯＦＦ（有効／無効）を切り替える操作とは、本実施形態では、メニュー画面を開き、該当する設定項目（設定項目１１０５）を選択して設定を切り替える操作である。本実施形態では、視線ＡＦをＯＮにするとユーザの視線を入力する機能が有効になり、視線ＡＦをＯＦＦにすると当該機能が無効になる。視線機能のＯＮ／ＯＦＦを切り替える操作が行われた場合はＳ６０２に進み、そうでない場合はＳ６０３に進む。

【0103】

Ｓ６０２で、システム制御部５０は、視線機能のＯＮ／ＯＦＦを切り替え、変更された設定内容を不揮発性メモリ５６に記録する。

【0104】

Ｓ６０３で、システム制御部５０は、視線ポインタ表示のＯＮ／ＯＦＦ（有効／無効）を切り替える操作が操作部７０に対して行われたか否かを判断する。視線確定機能のＯＮ／ＯＦＦ（有効／無効）を切り替える操作とは、本実施形態では、メニュー画面を開き、該当する設定項目（設定項目１１０６）を選択して設定を切り替える操作である。本実施形態では、視線ポインタ表示をＯＮにするとユーザの視線入力に応じてＧＵＩとしての視線ポインタ３１０が表示され、視線ポインタ表示をＯＦＦにすると視線ポインタが非表示になる。視線ポインタ表示のＯＮ／ＯＦＦを切り替える操作が行われた場合はＳ６０４に進み、そうでない場合はＳ６０５に進む。

【0105】

Ｓ６０４で、システム制御部５０は、視線ポインタ表示のＯＮ／ＯＦＦ（有効／無効）を切り替え、変更された設定内容を不揮発性メモリ５６に記録する。

【0106】

Ｓ６０５で、システム制御部５０は、タッチ＆ドラッグＡＦ機能の設定を切り替える操作が操作部７０に対して行われたか否かを判断する。タッチ＆ドラッグＡＦ機能の設定を切り替える操作とは、本実施形態では、メニュー画面を開き、該当する設定項目（設定項目１１０２）を選択して設定を切り替える操作である。本実施形態では、タッチ＆ドラッグＡＦの設定として、「絶対（上述の絶対位置指定方式）」と「相対（上述の相対位置指定方式）」とのいずれかを選択可能である。タッチ＆ドラッグＡＦ機能を切り替える操作が行われた場合はＳ６０６に進み、そうでない場合はＳ６０７に進む。

【0107】

Ｓ６０６で、システム制御部５０は、タッチ＆ドラッグＡＦ機能の設定を切り替え、変更された設定内容を不揮発性メモリ５６に記録する。

【0108】

Ｓ６０７で、システム制御部５０は、ＡＦ方式を切り替える操作が操作部７０に対して行われたか否かを判断する。ＡＦ方式を切り替える操作とは、本実施形態では、メニュー画面を開き、該当する設定項目（設定項目１１０１）を選択して設定を切り替える操作である。ＡＦ方式を切り替える操作が行われた場合はＳ６０８に進み、そうでない場合はカメラ設定処理を終了する。なお、本実施形態ではＡＦ方式として顔＋追尾優先ＡＦと一点ＡＦとのいずれかを選択できる例を説明したが、他のＡＦ方式（ゾーンＡＦ、多点ＡＦなど）を設定可能としてもよい。

【0109】

Ｓ６０８で、システム制御部５０は、ＡＦ方式を切り替え、変更された設定内容を不揮発性メモリ５６に記録する。

【0110】

＜タッチ操作応答処理＞
図７に、前述の図５ＡのＳ５１７のタッチ操作応答処理の詳細フローチャートを示す。

【0111】

Ｓ７０１で、システム制御部５０は、Ｓ５０２と同様に視線機能が有効であるか否かを判断する。有効である場合はＳ７０２に進み、そうでない場合（無効である場合）はＳ７０８に進む。

【0112】

Ｓ７０２で、システム制御部５０は、Ｓ５０３と同様に視線が検出されているか否かを判断する。検出されている場合はＳ７０３に進み、そうでない場合はＳ７０８に進む。

【0113】

Ｓ７０３で、システム制御部５０は、視線確定フラグを１に設定する。

【0114】

Ｓ７０４で、システム制御部５０は、視線ポインタを非表示にする。

【0115】

Ｓ７０５で、システム制御部５０は、前述の図１１（ａ）の設定項目１１０２のタッチ＆ドラッグＡＦの設定が相対位置指定方式であるか否かを判断する。相対位置指定方式で
ある場合はＳ７０６に進み、そうでない場合（絶対位置指定方式である場合）はＳ７０７に進む。

【0116】

Ｓ７０６では、システム制御部５０は、視線有効時相対位置指定処理を行う。この処理の詳細は図８を用いて後述する。

【0117】

Ｓ７０７では、システム制御部５０は、絶対値指定処理を行う。この処理の詳細は図１０を用いて後述する。

【0118】

Ｓ７０８で、システム制御部５０は、Ｓ７０５と同様にタッチ＆ドラッグＡＦの設定が相対位置指定方式であるか否かを判断する。相対位置指定方式である場合はＳ７０９に進み、そうでない場合（絶対位置指定方式である場合）はＳ７１０に進む。

【0119】

Ｓ７０９では、システム制御部５０は、視線無効時相対位置指定処理を行う。この処理の詳細は図９を用いて後述する。

【0120】

Ｓ７１０では、システム制御部５０は、絶対位置指定処理を行う。この処理はＳ７０９の処理と同様であり、図１０を用いて後述する。

【0121】

視線機能が有効で（Ｓ７０１－Ｙｅｓ）視線が検出されている場合（Ｓ７０２－Ｙｅｓ）にＳ７０５でタッチ＆ドラッグＡＦの設定が相対位値指定方式であるか否かを判定し、絶対位置指定方式である場合にＳ７０７で絶対位置指定処理を行う例を説明した。しかし、これに限るものではない。視線機能が有効である場合（Ｓ７０１－Ｙｅｓ）、あるいは視線機能が有効でかつ視線が検出されている場合（７０１とＳ７０２の双方でＹｅｓ）の場合は、タッチ＆ドラッグＡＦの設定にかかわらず視線有効時相対位置指定処理を行うようにしてもよい。すなわち、Ｓ７０１がＹｅｓであれば、Ｓ７０２の判定をせずに、Ｓ７０３、Ｓ７０４の処理を行い、その後Ｓ７０５の判定をせずにＳ７０６の処理を行うようにしてもよい。あるいは、Ｓ７０１がＹｅｓで、Ｓ７０２もＹｅｓあれば、Ｓ７０３、Ｓ７０４の処理を行い、その後Ｓ７０５の判定をせずにＳ７０６の処理を行うようにしてもよい。このようにすることで、視線機能を利用できる状態の場合に、視線によって大雑把な位置を指定した後、視線で指定した位置からの続きの微調整をタッチ操作による相対位置指定によって行うことができる。

【0122】

＜視線有効時相対位置指定処理＞
図８に、前述した図７のＳ７０６の視線有効時相対位置指定処理の詳細フローチャートを示す。

【0123】

Ｓ８０１で、システム制御部５０は、ＡＦ方式が「顔＋追尾優先ＡＦ」であるか否かを判定する。「顔＋追尾優先ＡＦ」である場合はＳ８０５に進み、そうでない場合（本実施形態では「一点ＡＦ」の場合）はＳ８０２に進む。

【0124】

Ｓ８０２で、システム制御部５０は、タッチダウンがあった時点で視線入力位置（視線検出部１６０で検出した位置を所定期間分平均化した位置）に一点ＡＦ枠を表示する。これによって、前述の図３（ｂ）の表示から図３（ｄ）の表示に遷移する。

【0125】

Ｓ８０３で、システム制御部５０は、タッチパネル７０ａに対するタッチムーブに応じて一点ＡＦ枠を移動させる。この移動は、相対位置指定方式で行われる。

【0126】

Ｓ８０４では、システム制御部５０は、タッチパネル７０ａからのタッチアップがあったか否かを判定する。タッチアップがあった場合は、アイコン３０３を表示し（これによ
って前述の図３（ｆ）の表示となる）、図８の処理を終了する。タッチアップがない場合はＳ８０３に戻る。

【0127】

Ｓ８０５で、システム制御部５０は、被写体を追尾中か否かを判断する。追尾中である場合はＳ８１０に進み、そうでない場合はＳ８０６に進む。

【0128】

Ｓ８０６で、システム制御部５０は、タッチダウンがあった時点での視線入力位置に、タッチ位置（選択位置）を示すタッチポインタ４０６（第２の大きさの範囲を示す第２のアイテム；小さいポインタ）を表示する。これによって、例えば図４（ｂ）から図４（ｄ）の表示へと遷移する。ここで、視線入力位置は、例えば、視線検出部１６０で検出した位置を所定期間分平均化した位置である。

【0129】

Ｓ８０７で、システム制御部５０は、タッチパネル７０ａに対するタッチムーブ（移動指示操作）に応じて、タッチ位置を示すタッチポインタ４０６を移動させる。この移動は、相対位置指定方式による移動である。これによって、例えば図４（ｄ）から図４（ｅ）へと表示が遷移する。システム制御部５０は、タッチポインタ４０６が表示された後の視線入力に基づかずに、タッチムーブに応じてタッチポインタ４０６の表示位置を移動していると捉えることもできる。

【0130】

Ｓ８０８では、システム制御部５０は、タッチパネル７０ａからのタッチアップがあったか否かを判定する。タッチアップがあった場合はＳ８０９へ進み、そうでない場合はＳ８０７に戻る。

【0131】

Ｓ８０９で、システム制御部５０は、タッチポインタの位置における被写体を選択し、当該被写体の追尾を開始する。この時の選択は、前述の自動選択条件には基づかない。また、アイコン３０３を表示する。これによって、例えば図４（ｅ）から図４（ｇ）のように表示が遷移する。

【0132】

Ｓ８１０で、システム制御部５０は、タッチダウンがあった時点での追尾対象の位置に、タッチ位置（選択位置）を示すタッチポインタ４０６（第２の大きさの範囲を示す第２のアイテム；小さいポインタ）を表示する。

【0133】

Ｓ８１１～Ｓ８１３の処理は、前述のＳ８０６～Ｓ８０９の処理とそれぞれ同様であるため、説明を省略する。

【0134】

なお、本実施形態では、視線有効時にタッチダウンがあった場合に追尾中である場合には視線有力位置ではなく追尾位置にタッチポインタ４０６を表示する例を説明した。しかしこれに限るものではなく、視線が有効であれば、追尾中であるか否かにかかわらず、タッチダウンがあった場合には視線入力位置（視線検出部１６０で検出した位置を所定期間分平均化した位置）にタッチポインタ４０６を表示するようにしてもよい。この場合は、Ｓ８０１でＹｅｓとなった場合に、Ｓ８０５の判定を行わずにＳ８０６へ進むこととなる。

【0135】

また、相対位置指定方式でタッチアップによる被写体追尾を行う場合（Ｓ８０９、Ｓ８１３、後述するＳ９０８、Ｓ９１２）、タッチアップから一定時間経過後に被写体追尾を開始するようにしてもよい。これにより、相対位置指定方式の場合にタッチダウン、タッチムーブ、タッチアップの一連の操作を繰り返し行いながらタッチポインタを移動する場合に、被写体追尾処理が毎回発動しなくなるため、タッチポインタの移動がしやすくなる。

【0136】

＜視線無効時相対位置指定処理＞
図９は、前述した図７のＳ７０９の視線無効時相対位置指定処理の詳細フローチャートである。

【0137】

Ｓ９０１で、システム制御部５０は、ＡＦ方式が「顔＋追尾優先ＡＦ」であるか否かを判断する。「顔＋追尾優先ＡＦ」である場合はＳ９０２に進み、そうでない場合（本実施形態では「一点ＡＦ」の場合）はＳ９０４に進む。

【0138】

Ｓ９０２で、システム制御部５０は、タッチパネル７０ａに対するタッチムーブに応じて一点ＡＦ枠を移動させる。なお、視線入力を検出していなく、かつ相対位置指定方式であるため、タッチダウンに応じては一点ＡＦ枠の位置は移動せず、タッチダウン前に設定されていた一点ＡＦ枠の位置から、タッチムーブに応じた距離だけ、相対位置指定方式で移動する。

【0139】

Ｓ９０３では、システム制御部５０は、タッチパネル７０ａからのタッチアップがあったか否かを判定する。タッチアップがあった場合は図９の処理を終了し、タッチアップがない場合はＳ９０２に戻る。

【0140】

Ｓ９０４では、システム制御部５０は、被写体を追尾中か否かを判断する。追尾中である場合はＳ９０９に進み、そうでない場合はＳ９０５に進む。

【0141】

Ｓ９０５で、システム制御部５０は、ＥＶＦ２９の中央に、タッチ位置（選択位置）を示すタッチポインタ４０６（第２の大きさの範囲を示す第２のアイテム；小さいポインタ）を表示する。

【0142】

Ｓ９０６～Ｓ９１２の処理は、前述した図７のＳ８０７～Ｓ８１３の処理とそれぞれ同様であるため、説明を省略する。

【0143】

＜絶対位置指定処理＞
図１０は、前述した図７のＳ７０７、Ｓ７１０の絶対位置指定処理の詳細フローチャートである。

【0144】

Ｓ１００１で、システム制御部５０は、ＡＦ方式が「顔＋追尾優先ＡＦ」であるか否かを判断する。「顔＋追尾優先ＡＦ」である場合はＳ１００５に進み、そうでない場合（本実施形態では「一点ＡＦ」の場合）はＳ１００２に進む。

【0145】

Ｓ１００２では、システム制御部５０は、タッチダウンされた際のタッチ位置（タッチダウン位置）に対応するＥＶＦ２９上の位置に、一点ＡＦ枠を表示する。

【0146】

Ｓ１００３では、システム制御部５０は、タッチムーブに応じて、タッチムーブ後のタッチ位置に対応するＥＶＦ２９上の位置に、一点ＡＦ枠を移動させる。この移動は絶対位置指定方式で行われ、移動後の一点ＡＦ枠の位置は、タッチムーブの距離や方向に基づくものではなく、最新のタッチ位置に対応する位置となる。

【0147】

Ｓ１００４では、システム制御部５０は、タッチパネル７０ａからのタッチアップがあったか否かを判定し、タッチアップがあった場合には図１０の処理を終了し、そうでない場合にはＳ１００３に戻る。

【0148】

Ｓ１００５では、システム制御部５０は、タッチダウンされた際のタッチ位置（タッチダウン位置）に対応するＥＶＦ２９上の位置に、タッチポインタ４０６を表示する。

【0149】

Ｓ１００６では、システム制御部５０は、タッチムーブに応じて、タッチムーブ後のタッチ位置に対応するＥＶＦ２９上の位置に、タッチポインタ１００６を移動させる。この移動は絶対位置指定方式で行われ、移動後のタッチポインタ１００６の位置は、タッチムーブの距離や方向に基づくものではなく、最新のタッチ位置に対応する位置となる。

【0150】

Ｓ１００７では、システム制御部５０は、タッチパネル７０ａからのタッチアップがあったか否かを判定する。タッチアップがあった場合はＳ１００８へ進み、そうでない場合はＳ１００６に戻る。

【0151】

Ｓ１００８で、システム制御部５０は、タッチポインタの位置における被写体を選択し、当該被写体の追尾を開始する。また、アイコン３０３を表示して、図１０の処理を終了する。

【0152】

以上説明した本実施形態によれば、ユーザが視線入力を行う場合に大きいポインタを表示して大まかに被写体を選択して、タッチ操作を行う場合に小さいポインタを表示して細かい位置の指定を行うことができる。これにより、ユーザの視線入力とタッチ操作を用いて位置を指定する場合に、ユーザの意図した位置を容易に指定することができる。

【0153】

なお、上述の実施形態では、タッチ操作に応じて小さいポインタ（タッチポインタ）を表示する例を説明したが、これに限るものではない。ＭＣ６５や４方向キー７４といった操作部材への操作に応じても微調整するための位置の指定が可能である。従って、視線ポインタによって粗く位置指定を行った状態で、ＭＣ６５や４方向キー７４に対する操作があったことに応じて、視線ポインタに変えて、微調整用の位置指定ポインタ（第２の大きさのポインタ）を表示するようにしてもよい。そして、この微調整用の位置指定ポインタをＭＣ６５や４方向キー７４に対する操作移動させることで、位置指定の微調整が行えるようにしてもよい。

【0154】

なお、視線確定フラグの解除条件は、上記の例に限定されない。Ｓ５３０で撮影処理を一回行った後に、自動的に視線確定フラグを０にリセットするようにしてもよい。また、視線確定フラグを１にしたと同時に視線機能（視線ＡＦの設定）を「無効」にして、ユーザの任意のタイミング（Ｓ６０２において視線機能を有効にしたタイミング）で視線フラグを０に戻してもよい。また第１シャッターボタン６２をオフにした後（シャッターボタン６１の半押しを解除した後）、一定時間経過後に、自動的に視線フラグを０に戻してもよい。

【0155】

また、タッチ操作後にポインタを小さくする例を述べたが、どの程度小さくするかについても、カメラ設定やユースケースに応じて変更してもよい。例えば、サーボＡＦモード（第２のＡＦモード）の場合に、視線ポインタまたはタッチポインタの大きさをワンショットＡＦモード（第１のＡＦモード）時よりも大きくしてもよい。ここで、サーボＡＦモードは、ＡＦ枠の位置で継続してＡＦを実行し続けるコンティニュアスＡＦを行うモードである。動きのある被写体を撮影するときに利用すると好適である。ワンショットＡＦモードは、一度ＡＦしたら、再度ＡＦの指示が無い限りはＡＦ処理を停止（フォーカスをロック；ピント位置を固定）するＡＦ処理のモードである。具体的には、サーボＡＦモードであって、視線入力時にタッチ操作が行われていない場合には、視線入力に基づく位置に、上述の視線ポインタ３１０よりも大きいポインタ（第１の大きさよりも大きい第３の大きさの範囲を示す第３のアイテム）を表示する。このようにすれば、ＡＦを合わせたい被写体が動体で、狭い範囲に留まっていない場合でも、より大きい視線ポインタに収めればよいので、視線によって所望の被写体を指定しやすくなる。また、視線ポインタを表示している状態でＡＦ処理を実行する場合にサーボＡＦモードでＡＦ処理を実行し、タッチポ
インタを表示している状態でＡＦ処理を実行する場合にワンショットＡＦモードでＡＦを実行してもよい。

【0156】

また、ＡＦ方式が顔＋追尾優先ＡＦではなく、ゾーンＡＦに設定されている場合に、視線ポインタをゾーンＡＦ処理におけるゾーンの大きさ相当に大きくしてもよい。すなわち、ゾーンＡＦで表示される視線ポインタの大きさを、顔＋追尾優先ＡＦで表示される第１の大きさよりも大きい第４の大きさにしてもよい。ここで、ゾーンＡＦは、動体の撮影に適したＡＦ方式であり、大きめのゾーンをユーザーが設定した位置に設定し、そのソーンの中で自動選択条件に合致する被写体をＡＦ対象とする方式である。

【0157】

上述の実施形態では、タッチ操作に応じて、ＡＦ処理を実行する範囲を変更する（小さくする）例を説明したが、被写体を検出する領域の大きさや、検出する被写体の種別をタッチ操作に応じて変更してもよい。例えば、視線ポインタを表示している状態でＡＦ処理を実行する場合には検出した顔に対してＡＦ処理を実行し、タッチポインタを表示している状態でＡＦ処理を実行する場合に検出した瞳に対してＡＦ処理を実行してもよい。

【0158】

なお、視線ポインタからタッチポインタへの表示の切替があった場合に、タッチポインタを表示する位置については、上記に限定されない。例えば、視線ポインタ内で検出した被写体の位置にタッチポインタを表示してもよい。

【0159】

＜変形例１＞
上述の実施形態では、デジタルカメラ１００での被写体選択時に、視線入力時にタッチ操作が行われていない場合に視線ポインタ（大きいポインタ）を表示し、タッチ操作が行われている場合にタッチポインタ（小さいポインタ）を表示する例について説明した。しかし、被写体の選択に限るものではなく、他の目的の位置指定にも本願は適用可能である。すなわち、被写体選択とは異なる位置指定操作においても、次のような位置の選択が可能である。視線入力時に、操作部材（例えばタッチパネル）への操作が行われていない場合に、大きなポインタ（インジケーター）を表示し、大きなポインタを視線入力にしたがって移動することで粗く位置指定を行う。そして、視線入力で粗く位置指定した範囲内で、自動選択条件に基づき、細かい位置を指定する。そして、操作部材（例えばタッチパネル）への操作が行われている場合には、大きなポインタから小さなポインタへ表示を切り替え、小さいポインタ（インジケーター）を操作部材への操作にしたがって移動することで細かく位置指定を行う。

【0160】

図１２（ａ）～図１２（ｃ）に、被写体選択とは異なる位置指定操作の例（変形例）として、文字列の中での文字の挿入位置の選択操作に本願を適用した場合の表示例を示す。

【0161】

図１２（ａ）に、「Ｔｈｉｓ ｉｓ ｔｈｅ ｐｉｅｌ．」という入力済みの文字列の中から、文字を挿入する位置を視線入力を用いて選択する場合の表示例を示す。視線入力位置を基準とする所定範囲に視線ポインタ１２００（視線入力位置に追従する）が表示される。この状態で、視線確定操作（視線による位置の指定の実行を指示する操作）が行われると、視線ポインタ１２００によって示される範囲内で、自動選択条件に基づいて、文字の挿入位置が決定される。本変形例では、自動選択条件は「単語と単語の間の文節のうち、視線入力位置に最も近い位置」という条件である。「Ｔｈｉｓ ｉｓ ｔｈｅ ｐｉｅｌ．」という文字列においては、図示のように、文節１２０１～１２０３の文節が検出される。図１２（ａ）の位置に視線ポインタ１２００がある状態で視線確定操作が行われると、視線ポインタ１２００に含まれる文節１２０３が選択され、その後の文字入力操作によってこの位置に文字を挿入することができる。視線ポインタ１２００がある状態での視線確定操作に応じた位置指定では、単語内の位置は選択できない。例えば、図１２（ａ）の状態で単語「ｐｉｅｌ」の内部の「ｉ」と「ｅ」の間の位置は選択できない。これは
、前述のように視線入力位置を用いた細かい位置の指定は人間の特性上困難であるため、文字挿入を行う可能性が高い文節に挿入位置を限定することで、意図しない位置を選択してしまうことを低減するためである。このように、文字を挿入したい位置を見るだけで、素早く簡単に文字挿入位置を選択することができる。また、図１２（ａ）の状態でＭＣ６５や４方向キー７４に対する操作などの、操作部材による位置指定操作が行われると、視線ポインタ１２００が非表示となり、視線入力位置に挿入位置カーソル１２１０が表示される。そして、挿入位置カーソル１２１０が表示された位置から操作部材による操作に応じて挿入位置カーソル１２１０の位置を移動（微調整）可能である。

【0162】

図１２（ｂ）に、図１２（ａ）の状態でＭＣ６５や４方向キー７４に対する操作などがあった場合の表示例を示す。視線ポインタ１２００は非表示となり、単語「ｐｉｅｌ」の内部の「ｉ」と「ｅ」の間の位置に挿入位置カーソル１２１０が表示されている。挿入位置カーソル１２１０は挿入位置を示す第２の大きさのポインタ（インジケーター）であり、第１の大きさである視線ポインタ１２００よりも小さい。挿入位置カーソル１２１０は図示のように単語内部の各文字の間の位置を指定可能であり、位置１２１１～位置１２１５といった位置に、ＭＣ６５や４方向キー７４に対する操作に応じて任意に移動させることができる。例えば、図１２（ｂ）の位置に挿入位置カーソル１２１０が位置している状態で「ｘ」という文字を挿入すると、図１２（ｃ）のように、「Ｔｈｉｓ ｉｓ ｔｈｅ
ｐｉｘｅｌ．」といったように文字列を修正することができる。

【0163】

＜変形例２＞
上述の実施形態で説明したような例だけでなく、さらに、被写体や指定対象を素早く正確に選択することが要求される状況下において、本願発明を適用することが可能である。例えば、ヘッドマウントディスプレイ（ＨＭＤ）を含むヘッドセットを装着したユーザーが、ＶＲ（Ｖｉｒｔｕａｌ Ｒｅａｌｉｔｙ）画像に表示される仮想のキャラクターなどの対象を選択する際にも適用可能である。視線入力時に操作部材（例えばタッチパネルやタッチ操作と押下可能な光学トラッキングポインター）への操作が行われていない場合に、大きなポインタ（インジケーター）を表示し、大きなポインタを視線入力にしたがって移動することで粗く位置指定を行う。そして、視線入力で粗く位置指定を行った範囲内で自動選択条件に基づき、細かい位置を指定する。そして、操作部材への操作が行われている場合には、大きなポインタから小さなポインタ（インジケーター）へ表示を切り替え、小さいポインタ（インジケーター）を操作部材への操作にしたがって移動することで細かく位置指定を行う。

【0164】

図１３（ａ）～図１３（ｃ）にヘッドセット１３００と、操作部材であるゲームコントローラー１３２０の外観図を示す。

【0165】

図１３（ａ）、図１３（ｂ）にヘッドセット１３００の外願図を示す。ヘッドセット１３００は主にＨＭＤ１３１０からなり、本変形例２ではＨＭＤ１３１０はパーソナルコンピューターなどと接続せず、単体で使用できるＶＲ機器（スタンドアロン型のＶＲ－ＨＭＤ）である。ＨＭＤ１３１０の中に、図２に示すシステム制御部５０や視線検出部１６０などの本実施形態を適用するために必要なものが内蔵される。

【0166】

図１３（ｃ）にゲームコントローラー１３２０を示す。ゲームコントローラー１３２０はＨＭＤ１３１０に表示されるゲーム画面１４００（後述）の表示のための指示の受け付けなどを行う。ゲームコントローラー１３２０は、グリップ部１３２１、タッチ可能部分を備えた押下可能な操作部材であるマルチボタン１３２２、ＳＥＴボタン７５を備える。グリップ部１３２１は上述のデジタルカメラ１００のグリップ部９０と同様に、ユーザーがゲームコントローラー１３２０を把持しやすい構造・材質である。マルチボタン１３２２にはゲーム画面１４００に表示されるポインタの移動を指示する機能など、様々な機能
を割り当てることができる。本変形例２では、マルチボタン１３２２はタッチ操作と押し込み操作の両方を受け付けることが可能な操作部材である。マルチボタン１３２２に搭載のタッチ操作部材は、上述したようなタッチ検出機構でもよいし、赤外線式センサーでもよい。マルチボタン１３２２の内部に赤外線式センサーを搭載し、マルチボタン１３２２の上部（ユーザーの指が触れる部分）に赤外線を照射する。ユーザーがマルチボタン１３２２の上部に触れると、赤外線がユーザーの指で反射し、この反射光を検出することでユーザーの指の動きを検出することができる。このような光学式の操作部材を、光学トラッキングポインター（ＯＴＰ）と称するものとする。ＯＴＰはタッチパネル７０ａと同様、ＯＴＰに対するユーザーの指（操作体）の動きである移動操作を検出することができる。なお、マルチボタン１３２２はＯＴＰに限らず、ＭＣ６５や４方向機キー７４、ジョイスティックのように方向指示部材でもよい。なお、ＨＭＤ１３１０とゲームコントローラー１３２０とは、有線で接続してもよいしＢｌｕｅｔｏｏｔｈ等の無線通信で接続してもよい。

【0167】

図１４（ａ）～図１４（ｆ）に、アクションゲームでの攻撃対象を指定する位置指定操作の例（変形例）において、ＨＭＤ１３１０に表示されるゲーム画面の表示例を示す。

【0168】

図１４（ａ）は、ヘッドセット１３００を装着してアクションゲームをプレイしているユーザーに対して、複数の攻撃対象１４０１～１４０４が、仮想的に近づいてきている状態を表示するゲーム画面の表示例である。このとき、視線検出部１６０で検出したユーザーの視線に対応する位置に視線ポインタ１４１０が表示されている。そして、ユーザーの視線の移動にしたがって、視線ポインタ１４１０が、図１４（ａ）で示された位置から図１４（ｂ）で示された位置に移動する。その後、操作部材を用いて視線確定操作（具体的にはマルチボタン１３２２の押し込みやＳＥＴボタン７５の押下）が行われると、自動選択条件に基づいて、視線ポインタ１４１０によって示される範囲内で攻撃対象のキャラクターが決定される。本変形例２では、自動選択条件は「視線ポインタの範囲内のうち、ユーザーに最も近い対象」という条件とする。

【0169】

図１４（ｂ）のように攻撃対象１４０１～１４０４がゲーム画面に存在する状態で視線確定操作が行われると対象枠１４１１が表示される。具体的には、自動選択条件により、視線ポインタ１４１０の範囲内に存在する対象１４０１～１４０３のうち、仮想的にユーザーに最も近づいている対象１４０１が選択され、対象枠１４１１が表示される（図１４（ｃ））。これにより、ユーザーはその視線を移動することによって対象枠１４１１が表示されている対象１４０１を選択して攻撃を行うことができる。しかし、ユーザーが実際に攻撃したいキャラクターは、自動選択された対象１４０１ではなく、視線ポインタ１４１０の範囲に含まれる他のキャラクター（例えば、対象１４０２）の場合がある。

【0170】

図１４（ｄ）に、図１４（ｂ）の状態でＭＣ６５や４方向キー７４、マルチボタン１３２２のＯＴＰへのタッチ操作などがあった場合の表示例を示す。視線ポインタ１４１０は非表示となり、タッチポインタ１４１２が表示されている。タッチポインタ１４１２は図４のタッチポインタ４０６と同様のものとする。タッチポインタ１４１２は視線ポインタ１４１０よりも小さい。このような表示にすることにより、ユーザーは視線ポインタ１４１０で大まかな対象（位置）を指定したあとに、細かな対象の指定（微調整）が可能である。

【0171】

図１４（ｅ）に、図１４（ｄ）の状態からユーザーがマルチボタン１３２２やＭＣ６５への操作によってタッチポインタ１４１２を対象１４０２の付近に移動させた場合の表示例を示す。ユーザーは視線によって大まかな位置の指定を行っているため、図１４（ｄ）に示す位置から図１４（ｅ）に示す位置までの距離は短く、タッチポインタ１４１２を移動させるために、多くの操作や時間を要しない。

【0172】

図１４（ｆ）に、図１４（ｅ）の状態でマルチボタン１３２２の押し込みもしくはタッチアップを行った場合の表示例を示す。マルチボタン１３２２への押し込み直前のタッチポインタ１４１２の表示位置に基づいて対象枠１４１３が表示・設定され、対象１４０２が攻撃対象として選択されたことがわかる。

【0173】

例えば、ユーザーの至近側にいる対象の優先度を上げて攻撃対象として選択することは、攻撃が成功する可能性が高くなるため合理的である。しかし、例えば図１４（ａ）に表示する時点では、最も遠くにいる対象１４０２は、近くにいる対象１４０１に比べて、攻撃が成功する可能性は低いが、攻撃が成功した場合のポイントが高いことがある。このような状況においては、攻撃対象として選択したいキャラクターはユーザーの戦略に応じて異なる。そこで、ユーザーの視線にしたがって素早く大雑把に範囲を指定したあと、ユーザーによる移動／タッチ操作によって微調整を行うことで、ユーザー所望の対象を正確に選択することができる。ユーザーの視線により大雑把に範囲を指定できているため、微調整のための移動量／タッチ操作量が少なくて済み、素早く対象を選択することが可能である。このように、素早く正確に、ユーザーが所望する位置（対象）を指定することが可能である。

【0174】

本変形例２では、攻撃対象として１つの対象を指定することを前提としていたが、一度に複数の対象を指定できてもよい。例えば、図１４（ｂ）の視線ポインタ１４１０が表示された時点で、確定機能を有する操作が行われた場合は、視線ポインタ１４１０の範囲内から個別に対象を選択するのではなく、視線ポインタ１４１０の範囲内の対象を全て選択するようにしてもよい。すなわち、対象１４０１のみではなく、対象１４０１～対象１４０３の複数対象を選択するようにしてもよい。ここで、確定機能を有する操作は、視線確定操作ではなく決定ボタンなどの別の操作が挙げられる。なお、視線ポインタ１４１０は、表示部に表示される対象のうち、複数の対象を包含可能な範囲を示すアイテムであると捉えることもできる。

【0175】

また、対象枠１４１１、タッチポインタ１４１２、対象枠１４１３の表示形態は図１４（ａ）～図１４（ｆ）に示すような表示に限らない。対象１４０１や対象１４０２が選択されていること、現在タッチ操作でポインタの操作が行えることが視認できる表示であればよい。例えば、対象１４０１や対象１４０２のシルエットに沿ってハイライト表示がされたり、枠表示が点滅したり、枠表示の表示色が視線ポインタ１４１０と異なるものにしてもよい。タッチポインタ１４１２は円枠表示に限らず円の内部を塗りつぶした表示でも良いし、円でなく視線ポインタ１４１０や対象枠１４１１のように四角枠で表示し、視線ポインタ１４１０や対象枠１４１１とは異なる表示色で表示するようにしてもよい。なお、タッチポインタ１４１２は、表示部に表示される対象のうち、１つを包含可能な範囲を示すアイテムであると捉えることもできる。

【0176】

また、上述した実施形態においては、本発明をデジタルカメラに適用した場合を例にして説明したが、これはこの例に限定されず、視線入力および操作部材に対する操作によって位置を指定可能な電子機器であれば適用可能である。すなわち、本発明はパーソナルコンピュータやＰＤＡ、携帯電話端末や携帯型の画像ビューワ、ヘッドマウントディスプレイなどに適用可能である。また、本発明は、デジタルフォトフレーム、音楽プレーヤー、ゲーム機、電子ブックリーダー、タブレット端末、スマートフォン、投影装置、ディスプレイを備える家電装置や車載装置などに適用可能である。例えば、ＰＣにおけるソフトキーボードにおいて、キー操作では一つ一つの文字を入力するが、視線で入力を行う場合は、複数の単語の候補から所望なものを選択する、という適用の形態としてもよい。

【0177】

本発明は、以下の処理を実行することによっても実現される。即ち、上述の実施形態の
機能を実現するソフトウェア（プログラム）をネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ（又はＣＰＵやＭＰＵ等）がプログラムコードを読み出して実行する処理である。この場合、そのプログラム、及び該プログラムを記憶した記憶媒体は本発明を構成することになる。

【0178】

なお、ＣＰＵが行うものとして説明した上述の各種制御は、１つのハードウェアが行ってもよいし、複数のハードウェアが処理を分担することで、装置全体の制御を行ってもよい。

【0179】

また、本発明をその好適な実施形態に基づいて詳述してきたが、本発明はこれら特定の実施形態に限られるものではなく、この発明の要旨を逸脱しない範囲の様々な形態も本発明に含まれる。さらに、上述した各実施形態は本発明の一実施形態を示すものにすぎず、各実施形態を適宜組み合わせることも可能である。

【0180】

（その他の実施形態）
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。

【符号の説明】

【0181】

１００：デジタルカメラ ５０：システム制御部 １６０：視線検出部

【図1】

【図2】

【図3】

【図4】

【図5A】

【図5B】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】