知財求人 - 知財ポータルサイト「IP Force」
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2024170166
(43)【公開日】2024-12-06
(54)【発明の名称】電子機器および電子機器の制御方法
(51)【国際特許分類】
H04N 23/63 20230101AFI20241129BHJP
G03B 17/20 20210101ALI20241129BHJP
G06F 3/01 20060101ALI20241129BHJP
G06F 3/04812 20220101ALI20241129BHJP
【ＦＩ】
H04N23/63 300
G03B17/20
G06F3/01 510
G06F3/04812
【審査請求】未請求
【請求項の数】17
【出願形態】ＯＬ
(21)【出願番号】P 2023087182
(22)【出願日】2023-05-26
(71)【出願人】
【識別番号】000001007
【氏名又は名称】キヤノン株式会社
(74)【代理人】
【識別番号】110002860
【氏名又は名称】弁理士法人秀和特許事務所
(72)【発明者】
【氏名】高梨 豪也
【テーマコード（参考）】
2H102
5C122
5E555
【Ｆターム（参考）】
2H102AA71
2H102BA01
2H102BB02
2H102BB26
2H102CA34
5C122DA01
5C122EA47
5C122FA07
5C122FA11
5C122FD01
5C122FD13
5C122FH10
5C122FH11
5C122FH14
5C122FK37
5C122FK40
5C122FK41
5C122GA01
5C122HA13
5C122HA35
5C122HA46
5C122HA75
5C122HA76
5C122HA86
5C122HA88
5C122HB01
5C122HB05
5C122HB06
5C122HB10
5E555AA08
5E555AA12
5E555AA22
5E555BA02
5E555BA05
5E555BA06
5E555BA18
5E555BB02
5E555BB05
5E555BB06
5E555BB18
5E555BC04
5E555BE10
5E555CA41
5E555CA42
5E555CB45
5E555CB65
5E555CC05
5E555DB06
5E555DB18
5E555DC13
5E555EA22
5E555FA00
(57)【要約】
【課題】視線位置の表示と画像の視認性の確保とを両立させる電子機器を提供する。
【解決手段】電子機器は、撮像された画像を見るユーザーの視線位置の情報を取得する取得手段と、前記ユーザーの視線位置に基づいて、前記ユーザーの視線が向けられた被写体を推定する推定手段と、前記画像の撮像の状況および前記画像に含まれる被写体の状況の少なくとも一方に基づいて、前記推定手段によって推定された被写体を示す第１アイテムを表示するか否かを制御する制御手段とを有することを特徴とする。
【選択図】図８Ａ
【解決手段】電子機器は、撮像された画像を見るユーザーの視線位置の情報を取得する取得手段と、前記ユーザーの視線位置に基づいて、前記ユーザーの視線が向けられた被写体を推定する推定手段と、前記画像の撮像の状況および前記画像に含まれる被写体の状況の少なくとも一方に基づいて、前記推定手段によって推定された被写体を示す第１アイテムを表示するか否かを制御する制御手段とを有することを特徴とする。
【選択図】図８Ａ
【特許請求の範囲】
【請求項1】
撮像された画像を見るユーザーの視線位置の情報を取得する取得手段と、
前記ユーザーの視線位置に基づいて、前記ユーザーの視線が向けられた被写体を推定する推定手段と、
前記画像の撮像の状況および前記画像に含まれる被写体の状況の少なくとも一方に基づいて、前記推定手段によって推定された被写体を示す第１アイテムを表示するか否かを制御する制御手段と
を有することを特徴とする電子機器。
前記ユーザーの視線位置に基づいて、前記ユーザーの視線が向けられた被写体を推定する推定手段と、
前記画像の撮像の状況および前記画像に含まれる被写体の状況の少なくとも一方に基づいて、前記推定手段によって推定された被写体を示す第１アイテムを表示するか否かを制御する制御手段と
を有することを特徴とする電子機器。
【請求項2】
前記制御手段は、前記ユーザーの視線位置が前記画像に含まれる被写体から離れた位置に存在する場合に、前記ユーザーの視線位置を示す第２アイテムを表示するように制御する
ことを特徴とする請求項１に記載の電子機器。
ことを特徴とする請求項１に記載の電子機器。
【請求項3】
前記制御手段は、
前記ユーザーが前記推定手段によって推定された被写体に注目している場合、
前記画像の撮像範囲が変化した場合、または
前記画像を撮像する撮像装置の姿勢が変化した場合に、
前記第１アイテムを表示するように制御する
ことを特徴とする請求項１に記載の電子機器。
前記ユーザーが前記推定手段によって推定された被写体に注目している場合、
前記画像の撮像範囲が変化した場合、または
前記画像を撮像する撮像装置の姿勢が変化した場合に、
前記第１アイテムを表示するように制御する
ことを特徴とする請求項１に記載の電子機器。
【請求項4】
前記制御手段は、所定の時間における前記ユーザーの視線位置の移動量が第１閾値より小さい場合、または所定の時間におけるまばたきの回数が第２閾値より小さい場合に、前記ユーザーが前記推定手段によって推定された被写体に注目していると判定する
ことを特徴とする請求項３に記載の電子機器。
ことを特徴とする請求項３に記載の電子機器。
【請求項5】
前記制御手段は、ズーム操作が行われた場合、前記ズーム操作による焦点距離の変化量が第３閾値より大きい場合、または前記ズーム操作によるズーム倍率の変化量が第４閾値より大きい場合に、前記画像の撮像範囲が変化したと判定する
ことを特徴とする請求項３に記載の電子機器。
ことを特徴とする請求項３に記載の電子機器。
【請求項6】
前記制御手段は、パン操作もしくはチルト操作が行われた場合、または前記パン操作もしくは前記チルト操作による撮像範囲の移動量が第５閾値より大きい場合に、前記画像の撮像範囲が変化したと判定する
ことを特徴とする請求項３に記載の電子機器。
ことを特徴とする請求項３に記載の電子機器。
【請求項7】
前記制御手段は、前記ユーザーの視線位置の情報が取得された状態で前記撮像装置の姿勢が変化したか否かを判定する
ことを特徴とする請求項３に記載の電子機器。
ことを特徴とする請求項３に記載の電子機器。
【請求項8】
前記制御手段は、
前記画像に含まれる被写体の数が変化した場合、
前記画像に含まれる被写体の数が２つ以上である場合、
前記推定手段によって推定された被写体が加速または減速する動作をしている場合、または
前記推定手段によって推定された被写体が合焦状態でない場合に、
前記第１アイテムを表示するように制御する
ことを特徴とする請求項１に記載の電子機器。
前記画像に含まれる被写体の数が変化した場合、
前記画像に含まれる被写体の数が２つ以上である場合、
前記推定手段によって推定された被写体が加速または減速する動作をしている場合、または
前記推定手段によって推定された被写体が合焦状態でない場合に、
前記第１アイテムを表示するように制御する
ことを特徴とする請求項１に記載の電子機器。
【請求項9】
前記被写体の数は、前記画像に含まれる被写体のうち所定の種別の被写体の数である
ことを特徴とする請求項８に記載の電子機器。
ことを特徴とする請求項８に記載の電子機器。
【請求項10】
前記被写体の数は、前記推定手段によって推定された被写体を含む所定の範囲で検出される被写体の数である
ことを特徴とする請求項８に記載の電子機器。
ことを特徴とする請求項８に記載の電子機器。
【請求項11】
前記所定の範囲は、前記画像を撮像する際の焦点距離、撮影距離、撮影モード情報および前記推定手段によって推定された被写体の大きさのうちの少なくともいずれかに基づいて決定される
ことを特徴とする請求項１０に記載の電子機器。
ことを特徴とする請求項１０に記載の電子機器。
【請求項12】
前記制御手段は、前記推定手段によって推定された被写体が合焦状態であり、前記合焦状態の被写体とは異なる被写体に対して、前記ユーザーの視線位置が検出された場合に、前記第１アイテムを表示するように制御する
ことを特徴とする請求項８に記載の電子機器。
ことを特徴とする請求項８に記載の電子機器。
【請求項13】
前記制御手段は、前記ユーザーの視線位置の情報の取得に失敗した場合、
前記画像の前に撮像された画像に対して前記第１アイテムを表示していなかった場合は、前記画像に対しても前記第１アイテムを表示せず、
前記画像の前に撮像された画像に対して前記第１アイテムを表示していた場合は、前記画像に対し、前記画像の前に撮像された画像と同じ位置に前記第１アイテムを表示する、
ように制御する
ことを特徴とする請求項１に記載の電子機器。
前記画像の前に撮像された画像に対して前記第１アイテムを表示していなかった場合は、前記画像に対しても前記第１アイテムを表示せず、
前記画像の前に撮像された画像に対して前記第１アイテムを表示していた場合は、前記画像に対し、前記画像の前に撮像された画像と同じ位置に前記第１アイテムを表示する、
ように制御する
ことを特徴とする請求項１に記載の電子機器。
【請求項14】
前記制御手段は、前記ユーザーの視線位置の情報の取得に失敗し、前記画像に対して前記第１アイテムを表示する場合、前記ユーザーの視線位置の情報の取得に成功した場合とは異なる態様で前記第１アイテムを表示する
ことを特徴とする請求項１３に記載の電子機器。
ことを特徴とする請求項１３に記載の電子機器。
【請求項15】
撮像された画像を見るユーザーの視線位置の情報を取得する取得ステップと、
前記ユーザーの視線位置に基づいて、前記ユーザーの視線が向けられた被写体を推定する推定ステップと、
前記画像の撮像の状況および前記画像に含まれる被写体の状況の少なくとも一方に基づいて、前記推定ステップで推定された被写体を示す第１アイテムを表示するか否かを制御する制御ステップと
を有することを特徴とする電子機器の制御方法。
前記ユーザーの視線位置に基づいて、前記ユーザーの視線が向けられた被写体を推定する推定ステップと、
前記画像の撮像の状況および前記画像に含まれる被写体の状況の少なくとも一方に基づいて、前記推定ステップで推定された被写体を示す第１アイテムを表示するか否かを制御する制御ステップと
を有することを特徴とする電子機器の制御方法。
【請求項16】
コンピュータを、請求項１～１４のいずれか１項に記載の電子機器の各手段として機能させるためのプログラム。
【請求項17】
コンピュータを、請求項１～１４のいずれか１項に記載の電子機器の各手段として機能させるためのプログラムを格納したコンピュータが読み取り可能な記憶媒体。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、電子機器および電子機器の制御方法に関する。
【背景技術】
【0002】
従来、ファインダー視野内を覗くユーザーの視線位置を検出する機能を搭載した撮像装置が提供されている。また近年では、撮影光学系を通過した光束を受光する撮像素子で取得された画像を表示することが可能な電子ビューファインダを有する撮像装置が提供されている。電子ビューファインダを有する撮像装置は、さまざまな種類の被写体を認識し検出することが可能である。このような撮像装置は、検出した視線位置の情報、および取得した画像での被写体の認識結果に基づいて、ユーザーの意思を反映した被写体位置で、焦点検出制御を行うことが可能である。
【0003】
特許文献１は、オートフォーカス（以下、ＡＦと呼ぶ）機能の状況に応じて、視線検出を優先したい場合と、ファインダー内の表示を優先したい場合とで視線位置の表示状態を好適に制御する技術を開示している。特許文献２は、ファインダー内におけるユーザーの視線が所定時間以上停留することで対応する機能を起動させる場合に、視線の停留を判別するための所定時間を適切に設定する技術を開示している。
【先行技術文献】
【特許文献】
【0004】
【特許文献1】特開２０２１－１３１４４１号公報
【特許文献2】特開平０９－０１５４８３号公報
【発明の概要】
【発明が解決しようとする課題】
【0005】
しかしながら、実際の撮影シーンでは、視線位置およびＡＦ枠などの表示は、視認性およびユーザーの操作性などを考慮して適切に制御されることが好ましい。例えば、視線位置の情報をＡＦ対象領域（ＡＦ枠）の確定に採用する場合、ＡＦ枠を表示するまでの視線の停留時間をあらかじめ設定しても、ＡＦ枠の表示状態は、ユーザーにとって適時に変更されるとは限らない。
【0006】
そこで、本発明は、視線位置の表示と画像の視認性の確保とを両立させる電子機器を提供することを目的とする。
【課題を解決するための手段】
【0007】
本発明の第１の態様は、撮像された画像を見るユーザーの視線位置の情報を取得する取得手段と、前記ユーザーの視線位置に基づいて、前記ユーザーの視線が向けられた被写体を推定する推定手段と、前記画像の撮像の状況および前記画像に含まれる被写体の状況の少なくとも一方に基づいて、前記推定手段によって推定された被写体を示す第１アイテムを表示するか否かを制御する制御手段とを有することを特徴とする電子機器である。
【0008】
本発明の第２の態様は、撮像された画像を見るユーザーの視線位置の情報を取得する取得ステップと、前記ユーザーの視線位置に基づいて、前記ユーザーの視線が向けられた被写体を推定する推定ステップと、前記画像の撮像の状況および前記画像に含まれる被写体の状況の少なくとも一方に基づいて、前記推定ステップで推定された被写体を示す第１アイテムを表示するか否かを制御する制御ステップとを有することを特徴とする電子機器の制御方法である。
【0009】
本発明の第３の態様は、コンピュータを、上述した電子機器の各手段として機能させるためのプログラムである。本発明の第４の態様は、コンピュータを、上述した電子機器の各手段として機能させるためのプログラムを格納したコンピュータが読み取り可能な記憶媒体である。
【発明の効果】
【0010】
本発明によれば、視線位置の表示と画像の視認性の確保とを両立させる電子機器を提供することができる。
【図面の簡単な説明】
【0011】
【図1】カメラの外観の一例を示す図である。
【図2】カメラの内部構成の一例を示す図である。
【図3】カメラ内の電気的構成の一例を示すブロック図である。
【図4】ファインダー内視野の表示例を示す図である。
【図5】視線検出方法の原理を説明するための図である。
【図6】眼画像を示す図である。
【図7】視線検出処理のフローチャートである。
【図8A】アイコン表示制御処理を例示するフローチャートである。
【図8B】撮像状況に基づくアイコン表示判定処理のフローチャートである。
【図8C】被写体状況に基づくアイコン表示判定処理のフローチャートである。
【図9】被写体の動き情報について説明する図である。
【図10】視線位置を示すアイコンについて説明する図である。
【図11】ズーム操作に基づくアイコン表示について説明する図である。
【図12】カメラの姿勢変化に基づくアイコン表示について説明する図である。
【図13】被写体数の変化に基づくアイコン表示について説明する図である。
【図14】被写体の動き情報に基づくアイコン表示について説明する図である。
【図15】実施形態２に係るアイコン表示判定処理のフローチャートである。
【図16】フォーカスロック状態でのアイコン表示について説明する図である。
【図17】ピント追従状態でのアイコン表示について説明する図である。
【図18】他の電子機器の外観図である。
【発明を実施するための形態】
【0012】
［実施形態１］
以下、添付の図面を参照して本発明の実施形態について説明する。
以下、添付の図面を参照して本発明の実施形態について説明する。
【0013】
＜構成の説明＞
図１（ａ），１（ｂ）～図３を参照してカメラの構成の例を説明する。図１（ａ），１（ｂ）は、実施形態に係るカメラ１（デジタルスチルカメラ；レンズ交換式カメラ）の外観の一例を示す。図１（ａ）は正面斜視図であり、図１（ｂ）は背面斜視図である。図１（ａ）に示すように、カメラ１は、撮影レンズユニット１Ａおよびカメラ筐体１Ｂを有する。カメラ筐体１Ｂには、ユーザー（撮影者）からの撮影操作を受け付け可能な操作部材であるレリーズボタン５が配置されている。
図１（ａ），１（ｂ）～図３を参照してカメラの構成の例を説明する。図１（ａ），１（ｂ）は、実施形態に係るカメラ１（デジタルスチルカメラ；レンズ交換式カメラ）の外観の一例を示す。図１（ａ）は正面斜視図であり、図１（ｂ）は背面斜視図である。図１（ａ）に示すように、カメラ１は、撮影レンズユニット１Ａおよびカメラ筐体１Ｂを有する。カメラ筐体１Ｂには、ユーザー（撮影者）からの撮影操作を受け付け可能な操作部材であるレリーズボタン５が配置されている。
【0014】
図１（ｂ）に示すように、カメラ筐体１Ｂの背面には、カメラ筐体１Ｂ内に含まれている表示デバイス１０（表示パネル）を見るためにユーザーが覗き込む接眼レンズ１２（接眼光学系）が配置されている。なお、接眼光学系には複数枚のレンズが含まれていてもよい。カメラ筐体１Ｂの背面には、ユーザーからの各種操作を受け付け可能な操作部材４１～４３も配置されている。例えば、操作部材４１はタッチ操作を受け付け可能なタッチパネルであり、操作部材４２は各方向に押し倒し可能な操作レバーであり、操作部材４３は
４方向のそれぞれに押し込み可能な４方向キーである。操作部材４１（タッチパネル）は、液晶パネルなどの表示パネルを備えており、表示パネルで画像を表示する機能を有する。
４方向のそれぞれに押し込み可能な４方向キーである。操作部材４１（タッチパネル）は、液晶パネルなどの表示パネルを備えており、表示パネルで画像を表示する機能を有する。
【0015】
【0016】
撮影レンズユニット１Ａは、２枚のレンズ１０１，１０２、絞り１１１、絞り駆動部１１２、レンズ駆動モーター１１３、レンズ駆動部材１１４、フォトカプラ１１５、パルス板１１６、マウント接点１１７、焦点調節回路１１８を含む。また、撮影レンズユニット１Ａは、加速度センサ１１９、ズーム駆動部１２０、レンズＣＰＵ１２１を含む。なお、簡単のために２枚のレンズ１０１，１０２を示したが、撮影レンズユニット１Ａは、実際は２枚より多くのレンズを含む。撮影レンズユニット１Ａに含まれる各構成は、レンズＣＰＵ１２１により制御される。
【0017】
撮影レンズユニット１Ａ内に設けられた絞り１１１は、絞り駆動部１１２によって駆動される。レンズ駆動部材１１４は駆動ギヤなどを含む。フォトカプラ１１５は、レンズ駆動部材１１４に連動するパルス板１１６の回転を検知して、焦点調節回路１１８に伝える。焦点調節回路１１８は、フォトカプラ１１５からの情報と、カメラ筐体１Ｂからの情報（レンズ駆動量の情報）とに基づいてレンズ駆動モーター１１３を駆動し、レンズ１０１を移動させて合焦位置を変更する。マウント接点１１７は、撮影レンズユニット１Ａとカメラ筐体１Ｂとのインターフェースである。
【0018】
加速度センサ１１９は、撮影レンズユニット１Ａに内蔵され、レンズ１０１，１０２のパンニングを検出する。また、加速度センサ６はカメラ筐体１Ｂに内蔵され、カメラ筐体１Ｂのパンニングを検出する。カメラ１のパンニングは、撮影レンズユニット１Ａに内蔵される加速度センサ１１９、およびカメラ筐体１Ｂに内蔵される加速度センサ６の少なくともいずれかを用いて判定される。
【0019】
ズーム駆動部１２０は、不図示のレンズ鏡筒に備えられた操作部材に対するユーザーの手動操作に基づいてズーム駆動を行うか、マウント接点１１７を介して通知されるカメラ筐体１Ｂからの指示によりズーム駆動を行う。レンズＣＰＵ１２１は、ズーム駆動の情報を、撮影レンズユニット１Ａからマウント接点１１７を介してカメラ筐体１Ｂに通知する。カメラ１は、ズーム駆動の情報に基づいて、ズーム操作による画角変更を検出することができる。
【0020】
カメラ筐体１Ｂは、撮像素子２、ＣＰＵ３、メモリ部４、表示デバイス１０、表示デバイス駆動回路１１などを含む。撮像素子２は、撮影レンズユニット１Ａの予定結像面に配置されている。ＣＰＵ３は、マイクロコンピュータの中央処理部であり、カメラ１全体を制御する。メモリ部４は、撮像素子２により撮像された画像などを記憶する。表示デバイス１０は、液晶などで構成されており、撮像された画像（被写体像）などを表示デバイス１０の表示面に表示する。表示デバイス駆動回路１１は、表示デバイス１０を駆動する。ユーザーは、接眼レンズ１２を通して、表示デバイス１０の表示面に表示された画像（撮像素子２により撮像された画像など）を見ることができる。
【0021】
カメラ筐体１Ｂは、接眼レンズ１２、光源１３ａ，１３ｂ、光分割器１５、受光レンズ１６、眼用撮像素子１７なども含む。光源１３ａ，１３ｂは、ユーザーの眼球１４を照明するための光源である。光源１３ａ，１３ｂは、光の角膜反射による反射像（角膜反射像；プルキニエ像）と瞳孔との関係から視線方向（視線の方向；ユーザーが見ている方向）
を検出するために一眼レフカメラなどで用いられている。具体的には、光源１３ａおよび光源１３ｂのそれぞれは、ユーザーに対して不感の赤外光を発する赤外発光ダイオードなどであり、接眼レンズ１２の周りに配置されている。
を検出するために一眼レフカメラなどで用いられている。具体的には、光源１３ａおよび光源１３ｂのそれぞれは、ユーザーに対して不感の赤外光を発する赤外発光ダイオードなどであり、接眼レンズ１２の周りに配置されている。
【0022】
照明された眼球１４の光学像（眼球像；光源１３ａ，１３ｂから発せられて眼球１４で反射した反射光による像）は、接眼レンズ１２を透過し、光分割器１５で反射される。そして、眼球像は、受光レンズ１６によって、ＣＣＤまたはＣＭＯＳなどの光電素子列を２次元的に配した眼用撮像素子１７上に結像される。受光レンズ１６は、眼球１４の瞳孔と眼用撮像素子１７とを共役な結像関係に位置付けている。眼球１４の視線方向は、眼用撮像素子１７上に結像された眼球像における瞳孔と角膜反射像との位置関係から、所定のアルゴリズムにより検出される。
【0023】
図３は、カメラ１内の電気的構成の一例を示すブロック図である。図３において、図１（ａ），１（ｂ）および図２と同じ構成に対しては同じ符号が付され、これらの構成についての詳細な説明は省略される。ＣＰＵ３は、視線検出回路２０１、測光回路２０２、自動焦点検出回路２０３、信号入力回路２０４、表示デバイス駆動回路１１、光源駆動回路２０５、加速度センサ６、メモリ部４、画像処理部２０８および姿勢検出部２０７に接続されている。
【0024】
また、ＣＰＵ３は、マウント接点１１７を介して、レンズＣＰＵ１２１に信号を伝達する。レンズＣＰＵ１２１は、ＣＰＵ３からの信号に基づいて、撮影レンズユニット１Ａ内に配置された焦点調節回路１１８、絞り駆動部１１２に含まれる絞り制御回路２０６、加速度センサ１１９およびズーム駆動部１２０を制御する。
【0025】
ＣＰＵ３に付随したメモリ部４は、撮像素子２および眼用撮像素子１７からの撮像信号の記憶機能を有している。ＣＰＵ３は、メモリ部４へ記憶した撮像素子２の撮像信号を撮影画像へ変換し、変換した撮影画像をメモリ部４に接続される記録媒体７へ転送する。
【0026】
姿勢検出部２０７は、カメラ１を構えるユーザーの姿勢情報を検出する。姿勢検出部２０７は、例えば、加速度センサ６を用いてユーザーの姿勢情報を検出することができる。カメラ１は、被写体に対して撮像素子２が水平となる正位置（横位置）での撮影、および被写体に対して撮像素子２が垂直となる縦位置での撮影が可能である。姿勢検出部２０７は、ユーザーがファインダーを覗きながらカメラ１の姿勢を変えた場合にも、カメラ１の姿勢変化を検出することができる。
【0027】
視線検出回路２０１は、眼用撮像素子１７上に眼球像が結像した状態での眼用撮像素子１７の出力（眼を撮像した眼画像）をＡ／Ｄ変換し、その結果をＣＰＵ３に送信する。ＣＰＵ３は、所定のアルゴリズムに従って、眼画像から視線検出に用いられる特徴点を抽出し、特徴点の位置から、表示デバイス１０の表示面におけるユーザーの視点（視線位置；視線が注がれている位置；ユーザーが見ている位置）を算出する。
【0028】
測光回路２０２は、測光センサの役割を兼ねる撮像素子２から得られる信号、具体的には被写界の明るさに対応した輝度信号の増幅、対数圧縮、Ａ／Ｄ変換などを行い、その結果である被写界輝度情報をＣＰＵ３に送る。被写界輝度情報は、撮像された画像の各画素の輝度を示す情報である。また、測光回路２０２は、撮像素子２により撮像された画像から特定の被写体（特定の物体）を検出し、その結果である被写体情報と被写体領域情報をＣＰＵ３に送る。被写体情報（物体情報）は、検出された被写体に関連した情報であり、被写体領域情報（物体領域情報）は、検出された被写体の領域を示す情報である。被写体情報および被写体領域情報は、被写界輝度情報を解析して得ることもできる。
【0029】
自動焦点検出回路２０３は、撮像素子２の中に含まれる、位相差検出のために使用される複数の検出素子（複数の画素）からの信号電圧をＡ／Ｄ変換し、ＣＰＵ３に送る。ＣＰＵ３は複数の検出素子の信号から、各焦点検出ポイントに対応する被写体までの距離を演算する。これは撮像面位相差ＡＦとして知られる公知の技術である。本実施形態では、一例として、図４（ａ）に示すようなファインダー内視野（ファインダーを覗いたときの視野）、具体的には表示デバイス１０の表示面に示した１８０か所に対応する、撮像面上の１８０か所のそれぞれに、焦点検出ポイントがあるとする。
【0030】
信号入力回路２０４には、スイッチＳＷ１とスイッチＳＷ２とが接続されている。スイッチＳＷ１は、レリーズボタン５の第１ストローク（半押し）でＯＮし、カメラ１の測光や焦点検出（測距）などを開始するためのスイッチである。スイッチＳＷ２は、レリーズボタン５の第２ストローク（全押し）でＯＮし、撮影動作を開始するためのスイッチである。スイッチＳＷ１，ＳＷ２からのＯＮ信号が信号入力回路２０４に入力され、ＣＰＵ３に送信される。測光や焦点検出は、設定された測光領域や焦点検出領域内、または選択（決定）された主被写体の領域内で行われる。例えば、測光では、測光回路２０２により、対象の領域の輝度が被写界輝度情報から判断され、焦点検出では、自動焦点検出回路２０３により、対象の領域に存在する被写体までの距離が判断される。
【0031】
操作部材４１（タッチパネル）、操作部材４２（操作レバー）、操作部材４３（４方向キー）は、ユーザーから受け付けた操作に対応する操作信号をＣＰＵ３に送る。光源駆動回路２０５は、光源１３ａ，１３ｂを駆動する。
【0032】
画像処理部２０８は、撮像素子２により撮像された画像に対して各種画像処理を適用する。また、画像処理部２０８は、撮像された画像から、各種情報を取得したり生成したりする。画像処理部２０８は、例えば特定の機能を実現するように設計されたＡＳＩＣ（Ａｐｐｌｉｃａｔｉｏｎ Ｓｐｅｃｉｆｉｃ Ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔ）などの専用のハードウェア回路によって実現されてもよい。また、画像処理部２０８は、ソフトウェアを実行することで特定の機能を実現するＤＳＰ（Ｄｉｇｉｔａｌ Ｓｉｇｎａｌ Ｐｒｏｃｅｓｓｏｒ）のようなプロセッサによって実現されてもよい。
【0033】
画像処理部２０８による画像処理は、前処理、色補間処理、補正処理、検出処理、データ加工処理、評価値算出処理などを含む。前処理は、信号増幅、基準レベル調整、欠陥画素補正などの処理を含む。色補間処理は、画像データに含まれていない色成分の値を補間する処理であり、デモザイク処理とも呼ばれる。補正処理は、ホワイトバランスを調整する処理、画像の輝度を補正する処理、撮影レンズユニット１Ａの光学収差を補正する処理、色を補正する処理などを含む。
【0034】
検出処理は、特徴領域（例えば、顔、人体、動物、自動車などの領域）の検出処理、特徴領域の追尾処理、人物の認識処理などを含む。画像処理部２０８は、画像を表示する表示デバイス１０の表示面におけるユーザーの視線位置の情報を検出し、画像内の被写体を検出することにより、ユーザーが注目している被写体を特定することができる。また、画像処理部２０８は、時系列に沿った画像の差分を解析することにより、画像内の被写体が画像平面においてどのように動作しているかといった被写体の動き特性情報を取得することができる。
【0035】
データ加工処理は、スケーリング処理、符号化および復号処理、ヘッダ情報生成処理などを含む。評価値算出処理は、位相差信号を用いたＡＦ処理のための１対の信号、コントラストＡＦ用の評価値、自動露出制御に用いる評価値などの算出処理を含む。なお、画像処理部２０８が実施する画像処理は、上記の例に限定されない。
【0036】
図４（ａ），４（ｂ）は、ファインダー内視野の表示例を示す図であり、表示デバイス１０が動作した状態（画像を表示した状態）を示す。図４（ａ）に示すように、ファインダー内視野には、視野マスク３００、焦点検出領域４００、１８０個の測距点指標４０１などがある。１８０個の測距点指標４０１のそれぞれは、撮像面上における焦点検出ポイントに対応する位置に表示されるように、表示デバイス１０に表示されたスルー画像（ライブビュー画像）に重ねて表示される。画像処理部２０８は、ユーザーがファインダーを覗いたときに眼用撮像素子１７により取得される眼画像から、表示デバイス１０の表示面におけるユーザーの視線位置の情報を取得することができる。
【0037】
図４（ａ）において、視線位置４２１は、ユーザーの視線が検出された位置（視線位置を含む領域）である。また、被写体４２２は、画像処理部２０８による画像の解析により検出された人物である。以下の説明では、検出対象が人物である場合、斜線部の頭部の領域が被写体として検出される。人の眼球には固視微動と呼ばれる揺らぎを伴う動作が生じるため、画像処理部２０８は、視線位置の近傍に存在する被写体を、ユーザーの視線が向けられた被写体として推定することが好ましい。視線位置と、被写体が存在する位置とにずれがある場合、画像処理部２０８は、ユーザーの視線が向けられた被写体を示すアイコン４２３を表示する。アイコン４２３が表示されることで、ユーザーは、自身が見ていると推定された被写体を確認することができる。また、画像処理部２０８は、ユーザーが所望の被写体の近傍に視線を向けることで、ユーザーが見ている被写体を推定することができる。
【0038】
視線位置の近傍は、視線位置を含む所定の範囲とすることができる。所定の範囲は、例えば、画像を撮像する際の焦点距離、撮影距離、撮影モード情報および視線が向けられた被写体の大きさに基づいて決定される。被写体の大きさは、画像内での大きさであり、例えば被写体が占める画素数により表すことができる。また、所定の範囲は、被写体の種類、移動速度などに基づいて決定されてもよい。視線位置の近傍に複数の被写体が検出された場合、画像処理部２０８は、視線位置により近い被写体を、ユーザーの視線が向けられた被写体と推定することができる。
【0039】
図４（ｂ）は、画像に複数の被写体が存在する例を示す。図４（ｂ）に示す画像では、被写体４３１および被写体４３２が検出されている。視線位置４３３は、ユーザーの視線が検出された位置である。アイコン４３４（第１アイテムに相当）は、画像処理部２０８によって、ユーザーの視線が向けられていると推定された被写体（以下、推定被写体とも称される）を示す。
【0040】
画像処理部２０８は、ユーザーが被写体４３２の近傍に視線を移動させると、推定被写体を被写体４３１から被写体４３２に変更する。画像処理部２０８は、推定被写体を示すアイコン４３４を、視線の移動先である被写体４３２に対して表示する。なお、画像内で検出する被写体は、人物に限られず、動物または乗り物などであってもよい。
【0041】
＜視線検出処理の説明＞
図５，６（ａ），６（ｂ），７を用いて、視線位置を取得するための視線検出処理（視線検出方法）について説明する。右目の視線も左目の視線も、以下の視線検出方法で検出される。図５は視線検出方法の原理を説明するための図であり、視線を検出するための光学系の概略図である。図５に示すように、光源１３ａ，１３ｂは受光レンズ１６の光軸に対して略対称に配置され、ユーザーの眼球１４を照らす。光源１３ａ，１３ｂから発せられて眼球１４で反射した光の一部は、受光レンズ１６によって、眼用撮像素子１７に集光する。図６（ａ）は眼用撮像素子１７で撮像された眼画像（眼用撮像素子１７に投影された眼の光学像）の概略図であり、図６（ｂ）は眼用撮像素子１７の出力強度を示す図である。図７は、視線検出処理のフローチャートである。
図５，６（ａ），６（ｂ），７を用いて、視線位置を取得するための視線検出処理（視線検出方法）について説明する。右目の視線も左目の視線も、以下の視線検出方法で検出される。図５は視線検出方法の原理を説明するための図であり、視線を検出するための光学系の概略図である。図５に示すように、光源１３ａ，１３ｂは受光レンズ１６の光軸に対して略対称に配置され、ユーザーの眼球１４を照らす。光源１３ａ，１３ｂから発せられて眼球１４で反射した光の一部は、受光レンズ１６によって、眼用撮像素子１７に集光する。図６（ａ）は眼用撮像素子１７で撮像された眼画像（眼用撮像素子１７に投影された眼の光学像）の概略図であり、図６（ｂ）は眼用撮像素子１７の出力強度を示す図である。図７は、視線検出処理のフローチャートである。
【0042】
図７の視線検出処理が開始すると、ステップＳ１では、ＣＰＵ３は、ユーザーの眼球１４に向けて赤外光を発するように、光源駆動回路２０５を用いて光源１３ａ，１３ｂを駆動する。赤外光によって照明されたユーザーの眼の光学像は、受光レンズ１６を通って眼用撮像素子１７上に結像し、眼用撮像素子１７によって光電変換される。これによって、処理可能な眼画像の電気信号が得られる。
【0043】
ステップＳ２では、ＣＰＵ３は、眼用撮像素子１７から視線検出回路２０１を介して眼画像（画像データ、画像信号）を取得する。
【0044】
ステップＳ３では、ＣＰＵ３は、Ｓ２で得られた眼画像から、光源１３ａ，１３ｂの角膜反射像Ｐｄ，Ｐｅおよび瞳孔１４１の中心ｃに対応する点の座標を取得する。光源１３ａ，１３ｂより発せられた赤外光は、ユーザーの眼球１４の角膜１４２を照明する。このとき、角膜１４２の表面で反射した赤外光の一部によって形成される角膜反射像Ｐｄ，Ｐｅは、受光レンズ１６によって集光され、眼用撮像素子１７上に結像して、眼画像における角膜反射像Ｐｄ’，Ｐｅ’となる。同様に瞳孔１４１の端部ａ，ｂからの光束も眼用撮像素子１７上に結像して、眼画像における瞳孔端像ａ’，ｂ’となる。
【0045】
図６（ｂ）は、図６（ａ）の眼画像における領域αの輝度情報（輝度分布）を示す。図６（ｂ）では、眼画像の水平方向をＸ軸方向、垂直方向をＹ軸方向とし、Ｘ軸方向の輝度分布が示されている。角膜反射像Ｐｄ’，Ｐｅ’のＸ軸方向（水平方向）の座標をＸｄ，Ｘｅとし、瞳孔端像ａ’，ｂ’のＸ軸方向の座標をＸａ，Ｘｂとする。
【0046】
図６（ｂ）に示すように、角膜反射像Ｐｄ’，Ｐｅ’の座標Ｘｄ，Ｘｅでは、極端に高いレベルの輝度が得られる。瞳孔１４１の領域（瞳孔１４１からの光束が眼用撮像素子１７上に結像して得られる瞳孔像の領域）に相当する、座標Ｘａから座標Ｘｂまでの領域では、座標Ｘｄ，Ｘｅを除いて、極端に低いレベルの輝度が得られる。そして、瞳孔１４１の外側の虹彩１４３の領域（虹彩１４３からの光束が結像して得られる、瞳孔像の外側の虹彩像の領域）では、上記２種の輝度の中間の輝度が得られる。例えば、Ｘ座標（Ｘ軸方向の座標）が座標Ｘａより大きい領域と、Ｘ座標が座標Ｘｂより小さい領域とで、上記２種の輝度の中間の輝度が得られる。
【0047】
図６（ｂ）に示すような輝度分布から、角膜反射像Ｐｄ’，Ｐｅ’のＸ座標Ｘｄ，Ｘｅと、瞳孔端像ａ’，ｂ’のＸ座標Ｘａ，Ｘｂを得ることができる。例えば、輝度が極端に高い座標を角膜反射像Ｐｄ’，Ｐｅ’の座標として得ることができ、輝度が極端に低い座標を瞳孔端像ａ’，ｂ’の座標として得ることができる。また、受光レンズ１６の光軸に対する眼球１４の光軸の回転角θｘが小さい場合には、瞳孔中心ｃからの光束が眼用撮像素子１７上に結像して得られる瞳孔中心像ｃ’（瞳孔像の中心）の座標Ｘｃは、Ｘｃ≒（Ｘａ＋Ｘｂ）／２と表すことができる。つまり、瞳孔端像ａ’，ｂ’のＸ座標Ｘａ，Ｘｂから、瞳孔中心像ｃ’の座標Ｘｃを算出できる。このようにして、角膜反射像Ｐｄ’，Ｐｅ’の座標と、瞳孔中心像ｃ’の座標とを見積もることができる。
【0048】
ステップＳ４では、ＣＰＵ３は、眼画像の結像倍率βを算出する。結像倍率βは受光レンズ１６に対する眼球１４の位置によって決まる倍率で、角膜反射像Ｐｄ‘，Ｐｅ’の間隔（Ｘｄ－Ｘｅ）の関数を用いて算出することができる。
【0049】
ステップＳ５では、ＣＰＵ３は、受光レンズ１６の光軸に対する眼球１４０の光軸の回転角を算出する。角膜反射像ＰｄとＰｅとの中点のＸ座標と角膜１４２の曲率中心ＯのＸ座標とはほぼ一致する。このため、角膜１４２の曲率中心Ｏから瞳孔中心ｃまでの標準的な距離をＯｃとすると、Ｚ－Ｘ平面（Ｙ軸に垂直な平面）内での眼球１４の回転角θＸは
、以下の式１で算出できる。Ｚ－Ｙ平面（Ｘ軸に垂直な平面）内での眼球１４０の回転角θｙも、回転角θｘの算出方法と同様の方法で算出できる。
β＊Ｏｃ＊ＳＩＮθＸ≒｛（Ｘｄ＋Ｘｅ）／２｝－Ｘｃ・・・（式１）
、以下の式１で算出できる。Ｚ－Ｙ平面（Ｘ軸に垂直な平面）内での眼球１４０の回転角θｙも、回転角θｘの算出方法と同様の方法で算出できる。
β＊Ｏｃ＊ＳＩＮθＸ≒｛（Ｘｄ＋Ｘｅ）／２｝－Ｘｃ・・・（式１）
【0050】
ステップＳ６では、ＣＰＵ３は、ステップＳ５で算出した回転角θｘ，θｙを用いて、表示デバイス１０上でユーザーの視線位置（以下、視点とも称する）を推定する。視点の座標（Ｈｘ，Ｈｙ）が瞳孔中心ｃに対応する座標であるとすると、視点の座標（Ｈｘ，Ｈｙ）は以下の式２，３で算出できる。
Ｈｘ＝ｍ×（Ａｘ×θｘ＋Ｂｘ） ・・・（式２）
Ｈｙ＝ｍ×（Ａｙ×θｙ＋Ｂｙ） ・・・（式３）
Ｈｘ＝ｍ×（Ａｘ×θｘ＋Ｂｘ） ・・・（式２）
Ｈｙ＝ｍ×（Ａｙ×θｙ＋Ｂｙ） ・・・（式３）
【0051】
式２，３のパラメータｍは、視線検出処理を行うための光学系の構成で定まる定数であり、回転角θｘ，θｙを表示デバイス１０上での瞳孔中心ｃに対応する座標に変換する変換係数である。パラメータｍは、あらかじめ決定され、メモリ部４に格納される。視線補正パラメータＡｘ，Ｂｘ，Ａｙ，Ｂｙは、視線の個人差を補正する視線補正パラメータである。視線補正パラメータＡｘ，Ｂｘ，Ａｙ，Ｂｙは、視線検出のキャリブレーションを行うことで取得され、あらかじめメモリ部４に格納される。
【0052】
ステップＳ７では、ＣＰＵ３は、視点の座標および眼画像を取得した時刻（以下、視線検出時刻）をメモリ部４に格納し、視線検出処理を終了する。
【0053】
なお、視線検出方法は上記方法に限られず、眼画像に基づいて視線を検出する如何なる方法であってもよい。また、視線検出の結果（最終結果）として視点の座標（Ｈｘ，Ｈｙ）を得る例を説明したが、回転角θｘ，θｙなど、視線に関する情報（視線情報）であれば、どのような情報が視線検出の結果として得られてもよい。
【0054】
＜アイコン表示制御処理の説明＞
図８Ａ～８Ｃを用いて、ユーザーの視線が向けられた被写体を示すアイコンの表示制御について説明する。図８Ａは、実施形態１のアイコン表示制御処理を例示するフローチャートである。図８Ａに示す処理は、画像の取得、被写体検出、アイコン表示制御の処理を含む。ＣＰＵ３は、時系列に画像を取得し、図８Ａに示す処理を繰り返し実行する。
図８Ａ～８Ｃを用いて、ユーザーの視線が向けられた被写体を示すアイコンの表示制御について説明する。図８Ａは、実施形態１のアイコン表示制御処理を例示するフローチャートである。図８Ａに示す処理は、画像の取得、被写体検出、アイコン表示制御の処理を含む。ＣＰＵ３は、時系列に画像を取得し、図８Ａに示す処理を繰り返し実行する。
【0055】
ステップＳ８００１では、ＣＰＵ３は、撮像素子２により撮像され、画像処理部２０８が各種画像処理を適用して生成した画像を取得する。ステップＳ８００２では、ＣＰＵ３は、ステップＳ８００１で取得した画像に含まれる被写体を検出する。具体的には、ＣＰＵ３は、画像から検出した人物の頭部の位置の情報を、被写体位置の情報として取得する。例えば、図９（ａ）の画像では、ＣＰＵ３は、被写体９０１を検出し、被写体９０１の頭部の位置の情報を取得する。
【0056】
ステップＳ８００３では、ＣＰＵ３は、画像に含まれる被写体の動き情報（動き特性の情報、動作の情報）を取得する。ＣＰＵ３は、ステップＳ８００１で取得した画像を、過去に画像処理部２０８が生成した画像と比較することで、画像に含まれる被写体の動き情報を取得することができる。例えば、図９（ａ）～９（ｃ）は、それぞれ、時刻ｔ１、時刻ｔ１よりも後の時刻ｔ２、時刻ｔ２よりも後の時刻ｔ３に生成された画像である。この場合、ＣＰＵ３は、被写体９０１が略等速で移動しているという動き情報を取得することができる。また、図９（ｄ）のように、画像内で被写体９０１を含む複数の被写体が検出
され、いずれも同様の動き特性を示している場合、これらの複数の被写体は、被写体群９０２として扱われる。
され、いずれも同様の動き特性を示している場合、これらの複数の被写体は、被写体群９０２として扱われる。
【0057】
ステップＳ８００４では、ＣＰＵ３は、眼用撮像素子１７および視線検出回路２０１により、図５～７で説明した視線検出処理を行い、視線位置の情報を取得する。ステップＳ８００５では、ＣＰＵ３は、ステップＳ８００４で視線検出（視線位置の情報の取得）に成功したか否かを判定する。視線検出に成功した場合、処理はステップＳ８００７に進む。視線検出に失敗した場合、処理はステップＳ８００６に進む。
【0058】
ステップＳ８００６では、ＣＰＵ３は、前回の処理（現在の画像の前に撮像された画像に対する処理）でのアイコン（第１アイテム）の表示位置と表示するか否かの表示状態とを維持し、ステップＳ８００１に戻る。具体的には、ＣＰＵ３は、前回の処理でアイコンを表示していなかった場合は、現在の画像に対してもアイコンを表示せず、前回の処理でアイコンを表示していた場合は、現在の画像に対し、前回の画像と同じ位置にアイコンを表示するように制御する。
【0059】
なお、ＣＰＵ３は、視線検出に失敗した場合、視線検出に失敗したことをユーザーに報知するため、視線検出に成功した場合とは異なる態様でアイコンを表示してもよい。例えば、ＣＰＵ３は、視線検出に失敗した場合、視線検出に成功した場合と異なる色でアイコンを表示したり、アイコンを点滅表示したりする。なお、アイコンの色が頻繁に変わることで視認性が低下しないようにするため、ＣＰＵ３は、視線検出に失敗したと判定してから所定の時間が経過をしてからアイコンの表示態様を変更するようにしてもよい。
【0060】
ステップＳ８００７では、ＣＰＵ３は、ステップＳ８００４で取得した視線位置で被写体が検出されているか否かを判定する。ＣＰＵ３は、ユーザーの視線位置の近傍に、ステップＳ８００２で検出された被写体が存在する場合に、視線位置で被写体が検出されたと判定することができる。視線位置で被写体が検出された場合、処理はステップＳ８００９に進む。視線位置で被写体が検出されていない場合、処理は、ステップＳ８００８に進む。
【0061】
ステップＳ８００８では、ＣＰＵ３は、ステップＳ８００４で取得した視線位置にアイコンを表示する。例えば、図１０では、ユーザーの視線位置が画像内に含まれる被写体１００１から離れた位置に存在するため、ＣＰＵ３は、検出されたユーザーの視線位置を示すアイコン１００２（第２アイテム）を表示する。ＣＰＵ３は、例えば、画像内に含まれる被写体１００１が、ユーザーの視線位置から所定の距離以上離れている場合に、ユーザーの視線位置を示すアイコンを表示する。
【0062】
視線位置を示すアイコン１００２を表示する場合、ユーザーの視線位置には被写体が存在しないため、ＣＰＵ３は、ユーザーの視線が向けられた被写体を示すアイコン（第１アイテム）を表示しない。これにより、ＣＰＵ３は、被写体１００１をユーザーの視線が向けられた被写体として捕捉していないことをユーザーに報知することができる。
【0063】
領域１００３は、ユーザーの視線位置の近傍を示す領域である。ＣＰＵ３は、被写体が視線位置の近傍に存在するか否かを判定するための領域として領域１００３を設定する。領域１００３は、操作部材４１～４３を用いてユーザーにより設定されてもよい。また、ＣＰＵ３は、撮影レンズユニット１Ａの焦点距離または合焦位置における撮影物体距離などレンズの光学状態に応じて自動で領域１００３を設定してもよく、カメラ１に設定されたＡＦ機能のモード設定などに応じて自動で領域１００３を設定してもよい。すなわち、視線位置の近傍は、ユーザーの視線位置を含み、ユーザーまたはＣＰＵ３によって設定可能な領域である。
【0064】
ステップＳ８００９では、ＣＰＵ３は、ユーザーによるカメラ１の撮像の状況に基づいて、ユーザーの視線が向けられた被写体を示すアイコンを表示するか否かを判定する。カメラ１の撮像の状況は、例えば、ユーザーが画像処理部２０８によって推定された被写体に注目しているか否か、画像の撮像範囲が変化したか否か、画像を撮像する撮像装置の姿勢が変化したか否かといった状況を含む。
【0065】
図８Ｂを参照して、ステップＳ８００９の処理の詳細を説明する。ステップＳ８２０１では、ＣＰＵ３は、撮影者であるユーザーが撮影したい被写体（視線を向けていると推定された被写体、推定被写体）に注目しているか否かを判定する。
【0066】
ユーザーが推定被写体に注目しているか否かは、眼用撮像素子１７で撮像された眼画像から、ユーザーの視線位置の安定度合い、ユーザーのまばたきの有無または頻度などによって判定される。例えば、ＣＰＵ３は、所定の時間におけるユーザーの視線位置の移動量が第１閾値より小さい場合、または所定の時間におけるまばたきの回数が第２閾値より小さい場合に、ユーザーが推定被写体に注目していると判定することができる。視線位置の安定度合およびまばたきの頻度には個人差があるため、第１閾値および第２閾値は、ユーザーごとにあらかじめ設定できるようにしてもよい。ユーザーが推定被写体に注目している場合、処理はステップＳ８２０２に進む。ユーザーが推定被写体に注目していない場合、処理はステップＳ８２０３に進む。
【0067】
ステップＳ８２０２では、ＣＰＵ３は、推定被写体を示すアイコンを表示する、と判定する。ＣＰＵ３は、推定被写体を示すアイコンを表示することで、ユーザーが注目している被写体が撮像対象として捉えられていることをユーザーに報知することができる。例えば、イルカショーなどで撮影したい被写体が所望の位置に移動するのを身構えて待っている場合、サッカーのゴール前での撮影機会を狙っている場合など、ユーザーが注目する被写体を示すアイコンが表示されることで、ユーザーは撮影機会を逃さずにすむ。
【0068】
ステップＳ８２０３では、ＣＰＵ３は、ズーム操作、パン操作またはチルト操作があったか否かを判定する。ズーム操作は、ユーザーの撮影レンズユニット１Ａに対するズーム操作およびカメラ１に対するデジタルズーム操作を含む。ＣＰＵ３は、ズーム操作、パン操作またはチルト操作があったか否かを判定することにより、画像の撮像範囲が変化したか否かを判定する。
【0069】
ＣＰＵ３は、例えば、ズーム操作が行われた場合、ズーム操作による焦点距離の変化量が第３閾値より大きい場合、またはズーム操作によるズーム倍率の変化量が第４閾値より大きい場合に、画像の撮像範囲が変化したと判定することができる。また、ＣＰＵ３は、パン操作もしくはチルト操作が行われた場合、またはパン操作もしくはチルト操作による撮像範囲の移動量が第５閾値より大きい場合に、画像の撮像範囲が変化したと判定することができる。第３閾値～第５閾値は、例えば、撮像範囲の変化によって、ユーザーが視線を向けていた被写体を見失う可能性があるか否かに基づいて決定することができる。ズーム操作、パン操作またはチルト操作があった場合、処理はステップＳ８２０２に進む。ズーム操作、パン操作またはチルト操作がない場合、処理はステップＳ８２０４に進む。
【0070】
ステップＳ８２０２では、ＣＰＵ３は、推定被写体を示す「アイコンを表示」すると判定する。ズーム操作などにより構図が変化すると、ユーザーが視線を向けていた被写体の位置は変化する場合がある。もともと視線を向けていた被写体の位置に、異なる被写体が存在するようになると、ユーザーは、撮影しようとしていた被写体を見失う可能性がある。そこで、ＣＰＵ３は、ズーム操作などにより画像の撮像範囲が変化したが場合には、推定被写体を示すアイコンを表示することで、ユーザーが撮影しようとしていた被写体を見
失わないようにすることができる。
失わないようにすることができる。
【0071】
図１１（ａ），１１（ｂ）は、ズーム操作に基づくアイコン表示について説明する図である。図１１（ａ）は、ＴＥＬＥ側にズームした状態で被写体１１０１が、ユーザーの視線が向けられた被写体として推定されている状態を示す。視線位置１１０２（表示デバイス１０上では視線位置１１０２を示すアイコンは非表示）の近傍には被写体が１つしか存在しないため、ユーザーの視線が向けられた被写体を示すアイコンは非表示となっている。
【0072】
図１１（ｂ）は、図１１（ａ）の状態から、ＷＩＤＥ方向にズーム操作した後の状況を示す。図１１（ｂ）では、画像内に被写体１１０１とは異なる被写体１１０３が検出されている。視線位置１１０２がズーム操作前と同じ位置である場合、ユーザーは、被写体１１０３が推定被写体として捉えられていないか混乱する可能性がある。そこで、ＣＰＵ３は、ユーザーが被写体１１０１に視線を向けている場合、被写体１１０１が推定被写体として捉えられていることをユーザーに報知するため、被写体１１０１に対してアイコンを表示すると判定する。
【0073】
ステップＳ８２０４では、ＣＰＵ３は、カメラ１の姿勢が変化したか否かを判定する。カメラ１による撮影では、ユーザーは、画像の長辺が水平方向となるように撮影する横位置と、画像の長辺が鉛直方向となるように撮影する縦位置とを使い分ける。ＣＰＵ３は、横位置から縦位置への持ち替えなどによって、カメラ１の姿勢が変化したか否かを判定する。ＣＰＵ３は、姿勢検出部２０７により、カメラ１の姿勢の情報を取得することができる。
【0074】
なお、ＣＰＵ３は、ユーザーの視線位置の情報が取得された状態でカメラ１の姿勢が変化したか否かを判定してもよい。ファインダーを覗きながらカメラ１の姿勢を変化させている場合、推定被写体を示すアイコンが表示されることで、ユーザーは、所望の被写体を確認しやすくなる。カメラ１の姿勢が変化した場合、処理はステップＳ８２０２に進む。カメラ１の姿勢が変化していない場合、処理はステップＳ８２０５に進む。
【0075】
ステップＳ８２０２では、ＣＰＵ３は、推定被写体を示すアイコンを表示すると判定する。カメラ１の姿勢が変化した場合、ユーザーの視線位置は不安定になりやすく、ユーザーがカメラ１の姿勢が変化する前に見ていた被写体を見失わないようにするためである。
【0076】
図１２（ａ），１２（ｂ）は、カメラ１の姿勢変化に基づくアイコン表示について説明する図である。図１２（ａ）は、横位置で撮像している画像の例を示す。図１２（ａ）では、被写体１２０１および被写体１２０２が検出されている。ユーザーの視線は、被写体１２０１に向けられている。図１２（ｂ）は、図１２（ａ）の状態から、ユーザーがカメラ１を縦位置に持ち替えた後の画像の例を示す。カメラ１を横位置から縦位置に持ち替える間、構図の変更によりユーザーの視線位置は不安定になる。ユーザーが、被写体１２０２を、これまで見ていた被写体１２０１として誤認識しないようにするため、ＣＰＵ３は、推定被写体を示すアイコン１２０３を表示すると判定する。
【0077】
ステップＳ８２０５では、ＣＰＵ３は、推定被写体を示すアイコンを表示するか否かは未確定（「アイコン表示は未確定」）と判定する。すなわち、ステップＳ８２０１、ステップＳ８２０３、ステップＳ８２０４のいずれの条件も満たさない場合、ＣＰＵ３は、後述する図８ＡのステップＳ８０２０で、被写体の状況に基づき、推定被写体を示すアイコンを表示するか否か判定する。
【0078】
ステップＳ８２０６では、ＣＰＵ３は、推定被写体を示すアイコンが現時点で表示状態
であるか非表示状態であるかを判定する。推定被写体を示すアイコンが非表示状態である場合、処理はステップＳ８２０７に進む。推定被写体を示すアイコンが表示状態である場合、図８Ｂに示す処理は終了する。
であるか非表示状態であるかを判定する。推定被写体を示すアイコンが非表示状態である場合、処理はステップＳ８２０７に進む。推定被写体を示すアイコンが表示状態である場合、図８Ｂに示す処理は終了する。
【0079】
ステップＳ８２０７では、ＣＰＵ３は、現在時刻を基準時刻として、メモリ部４に記録する。ステップＳ８２０７は、推定被写体を示すアイコンが現時点で非表示状態であり、ステップＳ８２０２でアイコンを表示すると判定された場合の処理である。ＣＰＵ３は、アイコンが非表示状態から表示状態に遷移すると判定された際の時刻（基準時刻）を記録しておくことで、ＣＰＵ３は、アイコンが表示状態に遷移してからの時間を計測することができる。
【0080】
以上、図８Ｂに示す処理によって、ＣＰＵ３は、撮像の状況（撮影者側の状況）に基づいて、ユーザーの視線が向けられた被写体のアイコンを表示するか否かを判定する。ＣＰＵ３は、図８Ｂの処理を終了し、図８ＡのステップＳ８０１０に進む。
【0081】
図８ＡのステップＳ８０１０では、ＣＰＵ３は、ステップＳ８００９による推定被写体を示すアイコンの表示判定の結果が「アイコンを表示」するであったか否かを判定する。判定結果が「アイコンを表示」するであった場合、処理はステップＳ８０１１に進む。判定結果が「アイコン表示は未確定」であった場合、処理はステップＳ８０２０に進む。
【0082】
ステップＳ８０１１では、ＣＰＵ３は、図８ＢのステップＳ８２０７で記録した基準時刻から所定時間が経過したか否かを判定する。すなわち、ＣＰＵ３は、推定被写体を示すアイコンが非表示状態から表示状態に遷移した時刻（基準時刻）から所定時間が経過したか否かを判定する。基準時刻から所定時間が経過した場合、処理はステップＳ８０１３に進む。基準時刻から所定時間が経過していない場合、処理はステップＳ８０１２に進む。
【0083】
ステップＳ８０１２では、ＣＰＵ３は、推定被写体を示すアイコン（例えば、図４（ａ）のアイコン４２３）を表示する。ステップＳ８０１３では、ＣＰＵ３は、推定被写体を示すアイコンを非表示とする。撮像状況が変化して推定被写体を示すアイコンを表示してから、所定時間が経過した後は、ユーザーは安定して所望の被写体に視線を向けられることが想定されるため、ＣＰＵ３は、推定被写体を示すアイコンを非表示とする。
【0084】
なお、推定被写体を示すアイコンを非表示状態から表示状態に切り替えて所定時間が経過すると、自動的に非表示とする例を示したが、ＣＰＵ３は、アイコンの表示状態を維持してもよい。また、基準時刻から推定被写体を示すアイコンを非表示とするまでの所定時間は、ユーザーによって設定できるようにしてもよい。ステップＳ８０１２およびステップＳ８０１３において、推定被写体を示すアイコンがそれぞれ表示状態および非表示状態になると、処理はステップＳ８００１に戻る。
【0085】
ステップ８０２０では、ＣＰＵ３は、被写体の状況に基づいて、ユーザーの視線が向けられた被写体を示すアイコンを表示するか否かを判定する。被写体の状況は、例えば、画像に含まれる被写体の数が変化したか否か、画像に含まれる被写体の数が２つ以上であるか否か、推定被写体が加速または減速する動作しているか否か、推定被写体が合焦状態であるか否かといった状況を含む。
【0086】
図８Ｃを参照して、ステップＳ８０２０の処理の詳細を説明する。ステップＳ８３０１では、ＣＰＵ３は、前回の画像（フレーム）から、画像内の被写体の数に増減があるか否かを判定する。なお、被写体の数は、画像内の被写体の数に限られず、視線位置の近傍で検出される被写体の数としてもよい。具体的には、被写体の数は、視線が向けられた推定被写体を含む所定の範囲で検出される被写体の数とすることができる。所定の範囲は、例
えば、画像を撮像する際の焦点距離、撮影距離、撮影モード情報および推定被写体の大きさのうちの少なくともいずれかに基づいて決定することができる。検出対象の被写体は、人物、動物、自動車など画像の解析により検出可能な被写体である。
えば、画像を撮像する際の焦点距離、撮影距離、撮影モード情報および推定被写体の大きさのうちの少なくともいずれかに基づいて決定することができる。検出対象の被写体は、人物、動物、自動車など画像の解析により検出可能な被写体である。
【0087】
なお、ＣＰＵ３は、画像に含まれる被写体のうち所定の種別の被写体を検出するようにしてもよい。例えば、ユーザーが所定の種別として動物を設定した場合、ＣＰＵ３は、動物を被写体として検出する。ユーザーは、所定の種別として複数の種別の被写体を設定してもよい。検出された被写体の数に増減がある場合、処理はＳ８３０２に進む。検出された被写体の数に増減がない場合、処理はＳ８３０３に進む。
【0088】
ステップＳ８３０２では、ＣＰＵ３は、推定被写体を示すアイコンを表示する、と判定する。推定被写体を示すアイコンを表示されることで、被写体の数に増減があった場合でも、ユーザーは、自身が見ている被写体を容易に確認することができる。
【0089】
ステップＳ８３０３では、ＣＰＵ３は、視線位置の近傍で検出される被写体の数が１つであるか否かを判定する。被写体の数が１つである場合、処理はステップＳ８３０４に進む。被写体の数が複数である場合、処理はステップＳ８３０７へ進む。
【0090】
ステップＳ８３０４では、ＣＰＵ３は、画面内の視線位置の近傍に存在する１つの被写体が合焦状態であるか否かを判定する。被写体が合焦状態である場合、処理はステップＳ８３０５に進む。被写体が合焦状態でない場合、処理はステップＳ８３０６に進む。
【0091】
ステップＳ８３０５では、ＣＰＵ３は、「アイコンを非表示」にすると判定する。ステップＳ８３０６では、ＣＰＵ３は、「アイコンを表示」すると判定する。ＣＰＵ３は、ユーザーが視線を向けている被写体が非合焦状態である場合にアイコンを表示することで、当該被写体が合焦状態でないことをユーザーに報知することができる。
【0092】
図１３（ａ），１３（ｂ）は、ステップＳ８３０１～Ｓ８３０６の処理で説明した被写体数の変化に基づくアイコン表示について説明する図である。図１３（ａ）は、時刻ｔ１１に、被写体１３０１が視線位置１３０２の近傍に存在する状況を示す。ユーザーの視線が向けられる対象が被写体１３０１であることが明白なため、推定被写体を示すアイコンおよび視線位置１３０２を示すアイコンは非表示とされる。
【0093】
図１３（ｂ）は、図１３（ａ）の状況の後、構図内に異なる被写体１３０３が入り込んできた状態を示す。被写体１３０３は視線位置１３０４の近傍に現れたため、ＣＰＵ３は、被写体１３０１および被写体１３０３のどちらに視線が向けられていたかをユーザーに報知することが好ましい。したがって、ＣＰＵ３は、ユーザーの視線が向けられた被写体を示すアイコン１３０５を表示する。なお、視線位置１３０４を示すアイコンは非表示とされる。
【0094】
ステップＳ８３０７では、ＣＰＵ３は、ユーザーの視線位置の近傍に存在する被写体が静止または等速動作中であるか否かを判定する。ステップＳ８３０７は視線位置の近傍に複数の被写体が存在する場合に実行される処理である。ＣＰＵ３は、視線位置の近傍の被写体の動き特性の情報（動き情報）を取得する。動き情報は、図９（ａ）～９（ｃ）を用いて説明した図８ＡのステップＳ８００３の方法と同様に取得することができる。被写体の動き特性（動作）によっては、ユーザーが所望の被写体を見失わないように、ユーザーの視線が向けられた被写体を示すアイコンが表示されることが好ましい。
【0095】
ＣＰＵ３は、動き情報に基づいて、視線位置の近傍に存在する被写体が静止または等速動作中であると判定した場合、ステップＳ８３０８に進む。一方、ＣＰＵ３は、視線位置
の近傍に存在する被写体のいずれかが、加速または減速しながら動作していると判定した場合、ステップＳ８３１０に進む。
の近傍に存在する被写体のいずれかが、加速または減速しながら動作していると判定した場合、ステップＳ８３１０に進む。
【0096】
ステップＳ８３０８では、ＣＰＵ３は、ユーザーが視線を向けている被写体が合焦状態であるか否かを判定する。ユーザーが視線を向けている被写体が合焦状態である場合、処理はステップＳ８３０９に進む。ユーザーが視線を向けている被写体が非合焦状態である場合、処理はステップＳ８３１０に進む。
【0097】
ステップＳ８３０９では、ＣＰＵ３は、「アイコンを非表示」にすると判定する。被写体が合焦状態である場合、ユーザーの視線は安定して所望の被写体に向けられていると想定されるため、推定被写体を示すアイコンは非表示にすると判定される。
【0098】
ステップＳ８３１０では、ＣＰＵ３は、「アイコンを表示」すると判定する。被写体が非合焦状態である場合、ユーザーが安定していないと想定されるため、推定被写体を示すアイコンを表示すると判定される。また、視線位置の近傍に存在する被写体が、加速または減速しながら動作している場合（例えば、ダンスなどの激しい動きをしている場合）、ＣＰＵ３は、ユーザーが視線を向けている被写体を示すアイコンを表示すると判定する。ユーザーが視線を向けている被写体を示すアイコンが表示されることで、ユーザーは所望の被写体を見失いにくくなる。
【0099】
図１４（ａ）～１４（ｄ）は、ステップＳ８３０７～Ｓ８３１０の処理で説明した被写体の動き情報に基づくアイコン表示について説明する図である。図１４（ａ）は、いわゆるポートレート撮影の例であり、複数の被写体は静止状態である。画像から検出された被写体１４０１は非合焦状態とする。ＣＰＵ３は、視線位置１４０２の近傍に存在する被写体１４０１にユーザーの視線が向けられていると推定し、被写体１４０１が推定被写体であることを示すアイコン１４０３を表示する。
【0100】
図１４（ｂ）は、被写体１４０１が合焦状態となった状況を示す。ＣＰＵ３は、被写体１４０１に対して、合焦状態であることを示すアイコン１４０４を表示し、推定被写体であることを示すアイコン１４０３を非表示とする。ＣＰＵ３は、合焦状態であることを示すアイコン１４０４を優先して表示することで、表示する情報量を抑制し、視認性を確保することができる。また、ＣＰＵ３は、被写体１４０１が合焦状態になったことを、ユーザーに対して適時に報知することができる。
【0101】
図１４（ｃ）は、視線位置の近傍の被写体１４１１と周辺に存在する複数の被写体とを含む被写体群１４１４が、同様の動き特性を有する状況を示す。図１４（ｃ）は、時刻ｔ２１での状況を示す。ＣＰＵ３は、視線位置１４１２の近傍に存在する被写体１４１１に対して、推定被写体であることを示すアイコン１４１３を表示する。
【0102】
図１４（ｄ）は、図１４（ｃ）の状況の後、被写体１４１１と周辺に存在する複数の被写体とを含む被写体群１４１４が同じ向きに略等速で移動している状況を示す。図１４（ｄ）は、時刻ｔ２２での状況を示す。このとき視線位置１４１２の近傍には、被写体１４１１とは異なる被写体１４１５が存在する。したがって、ユーザーの視線が向けられた被写体は、被写体１４１５と推定される。
【0103】
図１４（ｄ）では、被写体１４１５は合焦状態であるものとする。時刻ｔ２２では、被写体群１４１４に含まれる被写体１４１１および被写体１４１５は、同様の動き特性により移動している。ＣＰＵ３は、被写体１４１５に対して合焦状態であることを示すアイコン１４１６を表示するが、推定被写体であることを示すアイコンは表示しない。ＣＰＵ３は、被写体１４１５が推定被写体であることを示すアイコンは表示せず、アイコン１４１
６を優先して表示することで、表示する情報量を抑制して視認性を確保することができる。また、ＣＰＵ３は、被写体１４１５が合焦状態になったことを、ユーザーに対して適時に報知することができる。
６を優先して表示することで、表示する情報量を抑制して視認性を確保することができる。また、ＣＰＵ３は、被写体１４１５が合焦状態になったことを、ユーザーに対して適時に報知することができる。
【0104】
ステップＳ８３１２では、ＣＰＵ３は、ステップＳ８３０１～Ｓ８３１０までの処理で「アイコンを表示」すると判定されたか、「アイコンを非表示」にすると判定されたかを判定する。「アイコンを表示」すると判定された場合、処理はステップＳ８３１３に進む。「アイコンを非表示」にすると判定された場合、図８Ｃに示す処理は終了する。
【0105】
ステップＳ８３１３では、ＣＰＵ３は、推定被写体を示すアイコンが現時点で表示状態であるか非表示状態であるかを判定する。推定被写体を示すアイコンが非表示状態である場合、処理はステップＳ８３１４に進む。推定被写体を示すアイコンが表示状態である場合、図８Ｃに示す処理は終了する。
【0106】
ステップＳ８３１４では、ＣＰＵ３は、現在時刻を基準時刻として、メモリ部４に記録する。ステップＳ８３１４は、推定被写体を示すアイコンが現時点で非表示状態であり、「アイコンを表示」すると判定された場合の処理である。ＣＰＵ３は、アイコンが非表示状態から表示状態に切り替えると判定された時刻（基準時刻）を記録しておくことで、ＣＰＵ３は、アイコンが表示状態に遷移してからの時間を計測することができる。
【0107】
以上、図８Ｃに示す処理によって、ＣＰＵ３は、被写体の状況に基づいて、ユーザーの視線が向けられた被写体のアイコンを表示するか否かを判定する。ＣＰＵ３は、図８Ｃの処理を終了し、図８ＡのステップＳ８０２１に進む。
【0108】
図８ＡのステップＳ８０２１では、ＣＰＵ３は、ステップＳ８０２０による推定被写体を示すアイコンの表示判定の結果が「アイコンを表示」するであったか否かを判定する。判定結果が「アイコンを表示」するであった場合、処理はステップＳ８０２２に進む。判定結果が「アイコンを非表示」にするであった場合、処理はステップＳ８０２５に進む。
【0109】
ステップＳ８０２２では、ＣＰＵ３は、図８ＣのステップＳ８３１４で記録した基準時刻から所定時間が経過したか否かを判定する。すなわち、ＣＰＵ３は、推定被写体を示すアイコンが非表示状態から表示状態に遷移した時刻（基準時刻）から所定時間が経過したか否かを判定する。基準時刻から所定時間が経過した場合、処理はステップＳ８０２４に進む。基準時刻から所定時間が経過していない場合、処理はステップＳ８０２３に進む。
【0110】
ステップＳ８０２３では、ＣＰＵ３は、ユーザーの視線が向けられた被写体（推定被写体）を示すアイコンを表示する。ステップＳ８０２４では、ＣＰＵ３は、推定被写体を示すアイコンを非表示にする。ステップＳ８０２３およびステップＳ８０２４において、推定被写体を示すアイコンがそれぞれ表示状態および非表示状態になると、処理はステップＳ８００１に戻る。
【0111】
ステップＳ８０２５では、ＣＰＵ３は、ステップＳ８０２０の判定結果に対応して、ユーザーの視線が向けられた被写体（推定被写体）を示すアイコンを非表示にする。ステップＳ８０２６では、ＣＰＵ３は、ステップＳ８２０７またはステップＳ８３１４で記録した基準時刻を初期化し、ステップＳ８００１に戻る。
【0112】
上記の実施形態１によれば、カメラ１は、画像の撮像の状況および画像に含まれる被写体の状況の少なくとも一方に基づいて、ユーザーが視線を向けていると推定された被写体（推定被写体）を示すアイコンを表示するか否かを制御する。カメラ１は、推定被写体を示すアイコンを、自動的に表示したり非表示にしたりすることで、状況に応じた視認性の
確保および操作性の向上を両立させることが可能となる。
確保および操作性の向上を両立させることが可能となる。
【0113】
なお、図８Ａで説明したアイコン表示制御処理は、撮像状況に基づくアイコン表示判定（図８Ｂ）の後に、被写体状況に基づくアイコン表示判定（図８Ｃ）をする処理の例を示すが、判定の順序はこれに限られない。ＣＰＵ３は、撮像状況として説明した各種条件および被写体状況として説明した各種条件のうちの少なくともいずれかの条件を、任意の順序で判定することにより、推定被写体を示すアイコンを表示するか否かを判定してもよい。
【0114】
［実施形態２］
実施形態１では、カメラ１は、視線位置の近傍に存在する被写体の合焦状態を判定し、合焦状態である場合に、ユーザーの視線が向けられた被写体（推定被写体）を示すアイコンを非表示とするように制御する。一方、一般的な撮影手法として、特定の被写体にピントを合わせた後に構図を変える場合（フォーカスロック）、ピント位置を維持したまま他の被写体を探索するために視線位置を変える場合などが存在する。実施形態２は、被写体が合焦状態になってから、ユーザーが構図を変えたり視線位置を変えたりする場合に、推定被写体を示すアイコンを表示する実施形態である。被写体が合焦状態になった後も、推定被写体を示すアイコンを継続して表示することで、フォーカスロックおよび他の被写体の探索などに関する操作性は向上する。
実施形態１では、カメラ１は、視線位置の近傍に存在する被写体の合焦状態を判定し、合焦状態である場合に、ユーザーの視線が向けられた被写体（推定被写体）を示すアイコンを非表示とするように制御する。一方、一般的な撮影手法として、特定の被写体にピントを合わせた後に構図を変える場合（フォーカスロック）、ピント位置を維持したまま他の被写体を探索するために視線位置を変える場合などが存在する。実施形態２は、被写体が合焦状態になってから、ユーザーが構図を変えたり視線位置を変えたりする場合に、推定被写体を示すアイコンを表示する実施形態である。被写体が合焦状態になった後も、推定被写体を示すアイコンを継続して表示することで、フォーカスロックおよび他の被写体の探索などに関する操作性は向上する。
【0115】
図１５は、実施形態２に係るアイコン表示判定処理のフローチャートである。図１５の処理は、図８Ｃの被写体状況に基づくアイコン表示判定処理に対し、ステップＳ８５０１～Ｓ８５０４およびステップＳ８５０５～Ｓ８５１３を追加した処理である。図８Ｃと同じ処理については、同じ符号を付して詳細な説明は省略する。
【0116】
ステップＳ８３０４で、画面内の視線位置の近傍に存在する１つの被写体が合焦状態であると判定された場合、処理はステップＳ８５０１に進む。ステップＳ８５０１では、画面内の視線位置の近傍に１つの被写体が存在し、その被写体は合焦状態である。ステップＳ８５０１では、ＣＰＵ３は、合焦状態の被写体に対してフォーカス位置が固定されたフォーカスロック状態であって、視線位置がフォーカスロック対象の被写体（合焦状態の被写体）とは異なる位置にあるか否かを判定する。
【0117】
視線位置がフォーカスロック対象の被写体とは異なる位置にあるか否かは、例えば、フォーカスロック対象の被写体（合焦状態の被写体）と視線位置との距離が所定の閾値以上であるか否かによって判定することができる。ＣＰＵ３は、フォーカスロック対象の被写体と視線位置との距離が所定の閾値以上である場合に、視線位置がフォーカスロック対象の被写体とは異なる位置にあると判定する。所定の閾値は、カメラ１の撮影モード、焦点距離といったレンズの状態などに基づいて動的に切り替えられてもよい。
【0118】
視線位置がフォーカスロック対象の被写体とは異なる位置にある場合、処理はステップＳ８５０２に進む。視線位置がフォーカスロック対象の被写体の位置にない場合、処理はステップＳ８５０４に進む。
【0119】
ステップＳ８５０２では、ＣＰＵ３は、視線位置の近傍に、フォーカスロック対象の被写体とは異なる被写体が存在するか否かを判定する。視線位置の近傍に被写体が存在する場合、処理はステップＳ８５０３に進む。視線位置の近傍に被写体が存在しない場合、処理はステップＳ８５０４に進む。
【0120】
ステップＳ８５０３では、ＣＰＵ３は、「アイコンを表示」すると判定する。ステップＳ８５０４では、ＣＰＵ３は、「アイコンを非表示」にすると判定する。ユーザーがフォ
ーカスロック対象の被写体とは異なる被写体を見ている場合、ＣＰＵ３は、ユーザーの視線が向けられた被写体を示すアイコンを表示することで、ユーザーに対し推定被写体を報知することができる。
ーカスロック対象の被写体とは異なる被写体を見ている場合、ＣＰＵ３は、ユーザーの視線が向けられた被写体を示すアイコンを表示することで、ユーザーに対し推定被写体を報知することができる。
【0121】
ステップＳ８３０８で、ユーザーが視線を向けている被写体が合焦状態であると判定された場合、処理はステップＳ８５０５に進む。ステップＳ８５０５では、視線位置の近傍に複数の被写体が存在する。複数の被写体は静止または等速動作中であり合焦状態である。ステップＳ８５０５では、ＣＰＵ３は、合焦状態の被写体が静止しているか、等速で動作しているかを判定する。合焦状態の被写体が静止している場合、処理はステップＳ８５０６に進む。合焦状態の被写体が等速動作中である場合、処理はステップＳ８５１０に進む。
【0122】
ステップＳ８５０６では、合焦状態の被写体に対してフォーカス位置が固定されたフォーカスロック状態であり、ＣＰＵ３は、視線位置がフォーカスロック対象の被写体（合焦状態の被写体）とは異なる位置にあるか否かを判定する。視線位置がフォーカスロック対象の被写体とは異なる位置にある場合、処理はステップＳ８５０７に進む。視線位置がフォーカスロック対象の被写体の位置にある場合、処理はステップＳ８５０９に進む。
【0123】
ステップＳ８５０７では、ＣＰＵ３は、視線位置の近傍に、フォーカスロック対象の被写体とは異なる被写体が存在するか否かを判定する。視線位置の近傍に被写体が存在する場合、処理はステップＳ８５０８に進む。視線位置の近傍に被写体が存在しない場合、処理はステップＳ８５０９に進む。
【0124】
ステップＳ８５０８では、ＣＰＵ３は、「アイコンを表示」すると判定する。ステップＳ８５０９では、ＣＰＵ３は、「アイコンを非表示」にすると判定する。ユーザーがフォーカスロック対象の被写体とは異なる被写体を見ている場合、ＣＰＵ３は、推定被写体を示すアイコンを表示することで、ユーザーの視線が向けられた被写体を、ユーザーに報知することができる。
【0125】
図１６（ａ）～１６（ｄ）は、フォーカスロック状態でのアイコン表示について説明する図である。図１６（ａ）および図１６（ｂ）の被写体１４０１、視線位置１４０２、アイコン１４０３、アイコン１４０４は、実施形態１の図１４（ａ），１４（ｂ）と同様である。図１６（ａ）では、視線位置１４０２の近傍に被写体１４０１が存在する。図１６（ｂ）では、被写体１４０１が合焦状態となり、合焦状態であることを示すアイコン１４０４が表示される。一方、推定被写体を示すアイコン１４０３は非表示となる。また、ＣＰＵ３は、被写体１４０１に対してフォーカスをロック状態に設定する。
【0126】
図１６（ｃ）は、図１６（ｂ）で被写体１４０１に対してフォーカスをロックした状態から、ユーザーの視線が被写体１４０１とは異なる視線位置１６０１に移動した状況を示す。ユーザーの視線が視線位置１６０１に移動しても、被写体１４０１に対してフォーカスロック状態である場合、ＣＰＵ３は、被写体１４０１が合焦状態であることを示すアイコン１４０４の表示を維持する。視線位置１６０１の近傍には被写体が存在しないため、ＣＰＵ３は、ユーザーの視線が向けられている被写体を示すアイコン（第１アイテム）および視線位置を示すアイコン（第２アイテム）を表示しない。
【0127】
図１６（ｄ）は、図１６（ｃ）の状況から、ユーザーの視線が視線位置１６０２に移動した状況を示す。ユーザーの視線が視線位置１６０１に移動しても、被写体１４０１に対してフォーカスロック状態であるため、ＣＰＵ３は、被写体１４０１が合焦状態であることを示すアイコン１４０４の表示を維持する。また、ＣＰＵ３は、視線位置１６０２の近傍に存在する被写体１６０３に対して、ユーザーの視線が向けられた被写体を示すアイコ
ン１６０４を表示する。合焦位置を示すアイコン１４０４および推定被写体を示すアイコン１６０４を表示することにより、ＣＰＵ３は、合焦位置とともに、ユーザーが視線を向けた他の所望の被写体を、ユーザーに報知することが可能となる。
ン１６０４を表示する。合焦位置を示すアイコン１４０４および推定被写体を示すアイコン１６０４を表示することにより、ＣＰＵ３は、合焦位置とともに、ユーザーが視線を向けた他の所望の被写体を、ユーザーに報知することが可能となる。
【0128】
なお、フォーカスロック機能はオートフォーカスのモードがワンショットモードである場合に動作することが一般的であるが、実施形態２は、サーボモードといった他のモードでも適用可能である。例えば、被写体１４０１がサーボモードで合焦している状況で、ユーザーが視線を他の被写体に移した場合、ＣＰＵ３は、図１６（ｃ），１６（ｄ）で説明した処理と同様に各アイコンの表示制御をしてもよい。
【0129】
ステップＳ８５１０では、合焦状態の被写体が等速動作中であり、ＣＰＵ３は、視線位置が合焦状態（動体被写体に対してピント追従が成功している状態）の被写体とは異なる位置にあるか否かを判定する。視線位置がフォーカスロック対象の被写体とは異なる位置にある場合、処理はステップＳ８５１１に進む。視線位置が合焦状態の被写体の位置にある場合、処理はステップＳ８５１３に進む。
【0130】
ステップＳ８５１１では、ＣＰＵ３は、視線位置の近傍に、ピント追従に成功している被写体とは異なる被写体が存在するか否かを判定する。視線位置の近傍に被写体が存在する場合、処理はステップＳ８５１２に進む。視線位置の近傍に被写体が存在しない場合、処理はステップＳ８５１３に進む。
【0131】
ステップＳ８５１２では、ＣＰＵ３は、「アイコンを表示」すると判定する。ステップＳ８５１３では、ＣＰＵ３は、「アイコンを非表示」にすると判定する。ユーザーがピント追従に成功している等速動作中の被写体とは異なる被写体を見ている場合、ＣＰＵ３は、推定被写体を示すアイコンを表示することで、ユーザーの視線が向けられた被写体を報知することができる。
【0132】
図１７（ａ）～１７（ｃ）は、ピント追従状態でのアイコン表示について説明する図である。図１７（ａ）および図１７（ｂ）の被写体１４１１、視線位置１４１２、アイコン１４１３、被写体１４１５、アイコン１４１６は、実施形態１の図１４（ｃ），１４（ｄ）と同様である。被写体１４１１および被写体１４１５は、等速で移動中（等速動作中）であり、図１７（ｂ）では、視線位置１４１２の近傍に存在する被写体１４１５が合焦状態となっている。ＣＰＵ３は、被写体１４１５が合焦状態であることを示すアイコン１４１６を表示し、ユーザーの視線が向けられた被写体（図１７（ｂ）では被写体１４１５）を示すアイコンを非表示にする。
【0133】
図１７（ｃ）では、ＣＰＵ３は、被写体１４１５に対してサーボＡＦモード（被写体の動きに合わせてピントを合わせ続けるモード）などでピント位置の追従または予測動作を行う。図１７（ｃ）は、被写体１４１５が合焦状態でピント追従に成功している状態で、ユーザーの視線が視線位置１７０１に移動した状況を示す。
【0134】
ユーザーの視線が視線位置１７０１に移動しても、被写体１４１５に対してピント追従に成功している場合、ＣＰＵ３は、被写体１４１５が合焦状態であることを示すアイコン１４１６の表示を維持する。また、ＣＰＵ３は、視線位置１７０１の近傍に存在する被写体１７０２に対して、ユーザーの視線が向けられた被写体を示すアイコン１７０３を表示する。合焦位置を示すアイコン１４１６および推定被写体を示すアイコン１７０３を表示することにより、ＣＰＵ３は、合焦位置とともに、ユーザーが視線を向けた他の所望の被写体を、ユーザーに報知することが可能となる。
【0135】
上記の実施形態２によれば、カメラ１は、被写体が合焦状態となり、当該被写体が推定
被写体であることを示すアイコンを非表示としても、ユーザーの視線が他の被写体に移った場合には、他の被写体が推定被写体であることを示すアイコンを表示する。すなわち、カメラ１は、視線位置近傍の被写体に対して合焦またはピント追従している状態において、視認性を良くするために視線が向けられた被写体を示すアイコンを非表示とする。そして、カメラ１は、ユーザーが他の被写体に視線を移した場合には、視線位置近傍の被写体に対し、ユーザーの視線が向けられた被写体（推定被写体）を示すアイコンを表示する。カメラ１は、被写体への合焦またはピント追従状態で、ユーザーが他の被写体に視線を向けた場合に、推定被写体を示すアイコンを表示することで、視認性の確保および操作性の向上を両立させることが可能となる。
被写体であることを示すアイコンを非表示としても、ユーザーの視線が他の被写体に移った場合には、他の被写体が推定被写体であることを示すアイコンを表示する。すなわち、カメラ１は、視線位置近傍の被写体に対して合焦またはピント追従している状態において、視認性を良くするために視線が向けられた被写体を示すアイコンを非表示とする。そして、カメラ１は、ユーザーが他の被写体に視線を移した場合には、視線位置近傍の被写体に対し、ユーザーの視線が向けられた被写体（推定被写体）を示すアイコンを表示する。カメラ１は、被写体への合焦またはピント追従状態で、ユーザーが他の被写体に視線を向けた場合に、推定被写体を示すアイコンを表示することで、視認性の確保および操作性の向上を両立させることが可能となる。
【0136】
なお、上記実施形態はあくまで一例であり、本発明の要旨の範囲内で上記実施形態の構成を適宜変形したり変更したりすることにより得られる構成も、本発明に含まれる。上記実施形態の構成を適宜組み合わせて得られる構成も、本発明に含まれる。
【0137】
例えば、ＥＶＦ（電子ビューファインダー）で被写体を見る場合の例を説明したが、ＯＶＦ（光学ビューファインダー）で被写体を見る場合にも本発明は適用可能である。本発明は撮像装置（カメラ）以外にも適用可能であり、３次元のコンピュータグラフィックなどを見る場合にも適用可能である。本発明は、視点を検出することのできる様々な電子機器に適用可能である。
【0138】
［他の電子機器への適用例］
図１８（ａ）は、ノート型パーソナルコンピュータ１８１０（ノートＰＣ）の外観図である。図１８（ａ）では、ノートＰＣ１８１０の表示部１８１１を見るユーザーを撮像する撮像ユニット１８１５がノートＰＣ１８１０に接続されており、ノートＰＣ１８１０は撮像ユニット１８１５から撮像結果を取得する。そして、ノートＰＣ１８１０は、撮像結果に基づいてユーザーの視点を検出する。本発明は、ノートＰＣ１８１０にも適用可能である。
図１８（ａ）は、ノート型パーソナルコンピュータ１８１０（ノートＰＣ）の外観図である。図１８（ａ）では、ノートＰＣ１８１０の表示部１８１１を見るユーザーを撮像する撮像ユニット１８１５がノートＰＣ１８１０に接続されており、ノートＰＣ１８１０は撮像ユニット１８１５から撮像結果を取得する。そして、ノートＰＣ１８１０は、撮像結果に基づいてユーザーの視点を検出する。本発明は、ノートＰＣ１８１０にも適用可能である。
【0139】
図１８（ｂ）は、スマートフォン１８２０の外観図である。図１８（ｂ）では、スマートフォン１８２０は、インカメラ１８２１（フロントカメラ）の撮像結果に基づいて、スマートフォン１８２０の表示部１８２２を見るユーザーの視点を検出する。本発明は、スマートフォン１８２０にも適用可能である。同様に、本発明は、種々のタブレット端末にも適用可能である。
【0140】
図１８（ｃ）は、ゲーム機１８３０の外観図である。図１８（ｃ）では、ゲームのＶＲ（Ｖｉｒｔｕａｌ Ｒｅａｌｉｔｙ）画像を表示部１８３６に表示するヘッドマウントディスプレイ１８３５（ＨＭＤ）が、ゲーム機１８３０に接続されている。ＨＭＤ１８３５は、ＨＭＤ１８３５を装着したユーザーの眼を撮像するカメラ１８３７を有しており、ゲーム機１８３０は、ＨＭＤ１８３５から撮像結果を取得する。そして、ゲーム機１８３０は、撮像結果に基づいてユーザーの視点を検出する。本発明は、ゲーム機１８３０にも適用可能である。ゲーム機１８３０の構成要素はＨＭＤ１８３５に内蔵されていてもよい。従って、本発明は、ＨＭＤ１８３５にも適用可能である。ＨＭＤに表示したＶＲ画像を見る場合に本発明が適用可能であるのと同様に、眼鏡型のウェアラブル端末のレンズ部分などに表示したＡＲ（Ａｕｇｍｅｎｔｅｄ Ｒｅａｌｉｔｙ）画像や、レンズ部分の先にある実物を見る場合にも本発明は適用可能である。ＶＲ技術やＡＲ技術に本発明が適用可能であるのと同様に、ＭＲ（Ｍｉｘｅｄ Ｒｅａｌｉｔｙ）技術やＳＲ（Ｓｕｂｓｔｉｔｕｔｉｏｎａｌ Ｒｅａｌｉｔｙ）技術などの別のｘＲ技術にも本発明は適用可能である。
【0141】
［その他の実施形態］
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は
記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は
記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。
【0142】
本実施形態の開示は、以下の構成、方法、プログラムおよび媒体を含む。
（構成１）
撮像された画像を見るユーザーの視線位置の情報を取得する取得手段と、
前記ユーザーの視線位置に基づいて、前記ユーザーの視線が向けられた被写体を推定する推定手段と、
前記画像の撮像の状況および前記画像に含まれる被写体の状況の少なくとも一方に基づいて、前記推定手段によって推定された被写体を示す第１アイテムを表示するか否かを制御する制御手段と
を有することを特徴とする電子機器。
（構成２）
前記制御手段は、前記ユーザーの視線位置が前記画像に含まれる被写体から離れた位置に存在する場合に、前記ユーザーの視線位置を示す第２アイテムを表示するように制御する
ことを特徴とする構成１に記載の電子機器。
（構成３）
前記制御手段は、
前記ユーザーが前記推定手段によって推定された被写体に注目している場合、
前記画像の撮像範囲が変化した場合、または
前記画像を撮像する撮像装置の姿勢が変化した場合に、
前記第１アイテムを表示するように制御する
ことを特徴とする構成１または２に記載の電子機器。
（構成４）
前記制御手段は、所定の時間における前記ユーザーの視線位置の移動量が第１閾値より小さい場合、または所定の時間におけるまばたきの回数が第２閾値より小さい場合に、前記ユーザーが前記推定手段によって推定された被写体に注目していると判定する
ことを特徴とする構成３に記載の電子機器。
（構成５）
前記制御手段は、ズーム操作が行われた場合、前記ズーム操作による焦点距離の変化量が第３閾値より大きい場合、または前記ズーム操作によるズーム倍率の変化量が第４閾値より大きい場合に、前記画像の撮像範囲が変化したと判定する
ことを特徴とする構成３に記載の電子機器。
（構成６）
前記制御手段は、パン操作もしくはチルト操作が行われた場合、または前記パン操作もしくは前記チルト操作による撮像範囲の移動量が第５閾値より大きい場合に、前記画像の撮像範囲が変化したと判定する
ことを特徴とする構成３に記載の電子機器。
（構成７）
前記制御手段は、前記ユーザーの視線位置の情報が取得された状態で前記撮像装置の姿勢が変化したか否かを判定する
ことを特徴とする構成３に記載の電子機器。
（構成８）
前記制御手段は、
前記画像に含まれる被写体の数が変化した場合、
前記画像に含まれる被写体の数が２つ以上である場合、
前記推定手段によって推定された被写体が加速または減速する動作をしている場合、または
前記推定手段によって推定された被写体が合焦状態でない場合に、
前記第１アイテムを表示するように制御する
ことを特徴とする構成１～７のいずれかに記載の電子機器。
（構成９）
前記被写体の数は、前記画像に含まれる被写体のうち所定の種別の被写体の数である
ことを特徴とする構成８に記載の電子機器。
（構成１０）
前記被写体の数は、前記推定手段によって推定された被写体を含む所定の範囲で検出される被写体の数である
ことを特徴とする構成８または９に記載の電子機器。
（構成１１）
前記所定の範囲は、前記画像を撮像する際の焦点距離、撮影距離、撮影モード情報および前記推定手段によって推定された被写体の大きさのうちの少なくともいずれかに基づいて決定される
ことを特徴とする構成１０に記載の電子機器。
（構成１２）
前記制御手段は、前記推定手段によって推定された被写体が合焦状態であり、前記合焦状態の被写体とは異なる被写体に対して、前記ユーザーの視線位置が検出された場合に、前記第１アイテムを表示するように制御する
ことを特徴とする構成８～１１のいずれかに記載の電子機器。
（構成１３）
前記制御手段は、前記ユーザーの視線位置の情報の取得に失敗した場合、
前記画像の前に撮像された画像に対して前記第１アイテムを表示していなかった場合は、前記画像に対しても前記第１アイテムを表示せず、
前記画像の前に撮像された画像に対して前記第１アイテムを表示していた場合は、前記画像に対し、前記画像の前に撮像された画像と同じ位置に前記第１アイテムを表示する、
ように制御する
ことを特徴とする構成１～１２のいずれかに記載の電子機器。
（構成１４）
前記制御手段は、前記ユーザーの視線位置の情報の取得に失敗し、前記画像に対して前記第１アイテムを表示する場合、前記ユーザーの視線位置の情報の取得に成功した場合とは異なる態様で前記第１アイテムを表示する
ことを特徴とする構成１３に記載の電子機器。
（方法）
撮像された画像を見るユーザーの視線位置の情報を取得する取得ステップと、
前記ユーザーの視線位置に基づいて、前記ユーザーの視線が向けられた被写体を推定する推定ステップと、
前記画像の撮像の状況および前記画像に含まれる被写体の状況の少なくとも一方に基づいて、前記推定ステップで推定された被写体を示す第１アイテムを表示するか否かを制御する制御ステップと
を有することを特徴とする電子機器の制御方法。
（プログラム）
コンピュータを、構成１～１４のいずれかに記載の電子機器の各手段として機能させるためのプログラム。
（媒体）
コンピュータを、構成１～１４のいずれかに記載の電子機器の各手段として機能させるためのプログラムを格納したコンピュータが読み取り可能な記憶媒体。
（構成１）
撮像された画像を見るユーザーの視線位置の情報を取得する取得手段と、
前記ユーザーの視線位置に基づいて、前記ユーザーの視線が向けられた被写体を推定する推定手段と、
前記画像の撮像の状況および前記画像に含まれる被写体の状況の少なくとも一方に基づいて、前記推定手段によって推定された被写体を示す第１アイテムを表示するか否かを制御する制御手段と
を有することを特徴とする電子機器。
（構成２）
前記制御手段は、前記ユーザーの視線位置が前記画像に含まれる被写体から離れた位置に存在する場合に、前記ユーザーの視線位置を示す第２アイテムを表示するように制御する
ことを特徴とする構成１に記載の電子機器。
（構成３）
前記制御手段は、
前記ユーザーが前記推定手段によって推定された被写体に注目している場合、
前記画像の撮像範囲が変化した場合、または
前記画像を撮像する撮像装置の姿勢が変化した場合に、
前記第１アイテムを表示するように制御する
ことを特徴とする構成１または２に記載の電子機器。
（構成４）
前記制御手段は、所定の時間における前記ユーザーの視線位置の移動量が第１閾値より小さい場合、または所定の時間におけるまばたきの回数が第２閾値より小さい場合に、前記ユーザーが前記推定手段によって推定された被写体に注目していると判定する
ことを特徴とする構成３に記載の電子機器。
（構成５）
前記制御手段は、ズーム操作が行われた場合、前記ズーム操作による焦点距離の変化量が第３閾値より大きい場合、または前記ズーム操作によるズーム倍率の変化量が第４閾値より大きい場合に、前記画像の撮像範囲が変化したと判定する
ことを特徴とする構成３に記載の電子機器。
（構成６）
前記制御手段は、パン操作もしくはチルト操作が行われた場合、または前記パン操作もしくは前記チルト操作による撮像範囲の移動量が第５閾値より大きい場合に、前記画像の撮像範囲が変化したと判定する
ことを特徴とする構成３に記載の電子機器。
（構成７）
前記制御手段は、前記ユーザーの視線位置の情報が取得された状態で前記撮像装置の姿勢が変化したか否かを判定する
ことを特徴とする構成３に記載の電子機器。
（構成８）
前記制御手段は、
前記画像に含まれる被写体の数が変化した場合、
前記画像に含まれる被写体の数が２つ以上である場合、
前記推定手段によって推定された被写体が加速または減速する動作をしている場合、または
前記推定手段によって推定された被写体が合焦状態でない場合に、
前記第１アイテムを表示するように制御する
ことを特徴とする構成１～７のいずれかに記載の電子機器。
（構成９）
前記被写体の数は、前記画像に含まれる被写体のうち所定の種別の被写体の数である
ことを特徴とする構成８に記載の電子機器。
（構成１０）
前記被写体の数は、前記推定手段によって推定された被写体を含む所定の範囲で検出される被写体の数である
ことを特徴とする構成８または９に記載の電子機器。
（構成１１）
前記所定の範囲は、前記画像を撮像する際の焦点距離、撮影距離、撮影モード情報および前記推定手段によって推定された被写体の大きさのうちの少なくともいずれかに基づいて決定される
ことを特徴とする構成１０に記載の電子機器。
（構成１２）
前記制御手段は、前記推定手段によって推定された被写体が合焦状態であり、前記合焦状態の被写体とは異なる被写体に対して、前記ユーザーの視線位置が検出された場合に、前記第１アイテムを表示するように制御する
ことを特徴とする構成８～１１のいずれかに記載の電子機器。
（構成１３）
前記制御手段は、前記ユーザーの視線位置の情報の取得に失敗した場合、
前記画像の前に撮像された画像に対して前記第１アイテムを表示していなかった場合は、前記画像に対しても前記第１アイテムを表示せず、
前記画像の前に撮像された画像に対して前記第１アイテムを表示していた場合は、前記画像に対し、前記画像の前に撮像された画像と同じ位置に前記第１アイテムを表示する、
ように制御する
ことを特徴とする構成１～１２のいずれかに記載の電子機器。
（構成１４）
前記制御手段は、前記ユーザーの視線位置の情報の取得に失敗し、前記画像に対して前記第１アイテムを表示する場合、前記ユーザーの視線位置の情報の取得に成功した場合とは異なる態様で前記第１アイテムを表示する
ことを特徴とする構成１３に記載の電子機器。
（方法）
撮像された画像を見るユーザーの視線位置の情報を取得する取得ステップと、
前記ユーザーの視線位置に基づいて、前記ユーザーの視線が向けられた被写体を推定する推定ステップと、
前記画像の撮像の状況および前記画像に含まれる被写体の状況の少なくとも一方に基づいて、前記推定ステップで推定された被写体を示す第１アイテムを表示するか否かを制御する制御ステップと
を有することを特徴とする電子機器の制御方法。
（プログラム）
コンピュータを、構成１～１４のいずれかに記載の電子機器の各手段として機能させるためのプログラム。
（媒体）
コンピュータを、構成１～１４のいずれかに記載の電子機器の各手段として機能させるためのプログラムを格納したコンピュータが読み取り可能な記憶媒体。
【符号の説明】
【0143】
１：カメラ（電子機器）、３：ＣＰＵ、１０：表示デバイス、１１：表示デバイス駆動回路、１７：眼用撮像素子、２０１：視線検出回路、２０８：画像処理部
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8A】
【図8B】
【図8C】
【図9】
【図10】
【図11】
【図12】
【図13】
【図14】
【図15】
【図16】
【図17】
【図18】