特開 2024-173037 電子機器、その制御方法、及びプログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2024173037

(43)【公開日】2024-12-12

(54)【発明の名称】電子機器、その制御方法、及びプログラム

(51)【国際特許分類】

   G06F 3/04812 20220101AFI20241205BHJP

   H04N 23/63 20230101ALI20241205BHJP

   G06F 3/0346 20130101ALI20241205BHJP

   G03B 7/00 20210101ALI20241205BHJP

   G02B 7/28 20210101ALI20241205BHJP

   G03B 13/36 20210101ALI20241205BHJP

   G03B 17/20 20210101ALI20241205BHJP

【ＦＩ】

G06F3/04812

H04N23/63 100

G06F3/0346 423

G03B7/00

G02B7/28 N

G03B13/36

G03B17/20

【審査請求】未請求

【請求項の数】12

【出願形態】ＯＬ

(21)【出願番号】P 2023091152

(22)【出願日】2023-06-01

(71)【出願人】

【識別番号】000001007

【氏名又は名称】キヤノン株式会社

(74)【代理人】

【識別番号】100126240

【弁理士】

【氏名又は名称】阿部 琢磨

(74)【代理人】

【識別番号】100223941

【弁理士】

【氏名又は名称】高橋 佳子

(74)【代理人】

【識別番号】100159695

【弁理士】

【氏名又は名称】中辻 七朗

(74)【代理人】

【識別番号】100172476

【弁理士】

【氏名又は名称】冨田 一史

(74)【代理人】

【識別番号】100126974

【弁理士】

【氏名又は名称】大朋 靖尚

(72)【発明者】

【氏名】植草 友貴

【テーマコード（参考）】

2H002

2H011

2H102

2H151

5B087

5C122

5E555

【Ｆターム（参考）】

2H002GA63

2H011BA23

2H102AA44

2H102BB26

2H102CA11

2H151BA01

2H151CB22

2H151DA03

2H151DA10

2H151DA25

2H151DA26

5B087AA09

5B087CC33

5C122DA03

5C122DA04

5C122DA09

5C122EA47

5C122FD01

5C122FH02

5C122FH03

5C122FH07

5C122FK09

5C122FK12

5C122FK28

5C122FK37

5C122FK40

5C122FK41

5C122FL08

5C122GA01

5C122HA13

5C122HA35

5C122HA46

5C122HA75

5C122HA86

5C122HB01

5C122HB05

5C122HB06

5E555AA06

5E555BA18

5E555BB18

5E555BC08

5E555CA42

5E555CB65

5E555CC22

5E555DB06

5E555DB53

5E555DC09

5E555DC10

5E555DC13

5E555DC25

5E555DC35

5E555DD06

5E555DD08

5E555EA11

5E555EA22

5E555FA00

(57)【要約】

【課題】 場合に応じて、ポインタの表示方法を切り換えるとともに、視線位置に表示されている表示アイテムに関する処理を実行する場合は、表示アイテムの表示形態を変更し、ユーザの操作性を向上させる。
【解決手段】 本発明の電子機器は、表示手段を見るユーザの視線位置を検出する検出手段と、撮像手段により撮像されたライブビュー画像が前記表示手段に表示され、かつ、視線位置が、前記ライブビュー画像上で所定の処理が実行される位置である場合、視線位置に第１ポインタを表示し、表示アイテムが前記表示手段に表示され、かつ、視線位置が、前記表示アイテムに関する処理が実行される位置である場合、前記表示アイテムの表示形態を変更し、視線位置が、所定の処理が実行されない位置である場合、視線位置に前記第１ポインタと比べて明示的でない前記第２ポインタを表示するように制御する制御手段とを有することを特徴とする。
【選択図】 図６

【特許請求の範囲】

【請求項1】

表示手段を見るユーザの視線位置を検出する検出手段と、
撮像手段により撮像されたライブビュー画像が前記表示手段に表示され、かつ、前記検出手段により検出された視線位置が、前記ライブビュー画像上で所定の処理が実行される位置である場合、視線位置に第１ポインタを表示するように制御し、
表示アイテムが前記表示手段に表示され、かつ、前記検出手段により検出された視線位置が、前記表示アイテムに関する処理が実行される位置である場合、前記表示アイテムの表示形態を変更するように制御し、
前記検出手段により検出された視線位置が、所定の処理が実行されない位置である場合、視線位置に前記第１ポインタと比べて明示的でない前記第２ポインタを表示するように制御する制御手段とを有することを特徴とする電子機器。

【請求項2】

前記表示アイテムのサイズは、前記第２ポインタのサイズに対して、所定の値以下であることを特徴とする請求項１に記載の電子機器。

【請求項3】

前記表示アイテムが前記表示手段に表示され、かつ、前記検出手段により検出された視線位置が、前記表示アイテムに関する処理が実行される位置である場合、前記制御手段が、視線位置に前記第２ポインタを表示するように制御することを特徴とする請求項１に記載の電子機器。

【請求項4】

前記第１ポインタ及び前記第２ポインタが線で表される場合、前記制御手段は、前記第１ポインタ及び前記第２ポインタの前記線の透過率、色、太さ、種類、又は数を変更して表示するように制御することを特徴とする請求項１に記載の電子機器。

【請求項5】

前記ライブビュー画像に前記撮像手段による撮像を補助するための情報が重畳して表示され、かつ、視線位置に前記撮像を補助するための情報が表示されている場合、前記制御手段は、視線位置に前記第１ポインタを表示するように制御することを特徴とする請求項１に記載の電子機器。

【請求項6】

前記撮像を補助するための情報は、前記電子機器の傾きに関する情報、検出された被写体の位置やフォーカス位置を示す情報、前記撮像手段により撮像された画像の明るさに関する情報であることを特徴とする請求項５に記載の電子機器。

【請求項7】

前記表示アイテムの表示形態は、前記表示アイテムの枠の太さ又は色、前記表示アイテムの背景色、前記表示アイテムの表示サイズの少なくとも１つを変更することを特徴とする請求項１に記載の電子機器。

【請求項8】

ユーザによる操作を受け付けるための操作手段をさらに有し、
前記操作手段による操作を受け付けた場合、前記制御手段は、視線による操作を中断し、中断時の視線位置の最近傍の表示アイテムを起点として、前記操作手段による操作を行うように制御することを特徴とする請求項１に記載の電子機器。

【請求項9】

ユーザによる操作を受け付けるための操作手段をさらに有し、
前記第１ポインタ表示中に前記操作手段によりＡＦ処理を実行するための操作を受け付けた場合、前記制御手段は、撮影待機画面でなければ撮影待機画面への切り替えとＡＦ位置の決定を行うように制御することを特徴とする請求項１に記載の電子機器。

【請求項10】

表示手段を見るユーザの視線位置を検出する検出ステップと、
撮像手段により撮像されたライブビュー画像が前記表示手段に表示され、かつ、前記検出手段により検出された視線位置が、前記ライブビュー画像上で所定の処理が実行される位置である場合、視線位置に第１ポインタを表示するように制御し、
表示アイテムが前記表示手段に表示され、かつ、前記検出手段により検出された視線位置が、前記表示アイテムに関する処理が実行される位置である場合、前記表示アイテムの表示形態を変更するように制御し、
前記検出手段により検出された視線位置が、所定の処理が実行されない位置である場合、視線位置に前記第１ポインタと比べて明示的でない前記第２ポインタを表示するように制御する制御ステップとを有することを特徴とする電子機器の制御方法。

【請求項11】

コンピュータに請求項１０に記載の電子機器の制御方法を実行させるためのプログラム。

【請求項12】

コンピュータに請求項１０に記載の電子機器の制御方法を実行させるためのプログラムを記録したコンピュータが読み取り可能な記録媒体。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、電子機器、その制御方法、及びプログラムに関する。

【背景技術】

【0002】

近年デジタルカメラのミラーレス化が進み、手動で十字キーやマルチコントローラー等を操作せずとも、ユーザの視線で操作することができる、「視線入力」の技術を搭載した電子機器が知られている。この「視線入力」の技術において、ユーザが自身の視線位置を把握するために、ユーザの視線位置に視線ポインタを表示することも知られている。

【0003】

特許文献１では、ライブビュー画像上で、ユーザが視線入力を使用して所望の領域を選択する場合に、ユーザの視線位置を示す領域である視線ポインタを表示する。特許文献１では、さらに、視線ポインタの付近に表示される被写体を選択領域として選択することで、スムーズな操作性を実現する撮像装置が開示されている。

【0004】

また、人間の眼球には、固視微動と呼ばれる、ある一点を注視している際にも眼球が細かい運動を起こすという特性がある。特許文献２では、その固視微動の影響を緩和するために視線ポインタをある程度大きい大きさで、所定期間分平均化した位置に基づいて表示することで、不快感を軽減する技術が開示されている。

【先行技術文献】

【特許文献】

【0005】

【特許文献1】特開２０２１－８７０６８号公報

【特許文献2】特開２０２１－１０８４４７号公報

【発明の概要】

【発明が解決しようとする課題】

【0006】

しかしながら、特許文献１の撮像装置では、ユーザが視線入力を使用した所望の領域の選択を行わずに、単に撮像に関する情報を見ている場合、視線位置を示す視線ポインタを表示すると、撮像に関する情報が視認しにくくなってしまう可能性がある。また、特許文献１の撮像装置では、撮像に関する設定画面上などでユーザの視線位置に基づく位置に表示されている表示アイテムを選択する場合、視線位置を示す視線ポインタを表示すると、表示アイテムの視認性が低下してしまう可能性がある。

【0007】

そのため、ライブビュー画像上で所望の領域を選択する場合に表示されるポインタに比べて、ユーザが所望の領域の選択をしない場合に表示されるポインタや、撮像に関する設定画面上などの表示アイテムに表示されるポインタの視認性を低下させる必要がある。

【0008】

しかしながら、特に、撮像に関する設定画面上などで、ユーザの視線位置に基づく位置に表示されている表示アイテムを選択する場合は、視線入力を使用して選択した表示アイテムに関する処理を実行したいというユーザの意図がある。そのため、ポインタの視認性を低くしたとしても、特許文献２に記載のような、表示アイテムと比べて大きいサイズのポインタが表示アイテムに表示されてしまうと、表示アイテムの視認性が低下し、ユーザの操作性が低くなってしまう可能性がある。

【0009】

そこで、本発明では、ユーザの視線位置が、ライブビュー画像上で所定の処理が実行される直前の状態と思われる位置である場合と、所定の処理が実行されない直前の状態と思われる位置である場合とで、ポインタの表示方法を切り換える。本発明では、さらに、ユーザの視線位置が、表示アイテムに関する処理が実行される直前の状態と思われる位置である場合に、表示アイテムの表示形態を変更する。これにより、ユーザの操作性を向上させることを目的とする。

【課題を解決するための手段】

【0010】

上記目的を達成するために、本発明の電子機器は、表示手段を見るユーザの視線位置を検出する検出手段と、撮像手段により撮像されたライブビュー画像が前記表示手段に表示され、かつ、前記検出手段により検出された視線位置が、前記ライブビュー画像上で所定の処理が実行される位置である場合、視線位置に第１ポインタを表示するように制御し、表示アイテムが前記表示手段に表示され、かつ、前記検出手段により検出された視線位置が、前記表示アイテムに関する処理が実行される位置である場合、前記表示アイテムの表示形態を変更するように制御し、前記検出手段により検出された視線位置が、所定の処理が実行されない位置である場合、視線位置に前記第１ポインタと比べて明示的でない前記第２ポインタを表示するように制御する制御手段とを有することを特徴とする。

【発明の効果】

【0011】

本発明によれば、ライブビュー画像上で所定の処理が実行される直前の状態と思われる位置である場合と、所定の処理が実行されない直前の状態と思われる位置である場合とで、ポインタの表示方法を切り換えることにより、ユーザの操作性を向上させる。さらに、本発明によれば、ユーザの視線位置が、表示アイテムに関する処理が実行される直前の状態と思われる位置である場合に、表示アイテムの表示形態を変更することにより、ユーザの操作性を向上させる。

【図面の簡単な説明】

【0012】

【図1】本実施形態１に係る電子機器としての撮像装置１００の構成の一例を示すブロック図である。

【図2】本実施形態１の撮像装置１００の構成の一例を示す図であり、撮像装置１００の筐体を切った断面図である。

【図3】視線検出方法の原理を説明する説明図である。

【図4】（ａ）は、眼球用撮像素子１２１から得られる角膜反射像の画像例であり、（ｂ）は、角膜反射像の画像例の領域αにおける、眼球用撮像素子１２１から得られる輝度情報の例である。

【図5】本実施形態１における視線検出処理のフローチャートである。

【図6】本実施形態１に係る撮像装置１００の表示部で検出された視線位置に表示されるポインタなどの表示切り替え処理に関するフローチャートである。

【図7】本実施形態１に係る撮像装置１００の表示部で検出された視線位置に表示されるポインタなどの表示切り替え処理を説明する模式図である。

【図8】本実施形態１に係る撮像装置１００の表示部で検出された視線位置に表示されるポインタなどの表示例である。

【図9】表示アイテムの境界部分における視線位置と表示アイテムの表示位置との関係性の一例を示す模式図である。

【図10】本実施形態２に係る視線位置に表示されるポインタなどの表示切り替え処理に関するフローチャートである。

【図11】本実施形態２のポインタなどの表示切り替え処理を説明する模式図である。

【図12】本実施形態３に係る視線位置に表示されるポインタなどの表示切り替え処理に関するフローチャートである。

【図13】本実施形態３のポインタなどの表示切り替え処理を説明する模式図である。

【図14】本実施形態４のポインタなどの表示切り替え処理を説明する模式図である。

【発明を実施するための形態】

【0013】

以下、添付図面を参照して、本発明の実施形態を説明する。

【0014】

＜実施形態１＞
図１は、本実施形態１に係る電子機器としての撮像装置１００の構成の一例を示すブロック図である。電子機器１００は、例えば、デジタルカメラである。結像光学部１０１は、焦点レンズや防振レンズを含む複数のレンズ群及び絞りを備えている。結像光学部１０１は、具備する焦点制御部１１８で焦点調節、絞り制御部１１９で露出調節、ブレ補正等を行い、撮像素子１０２に光学像を結像する。

【0015】

撮像素子１０２は、光学像を電気信号（アナログ画像信号）に変換する光電変換機能を有する。撮像素子１０２は、ＣＣＤ（Ｃｈａｒｇｅ Ｃｏｕｐｌｅｄ Ｄｅｖｉｃｅ）やＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ Ｍｅｔａｌ Ｏｘｉｄｅ Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）センサ等で構成される。また、撮像素子１０２は、像面位相差オートフォーカス（ＡＦ）用に専用画素や各画素内に複数の独立したフォトダイオードを備えている。

【0016】

Ａ／Ｄ変換部１０３は、撮像素子１０２からのアナログ画像信号をデジタル画像信号に変換する。Ａ／Ｄ変換により出力されたデジタル画像データは、後述の画像処理部１０４に入力される。

【0017】

システムバス１１６は、主にＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）１１４などから各ブロックの制御信号を伝送するためのシステムバスであり、データバス１１７は、主に画像データを転送するためのデータバスである。

【0018】

ＣＰＵ１１４は、撮像装置全体の制御を司るマイクロコンピュータ等で構成され、各機能ブロックに対して動作指示を行い、各種の制御処理を実行する。また、各種制御処理の際に必要となる演算も行う。ＣＰＵ１１４は、システムバス１１６を介して画像処理部１０４、データ転送部１０５、メモリ制御部１０６、不揮発性メモリ制御部１０８、記録メディア制御部１１０、表示制御部１１２、操作部１１５、及び撮像素子１０２等を制御する。マイクロコンピュータの実行は、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）１０９に記録されたプログラムを実行することにより、本実施形態の各処理を実現する。さらに、ＣＰＵ１１４は、結像光学部１０１のレンズ及び絞りの制御や、焦点距離等の情報取得を行っている。

【0019】

データ転送部１０５は、データ転送を行う複数のＤＭＡＣ（Ｄｉｒｅｃｔ Ｍｅｍｏｒｙ Ａｃｃｅｓｓ Ｃｏｎｔｒｏｌｌｅｒ）で構成されている。

【0020】

ＤＲＡＭ（Ｄｙｎａｍｉｃ Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）１０７は、データを記憶するメモリである。ＤＲＡＭ１０７は、所定枚数の静止画像、所定時間の動画像、及び音声等のデータや、ＣＰＵ１１４の動作用の定数、及びプログラム等を格納するのに十分な記憶容量を備える。

【0021】

メモリ制御部１０６は、ＣＰＵ１１４又はデータ転送部１０５からの指示に応じて、ＤＲＡＭ１０７へのデータ書き込み及びデータ読み出しを行う。

【0022】

不揮発性メモリ制御部１０８は、ＣＰＵ１１４からの指示に応じて、ＲＯＭ１０９にデータの書き込み及び読み出しを行う。ＲＯＭ１０９は、電気的に消去・記録可能なメモリであり、ＥＥＰＲＯＭ（Ｅｌｅｃｔｒｉｃａｌｌｙ Ｅｒａｓａｂｌｅ Ｐｒｏｇｒａｍｍａｂｌｅ Ｒｅａｄ－Ｏｎｌｙ Ｍｅｍｏｒｙ）等が用いられる。

【0023】

ＲＯＭ１０９には、ＣＰＵ１１４の動作用の定数、及びプログラム等が記憶される。

【0024】

画像処理部１０４は、各種画像処理部及びバッファメモリ等から構成されており、画像データに対して、倍率色収差補正、現像処理、ノイズリダクション処理、幾何変形、拡縮といったリサイズなどの処理を適切に行う。その他、画像処理部１０４は、現像及び加工された画像から被写体を検出、認識、追尾する処理を行い、Ａ／Ｄ変換器１０３により変換された画像データに対して画素補正、黒レベル補正、シェーディング補正、傷補正などを適正に行う撮像補正部等も備える。

【0025】

記録メディア１１１は、ＳＤ（Ｓｅｃｕｒｅ Ｄｉｇｉｔａｌ）カード等の記録媒体であり、記録メディア制御部１１０により制御され、画像データの記録や記録データの読み出しを行う。

【0026】

表示部１１３は、液晶ディスプレイや電子ビューファインダで構成される。表示部１１３は、表示制御部１１２により制御され、画像処理部１０４から転送された各種の画像データ、各種設定、メニュー画面、及び視線位置に表示されるポインタなどのＧＵＩ（Ｇｒａｐｈｉｃａｌ Ｕｓｅｒ Ｉｎｔｅｒｆａｃｅ）を表示する。また、静止画撮影の撮影前や、動画撮影時には、Ａ／Ｄ変換部１０３から入力された画像データをリアルタイムで処理して、表示する。

【0027】

操作部１１５は、ユーザにより操作されるスイッチ、ボタン、及びタッチパネル等を含み、電源のＯＮ／ＯＦＦ、及びシャッターのＯＮ／ＯＦＦ等の操作に使用される。

【0028】

眼球用撮像素子１２１は、電子ビューファインダを覗くユーザの眼球の光学像を結像し、視線検出部１２０に画像データを出力する。

【0029】

視線検出部１２０は、眼球用撮像素子１２１から入力された画像を基にユーザの視線方向を検出する。視線検出動作の詳細については後述する。

【0030】

照明光源１２３及び照明光源駆動部１２４は、視線検出のための赤外光源とそれを制御する駆動部である。赤外光は、ユーザの眼球に向けて照射され、その反射像を眼球用撮像素子１２０で結像する。

【0031】

自動焦点検出部１２２は、視線検出部１２０や画像処理部１０４により出力される焦点を合わせる領域に対するレンズ駆動量を算出し、焦点制御部１１８に対して焦点レンズの駆動制御を指示する。レンズ駆動量の算出は、例えば、撮像素子１０２で取得される焦点検出用画像に基づく像面位相差方式等で行われる。

【0032】

図２は、本実施形態１に係る撮像装置１００の構成の一例を示す図であり、撮像装置１００の筐体を切った断面図である。図１及び図２において、対応する部位は同じ番号で表記されている。

【0033】

１００Ａは、レンズ交換式カメラにおける撮影レンズを示す。本実施形態１では、便宜上撮影レンズ１００Ａの内部を２０５、２０６の二枚のレンズで表したが、さらに多数のレンズで構成されていてもよい。１００Ｂは、カメラ本体の筐体部を示し、その内部に含まれるユニットの構成は以下のようになる。

【0034】

撮像素子１０２は、撮像装置１００の撮影レンズ１００Ａの予定結像面に配置されている。表示部１１３に表示された被写体像を観察するための接眼レンズ２０３が配置されている。

【0035】

照明光源１２３ａ～１２３ｂは、光源の角膜反射による反射像と瞳孔の関係から視線方向を検出するためのユーザの眼球２０４を照明するための光源であり、赤外発光ダイオードで構成され、接眼レンズ２０３の周りに配置されている。照明された眼球像と光源１２３ａ～１２３ｂの角膜反射による像は、接眼レンズ２０３を透過し、光分割器２０２で反射され、受光レンズ２０１によってＣＣＤ等の光電素子列を２次元的に配した眼球用撮像素子１２１上に結像される。受光レンズ２０１は、ユーザの眼球２０４の瞳孔と眼球用撮像素子１２１を共役な結像関係に位置付けている。眼球用撮像素子１２１上に結像された眼球と光源１２３ａ～１２３ｂの角膜反射による像の位置関係から後述する所定のアルゴリズムで視線方向を検出する。

【0036】

撮影レンズ１００Ａ内には、絞り２０７、絞り制御部１１９、駆動ギヤ等で構成されるレンズ駆動部材２１０、及びレンズ駆動用モータ２１１が設けられている。フォトカプラ２０９は、レンズ駆動部材２１０に連動するパルス板２０８の回転を検知して、焦点制御部１１８に伝えている。焦点制御部１１８は、この情報とカメラ側からのレンズ駆動量の情報に基づいてレンズ駆動用モータ２１１を所定量駆動させ、焦点レンズ２０５を合焦点位置に移動させるようになっている。マウント接点２１２は、公知のカメラとレンズとのインターフェイスとなる。

【0037】

また、前述した操作部１１５には、シャッターボタン、タッチパネル対応液晶、ダイヤル、ボタン式十字キーなどの操作部材が配置されている。

【0038】

図２の１２３ａ～１２３ｂは、ユーザに対して不感の赤外光を放射する発光ダイオード等の光源であり、各光源は受光レンズ２０１の光軸に対して略対称に配置され、ユーザの眼球２０４を照らしている。眼球２０４で反射した照明光の一部は、受光レンズ２０１により、眼球用撮像素子１２１に集光する。

【0039】

以下、図３～５を用いて、視線検出方法について説明する。図３は、視線検出方法の原理を説明する説明図である。図３において、図１及び図２に対応する部位は、同じ番号で表記されている。図４（ａ）は、眼球用撮像素子１２１から得られる角膜反射像の画像例であり、図４（ｂ）は、角膜反射像の画像例の領域αにおける、眼球用撮像素子１２１から得られる輝度情報の例である。図５は、視線検出処理のフローチャートである。

【0040】

［視線検出のフローチャートの説明］
図５において、視線検出処理が開始すると、Ｓ５０１では、照明光源１２３ａ、１２３ｂは、ユーザの眼球２０４に向けて赤外光を放射する。赤外光によって照明されたユーザの眼球像は、受光レンズ２０１を通して眼球用撮像素子１２１上に結像し、眼球用撮像素子１２１により光電変換がなされる。これにより、眼球像は、電気信号として処理が可能となる。

【0041】

Ｓ５０２では、眼球用撮像素子１２１から得られた眼球画像信号を視線検出部１２０に送る。

【0042】

Ｓ５０３では、Ｓ５０２で得られた眼球画像信号の情報から、図３に示す照明光源１２３ａ、１２３ｂの角膜反射像Ｐｄ、Ｐｅ及び瞳孔中心ｃに対応する点の座標を求める。照明光源１２３ａ、１２３ｂより放射された赤外光は、ユーザの眼球２０４の角膜３０１を照明する。このとき角膜３０１の表面で反射した赤外光の一部により形成される角膜反射像Ｐｄ、Ｐｅは、受光レンズ２０１により集光され、眼球用撮像素子１２１上に結像する（図示の点Ｐｄ’、Ｐｅ’）。同様に、瞳孔３０２の端部ａ、ｂからの光束も眼球用撮像素子１２１上に結像する。

【0043】

図４（ａ）は、眼球用撮像素子１２１から得られる角膜反射像の画像例を示し、図４（ｂ）は、角膜反射像の画像例の領域αにおける、眼球用撮像素子１２１から得られる輝度情報の例を示す。図示のように、水平方向をＸ軸、垂直方向をＹ軸とする。このとき、光源１２３ａ、１２３ｂの角膜反射像が結像した像Ｐｄ’、Ｐｅ’のＸ軸方向（水平方向）の座標をそれぞれＸｄ、Ｘｅとする。また、瞳孔３０２の端部ａ、ｂからの光束が結像した像ａ’、ｂ’のＸ軸方向の座標をそれぞれＸａ、Ｘｂとする。

【0044】

図４（ｂ）は、光源１２３ａ、１２３ｂの角膜反射像が結像した像Ｐｄ’、Ｐｅ’に相当する位置Ｘｄ、Ｘｅでは、極端に強いレベルの輝度が得られることを示している。また、瞳孔３０２の領域αに相当する、座標ＸａからＸｂの間の領域は、上記Ｘｄ、Ｘｅの位置を除き、極端に低いレベルの輝度が得られることを示している。これに対し、瞳孔３０２の外側の光彩４０１の領域に相当する、Ｘａより小さいＸ座標の値を持つ領域及びＸｂより大きいＸ座標の値を持つ領域では、上述した２種の輝度レベルの中間の値が得られる。Ｘ座標の位置に対する輝度レベルの変動情報から、光源１２３ａ、１２３ｂの角膜反射像が結像した像Ｐｄ’、Ｐｅ’のＸ座標Ｘｄ、Ｘｅと、瞳孔端の像ａ’、ｂ’のＸ座標Ｘａ、Ｘｂを得ることができる。

【0045】

また、受光レンズ２０１の光軸に対する眼球２０４の光軸の回転角θｘが小さい場合、眼球用撮像素子１２１上に結像する瞳孔中心ｃに相当する箇所（ｃ’とする）の座標Ｘｃは、Ｘｃ≒（Ｘａ＋Ｘｂ）／２と表すことができる。上記より、眼球用撮像素子１２１上に結像する瞳孔中心に相当するｃ’のＸ座標、光源１２３ａ、１２３ｂの角膜反射像Ｐｄ’、Ｐｅ’の座標を見積もることができる。

【0046】

さらに、Ｓ５０４では、眼球像の結像倍率βを算出する。βは、受光レンズ２０１に対する眼球２０４の位置により決まる倍率で、実質的には角膜反射像Ｐｄ’、Ｐｅ’の間隔（Ｘｄ－Ｘｅ）の関数として求めることができる。

【0047】

また、Ｓ５０５では、角膜反射像Ｐｄ及びＰｅの中点のＸ座標と角膜３０１の曲率中心ＯのＸ座標とはほぼ一致するため、角膜３０１の曲率中心Ｏと瞳孔３０２の中心ｃまでの標準的な距離をＯｃとすると、眼球２０４の光軸のＺ－Ｘ平面内の回転角θｘは、
β×Ｏｃ×ｓｉｎθｘ≒｛（Ｘｄ＋Ｘｅ）／２｝－Ｘｃ
の関係式から求めることができる。

【0048】

また、図３及び４においては、ユーザの眼球がＹ軸に垂直な平面内で回転する場合の回転角θｘを算出する例を示しているが、ユーザの眼球がＸ軸に垂直な平面内で回転する場合の回転角θｙの算出方法も同様である。

【0049】

Ｓ５０５においてユーザの眼球２０４の光軸の回転角θｘ、θｙが算出されると、Ｓ５０６では、θｘ、θｙを用いて、表示部１１３上でのユーザの視線位置を求める。視線位置を表示部１１３上での瞳孔３０２の中心ｃに対応する座標（Ｈｘ，Ｈｙ）であるとして、
Ｈｘ＝ ｍ×（Ａｘ×θｘ＋Ｂｘ）
Ｈｙ＝ ｍ×（Ａｙ×θｙ＋Ｂｙ）
の関係式から求めることができる。このとき、係数ｍは、カメラのファインダ光学系の構成で定まる定数で、回転角θｘ、θｙを表示部１１３上での瞳孔３０２の中心ｃに対応する位置座標に変換する変換係数であり、予め決定されてメモリ１０７に記憶されているとする。

【0050】

また、Ａｘ、Ｂｘ、Ａｙ、Ｂｙは、ユーザの視線の個人差を補正する視線補正係数であり、キャリブレーション作業を行うことで取得され、視線検出処理が開始する前にメモリ１０７に記憶されているものとする。

【0051】

上記のように表示部１１３上での瞳孔３０２の中心ｃの座標（Ｈｘ，Ｈｙ）を算出した後、Ｓ５０７で固視微動による座標ブレの影響を緩和するため、所定期間分平均化する時系列フィルタを座標に適用する。そして、Ｓ５０８においてメモリ１０７に上記座標を記憶して、視線検出処理を終了する。

【0052】

上記は光源１２３ａ、１２３ｂの角膜反射像を利用した表示部上での視線座標の取得手法を示したが、それに限られるものではなく、撮像された眼球画像から眼球回転角度を取得する手法であれば本実施形態に適用可能である。

【0053】

図６は、本実施形態１に係る撮像装置１００の表示部で検出された視線位置に表示されるポインタなどの表示切り替え処理に関するフローチャートである。また、図７は、本実施形態１に係る撮像装置１００の表示部で検出された視線位置に表示されるポインタなどの表示切り替え処理を説明する模式図である。さらに、図８は、本実施形態１に係る撮像装置１００の表示部で検出された視線位置に表示されるポインタなどの表示例である。

【0054】

Ｓ６０１では、ＣＰＵ１１４は、主被写体を含む撮影領域の画像を取得し、Ａ／Ｄ変換部１０３を介して画像処理部１０４に出力する。Ｓ６０１で撮影領域の画像が取得されると、Ｓ６０２に進む。

【0055】

Ｓ６０２では、ＣＰＵ１１４は、操作部１１５によるユーザの操作に応じて表示部１１３に表示する画面を決定する。例えば、電源スイッチをＯＮにする操作やシャッターボタンの半押し等のＡＦを実行するための操作がなされた場合などは、ＣＰＵ１１４は、図７（ａ）に示すような撮影待機画面を表示部１１３に表示する。撮影条件やカメラ本体などの設定に関するボタンが操作された場合は、ＣＰＵ１１４は、図７（ｂ）に示すようなクイック設定画面やメニュー画面などを表示部１１３に表示する。Ｓ６０２で、表示部１１８に表示する画面モードが決定されると、Ｓ６０３に進む。なお、上述した表示部１１３に表示される画面は、撮影モードの場合の例である。再生モードの場合には、再生画面や再生に関する設定画面などが表示部１１３に表示される。

【0056】

Ｓ６０３では、画像処理部１０４は、ＣＰＵ１１４からのＳ６０２で決定された表示画面に応じた制御命令に従う。例えば、表示部１１３に撮影待機画面を表示する場合は、撮影に関する情報表示用のＧＵＩを生成し、図７（ａ）のような、ライブビュー画像に撮影に関する情報表示用のＧＵＩを重畳して表示した表示用画像を生成する。表示部１１３にクイック設定画面を表示する場合は、設定項目等のユーザにより選択・操作可能なＧＵＩ（以下、「表示アイテム」と記載する）を生成し、図７（ｂ）のような、ライブビュー画像に表示アイテムを重畳して表示した表示用画像を生成する。Ｓ６０３で画像の生成がされると、処理はＳ６０５の完了と待ち合わせを行い、Ｓ６０６に進む。

【0057】

一方、Ｓ６０４で眼球用撮像素子１２１は、照明光源１２３が照射されたユーザの眼球の画像を取得し、画像データを視線検出部１２０に出力する。Ｓ６０４でユーザの眼球画像を取得すると、処理はＳ６０５に進む。

【0058】

Ｓ６０５では、視線検出部１２０は、前述した視線検出処理によりユーザの視線を検出し、ファインダ内の表示部１１３に表示される画像における視線座標を算出し、その視線座標をＣＰＵ１１４に出力する。Ｓ６０５でユーザの視線座標が算出されると、処理はＳ６０３の完了と待ち合わせを行い、Ｓ６０６に進む。

【0059】

Ｓ６０６では、ＣＰＵ１１４は、表示用画像上の視線位置に基づく位置で処理を実行するか否かを判定する。視線位置に基づく位置で処理を実行すると判定される場合は、Ｓ６０７に進み、そうでない場合は、Ｓ６１３に進む。

【0060】

Ｓ６０７では、ＣＰＵ１１４は、表示部１１３に表示されるライブビュー画像と、Ｓ６０５で視線検出部１２０により出力された視線座標から、ユーザの視線位置がライブビュー画像上にあるか否かを判定する。視線位置がライブビュー画像上にあると判定される場合、Ｓ６０８に進み、そうでない場合、Ｓ６１０に進む。

【0061】

Ｓ６０８では、ＣＰＵ１１４は、ライブビュー画像に撮影に関する情報表示用のＧＵＩを重畳して表示した表示用画像（図７（ａ））が表示されている場合は、ライブビュー画像上のユーザの視線位置に第１ポインタ７０１を表示する。また、Ｓ６０８では、ＣＰＵ１１４は、ライブビュー画像に表示アイテムを重畳して表示した表示用画像（図７（ｂ））が表示されている場合は、ライブビュー画像上のユーザの視線位置に第１ポインタ７０３を表示する。このように、表示部１１３に表示される表示用画像は異なるものの、ＧＵＩが重畳されていないライブビュー画像上の視線位置に第１ポインタが表示される。

【0062】

なお、図８（ａ）に示すように、撮影を補助するための表示がされ、撮影を補助するための表示上に視線位置がある場合は、視線位置に第１ポインタ８０２（第１ポインタ８０３）を表示する。撮影を補助するための表示は、ライブビュー画像上に水準器、ＡＦ枠、被写体検出枠、グリッド線、ヒストグラム表示などである。

【0063】

第１ポインタが表示された表示用画像は、表示制御部１１２に出力され、ＥＶＦ等の表示部１１３に表示される。Ｓ６０８で第１ポインタが表示された表示用画像が表示されると、Ｓ６０９に進む。

【0064】

Ｓ６０９では、ＣＰＵ１１４は、第１ポインタ７０１又は第１ポインタ７０３が示す視線位置に基づく位置で所定の処理を実行する。所定の処理は、ＡＦ処理などである。

【0065】

Ｓ６１０では、ＣＰＵ１１４は、Ｓ６０３で画像処理部１０４により生成されたＧＵＩを含む表示用画像と、Ｓ６０５で視線検出部１２０により出力された視線座標から、視線位置が表示アイテム上にあるか否かを判定する。視線位置が表示アイテム上にあると判定される場合、Ｓ６１１へ進み、そうでない場合はＡに進む。

【0066】

Ｓ６１１では、ＣＰＵ１１４は、ユーザの視線位置に第１ポインタとは異なる第２ポインタ７０４（図７（ｂ））を表示するとともに、ユーザの視線位置に表示されている表示アイテムの表示形態を変更（図７（ｂ）の７０５）する。図７（ｂ）において、第１ポインタ７０３は、実線で表示されているのに対し、第２ポインタ７０４は、点線で表示されていて、第１ポインタと比べて第２ポインタは、明示的ではない。また、図７（ｂ）の７０５に示すように、視線位置に基づく位置に表示されている表示アイテムの枠線の太さと色を変更することで、操作対象又は選択対象となっていることを明示的に表示する。さらに、表示アイテムのどのあたりに視線が位置しているのかを示すため、上下の枠線の太さを左右方向に変化させて重畳して表示してもよい。

【0067】

また、図８（ｂ）に示すように、ＣＰＵ１１４は、ユーザの視線位置に第１ポインタとは異なる第２ポインタ８０４を表示するとともに、ユーザの視線位置に表示されている表示アイテムの表示形態を変更（図８（ｂ）の８０５）する。図８（ａ）において、第１ポインタ８０２又は８０３は、実線で表示されているのに対し、第２ポインタ８０４は、点線で表示されていて、第１ポインタと比べて第２ポインタは、明示的ではない。また、隣接する表示アイテム８０６のサイズと比べて、視線位置に表示されている表示アイテムのサイズを大きくして表示（図８（ｂ）の８０５）することで、操作対象又は選択対象となっていることを明示的に表示する。

【0068】

表示部１１３にカメラ本体の設定画面が表示されている場合は、図８（ｃ）に示すように、ユーザの視線位置に第１ポインタとは異なる第２ポインタ８０７を表示するとともに、ユーザの視線位置に表示されている項目の表示形態を変更する。図８（ａ）において、第１ポインタ８０２又は８０３は、実線で表示されているのに対し、第２ポインタ８０７は、点線で表示されていて、第１ポインタと比べて第２ポインタは、明示的ではない。また、項目の背景色を変更したり、グラデーションにしたりするなどして強調表示することで、操作対象又は選択対象となっていることを明示的に表示する。

【0069】

第２ポインタ及び表示形態が変更された表示アイテムが表示された表示用画像は、表示制御部１１２に出力され、ＥＶＦ等の表示部１１３に表示される。Ｓ６１１で表示部１１３に表示用画像が表示されると、Ｓ６１２に進む。

【0070】

Ｓ６１２では、ＣＰＵ１１４は、視線位置に基づく位置に表示される表示アイテムに関する処理を実行する。

【0071】

Ｓ６０６で視線位置に基づく位置で処理を実行しないと判定される場合、例えば、視線位置に撮影に関する情報が表示されている場合（図７（ａ）や図８（ａ））、Ｓ６１３では、ＣＰＵ１１４は、視線位置に第２ポインタ７０２又は８０１を表示する。第１ポインタと比べて第２ポインタ７０２は、背面にあるＧＵＩの視認性がよくなるように透過度を高くして表示する。また、図８（ｃ）のように、カメラ本体の設定画面において、操作・選択できる項目がない場合、視線位置に第２ポインタ８０８を表示する。第１ポインタは、実線であるのに対し、第２ポインタ８０１は、点線で表示する。第１ポインタと比べて第２ポインタ８０８は、ラインを細くしたり、色を変えたりして表示する。

【0072】

第２ポインタが重畳して表示された表示用画像は、表示制御部１１２に出力され、ＥＶＦ等の表示部１１３に表示され、処理を終了する。

【0073】

このような表示切り替え処理は、ユーザにより撮像装置１００の電源がＯＮにされてからＯＦＦにされるまで繰り返される。撮影モードの場合、撮影が継続される間は、Ｓ６０１～Ｓ６１３の処理を繰り返し、再生モードの場合、再生が継続される間は、Ｓ６０７の処理が、視線位置が再生された画像上にあるか否かに変更されること以外は、Ｓ６０１～Ｓ６１３と同じ処理を繰り返す。

【0074】

このように、ライブビュー画像上で視線位置に基づく位置で処理を実行する場合に視線位置に表示するポインタに比べて、視線位置に基づく位置で処理を実行しない場合に表示するポインタは、視認性を低くする。

【0075】

撮像に関する設定画面上やメニュー画面上で、ユーザの視線位置に基づく位置に表示されている表示アイテムに関する処理を実行する場合は、ポインタのサイズによっては、表示アイテムがポインタに隠れてしまう可能性がある。そのため、表示アイテムの視認性が低下し、ユーザの操作性が低くなってしまうことが考えられる。そこで、表示アイテムの表示形態を変更し、ユーザの操作性を向上させる。

【0076】

また、視線位置に表示アイテムが表示されている場合は、ポインタを非表示にしてもよいし、表示アイテムがポインタに隠れないようなポインタのサイズの場合は、第２ポインタを表示しつつ、表示アイテムの表示形態を変更してもよい。

【0077】

なお、視線検出方法としてユーザがファインダを覗くことを前提とした検出方法の例を説明したが、この限りではない。ユーザが背面パネルの表示を見ている場合の視線検出方法としても良い。

【0078】

また、設定項目等の操作可能なＧＵＩによる視線位置の表示について、位置指定が任意の座標となる第１ポインタ及び第２ポインタの表示時とは異なり、特定の座標のＧＵＩが指定対象となる。そのため、視線位置変化の表示分解能はポインタ表示時と同じでなくてもよい。例えば、視線位置の検出性能又は第１ポインタ及び第２ポインタの表示時よりも低い、予め設定された複数段階の分解能で表現してもよい。これにより、表示用画像のＧＵＩ生成レートを下げることができ、消費電力の削減を図ることが可能となる。

【0079】

また、視線座標の算出において固視微動の影響を緩和するために常に一定の時系列フィルタを適用する例を説明したが、この限りではない。設定項目等の操作可能なＧＵＩによる視線位置の表示において、視線座標が隣接するＧＵＩの境界でブレが発生することで、強調表示されるＧＵＩの切り替わりが頻繁に発生してしまう。このため、操作可能なＧＵＩによる視線位置の表示時においては、視線座標算出時の時系列フィルタのフィルタ強度を、第１ポインタ及び第２ポインタの表示時よりも高く設定するようにしてもよい。ただし、時系列フィルタのフィルタ強度を高くしてしまうと、ユーザの視線の移動に対する応答性が低下してしまう。そのため、予め設定された閾値以上の単位時間当たりの変位を検出した場合には、フィルタ強度を第１ポインタ及び第２ポインタの表示時と同一にするか、又はフィルタを一時的に適用しないようにしてもよい。

【0080】

また、時系列フィルタのフィルタ強度を高くするのではなく、図９に示すように、ＧＵＩの境界９０４を基準に強調表示するＧＵＩを判定するのではなく、境界９０４に対してヒステリシスをもった判定境界９０６、９０５を適用するようにしてもよい。例えば、視線位置９０１から視線位置９０３に視線が移動したとしても、判定境界９０６を越えない限り、ＧＵＩ９０２が強調表示されたままとなり、境界９０４近傍で視線座標のブレが発生しても表示にブレは発生しない。判定境界９０６を越えて視線位置９０７に視線が移動した時、ＧＵＩ９０８が強調表示される。ＧＵＩ９０８からＧＵＩ９０２に視線が移動する場合は、判定境界９０５を基準に同様の判定がなされる。

【0081】

＜実施形態２＞
実施形態２では、視線による位置指定の操作をしている途中で、ユーザによる操作部に対する操作を可能とする。図１０は、本実施形態２に係る視線位置に表示されるポインタなどの表示切り替え処理に関するフローチャートであり、図１１は、本実施形態２のポインタなどの表示切り替え処理を説明する模式図である。本実施形態２に係る撮像装置１００の構成は、実施形態１と同一である。図１０のフローチャートにおいて、図６のフローチャートと異なる点以外を以下で説明する。

【0082】

Ｓ６０７で視線位置がライブビュー画像上にあると判定されると、Ｓ１００１で、ＣＰＵ１１４は、ユーザによるダイヤル等の操作部１１５に対する操作を検知したか否かを判定する。ユーザによる操作部１１５に対する操作を検知した場合、Ｓ１００２へ進み、そうでない場合は、Ｓ６０８へ進む。

【0083】

Ｓ１００２では、ＣＰＵ１１４は、視線による位置指定の操作を中断し、Ｓ１００３へ進む。

【0084】

Ｓ１００３では、ＣＰＵ１１４は、視線位置の最近傍の表示アイテムを起点に操作部１１５に対する操作を受け付け、Ｓ１００５へ進む。

【0085】

Ｓ１００５では、ＣＰＵ１１４は、視線による位置指定の操作を再開し、Ｓ６１１へ進む。

【0086】

図１１（ｂ）に示すように、ライブビュー画像上に視線位置がある場合に、操作部１１５による操作を検知すると、ＣＰＵ１１４は、視線による位置指定の操作を中断する。そして、視線位置から最近傍に位置する表示アイテム１１０５を起点として操作部１１５による操作を反映させる。例えば、ユーザがダイヤルを左方向に１クリック分操作すると、表示アイテム１１０６に選択位置が移動する。その際、表示アイテム１１０６の表示形態の変更や第２ポインタの表示は、視線による位置指定の操作が再開されるまでは行わない。視線による位置指定を再開する場合は、例えば、予め割り当てられたボダン操作等を行う。表示アイテム１１０５を起点とした操作部１１５による操作の受け付け処理が完了すると、視線による位置指定の操作を再開し、図１０のフローチャートのＳ６１１に進む。なお、図１１（ｂ）のように、操作部による操作を検知する前に、ライブビュー画像上に視線位置がある場合は、視線位置に第１ポインタを表示していてもよい。

【0087】

Ｓ６１０で視線位置が表示アイテム上にあると判定されると、Ｓ１００１で、ＣＰＵ１１４は、ユーザによるダイヤル等の操作部１１５に対する操作を検知したか否かを判定する。ユーザによる操作部１１５に対する操作を検知した場合、Ｓ１００２へ進み、そうでない場合は、Ｓ６１１へ進む。

【0088】

Ｓ１００２では、ＣＰＵ１１４は、視線による位置指定の操作を中断し、Ｓ１００４へ進む。

【0089】

Ｓ１００４では、ＣＰＵ１１４は、視線位置に表示されている表示アイテムを起点に操作部１１５に対する操作を受け付け、Ｓ１００５へ進む。

【0090】

Ｓ１００５では、ＣＰＵ１１４は、視線による位置指定の操作を再開し、Ｓ６１１へ進む。

【0091】

図１１（ａ）に示すように、視線位置に表示アイテムが表示されている場合に、操作部１１５による操作を検知すると、ＣＰＵ１１４は、視線による位置指定の操作を中断し、表示アイテム１１０２を起点として操作部１１５による操作を反映させる。例えば、ユーザがダイヤルを左方向に１クリック分操作すると、表示アイテム１１０３に選択位置が移動する。その際、表示アイテム１１０３の表示形態の変更や第２ポインタの表示は、視線による位置指定の操作が再開されるまでは行わない。視線による位置指定を再開する場合は、例えば、予め割り当てられたボタン操作等を行う。表示アイテム１１０２を起点とした操作部１１５による操作の受け付け処理が完了すると、視線による位置指定の操作を再開し、図１０のフローチャートのＳ６１１に進む。なお、図１１（ａ）のように、操作部による操作を検知する前に、視線位置に表示アイテムが表示されている場合は、視線位置に表示されている表示アイテムの表示形態を変更していてもよいし、視線位置に第２ポインタを表示していてもよい。

【0092】

このように、視線による位置指定の操作をしている途中でユーザが操作部１１５による操作を行うことは可能であり、操作部１１５による操作を検知した時点での視線位置を起点とすることで、ユーザの視線移動を最小限にすることができる。これにより、視線による位置指定の操作と操作部１１５による操作を併用した時の視認性及び操作性を向上させることができる。

【0093】

＜実施形態３＞
実施形態３では、視線位置に第１ポインタを表示した後に、ユーザによるシャッターボタンの半押し等によるＡＦ位置の指定操作を検知すると、ユーザが操作部１１５によるＡＦ操作を可能とする。

【0094】

図１２は、本実施形態３に係る視線位置に表示されるポインタなどの表示切り替え処理に関するフローチャートであり、図１３は、本実施形態３のポインタなどの表示切り替え処理を説明する模式図である。本実施形態３に係る撮像装置１００の構成は、実施形態１と同一である。図１２のフローチャートにおいて、図６のフローチャートと異なる点以外を以下で説明する。

【0095】

Ｓ６０８で視線位置に第１ポインタ（図１３（ａ）の１３０１）が表示された後、Ｓ１２０１では、ＣＰＵ１１４は、ユーザによるシャッターボタンの半押し等の、操作部１１５に対するＡＦ操作を検知したか否かを判定する。ＡＦ操作を検知したと判定される場合は、Ｓ１２０２へ進み、そうでない場合は、Ｓ６０９へ進む。

【0096】

Ｓ１２０２では、ＣＰＵ１１４は、表示部に撮影待機画面が表示されているか否かを判定する。表示部に撮影待機画面が表示されていると判定される場合は、Ｓ１２０４へ進み、そうでない場合は、Ｓ１２０３へ進む。

【0097】

Ｓ１２０３では、ＣＰＵ１１４は、表示部に表示されている画面から撮影待機画面に遷移し、ＡＦ位置を決定し、Ｓ１２０５ヘ進む。

【0098】

Ｓ１２０４では、ＣＰＵ１１４は、ＡＦ位置を決定し、Ｓ１２０５へ進む。

【0099】

Ｓ１２０５では、ＣＰＵ１１４は、ＡＦ位置で所定の処理を実行する。

【0100】

図１３（ａ）のように、ＡＦ位置の指定操作を検知したときに表示部１１３に表示されている画面がクイック設定画面である場合、ＣＰＵ１１４は、表示画面を図１３（ｂ）の撮影待機画面に切り替える。そして、画像処理部１０４は、ＡＦ位置の指定操作を検知した時点での視線位置に基づいて被写体認識処理を実行する。

【0101】

被写体認識処理は、例えば、深層学習（ディープラーニング）、すなわち学習済みの畳み込み層を含む多層ニューラルネットワークを用いて特定の被写体領域を推定するものである。画像処理部１０４が被写体認識の結果をＣＰＵ１１４に出力すると、ＣＰＵ１１４は、ＡＦ位置を決定し、自動焦点検出部１２２に認識被写体領域に対する焦点制御を行うように指示を行う。自動焦点検出部１２２は、レンズ駆動量を算出し、焦点制御部１１８に焦点レンズの駆動制御を指示すると、焦点制御部１１８の焦点レンズの駆動制御により認識被写体領域に対する焦点制御が完了する。

【0102】

一方、画像処理部１０４は、撮影待機画面に被写体認識枠１３０２を重畳して表示する表示用画像を生成すると、表示用画像を表示制御部１１２に出力し、ＥＶＦ等の表示部１１３に表示される。また、認識被写体領域に対する焦点制御が完了したタイミングで、被写体認識枠１３０２は強調表示に変更される。

【0103】

ＡＦ位置の指定操作を検知したときに表示部１１３に表示されている画面が撮影待機画面である場合は、上述した通りのＡＦ位置の決定及び焦点制御がされる。

【0104】

このように、視線による位置指定の操作により第１ポインタが表示されている途中でも、ユーザが操作部１１５によるＡＦ位置指定の操作を行うことが可能となる。瞬時に撮影待機画面への遷移、ＡＦ位置の決定及び焦点制御を行うことで、撮影までのタイムラグを最小限にすることができる。これにより、視線による位置指定を利用した操作による操作性を向上することができる。

【0105】

なお、ＡＦ位置の決定の際に、視線位置に基づく被写体認識結果を利用する例を説明したが、単純に視線位置をそのままＡＦ位置として決定してもよい。

【0106】

＜実施形態４＞
図１４は、本実施形態４に係る電子機器１００の構成の一例を示す模式図である。電子機器としては、例えば、スマートフォンである。図１４（ａ）は、スマートフォン１４０１の撮影モード画面であり、（ｂ）は、メインメニュー画面である。図１４（ａ）の撮影モード画面において、ライブビュー画像上に視線位置がある場合は、第１ポインタ１４０２を表示する。第１ポインタ１４０２の表示位置で、ＡＦ処理を実行する。一方、撮影に関する情報表示上に視線位置がある場合は、第１ポインタと比べて透過度の高い第２ポインタ１４０３を表示する。

【0107】

また、図１４（ｂ）のメインメニュー画面において、２つの表示アイテム１４０５及び１４０６がグループ化されている。視線位置に表示アイテムが表示されている場合、表示アイテム１４０５の枠を太くするような表示にするとともに、点線で示した第２ポインタ１４０４を表示する。一方、メインメニュー画面において、所定の処理を実行しない場合、視線位置には、第１ポインタよりも薄い色の第２ポインタ１４０７を表示する。

【0108】

このように、撮影モード画面上で視線位置に基づく位置で処理を実行する場合に視線位置に表示するポインタに比べて、視線位置に基づく位置で処理を実行しない場合に表示するポインタは、視認性を低くする。

【0109】

スマートフォン１４０１のメインメニュー画面上で、ユーザの視線位置に基づく位置に表示されている表示アイテムに関する処理を実行する場合は、ポインタのサイズによっては、表示アイテムがポインタに隠れてしまう可能性がある。そのため、表示アイテムの視認性が低下し、ユーザの操作性が低くなってしまうことが考えられる。そこで、表示アイテムの表示形態を変更し、ユーザの操作性を向上させる。図１４（ｂ）の場合は、表示アイテムに比べてポインタのサイズが小さいため、第２ポインタを表示しつつ、表示アイテムの表示形態を変更する。

【0110】

＜その他の実施形態＞
電子機器１００のＣＰＵ１１４が行うものとして説明した上述の各種制御は１つのハードウェアが行ってもよいし、複数のハードウェア（例えば複数のプロセッサや回路）が処理を分担することで、装置全体の制御を行ってもよい。

【0111】

また、本発明をその好適な実施形態に基づいて詳述してきたが、本発明はこれら特定の実施形態に限られるものではなく、この発明の要旨を逸脱しない範囲の様々な形態も本発明に含まれる。さらに、上述した各実施形態は本発明の一実施形態を示すものにすぎず、各実施形態を適宜組み合わせることも可能である。

【0112】

本発明は、以下の処理を実行することによっても実現される。即ち、上述した実施形態の機能を実現するソフトウェア（プログラム）をネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ（又はＣＰＵやＭＰＵ等）がプログラムコードを読み出して実行する処理である。この場合、そのプログラム、及び該プログラムを記憶した記憶媒体は本発明を構成することになる。

【0113】

なお、本実施形態の開示は、以下の構成および方法を含む。

【0114】

（構成１）
表示手段を見るユーザの視線位置を検出する検出手段と、
撮像手段により撮像されたライブビュー画像が前記表示手段に表示され、かつ、前記検出手段により検出された視線位置が、前記ライブビュー画像上で所定の処理が実行される位置である場合、視線位置に第１ポインタを表示するように制御し、
表示アイテムが前記表示手段に表示され、かつ、前記検出手段により検出された視線位置が、前記表示アイテムに関する処理が実行される位置である場合、前記表示アイテムの表示形態を変更するように制御し、
前記検出手段により検出された視線位置が、所定の処理が実行されない位置である場合、視線位置に前記第１ポインタと比べて明示的でない前記第２ポインタを表示するように制御する制御手段とを有することを特徴とする電子機器。

【0115】

（構成２）
前記表示アイテムのサイズは、前記第２ポインタのサイズに対して、所定の値以下であることを特徴とする構成１に記載の電子機器。

【0116】

（構成３）
前記表示アイテムが前記表示手段に表示され、かつ、前記検出手段により検出された視線位置が、前記表示アイテムに関する処理が実行される位置である場合、
前記制御手段が、視線位置に前記第２ポインタを表示するように制御することを特徴とする構成１又は２に記載の電子機器。

【0117】

（構成４）
前記第１ポインタ及び前記第２ポインタが線で表される場合、
前記制御手段は、前記第１ポインタ及び前記第２ポインタの前記線の透過率、色、太さ、種類、又は数を変更して表示するように制御することを特徴とする構成１乃至３のいずれか１項に記載の電子機器。

【0118】

（構成５）
前記ライブビュー画像に前記撮像手段による撮像を補助するための情報が重畳して表示され、かつ、視線位置に前記撮像を補助するための情報が表示されている場合、
前記制御手段は、視線位置に前記第１ポインタを表示するように制御することを特徴とする構成１乃至４のいずれか１項に記載の電子機器。

【0119】

（構成６）
前記撮像を補助するための情報は、前記電子機器の傾きに関する情報、検出された被写体の位置やフォーカス位置を示す情報、前記撮像手段により撮像された画像の明るさに関する情報であることを特徴とする構成５に記載の電子機器。

【0120】

（構成７）
前記表示アイテムの表示形態は、前記表示アイテムの枠の太さ又は色、前記表示アイテムの背景色、前記表示アイテムの表示サイズの少なくとも１つを変更することを特徴とする構成１乃至６のいずれか１項に記載の電子機器。

【0121】

（構成８）
ユーザによる操作を受け付けるための操作手段をさらに有し、
前記操作手段による操作を受け付けた場合、前記制御手段は、視線による操作を中断し、中断時の視線位置の最近傍の表示アイテムを起点として、前記操作手段による操作を行うように制御することを特徴とする構成１乃至７のいずれか１項に記載の電子機器。

【0122】

（構成９）
ユーザによる操作を受け付けるための操作手段をさらに有し、
前記第１ポインタ表示中に前記操作手段によりＡＦ処理を実行するための操作を受け付けた場合、
前記制御手段は、撮影待機画面でなければ撮影待機画面への切り替えとＡＦ位置の決定を行うように制御することを特徴とする構成１乃至７のいずれか１項に記載の電子機器。

【0123】

（構成１０）
表示手段を見るユーザの視線位置を検出する検出ステップと、
撮像手段により撮像されたライブビュー画像が前記表示手段に表示され、かつ、前記検出手段により検出された視線位置が、前記ライブビュー画像上で所定の処理が実行される位置である場合、視線位置に第１ポインタを表示するように制御し、
表示アイテムが前記表示手段に表示され、かつ、前記検出手段により検出された視線位置が、前記表示アイテムに関する処理が実行される位置である場合、前記表示アイテムの表示形態を変更するように制御し、
前記検出手段により検出された視線位置が、所定の処理が実行されない位置である場合、視線位置に前記第１ポインタと比べて明示的でない前記第２ポインタを表示するように制御する制御ステップとを有することを特徴とする電子機器の制御方法。

【0124】

（構成１１）
コンピュータに構成１０に記載の電子機器の制御方法を実行させるためのプログラム。

【0125】

（構成１２）
コンピュータに構成１０に記載の電子機器の制御方法を実行させるためのプログラムを記録したコンピュータが読み取り可能な記録媒体。

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】