特許 7433810 電子機器、電子機器の制御方法、プログラム及び記憶媒体

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2024-02-09

(45)【発行日】2024-02-20

(54)【発明の名称】電子機器、電子機器の制御方法、プログラム及び記憶媒体

(51)【国際特許分類】

   G06F 3/04842 20220101AFI20240213BHJP

   G06F 3/038 20130101ALI20240213BHJP

   G06F 3/0346 20130101ALI20240213BHJP

   G06F 3/01 20060101ALI20240213BHJP

   G09G 5/00 20060101ALI20240213BHJP

   G09G 5/38 20060101ALI20240213BHJP

   G03B 17/02 20210101ALI20240213BHJP

   G03B 17/18 20210101ALI20240213BHJP

   H04N 23/63 20230101ALI20240213BHJP

【ＦＩ】

G06F3/04842

G06F3/038 310A

G06F3/0346 423

G06F3/01 510

G09G5/00 550C

G09G5/00 550B

G09G5/38

G09G5/00 530D

G09G5/00 530T

G03B17/02

G03B17/18

H04N23/63 100

H04N23/63

【請求項の数】 13

(21)【出願番号】P 2019151530

(22)【出願日】2019-08-21

(65)【公開番号】P2021033539

(43)【公開日】2021-03-01

【審査請求日】2022-08-10

(73)【特許権者】

【識別番号】000001007

【氏名又は名称】キヤノン株式会社

(74)【代理人】

【識別番号】100090273

【弁理士】

【氏名又は名称】國分 孝悦

(72)【発明者】

【氏名】戸口 和臣

【審査官】塩屋 雅弘

(56)【参考文献】

【文献】特開２０１１－２４３１０８（ＪＰ，Ａ）

【文献】特開２０１６－０７１５３９（ＪＰ，Ａ）

【文献】米国特許出願公開第２０１４／０２４７２０８（ＵＳ，Ａ１）

【文献】特開２０１９－２１５６６３（ＪＰ，Ａ）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ０６Ｆ ３／０４８４２

Ｇ０６Ｆ ３／０３８

Ｇ０６Ｆ ３／０３４６

Ｇ０６Ｆ ３／０１

Ｇ０９Ｇ ５／００

Ｇ０９Ｇ ５／３８

Ｇ０３Ｂ １７／０２

Ｇ０３Ｂ １７／１８

Ｈ０４Ｎ ２３／６３

(57)【特許請求の範囲】

【請求項1】

表示部に対する視線を検出する視線検出手段と、
前記視線検出手段により前記表示部に表示される画像の端領域に対する視線が検出されたことに応じて、前記表示部に所定の表示アイテムを表示させる表示制御手段と、
前記所定の表示アイテムの表示位置に対して前記視線検出手段により視線が検出されている状態で、第１の所定条件が満たされた場合、前記所定の表示アイテムに対応する処理を実行するように制御する制御手段と、を有し、
前記表示制御手段は、前記端領域に対する視線が検出されたことに応じて、前記視線検出手段により検出した視線位置には、視線により操作可能な表示アイテムを表示せずに、前記視線位置とは異なる位置に、前記所定の表示アイテムを表示させ、前記所定の表示アイテムを表示させた後で、前記所定の表示アイテムの表示位置に対して前記視線検出手段により視線が検出されていない状態で、第２の所定条件が満たされた場合、前記所定の表示アイテムを非表示にし、前記所定の表示アイテムを非表示にした後で、第３の所定条件が満たされるまで、前記所定の表示アイテムを再表示させない
ことを特徴とする電子機器。

【請求項2】

前記第１の所定条件は、前記所定の表示アイテムに対する注視があったかを判定するための条件であり、前記制御手段は、前記所定の表示アイテムの表示位置に対する視線が、第１の所定時間以上継続して検出された場合に、前記第１の所定条件が満たされたと判定することを特徴とする請求項１に記載の電子機器。

【請求項3】

前記表示制御手段は、前記端領域に対する視線が検出されたことに応じて、前記視線位置とは異なる位置であって、前記画像の端領域に、前記所定の表示アイテムを表示させることを特徴とする請求項１又は２に記載の電子機器。

【請求項4】

前記表示制御手段は、前記所定の表示アイテムの表示位置に対する視線が、第２の所定時間以上継続して検出されなかった場合、前記第２の所定条件が満たされたと判定することを特徴とする請求項１乃至３何れか１項に記載の電子機器。

【請求項5】

前記表示制御手段は、前記視線検出手段により前記端領域に対する視線が検出されなかった場合、前記第３の所定条件が満たされたと判定することを特徴とする請求項１乃至４何れか１項に記載の電子機器。

【請求項6】

前記制御手段は、前記所定の表示アイテムに対応する処理を実行した後に、前記所定の表示アイテムの表示位置に対して前記視線検出手段により視線が検出されている状態で、第４の所定条件が満たされた場合、前記所定の表示アイテムに対応する処理を再度実行することを特徴とする請求項１乃至５何れか１項に記載の電子機器。

【請求項7】

前記第１の所定条件は、前記所定の表示アイテムに対する注視があったかを判定するための条件であり、前記制御手段は、前記所定の表示アイテムの表示位置に対する視線が、第１の所定時間以上継続して検出された場合に、前記第１の所定条件が満たされたと判定し、
前記制御手段は、前記所定の表示アイテムに対応する処理を実行した後に、前記所定の表示アイテムの表示位置に対して前記視線検出手段により視線が検出されている状態で、第４の所定条件が満たされた場合、前記所定の表示アイテムに対応する処理を再度実行し、
前記第４の所定条件は、前記所定の表示アイテムに対する注視があったかを判定するための条件であり、前記制御手段は、前記所定の表示アイテムに対応する処理を実行した後に、前記所定の表示アイテムの表示位置に対する視線が、第３の所定時間以上継続して検出された場合に、前記第４の所定条件が満たされたと判定することを特徴とする請求項１に記載の電子機器。

【請求項8】

前記第３の所定時間は、前記第１の所定時間よりも短いことを特徴とする請求項７に記載の電子機器。

【請求項9】

前記所定の表示アイテムは、現在表示されている前記画像の次の前記画像を表示させるための画像送りアイコンであることを特徴とする請求項１乃至８何れか１項に記載の電子機器。

【請求項10】

前記所定の表示アイテムに対応する処理は、現在表示されている前記画像の次の前記画像を表示させる画像送り処理であることを特徴とする請求項１乃至９何れか１項に記載の電子機器。

【請求項11】

電子機器の制御方法であって、
表示部に対する視線位置を検出する視線検出ステップと、
前記視線検出ステップにより前記表示部に表示される画像の端領域に対する視線が検出されたことに応じて、前記表示部に所定の表示アイテムを表示させる表示制御ステップと、
前記所定の表示アイテムの表示位置に対して前記視線検出ステップにより視線が検出されている状態で、第１の所定条件が満たされた場合、前記所定の表示アイテムに対応する処理を実行するように制御する制御ステップと、を含み、
前記表示制御ステップは、前記端領域に対する視線が検出されたことに応じて、前記視線検出ステップにより検出した視線位置には、視線により操作可能な表示アイテムを表示せずに、前記視線位置とは異なる位置に、前記所定の表示アイテムを表示させ、前記所定の表示アイテムを表示させた後で、前記所定の表示アイテムの表示位置に対して前記視線検出ステップにより視線が検出されていない状態で、第２の所定条件が満たされた場合、前記所定の表示アイテムを非表示にし、前記所定の表示アイテムを非表示にした後で、第３の所定条件が満たされるまで、前記所定の表示アイテムを再表示させない
ことを特徴とする電子機器の制御方法。

【請求項12】

コンピュータを、請求項１乃至１０何れか１項に記載された電子機器の各手段として機能させるためのプログラム。

【請求項13】

コンピュータを、請求項１乃至１０何れか１項に記載された電子機器の各手段として機能させるためのプログラムを格納したコンピュータが読み取り可能な記憶媒体。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、視線検出可能な電子機器、電子機器の制御方法、プログラム及び記憶媒体に関するものである。

【背景技術】

【0002】

ユーザの視線の位置を検出し、検出結果を利用した技術が知られている。
特許文献１では、ＨＭＤ（ヘッドマウントディスプレイ）において、ユーザの視線方向及び首振り角に基づいて、ユーザが表示開始領域をみていれば表示エリアに画像表示を開始することが開示されている。特許文献２には、ユーザの視線を検出し、注視点に応じたアイコンを選択することが開示されている。

【先行技術文献】

【特許文献】

【0003】

【文献】特開２０１３－８３７３１号公報

【文献】特開２０１５－２２３９１３号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

ユーザの視線の位置に基づいてアイテムを選択する場合、特許文献１のように、ユーザが特定の領域をみていることを検知したことに応じて表示を開始してしまうと、ユーザは新たに表示されたアイテムを注視してしまう可能性が高い。また、特許文献２のように、予めアイテムを表示してしまうと、他のアイテムや画像を見ようと思っていたユーザにとっては、視認性が低下する可能性が高い。

【0005】

本発明はこのような問題点に鑑みなされたものであって、視認性を低下させることなく、視線による入力操作の操作性を向上させることを目的とする。

【課題を解決するための手段】

【0006】

本発明の電子機器は、表示部に対する視線を検出する視線検出手段と、前記視線検出手段により前記表示部に表示される画像の端領域に対する視線が検出されたことに応じて、前記表示部に所定の表示アイテムを表示させる表示制御手段と、前記所定の表示アイテムの表示位置に対して前記視線検出手段により視線が検出されている状態で、第１の所定条件が満たされた場合、前記所定の表示アイテムに対応する処理を実行するように制御する制御手段と、を有し、前記表示制御手段は、前記端領域に対する視線が検出されたことに応じて、前記視線検出手段により検出した視線位置には、視線により操作可能な表示アイテムを表示せずに、前記視線位置とは異なる位置に、前記所定の表示アイテムを表示させ、前記所定の表示アイテムを表示させた後で、前記所定の表示アイテムの表示位置に対して前記視線検出手段により視線が検出されていない状態で、第２の所定条件が満たされた場合、前記所定の表示アイテムを非表示にし、前記所定の表示アイテムを非表示にした後で、第３の所定条件が満たされるまで、前記所定の表示アイテムを再表示させないことを特徴とする。

【発明の効果】

【0007】

視認性を低下させることなく、視線による入力操作の操作性を向上させることができる。

【図面の簡単な説明】

【0008】

【図1】デジタルカメラの外観図である。

【図2】デジタルカメラの外観図である。

【図3】デジタルカメラの構成を示すブロック図である。

【図4】視線入力された画面例を示す図である。

【図5】表示画面の端領域に対して視線入力された画面例を示す図である。

【図6】表示アイテムに対して注視された画面例を示す図である。

【図7】画像送り処理が実行された後の画面例を示す図である。

【図8】表示アイテムの表示が取り消された後の画面例を示す図である。

【図9】デジタルカメラの実行する処理を示すフローチャートである。

【発明を実施するための形態】

【0009】

以下、添付図面を参照して、本発明の好適な実施形態について説明する。

【0010】

図１は、本実施形態に係るデジタルカメラ１００の正面からの外観図である。デジタルカメラ１００は、電子機器の一例であり、静止画像及び動画像を撮影することができる。

【0011】

図２は、本実施形態に係るデジタルカメラ１００の背面からの外観図である。デジタルカメラ１００は、操作部７０として、モード切替スイッチ６０、シャッターボタン６１、メイン電子ダイヤル７１、電源スイッチ７２、サブ電子ダイヤル７３、十字キー７４、ＳＥＴボタン７５、動画ボタン７６、ＡＥロックボタン７７、拡大ボタン７８、再生ボタン７９及びメニューボタン８１等を備えている。操作部７０からの入力データは、システム制御部５０へ出力される。

【0012】

モード切替スイッチ６０は、各種モードの切り替えを行う。シャッターボタン６１は、撮影準備指示や撮影指示を行う。メイン電子ダイヤル７１は、回転操作部材であり、シャッター速度や絞り等の設定値の変更等を行う。電源スイッチ７２は、デジタルカメラ１００の電源のＯＮ、ＯＦＦの切り替えを行う。サブ電子ダイヤル７３は、回転操作部材であり、選択枠の移動や画像送り等を行う。十字キー７４は、上、下、左、右部分をそれぞれ押し込み可能な十字キー（４方向キー）である。これにより、押下された部分に応じた操作が可能である。ＳＥＴボタン７５は、押しボタンであり、主として選択項目の決定に用いられる。

【0013】

動画ボタン７６は、動画撮影（記録）の開始、停止の指示を行う。ＡＥロックボタン７７は、露出状態を固定するために用いられる。拡大ボタン７８は、撮影モードのライブビュー表示において拡大モードのＯＮ、ＯＦＦの切り替えを行う。再生ボタン７９は、撮影モードと再生モードとの切り替えを行う。撮影モード中に押下されて再生モードに移行し、記録媒体２００に記録された画像のうち最新の画像が表示部に表示される。メニューボタン８１は、各種の設定可能なメニュー画面の表示に用いられる。

【0014】

また、デジタルカメラ１００は、表示部として、背面表示部２８、ファインダー外表示部４３、後述するファインダー内表示部２９（以下、ＥＶＦ（ＥＶＦ：Electronic View Finder）２９と表記する）等を備えている。
背面表示部２８は、操作部７０としての機能を兼ね備えたタッチパネル７０ａを有している。背面表示部２８は、デジタルカメラ１００の背面に設けられており、システム制御部５０の制御下で、画像や各種データが表示される。ファインダー外表示部４３は、デジタルカメラ１００の上面に設けられており、シャッター速度や絞り等の種々の設定値が表示される。ＥＶＦ２９は、有機ＥＬやＬＣＤ等で構成されており、デジタルカメラ１００内部に設けられている。背面表示部２８と同様に、システム制御部５０の制御下で、画像や各種データが表示される。

【0015】

デジタルカメラ１００は、接眼部１６、接眼検知部５７を備えている。
接眼部１６は、接眼ファインダー（覗き込み型のファインダー）である。ユーザは、接眼部１６を介してＥＶＦ２９に表示された画像を視認することが可能である。接眼検知部５７は、接眼部１６にユーザが接眼しているか否かを検知する接眼検知センサである。

【0016】

また、デジタルカメラ１００の右側には、グリップ部９０、蓋２０２等が設けられ、左側には、端子カバー４０等が設けられている。
グリップ部９０は、ユーザがデジタルカメラ１００を構えた際に右手で握りやすい形状とした保持部である。蓋２０２は、記録媒体２００を格納したスロットを閉塞する蓋である。端子カバー４０は、外部機器との接続ケーブルとデジタルカメラ１００とを接続するコネクタ（不図示）を保護するカバーである。また、デジタルカメラ１００は、着脱可能なレンズユニット１５０と通信するための通信端子１０を備えている。

【0017】

図３は、本実施形態によるデジタルカメラ１００の構成を示すブロック図である。なお、図１及び図２と同一の構成は、同一符号を付してその説明を適宜省略する。
デジタルカメラ１００は、レンズユニット１５０が装着される。レンズユニット１５０は、レンズ１０３と、絞り１と、絞り駆動回路２と、ＡＦ駆動回路３と、レンズシステム制御回路４と、通信端子６とを備えている。
レンズ１０３は、通常、複数枚のレンズから構成されるが、ここでは簡略して一枚のレンズのみで示している。レンズシステム制御回路４は、通信端子６と前述の通信端子１０とを介してデジタルカメラ１００と通信する。そして、絞り駆動回路２を介して、絞り１の制御を行う。また、ＡＦ駆動回路３を介して、レンズ１０３を変位させて焦点を合せる。

【0018】

デジタルカメラ１００は、シャッター１０１、撮像部２２、Ａ／Ｄ変換器２３、画像処理部２４、メモリ制御部１５、メモリ３２を備えている。
シャッター１０１は、撮像部２２の露光時間を自由に制御できるフォーカルプレーンシャッターである。撮像部２２は、光学像を電気信号に変換するＣＣＤやＣＭＯＳ素子等で構成される撮像素子である。Ａ／Ｄ変換器２３は、撮像部２２から出力されるアナログ信号をデジタル信号に変換する。画像処理部２４は、Ａ／Ｄ変換器２３やメモリ制御部１５からの画像データに対して、所定の画素補間、縮小といったリサイズ処理や色変換処理を行う。

【0019】

メモリ制御部１５は、Ａ／Ｄ変換器２３、画像処理部２４、メモリ３２間のデータ送受を制御する。Ａ／Ｄ変換器２３からの画像データは、画像処理部２４及びメモリ制御部１５を介して、またはメモリ制御部１５を介して、メモリ３２に直接書き込まれる。メモリ３２は、Ａ／Ｄ変換器２３からの画像データ等を格納する。メモリ３２は、所定枚数の静止画像や所定時間の動画像及び音声を格納するのに十分な記憶容量を備えている。また、メモリ３２は、画像表示用のメモリ（ビデオメモリ）を兼ねている。

【0020】

デジタルカメラ１００は、ファインダー外表示部４３、ファインダー外表示部駆動回路４４、システム制御部５０、不揮発性メモリ５６、システムメモリ５２、音声入力部５８、システムタイマー５３を備えている。
ファインダー外表示部４３は、ファインダー外表示部駆動回路４４を介して、デジタルカメラ１００の様々な設定値が表示される。
システム制御部５０は、少なくとも１つのプロセッサー、または回路からなる演算処理装置であり、デジタルカメラ１００の全体を制御する。システム制御部５０が、後述する不揮発性メモリ５６に格納されたプログラムを実行することで、デジタルカメラ１００の各構成手段を制御して、図９のフローチャートにおける各処理が実現される。

【0021】

不揮発性メモリ５６は、電気的に消去・記録可能なメモリであり、Ｆｌａｓｈ－ＲＯＭ等によって構成される。不揮発性メモリ５６には、システム制御部５０の動作用の定数、プログラム、背面表示部２８やＥＶＦ２９に表示される各種のアイテム等が記憶される。システムメモリ５２は、例えばＲＡＭが用いられる。システムメモリ５２には、システム制御部５０の動作用の定数、変数、不揮発性メモリ５６から読み出したプログラム等が展開される。音声入力部５８は、音声による入力操作を受け付ける。システムタイマー５３は、各種制御に用いる時間や、内蔵された時計の時間を計測する計時部である。

【0022】

また、デジタルカメラ１００は、操作部７０として、シャッターボタン６１、モード切替スイッチ６０、前述した電源スイッチ７２、タッチパネル７０ａを備えている。
シャッターボタン６１は、第１シャッタースイッチ６２と第２シャッタースイッチ６４とを有している。
第１シャッタースイッチ６２は、シャッターボタン６１の半押し（撮影準備指示）でＯＮとなり第１シャッタースイッチ信号ＳＷ１を発生する。システム制御部５０は、第１シャッタースイッチ信号ＳＷ１により、ＡＦ（オートフォーカス）処理、ＡＥ（自動露出）処理、ＡＷＢ（オートホワイトバランス）処理、ＥＦ（フラッシュプリ発光）処理等の動作を開始する。
第２シャッタースイッチ６４は、シャッターボタン６１の全押し（撮影指示）でＯＮとなり、第２シャッタースイッチ信号ＳＷ２を発生する。システム制御部５０は、第２シャッタースイッチ信号ＳＷ２により、撮像部２２からの信号読み出しから撮像された画像データを画像ファイルとして記録媒体２００に書き込むまでの一連の撮影処理の動作を開始する。

【0023】

モード切替スイッチ６０は、システム制御部５０の動作モードを静止画撮影モード、動画撮影モード等に切り替える。モード切替スイッチ６０により、ユーザは動作モードを何れかのモードに直接切り替えることができる。なお、動作モードを切り替える方法は、モード切替スイッチ６０により撮影モードの一覧画面に一旦切り換えた後に、一覧画面に表示されたモードの何れかを選択し、他の操作部７０を用いて切り替える方法でもよい。

【0024】

タッチパネル７０ａは、背面表示部２８と一体的に構成されている。
例えば、タッチパネル７０ａは、光の透過率が背面表示部２８の表示を妨げないように、背面表示部２８の表示面の上層に取り付けられる。タッチパネル７０ａにおける位置座標と、背面表示部２８の表示画面上の表示座標とが対応付けられる。これにより、あたかもユーザが背面表示部２８上に表示された画面を直接的に操作可能であるかのようなＧＵＩ（グラフィカルユーザインターフェース）が構成される。

【0025】

システム制御部５０は、タッチパネル７０ａへの以下の操作、または状態を検出できる。
（１）タッチパネル７０ａにタッチしていなかった指やペンが新たにタッチパネル７０ａにタッチしたこと。すなわち、タッチの開始（タッチダウン（Touch-Down））。
（２）タッチパネル７０ａを指やペンでタッチしている状態であること（タッチオン（Touch-On））。
（３）タッチパネル７０ａを指やペンでタッチしたまま移動していること（タッチムーブ（Touch-Move））。
（４）タッチパネル７０ａへタッチしていた指やペンを離したこと。すなわち、タッチの終了（タッチアップ（Touch-Up））。
（５）タッチパネル７０ａに何もタッチしていない状態（タッチオフ（Touch-Off））。
なお、タッチダウンが検出されると、同時にタッチオンであることも検出される。タッチダウンの後、タッチアップが検出されない限りは、通常はタッチオンが検出され続ける。タッチムーブが検出されるのもタッチオンが検出されている状態である。タッチオンが検出されていても、タッチ位置が移動していなければタッチムーブは検出されない。タッチしていた全ての指やペンがタッチアップしたことが検出された後は、タッチオフとなる。

【0026】

上述した操作・状態や、タッチパネル７０ａ上に指やペンがタッチしている位置座標は内部バスを通じてシステム制御部５０に通知される。システム制御部５０は通知された情報に基づいてタッチパネル７０ａ上にどのような操作（タッチ操作）が行われたかを判定する。タッチムーブについては、システム制御部５０は、タッチパネル７０ａ上で移動する指やペンの移動方向を、位置座標の変化に基づいて、タッチパネル７０ａ上の垂直成分・水平成分毎に判定できる。所定距離以上をタッチムーブしたことが検出された場合はスライド操作が行われたと判定する。タッチパネル７０ａ上に指をタッチしたままある程度の距離だけ素早く動かして、そのまま離すといった操作をフリックと呼ぶ。フリックは、言い換えればタッチパネル７０ａ上を指ではじくように素早くなぞる操作である。所定距離以上を、所定速度以上でタッチムーブしたことが検出され、そのままタッチアップが検出されるとフリックが行われたと判定する（スライド操作に続いてフリックがあったものと判定する）。更に、複数箇所（例えば２点）を同時にタッチして、互いのタッチ位置を近づけるタッチ操作をピンチイン、互いのタッチ位置を遠ざけるタッチ操作をピンチアウトという。ピンチアウトとピンチインを総称してピンチ操作（あるいは単にピンチ）という。

【0027】

タッチパネル７０ａは、抵抗膜方式や静電容量方式、表面弾性波方式、赤外線方式、電磁誘導方式、画像認識方式、光センサ方式等、様々な方式のタッチパネルのうち何れかの方式を用いることができる。また、方式によって、タッチパネル７０ａに対する接触があったことでタッチがあったと検出する方式や、タッチパネル７０ａに対する指やペンの接近があったことでタッチがあったと検出する方式があるが、何れの方式でもよい。

【0028】

デジタルカメラ１００は、電源制御部８０、電源部３０、記録媒体Ｉ／Ｆ１８、記録媒体２００、通信部５４、姿勢検知部５５、接眼検知部５７を備えている。
電源制御部８０は、電池検出回路、ＤＣ－ＤＣコンバータ、通電するブロックを切り替えるスイッチ回路等により構成され、電池の装着の有無、電池の種類、電池残量の検出を行う。また、電源制御部８０は、その検出結果及びシステム制御部５０の指示に基づいてＤＣ－ＤＣコンバータを制御し、必要な電圧を必要な期間、記録媒体２００を含む各部へ供給する。電源部３０は、アルカリ電池やリチウム電池等の一次電池やＮｉＣｄ電池やＮｉＭＨ電池、Ｌｉ電池等の二次電池、ＡＣアダプター等からなる。

【0029】

記録媒体Ｉ／Ｆ１８は、メモリカードやハードディスク等の記録媒体２００とのインターフェースである。記録媒体２００は、撮影された画像を記録するためのメモリカード等の記録媒体であり、半導体メモリや磁気ディスク等から構成される。
通信部５４は、無線または有線ケーブルによって外部機器に接続し、映像信号や音声信号の送受信を行う。なお、通信部５４は、無線ＬＡＮやインターネットとも接続可能である。また、通信部５４は、Ｂｌｕｅｔｏｏｔｈ（登録商標）やＢＬＥ（Bluetooth Low Energy）を用いて外部機器と通信可能である。撮像部２２で撮像した画像（いわゆるライブビュー画像を含む）や、記録媒体２００に記録された画像を送信したり、外部機器から画像やその他の各種情報を受信したりすることが可能である。

【0030】

姿勢検知部５５は、加速度センサやジャイロセンサ等であり、重力方向に対するデジタルカメラ１００の姿勢を検知する。姿勢検知部５５で検知された姿勢に基づいて、撮像部２２で撮影された画像が、デジタルカメラ１００を横に構えて撮影された画像であるか、縦に構えて撮影された画像であるかを判定可能である。なお、システム制御部５０は、姿勢検知部５５で検知された姿勢に応じた向き情報を撮像部２２で撮像された画像データに付加したり、画像を回転して記録したりすることが可能である。

【0031】

接眼検知部５７は、接眼部１６に対する目（物体）１６１の接近（接眼）及び離脱（離眼）を検知する（接近検知）接眼検知センサである。システム制御部５０は、接眼状態に応じて、背面表示部２８とＥＶＦ２９の表示（表示状態）／非表示（非表示状態）を切り替える。
より具体的には、少なくとも撮影待機状態で、かつ、表示先の切替が自動切替である場合において、非接眼中は表示先を背面表示部２８として表示をオンとし、ＥＶＦ２９は非表示とする。また、接眼中は表示先をＥＶＦ２９として表示をオンとし、背面表示部２８は非表示とする。

【0032】

接眼検知部５７は、赤外線近接センサ等で構成されており、接眼部１６への何らかの物体の接近を検知することができる。物体が接近した場合は、接眼検知部５７の投光部（不図示）から投光した赤外線が反射して赤外線近接センサの受光部（不図示）に受光される。受光された赤外線の量によって、物体が接眼部１６からどの距離まで近づいているか（接眼距離）も判定することが可能である。

【0033】

接眼検知部５７は、非接眼状態（非接近状態）から、接眼部１６に対して所定距離以内に近づく物体を検知した場合、接眼されたことを検知する。また、接眼状態（接近状態）から、接近を検知していた物体が所定距離以上離れたことを検知した場合、離眼されたことを検知する。接眼を検知する閾値及び離眼を検知する閾値は、例えばヒステリシスを設けるなどして異なっていてもよい。そして、検知結果が、システム制御部５０へ出力される。接眼を検知してから離眼を検知するまでの間が、接眼状態である。離眼を検知してから接眼を検知するまでの間が、非接眼状態である。なお、赤外線近接センサは一例であって、接眼検知部５７には、接眼とみなせる目や物体の接近を検知できるものであれば他のセンサを採用してもよい。

【0034】

また、デジタルカメラ１００は、接眼部１６とＥＶＦ２９との間に、視線検出部１６０を備えている。
視線検出部１６０は、ダイクロイックミラー１６２、結像レンズ１６３、視線検知センサ１６４、視線検出回路１６５及び赤外発光ダイオード１６６によって構成されている。赤外発光ダイオード１６６は、ＥＶＦ２９画面上のユーザの視線を検出するための発光素子であり、接眼部１６を覗き込むユーザの眼球（目）１６１に赤外光を照射する。赤外発光ダイオード１６６から発した赤外光は、眼球（目）１６１で反射し、その赤外反射光はダイクロイックミラー１６２に到達する。ダイクロイックミラー１６２は、赤外光だけを反射して可視光を透過させる。光路を変更された赤外反射光は、結像レンズ１６３を介して視線検知センサ１６４の撮像面に結像する。結像レンズ１６３は、視線検知光学系を構成する光学部材である。視線検知センサ１６４は、ＣＣＤ型イメージセンサ等の撮像デバイスである。

【0035】

視線検知センサ１６４は、入射された赤外反射光を電気信号に光電変換して視線検出回路１６５へ出力する。視線検出回路１６５は、視線検知センサ１６４の出力信号に基づき、ユーザの眼球（目）１６１の動きからユーザの視線を検出し、検出結果をシステム制御部５０へ出力する。検出結果に含まれる位置情報と、ＥＶＦ２９の表示画面上の表示座標とが対応付けられる。これにより、あたかもユーザがＥＶＦ２９上に表示された画面を接眼部１６へ入力された視線によって操作可能であるかのようなＵＩ（ユーザインターフェース）が構成される。すなわち、接眼部１６は、操作部７０としての機能を有する。なお、ダイクロイックミラー１６２、結像レンズ１６３、視線検知センサ１６４、視線検出回路１６５及び赤外発光ダイオード１６６は、視線検出部１６０の構成例である。視線検出部１６０は、ＥＶＦ２９の表示画面上のユーザの視線位置を検出可能な構成であれば、他の構成であってもよい。

【0036】

また、視線検出回路１６５からの検出結果を有効または無効とする条件が設定されている。例えば、メニュー設定にてユーザが設定可能である。また、システム制御部５０が、当該検出結果を用いた処理の有効または無効を設定してもよい。更に、ＥＶＦ２９への表示が可能な場合、視線検出回路１６５からの検出結果を有効にしてもよい。

【0037】

システム制御部５０は、接眼部１６への以下の操作、または状態を検出できる。
（１）接眼部１６へ入力されていなかった視線が、新たに接眼部１６へ入力されたこと。すなわち、視線入力の開始。
（２）接眼部１６へ視線入力している状態であること。
（３）接眼部１６へ注視している状態であること。
（４）接眼部１６へ入力していた視線を外したこと。すなわち、視線入力の終了。
（５）接眼部１６へ何も視線入力していない状態であること。
視線検出回路１６５からの検出結果は、内部バスを通じてシステム制御部５０に通知される。システム制御部５０は、当該検出結果に基づいて、接眼部１６からどのような操作（視線操作）が行われたかを判定する。

【0038】

また、システム制御部５０は、上述の（１）（２）（３）を判定した場合、視線検出回路１６５からの検出結果に含まれる位置情報と、ＥＶＦ２９の表示座標との対応関係に基づいて、ＥＶＦ２９の表示画面上の視線位置を検出する。このように、システム制御部５０は、表示画面上の視線位置を検出する機能を有しており、視線検出手段に対応する。

【0039】

更に、システム制御部５０は、検出した視線位置がある表示領域内にある場合、システムタイマー５３を制御して、その表示領域内に固定されている時間を計測する。また、システム制御部５０は、所定の閾値を設定している。そして、ユーザの視線位置がある表示領域内に固定されている時間が、当該所定の閾値以上である場合に、ユーザがその表示領域に対して注視している状態であることを判定する。なお、所定の閾値は、任意に変更可能である。注視とは、ユーザの視線の位置が予め定まったアイテムの表示領域内など、所定領域内にあることが連続的に検出されている状態である。例えば視線位置の検出サイクルが１００ｍｓであれば、１０回連続で視線位置が所定領域内で検出された場合に１秒間注視していると判定される。

【0040】

システム制御部５０は、ユーザの視線による入力操作に応じて、ＥＶＦ２９の表示画面上に所定の表示アイテムを表示させ、当該表示アイテムに対応する処理を実行する。システム制御部５０は、表示制御手段及び制御手段に対応する。以下、図４～図８を参照して、システム制御部５０が実行する処理について詳しく説明する。

【0041】

図４は、ユーザがＥＶＦ２９の表示画面の中央付近を見ている図である。４００は、デジタルカメラ１００の接眼部１６を覗きこむユーザの眼球（目）である。４０１は、ユーザの視線である。４０２は、システム制御部５０がユーザの視線４０１に応じて表示を行うポインタであり、ＥＶＦ２９に表示される。ポインタ４０２は、ユーザの視線位置に対応する。４０３は、ＥＶＦ２９に表示される再生画像Ａである。再生画像Ａ４０３は、ＥＶＦ２９の表示画面の全体に表示される。

【0042】

図５は、ユーザがＥＶＦ２９の表示画面の端領域を見ている図である。５００は、ＥＶＦ２９に表示される再生画像Ａ４０３の端領域である。５０１は、所定の表示アイテムである。システム制御部５０は、端領域５００に対する視線位置が検出された場合、ＥＶＦ２９に表示アイテム５０１を表示させる。

【0043】

表示アイテム５０１は、検出された視線位置（４０２）とは異なる位置であって、当該視線位置（４０２）の近傍に表示される。これにより、再生画像Ａ４０３を確認しているユーザの視線４０１に表示アイテムが表示されないので、画像の視認性を低下させない。また、継続的に同じ位置をユーザが見ていた場合に、素早く視線の位置をはずすことができなくても、表示アイテム５０１に対応する処理が意図せずに実行されてしまう可能性を低下させることができる。
なお、表示アイテム５０１は、右方向の矢印のアイコンであり、現在表示されている再生画像の次の再生画像を表示させるための画像送りアイコンとする。表示アイテム５０１は、画像送りアイコンに限定しなくてよい。例えば、画像逆送りアイコンとしてもよい。

【0044】

図６は、図５のように表示アイテム５０１が表示された状態で、ユーザがＥＶＦ２９に表示された表示アイテム５０１に対して注視している図である。６００は、注視ポインタである。システム制御部５０は、視線位置が表示アイテム５０１の表示領域内に固定されている時間が、第１の所定時間以上である場合、注視している状態であるとして、ポインタ４０２から注視ポインタ６００に表示を切り替える。そして、表示アイテム５０１に対応する処理を実行する。

【0045】

以上のように、システム制御部５０は、表示アイテム５０１に対する視線位置が検出されている状態で、第１の所定条件が満たされた場合、表示アイテム５０１に対応する処理を実行する。
本実施形態では、表示アイテム５０１に対して注視されている時間が、第１の所定時間以上であることが、第１の所定条件である。第１の所定時間は、例えば０．３秒、０．５秒、１秒である。第１の所定条件は、上記の条件に限定されるものではない。例えば、視線検出が途切れたこと、としてもよい。また、タッチ操作がされた場合に、第１の所定条件を満たすとしてもよい。なお、表示アイテム５０１に対応する処理は、画像送り処理とするが、表示アイテム５０１に対応する処理は、画像送り処理に限定しなくてよい。

【0046】

図７は、図６において表示アイテム５０１に対応する処理を実行した後の図である。７００は、ＥＶＦ２９に表示される再生画像Ｂ７００である。再生画像Ｂ７００は、再生画像Ａ４０３の次に保存されている再生画像である。なお、再生画像は記録媒体２００に保存されているが、再生画像の保存先は、記録媒体２００に限定しなくてよい。

【0047】

図８は、図５のように表示アイテム５０１が表示された状態で、ユーザが表示アイテム５０１とは別の位置を見ている図である。システム制御部５０は、表示アイテム５０１の表示領域内に視線位置が存在していない時間が、第２の所定時間以上である場合、表示アイテム５０１の表示を取り消す。
８００は、表示アイテム５０１を消した跡を明示しているが、実際にはＥＶＦ２９に表示アイテム５０１を消した跡８００は表示されない。なお、表示アイテム５０１を消した跡８００はＥＶＦ２９に表示されないこととするが、表示アイテム５０１を消した跡８００はＥＶＦ２９に表示されないことに限定しなくてよい。

【0048】

以上のように、システム制御部５０は、表示アイテム５０１に対する視線位置が検出されていない状態で、第２の所定条件が満たされた場合、表示アイテム５０１の表示を取り消す。
本実施形態では、表示アイテム５０１に対する視線位置が検出されていない時間が第２の所定時間以上であることが、第２の所定条件である。第２の所定時間は、例えば０．８秒、１．０秒、１．５秒である。第２の所定条件は、上記の条件に限定されるものではない。例えば、タッチパネル７０ａ等からの入力操作があったこと、としてもよい。

【0049】

次に、本実施形態のデジタルカメラ１００の実行する処理の一例について、図９のフローチャートを参照して説明する。図９のフローチャートにおける各処理は、システム制御部５０が、不揮発性メモリ５６に格納されたプログラムをシステムメモリ５２に展開して実行し、各機能ブロックを制御することにより実現される。
本実施形態では、ユーザの視線による入力操作により、所定の表示アイテム５０１としての画像送りアイコンを表示させて、表示アイテム５０１に対応する処理としての画像送り処理を実行する例について説明する。本処理は、デジタルカメラ１００に電源が入り、ＥＶＦ２９への表示が可能になると開始する。

【0050】

Ｓ９０１において、システム制御部５０は、デジタルカメラ１００が起動されて、ＥＶＦ２９への表示が可能になると、ＥＶＦ２９の表示制御を開始し、ＥＶＦ２９の表示画面の全体に再生画像を表示させる。
Ｓ９０２において、システム制御部５０は、ＥＶＦ２９の表示画面の端領域に対する視線位置が検出された（視線入力がある）か否かを判定する。システム制御部５０がＥＶＦ２９の表示画面の端領域に対する視線位置が検出されたと判定した場合、処理はＳ９０３へ進む。ＥＶＦ２９の表示画面の端領域に対する視線位置が検出されていない（視線入力がない）と判定した場合、処理はＳ９２５へ進む。

【0051】

Ｓ９０３において、システム制御部５０は、ＥＶＦ２９に所定の表示アイテム５０１（画像送りアイコン）を表示させる。処理はＳ９０４へ進む。なお、検出された視線の位置が表示画面の右辺に沿った端領域であれば、右方向の矢印である表示アイテム５０１を表示画面の右端の領域に表示するが、この限りではない。例えば、検出された視線の位置が表示画面の左辺に沿った領域であれば、左方向の矢印である表示アイテムを表示画面の左端の領域に表示するようにしてもよい。このとき、表示アイテム５０１を注視したら、画像を次の順番の画像へと切り替え、左方向の矢印であるアイテムを注視したら、画像を前の順番の画像へと切り替えるようにする。このようにユーザの視線の方向に応じて異なる機能を実行することもできる。

【0052】

Ｓ９０４において、システム制御部５０は、表示アイテム５０１の消しタイマの計時を開始する。処理はＳ９０５へ進む。表示アイテム５０１の消しタイマとは、表示アイテム５０１を表示させた後で、表示アイテム５０１に対する視線位置が検出されていない時間を計時するタイマである。
Ｓ９０５において、システム制御部５０は、表示アイテム５０１に対する視線位置が検出されたか否かを判定する。システム制御部５０が表示アイテム５０１に対する視線位置が検出されたと判定した場合、処理はＳ９０６へ進む。システム制御部５０が表示アイテム５０１に対する視線位置が検出されていないと判定した場合、処理はＳ９１５へ進む。

【0053】

Ｓ９０６において、システム制御部５０は、表示アイテム５０１の消しタイマの計時を停止する。処理はＳ９０７へ進む。
Ｓ９０７において、システム制御部５０は、表示アイテム５０１の注視タイマの計時を開始する。処理はＳ９０８へ進む。表示アイテム５０１の注視タイマとは、表示アイテム５０１を表示させた後で、表示アイテム５０１に対する視線位置が検出されている時間を計時するタイマである。

【0054】

Ｓ９０８において、システム制御部５０は、表示アイテム５０１の注視タイマの経過時間（注視時間）が第１の所定時間を経過したか否かを判定する。システム制御部５０が第１の所定時間を経過したと判定した場合、処理はＳ９０９へ進む。システム制御部５０が第１の所定時間を経過していないと判定した場合、処理はＳ９１２へ進む。第１の所定時間は、表示アイテムに対応する機能に応じて変更してもよい。例えば、画像の削除の機能が表示アイテムに割当たっている場合には、第１の所定時間を画像送りの機能が割当たっている場合よりも長くしてもよい。

【0055】

Ｓ９０９において、システム制御部５０は、表示アイテム５０１の注視タイマの経過時間をリセットする。処理はＳ９１０へ進む。
Ｓ９１０において、システム制御部５０は、表示アイテム５０１の消しタイマの経過時間をリセットする。処理はＳ９１１へ進む。
Ｓ９１１において、システム制御部５０は、表示アイテム５０１に対応する処理（画像送り処理）を実行する。処理はＳ９２０へ進む。

【0056】

Ｓ９１２において、システム制御部５０は、表示アイテム５０１に対する視線位置が検出されたか否かを判定する。システム制御部５０が表示アイテム５０１に対する視線位置が検出されたと判定した場合、処理はＳ９０８へ進む。システム制御部５０が表示アイテム５０１に対する視線位置が検出されなかったと判定した場合、処理はＳ９１３へ進む。
Ｓ９１３において、システム制御部５０は、表示アイテム５０１の注視タイマの経過時間をリセットする。処理はＳ９１４へ進む。
Ｓ９１４において、システム制御部５０は、表示アイテム５０１の消しタイマの計時を再開する。処理はＳ９０５へ進む。

【0057】

Ｓ９１５において、システム制御部５０は、表示アイテム５０１の消しタイマの経過時間が第２の所定時間を経過したか否かを判定する。システム制御部５０が第２の所定時間を経過したと判定した場合、処理はＳ９１６へ進む。システム制御部５０が第２の所定時間を経過していないと判定した場合、処理はＳ９０５へ進む。
Ｓ９１６において、システム制御部５０は、表示アイテム５０１の消しタイマの経過時間をリセットする。処理はＳ９１７へ進む。
Ｓ９１７において、システム制御部５０は、ＥＶＦ２９に表示中の表示アイテム５０１の表示を取り消す。ユーザが表示アイテム５０１（画像送りアイコン）を所定時間見ていない場合、表示アイテム５０１に対応する処理（画像送り）の実行を望んでいない可能性が高い。すなわち、表示アイテム５０１は、操作に必要ないばかりか、画像の視認性を低下させる可能性がある。そこで、一定の条件下で表示アイテム５０１の表示を取り消すことで、画像の視認性を低下させることがない。

【0058】

Ｓ９１８において、システム制御部５０は、ＥＶＦ２９の表示画面の端領域に対する視線位置が検出されているか否かを判定する。システム制御部５０がＥＶＦ２９の表示画面の端領域に対する視線位置が検出されなくなったと判定した場合、処理はＳ９０２へ進む。これにより、表示アイテム５０１を再表示させる準備が整う。
システム制御部５０がＥＶＦ２９の表示画面の端領域に対する視線位置が検出されていると判定した場合、Ｓ９１８が繰り返される。ユーザの視線がＥＶＦ２９の表示画面の端領域に留まっている場合、ユーザが表示中の画像を確認している可能性が高い。そこで、ユーザの視線が端領域から外れるまで表示アイテム５０１を再表示させない。これにより、画像の視認性の低下を抑制することが可能になる。

【0059】

以上のように、システム制御部５０は、第３の所定条件が満たされるまで、表示アイテム５０１を再表示させない。本実施形態では、ＥＶＦ２９に表示される画像の端領域に対する視線位置が検出されなかったことが、第３の所定条件である。第３の所定条件は、上記の条件に限定されるものではない。例えば、表示アイテム５０１が非表示になった時から、０．５秒経過した後、としてもよい。

【0060】

Ｓ９２０からＳ９２４までは、システム制御部５０が表示アイテム５０１に対応する処理を実行した後の動作について説明する。
Ｓ９２０において、システム制御部５０は、表示アイテム５０１の継続注視タイマの計時を開始する。処理はＳ９２１へ進む。表示アイテム５０１の継続注視タイマとは、表示アイテム５０１に対応する処理を実行した後に、表示アイテム５０１に対する視線位置が継続して検出されている時間を計時するタイマである。すなわち、Ｓ９１１において機能を実行した後、表示アイテム５０１は非表示にせず表示したままにする。
Ｓ９２１において、システム制御部５０は、表示アイテム５０１の継続注視タイマの経過時間が第３の所定時間を経過したか否かを判定する。システム制御部５０が第３の所定時間を経過したと判定した場合、処理はＳ９２４へ進む。システム制御部５０が第３の所定時間を経過していないと判定した場合、処理はＳ９２２へ進む。
Ｓ９２４において、システム制御部５０は、表示アイテム５０１の継続注視タイマの経過時間をリセットする。処理はＳ９１１へ進む。

【0061】

以上のように、システム制御部５０は、表示アイテム５０１に対する視線位置が検出された状態で、第４の所定条件が満たされた場合、表示アイテム５０１に対応する処理（画像送り処理）を再度実行する。
本実施形態では、表示アイテム５０１に対して注視されている時間が、第３の所定時間以上であることが、第４の所定条件である。第３の所定時間は、例えば０．２秒、０．３秒、０．４秒である。ただし、第４の所定条件は、上記の条件に限定されるものではない。例えば、視線検出が途切れたことに応じて第４の所定条件を満たさないとしてもよい。また、タッチ操作がされた場合に、第４の所定条件を満たすとしてもよい。また、第３の所定時間は、第１の所定時間よりも短い。これにより、表示アイテム５０１に対応する処理（画像送り処理）を連続的かつ速やかに実行することができる。

【0062】

Ｓ９２２において、システム制御部５０は、表示アイテム５０１に対する視線位置が検出されたか否かを判定する。システム制御部５０が表示アイテム５０１に対する視線位置が検出されたと判定した場合、処理はＳ９２１へ進む。システム制御部５０が表示アイテム５０１に対する視線位置が検出されなかったと判定した場合、処理はＳ９２３へ進む。
Ｓ９２３において、システム制御部５０は、表示アイテム５０１の継続注視タイマの経過時間をリセットする。なお、このとき表示アイテム５０１を非表示にする。処理はＳ９０４へ進む。
Ｓ９２５において、システム制御部５０は、ＥＶＦ２９への表示が可能であるか否かを判定する。システム制御部５０がＥＶＦ２９への表示が可能であると判定した場合、処理はＳ９０２へ進む。システム制御部５０がＥＶＦ２９への表示が不可能であると判定した場合、一連の処理が終了する。

【0063】

以上の本実施形態によれば、画像の端領域に視線入力がある場合、表示アイテム５０１を表示させ、画像の端領域に視線入力がない場合、表示アイテム５０１を表示させない。また、第１の所定条件を設定することで、表示された表示アイテム５０１を注視している場合に、表示アイテム５０１に対応する処理を実行する。これにより、画像の視認性を低下させることなく、視線による入力操作の操作性を向上させることができる。また、第２の所定条件を設けることで、表示アイテム５０１を表示させた後で、表示アイテム５０１に視線入力がない場合、表示アイテムの表示を取り消す。更に、第３の所定条件を設けることで、表示アイテム５０１の表示を取り消した後、画像の端領域から視線入力がなくなるまで、表示アイテム５０１を再表示させない。これにより、画像の視認性の低下を更に抑制することができる。また、第４の所定条件を設定することで、表示アイテム５０１に対応する処理を連続的かつ速やかに実行することができる。これにより、更に快適な操作性を実現することができる。

【0064】

以上、本発明をその好適な実施形態に基づいて詳述してきたが、本発明はこれら特定の実施形態に限られるものではなく、この発明の要旨を逸脱しない範囲の様々な形態も本発明に含まれる。更に、上述した各実施形態は本発明の一実施形態を示すものにすぎず、各実施形態を適宜組み合わせることも可能である。

【0065】

例えば、表示部としてＥＶＦ２９を使用する構成としたが、視線検出を利用する構成であれば、どのような表示装置を使用しても構わない。また、本発明をその好適な実施形態としてデジタルカメラに基づいて詳述してきたが、視線検出部１６０を有する電子機器であれば、あらゆるものに適用可能である。例えば、画像ビューアのような表示装置に適用しても構わない。また、音楽プレーヤのような、音声装置に適用しても構わない。また、パーソナルコンピュータやＰＤＡ、携帯電話端末や、ディスプレイを備えるプリンタ装置、デジタルフォトフレーム、ゲーム機、電子ブックリーダー、ヘッドマウントディスプレイ等のウェアラブル機器等に適用可能である。

【0066】

なお、システム制御部５０が行うものとして説明した上述の各種制御は、１つのハードウェアが行ってもよいし、複数のハードウェアが処理を分担することで、装置全体の制御を行ってもよい。
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。

【符号の説明】

【0067】

１６：接眼部
２９：ファインダー内表示部（ＥＶＦ）
５０：システム制御部
５６：不揮発性メモリ
５７：接眼検知部
１００：デジタルカメラ
１６０：視線検出部
１６５：視線検出回路
５０１：表示アイテム

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】