特許 7431567 電子機器およびその制御方法、プログラム、並びに記憶媒体

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2024-02-06

(45)【発行日】2024-02-15

(54)【発明の名称】電子機器およびその制御方法、プログラム、並びに記憶媒体

(51)【国際特許分類】

   H04N 23/53 20230101AFI20240207BHJP

   H04N 23/60 20230101ALI20240207BHJP

   H04N 23/63 20230101ALI20240207BHJP

   G03B 7/091 20210101ALI20240207BHJP

   G03B 13/06 20210101ALI20240207BHJP

   G03B 17/02 20210101ALI20240207BHJP

   G03B 17/20 20210101ALI20240207BHJP

   G06F 3/01 20060101ALI20240207BHJP

   G06F 3/0346 20130101ALI20240207BHJP

   G06F 3/038 20130101ALI20240207BHJP

【ＦＩ】

H04N23/53

H04N23/60

H04N23/63

G03B7/091

G03B13/06

G03B17/02

G03B17/20

G06F3/01 510

G06F3/0346 423

G06F3/038 310A

【請求項の数】 12

(21)【出願番号】P 2019223003

(22)【出願日】2019-12-10

(65)【公開番号】P2021093624

(43)【公開日】2021-06-17

【審査請求日】2022-11-09

(73)【特許権者】

【識別番号】000001007

【氏名又は名称】キヤノン株式会社

(74)【代理人】

【識別番号】110003281

【氏名又は名称】弁理士法人大塚国際特許事務所

(72)【発明者】

【氏名】菅谷 一基

【審査官】藏田 敦之

(56)【参考文献】

【文献】特開２０１４－０８６０６３（ＪＰ，Ａ）

【文献】特開２０１７－１２０２７２（ＪＰ，Ａ）

【文献】特開平０５－１９１６８６（ＪＰ，Ａ）

【文献】特開平０５－２４１０６３（ＪＰ，Ａ）

【文献】特開平０９－２５３０５０（ＪＰ，Ａ）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｈ０４Ｎ ２３／５３ －２３／６３

Ｇ０３Ｂ ７／０９１

Ｇ０３Ｂ １３／０６

Ｇ０３Ｂ １７／０２

Ｇ０３Ｂ １７／２０

Ｇ０６Ｆ ３／０１

Ｇ０６Ｆ ３／０３４６

Ｇ０６Ｆ ３／０３８

(57)【特許請求の範囲】

【請求項1】

ファインダーに対する物体の接近を検知可能な接近検知手段と、
前記ファインダー内に配置されている表示部に対する視線の位置を検出する視線検出手段と、
前記接近検知手段により物体が接近したことが検知されると前記視線検出手段を駆動させ、前記接近検知手段の駆動を停止するように制御する制御手段と、を有し、
前記制御手段は、前記視線検出手段の検出結果に基づき、前記接近検知手段の駆動を停止した状態から駆動させ、前記接近検知手段を駆動するとともに前記視線検出手段の駆動を停止するように制御することを特徴とする電子機器。

【請求項2】

前記視線検出手段の検出結果は、瞳孔のデフォーカス量であることを特徴とする請求項１に記載の電子機器。

【請求項3】

前記視線検出手段の検出結果は、角膜反射像の輝度であることを特徴とする請求項１に記載の電子機器。

【請求項4】

前記視線検出手段の検出結果は、前記角膜反射像の複数の輝点の間隔であることを特徴とする請求項３に記載の電子機器。

【請求項5】

前記制御手段は、前記複数の輝点の間隔が縮小方向に変化すると前記接近検知手段の駆動を停止した状態から駆動させるように制御することを特徴とする請求項４に記載の電子機器。

【請求項6】

前記制御手段は、所定時間の前記複数の輝点の間隔の変化量に応じて、前記複数の輝点の間隔による判定閾値を変更することを特徴とする請求項５に記載の電子機器。

【請求項7】

前記制御手段は、前記複数の輝点の間隔の変化量が閾値以下の場合は前記複数の輝点の間隔の判定閾値を小さくし、前記複数の輝点の間隔の変化量が閾値を超える場合は前記複数の輝点の間隔の判定閾値を大きくし、前記複数の輝点の間隔が閾値以下の場合に前記視線検出手段の駆動を停止させ、前記接近検知手段を駆動させるように制御することを特徴とする請求項６に記載の電子機器。

【請求項8】

前記制御手段は、前記視線検出手段の検出結果に基づき、前記物体の接近を検知可能であるか否かを判定し、
前記制御手段は、前記視線検出手段により角膜反射像および瞳孔の少なくともいずれかが検出されなくなった場合に前記視線検出手段の検出結果に基づき物体の接近を検知できないと判定することを特徴とする請求項１から７のいずれか１項に記載の電子機器。

【請求項9】

前記制御手段は、前記接近検知手段により物体が接近したことが検知されるとファインダー内に配置されている表示部の表示をオンし、ファインダー外に配置されている表示部の表示をオフし、
前記接近検知手段により物体が接近したことが検知されなくなるとファインダー内に配置されている表示部の表示をオフし、ファインダー外に配置されている表示部の表示をオンするように制御することを特徴とする請求項１から８のいずれか１項に記載の電子機器。

【請求項10】

ファインダーに対する物体の接近を検知可能な接近検知手段と、
前記ファインダー内に配置されている表示部に対する視線の位置を検出する視線検出手段と、を有する電子機器の制御方法であって、
前記接近検知手段により物体が接近したことが検知されると前記視線検出手段を駆動させ、前記接近検知手段の駆動を停止するように制御する制御ステップを有し、
前記制御ステップでは、前記視線検出手段の検出結果に基づき、前記接近検知手段の駆動を停止した状態から駆動させ、前記接近検知手段を駆動するとともに前記視線検出手段の駆動を停止するように制御することを特徴とする制御方法。

【請求項11】

コンピュータを、請求項１から９のいずれか１項に記載された電子機器の制御手段として機能させるためのプログラム。

【請求項12】

コンピュータを、請求項１から９のいずれか１項に記載された電子機器の制御手段として機能させるためのプログラムを格納したコンピュータが読み取り可能な記憶媒体。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、接近検知と視線検出を制御する技術に関する。

【背景技術】

【0002】

ユーザの視線を検出し、視線に応じた入力を受け付ける技術がある。特許文献１には、背面ディスプレイにユーザの視線があるか否かを判定し、視線の有無によって、接眼検知部の駆動／停止を制御することで省電化する方法が記載されている。特許文献２には、光学ファインダーと撮影された画像を確認するディスプレイを有し、接眼検知または視線検出がなされた場合にディスプレイを非表示にすることで省電化する方法が記載されている。

【先行技術文献】

【特許文献】

【0003】

【文献】特開２０１７－１２０２７２号公報

【文献】特開２００３－１９８８８９号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

特許文献１，２において、接眼検知用のセンサと視線検出用のセンサが近接配置されている場合、それぞれのセンサから照射される光（センサ光）が互いに影響を及ぼし合い誤検出などを招くおそれがある。

【0005】

本発明は、上記課題に鑑みてなされ、その目的は、接近検知用のセンサ光と視線検出用のセンサ光が互いに影響を及ぼし合わないようにする技術を実現することである。

【課題を解決するための手段】

【0006】

上記課題を解決し、目的を達成するために、本発明の電子機器は、ファインダーに対する物体の接近を検知可能な接近検知手段と、前記ファインダー内に配置されている表示部に対する視線の位置を検出する視線検出手段と、前記接近検知手段により物体が接近したことが検知されると前記視線検出手段を駆動させ、前記接近検知手段の駆動を停止するように制御する制御手段と、を有し、前記制御手段は、前記視線検出手段の検出結果に基づき、前記接近検知手段の駆動を停止した状態から駆動させ、前記接近検知手段を駆動するとともに前記視線検出手段の駆動を停止するように制御する。

【発明の効果】

【0007】

本発明によれば、接近検知用のセンサ光と視線検出用のセンサ光が互いに影響を及ぼし合わないようにすることができる。

【図面の簡単な説明】

【0008】

【図1】実施形態１、２の装置構成を示す外観図。

【図2】実施形態１、２の装置構成を示すブロック図。

【図3】実施形態１の接眼検知処理と視線検出処理の排他的な制御を示すフローチャート。

【図4】赤外光を投光した人物の眼球像を例示する図。

【図5】実施形態２の接眼検知処理と視線検出処理の排他的な制御を示すフローチャート。

【図6】実施形態２の眼球像と眼球までの距離の関係を示す図（ａ）、Ｐ像間隔とＰ像間隔の変化方向と離眼判定閾値の関係を示す図（ｂ）。

【発明を実施するための形態】

【0009】

以下、添付図面を参照して実施形態を詳しく説明する。なお、以下の実施形態は特許請求の範囲に係る発明を限定するものではない。実施形態には複数の特徴が記載されているが、これらの複数の特徴の全てが発明に必須のものとは限らず、また、複数の特徴は任意に組み合わせられてもよい。さらに、添付図面においては、同一若しくは同様の構成に同一の参照番号を付し、重複した説明は省略する。

【0010】

［実施形態１］
以下に、本発明の電子機器を、静止画や動画を撮影可能な撮像装置であるデジタルカメラに適用した実施の形態について、添付図面を参照して詳細に説明する。

【0011】

＜装置構成＞図１および図２を参照して、本実施形態のデジタルカメラ１００の構成および機能について説明する。

【0012】

図１（ａ）はデジタルカメラ１００の前面斜視図、図１（ｂ）はデジタルカメラ１００の背面斜視図である。

【0013】

図１において、背面表示部１０１は、ユーザが視認可能に、画像や各種情報を表示する、ファインダー外であるカメラ本体の背面に設けられた液晶パネルや有機ＥＬパネルなどの表示デバイスである。また、背面表示部１０１は、静止画撮影後の静止画再生や記録中の動画表示、およびライブビュー表示機能を併せ持っている。背面表示部１０１には、タッチパネル２７１が設けられている。タッチパネル２７１は、背面表示部１０１の表示面（タッチパネル２７１の操作面）対する接触（タッチ操作）を検出可能なタッチ検出手段である。ファインダー外表示部２４３は、カメラ本体の上面に設けられた液晶パネルや有機ＥＬパネルなどの表示デバイスであり、シャッター速度や絞りなどのカメラの様々な設定値を表示する。

【0014】

シャッターボタン１０２は撮影指示を行うための押しボタン式の操作部材である。モード切替スイッチ１０３は各種モードを切り替えるためのダイヤル式の操作部材である。モード切替スイッチ１０３は、システム制御部２０１の動作モードを、静止画撮影モード、動画記録モード、再生モードのいずれかに切り替える。静止画撮影モードには、例えば、オート撮影モード、オートシーン判別モード、マニュアルモード、絞り優先モード（Ａｖモード）、シャッター速度優先モード（Ｔｖモード）、プログラムＡＥモード（Ｐモード）、が含まれる。また、静止画撮影モードには、例えば、撮影シーン別の撮影設定となる各種シーンモード、プログラムＡＥモード、カスタムモードなどが含まれる。

【0015】

モード切替スイッチ１０３で、静止画撮影モードに含まれる複数のモードのいずれかに直接切り替える。あるいは、モード切替スイッチ１０３で静止画撮影モードに一旦切り替えた後に、静止画撮影モードに含まれる複数のモードのいずれかに他の操作部材を用いて切り替えるようにしてもよい。同様に、動画記録モードや再生モードにも複数のモードが含まれていてもよい。

【0016】

端子カバー１０４は外部機器とデジタルカメラ１００をＵＳＢなどのケーブルを介して接続するためのコネクタ（不図示）を保護するカバー部材である。メイン電子ダイヤル１０５は図２で後述する操作部２７０に含まれる回転操作部材であり、このメイン電子ダイヤル１０５を回すことで、シャッター速度や絞りなどの設定値が変更できる。

【0017】

電源スイッチ１０６はデジタルカメラ１００の電源のオン／オフを切り替える操作部材である。サブ電子ダイヤル１０７は、選択枠の移動や画像送りなどを行う回転操作部材である。十字キー１０８は、上、下、左、右からなる４方向ボタンのいずれかを押し込むことで、十字キー１０８の押した部分に応じた操作が可能な移動指示部材である。ＳＥＴボタン１０９は、主に選択項目の決定などに用いられる押しボタン式の操作部材である。録画ボタン１１０は、静止画撮影モードではライブビュー表示のオン／オフを切り替え、動画記録モードでは動画撮影（記録）の開始や停止の指示に用いられる押しボタン式の操作部材である。拡大ボタン１１１は、ライブビュー中における拡大表示のオン／オフ、および拡大表示中の拡大率の変更を行うために用いられる押しボタン式の操作部材である。また、拡大ボタン１１１は、再生モードでは再生画像を拡大し、拡大率を増加させるために使用される。拡大表示をオンとした後にメイン電子ダイヤル１０５を操作することでライブビューの拡大または縮小を行うことができる。また、再生モードでは再生画像を拡大し、拡大率を増加させるための拡大ボタンとして機能する。ＡＥロックボタン１１２は、撮影待機状態で押下することにより露出状態を固定することができる押しボタン式の操作部材である。再生ボタン１１３は、撮影モードと再生モードとを切り替えるために用いられる押しボタン式の操作部材である。撮影モード中に再生ボタン１１３を押下することで再生モードに移行し、記録媒体２５０に記録された画像のうち最新の画像を背面表示部１０１に表示させることができる。メニューボタン１１４は、押下されると各種の設定可能なメニュー画面が背面表示部１０１に表示される押しボタン式の操作部材である。ユーザは、背面表示部１０１に表示されたメニュー画面と、十字キー１０８やＳＥＴボタン１０９を用いて直感的に各種設定を行うことができる。

【0018】

背面表示部１０１および後述するファインダー内表示部２２９は、電子ビューファインダー（以下、ＥＶＦ）として上述した各種の動作モードに応じてシステム制御部２０１により表示制御される。

【0019】

接眼部２１６は、覗き込み型の接眼ファインダーである。ユーザは、接眼部２１６を介してファインダー内表示部２２９に表示された画像を視認可能であり、レンズユニット２００を通じて取り込んだ被写体像の焦点や構図の確認を行うことができる。

【0020】

接眼検知部２１７は、接眼部２１６の近傍に配置され、接眼部２１６への何らかの物体の接近を検知することができる。接眼検知部２１７は、例えば赤外線近接センサが用いられる。

【0021】

通信端子２１０はデジタルカメラ１００がレンズユニット２００（図２）と通信を行うための電気的接点である。蓋１１６はデジタルカメラ１００に対して記録媒体２５０を着脱するためにスロットを開閉する部材である。グリップ部１１５は、ユーザがデジタルカメラ１００を構えた際に右手で握りやすい形状を有する。グリップ部１１５を右手の小指、薬指、中指で握ってデジタルカメラ１００を保持した状態で、右手の人差指で操作可能な位置にシャッターボタン１０２、メイン電子ダイヤル１０５が配置されている。また、同じ状態で、右手の親指で操作可能な位置に、サブ電子ダイヤル１０７が配置されている。

【0022】

次に、図２を参照して、本実施形態のデジタルカメラ１００およびレンズユニット２００の内部構成について説明する。図２において、図１と共通する構成には同じ符号を付して示している。

【0023】

図２において、レンズユニット２００は撮影レンズ２０７を搭載し、デジタルカメラ１００に対して着脱可能である。撮影レンズ２０７は通常、複数枚のレンズから構成されるが、ここでは簡略して１枚のレンズのみで示している。通信端子２０６はレンズユニット２００がデジタルカメラ１００と通信を行うための電気的接点である。通信端子２１０はデジタルカメラ１００がレンズユニット２００と通信を行うための電気的接点である。レンズユニット２００は、通信端子２０６を介してシステム制御部２０１と通信し、内蔵されたレンズ制御部２０４が絞り駆動回路２０２を制御して絞り２０５を駆動し、ＡＦ駆動回路２０３を制御して撮影レンズ２０７の位置を変位させることで焦点を合わせる。

【0024】

フォーカルプレーンシャッター２２１は、システム制御部２０１の指示に応じて撮像部２２２での露光時間を自由に制御できる。撮像部２２２は被写体像を電気信号に変換するＣＣＤやＣＭＯＳ等の撮像素子で構成されたイメージセンサである。Ａ／Ｄ変換器２２３は、撮像部２２２から出力される１画素のアナログ信号を、例えば１０ビットのデジタル信号に変換する。

【0025】

画像処理部２２４は、Ａ／Ｄ変換器２２３からのデータ、又は、メモリ制御部２１５からのデータに対して所定の画素補間、縮小といったリサイズ処理や色変換処理を行う。また、画像処理部２２４では、撮像した画像データを用いて所定の演算処理が行われ、システム制御部２０１は演算結果に基づいて露光制御、測距制御を行う。これにより、ＴＴＬ（スルー・ザ・レンズ）方式のＡＦ（オートフォーカス）処理、ＡＥ（自動露出）処理、ＥＦ（フラッシュプリ発光）処理が行われる。画像処理部２２４では更に、撮像した画像データを用いて所定の演算処理を行い、演算結果に基づいてＴＴＬ方式のＡＷＢ（オートホワイトバランス）処理も行っている。

【0026】

メモリ制御部２１５は、Ａ／Ｄ変換器２２３、画像処理部２２４、メモリ２３２の間のデータの授受を制御する。Ａ／Ｄ変換器２２３から出力されるデジタルデータは、画像処理部２２４およびメモリ制御部２１５を介して、あるいは、メモリ制御部２１５を介してメモリ２３２に直接書き込まれる。メモリ２３２は、撮像部２２２およびＡ／Ｄ変換器２２３から得られる画像データや、背面表示部１０１またはファインダー内表示部２２９に表示するための画像表示用のデータを格納する。メモリ２３２は、所定枚数の静止画や所定時間の動画および音声を格納するのに十分な記憶容量を備えている。また、メモリ２３２は画像表示用のメモリ（ビデオメモリ）を兼ねている。

【0027】

Ｄ／Ａ変換器２１９は、メモリ２３２に格納されている画像表示用のデータをアナログ信号に変換して背面表示部１０１またはファインダー内表示部２２９に供給する。メモリ２３２に書き込まれた表示用の画像データはＤ／Ａ変換器２１９を介して背面表示部１０１やファインダー内表示部２２９により表示される。背面表示部１０１やファインダー内表示部２２９は、表示デバイスにＤ／Ａ変換器２１９からのアナログ信号に応じた表示を行う。このように、メモリ２３２に格納されたデジタル信号をアナログ信号に変換し、背面表示部１０１またはファインダー内表示部２２９に逐次転送して表示することで、ライブビュー（ＬＶ）表示（スルー画像表示）を行うＥＶＦとして機能する。

【0028】

ファインダー外表示部２４３には、ファインダー外表示部駆動回路２４４を介して、シャッター速度や絞りなどのカメラの様々な設定値が表示される。

【0029】

不揮発性メモリ２５６は、電気的に消去・記録可能な、例えばＥＥＰＲＯＭなどである。不揮発性メモリ２５６には、システム制御部２０１の動作用の定数、プログラム等が記憶される。ここでいう、プログラムとは、後述するフローチャートを実行するためのプログラムのことである。

【0030】

システム制御部２０１は、デジタルカメラ１００全体を統括して制御するＣＰＵやＭＰＵを備え、不揮発性メモリ２５６に格納されたプログラムを実行することで、後述するフローチャートの各処理を実現する。システムメモリ２５２はＲＡＭなどであり、システム制御部２０１の動作用の定数、変数、不揮発性メモリ２５６から読み出したプログラムなどを展開するワークメモリとしても使用される。また、システム制御部２０１は、メモリ２３２、Ｄ／Ａ変換器２１９、背面表示部１０１、ファインダー内表示部２２９などを制御することにより表示制御も行う。システムタイマー２５３は各種制御に用いる時間や、内蔵時計の時間を計測する計時部である。

【0031】

第１シャッタースイッチ２１１および第２シャッタースイッチ２１２はシステム制御部２０１に以下の動作指示を入力する。

【0032】

第１シャッタースイッチ２１１は、デジタルカメラ１００に設けられたシャッターボタン１０２の操作途中、いわゆる半押し（撮影準備指示）でオンとなり、第１シャッタースイッチ信号ＳＷ１を発生する。システム制御部２０１は、第１シャッタースイッチ信号ＳＷ１を受けて画像処理部２２４によって、ＡＦ処理、ＡＥ処理、ＡＷＢ処理、ＥＦ処理などを開始する。

【0033】

第２シャッタースイッチ２１２は、シャッターボタン１０２の操作完了、いわゆる全押し（撮影指示）でオンとなり、第２シャッタースイッチ信号ＳＷ２を発生する。システム制御部２０１は、第２シャッタースイッチ信号ＳＷ２により、撮像部２２２からの信号読み出しから記録媒体２５０に画像データを書き込むまでの一連の撮影処理を開始する。

【0034】

操作部２７０は、ユーザからの各種操作を受け付けて、システム制御部２０１へ通知する各種スイッチ、ボタンなどの操作部材からなり、少なくとも以下の操作部材が含まれる。シャッターボタン１０２、モード切替スイッチ１０３、メイン電子ダイヤル１０５、電源スイッチ１０６、サブ電子ダイヤル１０７、十字キー１０８、ＳＥＴボタン１０９、録画ボタン１１０、拡大ボタン１１１、ＡＥロックボタン１１２、再生ボタン１１３、メニューボタン１１４。

【0035】

電源制御部２８０は、電池検出回路、ＤＣ－ＤＣコンバータ、通電するブロックを切り替えるスイッチ回路等により構成され、電池の装着の有無、電池の種類、電池残量の検出を行う。また、電源制御部２８０は、その検出結果およびシステム制御部２０１の指示に基づいてＤＣ－ＤＣコンバータを制御し、必要な電圧を必要な期間、記録媒体２５０を含む各部へ供給する。

【0036】

電源部２３０は、アルカリ電池やリチウム電池等の一次電池やＮｉＣｄ電池やＮｉＭＨ電池、Ｌｉイオン電池等の二次電池、ＡＣアダプタ等からなる。記録媒体Ｉ／Ｆ２１８は、メモリカードやハードディスク等の記録媒体２５０とのインターフェースである。記録媒体２５０は、撮影された画像を記録するためのメモリカード等の記録媒体であり、半導体メモリや磁気ディスク等から構成される。

【0037】

通信部２５４は、無線アンテナや有線ケーブルによって外部機器と通信可能に接続し、映像や音声の送受信を行う。通信部２５４は無線ＬＡＮ（Ｌｏｃａｌ Ａｒｅａ Ｎｅｔｗｏｒｋ）やインターネットにも接続可能である。通信部２５４は撮像部２２２で撮像された画像データ（ライブビュー画像を含む）や、記録媒体２５０に記録されている画像ファイルを外部機器に送信でき、また、外部機器から画像データやその他の各種情報を受信できる。なお、通信部２５４は、無線ＬＡＮに限らず、赤外線通信、Ｂｌｕｅｔｏｏｔｈ（登録商標）、Ｂｌｕｅｔｏｏｔｈ（登録商標） Ｌｏｗ Ｅｎｅｒｇｙ、ＷｉｒｅｌｅｓｓＵＳＢなどの無線通信モジュール、あるいは、ＵＳＢケーブルやＨＤＭＩ（登録商標）、ＩＥＥＥ１３９４などの有線接続手段を用いてもよい。

【0038】

姿勢検知部２５５は重力方向に対するデジタルカメラ１００の姿勢を検知する。姿勢検知部２５５で検知された姿勢に基づいて、撮像部２２２で撮影された画像が、デジタルカメラ１００を横に構えて撮影された画像であるか、縦に構えて撮影された画像なのかを判別可能である。システム制御部２０１は、姿勢検知部２５５で検知された姿勢に応じた向き情報を撮像部２２２で撮像された画像の画像ファイルに付加したり、画像を回転して記録したりすることが可能である。姿勢検知部２５５としては、加速度センサやジャイロセンサなどを用いることができる。姿勢検知部２５５は、加速度センサやジャイロセンサを用いることで、デジタルカメラ１００の動き（パン、チルト、持ち上げ、静止など）を検知することも可能である。

【0039】

なお、操作部２７０の１つとして、背面表示部１０１に対するタッチ操作を検出可能なタッチパネル２７１を有する。タッチパネル２７１と背面表示部１０１とは一体的に構成することができる。例えば、タッチパネル２７１を光の透過率が背面表示部１０１の表示を妨げないように構成し、背面表示部１０１の表示面の上層に取り付ける。そして、タッチパネル２７１における入力座標と、背面表示部１０１上の表示座標とを対応付ける。これにより、あたかもユーザが背面表示部１０１上に表示された画面を直接的に操作可能であるかのようなＧＵＩを構成することができる。システム制御部２０１はタッチパネル２７１への以下の操作、あるいは状態を検出できる。

【0040】

・タッチパネル２７１にタッチしていなかった指やペンが新たにタッチパネル２７１にタッチしたこと。すなわち、タッチの開始（以下、タッチダウン（Ｔｏｕｃｈ－Ｄｏｗｎ）と称する）。

【0041】

・タッチパネル２７１を指やペンでタッチしている状態であること（以下、タッチオン（Ｔｏｕｃｈ－Ｏｎ）と称する）。

【0042】

・タッチパネル２７１を指やペンでタッチしたまま移動していること（以下、タッチムーブ（Ｔｏｕｃｈ－Ｍｏｖｅ）と称する）。

【0043】

・タッチパネル２７１へタッチしていた指やペンを離したこと。すなわち、タッチの終了（以下、タッチアップ（Ｔｏｕｃｈ－Ｕｐ）と称する）。

【0044】

・タッチパネル２７１に何もタッチしていない状態（以下、タッチオフ（Ｔｏｕｃｈ－Ｏｆｆ）と称する）。

【0045】

タッチダウンが検出されると、同時にタッチオンであることも検出される。タッチダウンの後、タッチアップが検出されない限りは、通常はタッチオンが検出され続ける。タッチムーブが検出されるのもタッチオンが検出されている状態である。タッチオンが検出されていても、タッチ位置が移動していなければタッチムーブは検出されない。タッチしていた全ての指やペンがタッチアップしたことが検出された後は、タッチオフとなる。

【0046】

これらの操作・状態や、タッチパネル２７１上に指やペンがタッチしている位置座標は内部バスを通じてシステム制御部２０１に通知され、システム制御部２０１は通知された情報に基づいてタッチパネル２７１上にどのような操作（タッチ操作）が行われたかを判定する。タッチムーブについてはタッチパネル２７１上で移動する指やペンの移動方向についても、位置座標の変化に基づいて、タッチパネル２７１上の垂直成分・水平成分毎に判定できる。所定距離以上をタッチムーブしたことが検出された場合はスライド操作（ドラッグ）が行われたと判定するものとする。タッチパネル上に指をタッチしたままある程度の距離だけ素早く動かして、そのまま離すといった操作をフリックと呼ぶ。フリックは、言い換えればタッチパネル２７１上を指ではじくように素早くなぞる操作である。所定距離以上を、所定速度以上でタッチムーブしたことが検出され、そのままタッチアップが検出されるとフリックが行われたと判定できる（ドラッグに続いてフリックがあったものと判定できる）。更に、複数箇所（例えば２点）を同時にタッチして、互いのタッチ位置を近づけるタッチ操作をピンチイン、互いのタッチ位置を遠ざけるタッチ操作をピンチアウトと称する。ピンチアウトとピンチインを総称してピンチ操作（あるいは単にピンチ）と称する。タッチパネル２７１は、抵抗膜方式や静電容量方式、表面弾性波方式、赤外線方式、電磁誘導方式、画像認識方式、光センサ方式等、様々な方式のタッチパネルのうちいずれの方式のものを用いても良い。方式によって、タッチパネルに対する接触があったことでタッチがあったと検出する方式や、タッチパネルに対する指やペンの接近があったことでタッチがあったと検出する方式があるが、いずれの方式でもよい。

【0047】

接眼検知部２１７は接眼部２１６に対する目（物体）の接近（接眼）および離反（離眼）を検知する（接近検知）。システム制御部２０１は、接眼検知部２１７で検知された状態に応じて、背面表示部１０１とファインダー内表示部２２９の表示（表示状態）／非表示（非表示状態）を切り替える。システム制御部２０１は、少なくとも撮影モード、かつ、表示先の切替が自動である場合において、非接眼中は表示先を背面表示部１０１とし、ファインダー内表示部２２９は非表示とする。また、接眼中は表示先をファインダー内表示部２２９とし、背面表示部１０１は非表示とする。

【0048】

物体が接近した場合は、接眼検知部２１７の投光部（図示せず）から照射された赤外光が反射して赤外線近接センサの受光部（図示せず）に入射される。赤外線近接センサで受光される赤外光の入射光量によって、接眼部２１６への何らかの物体の接近の検出と、物体が接眼部２１６からどの程度の距離まで近づいているか（接眼距離）を判別することができる。接眼部２１６への物体の接近を検知するとシステム制御部２０１がファインダー内表示部２２９の表示を開始させることが可能となる。これにより、ユーザが接眼部２１６を覗いたときにファインダー内表示部２２９を極力遅延なく表示可能となる。

【0049】

また、接眼検知部２１７は、非接眼状態（非接近状態）から、接眼部２１６に対して所定距離以内に近づく物体を検出した場合に接眼を検出したと判定し、システム制御部２０１に接眼検知通知を送信する。また、接眼状態（接近状態）から、接近を検知していた物体が所定距離以上離れた場合に離眼が検出したと判定し、システム制御部２０１に離眼検知通知を送信する。接眼を検出する閾値と、離眼を検出する閾値は例えばヒステリシスを設けるなどして異なっていてもよい。また、接眼を検出した後は、離眼を検出するまでは接眼状態であるものとする。離眼を検出した後は、接眼を検出するまでは非接眼状態であるものとする。これにより、システム制御部２０１は、接眼検知部２１７が検出した接眼状態もしくは離眼状態に応じて背面表示部１０１とファインダー内表示部２２９の表示制御を行う。

【0050】

なお、接眼検知部２１７は赤外線近接センサに限らず、接眼とみなせる目や物体の接近を検知できるものであれば他のセンサを用いてもよい。

【0051】

視線検出部２６０は、次のダイクロイックミラー２６２、結像レンズ２６３、視線検出センサ２６４、視線検出回路２６５、赤外発光素子２６６を含み、ユーザの視線の有無だけでなく視線の位置や動きを検出する。

【0052】

赤外発光素子２６６は、ファインダー画面内におけるユーザの視線位置を検出するための赤外光を発光するダイオードであり、ユーザの眼球（目）２６１に赤外光を接眼部２１６の中央付近に向けて照射する。赤外発光素子２６６から照射された赤外光は眼球（目）２６１で反射し、反射した赤外光はダイクロイックミラー２６２に到達する。ダイクロイックミラー２６２は赤外光だけを反射して可視光を透過させる機能を有し、光路を変更された反射赤外光は、結像レンズ２６３を介して視線検出センサ２６４の撮像面に結像する。

【0053】

結像レンズ２６３は視線検出光学系を構成する光学部材である。視線検出センサ２６４は、ＣＣＤやＣＭＯＳなどからなるイメージセンサを含む。視線検出センサ２６４は、入射された反射赤外光を電気信号に光電変換して視線検出回路２６５へ出力する。視線検出回路２６５は、視線検出センサ２６４の出力信号に基づき、ユーザの眼球（目）２６１の動きや瞳孔の位置からユーザの視線位置を検出し、検出した情報をシステム制御部２０１に出力する。視線検出センサ２６４は、人の目の瞳孔の検知が可能であるため、他の物体が接眼部２１６に接近または接触していても、人の視線が入力されていることを検知しない。これにより接眼部２１６は視線操作部としての機能を有するが、視線検出部は別の構成であってもよい。

【0054】

視線検出部２６０は接眼部２１６に接眼された状態で以下の情報を検出できる。
・接眼部２１６へ入力された瞳孔のエッジ１６１ａと角膜反射像（プルキニエ像＝Ｐ像）１６１ｂの少なくともいずれかの検出状態
・接眼部２１６へ入力されたＰ像１６１ｂ間の距離、変化量および変化方向
これらの情報は内部バスを通じてシステム制御部２０１に通知され、システム制御部２０１は視線検出部２６０から通知された情報に基づいて接眼部２１６に対する接眼状態または離眼状態を判定する。

【0055】

なお、視線検出部２６０による視線入力機能の有効／無効は、例えば、メニュー画面を介してユーザが設定可能である。

【0056】

＜制御処理＞次に、図３および図４を参照して、実施形態１における、接眼検知処理と視線検出処理の排他的な制御について説明する。

【0057】

以下では、Ｐ像および瞳孔エッジの消失に基づく離眼判定に応じた接眼検知処理と視線検出処理の排他的な制御について説明する。

【0058】

図３（ａ）、（ｂ）は、実施形態１の接眼検知処理と視線検出処理の排他的な制御を示すフローチャートである。図３（ａ）、（ｂ）の処理は、デジタルカメラ１００の電源がオンされ、システム制御部２０１が、不揮発性メモリ２５６に格納されたプログラムをシステムメモリ２５２に展開して実行し、各部機能ブロックを制御することにより実現される。また、図３（ａ）、（ｂ）の処理は、デジタルカメラ１００の電源がオンされると開始される。

【0059】

図３（ａ）において、Ｓ３０２では、システム制御部２０１は、接眼検知部２１７を検知可能な状態に切り替える。システム制御部２０１は、接眼検知部２１７の赤外投光部が外部に向けて赤外光を投光し、対物反射した赤外光を赤外受光センサにて受光可能な状態とする。

【0060】

Ｓ３０３では、システム制御部２０１は、接眼検知部２１７の検知結果に基づき、接眼部２１６に対してユーザが接眼状態か否かを判定する。システム制御部２０１は、接眼状態ではないと判定した場合はＳ３１０に進み、接眼状態であると判定した場合はＳ３０４に進む。

【0061】

Ｓ３０４では、システム制御部２０１は、背面表示部１０１の表示を停止（非表示）し、ファインダー内表示部２２９の表示を開始し、Ｓ３０５に進む。

【0062】

Ｓ３０５では、システム制御部２０１は、視線入力機能が有効であるか否かを判定し、視線入力機能が有効な場合はＳ３０６に進み、有効でない場合はＳ３０３に戻る。視線入力の有効／無効はメニューボタン１１４により（メニュー画面において）ユーザが設定可能である。

【0063】

Ｓ３０６では、システム制御部２０１は、接眼検知部２１７を非検知状態とし、接眼検知部２１７の赤外投光部および赤外受光センサの駆動を停止する。

【0064】

これにより、次のステップ以降で視線検出を行う際に接眼検知部２１７の赤外投光部から照射される赤外光の影響を視線検出部２６０が受けることなく動作可能となり視線検出時の誤検出を防止できる。また、接眼検知部２１７の赤外投光部の駆動を停止することで省電力化が可能になる。

【0065】

Ｓ３０７では、システム制御部２０１は、視線検出処理を行う。図３（ｂ）は、Ｓ３０７の視線検出処理の詳細を示すフローチャートである。

【0066】

Ｓ３００２では、システム制御部２０１は、視線検出部２６０を検出可能な状態とする。システム制御部２０１は、視線検出部２６０の赤外発光素子２６６を接眼部２１６に向けて照射し、視線検出センサ２６４を駆動し赤外光を検出可能な状態とする。これにより、接眼部２１６を介して赤外発光素子２６６がユーザの眼球に届き、さらに接眼部２１６を介して赤外光が視線検出センサ２６４へ届く。

【0067】

ここで、図４を参照して、Ｐ像と瞳孔エッジについて説明する。

【0068】

図４は、赤外光を投光した人の眼球像を示している。赤外光を投光された眼球には、Ｐ像１６１ｂと呼ばれる１つまたは複数（図４では２つ）の輝点が反射像として現れる。また、瞳孔は虹彩の中心部の穴であり、輝度差またはデフォーカス量から瞳孔のエッジ１６１ａを検出することができる。

【0069】

Ｓ３００３では、システム制御部２０１は、視線検出センサ２６４によりユーザの瞳孔画像を取得し、取得した画像を視線検出回路２６５に出力する。

【0070】

Ｓ３００４では、システム制御部２０１は、視線検出回路２６５によりユーザの瞳孔のエッジ１６１ａを取得する。

【0071】

Ｓ３００５では、システム制御部２０１は、視線検出回路２６５によりユーザのＰ像１６１ｂを取得する。

【0072】

Ｓ３００６では、システム制御部２０１は、瞳孔のエッジ１６１ａから瞳孔の中心位置を計算し、Ｐ像１６１ｂとの関係から視線注視位置を算出する。

【0073】

Ｓ３００７では、システム制御部２０１は、視線位置での各種設定変更を行い、視線検出処理を終了し、Ｓ３０８に進む。Ｓ３００７においては、例えば注視点に対してカメラの焦点を合わせるように焦点調整位置を変更するなど、撮影条件における種々の設定変更を行う。

【0074】

Ｓ３０８では、システム制御部２０１は、接眼検知部２１７が瞳孔のエッジ１６１ａおよびＰ像１６１ｂの少なくともいずれかを検出されたか否かを判定する。瞳孔のエッジ１６１ａおよびＰ像１６１ｂのいずれか一方が少なくとも検出できた場合は接眼状態と判定し、Ｓ３０７に戻り視線検出を続け、いずれも検出できなかった場合は離眼状態と判定し、Ｓ３０９に進む。

【0075】

Ｓ３０９では、システム制御部２０１は、視線検出部２６０を非検出状態とする。システム制御部２０１は、赤外発光素子２６６および視線検出センサ２６４の駆動を停止する。

【0076】

Ｓ３１０では、システム制御部２０１は、背面表示部１０１を駆動し、ファインダー内表示部２２９の表示を停止する。

【0077】

Ｓ３１１では、システム制御部２０１は、ユーザにより電源スイッチ１０６がオフされたか否かを判定し、電源スイッチ１０６のオン状態が継続している場合はＳ３０２に戻り、接眼検知部２１７の検知状態を継続し、電源スイッチ１０６がオフ状態の場合はＳ３１２に進み、処理を終了する。

【0078】

以上のように、実施形態１によれば、接眼/非接眼状態を検知するための光と、視線位置の検出をするための光とが干渉することを防ぐことができる。実施形態１では、接眼状態または離眼状態の判定を視線検出部２６０の出力結果（ここでは、瞳孔のエッジ１６１ａ、Ｐ像１６１ｂの有無）に基づいて行う。これにより、接眼検知部２１７を非検知状態にしても接眼／離眼の判定が行えるため、接眼検知処理と視線検出処理を排他的に制御することが可能になる。そして、接眼検知部２１７の赤外投光部から照射される赤外光の影響を視線検出部２６０の視線検出センサ２６４が受けることなく動作可能となり視線検出時の誤検出を防止できる。また、視線検出部２６０の赤外発光素子２６６から照射される赤外光の影響を接眼検知部２１７の赤外受光センサが受けることなく動作可能となり接眼検知時の誤検知を防止できる。さらに、接眼検知処理と視線検出処理を排他的に制御することで省電効果も得ることが可能となる。

【0079】

［実施形態２］次に、図５および図６を参照して、実施形態２について説明する。

【0080】

実施形態２は、接眼検知処理と視線検出処理の排他的な制御において、Ｐ像の間隔およびＰ像間隔の変化方向を判定した結果に基づいて制御を行う方法である。

【0081】

図５は、実施形態２の接眼検知処理と視線検出処理の排他的な制御を示すフローチャートである。

【0082】

図５のＳ５０２からＳ５０７の処理とＳ５１３からＳ５１６の処理は、図３（ａ）のＳ３０２からＳ３０７の処理とＳ３０９からＳ３１２の処理、図３（ｂ）と同様であるため、説明を省略する。

【0083】

Ｓ５０８では、システム制御部２０１は、視線検出センサ２６４により取得したＰ像１６１ｂ２点の間隔について、単位時間当たりの変化量を視線検出回路２６５が算出する。Ｐ像１６１ｂ２点の間隔が縮小方向以外の場合（＝拡大もしくは、距離の変化がない場合）は、Ｓ５０９に進み、縮小方向の場合はＳ５１１に進む。すなわち、ユーザの目が接眼部２１６から遠ざかっていると判定された場合には、Ｓ５１１に進み、そうでない場合は、Ｓ５０９へ進む。

【0084】

Ｓ５０９では、システム制御部２０１は、視線検出回路２６５でＰ像間隔の判定に用いるＰ像間隔判定閾値をαに設定する。

【0085】

Ｓ５１０では、システム制御部２０１は、視線検出回路２６５によりＰ像間隔が閾値α以下であるか否かを判定し、閾値α以下である場合は離眼状態であると判定してＳ５１３に進み、閾値αを超える場合はＳ５０７に進み、視線検出を続ける。

【0086】

Ｓ５１１では、システム制御部２０１は、視線検出回路２６５でＰ像間隔の判定に用いるＰ像間隔判定閾値をβに設定する。

【0087】

Ｓ５１２では、システム制御部２０１は、視線検出回路２６５によりＰ像間隔が閾値β以下か否かを判定し、閾値β以下である場合は離眼状態であると判定してＳ５１３に進み、閾値βを超える場合はＳ５０７に進み、視線検出を続ける。

【0088】

上記Ｓ５０８からＳ５１２の処理について、図６を参照してＰ像間隔とＰ像間隔の変化方向に基づく離眼状態の判定方法を説明する。

【0089】

図６（ａ）は、実施形態２の眼球像と、デジタルカメラ１００に対する眼球の近接距離の関係を概念的に示している。図６（ｂ）は、実施形態２のＰ像間隔の変化方向に対するＰ像間隔による離眼判定の閾値の関係を示している。

【0090】

図６（ａ）は、図中右端に接眼部２１６がある状態において、ユーザの顔の位置に対して視線検出センサ２６４により取得したＰ像１６１ｂ間隔の変化を示している。接眼位置（ｉ）の位置は接眼部２１６から６５ｍｍ離れた位置であり、接眼検知部２１７で接眼状態と判定される位置境界条件である。この位置でのＰ像の距離間隔は狭く、仮に値Ａとする。接眼位置（ｉｉｉ）の位置は接眼部２１６から２３ｍｍ離れた位置であり、ユーザが顔の一部を接眼部２１６に接触させて把持した状態の位置である。この位置でのＰ像の距離間隔は広く、仮に値Ｃとする。接眼位置（ｉ）と接眼位置（ｉｉｉ）の中間位置を（ｉｉ）とし、Ｐ像の距離間隔の値をＢとすると、値の大きさは、下記の関係となる。
Ａ＜Ｂ＜Ｃ
次に、図６（ｂ）を用いてＰ像間隔の変化方向に対するＰ像間隔による離眼判定閾値について説明する。前提として閾値以下のＰ像距離となった場合に離眼状態にあると判定する。縦軸はＰ像間隔の値を示し、横軸はＰ像間隔の変化方向（縮小方向とそれ以外（＝拡大もしくは、変化しない）の二値）を示す。接眼位置（ｉｉ）と接眼位置（ｉｉｉ）間のある位置Ｘにユーザの顔がある場合、Ｐ像間隔の値はＣ以下、Ｂ以上の値となる。離眼判定の閾値をＰ像間隔が縮小方向以外においては閾値αとし、縮小する方向を閾値βとする。また各閾値の値は下記の関係とする。
α＜Ａ、β＞Ｃ すなわち、α＜βとなる。

【0091】

例えば、ユーザの顔が位置Ｘにある場合、Ｐ像間隔が縮小方向以外の場合（＝拡大もしくは、変化しない場合）は、閾値はαとなり、Ｐ像間隔はαを超えるため、視線検出部２６０の検出結果に基づき接眼状態と判定する。Ｐ像間隔が縮小方向の場合は、閾値はβとなり、Ｐ像間隔はβ以下となるため、視線検出部２６０の検出結果に基づき離眼状態と判定する。

【0092】

閾値αを値Ａ以下に設定することで、Ｐ像間隔が縮小方向以外の拡大方向である場合に確実に接眼状態であることを判定することができる。

【0093】

閾値βを値Ｃ以上に設定することで、Ｐ像間隔が縮小である際に確実に離眼状態であることを判定することができる。

【0094】

以上のように、実施形態２によれば、接眼/非接眼状態を検知するための光と、視線位置の検出をするための光とが干渉することを防ぐことができる。実施形態２では、赤外光の影響を低減すると共に、Ｐ像間隔とＰ像間隔の変化方向に基づき接眼状態または離眼状態を判定できる。これにより、ユーザの顔が接眼部２１６から近い位置でもなく、離れた位置でもないようなＰ像からだけでは判断ができない状態において、ユーザの意図を反映できるようになる。つまり、離眼して背面表示部１０１を見たいのか、接眼状態を維持したいのかがＰ像の距離の変化方向と閾値により判定できるようになり、よりユーザの望む機能を実行させることが可能になる。

【0095】

なお、システム制御部２０１が行うものとして説明した上述の各種制御は、１つのハードウェアが行ってもよいし、複数のハードウェアが処理を分担することで、装置全体の制御を行ってもよい。

【0096】

また、本発明をその好適な実施形態に基づいて詳述してきたが、本発明はこれら特定の実施形態に限られるものではなく、この発明の要旨を逸脱しない範囲の様々な形態も本発明に含まれる。さらに、上述した各実施形態は本発明の一実施形態を示すものにすぎず、各実施形態を適宜組み合わせることも可能である。

【0097】

また、上述した実施形態においては、本発明をデジタルカメラに適用した場合を例にして説明したが、これに限定されず、接眼検知機能および視線入力機能を有する装置であれば適用可能である。すなわち、本発明はパーソナルコンピュータやＰＤＡ、携帯電話端末や携帯型の画像ビューワ、ディスプレイを備えるプリンタ装置、デジタルフォトフレーム、音楽プレーヤ、ゲーム機、電子ブックリーダ、タブレット端末、スマートフォン、投影装置、ディスプレイを備える家電装置や車載装置などに適用可能である。

【0098】

［他の実施形態］
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。

【0099】

発明は上記実施形態に制限されるものではなく、発明の精神および範囲から離脱することなく、様々な変更および変形が可能である。従って、発明の範囲を公にするために請求項を添付する。

【符号の説明】

【0100】

１００…デジタルカメラ、１０１…背面表示部（ＥＶＦ）、２０１…システム制御部、２１６…接眼部、２１７…接眼検知部、２２９…ファインダー内表示部（ＥＶＦ）、２６０…視線検出部

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】