特開2022-187913表示装置、撮像装置、表示装置の制御方法、プログラム、および記録媒体
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2022187913
(43)【公開日】2022-12-20
(54)【発明の名称】表示装置、撮像装置、表示装置の制御方法、プログラム、および記録媒体
(51)【国際特許分類】
H04N 5/232 20060101AFI20221213BHJP
G03B 7/091 20210101ALI20221213BHJP
G03B 17/18 20210101ALI20221213BHJP
G02B 27/02 20060101ALI20221213BHJP
G09G 5/00 20060101ALI20221213BHJP
【ＦＩ】
H04N5/232 411
H04N5/232 930
G03B7/091
G03B17/18 Z
G02B27/02 Z
G09G5/00 550B
G09G5/00 550C
【審査請求】未請求
【請求項の数】19
【出願形態】ＯＬ
(21)【出願番号】P 2021096150
(22)【出願日】2021-06-08
(71)【出願人】
【識別番号】000001007
【氏名又は名称】キヤノン株式会社
(74)【代理人】
【識別番号】110002860
【氏名又は名称】弁理士法人秀和特許事務所
(72)【発明者】
【氏名】江幡 裕也
【テーマコード（参考）】
2H002
2H102
2H199
5C122
5C182
【Ｆターム（参考）】
2H002GA63
2H002GA70
2H002HA06
2H102BA10
2H199CA42
2H199CA47
2H199CA92
2H199CA96
2H199CA99
5C122EA52
5C122FD07
5C122FD13
5C122FH11
5C122FK09
5C122FK15
5C122FK24
5C122FK33
5C122FK37
5C122HA86
5C122HA88
5C122HB01
5C122HB02
5C122HB05
5C122HB06
5C122HB10
5C182AA03
5C182AA31
5C182AB23
5C182AB33
5C182BA56
5C182BA57
5C182DA65
(57)【要約】
【課題】消費電力を軽減させると同時に、ユーザーにＬＶ表示のちらつきを感じさせない。
【解決手段】時系列の画像を取得する画像取得手段と、前記画像取得手段により取得された前記画像の処理を行う画像処理手段と、前記画像処理手段により処理された処理画像を表示する表示手段と、ユーザーの瞼の閉状態を検出する検出手段と、前記検出手段による前記瞼の閉状態の検出に応じて、前記画像処理手段または前記表示手段の消費電力を低減させる省電処理を開始し、前記瞼の閉状態が検出されてから所定時間が経過したタイミングで、前記画像処理手段または前記表示手段の処理再開を指示する制御手段と、を有し、前記所定時間は、あらかじめ定められた前記ユーザーの瞬き時間から、前記省電処理の解除から前記画像処理手段または前記表示手段の処理再開までに要する時間を引いた時間に基づく、ことを特徴とする表示装置。
【選択図】図８
【解決手段】時系列の画像を取得する画像取得手段と、前記画像取得手段により取得された前記画像の処理を行う画像処理手段と、前記画像処理手段により処理された処理画像を表示する表示手段と、ユーザーの瞼の閉状態を検出する検出手段と、前記検出手段による前記瞼の閉状態の検出に応じて、前記画像処理手段または前記表示手段の消費電力を低減させる省電処理を開始し、前記瞼の閉状態が検出されてから所定時間が経過したタイミングで、前記画像処理手段または前記表示手段の処理再開を指示する制御手段と、を有し、前記所定時間は、あらかじめ定められた前記ユーザーの瞬き時間から、前記省電処理の解除から前記画像処理手段または前記表示手段の処理再開までに要する時間を引いた時間に基づく、ことを特徴とする表示装置。
【選択図】図８
【特許請求の範囲】
【請求項1】
時系列の画像を取得する画像取得手段と、
前記画像取得手段により取得された前記画像の処理を行う画像処理手段と、
前記画像処理手段により処理された処理画像を表示する表示手段と、
ユーザーの瞼の閉状態を検出する検出手段と、
前記検出手段による前記瞼の閉状態の検出に応じて、前記画像処理手段または前記表示手段の消費電力を低減させる省電処理を開始し、前記瞼の閉状態が検出されてから所定時間が経過したタイミングで、前記画像処理手段または前記表示手段の処理再開を指示する制御手段と、
を有し、
前記所定時間は、あらかじめ定められた前記ユーザーの瞬き時間から、前記省電処理の解除から前記画像処理手段または前記表示手段の処理再開までに要する時間を引いた時間に基づく、
ことを特徴とする表示装置。
前記画像取得手段により取得された前記画像の処理を行う画像処理手段と、
前記画像処理手段により処理された処理画像を表示する表示手段と、
ユーザーの瞼の閉状態を検出する検出手段と、
前記検出手段による前記瞼の閉状態の検出に応じて、前記画像処理手段または前記表示手段の消費電力を低減させる省電処理を開始し、前記瞼の閉状態が検出されてから所定時間が経過したタイミングで、前記画像処理手段または前記表示手段の処理再開を指示する制御手段と、
を有し、
前記所定時間は、あらかじめ定められた前記ユーザーの瞬き時間から、前記省電処理の解除から前記画像処理手段または前記表示手段の処理再開までに要する時間を引いた時間に基づく、
ことを特徴とする表示装置。
【請求項2】
前記制御手段は、前記表示手段の前記省電処理の開始後、
前記処理画像が前記ユーザーの瞬き終了までに前記表示手段に表示されるように、前記表示手段に対して処理再開を指示する、
請求項１に記載の表示装置。
前記処理画像が前記ユーザーの瞬き終了までに前記表示手段に表示されるように、前記表示手段に対して処理再開を指示する、
請求項１に記載の表示装置。
【請求項3】
前記省電処理では、前記制御手段は、前記表示手段を停止または前記表示手段のフレームレートを低下させる、
請求項１または２に記載の表示装置。
請求項１または２に記載の表示装置。
【請求項4】
前記制御手段は、前記画像処理手段の前記省電処理の開始後、
前記画像処理手段の処理再開後に処理された画像が前記ユーザーの瞬き終了までに前記表示手段に表示されるように、前記画像処理手段に対して処理再開を指示する、
請求項１から３のいずれか一項に記載の表示装置。
前記画像処理手段の処理再開後に処理された画像が前記ユーザーの瞬き終了までに前記表示手段に表示されるように、前記画像処理手段に対して処理再開を指示する、
請求項１から３のいずれか一項に記載の表示装置。
【請求項5】
前記省電処理では、前記制御手段は、前記画像処理手段を停止または前記画像処理手段のフレームレートを低下させる、
請求項１から４のいずれか一項に記載の表示装置。
請求項１から４のいずれか一項に記載の表示装置。
【請求項6】
前記画像処理手段に対する前記省電処理として前記画像処理手段が停止されている間は、前記表示手段は、黒画像または前記瞼の閉状態が検出された時点のフレーム画像を表示する、
請求項４または５に記載の表示装置。
請求項４または５に記載の表示装置。
【請求項7】
前記画像処理手段に対する前記省電処理として前記画像処理手段が停止されている間は、前記表示手段は、前記画像処理手段の停止から閾値時間までは黒画像を表示し、前記閾値時間の経過後には前記瞼の閉状態が検出された時点のフレーム画像を表示する、
請求項４から６のいずれか一項に記載の表示装置。
請求項４から６のいずれか一項に記載の表示装置。
【請求項8】
前記制御手段は、前記表示手段のフレームレートに応じて前記省電処理の内容を切り替える、
請求項１から７のいずれか一項に記載の表示装置。
請求項１から７のいずれか一項に記載の表示装置。
【請求項9】
前記表示手段に対するユーザーの視点位置を検出する視線検出手段と、をさらに有し、
前記検出手段は、前記視線検出手段により視点位置が検出されない場合に、前記瞼の閉
状態を検出する、
請求項１から８のいずれか一項に記載の表示装置。
前記検出手段は、前記視線検出手段により視点位置が検出されない場合に、前記瞼の閉
状態を検出する、
請求項１から８のいずれか一項に記載の表示装置。
【請求項10】
前記ユーザーの瞬き時間を測定する瞬き時間測定手段と、をさらに有し、
前記所定時間の算出に用いる前記ユーザーの瞬き時間は、前記瞬き時間測定手段により測定された瞬き時間に基づく、
請求項１から９のいずれか一項に記載の表示装置。
前記所定時間の算出に用いる前記ユーザーの瞬き時間は、前記瞬き時間測定手段により測定された瞬き時間に基づく、
請求項１から９のいずれか一項に記載の表示装置。
【請求項11】
前記表示手段に対するユーザーの視点位置を検出する視線検出手段と、
前記視線検出手段のキャリブレーションを行うキャリブレーション手段と、をさらに有し、
前記瞬き時間測定手段は、前記キャリブレーション手段によるキャリブレーション時に前記ユーザーの瞬き時間を測定する、
請求項１０に記載の表示装置。
前記視線検出手段のキャリブレーションを行うキャリブレーション手段と、をさらに有し、
前記瞬き時間測定手段は、前記キャリブレーション手段によるキャリブレーション時に前記ユーザーの瞬き時間を測定する、
請求項１０に記載の表示装置。
【請求項12】
前記瞬き時間測定手段は、瞬きの種類を判別し、前記瞬きの種類毎に前記ユーザーの瞬き時間を測定し、
前記所定時間の算出に用いる前記ユーザーの瞬き時間は、前記瞬きの種類に応じた瞬き時間に基づく、
請求項１０または１１に記載の表示装置。
前記所定時間の算出に用いる前記ユーザーの瞬き時間は、前記瞬きの種類に応じた瞬き時間に基づく、
請求項１０または１１に記載の表示装置。
【請求項13】
前記瞬き時間測定手段は、前記瞼の閉状態が検出された直前または近傍のフレームにおける、明るさまたは音の急激な変化の検出有無により、前記瞬きの種類を判別する、
請求項１２に記載の表示装置。
請求項１２に記載の表示装置。
【請求項14】
前記瞬き時間測定手段により明るさまたは音の急激な変化が検出された場合の、前記所定時間の算出に用いる前記ユーザーの瞬き時間は、そうでない場合よりも短い、
請求項１３に記載の表示装置。
請求項１３に記載の表示装置。
【請求項15】
前記画像取得手段は、
被写体の画像を取得する撮像手段と、を含む、
請求項１から１４のいずれか一項に記載の表示装置。
被写体の画像を取得する撮像手段と、を含む、
請求項１から１４のいずれか一項に記載の表示装置。
【請求項16】
表示装置の制御方法であって、
時系列の画像を取得するステップと、
取得された前記画像を処理するステップと、
処理された処理画像を表示するステップと、
ユーザーの瞼の閉状態を検出するステップと、
前記瞼の閉状態の検出に応じて、前記画像を処理するステップまたは前記画像を表示するステップによる消費電力を低減させる省電処理を開始し、前記瞼の閉状態が検出されてから所定時間が経過したタイミングで、前記画像を処理するステップまたは前記画像を表示するステップの処理再開を指示するステップと、
を含み、
前記所定時間は、あらかじめ定められた前記ユーザーの瞬き時間から、前記省電処理の解除から前記画像を処理するステップまたは前記表示を表示するステップの処理再開までに要する時間を引いた時間に基づく、
ことを特徴とする表示装置の制御方法。
時系列の画像を取得するステップと、
取得された前記画像を処理するステップと、
処理された処理画像を表示するステップと、
ユーザーの瞼の閉状態を検出するステップと、
前記瞼の閉状態の検出に応じて、前記画像を処理するステップまたは前記画像を表示するステップによる消費電力を低減させる省電処理を開始し、前記瞼の閉状態が検出されてから所定時間が経過したタイミングで、前記画像を処理するステップまたは前記画像を表示するステップの処理再開を指示するステップと、
を含み、
前記所定時間は、あらかじめ定められた前記ユーザーの瞬き時間から、前記省電処理の解除から前記画像を処理するステップまたは前記表示を表示するステップの処理再開までに要する時間を引いた時間に基づく、
ことを特徴とする表示装置の制御方法。
【請求項17】
請求項１６に記載の表示装置の制御方法の各ステップをコンピュータに実行させるためのプログラム。
【請求項18】
請求項１６に記載の表示装置の制御方法の各ステップをコンピュータに実行させるためのプログラムを格納したコンピュータが読み取り可能な記録媒体。
【請求項19】
被写体の画像を取得する撮像手段と、
前記画像取得手段により取得された前記画像の処理を行う画像処理手段と、
前記画像処理手段により処理された処理画像を表示する表示手段と、
ユーザーの瞼の閉状態を検出する検出手段と、
前記検出手段による前記瞼の閉状態の検出に応じて、前記画像処理手段または前記表示手段の消費電力を低減させる省電処理を開始し、前記瞼の閉状態が検出されてから所定時間が経過したタイミングで、前記画像処理手段または前記表示手段の処理再開を指示する制御手段と、
を有し、
前記所定時間は、あらかじめ定められた前記ユーザーの瞬き時間から、前記省電処理の解除から前記画像処理手段または前記表示手段の処理再開までに要する時間を引いた時間に基づく、
ことを特徴とする撮像装置。
前記画像取得手段により取得された前記画像の処理を行う画像処理手段と、
前記画像処理手段により処理された処理画像を表示する表示手段と、
ユーザーの瞼の閉状態を検出する検出手段と、
前記検出手段による前記瞼の閉状態の検出に応じて、前記画像処理手段または前記表示手段の消費電力を低減させる省電処理を開始し、前記瞼の閉状態が検出されてから所定時間が経過したタイミングで、前記画像処理手段または前記表示手段の処理再開を指示する制御手段と、
を有し、
前記所定時間は、あらかじめ定められた前記ユーザーの瞬き時間から、前記省電処理の解除から前記画像処理手段または前記表示手段の処理再開までに要する時間を引いた時間に基づく、
ことを特徴とする撮像装置。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は表示装置、撮像装置、表示装置の制御方法、プログラム、および記録媒体に関する。
【背景技術】
【0002】
近年、デジタルカメラ等の撮像装置では、背面モニタやＥＶＦ（Ｅｌｅｃｔｒｏｎｉｃ
Ｖｉｅｗ Ｆｉｎｄｅｒ）などの表示部のライブビュー（以下、ＬＶと称す）表示により被写体を確認して撮影が行われている。ＬＶ撮影では、背面モニタやＥＶＦへ表示を行うために、消費電力が大きくなるという課題がある。特許文献１では、遠赤外線センサーで目の開閉時の温度を検出することで瞬きを検知し、瞬き中は画面表示をＯＦＦにすることで消費電力を削減する省電処理方法が提案されている。
Ｖｉｅｗ Ｆｉｎｄｅｒ）などの表示部のライブビュー（以下、ＬＶと称す）表示により被写体を確認して撮影が行われている。ＬＶ撮影では、背面モニタやＥＶＦへ表示を行うために、消費電力が大きくなるという課題がある。特許文献１では、遠赤外線センサーで目の開閉時の温度を検出することで瞬きを検知し、瞬き中は画面表示をＯＦＦにすることで消費電力を削減する省電処理方法が提案されている。
【先行技術文献】
【特許文献】
【0003】
【特許文献1】特開２０１３－１６２４０７号公報
【特許文献2】特開２０１２－７３８７６号公報
【発明の概要】
【発明が解決しようとする課題】
【0004】
特許文献１では、瞬きが終了した（瞼を開いた）と検知したタイミングで画面表示をＯＮにする。しかしながら、瞬きの終了を検知し処理を反映するまでにタイムラグが生じるため、ユーザーが目を開いた時点で黒画像が表示され、画面がちらついて見える可能性がある。
【0005】
本発明は、上記課題に鑑みてなされたものであり、表示画像のちらつきを低減しつつ、瞬き中の消費電力を低減させることを目的とする。
【課題を解決するための手段】
【0006】
本発明の第１の態様は、
時系列の画像を取得する画像取得手段と、
前記画像取得手段により取得された前記画像の処理を行う画像処理手段と、
前記画像処理手段により処理された処理画像を表示する表示手段と、
ユーザーの瞼の閉状態を検出する検出手段と、
前記検出手段による前記瞼の閉状態の検出に応じて、前記画像処理手段または前記表示手段の消費電力を低減させる省電処理を開始し、前記瞼の閉状態が検出されてから所定時間が経過したタイミングで、前記画像処理手段または前記表示手段の処理再開を指示する制御手段と、
を有し、
前記所定時間は、あらかじめ定められた前記ユーザーの瞬き時間から、前記省電処理の解除から前記画像処理手段または前記表示手段の処理再開までに要する時間を引いた時間に基づく、
ことを特徴とする表示装置である。
時系列の画像を取得する画像取得手段と、
前記画像取得手段により取得された前記画像の処理を行う画像処理手段と、
前記画像処理手段により処理された処理画像を表示する表示手段と、
ユーザーの瞼の閉状態を検出する検出手段と、
前記検出手段による前記瞼の閉状態の検出に応じて、前記画像処理手段または前記表示手段の消費電力を低減させる省電処理を開始し、前記瞼の閉状態が検出されてから所定時間が経過したタイミングで、前記画像処理手段または前記表示手段の処理再開を指示する制御手段と、
を有し、
前記所定時間は、あらかじめ定められた前記ユーザーの瞬き時間から、前記省電処理の解除から前記画像処理手段または前記表示手段の処理再開までに要する時間を引いた時間に基づく、
ことを特徴とする表示装置である。
【0007】
本発明の第２の態様は、
表示装置の制御方法であって、
時系列の画像を取得するステップと、
取得された前記画像を処理するステップと、
処理された処理画像を表示するステップと、
ユーザーの瞼の閉状態を検出するステップと、
前記瞼の閉状態の検出に応じて、前記画像を処理するステップまたは前記画像を表示するステップによる消費電力を低減させる省電処理を開始し、前記瞼の閉状態が検出されてから所定時間が経過したタイミングで、前記画像を処理するステップまたは前記画像を表示するステップの処理再開を指示するステップと、
を含み、
前記所定時間は、あらかじめ定められた前記ユーザーの瞬き時間から、前記省電処理の解除から前記画像を処理するステップまたは前記表示を表示するステップの処理再開までに要する時間を引いた時間に基づく、
ことを特徴とする表示装置の制御方法である。
表示装置の制御方法であって、
時系列の画像を取得するステップと、
取得された前記画像を処理するステップと、
処理された処理画像を表示するステップと、
ユーザーの瞼の閉状態を検出するステップと、
前記瞼の閉状態の検出に応じて、前記画像を処理するステップまたは前記画像を表示するステップによる消費電力を低減させる省電処理を開始し、前記瞼の閉状態が検出されてから所定時間が経過したタイミングで、前記画像を処理するステップまたは前記画像を表示するステップの処理再開を指示するステップと、
を含み、
前記所定時間は、あらかじめ定められた前記ユーザーの瞬き時間から、前記省電処理の解除から前記画像を処理するステップまたは前記表示を表示するステップの処理再開までに要する時間を引いた時間に基づく、
ことを特徴とする表示装置の制御方法である。
【0008】
本発明の第３の態様は、上述した表示装置の制御方法の各ステップをコンピュータに実行させるためのプログラムである。
【0009】
本発明の第４の態様は、上述した表示装置の制御方法の各ステップをコンピュータに実行させるためのプログラムを格納したコンピュータが読み取り可能な記録媒体である。
【0010】
本発明の第５の態様は、
被写体の画像を取得する撮像手段と、
前記画像取得手段により取得された前記画像の処理を行う画像処理手段と、
前記画像処理手段により処理された処理画像を表示する表示手段と、
ユーザーの瞼の閉状態を検出する検出手段と、
前記検出手段による前記瞼の閉状態の検出に応じて、前記画像処理手段または前記表示手段の消費電力を低減させる省電処理を開始し、前記瞼の閉状態が検出されてから所定時間が経過したタイミングで、前記画像処理手段または前記表示手段の処理再開を指示する制御手段と、
を有し、
前記所定時間は、あらかじめ定められた前記ユーザーの瞬き時間から、前記省電処理の解除から前記画像処理手段または前記表示手段の処理再開までに要する時間を引いた時間に基づく、
ことを特徴とする撮像装置である。
被写体の画像を取得する撮像手段と、
前記画像取得手段により取得された前記画像の処理を行う画像処理手段と、
前記画像処理手段により処理された処理画像を表示する表示手段と、
ユーザーの瞼の閉状態を検出する検出手段と、
前記検出手段による前記瞼の閉状態の検出に応じて、前記画像処理手段または前記表示手段の消費電力を低減させる省電処理を開始し、前記瞼の閉状態が検出されてから所定時間が経過したタイミングで、前記画像処理手段または前記表示手段の処理再開を指示する制御手段と、
を有し、
前記所定時間は、あらかじめ定められた前記ユーザーの瞬き時間から、前記省電処理の解除から前記画像処理手段または前記表示手段の処理再開までに要する時間を引いた時間に基づく、
ことを特徴とする撮像装置である。
【発明の効果】
【0011】
本発明によれば、消費電力を低減させると同時に、表示画像のちらつきを低減可能である。
【図面の簡単な説明】
【0012】
【図1】実施例１に係るカメラの断面図である。
【図2】実施例１に係るカメラの外観図である。
【図3】実施例１に係るカメラのブロック図である。
【図4】実施例１に係るファインダ内視野を示す図である。
【図5】実施例１に係る視線検出方法の原理を説明するための図である。
【図6】実施例１に係る眼画像を示す図である。
【図7】実施例１に係る視線検出動作のフローチャートである。
【図8】実施例１に係る瞬き省電処理のフローチャートである。
【図9】実施例１に係る瞬き省電時のＬＶ画像と眼画像を示す図である。
【図10】実施例１に係る瞬き省電時のＬＶ画像を示す図である。
【発明を実施するための形態】
【0013】
＜実施例１＞
以下、添付の図面を参照して本発明の好適な実施形態を、デジタルスチルカメラを例に説明する。ただし、本実施形態は、デジタルスチルカメラに限定されるものなく、例えばデジタルビデオカメラやヘッドマウントディスプレイ、メガネ型ディスプレイなどにも適応可能である。
以下、添付の図面を参照して本発明の好適な実施形態を、デジタルスチルカメラを例に説明する。ただし、本実施形態は、デジタルスチルカメラに限定されるものなく、例えばデジタルビデオカメラやヘッドマウントディスプレイ、メガネ型ディスプレイなどにも適応可能である。
【0014】
＜構成の説明＞
図１は、図２(a)で図示したＹ軸とＺ軸が成すＹＺ平面でカメラ筐体を切った断面図で
あり、本発明におけるデジタルスチルカメラ１の構成の概略を示した説明図である。図１及び図２において、対応する部位は同じ番号で表記されている。
図１は、図２(a)で図示したＹ軸とＺ軸が成すＹＺ平面でカメラ筐体を切った断面図で
あり、本発明におけるデジタルスチルカメラ１の構成の概略を示した説明図である。図１及び図２において、対応する部位は同じ番号で表記されている。
【0015】
撮影レンズユニット１Ａ内には、２枚のレンズ１０１，１０２、絞り１１１、絞り駆動部１１２、レンズ駆動モーター１１３、レンズ駆動部材１１４、フォトカプラー１１５、パルス板１１６、マウント接点１１７、焦点調節回路１１８等が含まれている。本実施例では、簡単のために２枚のレンズ１０１，１０２を示したが、実際は２枚より多くのレンズが撮影レンズユニット１Ａ内に含まれている。レンズ駆動部材１１４は駆動ギヤ等からなり、フォトカプラー１１５は、レンズ駆動部材１１４に連動するパルス板１１６の回転を検知して、焦点調節回路１１８に伝える。焦点調節回路１１８は、フォトカプラー１１５からの情報と、カメラ筐体１Ｂからの情報（レンズ駆動量の情報）とに基づいてレンズ駆動モーター１１３を駆動し、レンズ１０１を移動させて合焦位置を変更する。マウント接点１１７は、撮影レンズユニット１Ａとカメラ筐体１Ｂとのインターフェイスである。
【0016】
カメラ筐体１Ｂ内には、撮像素子２、ＣＰＵ３、メモリ部４、表示素子１０（表示手段）、表示素子駆動回路１１等が含まれている。撮像素子２（画像取得手段；撮像手段）は、撮影レンズユニット１Ａの予定結像面に配置されている。ＣＰＵ３は、マイクロコンピュータの中央処理部であり、デジタルスチルカメラ１全体を制御する。メモリ部４は、撮像素子２により撮像された時系列の画像等を記憶する。表示素子１０は、液晶等で構成されており、撮像された画像（被写体像）等を表示素子１０の表示面に表示する。表示素子駆動回路１１は、表示素子１０を駆動する。ユーザーは、接眼レンズ１２を通して、表示素子１０の表示面を見ることができる。
【0017】
カメラ筐体１Ｂ内には、光源１３ａ，１３ｂ、光分割器１５、受光レンズ１６、眼球用撮像素子１７等も含まれている。光源１３ａ，１３ｂは、光の角膜反射による反射像（角膜反射像；プルキニエ像）と瞳孔の関係から視線方向を検出するために従来から一眼レフカメラ等で用いられている光源であり、ユーザーの眼球１４を照明するための光源である。具体的には、光源１３ａ，１３ｂは、ユーザーに対して不感の赤外光を発する赤外発光ダイオード等であり、接眼レンズ１２の周りに配置されている。照明された眼球１４の光学像（眼球像；光源１３ａ，１３ｂから発せられて眼球１４で反射した反射光による像）は、接眼レンズ１２を透過し、光分割器１５で反射される。そして、眼球像は、受光レンズ１６によって、ＣＭＯＳ等の光電素子列を２次元的に配した眼球用撮像素子１７上に結像される。受光レンズ１６は、眼球１４の瞳孔と眼球用撮像素子１７を共役な結像関係に位置付けている。後述する所定のアルゴリズムにより、眼球用撮像素子１７上に結像された眼球像における角膜反射像の位置から、眼球１４の視線方向（表示素子１０の表示面における視点（視点位置；視線位置）が検出される。
【0018】
図２は、本発明におけるデジタルスチルカメラ１の外観を示している。図２（Ａ）は正面斜視図、図２（Ｂ）は背面斜視図である。デジタルスチルカメラ１は本実施例においては、図２（Ａ）の正面斜視図に示すように、撮影レンズ１Ａ及びカメラ筐体１Ｂで構成されている。カメラ筐体１Ｂには、ユーザー（撮影者）からの撮像操作を受ける操作部材であるレリーズボタン５が配置されている。また、図２（Ｂ）の背面斜視図で示すように、
カメラ筐体１Ｂの背面には、カメラ筐体１Ｂ内に含まれている表示素子１０（表示パネル）をユーザーが覗き込むための接眼レンズ１２（接眼光学系）が配置されている。なお、接眼光学系には複数枚のレンズが含まれていてもよい。カメラ筐体１Ｂの背面には、ユーザーからの各種操作を受け付ける操作部材４１～４３も配置されている。例えば、操作部材４１は、タッチ操作を受け付けるタッチパネルである。また、操作部材４１は液晶パネル等の表示パネルを備えており、表示パネルで画像を表示する機能を有する。操作部材４２は、図３（Ｃ）に示すように、各方向に押し倒し可能な操作レバーである。操作部材４３は、４方向のそれぞれに押し込み可能な４方向キー（ボタン式十字キー）である。
カメラ筐体１Ｂの背面には、カメラ筐体１Ｂ内に含まれている表示素子１０（表示パネル）をユーザーが覗き込むための接眼レンズ１２（接眼光学系）が配置されている。なお、接眼光学系には複数枚のレンズが含まれていてもよい。カメラ筐体１Ｂの背面には、ユーザーからの各種操作を受け付ける操作部材４１～４３も配置されている。例えば、操作部材４１は、タッチ操作を受け付けるタッチパネルである。また、操作部材４１は液晶パネル等の表示パネルを備えており、表示パネルで画像を表示する機能を有する。操作部材４２は、図３（Ｃ）に示すように、各方向に押し倒し可能な操作レバーである。操作部材４３は、４方向のそれぞれに押し込み可能な４方向キー（ボタン式十字キー）である。
【0019】
図３は前記構成のデジタルスチルカメラに内蔵された電気的構成を示すブロック図であり、図１と同一のものは同一番号をつけている。ＣＰＵ３には、視線検出回路２０１、測光回路２０２、自動焦点検出回路２０３、信号入力回路２０４、表示素子駆動回路１１、照明光源駆動回路２０５、追尾回路２０７、認識回路２０８、画像処理回路２０９、音声入力部２１０が接続されている。また、ＣＰＵ３は、撮影レンズユニット１Ａ内に配置された焦点調節回路１１８と、撮影レンズユニット１Ａ内の絞り駆動部１１２に含まれた絞り制御回路２０６とに、マウント接点１１７を介して信号を伝達する。ＣＰＵ３に付随したメモリ部４は、撮像素子２および眼球用撮像素子１７からの撮像信号の記録機能及び、後述する視線の個人差を補正する視線補正データの記録機能を有している。
【0020】
視線検出回路２０１は、眼球用撮像素子１７（ＣＣＤ―ＥＹＥ）からの眼球像が結像することによる出力をＡ／Ｄ変換し、この像情報をＣＰＵ３に送信する。ＣＰＵ３（視線検出手段）は、視線検出に必要な眼球像の各特徴点を後述する所定のアルゴリズムに従って抽出し、更に各特徴点の位置からユーザーの視点位置（視線）を検出する。
【0021】
測光回路２０２は、測光センサーの役割も兼ねる撮像素子２から得られる信号を元に、被写界の明るさに対応した輝度信号出力の増幅、対数圧縮、Ａ／Ｄ変換し、被写界輝度情報として、ＣＰＵ３に送る。
【0022】
自動焦点検出回路２０３は、撮像素子２におけるＣＣＤの中に含まれる、位相差検出の為に使用される複数の画素からの信号電圧をＡ／Ｄ変換し、ＣＰＵ３に送る。ＣＰＵ３は前記複数の画素の信号から、各焦点検出ポイントに対応する被写体までの距離を演算する。これは撮像面位相差ＡＦとして知られる公知の技術である。本実施例では、一例として、図４のファインダ内視野像で示した箇所に対応する撮像面上の位置に１８０か所の焦点検出ポイントがあるとする。
【0023】
信号入力回路２０４には、レリーズボタン５の第１ストロークでＯＮし、デジタルスチルカメラ１の測光、測距、視線検出動作等を開始するためのスイッチＳＷ１が接続されている。また、信号入力回路２０４には、レリーズボタン５の第２ストロークでＯＮし、撮影動作を開始するためのスイッチＳＷ２が接続されている。スイッチＳＷ１，ＳＷ２からのＯＮ信号が信号入力回路２０４に入力され、ＣＰＵ３に送信される。前述した操作部材４１～４３の操作信号は、ＣＰＵ３に伝わる構成となっており、操作部材４１～４３の操作信号に応じて後述する推定注視点枠位置の移動操作制御等が行われる。
【0024】
追尾回路２０７は、ＣＰＵ３の制御により、画像を入力して、被写体を追尾する回路であり、画像情報の追尾枠の情報をＣＰＵ３に送信する。なお、追尾処理は、例えば、ＳＡＤ（Ｓｕｍ Ｏｆ Ａｂｓｏｌｕｔｅ Ｄｉｆｆｅｒｅｎｃｅ）により、２枚の画像間の類似度を求めて追尾が行われる。また、追尾回路２０７には、ＳＡＤ以外の追尾処理を用いても良い。
【0025】
認識回路２０８は、入力画像に対して、被写体認識する回路であり、例えば人物の顔検
出や動物の検出を行う。
出や動物の検出を行う。
【0026】
画像処理回路２０９（画像処理手段）は、各種画像処理部及びバッファメモリ等から構成されており、取得された画像データに対して、倍率色収差補正、現像処理、ノイズリダクション処理、幾何変形、拡縮といったリサイズなどの処理を適切に行う。その他、画像処理回路２０９は、画像データに対して画素補正、黒レベル補正、シェーディング補正、傷補正などを適正に行う補正部等も備える。画像処理回路２０９によって処理された処理画像は、表示素子１０により表示される。
【0027】
音声入力部２１０は、内蔵されたマイクまたは音声入力端子を介して接続された音声入力装置から音声を取得し、取得した音声をＣＰＵ３に送る。ＣＰＵ３は、入力された音声信号を必要に応じて選択し、アナログデジタル変換を行い、レベルの適正化処理、特定周波数の低減処理当をして音声信号を生成する。
【0028】
図４は、ファインダ視野内を示した図で、表示素子１０が動作した状態を示す。図４において、３００は視野マスク、４００は焦点検出領域、４００１～４１８０は表示素子１０に示されるスルー画像に、前記撮像面上における複数の焦点検出ポイントに対応する位置に重ねて表示した１８０個の測距点視標を示す。また、それらの指標の内、現在の推定注視点位置に対応する指標を図における推定注視点Ａのように枠を出現させた表示を行う。
【0029】
＜視線検出動作の説明＞
図５，６（Ａ），６（Ｂ），７を用いて、実施例１に係る視線検出方法および瞬き検知方法について説明する。
図５，６（Ａ），６（Ｂ），７を用いて、実施例１に係る視線検出方法および瞬き検知方法について説明する。
【0030】
図５は、視線検出方法の原理を説明するための図であり、前述の図１の視線検出を行うための光学系の要約図に相当する。図５において、１３ａ、１３ｂはユーザーに対して不感の赤外光を放射する発光ダイオード等の光源であり、各光源は受光レンズ１６の光軸に対して略対称に配置されユーザーの眼球１４を照らしている。眼球１４で反射した照明光の一部は受光レンズ１６によって、眼球用撮像素子１７に集光する。
【0031】
図６（Ａ）は眼球用撮像素子１７に投影される眼画像（眼球用撮像素子１７で撮像された眼球画像）の概略図であり、同図（Ｂ）は眼球用撮像素子１７におけるＣＣＤの出力強度図である。
【0032】
【0033】
ステップＳ００１では、光源１３ａ、１３ｂはユーザーの眼球１４に向けて赤外光を放射する。上記赤外光によって照明されたユーザーの眼球像は、眼球用撮像素子１７上に受光レンズ１６を通して結像し、眼球用撮像素子１７により光電変換される。これにより、眼球像は電気信号として処理が可能となる。
【0034】
ステップＳ００２では、眼球用撮像素子１７から得られた眼画像（眼画像信号；眼画像の電気信号）をＣＰＵ３に送る。
【0035】
ステップＳ００３では、ＣＰＵ３は、図５に示す光源１３ａ、１３ｂの角膜反射像Ｐｄ，Ｐｅの検出有無を判定する。角膜反射像Ｐｄ，Ｐｅが検出された場合にはステップＳ００４へ進み、検出されない場合にはステップＳ０１０へ進む。すなわち、ＣＰＵ３は、表示手段（表示素子１０）に対するユーザーの視点位置を検出する視線検出手段でもあり、
ユーザーの瞼の閉状態を検出する検出手段でもある。ＣＰＵ３は、視点位置が検出されない（角膜反射像Ｐｄ，Ｐｅが検出されない）場合に、瞼の閉状態（瞬き）を検出する。なお、瞬きの検知方法はこれに限られず他の方法を用いてもよく、例えば眼球表面温度の変化により瞬きを検知してもよいし、画像認識により瞬きを検知してもよい。
ユーザーの瞼の閉状態を検出する検出手段でもある。ＣＰＵ３は、視点位置が検出されない（角膜反射像Ｐｄ，Ｐｅが検出されない）場合に、瞼の閉状態（瞬き）を検出する。なお、瞬きの検知方法はこれに限られず他の方法を用いてもよく、例えば眼球表面温度の変化により瞬きを検知してもよいし、画像認識により瞬きを検知してもよい。
【0036】
ステップＳ００４では、ＣＰＵ３は、Ｓ００２で得られた眼画像から、図５に示す光源１３ａ、１３ｂの角膜反射像Ｐｄ，Ｐｅ及び瞳孔中心ｃに対応する点の座標を求める。光源１３ａ、１３ｂより放射された赤外光は、ユーザーの眼球１４の角膜１４２を照明する。このとき、角膜１４２の表面で反射した赤外光の一部により形成される角膜反射像Ｐｄ，Ｐｅは受光レンズ１６により集光され、眼球用撮像素子１７上に結像する（図示の点Ｐｄ’，Ｐｅ’）。同様に瞳孔１４１の端部ａ、ｂからの光束も眼球用撮像素子１７上に結像する。
【0037】
図６（Ｂ）は、眼球用撮像素子１７から得られる、図６（Ａ）の眼画像における領域αの輝度情報（輝度分布）を示す。図６（Ｂ）では、眼画像の水平方向をＸ軸方向、垂直方向をＹ軸方向とし、Ｘ軸方向の輝度分布が示されている。このとき、光源１３ａ、１３ｂの角膜反射像が結像した像Ｐｄ’，Ｐｅ’のＸ軸方向（水平方向）の座標をＸｄ，Ｘｅとする。また、瞳孔１４ｂの端部ａ、ｂからの光束が結像した像ａ’,ｂ’のＸ軸方向の座
標をＸａ、Ｘｂとする。図６（Ｂ）の輝度情報例において、光源１３ａ、１３ｂの角膜反射像が結像した像Ｐｄ’，Ｐｅ’に相当する位置Ｘｄ，Ｘeでは、極端に強いレベルの輝
度が得られている。瞳孔１４１の領域に相当する、座標ＸａからＸｂの間の領域は、上記Ｘｄ、Ｘeの位置を除き、極端に低いレベルの輝度が得られる。これに対し、瞳孔１４１
の外側の光彩１４３の領域に相当する、Ｘａより低いＸ座標の値を持つ領域及びＸｂより高いＸ座標の値を持つ領域では、前記２種の輝度レベルの中間の値が得られる。上記Ｘ座標位置に対する輝度レベルの変動情報から、光源１３ａ、１３ｂの角膜反射像が結像した像Ｐｄ’，Ｐｅ’のＸ座標Ｘｄ，Ｘeと、瞳孔端の像ａ’,ｂ’のＸ座標Ｘａ、Ｘｂを得ることができる。また、受光レンズ１６の光軸に対する眼球１４の光軸の回転角θｘが小さい場合、眼球用撮像素子１７上に結像する瞳孔中心ｃに相当する箇所(ｃ’とする)の座標Ｘｃは、Ｘｃ≒（Ｘａ+Ｘｂ）/２と表すことができる。上記より、眼球用撮像素子１７上に結像する瞳孔中心に相当するｃ’のＸ座標、光源１３ａ、１３ｂの角膜反射像Ｐｄ’，Ｐｅ’の座標を見積もることができる。
標をＸａ、Ｘｂとする。図６（Ｂ）の輝度情報例において、光源１３ａ、１３ｂの角膜反射像が結像した像Ｐｄ’，Ｐｅ’に相当する位置Ｘｄ，Ｘeでは、極端に強いレベルの輝
度が得られている。瞳孔１４１の領域に相当する、座標ＸａからＸｂの間の領域は、上記Ｘｄ、Ｘeの位置を除き、極端に低いレベルの輝度が得られる。これに対し、瞳孔１４１
の外側の光彩１４３の領域に相当する、Ｘａより低いＸ座標の値を持つ領域及びＸｂより高いＸ座標の値を持つ領域では、前記２種の輝度レベルの中間の値が得られる。上記Ｘ座標位置に対する輝度レベルの変動情報から、光源１３ａ、１３ｂの角膜反射像が結像した像Ｐｄ’，Ｐｅ’のＸ座標Ｘｄ，Ｘeと、瞳孔端の像ａ’,ｂ’のＸ座標Ｘａ、Ｘｂを得ることができる。また、受光レンズ１６の光軸に対する眼球１４の光軸の回転角θｘが小さい場合、眼球用撮像素子１７上に結像する瞳孔中心ｃに相当する箇所(ｃ’とする)の座標Ｘｃは、Ｘｃ≒（Ｘａ+Ｘｂ）/２と表すことができる。上記より、眼球用撮像素子１７上に結像する瞳孔中心に相当するｃ’のＸ座標、光源１３ａ、１３ｂの角膜反射像Ｐｄ’，Ｐｅ’の座標を見積もることができる。
【0038】
ステップＳ００５では、ＣＰＵ３は、眼球像の結像倍率βを算出する。βは受光レンズ１６に対する眼球１４の位置により決まる倍率で、実質的には角膜反射像Ｐｄ‘、Ｐｅ’の間隔（Ｘｄ-Ｘｅ）の関数として求めることができる。
【0039】
ステップＳ００６では、ＣＰＵ３は、受光レンズ１６の光軸に対する眼球１４の光軸の回転角を算出する。角膜反射像Ｐｄ及びＰｅの中点のＸ座標と角膜１４２の曲率中心ＯのＸ座標とはほぼ一致する。このため、角膜１４２の曲率中心Ｏと瞳孔１４１の中心ｃまでの標準的な距離をＯｃとすると、眼球１４の光軸のＺ－Ｘ平面内の回転角θｘは、以下の式１で算出できる。ユーザーの眼球がＸ軸に垂直な平面内で回転する場合の回転角θｙも、回転角θｘと同様の方法で算出できる。
β×Ｏｃ×ＳＩＮθｘ≒｛（Ｘｄ＋Ｘｅ）／２｝－Ｘｃ ・・・（式１）
β×Ｏｃ×ＳＩＮθｘ≒｛（Ｘｄ＋Ｘｅ）／２｝－Ｘｃ ・・・（式１）
【0040】
ステップＳ００８では、ステップＳ００７において算出した回転角θｘ、θｙを用いて、表示素子１０上でユーザーの視点（視線が注がれた位置；ユーザーが見ている位置）を求める。視点の座標（Ｈｘ，Ｈｙ）が表示素子１０上での瞳孔１４１の中心ｃに対応する座標（Ｈｘ，Ｈｙ）であるとすると、視点の座標（Ｈｘ，Ｈｙ）は以下の式２，３で算出できる。
Ｈｘ＝ｍ×（Ａｘ×θｘ＋Ｂｘ）・・・（式２）
Ｈｙ＝ｍ×（Ａｙ×θｙ＋Ｂｙ）・・・（式３）
Ｈｘ＝ｍ×（Ａｘ×θｘ＋Ｂｘ）・・・（式２）
Ｈｙ＝ｍ×（Ａｙ×θｙ＋Ｂｙ）・・・（式３）
【0041】
式２，３の係数ｍはカメラのファインダ光学系の構成で定まる定数で、回転角θｘ、θｙを表示素子１０上での瞳孔１４１の中心ｃに対応する位置座標に変換する変換係数である。係数ｍは、あらかじめ決定されてメモリ部４に記録されているとし、ステップＳ００７でメモリ部４から読み込む。また、Ａｘ，Ｂｘ，Ａｙ，Ｂｙはユーザーの視線の個人差を補正する視線補正係数であり、後述するキャリブレーション作業を行うことで取得され、視線検出ルーチンが開始する前にメモリ部４に記録されているものとする。
【0042】
ステップＳ００９では、ＣＰＵ３は、視点の座標（Ｈｘ，Ｈｙ）をメモリ部４に記録する。このようにして、瞬きが検出されなかった場合の視線検出ルーチンを終える。
【0043】
一方、ステップＳ００３で瞬きが検出された場合は、ステップＳ０１０に進み、瞬きの種類を判定する。ここで、ユーザーの瞬目行為には、音や光などの外部刺激による反射性瞬目、外部刺激によらず無意識に瞼を閉じる自発性瞬目、意識的に瞼を閉じる随意性瞬目、の３種類がある。それぞれの瞬き時間は、反射性瞬目よりも自発性瞬目の方が長く、自発性瞬目よりも随意性瞬目の方が長くなる傾向がある。したがって、瞬きの種類を判別し、瞬きの種類に応じて省電期間を切り替えることで、ユーザーの違和感を抑えつつ省電処理を行うことができる。また、自発性瞬目よりも随意性瞬目の方が瞬き時間が長い傾向があることから、随意性瞬目の場合は自発性瞬目と同じ省電期間を用いても、ユーザーの違和感は少ないと考えられる。そこで、実施例１では、ＣＰＵ３は、瞬きの種類を反射性瞬目と自発性瞬目に判別し、瞬目の種類をメモリ部４に記録する。
【0044】
ステップＳ０１０では、ＣＰＵ３は、ステップＳ００３で検出された瞬き（瞼の閉状態）が、反射性瞬目であるか、自発性瞬目であるかを判定する。そこで、ＣＰＵ３は、ステップＳ００３で瞬きが検出された直前のフレームにおいて、急激な明るさの変化または大きな音が検出されたかどうかにより瞬きの種類を判別するとよい。なお、明るさの変化や音の検出対象とするのは、瞬きが検出された直前のフレームでもよいし、近傍のフレームでもよい。近傍のフレームは、例えば、ＣＰＵ３が瞬きを検出したフレームから前後数フレーム（数は任意）としてもよい。明るさの変化は、例えば、瞬きが検出されたフレームと、直前または近傍のフレームとの、輝度値の差を用いて判定するとよい。なお、輝度値の差は、各画像全体の平均輝度値を比較してもよいし、特定の領域（例えば画像中心部）を比較してもよいし、他の方法で比較してもよい。大きな音は、例えば、直前または近傍のフレームで音声入力部２１０が所定のレベル以上の音量を取得したか否かにより判定するとよい。明るさの変化および大きな音の判定方法は一例であり、他の任意の方法を用いることができる。実施例１では、明るさの変化と大きな音の少なくとも一方が検出された場合はステップＳ０１１に進み、明るさの変化も大きな音のいずれも検出されない場合はステップＳ０１２に進む。
【0045】
ステップＳ０１１では、ＣＰＵ３は、ステップＳ００３で検出された瞬きを反射性瞬目としてメモリ部４に記録し、視線検出ルーチンを終える。
【0046】
ステップＳ０１２では、ＣＰＵ３は、ステップＳ００３で検出された瞬きを自発性瞬目としてメモリ部４に記録し、視線検出ルーチンを終える。
【0047】
上記は光源１３ａ、１３ｂの角膜反射像を利用した表示素子１０上での視点座標取得手法を示したが、視点座標の取得方法はこれに限られるものではなく、撮像された眼画像から眼球回転角度を取得する手法であれば本発明は適用可能である。
【0048】
＜キャリブレーション作業＞
上述した視線検出ルーチンでは、眼画像から眼球の回転角度θｘ，θｙを取得し、瞳孔中心位置を表示素子１０上において対応する位置に座標変換する演算を行って視点位置を推定している。しかし、人間の眼球形状の個人差等の要因により、視点を高精度に推定できないことがある。具体的には、前記視線補正係数Ａｘ，Ａｙ，Ｂｘ，Ｂｙの値を使用者によって適切な値に調整しなければ、図４（Ｂ）に示したように、ユーザーが実際の視点Ｂと推定された視点Ｃの位置にずれが生じてしまう。図４（Ｂ）では、ユーザーは位置Ｂの人物に注視しているが、背景が注視されているとカメラ側が誤って推定しており、適切な焦点検出及び調整ができない状態に陥ってしまっている。そこで、カメラによって撮像を行う前に、キャリブレーション作業を行い、ユーザーに適した補正係数の値を取得し、デジタルスチルカメラ１に記憶させる必要がある。
上述した視線検出ルーチンでは、眼画像から眼球の回転角度θｘ，θｙを取得し、瞳孔中心位置を表示素子１０上において対応する位置に座標変換する演算を行って視点位置を推定している。しかし、人間の眼球形状の個人差等の要因により、視点を高精度に推定できないことがある。具体的には、前記視線補正係数Ａｘ，Ａｙ，Ｂｘ，Ｂｙの値を使用者によって適切な値に調整しなければ、図４（Ｂ）に示したように、ユーザーが実際の視点Ｂと推定された視点Ｃの位置にずれが生じてしまう。図４（Ｂ）では、ユーザーは位置Ｂの人物に注視しているが、背景が注視されているとカメラ側が誤って推定しており、適切な焦点検出及び調整ができない状態に陥ってしまっている。そこで、カメラによって撮像を行う前に、キャリブレーション作業を行い、ユーザーに適した補正係数の値を取得し、デジタルスチルカメラ１に記憶させる必要がある。
【0049】
従来、キャリブレーション作業は、撮像前にファインダ視野内に図４（Ｃ）のような位置の異なる複数の指標を強調表示し、観察者にその指標を見てもらうことで行われている。各視標注視時に視線検出ルーチンを行い、算出された複数の視点（推定位置）と、各指標の座標とから、ユーザーに適した視線補正係数を求める技術が、公知の技術として知られている。なお、ユーザーの見るべき位置が示唆されれば、指標の表示方法は特に限定されず、指標であるグラフィックが表示されてもよいし、画像（撮像された画像など）の輝度や色の変更で指標が表示されてもよい。
【0050】
ここで、ＣＰＵ３は、キャリブレーション時の視線検出ルーチンにおいてユーザーの瞬き時間を測定してもよい。すなわち、ＣＰＵ３は、瞬き時間測定手段でもある。例えば、自発性の瞬き時間は、ＣＰＵ３がステップＳ００３で瞬きを検知（角膜反射像が検出されない）しステップＳ０１０へ処理を進めてから、以降視線検出ルーチンでステップＳ００４を処理するまでの時間を用いて測定してもよい。また、例えば反射性の瞬き時間は、キャリブレーション時に表示素子１０に表示される画像の明るさを明から暗（または明から暗）へ急激に変更し、その際に検出される瞬き時間を用いて測定してもよい。このように、ＣＰＵ３は、ユーザーの瞬きの種類を判別し、瞬きの種類毎にユーザーの瞬き時間を測定する。なお、実施例１では、ＣＰＵ３は、瞬き時間の測定をキャリブレーション時に行うが、通常撮影時に随時行ってもよいし、ユーザーの要求に応じて行ってもよい。瞬き時間が複数回測定された場合は、例えば平均値をユーザーの瞬き時間とするとよいが、直前に測定された瞬き時間をユーザーの瞬き時間としてもよい。
【0051】
図８，９，１０を用いて、ＣＰＵ３が瞬きを検出した際の省電処理を説明する。
【0052】
＜瞬き省電処理フロー＞
図８は、デジタルスチルカメラ１において繰り返し実行される処理フローを示すフローチャートである。図８では、消費電力を低減させる省電処理の一例として、ＣＰＵ３（制御手段）は、画像処理回路２０９の処理を停止させ、省電処理を行う省電期間を、瞬きの種類に応じて切り替える場合のフローについて説明する。なお、ここでは画像処理回路２０９に対して省電処理を行う例を示すが、ＣＰＵ３は表示素子１０に対して省電処理を行うように制御してもよいし、画像処理回路２０９と表示素子１０の双方に対して省電処理を行うように制御してもよい。
図８は、デジタルスチルカメラ１において繰り返し実行される処理フローを示すフローチャートである。図８では、消費電力を低減させる省電処理の一例として、ＣＰＵ３（制御手段）は、画像処理回路２０９の処理を停止させ、省電処理を行う省電期間を、瞬きの種類に応じて切り替える場合のフローについて説明する。なお、ここでは画像処理回路２０９に対して省電処理を行う例を示すが、ＣＰＵ３は表示素子１０に対して省電処理を行うように制御してもよいし、画像処理回路２０９と表示素子１０の双方に対して省電処理を行うように制御してもよい。
【0053】
ステップＳ１０１では、ＣＰＵ３は、メモリ部４から、視線検出ルーチンのステップＳ０１１あるいはステップＳ０１２の瞬き検出結果を読み込む。
【0054】
ステップＳ１０２では、ＣＰＵ３は、ステップＳ１０１の読み出し結果より、瞬き検知の有無を判定する。「瞬きあり」の場合はステップＳ１０３へ進み、「瞬きなし」の場合はステップＳ１０１へ戻る。
【0055】
ステップＳ１０３では、ＣＰＵ３は、メモリ部４の瞬き検出結果に「瞬きなし」を書き込む。次の繰り返し処理において「瞬きあり」の判定が行われないようにするためである。ＣＰＵ３は、画像処理回路２０９の処理を停止する指示を出すとともに、瞬き終了タイミング判定用のタイマーを初期化し、タイマーをスタートさせる。すなわち、ＣＰＵ３は、瞼の閉状態の検出に応じて、画像処理回路２０９に対して省電処理の開始を指示する。また、ステップＳ１０３では、ＣＰＵ３は、ステップＳ０１１またはステップＳ０１２でメモリ部４に格納された瞬きの種類に基づいて、あらかじめ定めた瞬き時間のうち、反射性瞬目と自発性瞬目のどちらの瞬き時間を採用するかについても判定する。ここで、反射性瞬目（ＣＰＵ３が明るさまたは音の急激な変化を検出する場合）の瞬き時間は、自発性の瞬き時間よりも短い。したがって、反射性瞬目の場合の省電期間は、自発性瞬目の場合よりも短くするとよい。このように、実施例１では瞬きの種類に応じた瞬き時間を考慮して、省電期間を定める。これにより、瞬きの種類に合わせた時間内で省電処理を行うことができ、ユーザーの違和感を抑えることができる。なお、省電期間の算出に用いるユーザーの瞬き時間は、キャリブレーション時等に測定されたユーザー毎の瞬き時間（測定値）を用いるとよいが、あらかじめメモリ部４等に記録した一般的な瞬き時間（固定値）を用いてもよい。
【0056】
ステップＳ１０４では、ステップＳ１０３で出された省電処理開始の指示に応じて、画像処理回路２０９の処理が停止する。なお、上述した通り、省電処理の内容はこれに限られない。
【0057】
ステップＳ１０５では、ＣＰＵ３は、瞬き終了タイミング判定用のタイマーの値より、ＣＰＵ３が瞬きを検知してから画像処理回路２０９の省電期間（所定時間）が経過したかどうかを判定する。省電期間を経過していた場合は、画像処理回路２０９の処理再開を指示し、Ｓ１０６へ進む。省電期間を経過していない場合はＳ１０５へ戻る、すなわち、省電期間が経過するまで待つ。ここで、省電期間は、あらかじめ定められたユーザーの瞬き時間から、省電処理の解除から画像処理回路２０９の処理再開までに要する時間を引いた時間に基づくとよい。すなわち、画像処理回路２０９の省電処理の開始後、画像処理回路２０９の処理再開後に処理された画像がユーザーの瞬き終了までに、表示素子１０に表示されるように、ＣＰＵ３は画像処理回路２０９に対して処理再開を指示するとよい。このようにすることで、ユーザーが瞼を開いたタイミングで表示素子１０に新たな画像が表示されており、瞬き終了時にまだ省電処理が行われている（画像が表示されていない）ことによる違和感を抑えることができる。
【0058】
ステップＳ１０６では、ステップＳ１０５で出された処理再開の指示に応じて、画像処理回路２０９が表示素子１０に表示するための画像処理を再開する。なお、図８では、画像処理回路２０９の省電処理フローについて説明したが、表示素子１０の省電処理についても、同様に適用することができる。ただし、省電期間は、表示素子１０の処理再開に要する時間を考慮して定めると良い。すなわち、表示素子１０の省電処理の開始後、画像処理回路２０９によって処理された画像がユーザーの瞬き終了までに表示素子１０に表示されるように、ＣＰＵ３は表示素子１０に対して処理再開を指示すると良い。
【0059】
＜瞬き省電処理時の表示例＞
図９は、徒競走の撮影時を想定しており、時系列時刻Ｔ１～Ｔ７のＬＶ画像およびユーザーの眼画像をフレーム毎に示している。図９（Ａ）は、表示素子１０に表示されるＬＶ画像を、図９（Ｂ）は、眼球用撮像素子１７に結像されるユーザーの眼画像を、図９（Ｃ）は各時刻におけるユーザーの瞼の状態およびデジタルスチルカメラ１の処理内容を示している。時刻Ｔ１、Ｔ７では、ユーザーの瞼が開いていることを示し、時刻Ｔ２～Ｔ６では、瞼の閉状態、すなわち瞬きをしていることを示している。なお、Ｔ４～Ｔ５の間には複数フレームが存在する。
図９は、徒競走の撮影時を想定しており、時系列時刻Ｔ１～Ｔ７のＬＶ画像およびユーザーの眼画像をフレーム毎に示している。図９（Ａ）は、表示素子１０に表示されるＬＶ画像を、図９（Ｂ）は、眼球用撮像素子１７に結像されるユーザーの眼画像を、図９（Ｃ）は各時刻におけるユーザーの瞼の状態およびデジタルスチルカメラ１の処理内容を示している。時刻Ｔ１、Ｔ７では、ユーザーの瞼が開いていることを示し、時刻Ｔ２～Ｔ６では、瞼の閉状態、すなわち瞬きをしていることを示している。なお、Ｔ４～Ｔ５の間には複数フレームが存在する。
【0060】
次に、図９を用いて、ＣＰＵ３が瞬きを検出した時の省電処理について説明する。図９では省電処理の一例として、画像処理回路２０９および表示素子１０を停止する場合の処理について説明する。なお、省電処理の内容はあくまで一例であり、これに限られない。図９（Ｃ）において、画像処理回路２０９および表示素子１０の処理は、省電処理を「省電ＯＮ」、省電処理でないとき（通常時）の処理を「省電ＯＦＦ」と表記する。また、瞬き時間はユーザー毎の測定値を用いることとする。
【0061】
時刻Ｔ１では、ＣＰＵ３は瞬きを検知していないため、省電ＯＦＦ時の処理として、画像処理が行われ、表示素子１０上にはＬＶ画像が表示されている。
【0062】
時刻Ｔ２では、眼球用撮像素子１７上では瞼の閉状態が撮像されているが、ＣＰＵ３はまだ瞬きを検知していない。したがって、時刻Ｔ２ではまだ、ＣＰＵ３により省電処理の指示が出されないため、画像処理およびＬＶ表示が行われている。
【0063】
時刻Ｔ３では、ＣＰＵ３が時刻Ｔ２の目の画像を用いて瞬きを検知し、画像処理回路２０９および表示素子１０に対して省電処理を開始する（省電ＯＮ）指示を出す（図８・ステップＳ１０３に対応）。時刻Ｔ３は、省電処理の指示が反映される前のタイミングであるため、画像処理およびＬＶ表示が行われている。すなわち、Ｔ３～Ｔ４は、ＣＰＵ３が瞬きを検知してから、省電処理が開始するまでのタイムラグを示している。
【0064】
時刻Ｔ４では、画像処理回路２０９および表示素子１０の省電処理が開始する。すなわち、画像処理回路２０９は画像処理を停止し（図８・ステップＳ１０４に対応）、表示素子１０は停止し何も表示しない。
【0065】
ここで、図９では、ＣＰＵ３は、ユーザーの瞬き終了時（時刻Ｔ７）にＬＶ表示を再開させる。したがって、ＣＰＵ３は、時刻Ｔ７に間に合うように、画像処理回路２０９および表示素子１０の処理再開に要するタイムラグを考慮して、省電処理を解除し（省電ＯＦＦ）通常時の処理再開の指示を出すとよい。画像処理回路２０９のタイムラグは、画像処理回路２０９が処理を再開し、処理画像が表示素子１０に表示されるまでの時間を考慮するとよい。また、表示素子１０のタイムラグは、表示素子１０が処理を再開し画像を表示するまでに要する時間を考慮するとよい。
【0066】
時刻Ｔ５は、ＣＰＵ３が瞬きを検知してから、ユーザーの瞬き時間から画像処理回路２０９のタイムラグを引いた時間が経過したタイミングである（図８・ステップＳ１０５「ＹＥＳ」）。したがって、ＣＰＵ３は、画像処理回路２０９に対して、省電処理を解除し画像処理再開の指示を出す。
【0067】
時刻Ｔ６は、ＣＰＵ３が瞬きを検知してから、ユーザーの瞬き時間から表示素子１０のタイムラグを引いた時間が経過したタイミングである。したがって、ＣＰＵ３は、表示素子１０に対して、省電処理を解除し表示再開の指示を出す。また、時刻Ｔ６では、画像処理回路２０９は、時刻Ｔ５で出された処理再開の指示を受け、画像処理を再開する（図８・ステップＳ１０６に対応）。なお、時刻Ｔ４から時刻Ｔ６までは、表示素子１０は省電処理中であるため、表示素子１０は停止し何も表示しない
【0068】
時刻Ｔ７では、ユーザーは目を開き、表示素子１０は通常の処理を再開する。時刻Ｔ７では画像処理回路２０９および表示素子１０の省電処理が解除され、画像処理回路２０９が画像処理を行った画像がＬＶ表示されている。なお、図９では、ユーザーが瞼を開くタイミングに一致するようにＬＶ表示を再開させる例を説明したが、ユーザーが瞼を開く数フレーム前から余裕をもってＬＶ表示が再開するように、ＣＰＵ３は処理再開の指示を出
してもよい。この場合の省電期間は、例えば、瞬き時間から、処理再開に要するタイムラグと、数フレーム分（余裕を持たせる分）を引いた時間としてもよいし、予め短めに設定した瞬き時間から、処理再開に要するタイムラグを引いた時間としてもよい。ユーザーの実際の瞬き時間が平均的な瞬き時間よりも長いことが想定されるが、このように省電期間を設定することで、ユーザーが瞼を開く前のＬＶ表示の再開をより確実に実現できる。このような場合に生じる違和感もより確実に抑えるためには、例えば図１０（詳細は後述）に示すように、画像処理回路２０９は停止し、表示素子１０は停止させない省電処理を採用するとよい。
してもよい。この場合の省電期間は、例えば、瞬き時間から、処理再開に要するタイムラグと、数フレーム分（余裕を持たせる分）を引いた時間としてもよいし、予め短めに設定した瞬き時間から、処理再開に要するタイムラグを引いた時間としてもよい。ユーザーの実際の瞬き時間が平均的な瞬き時間よりも長いことが想定されるが、このように省電期間を設定することで、ユーザーが瞼を開く前のＬＶ表示の再開をより確実に実現できる。このような場合に生じる違和感もより確実に抑えるためには、例えば図１０（詳細は後述）に示すように、画像処理回路２０９は停止し、表示素子１０は停止させない省電処理を採用するとよい。
【0069】
上述のように、省電期間（実際に処理が反映される期間）は、各部の処理時間を考慮して、それぞれ異なる時間を設定してもよい。例えば、図９では、画像処理回路２０９は、時刻Ｔ３で省電処理開始の指示を、時刻Ｔ５で省電処理解除の指示を受け、省電期間は時刻Ｔ４～Ｔ５である。表示素子１０（表示素子駆動回路１１）は、時刻Ｔ４で省電処理開始の指示を、時刻Ｔ６で省電処理解除の指示を受け、省電期間は時刻Ｔ４～Ｔ６である。このように、画像処理回路２０９の方が先に省電処理を解除するのは、画像処理回路２０９の省電期間は、処理画像が表示素子１０によって表示されるまでに要する時間も考慮するためである。また、撮像素子２と表示素子１０のフレームタイミングが同じとは限らないため、各部の省電期間が異なることも想定される。なお、各部の省電処理の解除から処理再開までに要する時間が、撮像素子２や表示素子１０のフレームレートによって異なる場合は、ＬＶ表示を再開する時点に間に合うように、フレームレートに応じてＣＰＵ３は処理再開の指示を出すとよい。
【0070】
＜省電処理の例＞
なお、省電処理の内容はこれに限られない。例えば、画像処理回路２０９の省電処理では、ＣＰＵ３は、Ｔ４～Ｔ６までは、画像処理回路２０９を停止してもよいし、フレームレートを低下させるように制御してもよい。また、画像処理回路２０９が複数の処理を含む場合は、ＣＰＵ３は、画像処理回路２０９のうち表示に関わる画像処理について省電処理を行うように制御してもよい。
なお、省電処理の内容はこれに限られない。例えば、画像処理回路２０９の省電処理では、ＣＰＵ３は、Ｔ４～Ｔ６までは、画像処理回路２０９を停止してもよいし、フレームレートを低下させるように制御してもよい。また、画像処理回路２０９が複数の処理を含む場合は、ＣＰＵ３は、画像処理回路２０９のうち表示に関わる画像処理について省電処理を行うように制御してもよい。
【0071】
また、表示素子１０の省電処理も同様に、図９の上記説明とは異なる省電処理を採用してもよい。例えば、ＣＰＵ３は、表示素子１０の駆動自体を停止してもよいし、表示素子１０のフレームレートを低下させてもよいし、黒画像を表示するように制御してもよい。また例えば、ＣＰＵ３は、画像処理回路２０９に対する省電処理として、フレームレートを低下する処理が行われている間は、表示素子１０のフレームレートも低下するように制御してもよい。
【0072】
画像処理回路２０９に対する省電処理として、画像処理回路が停止されている間は、表示素子１０は黒画像を表示してもよいし、瞬きが検知された時点のフレーム画像（省電開始前に処理した最後のフレーム画像）を表示してもよい。例えば、ユーザーの瞬き時間がキャリブレーション時に測定した時間よりも短かった場合、表示素子１０の省電処理として黒画像を表示していると、瞼を開いたタイミングでは黒画像が表示され、ちらついて見える可能性がある。このような場合は、例えば瞬きが検知された時点のフレーム画像を表示しておくことで、瞬き時間が想定より短い場合でもちらつきの発生を防止することができる。なお、表示する画像はＣＰＵ３が瞬きを検知した時点の画像でもよいし、瞬きを検知した直前の画像でもよいし、瞬き検知までのタイムラグを考慮しユーザー瞬き直前に見ていたと想定される時点の画像でもよい。
【0073】
図１０は、図９（Ａ）の時刻Ｔ３～Ｔ６に表示素子１０に表示されるＬＶ画像を例示する。図１０では、画像処理回路２０９を停止する省電処理が行われ（時刻Ｔ４～Ｔ５）、処理再開後に表示素子１０に表示する画像を処理（時刻Ｔ６）している間は、ＣＰＵ３が
瞬きを検知した時刻Ｔ３の時点のフレーム画像が表示されている。このようにすることで、表示素子１０の駆動も停止する場合（図９）よりも省電効果は劣るものの、より確実にちらつきの発生を抑えることができる。なお、ＣＰＵ３は、画像処理回路２０９を停止する省電処理が行われている間には、閾値時間を境に表示素子１０の表示方法を変更するように制御してもよい。例えば、ＣＰＵ３は、画像処理回路２０９の停止（瞬き検知直後）から閾値時間までは黒画像を表示または表示素子１０を停止し、閾値時間の経過後には瞬きが検知された時点のフレーム画像を表示するように制御してもよい。これにより、瞬き中は常に瞬き直前の画像を表示する場合よりも、高い省電効果が得られる。
瞬きを検知した時刻Ｔ３の時点のフレーム画像が表示されている。このようにすることで、表示素子１０の駆動も停止する場合（図９）よりも省電効果は劣るものの、より確実にちらつきの発生を抑えることができる。なお、ＣＰＵ３は、画像処理回路２０９を停止する省電処理が行われている間には、閾値時間を境に表示素子１０の表示方法を変更するように制御してもよい。例えば、ＣＰＵ３は、画像処理回路２０９の停止（瞬き検知直後）から閾値時間までは黒画像を表示または表示素子１０を停止し、閾値時間の経過後には瞬きが検知された時点のフレーム画像を表示するように制御してもよい。これにより、瞬き中は常に瞬き直前の画像を表示する場合よりも、高い省電効果が得られる。
【0074】
省電処理の内容は適宜切り替えてもよい。例えば、ＣＰＵ３は、ＥＶＦの表示モード（フレームレート）に応じて省電処理の内容を切り替えてもよい。例えば、ＥＶＦの表示モードの一例として、フレームレートの異なる３つのモード、すなわち、滑らか表示モード（１２０ｆｐｓ）、画質優先表示モード（６０ｆｐｓ）、省電表示モード（３０ｆｐｓ）がある。各モードで実行する省電処理は、省電効果を優先する表示モードの場合、すなわちフレームレートが低い場合ほど省電効果が大きくなるようにしてもよい。例えば、滑らか表示モードでは省電処理は行わない、画質優先表示モードでは画像処理を行うフレームを間引く、省電表示モードでは画像処理および表示素子１０を停止する、としてもよい。このようにすることで、ユーザーの使い方に合わせた省電処理を行うことができる。なお、各表示モード名とフレームレートの値や、実行する省電処理の内容は一例であり、これに限られない。
【0075】
また、省電期間中の制御対象は画像処理回路２０９や表示素子１０に限られない。例えば、ＣＰＵ３は、撮像素子２や測光回路２０２、認識回路２０８、追尾回路２０７、自動焦点検出回路２０３等の消費電力が低減するように制御してもよい。これらの素子・回路に対しても省電処理を行うことで、より高い省電効果が得られる。なお、いずれの場合も、ユーザーが瞼を開いたときには処理再開後の画像が表示素子１０に表示されるように、省電期間を定めるとよい。また、ＣＰＵ３は、省電処理の内容をカメラの動作モードに応じて切り替えてもよい。ここで、カメラの動作モードには、非撮影状態、撮影前準備状態、撮影状態がある。非撮影状態とは、表示素子１０にＬＶ画像を表示している状態であり、レリーズボタン５が押されていない状態である。撮影前準備状態とは、撮影前のＡＦを合わせている状態であり、レリーズボタン５が反押しされている状態である。撮影状態とは、静止画を撮影している状態であり、レリーズボタン５が押されている状態である。撮影状態つまり連写撮影中は、瞬きをしても静止画は撮影する必要がある。したがって瞬き省電処理は、非撮影状態、撮影前準備状態に適応するとよい。例えば、非撮影状態には、非撮影中にオートフォーカス（ＡＦ）を行わない非撮影中ＡＦなしモードがある。非撮影中ＡＦなしモードでは、撮像素子２や測光回路２０２、認識回路２０８、追尾回路２０７、自動焦点検出回路２０３を停止させるか間引くように制御してもよい。
【0076】
このように、表示モードや動作モードに応じて省電処理を切り替えることで、ユーザーの使い方に適した省電処理を行うことができる。なお、上記モード毎の省電処理はこれに限られず、省電処理の内容を変更、組み合わせてもよい。
【0077】
以上のように、本実施例では、瞬きを検出して、瞬き時間と各回路の処理再開時間を考慮して処理を再開する。これにより、消費電力を低減させると同時に、表示画像のちらつきを低減することができる。
【0078】
＜変形例＞
実施例１では、ユーザーの瞬き時間を計測し、ユーザー毎の瞬き時間を用いて省電期間を算出する例を説明したが、例えば平均的な瞬き時間を予めメモリ部４等に記録させておき、予め記録された瞬き時間を用いて省電期間を算出してもよい。この場合は、ユーザー
の瞬き発生から、ＣＰＵ３により瞬きが検知されるまでのタイムラグも考慮して、省電期間を設定すると良い。また、実施例１では、瞬きの種類を判別し、瞬きの種類毎に省電期間を使い分ける例を説明したが、瞬きの種類に関わらず同じ瞬き時間を用いてもよい。瞬きの種類に関わらず同じ瞬き時間を用いる場合は、瞬きの種類の判別処理（ステップＳ０１０～０１２）は不要である。これにより、より簡易的な処理で省電処理を行うことができる。
実施例１では、ユーザーの瞬き時間を計測し、ユーザー毎の瞬き時間を用いて省電期間を算出する例を説明したが、例えば平均的な瞬き時間を予めメモリ部４等に記録させておき、予め記録された瞬き時間を用いて省電期間を算出してもよい。この場合は、ユーザー
の瞬き発生から、ＣＰＵ３により瞬きが検知されるまでのタイムラグも考慮して、省電期間を設定すると良い。また、実施例１では、瞬きの種類を判別し、瞬きの種類毎に省電期間を使い分ける例を説明したが、瞬きの種類に関わらず同じ瞬き時間を用いてもよい。瞬きの種類に関わらず同じ瞬き時間を用いる場合は、瞬きの種類の判別処理（ステップＳ０１０～０１２）は不要である。これにより、より簡易的な処理で省電処理を行うことができる。
【0079】
＜その他実施例＞
以上、本発明をその好適な実施形態に基づいて詳述してきたが、本発明はこれら特定の実施形態に限られるものではなく、この発明の要旨を逸脱しない範囲の様々な形態も本発明に含まれる。上述の実施形態の一部を適宜組み合わせてもよい。
以上、本発明をその好適な実施形態に基づいて詳述してきたが、本発明はこれら特定の実施形態に限られるものではなく、この発明の要旨を逸脱しない範囲の様々な形態も本発明に含まれる。上述の実施形態の一部を適宜組み合わせてもよい。
【0080】
本発明は、上述の実施例の１以上の機能を実現するプログラムを、ネットワーク又は記録媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。
【符号の説明】
【0081】
３：ＣＰＵ ４：メモリ部 １０：表示素子 １７：眼球用撮像素子
２０９：画像処理回路
２０９：画像処理回路
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】