特開 2023-50235 撮影方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2023050235

(43)【公開日】2023-04-11

(54)【発明の名称】撮影方法

(51)【国際特許分類】

   H04N 23/60 20230101AFI20230404BHJP

   G03B 15/00 20210101ALI20230404BHJP

【ＦＩ】

H04N5/232 220

G03B15/00 Q

【審査請求】未請求

【請求項の数】4

【出願形態】ＯＬ

(21)【出願番号】P 2021160249

(22)【出願日】2021-09-30

(71)【出願人】

【識別番号】000131326

【氏名又は名称】株式会社シグマ

(72)【発明者】

【氏名】小西 弘通

(72)【発明者】

【氏名】下村 涼太

【テーマコード（参考）】

5C122

【Ｆターム（参考）】

5C122EA69

5C122FA11

5C122FH10

5C122FH11

5C122FH14

5C122HA88

5C122HA89

5C122HB01

(57)【要約】

【課題】
被写体が瞬きすることにより目が閉じる方向または目が開く方向の変化を検出し、好適なシャッタータイミングで被写体を撮影できる撮影方法を提供する。
【解決手段】
光学系を介して結像した被写体像を光電変換して画像データを順次出力する撮像素子を備えた撮像装置の撮影方法であって、画像データ取得ステップと、目の全開サイズ算出ステップと、基準目領域算出ステップと、読み出し条件設定ステップと、撮影条件記憶ステップと、撮影タイミング算出ステップと、撮影タイミング判定ステップと、撮影指示ステップとを有する撮像装置の撮影方法を提供する。
【選択図】図２

【特許請求の範囲】

【請求項1】

光学系を介して結像した被写体像を光電変換して連続する画像データを順次出力する撮像素子を備えた撮像装置の撮影方法であって、
画像データを取得する画像データ取得ステップと、前記画像データから被写体像の目の全開サイズを算出する目の全開サイズ算出ステップと、前記目の全開サイズを用いて撮像素子上の基準目領域を決定する基準目領域決定ステップと、前記基準目領域の読み出し条件を設定する読み出し条件設定ステップと、前記目の全開サイズと前記基準目領域と前記読み出し条件とを記憶する撮影条件記憶ステップと、前記基準目領域を読み出して得られる順次出力する画像データ上の目領域の状態を取得する撮影タイミング算出ステップと、前記撮影タイミング算出ステップにおいて取得した前記基準目領域を読み出して得られる順次出力する画像データ上の目領域の状態から前記基準目領域を読み出して得られる順次出力する画像データ上の目領域のサイズが一定時間以内に前記目の全開サイズを満たすかどうかを判定する撮影タイミング判定ステップと、前記撮影タイミング判定ステップにおいて前記基準目領域を読み出して得られる順次出力する画像データ上の目領域のサイズが一定時間以内に前記目の全開サイズを満たすと判定したときに撮像素子に全画素読み出し指示を行う撮影指示ステップと、を有する撮像装置の撮影方法。

【請求項2】

前記読み出し条件設定ステップにおいて、前記基準目領域を読み出すフレームレートが所定のフレームレート未満の時に前記基準目領域の間引き読み出し処理設定をすることで前記基準目領域を読み出すフレームレートを所定のフレームレート以上にすることを特徴とする請求項１に記載の撮像装置の撮像方法。

【請求項3】

前記撮影タイミング算出ステップにおいて、前記基準目領域を読み出して得られる順次出力する画像データ上の目領域のサイズの変化量と変化率を検出し、前記基準目領域を読み出して得られる順次出力する画像データ上の目領域のサイズの変化量と変化率から瞬き時間と瞬き方向を算出することを特徴とする請求項１又は２に記載の撮像装置の撮像方法。

【請求項4】

前記撮影タイミング判定ステップにおいて、前記基準目領域を読み出して得られる順次出力する画像データ上の目領域のサイズの変化率と瞬き方向を用いて次のフレームで順次出力する画像データ上の目領域のサイズが前記目の全開サイズを満たすかどうかを判定することを特徴とする請求項３に記載の撮像装置の撮像方法。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、被写体の目の瞬きを検出して好適なタイミングで撮像可能な撮影方法に関する。

【背景技術】

【0002】

従来、スルー画像データから被写体の顔領域を検出し、その顔領域から被写体の目の画像を検出し、得られた目の画像から被写体の視線がカメラの方向を向いているかを判断し、被写体がカメラ目線であると判断された場合には即座に撮影が行われる撮影方法及び撮像装置が開示されている。

【0003】

特許文献１では、被写体の目線の推移を示す視線推移情報に基づいて撮影タイミングを決定する撮像装置が開示されている。

【0004】

特許文献１に開示された発明によれば、幼児などカメラ目線を合わせにくいような被写体でもカメラ目線の画像を自動的に撮影でき、シャッターチャンスを逃さなくなる、としている。

【先行技術文献】

【特許文献】

【0005】

【特許文献1】特開２０１０－２０６５２３号公報

【発明の概要】

【発明が解決しようとする課題】

【0006】

しかしながら、特許文献１では、撮影された被写体の画像がカメラ目線であったとしても、被写体がカメラ目線のタイミングで瞬きをしてしまうことにより、目を閉じているもしくは目を十分に開いていない（目の開閉状態が撮影者の希望通りでない）画像データの記録が行われてしまうおそれがあった。

【0007】

一般に人間の瞬き動作（目を閉じてから開く動作）にかかる時間はおよそ１００ｍｓｅｃから２００ｍｓｅｃといわれている。撮像装置においてスルー画像データから被写体の瞬きによって目が閉じる方向または目が開く方向の変化を検出するためには、瞬きにかかる時間よりも短い時間でスルー画像データを読み出す必要がある。

【0008】

本発明はこのような状況に鑑みてなされたものであり、被写体が瞬きすることによる目が閉じる方向または目が開く方向の変化を検出し、好適なシャッタータイミングで被写体を撮影できる撮影方法を提供することを目的とする。

【課題を解決するための手段】

【0009】

前述の課題を解決するため、本発明の第１の発明に係る撮影方法は、光学系を介して結像した被写体像を光電変換して連続する画像データを順次出力する撮像素子を備えた撮像装置の撮影方法であって、画像データを取得する画像データ取得ステップと、画像データから被写体像の目の全開サイズを算出する目の全開サイズ算出ステップと、目の全開サイズを用いて撮像素子上の基準目領域を決定する基準目領域決定ステップと、基準目領域の読み出し条件を設定する読み出し条件設定ステップと、目の全開サイズと基準目領域と読み出し条件を記憶する撮影条件記憶ステップと、基準目領域を読み出して得られる順次出力する画像データ上の目領域の状態を取得する撮影タイミング算出ステップと、撮影タイミング算出ステップにおいて取得した状態から基準目領域を読み出して得られる順次出力する画像データ上の目領域のサイズが一定時間以内に目の全開サイズを満たすかどうかを判定する撮影タイミング判定ステップと、撮影タイミング判定ステップにおいて基準目領域を読み出して得られる順次出力する画像データ上の目領域のサイズが一定時間以内に目の全開サイズを満たすと判定したときに撮像素子に全画素読み出し指示を行う撮影指示ステップとを有する。

【0010】

本発明の第２の発明に係る撮影方法は、読み出し条件設定ステップにおいて、基準目領域を読み出すフレームレートが所定のフレームレート未満の時に基準目領域の間引き読み出し処理設定をすることで基準目領域を読み出すフレームレートを所定のフレームレート以上にすることを特徴とする。

【0011】

本発明の第３の発明に係る撮影方法は、撮影タイミング算出ステップにおいて、順次出力する画像データ上の目領域のサイズの変化量と変化率を検出し、順次出力する画像データ上の目領域のサイズの変化量と変化率から瞬き時間と瞬き方向を算出することを特徴とする。

【0012】

本発明の第４の発明に係る撮影方法は、撮影タイミング判定ステップにおいて、順次出力する画像データ上の目領域のサイズの変化率と瞬き方向を用いて次のフレームで順次出力する画像データ上の目領域のサイズが目の全開サイズを満たすかどうかを判定することを特徴とする。

【発明の効果】

【0013】

本発明により、瞬きにより目を閉じているもしくは目を十分に開いていない画像データの記録が行われてしまうことを防止し、より好適なシャッタータイミングで被写体を撮影できる撮影方法を提供することができる。

【図面の簡単な説明】

【0014】

【図1】本発明の一実施形態である撮像装置の主要な構成を示したブロック図である。

【図2】本発明の一実施形態である撮像装置の撮像動作の各ステップを説明するフローチャートである。

【図3】撮影条件算出処理を説明するフローチャートである。

【図4】撮影タイミング算出処理を説明するフローチャートである。

【発明を実施するための形態】

【0015】

以下、図面を用いて、本発明の実施例について詳細に説明する。なお、本実施例により本発明が限定されるものではない。

【0016】

図１は、本実施例の撮像装置１００の主要な構成を示すブロック図である。撮像装置１００は、カメラ本体１１０と、カメラ本体１１０に着脱可能な交換レンズに含まれるレンズ光学系１２０で構成されている。

【0017】

カメラ本体１１０は、撮像素子１３０と、信号処理部１４１と、画像処理部１４２と、ＣＰＵ１５０と、ＲＯＭ１６１と、ＲＡＭ１６２と、記録媒体インターフェース１７０と、記録媒体１７１と、ユーザーインターフェース１８０と、画像表示部１９０と、を備えている。

【0018】

撮像素子１３０は、レンズ光学系１２０により集光された被写体からの光線を受光して光電変換を行い、被写体像の画像信号を出力する。本実施例において、撮像素子１３０にはＣＭＯＳイメージセンサーが用いられている。撮像素子１３０の受光面は多数の画素から構成されている。

【0019】

さらに、撮像素子１３０は内部に不図示のバッファメモリを備え、ＣＰＵ１５０と接続されており、ＣＰＵ１５０から出力される撮像素子１３０の画素毎の水平駆動並びに垂直駆動のタイミングを決定する信号を受信し、制御を行う。

【0020】

信号処理部１４１は、撮像素子１３０から出力された画像信号に各種処理をし、画像データとして出力する。また、撮像素子１３０から連続して出力された画像信号は、連続する画像データとして取得される。連続する画像データはスルー画像データとして取得される。

【0021】

画像処理部１４２は、信号処理部１４１から入力された画像データに対して各種画像処理を行う。画像処理としては、例えば、ホワイトバランス補正やシェーディング補正等がある。

【0022】

ＣＰＵ１５０は、撮像装置１００全体の包括的な制御を行う。例えば、撮像素子１３０の読み出し制御を行う。ＣＰＵ１５０が撮像素子１３０の駆動タイミングを決定する信号を出力することで、画素毎の水平駆動並びに垂直駆動が制御され、各画素から画像信号が読み出される。

【0023】

ＲＯＭ１６１は、ＣＰＵ１５０が実行する各種プログラムや、ＣＰＵ１５０が処理を実行するのに使用する各種特徴情報や設定情報等が記憶される。特徴情報としては、例えば、予め決定された顔領域と目領域の大きさの比率データが含まれる。

【0024】

ＲＡＭ１６２は、ＣＰＵ１５０がプログラムに従った処理を実行するときの作業領域として使用される。また、各処理部が高速で読み出す必要のある検出結果や算出結果を一時的に記憶することができる。

【0025】

記録媒体インターフェース１７０は、記録媒体１７１との間で画像データの書き込み及び読み出しを行う。この記録媒体１７１は、半導体メモリ等の着脱可能な記録媒体である。

【0026】

ユーザーインターフェース１８０は、例えば、レリーズボタン、電源ボタン、コマンドダイヤル、十字キー等の操作部材を有しており、ユーザーがこれらの操作部材を操作すると、ＣＰＵ１５０はこれらに対応する動作を行う指示を出す。

【0027】

画像表示部１９０は、スルー画像データや記録媒体１７１から読み出された画像データ等を表示する。

【0028】

レンズ光学系１２０は、フォーカスレンズ群やズームレンズ群を含む、複数の不図示のレンズ群で構成されている。図１においては、例として１枚のレンズとして記載している。また、ズームレンズを有さない単焦点レンズであってもよい。

【0029】

図２は、本発明における撮像装置のカメラ本体１１０において瞬き検出モード設定が行われてから全画素読み出しを実行するまでのＣＰＵ１５０の処理の流れを説明するフローチャートである。

【0030】

まず、カメラ本体１１０においてユーザー操作によって瞬き検出モード設定が実行なされ、ユーザーインターフェース１８０からＣＰＵ１５０に信号が入力され、本フローチャートが開始する。

【0031】

ステップＳ００１では、信号処理部１４２が出力した被写体像のスルー画像データに対して、ＣＰＵ１５０内の撮影条件算出に係る各処理部がスルー画像データ上の被写体の顔情報を検出し、検出した顔情報から顔領域のサイズを算出し、算出した顔領域のサイズから目の全開サイズを算出し、算出した目の全開サイズから撮像素子１３０上の基準目領域を算出し、基準目領域の読み出し条件を設定し、それらの情報をＲＡＭ１６２に記憶する。

【0032】

ここで、図３を用いてステップＳ００１の撮影条件算出におけるＣＰＵ１５０内の顔検出部２０１、顔領域算出部２０２、目の全開サイズ算出部２０３、基準目領域決定部２０４、読み出し条件設定部２０５、ユーザー通知部２０６及び撮影条件記憶部２０７の処理ステップについて説明する。

【0033】

ステップＳ１０１では、顔検出部２０１が信号処理部１４１が順次出力するスルー画像データから被写体の顔情報を検出する。本発明における顔検出の具体的方法は公知のものが採用でき、例えば目、口、鼻などの部位を検出することや、肌色領域を検出することで行われる。顔情報は、肌色領域と目領域をスルー画像データ上の座標として検出する。スルー画像データ上の座標は、肌色領域と目領域とをそれぞれ囲う四角い領域の境界部分の座標を検出する。スルー画像データから顔情報が検出されない場合、顔検出を繰り返す。顔情報が検出されると、ステップＳ１０２に進む。

【0034】

ステップＳ１０２では、顔領域算出部２０２がステップＳ１０１において検出した顔情報から顔領域のサイズを算出する。顔領域のサイズは、スルー画像データ上の肌色領域を囲う四角い領域の境界部分の座標から内部の領域を横方向のピクセルサイズ及び縦方向のピクセルサイズでそれぞれ算出する。

【0035】

ステップＳ１０３では、目の全開サイズ算出部２０３がステップＳ１０２において算出した顔領域のサイズから目の全開サイズを算出する。本発明における目の全開サイズの算出方法は、ＲＯＭ１６１に記憶された予め決定された顔領域と目領域の大きさの比率データを利用し、ステップＳ１０２において算出した顔領域のサイズにおける目領域が最大となる状態（瞼が完全に開いている状態）のサイズを算出し、目の全開サイズとする。これにより顔検出時の被写体の表情によらず目が全開状態であるサイズを算出することが可能となる。目の全開サイズは縦方向のピクセルサイズ及び横方向のピクセルサイズによって表される。

【0036】

ステップＳ１０４では、基準目領域決定部２０４がステップＳ１０３において算出した目の全開サイズから撮像素子１３０上の目領域を決定する。ここで決定した撮像素子１３０上の目領域を基準目領域と定義する。基準目領域は、ステップＳ１０３において算出した目の全開サイズの中心をステップＳ１０１において検出したスルー画像データ上の目領域の座標情報の中心に合わせた領域に対応する撮像素子１３０上の横方向の画素及び縦方向の画素の領域として定義する。

【0037】

ステップＳ１０５では、読み出し条件設定部２０５がステップＳ１０４において決定した撮像素子１３０上の基準目領域を読み出すフレームレートＦ（単位：ｆｐｓ）が必要フレームレートＦ´（単位：ｆｐｓ）未満か又は以上かを判定し、フレームレートＦが必要フレームレートＦ´未満の場合、すなわちＦ＜Ｆ´の場合は基準目領域を間引き読み出し処理することでフレームレートＦを必要フレームレートＦ´以上となるように読み出し条件を設定する。

【0038】

本実施例では、後述する撮影タイミングを算出するステップにおいて瞬き方向を検出するために、少なくとも瞬き動作（目を閉じてから開く動作）によって目が全開状態から全閉状態になる間の時間内に３フレームを取得できるように必要フレームレートＦ´の初期値を設定している。例えば、瞬き動作（目を閉じてから開く動作）にかかる時間を１００ｍｓｅｃ、瞬き動作によって目が全開状態から全閉状態になるまでの時間を５０ｍｓｅｃとした時、必要フレームレートＦ´は約６０ｆｐｓとなるので、フレームレートＦを６０ｆｐｓ以上となるように設定することで、瞬き動作によって目が全開状態から全閉状態になる間の時間内に３フレームを取得可能とする。瞬き動作によって目が全開状態から全閉状態になる間の時間内に３フレームを取得可能であるから、瞬き動作の周期とスルー画像データの取得周期によらず、瞬き動作によって目を閉じる方向か目を開く方向に瞼が動く途中の２フレームを取得することが可能となり、取得した２フレームの目のサイズの変化量から瞬き方向が算出可能となる。フレームレートＦは可能な限り大きく設定することで、瞬き動作中の取得可能フレーム数を多くし、後述する撮影タイミングの判定ステップにおいて撮影タイミングを推定する精度を高めることが可能となる。

【0039】

間引き読み出し処理の設定は、例えば、撮像素子１３０上の基準目領域を画素毎の水平方向並びに垂直方向に１ピクセルずつ間引いて読み出すもしくは画素毎の水平方向並びに垂直方向に１行１列ずつ間引いて読み出すことで基準目領域を読み出す速度を高速化し、フレームレートＦを必要フレームレートＦ´以上となるように設定する。なお、画素毎の間引きの間隔は一定でなくても良い。

【0040】

ステップＳ１０６では、ユーザー通知部２０６がステップＳ１０１からステップＳ１０４において検出及び算出した顔領域および基準目領域を画像表示部１９０に表示されるスルー画像データ上に各領域と位置を示す枠を重ねて表示する。

【0041】

ステップＳ１０７では、撮影条件記憶部２０７がステップＳ１０３からステップＳ１０５において算出した目の全開サイズ、基準目領域及び読み出し条件をＲＡＭ１６２に記憶する。記憶が完了すると、図２のステップＳ００２へ進む。

【0042】

ステップＳ００２では、レリーズ判定部２０８がステップＳ００２に至るまでにユーザーインターフェース１８０の一つであるレリーズボタンがユーザー操作によって押されたか否かを判定する。

【0043】

ステップＳ００２に至るまでにユーザーインターフェース１８０の一つであるレリーズボタンがユーザー操作によって押されていなかった場合には、ステップＳ００１に戻りフローチャートを実行する。

【0044】

ステップＳ００２に至るまでにユーザーインターフェース１８０の一つであるレリーズボタンがユーザー操作によって押された場合には、ステップＳ００３に進む。

【0045】

ステップＳ００３では、撮影条件設定部３０１がステップＳ００１においてＲＡＭ１６２に記憶した目の全開サイズ算出部２０３が算出した目の全開サイズと基準目領域決定部２０４が決定した撮像素子１３０上の基準目領域と読み出し条件設定部２０５が設定した読み出し条件である間引き読み出し処理の設定情報と撮像素子１３０上の基準目領域を読み出すフレームレートＦを取得する。

【0046】

ステップＳ００４では、撮影条件判定部３０２がＲＡＭ１６２に後述するスルー画像データ上の目のサイズと瞬き方向と視線方向とが取得されているかを判定する。取得されていない場合にはステップＳ００５に進み、取得されている場合にはステップＳ００６に進む。

【0047】

ステップＳ００５では、撮像素子１３０上の基準目領域から得られる信号処理部１４１が出力したスルー画像データに対して、ＣＰＵ１５０内の撮影タイミング算出に係る各処理部がステップＳ００６における撮影タイミング判定に必要となるスルー画像データ上の目領域の状態を取得する。

【0048】

ここで、図４を用いてステップＳ００５の撮影タイミング算出におけるＣＰＵ１５０内の目領域読み出し部３０３、目のサイズ検出部３０４、瞬き時間算出部３０５、フレームレート判定部３０６、フレームレート変更部３０７、瞬き方向検出部３０８、視線検出部３０９及び条件保存部３１０の処理ステップについて説明する。

【0049】

ステップＳ５０１では、目領域読み出し部３０３がステップＳ００３において取得した撮像素子１３０上の基準目領域をフレームレートＦで読み出す。目領域読み出し部３０３が撮像素子１３０上の基準目領域をフレームレートＦで読み出すと、撮像素子１３０上の基準目領域のスルー画像データをフレームレートＦで信号処理部１４１が出力する。

【0050】

ステップＳ５０２では、目のサイズ検出部３０４がステップＳ５０１においてフレームレートＦで順次出力されたスルー画像データ上の目領域の座標を検出し、目領域のサイズと目領域内の黒目の位置情報を検出する。目領域のサイズは、スルー画像データ上の目領域を囲う四角い領域の境界部分の座標からその内部の領域を横方向のピクセルサイズ及び縦方向のピクセルサイズでそれぞれ検出する。黒目の位置情報はスルー画像データ上の白目領域と黒目領域の境界を座標データとして検出する。撮像素子１３０上の基準目領域の間引き読み出し設定をしている場合は、間引きした画素に対応するスルー画像データ上のピクセルサイズ分を付加した目領域のサイズを算出する。

【0051】

ステップＳ５０３では、瞬き時間算出部３０５が、ステップＳ５０２において目のサイズ検出部３０４が検出した現在のスルー画像データ上の目領域のサイズとＲＡＭ１６２に記憶された１つ前のフレームで目のサイズ検出部３０４が検出したスルー画像データ上の目領域のサイズとの変化量と変化率を検出し、瞬き時間を算出する。ＲＡＭ１６２に１つ前のフレームで目のサイズ検出部３０４が検出したスルー画像データ上の目領域のサイズが記憶されていない場合、瞬き時間を算出せずにステップＳ５０４に進む。瞬き時間の算出方法は、目の全開サイズ算出部２０３が算出した目の全開サイズと瞬き時間算出部３０５が検出したフレームレートＦで順次出力されたスルー画像データ上の目領域のサイズの変化量とフレーム間時間から実際の瞬き動作（目を閉じてから開く動作）にかかる時間を算出し、瞬き動作によって目が全開状態から全閉状態になるまでの時間を算出する。例えば、目の全開サイズの縦方向のピクセルサイズを１００ｐｘとし、現在のフレームのスルー画像データ上の目領域の縦方向のピクセルサイズが５０ｐｘ、前のフレームのスルー画像データ上の目領域の縦方向のピクセルサイズが１０ｐｘ、フレームレートＦが６０ｆｐｓの時、フレーム間時間１６ｍｓｅｃの間に４０ｐｘ変化しているので、瞬き動作（目を閉じてから開く動作）にかかる時間は８０ｍｓｅｃとなり、瞬き動作によって目が全開状態から全閉状態になるまでの時間は４０ｍｓｅｃとなる。

【0052】

ステップＳ５０４では、フレームレート判定部３０６が、ステップＳ５０３において算出した瞬き動作によって目が全開状態から全閉状態になるまでの時間内に読み出し条件設定部２０５が設定した基準目領域を読み出すフレームレートＦで少なくとも３フレーム取得可能かどうかを判定する。取得可能であるもしくはステップＳ５０３で瞬き時間を算出していなかった場合ステップＳ５０６に進む。取得可能でない場合ステップＳ５０５に進む。

【0053】

ステップＳ１０５において、フレームレートＦは、瞬き動作（目を閉じてから開く動作）にかかる時間を１００ｍｓｅｃ、瞬き動作によって目が全開状態から全閉状態になるまでの時間を５０ｍｓｅｃとした時、必要フレームレートＦ´は約６０ｆｐｓとなることから、フレームレートＦを６０ｆｐｓ以上となるように設定している。ステップＳ５０３において、瞬き動作によって目が全開状態から全閉状態になるまでの時間が５０ｍｓｅｃ以下であることが算出された場合、必要フレームレートＦ´は６０ｆｐｓよりも大きくなり、フレームレートＦで３フレーム取得することができないことがわかる。

【0054】

ステップＳ５０５では、フレームレート変更部３０７が、ステップＳ５０３において算出した瞬き時間から必要フレームレートＦ´を算出し、必要フレームレートＦ´以上になるように、ＲＡＭ１６２に記憶された読み出し条件設定部２０４が設定したフレームレートＦを変更する。

【0055】

瞬き動作にかかる時間は個人差があるため、実際の瞬き動作にかかる時間から必要フレームレートＦ´を再計算し、再計算した必要フレームレートＦ´以上となるようにフレームレートＦを変更することで瞬き動作によって目が全開状態から全閉状態になるまでの時間が初期値設定時の条件と異なる場合でも３フレーム取得することが可能となる。例えば、ステップＳ５０３において、瞬き動作（目を閉じてから開く動作）にかかる時間が８０ｍｓｅｃであると算出された時、必要フレームレートＦ´は約７５ｆｐｓとなるので、撮像素子１３０上の基準目領域を間引き読み出し処理することでフレームレートＦが７５ｆｐｓ以上になるように設定する。

【0056】

ステップＳ５０６では、瞬き方向検出部３０８がステップＳ５０２において検出したスルー画像データ上の目領域のサイズの変化量から瞬き方向を検出する。ステップＳ５０３で瞬き時間を算出していなかった場合、瞬き方向を検出せずにステップＳ５０７へ進む。瞬き方向の検出方法は、フレーム間のスルー画像データ上の目領域サイズの変化量の符号もしくはフレーム間のスルー画像データ上の目領域のサイズの変化率の符号によって検出する。フレームレートＦは必要フレームレートＦ´以上、すなわち瞬き動作によって目が全開状態から全閉状態になるまでの時間内に少なくとも３フレーム取得可能なフレームレートであるので、瞬き動作の周期とスルー画像データの取得周期によらず、瞬き動作によって目を閉じる方向か目を開く方向に瞼が動く途中の２フレームを取得することが可能となり、フレーム間のスルー画像データ上の目領域サイズの変化量の符号もしくはフレーム間のスルー画像データ上の目領域のサイズの変化率の符号によって瞬き方向を検出することが可能となる。例えば、目の全開サイズ算出部２０３によって算出した目の全開サイズの縦方向のピクセルサイズが１００ｐｘであり、スルー画像データ上の目領域の縦方向のピクセルサイズが現在のフレームで６４ｐｘ、前のフレームで３２ｐｘであったとすると、変化量３２で増加しているため、瞬き動作によって目が開く方向に動いているということがわかる。説明のため、以下目が開く方向を＋（プラス）、目が閉じる方向を－（マイナス）と表す。

【0057】

ステップＳ５０７では、視線検出部３０９がステップＳ５０２において検出したスルー画像データ上の目領域内の黒目の位置情報から視線方向を検出する。本発明における視線方向検出の具体的方法は公知のものが採用でき、例えば、目領域内の黒目の位置情報が目領域の座標情報の中心から上下左右いずれかの方向に偏っていることから視線方向を判断する方法などがある。

【0058】

ステップＳ５０８では、条件保存部３１０がステップＳ５０２において検出したスルー画像データ上の目領域のサイズとステップＳ５０３において算出した現在のフレームと一つ前のフレームの目のサイズの変化率とステップＳ５０６において検出した瞬き方向とステップＳ５０７において検出した視線方向をＲＡＭ１６２に記憶する。記憶が完了すると、図２のステップＳ００４に進む。

【0059】

ステップＳ００５における撮影タイミング算出の各ステップは、ステップＳ００２においてレリーズ判定部２０８がステップＳ００２に至るまでにユーザーインターフェース１８０の一つであるレリーズボタンがユーザー操作によって押されたか否かを判定するまでのフローチャートに繰り込む処理構成としても良い。ステップＳ００５における撮影タイミング算出の各ステップをレリーズ判定以前に繰り込むことで、ユーザーが撮影する意図を持ってレリーズボタンを押す前に瞬き時間を検出し、フレームレートＦを適切に設定することが可能となる。

【0060】

ステップＳ００６では、タイミング判定部３１１がステップＳ５０８においてＲＡＭ１６２に記憶したスルー画像データ上の目領域のサイズと瞬き方向と視線方向とが次のフレームで最適になるかどうかを判定する。最適になると判定した場合には、ステップＳ００７に進む。最適になると判定しなかった場合は、ステップＳ００５に戻り、再度撮影タイミング算出を実行する。

【0061】

タイミング判定部３１１がＲＡＭ１６２に記憶されたスルー画像データ上の目領域のサイズと瞬き方向と視線方向とが次のフレームで最適になるかどうかを判定する方法は次の通りである。目のサイズについては、スルー画像データ上の目領域のサイズがＲＡＭ１６２に記憶されたフレーム間の目のサイズの変化率で変化した時に目の全開サイズ算出部２０３において算出した目の全開サイズになるタイミングが次のフレームであるかどうかを判定する。瞬き方向については、瞬き方向の符号が＋（プラス）であるかどうかを判定する。視線方向については、視線検出で検出した黒目の位置情報からカメラ目線になるタイミングが次のフレームであるかどうかを判定する。本発明において、視線方向が最適になるかどうかを判定する方法は公知のものを採用でき、例えば、視線の周期から視線が撮像装置１００の方向を向くタイミングを予測する方法などがある。

【0062】

ステップＳ００７では、撮影指示部３１２が撮像素子１３０内部のバッファメモリに撮像素子１３０の全画素を読み出すタイミングフラグの割り込み指示を行い、ステップＳ００８へ進む。

【0063】

ステップＳ００８では、撮影指示部３１２が撮像素子１３０内部のバッファメモリに撮像素子１３０の全画素読み出しの露光時間について、ユーザーが設定したシャッタースピードに変更する指示を行う。シャッタースピードがオート（自動設定）になっている場合は、撮像装置１００において算出した適切なシャッタースピードに変更する指示を行う。変更が完了するとステップＳ００９に進む。

【0064】

ステップＳ００９では、撮像素子１３０が全画素読み出しを実行し、記録媒体インターフェース１７０を経由して記録媒体１７１へ画像データを保存する。

【0065】

以上で説明したように、本発明に記載の撮像方法によれば、瞬きをしておらず、適切なシャッタータイミングで目の大きさが最適な写真を撮影することが可能となる。

【符号の説明】

【0066】

１００ 撮像装置
１１０ カメラ本体
１２０ レンズ光学系
１３０ 撮像素子
１４１ 信号処理部
１４２ 画像処理部
１５０ ＣＰＵ
１６１ ＲＯＭ
１６２ ＲＡＭ
１７０ 記録媒体インターフェース
１７１ 記録媒体
１８０ ユーザーインターフェース
１９０ 画像表示部

【図1】

【図2】

【図3】

【図4】