特許 7542973 撮像装置およびその制御方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2024-08-23

(45)【発行日】2024-09-02

(54)【発明の名称】撮像装置およびその制御方法

(51)【国際特許分類】

   H04N 23/60 20230101AFI20240826BHJP

   G03B 7/091 20210101ALI20240826BHJP

   G03B 15/00 20210101ALI20240826BHJP

   G06F 3/01 20060101ALI20240826BHJP

   H04N 23/611 20230101ALI20240826BHJP

【ＦＩ】

H04N23/60 100

G03B7/091

G03B15/00 Q

G06F3/01 510

H04N23/611

【請求項の数】 16

(21)【出願番号】P 2020047545

(22)【出願日】2020-03-18

(65)【公開番号】P2021150760

(43)【公開日】2021-09-27

【審査請求日】2023-03-13

(73)【特許権者】

【識別番号】000001007

【氏名又は名称】キヤノン株式会社

(74)【代理人】

【識別番号】100110412

【弁理士】

【氏名又は名称】藤元 亮輔

(74)【代理人】

【識別番号】100104628

【弁理士】

【氏名又は名称】水本 敦也

(74)【代理人】

【識別番号】100121614

【弁理士】

【氏名又は名称】平山 倫也

(72)【発明者】

【氏名】上田 暁彦

(72)【発明者】

【氏名】玉木 嘉人

【審査官】吉川 康男

(56)【参考文献】

【文献】特開２００８－３１１８１７（ＪＰ，Ａ）

【文献】特開２０１８－１２９６５９（ＪＰ，Ａ）

【文献】特開２０１４－１８７６５７（ＪＰ，Ａ）

【文献】国際公開第２０１４／１７８２２８（ＷＯ，Ａ１）

【文献】特開２０１９－１３４２０４（ＪＰ，Ａ）

【文献】特開２０１８－２０１０９５（ＪＰ，Ａ）

【文献】特開２０１０－０２８６０６（ＪＰ，Ａ）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｈ０４Ｎ ２３／６０

Ｇ０３Ｂ ７／０９１

Ｇ０３Ｂ １５／００

Ｇ０６Ｆ ３／０１

Ｈ０４Ｎ ２３／６１１

(57)【特許請求の範囲】

【請求項1】

被写体像を撮像する撮像素子と、
該撮像素子の出力を用いて生成された画像データを表示する表示手段と、
前記表示手段を見るユーザの視線を検出する視線検出手段と、
前記画像データから被写体の状態を検出する被写体検出手段と、
前記撮像素子による撮像領域のうち前記視線に対応する注視位置での前記被写体の状態に応じて撮像を行う制御手段とを有し、
前記制御手段は、
前記被写体の状態が前記撮像を行うための所定条件を満たす撮像対象領域を設定し、
該撮像対象領域に対応する前記視線が検出されることに応じて前記撮像を行うことを特徴とする撮像装置。

【請求項2】

前記被写体は顔であり、
前記被写体の状態は、目の向き、顔の表情および顔の向きのうち少なくとも１つを含むことを特徴とする請求項１に記載の撮像装置。

【請求項3】

前記被写体は体であり、
前記被写体の状態は、体の姿勢および向きのうち少なくとも１つを含むことを特徴とする請求項１に記載の撮像装置。

【請求項4】

前記被写体の状態は、前記撮像領域における被写体のサイズであることを特徴とする請求項１に記載の撮像装置。

【請求項5】

前記被写体検出手段は、前記撮像領域のうちユーザ指定の領域で前記被写体を検出することを特徴とする請求項１から４のいずれか一項に記載の撮像装置。

【請求項6】

前記被写体の状態が目の向きであり、
前記所定条件が、前記注視位置に前記被写体の前記目が向いていることであることを特徴とする請求項１に記載の撮像装置。

【請求項7】

前記被写体の状態が顔の表情であり、
前記所定条件が、前記表情が笑顔であることであることを特徴とする請求項１に記載の撮像装置。

【請求項8】

前記被写体の状態が顔または体の向きであり、
前記所定条件が、前記顔または前記体が前記撮像装置を向いていることであることを特徴とする請求項１に記載の撮像装置。

【請求項9】

前記被写体の状態が体の姿勢であり、
前記所定条件が、前記姿勢が特定姿勢であることであることを特徴とする請求項１に記載の撮像装置。

【請求項10】

前記制御手段は、前記所定条件を満たす前記被写体の状態を含む参照画像データを取得し、該参照画像データと前記撮像素子の出力を用いて生成された前記画像データとを比較して前記被写体の状態が前記所定条件を満たすか否かを判定することを特徴とする請求項１から９のいずれか一項に記載の撮像装置。

【請求項11】

前記被写体の状態が前記撮像領域における被写体のサイズであり、
前記所定条件が、前記撮像領域に占める前記被写体のサイズの割合が所定値以上であることであることを特徴とする請求項１に記載の撮像装置。

【請求項12】

前記表示手段は、前記画像データに重畳するように前記注視位置を表示し、
前記制御手段は、前記被写体の状態が前記所定条件を満たすことに応じて前記注視位置の表示形態を変更することを特徴とする請求項１から１１のいずれか一項に記載の撮像装置。

【請求項13】

前記制御手段は、複数の条件の候補の中から、前記所定条件を選択し、選択された前記所定条件を満たす領域を撮像対象領域として設定することを特徴とする請求項１から１２のいずれか一項に記載の撮像装置。

【請求項14】

前記制御手段は、前記複数の条件の候補の中から、前記被写体の検出結果に基づいて前記所定条件を選択することを特徴とする請求項１３に記載の撮像装置。

【請求項15】

被写体像を撮像する撮像素子の出力を用いて生成された画像データを表示する表示手段を有する撮像装置の制御方法であって、
前記表示手段を見るユーザの視線を検出するステップと、
前記画像データから被写体の状態を検出するステップと、
前記撮像素子による撮像領域のうち前記視線に対応する位置での前記被写体の状態に応じて撮像を行うステップとを有し、
前記被写体の状態が前記撮像を行うための所定条件を満たす撮像対象領域を設定し、
該撮像対象領域に対応する前記視線が検出されることに応じて前記撮像を行うことを特徴とする撮像装置の制御方法。

【請求項16】

被写体像を撮像する撮像素子の出力を用いて生成された画像データを表示する表示手段を有する撮像装置のコンピュータに、請求項１５に記載の制御方法に従う処理を実行させることを特徴とするコンピュータプログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、撮像装置の制御に関する。

【背景技術】

【0002】

撮像装置には、撮像を指示するボタン操作による撮像タイミングの遅れを解消するために、特許文献１に開示されているように撮像画面内でのユーザの視線（注視位置）を検出し、該注視位置が撮像画面内で設定された焦点検出領域に一致することに応じて撮像を行うものがある。

【先行技術文献】

【特許文献】

【0003】

【文献】特開平５－１００１４８号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

しかしながら、特許文献１の撮像装置では、焦点検出領域に含まれる被写体が撮像に適した良好な状態にあるか否かにかかわらず撮像を行うため、ユーザが意図した撮像画像を取得できない場合がある。
本発明は、ユーザの視線を利用した撮像を行うことができ、かつ良好な状態の被写体を撮像することができるようにした撮像装置を提供する。

【課題を解決するための手段】

【0005】

本発明の一側面としての撮像装置は、被写体像を撮像する撮像素子と、該撮像素子の出力を用いて生成された画像データを表示する表示手段と、表示手段を見るユーザの視線を検出する視線検出手段と、画像データから被写体の状態を検出する被写体検出手段と、撮像素子による撮像領域のうち視線に対応する注視位置での被写体の状態に応じて撮像を行う制御手段とを有する。制御手段は、被写体の状態が撮像を行うための所定条件を満たす撮像対象領域を設定し、該撮像対象領域に対応する視線が検出されることに応じて撮像を行うことを特徴とする。

【0006】

また本発明の他の一側面としての制御方法は、被写体像を撮像する撮像素子の出力を用いて生成された画像データを表示する表示手段を有する撮像装置に適用される。制御方法は、表示手段を見るユーザの視線を検出するステップと、画像データから被写体の状態を検出するステップと、撮像素子による撮像領域のうち視線に対応する注視位置での被写体の状態に応じて撮像を行うステップとを有する。そして、被写体の状態が撮像を行うための所定条件を満たす撮像対象領域を設定し、該撮像対象領域に対応する視線が検出されることに応じて撮像を行うことを特徴とする。なお、撮像装置のコンピュータに上記制御方法に従う処理を実行させるコンピュータプログラムも、本発明の他の一側面を構成する。

【発明の効果】

【0007】

本発明によれば、ユーザの視線を利用した撮像を行うことができ、かつ良好な状態の被写体を撮像することができる。

【図面の簡単な説明】

【0008】

【図1】本発明の実施例１である撮像装置の構成を示すブロック図。

【図2】実施例１において被写体の状態を判定する例を示す図。

【図3】実施例１において被写体の状態を判定する他の例を示す図。

【図4】実施例１において被写体の状態を判定するさらに別の例を示す図。

【図5】実施例１において実行される撮像処理を示すフローチャート。

【図6】実施例１において実行される撮像タイミング決定処理を示すフローチャート。

【図7】本発明の実施例２において実行される撮像処理を示すフローチャート。

【図8】本発明の実施例３において実行される撮像処理を示すフローチャート。

【発明を実施するための形態】

【0009】

以下、本発明の実施例について図面を参照しながら説明する。

【実施例1】

【0010】

図１は、本発明の実施例１である撮像装置の構成を示す。本実施例では撮像装置として、デジタルカメラの構成を説明するが、本発明の撮像装置は画像処理装置、情報処理装置および電子機器等の各種装置に搭載されるものを含む。

【0011】

撮像装置は、第１レンズ群１０１、絞りシャッタ１０２、第２レンズ群１０３、第３レンズ群１０５および光学ローパスフィルタ１０６を含む撮像光学系と、撮像素子１０７、電子フラッシュ１１５およびＡＦ（オートフォーカス）補助光源１１６を備えている。また撮像装置は、ズームアクチュエータ１１１、絞りシャッタアクチュエータ１１２、フォーカスアクチュエータ１１４、ＣＰＵ１２１、各種回路１２２～１２９、表示部１３１、操作部１３２およびフラッシュメモリ１３３を備えている。さらに撮像装置は、視線検出部１３４および撮像タイミング決定部１３５を備えている。

【0012】

撮像光学系は、被写体からの光を結像させる。第１レンズ群１０１および第２レンズ群１０３は、光軸方向に移動して変倍（ズーミング）を行う。第３レンズ群１０５は、光軸方向に移動して焦点調節（フォーカシング）を行う。絞りシャッタ１０２は、その開口径を変化させて光量を調整したり静止画撮像において撮像素子１０７の露光量を制御したりする。光学ローパスフィルタ１０６は、偽色やモアレを軽減する。撮像素子１０７は、ＣＭＯＳセンサやＣＣＤセンサ等の光電変換素子であり、センサ駆動回路１２４により駆動されて撮像光学系により形成された被写体像（光学像）を撮像して撮像信号を出力する。

【0013】

画像処理回路１２５は、撮像素子１０７からの撮像信号に対してガンマ変換やカラー補間等の各種処理を行うことにより画像データを生成する。

【0014】

ズームアクチュエータ１１１は、ズーム駆動回路１２９により駆動され、第１レンズ群１０１および第２レンズ群１０３を光軸方向に移動させる。絞りシャッタアクチュエータ１１２は、絞りシャッタ駆動回路１２８により駆動され、絞りシャッタ１０２の開口径を変化させる。フォーカスアクチュエータ１１４は、ＡＦにおいてフォーカス駆動回路１２６により駆動され、第３レンズ群１０５を光軸方向に移動させる。

【0015】

電子フラッシュ１１５は、フラッシュ制御回路１２２により制御されて撮像時に被写体を照明するフラッシュ光を発光する。ＡＦ補助光源１１６は、補助光源駆動回路１２３により駆動され、低輝度または低コントラストの被写体に所定のパターン像を被写体に投影して焦点検出性能を向上させる。

【0016】

ＣＰＵ１２１は、演算部、ＲＯＭ、ＲＡＭ、Ａ／Ｄコンバータ、Ｄ／Ａコンバータおよび通信インターフェイス回路等を含むコンピュータである。ＣＰＵ１２１は、ＲＯＭに記憶されたコンピュータプログラムに従ってＡＦ処理、撮像処理、画像処理および記録処理等を実行し、各種回路の動作を制御する。具体的には、ＣＰＵ１２１は、操作部１３２からのズーム指示に応じてズーム駆動回路１２９を通じてズームアクチュエータ１１１を制御する。またＣＰＵ１２１は、操作部１３２からの撮像準備指示に応じて、画像処理回路１２５からの画像データを用いて焦点検出を行い、その結果に応じてフォーカス駆動回路１２６を通じて第３レンズ群１０５の位置を制御するＡＦ処理を行ったり、画像データから取得した輝度情報に応じて絞りシャッタ駆動回路１２８を通じて絞りシャッタ１０２に開口径を変化させる動作を行わせたりする。またＣＰＵ１２１は、操作部１３２からの静止画撮像指示または撮像タイミング決定部１３５からの撮像タイミングの通知に応じて絞りシャッタ１０２にシャッタ動作を行わせるとともに画像処理回路１２５に記録用静止画データを生成させる。さらにＣＰＵ１２１は、操作部１３２からの動画撮像指示に応じて、絞りシャッタ１０２の開口径制御を行いながら画像処理回路１２５に記録用動画データを生成させる。さらにＣＰＵ１２１は、被写体検出手段として、画像データから被写体を検出するとともに該被写体の状態（これについては後述する）を検出する。

【0017】

表示手段としての表示部１３１は、ＬＣＤ等の表示デバイスを含み、ＥＶＦ(電子ビューファインダ)として画像データに対応した撮像前画像（プレビュー画像）や複数の焦点検出領域での合焦状態を表示したり、撮像後に記録用画像を表示したりする。また表示部１３１は、撮像モードに関する情報等の各種情報を表示する。

【0018】

操作部１３２は、ユーザが操作可能な各種操作スイッチを備えており、ズーム指示、撮像準備指示および撮像指示等の各種指示を示す信号をＣＰＵ１２１に出力する。

【0019】

フラッシュメモリ１３３は、撮像装置に対して着脱可能な記録媒体であり、記録用画像データ等を記録する。
視線検出手段としての視線検出部１３４は、表示部１３１に近傍に配置された赤外線発光部と受光センサを有し、赤外線発光部から発せられて表示部１３１を見ているユーザの眼球（角膜）で反射した赤外光により形成されるプルキニエ像を受光センサで受光して電気信号に変換する。視線検出部１３４は、受光センサからの電気信号を用いてユーザの眼球の回転角度、すなわちユーザの視線（ユーザが注視している方向であり、視線方向ともいう）を検出し、その情報をＣＰＵ１２１に出力する。ＣＰＵ１２１は、視線検出部１３４により検出されたユーザの視線から、撮像領域としての撮像画面（プレビュー画像）内においてユーザが注視している位置（視線が向かう位置：以下、注視位置という）を特定し、その情報を撮像タイミング決定部１３５に出力する。

【0020】

なお、視線検出部１３４として、表示部１３１を見ているユーザの目を撮像するカメラを設け、該カメラにより取得された画像データからユーザの視線を検出してもよい。

【0021】

決定手段としての撮像タイミング決定部１３５は、視線検出部１３４から取得したユーザの注視位置と前述したようにＣＰＵ１２１が画像データから検出した被写体の状態とに応じて撮像タイミングを決定し、その撮像タイミングをＣＰＵ１２１に通知する。撮像タイミングが通知されたＣＰＵ１２１は、自動的に記録用静止画を取得するための撮像（以下、自動撮像という）を実行する。ＣＰＵ１２１と撮像タイミング決定部１３５により制御手段が構成される。

【0022】

本実施例にいう被写体の状態とは、被写体の顔（目や口等の器官）の状態や顔の向き、さらには被写体の姿勢を示している。撮像タイミング決定部１３５は、ユーザの注視位置に位置する被写体の顔や姿勢が撮像に適した状態であると判定したときを撮像タイミングとして決定する。

【0023】

被写体の顔を検出する技術としては、ニューラルネットワークに代表される学習を用いた方法や、目、鼻、口および顔の輪郭等の物理的な形状の特徴部位を画像データからテンプレートマッチングを用いて検出する方法がある。また、肌の色や目の形等の特徴量を画像データから検出して統計的解析を用いて顔を検出する方法や、直前に顔が検出された位置の近傍であることを加味して顔を検出する方法や、服の色を参照して顔を検出する方法や、撮像画面の中央付近ほど顔を認識し易くする方法等もある。

【0024】

本実施例では、ＣＰＵ１２１は、画像データから一対の目（両目）、鼻、口および顔の輪郭を検出し、これらの相対位置から人物の顔を含む被写体領域（顔領域）を決定する方法を用いる。さらにＣＰＵ１２１は、顔以外の人体、動物および乗り物等の被写体に対しても、上述した顔の検出方法と同様の方法により被写体領域を検出する。

【0025】

一方、被写体の姿勢の検出にも様々な方法を用いることができる。本実施例では、ＣＰＵ１２１は、被写体が人体である場合に、顔の全体に対する器官の位置によって顔の向きを検出したり、画像データから人体の関節部位をDeep Learningを用いて推定し、推定した関節部位を繋ぎ合わせることによって人体の姿勢（関節の曲げ伸ばしや体の向き等）を検出したりする。さらにＣＰＵ１２１は、人体以外の動物や乗り物等の被写体に対しても、Deep Learningを用いた推定方法によりその姿勢を検出する。

【0026】

また本実施例では、撮像タイミング決定部１３５が被写体が撮像に適した状態か否かを判定するために、撮像装置内の不図示のメモリや撮像装置が接続可能なネットワーク上に予め記憶させておいた撮像に適した（所定条件を満たす）被写体の状態を示す参照画像データを取得して用いてもよい。例えば、笑顔や目が撮像装置を向いているときの顔を示す参照画像データや、ジャンプしたり指でＶ字を作ったりするように撮像に際して被写体がよくとる特定姿勢を示す参照画像データを記憶させておき、それらの参照画像データと画像処理回路１２５からの画像データとを比較して、該画像データから参照画像データに合致する顔や姿勢を検出するようにしてもよい。顔や姿勢が検出できない場合には、撮像画面に占める被写体領域（つまりは被写体）のサイズの割合が所定値以上である状態を撮像に適した被写体の状態として判定するようにしてもよい。ここにいう所定値は、例えば水平画角の５０％とすればよい。

【0027】

図２（ａ），（ｂ）は、被写体の状態の例として、ユーザが撮像装置の表示部１３１を通じて見ている被写体の顔の状態を示している。図２（ａ）は被写体の顔および目が撮像装置を向いているが表情が笑顔になっていない場合を示し、図２（ｂ）は被写体の顔および目が撮像装置を向いており、かつ表情が笑顔になっている場合を示している。２０１はＣＰＵ１２１により検出された顔領域を示すようにプレビュー画像に重畳表示された被写体枠であり、２０２は視線検出部１３４による検出結果に応じた注視位置を示すようにプレビュー画像に重畳表示された注視マークである。

【0028】

図２（ａ）ではユーザの注視位置と被写体の顔領域が一致している（顔領域に注視位置が含まれている）が、被写体の顔が笑顔ではないため、撮像タイミング決定部１３５は撮像に適した被写体の状態ではないと判定する。一方、図２（ｂ）ではユーザの注視位置と被写体の顔領域が一致し、かつ被写体の顔が笑顔であるため、撮像タイミング決定部１３５は撮像に適した被写体の状態であると判定する。撮像タイミング決定部１３５は、被写体の状態が撮像に適した被写体の状態である（すなわち所定条件を満たす）と判定して撮像タイミングを決定することでＣＰＵ１２１が自動撮像を行う。被写体の顔が笑顔か否かは、笑顔とそれ以外の表情を識別する識別器を用いた学習技術等の既知の技術を用いて判定する。

【0029】

なお、撮像タイミングを決定する所定条件（以下、撮像タイミング決定条件という）を笑顔とせず、被写体の顔または目が撮像装置を向いており、かつその状態が所定時間継続していることを撮像タイミング決定条件としてもよい。この際、器官検出によって被写体の目尻、目頭および瞳の中心の位置関係を検出して被写体の目の向きを判定してもよい。さらにユーザの注視位置に被写体の目が向いている状態が所定時間継続していることを撮像タイミング決定条件としてもよい。

【0030】

さらに、被写体の笑顔、顔の向きおよび目の向きを組み合わせて、被写体の状態が撮像に適した状態であるか否かを判定してもよい。図３は、被写体が人であり、その姿勢の検出結果によって被写体の状態が撮像に適した状態として判定され得る例を示している。この図は、被写体がサッカーボールを蹴る直前の状態を示している。３０１はプレビュー画像に重畳表示された被写体枠であり、３０２はプレビュー画像に重畳表示された注視マークである。撮像タイミング決定部１３５は、注視位置に位置する被写体の姿勢の検出結果と予め記憶された撮像に適した状態として姿勢との一致度が所定値以上である場合に、その状態が撮像に適した状態であると判定して撮像タイミングを決定する。

【0031】

図４（ａ），（ｂ）は被写体が乗り物（車）である場合の例を示している。４０１はプレビュー画像に重畳表示された被写体枠であり、４０２はプレビュー画像に重畳表示された注視マークである。図４（ａ）ではユーザの注視位置と被写体領域とが一致しているが、撮像画面に占める被写体のサイズの割合が所定値より小さいため、撮像タイミング決定部１３５は撮像に適した被写体の状態ではないと判定する。一方、図４（ｂ）では撮像画面に占める被写体のサイズの割合が所定値以上となるため、撮像タイミング決定部１３５は撮像に適した状態として判定する。

【0032】

図５のフローチャートは、本実施例においてＣＰＵ１２１と撮像タイミング決定部１３５がコンピュータプログラムに従って実行する撮像処理を示している。ステップＳ５０１において、ＣＰＵ１２１は、視線検出部１３４を通じてユーザの視線を検出し、その結果からプレビュー画像におけるユーザの注視位置を特定する。

【0033】

次にステップＳ５０２では、ＣＰＵ１２１は、プレビュー画像の画像データから人、顔、乗り物等の被写体を検出する。この際、ＣＰＵ１２１は、自動的に画像データ全体から被写体を検出してもよいし、表示部１３１の表示画面上を指でタッチする等のユーザ操作によって指定された範囲内の画像データから被写体を検出するようにしてもよい。ＣＰＵ１２１は、検出した被写体を含む矩形の領域を被写体領域として設定する。

【0034】

次にステップＳ５０３では、ＣＰＵ１２１は、撮像タイミング決定部１３５に、ステップＳ５０１で検出された注視位置と被写体領域との一致度を判定させる。具体的には、撮像タイミング決定部１３５は、被写体領域に注視位置が含まれる場合は一致度が高く、そうでない場合は一致度が低いと判定する。ＣＰＵ１２１は、一致度が高い場合はステップＳ５０４に進み、一致度が低い場合はステップＳ５０１に戻る。

【0035】

ステップＳ５０４では、ＣＰＵ１２１は、注視位置が含まれる（視線に対応する）被写体領域を撮像対象領域としての被写体領域（以下、主被写体領域という）に設定する。そしてステップＳ５０５では、ＣＰＵ１２１は、主被写体領域における焦点検出を行う。さらにステップＳ５０６では、ＣＰＵ１２１は、ステップＳ５０５で行った焦点検出の結果に応じてフォーカシングを行う。

【0036】

続いてステップＳ５０７では、ＣＰＵ１２１は、主被写体領域に対する撮像タイミング決定条件を設定する。本ステップでの詳しい処理については後述する。ＣＰＵ１２１により設定された撮像タイミング決定条件は撮像タイミング決定部１３５に通知される。

【0037】

次にステップＳ５０８では、ＣＰＵ１２１は、撮像タイミング決定部１３５に主被写体領域内の被写体の状態が撮像タイミング決定条件を満たしているかを判定させる。撮像タイミング決定部１３５は、被写体の状態が撮像タイミング決定条件を満たしている場合はステップＳ５０９にて撮像タイミングをＣＰＵ１２１に通知する。これにより、ＣＰＵ１２１は自動撮像を行い、本処理を終了する。この際、ＣＰＵ１２１は、自動撮像を行うことをユーザに知らせるために被写体枠や注視マークの表示形態（色や形等）を変更してもよい。

【0038】

一方、被写体の状態が撮像タイミング決定条件を満たしていない場合は、撮像タイミング決定部１３５はそれをＣＰＵ１２１に通知する。これにより、ＣＰＵ１２１はステップＳ５０１に戻る。

【0039】

図６のフローチャートは、図５のステップＳ５０７でＣＰＵ１２１が実行する撮像タイミング決定条件を設定する処理を示している。まずステップＳ６０１では、ＣＰＵ１２１は、前述した検出方法によって被写体の器官を検出可能か否か判定し、検出可能である場合はステップＳ６０２に進み、そうでない場合はステップＳ６０３に進む。

【0040】

ステップＳ６０２では、ＣＰＵ１２１は、撮像タイミング決定条件を、被写体の器官の特徴量が所定値以上である場合に設定する。例えば、被写体を顔とすると、図２（ｂ）に示したように顔が笑顔であることを器官の特徴量が所定値以上であるとする。また、器官を目や口として、目がウィンクされていたり口が大きく開けられていたりすることを特徴量が所定値以上であるとしてもよい。こうして撮像タイミング決定条件を設定したＣＰＵ１２１は図５のステップＳ５０８に進む。

【0041】

ステップＳ６０３では、ＣＰＵ１２１は、前述した検出方法によって人体を検出可能であるか否かを判定し、検出可能である場合はステップＳ６０４に進み、そうでない場合はステップＳ６０７に進む。

【0042】

ステップＳ６０４では、ＣＰＵ１２１は、ステップＳ６０３で検出された人体の姿勢を前述した推定方法によって推定可能か否かを判定し、推定可能である場合はステップＳ６０５に進み、そうでない場合はステップＳ６０６に進む。

【0043】

ステップＳ６０５では、ＣＰＵ１２１は、撮像タイミング決定条件を、被写体の姿勢が所定姿勢に対して一致度が高い場合に設定する。所定姿勢は、前述したように撮像装置内のメモリやネットワーク上に予め記憶させておいた撮像に適した被写体の姿勢（状態）である。こうして撮像タイミング決定条件を設定したＣＰＵ１２１は図５のステップＳ５０８に進む。

【0044】

ステップＳ６０６では、ＣＰＵ１２１は、被写体の向きを推定可能か否かを判定し、推定可能である場合はステップＳ６０７に進み、そうでない場合はステップＳ６０８に進む。被写体の向きとは、顔の向きや体の向きを示す。顔の向きは前述したように顔の器官の検出結果から推定し、体の向きは前述したように被写体の姿勢の検出結果から推定する。

【0045】

ステップＳ６０７では、ＣＰＵ１２１は、撮像タイミング決定条件を被写体の向きとサイズに設定する。すなわち、前述したように、被写体の顔または体が撮像装置を向き、かつ撮像画面に占める被写体のサイズの割合が所定値以上である場合を撮像タイミング決定条件に設定する。一方、ステップＳ６０８では、ＣＰＵ１２１は、撮像タイミング決定条件を被写体のサイズに設定する。すなわち、撮像画面に占める被写体のサイズの割合が所定値以上である場合を撮像タイミング決定条件に設定する。こうして撮像タイミング決定条件を設定したＣＰＵ１２１は図５のステップＳ５０８に進む。

【0046】

本実施例によれば、ユーザの視線を利用した自動撮像を行うことができ、かつ良好な状態の被写体を撮像することができる。

【実施例2】

【0047】

次に、本発明の実施例２について説明する。本実施例における撮像装置の構成は実施例１と同じである。図７のフローチャートは、本実施例においてＣＰＵ１２１と撮像タイミング決定部１３５がコンピュータプログラムに従って実行する撮像処理を示している。本実施例では、まず被写体検出により主被写体領域の設定を行い、その後、撮像タイミング決定条件を設定し、さらに注視位置と主被写体領域の一致度が高い場合に自動撮像を行う。

【0048】

具体的は、ＣＰＵ１２１は、ステップＳ７０１で、図５のステップＳ５０２と同様に被写体検出を行い、次にステップＳ７０２において、被写体が検出された被写体領域を主被写体領域に設定する。この際、被写体領域が複数ある場合は、それらのうち撮像画面の中央等の所定位置に位置する又はユーザ指定の被写体領域を主被写体領域に設定する。そしてステップＳ７０３で主被写体領域での焦点検出を行い、ステップＳ７０４で焦点調節を行う。

【0049】

次にＣＰＵ１２１は、ステップＳ７０５で、図５のステップＳ５０７および図６を用いて説明したように撮像タイミング決定条件を設定する。続いてＣＰＵ１２１は、ステップＳ７０６において、撮像タイミング決定部１３５に主被写体領域内の被写体の状態が撮像タイミング決定条件を満たしているかを判定させる。撮像タイミング決定部１３５は、被写体の状態が撮像タイミング決定条件を満たしている場合はそのことをＣＰＵ１２１に通知してステップＳ７０７に進み、そうでない場合はステップＳ７０１に戻る。

【0050】

ステップＳ７０７では、ＣＰＵ１２１は、ステップＳ５０１と同様に視線検出部１３４を通じてユーザの視線を検出して注視位置を特定する。そしてステップＳ７０８では、ＣＰＵ１２１は注視位置と主被写体領域の一致度が高いか否かを判定し、高い場合はステップＳ７０９に進み、そうでない場合はステップＳ７０１に戻る。ステップＳ７０９では、ＣＰＵ１２１は自動撮像を実行する。そして本処理を終了する。

【0051】

本実施例によれば、主被写体領域の選択をユーザの視線検出で行う必要がないため、主被写体領域の選択までの時間を短縮することができる。そして主被写体領域の設定後に、主被写体領域とユーザの視線検出による注視位置との一致度が高いことを利用することで、自動撮像を行うことができる。

【実施例3】

【0052】

次に、本発明の実施例３について説明する。本実施例における撮像装置の構成は実施例１と同じである。図８のフローチャートは、本実施例においてＣＰＵ１２１と撮像タイミング決定部１３５がコンピュータプログラムに従って実行する撮像処理を示している。本実施例では、まず被写体検出を行った後に撮像タイミング決定条件を設定し、その後、主被写体領域を設定し、さらに注視位置と主被写体領域の一致度が高い場合に自動撮像を行う。

【0053】

具体的は、ＣＰＵ１２１は、ステップＳ８０１で図５のステップＳ５０２と同様に被写体検出を行い、ステップＳ８０２で図５のステップＳ５０７および図６を用いて説明したように撮像タイミング決定条件を設定する。

【0054】

次にＣＰＵ１２１は、ステップＳ８０３において撮像タイミング決定部１３５に被写体領域内の被写体の状態が撮像タイミング決定条件を満たしているかを判定させる。撮像タイミング決定部１３５は、被写体の状態が撮像タイミング決定条件を満たしている場合はそのことをＣＰＵ１２１に通知してステップＳ８０４に進み、そうでない場合はステップＳ８０１に戻る。

【0055】

さらにＣＰＵ１２１は、ステップＳ８０４において、被写体の状態が撮像タイミング決定条件を満たしている被写体領域を主被写体領域に設定し、次にステップＳ８０５で主被写体領域での焦点検出を行い、ステップＳ８０６で焦点調節を行う。

【0056】

続いてＣＰＵ１２１は、ステップＳ８０７において、ステップＳ５０１と同様に視線検出部１３４を通じてユーザの視線を検出して注視位置を特定する。そしてステップＳ８０８で注視位置と主被写体領域の一致度が高いか否かを判定し、高い場合はステップＳ８０９に進み、そうでない場合はステップＳ８０１に戻る。ステップＳ８０９では、ＣＰＵ１２１は自動撮像を実行する。そして本処理を終了する。

【0057】

本実施例によれば、撮像タイミング決定条件を満たした被写体を主被写体領域と設定することで、主被写体領域の選択をユーザの視線検出で行う必要がないため、主被写体領域の選択までの時間を短縮することができる。そして主被写体領域の設定後に、主被写体領域とユーザの視線検出による注視位置との一致度が高いことを利用することで、自動撮像を行うことができる。
（その他の実施例）
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。

【0058】

以上説明した各実施例は代表的な例にすぎず、本発明の実施に際しては、各実施例に対して種々の変形や変更が可能である。

【符号の説明】

【0059】

１２１ ＣＰＵ
１２５ 画像処理回路
１３４ 視線検出部
１３５ 撮像タイミング決定部

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】