特許 5825851 撮像装置及びその制御方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】5825851

(24)【登録日】2015年10月23日

(45)【発行日】2015年12月2日

(54)【発明の名称】撮像装置及びその制御方法

(51)【国際特許分類】

   G03B 7/091 20060101AFI20151112BHJP

   H04N 5/238 20060101ALI20151112BHJP

   H04N 5/232 20060101ALI20151112BHJP

   H04N 101/00 20060101ALN20151112BHJP

【ＦＩ】

   G03B7/091

   H04N5/238 Z

   H04N5/232 C

   H04N101:00

【請求項の数】6

【全頁数】17

(21)【出願番号】特願2011-119711(P2011-119711)

(22)【出願日】2011年5月27日

(65)【公開番号】特開2012-247648(P2012-247648A)

(43)【公開日】2012年12月13日

【審査請求日】2014年5月23日

(73)【特許権者】

【識別番号】000001007

【氏名又は名称】キヤノン株式会社

(74)【代理人】

【識別番号】100076428

【弁理士】

【氏名又は名称】大塚 康徳

(74)【代理人】

【識別番号】100112508

【弁理士】

【氏名又は名称】高柳 司郎

(74)【代理人】

【識別番号】100115071

【弁理士】

【氏名又は名称】大塚 康弘

(74)【代理人】

【識別番号】100116894

【弁理士】

【氏名又は名称】木村 秀二

(74)【代理人】

【識別番号】100130409

【弁理士】

【氏名又は名称】下山 治

(74)【代理人】

【識別番号】100134175

【弁理士】

【氏名又は名称】永川 行光

(72)【発明者】

【氏名】芦田 祐一郎

【審査官】 井亀 諭

(56)【参考文献】

【文献】 特開２００９−１３５６６９（ＪＰ，Ａ）

【文献】 特開２００８−０３５４１５（ＪＰ，Ａ）

【文献】 米国特許出願公開第２００８／００２４６１６（ＵＳ，Ａ１）

【文献】 特開２００５−３４１４４８（ＪＰ，Ａ）

【文献】 特開２００３−２５５４２９（ＪＰ，Ａ）

【文献】 特開２００８−１１３４２３（ＪＰ，Ａ）

【文献】 米国特許出願公開第２００８／００８０７３９（ＵＳ，Ａ１）

【文献】 特開２００４−１７３１５１（ＪＰ，Ａ）

【文献】 特開２００７−２７９４２５（ＪＰ，Ａ）

【文献】 特開２０１１−０８６１６３（ＪＰ，Ａ）

【文献】 特開２００８−１０７５６５（ＪＰ，Ａ）

【文献】 特開２００８−１８７５９１（ＪＰ，Ａ）

【文献】 特開２００２−２１８３１７（ＪＰ，Ａ）

(58)【調査した分野】（Int.Cl.，ＤＢ名）

Ｇ０３Ｂ ７／０９１

Ｈ０４Ｎ ５／２３２

Ｈ０４Ｎ ５／２３８

Ｈ０４Ｎ １０１／００

(57)【特許請求の範囲】

【請求項1】

連写が可能な撮像装置であって、
撮像に用いる露出制御値を設定する設定手段と、
被写体を追尾する追尾手段と、
前記追尾手段による追尾結果の信頼度を判定する判定手段と、を有し、
前記追尾手段は、連写中に前記被写体の追尾を行い、
前記設定手段は、連写中、前記追尾手段で行われた追尾結果の信頼度が高いと前記判定手段により判定されている場合には、前の駒の撮像に用いた露出制御値を、次の駒を撮像するための露出制御値として設定することを特徴とする撮像装置。

【請求項2】

前記追尾手段は、前記被写体の輝度又は色の変化がないと判定される場合に、前記追尾結果の信頼度が高いと判定する、ことを特徴とする請求項１記載の撮像装置。

【請求項3】

前記追尾手段は、設定された画像パターンの輝度情報および色情報と相関が高い領域を撮像された画像内で探索することによって前記被写体の追尾を行い、
前記判定手段は、前記探索された領域の輝度情報の相関値が予め定められた輝度情報の相関値の閾値以上で、かつ前記探索された領域の色情報の相関値が予め定められた色情報の相関値の閾値以上である場合に、前記追尾手段で行われた追尾結果の信頼度が高いと判定する、
ことを特徴とする請求項１記載の撮像装置。

【請求項4】

測光センサをさらに有し、
前記追尾手段は、前記測光センサで撮像された画像を用いて前記追尾を行うことを特徴とする請求項１乃至請求項３のいずれか１項の記載の撮像装置。

【請求項5】

前記設定手段は、連写中、前記追尾手段で行われた追尾結果の信頼度が高いと前記判定手段により判定されていない場合には、前記測光センサで撮像された画像に基づいて必要な露光量を算出し、該露光量を得るための露出制御値を、前記次の駒を撮像するための露出制御値として設定することを特徴とする請求項４記載の撮像装置。

【請求項6】

連写が可能な撮像装置の制御方法であって、
連写中に、被写体を追尾する追尾工程と、
前記追尾工程での追尾結果の信頼度を判定する判定工程と、
前記連写中の次の駒の撮像に用いる露出制御値を設定する設定工程と、を有し、
前記設定工程では、前記追尾工程での追尾結果の信頼度が高いと前記判定工程により判定されている場合には、前の駒の撮像に用いた露出制御値を、前記次の駒を撮像するための露出制御値として設定することを特徴とする撮像装置の制御方法。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は撮像装置及びその制御方法に関し、特に連写機能を有する撮像装置及びその制御方法に関する。

【背景技術】

【0002】

近年、移動する被写体に対して連続的に撮像レンズの焦点調節を行うことが可能な撮像装置が多く製品化されており、連続的な焦点調節を実現するための様々な方法が提案されている。例えば、複数の焦点検出領域のうち、ユーザが被写体に対して合わせた焦点検出領域に加え、他の焦点検出領域の信号を用いるもの（焦点検出領域の拡大）や、被写体認識技術によって被写体の動きを検出（追尾）して、移動先の位置で焦点調節するものなどがある。

【0003】

また、デジタルスチルカメラ（以下、単にカメラという）は単写モードと連写モードを有するものが一般的で、動きの多い被写体の撮像には連写モードで撮像が行われることが多い。また、連写中の輝度変化及び被写体の移動を考慮し、従来のカメラでは１駒ごとに測光、露出演算、焦点検出、及び撮像レンズの焦点調節を行っているものが多くある。上述した被写体の動きを検出する技術は、被写体に対して最適な焦点調節や露出制御を行うことを可能としている。

【0004】

しかしながら、近年のカメラにおいては、１秒間に１０駒以上の高速連写が可能となってきているため、露出演算や撮像レンズの焦点調節のための時間は短くなり、露出不良やピンボケ写真が発生する可能性はむしろ高くなっている。

【0005】

そのため、特許文献１では、連写の１駒目は単写時と同様の露出演算と撮像レンズの焦点位置合わせを行い、２駒目以降では、１駒目の画像データから特定の被写体が存在する領域を検出して測光時の蓄積時間や露出演算範囲、焦点検出領域を設定している。特許文献１では、これにより、短時間の露出演算や焦点調節を実現し、高速連写中にも安定した露出制御と焦点調節を行うことが可能であるとしている。

【0006】

しかしながら、特許文献１では、測光範囲を被写体の位置情報に基づいて設定しているため、測光範囲と被写体位置との関係が変化した場合などには被写体の輝度変化がなくても露出演算結果が変化する場合が考えられる。また、１駒ごとの露出演算が必要なため、処理が煩雑である。

【0007】

特許文献２には、連写中の露出演算を省略しつつ、露出のばらつきを防止するための発明が開示されている。特許文献２では、連写中に現在の駒と直前の駒における被写体の輝度値を比較し、輝度変化がない場合は現在の駒の露出制御値を前の駒から維持し、輝度変化があった場合には露出演算を行っている。特許文献２の方法では、被写体輝度の変化がない場合、露出演算が省略でき、また露出値が変化しないため露出のばらつきが防止できる。

【先行技術文献】

【特許文献】

【0008】

【特許文献1】特開２０１０−７２２８３号公報

【特許文献2】特開２００３−２５５４２９号公報

【発明の概要】

【発明が解決しようとする課題】

【0009】

しかしながら、例えば背景に極端に暗いもの、明るいものが入った場合など、背景に大きな輝度変化が生じた場合、測光値（被写界輝度）が変化するので、特許文献２の方法では主被写体に輝度変化が無くても露出演算が行われてしまう。特に動体撮像の場合には、主被写体の輝度が変わらなくても背景の明るさが大きく変化することは珍しくないので、この問題は無視できない。また、主被写体の輝度変化が無くても露出演算が行われることで、特許文献１記載の発明と同様、主被写体と測光範囲の位置関係の変化等から露出が変化し、連写中の露出ばらつきが発生する原因にもなる。

【0010】

本発明はこのような従来技術の課題に鑑みなされたものであり、連写機能を有する撮像装置及びその制御方法において、連写中の露出ばらつきの抑制及び露出演算時間の短縮をより効果的に実現することを目的とする。

【課題を解決するための手段】

【0011】

上述の目的は、連写が可能な撮像装置であって、撮像に用いる露出制御値を設定する設定手段と、被写体を追尾する追尾手段と、追尾手段による追尾結果の信頼度を判定する判定手段と、を有し、追尾手段は、連写中に被写体の追尾を行い、設定手段は、連写中、追尾手段で行われた追尾結果の信頼度が高いと判定手段により判定されている場合には、前の駒の撮像に用いた露出制御値を、次の駒を撮像するための露出制御値として設定することを特徴とする撮像装置によって達成される。

【発明の効果】

【0012】

このような構成により、本発明によれば、連写機能を有する撮像装置及びその制御方法において、連写中の露出ばらつきの抑制及び露出演算時間の短縮をより効果的に実現することが可能となる。

【図面の簡単な説明】

【0013】

【図1】本発明の実施形態に係るデジタル一眼レフカメラの構成例を示す図

【図2】本発明の実施形態に係るデジタル一眼レフカメラの構成例を示す図

【図3】本発明の実施形態における視野枠と測光領域、焦点検出領域の関係例を示す図

【図4】本発明の実施形態における、輝度情報と色情報の相関値が閾値以上か否かの組合せと、被写体追尾結果の信頼度との関係の例を示す図

【図5】本発明の実施形態における、被写体追尾動作と露出制御動作、焦点検出領域の選択動作を説明するための図

【図6】本発明の実施形態における、被写体追尾動作と露出制御動作、焦点検出領域の選択動作を説明するための図

【図7】本発明の実施形態における、被写体追尾動作と露出制御動作、焦点検出領域の選択動作を説明するための図

【図8】本発明の実施形態における、被写体追尾動作と露出制御動作、焦点検出領域の選択動作を説明するための図

【図9】本発明の実施形態におけるカメラの動作を説明するためのフローチャート

【図10】本発明の実施形態におけるカメラの動作を説明するためのフローチャート

【図11】本発明の実施形態におけるカメラの動作を説明するためのフローチャートの変形例

【図12】始めに設定した追尾対象枠と各撮影駒における被写体領域との相関値を示す図

【発明を実施するための形態】

【0014】

以下、本発明の例示的な実施形態を、添付の図面に基づいて詳細に説明する。
●（カメラ１００の構成）
まず、本発明の実施形態にかかる撮像装置の一例としてのデジタル一眼レフカメラ（以下、単にカメラという）１００の構成例を、主に光学系についての構成を示す図１と、制御に関わる構成を示す図２とを参照して説明する。

【0015】

カメラ１００は、本体１１０と撮像レンズ１０５から構成される。
撮像レンズ１０５は、被写界光を撮像素子の一例としてのＣＣＤ１０６上に結像させる。本実施形態において、ＣＣＤ１０６は約１０００万（３８８８×２５９２）の有効画素を有するものとする。

【0016】

なお、図１においては、撮像レンズ１０５が有するレンズを便宜的に１枚のレンズ１０５ａとして表現している。しかし、実際にはフォーカスレンズを含む複数のレンズを有しており、レンズ駆動部１３１によってフォーカスレンズを光軸に沿って前後に移動させることにより、撮像レンズ１０５の焦点位置を調整することが可能である。

【0017】

焦点検出板（以下、ピント板という）１２８は、主ミラー１２６で反射される光軸上で、ＣＣＤ１０６の結像面と等価の位置に配置され、図１に示すミラーダウン状態において、被写界像は主ミラー１２６で反射されてピント板１２８に１次結像する。

【0018】

ユーザはピント板１２８に結像された被写界像を、ペンタプリズム１２７、接眼レンズ１２１を通じて見ることができる。ピント板１２８、ペンタプリズム１２７、及び接眼レンズ１２１はいわゆるＴＴＬ方式の光学ファインダを構成する。

【0019】

また、ピント板１２８近傍に配置されたファインダ視野枠１２３によって被写体光束の周辺部を遮光することによって、ＣＣＤ１０６にて撮像される領域を光学ファインダを通じてユーザに視認させる。パラメータ表示部１１５は、導光プリズム、ペンタプリズム１２７、接眼レンズ１２１を介して、絞り値やシャッタ速度など、カメラ１００の各種撮像情報を光学ファインダ内でユーザが視認可能にする。

【0020】

ピント板１２８の近傍に配置された焦点検出領域表示部１１２は、例えば高分子分散液晶（ＰＮ液晶）パネルからなり、前述した焦点検出動作の状態表示や焦点検出領域の表示を、被写界像とともに光学ファインダ内で視認可能にする。

【0021】

主ミラー１２６は半透過ミラーであり、透過した一部の光束はサブミラー１２２を通じて焦点検出制御部１１９に導かれる。焦点検出制御部１１９は焦点検出用の一対のラインＣＣＤセンサを有し、ラインＣＣＤセンサの出力の位相差（デフォーカス量）を算出する。焦点検出制御部１１９はまた、ラインＣＣＤセンサの蓄積時間とＡＧＣ（オートゲインコントロール）の制御も行う。

【0022】

ＣＰＵ（中央演算処理装置）１０１は、焦点検出制御部１１９が検出したデフォーカス量に基づいて焦点位置を算出し、撮像レンズ１０５のレンズ駆動部１３１を通じてフォーカスレンズを駆動する。このように、本実施形態のカメラ１００は、位相差検出方式の自動焦点検出（オートフォーカシング）が可能である。

【0023】

本実施形態のカメラ１００は、自動焦点検出のモードとして、静止している被写体の撮像に適したワンショットＡＦと、動いている被写体に適しているＡＩサーボＡＦ（コンティニュアスＡＦ）を有している。ワンショットＡＦは、ユーザが任意に選択した焦点検出領域、もしくはカメラ１００が自動選択した焦点検出領域において自動焦点検出を行い、焦点位置にフォーカスレンズを移動させて、フォーカスレンズの駆動を停止する。一方、ＡＩサーボＡＦは、焦点位置にフォーカスレンズを移動させた後も、焦点検出領域を拡大（使用する焦点検出領域の数を増加）して主被写体の動きを検出する。そして、動きが検出された場合には、他の焦点検出領域で検出されたデフォーカス量に従ってフォーカスレンズを駆動することを継続して実行する。

【0024】

ワンショットＡＦとＡＩサーボＡＦは、通常、ユーザが選択可能であるが、本実施形態においては、動きのある主被写体を想定しているため、ＡＩサーボＡＦが選択されているものとする。また、本明細書では、後述する、被写体追尾動作の情報を用いるＡＩサーボＡＦを第１の自動焦点検出動作、被写体追尾動作の情報を用いない従前のＡＩサーボＡＦを第２の自動焦点検出動作と呼ぶ。

【0025】

測光光学系を構成する測光用光学素子（以下、測光レンズという）１２９および測光用受光素子（以下、測光センサという）１３０について説明する。測光レンズ１２９は、ピント板１２８に結像された被写界像を測光センサ１３０に２次結像させる。本実施形態では測光レンズ１２９は２枚のレンズ１２９ａ，１２９ｂで構成され、レンズ１２９ａはペンタプリズム１２７から出射する光束を上方に光路変換し、測光レンズ１２９ｂが測光センサ１３０に被写界像を２次結像する。

【0026】

測光センサ１３０は例えば画素ピッチが約６μｍの横６４０×縦４８０画素のＣＣＤであり、ベイヤーもしくはストライプ配列にＲ、Ｇ、Ｂの３色のカラーフィルターが画素上に配置されている。測光センサ１３０の出力するアナログ信号をＣＰＵ１０１によってＡ／Ｄ変換し、例えば８ビットデジタル信号に変換した後、ＲＧＢ→ＹＵＶ変換処理することにより、被写界の輝度情報及び色情報を取得することができる。

【0027】

一方、測光レンズ１２９の結像倍率は例えば０．１５倍であり、測光レンズ１２９によって、測光センサ１３０は図３に示すようにファインダ視野枠１２３より少し内側の測光領域１３４の光束を受光する。測光センサ１３０は、測光領域１３４を横２０個×縦２０個の領域に分割し、各領域に含まれる画素（３２×２４画素）の出力値から領域毎の輝度値を算出する。ＣＰＵ１０１は、測光領域１３４内の輝度値の和や平均値を求め、装着されているピント板１２８の拡散特性に応じた輝度値の補正を行う。また、ＣＰＵ１０１は、撮像レンズ１０５の明るさを示すＦｎｏ.（実行Ｆｎｏ.）の値の補正も行う。

【0028】

ＣＰＵ１０１は、測光領域１３４内の各領域の輝度値から、主被写体が適正な露出となるよう、主被写体に対応する焦点検出領域（例えば図３の焦点検出領域１１２ａ）を中心とした所定の重みづけ演算により露光量を算出する。そして、ＣＰＵ１０１は、露出制御値として、撮像レンズ１０５内の開口絞り（不図示）の制御値、フォーカルプレーンシャッタ１３３のシャッタ速度制御値、及び撮像感度（ＣＣＤ出力信号に対してＣＣＤ制御部１０７で適用するゲインの値）を設定する。

【0029】

本実施形態においては、図３に示すように、撮像範囲の中央、上下左右に１９点の焦点検出領域が配置され、その位置は、表示制御部１１１の制御に従って焦点検出領域表示部１１２が表示する。なお、例えば１９点のうち１つの焦点検出領域が選択されていれば、表示制御部１１１は焦点検出領域表示部１１２に選択されている焦点検出領域（例えば焦点検出領域１１２ａ）のみを表示させ、他の１８点の焦点検出領域は非表示とする。これにより、ユーザは選択した焦点検出領域１１２ａのみを視認する。

【0030】

なお、本実施形態のように焦点検出領域が複数ある場合には、ユーザが任意の焦点検出領域を選択する任意選択と、複数の焦点検出領域の各々で焦点状態を検出し、各焦点検出領域の焦点状態の検出結果からカメラが焦点検出領域を選択する自動選択とが可能である。

【0031】

ＣＰＵ１０１は、不揮発性メモリであるＥＥＰＲＯＭ１０１ａを有し、ＲＯＭ（リードオンリーメモリ）１０２が記憶している制御プログラムをＲＡＭ（ランダムアクセスメモリ）１０３に展開して実行し、本実施形態で説明するカメラ１００の動作を制御する。

【0032】

ＣＰＵ１０１には、データ格納部１０４、画像処理部１０８、表示制御部１１１、レリーズＳＷ１１４、電池１１６から電源を供給するためのＤＣ／ＤＣコンバータ１１７、測光センサ１３０、フォーカルプレーンシャッタ１３３が各々接続されている。

【0033】

電池１１６は２次電池あるいは１次電池である。また、ＤＣ／ＤＣコンバータ１１７は、電池１１６からの電源供給を受け、昇圧、レギュレーションを行うことにより複数の電源を作り出し、ＣＰＵ１０１を初めとする各ブロックに必要な電圧の電源を供給する。ＤＣ／ＤＣコンバータ１１７はＣＰＵ１０１からの制御信号により、各々の電圧供給の開始、停止を制御可能である。

【0034】

例えば、ＣＰＵ１０１は、画像処理部１０８から出力された撮像画像データを読み込み、ＲＡＭ１０３へ転送したり、ＲＡＭ１０３より表示制御部１１１へ表示用の画像データを転送したりする。また、ＣＰＵ１０１は画像データを例えばＪＰＥＧ形式で符号化し、画像ファイルとしてデータ格納部１０４へ記録したり、ＣＣＤ１０６、ＣＣＤ制御部１０７、画像処理部１０８、表示制御部１１１等にデータ取り込み画素数や画像処理内容等を設定したりする。ＣＰＵ１０１は、測光センサ１３０の蓄積時間やゲインの制御も行う。

【0035】

また、レリーズＳＷ１１４の操作に伴う撮像動作の指示も、ＣＰＵ１０１が行う。
レリーズＳＷ１１４は、押込量によって第一段階（半押し）と第二段階（全押し）の検知が可能である。以下、レリーズＳＷ１１４の第一段階をＳＷ１、第二段階をＳＷ２と呼ぶ。レリーズＳＷ１１４をユーザがＳＷ１まで押し込むと、ＣＰＵ１０１が撮像準備動作指示の入力と認識し、焦点検出動作と露出制御動作を開始して、撮像レンズ１０５の焦点調節と露出制御値の設定を行う。レリーズＳＷ１１４がＳＷ２まで押し込まれると、ＣＰＵ１０１は本撮像指示の入力と認識し、本撮像（記録用撮像）動作を開始する。ＣＰＵ１０１は主ミラー１２６をアップさせて撮像レンズ１０５からの光束がＣＣＤ１０６に到達するようにし、設定された露出制御値に従って撮像レンズ１０５の絞り値とフォーカルプレーンシャッタ１３３のシャッタ速度を制御し、ＣＣＤ１０６を露光する。

【0036】

ＣＣＤ１０６は撮像レンズ１０５によって結像された被写体像を光電変換し、アナログ電気信号を出力する。ＣＣＤ１０６は、ＣＰＵ１０１よりの解像度設定に従って、水平方向および垂直方向に画素数を間引いた出力が可能である。ＣＣＤ制御部１０７は、ＣＣＤ１０６に転送クロック信号やシャッタ信号を供給するためのタイミングジェネレータ、ＣＰＵ１０１よりの解像度設定に従った、画素間引き処理を行うための回路等を含んでいる。ＣＣＤ制御部１０７は、露光が終了するとＣＣＤ１０６からアナログ電気信号の読み出し、アナログ電気信号に対してノイズ除去、ゲイン処理を行う。また、ＣＣＤ制御部１０７は、アナログ電気信号を１０ビットデジタル信号（画像データ）に変換して、画像処理部１０８に出力する。

【0037】

画像処理部１０８は、ＣＣＤ制御部１０７より出力された画像データに、色補間処理、ガンマ変換、色空間（ＲＧＢ→ＹＵＶ）変換、ホワイトバランス処理、フラッシュ補正等の画像処理を行い、ＹＵＶ（４：２：２）形式の８ビット画像データを出力する。

【0038】

ＣＰＵ１０１は、この画像データをＲＡＭ１０３に転送する。ＲＡＭ１０３は、画像処理部１０８よりＣＰＵ１０１が転送してきた画像データや、データ格納部１０４から読み出されたＪＰＥＧ画像データを一時的に格納するためのテンポラリバッファとして使用される。また、ＲＡＭ１０３は、画像データの符号化および復号処理のためのワークエリアや各種プログラムのためのワークエリアなどとしても用いられる。

【0039】

ＣＰＵ１０１は、ＲＡＭ１０３に転送した画像データをＪＰＥＧ形式で符号化し、所定の情報を有するヘッダ付加した画像ファイルを生成してデータ格納部１０４に格納する。データ格納部１０４には例えば半導体メモリカードのような着脱可能な記録媒体が装着されており、画像ファイルは記録媒体に格納される。

【0040】

一方、表示制御部１１１は、ＲＡＭ１０３に転送された画像データを、表示用の解像度に変換（間引き）して、ＹＵＶ→ＲＧＢ変換して例えばカラー液晶表示装置である外部表示部１１３に出力する。

【0041】

データ格納部１０４に格納されている画像ファイルを再生する場合には、ＣＰＵ１０１が画像ファイルを復号してＲＡＭ１０３に転送した画像データに対して表示制御部１１１が同様の処理を行って外部表示部１１３に出力する。

【0042】

●（被写体追尾動作）
次に、本実施形態のカメラ１００における被写体追尾動作について説明する。カメラ１００は、自動露出制御に用いられる測光センサ１３０の出力から主被写体の領域（被写体領域）を設定し、被写体領域の移動先を探索することで、被写体追尾を行う。

【0043】

このように、測光センサ１３０の出力を用いて被写体追尾を行うため、撮像範囲全体ではなく、図３に示した測光領域１３４が被写体追尾範囲となる。なお、測光時には測光センサ１３０を横３２画素×縦２４画素の領域単位で扱ったが、被写体追尾動作時は被写体を細かく認識させるため、画素単位（横６４０×縦４８０画素）で取り扱う。つまり、測光センサ１３０を、約３０万画素の画像センサとして用いる。また、測光センサ１３０で異なる時刻に撮像された複数の画像間の相関に基づいて被写体追尾を行うため、測光センサ１３０での撮像間隔はある程度短く設定する。例えば、測光センサ１３０では、連写中、個々の記録用画像を撮像するための露出制御値の算出するタイミングの前に１フレームの画像を取得する。また、レリーズＳＷ１１４がＳＷ１まで押し込まれてから、ＳＷ２まで押し込まれるまでの間、連続的に画像フレームを取得してもよい。

【0044】

被写体追尾を行う場合、まず、ＣＰＵ１０１は、測光センサ１３０から取得した縦６４０×横４８０画素のアナログ電気信号を読み出し、Ａ／Ｄ変換、ガンマ変換、色変換等を行い、輝度信号と色信号を抽出する。そして、ＣＰＵ１０１は、測光領域１３４内の、選択された焦点検出領域１１２ａを中心とした、例えば横３０×縦３０画素の部分領域を追尾対象枠１３５として設定する。そして、ＣＰＵ１０１が、追尾対象枠１３５に対応する画素の輝度信号に基づく輝度情報及び色信号に基づく色情報を、その後撮像された画像内で被写体領域を探索するための画像パターンとして例えばＲＡＭ１０３に保存する。

【0045】

そして、ＣＰＵ１０１は、その後に測光センサ１３０で撮像された画像の中で、保存された画像パターンと輝度情報と色情報の相関値が最も高くなる部分領域（被写体領域）を探索し、探索された被写体領域の相関値と位置情報をＲＡＭ１０３に保存する。追尾対象枠１３５と探索された被写体領域の位置情報とから、主被写体を追尾することができる。また、探索された被写体領域（追尾対象枠１３５を含む）の位置情報の変化から、主被写体が動いたか否か判定可能である。

【0046】

本実施形態では、追尾対象枠１３５を、探索された部分領域で順次更新するものとする。あるいは、過去の所定期間内に測光センサ１３０で撮像した複数フレームで検出した相関値が最も高い部分領域の相関値と位置情報を例えばＲＡＭ１０３に保存しておき、追尾動作の信頼性が低くなった場合に補助情報として用いても良い。

【0047】

被写体追尾動作によって得られた主被写体の位置情報に基づいて、焦点調節を行う焦点検出領域を複数の焦点検出領域の中から自動的に選択することで、移動した後の主被写体に対して的確に焦点調節を行うことが可能となる。同様に、露出演算の重みづけにおいて重みを大きくする範囲を被写体領域に追従させ続ける事で、移動後の主被写体に対して最適な露出条件を算出することができる。

【0048】

次に、被写体追尾結果の信頼度算出について説明する。前述したように、本実施形態における被写体追尾は、追尾対象枠１３５に対応する部分領域と相関値が最も高い部分領域を被写体領域と見なして新たな追尾対象枠とする動作を繰り返すものである。このような被写体追尾動作において被写体領域として検出した部分領域の相関値と、あらかじめ定められた閾値との比較を基に、被写体追尾結果の信頼度を判定する。

【0049】

例えば輝度情報と色情報とにそれぞれ相関値の閾値を設定し、検出された被写体領域の相関値が閾値以上（信頼度高）か否かに応じて、被写体追尾結果の信頼度を決定することができる。図４に、輝度情報と色情報の相関値が閾値以上か否かの組合せと、被写体追尾結果の信頼度との関係の例を示す。すなわち、輝度情報と色情報の両方について相関値が閾値以上であれば被写体追尾結果の信頼度が「高」、いずれも閾値未満であれば信頼度「低」、一方が閾値以上であれば信頼度「中」とする。なお、図４の例では、信頼度を「高」、「中」、「低」の３段階で判定する例を示しているが、２つ以上の閾値を設けてより細かく信頼度を判定してもよい。また、信頼度「中」を、輝度情報の相関値だけが閾値以上の場合（「中１」）と、色情報の相関値だけが閾値以上の場合（「中２」）とに分けてもよい。なお、本実施形態において被写体追尾に用いる相関値の算出方法に特に制限はなく、画像間の類似度の指標として利用可能な任意の相関値を用いることができる。
後述するように、本実施形態では、被写体追尾結果の信頼度に応じて、露出制御値の演算を改めて行うかどうかの判定と、焦点検出領域の選択とを行う。

【0050】

次に、図５〜図８を参照して、被写体追尾動作と露出制御動作、焦点検出領域の選択動作についてさらに説明する。
図５（ａ）に、右端の焦点検出領域１１２ａで主被写体に撮像レンズ１０５の焦点調節動作が行われた状態を模式的に示す。また、図５（ｂ）は図５（ａ）の時の測光（かつ被写体追尾）領域１３４の輝度信号を２０×２０分割した時の輝度分布を模式的に示す図である。ＣＰＵ１０１は、図５（ｂ）の露出演算重みづけ範囲内の輝度情報から露光量を決定し、対応する露出制御値（撮像レンズ１０５の絞り値とフォーカルプレーンシャッタ１３３のシャッタ速度、撮像感度）を決定する。決定した露出制御値は、表示制御部１１１を通じてパラメータ表示部１１５に表示され、ファインダ内で視認することができる。

【0051】

さらにＣＰＵ１０１は焦点検出領域１１２ａを中心とした所定の大きさ（ここでは横３０×縦３０画素とする）の部分領域を追尾対象枠１３５として設定する（図５（ａ））。図５（ａ）の状態から、カメラ１００は移動せず、主被写体が被写界内で左に移動した場合の、焦点検出領域と追尾対象枠の変化を、図６（ａ）、図７（ａ）、図８（ａ）に示す。また、対応する輝度分布と露出演算重みづけ範囲を、図６（ｂ）、図７（ｂ）、図８（ｂ）にそれぞれ示す。

【0052】

図５（ａ）でピントを合わせた主被写体が図６（ａ）のように動くと、ＣＰＵ１０１は測光センサ１３０で得られた測光領域１３４の画像から、図５（ａ）の追尾対象枠１３５内の輝度情報と色情報と相関値が最大となる部分領域を探し出す。図６（ａ）では被写体追尾結果の信頼度が高いと判定されたものとする。この場合、被写体領域内の焦点検出領域１１２ｂが焦点調節に用いる焦点検出領域として選択され、表示される。

【0053】

また、ＣＰＵ１０１は、図６（ｂ）に示すように、露出演算重みづけ範囲も変更後の焦点検出領域に追従して移動させるとともに、検出された被写体領域を新たな追尾対象枠１３５として設定する。

【0054】

続く、図７（ａ）、図８（ａ）でも同様に被写体追尾結果の信頼度が高いと判断されたものとする。しかしながら、図７（ｂ）、図８（ｂ）のように背景の山（低輝度部）が露出演算重みづけ範囲に多く入るようになった場合、主被写体の輝度が変化していないにも関わらず、算出される被写界輝度が低下する。従来は、このような場合、露出制御値が変化し、図７（ａ）、図８（ａ）のシーンを撮像して得られる画像の明るさが、特に図５（ａ）のシーンを撮像して得られる画像の明るさよりも明るくなってしまっていた。本実施形態では、このような従来の問題を以下のようにして軽減もしくは解決する。

【0055】

●（撮像動作）
図９及び図１０に示すフローチャートを用いて、本実施形態のカメラ１００における撮像動作について説明する。なお、カメラ１００の電源がオンされ、撮像スタンバイ状態にあるものとする。また、連写モードが設定されており、レリーズＳＷ１１４がＳＷ２まで押し込まれた状態が保持されている間は連続して静止画撮像を行う。

【0056】

Ｓ２０１において、ＣＰＵ１０１は、レリーズＳＷ１１４がＳＷ１まで押し込まれる（ＳＷ１がオンする）まで待機する。ＳＷ１まで押し込まれたことが検出されると、ＣＰＵ１０１は、Ｓ２０２において焦点検出制御部１１９とレンズ駆動部１３１を用いた位相差検出方式の自動焦点検出を行い、撮像レンズ１０５を合焦位置に駆動する。

【0057】

Ｓ２０３でＣＰＵ１０１は測光センサ１３０から読み出した測光領域１３４の画像から、輝度情報と色情報を算出してＲＡＭ１０３に保存する。

【0058】

Ｓ２０４においてＣＰＵ１０１は、Ｓ２０３で保存した輝度情報を、測光領域１３４を２０×２０に分割した領域ごとに処理し、選択されている焦点検出領域１１２ａに重みづけを行う等、所定のアルゴリズムに従って被写界輝度を算出し、露光量を決定する。そして、ＣＰＵ１０１は、決定した露光量を得るための露出制御値を、例えば予め記憶されているプログラム線図に従って設定する。露出制御値は、撮像レンズ１０５の絞り値、フォーカルプレーンシャッタ１３３のシャッタ速度、撮像感度（ＣＣＤ制御部１０７におけるゲイン）である。

【0059】

Ｓ２０５でＣＰＵ１０１は、Ｓ２０３で保存した輝度情報、色情報の中から、選択されている焦点検出領域を中心とする横３０×縦３０画素分の情報を追尾対象枠１３５の輝度情報、色情報として、別途ＲＡＭ１０３に保存する。

【0060】

Ｓ２０６においてＣＰＵ１０１は、レリーズＳＷ１１４がＳＷ２まで押し込まれた（ＳＷ２がオンとなった）か否かを判定する。Ｓ２０６において、レリーズＳＷ１１４がＳＷ２まで押し込まれたと判定すると、ＣＰＵ１０１はＳ２０７において、設定した露出制御値に基づく撮像動作を実行する。Ｓ２０７を最初に実行するときは、連写の１駒目の撮像となる。

【0061】

Ｓ２０７における撮像動作においてＣＰＵ１０１は、まず不図示のモータ制御部を介してモータに通電して主ミラー１２６をアップさせ、レンズ駆動部１３１を介して撮像レンズ１０５の絞りの開口を設定値に駆動する。その後ＣＰＵ１０１は、フォーカルプレーンシャッタ１３３の先幕を開放することで被写界像によるＣＣＤ１０６の露光を開始する。所定のシャッタ秒時経過後、ＣＰＵ１０１はフォーカルプレーンシャッタ１３３の後幕を閉じ、ＣＣＤ１０６の露光を終了する。次にＣＰＵ１０１は、主ミラー１２６のダウン、シャッタチャージを行い、一連のシャッタレリーズシーケンスの動作（撮像動作）を終了する。このような動作によって、ＣＣＤ１０６の各画素には被写界像に対応した電荷が蓄積される。

【0062】

Ｓ２０７における撮像動作によってＣＣＤ１０６に蓄積された電荷は、電気信号としてＣＣＤ制御部１０７に読み出され、画像処理部１０８による処理を経て画像データに変換され、ＣＰＵ１０１によってＲＡＭ１０３に転送される。

【0063】

次にＳ２０８においてＣＰＵ１０１は、ＲＡＭ１０３に転送した、ＣＣＤ１０６で撮像した被写界像を表す画像データをＪＰＥＧ方式で符号化し、ヘッダ情報を付加して画像ファイルの形式でデータ格納部１０４に格納（記録）する。

【0064】

Ｓ２０８で画像データを記録した後、Ｓ２０９においてＣＰＵ１０１は、レリーズＳＷ１１４がＳＷ２まで押し込まれたまま保持されているか（連写が継続しているか）判定する。ＣＰＵ１０１は、レリーズＳＷ１１４がＳＷ２まで押し込まれたまま保持されていなければ処理をＳ２０１に戻し、押し込まれたまま保持されていれば処理をＳ２１１（図１０）に移行させる。

【0065】

Ｓ２１１でＣＰＵ１０１は、Ｓ２０３と同様に測光センサ１３０から読み出した測光領域１３４の画像から、輝度情報と色情報を算出してＲＡＭ１０３に保存する。Ｓ２１２でＣＰＵ１０１は、Ｓ２１１でＲＡＭ１０３に保存した最新の画像の輝度情報と色情報と、Ｓ２０５で保存した追尾対象枠内の輝度情報及び色情報とを用い、最新の画像のうち、追尾対象枠の輝度情報と色情報と相関値が最大となる部分領域を探索する。

【0066】

Ｓ２１３でＣＰＵ１０１は、探索された、相関値が最大となる部分領域（被写体領域）の相関値と位置情報をＲＡＭ１０３に保存する。また、ＣＰＵ１０１は、被写体領域について算出した輝度情報の相関値と色情報の相関値を、予め設定されているそれぞれの閾値と比較し、被写体追尾結果の信頼度を輝度情報、色情報の相関値が閾値以上か否かの組合せから被写体追尾の信頼度を判定する。ここでは、図４を参照して説明したようにして、追尾結果の信頼度を「高」、「中」、「低」の３段階で判定する。

【0067】

Ｓ２１４でＣＰＵ１０１は、判定した被写体追尾結果の信頼度が「低」でないか否か判定し、信頼度が「高」もしくは「中」の場合はＳ２１５に、「低」の場合はＳ２２３にそれぞれ処理を進める。

【0068】

まず、信頼度が「高」と「中」場合の説明を行う。Ｓ２１５においてＣＰＵ１０１は、Ｓ２１３で得られた主被写体の位置情報と前の駒の位置情報（追尾検出枠の位置情報）を比較し、主被写体に動きがあったか否かを判定する。ＣＰＵ１０１は位置情報に所定画素数以上の変化があれば主被写体に動きがあったと判定し、現在の駒で検出された被写体領域の位置に対応した焦点検出領域を選択する。なお、移動先の被写体領域に複数の焦点検出領域が含まれる場合、被写体領域を分割し、追尾検出枠の対応する領域との相関度が最も高い領域に対応する焦点検出領域を選択してもよい。あるいは、主被写体が人物の顔である場合には、公知の顔認識技術を用い、人物の目に近い焦点検出領域を選択するようにしてもよい。

【0069】

Ｓ２１５で主被写体に動きがないと判定された場合、ＣＰＵ１０１はＳ２１７において追尾結果の信頼度が「高」かどうか判定する。Ｓ２１７で信頼度が「高」である場合、主被写体に動きがなく、さらには主被写体輝度に変化がないと判定できる。そのため、ＣＰＵ１０１はこの場合、自動焦点検出及び自動露出御制をやり直す必要がないと判定する。Ｓ２２０でＣＰＵ１０１は、Ｓ２０４においてＲＡＭ１０３に保存した前の駒の露出制御値を読み出し、次の駒の撮像で用いる露出制御値に設定する。これにより、露出制御値の演算時間を省略可能となる。

【0070】

一方、Ｓ２１７において、被写体追尾動作の信頼度が「中」の場合、主被写体の輝度情報または色情報の相関値が閾値未満のため、主被写体の輝度または色が変化したことが想定される。そこで、Ｓ２１９でＣＰＵ１０１は、Ｓ２０４と同様にして露出制御値を再度演算する。

【0071】

また、Ｓ２１５において、主被写体に動きがあったと判定された場合、Ｓ２１６でＣＰＵ１０１は、第１の自動焦点検出動作を実行する。すなわち、ＣＰＵ１０１は、被写体追尾結果で得られた被写体領域に対応する焦点検出領域を選択して自動焦点検出を実行する。そして、Ｓ２２０において上述したように前の駒の露出制御値をＲＡＭ１０３から読み出し、次の駒の撮像で用いる露出制御値として設定する。

【0072】

このように、本実施形態では、被写体追尾結果の信頼度が「高」、すなわち主被写体の移動先が正しく検出されており、かつ主被写体の輝度が変化していないと考えられる場合は、前の駒の露出制御値を引き続き用い、露出制御値の演算を省略する。また、被写体追尾結果の信頼度が「中」、すなわち主被写体の輝度や色に変化があるか、検出された被写体領域の位置情報の確実性がやや劣ると考えられる場合は次の駒の撮像で用いる露出制御値を新たに演算する。

【0073】

Ｓ２１４に戻り、被写体追尾結果の信頼度が「低」と判定された場合、すなわち、被写体追尾結果を利用すべきでないと考えられる場合、Ｓ２２３でＣＰＵ１０１は、第２の自動焦点検出動作（従前のＡＩサーボＡＦ）を行う。つまり、ＣＰＵ１０１は、選択されていた焦点検出領域と他の焦点検出領域の信号から焦点調節動作を行う。さらに、Ｓ２２４においてＣＰＵ１０１は、Ｓ２０４と同様に露出制御値を演算する。

【0074】

このようにして、被写体追尾結果の信頼度に応じた焦点検出と露出制御値の設定が終了すると、Ｓ２２１でＣＰＵ１０１は、次の駒の撮像動作を実行して、処理をＳ２０８（図９）に戻す。以後、レリーズＳＷ１１４がＳＷ２まで押し込まれ続けているか、連写枚数の上限値に達するまで、前述した動作を繰り返し行う。

【0075】

以上説明したように、本実施形態によれば、被写体追尾機能を有する撮像装置における連写時に、主被写体の輝度変化がないと判定される場合には、前の駒の撮像で用いた露出制御値を次の駒の撮像で用いる。そのため、露出制御値の演算時間を効率的に省略することができる上、連写中に主被写体の背景に大きな輝度変化が生じた場合などでも、連写で得られる画像間の露出ばらつきを効果的に抑制することが可能となる。

【0076】

また、被写体追尾を測光センサで取得した画像に基づいて行うことで、記録用画像の撮像に用いる撮像素子を被写体追尾用画像の撮像に用いる必要がない。また、測光センサに用いる撮像素子は記録用画像の撮像に用いる撮像素子よりも画素数が少ないため、被写体追尾に必要な処理量も少なくてよい。

【0077】

なお、露出制御値の演算や焦点検出処理を省略できる場合には、省略に伴って節約できる時間を、連写の撮像レートの増加や、他の処理に用いるようにしてもよい。

【0078】

また、上記の実施形態では、図１０において、被写体追尾結果の信頼度が高い場合は露出制御値を前の駒から引き継ぐこととしたが、被写体追尾結果の信頼度が高い場合でも、再度露出演算を行うようにしてもよい。例えば、背景輝度が所定値（例えば３段）以上変化した場合など、背景の黒つぶれや白とびが懸念される場合には露出演算を再度行った方がよい場合も考えられる。そこで、図１１に示すように、Ｓ２１７で信頼度が高いと判定した場合にＳ２２７に進み、被写界輝度の変化が所定の閾値以上か否かを判定する。具体的には、ＣＰＵ１０１がＳ２０３で保存した輝度情報に基づく被写界輝度とＳ２１１で保存した輝度情報に基づく被写界輝度とを比較し、被写界の輝度変化が閾値以上か否かを判定する。そして、閾値以上であればＳ２１９に進み露出制御値を再度演算するようにすればよい。このようにすることで、背景の黒つぶれや白とびを優先的に防止することができる。

【0079】

また、Ｓ２０５で保存した追尾対象枠を１駒目の撮像処理後に更新するようにしてもよい。図１２は、１駒目の撮像処理前に設定した追尾対象枠と各撮影駒における被写体領域との相関値を示しており、図１２（ａ）は色情報の相関値、図１２（ｂ）は輝度情報の相関値を示している。例えば、図１２に示すように相関値が変化する連写撮影時では、２〜５駒目までのように輝度信号と色信号の相関値がともに高い、すなわち被写体追尾結果の信頼度が高い駒は１駒目と同じ露出制御値で制御される。

【0080】

続く５駒目から６駒目にかけては色情報は大きく変化していないが輝度信号が大きく変化しており、例えば主被写体が日向から日陰に入った場合などが考えられる。
そのため、６駒目以降は１駒目の撮像処理前に設定した追尾対象枠との相関値から判断すると、毎駒露出制御値を再演算することになる。そこで、５駒目から６駒目のように少なくとも色情報及び輝度情報の一方の相関値がある閾値よりも低くなった場合、そのときの被写体領域を追尾対象枠として再設定する。そうすることで、続く７駒目、８駒目は６駒目で再設定した追尾対象枠との相関値を算出することになり、相関値が高く６駒目で算出した露出制御値をそのまま引き継ぐことができる。このように、連写中に始めに追尾対象枠を設定したときと被写界の状況が変化した場合などに追尾対象枠を再設定することで、露出制御値の演算を省略できる機会を増やすことができる。

【0081】

なお、追尾対象枠の更新については、５駒目から６駒目のように相関値が低くなった時点で再設定してもよいし、相関値が低い駒が２駒続いたら再設定してもよい。また、上記の追尾対象枠を再設定する条件を、被写体追尾結果の信頼度が「中」または「低」となったことにしてもよい。

【0082】

（その他の実施形態）
また、本発明は、以下の処理を実行することによっても実現される。即ち、上述した実施形態の機能を実現するソフトウェア（プログラム）を、ネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ（またはＣＰＵやＭＰＵ等）がプログラムを読み出して実行する処理である。

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】