(58)【調査した分野】(Int.Cl.,DB名)
【発明を実施するための形態】
【0009】
−−−第1の実施の形態−−−
一実施の形態の撮像装置として、レンズ交換式のデジタルカメラを例に挙げて説明する。
図1は一実施の形態のデジタルカメラの構成を示す図である。
図1(a)に示すように、本実施の形態のデジタルカメラ201は、交換レンズ202とカメラボディ203とから構成され、交換レンズ202がマウント部204を介してカメラボディ203に装着される。カメラボディ203にはマウント部204を介して種々の撮影光学系を有する交換レンズ202が装着可能である。
【0010】
交換レンズ202は、レンズ209、ズーミング用レンズ208、フォーカシング用レンズ210、絞り211、レンズ駆動制御装置206などを備えている。レンズ駆動制御装置206は、不図示のマイクロコンピューター、メモリ、駆動制御回路などから構成される。レンズ駆動制御装置206は、フォーカシング用レンズ210の焦点調節と絞り211の開口径調節のための駆動制御や、ズーミング用レンズ208、フォーカシング用レンズ210および絞り211の状態検出などを行う。また、後述するボディ駆動制御装置214との通信によりレンズ情報の送信とカメラ情報(デフォーカス量や絞り値など)の受信を行う。絞り211は、光量およびボケ量調整のために光軸中心に開口径が可変な開口を形成する。
【0011】
カメラボディ203は、撮像素子212、ボディ駆動制御装置214、液晶表示素子駆動回路215、液晶表示素子216、接眼レンズ217、メモリカード219、操作部材220、AD変換装置221などを備えている。撮像素子212には、撮像画素が二次元状(行と列)に配置されるとともに、焦点検出位置(焦点検出エリア)に対応した部分に焦点検出画素が組み込まれている。この撮像素子212については詳細を後述する。
【0012】
ボディ駆動制御装置214は、マイクロコンピューター、メモリ、駆動制御回路などのハードウェアから構成される。ボディ駆動制御装置214は、
図1(b)に示すように、例えば、露光制御機能部2141、焦点検出機能部2142、焦点調節機能部2143、制御装置間通信機能部2144、表示制御機能部2145、記録制御機能部2146、画像信号読み出し機能部2147、撮影機能部2148、画像信号処理機能部2149、高輝度物体情報検出機能部2150、ゴースト情報推定機能部2151、および焦点検出動作決定機能部2152を含む。これらの各機能部は、上述したハードウェアによって個別に実現されても良いし、ソフトウェアによって個別に実現されても良い。
【0013】
露光制御機能部2141は、撮像素子212の露光制御を行う。画像信号読み出し機能部2147は、撮像素子212からの画素信号(画像信号)の読み出しを行う。焦点検出機能部2142は、焦点検出画素の画素信号(焦点検出信号)に基づく焦点検出演算を行う。焦点調節機能部2143は、交換レンズ202の焦点調節を繰り返し行う。画像信号処理機能部2149は、画像信号読み出し機能部2147によって読み出された画素信号に基づき、撮像画像の画像信号処理を行う。表示制御機能部2145は、液晶表示素子駆動回路215を制御して、画像信号処理機能部によって画像信号処理が行われた撮像画像を液晶表示素子216に表示させる。記録制御機能部2146は、撮像画像の画像信号をメモリカード219に記録する。撮影機能部2148は、カメラの動作制御などを行う。制御装置間通信機能部2144は、電気接点213を介してレンズ駆動制御装置206と通信を行い、レンズ情報の受信とカメラ情報の送信を行う。高輝度物体情報検出機能部2150、ゴースト情報推定機能部2151、および焦点検出動作機能部2152の各々が行う処理内容については後述する。
【0014】
液晶表示素子216は電気的なビューファインダー(EVF:Electronic View Finder)として機能する。液晶表示素子駆動回路215は撮像素子212から読み出された撮像画像データに基づき、スルー画像(撮像画像)を液晶表示素子216に表示し、撮影者は接眼レンズ217を介してスルー画像を観察することができる。メモリカード219は、撮像素子212により撮像された画像データを記憶する画像ストレージである。
【0015】
AD変換装置221は、撮像素子212からの出力される画素信号をAD変換してボディ駆動制御装置214に送る。撮像素子212がAD変換装置221を内蔵する構成であってもよい。
【0016】
交換レンズ202を通過した光束により、撮像素子212の撮像面上に被写体像が形成される。この被写体像は撮像素子212により光電変換され、撮像画素および焦点検出画素の画素信号がボディ駆動制御装置214へ送られる。
【0017】
ボディ駆動制御装置214は、撮像素子212の焦点検出画素からの画素信号(焦点検出信号)に基づいてデフォーカス量を算出し、このデフォーカス量をレンズ駆動制御装置206へ送る。また、ボディ駆動制御装置214は、撮像素子212の撮像画素の画素信号(撮像信号)を処理して画像データを生成し、メモリカード219に格納するとともに、撮像素子212から読み出されたスルー画像信号を液晶表示素子駆動回路215へ送り、スルー画像(撮像画像)を液晶表示素子216に表示させる。さらに、ボディ駆動制御装置214は、レンズ駆動制御装置206へ絞り制御情報を送って絞り211の開口制御を行う。
【0018】
レンズ駆動制御装置206は、フォーカシング状態、ズーミング状態、絞り設定状態、絞り開放F値などに応じてレンズ情報を更新する。具体的には、ズーミング用レンズ208とフォーカシング用レンズ210の位置と絞り211の絞り値とを検出し、これらのレンズ位置と絞り値とに応じてレンズ情報を演算したり、あるいは予め用意されたルックアップテーブルからレンズ位置と絞り値とに応じたレンズ情報を選択する。
【0019】
レンズ駆動制御装置206は、受信したデフォーカス量に基づいてレンズ駆動量を算出し、レンズ駆動量に応じてフォーカシング用レンズ210を合焦位置へ駆動する。また、レンズ駆動制御装置206は受信した絞り値に応じて絞り211を駆動する。
【0020】
操作部材220は後述する複数の焦点検出エリアから1つの焦点検出エリアを選択するために、ユーザーにより手動操作される部材である。ボディ駆動制御装置214は、操作部材220を介して選択された焦点検出エリアにおいて焦点検出処理を行う。
【0021】
図2は、交換レンズ202の予定結像面、すなわち撮像面に設定した撮影画面上における焦点検出位置(焦点検出エリア)を示す図であり、後述する撮像素子212上の焦点検出画素列が焦点検出の際に撮影画面上で像をサンプリングする領域(焦点検出エリア、焦点検出位置)の一例を示す。この例では、矩形の撮影画面100上の中央(光軸上)および上下左右の25箇所に焦点検出エリア1601〜1625が配置される。長方形で示す焦点検出エリアの長手方向に、焦点検出画素が直線的に配列される。撮影画面100の中央部の焦点検出エリア1613などにおいては焦点検出画素が水平方向に配列され、撮影画面100の左右端部の焦点検出エリア1601および1625などにおいては焦点検出画素が垂直方向に配列される。
【0022】
図3および
図4は撮像素子212の詳細な構成を示す正面図である。
図3は
図2において垂直方向に配置された焦点検出エリアの近傍を拡大した画素配列の詳細を示す。
図4は
図2において水平方向に配置された焦点検出エリアの近傍を拡大した画素配列の詳細を示す。撮像素子212には撮像画素310が二次元正方格子状に稠密に配列される。撮像画素310は赤画素(R)、緑画素(G)、青画素(B)からなり、ベイヤー配列の配置規則によって配置されている。
【0023】
図3においては垂直方向に輝度が変化する像の焦点検出用に撮像画素310と同一の画素サイズを有する垂直方向焦点検出用の焦点検出画素313、314が交互に、本来緑画素と青画素が連続的に配置されるべき垂直方向の直線上に連続して配列される。同じく
図4においては水平方向に輝度が変化する像の焦点検出用に撮像画素310と同一の画素サイズを有する水平方向焦点検出用の焦点検出画素315、316が交互に、本来緑画素と青画素が連続的に配置されるべき水平方向の直線上に連続して配列される。
【0024】
撮像画素310および焦点検出画素313、314、315、316の各々のマイクロレンズの形状は、元々画素サイズより大きな円形のマイクロレンズから画素サイズに対応した正方形の形状で切り出した形状をしている。
【0025】
撮像画素310は、矩形のマイクロレンズ10、遮光マスクで受光領域を正方形に制限された光電変換部11、および色フィルタ(不図示)から構成される。色フィルタは赤(R)、緑(G)、青(B)の3種類からなり、それぞれの色に対応する分光感度特性を有している。撮像素子212には、各色フィルタを備えた撮像画素310がベイヤー配列されている。
【0026】
焦点検出画素313、314、315、316には全ての色に対して焦点検出を行うために全ての可視光を透過する白色フィルタが設けられている。その白色フィルタは、緑画素、赤画素および青画素の分光感度特性を加算したような分光感度特性を有し、高い感度を示す光波長領域は緑画素、赤画素および青画素の各々において各色フィルタが高い感度を示す光波長領域を包括している。
【0027】
焦点検出画素313は、
図3に示すように矩形のマイクロレンズ10と遮光マスクで受光領域を正方形の上半分(正方形を水平線で2等分した場合の上半分)に制限された光電変換部13、および白色フィルタ(不図示)とから構成される。
【0028】
また、焦点検出画素314は、
図3に示すように矩形のマイクロレンズ10と遮光マスクで受光領域を正方形の下半分(正方形を水平線で2等分した場合の下半分)に制限された光電変換部14、および白色フィルタ(不図示)とから構成される。
【0029】
焦点検出画素313と焦点検出画素314とをマイクロレンズ10を重ね合わせて表示すると、遮光マスクで受光領域を正方形の半分に制限された光電変換部13、14が垂直方向に並んでいる。
【0030】
また、上述した正方形の半分に制限された受光領域の部分に正方形を半分にした残りの部分を加えると、撮像画素310の受光領域と同じサイズの正方形となる。
【0031】
焦点検出画素315は、
図4に示すように矩形のマイクロレンズ10と遮光マスクで受光領域を正方形の左半分(正方形を垂直線で2等分した場合の左半分)に制限された光電変換部15、および白色フィルタ(不図示)とから構成される。
【0032】
また、焦点検出画素316は、
図4に示すように矩形のマイクロレンズ10と遮光マスクで受光領域を正方形の右半分(正方形を垂直線で2等分した場合の右半分)に制限された光電変換部16、および白色フィルタ(不図示)とから構成される。
【0033】
焦点検出画素315と焦点検出画素316とをマイクロレンズ10を重ね合わせて表示すると、遮光マスクで受光領域を正方形の半分に制限された光電変換部15、16が水平方向に並んでいる。
【0034】
また、上述した正方形の半分に制限された受光領域の部分に正方形を半分にした残りの部分を加えると、撮像画素310の受光領域と同じサイズの正方形となる。
【0035】
以上のような撮像画素と焦点検出画素の構成においては、一般的な光源のもとでは、緑色の撮像画素の出力レベルと焦点検出画素の出力レベルがほぼ等しくなり、赤色の撮像画素と青色の撮像画素の出力レベルはこれよりも小さくなる。
【0036】
上述した一対の焦点検出画素313、314、315、316は、例えば特開2009−124575号公報に開示される一対の測距瞳を通過する一対の焦点検出光束を受光し、一対の焦点検出信号を出力する。一対の焦点検出画素313、314、315、316の光電変換部13、14、15、16と一対の測距瞳とはマイクロレンズ10により光学的に共役な関係となっている。
【0037】
また一対の測距瞳の位置は、一般に、複数のマイクロレンズ10が2次元状に配列されたマイクロレンズアレイから一対の測距瞳の位置する測距瞳面までの測距瞳距離が、光学系(交換レンズ202)の射出瞳距離と同一になるように設定される。複数の交換レンズが択一的に装着される場合には、複数の交換レンズの平均的な射出瞳距離に測距瞳距離を設定する。
【0038】
上述した一対の焦点検出画素313、314を交互にかつ直線状に多数配置し、各焦点検出画素の光電変換部の出力を一対の測距瞳に対応した一対の出力グループにまとめることによって、一対の測距瞳の各々を通過する一対の光束が焦点検出画素配列上(垂直方向)に形成する一対の像の強度分布に関する情報が得られる。この情報に対して像ズレ検出演算処理(相関演算処理、位相差検出処理)を施すことによって、いわゆる瞳分割型位相差検出方式で一対の像の像ズレ量が検出される。さらに、像ズレ量に一対の測距瞳の重心間隔と測距瞳距離の比例関係に応じた変換演算を行うことによって、焦点検出位置(垂直方向)における予定結像面と結像面の偏差(デフォーカス量)が算出される。
【0039】
焦点検出画素315、316が受光する焦点検出光束も焦点検出画素313、314と同様に、一対の測距瞳が設定される。一対の焦点検出画素315、316を交互にかつ直線状に多数配置し、各焦点検出画素の光電変換部の出力を一対の測距瞳に対応した一対の出力グループにまとめることによって、一対の測距瞳をそれぞれ通過する一対の光束が焦点検出画素配列上(水平方向)に形成する一対の像の強度分布に関する情報が得られる。この情報に基づき、焦点検出位置(水平方向)における予定結像面と結像面の偏差(デフォーカス量)が算出される。
【0040】
図5は、本実施の形態のデジタルカメラ201の撮像動作を示すフローチャートである。ボディ駆動制御装置214は、ステップS100でデジタルカメラ201の電源がオンされると、ステップS110以降の撮像動作を開始する。ステップS100において撮像素子は一定周期(例えば1秒間に60フレーム)で撮像と画像表示とを繰り返すライブビュー動作モードに設定される。なお後述する高輝度フラグは初期化(OFF)される。
【0041】
この動作モードにおいては、
図6に示すように露光制御が原則として周期的に切り替えられる。こうした露光制御は、露光制御機能部2141によって行われる。
図6において横軸は時間であり、1フレーム分に相当する1単位時間は1/60秒である。
図6(a)、(b)、(c)は、時間を略揃えることにより、対応付けて記載している。
図6(a)において、通常はハッチングされていないフレームとして示す通常露光制御が実行される。通常露光においては、
図6(b)、(c)に示すように、ライブビュー表示に適した露光量(表示画面の平均的な輝度が所定レベルになる露光量)で撮像素子の撮像画素および焦点検出画素の電荷蓄積時間が制御され、1/60秒ごとに撮像素子から画像信号が読み出され、EVFにより1/60秒ごとに更新表示にされる。電荷蓄積時間を制御する電子シャッタ制御の代わりに、撮像素子212のISO感度を変更することとしても良い。
【0042】
図6(a)において、ハッチングされたフレームとして示すように、周期的に、例えば4フレームに1回、後述する高輝度物体によるゴーストを検出するための高輝度用露光が行われる。高輝度用露光が行われる露光制御処理サイクルを、高輝度検出サイクルという。
図6(b)、(c)に示すように、高輝度用露光時の露光量が通常露光よりも小さくなるように、撮像素子の撮像画素および焦点検出画素の電荷蓄積時間が制御される。後述するように、
図5のステップS120における判定結果によっては高輝度用露光が行われい場合もあるため、高輝度用露光は必ずしも周期的に行われるとは限らない。
【0043】
ここで高輝度物体によるゴーストの発生について
図7を用いて説明する。
図7において、高輝度物体から出た光線120はレンズ110を通り、撮像面101上の点125に正規な像を形成する光線として到達する。また光線120はレンズ110の後面110b上の点1101で反射され、該反射光線130はさらにレンズ前面100a上の点1102にて反射される、該反射光線140はレンズ110を通り、撮像面101上の点145に有害光線として到達する。
【0044】
これによりいわゆるゴーストが発生する。明確な像を形成しないいわゆるフレアもゴーストに含まれる。上記ゴーストが発生する位置において、正規光の量に比較してゴースト量が無視出来ない量となると、表示画面中で視認できるとともに、上記ゴーストが発生する位置近傍の焦点検出エリアにおける焦点検出に悪影響を与えることになる。すなわちゴーストの原因となる有害光線は、撮影レンズの絞り開口で規制された 一対の測距瞳を通る正規な光線以外の経路で焦点検出画素に入射するため、一対の焦点検出画素の一方にのみに多く入射したり、正規な像の結像面とは光軸方向の位置が異なる面に結像する。そのためにゴースト像の近傍で焦点検出を行うと、焦点検出が不能となったり、焦点検出結果に大きな誤差が発生することになる。
【0045】
ステップS110において、今回のフレームが高輝度検出サイクルにおけるフレーム(
図6(a)の例では4フレームに1回)であるか判定する。高輝度検出サイクルであった場合はステップS120に進み、そうでない場合はステップS200以降の通常露光時の一連の動作に進む。
【0046】
ステップS120においては前回のフレームで得られた画像中に飽和領域が存在するか否かを判定する。例えばAD変換後の画素信号に対し、AD変換の最大値を示す画素信号が所定単位面積あたり所定個数以上存在する場合、飽和領域が存在すると判定する。この判定は、高輝度物体情報検出機能部2150によって行われる。ステップS120で飽和領域がない、すなわち高輝度物体がないと判定された場合はステップS130で高輝度フラグをOFFして、ステップS200以降の通常露光時の一連の動作に進む。高輝度フラグについては、後述するステップS150にて説明する。
【0047】
ステップS120で飽和領域があると判定された場合は、ステップS140で高輝度検出用の露光量で撮像素子の露光制御を行い、画像信号を読み出す。ここで高輝度検出用の露光量とは前述したように通常露光よりも露光量が小さい量であり、例えば通常露光量の1/8〜1/64である。高輝度検出用の露光量での露光制御は、露光制御機能部2141によって行われる。
【0048】
ステップS150では読み出された画像信号に基づいて画面上での輝度分布を求め、高輝度物体の像が画面上に存在するか否か判定する。例えば通常露光時の露光制御において、適正な露光量の基準として設定された輝度に対して所定輝度以上ある部分を高輝度物体像と判定する。あるいは通常露光時の画面内の輝度のヒストグラム分布のピーク位置の輝度に対して所定輝度以上ある部分を高輝度物体像と判定する。この高輝度物体の像の判定は、高輝度物体情報検出機能部2150によって行われる。
【0049】
ステップS150で高輝度物体の像がないと判定された場合は、ステップS160で高輝度フラグをOFFにして、ステップS110に戻り、次回の撮像フレームの動作を開始する。高輝度フラグは、高輝度検出サイクルでの高輝度物体像の有無についての判定結果を示すフラグである。
【0050】
ステップS150で高輝度物体像があると判定された場合は、ステップS170では、高輝度フラグをONにした後、高輝度物体像が存在すると判定された領域内において輝度分布のピークの位置を高輝度物体像の位置とするとともに、該ピーク位置の周囲において該ピーク輝度から所定輝度差以内の領域に基づき高輝度物体の大きさを決定する。この高輝度物体の大きさの決定は、高輝度物体情報検出機能部2150によって行われる。
【0051】
以上のステップS120、ステップS140、ステップS170の処理の詳細について、
図8〜10を用いて説明する。
図8は通常露光時の画面内の被写体の構図例を示しており、画面800の中央付近に位置する主要被写体の人物810、背景の山820、空830および高輝度物体の太陽840が画面800を構成する。
【0052】
図9は
図8に対応して画面800内の輝度分布を明暗で示した領域900を表しており、領域900は領域910〜940を含む。主要被写体の人物810は逆光状態になっているため、これに対応する領域910は最も暗い。高輝度物体である太陽840の周囲は広範囲にわたって飽和領域となっているため、これに対応する領域940は最も明るい。山820に対応する領域920は領域910に次いで暗く、空830に対応する領域930は領域940に次いで明るい。
【0053】
図10は高輝度物体露光で得られた画像の輝度分布であって、画面1000は、
図9の領域900に対応している。露光量が大幅に小さくなっているので、太陽840に対応する高輝度部分領域1400のみが輝度分布上で明確に認識され、太陽840以外の部分領域は太陽840に対応する高輝度部分領域1400の輝度に比較して大幅に低い背景輝度領域1500として認識される。
図10において画面1000上の高輝度部分領域1400の中心位置(または輝度のヒストグラム分布のピーク位置)を高輝度物体像の位置P0として判定する。位置P0は、画面1000の中心C0を原点として、座標(X0,Y0)で表されるものとして判定する。また高輝度物体像の位置P0(X0,Y0)を中心とした直径D0の範囲を高輝度物体像の大きさとする。直径D0は、例えば、その範囲内の平均輝度が高輝度物体像の位置P0(X0,Y0)の輝度から所定輝度を差し引いた輝度となるように定められる。
【0054】
ステップS180ではステップS170で求められた高輝度物体像(高輝度被写体)の位置、大きさ、および輝度を含む高輝度物体情報に基づいて、画面800上でゴーストの発生する位置、ゴーストの大きさ、およびゴーストの輝度などのゴースト情報を推定する。このゴースト情報の推定は、ゴースト情報推定機能部2151によって行われる。
図11〜
図13はステップS180で行われる処理の例を説明するための図である。
図11ではゴーストの発生する位置を、画面800上において高輝度物体の太陽840の像の位置P1と画面中心位置C1とを通る直線150上にあるとして推定して表示している。これは一般に光学系におけるレンズなどの光学要素の形状は光軸中心に関して回転対称形であり、このような形状のレンズ表面での反射により発生するゴーストは必ず高輝度物体像の位置と画面中心位置とを通る直線上に発生するという知見に基づいた推定である。この推定では高輝度物体像の位置情報のみに基づいてゴースト発生位置を推定することができる。
【0055】
図12はさらに高輝度物体像の大きさの情報も使用して、直線151と直線152とにより規定されるゴースト発生領域を推定して表示した画面800の一例を示した図である。直線151と直線152とにより規定されるゴースト発生領域は、直線150を中心として高輝度物体像の大きさの情報に応じた幅を有する領域として推定される。
【0056】
図13は交換レンズ202との通信で得られるレンズ情報に基づき、光線追跡計算によってゴーストの発生位置G1、G2、およびゴーストの輝度分布を推定して表示した画面800の一例を示した図である。レンズ情報は、例えば、光学系(交換レンズ202)の構成、レンズの屈折率、レンズ面の形状、レンズの焦点距離、レンズの配置、レンズに対するコートの有無およびコートの種類、レンズ各面の反射率、絞り位置、絞り開口径またはF値などを含む。ゴーストの輝度分布については、
図13においては、2つのゴーストが発生している。ゴーストの発生位置G1、G2の近傍の範囲R11、R21がそれぞれ最も輝度の高い領域として表され、範囲R11、R21の外側の範囲R12、R22はそれぞれR11、R21よりも輝度が低い領域として表されている。
【0057】
このような光線追跡計算は時間がかかるので、次のようにしてもよい。すなわち、カメラボディ203側のボディ駆動制御装置214から交換レンズ202側のレンズ駆動制御装置206に高輝度物体像の位置、大きさ、および輝度を含む高輝度物体情報を送信する。レンズ駆動制御装置206は、受信した高輝度物体情報とレンズ情報とに基づき、予め記憶しているテーブルを参照して求めたゴーストの位置、および輝度分布などを含むゴースト情報をボディ駆動制御装置214に送り返す。レンズ駆動制御装置206が予め記憶しているテーブルには、レンズ情報と高輝度物体情報とに応じてゴースト情報を経験的に、または予め実験もしくは計算により得られた結果が格納されている。
図11を用いて前述したようにゴーストが高輝度物体像の位置と画面中心位置とを通る直線上に発生するという条件を用いれば、高輝度物体像の位置情報として、2次元データによる位置情報ではなく画面中心からの距離データを使用することにより、上記テーブルのメモリ容量を大幅に削減することができる。
【0058】
ステップS180の処理を終えるとステップS110に戻り、次回の撮像フレームの動作を開始する。
【0059】
一方ステップS110にて今回の撮像フレームが高輝度検出サイクルでないと判定された場合は、ステップS200でライブビュー表示用の適正露出画像を得るための露光量で撮像素子の露光制御を行い、画像信号を読み出す。露光制御は露光制御機能部2141によって行われ、画像信号の読み出しは画像信号読み出し機能部2147によって行われる。ステップS210では得られた画像信号に基づいて液晶表示素子駆動回路215を制御し、液晶表示素子216に画像表示を行う。表示画像の生成は、画像信号処理機能部2149によって行われ、液晶表示素子駆動回路215の制御は、表示制御機能部2145によって行われる。
【0060】
ステップS220ではユーザーにより選択されている焦点検出エリアの位置を液晶表示素子216に表示した画像800に重畳して表示するように液晶表示素子駆動回路215を制御する。例えば
図14に示す液晶表示素子216の表示画面2160において、画像800に重畳して、25カ所の焦点検出エリア1601〜1625のうちの、ユーザーにより選択された1つの焦点検出エリア1621に対応する枠線を赤色表示する。こうした表示画像の生成は、画像信号処理機能部2149によって行われ、液晶表示素子駆動回路215の制御は、表示制御機能部2145によって行われる。
【0061】
ステップS230では高輝度フラグがONであるか否かを判定し、OFFの場合はステップS270に進み、ONの場合はステップS240に進む。ステップS240では、直近の高輝度検出サイクルのステップS180で得られたゴースト情報に基づき、
図14に示すように画像800および焦点検出エリア1601〜1625の表示に重畳して、太陽840の像である高輝度物体像に起因するゴーストの発生位置G1およびG2、ならびに範囲R11、R12、R21、およびR22を表示するように液晶表示素子駆動回路215を制御する。液晶表示素子駆動回路215の制御は、表示制御機能部2145によって行われる。ユーザーは、例えば焦点検出エリア1621を選択した場合、ステップS220で赤色表示された焦点検出エリア1621の一部がゴーストの範囲R21またはR22に重なっていることを視認できる。
【0062】
ステップS250ではユーザーにより選択された焦点検出エリアの位置とゴースト情報とに基づいて、該焦点検出エリアの焦点検出に対してゴーストの影響があるか否かを判定する。焦点検出に対してゴーストの影響があるか否かの判定は、焦点検出動作決定機能部2152によって行われる。例えば
図14に示すゴーストの発生位置G1およびG2の近傍の範囲R11、R12、R21、およびR22に一部が含まれる焦点検出エリア1612、1616、1617、1621のいずれかがユーザーにより選択された場合には、ゴーストの影響ありと判定して、ステップS260に進む。
【0063】
ユーザーにより選択された焦点検出エリアの一部がゴーストの範囲R11、R12、R21、およびR22に含まれるか否かは、直近の高輝度検出サイクルのステップS180で算出されたゴーストの発生位置、大きさ、および輝度を用いて、所定の判定式に基づき判定される。所定の判定式は、例えば、ゴーストの発生位置G1およびG2の各々からその選択された焦点検出エリアまでの距離、またはゴーストの発生位置G1およびG2の輝度とその焦点検出エリア近傍の輝度との輝度差に応じて予め経験的に、または実験によって定められる。
【0064】
ステップS260では、該焦点検出エリアの表示フレームをフラッシングすることにより、ユーザーに対して選択した焦点検出エリアでの焦点検出および焦点調節のためのレンズ駆動を禁止した旨を知らせ、ステップS110に戻り、次回の撮像フレームの動作を開始する。
【0065】
一方ステップS250で選択された焦点検出エリアの焦点検出に対してゴーストの影響がないと判定された場合には、ステップS270に進む。ステップS270では選択された焦点検出エリアにおける焦点検出画素のデータ(焦点検出信号)に基づき焦点検出を行い、デフォーカス量を算出する。こうした焦点検出およびデフォーカス量算出は、焦点検出機能部2142によって行われる。
【0066】
ステップS280では合焦か否かを判定し、合焦の場合にはステップS300に進み、非合焦の場合はステップS290に進む。合焦状態とは、ステップS270で算出されたデフォーカス量の絶対値が予め定められた閾値以下である状態をいう。合焦か否かの判定は、焦点検出機能部2142によって行われる。
【0067】
ステップS290ではデフォーカス量をレンズ駆動制御装置206へ送信し、交換レンズ202のフォーカシング用レンズ210を合焦位置に駆動させる。デフォーカス量の信頼性が低い場合や焦点検出不能の場合にはその旨をレンズ駆動制御装置206へ送信し、交換レンズ202のフォーカシング用レンズ210の駆動制御は更新しない。その後、ステップS110へ戻り、次回の撮像フレームの動作を開始する。レンズ駆動制御装置206へのデフォーカス量や焦点検出不能の旨の制御情報は、焦点調節機能部2142によって生成され、その制御情報の送信は、制御装置間通信機能部2144によって行われる。
【0068】
ステップS300では、撮影ONであるか否か、すなわち不図示の操作部材による撮影の指示がなされているか否かを判定し、撮影の指示がなされていない場合には、ステップS110へ戻り、次回の撮像フレームの動作を開始する。ステップS300で撮影の指示がなされていた場合には、ステップS310で撮像用の適正露光量で撮像素子212の露光制御を行い、撮像画像の画像信号を読み出す。撮影の指示がなされているか否かの判定は、撮影機能部2148によって行われる。露光制御は露光制御機能部2141によって行われ、画像信号の読み出しは画像信号読み出し機能部2147によって行われる。
【0069】
ステップS320では読み出された画像信号を撮像画像データとしてメモリカード219に記録して、ステップS110へ戻り、次回の撮像フレームの動作を開始する。撮像画像データのメモリカード219への記録は、記録制御機能部2146によって行われる。
【0070】
次に
図5のステップS270で用いられる一般的な像ズレ検出演算処理(相関演算処理)の詳細について説明する。焦点検出画素列から読み出された一対のデータ列(A1
1〜A1
M、A2
1〜A2
M:Mはデータ数)に対し、以下のような相関演算式(1)による演算を行い、相関量C(k)を演算する。
C(k)=Σ|A1
n−A2
n+k| ・・・・(1)
【0071】
式(1)において、Σ演算はnについて累積される。nのとる範囲は、像ずらし量kに応じてA1
n、A1
n+1、A2
n+k、A2
n+1+kのデータが存在する範囲に限定される。像ずらし量kは整数であり、データ列のデータ間隔を単位とした相対的シフト量である。
【0072】
式(1)の演算結果は、特開2010−128205号公報に開示されるように、一対のデータの相関が高い像ずらし量(例えばk=kj=2)において相関量C(k)が極小になる。相関量C(k)が小さいほど一対のデータの相関度は高い。
【0073】
式(2)〜(5)による3点内挿の手法を用いて連続的な相関量に対する極小値C(ks)を与える像ずらし量ksを求める。
ks=kj+D/SLOP ・・・(2)
C(ks)= C(kj)−|D| ・・・(3)
D={C(kj−1)−C(kj+1)}/2 ・・・(4)
SLOP=MAX{C(kj+1)−C(kj),C(kj−1)−C(kj)}・・(5)
【0074】
式(2)で算出された像ずらし量ksの信頼性があるかどうかは、以下のようにして判定される。特開2010−128205号公報に開示されるように、一対のデータの相関度が低い場合は、内挿された相関量の極小値C(ks)の値が大きくなる。したがって、極小値C(ks)が所定の閾値以上の場合は算出された像ずらし量の信頼性が低いと判定し、算出された像ずらし量ksをキャンセルする。
【0075】
あるいは、極小値C(ks)をデータのコントラストで規格化するために、コントラストに比例した値となる差分SLOPで極小値C(ks)を除した値が所定値以上の場合は、算出された像ずらし量の信頼性が低いと判定し、算出された像ずらし量ksをキャンセルする。
【0076】
あるいはまた、コントラストに比例した値となる差分SLOPが所定値以下の場合は、被写体が低コントラストであり、算出された像ずらし量の信頼性が低いと判定し、算出された像ずらし量ksをキャンセルする。
【0077】
特開2010−128205号公報に開示されるように、一対のデータの相関度が低く、像ずらし量kのシフト範囲k
min〜k
maxの間で相関量C(k)の落ち込みがない場合は、極小値C(ks)を求めることができず、このような場合は焦点検出不能と判定する。
【0078】
算出された像ずらし量ksの信頼性があると判定された場合は、式(6)により像ズレ量shftに換算される。式(6)において、検出ピッチPYは焦点検出画素の画素ピッチの2倍の大きさを有する。
shft=PY×ks ・・・(6)
【0079】
式(6)で算出された像ズレ量shftに所定の変換係数Kdを乗じてデフォーカス量defへ変換する。なお変換係数Kdは焦点検出画素が受光する一対の光束の開き角に対応しており、上述した測距瞳距離を一対の測距瞳の重心間隔で除算した値に相当する。
def=Kd×shft ・・・(7)
【0080】
以上のように本発明においては、高輝度物体情報を検出するとともに、該高輝度物体情報に基づきゴースト情報を推定し、該ゴースト情報に基づき焦点検出動作を制御している。したがって、ゴーストが発生した場合においても、焦点検出不能に陥ったり、焦点検出結果の誤差増大に伴って焦点調節動作が誤動作することを防止できる。
【0081】
−−−変形例−−−
(1)上述した実施の形態にて説明した
図5の動作フローチャートにおいては、ゴースト発生位置近傍に位置する焦点検出エリアでの焦点検出動作を禁止しているが、焦点検出動作を行った後に、該焦点検出結果に応じた焦点調節動作を禁止するようにしてもよい。
【0082】
(2)上述した実施の形態にて説明した
図5の動作フローチャートにおいては、ゴースト発生位置近傍に位置する焦点検出エリアでの焦点検出動作を一律に禁止している。しかし、ゴースト輝度がゴーストの周囲の輝度に比較して所定比率(例えば10%)以下の場合は、ゴーストの影響が小さいとして、焦点検出を許可するようにしてもよい。
【0083】
(3)上述した実施の形態にて説明した
図5の動作フローチャートにおいては、選択された焦点検出エリアがゴースト発生位置近傍に位置する場合には該焦点検出エリアでの焦点検出動作を禁止している。しかし、選択された焦点検出エリアの近傍のゴーストの影響のない焦点検出エリアに自動的に切替えて焦点検出動作を行うようにしてもよい。
【0084】
(4)上述した実施の形態にて説明した
図5の動作フローチャートにおいては、ゴースト発生位置近傍に位置する焦点検出エリアでの焦点検出動作を禁止しているが、上述した焦点検出処理における相関演算式を、式(1)から他の演算式に変更するようにしてもよい。
【0085】
ゴースト発生位置近傍に位置する焦点検出エリアでの焦点検出処理において、焦点検出画素が検出する一対の像は、ゴーストの影響を受けて光量バランスが崩れている可能性がある。そこで、焦点検出処理における相関演算式として、式(1)に比して光量バランスの崩れに対して像ズレ検出精度を維持できるタイプの相関演算を施すために例えば式(8)を用いる。
【0086】
すなわち焦点検出画素列から読み出された一対のデータ列(A1
1〜A1
M、A2
1〜A2
M:Mはデータ数)に対し、特開2007−333720号公報に開示された、以下に示す相関演算式(8)を用い、相関量C(k)を演算する。
C(k)=Σ|A1
n×A2
n+1+k−A2
n+k×A1
n+1| ・・・(8)
【0087】
式(8)において、Σ演算はnについて累積される。nのとる範囲は、像ずらし量kに応じてA1
n、A1
n+1、A2
n+k、A2
n+1+kのデータが存在する範囲に限定される。像ずらし量kは整数であり、データ列のデータ間隔を単位とした相対的シフト量である。
【0088】
(5)上述した実施の形態においては、露光制御は撮像素子212の電荷蓄積時間を変更することによって行ってもよいし、撮像素子212のゲインを変更したり、絞りの開口径の変更によっても露光制御を行うことが可能である。
【0089】
(6)上述した実施の形態においては、一定周期で行われる通常露光動作の数回に1回の割合で高輝度検出用の露光動作を行っている。しかし、ダイナミックレンジの大きな撮像素子212を用いる場合や高輝度物体検出に高い検出精度が要求されない場合には通常露光動作で得られた撮像画像から高輝度物体検出を行うことも可能である。
【0090】
(7)上述した実施の形態においては、焦点検出を行う焦点検出エリアはユーザーが手動で選択しているが、これに限定されるものではない。例えば画像処理により全体画像の中から特定の画像パターン(例えば人間の顔画像)を検出し、該特定の画像パターンの位置に応じて自動的に1つまたは複数の焦点検出エリアを選択するようにしてもよい。また電源ON時の最初のステップにおいて複数の焦点検出エリアにおいて同時に焦点検出を行い、得られた複数の焦点検出結果に応じて自動的に1つの焦点検出エリアを選択するようにしてもよい。例えば複数の焦点検出結果の中で最至近の結果を出した焦点検出エリアを選択することもできる。
【0091】
(8)上述した実施の形態においては、複数の焦点検出エリアの中から選択された焦点検出エリアがゴースト発生位置の近傍にあるか否かで焦点検出動作を変更しているが、本発明はこれに限定されるものではない。焦点検出エリアを1つしか備えない場合、例えば
図2において画面中央の焦点検出エリア1613のみを備える場合においても、本発明の効果を得ることができる。
【0092】
(9)
図3、
図4に示す撮像素子212の部分拡大図では、各画素に1つの光電変換部を有する一対の焦点検出画素313,314および一対の焦点検出画素315,316を備える例を示したが、1つの焦点検出画素内に一対の光電変換部を備えるようにしてもよい。
図15、
図16は
図3、4に対応した撮像素子212の部分拡大図であり、焦点検出画素311は一対の光電変換部13、14を備え、焦点検出画素312は一対の光電変換部15、16を備える。
【0093】
図15に示す焦点検出画素311は、
図3に示す焦点検出画素313と焦点検出画素314とのペアに相当した機能を果たし、
図16に示す焦点検出画素312は、
図4に示す焦点検出画素315と焦点検出画素316とのペアに相当した機能を果たす。焦点検出画素311、312は、
図15および
図16に示すようにマイクロレンズ10と一対の光電変換部13,14または一対の光電変換部15,16とから構成される。焦点検出画素311、312には白色フィルタが配置されている。その白色フィルタは、光電変換を行うフォトダイオードの分光感度特性と、赤外カットフィルタ(不図示)の分光感度特性とを総合した分光感度特性となる。すなわち、焦点検出画素311、312は、緑画素、赤画素および青画素の分光感度特性を加算したような分光感度特性を示す。高い感度を示す光波長領域は、緑画素、赤画素および青画素の各々において各色フィルタが高い感度を示す光波長領域を包括している。
【0094】
(10)上述した実施の形態における撮像素子では焦点検出画素が白色フィルタを備えた例を示したが、撮像画素と同じ色フィルタ(例えば緑フィルタ)を備えるようにした場合にも本発明を適用することができる。
【0095】
例えば
図16に示した焦点検出画素312のみを2次元に配列して撮像素子212を構成するとともに、2次元に配置された焦点検出画素312にベイヤー配列した色フィルタを備えるようにしてもよい。このような構成において、撮像時は焦点検出画素312の一対の光電変換部15、16のデータを加算することにより、撮像画素310と同等のデータを算出することが可能である。それとともに、焦点検出時は同色の焦点検出画素312同士で相関演算を行うことにより、色別の焦点検出結果を得ることが出来、輝度のみではコントラストが出ないような場合にも焦点検出が可能になる。
【0096】
(11)上述した実施の形態においては、焦点検出画素の分光感度が可視光波長領域の全体をカバーするように設定されているが、焦点検出画素の分光感度はこれに限定されることはない。例えば焦点検出画素の分光感度を緑画素の分光感度と同様な分光感度にすることもできる。
【0097】
(12)上述した実施の形態においては、ゴースト発生位置近傍に位置する焦点検出エリアでの焦点検出動作を一律禁止している。しかし、変形例(10)のように焦点検出画素の分光感度が特定の色(例えば緑)に対応している場合には、高輝度物体像の検出において高輝度物体像の色を検出し、該色に応じて焦点検出動作を制御するようにしてもよい。例えば、
図2のステップS250において肯定判定されても、高輝度物体像の色が焦点検出画素の分光感度から外れている場合には処理をステップS270へ進めて焦点検出動作を行い、外れていない場合には焦点検出動作を禁止するために処理をステップS260へ進める。
【0098】
(13)上述した実施の形態においては、
図5のステップS120における前回のフレームで得られた画像中に飽和領域が存在するか否かの判定結果によっては高輝度物体像検出やゴースト情報推定が行われない。しかし、
図5のステップS110において高輝度検出サイクルが肯定判定されたら必ず高輝度物体像検出やゴースト情報推定が行われるようにしてもよい。
【0099】
(14)上述した実施の形態においては、撮像素子としてCCDイメージセンサやCMOSイメージセンサ等を用いることもできる。
【0100】
(15)本発明は瞳分割型位相差検出用の焦点検出画素を備える撮像素子に限定されるものではなく、所謂コントラスト検出に用いられる焦点検出画素を備える撮像素子にも適用することができる。
【0101】
(16)上述した実施形態における撮像素子では撮像画素がベイヤー配列の色フィルタを備えた例を示したが、色フィルタの構成や配列はこれに限定されることはない。例えば、補色フィルタ(緑:G、イエロー:Ye、マゼンタ:Mg,シアン:Cy)の配列やベイヤー配列以外の配列にも本発明を適用することができる。また色フィルタを備えないモノクロの撮像素子にも本発明を適用することができる。
【0102】
(17)撮像装置としては、上述したような、カメラボディに交換レンズが装着される構成のデジタルカメラに限定されない。例えば、レンズ一体型のデジタルカメラあるいはビデオカメラにも本発明を適用することができる。さらには、携帯電話などに内蔵される小型カメラモジュール、監視カメラやロボット用の視覚認識装置、車載カメラなどにも適用できる。