(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2024173394
(43)【公開日】2024-12-12
(54)【発明の名称】撮像装置およびその制御方法
(51)【国際特許分類】
G02B 7/28 20210101AFI20241205BHJP
G02B 7/34 20210101ALI20241205BHJP
G03B 13/36 20210101ALI20241205BHJP
H04N 23/67 20230101ALI20241205BHJP
H04N 23/667 20230101ALI20241205BHJP
【FI】
G02B7/28 N
G02B7/34
G03B13/36
H04N23/67
H04N23/667
【審査請求】有
【請求項の数】12
【出願形態】OL
(21)【出願番号】P 2023091779
(22)【出願日】2023-06-02
(71)【出願人】
【識別番号】000001007
【氏名又は名称】キヤノン株式会社
(74)【代理人】
【識別番号】100110412
【弁理士】
【氏名又は名称】藤元 亮輔
(74)【代理人】
【識別番号】100104628
【弁理士】
【氏名又は名称】水本 敦也
(74)【代理人】
【識別番号】100121614
【弁理士】
【氏名又は名称】平山 倫也
(72)【発明者】
【氏名】菊池 宏太郎
(72)【発明者】
【氏名】福田 浩一
【テーマコード(参考)】
2H011
2H151
5C122
【Fターム(参考)】
2H011BA23
2H011BA24
2H011DA01
2H011DA02
2H151BA06
2H151CB09
2H151CB22
2H151EB03
2H151EB04
2H151EB09
2H151EB12
5C122FC07
5C122FD01
5C122FD07
5C122HA87
5C122HB01
(57)【要約】
【課題】撮像素子からの信号を用いて取得する焦点等の情報の精度の低下を抑制する。
【解決手段】撮像装置120は、光学系の互いに異なる瞳領域を通過した光束のそれぞれを光電変換する複数の画素を有し、第1の方向の画素からの信号読出しが第2の方向に順次行われる撮像素子122を有する。検出手段125,129は、複数の画素のうち少なくとも一部から読み出された信号により生成された対の検出信号の位相差を検出して焦点または距離に関する情報を取得し、第1の方向で位相差を検出する第1の検出と、第2の方向で位相差を検出する第2の検出とを行う。シャッタースピードが所定時間より長い場合は、第1および第2の検出のいずれかにより上記情報を取得する第1の処理を行い、シャッタースピードが所定時間より短い場合は、第2の検出によらず第1の検出により上記情報を取得する第2の処理を行う。所定時間をF値が大きいほど長く設定する。
【選択図】
図1
【特許請求の範囲】
【請求項1】
光学系の互いに異なる瞳領域を通過した光束のそれぞれを光電変換する複数の画素を有し、第1の方向の前記画素からの信号読出しが第2の方向に順次行われる撮像素子と、
前記複数の画素のうち少なくとも一部から読み出された信号により生成された対の検出信号の位相差を検出することで焦点または距離に関する情報を取得する検出手段とを有し、
前記検出手段は、
前記第1の方向で前記位相差を検出する第1の検出と、前記第2の方向で前記位相差を検出する第2の検出とを行うことが可能であり、
前記対の検出信号が生成される時間を含むシャッタースピードが所定時間より長い場合は、前記第1および第2の検出のいずれかにより前記情報を取得する第1の処理を行い、
前記シャッタースピードが前記所定時間より短い場合は、前記第2の検出によらず前記第1の検出により前記情報を取得する第2の処理を行い、
前記所定時間を、前記光学系のF値が大きいほど長く設定することを特徴とする撮像装置。
【請求項2】
前記撮像素子のうち前記対の検出信号を生成する検出領域において、前記第2の方向での読出し時間が前記第1の方向での読出し時間より長いことを特徴とする請求項1に記載の撮像装置。
【請求項3】
前記検出領域内の前記画素から前記第2の方向における間引き無しで前記信号を読み出す読出しモードとして、第1の読出しモードと、該第1の読出しモードよりも前記第2の方向での読出し時間が長い第2の読出しモードとの切り替えが可能であり、
前記検出手段は、前記第2の読出しモードにおける前記所定時間を、前記第1の読出しモードにおける前記所定時間より長く設定することを特徴とする請求項2に記載の撮像装置。
【請求項4】
前記検出手段は、前記情報の取得を繰り返し行う間に、前記第1の処理と前記第2の処理のうち前記取得の開始時に設定した処理を継続して行うことを特徴とする請求項1に記載の撮像装置。
【請求項5】
前記検出手段は、
前記位相差に変換係数を乗じることで前記情報を取得し、
前記所定時間を、前記変換係数が大きいほど長く設定することを特徴とする請求項1に記載の撮像装置。
【請求項6】
前記検出手段は、前記所定時間を、前記位相差の検出を行う像高が高いほど長く設定することを特徴とする請求項1に記載の撮像装置。
【請求項7】
前記検出手段は、前記所定時間を、前記撮像素子上での被写体像の移動速度が大きいほど長く設定することを特徴とする請求項1に記載の撮像装置
【請求項8】
前記検出手段は、前記所定時間を、前記光学系の焦点距離が長いほど長く設定することを特徴とする請求項1に記載の撮像装置。
【請求項9】
光学系の互いに異なる瞳領域を通過した光束のそれぞれを光電変換する複数の画素を有する撮像素子と、
前記複数の画素のうち少なくとも一部から読み出された信号により生成された対の検出信号の位相差を検出することで焦点または距離に関する情報を取得する検出手段とを有し、
前記検出手段は、
第1の方向で前記位相差を検出する第1の検出と、前記第1の方向とは異なる第2の方向で前記位相差を検出する第2の検出とを行うことが可能であり、
前記撮像素子のうち前記対の検出信号を生成する検出領域において、前記第1の方向での読出し時間が前記第2の方向での読出し時間より短い場合は、前記第1の検出により前記情報を取得し、
前記第2の方向での読出し時間が前記第1の方向での読出し時間より短い場合は、前記第2の検出により前記情報を取得することを特徴とする撮像装置。
【請求項10】
光学系の互いに異なる瞳領域を通過した光束のそれぞれを光電変換する複数の画素を有し、第1の方向の前記画素からの信号読出しが第2の方向に順次行われる撮像素子を有する撮像装置の制御方法であって、
前記複数の画素のうち少なくとも一部から読み出された信号により生成された対の検出信号の位相差を検出することで焦点または距離に関する情報を取得し、
前記第1の方向で前記位相差を検出する第1の検出と、前記第2の方向で前記位相差を検出する第2の検出とを行うことが可能であり、
前記対の検出信号が生成される時間を含むシャッタースピードが所定時間より長い場合は、前記第1および第2の検出のいずれかにより前記情報を取得する第1の処理を行い、
前記シャッタースピードが前記所定時間より短い場合は、前記第2の検出によらず前記第1の検出により前記情報を取得する第2の処理を行い、
前記所定時間を、前記光学系のF値が大きいほど長く設定することを特徴とする制御方法。
【請求項11】
光学系の互いに異なる瞳領域を通過した光束のそれぞれを光電変換する複数の画素を有する撮像素子を有する撮像装置の制御方法であって、
前記複数の画素のうち少なくとも一部から読み出された信号により生成された対の検出信号の位相差を検出することで焦点または距離に関する情報を取得し、
第1の方向で前記位相差を検出する第1の検出と、前記第1の方向とは異なる第2の方向で前記位相差を検出する第2の検出とを行うことが可能であり、
前記撮像素子のうち前記対の検出信号を生成する検出領域において、前記第1の方向での読出し時間が前記第2の方向での読出し時間より短い場合は、前記第1の検出により前記情報を取得し、
前記第2の方向での読出し時間が前記第1の方向での読出し時間より短い場合は、前記第2の検出により前記情報を取得することを特徴とする制御方法。
【請求項12】
前記撮像装置のコンピュータに、請求項10または11に記載の制御方法に従う処理を実行させることを特徴とするプログラム。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、撮像面位相差検出方式の焦点検出を行う撮像装置に関する。
【背景技術】
【0002】
撮像面位相差検出方式では、被写体を撮像するための撮像素子を瞳分割を行う焦点検出センサとして用いて位相差検出方式の焦点検出を行う。特許文献1、2には、互いに異なる第1および第2の瞳分割方向のそれぞれで焦点検出を行う撮像装置が開示されている。
【0003】
特許文献2には、焦点検出性能とライブビュー表示時間の確保のため、撮像素子からの高速読出しを行う際に連写速度が速い、F値が明るい又は被写体輝度が明るい等の条件下では第2の瞳分割方向による焦点検出信号を間引く又は生成しないことが開示されている。
【先行技術文献】
【特許文献】
【0004】
【特許文献1】特開2010―263568号公報
【特許文献2】特許第7027133号公報
【発明の概要】
【発明が解決しようとする課題】
【0005】
第2の瞳分割方向は撮像素子からの信号読出し方向に対応する第1の瞳分割方向と異なるため、位相差を検出する相関方向での読出し時間差が大きくなる。相関方向での読出し時間差が大きくなると、焦点検出信号に対して時間差による誤差が重畳するため、焦点検出精度が低下する。焦点検出精度の低下度合いが大きくなる条件としては、撮像素子上での被写体像の移動速度が速いとき、読出し速度がシャッタースピードに対して遅いとき、F値が暗いとき等が挙げられる。特許文献2の撮像装置では、相関方向の読出し時間差に起因する焦点検出精度低下を撮像条件に応じて抑制することは困難である。
【0006】
本発明は、撮像素子からの信号を用いて取得する焦点等に関する情報の精度の低下を抑制できるようにした撮像装置を提供する。
【課題を解決するための手段】
【0007】
本発明の一側面としての撮像装置は、光学系の互いに異なる瞳領域を通過した光束のそれぞれを光電変換する複数の画素を有し、第1の方向の前記画素からの信号読出しが第2の方向に順次行われる撮像素子と、複数の画素のうち少なくとも一部から読み出された信号により生成された対の検出信号の位相差を検出することで焦点または距離に関する情報を取得する検出手段とを有する。検出手段は、第1の方向で位相差を検出する第1の検出と、第2の方向で位相差を検出する第2の検出とを行うことが可能であり、対の検出信号が生成される時間を含むシャッタースピードが所定時間より長い場合は、第1および第2の検出のいずれかにより上記情報を取得する第1の処理を行い、シャッタースピードが所定時間より短い場合は、第2の検出によらず第1の検出により上記情報を取得する第2の処理を行う。この際、所定時間を、光学系のF値が大きいほど長く設定することを特徴とする。
【0008】
また本発明の他の一側面として撮像装置は、光学系の互いに異なる瞳領域を通過した光束のそれぞれを光電変換する複数の画素を有する撮像素子と、複数の画素のうち少なくとも一部から読み出された信号により生成された対の検出信号の位相差を検出することで焦点または距離に関する情報を取得する検出手段とを有する。検出手段は、第1の方向で位相差を検出する第1の検出と、第1の方向とは異なる第2の方向で位相差を検出する第2の検出とを行うことが可能である。撮像素子のうち対の検出信号を生成する検出領域において、第1の方向での読出し時間が第2の方向での読出し時間より短い場合は、第1の検出により上記情報を取得し、第2の方向での読出し時間が第1の方向での読出し時間より短い場合は、第2の検出により上記情報を取得することを特徴とする。
【0009】
また本発明の他の一側面としての制御方法は、光学系の互いに異なる瞳領域を通過した光束のそれぞれを光電変換する複数の画素を有し、第1の方向の画素からの信号読出しが第2の方向に順次行われる撮像素子を有する撮像装置に適用される。該制御方法は、複数の画素のうち少なくとも一部から読み出された信号により生成された対の検出信号の位相差を検出することで焦点または距離に関する情報を取得し、第1の方向で位相差を検出する第1の検出と、第2の方向で前記位相差を検出する第2の検出とを行うことが可能である。該制御方法は、対の検出信号が生成される時間を含むシャッタースピードが所定時間より長い場合は、第1および第2の検出のいずれかにより上記情報を取得する第1の処理を行い、シャッタースピードが所定時間より短い場合は、第2の検出によらず第1の検出により上記情報を取得する第2の処理を行う。この際、所定時間を、光学系のF値が大きいほど長く設定することを特徴とする。
【0010】
また本発明の他の一側面としての制御方法は、光学系の互いに異なる瞳領域を通過した光束のそれぞれを光電変換する複数の画素を有する撮像素子を有する撮像装置に適用される。該制御方法は、複数の画素のうち少なくとも一部から読み出された信号により生成された対の検出信号の位相差を検出することで焦点または距離に関する情報を取得し、第1の方向で位相差を検出する第1の検出と、第1の方向とは異なる第2の方向で位相差を検出する第2の検出とを行うことが可能である。該制御方法は、撮像素子のうち対の検出信号を生成する検出領域において、第1の方向での読出し時間が第2の方向での読出し時間より短い場合は、第1の検出により上記情報を取得し、第2の方向での読出し時間が第1の方向での読出し時間より短い場合は、第2の検出により上記情報を取得することを特徴とする。なお、上記各制御方法に従う処理を撮像装置のコンピュータに実行させるプログラムも、本発明の他の一側面を構成する。
【発明の効果】
【0011】
本発明によれば、撮像素子からの信号を用いて取得する焦点または距離に関する情報の精度の低下を抑制することができる。
【図面の簡単な説明】
【0012】
【
図1】実施例1である撮像システムの構成を示す図。
【
図2】実施例1における撮像素子の画素配列を示す図。
【
図6】実施例1における像ずれ量とデフォーカス量との関係を示す図。
【
図7】実施例1における焦点検出枠と焦点検出信号の相関方向と信号読出し方向との関係を示す図。
【
図8】実施例1における処理を示すフローチャート。
【
図9】実施例1におけるシャッタースピード閾値を示す図。
【
図10】実施例2における処理を示すフローチャート。
【発明を実施するための形態】
【0013】
以下、本発明の実施例について図面を参照しながら説明する。
【実施例0014】
図1は、実施例1である撮像装置(以下、カメラ本体という)120を含む撮像システム10の構成を示している。デジタルカメラとしてのカメラ本体120には、レンズユニット(交換レンズ)100が図中の点線で示されるマウントMを介して着脱可能に取り付けられる。なお、撮像装置は、撮像光学系が一体に設けられたものでもよい。また撮像装置は、デジタルカメラに限定されず、ビデオカメラ等、他の撮像装置でもよい。
【0015】
レンズユニット100は、撮像光学系を構成する第1レンズ群101、絞り102、第2レンズ群103およびフォーカスレンズ群(以下、単にフォーカスレンズという)104と、駆動/制御系とを有する。撮像光学系は、被写体からの光を取り込んで被写体像を形成する。
【0016】
第1レンズ群101は、最も物体側に配置され、光軸OAが延びる光軸方向に移動可能に保持される。絞り102は、その開口径を変化させることで光量調節を行い、静止画撮像時には露光秒時調節用シャッターとして機能する。絞り102および第2レンズ群103は、一体的に光軸方向に移動可能であり、第1レンズ群101と連動して移動することによりズーミングを行う。フォーカスレンズ104は、光軸方向に移動可能してフォーカシングを行う。後述する焦点検出結果に応じてフォーカスレンズ104の位置を制御することにより、オートフォーカス制御(AF)が行われる。
【0017】
駆動/制御系は、ズームアクチュエータ111、絞りアクチュエータ112、フォーカスアクチュエータ113、ズーム駆動回路114、絞り駆動回路115、フォーカス駆動回路116、レンズMPU117およびレンズメモリ118を有する。ズーム駆動回路114は、ズーミングにおいてズームアクチュエータ111を駆動して第1レンズ群101や第3レンズ群103を光軸方向に移動させる。絞り駆動回路115は、絞りアクチュエータ112を駆動して絞り102を動作させ、絞り動作やシャッター動作を行わせる。
【0018】
フォーカス駆動回路116は、フォーカシングにおいてフォーカスアクチュエータ113を駆動してフォーカスレンズ104を光軸方向に移動させる。フォーカス駆動回路116は、フォーカスアクチュエータ113を通じてフォーカスレンズ104の現在位置(以下、フォーカス位置という)を検出する位置検出部としての機能を有する。
【0019】
レンズMPU117は、レンズユニット100に関する演算や処理を実行するコンピュータであり、ズーム駆動回路114、絞り駆動回路115およびフォーカス駆動回路116を制御する。またレンズMPU117は、マウントMの通信端子を通じてカメラ本体120内のカメラMPU125と通信可能に接続され、コマンドやデータのやり取りを行う。例えば、レンズMPU117は、カメラMPU125からの要求に応じてレンズ情報をカメラMPU125に通知する。このレンズ情報には、フォーカス位置、撮像光学系の射出瞳の光軸方向での位置や直径、射出瞳の光束を制限するレンズ枠の光軸方向での位置や直径等の情報が含まれる。
【0020】
撮像光学系の射出瞳は、絞り102よりも像側に位置するレンズによって形成される虚像である。物体上のある一点からの光は、射出瞳を底とした円錐状の光束として後述する撮像素子122の撮像面上に結像する。すなわち、射出瞳によって撮像素子122が受光する光束が決定される。射出瞳の位置は、軸外射出光の主光線と光軸OAとの交点である。特に周辺像高において、射出瞳を通過する光束は、撮像光学系に応じた上線と下線で制限される。本実施例では、射出瞳を通過する光束の制限をレンズ枠ケラレという。通常は、レンズ枠ケラレの程度はレンズユニット(撮像光学系)ごとに異なる。
【0021】
またレンズMPU117は、カメラMPU125からの要求に応じて、ズーム駆動回路114、絞り駆動回路115およびフォーカス駆動回路116を制御する。レンズメモリ118は、AFに必要な光学情報を記憶している。カメラMPU125は、内蔵する不揮発性メモリやレンズメモリ118に記憶されているプログラムを実行することにより、レンズユニット100の動作を制御する。
【0022】
カメラ本体120は、光学ローパスフィルタ121、撮像素子122、画像処理回路124および駆動/制御系を有する。光学ローパスフィルタ121は、偽色やモアレを軽減するために設けられている。撮像素子122は、CMOSセンサおよびその周辺回路で構成され、撮像光学系により形成された被写体像(光学像)を光電変換し、撮像信号および対の焦点検出信号(2像信号)を出力する。撮像素子122には、横方向m画素、縦方向n画素(m,nは2以上の整数)の複数の撮像画素が配置されている。各撮像画素は、後述するように対の焦点検出画素を含んでおり、位相差検出方式の焦点検出が可能な瞳分割機能を有する。
【0023】
駆動/制御系は、撮像素子駆動回路123、画像処理回路124、カメラMPU125、表示器126、操作スイッチ(SW)127、メモリ128、位相差AF部129、フリッカー検出部130、AE部131およびホワイトバランス(WB)調整部132を有する。撮像素子駆動回路123は、撮像素子122における電荷蓄積と信号読出しを制御するとともに、撮像素子122から出力された撮像信号および対の焦点検出信号をA/D変換して画像処理部124カメラMPU125に出力する。画像処理回路124は、撮像素子駆動回路123からのデジタル撮像信号に対して、γ変換、色補間処理および圧縮符号化処理等の画像処理を行って画像データを生成する。
【0024】
カメラMPU(制御手段)125は、カメラ本体120に関する演算および処理を実行するコンピュータであり、撮像素子駆動回路123、画像処理回路124、表示器126、位相差AF部129、フリッカー検出部130、AE部131およびWB調整部132を制御する。またカメラMPU125は、マウントMの通信端子を通じてレンズMPU117と通信可能に接続され、レンズMPU117とコマンドやデータをやり取りする。例えば、カメラMPU125は、レンズMPU117に対して、レンズ情報や光学情報を要求したり、レンズ101、104や絞り102の駆動を要求したりする。カメラMPU125は、レンズMPU117から送信されたレンズ情報や光学情報を受信する。
【0025】
カメラMPU125には、各種プログラムを格納するROM125a、変数を記憶するRAM125bおよび各種パラメータを記憶するEEPROM125cが内蔵されている。カメラMPU125は、ROM125aに格納されたプログラムに従って後述するAF処理を含む各種処理を実行する。カメラMPU125は、撮像素子駆動回路123からの対のデジタル焦点検出信号から2像データを生成して位相差AF部129に出力する。
【0026】
表示器126は、LCD等により構成され、撮像モードに関する情報、撮像前のプレビュー画像、撮像後の確認用画像、焦点状態等を表示する。操作SW127は、電源スイッチ、レリーズ(撮像指示)スイッチ、ズームスイッチ、撮像モード選択スイッチ等を含む。メモリ128は、カメラ本体120に対して着脱可能なフラッシュメモリであり、撮像により得られる記録用画像を記録する。
【0027】
位相差AF部129は、カメラMPU125が生成した位相差像データを用いて位相差AFを行う。撮像素子122は、撮像光学系の射出瞳のうち互いに異なる対の瞳領域を通過した光束により形成される対の光学像を光電変換して対の焦点検出信号を出力する。位相差AF部129は、カメラMPU125が生成した2像データに対して相関演算を行ってそれらの位相差である像ずれ量を算出し、該像ずれ量から焦点に関する情報としてのデフォーカス量を算出(取得)する。さらに位相差AF部129は、算出したデフォーカス量に応じたフォーカスレンズ104の駆動量を算出する。
このように位相差AF部129は、焦点検出専用のAFセンサを用いずに、撮像素子122の出力を用いた撮像面位相差AFを行う。本実施例において、位相差AF部129は、取得部129aおよび算出部129bを有する。これら取得部129aおよび算出部129bを有する位相差AF部129の動作については後述する。なお、取得部129aおよび算出部129bのうち少なくとも一方をカメラMPU125に設けてもよい。カメラMPU125と位相差AF部129により検出手段が構成される。
【0028】
フリッカー検出部130は、画像処理回路124から得られるフリッカー検出用の画像データからフリッカーを検出する。カメラMPU125は、検出されたフリッカーの影響が少なくなるように露光量を調節する制御を行う。
【0029】
AE部131は、画像処理回路124から得られるAE用の画像データを用いて測光を行うことで、露光制御(AE)を行う。具体的には、AE部131は、AE用の画像データの輝度情報を取得し、この輝度情報から得られる露光量と予め設定された露光量との差から撮像条件としての絞り値、シャッタースピード(シャッター秒時)およびISO感度を演算する。そして絞り値、シャッタースピードおよびISO感度を、演算した値となるように制御することでAEを行う。
【0030】
WB調整部132は、画像処理回路124から得られるWB調整用の画像データのWBを算出し、算出したWBと予め定められた適切なWBとの差に応じてRGBの色の重みを調整することでWB調整を行う。
【0031】
さらにカメラMPU125は、画像処理回路124から得られる画像データにおける人の顔等の被写体を検出する処理を行うことができる。カメラMPU125は、検出した被写体の位置やサイズに応じて、位相差AF、AEおよびWB調整を行う像高範囲を選択することができる。
【0032】
(撮像素子122について)
図2は、本実施例における2次元CMOSセンサとしての撮像素子122の撮像面における画素配列を示している。ここでは、撮像画素の配列を4列×4行の範囲で示している。2列×2行の撮像画素を含む1つの画素群200は、左上に配置されたR(赤)の分光感度を有する画素200Rと、右上と左下に配置されたG(緑)の分光感度を有する画素200Ga、200Gbと、右下に配置されたB(青)の分光感度を有する画素200Bとを含む。各撮像画素は、第1焦点検出画素201と第2焦点検出画素202とにより構成されている。画素200R、200Ga、200Bでは第1焦点検出画素201と第2焦点検出画素202が水平方向に配置されており、画素200Gbでは第1焦点検出画素201と第2焦点検出画素202が垂直方向に配置されている。
【0033】
図3(a)は、撮像素子122の入射側(+z側)から見たときの画素200Gaを示し、
図3(a)中の画素200Gaのa-a断面を-y側から見たときの画素構造を
図3(b)に示している。画素200Gaでは、入射光を集光するためのマイクロレンズ305が入射側に形成され、x方向に2分割された光電変換部301、302が形成されている。光電変換部301、302がそれぞれ、第1焦点検出画素201と第2焦点検出画素202に対応する。
【0034】
光電変換部301、302は、p型層とn型層の間にイントリンシック層を挟んだpin構造フォトダイオードであってもよいし、イントリンシック層を省略したpn接合フォトダイオードであってもよい。マイクロレンズ305と光電変換部301、302との間には、カラーフィルター306が形成されている。焦点検出画素ごとにカラーフィルターの分光透過率を変えてもよいし、カラーフィルターを省略してもよい。
【0035】
対の瞳領域から画素200Gaに入射した2つの光束はそれぞれ、マイクロレンズ305により集光されてカラーフィルター306で分光された後、光電変換部301、302で受光される。各光電変換部では、受光量に応じて電子とホールが対で生成され、空乏層で分離された後、負電荷の電子はn型層に蓄積される。一方、ホールは不図示の定電圧源に接続されたp型層を通じて撮像素子122外へと排出される。各光電変換部のn型層に蓄積された電子は、転送ゲートを介して、静電容量部(FD)に転送されて電圧信号に変換される。
【0036】
図4は、
図3(a)、(b)に示した画素構造と瞳分割との関係を示している。
図4の下側には、
図3(a)中のa-a断面を+y側から見たときの画素構造を示し、上側には瞳距離DSの瞳面を示している。なお、
図4では、瞳面の座標軸との対応をとるために、画素構造のx軸とy軸を
図3(b)に対して反転させている。瞳面は撮像素子122の入射瞳位置に相当する。本実施例では、各画素におけるマイクロレンズ位置を撮像素子122の中心からオフセット(シュリンク)させることにより、各画素における入射瞳が互いに重なるようにして1つの撮像素子122の入射瞳を形成している。また、瞳距離DSは、瞳面と撮像面との間の距離であり、以下の説明ではセンサ瞳距離という。
【0037】
図4に示すように、第1焦点検出画素201の第1瞳領域501は、重心が-x方向に偏心した光電変換部301の受光面と、マイクロレンズによって概ね共役関係になっている。第1瞳領域501は、第1焦点検出画素201で受光可能な光束が通過する瞳領域である。第1瞳領域501は、その重心が瞳面上で+X側に偏心している。また、第2焦点検出画素202の第2瞳領域502は、重心が+x方向に偏心した光電変換部302の受光面と、マイクロレンズによって概ね共役関係になっている。第2瞳領域502は、第2焦点検出画素202で受光可能な光束が通過する瞳領域である。第2瞳領域502は、その重心が瞳面上で-X側に偏心している。瞳領域500は、光電変換部301と光電変換部302(第1焦点検出画素201と第2焦点検出画素202)を合わせた画素200G全体で受光可能な光束が通過する瞳領域である。
【0038】
図5に示すように、被写体(図中の左側の縦線)から撮像光学系に入射して第1瞳領域501と第2瞳領域502のそれぞれを通過した光束は、各撮像画素に対して互いに異なる角度で入射して光電変換部301、302で受光される。画素200R、200Ga、200Bは水平方向に瞳分割を行い、画素200Gbは垂直方向に瞳分割を行う。それぞれ第1焦点検出画素と第2焦点検出画素を有する撮像画素は、第1瞳領域501と第2瞳領域502を通過する光束を受光する。複数の撮像画素における第1焦点検出画素201および第2焦点検出画素202のそれぞれの出力信号を合成することで対の焦点検出信号が生成される。また複数の撮像画素の第1焦点検出画素201と第2焦点検出画素202の出力信号を加算することで、有効画素数N(=m×n)の解像度の撮像信号が生成される。なお、対の焦点検出信号のうち一方を撮像信号から差し引くことで、他方の焦点検出信号を生成してもよい。
【0039】
また、本実施例では、撮像素子122の全ての撮像画素のそれぞれに第1および第2焦点検出画素を設けているが、2つの撮像画素を第1および第2焦点検出画素として用いてもよいし、一部の撮像画素に第1および第2焦点検出画素を設けてもよい。
【0040】
(デフォーカス量と像ずれ量との関係について)
図6は、デフォーカス量と2像データの像ずれ量との関係を示している。800は撮像素子122の撮像面を示しており、撮像素子122の瞳面が第1瞳領域501と第2瞳領域502に2分割される。デフォーカス量dは、被写体像の結像位置から撮像面800までの距離の大きさを|d|とし、結像位置が撮像面より被写体側に位置する前ピン状態を負符号(d<0)、結像位置が撮像面800より被写体とは反対側に位置する後ピン状態を正符号(d>0)として定義される。結像位置が撮像面800上に位置する合焦状態は、d=0である。
【0041】
図6において、被写体801は合焦状態(d=0)を示しており、被写体802は前ピン状態(d<0)を示している。前ピン状態(d<0)と後ピン状態(d>0)を合わせてデフォーカス状態(|d|>0)とする。
【0042】
前ピン状態では、被写体802からの光束のうち第1瞳領域501と第2瞳領域502のそれぞれを通過した光束は、一度集光した後、光束の重心位置G1、G2を中心として幅Γ1、Γ2に広がり、撮像面800でボケた光学像を形成する。これらボケ像は、撮像面800上の各撮像画素における第1焦点検出画素201と第2焦点検出画素202により受光され、これにより対の焦点検出信号としての第1焦点検出信号と第2焦点検出信号が生成される。第1焦点検出信号と第2焦点検出信号はそれぞれ、撮像面800上の重心位置G1、G2に被写体802がボケ幅Γ1、Γ2に広がったボケ像として記録される。ボケ幅Γ1、Γ2は、デフォーカス量dの大きさ|d|の増加に概ね比例して増加する。同様に、第1焦点検出信号と第2焦点検出信号間の像ずれ量p(=光束の重心位置の差G1-G2)の大きさ|p|も、デフォーカス量dの大きさ|d|の増加に概ね比例して増加する。後ピン状態(d>0)でも、第1焦点検出信号と第2焦点検出信号間の像ずれ方向が前ピン状態とは反対となるが同様である。
【0043】
第1瞳領域501と第2瞳領域502におけるそれぞれの入射角度分布の重心差を、本実施例では基線長という。撮像面800におけるデフォーカス量dと像ずれ量pとの関係は、センサ瞳距離に対する基線長の関係と概ね相似な関係となる。デフォーカス量dの大きさの増加に伴って第1焦点検出信号と第2焦点検出信号間の像ずれ量の大きさが増加するため、位相差AF部129は、この関係性から、基線長に基づいて算出された変換係数により像ずれ量をデフォーカス量に変換する。
【0044】
以下の説明において、素200Gaのように水平方向に瞳分割する焦点検出画素からの対の焦点検出信号を用いてデフォーカス量を演算することを横目焦点検出(第1の検出)という。また、画素200bのように垂直方向に瞳分割する焦点検出画素からの対の焦点検出信号を用いてデフォーカス量を演算することを縦目焦点検出(第2の検出)という。
【0045】
(基線長と焦点検出精度の関係について)
基線長が短いほど焦点検出精度が低下する。基線長とは、撮像素子122の瞳面上で第1瞳領域501と第2瞳領域502におけるそれぞれの受光感度の入射角度分布の重心差(距離)である。撮像面位相差AFでは、算出した像ずれ量に変換係数としてのゲインを乗じることでデフォーカス量に変換する。この際、像ずれ量が小さいと大きなゲインを乗ずる必要がある。基線長と像ずれ量は概ね相似関係にあるため、基線長が短くなるほど像ずれ量が小さくなり、大きなゲインを乗ずる必要がある。 乗ずるゲインが大きいほど像ずれ量に含まれる誤差がデフォーカス量において拡大され易いため、基線長が短いほど焦点検出精度が低下することになる。
【0046】
(基線長が低下する要因)
撮像素子122が受ける光束は、撮像光学系の射出瞳で決定される。このため、射出瞳の形状で瞳面における受光感度の入射角度分布が切り取られ、入射角度分布の重心差である基線長が決まる。基線長には絞り依存性があり、絞りが小絞りであるほど射出瞳を通過する光束が絞られて基線長が小さくなる。また一般に、周辺像高における基線長は、中央像高における基線長と比較して小さい。撮像光学系の射出瞳位置と撮像素子122の瞳位置とがずれていると、像高が高くなるにつれて射出瞳によって瞳面における受光感度の入射角度分布が切り取られる位置がシフトしていき、基線長が小さくなる。また、高像高においてはレンズ枠ケラレが発生し得ることも、基線長が小さくなる要因となる。
【0047】
(相関方向での読出し時間差に起因する焦点検出精度の低下について)
本実施例では、撮像面上に焦点検出を行う領域として焦点検出枠(検出領域)を設定し、焦点検出枠内の画素からの信号から生成された対の焦点検出信号を用いて焦点検出を行う。
【0048】
図7は、焦点検出枠700と、対の焦点検出信号に対する相関演算を行う方向である相関方向と、撮像素子122からの信号読出し方向との関係を示している。本実施例では、撮像素子122の複数の画素行から、上行から下行に向う方向703に行ごとに順次信号が読み出される。このため、焦点検出枠700内での縦目焦点検出における相関方向(第2の方向)702での読出し時間が、横目焦点検出における相関方向(第1の方向)701での読出し時間より長くなる。そして焦点検出枠700内での縦目焦点検出における相関方向702では、行ごとの信号読出し時間の差が読出し時間差として蓄積されていく。この結果、横目焦点検出における相関方向(第1の方向)701での読出し時間差と比較して、相関方向702での読出し時間差が大きくなる。相関方向での読出し時間差が大きくなると、本来の対の焦点検出信号に対して読出し時間差による差異が重畳するため、正しい像ずれ量が得られず、焦点検出精度が低下する。このような焦点検出精度の低下は、特に被写体が動体である場合に顕著となり易い。
【0049】
本実施例では、消費電力と焦点検出精度のバランスに応じて、撮像素子122からの信号読出し時における水平および垂直方向での画素加算数や行間引き数等の設定を、読出しモード別に制御が可能である。例えば、高フレームレート動画の撮像時のように高速で信号読出しが必要で電力負荷が大きくなる撮像モードでは、電力負荷を低減するために、撮像素子122内において画素加算や垂直方向での行間引きを行う。一方、暗所での静止画撮像等では、S/Nを改善して焦点検出精度を向上させるために、非加算かつ行間引き無しで信号を読み出す。非加算かつ行間引き無しでの信号読出しは、加算かつ行間引きあり合に比べて高電力かつ低速での信号読出しとなる。
【0050】
縦目焦点検出において信号が行間引きされていると、相関方向において信号が欠落するため、焦点検出精度が低下する。このため、本実施例では、縦目焦点検出を、信号を行間引きせずに読み出す場合のみ行う。より詳細には、通常輝度(第1の輝度状態)における加算かつ行間引き無しの第1の読出しモードと、通常輝度より輝度が低い低輝度(第2の輝度状態)における非加算かつ行間引き無しの第2の読出しモードとを切り替えて使用する。
【0051】
相関方向での読出し時間差に起因した焦点検出精度の低下が大きくなる場合として、以下の3つが挙げられる。
【0052】
第1に、焦点検出枠内における相関方向での読出し時間差が、撮像素子122の電荷蓄積開始から焦点検出信号の生成までの時間を含むシャッタースピードに対して大きい場合である。読出し速度が遅いほど又はシャッタースピードが短秒時であるほど、焦点検出精度の低下が大きくなる。
【0053】
第2に、基線長が短い場合である。基線長が短いほど、像ずれ量をデフォーカス量に変換する変換係数が大きくなり、この結果、像ずれ量の誤差がデフォーカス量において拡大され、焦点検出精度の低下が大きくなる。基線長が短くなる場合としては、小絞りでの焦点検出を行う場合、撮像面における高像高で焦点検出を行う場合、撮影光学系の射出瞳のレンズ枠ケラレが大きい場合および撮像光学系の射出瞳距離とセンサ瞳距離とのずれが大きい場合等が挙げられる。
【0054】
第3に、撮像面上での被写体像の水平移動速度が大きい場合である。被写体像の水平移動速度が大きい場合としては、動体としての被写体の移動速度が速い場合や、超望遠での撮像時等における手振れ等のカメラ振れで被写体像と撮像面とが相対的に高速移動する場合等が挙げられる。
【0055】
(2方向での焦点検出を行う場合の課題とその解決について)
前述したように本実施例では焦点検出枠内で2方向(横目と縦目)のそれぞれで焦点検出を行うが、フォーカスレンズ104を移動させるために用いられる焦点検出結果(デフォーカス量)は1つである。2方向での焦点検出結果のうち最適な焦点検出結果を都度選択する方法もあるが、相関方向での読出し時間差に起因して焦点検出精度が低下した焦点検出結果が選択されると、高精度なAFを行うことができない。
【0056】
このため、本実施例では、2方向での焦点検出のうち相関方向での読出し時間差に起因する焦点検出精度の低下が大きい方向での焦点検出の結果を使用しないことで、AF精度の低下を抑制する。
【0057】
図8のフローチャートは、カメラMPU125がプログラムに従って実行する処理(制御方法)を示している。ここでは、撮像素子122では、前述したように上行から下行に向かって行ごとに順次信号が読み出されるものとする。このため、焦点検出枠内における縦目焦点検出での相関方向で生ずる読出し時間差は、横目焦点検出での相関方向で生ずる読出し時間差よりも大きくなり、縦目焦点検出での焦点検出精度が低下する。さらにここでは、撮像面上で移動する被写体像に対する所定周期でのAF(およびAE)の繰り返し又は連続した静止画撮像の繰り返し、すなわち連写のうちいずれかが行われるものとする。連写中には撮像ごとにAF(およびAE)が行われるものとする。以下の説明において、Sはステップを意味する。
【0058】
まずS800において、カメラMPU125し、シャッタースピード、読出しモード、F値および撮像面上での被写体像の水平移動速度(以下、水平被写体速度という)の情報を取得する。
【0059】
次にS801では、カメラMPU125は、所定時間としてのシャッタースピード閾値を設定する。シャッタースピード閾値は、縦目焦点検出における相関方向の読出し時間差に起因する焦点検出精度の低下を許容可能なシャッタースピードの最長秒時であり、読出しモードごとに設定される。具体的には、カメラMPU125は、シャッタースピード閾値を、焦点検出枠におけるシャッタースピードに対する相関方向の読出し時間差が大きいほど長秒時となるように設定する。より具体的には、加算かつ行間引き無しの第1の読出しモードと比較して、非加算かつ行間引き無しの第2の読出しモードの方が低速読出しとなる。このため、カメラMPU125は、第2の読出しモードでのシャッタースピード閾値を第1の読出しモードでのシャッタースピード閾値よりも長秒時に設定する。
【0060】
またカメラMPU125は、シャッタースピード閾値を、F値が大きいほど長秒時になるよう設定する。すなわち、シャッタースピード閾値を、焦点検出枠における像ずれ量からデフォーカス量への変換係数が大きいほど長秒時となるように設定する。
図9は、F値(Fno)が大きいほど長秒時に設定されるシャッタースピード閾値を示している。
【0061】
本実施例では、像ずれ量からデフォーカス量への変換係数の指標の1つとしてF値を取得し、該F値に応じてシャッタースピード閾値を設定している。ただし、F値だけでなく、焦点検出枠における基線長、焦点検出を行う像高または射出瞳距離とセンサ瞳距離との関係に応じてシャッタースピード閾値を設定してもよい。この場合、シャッタースピード閾値を、基線長が短いほど、像ずれ量からデフォーカス量への変換に用いる変換係数が大きいほど、焦点検出を行う像高が高いほど、射出瞳距離とセンサ瞳距離とが離れているほど、長秒時となるように設定する。また、撮像光学系(レンズユニット100)ごとに、レンズ枠ケラレに応じてシャッタースピード閾値を設定してもよい。この場合、シャッタースピード閾値を、レンズ枠ケラレが大きい撮像光学系ほど長秒時となるように設定する。
【0062】
さらにカメラMPU125は、シャッタースピード閾値を、撮像面上での水平被写体速度が大きいほど長秒時になるよう設定する。固定された撮像システム10に対して被写体が移動する場合、以下の式(1)で示すように、同じ被写体距離Lで同じ水平被写体速度Vであっても、撮像光学系の焦点距離fが長いほど撮影倍率が小さくなり、撮像面上での水平被写体速度V′が大きくなる。
【0063】
V′=V/撮影倍率=V/(L/f) (1)
また、静止した被写体に対して手振れ等のカメラ振れによって撮像面上で被写体像が水平方向に移動(つまりは像振れ)する場合は、カメラ振れ角θにおける撮像面上での像振れ量Rと焦点距離fとの関係は以下の式(2)で示すようになる。
【0064】
R=f・tan(θ) (2)
そして撮像面上での水平被写体速度R′は、角速度θ’を用いて、以下の式(3)に示すようになり、焦点距離fが長いほど大きくなる。
【0065】
R′=f/cos2(θ)・θ’ (3)
このため、撮像光学系の焦点距離に応じてシャッタースピード閾値を設定してもよい。この場合、シャッタースピード閾値を、焦点距離が長いほど長秒時となるように設定する。
【0066】
なお、シャッタースピード閾値を事前にテーブルデータとしてカメラMPU125の内部メモリ等に記憶させておき、S800で取得した情報に応じてテーブルデータから読み出して設定してもよい。
【0067】
ステップS802においてレリーズスイッチが操作されることに応じてAFまたは連写を開始したカメラMPU125は、S803に進み、シャッタースピードがS801で設定されたシャッタースピード閾値より長秒時か否かを判断する。カメラMPU125は、シャッタースピードがシャッタースピード閾値より長秒時である場合はS804の処理を行い、シャッタースピードがシャッタースピード閾値と同じかそれより短い場合はS805の処理を行う。
【0068】
S804では、カメラMPU125は、横目焦点検出による焦点検出結果(以下、横目検出結果という)および縦目焦点検出による焦点検出結果(以下、縦目検出結果という)のうちいずれか一方を選択可能とする。
図9には、シャッタースピードがシャッタースピード閾値より長秒時であって横目検出結果と縦目検出結果を選択可能な領域を横目・縦目選択領域として示している。次にカメラMPU125は、S806において、横目検出結果と縦目検出結果のうち一方を、使用する焦点検出結果として選択し、選択された焦点検出結果に応じてAFを実行する処理(第1の処理)を行う。具体的には、横目検出結果と縦目検出結果のそれぞれのばらつき度合い等から横目検出結果と縦目検出結果の信頼性を判断し、信頼性が高い方の焦点検出結果を選択する。また、被写体像のエッジ成分を検出し、エッジ方向に応じて焦点検出結果を選択してもよい。例えば、垂直エッジ成分が多い被写体像に対しては横目検出結果を選択し、水平エッジ成分が多い被写体像に対しては縦目検出結果を選択するようにしてもよい。
【0069】
一方、S805では、カメラMPU125は、横目検出結果のみを選択可能とする。
図9には、シャッタースピードがシャッタースピード閾値以下であって横目検出結果のみを選択可能(縦目検出結果を選択不可)な領域を横目選択領域として示している。次にカメラMPU125は、S807において、横目検出結果のみを使用する焦点検出結果として選択し、選択した焦点検出結果を用いてAFを実行する処理(第2の処理)を行う。これにより、縦目検出結果の精度の低下が許容できないシャッタースピードにおいては縦目検出結果が選択されることなく横目検出結果に基づくAFが行われ、この結果、AF精度の低下が抑制される。
【0070】
この後、AF中または連写中は、カメラMPU125は、それらの開始時にS804もしくはS805で設定された処理方法(横目検出結果もしくは縦目検出結果のうちいずれか一方を選択可能もしくは横目検出結果のみ選択可能)を、S808でAFまたは連写が終了するまで継続する。これにより、AF中や連写中に、被写体の明るさ変化等によって、シャッタースピードがシャッタースピード閾値に対して変化した場合でも、焦点検出結果の連続性が維持される。例えば、水平エッジ成分を多く有する被写体像に対して縦目検出結果が選択されている状態で、被写体が明るくなりシャッタースピードがシャッタースピード閾値に対して短くなり横目選択領域となった場合に、継続して縦目検出結果も選択可能とすることで、検出結果の連続性を維持する。
まずS1000において、カメラMPU125は、横目焦点検出の相関方向(第1の方向)での読出し時間と縦目焦点検出の相関方向(第2の方向)での読出し時間を取得する。この際、実際の読出し時間ではなく、どちらの読出し時間が長いか(短いか)の関係を示す情報を取得してもよい。また、上述した行ごとの順次読出しを行う読出しモードと列ごとの順次読出しを行う読出しモードのうちいずれが選択されているかを取得して、各相関方向での読出し時間の関係を取得してもよい。
次にS1001においてレリーズスイッチが操作されることに応じてAFまたは連写を開始したカメラMPU125は、S1002に進み、横目焦点検出の相関方向での読出し時間と縦目焦点検出の相関方向での読出し時間を比較する。カメラMPU125は、横目焦点検出の相関方向での読出し時間が縦目焦点検出の相関方向での読出し時間よりも短い場合はS1003に進み、使用する焦点検出結果として横目検出結果を選択する。一方、縦目焦点検出の相関方向での読出し時間が横目焦点検出の相関方向での読出し時間よりも短い場合はS1004に進み、使用する焦点検出結果として縦目検出結果を選択する。
この後、AF中または連写中は、カメラMPU125は、それらの開始時にS1003またはS1004で選択された焦点検出結果を取得する焦点検出(横目また縦目焦点検出)を、S1005でAFまたは連写が終了するまで継続する。これにより、AF中または連写中の焦点検出結果の連続性が維持される。
なお、上記各実施例では、対の検出信号の位相差から焦点に関する情報(デフォーカス量)を取得し、その情報を用いたAFを行う場合について説明したが、位相差から距離に関する情報を取得し、その情報を用いた距離マップの作成や被写体の検出その他の処理を行ってもよい。