特許 6426992 撮像装置、焦点検出方法、プログラム、及び記憶媒体

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】6426992

(24)【登録日】2018年11月2日

(45)【発行日】2018年11月21日

(54)【発明の名称】撮像装置、焦点検出方法、プログラム、及び記憶媒体

(51)【国際特許分類】

   G02B 7/34 20060101AFI20181112BHJP

   G03B 13/36 20060101ALI20181112BHJP

   H04N 5/232 20060101ALI20181112BHJP

【ＦＩ】

   G02B7/34

   G03B13/36

   H04N5/232

【請求項の数】8

【全頁数】13

(21)【出願番号】特願2014-248414(P2014-248414)

(22)【出願日】2014年12月8日

(65)【公開番号】特開2016-109938(P2016-109938A)

(43)【公開日】2016年6月20日

【審査請求日】2017年11月27日

(73)【特許権者】

【識別番号】000001007

【氏名又は名称】キヤノン株式会社

(74)【代理人】

【識別番号】100076428

【弁理士】

【氏名又は名称】大塚 康徳

(74)【代理人】

【識別番号】100112508

【弁理士】

【氏名又は名称】高柳 司郎

(74)【代理人】

【識別番号】100115071

【弁理士】

【氏名又は名称】大塚 康弘

(74)【代理人】

【識別番号】100116894

【弁理士】

【氏名又は名称】木村 秀二

(74)【代理人】

【識別番号】100130409

【弁理士】

【氏名又は名称】下山 治

(74)【代理人】

【識別番号】100134175

【弁理士】

【氏名又は名称】永川 行光

(72)【発明者】

【氏名】形川 浩靖

(72)【発明者】

【氏名】堀川 洋平

【審査官】 草野 顕子

(56)【参考文献】

【文献】 特開２０１４−１８２３６０（ＪＰ，Ａ）

【文献】 特開２０１１−１８２３３６（ＪＰ，Ａ）

(58)【調査した分野】（Int.Cl.，ＤＢ名）

Ｇ０２Ｂ ７／３４

Ｇ０３Ｂ １３／３６

Ｈ０４Ｎ ５／２３２

(57)【特許請求の範囲】

【請求項1】

複数の光電変換部に瞳分割された画素を有する撮像素子と、
前記複数の光電変換部の信号を加算した加算信号から、第１の光電変換部の第１の信号を減算して第２の光電変換部の第２の信号を得る分離手段と、
前記第１の信号と前記第２の信号の位相差に基づいて焦点検出を行う焦点検出手段と、
瞳分割の比率に応じて可変である閾値を保持する保持手段と、
瞳分割の比率に応じて前記閾値を選択的に切り替える制御手段と、を有し、
前記分離手段は、前記瞳分割の比率に応じた閾値を用いて、前記第１の信号の値が前記閾値を超えている場合に、当該第１の信号を前記閾値を超えないように制限することを特徴とする撮像装置。

【請求項2】

前記分離手段は、前記第１の信号の値が前記閾値を超えている場合に、当該第１の信号を前記閾値を超えない値に置き換えることを特徴とする請求項１に記載の撮像装置。

【請求項3】

前記閾値は、前記保持手段に保持された閾値を補間して求められることを特徴とする請求項１に記載の撮像装置。

【請求項4】

前記瞳分割された画素は、１つのマイクロレンズに対して複数の光電変換部を有し、当該マイクロレンズが二次元状に配列されていることを特徴とする請求項１ないし３のいずれか１項に記載の撮像装置。

【請求項5】

前記第１の信号と前記第２の信号の位相差から得られるデフォーカス量に基づいてピント合わせを行う焦点調節手段をさらに有することを特徴とする請求項１ないし４のいずれか１項に記載の撮像装置。

【請求項6】

複数の光電変換部に瞳分割された画素を有する撮像素子から出力される信号を用いた焦点検出方法であって、
前記複数の光電変換部の信号を加算した加算信号から、第１の光電変換部の第１の信号を減算して第２の光電変換部の第２の信号を得るステップと、
前記第１の信号と前記第２の信号の位相差から焦点検出を行うステップと、
瞳分割の比率に応じて可変である閾値を保持するステップと、
瞳分割の比率に応じて前記閾値を選択的に切り替えるステップと、を有し、
前記第２の信号を得るステップでは、前記瞳分割の比率に応じた閾値を用いて、前記第１の信号の値が前記閾値を超えている場合に、当該第１の信号を前記閾値を超えないように制限することを特徴とする方法。

【請求項7】

コンピュータを、請求項１ないし５のいずれか１項に記載された撮像装置の各手段として機能させるためのプログラム。

【請求項8】

コンピュータを、請求項１ないし５のいずれか１項に記載された撮像装置の各手段として機能させるためのプログラムを記憶したコンピュータが読み取り可能な記憶媒体。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、瞳分割画像の位相差から焦点検出を行う技術に関するものである。

【背景技術】

【0002】

従来から、１つのマイクロレンズに対して複数の光電変換部が配置された撮像素子から出力される瞳分割画像の位相差を求めて焦点検出を行う技術が知られている。

【0003】

特許文献１には、瞳分離した像により位相差を求めて焦点検出を行うと同時に同じマイクロレンズに対応した光電変換部を全て加算して１つの画素として取り扱うことで従来の撮像画素の配列と同じになるようにし、従来の信号処理技術により観賞用の画像を作成する技術が開示されている。

【0004】

特許文献２では、非飽和読み出しによって同一マイクロレンズ内の一部の光電変換部の電荷読み出しを行った後、同一マイクロレンズ内のすべての光電変換部の電荷の加算値を読み出し、各々の値の差分から他方の光電変換部の値を推定することで、撮像用画像信号の高感度特性を保ちつつも位相差像信号の取得を可能としている。

【0005】

瞳分割画像の位相差を用いた焦点検出方法において精度良く焦点検出を行うためには、像信号のレベルを高く保持することと、瞳領域を通過した像光を主光線に対して対称に分割して対となる焦点検出用の光電変換部に導く必要がある。

【0006】

ところが、交換式レンズの場合、レンズごとに撮像素子の光電変換部に投影される射出瞳位置が異なるため、瞳分割の対称性が大きく崩れてしまい、焦点検出精度が十分に得られない場合がある。このため、特許文献３では、瞳分割画像に対してレンズの種類に応じたゲインをかけることで瞳分割画像があたかも対称となるような調節を行い、焦点検出精度を向上している。

【先行技術文献】

【特許文献】

【0007】

【特許文献1】特開２００１−８３４０７号公報

【特許文献2】特許第４６９１９３０号公報

【特許文献3】特許第４９３５５４４号公報

【発明の概要】

【発明が解決しようとする課題】

【0008】

ところで、上記特許文献２では、高ＩＳＯ設定のためのゲインアップ時に飽和が発生すると著しく信号波形が崩れるという課題がある。例えば、ＩＳＯ１００に設計された撮像素子をＩＳＯ２００で使用する場合、ゲインアップにより信号振幅を２倍にする。

【0009】

瞳分割が対称な（２つの瞳分割の分割比率が１：１）場合、ＩＳＯ２００では画素に蓄積可能な電荷飽和レベルの１／２でＡＤコンバータのレンジ（ＡＤ変換レンジ）を超えて見かけ上の飽和レベルとなる。

【0010】

瞳分割された画素の全ての光電変換部の加算値としてＡＤ変換レンジの２倍まで電荷の蓄積が可能な状態では、全での光電変換部の加算値から一方の光電変換部の値を減算しても他方の値を復元することができない。極端な場合では、全ての光電変換部の電荷の加算値と一方の光電変換部の電荷の値が共に飽和レベルになると、加算値から一方の値を減算すると他方の値がゼロになるという現象が発生する。このような状態で得られた２つの瞳分割画像の位相差を求めても高精度な焦点検出を行うことができない。

【0011】

瞳分割が非対称な（２つの瞳分割の分割比率が１：１でない）場合も同様に、光電変換部の電荷の加算値と一方の光電変換部の電荷の値が共に飽和レベルになると、他方の光電変換部の電荷の値がゼロになる場合があり、正しく復元することが難しくなる。

【0012】

本発明は、上記課題に鑑みてなされ、瞳分割の対称性によらず飽和を起こした信号に対して焦点検出を行うことを可能することを目的としている。

【課題を解決するための手段】

【0013】

上記課題を解決し、目的を達成するために、本発明の撮像装置は、複数の光電変換部に瞳分割された画素を有する撮像素子と、前記複数の光電変換部の信号を加算した加算信号から、第１の光電変換部の第１の信号を減算して第２の光電変換部の第２の信号を得る分離手段と、前記第１の信号と前記第２の信号の位相差に基づいて焦点検出を行う焦点検出手段と、瞳分割の比率に応じて可変である閾値を保持する保持手段と、瞳分割の比率に応じて前記閾値を選択的に切り替える制御手段と、を有し、前記分離手段は、前記瞳分割の比率に応じた閾値を用いて、前記第１の信号の値が前記閾値を超えている場合に、当該第１の信号を前記閾値を超えないように制限する。

【発明の効果】

【0014】

本発明によれば、瞳分割の対称性によらず飽和を起こした信号に対して焦点検出を行うことが可能になる。

【図面の簡単な説明】

【0015】

【図1】本発明に係る実施形態の装置構成を示すブロック図。

【図2】瞳分割が対称な場合の画素の断面図。

【図3】瞳分割が非対称な場合の画素の断面図。

【図4】瞳分割が対称な場合と非対称な場合とが混在した画素配列を示す図。

【図5】撮像素子の受光面を示す図。

【図6】瞳分割画像の読み出し期間を示すタイミングチャート。

【図7】瞳分割が対称な場合入射光に対する像信号の出力特性を示す図。

【図8】瞳分割が非対称な場合の入射光に対する像信号の出力特性を示す図。

【図9】瞳分割が対称な場合の撮像素子から出力される信号波形を示す図。

【図10】図１の像信号分離部のブロック図。

【図11】瞳分割の比率に応じたリミット値の算出方法を例示する図。

【図12】像信号分離処理を示すフローチャート。

【発明を実施するための形態】

【0016】

以下に、本発明を実施するための形態について詳細に説明する。尚、以下に説明する実施の形態は、本発明を実現するための一例であり、本発明が適用される装置の構成や各種条件によって適宜修正又は変更されるべきものであり、本発明は以下の実施の形態に限定されるものではない。また、後述する各実施形態の一部を適宜組み合わせて構成しても良い。

【0017】

［実施形態１］本発明の画像処理装置を、静止画や動画を撮像するデジタルカメラなどの撮像装置により実現した例について説明するが、カメラ機能を搭載するスマートフォンやタブレット端末等の携帯型電子機器にも適用可能である。

【0018】

＜装置構成＞図１を参照して、本実施形態の撮像装置の構成及び機能の概略について説明する。

【0019】

図１に示す撮像装置１００において、光学系を構成するフォーカシングレンズ１０１は合焦位置を変化させて焦点調節を行う。撮像素子１０２は被写体像を電気信号に光電変換するＣＣＤやＣＭＯＳを用いたイメージセンサであり、図２及び図３で後述する画素構成を有する。像信号分離部１０４は図４で後述するように撮像素子１０２から出力される画像信号１０３をＡ像、Ｂ像、Ａ＋Ｂ像の各画像信号に分離する。信号処理部１０６は、像信号分離部１０４により分離されたＡ＋Ｂ像の画像信号１０５に対して、フィルタ処理、色変換処理、ガンマ処理を施し、画像データを生成する。また、信号処理部１０６は、必要に応じて撮像素子１０２から得られた画像信号を用いて露出（ＡＥ）やホワイトバランス（ＷＢ）等の情報を演算し、演算結果を制御部１０８に出力する。制御部１０８は、その演算結果に基づいてホワイトバランスやゲイン調整を行う。焦点検出部１０７には、像信号分離部１０４により分離されたＡ像及びＢ像が入力され、Ａ像とＢ像の位相差からデフォーカス量を算出し、制御部１０８に出力する。制御部１０８は、焦点検出部１０７から得たデフォーカス量に基づいてフォーカシングレンズ１０１を駆動しピント合わせを行う。また、制御部１０８は、ＣＰＵやメモリなどを含み、所定の制御シーケンスに従い装置全体を制御する。

【0020】

なお、図示していないが、撮像装置１００は、光学系を構成するレンズの種類を検出するレンズ種別検出部を備える。

【0021】

＜撮像素子の構成＞次に、図２ないし図５を参照して、本実施形態の撮像素子の画素構成について説明する。

【0022】

図２は瞳分割が対称な場合の画素の断面図、図３は瞳分割が非対称な場合の画素の断面図をそれぞれ示している。

【0023】

図２及び図３において、２０４、３０４はマイクロレンズ、２０３、３０３はカラーフィルタ、２０１、３０１、２０２、３０２は光電変換部、２０５、３０５は配線層である。このように１つのマイクロレンズに対して２つの光電変換部を配置することで瞳分割を行い、各光電変換部から得られる画像の位相差を用いて焦点検出を行う。本実施形態では、このように１つのマイクロレンズを共有する２つの光電変換部を画素とも呼ぶ。また、図３のように光電変換部３０１、３０２の大きさを変えているのは、射出瞳位置が異なることで瞳分割の対称性が崩れ、光量の大きさが異なることを想定したものである。上記特許文献３にも記述されている通り、一般的に光量の大きい方の光電変換部を大きくするように設計する。

【0024】

また、光電変換部２０１と２０２の値を加算（光電変換部３０１と３０２の値を加算）することで、瞳分離されていない画像が得られる。カラーフィルタ２０３、３０３は赤、緑、青の各色フィルタでありベイヤー配列となっているため、光電変換部２０１と２０２の加算画像（光電変換部３０１と３０２の加算画像）を用いてカラー画像を得ることができる。

【0025】

本実施形態では、光電変換部２０１、３０１から得られる画像をＡ像、光電変換部２０２、３０２から得られる画像をＢ像、光電変換部２０１と２０２を加算（光電変換部３０１と３０２を加算）して得られる画像をＡ＋Ｂ像と呼ぶものとする。

【0026】

本実施形態の撮像素子１０２は、Ａ像のみを非破壊で読み出す機能と光電変換部２０１と２０２の電荷（光電変換部３０１と３０２の電荷）を加算してＡ＋Ｂ像として読み出す機能を有する。

【0027】

図４は瞳分割が対称な画素と非対称な画素のパターンが混在した撮像素子の配列を示している。本実施形態では一例として、撮像素子１０２が瞳分割位置の異なる３つのパターンで構成されているものとする。４０１はマイクロレンズ、４０２は光電変換部をそれぞれ示している。パターン４０３は光電変換部を均等に分割したパターンである。パターン４０４はＡ像側の光電変換部を小さく、Ｂ像側の光電変換部を大きくしたパターンである。パターン４０５はＡ像側の光電変換部を大きく、Ｂ像側の光電変換部を小さくしたパターンである。これらのパターン４０３〜４０５はレンズの種類に応じて、例えばパターン４０３のみ、パターン４０４のみ、或いは全画素を読み出すパターンなどに切り替えることができる。

【0028】

図５は撮像素子の受光面を示している。５０１で示す幅は撮像素子全体の有効画素であり、Ａ＋Ｂ像の読み出しエリアである。５０２で示す幅はＡ像の読み出しが可能なエリアである。撮像素子１０２からの読み出し時間短縮のためにＡ像を読み出すエリアは焦点検出用のエリアだけに設計されている。

【0029】

＜撮像素子の読み出しタイミング＞次に、図６を参照して、本実施形態の撮像素子の読み出しタイミングについて説明する。

【0030】

図６において、６０５は撮像素子１０２から読み出す画像の１水平期間の読み出し信号である。６０１は読み出し信号６０５における水平ブランキング期間、６０２は読み出し信号６０５におけるＡ像の読み出し期間、６０３は読み出し信号６０５におけるＡ＋Ｂ像の読み出し期間である。

【0031】

また、６０６、６０７は図１０で後述するＡ＋Ｂ像信号１０１２、Ｂ像信号１０１０であり、６０８は図１０で後述するＡ像ラインメモリ１００３からのＡ像信号１０１１である。６０４は図１０で後述するＡ像ラインメモリ１００３からのＡ像信号の読み出し期間である。

【0032】

図示のように、Ａ像のみ、Ｂ像のみを個別に読み出すよりも短い水平期間で必要な情報を読み出すことができる。

【0033】

本実施形態では、図１０で後述する像信号分離部１０４により期間６０３で読み出されたＡ＋Ｂ像からＡ像を減算することによりＢ像を得る。

【0034】

ここで、図７の瞳分割が対称な場合の入射光に対する像信号の出力特性に関する上記特許文献２の課題について説明する。

【0035】

図７（ａ）はＩＳＯ１００の場合の特性を示している。なお、撮像素子の感度はＩＳＯ１００で設計することが多いことから、便宜上ＩＳＯ１００の例を挙げたもので、撮像素子の最低感度と同義の意味としてＩＳＯ１００を用いている。

【0036】

図７（ａ）の横軸は入射光量、縦軸は出力レベルである。Ａ像、Ｂ像共に入射光に応じて出力が増加するが、飽和レベルに達してからは入射光量を増加させても出力レベルが上昇することはない。これは、入射光量に比例して光電変換された電荷が光電変換部に蓄積できる容量を超えてしまうからである。Ａ＋Ｂ像はＡ像とＢ像の信号レベルの加算値なので、Ａ像とＢ像が共に飽和すると入射光量を増加させても出力レベルは上昇しなくなる。

【0037】

これに対して、図７（ｂ）はＩＳＯ２００の場合の特性を示している。

【0038】

撮像素子の入射光に対する像信号の出力特性を変化させることはできないため、高感度で使用する場合は、ＡＤ変換前のアナログアンプのゲインを上げることによって実現している。そのため、ＩＳＯ２００における飽和レベルはＡＤコンバータのレンジ（ＡＤ変換レンジ）によって決まることになる。したがって、信号レベルが飽和しても電荷が光電変換部に蓄積され続ける。図７（ｂ）のＡ像はＡ＋Ｂ像がＡＤ変換レンジの飽和レベルに達しても出力レベルが上昇し続け、Ａ＋Ｂ像の飽和レベルと同じ値にまで達する。

【0039】

Ｂ像もＡ像と同じ特性である。しかしながら、Ａ＋Ｂ像から減算して得られるＢ像はＡ＋Ｂ像の飽和レベルの１／２をＡ像出力が超えたあたりから減少しはじめ、Ａ像の信号レベルがＡ＋Ｂ像の信号レベルと一致するとゼロになってしまう。

【0040】

次に、図８の瞳分割が非対称な場合の入射光に対する像信号の出力特性に関する上記特許文献２、３の課題について説明する。

【0041】

図８（ａ）はＩＳＯ１００の場合の特性を示し、横軸は入射光量、縦軸は出力レベルである。Ａ像、Ｂ像共に入射光に応じて出力が増加するが、飽和レベルに達してからは入射光量を増加させても出力レベルが上昇することはない。

【0042】

Ａ＋Ｂ像はＡ像とＢ像の信号レベルの加算値なので、Ａ像とＢ像が共に飽和すると入射光量を増加させても出力レベルは上昇しなくなる。ここで、Ａ像分割画素飽和レベルとＢ像分割画素飽和レベルが異なるのは光電変換部（フォトダイオード）の受光面積を射出瞳位置に応じて変化させたためである。この場合、Ａ像の光電変換部（フォトダイオード）の方が受光面積は大きいことを示している。

【0043】

これに対して、図８（ｂ）はＩＳＯ２００の場合の特性を示している。

【0044】

図８（ｂ）のＡ像はＡ＋Ｂ像がＡＤ変換レンジの飽和レベルに達しても出力レベルが上昇しつづけ、Ａ＋Ｂ像の飽和レベルと同じ値にまで達する。

【0045】

Ｂ像もＡ像と同じ特性である。しかしながら、Ａ＋Ｂ像から減算して得られるＢ像はＡ＋Ｂ像の飽和レベルの１／２をＡ像出力が超えたあたりから減少しはじめ、Ａ像の信号レベルがＡ＋Ｂ像の信号レベルと一致するとゼロになってしまう。

【0046】

すなわち、ＩＳＯ２００では、瞳分割が対称であるか、非対称であるかに関わらず、Ａ像の信号レベルがＡ＋Ｂ像の信号レベルと一致するとＢ像の信号レベルがゼロになってしまう。また、瞳分割が非対称の場合は、射出瞳位置に応じてＡ像とＢ像の飽和レベルが変動する。

【0047】

ここで、図９を参照して、飽和レベルに達した場合のＢ像の信号波形について説明する。

【0048】

図９（ａ）の９０１はＡ＋Ｂ像の信号波形、９０２はＡ像の信号波形を示し、波形中央部分で飽和が発生している。図９（ｂ）は図７（ｂ）の特性でＢ像を算出した場合の信号波形を示し、９０２がＡ像、９０３がＢ像の各信号波形であり、Ａ像が飽和した部分でＢ像信号レベルがゼロとなっている。

【0049】

焦点検出ではＡ像とＢ像の相関演算により位相差を検出する必要があるが、飽和部分で大きく像信号が崩れてしまい、相関演算の結果が狂ってしまう。

【0050】

本発明は、このような課題を解決する手段を実現するものであり、瞳分割が対称であるか、非対称であるかに関わらず、Ａ＋Ｂ像からＢ像を減算する場合に飽和レベルに達した信号を適切に処理することができる。

【0051】

＜像信号分離部の構成＞まず、図１０を参照して、図１の像信号分離部１０４の内部構成について説明する。

【0052】

１００１は撮像素子１０２からの出力、１００３はＡ像信号を蓄積するラインメモリ、１００４は像信号分離部１０４のタイミングを制御するタイミング発生部である。タイミング発生部１００４は入力信号に対して所定のタイミングでスイッチ１００５、１００７、１００６、１００８をオン、オフ制御することでＡ＋Ｂ像とＡ像の同期を行っている。

【0053】

ここで、上述の図６を参照して、Ａ＋Ｂ像とＡ像の同期タイミングについて説明する。

【0054】

６０５は撮像素子１０２からの出力１００１を示し、ブランキング期間６０１、Ａ像の読み出し期間６０２、Ａ＋Ｂ像の読み出し期間６０３の順に信号が像信号分離部１０４に入力されてくる。Ａ像の読み出し期間６０２に入力されたＡ像信号はスイッチ１００５によりＡ像ラインメモリ１００３に入力される。そして、Ａ像ラインメモリ１００３からのＡ像の読み出し期間６０４にスイッチ１００７と１００６がオンされて、Ａ像信号１０１１と、スイッチ１００６の出力であるＡ＋Ｂ像信号とが同期される。６０８はＡ像ラインメモリ１００３から出力されるＡ像の信号波形である。

【0055】

Ａ像リミッタ１００９は、制御部１０８から入力されるリミット値１００２とスイッチ１００７の出力を比較し、リミット値１００２を超えていれば内部スイッチ１００９ａが切り替わり、Ａ像信号１０１１の出力がリミット値１００２に置き換わる。

【0056】

このようにＡ像リミッタ１００９から出力されるＡ像信号１０１１（又はリミット値１００２）をスイッチ１００６の出力であるＡ＋Ｂ像信号から減算することでＢ像信号１０１０が分離され出力される。なお、リミット値１００２は制御部１０８により適切な値が設定される。

【0057】

図１１は、制御部１０８により設定される瞳分割比率に応じたリミット値の算出方法を例示している。

【0058】

図１１（ａ）は瞳分割が対称な（２つの瞳分割の分割比率が１：１）場合のリミット値である。この場合、設定されるべきリミット値は１つで良く、ある値を持ったリミット値（リミット値Ａ）が制御部１０８から入力される。

【0059】

図１１（ｂ）はラインごとに瞳分割比率が異なる場合を示している。この場合、制御部１０８の内部で保持しているラインカウンタ値に応じてリミット値が可変とされ、リミット値Ａ、リミット値Ｂ、リミット値Ｃを選択的に切り替える。

【0060】

図１１（ｃ）は１ラインの中で画像左から徐々にＡ像の光電変換部が小さくなっていき、反対にＢ像の光電変換部が大きくなっているようなパターンの瞳分割比率の場合を示している。この場合、制御部１０８の内部で保持している水平サイズと水平カウンタ値に応じてリミット値が可変とされ、リミット値Ａ、リミット値Ｂに対して一般的な線形補間方法を用いてリミット値を算出する。

【0061】

図１１（ｄ）も図１１（ｃ）と同様のパターンの瞳分割比率の場合を示している。この場合、制御部１０８の内部で保持している水平カウント値に応じてリミット値が可変とされ、リミット値Ａ、リミット値Ｂ、・・・・、リミット値Ｚを選択的に切り替える。

【0062】

なお、リミット値Ａ、リミット値Ｂ、・・・・は不図示のＲＯＭ等のメモリに記憶しておいても良いし、ＣＰＵからのレジスタ制御によって設定しても良い。また、図１１（ａ）〜（ｄ）で述べた瞳分割比率のパターンは一例であり、これに限定されず、種々の瞳分割比率のパターンでも同様にリミット値を算出する。

【0063】

また、本実施形態では、Ａ像信号の値がリミット値を超えている場合には、Ａ像信号をリミット値に置換しているが、リミット値を超えないような任意の値を求め、置換するようにしても良い。

【0064】

このように、Ａ像リミッタ１００９により、ＩＳＯ２００などのゲインアップ時においても図７（ａ）や図８（ａ）に示した特性が得られる。

【0065】

なお、図９（ｃ）はＡ像リミッタ１００９により、Ａ像信号がリミット値を超えないように制限した場合のＡ像の信号波形９０２とＢ像の信号波形９０３を示している。図示のようにＡ像とＢ像の一致度が高くなるため、相関演算の結果が良好になり焦点検出精度が向上する。

【0066】

なお、図１の焦点検出部１０７ではＡ像とＢ像の相関演算から位相差を求め、デフォーカス量を算出するが既知の処理であるため、詳細な説明は省略する。

【0067】

［実施形態２］次に、図１２を参照して、実施形態２について説明する。

【0068】

実施形態１ではＡ像リミッタ１００９及び像信号分離部１０４をハードウェア回路で構成していたが、実施形態２では制御部１０８により実行されるソフトウェアプログラムによりＡ像リミッタ１００９及び像信号分離部１０４の機能を実現している。

【0069】

図１２は、制御部１０８により実行されるソフトウェアプログラムにより、Ａ像信号とＡ＋Ｂ像信号を用いてＡ像信号のリミット値への置換処理とＢ像分離処理を示している。なお、図示の処理は、制御部１０８がメモリに格納された制御プログラムを実行することにより実現される。

【0070】

ステップＳ１２０１では、制御部１０８は、撮像素子１０２から入力されるＡ像信号、Ａ＋Ｂ像信号、および焦点検出部１０７に出力するＢ像信号を格納するメモリエリアの番地（入出力ポインタ）を初期化する。

【0071】

ステップＳ１２０２では、制御部１０８は、Ａ像の画素値を読み込む。

【0072】

ステップＳ１２０３では、制御部１０８は、所定の閾値としてのリミット値の設定を行う。

【0073】

ステップＳ１２０４では、制御部１０８は、Ａ像の画素値とリミット値の比較を行い、Ａ像の画素値がリミット値を超えている場合はステップＳ１２０５に進み、そうでない場合はステップＳ１２０６に進む。

【0074】

ステップＳ１２０５では、制御部１０８は、リミット値を超えているＡ像の画素値をリミット値に置き換える。

【0075】

ステップＳ１２０６では、制御部１０８は、Ａ＋Ｂ像の画素値を読み込む。

【0076】

ステップＳ１２０７では、制御部１０８は、Ａ＋Ｂ像の画素値からＡ像の画素値を減算してＢ像の画素値を作成し、Ｂ像のメモリエリアに書き込む。

【0077】

ステップＳ１２０８では、制御部１０８はＡ像の全画素値についてステップＳ１２０２以降の処理を実行したか判定し、実行していない場合はステップＳ１２０９に進み、メモリエリアの入出力ポインタを進め、ステップＳ１２０２に戻る。

【0078】

ステップＳ１２０２からＳ１２０７の処理をＡ像の全画素値について実行し終えると、本処理を終了する。

【0079】

なお、上述した各実施形態においては、２つの光電変換部が１つのマイクロレンズを共有している例を挙げたが、３つ以上に瞳分割された光電変換部であっても同様の効果が得られる。また、上記実施形態では、撮像素子の画素をＲＧＢのベイヤー配列としたが、補色フィルタを用いた配列においても同様の効果がある。

【0080】

以上のように、本実施形態によれば、瞳分割の対称性によらず飽和を起こした信号に対して焦点検出を行うことが可能になる。詳しくは、１つのマイクロレンズに対して複数の光電変換部を有する画素が二次元状に配列されている撮像素子において、全ての光電変換部の加算信号から一方の光電変換部の像信号を減算して他方の光電変換部の像信号を得る際に、各光電変換部の像信号の一致度が高くなるため、焦点検出における相関演算の結果が良好になり焦点検出精度が向上する。

【0081】

［その他の実施形態］
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。

【符号の説明】

【0082】

１０２…撮像素子、１０４…像信号分離部、１０７…焦点検出部、１０８…制御部、１００９…Ａ像リミッタ

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】