特許 7474129 撮像素子、撮像装置、及び焦点検出方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2024-04-16

(45)【発行日】2024-04-24

(54)【発明の名称】撮像素子、撮像装置、及び焦点検出方法

(51)【国際特許分類】

   H04N 25/704 20230101AFI20240417BHJP

   H04N 25/70 20230101ALI20240417BHJP

   H04N 25/17 20230101ALI20240417BHJP

   H01L 27/146 20060101ALI20240417BHJP

   G02B 7/34 20210101ALI20240417BHJP

   G03B 13/36 20210101ALI20240417BHJP

   G03B 11/00 20210101ALI20240417BHJP

【ＦＩ】

H04N25/704

H04N25/70

H04N25/17

H01L27/146 A

G02B7/34

G03B13/36

G03B11/00

【請求項の数】 16

(21)【出願番号】P 2020107231

(22)【出願日】2020-06-22

(65)【公開番号】P2022002383

(43)【公開日】2022-01-06

【審査請求日】2023-06-21

(73)【特許権者】

【識別番号】000001007

【氏名又は名称】キヤノン株式会社

(74)【代理人】

【識別番号】110003281

【氏名又は名称】弁理士法人大塚国際特許事務所

(72)【発明者】

【氏名】齋藤 槙子

(72)【発明者】

【氏名】竹田 伸弘

【審査官】鈴木 明

(56)【参考文献】

【文献】特開２０１４－０７５３９３（ＪＰ，Ａ）

【文献】国際公開第２０１６／１４７８３７（ＷＯ，Ａ１）

【文献】国際公開第２０１３／１４７１９８（ＷＯ，Ａ１）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｈ０４Ｎ ２５／００－２５／７９

Ｈ０１Ｌ ２７／１４６

Ｇ０２Ｂ ７／３４

Ｇ０３Ｂ １３／３６

Ｇ０３Ｂ １１／００

(57)【特許請求の範囲】

【請求項1】

複数のマイクロレンズと、
前記複数のマイクロレンズそれぞれに対して、
光の入射面から第１の深さに構成された複数の第１の感度領域と、
前記第１の深さよりも深い第２の深さに構成された複数の第２の感度領域と、
前記複数の第１の感度領域と、前記複数の第２の感度領域とを、互いに異なる組み合わせで電気的に接続する複数の接続部と、
を有する画素部を備えたことを特徴とする撮像素子。

【請求項2】

前記画素部は、前記複数の接続部により接続される、前記複数の第１の感度領域と前記複数の第２の感度領域との組み合わせにより分割される瞳領域の分割方向が互いに直交する第１の構成と第２の構成とを含むことを特徴とする請求項１に記載の撮像素子。

【請求項3】

前記画素部は、前記複数の接続部により接続される、前記複数の第１の感度領域と前記複数の第２の感度領域との組み合わせにより分割される瞳領域の分割方向が、前記第１および第２の構成と異なると共に、互いに直交する、第３の構成と第４の構成とを更に含むとを特徴とする請求項２に記載の撮像素子。

【請求項4】

前記第１および第２の構成は、第１の色のカラーフィルタによりに覆われ、前記第３および第４の構成は、前記第１の色と異なる色のカラーフィルタにより覆われていることを特徴とする請求項３に記載の撮像素子。

【請求項5】

前記第３および第４の構成は、第２の色または第３の色のいずれかの色のカラーフィルタにより覆われていることを特徴とする請求項４に記載の撮像素子。

【請求項6】

前記第１から第４の構成を、カラーフィルタがベイヤー配列となるように配置したことを特徴とする請求項５に記載の撮像素子。

【請求項7】

前記画素部は、前記複数の接続部により接続される、前記複数の第１の感度領域と前記複数の第２の感度領域との組み合わせが前記第１の構成と同じであって、カラーフィルタに覆われていない第５の構成と、前記複数の接続部により接続される、前記複数の第１の感度領域と前記複数の第２の感度領域との組み合わせが前記第２の構成と同じであって、カラーフィルタに覆われていない第６の構成と、を更に含むことを特徴とする請求項６に記載の撮像素子。

【請求項8】

請求項１乃至７のいずれか１項に記載の撮像素子と、
前記画素部から出力された信号から、瞳領域が分割された瞳分割信号を取得し、該瞳分割信号に基づいて、前記画素部に含まれる各構成ごとに、位相差方式の焦点検出を行う焦点検出手段と
を有することを特徴とする撮像装置。

【請求項9】

請求項６に記載の撮像素子と、
前記画素部から出力された信号から、瞳領域が分割された瞳分割信号を取得し、該瞳分割信号に基づいて、位相差方式の焦点検出を行う焦点検出手段と、を有し、
前記焦点検出手段は、前記第１から第４の構成から得られた前記瞳分割信号に基づいて、瞳分割された輝度信号を生成し、該輝度信号に基づいて、位相差方式の焦点検出を行うことを特徴とする撮像装置。

【請求項10】

前記焦点検出手段は、
前記第１の構成または前記第２の構成から得られた前記瞳分割信号に第１の係数をかけ、前記第３および第４の構成から得られた前記瞳分割信号のうち、前記第２の色のカラーフィルタに対応する前記瞳分割信号に第２の係数をかけ、前記第３および第４の構成から得られた前記瞳分割信号のうち、前記第３の色のカラーフィルタに対応する前記瞳分割信号に第３の係数をかけて、積算することで、前記輝度信号を生成し、
前記第１の構成から得られた前記瞳分割信号を用いると共に、前記第１の係数を、前記第２および第３の係数よりも大きくして、第１の方向に瞳領域が分割された輝度信号を生成し、
前記第２の構成から得られた前記瞳分割信号を用いると共に、前記第１の係数を、前記第２および第３の係数よりも大きくして、第２の方向に瞳領域が分割された輝度信号を生成し、
前記第１の構成から得られた前記瞳分割信号を用いると共に、前記第１の係数を、前記第２および第３の係数よりも小さくして、第３の方向に瞳領域が分割された輝度信号を生成し、
前記第２の構成から出力された前記瞳分割信号を用いると共に、前記第１の係数を、前記第２および第３の係数よりも小さくして、第４の方向に瞳領域が分割された輝度信号を生成し、
前記第１から第４の方向は互いに異なることを特徴とする請求項９に記載の撮像装置。

【請求項11】

請求項７に記載の撮像素子と、
前記画素部から出力された信号から、瞳領域が分割された瞳分割信号を取得し、該瞳分割信号に基づいて、位相差方式の焦点検出を行う焦点検出手段と、を有し、
前記焦点検出手段は、前記第１から第６の構成から得られた前記瞳分割信号に基づいて、瞳分割された輝度信号を生成し、該輝度信号に基づいて、位相差方式の焦点検出を行うことを特徴とする撮像装置。

【請求項12】

前記焦点検出手段は、
前記第１の構成または前記第２の構成から得られた前記瞳分割信号に第１の係数をかけ、前記第３および第４の構成から得られた前記瞳分割信号のうち、前記第２の色のカラーフィルタに対応する前記瞳分割信号に第２の係数をかけ、前記第３および第４の構成から得られた前記瞳分割信号のうち、前記第３の色のカラーフィルタに対応する前記瞳分割信号に第３の係数をかけ、前記第５および第６の構成から得られた前記瞳分割信号に第４の係数をかけて、積算することで、前記輝度信号を生成し、
前記第１の構成から得られた前記瞳分割信号を用いると共に、前記第４の係数を、前記第１の係数よりも小さくし、前記第２および第３の係数よりも大きくして、第１の方向に瞳領域が分割された輝度信号を生成し、
前記第２の構成から得られた前記瞳分割信号を用いると共に、前記第４の係数を、前記第１の係数よりも小さくし、前記第２および第３の係数よりも大きくして、第２の方向に瞳領域が分割された輝度信号を生成し、
前記第１の構成から出力された前記瞳分割信号を用いると共に、前記第４の係数を、前記第１の係数よりも大きくすると共に、前記第１の係数を、前記第２および第３の係数よりも小さくして、第３の方向に瞳領域が分割された輝度信号を生成し、
前記第２の構成から出力された前記瞳分割信号を用いると共に、前記第４の係数を、前記第１の係数よりも大きくすると共に、前記第１の係数を、前記第２および第３の係数よりも小さくして、第４の方向に瞳領域が分割された輝度信号を生成し、
前記第１から第４の方向は互いに異なることを特徴とする請求項１１に記載の撮像装置。

【請求項13】

請求項６に記載の撮像素子から出力された信号から、瞳領域が分割された瞳分割信号を取得し、該瞳分割信号に基づいて、位相差方式の焦点検出を行う焦点検出方法であって、
前記第１の構成または前記第２の構成から得られた前記瞳分割信号に第１の係数をかけ、前記第３および第４の構成から得られた前記瞳分割信号のうち、前記第２の色のカラーフィルタに対応する前記瞳分割信号に第２の係数をかけ、前記第３および第４の構成から得られた前記瞳分割信号のうち、前記第３の色のカラーフィルタに対応する前記瞳分割信号に第３の係数をかけて、積算することで、輝度信号を生成する生成工程と
前記輝度信号に基づいて、位相差方式の焦点検出を行う焦点検出工程と、を有し、
前記生成工程では、
前記第１の構成から得られた前記瞳分割信号を用いると共に、前記第１の係数を、前記第２および第３の係数よりも大きくして、第１の方向に瞳領域が分割された輝度信号を生成し、
前記第２の構成から得られた前記瞳分割信号を用いると共に、前記第１の係数を、前記第２および第３の係数よりも大きくして、第２の方向に瞳領域が分割された輝度信号を生成し、
前記第１の構成から得られた前記瞳分割信号を用いると共に、前記第１の係数を、前記第２および第３の係数よりも小さくして、第３の方向に瞳領域が分割された輝度信号を生成し、
前記第２の構成から出力された前記瞳分割信号を用いると共に、前記第１の係数を、前記第２および第３の係数よりも小さくして、第４の方向に瞳領域が分割された輝度信号を生成し、
前記焦点検出工程では、前記第１から第４の方向それぞれについて、焦点検出を行い、
前記第１から第４の方向は互いに異なることを特徴とする焦点検出方法。

【請求項14】

請求項７に記載の撮像素子から出力された信号から、瞳領域が分割された瞳分割信号を取得し、該瞳分割信号に基づいて、位相差方式の焦点検出を行う焦点検出方法であって、
前記第１の構成または前記第２の構成から得られた前記瞳分割信号に第１の係数をかけ、前記第３および第４の構成から得られた前記瞳分割信号のうち、前記第２の色のカラーフィルタに対応する前記瞳分割信号に第２の係数をかけ、前記第３および第４の構成から得られた前記瞳分割信号のうち、前記第３の色のカラーフィルタに対応する前記瞳分割信号に第３の係数をかけ、前記第５および第６の構成から得られた前記瞳分割信号に第４の係数をかけて、積算することで、輝度信号を生成する生成工程と、
前記輝度信号に基づいて、位相差方式の焦点検出を行う焦点検出工程と、を有し、
前記生成工程では、
前記第１の構成から得られた前記瞳分割信号を用いると共に、前記第４の係数を、前記第１の係数よりも小さくし、前記第２および第３の係数よりも大きくして、第１の方向に瞳領域が分割された輝度信号を生成し、
前記第２の構成から得られた前記瞳分割信号を用いると共に、前記第４の係数を、前記第１の係数よりも小さくし、前記第２および第３の係数よりも大きくして、第２の方向に瞳領域が分割された輝度信号を生成し、
前記第１の構成から出力された前記瞳分割信号を用いると共に、前記第４の係数を、前記第１の係数よりも大きくすると共に、前記第１の係数を、前記第２および第３の係数よりも小さくして、第３の方向に瞳領域が分割された輝度信号を生成し、
前記第２の構成から出力された前記瞳分割信号を用いると共に、前記第４の係数を、前記第１の係数よりも大きくすると共に、前記第１の係数を、前記第２および第３の係数よりも小さくして、第４の方向に瞳領域が分割された輝度信号を生成し、
前記焦点検出工程では、前記第１から第４の方向それぞれについて、焦点検出を行い、
前記第１から第４の方向は互いに異なることを特徴とする焦点検出方法。

【請求項15】

コンピュータに、請求項１３または１４に記載の焦点検出方法の各工程を実行させるためのプログラム。

【請求項16】

請求項１５に記載のプログラムを記憶したコンピュータが読み取り可能な記憶媒体。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、撮像素子、撮像装置、及び焦点検出方法に関するものである。

【背景技術】

【0002】

撮像装置の焦点検出方法の１つとして、撮像素子に形成された焦点検出用画素を用いて瞳分割信号を取得し、位相差方式の焦点検出を行う、いわゆる撮像面位相差方式が知られている。焦点検出用画素としては、各画素に、１つのマイクロレンズと、複数の感度領域とを形成した構成が知られており、複数の感度領域それぞれが、撮影光学系の異なる瞳領域を通過した光を受光することで、瞳分割信号を取得することができる。

【0003】

特許文献１には、複数の光電変換領域を２方向に並べることで、２方向に瞳分割された瞳分割信号を取得する撮像素子が開示されている。

【先行技術文献】

【特許文献】

【0004】

【文献】特開２０１６－１１１６７８号公報

【発明の概要】

【発明が解決しようとする課題】

【0005】

一般的に、位相差方式の焦点検出において、被写体の明暗パターン、すなわち、輝度が変化する方向が瞳分割信号の分割方向に近い場合に、焦点検出の精度が低下するという課題がある。

【0006】

瞳分割信号の分割方向を増やすために、特許文献１に記載の画素を組み合わせて縦横斜め合計４方向に分割する撮像素子を構成したとしても、分割方向の異なる画素間で特性が揃わず、瞳分割信号を画素ごとに加算して得られる画像信号にばらつきが生じてしまう。

【0007】

本発明は上記問題点を鑑みてなされたものであり、画像信号の感度のばらつきを抑えつつ、瞳領域の分割方向を増やすことを可能とすることを目的とする。

【課題を解決するための手段】

【0008】

上記目的を達成するために、本発明の撮像素子は、複数のマイクロレンズと、前記複数のマイクロレンズそれぞれに対して、光の入射面から第１の深さに構成された複数の第１の感度領域と、前記第１の深さよりも深い第２の深さに構成された複数の第２の感度領域と、前記複数の第１の感度領域と、前記複数の第２の感度領域とを、互いに異なる組み合わせで電気的に接続する複数の接続部と、を有する画素部を備えたことを特徴とする。

【発明の効果】

【0009】

本発明によれば、画像信号の感度のばらつきを抑えつつ、瞳領域の分割方向を増やすことを可能とすることができる。

【図面の簡単な説明】

【0010】

【図1】本発明の実施形態に係る撮像装置の概略構成を示すブロック図。

【図2】実施形態における画素の等価回路図。

【図3】実施形態における第１画素及び第２画素の構成を示す平面図及び断面図。

【図4】実施形態における第３画素及び第４画素の構成を示す平面図及び断面図。

【図5】第１の実施形態における、画素領域のカラーフィルタ配列と瞳分割信号の分割方向を示す模式図。

【図6】第２の実施形態における、画素領域のカラーフィルタ配列と瞳分割信号の分割方向を示す模式図。

【発明を実施するための形態】

【0011】

以下、添付図面を参照して実施形態を詳しく説明する。なお、以下の実施形態は特許請求の範囲に係る発明を限定するものではない。実施形態には複数の特徴が記載されているが、これらの複数の特徴の全てが発明に必須のものとは限らず、また、複数の特徴は任意に組み合わせられてもよい。さらに、添付図面においては、同一若しくは同様の構成に同一の参照番号を付し、重複した説明は省略する。

【0012】

図１は、本発明の実施形態にかかる撮像装置の概略構成を示すブロック図である。本実施形態の撮像装置は、撮像素子１と、全体制御・演算部２と、指示部３と、タイミング発生部４と、撮影レンズユニット５と、レンズ駆動部６と、信号処理部７と、表示部８と、記録部９と、を備えている。

【0013】

撮影レンズユニット５は、被写体の光学像を撮像素子１に結像させる。図では１枚のレンズで表されているが、撮影レンズユニット５は、フォーカスレンズ、ズームレンズ等を含む複数のレンズと、絞りを含み、撮像装置の本体から着脱可能であってもよいし、本体に一体的に構成されていてもよい。

【0014】

撮像素子１は、各画素が複数の光電変換領域を有する複数の画素が２次元配置された画素部を備え、撮影レンズユニット５を介して入射する光を電気信号に変換して出力する。なお、撮像素子１の詳細構成については後述するが、各画素からは、位相差方式の焦点検出に用いることのできる瞳分割された瞳分割信号と、画素ごとの信号である画像信号とを取得可能に信号が読み出される。

【0015】

信号処理部７は、撮像素子１から出力される信号に対して、補正処理等の所定の信号処理を行い、焦点検出に用いる瞳分割信号及び記録に用いる画像信号を出力する。

【0016】

全体制御・演算部２は、撮像装置全体の統括的な駆動及び制御を行う。また、信号処理部７により処理された瞳分割信号を用いて焦点検出のための演算を行ったり、画像信号に対して、露出制御のための演算処理や、記録・再生用画像を生成するための現像、圧縮等の所定の信号処理を行う。

【0017】

レンズ駆動部６は、撮影レンズユニット５を駆動するものであり、全体制御・演算部２からの制御信号に従って、撮像レンズユニット５に対してフォーカス制御や、ズーム制御、絞り制御等を行う。

【0018】

指示部３は、ユーザー等の操作により外部から入力される、撮影の実行指示、撮像装置の駆動モード設定、その他各種設定や選択等の入力を受け付け、全体制御・演算部２へ送信する。

【0019】

タイミング発生部４は、全体制御・演算部２からの制御信号に従って、撮像素子１及び信号処理部７を駆動するためのタイミング信号を生成する。
表示部８は、プレビュー画像や再生画像、撮像装置の駆動モード設定等の情報を表示する。

【0020】

記録部９には不図示の記録媒体が備えられ、記録用画像信号が記録される。記録媒体としては、例えばフラッシュメモリ等の半導体メモリ等が挙げられる。記録媒体は記録部９から着脱可能であってもよいし、内蔵されたものであってもよい。

【0021】

次に、本実施形態における画素の構成について、図２～図４を参照して説明する。
図２は、本実施形態の撮像素子１における画素の等価回路図である。なお、本実施形態における各画素は、図３及び図４を参照して後述するように、第１～第４画素Ｐ１～Ｐ４のいずれかの構成を有するが、図２に示す回路構成は、第１～第４画素Ｐ１～Ｐ４に共通する。

【0022】

各画素は、入射した光を光電変換するフォトダイオードＰＤ１，ＰＤ２、転送トランジスタＭ１Ａ，Ｍ１Ｂ、リセットトランジスタＭ２、電荷保持部としてのフローティングディフュージョン部ＦＤ、増幅トランジスタＭ３、選択トランジスタＭ４を有する。各々のトランジスタとしては、ＮチャネルＭＯＳトランジスタを用いることができる。以下、ＮチャネルＭＯＳトランジスタを用いたものとして説明する。

【0023】

転送トランジスタＭ１Ａのゲートには、タイミング発生部４からのタイミング信号に応じて、不図示の制御回路から制御信号ＰＴＸ１が入力される。転送トランジスタＭ１Ａは、制御信号ＰＴＸ１がＨｉｇｈ（以下「Ｈ」と記す。）の間ＯＮとなり、フォトダイオードＰＤ１に蓄積された電荷をフローティングディフュージョン部ＦＤへ転送する。また、転送トランジスタＭ１Ｂのゲートには、不図示の制御回路から制御信号ＰＴＸ２が入力され、制御信号ＰＴＸ２がＨの間ＯＮとなって、フォトダイオードＰＤ２に蓄積された電荷をフローティングディフュージョン部ＦＤへ転送する。

【0024】

リセットトランジスタＭ２のゲートには、不図示の制御回路から制御信号ＰＲＥＳが入力され、制御信号ＰＲＥＳがＨの間ＯＮとなることで、フローティングディフュージョン部ＦＤの電荷が電源電圧ＶＤＤにリセットされる。なお、制御信号ＰＲＥＳと、制御信号ＰＴＸ１，ＰＴＸ２を同時にＨとすることで、フォトダイオードＰＤ１，ＰＤ２を電源電圧ＶＤＤにリセットすることができる。

【0025】

選択トランジスタＭ４のゲートには、不図示の制御回路から制御信号ＰＳＥＬが入力される。選択トランジスタＭ４は、制御信号ＰＳＥＬがＨの間ＯＮとなることで、フローティングディフュージョン部ＦＤの電荷量に応じて増幅トランジスタＭ３により変換された信号電圧が、信号線ＶＬへ出力される。

【0026】

上記回路構成を有する本実施形態における画素では、転送トランジスタＭ１Ａを単独でＯＮとすることにより、フォトダイオードＰＤ１の電荷をフローティングディフュージョン部ＦＤに転送して読み出すことができる。以下、フォトダイオードＰＤ１から読み出した信号をＡ信号と呼ぶ。また、転送トランジスタＭ１Ｂを単独でＯＮとすることにより、フォトダイオードＰＤ２の電荷をフローティングディフュージョン部ＦＤに転送して読み出すことができる。以下、フォトダイオードＰＤ２から読み出した信号をＢ信号と呼ぶ。このＡ信号とＢ信号は瞳分割信号であり、信号処理部７においてＡ信号とＢ信号を画素ごとに加算することで画像信号（Ａ＋Ｂ信号）を得ることができる。

【0027】

または、Ａ信号を読み出した後に、転送トランジスタＭ１ＡとＭ１Ｂとを同時にＯＮとして、フォトダイオードＰＤ１とＰＤ２の電荷をフローティングディフュージョン部ＦＤに転送して読み出すことで、Ａ＋Ｂ信号を得ることができる。このＡ＋Ｂ信号は画像信号であり、信号処理部７においてＡ＋Ｂ信号からＡ信号を差し引いて、Ｂ信号を得ることで、焦点検出に用いることのできる瞳分割信号を得ることができる。

【0028】

図３及び図４は、本実施形態における図２の回路構成を有する画素の概略構成を示す平面図及び断面図である。本実施形態では、４種類の異なる構成を有する画素を用いるものとし、４種類の画素の内、図３（ａ）～（ｃ）は第１画素Ｐ１、図３（ｄ）～（ｆ）は第２画素Ｐ２、図４（ａ）～（ｃ）は第３画素Ｐ３、図４（ｄ）～（ｆ）は第４画素Ｐ４の構成を示す。

【0029】

図３（ａ）は、第１画素Ｐ１の平面模式図である。図３（ａ）において、マイクロレンズＭＬは、フォトダイオードＰＤ１，ＰＤ２に対して入射光を導く。感度領域１０１，１０２，１０３，１０４は、フォトダイオードＰＤ１，ＰＤ２の感度領域である。

【0030】

マイクロレンズＭＬによって、撮影レンズユニット５の瞳と各感度領域１０１，１０２，１０３，１０４が共役の関係となり、各感度領域１０１，１０２，１０３，１０４がそれぞれ撮影レンズユニット５の瞳の異なる領域を通過した光を受光する。また、感度領域１０１と１０２、１０３と１０４は、それぞれマイクロレンズＭＬに対し光学的に共役関係となるよう配置される。また、感度領域１０１と１０２は、撮影レンズユニット５の瞳を図面縦方向に分割するように配置され、感度領域１０３と１０４は、撮影レンズユニット５の瞳を感度領域１０１と１０２とは９０°異なる図面横方向に分割するように配置される。

【0031】

接続部１０５は、感度領域１０１と１０３とを電気的に接続し、接続部１０６は、感度領域１０２と１０４とを電気的に接続する。第１画素Ｐ１では、感度領域１０１，１０３と接続部１０５によりフォトダイオードＰＤ１の感度領域が構成され、感度領域１０２，１０４と接続部１０６によりフォトダイオードＰＤ２の感度領域が構成される。

【0032】

１０７は、転送トランジスタＭ１Ａのゲート電極、１０８は、転送トランジスタＭ１Ｂのゲート電極である。１０９は、フローティングディフュージョン部ＦＤを構成する半導体領域である。

【0033】

図３（ａ）に示した第１画素Ｐ１のＸ１－Ｘ２断面の模式図を図３（ｂ）に、Ｘ３－Ｘ４断面の模式図を図３（ｃ）に、それぞれ示す。なお、図３（ｂ）及び（ｃ）においては、図面下側（マイクロレンズＭＬ側）から光が入射するものとし、以下の説明における深さは、入射面から図面上方向への深さを表す。半導体基板１１０中、第１の深さに、感度領域１０１と１０２が設けられる。また、第１の深さより深い、半導体基板１１０中の第２の深さに、感度領域１０３と１０４が設けられる。接続部１０５は感度領域１０１と１０３との間に設けられ、感度領域１０１と１０３を電気的に接続する。また、接続部１０６は感度領域１０２と１０４との間に設けられ、感度領域１０２と１０４を電気的に接続する。

【0034】

マイクロレンズＭＬと半導体基板１１０との間にはカラーフィルタ１１１が構成される。本実施形態では、第１画素Ｐ１には、カラーフィルタ１１１として、赤色光を透過するＲフィルタを設ける。

【0035】

図３（ｄ）は、第２画素Ｐ２の平面模式図である。また、図３（ｄ）に示す第２画素Ｐ２のＸ１－Ｘ２断面の模式図を図３（ｅ）に、Ｘ３－Ｘ４断面の模式図を図３（ｆ）に、それぞれ示す。なお、図３（ｂ）、（ｃ）と同様に、図３（ｅ）、（ｆ）においても、図面下側（マイクロレンズＭＬ側）から光が入射するものとし、以下の説明における深さは、入射面から図面上方向への深さを表す。

【0036】

第２画素Ｐ２は、接続部２０５、２０６が第１画素Ｐ１と異なるが、それ以外の構成及び配置は、第１画素Ｐ１と同様である。

【0037】

第２画素Ｐ２では、接続部２０５が感度領域１０２と１０３とを電気的に接続し、接続部２０６が感度領域１０１と１０４とを電気的に接続する。このため、第２画素Ｐ２では、感度領域１０２，１０３と接続部２０５によりフォトダイオードＰＤ１の感度領域が構成され、感度領域１０１，１０４と接続部２０６によりフォトダイオードＰＤ２の感度領域が構成される。

【0038】

また、本実施形態では、第２画素Ｐ２には、カラーフィルタ１１１として、第１画素Ｐ１と同様に赤色光を透過するＲフィルタが設けられる。

【0039】

ここで、第１画素Ｐ１及び第２画素Ｐ２において、感度領域１０１，１０２，１０３，１０４が構成される深さと、各感度領域で光電変換される光の波長との関係について説明する。

【0040】

可視光用の撮像素子に広く用いられるシリコンにおいて、入射光は、波長が短い程シリコンの表面近くで吸収され、波長が長い程深くまで侵入する。例えば、入射した光の半分が吸収される深さは、赤色光に含まれる波長７００nmでは約３．２μm、緑色光に含まれる波長５３０nmでは約０．８μm、青色光に含まれる波長４５０nmでは約０．３μmである。

【0041】

Ｒフィルタ１１１を透過した赤色光がシリコン基板に入射すると、赤色光の一部が第１の深さの感度領域１０１、１０２で吸収され、光電変換される。また、別の一部が、感度領域１０１と１０２とは分割方向が９０°異なる、第２の深さの感度領域１０３、１０４で吸収され、光電変換される。

【0042】

第１画素Ｐ１においては、感度領域１０１と１０３で生じた電荷が混合され、感度領域１０２と１０４で生じた電荷が混合される。従って、第１画素Ｐ１から得られる瞳分割信号の分割方向は、感度領域１０１と１０２、１０３と１０４の双方の分割方向から傾いた、第１の方向Ｄ１となる。このように、第１画素Ｐ１では、感度領域１０１，１０２，１０３，１０４の分割方向とは異なる方向に瞳分割された瞳分割信号が取得される。

【0043】

また、第２画素Ｐ２においては、感度領域１０２と１０３で生じた電荷が混合され、感度領域１０１と１０４で生じた電荷が混合される。従って、第２画素Ｐ２から得られる瞳分割信号の分割方向は、第１の方向Ｄ１に対して直交する第２の方向Ｄ２となる。このように第２画素Ｐ２においても、第１画素Ｐ１と同様に、感度領域１０１，１０２，１０３，１０４の分割方向とは異なる方向に瞳分割された瞳分割信号が取得される。

【0044】

次に、第３画素Ｐ３及び第４画素Ｐ４の構成について説明する。
図４（ａ）は、第３画素Ｐ３の平面模式図である。また、図４（ａ）に示す第３画素Ｐ３のＸ１－Ｘ２断面の模式図を図４（ｂ）に、Ｘ３－Ｘ４断面の模式図を図４（ｃ）に、それぞれ示す。なお、図３（ｂ）、（ｃ）と同様に、図４（ｂ）、（ｃ）においても、図面下側（マイクロレンズＭＬ側）から光が入射するものとし、以下の説明における深さは、入射面から図面上方向への深さを表す。

【0045】

図４（ａ）～（ｃ）に示す第３画素Ｐ３は、第１画素Ｐ１と比較して、カラーフィルタ３１１が異なるが、それ以外の構成及び配置は第１画素Ｐ１と同様であるため、説明を省略する。第３画素Ｐ３のカラーフィルタ３１１としては、緑色光を透過するＧフィルタ、または、青色光を透過するＢフィルタが設けられる。

【0046】

図４（ｄ）は、第４画素Ｐ４の平面模式図である。また、図４（ｄ）に示す第４画素Ｐ４のＸ１－Ｘ２断面の模式図を図４（ｅ）に、Ｘ３－Ｘ４断面の模式図を図４（ｆ）に、それぞれ示す。なお、図３（ｂ）、（ｃ）と同様に、図４（ｅ）、（ｆ）においても、図面下側（マイクロレンズＭＬ側）から光が入射するものとし、以下の説明における深さは、入射面から図面上方向への深さを表す。

【0047】

第４画素Ｐ４においては、感度領域４０１，４０２は、半導体基板１１０の第１の深さに設けられ、感度領域４０１と４０２は、第３画素Ｐ３の感度領域１０１と１０２とは９０°異なる図面横方向に撮影レンズユニット５の瞳を分割するように配置される。なお、マイクロレンズＭＬ、感度領域１０３，１０４、及び、転送トランジスタのゲート電極１０７，１０８、フローティングディフュージョン部１０９の配置は、第３画素Ｐ３と同様である。

【0048】

第４画素Ｐ４では、接続部１０５は感度領域４０１と１０３とを電気的に接続し、接続部１０６は感度領域４０２と１０４とを電気的に接続する。このため、第４画素Ｐ４では、感度領域４０１，１０３と接続部１０５によりフォトダイオードＰＤ１の感度領域が構成され、感度領域４０２，１０４と接続部１０６によりフォトダイオードＰＤ２の感度領域が構成される。

【0049】

この接続構成により、第３画素Ｐ３と第４画素Ｐ４とで第１の深さにおける感度領域の配置を異ならせても、第２の深さでは感度領域を共通の配置とすることができるため、第３画素Ｐ３と第４画素Ｐ４の電荷転送特性を揃えることができる。

【0050】

また、第４画素Ｐ４には、カラーフィルタ３１１として、第３画素Ｐ３と同様に、緑色光を透過するＧフィルタ、または、青色光を透過するＢフィルタが設けられる。

【0051】

次に、第３画素Ｐ３及び第４画素Ｐ４において、感度領域１０１，１０２，１０３，１０４，４０１，４０２が構成される深さと、各感度領域で光電変換される光の波長との関係について説明する。

【0052】

ＧフィルタまたはＢフィルタを透過した緑色光、青色光は、赤色光と異なり、そのほとんどが第１の深さの感度領域で吸収され光電変換されるため、第１の深さの感度領域の分割方向と略等しい方向に瞳分割された瞳分割信号が取得される。従って、第３画素Ｐ３から得られる瞳分割信号の分割方向は、第１の方向Ｄ１及び第２の方向Ｄ２と異なる第３の方向Ｄ３となる。また、第４画素Ｐ４から得られる瞳分割信号の分割方向は、第３の方向Ｄ３に対して直交する第４の方向Ｄ４となる。

【0053】

＜第１の実施形態＞
次に、本発明の第１の実施形態について説明する。図５は、第１の実施形態における撮像素子１の上面模式図であり、上記構成を有する複数の第１～第４画素Ｐ１～Ｐ４を行列状に配置した例を示している。

【0054】

図５において、各矢印は、図３及び図４に示す第１～第４画素Ｐ１～Ｐ４から出力される瞳分割信号の分割方向を示している。即ち、左上がりの矢印が第１の方向Ｄ１、右上がりの矢印が第２の方向Ｄ２、垂直方向の矢印が第３の方向Ｄ３、水平方向の矢印が第４の方向Ｄ４を表している。また、Ｒフィルタを有する第１画素Ｐ１及び第２画素Ｐ２と、ＧフィルタまたはＢフィルタを有する第３画素Ｐ３及び第４画素Ｐ４を、カラーフィルタの配列がベイヤー配列となるように並べている。

【0055】

画素領域１０に第１～第４画素Ｐ１～Ｐ４を備えるようにしたことで、第１から第４の方向Ｄ１～Ｄ４に瞳分割された瞳分割信号を取得することができる。

【0056】

全体制御・演算部２は、撮像素子１より得られた瞳分割信号に対し、焦点検出のための演算処理を行い、デフォーカス量を求める。なお、瞳分割信号からデフォーカス量を求める方法としては公知の方法を用いることができるため、以下、簡単に説明する。

【0057】

画素領域１０に配された各第１画素Ｐ１の第１のフォトダイオードＰＤ１及び第２のフォトダイオードＰＤ２からは、第１の方向Ｄ１に瞳分割された瞳分割信号Ｒ１Ａ，Ｒ１Ｂがそれぞれ出力される。この瞳分割信号Ｒ１Ａを集めて構成したＡ画像と、瞳分割信号Ｒ１Ｂを集めて構成したＢ画像とを相対的にシフトしながら、相関演算を行うことで、第１の方向Ｄ１のデフォーカス量を求めることができる。この時、求めたデフォーカス量の信頼度に関する情報を合わせて取得しておく。

【0058】

また、画素領域１０に配された各第２画素Ｐ２の第１のフォトダイオードＰＤ１及び第２のフォトダイオードＰＤ２からは、第２の方向Ｄ２に瞳分割された瞳分割信号Ｒ２Ａ，Ｒ２Ｂがそれぞれ出力される。この瞳分割信号Ｒ２Ａを集めて構成したＡ画像と、瞳分割信号Ｒ２Ｂを集めて構成したＢ画像とから、同様の相関演算により、第２の方向Ｄ２のデフォーカス量を求めることができる。この時、求めたデフォーカス量の信頼度に関する情報を合わせて取得しておく。

【0059】

更に、画素領域１０に配された第３画素Ｐ３のうち、Ｇフィルタに覆われた各第３画素Ｐ３の第１のフォトダイオードＰＤ１及び第２のフォトダイオードＰＤ２からは、第３の方向Ｄ３に瞳分割された一対の瞳分割信号Ｇ３Ａ，Ｇ３Ｂがそれぞれ出力される。この瞳分割信号Ｇ３Ａを集めて構成したＡ画像と、瞳分割信号Ｇ３Ｂを集めて構成したＢ画像とから、同様の相関演算により、第３の方向Ｄ３のデフォーカス量を求めることができる。この時、求めたデフォーカス量の信頼度に関する情報を合わせて取得しておく。

【0060】

更に、画素領域１０に配された第３画素Ｐ３のうち、Ｂフィルタに覆われた各第３画素Ｐ３の第１のフォトダイオードＰＤ１及び第２のフォトダイオードＰＤ２からは、第３の方向Ｄ３に瞳分割された一対の瞳分割信号Ｂ３Ａ，Ｂ３Ｂがそれぞれ出力される。この瞳分割信号Ｂ３Ａを集めて構成したＡ画像と、瞳分割信号Ｂ３Ｂを集めて構成したＢ画像とから、同様の相関演算により、第３の方向Ｄ３のデフォーカス量を求めることができる。この時、求めたデフォーカス量の信頼度に関する情報を合わせて取得しておく。

【0061】

更に、画素領域１０に配された第４画素Ｐ４のうち、Ｇフィルタに覆われた各第４画素Ｐ４の第１のフォトダイオードＰＤ１及び第２のフォトダイオードＰＤ２からは、第４の方向Ｄ４に瞳分割された一対の瞳分割信号Ｇ４Ａ，Ｇ４Ｂがそれぞれ出力される。この瞳分割信号Ｇ４Ａを集めて構成したＡ画像と、瞳分割信号Ｇ４Ｂを集めて構成したＢ画像とから、同様の相関演算により、第４の方向Ｄ４のデフォーカス量を求めることができる。この時、求めたデフォーカス量の信頼度に関する情報を合わせて取得しておく。

【0062】

更に、画素領域１０に配された第４画素Ｐ４のうち、Ｂフィルタに覆われた各第４画素Ｐ４の第１のフォトダイオードＰＤ１及び第２のフォトダイオードＰＤ２からは、第４の方向Ｄ４に瞳分割された一対の瞳分割信号Ｂ４Ａ，Ｂ４Ｂがそれぞれ出力される。この瞳分割信号Ｂ４Ａを集めて構成したＡ画像と、瞳分割信号Ｂ４Ｂを集めて構成したＢ画像とから、同様の相関演算により、第４の方向Ｄ４のデフォーカス量を求めることができる。この時、求めたデフォーカス量の信頼度に関する情報を合わせて取得しておく。

【0063】

そして、全体制御・演算部２は、求めた６つのデフォーカス量と信頼性に関する情報に基づいてフォーカスレンズの駆動量を求める。そして求めた駆動量に基づいて、レンズ駆動部６を制御し、レンズ駆動部６が撮影レンズユニット５を駆動することにより、フォーカス制御を行う。

【0064】

なお、第３の方向Ｄ３と第４の方向Ｄ４のデフォーカス量については、ＧフィルタまたはＢフィルタのいずれか一方について求めるようにしてもよい。

【0065】

上記の通り第１の実施形態によれば、より多くの被写体の輝度が変化する方向について、焦点検出の精度を向上することができる。

【0066】

＜変形例＞
デフォーカス量を求める際、第１～第４画素Ｐ１～Ｐ４から得られた瞳分割信号から輝度信号を生成し、生成した輝度信号を用いて第１～第４の方向Ｄ１～Ｄ４に相関演算を行ってもよい。このようにすることにより、上述したようにＲ、Ｇ、Ｂの各信号に対してそれぞれ２方向の相関演算を行うのに比べて、相関演算の回数を削減することができる。

【0067】

以下、第１～第４画素Ｐ１～Ｐ４の瞳分割信号から、輝度信号を生成する変換方法について説明する。輝度信号の生成には、以下の式（１）～（４）を用い、各変換には、第１～第４画素Ｐ１～Ｐ４それぞれの第１のフォトダイオードＰＤ１から得られた信号同士、または第２のフォトダイオードＰＤ２から得られた信号同士を用いる。即ち、式（１）～（４）において、Ｒ１は瞳分割信号Ｒ１ＡまたはＲ１Ｂ、Ｒ２は瞳分割信号Ｒ２ＡまたはＲ２Ｂに対応する。また、Ｇ３は瞳分割信号Ｇ３ＡまたはＧ３Ｂ、Ｇ４は瞳分割信号Ｇ４ＡまたはＧ４Ｂ、Ｂ３は瞳分割信号Ｂ３ＡまたはＢ３Ｂ、Ｂ４は瞳分割信号Ｂ４ＡまたはＢ４Ｂに対応する。また、（ｘ，ｙ）は求める輝度信号の座標を示す。

【0068】

Y1(x,y)＝α1×R1(x,y)+β1×G3(x,y)+γ1×B3(x,y) …（１）
Y2(x,y)＝α1×R2(x,y)+β1×G4(x,y)+γ1×B4(x,y) …（２）
Y3(x,y)＝α2×R1(x,y)+β2×G3(x,y)+γ2×B3(x,y) …（３）
Y4(x,y)＝α2×R2(x,y)+β2×G4(x,y)+γ2×B4(x,y) …（４）

【0069】

式（１）は、座標（ｘ，ｙ）における、第１の方向Ｄ１に分割された瞳分割信号として用いる輝度信号Ｙ１（ｘ，ｙ）を求める式である。Ｒ１（ｘ，ｙ）に係数α１、Ｇ３（ｘ，ｙ）に係数β１、Ｂ３（ｘ，ｙ）に係数γ１をそれぞれ乗じて積算し、座標（ｘ，ｙ）における輝度信号Ｙ１（ｘ，ｙ）とする。上述したように、フォトダイオードＰ１及びＰ２それぞれから出力された瞳分割信号について、それぞれ輝度信号Ｙ１（ｘ，ｙ）を算出し、それぞれ集めてＡ画像及びＢ画像を生成し、第１の方向Ｄ１の相関演算に用いる。この時、係数の大小関係をα１＞β１，γ１とすることで、瞳分割信号の分割方向が相関演算の方向に近い瞳分割信号Ｒ１に対して、輝度信号へ変換する際の重み付けを重くする。

【0070】

なお、カラーフィルタがベイヤー配列された撮像素子においては、座標（ｘ，ｙ）にはＲ、Ｇ、Ｂいずれかの信号のみ存在する。そのため、他の色については、座標（ｘ，ｙ）に近接する当該色の画素信号を用いた公知の補間演算により、座標（ｘ，ｙ）の仮想の信号を生成して用いればよい。

【0071】

式（２）は、座標（ｘ，ｙ）における、第１の方向Ｄ１と直交する第２の方向Ｄ２に分割された瞳分割信号としての輝度信号Ｙ２（ｘ，ｙ）を求める式である。式（２）においては、式（１）と共通の係数α１，β１，γ１を用い、Ｒ２（ｘ，ｙ）に係数α１、Ｇ４（ｘ，ｙ）に係数β１、Ｂ４（ｘ，ｙ）に係数γ１をそれぞれ乗じて積算し、座標（ｘ，ｙ）における輝度信号Ｙ２（ｘ，ｙ）とする。そして、上述したように、フォトダイオードＰ１及びＰ２それぞれから出力された瞳分割信号について、それぞれ輝度信号Ｙ２（ｘ，ｙ）を算出し、それぞれ集めてＡ画像及びＢ画像を生成し、第２の方向Ｄ２の相関演算に用いる。

【0072】

式（３）は、座標（ｘ，ｙ）における、第１の方向Ｄ１及び第２の方向Ｄ２と異なる第３の方向Ｄ３に分割された瞳分割信号としての輝度信号Ｙ３（ｘ，ｙ）を求める式である。式（３）においては、Ｒ１（ｘ，ｙ）に係数α２、Ｇ３（ｘ，ｙ）に係数β２、Ｂ３（ｘ，ｙ）に係数γ２をそれぞれ乗じて積算し、座標（ｘ，ｙ）における輝度信号Ｙ３（ｘ，ｙ）とする。この時、係数同士の大小関係をβ２，γ２＞α２とすることで、瞳分割信号の分割方向が相関演算の方向に近いＧ画素とＢ画素の信号に対して、輝度信号へ変換する際の重み付けを重くする。そして、上述したように、フォトダイオードＰ１及びＰ２それぞれから出力された瞳分割信号について、それぞれ輝度信号Ｙ３（ｘ，ｙ）を算出し、それぞれ集めてＡ画像及びＢ画像を生成し、第３の方向Ｄ３の相関演算に用いる。なお、式（１）及び式（３）の係数同士の大小関係は、α１＞α２、β１＜β２、γ１＜γ２となる。

【0073】

式（４）は、座標（ｘ，ｙ）における、第３の方向Ｄ３と直交する第４の方向Ｄ４に分割された瞳分割信号としての輝度信号Ｙ４（ｘ，ｙ）を求める式である。式（４）においては、式（３）と共通の係数α２，β２，γ２を用い、Ｒ２（ｘ，ｙ）に係数α２、Ｇ４（ｘ，ｙ）に係数β２、Ｂ４（ｘ，ｙ）に係数γ２をそれぞれ乗じて積算し、座標（ｘ，ｙ）における輝度信号Ｙ４（ｘ，ｙ）とする。そして、上述したように、フォトダイオードＰ１及びＰ２それぞれから出力された瞳分割信号について、それぞれ輝度信号Ｙ４（ｘ，ｙ）を算出し、それぞれ集めてＡ画像及びＢ画像を生成し、第４の方向Ｄ４の相関演算に用いる。

【0074】

このように、各座標における瞳分割された輝度信号を求めてから相関演算を行うことで、相関演算の回数を削減することができる。

【0075】

＜第２の実施形態＞
次に、本発明の第２の実施形態について説明する。第２の実施形態では、図２乃至図４を参照して説明した複数の第１～第４画素Ｐ１～Ｐ４に加え、第１画素Ｐ１及び第２画素Ｐ２の構成のうち、カラーフィルタ１１１の代わりに白色光を透過するＷフィルタが配された、またはフィルタが配されていない構成を有する第５画素Ｐ５及び第６画素Ｐ６を用いて、撮像素子１を構成する。即ち、第５画素Ｐ５から出力される瞳分割信号の分割方向は、第１画素Ｐ１から出力される瞳分割信号の分割方向と等しく、第６画素Ｐ６から出力される瞳分割信号の分割方向は、第２画素Ｐ２から出力される瞳分割信号の分割方向と等しい。

【0076】

従って、第５画素Ｐ５からは、感度領域の分割方向とは異なる第１の方向Ｄ１に分割された瞳分割信号Ｗ１Ａ及びＷ１Ｂを取得することができる。また、第６画素Ｐ６からは、第１の方向Ｄ１に対して直交する、第２の方向Ｄ２に分割された瞳分割信号Ｗ２Ａ及びＷ２Ｂを取得できる。

【0077】

このように、第２の実施形態においては、各色成分の瞳分割信号を用いて得られたデフォーカス量に加えて、白色光に基づく瞳分割信号を用いて、デフォーカス量を取得することができる。このように白色光に基づく瞳分割信号を用いることで、被写体の輝度が低い場合に、より精度の高い焦点検出を行うことが可能になる。

【0078】

＜変形例＞
次に、図６に示す構成においても、デフォーカス量を求める際、第１～第６画素Ｐ１～Ｐ６から得られた瞳分割信号から輝度信号を生成し、生成した輝度信号を用いて第１～第４の方向Ｄ１～Ｄ４に相関演算を行ってもよい。このようにすることにより、上述したようにＲ、Ｇ、Ｂ、Ｗの各信号に対してそれぞれ２方向の相関演算を行うのに比べて、相関演算の回数を削減することができる。

【0079】

以下、第１～第６画素Ｐ１～Ｐ６の瞳分割信号から、輝度信号を生成する変換方法について説明する。以下の式（５）～（８）は、輝度信号を生成する変換方法を示す式である。式（５）～（８）は、式（１）～（４）と比較して、第５画素Ｐ５及び第６画素Ｐ６からの瞳分割信号を更に用いる点が異なる。なお、式（５）～（８）において、Ｗ１は瞳分割信号Ｗ１ＡまたはＷ１Ｂ、Ｗ２は瞳分割信号Ｗ２ＡまたはＷ２Ｂを表している。

【0080】

Y1(x,y)＝α1×R1(x,y)+β1×G3(x,y)+γ1×B3(x,y)+δ1×W1(x,y) …（５）
Y2(x,y)＝α1×R2(x,y)+β1×G4(x,y)+γ1×B4(x,y)+δ1×W2(x,y) …（６）
Y3(x,y)＝α2×R1(x,y)+β2×G3(x,y)+γ2×B3(x,y)+δ2×W1(x,y) …（７）
Y4(x,y)＝α2×R2(x,y)+β2×G4(x,y)+γ2×B4(x,y)+δ2×W2(x,y) …（８）

【0081】

式（５）は、座標（ｘ，ｙ）における、第１の方向Ｄ１に分割された瞳分割信号として用いる輝度信号Ｙ１（ｘ，ｙ）を求める式である。上述した式（１）に、更にＷ１に係数δ１を乗じて積算した値を、座標（ｘ，ｙ）における輝度信号Ｙ１（ｘ，ｙ）とする。そして、フォトダイオードＰ１及びＰ２それぞれから出力された瞳分割信号について、それぞれ輝度信号Ｙ１（ｘ，ｙ）を算出し、それぞれ集めてＡ画像及びＢ画像を生成し、第１の方向Ｄ１の相関演算に用いる。

【0082】

式（６）は、座標（ｘ，ｙ）における、第２の方向Ｄ２に分割された瞳分割信号として用いる輝度信号Ｙ２（ｘ，ｙ）を求める式である。上述した式（２）に、更にＷ２に係数δ１を乗じて積算した値を、座標（ｘ，ｙ）における輝度信号Ｙ２（ｘ，ｙ）とする。そして、フォトダイオードＰ１及びＰ２それぞれから出力された瞳分割信号について、それぞれ輝度信号Ｙ２（ｘ，ｙ）を算出し、それぞれ集めてＡ画像及びＢ画像を生成し、第２の方向Ｄ２の相関演算に用いる。

【0083】

式（７）は、座標（ｘ，ｙ）における、第３の方向Ｄ３に分割された瞳分割信号として用いる輝度信号Ｙ３（ｘ，ｙ）を求める式である。上述した式（３）に、更にＷ１に係数δ２を乗じて積算した値を、座標（ｘ，ｙ）における輝度信号Ｙ３（ｘ，ｙ）とする。そして、フォトダイオードＰ１及びＰ２それぞれから出力された瞳分割信号について、それぞれ輝度信号Ｙ３（ｘ，ｙ）を算出し、それぞれ集めてＡ画像及びＢ画像を生成し、第３の方向Ｄ３の相関演算に用いる。

【0084】

式（８）は、座標（ｘ，ｙ）における、第４の方向Ｄ４に分割された瞳分割信号として用いる輝度信号Ｙ４（ｘ，ｙ）を求める式である。上述した式（４）に、更にＷ２に係数δ２を乗じて積算した値を、座標（ｘ，ｙ）における輝度信号Ｙ４（ｘ，ｙ）とする。そして、フォトダイオードＰ１及びＰ２それぞれから出力された瞳分割信号について、それぞれ輝度信号Ｙ４（ｘ，ｙ）を算出し、それぞれ集めてＡ画像及びＢ画像を生成し、第４の方向Ｄ４の相関演算に用いる。

【0085】

このとき、第１の実施形態と同様に、瞳分割信号の分割方向が、相関演算の方向に近い信号程、輝度信号へ変換する際の重み付けを重くする。Ｗフィルタは、Ｒ，Ｇ，Ｂフィルタすべての透過波長帯の光を透過するため、本変形例においては、重み付けの係数の大小関係を、α１＞δ１＞β１，γ１、α２＜δ２＜β２，γ２、δ１＞δ２となるように決定する。

【0086】

その他の色の瞳分割信号に乗じる重み付け係数の大小関係は、第１の実施形態の変形例と同様である。

【0087】

このように、各座標における瞳分割された輝度信号を求めてから相関演算を行うことで、相関演算の回数を削減することができる。

【0088】

なお、上述した第１及び第２の実施形態では、図３及び図４に示すように、各感度領域が矩形である場合について説明したが、本発明はこれに限られるものでは無い。各感度領域の形状が同じであれば、例えば、三角形としてもよく、同様の効果を得ることができる。

【0089】

＜他の実施形態＞
なお、本発明は、複数の機器から構成されるシステムに適用しても、一つの機器からなる装置に適用してもよい。

【0090】

また、本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。

【0091】

発明は上記実施形態に制限されるものではなく、発明の精神及び範囲から離脱することなく、様々な変更及び変形が可能である。従って、発明の範囲を公にするために請求項を添付する。

【符号の説明】

【0092】

１：撮像素子、２：全体制御・演算部、３：指示部、４：タイミング発生部、５：撮影レンズユニット、６：レンズ駆動部、７：信号処理部、８：表示部、９：記録部、Ｐ１：第１画素、Ｐ２：第２画素、Ｐ３：第３画素、Ｐ４：第４画素、Ｄ１：第１の方向、Ｄ２：第２の方向、Ｄ３：第３の方向、Ｄ４：第４の方向

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】