特許 7461732 撮像装置及びその制御方法、プログラム、記憶媒体

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2024-03-27

(45)【発行日】2024-04-04

(54)【発明の名称】撮像装置及びその制御方法、プログラム、記憶媒体

(51)【国際特許分類】

   H04N 23/67 20230101AFI20240328BHJP

   H04N 23/54 20230101ALI20240328BHJP

   G03B 15/00 20210101ALI20240328BHJP

   G02B 7/34 20210101ALI20240328BHJP

   G03B 13/36 20210101ALN20240328BHJP

【ＦＩ】

H04N23/67 100

H04N23/54

G03B15/00 Q

G02B7/34

G03B13/36

【請求項の数】 13

(21)【出願番号】P 2019209004

(22)【出願日】2019-11-19

(65)【公開番号】P2021082949

(43)【公開日】2021-05-27

【審査請求日】2022-11-14

(73)【特許権者】

【識別番号】000001007

【氏名又は名称】キヤノン株式会社

(74)【代理人】

【識別番号】110003281

【氏名又は名称】弁理士法人大塚国際特許事務所

(72)【発明者】

【氏名】長谷川 玲治

【審査官】高野 美帆子

(56)【参考文献】

【文献】特開２０１８－０１７８７６（ＪＰ，Ａ）

【文献】特開２０１２－１２４７９１（ＪＰ，Ａ）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｈ０４Ｎ ２３／６７

Ｈ０４Ｎ ２３／５４

Ｇ０３Ｂ １５／００

Ｇ０２Ｂ ７／３４

Ｇ０３Ｂ １３／３６

(57)【特許請求の範囲】

【請求項1】

１つのマイクロレンズに対して複数の光電変換素子が配置された単位画素を複数有する撮像素子と、
前記撮像素子からの画素信号を用いて相関演算を行う相関演算手段と、
前記撮像素子から出力される画素信号を記憶する記憶手段と、
前記記憶手段に記憶された画素信号を読み出し、前記相関演算手段に出力する読み出し動作を行う読み出し手段と、
前記読み出し手段による前記読み出し動作と、前記相関演算手段による相関演算とを、前記撮像素子の１回の蓄積で得られた信号に対して複数回行うように制御する制御手段と、
複数回の前記相関演算で得られた結果を用いて、少なくとも被写体検出用のデフォーカスマップと、焦点検出用のデフォーカスマップとを作成する作成手段と、
を備えることを特徴とする撮像装置。

【請求項2】

前記読み出し手段は、それぞれ読み出し設定を変更して、複数回の前記読み出し動作を実行することを特徴とする請求項１に記載の撮像装置。

【請求項3】

前記読み出し手段は、前記記憶手段の複数の矩形領域ごとに画素信号を読み出し、変更する前記読み出し設定は、前記複数の矩形領域の、大きさと間隔の少なくともいずれかであることを特徴とする請求項２に記載の撮像装置。

【請求項4】

前記撮像素子から連続して複数回の画素信号の出力を行う場合、複数回の前記出力のそれぞれにおいて、前記読み出し設定としての前記読み出し手段で画素信号を読み出す回数を変更することを特徴とする請求項２に記載の撮像装置。

【請求項5】

前記制御手段は、前記撮像装置の処理負荷に応じて、前記読み出し設定としての前記読み出し手段で画素信号を読み出す回数を変更することを特徴とする請求項２に記載の撮像装置。

【請求項6】

前記読み出し手段は、前記記憶手段の複数の矩形領域ごとに画素信号を読み出し、変更する前記読み出し設定は、前記複数の矩形領域における信号を読み出す行であることを特徴とする請求項２に記載の撮像装置。

【請求項7】

前記撮像素子は、縦方向に相関を有する画素を配置した行と、横方向に相関を有する画素を配置した行とを有し、変更する前記読み出し設定は、前記複数の矩形領域における前記縦方向に相関を有する画素を配置した行の信号を読み出すか、前記横方向に相関を有する画素を配置した行の信号を読み出すかであることを特徴とする請求項６に記載の撮像装置。

【請求項8】

前記制御手段は、前記記憶手段において画素信号が書き込まれた位置から、前記読み出し手段で画素信号を読み出すように、前記読み出し手段を制御することを特徴とする請求項１乃至７のいずれか１項に記載の撮像装置。

【請求項9】

前記撮像素子から、連続して複数回の画素信号の出力を行う場合、複数回の前記出力の時間間隔が、前記相関演算手段の演算時間よりも短い場合は、画素信号を前記記憶手段に書き込むアドレスと、前記読み出し手段で前記記憶手段から画素信号を読み出すアドレスの連携を行わないことを特徴とする請求項１乃至７のいずれか１項に記載の撮像装置。

【請求項10】

前記記憶手段は、複数の単位画素における対応する光電変換素子の信号をまとめて記憶する領域を複数有することを特徴とする請求項１乃至９のいずれか１項に記載の撮像装置。

【請求項11】

１つのマイクロレンズに対して複数の光電変換素子が配置された単位画素を複数有する撮像素子と、前記撮像素子からの画素信号を用いて相関演算を行う相関演算手段と、前記撮像素子から出力される画素信号を記憶する記憶手段と、を備える撮像装置を制御する方法であって、
前記記憶手段に記憶された画素信号を読み出し、前記相関演算手段に出力する読み出し動作を行う読み出し工程と、
前記読み出し工程による前記読み出し動作と、前記相関演算手段による相関演算とを、前記撮像素子の１回の蓄積で得られた信号に対して複数回行うように制御する制御工程と、
複数回の前記相関演算で得られた結果を用いて、少なくとも被写体検出用のデフォーカスマップと、焦点検出用のデフォーカスマップとを作成する作成工程と、
を有することを特徴とする撮像装置の制御方法。

【請求項12】

請求項１１に記載の制御方法の各工程をコンピュータに実行させるためのプログラム。

【請求項13】

請求項１１に記載の制御方法の各工程をコンピュータに実行させるためのプログラムを記憶したコンピュータが読み取り可能な記憶媒体。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、撮像装置における焦点検出技術に関する。

【背景技術】

【0002】

現在、通常のカメラは、ユーザの利便性を向上させるために自動焦点調節（以下ＡＦ）機能を備えている。例えば、撮像素子の画素を瞳分割し、撮像素子からの画像を複数の矩形のエリアに区切って、画像の相関演算を行うことにより、焦点検出を行う。そして、得られたデフォーカス量に基づいてレンズ系を駆動しＡＦを行う。

【0003】

また、相関演算によって画面内の複数の矩形のエリアそれぞれについてデフォーカス量が得られるため、デフォーカスマップを作ることができる。このデフォーカスマップのデフォーカス差を平面的に走査し、ＡＦだけでなく被写体の検知にも用いることができる。

【先行技術文献】

【特許文献】

【0004】

【文献】特開２０１６－２１３７５７号公報

【発明の概要】

【発明が解決しようとする課題】

【0005】

デフォーカスマップをＡＦに用いる場合、前述したように、撮像素子を複数の矩形エリアに分割してそれぞれでデフォーカス量を算出する。その場合、矩形をタイル状に隣り合わせて敷き詰めると（例：図３（ｂ））、矩形と矩形の間に被写体が入り込んで、焦点検出できない場合がある。そのため、可能であれば矩形と矩形を部分的に重ねて配置することが望ましい（例：図４（ａ））。

【0006】

一方、デフォーカスマップを被写体の検知に用いる場合は、逆に、矩形と矩形が重なり合っていると（例：図４（ａ））、デフォーカスマップ上では、被写体の上下が広がっているように見え、被写体が大きく検知されてしまう。そのため、矩形と矩形はぴったりタイル状に並べて配置することが望ましい（例：図３（ｂ））。

【0007】

つまり、ＡＦのためのデフォーカスマップと、被写体検知用のデフォーカスマップの２種類のデフォーカスマップが必要となる。

【0008】

通常の設計を考えると、デフォーカスマップは、撮像素子、画像処理部、相関演算部により行われる。その場合の、上記の２種類のデフォーカスマップを生成するための各回路の配置方法として、以下のような方法が考えられる。

【0009】

第１の方法として、相関演算部分を２種類のデフォーカスマップ向けに２個持つことが考えられる。この場合は、上記の問題は解決できるが、回路が２倍必要になる。

【0010】

第２の方法として、２種類のデフォーカスマップの生成のために、撮像素子の信号を２回読み出すことが考えられる。この場合も、上記の問題を解決できるが、撮像素子は読み出し速度が遅い場合が多く、相関演算の２回分よりも余計に時間がかかる。また２種類のデフォーカスマップの元画像が別々の画像となり、被写体が動く場合、認識した被写体にＡＦできるとは限らないことがある。

【0011】

特許文献１は、デフォーカスマップを作成する技術ではないが、異なる用途のそれぞれに適した信号を撮像素子から取得するために、第２の方法である撮像素子の信号を２回読み出す例が挙げられている。

【0012】

本発明は上述した課題に鑑みてなされたものであり、その目的は、回路規模や処理時間の増大を抑制しつつ、複数のデフォーカスマップを作成することができる撮像装置を提供することである。

【課題を解決するための手段】

【0013】

本発明に係わる撮像装置は、１つのマイクロレンズに対して複数の光電変換素子が配置された単位画素を複数有する撮像素子と、前記撮像素子からの画素信号を用いて相関演算を行う相関演算手段と、前記撮像素子から出力される画素信号を記憶する記憶手段と、前記記憶手段に記憶された画素信号を読み出し、前記相関演算手段に出力する読み出し動作を行う読み出し手段と、前記読み出し手段による前記読み出し動作と、前記相関演算手段による相関演算とを、前記撮像素子の１回の蓄積で得られた信号に対して複数回行うように制御する制御手段と、複数回の前記相関演算で得られた結果を用いて、少なくとも被写体検出用のデフォーカスマップと、焦点検出用のデフォーカスマップとを作成する作成手段と、を備えることを特徴とする。

【発明の効果】

【0014】

本発明によれば、回路規模や処理時間の増大を抑制しつつ、複数のデフォーカスマップを作成することが可能となる。

【図面の簡単な説明】

【0015】

【図1】本発明の第１の実施形態におけるカメラ及びレンズの構成を示すブロック図。

【図2】第１の実施形態における撮像面位相差方式の画素構成を示す図。

【図3】第１の実施形態における画像データのＤＲＡＭ上の配置を示す図。

【図4】第１の実施形態における画像データのＤＲＡＭ上の配置を示す図。

【図5】第１の実施形態におけるデフォーカスマップの作成処理を示すフローチャート。

【図6】第１の実施形態における焦点検出処理を示すフローチャート。

【図7】第１の実施形態における画像読み出し処理を示すフローチャート。

【図8】デフォーカスマップ作成処理の時間方向の流れを示す図。

【図9】第４の実施形態における画像データのＤＲＡＭからの読み出し順を示す図。

【図10】第５の実施形態における画像データのＤＲＡＭからの読み出し順を示す図。

【発明を実施するための形態】

【0016】

以下、添付図面を参照して実施形態を詳しく説明する。なお、以下の実施形態は特許請求の範囲に係る発明を限定するものではない。実施形態には複数の特徴が記載されているが、これらの複数の特徴の全てが発明に必須のものとは限らず、また、複数の特徴は任意に組み合わせられてもよい。さらに、添付図面においては、同一若しくは同様の構成に同一の参照番号を付し、重複した説明は省略する。

【0017】

（第１の実施形態）
＜カメラの構成の説明＞
図１は、本発明の第１の実施形態におけるレンズ及びカメラ本体からなるレンズ交換式カメラシステム（以下カメラと呼ぶ）の構成を示すブロック図である。

【0018】

図１において、カメラ１００は、レンズ１０とカメラ本体２０とから構成されている。そして、レンズ１０の全体動作を統括制御するレンズ制御部１０６と、カメラ本体２０の全体動作を統括するカメラ制御部２１２が情報を通信することにより、カメラ１００の全体動作の制御が行われる。

【0019】

まず、レンズ１０の構成について説明する。

【0020】

レンズ１０は、第１レンズ群１０１、絞り１０２、フォーカスレンズ１０３、絞り駆動部１０４、フォーカスレンズ駆動部１０５、レンズ制御部１０６、レンズ操作部１０７を備える。

【0021】

固定されている第１群レンズ１０１、絞り１０２、フォーカスレンズ１０３により撮影光学系が構成されている。絞り１０２は、絞り制御部１０４によって駆動され、後述する撮像素子２０１への入射光量を制御する。フォーカスレンズ１０３はフォーカスレンズ駆動部１０５によって駆動され、後述する撮像素子２０１に結像される被写体像の焦点の調節を行う。絞り駆動部１０４及びフォーカスレンズ駆動部１０５は、レンズ制御部１０６によって制御され、絞り１０２の開口量や、フォーカスレンズ１０３の位置を決定する。レンズ制御部１０６は、後述するカメラ制御部２１２から受信した制御命令及び制御情報に応じて、絞り駆動部１０４やフォーカスレンズ駆動部１０５の制御を行う。また、レンズ１０の制御情報をカメラ制御部２１２に送信する。

【0022】

次に、カメラ本体２０の構成について説明する。

【0023】

カメラ本体２０は、レンズ１０の撮影光学系を通過した光束から撮像信号を取得できるように構成されている。レンズ１０の撮影光学系を通過した光束は、アップダウンが可能なクイックリターンミラー２５２に導かれる。クイックリターンミラー２５２の中央部はハーフミラーになっており、クイックリターンミラー２５２がダウン（図１に図示の下側に降りた状態）した際に一部の光束を透過させる。そしてこの透過した光束はクイックリターンミラー２５２に設置されたサブミラー２５３で反射され、自動焦点調整装置である位相差ＡＦセンサ２５４に導かれる。ＡＦセンサ２５４は焦点検出回路２５５によって制御される。

【0024】

一方、クイックリターンミラー２５２で反射された光束は、マットスクリーン２５０に結像され、その像を上側からペンタプリズム２５１、接眼レンズ２５６を介して撮影者が観測することができる。

【0025】

また、クイックリターンミラー２５２がアップ（ペンタプリズム２５１側に矢印のように上昇）した際には、レンズ１０からの光束は、機械シャッタであるフォーカルプレーンシャッタ２５８、フィルタ２５９を介して撮像素子２０１に結像される。フィルタ２５９は２つの機能を有しており、１つは赤外線や紫外線などをカットし可視光線のみを撮像素子２０１へ導く機能であり、もう１つは光学ローパスフィルタとしての機能である。また、フォーカルプレーンシャッタ２５８は、先幕及び後幕を有し、レンズ１０からの光束の透過、遮断を制御する遮光装置である。

【0026】

レンズ１０の撮影光学系を通過した光束は、撮像素子２０１の受光面上に結像され、撮像素子２０１の各画素のフォトダイオードによって入射光量に応じた信号電荷に変換される。各フォトダイオードに蓄積された信号電荷は、カメラ制御部２１２の指令に従ってタイミングジェネレータ２１５から与えられる駆動パルスに基づいて、信号電荷に応じた電圧信号として撮像素子２０１から順次読み出される。

【0027】

撮像素子２０１は、図２（ｂ）のように撮像面位相差ＡＦを行うために、一つのマイクロレンズ（図２（ｂ）の２９２）に２つのフォトダイオード２９３，２９４が配置された単位画素２９０を複数有する。光束をマイクロレンズで分離し、この２つのフォトダイオード２９３，２９４に結像させることにより、撮像用とＡＦ用（焦点検出用）の２つの信号を取り出すことができる。２つのフォトダイオード２９３，２９４の信号を加算した信号（Ａ＋Ｂ）が撮像信号であり、個々のフォトダイオードの信号（Ａ，Ｂ）がＡＦ用の２つの像信号である。後述するＡＦ信号処理部２０４でＡＦ用の２つの像信号に対して相関演算を行い、像ずれ量や各種信頼性情報を算出する。

【0028】

撮像素子２０１から読み出された撮像信号及びＡＦ用信号は画像処理部２０２に入力され、信号のデジタル化、各種画像処理などが施され、ＷＤＭＡＣ（Ｗｒｉｔｅ ＤＭＡ Ｃｏｎｔｒｏｌｌｅｒ）２２０に出力される。ＷＤＭＡＣ２２０は、画像信号やＡＦ信号をＤＲＡＭ２０９に書き込む。ＲＤＭＡＣ（Ｒｅａｄ ＤＭＡ Ｃｏｎｔｒｏｌｌｅｒ）２２１はＡＦ信号をＤＲＡＭ２０９から読み出し、ＡＦ信号処理部２０４へ出力する。

【0029】

ＤＲＡＭ２０９に格納された画像信号は、バス２１を介して、表示制御部２０５に送信され、表示部２０６に表示される。また、撮像信号の記録を行うモードの場合には、記録媒体制御部２０７により、記録媒体２０８に記録される。また、バス２１を介して接続されたＲＯＭ２１０には、カメラ制御部２１２が実行する制御プログラム及び制御に必要な各種データ等が格納されている。また、フラッシュＲＯＭ２１１には、ユーザ設定情報等のカメラ本体２０の動作に関する各種設定情報等が格納されている。

【0030】

ＡＦ信号処理部２０４は、ＡＦ用信号に対して画素加算処理、相関演算処理を行い、像ずれ量、信頼性情報（二像一致度、二像急峻度、コントラスト情報、飽和情報、キズ情報等）を算出する。算出した像ずれ量と、信頼性情報をカメラ制御部２１２へ出力する。また、カメラ制御部２１２は、取得した像ずれ量や信頼性情報に基づいて、これらを算出する設定の変更をＡＦ信号処理部２０４に通知する。相関演算の詳細については後述する。

【0031】

なお、本実施形態では、撮像信号及び２つのＡＦ用像信号の計３つの信号を撮像素子２０１から取り出しているが、このような方法に限定されない。撮像素子２０１の負荷を考慮し、例えば撮像信号と１つのＡＦ用像信号の計２つを取り出し、画像処理部２０２内で撮像信号とＡＦ用信号の差分を取ることでもう一つのＡＦ用像信号を生成するようにしてもよい。

【0032】

カメラ制御部２１２は、カメラ本体２０内の各ブロックと情報をやり取りして制御を行う。カメラ本体２０内の処理だけでなく、カメラ操作部２１４からの入力に応じて、電源のＯＮ／ＯＦＦ、設定の変更、静止画／動画記録の開始、ＡＦ制御の開始、記録映像の確認等の、ユーザが操作したさまざまなカメラ機能を実行する。また、前述したように、レンズ１０内のレンズ制御部１０６と情報をやり取りし、レンズに対する制御命令、制御情報を送り、またレンズ内の情報を取得する。

【0033】

＜動作の説明＞
次に、図１のカメラ１００の動作について説明する。

【0034】

図３（ａ）、図３（ｂ）、図４（ａ）、図４（ｂ）は、全て撮像素子２０１から読み出した画像をＤＲＡＭ２０９に書き込んだ状態を表す。書き込み方法、読み出し方法については後述する。図３、図４では、以後の説明を分かりやすくするために解像度を少なく表現しており、全画面を２６×１６ドットで表しているが、実際にはもっと多数の画素から構成される。

【0035】

図３（ｂ）を用いて被写体検知用のデフォーカスマップについて説明する。

【0036】

カメラ本体２０において、撮像素子２０１から読み出される画像信号に基づいてＡＦを行う。ＡＦを行うためには、被写体を検知し、その被写体の焦点検出を行う必要がある。被写体検知の方法はさまざまな方法があるが本実施形態では、撮像素子のほぼ全域を複数の矩形エリア（矩形領域）に区切り、それぞれのエリアで焦点検出を行うことによって、被写体検知用デフォーカスマップを作る。そして、デフォーカスマップから被写体を検知する。検知アルゴリズムは公知のものを用いることとする。簡単な例としては最も近くにいる被写体を選ぶなどの方法が考えられる。

【0037】

図３（ｂ）のうち、４×４画素からなる太線３１０の１つの矩形エリアから１つのデフォーカス量を検出する。算出方法は後述する。図３（ｂ）では、撮像素子２０１の撮像面にこのようなエリアが６×４＝２４個配置されており、これらのエリアそれぞれのデフォーカス量からデフォーカス量のマップを作成することができる。

【0038】

その際に、図３（ｂ）のように、撮像素子２０１のほぼ全面に矩形エリアをタイル状に隣接させて並べることが望ましい。この矩形エリアが重なり合うと、エリア同士が部分的に画素を共有することになるため、デフォーカスマップとして見ると被写体が膨張して認識される。逆に矩形エリアに隙間があると、隙間に存在する被写体を見落とすことになる。本実施形態では、被写体を検知するために、上記のような被写体検知用のデフォーカスマップが必要となる。

【0039】

図４（ａ）を用いてＡＦ用のデフォーカスマップについて説明する。

【0040】

カメラ本体２０において前述の被写体検知用のデフォーカスマップから被写体の位置を検知したのち、被写体の位置の矩形エリアに対し相関演算を行い、デフォーカス量を算出する。その後、レンズ１０を駆動してＡＦ（焦点調節）を行う。

【0041】

これだけでもＡＦは可能である。しかし、本実施形態では、焦点検出結果にばらつきが生じたり、背景が混ざることによって焦点検出結果が背景に引っ張られるなどの現象が起こるため、被写体に対応する複数の焦点検出枠からデフォーカス量を算出し、ＡＦ用のデフォーカスマップを作る。

【0042】

図４（ａ）は、読み出した画像のうちの被写体４０１の位置と、その位置に４つのデフォーカス枠４０２を設定した例を示している。図４（ａ）では、４つの枠４０２の線が重なるとわかりにくいため、僅かにずらして表示しているが、それぞれ６×６の４つの枠が被写体４０１をカバーしている。

【0043】

この場合、一つの枠はあまり小さくするとデフォーカス量が大きい場合の検知能力が落ちたり、相関演算で像の出入りが発生して安定しない。そのため、小さくできない枠を被写体に複数割り当てるために、図４（ａ）のように４枠を３画素ずつ重なり合わせ、２×２のＡＦ用デフォーカスマップを作成する。本実施形態では、このようなＡＦ用デフォーカスマップが必要となる。

【0044】

つまり本実施形態では、矩形エリアの重ね方の異なる被写体検知用とＡＦ用の２種類のデフォーカスマップを用いてＡＦを行う。これらのデフォーカスマップは、必要に応じて３つ以上用意してもよい。これらのデフォーカスマップのそれぞれでは、大きさ、重ね方以外にも、各種フィルタ、補正回路などの、画像処理を変えてもよい。その場合には、ＡＦ信号処理部２０４の中で画像処理を切り替えて行うことになる。

【0045】

図５を用いて、撮像素子の信号から２種類のデフォーカスマップを作成する流れについて説明する。

【0046】

カメラ本体２０で撮影を行う場合、フレーミングのために表示部２０６でライブビュー表示を行う。ライブビュー表示のために、撮像素子２０１からフレームごとに画像信号が読み出される。その際にフレームごとにＡＦ動作を行う。以下説明するフローチャートは、フレームごとに２種類のデフォーカスマップを作成する流れを示す。

【0047】

Ｓ５０１では、カメラ制御部２１２は、撮像素子２０１から画像信号を読み出し、読み出した画像信号から画像データを生成する。

【0048】

Ｓ５０２では、カメラ制御部２１２は、読み出された画像データに対して、画像処理部２０２を用いて画像処理を行う。

【0049】

Ｓ５０３では、カメラ制御部２１２は、画像データをＷＤＭＡＣ２２０を用いて、ＤＲＡＭ２０９に書き込む。画像の書き込み方については後述する。

【0050】

Ｓ５０４では、カメラ制御部２１２は、ＤＲＡＭ２０９に書き込まれた画像データを、被写体検知用のデフォーカスマップ作成のために、ＲＤＭＡＣ２２１を用いて読み出す。読み出し方については後述する。

【0051】

Ｓ５０５では、カメラ制御部２１２は、読み出した画像データについて焦点検出を行う。焦点検出の流れは図６を用いて後述する。

【0052】

Ｓ５０６では、カメラ制御部２１２は、ＤＲＡＭ２０９に書き込まれた画像データを、ＡＦ用のデフォーカスマップ作成のためにＲＤＭＡＣ２２１を用いて読み出す。読み出し方については後述する。

【0053】

Ｓ５０７では、読み出した画像データについて焦点検出を行う。焦点検出の流れは図６を用いて後述する。

【0054】

次に、図６を用いて、撮像素子による焦点検出処理の概略的な流れについて説明するが、詳細については公知の方法を用いるものとする。

【0055】

Ｓ６０１では、カメラ制御部２１２は、それぞれのデフォーカスマップの各枠の焦点検出範囲から像信号を取得する。これについては、図３（ｂ）、図４（ｂ）を用いて後述する。

【0056】

Ｓ６０２では、カメラ制御部２１２は、画像データの前処理を行う。たとえば各種フィルタ処理、縦方向の加算処理、傷画素の補間処理、補正処理などを行う。これらの処理については、公知の方法を用いることができるため、詳細な説明は省略する。

【0057】

Ｓ６０３では、カメラ制御部２１２は、画像データについて相関量（像ずれ量）を算出する。

【0058】

Ｓ６０４では、カメラ制御部２１２は、像ずれ量をデフォーカス量に変換する。

【0059】

これらの処理を、それぞれのデフォーカスマップの枠の数だけ行い、焦点検出処理を終了する。

【0060】

図３（ａ）を用いて、ＷＤＭＡＣ２２０がＤＲＡＭ２０９へ画像データをどのように配置して書き込むかについて説明する。

【0061】

図２（ｂ）で説明した通り、本実施形態の撮像素子２０１では、一つのマイクロレンズ内に２つの画素が配置されており、それぞれＡ，Ｂと表現している。これらの画素信号が、ＤＲＡＭ２０９内において、図３（ａ）のような順に並んで配置される。ＯＢ（オプティカルブラック部）は画像処理部２０２において除去されているものとする。前述の通り、説明を分かりやすくするために解像度を少なく表現しており、全画面で２６×１６ドットの配置となっているが、実際はもっと多数の画素が配置される。

【0062】

図３（ｂ）を用いて、被写体検知用のデフォーカスマップを作成するためのＲＤＭＡＣ２２１の読み込み順について説明する。ここで説明するのは、図５のＳ５０４において実行される読み出し方法である。前述の通り、被写体検知用のデフォーカスマップとしては、１枠４×４画素の枠が、６×４枠並んだマップを作成するものとする。それぞれの矩形枠３１０の単位でＡＦ信号処理部２０４に入力する必要があるので、図の矢印のような順序で入力する。

【0063】

詳細な動作については図７のフローチャートを用いて後述するが、まず１つの枠３１０を読み込むために、矢印３１１のように４画素を読み込み、次に点線矢印３１２のように第１のオフセットを加算してアドレスを移行し、次の行を読んでいく。４ライン分読み込んだら、点線矢印３１３のように第２のオフセットを加算し、次の枠の読み込みに進む。

【0064】

同様に、水平方向の６枠分の信号を読み込んだら、点線矢印３１４のように第３のオフセットを加算し、次の行の枠の読み込みに進む。図が煩雑になるので矢印は最後まで書かず省略しているが、最後まで繰り返すことによって必要な画素を全て読み出すことができる。このような処理の繰り返しと３種類のオフセットを用いて、６×４枠のデフォーカスマップを作成する。

【0065】

図４（ａ）、図４（ｂ）を用いて、ＡＦ用のデフォーカスマップを作成するためのＲＤＭＡＣ２２１の読み込み順について説明する。ここで説明するのは、図５のＳ５０６において実行される読み出し方法である。

【0066】

図４（ａ）、図４（ｂ）は同じ画像について、同じ位置の被写体、同じ位置のデフォーカスマップ枠の配置を示しているが、重なり合った枠が見にくくなるので同じものを２つの図で示している。前述の通り、ＡＦ用のデフォーカスマップとしては、１枠６×６画素の枠が、２×２枠並んだマップを作成するものとする。それぞれの矩形枠３１０の単位でＡＦ信号処理部２０４に入力する必要があるので、図の矢印のような順序で入力する。

【0067】

詳細な動作については図７のフローチャートを用いて後述するが、まず１つの枠４０３を読み込むために、矢印４１１のように６画素を読み込み、次に点線矢印４１２のように第１のオフセットを加算してアドレスを移行し、次の行を読んでいく。６ライン分読み込んだら、点線矢印４１３のように第２のオフセットを加算し、次の枠の読み込みに進む。

【0068】

同様に２枠分読み込んだら点線矢印４１４のように第３のオフセットを加算し、次の行の枠の読み込みに進む。このように処理の繰り返しと３種類のオフセットを用いて、２×２枠のデフォーカスマップを作成する。

【0069】

図７を用いて、ＲＤＭＡＣ２２１が、撮像素子２０１の１回の蓄積で得られた信号に対して２種類のデフォーカスマップ作成のために画像の読み出しを複数回行う動作について説明する。ここでは、被写体検出用のデフォーカスマップを作成する場合について説明し、１枠４×４画素の枠が６×４枠配置されている場合の例について説明する。ＡＦ用のデフォーカスマップも、１枠の画素数と枠数が異なるだけで、全く同様に作成することができる。

【0070】

Ｓ７０１では、カメラ制御部２１２は、縦の枠数のループを開始する、この例では縦方向の枠数が４枠なので４回繰り返す。

【0071】

Ｓ７０２では、カメラ制御部２１２は、横の枠数のループを開始する、この例では横方向の枠数が６枠なので６回繰り返す。

【0072】

Ｓ７０３では、カメラ制御部２１２は、横のライン数のループを開始する。この例では１枠内の縦方向の画素数が４画素なので４回繰り返す。

【0073】

Ｓ７０４では、カメラ制御部２１２は、１ラインの画素を読み出す。この例では１枠内の横方向の画素数が４画素なので４画素分読み出す。

【0074】

Ｓ７０５では、カメラ制御部２１２は、第１のオフセットを加算する。図３（ｂ）で矢印３１２のように読み出すために、１画素１ワードとすれば２３ワード分のアドレスを加算する。

【0075】

Ｓ７０６は、ライン数ループの閉ループである。

【0076】

Ｓ７０７では、カメラ制御部２１２は、第２のオフセットを加算する。図３（ｂ）で矢印３１３のように読み出すために、１画素１ワードとすれば７７ワード分のアドレスを減算する。

【0077】

Ｓ７０８は、横枠数ループの閉ループである。

【0078】

Ｓ７０９では、カメラ制御部２１２は、第３のオフセットを加算する。図３（ｂ）で矢印３１４のように読み出すために、１画素１ワードとすれば、３ワード分のアドレスを加算する。

【0079】

Ｓ７１０は、縦枠数ループの閉ループである。

【0080】

以上説明したように、本発明の第１の実施形態によれば、１つのＡＦ信号処理部２０４で、２つ以上のデフォーカスマップを生成することができる。ＤＲＡＭ２０９に配置されている１つの画像データから、被写体検出用のデフォーカスマップと、ＡＦ用のデフォーカスマップを生成することができる。同じ画像からデフォーカスマップを作成することができるため、別な画像からデフォーカスマップを作成するときに生じる被写体位置ずれなどが起こらないというメリットもある。

【0081】

（第２の実施形態）
この第２の実施形態では、カメラの構成は第１の実施形態と同様であり、２種類のデフォーカスマップの作成動作のみが異なるため、装置の構成についての説明は省略する。

【0082】

第２の実施形態における、２種類のデフォーカスマップを作成する第１の作成処理について、図５と図８（ａ）を用いて説明する。

【0083】

図８（ａ）では、横軸が時間を示し、撮像素子２０１の読み出し、ＷＤＭＡＣ２２０の書き込み、ＲＤＭＡＣ２２１の読み出し、ＡＦ信号処理部２０４の処理がそれぞれ行われる様子を示している。点線８０１で区切られている範囲が１フレーム分の処理を表す。１フレームの中で撮像素子２０１の読み出し時間以外の撮像素子２０１の蓄積時間および純粋な空き時間をブランキング期間８０５として表す。

【0084】

また、撮像素子２０１の読み出し速度に対して、画像処理部２０２、ＷＤＭＡＣ２２０、ＲＤＭＡＣ２２１、ＡＦ信号処理部２０４の処理速度は十分に高速で、撮像素子２０１の読み出し速度が律速しているものとする。

【0085】

図５を参照して説明すると、Ｓ５０１では、撮像素子２０１から画像信号を読み出し、読み出した画像信号から画像データを生成する。読み出し期間を、図８の期間８０２で示す。

【0086】

Ｓ５０２では、カメラ制御部２１２は、読み出された画像データに対して、画像処理部２０２を用いて画像処理を行う。撮像素子２０１の読み出しとほぼ同時に画像処理が行われるため、これを期間８０２で示す。

【0087】

Ｓ５０３では、カメラ制御部２１２は、画像データをＷＤＭＡＣ２２０を用いて、ＤＲＡＭ２０９に書き込む。撮像素子２０１の読み出しとほぼ同時に書き込みが行われるので、同じく期間８０２で示す。

【0088】

この時、撮像素子２０１と画像処理部２０２とＷＤＭＡＣ２２０は繋がり、パイプライン動作する。それぞれの間がバッファとストップ信号を介して繋がり、前の処理が後の処理を追い越さないように、後の処理はバッファがいっぱいになると前の処理へストップ信号を送る。これにより、バッファがあふれることなく順次処理が行われる。

【0089】

Ｓ５０４では、カメラ制御部２１２は、ＤＲＡＭ２０９に書き込まれた画像データを、被写体検知用のデフォーカスマップ作成のために、ＲＤＭＡＣ２２１を用いて読み出す。ＷＤＭＡＣ２２０の書き込みから後述する画素分だけ遅れて読み出しが行われるため、これを期間８０３で示す。

【0090】

Ｓ５０５では、カメラ制御部２１２は、読み出した画像データについて焦点検出を行う。ＲＤＭＡＣ２２１とＡＦ信号処理部２０４も同様にバッファとストップ信号を介して接続されるため、ＲＤＭＡＣ２２１で読み出した画素から順に相関演算が行われる。これらは、ほぼ同時に処理されるため、期間８０３で示す。ＷＤＭＡＣ２２０の書き込みアドレスと、ＲＤＭＡＣ２２１の読み出しアドレスは連携し、書き込みを読み出しが追い越さないように動作する。

【0091】

動作の例として、図３（ｂ）では画素３１０から画素３２０まで書き込まれたところで、矢印３１１の読み出しが行われる。その後の書き込み中は、しばらく読み出しはストップし、画素３２２まで書き込まれたところで、次の矢印３２１の読み出しが行われる。

【0092】

以上説明したように、画素／ライン単位での遅れはあるものの、デフォーカスマップの作成が撮像素子２０１の読み出しとほぼ同時に処理され、前述のように撮像素子２０１の読み出し速度に律速されて被写体検知用のデフォーカスマップが作成される。

【0093】

Ｓ５０６では、カメラ制御部２１２は、ＤＲＡＭ２０９に書き込まれた画像データを、ＡＦ用のデフォーカスマップ作成のためにＲＤＭＡＣ２２１を用いて読み出す。既に画像データはＤＲＡＭ２０９に書き込み済みであり、撮像素子２０１の読み出し速度に律速されないので、比較的高速に処理が進む。これを、期間８０４で示す。

【0094】

Ｓ５０７では、読み出した画像データについて焦点検出を行う。ＲＤＭＡＣ２２１で読み出した画素から順に相関演算が行われ、読み出しとほぼ同時に焦点検出処理が行われるため、これを期間８０４で示す。

【0095】

以上のような流れで２種類のデフォーカスマップを作成する第１の作成処理が行われる。ただし、図を見れば明らかであるが、この第１の作成処理はブランキング期間８０５が十分に長くなければ成り立たない。近年、ハイフレームレート動画の需要が高まっているが、その場合撮像素子の読み出し期間８０２を１フレーム内で捻出することが難しくなり、ブランキング時間８０５が短くなる傾向がある。この場合、ＡＦ用のデフォーカスマップのための読み出し期間、演算期間（演算時間）８０４が次のフレームにはみ出してしまう（フレームの時間間隔からはみ出してしまう）ことになる。

【0096】

本実施形態では、ＡＦ信号処理部２０４は１つであるため、次のフレームにはみ出すと、被写体検出用のデフォーカスマップの演算と、ＡＦ用のデフォーカスマップの演算が重なって、成り立たなくなる。

【0097】

以下、これを回避するための処理である、２種類のデフォーカスマップを作成する第２の作成処理について説明する。２種類のデフォーカスマップを作成する第２の作成処理について、図５と図８（ｂ）を用いて説明する。

【0098】

図８（ｂ）においても、横軸が時間を示し、撮像素子２０１の読み出し、ＷＤＭＡＣ２２０の書き込み、ＲＤＭＡＣ２２１の読み出し、ＡＦ信号処理部２０４の処理がそれぞれ行われる様子を示している。点線８１１で区切られている範囲が１フレーム分の処理を表す。１フレームの中で撮像素子２０１の読み出し時間以外の撮像素子２０１の蓄積時間および純粋な空き時間をブランキング期間８１５として表す。

【0099】

図５を参照して説明すると、Ｓ５０１では、撮像素子２０１から画像信号を読み出し、読み出した画像信号から画像データを生成する。読み出し期間を、図８の期間８１２で示す。

【0100】

Ｓ５０２では、カメラ制御部２１２は、読み出された画像データに対して、画像処理部２０２を用いて画像処理を行う。撮像素子２０１の読み出しとほぼ同時に画像処理が行われるため、これを期間８１２で示す。

【0101】

Ｓ５０３では、カメラ制御部２１２は、画像データをＷＤＭＡＣ２２０を用いて、ＤＲＡＭ２０９に書き込む。撮像素子２０１の読み出しとほぼ同時に書き込みが行われるので、同じく期間８１２で示す。この第２の作成処理では、ＤＲＡＭ２０９上に画像データの２面分のエリアを確保して、交互に用いる。

【0102】

Ｓ５０４では、カメラ制御部２１２は、ＤＲＡＭ２０９に書き込まれた画像データを、被写体検知用のデフォーカスマップ作成のために、ＲＤＭＡＣ２２１を用いて読み出す。ＷＤＭＡＣ２２０の書き込みが完全に完了した後に読み出しが行われるので期間８１３で示す。

【0103】

Ｓ５０５では、カメラ制御部２１２は、読み出した画像データについて焦点検出を行う。ＲＤＭＡＣ２２１とＡＦ信号処理部２０４はバッファとストップ信号を介して接続されるため、ＲＤＭＡＣ２２１で読み出した画素から順に相関演算が行われる。これらは、ほぼ同時に処理されるため、期間８１３で示す。

【0104】

以上の処理により、被写体検知用のデフォーカスマップが作成される。この第２の作成処理では、第１の作成処理と異なり、ＷＤＭＡＣ２２０の書き込みアドレスと、ＲＤＭＡＣ２２１の読み出しアドレスは連携しない。

【0105】

Ｓ５０６では、カメラ制御部２１２は、ＤＲＡＭ２０９に書き込まれた画像データを、ＡＦ用のデフォーカスマップ作成のためにＲＤＭＡＣ２２１を用いて読み出す。被写体検出用のデフォーカスマップの作成処理の後に同じ回路を用いて行うため、この期間を期間８１４で示す。

【0106】

Ｓ５０７では、読み出した画像データについて焦点検出を行う。ＲＤＭＡＣ２２１で読み出した画素から順に相関演算が行われ、読み出しとほぼ同時に焦点検出処理が行われるため、これを期間８１４で示す。

【0107】

なお、期間８１４では、次の撮像素子２０１の読み出しがもう開始されている（期間８１６）が、ＤＲＡＭ２０９の２面分のエリアのうち前のフレームで用いていない部分を期間８１６の読み出しに用いるため、処理が重なることはない。

【0108】

以上のような流れで、２種類のデフォーカスマップを作成する第２の作成処理が行われる。この手順であれば、ブランキング時間８１５が短かったとしても、２種類のデフォーカスマップを１つのＡＦ信号処理部で作成することができる。ただし、第１の作成処理の方が各デフォーカスマップの完成の時間が早い。そのため、各撮影モードのフレームレート、撮像素子の読み出し時間、ブランキング時間によって、第１の作成処理と第２の作成処理を使い分けるとよい。

【0109】

以上説明したように、上記の第２の実施形態によれば、１つのＡＦ信号処理部２０４で、２つ以上のデフォーカスマップを生成することができる。ＤＲＡＭ２０９に配置されている１つの画像から、被写体検出用のデフォーカスマップと、ＡＦ用のデフォーカスマップを生成することができる。同じ画像からデフォーカスマップを作成することができため、別な画像からデフォーカスマップを作成するときに生じる被写体位置ずれが起こらないというメリットもある。また、１フレームのブランキング時間が短くても、２つ以上のデフォーカスマップを作成することができる。

【0110】

（第３の実施形態）
この第３の実施形態でも、カメラの構成は第１の実施形態と同様であり、２種類のデフォーカスマップの作成動作のみが異なるため、装置の構成についての説明は省略する。

【0111】

第３の実施形態における、２種類のデフォーカスマップを作成する作成処理について、図８（ｃ）を用いて説明する。

【0112】

図８（ｃ）では、横軸が時間を示し、撮像素子２０１の読み出し、ＷＤＭＡＣ２２０の書き込み、ＲＤＭＡＣ２２１の読み出し、ＡＦ信号処理部２０４の処理がそれぞれ行われる様子を示している。点線８２０で区切られている範囲が１フレーム分の処理を表す。

【0113】

ＡＦ用のデフォーカスマップを期間８２２，８２３，８２５，８２６において作成する。このとき、被写体検出用のデフォーカスマップを８２１，８２４において、１フレーム置きに作成する。被写体検出用のデフォーカスマップの作成処理は負荷が重いため、毎フレームは行わず、ＡＦ用のデフォーカスマップの作成処理は毎フレーム行う。

【0114】

また、カメラ本体２０全体の処理負荷によって、図８（ｃ）のように被写体検出用のデフォーカスマップ作成を間引く（フレームごとにＤＲＡＭ２０９からの画素信号の読み出し回数を変える）処理と、図８（ａ）の様に間引かない処理を切り替えることも考えられる。

【0115】

以上説明したように、第３の実施形態によれば、１つのＡＦ信号処理部２０４で、２つ以上のデフォーカスマップを生成する際に、それぞれのデフォーカスマップのフレームレートを変えることができる。複数のデフォーカスマップのうちいくつかを適宜間引くことによって、処理負荷を低減することができる。

【0116】

（第４の実施形態）
本実施形態の撮像素子２０１では、図２（ｃ）のように撮像面位相差ＡＦを行うために、一つのマイクロレンズに対して２つのフォトダイオードが配置されている。その際に、横方向に２つの光電変換素子２９５，２９６を有する行と、縦方向に２つの光電変換素子２９７，２９８を有する行がある。これによって横方向の位相差と、縦方向の位相差によるＡＦが可能になる。光学的に図２（ｃ）のように画素が配置されていても、撮像素子２０１から読み出された画素信号がＤＲＡＭ２０９に書き込まれた状態では、図３（ａ）のような配置となる。

【0117】

図９（ａ）を用いて、横方向の位相差で、被写体検知用のデフォーカスマップを作成するためのＲＤＭＡＣ２２１の読み込み順について説明する。これは、図５のＳ５０４において実行される読み出し方法である。なお、横方向の位相差を用いたＡＦ用のデフォーカスマップの作成も、同様に、奇数行を読むことによって実現できるので、ここでは説明を省略する。

【0118】

前述した通り、被写体検知用のデフォーカスマップとして、１枠４×４画素の枠が、６×４枠配置されたマップを作るのであるが、それに使用する横方向に瞳分割されている行は、図２（ｃ）に示されるように奇数行である。それぞれの矩形枠９００の単位でＡＦ信号処理部２０４に入力する必要があるので、図９（ａ）の矢印のような順序で入力する。

【0119】

まず、１つの枠９００を読み込むために、矢印９０１のように１行目の４画素を読み込み、次に点線矢印９０２のように第１のオフセットを加算し、アドレスを移行して次の行である３行目を読み込んでいく。１行目と３行目の２ライン分を読み込むと、点線矢印９０３のように第２のオフセットを加算し、次の枠の読み込みに進む。

【0120】

同様に、６枠分読み込んだら点線矢印９０４のように第３のオフセットを加算し、次の行の枠の演算に進む。このような処理の繰り返しと３種類のオフセットを用いて、６×４枠のデフォーカスマップを作成する。

【0121】

図９（ｂ）を用いて、縦方向の位相差で、被写体検知用のデフォーカスマップを作成するためのＲＤＭＡＣ２２１の読み込み順について説明する。これは、図５のＳ５０４において実行される読み出し方法である。なお、縦方向の位相差を用いたＡＦ用のデフォーカスマップの作成も、同様に、偶数行を読むことによって実現できるので、ここでは説明を省略する。

【0122】

前述した通り、被写体検知用のデフォーカスマップとして、１枠４×４画素の枠が、６×４枠配置されたマップを作るのであるが、それに使用する縦方向に瞳分割されている行は、図２（ｃ）に示されるように偶数行である。それぞれの矩形枠９１０の単位でＡＦ信号処理部２０４に入力する必要があるので、図９（ｂ）の矢印のような順序で入力する。

【0123】

まず、１つの枠９１０を読み込むために、矢印９１１のように２行目の４画素を読み込み、次に点線矢印９１２のように第１のオフセットを加算し、アドレスを移行して次の行である４行目を読み込んでいく。２行目と４行目の２ライン分を読み込むと、点線矢印９１３のように第２のオフセットを加算し、次の枠の読み込みに進む。

【0124】

同様に、６枠分読み込んだら点線矢印９１４のように第３のオフセットを加算し、次の行の枠の読み込みに進む。このような処理の繰り返しと３種類のオフセットを用いて、６×４枠のデフォーカスマップを作成する。

【0125】

複雑なオフセットを用いて縦方向に読み出す方法も考えられるが、ＤＲＡＭを読み込む場合、連続的に読み込んだ後に回転させる方が、キャッシュなどを利用できるので有利である。

【0126】

以上説明したように、第４の実施形態によれば、１つのＡＦ信号処理部２０４で、２つ以上のデフォーカスマップを生成する際に、撮像素子２０１の瞳分割がラインごとに異なる場合でも、縦方向の位相差を用いたデフォーカスマップと、横方向の位相差を用いたデフォーカスマップを作成することができる。

【0127】

なお、本実施形態では撮像素子２０１の瞳分割が１ラインごとに異なる実施形態を示したが、これに限らず、２以上の所定数ラインごとに異ならせてもよいし、必ずしも周期的に並んでいる必要はなく、縦方向に相関を有する画素を配置した行と、横方向に相関を有する画素を配置した行とを有している撮像素子であれば、本発明を適用できる。

【0128】

（第５の実施形態）
この第５の実施形態でも、カメラの構成は第１の実施形態と同様であり、２種類のデフォーカスマップの作成動作のみが異なるため、装置の構成についての説明は省略する。

【0129】

図１０（ａ）を用いて、第５の実施形態における、ＷＤＭＡＣ２２０がＤＲＡＭ２０９へ画像データをどのように配置して書き込むかについて説明する。

【0130】

図２（ｂ）で説明した通り、撮像素子２０１の各画素では、一つのマイクロレンズ内に２つの画素が配置されており、それぞれＡ，Ｂと表現している。これらの画素が、撮像素子２０１の読み出し方、画像処理部２０２の処理によって、図１０（ａ）のような順に並ぶ場合を考える。

【0131】

図１０（ｂ）を用いて、被写体検知用のデフォーカスマップを作成するためのＲＤＭＡＣ２２１の読み込み順について説明する。これは、図５のＳ５０４において行われる読み出し方法である。ここで、ＲＤＭＡＣ２２１は２つあり、それぞれがＡＦ信号処理部２０４に接続され、相関演算が行われるものとする。

【0132】

被写体検知用のデフォーカスマップは、１枠４×４画素の枠が、３×４枠配置されて構成される。

【0133】

最初に第１のＲＤＭＡＣ２２１によってＡ像を読み出す。それぞれの矩形枠１０００の単位でＡＦ信号処理部２０４に入力する必要があるので、図の矢印のような順序で入力する。

【0134】

１つの枠１０００を読み込むために、矢印１００１のように４画素読み込み、次に点線矢印１００２のように第１のオフセットを加算し、アドレスを移行して次の行を読んでいく。４ライン分読み込んだら、点線矢印１００３のように第２のオフセットを加算し、次の枠の読み込みに進む。

【0135】

同様に、３枠分読み込んだ後に、点線矢印１００４のように第３のオフセットを加算し、次の行の枠の読み込みに進む。

【0136】

同様に、第２のＲＤＭＡＣ２２１によってＢ像を読み出す。それぞれの矩形枠１０００の単位でＡＦ信号処理部２０４に入力する必要があるので、図の矢印のような順序で入力する。

【0137】

１つの枠１０００を読み込むために、矢印１０１１のように４画素読み込み、次に点線矢印１０１２で示される第１のオフセットを加算し、アドレスを移行して次の行を読んでいく。４ライン分読み込んだら、点線矢印１０１３のように第２のオフセットを加算し、次の枠の読み込みに進む。

【0138】

同様に、３枠分読み込んだ後に、点線矢印１０１４のように第３のオフセットを加算し、次の行の枠の読み込みに進む。

【0139】

このような処理の繰り返しと３種類のオフセットを用いて、３×４枠のデフォーカスマップを作成する。

【0140】

以上説明したように、第５の実施形態によれば、Ａ画素、Ｂ画素が交互でなく面ごとに配置されていても、１つのＡＦ信号処理部２０４で、２つ以上のデフォーカスマップを生成することができる。

【0141】

本実施形態によれば、ＤＲＡＭ２０９に配置されている１つの画像から、被写体検出用のデフォーカスマップと、ＡＦ用のデフォーカスマップを生成することができる。そのため、同じ画像からデフォーカスマップを作成することができ、別な画像からデフォーカスマップを作成する場合に生じる被写体位置ずれが起こらないというメリットもある。

【0142】

（他の実施形態）
また本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読み出し実行する処理でも実現できる。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現できる。

【0143】

発明は上記実施形態に制限されるものではなく、発明の精神及び範囲から離脱することなく、様々な変更及び変形が可能である。従って、発明の範囲を公にするために請求項を添付する。

【符号の説明】

【0144】

１０：レンズ、２０：カメラ本体、１０６：レンズ制御部、２０１：撮像素子、２０２：画像処理部、２０４：ＡＦ信号処理部、２０９：ＤＲＡＭ、２１２：カメラ制御部

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】