知財求人 - 知財ポータルサイト「IP Force」
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】特開2018-113542(P2018-113542A)
(43)【公開日】2018年7月19日
(54)【発明の名称】撮像装置、撮像方法
(51)【国際特許分類】
H04N 5/347 20110101AFI20180622BHJP
H04N 5/369 20110101ALI20180622BHJP
G02B 7/34 20060101ALI20180622BHJP
G03B 13/36 20060101ALI20180622BHJP
H04N 9/07 20060101ALI20180622BHJP
【ＦＩ】
H04N5/347
H04N5/369
G02B7/34
G03B13/36
H04N9/07 A
【審査請求】未請求
【請求項の数】9
【出願形態】ＯＬ
【全頁数】31
(21)【出願番号】特願2017-1882(P2017-1882)
(22)【出願日】2017年1月10日
(71)【出願人】
【識別番号】000000376
【氏名又は名称】オリンパス株式会社
(74)【代理人】
【識別番号】100076233
【弁理士】
【氏名又は名称】伊藤 進
(74)【代理人】
【識別番号】100101661
【弁理士】
【氏名又は名称】長谷川 靖
(74)【代理人】
【識別番号】100135932
【弁理士】
【氏名又は名称】篠浦 治
(72)【発明者】
【氏名】畠山 陵
【テーマコード（参考）】
2H011
2H151
5C024
5C065
【Ｆターム（参考）】
2H011BA23
2H011BB04
2H151BA02
5C024CY12
5C024CY17
5C024EX31
5C024EX34
5C024EX42
5C024EX43
5C024EX52
5C024GY01
5C024GY31
5C024GZ24
5C024HX55
5C024HX60
5C065AA01
5C065BB11
5C065CC01
5C065DD02
5C065DD15
5C065DD17
5C065EE05
5C065EE06
5C065EE11
5C065GG21
5C065GG23
(57)【要約】
【課題】画素数を低減し位相差検知精度を向上する撮像装置等を提供する。【解決手段】複数色の画素が基本配列の繰り返しとして第１および第２の方向に配置され、任意の画素は第１の方向に沿って複数の分割画素に分割されている画素部４ａと、同一色かつ同一分割位置に係る複数の分割画素信号に少画素化を行って処理後画素信号を生成するＭＩＸ部１１，１２，１３と、位相差検知を優先する場合には、処理後画素信号の第２の方向の並び間隔が等間隔にならないように、ＭＩＸ部１１，１２，１３の少画素化を制御する管理指示部１４と、を備える撮像装置１。
【選択図】図１
【特許請求の範囲】
【請求項1】
分光特性が異なる複数種類の画素が、基本配列の繰り返しとして、第１の方向および上記第１の方向に垂直な第２の方向に配置され、任意の画素は上記第１の方向に沿った複数の分割位置の複数の分割画素に分割されている画素部と、
同一種類の画素かつ同一の分割位置に係る、隣接する複数の分割画素の分割画素信号に、少画素化を行って処理後画素信号を生成することにより、画素数を減少させる少画素化部と、
位相差検知を優先するか否かに応じて、上記少画素化部による少画素化を制御する制御部と、
を備え、
上記制御部は、上記位相差検知を優先する場合には、上記処理後画素信号の上記第２の方向の並び間隔が等間隔にならないように、上記第２の方向に隣接する複数の分割画素の分割画素信号の少画素化を行わせるように、上記少画素化部を制御することを特徴とする撮像装置。
同一種類の画素かつ同一の分割位置に係る、隣接する複数の分割画素の分割画素信号に、少画素化を行って処理後画素信号を生成することにより、画素数を減少させる少画素化部と、
位相差検知を優先するか否かに応じて、上記少画素化部による少画素化を制御する制御部と、
を備え、
上記制御部は、上記位相差検知を優先する場合には、上記処理後画素信号の上記第２の方向の並び間隔が等間隔にならないように、上記第２の方向に隣接する複数の分割画素の分割画素信号の少画素化を行わせるように、上記少画素化部を制御することを特徴とする撮像装置。
【請求項2】
上記制御部は、上記位相差検知を優先しない場合であって、上記第２の方向に隣接する複数の分割画素の分割画素信号の少画素化を行わせる場合には、上記処理後画素信号の上記第２の方向の並び間隔が等間隔になるように、上記少画素化部を制御することを特徴とする請求項１に記載の撮像装置。
【請求項3】
上記制御部は、上記位相差検知を優先するか否かに関わらず、上記第１の方向に隣接する複数の分割画素の分割画素信号の少画素化を行わせる場合には、上記処理後画素信号の上記第１の方向の並び間隔が等間隔になるように、上記少画素化部を制御することを特徴とする請求項１または請求項２に記載の撮像装置。
【請求項4】
上記画素部は、撮像素子に設けられており、
上記少画素化部は、上記撮像素子に設けられた素子内少画素化部を備え、
上記制御部は、上記位相差検知を優先する場合における、上記処理後画素信号の上記第２の方向の並び間隔が等間隔にならないように、上記第２の方向に隣接する複数の分割画素の分割画素信号の少画素化を行わせる制御を、少なくとも上記素子内少画素化部に対して行うことを特徴とする請求項１に記載の撮像装置。
上記少画素化部は、上記撮像素子に設けられた素子内少画素化部を備え、
上記制御部は、上記位相差検知を優先する場合における、上記処理後画素信号の上記第２の方向の並び間隔が等間隔にならないように、上記第２の方向に隣接する複数の分割画素の分割画素信号の少画素化を行わせる制御を、少なくとも上記素子内少画素化部に対して行うことを特徴とする請求項１に記載の撮像装置。
【請求項5】
上記少画素化部は、混合と間引きとの少なくとも一方を、上記少画素化として行うことを特徴とする請求項１に記載の撮像装置。
【請求項6】
上記制御部は、上記少画素化部が混合により上記少画素化を行う場合には、混合対象となる複数の分割画素の位置を指定することにより、上記処理後画素信号の重心位置を設定することを特徴とする請求項５に記載の撮像装置。
【請求項7】
上記制御部は、さらに、混合対象となる複数の分割画素の分割画素信号の混合比率を指定することにより、上記処理後画素信号の上記重心位置を設定することを特徴とする請求項６に記載の撮像装置。
【請求項8】
上記制御部は、上記少画素化部が間引きにより上記少画素化を行う場合には、間引かれることなく残る分割画素の位置を指定することにより、上記処理後画素信号の位置を設定することを特徴とする請求項５に記載の撮像装置。
【請求項9】
分光特性が異なる複数種類の画素が、基本配列の繰り返しとして、第１の方向および上記第１の方向に垂直な第２の方向に配置され、任意の画素は上記第１の方向に沿った複数の分割位置の複数の分割画素に分割されている画素部から出力された、同一種類の画素かつ同一の分割位置に係る、隣接する複数の分割画素の分割画素信号に、少画素化を行って処理後画素信号を生成することにより、画素数を減少させる少画素化ステップと、
位相差検知を優先するか否かに応じて、上記少画素化ステップによる少画素化を制御する制御ステップと、
を備え、
上記制御ステップは、上記位相差検知を優先する場合には、上記処理後画素信号の上記第２の方向の並び間隔が等間隔にならないように、上記第２の方向に隣接する複数の分割画素の分割画素信号の少画素化を行わせるように、上記少画素化ステップを制御することを特徴とする撮像方法。
位相差検知を優先するか否かに応じて、上記少画素化ステップによる少画素化を制御する制御ステップと、
を備え、
上記制御ステップは、上記位相差検知を優先する場合には、上記処理後画素信号の上記第２の方向の並び間隔が等間隔にならないように、上記第２の方向に隣接する複数の分割画素の分割画素信号の少画素化を行わせるように、上記少画素化ステップを制御することを特徴とする撮像方法。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、１つの画素が位相差検知用の複数の分割画素に分割されている撮像装置、撮像方法に関する。
【背景技術】
【0002】
１つの画素を位相差検知用の複数の分割画素に分割した構成の撮像素子が、従来より提案されている。
【0003】
このような撮像素子は、１つのマイクロレンズに対して複数のフォトダイオード（ＰＤ）を設けることにより、位相差情報を取得することができるようにしているが、１つのマイクロレンズに対して１つのフォトダイオードを設ける構成と比較して画素数が増加するために、撮像素子上の全ての画素信号を読み出すための読み出し時間、および消費電力が増える傾向にある。
【0004】
そこで、位相差情報が不要な例えば静止画撮影では、撮像素子内で分割画素の分割画素信号を加算して通常の画素信号として読み出すことが行われている。また、その他の動作モードにおいても、画素信号を加算して読み出すことが行われる場合がある。
【0005】
撮像素子内で画素信号の加算を行う技術として、例えば、特開２０１５−１７３３８７号公報には、受光量に応じた信号電荷を蓄積する複数の光電変換部を備える画素が２次元マトリックス状に配列された撮像素子であって、画素の各々から信号電荷を読み出す際、第１の数の光電変換部から信号電荷に応じた画素信号を第１の画素信号として読み出すとともに、第１の数と異なる第２の数の光電変換部から信号電荷に応じた画素信号を第２の画素信号として読み出す読み出し手段と、予め定められた数の画素を１つの第１の単位として第１の単位において第１の画素信号および第２の画素信号を加算して第１の画像信号を得る加算手段と、を有する撮像素子が記載されている。
【先行技術文献】
【特許文献】
【0006】
【特許文献1】特開２０１５−１７３３８７号公報
【発明の概要】
【発明が解決しようとする課題】
【0007】
例えば、縦線検知用のＡＦ情報（左分割画素および右分割画素に基づく位相差情報）を残しながら読み出し画素数を低減する方法として、垂直方向に加算、加算平均、または間引きなどを行う方法がある。
【0008】
具体的に、本願の図２に示すような左右方向に分割された分割画素を、本願の図１１および図１２等に示すように、左分割画素同士および右分割画素同士でそれぞれ垂直３画素ミックス（ＭＩＸ）する場合には、本願の図１３に示すように、垂直方向に等間隔なミックス画素が得られる。このようなミックス画素は、画素配置が垂直方向および水平方向に等間隔となるために、画像の画質を向上する観点からは好ましいが、位相差検知の観点からは好ましいとは言えない。
【0009】
つまり、輝度成分を主に担うＧ（グリーン）画素をＡＦ用の位相差画素として使用する場合に、Ｒ画素と同一行にあるＧｒ画素のみ（またはＢ画素と同一行にあるＧｂ画素のみ）を用いると、水平方向の画素間隔が広くなってしまう。従って、水平方向における検知精度（縦線検知精度）を高めるには、隣接する行のＧｒ画素とＧｂ画素とを組み合わせる必要がある。しかし図１３に示すような配置では、Ｇｒ画素が配列された行とＧｂ画素が配列された行との垂直方向の間隔が広いために、位相差検知精度が低下してしまう。
【0010】
本発明は上記事情に鑑みてなされたものであり、画素数を低減し位相差検知精度を向上することができる撮像装置、撮像方法を提供することを目的としている。
【課題を解決するための手段】
【0011】
本発明のある態様による撮像装置は、分光特性が異なる複数種類の画素が、基本配列の繰り返しとして、第１の方向および上記第１の方向に垂直な第２の方向に配置され、任意の画素は上記第１の方向に沿った複数の分割位置の複数の分割画素に分割されている画素部と、同一種類の画素かつ同一の分割位置に係る、隣接する複数の分割画素の分割画素信号に、少画素化を行って処理後画素信号を生成することにより、画素数を減少させる少画素化部と、位相差検知を優先するか否かに応じて、上記少画素化部による少画素化を制御する制御部と、を備え、上記制御部は、上記位相差検知を優先する場合には、上記処理後画素信号の上記第２の方向の並び間隔が等間隔にならないように、上記第２の方向に隣接する複数の分割画素の分割画素信号の少画素化を行わせるように、上記少画素化部を制御する。
【0012】
本発明のある態様による撮像方法は、分光特性が異なる複数種類の画素が、基本配列の繰り返しとして、第１の方向および上記第１の方向に垂直な第２の方向に配置され、任意の画素は上記第１の方向に沿った複数の分割位置の複数の分割画素に分割されている画素部から出力された、同一種類の画素かつ同一の分割位置に係る、隣接する複数の分割画素の分割画素信号に、少画素化を行って処理後画素信号を生成することにより、画素数を減少させる少画素化ステップと、位相差検知を優先するか否かに応じて、上記少画素化ステップによる少画素化を制御する制御ステップと、を備え、上記制御ステップは、上記位相差検知を優先する場合には、上記処理後画素信号の上記第２の方向の並び間隔が等間隔にならないように、上記第２の方向に隣接する複数の分割画素の分割画素信号の少画素化を行わせるように、上記少画素化ステップを制御する。
【発明の効果】
【0013】
本発明の撮像装置、撮像方法によれば、画素数を低減し位相差検知精度を向上することができる。
【図面の簡単な説明】
【0014】
【図1】本発明の実施形態１における撮像装置の構成を示すブロック図。
【図2】上記実施形態１の撮像素子の画素部における分割画素の構成を示す図。
【図3】上記実施形態１において、位相差検知を優先したＲ分割画素に係る垂直３画素ミックスの例を示す図。
【図4】上記実施形態１において、位相差検知を優先した垂直３画素ミックスにより得られるミックス画素の配置が、垂直方向に等間隔でない様子を示す図。
【図5】上記実施形態１において、位相差検知を優先したＲ分割画素に係る垂直２画素ミックスの例を示す図。
【図6】上記実施形態１において、位相差検知を優先したＲ分割画素に係る水平３画素ミックスの例を示す図。
【図7】上記実施形態１において、位相差検知を優先したＧｒ分割画素に係る水平３画素ミックスの例を示す図。
【図8】上記実施形態１において、位相差検知を優先した水平３画素ミックスにより得られるミックス画素の配置が水平方向に等間隔である例を示す図。
【図9】上記実施形態１において、位相差検知を優先したＲ分割画素に係る水平２画素ミックスを、重み付け加算により行う例を示す図。
【図10】上記実施形態１において、位相差検知を優先したＧｒ分割画素に係る水平２画素ミックスを、重み付け加算により行う例を示す図。
【図11】上記実施形態１において、画質を優先したＲ分割画素に係る垂直３画素ミックスの例を示す図。
【図12】上記実施形態１において、画質を優先したＧｂ分割画素に係る垂直３画素ミックスの例を示す図。
【図13】上記実施形態１において、画質を優先した垂直３画素ミックスにより得られるミックス画素の配置が、垂直方向に等間隔である様子を示す図。
【図14】上記実施形態１において、画質を優先したＲ分割画素に係る垂直２画素ミックスを、重み付け加算により行う例を示す図。
【図15】上記実施形態１において、画質を優先したＧｂ分割画素に係る垂直２画素ミックスを、重み付け加算により行う例を示す図。
【図16】上記実施形態１の撮像装置の撮影時の作用を示すフローチャート。
【図17】上記実施形態１の撮像装置のＡＦ用処理を示すフローチャート。
【図18】上記実施形態１の撮像装置の静止画用処理を示すフローチャート。
【図19】上記実施形態１の撮像装置の動画用処理を示すフローチャート。
【図20】上記実施形態１の撮像装置のＬＶ用処理を示すフローチャート。
【図21】上記実施形態１の撮像装置におけるＡＦ、静止画、動画、ＬＶに応じたミックス処理の分類を示す図表。
【図22】上記実施形態１の撮像装置における、ミックス処理と各図との対応を示す図表。
【発明を実施するための形態】
【0015】
以下、図面を参照して本発明の実施の形態を説明する。［実施形態１］
【0017】
この撮像装置１は、撮像レンズ２と、シャッタ３と、撮像素子用画素ＭＩＸ部１１を有する撮像素子４と、データバス５と、内部メモリ６と、ＡＦ信号処理部７と、画像信号処理部８と、表示部９と、入力インタフェース（ＩＦ）１０と、ＡＦ信号用画素ＭＩＸ部１２と、画像信号用画素ＭＩＸ部１３と、ＭＩＸモード管理・指示部１４と、システム制御部１５と、を備えている。なお、図１には外部メモリ２０も図示されているが、外部メモリ２０は、例えば撮像装置１に着脱可能なメモリカード等で構成されているために、撮像装置１に固有の構成でなくても構わない。
【0018】
撮像レンズ２は、被写体の光学像を撮像素子４に結像する撮像光学系である。この撮像レンズ２は、ピント位置を調節するためのフォーカスレンズと、光の通過範囲を調節するための絞りとを備えている。また、撮像レンズ２は、ズーム位置を調節可能なズームレンズであっても構わない。
【0019】
シャッタ３は、撮像素子４の露光時間を調整するものである。ここではシャッタ３が、被写体の光学像が通過する光路上に設けられていて、例えば遮光幕を開閉動作することにより撮像素子４への光学像の到達と遮光とを制御する光学シャッタであることを想定しているが、これに限定されるものではなく、いわゆる電子シャッタを用いても良いし、光学シャッタと電子シャッタとを併用しても構わない。
【0020】
撮像素子４は、例えばＣＭＯＳイメージセンサ、あるいはＣＣＤイメージセンサなどとして構成され、被写体の光学像を２次元状に配列された複数の画素（各画素は、光電変換を行うフォトダイオード（ＰＤ）を含んでいる）により光電変換して、画像信号を生成するものである。ここでは、撮像素子４がデジタル画像信号を出力するデジタル撮像素子であることを想定しているが、撮像素子４をアナログ撮像素子として構成すると共に、撮像素子４とデータバス５との間にＡ／Ｄ変換部を別途設けても構わない。
【0021】
この撮像素子４は、分光特性が異なる複数種類の画素が、基本配列の繰り返しとして、第１の方向および第１の方向に垂直な第２の方向に配置され、任意の画素は上記第１の方向に沿った複数の分割位置の複数の分割画素に分割されている画素部４ａを備えている。
【0022】
このような構成により、画素部４ａで生成される画像データは、第１の方向および第２の方向に配列された複数の画素データで構成され、各画素データは、第１の方向に沿った複数の分割画素データで構成される。
【0023】
ここで、図２は、撮像素子４の画素部４ａにおける分割画素の構成を示す図である。この図２には、画素部４ａにおける縦２０×横８画素（縦２０×横１６分割画素）の画素配置を例示しており、行番号がＭ〜（Ｍ＋１９）、分割画素に対する列番号がＮ〜（Ｎ＋１５）の部分を示している。なお、「行」は「ライン」と呼ばれることもある。
【0024】
本実施形態に示す例においては、図２に示すように、分光特性が異なる複数種類の画素がＲ（レッド）画素、Ｇ（グリーン）画素（Ｒ画素と同一行にあるＧ画素であるＧｒ画素、およびＢ画素と同一行にあるＧ画素であるＧｂ画素）、Ｂ（ブルー）画素であり、基本配列が原色ベイヤー配列となっている（ただし、これに限定されるものではない）。そして、１つのマイクロレンズＭＬに対応する１画素が、第１の方向である水平方向に沿って、２つの分割画素（右分割画素および左分割画素）に分割されている。
【0025】
このような構成により、水平方向に配列された右分割画素群と、水平方向に配列された左分割画素群と、に基づき、水平方向の位相差を検知することで、いわゆる縦線検知を行うことが可能となっている。
【0026】
なお、ここでは左右方向の分割画素の例を示したが、第１の方向を垂直方向として上下方向に分割された分割画素（上分割画素および下分割画素）を用いれば、垂直方向の位相差検知、つまりいわゆる横線検知を行うことが可能となる。
【0027】
さらに、１つのマイクロレンズに対応する１画素を、上下左右に４分割した分割画素を用いれば、縦線検知および横線検知の両方を行うことが可能となる。
【0028】
ここに、上下左右の４分割画素の構成において、左上の分割画素と左下の分割画素とを加算し、右上の分割画素と右下の分割画素とを加算すれば、図２に示したような左右の２分割画素の構成と同等となる。同様に、上下左右の４分割画素の構成において、左上の分割画素と右上の分割画素とを加算し、左下の分割画素と右下の分割画素とを加算すれば、上下の２分割画素の構成と同等となる。
【0029】
データバス５は、各種の命令やデータなどを、撮像装置１内のある部分から他の部分へ伝送するものである。この図１に示す例では、データバス５は、撮像素子４と、内部メモリ６と、ＡＦ信号処理部７と、画像信号処理部８と、表示部９と、入力ＩＦ１０と、ＡＦ信号用画素ＭＩＸ部１２と、画像信号用画素ＭＩＸ部１３と、ＭＩＸモード管理・指示部１４と、システム制御部１５と、外部メモリ２０と、に接続されている。
【0030】
内部メモリ６は、揮発性のＤＲＡＭや不揮発性のフラッシュメモリなどを備えて構成されており、撮像装置１全体の制御を行う処理プログラムを不揮発に記憶して保持すると共に、画像データやユーザ設定値などの各種データを一時的にあるいは継続的に記憶して保持する。上述した撮像素子４から出力された画像データ、あるいは撮像素子４から出力され画像信号用画素ＭＩＸ部１３によりミックスされた画像データ、またあるいは撮像素子４から出力されＡＦ信号用画素ＭＩＸ部１２によりミックスされた画像データ、さらにあるいは画像信号処理部８により処理された画像データは、必要に応じて、例えばこの内部メモリ６に一旦記憶されるようになっている。
【0031】
ＡＦ信号処理部７は、分割画素信号に基づく差動演算などの処理により位相差検知を行って位相差情報を算出し、算出した位相差情報に基づきレンズ駆動情報を生成する。このＡＦ信号処理部７により生成されたレンズ駆動情報は、システム制御部１５に入力される。システム制御部１５は、入力されたレンズ駆動情報に基づき、撮像レンズ２のピント位置を制御し、撮像素子４に結像される被写体像を合焦させるようになっている。
【0032】
画像信号処理部８は、画像データに対する、ホワイトバランス調整、デモザイキング（色補間）、色補正、γ変換、エッジ強調、ノイズリダクション、解像度変換（リサイズ）、画像圧縮等の各種の処理を行う。
【0033】
表示部９は、例えばＴＦＴあるいは有機ＥＬなどの表示パネルを含み、画像データを表示すると共に、撮像装置１に係る各種の情報も表示する表示装置である。
【0034】
入力ＩＦ１０は、操作ボタン、操作スイッチ、タッチパネルなどの各種の操作入力デバイスを含み、使用者が操作することにより撮像装置１に対する入力を行うための操作部である。この入力ＩＦ１０は、例えば、静止画像を撮影するための２段式ボタンを構成する第１ボタン（いわゆるファーストレリーズ）および第２ボタン（いわゆるセカンドレリーズ）と、動画像を撮影するための第３ボタン（動画録画ボタン）と、を備えている。
【0035】
撮像素子用画素ＭＩＸ部１１は、同一種類の画素かつ同一の分割位置に係る、隣接する複数の分割画素の分割画素信号に、少画素化を行って処理後画素信号を生成することにより、画素数を減少させる少画素化部であって、撮像素子４に設けられた素子内少画素化部である。本実施形態においては、撮像素子用画素ＭＩＸ部１１、ＡＦ信号用画素ＭＩＸ部１２、および画像信号用画素ＭＩＸ部１３の何れについても、少画素化として混合（ミックス）を行う例を主に説明するが、これに限らず、間引きにより小画素化を行っても構わない（混合と間引きとの何れか一方を行っても良いし、両方を行っても構わない）。なお、混合としては、加算による混合、加算平均による混合、重み付け加算（あるいは重み付け加算平均）による混合、などの何れを用いても構わない。
【0036】
具体的に、撮像素子用画素ＭＩＸ部１１は、ＭＩＸモード管理・指示部１４から、ミックスする／しないの情報を受け取り、ミックスする場合にはさらにどのようなミックスを行うかの情報を受け取って、撮像素子４内で画素データをミックス（ＭＩＸ）処理する画素ＭＩＸ部である。
【0037】
この撮像素子用画素ＭＩＸ部１１により行われるミックス処理には、１画素に含まれる複数の分割画素からの分割画素信号を加算する処理（図２の分割画素構成の場合には、同色の左分割画素と右分割画素とを加算し通常画素に戻す左右加算）、垂直方向に隣接する同一色かつ同一の分割位置に係る複数の分割画素の分割画素信号をミックスする垂直ミックス、水平方向に隣接する同一色かつ同一の分割位置に係る複数の分割画素の分割画素信号をミックスする水平ミックス、などがある。
【0038】
この撮像素子用画素ＭＩＸ部１１が、ミックス処理を行わない場合、または分割画素信号の垂直ミックスと水平ミックスとの少なくとも一方を行う場合には、撮像素子４からは分割画素信号が位相差信号として出力される。一方、撮像素子用画素ＭＩＸ部１１が、少なくとも左右加算を行う場合（垂直ミックスと水平ミックスとの少なくとも一方が、左右加算を組み合わされる場合を含む）には、撮像素子４からは位相差情報を含まない画像用の画素信号が出力される。
【0039】
この撮像素子用画素ＭＩＸ部１１によりミックス処理された画像データは、内部メモリ６を介して各処理部に渡されることもあるが、例えば内部メモリ６を介することなく画像信号用画素ＭＩＸ部１３、あるいはＡＦ信号用画素ＭＩＸ部１２へ渡される。
【0040】
ＡＦ信号用画素ＭＩＸ部１２は、撮像素子４の外部に設けられた少画素化部であって、必要に応じて撮像素子用画素ＭＩＸ部１１によりミックス処理された後に撮像素子４から出力された画像データに対して、ＭＩＸモード管理・指示部１４から、ミックスする／しないの情報を受け取り、ミックスする場合にはさらにどのようなミックスを行うかの情報を受け取って、画素データをミックス処理する画素ＭＩＸ部である。
【0041】
このＡＦ信号用画素ＭＩＸ部１２により行われるミックス処理には、上述した垂直ミックスと水平ミックスとがあるが、ＡＦ用であって左分割画素と右分割画素とが分離されている必要があるために左右加算は含まれない。
【0042】
そして、ＡＦ信号用画素ＭＩＸ部１２によりミックス処理された画像データは、ＡＦ信号処理部７に渡される。
【0043】
画像信号用画素ＭＩＸ部１３は、画素数を減少させる少画素化部であるが、画像信号を生成すれば良く、位相差情報は不要である。従って、画像信号用画素ＭＩＸ部１３は、分割画素信号を残すように少画素化を行う必要はなく、左右加算した画素信号を出力すれば足りる。
【0044】
具体的に、画像信号用画素ＭＩＸ部１３は、必要に応じて撮像素子用画素ＭＩＸ部１１によりミックス処理された後に撮像素子４から出力された画像データに対して、ＭＩＸモード管理・指示部１４から、ミックスする／しないの情報を受け取り、ミックスする場合にはさらにどのようなミックスを行うかの情報を受け取って、画素データをミックス処理する画素ＭＩＸ部である。
【0045】
この画像信号用画素ＭＩＸ部１３は、表示画像や動画に適したミックス処理を行うものである。画像信号用画素ＭＩＸ部１３により行われるミックス処理には、上述した垂直ミックスと水平ミックスと左右加算とが含まれる。
【0046】
そして、画像信号用画素ＭＩＸ部１３によりミックス処理された画像データは、画像信号処理部８に渡される。
【0047】
ＭＩＸモード管理・指示部１４は、位相差検知を優先するか否かに応じて、少画素化部による少画素化を制御する制御部である。
【0048】
このＭＩＸモード管理・指示部１４は、位相差検知を優先する場合には、処理後画素信号（ミックス画素信号）の分割方向に垂直な方向（第２の方向）の並び間隔が等間隔にならないように、画素ＭＩＸ部を制御する。
【0049】
一方、ＭＩＸモード管理・指示部１４は、位相差検知を優先しない場合（例えば、位相差検知よりも画質を優先する場合）であって、第２の方向に隣接する複数の分割画素の分割画素信号の少画素化を行わせる場合には、処理後画素信号の第２の方向の並び間隔が等間隔になるように、画素ＭＩＸ部を制御する。
【0050】
また、ＭＩＸモード管理・指示部１４は、位相差検知を優先するか否かに関わらず、第１の方向に隣接する複数の分割画素の分割画素信号の少画素化を行わせる場合には、処理後画素信号の第１の方向の並び間隔が等間隔になるように、画素ＭＩＸ部を制御する。
【0051】
具体的に、ＭＩＸモード管理・指示部１４は、どのミックス（ＭＩＸ）方法（例えば、ミックスする画素数（分割画素の数）、あるいはミックス時に重み付けを行うか否か、等が異なる各種のミックス方法）が画像信号処理用として最適であり、またＡＦ信号処理用として最適であるかを管理して、位相差検知を優先するか画質を優先するかに応じて、少画素化部である画素ＭＩＸ部（撮像素子用画素ＭＩＸ部１１、ＡＦ信号用画素ＭＩＸ部１２、および画像信号用画素ＭＩＸ部１３）によるミックスを制御するミックス制御部となっている。このＭＩＸモード管理・指示部１４によるミックス方法の決定は、例えば、入力ＩＦ１０（ボタンなど）の指示、あるいは前フレームで決定された露出条件もしくは被写体情報などに基づき行われる（ただし、その他の要因に基づき決定しても構わない）。
【0052】
外部メモリ２０は、上述したように、例えば撮像装置１に着脱可能なメモリカード等で構成されていて、画像信号処理部８により記録用に処理された画像を、例えば画像ファイルの形式で保存する不揮発性の記録媒体である。
【0053】
システム制御部１５は、例えばＣＰＵなどのハードウェアで構成されたプロセッサを備え、内部メモリ６に不揮発に記憶されている処理プログラムに従って、撮像装置１全体を統括的に制御するものである。
【0054】
例えば、システム制御部１５は、撮像レンズ２を駆動制御して、ピント位置、ズーム状態、絞り開口径などを変化させる。また、システム制御部１５は、シャッタ３を駆動制御して遮光幕の開閉を行わせる。さらに、システム制御部１５は、撮像素子４による画素信号の蓄積から画像データの出力までの動作を制御する。
【0056】
そして、以下の図３〜図１５の説明においては、異なる色の画素のミックス処理や、分割位置の異なる分割画素のミックス（左右加算など）は除外して、分光特性が同一種類（例えば同一色）で、かつ同一分割位置（左分割または右分割など）の分割画素同士のミックス処理を考えるものとする。
【0057】
このとき、例えば水平方向の位相差検知（縦線検知）を優先したミックス処理は、左分割画素と右分割画素とが区別してミックスされることになり、その上で、対をなす左分割画素と右分割画素はミックス後にも水平方向に半画素ピッチ（１分割画素ピッチ）ずれた位置関係にあること、位相差検知において組み合わせて用いられるＧｒ分割画素とＧｂ分割画素とはミックス後に垂直方向に近接した位置にあること、などの条件を満たすことが求められる（図４、図８等参照）。
【0061】
図２に示した例では、Ｒ画素を左右方向に分割したＲ分割画素は、ｉ，ｊを整数としたときに、（行番号，列番号）が（（Ｍ＋２ｉ），（Ｎ＋４ｊ））および（（Ｍ＋２ｉ），（Ｎ＋４ｊ＋１））となる位置に配置されている。
【0062】
そして、この図３に示す例においては、列番号が同一であり、行番号が（Ｍ＋６ｉ）、（Ｍ＋６ｉ＋２）、（Ｍ＋６ｉ＋４）のように隣接する３つの垂直方向のＲ分割画素が加算（あるいは加算平均などでも構わない、以下同様）されている。加算されたミックス画素は、垂直方向の３つのＲ分割画素の重心位置から、中央のＲ分割画素の位置、つまり行番号が（Ｍ＋６ｉ＋２）となる位置に配置される。
【0063】
従って、制御部であるＭＩＸモード管理・指示部１４は、少画素化部である画素ＭＩＸ部（撮像素子用画素ＭＩＸ部１１、ＡＦ信号用画素ＭＩＸ部１２、および画像信号用画素ＭＩＸ部１３）が混合により少画素化を行う場合には、混合対象となる複数の分割画素の位置（ここでは、垂直方向の位置を示す行番号）を指定することにより、処理後画素信号（ミックス画素）の重心位置を設定している。
【0064】
なお、ＭＩＸモード管理・指示部１４は、少画素化部が間引きにより少画素化を行う場合には、間引かれることなく残る分割画素の位置を指定することにより、処理後画素信号の位置を設定すれば良い。
【0065】
また、図示は省略するが、Ｇｒ分割画素、Ｇｂ分割画素、Ｂ分割画素に係る垂直３画素ミックスは、次のように行われる。
【0066】
まず、Ｇｒ画素を左右方向に分割したＧｒ分割画素は、（行番号，列番号）が（（Ｍ＋２ｉ），（Ｎ＋４ｊ＋２））および（（Ｍ＋２ｉ），（Ｎ＋４ｊ＋３））となる位置に配置されている。
【0067】
そして、Ｒ分割画素と同様に、行番号が（Ｍ＋６ｉ）、（Ｍ＋６ｉ＋２）、（Ｍ＋６ｉ＋４）のように隣接する３つの垂直方向のＧｒ分割画素が加算される。加算されたミックス画素は、Ｒ分割画素と同様に、中央のＧｒ分割画素の位置、つまり行番号が（Ｍ＋６ｉ＋２）となる位置に配置される。
【0068】
次に、Ｇｂ画素を左右方向に分割したＧｂ分割画素は、（行番号，列番号）が（（Ｍ＋２ｉ＋１），（Ｎ＋４ｊ））および（（Ｍ＋２ｉ＋１），（Ｎ＋４ｊ＋１））となる位置に配置されている。
【0069】
そして、行番号が（Ｍ＋６ｉ＋１）、（Ｍ＋６ｉ＋３）、（Ｍ＋６ｉ＋５）のように隣接する３つの垂直方向のＧｂ分割画素が加算される。加算されたミックス画素は、中央のＧｂ分割画素の位置、つまり行番号が（Ｍ＋６ｉ＋３）となる位置に配置される。
【0070】
さらに、Ｂ画素を左右方向に分割したＢ分割画素は、（行番号，列番号）が（（Ｍ＋２ｉ＋１），（Ｎ＋４ｊ＋２））および（（Ｍ＋２ｉ＋１），（Ｎ＋４ｊ＋３））となる位置に配置されている。
【0071】
そして、Ｇｂ分割画素と同様に、行番号が（Ｍ＋６ｉ＋１）、（Ｍ＋６ｉ＋３）、（Ｍ＋６ｉ＋５）のように隣接する３つの垂直方向のＢ分割画素が加算される。加算されたミックス画素は、Ｇｂ分割画素と同様に、中央のＢ分割画素の位置、つまり行番号が（Ｍ＋６ｉ＋３）となる位置に配置される。
【0072】
図４は、位相差検知を優先した垂直３画素ミックスにより得られるミックス画素の配置が、垂直方向に等間隔でない様子を示す図である。
【0073】
輝度成分を主に担うのはＧ画素であるが、上述したような位相差検知を優先した垂直３画素ミックスを行った結果、行番号（Ｍ＋６ｉ＋２）に配置されたＧｒミックス画素と、行番号（Ｍ＋６ｉ＋３）に配置されたＧｂミックス画素とは、行番号が１つ異なるだけであるために、垂直方向に密となっている。一方、行番号（Ｍ＋６ｉ＋３）に配置されたＧｂミックス画素と、行番号（Ｍ＋６ｉ＋８）に配置されたＧｒミックス画素とは、行番号が５つ異なるために、垂直方向に疎となっている。
【0074】
具体的には、図４に示すように、ミックス画素の配置は、垂直方向に密と疎とが交互となっていて、行番号（Ｍ＋２）と（Ｍ＋３）、（Ｍ＋８）と（Ｍ＋９）、…が密、行番号（Ｍ＋３）と（Ｍ＋８）、（Ｍ＋９）と（Ｍ＋１４）、…が疎である。
【0075】
そして、密に配置された２行において、Ｇｂ分割画素とＧｒ分割画素とが連続した列番号Ｎ，（Ｎ＋１），（Ｎ＋２），（Ｎ＋３），（Ｎ＋４），…に配置されているために、１行におけるＧｂ分割画素のみの２倍（あるいは、１行におけるＧｒ分割画素のみの２倍）の配置密度である。従って、１行のＧ成分のみを用いて水平方向の位相差検知（つまり、縦線検知）を行う場合に比して、基本的に２倍の検知精度が得られる。このとき、Ｇｂ分割画素とＧｒ分割画素との縦方向のずれは１行であるために、異なる縦線に基づく誤検知の可能性を極めて小さく抑制することができる。こうして、図４に示すような配置のミックス画素を用いれば、図２に示す分割画素を全画素読み出しして、Ｇｂ分割画素とＧｒ分割画素とを用いて位相差検知する場合と同等の検知精度を得ることができる。
【0076】
位相差検知を優先したミックス処理の第２の例（垂直２画素ミックス）を、図５を参照して説明する。なお、２以上の垂直偶数画素ミックスも、ここで説明する方法に準じて行われる。
【0077】
図５は、位相差検知を優先したＲ分割画素に係る垂直２画素ミックスの例を示す図である。
【0078】
垂直２画素ミックスの場合には、図５に示すように、列番号が同一であり、行番号が（Ｍ＋４ｉ）、（Ｍ＋４ｉ＋２）のように隣接する２つの垂直方向のＲ分割画素が加算されている。加算されたミックス画素は、垂直方向の２つのＲ分割画素の重心位置から、ハッチングに示す中間の位置、つまり行番号が（Ｍ＋４ｉ＋１）となる位置に配置される。
【0079】
また、図示は省略するが、Ｇｒ分割画素、Ｇｂ分割画素、Ｂ分割画素に係る垂直２画素ミックスは、次のように行われる。
【0080】
まず、Ｇｒ分割画素については、Ｒ分割画素と同様に、行番号が（Ｍ＋４ｉ）、（Ｍ＋４ｉ＋２）のように隣接する２つの垂直方向のＧｒ分割画素が加算される。加算されたミックス画素は、Ｒ分割画素と同様に、中間の位置、つまり行番号が（Ｍ＋４ｉ＋１）となる位置に配置される。
【0081】
次に、Ｇｂ分割画素については、行番号が（Ｍ＋４ｉ＋１）、（Ｍ＋４ｉ＋３）のように隣接する２つの垂直方向のＧｂ分割画素が加算される。加算されたミックス画素は、中間の位置、つまり行番号が（Ｍ＋４ｉ＋２）となる位置に配置される。
【0082】
さらに、Ｂ分割画素については、Ｇｂ分割画素と同様に、行番号が（Ｍ＋４ｉ＋１）、（Ｍ＋４ｉ＋３）のように隣接する２つの垂直方向のＢ分割画素が加算される。加算されたミックス画素は、Ｇｂ分割画素と同様に、中間の位置、つまり行番号が（Ｍ＋４ｉ＋２）となる位置に配置される。
【0083】
上述したような位相差検知を優先した垂直２画素ミックスを行った結果、行番号（Ｍ＋４ｉ＋１）に配置されたＧｒミックス画素と、行番号（Ｍ＋４ｉ＋２）に配置されたＧｂミックス画素とは、行番号が１つ異なるだけであるために、垂直方向に密となっている。一方、行番号（Ｍ＋４ｉ＋２）に配置されたＧｂミックス画素と、行番号（Ｍ＋４ｉ＋５）に配置されたＧｒミックス画素とは、行番号が３つ異なるために、垂直方向に疎となっている。
【0084】
具体的には、ミックス画素の配置は、垂直方向に密と疎とが交互となっていて、行番号（Ｍ＋１）と（Ｍ＋２）、（Ｍ＋５）と（Ｍ＋６）、…が密、行番号（Ｍ＋２）と（Ｍ＋５）、（Ｍ＋６）と（Ｍ＋９）、…が疎である。
【0085】
そして、密に配置された２行におけるＧｂ分割画素とＧｒ分割画素とを用いることで、上述と同様に、全画素読み出しと同等の検知精度を得ることが可能となる。
【0087】
図６は、位相差検知を優先したＲ分割画素に係る水平３画素ミックスの例を示す図である。
【0088】
この図６に示す例においては、行番号が同一であり、列番号が（Ｎ＋１２ｉ）、（Ｎ＋１２ｉ＋４）、（Ｎ＋１２ｉ＋８）のように隣接する３つの水平方向のＲ左分割画素が加算されると共に、列番号が（Ｎ＋１２ｉ＋１）、（Ｎ＋１２ｉ＋５）、（Ｎ＋１２ｉ＋９）のように隣接する３つの水平方向のＲ右分割画素が加算される。加算されたミックス画素は、水平方向の３つのＲ分割画素の重心位置から、中央のＲ分割画素の位置、つまりＲ左分割画素については列番号が（Ｎ＋１２ｉ＋４）となる位置、Ｒ右分割画素については列番号が（Ｎ＋１２ｉ＋５）となる位置にそれぞれ配置される。
【0089】
図７は、位相差検知を優先したＧｒ分割画素に係る水平３画素ミックスの例を示す図である。
【0090】
この図７に示す例においては、行番号が同一であり、列番号が（Ｎ＋１２ｉ＋６）、（Ｎ＋１２ｉ＋１０）、（Ｎ＋１２ｉ＋１４）のように隣接する３つの水平方向のＧｒ左分割画素が加算されると共に、列番号が（Ｎ＋１２ｉ＋７）、（Ｎ＋１２ｉ＋１１）、（Ｎ＋１２ｉ＋１５）のように隣接する３つの水平方向のＧｒ右分割画素が加算される。加算されたミックス画素は、水平方向の３つのＧｒ分割画素の重心位置から、中央のＧｒ分割画素の位置、つまりＧｒ左分割画素については列番号が（Ｎ＋１２ｉ＋１０）となる位置、Ｇｒ右分割画素については列番号が（Ｎ＋１２ｉ＋１１）となる位置にそれぞれ配置される。
【0091】
また、図示は省略するが、Ｇｂ画素、Ｂ分割画素に係る水平３画素ミックスは、次のように行われる。
【0092】
まず、Ｇｂ分割画素については、列番号が（Ｎ＋１２ｉ）、（Ｎ＋１２ｉ＋４）、（Ｎ＋１２ｉ＋８）のように隣接する３つの水平方向のＧｂ左分割画素が加算されると共に、列番号が（Ｎ＋１２ｉ＋１）、（Ｎ＋１２ｉ＋５）、（Ｎ＋１２ｉ＋９）のように隣接する３つの水平方向のＧｂ右分割画素が加算される。加算されたミックス画素は、水平方向の３つのＧｂ分割画素の重心位置から、中央のＧｂ分割画素の位置、つまりＧｂ左分割画素については列番号が（Ｎ＋１２ｉ＋４）となる位置、Ｇｂ右分割画素については列番号が（Ｎ＋１２ｉ＋５）となる位置にそれぞれ配置される。
【0093】
次に、Ｂ分割画素については、列番号が（Ｎ＋１２ｉ＋６）、（Ｎ＋１２ｉ＋１０）、（Ｎ＋１２ｉ＋１４）のように隣接する３つの水平方向のＢ左分割画素が加算されると共に、列番号が（Ｎ＋１２ｉ＋７）、（Ｎ＋１２ｉ＋１１）、（Ｎ＋１２ｉ＋１５）のように隣接する３つの水平方向のＢ右分割画素が加算される。加算されたミックス画素は、水平方向の３つのＢ分割画素の重心位置から、中央のＢ分割画素の位置、つまりＢ左分割画素については列番号が（Ｎ＋１２ｉ＋１０）となる位置、Ｂ右分割画素については列番号が（Ｎ＋１２ｉ＋１１）となる位置にそれぞれ配置される。
【0094】
図８は、位相差検知を優先した水平３画素ミックスにより得られるミックス画素の配置が水平方向に等間隔である例を示す図である。
【0095】
上述したように、左分割画素と右分割画素とを分けてミックスしており、ミックス画素の配置が水平方向に等間隔である（左分割画素に係るミックス画素だけを見ると等間隔であり、同様に、右分割画素に係るミックス画素だけを見ると等間隔である）ために（そして、上述したように、対をなす左分割画素と右分割画素はミックス後にも水平方向に半画素ピッチ（１分割画素ピッチ）ずれた位置関係にあるために）、位相差検知を行うことは可能であるが、図４に示したようなミックス画素の配置と比べると、水平方向の画素間隔が開いており、連続する２行のＧｂ分割画素とＧｒ分割画素とを位相差検知に用いたとしても、水平方向の配置密度は図４の配置の１／３である。従って、図８に示すような水平３画素ミックスの場合には、全画素読み出し、あるいは図４に示す垂直３画素ミックスの場合の、ほぼ１／３の位相差検知精度が得られる（ただし、位相差検知精度は画素配置密度のみで決まるわけではないために、１／３という数値はあくまでも水平方向の画素配置密度の観点からのものである）。
【0097】
図９は、位相差検知を優先したＲ分割画素に係る水平２画素ミックスを、重み付け加算により行う例を示す図である。
【0098】
この図９に示す例においては、行番号が同一であり、列番号が（Ｎ＋８ｉ）、（Ｎ＋８ｉ＋４）のように隣接する２つの水平方向のＲ左分割画素が３：１で重み付け加算されると共に、列番号が（Ｎ＋８ｉ＋１）、（Ｎ＋８ｉ＋５）のように隣接する２つの水平方向のＲ右分割画素が３：１で重み付け加算される。
【0099】
ここに、重みは、ＭＩＸモード管理・指示部１４から少画素化部である画素ＭＩＸ部（撮像素子用画素ＭＩＸ部１１、ＡＦ信号用画素ＭＩＸ部１２、および画像信号用画素ＭＩＸ部１３）へ指示される。
【0100】
重み付け加算されたミックス画素は、Ｒ左分割画素については列番号が（Ｎ＋８ｉ＋１）となる位置、Ｒ右分割画素については列番号が（Ｎ＋８ｉ＋２）となる位置にそれぞれ配置される。
【0101】
こうして、制御部であるＭＩＸモード管理・指示部１４は、さらに、混合対象となる複数の分割画素の分割画素信号の混合比率を指定することにより、処理後画素信号（ミックス画素）の重心位置を設定している。
【0102】
図１０は、位相差検知を優先したＧｒ分割画素に係る水平２画素ミックスを、重み付け加算により行う例を示す図である。
【0103】
この図１０に示す例においては、行番号が同一であり、列番号が（Ｎ＋８ｉ＋２）、（Ｎ＋８ｉ＋６）のように隣接する２つの水平方向のＧｒ左分割画素が１：３で重み付け加算されると共に、列番号が（Ｎ＋８ｉ＋３）、（Ｎ＋８ｉ＋７）のように隣接する２つの水平方向のＧｒ右分割画素が１：３で重み付け加算される。重み付け加算されたミックス画素は、Ｇｒ左分割画素については列番号が（Ｎ＋８ｉ＋５）となる位置、Ｇｒ右分割画素については列番号が（Ｎ＋８ｉ＋６）となる位置にそれぞれ配置される。
【0104】
また、図示は省略するが、Ｇｂ画素、Ｂ分割画素に係る水平２画素ミックスは、次のように行われる。
【0105】
まず、Ｇｂ分割画素については、列番号が（Ｎ＋８ｉ）、（Ｎ＋８ｉ＋４）のように隣接する２つの水平方向のＧｂ左分割画素が３：１で重み付け加算されると共に、列番号が（Ｎ＋８ｉ＋１）、（Ｎ＋８ｉ＋５）のように隣接する２つの水平方向のＧｂ右分割画素が３：１で重み付け加算される。重み付け加算されたミックス画素は、Ｇｂ左分割画素については列番号が（Ｎ＋８ｉ＋１）となる位置、Ｇｂ右分割画素については列番号が（Ｎ＋８ｉ＋２）となる位置にそれぞれ配置される。
【0106】
次に、Ｂ分割画素については、列番号が（Ｎ＋８ｉ＋２）、（Ｎ＋８ｉ＋６）のように隣接する２つの水平方向のＢ左分割画素が１：３で重み付け加算されると共に、列番号が（Ｎ＋８ｉ＋３）、（Ｎ＋８ｉ＋７）のように隣接する２つの水平方向のＢ右分割画素が１：３で重み付け加算される。重み付け加算されたミックス画素は、Ｂ左分割画素については列番号が（Ｎ＋８ｉ＋５）となる位置、Ｂ右分割画素については列番号が（Ｎ＋８ｉ＋６）となる位置にそれぞれ配置される。
【0107】
このような処理を行うことにより、対をなす左分割画素と右分割画素はミックス後にも水平方向に半画素ピッチ（１分割画素ピッチ）ずれた位置関係になり、かつ、左分割画素と右分割画素との対は、水平方向に等間隔で配置される。
【0109】
画質を優先したミックス処理は、例えば、位相差検知に用いられる左分割画素と右分割画素との対が、垂直方向および水平方向の何れにも等間隔で配置される、などの条件を満たすことが求められる。
【0111】
図１１は、画質を優先したＲ分割画素に係る垂直３画素ミックスの例を示す図である。図示のように、Ｒ分割画素に係る垂直３画素ミックスは、位相差検知を優先した垂直３画素ミックス（図３）と同様である。また、図示はしないが、Ｇｒ分割画素に係る垂直３画素ミックスについても、位相差検知を優先した垂直３画素ミックスと同様である。
【0112】
また、図１２は、画質を優先したＧｂ分割画素に係る垂直３画素ミックスの例を示す図である。
【0113】
Ｇｂ分割画素に係る垂直３画素ミックスについては、行番号が（Ｍ＋６ｉ＋３）、（Ｍ＋６ｉ＋５）、（Ｍ＋６ｉ＋７）のように隣接する３つの垂直方向のＧｂ分割画素が加算される。加算されたミックス画素は、中央のＧｂ分割画素の位置、つまり行番号が（Ｍ＋６ｉ＋５）となる位置に配置される。
【0114】
また、Ｂ分割画素に係る垂直３画素ミックスについては、Ｇｂ分割画素と同様に、行番号が（Ｍ＋６ｉ＋３）、（Ｍ＋６ｉ＋５）、（Ｍ＋６ｉ＋７）のように隣接する３つの垂直方向のＢ分割画素が加算される。加算されたミックス画素は、Ｇｂ分割画素と同様に、中央のＢ分割画素の位置、つまり行番号が（Ｍ＋６ｉ＋５）となる位置に配置される。
【0116】
図４に示したように、位相差検知を優先した垂直３画素ミックスにより加算されたＧｂミックス画素およびＢミックス画素の行番号は、（Ｍ＋６ｉ＋３）であった。これに対して図１３に示すように、画質を優先した垂直３画素ミックスにより加算されたＧｂミックス画素およびＢミックス画素の行番号は、（Ｍ＋６ｉ＋５）となる。一方、Ｒミックス画素およびＧｒミックス画素の行番号は、図４と図１３の何れも（Ｍ＋６ｉ＋２）である。
【0117】
従って、図１３においては、ミックス画素の配置が垂直方向に等間隔となるために、位相差検知において組み合わせて用いられるＧｒ分割画素とＧｂ分割画素とは垂直方向に離隔した位置となり、位相差の精度は下がる反面、等間隔であるために輝度信号相当成分が画像内により均一に分布することとなって、画質を向上することができる。
【0119】
図１４は、画質を優先したＲ分割画素に係る垂直２画素ミックスを、重み付け加算により行う例を示す図である。なお、重みがＭＩＸモード管理・指示部１４から指示されるのは、上述と同様である。
【0120】
画質を優先したＲ分割画素に係る垂直２画素ミックスの場合には、図１４に示すように、列番号が同一であり、行番号が（Ｍ＋４ｉ）、（Ｍ＋４ｉ＋２）のように隣接する２つの垂直方向のＲ分割画素が３：１で重み付け加算されている。重み付け加算されたミックス画素は、概略ハッチングに示す中間の位置、つまり行番号が（Ｍ＋４ｉ＋０．５）となる位置に配置される。
【0121】
また、図示は省略するが、画質を優先したＧｒ分割画素に係る垂直２画素ミックスも、Ｒ分割画素に係る垂直２画素ミックスと同様に、行番号が（Ｍ＋４ｉ）、（Ｍ＋４ｉ＋２）のように隣接する２つの垂直方向のＧｒ分割画素が３：１で重み付け加算されている。重み付け加算されたミックス画素は、行番号が（Ｍ＋４ｉ＋０．５）となる位置に配置される。
【0122】
図１５は、画質を優先したＧｂ分割画素に係る垂直２画素ミックスを、重み付け加算により行う例を示す図である。
【0123】
画質を優先したＧｂ分割画素に係る垂直２画素ミックスは、行番号が（Ｍ＋４ｉ＋１）、（Ｍ＋４ｉ＋３）のように隣接する２つの垂直方向のＧｂ分割画素が１：３で重み付け加算されている。重み付け加算されたミックス画素は、該略ハッチングに示す中間の位置、つまり行番号が（Ｍ＋４ｉ＋２．５）となる位置に配置される。
【0124】
また、図示は省略するが、画質を優先したＢ分割画素に係る垂直２画素ミックスも、Ｇｂ分割画素に係る垂直２画素ミックスと同様に、行番号が（Ｍ＋４ｉ＋１）、（Ｍ＋４ｉ＋３）のように隣接する２つの垂直方向のＢ分割画素が１：３で重み付け加算されている。重み付け加算されたミックス画素は、該略ハッチングに示す中間の位置、つまり行番号が（Ｍ＋４ｉ＋２．５）となる位置に配置される。
【0125】
このような処理を行った結果、Ｒミックス画素およびＧｒミックス画素は行番号が（Ｍ＋４ｉ＋０．５）となる位置、つまり、（Ｍ＋０．５）、（Ｍ＋４．５）、（Ｍ＋８．５）、…となる位置に配置される。
【0126】
一方、Ｇｂミックス画素およびＢミックス画素は行番号が（Ｍ＋４ｉ＋２．５）となる位置、つまり、（Ｍ＋２．５）、（Ｍ＋６．５）、（Ｍ＋１０．５）、…となる位置に配置される。
【0127】
従って、Ｒミックス画素およびＧｒミックス画素の行と、Ｇｂミックス画素およびＢミックス画素の行とは、垂直方向に２画素ずつ等間隔に離れることになる。
【0128】
また、画質を優先したミックス処理の第３の例（水平３画素ミックス）は、図６〜図８を参照して説明した位相差検知を優先したミックス処理の第３の例（水平３画素ミックス）と同様であるために説明を省略する。
【0129】
さらに、画質を優先したミックス処理の第４の例（水平２画素ミックス）は、図９および図１０を参照して説明した位相差検知を優先したミックス処理の第４の例（水平２画素ミックス）と同様であるために説明を省略する。
【0131】
まず、図１６は、撮像装置１の撮影時の作用を示すフローチャートである。この撮影時の動作は、システム制御部１５の制御に基づいて、撮像装置１内の各部で行われる。
【0132】
例えば、撮像装置１が電源オンされると、適宜の初期設定等が行われた後に、この処理に入る。
【0133】
するとまず、システム制御部１５が、入力ＩＦ１０の第１ボタン（ファーストレリーズ）がオンしたか否かを判定する（ステップＳ１）。
【0134】
ここで、第１ボタンがオンしたと判定された場合には、後で図１７を参照して説明するようなＡＦ用処理が行われる（ステップＳ２）。
【0135】
ＡＦ用処理が終了したら、次に、システム制御部１５が、第２ボタン（セカンドレリーズ）がオンしたか否かを判定する（ステップＳ３）。
【0136】
ここで、第２ボタンがオンしたと判定された場合には、後で図１８を参照して説明するような静止画用処理が行われる（ステップＳ４）。
【0137】
一方、ステップＳ１において第１ボタンがオフであると判定された場合には、システム制御部１５が、第３ボタン（動画録画ボタン）がオンしたか否かを判定する（ステップＳ５）。
【0138】
ここで、第３ボタンがオンしたと判定された場合には、後で図１９を参照して説明するような動画用処理が行われる（ステップＳ６）。
【0139】
また、ステップＳ５において、第３ボタンがオフであると判定された場合には、後で図２０を参照して説明するようなＬＶ（ライブビュー）用処理が行われる（ステップＳ７）。
【0140】
上述したステップＳ３において第２ボタンがオフであると判定された場合、上述したステップＳ４の静止画用処理が終了した場合、上述したステップＳ６の動画用処理が終了した場合、または上述したステップＳ７のＬＶ用処理が終了した場合には、ステップＳ１に戻って上述したような処理を繰り返して行う。
【0141】
次に、図１７は、撮像装置１のＡＦ用処理を示すフローチャートである。
【0142】
図１６のステップＳ２においてこの処理に入ると、ＡＦ用処理になったという情報をシステム制御部１５から受けて、ＭＩＸモード管理・指示部１４は、位相差検知を優先する観点から、撮像素子用画素ＭＩＸ部１１とＡＦ信号用画素ＭＩＸ部１２と画像信号用画素ＭＩＸ部１３とが、それぞれどのようなミックス処理を行うかを決定する（ステップＳ１１）。
【0143】
続いて、ＭＩＸモード管理・指示部１４は、システム制御部１５を介して、撮像素子用画素ＭＩＸ部１１におけるミックス方法を指示する（ステップＳ１２）。
【0144】
このＡＦ用処理において、撮像素子用画素ＭＩＸ部１１に指示されるミックス方法は、例えば図２１に示すように、垂直ミックスを図３および図４に示すように行い（つまり、位相差情報を高い精度で取得するために垂直方向を密に加算する）、水平ミックスを行わない（左右加算は当然にして行わない）処理、などである。ここに、図２１は、本実施形態の撮像装置１におけるＡＦ、静止画、動画、ＬＶに応じたミックス処理の分類を示す図表である。
【0145】
また、図３〜図１５に示したような各図における、ミックス方向、ミックス数、および非等間隔配置（疎密配置）かまたは等間隔配置か、の分類を図２２に示す。ここに、図２２は、本実施形態の撮像装置１における、ミックス処理と各図との対応を示す図表である。
【0146】
従って、制御部であるＭＩＸモード管理・指示部１４は、位相差検知を優先する場合における、処理後画素信号（ミックス画素）の第２の方向（この例では垂直方向）の並び間隔が等間隔にならないように、第２の方向に隣接する複数の分割画素の分割画素信号の少画素化を行わせる制御を、少なくとも素子内少画素化部である撮像素子用画素ＭＩＸ部１１に対して行っている。
【0147】
そして、画素部４ａで生成された画像データを、撮像素子用画素ＭＩＸ部１１によりミックス処理して（ステップＳ１３）、撮像素子４から読み出す（ステップＳ１４）。
【0148】
撮像素子４から読み出された画像データは、ＡＦ信号用画素ＭＩＸ部１２および画像信号用画素ＭＩＸ部１３へそれぞれ送信される。
【0149】
まず、画像信号用画素ＭＩＸ部１３へ送信された画像データの処理は、次のように行われる。
【0150】
ＭＩＸモード管理・指示部１４は、画像信号用画素ＭＩＸ部１３へミックス方法を指示する（ステップＳ１５）。ここで指示されるミックス方法には、左右加算が含まれている（図２１参照）。
【0151】
そこで、画像信号用画素ＭＩＸ部１３は、同色の左分割画素と右分割画素とを加算して、画像信号処理に適した通常画素に戻す（ステップＳ１６）。
【0152】
こうして画像信号用にミックスされた画像信号は、画像信号用画素ＭＩＸ部１３から画像信号処理部８へ送信されて、上述したような各種の画像処理が行われる（ステップＳ１７）。
【0153】
画像処理された画像信号は、画像信号処理部８から表示部９へ送信されて、表示部９に画像として表示される（ステップＳ１８）。
【0154】
一方、ＡＦ信号用画素ＭＩＸ部１２へ送信された画像データの処理は、次のように行われる。
【0155】
ＭＩＸモード管理・指示部１４は、ＡＦ信号用画素ＭＩＸ部１２へミックス方法を指示する（ステップＳ２１）。
【0156】
ここでＡＦ信号用画素ＭＩＸ部１２に指示されるミックス方法は、例えば図２１に示すように、撮像素子用画素ＭＩＸ部１１で既に行われた垂直ミックスは行わず、水平ミックスを図６〜図８に示すように行うなどである。ＡＦ信号用画素ＭＩＸ部１２により水平ミックスをさらに行っているのは、例えば、被写体が暗い場合を想定してＳ／Ｎを向上するためである。従って、被写体がより明るい場合には、図６〜図８の水平３画素ミックスに代えて、図９および図１０の水平２画素ミックスを行っても良いし、あるいはさらに被写体が明るい場合には、水平ミックスを行わなくても構わない。
【0157】
そして、撮像素子４から受信した画像データを、ＡＦ信号用画素ＭＩＸ部１２が、ＭＩＸモード管理・指示部１４からの指示に従ってミックス処理する（ステップＳ２２）。
【0158】
こうしてＡＦ信号用にミックスされた画像信号は、ＡＦ信号用画素ＭＩＸ部１２からＡＦ信号処理部７へ送信されて、ＡＦ信号処理部７により差動演算などの処理が行われてレンズ駆動情報が生成される（ステップＳ２３）。
【0159】
ＡＦ信号処理部７により生成されたレンズ駆動情報は、システム制御部１５へ送信されて、システム制御部１５による撮像レンズ２の駆動制御が合焦のために行われる（ステップＳ２４）。
【0160】
こうして、ステップＳ１８およびステップＳ２４の処理が行われたら、この処理からリターンする。
【0161】
図１８は、撮像装置１の静止画用処理を示すフローチャートである。
【0162】
図１６のステップＳ４においてこの処理に入ると、静止画用処理になったという情報をシステム制御部１５から受けて、ＭＩＸモード管理・指示部１４は、位相差検知が不要である（画質を優先する）観点から、撮像素子用画素ＭＩＸ部１１とＡＦ信号用画素ＭＩＸ部１２と画像信号用画素ＭＩＸ部１３とが、それぞれどのようなミックス処理を行うかを決定する（ステップＳ３１）。
【0163】
続いて、ＭＩＸモード管理・指示部１４は、システム制御部１５を介して、撮像素子用画素ＭＩＸ部１１におけるミックス方法を指示する（ステップＳ３２）。
【0164】
この静止画用処理において、撮像素子用画素ＭＩＸ部１１に指示されるミックス方法は、例えば図２１に示すように、垂直ミックスおよび水平ミックスを行わず、左右加算を行う処理である。まず、静止画は、高い画質を求められるために、画素数の減少を防ぐために垂直ミックスおよび水平ミックスは行わない。また、静止画撮影時には位相差情報を必要としないために、撮像素子用画素ＭＩＸ部１１において左右加算を行うことで、撮像素子４から読み出す画素数を減らして、読出時間の短縮を図っている。
【0165】
そして、画素部４ａで生成された画像データを、撮像素子用画素ＭＩＸ部１１によりミックス処理して、同色の左分割画素と右分割画素とを加算し通常画素に戻してから（ステップＳ３３）、撮像素子４から読み出す（ステップＳ３４）。
【0166】
静止画用処理においてはＡＦ処理は不要であるために、撮像素子４から読み出された画像データは、画像信号用画素ＭＩＸ部１３へ送信されるが、ＡＦ信号用画素ＭＩＸ部１２へは送信されない。
【0167】
ＭＩＸモード管理・指示部１４は、図２１に示すように、画像信号用画素ＭＩＸ部１３へミックス動作のオフを指示する（ステップＳ３５）。これは上述したように、ミックス処理による画素数の低減を避けるためである。
【0168】
これに応じて、画像信号用画素ＭＩＸ部１３は、ミックス動作をオフする（ステップＳ３６）。
【0169】
こうして撮像素子４から出力されたままの画像信号用画素ＭＩＸ部１３によるミックス処理がなされていない画像信号は、画像信号用画素ＭＩＸ部１３を介して、あるいは直接に画像信号処理部８へ送信されて、上述したような各種の画像処理が行われる（ステップＳ３７）。
【0170】
画像処理された画像信号は、画像信号処理部８から、外部メモリ２０へ送信されて例えば画像ファイル（静止画ファイル）として保存され、また表示部９へ送信されて画像として表示される（ステップＳ３８）。
【0171】
こうして、ステップＳ３８の処理が行われたら、この処理からリターンする。
【0172】
図１９は、撮像装置１の動画用処理を示すフローチャートである。
【0173】
図１６のステップＳ６においてこの処理に入ると、動画用処理になったという情報をシステム制御部１５から受けて、ＭＩＸモード管理・指示部１４は、画質を優先する（位相差検知は必要であるが、位相差検知の精度よりも画質を優先する）観点から、撮像素子用画素ＭＩＸ部１１とＡＦ信号用画素ＭＩＸ部１２と画像信号用画素ＭＩＸ部１３とが、それぞれどのようなミックス処理を行うかを決定する（ステップＳ４１）。
【0174】
続いて、ＭＩＸモード管理・指示部１４は、システム制御部１５を介して、撮像素子用画素ＭＩＸ部１１におけるミックス方法を指示する（ステップＳ４２）。
【0175】
この動画用処理において、撮像素子用画素ＭＩＸ部１１に指示されるミックス方法は、例えば図２１に示すように、垂直ミックスを図１４および図１５に示すように行い（つまり、画質を優先するために垂直方向のミックス画素を等間隔にする）、水平ミックスを図９および図１０に示すように行う（水平方向のミックス画素は等間隔になる）処理などである（位相差検知が必要であるために、左右加算は当然にして行わない）（図２２も参照）。
【0176】
そして、画素部４ａで生成された画像データを、撮像素子用画素ＭＩＸ部１１によりミックス処理して（ステップＳ４３）、撮像素子４から読み出す（ステップＳ４４）。
【0177】
撮像素子４から読み出された画像データは、ＡＦ信号用画素ＭＩＸ部１２および画像信号用画素ＭＩＸ部１３へそれぞれ送信される。
【0178】
まず、画像信号用画素ＭＩＸ部１３へ送信された画像データの処理は、次のように行われる。
【0179】
ＭＩＸモード管理・指示部１４は、画像信号用画素ＭＩＸ部１３へミックス方法を指示する（ステップＳ４５）。ここで指示されるミックス方法には、左右加算が含まれている。
【0180】
そこで、画像信号用画素ＭＩＸ部１３は、同色の左分割画素と右分割画素とを加算して、画像信号処理に適した通常画素に戻す（ステップＳ４６）。
【0181】
こうして画像信号用にミックスされた画像信号は、画像信号用画素ＭＩＸ部１３から画像信号処理部８へ送信されて、上述したような各種の画像処理が行われる（ステップＳ４７）。
【0182】
画像処理された画像信号は、画像信号処理部８から、外部メモリ２０へ送信されて例えば画像ファイル（動画ファイル）として保存され、また表示部９へ送信されて画像として表示される（ステップＳ４８）。
【0183】
一方、ＡＦ信号用画素ＭＩＸ部１２へ送信された画像データの処理は、次のように行われる。
【0184】
ＭＩＸモード管理・指示部１４は、例えば図２１に示すように、ＡＦ信号用画素ＭＩＸ部１２へミックス動作のオフ（つまり、垂直ミックスおよび水平ミックスのオフ）を指示する（ステップＳ５１）。これは、撮像素子用画素ＭＩＸ部１１において、垂直ミックスおよび水平ミックスが既に行われているためである。
【0185】
これに応じて、ＡＦ信号用画素ＭＩＸ部１２は、ミックス動作をオフする（ステップＳ５２）。
【0186】
こうして撮像素子４から出力されたままのＡＦ信号用画素ＭＩＸ部１２によるミックス処理がなされていない画像信号は、ＡＦ信号用画素ＭＩＸ部１２を介して、あるいは直接にＡＦ信号処理部７へ送信されて、ＡＦ信号処理部７により差動演算などの処理が行われてレンズ駆動情報が生成される（ステップＳ５３）。
【0187】
ＡＦ信号処理部７により生成されたレンズ駆動情報は、システム制御部１５へ送信されて、システム制御部１５による撮像レンズ２の駆動制御が合焦のために行われる（ステップＳ５４）。
【0188】
こうして、ステップＳ４８およびステップＳ５４の処理が行われたら、この処理からリターンする。
【0189】
図２０は、撮像装置１のＬＶ用処理を示すフローチャートである。
【0190】
図１６のステップＳ７においてこの処理に入ると、ＬＶ用処理になったという情報をシステム制御部１５から受けて、ＭＩＸモード管理・指示部１４は、位相差検知が不要である（画質を優先する）観点から、撮像素子用画素ＭＩＸ部１１とＡＦ信号用画素ＭＩＸ部１２と画像信号用画素ＭＩＸ部１３とが、それぞれどのようなミックス処理を行うかを決定する（ステップＳ６１）。
【0191】
続いて、ＭＩＸモード管理・指示部１４は、システム制御部１５を介して、撮像素子用画素ＭＩＸ部１１におけるミックス方法を指示する（ステップＳ６２）。
【0192】
このＬＶ用処理において、撮像素子用画素ＭＩＸ部１１に指示されるミックス方法は、例えば図２１に示すように、垂直ミックスを図１１、図１２、および図１３に示すように行い（つまり、画質を優先するために垂直方向のミックス画素を等間隔にする）、水平ミックスを図６、図７、および図８に示すように行い（水平方向のミックス画素は等間隔になる）、さらに左右加算を行う処理である。まず、ＬＶ画は、所定のフレームレートとリアルタイム性とを確保する必要があるために、撮像素子４内において垂直３画素ミックスおよび水平３画素ミックスを行うことで、撮像素子４から読み出す画素数を減らし、消費電力を低減している。加えて、ＬＶ画撮影時には位相差情報を必要としないために、撮像素子用画素ＭＩＸ部１１において左右加算を行うことで、撮像素子４から読み出す画素数をさらに減らして、読出時間の一層の短縮等を図っている。
【0193】
そして、画素部４ａで生成された画像データを、撮像素子用画素ＭＩＸ部１１によりミックス処理して（ステップＳ６３）、撮像素子４から読み出す（ステップＳ６４）。
【0194】
ＬＶ用処理においてはＡＦ処理は不要であるために、撮像素子４から読み出された画像データは、画像信号用画素ＭＩＸ部１３へ送信されるが、ＡＦ信号用画素ＭＩＸ部１２へは送信されない。
【0195】
ＭＩＸモード管理・指示部１４は、図２１に示すように、画像信号用画素ＭＩＸ部１３へミックス動作のオフを指示する（ステップＳ６５）。これは、撮像素子用画素ＭＩＸ部１１により、必要なミックス処理が既に行われているためである。
【0196】
これに応じて、画像信号用画素ＭＩＸ部１３は、ミックス動作をオフする（ステップＳ６６）。
【0197】
こうして撮像素子４から出力されたままの画像信号用画素ＭＩＸ部１３によるミックス処理がなされていない画像信号は、画像信号用画素ＭＩＸ部１３を介して、あるいは直接に画像信号処理部８へ送信されて、上述したような各種の画像処理が行われる（ステップＳ６７）。
【0198】
画像処理された画像信号は、画像信号処理部８から表示部９へ送信されて、表示部９に画像として表示される（ステップＳ６８）。
【0199】
こうして、ステップＳ６８の処理が行われたら、この処理からリターンする。
【0200】
なお、上述では主として第１の方向を水平方向、第２の方向を垂直方向として、水平方向の位相差検知（縦線検知）を例に挙げて説明した。
【0201】
この場合に、位相差検知を優先して垂直方向の少画素化（垂直ミックス、または垂直間引き）を行う際には、処理後画素信号の垂直方向の並び間隔が等間隔にならないようにした。また、垂直方向の少画素化を行うことなく水平方向の少画素化（水平ミックス、または水平間引き）を行う際、あるいは垂直方向の少画素化に加えて水平方向の少画素化を行う際には、一般的な処理と同様に、処理後画素信号の水平方向の並び間隔が等間隔になるようにした。
【0202】
これに対して、位相差検知を優先して垂直方向の位相差検知（横線検知）を行う場合には、第１の方向を垂直方向、第２の方向を水平方向とすれば、上述と同様の考え方を適用することができる。
【0203】
すなわち、水平方向の少画素化（水平ミックス、または水平間引き）を行う際には、処理後画素信号の水平方向の並び間隔が等間隔にならないようにすれば良い。また、水平方向の少画素化を行うことなく垂直方向の少画素化（垂直ミックス、または垂直間引き）を行う際、あるいは水平方向の少画素化に加えて垂直方向の少画素化を行う際には、一般的な処理と同様に、処理後画素信号の垂直方向の並び間隔が等間隔になるようにすれば良い。従って、横線検知に関する詳細な説明は省略する。
【0204】
なお、上述では、少画素化部である画素ＭＩＸ部として、撮像素子用画素ＭＩＸ部１１（素子内ＭＩＸ）、画像信号用画素ＭＩＸ部１３（画像用ＭＩＸ）、ＡＦ信号用画素ＭＩＸ部１２（ＡＦ用ＭＩＸ）の３つを備える例（下記の（４）の組み合わせの例）を説明したが、これら３つを全て備えるに限るものではない。
【0205】
位相差検知を優先する場合に、処理後画素信号の第２の方向の並び間隔が等間隔にならないように、第２の方向に隣接する複数の分割画素の分割画素信号の少画素化を行うためには、例えば次のような組み合わせが可能である。（１） （２） （３） （４） （５）
素子内ＭＩＸ ○ ○ ○ ○ ×
画像用ＭＩＸ × ○ × ○ ○
ＡＦ用ＭＩＸ × × ○ ○ ○
【0206】
そして、これらの組み合わせの中で、上下左右に４分割した分割画素を用いたときに、縦線検知と横線検知の両方に対して、処理後画素信号の第２の方向の並び間隔が等間隔にならないようにする位相差検知優先が可能であり、かつ画質優先も可能であるのは、（５）の構成（あるいは、（４）の構成において撮像素子用画素ＭＩＸ部１１を動作させないとき）である。
【0207】
具体的に、この場合には、撮像素子４内ではＭＩＸ処理を一切行わずに、全画素をそのまま出力する。そして、ＡＦ信号用画素ＭＩＸ部１２において、第１の方向を水平方向、第２の方向を垂直方向として少画素化を行い、縦線検知用の処理後画素信号を生成して縦線検知を行うと共に、縦線検知とは別途に、ＡＦ信号用画素ＭＩＸ部１２において、第１の方向を垂直方向、第２の方向を水平方向として少画素化を行い、横線検知用の処理後画素信号を生成して横線検知を行うようにすれば良い。
【0208】
この場合には、撮像素子４から全画素を読み出すことになるために、フレームレートの向上や消費電力の低減の効果を得ることは難しいが、ＡＦ信号用画素ＭＩＸ部１２において少画素化としてミックス処理を行えば、感度（Ｓ／Ｎ）を向上することが可能である。
【0209】
なお、画素の基本配列として上述ではベイヤ配列を例に挙げたが、上述したように、これに限定されるものではない。
【0210】
また、分光特性が異なる画素として上述ではＲＧＢ各画素を例に挙げたが、これに限定されるものではない。補色系の画素でも良いし、白色画素を含んでいても良いし、３色以上の多色画素であっても構わない。
【0211】
さらに、上述では、輝度成分を主に担うＧ画素の信号を用いて位相差検知を行ったが、デモザイキング処理を行って各画素位置の輝度信号を生成してから位相差検知を行うようにしても構わない。
【0212】
このような実施形態１によれば、位相差検知を優先する場合に、処理後画素信号の第２の方向の並び間隔が等間隔にならないように分割画素信号の少画素化を行うようにしたために、位相差検知に用いる種類の処理後画素信号の第２の方向の並び間隔を近接させることができ、異なる被写体に基づく誤検知を有効に抑制することができる。こうして、画素数を低減し、位相差検知精度を向上することができる。
【0213】
また、位相差検知を優先しない場合には、処理後画素信号の第２の方向の並び間隔が等間隔になるようにしたために、輝度信号相当成分が画像内により均一に分布することとなって、画質を向上することができる。
【0214】
さらに、処理後画素信号の第１の方向の並び間隔が等間隔になるようにしたために、位相差検知を優先するか否かに関わらず、第１の方向の画質を向上することができる。
【0215】
そして、素子内少画素化部である撮像素子用画素ＭＩＸ部１１により、処理後画素信号の第２の方向の並び間隔が等間隔にならないように少画素化を行うようにした場合には、撮像素子４から読み出す画素数を減らすことができるために、読み出しが高速になり、消費電力の低減を図ることができる。
【0216】
加えて、少画素化として混合と間引きとの少なくとも一方を行うことにより、複雑な演算処理が不要となって、処理の高速性を維持することが可能となる。
【0217】
また、混合対象となる複数の分割画素の位置を指定することにより、処理後画素信号の重心位置を設定するようにしたために、例えば、読み出し行や読み出し画素を指定可能なアドレス指定型の撮像素子４において、素子内の処理を好適に行うことが可能となる。
【0218】
さらに、複数の分割画素信号の混合比率を指定することにより処理後画素信号の重心位置を設定する場合には、加減乗除の四則演算のみで足りるために、撮像素子用画素ＭＩＸ部１１、ＡＦ信号用画素ＭＩＸ部１２、あるいは画像信号用画素ＭＩＸ部１３の何れにおいても、処理を高速に行うことができる。
【0219】
一方、間引かれることなく残る分割画素の位置を指定することにより、処理後画素信号の位置を設定して少画素化を行う場合には、四則演算も不要となるために、より処理負荷が軽減される。
【0220】
なお、上述した各部は、回路として構成されていてもよい。そして、任意の回路は、同一の機能を果たすことができれば、単一の回路として実装されていてもよいし、複数の回路を組み合わせたものとして実装されていても構わない。さらに、任意の回路は、目的とする機能を果たすための専用回路として構成されるに限るものではなく、汎用回路に処理プログラムを実行させることで目的とする機能を果たす構成であっても構わない。あるいは、ハードウェアとして構成されたプロセッサが、各部の処理を処理ステップとして行うようにしてもよい。
【0221】
また、上述では主として撮像装置について説明したが、撮像装置と同様の処理を行う撮像方法であってもよいし、コンピュータに撮像装置と同様の処理を行わせるための処理プログラム、該処理プログラムを記録するコンピュータにより読み取り可能な一時的でない記録媒体、等であっても構わない。
【0222】
さらに、本発明は上述した実施形態そのままに限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で構成要素を変形して具体化することができる。また、上記実施形態に開示されている複数の構成要素の適宜な組み合わせにより、種々の発明の態様を形成することができる。例えば、実施形態に示される全構成要素から幾つかの構成要素を削除してもよい。さらに、異なる実施形態にわたる構成要素を適宜組み合わせてもよい。このように、発明の主旨を逸脱しない範囲内において種々の変形や応用が可能であることは勿論である。
【符号の説明】
【0223】
１…撮像装置２…撮像レンズ
３…シャッタ
４…撮像素子
４ａ…画素部
５…データバス
６…内部メモリ
７…ＡＦ信号処理部
８…画像信号処理部
９…表示部
１０…入力ＩＦ
１１…撮像素子用画素ＭＩＸ部
１２…ＡＦ信号用画素ＭＩＸ部
１３…画像信号用画素ＭＩＸ部
１４…ＭＩＸモード管理・指示部
１５…システム制御部
２０…外部メモリ
ＭＬ…マイクロレンズ