(58)【調査した分野】(Int.Cl.,DB名)
【発明を実施するための形態】
【0025】
以下、本発明の実施形態について図面を参照して説明する。
【0026】
図1は、本発明の撮像装置の一実施形態であるデジタルカメラの概略構成を示す図である。
【0027】
図1に示すデジタルカメラの撮像系は、撮像レンズ1及び絞り2を有する撮像光学系と、CCDイメージセンサ又はCMOSイメージセンサ等の撮像素子5とを備えている。
【0028】
撮像レンズ1は、少なくともフォーカスレンズを含む。このフォーカスレンズは、撮像光学系の焦点位置を調節するためのレンズであり、単一のレンズ又は複数のレンズで構成される。フォーカスレンズが撮像光学系の光軸方向に移動することで焦点位置の調節が行われる。
【0029】
撮像素子5は、複数の撮像用画素と、上記の撮像光学系の瞳領域の異なる部分を通過した一対の光束をそれぞれ受光する位相差検出用画素とを2次元状に配置した構成になっている。
【0030】
撮像素子5は、撮像レンズ1により結像される光学像を光電変換して撮像画像信号を出力すると共に、上記一対の光束に対応する一対の像信号を出力することができる。
【0031】
デジタルカメラの電気制御系全体を統括制御するシステム制御部11は、レンズ駆動部8を制御して撮像レンズ1に含まれるフォーカスレンズの位置を調整する。また、システム制御部11は、絞り駆動部9を介して絞り2の開口量を制御することにより、露光量の調整を行う。
【0032】
また、システム制御部11は、撮像素子駆動部10を介して撮像素子5を駆動し、撮像レンズ1を通して撮像した被写体像を撮像画像信号として出力させる。システム制御部11には、操作部14を通してユーザからの指示信号が入力される。
【0033】
デジタルカメラの電気制御系は、更に、撮像素子5の出力に接続された相関二重サンプリング処理等のアナログ信号処理を行うアナログ信号処理部6と、このアナログ信号処理部6から出力されるR(赤色)成分の色信号、G(緑色)成分の色信号、及び、B(青色)成分の色信号をデジタル信号に変換するアナログデジタル(A/D)変換回路7とを備える。アナログ信号処理部6及びA/D変換回路7は、システム制御部11によって制御される。
【0034】
更に、デジタルカメラの電気制御系は、メインメモリ16と、メインメモリ16に接続されたメモリ制御部15と、撮像素子5によって撮像して得られる撮像画像信号に対し画像処理を行って撮像画像データを生成するデジタル信号処理部17と、撮像素子5の位相差検出用画素から出力される一対の像信号の位相差に基づいて撮像レンズ1のデフォーカス量を算出する焦点検出部19と、着脱自在の記録媒体21が接続される外部メモリ制御部20と、カメラ背面等に搭載された表示部23が接続される表示制御部22とを備えている。
【0035】
メモリ制御部15、デジタル信号処理部17、焦点検出部19、外部メモリ制御部20、及び、表示制御部22は、制御バス24及びデータバス25によって相互に接続され、システム制御部11からの指令によって制御される。
【0036】
システム制御部11とデジタル信号処理部17は、それぞれ、プログラムを実行して処理を行う各種のプロセッサと、RAM(Ramdom Access Memory)と、ROM(Read Only Memory)を含む。
【0037】
本明細書において、各種のプロセッサとは、プログラムを実行して各種処理を行う汎用的なプロセッサであるCPU(Central Prosessing Unit)、FPGA(Field Programmable Gate Array)等の製造後に回路構成を変更可能なプロセッサであるプログラマブルロジックデバイス(Programmable Logic Device:PLD)、又はASIC(Application Specific Integrated Circuit)等の特定の処理を実行させるために専用に設計された回路構成を有するプロセッサである専用電気回路等を含む。
【0038】
これら各種のプロセッサの構造は、より具体的には、半導体素子等の回路素子を組み合わせた電気回路である。
【0039】
システム制御部11とデジタル信号処理部17は、それぞれ、各種のプロセッサのうちの1つで構成されてもよいし、同種又は異種の2つ以上のプロセッサの組み合わせ(例えば、複数のFPGAの組み合わせ又はCPUとFPGAの組み合わせ)で構成されてもよい。
【0040】
図2は、
図1に示すデジタルカメラに搭載される撮像素子5の概略構成を示す平面模式図である。
【0041】
撮像素子5の受光面50には、行方向(左右方向)X及び行方向Xに直交する列方向(上下方向)Yに2次元状に配列された図示しない多数の画素が形成されている。
【0042】
この受光面50の任意の領域位置(図示する例では受光面50内の略全域)には、矩形の位相差検出エリア53が複数設定されている。この位相差検出エリア53は、焦点を合わせる対象となる被写体に対応する範囲として、受光面50上の位相差検出用画素を含むように設定されるエリアである。
【0043】
図2に示した35個の位相差検出エリア53の各々は、位相差検出エリア53として設定可能な最小のサイズであり、受光面50上においてこの最小のサイズよりも大きなサイズの位相差検出エリアを設定することも可能である。
【0044】
図2に示した列方向Yに伸びる直線Nは、デジタルカメラの撮像光学系の光軸と受光面50との交点を通りかつ列方向Yに伸びる仮想的な直線を示している。
【0045】
図2に示した構成例において、行方向Xが特許請求の範囲に記載の「任意の方向」に対応し、列方向Yが特許請求の範囲に記載の「直交方向」に対応し、左方向が特許請求の範囲に記載の「行方向Xの一方の方向」に対応し、右方向が特許請求の範囲に記載の「行方向Xの他方の方向」に対応する。また、行方向Xにおける直線Nの位置は、特許請求の範囲に記載の「任意の位置」に対応する。
【0046】
図3は、
図2に示す受光面50の拡大模式図である。
【0047】
撮像素子5の受光面50には、R光を光電変換してR成分の信号(R信号)を出力する撮像用画素60r(図中“R”を付したブロック)と、G光を光電変換してG成分の信号(G信号)を出力する撮像用画素60g(図中“G”を付したブロック)と、B光を光電変換してB成分の信号(B信号)を出力する撮像用画素60b(図中“B”を付したブロック)と、が規則的なパターンであるベイヤ配列にしたがって二次元状に配置されている。
【0048】
また、撮像素子5の受光面50の直線Nよりも左側の領域には、ベイヤ配列に基づく撮像用画素60gの配置位置(ベイヤ配列にしたがって撮像用画素60gが配置されるべき位置)の一部に、G光を光電変換してG信号を出力する左偏心位相差検出用画素61Gglが配置されている。
【0049】
また、撮像素子5の受光面50の直線Nよりも左側の領域には、ベイヤ配列に基づく撮像用画素60bの配置位置(ベイヤ配列にしたがって撮像用画素60bが配置されるべき位置)の一部に、G光を光電変換してG信号を出力する右偏心位相差検出用画素61Gbrが配置されている。
【0050】
また、撮像素子5の受光面50の直線Nよりも右側の領域には、ベイヤ配列に基づく撮像用画素60gの配置位置の一部に、G光を光電変換してG信号を出力する右偏心位相差検出用画素61Ggrが配置されている。
【0051】
また、撮像素子5の受光面50の直線Nよりも右側の領域には、ベイヤ配列に基づく撮像用画素60bの配置位置の一部に、G光を光電変換してG信号を出力する左偏心位相差検出用画素61Gblが配置されている。
【0052】
図4は、
図3に示す撮像用画素60r,60g,60bの画素構成を示す平面模式図である。
図5は、
図3に示す左偏心位相差検出用画素61Ggl,61Gblの画素構成を示す平面模式図である。
図6は、
図3に示す右偏心位相差検出用画素61Ggr,61Gbrの画素構成を示す平面模式図である。
【0053】
撮像用画素60r,60g,60bは、
図4に示すように、光電変換部(フォトダイオード)上に設けられた遮光膜63が光電変換部の略全体と重なる位置に開口63aを有しており、この開口63aと重なる光電変換部が光電変換領域64を構成している。
【0054】
光電変換領域64の行方向Xにおける中心の位置は、光電変換領域64の位置を示し、この位置は基準位置となる。撮像用画素60r,60g,60bは、
図1に示す撮像レンズ1の瞳領域の異なる部分を通過した一対の光(撮像レンズ1の主軸に対して左側を通過した光と右側を通過した光)の双方を受光し光電変換する画素である。
【0055】
左偏心位相差検出用画素61Ggl,61Gblは、
図5に示すように、光電変換部上に設けられた遮光膜63の開口63bの中心が、
図4の開口63aに対して左側に偏心して設けられており、この開口63bと重なる光電変換部が光電変換領域64bを構成している。
【0056】
光電変換領域64bの行方向Xの中心は、光電変換領域64bの位置を示し、この位置は、光電変換領域64の位置に対して左側に偏心した位置にある。左偏心位相差検出用画素61Ggl,61Gblは、上記一対の光の一方の光を受光して光電変換する画素である。左偏心位相差検出用画素61Ggl,61Gblは、それぞれ第一の位相差検出用画素を構成する。
【0057】
右偏心位相差検出用画素61Ggr,61Gbrは、
図6に示すように、光電変換部上に設けられた遮光膜63の開口63cの中心が、
図4の開口63aに対して右側に偏心して設けられており、この開口63cと重なる光電変換部が光電変換領域64cを構成している。
【0058】
光電変換領域64cの行方向Xの中心は、光電変換領域64cの位置を示し、この位置は、光電変換領域64の位置に対して右側に偏心した位置にある。右偏心位相差検出用画素61Ggr,61Gbrは、上記一対の光の他方の光を受光して光電変換する画素である。右偏心位相差検出用画素61Ggr,61Gbrは、それぞれ第二の位相差検出用画素を構成する。
【0059】
このように、撮像素子5の受光面50には、撮像用画素60r、撮像用画素60g、撮像用画素60b、左偏心位相差検出用画素61Ggl,61Gbl、及び、右偏心位相差検出用画素61Ggr,61Gbrの計7種類の画素が二次元状に配置されている。
【0060】
図1に示すデジタルカメラのデジタル信号処理部17は、撮像素子5に含まれる全ての画素の各々の出力信号の集合である撮像画像信号に対してデモザイク処理を行って、撮像素子5の各画素の位置に対応させてR信号、G信号、及び、B信号を生成し、このR信号、G信号、及び、B信号を重みづけ加算することで各画素の位置に対応する輝度信号を生成する。
【0061】
例えば、デジタル信号処理部17は、R信号とG信号とB信号を3:6:1の割合で重みづけ加算することで輝度信号を得る。
【0062】
デジタル信号処理部17は、この輝度信号とR信号、G信号、及び、B信号とを利用して色差信号を生成する。このような処理により、撮像素子5の各画素の位置に対応させて輝度信号及び色差信号からなる画素信号が生成され、この画素信号の集合によって撮像画像データが構成される。
【0063】
したがって、
図1に示すデジタルカメラに搭載される撮像素子5においては、R信号を出力する画素(撮像用画素60r)、G信号を出力する画素(撮像用画素60g、左偏心位相差検出用画素61Ggl,61Gbl、右偏心位相差検出用画素61Ggr,61Gbr)、及び、B信号を出力する画素(撮像用画素60b)のうち、G信号を出力する画素が輝度信号を得るために最も寄与する色成分(第一の色成分)の信号を出力する第一の画素となり、B信号を出力する画素及びR信号を出力する画素がそれぞれ第一の色成分以外の色信号を出力する第二の画素となる。
【0064】
図3に示す例では、受光面50に形成されている行方向Xに並ぶ複数の画素からなる画素行のうち、G信号を出力する画素とB信号を出力する画素とが行方向Xに交互に配列される多数のGB画素行の一部が、位相差検出用画素行Mとされている。
【0065】
位相差検出用画素行Mは、受光面50上において、列方向Yに向かって例えば等間隔に配置(
図3の例では6つの画素行に1つの割合で配置)されている。
【0066】
位相差検出用画素行Mは、直線Nよりも左側においては、ベイヤ配列においてG信号を出力する画素が配置されるべき位置に左偏心位相差検出用画素61Gglが配置され、ベイヤ配列においてB信号を出力する画素が配置されるべき位置に右偏心位相差検出用画素61Gbrが配置されている。
【0067】
位相差検出用画素行Mに含まれる各左偏心位相差検出用画素61Gglと、この各左偏心位相差検出用画素61Gglに対して右方向に最近接する位置にある右偏心位相差検出用画素61Gbrとにより第一のペアP1が構成される。
【0068】
また、位相差検出用画素行Mは、直線Nよりも右側においては、ベイヤ配列においてG信号を出力する画素が配置されるべき位置に右偏心位相差検出用画素61Ggrが配置され、ベイヤ配列においてB信号を出力する画素が配置されるべき位置に左偏心位相差検出用画素61Gblが配置されている。
【0069】
位相差検出用画素行Mに含まれる各右偏心位相差検出用画素61Ggrと、この各右偏心位相差検出用画素61Ggrに対して右方向に最近接する位置にある左偏心位相差検出用画素61Gblとにより第二のペアP2が構成される。
【0070】
このように、各位相差検出用画素行Mは、直線Nよりも左側に配置された左偏心位相差検出用画素61Gglと右偏心位相差検出用画素61Gbrの複数の第一のペアP1と、直線Nよりも右側に配置された右偏心位相差検出用画素61Ggrと左偏心位相差検出用画素61Gblの複数の第二のペアP2とを含む行方向Xに配列された複数のペアから構成されている。位相差検出用画素行Mはペア行を構成する。
【0071】
そして、各位相差検出用画素行Mにおいて、複数の第一のペアP1は直線Nよりも左側に配置され、複数の第二のペアP2は直線Nよりも右側に配置されている。
【0072】
図1に示す焦点検出部19は、デジタルカメラのユーザにより選択された位相差検出エリア53に含まれる位相差検出用画素の出力信号に基づいて撮像光学系の瞳領域を行方向Xに2分割して得られる各分割領域を通して撮像される一対の像信号の位相差を算出する。
【0073】
例えば、焦点検出部19は、選択された位相差検出エリア53に含まれる各位相差検出用画素行Mの第一のペアP1を構成する左偏心位相差検出用画素61Ggl及び右偏心位相差検出用画素61Gbrの各々の出力信号群同士の相関演算を行って位相差を算出し、この位相差に基づいてデフォーカス量を算出する。
【0074】
または、焦点検出部19は、選択された位相差検出エリア53に含まれる第二のペアP2を構成する右偏心位相差検出用画素61Ggr及び左偏心位相差検出用画素61Gblの各々の出力信号群同士の相関演算を行って位相差を算出し、この位相差に基づいてデフォーカス量を算出する。
【0075】
図1に示すシステム制御部11は、焦点検出部19によって算出されたデフォーカス量に基づいて、撮像レンズ1に含まれるフォーカスレンズの位置を制御して焦点調節を行う。
【0076】
そして、上記した焦点調節が行われた状態で撮像指示がなされると、システム制御部11は、撮像素子5により撮像を行わせ、この撮像によって撮像素子5から出力される撮像画像信号がデジタル信号処理部17に取り込まれる。
【0077】
デジタル信号処理部17は、この撮像画像信号を画像処理して撮像画像データを生成する。この画像処理には、デモザイク処理、ガンマ補正処理、及び、ホワイトバランス調整処理等が含まれる。デジタル信号処理部17は、撮像素子5の画素から出力される信号に基づいて撮像画像データを生成する画像処理部を構成する。
【0078】
図7は、
図1に示すデジタルカメラにおけるデジタル信号処理部17の機能ブロック図である。
【0079】
デジタル信号処理部17は、ゲイン補正処理部171と、補間補正処理部172と、撮像画像データ生成部173と、を備える。
【0080】
ゲイン補正処理部171、補間補正処理部172、及び、撮像画像データ生成部173は、デジタル信号処理部17に含まれるプロセッサがプログラムを実行することで形成される機能ブロックである。ゲイン補正処理部171と補間補正処理部172は、補正部を構成する。
【0081】
ゲイン補正処理部171は、左偏心位相差検出用画素Ggl及び右偏心位相差検出用画素Ggrの各々の出力信号にゲインを乗じて、左偏心位相差検出用画素Ggl及び右偏心位相差検出用画素Ggrの各々の位置に対応する画素信号を生成する。
【0082】
補間補正処理部172は、左偏心位相差検出用画素Gbl及び右偏心位相差検出用画素Gbrの各々の位置に対応する画素信号を、これら左偏心位相差検出用画素Gbl及び右偏心位相差検出用画素Gbrの各々の周囲にある撮像用画素60bの出力信号(B信号)に基づいて補間生成する。
【0083】
例えば、補間補正処理部172は、左偏心位相差検出用画素Gblの上下に近接する2つの撮像用画素60bの各々の出力信号の平均を算出し、この平均を、この左偏心位相差検出用画素Gblの位置に対応する画素信号とする。
【0084】
撮像画像データ生成部173は、撮像画像信号に含まれる撮像用画素60rの出力信号、撮像用画素60gの出力信号、及び、撮像用画素60bの出力信号と、左偏心位相差検出用画素Ggl及び右偏心位相差検出用画素Ggrの各々の出力信号のゲイン補正処理部171による補正後の信号と、補間補正処理部172により補間生成された左偏心位相差検出用画素Gbl及び右偏心位相差検出用画素Gbrの各々の位置に対応する画素信号と、に基づいて、輝度信号及び色差信号からなる撮像画像データを生成する。
【0085】
生成された撮像画像データは、例えば、外部メモリ制御部20を介して記録媒体21に記録したり、表示制御部22を介して表示部23に画像として表示したりすることができる。
【0086】
以上のように、
図1に示すデジタルカメラの撮像素子5は、直線Nを境にして、受光面50の左側の領域には左偏心位相差検出用画素61Gglが配置され、受光面50の右側の領域には右偏心位相差検出用画素61Ggrが配置された構成である。
【0087】
この構成によれば、直線Nからの距離が同じとなる左偏心位相差検出用画素61Ggl及び右偏心位相差検出用画素61Ggrの各々の感度特性を同じにすることができる。
【0088】
つまり、直線Nの右側又は左側においてG信号を出力する位相差検出用画素の出力信号のレベルが相対的に低下するのを防ぐことができる。
【0089】
このため、左偏心位相差検出用画素61Ggl及び右偏心位相差検出用画素61Ggrの各々の出力信号を適度なゲインによって画素信号として使用可能なレベルに戻すことができる。ゲインを大きくしなくてすむことで、ノイズを抑えて撮像画像品質を向上させることができる。
【0090】
また、左偏心位相差検出用画素61Ggl及び右偏心位相差検出用画素61Ggrの各々の出力信号はG信号であり、輝度信号への寄与度が最も大きい。このため、この出力信号をゲイン補正できることで、撮像画像品質を向上させることができる。
【0091】
一方、左偏心位相差検出用画素61Gbl及び右偏心位相差検出用画素61Gbrの各々の位置に対応する画素信号は、撮像用画素60bの出力信号であるB信号に基づいて補間生成される。
【0092】
B信号は、輝度信号に対する寄与度がR信号、G信号、及び、B信号の中で最も低い。このため、左偏心位相差検出用画素61Gbl及び右偏心位相差検出用画素61Gbrの各々の位置に対応する画素信号を補間生成することによる撮像画像品質への影響を最小限に抑えることができる。
【0093】
上記した実施形態では、ベイヤ配列にしたがって撮像用画素60g及び撮像用画素60bが配置されるべき位置の一部に位相差検出用画素が配置される構成であったが、これに限らならい。
【0094】
例えば、ベイヤ配列にしたがって撮像用画素60g及び撮像用画素60rが配置されるべき位置に位相差検出用画素が配置される構成であってもよい。
【0095】
つまり、受光面50に形成されている画素行のうち、R信号を出力する画素とG信号を出力する画素とが行方向Xに交互に配列される多数のRG画素行の一部が、位相差検出用画素行Mとされる構成であってもよい。
【0096】
この構成では、各位相差検出用画素行Mにおいて、直線Nよりも左側では、撮像用画素60gが配置されるべき位置に左偏心位相差検出用画素61Gglが配置され、撮像用画素60rが配置されるべき位置に右偏心位相差検出用画素61Gbrが配置される。
【0097】
また、各位相差検出用画素行Mにおいて、直線Nよりも右側では、撮像用画素60gが配置されるべき位置に右偏心位相差検出用画素61Ggrが配置され、撮像用画素60rが配置されるべき位置に左偏心位相差検出用画素61Gblが配置される。
【0098】
R信号は、輝度信号への寄与度がG信号よりも小さいので、この構成であっても、撮像画像品質向上の効果を得ることができる。
【0099】
なお、位相差検出用画素行Mは、第一のペアP1が行方向Xに並ぶ部分と第二のペアP2が行方向Xに並ぶ部分との境界が直線Nの位置によって決められているが、この境界の位置は直線Nの位置に限らない。
【0100】
例えば、直線Nに平行な直線であって直線Nに対し右方向又は左方向に例えば2画素分ずれた位置にある直線によって各位相差検出用画素行Mの第一のペアP1が並ぶ部分と第二のペアP2が並ぶ部分の境界が構成されていてもよい。
【0101】
または、直線Nに平行であり、かつ、
図2の行方向Xにおいて中央にある5つの位相差検出エリア53の各々と、この各々の行方向Xの両隣にある位相差検出エリア53との間の領域を通る直線によって各位相差検出用画素行Mの第一のペアP1が並ぶ部分と第二のペアP2が並ぶ部分の境界が構成されていてもよい。
【0102】
このように、位相差検出用画素行Mにおける上記境界の行方向Xの位置は任意であるが、この境界の位置は、直線Nの位置の近傍にあることが好ましい。
【0103】
直線Nの近傍とは、撮像画像品質が許容できる程度に直線Nと近いことを言い、例えば直線Nの行方向Xの位置を基準としてこの位置から行方向Xに数画素〜数百画素程度離れた範囲内の位置のこと、又は、受光面50を行方向Xにnを3以上の奇数として均等にn分割したときの中央の分割エリア内の位置のことを言う。
【0104】
以下、撮像素子5の変形例について説明する。
【0105】
(第一の変形例)
図8は、
図2に示す受光面50の第一の変形例を示す拡大模式図である。
【0106】
図8に示した第一の変形例の撮像素子5は、位相差検出用画素行Mに代えて、第一の位相差検出用画素行M1と第二の位相差検出用画素行M2の2つのパターンの位相差検出用画素行が設けられている。その他の構成は
図3に示したものと同じである。
【0107】
第一の位相差検出用画素行M1は、第一のペアP1が配置された部分と第二のペアP2が配置された部分との境界が、直線Nに平行かつ直線Nに対して右方向に2画素分ずれた位置にある直線N1によって構成されている。
【0108】
ここでは、直線N1と直線Nとの間の距離が2画素分とされているが、この距離は任意の画素数分の距離であればよい。第一の位相差検出用画素行M1は、第一のペア行を構成する。
【0109】
第二の位相差検出用画素行M2は、第一のペアP1が配置された部分と第二のペアP2が配置された部分との境界が、直線Nに平行かつ直線Nに対して左方向に2画素分ずれた位置にある直線N2によって構成されている。
【0110】
ここでは、直線N2と直線Nとの間の距離が2画素分とされているが、この距離は任意の画素数分の距離であればよい。第二の位相差検出用画素行M2は、第二のペア行を構成する。
【0111】
第一の変形例の撮像素子5の受光面50には、第一の位相差検出用画素行M1と第二の位相差検出用画素行M2を含む複数の位相差検出用画素行が列方向Yに交互に周期性をもって配置されている。
【0112】
このように第一の変形例の撮像素子5は、第一のペアP1が配置された部分と第二のペアP2が配置された部分との境界の位置が異なる第一の位相差検出用画素行M1及び第二の位相差検出用画素行M2を含み、第一の位相差検出用画素行M1及び第二の位相差検出用画素行M2が列方向Yに周期的に配列されている構成である。
【0113】
この第一の変形例の構成では、例えば、
図2の行方向Xにおいて中央にある5つの位相差検出エリア53の各々と、この各々の行方向Xの両隣にある位相差検出エリア53との間の領域に直線N1と直線N2の少なくとも一方が設定されることで、
図2に示した各位相差検出エリア53には、その外側に上記境界が存在する位相差検出用画素行が少なくとも1つ含まれることになる。
【0114】
このように、各位相差検出エリア53に、境界を跨がない位相差検出用画素行の部分が必ず存在することで、各位相差検出エリア53で撮像した被写体像の位相差を精度よく算出することができる。この結果、デジタルカメラの合焦精度を向上させることができる。
【0115】
なお、前述したように、受光面50に設定される位相差検出エリアのサイズは、
図2に示した位相差検出エリア53よりも大きくすることが可能である。
【0116】
このため、受光面50に設定される位相差検出エリアの最大サイズ及び最小サイズを考慮して、設定可能な全ての位相差検出エリアの各々に、上記境界が外側に存在する位相差検出用画素行が少なくとも1つ含まれる構成とするのが好ましい。
【0117】
具体的には、
図8に示す撮像素子5において、以下の条件(1)及び条件(2)を満たす構成とすることで、設定可能な全ての位相差検出エリアの各々に、上記境界が外側に存在する位相差検出用画素行が少なくとも1つ含まれる構成となる。
【0118】
条件(1)
直線N1と直線N2の行方向X間の距離は、位相差検出エリアの最大サイズの行方向Xの幅よりも大きい。
条件(2)
第一の位相差検出用画素行M1とこれに隣接する第二の位相差検出用画素行M2の間の距離は、位相差検出エリアの最小サイズの列方向Yの幅よりも小さい。
【0119】
以上の条件を満たす構成とすることで、どのようなサイズの位相差検出エリアが設定されても、その設定された位相差検出エリアによって撮像される被写体像の位相差を高精度に算出することができ、合焦精度を向上させることができる。
【0120】
また、第一の変形例によれば、第一の位相差検出用画素行M1と第二の位相差検出用画素行M2が周期的に配列されているため、デジタル信号処理部17が行う補間補正処理のアルゴリズムを簡略化することができる。
【0121】
(第二の変形例)
図9は、
図2に示す受光面50の第二の変形例を示す拡大模式図である。
【0122】
図9に示した第二の変形例の撮像素子5は、第一の位相差検出用画素行M1と第二の位相差検出用画素行M2が、Nを2以上の自然数として、N個(
図9の例では2個)おきに交互に列方向Yに周期性をもって配列されている点が、第一の変形例の撮像素子5とは異なる。その他の構成は、第一の変形例の撮像素子5と同じである。
【0123】
この第二の変形例の構成では、例えば、
図2の行方向Xにおいて中央にある5つの位相差検出エリア53の各々と、この各々の行方向Xの両隣にある位相差検出エリア53との間の領域に直線N1と直線N2の少なくとも一方があることで、
図2に示した各位相差検出エリア53には、その外側に上記境界が存在する位相差検出用画素行が少なくとも1つ含まれることになる。
【0124】
このように、各位相差検出エリア53に、境界を跨がない位相差検出用画素行が必ず存在することで、各位相差検出エリア53で撮像した被写体像の位相差を精度よく算出することができる。この結果、デジタルカメラの合焦精度を向上させることができる。
【0125】
また、第一の変形例と同様に、受光面50に設定される位相差検出エリアの最大サイズ及び最小サイズを考慮して、設定可能な全ての位相差検出エリアの各々に、上記境界が外側に存在する位相差検出用画素行が少なくとも1つ含まれる構成とするのが好ましい。
【0126】
具体的には、
図9に示す撮像素子5において、以下の条件(3)及び条件(4)を満たす構成とすることで、設定可能な全ての位相差検出エリアの各々に、上記境界が外側に存在する位相差検出用画素行が少なくとも1つ含まれる構成とすることができる。
【0127】
条件(3)
直線N1と直線N2の行方向X間の距離は、位相差検出エリアの最大サイズの行方向Xの幅よりも大きい。
条件(4)
列方向Yで隣接する位相差検出用画素行間の距離に上記Nを乗じて得られた値が、位相差検出エリアの最小サイズの列方向Yの幅よりも小さい。
【0128】
以上の条件を満たす構成とすることで、どのようなサイズの位相差検出エリアが設定されても、その設定された位相差検出エリアによって撮像される被写体像の位相差を高精度に算出することができ、合焦精度を向上させることができる。
【0129】
また、第二の変形例によれば、第一の位相差検出用画素行M1の列方向Yの隣には他の第一の位相差検出用画素行M1が必ず存在し、第二の位相差検出用画素行M2の列方向Yの隣には他の第二の位相差検出用画素行M2が必ず存在する。
【0130】
このため、第一の位相差検出用画素行M1又は第二の位相差検出用画素行M2の任意の画素に欠陥があった場合に、この画素の欠陥補正を、この画素と同じ構成の隣接画素の出力信号を用いて行うことができる。したがって、欠陥画素があった場合の欠陥補正の精度を向上させることができる。
【0131】
また、第二の変形例によれば、第一の位相差検出用画素行M1と第二の位相差検出用画素行M2が周期的に配列されているため、デジタル信号処理部17が行う補間補正処理のアルゴリズムを簡略化することができる。
【0132】
(第三の変形例)
第一の変形例と第二の変形例では、第一の位相差検出用画素行M1と第二の位相差検出用画素行M2が列方向Yに周期的に配列される構成とした。
【0133】
この変形例として、第一の位相差検出用画素行M1と第二の位相差検出用画素行M2が列方向Yにランダムに配置されていてもよい。このような構成であっても撮像画像品質を向上させることができる。
【0134】
(第四の変形例)
撮像素子5は、上記の境界の位置が異なる3つ以上の位相差検出用画素行が受光面50に形成された構成であってもよい。このような構成であっても撮像画像品質を向上させることができる。
【0135】
なお、この構成においても、3つ以上の位相差検出用画素行が列方向Yに周期的に配列されることで、補間補正のアルゴリズムを簡略化することができる。また、上記の条件(1),(2)又は(3),(4)を満たす構成とすることで、合焦精度を向上させることができる。
【0136】
(第五の変形例)
第一のペアP1と第二のペアP2は、それぞれ、列方向Yの位置が同じ2つの位相差検出用画素によって構成されるものとしたが、列方向Yの位置が異なる2つの位相差検出用画素によって第一のペアP1と第二のペアP2が構成されてもよい。
【0137】
図10は、
図2に示す受光面50の第五の変形例を示す拡大模式図である。
【0138】
図10に示す撮像素子5は、列方向Yに隣接する2つのGB画素行のうちの上の画素行の直線Nよりも左側において、撮像用画素60gが配置されるべき位置に左偏心位相差検出用画素61Gglが配置され、この画素行の直線Nよりも右側において、撮像用画素60bが配置されるべき位置に左偏心位相差検出用画素61Gblが配置されている。
【0139】
また、
図10に示す撮像素子5は、上記2つのGB画素行のうちの下の画素行の直線Nよりも左側において、撮像用画素60bが配置されるべき位置に右偏心位相差検出用画素61Gbrが配置され、この画素行の直線Nよりも右側において、撮像用画素60gが配置されるべき位置に右偏心位相差検出用画素61Ggrが配置されている。
【0140】
図10に示す撮像素子5では、直線Nよりも左側にある左偏心位相差検出用画素61Gglと、この左偏心位相差検出用画素61Gblに対して斜め右下方向に最近接する右偏心位相差検出用画素61Gbrとが第一のペアP1を構成する。
【0141】
また、
図10に示す撮像素子5では、直線Nよりも右側にある右偏心位相差検出用画素61Ggrと、この右偏心位相差検出用画素61Ggrに対して斜め右上方向に最近接する左偏心位相差検出用画素61Gblとが第二のペアP2を構成する。
【0142】
そして、行方向Xに並ぶ複数の第一のペアP1と、行方向Xに並ぶ複数の第二のペアP2とによって、位相差検出用画素行Maが構成されている。
【0143】
図10に示す構成であっても、
図3に示す撮像素子5と同様の効果を得ることができる。なお、
図10に示す構成においても、第一の変形例から第四の変形例で説明した構成を適用することができる。
【0144】
(第六の変形例)
撮像素子5は、多数の画素がベイヤ配列以外のパターンにしたがって配置される構成であってもよい。
【0145】
図11は、
図2に示す受光面50の第六の変形例を示す拡大模式図である。
【0146】
図11に示す撮像素子5の画素は、R光を光電変換する画素の数と、B光を光電変換する画素の数と、G光を光電変換する画素の数との比が1:1:2.5となるパターンにしたがって配置されている。
【0147】
このパターンは、
図12に示したように、撮像用画素60r,60g,60bを含むユニットU1と、ユニットU1において撮像用画素60rと撮像用画素60bの位置を入れ替えたユニットU2とが市松状に配置されたパターンである。
【0148】
ユニットU1は、撮像用画素60gが4隅と中央に配置されている。また、ユニットU1において、中央の撮像用画素60gの行方向Xの両隣には撮像用画素60rが配置され、中央の撮像用画素60gの列方向Yの両隣には撮像用画素60bが配置されている。
図12に示す画素配列の構成及び効果については、国際公開WO13/168493号公報に詳細が記載されているため説明を省略する。
【0149】
図11に示す第六の変形例の撮像素子5は、
図12に示した画素配列において、直線Nよりも左側の撮像用画素60gが配置されるべき位置の一部に左偏心位相差検出用画素61Gglが配置され、直線Nよりも右側の撮像用画素60gが配置されるべき位置の一部に右偏心位相差検出用画素61Ggrが配置された構成である。
【0150】
また、
図11に示す撮像素子5は、
図12に示した画素配列において、直線Nよりも左側の撮像用画素60b,60rが配置されるべき位置の一部に右偏心位相差検出用画素61Gbrが配置され、直線Nよりも右側の撮像用画素60b,60rが配置されるべき位置の一部に左偏心位相差検出用画素61Gblが配置された構成である。
【0151】
図11に示す撮像素子5では、左偏心位相差検出用画素61Gglと、これの右斜め下方向にある右偏心位相差検出用画素61Gbrとにより第一のペアP1が構成される。
【0152】
また、右偏心位相差検出用画素61Ggrと、これの右斜め下方向にある左偏心位相差検出用画素61Gblとにより第二のペアP2が構成される。
【0153】
そして、複数の第一のペアP1と複数の第二のペアP2とによって位相差検出用画素行Mbが構成されている。
【0154】
図11に示す撮像素子5によれば、
図3に示す撮像素子5と同様の効果を得ることができる。なお、
図11に示す構成においても、第一の変形例から第四の変形例で説明した構成を適用することができる。
【0155】
以下では、撮像装置としてスマートフォンの構成について説明する。
【0156】
図13は、本発明の撮像装置の一実施形態であるスマートフォン200の外観を示すものである。
【0157】
図13に示すスマートフォン200は、平板状の筐体201を有し、筐体201の一方の面に表示部としての表示パネル202と、入力部としての操作パネル203とが一体となった表示入力部204を備えている。
【0158】
また、この様な筐体201は、スピーカ205と、マイクロホン206と、操作部207と、カメラ部208とを備えている。
【0159】
なお、筐体201の構成はこれに限定されず、例えば、表示部と入力部とが独立した構成を採用したり、折り畳み構造やスライド機構を有する構成を採用したりすることもできる。
【0160】
図14は、
図13に示すスマートフォン200の構成を示すブロック図である。
【0161】
図14に示すように、スマートフォンの主たる構成要素として、無線通信部210と、表示入力部204と、通話部211と、操作部207と、カメラ部208と、記憶部212と、外部入出力部213と、GPS(Global Positioning System)受信部214と、モーションセンサ部215と、電源部216と、主制御部220とを備える。
【0162】
また、スマートフォン200の主たる機能として、図示省略の基地局装置BSと図示省略の移動通信網NWとを介した移動無線通信を行う無線通信機能を備える。
【0163】
無線通信部210は、主制御部220の指示にしたがって、移動通信網NWに収容された基地局装置BSに対し無線通信を行うものである。この無線通信を使用して、音声データ、画像データ等の各種ファイルデータ、電子メールデータなどの送受信や、Webデータやストリーミングデータなどの受信を行う。
【0164】
表示入力部204は、主制御部220の制御により、画像(静止画像および動画像)や文字情報などを表示して視覚的にユーザに情報を伝達するとともに、表示した情報に対するユーザ操作を検出する、いわゆるタッチパネルであって、表示パネル202と、操作パネル203とを備える。
【0165】
表示パネル202は、LCD(Liquid Crystal Display)、OELD(Organic Electro−Luminescence Display)などを表示デバイスとして用いたものである。
【0166】
操作パネル203は、表示パネル202の表示面上に表示される画像を視認可能に載置され、ユーザの指や尖筆によって操作される一又は複数の座標を検出するデバイスである。このデバイスをユーザの指や尖筆によって操作すると、操作に起因して発生する検出信号を主制御部220に出力する。次いで、主制御部220は、受信した検出信号に基づいて、表示パネル202上の操作位置(座標)を検出する。
【0167】
図13に示すように、本発明の撮像装置の一実施形態として例示しているスマートフォン200の表示パネル202と操作パネル203とは一体となって表示入力部204を構成しているが、操作パネル203が表示パネル202を完全に覆うような配置となっている。
【0168】
係る配置を採用した場合、操作パネル203は、表示パネル202外の領域についても、ユーザ操作を検出する機能を備えてもよい。換言すると、操作パネル203は、表示パネル202に重なる重畳部分についての検出領域(以下、表示領域と称する)と、それ以外の表示パネル202に重ならない外縁部分についての検出領域(以下、非表示領域と称する)とを備えていてもよい。
【0169】
なお、表示領域の大きさと表示パネル202の大きさとを完全に一致させても良いが、両者を必ずしも一致させる必要は無い。また、操作パネル203が、外縁部分と、それ以外の内側部分の2つの感応領域を備えていてもよい。
【0170】
更に、外縁部分の幅は、筐体201の大きさなどに応じて適宜設計されるものである。更にまた、操作パネル203で採用される位置検出方式としては、マトリクススイッチ方式、抵抗膜方式、表面弾性波方式、赤外線方式、電磁誘導方式、静電容量方式などが挙げられ、いずれの方式を採用することもできる。
【0171】
通話部211は、スピーカ205やマイクロホン206を備え、マイクロホン206を通じて入力されたユーザの音声を主制御部220にて処理可能な音声データに変換して主制御部220に出力したり、無線通信部210あるいは外部入出力部213により受信された音声データを復号してスピーカ205から出力させたりするものである。
【0172】
また、
図13に示すように、例えば、スピーカ205を表示入力部204が設けられた面と同じ面に搭載し、マイクロホン206を筐体201の側面に搭載することができる。
【0173】
操作部207は、キースイッチなどを用いたハードウェアキーであって、ユーザからの指示を受け付けるものである。例えば、
図13に示すように、操作部207は、スマートフォン200の筐体201の側面に搭載され、指などで押下されるとオンとなり、指を離すとバネなどの復元力によってオフ状態となる押しボタン式のスイッチである。
【0174】
記憶部212は、主制御部220の制御プログラムや制御データ、アプリケーションソフトウェア、通信相手の名称や電話番号などを対応づけたアドレスデータ、送受信した電子メールのデータ、WebブラウジングによりダウンロードしたWebデータや、ダウンロードしたコンテンツデータを記憶し、またストリーミングデータなどを一時的に記憶するものである。
【0175】
また、記憶部212は、スマートフォン内蔵の内部記憶部217と着脱自在な外部メモリスロットを有する外部記憶部218により構成される。なお、記憶部212を構成するそれぞれの内部記憶部217と外部記憶部218は、フラッシュメモリタイプ(flash memory type)、ハードディスクタイプ(hard disk type)、マルチメディアカードマイクロタイプ(multimedia card micro type)、カードタイプのメモリ(例えば、MicroSD(登録商標)メモリ等)、RAM(Random Access Memory)、ROM(Read Only Memory)などの格納媒体を用いて実現される。
【0176】
外部入出力部213は、スマートフォン200に連結される全ての外部機器とのインターフェースの役割を果たすものであり、他の外部機器に通信等(例えば、ユニバーサルシリアルバス(USB)、IEEE1394など)又はネットワーク(例えば、インターネット、無線LAN、ブルートゥース(Bluetooth)(登録商標)、RFID(Radio Frequency Identification)、赤外線通信(Infrared Data Association:IrDA)(登録商標)、UWB(Ultra Wideband)(登録商標)、ジグビー(ZigBee)(登録商標)など)により直接的又は間接的に接続するためのものである。
【0177】
スマートフォン200に連結される外部機器としては、例えば、有/無線ヘッドセット、有/無線外部充電器、有/無線データポート、カードソケットを介して接続されるメモリカード(Memory card)やSIM(Subscriber Identity Module Card)/UIM(User Identity Module Card)カード、オーディオ・ビデオI/O(Input/Output)端子を介して接続される外部オーディオ・ビデオ機器、無線接続される外部オーディオ・ビデオ機器、有/無線接続されるスマートフォン、有/無線接続されるパーソナルコンピュータ、有/無線接続されるPDA、有/無線接続されるパーソナルコンピュータ、イヤホンなどがある。外部入出力部213は、このような外部機器から伝送を受けたデータをスマートフォン200の内部の各構成要素に伝達することや、スマートフォン200の内部のデータが外部機器に伝送されるようにすることができる。
【0178】
GPS受信部214は、主制御部220の指示にしたがって、GPS衛星ST1〜STnから送信されるGPS信号を受信し、受信した複数のGPS信号に基づく測位演算処理を実行し、スマートフォン200の緯度、経度、高度からなる位置を検出する。GPS受信部214は、無線通信部210や外部入出力部213(例えば、無線LAN)から位置情報を取得できる時には、その位置情報を用いて位置を検出することもできる。
【0179】
モーションセンサ部215は、例えば、3軸の加速度センサなどを備え、主制御部220の指示にしたがって、スマートフォン200の物理的な動きを検出する。スマートフォン200の物理的な動きを検出することにより、スマートフォン200の動く方向や加速度が検出される。係る検出結果は、主制御部220に出力されるものである。
【0180】
電源部216は、主制御部220の指示にしたがって、スマートフォン200の各部に、バッテリ(図示しない)に蓄えられる電力を供給するものである。
【0181】
主制御部220は、マイクロプロセッサを備え、記憶部212が記憶する制御プログラムや制御データにしたがって動作し、スマートフォン200の各部を統括して制御するものである。また、主制御部220は、無線通信部210を通じて、音声通信やデータ通信を行うために、通信系の各部を制御する移動通信制御機能と、アプリケーション処理機能を備える。
【0182】
アプリケーション処理機能は、記憶部212が記憶するアプリケーションソフトウェアにしたがって主制御部220が動作することにより実現するものである。アプリケーション処理機能としては、例えば、外部入出力部213を制御して対向機器とデータ通信を行う赤外線通信機能や、電子メールの送受信を行う電子メール機能、Webページを閲覧するWebブラウジング機能などがある。
【0183】
また、主制御部220は、受信データやダウンロードしたストリーミングデータなどの画像データ(静止画像や動画像のデータ)に基づいて、映像を表示入力部204に表示する等の画像処理機能を備える。画像処理機能とは、主制御部220が、上記画像データを復号し、この復号結果に画像処理を施して、画像を表示入力部204に表示する機能のことをいう。
【0184】
更に、主制御部220は、表示パネル202に対する表示制御と、操作部207、操作パネル203を通じたユーザ操作を検出する操作検出制御を実行する。表示制御の実行により、主制御部220は、アプリケーションソフトウェアを起動するためのアイコンや、スクロールバーなどのソフトウェアキーを表示したり、あるいは電子メールを作成したりするためのウィンドウを表示する。
【0185】
なお、スクロールバーとは、表示パネル202の表示領域に収まりきれない大きな画像などについて、画像の表示部分を移動する指示を受け付けるためのソフトウェアキーのことをいう。
【0186】
また、操作検出制御の実行により、主制御部220は、操作部207を通じたユーザ操作を検出したり、操作パネル203を通じて、上記アイコンに対する操作や、上記ウィンドウの入力欄に対する文字列の入力を受け付けたり、あるいは、スクロールバーを通じた表示画像のスクロール要求を受け付ける。
【0187】
更に、操作検出制御の実行により主制御部220は、操作パネル203に対する操作位置が、表示パネル202に重なる重畳部分(表示領域)か、それ以外の表示パネル202に重ならない外縁部分(非表示領域)かを判定し、操作パネル203の感応領域や、ソフトウェアキーの表示位置を制御するタッチパネル制御機能を備える。
【0188】
また、主制御部220は、操作パネル203に対するジェスチャ操作を検出し、検出したジェスチャ操作に応じて、予め設定された機能を実行することもできる。ジェスチャ操作とは、従来の単純なタッチ操作ではなく、指などによって軌跡を描いたり、複数の位置を同時に指定したり、あるいはこれらを組み合わせて、複数の位置から少なくとも1つについて軌跡を描く操作を意味する。
【0189】
カメラ部208は、
図1に示したデジタルカメラにおける外部メモリ制御部20、記録媒体21、表示制御部22、表示部23、及び操作部14以外の構成を含む。カメラ部208によって生成された撮像画像データは、記憶部212に記録したり、外部入出力部213や無線通信部210を通じて出力したりすることができる。
【0190】
図13に示すスマートフォン200において、カメラ部208は表示入力部204と同じ面に搭載されているが、カメラ部208の搭載位置はこれに限らず、表示入力部204の背面に搭載されてもよい。
【0191】
また、カメラ部208はスマートフォン200の各種機能に利用することができる。例えば、表示パネル202にカメラ部208で取得した画像を表示することや、操作パネル203の操作入力のひとつとして、カメラ部208の画像を利用することができる。
【0192】
また、GPS受信部214が位置を検出する際に、カメラ部208からの画像を参照して位置を検出することもできる。更には、カメラ部208からの画像を参照して、3軸の加速度センサを用いずに、或いは、3軸の加速度センサと併用して、スマートフォン200のカメラ部208の光軸方向を判断することや、現在の使用環境を判断することもできる。勿論、カメラ部208からの画像をアプリケーションソフトウェア内で利用することもできる。
【0193】
その他、静止画又は動画の画像データにGPS受信部214により取得した位置情報、マイクロホン206により取得した音声情報(主制御部等により、音声テキスト変換を行ってテキスト情報となっていてもよい)、モーションセンサ部215により取得した姿勢情報等などを付加して記憶部212に記録したり、外部入出力部213や無線通信部210を通じて出力したりすることもできる。
【0194】
以上のような構成のスマートフォン200においても、
図1、
図5に示したデジタル信号処理部17が上述した処理を行うことで、高品質の撮像が可能になる。
【0195】
なお、上記した実施形態及び各変形例の撮像素子5において、R信号を出力する画素、G信号を出力する画素、B信号を出力する画素の他に、白色光を光電変換するホワイト画素(例えばカラーフィルタ非搭載の画素)があるものにおいても、本願発明を適用可能である。
【0196】
この場合は、ホワイト画素が配置されるべき位置と、R信号を出力する画素又はB信号を出力する画素が配置されるべき位置とに位相検出用画素が配置される。
【0197】
また、上記した実施形態及び各変形例の撮像素子5は、3色の光を分光して光電変換するものとしたが、分光できる色の数は輝度信号への寄与度が最大となる色を含む2色であっても本発明を適用可能である。
【0198】
また、上記した実施形態及び各変形例の撮像素子5において、左偏心位相差検出用画素61Ggl、右偏心位相差検出用画素61Ggr、左偏心位相差検出用画素61Gbl、及び、右偏心位相差検出用画素61Gbrがそれぞれ光電変換する光の色は、その色の輝度信号への寄与度によって決まる。
【0199】
例えば、撮像素子5が内視鏡等の用途で用いられる場合には、各画素に対応して生成したR信号、G信号、及び、B信号のうち、R信号の割合を最大として輝度信号を生成することが考えられる。
【0200】
この場合には、左偏心位相差検出用画素61Ggl、右偏心位相差検出用画素61Ggr、左偏心位相差検出用画素61Gbl、及び、右偏心位相差検出用画素61Gbrは、それぞれR光を光電変換する画素となる。
【0201】
そして、直線N又は直線N1,N2よりも左側における撮像用画素60rが配置されるべき位置の一部に左偏心位相差検出用画素61Gglが配置され、直線N又は直線N1,N2よりも右側における撮像用画素60rが配置されるべき位置の一部に右偏心位相差検出用画素61Ggrが配置される。
【0202】
また、直線N又は直線N1,N2よりも左側における撮像用画素60g又は撮像用画素60bが配置されるべき位置の一部に右偏心位相差検出用画素61Gbrが配置され、直線N又は直線N1,N2よりも右側における撮像用画素60g又は撮像用画素60bが配置されるべき位置の一部に左偏心位相差検出用画素61Gblが配置される。
【0203】
このような構成により、位相差検出用画素の出力信号のうち、輝度信号への寄与度が最大となるR信号を、ゲイン補正によって画素信号として利用可能なレベルに戻すことができるため、撮像画像品質を向上させることができる。
【0204】
また、上記した実施形態及び各変形例では、行方向Xに位相差を検出する場合を例にしたが、列方向Yに位相差を検出する場合にも、同様に本発明を適用可能である。
【0205】
以上説明してきたように、本明細書には以下の事項が開示されている。
【0206】
(1) 異なる色の光を光電変換する複数の画素を有し、上記複数の画素が規則的なパターンにしたがって二次元状に配置された受光面を有する撮像素子であって、上記複数の画素は、輝度信号を得るために最も寄与する第一の色成分の信号を出力する第一の画素と、上記第一の色成分以外の色成分の信号を出力する第二の画素とを含み、上記第一の画素は、基準位置に光電変換領域がある第一の撮像用画素と、上記基準位置に対して任意の方向の一方の方向に偏心した位置に光電変換領域がある第一の位相差検出用画素と、上記基準位置に対して上記任意の方向の他方の方向に偏心した位置に光電変換領域がある第二の位相差検出用画素と、を含み、上記第二の画素は、上記基準位置に光電変換領域がある第二の撮像用画素であり、上記受光面には、上記パターンに基づく上記第一の画素の配置位置に配置された上記第一の位相差検出用画素と、上記パターンに基づく上記第二の画素の配置位置に配置された上記第二の位相差検出用画素の複数の第一のペアと、上記パターンに基づく上記第一の画素の配置位置に配置された上記第二の位相差検出用画素と、上記パターンに基づく上記第二の画素の配置位置に配置された上記第一の位相差検出用画素の複数の第二のペアと、を含む上記任意の方向に配列されたペアから構成されるペア行が形成されており、上記ペア行に含まれる上記複数の第一のペアは、上記ペア行の上記任意の方向における任意の位置よりも上記一方の方向側に配置されており、上記ペア行に含まれる上記複数の第二のペアは、上記ペア行の上記任意の方向における上記任意の位置よりも上記他方の方向側に配置されている撮像素子。
【0207】
(2) (1)記載の撮像素子であって、上記受光面には、上記任意の方向と直交する直交方向に配列された複数の上記ペア行が形成されており、上記複数のペア行は、上記任意の方向における上記任意の位置が異なる複数パターンのペア行を含む撮像素子。
【0208】
(3) (2)記載の撮像素子であって、上記複数のペア行は、上記任意の方向における上記任意の位置が異なる第一のペア行及び第二のペア行を含み、上記第一のペア行と上記第二のペア行は上記直交方向に周期的に配列されている撮像素子。
【0209】
(4) (3)記載の撮像素子であって、上記第一のペア行と上記第二のペア行は上記直交方向に交互に配列されている撮像素子。
【0210】
(5) (3)記載の撮像素子であって、上記第一のペア行と上記第二のペア行は、Nを2以上の自然数として、上記直交方向に、N個おきに交互に配列されている撮像素子。
【0211】
(6) (2)〜(5)のいずれか1項記載の撮像素子であって、上記受光面には、焦点を合わせる対象となる被写体に対応する範囲が設定可能であり、設定可能な全ての上記範囲の各々には、上記範囲の外側に上記任意の位置が存在する上記ペア行が少なくとも1つ含まれる撮像素子。
【0212】
(7) (1)〜(6)のいずれか1項記載の撮像素子であって、上記第一の画素は、緑色の光を光電変換するものであり、上記第二の画素は、青色の光を光電変換するものである撮像素子。
【0213】
(8) (1)記載の撮像素子であって、上記任意の位置は、上記撮像素子の受光面の前方に配置されるフォーカスレンズを含む撮像光学系の光軸と上記受光面との交点を通りかつ上記任意の方向と直交する直交方向に伸びる直線の近傍に設定されている撮像素子。
【0214】
(9) (1)〜(8)のいずれか1項記載の撮像素子と、上記撮像素子の上記複数の画素から出力される信号に基づいて撮像画像データを生成する画像処理部と、を備える撮像装置。
【0215】
(10) (9)記載の撮像装置であって、上記画像処理部は、上記パターンに基づく上記第一の画素の配置位置に配置された上記第一の位相差検出用画素の出力信号にゲインを乗じてその第一の位相差検出用画素の位置に対応する画素信号を生成し、上記パターンに基づく上記第一の画素の配置位置に配置された上記第二の位相差検出用画素の出力信号にゲインを乗じてその第二の位相差検出用画素の位置に対応する画素信号を生成し、上記パターンに基づく上記第二の画素の配置位置に配置された上記第一の位相差検出用画素の位置に対応する画素信号を、その第一の位相差検出用画素の周囲にある上記第二の撮像用画素の出力信号に基づいて補間生成し、上記パターンに基づく上記第二の画素の配置位置に配置された上記第二の位相差検出用画素の位置に対応する画素信号を、その第二の位相差検出用画素の周囲にある上記第二の撮像用画素の出力信号に基づいて補間生成する補正部と、上記第一の撮像用画素の出力信号と、上記第二の撮像用画素の出力信号と、上記補正部により生成された画素信号とに基づいて、輝度信号及び色差信号からなる上記撮像画像データを生成する撮像画像データ生成部と、を備える撮像装置。
【0216】
(11) (1)〜(8)のいずれか1項記載の撮像素子と、上記撮像素子の上記複数の画素から出力される信号に基づいて撮像画像データを生成するプロセッサと、を備える撮像装置。
【0217】
(12) (11)記載の撮像装置であって、上記プロセッサは、上記パターンに基づく上記第一の画素の配置位置に配置された上記第一の位相差検出用画素の出力信号にゲインを乗じてその第一の位相差検出用画素の位置に対応する画素信号を生成し、上記パターンに基づく上記第一の画素の配置位置に配置された上記第二の位相差検出用画素の出力信号にゲインを乗じてその第二の位相差検出用画素の位置に対応する画素信号を生成し、上記パターンに基づく上記第二の画素の配置位置に配置された上記第一の位相差検出用画素の位置に対応する画素信号を、その第一の位相差検出用画素の周囲にある上記第二の撮像用画素の出力信号に基づいて補間生成し、上記パターンに基づく上記第二の画素の配置位置に配置された上記第二の位相差検出用画素の位置に対応する画素信号を、その第二の位相差検出用画素の周囲にある上記第二の撮像用画素の出力信号に基づいて補間生成し、上記第一の撮像用画素の出力信号と、上記第二の撮像用画素の出力信号と、上記補正部により生成された画素信号とに基づいて、輝度信号及び色差信号からなる上記撮像画像データを生成する撮像装置。