知財求人 - 知財ポータルサイト「IP Force」
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】6408372
(24)【登録日】2018年9月28日
(45)【発行日】2018年10月17日
(54)【発明の名称】固体撮像装置及びその駆動制御方法、並びに、電子機器
(51)【国際特許分類】
H04N 5/355 20110101AFI20181004BHJP
H01L 27/146 20060101ALI20181004BHJP
H04N 5/3745 20110101ALI20181004BHJP
【ＦＩ】
H04N5/355 540
H01L27/146 A
H01L27/146 D
H04N5/3745
【請求項の数】11
【全頁数】35
(21)【出願番号】特願2014-258941(P2014-258941)
(22)【出願日】2014年12月22日
(65)【公開番号】特開2015-201834(P2015-201834A)
(43)【公開日】2015年11月12日
【審査請求日】2017年1月12日
(31)【優先権主張番号】特願2014-71756(P2014-71756)
(32)【優先日】2014年3月31日
(33)【優先権主張国】JP
(73)【特許権者】
【識別番号】316005926
【氏名又は名称】ソニーセミコンダクタソリューションズ株式会社
(74)【代理人】
【識別番号】100121131
【弁理士】
【氏名又は名称】西川 孝
(74)【代理人】
【識別番号】100082131
【弁理士】
【氏名又は名称】稲本 義雄
(72)【発明者】
【氏名】広田 功
(72)【発明者】
【氏名】松村 正雄
【審査官】
鈴木 明
(56)【参考文献】
【文献】
特開２０１０−２３７４０１（ＪＰ，Ａ）
【文献】
特開２００４−０４８４４５（ＪＰ，Ａ）
【文献】
特開２０１１−２０４７９７（ＪＰ，Ａ）
(58)【調査した分野】（Int.Cl.，ＤＢ名）
Ｈ０４Ｎ ５／３０−５／３７８
Ｈ０１Ｌ ２７／１４−２７／１４８
(57)【特許請求の範囲】
【請求項1】
同一の受光領域を有する画素が行列状に複数配置されており、１つのマイクロレンズに入射された光が、隣接する複数画素に入射されるように構成されている画素アレイ部と、
前記画素アレイ部の第１のマイクロレンズ下の前記複数画素に含まれる第１画素及び第２画素のうち、前記第１画素に対して第１の露光時間に設定し、前記第２画素に対して第２の露光時間に設定するとともに、前記画素アレイ部の第２のマイクロレンズ下の前記複数画素に含まれる前記第１画素及び前記第２画素に対しては前記第１の露光時間に設定する駆動制御部と
を備える固体撮像装置。
前記画素アレイ部の第１のマイクロレンズ下の前記複数画素に含まれる第１画素及び第２画素のうち、前記第１画素に対して第１の露光時間に設定し、前記第２画素に対して第２の露光時間に設定するとともに、前記画素アレイ部の第２のマイクロレンズ下の前記複数画素に含まれる前記第１画素及び前記第２画素に対しては前記第１の露光時間に設定する駆動制御部と
を備える固体撮像装置。
【請求項2】
前記第１のマイクロレンズ下の前記第１画素と前記第２画素の画素信号を用いて、ダイナミックレンジが拡張された信号を生成するとともに、前記第２のマイクロレンズ下の前記第１画素と前記第２画素の画素信号を位相差信号として出力する信号処理回路をさらに備える
請求項１に記載の固体撮像装置。
請求項１に記載の固体撮像装置。
【請求項3】
前記信号処理回路は、複数フレームの前記位相差信号を積算して出力するモードも有する
請求項２に記載の固体撮像装置。
請求項２に記載の固体撮像装置。
【請求項4】
前記駆動制御部は、前記画素アレイ部の全ての画素を同一の露光時間に設定するモードも有する
請求項１に記載の固体撮像装置。
請求項１に記載の固体撮像装置。
【請求項5】
前記駆動制御部は、第１のモードと第２のモードで、前記第１のマイクロレンズ下の前記第１画素の前記第１の露光時間と前記第２画素の前記第２の露光時間の露光時間比を変更する
請求項１に記載の固体撮像装置。
請求項１に記載の固体撮像装置。
【請求項6】
前記マイクロレンズの光軸と前記複数画素の中心位置がずれていることにより、前記第１画素と第２画素とが感度差を有する
請求項１に記載の固体撮像装置。
請求項１に記載の固体撮像装置。
【請求項7】
前記受光領域の上に形成された遮光膜の開口面積がさらに異なる
請求項６に記載の固体撮像装置。
請求項６に記載の固体撮像装置。
【請求項8】
前記信号処理回路は、前記マイクロレンズの光軸と前記複数画素の中心位置がずれていることによる感度差を補正する処理も行う
請求項２に記載の固体撮像装置。
請求項２に記載の固体撮像装置。
【請求項9】
第１の半導体基板と第２の半導体基板を積層して構成されている
請求項１に記載の固体撮像装置。
請求項１に記載の固体撮像装置。
【請求項10】
同一の受光領域を有する画素が行列状に複数配置されており、１つのマイクロレンズに入射された光が、隣接する複数画素に入射されるように構成されている画素アレイ部の第１のマイクロレンズ下の前記複数画素に含まれる第１画素及び第２画素のうち、前記第１画素に対して第１の露光時間に設定し、前記第２画素に対して第２の露光時間に設定するとともに、前記画素アレイ部の第２のマイクロレンズ下の前記複数画素に含まれる前記第１画素及び前記第２画素に対しては前記第１の露光時間に設定する
固体撮像装置の駆動制御方法。
固体撮像装置の駆動制御方法。
【請求項11】
同一の受光領域を有する画素が行列状に複数配置されており、１つのマイクロレンズに入射された光が、隣接する複数画素に入射されるように構成されている画素アレイ部と、
前記画素アレイ部の第１のマイクロレンズ下の前記複数画素に含まれる第１画素及び第２画素のうち、前記第１画素に対して第１の露光時間に設定し、前記第２画素に対して第２の露光時間に設定するとともに、前記画素アレイ部の第２のマイクロレンズ下の前記複数画素に含まれる前記第１画素及び前記第２画素に対しては前記第１の露光時間に設定する駆動制御部と
を備える固体撮像装置
を備える電子機器。
前記画素アレイ部の第１のマイクロレンズ下の前記複数画素に含まれる第１画素及び第２画素のうち、前記第１画素に対して第１の露光時間に設定し、前記第２画素に対して第２の露光時間に設定するとともに、前記画素アレイ部の第２のマイクロレンズ下の前記複数画素に含まれる前記第１画素及び前記第２画素に対しては前記第１の露光時間に設定する駆動制御部と
を備える固体撮像装置
を備える電子機器。
【発明の詳細な説明】
【技術分野】
【0001】
本開示は、固体撮像装置及びその駆動制御方法、並びに、電子機器に関し、特に、高ダイナミックレンジな画素信号の生成と、位相差情報の生成を両立させることができるようにする固体撮像装置及びその駆動制御方法、並びに、電子機器に関する。
【背景技術】
【0002】
固体撮像装置において、１画素内に受光領域の面積が異なる複数の光電変換素子を設けることにより、高感度な画素信号と低感度な画素信号を生成し、それらの画素信号から、高ダイナミックレンジな画素信号を生成する技術が開示されている（例えば、特許文献１参照）。
【先行技術文献】
【特許文献】
【0003】
【特許文献1】特開２００８−１１３０２９号公報
【発明の概要】
【発明が解決しようとする課題】
【0004】
しかしながら、高ダイナミックレンジな画素信号の生成と、位相差情報の生成を両立させることが難しかった。
【0005】
本開示は、このような状況に鑑みてなされたものであり、高ダイナミックレンジな画素信号の生成と、位相差情報の生成を両立させることができるようにするものである。
【課題を解決するための手段】
【0006】
本開示の第１の側面の固体撮像装置は、同一の受光領域を有する画素が行列状に複数配置されており、１つのマイクロレンズに入射された光が、隣接する複数画素に入射されるように構成されている画素アレイ部と、前記画素アレイ部の第１のマイクロレンズ下の前記複数画素に含まれる第１画素及び第２画素のうち、前記第１画素に対して第１の露光時間に設定し、前記第２画素に対して第２の露光時間に設定するとともに、前記画素アレイ部の第２のマイクロレンズ下の前記複数画素に含まれる前記第１画素及び前記第２画素に対しては前記第１の露光時間に設定する駆動制御部とを備える。
【0007】
本開示の第２の側面の固体撮像装置の駆動制御方法は、同一の受光領域を有する画素が行列状に複数配置されており、１つのマイクロレンズに入射された光が、隣接する複数画素に入射されるように構成されている画素アレイ部の第１のマイクロレンズ下の前記複数画素に含まれる第１画素及び第２画素のうち、前記第１画素に対して第１の露光時間に設定し、前記第２画素に対して第２の露光時間に設定するとともに、前記画素アレイ部の第２のマイクロレンズ下の前記複数画素に含まれる前記第１画素及び前記第２画素に対しては前記第１の露光時間に設定する。
【0008】
本開示の第３の側面の電子機器は、同一の受光領域を有する画素が行列状に複数配置されており、１つのマイクロレンズに入射された光が、隣接する複数画素に入射されるように構成されている画素アレイ部と、前記画素アレイ部の第１のマイクロレンズ下の前記複数画素に含まれる第１画素及び第２画素のうち、前記第１画素に対して第１の露光時間に設定し、前記第２画素に対して第２の露光時間に設定するとともに、前記画素アレイ部の第２のマイクロレンズ下の前記複数画素に含まれる前記第１画素及び前記第２画素に対しては前記第１の露光時間に設定する駆動制御部とを備える固体撮像装置を備える。
【0009】
本開示の第１乃至第３の側面においては、画素アレイ部が、１つのマイクロレンズに入射された光が、隣接する複数画素に入射されるように構成されており、前記画素アレイ部の第１のマイクロレンズ下の前記複数画素に含まれる第１画素及び第２画素のうち、前記第１画素に対して第１の露光時間が設定され、前記第２画素に対して第２の露光時間が設定されるとともに、前記画素アレイ部の第２のマイクロレンズ下の前記複数画素に含まれる前記第１画素及び前記第２画素に対しては前記第１の露光時間が設定される。
【0013】
固体撮像装置及び電子機器は、独立した装置であっても良いし、他の装置に組み込まれるモジュールであっても良い。
【発明の効果】
【0014】
本開示の第１乃至第３の側面によれば、高ダイナミックレンジな画素信号の生成と、位相差情報の生成を両立させることができる。
【0016】
なお、ここに記載された効果は必ずしも限定されるものではなく、本開示中に記載されたいずれかの効果であってもよい。
【図面の簡単な説明】
【0017】
【図1】本開示に係る固体撮像装置の概略構成を示す図である。
【図2】画素の回路構成例を示す図である。
【図3】画素アレイ部内のマイクロレンズの構成例を示す図である。
【図4】固体撮像装置の画素構造を示す図である。
【図5】L画素とR画素に生ずる感度差について説明する図である。
【図6】信号処理回路が行う第１の信号処理を説明する図である。
【図7】信号処理回路が行う第２の信号処理を説明する図である。
【図8】信号処理回路の詳細構成を示すブロック図である。
【図9】ダイナミックレンジ拡張処理について説明する図である。
【図10】ダイナミックレンジ拡張処理について説明する図である。
【図11】ダイナミックレンジ拡張処理について説明する図である。
【図12】感度差補正処理について説明する図である。
【図13】感度差補正処理について説明する図である。
【図14】ダイナミックレンジ拡張処理について説明するフローチャートである。
【図15】感度差補正処理について説明するフローチャートである。
【図16】固体撮像装置のその他の画素構造を示す図である。
【図17】マイクロレンズのその他の構成例を示す図である。
【図18】画素アレイ部の１レンズマルチ画素配列の例を示す図である。
【図19】ジグザグ画素配列を有する固体撮像装置で撮像したCZP画像を示す図である。
【図20】１レンズシングル画素配列の例を示す図である。
【図21】１レンズマルチ画素配列で撮像したHDR画像と１レンズシングル画素配列で撮像したHDR画像を比較する図である。
【図22】位相差検出のための第１の露光制御例を説明する図である。
【図23】位相差検出のための第２の露光制御例を説明する図である。
【図24】位相差検出のための第３の露光制御例を説明する図である。
【図25】位相差検出のための第４の露光制御例を説明する図である。
【図26】遮光膜を用いた位相差画素の問題を説明する図である。
【図27】位相差検出のための第５の露光制御例を説明する図である。
【図28】動画を撮影する場合の動作モードを説明する図である。
【図29】静止画を撮影する場合の動作モードを説明する図である。
【図30】画素アレイ部内の駆動制御配線を説明する図である。
【図31】画素アレイ部内の駆動制御配線を説明する図である。
【図32】１レンズマルチ画素配列のその他の例を示す図である。
【図33】撮像処理について説明するフローチャートである。
【図34】固体撮像装置の基板構成例を示す図である。
【図35】本開示に係る電子機器としての撮像装置の構成例を示すブロック図である。
【発明を実施するための形態】
【0019】
図１の固体撮像装置１は、半導体として例えばシリコン（Si）を用いた半導体基板１３に、画素２が行列状に複数配列された画素アレイ部３と、その周辺の周辺回路部とを有して構成される。周辺回路部には、垂直駆動回路４、カラム信号処理回路５、水平駆動回路６、バッファ回路７、制御回路８などが含まれる。
【0020】
画素２は、光電変換部としてのフォトダイオードと、複数の画素トランジスタを有して構成される。複数の画素トランジスタは、例えば、転送トランジスタ、増幅トランジスタ、選択トランジスタ、リセットトランジスタなどのMOSトランジスタである。画素２の構成例については、図２を参照して後述する。
【0021】
垂直駆動回路４は、例えばシフトレジスタによって構成され、画素駆動配線１０を選択し、選択された画素駆動配線１０に画素２を駆動するためのパルスを供給し、行単位で画素２を駆動する。すなわち、垂直駆動回路４は、画素アレイ部３の各画素２を行単位で順次垂直方向に選択走査し、各画素２の光電変換部において入射光量に応じて生成された信号電荷に基づく画素信号を、垂直信号線９を通してカラム信号処理回路５に供給する。
【0022】
カラム信号処理回路５は、画素２の列ごとに配置されており、１行分の画素２から出力される信号を画素列ごとにノイズ除去などの信号処理を行う。例えば、カラム信号処理回路５は、画素固有の固定パターンノイズを除去するためのCDS(Correlated Double Sampling：相関２重サンプリング)およびAD変換等の信号処理を行う。
【0023】
水平駆動回路６は、例えばシフトレジスタによって構成され、水平走査パルスを順次出力することによって、カラム信号処理回路５の各々を順番に選択し、カラム信号処理回路５の各々から画素信号を水平信号線１１に出力させる。
【0024】
バッファ回路７は、カラム信号処理回路５の各々から水平信号線１１を通して順次に供給される信号をバファリングして、信号処理回路１２に出力する。
【0025】
制御回路８は、入力クロックと、動作モードなどを指令するデータを受け取り、また固体撮像装置１の内部情報などのデータを出力する。すなわち、制御回路８は、垂直同期信号、水平同期信号及びマスタクロックに基づいて、垂直駆動回路４、カラム信号処理回路５及び水平駆動回路６などの動作の基準となるクロック信号や制御信号を生成する。そして、制御回路８は、生成したクロック信号や制御信号を、垂直駆動回路４、カラム信号処理回路５及び水平駆動回路６等に出力する。
【0026】
信号処理回路１２は、バッファ回路７から供給されるデジタルの画素信号に対して、各種のデジタル信号処理を行う。本実施の形態においては、信号処理回路１２は、後述するダイナミックレンジ拡張処理や感度差補正処理を実行する。信号処理回路１２は、例えば、列ばらつき補正など、その他のデジタル信号処理を行うこともできる。
【0027】
以上のように構成される固体撮像装置１は、CDS処理とAD変換処理を行うカラム信号処理回路５が画素列ごとに配置されたカラムAD方式と呼ばれるCMOSイメージセンサである。
【0029】
画素２は、図２に示すように、光電変換素子としてのフォトダイオード（PD）２１、転送トランジスタ２２、リセットトランジスタ２３、増幅トランジスタ２４、および、選択トランジスタ２５の４つのトランジスタを有する。
【0030】
ここでは、４つの転送トランジスタ２２、リセットトランジスタ２３、増幅トランジスタ２４および選択トランジスタ２５として、たとえばNチャネルのMOSトランジスタを用いている。ただし、ここで例示した転送トランジスタ２２、リセットトランジスタ２３、増幅トランジスタ２４および選択トランジスタ２５の導電型の組み合わせは一例に過ぎず、これらの組み合わせに限られるものではない。
【0031】
この画素２に対して、画素駆動配線１０として、たとえば、転送線１０A、リセット線１０Bおよび選択線１０Cの３本の駆動配線が同一画素行の各画素について共通に配線されている。これら転送線１０A、リセット線１０B、および選択線１０Cの各一端は、垂直駆動回路４の各画素行に対応した出力端に、画素行単位で接続されている。
【0032】
フォトダイオード２１は、アノード電極が負側電源(たとえば、GND)に接続されており、受光した光をその光量に応じた電荷量の光電荷（ここでは、光電子）に光電変換する。フォトダイオード２１のカソード電極は、転送トランジスタ２２を介して増幅トランジスタ２４のゲート電極と電気的に接続されている。増幅トランジスタ２４のゲート電極と電気的に繋がったノードをFD（フローティングディフュージョン）部２６と呼ぶ。
【0033】
転送トランジスタ２２は、フォトダイオード２１のカソード電極とFD部２６との間に接続されている。転送トランジスタ２２のゲート電極には、高レベル（たとえば、Vddレベル）がアクティブ（以下、「Highアクティブ」と記述する）の転送パルスφTRFが転送線１０Aを介して与えられる。転送パルスφTRFが与えられることで、転送トランジスタ２２はオン状態となってフォトダイオード２１で光電変換された光電荷をFD部２６に転送する。
【0034】
リセットトランジスタ２３は、ドレイン電極が画素電源Vddに、ソース電極がFD部２６にそれぞれ接続されている。リセットトランジスタ２３のゲート電極には、フォトダイオード２１からFD部２６への信号電荷の転送に先立って、HighアクティブのリセットパルスφRSTがリセット線１０Bを介して与えられる。リセットパルスφRSTが与えられることで、リセットトランジスタ２３はオン状態となり、FD部２６の電荷を画素電源Vddに捨てることによってFD部２６をリセットする。
【0035】
増幅トランジスタ２４は、ゲート電極がFD部２６に、ドレイン電極が画素電源Vddにそれぞれ接続されている。そして、増幅トランジスタ２４は、リセットトランジスタ２３によってリセットした後のFD部２６の電位をリセット信号（リセットレベル）Vresetとして出力する。増幅トランジスタ２４は、転送トランジスタ２２によって信号電荷を転送した後のFD部２６の電位を光蓄積信号（信号レベル）Vsigとして出力する。
【0036】
選択トランジスタ２５は、たとえば、ドレイン電極が増幅トランジスタ２４のソース電極に、ソース電極が垂直信号線９にそれぞれ接続されている。選択トランジスタ２５のゲート電極には、Highアクティブの選択パルスφSELが選択線１０Cを介して与えられる。選択パルスφSELが与えられることで、選択トランジスタ２５はオン状態となって画素２を選択状態とし、増幅トランジスタ２４から出力される信号を垂直信号線９に中継する。
【0037】
なお、選択トランジスタ２５については、画素電源Vddと増幅トランジスタ２４のドレインとの間に接続した回路構成を採ることも可能である。
【0038】
また、画素２としては、上記構成の４つのトランジスタからなる画素構成のものに限られるものではない。たとえば、増幅トランジスタ２４と選択トランジスタ２５とを兼用した３つのトランジスタからなる画素構成のものなどであっても良く、その画素回路の構成は問わない。
【0040】
固体撮像装置１の画素アレイ部３では、入射光を集光して、画素２のフォトダイオード２１へ入射させるマイクロレンズ（オンチップマイクロレンズ）３１が、隣接する複数の画素で共有されるように形成されている。本実施の形態では、図３に示されるように、水平方向（左右）の２画素に対して１つのマイクロレンズ３１が共有されるように形成されている。
【0041】
以下では、１つのマイクロレンズ３１を共有する２つの画素２のうち、右側の画素２をR画素、左側の画素２をL画素とも称する。
【0042】
本実施の形態では、図３に示したように、水平方向（左右）の２画素に対して１つのマイクロレンズ３１が共有されるように形成されているが、実際には、図４に示されるように、マイクロレンズ３１は、その下の半導体基板１３のフォトダイオード２１の受光領域に対して、水平方向にずれて配置されている。
【0043】
図４は、固体撮像装置１における実際のマイクロレンズ３１の配置を示す図である。図４Aは、３個分のマイクロレンズ３１に対応する水平方向６画素についての概略上面図であり、図４Bは、水平方向６画素についての概略断面図である。
【0044】
固体撮像装置１では、図４Bに示されるように、半導体基板１３の、例えば、P型（第１導電型）の半導体領域３６に、N型（第２導電型）の半導体領域３５を画素ごとに形成することにより、フォトダイオード２１が、画素単位に形成されている。N型の半導体領域３５のマイクロレンズ３１に対向する部分の面積（受光領域）は、各画素２で同一に形成されている。図４Bにおいては、P型の半導体領域３６が画素ごとに区切られているが、便宜上区切ったものであり、実際には、画素ごとには区切られていない。図４Aの画素２の境界についても同様である。
【0045】
半導体基板１３の表面側（図中下側）には、フォトダイオード２１に蓄積された電荷の読み出し等を行う複数の画素トランジスタと、複数の配線層と層間絶縁膜とからなる多層配線層が形成されている（いずれも図示せず）。
【0046】
半導体基板１３の裏面側（図中上側）の上面には、例えば、シリコン酸化膜などによる絶縁層（反射防止膜）３３が形成されており、そのうちの一部に、遮光膜３４が形成されている。遮光膜３４は、図４A及び図４Bに示されるように、マイクロレンズ３１の境界であり、かつ、画素境界となる領域に所定の幅で形成されている。遮光膜３４は、光を遮光する材料であればよいが、遮光性が強く、かつ微細加工、例えばエッチングで精度よく加工できる材料が望ましい。遮光膜３４は、例えば、タングステン（Ｗ）、アルミニウム（Al）、銅（Cu）、チタン(Ti)、モリブデン(Mo)、ニッケル(Ni)などの金属膜で形成することができる。
【0047】
絶縁層３３の上には、赤色、緑色、または青色の色フィルタ３２が形成され、色フィルタ３２の上に、マイクロレンズ３１が形成されている。マイクロレンズ３１は、例えば、スチレン系樹脂、アクリル系樹脂、スチレン−アクリル共重合系樹脂、またはシロキサン系樹脂等の樹脂系材料で形成される。
【0048】
以上のように構成される画素２では、マイクロレンズ３１の光軸（レンズ中心）３７と、そこを通過した入射光を受光する複数画素の画素領域中心とが、ずれて形成されている。具体的には、図４A及び図４Bに示されるように、マイクロレンズ３１の光軸３７が、対応する複数画素の画素領域中心に対して、右側（R画素寄り）にずれて形成されている。
【0049】
なお、画素２の受光領域に対するマイクロレンズ３１の形成位置のずれは、意図的に発生させたものでもよいし、意図せずに発生されたものでもどちらでもよい。換言すれば、本実施の形態において、どのような要因でマイクロレンズ３１の形成位置のずれが生じているかは問題とならない。
【0050】
マイクロレンズ３１の形成位置のずれにより、１つのマイクロレンズ３１を通過した入射光を受光する複数の画素２それぞれにおいて感度差が発生する。
【0052】
受光感度分布は、横軸を入射光の入射角、縦軸を受光感度として、入射角に対する感度を示す感度特性グラフである。
【0053】
マイクロレンズ３１の光軸３７が複数画素の画素領域中心に対して、図４に示したように、R画素寄りにずれている場合、図５に示されるように、L画素の受光感度分布と、R画素の受光感度分布の交点が、入射角０°の位置よりも右側にシフトする。
【0054】
L画素に入射される入射光量は、L画素に入射される入射光の入射角の範囲におけるL画素の受光感度分布の面積に相当し、R画素に入射される入射光量は、R画素に入射される入射光の入射角の範囲におけるR画素の受光感度分布の面積に相当する。したがって、L画素は、R画素よりも入射光量が少ない低感度の画素となり、R画素は、L画素よりも入射光量が多い高感度の画素となるため、L画素とR画素で感度差が発生する。
【0055】
以上のように、マイクロレンズ３１の光軸３７が、対応する複数画素の画素領域中心に対してずれて形成されている場合には、複数画素のそれぞれには感度差が発生することになる。
【0058】
信号処理回路１２は、バッファ回路７から供給される画像４１を取得する。画像４１は、画素アレイ部３のL画素とR画素で感度の異なる低感度画素と高感度画素で撮像された画像である。
【0059】
そして、信号処理回路１２は、画像４１の低感度画素と高感度画素の画素信号に基づいてダイナミックレンジ拡張処理を実行し、ダイナミックレンジが拡張された画像４２を生成して出力する。
【0061】
信号処理回路１２は、バッファ回路７から供給される画像から、低感度画素のみで構成される低感度画像４３Lと、高感度画素のみで構成される高感度画像４３Rの、感度の異なる２枚の画像４３L及び４３Rを生成する。
【0062】
そして、信号処理回路１２は、低感度画像４３Lと高感度画像４３Rに対して、感度の違いを補正する感度差補正処理を実行し、その結果得られる補正後画像４４L及び４４Rを出力する。
【0063】
２枚の補正後画像４４L及び４４Rは、例えば、ユーザに３次元を知覚させるための画像として利用される。
【0065】
信号処理回路１２は、画像取得部５１、係数記憶部５２、画像処理部５３、及び、画像出力部５４により構成される。
【0066】
画像取得部５１は、バッファ回路７から供給される、感度の異なる複数の画素値（画素信号）で構成される画像を取得し、画像処理部５３に供給する。
【0067】
係数記憶部５２は、予め取得された、画素アレイ部３の高感度画素と低感度画素の感度比を、感度差情報として記憶する。感度比は、事前に所定の画像（例えば、明度が均一な画像）を撮像し、その画像データを基に求め、係数記憶部５２に記憶させることができる。あるいはまた、マイクロレンズ３１の形成位置のずれを意図的に形成した場合には、ずれ量から算出される受光量の比から、高感度画素と低感度画素の感度比を求め、係数記憶部５２に記憶させてもよい。
【0068】
画像処理部５３は、係数記憶部５２から取得した感度比を用いて、第１の信号処理として図６を参照して説明したダイナミックレンジ拡張処理を実行する。
【0069】
また、画像処理部５３は、係数記憶部５２から取得した感度比を用いて、第２の信号処理として図７を参照して説明した感度差補正処理を実行する。
【0070】
なお、本実施の形態では、画像処理部５３は、ダイナミックレンジ拡張処理と感度差補正処理の両方を、選択的にまたは同時に実行可能であるものとするが、ダイナミックレンジ拡張処理と感度差補正処理のいずれか一方のみを実行するように構成されてもよい。
【0071】
画像出力部５４は、画像処理部５３で処理された処理後の画像、即ち、ダイナミックレンジが拡張された画像４２、または、感度差が補正された補正後画像４４L及び４４Rを出力する。
【0074】
高感度画素では、入射光量がP2となった時点で飽和信号量Q2に到達し、低感度画素では、入射光量がP3となった時点で飽和信号量Q2に到達する。一方、受光により得られる信号量がQ1以下である場合には、ノイズレベルに相当するため、その画素信号は利用することができない。そのため、高感度画素のダイナミックレンジは、入射光量がP0からP2までの範囲となり、低感度画素のダイナミックレンジは、入射光量がP1からP3までの範囲となる。
【0075】
図１０は、ダイナミックレンジ拡張処理による入射光量と信号量の関係を示す図である。
【0076】
いま、低感度画素と高感度画素の感度比が１：３（低感度画素：高感度画素＝１：３）であるとすると、例えば、画像処理部５３は、入射光量Aの画素２については、以下の式（１）により、ダイナミックレンジ拡張処理後の画素信号HDL_Aを求める。画素信号HDL_A＝高感度画素信号×１＋低感度画素信号×０・・・（１）
【0077】
また、画像処理部５３は、入射光量Bの画素２については、以下の式（２）により、ダイナミックレンジ拡張処理後の画素信号HDL_Bを求める。画素信号HDL_B＝高感度画素信号×（１-α）＋低感度画素信号×α×３
・・・（２）
【0078】
さらに、画像処理部５３は、入射光量Cの画素２については、以下の式（３）により、ダイナミックレンジ拡張処理後の画素信号HDL_Cを求める。画素信号HDL_C＝高感度画素信号×０＋低感度画素信号×３・・・（３）
【0079】
以上のように、画像処理部５３は、画素アレイ部３の各画素２の信号量（入射光量）を、例えば、低レベル、中レベル、高レベルの３つに分類し、信号量が低レベルの画素２については、高感度画素の画素信号のみを用いた式（１）により、ダイナミックレンジ拡張処理後の画素信号を求める。
【0080】
また、信号量が中レベルの画素２については、画像処理部５３は、高感度画素の画素信号と低感度の画素信号を（１−α）：αの比率で合成した式（２）により、ダイナミックレンジ拡張処理後の画素信号を求める。ここで、α（αは０以上１以下）は合成比率を表す。
【0081】
さらに、信号量が高レベルの画素２については、画像処理部５３は、低感度の画素信号のみを用いた式（３）により、ダイナミックレンジ拡張処理後の画素信号を求める。
【0082】
これにより、図１０に示されるように、信号量がQ1からQ3までに拡張された高ダイナミックレンジな画像を生成することができる。
【0083】
なお、信号量レベルの低レベル、中レベル、及び高レベルの区分については予め決定される。
【0084】
また、上述した例では、低感度画素と高感度画素の露光時間が同一である場合について説明したが、図１１に示すように、低感度画素の露光時間を、高感度画素よりも短く設定した状態で撮像し、その結果得られる画像から、高ダイナミックレンジの画像を生成することも可能である。
【0085】
図１１では、低感度画素の露光時間が高感度画素の露光時間と同一である場合、飽和信号量Q2となる入射光量はP3であるが、低感度画素の露光時間が高感度画素よりも短く設定されることにより、飽和信号量Q2となる入射光量はP4（＞P3）となっている。
【0086】
このように低感度画素と高感度画素の露光時間を変える場合には、例えば、画像処理部５３が、低感度画素と高感度画素の露光時間を所定の時間に設定する制御信号を制御回路８に出力し、制御回路８が、指定された露光時間となるように垂直駆動回路４をさらに制御する。あるいはまた、低感度画素と高感度画素の露光時間を所定の時間に設定する制御信号は、固体撮像装置１の外部の信号処理回路等から入力されてもよい。
【0087】
なお、低感度画素の露光時間を高感度画素よりも短く設定する代わりに、高感度画素の露光時間を長く変更することで、高ダイナミックレンジを実現することも可能である。また、低感度画素と高感度画素の両方の露光時間を変更してもよい。
【0089】
感度差補正処理は、図１２に示されるように、マイクロレンズ３１の形成位置のずれによって生じた入射光量の違いにより、高感度画素の信号量Saと、低感度画素の信号量Sbが異なる場合に、信号量が同一となるように、高感度画素の信号量をSa’に、低感度画素の信号量をSb’に補正する処理である。
【0090】
図１３は、感度差補正処理による入射光量と信号量の関係を示す図である。
【0091】
上述した例と同様に、低感度画素と高感度画素の感度比が１：３（低感度画素：高感度画素＝１：３）であるとすると、例えば、画像処理部５３は、入射光量Aの高感度画素と低感度画素それぞれに対して、以下の式（４）により、感度差補正後の高感度画素信号HS_A及び低感度画素信号LS_Aを求める。高感度画素信号HS_A＝高感度画素信号×（２＋β）／３
低感度画素信号LS_A＝低感度画素信号×（２−β）
・・・（４）
【0092】
また、画像処理部５３は、入射光量Bの高感度画素と低感度画素それぞれに対して、以下の式（５）により、感度差補正後の高感度画素信号HS_B及び低感度画素信号LS_Bを求める。高感度画素信号HS_B＝高感度画素信号×２／３
低感度画素信号LS_B＝低感度画素信号×２
・・・（５）
【0093】
さらに、画像処理部５３は、入射光量Cの高感度画素と低感度画素それぞれに対して、以下の式（６）により、感度差補正後の高感度画素信号HS_C及び低感度画素信号LS_Cを求める。高感度画素信号HS_C＝高感度画素信号×（２−γ）／３
低感度画素信号LS_C＝低感度画素信号×（２＋γ）
・・・（６）
【0094】
以上のように、画像処理部５３は、画素アレイ部３の各画素２の信号量（入射光量）を、例えば、低レベル、中レベル、高レベルの３つに分類し、信号量が低レベルの画素２については、式（４）により、感度差補正後の高感度画素信号及び低感度画素信号を求める。
【0095】
また、信号量が中レベルの画素２については、画像処理部５３は、式（５）により、感度差補正後の高感度画素信号及び低感度画素信号を求める。さらに、信号量が高レベルの画素２については、画像処理部５３は、式（６）により、感度差補正後の高感度画素信号及び低感度画素信号を求める。ここで、式（４）のβ、及び式（６）のγは、予め決定された正の実数であり、感度差補正を調整する調整係数である。
【0096】
これにより、高感度の画素信号と、低感度の画素信号が、図１３において２点鎖線で示される同レベルの画素信号に補正される。なお、信号量レベルの低レベル、中レベル、及び高レベルの区分については予め決定される。また、ノイズレベルと飽和信号量のレベルは、低感度画素の信号量から推定される。
【0098】
初めに、ステップＳ１において、画像取得部５１は、バッファ回路７から供給される、感度差を有する１枚の画像を取得し、画像処理部５３に供給する。
【0099】
ステップＳ２において、画像処理部５３は、係数記憶部５２に記憶されている低感度画素と高感度画素の感度比を取得し、取得した感度比を用いて、図９乃至図１１を参照して説明したダイナミックレンジ拡張処理を実行する。処理後の画像は、画像出力部５４に供給される。
【0100】
ステップＳ３において、画像出力部５４は、ダイナミックレンジ拡張処理後の画像を、固体撮像装置１の外部へ出力する。
【0101】
画素アレイ部３で撮像された１枚の画像に対するダイナミックレンジ拡張処理は、以上のように実行される。信号処理回路１２は、バッファ回路７から順次供給される画像（感度差を有する画像）に対して、上述した処理を繰り返し実行することができる。
【0103】
初めに、ステップＳ１１において、画像取得部５１は、バッファ回路７から供給される、感度差を有する１枚の画像を取得し、低感度画素のみで構成される低感度画像と、高感度画素のみで構成される高感度画像を生成し、画像処理部５３に供給する。
【0104】
ステップＳ１２において、画像処理部５３は、係数記憶部５２に記憶されている低感度画素と高感度画素の感度比を取得し、取得した感度比を用いて、図１２及び図１３を参照して説明した感度差補正処理を実行する。処理後の低感度画像と高感度画像のそれぞれは、画像出力部５４に供給される。
【0105】
ステップＳ１３において、画像出力部５４は、感度差補正処理後の低感度画像と高感度画像のそれぞれを、固体撮像装置１の外部へ出力する。
【0106】
画素アレイ部３で撮像された１枚の画像に対する感度差補正処理は、以上のように実行される。信号処理回路１２は、バッファ回路７から順次供給される画像（感度差を有する画像）に対して、上述した処理を繰り返し実行することができる。
【0107】
上述したダイナミックレンジ拡張処理及び感度差補正処理では、予め低感度画素と高感度画素の感度比を計測して係数記憶部５２に記憶しておき、その記憶された感度比を用いて、所定の信号処理（ダイナミックレンジ拡張処理及び感度差補正処理）を行うようにした。しかし、バッファ回路７から供給された１枚の画像そのものを用いて、感度比をリアルタイムに計算し、計算された感度比を用いて、所定の信号処理を実行してもよい。この場合には、感度比をその都度計算する必要があるため演算時間が増えるが、係数記憶部５２を省略することができる。
【0108】
＜変形例１＞上述した実施の形態では、複数の画素２で共有されるマイクロレンズ３１の形成位置が、フォトダイオード２１の受光領域に対してずれていることのみによって、各画素２で感度差が発生する例について説明した。
【0109】
しかし、マイクロレンズ３１の形成位置のみならず、その他の構造の違いも含めて、マイクロレンズ３１を共有する複数の画素２それぞれで感度差が生じる場合に対しても、本開示の技術は適用可能である。
【0110】
図１６は、マイクロレンズ３１の形成位置に加えて、遮光膜の違いによっても、感度差が生じるようにした構造の例を示している。
【0111】
図１６に示される構造例では、遮光膜７１の形成領域が、図４に示した遮光膜３４の形成領域と異なる。具体的には、遮光膜７１は、R画素よりもL画素の受光領域をより多く覆うように形成されている。換言すれば、R画素の受光領域の上の遮光膜７１の開口面積は、L画素の受光領域上の遮光膜７１の開口面積よりも大きく形成されている。図１６のそれ以外の構造は、図４と同様である。
【0112】
なお、この遮光膜７１の形成領域の違いも、意図的に形成する場合に限られない。
【0113】
従って、信号処理回路１２は、意図した／しないに関わらず生じたマイクロレンズ３１の位置ずれや遮光膜７１の位置ずれを含めた感度差に基づく、ダイナミックレンジ拡張処理及び感度差補正処理を行うことができる。
【0114】
＜変形例２＞上述した実施の形態では、１つのマイクロレンズ３１に対して、水平方向の２画素が配置されるように、マイクロレンズ３１が形成されていた。しかし、１つのマイクロレンズ３１を共有する画素２の数は、これに限られず、図１７に示されるように、Ｍ×Ｎ（垂直方向×水平方向）個の画素２で、１つのマイクロレンズ３１を共有するものであればよい。ここで、Ｍ及びＮは１以上の整数であり、ＭまたはＮの少なくとも一方は１より大きい値である。
【0115】
例えば、４×４の１６画素で１つのマイクロレンズ３１を共有する場合、１６種類の受光感度を有する画像が取得される。
【0116】
ダイナミックレンジ拡張処理においては、画像処理部５３は、同一マイクロレンズ内の各画素２の画素信号に、各画素２の感度に応じた係数（感度比係数）を乗算する。そして、乗算後の画素信号で各画素が構成される画像が、高ダイナミックレンジの画像として、出力される。
【0117】
感度差補正処理においては、画像処理部５３は、画素アレイ部３で生成された１枚の画像から、マイクロレンズ３１内の画素位置が同一である画素どうしで構成される１６枚の感度の異なる画像を生成する。次に、画像処理部５３は、１６枚の感度の異なる画像それぞれの各画素２の画素信号に、各画素２の感度差を補正する係数（感度差補正係数）を乗算する。そして、乗算後の画素信号で各画素が構成される１６枚の画像が、感度差補正後の画像として、出力される。
【0118】
＜本開示のHDR画像の特徴＞上述した実施の形態では、１つのマイクロレンズ３１を通過した入射光を受光する複数の画素２それぞれにおいて、マイクロレンズ３１の形成位置のずれにより、感度差が発生する場合について説明した。また、低感度画素と高感度画素とで、露光時間が同一である場合と異なる場合の両方について説明した。
【0119】
次に、マイクロレンズ３１の形成位置のずれが発生していない場合について説明する。
【0120】
マイクロレンズ３１の形成位置のずれが発生していない場合であっても、１つのマイクロレンズ３１を通過した入射光を受光する複数の画素２それぞれの露光時間を変えることによって、低感度画素と高感度画素を実現することができ、ダイナミックレンジが拡張された画像（以下、HDR画像（High Dynamic Range画像）という。）を生成することができる。
【0121】
ここで、上述した実施の形態のように１つのマイクロレンズに対して２個の画素２を配置した固体撮像装置１で生成するHDR画像と、１つのマイクロレンズに対して１個の画素を配置した固体撮像装置で生成するHDR画像の違いについて説明する。
【0122】
なお、以下において、１つのマイクロレンズに対して２個の画素２を配置した画素配列を１レンズマルチ画素配列、１つのマイクロレンズに対して１個の画素を配置した画素配列を１レンズシングル画素配列という。
【0123】
図１８は、画素アレイ部３の１レンズマルチ画素配列のその他の例を示す図である。
【0124】
なお、図１８は、画素アレイ部３の一部の領域を、説明のため、画素２と、マイクロレンズ３１及び色フィルタ３２に分解するように示した図である。
【0125】
図１８の画素配列では、マイクロレンズ３１と、R（赤色）、G（緑色）、またはB(青色)の色フィルタ３２が、４５度斜め方向に配列されている。色フィルタ３２は、配列方向である斜め方向において、隣接する４画素単位で、R,G,B,Gの組合せの繰り返しとなる、いわゆるベイヤー配列で配置されている。
【0126】
そして、図１８の画素配列では、４５度回転された菱形領域内の１つのマイクロレンズ３１及び１色の色フィルタ３２に対して、それらを水平方向に２分するように、２つの画素２が配置されている。
【0128】
図１９は、図１８に示したジグザグ画素配列を有する固体撮像装置１を用いてCZP(Circular Zone Plate)を撮像したCZP画像（の一部）を示している。図１９には、３つのCZP画像が表示されている。
【0129】
図１９の３つのCZP画像のうち、左側のCZP画像は、１つのマイクロレンズ下の２個の画素２に対して、露光時間を同一に制御して撮像したCZP画像である。
【0130】
一方、図１９の真ん中と右側のCZP画像は、１つのマイクロレンズ下の２個の画素２、すなわちL画素とR画素で露光時間を変えて撮像したCZP画像である。
【0131】
具体的には、１つのマイクロレンズ下のL画素とR画素のうち、L画素が短い露光時間に設定された低感度画素、R画素がL画素よりも長い露光時間に設定された高感度画素とされている。図１９の真ん中のCZP画像は、短い露光時間に設定した複数のL画素のみで構成されたL画像であり、図１９右側のCZP画像は、長い露光時間に設定した複数のR画素のみで構成されたR画像である。
【0132】
なお、本明細書において、L画素及びR画素の呼び方は、入射光に応じた電荷を生成するフォトダイオードの位置に基づく。即ち、L画素とは、入射光が、平面図で見てマイクロレンズ３１及び色フィルタ３２の右側を通過し、左側のフォトダイオードに入射される画素２をいう。R画素とは、入射光が、平面図で見てマイクロレンズ３１及び色フィルタ３２の左側を通過し、右側のフォトダイオードに入射される画素２をいう。
【0133】
図１９左側の全画素同一露光時間のCZP画像と、図１９真ん中のL画素のCZP画像とを比較すると、モアレの出る位置が変わっていないことが分かる。これは、全画素同一露光時間により撮像した画像と、短い露光時間に設定した複数のL画素のみで構成したL画像とで、空間周波数が変わらず、解像度の劣化が発生していないことを示している。
【0134】
同様に、図１９左側の全画素同一露光時間のCZP画像と、図１９右側のR画素のCZP画像とを比較した場合も、モアレの出る位置が変わっていない。したがって、全画素同一露光時間により撮像した画像と、長い露光時間に設定した複数のR画素のみで構成したR画像とで、空間周波数が変わらず、解像度の劣化が発生していない。
【0135】
図１０等を参照して説明したように、HDR画像を生成する場合、入射光量が低レベル（一定レベル以下）の画素では、高感度画素のみを用いてHDR画像の画素信号が生成され、反対に、入射光量が高レベル（一定レベル以上）の画素では、低感度画素のみをHDR画像の画素信号が生成される。
【0136】
しかし、上述したように、低感度画素及び高感度画素のうちのいずれか一方の画素信号のみを用いてHDR画像を生成した場合であっても、１つのマイクロレンズ下に複数画素を配置した画素構造を有する固体撮像装置１によれば、生成するHDR画像の解像度は劣化しない。
【0137】
これは、１つのマイクロレンズ下のL画素とR画素のうち、いずれか一方のみで受光している状態は、いわば、マイクロレンズの前または後で絞りを絞った状態に相当するものであり、明るさに変化はあるものの、解像度は変わらないためである。
【0138】
一方、図２０は、１レンズシングル画素配列の例を示している。
【0139】
図２０の１レンズシングル画素配列は、ベイヤー配列となっている。HDR画像を生成する場合には、例えば、図２０に示されるように、同色の色フィルタを有する画素が、所定の近傍領域内で高感度画素と低感度画素に交互に配置されるように、露光時間が制御される。
【0140】
図２０の１レンズシングル画素配列を有する固体撮像装置が露光時間を制御してHDR画像を生成し、入射光量の大小によって、高感度画素のみ、または、低感度画素のみの画素信号しか使えない状態が発生したとする。この場合、使用できない感度の画素は完全な欠落画素になるので、HDR画像は、空間的に間引いた画像となり、解像度の劣化が発生する。
【0143】
図２１の左側のHDR画像には、解像度劣化に起因するカラーアーティファクト（偽色）やジャギーが見られるのに対して、図２１の右側のHDR画像には、カラーアーティファクト（偽色）やジャギーが見られない。なお、図面の表示上の制限により、図２１では、カラーアーティファクトやジャギーは見分けにくくなっている。
【0144】
このように、１レンズマルチ画素配列の画素構造の固体撮像装置１でダイナミックレンジ拡張処理を行うことにより生成したHDR画像は、解像度を劣化することがなく、高精細なHDR画像を生成することができる。
【0145】
＜位相差検出への適用＞ところで、１つのマイクロレンズ３１を通過した入射光を受光する２個の画素２それぞれの画素信号を得ることができれば、それらの画素信号を用いて位相差情報を検出することができ、検出された位相差情報を用いてオートフォーカス制御を行うことが可能となる。
【0146】
しかしながら、図１９で説明したように、１つのマイクロレンズ下のL画素とR画素で露光時間を変えて露光制御した場合、入射光量によっては、低感度画素のみ、または、高感度画素のみの画素信号しか使えない状態が起こり得る。その場合、受光範囲が対称性を有するL画素とR画素のペアリングが得られないため、位相差を検出することができない。このような状態は、特に、低感度画素と高感度画素の露光比（露光時間比）が大きい場合に起こりやすい。
【0147】
そこで次に、位相差の検出も可能となる１レンズマルチ画素配列について説明する。
【0149】
第１の露光制御では、低感度画素と高感度画素を、図１９のようにL画素とR画素に分けるのではなく、行単位に分けて制御される。図２２の例では、低感度画素をグレーで着色し、高感度画素をグレーの着色なし（すなわち、白色）で表しており、低感度画素の画素行と、高感度画素の画素行が、２行単位で交互に配置されている。
【0150】
第１の露光制御では、高感度画素のみ、または、低感度画素のみの画素信号しか使えない状態が発生した場合でも、同一感度でL画素とR画素のペアリングが残存するため、位相差の検出が可能となる。ただし、第１の露光制御では、高感度画素のみ、または、低感度画素のみの画素信号しか使えない状態が発生した場合、２画素行単位で画素が欠落することになる。
【0152】
第２の露光制御では、図２０の１レンズシングル画素配列のときと同様に、同色の色フィルタ３２を共有する２画素単位で、高感度画素と低感度画素が所定の近傍領域内で交互に配置されるように、低感度画素と高感度画素が設定される。
【0153】
第２の露光制御では、高感度画素のみ、または、低感度画素のみの画素信号しか使えない状態が発生した場合でも、同一感度でL画素とR画素のペアリングが残存するため、位相差の検出が可能となる。また、１つの画素行のなかに低感度画素と高感度画素が混在するため、高感度画素のみ、または、低感度画素のみの画素信号しか使えない状態が発生した場合でも、画素行全体が欠落することはない。
【0154】
しかし、第２の露光制御では、高感度画素のみ、または、低感度画素のみの画素信号しか使えない状態が発生した場合には、空間間引きとなるため、カラーアーティファクト（偽色）やジャギーが発生する。
【0155】
以上のように、上述した第１及び第２の露光制御によれば、ダイナミックレンジ拡張処理を行うことによりHDR画像を生成することができ、かつ、位相差も検出することができる。
【0156】
しかしながら、低感度画素のみ、または、高感度画素のみの画素信号しか使えない状態が起こった場合、１つのマイクロレンズ下のL画素とR画素の両方が利用できない状態となるため、空間的に間引いた状態となり、解像度の劣化が発生する。
【0161】
第３の露光制御と第４の露光制御で異なる点は、図２４では、同一画素行の低感度画素と高感度画素の配置が、隣接する同色の色フィルタ３２単位で、交互に入れ替わっているが、図２５では、各画素行で低感度画素と高感度画素の配置は共通している点である。
【0162】
すなわち、図２４では、例えば、Gの色フィルタ３２を共有する所定の２画素で、L画素が高感度画素、R画素が低感度画素に設定されているとすると、その隣りのGの色フィルタ３２を共有する２画素では、反対に、L画素が低感度画素、R画素が高感度画素となっている。RやBの色フィルタ３２を共有する２画素単位でも同様である。
【0163】
これに対して、図２５では、Gの色フィルタ３２を有する所定の画素行では、L画素が高感度画素、R画素が低感度画素に設定されており、その上または下のGの色フィルタ３２を有する画素行では、反対に、L画素が低感度画素、R画素が高感度画素に設定されている。
【0164】
従って、図２４のように露光制御した場合には、同一画素行内の、同色の色フィルタ３２を共有する隣接する４画素で、受光範囲が対称性を有するL画素とR画素のペアリングが得られる。
【0165】
一方、図２５のように露光制御した場合には、同色の色フィルタ３２を有する隣接する画素行を対とすることで、受光範囲が対称性を有するL画素とR画素のペアリングが得られる。
【0166】
以上より、第３及び第４の露光制御では、ダイナミックレンジ拡張処理を行うことによりHDR画像を生成することができ、かつ、位相差も検出することができる。
【0167】
しかしながら、第３及び第４の露光制御では、L画素とR画素のペアリングは、受光位置が半ピッチずれた画素のペアとなるため、視差が混じり、色ずれの原因となり得る。
【0170】
このような遮光膜を用いた位相差画素では、以下に示す２つの問題を含んでいる。
【0171】
１つは、混色分の入射光が、遮光膜により遮断され、位相差画素の周辺画素が減光する問題である。
【0172】
即ち、本来、遮光膜がない場合には、入射光の角度によって、図２６の入射光２２１のように、光が入射されたマイクロレンズがある画素の隣りの画素のフォトダイオードに入射される光が存在する。
【0173】
しかし、遮光膜がある場合には、入射光２２２のように、本来、隣りの画素のフォトダイオードに入射されるべき光が遮光膜で遮断されるため、位相差画素の隣りの画素では、この混色分の光が減少する。
【0174】
２つ目は、遮光膜により反射されることで、位相差画素の周辺画素が増光する問題である。
【0175】
即ち、本来、遮光膜がない場合には、図２６の入射光２３１のように、入射された光がストレートにフォトダイオードに入射されるが、遮光膜がある場合には、ストレートにフォトダイオードに入射されるべき光が、入射光２３２のように、遮光膜で反射されるため、位相差画素の隣りの画素では、この反射分の光が増加する。
【0176】
このように、遮光膜を用いた位相差画素では、位相差画素の周辺画素で入射光が影響を受ける。そのため、位相差画素を、画像生成用の画素信号が生成できない欠陥画素として補間（補正）する画素補間処理以外に、位相差画素の周辺画素に対して、上述した原因による光量変化を補正する補正処理を行う必要があるが、このような補正処理は難しい。
【0177】
＜位相差検出のための第５の露光制御例＞図２７は、図１８のジグザグ画素配列を有する固体撮像装置１において、位相差検出を可能とする第５の露光制御を説明する図である。図２７においても、低感度画素をグレーで着色し、高感度画素をグレーの着色なし（すなわち、白色）で表す点は、上述した図２２乃至図２５と同様である。
【0178】
図２７では、画素アレイ部３内のほとんどマイクロレンズ下のL画素が低感度画素、R画素が高感度画素となっている。以下、１つのマイクロレンズ下の２個の画素２が、低感度画素と高感度画素のペアになっている画素対を、感度差画素対２５０という。
【0179】
しかし、図２７では、画素アレイ部３内の一部で、１つのマイクロレンズ下のL画素とR画素の両方が低感度画素になっている場所と、１つのマイクロレンズ下のL画素とR画素の両方が高感度画素になっている場所がある。以下、１つのマイクロレンズ下のL画素とR画素の両方が低感度画素になっている画素対を、低感度位相差画素対２５１といい、１つのマイクロレンズ下のL画素とR画素の両方が高感度画素になっている画素対を、高感度位相差画素対２５２という。
【0180】
低感度位相差画素対２５１のR画素は、画素アレイ部３内のほとんどのR画素（感度差画素対２５０のR画素）が規則的に高感度に露光制御されているのに対して、不規則に低感度に露光制御される画素である。また、高感度位相差画素対２５２のL画素は、画素アレイ部３内のほとんどのL画素（感度差画素対２５０のL画素）が規則的に低感度に露光制御されているのに対して、不規則に高感度に露光制御される画素である。このように、低感度位相差画素対２５１及び高感度位相差画素対２５２の不規則に露光制御される一方の画素を、以下では、不規則露光制御画素という。
【0181】
固体撮像装置１の垂直駆動回路４は、図２７を参照して説明したように、各画素２の露光時間を制御する。これにより、信号処理回路１２は、１つのマイクロレンズ下のL画素とR画素が低感度画素と高感度画素のペアになっている感度差画素対２５０の画素信号を用いてダイナミックレンジ拡張処理を行うことによりHDR画像を生成することができる。
【0182】
また、信号処理回路１２は、低感度位相差画素対２５１及び高感度位相差画素対２５２の少なくとも一方を用いて、位相差信号を出力することができる。
【0183】
従って、固体撮像装置１によれば、HDR画像の生成と位相差情報の生成を両立させることができる。
【0184】
低感度位相差画素対２５１及び高感度位相差画素対２５２は、１つのマイクロレンズ３１の下にある２つの画素２で構成されている。したがって、図２４及び図２５の露光制御で得られる位相差信号のような、空間的にずれた画素対による位相差信号ではないため、位相差信号に視差が混じることもない。
【0185】
また、低感度位相差画素対２５１及び高感度位相差画素対２５２は、図２６を参照して説明したような、遮光膜で入射光を遮断することにより入射光の非対称性を形成するものではないので、入射光の減光がなく、感度低下がない。
【0186】
従って、低感度位相差画素対２５１及び高感度位相差画素対２５２を用いた位相差の検出によれば、位相差精度を向上させることができる。
【0187】
また、低感度位相差画素対２５１及び高感度位相差画素対２５２の画素構造は、遮光膜で入射光を遮断する構造ではなく、他の画素２と同じ構造である。そのため、図２６に示した、遮光膜を有する位相差画素が抱えるような問題もない。即ち、位相差画素が、その周辺画素に感度的に影響を及ぼしてしまうということはない。
【0188】
従って、位相差画素を、画像生成用の画素信号が生成できない欠陥画素として補間する画素補間処理だけを行えばよく、位相差画素の周辺画素に対して光量変化を補正する補正処理は行う必要がないので、補正処理の処理量を軽減することができる。
【0189】
なお、上述した低感度位相差画素対２５１及び高感度位相差画素対２５２では、画素対となっている２個の画素２の感度差が同一に設定されているが、位相差情報の生成に問題ない範囲で僅かな露光時間差を付けるようにしてもよい。
【0190】
＜位相差検出精度向上の動作モード＞上述した第５の露光制御のように各画素の露光時間を制御することで、HDR画像の生成と、位相差検出を両立させることができるが、画素アレイ部３内の低感度位相差画素対２５１及び高感度位相差画素対２５２の数が少なく、位相差情報が少ない場合には、以下のような動作モードで実行することにより、位相差検出精度を向上させることができる。
【0191】
図２８は、動画を撮影する場合の動作モードを説明する図である。
【0192】
動画を撮影する場合には、複数フレームの位相差信号を積算した信号を位相差検出のための信号として利用することで、位相差オートフォーカスの性能を、全画素で位相差検出を行う位相差オートフォーカス並みに向上させることができる。
【0193】
なお、図１０を参照して説明した信号量が中レベルとなるような感度差画素対２５０、すなわち、入射光量が、低感度画素のダイナミックレンジと高感度画素のダイナミックレンジが重複する範囲の信号量となっている感度差画素対２５０については、その低感度画素と高感度画素の２個の画素信号も、位相差検出に用いてもよい。
【0194】
図２９は、静止画を撮影する場合の動作モードを説明する図である。
【0195】
静止画を撮影する動作は、撮影対象の画像をファインダーやディスプレイに表示させて確認するプレビュー撮影動作と、シャッターボタン押下に応じて所定の記録媒体に画像を記録する記録撮影動作とに分かれる。
【0196】
プレビュー撮影動作では、垂直駆動回路４が、画素アレイ部３内の各画素２の露光時間を、全画素で位相検出可能な露光時間に設定する。例えば、垂直駆動回路４は、１つのマイクロレンズ下のL画素とR画素の露光時間を同一に制御する。あるいはまた、垂直駆動回路４は、１つのマイクロレンズ下のL画素とR画素の露光比を、本来のHDR撮影時の露光比（例えば、１０乃至１２倍）よりも抑えた露光比（例えば、２乃至４倍）に設定する。
【0197】
これにより、プレビュー撮影動作では、画素アレイ部３内の低感度位相差画素対２５１及び高感度位相差画素対２５２以外の感度差画素対２５０でも位相差を検出することができ、かつ、撮影画像をファインダーやディスプレイに表示させることができる。
【0198】
そして、記録撮影動作では、垂直駆動回路４は、画素アレイ部３内の各画素２の露光時間を、本来のHDR撮影時の露光比（例えば、１０乃至１２倍）に変更し、図２７で説明した露光制御で撮像し、記録する。フォーカスは、プレビュー撮影動作時に検出された位相差に基づいて制御される。
【0199】
画素アレイ部３内の低感度位相差画素対２５１及び高感度位相差画素対２５２の不規則露光制御画素については、信号処理回路１２が、欠陥画素として画素補間する画素補間処理を行う。
【0200】
なお、低感度位相差画素対２５１及び高感度位相差画素対２５２の不規則露光制御画素を、感度差画素対２５０と同じに露光制御できる場合は、そのようにしてもよい。
【0202】
ジグザグ画素配列で２次元配列された複数の画素２に対して、画素列ごとにカラム信号処理回路５が配置され、各画素２とカラム信号処理回路５が垂直信号線９を介して接続されている場合、画素駆動配線１０は、図３０に示されるように、低感度画素と高感度画素とに分ける必要がある。
【0203】
図３０では、画素駆動配線１０として、１画素行に対して、高感度画素用の画素駆動配線１０Hと、低感度画素用の画素駆動配線１０Lの２本が設けられている。
【0204】
そして、低感度位相差画素対２５１の不規則露光制御画素は、その画素対の他方の低感度画素と同じ低感度画素用の画素駆動配線１０Lに接続されている。また、高感度位相差画素対２５２の不規則露光制御画素は、その画素対の他方の低感度画素と同じ高感度画素用の画素駆動配線１０Hに接続されている。図３０では、不規則露光制御画素の接続先は白丸（○）で表され、その他の画素の接続先は黒丸（●）で表されている。
【0205】
このように、画素列単位にカラム信号処理回路５が設けられている場合には、不規則露光制御画素を、画素対の他方の画素駆動配線１０に接続して、露光制御を他方の画素駆動配線１０に合わせるだけでよい。
【0206】
図３１は、２画素列ごとにカラム信号処理回路５が配置された場合の駆動制御配線を示している。
【0207】
この場合には、各画素行において、高感度画素用の画素駆動配線１０Hと、低感度画素用の画素駆動配線１０Lの２本が設けられる他、不規則露光制御画素が配置された画素行には、不規則露光制御画素用の画素駆動配線１０Xが設けられている。
【0208】
２画素列ごとにカラム信号処理回路５が配置され、図２で説明した増幅トランジスタ２７や選択トランジスタ２８を、隣接する２画素で共有する場合には、不規則露光制御画素専用の画素駆動配線１０Xを設け、不規則露光制御画素を独立して駆動制御する必要がある。
【0210】
上述した例では、画素アレイ部３が、４５度回転された斜め方向に画素２が配列されたジグザグ画素配列で構成される例について説明した。
【0211】
しかし、画素配列は、ジグザグ画素配列に限定されず、例えば、図３２に示されるように、画素境界が画素アレイ部３の水平方向または垂直方向と一致するように画素２が繰り返し配列された正方配列でもよい。また、図１７を参照して説明したように、１つのマイクロレンズ３１で２個の画素２を共有するものに限定されず、Ｍ×Ｎ個の画素２で１つのマイクロレンズ３１を共有するものであればよい。さらには、本技術は、多眼カメラ（ステレオカメラ）においても適用することができる。
【0213】
ステップＳ３１において、固体撮像装置１の垂直駆動回路４は、感度差画素対２５０の第１画素に対して第１の露光時間に設定し、感度差画素対の第２画素に対して第２の露光時間に設定するとともに、低感度位相差画素対２５１の第１画素及び第２画素に対して第１の露光時間に設定し、高感度位相差画素対２５２の第１画素及び第２画素に対して第２の露光時間に設定する。ここで、第１画素は、上述した説明のL画素、第２画素はR画素、第１の露光時間は、低感度となる露光時間、第２の露光時間は、高感度となる露光時間に相当する。
【0214】
ステップＳ３２において、信号処理回路１２は、感度差画素対２５０の第１画素と第２画素の画素信号を用いて、ダイナミックレンジが拡張された信号を生成して出力し、低感度位相差画素対２５１の第１画素と第２画素の画素信号を低感度の位相差信号として出力し、高感度位相差画素対２５２の第１画素及び第２画素の画素信号を高感度の位相差信号として出力する。
【0215】
以上の処理が、固体撮像装置１において、例えば、フレーム全体で繰り返される。
【0216】
なお、マイクロレンズ３１の形成位置のずれが発生していない場合を前提に説明したが、マイクロレンズ３１の形成位置のずれが発生している場合にも適用可能である。その場合には、最初に、マイクロレンズ３１の形成位置ずれによる感度差を補正し、その補正後の信号を用いて、上述したステップＳ３１及びＳ３２の処理を行えばよい。
【0217】
＜固体撮像装置の基板構成例＞図１の固体撮像装置１は、図３４Aに示されるように、１枚の半導体基板１３に、画素２が行列状に複数配列されている画素領域８１と、各画素２を制御する制御回路８２と、信号処理回路１２を含むロジック回路８３とが形成された構成とされている。
【0218】
しかしながら、固体撮像装置１は、図３４Bに示されるように、画素領域８１と制御回路８２が形成された第１の半導体基板９１と、ロジック回路８３が形成された第２の半導体基板９２とを積層して構成することも可能である。第１の半導体基板９１と第２の半導体基板９２は、例えば、貫通ビアやCu-Cuの金属結合により電気的に接続される。
【0219】
あるいはまた、固体撮像装置１は、図３４Cに示されるように、画素領域８１のみが形成された第１の半導体基板９３と、制御回路８２とロジック回路８３が形成された第２の半導体基板９４とを積層して構成することも可能である。第１の半導体基板９３と第２の半導体基板９４は、例えば、貫通ビアやCu-Cuの金属結合により電気的に接続される。
【0220】
＜電子機器への適用例＞上述した固体撮像装置１は、例えば、デジタルスチルカメラやデジタルビデオカメラなどの撮像装置、撮像機能を備えた携帯電話機、または、撮像機能を備えたオーディオプレーヤといった各種の電子機器に適用することができる。
【0221】
図３５は、本開示に係る電子機器としての撮像装置の構成例を示すブロック図である。
【0222】
図３５に示される撮像装置１０１は、光学系１０２、シャッタ装置１０３、固体撮像装置１０４、制御回路１０５、信号処理回路１０６、モニタ１０７、およびメモリ１０８を備えて構成され、静止画像および動画像を撮像可能である。
【0223】
光学系１０２は、１枚または複数枚のレンズを有して構成され、被写体からの光（入射光）を固体撮像装置１０４に導き、固体撮像装置１０４の受光面に結像させる。
【0224】
シャッタ装置１０３は、光学系１０２および固体撮像装置１０４の間に配置され、制御回路１０５の制御に従って、固体撮像装置１０４への光照射期間および遮光期間を制御する。
【0225】
固体撮像装置１０４は、上述した固体撮像装置１により構成される。固体撮像装置１０４は、光学系１０２およびシャッタ装置１０３を介して受光面に結像される光に応じて、一定期間、信号電荷を蓄積する。固体撮像装置１０４に蓄積された信号電荷は、制御回路１０５から供給される駆動信号（タイミング信号）に従って転送される。固体撮像装置１０４は、それ単体でワンチップとして構成されてもよいし、光学系１０２ないし信号処理回路１０６などと一緒にパッケージングされたカメラモジュールの一部として構成されてもよい。
【0226】
制御回路１０５は、固体撮像装置１０４の転送動作、および、シャッタ装置１０３のシャッタ動作を制御する駆動信号を出力して、固体撮像装置１０４およびシャッタ装置１０３を駆動する。
【0227】
信号処理回路１０６は、固体撮像装置１０４から出力された画素信号に対して各種の信号処理を施す。信号処理回路１０６が信号処理を施すことにより得られた画像（画像データ）は、モニタ１０７に供給されて表示されたり、メモリ１０８に供給されて記憶（記録）されたりする。
【0228】
なお、上述したダイナミックレンジ拡張処理及び感度差補正処理は、固体撮像装置１０４内の信号処理回路で実行してもよいし、固体撮像装置１０４から画素信号を受け取った信号処理回路１０６が実行してもよい。
【0229】
また、ダイナミックレンジ拡張処理及び感度差補正処理を行う信号処理回路１０６は、DSP(Digital Signal Processor)などにより、外部から入力される画像信号を処理する画像処理装置として独立して設けることも可能である。
【0230】
上述したように、固体撮像装置１０４として、上述した実施の形態に係る固体撮像装置１を用いることで、高ダイナミックレンジな画像や感度差が補正された複数枚の画像を生成することができる。従って、ビデオカメラやデジタルスチルカメラ、さらには携帯電話機等のモバイル機器向けカメラモジュールなどの撮像装置１０１においても、撮像画像の高画質化を図ることができる。
【0231】
上述した例では、第１導電型をP型、第２導電型をN型として、電子を信号電荷とした固体撮像装置について説明したが、本開示の技術は正孔を信号電荷とする固体撮像装置にも適用することができる。すなわち、第１導電型をN型とし、第２導電型をP型として、前述の各半導体領域を逆の導電型の半導体領域で構成することができる。
【0232】
また、本開示の技術は、可視光の入射光量の分布を検知して画像として撮像する固体撮像装置への適用に限らず、赤外線やＸ線、あるいは粒子等の入射量の分布を画像として撮像する固体撮像装置や、広義の意味として、圧力や静電容量など、他の物理量の分布を検知して画像として撮像する指紋検出センサ等の固体撮像装置（物理量分布検知装置）全般に対して適用可能である。
【0233】
本開示の実施の形態は、上述した実施の形態に限定されるものではなく、本開示の要旨を逸脱しない範囲において種々の変更が可能である。
【0234】
例えば、上述した複数の実施の形態の全てまたは一部を組み合わせた形態を採用することができる。
【0235】
なお、本明細書に記載された効果はあくまで例示であって限定されるものではなく、本明細書に記載されたもの以外の効果があってもよい。
【0236】
なお、本開示は以下のような構成も取ることができる。（１）
同一の受光領域を有する画素が行列状に複数配置されており、１つのマイクロレンズに入射された光が、隣接する複数画素に入射されるように構成されている画素アレイ部を備え、
前記画素アレイ部のマイクロレンズ下の前記複数画素に含まれる第１画素と第２画素とが感度差を有するように設定される
固体撮像装置。
（２）
前記画素アレイ部の第１のマイクロレンズ下の前記複数画素に含まれる第１画素及び第２画素のうち、前記第１画素に対して第１の露光時間に設定し、前記第２画素に対して第２の露光時間に設定するとともに、前記画素アレイ部の第２のマイクロレンズ下の前記複数画素に含まれる前記第１画素及び前記第２画素に対しては前記第１の露光時間に設定する駆動制御部をさらに備える
前記（１）に記載の固体撮像装置。
（３）
前記第１のマイクロレンズ下の前記第１画素と前記第２画素の画素信号を用いて、ダイナミックレンジが拡張された信号を生成するとともに、前記第２のマイクロレンズ下の前記第１画素と前記第２画素の画素信号を位相差信号として出力する信号処理回路をさらに備える
前記（２）に記載の固体撮像装置。
（４）
前記信号処理回路は、複数フレームの前記位相差信号を積算して出力するモードも有する
前記（３）に記載の固体撮像装置。
（５）
前記駆動制御部は、前記画素アレイ部の全ての画素を同一の露光時間に設定するモードも有する
前記（２）乃至（４）のいずれかに記載の固体撮像装置。
（６）
前記駆動制御部は、第１のモードと第２のモードで、前記第１のマイクロレンズ下の前記第１画素の前記第１の露光時間と前記第２画素の前記第２の露光時間の露光時間比を変更する
前記（２）乃至（５）のいずれかに記載の固体撮像装置。
（７）
前記マイクロレンズの光軸と前記複数の画素の中心位置がずれていることにより、前記第１画素と第２画素とが感度差を有する
前記（１）乃至（６）のいずれかに記載の固体撮像装置。
（８）
前記受光領域の上に形成された遮光膜の開口面積がさらに異なる
前記（７）に記載の固体撮像装置。
（９）
前記信号処理回路は、前記マイクロレンズの光軸と前記複数の画素の中心位置がずれていることによる感度差を補正する処理も行う
前記（３）乃至（８）のいずれかに記載の固体撮像装置。
（１０）
第１の半導体基板と第２の半導体基板を積層して構成されている
前記（１）乃至（９）のいずれかに記載の固体撮像装置。
（１１）
同一の受光領域を有する画素が行列状に複数配置されており、１つのマイクロレンズに入射された光が、隣接する複数画素に入射されるように構成されている画素アレイ部のマイクロレンズ下の前記複数画素に含まれる第１画素と第２画素とが感度差を有するように設定される
固体撮像装置の駆動制御方法。
（１２）
同一の受光領域を有する画素が行列状に複数配置されており、１つのマイクロレンズに入射された光が、隣接する複数画素に入射されるように構成されている画素アレイ部を備え、
前記画素アレイ部のマイクロレンズ下の前記複数画素に含まれる第１画素と第２画素とが感度差を有するように設定される
固体撮像装置
を備える電子機器。
（１３）
同一の受光領域を有する画素が行列状に複数配置された画素アレイ部が、１つのマイクロレンズに入射された光が、隣接する複数画素に入射されるように構成されており、前記マイクロレンズの光軸と前記複数画素の中心位置がずれていることにより、前記複数画素が高感度の画素と低感度の画素に分類される固体撮像装置から出力された信号を処理する信号処理回路が、前記高感度の画素から出力される高感度画素信号と、前記低感度の画素から出力される低感度画素信号を用いて所定の信号処理を実行する
画像処理方法。
（１４）
前記信号処理回路は、前記高感度画素信号と前記低感度画素信号とを用いて、ダイナミックレンジが拡張された画素信号を生成して出力する
前記（１３）に記載の画像処理方法。
（１５）
前記信号処理回路は、前記高感度画素信号と前記低感度画素信号とを用いて、前記高感度の画素と前記低感度の画素の感度差を補正した画素信号を生成して出力する
前記（１３）に記載の画像処理方法。
（１６）
同一の受光領域を有する画素が行列状に複数配置されており、１つのマイクロレンズに入射された光が、隣接する複数画素に入射されるように構成されている画素アレイ部を少なくとも有する固体撮像装置と、
前記マイクロレンズの光軸と前記複数画素の中心位置がずれていることにより、前記複数画素が高感度の画素と低感度の画素に分類され、前記高感度の画素から出力される高感度画素信号と、前記低感度の画素から出力される低感度画素信号を用いて所定の信号処理を実行する信号処理回路と
を備える電子機器。
【符号の説明】
【0237】
１ 固体撮像装置， ２ 画素， ３ 画素アレイ部， ４ 垂直駆動回路， ８ 制御回路， １２ 信号処理回路， １３ 半導体基板， ２１ フォトダイオード， ３１ マイクロレンズ， ３４ 遮光膜， ５３ 画像処理部， ７１ 遮光膜， ９１ 第１の半導体基板， ９２ 第２の半導体基板， ９３ 第１の半導体基板， ９４ 第２の半導体基板， １０１ 撮像装置， １０４ 固体撮像装置， ２５０ 感度差画素対， ２５１ 低感度位相差画素対， ２５２ 高感度位相差画素対