特許 7136280 撮像素子、及び撮像装置

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2022-09-05

(45)【発行日】2022-09-13

(54)【発明の名称】撮像素子、及び撮像装置

(51)【国際特許分類】

   H04N 5/355 20110101AFI20220906BHJP

   H04N 5/369 20110101ALI20220906BHJP

   H01L 27/146 20060101ALI20220906BHJP

【ＦＩ】

H04N5/355 360

H04N5/355 540

H04N5/369

H04N5/355 630

H01L27/146 A

H01L27/146 E

【請求項の数】 9

(21)【出願番号】P 2021099382

(22)【出願日】2021-06-15

(62)【分割の表示】P 2019162206の分割

【原出願日】2013-05-29

(65)【公開番号】P2021153324

(43)【公開日】2021-09-30

【審査請求日】2021-06-18

(73)【特許権者】

【識別番号】000004112

【氏名又は名称】株式会社ニコン

(74)【代理人】

【識別番号】100161207

【弁理士】

【氏名又は名称】西澤 和純

(74)【代理人】

【識別番号】100140774

【弁理士】

【氏名又は名称】大浪 一徳

(74)【代理人】

【識別番号】100175824

【弁理士】

【氏名又は名称】小林 淳一

(72)【発明者】

【氏名】三本木 慎典

【審査官】鈴木 明

(56)【参考文献】

【文献】特許第６９４５７９１（ＪＰ，Ｂ２）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｈ０４Ｎ ５／３０－５／３７８

Ｈ０１Ｌ ２７／１４－２７／１４８

(57)【特許請求の範囲】

【請求項1】

光を電荷に変換する第１光電変換部と、
前記第１光電変換部を透過した光を電荷に変換する第２光電変換部と、
被写体の輝度差が所定値よりも小さいと、前記第１光電変換部と前記第２光電変換部との電荷の蓄積時間を同じにする第１制御を行い、被写体の輝度差が所定値よりも大きいと、前記第１光電変換部と前記第２光電変換部との電荷の蓄積時間を異ならせる第２制御を行う制御部と、
を備える撮像素子。

【請求項2】

光を電荷に変換する第１光電変換部と、
前記第１光電変換部を透過した光を電荷に変換する第２光電変換部と、
被写体の動きの変化量が所定値よりも大きいと、前記第１光電変換部と前記第２光電変換部との電荷の蓄積時間を同じにする第１制御を行い、被写体の動きの変化量が所定値よりも小さいと、前記第１光電変換部と前記第２光電変換部との電荷の蓄積時間を異ならせる第２制御を行う制御部と、
を備える撮像素子。

【請求項3】

光を電荷に変換する第１光電変換部と、
前記第１光電変換部を透過した光を電荷に変換する第２光電変換部と、
被写体の動きが検出されると、前記第１光電変換部と前記第２光電変換部との電荷の蓄積時間を同じにする第１制御を行い、被写体の輝度差が検出されると、前記第１光電変換部と前記第２光電変換部との電荷の蓄積時間を異ならせる第２制御を行う制御部と、
を備える撮像素子。

【請求項4】

前記第１光電変換部で変換された電荷により生成される第１信号が出力される第１信号線と、
前記第２光電変換部で変換された電荷により生成される第２信号が出力される第２信号線と、
を備える請求項１から請求項３のいずれか一項に記載の撮像素子。

【請求項5】

前記第１光電変換部を有する第１画素と、
前記第２光電変換部を有する第２画素と、
前記第１画素と前記第２画素との間に配置され、少なくとも前記第１画素に電気的に接続される配線と、
を備える請求項１から請求項４のいずれか一項に記載の撮像素子。

【請求項6】

前記配線は、前記第１光電変換部を透過した光が通るための開口部の少なくとも一部を形成する請求項５に記載の撮像素子。

【請求項7】

前記第２画素は、前記配線により前記第１画素と電気的に接続される請求項５または請求項６に記載の撮像素子。

【請求項8】

前記第１光電変換部は、有機材料で構成され、
前記第２光電変換部は、無機材料で構成される請求項１から請求項７のいずれか一項に記載の撮像素子。

【請求項9】

請求項１から請求項８のいずれか一項に記載の撮像素子と、
前記第１光電変換部で変換された電荷により生成された第１信号と前記第２光電変換部で変換された電荷により生成された第２信号とにより画像データを生成する生成部と、
を備える撮像装置。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、撮像素子、及び撮像装置に関する。

【背景技術】

【0002】

複数の画素が２次元状に配置された撮像素子において、開口面積が広い高感度の受光素子と開口面積が狭い低感度の受光素子とを１つの画素内に配置し、これらの出力信号を用いて広いダイナミックレンジの画像を生成する撮像装置が知られている（特許文献１参照）。

【先行技術文献】

【特許文献】

【0003】

【文献】特許第４０１８８２０号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

上述した撮像装置では、１つの画素の面積を開口面積の大きい受光素子と開口面積の小さい受光素子とで分割しているために、画素内に入射光を受光できない領域が生じてしまい、入射光の利用効率が悪かった。

【課題を解決するための手段】

【0005】

発明の第１の態様による撮像素子は、光を電荷に変換する第１光電変換部と、前記第１光電変換部を透過した光を電荷に変換する第２光電変換部と、被写体の輝度差が所定値よりも小さいと、前記第１光電変換部と前記第２光電変換部との電荷の蓄積時間を同じにする第１制御を行い、被写体の輝度差が所定値よりも大きいと、前記第１光電変換部と前記第２光電変換部との電荷の蓄積時間を異ならせる第２制御を行う制御部と、を備える。
発明の第２の態様による撮像素子は、光を電荷に変換する第１光電変換部と、前記第１光電変換部を透過した光を電荷に変換する第２光電変換部と、被写体の動きの変化量が所定値よりも大きいと、前記第１光電変換部と前記第２光電変換部との電荷の蓄積時間を同じにする第１制御を行い、被写体の動きの変化量が所定値よりも小さいと、前記第１光電変換部と前記第２光電変換部との電荷の蓄積時間を異ならせる第２制御を行う制御部と、を備える。
発明の第３の態様による撮像素子は、光を電荷に変換する第１光電変換部と、前記第１光電変換部を透過した光を電荷に変換する第２光電変換部と、被写体の動きが検出されると、前記第１光電変換部と前記第２光電変換部との電荷の蓄積時間を同じにする第１制御を行い、被写体の輝度差が検出されると、前記第１光電変換部と前記第２光電変換部との電荷の蓄積時間を異ならせる第２制御を行う制御部と、を備える。
発明の第４の態様による撮像装置は、第１から第３のいずれかの態様に記載の撮像素子と、前記第１光電変換部で変換された電荷により生成された第１信号と前記第２光電変換部で変換された電荷により生成された第２信号とにより画像データを生成する生成部と、を備える。

【発明の効果】

【0006】

本発明によれば、入射光の利用効率を高くできる。

【図面の簡単な説明】

【0007】

【図1】デジタルカメラの構成例を説明するブロック図である。

【図2】撮像素子の概要を説明する図である。

【図3】画素の配置例を説明する図である。

【図4】撮像素子の断面構成例を説明する図である。

【図5】画素の回路構成例を説明する図である。

【図6】ダイナミックレンジ拡大処理を説明する図である。

【発明を実施するための形態】

【0008】

以下、図面を参照して本発明を実施するための形態について説明する。図１は、本発明の一実施の形態によるデジタルカメラ１の構成を例示する図である。デジタルカメラ１は、制御部１１、撮像部１２、操作部１３、画像処理部１４、液晶モニタ１５、およびバッファメモリ１６を有する。また、デジタルカメラ１には、メモリカード１７が装着されている。

【0009】

制御部１１は、マイクロプロセッサおよびその周辺回路から構成され、不図示のＲＯＭに格納された制御プログラムを実行することにより、デジタルカメラ１の各種の制御を行う。撮像部１２は、撮像素子２１、増幅回路２２、およびＡＤ変換回路２３を有する。

【0010】

撮像素子２１は、複数の画素から構成され、不図示の撮影光学系を介して被写体からの光束を受光し、光電変換を行ってアナログ画像信号を出力する。増幅回路２２は、撮像素子２１から出力されるアナログ画像信号を所定の増幅率（ゲイン）で増幅してＡＤ変換回路２３に出力する。ＡＤ変換回路２３は、アナログ画像信号をＡＤ変換してデジタル画像信号を出力する。制御部１１は、撮像部１２から出力されるデジタル画像信号をバッファメモリ１６に格納する。

【0011】

バッファメモリ１６に格納されたデジタル画像信号は、画像処理部１４において各種の画像処理が行われ、液晶モニタ１５に表示されたり、メモリカード１７に格納されたりする。メモリカード１７は、不揮発性のフラッシュメモリなどから構成され、デジタルカメラ１に対して着脱可能である。

【0012】

操作部１３は、レリーズボタンやモード切り替えボタン、電源ボタンなど各種の操作ボタンから構成され、撮影者により操作される。操作部１３は、撮影者による上記の各操作ボタンの操作に応じた操作信号を制御部１１へ出力する。画像処理部１４は、ＡＳＩＣ等により構成されている。画像処理部１４は、撮像部１２によって撮像された画像データに対して、補間、圧縮、ホワイトバランスなどの各種の画像処理や、後述するダイナミックレンジ拡大処理を行う。

【0013】

＜撮像素子の説明＞
図２は、本実施形態に係る撮像素子２１の概要を示す図である。なお、図２では、撮像素子２１の光入射側を上側とした状態を示している。このため、以下の説明では、撮像素子２１の光入射側の方向を「上方」または「上」とし、光入射側に対して反対側の方向を「下方」または「下」とする。撮像素子２１は、上部光電変換層３１と下部光電変換層３２とを有する。上部光電変換層３１と下部光電変換層３２とは、同一光路上に積層配置されている。上部光電変換層３１は、所定の色成分（詳しくは後述する）の光を吸収（光電変換）する有機光電膜で構成される。上部光電変換層３１で吸収（光電変換）されなかった色成分の光は、上部光電変換層３１を透過して下部光電変換層３２に入射し、下部光電変換層３２で光電変換される。下部光電変換層３２は、フォトダイオードにより光電変換を行う。なお、上部光電変換層３１で光電変換される色成分と、下部光電変換層３２で光電変換される色成分とは、補色関係である。上部光電変換層３１と下部光電変換層３２とは同一の半導体基板上に形成され、各画素位置は一対一に対応する。たとえば上部光電変換層３１の１行１列目の画素は、下部光電変換層３２の１行１列目の画素に対応する。

【0014】

図３（ａ）は、上部光電変換層３１の画素配置を示す図である。図３（ａ）において、水平方向をｘ軸、垂直方向をｙ軸とし、画素Ｐの座標をＰ（ｘ，ｙ）と表記する。図３（ａ）に示す上部光電変換層３１の例では、奇数行の各画素にＭｇ（マジェンタ）とＹｅ（イエロー）の光を光電変換する有機光電膜を交互に配置し、偶数行の各画素にＣｙ（シアン）とＭｇ（マジェンタ）の光を光電変換する有機光電膜を交互に配置している。そして、各画素で受光されない光は透過される。たとえば画素Ｐ（１，１）はＭｇの光を光電変換してＭｇの補色であるＧ（グリーン）の光を透過する。同様に、画素Ｐ（２，１）はＹｅの光を光電変換してＹｅの補色であるＢ（ブルー）の光を透過し、画素Ｐ（１，２）はＣｙの光を光電変換してＣｙの補色であるＲ（レッド）の光を透過する。

【0015】

図３（ｂ）は、下部光電変換層３２の画素配置を示す図である。なお、図３（ｂ）に示す各画素位置は、図３（ａ）と同じである。たとえば下部光電変換層３２の画素（１，１）は、上部光電変換層３１の画素（１，１）に対応する。図３（ｂ）において、下部光電変換層３２には、カラーフィルターなどは設けられておらず、上部光電変換層３１を透過する色成分（すなわち有機光電膜で吸収されて光電変換される色成分の補色）の光を光電変換する。従って、図３（ｃ）に示すように、下部光電変換層３２において、奇数行の画素ではＧとＢの色成分の画像信号、偶数行の各画素ではＲとＧの色成分の画像信号が得られる。たとえば画素Ｐ（１，１）ではＭｇの補色のＧ成分の画像信号が得られる。同様に、画素Ｐ（２，１）ではＹｅの補色のＢ成分の画像信号、画素Ｐ（１，２）ではＣｙの補色のＲ成分の画像信号がそれぞれ得られる。

【0016】

このように、本実施形態に係る撮像素子２１では、有機光電膜で構成される上部光電変換層３１が下部光電変換層３２に対してカラーフィルターの役割を果たし、下部光電変換層３２から上部光電変換層３１の補色画像（図３の例ではベイヤー配列の画像）が得られる。したがって、本実施形態に係る撮像素子２１では、上部光電変換層３１からはＣｙ、Ｍｇ、Ｙｅの３色からなるＣＭＹ画像を取得することができ、下部光電変換層３２からはＲ、Ｇ、Ｂの３色からなるＲＧＢ画像を取得することができ、１回の撮影処理で２枚のカラー画像信号を取得することができる。

【0017】

図４は、撮像素子２１の断面の一部を例示する図である。図４に示すように、撮像素子２１では、シリコン基板上に形成された下部光電変換層３２と、有機光電膜を用いた上部光電変換層３１とが配線層４０を介して積層されている。上部光電変換層３１の上方には、１つの画素に対して１つのマイクロレンズＭＬが形成されている。たとえば、上部光電変換層３１において、画素Ｐ（１，１）の光電変換部を構成する有機光電膜による受光部ＰＣ（１，１）は、マイクロレンズＭＬ（１，１）から入射された被写体光におけるＭｇの光を光電変換して補色であるＧの光を透過する。下部光電変換層３２において、画素Ｐ（１，１）を構成するフォトダイオードＰＤ（１，１）は、上部光電変換層３１の受光部ＰＣ（１，１）を透過したＧの光を受光して光電変換する。

【0018】

図５は、撮像素子２１における１つの画素Ｐ（ｘ，ｙ）の回路構成を例示する図である。画素Ｐ（ｘ，ｙ）は、下部光電変換層３２を構成するための回路として、フォトダイオードＰＤと、転送トランジスタＴｘと、リセットトランジスタＲ２と、出力トランジスタＳＦ２と、選択トランジスタＳＥＬ２とを有する。フォトダイオードＰＤは、入射光の光量に応じた電荷を蓄積する。転送トランジスタＴｘは、フォトダイオードＰＤに蓄積された電荷を出力トランジスタＳＦ２側の浮遊拡散領域（ＦＤ部）に転送する。出力トランジスタＳＦ２は選択トランジスタＳＥＬ２を介して電流源ＰＷ２とソースホロワを構成し、ＦＤ部に蓄積された電荷に応じた電気信号を出力信号ＯＵＴ２として垂直信号線ＶＬＩＮＥ２に出力する。なお、リセットトランジスタＲ２は、ＦＤ部の電荷を電源電圧Ｖｃｃにリセットする。

【0019】

また、画素Ｐ（ｘ，ｙ）は、上部光電変換層３１を構成するための回路として、有機光電膜による受光部ＰＣと、リセットトランジスタＲ１と、出力トランジスタＳＦ１と、選択トランジスタＳＥＬ１とを有する。有機光電膜による受光部ＰＣは、非透過光を光量に応じた電気信号に変換し、選択トランジスタＳＥＬ１を介して電流源ＰＷ１とソースホロワを構成する出力トランジスタＳＦ１を介して出力信号ＯＵＴ１として垂直信号線ＶＬＩＮＥ１に出力する。なお、リセットトランジスタＲ１は、受光部ＰＣの出力信号をリファレンス電圧Ｖｒｅｆにリセットする。また、有機光電膜の動作用として高電圧Ｖｐｃが与えられている。各トランジスタはＭＯＳ＿ＦＥＴで構成される。

【0020】

ここで、下部光電変換層３２に係る回路の動作について説明する。まず、選択信号φＳＥＬ２が”Ｈｉｇｈ”になると、選択トランジスタＳＥＬ２がオンする。次に、リセット信号φＲ２が”Ｈｉｇｈ”になると、ＦＤ部で電源電圧Ｖｃｃにリセットされ、出力信号ＯＵＴ２もリセットレベルになる。そして、リセット信号φＲ２が”Ｌｏｗ”になった後、転送信号φＴｘが”Ｈｉｇｈ”になり、フォトダイオードＰＤに蓄積された電荷がＦＤ部に転送され、出力信号ＯＵＴ２が電荷量に応じて変化し始め、安定する。そして、転送信号φＴｘが”Ｌｏｗ”になり、画素から垂直信号線ＶＬＩＮＥ２に読み出される出力信号ＯＵＴ２の信号レベルが確定する。そして、垂直信号線ＶＬＩＮＥ２に読み出された各画素の出力信号ＯＵＴ２は、不図示の水平出力回路に行毎に一時的に保持された後、撮像素子２１から出力される。このようにして、撮像素子２１の下部光電変換層３２の各画素から信号が読み出される。

【0021】

また、上部光電変換層３１に係る回路の動作について説明する。まず、選択信号φＳＥＬ１が”Ｈｉｇｈ”になると、選択トランジスタＳＥＬ１がオンする。次にリセット信号φＲ１が”Ｈｉｇｈ”になり、出力信号ＯＵＴ１もリセットレベルになる。そして、リセット信号φＲ１が”Ｌｏｗ”になった直後から有機光電膜による受光部ＰＣの電荷蓄積が開始され、電荷量に応じて出力信号ＯＵＴ１が変化する。そして、出力信号ＯＵＴ１が不図示の水平出力回路に行毎に一時的に保持された後、撮像素子２１から出力される。このようにして、撮像素子２１の上部光電変換層３１の各画素から信号が読み出される。

【0022】

＜ダイナミックレンジ拡大処理＞
本実施形態のデジタルカメラ１では、撮像素子２１の上部光電変換層３１から出力される画像信号と下部光電変換層３２から出力される画像信号とを合成して、ダイナミックレンジを拡大した画像を生成するダイナミックレンジ拡大処理を行うようになっている。以下、このダイナミックレンジ拡大処理について説明する。

【0023】

撮像素子２１では、入射光を電気信号に変換する感度（受光感度）が上部光電変換層３１の画素と下部光電変換層３２の画素とで異なっている。本実施形態では、上部光電変換層３１の画素の感度の方が下部光電変換層３２の画素の感度よりも高い。これは、上部光電変換層３１が受光するＣｙＭｇＹｅの方が下部光電変換層３２が受光するＲＧＢに比べて波長範囲が広いことと、上部光電変換層３１の方が下部光電変換層３２に比べて光学的なケラレ等が少なくなるため、集光が有利であることが理由である。したがって、下部光電変換層３２からは比較的低感度で撮像された画像（低感度画像）が出力され、上部光電変換層３１からは比較的高感度で撮像された画像（高感度画像）が出力される。

【0024】

図６（ａ）は、上部光電変換層３１および下部光電変換層３２のそれぞれの画素における受光量とデジタル出力値との関係を示すグラフである。図６（ａ）において、線Ｌ１は、上部光電変換層３１の画素における受光量とデジタル出力値との関係を示す。線Ｌ２は、下部光電変換層３２の画素における受光量とデジタル出力値との関係を示す。上部光電変換層３１の画素は下部光電変換層３２の画素よりも高感度なので、同じ受光量において、上部光電変換層３１の画素の出力値は下部光電変換層３２の画素の出力値よりも大きくなっている。また、受光量がＰｍ以下の範囲では、上部光電変換層３１の画素の出力値は、受光量が大きくなるほどリニアに大きくなっている。そして、受光量がＰｍ以上では、上部光電変換層３１の画素の出力値は飽和値Ｖｍとなって一定となる。一方、受光量がＰｍとなっても、下部光電変換層３２の画素の出力値は飽和せず、受光量が大きくなるほどリニアに大きくなっている。

【0025】

制御部１１は、ユーザによりレリーズボタンが押下されると、上部光電変換層３１および下部光電変換層３２に記録用の光電変換を同時に行わせ、バッファメモリ１６にこれらの出力信号を記憶させる。なお、本実施形態では、上部光電変換層３１および下部光電変換層３２の露光時間は同じであるとする。画像処理部１４は、バッファメモリ１６に記憶された上部光電変換層３１の画素からの出力信号と下部光電変換層３２の画素からの出力信号とを組み合わせることで、ダイナミックレンジを拡大した１枚の画像を生成する。

【0026】

図６（ｂ）は、画素の受光量とダイナミックレンジ拡大後の画素値との関係を説明するグラフである。図６（ｂ）において、線Ｌ３が画素の受光量とダイナミックレンジ拡大後の画素値との関係を示す。ここでは、たとえば、飽和値Ｖｍのたとえば７０～８０％程度の値が閾値Ｖｔとして設定されるとする。上部光電変換層３１の画素の出力値が閾値Ｖｔとなる受光量をＰｔとする。下部光電変換層３２の画素が同じ受光量Ｐｔにおいて出力する出力値をＶｕとする。Ｖｕは閾値Ｖｔよりも低い値となる。画像処理部１４は、上部光電変換層３１における出力値が閾値Ｖｔよりも低い画素からの出力信号と、下部光電変換層３２における出力値がＶｕよりも高い画素からの出力信号とを用いて、ダイナミックレンジを拡大した画像を生成する。すなわち、受光量がＰｔよりも小さい場合は上部光電変換層３１の出力信号が使用され、受光量がＰｔよりも大きい場合は下部光電変換層３２の出力信号が使用される。このとき画像処理部１４は、下部光電変換層３２の画素からの出力信号については、出力値にＶｔとＶｕの差分値（Ｖｔ－Ｖｕ）を加算した後、上部光電変換層３１の画素からの出力信号と合成する。このように画像処理部１４は、画像の暗い部分については、高感度である上部光電変換層３１の画素からの出力信号を用いるので黒潰れの防止およびＳ／Ｎ比の向上を実現でき、画像の明るい部分については低感度である下部光電変換層３２の画素からの出力信号を用いるので飽和（白飛び）を防止でき、ダイナミックレンジを拡大した画像を生成することができる。

【0027】

以上説明した実施形態によれば、次の作用効果が得られる。
デジタルカメラ１において、撮像素子２１は上部光電変換層３１と下部光電変換層３２とが積層されて配置されて構成され、画像処理部１４は、画素の感度が異なる上部光電変換層３１と下部光電変換層３２からの出力信号を合成して、ダイナミックレンジを拡大した画像を生成するようにした。本実施形態の撮像素子２１では、上部光電変換層３１を透過した光を下部光電変換層３２で受光するので、上述した従来の撮像素子のように１つの画素の面積を開口面積の大きい受光素子と開口面積の小さい受光素子とで分割する場合に比べて、入射光の利用効率を高くすることができる。ゆえに本実施形態では、撮像素子２１を高感度にした場合でもノイズを減らすことができる。また、上部光電変換層３１が従来の撮像素子で必要であったカラーフィルターの代わりとなるため、カラーフィルターで吸収されてしまっていた入射光を上部光電変換層３１により有効に利用することができる。

【0028】

（変形例１）
上述した実施形態では、画素の感度が互いに異なっている上部光電変換層３１と下部光電変換層３２の画像信号を合成してダイナミックレンジを拡大した画像を生成する例について説明した。しかしながら、被写体によっては明るい箇所と暗い箇所の輝度差が大きく、より拡大したダイナミックレンジが求められる場合がある。そこで、上部光電変換層３１と下部光電変換層３２について、さらに露光時間を変えるようにしてもよい。

【0029】

この場合、制御部１１は、低感度である下部光電変換層３２の画素の露光時間（電荷蓄積時間）を、高感度である上部光電変換層３１の画素の露光時間よりも短く設定する。これにより、下部光電変換層３２では上部光電変換層３１よりも受光量が少なくなり、画像の明るい部分については下部光電変換層３２の画素においてより飽和しにくくなるので、ダイナミックレンジの上限側を広げることができる。一方、上部光電変換層３１では下部光電変換層３２よりも受光量が多くなり、画像の暗い部分については上部光電変換層３１の画素においてよりＳ／Ｎ比が向上するので、ダイナミックレンジの下限側を広げることができる。したがって、上部光電変換層３１と下部光電変換層３２とで、画素の感度に加えて露光時間も異なることにより、画素の感度のみが異なる場合と比べて、よりダイナミックレンジを拡大した画像を生成することができる。

【0030】

また、上部光電変換層３１と下部光電変換層３２とで画素の感度のみが異なる状態で（すなわち露光時間は同一で）撮像した信号に基づいてダイナミックレンジ拡大処理を行うモード（第１モード）と、画素の感度と露光時間の両方とも異なる状態で撮像した信号に基づいてダイナミックレンジ拡大処理を行うモード（第２モード）とを切り替えるようにしてもよい。

【0031】

第２モードは、第１モードよりもダイナミックレンジをより拡大することができるので、輝度差の大きい被写体を撮影する際には、第１モードよりも第２モードの方が好ましいと考えられる。しかし、第２モードでは、上部光電変換層３１と下部光電変換層３２の露光開始時刻および露光終了時刻の少なくともいずれかを変えなければならないので、動きが速い被写体に対しては上部光電変換層３１と下部光電変換層３２とで同時に露光開始および露光終了できる第１モードの方が好ましいと考えられる。

【0032】

そこで、制御部１１は、たとえば、デジタルカメラ１の撮影画面内を複数の領域に分割して、それぞれの領域の輝度を不図示の測光センサにより検出する。検出した輝度の最大値と最小値との差が大きい場合には、輝度差の大きい被写体であると考えられる。したがって、制御部１１は、当該検出した輝度の最大値と最小値との差が所定値よりも大きい場合には第２モードに切り替え、所定値よりも小さい場合には第１モードに切り替えるようにしてもよい。

【0033】

また、制御部１１は、たとえば、撮像素子２１に所定のフレームレートで撮像を行わせ、撮像素子２１により撮像されたフレーム画像において隣接フレーム間の変化量を検出する。当該変化量が大きい場合には被写体の動きが速いと考えられる。そこで制御部１１は、当該変化量が所定値よりも大きい場合には第１モードに切り替え、所定値よりも小さい場合には第２モードに切り替えるようにしてもよい。

【0034】

（変形例２）
上述した実施の形態では、上部光電変換層３１の画素からの出力信号と下部光電変換層３２の画素からの出力信号とを合成してダイナミックレンジを拡大する例について説明した。しかしながら、上部光電変換層３１の画素からの出力信号と下部光電変換層３２の画素からの出力信号とを加算した加算信号を生成し、この加算信号をさらに用いてダイナミックレンジを拡大するようにしてもよい。

【0035】

たとえば、下部光電変換層３２の画素からの出力信号と上記加算信号とを合成してダイナミックレンジを拡大するようにしてもよい。この場合、画像処理部１４は、画像の明るい部分については下部光電変換層３２の画素からの出力信号を使用し、画像の暗い部分については上記加算信号を使用して、ダイナミックレンジを拡大する。

【0036】

また、たとえば、上部光電変換層３１の画素からの出力信号と下部光電変換層３２の画素からの出力信号と上記加算信号とを合成してダイナミックレンジを拡大するようにしてもよい。この場合、画像処理部１４は、画像の明るい部分については下部光電変換層３２の画素からの出力信号を使用し、画像の中程度の明るさの部分については上部光電変換層３１の画素からの出力信号を使用し、画像の暗い部分については上記加算信号を使用して、ダイナミックレンジを拡大する。

【0037】

（変形例３）
上述した実施の形態では、下部光電変換層３２の画素が低感度であり、上部光電変換層３１の画素が高感度である例について説明したが、逆に下部光電変換層３２の画素が高感度であり、上部光電変換層３１の画素が低感度であるようにしてもよい。

【0038】

（変形例４）
上述した実施の形態において説明した撮像素子２１の画素配列は一例であり、他の画素配列であってもよい。たとえば、上部光電変換層３１にＲ、Ｇ、Ｂの光を光電変換する画素を配置し、下部光電変換層３２においてＣｙ、Ｍｇ、Ｙｅの光を光電変換するようにしてもよい。

【0039】

（変形例５）
上述した実施の形態では、２層の光電変換層（上部光電変換層３１および下部光電変換層３２）が積層された撮像素子２１を用いてダイナミックレンジ拡大処理を行う例を説明した。しかしながら、２層に限らず、３層以上の光電変換層が積層された撮像素子を用いてダイナミックレンジ拡大処理を行うようにしてもよい。たとえば、高感度の画素を有する光電変換層と、中感度の画素を有する光電変換層と、低感度の画素を有する光電変換層との３層の光電変換層を積層した撮像素子を設け、この撮像素子に撮像を行わせる。そして、画像の明るい部分については低感度の画素を有する光電変換層の出力信号を使用し、画像の中程度の明るさの部分については中感度の画素を有する光電変換層の出力信号を使用し、画像の暗い部分については高感度の画素を有する光電変換層の出力信号を使用して、ダイナミックレンジを拡大する。

【0040】

上記では、種々の実施の形態および変形例を説明したが、本発明はこれらの内容に限定されるものではない。本発明の技術的思想の範囲内で考えられるその他の態様も本発明の範囲内に含まれる。

【符号の説明】

【0041】

１…デジタルカメラ、１１…制御部、１４…画像処理部、２１…撮像素子、３１…上部光電変換層、３２…下部光電変換層

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】