(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2024096158
(43)【公開日】2024-07-12
(54)【発明の名称】撮像素子及び撮像装置
(51)【国際特許分類】
H04N 25/77 20230101AFI20240705BHJP
H04N 25/53 20230101ALI20240705BHJP
H04N 25/589 20230101ALI20240705BHJP
H04N 25/704 20230101ALI20240705BHJP
H01L 27/146 20060101ALI20240705BHJP
【ＦＩ】
H04N25/77
H04N25/53
H04N25/589
H04N25/704
H01L27/146 D
H01L27/146 A
【審査請求】有
【請求項の数】15
【出願形態】ＯＬ
(21)【出願番号】P 2024066068
(22)【出願日】2024-04-16
(62)【分割の表示】P 2023035411の分割
【原出願日】2015-12-01
(71)【出願人】
【識別番号】000004112
【氏名又は名称】株式会社ニコン
(74)【代理人】
【識別番号】100107836
【弁理士】
【氏名又は名称】西 和哉
(72)【発明者】
【氏名】松本 繁
(57)【要約】
【課題】１つの画素にある２つの光電変換部の蓄積時間をそれぞれ変更して撮像を行うことは困難である。
【解決手段】マイクロレンズを透過した光を電荷に変換して蓄積する第１光電変換部および第２光電変換部と、第１光電変換部から電荷を転送する第１転送部と、第１転送部に制御信号を伝える第１転送制御線と、第２光電変換部から電荷を転送する第２転送部と、第１転送制御線と別に設けられ、第２転送部に制御信号を伝える第２転送制御線と、を備え、第１転送制御線および第２転送制御線は、第１光電変換部および第２光電変換部に対してマイクロレンズを透過した光の入射側と反対側に設けられる。
【選択図】図２
【解決手段】マイクロレンズを透過した光を電荷に変換して蓄積する第１光電変換部および第２光電変換部と、第１光電変換部から電荷を転送する第１転送部と、第１転送部に制御信号を伝える第１転送制御線と、第２光電変換部から電荷を転送する第２転送部と、第１転送制御線と別に設けられ、第２転送部に制御信号を伝える第２転送制御線と、を備え、第１転送制御線および第２転送制御線は、第１光電変換部および第２光電変換部に対してマイクロレンズを透過した光の入射側と反対側に設けられる。
【選択図】図２
【特許請求の範囲】
【請求項1】
光が入射される複数のマイクロレンズと、
前記複数のマイクロレンズのうち第１マイクロレンズからの光を電荷に変換する第１光電変換部と、
前記第１マイクロレンズからの光を電荷に変換する第２光電変換部と、
前記第１光電変換部で変換された電荷を蓄積する蓄積時間と、前記第２光電変換部で変換された電荷を蓄積する蓄積時間とが異なる蓄積時間になるように制御する走査回路部と
を備える撮像素子。
前記複数のマイクロレンズのうち第１マイクロレンズからの光を電荷に変換する第１光電変換部と、
前記第１マイクロレンズからの光を電荷に変換する第２光電変換部と、
前記第１光電変換部で変換された電荷を蓄積する蓄積時間と、前記第２光電変換部で変換された電荷を蓄積する蓄積時間とが異なる蓄積時間になるように制御する走査回路部と
を備える撮像素子。
【請求項2】
請求項１に記載の撮像素子において、
前記複数のマイクロレンズのうち、前記第１マイクロレンズの隣に配置される第２マイクロレンズからの光を電荷に変換する第３光電変換部と、
前記第２マイクロレンズからの光を電荷に変換する第４光電変換部と
を備え、
前記走査回路部は、前記第３光電変換部で変換された電荷を蓄積する蓄積時間と、前記第４光電変換部で変換された電荷を蓄積する蓄積時間とが異なる蓄積時間になるように制御する、
撮像素子。
前記複数のマイクロレンズのうち、前記第１マイクロレンズの隣に配置される第２マイクロレンズからの光を電荷に変換する第３光電変換部と、
前記第２マイクロレンズからの光を電荷に変換する第４光電変換部と
を備え、
前記走査回路部は、前記第３光電変換部で変換された電荷を蓄積する蓄積時間と、前記第４光電変換部で変換された電荷を蓄積する蓄積時間とが異なる蓄積時間になるように制御する、
撮像素子。
【請求項3】
請求項２に記載の撮像素子において、
前記第１マイクロレンズからの光が入射されるフィルタであって、第１分光特性を有する第１フィルタと、
前記第２マイクロレンズからの光が入射されるフィルタであって、前記第１分光特性とは異なる第２分光特性を有する第２フィルタと
を備える撮像素子。
前記第１マイクロレンズからの光が入射されるフィルタであって、第１分光特性を有する第１フィルタと、
前記第２マイクロレンズからの光が入射されるフィルタであって、前記第１分光特性とは異なる第２分光特性を有する第２フィルタと
を備える撮像素子。
【請求項4】
請求項３に記載の撮像素子において、
光を遮る部材であって、前記第１フィルタと前記第２フィルタとの間に配置される遮光部を備える撮像素子。
光を遮る部材であって、前記第１フィルタと前記第２フィルタとの間に配置される遮光部を備える撮像素子。
【請求項5】
請求項１から請求項４のいずれか一項に記載の撮像素子において、
前記第１光電変換部で変換された電荷を転送する第１転送部と、
前記第２光電変換部で変換された電荷を転送する第２転送部と
を備え、
前記走査回路部は、前記第１光電変換部で変換された電荷を蓄積する蓄積時間と、前記第２光電変換部で変換された電荷を蓄積する蓄積時間とが異なる蓄積時間になるように前記第１転送部と前記第２転送部とを制御する、
撮像素子。
前記第１光電変換部で変換された電荷を転送する第１転送部と、
前記第２光電変換部で変換された電荷を転送する第２転送部と
を備え、
前記走査回路部は、前記第１光電変換部で変換された電荷を蓄積する蓄積時間と、前記第２光電変換部で変換された電荷を蓄積する蓄積時間とが異なる蓄積時間になるように前記第１転送部と前記第２転送部とを制御する、
撮像素子。
【請求項6】
請求項５に記載の撮像素子において、
前記走査回路部と前記第１転送部とを電気的に接続する配線であって、前記第１転送部を制御する制御信号が出力される第１転送制御線と、
前記走査回路部と前記第２転送部とを電気的に接続する配線であって、前記第２転送部を制御する制御信号が出力される第２転送制御線と
を備える撮像素子。
前記走査回路部と前記第１転送部とを電気的に接続する配線であって、前記第１転送部を制御する制御信号が出力される第１転送制御線と、
前記走査回路部と前記第２転送部とを電気的に接続する配線であって、前記第２転送部を制御する制御信号が出力される第２転送制御線と
を備える撮像素子。
【請求項7】
請求項６に記載の撮像素子において、
前記第１光電変換部と前記第２光電変換部とは、前記第１マイクロレンズからの光が入射する第１面と、前記第１面とは反対側の第２面とを有する受光層に配置され、
前記第１転送制御線と前記第２転送制御線とは、前記受光層の前記第２面側に配置される、
撮像素子。
前記第１光電変換部と前記第２光電変換部とは、前記第１マイクロレンズからの光が入射する第１面と、前記第１面とは反対側の第２面とを有する受光層に配置され、
前記第１転送制御線と前記第２転送制御線とは、前記受光層の前記第２面側に配置される、
撮像素子。
【請求項8】
請求項７に記載の撮像素子において、
前記第１転送部と前記第２転送部とは、前記受光層の前記第２面側に配置される、
撮像素子。
前記第１転送部と前記第２転送部とは、前記受光層の前記第２面側に配置される、
撮像素子。
【請求項9】
請求項１から請求項８のいずれか一項に記載の撮像素子において、
前記第１光電変換部で変換された電荷が転送される第１電荷電圧変換部と、
前記第２光電変換部で変換された電荷が転送される第２電荷電圧変換部と
を備える撮像素子。
前記第１光電変換部で変換された電荷が転送される第１電荷電圧変換部と、
前記第２光電変換部で変換された電荷が転送される第２電荷電圧変換部と
を備える撮像素子。
【請求項10】
請求項９に記載の撮像素子において、
前記第１電荷電圧変換部の電位をリセットする第１リセット部と、
前記第２電荷電圧変換部の電位をリセットする第２リセット部と
を備える撮像素子。
前記第１電荷電圧変換部の電位をリセットする第１リセット部と、
前記第２電荷電圧変換部の電位をリセットする第２リセット部と
を備える撮像素子。
【請求項11】
請求項１から請求項１０のいずれか一項に記載の撮像素子において、
前記第２光電変換部の受光面積は、前記第１光電変換部の受光面積とは異なる、
撮像素子。
前記第２光電変換部の受光面積は、前記第１光電変換部の受光面積とは異なる、
撮像素子。
【請求項12】
請求項１から請求項１１のいずれか一項に記載の撮像素子を備える撮像装置。
【請求項13】
請求項１２に記載の撮像装置において、
前記第１光電変換部で変換された電荷に基づく第１信号と、前記第２光電変換部で変換された電荷に基づく第２信号とを用いて画像データを生成する画像処理部と
を備える撮像装置。
前記第１光電変換部で変換された電荷に基づく第１信号と、前記第２光電変換部で変換された電荷に基づく第２信号とを用いて画像データを生成する画像処理部と
を備える撮像装置。
【請求項14】
請求項１３に記載の撮像装置において、
前記画像データを記憶媒体に記憶する記憶部を備える撮像装置。
前記画像データを記憶媒体に記憶する記憶部を備える撮像装置。
【請求項15】
請求項１３または請求項１４に記載の撮像装置において、
前記画像データの画像を表示する表示部を備える撮像装置。
前記画像データの画像を表示する表示部を備える撮像装置。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、撮像素子及び撮像装置に関する。
【背景技術】
【0002】
１つの画素に複数の光電変換部を有するＣＭＯＳイメージセンサが知られている。（例えば、特許文献１参照）。１つの画素にある２つの光電変換部の蓄積時間をそれぞれ変更して撮像を行うことは困難であった。
【先行技術文献】
【特許文献】
【0003】
【特許文献1】特開２００１－２５０９３１号公報
【発明の概要】
【課題を解決するための手段】
【0004】
本発明の一態様は、撮像素子である。撮像素子は、光が入射される複数のマイクロレンズを備える。撮像素子は、複数のマイクロレンズのうち第１マイクロレンズからの光を電荷に変換する第１光電変換部を備える。撮像素子は、第１マイクロレンズからの光を電荷に変換する第２光電変換部を備える。撮像素子は、第１光電変換部で変換された電荷を蓄積する蓄積時間と、第２光電変換部で変換された電荷を蓄積する蓄積時間とが異なる蓄積時間になるように制御する走査回路部を備える。
【0005】
本発明の一態様は、撮像装置である。撮像装置は、上記態様の撮像素子を備える。
【図面の簡単な説明】
【0006】
【図1】実施形態に係る撮像素子を示す図である。
【図2】実施形態に係る撮像素子の回路構成を示す図である。
【図3】実施形態に係る撮像素子の動作の一例を示すタイミングチャートである。
【図4】実施形態に係る撮像素子の動作の他の例を示すタイミングチャートである。
【図5】実施形態に係る撮像素子の複数の光電変換部の他の例を示す図である。
【図6】実施形態に係る撮像素子の回路構成を示す図である。
【図7】実施形態に係る撮像素子の動作の一例を示すタイミングチャートである。
【図8】実施形態に係る撮像装置を示すブロック図である。
【図9】実施形態に係る撮像装置の動作の一例を示すフローチャートである。
【発明を実施するための形態】
【0007】
［第１実施形態］
図１（Ａ）は、本実施形態に係る撮像素子１を示す平面図、図１（Ｂ）は、画素を拡大して示す平面図、図１（Ｃ）は図１（Ｂ）のＡ－Ａ線断面図である。図１（Ａ）に示すように、撮像素子１は、画素領域１ａに配列された複数の画素Ｐを有する。複数の画素Ｐは、格子状に二次元的に配列されている。画素Ｐの配列方向うち、一方は水平走査方向と呼ばれ、他方は垂直走査方向と呼ばれる。本実施形態において、水平走査方向と垂直走査方向のそれぞれに垂直な方向を、適宜、画素領域１ａ（撮像素子１）の法線方向という。撮像素子１は概ね板状であり、画素領域１ａの法線方向は、撮像素子１の厚み方向に相当する。
図１（Ａ）は、本実施形態に係る撮像素子１を示す平面図、図１（Ｂ）は、画素を拡大して示す平面図、図１（Ｃ）は図１（Ｂ）のＡ－Ａ線断面図である。図１（Ａ）に示すように、撮像素子１は、画素領域１ａに配列された複数の画素Ｐを有する。複数の画素Ｐは、格子状に二次元的に配列されている。画素Ｐの配列方向うち、一方は水平走査方向と呼ばれ、他方は垂直走査方向と呼ばれる。本実施形態において、水平走査方向と垂直走査方向のそれぞれに垂直な方向を、適宜、画素領域１ａ（撮像素子１）の法線方向という。撮像素子１は概ね板状であり、画素領域１ａの法線方向は、撮像素子１の厚み方向に相当する。
【0008】
図１（Ｂ）に示すように、画素領域１ａには、光を遮る遮光部２が設けられている。遮光部２は、例えばブラックマトリクスである。遮光部２は、格子状に形成されており、水平走査方向および垂直走査方向のそれぞれに延びている。遮光部２に囲まれる領域は、光が通る画素開口Ｐａになっている。本実施形態において、画素Ｐは、図１の画素領域１ａの法線方向から見た場合に遮光部２の中心線に囲まれる領域であり、画素開口Ｐａとその周囲の遮光部２を含む。
【0009】
複数の画素Ｐのそれぞれには、光電変換部３および光電変換部４が設けられている。画素領域１ａの法線方向から見た場合に、１つの画素開口Ｐａの内側には、光電変換部３の少なくとも一部および光電変換部４の少なくとも一部が配置される。光電変換部３および光電変換部４は、それぞれ、画素開口Ｐａを通った光を電荷に変換する。
【0010】
本実施形態において、撮像素子１はフルカラー画像を撮像可能である。複数の画素Ｐは、赤色画素Ｒ、緑色画素Ｇｒ、緑色画素Ｇｂ、及び青色画素Ｂを含む。図１（Ｂ）では画素Ｐの配列がベイヤー配列であり、水平走査方向において、赤色画素Ｒと緑色画素Ｇｒとが交互に並び、緑色画素Ｇｂと青色画素Ｂとが交互に並んでいる。また、垂直走査方向において、赤色画素Ｒと緑色画素Ｇｂとが交互に並び、緑色画素Ｇｒと青色画素Ｂとが交互に並んでいる。本実施形態において、各色画素内に光電変換部３および光電変換部４が設けられている。
【0011】
撮像素子１は、互いに積層された撮像部５、信号処理部６、及び記憶部７を備える。信号処理部６は、記憶部７に積層され、図示しない導電性のバンプ等により記憶部７と電気的に接続される。撮像部５は、信号処理部６に積層され、図示しない導電性のバンプ等により信号処理部６と電気的に接続される。
【0012】
撮像部５は、例えば裏面照射型のＣＭＯＳイメージセンサである。撮像部５は、素子層１１、受光層１２、カラーフィルタ層１３、及びレンズ層１４を含む。これら各層の間には、図示しないパシベーション膜、平坦化膜、反射防止膜などが設けられる場合がある。撮像部５は、撮像を行う際に、レンズ層１４を撮像対象に向けて配置される。撮像対象からの光は、レンズ層１４およびカラーフィルタ層１３を介して、受光層１２に入射する。
【0013】
レンズ層１４は、カラーフィルタ層１３に積層されている。レンズ層１４は、例えばマイクロレンズアレイであり、複数のレンズ要素１４ａを含む。レンズ要素１４ａは、例えば、画素Ｐと１対１で対応しており、画素Ｐごとに設けられる。レンズ要素１４ａの光軸１４ｂは、例えば、画素開口Ｐａ（画素Ｐ）の中心を通るように設定される。複数のレンズ要素１４ａのそれぞれは、その外部から入射した光を、このレンズ要素１４ａが設けられている画素Ｐの受光層１２に集光する。
【0014】
カラーフィルタ層１３は、受光層１２に積層されている。カラーフィルタ層１３は、第１フィルタ１５、第２フィルタ１６、及び遮光部２を含む。第１フィルタ１５は、赤色画素Ｒの画素開口Ｐａに設けられている。第１フィルタ１５は、赤の波長帯の光が透過し、赤の波長帯以外の光を吸収する。赤の波長帯は、例えば、７００ｎｍを含み、６２０ｎｍ以上７５０ｎｍ以下の波長帯である。第２フィルタ１６は、緑色画素Ｇｒの画素開口Ｐａに設けられている。第２フィルタ１６は、緑の波長帯の光が透過し、緑の波長帯以外の光を吸収する。緑の波長帯は、例えば、５４６．１ｎｍを含み、４９５ｎｍ以上５７０ｎｍ以下の波長帯である。
【0015】
なお、図１（Ｃ）には図示しないが、緑色画素Ｇｂの画素開口Ｐａには、第２フィルタ１６が設けられ、青色画素Ｂの画素開口Ｐａには第３フィルタが設けられる。第３フィルタは、青の波長帯の光が透過し、青の波長帯以外の光を吸収する。青の波長帯は、例えば、４３５．８ｎｍを含み、４５０ｎｍ以上４９５ｎｍ以下の波長帯である。
【0016】
遮光部２は、光電変換部３および光電変換部４が感度を有する波長帯の光を吸収する。例えば、可視光カメラなどに用いられる撮像素子１の場合、遮光部２は、３８０ｎｍ以上７８０ｎｍ以下の波長帯の光を吸収する材料で形成される。遮光部２は、例えば、隣り合う２画素間のクロストークを抑制するように、設けられる。例えば、遮光部２は、画素Ｐの画素開口Ｐａを通った光のうち、別の画素Ｐの受光層１２へ向かう光を遮光するように厚みなどが設定される。
【0017】
受光層１２は、素子層１１に積層されている。受光層１２は、光電変換部３および光電変換部４を含む。光電変換部３および光電変換部４は、例えばフォトダイオードを含むが、光を電荷に変換するものであればよく、例えばフォトトランジスタを含んでいてもよい。図１（Ｃ）において、光電変換部４は、レンズ要素１４ａの光軸および垂直走査方向に平行な面（水平走査方向に垂直な面）に関して、光電変換部３と対称的に設けられている。
【0018】
光電変換部４は、同一の画素Ｐの光電変換部３の近傍に設けられている。例えば、同一の画素Ｐにおける光電変換部３と光電変換部４との間隔ｄ１は、光電変換部３と隣の画素Ｐの光電変換部４との間隔ｄ２よりも狭く設定されるが、間隔ｄ２と同じに設定されていてもよいし、間隔ｄ２よりも長く設定されていてもよい。
【0019】
光電変換部３と光電変換部４は、互いに絶縁とされている。例えば、同一の画素Ｐにおける光電変換部３と光電変換部４との間では、例えば、ＰＮ接合により電荷の移動が抑制されている。また、光電変換部３と隣の画素Ｐの光電変換部４との間には、例えば、ＬＯＣＯＳ法などで形成される酸化膜、トレンチ構造などの絶縁部が設けられる。なお、同一の画素Ｐにおける光電変換部３と光電変換部４との間の構造と、光電変換部３と隣の画素Ｐの光電変換部４との間の構造とが同じであってもよい。
【0020】
素子層１１は、受光層１２に対する光の入射側と反対側に設けられている。素子層１１には、光電変換部３および光電変換部４のそれぞれから電荷を読み出すための回路（後に図２などに示す）が設けられる。また、素子層１１には、光電変換部３と光電変換部４の少なくとも一方から読み出された電荷を元に信号を生成する回路が設けられる場合がある。これら回路は、例えば、トランジスタなどのスイッチング素子、各種配線、容量、及び端子の電子部品の少なくとも一つを含む。これら回路は、例えば、層間絶縁膜およびビアを利用した多層構造に形成される。なお、これら回路を構成する電子部品の少なくとも一部は、受光層１２に設けられていてもよいし、受光層１２とレンズ層１４との間に設けられていてもよい。
【0021】
信号処理部６は、撮像部５を向く第１面６ａ、及び記憶部７を向く第２面６ｂを有する。第１面６ａおよび第２面６ｂの少なくとも一方には、撮像部５から出力された信号を処理する回路（図示略）が設けられる。また、第１面６ａおよび第２面６ｂの少なくとも一方には、再配線などに用いられる引き回し配線が設けられる場合がある。信号処理部６には、第１面６ａ側と第２面６ｂ側とを電気的に接続する導電部が設けられる。この導電部は、例えばＴＳＶ（Ｔｈｒｏｕｇｈ－Ｓｉｌｉｃｏｎ Ｖｉａ；シリコン貫通電極）を含み、第１面６ａと第２面６ｂとの間で信号を伝達可能である。記憶部７は、例えば、不揮発性メモリと揮発性メモリの少なくとも一方を含み、信号処理部６が処理した信号を記憶する。
【0022】
なお、信号処理部６は、撮像部５と積層される代わりに、例えば図１に示した画素領域１ａの周囲などに設けられていてもよい。また、撮像素子１は、信号処理部６と記憶部７の少なくとも一部を含んでいなくてもよい。信号処理部６と記憶部７の少なくとも一部は、撮像素子１の外部の装置に設けられていてもよい。この外部の装置は、例えば、撮像素子１が実装されるカメラ、測定装置などの装置に設けられていてもよい。
【0023】
図２は、本実施形態に係る撮像素子１の回路構成を示す図である。図２には、１画素分の等価回路図を示した。撮像素子１は、画素Ｐの光電変換部３に蓄積される電荷に基づく第１出力信号を読み出す第１回路系、及び画素Ｐの光電変換部４に蓄積される電荷に基づく第２出力信号を読み出す第２回路系を含む。
【0024】
まず、第１回路系について説明する。第１回路系は、転送部２１、転送制御線２２、電荷電圧変換部２３、リセット部２４、リセット制御線２５、選択部２６、選択制御線２７、増幅部２８、電源線２９、及び垂直信号線３０を含む。転送部２１、リセット部２４、選択部２６、及び増幅部２８は、それぞれ、ｎ型ＭＯＳトランジスタなどのスイッチング素子を含む。
【0025】
光電変換部３は、そのアノードが接地され、そのカソードが転送部２１のソースに接続されている。転送部２１は、光電変換部３から電荷を転送することに使われる。転送部２１のドレインは、ノード３１と電気的に接続されている。転送部２１のゲートは、転送制御線２２に接続されている。転送制御線２２は、転送部２１のゲートに制御信号ＴＸ１を伝えることが可能である。
【0026】
電荷電圧変換部２３は、例えばフローティングディフュージョンであり、転送部２１からの電荷を電圧に変換する。電荷電圧変換部２３は、容量３２を含む。容量３２は、その第１電極が接地され、その第２電極がノード３１に接続されている。なお、容量３２は、ノード３１に接続される容量の少なくとも一部を含んでいてもよい。ノード３１に接続される容量は、例えば、転送部２１のドレインの容量、ノード３１に接続される配線と他の配線とのカップリング容量、及びリセット部２４のソースの容量を含む。
【0027】
リセット部２４は、電荷電圧変換部２３が変換した電圧をリセットする。リセット部２４のソースは、ノード３１に接続されている。リセット部２４のドレインは、基準電位（接地電位）に対して所定の電位が供給される電源線２９と接続されている。リセット部２４のゲートは、リセット制御線２５に接続されている。リセット制御線２５は、リセット部２４のゲートに制御信号ＲＳＴ１を伝えることが可能である。
【0028】
選択部２６は、図１に示した垂直走査線方向に並ぶ複数の画素Ｐのうち信号を読み出す画素Ｐを選択することに使われる。選択部２６のソースは、電源線２９に接続されている。選択部２６のドレインは、増幅部２８のソースに接続されている。選択部２６のゲートは、選択制御線２７に接続されている。選択制御線２７は、選択部２６のゲートに制御信号ＳＥＬを伝えることができる。
【0029】
増幅部２８は、電荷電圧変換部２３が変換した電圧を増幅する。増幅部２８のソースは、選択部２６を介して電源線２９と接続されている。増幅部２８のソースには、選択部２６および電源線２９を介して、電源電圧ＶＤＤを供給可能である。増幅部２８のドレインは、垂直信号線３０と接続されている。増幅部２８のゲートは、ノード３１に接続されている。
【0030】
次に、画素Ｐの光電変換部４に蓄積される電荷に基づく第２出力信号を読み出す第２回路系について説明する。第２回路系は、転送部４１、転送制御線４２、電荷電圧変換部４３、リセット部４４、リセット制御線４５、選択部４６、増幅部４７、選択制御線２７、電源線２９、及び垂直信号線４８を含む。転送部４１、リセット部４４、選択部４６、及び増幅部４７は、それぞれ、ｎ型ＭＯＳトランジスタなどのスイッチング素子を含む。
【0031】
光電変換部４は、そのアノードが接地され、そのカソードが転送部４１のソースに接続されている。転送部４１は、光電変換部４から電荷を転送することに使われる。転送部４１のドレインは、ノード５０と電気的に接続されている。転送部４１のゲートは、転送制御線４２に接続されている。転送制御線４２は、転送制御線２２と別に設けられており、転送制御線２２と絶縁されている。転送制御線４２は、転送部４１のゲートに制御信号ＴＸ２を伝えることが可能である。
【0032】
電荷電圧変換部４３は、例えばフローティングディフュージョンであり、転送部４１からの電荷を電圧に変換する。電荷電圧変換部４３は、容量４９を含む。容量４９は、その第１電極が接地され、その第２電極がノード５０に接続されている。なお、容量４９は、ノード５０に接続される容量の少なくとも一部を含んでいてもよい。ノード５０に接続される容量は、例えば、転送部４１のドレインの容量、ノード５０に接続される配線と他の配線とのカップリング容量、及びリセット部４４のソースの容量を含む。
【0033】
リセット部４４は、電荷電圧変換部４３が変換した電圧をリセットする。リセット部４４のソースは、ノード５０に接続されている。リセット部４４のドレインは、電源線２９と接続されている。リセット部４４のゲートは、リセット制御線４５に接続されている。リセット制御線４５は、リセット部４４のゲートに制御信号ＲＳＴ２を伝えることが可能である。
【0034】
選択部４６のソースは、電源線２９に接続されている。選択部４６のドレインは、増幅部４７のソースに接続されている。選択部４６のゲートは、選択制御線２７に接続されている。選択制御線２７は、選択部４６のゲートに制御信号ＳＥＬを伝えることができる。
【0035】
増幅部４７は、電荷電圧変換部４３が変換した電圧を増幅する。増幅部４７のソースは、選択部４６を介して電源線２９と接続されている。増幅部４７のソースには、選択部４６および電源線２９を介して、電源電圧ＶＤＤを供給可能である。増幅部４７のドレインは、垂直信号線３０と接続されている。増幅部４７のゲートは、ノード５０に接続されている。
【0036】
ここでは、図１に示した複数の画素Ｐのうち１画素分の回路構成について説明したが、複数の画素Ｐはいずれも同様の回路構成である。例えば、転送制御線２２は、概ね水平走査方向に延びており、垂直走査方向に周期的に並んでいる。複数の転送制御線２２は、それぞれ、水平走査方向に並ぶ２つ以上の画素Ｐのそれぞれの転送部２１のゲートと接続されている。また、転送制御線４２は、概ね水平走査方向に延びており、垂直走査方向に周期的に並んでいる。複数の転送制御線４２は、それぞれ、水平走査方向に並ぶ２つ以上の画素Ｐのそれぞれの転送部４１のゲートと接続されている。
【0037】
また、リセット制御線２５は、概ね水平走査方向に延びており、垂直走査方向に周期的に並んでいる。複数のリセット制御線２５は、それぞれ、水平走査方向に並ぶ２つ以上の画素Ｐのそれぞれのリセット部２４のゲートと接続されている。また、リセット制御線４５は、概ね水平走査方向に延びており、垂直走査方向に周期的に並んでいる。複数のリセット制御線４５は、それぞれ、水平走査方向に並ぶ２つ以上の画素Ｐのそれぞれのリセット部４４のゲートと接続されている。
【0038】
また、選択制御線２７は、概ね水平走査方向に延びており、垂直走査方向に周期的に並んでいる。複数の選択制御線２７は、それぞれ、水平走査方向に並ぶ２つ以上の画素Ｐのそれぞれの選択部２６のゲート及び選択部４６のゲートと接続されている。また、電源線２９は、２つ以上の画素Ｐのそれぞれの、選択部２６のソース、選択部４６のソース、リセット部２４のソース、リセット部４４のソースと接続されている。また、垂直信号線３０は、概ね垂直走査方向に延びており、水平走査方向に周期的に並んでいる。複数の垂直信号線３０は、それぞれ、垂直走査方向に並ぶ２つ以上の画素Ｐのそれぞれの増幅部４７のドレインと接続されている。
【0039】
本実施形態において、転送制御線２２および転送制御線４２は、図１（Ｃ）に示した素子層１１に設けられている。すなわち、転送制御線２２および転送制御線４２は、光電変換部３および光電変換部４に対して光の入射側と反対側に配置されている。また、リセット制御線２５、リセット制御線４５、選択制御線２７、電源線２９、及び垂直信号線３０も同様に、光電変換部３および光電変換部４に対して光の入射側と反対側に配置されている。
【0040】
なお、転送制御線２２、転送制御線４２、リセット制御線２５、リセット制御線４５、選択制御線２７、電源線２９、及び垂直信号線３０の少なくとも一部は、光電変換部３および光電変換部４に対して光の入射側と同じ側に配置されていてもよい。これら配線の少なくとも一部は、図１（Ｃ）に示した受光層１２に設けられていてもよいし、受光層１２とレンズ層１４との間に設けられていてもよい。
【0041】
撮像素子１には、垂直走査回路５１、水平走査回路５２、定電流源５３、及び定電流源５４が設けられている。垂直走査回路５１は、複数の画素Ｐのそれぞれから電荷に基づく信号を読み出すための制御信号を供給する。
【0042】
まず、光電変換部３に蓄積される電荷に基づく第１出力信号を読み出す動作の一例について説明する。垂直走査回路５１は、選択制御線２７に制御信号ＳＥＬを供給する。垂直走査回路５１が、選択制御線２７に対する制御信号ＳＥＬをＨレベル（ハイレベル）にすると、この選択制御線２７に接続されている選択部２６のソースとドレインの間および選択部４６のソースとドレインの間が通電可能な状態（以下、オン状態という）になる。これにより、増幅部２８のソースには、電源線２９および選択部２６を介して電源電圧ＶＤＤが供給される。
【0043】
なお、選択部２６は、他の行の画素Ｐからの電荷を読み出す際には、選択制御線２７に対する制御信号ＳＥＬがＬレベル（ローレベル）に設定されることにより、選択部２６のソースとドレインの間が通電不能な状態（以下、オフ状態という）になる。また、垂直走査回路５１は、垂直信号線３０よりも信号伝達の下流側に配置される回路（例、後述するアンプ５５）の動作中などに、選択部２６をオフ状態にすることもできる。この場合には、垂直信号線３０から増幅部２８へのノイズの伝達を抑制できる。
【0044】
また、垂直走査回路５１は、転送制御線２２に制御信号ＴＸ１を供給する。垂直走査回路５１が、転送制御線２２に対する制御信号ＴＸ１をＨレベルにすると、この転送制御線２２に接続されている転送部２１がオン状態になり、光電変換部３に蓄積された電荷が電荷電圧変換部２３へ転送される。容量３２は、光電変換部３から転送部２１を介して転送される電荷により充電され、その第１電極と第２電極との間の電圧が電荷に応じた電圧になる。この電圧がノード３１を介して増幅部２８のゲートに印加され、増幅部２８のソースとドレインとの間の抵抗値が、増幅部２８のゲートに印加される電圧に応じた値になる。また、増幅部２８のソースとドレインとの間には、そのソースに電源線２９および選択部２６を介して印加される所定電圧、及び増幅部２８のソースとドレインとの間の抵抗値に応じた電流（信号）が流れる。この信号は、垂直信号線３０を介して、垂直走査回路５１に出力される。
【0045】
また、垂直走査回路５１は、リセット制御線２５に制御信号ＲＳＴ１を供給する。垂直走査回路５１が、リセット制御線２５に対する制御信号ＲＳＴ１をＨレベルにすると、このリセット制御線２５に接続されているリセット部２４がオン状態になり、電荷電圧変換部２３の容量３２に蓄積された電荷が、リセット部２４および電源線２９を介して放電される。
【0046】
次に、光電変換部４に蓄積される電荷に基づく第２出力信号を読み出す動作の一例について説明する。垂直走査回路５１が、転送制御線２２に対する制御信号ＴＸ１をＨレベルにすると、増幅部４７のソースには、電源線２９および選択部４６を介して電源電圧ＶＤＤが供給される。垂直走査回路５１は、転送制御線４２に制御信号ＴＸ２を供給する。垂直走査回路５１が、転送制御線４２に対する制御信号ＴＸ２をＨレベルにすると、この転送制御線４２に接続されている転送部４１がオン状態になり、光電変換部４に蓄積された電荷が電荷電圧変換部４３へ転送される。
【0047】
容量４９は、光電変換部４から転送部４１を介して転送される電荷により充電され、その第１電極と第２電極との間の電圧が電荷に応じた電圧になる。この電圧がノード５０を介して増幅部４７のゲートに印加され、増幅部４７のソースとドレインとの間の抵抗値が、増幅部４７のゲートに印加される電圧に応じた値になる。また、増幅部４７のソースとドレインとの間には、そのソースに電源線２９および選択部４６を介して印加される所定電圧、及び増幅部４７のソースとドレインとの間の抵抗値に応じた電流（信号）が流れる。この信号は、垂直信号線４８を介して、垂直走査回路５１に出力される。
【0048】
また、垂直走査回路５１は、リセット制御線４５に制御信号ＲＳＴ２を供給する。垂直走査回路５１が、リセット制御線４５に対する制御信号ＲＳＴ２をＨレベルにすると、このリセット制御線４５に接続されているリセット部４４がオン状態になり、電荷電圧変換部４３の容量４９に蓄積された電荷が、リセット部４４および電源線２９を介して放電される。
【0049】
本実施形態において、垂直信号線３０には定電流源５３が接続されており、垂直信号線４８には定電流源５４が接続されている。選択部２６がオン状態である場合に、増幅部２８と、選択部２６と、垂直信号線３０に接続された定電流源５３とにより、ソースフォロア回路が構成される。この場合、垂直信号線３０には、選択部２６により選択された行に属する画素Ｐの信号が出力される。同様に、選択部４６がオン状態である場合に、増幅部４７と、選択部４６と、垂直信号線４８に接続された定電流源５４とにより、ソースフォロア回路が構成される。
【0050】
水平走査回路５２は、複数の画素Ｐのそれぞれから出力された信号を所定形式の画像データに変換する。水平走査回路５２は、相関二重サンプリング（Ｃｏｒｒｅｌａｔｅｄ Ｄｏｕｂｌｅ Ｓａｍｐｌｉｎｇ）により、画素Ｐから出力される信号のノイズを低減する。
【0051】
水平走査回路５２は、アンプ５５、アンプ５６、及び図示しないアナログデジタル変換器を含む。アンプ５５は、光電変換部３からの出力に応じた信号を増幅する増幅部である。アンプ５５は、例えばカラムアンプなどであり、垂直信号線３０ごとに設けられる。アンプ５５は、垂直信号線３０を介して出力される信号を増幅する。アンプ５６は、光電変換部４からの出力に応じた信号を増幅する増幅部である。アンプ５６は、例えばカラムアンプなどであり、垂直信号線４８ごとに設けられる。アンプ５６は、垂直信号線４８を介して出力される信号を増幅する。
【0052】
本実施形態において、アンプ５５の増幅率（ゲイン）およびアンプ５６の増幅率は、それぞれ可変である。アンプ５５の増幅率は、アンプ５６の増幅率と同じ値または異なる値に設定できる。アンプ５５およびアンプ５６のそれぞれの増幅率は、例えば数十分の１から数十倍程度に設定できる。アンプ５５およびアンプ５６のそれぞれの増幅率を調整する場合に、アンプ５５の増幅率とアンプ５６の増幅率を連動させて調整してもよいし、アンプ５５の増幅率とアンプ５６の増幅率とを独立に調整してもよい。例えば、アンプ５５の増幅率とアンプ５６の増幅率の比は、一定であってもよいし、固定であってもよい。
【0053】
水平走査回路５２のアナログデジタル変換器は、アンプ５５およびアンプ５６のそれぞれから出力されるアナログ信号をデジタル信号に変換する。このデジタル信号は、例えば各画素Ｐの出力を８ビットで表した階調値（画素値）を含む。水平走査回路５２は、各画素Ｐの出力を表す画素値を画素配列に応じて配列し、所定のデータ形式で出力する。なお、水平走査回路５２は、定電流源５３および定電流源５４の少なくとも一部を含んでいてもよい。
【0054】
次に、光電変換部から電荷を読み出すタイミングについて説明する。図３は、撮像素子１の動作の一例を示すタイミングチャートである。
【0055】
撮像素子１は、起動してから最初の撮像を行うまでに、ダミー読み出しを行う。垂直走査回路５１は、図３に示すように、第１のフレームの期間よりも前の時刻ｔ１に、リセット制御線２５に対する制御信号ＲＳＴ１をＨレベルに設定し、リセット制御線４５に対する制御信号ＲＳＴ２をＨレベルに設定する。これにより、電荷電圧変換部２３の容量３２における電極間の電圧と、電荷電圧変換部４３の容量４９における電極間の電圧とがリセットされる。垂直走査回路５１は、時刻ｔ２において制御信号ＲＳＴ１および制御信号ＲＳＴ２をＬレベル（ローレベル）に設定する。垂直走査回路５１は、時刻ｔ３において、転送制御線２２に対する制御信号ＴＸ１をＨレベルに設定し、転送制御線４２に対する制御信号ＴＸ２をＨレベルにする。これにより、光電変換部３に電荷が蓄積されている場合には、この電荷が電荷電圧変換部２３へ転送される。また、光電変換部４に電荷が蓄積されている場合には、この電荷が電荷電圧変換部４３へ転送される。垂直走査回路５１は、時刻ｔ４において、制御信号ＴＸ１および制御信号ＴＸ２をＬレベルに設定する。
【0056】
ここでは、光電変換部３からのダミー読み出しを、光電変換部４からのダミー読み出しと並行して行うが、光電変換部３からのダミー読み出しと光電変換部４からのダミー読み出しとを重複しない期間に行ってもよい。例えば、垂直走査回路５１は、制御信号ＲＳＴ１をＨレベルにする期間と、制御信号ＲＳＴ２をＨレベルする期間とを、少なくとも一部が重複するように設定してもよいし、重複しないように設定してもよい。また、垂直走査回路５１は、制御信号ＴＸ１をＨレベルにする期間と、制御信号ＴＸ２をＨレベルする期間とを、少なくとも一部が重複するように設定してもよいし、重複しないように設定してもよい。
【0057】
撮像素子１は、時刻ｔ５において第１のフレームの撮像処理を開始する。垂直走査回路５１は、選択部２６に対する制御信号ＳＥＬをＨレベルに維持する。また、垂直走査回路５１は、時刻ｔ６から時刻ｔ７までの期間に、光電変換部３に対するリセット動作を行う。この期間において、垂直走査回路５１は、リセット制御線２５に対する制御信号ＲＳＴ１をＨレベルに設定した後にＬレベルに設定する。次に、垂直走査回路５１は、転送部２１に対する制御信号ＴＸ１をＨレベルに設定した後にＬレベルに設定する。ここでは、垂直走査回路５１は、制御信号ＲＳＴ１および制御信号ＴＸ１のそれぞれを、３つのパルス状に設定するが、パルスの数は１回、２回でもよいし、４回以上でもよい。時刻ｔ７に制御信号ＴＸ１がＬレベルに設定されてから、光電変換部３には露光量に応じた電荷が蓄積される。
【0058】
垂直走査回路５１は、時刻ｔ８から時刻ｔ１０までの期間に、光電変換部３からの電荷の読み出しを行う。垂直走査回路５１は、時刻ｔ８に制御信号ＲＳＴ１をＨレベルに設定した後にＬレベルに設定する。また、垂直走査回路５１は、時刻ｔ８よりも後の時刻ｔ９に制御信号ＴＸ１をＨレベルに設定し、時刻ｔ１０に制御信号ＴＸ１をＬレベルに設定する。第１のフレームの期間における光電変換部３に対する露光は、時刻ｔ９に終了する。光電変換部３は、時刻ｔ７から時刻ｔ９までの露光期間に蓄積した電荷を、転送部２１を介して電荷電圧変換部２３に出力する。また、増幅部２８は、電荷電圧変換部２３が変換した電圧に応じた信号を垂直信号線３０に出力する。
【0059】
本実施形態において、撮像素子１は、光電変換部３に対する露光期間の少なくとも一部と重複する期間に、光電変換部４に対する露光を行う。垂直走査回路５１は、第１のフレームの期間のうち時刻ｔ７よりも後の時刻ｔ１１から時刻ｔ１２の期間に、光電変換部４に対するリセット動作を行う。この期間において、垂直走査回路５１は、リセット制御線４５に対する制御信号ＲＳＴ２をＨレベルに設定した後にＬレベルに設定する。次に、垂直走査回路５１は、転送部４１に対する制御信号ＴＸ２をＨレベルに設定した後にＬレベルに設定する。ここでは、垂直走査回路５１は、制御信号ＲＳＴ２および制御信号ＴＸ２のそれぞれを、３つのパルス状に設定するが、パルスの数は１回、２回でもよいし、４回以上でもよい。時刻ｔ１２に制御信号ＴＸ２がＬレベルに設定されてから、光電変換部４には露光量に応じた電荷が蓄積される。
【0060】
垂直走査回路５１は、光電変換部４の露光期間が終了する際に、光電変換部４からの電荷の読み出しを行う。ここでは、垂直走査回路５１は、光電変換部３からの電荷の読み出しと並行して、光電変換部４からの電荷の読み出しを行う。垂直走査回路５１は、時刻ｔ８に制御信号ＲＳＴ２をＨレベルに設定した後にＬレベルに設定する。また、垂直走査回路５１は、時刻ｔ９に制御信号ＴＸ２をＨレベルに設定し、時刻ｔ１０に制御信号ＴＸ２をＬレベルに設定する。光電変換部４は、時刻ｔ１２から時刻ｔ９までの露光期間に蓄積した電荷を、転送部４１を介して電荷電圧変換部４３に出力する。また、増幅部４７は、電荷電圧変換部４３が変換した電圧に応じた信号を垂直信号線４８に出力する。
【0061】
以上のようにして、時刻ｔ１０において第１のフレームの期間が終了し、次の第２のフレームの期間が開始する。図３においては、第２のフレームの期間においても第１のフレームの期間と同様の動作が繰り返される。
【0062】
図３の例においては、第１のフレームの期間のうち、光電変換部３に電荷が蓄積される期間（時刻ｔ７から時刻ｔ９までの露光期間）は、光電変換部４に電荷が蓄積される期間（時刻ｔ１２から時刻ｔ９までの露光期間）よりも長く設定されている。
【0063】
このように、撮像素子１は、光電変換部３と光電変換部４とで露光期間の長さを異ならせて、光電変換部３に蓄積される電荷に基づく第１出力信号と、光電変換部４に蓄積される電荷に基づく第２出力信号とを生成できる。このような第１出力信号および第２出力信号を利用すると、露光期間の異なる２つの画像を生成することできる。これにより、例えば、ダイナミックレンジが広い画像を生成することができる。例えば、第１出力信号の露光期間が第２出力信号の露光期間よりも長い場合、第１出力信号を使って撮像対象のうち相対的に暗い暗部の画像を生成し、第２出力信号を使って撮像対象のうち相対的に明るい明部の画像を生成する。これら画像を合成することにより、明部の飽和を抑制しつつ暗部を明るく表すことができる。
【0064】
ところで、ダイナミックレンジを広げるには、１画素に配置される光電変換部の数が１つである撮像素子を用いて、露光時間が長いフレームと露光時間が短いフレームとを交互に繰り返す手法がある。この手法では、１フレームの画像を得るために、２フレーム使うことになり、フレームレートが遅くなる。また、他の手法として、露光時間を短くした画からの信号と、露光時間を長く設定した信号とを用いる手法がある。この手法では、画像の１画素を構成するために、２画素の信号を使うことになり、解像度が低下する。
【0065】
本実施形態においては、１画素に複数の光電変換部（光電変換部３および光電変換部４）が配置されているので、撮像画像の解像度を下げることなくダイナミックレンジを広げることができる。また、光電変換部３から電荷を転送するための転送部２１に制御信号ＴＸ１を伝える転送制御線２２は、光電変換部４から電荷を転送するための転送部４１に制御信号ＴＸ２を伝える転送制御線４２と別に設けられているので、光電変換部３に対する露光と光電変換部４に対する露光とを並行して行うことができ、フレームレートの低下を抑制できる。このような場合に、転送制御線２２および転送制御線４２を、光電変換部３および光電変換部４に対して光入射側の反対側に配置すると、光電変換部３と光電変換部４の受光面積が狭くなることを回避できる。なお、アンプ５５の増幅率とアンプ５６の増幅率との比を調整することにより、ダイナミックレンジを広げることもできる。
【0066】
ところで、図３において、光電変換部４に対する露光を終了する時刻ｔ９は、光電変換部３に対する露光を終了する時刻ｔ９とほぼ同じに設定されている。そのため、画素Ｐから信号を読み出す制御が複雑になることを避けることができる。
【0067】
図４は、撮像素子１の動作の他の例を示すタイミングチャートである。図４（Ａ）から図４（Ｄ）には、それぞれ、１フレームの期間分のタイミングチャートを示した。なお、図４（Ａ）から図４（Ｄ）のそれぞれにおいて、ここでは、光電変換部３から電荷を読み出す動作については、図３に示した例と同様であるので、その説明を省略あるいは簡略化する。
【0068】
図４（Ａ）において、光電変換部４に対する露光期間が終了する時刻は、光電変換部３に対する露光期間が終了する時刻と異なる時刻に設定されている。垂直走査回路５１は、時刻ｔ６から時刻ｔ７の期間に、光電変換部３のリセットと光電変換部４のリセットを並行して行う。時刻ｔ７において、光電変換部３に対する露光が開始するとともに、光電変換部４に対する露光が開始する。
【0069】
時刻ｔ１５において、垂直走査回路５１は、リセット部４４に対する制御信号ＲＳＴ２をＨレベルに設定した後にＬレベルに設定する。また、垂直走査回路５１は、時刻ｔ１６において、転送部４１に対する制御信号ＴＸ２をＨレベルに設定した後にＬレベルに設定する。第１のフレームの期間における光電変換部４に対する露光期間（電荷の蓄積期間）は、時刻ｔ７から時刻ｔ１６までの期間である。
【0070】
図４（Ｂ）において、光電変換部４に対する露光期間が開始する時刻は、光電変換部３に対する露光期間が開始する時刻と異なる時刻に設定されている。また、光電変換部４に対する露光期間が終了する時刻は、光電変換部３に対する露光期間が終了する時刻と異なる時刻に設定されている。垂直走査回路５１は、光電変換部３に対するリセットを開始する時刻ｔ６よりも後の時刻ｔ１７から時刻ｔ１８の期間に、光電変換部４のリセットを行う。光電変換部４に対する露光期間は、時刻ｔ１８に開始する。
【0071】
時刻ｔ１９において、垂直走査回路５１は、リセット部４４に対する制御信号ＲＳＴ２をＨレベルに設定した後にＬレベルに設定する。また、垂直走査回路５１は、時刻ｔ２０において、転送部４１に対する制御信号ＴＸ２をＨレベルに設定した後にＬレベルに設定する。第１のフレームの期間における光電変換部４に対する露光期間（電荷の蓄積期間）は、時刻ｔ１８から時刻ｔ２０までの期間である。ここでは、光電変換部４に対する露光期間は、その中心の時刻が光電変換部３に対する露光期間の中心の時刻と一致するように、設定されていている。
【0072】
図４（Ｃ）において、光電変換部４に対する露光期間が複数設定されている。垂直走査回路５１は、時刻ｔ６から時刻ｔ７の期間に、光電変換部４のリセットを行う。光電変換部４に対する第１の露光期間は、時刻ｔ７に開始する。また、時刻ｔ２１において、垂直走査回路５１は、リセット部４４に対する制御信号ＲＳＴ２をＨレベルに設定した後にＬレベルに設定する。また、垂直走査回路５１は、時刻ｔ２２において、転送部４１に対する制御信号ＴＸ２をＨレベルに設定した後にＬレベルに設定する。第１のフレームの期間における光電変換部４に対する第１の露光期間は、時刻ｔ７から時刻ｔ２２までの期間である。次に、垂直走査回路５１は、時刻ｔ２３から時刻ｔ２４の期間に、光電変換部４のリセットを行う。光電変換部４に対する第２の露光期間は、時刻ｔ２４に開始する。垂直走査回路５１は、時刻ｔ８において、リセット部４４に対する制御信号ＲＳＴ２をＨレベルに設定した後にＬレベルに設定する。また、垂直走査回路５１は、時刻ｔ９において、転送部４１に対する制御信号ＴＸ２をＨレベルに設定した後にＬレベルに設定する。第１のフレームの期間における光電変換部４に対する第２の露光期間は、時刻ｔ２４から時刻ｔ９までの期間である。
【0073】
なお、１フレームにおける光電変換部４に対する第１の露光期間の長さは、第２の露光期間と同じ長さに設定されていてもよいし、第２の露光期間と異なる長さに設定されていてもよい。このように１フレームの期間に複数回数の露光を行う場合に、第１の露光期間において光電変換部４に蓄積された電荷に基づく信号と、第２の露光期間において光電変換部４に蓄積された電荷に基づく信号とを使って、例えばこれら信号の平均化などの演算を行ってもよい。また、光電変換部４に対する第１の露光期間の長さと第２の露光期間の長さが異なる場合、第１の露光期間において光電変換部４に蓄積された電荷に基づく信号と、第２の露光期間において光電変換部４に蓄積された電荷に基づく信号と、このフレームの期間に光電変換部３に蓄積された電荷に基づく信号とを使って、ダイナミックレンジをさらに広げることもできる。
【0074】
図４（Ｄ）において、光電変換部４に対する露光期間は、光電変換部３に対する露光期間と同じ長さに設定されている。ここでは、光電変換部４に対する露光期間が開始する時刻ｔ７は、光電変換部３に対する露光期間が開始する時刻ｔ７と同じに設定されている。また、光電変換部４に対する露光期間が終了する時刻ｔ９は、光電変換部３に対する露光期間が終了する時刻ｔ９と同じに設定されている。
【0075】
光電変換部３と光電変換部４とで露光期間が同じ長さに設定されている場合に、第１のフレームの期間に光電変換部３に蓄積される電荷に基づく第１出力信号と、第１のフレームの期間に光電変換部４に蓄積される電荷に基づく第２出力信号とを使って、撮像素子１における合焦に関する情報を検出してもよい。例えば、第１出力信号と第２出力信号のレベルが同等である場合には、撮像素子１の受光層１２に焦点が合っていると判定してもよい。また、第１出力信号と第２出力信号の一方のレベルが他方のレベルよりも高い場合には、焦点が受光層１２よりも物体面側にある（前ピン）であると判定してもよい。また、第１出力信号と第２出力信号の一方のレベルが他方のレベルよりも低い場合には、受光層１２が焦点よりも物体面側にある（後ピン）であると判定してもよい。
【0076】
なお、光電変換部３と光電変換部４とで露光期間が異なる長さに設定されている場合に、第１出力信号および第２出力信号を使って、撮像素子１における合焦に関する情報を検出してもよい。この場合には、露光期間の長さをそろえた場合の信号のレベルの推定値を使って、光電変換部３と光電変換部４とで露光期間が同じ長さに設定されている場合と同様にして、合焦に関する情報を検出できる。露光期間の長さをそろえた場合の信号のレベルを推定値は、例えば、光電変換部４に対する露光期間の長さが光電変換部３に対する露光期間の半分である場合、第１出力信号のレベルを半分にすること、あるいは第２出力信号のレベルを２倍にすることで得られる。なお、第１出力信号のレベルを調整するには、図２に示したアンプ５５の増幅率を調整してもよく、第２出力信号のレベルを調整するには、アンプ５６の増幅率を調整してもよい。また、第１出力信号のレベルと第２出力信号のレベルの少なくとも一方を調整するには、図２に示した水平走査回路５２または外部の装置によって演算処理を行ってもよい。
【0077】
ところで、本実施形態において、１画素内に複数の光電変換部（光電変換部３および光電変換部４）が配置されている場合、複数の光電変換部の総受光面積と等しい受光面積を有する１つの光電変換部を用いる場合と比較して、光電変換部あたりの出力が小さくなる。そこで、第１出力信号あるいは第２出力のレベルが不足する場合には、アンプ５５あるいはアンプ５６の増幅率を調整することにより、第１出力信号あるいは第２出力信号のレベルを調整してもよい。例えば、アンプ５５の増幅率を２倍に設定すると、第１出力信号のレベルを、光電変換部３および光電変換部４の総受光面積と等しい受光面積を有する１つの光電変換部を用いた場合と同等のレベルにすることができる。
【0078】
なお、図３に示した例、図４（Ａ）から図４（Ｄ）に示した例は、組み合わせることができる。例えば、撮像素子１は、光電変換部３の露光時間と光電変換部４の露光時間を同じ長さにする第１モード（図４（Ｄ）参照）と、光電変換部３の露光時間と光電変換部４の露光時間を異なる長さに第２モードとを切り替え可能である。第１モードにおいて、垂直走査回路５１は、例えば、転送部２１に対する制御信号ＴＸ１の波形と転送部４１に対する制御信号ＴＸ２の波形を同じに設定する。また、第２モードにおいて、垂直走査回路５１は、例えば、転送部２１に対する制御信号ＴＸ１の波形と転送部４１に対する制御信号ＴＸ２の波形とを異なる波形に設定する。第２モードは、図３に示した例、図４（Ａ）から図４（Ｃ）に示した例のうち１種を含んでいてもよいし、２種以上の組み合わせを含んでいてもよい。
【0079】
なお、上述の例においては、光電変換部３に対する露光期間の長さは、光電変換部４に対する露光期間の長さ以上に設定されているが、光電変換部４に対する露光期間の長さ未満に設定されていてもよい。光電変換部３の露光時間と光電変換部４の露光時間のうち、一方の露光時間は、他方の露光時間の１／１０倍以上１倍以下に設定されていてもよいし、１／１０倍未満に設定されていてもよい。
【0080】
次に、１画素内に配置される複数の光電変換部の他の例について説明する。図５は、複数の光電変換部の他の例を示す図である。
【0081】
図５（Ａ）において、光電変換部３は、画素領域１ａの法線方向から見た場合に、光電変換部４と非対称に設けられている。光電変換部３の受光面積は、光電変換部４の受光面積よりも大きく設定されている。光電変換部３と光電変換部４とで受光面積が異なる場合には、ダイナミックレンジをさらに広げることもできる。このように、光電変換部３は、光電変換部４と形状と寸法の少なくとも一方が異なっていてもよい。
【0082】
図５（Ｂ）において、１画素内に光電変換部３、光電変換部４、及び光電変換部６０が設けられている。光電変換部３の受光面積は、光電変換部４の受光面積よりも大きく設定されている。光電変換部６０の受光面積は、光電変換部４の受光面積とほぼ同じに設定されている。光電変換部６０は、画素Ｐの中心線に関して、光電変換部４と対称的に設けられている。このように、１画素内に配置される光電変換部の数は３つでもよいし、４つ以上であってもよい。また、複数の光電変換部のうち、いずれかの光電変換部の形状と寸法の少なくとも一方は、他の光電変換部と同じであってもよいし、他の光電変換部と異なっていてもよい。
【0083】
このような撮像素子１を用いると、例えば、光電変換部４に蓄積される電荷に基づく第２出力信号と、光電変換部６０に蓄積される電荷に基づく第３出力信号とを使って、撮像素子１における合焦に関する情報を検出することもできる。また、光電変換部３に蓄積される電荷に基づく第１出力信号と、第２出力信号と、第３出力信号のうち少なくとも２つを使って、ダイナミックレンジを広げることもできる。
【0084】
［第２実施形態］
次に、第２実施形態について説明する。本実施形態において、上述の実施形態と同様の構成については、同じ符号を付してその説明を簡略化あるいは省略する。
次に、第２実施形態について説明する。本実施形態において、上述の実施形態と同様の構成については、同じ符号を付してその説明を簡略化あるいは省略する。
【0085】
図６は、本実施形態に係る撮像素子１の回路構成を示す図である。図６には、２画素分の等価回路図を示した。画素Ｐ１の回路構成については、上述の実施形態（図２参照）と同様である。画素Ｐ２は、画素Ｐ１の隣に配置されている画素である。例えば、画素Ｐが図１（Ｂ）の赤色画素Ｒであって、画素Ｐ２は緑色画素Ｇｂである。
【0086】
画素Ｐ２内には、画素Ｐ２には、光電変換部６１および光電変換部６２が設けられている。光電変換部６１および光電変換部６２は、例えばフォトダイオードを含むが、光を電荷に変換するものであればよく、例えばフォトトランジスタを含んでいてもよい。撮像素子１は、画素Ｐ２の光電変換部６１に蓄積される電荷に基づく出力信号を読み出す第３回路系、及び画素Ｐ２の光電変換部６２に蓄積される電荷に基づく出力信号を読み出す第４回路系を含む。
【0087】
まず、第３回路系について説明する。第３回路系は、転送部６３、転送制御線６４、電荷電圧変換部２３、リセット部２４、リセット制御線２５、選択部２６、選択制御線２７、増幅部２８、電源線２９、及び垂直信号線３０を含む。すなわち、第３回路系は、転送部６３および転送制御線６４を除く部分については、第１回路系と共用である。転送部６３は、例えば、ｎ型ＭＯＳトランジスタなどのスイッチング素子を含む。
【0088】
光電変換部６１は、そのアノードが接地され、そのカソードが転送部６３のソースに接続されている。転送部６３は、光電変換部６１から電荷を転送することに使われる。転送部６３のドレインは、ノード３１と電気的に接続されている。転送部６３のゲートは、転送制御線６４に接続されている。転送制御線６４は、転送部６３のゲートに制御信号ＴＸ３を伝えることが可能である。電荷電圧変換部２３は、転送部２１からの電荷を電圧に変換し、かつ転送部６３からの電荷を電圧に変換する。
【0089】
次に、第４回路系について説明する。第４回路系は、転送部６５、転送制御線６６、電荷電圧変換部４３、リセット部４４、リセット制御線４５、選択部４６、選択制御線２７、増幅部４７、電源線２９、及び垂直信号線３０を含む。すなわち、第４回路系は、転送部６５および転送制御線６６を除く部分については、第２回路系と共用である。転送部６５は、例えば、ｎ型ＭＯＳトランジスタなどのスイッチング素子を含む。
【0090】
光電変換部６２は、そのアノードが接地され、そのカソードが転送部６５のソースに接続されている。転送部６５は、光電変換部６２から電荷を転送することに使われる。転送部６５のドレインは、ノード５０と電気的に接続されている。転送部６５のゲートは、転送制御線６６に接続されている。転送制御線６６は、転送部６５のゲートに制御信号ＴＸ４を伝えることが可能である。電荷電圧変換部４３は、転送部４１からの電荷を電圧に変換し、かつ転送部６５からの電荷を電圧に変換する。
【0091】
本実施形態において、転送制御線６４および転送制御線６６は、図１（Ｃ）に示した素子層１１に設けられている。すなわち、転送制御線６４および転送制御線６６は、光電変換部６１および光電変換部６２に対して光の入射側と反対側に配置されている。なお、転送制御線６４および転送制御線６６の少なくとも一部は、光電変換部６１および光電変換部６２に対して光の入射側と同じ側に配置されていてもよい。これら配線の少なくとも一部は、図１（Ｃ）に示した受光層１２に設けられていてもよいし、受光層１２とレンズ層１４との間に設けられていてもよい。
【0092】
次に、光電変換部から電荷を読み出すタイミングについて説明する。図７は、撮像素子１の動作の一例を示すタイミングチャートである。
【0093】
撮像素子１は、起動してから最初の撮像を行うまでに、第１実施形態と同様にダミー読み出しを行う。また、撮像素子１は、第１のフレームの期間において、第１実施形態と同様に画素Ｐから信号の読み出しを行う。撮像素子１は、第１のフレームの期間に続く第２のフレームの期間において、画素Ｐ２から信号の読み出しを行う。
【0094】
撮像素子１は、時刻ｔ１０において第２のフレームの撮像処理を開始する。垂直走査回路５１は、選択部２６に対する制御信号ＳＥＬをＨレベルに維持する。また、垂直走査回路５１は、時刻ｔ３０から時刻ｔ３１までの期間に、光電変換部６１に対するリセット動作を行う。この期間において、垂直走査回路５１は、リセット制御線２５に対する制御信号ＲＳＴ１をＨレベルに設定した後にＬレベルに設定する。次に、垂直走査回路５１は、転送部２１に対する制御信号ＴＸ３をＨレベルに設定した後にＬレベルに設定する。時刻ｔ３１に制御信号ＴＸ３がＬレベルに設定されてから、光電変換部６１には露光量に応じた電荷が蓄積される。
【0095】
垂直走査回路５１は、時刻ｔ３２から時刻ｔ３３までの期間に、光電変換部６１からの電荷の読み出しを行う。垂直走査回路５１は、時刻ｔ３２に制御信号ＲＳＴ１をＨレベルに設定した後にＬレベルに設定する。また、垂直走査回路５１は、時刻ｔ３２よりも後の時刻ｔ３３に制御信号ＴＸ３をＨレベルに設定し、時刻ｔ３４に制御信号ＴＸ３をＬレベルに設定する。第２のフレームの期間における光電変換部３に対する露光は、時刻ｔ３３に終了する。光電変換部６１は、時刻ｔ３１から時刻ｔ３３までの露光期間に蓄積した電荷を、転送部６３を介して電荷電圧変換部２３に出力する。また、増幅部２８は、電荷電圧変換部２３が変換した電圧に応じた信号を垂直信号線３０に出力する。
【0096】
本実施形態において、撮像素子１は、光電変換部６１に対する露光期間の少なくとも一部と重複する期間に、光電変換部６２に対する露光を行うことができる。垂直走査回路５１は、第２のフレームの期間のうち時刻ｔ３１よりも後の時刻ｔ３５から時刻ｔ３６の期間に、光電変換部６２に対するリセット動作を行う。この期間において、垂直走査回路５１は、リセット制御線４５に対する制御信号ＲＳＴ２をＨレベルに設定した後にＬレベルに設定する。次に、垂直走査回路５１は、転送部６５に対する制御信号ＴＸ４をＨレベルに設定した後にＬレベルに設定する。時刻ｔ３６に制御信号ＴＸ４がＬレベルに設定されてから、光電変換部６２には露光量に応じた電荷が蓄積される。
【0097】
垂直走査回路５１は、光電変換部６２の露光期間が終了する際に、光電変換部６２からの電荷の読み出しを行う。ここでは、垂直走査回路５１は、光電変換部６１からの電荷の読み出しと並行して、光電変換部６２からの電荷の読み出しを行う。垂直走査回路５１は、時刻ｔ３２に制御信号ＲＳＴ２をＨレベルに設定した後にＬレベルに設定する。また、垂直走査回路５１は、時刻ｔ３３に制御信号ＴＸ４をＨレベルに設定し、時刻ｔ３４に制御信号ＴＸ４をＬレベルに設定する。光電変換部６２は、時刻ｔ３６から時刻ｔ３３までの露光期間に蓄積した電荷を、転送部６５を介して電荷電圧変換部４３に出力する。また、増幅部４７は、電荷電圧変換部４３が変換した電圧に応じた信号を垂直信号線４８に出力する。このようにして、時刻ｔ３４に第２のフレームの期間が終了し、次のフレームの期間が開始する。第２のフレームの期間の次のフレームの期間では、第１のフレームの期間と同様に、画素Ｐ１に対する露光と、画素Ｐ１からの信号の読み出しとが行われる。
【0098】
なお、上述の実施形態において、撮像素子１は、３つの波長帯の光を検出可能であるが、１つの波長帯の光（単色光）のみを検出するものであってもよいし、２つの波長帯の光のみ又は４つ以上の波長帯の光を検出するものであってもよい。また、画素配列は、ベイヤー配列でなくてもよく、任意に選択できる。また、撮像素子１は、不可視光領域に感度を有するものであってもよく、例えば赤外光と紫外光の少なくとも一方を検出するものであってもよい。
【0099】
なお、図２、図６に示した選択部２６および選択制御線２７は、省略可能である。選択部２６および選択制御線７２７が設けられていない場合には、転送部２１、転送部４１などをオン状態にするタイミングによって、画素Ｐから電荷を読み出すタイミングを制御できる。
【0100】
［第３実施形態］
次に、上述の実施形態で説明した撮像素子１を用いた撮像装置について説明する。図８は、本実施形態に係る撮像装置７０の構成を示すブロック図である。図８に示す撮像装置７０は、例えば、デジタルカメラ、スマートフォン、携帯電話、パーソナルコンピュータ、計測装置などの電子機器の少なくとも一部である。この撮像装置７０は、レンズ部７１、レンズ駆動部７２、撮像素子１、制御部７３、ワークメモリ７４、表示部７５、操作部７６、及び記録部７７を備える。
次に、上述の実施形態で説明した撮像素子１を用いた撮像装置について説明する。図８は、本実施形態に係る撮像装置７０の構成を示すブロック図である。図８に示す撮像装置７０は、例えば、デジタルカメラ、スマートフォン、携帯電話、パーソナルコンピュータ、計測装置などの電子機器の少なくとも一部である。この撮像装置７０は、レンズ部７１、レンズ駆動部７２、撮像素子１、制御部７３、ワークメモリ７４、表示部７５、操作部７６、及び記録部７７を備える。
【0101】
レンズ部７１は、例えば、複数のレンズを含む撮像光学系と、鏡筒とを備える。レンズ部７１の撮像光学系は、被写体からの光を集光し、撮像素子１へ導く。レンズ部７１の撮像光学系は、被写体の像を撮像素子１の受光層１２（図１（Ｃ）参照）に形成する。レンズ部７１は、撮像装置７０のうち少なくとも制御部７３を収容するボディと一体化されていてもよいし、このボディに対して着脱可能な交換式レンズであってもよい。レンズ部７１は、フォーカスレンズを含んでいてもよく、またズームレンズを含んでいてもよい。レンズ駆動部７２は、レンズ部７１のレンズを駆動し、レンズ部７１の焦点を調整する。
【0102】
制御部７３は、撮像装置７０の各部を制御する。制御部７３は、撮像制御部８０、画像処理部８１、及び焦点検出部８２を備える。
【0103】
撮像制御部８０は、撮像素子１に指令を送ることにより、撮像素子１に撮像処理を実行させる。例えば、撮像制御部８０は、図２などに示した撮像素子１の垂直走査回路５１に指令を送ることにより、各光電変換部に対する露光を開始するタイミングおよび露光を終了するタイミングを制御する。また、撮像制御部８０は、垂直走査回路５１に指令を送ることにより、各画素から水平走査回路５２へ信号を読み出すタイミングを制御する。また、撮像制御部８０は、撮像素子１に指令を送ることにより、撮像結果を制御部７３に出力（送信）させる。例えば、撮像制御部８０は、水平走査回路５２へ指令を送ることにより、水平走査回路５２から制御部７３へ撮像結果を出力させる。
【0104】
画像処理部８１は、撮像素子１からの撮像結果を取得し、各種画像処理を実行する。画像処理部８１は、ワークメモリ７４をワークスペースとして、各画素の画素信号からなるＲＡＷデータに対して画像処理を施し、画像データを生成する。ワークメモリ７４は、画像処理部８１による画像処理が行われる際に画像データなどを一時的に記憶する。
【0105】
本実施形態において、画像処理部８１は、光電変換部３に電荷が蓄積される電荷に基づく第１出力信号と、光電変換部４に電荷が蓄積される電荷に基づく第２出力信号とを使って、ダイナミックレンジを広げるＨＤＲ処理を行う。この場合、撮像制御部８０は、１フレームの期間のうち、光電変換部３に電荷が蓄積される期間（露光期間）と、光電変換部４に電荷が蓄積される期間（露光期間）とを、互いに異なる長さに設定する。
【0106】
例えば、撮像制御部８０は、図３に示したように、光電変換部３に対する露光期間を光電変換部４に対する露光期間よりも長く設定する。そして、画像処理部８１は、露光期間が長い（露光量が多い）第１出力信号を使って撮像対象のうち相対的に暗い暗部の画像を生成する。また、画像処理部８１は、露光期間が短い（露光量が少ない）第２出力信号を使って撮像対象のうち相対的に明るい明部の画像を生成する。画像処理部８１は、暗部の画像と明部の画像とを合成することにより、明部の飽和を抑えつつ暗部を明るく表した画像を生成する。
【0107】
なお、撮像装置７０は、ＨＤＲ処理を行って画像データを生成するモードと、ＨＤＲ処理を行わないで画像データを生成するモードとを切り替え可能である。ＨＤＲ処理を行わない場合、撮像制御部８０は、撮像制御部８０は、光電変換部３に電荷が蓄積される期間と、光電変換部４に電荷が蓄積される期間とを異なる長さに設定する。画像処理部８１は、例えば、光電変換部３に蓄積される電荷に基づく第１出力信号と、光電変換部４に蓄積される電荷に基づく第２出力信号とを足し合わせて、画像データを生成する。
【0108】
画像処理部８１は、上述のＨＤＲ処理の他にも種々の画像処理を実行できる。例えば、画像処理部８１は、ベイヤー配列で得られた信号に対して色信号処理（色調補正）を行うことによりＲＧＢ画像信号を生成する。また、画像処理部８１は、ＲＧＢ画像信号に対して、ホワイトバランス調整、シャープネス調整、ガンマ補正、階調調整などの画像処理を行う。また、画像処理部８１は、必要に応じて、所定の圧縮形式（ＪＰＥＧ形式、ＭＰＥＧ形式等）で圧縮する処理を行う。制御部７３は、画像処理部８１が生成した画像データを記録部７７に出力可能である。また、制御部７３は、画像処理部８１が生成した画像データを表示部７５に出力可能である。
【0109】
画像処理部８１は、例えば特開２０１０－１６６２１号公報（ＵＳ２０１０／０００２９４０号）に記載されているように、画像データから主要被写体を検出する処理を行う。ここで、「主要被写体」とは、撮像される対象物である被写体のうち、使用者（撮影者）に注目される被写体又は使用者に注目されると推定される被写体のことをいう。主要被写体は、画像データ中に１つだけ存在する場合に限らず、複数存在する場合もある。また、画像処理部８１は、例えば特開２０１０－１６６２１号公報（ＵＳ２０１０／０００２９４０号）に記載されているように、画像データに含まれる人体を主要被写体として検出する。
【0110】
画像処理部８１が画像処理を行う際に参照されるパラメータは、制御パラメータ（撮像条件）に含まれる。例えば、色信号処理（色調補正）、ホワイトバランス調整、階調調整、圧縮率などのパラメータが制御パラメータに含まれる。電荷の蓄積時間などに応じて撮像素子１から読み出される信号が変化し、その信号の変化に応じて画像処理を行う際に参照されるパラメータも変化する。
【0111】
画像処理部８１は、撮像素子１から時系列的に得られる複数のフレームのうち所定タイミングごとのフレームを抽出する。または、画像処理部８１は、撮像素子１から時系列的に得られる複数のフレームのうち所定タイミングごとのフレームを廃棄する。これにより、データ量を減らすことができるため、後段処理の負荷を軽減することができる。また、画像処理部８１は、撮像素子１から時系列的に得られる複数のフレームに基づいて、各フレーム間に補間する１又は複数のフレームを算出する。そして、画像処理部８１は、算出した１又は複数のフレームを各フレーム間に追加する。これにより、動画再生時においてより滑らかな動きの動画を再生することができる。
【0112】
焦点検出部８２は、撮像素子１から出力された信号を使って、レンズ部７１の撮像光学系の焦点情報（合焦に関する情報）を検出する。焦点検出部８２は、例えば、位相差方式の焦点検出を行う。焦点検出部８２が焦点情報を検出する場合、撮像制御部８０は、例えば、図４（Ｄ）に示したように光電変換部３に電荷が蓄積される期間と、光電変換部４に電荷が蓄積される期間とを同じ長さに設定する。焦点検出部８２は、光電変換部３に蓄積される電荷に基づく第１出力信号と、光電変換部４に蓄積される電荷に基づく第２出力信号とを比較し、焦点情報を検出する。
【0113】
例えば、焦点検出部８２は、第１出力信号のレベルと第２出力信号のレベルの差が閾値以下である場合、撮像素子１の受光層１２にレンズ部７１の焦点が合っていると判定する。また、焦点検出部８２は、第１出力信号のレベルと第２出力信号のレベルの差が閾値より大きく、かつ第１出力信号と第２出力信号の一方のレベルが他方のレベルよりも高い場合、焦点が受光層１２よりも物体面側にある（前ピン）であると判定する。また、焦点検出部８２は、第１出力信号のレベルと第２出力信号のレベルの差が閾値より大きく、かつ第１出力信号と第２出力信号の他方のレベルが一方のレベルよりも高い場合、焦点が受光層１２よりも物体面側にある（前ピン）であると判定する。なお、焦点検出部８２は、第１出力信号のレベルと第２出力信号のレベルの差に基づき、レンズ部７１の焦点と光電変換部（受光層１２）とのずれ量を焦点情報として検出してもよい。
【0114】
焦点検出部８２は、検出した焦点情報を撮像制御部８０に供給する。撮像制御部８０は、例えば、焦点検出部８２が検出した焦点情報を使って、光電変換部に焦点を合わせるために必要なレンズ駆動部７２による駆動量を算出する。撮像制御部８０は、算出した駆動量に基づきレンズ駆動部７２に指令を送ることにより、レンズ部７１の焦点を制御する。
【0115】
なお、焦点検出部８２が焦点情報を検出する場合、撮像制御部８０は、光電変換部３に電荷が蓄積される期間と、光電変換部４に電荷が蓄積される期間とを異なる長さに設定してもよい。この場合に、焦点検出部８２は、露光期間の長さを光電変換部３と光電変換部４とで揃えた場合の出力信号のレベルの推定値に基づき、焦点情報を検出してもよい。
【0116】
例えば、撮像制御部８０は、撮像素子１の水平走査回路５２に指令を送ることにより、アンプ５５の増幅率とアンプ５６の増幅率の少なくとも一方を制御し、光電変換部３と光電変換部４とで露光期間の長さが揃っている状態に相当する信号を出力させてもよい。例えば、光電変換部３に対する露光期間の長さが光電変換部４に対する露光期間の長さの２倍である場合、撮像制御部８０は、アンプ５５の増幅率をアンプ５６の増幅率の半分に調整してもよい。また、制御部７３（例、画像処理部８１、焦点検出部８２）は、光電変換部３と光電変換部４とで露光期間の長さが揃っている状態に相当する信号のレベルを演算してもよい。
【0117】
表示部７５は、例えば液晶表示パネルを含み、制御部７３から供給される画像データに従って画像を表示する。制御部７３から供給される画像データは、撮像素子１で撮像された画像（例、静止画、動画、ライブビュー画像）に基づく画像データ、撮像装置７０の撮影条件などの設定を示す画像の画像データなどである。ライブビュー画像は、画像処理部８１で生成された画像データを表示部７５に順次出力して表示部７５に表示される画像である。ライブビュー画像は、撮像素子１により撮像されている被写体の画像を使用者が確認するために用いられる。ライブビュー画像は、スルー画やプレビュー画像とも呼ばれる。表示部７５は、タッチパネルなどの入力部を含んでいてもよい。
【0118】
操作部７６は、例えば、撮像装置７０がカメラである場合、使用者によって操作されるレリーズスイッチ、動画スイッチ、各種の操作スイッチなどである。操作部７６は、使用者による操作に応じた信号を制御部７３に出力する。例えば、制御部７３は、操作部７６の操作に応じて、撮像素子１に撮像処理を実行させる。また、制御部７３は、撮影条件などを示す画像を表示部７５に表示させ、操作部７６は使用者からの入力を受け付けることができる。
【0119】
記録部７７は、メモリカードなどの記憶媒体８３を装着可能なカードスロットを有する。記録部７７は、カードスロットに装着された記憶媒体８３に画像処理部８１において生成された画像データや各種データを記憶する。例えば、制御部７３は、操作部７６の操作に応じて撮像素子１に撮像させた画像に基づくデータを、記憶媒体８３に記憶させる。制御部７３は、例えば、ＨＤＲ処理により生成された画像データと記憶媒体８３に記憶させてもよいし、ＨＤＲ処理を行わないで生成された画像データと記憶媒体８３に記憶させてもよい。また、制御部７３は、光電変換部３に蓄積される電荷に基づく第１出力信号を元に生成された第１画像データと、光電変換部４に蓄積される電荷に基づく第２出力信号を元に生成された第２画像データとを分けて、記憶媒体８３に記憶させてもよい。第１画像データは、第２出力信号を使わないで生成された画像データであってもよいし、第２画像データは、第１出力信号を使わないで生成された画像データであってもよい。
【0120】
次に、撮像装置７０がカメラである場合の動作について説明する。図９は、撮像装置７０の動作の一例を示すフローチャートである。ステップＳ１において、撮像制御部８０は、静止画モードに設定されているかを判定する。
【0121】
まず、静止画モードに設定されている場合について説明する。撮像制御部８０は、ステップＳ１において静止画モードに設定されていると判定した場合（ステップＳ１；Ｙｅｓ）、ステップＳ２において、ＨＤＲモードに設定されているか否かを判定する。撮像制御部８０は、ステップＳ２においてＨＤＲモードに設定されていると判定した場合（ステップＳ２；Ｙｅｓ）、ステップＳ３において、露光期間を設定する。ここでは、初期状態において、光電変換部３と光電変換部４とで露光期間が同じに設定されているものとする。撮像制御部８０は、ステップＳ３において、光電変換部３に対する露光期間の長さを光電変換部４に対する露光期間と異なる長さに設定する。
【0122】
撮像制御部８０は、ステップＳ２においてＨＤＲモードに設定されていないと判定した場合（ステップＳ２；Ｎｏ）、又はステップＳ３の処理が終了した場合、ステップＳ４においてレリーズスイッチ（以下、レリーズＳＷと略記する）が操作されたか否かを判定する。ステップＳ４において、撮像制御部８０は、レリーズＳＷが半押しされたと判定した場合（ステップＳ４；Ｙｅｓ）、ステップＳ５においてオート露出処理（ＡＥ処理）を行う。また、ステップＳ４において、撮像制御部８０は、レリーズＳＷが操作されていないと判定した場合（ステップＳ４；Ｎｏ）、レリーズＳＷの操作のモニターを継続する。なお、ステップＳ４において、撮像制御部８０は、レリーズＳＷが全押しされたと判定した場合、後に説明するステップＳ８の撮像処理を撮像素子１に実行させる。
【0123】
撮像制御部８０は、ステップＳ５の処理が終了した後、ステップＳ６においてオートフォーカス処理（ＡＦ処理）を行う。ステップＳ５において、撮像制御部８０は、撮像素子１に撮像処理を実行させる。また、焦点検出部８２は、光電変換部３に蓄積される電荷に基づく第１出力信号、及び光電変換部４に蓄積される電荷に基づく第２出力信号を使って、焦点情報を検出する。また。撮像制御部８０は、焦点検出部８２が検出した焦点情報に基づいて、レンズ駆動部７２を制御し、レンズ部７１の焦点を調整する。
【0124】
なお、ＨＤＲモードに設定されている場合に、撮像制御部８０は、ステップＳ５の処理が終了した後、またはステップＳ６の処理が終了した後に、ライブビュー画像を表示部７５に表示させてもよい。また、撮像制御部８０は、光電変換部３に対する露光期間の長さと光電変換部４に対する露光期間の長さの少なくとも一方の変更を要求する入力を受け付けてもよい。例えば、使用者は、ライブビュー画像を見ながら、ＨＤＲ処理における明るさの設定を変更できる。また、撮像制御部８０は、例えばライブビュー画像における画素値の分布などに基づいて、光電変換部３に対する露光期間の長さと光電変換部４に対する露光期間の長さの少なくとも一方を自動で変更してもよい。また、撮像制御部８０は、このような露光期間の変更処理を、例えばステップＳ４においてレリーズＳＷの操作をモニターしている間に実行してもよい。
【0125】
また、撮像制御部８０は、ＡＥ処理の結果を利用して、アンプ５５の増幅率とアンプ５６の増幅率の少なくとも一方を調整してもよい。例えば、撮像制御部８０は、光電変換部３と光電変換部４のうち露光時間が長い方に合わせて、撮像対象のうち暗い暗部が検出できるように絞りを設定し、この条件で露光時間が短い方で出力が飽和しないように、増幅率を調整してもよい。
【0126】
撮像制御部８０は、ステップＳ６の処理が終了した後、ステップＳ７においてレリーズＳＷが操作されたか否かを判定する。撮像制御部８０は、ステップＳ７においてレリーズＳＷが全押しされたと判定した場合（ステップＳ７；Ｙｅｓ）、ステップＳ８において撮像素子１に撮像処理を実行させる。また、撮像制御部８０は、ステップＳ７においてレリーズＳＷが操作されていないと判定した場合（ステップＳ７；Ｎｏ）、レリーズＳＷの操作のモニターを継続する。なお、ステップＳ７において、撮像制御部８０は、レリーズＳＷが半押しされたと判定した場合、ステップＳ５のＡＥ処理およびステップＳ６のＡＦ処理を再度実行した後、レリーズＳＷの操作のモニターを継続する。
【0127】
ＨＤＲモードに設定されている場合に、撮像制御部８０は、ステップＳ８において、垂直走査回路５１から出力される各種制御信号を例えば図３に示した波形に設定する。また、ＨＤＲモードに設定されていない場合に、撮像制御部８０は、ステップＳ８において、垂直走査回路５１から出力される各種制御信号を例えば図４（Ｄ）に示した波形に設定する。撮像制御部８０は、１フレームの期間が終了した後、水平走査回路５２に撮像結果を出力させる。
【0128】
制御部７３は、ステップＳ８の処理が終了した後に、ステップＳ９において、撮像結果に応じた画像データを画像処理部８１に生成させる。ＨＤＲモードに設定されている場合に、画像処理部８１は、ステップＳ９においてＨＤＲ処理を行って画像データを生成する。また、ＨＤＲモードに設定されていない場合に、画像処理部８１は、ステップＳ９においてＨＤＲ処理を行わないで画像データを生成する。制御部７３は、ステップＳ９の処理が終了した後に、ステップＳ８で生成された画像データを、ステップＳ１０において記憶部７と表示部７５の少なくとも一方に出力する。このようにして、一連の処理が終了する。
【0129】
次に、動画モードに設定されている場合（静止画モードに設定されていない場合）について説明する。動画モードに設定されている場合、撮像制御部８０は、例えば、画角の中央または使用者が指定する位置にフォーカスを合わせる。撮像制御部８０は、ステップＳ１において静止画モードに設定されていないと判定した場合（ステップＳ１；Ｎｏ）、ステップＳ１１において、ＨＤＲモードに設定されているか否かを判定する。撮像制御部８０は、ステップＳ１１においてＨＤＲモードに設定されていると判定した場合（ステップＳ１１；Ｙｅｓ）、ステップＳ１２において、露光期間を設定する。ここでは、初期状態において、光電変換部３と光電変換部４とで露光期間が同じに設定されているものとする。撮像制御部８０は、ステップＳ１２において、光電変換部３に対する露光期間の長さを光電変換部４に対する露光期間と異なる長さに設定する。
【0130】
撮像制御部８０は、ステップＳ１１においてＨＤＲモードに設定されていないと判定した場合（ステップＳ１１；Ｎｏ）、又はステップＳ１２の処理が終了した場合、ステップＳ１３において、録画の開始を要求する動画スイッチ（以下、動画ＳＷと略記する）の操作が行われたか否かを判定する。ステップＳ１３において、撮像制御部８０は、動画ＳＷが操作されたと判定した場合（ステップＳ１３；Ｙｅｓ）、ステップＳ１４において撮像素子１に撮像処理を実行させる。また、ステップＳ１３において、撮像制御部８０は、動画ＳＷが操作されていないと判定した場合（ステップＳ１３；Ｎｏ）、動画ＳＷの操作のモニターを継続する。
【0131】
ＨＤＲモードに設定されている場合に、撮像制御部８０は、ステップＳ１４において、垂直走査回路５１から出力される各種制御信号を例えば図３に示した波形に設定する。また、ＨＤＲモードに設定されていない場合に、撮像制御部８０は、ステップＳ１４において、垂直走査回路５１から出力される各種制御信号を例えば図４（Ｄ）に示した波形に設定する。撮像制御部８０は、１フレームの期間が終了した後、水平走査回路５２に撮像結果を出力させる。
【0132】
制御部７３は、ステップＳ１４の処理が終了した後に、撮像結果に応じた画像データを画像処理部８１に生成させる。ＨＤＲモードに設定されている場合に、画像処理部８１は、ＨＤＲ処理を行って画像データを生成する。また、ＨＤＲモードに設定されていない場合に、画像処理部８１は、ＨＤＲ処理を行わないで画像データを生成する。制御部７３は、画像処理部８１が生成した画像データを、記憶部７と表示部７５の少なくとも一方に出力する。
【0133】
撮像制御部８０は、ステップＳ１４の処理が終了した場合、ステップＳ１５において、録画の終了を要求する動画ＳＷの操作が行われたか否かを判定する。撮像制御部８０は、ステップＳ１５において動画ＳＷが操作されたと判定した場合（ステップＳ１５；Ｙｅｓ）、一連の処理を終了する。また、撮像制御部８０は、ステップＳ１５において動画ＳＷが操作されていないと判定した場合（ステップＳ１５；Ｎｏ）、ステップＳ１６において所定のフレーム数の撮像が終了したか否かを判定する。撮像制御部８０は、ステップＳ１６において所定のフレーム数の撮像が終了していないと判定した場合（ステップＳ１６；Ｎｏ）、ステップＳ１４に戻り、次のフレームの撮像処理を撮像素子１に実行させる。
【0134】
撮像制御部８０は、ステップＳ１６において所定のフレーム数の撮像が終了したと判定した場合（ステップＳ１５；Ｙｅｓ）、ステップＳ１７においてＡＦ処理を実行する。ステップＳ１６において、撮像制御部８０は、撮像素子１に撮像処理を実行させる。また、焦点検出部８２は、光電変換部３に蓄積される電荷に基づく第１出力信号、及び光電変換部４に蓄積される電荷に基づく第２出力信号を使って、焦点情報を検出する。また。撮像制御部８０は、焦点検出部８２が検出した焦点情報に基づいて、レンズ駆動部７２を制御し、レンズ部７１の焦点を調整する。
【0135】
ステップＳ１７において、撮像制御部８０は、出力される動画のフレーム間の期間に撮像処理を実行させ、その結果を使ってＡＦ処理を実行してもよい。また、ステップＳ１７において、撮像制御部８０は、出力される動画のフレームの画像データを使ってＡＦ処理を実行してもよい。また、撮像制御部８０は、複数の画素Ｐのそれぞれの出力を使ってＡＦ処理を実行してもよいし、複数の画素Ｐのうち一部の画素Ｐから出力される信号を使って、ＡＦ処理を実行してもよい。一部の画素Ｐから出力される信号を使ってＡＦ処理を実行する場合に、一部の画素Ｐは、複数の画素Ｐのうち固定されていてもよいし、ＡＦ処理ごとに異なる画素に変更されてもよい。また、ＨＤＲモードに設定される場合に、ＡＦ処理に用いる一部の画素Ｐについては、光電変換部３と光電変換部４とで露光期間の長さを同じに設定してもよい。
【0136】
なお、所定のフレーム数は、レンズ駆動部７２の応答速度などに応じて設定される。例えば、撮像制御部８０が指定する駆動量をレンズ駆動部７２が達成するのに必要な時間が１秒であり、フレームレートが３０ＦＰＳである場合に、所定のフレーム数は、３０フレームを下限値とする任意の値に設定される。所定のフレーム数は、例えばデフォルト値が設定されおり、使用者の指定により上記の下限値以上の値に変更可能である。
【0137】
撮像制御部８０は、ステップＳ１７の処理が終了した後に、ステップＳ１３に戻り、次のフレームの撮像処理を撮像素子１に実行させる。このように、撮像制御部８０は、ステップＳ１４において録画の中止を要求する動画ＳＷの操作が行われたと判定するまで、ステップＳ１３の撮像処理を繰り返し実行させる。また、撮像制御部８０は、所定のフレーム数の撮像処理が行われるたびに、ステップＳ１７のＡＦ処理を実行する。
【0138】
上述のような制御部７３は、例えばＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）を含み、このＣＰＵが撮像制御プログラムに従って、少なくとも１つの処理を実行する態様であってもよい。この撮像制御プログラムは、制御部７３に、第１画素に配置され光を電荷に変換する光電変換部３および光電変換部４のうち、光電変換部３から、１フレームの期間のうち第１期間に、電荷を転送させることと、光電変換部４から、１フレームの期間のうち第１期間と異なる第２期間に、電荷を転送させることとを実行させてもよい。また、制御部７３は、ＡＳＩＣなどの演算回路を含んでいてもよい。例えば、画像処理部８１は、演算回路を含み、この演算回路が少なくとも１つの処理を実行する態様でもよい。
【0139】
本実施形態に係る撮像装置７０は、撮像素子１の１画素に複数の光電変換部が配置されているので、撮像画像の解像度を下げることなくダイナミックレンジを広げることができる。また、光電変換部３から電荷を転送するための転送部２１と光電変換部４から電荷を転送するための転送部４１とを独立して制御できるので、フレームレートの低下を抑制できる。また、撮像装置７０は、光電変換部３に蓄積される電荷に基づく第１出力信号と、光電変換部４に蓄積される電荷に基づく第２出力信号とを使って、ＡＦ処理を行うこともできる。
【0140】
なお、本発明の技術範囲は、上記の実施形態あるいは変形例に限定されるものではない。例えば、上記の実施形態あるいは変形例で説明した要件の１つ以上は、省略されることがある。また、上記の実施形態あるいは変形例で説明した要件は、適宜組み合わせることができる。
【符号の説明】
【0141】
１ 撮像素子、３ 光電変換部、４ 光電変換部、Ｐ 画素、２１ 転送部、２２ 転送制御線、２３ 電荷電圧変換部、２４ リセット部、２５ リセット制御線、４１ 転送部、４２ 転送制御線、４３ 電荷電圧変換部、４４ リセット部、４５ リセット制御線、５５ アンプ、５６ アンプ、６０ 光電変換部、６１ 光電変換部、６２ 光電変換部、６３ 転送部、６４ 転送制御線、６５ 転送部、６６ 転送制御線、７０ 撮像装置、８０ 撮像制御部、８１ 画像処理部、８２ 焦点検出部、Ｐ 画素、Ｐ１ 画素、Ｐ２ 画素、ＴＸ１ 制御信号、ＴＸ２ 制御信号、ＴＸ３ 制御信号、ＴＸ４ 制御信号、ＲＳＴ１ 制御信号、ＲＳＴ２ 制御信号
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】