▶ ブリルニクス シンガポール プライベート リミテッドの特許一覧
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2022-07-05
(45)【発行日】2022-07-13
(54)【発明の名称】固体撮像装置、固体撮像装置の駆動方法、および電子機器
(51)【国際特許分類】
H04N 5/355 20110101AFI20220706BHJP
H03M 1/18 20060101ALI20220706BHJP
H03M 1/56 20060101ALI20220706BHJP
H04N 5/3745 20110101ALI20220706BHJP
H04N 5/378 20110101ALI20220706BHJP
【ＦＩ】
H04N5/355 090
H03M1/18
H03M1/56
H04N5/3745 500
H04N5/378
【請求項の数】
31
(21)【出願番号】P 2017203676
(22)【出願日】2017-10-20
(65)【公開番号】P2019080107
(43)【公開日】2019-05-23
【審査請求日】2020-08-17
(73)【特許権者】
【識別番号】521182560
【氏名又は名称】ブリルニクス シンガポール プライベート リミテッド
(74)【代理人】
【識別番号】110001863
【氏名又は名称】特許業務法人アテンダ国際特許事務所
(72)【発明者】
【氏名】大高 俊徳
【審査官】大室 秀明
(56)【参考文献】
【文献】特開２００９－１８８８１９（ＪＰ，Ａ）
【文献】特開２００４－２０１０９４（ＪＰ，Ａ）
【文献】特開２０１３－００９１０５（ＪＰ，Ａ）
【文献】特開２０１２－０７９８６１（ＪＰ，Ａ）
【文献】特開２００５－３２８４９３（ＪＰ，Ａ）
(58)【調査した分野】(Int.Cl.，ＤＢ名)
Ｈ０３Ｍ １／００－１／８８
Ｈ０４Ｎ ５／３０－５／３７８
(57)【特許請求の範囲】
【請求項1】
光電変換を行う画素が配置された画素部と、前記画素部の前記画素から画素信号を読み出す読み出し部と、
複数の読み出し信号を合成して、ダイナミックレンジが拡大された合成信号を生成する信号処理部と、を有し、
前記画素は、
蓄積期間に光電変換により生成した電荷を蓄積する光電変換素子と、
前記光電変換素子に蓄積された電荷を前記蓄積期間後の転送期間に転送可能な転送素子と、
前記転送素子を通じて前記光電変換素子で蓄積された電荷が転送される出力ノードと、
前記出力ノードの電荷を電荷量に応じた電圧信号に変換し、変換した電圧信号を出力する出力バッファ部と、
前記出力バッファ部による電圧信号と参照電圧とを比較し、デジタル化した比較結果信号を出力する比較処理を行う比較器と、
前記比較器の比較結果信号に応じたデータを記憶するメモリ部と、を含み、
前記比較器は、前記読み出し部の制御の下、
前記蓄積期間に前記光電変換素子から前記出力ノードに溢れ出たオーバーフロー電荷に応じた前記電圧信号に対するデジタル化した第１の比較結果信号を出力する第１の比較処理と、
前記蓄積期間後の前記転送期間に前記出力ノードに転送された前記光電変換素子の蓄積電荷に応じた前記電圧信号に対するデジタル化した第２の比較結果信号を出力する第２の比較処理と、を行い、
前記信号処理部は、
前記第１の比較処理に応じた第１のアナログデジタル（ＡＤ）変換伝達曲線と第２の比較処理に応じた第２のＡＤ変換伝達曲線を接合する合成処理を行い、
前記合成処理において、測定された画素のフルウェルキャパシティ（ＦＷＣ）情報を適用して前記第１のＡＤ変換伝達曲線と前記第２のＡＤ変換伝達曲線の接合ギャップを補正し、
前記ＦＷＣ情報は、
固体撮像装置が正規に稼働しているオンラインにおいて、前記第１の比較処理を行った後に、無変調のランプ状参照電圧を用いた簡易的な前記第２の比較処理を行った結果から測定される
固体撮像装置。
【請求項2】
光電変換を行う画素が配置された画素部と、前記画素部の前記画素から画素信号を読み出す読み出し部と、
複数の読み出し信号を合成して、ダイナミックレンジが拡大された合成信号を生成する信号処理部と、を有し、
前記画素は、
蓄積期間に光電変換により生成した電荷を蓄積する光電変換素子と、
前記光電変換素子に蓄積された電荷を前記蓄積期間後の転送期間に転送可能な転送素子と、
前記転送素子を通じて前記光電変換素子で蓄積された電荷が転送される出力ノードと、
前記出力ノードの電荷を電荷量に応じた電圧信号に変換し、変換した電圧信号を出力する出力バッファ部と、
前記出力バッファ部による電圧信号と参照電圧とを比較し、デジタル化した比較結果信号を出力する比較処理を行う比較器と、
前記比較器の比較結果信号に応じたデータを記憶するメモリ部と、を含み、
前記比較器は、前記読み出し部の制御の下、
前記蓄積期間に前記光電変換素子から前記出力ノードに溢れ出たオーバーフロー電荷に応じた前記電圧信号に対するデジタル化した第１の比較結果信号を出力する第１の比較処理と、
前記蓄積期間後の前記転送期間に前記出力ノードに転送された前記光電変換素子の蓄積電荷に応じた前記電圧信号に対するデジタル化した第２の比較結果信号を出力する第２の比較処理と、を行い、
前記信号処理部は、
前記第１の比較処理に応じた第１のアナログデジタル（ＡＤ）変換伝達曲線と第２の比較処理に応じた第２のＡＤ変換伝達曲線を接合する合成処理を行い、
前記合成処理において、測定された画素のフルウェルキャパシティ（ＦＷＣ）情報を適用して前記第１のＡＤ変換伝達曲線と前記第２のＡＤ変換伝達曲線の接合ギャップを補正し、
前記ＦＷＣ情報は、
固体撮像装置が正規に稼働していないオフラインにおいて、前記各画素を駆動してあらかじめ測定された情報である
固体撮像装置。
【請求項3】
光電変換を行う画素が配置された画素部と、前記画素部の前記画素から画素信号を読み出す読み出し部と、
複数の読み出し信号を合成して、ダイナミックレンジが拡大された合成信号を生成する信号処理部と、を有し、
前記画素は、
蓄積期間に光電変換により生成した電荷を蓄積する光電変換素子と、
前記光電変換素子に蓄積された電荷を前記蓄積期間後の転送期間に転送可能な転送素子と、
前記転送素子を通じて前記光電変換素子で蓄積された電荷が転送される出力ノードと、
前記出力ノードの電荷を電荷量に応じた電圧信号に変換し、変換した電圧信号を出力する出力バッファ部と、
前記出力バッファ部による電圧信号と参照電圧とを比較し、デジタル化した比較結果信号を出力する比較処理を行う比較器と、
前記比較器の比較結果信号に応じたデータを記憶するメモリ部と、を含み、
前記比較器は、前記読み出し部の制御の下、
前記蓄積期間に前記光電変換素子から前記出力ノードに溢れ出たオーバーフロー電荷に応じた前記電圧信号に対するデジタル化した第１の比較結果信号を出力する第１の比較処理と、
前記蓄積期間後の前記転送期間に前記出力ノードに転送された前記光電変換素子の蓄積電荷に応じた前記電圧信号に対するデジタル化した第２の比較結果信号を出力する第２の比較処理と、を行い、
前記信号処理部は、
前記第１の比較処理に応じた第１のアナログデジタル（ＡＤ）変換伝達曲線と第２の比較処理に応じた第２のＡＤ変換伝達曲線を接合する合成処理を行い、
前記比較器は、前記第１の比較処理において、
前記オーバーフロー電荷の量に応じた時間に対応する前記第１の比較結果信号を出力し、
前記オーバーフロー電荷が前記光電変換素子から前記出力ノードに溢れ始める最大サンプリング時間における前記光電変換素子の信号レベルから最小サンプリング時間で得られる信号レベルまでの光レベルに対応可能である
固体撮像装置。
【請求項4】
前記信号処理部は、前記合成処理において、測定された画素のフルウェルキャパシティ（ＦＷＣ）情報を適用して前記第１のＡＤ変換伝達曲線と前記第２のＡＤ変換伝達曲線の接合ギャップを補正する
請求項３記載の固体撮像装置。
【請求項5】
適用される前記ＦＷＣ情報は、少なくとも前記第２の比較処理で得られるＦＷＣ情報である請求項１、２または４に記載の固体撮像装置。
【請求項6】
前記比較器に入力される前記参照電圧は、ステップサイズが単一の値をとる線形のランプ状参照電圧であり、前記信号処理部は、
取得した接合部における前記第１の比較処理による前記第１のＡＤ変換伝達曲線の最小値を、取得した接合部における前記第２の比較処理による前記第２のＡＤ変換伝達曲線の最大値にシフトするオフセット調整を行って、前記第１のＡＤ変換伝達曲線と前記第２のＡＤ変換伝達曲線を接合する
請求項１から５のいずれか一に記載の固体撮像装置。
【請求項7】
前記信号処理部は、取得した接合部における前記第１の比較処理によるＡＤ変換コードの最小値を、取得した接合部における前記第２の比較処理によるＡＤ変換コードの最大値にシフトして、前記第１のＡＤ変換伝達曲線と前記第２のＡＤ変換伝達曲線を接合する
請求項６記載の固体撮像装置。
【請求項8】
前記比較器に入力される前記参照電圧は、ステップサイズが単一の値をとらず、連続的に変化し得る変調されたランプ状参照電圧であり、前記信号処理部は、
取得した接合部における前記第１の比較処理による前記第１のＡＤ変換伝達曲線の最小値を、取得した接合部における前記第２の比較処理による前記第２のＡＤ変換伝達曲線の最大値にシフトするオフセット調整と、デジタルデジタル再変換によりステップサイズに対応するゲインを調整する非線形ゲイン補正とを行って、前記第１のＡＤ変換伝達曲線と前記第２のＡＤ変換伝達曲線を接合する
請求項１、２、４または５に記載の固体撮像装置。
【請求項9】
前記信号処理部は、取得した接合部における前記第１の比較処理によるＡＤ変換コードの最小値を、取得した接合部における前記第２の比較処理によるＡＤ変換コードの最大値にシフトするとともに、前記デジタルデジタル再変換においてデジタル領域のＡＤ変換コードを所望の伝達曲線に合わせて再変換することにより、前記第１のＡＤ変換伝達曲線と前記第２のＡＤ変換伝達曲線を接合する
請求項８記載の固体撮像装置。
【請求項10】
前記信号処理部は、前記デジタルデジタル再変換を、ＡＤ変換コードをデジタル領域の画素ごとの前記ＦＷＣ情報に関連した補正係数を使用して行う
請求項９記載の固体撮像装置。
【請求項11】
前記変調されたランプ状参照電圧は、ランプ波形は線形で、ＡＤ変換コードステップを変調して生成される請求項８から１０のいずれか一に記載の固体撮像装置。
【請求項12】
前記変調されたランプ状参照電圧は、ランプ波形を変化させ、ＡＤ変換コードステップを線形にして生成される請求項８から１０のいずれか一に記載の固体撮像装置。
【請求項13】
前記比較器に入力される前記参照電圧は、ステップサイズが単一の値をとる線形のランプ状参照電圧であり、前記信号処理部は、
取得した接合部における前記第１の比較処理による前記第１のＡＤ変換伝達曲線の最小値を、取得した接合部における前記第２の比較処理による前記第２のＡＤ変換伝達曲線の最大値にシフトするオフセット調整と、デジタルデジタル再変換によりステップサイズに対応するゲインを調整する非線形ゲイン補正とを行って、前記第１のＡＤ変換伝達曲線と前記第２のＡＤ変換伝達曲線を接合する
請求項１、２、４または５に記載の固体撮像装置。
【請求項14】
前記信号処理部は、取得した接合部における前記第１の比較処理によるＡＤ変換コードの最小値を、取得した接合部における前記第２の比較処理によるＡＤ変換コードの最大値にシフトするとともに、前記デジタルデジタル再変換においてデジタル領域のＡＤ変換コードを所望の伝達曲線に合わせて再変換することにより、前記第１のＡＤ変換伝達曲線と前記第２のＡＤ変換伝達曲線を接合する
請求項１３記載の固体撮像装置。
【請求項15】
前記信号処理部は、前記デジタルデジタル再変換を、ＡＤ変換コードをデジタル領域の画素ごとの前記ＦＷＣ情報に関連した補正係数を使用して行う
請求項１４記載の固体撮像装置。
【請求項16】
光電変換を行う画素が配置された画素部と、前記画素部の前記画素から画素信号を読み出す読み出し部と、
複数の読み出し信号を合成して、ダイナミックレンジが拡大された合成信号を生成する信号処理部と、を有し、
前記画素は、
蓄積期間に光電変換により生成した電荷を蓄積する光電変換素子と、
前記光電変換素子に蓄積された電荷を前記蓄積期間後の転送期間に転送可能な転送素子と、
前記転送素子を通じて前記光電変換素子で蓄積された電荷が転送される出力ノードと、
前記出力ノードの電荷を電荷量に応じた電圧信号に変換し、変換した電圧信号を出力する出力バッファ部と、
前記出力バッファ部による電圧信号と参照電圧とを比較し、デジタル化した比較結果信号を出力する比較処理を行う比較器と、
前記比較器の比較結果信号に応じたデータを記憶するメモリ部と、を含み、
前記比較器に入力される前記参照電圧は、ステップサイズが単一の値をとらず、連続的に変化し得る変調されたランプ状参照電圧であり、
前記比較器は、前記読み出し部の制御の下、
前記蓄積期間に前記光電変換素子から前記出力ノードに溢れ出たオーバーフロー電荷に応じた前記電圧信号に対するデジタル化した第１の比較結果信号を出力する第１の比較処理と、
前記蓄積期間後の前記転送期間に前記出力ノードに転送された前記光電変換素子の蓄積電荷に応じた前記電圧信号に対するデジタル化した第２の比較結果信号を出力する第２の比較処理と、を行い、
前記信号処理部は、
前記第１の比較処理に応じた第１のアナログデジタル（ＡＤ）変換伝達曲線と第２の比較処理に応じた第２のＡＤ変換伝達曲線を接合する合成処理を行うことが可能で、
前記合成処理において、測定された画素のフルウェルキャパシティ（ＦＷＣ）情報を適用して前記第１のＡＤ変換伝達曲線と前記第２のＡＤ変換伝達曲線の接合ギャップを補正し、
取得した接合部における前記第１の比較処理による前記第１のＡＤ変換伝達曲線の最小値を、取得した接合部における前記第２の比較処理による前記第２のＡＤ変換伝達曲線の最大値にシフトするオフセット調整と、デジタルデジタル再変換によりステップサイズに対応するゲインを調整する非線形ゲイン補正とを行って、前記第１のＡＤ変換伝達曲線と前記第２のＡＤ変換伝達曲線を接合する
固体撮像装置。
【請求項17】
前記信号処理部は、取得した接合部における前記第１の比較処理によるＡＤ変換コードの最小値を、取得した接合部における前記第２の比較処理によるＡＤ変換コードの最大値にシフトするとともに、前記デジタルデジタル再変換においてデジタル領域のＡＤ変換コードを所望の伝達曲線に合わせて再変換することにより、前記第１のＡＤ変換伝達曲線と前記第２のＡＤ変換伝達曲線を接合する
請求項１６記載の固体撮像装置。
【請求項18】
前記信号処理部は、前記デジタルデジタル再変換を、ＡＤ変換コードをデジタル領域の画素ごとの前記ＦＷＣ情報に関連した補正係数を使用して行う
請求項１７記載の固体撮像装置。
【請求項19】
前記変調されたランプ状参照電圧は、ランプ波形は線形で、ＡＤ変換コードステップを変調して生成される請求項１６から１８のいずれか一に記載の固体撮像装置。
【請求項20】
前記変調されたランプ状参照電圧は、ランプ波形を変化させ、ＡＤ変換コードステップを線形にして生成される請求項１６から１８のいずれか一に記載の固体撮像装置。
【請求項21】
光電変換を行う画素が配置された画素部と、前記画素部の前記画素から画素信号を読み出す読み出し部と、
複数の読み出し信号を合成して、ダイナミックレンジが拡大された合成信号を生成する信号処理部と、を有し、
前記画素は、
蓄積期間に光電変換により生成した電荷を蓄積する光電変換素子と、
前記光電変換素子に蓄積された電荷を前記蓄積期間後の転送期間に転送可能な転送素子と、
前記転送素子を通じて前記光電変換素子で蓄積された電荷が転送される出力ノードと、
前記出力ノードの電荷を電荷量に応じた電圧信号に変換し、変換した電圧信号を出力する出力バッファ部と、
前記出力バッファ部による電圧信号と参照電圧とを比較し、デジタル化した比較結果信号を出力する比較処理を行う比較器と、
前記比較器の比較結果信号に応じたデータを記憶するメモリ部と、を含み、
前記比較器に入力される前記参照電圧は、ステップサイズが単一の値をとる線形のランプ状参照電圧であり、
前記比較器は、前記読み出し部の制御の下、
前記蓄積期間に前記光電変換素子から前記出力ノードに溢れ出たオーバーフロー電荷に応じた前記電圧信号に対するデジタル化した第１の比較結果信号を出力する第１の比較処理と、
前記蓄積期間後の前記転送期間に前記出力ノードに転送された前記光電変換素子の蓄積電荷に応じた前記電圧信号に対するデジタル化した第２の比較結果信号を出力する第２の比較処理と、を行い、
前記信号処理部は、
前記第１の比較処理に応じた第１のアナログデジタル（ＡＤ）変換伝達曲線と第２の比較処理に応じた第２のＡＤ変換伝達曲線を接合する合成処理を行うことが可能で、
前記合成処理において、測定された画素のフルウェルキャパシティ（ＦＷＣ）情報を適用して前記第１のＡＤ変換伝達曲線と前記第２のＡＤ変換伝達曲線の接合ギャップを補正し、
取得した接合部における前記第１の比較処理による前記第１のＡＤ変換伝達曲線の最小値を、取得した接合部における前記第２の比較処理による前記第２のＡＤ変換伝達曲線の最大値にシフトするオフセット調整と、デジタルデジタル再変換によりステップサイズに対応するゲインを調整する非線形ゲイン補正とを行って、前記第１のＡＤ変換伝達曲線と前記第２のＡＤ変換伝達曲線を接合する
固体撮像装置。
【請求項22】
前記信号処理部は、取得した接合部における前記第１の比較処理によるＡＤ変換コードの最小値を、取得した接合部における前記第２の比較処理によるＡＤ変換コードの最大値にシフトするとともに、前記デジタルデジタル再変換においてデジタル領域のＡＤ変換コードを所望の伝達曲線に合わせて再変換することにより、前記第１のＡＤ変換伝達曲線と前記第２のＡＤ変換伝達曲線を接合する
請求項２１記載の固体撮像装置。
【請求項23】
前記信号処理部は、前記デジタルデジタル再変換を、ＡＤ変換コードをデジタル領域の画素ごとの前記ＦＷＣ情報に関連した補正係数を使用して行う
請求項２２記載の固体撮像装置。
【請求項24】
前記ＦＷＣ情報は、当該固体撮像装置が正規に稼働しているオンラインにおいて、前記第１の比較処理を行った後に、無変調のランプ状参照電圧を用いた簡易的な前記第２の比較処理を行った結果から測定される
請求項１６から２３のいずれか一に記載の固体撮像装置。
【請求項25】
前記ＦＷＣ情報は、当該固体撮像装置が正規に稼働していないオフラインにおいて、前記各画素を駆動してあらかじめ測定された情報である
請求項１６から２４のいずれか一に記載の固体撮像装置。
【請求項26】
前記比較器は、前記第１の比較処理において、前記オーバーフロー電荷の量に応じた時間に対応する前記第１の比較結果信号を出力し、
前記オーバーフロー電荷が前記光電変換素子から前記出力ノードに溢れ始める最大サンプリング時間における前記光電変換素子の信号レベルから最小サンプリング時間で得られる信号レベルまでの光レベルに対応可能である
請求項１6から２５のいずれか一に記載の固体撮像装置。
【請求項27】
前記蓄積期間は、前記光電変換素子および前記出力ノードがリセットレベルにリセットされてから、前記転送素子が導通状態に切り替えられて前記転送期間が開始されるまでの期間であり、
前記第１の比較処理の期間は、
前記光電変換素子および前記出力ノードがリセットレベルにリセットされてから、前記転送期間が開始される前に、前記出力ノードがリセットレベルにリセットされるまでの期間であり、
前記第２の比較処理の期間は、
前記出力ノードがリセットレベルにリセットされた後の期間であって、前記転送期間後の期間を含む期間である
請求項１から２６のいずれか一に記載の固体撮像装置。
【請求項28】
前記読み出し部は、通常の照度の場合、前記第１の比較処理と前記第２の比較処理を行うように制御し、
通常の照度より高照度の場合、前記第１の比較処理を行うように制御し、
通常の照度より低照度の場合、前記第２の比較処理を行うように制御する
請求項１から２７のいずれか一に記載の固体撮像装置。
【請求項29】
第１の基板と、第２の基板と、を含み、
前記第１の基板と前記第２の基板は接続部を通して接続された積層構造を有し、
前記第１の基板には、
少なくとも、前記画素の前記光電変換素子、前記転送素子、前記出力ノード、および出力バッファ部が形成され、
前記第２の基板には、
少なくとも、前記比較器、前記メモリ部、および前記読み出し部の少なくとも一部が形成されている
請求項１から２８のいずれか一に記載の固体撮像装置。
【請求項30】
光電変換を行う画素が配置された画素部と、前記画素部の前記画素から画素信号を読み出す読み出し部と、
複数の読み出し信号を合成して、ダイナミックレンジが拡大された合成信号を生成する信号処理部と、を有し、
前記画素は、
蓄積期間に光電変換により生成した電荷を蓄積する光電変換素子と、
前記光電変換素子に蓄積された電荷を前記蓄積期間後の転送期間に転送可能な転送素子と、
前記転送素子を通じて前記光電変換素子で蓄積された電荷が転送される出力ノードと、
前記出力ノードの電荷を電荷量に応じた電圧信号に変換し、変換した電圧信号を出力する出力バッファ部と、
前記出力バッファ部による電圧信号と参照電圧とを比較し、デジタル化した比較結果信号を出力する比較処理を行う比較器と、
前記比較器の比較結果信号に応じたデータを記憶するメモリ部と、を含む
固体撮像装置の駆動方法であって、
前記画素の画素信号を読み出す場合、前記比較器において、
前記読み出し部の制御の下、
前記蓄積期間に前記光電変換素子から前記出力ノードに溢れ出たオーバーフロー電荷に応じた前記電圧信号に対するデジタル化した第１の比較結果信号を出力する第１の比較処理を行い、
前記蓄積期間後の前記転送期間に前記出力ノードに転送された前記光電変換素子の蓄積電荷に応じた前記電圧信号に対するデジタル化した第２の比較結果信号を出力する第２の比較処理を行い、
前記信号処理部において、
前記第１の比較処理に応じた第１のアナログデジタル（ＡＤ）変換伝達曲線と第２の比較処理に応じた第２のＡＤ変換伝達曲線を接合する合成処理を行い、
前記合成処理において、測定された画素のフルウェルキャパシティ（ＦＷＣ）情報を適用して前記第１のＡＤ変換伝達曲線と前記第２のＡＤ変換伝達曲線の接合ギャップを補正し、
前記ＦＷＣ情報は、
当該固体撮像装置が正規に稼働しているオンラインにおいて、前記第１の比較処理を行った後に、無変調のランプ状参照電圧を用いた簡易的な前記第２の比較処理を行った結果から測定される、または、
当該固体撮像装置が正規に稼働していないオフラインにおいて、前記各画素を駆動してあらかじめ測定された情報である
固体撮像装置の駆動方法。
【請求項31】
固体撮像装置と、前記固体撮像装置に被写体像を結像する光学系と、を有し、
前記固体撮像装置は、
光電変換を行う画素が配置された画素部と、
前記画素部の前記画素から画素信号を読み出す読み出し部と、
複数の読み出し信号を合成して、ダイナミックレンジが拡大された合成信号を生成する信号処理部と、を有し、
前記画素は、
蓄積期間に光電変換により生成した電荷を蓄積する光電変換素子と、
前記光電変換素子に蓄積された電荷を前記蓄積期間後の転送期間に転送可能な転送素子と、
前記転送素子を通じて前記光電変換素子で蓄積された電荷が転送される出力ノードと、
前記出力ノードの電荷を電荷量に応じた電圧信号に変換し、変換した電圧信号を出力する出力バッファ部と、
前記出力バッファ部による電圧信号と参照電圧とを比較し、デジタル化した比較結果信号を出力する比較処理を行う比較器と、
前記比較器の比較結果信号に応じたデータを記憶するメモリ部と、を含み、
前記比較器は、前記読み出し部の制御の下、
前記蓄積期間に前記光電変換素子から前記出力ノードに溢れ出たオーバーフロー電荷に応じた前記電圧信号に対するデジタル化した第１の比較結果信号を出力する第１の比較処理と、
前記蓄積期間後の前記転送期間に前記出力ノードに転送された前記光電変換素子の蓄積電荷に応じた前記電圧信号に対するデジタル化した第２の比較結果信号を出力する第２の比較処理と、を行い、
前記信号処理部は、
前記第１の比較処理に応じた第１のアナログデジタル（ＡＤ）変換伝達曲線と第２の比較処理に応じた第２のＡＤ変換伝達曲線を接合する合成処理を行い、
前記合成処理において、測定された画素のフルウェルキャパシティ（ＦＷＣ）情報を適用して前記第１のＡＤ変換伝達曲線と前記第２のＡＤ変換伝達曲線の接合ギャップを補正し、
前記ＦＷＣ情報は、
当該固体撮像装置が正規に稼働しているオンラインにおいて、前記第１の比較処理を行った後に、無変調のランプ状参照電圧を用いた簡易的な前記第２の比較処理を行った結果から測定される、または、
当該固体撮像装置が正規に稼働していないオフラインにおいて、前記各画素を駆動してあらかじめ測定された情報である
電子機器。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、固体撮像装置、固体撮像装置の駆動方法、および電子機器に関するものである。
【背景技術】
【0002】
光を検出して電荷を発生させる光電変換素子を用いた固体撮像装置（イメージセンサ）として、ＣＭＯＳ（Complementary Metal Oxide Semiconductor）イメージセンサが実用に供されている。
ＣＭＯＳイメージセンサは、デジタルカメラ、ビデオカメラ、監視カメラ、医療用内視鏡、パーソナルコンピュータ（ＰＣ）、携帯電話等の携帯端末装置(モバイル機器)等の各種電子機器の一部として広く適用されている。
ＣＭＯＳイメージセンサは、デジタルカメラ、ビデオカメラ、監視カメラ、医療用内視鏡、パーソナルコンピュータ（ＰＣ）、携帯電話等の携帯端末装置(モバイル機器)等の各種電子機器の一部として広く適用されている。
【0003】
ＣＭＯＳイメージセンサは、画素毎にフォトダイオード（光電変換素子）および浮遊拡散層（ＦＤ：Floating Diffusion、フローティングディフュージョン)を有するＦＤアンプを持ち合わせており、その読み出しは、画素アレイの中のある一行を選択し、それらを同時に列（カラム）出力方向へと読み出すような列並列出力型が主流である。
【0004】
また、列並列出力型ＣＭＯＳイメージセンサの画素信号読み出し（出力）回路については実に様々なものが提案されている。
それらの中で、その最も進んだ回路のひとつが、列（カラム）毎にアナログ－デジタル変換器（ＡＤＣ（Analog digital converter)）を備え、画素信号をデジタル信号として取り出す回路である（たとえば特許文献１，２参照）。
それらの中で、その最も進んだ回路のひとつが、列（カラム）毎にアナログ－デジタル変換器（ＡＤＣ（Analog digital converter)）を備え、画素信号をデジタル信号として取り出す回路である（たとえば特許文献１，２参照）。
【0005】
この列並列ＡＤＣ搭載ＣＭＯＳイメージセンサ（カラムＡＤ方式ＣＭＯＳイメージセンサ）では、比較器（コンパレータ）はいわゆるＲＡＭＰ波と画素信号の比較をして、後段のカウンタでデジタルＣＤＳを行うことによりＡＤ変換を行う。
【0006】
しかしながら、この種のＣＭＯＳイメージセンサは、信号の高速転送が可能であるが、グローバルシャッタ読み出しができないという不利益がある。
【0007】
これに対して、各画素に比較器を含むＡＤＣ（さらにはメモリ部）を配置して、画素アレイ部中の全画素に対して同一のタイミングで露光開始と露光終了とを実行するグローバルシャッタをも実現可能にするデジタル画素（ピクセル）センサが提案されている（たとえば特許文献３，４参照）。
【先行技術文献】
【特許文献】
【0008】
【文献】特開２００５－２７８１３５号公報
【文献】特開２００５－２９５３４６号公報
【文献】ＵＳ ７１６４１１４ Ｂ２ ＦＩＧ、４
【文献】ＵＳ ２０１０／０１８１４６４ Ａ１
【発明の概要】
【発明が解決しようとする課題】
【0009】
ところが、上述した従来のデジタル画素センサを備えたＣＭＯＳイメージセンサでは、グローバルシャッタ機能を実現することは可能であるが、たとえば蓄積期間にフォトダイオードから溢れ出る電荷をリアルタイムに利用していないことから、広ダイナミックレンジ化、高フレームレート化には限界がある。
【0010】
また、ＣＭＯＳイメージセンサの重要な性能指標にランダムノイズがあり、主なランダムノイズ源として、画素とＡＤ変換器があることが知られている。
一般的には、ランダムノイズ低減手法として、トランジスタサイズを大きくすることでフリッカノイズ（flicker noise）を低減する、もしくは比較器出力に容量を付加し、帯域を落とすことでＣＤＳによるノイズのフィルタ効果を狙う方法が知られている。
しかし、それぞれの手法では、面積が増大する、容量増により比較器の反転遅延が悪化し、撮像素子のフレームレートが上げられないという不利益がある。
一般的には、ランダムノイズ低減手法として、トランジスタサイズを大きくすることでフリッカノイズ（flicker noise）を低減する、もしくは比較器出力に容量を付加し、帯域を落とすことでＣＤＳによるノイズのフィルタ効果を狙う方法が知られている。
しかし、それぞれの手法では、面積が増大する、容量増により比較器の反転遅延が悪化し、撮像素子のフレームレートが上げられないという不利益がある。
【0011】
また、各画素に比較器を含むＡＤＣ（さらにはメモリ部）を配置することから、有効画素領域を最大限に拡大することは困難で、コストあたりの価値を最大限に高めることが困難である。
【0012】
また、ダイナミックレンジを拡大させる方法としては、たとえば、イメージセンサの同一の画素から蓄積時間の異なる２種類の信号を読み出し、この２種類の信号を組み合わせて、ダイナミックレンジを拡大させる方法や、高感度の画素でダイナミックレンジの小さい信号と、低感度でダイナミックレンジを拡大した信号を組み合わせてダイナミックレンジを拡大させる方法などが知られている。
【0013】
ところで、いずれの方法においても、組み合わせようとする(合成しようとする)複数の信号は、組み合わせ（信号の切り替え）を行う信号値の近傍において、それぞれ入射光量（照度）に対する出力電圧の直線性がほぼ同等に保たれている必要がある。
各々の信号はダイナミックレンジ（Ｄレンジ）を拡大するために光量（照度）に対するゲインが異なるように設計されるため、主としてアナログデジタルコンバータ（ＡＤＣ）でデジタル変換後のデジタル信号処理回路でゲインを補正し、直線性（あるいは傾き）が同じに保たれるようにしている。
各々の信号はダイナミックレンジ（Ｄレンジ）を拡大するために光量（照度）に対するゲインが異なるように設計されるため、主としてアナログデジタルコンバータ（ＡＤＣ）でデジタル変換後のデジタル信号処理回路でゲインを補正し、直線性（あるいは傾き）が同じに保たれるようにしている。
【0014】
しかし、固体撮像装置の個体単位でのばらつき、あるいは１個体の中での画素間のばらつき等が存在するため、ばらつきの中心値のパラメータを基に補正した数値で、各々の信号を切り替えたとしても、そのレベルの近傍においての直線性（リニアリティ）が必ずしも保証されない場合がある。
このように補正精度が低い（ばらついている）場合、スムーズな切り替えが不能となり、その不連続点がノイズとなってしまい、いわゆるトーンジャンプ等の画像劣化の要因になるという不利益がある。
このように補正精度が低い（ばらついている）場合、スムーズな切り替えが不能となり、その不連続点がノイズとなってしまい、いわゆるトーンジャンプ等の画像劣化の要因になるという不利益がある。
【0015】
本発明は、組み合わせようとする複数の信号のスムーズな切り替え（接続）が可能で、画像劣化を抑止しつつ実質的に広ダイナミックレンジ化、高フレームレート化を実現することが可能な固体撮像装置、固体撮像装置の駆動方法、および電子機器を提供することにある。
また、本発明は、組み合わせようとする複数の信号のスムーズな切り替え（接続）が可能で、画像劣化を抑止しつつ実質的に広ダイナミックレンジ化、高フレームレート化を実現することが可能で、しかも低ノイズ化を図れ、有効画素領域を最大限に拡大することができ、コストあたりの価値を最大限に高めることが可能な固体撮像装置、固体撮像装置の駆動方法、および電子機器を提供することにある。
また、本発明は、組み合わせようとする複数の信号のスムーズな切り替え（接続）が可能で、画像劣化を抑止しつつ実質的に広ダイナミックレンジ化、高フレームレート化を実現することが可能で、しかも低ノイズ化を図れ、有効画素領域を最大限に拡大することができ、コストあたりの価値を最大限に高めることが可能な固体撮像装置、固体撮像装置の駆動方法、および電子機器を提供することにある。
【課題を解決するための手段】
【0016】
本発明の第１の観点の固体撮像装置は、光電変換を行う画素が配置された画素部と、前記画素部の前記画素から画素信号を読み出す読み出し部と、複数の読み出し信号を合成して、ダイナミックレンジが拡大された合成信号を生成する信号処理部と、を有し、前記画素は、蓄積期間に光電変換により生成した電荷を蓄積する光電変換素子と、前記光電変換素子に蓄積された電荷を前記蓄積期間後の転送期間に転送可能な転送素子と、前記転送素子を通じて前記光電変換素子で蓄積された電荷が転送される出力ノードと、前記出力ノードの電荷を電荷量に応じた電圧信号に変換し、変換した電圧信号を出力する出力バッファ部と、前記出力バッファ部による電圧信号と参照電圧とを比較し、デジタル化した比較結果信号を出力する比較処理を行う比較器と、前記比較器の比較結果信号に応じたデータを記憶するメモリ部と、を含み、前記比較器は、前記読み出し部の制御の下、前記蓄積期間に前記光電変換素子から前記出力ノードに溢れ出たオーバーフロー電荷に応じた前記電圧信号に対するデジタル化した第１の比較結果信号を出力する第１の比較処理と、前記蓄積期間後の前記転送期間に前記出力ノードに転送された前記光電変換素子の蓄積電荷に応じた前記電圧信号に対するデジタル化した第２の比較結果信号を出力する第２の比較処理と、を行い、前記信号処理部は、前記第１の比較処理に応じた第１のアナログデジタル（ＡＤ）変換伝達曲線と第２の比較処理に応じた第２のＡＤ変換伝達曲線を接合する合成処理を行う。
【0017】
本発明の第２の観点は、光電変換を行う画素が配置された画素部と、前記画素部の前記画素から画素信号を読み出す読み出し部と、複数の読み出し信号を合成して、ダイナミックレンジが拡大された合成信号を生成する信号処理部と、を有し、前記画素は、蓄積期間に光電変換により生成した電荷を蓄積する光電変換素子と、前記光電変換素子に蓄積された電荷を前記蓄積期間後の転送期間に転送可能な転送素子と、前記転送素子を通じて前記光電変換素子で蓄積された電荷が転送される出力ノードと、前記出力ノードの電荷を電荷量に応じた電圧信号に変換し、変換した電圧信号を出力する出力バッファ部と、前記出力バッファ部による電圧信号と参照電圧とを比較し、デジタル化した比較結果信号を出力する比較処理を行う比較器と、前記比較器の比較結果信号に応じたデータを記憶するメモリ部と、を含む固体撮像装置の駆動方法であって、前記画素の画素信号を読み出す場合、前記比較器において、前記読み出し部の制御の下、前記蓄積期間に前記光電変換素子から前記出力ノードに溢れ出たオーバーフロー電荷に応じた前記電圧信号に対するデジタル化した第１の比較結果信号を出力する第１の比較処理を行い、前記蓄積期間後の前記転送期間に前記出力ノードに転送された前記光電変換素子の蓄積電荷に応じた前記電圧信号に対するデジタル化した第２の比較結果信号を出力する第２の比較処理を行い、前記信号処理部において、前記第１の比較処理に応じた第１のアナログデジタル（ＡＤ）変換伝達曲線と第２の比較処理に応じた第２のＡＤ変換伝達曲線を接合する合成処理を行う。
【0018】
本発明の第３の観点の電子機器は、固体撮像装置と、前記固体撮像装置に被写体像を結像する光学系と、を有し、前記固体撮像装置は、光電変換を行う画素が配置された画素部と、前記画素部の前記画素から画素信号を読み出す読み出し部と、複数の読み出し信号を合成して、ダイナミックレンジが拡大された合成信号を生成する信号処理部と、を有し、前記画素は、蓄積期間に光電変換により生成した電荷を蓄積する光電変換素子と、前記光電変換素子に蓄積された電荷を前記蓄積期間後の転送期間に転送可能な転送素子と、前記転送素子を通じて前記光電変換素子で蓄積された電荷が転送される出力ノードと、前記出力ノードの電荷を電荷量に応じた電圧信号に変換し、変換した電圧信号を出力する出力バッファ部と、前記出力バッファ部による電圧信号と参照電圧とを比較し、デジタル化した比較結果信号を出力する比較処理を行う比較器と、前記比較器の比較結果信号に応じたデータを記憶するメモリ部と、を含み、前記比較器は、前記読み出し部の制御の下、前記蓄積期間に前記光電変換素子から前記出力ノードに溢れ出たオーバーフロー電荷に応じた前記電圧信号に対するデジタル化した第１の比較結果信号を出力する第１の比較処理と、前記蓄積期間後の前記転送期間に前記出力ノードに転送された前記光電変換素子の蓄積電荷に応じた前記電圧信号に対するデジタル化した第２の比較結果信号を出力する第２の比較処理と、を行い、前記信号処理部は、前記第１の比較処理に応じた第１のアナログデジタル（ＡＤ）変換伝達曲線と第２の比較処理に応じた第２のＡＤ変換伝達曲線を接合する合成処理を行う。
【発明の効果】
【0019】
本発明によれば、組み合わせようとする複数の信号のスムーズな切り替え（接続）が可能で、画像劣化を抑止しつつ実質的に広ダイナミックレンジ化、高フレームレート化を実現することが可能となる。
また、本発明によれば、組み合わせようとする複数の信号のスムーズな切り替え（接続）が可能で、画像劣化を抑止しつつ実質的に広ダイナミックレンジ化、高フレームレート化を実現することが可能で、しかも低ノイズ化を図れ、有効画素領域を最大限に拡大することができ、コストあたりの価値を最大限に高めることが可能となる。
また、本発明によれば、組み合わせようとする複数の信号のスムーズな切り替え（接続）が可能で、画像劣化を抑止しつつ実質的に広ダイナミックレンジ化、高フレームレート化を実現することが可能で、しかも低ノイズ化を図れ、有効画素領域を最大限に拡大することができ、コストあたりの価値を最大限に高めることが可能となる。
【図面の簡単な説明】
【0020】
【図1】本発明の第１の実施形態に係る固体撮像装置の構成例を示すブロック図である。
【図2】本発明の第１の実施形態に係る固体撮像装置の画素部のデジタル画素アレイの一例を示す図である。
【図3】本発明の第１の実施形態に係る固体撮像装置の画素の一例を示す回路図である。
【図4】本発明の第１の実施形態に係るデジタル画素の主要部である電荷蓄積転送系の構成例を示す簡略断面図およびオーバーフロー時のポテンシャル図である。
【図5】本実施形態に係る比較器の第１の比較処理を説明するための図である。
【図6】本実施形態に係る比較器の第１の比較処理を説明するための図であって、参照電圧の他のパターン例を説明するための図である。
【図7】本実施形態に係る比較器に種々の参照電圧を入力した場合の光時間変換の状態を示す図である。
【図8】本発明の第１の実施形態に係るデジタル画素における光応答カバレッジを示す図である。
【図9】本発明の第１の実施形態に係るメモリ部および出力回路の構成例を示す図である。
【図10】本発明の第１の実施形態に係る固体撮像装置におけるフレーム読み出しシーケンスの一例を示す図である。
【図11】本実施形態に係る固体撮像装置のＦＷＣ情報をオンラインで測定する第１の測定方法を説明するための図である。
【図12】本実施形態に係る固体撮像装置のＦＷＣ情報をオフラインで測定する第２の測定方法を説明するための図である。
【図13】本実施形態に係る固体撮像装置において参照電圧が線形(リニア)のランプ状参照電圧である場合の信号処理部における第１の合成処理方法を説明するため図である。
【図14】変調された非線形のランプ状参照電圧を、ランプ波形は線形で、ＡＤ変換コードステップを変調して生成する方法の一例を示す図である。
【図15】本実施形態に係る固体撮像装置において参照電圧が変調された非線形のランプ状参照電圧である場合の信号処理部における第２の合成処理方法を説明するため図である。
【図16】本実施形態に係る固体撮像装置において参照電圧が変調された非線形のランプ状参照電圧である場合の信号処理部における第２の合成処理方法を説明するため図であって、ＡＤ変換コードステップを含めて示す図である。
【図17】本発明の実施形態に係るデジタルデジタル再変換処理の一例を示す図である。
【図18】本発明の実施形態に係るデジタルデジタル再変換処理の他例であって、参照電圧が線形のランプ状参照電圧である場合にデジタルデジタル再変換処理を適用する信号処理部における第３の合成処理方法を説明するための図である。
【図19】本実施形態に係る信号処理部の構成例を示す図である。
【図21】本第１の実施形態に係る固体撮像装置の積層構造について説明するための模式図である。
【図22】本第１の実施形態に係る固体撮像装置の積層構造について説明するための簡略断面図である。
【図23】本第１の実施形態に係る固体撮像装置の所定シャッタモード時の主として画素部における読み出し動作を説明するためのタイミングチャートである。
【図24】本第１の実施形態に係る固体撮像装置の所定シャッタモード時の主として画素部における読み出し動作を説明するための動作シーケンスおよびポテンシャル遷移を示す図である。
【図25】本発明の第２の実施形態に係る固体撮像装置を説明するための図であって、タイムスタンプＡＤＣモード動作とリニアＡＤＣモード動作の選択処理の一例を示す図である。
【図26】本発明の第３の実施形態に係る固体撮像装置におけるフレーム読み出しシーケンスの一例を示す図である。
【図27】本第３の実施形態に係る比較器に参照電圧を入力した場合の光時間変換の状態を示す図である。
【図28】本第３の実施形態におけるデジタルコードと光変換による電荷量との関係を示す図である。
【図29】本発明の第４の実施形態に係る固体撮像装置の画素の一例を示す回路図である。
【図30】本発明の実施形態に係る固体撮像装置が適用される電子機器の構成の一例を示す図である。
【発明を実施するための形態】
【0021】
以下、本発明の実施形態を図面に関連付けて説明する。
【0022】
（第１の実施形態）
図１は、本発明の第１の実施形態に係る固体撮像装置の構成例を示すブロック図である。
本実施形態において、固体撮像装置１０は、たとえば画素としてデジタル画素(Digital Pixel)を含むＣＭＯＳイメージセンサにより構成される。
図１は、本発明の第１の実施形態に係る固体撮像装置の構成例を示すブロック図である。
本実施形態において、固体撮像装置１０は、たとえば画素としてデジタル画素(Digital Pixel)を含むＣＭＯＳイメージセンサにより構成される。
【0023】
この固体撮像装置１０は、図１に示すように、撮像部としての画素部２０、垂直走査回路（行走査回路）３０、出力回路４０、タイミング制御回路５０、読み出し部６０、および信号処理部７１０を含むデジタルシグナルプロセッサ(ＤＳＰ : Digital Signal Processor)部７０を主構成要素として有している。
これらの構成要素のうち、たとえば垂直走査回路３０、出力回路４０、およびタイミング制御回路５０により画素信号の読み出し部６０が構成される。
これらの構成要素のうち、たとえば垂直走査回路３０、出力回路４０、およびタイミング制御回路５０により画素信号の読み出し部６０が構成される。
【0024】
本第１の実施形態において、固体撮像装置１０は、画素部２０において、デジタル画素として光電変換読み出し部、ＡＤ（アナログデジタル）変換部、およびメモリ部を含み、グローバルシャッタの動作機能を持つ、たとえば積層型のＣＭＯＳイメージセンサとして構成されている。
本第１の実施形態に係る固体撮像装置１０において、後で詳述するように、各デジタル画素ＤＰがＡＤ変換機能を有しており、ＡＤ変換部は、光電変換読み出し部により読み出される電圧信号と参照電圧とを比較し、デジタル化した比較結果信号を出力する比較処理を行う比較器（コンパレータ）を有している。
比較器は、読み出し部６０の制御の下、蓄積期間に光電変換素子から出力ノード（フローティングディフュージョン）に溢れ出たオーバーフロー電荷に応じた電圧信号に対するデジタル化した第１の比較結果信号を出力する第１の比較処理と、蓄積期間後の転送期間に出力ノードに転送された光電変換素子の蓄積電荷に応じた電圧信号に対するデジタル化した第２の比較結果信号を出力する第２の比較処理と、を行う。
本第１の実施形態に係る固体撮像装置１０において、後で詳述するように、各デジタル画素ＤＰがＡＤ変換機能を有しており、ＡＤ変換部は、光電変換読み出し部により読み出される電圧信号と参照電圧とを比較し、デジタル化した比較結果信号を出力する比較処理を行う比較器（コンパレータ）を有している。
比較器は、読み出し部６０の制御の下、蓄積期間に光電変換素子から出力ノード（フローティングディフュージョン）に溢れ出たオーバーフロー電荷に応じた電圧信号に対するデジタル化した第１の比較結果信号を出力する第１の比較処理と、蓄積期間後の転送期間に出力ノードに転送された光電変換素子の蓄積電荷に応じた電圧信号に対するデジタル化した第２の比較結果信号を出力する第２の比較処理と、を行う。
【0025】
そして、本第１の実施形態においては、ＤＳＰ部７０の信号処理部７１０において、大幅な広ダイナミックレンジ化を図るために第１の比較処理に応じた第１のＡＤ変換伝達曲線と第２の比較処理に応じた第２のＡＤ変換伝達曲線の合成処理を行う。
ただし、第１の比較処理と第２の比較処理は動作が不連続であり、２つのＡＤ変換伝達曲線の接合点でオフセットが発生すること等に起因して、単純な合成処理では２つのＡＤ変換伝達曲線をフムース（滑らか）に接続することは難しい。
そこで、本第１の実施形態において、ＤＳＰ部７０の信号処理部７１０では、第１の比較処理に応じた第１のＡＤ変換伝達曲線信号と第２の比較処理に応じた第２のＡＤ変換伝達曲線信号の傾きを等しくするとともに、第２の比較処理に応じたＡＤ変換伝達曲線信号が飽和する手前すなわち直線性が保たれている領域（たとえば非飽和領域）において、この２種類の信号を合成することで２つのＡＤ変換伝達曲線をフムース（滑らか）に接続して、ダイナミックレンジを拡大した信号である合成信号を取得する。
ただし、第１の比較処理と第２の比較処理は動作が不連続であり、２つのＡＤ変換伝達曲線の接合点でオフセットが発生すること等に起因して、単純な合成処理では２つのＡＤ変換伝達曲線をフムース（滑らか）に接続することは難しい。
そこで、本第１の実施形態において、ＤＳＰ部７０の信号処理部７１０では、第１の比較処理に応じた第１のＡＤ変換伝達曲線信号と第２の比較処理に応じた第２のＡＤ変換伝達曲線信号の傾きを等しくするとともに、第２の比較処理に応じたＡＤ変換伝達曲線信号が飽和する手前すなわち直線性が保たれている領域（たとえば非飽和領域）において、この２種類の信号を合成することで２つのＡＤ変換伝達曲線をフムース（滑らか）に接続して、ダイナミックレンジを拡大した信号である合成信号を取得する。
【0026】
信号処理部７１０は、合成処理において、測定された画素のフルウェルキャパシティ（ＦＷＣ：Full Well Capacity）情報を適用して第１のＡＤ変換伝達曲線と第２のＡＤ変換伝達曲線の接合ギャップを補正する。
適用されるＦＷＣ情報は、少なくとも第２の比較処理で得られるＦＷＣ情報である。
具体的な合成処理については、後で詳述する。
適用されるＦＷＣ情報は、少なくとも第２の比較処理で得られるＦＷＣ情報である。
具体的な合成処理については、後で詳述する。
【0027】
なお、ＦＷＣ(フルウェルキャパシティ)とは、光電変換素子であるフォトダイオードＰＤが受光した光を電荷（たとえば電子）に変換して蓄積（収容）できる容量の上限のことである。
【0028】
以下、固体撮像装置１０の各部の構成および機能の概要、特に、画素部２０およびデジタル画素の構成および機能、それらに関連した読み出し処理、画素部２０と読み出し部６０の積層構造、並びに、ＤＳＰ部７０の信号処理部７１０の２つのＡＤ変換伝達曲線の合成処理等について詳述する。
【0029】
（画素部２０およびデジタル画素２００の構成）
図２は、本発明の第１の実施形態に係る固体撮像装置１０の画素部のデジタル画素アレイの一例を示す図である。
図３は、本発明の第１の実施形態に係る固体撮像装置１０の画素の一例を示す回路図である。
図２は、本発明の第１の実施形態に係る固体撮像装置１０の画素部のデジタル画素アレイの一例を示す図である。
図３は、本発明の第１の実施形態に係る固体撮像装置１０の画素の一例を示す回路図である。
【0030】
画素部２０は、図２に示すように、複数のデジタル画素２００がＮ行Ｍ列の行列状（マトリクス状）に配列されている。
なお、図２においては、図面の簡単化のため、９つのデジタル画素２００が３行３列の行列状（Ｍ＝３、Ｎ＝３のマトリクス状）に配置されている例が示されている。
なお、図２においては、図面の簡単化のため、９つのデジタル画素２００が３行３列の行列状（Ｍ＝３、Ｎ＝３のマトリクス状）に配置されている例が示されている。
【0031】
本第１の実施形態に係るデジタル画素２００は、光電変換読み出し部（図２ではＰＤと表記）２１０、ＡＤ変換部（図２ではＡＤＣと表記）２２０、およびメモリ部（図２ではＭＥＭと表記）２３０を含んで構成されている。
本第１の実施形態の画素部２０は、後で詳述するように、第１の基板１１０と第２の基板１２０の積層型のＣＭＯＳイメージセンサとして構成されるが、本例では、図３に示すように、第１の基板１１０に光電変換読み出し部２１０が形成され、第２の基板１２０にＡＤ変換部２２０およびメモリ部２３０が形成されている。
本第１の実施形態の画素部２０は、後で詳述するように、第１の基板１１０と第２の基板１２０の積層型のＣＭＯＳイメージセンサとして構成されるが、本例では、図３に示すように、第１の基板１１０に光電変換読み出し部２１０が形成され、第２の基板１２０にＡＤ変換部２２０およびメモリ部２３０が形成されている。
【0032】
デジタル画素２００の光電変換読み出し部２１０は、フォトダイオード（光電変換素子）と画素内アンプとを含んで構成される。
具体的には、この光電変換読み出し部２１０は、たとえば光電変換素子であるフォトダイオードＰＤ１を有する。
このフォトダイオードＰＤ１に対して、転送素子としての転送トランジスタＴＧ１－Ｔｒ、リセット素子としてのリセットトランジスタＲＳＴ１－Ｔｒ、ソースフォロワ素子としてのソースフォロワトランジスタＳＦ１－Ｔｒ、電流源素子としてのカレントトランジスタＩＣ１－Ｔｒ，出力ノードＮＤ１としてのフローティングディフュージョンＦＤ１，および読み出しノードＮＤ２をそれぞれ一つずつ有する。
このように、第１の実施形態に係るデジタル画素２００の光電変換読み出し部２１０は、転送トランジスタＴＧ１－Ｔｒ、リセットトランジスタＲＳＴ１－Ｔｒ、ソースフォロワトランジスタＳＦ１－Ｔｒ、およびカレントトランジスタＩＣ１－Ｔｒの４トランジスタ（４Ｔｒ）を含んで構成されている。
具体的には、この光電変換読み出し部２１０は、たとえば光電変換素子であるフォトダイオードＰＤ１を有する。
このフォトダイオードＰＤ１に対して、転送素子としての転送トランジスタＴＧ１－Ｔｒ、リセット素子としてのリセットトランジスタＲＳＴ１－Ｔｒ、ソースフォロワ素子としてのソースフォロワトランジスタＳＦ１－Ｔｒ、電流源素子としてのカレントトランジスタＩＣ１－Ｔｒ，出力ノードＮＤ１としてのフローティングディフュージョンＦＤ１，および読み出しノードＮＤ２をそれぞれ一つずつ有する。
このように、第１の実施形態に係るデジタル画素２００の光電変換読み出し部２１０は、転送トランジスタＴＧ１－Ｔｒ、リセットトランジスタＲＳＴ１－Ｔｒ、ソースフォロワトランジスタＳＦ１－Ｔｒ、およびカレントトランジスタＩＣ１－Ｔｒの４トランジスタ（４Ｔｒ）を含んで構成されている。
【0033】
そして、本第１の実施形態においては、ソースフォロワトランジスタＳＦ１－Ｔｒ、カレントトランジスタＩＣ１－Ｔｒ、および読み出しノードＮＤ２を含んで出力バッファ部２１１が構成されている。
【0034】
本第１の実施形態に係る光電変換読み出し部２１０は、出力バッファ部２１１の読み出しノードＮＤ２がＡＤ変換部２２０の入力部に接続されている。
光電変換読み出し部２１０は、出力ノードとしてのフローティングディフュージョンＦＤ１の電荷を電荷量に応じた電圧信号に変換し、変換した電圧信号ＶＳＬをＡＤ変換部２２０に出力する。
光電変換読み出し部２１０は、出力ノードとしてのフローティングディフュージョンＦＤ１の電荷を電荷量に応じた電圧信号に変換し、変換した電圧信号ＶＳＬをＡＤ変換部２２０に出力する。
【0035】
より具体的には、光電変換読み出し部２１０は、ＡＤ変換部２２０の第１の比較処理期間ＰＣＭＰ１において、蓄積期間ＰＩに光電変換素子であるフォトダイオードＰＤ１から出力ノードとしてのフローティングディフュージョンＦＤ１に溢れ出たオーバーフロー電荷に応じた電圧信号ＶＳＬを出力する。
【0036】
さらに、光電変換読み出し部２１０は、ＡＤ変換部２２０の第２の比較処理期間ＰＣＭＰ２において、蓄積期間ＰＩ後の転送期間ＰＴに出力ノードとしてのフローティングディフュージョンＦＤ１に転送されたフォトダイオードＰＤ１の蓄積電荷に応じた電圧信号ＶＳＬを出力する。
光電変換読み出し部２１０は、第２の比較処理期間ＰＣＭＰ２において、画素信号としての読み出しリセット信号(信号電圧)（ＶＲＳＴ）および読み出し信号(信号電圧)（ＶＳＩＧ）をＡＤ変換部２２０に出力する。
光電変換読み出し部２１０は、第２の比較処理期間ＰＣＭＰ２において、画素信号としての読み出しリセット信号(信号電圧)（ＶＲＳＴ）および読み出し信号(信号電圧)（ＶＳＩＧ）をＡＤ変換部２２０に出力する。
【0037】
フォトダイオードＰＤ１は、入射光量に応じた量の信号電荷（ここでは電子）を発生し、蓄積する。
以下、信号電荷は電子であり、各トランジスタがｎ型トランジスタである場合について説明するが、信号電荷が正孔（ホール）であったり、各トランジスタがｐ型トランジスタであっても構わない。
また、本実施形態は、複数のフォトダイオードおよび転送トランジスタ間で、各トランジスタを共有している場合にも有効である。
以下、信号電荷は電子であり、各トランジスタがｎ型トランジスタである場合について説明するが、信号電荷が正孔（ホール）であったり、各トランジスタがｐ型トランジスタであっても構わない。
また、本実施形態は、複数のフォトダイオードおよび転送トランジスタ間で、各トランジスタを共有している場合にも有効である。
【0038】
各デジタル画素２００において、フォトダイオード（ＰＤ）としては、埋め込み型フォトダイオード（ＰＰＤ）が用いられる。
フォトダイオード（ＰＤ）を形成する基板表面にはダングリングボンドなどの欠陥による表面準位が存在するため、熱エネルギーによって多くの電荷（暗電流）が発生し、正しい信号が読み出せなくなってしまう。
埋め込み型フォトダイオード（ＰＰＤ）では、フォトダイオード（ＰＤ）の電荷蓄積部を基板内に埋め込むことで、暗電流の信号への混入を低減することが可能となる。
フォトダイオード（ＰＤ）を形成する基板表面にはダングリングボンドなどの欠陥による表面準位が存在するため、熱エネルギーによって多くの電荷（暗電流）が発生し、正しい信号が読み出せなくなってしまう。
埋め込み型フォトダイオード（ＰＰＤ）では、フォトダイオード（ＰＤ）の電荷蓄積部を基板内に埋め込むことで、暗電流の信号への混入を低減することが可能となる。
【0039】
光電変換読み出し部２１０の転送トランジスタＴＧ１－Ｔｒは、フォトダイオードＰＤ１とフローティングディフュージョンＦＤ１の間に接続され、制御線を通じてゲートに印加される制御信号ＴＧにより制御される。
転送トランジスタＴＧ１－Ｔｒは、制御信号ＴＧがハイ（Ｈ）レベルの転送期間ＰＴに選択されて導通状態となり、フォトダイオードＰＤ１で光電変換され蓄積された電荷（電子）をフローティングディフュージョンＦＤ１に転送する。
なお、フォトダイオードＰＤ１およびフローティングディフュージョンＦＤ１が所定のリセット電位にリセットされた後、転送トランジスタＴＧ１－Ｔｒは、制御信号ＴＧがロー（Ｌ）レベルの非導通状態となり、フォトダイオードＰＤ１は蓄積期間ＰＩとなるが、このとき、入射する光の強度（量）が非常に高い場合、飽和電荷量を超えた電荷が転送トランジスタＴＧ１―Ｔｒ下のオーバーフローパスを通じてオーバーフロー電荷としてフローティングディフュージョンＦＤ１に溢れ出す。
転送トランジスタＴＧ１－Ｔｒは、制御信号ＴＧがハイ（Ｈ）レベルの転送期間ＰＴに選択されて導通状態となり、フォトダイオードＰＤ１で光電変換され蓄積された電荷（電子）をフローティングディフュージョンＦＤ１に転送する。
なお、フォトダイオードＰＤ１およびフローティングディフュージョンＦＤ１が所定のリセット電位にリセットされた後、転送トランジスタＴＧ１－Ｔｒは、制御信号ＴＧがロー（Ｌ）レベルの非導通状態となり、フォトダイオードＰＤ１は蓄積期間ＰＩとなるが、このとき、入射する光の強度（量）が非常に高い場合、飽和電荷量を超えた電荷が転送トランジスタＴＧ１―Ｔｒ下のオーバーフローパスを通じてオーバーフロー電荷としてフローティングディフュージョンＦＤ１に溢れ出す。
【0040】
リセットトランジスタＲＳＴ１－Ｔｒは、電源電圧ＶＤＤの電源線ＶｄｄとフローティングディフュージョンＦＤ１の間に接続され、制御線を通じてゲートに印加される制御信号ＲＳＴにより制御される。
リセットトランジスタＲＳＴ１－Ｔｒは、制御信号ＲＳＴがＨレベルのリセット期間に選択されて導通状態となり、フローティングディフュージョンＦＤ１を電源電圧ＶＤＤの電源線Ｖｄｄの電位にリセットする。
リセットトランジスタＲＳＴ１－Ｔｒは、制御信号ＲＳＴがＨレベルのリセット期間に選択されて導通状態となり、フローティングディフュージョンＦＤ１を電源電圧ＶＤＤの電源線Ｖｄｄの電位にリセットする。
【0041】
ソースフォロワ素子としてのソースフォロワトランジスタＳＦ１－Ｔｒは、ソースが読み出しノードＮＤ２に接続され、ドレイン側が電源線Ｖｄｄに接続され、ゲートがフローティングディフュージョンＦＤ１に接続されている。
読み出しノードＮＤ２と基準電位ＶＳＳ（たとえばＧＮＤ）の間に電流源素子としてのカレントトランジスタＩＣ１－Ｔｒのドレイン、ソースが接続されている。カレントトランジスタＩＣ１－Ｔｒのゲートは制御信号ＶＢＮＰＩＸの供給ラインに接続されている。
そして、読み出しノードＮＤ２とＡＤ変換部２２０の入力部間の信号線ＬＳＧＮ１は、電流源素子としてのカレントトランジスタＩＣ１－Ｔｒにより駆動される。
読み出しノードＮＤ２と基準電位ＶＳＳ（たとえばＧＮＤ）の間に電流源素子としてのカレントトランジスタＩＣ１－Ｔｒのドレイン、ソースが接続されている。カレントトランジスタＩＣ１－Ｔｒのゲートは制御信号ＶＢＮＰＩＸの供給ラインに接続されている。
そして、読み出しノードＮＤ２とＡＤ変換部２２０の入力部間の信号線ＬＳＧＮ１は、電流源素子としてのカレントトランジスタＩＣ１－Ｔｒにより駆動される。
【0042】
図４（Ａ）および（Ｂ）は、本発明の第１の実施形態に係るデジタル画素の主要部である電荷蓄積転送系の構成例を示す簡略断面図およびオーバーフロー時のポテンシャル図である。
【0043】
各デジタル画素セルＰＸＬＣは、光Ｌが照射される第１基板面１１０１側（たとえば裏面側）と、この第１基板面１１０１側と対向する側の第２基板面１１０２側とを有する半導体基板（本例では第１の基板１１０）に形成され、分離層ＳＰＬにより分離されている。
そして、図４のデジタル画素セルＰＸＬＣは、光電変換読み出し部２１０を形成するフォトダイオードＰＤ１、転送トランジスタＴＧ１－Ｔｒ、フローティングディフュージョンＦＤ１、リセットトランジスタＲＳＴ１－Ｔｒ、分離層ＳＰＬ、さらには図示しないカラーフィルタ部およびマイクロレンズを含んで構成されている。
そして、図４のデジタル画素セルＰＸＬＣは、光電変換読み出し部２１０を形成するフォトダイオードＰＤ１、転送トランジスタＴＧ１－Ｔｒ、フローティングディフュージョンＦＤ１、リセットトランジスタＲＳＴ１－Ｔｒ、分離層ＳＰＬ、さらには図示しないカラーフィルタ部およびマイクロレンズを含んで構成されている。
【0044】
（フォトダイオードの構成）
フォトダイオードＰＤ１は、第１基板面１１０１側と、第１基板面１１０１側と対向する側の第２基板面１１０２側とを有する半導体基板に対して埋め込むように形成された第１導電型（本実施形態ではｎ型）半導体層（本実施形態ではｎ層）２１０１を含み、受光した光の光電変換機能および電荷蓄積機能を有するように形成されている。
フォトダイオードＰＤ１の基板の法線に直交する方向（Ｘ方向）における側部には第２の導電型（本実施形態ではｐ型）分離層ＳＰＬが形成されている。
フォトダイオードＰＤ１は、第１基板面１１０１側と、第１基板面１１０１側と対向する側の第２基板面１１０２側とを有する半導体基板に対して埋め込むように形成された第１導電型（本実施形態ではｎ型）半導体層（本実施形態ではｎ層）２１０１を含み、受光した光の光電変換機能および電荷蓄積機能を有するように形成されている。
フォトダイオードＰＤ１の基板の法線に直交する方向（Ｘ方向）における側部には第２の導電型（本実施形態ではｐ型）分離層ＳＰＬが形成されている。
【0045】
このように、本実施形態では、各デジタル画素セルＰＸＬＣにおいて、フォトダイオード（ＰＤ）としては、埋め込み型フォトダイオード（ＰＰＤ）が用いられる。
フォトダイオード（ＰＤ）を形成する基板表面にはダングリングボンドなどの欠陥による表面準位が存在するため、熱エネルギーによって多くの電荷（暗電流）が発生し、正しい信号が読み出せなくなってしまう。
埋め込み型フォトダイオード（ＰＰＤ）では、フォトダイオード（ＰＤ）の電荷蓄積部を基板内に埋め込むことで、暗電流の信号への混入を低減することが可能となる。
フォトダイオード（ＰＤ）を形成する基板表面にはダングリングボンドなどの欠陥による表面準位が存在するため、熱エネルギーによって多くの電荷（暗電流）が発生し、正しい信号が読み出せなくなってしまう。
埋め込み型フォトダイオード（ＰＰＤ）では、フォトダイオード（ＰＤ）の電荷蓄積部を基板内に埋め込むことで、暗電流の信号への混入を低減することが可能となる。
【0046】
図４のフォトダイオードＰＤ１においては、ｎ層（第１導電型半導体層）２１０１が、基板１１０の法線方向（図中の直交座標系のＺ方向）に２層構造を持つように構成されている。
本例では、第１基板面１１０１側にｎ－層２１０２が形成され、このｎ－層２１０２の第２基板面１１０２側にｎ層２１０３が形成され、このｎ－層２１０３の第２基板面１１０２側にｐ＋層２１０４およびｐ層２１０５が形成されている。
また、ｎ－層２１０２の第１基板面１１０１側にｐ＋層２１０６が形成されている。
ｐ＋層２１０６は、フォトダイオードＰＤ１のみならず分離層ＳＰＬ、さらには他のデジタル画素セルＰＸＬＣにわたって一様に形成されている。
本例では、第１基板面１１０１側にｎ－層２１０２が形成され、このｎ－層２１０２の第２基板面１１０２側にｎ層２１０３が形成され、このｎ－層２１０３の第２基板面１１０２側にｐ＋層２１０４およびｐ層２１０５が形成されている。
また、ｎ－層２１０２の第１基板面１１０１側にｐ＋層２１０６が形成されている。
ｐ＋層２１０６は、フォトダイオードＰＤ１のみならず分離層ＳＰＬ、さらには他のデジタル画素セルＰＸＬＣにわたって一様に形成されている。
【0047】
なお、このＰ＋層２１０６の光入射側には、カラーフィルタ部が形成され、さらに、カラーフィルタ部の光入射射側であって、フォトダイオードＰＤ１および分離層ＳＰＬの一部に対応するようにマイクロレンズが形成されている。
【0048】
これらの構成は一例であり、単層構造であってもよく、また、３層、４層以上の積層構造であってもよい。
【0049】
（Ｘ方向（列方向）における分離層の構成）
図４のＸ方向（列方向）におけるｐ型分離層ＳＰＬにおいては、フォトダイオードＰＤ１のｎ－層２１０２と接する側であって基板の法線に直交する方向（図中の直交座標系のＸ方向）の右側部に、第１のｐ層（第２導電型半導体層）２１０７が形成されている。
さらに、ｐ型分離層ＳＰＬにおいては、第１のｐ層２１０７のＸ方向の右側に、第２のｐ層（第２導電型半導体層）２１０８が、基板１１０の法線方向（図中の直交座標系のＺ方向）に２層構造を持つように構成されている。
本例では、第２のｐ層２１０８において、第１基板面１１０１側にｐ－層２１０９が形成され、このｐ－層２１０９の第２基板面１１０２側にｐ層２１１０が形成されている。
図４のＸ方向（列方向）におけるｐ型分離層ＳＰＬにおいては、フォトダイオードＰＤ１のｎ－層２１０２と接する側であって基板の法線に直交する方向（図中の直交座標系のＸ方向）の右側部に、第１のｐ層（第２導電型半導体層）２１０７が形成されている。
さらに、ｐ型分離層ＳＰＬにおいては、第１のｐ層２１０７のＸ方向の右側に、第２のｐ層（第２導電型半導体層）２１０８が、基板１１０の法線方向（図中の直交座標系のＺ方向）に２層構造を持つように構成されている。
本例では、第２のｐ層２１０８において、第１基板面１１０１側にｐ－層２１０９が形成され、このｐ－層２１０９の第２基板面１１０２側にｐ層２１１０が形成されている。
【0050】
これらの構成は一例であり、単層構造であってもよく、また、３層、４層以上の積層構造であってもよい。
【0051】
ｐ型分離層ＳＰＬの第１のｐ層２１０７および第２のｐ－層２１０９の第１の基板面１１０１側にはフォトダイオード２１１０と同様のｐ＋層２１０６が形成されている。
【0052】
ｐ型分離層ＳＰＬの第１のｐ層２１０７の第２の基板面１１０２側の一部にかかりオーバーフローパスＯＶＰが形成されるように、ｎ層２１０３が延長するように形成されている。
そして、ｎ層２１０３の第２基板面１１０２側のｐ層２１０５上に、ゲート絶縁膜を介して転送トランジスタＴＧ１－Ｔｒのゲート電極２１１１が形成されている。
さらに、ｐ型分離層ＳＰＬの第１のｐ層２１０７の第２の基板面１１０２側にはフローティングディフュージョンＦＤ１となるｎ＋層２１１２が形成され、ｎ＋層２１１２に隣接してリセットトランジスタＲＳＴ１－Ｔｒのチャネル形成領域となるｐ層２１１３、ｐ層２１１３に隣接してｎ＋層２１１４が形成されている。
そして、ｐ層２１１３上に、ゲート絶縁膜を介してゲート電極２１１５が形成されている。
そして、ｎ層２１０３の第２基板面１１０２側のｐ層２１０５上に、ゲート絶縁膜を介して転送トランジスタＴＧ１－Ｔｒのゲート電極２１１１が形成されている。
さらに、ｐ型分離層ＳＰＬの第１のｐ層２１０７の第２の基板面１１０２側にはフローティングディフュージョンＦＤ１となるｎ＋層２１１２が形成され、ｎ＋層２１１２に隣接してリセットトランジスタＲＳＴ１－Ｔｒのチャネル形成領域となるｐ層２１１３、ｐ層２１１３に隣接してｎ＋層２１１４が形成されている。
そして、ｐ層２１１３上に、ゲート絶縁膜を介してゲート電極２１１５が形成されている。
【0053】
このような構造において、入射する光の強度（量）が非常に高い場合、飽和電荷量を超えた電荷が転送トランジスタＴＧ１―Ｔｒ下のオーバーフローパスＯＶＰを通じてオーバーフロー電荷としてフローティングディフュージョンＦＤ１に溢れ出す。
【0054】
デジタル画素２００のＡＤ変換部２２０は、光電変換読み出し部２１０により出力されるアナログの電圧信号ＶＳＬを、所定の傾きを持たせて変化させたランプ波形または固定電圧の参照電圧ＶＲＥＦと比較して、デジタル信号に変換する機能を有する。
【0055】
ＡＤ変換部２２０は、図３に示すように、比較器（ＣＯＭＰ）２２１、カウンタ（ＣＮＴ）２２２、入力側結合キャパシタＣ２２１、出力側の負荷キャパシタＣ２２２、およびリセットスイッチＳＷ－ＲＳＴを含んで構成されている。
【0056】
比較器２２１は、第１の入力端子としての反転入力端子（－）に、光電変換読み出し部２１０の出力バッファ部２１１から信号線ＬＳＧＮ１に出力された電圧信号ＶＳＬが供給され、第２の入力端子としての非反転入力端子（＋）に参照電圧ＶＲＥＦが供給され、電圧信号ＶＳＴと参照電圧ＶＲＥＦとを比較し、デジタル化した比較結果信号ＳＣＭＰを出力する比較処理を行う．
【0057】
比較器２２１は、第１の入力端子としての反転入力端子（－）に結合キャパシタＣ２２１が接続されており、第１の基板１１０側の光電変換読み出し部２１０の出力バッファ部２１１と第２の基板１１２０側のＡＤ変換部２２０の比較器２２１の入力部をＡＣ結合することにより、低ノイズ化を図り、低照度時に高ＳＮＲを実現可能なように構成されている。
【0058】
また、比較器２２１は、出力端子と第１の入力端子としての反転入力端子（－）との間にリセットスイッチＳＷ－ＲＳＴが接続され、出力端子と基準電位ＶＳＳとの間に負荷キャパシタＣ２２２が接続されている。
【0059】
基本的に、ＡＤ変換部２２０においては、光電変換読み出し部２１０の出力バッファ部２１１から信号線ＬＳＧＮ１に読み出されたアナログ信号（電位ＶＳＬ）は比較器２２１で参照電圧ＶＲＥＦ、たとえばある傾きを持った線形または非線形に変化するスロープ波形であるランプ信号ＲＡＭＰと比較される。
このとき、比較器２２１と同様に列毎に配置された、たとえばカウンタ２２２が動作しており、ランプ波形のあるランプ信号ＲＡＭＰとカウンタ値が一対一の対応を取りながら変化することで電圧信号ＶＳＬをデジタル信号に変換する。
基本的に、ＡＤ変換部２２０は、参照電圧ＶＲＥＦ（たとえばランプ信号ＲＡＭＰ）の変化は電圧の変化を時間の変化に変換するものであり、その時間をある周期(クロック)で数えることでデジタル値に変換する。
そして、アナログ信号ＶＳＬとランプ信号ＲＡＭＰ（参照電圧ＶＲＥＦ）が交わったとき、比較器２２１の出力が反転し、カウンタ２２２の入力クロックを停止し、または、入力を停止していたクロックをカウンタ２２２に入力し、そのときのカウンタ２２２の値（データ）がメモリ部２３０に記憶されてＡＤ変換を完了させる。
以上のＡＤ変換期間終了後、各デジタル画素２００のメモリ部２３０に格納されたデータ（信号）は出力回路４０からＤＳＰ部７０に出力され、所定の信号処理により２次元画像が生成される。
このとき、比較器２２１と同様に列毎に配置された、たとえばカウンタ２２２が動作しており、ランプ波形のあるランプ信号ＲＡＭＰとカウンタ値が一対一の対応を取りながら変化することで電圧信号ＶＳＬをデジタル信号に変換する。
基本的に、ＡＤ変換部２２０は、参照電圧ＶＲＥＦ（たとえばランプ信号ＲＡＭＰ）の変化は電圧の変化を時間の変化に変換するものであり、その時間をある周期(クロック)で数えることでデジタル値に変換する。
そして、アナログ信号ＶＳＬとランプ信号ＲＡＭＰ（参照電圧ＶＲＥＦ）が交わったとき、比較器２２１の出力が反転し、カウンタ２２２の入力クロックを停止し、または、入力を停止していたクロックをカウンタ２２２に入力し、そのときのカウンタ２２２の値（データ）がメモリ部２３０に記憶されてＡＤ変換を完了させる。
以上のＡＤ変換期間終了後、各デジタル画素２００のメモリ部２３０に格納されたデータ（信号）は出力回路４０からＤＳＰ部７０に出力され、所定の信号処理により２次元画像が生成される。
【0060】
（比較器２２１のおける第１の比較処理および第２の比較処理）
そして、本第１の実施形態のＡＤ変換部２２０の比較器２２１は、画素信号の読み出し期間に次の２つの第１の比較処理および第２の比較処理を行うように、読み出し部６０により駆動制御される。
そして、本第１の実施形態のＡＤ変換部２２０の比較器２２１は、画素信号の読み出し期間に次の２つの第１の比較処理および第２の比較処理を行うように、読み出し部６０により駆動制御される。
【0061】
第１の比較処理ＣＭＰＲ１において、比較器２２１は、読み出し部６０の制御の下、蓄積期間ＰＩに光電変換素子であるフォトダイオードＰＤ１から出力ノードであるフローティングフュージョンＦＤ１に溢れ出たオーバーフロー電荷に応じた電圧信号ＶＳＬ１に対するデジタル化した第１の比較結果信号ＳＣＭＰ１を出力する。
なお、この第１の比較処理ＣＭＰＲ１の動作を、タイムスタンプＡＤＣ（ＴＳ－ＡＤＣ）モードの動作ともいう。
なお、この第１の比較処理ＣＭＰＲ１の動作を、タイムスタンプＡＤＣ（ＴＳ－ＡＤＣ）モードの動作ともいう。
【0062】
第２の比較処理ＣＭＰＲ２において、比較器２２１は、読み出し部６０の制御の下、蓄積期間ＰＩ後の転送期間ＰＴに出力ノードであるフローティングフュージョンＦＤ１に転送されたフォトダイオードＰＤ１の蓄積電荷に応じた電圧信号ＶＳＬ２（ＶＳＩＧ）に対するデジタル化した第２の比較結果信号ＳＣＭＰ２を出力する。
実際には、第２の比較処理ＣＭＰＲ２において、蓄積電荷に応じた電圧信号ＶＳＬ２（ＶＳＩＧ）に対するデジタル化の前に、リセット時のフローティングディフュージョンＦＤ１のリセット電圧に応じた電圧信号ＶＳＬ２（ＶＲＳＴ）に対するデジタル化を行う。
なお、この第２の比較処理ＣＭＰＲ２の動作を、リニアＡＤＣ（ＬＩＮ－ＡＤＣ）モードの動作ともいう。
実際には、第２の比較処理ＣＭＰＲ２において、蓄積電荷に応じた電圧信号ＶＳＬ２（ＶＳＩＧ）に対するデジタル化の前に、リセット時のフローティングディフュージョンＦＤ１のリセット電圧に応じた電圧信号ＶＳＬ２（ＶＲＳＴ）に対するデジタル化を行う。
なお、この第２の比較処理ＣＭＰＲ２の動作を、リニアＡＤＣ（ＬＩＮ－ＡＤＣ）モードの動作ともいう。
【0063】
なお、本実施形態において、基本的に、蓄積期間ＰＩは、フォトダイオードＰＤ１およびフローティングディフュージョンＦＤ１がリセットレベルにリセットされてから、転送トランジスタＴＧ１－Ｔｒが導通状態に切り替えられて転送期間ＰＴが開始されるまでの期間である。
第１の比較処理ＣＭＰＲ１の期間ＰＣＭＰＲ１は、フォトダイオードＰＤ１およびフローティングディフュージョンＦＤ１がリセットレベルにリセットされてから、転送期間ＰＴが開始される前に、フローティングディフュージョンＦＤ１がリセットレベルにリセットされるまでの期間である。
第２の比較処理ＣＭＰＲ２の期間ＰＣＭＰＲ２は、フローティングディフュージョンＦＤ１がリセットレベルにリセットされた後の期間であって、転送期間ＰＴ後の期間を含む期間である。
第１の比較処理ＣＭＰＲ１の期間ＰＣＭＰＲ１は、フォトダイオードＰＤ１およびフローティングディフュージョンＦＤ１がリセットレベルにリセットされてから、転送期間ＰＴが開始される前に、フローティングディフュージョンＦＤ１がリセットレベルにリセットされるまでの期間である。
第２の比較処理ＣＭＰＲ２の期間ＰＣＭＰＲ２は、フローティングディフュージョンＦＤ１がリセットレベルにリセットされた後の期間であって、転送期間ＰＴ後の期間を含む期間である。
【0064】
ここで、第１の比較処理ＣＭＰＲ１についてさらに詳述する。
図５は、本実施形態に係る比較器２２１の第１の比較処理ＣＭＰＲ１を説明するための図である。
図５において、横軸が時間を示し、縦軸が出力ノードであるフローティングディフュージョンＦＤ１の電圧レベルＶＦＤを示している。
図５は、本実施形態に係る比較器２２１の第１の比較処理ＣＭＰＲ１を説明するための図である。
図５において、横軸が時間を示し、縦軸が出力ノードであるフローティングディフュージョンＦＤ１の電圧レベルＶＦＤを示している。
【0065】
フローティングディフュージョンＦＤ１の電圧レベルＶＦＤは、リセットレベルのときが電荷量が最も少なく電圧レベルＶＦＤは最も高いレベルＶＦＤｉｎｉとなる。
一方、飽和状態のときが電荷量が多く、電圧レベルＶＦＤは低いレベルＶＦＤｓａｔとなる。
このような条件に従って、比較器２２１の参照電圧ＶＲＥＦ１を、飽和状態となる手前の非飽和状態時のレベルに固定した電圧ＶＲＥＦｓａｔに設定する、あるいはリセットレベル時の電圧レベルＶＲＥＦｒｓｔから電圧レベルＶＲＥＦｓａｔに至るランプ電圧ＶＲＥＦｒａｍｐに設定する。
一方、飽和状態のときが電荷量が多く、電圧レベルＶＦＤは低いレベルＶＦＤｓａｔとなる。
このような条件に従って、比較器２２１の参照電圧ＶＲＥＦ１を、飽和状態となる手前の非飽和状態時のレベルに固定した電圧ＶＲＥＦｓａｔに設定する、あるいはリセットレベル時の電圧レベルＶＲＥＦｒｓｔから電圧レベルＶＲＥＦｓａｔに至るランプ電圧ＶＲＥＦｒａｍｐに設定する。
【0066】
第１の比較処理ＣＭＰＲ１のときに、このような参照電圧ＶＲＥＦ１がＶＲＥＦｓａｔまたはＶＲＥＦｒａｍｐに設定されると、図５に示すように、入射光の強度が高い高照度のときほど電荷量が多いため比較器２２１の出力がフリップ（反転）する時間が速い。
最も高い照度の例ＥＸＰ１の場合には、比較器２２１の出力が時刻ｔ１に直ちにフリップ（反転）する。
例ＥＸＰ１より低い照度の例ＥＸＰ２の場合には、比較器２２１の出力が時刻ｔ１より遅い時刻ｔ２にフリップ（反転）する。
例ＥＸＰ２より低い照度の例ＥＸＰ３の場合には、比較器２２１の出力が時刻ｔ２より遅い時刻ｔ３にフリップ（反転）する。
最も高い照度の例ＥＸＰ１の場合には、比較器２２１の出力が時刻ｔ１に直ちにフリップ（反転）する。
例ＥＸＰ１より低い照度の例ＥＸＰ２の場合には、比較器２２１の出力が時刻ｔ１より遅い時刻ｔ２にフリップ（反転）する。
例ＥＸＰ２より低い照度の例ＥＸＰ３の場合には、比較器２２１の出力が時刻ｔ２より遅い時刻ｔ３にフリップ（反転）する。
【0067】
このように、比較器２２１は、第１の比較処理ＣＭＰＲ１において、蓄積期間ＰＩの所定期間にフォトダイオードＰＤ１からフローティングディフュージョンＦＤ１へのオーバーフロー電荷の量に応じた時間に対応する第１の比較結果信号ＳＣＭＰ１を出力する。
【0068】
より具体的には、比較器２２１は、第１の比較処理ＣＭＰＲ１において、オーバーフロー電荷がフォトダイオードＰＤ１から出力ノードであるフローティングディフュージョンＦＤ１に溢れ始める最大サンプリング時間におけるフォトダイオードＰＤ１の所定の閾値に対応した信号レベルから最小サンプリング時間で得られる信号レベルまでの光レベルとの比較処理に対応可能である。
【0069】
上述したように、タイムスタンプＡＤＣ（ＴＳ－ＡＤＣ）モードにおける光変換動作(Photo conversion operation)は、蓄積期間ＰＩにおいて、光―時間変換(Light to time conversion)を伴って実行される。
図５に示すように、非常に明るい光の下では、リセット活性化期間の直後に比較器２２１の出力状態が反転され、その光レベルは、以下の時間で説明される飽和信号（ウェル容量）に対応する。
図５に示すように、非常に明るい光の下では、リセット活性化期間の直後に比較器２２１の出力状態が反転され、その光レベルは、以下の時間で説明される飽和信号（ウェル容量）に対応する。
【0070】
（（ＦＤ飽和量×蓄積時間）／サンプリング期間）＋ＰＤ飽和量
たとえば、ＦＤ飽和：８Ｋｅ @ 150uV / e ～ＦＤ容量の１．１ｆＦ、最小サンプリング時間：１５ｎｓｅｃ、蓄積時間：３ｍｓｅｃ：
であると仮定する。
たとえば、ＦＤ飽和：８Ｋｅ @ 150uV / e ～ＦＤ容量の１．１ｆＦ、最小サンプリング時間：１５ｎｓｅｃ、蓄積時間：３ｍｓｅｃ：
であると仮定する。
【0071】
このタイムスタンプＡＤＣ動作モードでは、上述したように、オーバーフロー電荷がフォトダイオードＰＤ１から出力ノードであるフローティングディフュージョンＦＤ１に溢れ始める最大サンプリング時間におけるフォトダイオードＰＤ１の所定の閾値に対応した信号レベルから最小サンプリング時間で得られる信号レベルまでの光レベルをカバーすることができる。
【0072】
図６は、本実施形態に係る比較器２２１の第１の比較処理ＣＭＰＲ１を説明するための図であって、参照電圧の他のパターン例を説明するための図である。
【0073】
参照電圧ＶＲＥＦは、図６中に（１）で示す所定の傾きを持たせて変化させたランプ波形（信号）ＲＡＭＰまたは図６中に（２）で示す固定電圧ＤＣであってもよく、また、図６中に（３）で示すログ（ｌｏｇ）や図６中に（４）で示す指数関数的な値をとる電圧信号あってもよい。
【0074】
図７は、本実施形態に係る比較器に種々の参照電圧ＶＲＥＦを入力した場合の光時間変換の状態を示す図である。
図７において，横軸がサンプリング時間を示し、縦軸がオーバーフロー信号における推定信号を示している。
図７において，横軸がサンプリング時間を示し、縦軸がオーバーフロー信号における推定信号を示している。
【0075】
図７は、適用される光の性質（適性）によるオーバーフロー電荷（信号）に対応する比較器２２１が反転するサンプリング時間を示している。
図７においては、さまざまな固定基準電圧ＤＣ１、ＤＣ２、ＤＣ３とランプ基準電圧ＶＲＡＭＰに対して反転するサンプリング時間を示している。ここでは、線形基準ランプが使用されている。
図７においては、さまざまな固定基準電圧ＤＣ１、ＤＣ２、ＤＣ３とランプ基準電圧ＶＲＡＭＰに対して反転するサンプリング時間を示している。ここでは、線形基準ランプが使用されている。
【0076】
以上の飽和したオーバーフロー電荷に対する第１の比較処理ＣＭＰＲ１を行うタイムスタンプＡＤＣ（ＴＳ－ＡＤＣ）モードの動作が終了すると、フローティングディフュージョンＦＤ１と比較器２２１をリセットした後に、非飽和電荷に対する第２の比較処理ＣＭＰＲ２を行うリニアＡＤＣ（ＬＩＮ－ＡＤＣ）モードの動作に移行する。
【0077】
図８は、本発明の第１の実施形態に係るデジタル画素における光応答カバレッジを示す図である。
図８において、ＴＣ１がタイムスタンプＡＤＣモード動作による信号（ＡＤ変換伝達曲線）を示し、ＴＣ２がリニアＡＤＣモード動作による信号（ＡＤ変換伝達曲線）を示している。
図８において、ＴＣ１がタイムスタンプＡＤＣモード動作による信号（ＡＤ変換伝達曲線）を示し、ＴＣ２がリニアＡＤＣモード動作による信号（ＡＤ変換伝達曲線）を示している。
【0078】
タイムスタンプＡＤＣモードは，非常に明るい光に対する光応答を有することができることから、リニアＡＤＣモードは暗いレベルからの光応答を有することができる。たとえば、１２０ｄＢのダイナミックレンジ性能を実現することができる。
たとえば、上述したように、光変換範囲の飽和信号は９００Ｋｅである。
リニアＡＤＣモードは、ＡＤＣを適用した通常の読み出しモード動作のため、２ｅのノイズレベルから８ＫｅのフォトダイオードＰＤ１とフローティングディフュージョンＦＤ１の飽和までカバーすることがでる。
リニアＡＤＣモードのカバレッジは、追加のスイッチと容量で３０Ｋｅに拡張することができる。
たとえば、上述したように、光変換範囲の飽和信号は９００Ｋｅである。
リニアＡＤＣモードは、ＡＤＣを適用した通常の読み出しモード動作のため、２ｅのノイズレベルから８ＫｅのフォトダイオードＰＤ１とフローティングディフュージョンＦＤ１の飽和までカバーすることがでる。
リニアＡＤＣモードのカバレッジは、追加のスイッチと容量で３０Ｋｅに拡張することができる。
【0079】
図８は、第１の比較処理ＣＭＰＲ１に応じた第１のＡＤ変換伝達曲線ＴＣ１と第２の比較処理ＣＭＰＲ２に応じた第２のＡＤ変換伝達曲線ＴＣ２の合成処理が理想的に行われ、両曲線ＴＣ１、ＴＣ２の接合部(接合領域)で接合ギャップがなくスムーズな切り替え（接続）が行われる場合を示している。
【0080】
しかし、実際には、固体撮像装置の個体単位でのばらつき、あるいは１個体の中での画素間のばらつき等が存在するため、ばらつきの中心値のパラメータを基に補正した数値で、各々の信号を切り替えたとしても、そのレベルの近傍においての直線性（リニアリティ）が必ずしも保証されない場合がある。
このように補正精度が低い（ばらついている）場合、スムーズな切り替えが不能となり、その不連続点がノイズとなってしまい、いわゆるトーンジャンプ等の画像劣化の要因になり得る。
そこで、本実施形態においては、後で詳述するように、ＤＳＰ部７０の信号処理部７１０で、測定された画素のＦＷＣ情報を適用して第１の比較処理ＣＭＰＲ１に応じた第１のＡＤ変換伝達曲線ＴＣ１と第２の比較処理ＣＭＰＲ２に応じた第２のＡＤ変換伝達曲線ＴＣ２の接合ギャップを補正する合成処理を行って、組み合わせようとする複数の信号のスムーズな切り替え（接続）が可能で、画像劣化を抑止しつつ実質的に広ダイナミックレンジ化を実現している。
このように補正精度が低い（ばらついている）場合、スムーズな切り替えが不能となり、その不連続点がノイズとなってしまい、いわゆるトーンジャンプ等の画像劣化の要因になり得る。
そこで、本実施形態においては、後で詳述するように、ＤＳＰ部７０の信号処理部７１０で、測定された画素のＦＷＣ情報を適用して第１の比較処理ＣＭＰＲ１に応じた第１のＡＤ変換伝達曲線ＴＣ１と第２の比較処理ＣＭＰＲ２に応じた第２のＡＤ変換伝達曲線ＴＣ２の接合ギャップを補正する合成処理を行って、組み合わせようとする複数の信号のスムーズな切り替え（接続）が可能で、画像劣化を抑止しつつ実質的に広ダイナミックレンジ化を実現している。
【0081】
図９は、本発明の第１の実施形態に係るメモリ部および出力回路の構成例を示す図である。
【0082】
比較器２２１において、第１の比較処理ＣＭＰＲ１によりフローティングディフュージョンＦＤ１のオーバーフロー電荷に応じた電圧信号がデジタル化された第１の比較結果信号ＳＣＭＰ１、および、第２の比較処理ＣＭＰＲ２によりフォトダイオードＰＤ１の蓄積電荷がデジタル化された第２の比較結果信号ＳＣＭＰ２は、関連付けられてメモリ２３１，２３２にデジタルデータとして記憶される。
メモリ部２３０はＳＲＡＭやＤＲＡＭにより構成され、デジタル変換された信号が供給され、フォトコンバージョン符号に対応し、画素アレイ周辺の出力回路４０の外部ＩＯバッファ４１により読み出すことができる。
メモリ部２３０はＳＲＡＭやＤＲＡＭにより構成され、デジタル変換された信号が供給され、フォトコンバージョン符号に対応し、画素アレイ周辺の出力回路４０の外部ＩＯバッファ４１により読み出すことができる。
【0083】
図１０は、本発明の第１の実施形態に係る固体撮像装置１０におけるフレーム読み出しシーケンスの一例を示す図である。
ここで、固体撮像装置１０におけるフレーム読み出し方式の一例について説明する。
図１０において、ＴＳはタイムスタンプＡＤＣの処理期間を示し、ＬｉｎはリニアＡＤＣの処理期間を示している。
ここで、固体撮像装置１０におけるフレーム読み出し方式の一例について説明する。
図１０において、ＴＳはタイムスタンプＡＤＣの処理期間を示し、ＬｉｎはリニアＡＤＣの処理期間を示している。
【0084】
上述したように、オーバーフロー電荷は蓄積期間ＰＩ中にフローティングディフュージョンＦＤ１に蓄積される。タイムスタンプＡＤＣモードは蓄積時間ＰＩ中に動作する。
実際には、タイムスタンプＡＤＣモードは、蓄積期間ＰＩ中であって、フローティングディフュージョンＦＤ１がリセットされるまでの期間に動作する。
タイムスタンプＡＤＣモードの動作が終了すると、リニアＡＤＣモードに遷移し、フローティングディフュージョンＦＤ１のリセット時の信号（ＶＲＳＴ）を読み出してデジタル信号をメモリ部２３０に格納するように変換する。
さらに蓄積期間ＰＩの終了後、リニアＡＤＣモードではフォトダイオードＰＤ１の蓄積電荷に応じた信号（ＶＳＩＧ）を読み取ってデジタル信号をメモリ部２３０に格納するように変換する。
読み出されたフレームは、メモリノードからのデジタル信号データの読み出しによって実行され、そのようなＭＩＰＩデータフォーマットを有する、たとえば出力回路４０のＩＯバッファ４１（図９）を介して固体撮像装置１０（イメージセンサ）のＤＳＰ部７０に外部に送られる。この動作は、全画素（ピクセル）アレイに対してグローバルに実行することができる。
実際には、タイムスタンプＡＤＣモードは、蓄積期間ＰＩ中であって、フローティングディフュージョンＦＤ１がリセットされるまでの期間に動作する。
タイムスタンプＡＤＣモードの動作が終了すると、リニアＡＤＣモードに遷移し、フローティングディフュージョンＦＤ１のリセット時の信号（ＶＲＳＴ）を読み出してデジタル信号をメモリ部２３０に格納するように変換する。
さらに蓄積期間ＰＩの終了後、リニアＡＤＣモードではフォトダイオードＰＤ１の蓄積電荷に応じた信号（ＶＳＩＧ）を読み取ってデジタル信号をメモリ部２３０に格納するように変換する。
読み出されたフレームは、メモリノードからのデジタル信号データの読み出しによって実行され、そのようなＭＩＰＩデータフォーマットを有する、たとえば出力回路４０のＩＯバッファ４１（図９）を介して固体撮像装置１０（イメージセンサ）のＤＳＰ部７０に外部に送られる。この動作は、全画素（ピクセル）アレイに対してグローバルに実行することができる。
【0085】
また、画素部２０において、全画素同時にリセットトランジスタＲＳＴ１－Ｔｒと転送トランジスタＴＧ１－Ｔｒを使ってフォトダイオードＰＤ１をリセットすることで、全画素同時並列的に露光を開始する。また、所定の露光期間（蓄積期間ＰＩ）が終了した後、転送トランジスタＴＧ１－Ｔｒを使って光電変換読み出し部からの出力信号をＡＤ変換部２２０、メモリ部２３０でサンプリングすることで、全画素同時並列的に露光を終了する。これにより、完全なシャッタ動作を電子的に実現する。
【0086】
垂直走査回路３０は、タイミング制御回路５０の制御に応じてシャッタ行および読み出し行において行走査制御線を通してデジタル画素２００の光電変換読み出し部２１０の駆動を行う。
垂直走査回路３０は、タイミング制御回路５０の制御に応じて、各デジタル画素２００の比較器２２１に対して、第１の比較処理ＣＭＰＲ１、第２の比較処理ＣＭＰＲ２に準じて設定される参照電圧ＶＲＥＦ１，ＶＲＥＦ２を供給する。
また、垂直走査回路３０は、アドレス信号に従い、信号の読み出しを行うリード行と、フォトダイオードＰＤに蓄積された電荷をリセットするシャッタ行の行アドレスの行選択信号を出力する。
垂直走査回路３０は、タイミング制御回路５０の制御に応じて、各デジタル画素２００の比較器２２１に対して、第１の比較処理ＣＭＰＲ１、第２の比較処理ＣＭＰＲ２に準じて設定される参照電圧ＶＲＥＦ１，ＶＲＥＦ２を供給する。
また、垂直走査回路３０は、アドレス信号に従い、信号の読み出しを行うリード行と、フォトダイオードＰＤに蓄積された電荷をリセットするシャッタ行の行アドレスの行選択信号を出力する。
【0087】
出力回路４０は、たとえば図９に示すように、画素部２０の各デジタル画素２００のメモリ出力に対応して配置されたＩＯバッファ４１を含み、各デジタル画素２００から読み出されるデジタルデータをＤＳＰ部７０に出力する。
【0088】
タイミング制御回路５０は、画素部２０、垂直走査回路３０、出力回路４０等の信号処理に必要なタイミング信号を生成する。
【0089】
本第１の実施形態において、読み出し部６０は、たとえばグローバルシャッタモード時に、デジタル画素２００からの画素信号の読み出し制御を行う。
【0090】
ＤＳＰ部７０では、入力されたデジタル信号に対して相関二重サンプリング（ＣＤＳ：Correlated Double Sampling）、黒補正、デジタルゲイン等の画像信号処理が施された後、たとえばＳＬＶＳインタフェース部において出力型式に適合させて出力される。
【0091】
（第１のＡＤ変換伝達曲線ＴＣ１と第２のＡＤ変換伝達曲線ＴＣ２の合成処理）
本第１の実施形態においては、ＤＳＰ部７０の信号処理部７１０が、測定された画素のＦＷＣ情報を適用して第１の比較処理ＣＭＰＲ１に応じた第１のＡＤ変換伝達曲線ＴＣ１と第２の比較処理ＣＭＰＲ２に応じた第２のＡＤ変換伝達曲線ＴＣ２の接合ギャップを補正する合成処理を行って、２つの信号を合成してダイナミックレンジが拡大されたハイダイナミックレンジ信号を生成する。
本第１の実施形態においては、ＤＳＰ部７０の信号処理部７１０が、測定された画素のＦＷＣ情報を適用して第１の比較処理ＣＭＰＲ１に応じた第１のＡＤ変換伝達曲線ＴＣ１と第２の比較処理ＣＭＰＲ２に応じた第２のＡＤ変換伝達曲線ＴＣ２の接合ギャップを補正する合成処理を行って、２つの信号を合成してダイナミックレンジが拡大されたハイダイナミックレンジ信号を生成する。
【0092】
すなわち、本第１の実施形態においては、ＤＳＰ部７０の信号処理部７１０において、大幅な広ダイナミックレンジ化を図るために第１の比較処理ＣＭＰＲ１に応じた第１のＡＤ変換伝達曲線ＴＣ１と第２の比較処理ＣＭＰＲ２に応じた第２のＡＤ変換伝達曲線ＴＣ２を接合する合成処理を行う。
ただし、第１の比較処理と第２の比較処理は動作が不連続であり、２つのＡＤ変換伝達曲線の接合点でオフセットが発生すること等に起因して、単純な合成処理では２つのＡＤ変換伝達曲線をフムース（滑らか）に接続することは難しい。
そこで、本第１の実施形態において、ＤＳＰ部７０の信号処理部７１０では、第１の比較処理ＣＭＰＲ１に応じた第１のＡＤ変換伝達曲線ＴＣ１と第２の比較処理ＣＭＰＲ２に応じた第２のＡＤ変換伝達曲線ＴＣ２の傾きを略等しくするとともに、第２の比較処理ＣＭＰＲ２に応じたＡＤ変換伝達曲線ＴＣ２が飽和する手前すなわち直線性が保たれている領域（非飽和領域）において、この２種類の信号を合成することで２つのＡＤ変換伝達曲線をフムース（滑らか）に接続して、ダイナミックレンジを拡大した信号である合成信号を取得する。
ただし、第１の比較処理と第２の比較処理は動作が不連続であり、２つのＡＤ変換伝達曲線の接合点でオフセットが発生すること等に起因して、単純な合成処理では２つのＡＤ変換伝達曲線をフムース（滑らか）に接続することは難しい。
そこで、本第１の実施形態において、ＤＳＰ部７０の信号処理部７１０では、第１の比較処理ＣＭＰＲ１に応じた第１のＡＤ変換伝達曲線ＴＣ１と第２の比較処理ＣＭＰＲ２に応じた第２のＡＤ変換伝達曲線ＴＣ２の傾きを略等しくするとともに、第２の比較処理ＣＭＰＲ２に応じたＡＤ変換伝達曲線ＴＣ２が飽和する手前すなわち直線性が保たれている領域（非飽和領域）において、この２種類の信号を合成することで２つのＡＤ変換伝達曲線をフムース（滑らか）に接続して、ダイナミックレンジを拡大した信号である合成信号を取得する。
【0093】
信号処理部７１０は、合成処理において、測定された画素のＦＷＣ（フルウェルキャパシティ：Full Well Capacity）情報を適用して第１のＡＤ変換伝達曲線ＴＣ１と第２のＡＤ変換伝達曲線ＴＣ２の接合ギャップを補正する。
適用されるＦＷＣ情報は、少なくとも第２の比較処理で得られるＦＷＣ情報である。
適用されるＦＷＣ情報は、少なくとも第２の比較処理で得られるＦＷＣ情報である。
【0094】
（ＦＷＣ情報の測定方法）
ＦＷＣ情報を測定する方法としては、オンラインで測定する第１の測定方法と、オフラインで測定する第２の測定方法がある。
オンラインとは、固体撮像装置が正規に稼働しているときを含み、オフラインとは固体撮像装置が正規に稼働していない、たとえば出荷前のときを含む。
ＦＷＣ情報を測定する方法としては、オンラインで測定する第１の測定方法と、オフラインで測定する第２の測定方法がある。
オンラインとは、固体撮像装置が正規に稼働しているときを含み、オフラインとは固体撮像装置が正規に稼働していない、たとえば出荷前のときを含む。
【0095】
（オンラインで測定する第１の測定方法）
図１１は、本実施形態に係る固体撮像装置のＦＷＣ情報をオンラインで測定する第１の測定方法を説明するための図である。
図１１は、本実施形態に係る固体撮像装置のＦＷＣ情報をオンラインで測定する第１の測定方法を説明するための図である。
【0096】
第１の比較処理ＣＭＰＲ１であるタイムスタンプＡＤＣ（ＴＳ－ＡＤＣ）モード動作期間中に、比較器２２１の出力が反転することは、すでに光電変換素子であるフォトダイオードＰＤ１の蓄積電荷が満杯で、フォトダイオードＰＤ１から出力ノードであるフローティングフュージョンＦＤ１にオーバーフロー電荷が溢れ出る状態にあることを意味する。
そこで、ＦＷＣ情報を得るために、行ごとにタイムスタンプＡＤＣ（ＴＳ－ＡＤＣ）モード動作終了後に、アナログＣＤＳで簡易的に短い第２の比較処理ＣＭＰＲ２である疑似的なリニアＡＤＣ（ＬＩＮ－ＡＤＣ）モード動作を、無変調で行う。
たとえば、参照電圧ＶＲＥＦ２であるランプ電圧の上方の１／４あるいは１／８の部分のみを導通させる。
ここでは、フォトダイオードＰＤ１のＦＷＣ情報のみを取得できればいいことからこの方法で十分である。
そこで、ＦＷＣ情報を得るために、行ごとにタイムスタンプＡＤＣ（ＴＳ－ＡＤＣ）モード動作終了後に、アナログＣＤＳで簡易的に短い第２の比較処理ＣＭＰＲ２である疑似的なリニアＡＤＣ（ＬＩＮ－ＡＤＣ）モード動作を、無変調で行う。
たとえば、参照電圧ＶＲＥＦ２であるランプ電圧の上方の１／４あるいは１／８の部分のみを導通させる。
ここでは、フォトダイオードＰＤ１のＦＷＣ情報のみを取得できればいいことからこの方法で十分である。
【0097】
このように、第１の測定方法では、固体撮像装置１０が正規に稼働しているオンラインにおいて、ＦＷＣ情報は、第１の比較処理ＣＭＰＲ１であるタイムスタンプＡＤＣ（ＴＳ－ＡＤＣ）モード動作を行った後に、無変調のランプ状参照電圧を用いた簡易的な第２の比較処理であるリニアＡＤＣ（ＬＩＮ－ＡＤＣ）モード動作を行った結果から測定（取得）される。
【0098】
（オフラインで測定する第２の測定方法）
図１２（Ａ）～（Ｃ）は、本実施形態に係る固体撮像装置のＦＷＣ情報をオフラインで測定する第２の測定方法を説明するための図である。
図１２（Ａ）～（Ｃ）は、本実施形態に係る固体撮像装置のＦＷＣ情報をオフラインで測定する第２の測定方法を説明するための図である。
【0099】
たとえば出荷前に、全画素において、まず、図１２（Ａ）に示すように、制御信号ＴＧ、ＲＳＴをＬレベルに保持して、転送トランジスタＴＧ１－ＴｒおよびリセットトランジスタＲＳＴ１－Ｔｒを非導通状態（オフ状態）に保持した状態で、電源電圧ＶＤＤをＬレベルに相当するレベルまで下げて、フォトダイオードＰＤ１に電荷を蓄積（充電）させる。
次に、図１２（Ｂ）に示すように、電源電圧ＶＤＤをもとの駆動レベルに戻し、リセットトランジスタＲＳＴ１－Ｔｒをオン、オフさせてフローティングディフュージョンＦＤ１をクリア（リセット）させるとともに、フォトダイオードＰＤ１の余分な電荷を排出させる。
そして、図１２（Ｃ）に示すように、転送トランジスタＴＧ１－Ｔｒを導通状態（オン状態）にして、フォトダイオードＰＤ１の電荷をフローティングディフュージョンＦＤ１に転送させ、その読み出し信号をアナログおよび、または、デジタルＣＤＳでリニアＡＤＣ（ＬＩＮ－ＡＤＣ）モード動作を、変調して行う。
次に、図１２（Ｂ）に示すように、電源電圧ＶＤＤをもとの駆動レベルに戻し、リセットトランジスタＲＳＴ１－Ｔｒをオン、オフさせてフローティングディフュージョンＦＤ１をクリア（リセット）させるとともに、フォトダイオードＰＤ１の余分な電荷を排出させる。
そして、図１２（Ｃ）に示すように、転送トランジスタＴＧ１－Ｔｒを導通状態（オン状態）にして、フォトダイオードＰＤ１の電荷をフローティングディフュージョンＦＤ１に転送させ、その読み出し信号をアナログおよび、または、デジタルＣＤＳでリニアＡＤＣ（ＬＩＮ－ＡＤＣ）モード動作を、変調して行う。
【0100】
このように、第２の測定方法では、固体撮像装置１０が正規に稼働していないオフラインにおいて、ＦＷＣ情報は、各画素を駆動してあらかじめ測定される。
なお、このオフラインで測定する第２の測定方法において、複数回測定し平均化することで、読み出し雑音を低減することができ、高精度なＦＷＣ測定を実現することも可能である。
なお、このオフラインで測定する第２の測定方法において、複数回測定し平均化することで、読み出し雑音を低減することができ、高精度なＦＷＣ測定を実現することも可能である。
【0101】
信号処理部７１０は、測定されたＦＷＣ情報を適用して第１の比較処理ＣＭＰＲ１に応じた第１のＡＤ変換伝達曲線ＴＣ１と第２の比較処理ＣＭＰＲ２に応じた第２のＡＤ変換伝達曲線ＴＣ２をスムースに接合する合成処理を行う。
この合成処理方法は、基本的に、比較器２２１に供給される参照電圧ＶＲＥＦが線形(リニア)のランプ状参照電圧ＶＲＥＦ－ＬＲである場合と、変調されたランプ状参照電圧ＶＲＥＦ－ＭＲである場合で異なる。
この合成処理方法は、基本的に、比較器２２１に供給される参照電圧ＶＲＥＦが線形(リニア)のランプ状参照電圧ＶＲＥＦ－ＬＲである場合と、変調されたランプ状参照電圧ＶＲＥＦ－ＭＲである場合で異なる。
【0102】
線形(リニア)のランプ状参照電圧ＶＲＥＦ－ＬＲとは、第１の比較処理ＣＭＰＲ１であるタイムスタンプＡＤＣモード動作時および第２の比較処理ＣＭＰＲ２であるリニアＡＤＣモード動作時における比較器２２１の入力レンジを通して、ステップサイズ（ｍＶ／ＬＳＢ）が単一の値をとる線形のランプ状の電圧信号である。
変調されたランプ状参照電圧ＶＲＥＦ－ＭＲとは、ステップサイズ（ｍＶ／ＬＳＢ）が単一の値をとらず、連続的に変化し得る変調された非線形のランプ状の電圧信号である。
変調されたランプ状参照電圧ＶＲＥＦ－ＭＲとは、ステップサイズ（ｍＶ／ＬＳＢ）が単一の値をとらず、連続的に変化し得る変調された非線形のランプ状の電圧信号である。
【0103】
以下に、信号処理部７１０における合成処理方法として、参照電圧ＶＲＥＦが線形(リニア)のランプ状参照電圧ＶＲＥＦ－ＬＲである場合と、変調されたランプ状参照電圧ＶＲＥＦ－ＭＲである場合に分けて、３つの第１の合成処理方法、第２の合成処理方法、および第３の合成処理方法を説明する。
【0104】
（第１の合成処理方法）
まず、参照電圧が線形(リニア)のランプ状参照電圧ＶＲＥＦ－ＬＲである場合の信号処理部７１０における第１の合成処理方法を説明する。
まず、参照電圧が線形(リニア)のランプ状参照電圧ＶＲＥＦ－ＬＲである場合の信号処理部７１０における第１の合成処理方法を説明する。
【0105】
図１３は、本実施形態に係る固体撮像装置１０において参照電圧が線形(リニア)のランプ状参照電圧ＶＲＥＦ－ＬＲである場合の信号処理部７１０における第１の合成処理方法を説明するため図である。
図１３において、横軸が入射光量および時間を示し、縦軸が出力ノードであるフローティングディフュージョンＦＤ１の電圧レベルＶＦＤを示している。
図１３において、横軸が入射光量および時間を示し、縦軸が出力ノードであるフローティングディフュージョンＦＤ１の電圧レベルＶＦＤを示している。
【0106】
図１３は、画素ＰＸＬＣ－Ａの第１のＡＤ変換伝達曲線ＴＣ１Ａと第２のＡＤ変換伝達曲線ＴＣ２Ａを接合して合成する場合と、画素ＰＸＬＣ－Ｂの第１のＡＤ変換伝達曲線ＴＣ１Ｂと第２のＡＤ変換伝達曲線ＴＣ２Ｂを接合して合成する場合を並列的に示している。
図１３において、Ａは画素ＰＸＬＣ－Ａの接合部におけるＦＷＣ情報としての第２のＡＤ変換伝達曲線ＴＣ２Ａの最大ＡＤ変換コードを示し、Ａ´は画素ＰＸＬＣ－Ａの接合部におけるＦＷＣ情報としての第１のＡＤ変換伝達曲線ＴＣ１Ａの最小ＡＤ変換コードを示している。
図１３において、Ｂは画素ＰＸＬＣ－Ｂの接合部におけるＦＷＣ情報としての第２のＡＤ変換伝達曲線ＴＣ２Ｂの最大ＡＤ変換コードを示し、Ｂ´は画素ＰＸＬＣ－Ｂの接合部におけるＦＷＣ情報としての第１のＡＤ変換伝達曲線ＴＣ１Ｂの最小ＡＤ変換コードを示している。
図１３において、Ａは画素ＰＸＬＣ－Ａの接合部におけるＦＷＣ情報としての第２のＡＤ変換伝達曲線ＴＣ２Ａの最大ＡＤ変換コードを示し、Ａ´は画素ＰＸＬＣ－Ａの接合部におけるＦＷＣ情報としての第１のＡＤ変換伝達曲線ＴＣ１Ａの最小ＡＤ変換コードを示している。
図１３において、Ｂは画素ＰＸＬＣ－Ｂの接合部におけるＦＷＣ情報としての第２のＡＤ変換伝達曲線ＴＣ２Ｂの最大ＡＤ変換コードを示し、Ｂ´は画素ＰＸＬＣ－Ｂの接合部におけるＦＷＣ情報としての第１のＡＤ変換伝達曲線ＴＣ１Ｂの最小ＡＤ変換コードを示している。
【0107】
参照電圧が線形(リニア)のランプ状参照電圧ＶＲＥＦ－ＬＲである場合、信号処理部７１０は、接合部でＡＤ変換コードを取得する。具体的には、ＬＩＮ－ＡＤＣモード時の第２のＡＤ変換伝達曲線ＴＣ２の最大ＡＤ変換コードＡ、ＢとＴＳ－ＡＤＣモード時の第１のＡＤ変換伝達曲線ＴＣ１の最小ＡＤ変換コードＡ´、Ｂ´を取得する。
そして、ＴＳ－ＡＤＣモード時の最小ＡＤ変換コードＡ´、Ｂ´をＬＩＮ－ＡＤＣモード時の最大ＡＤ変換コードＡ，Ｂにシフトする。
この場合、ステップサイズは変わらないので、オフセットを調整するだけで滑らかな接合（接続）が実現される。
そして、ＴＳ－ＡＤＣモード時の最小ＡＤ変換コードＡ´、Ｂ´をＬＩＮ－ＡＤＣモード時の最大ＡＤ変換コードＡ，Ｂにシフトする。
この場合、ステップサイズは変わらないので、オフセットを調整するだけで滑らかな接合（接続）が実現される。
【0108】
図１３に示すように、各画素ＰＸＬＣのＦＷＣは約２０％変化する。したがって、ＴＳ－ＡＤＣモード時では一定の最大値をとることはできない。そこで、すべての画素ＰＸＬＣにわたってＬＩＮ－ＡＤＣモードのＡＤ変換コードを基準とする。
図１３において、ＡＤ変換コードＡとＢ間のＦＷＣの変動は、最小ＡＤ変換コードＡ´、Ｂ´の開始点として識別される必要がある。
そして、上述したように、ＴＳ－ＡＤＣモード時の最小ＡＤ変換コードＡ´、Ｂ´をＬＩＮ－ＡＤＣモード時の最大ＡＤ変換コードＡ，Ｂにシフトする。
これにより、２つの第２のＡＤ変換伝達曲線ＴＣ２Ａと第１のＡＤ変換伝達曲線ＴＣ１Ａ，第２のＡＤ変換伝達曲線ＴＣ２Ｂと第１のＡＤ変換伝達曲線ＴＣ１Ｂがスムーズに（滑らかに）接合される。
図１３において、ＡＤ変換コードＡとＢ間のＦＷＣの変動は、最小ＡＤ変換コードＡ´、Ｂ´の開始点として識別される必要がある。
そして、上述したように、ＴＳ－ＡＤＣモード時の最小ＡＤ変換コードＡ´、Ｂ´をＬＩＮ－ＡＤＣモード時の最大ＡＤ変換コードＡ，Ｂにシフトする。
これにより、２つの第２のＡＤ変換伝達曲線ＴＣ２Ａと第１のＡＤ変換伝達曲線ＴＣ１Ａ，第２のＡＤ変換伝達曲線ＴＣ２Ｂと第１のＡＤ変換伝達曲線ＴＣ１Ｂがスムーズに（滑らかに）接合される。
【0109】
（第２の合成処理方法）
次に、参照電圧が変調された非線形のランプ状参照電圧ＶＲＥＦ－ＭＲである場合の信号処理部７１０における第２の合成処理方法を説明する。
次に、参照電圧が変調された非線形のランプ状参照電圧ＶＲＥＦ－ＭＲである場合の信号処理部７１０における第２の合成処理方法を説明する。
【0110】
変調された非線形のランプ状参照電圧ＶＲＥＦ－ＭＲを生成する方法は、次の２つの方法を挙げることができる。
第１の方法では、ランプ波形は線形で、ＡＤ変換コードステップを変調して生成される。
第２の方法では、ランプ波形を変化させ、ＡＤ変換コードステップを線形にして生成される。
以下では、第１の方法を採用した場合を例に説明する。
第１の方法では、ランプ波形は線形で、ＡＤ変換コードステップを変調して生成される。
第２の方法では、ランプ波形を変化させ、ＡＤ変換コードステップを線形にして生成される。
以下では、第１の方法を採用した場合を例に説明する。
【0111】
図１４は、変調された非線形のランプ状参照電圧ＶＲＥＦ－ＭＲを、ランプ波形は線形で、ＡＤ変換コードステップを変調して生成する方法の一例を示す図である。
図１４の例では、ランプ波形は線形（ＬＲＡＭＰ）で、ＡＤ変換コード（ＡＤＣコード）ステップを、１ＬＳＢ、１／２ＬＳＢ、１／３ＬＳＢ、１／４ＬＳＢと変調して、変調されたＡＤ変換コード曲線（γ曲線）ＭＣＤＣを生成している。
図１４の例では、ランプ波形は線形（ＬＲＡＭＰ）で、ＡＤ変換コード（ＡＤＣコード）ステップを、１ＬＳＢ、１／２ＬＳＢ、１／３ＬＳＢ、１／４ＬＳＢと変調して、変調されたＡＤ変換コード曲線（γ曲線）ＭＣＤＣを生成している。
【0112】
図１５は、本実施形態に係る固体撮像装置１０において参照電圧が変調された非線形のランプ状参照電圧ＶＲＥＦ－ＭＲである場合の信号処理部７１０における第２の合成処理方法を説明するため図である。
図１６は、本実施形態に係る固体撮像装置１０において参照電圧が変調された非線形のランプ状参照電圧ＶＲＥＦ－ＭＲである場合の信号処理部７１０における第２の合成処理方法を説明するため図であって、ＡＤ変換コードステップを含めて示す図である。
図１５および図１６において、横軸が入射光量および時間を示し、縦軸が出力ノードであるフローティングディフュージョンＦＤ１の電圧レベルＶＦＤを示している。
図１６は、本実施形態に係る固体撮像装置１０において参照電圧が変調された非線形のランプ状参照電圧ＶＲＥＦ－ＭＲである場合の信号処理部７１０における第２の合成処理方法を説明するため図であって、ＡＤ変換コードステップを含めて示す図である。
図１５および図１６において、横軸が入射光量および時間を示し、縦軸が出力ノードであるフローティングディフュージョンＦＤ１の電圧レベルＶＦＤを示している。
【0113】
図１５および図１６においても図１３と同様に、画素ＰＸＬＣ－Ａの第１のＡＤ変換伝達曲線ＴＣ１Ａと第２のＡＤ変換伝達曲線ＴＣ２Ａを接合して合成する場合と、画素ＰＸＬＣ－Ｂの第１のＡＤ変換伝達曲線ＴＣ１Ｂと第２のＡＤ変換伝達曲線ＴＣ２Ｂを接合して合成する場合を並列的に示している。
図１５および図１６において、Ａは画素ＰＸＬＣ－Ａの接合部におけるＦＷＣ情報としての第２のＡＤ変換伝達曲線ＴＣ２Ａの最大ＡＤ変換コードを示し、Ａ´は画素ＰＸＬＣ－Ａの接合部におけるＦＷＣ情報としての第１のＡＤ変換伝達曲線ＴＣ１Ａの最小ＡＤ変換コードを示している。
図１５および図１６において、Ｂは画素ＰＸＬＣ－Ｂの接合部におけるＦＷＣ情報としての第２のＡＤ変換伝達曲線ＴＣ２Ｂの最大ＡＤ変換コードを示し、Ｂ´は画素ＰＸＬＣ－Ｂの接合部におけるＦＷＣ情報としての第１のＡＤ変換伝達曲線ＴＣ１Ｂの最小ＡＤ変換コードを示している。
図１５および図１６において、Ａは画素ＰＸＬＣ－Ａの接合部におけるＦＷＣ情報としての第２のＡＤ変換伝達曲線ＴＣ２Ａの最大ＡＤ変換コードを示し、Ａ´は画素ＰＸＬＣ－Ａの接合部におけるＦＷＣ情報としての第１のＡＤ変換伝達曲線ＴＣ１Ａの最小ＡＤ変換コードを示している。
図１５および図１６において、Ｂは画素ＰＸＬＣ－Ｂの接合部におけるＦＷＣ情報としての第２のＡＤ変換伝達曲線ＴＣ２Ｂの最大ＡＤ変換コードを示し、Ｂ´は画素ＰＸＬＣ－Ｂの接合部におけるＦＷＣ情報としての第１のＡＤ変換伝達曲線ＴＣ１Ｂの最小ＡＤ変換コードを示している。
【0114】
図１５および図１６において、領域Ｃは、ＬＩＮ－ＡＤＣフェーズの場合の画素ＰＸＬＣ－Ａの最小ＡＤ変換コードステップ領域である。
領域Ｃ´は、ＬＩＮ－ＡＤＣフェーズの場合、画素ＰＸＬＣ－Ｂの最低のＡＤ変換コードステップ領域である。通常、領域ＣはＦＷＣの変動のために領域Ｃ´と等しくない。
領域Ｄは、ＴＳ－ＡＤＣフェーズに対する画素ＰＸＸＬ－Ａの高ＡＤ変換コードステップ領域であり、Ｄ´は画素ＰＸＬＣ－Ｂの高ＡＤ変換コードステップ領域である。通常、ＤはＤ´と等しくない。
領域Ｃ´は、ＬＩＮ－ＡＤＣフェーズの場合、画素ＰＸＬＣ－Ｂの最低のＡＤ変換コードステップ領域である。通常、領域ＣはＦＷＣの変動のために領域Ｃ´と等しくない。
領域Ｄは、ＴＳ－ＡＤＣフェーズに対する画素ＰＸＸＬ－Ａの高ＡＤ変換コードステップ領域であり、Ｄ´は画素ＰＸＬＣ－Ｂの高ＡＤ変換コードステップ領域である。通常、ＤはＤ´と等しくない。
【0115】
参照電圧が変調された非線形のランプ状参照電圧ＶＲＥＦ－ＭＲである場合、ステップサイズ（ｍＶ／ＬＳＢ）は単一ではなく、連続的に変化する可能性がある。
したがって、オフセットの調整は、滑らかな接合を可能にするほど十分ではなく、そのゲインすなわちステップサイズも調整する必要がある。
この非線形利得補正は、デジタル－デジタル再変換（ＤＤＣ：Digital to Digital Re-Conversion）によって行われる。
したがって、オフセットの調整は、滑らかな接合を可能にするほど十分ではなく、そのゲインすなわちステップサイズも調整する必要がある。
この非線形利得補正は、デジタル－デジタル再変換（ＤＤＣ：Digital to Digital Re-Conversion）によって行われる。
【0116】
すなわち、参照電圧が変調された非線形のランプ状参照電圧ＶＲＥＦ－ＭＲである場合、オフセットだけでなく、ＡＤ変換のコードステップも異なる。したがって、滑らかな接合を実現するためには、オフセットだけでなく、ＡＤ変換のコードステップも修正する必要がある。
【0117】
図１７は、本発明の実施形態に係るデジタルデジタル再変換処理の一例を示す図である。
【0118】
各画素のＦＷＣがわかっている場合、ＡＤ変換コードをデジタル領域の画素ごとの補正係数を使用して正確に再変換して、目的のＡＤ変換コードステップに一致させることができる。
このＤＤＣ補正は、基本的に変調されたランプ状電圧の場合に必要であり、実際にはＨＤＲイメージセンサのＡＤＣ解像度数を減らすために使用される。
このＤＤＣ補正は、基本的に変調されたランプ状電圧の場合に必要であり、実際にはＨＤＲイメージセンサのＡＤＣ解像度数を減らすために使用される。
【0119】
図１６および図１７の例では、所望の（理想の）ＡＤ変換コードステップは、接合部近傍領域における第２のＡＤ変換伝達曲線ＴＣ２において、２２ｍＶ／ＬＳＢ．２３ｍＶ／ＬＳＢ，２４ｍＶ／ＬＳＢとステップアップし、切り替え位置（またはタイミング）Ｐ２で、第１のＡＤ変換伝達曲線ＴＣ１において、２４ｍＶ／ＬＳＢから２５ｍＶ／ＬＳＢに切り替え、以降、２６ｍＶ／ＬＳＢとステップアップする形態である。
【0120】
画素ＰＸＬＣ－ＡのＡＤ変換コードステップは、接合部近傍領域における第２のＡＤ変換伝達曲線ＴＣ２Ａにおいて、２２ｍＶ／ＬＳＢ．２３ｍＶ／ＬＳＢ，２４ｍＶ／ＬＳＢとステップアップし、切り替え位置Ｐ２より手前の位置Ｐ１で、２４ｍＶ／ＬＳＢから２５ｍＶ／ＬＳＢに切り替え、以降、第１のＡＤ変換伝達曲線ＴＣ１Ａにおいて、位置Ｐ４で、２６ｍＶ／ＬＳＢとステップアップする形態であり、スムーズな接合領域とはなっていない。
【0121】
そこで、画素ＰＸＬＣ－Ａに関してデジタルデジタル再変換処理（ＤＤＣ）で非線形ゲイン補正が行われる。
２４ｍＶ／ＬＳＢから２５ｍＶ／ＬＳＢへの切り替え位置をＰ１からＰ２にシフトさせ、また、２５ｍＶ／ＬＳＢから２６ｍＶ／ＬＳＢへの切り替えを位置Ｐ４ではなく位置Ｐ５とする非線形ゲイン補正を行う。
２４ｍＶ／ＬＳＢから２５ｍＶ／ＬＳＢへの切り替え位置をＰ１からＰ２にシフトさせ、また、２５ｍＶ／ＬＳＢから２６ｍＶ／ＬＳＢへの切り替えを位置Ｐ４ではなく位置Ｐ５とする非線形ゲイン補正を行う。
【0122】
画素ＰＸＬＣ－ＢのＡＤ変換コードステップは、接合部近傍領域における第２のＡＤ変換伝達曲線ＴＣ２Ｂにおいて、２２ｍＶ／ＬＳＢ．２３ｍＶ／ＬＳＢ，２４ｍＶ／ＬＳＢとステップアップし、切り替え位置Ｐ２より後の位置Ｐ３で、第１のＡＤ変換伝達曲線ＴＣ１Ｂにおいて、２４ｍＶ／ＬＳＢから２５ｍＶ／ＬＳＢに切り替え、以降、位置Ｐ６で，２６ｍＶ／ＬＳＢとステップアップする形態であり、スムーズな接合領域とはなっていない。
【0123】
そこで、画素ＰＸＬＣ－Ｂに関してデジタルデジタル再変換処理（ＤＤＣ）で非線形ゲイン補正が行われる。
２４ｍＶ／ＬＳＢから２５ｍＶ／ＬＳＢへの切り替え位置をＰ３からＰ２にシフトさせ、また、２５ｍＶ／ＬＳＢから２６ｍＶ／ＬＳＢへの切り替えを位置Ｐ６ではなく位置Ｐ４とする非線形ゲイン補正を行う。
２４ｍＶ／ＬＳＢから２５ｍＶ／ＬＳＢへの切り替え位置をＰ３からＰ２にシフトさせ、また、２５ｍＶ／ＬＳＢから２６ｍＶ／ＬＳＢへの切り替えを位置Ｐ６ではなく位置Ｐ４とする非線形ゲイン補正を行う。
【0124】
以上のように、参照電圧が変調された非線形のランプ状参照電圧ＶＲＥＦ－ＭＲである場合、信号処理部７１０は、次のような信号処理を行う。
信号処理部７１０は、取得した接合部における第１の比較処理ＣＭＰＲ１による第１のＡＤ変換伝達曲線ＴＣ１の最小値を、取得した接合部における第２の比較処理ＣＭＰＲ２による第２のＡＤ変換伝達曲線ＴＣ２の最大値にシフトするオフセット調整と、デジタルデジタル再変換によりステップサイズに対応するゲインを調整する非線形ゲイン補正とを行って、第１のＡＤ変換伝達曲線ＴＣ１と第２のＡＤ変換伝達曲線ＴＣ２をスムーズに接合する。
信号処理部７１０は、取得した接合部における第１の比較処理ＣＭＰＲ１によるＡＤ変換コードの最小値を、取得した接合部における第２の比較処理ＣＭＰＲ２によるＡＤ変換コードの最大値にシフトするとともに、デジタルデジタル再変換においてデジタル領域のＡＤ変換コードを所望の伝達曲線に合わせて再変換することにより、第１のＡＤ変換伝達曲線ＴＣ１と第２のＡＤ変換伝達曲線ＴＣ２をスムースに接合する。
また、信号処理部７１０は、デジタルデジタル再変換において、ＡＤ変換コードをデジタル領域の画素ごとのＦＷＣ情報に関連した補正係数を使用してデジタルデジタル再変換を行うことも可能である。
信号処理部７１０は、取得した接合部における第１の比較処理ＣＭＰＲ１による第１のＡＤ変換伝達曲線ＴＣ１の最小値を、取得した接合部における第２の比較処理ＣＭＰＲ２による第２のＡＤ変換伝達曲線ＴＣ２の最大値にシフトするオフセット調整と、デジタルデジタル再変換によりステップサイズに対応するゲインを調整する非線形ゲイン補正とを行って、第１のＡＤ変換伝達曲線ＴＣ１と第２のＡＤ変換伝達曲線ＴＣ２をスムーズに接合する。
信号処理部７１０は、取得した接合部における第１の比較処理ＣＭＰＲ１によるＡＤ変換コードの最小値を、取得した接合部における第２の比較処理ＣＭＰＲ２によるＡＤ変換コードの最大値にシフトするとともに、デジタルデジタル再変換においてデジタル領域のＡＤ変換コードを所望の伝達曲線に合わせて再変換することにより、第１のＡＤ変換伝達曲線ＴＣ１と第２のＡＤ変換伝達曲線ＴＣ２をスムースに接合する。
また、信号処理部７１０は、デジタルデジタル再変換において、ＡＤ変換コードをデジタル領域の画素ごとのＦＷＣ情報に関連した補正係数を使用してデジタルデジタル再変換を行うことも可能である。
【0125】
（第３の合成処理方法）
次に、参照電圧が線形のランプ状参照電圧ＶＲＥＦ－ＬＲである場合にデジタルデジタル再変換処理を適用する信号処理部７１０における第３の合成処理方法を説明する。
次に、参照電圧が線形のランプ状参照電圧ＶＲＥＦ－ＬＲである場合にデジタルデジタル再変換処理を適用する信号処理部７１０における第３の合成処理方法を説明する。
【0126】
図１８は、本発明の実施形態に係るデジタルデジタル再変換処理の他例であって、参照電圧が線形のランプ状参照電圧ＶＲＥＦ－ＬＲである場合にデジタルデジタル再変換処理を適用する信号処理部７１０における第３の合成処理方法を説明するための図である。
【0127】
上述したデジタルデジタル再変換（ＤＤＣ）技術は、ＬＩＮ－ＡＤＣ領域にも適用することができる。
図１８の例の場合、ＬＩＮ－ＡＤＣ領域では、コードステップは１ｍＶ／ＬＳＢのリニアランプで、ＴＳ－ＡＤＣ領域も４ｍＶ／ＬＳＢのリニアランプである。
デジタルデジタル再変換処理（ＤＤＣ）を１の比較処理ＣＭＰＲ１による第１のＡＤ変換伝達曲線ＴＣ１と、第２の比較処理ＣＭＰＲ２による第２のＡＤ変換伝達曲線ＴＣ２に適用して、ＡＤＣ分解能を圧縮することができる。
図１８の例の場合、ＬＩＮ－ＡＤＣ領域では、コードステップは１ｍＶ／ＬＳＢのリニアランプで、ＴＳ－ＡＤＣ領域も４ｍＶ／ＬＳＢのリニアランプである。
デジタルデジタル再変換処理（ＤＤＣ）を１の比較処理ＣＭＰＲ１による第１のＡＤ変換伝達曲線ＴＣ１と、第２の比較処理ＣＭＰＲ２による第２のＡＤ変換伝達曲線ＴＣ２に適用して、ＡＤＣ分解能を圧縮することができる。
【0128】
信号処理部７１０は、取得した接合部における第１の比較処理ＣＭＰＲ１による第１のＡＤ変換伝達曲線ＴＣ１の最小値を、取得した接合部における第２の比較処理ＣＭＰＲ２による第２のＡＤ変換伝達曲線ＴＣ２の最大値にシフトするオフセット調整と、デジタルデジタル再変換によりステップサイズに対応するゲインを調整する非線形ゲイン補正とを行って、第１のＡＤ変換伝達曲線ＴＣ１と第２のＡＤ変換伝達曲線ＴＣ２をスムーズに接合する。
信号処理部７１０は、取得した接合部における第１の比較処理ＣＭＰＲ１によるＡＤ変換コードの最小値を、取得した接合部における第２の比較処理ＣＭＰＲ２によるＡＤ変換コードの最大値にシフトするとともに、デジタルデジタル再変換においてデジタル領域のＡＤ変換コードを所望の伝達曲線に合わせて再変換することにより、第１のＡＤ変換伝達曲線ＴＣ１と第２のＡＤ変換伝達曲線ＴＣ２をスムースに接合する。
また、信号処理部７１０は、デジタルデジタル再変換において、ＡＤ変換コードをデジタル領域の画素ごとのＦＷＣ情報に関連した補正係数を使用してデジタルデジタル再変換を行うことも可能である。
信号処理部７１０は、取得した接合部における第１の比較処理ＣＭＰＲ１によるＡＤ変換コードの最小値を、取得した接合部における第２の比較処理ＣＭＰＲ２によるＡＤ変換コードの最大値にシフトするとともに、デジタルデジタル再変換においてデジタル領域のＡＤ変換コードを所望の伝達曲線に合わせて再変換することにより、第１のＡＤ変換伝達曲線ＴＣ１と第２のＡＤ変換伝達曲線ＴＣ２をスムースに接合する。
また、信号処理部７１０は、デジタルデジタル再変換において、ＡＤ変換コードをデジタル領域の画素ごとのＦＷＣ情報に関連した補正係数を使用してデジタルデジタル再変換を行うことも可能である。
【0129】
上記した第１の合成処理方法、第２の合成処理方法、第３の合成処理方法を適用することにより、ＦＷＣの大きな変動にかかわらず、デジタル領域のＡＤ変換コードを所望の全伝達曲線に合わせて再変換することにより、２つのＡＤ変換伝達曲線の境界での滑らかな接合を実現することができる。
【0130】
【0131】
図１９の信号処理部７１０は、加算器（減算器）７１１，７１２、乗算器７１３、オフセット補正テーブル７１４、ＦＷＣ登録テーブル７１５、デジタルデジタル再変換（ＤＤＣ）係数生成部７１６、制御部７１７、水平（Ｈ）カウンタ７１８、および垂直（Ｖ）カウンタ７１９を含んで構成されている。
【0132】
まず、加算器７１１において、オフセット補正テーブル７１４を参照して画素データＰＸＤからオフセットを減算する（ステップＳＴ１）。
ＤＤＣ係数は、Ｈ、Ｖ情報を使用するＦＷＣ登録テーブル７１５の情報を用いてＤＤＣ係数生成部７１６によって生成される（ステップＳＴ２）。この場合、ＬＩＮ－ＡＤＣデータであるかＴＳ－ＡＤＣデータであるかによって生成される。
次に、乗算器７１３においてオフセット補正された画素データに係数が乗算されてＡＤ変換伝達曲線が補正される（ステップＳＴ３）。
その後に、加算器７１２においてオフセットが加算され（ステップＳＴ４）、２つのＡＤ変換伝達曲線の接合境界で滑らかに接合された画像データが出力される。
ＤＤＣ係数は、Ｈ、Ｖ情報を使用するＦＷＣ登録テーブル７１５の情報を用いてＤＤＣ係数生成部７１６によって生成される（ステップＳＴ２）。この場合、ＬＩＮ－ＡＤＣデータであるかＴＳ－ＡＤＣデータであるかによって生成される。
次に、乗算器７１３においてオフセット補正された画素データに係数が乗算されてＡＤ変換伝達曲線が補正される（ステップＳＴ３）。
その後に、加算器７１２においてオフセットが加算され（ステップＳＴ４）、２つのＡＤ変換伝達曲線の接合境界で滑らかに接合された画像データが出力される。
【0133】
（固体撮像装置１０の積層構造）
次に、本第１の実施形態に係る固体撮像装置１０の積層構造について説明する。
次に、本第１の実施形態に係る固体撮像装置１０の積層構造について説明する。
【0134】
図２１（Ａ）および（Ｂ）は、本第１の実施形態に係る固体撮像装置１０の積層構造について説明するための模式図である。
図２２は、本第１の実施形態に係る固体撮像装置１０の積層構造について説明するための簡略断面図である。
図２２は、本第１の実施形態に係る固体撮像装置１０の積層構造について説明するための簡略断面図である。
【0135】
本第１の実施形態に係る固体撮像装置１０は、第１の基板（上基板）１１０と第２の基板（下基板）１２０の積層構造を有する。
固体撮像装置１０は、たとえばウェハレベルで貼り合わせた後、ダイシングで切り出した積層構造の撮像装置として形成される。
本例では、第１の基板１１０と第２の基板１２０が積層された構造を有する。
固体撮像装置１０は、たとえばウェハレベルで貼り合わせた後、ダイシングで切り出した積層構造の撮像装置として形成される。
本例では、第１の基板１１０と第２の基板１２０が積層された構造を有する。
【0136】
第１の基板１１０には、その中央部を中心として画素部２０の各デジタル画素２００の光電変換読み出し部２１０が形成されている。
第１の基板１１０の光Ｌが入射側である第１面１１１側にフォトダイオードＰＤが形成され、その光入射側にマイクロレンズＭＣＬやカラーフィルタが形成されている。
第１の基板１１０の第２面側に転送トランジスタＴＧ１－Ｔｒ，リセットトランジスタＲＳＴ１－Ｔｒ，ソースフォロワトランジスタＳＦ１－Ｔｒ，カレントトランジスタＩＣ１－Ｔｒが形成されている
第１の基板１１０の光Ｌが入射側である第１面１１１側にフォトダイオードＰＤが形成され、その光入射側にマイクロレンズＭＣＬやカラーフィルタが形成されている。
第１の基板１１０の第２面側に転送トランジスタＴＧ１－Ｔｒ，リセットトランジスタＲＳＴ１－Ｔｒ，ソースフォロワトランジスタＳＦ１－Ｔｒ，カレントトランジスタＩＣ１－Ｔｒが形成されている
【0137】
このように、本第１の実施形態においては、第１の基板１１０には、基本的に、デジタル画素２００の光電変換読み出し部２１０が行列状に形成されている。
【0138】
第２の基板１２０には、各デジタル画素２００のＡＤ変換部２２０、メモリ部２３０がマトリクス状に形成されている。
また、第２の基板１２０には、垂直走査回路３０、出力回路４０、およびタイミング制御回路５０も形成されてもよい。
また、第２の基板１２０には、垂直走査回路３０、出力回路４０、およびタイミング制御回路５０も形成されてもよい。
【0139】
このような積層構造において、第１の基板１１０の各光電変換読み出し部２１０の読み出しノードＮＤ２と第２の基板１２０の各デジタル画素２００の比較器２２１の反転入力端子（－）とが、たとえば図３に示すように、それぞれ信号線ＬＳＧＮ１、マイクロバンプＢＭＰやビア（Ｄｉｅ－ｔｏ－Ｄｉｅ Ｖｉａ）等を用いて電気的な接続が行われている。
また、本実施形態においては第１の基板１１０の各光電変換読み出し部２１０の読み出しノードＮＤ２と第２の基板１２０の各デジタル画素２００の比較器２２１の反転入力端子（－）とが、結合キャパシタＣ２２１によりＡＣ結合されている。
また、本実施形態においては第１の基板１１０の各光電変換読み出し部２１０の読み出しノードＮＤ２と第２の基板１２０の各デジタル画素２００の比較器２２１の反転入力端子（－）とが、結合キャパシタＣ２２１によりＡＣ結合されている。
【0140】
（固体撮像装置１０の読み出し動作）
以上、固体撮像装置１０の各部の特徴的な構成および機能について説明した。
次に、本第１の実施形態に係る固体撮像装置１０のデジタル画素２００の画素信号の基本的な読み出し動作等について説明する。
以上、固体撮像装置１０の各部の特徴的な構成および機能について説明した。
次に、本第１の実施形態に係る固体撮像装置１０のデジタル画素２００の画素信号の基本的な読み出し動作等について説明する。
【0141】
図２３は、本第１の実施形態に係る固体撮像装置の所定シャッタモード時の主として画素部における読み出し動作を説明するためのタイミングチャートである。
図２４（Ａ）～（Ｄ）は、本第１の実施形態に係る固体撮像装置の所定シャッタモード時の主として画素部における読み出し動作を説明するための動作シーケンスおよびポテンシャル遷移を示す図である。
図２４（Ａ）～（Ｄ）は、本第１の実施形態に係る固体撮像装置の所定シャッタモード時の主として画素部における読み出し動作を説明するための動作シーケンスおよびポテンシャル遷移を示す図である。
【0142】
まず、読み出し動作を開始するに当たって、図２３および図２４（Ａ）に示すように、各デジタル画素２００のフォトダイオードＰＤ１およびフローティングディフュージョンＦＤ１をリセットするグローバルリセットが行われる。
グローバルリセットにおいては、全画素同時にリセットトランジスタＲＳＴ１－Ｔｒと転送トランジスタＴＧ１－Ｔｒが所定期間導通状態に保持されて、フォトダイオードＰＤ１およびフローティングディフュージョンＦＤ１がリセットされる。そして、全画素同時にリセットトランジスタＲＳＴ１－Ｔｒと転送トランジスタＴＧ１－Ｔｒが非導通状態に切り替えられて、全画素同時並列的に露光、すなわち電荷の蓄積が開始される。
グローバルリセットにおいては、全画素同時にリセットトランジスタＲＳＴ１－Ｔｒと転送トランジスタＴＧ１－Ｔｒが所定期間導通状態に保持されて、フォトダイオードＰＤ１およびフローティングディフュージョンＦＤ１がリセットされる。そして、全画素同時にリセットトランジスタＲＳＴ１－Ｔｒと転送トランジスタＴＧ１－Ｔｒが非導通状態に切り替えられて、全画素同時並列的に露光、すなわち電荷の蓄積が開始される。
【0143】
そして、図２３および図２４（Ｂ）に示すように、オーバーフロー電荷に対するタイムスタンプ（ＴＳ）ＡＤＣモードの動作が開始される。
オーバーフロー電荷は蓄積期間ＰＩ中にフローティングディフュージョンＦＤ１に蓄積される。タイムスタンプＡＤＣモードは蓄積時間ＰＩ中、具体的には、蓄積期間ＰＩ中であって、フローティングディフュージョンＦＤ１がリセットされるまでの期間に動作する。
オーバーフロー電荷は蓄積期間ＰＩ中にフローティングディフュージョンＦＤ１に蓄積される。タイムスタンプＡＤＣモードは蓄積時間ＰＩ中、具体的には、蓄積期間ＰＩ中であって、フローティングディフュージョンＦＤ１がリセットされるまでの期間に動作する。
【0144】
タイムスタンプ（ＴＳ）ＡＤＣモードにおいては、光電変換読み出し部２１０において、ＡＤ変換部２２０の第１の比較処理期間ＰＣＭＰ１に対応して、蓄積期間ＰＩにフォトダイオードＰＤ１から出力ノードとしてのフローティングディフュージョンＦＤ１に溢れ出たオーバーフロー電荷に応じた電圧信号ＶＳＬ１が出力される。
そして、ＡＤ変換部２２０の比較器２２１において、第１の比較処理ＣＭＰＲ１が行われる。比較器２２１では、読み出し部６０の制御の下、蓄積期間ＰＩ中であって、フローティングディフュージョンＦＤ１がリセットされるまでの期間にフォトダイオードＰＤ１から出力ノードであるフローティングフュージョンＦＤ１に溢れ出たオーバーフロー電荷に応じた電圧信号ＶＳＬ１に対するデジタル化した第１の比較結果信号ＳＣＭＰ１が出力され、第１の比較結果信号ＳＣＭＰ１に応じたデジタルデータがメモリ部２３０のメモリ２３１に格納される。
そして、ＡＤ変換部２２０の比較器２２１において、第１の比較処理ＣＭＰＲ１が行われる。比較器２２１では、読み出し部６０の制御の下、蓄積期間ＰＩ中であって、フローティングディフュージョンＦＤ１がリセットされるまでの期間にフォトダイオードＰＤ１から出力ノードであるフローティングフュージョンＦＤ１に溢れ出たオーバーフロー電荷に応じた電圧信号ＶＳＬ１に対するデジタル化した第１の比較結果信号ＳＣＭＰ１が出力され、第１の比較結果信号ＳＣＭＰ１に応じたデジタルデータがメモリ部２３０のメモリ２３１に格納される。
【0145】
次に、図２３および図２４（Ｃ）に示すように、オーバーフロー電荷に対するタイムスタンプ（ＴＳ）ＡＤＣモードの動作が終了し、リニアＡＤＣモードに遷移し、フローティングディフュージョンＦＤ１のリセット期間ＰＲ２に移行する。
リセット期間ＰＲ２においては、リセットトランジスタＲＳＴ１－Ｔｒが所定期間導通状態に保持されて、フローティングディフュージョンＦＤ１がリセットされる。フローティングディフュージョンＦＤ１のリセット時の信号（ＶＲＳＴ）を読み出してデジタル信号がメモリ部２３０のメモリ２３２に格納される。
そして、リセットトランジスタＲＳＴ１－Ｔｒが非導通状態に切り替えられる。この場合、蓄積期間ＰＩは継続される。
リセット期間ＰＲ２においては、リセットトランジスタＲＳＴ１－Ｔｒが所定期間導通状態に保持されて、フローティングディフュージョンＦＤ１がリセットされる。フローティングディフュージョンＦＤ１のリセット時の信号（ＶＲＳＴ）を読み出してデジタル信号がメモリ部２３０のメモリ２３２に格納される。
そして、リセットトランジスタＲＳＴ１－Ｔｒが非導通状態に切り替えられる。この場合、蓄積期間ＰＩは継続される。
【0146】
次に、図２３および図２４（Ｄ）に示すように、蓄積期間ＰＩが終了し、転送期間ＰＴに移行する。
転送期間ＰＴにおいては、転送トランジスタＴＧ１－Ｔｒが所定期間導通状態に保持されて、フォトダイオードＰＤ１の蓄積電荷がフローティングディフュージョンＦＤ１に転送される。
転送期間ＰＴにおいては、転送トランジスタＴＧ１－Ｔｒが所定期間導通状態に保持されて、フォトダイオードＰＤ１の蓄積電荷がフローティングディフュージョンＦＤ１に転送される。
【0147】
リニア（Ｌｉｎ，ＬＩＮ）ＡＤＣモードにおいては、光電変換読み出し部２１０において、ＡＤ変換部２２０の第２の比較処理期間ＰＣＭＰ２に対応して、蓄積期間ＰＩ終了後に、フォトダイオードＰＤ１から出力ノードとしてのフローティングディフュージョンＦＤ１に転送された蓄積電荷に応じた電圧信号ＶＳＬ２が出力される。
そして、ＡＤ変換部２２０の比較器２２１において、第２の比較処理ＣＭＰＲ２が行われる。比較器２２１では、読み出し部６０の制御の下、蓄積期間ＰＩ後に、フォトダイオードＰＤ１から出力ノードであるフローティングフュージョンＦＤ１に転送された蓄積電荷に応じた電圧信号ＶＳＬ２に対するデジタル化した第２の比較結果信号ＳＣＭＰ２が出力され、第２の比較結果信号ＳＣＭＰ２に応じたデジタルデータがメモリ部２３０のメモリ２３２に格納される。
そして、ＡＤ変換部２２０の比較器２２１において、第２の比較処理ＣＭＰＲ２が行われる。比較器２２１では、読み出し部６０の制御の下、蓄積期間ＰＩ後に、フォトダイオードＰＤ１から出力ノードであるフローティングフュージョンＦＤ１に転送された蓄積電荷に応じた電圧信号ＶＳＬ２に対するデジタル化した第２の比較結果信号ＳＣＭＰ２が出力され、第２の比較結果信号ＳＣＭＰ２に応じたデジタルデータがメモリ部２３０のメモリ２３２に格納される。
【0148】
メモリ部２３０に読み出された信号は、メモリノードからのデジタル信号データの読み出しによって実行され、そのようなＭＩＰＩデータフォーマットを有する、たとえば出力回路４０のＩＯバッファ４１を介して固体撮像装置１０（イメージセンサ）のＤＳＰ部７０に送られる。この動作は、全画素（ピクセル）アレイに対してグローバルに実行される。
【0149】
ＤＳＰ部７０では、入力されたデジタル信号に対してＣＤＳ、黒補正、デジタルゲイン等の画像信号処理が施された後、たとえばＳＬＶＳインタフェース部において出力型式に適合させて出力される。
このときＤＳＰ部７０では、信号処理部７１０が、測定された画素のＦＷＣ情報を適用して第１の比較処理ＣＭＰＲ１に応じた第１のＡＤ変換伝達曲線ＴＣ１と第２の比較処理ＣＭＰＲ２に応じた第２のＡＤ変換伝達曲線ＴＣ２の接合ギャップを補正する合成処理を行って、２つの信号を合成してダイナミックレンジが拡大されたハイダイナミックレンジ信号が生成される。
このときＤＳＰ部７０では、信号処理部７１０が、測定された画素のＦＷＣ情報を適用して第１の比較処理ＣＭＰＲ１に応じた第１のＡＤ変換伝達曲線ＴＣ１と第２の比較処理ＣＭＰＲ２に応じた第２のＡＤ変換伝達曲線ＴＣ２の接合ギャップを補正する合成処理を行って、２つの信号を合成してダイナミックレンジが拡大されたハイダイナミックレンジ信号が生成される。
【0150】
以上説明したように、本第１の実施形態によれば、固体撮像装置１０は、画素部２０において、デジタル画素として光電変換読み出し部２１０、ＡＤ変換部２２０、およびメモリ部２３０を含み、グローバルシャッタの動作機能を持つ、たとえば積層型のＣＭＯＳイメージセンサとして構成されている。
本第１の実施形態に係る固体撮像装置１０において、各デジタル画素２００がＡＤ変換機能を有しており、ＡＤ変換部２２０は、光電変換読み出し部２１０により読み出される電圧信号と参照電圧とを比較し、デジタル化した比較結果信号を出力する比較処理を行う比較器２２１を有している。
そして、比較器２２１は、読み出し部６０の制御の下、蓄積期間にフォトダイオードＰＤ１から出力ノード（フローティングディフュージョン）ＦＤ１に溢れ出たオーバーフロー電荷に応じた電圧信号に対するデジタル化した第１の比較結果信号ＳＣＭＰ１を出力する第１の比較処理ＣＭＰＲ１と、蓄積期間後の転送期間にフローティングノードＦＤ１（出力ノード）に転送されたフォトダイオードＰＤ１の蓄積電荷に応じた電圧信号に対するデジタル化した第２の比較結果信号ＳＣＭＰ２を出力する第２の比較処理ＣＭＰＲ２と、を行う。
そして、ＤＳＰ部７０の信号処理部７１０が、測定された画素のＦＷＣ情報を適用して第１の比較処理ＣＭＰＲ１に応じた第１のＡＤ変換伝達曲線ＴＣ１と第２の比較処理ＣＭＰＲ２に応じた第２のＡＤ変換伝達曲線ＴＣ２の接合ギャップを補正する合成処理を行って、２つの信号を合成してダイナミックレンジが拡大されたハイダイナミックレンジ信号を生成する。
本第１の実施形態に係る固体撮像装置１０において、各デジタル画素２００がＡＤ変換機能を有しており、ＡＤ変換部２２０は、光電変換読み出し部２１０により読み出される電圧信号と参照電圧とを比較し、デジタル化した比較結果信号を出力する比較処理を行う比較器２２１を有している。
そして、比較器２２１は、読み出し部６０の制御の下、蓄積期間にフォトダイオードＰＤ１から出力ノード（フローティングディフュージョン）ＦＤ１に溢れ出たオーバーフロー電荷に応じた電圧信号に対するデジタル化した第１の比較結果信号ＳＣＭＰ１を出力する第１の比較処理ＣＭＰＲ１と、蓄積期間後の転送期間にフローティングノードＦＤ１（出力ノード）に転送されたフォトダイオードＰＤ１の蓄積電荷に応じた電圧信号に対するデジタル化した第２の比較結果信号ＳＣＭＰ２を出力する第２の比較処理ＣＭＰＲ２と、を行う。
そして、ＤＳＰ部７０の信号処理部７１０が、測定された画素のＦＷＣ情報を適用して第１の比較処理ＣＭＰＲ１に応じた第１のＡＤ変換伝達曲線ＴＣ１と第２の比較処理ＣＭＰＲ２に応じた第２のＡＤ変換伝達曲線ＴＣ２の接合ギャップを補正する合成処理を行って、２つの信号を合成してダイナミックレンジが拡大されたハイダイナミックレンジ信号を生成する。
【0151】
したがって、本第１の実施形態の固体撮像装置１０によれば、蓄積期間にフォトダイオードから溢れ出る電荷をリアルタイムに利用し、組み合わせようとする複数の信号のスムーズな切り替え（接続）を可能とすることから、画像劣化を抑止しつつ実質的に大幅な広ダイナミックレンジ化、高フレームレート化を実現することが可能となる。
また、本第１の実施形態によれば、実質的に広ダイナミックレンジ化、高フレームレート化を実現することが可能で、しかも低ノイズ化を図れ、有効画素領域を最大限に拡大することができ、コストあたりの価値を最大限に高めることが可能となる。
また、本第１の実施形態によれば、実質的に広ダイナミックレンジ化、高フレームレート化を実現することが可能で、しかも低ノイズ化を図れ、有効画素領域を最大限に拡大することができ、コストあたりの価値を最大限に高めることが可能となる。
【0152】
また、本第１の実施形態の固体撮像装置１０によれば、ＦＷＣの大きな変動にかかわらず、デジタル領域のＡＤ変換コードを所望の全伝達曲線に合わせて再変換することにより、２つのＡＤ変換伝達曲線の境界での滑らかな接合を実現することができる。
【0153】
また、本第１の実施形態の固体撮像装置１０によれば、構成の複雑化を防止しつつ、レイアウト上の面積効率の低下を防止することができる。
【0154】
また、本第１の実施形態に係る固体撮像装置１０は、第１の基板（上基板）１１０と第２の基板（下基板）１２０の積層構造を有する。
したがって、本第１の実施形態において、第１の基板１１０側を、基本的に、ＮＭＯＳ系の素子だけで形成すること、および、画素アレイにより有効画素領域を最大限に拡大することにより、コストあたりの価値を最大限に高めることができる。
したがって、本第１の実施形態において、第１の基板１１０側を、基本的に、ＮＭＯＳ系の素子だけで形成すること、および、画素アレイにより有効画素領域を最大限に拡大することにより、コストあたりの価値を最大限に高めることができる。
【0155】
（第２の実施形態）
図２５は、本発明の第２の実施形態に係る固体撮像装置を説明するための図であって、タイムスタンプＡＤＣモード動作とリニアＡＤＣモード動作の選択処理の一例を示す図である。
図２５は、本発明の第２の実施形態に係る固体撮像装置を説明するための図であって、タイムスタンプＡＤＣモード動作とリニアＡＤＣモード動作の選択処理の一例を示す図である。
【0156】
本第２の実施形態に係る固体撮像装置１０Ａが、上述した第１の実施形態に係る固体撮像装置１０と異なる点は、次のとおりである。
第１の実施形態に係る固体撮像装置１０では、タイムスタン（ＴＳ）ＡＤＣモード動作とリニア（Ｌｉｎ）ＡＤＣモード動作が連続して行われる。
第１の実施形態に係る固体撮像装置１０では、タイムスタン（ＴＳ）ＡＤＣモード動作とリニア（Ｌｉｎ）ＡＤＣモード動作が連続して行われる。
【0157】
これに対して、本第２の実施形態に係る固体撮像装置１０Ａでは、照度に応じてタイムスタンプ（ＴＳ）ＡＤＣモード動作とリニア（Ｌｉｎ）ＡＤＣモード動作を選択的に行うことができる。
【0158】
図２５の例では、通常の照度である場合（ＳＴ１１）、タイムスタンプＡＤＣモード動作とリニアＡＤＣモード動作が連続して行う（ＳＴ１２）。
通常の照度ではなく、非常に（極めて）高照度の場合（ＳＴ１１、ＳＴ１３）、フォトダイオードＰＤ１から電荷がフローティングディフュージョンＦＤ１にオーバーフローする確率が高いことから、タイムスタンプＡＤＣモード動作のみを行う（ＳＴ１４）、
通常の照度ではなく、非常に（極めて）高照度でもなく、非常に（極めて）低照度の場合（ＳＴ１１、ＳＴ１３、ＳＴ１５）、フォトダイオードＰＤ１から電荷がフローティングディフュージョンＦＤ１にオーバーフローする確率がきわめて低いことから、リニアＡＤＣモード動作のみを行う（ＳＴ１６）。
通常の照度ではなく、非常に（極めて）高照度の場合（ＳＴ１１、ＳＴ１３）、フォトダイオードＰＤ１から電荷がフローティングディフュージョンＦＤ１にオーバーフローする確率が高いことから、タイムスタンプＡＤＣモード動作のみを行う（ＳＴ１４）、
通常の照度ではなく、非常に（極めて）高照度でもなく、非常に（極めて）低照度の場合（ＳＴ１１、ＳＴ１３、ＳＴ１５）、フォトダイオードＰＤ１から電荷がフローティングディフュージョンＦＤ１にオーバーフローする確率がきわめて低いことから、リニアＡＤＣモード動作のみを行う（ＳＴ１６）。
【0159】
本第２の実施形態によれば、上述した第１の実施形態の効果と同様の効果を得ることができることはもとより、読み出し処理の高速化、低消費電力化を図ることが可能となる。
【0160】
（第３の実施形態）
図２６は、本発明の第３の実施形態に係る固体撮像装置１０Ｂにおけるフレーム読み出しシーケンスの一例を示す図である。
図２７は、本第３の実施形態に係る比較器に参照電圧を入力した場合の光時間変換の状態を示す図である。
図２７において，横軸がサンプリング時間を示し、縦軸がオーバーフロー信号における推定信号を示している。なお、ここでのオーバーフロー信号とは、転送トランジスタＴＧ１－Ｔｒを導通状態にしてフォトダイオードＰＤ１に電荷をためない条件（非オーバーフロー）にして見積もったものである。
図２７は、適用される光の性質（適性）による非オーバーフロー電荷（信号）に対応する比較器２２１が反転するサンプリング時間を示している。
図２８（Ａ）および（Ｂ）は、本第３の実施形態におけるデジタルコードと光変換による電荷量との関係を示す図である。図２８（Ａ）はリニアのランプ信号を用いた場合の特性を、図２８（Ｂ）はログ信号を用いた場合の特性を示している。
図２６は、本発明の第３の実施形態に係る固体撮像装置１０Ｂにおけるフレーム読み出しシーケンスの一例を示す図である。
図２７は、本第３の実施形態に係る比較器に参照電圧を入力した場合の光時間変換の状態を示す図である。
図２７において，横軸がサンプリング時間を示し、縦軸がオーバーフロー信号における推定信号を示している。なお、ここでのオーバーフロー信号とは、転送トランジスタＴＧ１－Ｔｒを導通状態にしてフォトダイオードＰＤ１に電荷をためない条件（非オーバーフロー）にして見積もったものである。
図２７は、適用される光の性質（適性）による非オーバーフロー電荷（信号）に対応する比較器２２１が反転するサンプリング時間を示している。
図２８（Ａ）および（Ｂ）は、本第３の実施形態におけるデジタルコードと光変換による電荷量との関係を示す図である。図２８（Ａ）はリニアのランプ信号を用いた場合の特性を、図２８（Ｂ）はログ信号を用いた場合の特性を示している。
【0161】
本第３の実施形態において、読み出し部６０は、比較器２２１に対して、蓄積期間にフォトダイオードＰＤ１から出力ノードであるフローティングディフュージョンＦＤ１に溢れ出ない場合であっても、第１の比較処理ＣＭＰＲ１により、電荷に応じた電圧信号ＶＳＬに対するデジタル化した第１の比較結果信号ＳＣＭＰ１を出力するように制御する。
【0162】
本第３の実施形態において、良好な変換処理を実現でき、場合によっては８６ｄＢのダイナミックレンジ性能を実現することができる。
【0163】
（第４の実施形態）
図２９は、本発明の第４の実施形態に係る固体撮像装置の画素の構成例を示す図である。
図２９は、本発明の第４の実施形態に係る固体撮像装置の画素の構成例を示す図である。
【0164】
本第４の実施形態に係る固体撮像装置１０Ｃが、上述した第１の実施形態に係る固体撮像装置１０と異なる点は、次のとおりである。
本第４の実施形態に係る固体撮像装置１０Ｂでは、電流源としてのカレントトランジスタＩＣ１－Ｔｒが第１の基板１１０側ではなく、たとえば第２の基板１２０側のＡＤ変換部２２０の入力側に配置されている。
本第４の実施形態に係る固体撮像装置１０Ｂでは、電流源としてのカレントトランジスタＩＣ１－Ｔｒが第１の基板１１０側ではなく、たとえば第２の基板１２０側のＡＤ変換部２２０の入力側に配置されている。
【0165】
本第４の実施形態によれば、上述した第１の実施形態の効果と同様の効果を得ることができる。
【0166】
以上説明した固体撮像装置１０，１０Ａ，１０Ｂ，１０Ｃは、デジタルカメラやビデオカメラ、携帯端末、あるいは監視用カメラ、医療用内視鏡用カメラなどの電子機器に、撮像デバイスとして適用することができる。
【0167】
図３０は、本発明の実施形態に係る固体撮像装置が適用されるカメラシステムを搭載し
た電子機器の構成の一例を示す図である。
た電子機器の構成の一例を示す図である。
【0168】
本電子機器３００は、図３０に示すように、本実施形態に係る固体撮像装置１０が適用可能なＣＭＯＳイメージセンサ３１０を有する。
さらに、電子機器３００は、このＣＭＯＳイメージセンサ３１０の画素領域に入射光を導く（被写体像を結像する）光学系（レンズ等）３２０を有する。
電子機器３００は、ＣＭＯＳイメージセンサ３１０の出力信号を処理する信号処理回路(ＰＲＣ)３３０を有する。
さらに、電子機器３００は、このＣＭＯＳイメージセンサ３１０の画素領域に入射光を導く（被写体像を結像する）光学系（レンズ等）３２０を有する。
電子機器３００は、ＣＭＯＳイメージセンサ３１０の出力信号を処理する信号処理回路(ＰＲＣ)３３０を有する。
【0169】
信号処理回路３３０は、ＣＭＯＳイメージセンサ３１０の出力信号に対して所定の信号処理を施す。
信号処理回路３３０で処理された画像信号は、液晶ディスプレイ等からなるモニタに動画として映し出し、あるいはプリンタに出力することも可能であり、またメモリカード等の記録媒体に直接記録する等、種々の態様が可能である。
信号処理回路３３０で処理された画像信号は、液晶ディスプレイ等からなるモニタに動画として映し出し、あるいはプリンタに出力することも可能であり、またメモリカード等の記録媒体に直接記録する等、種々の態様が可能である。
【0170】
上述したように、ＣＭＯＳイメージセンサ３１０として、前述した固体撮像装置１０，１０Ａ，１０Ｂを搭載することで、高性能、小型、低コストのカメラシステムを提供することが可能となる。
そして、カメラの設置の要件に実装サイズ、接続可能ケーブル本数、ケーブル長さ、設置高さなどの制約がある用途に使われる、たとえば、監視用カメラ、医療用内視鏡用カメラなどの電子機器を実現することができる。
そして、カメラの設置の要件に実装サイズ、接続可能ケーブル本数、ケーブル長さ、設置高さなどの制約がある用途に使われる、たとえば、監視用カメラ、医療用内視鏡用カメラなどの電子機器を実現することができる。
【符号の説明】
【0171】
１０，１０Ａ，１０Ｂ，１０Ｃ・・・固体撮像装置、２０・・・画素部、ＰＤ１・・・フォトダイオード、ＴＧ１－Ｔｒ・・・転送トランジスタ、ＲＳＴ１－Ｔｒ・・・リセットトランジスタ、ＳＦ１－Ｔｒ・・・ソースフォロワトランジスタ、ＩＣ１－Ｔｒ・・・カレントトランジスタ、ＦＤ１・・・フローティングディフュージョン、２００・・・デジタル画素、２１０・・・光電変換読み出し部、２１１・・・出力バッファ部、２２０・・・ＡＤ変換部、２２１・・・比較器、２２２・・・カウンタ、２３０・・・メモリ部、３０・・・垂直走査回路、４０・・・出力回路、５０・・・タイミング制御回路、６０・・・読み出し部、７０・・・ＤＳＰ部、７０・・・信号処理部、３００・・・電子機器、３１０・・・ＣＭＯＳイメージセンサ、３２０・・・光学系、３３０・・・信号処理回路（ＰＲＣ）。
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図13】
【図14】
【図15】
【図16】
【図17】
【図18】
【図19】
【図20】
【図21】
【図22】
【図23】
【図24】
【図25】
【図26】
【図27】
【図28】
【図29】
【図30】