知財求人 - 知財ポータルサイト「IP Force」
特開2024-21074選択的マルチプルサンプリングを行うイメージセンサ及びその動作方法
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2024021074
(43)【公開日】2024-02-15
(54)【発明の名称】選択的マルチプルサンプリングを行うイメージセンサ及びその動作方法
(51)【国際特許分類】
H04N 25/581 20230101AFI20240207BHJP
H04N 25/583 20230101ALI20240207BHJP
H04N 25/585 20230101ALI20240207BHJP
H04N 25/59 20230101ALI20240207BHJP
H04N 25/77 20230101ALI20240207BHJP
H04N 25/78 20230101ALI20240207BHJP
【ＦＩ】
H04N25/581
H04N25/583
H04N25/585
H04N25/59
H04N25/77
H04N25/78
【審査請求】未請求
【請求項の数】20
【出願形態】ＯＬ
(21)【出願番号】P 2023125981
(22)【出願日】2023-08-02
(31)【優先権主張番号】10-2022-0096355
(32)【優先日】2022-08-02
(33)【優先権主張国・地域又は機関】KR
(31)【優先権主張番号】10-2023-0007001
(32)【優先日】2023-01-17
(33)【優先権主張国・地域又は機関】KR
(31)【優先権主張番号】18/335488
(32)【優先日】2023-06-15
(33)【優先権主張国・地域又は機関】US
(71)【出願人】
【識別番号】390019839
【氏名又は名称】三星電子株式会社
【氏名又は名称原語表記】Ｓａｍｓｕｎｇ Ｅｌｅｃｔｒｏｎｉｃｓ Ｃｏ．，Ｌｔｄ．
【住所又は居所原語表記】１２９，Ｓａｍｓｕｎｇ－ｒｏ，Ｙｅｏｎｇｔｏｎｇ－ｇｕ，Ｓｕｗｏｎ－ｓｉ，Ｇｙｅｏｎｇｇｉ－ｄｏ，Ｒｅｐｕｂｌｉｃ ｏｆ Ｋｏｒｅａ
(74)【代理人】
【識別番号】100107766
【弁理士】
【氏名又は名称】伊東 忠重
(74)【代理人】
【識別番号】100070150
【弁理士】
【氏名又は名称】伊東 忠彦
(74)【代理人】
【識別番号】100135079
【弁理士】
【氏名又は名称】宮崎 修
(72)【発明者】
【氏名】全 燦鎬
(72)【発明者】
【氏名】金 敬▲みん▼
(72)【発明者】
【氏名】吉 ▲みん▼▲そん▼
(72)【発明者】
【氏名】金 東▲ひょん▼
(72)【発明者】
【氏名】李 美羅
【テーマコード（参考）】
5C024
【Ｆターム（参考）】
5C024CX06
5C024CX46
5C024CX47
5C024CX51
5C024GX03
5C024GX14
5C024GX16
5C024GX18
5C024GY39
5C024GY41
5C024HX23
5C024JX41
(57)【要約】 （修正有）
【課題】フレーム速度減少を最小化し、広ダイナミックレンジとノイズ減少を実現する、マルチプルサンプリングを行うイメージセンサ及びその動作方法を提供する。
【解決手段】イメージセンサは、それぞれが第１フォトダイオードＳＰＤと第１フォトダイオードより受光面積が広い第２フォトダイオードＬＰＤとを含む複数のピクセルＰＸを含み、第１区間でＬＰＤを利用して第１コンバージョンゲインによって第１ピクセル信号を出力し、第２区間でＬＰＤを利用して第２コンバージョンゲインによって第２ピクセル信号を出力し、第３区間でＳＰＤを利用して第１コンバージョンゲインによって第３ピクセル信号を出力し、第４区間でＳＰＤを利用して第２コンバージョンゲインによって第４ピクセル信号を出力する。第１コンバージョンゲインは、第２コンバージョンゲインより高く、サンプリング回数及びサンプリングビット数は各区間毎に異なる。
【選択図】図３
【解決手段】イメージセンサは、それぞれが第１フォトダイオードＳＰＤと第１フォトダイオードより受光面積が広い第２フォトダイオードＬＰＤとを含む複数のピクセルＰＸを含み、第１区間でＬＰＤを利用して第１コンバージョンゲインによって第１ピクセル信号を出力し、第２区間でＬＰＤを利用して第２コンバージョンゲインによって第２ピクセル信号を出力し、第３区間でＳＰＤを利用して第１コンバージョンゲインによって第３ピクセル信号を出力し、第４区間でＳＰＤを利用して第２コンバージョンゲインによって第４ピクセル信号を出力する。第１コンバージョンゲインは、第２コンバージョンゲインより高く、サンプリング回数及びサンプリングビット数は各区間毎に異なる。
【選択図】図３
【特許請求の範囲】
【請求項1】
それぞれが第１フォトダイオードと前記第１フォトダイオードより受光面積が広い第２フォトダイオードとを含む複数のピクセルを含み、第１区間で前記第２フォトダイオードを利用して第１コンバージョンゲインによって第１ピクセル信号を出力し、第２区間で前記第２フォトダイオードを利用して第２コンバージョンゲインによって第２ピクセル信号を出力し、第３区間で前記第１フォトダイオードを利用して前記第１コンバージョンゲインによって第３ピクセル信号を出力し、第４区間で前記第１フォトダイオードを利用して前記第２コンバージョンゲインによって第４ピクセル信号を出力するピクセルアレイと、
前記各ピクセル信号のリセット信号及びイメージ信号に対してサンプリングを行ってデジタル信号を出力するアナログデジタル変換（ＡＤＣ）回路と、
前記ＡＤＣ回路の動作を制御するタイミングコントローラと、を含み、
前記第１コンバージョンゲインは前記第２コンバージョンゲインより高く、そして
前記サンプリングに関するサンプリング回数及びサンプリングビット数は前記各区間ごとに異なるように調節され、前記タイミングコントローラは前記サンプリング回数及び前記サンプリングビット数を調節するためのレジスタを含む、イメージセンサ。
前記各ピクセル信号のリセット信号及びイメージ信号に対してサンプリングを行ってデジタル信号を出力するアナログデジタル変換（ＡＤＣ）回路と、
前記ＡＤＣ回路の動作を制御するタイミングコントローラと、を含み、
前記第１コンバージョンゲインは前記第２コンバージョンゲインより高く、そして
前記サンプリングに関するサンプリング回数及びサンプリングビット数は前記各区間ごとに異なるように調節され、前記タイミングコントローラは前記サンプリング回数及び前記サンプリングビット数を調節するためのレジスタを含む、イメージセンサ。
【請求項2】
前記第１区間のサンプリング回数は１回からＫ回に増加し、サンプリングビット数はＭビットからＮビットに減少するように調節され、
前記第２区間乃至前記第４区間のサンプリング回数は１回に維持され、サンプリングビット数は前記Ｍビットから前記Ｎビットに維持されるように調節され、
前記サンプリング回数及び前記サンプリングビット数が調節された後の前記第１区間乃至前記第４区間の長さは、前記サンプリング回数及び前記サンプリングビット数が調節される前の前記第１区間乃至前記第４区間の長さと同じである、請求項１に記載のイメージセンサ。
前記第２区間乃至前記第４区間のサンプリング回数は１回に維持され、サンプリングビット数は前記Ｍビットから前記Ｎビットに維持されるように調節され、
前記サンプリング回数及び前記サンプリングビット数が調節された後の前記第１区間乃至前記第４区間の長さは、前記サンプリング回数及び前記サンプリングビット数が調節される前の前記第１区間乃至前記第４区間の長さと同じである、請求項１に記載のイメージセンサ。
【請求項3】
前記第１区間のサンプリング回数は１回からＫ回に増加し、サンプリングビット数はＭビットからＮビットに減少するように調節され、
前記第２区間乃至前記第４区間のサンプリング回数は１回に維持され、サンプリングビット数は前記Ｍビットに維持されるように調節され、
前記サンプリング回数及び前記サンプリングビット数が調節された後の前記第１区間乃至前記第４区間の長さは、前記サンプリング回数及び前記サンプリングビット数が調節される前の前記第１区間乃至前記第４区間の長さより長い、請求項１に記載のイメージセンサ。
前記第２区間乃至前記第４区間のサンプリング回数は１回に維持され、サンプリングビット数は前記Ｍビットに維持されるように調節され、
前記サンプリング回数及び前記サンプリングビット数が調節された後の前記第１区間乃至前記第４区間の長さは、前記サンプリング回数及び前記サンプリングビット数が調節される前の前記第１区間乃至前記第４区間の長さより長い、請求項１に記載のイメージセンサ。
【請求項4】
前記第４区間のリセット信号のサンプリング回数は１回からＫ回に増加し、サンプリングビット数はＭビットからＮビットに減少するように調節され、
前記第１区間乃至前記第３区間のサンプリング回数は１回に維持され、サンプリングビット数は前記Ｍビットから前記Ｎビットに維持されるように調節され、
前記サンプリング回数及び前記サンプリングビット数が調節された後の前記第１区間乃至前記第４区間の長さは、前記サンプリング回数及び前記サンプリングビット数が調節される前の前記第１区間乃至前記第４区間の長さと同じである、請求項１に記載のイメージセンサ。
前記第１区間乃至前記第３区間のサンプリング回数は１回に維持され、サンプリングビット数は前記Ｍビットから前記Ｎビットに維持されるように調節され、
前記サンプリング回数及び前記サンプリングビット数が調節された後の前記第１区間乃至前記第４区間の長さは、前記サンプリング回数及び前記サンプリングビット数が調節される前の前記第１区間乃至前記第４区間の長さと同じである、請求項１に記載のイメージセンサ。
【請求項5】
前記第４区間のリセット信号のサンプリング回数は１回からＫ回に増加し、サンプリングビット数はＭビットからＮビットに減少するように調節され、
前記第１区間乃至前記第３区間のサンプリング回数は１回に維持され、サンプリングビット数は前記Ｍビットに維持されるように調節され、
前記サンプリング回数及び前記サンプリングビット数が調節された後の前記第１区間乃至前記第４区間の長さは、前記サンプリング回数及び前記サンプリングビット数が調節される前の前記第１区間乃至前記第４区間の長さより長い、請求項１に記載のイメージセンサ。
前記第１区間乃至前記第３区間のサンプリング回数は１回に維持され、サンプリングビット数は前記Ｍビットに維持されるように調節され、
前記サンプリング回数及び前記サンプリングビット数が調節された後の前記第１区間乃至前記第４区間の長さは、前記サンプリング回数及び前記サンプリングビット数が調節される前の前記第１区間乃至前記第４区間の長さより長い、請求項１に記載のイメージセンサ。
【請求項6】
前記第４区間で前記第４ピクセル信号のリセット信号がサンプリングされるたびに、前記第１フォトダイオードで生成された電荷が保存される第１フローティング拡散領域の電圧がリセットされる、請求項５に記載のイメージセンサ。
【請求項7】
第１メモリと第２メモリとを含み、前記デジタル信号を受信してイメージデータを出力するデータバスを更に含み、
前記第１メモリは、前記デジタル信号のうち前記第１区間に対応する第１信号または前記第３区間に対応する第３信号を保存し、前記第２メモリは、前記デジタル信号のうち前記第２区間に対応する第２信号または前記第４区間に対応する第４信号を保存し、そして
前記第１メモリ及び前記第２メモリが前記信号を保存している時間は前記各区間の前記サンプリング回数及び前記サンプリングビット数によって異なるように調節される、請求項１に記載のイメージセンサ。
前記第１メモリは、前記デジタル信号のうち前記第１区間に対応する第１信号または前記第３区間に対応する第３信号を保存し、前記第２メモリは、前記デジタル信号のうち前記第２区間に対応する第２信号または前記第４区間に対応する第４信号を保存し、そして
前記第１メモリ及び前記第２メモリが前記信号を保存している時間は前記各区間の前記サンプリング回数及び前記サンプリングビット数によって異なるように調節される、請求項１に記載のイメージセンサ。
【請求項8】
前記ピクセルアレイは、前記第１区間、前記第２区間、前記第３区間、及び前記第４区間によって順次に前記第１ピクセル信号、前記第２ピクセル信号、前記第３ピクセル信号、及び前記第４ピクセル信号を出力する、請求項１に記載のイメージセンサ。
【請求項9】
複数のピクセルを含み、前記複数のピクセルからピクセル信号を出力するピクセルアレイと、
前記ピクセル信号のリセット信号及びイメージ信号に対してサンプリングを行ってデジタル信号を出力するアナログデジタル変換（ＡＤＣ）回路と、
前記ＡＤＣ回路を制御するタイミングコントローラと、を含み、
前記複数のピクセルそれぞれは、
第１フォトダイオードと、
前記第１フォトダイオードより受光面積が広い第２フォトダイオードと、
前記第１フォトダイオードで生成された電荷が保存される第１フローティング拡散領域と連結されるキャパシタと、
前記キャパシタと連結される第１トランジスタと、
前記第１フローティング拡散領域及び第２フローティング拡散領域に連結される第２トランジスタと、
前記第２フォトダイオードで生成された電荷が保存される第３フローティング拡散領域と前記第２フローティング拡散領域との間に連結される第３トランジスタと、を含み、
前記サンプリングに関するサンプリング回数及びサンプリングビット数は前記第１トランジスタ乃至前記第３トランジスタそれぞれがターンオンされたかまたはターンオフされたかによって異なるように調節され、前記タイミングコントローラは前記サンプリング回数及び前記サンプリングビット数を調節するためのレジスタを含む、イメージセンサ。
前記ピクセル信号のリセット信号及びイメージ信号に対してサンプリングを行ってデジタル信号を出力するアナログデジタル変換（ＡＤＣ）回路と、
前記ＡＤＣ回路を制御するタイミングコントローラと、を含み、
前記複数のピクセルそれぞれは、
第１フォトダイオードと、
前記第１フォトダイオードより受光面積が広い第２フォトダイオードと、
前記第１フォトダイオードで生成された電荷が保存される第１フローティング拡散領域と連結されるキャパシタと、
前記キャパシタと連結される第１トランジスタと、
前記第１フローティング拡散領域及び第２フローティング拡散領域に連結される第２トランジスタと、
前記第２フォトダイオードで生成された電荷が保存される第３フローティング拡散領域と前記第２フローティング拡散領域との間に連結される第３トランジスタと、を含み、
前記サンプリングに関するサンプリング回数及びサンプリングビット数は前記第１トランジスタ乃至前記第３トランジスタそれぞれがターンオンされたかまたはターンオフされたかによって異なるように調節され、前記タイミングコントローラは前記サンプリング回数及び前記サンプリングビット数を調節するためのレジスタを含む、イメージセンサ。
【請求項10】
前記キャパシタは前記第１フォトダイオードから溢れる電荷を保存し、
前記第１トランジスタがターンオンされたら、前記キャパシタは前記第１フローティング拡散領域のキャパシタンスを増加させ、
前記第２トランジスタがターンオンされたら前記第１フォトダイオードが動作し、前記第２トランジスタがターンオフされたら前記第２フォトダイオードが動作し、
前記第３トランジスタがターンオンされたら前記第２フローティング拡散領域及び第３フローティング拡散領域のキャパシタンスが増加し、
前記第１フォトダイオードは、前記第１トランジスタがターンオフされたら第１コンバージョンゲインによって動作し、前記第１トランジスタがターンオンされたら第１コンバージョンゲインより低い第２コンバージョンゲインによって動作し、
前記第２フォトダイオードは、前記第３トランジスタがターンオフされたら前記第１コンバージョンゲインによって動作し、前記第３トランジスタがターンオンされたら前記第２コンバージョンゲインによって動作する、請求項９に記載のイメージセンサ。
前記第１トランジスタがターンオンされたら、前記キャパシタは前記第１フローティング拡散領域のキャパシタンスを増加させ、
前記第２トランジスタがターンオンされたら前記第１フォトダイオードが動作し、前記第２トランジスタがターンオフされたら前記第２フォトダイオードが動作し、
前記第３トランジスタがターンオンされたら前記第２フローティング拡散領域及び第３フローティング拡散領域のキャパシタンスが増加し、
前記第１フォトダイオードは、前記第１トランジスタがターンオフされたら第１コンバージョンゲインによって動作し、前記第１トランジスタがターンオンされたら第１コンバージョンゲインより低い第２コンバージョンゲインによって動作し、
前記第２フォトダイオードは、前記第３トランジスタがターンオフされたら前記第１コンバージョンゲインによって動作し、前記第３トランジスタがターンオンされたら前記第２コンバージョンゲインによって動作する、請求項９に記載のイメージセンサ。
【請求項11】
前記複数のピクセルそれぞれは、
前記第２トランジスタがターンオフされ、前記第３トランジスタがターンオフされる第１区間で前記第２フォトダイオードを利用して第１ピクセル信号を出力し、
前記第２トランジスタがターンオフされ、前記第３トランジスタがターンオンされる第２区間で前記第２フォトダイオードを利用して第２ピクセル信号を出力し、
前記第１トランジスタがターンオフされ、前記第２トランジスタがターンオンされる第３区間で前記第１フォトダイオードを利用して第３ピクセル信号を出力し、
前記第１トランジスタがターンオンされ、前記第２トランジスタがターンオンされる第４区間で前記第１フォトダイオードを利用して第４ピクセル信号を出力する、請求項９に記載のイメージセンサ。
前記第２トランジスタがターンオフされ、前記第３トランジスタがターンオフされる第１区間で前記第２フォトダイオードを利用して第１ピクセル信号を出力し、
前記第２トランジスタがターンオフされ、前記第３トランジスタがターンオンされる第２区間で前記第２フォトダイオードを利用して第２ピクセル信号を出力し、
前記第１トランジスタがターンオフされ、前記第２トランジスタがターンオンされる第３区間で前記第１フォトダイオードを利用して第３ピクセル信号を出力し、
前記第１トランジスタがターンオンされ、前記第２トランジスタがターンオンされる第４区間で前記第１フォトダイオードを利用して第４ピクセル信号を出力する、請求項９に記載のイメージセンサ。
【請求項12】
前記第１区間のサンプリング回数は１回からＫ回に増加し、サンプリングビット数はＭビットからＮビットに減少するように調節され、
前記第２区間乃至前記第４区間のサンプリング回数は１回に維持され、サンプリングビット数は前記Ｍビットから前記Ｎビットに維持されるように調節され、
前記サンプリング回数及び前記サンプリングビット数が調節された後の前記第１区間乃至前記第４区間の長さは、前記サンプリング回数及び前記サンプリングビット数が調節される前の前記第１区間乃至前記第４区間の長さと同じである、請求項１１に記載のイメージセンサ。
前記第２区間乃至前記第４区間のサンプリング回数は１回に維持され、サンプリングビット数は前記Ｍビットから前記Ｎビットに維持されるように調節され、
前記サンプリング回数及び前記サンプリングビット数が調節された後の前記第１区間乃至前記第４区間の長さは、前記サンプリング回数及び前記サンプリングビット数が調節される前の前記第１区間乃至前記第４区間の長さと同じである、請求項１１に記載のイメージセンサ。
【請求項13】
前記第１区間のサンプリング回数は１回からＫ回に増加し、サンプリングビット数はＭビットからＮビットに減少するように調節され、
前記第２区間乃至前記第４区間のサンプリング回数は１回に維持され、サンプリングビット数は前記Ｍビットに維持されるように調節され、
前記サンプリング回数及び前記サンプリングビット数が調節された後の前記第１区間乃至前記第４区間の長さは、前記サンプリング回数及び前記サンプリングビット数が調節される前の前記第１区間乃至前記第４区間の長さより長い、請求項１１に記載のイメージセンサ。
前記第２区間乃至前記第４区間のサンプリング回数は１回に維持され、サンプリングビット数は前記Ｍビットに維持されるように調節され、
前記サンプリング回数及び前記サンプリングビット数が調節された後の前記第１区間乃至前記第４区間の長さは、前記サンプリング回数及び前記サンプリングビット数が調節される前の前記第１区間乃至前記第４区間の長さより長い、請求項１１に記載のイメージセンサ。
【請求項14】
前記第４区間のリセット信号のサンプリング回数は１回からＫ回に増加し、サンプリングビット数はＭビットからＮビットに減少するように調節され、
前記第１区間乃至前記第３区間のサンプリング回数は１回に維持され、サンプリングビット数は前記Ｍビットから前記Ｎビットに維持されるように調節され、
前記サンプリング回数及び前記サンプリングビット数が調節された後の前記第１区間乃至前記第４区間の長さは、前記サンプリング回数及び前記サンプリングビット数が調節される前の前記第１区間乃至前記第４区間の長さと同じである、請求項１１に記載のイメージセンサ。
前記第１区間乃至前記第３区間のサンプリング回数は１回に維持され、サンプリングビット数は前記Ｍビットから前記Ｎビットに維持されるように調節され、
前記サンプリング回数及び前記サンプリングビット数が調節された後の前記第１区間乃至前記第４区間の長さは、前記サンプリング回数及び前記サンプリングビット数が調節される前の前記第１区間乃至前記第４区間の長さと同じである、請求項１１に記載のイメージセンサ。
【請求項15】
前記第４区間のリセット信号のサンプリング回数は１回からＫ回に増加し、サンプリングビット数はＭビットからＮビットに減少するように調節され、
前記第１区間乃至前記第３区間のサンプリング回数は１回に維持され、サンプリングビット数は前記Ｍビットに維持されるように調節され、
前記サンプリング回数及び前記サンプリングビット数が調節された後の前記第１区間乃至前記第４区間の長さは、前記サンプリング回数及び前記サンプリングビット数が調節される前の前記第１区間乃至前記第４区間の長さより長い、請求項１１に記載のイメージセンサ。
前記第１区間乃至前記第３区間のサンプリング回数は１回に維持され、サンプリングビット数は前記Ｍビットに維持されるように調節され、
前記サンプリング回数及び前記サンプリングビット数が調節された後の前記第１区間乃至前記第４区間の長さは、前記サンプリング回数及び前記サンプリングビット数が調節される前の前記第１区間乃至前記第４区間の長さより長い、請求項１１に記載のイメージセンサ。
【請求項16】
前記複数のピクセルそれぞれは、
前記第２フローティング拡散領域と連結され、フローティング拡散領域の電圧をリセットするための第４トランジスタを更に含み、
前記第４区間で前記第４ピクセル信号のリセット信号がサンプリングされるたびに、前記第４トランジスタがターンオンされることで前記第１フォトダイオードで生成された電荷が保存される第１フローティング拡散領域の電圧がリセットされる、請求項１１に記載のイメージセンサ。
前記第２フローティング拡散領域と連結され、フローティング拡散領域の電圧をリセットするための第４トランジスタを更に含み、
前記第４区間で前記第４ピクセル信号のリセット信号がサンプリングされるたびに、前記第４トランジスタがターンオンされることで前記第１フォトダイオードで生成された電荷が保存される第１フローティング拡散領域の電圧がリセットされる、請求項１１に記載のイメージセンサ。
【請求項17】
第１区間で第２フォトダイオードを利用して第１コンバージョンゲインによって生成される第１ピクセル信号を第１サンプリングビットで第１サンプリング回数だけサンプリングするステップと、
第２区間で第２フォトダイオードを利用して前記第１コンバージョンゲインより低い第２コンバージョンゲインによって生成される第２ピクセル信号を第２サンプリングビットで第２サンプリング回数だけサンプリングするステップと、
第３区間で前記第２フォトダイオードより受光面積が狭い第１フォトダイオードを利用して前記第１コンバージョンゲインによって生成される第３ピクセル信号を第３サンプリングビットで第３サンプリング回数だけサンプリングするステップと、
第４区間で前記第１フォトダイオードを利用して前記第２コンバージョンゲインによって生成される第４ピクセル信号を第４サンプリングビットで第４サンプリング回数だけサンプリングするステップと、
前記サンプリングされたピクセル信号に基づいてデジタル信号を出力し、前記デジタル信号に基づいてイメージデータを生成するステップと、を含む、イメージセンサの動作方法。
第２区間で第２フォトダイオードを利用して前記第１コンバージョンゲインより低い第２コンバージョンゲインによって生成される第２ピクセル信号を第２サンプリングビットで第２サンプリング回数だけサンプリングするステップと、
第３区間で前記第２フォトダイオードより受光面積が狭い第１フォトダイオードを利用して前記第１コンバージョンゲインによって生成される第３ピクセル信号を第３サンプリングビットで第３サンプリング回数だけサンプリングするステップと、
第４区間で前記第１フォトダイオードを利用して前記第２コンバージョンゲインによって生成される第４ピクセル信号を第４サンプリングビットで第４サンプリング回数だけサンプリングするステップと、
前記サンプリングされたピクセル信号に基づいてデジタル信号を出力し、前記デジタル信号に基づいてイメージデータを生成するステップと、を含む、イメージセンサの動作方法。
【請求項18】
前記第２サンプリング回数乃至前記第４サンプリング回数は１回であり、前記第１サンプリング回数は１回より大きい、請求項１７に記載のイメージセンサの動作方法。
【請求項19】
前記第４ピクセル信号を第４サンプリングビットで第４サンプリング回数だけサンプリングするステップは、
前記第４ピクセル信号のイメージ信号を１回サンプリングするステップと、
前記第４ピクセル信号のリセット信号を前記第４サンプリング回数だけサンプリングするステップと、を含み、
前記第１サンプリング回数乃至前記第３サンプリング回数は１回であり、前記第４サンプリング回数は１回より大きい、請求項１７に記載のイメージセンサの動作方法。
前記第４ピクセル信号のイメージ信号を１回サンプリングするステップと、
前記第４ピクセル信号のリセット信号を前記第４サンプリング回数だけサンプリングするステップと、を含み、
前記第１サンプリング回数乃至前記第３サンプリング回数は１回であり、前記第４サンプリング回数は１回より大きい、請求項１７に記載のイメージセンサの動作方法。
【請求項20】
前記第４ピクセル信号のリセット信号を前記第４サンプリング回数だけサンプリングするステップは、前記第１フォトダイオードと連結されるフローティング拡散領域の電圧を第４サンプリング回数だけリセットするステップを含む、請求項１９に記載のイメージセンサの動作方法。
【発明の詳細な説明】
【技術分野】
【0001】
本開示は電子機器に関し、より詳しくは、選択的マルチプルサンプリングを行うイメージセンサ及びその動作方法に関する。
【背景技術】
【0002】
イメージセンサの種類として、ＣＣＤ（Ｃｈａｒｇｅ Ｃｏｕｐｌｅｄ Ｄｅｖｉｃｅイメージセンサ、ＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ Ｍｅｔａｌ－Ｏｘｉｄｅ Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）イメージセンサ（ＣＩＳ）などがある。ＣＭＯＳイメージセンサはＣＭＯＳトランジスタからなるピクセルを含み、各ピクセルに含まれる光電変換素子を利用して光エネルギーを電気的信号に変換する。ＣＭＯＳイメージセンサは、各ピクセルから発生された電気的信号を利用して撮影イメージに関する情報を取得する。
【0003】
特に、車両に設置される電装用イメージセンサ（ａｕｔｏｍｏｔｉｖｅ ｉｍａｇｅ ｓｅｎｓｏｒ）の場合、静止画の撮影よりは動画の撮影が主な機能であるため、一定レベル以上のフレーム速度を確保すべきである。そして、車両は極低照度の環境から極高照度の環境まで多様な照度を有する環境の下で運行されるため、広いダイナミックレンジ（ｄｙｎａｍｉｃ ｒａｎｇｅ）と改善された信号対雑音比（ＳＮＲ）がいずれも求められる。よって、フレーム速度の減少が最小化されるＨＤＲイメージのノイズ減少方法が求められている。
【発明の概要】
【発明が解決しようとする課題】
【0004】
本開示は、フレーム速度減少を最小化するノイズ減少のために選択的マルチプルサンプリングを行うイメージセンサ及びその動作方法を提供する。
【課題を解決するための手段】
【0005】
本開示の実施例によるイメージセンサは、それぞれが第１フォトダイオードと前記第１フォトダイオードより受光面積が広い第２フォトダイオードとを含む複数のピクセルを含み、第１区間で前記第２フォトダイオードを利用して第１コンバージョンゲインによって第１ピクセル信号を出力し、第２区間で前記第２フォトダイオードを利用して第２コンバージョンゲインによって第２ピクセル信号を出力し、第３区間で前記第１フォトダイオードを利用して前記第１コンバージョンゲインによって第３ピクセル信号を出力し、第４区間で前記第１フォトダイオードを利用して前記第２コンバージョンゲインによって第４ピクセル信号を出力するピクセルアレイと、前記各ピクセル信号のリセット信号及びイメージ信号に対してサンプリングを行ってデジタル信号を出力するアナログデジタル変換（ＡＤＣ）回路と、前記ＡＤＣ回路の動作を制御するタイミングコントローラと、を含み、前記第１コンバージョンゲインは前記第２コンバージョンゲインより高く、そして前記サンプリングに関するサンプリング回数及びサンプリングビット数は前記各区間ごとに異なるように調節され、前記タイミングコントローラは前記サンプリング回数及び前記サンプリングビット数を調節するためのレジスタを含む。
【0006】
本開示の実施例によるイメージセンサは、複数のピクセルを含み、前記複数のピクセルからピクセル信号を出力するピクセルアレイと、前記ピクセル信号のリセット信号及びイメージ信号に対してサンプリングを行ってデジタル信号を出力するアナログデジタル変換（ＡＤＣ）回路と、前記ＡＤＣ回路を制御するタイミングコントローラと、を含み、前記複数のピクセルそれぞれは、第１フォトダイオードと、前記第１フォトダイオードより受光面積が広い第２フォトダイオードと、前記第１フォトダイオードで生成された電荷が保存される第１フローティング拡散領域と連結されるキャパシタと、前記キャパシタと連結される第１トランジスタと、前記第１フローティング拡散領域及び第２フローティング拡散領域に連結される第２トランジスタと、前記第２フォトダイオードで生成された電荷が保存される第３フローティング拡散領域と前記第２フローティング拡散領域との間に連結される第３トランジスタと、を含み、前記サンプリングに関するサンプリング回数及びサンプリングビット数は前記第１トランジスタ乃至前記第３トランジスタそれぞれがターンオンされたかまたはターンオフされたかによって異なるように調節され、前記タイミングコントローラは前記サンプリング回数及び前記サンプリングビット数を調節するためのレジスタを含む。
【0007】
本開示の実施例によるイメージセンサの動作方法は、第１区間で第２フォトダイオードを利用して第１コンバージョンゲインによって生成される第１ピクセル信号を第１サンプリングビットで第１サンプリング回数だけサンプリングするステップと、第２区間で第２フォトダイオードを利用して前記第１コンバージョンゲインより低い第２コンバージョンゲインによって生成される第２ピクセル信号を第２サンプリングビットで第２サンプリング回数だけサンプリングするステップと、前記第２フォトダイオードより受光面積が狭い第１フォトダイオードを利用して前記第１コンバージョンゲインによって生成される第３ピクセル信号を第３サンプリングビットで第３サンプリング回数だけサンプリングするステップと、前記第１フォトダイオードを利用して前記第２コンバージョンゲインによって生成される第４ピクセル信号を第４サンプリングビットで第４サンプリング回数だけサンプリングするステップと、前記サンプリングされたピクセル信号に基づいてデジタル信号を出力し、前記デジタル信号に基づいてイメージデータを生成するステップと、を含む。
【0008】
本開示の実施例による電子装置は、イメージセンサとアプリケーションプロセッサとを含み、前記イメージセンサは、それぞれが第１フォトダイオードと前記第１フォトダイオードより受光面積が広い第２フォトダイオードとを含む複数のピクセルを含み、第１区間で前記第２フォトダイオードを利用して第１コンバージョンゲインによって第１ピクセル信号を出力し、第２区間で前記第２フォトダイオードを利用して第２コンバージョンゲインによって第２ピクセル信号を出力し、第３区間で前記第１フォトダイオードを利用して前記第１コンバージョンゲインによって第３ピクセル信号を出力し、第４区間で前記第１フォトダイオードを利用して前記第２コンバージョンゲインによって第４ピクセル信号を出力するピクセルアレイと、前記各ピクセル信号のリセット信号及びイメージ信号に対してサンプリングを行ってデジタル信号を出力するアナログデジタル変換（ＡＤＣ）回路と、前記ＡＤＣ回路の動作を制御するタイミングコントローラと、を含み、前記第１コンバージョンゲインは前記第２コンバージョンゲインより高く、前記サンプリングに関するサンプリング回数及びサンプリングビット数は前記各区間ごとに異なるように調節され、そして前記アプリケーションプロセッサは前記タイミングコントローラが含むレジスタの値を設定して前記サンプリング回数及び前記サンプリングビット数を調節する。
【発明の効果】
【0009】
本開示の実施例によると、リードアウトモードによって選択的にマルチプルサンプリングを適用することができる。
【0010】
特に、本開示の実施例によると、各リードアウトモードの駆動時間を調節することでノイズ減少に伴うフレーム速度の減少を最小化することができる。
【図面の簡単な説明】
【0011】
【図1】本開示の実施例によるイメージ処理システムの構成の例を示す図である。
【図5a】１Ｈ時間が維持されるＬＰＤ＿ＨＣＧモードのマルチプルサンプリングの例を示す図である。
【図5b】１Ｈ時間が増加するＬＰＤ＿ＨＣＧモードのマルチプルサンプリングの例を示す図である。
【図6a】サンプリング回数が１回でサンプリングビット数が１２ビットであるＬＰＤ＿ＨＣＧモードのリセット区間及び信号区間の例を示す図である。
【図6b】サンプリング回数が４回でサンプリングビット数が１２ビットであるＬＰＤ＿ＨＣＧモードのリセット区間及び信号区間の例を示す図である。
【図6c】サンプリング回数が４回でサンプリングビット数が１０ビットであるＬＰＤ＿ＨＣＧモードのリセット区間及び信号区間の例を示す図である。
【図7a】１Ｈ時間が維持されるＳＰＤ＿ＬＣＧモードのマルチプルサンプリングの例を示す図である。
【図7b】１Ｈ時間が増加するＳＰＤ＿ＬＣＧモードのマルチプルサンプリングの例を示す図である。
【図8】サンプリング回数が１回でサンプリングビット数が１２ビットであるＳＰＤ＿ＬＣＧモードの信号区間と、サンプリング回数が４回でサンプリングビット数が１０ビットであるＳＰＤ＿ＬＣＧモードのリセット区間の例を示す図である。
【図11】マルチプルサンプリングが適用されていない場合とＬＰＤ＿ＨＣＧモードにマルチプルサンプリングが適用された場合のＳＮＲを比較した結果を示す図である。
【図12】マルチプルサンプリングが適用されていない場合とＳＰＤ＿ＬＣＧモードにマルチプルサンプリングが適用された場合のＳＮＲを比較した結果を示す図である。
【図13】本開示の実施例による選択的マルチプルサンプリングを行うイメージセンサの動作方法の例を示すフローチャートである。
【図14】本開示の実施例によるイメージセンサを含む電子装置の構成の例を示す図である。
【発明を実施するための形態】
【0012】
以下、本開示の技術分野における通常の知識を有する者が本発明を容易に実施し得る程度に、本開示の実施例を明確で詳細に記載する。
【0013】
詳細な説明で使用される部またはユニット（ｕｎｉｔ）、モジュール（ｍｏｄｕｌｅ）、ブロック（ｂｌｏｃｋ）、～器（～ｏｒ、～ｅｒ）などの用語を参照して説明される構成要素及び図面に示した機能ブロックは、ソフトウェアまたはハードウェア、またはそれらの組み合わせの形態で具現化される。例示的に、ソフトウェアは、機械コード、ファームウェア、埋め込みコード、及びアプリケーションソフトウェアである。例えば、ハードウェアは、電気回路、電子回路、プロセッサ、コンピュータ、集積回路、集積回路コア、圧力センサ、慣性センサ、ＭＥＭＳ（ｍｉｃｒｏｅｌｅｃｔｒｏｍｅｃｈａｎｉｃａｌ ｓｙｓｔｅｍ）、受動素子、またはそれらの組み合わせを含む。
【0014】
図１は、本開示の実施例によるイメージ処理システム１０の構成の例を示す図である。例えば、イメージ処理システム１０は、カメラ、スマートフォン、ウェアラブル機器、モノのインターネット（Ｉｎｔｅｒｎｅｔ ｏｆ Ｔｈｉｎｇｓ（ＩｏＴ））機器、家電機器、タブレットＰＣ（Ｐｅｒｓｏｎａｌ Ｃｏｍｐｕｔｅｒ）、ＰＤＡ（Ｐｅｒｓｏｎａｌ Ｄｉｇｉｔａｌ Ａｓｓｉｓｔａｎｔ）、ＰＭＰ（ｐｏｒｔａｂｌｅ Ｍｕｌｔｉｍｅｄｉａ Ｐｌａｙｅｒ）、ナビゲーション（ｎａｖｉｇａｔｉｏｎ）、ドローン（ｄｒｏｎｅ）、先進運転支援システム（Ａｄｖａｎｃｅｄ Ｄｒｉｖｅｒｓ Ａｓｓｉｓｔａｎｃｅ Ｓｙｓｔｅｍ；ＡＤＡＳ）などのような多様な電子装置の一部として具現化される。また、イメージ処理システム１０は、車両、家具、製造設備、ドア、各種計測機器などに部品として備えられる電子装置に搭載される。図１を参照すると、イメージ処理システム１０は、レンズ１２と、イメージセンサ１４と、イメージ信号プロセッサ１６とを含む。
【0015】
光は撮影の対象となるオブジェクト、風景などによって反射し、レンズ１２は反射された光を受信する。イメージセンサ１４は、レンズ１２を介して受信される光に基づいて電気信号を生成する。例えば、イメージセンサ１４はＣＭＯＳイメージセンサなどで具現化される。
【0016】
イメージセンサ１４はピクセルアレイを含む。ピクセルアレイのピクセルは、光を電気信号に変換してピクセル値を生成する。光が電気信号（例えば、電圧）に変換される割合をコンバージョンゲイン（ｃｏｎｖｅｒｓｉｏｎ ｇａｉｎ）と定義するが、ピクセルアレイは、コンバージョンゲインを変化させるデュアルコンバージョンゲイン（ｄｕａｌ ｃｏｎｖｅｒｓｉｏｎ ｇａｉｎ）を利用して、ローコンバージョンゲイン（ｌｏｗ ｃｏｎｖｅｒｓｉｏｎ ｇａｉｎ）モード及びハイコンバージョンゲイン（ｈｉｇｈ ｃｏｎｖｅｒｓｉｏｎ ｇａｉｎ）モードの下でピクセル信号を生成する。また、ピクセルアレイの各ピクセルは、スプリットフォトダイオード（ｓｐｌｉｔ ｐｈｏｔｏｄｉｏｄｅ）構造を有する。イメージセンサ１４の構成は図２を参照してより詳細に説明する。
【0017】
イメージ信号プロセッサ１６は、イメージセンサ１４から出力された電気信号に対して前処理を行い、前処理された電気信号を適切に処理して、撮影されたオブジェクト、風景などに関するイメージデータを生成する。そのために、イメージ信号プロセッサ１６は、色補正（ｃｏｌｏｒ ｃｏｒｒｅｃｔｉｏｎ）、自動白色補正（ａｕｔｏ ｗｈｉｔｅ ｂａｌａｎｃｅ）、ガンマ補正（ｇａｍｍａ ｃｏｒｒｅｃｔｉｏｎ）、色飽和補正（ｃｏｌｏｒ ｓａｔｕｒａｔｉｏｎ ｃｏｒｒｅｃｔｉｏｎ）、不良ピクセル補正（ｂａｄ ｐｉｘｅｌ ｃｏｒｒｅｃｔｉｏｎ）、色度補正（ｈｕｅ ｃｏｒｒｅｃｔｉｏｎ）のような多様な処理を行う。
【0018】
図１は一つのレンズ１２及び一つのイメージセンサ１４を示している。しかし、他の実施例において、イメージ処理システム１０は、複数のレンズと複数のイメージセンサとを含んでもよい。この場合、複数のレンズはそれぞれ異なる画角を有する。また、複数のイメージセンサは、異なる機能、異なる性能、及び／または異なる特性を有し、異なる構成のピクセルアレイを含む。
【0019】
図２は、図１のイメージセンサ１４の構成の例を示す図である。図２を参照すると、イメージセンサ１００は、ピクセルアレイ１１０と、ロードライバ１２０と、ランプ信号生成器１３０と、アナログデジタル変換（Ａｎａｌｏｇ－ｔｏ－Ｄｉｇｉｔａｌ Ｃｏｎｖｅｒｔｅｒ；ＡＤＣ）回路１４０と、データバス１５０と、イネーブル信号生成器１６０と、タイミングコントローラ１７０とを含む。
【0020】
ピクセルアレイ１１０は、行と列（Ｎ個の行とＮ個の列（つまり、Ｎ×Ｎ））に沿ってマトリックス状に配置される複数のピクセルＰＸを含む。複数のピクセルＰＸそれぞれは光電変換素子を含む。例えば、光電変換素子は、フォトダイオード、フォトトランジスタ、フォトゲート、またはピン留めフォトダイオード（ｐｉｎｎｅｄ ｐｈｏｔｏｄｉｏｄｅ）などを含む。また、複数のピクセルＰＸそれぞれは複数の光電変換素子を含んでもよい。
【0021】
本開示の実施例による複数のピクセルＰＸそれぞれは少なくとも２つ以上のフォトダイオードを含むスプリットフォトダイオード構造のピクセルＰＸであり、ここで２つ以上のフォトダイオードは互いに独立して動作する。例えば、ピクセルＰＸは、受光面積が小さいスモールフォトダイオード（ｓｍａｌｌ ｐｈｏｔｏｄｉｏｄｅ；ＳＰＤ）と、スモールフォトダイオードより受光面積が広いラージフォトダイオード（ｌａｒｇｅ ｐｈｏｔｏｄｉｏｄｅ；ＬＰＤ）とを含む。
【0022】
ラージフォトダイオード及びスモールフォトダイオードは、オブジェクト周辺の照度によって選択的に動作する。例えば、ラージフォトダイオードは低照度環境でピクセル信号を生成するように動作し、スモールフォトダイオードは露出時間を長くして高照度環境でピクセル信号を生成するように動作する。また、ラージフォトダイオード及びスモールフォトダイオードはそれぞれハイコンバージョンゲインモードまたはローコンバージョンゲインモードのうちいずれか一つで動作する。スプリットフォトダイオード構造を有するピクセルＰＸの構成及び動作は図３を参照してより詳細に説明する。
【0023】
なお、本開示の実施例によると、各モード（ラージフォトダイオードのハイコンバージョンゲインモード及びローコンバージョンゲインモード、スモールフォトダイオードのハイコンバージョンゲインモード及びローコンバージョンゲインモード）別にサンプリング回数及びサンプリングビット数が選択的に調節される。例えば、サンプリング回数及びサンプリングビット数はタイミングコントローラ１７０のレジスタによって調節される。
【0024】
一方、複数のピクセルＰＸそれぞれの上部、または隣接したピクセルＰＸで構成されるピクセルグループそれぞれの上部に集光のためのマイクロレンズが配置される。複数のピクセルＰＸそれぞれはマイクロレンズを介して受信された光から特定スペクトル領域の光を感知する。例えば、ピクセルアレイ１１０は、赤色（ｒｅｄ）スペクトル領域の光を電気信号を変換する赤色ピクセルと、緑色（Ｇｒｅｅｎ）スペクトル領域の光を電気信号を変換するための緑色ピクセルと、青色（ｂｌｕｅ）スペクトル領域の光を電気信号を変換するための青色ピクセルとを含む。複数のピクセルＰＸそれぞれの上部には特定スペクトル領域の光を透過させるためのカラーフィルタが配置される。しかし、本開示はこれに限らず、ピクセルアレイ１１０は、赤色、緑色、及び青色以外にに他のスペクトル領域の光を電気信号に変換するピクセルを含んでもよい。
【0025】
ピクセルアレイ１１０の複数のピクセルＰＸそれぞれは、外部から受光された光の強度または光の量によって対応するカラムラインＣＬ１～ＣＬＮを介してピクセル信号を出力する。複数のカラムラインＣＬ１～ＣＬＮそれぞれは、列方向に延長され、同じ列に配置されるピクセルＰＸに連結される。例えば、ピクセル信号は、外部から受光された光の強度または光の量に対応するアナログ信号である。ピクセル信号は、電圧バッファ（例えば、ソースフォロワ）を通ってカラムラインＣＬ１～ＣＬＮを介してＡＤＣ回路１４０に提供される。
【0026】
ロードライバ１２０はピクセルアレイ１１０の行を選択し駆動する。ロードライバ１２０は、タイミングコントローラ１７０によって生成されたアドレス及び／または制御信号をデコーディングして、ピクセルアレイ１１０の行を選択し駆動するための制御信号を生成する。例えば、制御信号は、ピクセルを選択するための信号、フローティング拡散領域をリセットするための信号、フローティング拡散領域に電荷を伝送するための信号などなどを含む。特に、本開示のロードライバ１２０はピクセルＰＸのラージフォトダイオード及びスモールフォトダイオードのリードアウトモードを制御する制御信号を生成し、それをピクセルアレイ１１０に提供する。
【0027】
ランプ信号生成器１３０は、タイミングコントローラ１７０の制御の下でランプ信号を生成する。例えば、ランプ信号生成器１３０はランプイネーブル信号のような制御信号の下で動作する。ランプイネーブル信号が活性化されたら、ランプ信号生成器１３０は予め決められた値（例えば、開始レベル、終了レベル、勾配など）によってランプ信号を生成する。言い換えれば、ランプ信号は特定時間の間に予め決められた勾配によって増加または減少する信号である。なお、本開示のランプ信号は、上述したピクセルＰＸのモード別サンプリング回数及びサンプリングビット数の変化によって異なるように調節される。ランプ信号はＡＤＣ回路１４０に提供される。
【0028】
ＡＤＣ回路１４０は、ピクセルアレイ１１０の複数のピクセルＰＸからカラムラインＣＬ１～ＣＬＮを介してピクセル信号を受信し、ランプ信号生成器１３０からランプ信号を受信する。ＡＤＣ回路１４０は受信されたピクセル信号に対してリセット信号及びイメージ信号を獲得し、その差を有効な信号成分として抽出する。ＡＤＣ回路１４０は、複数の比較器ＣＯＭＰ及びカウンタＣＮＴを含む。
【0029】
詳しくは、比較器ＣＯＭＰは、ピクセル信号のリセット信号とランプ信号ＲＡＭＰを比較し、ピクセル信号のイメージ信号とランプ信号ＲＡＭＰを比較してサンプリングを行う。例えば、比較器ＣＯＭＰは、演算トランスコンダクタンス増幅器（Ｏｐｅｒａｔｉｏｎａｌ Ｔｒａｎｓｃｏｎｄｕｃｔａｎｃｅ Ａｍｐｌｉｆｉｅｒ；ＯＴＡ）を利用して具現化される。カウンタＣＮＴは、相関二重サンプリングが行われた信号のパルスをカウントしてデジタル信号として出力し、データバス１５０に提供する。
【0030】
データバス１５０は、ＡＤＣ回路１４０から受信したデジタル信号に基づいてイメージデータＩＤＡＴを出力する。例えば、データバス１５０は、複数のメモリと、感知増幅器と、カラムデコーダとを含む。複数のメモリはデジタルカウンタＣＮＴから出力されたデジタル信号を一時的に保存し、感知増幅器は複数のメモリに保存されているデジタル信号を感知及び増幅する。複数のメモリにデジタル信号を保存し、保存されたデジタル信号を読み込む動作はイネーブル信号生成器１６０の制御の下で行われる。増幅されたデジタル信号は、カラムデコーダの制御の下でイメージデータＩＤＡＴとして図１のイメージ信号プロセッサ１６に伝送される。
【0031】
イネーブル信号生成器１６０は、データバス１５０に含まれている複数のメモリにデジタル信号を一時的に保存する動作（つまり、書き込み動作）、イメージデータＩＤＡＴを出力するために複数のメモリからデジタル信号を読み込む動作（つまり、読み込み動作）を制御する読み込み／書き込みイネーブル信号及び読み込み／書き込み選択信号を生成する。
【0032】
タイミングコントローラ１７０は、ロードライバ１２０、ランプ信号生成器１３０、ＡＤＣ回路１４０、及びイネーブル信号生成器１６０それぞれの動作及び／またはタイミングを制御するための制御信号及び／またはクロックを生成する。特に、本開示のタイミングコントローラ１７０は、ピクセルＰＸのリードアウトモード別にサンプリング回数及びサンプリングビット数を調節するためのレジスタを含む。例えば、タイミングコントローラ１７０は、レジスタによって設定されたサンプリング回数及びサンプリングビット数によってロードライバ１２０、ランプ信号生成器１３０、ＡＤＣ回路１４０、及びイネーブル信号生成器１６０を制御する。
【0033】
図３は、図２のピクセルアレイ１１０のピクセルＰＸのうちいずれか一つの例を示す回路図である。図３を参照すると、ピクセルＰＸは、ラージフォトダイオードＬＰＤと、スモールフォトダイオードＳＰＤと、ラージ伝送トランジスタＬＴＧと、スモール伝送トランジスタＳＴＧと、リセットトランジスタＲＧと、駆動トランジスタＤＸと、選択トランジスタＳＸと、コンバージョンゲイン制御トランジスタＤＲＧと、スイッチトランジスタＳＷと、キャパシタ制御トランジスタＣＣＴＲと、キャパシタＣ１とを含む。
【0034】
また、図３を参照すると、ピクセルＰＸに印加される電圧は、ピクセル電圧ＶＰＩＸと、キャパシタ電源電圧ＶＭＩＭと、リセット電源電圧ＶＲＤとを含む。キャパシタ電源電圧ＶＭＩＭ及びリセット電減電圧ＶＲＤそれぞれはピクセル電圧ＶＩＰＸと同じく供給されるか、別途の回路を経て供給される。なお、フローティング拡散領域ＦＤ１、ＦＤ２、ＦＤ３によって寄生キャパシタが形成される。
【0035】
フォトダイオードは外部から入射される光を電気信号に変換する。フォトダイオードは光の強度によって電荷を発生する。オブジェクト周辺の照度によってフォトダイオードから生成される電荷量は可変的である。上述したように、フォトダイオードは、受光面積によって受光面積が広いラージフォトダイオードＬＰＤと受光面積が小さいスモールフォトダイオードＳＰＤに区分される。つまり、ピクセルＰＸは、ラージフォトダイオードＬＰＤとスモールフォトダイオードＳＰＤとを含むスプリットフォトダイオード構造を有する。
【0036】
ラージ伝送トランジスタＬＴＧはラージ伝送制御信号ＬＴＳによって駆動される。ラージ伝送トランジスタＬＴＧは、ラージフォトダイオードＬＰＤによって生成された電荷を第３フローティング拡散領域ＦＤ３に伝送する。なお、コンバージョンゲイン制御トランジスタＤＲＧがターンオンされたら、ラージ伝送トランジスタＬＴＧはラージフォトダイオードＬＰＤによって生成された電荷を第３フローティング拡散領域ＦＤ３だけでなく第２フローティング拡散領域ＦＤ２にまでも伝送する。ラージ伝送トランジスタＬＴＧの一端はラージフォトダイオードＬＰＤに連結され、他端はそれぞれ第３フローティング拡散領域ＦＤ３に連結される。
【0037】
スモール伝送トランジスタＳＴＧはスモール伝送制御信号ＳＴＳによって駆動される。スモール伝送トランジスタＳＴＧは、スモールフォトダイオードＳＰＤによって生成された電荷を第１フローティング拡散領域ＦＤ１に伝送する。スモール伝送トランジスタＳＴＧの一端はスモールフォトダイオードＳＰＤに連結され、他端は第１フローティング拡散領域ＦＤ１に連結される。
【0038】
スイッチトランジスタＳＷはスイッチ制御信号ＳＷＳによって駆動される。スイッチトランジスタＳＷは、スモールフォトダイオードＳＰＤを利用してピクセル信号ＰＩＸを生成するためにターンオンされ、ラージフォトダイオードＬＰＤを利用してピクセル信号ＰＩＸを生成するためにターンオフされる。スイッチトランジスタＳＷの一端は第１フローティング拡散領域ＦＤ１連結され、他端は第２フローティング拡散領域ＦＤ２に連結される。
【0039】
ラージフォトダイオードＬＰＤが利用される際、コンバージョンゲイン制御トランジスタＤＲＧはコンバージョンゲイン制御信号ＣＧＳによって駆動される。コンバージョンゲイン制御トランジスタＤＲＧがターンオンされたら、第３フローティング拡散領域ＦＤ３に形成される寄生キャパシタ及び第２フローティング拡散領域ＦＤ２に形成される寄生キャパシタが並列連結されてフローティング拡散領域のキャパシタンスが増加する。フローティング拡散領域のキャパシタンスが増加すればコンバージョンゲインは低くなり、キャパシタンスが減少すればコンバージョンゲインは高くなるため、コンバージョンゲイン制御トランジスタＤＲＧがターンオフされた際のコンバージョンゲインは、コンバージョンゲイン制御トランジスタＤＲＧがターンオンされた際のコンバージョンゲインより高い。コンバージョンゲイン制御トランジスタＤＲＧの一端は第２フローティング拡散領域ＦＤ２に連結され、他端は第３フローティング拡散領域ＦＤ３の間に連結される。
【0040】
スモールフォトダイオードＳＰＤが利用される際、キャパシタ制御トランジスタＣＣＴＲはキャパシタ制御信号ＣＣＳによって駆動される。キャパシタ制御トランジスタＣＣＴＲがターンオンされたら、キャパシタＣ１は第１フローティング拡散領域ＦＤ１に形成される寄生キャパシタと並列連結されて第１フローティング拡散領域ＦＤ１のキャパシタンスを増加させる。よって、キャパシタ制御トランジスタＣＣＴＲがターンオフされた際のコンバージョンゲインは、キャパシタ制御トランジスタＣＣＴＲがターンオフされた際のコンバージョンゲインより高い。キャパシタ制御トランジスタＣＣＴＲの一端はキャパシタＣ１に連結され、他端はキャパシタ電源電圧ＶＭＩＭに連結される。例えば、キャパシタＣ１は、固定または可変キャパシタンスを有する手動素子であり、スモールフォトダイオードＳＰＤから溢れる横型オーバーフロー（ｌａｔｅｒａｌ ｏｖｅｒｆｌｏｗ）電荷を保存する。
【0041】
リセットトランジスタＲＧは、リセット制御信号ＲＳによって駆動され、フローティング拡散領域ＦＤ２、ＦＤ３にリセット電源電圧ＶＲＤを提供する。なお、スイッチトランジスタＳＷがターンオンされたら、リセットトランジスタＲＧは、第１フローティング拡散領域ＦＤ１にもリセット電源電圧ＶＲＤを提供する。それによってフローティング拡散領域ＦＤ１、ＦＤ２、ＦＤ３に蓄積された電荷はリセット電源電圧ＶＲＤ端に移動し、フローティング拡散領域ＦＤ１、ＦＤ２、ＦＤ３の電圧はリセットされる。
【0042】
駆動トランジスタＤＸは、カラムラインＣＬに連結される電流ソース（図示せず）によって生成されるバイアス電流に基づいてソースフォロワとして動作し、フローティング拡散領域ＦＤ１、ＦＤ２、ＦＤ３の電圧を増幅してピクセル信号ＰＩＸを生成する。選択トランジスタＳＸは、選択信号ＳＥＬによって駆動され、行単位に読み出すピクセルを選択する。選択トランジスタＳＥＬがターンオンされたら、ピクセル信号ＰＩＸは、カラムラインＣＬを介して図２のＡＤＣ回路１４０に出力される。
【0043】
結論的に、図３のピクセルＰＸは、ラージフォトダイオードＬＰＤまたはスモールフォトダイオードＳＰＤのうち一つを利用してピクセル信号ＰＩＸを生成する。そして、ラージフォトダイオードＬＰＤは、コンバージョンゲイン制御トランジスタＤＲＧがターンオン、ターンオフ可否によってハイコンバージョンゲインモードまたはローコンバージョンゲインモードのうち一つで動作し、スモールフォトダイオードＳＰＤは、キャパシタ制御トランジスタＣＣＴＲのターンオン、ターンオフ可否によってハイコンバージョンゲインモードまたはローコンバージョンゲインのうち一つで動作する。
【0044】
つまり、図３のピクセルＰＸは、照度によって総４つのリードアウトモードでピクセル信号ＰＩＸを生成する。詳しくは、最も低い照度を有する第１区間でラージフォトダイオードＬＰＤは、ハイコンバージョンゲインモード（以下、ＬＰＤ＿ＨＣＧモードと称する）で動作し、第１区間より高い照度を有する第２区間でラージフォトダイオードＬＰＤはローコンバージョンゲインモード（以下、ＬＰＤ＿ＬＣＧモードと称する）で動作する。そして、第２区間より高い照度を有する第３区間でスモールフォトダイオードＳＰＤは、ハイコンバージョンゲインモード（以下、ＳＰＤ＿ＨＣＧモードと称する）で動作し、最も高い照度を有する第４区間でスモールフォトダイオードＳＰＤはローコンバージョンゲインモード（以下、ＳＰＤ＿ＬＣＧモードと称する）で動作する。
【0045】
このようにピクセルＰＸは、デュアルコンバージョンゲインモードで動作するラージフォトダイオードＬＰＤ及びスモールフォトダイオードＳＰＤを利用して照度によって低光量及び高光量の光を感知するため、図２のイメージセンサ１００のダイナミックレンジが増加する。また、ピクセルＰＸは、ＬＰＤ＿ＨＣＧモード、ＬＰＤ＿ＬＣＧモード、ＳＰＤ＿ＨＣＧ、及びＳＰＤ＿ＬＣＧモードで順次に動作し、図２のイメージセンサ１００は、各モードによるイメージデータＩＤＡＴを全て併合してＨＤＲ（ｈｉｇｈ ｄｙｎａｍｉｃ ｒａｎｇｅ）イメージを生成する。
【0046】
なお、本開示の実施例によると、各リードアウトモードのサンプリング回数及びサンプリングビット数が選択的に調節される。例えば、各モードのサンプリング回数の増加によってノイズが減少し信号対雑音比（ＳＮＲ）が改善されるが、リードアウト時間が長くなることでフレーム速度が減少する恐れがあり、サンプリングビット数の減少によってフレーム速度の減少が最小化される。
【0047】
図４は、図３のピクセルＰＸのリードアウト動作の例を示すタイミング図である。図３及び図４を共に参照すると、一回のリードアウト動作は互いに異なるリードアウトモードＬＰＤ＿ＨＣＧ、ＬＰＤ＿ＬＣＧ、ＳＰＤ＿ＨＣＧ、及びＳＰＤ＿ＬＣＧに対応する複数の区間を含むが、一回のリードアウト動作に所要される全体時間は１Ｈ時間と定義する。複数の区間それぞれはピクセル信号ＰＩＸのリセット信号を出力する区間ＳＲＴ及びピクセル信号ＰＩＸのイメージ信号を出力する区間ＳＩＧを含む。基本的に、各モードのサンプリング回数（つまり、リセット信号とランプ信号を比較する回数及びイメージ信号とランプ信号を比較する回数）は１回であり、サンプリングビット数はＭビット（例えば、１２ビット）であると仮定する。
【0048】
図４を参照すると、リードアウト動作を行うピクセルＰＸの選択トランジスタＳＸはハイレベルの選択信号ＳＥＬに応答してターンオンされる。また、ラージフォトダイオードＬＰＤが利用されるＬＰＤ＿ＨＣＧモード及びＬＰＤ＿ＬＣＧモードの間にローレベルのスイッチ制御信号ＳＷＳに応答してスイッチトランジスタＳＷがターンオフされ、スモールフォトダイオードＳＰＤが利用されるＳＰＤ＿ＨＣＧモード及びＳＰＤ＿ＬＣＧモードの間にハイレベルのスイッチ制御信号ＳＷＳに応答してスイッチトランジスタＳＷがターンオンされる。そして、各モードが開始するたびにハイレベルのオート制御信号ＡＺに応答して図２のＡＤＣ回路１４０が含む増幅器が初期化される。
【0049】
第１モードであるＬＰＤ＿ＨＣＧモードの間、リセット区間ＲＳＴによるリセット信号が先に出力された後、信号区間ＳＩＧによるイメージ信号が出力されるＲＳＴ－ＳＩＧ。図４を参照すると、ＬＰＤ＿ＨＣＧモードのリセット区間ＲＳＴにおいて、ハイレベルのリセット制御信号ＲＳに応答してリセットトランジスタＲＧがターンオンされることで第３フローティング拡散領域ＦＤ３がリセットされ、ハイコンバージョンゲインに対応するピクセル信号のリセット信号がリードアウトされる。
【0050】
次に、信号区間ＳＩＧにおいて、ハイレベルのラージ伝送制御信号ＬＴＳに応答してラージフォトダイオードＬＰＤで生成された電荷がラージ伝送トランジスタＬＴＧを介して第３フローティング拡散領域ＦＤ３に伝送され、ハイコンバージョンゲインに対応するピクセル信号のイメージ信号がリードアウトされる。次に、ハイレベルのコンバージョンゲイン制御信号ＣＧＳに応答してコンバージョンゲイン制御トランジスタＤＲＧがターンオンされる。
【0051】
第２モードであるＬＰＤ＿ＬＣＧモードの間、信号区間ＳＩＧよるイメージ信号が先に出力された後、リセット区間ＲＳＴによるリセット信号が出力されるＳＩＧ－ＲＳＴ。図４を参照すると、信号区間ＳＩＧにおいて、ハイレベルのラージ伝送制御信号ＬＴＳに応答してラージフォトダイオードＬＰＤで生成された電荷がラージ伝送トランジスタＬＴＧを介して第３フローティング拡散領域ＦＤ３に伝送され、ローコンバージョンゲインに対応するピクセル信号のイメージ信号がリードアウトされる。次に、リセット区間ＲＳＴにおいて、ハイレベルのリセット制御信号ＲＳに応答してリセットトランジスタＲＧがターンオンされることで第３フローティング拡散領域ＦＤ３がリセットされ、ローコンバージョンゲインに対応するピクセル信号のリセット信号がリードアウトされる。
【0052】
第３モードであるＳＰＤ＿ＨＣＧモードの間、リセット区間ＲＳＴによるリセット信号が先に出力された後、信号区間ＳＩＧによるイメージ信号が出力されるＲＳＴ－ＳＩＧ。図４を参照すると、リセット区間ＲＳＴでハイレベルのリセット制御信号ＲＳに応答してリセットトランジスタＲＧがターンオンされ、第２フローティング拡散領域ＦＤ２及び第３フローティング拡散領域ＦＤ３がリセットされる。第２フローティング拡散領域ＦＤ３及び第３フローティング拡散領域ＦＤ３がリセットされた状態でハイレベルのスイッチ制御信号ＳＷＳに応答してスイッチトランジスタＳＷがターンオンされ、ハイコンバージョンゲインに対応するピクセル信号のリセット信号がリードアウトされる。そして、ローレベルのキャパシタ制御信号ＣＣＳに応答してキャパシタ制御トランジスタＣＣＴＲがターンオフされる。
【0053】
次に、信号区間ＳＩＧにおいて、ハイレベルのスモール伝送制御信号ＳＴＳに応答してスモールフォトダイオードＳＰＤで生成された電荷がスモール伝送トランジスタＳＴＧを介して第１フローティング拡散領域ＦＤ１に伝送され、ハイコンバージョンゲインに対応するピクセル信号のイメージ信号がリードアウトされる。次に、ハイレベルのキャパシタ制御信号ＣＣＳに応答してキャパシタ制御トランジスタＣＣＴＲがターンオンされる。
【0054】
第４モードであるＳＰＤ＿ＬＣＧモードの間、信号区間ＳＩＧよるイメージ信号が先に出力された後、リセット区間ＲＳＴによるイメージ信号が出力されるＳＩＧ－ＲＳＴ。図４を参照すると、信号区間ＳＩＧにおいて、キャパシタＣ１に保存されていた横型オーバーフロー電荷が第１フローティング拡散領域ＦＤ１に伝送され、ローコンバージョンゲインに対応するピクセル信号のイメージ信号がリードアウトされる。次に、リセット区間ＲＳＴにおいて、ハイレベルのリセット制御信号ＲＳに応答してリセットトランジスタＲＧがターンオンされることで第１フローティング拡散領域ＦＤ１、キャパシタＣ１、第２フローティング拡散領域ＦＤ２、及び第３フローティング拡散領域ＦＤ３がリセットされ、ローコンバージョンゲインに対応するピクセル信号のリセット信号がリードアウトされる。
【0055】
上述したＬＰＤ＿ＨＣＧモード、ＬＰＤ＿ＬＣＧモード、ＳＰＤ＿ＨＣＧモード、及びＳＰＤ＿ＬＣＧモードは、それぞれ図３を参照して照度によって分類した第１区間、第２区間、第３区間、及び第４区間に対応するリードアウトモードである。上述したリードアウトモードのうち、ＬＰＤ＿ＨＣＧモード及びＳＰＤ＿ＨＣＧモードによると、リセット区間ＲＳＴでリセット信号を先にリードアウトしてから次の信号区間ＳＩＧでイメージ信号をリードアウトするがＲＳＴ－ＳＩＧ、これは相関二重サンプリング（Ｃｏｒｒｅｌａｔｅｄ Ｄｏｕｂｌｅ Ｓａｍｐｌｉｎｇ；ＣＤＳ）リードアウト方式と称される。その反面、ＬＰＤ＿ＬＣＧモード及びＳＰＤ＿ＬＣＧモードによると、信号区間ＳＩＧでイメージ信号を先にリードアウトしてから次のリセット信号区間ＲＳＴでリセット信号をリードアウトするがＳＩＧ－ＲＳＴ、これは不完全ＣＤＳ（ｉｎｃｏｍｐｌｅｔｅ ＣＤＳ）リードアウト方式と称される。
【0056】
ＣＤＳリードアウト方式（ＲＳＴ－ＳＩＧ）の場合、リセット信号とイメージ信号が互いに関連するＫＴ／Ｃノイズ成分を有することでリードアウトを介してＫＴ／Ｃノイズが除去されるが、不完全ＣＤＳリードアウト方式（ＳＩＧ－ＲＳＴ）の場合、リセット信号とイメージ信号が互いに異なる（関連していない）ＫＴ／Ｃノイズ成分を有するようになり、リードアウトを介してＫＴ／Ｃノイズが制御されない可能性がある。
【0057】
一方、複数のリードアウトモードの動作順序は図４に示したものに限らず、スモールフォトダイオードＳＰＤのリードアウト動作がラージフォトダイオードＬＰＤより先に行われてもよく、ローコンバージョンゲインモードの動作がハイコンバージョンゲインモードの動作より先に行われてもよい。また、各モードでリセット区間ＲＳＴと信号区間ＳＩＧの順序が入れ替わるか、ローコンバージョンゲインモードのリセット区間ＲＳＴとハイコンバージョンゲインモードのリセット区間ＲＳＴが先に行われた後、ハイコンバージョンゲインモードの信号区間ＳＩＣとローコンバージョンゲインモードの信号区間ＳＩＧが行われてもよい。
【0058】
上述したように、ノイズ減少及びフレーム時間減少を最小化するために、本開示の実施例による各リードアウトモードのサンプリング回数及びサンプリングビット数は選択的に調節される。例えば、各リードアウトモードのサンプリング回数は１回からＫ回路に（１＜Ｋ；例えば、１回から４回路に）増加し、サンプリングビット数はＭビットからＮビットに（Ｍ＞Ｎ；例えば、１２ビットから１０ビットに）減少される。また、サンプリング回数が調節される際、リセット区間ＲＳＴ及び信号区間ＳＩＧの比較動作回数がいずれも調節されてもよいが、リセット区間ＲＳＴまたは信号区間ＳＩＧのうちいずれか一つの比較動作回数のみ調節されてもよい。
【0059】
このように、一つのリードアウトモードの間に２回以上サンプリングが行われることをマルチプルサンプリング（ｍｕｌｔｉｐｌｅ ｓａｍｐｌｉｎｇ）と称する。各リードアウトモードに対してマルチプルサンプリングは選択的に適用されるが、１Ｈ時間を調節（つまり、フレーム速度を調節）するために各リードアウトモードのサンプリングビット数も共に調節される。マルチプルサンプリングを介した平均効果（ａｖｅｒａｇｉｎｇ ｅｆｆｅｃｔ）によってピクセル信号ＰＩＸに含まれたノイズが減少され、ＳＮＲが改善される。例えば、マルチプルサンプリングに関する各モード別サンプリング回数及びサンプリングビット数は、図２のタイミングコントローラ１７０に含まれたレジたによって予め調節される。また、ランプ信号生成器１３０で生成されるランプ信号ＲＡＭＰの勾配、オフセット、及び様相も共に調節される。
【0060】
特に、ＬＰＤ＿ＨＣＧモードでマルチプルサンプリングによって極低照度環境で発生するダークランダムノイズが減少され、ＳＰＤ＿ＬＣＧモードでマルチプルサンプリングによって不完全なＣＤＳリードアウト方式のため除去できないＫＴ／Ｃノイズが減少される。そして、同時に一定レベル以上のフレーム速度が維持される。以下、図５ａ乃至図５ｂ、図６ａ乃至図６ｃを介してダークランダムノイズを減少するためのＬＰＤ＿ＨＣＧモードのマルチプルサンプリングに関する実施例を説明し、図７ａ乃至図７ｂ、図８を介してＫＴ／Ｃノイズを減少するためのＳＰＤ＿ＬＣＧモードのマルチプルサンプリングに関する実施例を説明する。
【0061】
図５ａは１Ｈ時間が維持されるＬＰＤ＿ＨＣＧモードのマルチプルサンプリングの例を示す図であり、図５ｂは１Ｈ時間が増加するＬＰＤ＿ＨＣＧモードのマルチプルサンプリングの例を示す図である。図５ａ及び図５ｂの場合、リセット区間ＲＳＴの比較動作回数及び信号区間ＳＩＧの比較動作回数がいずれもＫ回に増加する。
【0062】
図５ａを参照すると、ＬＰＤ＿ＨＣＧモードのサンプリング回数は１回からＫ回に増加（１＜Ｋ）し、サンプリングビット数はＭビットからＮビットに減少（Ｍ＞Ｎ）する。ＬＰＤ＿ＨＣＧモードのサンプリング回数が増加することで発生する平均効果によってダークランダムノイズが減少する。しかし、サンプリング回数が１回からＫ回に増加することでＬＰＤ＿ＨＣＧモードの所要時間が増加するが、残りのモード（ＬＰＤ＿ＬＣＧ、ＳＰＤ＿ＨＣＧ、ＳＰＤ＿ＬＣＧ）のサンプリングビット数がＭビットからＮビットに減少することで図４のような１Ｈ時間が維持される。それによってノイズ減少効果と共にフレーム速度が維持される。
【0063】
一方、図５ｂを参照すると、図５ａと同じくＬＰＤ＿ＨＣＧモードのサンプリング回数は１回からＫ回に増加し、サンプリングビット数はＭビットからＮビットに減少する。しかし、図５ａとは異なって、ＬＰＤ＿ＨＣＧモードの所要時間が増加しても残りのモード（ＬＰＤ＿ＬＣＧ、ＳＰＤ＿ＨＣＧ、ＳＰＤ＿ＬＣＧ）のサンプリングビット数及びサンプリング回数がそのまま維持されることで、１Ｈ時間は図５ａに比べ増加する。
【0064】
図５ａの実施例と図５ｂの実施例を比較すると、ＬＰＤ＿ＨＣＧモードのサンプリング回数及びサンプリングビット数は同じであるため、ダークランダムノイズの減少効果は同じである。詳しくは、図５ａの場合、図４のような１Ｈ時間を維持するために残りのモードのサンプリングビット数が減少することで、残りのモードで生成される信号の大きさが減少する。しかし、信号の大きさが減少してもＬＰＤ＿ＨＣＧモードのサンプリング回数が増加することでノイズが減少する効果がより大きいため、結果的なＳＮＲは図４に比べ改善される。その反面、図５ｂの場合、残りのモードのサンプリングビット数がそのまま維持されるため、残りのモードで生成される信号の大きさが減少せず、図５ａに比べＳＮＲの改善効果が大きい。しかし、１Ｈ時間が増加することで図５ａに比べフレーム速度が減少する。
【0065】
図６ａはサンプリング回数が１回でサンプリングビット数が１２ビットであるＬＰＤ＿ＨＣＧモードのリセット区間ＲＳＴ及び信号区間ＳＩＧの例を示し、図６ｂはサンプリング回数が４回でサンプリングビット数が１２ビットであるＬＰＤ＿ＨＣＧモードのリセット区間ＲＳＴ及び信号区間ＳＩＧの例を示し、そして図６ｃはサンプリング回数が４回でサンプリングビット数が１０ビットであるＬＰＤ＿ＨＣＧモードのリセット区間ＲＳＴ及び信号区間ＳＩＧの例を示す。図６ａ乃至図６ｃにおいて、比較動作が行われる区間はグレーのシェーディングで示されている。
【0066】
図６ａは図４のマルチプルサンプリングが適用されていないＬＰＤ＿ＨＣＧモードに対応する。図６ａを参照すると、リセット区間ＲＳＴでリセット信号とランプ信号ＲＡＭＰとの間の比較動作（１２ビットカウント）が１回行われ、信号区間ＳＩＧでイメージ信号とランプ信号ＲＡＭＰとの間の比較動作（１２ビットカウント）が１回行われる。ここで、サンプリングビット数はそのまま１２ビットに維持したままサンプリング回数のみ４回に増加させたら図６ｂに示した実施例のようになる。
【0067】
図６ｂを参照すると、リセット区間ＲＳＴでリセット信号とランプ信号ＲＡＭＰとの間の比較動作（１２ビットカウント）が４回行われ、信号区間ＳＩＧでイメージ信号とランプ信号ＲＡＭＰとの間の比較動作（１２ビットカウント）が４回行われる。サンプリング回数が増加することでダークランダムノイズが減少するが、ＬＰＤ＿ＨＣＧモード全体の所要時間が増加することでフレーム速度が過度に減少する恐れがある。よって、フレーム速度の減少を最小化するために、図５ａ及び図５ｂのようにＬＰＤ＿ＨＣＧモードのサンプリング回数を増加させると共にサンプリングビット数を減少させる必要がある。ここで、サンプリングビット数を１０ビットに減少させたら図６ｃに示した実施例のようになる。
【0068】
図６ｃは図５ａ及び図５ｂのマルチプルサンプリングが適用されたＬＰＤ＿ＨＣＧモードに対応する。図６ｃを参照すると、リセット区間ＲＳＴでリセット信号とランプ信号ＲＡＭＰとの間の比較動作（１０ビットカウント）が４回行われ、信号区間ＳＩＧでイメージ信号とランプ信号ＲＡＭＰとの間の比較動作（１０ビットカウント）が４回行われる。仮に図６ｂに比べサンプリングビット数が減少することで生成される信号の大きさが減少し、それによってＳＮＲの改善効果が減少するがその程度は微々たるものであり、ＬＰＤ＿ＨＣＧモード全体の所要時間が図６ｂに比べ減少してフレーム速度の減少が最小化される。なお、本開示はこれに限らず、ＬＰＤ＿ＨＣＧモードは１０ビットカウントが４回行われる代わりに１１ビットカウントが２回行われるように調節されてもよい。
【0069】
図７ａは、１Ｈ時間が維持されるＳＰＤ＿ＬＣＧモードのマルチプルサンプリングの例を示す図であり、図７ｂは、１Ｈ時間が増加するＳＰＤ＿ＬＣＧモードのマルチプルサンプリングの例を示す図である。図５ａ及び図５ｂの実施例とは異なって、図７ａ及び図７ｂに示したＳＰＤ＿ＬＣＧモードの場合、信号区間ＳＩＧの比較動作回数は１回に維持され、リセット区間ＲＳＴの比較動作回数のみＫ回に増加する。
【0070】
図７ａを参照すると、ＳＰＤ＿ＬＣＧモードの信号区間ＳＩＧのサンプリング回数及びサンプリングビット数はそれぞれ１回及びＭビットに維持されるが、リセット区間ＲＳＴのサンプリング回数は１回からＫ回に増加（１＜Ｋ）し、サンプリングビット数はＭビットからＮビットに減少（Ｍ＞Ｎ）する。しかし、リセット区間ＲＳＴのサンプリング回数が１回からＫ回に増加することでＳＰＤ＿ＬＣＧモードの所要時間が増加するが、残りのモード（ＬＰＤ＿ＨＣＧ、ＬＰＤ＿ＬＣＧ、ＳＰＤ＿ＨＣＧ）のサンプリングビット数はＭビットからＮビットに減少することで図４のような１Ｈ時間が維持される。それによってフレーム速度が維持される。
【0071】
一方、図７ｂを参照すると、図７ａと同じＳＰＤ＿ＬＣＧモードのリセット区間ＲＳＴのサンプリング回数は１回からＫ回に増加し、サンプリングビット数はＭビットからＮビットに減少する。しかし、図７ａとは異なって、ＳＰＤ＿ＬＣＧモードの所要時間が増加しても残りのモード（ＬＰＤ＿ＨＣＧ、ＬＰＤ＿ＬＣＧ、ＳＰＤ＿ＨＣＧ）のサンプリングビット数及びサンプリング回数がそのまま維持されることで、１Ｈ時間は図７ａに比べ増加する。
【0072】
なお、図７ａ及び図７ｂに示したＳＰＤ＿ＬＣＧモードの場合、Ｋ回繰り返されるリセット区間ＲＳＴの各比較動作ごとにリセット制御信号ＲＳを活性化してフローティング拡散領域をリセットする。図４を参照して説明したように、ＳＰＤ＿ＬＣＧモードは不完全ＣＤＳリードアウト方式に当たるためＫＴ／Ｃノイズが完全に除去されないが、このような繰り返しのリセットを介してＫＴ／Ｃノイズがランダムに生成され、Ｋ回繰り返すことで現れる平均効果によってＫＴ／Ｃノイズが減少する効果が現れる。
【0073】
図５ａ及び図５ｂを参照して説明したことと類似して、図７ａの実施例と図７ｂの実施例を比較すると、ＳＰＤ＿ＬＣＧモードのサンプリング回数及びサンプリングビット数は同じであるためＫＴ／Ｃノイズの減少効果は同じである。図７ａの場合は残りのモードのサンプリングビット数が減少するためＳＮＲの改善効果が図７ｂに比べ小さいが、フレーム速度は維持されるのに対し、図７ｂの場合は図７ａに比べＳＮＲの改善効果は大きいが、１Ｈ時間が増加することでフレーム速度が減少する。
【0074】
図８は、サンプリング回数が１回でサンプリングビット数が１２ビットであるＳＰＤ＿ＬＣＧモードの信号区間ＳＩＧと、サンプリング回数が４回でサンプリングビット数が１０ビットであるＳＰＤ＿ＬＣＧモードのリセット区間ＲＳＴの例を示す図である。図８はマルチプルサンプリングが適用されたＳＰＤ＿ＬＣＧモードに対応する。
【0075】
図８を参照すると、信号区間ＳＩＧでイメージ信号とランプ信号ＲＡＭＰとの間の比較動作（例えば、１２ビットカウント）が１回行われ、リセット区間ＲＳＴでリセット信号とランプ信号ＲＡＭＰとの間の比較動作（例えば、１０ビットカウント）が４回行われる。そして、上述したように、リセット区間ＲＳＴの各比較動作の前にリセット制御信号ＲＳが活性化されてフローティング拡散領域（例えば、図３の第１フローティング拡散領域ＦＤ１）が繰り返しリセットされる。それによってサンプリングごとにＫＴ／Ｃノイズがランダムに生成され、Ｋ回繰り返すことで平均効果によってＫＴ／Ｃノイズが減少する。
【0076】
一方、図５ａ及び図７ａのリードアウトモードを介して図４のような１Ｈ時間が維持されると説明したが、本開示はこれに限らず、図５ａ及び図７ａのようなＬＰＤ＿ＨＣＧモード及びＳＰＤ＿ＬＣＧモードのサンプリングビット数及びサンプリング回数を調節することで１Ｈ時間を図４に比べ減少させてもよい。
【0077】
図９は、図２のデータバス１５０の構成の例を示す図である。図９を参照すると、データバス１５０は、複数のインバータと、複数のロジックゲートと、複数の書き込みメモリ１５１、１５２と、複数の読み込みメモリ１５３、１５４と、アドバンスドデータバス（Ａｄｖａｎｃｅｄ Ｄａｔａ Ｂｕｓ；ＡＤＢＵＳ）１５５とを含む。図９の複数のロジックゲートはＮＡＮＤゲートと示されているが、本開示はこれに限らず、データバス１５０は他の種類のロジックゲートを利用して具現化されてもよい。以下、図９と共に図２を参照して説明する。
【0078】
データバス１５０は、ＡＤＣ回路１４０からデジタル信号ＤＳを受信し、イネーブル信号生成器１６０から書き込みイネーブル信号ＷＲ＿ＥＮ、書き込み選択信号ＷＲ＿ＳＥＬ、読み込みイネーブル信号ＲＤ＿ＥＮ、及び読み込み選択信号ＲＥ＿ＳＥＬを受信する。例えば、デジタル信号ＤＳは、ピクセルＰＸ内でＬＰＤ＿ＨＣＧ、ＬＰＤ＿ＬＣＧ、ＳＰＤ＿ＨＣＧ、及びＳＰＤ＿ＬＣＧモードの逐次動作によってリードアウトされたデータに対応する。また、マルチプルサンプリングが適用される場合、サンプリングごとに生成されるデジタル値は、カウンタのカウント動作によって累積されてデジタル信号ＤＳとして出力され、データバス１５０に提供される。
【0079】
受信されたデジタル信号ＤＳは、ハイレベルの書き込みイネーブル信号ＷＲ＿ＥＮに応答して複数の書き込みメモリ１５１、１５２のうち一つに保存される。複数の書き込みメモリ１５１、１５２のうちどの書き込みメモリに保存されるのかは、書き込み選択信号ＷＲ＿ＳＥＬによって決定される。例えば、書き込みイネーブル信号ＷＲ＿ＥＮがハイレベルで書き込み選択信号ＷＲ＿ＳＥＬがローレベルであれば、デジタル信号ＤＳは書き込みメモリ１５１に保存され、書き込みイネーブル信号ＷＲ＿ＥＮがハイレベルで書き込み選択信号ＷＲ＿ＳＥＬがハイレベルであれば、デジタル信号ＤＳは書き込みメモリ１５２に保存される。
【0080】
複数の読み込みメモリ１５３、１５４は、ハイレベルの読み込みイネーブル信号ＲＤ＿ＥＮに応答して対応する複数の書き込みメモリ１５１、１５２に保存されているデジタル信号ＤＳを読み込む。複数の読み込みメモリ１５３、１５４のうちどの読み込みメモリが使用されるのかは読み込み選択信号ＲＤ＿ＳＥＬによって決定される。例えば、読み込みイネーブル信号ＲＤ＿ＥＮがハイレベルで読み込み選択信号ＲＤ＿ＳＥＬがローレベルであれば、読み込みメモリ１５３は書き込みメモリ１５１に保存されているデジタル信号ＤＳを読み込み、読み込みイネーブル信号ＲＤ＿ＥＮがハイレベルで読み込み選択信号ＲＤ＿ＳＥＬがハイレベルであれば、読み込みメモリ１５４は書き込みメモリ１５２に保存されているデジタル信号ＤＳを読み込む。
【0081】
複数の読み込みメモリ１５３、１５４にローディングされたデジタル信号ＤＳはＡＤＢＵＳ１５５に保存されるが、ＡＤＢＵＳ１５５に保存されているデジタル信号ＤＳは感知増幅器（図示せず）を介して増幅され、カラムデコーダ（図示せず）の制御の下でイメージデータＩＤＡＴとして図１のイメージ信号プロセッサ１６に提供される。
【0082】
図１０ａは、マルチプルサンプリングが適用されていない場合の図９のデータバス１５０の動作の例を示すタイミング図である。図１０ｂはＬＰＤ＿ＨＣＧモードに１Ｈ時間が維持されるマルチプルサンプリングが適用された際の図９のデータバス１５０の動作の例を示すタイミング図であり、図１０ｃはＬＰＤ＿ＨＣＧモードに１Ｈ時間が増加するマルチプルサンプリングが適用された際の図９のデータバス１５０の動作の例を示すタイミング図である。図１０ａ乃至図１０ｃにおいて、ＭＥＭ１は図９の書き込みメモリ１５１または読み込みメモリ１５３に対応し、ＭＥＭ２は図９の書き込みメモリ１５２または読み込みメモリ１５４に対応する。以下、図１０ａ乃至図１０ｃと共に図９を参照して説明する。
【0083】
図１０ａを参照すると、デジタル信号ＤＳは、１Ｈ時間の間にＬＰＤ＿ＨＣＧ、ＬＰＤ＿ＬＣＧ、ＳＰＤ＿ＨＣＧ、及びＳＰＤ＿ＬＣＧモードを介して逐次にリードアウトされたピクセルデータを含む。図１０ａはマルチプルサンプリングが適用されていない場合に当たるため、各モード別のサンプリングビット数は１２ビットで、サンプリング回数は１回である。
【0084】
まず、ＬＰＤ＿ＨＣＧモードに対応するデータは、ハイレベルの書き込みイネーブル信号ＷＲ＿ＥＮ及びローレベルの書き込み選択信号ＷＲ＿ＳＥＬに応答して書き込みメモリ１５１に保存され、ＬＰＤ＿ＬＣＧモードに対応するデータは、ハイレベルの書き込みイネーブル信号ＷＲ＿ＥＮ及びハイレベルの書き込み選択信号ＷＲ＿ＳＥＬに応答して書き込みメモリ１５２に保存される。
【0085】
次に、読み込みメモリ１５３は、ハイレベルの読み込みイネーブル信号ＲＤ＿ＥＮ及びローレベルの読み込み選択信号ＲＥ＿ＳＥＬに応答して書き込みメモリ１５１に保存されているＬＤＰ＿ＨＣＧモードに対応するデータを読み込み、読み込みメモリ１５４は、ハイレベルの読み込みイネーブル信号ＲＤ＿ＥＮ及びハイレベルの読み込み選択信号ＲＥ＿ＳＥＬに応答して書き込みメモリ１５２に保存されているＬＤＰ＿ＬＣＧモードに対応するデータを読み込む。読み込みメモリ１５３、１５４が読み込んだデータはイメージデータＩＤＡＴを出力するためにＡＤＢＵＳ１５５に伝送される。
【0086】
読み込みメモリ１５３、１５４がそれぞれ書き込みメモリ１５１、１５２に保存されているＬＰＤリードアウトデータを読み込んだ後、ＳＰＤ＿ＨＣＧモードに対応するデータとＳＰＤ＿ＬＣＧモードに対応するデータが同じ方法で書き込みメモリ１５１、１５２に保存され、読み込みメモリ１５３、１５４によってＡＤＢＵＳ１５５に伝送される。上述した過程は１Ｈ時間の間の動作を示しており、リードアウト動作ごとに繰り返される。
【0087】
図１０ｂは図５ａのように１Ｈ時間が維持される場合に対応し、図１０ｃは図５ｂのように１Ｈ時間が増加する場合に対応する。図１０ｂ及び図１０ｃにおいて、デジタル信号ＤＳを書き込みメモリ１５１、１５２に保存し、読み込みメモリ１５３、１５４を介して読み込んでＡＤＢＵＳ１５５に伝送する一連の動作は図１０ａを参照して説明したのと同じであるため、重複する説明は省略する。
【0088】
図１０ｂ及び図１０ｃを参照すると、書き込みイネーブル信号ＷＲ＿ＥＮ及び書き込み選択信号ＷＲ＿ＳＥＬのレベルがハイレベルに維持される区間及びローレベルに維持される区間の長さ（言い換えれば、書き込みメモリ１５１、１５２がデータを保存する時間の長さ）が変化したリードアウトモードのサンプリング回数及びサンプリングビット数に基づいて図１０ａに示したこととは異なるように調節される。例えば、図２のタイミングコントローラ１７０は、レジスタに保存されている各リードアウトモード別のサンプリング回数及びサンプリングビット数によってイネーブル信号生成器１６０の信号生成タイミングを制御する。このように異なるように調節された書き込みイネーブル信号ＷＲ＿ＥＮ及び書き込み選択信号ＷＲ＿ＳＥＬによって保存されたデータは、２つの書き込みメモリ１５１、１５２に交互に保存されるため、一つのメモリのみ使用される場合に比べより長く保存される。
【0089】
つまり、書き込みメモリ及び読み込みメモリが２つずつ存在し、書き込み動作に関する書き込みイネーブル信号ＷＲ＿ＥＮ及び書き込み選択信号ＷＲ＿ＳＥＬが調節されることで、各リードアウトモードのサンプリング回数及びサンプリングビット数が変化してもイメージデータＩＤＡＴが生成される。仮に図１０ｂ及び図１０ｃはＬＰＤ＿ＨＣＧモードにマルチプルサンプリングが適用された実施例を示すが、ＳＰＤ＿ＬＣＧモードにマルチプルサンプリングが適用された場合もこれと類似した動作を介してイメージデータＩＤＡＴが生成される。
【0090】
図１１は、マルチプルサンプリングが適用されていない場合（ｂ）とＬＰＤ＿ＨＣＧモードにマルチプルサンプリングが適用された場合（ａ）のＳＮＲを比較した結果を示し、図１２は、マルチプルサンプリングが適用されていない場合（ｂ）とＳＰＤ＿ＬＣＧモードにマルチプルサンプリングが適用された場合（ａ）のＳＮＲを比較した結果を示す。図１１を参照すると、図５ａ乃至図５ｂを参照して説明したように、極低照度区間でダークランダムノイズが減少することでＳＮＲが改善されたことを確認することができ、図１２を参照すると、図７ａ乃至図７ｂを参照して説明したように、極高照度区間でＫＴ／Ｃノイズが減少することでＳＮＲが改善されたことを確認することができる。図１１及び図１２において、ＳＮＲが改善された区間はグレーのシェーディングで示されている。
【0091】
【0092】
ステップＳ１１０において、ＡＤＣ回路１４０は、第１照度を有する第１区間で、ラージフォトダイオードＬＰＤを利用してハイコンバージョンゲインによって生成されたピクセル信号（つまり、ＬＰＤ＿ＨＣＧモードによって生成されたピクセル信号）を第１サンプリングビットで第１サンプリング回数だけサンプリングする。ステップＳ１２０において、ＡＤＣ回路１４０は、第１照度より明るい第２照度を有する第２区間で、ラージフォトダイオードＬＰＤを利用してローコンバージョンゲインによって生成されたピクセル信号（つまり、ＬＰＤ＿ＬＣＧモードによって生成されたピクセル信号）を第２サンプリングビットで第２サンプリング回数だけサンプリングする。
【0093】
ステップＳ１３０において、ＡＤＣ回路１４０は、第２照度より明るい第３照度を有する第３区間で、スモールフォトダイオードＳＰＤを利用してハイコンバージョンゲインによって生成されたピクセル信号（つまり、ＳＰＤ＿ＨＣＧモードによって生成されたピクセル信号）を第３サンプリングビットで第３サンプリング回数だけサンプリングする。ステップＳ１４０において、ＡＤＣ回路１４０は、第３照度より明るい第４照度を有する第４区間で、スモールフォトダイオードＳＰＤを利用してローコンバージョンゲインによって生成されたピクセル信号（つまり、ＳＰＤ＿ＬＣＧモードによって生成されたピクセル信号）を第４サンプリングビットで第４サンプリング回数だけサンプリングする。
【0094】
基本的に、サンプリングビット数は１２ビットで、サンプリング回数は１回である。図５ａ乃至図５ｂ、図７ａ乃至図７ｂを参照して説明したように、ダークランダムノイズを除去するためにＬＰＤ＿ＨＣＧモードにマルチプルサンプリングが適用され、ＫＴ／Ｃノイズを除去するためにＳＰＤ＿ＬＣＧモードにマルチプルサンプリングが適用される。
【0095】
例えば、ＬＰＤ＿ＨＣＧモードにマルチプルサンプリングが適用されたら、ＬＰＤ＿ＨＣＧモードのサンプリングビット数は１０ビットに減少し、サンプリング回数は４回に増加するが、残りのモードのサンプリングビット数は１０ビットに減少する可能性もあり、１２ビットに維持される可能性もある。ＳＰＤ＿ＬＣＧモードにマルチプルサンプリングが適用される場合もこれと類似しているが、ＳＰＤ＿ＬＣＧモードの場合は、リセット区間ＲＳＴのサンプリングビット数が減少しサンプリング回数が増加するが、信号区間ＳＩＧのサンプリングビット数及びサンプリング回数はそのまま維持される。
【0096】
次に、ステップＳ１５０において、ＡＤＣ回路１４０はサンプリングされたピクセル信号に基づいてデジタル信号をデータバス１５０に出力するが、データバス１５０は、イネーブル信号生成回器１６０の制御の下でイメージデータＩＤＡＴを図１のイメージ信号プロセッサ１６に出力する。
【0097】
図１４は、本開示の実施例によるイメージセンサを含む電子装置の例を示す図である。図１４を参照すると、電子装置１０００は、イメージセンサ１１００と、アプリケーションプロセッサ１２００と、ディスプレイ１３００と、メモリ１４００と、ストレージ１５００と、ユーザインタフェース１６００と、無線送受信部１７００とを含む。図１４のイメージセンサ１１００は、図２のイメージセンサ１００に対応し、図２のイメージセンサ１００について上述した説明と重複する説明は省略する。
【0098】
アプリケーションプロセッサ１２００は、電子装置１０００の全般的な動作を制御し、応用プログラム、運営体制などを駆動するシステム・オン・チップ（ＳｏＣ）で提供される。アプリケーションプロセッサ１２００は、イメージセンサ１１００からイメージデータを受信し、受信したイメージデータに対してイメージ処理を行う。実施例によって、アプリケーションプロセッサ１２００は受信したイメージデータ及び／または処理されたイメージデータをメモリ１４００またはストレージ１５００に保存する。また、本開示の実施例によるアプリケーションプロセッサ１２００は、イメージセンサ１１００のタイミングコントローラの内部のレジスタの値を設定することで、ピクセルのリードアウトモード別（ＬＰＤ＿ＨＣＧ、ＬＰＤ＿ＬＣＧ、ＳＰＤ＿ＨＣＧ、ＳＰＤ＿ＬＣＧ）にサンプリング回数及びサンプリングビット数を調節する。
【0099】
メモリ１４００は、アプリケーションプロセッサ１２００が処理または実行するプログラム及び／またはデータを保存する。ストレージ１５００はＮＡＮＤフラッシュ、抵抗性メモリなどの非揮発性メモリ装置で具現化されるが、例えば、ストレージ１５００はメモリカード（ＭＭＣ、ｅＭＭＣ、ＳＤ、ｍｉｃｒｏ ＳＤ）などで提供される。ストレージ１５００は、アプリケーションプロセッサ１２００のイメージ処理動作を制御する実行アルゴリズムに対するデータ及び／またはプログラムを保存し、イメージ処理動作が行われる際にデータ及び／またはプログラムがメモリ１４００にローディングされる。ユーザインタフェース１６００は、キーボード、ボタンキーパネル、タッチパネル、指紋センサ、マイクなどユーザ入力を受信する多様な装置で具現化される。ユーザインタフェース１６００はユーザ入力を受信し、受信されたユーザ入力に対応する信号をアプリケーションプロセッサ１２００に提供する。無線送受信部１７００は、モデム１７１０と、トランシーバ１７２０と、アンテナ１７３０とを含む。
【0100】
上述した内容は本開示を実施するための具体的な実施例である。本開示は上述した実施例だけでなく、単純に設計変更されるか容易に変更し得る実施例も含む。また、本開示には実施例を利用して容易に変形し実施し得る技術も含まれる。よって、本開示の範囲は上述した実施例に限って決められてはならず、後述する特許請求の範囲だけでなく、本発明の特許請求の範囲と均等なものによって決められるべきである。
【符号の説明】
【0101】
１１０：ピクセルアレイ
１２０：ロードライバ
１３０：ランプ信号生成器
１４０：ＡＤＣ回路
１５０：データバス
１６０：イネーブル信号生成器
１７０：タイミングコントローラ
１２０：ロードライバ
１３０：ランプ信号生成器
１４０：ＡＤＣ回路
１５０：データバス
１６０：イネーブル信号生成器
１７０：タイミングコントローラ
【図1】
【図2】
【図3】
【図4】
【図5A】
【図5B】
【図6A】
【図6B】
【図6C】
【図7A】
【図7B】
【図8】
【図9】
【図10A】
【図10B】
【図10C】
【図11】
【図12】
【図13】
【図14】