(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2024120869
(43)【公開日】2024-09-05
(54)【発明の名称】シフト演算を行うカウンターを含むイメージセンサーおよびその動作方法
(51)【国際特許分類】
H04N 25/78 20230101AFI20240829BHJP
【FI】
H04N25/78
【審査請求】未請求
【請求項の数】20
【出願形態】OL
(21)【出願番号】P 2024022693
(22)【出願日】2024-02-19
(31)【優先権主張番号】10-2023-0024686
(32)【優先日】2023-02-24
(33)【優先権主張国・地域又は機関】KR
(31)【優先権主張番号】18/371167
(32)【優先日】2023-09-21
(33)【優先権主張国・地域又は機関】US
(71)【出願人】
【識別番号】390019839
【氏名又は名称】三星電子株式会社
【氏名又は名称原語表記】Samsung Electronics Co.,Ltd.
【住所又は居所原語表記】129,Samsung-ro,Yeongtong-gu,Suwon-si,Gyeonggi-do,Republic of Korea
(74)【代理人】
【識別番号】100107766
【弁理士】
【氏名又は名称】伊東 忠重
(74)【代理人】
【識別番号】100229448
【弁理士】
【氏名又は名称】中槇 利明
(72)【発明者】
【氏名】李 赫鍾
【テーマコード(参考)】
5C024
【Fターム(参考)】
5C024GY39
5C024GY41
5C024HX23
5C024HX28
5C024HX29
5C024HX32
5C024HX50
5C024HX51
5C024HX57
(57)【要約】 (修正有)
【課題】マルチプルサンプリングを使用しながらもカウンターの面積を抑えたアナログ-デジタルコンバータを備えたイメージセンサを提供する。
【解決手段】イメージセンサーにおいて、シフト演算を遂行するカウンター200は、グレイコード-バイナリコード変換器210、シリアルバイナリ加算器260、リセットメモリ回路270および出力メモリ回路280を備える。リセットメモリ回路270は、ピクセル信号のリセット信号とランプ信号をN回比較した結果に対応する第1~第Nリセットバイナリコードの和を格納するかまたはシフトすることによって1回のリセット信号の値を格納する。出力メモリ回路280は、ピクセル信号の第1イメージ信号とランプ信号を1回比較した第1イメージバイナリコードおよびピクセル信号の合算信号とランプ信号をN回比較した合算バイナリコードに基づいてデジタル信号を出力する。
【選択図】
図6
【特許請求の範囲】
【請求項1】
ピクセルアレイの複数のピクセルグループから出力されるピクセル信号とランプ信号とを比較した結果に対応するバイナリコードを生成し、前記バイナリコードに基づいて前記ピクセル信号に対応するデジタル信号を生成するカウンターであって、
前記カウンターは、
前記ピクセル信号のリセット信号と前記ランプ信号とをN回比較した結果に対応する第1~第Nリセットバイナリコードの和(合算)を記憶し、前記第1~第Nリセットバイナリコードの和に対してシフト演算を遂行して前記第1~第Nリセットバイナリコードのうち、いずれか1つを計算するリセットメモリ回路と、
前記リセットメモリ回路から出力された前記第1~第Nリセットバイナリコード、前記ピクセル信号の第1イメージ信号と前記ランプ信号とを1回比較した結果を示す第1イメージバイナリコード、および前記ピクセル信号の合算信号と前記ランプ信号とをN回比較した結果を示す第1~第N合算バイナリコードに基づいて、前記デジタル信号を出力する出力メモリ回路と、を備え、
Nは2以上の整数であり、
前記第1イメージ信号は、前記複数のピクセルグループのそれぞれが含む一部のピクセルから出力される信号であり、前記合算信号は前記複数のピクセルグループのそれぞれが含むすべてのピクセルから出力される信号である、
カウンター。
【請求項2】
前記ピクセル信号と前記ランプ信号とを比較した結果に応じて並列入力グレイコードをラッチし、並列出力グレイコードを出力する並列-入力並列-出力回路(PIPO回路)と、
前記並列出力グレイコードを前記バイナリコードに変換し、前記バイナリコードの最下位ビットから前記バイナリコードの最上位ビットまで1ビットずつ順次に出力する並列-入力直列-出力回路(PISO回路)と、
前記第1~第Nリセットコードのうちいずれか1つと前記第1イメージバイナリコードとを加算し、前記第1~第Nリセットコードと前記第1~第N合算コードとを加算する直列バイナリ加算器と、をさらに備える、
請求項1に記載のカウンター。
【請求項3】
前記PISO回路は、複数のスイッチおよびそれぞれの出力端子が次の段の第1入力端子に接続された直列-接続された複数のXORゲートをさらに含み、
前記複数のスイッチのそれぞれは、スイッチ信号に応答して前記複数のXORゲートのそれぞれの第2入力端子を前記PIPO回路に連結させ、
前記複数のXORゲートのうち最上位ビットのXORゲートの第1入力端子はリセット制御信号を受信し、
前記リセット信号と前記ランプ信号とが比較されている間、前記リセット制御信号はハイレベルであり、前記第1イメージ信号と前記ランプ信号と、並びに前記合算信号と前記ランプ信号とが比較されている間、前記リセット制御信号はローレベルである、
請求項2に記載のカウンター。
【請求項4】
前記直列バイナリ加算器は、
第1入力端子、前記リセットメモリ回路の出力信号を受信する第2入力端子、キャリーイン端子、キャリーアウト端子および和端子(合算端子)を含む全加算器と、
前記和端子の出力信号を前記リセットメモリ回路に出力する第1フリップフロップと、
前記キャリーアウト端子の出力信号を前記キャリーイン端子に送る第2フリップフロップと、を有する、
請求項2に記載のカウンター。
【請求項5】
前記リセットメモリ回路は、
前記直列バイナリ加算器の出力信号をラッチする複数のラッチと、
複数のスイッチと、
それぞれの出力端子は、次段の第1入力端子に接続された直列-接続された複数のORゲートと、を含み、
前記複数のスイッチのそれぞれは、スイッチ信号に応答して前記複数のORゲートのそれぞれの第2入力端子を前記複数のラッチのそれぞれの出力端子または接地に連結させ、
前記複数のORゲートのうち最上位ビットのORゲートの第1入力端子はリセットシフト信号を受信し、
前記複数のORゲートのうち最下位ビットのORゲートの出力端子は前記直列バイナリ加算器に接続される、
請求項2に記載のカウンター。
【請求項6】
前記第1イメージ信号と前記ランプ信号とが比較されている間、前記複数のスイッチのうち前記最下位ビットのORゲートに連結されたスイッチはターンオフされ、前記リセットメモリ回路はハイレベルの前記リセットシフト信号に応答して前記第1~第Nリセットバイナリコードの和に対してシフト演算を遂行する、
請求項5に記載のカウンター。
【請求項7】
それぞれが第1光電変換素子を含む第1ピクセル、および第2光電変換素子を含む第2ピクセルを含む複数のピクセルグループからピクセル信号を生成するピクセルアレイと、
ランプ信号を生成するランプ信号生成器と、
前記ピクセル信号をデジタル信号に変換するアナログ-デジタル変換回路と、を備え、
前記アナログ-デジタル変換回路は、
第1~第2区間で前記ピクセル信号のリセット信号を前記ランプ信号と2回比較し、第3区間で前記第1光電変換素子の動作に基づく前記ピクセル信号の第1イメージ信号を前記ランプ信号と比較し、第4および第5区間で前記第1光電変換素子および前記第2光電変換素子の動作に基づく前記ピクセル信号の合算信号を前記ランプ信号と2回比較して比較信号を生成する比較器と、
前記比較信号のそれぞれに対応するバイナリコードを生成し、前記第1~第2区間で生成された比較信号に対応する第1~第2リセットバイナリコードの和に対してシフト演算を遂行し、前記バイナリコードに基づいて前記ピクセル信号に対応する前記デジタル信号を生成するカウンターと、を有する、
イメージセンサー。
【請求項8】
前記カウンターは、
前記比較信号に応答して並列入力グレイコードをラッチし、並列出力グレイコードを出力する並列-入力並列-出力回路(PIPO回路)と、
前記並列出力グレイコードを前記バイナリコードに変換し、前記バイナリコードの最下位ビットから前記バイナリコードの最上位ビットまで1-ビットずつ順次に出力する並列-入力直列-出力回路(PISO回路)と、
前記シフト演算の遂行結果と前記第3区間に生成された比較信号に対応する第1イメージバイナリコードとを加算し、第1~第2リセットバイナリコードと前記第4~第5区間に生成された比較信号に対応する第1~第2合算コードとを加算する直列バイナリ加算器と、
前記第1~第2リセットバイナリコードの和を格納し、リセットシフト信号に応答して前記シフト演算を行うリセットメモリ回路と、
前記直列バイナリ加算器の出力を前記デジタル信号として出力する出力メモリ回路と、を含む、
請求項7に記載のイメージセンサー。
【請求項9】
前記PISO回路は、複数のスイッチおよびそれぞれの出力端子が次の段の第1入力端子に接続された直列-接続された複数のXORゲートをさらに含み、
前記複数のスイッチのそれぞれは、スイッチ信号に応答して前記複数のXORゲートのそれぞれの第2入力端子を前記PIPO回路に連結させ、
前記複数のXORゲートのうち最上位ビットのXORゲートの第1入力端子は、リセット制御信号を受信し、
前記第1~第2区間の前記リセット制御信号はハイレベルであり、前記第3~第5区間の前記リセット制御信号はローレベルである、
請求項8に記載のイメージセンサー。
【請求項10】
前記直列バイナリ加算器は、
第1入力端子、前記リセットメモリ回路の出力信号を受信する第2入力端子、キャリーイン端子、キャリーアウト端子および和端子(合算端子)を設ける全加算器と、
前記和端子の出力信号を前記リセットメモリ回路に出力する第1フリップフロップと、
前記キャリーアウト端子の出力信号を前記キャリーイン端子に送る第2フリップフロップと、を含む、
請求項8に記載のイメージセンサー。
【請求項11】
前記リセットメモリ回路は、
前記直列バイナリ加算器の出力信号をラッチする複数のラッチと、
複数のスイッチと、
それぞれの出力端子が次段の第1入力端子に接続された直列-接続された複数のORゲートと、を含み、
前記複数のスイッチのそれぞれは、スイッチ信号に応答して前記複数のORゲートのそれぞれの第2入力端子を前記複数のラッチのそれぞれの出力端子または接地に連結させ、
前記複数のORゲートのうち最上位ビットのORゲートの第1入力端子は前記リセットシフト信号を受信し、
前記複数のORゲートのうち最下位ビットのORゲートの出力端子は、前記直列バイナリ加算器に接続される、
請求項8に記載のイメージセンサー。
【請求項12】
前記第3区間の間、前記複数のスイッチのうち前記最下位ビットのORゲートに連結されたスイッチはターンオフされ、前記リセットメモリ回路は、ハイレベルの前記リセットシフト信号に応答して前記第1~第2リセットバイナリコードの和に対して、シフト演算を遂行して前記第1リセットバイナリコードを計算する、
請求項11に記載のイメージセンサー。
【請求項13】
前記第3区間で生成された比較信号に対応するデジタル信号はオートフォーカシングデータとして使用され、前記第4~第5区間で生成された比較信号に対応するデジタル信号は物体(オブジェクト)を表すイメージデータとして使用される、
請求項7に記載のイメージセンサー。
【請求項14】
設定されたビット数による解像度を有する複数のコード値をカウントコードとして生成するカウントコード生成器と、をさらに備え、
前記カウンターは、前記カウントコードに応答して動作する、
請求項7に記載のイメージセンサー。
【請求項15】
複数のピクセルグループを含むピクセルアレイ、比較器およびカウンターを含むアナログ-デジタル変換回路を有するイメージセンサーの動作方法であって、
前記比較器は、第1~第2区間においてピクセル信号のリセット信号とランプ信号とを比較して第1~第2リセット比較信号を生成する段階と、
前記比較器は、第3区間において前記ピクセル信号の第1イメージ信号と前記ランプ信号とを比較して第1イメージ比較信号を生成する段階と、
前記カウンターは、前記第1~第2リセット比較信号に対応する第1~第2リセットバイナリコードの和に対してシフト演算を遂行する段階と、
前記カウンターは、前記シフト演算の結果と前記第1イメージ比較信号に対応する第1イメージバイナリコードに基づいて第1デジタル信号を出力する段階と、
前記比較器は、第4~第5区間において前記ピクセル信号の合算信号と前記ランプ信号とを比較して第1~第2合算比較信号を生成する段階と、
前記カウンターは、前記第1~第2リセットバイナリコードと、前記第1~第2合算比較信号に対応する第1~第2合算バイナリコードに基づいて第2デジタル信号を出力する段階と、を備える、
方法。
【請求項16】
前記複数のピクセルグループのそれぞれは、第1光電変換素子を含む第1ピクセルおよび第2光電変換素子を含む第2ピクセルを有し、
前記第1イメージ信号は、前記第1光電変換素子の動作に基づき、前記合算信号は前記第1光電変換素子および前記第2光電変換素子の動作に基づく、
請求項15に記載の方法。
【請求項17】
前記カウンターは、それぞれの出力端子が次の段の第1入力端子に接続された直列-接続された複数のXORゲートを含む並列-入力直列-出力PISO回路を有し、
前記第1~第2リセット比較信号を生成する段階は、前記複数のXORゲートのうち最上位ビットのXORゲートがハイレベルのリセット制御信号を受信する段階とを含み、
前記第1イメージ比較信号および前記第1~第2合算比較信号を生成する段階は、前記最上位ビットのXORゲートがローレベルのリセット制御信号を受信する段階とを含む、
請求項15に記載の方法。
【請求項18】
前記カウンターは、それぞれの出力端子が次の段の第1入力端子に接続された直列-接続された複数のORゲートを含むリセットメモリ回路を有し、
前記シフト演算を遂行する段階は、
前記第3区間中に、前記複数のORゲートのうち最下位ビットのORゲートに連結されたスイッチをターンオフさせる段階と、
前記複数のORゲートのうち最上位ビットのORゲートがハイレベルのリセットシフト信号を受信する段階と、
前記第1~第2リセットバイナリコードの和に対してシフト演算を遂行して前記第1リセットバイナリコードを計算する段階と、を含む、
請求項15に記載の方法。
【請求項19】
前記カウンターは、それぞれの出力端子が次の段の第1入力端子に接続された直列-接続された複数のORゲートを含むリセットメモリ回路を有し、
前記カウンターは、第1入力端子、前記リセットメモリ回路の出力信号を受信する第2入力端子、および和端子を含む全加算器と、をさらに有し、
前記第1デジタル信号を出力する段階は、前記全加算器の前記第1入力端子が前記第1イメージバイナリコードを受信し、前記和端子が前記第1~第2リセットバイナリコードの和に対してシフト演算を遂行した結果と、前記第1イメージバイナリコードとを加算して出力する段階を含み、
前記第2デジタル信号を出力する段階は、前記全加算器の前記第1入力端子が前記第1~第2合算バイナリコードを受信し、前記和(合算)端子が前記第1~第2リセットバイナリコードと前記第1~第2合算バイナリコードを加算して出力する段階を含む、
請求項15に記載の方法。
【請求項20】
前記第1デジタル信号はオートフォーカシングデータとして使用され、前記第2デジタル信号はオブジェクトを表すイメージデータとして使用される、
請求項15に記載の方法。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は電子装置に関し、より詳しくは、シフト演算を遂行するカウンターを含むイメージセンサーおよびその動作方法に関する。
【背景技術】
【0002】
イメージセンサーの種類として、CCD(Charge Coupled Device)イメージセンサー、CMOS(Complementary Metal-Oxide Semiconductor)イメージセンサー(CIS)などがある。CMOSイメージセンサーは、CMOSトランジスタで構成されるピクセルを含み、各ピクセルに含まれた光電変換素子を用いて光エネルギーを電気信号に変換する。CMOSイメージセンサーは、各ピクセルで生成された電気信号を用いて撮影イメージに関する情報を獲得する。
【0003】
アナログ-デジタルコンバータ(ADC:Analog-to-Digital Converter)は、ピクセルで生成されたアナログ入力電圧を受信してそれをデジタル信号に変換する。変換されたデジタル信号は他の装置に送信され得る。ADCは多様な信号処理装置で使用される。特に、ADCは、マルチプルサンプリング(multiple sampling)を介してイメージセンサーのノイズを減らすことができ、カウンターがすべてのサンプリング結果をそれぞれ格納する場合、多数の回路を含むようになって、カウンターが占める面積が大きくなれる。したがって、マルチプルサンプリングを使用しながらもカウンターの面積を最小限に抑えるための方法が必要とされている。
【先行技術文献】
【特許文献】
【0004】
【特許文献1】米国特許出願公開第2020/0389610号明細書
【特許文献2】中国公開特許第101800837号公報
【特許文献3】韓国公開特許第10-2022-0033357号公報
【特許文献4】米国特許第8,576,979号明細書
【特許文献5】米国特許第8,625,012号明細書
【特許文献6】米国特許第7,642,947号明細書
【特許文献7】米国特許第11,425,323号明細書
【特許文献8】米国特許第11,317,047号明細書
【特許文献9】登録特許第5076568号公報
【発明の概要】
【発明が解決しようとする課題】
【0005】
本発明は、上記従来技術に鑑みてなされたものであって、本発明の目的は、シフト演算を遂行するカウンターを含むイメージセンサーおよびその動作方法を提供することにある。
【課題を解決するための手段】
【0006】
本発明の実施形態によるカウンターは、ピクセルアレイの複数のピクセルグループから出力されるピクセル信号とランプ信号を比較した結果に対応するバイナリコードを生成し、バイナリコードに基づいてピクセル信号に対応するデジタル信号を生成し、ピクセル信号のリセット信号とランプ信号をN回比較した結果に対応する第1~第Nリセットバイナリコードとの和(合算)を格納し、第1~第Nリセットバイナリコードの和に対してシフト演算を遂行して第1~第Nリセットバイナリコードのうち、いずれか1つを計算するリセットメモリ回路と、リセットメモリ回路から出力された第1~第Nリセットバイナリコード、ピクセル信号の第1イメージ信号とランプ信号を1回比較した結果を示す第1イメージバイナリコード、およびピクセル信号の合算信号とランプ信号をN回比較した結果を示す第1~第N合算バイナリコードに基づいてデジタル信号を出力する出力メモリ回路と、を備える。Nは2以上の整数であり、第1イメージ信号は、複数のピクセルグループのそれぞれが含む一部のピクセルから出力される信号であり、合算信号は複数のピクセルグループのそれぞれが含むすべてのピクセルから出力される信号である。
【0007】
本発明の実施形態によるイメージセンサーは、それぞれが第1光電変換素子を含む第1ピクセル、および第2光電変換素子を含む第2ピクセルを含む複数のピクセルグループからピクセル信号を生成するピクセルアレイと、ランプ信号を生成するランプ信号生成器と、ピクセル信号をデジタル信号に変換するアナログ-デジタル変換回路と、を備える。アナログ-デジタル変換回路は、第1~第2区間にピクセル信号のリセット信号をランプ信号と比較し、第3区間に第1光電変換素子の動作に基づいたピクセル信号の第1イメージ信号をランプ信号と比較し、第4~第5区間に第1光電変換素子および第2光電変換素子の動作に基づいたピクセル信号の合算信号をランプ信号と比較して比較信号を生成する比較器と、比較信号に対応するバイナリコードを生成し、バイナリコードのうち、第1~第2区間に生成された比較信号に対応する第1~第2リセットバイナリコードの和に対してシフト演算を行い、バイナリコードに基づいてピクセル信号に対応するデジタル信号を生成するカウンターと、を有する。
【0008】
本発明の実施形態によるイメージセンサーは、複数のピクセルグループを含むピクセルアレイと、比較器と、カウンターを含むアナログ-デジタル変換回路と、を備える。イメージセンサーの動作方法は、比較器が第1~第2区間でピクセル信号のリセット信号とランプ信号とをN回比較して第1~第2リセット比較信号を生成する段階と、比較器が第3区間でピクセル信号の第1イメージ信号とランプ信号とを比較して1イメージ比較信号を生成する段階と、カウンターが第1~第2リセット比較信号に対応する第1~第2バイナリコードの和に対してシフト演算を遂行する段階と、カウンターがシフト演算の結果と第1イメージ比較信号に対応する第1イメージバイナリコードと、に基づいて第1デジタル信号を出力する段階と、比較器が第4~第5区間でピクセル信号の合算信号とランプ信号を比較して第1~第2合算比較信号を生成する段階と、カウンターが第1~第2リセットバイナリコードと第1~第2合算比較信号に対応する第1~第2合算バイナリコードに基づいて第2デジタル信号を出力する段階と、を備える。
【0009】
本発明の実施形態によるリセットメモリ回路は、ピクセルアレイから生成されるピクセル信号のリセット信号とランプ信号をN回比較した結果に対応する第1~第Nリセットバイナリコードの和を最下位ビットから最上位ビットまで記憶する複数のラッチと、複数のスイッチと、それぞれの出力端子が次の段の第1入力端子に接続された直列-接続された複数のORゲートと、を備える。複数のスイッチのそれぞれは、スイッチ信号に応答して、複数のORゲートのそれぞれの第2入力端子を複数のラッチのそれぞれの出力端子または接地に連結させ、複数のORゲートのうち最上位ビットのORゲートの第1入力端子はリセットシフト信号を受信し、そしてハイレベルのリセットシフト信号に応答して第1~第Nリセットバイナリコードの和に対してシフト演算を遂行することによって、第1~第Nリセットコードのうちいずれか1つを 計算する。
【発明の効果】
【0010】
本発明の実施形態によれば、イメージセンサーにおいてカウンターが占める面積を最小限に抑えることができる。
【0011】
また、本発明の実施形態によれば、ローノイズRSSリードアウト動作によりノイズが低減されたイメージデータを生成することができ、迅速にオートフォーカシング機能を遂行することができ、フレームレートを増加させることができる。
【図面の簡単な説明】
【0012】
【
図1】本発明の実施形態によるイメージ処理システムの構成の一例を示す。
【
図2】
図1のイメージセンサーの構成の一例を示す。
【
図4】
図2のピクセルアレイのピクセルグループを示す回路図である。
【
図5】本発明の実施形態によるピクセル信号のリードアウト動作を示すタイミング図である。
【
図7】
図6のPIPOラッチのうちいずれか1つを示す回路図である。
【
図8】
図6のリセットメモリ回路を示す回路図である。
【
図9a】
図6のカウンターの動作を示すタイミング図である。
【
図9b】
図6のカウンターの動作を示すタイミング図である。
【
図10】
図2のピクセルアレイの構成の他の例を示す。
【
図11】
図10のピクセルアレイのピクセルグループを示す回路図である。
【
図12】本発明の実施形態によるイメージセンサーの動作方法の一例を示すフローチャートである。
【
図13】本発明の実施形態によるイメージセンサーを含む電子装置の構成の一例を示す。
【発明を実施するための形態】
【0013】
以下では、本発明の技術分野における通常の知識を有する者が本発明を容易に実施することができるように、本発明の実施形態が明確かつ詳細に記載される。
【0014】
詳細な説明で使用される部またはユニット(unit)、モジュール(module)、ブロック(block)、~器(~or、~er)などの用語を参照して説明される構成要素および図面に示される機能ブロックは、ソフトウェア、ハードウェア、またはそれらの組み合わせの形で実現され得る。例として、ソフトウェアは、機械コード、ファームウェア、エンベデッドコードおよびアプリケーションソフトウェアであり得る。例えば、ハードウェアは、電気回路、電子回路、プロセッサ、コンピュータ、集積回路、集積回路コア、圧力センサー、慣性センサー、メムス(microelectromechanical system:MEMS)、受動素子、またはそれらの組み合わせを含み得る。
【0015】
図1は、本発明の実施形態によるイメージ処理システム10の構成の一例を示す。イメージ処理システム10は、スマートフォン、デジタルカメラ、ラップトップ、デスクトップなどのような多様な電子装置の一部として実施される。特に、本発明の実施形態によるイメージ処理システム10は、オートフォーカス機能を有する電子装置に搭載され得る。イメージ処理システム10は、レンズ12、イメージセンサー14、ISPフロントエンドブロック(Image Signal Processor front end block)16、およびイメージ信号プロセッサ18を含み得る。
【0016】
光は撮影の対象となるオブジェクト、風景などによって反射され、レンズ12は反射された光を受け取ることができる。イメージセンサー14は、レンズ12を介して受信された光に基づいて電気信号を生成することができる。例えば、イメージセンサー14は、CMOS(Complementary Metal Oxide Semiconductor)イメージセンサーなどで実現されうる。例えば、イメージセンサー14は、デュアルピクセル(dual pixel)構造またはテトラセル(tetra cell)構造を有するマルチピクセル(multi pixel)イメージセンサーであり得る。
【0017】
イメージセンサー14は、ピクセルアレイを含み得る。ピクセルアレイのピクセルは、光を電気信号に変換してピクセル値を生成することができる。さらに、イメージセンサー14は、ピクセル値に対して相関二重サンプリング(Correlation Double Sampling:CDS)を遂行するためのアナログ-デジタル変換回路(Analog-to-Digital Converting(ADC) Circuit)を含み得る。イメージセンサー14の構成は、
図2を参照してより詳細に説明される。
【0018】
ISPフロントエンドブロック16は、イメージセンサー14から出力された電気信号に対して前処理を遂行して、イメージ信号プロセッサ18が処理するのに適した形態に加工することができる。
【0019】
イメージ信号プロセッサ18は、ISPフロントエンドブロック16によって加工された電気信号を適切に処理して、撮影されたオブジェクト、風景などに関連されるイメージデータを生成することができる。このためには、イメージ信号プロセッサ18は、色補正(color correction)、オートホワイトバランス(auto white balance)、ガンマ補正(gamma correction)、色飽和補正(color saturation correction)、不良ピクセル補正(bad pixel correction)、色度補正(hue correction)のような多様な処理を行うことができる。なお、イメージ信号プロセッサ18は、イメージセンサー14から出力された電気信号に基づいてオートフォーカス機能を遂行するためのデータを生成することができる。
【0020】
図1は、1つのレンズ12および1つのイメージセンサー14を示す。しかしながら、別の実施形態では、イメージ処理システム10は、複数のレンズ、複数のイメージセンサー、および複数のISPフロントエンドブロックを含み得る。この場合、複数のレンズはそれぞれ異なる画角を有し得る。なお、複数のイメージセンサーは、異なる機能、異なる性能、および/または異なる特性を有することができ、異なる構成のピクセルアレイを含み得る。
【0021】
図2は、
図1のイメージセンサー14の構成の一例を示す。イメージセンサー100は、ピクセルアレイ110、ロードライバ120、ランプ信号生成器130、カウントコード生成器140、ADC回路150、タイミングコントローラ160およびバッファ170を含み得る。
【0022】
ピクセルアレイ110は、行と列に沿ってマトリックス状に配置された複数のピクセルを含み得る。複数のピクセルのそれぞれは、光電変換素子を含み得る。例えば、光電変換素子は、フォトダイオード、フォトトランジスタ、フォトゲートまたはピンフォトダイオード(pinned photodiode)などを含み得る。
【0023】
ピクセルアレイ110は、複数のピクセルグループPGを含み得る。各ピクセルグループPGは、2つ以上の複数のピクセルを含み得る。ピクセルグループを構成する複数のピクセルは、1つのフローティングディフュージョン領域(floating diffusion region)または複数のフローティングディフュージョン領域を共有し得る。
図2のピクセルアレイ110は、4つの行と4つの列(すなわち、4XのピクセルグループPG)を含むように示されているが、本発明はこれに限定されない。
【0024】
ピクセルグループPGは、同じカラー(色)のピクセルを含み得る。例えば、ピクセルグループPGは、赤色スペクトル領域の光を電気信号に変換させるレッドピクセル、緑色スペクトル領域の光を電気信号に変換させるグリーンピクセル、または青色スペクトル領域の光を電気信号に変換させるブルーピクセルを含み得る。例えば、ピクセルアレイ110を構成するピクセルは、テトラベイヤーパターン(Tetra-Bayer Pattern)の形態で配置されうる。なお、ピクセルのそれぞれの上部にはマイクロレンズおよびカラーフィルターが積層されてもよい。カラーフィルターは、マイクロレンズを介して入射される光のうち特定の色相の光、すなわち特定の色相領域の波長を透過させることができ、ピクセルに設けられるカラーフィルターによってピクセルが感知することができる色を決定する。
【0025】
ピクセルアレイ110の複数のピクセルのそれぞれは、外部から受光された光の強度または光量に応じてカラムラインCL1~CL4に沿ってピクセル信号を出力することができる。例えば、ピクセル信号は、外部から受光された光の強度または光量に対応するアナログ信号であり得る。さらに、複数のピクセルから出力されるピクセル信号に基づいて、イメージ信号プロセッサ(
図1の18)によってオートフォーカス機能のためのオートフォーカスデータが生成される。ピクセル信号は、電圧バッファ(例えば、ソースフォロワ)を通過してカラムラインCL1~CL4を介してADC回路150に提供されてもよい。
【0026】
行(ロー)ドライバ120は、ピクセルアレイ110の行を選択して駆動することができる。行ドライバ120は、タイミングコントローラ160によって生成されたアドレスおよび/または制御信号をデコーディングし、ピクセルアレイ110の行を選択および駆動するための制御信号を生成することができる。例えば、制御信号は、ピクセルを選択するための信号、またはフローティングディフュージョン領域をリセットするための信号などを含み得る。
【0027】
ランプ信号生成器130は、タイミングコントローラ160の制御下でランプ信号RAMPを生成することができる。例えば、ランプ信号生成器130は、ランプイネーブル信号のような制御信号の下で動作することができる。ランプイネーブル信号が活性化されると、ランプ信号生成器130は、所定の値(例えば、スタートレベル、終了レベル、勾配など)に従ってランプ信号RAMPを生成することができる。言い換えれば、ランプ信号RAMPは、特定の時間にわたって所定の傾きに応じて増加または減少する信号であり得る。ランプ信号RAMPは、ADC回路150に提供されてもよい。
【0028】
カウントコード生成器140は、タイミングコントローラ160の制御下でカウントコードCCDを生成することができる。カウントコードCCDは、複数のカウンターCNTのそれぞれに提供されてもよい。例えば、カウントコード生成器140は、グレイコード生成器として実現されうる。カウントコード生成器140は、設定されたビット数に応じた解像度を有する複数のコード値をカウントコードCCDとして生成することができる。例えば、10ビット(bit)コードが設定されている場合、カウントコード生成器140は、順次に増加または減少する1024個のコード値を含むカウントコードCCDを生成することができる。
【0029】
ADC回路150は、ピクセルアレイ110の複数のピクセルからカラムラインCL1~CL4を介してピクセル信号を受信することができ、ランプ信号生成器130からランプ信号RAMPを受信することができる。ADC回路150は、受信されたピクセル信号に対してリセット信号およびイメージ信号を獲得し、その差を有効な信号成分に抽出する相関二重サンプリングCDS技法に基づいて動作することができる。ADC回路150は、複数の比較器COMPおよびカウンターCNTを含み得る。
【0030】
具体的には、比較器COMPは、ピクセル信号のリセット信号とランプ信号RAMPとを比較し、ピクセル信号のイメージ信号とランプ信号RAMPとを比較して相関二重サンプリングCDSを行うことができる。カウンターCNTは、カウントコードCCDに基づいて相関二重サンプリングが行われた信号のパルスをカウントし、デジタル信号として出力することができる。
図2のADC回路150は、4つの比較器COMPおよび4つのカウンターCNTを含むように示されているが、本発明はこれに限定されない。
【0031】
タイミングコントローラ160は、ロードライバ120、ランプ信号生成器130、カウントコード生成器140、およびADC回路150のそれぞれの動作および/またはタイミングを制御するための制御信号および/またはクロックを生成することができる。
【0032】
バッファ170は、メモリMEMおよびセンスアンプSAを含み得る。メモリMEMは、ADC回路150の対応するカウンターCNTから出力されたデジタル信号を記憶することができる。センスアンプSAは記憶されたデジタル信号をセンシングおよび増幅することができる。センスアンプSAは増幅されたデジタル信号をイメージデータIDATとして出力することができ、イメージデータIDATは
図1のISPフロントエンドブロック16に送信されうる。
【0033】
図3は、
図2のピクセルアレイ110の構成の一例を示す。
図3を参照すると、ピクセルアレイ110の複数のピクセルグループPGは、複数のグリーンピクセルG、複数のブルーピクセルBおよび複数のレッドピクセルRを含み得る。例えば、2つのグリーンピクセルG、ブルーピクセルBおよびレッドピクセルRを2Xに配置することができ、2つのグリーンピクセルGを対角線方向に配置することができる。そのようなピクセルパターン(テトラベイヤーパターン)は、ピクセルアレイ110内に繰り返し配置されうる。
【0034】
複数のピクセルグループPGのそれぞれは、マイクロレンズMLおよび2つのピクセルPX1、PX2を含み得る。第1ピクセルPX1および第2ピクセルPX2は、X方向に並んで配置されてもよい。例えば、第1ピクセルPX1は、ピクセルグループPG内で左側に配置され、第2ピクセルPX2は、ピクセルグループPG内で右側に配置される。
【0035】
複数の第1ピクセルPX1は複数の第1転送信号TG11、TG21、TG31、TG41に応答して動作し、複数の第2ピクセルPX2は複数の第2転送信号TG12、TG22、TG32、TG42に応答して動作することができる。ここで、第1ピクセルPX1および第2ピクセルPX2が動作することは、第1ピクセルPX1および第2ピクセルPX2のそれぞれに含まれる光電変換素子(例えば、
図4の光電変換素子PD1、PD2)で生成される光電荷がピクセルグループPG内のフローティングディフュージョン領域(例えば、
図4のFD1、FD2)に転送されることを意味する。
【0036】
ピクセルアレイ110は、第1ピクセルPX1から生成される第1ピクセル信号、第2ピクセルPX2から生成される第2ピクセル信号、または第1ピクセルPX1および第2ピクセルPX2から生成される合算ピクセル信号をピクセル信号として出力することができる。第1ピクセル信号および第2ピクセル信号は、オートフォーカスデータの生成に使用されることがあり、合算ピクセル信号はフレーム単位のイメージ生成に使用されうる。
【0037】
ピクセルアレイ110は、複数のオートフォーカスピクセルグループAPGに分けられることがあり、複数のオートフォーカスピクセルグループAPGのそれぞれは、Y方向に隣接して配置された少なくとも2つのピクセルパターン(例えば、2Xに配置されたピクセルグループPG)を含み得る。オートフォーカスピクセルグループAPGは、オートフォーカシングデータを生成するためのピクセル単位であり得る。
【0038】
例えば、オートフォーカスピクセルグループAPGに含まれるピクセルグループPGから生成される第1ピクセル信号および第2ピクセル信号に基づいてオートフォーカシングデータ(例えば、焦点の左右方向調整のための位相差演算のための位相検出信号ペア)を生成することができる。このとき、複数の行ROW1~ROW4のうち所定の行に配置されたピクセルグループPGからは、第1ピクセルPX1で生成された第1ピクセル信号が出力され、他の所定の行に配置されたピクセルグループPGからは、第2ピクセルPX2で生成された第2ピクセル信号が出力される。
【0039】
図4は、
図2のピクセルアレイ110のピクセルグループPGを示す回路図である。
図4を参照すると、ピクセルグループPGは、ピクセルPX1、PX2、光電変換素子PD1、PD2、転送トランジスタTx1、Tx2、リセットトランジスタRST、デュアルコンバージョントランジスタDC、駆動トランジスタDx、および選択トランジスタSELを含み得る。
【0040】
第1ピクセルPX1は第1光電変換素子PD1および第1転送トランジスタTx1を含むことができ、第2ピクセルPX2は第2光電変換素子PD2および第2転送トランジスタTx2を含み得る。ピクセルPX1、PX2のそれぞれは、リセットトランジスタRST、デュアルコンバージョントランジスタDC、駆動トランジスタDx、および選択トランジスタSELを共有し得る。なお、ピクセルPX1、PX2のそれぞれは、第1フローティングディフュージョン領域FD1を共有し得る。
【0041】
第1フローティングディフュージョン領域FD1または第2フローティングディフュージョン領域FD2は、入射した光の量に対応する電荷を蓄積することができる。転送信号VT1、VT2によって転送トランジスタTx1、Tx2がそれぞれターンオンされているうちに、第1フローティングディフュージョン領域FD1または第2フローティングディフュージョン領域FD2は、光電変換素子PD1、PD2から電荷を提供されて蓄積することができる。第1フローティングディフュージョン領域FD1は、ソースフォロワアンプとして駆動される駆動トランジスタDxのゲート端に連結されることがあるため、第1フローティングディフュージョン領域FD1に蓄積された電荷に対応する電圧を形成することができる。例えば、第1フローティングディフュージョン領域FD1の静電容量は、第1キャパシタンスCFD1で表すことができる。
【0042】
デュアルコンバージョントランジスタDCは、デュアルコンバージョン信号VDCによって駆動される。デュアルコンバージョントランジスタDCがターンオフされる場合、第1フローティングディフュージョン領域FD1の静電容量は第1キャパシタンスCFD1に対応し得る。一般的な環境では、第1フローティングディフュージョン領域FD1は容易に飽和されないため、第1フローティングディフュージョン領域FD1の静電容量(すなわち、CFD1)を増やす必要性は不要であり、デュアルコンバージョントランジスタDCは、ターンオフされる。
【0043】
しかしながら、高照度環境では、第1フローティングディフュージョン領域FD1は容易に飽和される。このような飽和を防ぐために、デュアルコンバージョントランジスタDCはターンオンされ、第1フローティングディフュージョン領域FD1は第2フローティングディフュージョン領域FD2と電気的に連結され、フローティングディフュージョン領域FD1、FD2の静電容量は、第1キャパシタンスCFD1と第2キャパシタンスCFD2の和に拡張される。
【0044】
転送トランジスタTx1、Tx2は、それぞれ転送信号VT1、VT2によって駆動され、光電変換素子PD1、PD2によって生成された電荷を第1フローティングディフュージョン領域FD1または第2フローティングディフュージョン領域FD2に転送することができる。例えば、転送トランジスタTx1、Tx2の一端は光電変換素子PD1、PD2にそれぞれ連結され、他端は第1フローティングディフュージョン領域FD1に連結される。
【0045】
リセットトランジスタRSTはリセット制御信号VRSTによって駆動され、第1フローティングディフュージョン領域FD1または第2フローティングディフュージョン領域FD2に電源電圧VDDを提供することができる。これにより、第1フローティングディフュージョン領域FD1または第2拡張フローティングディフュージョン領域FD2に蓄積された電荷は、電源電圧VDD端子に移動することができ、第1フローティングディフュージョン領域FD1または第2フローティング拡散領域FD2の電圧はリセットされてもよい。
【0046】
駆動トランジスタDxは、第1フローティングディフュージョン領域FD1または第2フローティングディフュージョン領域FD2の電圧を増幅してピクセル信号PIXを生成することができる。選択トランジスタSELは選択信号VSELによって駆動され、行単位で読み出すピクセルを選択することができる。選択トランジスタSELがターンオンされる場合、ピクセル信号PIXはカラムラインCLを介して
図2のADC回路150に出力されうる。
図3を参照して説明したように、第1ピクセルPX1から生成される第1ピクセル信号および第2ピクセルPX2から生成される第2ピクセル信号に基づいてオートフォーカスデータが生成され、合算ピクセル信号に基づいてフレーム単位のイメージが生成される。
【0047】
一方、
図3のピクセルアレイ110は、4XのピクセルグループPGを含み、ピクセルグループPGのそれぞれは、2つのピクセルPX1、PX2を含むものとして示されており、
図4のピクセルグループPGは、2つのピクセルPX1、PX2がそれぞれ光電変換素子PD1、PD2を含む構造を有するものとして示されているが、本発明はこれに限定されない。ピクセルアレイ110およびピクセルグループPGは他の多様な構造を有するように実施され、オートフォーカスデータを生成する方法も変わり得る。
【0048】
図5は、本発明の実施形態によるピクセル信号のリードアウト動作を示すタイミング図である。
図5には、1H時区間が示されており、1H時区間は区間T1~区間T5を含み得る。以下では、
図5と共に、
図2~
図4を参照して説明する。
【0049】
図5を参照すると、ピクセル信号PIXの出力は、区間T1~T2のリセット信号VRS、区間T3のレフト出力VLEFT、および区間T4~T5の合算信号VSUMを含み得る。リセット信号VRSは、フローティングディフュージョン領域FD1、FD2が区間T1~T2の間にリセットトランジスタRSTの動作によってリセットされた場合、ピクセル信号PIXの出力であり得る。リセットトランジスタRSTは、ハイレベルのリセット制御信号VRSTに応答してターンオンされうる。
【0050】
レフト出力VLEFTは、区間T3にフローティングディフュージョン領域FD1、FD2が第1転送トランジスタTx1の動作により第1光電変換素子PD1に蓄積された電荷を受けた場合、ピクセル信号PIXの出力であり得る。合算信号VSUMは、区間T4~T5の間にフローティングディフュージョン領域FD1、FD2が第1および第2転送トランジスタTx1、Tx2によって第1および第2光電変換素子PD1、PD2に蓄積された電荷を受け取った場合、ピクセル信号PIXの出力であり得る。転送トランジスタTx1、Tx2は、ハイレベルの転送信号VT1、VT2に応答してターンオンされうる。
【0051】
なお、実施形態によれば、区間T3にレフト出力VLEFTの代わりにフローティングディフュージョン領域FD1、FD2が第2転送トランジスタTx2の動作により第2光電変換素子PD2に蓄積された電荷を受けた場合、ピクセル信号PIXの出力であるライト出力VRIGHTを使用することもできる。以下で明確な説明のために、区間T3には、
図5に示されたように、レフト出力VLEFTが使用されると仮定する。
【0052】
合算信号VSUMは、第1および第2光電変換素子PD1、PD2によって受光された光の総量に対応し、合算信号VSUMとリセット信号VRSとの差(すなわち、VSUM-VRS)は、イメージデータ(
図2のIDAT)を構成するために使用されうる合算データである。レフト出力VLEFTは、第1光電変換素子PD1で受光された光量に対応し、レフト出力VLEFTとリセット信号VRSの差(すなわち、VLEFT-VRS)がオートフォーカシングデータとして使用されうる減算データである。例えば、イメージセンサー100に連結されたイメージ信号プロセッサ(
図1の18)では、オートフォーカスデータに基づいて視差および焦点距離を算出することができ、オートフォーカスを行うことができる。
【0053】
再び、
図5を参照すると、イメージセンサー100は、リセット信号VRSを区間T1~T2で2回サンプリングし(すなわち、ランプ信号RAMPとリセット信号VRSを2回比較)、レフト出力VLEFTを区間T3で1回サンプリングし(すなわち、ランプ信号RAMPとレフト出力VLEFTを1回比較)、合算信号VSUMを区間T4~T5で2回サンプリングすることができる(すなわち、ランプ信号RAMPと合算信号VSUMを2回比較)。このようなリードアウト動作をローノイズRSS(Reset-Sig-Sig)リードアウト動作と称する。例えば、ピクセル信号PIXの出力の電圧レベルとランプ信号RAMPの電圧レベルが等しくなる時点を基準にサンプリングを行うことができる。例えば、区間T1~T2におけるピクセル信号PIXの出力は、リセット信号VRSに対応されうる。例えば、区間T3におけるピクセル信号PIXの出力は、レフト出力VLEFTに対応されうる。例えば、区間T4およびT5におけるピクセル信号PIXの出力は、合算信号VSUMに対応されうる。
【0054】
イメージセンサー100は、ローノイズRSSリードアウト動作によって合算データのノイズを減少させ、減算データを生成するのに必要な消費時間を減少させうる。言い換えれば、イメージセンサー100は、ローノイズRSSリードアウト動作によってノイズ低減されたイメージデータIDATを生成することができ、高速のオートフォーカシング機能を遂行することができ、フレームレートが増加することができる。
【0055】
上述したローノイズRSSリードアウト動作によれば、イメージセンサー100は、合算(和)データを生成するときに2回の合算信号の和と2回のリセット信号の和との間の差を計算するが、差(減算)データを生成するときは1回のレフト出力と1回のリセット信号との間の差を計算する。したがって、カウンターCNTは、デジタル信号を生成するために1回のリセット信号の値と2回のリセット信号の和の値を全部必要とすることができる。このためには、カウンターCNTは、1回のリセット信号の値を記憶するためのラッチ、および2回のリセット信号の和の値を記憶するためのラッチをそれぞれ含み得る。しかし、2回のリセット信号の値のそれぞれがほぼ等しいため、1回のリセット信号の値は、2回のリセット信号の和の値を半分に分けた値に等しくなれ、これは、2回のリセット信号の和の値をシフトすることによって計算される。
【0056】
したがって、本発明の実施形態によるカウンターCNTは、2回のリセット信号の和の値を記憶するためのラッチのみを含み、1回のリセット信号の値が必要な場合に格納された和の値をシフトするように構成され得る。以下で、
図6~
図8を参照して、本発明の実施形態によるカウンターCNTの構成および動作が説明される。
【0057】
図6は、
図2のカウンターCNTの構成の一例を示す。
図6を参照すると、カウンター200は、グレイコード-バイナリコード(gray code to binary code:G2B)変換器210、シリアル(直列)バイナリ加算器260、リセットメモリ回路270、および出力メモリ回路280を含み得る。カウンターCNTは、連結された比較器COMPから比較信号(例えば、第1比較信号CDS_DCS1)を受信することができ、カウントコードCCDに基づいて受信した比較信号のパルスをカウントし、デジタル信号DATA<i>として出力することができる。
【0058】
G2B変換器210は、第1グループのスイッチSW1~SW4、およびSW1a~SW4aを含む。PIPO(parallel-in to parallel-out)ラッチ221_1~221_4にラッチされた並列出力グレイコードG<0>~G<4>を並列バイナリコードB<0>~B<4>に変換すると同時に、並列バイナリコードB<0>~B<4>のLSB(B<0>)を出力し、第1グループのスイッチSW1~SW4およびSW1a~SW4aの配列を変更しながら並列バイナリコードB<0>~B<4>のLSB(G<0>)の直ちに次のビットB<1>から並列バイナリコードB<0>~B<4>のMSB(<3>)まで1-ビットずつ順次にシリアル(直列)バイナリ加算器260に出力することができる。ここで、スイッチの配列は、それぞれのスイッチSW1~SW4およびSW1a~SW4aが対応するそれぞれのスイッチ信号SS1~SS4およびbSS1~bSS4のレベルに応じてターンオンまたはターンオフされた状態を意味する。言い換えれば、G2B変換器210は、第1グループのスイッチSW1~SW4およびSW1a~SW4aを用いて並列入力グレイコードG<0>~G<3>に対応する並列バイナリコード(B<0>~B<4>のLSB(B<0>)からMSB(B<3>)まで1-ビット単位で順次に出力することができる。
【0059】
G2B変換器210は、並列-入力並列-出力(Parallel-in to Parallel-out(PIPO))回路220と、並列-入力並列直列-出力(Parallel-in to Serial-out(PISO))回路230と、を含み得る。PIPO回路220は、それぞれが第1比較信号CDS_DCS1に応答して並列入力グレイコードG<0>~G<3>を受信・ラッチして並列出力グレイコードG<0>~G<3>を出力するPIPOラッチ221_1~221_4を含み得る。PISO回路230は、第1スイッチ回路240とXOR回路250と、を含み得る。
【0060】
第1スイッチ回路240は、第1グループのスイッチSW1~SW4およびSW1a~SW4aを含み得る。例えば、第1グループのスイッチSW1~SW4およびSW1a~SW4aのそれぞれは、NMOSトランジスタで実施されうるが、本発明はこれに限定されない。第1グループの第1スイッチSW1は、第1ラッチ221_1の出力端子Qと第1XORゲート252_1の第2入力端子との間に接続され、第1グループの第5スイッチSW1aは、第1XORゲート252_1の第2入力端子と接地VSSとの間に接続される。第1グループの第2スイッチSW2は、第2ラッチ221_2の出力端子Qと第2XORゲート252_2の第2入力端子との間に接続され、第1グループの第6スイッチSW2aは、第2XORゲート252_2の第2入力端子と接地VSSとの間に接続される。第1グループの第3スイッチSW3は、第3ラッチ221_3の出力端子Qと第3XORゲート252_3の第2入力端子との間に接続され、第1グループの第7スイッチSW3aは、第3XORゲート252_3の第2入力端子と接地VSSとの間に接続される。第1グループの第4スイッチSW4は、第4ラッチ221_4の出力端子Qと第4XORゲート252_4の第2入力端子との間に接続され、第1グループの第8スイッチSW4aは、第4XORゲート252_4の第2入力端子と接地VSSとの間に接続される。
【0061】
XOR回路250は、並列バイナリコードB<0>~B<3>を出力信号OUT<0>~OUT<3>として全加算器262に出力することができ、複数のXORゲート252_1~252_4を含み得る。例えば、複数のXORゲート252_1~252_4のそれぞれは、2-入力1-出力のXORゲートであり得る。第4XORゲート252_4の第1入力端子はリセット制御信号VRSTを受信し、第4XORゲート252_4の出力端子は次段のXORゲート(すなわち、第3XORゲート252_3)の第1入力端子に接続される。例えば、イメージセンサー(
図2の100)がピクセル信号のリセット信号とランプ信号RAMPとを比較するリセットサンプリング動作を行うとき、リセット制御信号VRSTのレベルはハイであり得るし、イメージセンサー(
図2の100)がピクセル信号のイメージ信号とランプ信号RAMPとを比較する信号サンプリング動作を行うとき、リセット制御信号VRSTのレベルはローであり得る。
【0062】
第3XORゲート252_3の出力端子は次段のXORゲート(すなわち、第2XORゲート252_2)の第1入力端子に接続され、第2XORゲート252_2の出力端子は次段のXORゲート(すなわち、第1XORゲート252_1)の第1入力端子に接続され、第1XORゲート252_1の出力端子が全加算器262の第1入力端子Aに接続される。第1グループのスイッチSW1~SW4およびSW1a~SW4aの配列が変更されるたびに、第1XORゲート252_1は並列バイナリコードB<0>~B<4>の各信号B<0>、B<1>、B<2>およびB<3>を順次に1-ビットずつ出力することができる。
【0063】
直列バイナリ加算器260は、全加算器262、第1フリップフロップ264および第2フリップフロップ266を含み得る。直列バイナリ加算器260は、第1入力端子Aに入力された1-ビット信号と第2入力端子Bに入力された1-ビット信号に対する加算を行うことができる。例えば、直列バイナリ加算器260は、信号サンプリング動作で生成された直列バイナリコードとリセットサンプリング動作で生成された直列バイナリコードとを加算する動作を遂行することができる。
【0064】
全加算器262は、第1XORゲート252_1の出力端子に接続された第1入力端子A、リセットメモリ回路270の出力信号を直接受信するかまたは転送ラインL1を介して受信する第2入力端子B、キャリーイン端子Cin、キャリーアウト端子Coおよび和(合算)端子Sを含み得る。
【0065】
第1フリップフロップ264は、第1クロック信号CLK1の立ち上がりエッジ(rising edge)に応答して全加算器262の和端子Sの出力信号をラッチし、ラッチされた出力信号をリセットメモリ回路270に出力することができる。第2フリップフロップ266は、第1クロック信号CLK1の立ち上がりエッジに応答して全加算器262のキャリーアウト端子Coの出力信号をラッチし、ラッチされた出力信号を全加算器262のキャリーイン端子Cinに転送(またはフィードバック)することができる。例えば、各フリップフロップ264、266はDフリップフロップで実施されうるが、本発明はこれに限定されない。
【0066】
リセットメモリ回路270は、
図5のリセット信号VRSの値を記憶することができる。具体的には、本発明のリセットメモリ回路270は、2回のリセット信号の和の値を記憶することができる。リセットメモリ回路270は、
図5を参照して説明した和データを生成するときには、記憶された和の値をそのまま使用することができ、差(減算)データを生成するときはハイレベルのリセットシフト信号RST_SHに応答して和の値をシフトすることによって、計算された1回のリセット信号の値を使用することができる。出力メモリ回路280は、最終的に出力されるデジタル信号DATA<i>の値を記憶することができる。例えば、デジタル信号DATA<i>は、和(合算)データまたは差(減算)データのうち、いずれか1つであり得る。リセットメモリ回路270および出力メモリ回路280は、それぞれ複数のラッチ272_1~272_4、280_1~280_4を含み得る。
【0067】
図7は、
図6のPIPOラッチ221_1~221_4のうち、いずれか1つを示す回路図である。
図6および
図7を参照すると、PIPOラッチ221_1~221_4のそれぞれの構造と動作は、互いに同一であるため、以下で第1ラッチ221_1の構造と動作を代表にして説明される。
図7を参照すると、第1ラッチ221_1は、第1トライステートインバータ223、インバータ225および第2トライステートインバータ227を含み得る。
【0068】
第1トライステートインバータ223の入力端子は、第1入力グレイG<0>を受信する第1ラッチ221_1の入力端子Dに接続される。インバータ225の入力端子は第1トライステートインバータ223の出力端子に接続され、インバータ225の出力端子は第1出力グレイ信号G<0>を出力する第1ラッチ221_1の出力端子Qに接続される。第2トライステートインバータ227の入力端子は第1ラッチ221_1の出力端子Qに接続され、第2トライステートインバータ227の出力端子はインバータ225の入力端子に接続される。
【0069】
比較器(
図2のCOMP)から出力された第1比較信号CDS_DCS1のレベルがハイであるとき、反転された第1比較信号(/CDS_DCS1)のレベルはローであるため、第1トライステートインバータ223はイネーブルであり、第2トライステートインバータ227はディセーブルである。したがって、第1ラッチ221_1は、第1入力グレイ信号G<0>を出力することができる。
【0070】
しかし、比較器(
図2のCOMP)から出力された第1比較信号CDS_DCS1のレベルがローであるとき、反転された第1比較信号(/CDS_DCS1)のレベルはハイであるため、第1トライステートインバータ223はディセーブルであり、第2トライステートインバータ227はイネーブルである。したがって、インバータ225および第2トライステートインバータ227によって、第1入力グレイ信号G<0>はそのまま維持されうる。
【0071】
リセットメモリ回路270および出力メモリ回路280の各ラッチ272_1~272_4、280_1~280_4の構造は、上述した第1ラッチ221_1の構造と同一である。例えば、ラッチ272_1、280_1に含まれた第1トライステートインバータの制御端子にクロック信号CLK2_1、CLK3_1が入力され、ラッチ272_1、280_1に含まれた第2トライステートインバータ2の制御端子に反転クロック信号(/CLK2_1、/CLK3_1)が入力される。また、ラッチ272_4、280_4に含まれた第1トライステートインバータの制御端子にクロック信号CLK2_4、CLK3_4が入力され、ラッチ272_4、280_4に含まれた第2トライステートインバータの制御端子へ反転クロック信号(/CLK2_4、/CLK3_4)を入力される。
【0072】
図8は、
図6のリセットメモリ回路270を示す回路図である。
図6および
図8を参照すると、リセットメモリ回路270は、複数のラッチ272_1~272_4、第2スイッチ回路274および複数のORゲート276_1~276_4を含み得る。
図6を参照して説明したように、リセットメモリ回路270は、2回のリセット信号の合算値を記憶することができ、ハイレベルのリセットシフト信号RST_SHに応答して合意値をシフトすることによって合意値の半分(すなわち、1回のリセット信号の値)を計算することができる。
【0073】
それぞれのラッチ272_1~272_4は、
図8に示されたそれぞれのクロック信号CLK2_1~CLK2_4に応答して第1フリップフロップ264の出力信号をラッチすることができる。上述したように、各ラッチ272_1~272_4の構造は、第1ラッチ221_1の構造と同じである。
【0074】
第2スイッチ回路274は、第2グループのスイッチRW1~RW4およびRW1a~RW4aを含み得る。例えば、第2グループのスイッチRW1~RW4およびRW1a~RW4aのそれぞれは、NMOSトランジスタで実施されうるが、本発明はこれに限定されない。第2グループの第1スイッチRW1は、第1ラッチ272_1の出力端子Qと第1ORゲート276_1の第2入力端子との間に接続され、第2グループの第5スイッチRW1aは、第1ORゲート276_1の第2入力端子と接地VSSとの間に接続される。第2グループの第2スイッチRW2は、第2ラッチ272_2の出力端子Qと第2ORゲート276_2の第2入力端子との間に接続され、第2グループの第6スイッチRW2aは、第2ORゲート276_2の第2入力端子と接地VSSとの間に接続される。第2グループの第3スイッチRW3は、第3ラッチ272_3の出力端子Qと第3ORゲート276_3の第2入力端子との間に接続され、第2グループの第7スイッチRW3aは、第3ORゲート276_3の第2入力端子と接地VSSとの間に接続される。第2グループの第4スイッチRW4は、第4ラッチ276_4の出力端子Qと第4ORゲート276_4の第2入力端子との間に接続され、第2グループの第8スイッチRW4aは、第4ORゲート252_4の第2入力端子と接地VSSとの間に接続される。
【0075】
例えば、ORゲート276_1~276_4のそれぞれは、2-入力1-出力のORゲートであり得る。第1ORゲート276_1を除いて、直列に接続された複数の2-入力1-出力のORゲート276_2~276_4のそれぞれの出力端子は、次段276_1~276_3の第1入力端子に接続される。第4ORゲート276_4の出力端子は第3ORゲート276_3の第1入力端子に接続され、第3ORゲート276_3の出力端子は第2ORゲート276_2の第1入力端子に接続され、第2ORゲート276_2の出力端子は第1ORゲート276_1の第1入力端子に接続され、第1ORゲート276_1の出力端子は転送ラインL1を介して全加算器262の第2入力端子Bに接続される。第4ORゲート276_4の第1入力端子はリセットシフト信号RST_SHを受信することができる。
【0076】
【0077】
区間T1~T2におけるリセット信号VRSとランプ信号RAMPとの比較結果は、グレイコードラッチ動作に応じて第1および第2リセットグレイコード(RST1G=G<3>G<2>G<1>G<0>=0110、RST2G=G<3>G<2>G<1>G<0>=0110)としてPIPO回路220にラッチされる。リセットサンプリング動作中のリセット制御信号VRSTはハイレベルであるため、第1および第2リセットグレイコードRST1G、RST2Gは、XOR回路250によって対応する第1および第2リセットバイナリコード(RST1B=B<3>B<2>B<1>B<0>=1011、RST2B=B<3>B<2>B<1>B<0>=1011)に変換されうる。
【0078】
区間T3におけるレフト出力VLEFTとランプ信号RAMPとの比較結果は、グレイコードラッチ動作に応じたレフトグレイコード(LEFTG=G<3>G<2>G<1>G<0>=0100)としてPIPO回路220にラッチされうる。
【0079】
区間T4~T5における合算信号VSUMとランプ信号RAMPとの比較結果は、グレイコードラッチ動作に応じて第1および第2和グレイコード(SUM1G=G<3>G<2>G<1>G<0>=1110、SUM2G=G<3>G<2>G<1>G<0>=1110)としてPIPO回路220にラッチされる。
【0080】
信号サンプリング動作中のリセット制御信号VRSTはローレベルであるため、レフトグレイコードLEFTG、第1および第2和グレイコードSUM1G、SUM2Gは、XOR回路250によって対応するレフトバイナリコード(LEFTB=B<3>B<2>B<1>B<0>=0111)、並びに第1および第2合算バイナリコード(SUM1B=B<3>B<2>B<1>B<0>=1011、SUM2B=B<3>B<2>B<1>B<0>=1011)に変換されうる。
【0081】
上述したようにグレイコードが対応するバイナリコードに変換された後、第1グループのスイッチSW1~SW4およびSW1a~SW4aのスイッチ配列がスイッチ信号SS1~SS4およびbSS1~bSS4に応じて順次変更されると、バイナリコード(B<3>、B<2>、B<1>およびB<0>)は、全加算器262に1-ビットずつ順次に(すなわち、LSB(B<0>)からMSB(B<3>)まで)出力されうる(OUT<i>=B<i>)。
【0082】
図9A~
図9Bを参照すると、区間T1が過ぎて順次出力される第1リセットバイナリコード(RST1B=1011)は、クロック信号CLK2_1~CLK2_4に応じてリセットメモリ回路270のラッチ272_1~272_4にラッチされ、区間T2が過ぎると出力された第1リセットバイナリコード(RST1
B=1011)と第2リセットバイナリコード(RST2
B=1011)の和(RST1B+RST2B=1011+1011=0110)が、クロック信号(CLK2_1~CLK2_4)に従ってリセットメモリ回路270のラッチ272_1~272_4にラッチされる。すなわち、本発明の実施形態によるリセットメモリ回路270は、2回のリセットサンプリング動作が終了された後に2回のリセット信号の合算値(RST1
B+RST2
Bの値に対応)を記憶することができる。
【0083】
リセットメモリ回路270に記憶された値に対するシフト演算が必要でない場合、第2グループのスイッチRW1~RW4およびRW1a~RW4aのスイッチ配列がスイッチ信号RS1~RS4およびbRS1~bRS4に従って順次に変更されると、ラッチ272_1~272_4にラッチされた値は、1-ビットずつ順次に(すなわち、LSBからMSBまで)出力され得る。しかし、リセットメモリ回路270に記憶された値に対するシフト演算が必要である場合、ハイレベルのリセットシフト信号RST_SHに応じてシフト演算が遂行され、このときラッチ272_1~272_4に記憶された値のいくつかは使用されない可能性がある。
【0084】
具体的には、本発明の実施形態のようにRST1B+RST2Bの値0110をシフトして(RST1B+RST2B)/2の値0011を計算する場合、ラッチ272_1に格納されたRST1B+RST2BのLSB(すなわち、0)は使用されず、ラッチ272_2~272_4に格納された値(すなわち、0、1、1)のみが使用されるため、ラッチ272_1に連結された第2グループの第1スイッチRW1は、ローレベルに維持されるスイッチ信号RS1に応答してターンオフされてもよい。代わりに、第4ORゲート276_4はハイレベルのリセットシフト信号RST_SHを受信することができ、シフトされた値は第1ORゲート276_1を介して1-ビットずつ順次に(例えば、(RST1B+RST2B)/2の場合、LSBからMSBまで1、1、0、0)出力される。
【0085】
直列バイナリ加算器260は、第1XORゲート252_1から1-ビットずつ出力されるバイナリコード(例えば、LEFTBまたはSUM1B+SUM2B)の各信号と、第1ORゲート276_1から1-ビットずつ出力されるバイナリコード(例えば、(RST1B+RST2B)/2またはRST1B+RST2B)の各信号を1-ビット単位で加算することができる。その後、直列バイナリ加算器260は、加算された結果(例えば、(RST1B+RST2B)/2+LEFTB=0011+0111=0010、またはRST1B+RST2B+SUM1B+SUM2B=0110+1011+1011=110)を各クロック信号CLK3_1~CLK3_4を用いて出力メモリ回路280の各ラッチ280_1~280_4にラッチする。
【0086】
各クロック信号CLK3_1~CLK3_4がローレベルであるとき、ラッチ280_1は加算された結果の第1信号DATA<0>を出力し、第2クロック信号CLK3_2がローレベルからハイレベルに遷移すると、ラッチ280_1は、ラッチ280_2にラッチされた加算結果の第2信号DATA<1>を出力し、第3クロック信号CLK3_3がローレベルからハイレベルに遷移すると、ラッチ280_1は、ラッチ280_3にラッチされた加算結果の第3信号DATA<2>を出力し、第4クロック信号CLK3_4がローレベルからハイレベルに遷移すると、ラッチ280_1はラッチ280_4にラッチされた加算結果の第4信号DATA<3>を1-ビットずつ順次に出力することができる。例えば、(RST1B+RST2B)/2+LEFTB値はオートフォーカスデータの生成に使用され、RST1B+RST2B+SUM1B+SUM2Bの値はイメージデータの生成に使用されうる。
【0087】
これまで、
図5~
図8、
図9A~
図9Bを参照して、イメージセンサー(
図2の100)のローノイズRSSリードアウト動作とカウンター(
図6の200)の構成および動作について説明した。本発明の実施形態によるカウンター200は、シフト演算を遂行することによって、1つのリセットメモリ回路270のみで1回のリセット信号の値および2回のリセット信号の値の両方を使用することができる。リセットメモリ回路270を1つだけ含むため、カウンター200の面積が最小化される。
【0088】
しかしながら、本発明はこれに限定されず、ローノイズRSSリードアウト動作は、リセット信号VRSおよび合算信号VSUMをN回(例えば、3回以上)サンプリングする過程を含むことができ、カウンター200のシフト演算は、リセット信号VRSおよび合算信号VSUMのサンプリング回数に応じて変わることもできる。例えば、
図2のタイミングコントローラ160は、ローノイズRSSリードアウト動作のサンプリング回数を調整するためのレジスタを含み得る。なお、上述したように、レフト出力VLEFTの代わりにライト出力VRIGHTがサンプリングされることもある。
【0089】
図10は、
図2のピクセルアレイ110の構成の他の例を示す。
図10を参照すると、ピクセルアレイ110aの複数のピクセルグループPGのそれぞれは、マイクロレンズMLおよび4つのピクセルPX1、PX2、PX3、PX4を含み得る。例えば、ピクセルグループPG内では、第1ピクセルPX1は左上(left-top)に配置され、第2ピクセルPX2は右上(right-top)に配置され、第3ピクセルPX3は左下(left-bottom)に配置され、第4ピクセルPX4は右下(right-bottom)に配置されうる。すなわち、第1ピクセルPX1および第2ピクセルPX2、並びに第3ピクセルPX3および第4ピクセルPX4は、X軸方向に並んで配置され、第1ピクセルPX1および第3ピクセルPX3、並びに第2ピクセルPX2および第4ピクセルPX4は、Y軸方向に並んで配置される。
【0090】
第1~第4ピクセルPX1~PX4は、それぞれ第1~第4光電変換素子(
図11のPD1~PD4)を含み得る。複数の第1ピクセルPX1は複数の第1転送信号TG11、TG21、TG31、TG41に応答して動作し、複数の第2ピクセルPX2は複数の第2転送信号TG12、TG22、TG32、TG42に応答して動作し、複数の第3ピクセルPX3は、複数の第3転送信号TG13、TG23、TG33、TG43に応答して動作し、複数の第4ピクセルPX4は、複数の第4転送信号TG14、TG24、TG34、TG44に応答して動作することができる。例えば、第1ピクセルPX1および第3ピクセルPX3から生成されるピクセル信号、または第2ピクセルPX2および第4ピクセルPX4から生成されるピクセル信号は、オートフォーカシングデータの生成に使用され、第1~第4ピクセルPX1~PX4から生成される合算ピクセル信号は、フレーム単位のイメージ生成に使用される。
【0091】
例えば、
図10のピクセルアレイ110aの場合、第1ピクセルPX1および第3ピクセルPX3の光電変換素子(
図11のPD1、PD3)に蓄積された電荷に基づいたピクセル信号の出力をレフト出力VLEFTとして用いることができ、第1~第4ピクセルPX1~PX4の光電変換素子(
図11のPD1~PD4)に蓄積された電荷に基づいたピクセル信号の出力を合算信号VSUMとして使用することができる。
【0092】
さらに、
図3のピクセルアレイ110と同様に、
図10のピクセルアレイ110aは、複数のオートフォーカスピクセルグループAPGに分けられてもよく、1つのピクセルグループが4つのピクセルを含むことを除くと、オートフォーカスピクセルグループAPGの動作は、
図3を参照して説明したのと同様であるため、重複する説明は省略する。
【0093】
図11は、
図10のピクセルアレイ110aのピクセルグループPGを示す回路図である。
図11を参照すれば、ピクセルグループPGは、ピクセルPX1~PX4、光電変換素子PD1~PD4、転送トランジスタTx1~Tx4、リセットトランジスタRST、デュアルコンバージョントランジスタDC、駆動トランジスタDxおよび選択トランジスタSELを含み得る。ピクセル、光電変換素子および転送トランジスタの数を除くと、
図11のピクセルグループPGの構成および動作は、
図4のピクセルグループPGの構成および動作と同様であるため、重複する説明は省略することにする。
【0094】
図12は、本発明の実施形態によるイメージセンサーの動作方法の一例を示すフローチャートである。以下では、
図12と共に、
図2~
図8を参照して説明する。
【0095】
段階S110において、ADC回路150の比較器COMPは、
図5に示された第1~第2区間でピクセル信号PIXのリセット信号とランプ信号RAMPとを2回比較することができ、第1~第2リセット比較信号を生成することができる。段階S120において、ADC回路150の比較器COMPは、
図5に示された第3区間においてピクセル信号PIXの第1イメージ信号(例えば、
図3の第1ピクセルPX1から出力された第1ピクセル信号)とランプ信号RAMPとを比較して第1イメージ比較信号を生成することができる。
【0096】
段階S130において、ADC回路150のカウンターCNTは、第1~第2リセット比較信号を第1~第2バイナリコードに変換することができ、リセットメモリ回路270はハイレベルのリセットシフト信号に応答して、第1~第2バイナリコードの和に対してシフト演算を遂行することができる。段階S140において、ADC回路150のカウンターCNTは、シフト演算の結果(例えば、第1リセットバイナリコードの値)と第1イメージ比較信号に対応する第1イメージバイナリコードに基づいて(例えば、第1リセットバイナリコードと第1イメージバイナリコードを加算して)第1デジタル信号を出力することができる。ここで、第1デジタル信号はオートフォーカスデータとして使用されうる。
【0097】
段階S150において、ADC回路150の比較器COMPは、
図5に示された第4~第5区間でピクセル信号PIXの合算信号と、ランプ信号RAMPとを比較して第1~第2合算比較信号を生成することができる。段階S160において、ADC回路150のカウンターCNTは、第1~第2リセットバイナリコードと、第1~第2合算比較信号に対応する第1~第2合算バイナリコードに基づいて(例えば、第1~第2リセットバイナリコードと第1~第2合算バイナリコードとを合算して)第2デジタル信号を出力することができる。ここで、第2デジタル信号はイメージデータとして使用されうる。
【0098】
図13は、本発明の実施形態によるイメージセンサーを含む電子装置の構成の一例を示す。
図14は、
図13のカメラモジュールの構成の一例を示す。
図13を参照すると、電子装置1000は、カメラモジュールグループ1100、アプリケーションプロセッサ1200、PMIC1300および外部メモリ1400を含み得る。
【0099】
カメラモジュールグループ1100は、複数のカメラモジュール1100a、1100b、1100cを含み得る。たとえ図面には、3つのカメラモジュール1100a、1100b、1100cが配置された実施形態が示されているが、実施形態はこれに限定されるものではない。いくつかの実施形態では、カメラモジュールグループ1100は、2つのカメラモジュールのみを含むように変形・実施されうる。なお、いくつかの実施形態では、カメラモジュールグループ1100は、n個(nは4以上の自然数)のカメラモジュールを含むように変形・実施されることもある。
【0100】
以下では、
図14を参照して、カメラモジュール1100bの詳細構成に対してより具体的に説明するが、以下の説明は、実施形態によって他のカメラモジュール1100a、1100cに対しても同様に適用される。
【0101】
図14を参照すると、カメラモジュール1100bは、プリズム1105、光路折り畳み素子(Optical Path Folding Element、以下、「OPFE」と称する)アクチュエータ1130、イメージセンシング装置1140およびストレージ部1150を含み得る。
【0102】
プリズム1105は、光反射材料の反射面1107を含む外部から入射する光Lの経路を変形させうる。
【0103】
いくつかの実施形態では、プリズム1105は、第1方向Xに入射する光Lの経路を第1方向Xに垂直な第2方向Yに変更させうる。なお、プリズム1105は、光反射材料の反射面1107を中心軸1106を中心にしてA方向へ回転させるか、または中心軸1106をB方向に回転させて第1方向Xに入射する光Lの経路を垂直な第2方向Yに変更させうる。このとき、OPFE1110も第1方向Xおよび第2方向Yに垂直な第3方向Zに移動することができる。
【0104】
いくつかの実施形態では、示されたように、プリズム1105のA方向最大回転角度はプラス(+)A方向では15度(degree)以下であり、マイナス(-)A方向では15度より大きい可能性があるが、実施形態はこれに限定されるものではない。
【0105】
いくつかの実施形態では、プリズム1105は、プラス(+)またはマイナス(-)B方向に20度内外、または10度~20度、または15度~20度の間に動くすることができ、ここで、動く角度はプラス(+)またはマイナス(-)B方向に同じ角度で動くか、または1度内外の範囲でほぼ類似の角度まで動くことができる。
【0106】
いくつかの実施形態では、プリズム1105は、光反射材料の反射面1107を中心軸1106の延長方向と平行な第3方向(例えば、Z方向)に移動することができる。
【0107】
OPFE1110は、例えば、m(ここで、mは自然数)のグループからなる光学レンズを含み得る。m個のレンズは第2方向Yに移動してカメラモジュール1100bの光学ズーム倍率(optical zoom ratio)を変更することができる。例えば、カメラモジュール1100bの基本光学ズーム倍率をZとするとき、OPFE1110に含まれたm個の光学レンズを移動させる場合、カメラモジュール1100bの光学ズーム倍率は3Zもしくは5Zまたは5Z以上の光学ズーム倍率に変更されうる。OPFE1110は、上述したm個のレンズの前面にn(ここで、nは自然数)個のグループからなる光学レンズをさらに含み得る。
【0108】
アクチュエータ1130は、OPFE1110または光学レンズ(以下、光学レンズと称する)を特定の位置に移動させうる。例えば、アクチュエータ1130は、正確なセンシングのためにイメージセンサー1142が光学レンズの焦点距離(focal length)に位置するように光学レンズの位置を調整することができる。
【0109】
イメージセンシング装置1140は、イメージセンサー1142、制御ロジック1144およびメモリ1146を含み得る。イメージセンサー1142は、光学レンズを介して提供される光Lを用いてセンシング対象のイメージをセンシングすることができる。特に、本発明の実施形態によるイメージセンサー1142は、ローノイズRSSリードアウト動作を遂行してピクセル信号をリードアウトすることができる。なお、本発明の実施形態によるイメージセンサー1142は、リセット信号の値の合計に対してシフト演算を遂行して個別のリセット信号の値を計算するように構成されるカウンターを含み得る。制御ロジック1144は、カメラモジュール1100bの全体的な動作を制御することができる。例えば、制御ロジック1144は、制御信号ラインCSLbを介して提供される制御信号に従ってカメラモジュール1100bの動作を制御することができる。
【0110】
メモリ1146は、キャリブレーションデータ1147のようなカメラモジュール1100bの動作に必要な情報を記憶することができる。キャリブレーションデータ1147は、カメラモジュール1100bが外部から提供された光Lを用いてイメージデータを生成するのに必要な情報を含み得る。キャリブレーションデータ1147は、例えば、上述した回転角度(degree of rotation)に関する情報、焦点距離(focal length)に関する情報、光軸(optical axis)に関する情報などを含み得る。カメラモジュール1100bが、光学レンズの位置によって焦点距離が変るマルチステート(multi state)カメラの形態で実施される場合、キャリブレーションデータ1147は、光学レンズの各位置別(またはステート別)焦点距離値とオートフォーカスに関連される情報を含み得る。
【0111】
ストレージ部1150は、イメージセンサー1142を介してセンシングされたイメージデータを格納することができる。ストレージ部1150は、イメージセンシング装置1140の外部に配置されてもよく、イメージセンシング装置1140を構成するセンサーチップとスタックされた(stacked)形態で実現されてもよい。いくつかの実施形態では、ストレージ部1150は、EEPROM(Electrically Erasable Programmable Read-Only Memory)で実施されうるが、実施形態はこれに限定されるものではない。
【0112】
図13および
図14を共に参照すると、いくつかの実施形態では、複数のカメラモジュール1100a、1100b、1100cのそれぞれはアクチュエータ1130を含み得る。したがって、複数のカメラモジュール1100a、1100b、1100cのそれぞれは、その中に含まれたアクチュエータ1130の動作に応じて互いに同一であるかまたは異なるキャリブレーションデータ1147を含み得る。
【0113】
いくつかの実施形態では、複数のカメラモジュール1100a、1100b、1100cのうちの1つのカメラモジュール(例えば、1100b)は、前述したプリズム1105およびOPFE1110を含む折りたたみレンズ(folded lens)形態のカメラモジュールであり、残りのカメラモジュール(例えば、1100a、1100b)は、プリズム1105およびOPFE1110を含んでいないバーチカル(vertical)形態のカメラモジュールであり得るが、実施形態はこれに限定されるものではない。
【0114】
いくつかの実施形態では、複数のカメラモジュール1100a、1100b、1100cのうちの1つのカメラモジュール(例えば、1100c)は、例えば、IR(Infrared Ray)を利用して深さ(depth)情報を抽出するバーチカル形態の深さカメラ(depth camera)であり得る。この場合、アプリケーションプロセッサ1200は、このような深さカメラから提供されたイメージデータと、他のカメラモジュール(例えば、1100aまたは1100b)から提供されたイメージデータと、をマージ(merge)して3次元深さイメージ(3D depth image)を生成することができる。
【0115】
いくつかの実施形態では、複数のカメラモジュール1100a、1100b、1100cのうち、少なくとも2つのカメラモジュール(例えば、1100a、1100b)は、異なる観察視野(Field of View、視野角)を有し得る。この場合、例えば、複数のカメラモジュール1100a、1100b、1100cのうち、少なくとも2つのカメラモジュール(例えば、1100a、1100b)の光学レンズが互いに異なってもよいが、これに限定されるものではない。
【0116】
なお、いくつかの実施形態では、複数のカメラモジュール1100a、1100b、1100cのそれぞれの視野角は互いに異なってもよい。この場合、複数のカメラモジュール1100a、1100b、1100cのそれぞれに含まれた光学レンズも互いに異なってもよいが、これに限定されるものではない。
【0117】
いくつかの実施形態では、複数のカメラモジュール1100a、1100b、1100cのそれぞれは、互いに物理的に分離して配置されてもよい。すなわち、1つのイメージセンサー1142のセンシング領域を複数のカメラモジュール1100a、1100b、1100cが分割して使用するのではなく、複数のカメラモジュール1100a、1100b、1100cのそれぞれの内部に独立したイメージセンサー1142が配置されうる。
【0118】
再び、
図13を参照すると、アプリケーションプロセッサ1200は、イメージ処理装置1210、メモリコントローラ1220、内部メモリ1230を含み得る。アプリケーションプロセッサ1200は、複数のカメラモジュール1100a、1100b、1100cから分離して実施されうる。例えば、アプリケーションプロセッサ1200と複数のカメラモジュール1100a、1100b、1100cは、別途の半導体チップに分離して実装されうる。
【0119】
イメージ処理装置1210は、複数のサブイメージプロセッサ1212a、1212b、1212c、イメージ生成器1214およびカメラモジュールコントローラ1216を含み得る。
【0120】
イメージ処理装置1210は、複数のカメラモジュール1100a、1100b、1100cの個数に対応する数の複数のサブイメージプロセッサ1212a、1212b、1212cを含み得る。
【0121】
それぞれのカメラモジュール1100a、1100b、1100cから生成されたイメージデータは、互いに分離されたイメージ信号ラインISLa、ISLb、ISLcを介して対応するサブイメージプロセッサ1212a、1212b、1212cに提供されてもよい。例えば、カメラモジュール1100aから生成されたイメージデータは、イメージ信号ラインISLaを介してサブイメージプロセッサ1212aに提供され、カメラモジュール1100bから生成されたイメージデータは、イメージ信号ラインISLbを介してサブイメージプロセッサ1212bに提供され、カメラモジュール1100cから生成されたイメージデータは、イメージ信号ラインISLcを介してサブイメージプロセッサ1212cに提供されうる。このようなイメージデータ転送は、例えば、MIPI(Mobile Industry Processor Interface)に基づくカメラシリアルインターフェース(CSI:Camera Serial Interface)を用いて遂行されうるが、実施形態はこれに限定されるものではない。
【0122】
一方、いくつかの実施形態では、1つのサブイメージプロセッサが複数のカメラモジュールに対応するように配置されることもある。例えば、サブイメージプロセッサ1212aとサブイメージプロセッサ1212cが図示されているように互いに分離して実装されるのではなく、1つのサブイメージプロセッサに統合して実装され、カメラモジュール1100aとカメラモジュール1100cから提供されたイメージデータは、選択素子(例えば、マルチプレクサ)などを介して選択された後、統合されたサブイメージプロセッサに提供されうる。
【0123】
それぞれのサブイメージプロセッサ1212a、1212b、1212cに提供されたイメージデータは、イメージ生成器1214に提供されてもよい。イメージ生成器1214は、イメージ生成情報(Generating Information)またはモード信号(Mode Signal)に従ってそれぞれのサブイメージプロセッサ1212a、1212b、1212cから提供されたイメージデータを用いて出力イメージを生成することができる。
【0124】
具体的には、イメージ生成部1214は、イメージ生成情報またはモード信号に応じて、異なる視野角を有するカメラモジュール1100a、1100b、1100cから生成されたイメージデータのうち、少なくとも一部をマージ(merge)して出力イメージを生成することができる。なお、イメージ生成器1214は、イメージ生成情報またはモード信号に応じて、異なる視野角を有するカメラモジュール1100a、1100b、1100cから生成されたイメージデータのうち、いずれか1つを選択して出力イメージを生成することができる。
【0125】
いくつかの実施形態では、イメージ生成情報はズーム信号(zoom signal or zoom factor)得る。なお、いくつかの実施形態では、モード信号は、例えばユーザーから選択されたモードに基づく信号であり得る。
【0126】
イメージ生成情報がズーム信号(ズームファクタ)であり、それぞれのカメラモジュール1100a、1100b、1100cが異なる観察視野(視野角)を有する場合、イメージ生成部1214はズーム信号の種類に応じて異なる動作を行うことができる。例えば、ズーム信号が第1信号である場合、カメラモジュール1100aから出力されたイメージデータとカメラモジュール1100cから出力されたイメージデータをマージした後、マージされたイメージ信号とマージに使用されなかったカメラモジュール1100bから出力されたイメージデータを用いて出力イメージを生成することができる。もしズーム信号が第1信号とは異なる第2信号である場合、イメージ生成器1214はこのようなイメージデータのマージを遂行せず、それぞれのカメラモジュール1100a、1100b、1100cから出力されたイメージデータのうち、いずれか1つを選択して出力イメージを生成することができる。しかしながら、実施形態はこれに限定されず、必要によってイメージデータを処理する方法は、いくらでも変形して実施され得る。
【0127】
いくつかの実施形態では、イメージ生成器1214は、複数のサブイメージプロセッサ1212a、1212b、1212cのうち、少なくとも1つから露出時間が異なる複数のイメージデータを受信し、複数のイメージデータに対してHDR(high dynamic range)処理を行うことにより、ダイナミックレンジが増加・マージされたイメージデータを生成することができる。
【0128】
カメラモジュールコントローラ1216は、それぞれのカメラモジュール1100a、1100b、1100cに制御信号を提供することができる。カメラモジュールコントローラ1216から生成された制御信号は、互いに分離された制御信号ラインCSLa、CSLb、CSLcを介して対応するカメラモジュール1100a、1100b、1100cに提供されうる。
【0129】
複数のカメラモジュール1100a、1100b、1100cのうち、いずれかは、ズーム信号を含むイメージ生成情報またはモード信号に応じてマスターカメラ(例えば、1100b)として指定され、残りのカメラモジュール(例えば、 例えば、1100a、1100cはスレーブカメラとして指定されうる。このような情報は制御信号に含まれており、互いに分離された制御信号ラインCSLa、CSLb、CSLcを介して対応するカメラモジュール1100a、1100b、1100cに提供されてもよい。
【0130】
ズームファクタまたは動作モード信号に応じて、マスターおよびスレーブとして動作するカメラモジュールを変更することができる。例えば、カメラモジュール1100aの視野角がカメラモジュール1100bの視野角より広く、ズームファクタが低いズーム倍率を示す場合、カメラモジュール1100bがマスターとして動作し、カメラモジュール1100aがスレーブとして動作することができる。逆に、ズームファクタが高いズーム倍率を示す場合、カメラモジュール1100aがマスターとして動作し、カメラモジュール1100bがスレーブとして動作することができる。
【0131】
いくつかの実施形態では、カメラモジュールコントローラ1216からそれぞれのカメラモジュール1100a、1100b、1100cに提供される制御信号は、シンクイネーブル(sync enable)信号を含み得る。例えば、カメラモジュール1100bがマスターカメラであり、カメラモジュール1100a、1100cがスレーブカメラである場合、カメラモジュールコントローラ1216はカメラモジュール1100bにシンクイネーブル信号を送ることができる。このようなシンクイネーブル信号を提供されたカメラモジュール1100bは、提供されたシンクイネーブル信号に基づいてシンク信号(sync signal)を生成し、生成されたシンク信号をシンク信号ラインSSLを介してカメラモジュール 1100a、1100cに提供することができる。カメラモジュール1100bとカメラモジュール1100a、1100cはこのようなシンク信号に同期されてイメージデータをアプリケーションプロセッサ1200に転送することができる。
【0132】
いくつかの実施形態では、カメラモジュールコントローラ1216から複数のカメラモジュール1100a、1100b、1100cに提供される制御信号は、モード信号に応じたモード情報を含み得る。このモード情報に基づいて複数のカメラモジュール1100a、1100b、1100cは、センシング速度と関連して第1動作モードおよび第2動作モードで動作することができる。
【0133】
複数のカメラモジュール1100a、1100b、1100cは、第1動作モードにおいて、第1速度でイメージ信号を生成(例えば、第1フレームレートのイメージ信号を生成)し、これを第1速度よりも高い第2速度でエンコーディング(例えば、第1フレームレートよりも高い第2フレームレートのイメージ信号をエンコーディング)し、エンコーディングされたイメージ信号をアプリケーションプロセッサ1200に転送することができる。このとき、第2速度は第1速度の30倍以下であり得る。
【0134】
アプリケーションプロセッサ1200は、受信されたイメージ信号、言い換えるとエンコーディングされたイメージ信号を、内部に設けられる内部メモリ1230またはアプリケーションプロセッサ1200の外部の外部メモリ1400に格納し、その後、内部メモリ1230または外部メモリ1400からエンコーディングされたイメージ信号を読み出してデコーディンし、デコーディンされたイメージ信号に基づいて生成されるイメージデータをディスプレイすることができる。例えば、イメージ処理装置1210の複数のサブプロセッサ1212a、1212b、1212cのうち、対応するサブプロセッサがデコーディンを遂行することができ、またデコーディンされたイメージ信号に対してイメージ処理を遂行することができる。
【0135】
複数のカメラモジュール1100a、1100b、1100cは、第2動作モードにおいて、第1速度より低い第3速度でイメージ信号を生成(例えば、第1フレームレートより低い第3フレームレートのイメージ信号を生成)し、イメージ信号をアプリケーションプロセッサ1200に転送することができる。アプリケーションプロセッサ1200に提供されるイメージ信号は、エンコーディングされていない信号であり得る。アプリケーションプロセッサ1200は、受信されるイメージ信号に対してイメージ処理を遂行するか、またはイメージ信号を内部メモリ1230または外部メモリ1400に格納することができる。
【0136】
PMIC1300は、複数のカメラモジュール1100a、1100b、1100cのそれぞれに電力、例えば電源電圧を供給することができる。例えば、PMIC1300は、アプリケーションプロセッサ1200の制御下で、パワー信号ラインPSLaを介してカメラモジュール1100aに第1電力を供給し、パワー信号ラインPSLbを介してカメラモジュール 1100bに第2電力を供給し、パワー信号ラインPSLcを介してカメラモジュール1100cに第3電力を供給することができる。
【0137】
PMIC1300は、アプリケーションプロセッサ1200からの電力制御信号PCONに応答して、複数のカメラモジュール1100a、1100b、1100cのそれぞれに対応する電力を生成し、さらに電力のレベルを調整することができる。電力制御信号PCONは、複数のカメラモジュール1100a、1100b、1100cの動作モード別電力調整信号を含み得る。例えば、動作モードは低電力モード(low power mode)を含むことができ、このとき電力制御信号PCONは低電力モードで動作するカメラモジュールおよび設定される電力レベルに対する情報を含み得る。複数のカメラモジュール1100a、1100b、1100cのそれぞれに提供される電力のレベルは、互いに同じか異なるかである。なお、電力のレベルは動的に変更されうる。
【0138】
上述した内容は、本発明を実施するための具体的な実施形態である。本発明は、上述した実施形態だけでなく、単に設計変更または容易に変更することができる実施形態もまた含む。なお、本発明は、実施形態を用いて容易に変形して実施することができる技術も含む。したがって、本発明の範囲は、上述した実施形態に限定されてはならず、後述する特許請求の範囲だけでなく、本発明の特許請求の範囲と均等なものによって定められるべきである。
【符号の説明】
【0139】
100:イメージセンサー
110:ピクセルアレイ
120:ロードライバ
130:ランプ信号生成器
140:カウントコード生成器
150:ADC回路
160:タイミングコントローラ
170:バッファ
200:カウンター
210:グレイコード-バイナリコードコンバータ
220:PIPO回路
230:PISO回路
240:第1スイッチ回路
250:XOR回路
260:直列バイナリ加算器
270:リセットメモリ回路
280:出力メモリ回路