(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2022187989
(43)【公開日】2022-12-20
(54)【発明の名称】イメージセンサとその動作方法及びイメージ装置
(51)【国際特許分類】
H04N 5/369 20110101AFI20221213BHJP
H04N 5/359 20110101ALI20221213BHJP
H04N 5/3745 20110101ALI20221213BHJP
H04N 9/07 20060101ALI20221213BHJP
【ＦＩ】
H04N5/369
H04N5/359
H04N5/3745 700
H04N9/07 D
【審査請求】未請求
【請求項の数】20
【出願形態】ＯＬ
(21)【出願番号】P 2022083205
(22)【出願日】2022-05-20
(31)【優先権主張番号】10-2021-0073994
(32)【優先日】2021-06-08
(33)【優先権主張国・地域又は機関】KR
(31)【優先権主張番号】17/675,694
(32)【優先日】2022-02-18
(33)【優先権主張国・地域又は機関】US
(71)【出願人】
【識別番号】390019839
【氏名又は名称】三星電子株式会社
【氏名又は名称原語表記】Ｓａｍｓｕｎｇ Ｅｌｅｃｔｒｏｎｉｃｓ Ｃｏ．，Ｌｔｄ．
【住所又は居所原語表記】１２９，Ｓａｍｓｕｎｇ－ｒｏ，Ｙｅｏｎｇｔｏｎｇ－ｇｕ，Ｓｕｗｏｎ－ｓｉ，Ｇｙｅｏｎｇｇｉ－ｄｏ，Ｒｅｐｕｂｌｉｃ ｏｆ Ｋｏｒｅａ
(74)【代理人】
【識別番号】110000051
【氏名又は名称】弁理士法人共生国際特許事務所
(72)【発明者】
【氏名】張 チャン ヨン
(72)【発明者】
【氏名】柳 鐘 ミン
【テーマコード（参考）】
5C024
5C065
【Ｆターム（参考）】
5C024CX11
5C024CY37
5C024DX01
5C024EX52
5C024GY31
5C024HX14
5C024HX23
5C024HX50
5C065BB02
5C065BB19
5C065CC01
5C065DD15
5C065EE06
5C065EE09
(57)【要約】
【課題】向上した性能を有するイメージセンサとその動作方法及びイメージ装置を提供する。
【解決手段】本発明のイメージセンサは、複数のピクセルを含むピクセルアレイと、複数のピクセルを制御するように構成された行ドライバと、ピクセルアレイによって感知された結果をデジタル化して第１イメージを生成するように構成されたアナログ／デジタル変換器と、を備え、ピクセルアレイは、複数のピクセルのうちの第１ホワイトピクセル及び第１カラーピクセルを各々含む第１ピクセルグループと、複数のピクセルのうちの第２ホワイトピクセル及び第２カラーピクセルを各々含む第２ピクセルグループと、を含み、第１イメージのうちの第１ピクセルデータは、第１ホワイトピクセル及び第１カラーピクセルに基づいて生成され、第１イメージのうちの第２ピクセルデータは第２カラーピクセルに基づいて生成される。
【選択図】図１
【解決手段】本発明のイメージセンサは、複数のピクセルを含むピクセルアレイと、複数のピクセルを制御するように構成された行ドライバと、ピクセルアレイによって感知された結果をデジタル化して第１イメージを生成するように構成されたアナログ／デジタル変換器と、を備え、ピクセルアレイは、複数のピクセルのうちの第１ホワイトピクセル及び第１カラーピクセルを各々含む第１ピクセルグループと、複数のピクセルのうちの第２ホワイトピクセル及び第２カラーピクセルを各々含む第２ピクセルグループと、を含み、第１イメージのうちの第１ピクセルデータは、第１ホワイトピクセル及び第１カラーピクセルに基づいて生成され、第１イメージのうちの第２ピクセルデータは第２カラーピクセルに基づいて生成される。
【選択図】図１
【特許請求の範囲】
【請求項1】
複数のピクセルを含むピクセルアレイと、
前記複数のピクセルを制御するように構成された行ドライバと、
前記ピクセルアレイによって感知（センシング）された結果をデジタル化して第１イメージを生成するように構成されたアナログ／デジタル変換器と、を備え、
前記ピクセルアレイは、
前記複数のピクセルのうちの第１ホワイトピクセル及び第１カラーピクセルを各々含む第１ピクセルグループと、
前記複数のピクセルのうちの第２ホワイトピクセル及び第２カラーピクセルを各々含む第２ピクセルグループと、を含み、
前記第１イメージのうちの第１ピクセルデータは、前記第１ホワイトピクセル及び前記第１カラーピクセルに基づいて生成され、
前記第１イメージのうちの第２ピクセルデータは、前記第２カラーピクセルに基づいて生成されることを特徴とするイメージセンサ。
前記複数のピクセルを制御するように構成された行ドライバと、
前記ピクセルアレイによって感知（センシング）された結果をデジタル化して第１イメージを生成するように構成されたアナログ／デジタル変換器と、を備え、
前記ピクセルアレイは、
前記複数のピクセルのうちの第１ホワイトピクセル及び第１カラーピクセルを各々含む第１ピクセルグループと、
前記複数のピクセルのうちの第２ホワイトピクセル及び第２カラーピクセルを各々含む第２ピクセルグループと、を含み、
前記第１イメージのうちの第１ピクセルデータは、前記第１ホワイトピクセル及び前記第１カラーピクセルに基づいて生成され、
前記第１イメージのうちの第２ピクセルデータは、前記第２カラーピクセルに基づいて生成されることを特徴とするイメージセンサ。
【請求項2】
前記行ドライバは、
前記第１ホワイトピクセルに連結された第１転送信号及び第１カラーピクセルに連結された第２転送信号を活性化し、前記第１ホワイトピクセル及び前記第１カラーピクセルに基づいて前記第１イメージのうちの前記第１ピクセルデータを生成し、
前記第２ホワイトピクセルに連結された第３転送信号を非活性化し、前記第２カラーピクセルに連結された第４転送信号を活性化し、前記第２カラーピクセルに基づいて前記第１イメージのうちの前記第２ピクセルデータを生成するように構成されることを特徴とする請求項１に記載のイメージセンサ。
前記第１ホワイトピクセルに連結された第１転送信号及び第１カラーピクセルに連結された第２転送信号を活性化し、前記第１ホワイトピクセル及び前記第１カラーピクセルに基づいて前記第１イメージのうちの前記第１ピクセルデータを生成し、
前記第２ホワイトピクセルに連結された第３転送信号を非活性化し、前記第２カラーピクセルに連結された第４転送信号を活性化し、前記第２カラーピクセルに基づいて前記第１イメージのうちの前記第２ピクセルデータを生成するように構成されることを特徴とする請求項１に記載のイメージセンサ。
【請求項3】
前記第１ピクセルグループは、
前記第１ホワイトピクセルのうちの第１部分及び前記第１カラーピクセルのうちのグリーンカラーピクセルを含むグリーンカラーピクセルグループと、
前記第１ホワイトピクセルのうちの第２部分及び前記第１カラーピクセルのうちのレッドカラーピクセルを含むレッドカラーピクセルグループと、
前記第１ホワイトピクセルのうちの第３部分及び前記第１カラーピクセルのうちのブルーカラーピクセルを含むブルーカラーピクセルグループと、を含むことを特徴とする請求項１に記載のイメージセンサ。
前記第１ホワイトピクセルのうちの第１部分及び前記第１カラーピクセルのうちのグリーンカラーピクセルを含むグリーンカラーピクセルグループと、
前記第１ホワイトピクセルのうちの第２部分及び前記第１カラーピクセルのうちのレッドカラーピクセルを含むレッドカラーピクセルグループと、
前記第１ホワイトピクセルのうちの第３部分及び前記第１カラーピクセルのうちのブルーカラーピクセルを含むブルーカラーピクセルグループと、を含むことを特徴とする請求項１に記載のイメージセンサ。
【請求項4】
前記第１ホワイトピクセルのうちの前記第１部分及び前記グリーンカラーピクセルは、第１フローティング拡散領域を共有し、
前記第１ホワイトピクセルのうちの前記第２部分及び前記レッドカラーピクセルは、第２フローティング拡散領域を共有し、
前記第１ホワイトピクセルのうちの前記第３部分及び前記ブルーカラーピクセルは、第３フローティング拡散領域を共有し、
前記第２ホワイトピクセル及び前記第２カラーピクセルは、第４フローティング拡散領域を共有することを特徴とする請求項３に記載のイメージセンサ。
前記第１ホワイトピクセルのうちの前記第２部分及び前記レッドカラーピクセルは、第２フローティング拡散領域を共有し、
前記第１ホワイトピクセルのうちの前記第３部分及び前記ブルーカラーピクセルは、第３フローティング拡散領域を共有し、
前記第２ホワイトピクセル及び前記第２カラーピクセルは、第４フローティング拡散領域を共有することを特徴とする請求項３に記載のイメージセンサ。
【請求項5】
前記第１ピクセルデータのうちのホワイトグリーンピクセルデータは、前記第１ホワイトピクセルのうちの前記第１部分及び前記グリーンカラーピクセルに基づいて生成され、
前記第１ピクセルデータのうちのホワイトレッドピクセルデータは、前記第１ホワイトピクセルのうちの前記第２部分及び前記レッドカラーピクセルに基づいて生成され、
前記第１ピクセルデータのうちのホワイトブルーピクセルデータは、前記第１ホワイトピクセルのうちの前記第３部分及び前記ブルーカラーピクセルに基づいて生成されることを特徴とする請求項３に記載のイメージセンサ。
前記第１ピクセルデータのうちのホワイトレッドピクセルデータは、前記第１ホワイトピクセルのうちの前記第２部分及び前記レッドカラーピクセルに基づいて生成され、
前記第１ピクセルデータのうちのホワイトブルーピクセルデータは、前記第１ホワイトピクセルのうちの前記第３部分及び前記ブルーカラーピクセルに基づいて生成されることを特徴とする請求項３に記載のイメージセンサ。
【請求項6】
前記第１イメージを受信し、前記第１イメージに基づいてホワイト抽出動作を遂行してホワイトパターンの第２イメージを生成するように構成される少なくとも１つのプロセッサを更に備えることを特徴とする請求項１に記載のイメージセンサ。
【請求項7】
前記少なくとも１つのプロセッサは、前記第２イメージに基づいてクロストーク補償動作を遂行して第３イメージを生成するように更に構成されることを特徴とする請求項６に記載のイメージセンサ。
【請求項8】
前記少なくとも１つのプロセッサは、予め格納されたキャリブレーションデータをロードし、前記第３イメージを生成するために前記キャリブレーションデータのうちの対応するキャリブレーションデータ値を前記第２イメージのコードレベルの各々に乗算するクロストーク補償動作を遂行するように構成されることを特徴とする請求項７に記載のイメージセンサ。
【請求項9】
前記少なくとも１つのプロセッサは、前記第１イメージから前記第３イメージを減算演算してベイヤーパターンのイメージを生成するように更に構成されることを特徴とする請求項７に記載のイメージセンサ。
【請求項10】
前記少なくとも１つのプロセッサは、
前記第１イメージのうちの前記第１ピクセルデータに前記第３イメージによる減算演算を遂行し、
前記第１イメージのうちの前記第２ピクセルデータに前記第３イメージによる減算演算を遂行しないように構成されることを特徴とする請求項９に記載のイメージセンサ。
前記第１イメージのうちの前記第１ピクセルデータに前記第３イメージによる減算演算を遂行し、
前記第１イメージのうちの前記第２ピクセルデータに前記第３イメージによる減算演算を遂行しないように構成されることを特徴とする請求項９に記載のイメージセンサ。
【請求項11】
前記第１イメージのうちの前記第２ピクセルデータは、前記ベイヤーパターンのイメージの対応するピクセルデータと同一であることを特徴とする請求項９に記載のイメージセンサ。
【請求項12】
前記少なくとも１つのプロセッサは、
前記第１イメージに基づいてホワイトバランス動作を遂行して第４イメージを生成して出力し、
前記第４イメージに基づいてルーマ抽出動作を遂行して無彩色の第５イメージを生成して出力し、
前記第５イメージ及び前記第１イメージに基づいてガイドフィルタリング動作を遂行してホワイト及びグリーンパターンの第６イメージ並びにグリーンパターンの第７イメージを出力し、
前記第６イメージに前記第７イメージによる減算演算を遂行して前記第２イメージを生成するように更に構成されることを特徴とする請求項６に記載のイメージセンサ。
前記第１イメージに基づいてホワイトバランス動作を遂行して第４イメージを生成して出力し、
前記第４イメージに基づいてルーマ抽出動作を遂行して無彩色の第５イメージを生成して出力し、
前記第５イメージ及び前記第１イメージに基づいてガイドフィルタリング動作を遂行してホワイト及びグリーンパターンの第６イメージ並びにグリーンパターンの第７イメージを出力し、
前記第６イメージに前記第７イメージによる減算演算を遂行して前記第２イメージを生成するように更に構成されることを特徴とする請求項６に記載のイメージセンサ。
【請求項13】
前記少なくとも１つのプロセッサは、第１イメージに対するゲインを調整して前記調整されたゲインに基づいてホワイトバランス動作を遂行するように更に構成されることを特徴とする請求項１２に記載のイメージセンサ。
【請求項14】
前記第１ピクセルグループは、前記第１ホワイトピクセルのうちの第１部分及び第１カラーピクセルのうちの第１グリーンカラーピクセルを有するグリーンカラーピクセルグループを含み、
前記第２カラーピクセルは、第２グリーンカラーピクセルに対応し、
前記少なくとも１つのプロセッサは、
前記グリーンカラーピクセルグループに基づいて生成された第１ピクセルデータのうち、ホワイトグリーンピクセルデータを含む第１サンプリングイメージを生成し、前記第２ピクセルデータを含む第２サンプリングイメージを生成し、
前記第１サンプリングイメージに基づいて前記第１イメージのサイズに対応する第６イメージを生成し、前記第２サンプリングイメージに基づいて前記第１イメージのサイズに対応する第７イメージを生成するように更に構成されることを特徴とする請求項１２に記載のイメージセンサ。
前記第２カラーピクセルは、第２グリーンカラーピクセルに対応し、
前記少なくとも１つのプロセッサは、
前記グリーンカラーピクセルグループに基づいて生成された第１ピクセルデータのうち、ホワイトグリーンピクセルデータを含む第１サンプリングイメージを生成し、前記第２ピクセルデータを含む第２サンプリングイメージを生成し、
前記第１サンプリングイメージに基づいて前記第１イメージのサイズに対応する第６イメージを生成し、前記第２サンプリングイメージに基づいて前記第１イメージのサイズに対応する第７イメージを生成するように更に構成されることを特徴とする請求項１２に記載のイメージセンサ。
【請求項15】
第１ピクセルグループ及び第２ピクセルグループを含むイメージセンサの動作方法であって、
第１読み出し過程において、第１ホワイトピクセル及び第１カラーピクセルを含む前記第１ピクセルグループに対して前記第１ホワイトピクセル及び前記第１カラーピクセルに基づいて第１信号をサンプリングして出力する第１合算演算を遂行する段階と、
前記第１読み出し過程において、第２ホワイトピクセル及び第２カラーピクセルを含む前記第２ピクセルグループに対して前記第２カラーピクセルに基づいて第２信号をサンプリングして出力する第２合算演算を遂行する段階と、
前記第１信号及び前記第２信号をデジタル信号に変換してローイメージを生成する段階と、
前記ローイメージに基づいてホワイトイメージを抽出する段階と、
前記ホワイトイメージに基づいてクロストーク補償動作を遂行してクロストーク補償ホワイトイメージを生成する段階と、
前記ローイメージに前記クロストーク補償ホワイトイメージによる減算演算を遂行してベイヤーイメージを生成する段階と、を有することを特徴とする方法。
第１読み出し過程において、第１ホワイトピクセル及び第１カラーピクセルを含む前記第１ピクセルグループに対して前記第１ホワイトピクセル及び前記第１カラーピクセルに基づいて第１信号をサンプリングして出力する第１合算演算を遂行する段階と、
前記第１読み出し過程において、第２ホワイトピクセル及び第２カラーピクセルを含む前記第２ピクセルグループに対して前記第２カラーピクセルに基づいて第２信号をサンプリングして出力する第２合算演算を遂行する段階と、
前記第１信号及び前記第２信号をデジタル信号に変換してローイメージを生成する段階と、
前記ローイメージに基づいてホワイトイメージを抽出する段階と、
前記ホワイトイメージに基づいてクロストーク補償動作を遂行してクロストーク補償ホワイトイメージを生成する段階と、
前記ローイメージに前記クロストーク補償ホワイトイメージによる減算演算を遂行してベイヤーイメージを生成する段階と、を有することを特徴とする方法。
【請求項16】
前記ローイメージに基づいてホワイトイメージを抽出する段階は、
前記ローイメージに基づいてホワイトバランス動作を遂行してホワイトバランスのローイメージを生成する段階と、
前記ホワイトバランスのローイメージに基づいてルーマ抽出動作を遂行してパンクロマティックイメージを生成する段階と、
前記パンクロマティックイメージ及び前記ローイメージに基づいてガイドフィルタリング動作を遂行してホワイトグリーンフルイメージ及びグリーンフルイメージを生成する段階と、
前記ホワイトグリーンフルイメージに前記グリーンフルイメージによる減算演算を遂行して前記ホワイトイメージを生成する段階と、を含むことを特徴とする請求項１５に記載の方法。
前記ローイメージに基づいてホワイトバランス動作を遂行してホワイトバランスのローイメージを生成する段階と、
前記ホワイトバランスのローイメージに基づいてルーマ抽出動作を遂行してパンクロマティックイメージを生成する段階と、
前記パンクロマティックイメージ及び前記ローイメージに基づいてガイドフィルタリング動作を遂行してホワイトグリーンフルイメージ及びグリーンフルイメージを生成する段階と、
前記ホワイトグリーンフルイメージに前記グリーンフルイメージによる減算演算を遂行して前記ホワイトイメージを生成する段階と、を含むことを特徴とする請求項１５に記載の方法。
【請求項17】
前記パンクロマティックイメージ及び前記ローイメージに基づいてガイドフィルタリング動作を遂行してホワイトグリーンフルイメージ及びグリーンフルイメージを生成する段階は、
前記ローイメージに基づいてホワイトグリーンサンプリングイメージを抽出する段階と、
前記ローイメージに基づいてグリーンサンプリングイメージを抽出する段階と、
前記パンクロマティックイメージ及び前記ホワイトグリーンサンプリングイメージに基づいて前記ホワイトグリーンフルイメージを生成する段階と、
前記パンクロマティックイメージ及び前記グリーンサンプリングイメージに基づいて前記グリーンフルイメージを生成する段階と、を含むことを特徴とする請求項１６に記載の方法。
前記ローイメージに基づいてホワイトグリーンサンプリングイメージを抽出する段階と、
前記ローイメージに基づいてグリーンサンプリングイメージを抽出する段階と、
前記パンクロマティックイメージ及び前記ホワイトグリーンサンプリングイメージに基づいて前記ホワイトグリーンフルイメージを生成する段階と、
前記パンクロマティックイメージ及び前記グリーンサンプリングイメージに基づいて前記グリーンフルイメージを生成する段階と、を含むことを特徴とする請求項１６に記載の方法。
【請求項18】
前記第１ホワイトピクセル及び第１カラーピクセルを含む前記第１ピクセルグループに対して前記第１ホワイトピクセル及び前記第１カラーピクセルに基づいて第１信号をサンプリングして出力する第１合算演算を遂行する段階は、
前記第１ピクセルグループに含まれる選択トランジスタに連結される第１選択信号を活性化する段階と、
前記第１ピクセルグループに含まれるリセットトランジスタに連結される第１リセット信号を非活性化する段階と、
前記第１ホワイトピクセルに連結される第１転送信号を活性化及び非活性化する段階と、
前記第１カラーピクセルに連結される第２転送信号を活性化及び非活性化する段階と、を含むことを特徴とする請求項１７に記載の方法。
前記第１ピクセルグループに含まれる選択トランジスタに連結される第１選択信号を活性化する段階と、
前記第１ピクセルグループに含まれるリセットトランジスタに連結される第１リセット信号を非活性化する段階と、
前記第１ホワイトピクセルに連結される第１転送信号を活性化及び非活性化する段階と、
前記第１カラーピクセルに連結される第２転送信号を活性化及び非活性化する段階と、を含むことを特徴とする請求項１７に記載の方法。
【請求項19】
前記第２ホワイトピクセル及び第２カラーピクセルを含む前記第２ピクセルグループに対して前記第２カラーピクセルに基づいて第２信号をサンプリングして出力する第２合算演算を遂行する段階は、
前記第２ピクセルグループに含まれる選択トランジスタに連結される第１選択信号を活性化する段階と、
前記第２ピクセルグループに含まれるリセットトランジスタに連結される第１リセット信号を非活性化する段階と、
前記第２ホワイトピクセルに連結される第３転送信号を非活性化する段階と、
前記第２カラーピクセルに連結される第４転送信号を活性化及び非活性化する段階と、を含むことを特徴とする請求項１７に記載の方法。
前記第２ピクセルグループに含まれる選択トランジスタに連結される第１選択信号を活性化する段階と、
前記第２ピクセルグループに含まれるリセットトランジスタに連結される第１リセット信号を非活性化する段階と、
前記第２ホワイトピクセルに連結される第３転送信号を非活性化する段階と、
前記第２カラーピクセルに連結される第４転送信号を活性化及び非活性化する段階と、を含むことを特徴とする請求項１７に記載の方法。
【請求項20】
ピクセル集合を含み、前記ピクセル集合のうちの第１～第３ピクセルグループの各々に対してフローティング拡散領域を共有する全てのピクセルに基づいて第１ピクセルデータを生成する第１合算演算を遂行し、前記ピクセル集合のうちの第４ピクセルグループに対してフローティング拡散領域を共有するピクセルのうちの一部のみに基づいて第２ピクセルデータを生成する第２合算動作を遂行してローイメージを生成するように構成されるイメージセンサと、
前記イメージセンサから受信したイメージデータに対する信号処理動作を遂行するように構成されるイメージ信号プロセッサと、を備え、
前記ピクセル集合は、第１～第４ピクセルグループを含み、
前記第１ピクセルグループは、第１ホワイトピクセル及び第１グリーンピクセルを含み、
前記第２ピクセルグループは、第２ホワイトピクセル及びレッドカラーピクセルを含み、
前記第３ピクセルグループは、第３ホワイトピクセル及びブルーカラーピクセルを含み、
前記第４ピクセルグループは、第４ホワイトピクセル及び第２グリーンカラーピクセルを含むことを特徴とするイメージ装置。
前記イメージセンサから受信したイメージデータに対する信号処理動作を遂行するように構成されるイメージ信号プロセッサと、を備え、
前記ピクセル集合は、第１～第４ピクセルグループを含み、
前記第１ピクセルグループは、第１ホワイトピクセル及び第１グリーンピクセルを含み、
前記第２ピクセルグループは、第２ホワイトピクセル及びレッドカラーピクセルを含み、
前記第３ピクセルグループは、第３ホワイトピクセル及びブルーカラーピクセルを含み、
前記第４ピクセルグループは、第４ホワイトピクセル及び第２グリーンカラーピクセルを含むことを特徴とするイメージ装置。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、半導体装置に関し、より詳細には、イメージセンサとその動作方法及びイメージ装置に関する。
【背景技術】
【0002】
スマートフォン、タブレットＰＣ、デジタルカメラなどに含まれるイメージセンサは、外部オブジェクトから反射された光波を電気信号に変換することにより、外部オブジェクトに関するイメージ情報を取得する。イメージセンサから取得された電気信号を人間に実際に認識されてもらうイメージ情報に変換するか又はイメージ品質を向上させるために多様なイメージ信号処理動作が行われる。
【0003】
近年、マルチカラーフィルタアレイを有するイメージセンサが広く採用されているだけではなく、フローティング拡散領域を共有する形態のピクセルも広く採用されている。特に、ホワイトピクセルを適用することによってセンシング感度を向上させることができる。
【先行技術文献】
【特許文献】
【0004】
【特許文献1】米国特許第８，１３９，１３０号明細書
【特許文献2】米国特許第８，３３０，８３９号明細書
【特許文献3】米国特許第７，８５５，７４０号明細書
【特許文献4】米国特許第７，８８９，９２１号明細書
【特許文献5】米国特許第７，８７６，９５６号明細書
【特許文献6】米国特許第８，４５２，０８２号明細書
【特許文献7】米国特許出願公開第２０２０／０１９５８７２号明細書
【特許文献8】米国特許出願公開第２０１６／００５７３６７号明細書
【特許文献9】米国特許出願公開第２０２１／００２９３０９号明細書
【特許文献10】欧州特許出願公開第３７５１８４０号明細書
【特許文献11】中国公開特許第１１１７４１２７７号公報
【特許文献12】韓国登録特許第１０－１６３７６７１号公報
【特許文献13】韓国登録特許第１０－１３３２６８９号公報
【特許文献14】韓国登録特許第１０－１９２３９５７号公報
【非特許文献】
【0005】
【非特許文献1】Ｅｒｉｃ Ｄｕｂｏｉｓ， Ｆｒｅｑｕｅｎｃｙ－Ｄｏｍａｉｎ Ｍｅｔｈｏｄｓ ｆｏｒ Ｄｅｍｏｓａｉｃｋｉｎｇ ｏｆ Ｂａｙｅｒ－Ｓａｍｐｌｅｄ Ｃｏｌｏｒ Ｉｍａｇｅｓ， ＩＥＥＥ ＳＩＧＮＡＬ ＰＲＯＣＥＳＳＩＮＧ ＬＥＴＴＥＲＳ， ＶＯＬ． １２， ＮＯ． １２， ＤＥＣＥＭＢＥＲ ２００５
【非特許文献2】Ｋａｉｍｉｎｇ Ｈｅ ｅｔ ａｌ．， Ｇｕｉｄｅｄ Ｉｍａｇｅ Ｆｉｌｔｅｒｉｎｇ， ２０１０
【非特許文献3】Ｃｈｕｌｈｅｅ Ｐａｒｋ ｅｔ ａｌ．， Ｇ－Ｃｈａｎｎｅｌ Ｒｅｓｔｏｒａｔｉｏｎ ｆｏｒ ＲＷＢ ＣＦＡ ｗｉｔｈ Ｄｏｕｂｌｅ－Ｅｘｐｏｓｅｄ Ｗ Ｃｈａｎｎｅｌ， Ｓｅｎｓｏｒｓ ２０１７， １７， ２９３； ｄｏｉ：１０．３３９０／ｓ１７０２０２９３
【発明の概要】
【発明が解決しようとする課題】
【0006】
本発明は、上記従来技術に鑑みてなされたものであって、本発明の目的は、向上した性能を有するイメージセンサとその動作方法及びイメージ装置を提供することにある。
【課題を解決するための手段】
【0007】
上記目的を達成するためになされた本発明の一態様によるイメージセンサは、複数のピクセルを含むピクセルアレイと、前記複数のピクセルを制御するように構成された行ドライバと、前記ピクセルアレイによって感知（センシング）された結果をデジタル化して第１イメージを生成するように構成されたアナログ／デジタル変換器と、を備え、前記ピクセルアレイは、前記複数のピクセルのうちの第１ホワイトピクセル及び第１カラーピクセルを各々含む第１ピクセルグループと、前記複数のピクセルのうちの第２ホワイトピクセル及び第２カラーピクセルを各々含む第２ピクセルグループと、を含み、前記第１イメージのうちの第１ピクセルデータは、前記第１ホワイトピクセル及び前記第１カラーピクセルに基づいて生成され、前記第１イメージのうちの第２ピクセルデータは、前記第２カラーピクセルに基づいて生成される。
【0008】
上記目的を達成するためになされた本発明の一態様による第１ピクセルグループ及び第２ピクセルグループを含むイメージセンサの動作方法は、第１読み出し過程において、第１ホワイトピクセル及び第１カラーピクセルを含む前記第１ピクセルグループに対して前記第１ホワイトピクセル及び前記第１カラーピクセルに基づいて第１信号をサンプリングして出力する第１合算動作を遂行する段階と、前記第１読み出し過程において、第２ホワイトピクセル及び第２カラーピクセルを含む前記第２ピクセルグループに対して前記第２ホワイトピクセルに基づかずに前記第２カラーピクセルに基づいて第２信号をサンプリングして出力する第２合算動作を遂行する段階と、前記第１信号及び前記第２信号をデジタル信号に変換してローイメージを生成する段階と、前記ローイメージに基づいてホワイトイメージを抽出する段階と、前記ホワイトイメージに基づいてクロストーク補償動作を遂行してクロストーク補償ホワイトイメージを生成する段階と、前記ローイメージに前記クロストーク補償ホワイトイメージによる減算動作を遂行してベイヤーイメージを生成する段階と、を有する。
【0009】
上記目的を達成するためになされた本発明の一態様によるイメージ装置は、ピクセル集合を含み、前記ピクセル集合のうちの第１～第３ピクセルグループの各々に対してフローティング拡散領域を共有する全てのピクセルに基づいて第１ピクセルデータを生成する第１合算動作を遂行し、前記ピクセル集合のうちの第４ピクセルグループに対してフローティング拡散領域を共有するピクセルのうちの一部のみに基づいて第２ピクセルデータを生成する第２合算動作を遂行してローイメージを生成するように構成されるイメージセンサと、前記イメージセンサから受信したイメージデータに対する信号処理動作を遂行するように構成されるイメージ信号プロセッサと、を備え、前記ピクセル集合は、第１～第４ピクセルグループを含み、前記第１ピクセルグループは、第１ホワイトピクセル及び第１グリーンピクセルを含み、前記第２ピクセルグループは、第２ホワイトピクセル及びレッドカラーピクセルを含み、前記第３ピクセルグループは、第３ホワイトピクセル及びブルーカラーピクセルを含み、前記第４ピクセルグループは、第４ホワイトピクセル及び第２グリーンカラーピクセルを含む。
【発明の効果】
【0010】
本発明によれば、イメージセンサは、単一の読み出し動作によってノンベイヤーパターンのイメージを生成してノンベイヤーパターンのイメージをベイヤーパターンのイメージに変換することができる。これによって、イメージセンサの全体的な性能が向上する。
【図面の簡単な説明】
【0011】
【図1】本発明の一実施形態によるイメージ装置の一例を示すブロック図である。
【図5】ピクセル集合に印加される信号波形の一例を示すタイミング図である。
【図11A】ローイメージをベイヤーイメージに変換する方法を説明するための図である。
【図11B】ローイメージをベイヤーイメージに変換する方法を説明するための図である。
【図11C】ローイメージをベイヤーイメージに変換する方法を説明するための図である。
【図12A】本発明の一実施形態によるイメージ装置の多様な例を示すブロック図である。
【図12B】本発明の一実施形態によるイメージ装置の多様な例を示すブロック図である。
【図12C】本発明の一実施形態によるイメージ装置の多様な例を示すブロック図である。
【図13】本発明の一実施形態によるマルチカメラモジュールを含む電子装置の構成の一例を示すブロック図である。
【発明を実施するための形態】
【0012】
以下、本発明を実施するための形態の具体例を、図面を参照しながら詳細に説明する。
【0013】
この分野では一般的であるように、実施形態は、記述する機能又は機能を遂行するブロックの観点から説明及び例示する。本明細書では、ユニット若しくはモジュールなど、又は変換器、プロセッサ、コントローラなどのような名称で呼ばれるこれらのブロックは、論理ゲート、集積回路、マイクロプロセッサ、マイクロコントローラ、メモリ回路、受動電子部品、能動電子部品、光学部品、有線回路などのようなアナログ又はデジタル回路によって物理的に実現され、ファームウェア及びソフトウェアによって駆動される。回路は、例えば１つ以上の半導体チップ又はプリント回路基板などのような基板支持体上に実装される。ブロックに含まれる回路は、専用ハードウェア又はプロセッサ（例えば、１つ以上のプログラムされたマイクロプロセッサ及び関連回路）によって、又はブロックのいくつかの機能を遂行する専用ハードウェアとブロックの他の機能を遂行するプロセッサとの組み合わせによって実現される。実施形態の各ブロックは、物理的に２つ以上の相互作用する個々のブロックに分割される。同様に、実施形態のブロックは、物理的により複雑なブロックに結合される。
【0014】
図１は、本発明の一実施形態によるイメージ装置の一例を示すブロック図である。図１を参照すると、イメージ装置１００はイメージセンサ１１０及びイメージ信号プロセッサ１２０を含む。イメージ装置１００は、デスクトップコンピュータ、ラップトップコンピュータ、タブレットコンピュータ、スマートフォン、ウェアラブル装置、ブラックボックス、デジタルカメラなどのように多様なコンピューティングシステムに含まれる。
【0015】
イメージセンサ１１０は、外部から入射する光波に基づいてイメージデータを出力する。例えば、外部は、イメージセンサ１１０の外部、イメージ装置１００の外部、又はイメージセンサ１１０、イメージ装置１００を含むコンピューティングシステム若しくは他の装置の外部を指す。例えば、イメージセンサ１１０は複数のピクセルを含む。複数のピクセルの各々は、外部から入射する光に対応する電気的信号を出力するように構成される。イメージセンサ１１０は、電気的信号に基づいてイメージデータを出力する。一実施形態で、イメージセンサ１１０から出力されるイメージデータは、特定のフレームに対する輝度情報、カラー情報などを含む。
【0016】
例えば、イメージセンサ１１０は、ＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ Ｍｅｔａｌ Ｏｘｉｄｅ Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）イメージセンサなどで実現される。例えば、イメージセンサ１１０は、デュアルピクセル（ｄｕａｌ ｐｉｘｅｌ）構造又はテトラセル（ｔｅｔｒａｃｅｌｌ）構造を有するマルチピクセル（ｍｕｌｔｉ ｐｉｘｅｌ）イメージセンサである。
【0017】
イメージセンサ１１０の複数のピクセルのうちの４つのピクセルは、１つのフローティング拡散領域を共有する。これに対するより詳細な説明は、図４Ａに記載する。以下では、説明の便宜のために、１つのフローティング拡散領域を共有する４つのピクセルに基づいて信号電圧レベルをサンプリングして出力する動作を第１合算動作（例えば、ＦＤ４ｓｕｍ）と称し、１つのフローティング拡散領域を共有する２つのピクセルに基づいて信号電圧レベルをサンプリングして出力する動作を第２合算動作（例えば、ＦＤ２ｓｕｍ）と称し、複数のピクセルのうちの第１部分について第１合算動作を遂行して複数のピクセルのうちの第２部分に対して第２合算動作を遂行することを第３合算動作（例えば、ＦＤ４ｓｕｍ＋ＦＤ２ｓｕｍ）と称する。
【0018】
説明の便宜のために、以下で、第１タイプの配列パターンの基本単位は、４つのピクセルを含み、左上端から時計方向に沿って順次配列されるグリーンカラーピクセルＧｒ、レッドカラーピクセルＲ、グリーンカラーピクセルＧｂ、及びブルーカラーピクセルＢを含む。第１タイプの配列パターンはベイヤーパターンと称される。第２タイプの配列パターンの基本単位は、１つのピクセルを含み、ホワイトピクセルＷを含む。第２タイプの配列パターンはホワイトパターンと称される。
【0019】
一般的なＲＧＢＷパターンが適用されるイメージセンサは、２回の読み出し動作を遂行する。イメージセンサは、第１読み出し動作において、第２合算動作を遂行してベイヤーパターンのイメージを生成する。その後、イメージセンサは、第２読み出し動作において、第２合算動作を遂行してホワイトパターンのイメージを生成する。
【0020】
一方、本実施形態によるイメージセンサは、１回の読み出し動作を遂行してローイメージＲＡＷを生成する。イメージセンサ１１０は、第３合算動作を遂行してノンベイヤーパターンのローイメージＲＡＷを生成する。イメージセンサ１１０は、ローイメージＲＡＷからベイヤーパターンのイメージ（以下、「ベイヤーイメージ」と称する）を抽出する。これによって、イメージセンサ１１０は、フレームレート（ｆｒａｍｅ ｒａｔｅ）を向上させ、アナログ電力消費を減少させることができる。
【0021】
イメージセンサ１１０は、ホワイト抽出モジュール１１１、クロストーク補償モジュール１１２、及びベイヤー抽出モジュール１１３を含む。本実施形態によるホワイト抽出モジュール１１１、クロストーク補償モジュール１１２、及びベイヤー抽出モジュール１１３の構造及び動作方法は、以下の図面を参照してより詳細に説明する。
【0022】
イメージ信号プロセッサ１２０は、イメージセンサ１１０からイメージデータを受信し、受信したイメージデータに対する多様な信号処理動作を遂行する。一実施形態で、イメージ信号プロセッサ１２０は、受信したイメージデータに対するノイズ除去、ホワイトバランス、ガンマ補正、色補正、色変換などの多様な信号処理を遂行する。信号処理されたイメージデータは、外部装置（例えば、ディスプレイ装置）に転送されるか、又は別途のストレージ装置に格納される。
【0023】
図２は、図１のイメージ信号プロセッサの一例を示すブロック図である。図１及び図２を参照すると、イメージ信号プロセッサ１２０は、ノイズ低減モジュール１２１、デモザイクモジュール１２２、色補正モジュール１２３、ガンマ補正モジュール１２４、及び色変換モジュール１２５を含む。
【0024】
ノイズ低減モジュール１２１は、イメージセンサ１１０から受信したベイヤーイメージに対するノイズを除去するように構成される。例えば、ノイズ低減モジュール１２１は、イメージセンサ１１０のカラーフィルタアレイ（ＣＦＡ）に応じた固定パターンノイズ（ｆｉｘｅｄ－ｐａｔｔｅｒｎ ｎｏｉｓｅ）又は一時的ランダムノイズ（ｔｅｍｐｏｒａｌ ｒａｎｄｏｍ ｎｏｉｓｅ）などを除去するように構成される。
【0025】
デモザイクモジュール１２２は、ノイズ低減モジュール１２１の出力をフルカラーデータに変換するように構成される。例えば、ノイズ低減モジュール１２１の出力は、イメージセンサ１１０のＣＦＡのパターンに応じたデータフォーマット（例えば、ベイヤーフォーマット、テトラフォーマットなど）を有する。デモザイクモジュール１２２は、イメージセンサ１１０のＣＦＡのパターンによるデータフォーマットをＲＧＢフォーマットに変換するように構成される。
【0026】
色補正モジュール１２３は、ＲＧＢフォーマットに変換される高品質イメージの色相を補正するように構成される。ガンマ補正モジュール１２４は、色補正モジュール１２３からの出力に対するガンマ値を補正するように構成される。
【0027】
色変換モジュール１２５は、ガンマ補正モジュール１２４からの出力を特定のフォーマットに変換するように構成される。例えば、ガンマ補正モジュール１２４からの出力はＲＧＢフォーマットを有する。色変換モジュール１２５は、ＲＧＢフォーマットをＹＵＶフォーマットに変換する。
【0028】
イメージ信号プロセッサ１２０から生成されたイメージは、外部のディスプレイ装置又はストレージ装置に提供される。一実施形態で、図２に示すイメージ信号プロセッサ１２０の構成は一例であり、本発明の範囲はこれに限定されるものではない。例えば、イメージ信号プロセッサ１２０は、上述の構成要素以外の他の信号処理動作を遂行するように構成される追加の構成要素を更に含む。
【0029】
図３は、図１のイメージセンサの一例を示すブロック図である。図１及び図３を参照すると、イメージセンサ１１０は、ホワイト抽出モジュール１１１、クロストーク補償モジュール１１２、ベイヤー抽出モジュール１１３、ピクセルアレイ１１４、行ドライバ１１５、アナログ／デジタル変換器（ＡＤＣ：ａｎａｌｏｇ ｔｏ ｄｉｇｉｔａｌ ｃｏｎｖｅｒｔｅｒ）１１６、出力回路１１７、及び制御ロジック回路１１８を含む。
【0030】
ピクセルアレイ１１４は複数のピクセルＰＸを含む。複数のピクセルの各々は、複数のピクセルの各々の外部から入射する光波に基づいて入射する光の大きさに比例する電気信号、即ちアナログ信号を出力するように構成される。一実施形態で、複数のピクセルの各々は、異なる波長の光波を受信するために異なるカラーフィルタ（例えば、Ｒ、Ｇ、Ｂ、Ｗなど）に結合される。
【0031】
ピクセルアレイ１１４を構成する複数のピクセルは、複数のピクセルグループＰＧを含む。各ピクセルグループＰＧは、２つ以上のピクセルを含む。ピクセルグループＰＧを構成するピクセルは、１つのフローティング拡散ノードを共有する。しかし、本発明はこれに限定されず、ピクセルグループＰＧを構成するピクセルは複数のフローティング拡散ノードを共有することもできる。例として、ピクセルグループＰＧは、３行×３列に配置される９個のピクセルＰＸを含むか、又は２行×２列に配置される４個のピクセルＰＸを含むが、ピクセルグループＰＧを構成するピクセルの数はこれに限定されない。
【0032】
ピクセルグループＰＧは、カラーに関連する情報を出力するためのカラーピクセル及びホワイトピクセルを含む。例えば、ピクセルグループＰＧは、レッドカラースペクトル領域の光波を電気信号に変換するレッドカラーピクセルＲを含むか、又はグリーンカラースペクトル領域の光波を電気信号に変換するグリーンカラーピクセル（Ｇｒ、Ｇｂ）を含むか、ブルーカラースペクトル領域の光波を電気信号に変換するブルーカラーピクセルＢを含むか、又はレッドカラーピクセルＲ、グリーンカラーピクセル（Ｇｒ、Ｇｂ）、ブルーカラーピクセルＢに対応するスペクトル領域の光波を電気信号に変換するホワイトピクセルＷを含む。このために、ピクセルグループＰＧ上に複数のカラーフィルタが形成され、マルチカラーフィルタアレイ（Ｍｕｌｔｉ－ｃｏｌｏｒ ｆｉｌｔｅｒ ａｒｒａｙ：Ｍｕｌｔｉ－ＣＦＡ）が形成される。カラーフィルタアレイは、ベイヤーパターン（Ｂａｙｅｒ ｐａｔｔｅｒｎ）、又はテトラパターン（Ｔｅｔｒａ Ｐａｔｔｅｒｎ）のような多様なパターンのうちの少なくとも１つのパターンに基づいて形成される。
【0033】
一実施形態で、ピクセルアレイ１１４を構成するピクセルグループＰＧ上には、複数のカラーフィルタが形成され、マルチカラーフィルタアレイ（Ｍｕｌｔｉ－ｃｏｌｏｒ ｆｉｌｔｅｒ ａｒｒａｙ：Ｍｕｌｔｉ－ＣＦＡ）が形成される。プロセスの順序によってカラーフィルタが生成される高さが異なる場合がある。例えば、比較的早く形成されるカラーフィルタが基板から形成される高さは、相対的に低い。一方、比較的遅く形成されるカラーフィルタが基板から形成される高さは、相対的に高い。比較的高く形成されるカラーフィルタによって、比較的低く形成されるカラーフィルタは影響を受け、これはピクセル間のクロストークを発生させる要因になる。
【0034】
行ドライバ１１５は、ピクセルアレイ１１４に含まれる複数のピクセルを制御するように構成される。例えば、行ドライバ１１５は、複数のピクセルを制御するための多様な制御信号（例えば、シャッタ信号、転送信号、リセット信号、選択信号など）を生成する。一実施形態で、行ドライバ１１５は複数のピクセルを行単位で制御するが、本発明の範囲はこれに限定されるものではない。
【0035】
ＡＤＣ１１６は、複数のピクセルの各々から形成されたアナログ信号をデジタル信号に変換し、変換されたデジタル信号をデータとして出力する。一実施形態で、ＡＤＣ１１６は、相関二重サンプリング（ＣＤＳ：Ｃｏｒｒｅｌａｔｅｄ Ｄｏｕｂｌｅ Ｓａｍｐｌｉｎｇ）に基づいてデータを生成する。図示していないが、イメージセンサ１１０は、ＡＤＣ１１６から出力されたデータを格納するように構成されるストレージ回路若しくはメモリ、又はＡＤＣ１１６の動作に使用されるランプ信号を生成するように構成されるランプ信号生成器を更に含む。ＡＤＣ１１６は、ノンベイヤーパターンのローイメージＲＡＷをホワイト抽出モジュール１１１に出力する。
【0036】
ホワイト抽出モジュール１１１は、ローイメージＲＡＷに基づいてホワイトイメージＷＩを生成する。例えば、ホワイト抽出モジュール１１１は、ＡＤＣ１１６からローイメージＲＡＷを受信する。ホワイト抽出モジュール１１１は、ホワイト抽出動作を遂行してホワイトパターンのホワイトイメージＷＩを生成する。ホワイト抽出モジュール１１１は、ホワイトイメージＷＩ及びローイメージＲＡＷをクロストーク補償モジュール１１２に出力する。ホワイト抽出動作に関するより詳細な説明は、図８に記載する。
【0037】
クロストーク補償モジュール１１２は、ローイメージＲＡＷ及びホワイトイメージＷＩに基づいてクロストーク補償動作を遂行する。例えば、クロストーク補償モジュール１１２は、ホワイト抽出モジュール１１１からローイメージＲＡＷ及びホワイトイメージＷＩを受信する。クロストーク補償モジュール１１２は、クロストーク補償動作を遂行してクロストーク補償ホワイトイメージＷＩ＿ＸＴを生成する。クロストーク補償モジュール１１２は、クロストーク補償ホワイトイメージＷＩ＿ＸＴ及びローイメージＲＡＷをベイヤー抽出モジュール１１３に出力する。クロストーク補償動作に関する、より詳細な説明は図７で述べる。
【0038】
ベイヤー抽出モジュール１１３は、ローイメージＲＡＷ及びホワイトイメージＷＩに基づいてベイヤーイメージＢＩを生成する。例えば、ベイヤー抽出モジュール１１３は、ローイメージＲＡＷ及びクロストーク補償ホワイトイメージＷＩ＿ＸＴをクロストーク補償モジュール１１２から受信する。ベイヤー抽出モジュール１１３は、ローイメージＲＡＷ及びクロストーク補償ホワイトイメージＷＩ＿ＸＴに対する減算動作を遂行して、ベイヤーイメージを抽出する。これに対する詳細な説明は、図１１Ｃに記載する。
【0039】
一実施形態で、ホワイト抽出モジュール１１１及びクロストーク補償モジュール１１２のそれぞれは、受信したローイメージＲＡＷを伝達する。但し、本発明の範囲はこれに限定されるものではない。図３に示すものとは異なるように、ＡＤＣ１１６は、ローイメージＲＡＷをクロストーク補償モジュール１１２及びベイヤー抽出モジュール１１３に直接出力することができる。
【0040】
出力回路１１７は、ベイヤー抽出モジュール１１３から出力されたベイヤーイメージＢＩを外部装置（例えば、ディスプレイ又はストレージ装置）に伝達する。制御ロジック回路１１８は、外部制御装置（例えば、イメージセンサ装置のコントローラ又はアプリケーションプロセッサ）の制御に従ってイメージセンサ１１０内の多様な構成要素を制御するように構成される。
【0041】
図４Ａは、図３のピクセルグループＰＧの一例を示す回路図である。例えば、図４Ａのピクセルグループはピクセルアレイ１１４に含まれる。一実施形態で、ピクセルグループＰＧは、第１～第４ピクセル（ＰＸ１～ＰＸ４）を含む。
【0042】
ピクセルグループＰＧは、光電変換素子（ＰＤａ～ＰＤｄ）、転送トランジスタ（Ｔａ～Ｔｄ）、デュアルコンバージョントランジスタＤＴ、リセットトランジスタＲＴ、ソースフォロワトランジスタＳＦ、及び選択トランジスタＳＥを含む。第１ピクセルＰＸ１は第１光電変換素子ＰＤａ及び第１転送トランジスタＴａを含み、第２ピクセルＰＸ２は第２光電変換素子ＰＤｂ及び第２転送トランジスタＴｂを含み、第３ピクセルＰＸ３は第３光電変換素子ＰＤｃ及び第３転送トランジスタＴｃを含み、第４ピクセルＰＸ４は第４光電変換素子ＰＤｄ及び第４転送トランジスタＴｄを含む。第１～第４ピクセル（ＰＸ１～ＰＸ４）の各々は、デュアルコンバージョントランジスタＤＴ、リセットトランジスタＲＴ、ソースフォロワトランジスタＳＦ、選択トランジスタＳＥ、及びフローティング拡散領域（ＦＤａ、ＦＤｂ）を共有する。
【0043】
転送トランジスタ（Ｔａ～Ｔｄ）の各々は、光電変換素子（ＰＤａ～ＰＤｄ）の各々によって生成された電荷を第１フローティング拡散領域ＦＤａに転送する。例えば、行ドライバ１１５から受信した転送信号ＴＧａによって転送トランジスタＴａがターンオンされる区間のうちの光電変換素子ＰＤａから提供される電荷が第１フローティング拡散領域ＦＤａに蓄積される。残りの転送トランジスタ（ＴＧｂ～ＴＧｄ）も同様に動作することによって、光電変換素子（ＰＤｂ～ＰＤｄ）から提供される電荷も同様に第１フローティング拡散領域ＦＤａに蓄積される。転送トランジスタ（Ｔａ～Ｔｄ）の一端は光電変換素子（ＰＤａ～ＰＤｄ）の各々に連結され、他端は第１フローティング拡散領域ＦＤａに共通に連結される。
【0044】
第１フローティング拡散領域ＦＤａは、光電変換素子（ＰＤａ～ＰＤｄ）のうちの少なくとも１つによって変換された電荷を蓄積する。例として、第１フローティング拡散領域ＦＤａの静電容量は、第１キャパシタンスＣＦＤａとして示される。第１フローティング拡散領域ＦＤａは、ソースフォロワ増幅器として動作するソースフォロワトランジスタＳＦのゲート端に連結される。その結果、第１フローティング拡散領域ＦＤａに蓄積された電荷に対応する電圧ポテンシャルが形成される。
【0045】
リセットトランジスタＲＴは、リセット信号ＲＧによってターンオンされて第１フローティング拡散領域ＦＤａにリセット電圧（例えば、電源電圧ＶＤＤ）を提供する。その結果、第１フローティング拡散領域ＦＤａに蓄積された電荷は電源電圧ＶＤＤ端に移動し、第１フローティング拡散領域ＦＤａの電圧はリセットされる。
【0046】
ソースフォロワトランジスタＳＦは、第１フローティング拡散領域ＦＤａの電気的ポテンシャルの変化を増幅し、これに対応する電圧（即ち、出力信号ＯＵＴ）を生成する。選択トランジスタＳＥは、選択信号ＳＥＬによって駆動され、行単位で読み出されるピクセルを選択する。選択トランジスタＳＥがターンオンされることによって、出力信号ＯＵＴが列ラインＣＬを介して出力される。
【0047】
一方、一般的な環境下では、第１フローティング拡散領域ＦＤａは、簡単に飽和しないため、第１フローティング拡散領域ＦＤａの静電容量（即ち、ＣＦＤａ）を増やす必要性はない。しかし、高照度環境では、第１フローティング拡散領域ＦＤａは容易に飽和する。従って、飽和を防止するために、デュアルコンバージョントランジスタＤＴを、例えばデュアルコンバージョン信号ＤＣＧによってターンオンさせることで、第１フローティング拡散領域ＦＤａと第２フローティング拡散領域ＦＤｂとが電気的に連結され、フローティング拡散領域（ＦＤａ、ＦＤｂ）の静電容量を第１キャパシタンスＣＦＤａと第２キャパシタンスＣＦＤｂとの和に拡張する。
【0048】
一実施形態において、イメージ処理装置がノーマルモードで動作する場合、ピクセルグループＰＧを構成する各ピクセルから出力される出力信号ＯＵＴを個別に用いる。即ち、行ドライバ１１５は、転送トランジスタ（Ｔａ～Ｔｄ）の各々が異なるタイミングでターンオンされるように転送信号（ＴＧａ～ＴＧｄ）を各々制御することにより、各光電変換素子によって変換された電荷に対応する出力信号ＯＵＴを、列ラインＣＬを介して異なるタイミングで出力する。
【0049】
一実施形態で、イメージ処理装置がビニングモードで動作する場合、ピクセルグループＰＧを構成するピクセル（ＰＸ１～ＰＸ４）によって変換される電荷が１つの出力信号ＯＵＴを生成するために同時に用いられる。例えば、転送トランジスタ（Ｔａ～Ｔｄ）が同時に又は一時的にターンオンされてピクセル（ＰＸ１～ＰＸ４）によって変換された電荷を第１フローティング拡散領域ＦＤａに蓄積し、光電変換素子（ＰＤａ～ＰＤｄ）によって変換された電荷の和に対応する出力信号ＯＵＴを、列ラインＣＬを介して出力する。
【0050】
図４Ｂは、図４Ａのピクセルグループを含むピクセル集合を説明するための図である。図３、図４Ａ、及び図４Ｂを参照すると、ピクセル集合ＰＳは、第１～第４ピクセルグループ（ＰＧ１～ＰＧ４）を含む。例えば、第１行及び第１列は第１ピクセルグループＰＧ１の位置であり、第１行及び第２列は第２ピクセルグループＰＧ２の位置であり、第２行及び第１列は第３ピクセルグループＰＧ３の位置であり、第２行及び第２列は第４ピクセルグループＰＧ４の位置である。ピクセル集合ＰＳは、４×４で配列された１６個のピクセルを含む。本発明の範囲はこれに限定されず、ピクセル集合ＰＳに含まれるピクセルの数は変わり得る。各ピクセルは、イメージセンサ１１０の出力としてデジタル値又はピクセル値（即ちコードレベル）を有する。
【0051】
ピクセル集合ＰＳは、ノンベイヤーパターンを有する。説明の便宜のために、ピクセル集合ＰＳは第３タイプの配列パターンである。例えば、第３タイプの配列パターンにおいて、第１行及び第１列はホワイトピクセルＷ１に対応するホワイトカラーの位置であり、第１行及び第２列はグリーンカラーピクセルＧｒ１に対応するグリーンカラーの位置であり、第１行及び第３列はホワイトピクセルＷ３に対応するホワイトカラーの位置であり、第１行及び第４列はレッドカラーピクセルＲ１に対応するレッドカラーの位置であり、第２行及び第１列はグリーンカラーピクセルＧｒ２に対応するグリーンカラーの位置であり、第２行及び第２列はホワイトピクセルＷ２に対応するホワイトカラーの位置であり、第２行及び第３列はレッドカラーピクセルＲ２に対応するレッドカラーの位置であり、第２行及び第４列はホワイトピクセルＷ４に対応するホワイトカラーの位置であり、第３行及び第１列はホワイトピクセルＷ５に対応するホワイトカラーの位置であり、第３行及び第２列はブルーカラーピクセルＢ１に対応するブルーカラーの位置であり、第３行及び第３列はホワイトピクセルＷ７に対応するホワイトカラーの位置であり、第３行及び第４列はグリーンカラーピクセルＧｂ１に対応するグリーンカラーの位置であり、第４行及び第１列はブルーカラーピクセルＢ２に対応するブルーカラーの位置であり、第４行及び第２列はホワイトピクセルＷ６に対応するホワイトカラーの位置であり、第４行及び第３列はグリーンカラーピクセルＧｂ２に対応するグリーンカラーの位置であり、第４行及び第４列はホワイトピクセルＷ８に対応するホワイトカラーの位置である。
【0052】
ピクセル集合ＰＳは、複数のピクセルグループ（ＰＧ１～ＰＧ４）に分割される。第１ピクセルグループＰＧ１はグリーンカラーピクセル（Ｇｒ１、Ｇｒ２）及びホワイトピクセル（Ｗ１、Ｗ２）を含み、第２ピクセルグループＰＧ２はレッドカラーピクセル（Ｗ３、Ｗ４）及びホワイトピクセル（Ｗ３、Ｗ４）を含み、第３ピクセルグループＰＧ３はブルーカラーピクセル（Ｂ１、Ｂ２）及びホワイトピクセル（Ｗ５、Ｗ６）を含み、第４ピクセルグループＰＧ４はグリーンカラーピクセル（Ｇｂ１、Ｇｂ２）及びホワイトピクセル（Ｗ７、Ｗ８）を含む。
【0053】
図４Ｃは、図４Ａのピクセルグループを含むピクセル集合を説明するための図である。以下では、説明の便宜及び図面の簡潔さのために、上述の構成要素と同一又は類似の構成要素に対する詳細な説明又は参照符号は省略される。以下で省略される構成要素は、本発明の詳細な説明に記載されている全体的な実施形態の各々又はそれらの組み合わせによって実施される。
【0054】
図３、図４Ａ、及び図４Ｃを参照すると、ピクセル集合ＰＳの第１ピクセルグループＰＧ１に含まれるピクセル（Ｗ１、Ｗ２、Ｇｒ１、Ｇｒ２）は、第１フローティング拡散領域ＦＤ１を共有し、第２ピクセルグループＰＧ２に含まれるピクセル（Ｗ３、Ｗ４、Ｒ１、Ｒ２）は第２フローティング拡散領域ＦＤ２を共有し、第３ピクセルグループＰＧ３に含まれるピクセル（Ｗ５、Ｗ６、Ｂ１、Ｂ２）は第３フローティング拡散領域ＦＤ３を共有し、第４ピクセルグループＰＧ４に含まれるピクセル（Ｗ７、Ｗ８、Ｇｂ１、Ｇｂ２）は第４フローティング拡散領域ＦＤ４を共有する。
【0055】
一実施形態で、第１ピクセルグループＰＧ１は、第１～第４転送トランジスタ（Ｔ１～Ｔ４）及び第１～第４光電変換素子（ＰＤ１～ＰＤ４）を含む。例えば、第１ホワイトピクセルＷ１は第１転送トランジスタＴ１及び第１光電変換素子ＰＤ１に対応し、第１グリーンカラーピクセルＧｒ１は第２転送トランジスタＴ２及び第２光電変換素子ＰＤ２に対応し、第２グリーンカラーピクセルＧｒ２は第３転送トランジスタＴ３及び第３光電変換素子ＰＤ３に対応し、第２ホワイトピクセルＷ２は第４転送トランジスタＴ４及び第４光電変換素子ＰＤ４に対応する。
【0056】
第２ピクセルグループＰＧ２は、第５～第８転送トランジスタ（Ｔ５～Ｔ８）及び第５～第８光電変換素子（ＰＤ５～ＰＤ８）を含む。例えば、第３ホワイトピクセルＷ３は第５転送トランジスタＴ５及び第５光電変換素子ＰＤ５に対応し、第１レッドカラーピクセルＲ１は第６転送トランジスタＴ６及び第６光電変換素子ＰＤ６に対応し、第２レッドカラーピクセルＲ２は第７転送トランジスタＴ７及び第７光電変換素子ＰＤ７に対応し、第４ホワイトピクセルＷ４は第８転送トランジスタＴ８及び第８光電変換素子ＰＤ８に対応する。
【0057】
第３ピクセルグループＰＧ３は、第９～第１２転送トランジスタ（Ｔ９～Ｔ１２）及び第９～第１２光電変換素子（ＰＤ９～ＰＤ１２）を含む。例えば、第５ホワイトピクセルＷ５は第９転送トランジスタＴ９及び第９光電変換素子ＰＤ９に対応し、第１ブルーカラーピクセルＢ１は第１０転送トランジスタＴ１０及び第１０光電変換素子ＰＤ１０に対応し、第２ブルーカラーピクセルＢ２は第１１転送トランジスタＴ１１及び第１１光電変換素子ＰＤ１１に対応し、第６ホワイトピクセルＷ６は第１２転送トランジスタＴ１２及び第１２光電変換素子ＰＤ１２に対応する。
【0058】
第４ピクセルグループＰＧ４は、第１３～第１６転送トランジスタ（Ｔ１３～Ｔ１６）及び第１３～第１６光電変換素子（ＰＤ１３～ＰＤ１６）を含む。例えば、第７ホワイトピクセルＷ７は第１３転送トランジスタＴ１３及び第１３光電変換素子ＰＤ１３に対応し、第１グリーンカラーピクセルＧｂ１は第１４転送トランジスタＴ１４及び第１４光電変換素子ＰＤ１４に対応し、第２グリーンカラーピクセルＧｂ２は第１５転送トランジスタＴ１５及び第１５光電変換素子ＰＤ１５に対応し、第８ホワイトピクセルＷ８は第１６転送トランジスタＴ１６及び第１６光電変換素子ＰＤ１６に対応する。
【0059】
一実施形態で、第１転送信号ＴＧ１は第１転送トランジスタＴ１のゲート端子に印加され、第２転送信号ＴＧ２は第２転送トランジスタＴ２のゲート端子に印加され、第３転送信号ＴＧ３は第３転送トランジスタＴ３のゲート端子に印加され、第４転送信号ＴＧ４は第４転送トランジスタＴ４のゲート端子に印加される。残りの転送信号（ＴＧ５～ＴＧ１６）は、これと同様であるため詳細な説明は省略する。
【0060】
図５は、ピクセル集合に印加される信号の波形の一例を示すタイミング図である。図４Ａ、図４Ｃ、及び図５を参照すると、本実施形態によるイメージセンサ１１０は、第３合算動作を遂行してローイメージＲＡＷを生成する。例えば、イメージセンサ１１０は、第１、第２、及び第３ピクセルグループ（ＰＧ１～ＰＧ３）に対して第１合算動作を行い、第４ピクセルグループＰＧ４に対して第２合算動作を行う。
【0061】
第１リセット信号ＲＧ１は第１及び第２ピクセルグループ（ＰＧ１、ＰＧ２）のリセットトランジスタの各々に印加され、第２リセット信号ＲＧ２は第３及び第４ピクセルグループ（ＰＧ３、ＰＧ４）のリセットトランジスタの各々に印加される。第１選択信号ＳＥＬ１は第１及び第２ピクセルグループ（ＰＧ１、ＰＧ２）の選択トランジスタの各々に印加され、第２選択信号ＳＥＬ２は第３及び第４ピクセルグループ（ＰＧ３、ＰＧ４）の選択トランジスタの各々に印加される。
【0062】
第１読み出し区間のうちの第１選択信号ＳＥＬ１が活性化され、第１リセット信号ＲＧ１が活性化されてから再び非活性化された後に、第１～第８転送信号（ＴＧ１～ＴＧ８）のうちの少なくとも１つが活性化されてから再び非活性化される。第１読み出し区間のうちの第２選択信号ＳＥＬ２は非活性化され、第２リセット信号ＲＧ２は非活性化され、第９～第１６転送信号（ＴＧ９～ＴＧ１６）は非活性化される。
【0063】
第１選択信号ＳＥＬ１が活性化され、第１リセット信号ＲＧ１が活性化されてから再び非活性化された後に、そして第１～第８転送信号（ＴＧ１～ＴＧ８）のうちの少なくとも１つが活性化される前に、第１ピクセルグループＰＧ１の読み出し回路は第１フローティング拡散領域ＦＤ１のリセット電圧レベルをサンプリングして出力し、第２ピクセルグループＰＧ２の読み出し回路は第２フローティング拡散領域ＦＤ２のリセット電圧レベルをサンプリングして出力する（ＲＳＴ ＳＭＰ１）。第１～第８転送信号（ＴＧ１～ＴＧ８）のうちの少なくとも１つが活性化されてから再び非活性化された後に、第１ピクセルグループＰＧ１の読み出し回路は第１フローティング拡散領域ＦＤ１の信号電圧レベルをサンプリングして出力し、第２ピクセルグループＰＧ２の読み出し回路は第２フローティング拡散領域ＦＤ２の信号電圧レベルをサンプリングして出力する（ＳＩＧ ＳＭＰ１）。
【0064】
第２読み出し区間のうちの第２選択信号ＳＥＬ２が活性化され、第２リセット信号ＲＧ２が活性化されてから再び非活性化された後に、第９～第１２、第１４、第１５転送信号（ＴＧ９～ＴＧ１２、ＴＧ１４、ＴＧ１５）のうちの少なくとも１つが活性化されてから再び非活性化される。第２読み出し区間のうちの第１選択信号ＳＥＬ１は非活性化され、第１リセット信号ＲＧ１は非活性化され、第１～第８転送信号（ＴＧ１～ＴＧ８）は非活性化され、第１３及び第１６転送信号（ＴＧ１３、ＴＧ１６）は非活性化される。
【0065】
第２選択信号ＳＥＬ２が活性化され、第２リセット信号ＲＧ２が活性化されてから再び非活性化された後に、そして第９～第１２、第１４、第１５転送信号（ＴＧ９～ＴＧ１２、ＴＧ１４、ＴＧ１５）のうちの少なくとも１つが活性化される前に、第３ピクセルグループＰＧ３の読み出し回路は第３フローティング拡散領域ＦＤ３のリセット電圧レベルをサンプリングして出力し、第４ピクセルグループＰＧ４の読み出し回路は第４フローティング拡散領域ＦＤ４のリセット電圧レベルをサンプリングして出力する（ＲＳＴ ＳＭＰ２）。第９～第１２、第１４、第１５転送信号（ＴＧ９～ＴＧ１２、ＴＧ１４、ＴＧ１５）のうちの少なくとも１つが活性化されてから再び非活性化された後に、第３ピクセルグループＰＧ３の読み出し回路は第３フローティング拡散領域ＦＤ３の信号電圧レベルをサンプリングして出力し、第４ピクセルグループＰＧ４の読み出し回路は第４フローティング拡散領域ＦＤ４の信号電圧レベルをサンプリングして出力する（ＳＩＧ ＳＭＰ２）。
【0066】
第１読み出し区間のうちの第１～第８転送信号（ＴＧ１～ＴＧ８）は活性化されてから再び非活性化され、第２読み出し区間のうちの第９～第１２転送信号（ＴＧ９～ＴＧ１２）が活性化されてから再び非活性化される。従って、第１～第３フローティング拡散領域（ＦＤ１～ＦＤ３）は、対応する光電変換素子の全てによって集積された電子を蓄積及び格納する。例えば、第１フローティング拡散領域ＦＤ１は、第１～第４光電変換素子（ＰＤ１～ＰＤ４）によって集積された電子を蓄積及び格納する。第１ピクセルグループＰＧ１の信号サンプリング値は、第１及び第２ホワイトピクセル（Ｗ１、Ｗ２）、第１及び第２グリーンカラーピクセル（Ｇｒ１、Ｇｒ２）に基づいて生成される。
【0067】
第２読み出し区間のうちの第１３及び第１６転送信号（ＴＧ１３、ＴＧ１６）は非活性化され続け、第１４及び第１５転送信号（ＴＧ１４、ＴＧ１５）は活性化されてから再び非活性化される。従って、第４フローティング拡散領域ＦＤ４は、第１３及び第１６光電変換素子（ＰＤ１３、ＰＤ１６）によって集積された電子を蓄積及び格納しない。第４フローティング拡散領域ＦＤ４は、第１４及び第１５光電変換素子（ＰＤ１４、ＰＤ１５に）よって集積された電子のみを蓄積及び格納する。第４ピクセルグループＰＧ４の信号サンプリング値は、第７及び第８ホワイトピクセル（Ｗ７、Ｗ８を）除く第１及び第２グリーンカラーピクセル（Ｇｂ１、Ｇｂ２）のみに基づいて生成される。言い換えると、第４ピクセルグループＰＧ４の信号サンプリング値は、第７及び第８ホワイトピクセル（Ｗ７、Ｗ８）に基づかずに、第１及び第２グリーンカラーピクセル（Ｇｂ１、Ｇｂ２）のみに基づいて生成される。
【0068】
上述したように、第１～第１２転送信号（ＴＧ１～ＴＧ１２）は、読み出し区間のうちに活性化された後に非活性化されるため、第１～第３ピクセルグループ（ＰＧ１～ＰＧ３）はピクセルグループに含まれる４つのピクセルに基づいて信号電圧レベルをサンプリングして出力する。一方、第１３及び第１６転送信号（ＴＧ１３、ＴＧ１６）は読み出し区間のうちに非活性化され、第１４及び第１５転送信号（ＴＧ１４、ＴＧ１５）は活性化された後に、非活性化されるため、第４ピクセルグループＰＧ４は、ピクセルグループに含まれる２つのピクセル（Ｇｂ１、Ｇｂ２）に基づいて信号電圧レベルをサンプリングして出力する。
【0069】
本実施形態によるイメージセンサ１１０は、複数のピクセルのうちの第１部分が第１合算動作を遂行し、複数のピクセルのうちの第２部分が第２合算動作を遂行する。即ち、イメージセンサ１１０は、第３合算動作を遂行する。従って、本実施形態によるイメージセンサは、フレームレート（ｆｒａｍｅ ｒａｔｅ）を向上させることができ、アナログ電力消費を減少させることができる。
【0070】
図６は、図３のＡＤＣから出力されるローイメージの一例を示す図である。図３及び図６を参照すると、ピクセルアレイ１１４は、第１～第４ピクセル集合（ＰＳ１～ＰＳ４）を含む。本発明の範囲はこれに限定されず、ピクセルアレイに含まれるピクセル集合の数及びピクセルの数は変わり得る。
【0071】
一実施形態で、第１ピクセル集合ＰＳ１は、第１～第ホワイトピクセル（Ｗ１～Ｗ８）、第１及び第２グリーンカラーピクセル（Ｇｒ１、Ｇｒ２）、第１及び第２レッドカラーピクセル（Ｒ１、Ｒ２）、第１及び第２ブルーカラーピクセル（Ｂ１、Ｂ２）、第１及び第２グリーンカラーピクセル（Ｇｂ１、Ｇｂ２）を含む。第２ピクセル集合ＰＳ２は、第９～第１６ホワイトピクセル（Ｗ９～Ｗ１６）、第３及び第４グリーンカラーピクセル（Ｇｒ３、Ｇｒ４）、第３及び第４レッドカラーピクセル（Ｒ３、Ｒ４）、第３及び第４ブルーカラーピクセル（Ｂ３、Ｂ４）、第３及び第４グリーンカラーピクセル（Ｇｂ３、Ｇｂ４）を含む。第３ピクセル集合ＰＳ３は、第１７～第２４ホワイトピクセル（Ｗ１７～Ｗ２４）、第５及び第６グリーンカラーピクセル（Ｇｒ５、Ｇｒ６）、第５及び第６レッドカラーピクセル（Ｒ５、Ｒ６）、第５及び第６ブルーカラーピクセル（Ｂ５、Ｂ６）、第５及び第６グリーンカラーピクセル（Ｇｂ５、Ｇｂ６）を含む。第４ピクセル集合ＰＳ４は、第２５～第３２ホワイトピクセル（Ｗ２５～Ｗ３２）、第７及び第８グリーンカラーピクセル（Ｇｒ７、Ｇｒ８）、第７及び第８レッドカラーピクセル（Ｒ７、Ｒ８）、第７及び第８ブルーカラーピクセル（Ｂ７、Ｂ８）、第７及び第８グリーンカラーピクセル（Ｇｂ７、Ｇｂ８）を含む。ピクセル集合（ＰＳ１～ＰＳ４）の各々は、第３タイプの配列パターンである。説明の便宜のために、上述のピクセル集合の詳細な説明は省略する。
【0072】
ＡＤＣ１１６は、ローイメージＲＡＷを出力する。例えば、ローイメージＲＡＷは、４×４で配列される１６個のピクセルＰＸを含む。本発明の範囲はこれに限定されず、ローイメージＲＡＷに含まれるピクセルの数は変わり得る。各ピクセルは、イメージセンサ１１０の出力としてデジタル値又はピクセル値（即ちコードレベル）を有する。
【0073】
ローイメージＲＡＷは、複数の基本ユニット（Ｕ１～Ｕ４）に分割される。複数の基本ユニット（Ｕ１～Ｕ４）の各々は、２×２で配列される４つのピクセルを含み、各ピクセルデータはデジタル値を有する。ローイメージＲＡＷは、第４タイプの配列パターンを有する。第４タイプの配列パターンの基本単位は、２×２で配列される４つのピクセルを含み、左上端から時計方向に沿って順次配列されるホワイトグリーンカラーピクセルＷ＋Ｇｒ、ホワイトレッドカラーピクセルＷ＋Ｒ、グリーンカラーピクセルＧｂ１、及びホワイトブルーカラーピクセルＷ＋Ｂを含む。
【0074】
例えば、第１基本ユニットＵ１において、第１行及び第１列はホワイトグリーンカラーピクセルＷ＋Ｇｒ＿１の位置であり、第１行及び第２列はホワイトレッドカラーピクセルＷ＋Ｒ＿１の位置であり、第２行及び第１列はホワイトブルーカラーピクセルＷ＋Ｂ＿１の位置であり、第２行及び第２列はグリーンカラーピクセルＧｂ１の位置である。これと同様な方法で、残りの基本ユニット（Ｕ２～Ｕ４）に各カラー別位置を配置する。これについての詳細な説明は省略する。
【0075】
一実施形態で、第１ピクセル集合ＰＳ１は第１基本ユニットＵ１に対応し、第２ピクセル集合ＰＳ２は第２基本ユニットＵ２に対応し、第３ピクセル集合ＰＳ３は第３基本ユニットＵ３に対応し、第４ピクセル集合ＰＳ４は第４基本ユニットＵ４に対応する。
【0076】
第１基本ユニットＵ１において、ホワイトグリーンカラーピクセルＷ＋Ｇｒ＿１は第１ピクセル集合ＰＳ１の第１ピクセルグループＰＧ１に対応し、ホワイトレッドカラーピクセルＷ＋Ｒ＿１は第１ピクセル集合ＰＳ１の第２ピクセルグループＰＧ２に対応し、ホワイトブルーカラーピクセルＷ＋Ｂ＿１は第１ピクセル集合ＰＳ１の第３ピクセルグループＰＧ３に対応し、グリーンカラーピクセルＧｂ１は、第１ピクセル集合ＰＳ１の第４ピクセルグループＰＧ４に対応する。
【0077】
より詳細に、ホワイトグリーンカラーピクセルＷ＋Ｇｒ＿１は、第１及び第２ホワイトピクセル（Ｗ１、Ｗ２）、並びに第１及び第２グリーンカラーピクセル（Ｇｒ１、Ｇｒ２）に基づいてデジタル値が決定される。ホワイトレッドカラーピクセルＷ＋Ｒ＿１は、第３及び第４ホワイトピクセル（Ｗ３、Ｗ４）、並びに第１及び第２レッドカラーピクセル（Ｒ１、Ｒ２）に基づいてデジタル値が決定される。ホワイトブルーカラーピクセルＷ＋Ｂ＿１は、第５及び第６ホワイトピクセル（Ｗ５、Ｗ６）、並びに第１及び第２ブルーカラーピクセル（Ｂ１、Ｂ２）に基づいてデジタル値が決定される。グリーンカラーピクセルＧｂ１は、第１及び第２グリーンカラーピクセル（Ｇｂ１、Ｇｂ２）に基づいてデジタル値が決定される。ローイメージＲＡＷの残りのピクセルは、これと同様の方法でデジタル値を決定することができるため、これに対する詳細な説明は省略する。
【0078】
図７は、図１のイメージセンサの動作を示すフローチャートである。図１、図３、及び図７を参照すると、イメージセンサ１１０は、ノンベイヤーパターンのイメージに基づいてベイヤーパターンのイメージを生成する。即ち、イメージセンサ１１０は、ノンベイヤーパターンのイメージをベイヤーパターンのイメージに変換する。
【0079】
段階Ｓ１１０において、イメージセンサ１１０は、ローイメージＲＡＷに基づいてホワイト抽出動作を遂行する。例えば、ホワイト抽出モジュール１１１は、ＡＤＣ１１６からローイメージＲＡＷを受信する。ホワイト抽出モジュール１１１は、ローイメージＲＡＷからホワイトイメージＷＩを抽出する。ホワイト抽出動作に関するより詳細な説明は、図８に記載する。
【0080】
段階Ｓ１２０において、イメージセンサ１１０は、ホワイトイメージＷＩに基づいてクロストーク補償動作を遂行する。例えば、クロストーク補償モジュール１１２は、ホワイト抽出モジュール１１１からホワイトイメージＷＩ及びローイメージＲＡＷを受信する。クロストーク補償モジュール１１２は、キャリブレーションデータに基づいてホワイトイメージＷＩに対するクロストーク補償動作を遂行して、クロストーク補償ホワイトイメージＷＩ＿ＸＴを生成する。クロストーク補償モジュール１１２は、クロストーク補償ホワイトイメージＷＩ＿ＸＴ及びローイメージＲＡＷをベイヤー抽出モジュール１１３に出力する。
【0081】
クロストークは、ピクセル間の干渉によって発生する信号を指す。クロストークは、マイクロレンズなどによる光学的なクロストーク、及びシリコンでの電磁気干渉によって発生する電気的クロストークを含む。例えば、クロストーク補償モジュール１１２は、ピクセルアレイ１１４を構成するピクセルのカラーフィルタの高さの差に応じたクロストーク補償を遂行する。
【0082】
一実施形態で、光学的クロストークは、周囲のピクセルの影響を受ける。特に、クロストークは、ピクセルの水平又は垂直に隣接するピクセルに対して多くの影響を受ける。例えば、図６を参照すると、グリーンカラーピクセル（Ｇｒ：Ｇｒ１～Ｇｒ８）、レッドカラーピクセル（Ｒ：Ｒ１～Ｒ８）、ブルーカラーピクセル（Ｂ：Ｂ１～Ｂ８）、及びグリーンカラーピクセル（Ｇｂ：Ｇｂ１～Ｇｂ８）の第１方向及び第２方向に隣接するピクセルは、ホワイトピクセルである。従って、グリーン、レッド、ブルー、グリーンのカラーピクセル（Ｇｒ、Ｒ、Ｂ、Ｇｂ）は、ホワイトピクセルＷに対してのみクロストークの影響を受ける。
【0083】
一方、ホワイトピクセルＷの各々の位置によって、ホワイトピクセル（Ｗ：Ｗ１～Ｗ３２）の第１方向及び第２方向に隣接するピクセルのカラーが異なる。従って、ホワイトピクセルＷの各々に対するクロストークは、第１方向及び第２方向に隣接するピクセルに応じて異なる。
【0084】
一実施形態で、イメージセンサ１１０は、ホワイトピクセルＷの各々の第１方向及び第２方向に隣接するピクセルに基づいて、クロストーク補償動作を遂行するために必要なキャリブレーションデータを生成及び格納する。例えば、キャリブレーションデータは予め測定された値であり、圧縮されて外部メモリに格納される。
【0085】
クロストーク補償モジュール１１２は、外部メモリからキャリブレーションデータをロードし、キャリブレーションデータに基づいてホワイトイメージＷＩに対するクロストーク補償動作を遂行する。例えば、クロストーク補償モジュール１１２は、ホワイトイメージＷＩのコードレベルにキャリブレーションデータのうちの対応するキャリブレーション値を乗じて、クロストーク補償ホワイトイメージＷＩ＿ＸＴを生成する。
【0086】
段階Ｓ１３０で、イメージセンサ１１０は、ホワイトイメージＷＩ及びローイメージＲＡＷに基づいてベイヤーイメージＢＩを生成する。例えば、ベイヤー抽出モジュール１１３は、クロストーク補償モジュール１１２からクロストーク補償ホワイトイメージＷＩ＿ＸＴ及びローイメージＲＡＷを受信する。
【0087】
一実施形態で、ベイヤー抽出モジュール１１３は、ローイメージＲＡＷ及びクロストーク補償ホワイトイメージＷＩ＿ＸＴに対する減算演算を遂行して、ベイヤーイメージＢＩを生成する。即ち、ベイヤー抽出モジュール１１３は、ローイメージＲＡＷからクロストーク補償ホワイトイメージＷＩ＿ＸＴを減算してベイヤーイメージＢＩを抽出する。
【0088】
上述したように、本実施形態によるイメージセンサ１１０は、単一の読み出し動作によってローイメージＲＡＷを生成し、ローイメージＲＡＷからベイヤーイメージＢＩに変換する。
【0089】
図８は、図７の段階Ｓ１１０をより具体的に示すフローチャートである。図９は、図３のホワイト抽出モジュールをより詳細に示すブロック図である。図３、図７、図８、及び図９を参照すると、イメージセンサ１１０は、ローイメージＲＡＷに基づいてホワイト抽出動作を遂行する。一実施形態で、ホワイト抽出モジュール１１１は、ホワイトバランスモジュール１３０、ルーマ抽出モジュール１４０、ガイドフィルタリングモジュール１５０、及びホワイト生成モジュール１６０を含む。図８及び図９のホワイト抽出モジュールの構成及び動作方法は一例であり、本発明の範囲はこれに限定されるものではない。
【0090】
カラーは、色相（Ｈｕｅ）、彩度（ｃｈｒｏｍａ）、及び明度（Ｖａｌｕｅ）で表される。無彩色の物体の彩度（ｃｈｒｏｍａ）は「０（ｚｅｒｏ）」である。無彩色の物体の色相（Ｈｕｅ）のグリーンＧ、レッドＲ、及びブルーＢの値は同じである。無彩色の物体は多様な明度（Ｖａｌｕｅ）を有する。
【0091】
段階Ｓ１１１において、イメージセンサ１１０はホワイトバランス動作を遂行する。例えば、ホワイトバランスモジュール１３０は、ＡＤＣ１１６からローイメージＲＡＷを受信する。ホワイトバランスモジュール１３０は、ホワイトバランス動作を遂行してホワイトバランスローイメージＲＡＷ＿ＷＢを生成する。ホワイトバランスモジュール１３０は、ルーマ抽出モジュール１４０にホワイトバランスローイメージＲＡＷ＿ＷＢを出力する。
【0092】
例えば、ホワイトバランス動作は、物体から反射されてイメージセンサでキャプチャーされた光波に対してグリーンＧ、レッドＲ、及びブルーＢの色相（Ｈｕｅｓ）のゲインを調整する。ホワイトバランスモジュール１３０は、ローイメージＲＡＷに対するホワイトバランスゲインを調整し、調整されたホワイトバランスゲインに基づいてホワイトバランス動作を遂行する。
【0093】
段階Ｓ１１２において、イメージセンサ１１０はルーマ抽出動作を遂行する。例えば、ルーマ抽出モジュール１４０は、ホワイトバランスのローイメージＲＡＷ＿ＷＢを受信する。ルーマ抽出モジュール１４０は、ルーマ抽出動作を遂行してパンクロマティックイメージ（ＰＩ：ｐａｎｃｈｒｏｍａｔｉｃ ｉｍａｇｅ）を生成する。例えば、ルーマ抽出モジュール１４０は、ホワイトバランスのローイメージＲＡＷ＿ＷＢに基づいてルーマ抽出動作を遂行し、彩度が「０（ｚｅｒｏ）」で、緑Ｇ、赤Ｒ、及び青Ｂの値が同じパンクロマティックイメージＰＩ（例えば、無彩色のイメージ）を生成する。ルーマ抽出モジュール１４０は、パンクロマティックイメージＰＩをガイドフィルタリングモジュール１５０に出力する。
【0094】
段階Ｓ１１３において、イメージセンサ１１０はガイドフィルタリング動作を遂行する。例えば、ガイドフィルタリングモジュール１５０は、ローイメージＲＡＷ及びパンクロマティックイメージＰＩを受信する。ガイドフィルタリングモジュール１５０は、ローイメージＲＡＷ及びパンクロマティックイメージＰＩに基づいてガイドフィルタリング動作を遂行して、ホワイトグリーンフルイメージＷ＋Ｇ＿ＦＩ及びグリーンフルイメージＧ＿ＦＩを生成する。ガイドフィルタリングモジュール１５０は、ホワイトグリーンフルイメージＷ＋Ｇ＿ＦＩ及びグリーンフルイメージＧ＿ＦＩをホワイト生成モジュール１６０に出力する。
【0095】
一実施形態で、ホワイトグリーンフルイメージＷ＋Ｇ＿ＦＩは、第５タイプの配列パターンを有する。第５タイプの配列パターンの基本単位は、１つのピクセルを含み、ホワイトグリーンカラーピクセルＷ＋Ｇを含む。グリーンフルイメージＧ＿ＦＩは、第６タイプの配列パターンを有する。第６タイプの配列パターンの基本単位は、１つのピクセルを含み、グリーンカラーピクセルＧを含む。
【0096】
段階Ｓ１１４において、イメージセンサ１１０は、ホワイトイメージ生成動作を遂行する。例えば、ホワイト生成モジュール１６０は、ホワイトグリーンフルイメージＷ＋Ｇ＿ＦＩ及びグリーンフルイメージＧ＿ＦＩを受信する。イメージセンサ１１０は、ホワイトグリーンフルイメージＷ＋Ｇ＿ＦＩ及びグリーンフルイメージＧ＿ＦＩに対する減算演算を遂行してホワイトイメージＷＩを生成する。
【0097】
図１０は、図９のガイドフィルタリングモジュールをより詳細に示すブロック図である。図１１Ａ～図１１Ｃは、ローイメージをベイヤーイメージに変換する方法を説明するための図である。図３、図９、及び図１０を参照すると、ガイドフィルタリングモジュール１５０はサンプリングモジュール１５１及びフル生成モジュール（ｆｕｌｌ ｇｅｎｅｒａｔｉｏｎ ｍｏｄｕｌｅ）１５２を含む。
【0098】
一実施形態で、サンプリングモジュール１５１は、ローイメージＲＡＷを受信する。サンプリングモジュール１５１は、ローイメージＲＡＷに基づいてホワイトグリーンサンプリングイメージＷ＋Ｇ＿ＳＩ及びグリーンサンプリングイメージＧ＿ＳＩを生成する。例えば、ホワイトグリーンサンプリングイメージＷ＋Ｇ＿ＳＩは第５タイプの配列パターンを有し、グリーンサンプリングイメージＧ＿ＳＩは第６タイプの配列パターンを有する。
【0099】
図１１Ａでは、上述のローイメージＲＡＷについての詳細な説明は省略する。例えば、ホワイトグリーンサンプリングイメージＷ＋Ｇ＿ＳＩは、２×２で配列された４つのピクセルＰＸを含む。ホワイトグリーンサンプリングイメージＷ＋Ｇ＿ＳＩのサイズは、ローイメージＲＡＷのサイズの１／４である。ホワイトグリーンサンプリングイメージＷ＋Ｇ＿ＳＩは、ローイメージＲＡＷのうちのホワイトグリーンカラーピクセル（Ｗ＋Ｇｒ＿１～Ｗ＋Ｇｒ＿４）のみを含む。
【0100】
例えば、グリーンサンプリングイメージＧ＿ＳＩは、２×２で配列された４つのピクセルＰＸを含む。グリーンサンプリングイメージＧ＿ＳＩのサイズは、ローイメージＲＡＷのサイズの１／４である。グリーンサンプリングイメージＧ＿ＳＩは、ローイメージＲＡＷのうちのグリーンカラーピクセル（Ｇｂ１～Ｇｂ４）のみを含む。
【0101】
一実施形態で、フル生成モジュール１５２は、パンクロマティックイメージＰＩ、ホワイトグリーンサンプリングイメージＷ＋Ｇ＿ＳＩ、及びグリーンサンプリングイメージＧ＿ＳＩを受信する。フル生成モジュール１５２は、パンクロマティックイメージＰＩ及びホワイトグリーンサンプリングイメージＷ＋Ｇ＿ＳＩに基づいてホワイトグリーンフルイメージＷ＋Ｇ＿ＦＩを生成する。フル生成モジュール１５２は、パンクロマティックイメージＰＩ及びグリーンサンプリングイメージＧ＿ＳＩに基づいてグリーンフルイメージＧ＿ＦＩを生成する。フル生成モジュール１５２は、ホワイトグリーンフルイメージＷ＋Ｇ＿ＦＩ及びグリーンフルイメージＧ＿ＦＩを出力する。
【0102】
一実施形態で、ホワイトグリーンフルイメージＷ＋Ｇ＿ＦＩは、４×４で配置された１６個のピクセル（Ｗ＋Ｇ＿１１～Ｗ＋Ｇ＿４４）を含む。ホワイトグリーンフルイメージＷ＋Ｇ＿ＦＩのサイズは、ローイメージＲＡＷのサイズと同じである。例えば、ホワイトグリーンフルイメージＷ＋Ｇ＿ＦＩのうちの第１部分（Ｗ＋Ｇ＿１１、Ｗ＋Ｇ＿１２、Ｗ＋Ｇ＿２１、Ｗ＋Ｇ＿２２）のコードレベルは、ホワイトグリーンサンプリングイメージＷ＋Ｇ＿ＳＩの第１ピクセルＷ＋Ｇｒ＿１のコードレベルと同じである。ホワイトグリーンフルイメージＷ＋Ｇ＿ＦＩのうちの第２部分（Ｗ＋Ｇ＿１３、Ｗ＋Ｇ＿１４、Ｗ＋Ｇ＿２３、Ｗ＋Ｇ＿２４）のコードレベルは、ホワイトグリーンサンプリングイメージＷ＋Ｇ＿ＳＩの第２ピクセルＷ＋Ｇｒ＿２のコードレベルと同じである。ホワイトグリーンフルイメージＷ＋Ｇ＿ＦＩのうちの第３部分（Ｗ＋Ｇ＿３１、Ｗ＋Ｇ＿３２、Ｗ＋Ｇ＿４１、Ｗ＋Ｇ＿４２）のコードレベルは、ホワイトグリーンサンプリングイメージＷ＋Ｇ＿ＳＩの第３ピクセルＷ＋Ｇｒ＿３のコードレベルと同一である。ホワイトグリーンフルイメージＷ＋Ｇ＿ＦＩのうちの第４部分（Ｗ＋Ｇ＿３３、Ｗ＋Ｇ＿３４、Ｗ＋Ｇ＿４３、Ｗ＋Ｇ＿４４）のコードレベルは、ホワイトグリーンサンプリングイメージＷ＋Ｇ＿ＳＩの第４ピクセルＷ＋Ｇｒ＿４のコードレベルと同一である。
【0103】
グリーンフルイメージＧ＿ＦＩは、４×４で配置された１６個のピクセル（Ｇ１１～Ｇ４４）を含む。グリーンフルイメージＧ＿ＦＩのサイズは、ローイメージＲＡＷのサイズと同じである。例えば、グリーンフルイメージＧ＿ＦＩのうちの第１部分（Ｇ１１、Ｇ１２、Ｇ２１、Ｇ２２）のコードレベルは、グリーンサンプリングイメージＧ＿ＳＩの第１ピクセルＧｂ１のコードレベルと同じである。グリーンフルイメージＧ＿ＦＩのうちの第２部分（Ｇ１３、Ｇ１４、Ｇ２３、Ｇ２４）のコードレベルは、グリーンサンプリングイメージＧ＿ＳＩの第２ピクセルＧｂ２のコードレベルと同じである。グリーンフルイメージＧ＿ＦＩのうちの第３部分（Ｇ３１、Ｇ３２、Ｇ４１、Ｇ４２）のコードレベルは、グリーンサンプリングイメージＧ＿ＳＩの第３ピクセルＧｂ３のコードレベルと同じである。グリーンフルイメージＧ＿ＦＩのうちの第４部分（Ｇ３３、Ｇ３４、Ｇ４３、Ｇ４４）のコードレベルは、グリーンサンプリングイメージＧ＿ＳＩの第４ピクセルＧｂ４のコードレベルと同じである。
【0104】
図１１Ｂを参照すると、ホワイト生成モジュール１６０は、ホワイトグリーンフルイメージＷ＋Ｇ＿ＦＩ及びグリーンフルイメージＧ＿ＦＩに基づいてホワイトイメージＷＩを生成する。例えば、ホワイト生成モジュール１６０は、ホワイトグリーンフルイメージＷ＋Ｇ＿ＦＩからグリーンフルイメージＧ＿ＦＩを減算してホワイトイメージＷＩを生成する。言い換えると、ホワイトグリーンフルイメージＷ＋Ｇ＿ＦＩのピクセルＷ＋Ｇ＿１１のコードレベルから対応するグリーンフルイメージＧ＿ＦＩのピクセルＧ１１のコードレベルを減算して、ホワイトイメージＷＩのピクセルＷ１１のコードレベルを演算する。ホワイトイメージＷＩは、４×４で配置された１６個のピクセル（Ｗ１１～Ｗ４４）を含む。ホワイトイメージＷＩのサイズは、ローイメージＲＡＷのサイズと同じである。
【0105】
図１１Ｃを参照すると、ベイヤー抽出モジュール１１３は、ローイメージＲＡＷ及びクロストーク補償ホワイトイメージＷＩ＿ＸＴに基づいてベイヤーイメージＢＩを生成する。例えば、ベイヤーイメージＢＩは、４×４で配列された１６個のピクセル（Ｇｒ１～Ｇｒ４、Ｒ１～Ｒ４、Ｂ１～Ｂ４、Ｇｂ１～Ｇｂ４）を含む。ベイヤーイメージＢＩのサイズは、ローイメージＲＡＷのサイズと同じである。
【0106】
一実施形態で、ベイヤー抽出モジュール１１３は、ローイメージＲＡＷからクロストーク補償ホワイトイメージＷＩ＿ＸＴを減算してベイヤーイメージＢＩを生成する。ローイメージＲＡＷ、クロストーク補償ホワイトイメージＷＩ＿ＸＴ、及びベイヤーイメージＢＩの各々は、４つの基本ユニットに分割される。
【0107】
ベイヤー抽出モジュール１１３は、第１ローイメージ基本ユニットＲＡＷ＿Ｕ１及び第１クロストーク補償ホワイトイメージ基本ユニットＷＩ＿ＸＴ＿Ｕ１に対する減算演算を遂行して第１ベイヤーイメージ基本ユニットＢＩ＿Ｕ１を生成し、第２ローイメージ基本ユニットＲＡＷ＿Ｕ２及び第２クロストーク補償ホワイトイメージ基本ユニットＷＩ＿ＸＴ＿Ｕ２に対する減算演算を遂行して第２ベイヤーイメージ基本ユニットＢＩ＿Ｕ２を生成し、第３ローイメージ基本ユニットＲＡＷ＿Ｕ３及び第３クロストーク補償ホワイトイメージ基本ユニットＷＩ＿ＸＴ＿Ｕ３に対する減算演算を遂行して第３ベイヤーイメージ基本ユニットＢＩ＿Ｕ３を生成し、第４ローイメージ基本ユニットＲＡＷ＿Ｕ４及び第４クロストーク補償ホワイトイメージ基本ユニットＷＩ＿ＸＴ＿Ｕ４に対する減算演算を遂行して第４ベイヤーイメージ基本ユニットＢＩ＿Ｕ４を生成する。
【0108】
例えば、第１基本ユニットにおいて、ベイヤー抽出モジュール１１３は、ローイメージＲＡＷの第１行及び第１列に位置するホワイトグリーンカラーピクセルＷ＋Ｇｒ＿１からクロストーク補償ホワイトイメージＷＩ＿ＸＴの第１行及び第１列に位置するホワイトピクセルＷ１１を減算して、ベイヤーイメージＢＩの第１行及び第１列に位置するグリーンカラーピクセルＧｒ１のコードレベルを演算する。ベイヤー抽出モジュール１１３は、ローイメージＲＡＷの第１行及び第２列に位置するホワイトレッドカラーピクセルＷ＋Ｒ＿１からクロストーク補償ホワイトイメージＷＩ＿ＸＴの第１行及び第２列に位置するホワイトピクセルＷ１２を減算して、ベイヤーイメージＢＩの第１行及び第２列に位置するレッドカラーピクセルＲ１のコードレベルを演算する。ベイヤー抽出モジュール１１３は、ローイメージＲＡＷの第２行及び第１列に位置するホワイトブルーカラーピクセルＷ＋Ｂ＿１からクロストーク補償ホワイトイメージＷＩ＿ＸＴの第２行及び第１列に位置するホワイトピクセルＷ２１を減算して、ベイヤーイメージＢＩの第２行及び第１列に位置するブルーカラーピクセルＢ１のコードレベルを演算する。
【0109】
ベイヤー抽出モジュール１１３は、第２行及び第２列に対しては減算演算を遂行しない。即ち、ベイヤーイメージＢＩの第２行及び第２列に位置するグリーンカラーピクセルＧｂ１のコードレベルは、ローイメージＲＡＷの第２行及び第２列に位置するグリーンカラーピクセルＧｂ１のコードレベルと同じである。残りの基本ユニット（Ｇ２～Ｇ４）は、これと同様であるため詳細な説明は省略する。
【0110】
説明の便宜上、ローイメージＲＡＷの第１部分はホワイトピクセルに関連するピクセル（Ｗ＋Ｇｒ＿１～Ｗ＋Ｇｒ＿４、Ｗ＋Ｒ＿１～Ｗ＋Ｒ＿４、Ｗ＋Ｂ＿１～Ｗ＋Ｂ＿４）として区分され、ローイメージの第２部分はホワイトピクセルとは無関係のピクセル（Ｇｂ１～Ｇｂ４）として区分される。即ち、ローイメージＲＡＷの第１部分はピクセル集合ＰＳで第１合算動作を行った第１～第３ピクセルグループ（ＰＧ１～ＰＧ３）に対応し、ローイメージＲＡＷの第２部分はピクセル集合ＰＳで第２合算動作を行った第４ピクセルグループＰＧ４に対応する。
【0111】
クロストーク補償ホワイトイメージＷＩ＿ＸＴの第１部分はローイメージＲＡＷの第１部分に対応し、クロストーク補償ホワイトイメージＷＩ＿ＸＴの第２部分はローイメージＲＡＷの第２部分に対応する。ベイヤーイメージＢＩの第１部分はローイメージＲＡＷの第１部分に対応し、ベイヤーイメージＢＩの第２部分はローイメージＲＡＷの第２部分に対応する。図１１Ｃでは、ハッチングで示される（又は斜線を施した）ピクセルは第２部分に対応し、その他のピクセルは第１部分に対応する。
【0112】
上述したように、ベイヤー抽出モジュール１１３は、ローイメージＲＡＷの第１部分及びクロストーク補償ホワイトイメージＷＩ＿ＸＴの第１部分に対して減算演算を遂行して、ベイヤーイメージＢＩの第１部分を生成する。ベイヤー抽出モジュール１１３は、ローイメージＲＡＷの第２部分に基づいてベイヤーイメージＢＩの第２部分を生成する。
【0113】
図１２Ａ～図１２Ｃは、本発明の一実施形態によるイメージ装置の多様な例を示すブロック図である。図１２Ａを参照すると、イメージ装置２００ａは、イメージセンサ２１０ａ及びイメージ信号プロセッサ２２０ａを含む。イメージセンサ２１０ａは、上述のイメージセンサ１１０とは異なり、ローイメージを出力するように構成される。即ち、イメージセンサ２１０ａは、ホワイト抽出モジュール、クロストーク補償モジュール、及びベイヤー抽出モジュールを含まない。
【0114】
イメージ信号プロセッサ２２０ａは、上述のイメージ信号プロセッサ１２０とは異なり、ローイメージＲＡＷを受信するように構成される。即ち、図１２Ａのイメージ信号プロセッサ２２０ａは、ホワイト抽出モジュール２２１ａ、クロストーク補償モジュール２２２ａ、及びベイヤー抽出モジュール２２３ａを含む。図１～図１１を参照して説明した方式に基づいて、ホワイト抽出モジュール２２１ａはホワイト抽出動作を遂行し、クロストーク補償モジュール２２２ａはクロストーク補償動作を遂行し、ベイヤー抽出モジュール２２３ａはベイヤーイメージを生成する。
【0115】
図１２Ｂを参照すると、イメージ装置２００ｂはイメージセンサ２１０ｂ及びイメージ信号プロセッサ２２０ｂを含む。イメージセンサ２１０ａは、上述のイメージセンサ１１０とは異なり、ローイメージＲＡＷ及びホワイトイメージＷＩを出力するように構成される。即ち、イメージセンサ２１０ａは、ホワイト抽出モジュール２１１ｂを含み、クロストーク補償モジュール及びベイヤー抽出モジュールを含まない。図１～図１１を参照して説明した方式に基づいて、ホワイト抽出モジュール２２１ｂはホワイト抽出動作を遂行する。
【0116】
イメージ信号プロセッサ２２０ｂは、上述のイメージ信号プロセッサ１２０とは異なり、ローイメージＲＡＷ及びホワイトイメージＷＩを受信するように構成される。即ち、図１２Ｂのイメージ信号プロセッサ２２０ｂは、クロストーク補償モジュール２２２ｂ及びベイヤー抽出モジュール２２３ｂを含む。図１～図１１を参照して説明した方式に基づいて、クロストーク補償モジュール２２２ｂはクロストーク補償動作を遂行し、ベイヤー抽出モジュール２２３ｂはベイヤーイメージを生成する。
【0117】
図１２Ｃを参照すると、イメージ装置２００ｃは、イメージセンサ２１０ｃ及びイメージ信号プロセッサ２２０ｃを含む。イメージセンサ２１０ｃは、上述のイメージセンサ１１０とは異なり、ローイメージＲＡＷ及びクロストーク補償ホワイトイメージＷＩ＿ＸＴを出力するように構成される。即ち、イメージセンサ２１０ｃは、ホワイト抽出モジュール２１１ｃ及びクロストーク補償モジュール２１２ｃを含み、ベイヤー抽出モジュールを含まない。図１～図１１を参照して説明した方式に基づいて、ホワイト抽出モジュール２１１ｃはホワイト抽出動作を遂行し、クロストーク補償モジュール２１２ｃはクロストーク補償動作を遂行する。
【0118】
イメージ信号プロセッサ２２０ｃは、上述のイメージ信号プロセッサ１２０とは異なり、ローイメージＲＡＷ及びクロストーク補償ホワイトイメージＷＩ＿ＸＴを受信するように構成される。即ち、図１２Ｃのイメージ信号プロセッサ２２０ｃは、ベイヤー抽出モジュール２２３ｃを含む。図１～図１１を参照して説明した方式に基づいて、ベイヤー抽出モジュール２２３ｃは、ベイヤーイメージＢＩを生成する。
【0119】
【0120】
図１３を参照すると、電子装置１０００は、カメラモジュールグループ１１００、アプリケーションプロセッサ１２００、ＰＭ（電源管理）ＩＣ１３００、及び外部メモリ１４００を含む。
【0121】
カメラモジュールグループ１１００は、複数のカメラモジュール（１１００ａ、１１００ｂ、１１００ｃ）を含む。図面には、３つのカメラモジュール（１１００ａ、１１００ｂ、１１００ｃ）が配置された実施形態を示しているが、実施形態はこれに限定されるものではない。一実施形態で、カメラモジュールグループ１１００は、２つのカメラモジュールのみを含むように変更して実施される。また、一実施形態で、カメラモジュールグループ１１００は、ｎ個（ｎは４以上の自然数）のカメラモジュールを含むように変更して実施される。
【0122】
以下、図１４を参照して、カメラモジュール１１００ｂの詳細構成についてより具体的に説明するが、以下の説明は、実施形態によって他のカメラモジュール（１１００ａ、１１００ｃ）に対しても同様に適用される。
【0123】
図１４を参照すると、カメラモジュール１１００ｂは、プリズム１１０５、光路屈曲素子（Ｏｐｔｉｃａｌ Ｐａｔｈ Ｆｏｌｄｉｎｇ Ｅｌｅｍｅｎｔ、以下、「ＯＰＦＥ」と称する）１１１０、アクチュエータ１１３０、イメージセンシング装置１１４０、及びストレージ装置１１５０を含む。
【0124】
プリズム１１０５は、光反射物質の反射面１１０７を含んで外部から入射する光Ｌの経路を変更する。
【0125】
一実施形態で、プリズム１１０５は、第１方向Ｘに入射する光Ｌの経路を第１方向Ｘに垂直な第２方向Ｙに変更する。なお、プリズム１１０５は、光反射物質の反射面１１０７を、中心軸１１０６を中心にＡ方向に回転させるか、又は中心軸１１０６をＢ方向に回転させて第１方向Ｘに入射する光Ｌの経路を垂直な第２方向Ｙに変更する。このとき、ＯＰＦＥ１１１０も第１方向Ｘ及び第２方向Ｙに垂直な第３方向Ｚに移動する。
【0126】
一実施形態で、図示しているように、プリズム１１０５のＡ方向の最大回転角度はプラス（＋）Ａ方向では１５度以下であり、マイナス（－）Ａ方向では１５度よりも大きいが、実施形態はこれに限定されるものではない。
【0127】
一実施形態で、プリズム１１０５は、プラス（＋）又はマイナス（－）のＢ方向に２０度内外、１０度～２０度、又は１５度～２０度の間で移動し、ここで、移動角度は、プラス（＋）又はマイナス（－）のＢ方向に同じ角度で移動するか、又は１度内外の範囲で略類似した角度まで動く。
【0128】
一実施形態で、プリズム１１０５は、光反射物質の反射面１１０７を中心軸１１０６の延長方向に平行な第３方向（例えば、Ｚ方向）に移動する。
【0129】
ＯＰＦＥ１１１０は、例えばｍ（ここで、ｍは自然数）個のグループからなる光学レンズを含む。ｍ個のレンズは第２方向Ｙに移動してカメラモジュール１１００ｂの光学ズーム倍率（ｏｐｔｉｃａｌ ｚｏｏｍ ｒａｔｉｏ）を変更する。例えば、カメラモジュール１１００ｂの基本光学ズーム倍率をＺとする場合、ＯＰＦＥ１１１０に含まれるｍ個の光学レンズを移動させることで、カメラモジュール１１００ｂの光学ズーム倍率は、３Ｚ、５Ｚ、又は５Ｚ以上の光学ズーム倍率に変更される。ＯＰＦＥ１１１０は、上述したｍ個のレンズの前面にｎ（ここで、ｎは自然数）個のグループからなる光学レンズ（例えば、アナモルフィックレンズ）を更に含む。
【0130】
アクチュエータ１１３０は、ＯＰＦＥ１１１０又は光学レンズ（以下、光学レンズと称する）を特定の位置に移動させる。例えば、アクチュエータ１１３０は、正確なセンシングのためにイメージセンサ１１４２が光学レンズの焦点距離に位置するように光学レンズの位置を調整する。
【0131】
イメージセンシング装置１１４０は、イメージセンサ１１４２、制御ロジック１１４４、及びメモリ１１４６をむ。イメージセンサ１１４２は、光学レンズを介して提供される光Ｌを用いてセンシング対象のイメージをセンシングする。制御ロジック１１４４は、カメラモジュール１１００ｂの全体的な動作を制御する。例えば、制御ロジック１１４４は、制御信号ラインＣＳＬｂを介して提供される制御信号に従ってカメラモジュール１１００ｂの動作を制御する。更に、イメージセンサ１１４２及び制御ロジック１１４４は、図１～図１２Ｃによってノンベイヤーイメージをベイヤーイメージに変換する動作を遂行するように構成される。
【0132】
メモリ１１４６は、キャリブレーションデータ１１４７のようなカメラモジュール１１００ｂの動作に必要な情報を格納する。キャリブレーションデータ１１４７は、カメラモジュール１１００ｂが外部から提供される光Ｌを用いてイメージデータを生成するのに必要な情報を含む。キャリブレーションデータ１１４７は、例えば、上述の回転度（ｄｅｇｒｅｅ ｏｆ ｒｏｔａｔｉｏｎ）に関する情報、焦点距離（ｆｏｃａｌ ｌｅｎｇｔｈ）に関する情報、光学軸（ｏｐｔｉｃａｌ ａｘｉｓ）に関する情報などを含む。カメラモジュール１１００ｂが光学レンズの位置に応じて焦点距離が変化するマルチステート（ｍｕｌｔｉ ｓｔａｔｅ）カメラの形態で実装される場合、キャリブレーションデータ１１４７は光学レンズの各位置別（又はステート別）の焦点距離値及びオートフォーカシングに関する情報を含む。キャリブレーションデータ１１４７は、図１～図１１Ｃを参照して説明したホワイトバランス動作、クロストーク補償動作などに必要なデータを含む。
【0133】
ストレージ装置１１５０は、イメージセンサ１１４２を介してセンシングされたイメージデータを格納する。ストレージ装置１１５０は、イメージセンシング装置１１４０の外部に配置され、イメージセンシング装置１１４０を構成するセンサチップにスタックされた（ｓｔａｃｋｅｄ）形態で実装される。一実施形態で、ストレージ装置１１５０は、ＥＥＰＲＯＭ（Ｅｌｅｃｔｒｉｃａｌｌｙ Ｅｒａｓａｂｌｅ Ｐｒｏｇｒａｍｍａｂｌｅ Ｒｅａｄ－Ｏｎｌｙ Ｍｅｍｏｒｙ）で実施されるが、実施形態はこれに限定されるものではない。
【0134】
図１３及び図１４を共に参照すると、一実施形態で、複数のカメラモジュール（１１００ａ、１１００ｂ、１１００ｃ）の各々はアクチュエータ１１３０を含む。従って、複数のカメラモジュール（１１００ａ、１１００ｂ、１１００ｃ）の各々は、その内部に含まれるアクチュエータ１１３０の動作に応じてそれぞれ同一であるか又は異なるキャリブレーションデータ１１４７を含む。
【0135】
一実施形態で、複数のカメラモジュール（１１００ａ、１１００ｂ、１１００ｃ）のうちのいずれか１つのカメラモジュール（例えば、１１００ｂ）は、上述のプリズム１１０５及びＯＰＦＥ１１１０を含む屈曲式（折りたたみ）レンズ（ｆｏｌｄｅｄ ｌｅｎｓ）形態のカメラモジュールであり、残りのカメラモジュール（例えば、１１００ａ、１１００ｂ）は、プリズム１１０５及びＯＰＦＥ１１１０を含まないバーチカル（ｖｅｒｔｉｃａｌ）形態のカメラモジュールであるが、実施形態はこれに限定されるものではない。
【0136】
一実施形態で、複数のカメラモジュール（１１００ａ、１１００ｂ、１１００ｃ）のうちのいずれか１つのカメラモジュール（例えば、１１００ｃ）は、例えばＩＲ（Ｉｎｆｒａｒｅｄ Ｒａｙ）を用いて深さ（ｄｅｐｔｈ）情報を抽出するバーチカル形態の深さカメラ（ｄｅｐｔｈ ｃａｍｅｒａ）である。この場合、アプリケーションプロセッサ１２００は、このような深さカメラから提供されるイメージデータと他のカメラモジュール（例えば、１１００ａ又は１１００ｂ）から提供されるイメージデータとをマージ（ｍｅｒｇｅ）して３次元深さイメージ（３Ｄ ｄｅｐｔｈ ｉｍａｇｅ）を生成する。
【0137】
一実施形態で、複数のカメラモジュール（１１００ａ、１１００ｂ、１１００ｃ）のうちの少なくとも２つのカメラモジュール（例えば、１１００ａ、１１００ｂ）は、異なる観測視野（Ｆｉｅｌｄ ｏｆ Ｖｉｅｗ、視野角）を有する。この場合、例えば複数のカメラモジュール（１１００ａ、１１００ｂ、１１００ｃ）のうちの少なくとも２つのカメラモジュール（例えば、１１００ａ、１１００ｂ）の光学レンズはそれぞれ異なるが、これに限定されるものではない。
【0138】
なお、一実施形態で、複数のカメラモジュール（１１００ａ、１１００ｂ、１１００ｃ）の各々の視野角はそれぞれ異なる。この場合、複数のカメラモジュール（１１００ａ、１１００ｂ、１１００ｃ）の各々に含まれる光学レンズもまたそれぞれ異なるが、これに限定されるものではない。
【0139】
一実施形態で、複数のカメラモジュール（１１００ａ、１１００ｂ、１１００ｃ）の各々は、それぞれ物理的に分離されて配置される。即ち、１つのイメージセンサ１１４２のセンシング領域を複数のカメラモジュール（１１００ａ、１１００ｂ、１１００ｃ）が分割して使用するのではなく、複数のカメラモジュール（１１００ａ、１１００ｂ、１１００ｃ）の各々の内部に独立したイメージセンサ１１４２が配置される。
【0140】
再び図１３を参照すると、アプリケーションプロセッサ１２００は、イメージ処理装置１２１０、メモリコントローラ１２２０、内部メモリ１２３０を含む。アプリケーションプロセッサ１２００は、複数のカメラモジュール（１１００ａ、１１００ｂ、１１００ｃ）から分離されて実装される。例えば、アプリケーションプロセッサ１２００と複数のカメラモジュール（１１００ａ、１１００ｂ、１１００ｃ）とは、別々の半導体チップに分離されて実装される。一実施形態で、アプリケーションプロセッサ１２００は、図１～図１１Ｃを参照して説明したように、ローイメージをベイヤーイメージに変換する。
【0141】
イメージ処理装置１２１０は、複数のサブイメージプロセッサ（１２１２ａ、１２１２ｂ、１２１２ｃ）、イメージ生成器１２１４、及びカメラモジュールコントローラ１２１６を含む。
【0142】
イメージ処理装置１２１０は、複数のカメラモジュール（１１００ａ、１１００ｂ、１１００ｃ）の数に対応する個数のサブイメージプロセッサ（１２１２ａ、１２１２ｂ、１２１２ｃ）を含む。
【0143】
各々のカメラモジュール（１１００ａ、１１００ｂ、１１００ｃ）から生成されたイメージデータは、それぞれ分離されたイメージ信号ライン（ＩＳＬａ、ＩＳＬｂ、ＩＳＬｃ）を介して対応するサブイメージプロセッサ（１２１２ａ、１２１２ｂ、１２１２ｃ）に提供される。例えば、カメラモジュール１１００ａから生成されたイメージデータはイメージ信号ラインＩＳＬａを介してサブイメージプロセッサ１２１２ａに提供され、カメラモジュール１１００ｂから生成されたイメージデータはイメージ信号ラインＩＳＬｂを介してサブイメージプロセッサ１２１２ｂに提供され、カメラモジュール１１００ｃから生成されたイメージデータはイメージ信号ラインＩＳＬｃを介してサブイメージプロセッサ１２１２ｃに提供される。このようなイメージデータ転送は、例えばＭＩＰＩ（Ｍｏｂｉｌｅ Ｉｎｄｕｓｔｒｙ Ｐｒｏｃｅｓｓｏｒ Ｉｎｔｅｒｆａｃｅ）に基づくカメラシリアルインターフェース（ＣＳＩ：Ｃａｍｅｒａ Ｓｅｒｉａｌ Ｉｎｔｅｒｆａｃｅ）を用いて行われるが、実施形態はこれに限定されるものではない。
【0144】
一方、一実施形態で、１つのサブイメージプロセッサを複数のカメラモジュールに対応するように配置する。例えば、サブイメージプロセッサ１２１２ａとサブイメージプロセッサ１２１２ｃとが図示するように互いに分離されて実施されるのではなく、１つのサブイメージプロセッサに統合されて実装され、カメラモジュール１１００ａ及びカメラモジュール１１００ｃから提供されるイメージデータは、選択要素（例えば、マルチプレクサ）などを介して選択された後、統合されたサブイメージプロセッサに提供される。
【0145】
各サブイメージプロセッサ（１２１２ａ、１２１２ｂ、１２１２ｃ）に提供されたイメージデータは、イメージ生成器１２１４に提供される。イメージ生成器１２１４は、イメージ生成情報（Ｇｅｎｅｒａｔｉｎｇ Ｉｎｆｏｒｍａｔｉｏｎ）又はモード信号（Ｍｏｄｅ Ｓｉｇｎａｌ）に応じて、各々のサブイメージプロセッサ（１２１２ａ、１２１２ｂ、１２１２ｃ）から提供されたイメージデータを用いて出力イメージを生成する。
【0146】
具体的に、イメージ生成器１２１４は、イメージ生成情報又はモード信号に応じて、異なる視野角を有するカメラモジュール（１１００ａ、１１００ｂ、１１００ｃ）から生成されたイメージデータのうちの少なくとも一部をマージして出力イメージを生成する。なお、イメージ生成器１２１４は、イメージ生成情報又はモード信号に応じて、異なる視野角を有するカメラモジュール（１１００ａ、１１００ｂ、１１００ｃ）から生成されたイメージデータのうちのいずれか１つを選択して出力イメージを生成することができる。
【0147】
一実施形態で、イメージ生成情報は、ズーム信号（ｚｏｏｍ ｓｉｇｎａｌ ｏｒ ｚｏｏｍ ｆａｃｔｏｒ）を含む。なお、一実施形態で、モード信号は、例えばユーザから選択されるモードに基づく信号である。
【0148】
イメージ生成情報がズーム信号（ズームファクター）であり、各カメラモジュール（１１００ａ、１１００ｂ、１１００ｃ）が異なる観側視野（視野角）を有する場合、イメージ生成器１２１４は、ズーム信号のタイプに応じて異なる動作を行う。例えば、ズーム信号が第１信号である場合、カメラモジュール１１００ａから出力されたイメージデータとカメラモジュール１１００ｃから出力されたイメージデータとをマージした後、マージされたイメージ信号及びマージに使用されていないカメラモジュール１１００ｂから出力されたイメージデータを用いて出力イメージを生成する。仮にズーム信号が第１信号とは異なる第２信号である場合、イメージ生成器１２１４はこのようなイメージデータのマージを行わず、各々のカメラモジュール（１１００ａ、１１００ｂ、１１００ｃ）から出力されたイメージデータのうちのいずれか１つを選択して出力イメージを生成する。しかし、実施形態はこれに限定されず、必要に応じてイメージデータを処理する方法は、多様に変更されて実施される。
【0149】
一実施形態で、イメージ生成器１２１４は、複数のサブイメージプロセッサ（１２１２ａ、１２１２ｂ、１２１２ｃ）のうちの少なくとも１つから露出時間が異なる複数のイメージデータを受信し、複数のイメージデータに対してＨＤＲ（ｈｉｇｈ ｄｙｎａｍｉｃ ｒａｎｇｅ）処理を行うことにより、ダイナミックレンジが増加してマージされたイメージデータを生成する。なお、一実施形態で、イメージ生成器１２１４は、第２イメージに対して補償動作を遂行することによって、第１モードで生成された最終イメージとの色相差が緩和されたイメージを生成する。
【0150】
カメラモジュールコントローラ１２１６は、各々のカメラモジュール（１１００ａ、１１００ｂ、１１００ｃ）に制御信号を提供する。カメラモジュールコントローラ１２１６から生成された制御信号は、それぞれ分離された制御信号ライン（ＣＳＬａ、ＣＳＬｂ、ＣＳＬｃ）を介して対応するカメラモジュール（１１００ａ、１１００ｂ、１１００ｃ）に提供される。
【0151】
複数のカメラモジュール（１１００ａ、１１００ｂ、１１００ｃ）のうちのいずれか１つはズーム信号を含むイメージ生成情報又はモード信号に応じてマスターカメラ（例えば１１００ｂ）として指定され、残りのカメラモジュール（例えば、例えば、１１００ａ、１１００ｃ）はスレーブカメラとして指定され得る。このような情報は、制御信号に含まれ、それぞれ分離された制御信号ライン（ＣＳＬａ、ＣＳＬｂ、ＣＳＬｃ）を介して対応するカメラモジュール（１１００ａ、１１００ｂ、１１００ｃ）に提供される。
【0152】
ズームファクター又は動作モード信号に応じて、マスター及びスレーブとして動作するカメラモジュールを変更する。例えば、カメラモジュール１１００ａの視野角がカメラモジュール１１００ｂの視野角よりも広くズームファクターが低いズーム倍率を示す場合、カメラモジュール１１００ｂがマスターとして動作し、カメラモジュール１１００ａがスレーブとして動作する。逆に、ズームファクターが高いズーム倍率を示す場合、カメラモジュール１１００ａがマスターとして動作し、カメラモジュール１１００ｂがスレーブとして動作する。
【0153】
一実施形態で、カメラモジュールコントローラ１２１６から各々のカメラモジュール（１１００ａ、１１００ｂ、１１００ｃ）に提供される制御信号は、シンクイネーブル信号を含む。例えば、カメラモジュール１１００ｂがマスターカメラであり、カメラモジュール（１１００ａ、１１００ｃ）がスレーブカメラである場合、カメラモジュールコントローラ１２１６は、カメラモジュール１１００ｂにシンクイネーブル信号を送る。このようなシンクイネーブル信号が提供されたカメラモジュール１１００ｂは、提供されたシンクイネーブル信号に基づいてシンク信号を生成し、生成されたシンク信号を、シンク信号ラインＳＳＬを介してカメラモジュール（１１００ａ、１１００ｃ）に提供する。カメラモジュール１１００ｂ及びカメラモジュール（１１００ａ、１１００ｃ）は、このようなシンク信号に同期してイメージデータをアプリケーションプロセッサ１２００に送る。
【0154】
一実施形態で、カメラモジュールコントローラ１２１６から複数のカメラモジュール（１１００ａ、１１００ｂ、１１００ｃ）に提供される制御信号は、モード信号に応じたモード情報を含む。このようなモード情報に基づいて、複数のカメラモジュール（１１００ａ、１１００ｂ、１１００ｃ）は、センシング速度に関連して第１動作モード及び第２動作モードで動作する。
【0155】
複数のカメラモジュール（１１００ａ、１１００ｂ、１１００ｃ）は、第１動作モードにおいて、第１速度でイメージ信号を生成（例えば、第１フレームレートのイメージ信号を生成）し、これを第１速度よりも高い第２速度でエンコーディング（例えば、第１フレームレートよりも高い第２フレームレートのイメージ信号をエンコーディング）し、エンコーディングされたイメージ信号をアプリケーションプロセッサ１２００に送る。このとき、第２速度は、第１速度の３０倍以下である。
【0156】
アプリケーションプロセッサ１２００は、受信されたイメージ信号、即ちエンコーディングされたイメージ信号を、内部に設けられた内部メモリ１２３０又はアプリケーションプロセッサ１２００の外部メモリ１４００に格納し、その後、内部メモリ１２３０又は外部メモリ１４００からエンコーディングされたイメージ信号を読み出してデコーディングし、デコーディングされたイメージ信号に基づいて生成されたイメージデータをディスプレイする。例えば、イメージ処理装置１２１０の複数のサブイメージプロセッサ（１２１２ａ、１２１２ｂ、１２１２ｃ）のうちの対応するサブイメージプロセッサがデコーディングを行う。なお、アプリケーションプロセッサ１２００はデコーディングされたイメージ信号に対してイメージ処理を遂行する。
【0157】
複数のカメラモジュール（１１００ａ、１１００ｂ、１１００ｃ）は、第２動作モードにおいて、第１速度よりも低い第３速度でイメージ信号を生成（例えば、第１フレームレートよりも低い第３フレームレートのイメージ信号を生成）し、イメージ信号をアプリケーションプロセッサ１２００に送る。アプリケーションプロセッサ１２００に提供されるイメージ信号は、エンコーディングされていない信号である。アプリケーションプロセッサ１２００は、受信されたイメージ信号に対してイメージ処理を遂行するか、又はイメージ信号を内部メモリ１２３０又は外部メモリ１４００に格納する。
【0158】
ＰＭＩＣ１３００は、複数のカメラモジュール（１１００ａ、１１００ｂ、１１００ｃ）の各々に電力、例えば電源電圧を供給する。例えば、ＰＭＩＣ１３００は、アプリケーションプロセッサ１２００の制御下で、パワー信号ラインＰＳＬａを介してカメラモジュール１１００ａに第１電力を供給し、パワー信号ラインＰＳＬｂを介してカメラモジュール１１００ｂに第２電力を供給し、パワー信号ラインＰＳＬｃを介してカメラモジュール１１００ｃに第３電力を供給する。
【0159】
ＰＭＩＣ１３００は、アプリケーションプロセッサ１２００からの電力制御信号ＰＣＯＮに応答して、複数のカメラモジュール（１１００ａ、１１００ｂ、１１００ｃ）の各々に対応する電力を生成し、そして電力のレベルを調整する。電力制御信号ＰＣＯＮは、複数のカメラモジュール（１１００ａ、１１００ｂ、１１００ｃ）の動作モード別の電力調整信号を含む。例えば、動作モードは低電力モードを含み、このとき、電力制御信号ＰＣＯＮは、低電力モードで動作するカメラモジュール及び設定される電力レベルに関する情報を含む。複数のカメラモジュール（１１００ａ、１１００ｂ、１１００ｃ）の各々に提供される電力のレベルは、それぞれ同じか又は異なる。なお、電力のレベルは、動的に変更される。
【0160】
以上、本発明の実施形態について図面を参照しながら詳細に説明したが、本発明は、上述の実施形態に限定されるものではなく、本発明の技術的思想から逸脱しない範囲で多様に変更実施することが可能である。
【符号の説明】
【0161】
１００、２００ａ、２００ｂ、２００ｃ イメージ装置
１１０、２１０ａ、２１０ｂ、２１０ｃ、１１４２ イメージセンサ
１１１、２２１ａ、２２１ｂ、２２１ｃ ホワイト抽出モジュール
１１２、２２２ａ、２２２ｂ、２２２ｃ クロストーク補償モジュール
１１３、２２３ａ、２２３ｂ、２２３ｃ ベイヤー抽出モジュール
１１４ ピクセルアレイ
１１５ 行ドライバ
１１６ アナログ／デジタル変換器（ＡＤＣ）
１１７ 出力回路
１１８ 制御ロジック回路
１２０、２２０ａ、２２０ｂ、２２０ｃ イメージ信号プロセッサ
１２１ ノイズ低減モジュール
１２２ デモザイクモジュール
１２３ 色補正モジュール
１２４ ガンマ補正モジュール
１２５ 色変換モジュール
１３０ ホワイトバランスモジュール
１４０ ルーマ抽出モジュール
１５０ ガイドフィルタリングモジュール
１５１ サンプリングモジュール
１５２ フル生成モジュール
１６０ ホワイト生成モジュール
１０００ 電子装置
１１００ カメラモジュールグループ
１１００ａ～１１００ｃ カメラモジュール
１１０５ プリズム
１１０６ 中心軸
１１０７ 反射面
１１１０ 光路屈曲素子（ＯＰＦＥ）
１１３０ アクチュエータ
１１４０ イメージセンシング装置
１１４４ 制御ロジック
１１４６ メモリ
１１４７ キャリブレーションデータ
１１５０ ストレージ装置
１２００ アプリケーションプロセッサ
１２１０ イメージ処理装置
１２１２ａ～１２１２ｃ サブイメージプロセッサ
１２１４ イメージ生成器
１２１６ カメラモジュールコントローラ
１２２０ メモリコントローラ
１２３０ 内部メモリ
１３００ ＰＭ（電源管理）ＩＣ
１４００ 外部メモリ
Ｂ１～Ｂ８ 第１～第８ブルーカラーピクセル
ＢＩ ベイヤーイメージ
ＢＩ＿Ｕ１～ＢＩ＿Ｕ４ ベイヤーイメージ第１～第４基本ユニット
ＣＦＤａ、ＣＦＤｂ 第２キャパシタンス
ＣＬ 列ライン
ＣＳＬａ～ＣＳＬｃ 制御信号ライン
ＤＣＧ デュアルコンバージョン信号
ＤＴ デュアルコンバージョントランジスタ
ＦＤ１～ＦＤ４ 第１～第４フローティング拡散領域
ＦＤａ、ＦＤｂ 第１、第２フローティング拡散領域
Ｇ＿ＦＩ グリーンフルイメージ
Ｇ＿ＳＩ グリーンサンプリングイメージ
Ｇ、Ｇｂ、Ｇｒ グリーンカラーピクセル（
Ｇｂ１～Ｇｂ８ 第１～第８グリーンカラーピクセル
Ｇｒ１～Ｇｒ８ 第１～第８グリーンカラーピクセル
ＩＳＬａ～ＩＳＬｃ イメージ信号ライン
ＯＵＴ 出力信号
ＰＣＯＮ 電力制御信号
ＰＧ ピクセルグループ
ＰＧ１～ＰＧ４ 第１～第４ピクセルグループ
ＰＤ１～ＰＤ１６ 第１～第１６光電変換素子
ＰＤａ～ＰＤｄ 第１～第４光電変換素子
ＰＩ パンクロマティックイメージ
ＰＳ ピクセル集合
ＰＳ１～ＰＳ４ 第１～第４ピクセル集合
ＰＳＬａ～ＰＳＬｃ パワー信号ライン
ＰＸ ピクセル
ＰＸ１～ＰＸ４ 第１～第４ピクセル
Ｒ レッドカラーピクセル
Ｒ１～Ｒ８ 第１～第８レッドカラーピクセル
ＲＡＷ ローイメージ
ＲＡＷ＿Ｕ１～ＲＡＷ＿Ｕ４ 第１～第４ローイメージ基本ユニット
ＲＡＷ＿ＷＢ ホワイトバランスローイメージ
ＲＧ リセット信号
ＲＧ１、ＲＧ２ 第１、第２リセット信号
ＲＴ リセットトランジスタ
ＳＥ 選択トランジスタ
ＳＦ ソースフォロワトランジスタ
ＳＥＬ 選択信号
ＳＥＬ１、ＳＥＬ２ 第１、第２選択信号
ＳＳＬ シンク信号ライン
Ｔ１～Ｔ１６ 第１～第１６転送トランジスタ
Ｔａ～Ｔｄ 第１～第４転送トランジスタ
ＴＧ１～ＴＧ１６ 第１～第１６転送信号
ＴＧａ～ＴＧｄ 第１～第４転送信号
Ｕ１～Ｕ４ 第１～第４基本ユニット
ＶＤＤ 電源電圧
Ｗ ホワイトピクセル
Ｗ１～Ｗ２４ 第１～第２４ホワイトピクセル
ＷＩ ホワイトイメージ
ＷＩ＿ＸＴ クロストーク補償ホワイトイメージ
ＷＩ＿ＸＴ＿Ｕ１～ＷＩ＿ＸＴ＿Ｕ４ 第１～第４クロストーク補償ホワイトイメージ基本ユニット
Ｗ＋Ｂ、Ｗ＋Ｂ＿１～Ｗ＋Ｂ＿４ ホワイトブルーカラーピクセル
Ｗ＋Ｇ、Ｗ＋Ｇｒ、Ｗ＋Ｇｒ＿１～Ｗ＋Ｇｒ＿４ ホワイトグリーンカラーピクセル
Ｗ＋Ｒ、Ｗ＋Ｒ＿１～Ｗ＋Ｒ＿４ ホワイトレッドカラーピクセル
Ｗ＋Ｇ＿ＦＩ ホワイトグリーンフルイメージ
Ｗ＋Ｇ＿ＳＩ ホワイトグリーンサンプリングイメージ
１１０、２１０ａ、２１０ｂ、２１０ｃ、１１４２ イメージセンサ
１１１、２２１ａ、２２１ｂ、２２１ｃ ホワイト抽出モジュール
１１２、２２２ａ、２２２ｂ、２２２ｃ クロストーク補償モジュール
１１３、２２３ａ、２２３ｂ、２２３ｃ ベイヤー抽出モジュール
１１４ ピクセルアレイ
１１５ 行ドライバ
１１６ アナログ／デジタル変換器（ＡＤＣ）
１１７ 出力回路
１１８ 制御ロジック回路
１２０、２２０ａ、２２０ｂ、２２０ｃ イメージ信号プロセッサ
１２１ ノイズ低減モジュール
１２２ デモザイクモジュール
１２３ 色補正モジュール
１２４ ガンマ補正モジュール
１２５ 色変換モジュール
１３０ ホワイトバランスモジュール
１４０ ルーマ抽出モジュール
１５０ ガイドフィルタリングモジュール
１５１ サンプリングモジュール
１５２ フル生成モジュール
１６０ ホワイト生成モジュール
１０００ 電子装置
１１００ カメラモジュールグループ
１１００ａ～１１００ｃ カメラモジュール
１１０５ プリズム
１１０６ 中心軸
１１０７ 反射面
１１１０ 光路屈曲素子（ＯＰＦＥ）
１１３０ アクチュエータ
１１４０ イメージセンシング装置
１１４４ 制御ロジック
１１４６ メモリ
１１４７ キャリブレーションデータ
１１５０ ストレージ装置
１２００ アプリケーションプロセッサ
１２１０ イメージ処理装置
１２１２ａ～１２１２ｃ サブイメージプロセッサ
１２１４ イメージ生成器
１２１６ カメラモジュールコントローラ
１２２０ メモリコントローラ
１２３０ 内部メモリ
１３００ ＰＭ（電源管理）ＩＣ
１４００ 外部メモリ
Ｂ１～Ｂ８ 第１～第８ブルーカラーピクセル
ＢＩ ベイヤーイメージ
ＢＩ＿Ｕ１～ＢＩ＿Ｕ４ ベイヤーイメージ第１～第４基本ユニット
ＣＦＤａ、ＣＦＤｂ 第２キャパシタンス
ＣＬ 列ライン
ＣＳＬａ～ＣＳＬｃ 制御信号ライン
ＤＣＧ デュアルコンバージョン信号
ＤＴ デュアルコンバージョントランジスタ
ＦＤ１～ＦＤ４ 第１～第４フローティング拡散領域
ＦＤａ、ＦＤｂ 第１、第２フローティング拡散領域
Ｇ＿ＦＩ グリーンフルイメージ
Ｇ＿ＳＩ グリーンサンプリングイメージ
Ｇ、Ｇｂ、Ｇｒ グリーンカラーピクセル（
Ｇｂ１～Ｇｂ８ 第１～第８グリーンカラーピクセル
Ｇｒ１～Ｇｒ８ 第１～第８グリーンカラーピクセル
ＩＳＬａ～ＩＳＬｃ イメージ信号ライン
ＯＵＴ 出力信号
ＰＣＯＮ 電力制御信号
ＰＧ ピクセルグループ
ＰＧ１～ＰＧ４ 第１～第４ピクセルグループ
ＰＤ１～ＰＤ１６ 第１～第１６光電変換素子
ＰＤａ～ＰＤｄ 第１～第４光電変換素子
ＰＩ パンクロマティックイメージ
ＰＳ ピクセル集合
ＰＳ１～ＰＳ４ 第１～第４ピクセル集合
ＰＳＬａ～ＰＳＬｃ パワー信号ライン
ＰＸ ピクセル
ＰＸ１～ＰＸ４ 第１～第４ピクセル
Ｒ レッドカラーピクセル
Ｒ１～Ｒ８ 第１～第８レッドカラーピクセル
ＲＡＷ ローイメージ
ＲＡＷ＿Ｕ１～ＲＡＷ＿Ｕ４ 第１～第４ローイメージ基本ユニット
ＲＡＷ＿ＷＢ ホワイトバランスローイメージ
ＲＧ リセット信号
ＲＧ１、ＲＧ２ 第１、第２リセット信号
ＲＴ リセットトランジスタ
ＳＥ 選択トランジスタ
ＳＦ ソースフォロワトランジスタ
ＳＥＬ 選択信号
ＳＥＬ１、ＳＥＬ２ 第１、第２選択信号
ＳＳＬ シンク信号ライン
Ｔ１～Ｔ１６ 第１～第１６転送トランジスタ
Ｔａ～Ｔｄ 第１～第４転送トランジスタ
ＴＧ１～ＴＧ１６ 第１～第１６転送信号
ＴＧａ～ＴＧｄ 第１～第４転送信号
Ｕ１～Ｕ４ 第１～第４基本ユニット
ＶＤＤ 電源電圧
Ｗ ホワイトピクセル
Ｗ１～Ｗ２４ 第１～第２４ホワイトピクセル
ＷＩ ホワイトイメージ
ＷＩ＿ＸＴ クロストーク補償ホワイトイメージ
ＷＩ＿ＸＴ＿Ｕ１～ＷＩ＿ＸＴ＿Ｕ４ 第１～第４クロストーク補償ホワイトイメージ基本ユニット
Ｗ＋Ｂ、Ｗ＋Ｂ＿１～Ｗ＋Ｂ＿４ ホワイトブルーカラーピクセル
Ｗ＋Ｇ、Ｗ＋Ｇｒ、Ｗ＋Ｇｒ＿１～Ｗ＋Ｇｒ＿４ ホワイトグリーンカラーピクセル
Ｗ＋Ｒ、Ｗ＋Ｒ＿１～Ｗ＋Ｒ＿４ ホワイトレッドカラーピクセル
Ｗ＋Ｇ＿ＦＩ ホワイトグリーンフルイメージ
Ｗ＋Ｇ＿ＳＩ ホワイトグリーンサンプリングイメージ
【図1】
【図2】
【図3】
【図4A】
【図4B】
【図4C】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11A】
【図11B】
【図11C】
【図12A】
【図12B】
【図12C】
【図13】
【図14】