(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2022183072
(43)【公開日】2022-12-08
(54)【発明の名称】イメージセンサおよびイメージ信号処理方法
(51)【国際特許分類】
H04N 5/243 20060101AFI20221201BHJP
H04N 5/225 20060101ALI20221201BHJP
H04N 5/374 20110101ALI20221201BHJP
H04N 5/3745 20110101ALI20221201BHJP
G06T 1/00 20060101ALI20221201BHJP
【ＦＩ】
H04N5/243
H04N5/225 300
H04N5/374
H04N5/3745 700
G06T1/00 460E
【審査請求】未請求
【請求項の数】20
【出願形態】ＯＬ
(21)【出願番号】P 2022084576
(22)【出願日】2022-05-24
(31)【優先権主張番号】10-2021-0068919
(32)【優先日】2021-05-28
(33)【優先権主張国・地域又は機関】KR
(31)【優先権主張番号】10-2021-0100562
(32)【優先日】2021-07-30
(33)【優先権主張国・地域又は機関】KR
(71)【出願人】
【識別番号】390019839
【氏名又は名称】三星電子株式会社
【氏名又は名称原語表記】Ｓａｍｓｕｎｇ Ｅｌｅｃｔｒｏｎｉｃｓ Ｃｏ．，Ｌｔｄ．
【住所又は居所原語表記】１２９，Ｓａｍｓｕｎｇ－ｒｏ，Ｙｅｏｎｇｔｏｎｇ－ｇｕ，Ｓｕｗｏｎ－ｓｉ，Ｇｙｅｏｎｇｇｉ－ｄｏ，Ｒｅｐｕｂｌｉｃ ｏｆ Ｋｏｒｅａ
(74)【代理人】
【識別番号】100107766
【弁理士】
【氏名又は名称】伊東 忠重
(74)【代理人】
【識別番号】100070150
【弁理士】
【氏名又は名称】伊東 忠彦
(74)【代理人】
【識別番号】100135079
【弁理士】
【氏名又は名称】宮崎 修
(72)【発明者】
【氏名】全 昇完
(72)【発明者】
【氏名】金 建東
(72)【発明者】
【氏名】宋 東▲よん▼
【テーマコード（参考）】
5B047
5C024
5C122
【Ｆターム（参考）】
5B047AB04
5B047BB04
5B047DC11
5C024CX21
5C024DX01
5C024EX43
5C024EX52
5C024GX03
5C024GX16
5C024GX18
5C024GY31
5C122EA12
5C122FA18
5C122FB05
5C122FC06
5C122HA88
5C122HB01
5C122HB02
5C122HB10
(57)【要約】 （修正有）
【課題】不良ピクセルグループの補正を行い、誤差発生を減少させ、イメージ処理効率を向上させるイメージセンサ及び信号処理方法を提供する。
【解決手段】イメージセンサは、第１カラーに対する第１ピクセル信号を出力する第１ピクセルグループ、第１カラーと異なる第２カラーに対する第２ピクセル信号を出力する第２ピクセルグループ及び第１、第２カラーと異なる第３カラーを有する複数の第３カラーピクセル信号を出力する第３ピクセルグループを含む。第１ピクセル信号が不良ピクセル信号の場合、第２、第３ピクセル信号に基づいて第１ピクセル信号に対する不良ピクセル補正を行い、第１ないし第３カラーに対する補正ピクセル信号を生成し、第２ピクセル信号に基づいて第３ピクセル信号に対してリモザイクを行い、第３ピクセル信号に基づいて第２ピクセル信号に対してリモザイクを行うことで第１ないし第３カラーに対するリモザイクピクセル信号を生成する。
【選択図】図１１
【解決手段】イメージセンサは、第１カラーに対する第１ピクセル信号を出力する第１ピクセルグループ、第１カラーと異なる第２カラーに対する第２ピクセル信号を出力する第２ピクセルグループ及び第１、第２カラーと異なる第３カラーを有する複数の第３カラーピクセル信号を出力する第３ピクセルグループを含む。第１ピクセル信号が不良ピクセル信号の場合、第２、第３ピクセル信号に基づいて第１ピクセル信号に対する不良ピクセル補正を行い、第１ないし第３カラーに対する補正ピクセル信号を生成し、第２ピクセル信号に基づいて第３ピクセル信号に対してリモザイクを行い、第３ピクセル信号に基づいて第２ピクセル信号に対してリモザイクを行うことで第１ないし第３カラーに対するリモザイクピクセル信号を生成する。
【選択図】図１１
【特許請求の範囲】
【請求項1】
第１カラーを有する複数の第１カラーピクセルを含み、前記第１カラーに対する第１ピクセル信号を出力する第１ピクセルグループ、第１カラーと異なる第２カラーを有する複数の第２カラーピクセルを含み、前記第２カラーに対する第２ピクセル信号を出力する第２ピクセルグループおよび第１および第２カラーと異なる第３カラーを有する複数の第３カラーピクセルを含み、前記第３カラーに対する第３ピクセル信号を出力する第３ピクセルグループを含むピクセルアレイと、
前記ピクセルアレイから前記第１ピクセル信号、前記第２ピクセル信号および第３ピクセル信号を受信するイメージ信号プロセッサを含み、
前記イメージ信号プロセッサは、
前記第１ピクセル信号が不良ピクセル信号の場合、前記第２ピクセル信号および前記第３ピクセル信号に基づいて前記第１ピクセル信号に対する不良ピクセル補正を行うことによって前記第１ないし第３カラーに対する補正ピクセル信号を生成し、
前記第２ピクセル信号に基づいて前記第３ピクセル信号に対してリモザイクを行い、前記第３ピクセル信号に基づいて前記第２ピクセル信号に対してリモザイクを行うことによって前記第１ないし第３カラーに対するリモザイクピクセル信号を生成し、
前記ピクセルアレイは前記第１カラーピクセル、前記第２カラーピクセルおよび前記第３カラーピクセルが第１パターンで配置されたピクセルアレイであり、
前記補正ピクセル信号および前記リモザイクピクセル信号は前記第１ないし第３カラーピクセルが前記第１パターンより高周波パターンである第２パターンで再整列された情報を示す、イメージセンサ。
前記ピクセルアレイから前記第１ピクセル信号、前記第２ピクセル信号および第３ピクセル信号を受信するイメージ信号プロセッサを含み、
前記イメージ信号プロセッサは、
前記第１ピクセル信号が不良ピクセル信号の場合、前記第２ピクセル信号および前記第３ピクセル信号に基づいて前記第１ピクセル信号に対する不良ピクセル補正を行うことによって前記第１ないし第３カラーに対する補正ピクセル信号を生成し、
前記第２ピクセル信号に基づいて前記第３ピクセル信号に対してリモザイクを行い、前記第３ピクセル信号に基づいて前記第２ピクセル信号に対してリモザイクを行うことによって前記第１ないし第３カラーに対するリモザイクピクセル信号を生成し、
前記ピクセルアレイは前記第１カラーピクセル、前記第２カラーピクセルおよび前記第３カラーピクセルが第１パターンで配置されたピクセルアレイであり、
前記補正ピクセル信号および前記リモザイクピクセル信号は前記第１ないし第３カラーピクセルが前記第１パターンより高周波パターンである第２パターンで再整列された情報を示す、イメージセンサ。
【請求項2】
前記第１ピクセルグループは前記第１カラーピクセルが共有する第１フローティングディフュージョンを含み、前記第２ピクセルグループは前記第２カラーピクセルが共有する第２フローティングディフュージョンを含み、前記第３ピクセルグループは前記第３カラーピクセルが共有する第３フローティングディフュージョンを含み、
前記第１フローティングディフュージョンは不良である、請求項１に記載のイメージセンサ。
前記第１フローティングディフュージョンは不良である、請求項１に記載のイメージセンサ。
【請求項3】
前記第１ピクセル信号に対する不良ピクセル補正を行う場合に使用する前記第２ピクセル信号および前記第３ピクセル信号が出力される前記第２カラーピクセルおよび前記第３カラーピクセルは前記第１ピクセルグループに隣接して配置される、請求項１に記載のイメージセンサ。
【請求項4】
前記第１ピクセルグループはエッジ部分に位置する第１サブピクセルおよび中央部分に位置する第２サブピクセルを含み、
前記イメージ信号プロセッサは前記第２ピクセル信号および前記第３ピクセル信号に基づいて前記第１サブピクセルから出力される第１サブピクセル信号に対する不良ピクセル補正を行い第１補正サブピクセル信号を生成する、請求項３に記載のイメージセンサ。
前記イメージ信号プロセッサは前記第２ピクセル信号および前記第３ピクセル信号に基づいて前記第１サブピクセルから出力される第１サブピクセル信号に対する不良ピクセル補正を行い第１補正サブピクセル信号を生成する、請求項３に記載のイメージセンサ。
【請求項5】
前記イメージ信号プロセッサは前記第１補正サブピクセル信号に基づいて前記第２サブピクセルから出力される第２サブピクセル信号に対する不良ピクセル補正を行い第２補正サブピクセル信号を生成する、請求項４に記載のイメージセンサ。
【請求項6】
前記イメージ信号プロセッサは前記第１ピクセル信号を不良ピクセル信号に決定する、請求項１に記載のイメージセンサ。
【請求項7】
前記第１ピクセルグループは前記第２ピクセルグループおよび前記第３ピクセルグループと隣接して配置される、請求項１に記載のイメージセンサ。
【請求項8】
前記第１パターンはテトラパターンであり、前記第２パターンはベイヤーパターンである、請求項１に記載のイメージセンサ。
【請求項9】
前記イメージ信号プロセッサは前記補正ピクセル信号および前記リモザイクピクセル信号を含むイメージ信号を出力し、前記イメージ信号に対してデモザイクを行う、請求項１に記載のイメージセンサ。
【請求項10】
前記イメージ信号プロセッサは前記第１ピクセル信号が不良ピクセル信号の場合、前記第１ピクセル信号を前記第１パターンで配列された前記第１カラーピクセルに対する信号に補正する過程なしで前記補正ピクセル信号を生成する、請求項１に記載のイメージセンサ。
【請求項11】
前記イメージ信号プロセッサは前記第２および第３ピクセル信号に基づいて前記第１ピクセル信号に対してリモザイクをさらに行うことによって前記リモザイクピクセル信号を生成し、前記補正ピクセル信号に基づいて前記リモザイクピクセル信号を補正する、請求項１に記載のイメージセンサ。
【請求項12】
前記第１パターンはノナパターンであり、前記第２パターンはベイヤーパターンである、請求項１に記載のイメージセンサ。
【請求項13】
前記第１ピクセルグループは少なくとも４個の第１カラーピクセルを含み、前記第２ピクセルグループは少なくとも４個の第２カラーピクセルを含み、前記第３ピクセルグループは少なくとも４個の第３カラーピクセルを含む、請求項１ないし１２のうちの何れか１項に記載のイメージセンサ。
【請求項14】
第１カラーを有する複数の第１カラーピクセルを含み、前記第１カラーに対する第１ピクセル信号を出力する第１ピクセルグループ、第１カラーと異なる第２カラーを有する複数の第２カラーピクセルを含み、前記第２カラーに対する第２ピクセル信号を出力する第２ピクセルグループおよび第１および第２カラーと異なる第３カラーを有する複数の第３カラーピクセルを含み、前記第３カラーに対する第３ピクセル信号を出力する第３ピクセルグループを含むピクセルアレイと、
前記第１ピクセル信号が不良ピクセル信号の場合、前記第２ピクセル信号および前記第３ピクセル信号に基づいて前記第１ピクセル信号に対する不良ピクセル補正を行うことによって前記第１ないし第３カラーに対する第１補正ピクセル信号を生成する不良ピクセル補正器と、
前記第２ピクセル信号に基づいて前記第３ピクセル信号に対してリモザイクを行い、前記第３ピクセル信号に基づいて前記第２ピクセル信号に対してリモザイクを行うことによって前記第１ないし第３カラーに対する第１リモザイクピクセル信号を生成するリモザイクモジュールを含む、イメージセンサ。
前記第１ピクセル信号が不良ピクセル信号の場合、前記第２ピクセル信号および前記第３ピクセル信号に基づいて前記第１ピクセル信号に対する不良ピクセル補正を行うことによって前記第１ないし第３カラーに対する第１補正ピクセル信号を生成する不良ピクセル補正器と、
前記第２ピクセル信号に基づいて前記第３ピクセル信号に対してリモザイクを行い、前記第３ピクセル信号に基づいて前記第２ピクセル信号に対してリモザイクを行うことによって前記第１ないし第３カラーに対する第１リモザイクピクセル信号を生成するリモザイクモジュールを含む、イメージセンサ。
【請求項15】
前記第１補正ピクセル信号および前記第１リモザイクピクセル信号に対してデモザイクを行うデモザイクモジュールをさらに含む、請求項１４に記載のイメージセンサ。
【請求項16】
前記第１ピクセル信号は複数の第１ピクセル値を含み、前記第２ピクセル信号は複数の第２ピクセル値を含み、前記第３ピクセル信号は複数の第３ピクセル値を含む、請求項１４に記載のイメージセンサ。
【請求項17】
前記第１ピクセル値に対してビニングを行って第１ビニングピクセル信号を生成し、前記第２ピクセル値に対してビニングを行って第２ビニングピクセル信号を生成し、前記第３ピクセル値に対してビニングを行って第３ビニングピクセル信号を生成するビニング部をさらに含む、請求項１６に記載のイメージセンサ。
【請求項18】
前記不良ピクセル補正器は前記ビニング部から前記第１ないし第３ビニングピクセル信号を受信し、前記第１ビニングピクセル信号を不良ピクセル信号に決定し、前記第２および第３ビニングピクセル信号に基づいて前記第１ビニングピクセル信号に対する不良ピクセル補正を行うことによって前記第１ないし第３カラーに対するビニング補正ピクセル信号を生成する、請求項１７に記載のイメージセンサ。
【請求項19】
前記不良ピクセル補正器は前記第１ピクセル信号に対して不良ピクセル補正を行うことによって前記第１カラーに対する第２補正ピクセル信号を生成し、
前記リモザイクモジュールは前記第２補正ピクセル信号、前記第２ピクセル信号および前記第３ピクセル信号に基づいてリモザイクを行うことによって前記第１ないし第３カラーに対する第２リモザイクピクセル信号を生成し、
前記第１補正ピクセル信号、前記第２補正ピクセル信号、前記第１リモザイクピクセル信号および前記第２リモザイクピクセル信号に基づいてイメージ信号を生成する、請求項１４ないし１８のうちの何れか１項に記載のイメージセンサ。
前記リモザイクモジュールは前記第２補正ピクセル信号、前記第２ピクセル信号および前記第３ピクセル信号に基づいてリモザイクを行うことによって前記第１ないし第３カラーに対する第２リモザイクピクセル信号を生成し、
前記第１補正ピクセル信号、前記第２補正ピクセル信号、前記第１リモザイクピクセル信号および前記第２リモザイクピクセル信号に基づいてイメージ信号を生成する、請求項１４ないし１８のうちの何れか１項に記載のイメージセンサ。
【請求項20】
第１カラーに係る複数の第１ピクセル値を含む第１ピクセル信号、第１カラーと異なる第２カラーに係る複数の第２ピクセル値を含む第２ピクセル信号、前記第１および第２カラーと異なる第３カラーに係る複数の第３ピクセル値を含む第３ピクセル信号、および前記第１カラーに係る複数の第４ピクセル値を含む第４ピクセル信号を受信し、
前記第１ピクセル値を不良ピクセル値に決定し、
前記第１ないし第４ピクセル信号から角度を検出し、
前記第２ピクセル値、前記第４ピクセル値および前記角度に基づいて前記第２ピクセル値と前記第４ピクセル値の間の第１変換式を計算し、
前記第３ピクセル値、前記第４ピクセル値および前記角度に基づいて前記第３ピクセル値と前記第４ピクセル値の間の第２変換式を計算し、
前記第１および第２変換式を用いて、前記第１ピクセル値を前記第２ないし第４ピクセル値のうち少なくとも一つに基づいて補正することによって前記第１ないし第３カラーに対する補正ピクセル値を生成することを含む、イメージ信号処理方法。
前記第１ピクセル値を不良ピクセル値に決定し、
前記第１ないし第４ピクセル信号から角度を検出し、
前記第２ピクセル値、前記第４ピクセル値および前記角度に基づいて前記第２ピクセル値と前記第４ピクセル値の間の第１変換式を計算し、
前記第３ピクセル値、前記第４ピクセル値および前記角度に基づいて前記第３ピクセル値と前記第４ピクセル値の間の第２変換式を計算し、
前記第１および第２変換式を用いて、前記第１ピクセル値を前記第２ないし第４ピクセル値のうち少なくとも一つに基づいて補正することによって前記第１ないし第３カラーに対する補正ピクセル値を生成することを含む、イメージ信号処理方法。
【発明の詳細な説明】
【技術分野】
【0001】
本発明はイメージセンサおよびイメージ信号処理方法に関する。
【背景技術】
【0002】
イメージセンシング装置（ｉｍａｇｅ ｓｅｎｓｉｎｇ ｄｅｖｉｃｅ）は、光学情報を電気信号に変換する半導体素子の一つである。このようなイメージセンシング装置は、電荷結合型（ＣＣＤ；Ｃｈａｒｇｅ Ｃｏｕｐｌｅｄ Ｄｅｖｉｃｅ）イメージセンシング装置とＣＭＯＳ型（Ｃｏｍｐｌｅｍｅｎｔａｒｙ Ｍｅｔａｌ－Ｏｘｉｄｅ Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）イメージセンシング装置を含み得る。
【0003】
ＣＭＯＳ型イメージセンサはＣＩＳ（ＣＭＯＳ ｉｍａｇｅ ｓｅｎｓｏｒ）と略称される。ＣＩＳは２次元的に配列された複数のピクセルを備えることができる。ピクセルそれぞれは例えば、フォトダイオード（ｐｈｏｔｏｄｉｏｄｅ，ＰＤ）を含み得る。フォトダイオードは入射される光を電気信号に変換する役割をすることができる。
【0004】
最近では、コンピュータ産業と通信産業の発達につれてデジタルカメラ、カムコーダ、スマートフォン、ゲーム機器、警備用カメラ、医療用マイクロカメラ、ロボットなど多様な分野において性能が向上したイメージセンサの需要が増大している。
【発明の概要】
【発明が解決しようとする課題】
【0005】
本発明が解決しようとする技術的課題は、誤差の発生を減少させてイメージ処理効率を向上させたイメージセンサを提供することにある。
【0006】
本発明が解決しようとする技術的課題は、誤差の発生を減少させてイメージ処理効率を向上させたイメージ信号処理方法を提供することにある。
【0007】
本発明の技術的課題は、以上で言及した技術的課題に制限されず、言及されていないまた他の技術的課題は以下の説明から当業者に明確に理解され得る。
【課題を解決するための手段】
【0008】
技術的課題を達成するための本発明のいくつかの実施形態によるイメージセンサは、第１カラーを有する複数の第１カラーピクセルを含み、第１カラーに対する第１ピクセル信号を出力する第１ピクセルグループ、第１カラーと異なる第２カラーを有する複数の第２カラーピクセルを含み、第２カラーに対する第２ピクセル信号を出力する第２ピクセルグループおよび第１および第２カラーと異なる第３カラーを有する複数の第３カラーピクセルを含み、第３カラーに対する第３ピクセル信号を出力する第３ピクセルグループを含むピクセルアレイおよびイメージセンサから第１ピクセル信号、第２ピクセル信号および第３ピクセル信号を受信するイメージ信号プロセッサを含み、イメージ信号プロセッサは、第１ピクセル信号が不良ピクセル信号の場合、第２ピクセル信号および第３ピクセル信号に基づいて第１ピクセル信号に対する不良ピクセル補正を行うことによって第１ないし第３カラーに対する補正ピクセル信号を生成し、第２ピクセル信号に基づいて第３ピクセル信号に対してリモザイクを行い、第３ピクセル信号に基づいて第２ピクセル信号に対してリモザイクを行うことによって第１ないし第３カラーに対するリモザイクピクセル信号を生成し、ピクセルアレイは第１カラーピクセル、第２カラーピクセルおよび第３カラーピクセルが第１パターンで配置されたピクセルアレイであり、補正ピクセル信号およびリモザイクピクセル信号は第１カラーピクセル、第２カラーピクセルおよび第３カラーピクセルが第１パターンより高周波パターンである第２パターンで再整列された情報を示し得る。
【0009】
技術的課題を達成するための本発明のいくつかの実施形態によるイメージセンサは、第１カラーを有する複数の第１カラーピクセルを含み、第１カラーに対する第１ピクセル信号を出力する第１ピクセルグループ、第１カラーと異なる第２カラーを有する複数の第２カラーピクセルを含み、第２カラーに対する第２ピクセル信号を出力する第２ピクセルグループおよび第１および第２カラーと異なる第３カラーを有する複数の第３カラーピクセルを含み、第３カラーに対する第３ピクセル信号を出力する第３ピクセルグループを含むピクセルアレイ、第１ピクセル信号が不良ピクセル信号の場合、第２ピクセル信号および第３ピクセル信号に基づいて第１ピクセル信号に対する不良ピクセル補正を行うことによって第１ないし第３カラーに対する第１補正ピクセル信号を生成する不良ピクセル補正器、および第２ピクセル信号に基づいて第３ピクセル信号に対してリモザイクを行い、第３ピクセル信号に基づいて第２ピクセル信号に対してリモザイクを行うことによって第１ないし第３カラーに対する第１リモザイクピクセル信号を生成するリモザイクモジュールを含み得る。
【0010】
技術的課題を達成するための本発明のいくつかの実施形態によるイメージ信号処理方法は、第１カラーに係る複数の第１ピクセル値を含む第１ピクセル信号、第１カラーと異なる第２カラーに係る複数の第２ピクセル値を含む第２ピクセル信号、第１および第２カラーと異なる第３カラーに係る複数の第３ピクセル値を含む第３ピクセル信号、および第１カラーに係る複数の第４ピクセル値を含む第４ピクセル信号を受信し、第１ピクセル値を不良ピクセル値に決定し、第１ないし第４ピクセル信号から角度を検出し、第２ピクセル値、第４ピクセル値および角度に基づいて第２ピクセル値と第４ピクセル値の間の第１変換式を計算し、第３ピクセル値、第４ピクセル値および角度に基づいて第３ピクセル値と第４ピクセル値の間の第２変換式を計算し、第１および第２変換式を用いて、第１ピクセル値を第２ないし第４ピクセル値のうち少なくとも一つに基づいて補正することによって第１ないし第３カラーに対する補正ピクセル値を生成することを含み得る。
【0011】
その他実施形態の具体的な内容は詳細な説明および図面に含まれている。
【図面の簡単な説明】
【0012】
【図1】いくつかの実施形態によるイメージセンシング装置のブロック図である。
【図2】いくつかの実施形態によるイメージセンサの概念的なレイアウトを示す図である。
【図3】いくつかの実施形態によるイメージセンサの上面図である。
【図5】いくつかの実施形態によるピクセルアレイの回路図である。
【図6】いくつかの実施形態によるピクセルアレイの回路図である。
【図7】いくつかの実施形態によるイメージセンサの動作を説明するためのタイミング図である。
【図8】いくつかの実施形態によるピクセルアレイを説明するための図である。
【図9】いくつかの実施形態によるイメージ信号プロセッサに係るブロック図である。
【図10】いくつかの実施形態によるイメージセンシング装置の動作方法に係るフローチャートである。
【図11】いくつかの実施形態による補正ピクセル信号の生成を説明する図である。
【図12】いくつかの実施形態によるイメージ信号処理方法に係るフローチャートである。
【図15】いくつかの実施形態によるイメージ信号の生成を説明する図である。
【図16】いくつかの実施形態によるイメージ信号処理方法を説明するための図である。
【図17】いくつかの実施形態によるイメージ信号処理方法を説明するための図である。
【図18】いくつかの実施形態によるピクセル信号の処理方法を説明するための図である。
【図19】いくつかの実施形態によるピクセル信号の処理方法を説明するための図である。
【図20】いくつかの実施形態によるピクセル信号の処理方法を説明するための図である。
【図21】いくつかの実施形態によるイメージ信号プロセッサに係るブロック図である。
【図24】いくつかの実施形態によるピクセル信号の処理方法を説明するための図である。
【図25】いくつかの実施形態によるイメージセンサの上面図である。
【図26】いくつかの実施形態によるイメージセンサの概念的なレイアウトを示す図である。
【図27】いくつかの実施形態によるマルチカメラモジュールを含む電子装置を説明するためのブロック図である。
【発明を実施するための形態】
【0013】
以下、添付図面を参照して、本発明の技術的思想による実施形態について説明する。
【0014】
図１はいくつかの実施形態によるイメージセンシング装置のブロック図である。
【0015】
図１を参照すると、イメージセンシング装置１はイメージセンサ１００とイメージ信号プロセッサ９００を含み得る。
【0016】
イメージセンサ１００は光を用いてセンシング対象のイメージをセンシングし、ピクセル信号ＳＩＧ＿ＰＸを生成する。いくつかの実施形態で、生成されたピクセル信号ＳＩＧ＿ＰＸは例えば、デジタル信号であり得るが、本発明の技術的思想による実施形態はこれに制限されるものではない。
【0017】
ピクセル信号ＳＩＧ＿ＰＸはイメージ信号プロセッサ９００に提供されて処理される。イメージ信号プロセッサ９００はイメージセンサ１００のバッファ部１１７０から出力されたピクセル信号ＳＩＧ＿ＰＸを受信して、受信されたピクセル信号ＳＩＧ＿ＰＸをディスプレイに好都合であるように加工したり処理したりすることができる。
【0018】
いくつかの実施形態で、イメージ信号プロセッサ９００はイメージセンサ１００で出力されたピクセル信号ＳＩＧ＿ＰＸに対してデジタルビニングを行う。この時、イメージセンサ１００から出力されたピクセル信号ＳＩＧ＿ＰＸはアナログビニングを行っていないピクセルアレイＰＡからのロウ（ｒａｗ）イメージ信号であってもよいし、あるいはアナログビニングが既に行われたピクセル信号ＳＩＧ＿ＰＸでもあってもよい。
【0019】
いくつかの実施形態で、イメージセンサ１００とイメージ信号プロセッサ９００は図示されたように互いに分離して配置される。例えば、イメージセンサ１００が第１チップに搭載され、イメージ信号プロセッサ９００が第２チップに搭載されて所定のインターフェースを介して通信する。しかし、実施形態はこれに制限されるものではなく、イメージセンサ１００とイメージ信号プロセッサ９００は一つのパッケージ、例えばＭＣＰ（ｍｕｌｔｉ－ｃｈｉｐ ｐａｃｋａｇｅ）として実現できる。
【0020】
イメージセンサ１００は、コントロールレジスタブロック１１１０、タイミングジェネレータ１１２０、ロウ（ｒｏｗ）ドライバ１１３０、ピクセルアレイＰＡ、リードアウト回路１１５０、ランプ信号生成器１１６０、バッファ部１１７０を含み得る。
【0021】
コントロールレジスタブロック１１１０はイメージセンサ１００の動作を全体的に制御する。特に、コントロールレジスタブロック１１１０はタイミングジェネレータ１１２０、ランプ信号生成器１１６０およびバッファ部１１７０に直接動作信号を伝送する。
【0022】
タイミングジェネレータ１１２０はイメージセンサ１００の複数の構成要素の動作タイミングの基準になる信号を発生し得る。タイミングジェネレータ１１２０で発生した動作タイミング基準信号はロウドライバ１１３０、リードアウト回路１１５０、ランプ信号生成器１１６０などに伝達される。
【0023】
ランプ信号生成器１１６０はリードアウト回路１１５０に用いられるランプ信号を生成して伝送する。例えば、リードアウト回路１１５０は相関二重サンプラＣＤＳ、比較器などを含み得るが、ランプ信号生成器１１６０は相関二重サンプラＣＤＳ、比較器などに用いられるランプ信号を生成して伝送する。
【0024】
バッファ部１１７０は例えば、ラッチ部を含み得る。バッファ部１１７０は外部に提供するピクセル信号ＳＩＧ＿ＰＸを臨時的に保存し、ピクセル信号ＳＩＧ＿ＰＸを外部メモリまたは外部装置に伝送する。バッファ部１１７０はＤＲＡＭまたはＳＲＡＭのようなメモリを含み得る。
【0025】
ピクセルアレイＰＡは外部イメージをセンシングする。ピクセルアレイＰＡは複数のピクセル（または単位ピクセル）を含み得る。ロウドライバ１１３０はピクセルアレイＰＡのロウ（ｒｏｗ）を選択的に活性化させる。
【0026】
リードアウト回路１１５０はピクセルアレイＰＡから提供されたピクセル信号をサンプリングし、これをランプ信号と比較した後、比較結果に基づいてアナログイメージ信号（データ）をデジタルイメージ信号（データ）に変換する。
【0027】
図２はいくつかの実施形態によるイメージセンサの概念的なレイアウトを示す図である。
【0028】
図２を参照すると、本実施形態のイメージセンサ１００は積層された上部チップ２００と下部チップ３００を含む。上部チップ２００には複数のピクセルが２次元アレイ構造で配置される。すなわち上部チップ２００はピクセルアレイＰＡを含み得る。下部チップ３００はロジック領域ＬＣとメモリ領域などを含み得る。下部チップ３００は上部チップ２００の下部に配置され、上部チップ２００に電気的に接続される。下部チップ３００は上部チップ２００から伝達されたピクセル信号が下部チップ３００のロジック領域ＬＣに伝達されるようにする。
【0029】
下部チップ３００のロジック領域ＬＣにはロジック素子が配置される。ロジック素子はピクセルからのピクセル信号を処理するための回路を含み得る。例えばロジック素子は図１のコントロールレジスタブロック１１１０、タイミングジェネレータ１１２０、ロウ（ｒｏｗ）ドライバ１１３０、リードアウト回路１１５０、ランプ信号生成器１１６０などを含み得る。
【0030】
【0031】
図３を参照すると、イメージセンサ１００の上面にはピクセルアレイＰＡが配置される。詳細にはイメージセンサ１００の上部チップ２００の上面にピクセルアレイＰＡが配置される。ピクセルアレイＰＡは複数のマイクロレンズＭＬ、複数のフローティングディフュージョンＦＤ、複数の光電変換層２２１、および複数のカラムラインＣＯＬなどを含み得る。ここで、マイクロレンズＭＬと光電変換層２２１はピクセルアレイＰＡのピクセルごとに形成される。
【0032】
図４を参照すると、ピクセルアレイＰＡは第１ないし第５ノナグリーンピクセルグループＮＧＧ１～ＮＧＧ５、第１および第２ノナレッドピクセルグループＮＲＧ１，ＮＲＧ２と第１および第２ノナブルーピクセルグループＮＢＧ１，ＮＢＧ２を含み得る。図４は例示的に一部のピクセルアレイＰＡのみを示した図であり、ピクセルアレイＰＡはより多くのピクセルを含み得る。ここで第１ノナグリーンピクセルグループＮＧＧ１は第１ないし第９グリーンピクセルＧ１～Ｇ９を含み得、第２ノナグリーンピクセルグループＮＧＧ２は第１０ないし第１８グリーンピクセルＧ１０～Ｇ１８を含み得、第３ノナグリーンピクセルグループＮＧＧ３は第１９ないし第２７グリーンピクセルＧ１９～Ｇ２７を含み得、第４ノナグリーンピクセルグループＮＧＧ４は第２８ないし第３６グリーンピクセルＧ２８～Ｇ３６を含み得、第５ノナグリーンピクセルグループＮＧＧ５は第３７ないし第４５グリーンピクセルＧ３７～Ｇ４５を含み得る。また、第１ノナレッドピクセルグループＮＲＧ１は第１ないし第９レッドピクセルＲ１～Ｒ９を含み得、第２ノナレッドピクセルグループＮＲＧ２は第１０ないし第１８レッドピクセルＲ１０～Ｒ１８を含み得る。また、第１ノナブルーピクセルグループＮＢＧ１は第１ないし第９ブルーピクセルＢ１～Ｂ９を含み得、第２ノナブルーピクセルグループＮＢＧ２は第１０ないし第１８ブルーピクセルＢ１０～Ｂ１８を含み得る。
【0033】
第１および第２ノナレッドピクセルグループＮＲＧ１，ＮＲＧ２と第１および第２ノナブルーピクセルグループＮＢＧ１，ＮＢＧ２は、第１ないし第５ノナグリーンピクセルグループＮＧＧ１～ＮＧＧ５の間に配置される。例えば、第１ノナレッドピクセルグループＮＲＧ１は、第１ノナグリーンピクセルグループＮＧＧ１および第３ノナグリーンピクセルグループＮＧＧ３の間に配置される。
【0034】
また、第１および第２ノナレッドピクセルグループＮＲＧ１，ＮＲＧ２と第１および第２ノナブルーピクセルグループＮＢＧ１，ＮＢＧ２は、第１ないし第５ノナグリーンピクセルグループＮＧＧ１～ＮＧＧ５と接触する。例えば、第１ノナレッドピクセルグループＮＲＧ１は、第１ノナグリーンピクセルグループＮＧＧ１、第２ノナグリーンピクセルグループＮＧＧ２および第３ノナグリーンピクセルグループＮＧＧ３と接触する。すなわち、ピクセルアレイＰＡはＲＧＢノナパターン（ＲＧＢ ｎｏｎａ ｐａｔｔｅｒｎ）で配列される。ピクセルアレイＰＡは第１パターンで配置された第１ないし第５ノナグリーンピクセルグループＮＧＧ１～ＮＧＧ５、第１および第２ノナレッドピクセルグループＮＲＧ１，ＮＲＧ２と第１および第２ノナブルーピクセルグループＮＢＧ１，ＮＢＧ２を含み得る。ここで第１パターンはＲＧＢノナパターンに該当する。例えば、ＲＧＢノナパターンは後述するＲＧＢベイヤーパターン（ＲＧＢ ｂａｙｅｒ ｐａｔｔｅｒｎ）より低周波パターンに該当する。
【0035】
それぞれのピクセルグループは各カラーを有するカラーフィルタを含み得る。例えば、第１ないし第５ノナグリーンピクセルグループＮＧＧ１～ＮＧＧ５は、グリーンカラーを有するカラーフィルタを含み得、第１および第２ノナレッドピクセルグループＮＲＧ１，ＮＲＧ２はレッドカラーを有するカラーフィルタを含み得、第１および第２ノナブルーピクセルグループＮＢＧ１，ＮＢＧ２はブルーカラーを有するカラーフィルタを含み得る。該当カラーフィルタは各ピクセルグループの上部に配置され、カラーフィルタを通過する光はピクセルグループを介してピクセル信号ＳＩＧ＿ＰＸに変換される。
【0036】
第１ノナグリーンピクセルグループＮＧＧ１は第１共有グリーンピクセルグループＳＧＧ１、第２共有グリーンピクセルグループＳＧＧ２および第３共有グリーンピクセルグループＳＧＧ３を含み得る。第１共有グリーンピクセルグループＳＧＧ１は第１方向Ｘに沿って配列された第１グリーンピクセルＧ１、第２グリーンピクセルＧ２および第３グリーンピクセルＧ３を含み得る。第２共有グリーンピクセルグループＳＧＧ２は第１方向Ｘに沿って配列された第４グリーンピクセルＧ４、第５グリーンピクセルＧ５および第６グリーンピクセルＧ６を含み得る。第３共有グリーンピクセルグループＳＧＧ３は第１方向Ｘに沿って配列された第７グリーンピクセルＧ７、第８グリーンピクセルＧ８および第９グリーンピクセルＧ９を含み得る。第１共有グリーンピクセルグループＳＧＧ１、第２共有グリーンピクセルグループＳＧＧ２および第３共有グリーンピクセルグループＳＧＧ３は第２方向Ｙに沿って配列される。ここで第２方向Ｙは第１方向Ｘと交差する方向であり得る。
【0037】
ここで第１共有グリーンピクセルグループＳＧＧ１、第２共有グリーンピクセルグループＳＧＧ２および第３共有グリーンピクセルグループＳＧＧ３はそれぞれ一つのフローティングディフュージョンＦＤを共有する。しかし、本発明の実施形態はこれに制限されず、第１共有グリーンピクセルグループＳＧＧ１、第２共有グリーンピクセルグループＳＧＧ２および第３共有グリーンピクセルグループＳＧＧ３が共有するフローティングディフュージョンＦＤは一つであり得る。すなわち、第１ノナグリーンピクセルグループＮＧＧ１は一つのフローティングディフュージョンＦＤを共有することができる。また、他の第２ないし第５ノナグリーンピクセルグループＮＧＧ２～ＮＧＧ５、第１および第２ノナレッドピクセルグループＮＲＧ１，ＮＲＧ２と第１および第２ノナブルーピクセルグループＮＢＧ１，ＮＢＧ２それぞれは一つのフローティングディフュージョンＦＤを共有することができる。それぞれのピクセルグループから生成されたピクセル信号ＳＩＧ＿ＰＸは共有されるフローティングディフュージョンＦＤを介して伝送される。
【0038】
ただし、本発明の実施形態はノナセルに限定されず、本発明の実施形態は同じカラーフィルタを有する複数のピクセルを含むピクセルグループが配列されたピクセルアレイに適用できる。例えば、本発明の実施形態は単位ピクセルグループが同じカラーフィルタを有する４個のピクセルで構成されるテトラセルに適用することもできる。ここで単位ピクセルグループは隣接するピクセルのうち同じカラーフィルタを含むピクセルの集合を意味する。
【0039】
また、本発明の実施形態は図３に示された図に限定されず、一つのマイクロレンズＭＬが単位ピクセルグループ上に配置される。
【0040】
図５はいくつかの実施形態によるピクセルアレイの回路図である。図６はいくつかの実施形態によるピクセルアレイの回路図である。図７はいくつかの実施形態によるイメージセンサの動作を説明するためのタイミング図である。
【0041】
図５を参照すると、ピクセルアレイＰＡは複数のカラムラインＣＯＬ１～ＣＯＬ６、複数のロウラインＲＯＷ１ａ～ＲＯＷ１ｃ，ＲＯＷ２ａ～ＲＯＷ２ｃ，ＲＯＷ３ａ～ＲＯＷ３ｃ、第１ノナグリーンピクセルグループＮＧＧ１および第１ノナレッドピクセルグループＮＲＧ１を含み得る。すなわち、図５は図３および図４のピクセルグループのうち二つのノナピクセルグループを図示したものである。
【0042】
複数のカラムラインＣＯＬ１～ＣＯＬ６および複数のロウラインＲＯＷ１ａ～ＲＯＷ１ｃ，ＲＯＷ２ａ～ＲＯＷ２ｃ，ＲＯＷ３ａ～ＲＯＷ３ｃは、第１ノナグリーンピクセルグループＮＧＧ１および第１ノナレッドピクセルグループＮＲＧ１にわたって形成される。複数のカラムラインＣＯＬ１～ＣＯＬ６は第２方向Ｙに延び、複数のロウラインＲＯＷ１ａ～ＲＯＷ１ｃ，ＲＯＷ２ａ～ＲＯＷ２ｃ，ＲＯＷ３ａ～ＲＯＷ３ｃは第１方向Ｘに延びる。
【0043】
各ピクセルの転送トランジスタは複数のロウラインＲＯＷ１ａ～ＲＯＷ１ｃ，ＲＯＷ２ａ～ＲＯＷ２ｃ，ＲＯＷ３ａ～ＲＯＷ３ｃと複数のカラムラインＣＯＬ１～ＣＯＬ６の間に形成される。すなわち、各ピクセルの転送トランジスタは複数のロウラインＲＯＷ１ａ～ＲＯＷ１ｃ，ＲＯＷ２ａ～ＲＯＷ２ｃ，ＲＯＷ３ａ～ＲＯＷ３ｃと複数のカラムラインＣＯＬ１～ＣＯＬ６を連結する。
【0044】
例えば、それぞれのグリーンピクセル転送トランジスタＴＴＧ１～ＴＴＧ９のゲートは、それぞれのロウラインＲＯＷ１ａ～ＲＯＷ１ｃ，ＲＯＷ２ａ～ＲＯＷ２ｃ，ＲＯＷ３ａ～ＲＯＷ３ｃに連結される。それぞれのグリーンピクセル転送トランジスタＴＴＧ１～ＴＴＧ９のソースドレインは、それぞれのグリーンピクセルフォトダイオードＰＤＧ１～ＰＤＧ９に連結される。
【0045】
グリーンピクセル転送トランジスタＴＴＧ１～ＴＴＧ３のソースドレインは、第１フローティングディフュージョンＦＤ１に連結され、第１フローティングディフュージョンＦＤ１は第１カラムラインＣＯＬ１に連結される。グリーンピクセル転送トランジスタＴＴＧ４～ＴＴＧ６のソースドレインは、第２フローティングディフュージョンＦＤ２に連結され、第２フローティングディフュージョンＦＤ２は第２カラムラインＣＯＬ２に連結される。グリーンピクセル転送トランジスタＴＴＧ７～ＴＴＧ９のソースドレインは第３フローティングディフュージョンＦＤ３に連結され、第３フローティングディフュージョンＦＤ３は第３カラムラインＣＯＬ３に連結される。しかし、本発明の実施形態はこれに制限されず、グリーンピクセル転送トランジスタＴＴＧ１～ＴＴＧ９のソースドレインは、一つのフローティングディフュージョンＦＤにすべて連結されることもできる。
【0046】
例えば、それぞれのレッドピクセル転送トランジスタＴＴＲ１～ＴＴＲ９のゲートは、それぞれのロウラインＲＯＷ１ａ～ＲＯＷ１ｃ，ＲＯＷ２ａ～ＲＯＷ２ｃ，ＲＯＷ３ａ～ＲＯＷ３ｃに連結される。それぞれのレッドピクセル転送トランジスタＴＴＲ１～ＴＴＲ９のソースドレインは、それぞれのレッドピクセルフォトダイオードＰＤＲ１～ＰＤＲ９に連結される。
【0047】
レッドピクセル転送トランジスタＴＴＲ１～ＴＴＲ３のソースドレインは、第４フローティングディフュージョンＦＤ４に連結され、第４フローティングディフュージョンＦＤ４は、第４カラムラインＣＯＬ４に連結される。レッドピクセル転送トランジスタＴＴＲ４～ＴＴＲ６のソースドレインは、第５フローティングディフュージョンＦＤ５に連結され、第５フローティングディフュージョンＦＤ５は第５カラムラインＣＯＬ５に連結される。レッドピクセル転送トランジスタＴＴＲ７～ＴＴＲ９のソースドレインは第６フローティングディフュージョンＦＤ６に連結され、第６フローティングディフュージョンＦＤ６は第６カラムラインＣＯＬ６に連結される。しかし、本発明の実施形態はこれに制限されず、レッドピクセル転送トランジスタＴＴＲ１～ＴＴＲ９のソースドレインは一つのフローティングディフュージョンＦＤにすべて連結されることもできる。
【0048】
図６を参照すると、第１共有グリーンピクセルグループＳＧＧ１は第１カラムラインＣＯＬ１に連結される。ここで第１カラムラインＣＯＬ１は第１リセットトランジスタＲＴ１、第１ソースフォロワトランジスタＳＦ１、第１選択トランジスタＳＴ１とメタルラインＭＬＮを含み得る。第１ロウラインＲＯＷ１ａ～ＲＯＷ１ｃ、第１リセットトランジスタＲＴ１の第１リセットゲートＲＧ１、第１選択トランジスタＳＴ１の第１選択ゲートＳＧ１はロウドライバ１１３０に連結される。ロウドライバ１１３０は第１ロウラインＲＯＷ１ａ～ＲＯＷ１ｃに第１ないし第３伝送制御信号ＴＳ１～ＴＳ３を伝送し、第１リセットゲートＲＧ１にリセット制御信号ＲＳ１を伝送し、第１選択ゲートＳＧ１に選択制御信号ＳＳ１を伝送する。ロウドライバ１１３０は信号を伝送して第１共有グリーンピクセルグループＳＧＧ１がピクセル信号ＳＩＧ＿ＰＸを出力するようにする。
【0049】
第１フローティングディフュージョンＦＤ１は第１リセットトランジスタＲＴ１のソースドレインに連結され、リセットトランジスタＲＴ１の他のソースドレインは電源電圧ＶＤＤに連結される。また、第１フローティングディフュージョンＦＤ１は第１ソースフォロワトランジスタＳＦ１のソースフォロワゲートＦＧ１にも連結される。第１ソースフォロワトランジスタＳＦ１のソースドレインは電源電圧ＶＤＤに連結される。第１ソースフォロワトランジスタＳＦ１の他のソースドレインは第１選択トランジスタＳＴ１のソースドレインに連結され、第１選択トランジスタＳＴ１の他のソースドレインはメタルラインＭＬＮに連結される。
【0050】
図７を参照すると、第１共有グリーンピクセルグループＳＧＧ１の第１ないし第３グリーンピクセルＧ１～Ｇ３は、それぞれの露光時間Ｔ１～Ｔ３の間充電した光電荷に基づいてピクセル信号ＳＩＧ＿ＰＸを互いに異なる時点Ｔ４～Ｔ６に出力する。時間Ｔａでロウドライバ１１３０は第１フローティングディフュージョンＦＤ１をリセットさせるようにロジックハイのリセット制御信号ＲＳ１を第１リセットトランジスタＲＴ１に伝送する。この場合、第１リセットトランジスタＲＴ１はターンオンされ、第１フローティングディフュージョンＦＤ１に電源電圧ＶＤＤが印加される。
【0051】
時間Ｔｂでロウドライバ１１３０は第１グリーンピクセル転送トランジスタＴＴＧ１のゲート電極ＴＧＧ＿１にロジックハイの第１伝送制御信号ＴＳ１を印加する。そのため、第１グリーンピクセルフォトダイオードＰＤＧ１は充電された光電荷をすべて第１フローティングディフュージョンＦＤ１に放電させることができ、その結果、第１グリーンピクセルフォトダイオードＰＤＧ１はリセット状態になる。
【0052】
露光時間Ｔ１で第１グリーンピクセルフォトダイオードＰＤＧ１は光電荷を充電する。すなわち、第１グリーンピクセルＧ１は露光時間Ｔ１だけ露光し得る。また、露光時間Ｔ２の間に第２グリーンピクセルフォトダイオードＰＤＧ２は光電荷を充電し、露光時間Ｔ３の間に第３グリーンピクセルフォトダイオードＰＤＧ３は光電荷を充電し得る。
【0053】
第１ないし第３グリーンピクセルフォトダイオードＰＤＧ１～ＰＤＧ３から出力された光電荷は互いに異なる時点Ｔ４～Ｔ６に第１フローティングディフュージョンＦＤ１に伝達される。すなわち、各ピクセルから出力されるピクセル信号ＳＩＧ＿ＰＸは互いに異なる時点に出力される。すなわち、互いに異なる時点Ｔ４～Ｔ６でのリセット制御信号ＲＳ１および選択制御信号ＳＳ１によって第１カラムラインＣＯＬ１を介して互いに異なる時点でのピクセル信号ＳＩＧ＿ＰＸがリードアウト回路１１５０に伝達される。ここでピクセル信号ＳＩＧ＿ＰＸは第１ないし第３グリーンピクセルフォトダイオードＰＤＧ１～ＰＤＧ３の少なくとも一つに蓄積された電荷に基づくピクセル信号であり得る。また、ピクセル信号ＳＩＧ＿ＰＸは第１ソースフォロワトランジスタＳＦ１から出力される。メタルラインＭＬＮは第１ソースフォロワトランジスタＳＦ１から第１ピクセル信号ＳＩＧ＿ＰＸを受信し、リードアウト回路１１５０にこれを伝達する。
【0054】
【0055】
【0056】
図８を参照すると、ピクセルアレイＰＡ’は第１ノナグリーンピクセルグループＮＧＧ１’、第２ノナグリーンピクセルグループＮＧＧ２’、第１ノナレッドピクセルグループＮＲＧ１’および第１ノナブルーピクセルグループＮＢＧ１’を含み得る。ここでそれぞれのピクセルグループは一つのフローティングディフュージョンＦＤを共有する。例えば、第１ノナグリーンピクセルグループＮＧＧ１’は一つのフローティングディフュージョンＦＤを共有し、第２ノナグリーンピクセルグループＮＧＧ２’は一つのフローティングディフュージョンＦＤを共有し、第１ノナレッドピクセルグループＮＲＧ１’は一つのフローティングディフュージョンＦＤを共有し、第２ノナブルーピクセルグループＮＢＧ１’は一つのフローティングディフュージョンＦＤを共有する。ここでピクセルアレイＰＡ’はノナパターンに該当する。
【0057】
図９を参照すると、ピクセルアレイＰＡ’から生成されたピクセル信号ＳＩＧ＿ＰＸはリードアウト回路１１５０およびバッファ部１１７０を介してイメージ信号プロセッサ９００に伝達される。リードアウト回路１１５０はビニング決定部１１５１、相関二重サンプラ１１５２、およびアナログ－デジタルコンバータ１１５３を含み得る。ビニング決定部１１５１はピクセルアレイＰＡ’から出力されたピクセル信号ＳＩＧ＿ＰＸを受信する。例えば、ビニング決定部１１５１は第１ノナグリーンピクセルグループＮＧＧ１’から複数のピクセル値を含むピクセル信号ＳＩＧ＿ＰＸを受信する。ビニング決定部１１５１はピクセル信号ＳＩＧ＿ＰＸに対してビニング動作を行うかどうかを決定する。ビニング決定部１１５１がビニング動作を行うことに決定する場合に、ビニング決定部１１５１はピクセル信号ＳＩＧ＿ＰＸに対してアナログビニング動作を行う。ビニング決定部１１５１がビニング動作を行わないことに決定する場合に、ビニング決定部１１５１はピクセル信号ＳＩＧ＿ＰＸを相関二重サンプラ１１５２に伝達する。本発明の実施形態では、ビニング決定部１１５１は動作せずビニングされないピクセル信号ＳＩＧ＿ＰＸが出力される場合を仮定して説明する。
【0058】
相関二重サンプラ１１５２およびアナログ－デジタルコンバータ１１５３を介して変換されたピクセル信号ＳＩＧ＿ＰＸはバッファ部１１７０に提供される。バッファ部１１７０はピクセル信号ＳＩＧ＿ＰＸをバッファリングしてイメージ信号プロセッサ９００に伝達する。
【0059】
イメージ信号プロセッサ９００は不良ピクセル補正器９１０およびリモザイクモジュール９２０を含み得る。ここでイメージ信号プロセッサ９００はイメージセンサ１００に連結されるホストに該当する。イメージ信号プロセッサ９００はバッファ部１１７０からピクセル信号ＳＩＧ＿ＰＸを受信する。
【0060】
不良ピクセル補正器９１０はピクセル信号ＳＩＧ＿ＰＸに基づいて補正ピクセル信号ＳＩＧ＿ＰＸ＿Ｃを生成する。すなわち、不良ピクセル補正器９１０はピクセル信号ＳＩＧ＿ＰＸで不良ピクセルを決定し、決定された不良ピクセルに該当する不良ピクセル信号を正常ピクセル信号に補正する。すなわち、不良ピクセル補正器９１０は不良ピクセル信号を無視し、他のピクセル信号を参照して正常ピクセル信号を有する補正ピクセル信号ＳＩＧ＿ＰＸ＿Ｃを生成する。ここで不良ピクセル補正器９１０は不良ピクセルに決定されたピクセル信号ＳＩＧ＿ＰＸのみを補正し、他のピクセル信号ＳＩＧ＿ＰＸに対しては補正を行わない。不良ピクセル信号に係る情報はイメージ信号プロセッサ９００の不揮発性メモリに保存されている。
【0061】
リモザイクモジュール９２０は不良ピクセル補正器９１０から補正ピクセル信号ＳＩＧ＿ＰＸ＿Ｃを受信する。リモザイクモジュール９２０は補正ピクセル信号ＳＩＧ＿ＰＸ＿Ｃに対してリモザイクを行う。ここで、リモザイクはピクセル信号ＳＩＧ＿ＰＸまたは補正ピクセル信号ＳＩＧ＿ＰＸ＿Ｃを用いて高画質のイメージ信号ＩＭＳを出力する作業であり得る。すなわち、リモザイクモジュール９２０はノナパターンを有するピクセル信号ＳＩＧ＿ＰＸをベイヤーパターンを有するイメージ信号ＩＭＳに補正することができる。ここでイメージ信号ＩＭＳが有するベイヤーパターンは第２パターンに該当する。第２パターンはノナパターンに該当する第１パターンより高周波パターンに該当する。リモザイクモジュール９２０に続いて、イメージ信号ＩＭＳにデモザイクが行われる。デモザイクが行われるのに伴って、イメージ信号ＩＭＳは各ピクセルＰＸに対するすべてのカラーのピクセル値を有することができる。したがって、高画質のイメージ信号ＩＭＳが出力される。
【0062】
【0063】
図１０および図１１を参照すると、イメージセンサ１００およびイメージ信号プロセッサ９００はビニングモードであるか否かを判断する（Ｓ４００）。例えば、イメージセンサ１００のリードアウト回路１１５０のビニング決定部１１５１はアナログビニングを行うかどうかを判断し、イメージ信号プロセッサ９００はデジタルビニングを行うかどうかを判断する。
【0064】
ビニングモードであると判断される場合（Ｓ４００－Ｙ）、イメージセンサ１００およびイメージ信号プロセッサ９００はピクセル信号ＳＩＧ＿ＰＸに基づいてビニングを行う（Ｓ４０４）。すなわち、ビニング決定部１１５１はピクセル信号ＳＩＧ＿ＰＸに含まれるピクセル値に対してビニングを行いビニングピクセル信号を出力し、イメージ信号プロセッサ９００はビニングピクセル信号に対してデジタルビニングを行いイメージ信号ＩＭＳを出力する。この時、出力されたイメージ信号ＩＭＳの画質は本来の画質より低い。また、イメージセンシング装置１は低照度の環境で用いられる場合に、ビニングモードで動作する。
【0065】
ビニングモードでないと判断される場合（Ｓ４００－Ｎ）、イメージ信号プロセッサ９００はピクセル信号ＳＩＧ＿ＰＸを受信する（Ｓ４０１）。例えば、不良ピクセル補正器９１０はイメージセンサ１００からピクセル信号ＳＩＧ＿ＰＸを受信する。この時、ピクセル信号ＳＩＧ＿ＰＸはアナログビニングが行われていない信号であり得る。
【0066】
例えば、ピクセル信号ＳＩＧ＿ＰＸは図１１に示された複数のピクセル値を含み得る。ここで、複数のピクセル値はイメージセンサ１００のピクセルアレイＰＡまたはピクセルアレイＰＡ’に対応する。ピクセル信号ＳＩＧ＿ＰＸは複数のグリーンピクセル値Ｇ１Ｓ～Ｇ４５Ｓ、複数のレッドピクセル値Ｒ１Ｓ～Ｒ１８Ｓおよび複数のブルーピクセル値Ｂ１Ｓ～Ｂ１８Ｓを含み得る。それぞれのピクセル値はピクセルアレイＰＡのグリーンピクセルＧ１～Ｇ４５、レッドピクセルＲ１～Ｒ１８およびブルーピクセルＢ１～Ｂ１８に対応する。また、ピクセル信号ＳＩＧ＿ＰＸのピクセル値はノナグリーンピクセルグループＮＧＧ１～ＮＧＧ５、ノナブルーピクセルグループＮＢＧ１，ＮＢＧ２およびノナレッドピクセルグループＮＲＧ１，ＮＲＧ２に対応する。
【0067】
ここで、第２ノナグリーンピクセルグループＮＧＧ２が不良ピクセルに決定され、第２ノナグリーンピクセルグループＮＧＧ２から出力される第１０ないし第１８グリーンピクセル値Ｇ１０Ｓ～Ｇ１８Ｓが不良ピクセルグループ信号ＢＰＸＧに決定される。イメージセンサ１００のピクセルアレイＰＡの欠点によって第２ノナグリーンピクセルグループＮＧＧ２に問題があり得、これから出力された出力される第１０ないし第１８グリーンピクセル値Ｇ１０Ｓ～Ｇ１８Ｓはエラーを有する。したがって、不良ピクセルグループ信号ＢＰＸＧに該当する第１０ないし第１８グリーンピクセル値Ｇ１０Ｓ～Ｇ１８Ｓのエラーを補正する必要がある。
【0068】
再び図９および図１０を参照すると、不良ピクセル補正器９１０はピクセル信号ＳＩＧ＿ＰＸに基づいて補正ピクセル信号ＳＩＧ＿ＰＸ＿Ｃを生成し、不良ピクセルグループ信号ＢＰＸＧを補正する（Ｓ４０２）。図１１を参照すると、不良ピクセル補正器９１０はピクセル信号ＳＩＧ＿ＰＸの不良ピクセルグループ信号ＢＰＸＧを補正して補正ピクセルグループ信号ＣＰＸＧを生成する。ここで補正ピクセルグループ信号ＣＰＸＧは補正ピクセル信号ＳＩＧ＿ＰＸ＿Ｃに含まれ得る。補正ピクセル信号ＳＩＧ＿ＰＸ＿Ｃは不良ピクセル補正が行われていないピクセル値Ｇ１Ｓ～Ｇ９Ｓ，Ｇ１９Ｓ～Ｇ４５Ｓ，Ｒ１Ｓ～Ｒ１８Ｓ，Ｂ１Ｓ～Ｂ１８Ｓと不良ピクセル補正が行われた補正ピクセルグループ信号ＣＰＸＧを含み得る。
【0069】
不良ピクセル補正器９１０は不良ピクセルグループ信号ＢＰＸＧでない他のピクセル信号のピクセル値に基づいて不良ピクセルグループ信号ＢＰＸＧを補正ピクセルグループ信号ＣＰＸＧに代える。すなわち、補正ピクセルグループ信号ＣＰＸＧはピクセル値Ｇ１Ｓ～Ｇ９Ｓ，Ｇ１９Ｓ～Ｇ４５Ｓ，Ｒ１Ｓ～Ｒ１８Ｓ，Ｂ１Ｓ～Ｂ１８Ｓに基づいて生成される。これに係るより詳細な説明は後述する。
【0070】
補正ピクセルグループ信号ＣＰＸＧはグリーンカラーに係る第１ないし第５補正グリーンピクセル値ＣＧ１Ｓ～ＣＧ５Ｓ、レッドカラーに係る第１および第２補正レッドピクセル値ＣＲ１Ｓ，ＣＲ２Ｓとブルーカラーに係る第１および第２補正ブルーピクセル値ＣＢ１Ｓ，ＣＢ２Ｓを含み得る。不良ピクセルグループ信号ＢＰＸＧがグリーンカラーに係る第１０ないし第１８グリーンピクセル値Ｇ１０Ｓ～Ｇ１８Ｓを含むことに対して、補正ピクセルグループ信号ＣＰＸＧはグリーンカラー、レッドカラーおよびブルーカラーすべてに係るピクセル値を含み得る。すなわち、不良ピクセル補正器９１０は一つのカラーに対する不良ピクセルグループ信号ＢＰＸＧに対して不良ピクセル補正を行うことによって、補正ピクセルグループ信号ＣＰＸＧを生成する。ここで、補正ピクセルグループ信号ＣＰＸＧはベイヤーパターンに該当する。すなわち、不良ピクセル補正器９１０はノナパターンに該当する不良ピクセルグループ信号ＢＰＸＧをベイヤーパターンに該当する補正ピクセルグループ信号ＣＰＸＧに変換させることができる。ここで補正ピクセルグループ信号ＣＰＸＧが有するベイヤーパターンは第２パターンに該当する。第２パターンはノナパターンに該当する第１パターンより高周波パターンに該当する。
【0071】
不良ピクセルグループ信号ＢＰＸＧに対して一つのカラーに対する補正ピクセル値で不良ピクセル補正を行った後にリモザイクを行うのではなく、ベイヤーパターンに該当する補正ピクセルグループ信号ＣＰＸＧを一度に生成することによってイメージ処理効率が向上することができる。また、補間した一つのカラーに対する補正ピクセル値でない、周囲の他のピクセル値に基づいて不良ピクセル補正を行うことによって、生成された補正ピクセルグループ信号ＣＰＸＧの誤差発生が減少する。
【0072】
【0073】
図１２ないし図１４を参照すると、イメージセンシング装置１は角度（θ）を検出する（Ｓ４１０）。例えば、イメージ信号プロセッサ９００はピクセル信号ＳＩＧ＿ＰＸから該当イメージの角度（θ）を検出する。ここでイメージの角度（θ）はイメージの固有な特性に該当する。例えば、角度（θ）は０度～９０度の間の角度値で定義される。ここで角度（θ）は鋭角であると仮定して説明するが、本発明の実施形態はこれに制限されない。
【0074】
ピクセル信号ＳＩＧ＿ＰＸは不良ピクセルグループ信号ＢＰＸＧとその周囲の他のピクセル値を含み得る。例えば、ピクセル信号ＳＩＧ＿ＰＸは不良ピクセルグループ信号ＢＰＸＧの左側に該当するレフトブルーピクセル値（Ｂθ，Ｌ）およびレフトグリーンピクセル値（Ｇθ，ＬＬ）を含み得る。例えば、ピクセル信号ＳＩＧ＿ＰＸは不良ピクセルグループ信号ＢＰＸＧの右側に該当するライトブルーピクセル値（Ｂθ，Ｒ）およびライトグリーンピクセル値（Ｇθ，ＲＲ）を含み得る。例えば、ピクセル信号ＳＩＧ＿ＰＸは不良ピクセルグループ信号ＢＰＸＧの上部に該当するトップレッドピクセル値（Ｒθ，Ｔ）およびトップライトグリーンピクセル値（Ｇθ，ＴＲ）を含み得る。例えば、ピクセル信号ＳＩＧ＿ＰＸは不良ピクセルグループ信号ＢＰＸＧの下部に該当するボトムレッドピクセル値（Ｒθ，Ｂ）およびボトムグリーンピクセル値（Ｇθ，ＢＬ）を含み得る。
【0075】
ここで、レフトブルーピクセル値（Ｂθ，Ｌ）、レフトグリーンピクセル値（Ｇθ，ＬＬ）、ライトブルーピクセル値（Ｂθ，Ｒ）、ライトグリーンピクセル値（Ｇθ，ＲＲ）、トップレッドピクセル値（Ｒθ，Ｔ）、トップライトグリーンピクセル値（Ｇθ，ＴＲ）、ボトムレッドピクセル値（Ｒθ，Ｂ）およびボトムグリーンピクセル値（Ｇθ，ＢＬ）に該当するピクセルＰＸは不良ピクセルグループ信号ＢＰＸＧに該当するピクセルＰＸに隣接する。すなわち、イメージ信号プロセッサ９００はすべてのカラーに該当するピクセル値を導き出すことができる。
【0076】
イメージ信号プロセッサ９００はカラーピクセル値の間の関係式を計算する（Ｓ４１１）。
【0077】
図１３を参照すると、イメージ信号プロセッサ９００はレフトブルーピクセル値（Ｂθ，Ｌ）、レフトグリーンピクセル値（Ｇθ，ＬＬ）、ライトブルーピクセル値（Ｂθ，Ｒ）、ライトグリーンピクセル値（Ｇθ，ＲＲ）、トップレッドピクセル値（Ｒθ，Ｔ）、トップライトグリーンピクセル値（Ｇθ，ＴＲ）、ボトムレッドピクセル値（Ｒθ，Ｂ）およびボトムグリーンピクセル値（Ｇθ，ＢＬ）の間の関係式を計算する。
【0078】
例えば、グリーンピクセル値とブルーピクセル値は次の数式１のように線形的に表現される。
【0079】
＜数式１＞
【0080】
【数1】
【0081】
また、グリーンピクセル値とレッドピクセル値は次の数式２のように線形的に表現される。
【0082】
＜数式２＞
【0083】
【数2】
すなわち、ボトムグリーンピクセル値（Ｇθ，ＢＬ）は、トップレッドピクセル値（Ｒθ，Ｔ）に係る関係式で示され、トップライトグリーンピクセル値（Ｇθ，ＴＲ）はボトムレッドピクセル値（Ｒθ，Ｂ）に係る関係式で示される。
【0084】
これにより導き出されたブルーカラーに係るピクセル値に対するグリーンカラーに係るピクセル値の関係式は次の数式３のとおりである。
【0085】
＜数式３＞
【0086】
【数3】
ここで、fθ,B2G(B)はブルーピクセル値をグリーンピクセル値に変換するための関数に該当する。
【0087】
また、レッドカラーに係るピクセル値に対するグリーンカラーに係るピクセル値の関係式は次の数式４のとおりである。
【0088】
＜数式４＞
【0089】
【数4】
【0090】
すなわち、イメージ信号プロセッサはピクセル信号ＳＩＧ＿ＰＸのピクセル値を用いて関係式であるfθ,B2G(B)および fθ,B2G(R)を計算する。また，この関係式を用いて各チャネル間のピクセル値の変換が行われる。
【0091】
【0092】
図１４を参照すると、イメージ信号プロセッサ９００は周囲のピクセル値（Ｒ７Ｓ～Ｒ９Ｓ，Ｒ１０Ｓ～Ｒ１２Ｓ，Ｇ９Ｓ，Ｇ２５Ｓ，Ｇ３０Ｓ，Ｇ３７Ｓ，Ｂ３Ｓ，Ｂ６Ｓ，Ｂ９Ｓ，Ｂ１０Ｓ，Ｂ１３Ｓ，Ｂ１６Ｓなど）を用いて補正ピクセルグループ信号ＣＰＸＧを生成する。すなわち、イメージ信号プロセッサ９００は周囲のピクセル値と計算された関係式を用いて補正ピクセルグループ信号ＣＰＸＧのピクセル値（ＣＧ１Ｓ～ＣＧ５Ｓ，ＣＢ１Ｓ，ＣＢ２Ｓ，ＣＲ１ＳおよびＣＲ２Ｓ）を生成する。
【0093】
補正ピクセルグループ信号ＣＰＸＧの第２補正グリーンピクセル値ＣＧ２Ｓは次の数式５を用いて生成される。
【0094】
＜数式５＞
【0095】
【数5】
【0096】
＜数式６＞
【0097】
【数6】
【0098】
＜数式７＞
【0099】
【数7】
すなわち、第２補正レッドピクセル値ＣＲ２Ｓは第１０ブルーピクセル値Ｂ１０Ｓ、第１３ブルーピクセル値Ｂ１３Ｓ、第１６ブルーピクセル値Ｂ１６Ｓとブルーカラー－グリーンカラー関係式およびレッドカラー－グリーンカラー関係式を用いて導き出される。
【0100】
このような過程により、周辺部に位置した第１補正グリーンピクセル値ＣＧ１Ｓ、第２補正グリーンピクセル値ＣＧ２Ｓ、第４補正グリーンピクセル値ＣＧ４Ｓ、第５補正グリーンピクセル値ＣＧ５Ｓ、第１補正レッドピクセル値ＣＲ１Ｓおよび第２補正レッドピクセル値ＣＲ２Ｓが計算される。
【0101】
次に、計算された補正ピクセル値と関係式を用いて中央部に位置した補正ピクセル値が計算される。
【0102】
補正ピクセルグループ信号ＣＰＸＧの第１補正ブルーピクセル値ＣＢ１Ｓは次の数式８を用いて生成される。
【0103】
＜数式８＞
【0104】
【数8】
すなわち、第１補正ブルーピクセル値ＣＢ１Ｓは第７レッドピクセル値Ｒ７Ｓ、第９レッドピクセル値Ｒ９Ｓ、第１補正グリーンピクセル値ＣＧ１Ｓ、第２補正グリーンピクセル値ＣＧ２Ｓ、第１補正レッドピクセル値ＣＲ１Ｓおよび第２補正レッドピクセル値ＣＲ２Ｓとブルーカラー－グリーンカラー関係式およびレッドカラー－グリーンカラー関係式を用いて導き出される。
【0105】
このような過程により、中央部に位置した第１補正ブルーピクセル値ＣＢ１Ｓ、第２補正ブルーピクセル値ＣＢ２Ｓおよび第３補正グリーンピクセル値ＣＧ３Ｓが計算される。
【0106】
方法により補正ピクセルグループ信号ＣＰＸＧに含まれるピクセル値が計算される。これによりすべてのカラーに対するピクセル値が生成されることで、該当ピクセル値に対してはリモザイクをする必要がない。したがって、イメージ処理の効率性が向上することができる。また、一つのカラーに対するピクセル値で補正されないことにより、不良ピクセル補正の誤差が減少する。
【0107】
再び図１１を参照すると、リモザイクモジュール９２０は補正ピクセル信号ＳＩＧ＿ＰＸ＿Ｃに基づいてリモザイクを行う（Ｓ４０３）。ここで補正ピクセル信号ＳＩＧ＿ＰＸ＿Ｃは不良ピクセル補正器９１０により補正された補正ピクセルグループ信号ＣＰＸＧと、不良ピクセル補正器９１０により補正が行われていないピクセル値Ｇ１Ｓ～Ｇ９Ｓ，Ｇ１９Ｓ～Ｇ４５Ｓ，Ｒ１Ｓ～Ｒ１８Ｓ，Ｂ１Ｓ～Ｂ１８Ｓを含み得る。
【0108】
図１５はいくつかの実施形態によるイメージ信号の生成を説明する図である。
【0109】
図１５を参照すると、リモザイクモジュール９２０は補正ピクセルグループ信号ＣＰＸＧを除いた補正ピクセル信号ＳＩＧ＿ＰＸ＿Ｃのピクセル値に対してリモザイクを行う。リモザイクモジュール９２０により生成されたイメージ信号ＩＭＳはＲＧＢベイヤーパターンに該当する第１ないし第３６グリーンピクセル値Ｇ１Ｓ’～Ｇ３６Ｓ’、第１ないし第１８ブルーピクセル値Ｂ１Ｓ’～Ｂ１８Ｓ’および第１ないし第１８レッドピクセル値Ｒ１Ｓ’～Ｒ１８Ｓ’を含み得る。また、イメージ信号ＩＭＳは補正ピクセル信号ＳＩＧ＿ＰＸ＿Ｃに含まれる補正ピクセルグループ信号ＣＰＸＧを含み得る。ここで、リモザイクが行われた第１ないし第３６グリーンピクセル値Ｇ１Ｓ’～Ｇ３６Ｓ’、第１ないし第１８ブルーピクセル値Ｂ１Ｓ’～Ｂ１８Ｓ’および第１ないし第１８レッドピクセル値Ｒ１Ｓ’～Ｒ１８Ｓ’と補正ピクセルグループ信号ＣＰＸＧはベイヤーパターンに該当する。すなわち、第１ないし第３６グリーンピクセル値Ｇ１Ｓ’～Ｇ３６Ｓ’、第１ないし第１８ブルーピクセル値Ｂ１Ｓ’～Ｂ１８Ｓ’および第１ないし第１８レッドピクセル値Ｒ１Ｓ’～Ｒ１８Ｓ’は三つのカラーに係るピクセル値を含み得る。
【0110】
例えば、リモザイクピクセルグループ信号ＲＰＸＧは第１グリーンピクセル値Ｇ１Ｓ’、第２グリーンピクセル値Ｇ２Ｓ’、第３グリーンピクセル値Ｇ３Ｓ’、第１０グリーンピクセル値Ｇ１０Ｓ’、第１２グリーンピクセル値Ｇ１２Ｓ’、第１ブルーピクセル値Ｂ１Ｓ’、第２ブルーピクセル値Ｂ２Ｓ’、第１レッドピクセル値Ｒ１Ｓ’および第５レッドピクセル値Ｒ５Ｓ’を含み得る。それぞれのピクセル値はＲＧＢベイヤーパターンに該当する。以後に、イメージ信号プロセッサ９００はイメージ信号ＩＭＳに対してデモザイクを行い、デモザイクが行われたイメージ信号ＩＭＳはディスプレイにより出力される。これにより不良ピクセルが補正され、画質が改善されたイメージが出力される。
【0111】
【0112】
【0113】
図１６および図１７を参照すると、イメージ信号プロセッサ９００はピクセル信号ＳＩＧ＿ＰＸに基づいて補正ピクセル信号ＳＩＧ＿ＰＸ＿Ｃを生成する。該当過程は図１ないし図１５を参照して説明した内容と同様である。イメージ信号プロセッサ９００は不良ピクセルグループ信号ＢＰＸＧを一つのカラーに対するピクセル値で補正することによって、ピクセル信号ＳＩＧ＿ＰＸ＿２を生成する。ここで、ピクセル信号ＳＩＧ＿ＰＸ＿２は第１０ないし第１８補正グリーンピクセル値Ｇ１０Ｓ”～Ｇ１８Ｓ”を含み得る。すなわち、ピクセル信号ＳＩＧ＿ＰＸ＿２は複数のカラーに対するピクセル値を生成せず、一つのカラーに対するピクセル値を生成する。ここで第１０ないし第１８補正グリーンピクセル値Ｇ１０Ｓ”～Ｇ１８Ｓ”は周囲の第１ないし第９グリーンピクセル値Ｇ１Ｓ～Ｇ９Ｓ、第１９ないし第４５グリーンピクセル値Ｇ１９Ｓ～Ｇ４５Ｓを参照して生成される。
【0114】
イメージ信号プロセッサ９００はピクセル信号ＳＩＧ＿ＰＸ＿２に対してリモザイクを行いイメージ信号ＩＭＳ’を生成する。ここでイメージ信号ＩＭＳ’は第１０ないし第１８補正グリーンピクセル値Ｇ１０Ｓ”～Ｇ１８Ｓ”を参照して生成される。
【0115】
イメージ信号プロセッサ９００は補正ピクセル信号ＳＩＧ＿ＰＸ＿Ｃを用いてイメージ信号ＩＭＳ’を補正してイメージ信号ＩＭＳ”を生成する。例えば、イメージ信号ＩＭＳ’の第３７ないし第４１グリーンピクセル値Ｇ３７Ｓ’～Ｇ４１Ｓ’は補正ピクセル信号ＳＩＧ＿ＰＸ＿Ｃの第１ないし第５補正グリーンピクセル値ＣＧ１Ｓ～ＣＧ５Ｓに代える。すなわち、既存の方法を用いて生成されたイメージ信号ＩＭＳ’を補正ピクセル信号ＳＩＧ＿ＰＸ＿Ｃを用いて補正することができる。
【0116】
以下、図１８を参照して他のいくつかの実施形態によるピクセル信号の処理方法について説明する。
【0117】
【0118】
図１８を参照すると、イメージ信号プロセッサ９００はピクセル信号ＳＩＧ＿ＰＸ＿２に対して不良ピクセル補正を行い補正ピクセル信号ＳＩＧ＿ＰＸ＿Ｃ＿２を生成する。ここでピクセル信号ＳＩＧ＿ＰＸ＿２はテトラパターン（ｔｅｔｒａ ｐａｔｔｅｒｎ）に該当する。すなわち、ピクセル信号ＳＩＧ＿ＰＸ＿２を出力するイメージセンサ１００のピクセルアレイＰＡはテトラパターンで配列される。そのため、ピクセル信号ＳＩＧ＿ＰＸ＿２は第１ないし第２０グリーンピクセル値Ｇ１Ｓ～Ｇ２０Ｓ、第１ないし第８レッドピクセル値Ｒ１Ｓ～Ｒ８Ｓおよび第１ないし第８ブルーピクセル値Ｂ１Ｓ～Ｂ８Ｓを含み得る。ここで第９ないし第１２グリーンピクセル値Ｇ９Ｓ～Ｇ１２Ｓが不良ピクセルグループ信号ＢＰＸＧに該当する。
【0119】
イメージ信号プロセッサ９００は不良ピクセルグループ信号ＢＰＸＧを補正ピクセルグループ信号ＣＰＸＧに代える。ここで補正ピクセルグループ信号ＣＰＸＧは不良ピクセルグループ信号ＢＰＸＧでないピクセル値を用いて生成される。補正ピクセルグループ信号ＣＰＸＧは第１補正グリーンピクセル値ＣＧ１Ｓ、第２補正グリーンピクセル値ＣＧ２Ｓ、第１補正レッドピクセル値ＣＲ１Ｓおよび第１補正ブルーピクセル値ＣＢ１Ｓを含み得る。第１補正グリーンピクセル値ＣＧ１Ｓ、第２補正グリーンピクセル値ＣＧ２Ｓ、第１補正レッドピクセル値ＣＲ１Ｓおよび第１補正ブルーピクセル値ＣＢ１Ｓに対応するピクセルアレイＰＡのピクセルはＲＧＢベイヤーパターンで配列される。しかし、本発明の実施形態はこれに制限されない。
【0120】
整理すれば、イメージ信号プロセッサ９００はテトラパターンに該当するピクセル信号ＳＩＧ＿ＰＸ＿２に対して不良ピクセル補正を行いＲＧＢベイヤーパターンに該当する補正ピクセルグループ信号ＣＰＸＧを生成する。不良ピクセルグループ信号ＢＰＸＧが一つのカラーに係るものであることに対して、補正ピクセルグループ信号ＣＰＸＧは複数のカラーに係るものである。
【0121】
【0122】
図１９はいくつかの実施形態によるピクセル信号の処理方法を説明するための図である。図２０はいくつかの実施形態によるピクセル信号の処理方法を説明するための図である。説明の便宜上、図１ないし図１７を用いて説明した内容と重複する内容は簡略に説明するかまたは省略する。
【0123】
図１９を参照すると、イメージ信号プロセッサ９００はピクセル信号ＳＩＧ＿ＰＸ＿３に対して不良ピクセル補正を行い補正ピクセル信号ＳＩＧ＿ＰＸ＿Ｃ＿３を生成する。ここでピクセル信号ＳＩＧ＿ＰＸ＿３は４×４パターンに該当する。すなわち、ピクセル信号ＳＩＧ＿ＰＸ＿３を出力するイメージセンサ１００のピクセルアレイＰＡは４×４パターンで配列される。そのため、ピクセル信号ＳＩＧ＿ＰＸ＿３は第１ないし第３２グリーンピクセル値Ｇ１Ｓ～Ｇ３２Ｓ、第１ないし第１６レッドピクセル値Ｒ１Ｓ～Ｒ１６Ｓおよび第１ないし第１６ブルーピクセル値Ｂ１Ｓ～Ｂ１６Ｓを含み得る。ここで第１７ないし第３２グリーンピクセル値Ｇ１７Ｓ～Ｇ３２Ｓが不良ピクセルグループ信号ＢＰＸＧに該当する。
【0124】
イメージ信号プロセッサ９００は不良ピクセルグループ信号ＢＰＸＧを補正ピクセルグループ信号ＣＰＸＧに代える。ここで補正ピクセルグループ信号ＣＰＸＧは不良ピクセルグループ信号ＢＰＸＧでないピクセル値を用いて生成される。補正ピクセルグループ信号ＣＰＸＧは第１ないし第８補正グリーンピクセル値ＣＧ１Ｓ～ＣＧ８Ｓ、第１ないし第４補正ブルーピクセル値ＣＢ１Ｓ～ＣＢ４Ｓ、および第１ないし第４補正レッドピクセル値ＣＲ１Ｓ～ＣＲ４Ｓを含み得る。すなわち、補正ピクセルグループ信号ＣＰＸＧはレッドカラー、グリーンカラーおよびブルーカラーに係るピクセル値をすべて含み得る。
【0125】
整理すれば、イメージ信号プロセッサ９００は４×４パターンに該当するピクセル信号ＳＩＧ＿ＰＸ＿３に対して不良ピクセル補正を行いＲＧＢベイヤーパターンに該当する補正ピクセルグループ信号ＣＰＸＧを生成する。
【0126】
図２０を参照すると、イメージ信号プロセッサ９００はピクセル信号ＳＩＧ＿ＰＸ＿３に対して不良ピクセル補正を行い補正ピクセル信号ＳＩＧ＿ＰＸ＿Ｃ＿３’を生成する。補正ピクセル信号ＳＩＧ＿ＰＸ＿Ｃ＿３’は補正ピクセルグループ信号ＣＰＸＧを含み得る。補正ピクセルグループ信号ＣＰＸＧは２×２パターンに該当するピクセル値を含み得る。例えば、補正ピクセルグループ信号ＣＰＸＧは第１ないし第４補正グリーンピクセル値ＣＧ１Ｓ～ＣＧ４Ｓ、第１ないし第４補正レッドピクセル値ＣＲ１Ｓ～ＣＲ４Ｓ、第１ないし第４補正ブルーピクセル値ＣＢ１Ｓ～ＣＢ４Ｓおよび第５ないし第８補正グリーンピクセル値ＣＧ５Ｓ～ＣＧ８Ｓを含み得る。すなわち、イメージ信号プロセッサ９００は４×４パターンに該当するピクセル値に対して不良ピクセル補正を行い２×２パターンに該当する補正ピクセル値を生成することができる。しかし、本発明の実施形態はこれに制限されない。
【0127】
【0128】
図２１はいくつかの実施形態によるイメージ信号プロセッサに係るブロック図である。図２２および図２３は図２１によるイメージ信号処理方法を説明するための図である。説明の便宜上、図１ないし図１７を用いて説明した内容と重複する内容は簡略に説明するかまたは省略する。
【0129】
図２１を参照すると、リードアウト回路１１５０はピクセルアレイＰＡからピクセル信号ＳＩＧ＿ＰＸ＿３を受信する。ここでピクセル信号ＳＩＧ＿ＰＸ＿３は図１９および図２０を参照して説明したピクセル信号ＳＩＧ＿ＰＸ＿３に該当する。すなわち、ピクセルアレイＰＡは４×４パターンで配列されたピクセルを含み得る。
【0130】
図２１および図２２を参照すると、ビニング決定部１１５１はピクセル信号ＳＩＧ＿ＰＸ＿３に対してビニングを行いビニングピクセル信号ＳＩＧ＿ＢＩＮを生成する。すなわち、ピクセル信号ＳＩＧ＿ＰＸ＿３に含まれるピクセル値のうち四つのピクセル値がビニングされて一つのピクセル値が生成される。例えば、第１グリーンピクセル値Ｇ１Ｓ、第２グリーンピクセル値Ｇ２Ｓ、第５グリーンピクセル値Ｇ５Ｓおよび第６グリーンピクセル値Ｇ６Ｓがビニングされて第１ビニンググリーンピクセル値ＢＧ１Ｓが生成される。第１ビニンググリーンピクセル値ＢＧ１Ｓは第１グリーンピクセル値Ｇ１Ｓ、第２グリーンピクセル値Ｇ２Ｓ、第５グリーンピクセル値Ｇ５Ｓおよび第６グリーンピクセル値Ｇ６Ｓの総和であり得る。
【0131】
すなわち、ビニング決定部１１５１は第１ないし第３２グリーンピクセル値Ｇ１Ｓ～Ｇ３２Ｓ、第１ないし第１６ブルーピクセル値Ｂ１Ｓ～Ｂ１６Ｓおよび第１ないし第１６レッドピクセル値Ｒ１Ｓ～Ｒ１６Ｓに基づいて第１ないし第８ビニンググリーンピクセル値ＢＧ１Ｓ～ＢＧ８Ｓ、第１ないし第４ビニングレッドピクセル値ＢＲ１Ｓ～ＢＲ４Ｓおよび第１ないし第４ビニングブルーピクセル値ＢＢ１Ｓ～ＢＢ４Ｓを生成することができる。ビニングピクセル信号ＳＩＧ＿ＢＩＮのピクセル値はテトラベイヤーパターンに該当するが、本発明の実施形態はこれに制限されない。
【0132】
図２１および図２３を参照すると、イメージ信号プロセッサ９００はビニングピクセル信号ＳＩＧ＿ＢＩＮを受信する。不良ピクセル補正器９１０はビニングピクセル信号ＳＩＧ＿ＢＩＮに対して不良ピクセル補正を行い補正ピクセル信号ＳＩＧ＿ＢＩＮ＿Ｃを生成する。ここで補正ピクセル信号ＳＩＧ＿ＢＩＮ＿Ｃは補正ピクセルグループ信号ＣＰＸＧを含み得る。補正ピクセルグループ信号ＣＰＸＧはレッドカラー、ブルーカラー、およびグリーンカラーに係るピクセル値（ＣＢＧ１Ｓ、ＣＢＧ２Ｓ、ＣＢＲ１ＳおよびＣＢＢ１Ｓ）を含み得る。以後に、残りのピクセル値に対してリモザイクが行われる。
【0133】
以下、図２４を参照して他のいくつかの実施形態によるピクセル信号の処理方法について説明する。
【0134】
【0135】
図２４を参照すると、イメージ信号プロセッサ９００はピクセル信号ＳＩＧ＿ＰＸ＿４に対して不良ピクセル補正を行い補正ピクセル信号ＳＩＧ＿ＰＸ＿Ｃ＿４を生成する。ここでピクセル信号ＳＩＧ＿ＰＸ＿４は５×５パターンに該当する。すなわち、ピクセル信号ＳＩＧ＿ＰＸ＿４を出力するイメージセンサ１００のピクセルアレイＰＡは５×５パターンで配列される。そのため、ピクセル信号ＳＩＧ＿ＰＸ＿４は第１ないし第５０グリーンピクセル値Ｇ１Ｓ～Ｇ５０Ｓ、第１ないし第２５レッドピクセル値Ｒ１Ｓ～Ｒ２５Ｓおよび第１ないし第２５ブルーピクセル値Ｂ１Ｓ～Ｂ２５Ｓを含み得る。ここで第２６ないし第５０グリーンピクセル値Ｇ２６Ｓ～Ｇ５０Ｓが不良ピクセルグループ信号ＢＰＸＧに該当する。
【0136】
イメージ信号プロセッサ９００は不良ピクセルグループ信号ＢＰＸＧを補正ピクセルグループ信号ＣＰＸＧに代える。ここで補正ピクセルグループ信号ＣＰＸＧは不良ピクセルグループ信号ＢＰＸＧでないピクセル値を用いて生成される。補正ピクセルグループ信号ＣＰＸＧは第１ないし第１３補正グリーンピクセル値ＣＧ１Ｓ～ＣＧ１３Ｓ、第１ないし第６補正ブルーピクセル値ＣＢ１Ｓ～ＣＢ６Ｓ、および第１ないし第６補正レッドピクセル値ＣＲ１Ｓ～ＣＲ６Ｓを含み得る。すなわち、補正ピクセルグループ信号ＣＰＸＧはレッドカラー、グリーンカラーおよびブルーカラーに係るピクセル値をすべて含み得る。
【0137】
整理すれば、イメージ信号プロセッサ９００は５×５パターンに該当するピクセル信号ＳＩＧ＿ＰＸ＿４に対して不良ピクセル補正を行いＲＧＢベイヤーパターンに該当する補正ピクセルグループ信号ＣＰＸＧを生成することができる。
【0138】
図２５はいくつかの実施形態によるイメージセンサの上面図である。
【0139】
図２５を参照すると、イメージセンサ１００’はマイクロレンズＭＬ’を含み得る。ここでマイクロレンズＭＬ’は複数のピクセルをオーバーラップする。すなわち、図１ないし図２４を参照して説明したイメージセンサ１００のマイクロレンズＭＬが一つのピクセルのみをオーバーラップすることとは異なり、イメージセンサ１００’のマイクロレンズＭＬ’は第１ノナグリーンピクセルグループＮＧＧ１をすべてオーバーラップする。マイクロレンズＭＬ’を透過した光は第１ノナグリーンピクセルグループＮＧＧ１にすべて入射される。しかし、本発明の実施形態はこれに制限されない。
【0140】
図２６はいくつかの実施形態によるイメージセンサの概念的なレイアウトを示す図である。
【0141】
図２６を参照すると、イメージセンサ１００”は上部チップ２００、下部チップ３００およびメモリチップ３００’を含み得る。ここで上部チップ２００、下部チップ３００およびメモリチップ３００’は第３方向Ｚに沿って順次積層される。メモリチップ３００’は下部チップ３００の下部に配置される。メモリチップ３００’はメモリ装置を含み得る。例えば、メモリチップ３００’はＤＲＡＭ、ＳＲＡＭなどの揮発性メモリ装置を含み得る。メモリチップ３００’は上部チップ２００および下部チップ３００から信号を伝達され、メモリ装置を介して信号を処理する。すなわち、メモリチップ３００’を含むイメージセンサ１００”は３スタックイメージセンサに該当する。
【0142】
【0143】
図２７はいくつかの実施形態によるマルチカメラモジュールを含む電子装置を説明するためのブロック図である。図２８は図２７のカメラモジュールの詳細ブロック図である。説明の便宜上、図１ないし図２６を用いて説明した内容と重複する内容は簡略に説明するかまたは省略する。
【0144】
図２７を参照すると、電子装置２０００はカメラモジュールグループ２１００、アプリケーションプロセッサ２２００、ＰＭＩＣ２３００、外部メモリ２４００およびディスプレイ２５００を含み得る。
【0145】
カメラモジュールグループ２１００は複数のカメラモジュール２１００ａ，２１００ｂ，２１００ｃを含み得る。図面には３個のカメラモジュール２１００ａ，２１００ｂ，２１００ｃが配置された実施形態が示されているが、実施形態はこれに制限されるものではない。いくつかの実施形態で、カメラモジュールグループ２１００は２個のカメラモジュールのみを含むように変形して実施できる。また、いくつかの実施形態で、カメラモジュールグループ２１００はｎ個（ｎは４以上の自然数）のカメラモジュールを含むように変形して実施することもできる。
【0146】
【0147】
以下、図２８を参照して、カメラモジュール２１００ｂの詳細構成についてより具体的に説明するが、以下の説明は実施形態によって他のカメラモジュール２１００ａ，２１００ｃについても同様に適用できる。
【0148】
図２８を参照すると、カメラモジュール２１００ｂはプリズム２１０５、光路フォールディング要素（Ｏｐｔｉｃａｌ Ｐａｔｈ Ｆｏｌｄｉｎｇ Ｅｌｅｍｅｎｔ、以下、「ＯＰＦＥ」，２１１０）、アクチュエータ２１３０、イメージセンシング装置２１４０および保存部２１５０を含み得る。
【0149】
プリズム２１０５は光反射物質の反射面２１０７を含み、外部から入射される光Ｌの経路を変形させることができる。
【0150】
いくつかの実施形態で、プリズム２１０５は第１方向Ｘに入射される光Ｌの経路を第１方向Ｘに垂直な第２方向Ｙに変更させる。また、プリズム２１０５は光反射物質の反射面２１０７を中心軸２１０６を中心にＡ方向に回転させたり、中心軸２１０６をＢ方向に回転させて第１方向Ｘに入射される光Ｌの経路を垂直な第２方向Ｙに変更させる。この時、ＯＰＦＥ２１１０も第１方向Ｘおよび第２方向Ｙと垂直な第３方向Ｚに移動する。
【0151】
いくつかの実施形態で、図示されたように、プリズム２１０５のＡ方向最大回転角度はプラス（＋）Ａ方向には１５度（ｄｅｇｒｅｅ）以下であり、マイナス（－）Ａ方向には１５度より大きくてもよいが、実施形態はこれに制限されるものではない。
【0152】
いくつかの実施形態で、プリズム２１０５はプラス（＋）またはマイナス（－）Ｂ方向に２０度内外、または１０度から２０度、または１５度から２０度の間で動き、ここで、動く角度はプラス（＋）またはマイナス（－）Ｂ方向に同じ角度で動くか、または１度内外の範囲でほぼ類似の角度まで動く。
【0153】
いくつかの実施形態で、プリズム２１０５は光反射物質の反射面２１０７を中心軸２１０６の延長方向と平行な第３方向（例えば、Ｚ方向）に移動する。
【0154】
ＯＰＦＥ２１１０は例えばｍ（ここで、ｍは自然数）個のグループからなる光学レンズを含み得る。ｍ個のレンズは第２方向Ｙに移動してカメラモジュール２１００ｂの光学ズーム倍率（ｏｐｔｉｃａｌ ｚｏｏｍ ｒａｔｉｏ）を変更できる。例えば、カメラモジュール２１００ｂの基本光学ズーム倍率をＺであるとするとき、ＯＰＦＥ２１１０に含まれたｍ個の光学レンズを移動させる場合、カメラモジュール２１００ｂの光学ズーム倍率は３Ｚまたは５Ｚ以上の光学ズーム倍率に変更することができる。
【0155】
アクチュエータ２１３０はＯＰＦＥ２１１０または光学レンズ（以下、光学レンズという）を特定位置に移動させる。例えばアクチュエータ２１３０は正確なセンシングのためにイメージセンサ２１４２が光学レンズの焦点距離（ｆｏｃａｌ ｌｅｎｇｔｈ）に位置するように光学レンズの位置を調整する。
【0156】
イメージセンシング装置２１４０はイメージセンサ２１４２、制御ロジック２１４４およびメモリ２１４６を含み得る。イメージセンサ２１４２は光学レンズを介して提供される光Ｌを用いてセンシング対象のイメージをセンシングする。いくつかの実施形態で、イメージセンサ２１４２は先立って説明したイメージセンサ１００を含み得る。
【0157】
制御ロジック２１４４はカメラモジュール２１００ｂの全般的な動作を制御する。例えば、制御ロジック２１４４は制御信号ラインＣＳＬｂを介して提供された制御信号によりカメラモジュール２１００ｂの動作を制御する。
【0158】
メモリ２１４６はキャリブレーションデータ２１４７のようなカメラモジュール２１００ｂの動作に必要な情報を保存する。キャリブレーションデータ２１４７はカメラモジュール２１００ｂが外部から提供された光Ｌを用いてイメージデータを生成するのに必要な情報を含み得る。キャリブレーションデータ２１４７は例えば、先立って説明した回転度（ｄｅｇｒｅｅ ｏｆ ｒｏｔａｔｉｏｎ）に係る情報、焦点距離（ｆｏｃａｌ ｌｅｎｇｔｈ）に係る情報、光学軸（ｏｐｔｉｃａｌ ａｘｉｓ）に係る情報などを含み得る。カメラモジュール２１００ｂが光学レンズの位置に応じて焦点距離が変わるマルチステート（ｍｕｌｔｉ ｓｔａｔｅ）カメラ形態で実現される場合、キャリブレーションデータ２１４７は光学レンズの各位置別（またはステート別）の焦点距離値とオートフォーカシング（ａｕｔｏ ｆｏｃｕｓｉｎｇ）と関連する情報を含み得る。
【0159】
保存部２１５０はイメージセンサ２１４２を介してセンシングされたイメージデータを保存する。保存部２１５０はイメージセンシング装置２１４０の外部に配置され、イメージセンシング装置２１４０を構成するセンサチップとスタックされた（ｓｔａｃｋｅｄ）形態で実現できる。いくつかの実施形態で、保存部２１５０はＥＥＰＲＯＭ（Ｅｌｅｃｔｒｉｃａｌｌｙ Ｅｒａｓａｂｌｅ Ｐｒｏｇｒａｍｍａｂｌｅ Ｒｅａｄ－Ｏｎｌｙ Ｍｅｍｏｒｙ）として実現できるが、実施形態はこれに制限されるものではない。保存部２１５０は下部チップ３００により実現できる。
【0160】
図１８と図１９を共に参照すると、いくつかの実施形態で、複数のカメラモジュール２１００ａ，２１００ｂ，２１００ｃそれぞれはアクチュエータ２１３０を含み得る。そのため、複数のカメラモジュール２１００ａ，２１００ｂ，２１００ｃそれぞれはその内部に含まれたアクチュエータ２１３０の動作による互いに同一または異なるキャリブレーションデータ２１４７を含み得る。
【0161】
いくつかの実施形態で、複数のカメラモジュール２１００ａ，２１００ｂ，２１００ｃの一つのカメラモジュール（例えば、２１００ｂ）は先立って説明したプリズム２１０５とＯＰＦＥ２１１０を含む折り畳んだレンズ（ｆｏｌｄｅｄ ｌｅｎｓ）形態のカメラモジュールであり、残りのカメラモジュール（例えば、２１００ａ，２１００ｃ）はプリズム２１０５とＯＰＦＥ２１１０が含まれていないバーチカル（ｖｅｒｔｉｃａｌ）形態のカメラモジュールであり得るが、実施形態はこれに制限されるものではない。
【0162】
いくつかの実施形態で、複数のカメラモジュール２１００ａ，２１００ｂ，２１００ｃの一つのカメラモジュール（例えば、２１００ｃ）は例えば、ＩＲ（Ｉｎｆｒａｒｅｄ Ｒａｙ）を用いて深さ（ｄｅｐｔｈ）情報を抽出するバーチカル形態の深度カメラ（ｄｅｐｔｈ ｃａｍｅｒａ）であり得る。この場合、アプリケーションプロセッサ２２００はこのような深度カメラから提供されたイメージデータと異なるカメラモジュール（例えば、２１００ａまたは２１００ｂ）から提供されたイメージデータを併合（ｍｅｒｇｅ）して３次元深度イメージ（３Ｄ ｄｅｐｔｈ ｉｍａｇｅ）を生成する。
【0163】
いくつかの実施形態で、複数のカメラモジュール２１００ａ，２１００ｂ，２１００ｃの少なくとも二つのカメラモジュール（例えば、２１００ａ，２１００ｃ）は互いに異なる観測視野（Ｆｉｅｌｄ ｏｆ Ｖｉｅｗ、視野角）を有する。この場合、例えば、複数のカメラモジュール２１００ａ，２１００ｂ，２１００ｃの少なくとも二つのカメラモジュール（例えば、２１００ａ，２１００ｃ）の光学レンズは互いに異なってもよいが、これに制限されるものではない。
【0164】
また、いくつかの実施形態で、複数のカメラモジュール２１００ａ，２１００ｂ，２１００ｃそれぞれの視野角は互いに異なってもよい。この場合、複数のカメラモジュール２１００ａ，２１００ｂ，２１００ｃそれぞれに含まれた光学レンズも互いに異なってもよいが、これに制限されるものではない。
【0165】
いくつかの実施形態で、複数のカメラモジュール２１００ａ，２１００ｂ，２１００ｃそれぞれは互いに物理的に分離して配置される。すなわち、一つのイメージセンサ２１４２のセンシング領域を複数のカメラモジュール２１００ａ，２１００ｂ，２１００ｃが分割して使用するのではなく、複数のカメラモジュール２１００ａ，２１００ｂ，２１００ｃそれぞれの内部に独立的なイメージセンサ２１４２が配置される。
【0166】
再び図２７を参照すると、アプリケーションプロセッサ２２００はイメージ処理装置２２１０、メモリコントローラ２２２０、内部メモリ２２３０を含み得る。アプリケーションプロセッサ２２００は複数のカメラモジュール２１００ａ，２１００ｂ，２１００ｃと分離して実現できる。例えば、アプリケーションプロセッサ２２００と複数のカメラモジュール２１００ａ，２１００ｂ，２１００ｃは互いに分離された半導体チップで実現できる。
【0167】
イメージ処理装置２２１０は複数のサブイメージプロセッサ２２１２ａ，２２１２ｂ，２２１２ｃ、イメージ生成器２２１４およびカメラモジュールコントローラ２２１６を含み得る。
【0168】
イメージ処理装置２２１０は複数のカメラモジュール２１００ａ，２１００ｂ，２１００ｃの個数に対応する個数の複数のサブイメージプロセッサ２２１２ａ，２２１２ｂ，２２１２ｃを含み得る。
【0169】
それぞれのカメラモジュール２１００ａ，２１００ｂ，２１００ｃから生成されたイメージデータは互いに分離されたイメージ信号ラインＩＳＬａ，ＩＳＬｂ，ＩＳＬｃを介して対応するサブイメージプロセッサ２２１２ａ，２２１２ｂ，２２１２ｃに提供される。例えば、カメラモジュール２１００ａから生成されたイメージデータはイメージ信号ラインＩＳＬａを介してサブイメージプロセッサ２２１２ａに提供され、カメラモジュール２１００ｂから生成されたイメージデータはイメージ信号ラインＩＳＬｂを介してサブイメージプロセッサ２２１２ｂに提供され、カメラモジュール２１００ｃから生成されたイメージデータはイメージ信号ラインＩＳＬｃを介してサブイメージプロセッサ２２１２ｃに提供される。このようなイメージデータの転送は、例えば、ＭＩＰＩ（Ｍｏｂｉｌｅ Ｉｎｄｕｓｔｒｙ Ｐｒｏｃｅｓｓｏｒ Ｉｎｔｅｒｆａｃｅ）に基づいたカメラ直列インターフェース（ＣＳＩ；Ｃａｍｅｒａ Ｓｅｒｉａｌ Ｉｎｔｅｒｆａｃｅ）を用いて行われるが、実施形態はこれに制限されるものではない。
【0170】
なお、いくつかの実施形態で、一つのサブイメージプロセッサが複数のカメラモジュールに対応するように配置されることもできる。例えば、サブイメージプロセッサ２２１２ａとサブイメージプロセッサ２２１２ｃが図示するように互いに分離して実現されるのではなく一つのサブイメージプロセッサに統合して実現でき、カメラモジュール２１００ａとカメラモジュール２１００ｃから提供されたイメージデータは選択素子（例えば、マルチプレクサ）などにより選択された後、統合されたサブイメージプロセッサに提供されることができる。
【0171】
それぞれのサブイメージプロセッサ（２２１２ａ、２２１２ｂおよび２２１２ｃ）に提供されたイメージデータはイメージ生成器２２１４に提供される。イメージ生成器２２１４はイメージ生成情報（Ｇｅｎｅｒａｔｉｎｇ Ｉｎｆｏｒｍａｔｉｏｎ）またはモード信号（Ｍｏｄｅ Ｓｉｇｎａｌ）に応じてそれぞれのサブイメージプロセッサ（２２１２ａ、２２１２ｂおよび２２１２ｃ）から提供されたイメージデータを用いて出力イメージを生成する。
【0172】
具体的には、イメージ生成器２２１４はイメージ生成情報またはモード信号に応じて、互いに異なる視野角を有するカメラモジュール（２１００ａ、２１００ｂおよび２１００ｃ）から生成されたイメージデータの少なくとも一部を併合（ｍｅｒｇｅ）して出力イメージを生成する。また、イメージ生成器２２１４はイメージ生成情報またはモード信号に応じて、互いに異なる視野角を有するカメラモジュール（２１００ａ、２１００ｂおよび２１００ｃ）から生成されたイメージデータのいずれか一つを選択して出力イメージを生成する。
【0173】
いくつかの実施形態で、イメージ生成情報はズーム信号（ｚｏｏｍ ｓｉｇｎａｌ ｏｒ ｚｏｏｍ ｆａｃｔｏｒ）を含み得る。また、いくつかの実施形態で、モード信号は例えば、ユーザー（ｕｓｅｒ）から選択されたモードに基づいた信号であり得る。
【0174】
イメージ生成情報がズーム信号（ズームファクタ）であり、それぞれのカメラモジュール（２１００ａ、２１００ｂおよび２１００ｃ）が互いに異なる観測視野（視野角）を有する場合、イメージ生成器２２１４はズーム信号の種類によって互いに異なる動作を行う。例えば、ズーム信号が第１信号の場合、カメラモジュール２１００ａから出力されたイメージデータとカメラモジュール２１００ｃから出力されたイメージデータを併合した後、併合されたイメージ信号と併合に用いられていないカメラモジュール２１００ｂから出力されたイメージデータを用いて出力イメージを生成する。仮に、ズーム信号が第１信号と異なる第２信号の場合、イメージ生成器２２１４はこのようなイメージデータ併合を行わず、それぞれのカメラモジュール（２１００ａ、２１００ｂおよび２１００ｃ）から出力されたイメージデータのいずれか一つを選択して出力イメージを生成する。しかし、実施形態はこれに制限されるものではなく、必要に応じてイメージデータを処理する方法はいくらでも変形して実施できる。
【0175】
いくつかの実施形態で、イメージ生成器２２１４は複数のサブイメージプロセッサ（２２１２ａ、２２１２ｂおよび２２１２ｃ）の少なくとも一つから露出時間が相異なる複数のイメージデータを受信し、複数のイメージデータに対してＨＤＲ（ｈｉｇｈ ｄｙｎａｍｉｃ ｒａｎｇｅ）処理を行うことで、ダイナミックレンジが増加した併合されたイメージデータを生成する。
【0176】
カメラモジュールコントローラ２２１６はそれぞれのカメラモジュール（２１００ａ、２１００ｂおよび２１００ｃ）に制御信号を提供する。カメラモジュールコントローラ２２１６から生成された制御信号は互いに分離された制御信号ライン（ＣＳＬａ，ＣＳＬｂおよびＣＳＬｃ）を介して対応するカメラモジュール（２１００ａ、２１００ｂおよび２１００ｃ）に提供される。
【0177】
複数のカメラモジュール（２１００ａ、２１００ｂおよび２１００ｃ）のいずれか一つはズーム信号を含むイメージ生成情報またはモード信号に応じてマスター（ｍａｓｔｅｒ）カメラ（例えば、２１００ａ）と指定され、残りのカメラモジュール（例えば、２１００ｂおよび２１００ｃ）はスレーブ（ｓｌａｖｅ）カメラと指定される。このような情報は制御信号に含まれ、互いに分離された制御信号ライン（ＣＳＬａ，ＣＳＬｂおよびＣＳＬｃ）を介して対応するカメラモジュール（２１００ａ、２１００ｂおよび２１００ｃ）に提供される。
【0178】
ズームファクタまたは動作モード信号に応じてマスターおよびスレーブとして動作するカメラモジュールが変更される。例えば、カメラモジュール２１００ａの視野角がカメラモジュール２１００ｃの視野角より広く、ズームファクタが低いズーム倍率を示す場合、カメラモジュール２１００ｃがマスターとして動作し、カメラモジュール２１００ａがスレーブとして動作する。逆に、ズームファクタが高いズーム倍率を示す場合、カメラモジュール２１００ａがマスターとして動作し、カメラモジュール２１００ｃがスレーブとして動作する。
【0179】
いくつかの実施形態で、カメラモジュールコントローラ２２１６からそれぞれのカメラモジュール（２１００ａ、２１００ｂおよび２１００ｃ）に提供される制御信号はシンクイネーブル信号（ｓｙｎｃ ｅｎａｂｌｅ）信号を含み得る。例えば、カメラモジュール２１００ｂがマスターカメラであり、カメラモジュール２１００ａ，２１００ｃがスレーブカメラの場合、カメラモジュールコントローラ２２１６はカメラモジュール２１００ｂにシンクイネーブル信号を伝送する。このようなシンクイネーブル信号の提供を受けたカメラモジュール２１００ｂは提供されたシンクイネーブル信号に基づいてシンク信号（ｓｙｎｃ ｓｉｇｎａｌ）を生成し、生成されたシンク信号をシンク信号ラインＳＳＬを介してカメラモジュール（２１００ａおよび２１００ｃ）に提供する。カメラモジュール２１００ｂとカメラモジュール（２１００ａおよび２１００ｃ）はこのようなシンク信号に同期化されてイメージデータをアプリケーションプロセッサ２２００に伝送する。
【0180】
いくつかの実施形態で、カメラモジュールコントローラ２２１６から複数のカメラモジュール（２１００ａ、２１００ｂおよび２１００ｃ）に提供される制御信号はモード信号によるモード情報を含み得る。このようなモード情報に基づいて複数のカメラモジュール（２１００ａ、２１００ｂおよび２１００ｃ）はセンシング速度と関連して第１動作モードおよび第２動作モードで動作する。
【0181】
複数のカメラモジュール（２１００ａ、２１００ｂおよび２１００ｃ）は第１動作モードで、第１速度でイメージ信号を生成（例えば、第１フレームレートのイメージ信号を生成）してこれを第１速度より高い第２速度でエンコーディング（例えば、第１フレームレートより高い第２フレームレートのイメージ信号をエンコーディング）し、エンコーディングされたイメージ信号をアプリケーションプロセッサ２２００に伝送する。この時、第２速度は第１速度の３０倍以下であり得る。
【0182】
アプリケーションプロセッサ２２００は受信されたイメージ信号、言い換えればエンコーディングされたイメージ信号を内部に備えられるメモリ２２３０またはアプリケーションプロセッサ２２００外部のストレージ２４００に保存し、以後、メモリ２２３０またはストレージ２４００からエンコーディングされたイメージ信号を読み出してデコーディングし、デコーディングされたイメージ信号に基づいて生成されるイメージデータをディスプレイする。例えばイメージ処理装置２２１０の複数のサブプロセッサ２２１２ａ，２２１２ｂ，２２１２ｃのうち対応するサブプロセッサがデコーディングを行い、また、デコーディングされたイメージ信号に対してイメージ処理を行う。例えばディスプレイ２５００にデコーディングされたイメージ信号に基づいて生成されるイメージデータがディスプレイされる。
【0183】
複数のカメラモジュール（２１００ａ、２１００ｂおよび２１００ｃ）は、第２動作モードで、第１速度より低い第３速度でイメージ信号を生成（例えば、第１フレームレートより低い第３フレームレートのイメージ信号を生成）し、イメージ信号をアプリケーションプロセッサ２２００に伝送する。アプリケーションプロセッサ２２００に提供されるイメージ信号はエンコーディングされていない信号であり得る。アプリケーションプロセッサ２２００は受信されるイメージ信号に対してイメージ処理を行うかまたはイメージ信号をメモリ２２３０またはストレージ２４００に保存する。
【0184】
ＰＭＩＣ２３００は複数のカメラモジュール（２１００ａ、２１００ｂおよび２１００ｃ）それぞれに電力、例えば電源電圧を供給する。例えば、ＰＭＩＣ２３００はアプリケーションプロセッサ２２００の制御下に、パワー信号ラインＰＳＬａを介してカメラモジュール２１００ａに第１電力を供給し、パワー信号ラインＰＳＬｂを介してカメラモジュール２１００ｂに第２電力を供給し、パワー信号ラインＰＳＬｃを介してカメラモジュール２１００ｃに第３電力を供給する。
【0185】
ＰＭＩＣ２３００はアプリケーションプロセッサ２２００からの電力制御信号ＰＣＯＮに応答し、複数のカメラモジュール（２１００ａ、２１００ｂおよび２１００ｃ）それぞれに対応する電力を生成し、また、電力のレベルを調整する。電力制御信号ＰＣＯＮは複数のカメラモジュール（２１００ａ、２１００ｂおよび２１００ｃ）の動作モード別の電力調整信号を含み得る。例えば、動作モードは低電力モード（ｌｏｗ ｐｏｗｅｒ ｍｏｄｅ）を含み得、この時、電力制御信号ＰＣＯＮは低電力モードで動作するカメラモジュールおよび設定される電力レベルに係る情報を含み得る。複数のカメラモジュール（２１００ａ、２１００ｂおよび２１００ｃ）それぞれに提供される電力のレベルは互いに同一であるかまたは互いに相異なってもよい。
【0186】
また、電力のレベルは動的に変更されることができる。
【0187】
以上、添付する図面を参照して本発明の実施形態について説明したが、本発明は実施形態に限定されるものではなく、互いに異なる多様な形態で製造され、本発明が属する技術分野で通常の知識を有する者は、本発明の技術的思想や必須の特徴を変更せず他の具体的な形態で実施できることを理解することができる。したがって、上記一実施形態はすべての面で例示的なものであり、限定的なものではないと理解しなければならない。
【符号の説明】
【0188】
１ イメージセンシング装置
１００ イメージセンサ
２００ 上部チップ
３００ 下部チップ
９００ イメージ信号プロセッサ
９１０ 不良ピクセル補正器
９２０ リモザイクモジュール
１００ イメージセンサ
２００ 上部チップ
３００ 下部チップ
９００ イメージ信号プロセッサ
９１０ 不良ピクセル補正器
９２０ リモザイクモジュール
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図13】
【図14】
【図15】
【図16】
【図17】
【図18】
【図19】
【図20】
【図21】
【図22】
【図23】
【図24】
【図25】
【図26】
【図27】
【図28】