特開 2022-188733 イメージセンシング装置及びその動作方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2022188733

(43)【公開日】2022-12-21

(54)【発明の名称】イメージセンシング装置及びその動作方法

(51)【国際特許分類】

   H04N 5/365 20110101AFI20221214BHJP

   H04N 5/359 20110101ALI20221214BHJP

   H04N 5/369 20110101ALI20221214BHJP

   H04N 5/378 20110101ALI20221214BHJP

   H04N 9/07 20060101ALI20221214BHJP

   H04N 5/232 20060101ALI20221214BHJP

【ＦＩ】

H04N5/365 100

H04N5/359

H04N5/369

H04N5/378

H04N9/07 D

H04N5/232 290

【審査請求】未請求

【請求項の数】20

【出願形態】ＯＬ

(21)【出願番号】P 2022004973

(22)【出願日】2022-01-17

(31)【優先権主張番号】10-2021-0074776

(32)【優先日】2021-06-09

(33)【優先権主張国・地域又は機関】KR

(71)【出願人】

【識別番号】310024033

【氏名又は名称】エスケーハイニックス株式会社

【氏名又は名称原語表記】ＳＫ ｈｙｎｉｘ Ｉｎｃ．

【住所又は居所原語表記】２０９１， Ｇｙｅｏｎｇｃｈｕｎｇ－ｄａｅｒｏ，Ｂｕｂａｌ－ｅｕｂ，Ｉｃｈｅｏｎ－ｓｉ，Ｇｙｅｏｎｇｇｉ－ｄｏ，Ｋｏｒｅａ

(74)【代理人】

【識別番号】110000796

【氏名又は名称】弁理士法人三枝国際特許事務所

(72)【発明者】

【氏名】ソン ジョン ヨン

(72)【発明者】

【氏名】ユ ジェ ユン

(72)【発明者】

【氏名】ハン ジ ヒ

【テーマコード（参考）】

5C024

5C065

5C122

【Ｆターム（参考）】

5C024CX04

5C024CX11

5C024DX01

5C024EX52

5C024GX21

5C024GX22

5C024HX17

5C065BB19

5C065BB22

5C065CC08

5C065DD01

5C065EE06

5C122DA09

5C122DA14

5C122EA22

5C122FB16

5C122FC01

5C122FC02

5C122FG02

5C122FH07

5C122HA88

5C122HB01

5C122HB10

(57)【要約】

【課題】本技術は電子装置に関する。
【解決手段】本技術による、向上した格子状ノイズの除去動作を行うイメージセンシング装置１０は、複数の画素を用いてイメージを取得するイメージセンサ１００と、上記イメージに含まれている関心領域８３０に含まれた画素値を用いて第１解像度に対応するゲインテーブル値を含むゲインテーブル９２０を生成し、上記ゲインテーブル９２０を上記第１解像度より低い第２解像度に対応するターゲットテーブル値を含むターゲットテーブル１０１０，１０２０に変換し、上記ターゲットテーブル１０１０，１０２０を用いて上記イメージに含まれたノイズを除去するイメージプロセッサ２００と、を含んでもよい。
【選択図】図１

【特許請求の範囲】

【請求項1】

イメージに含まれている関心領域に含まれた画素値を用いて第１解像度に対応するゲインテーブル値を含むゲインテーブルを生成するゲインテーブル生成部と、
前記ゲインテーブルを第２解像度に対応するターゲットテーブル値を含むターゲットテーブルに変換するゲインテーブルビニング部と、
前記ターゲットテーブルに基づいて前記イメージに含まれたノイズを除去するキャリブレーション動作を行うキャリブレーション実行部と、を含むことを特徴とするイメージ処理装置。

【請求項2】

前記ゲインテーブルは、
複数のゲイン領域を含み、
前記ゲインテーブル値は、
前記複数のゲイン領域にそれぞれ対応する値であることを特徴とする請求項１に記載のイメージ処理装置。

【請求項3】

前記ゲイン領域それぞれの前記ゲインテーブル値は、
前記ゲイン領域に対応する画素値と同じ色の画素値の平均値を前記関心領域に含まれた画素値のうち前記ゲイン領域に対応する画素値の平均値でそれぞれ割った値であることを特徴とする請求項２に記載のイメージ処理装置。

【請求項4】

前記ゲインテーブル生成部は、
前記ゲインテーブルに基づいて前記イメージ全体に対するゲインマップを生成することを特徴とする請求項３に記載のイメージ処理装置。

【請求項5】

前記ゲインテーブル生成部は、
前記関心領域内の位相検出オートフォーカスのための画素に対応する画素値以外の画素値に基づいて前記ゲインテーブルを生成することを特徴とする請求項１に記載のイメージ処理装置。

【請求項6】

前記ゲインテーブルを保存するゲインテーブル保存部をさらに含むことを特徴とする請求項１に記載のイメージ処理装置。

【請求項7】

前記第１解像度は、
前記第２解像度より高い解像度であることを特徴とする請求項１に記載のイメージ処理装置。

【請求項8】

前記ゲインテーブル値の数は、
前記ターゲットテーブル値の数の正の整数倍であることを特徴とする請求項１に記載のイメージ処理装置。

【請求項9】

前記第１解像度は、
ヘキサデカパターンに対応する解像度で、
前記第２解像度は、
ノナセルパターンに対応する解像度、クアッドベイヤーパターンに対応する解像度、またはベイヤーパターンに対応する解像度の何れか１つであることを特徴とする請求項１に記載のイメージ処理装置。

【請求項10】

前記第１解像度は、
ノナセルパターンに対応する解像度で、
前記第２解像度は、
クアッドベイヤーパターンに対応する解像度またはベイヤーパターンに対応する解像度であることを特徴とする請求項１に記載のイメージ処理装置。

【請求項11】

前記ターゲットテーブルは、
複数の計算領域を含み、
前記計算領域のそれぞれにおける前記ターゲットテーブル値は、
前記計算領域に対応する前記ゲインテーブル値の平均値であることを特徴とする請求項１に記載のイメージ処理装置。

【請求項12】

前記複数の計算領域に対応するゲインテーブル値の数は、
前記第１解像度及び前記第２解像度に基づいて決定されることを特徴とする請求項１１に記載のイメージ処理装置。

【請求項13】

前記ターゲットテーブルは、
複数の計算領域を含み、
前記計算領域のそれぞれにおける前記ターゲットテーブル値は、
前記計算領域に対応する前記ゲインテーブル値の中央値であることを特徴とする請求項１に記載のイメージ処理装置。

【請求項14】

前記計算領域に対応する前記ゲインテーブル値の数は、
前記第１解像度及び前記第２解像度に基づいて決定されることを特徴とする請求項１３に記載のイメージ処理装置。

【請求項15】

前記キャリブレーション実行部は、
前記ターゲットテーブル値を前記イメージに含まれた複数の画素値に適用することを特徴とする請求項１に記載のイメージ処理装置。

【請求項16】

前記キャリブレーション実行部は、
前記イメージに含まれた複数の画素値と前記ターゲットテーブル値を前記第２解像度単位で乗算することを特徴とする請求項１に記載のイメージ処理装置。

【請求項17】

前記ノイズは、
前記複数の画素間のクロストークノイズ（ｃｒｏｓｓｔａｌｋ）による格子状ノイズであることを特徴とする請求項１に記載のイメージ処理装置。

【請求項18】

前記関心領域は、
前記イメージに重ねられる複数の格子線の交差点の何れか１つの交差点周辺の予め定められたサイズの領域であることを特徴とする請求項１に記載のイメージ処理装置。

【請求項19】

複数の画素を用いてイメージを取得するイメージセンサと、
前記イメージに含まれている関心領域に含まれた画素値を用いて第１解像度に対応するゲインテーブル値を含むゲインテーブルを生成し、前記ゲインテーブルを前記第１解像度より低い第２解像度に対応するターゲットテーブル値を含むターゲットテーブルに変換し、前記ターゲットテーブルを用いて前記イメージに含まれたノイズを除去するイメージプロセッサと、を含むことを特徴とするイメージセンシング装置。

【請求項20】

前記ターゲットテーブル値は、
前記ゲインテーブル値の少なくとも２つ以上のゲインテーブル値の平均値または中央値を用いて生成されることを特徴とする請求項１９に記載のイメージセンシング装置。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は電子装置に関し、より具体的にはイメージセンシング装置及びその動作方法に関する。

【背景技術】

【0002】

イメージセンサは、光に反応する半導体の性質を利用してイメージをキャプチャ（ｃａｐｔｕｒｅ）する装置である。最近では、コンピュータ産業や通信産業の発達に伴い、スマートフォン、デジタルカメラ、ゲーム機器、モノのインターネット（Ｉｎｔｅｒｎｅｔ ｏｆ Ｔｈｉｎｇｓ）、ロボット、警備用カメラ、医療用マイクロカメラなどの多様な分野において性能の向上したイメージセンサの需要が増加している。

【0003】

イメージセンサは、ＣＣＤ（Ｃｈａｒｇｅ Ｃｏｕｐｌｅｄ Ｄｅｖｉｃｅ）イメージセンサと、ＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ Ｍｅｔａｌ Ｏｘｉｄｅ Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）イメージセンサとに大別できる。ＣＣＤイメージセンサはＣＭＯＳイメージセンサに比べてノイズ（ｎｏｉｓｅ）が少なく、画質に優れる。一方、ＣＭＯＳイメージセンサは駆動方式が簡単で、様々なスキャニング（ｓｃａｎｎｉｎｇ）方式で具現できる。また、ＣＭＯＳイメージセンサは信号処理回路を単一チップに集積できるため、製品の小型化が容易で、電力消費が非常に少なく、ＣＭＯＳ工程技術を互換して使用でき、製造単価が低い。最近では、モバイル機器にさらに適する特性によりＣＭＯＳイメージセンシング装置が多く利用されている。

【発明の概要】

【発明が解決しようとする課題】

【0004】

本発明の実施例は、向上した格子状ノイズの除去動作を行うイメージセンシング装置及びその動作方法を提供する。

【課題を解決するための手段】

【0005】

本発明の実施例に係る複数の画素を用いてイメージを取得するイメージセンサを制御するイメージ処理装置は、上記イメージに含まれている関心領域に含まれた画素値を用いて第１解像度に対応するゲインテーブル値を含むゲインテーブルを生成するゲインテーブル生成部と、上記ゲインテーブルを第２解像度に対応するターゲットテーブル値を含むターゲットテーブルに変換するゲインテーブルビニング部と、上記ターゲットテーブルに基づいて上記イメージに含まれたノイズを除去するキャリブレーション動作を行うキャリブレーション実行部と、を含んでもよい。

【0006】

本発明の実施例に係るイメージセンシング装置は、複数の画素を用いてイメージを取得するイメージセンサと、上記イメージに含まれている関心領域に含まれた画素値を用いて第１解像度に対応するゲインテーブル値を含むゲインテーブルを生成し、上記ゲインテーブルを上記第１解像度より低い第２解像度に対応するターゲットテーブル値を含むターゲットテーブルに変換し、上記ターゲットテーブルを用いて上記イメージに含まれたノイズを除去するイメージプロセッサと、を含んでもよい。

【0007】

本発明の実施例に係るイメージ処理装置の動作方法は、イメージ内の２Ｍ×２Ｍ画素値アレイの関心領域に対応するＭ×Ｍゲイン値アレイを生成する段階と、Ｎ×Ｎターゲット値アレイを生成する段階と、上記イメージのノイズを除去する段階と、を含んでもよい。ここで、上記Ｍ値は上記Ｎ値よりＫ倍さらに大きく、上記ゲイン値アレイ内のゲイン値は第１統計的代表値を第２統計的代表値で割ることにより得られる。上記第１統計的代表値は上記関心領域内においてそれぞれのゲイン値に対応する基準画素値と同じ色の画素値であり、上記第２統計的代表値は上記基準画素値であってもよい。上記ターゲット値アレイ内のターゲット値は、上記ターゲット値に対応するＫ×Ｋサブゲイン値アレイのゲイン値の第３統計的代表値であり、上記ノイズは上記ターゲット値にそれぞれ対応するＫ×Ｋ個のサブイメージアレイの画素値に上記ターゲット値を乗算することで除去されてもよく、上記Ｋ×Ｋサブイメージアレイは上記イメージに含まれてもよい。

【発明の効果】

【0008】

本技術によると、向上した格子状ノイズの除去動作を行うイメージセンシング装置を提供することができる。

【図面の簡単な説明】

【0009】

【図1】本発明の実施例に係るイメージセンシング装置を説明するための図である。

【図2】本発明の実施例に係る図１のイメージセンサを説明するための図である。

【図3】本発明の実施例に係る図２の画素アレイのベイヤーパターンを説明するための図である。

【図4】本発明の実施例に係る図２の画素アレイのクアッドベイヤーパターンを説明するための図である。

【図5】本発明の実施例に係る図２の画素アレイのノナセルパターンを説明するための図である。

【図6】本発明の実施例に係る図２の画素アレイのヘキサデカパターンを説明するための図である。

【図7】本発明の実施例に係るイメージセンシング装置を示すブロック図である。

【図8】本発明の実施例に係る関心領域の設定を説明するための図である。

【図9】本発明の実施例に係るゲインテーブルを生成する方法を説明するための図である。

【図10】本発明の実施例に係るゲインテーブルをビニングする方法を説明するための図である。

【図11】本発明の実施例に係るゲインテーブルを生成する際に除外される画素を説明するための図である。

【図12】本発明の実施例に係るノイズキャリブレーション方法を説明するためのフローチャートである。

【図13】本発明の実施例に係るゲインテーブルをビニングする方法を説明するためのフローチャートである。

【図14】本発明の実施例に係るイメージセンサを含むコンピューティングシステムを示すブロック図である。

【発明を実施するための形態】

【0010】

本明細書または出願に開示されている本発明の概念による実施例に対し、特定の構造的ないし機能的な説明は本発明の概念による実施例を説明するための例示であり、本発明の概念による実施例は様々な形態で実施することができ、本明細書または出願に説明されている実施例に限定されると解釈すべきではない。

【0011】

以下では、本発明が属する技術分野において通常の知識を有する者が本発明の技術的思想を容易に実施できる程度に詳細に説明するために、本発明の実施例を添付の図面を参照して説明する。

【0012】

図１は、本発明の実施例に係るイメージセンシング装置を説明するための図である。

【0013】

図１を参照すると、イメージセンシング装置１０はイメージセンサ１００及びイメージプロセッサ２００を含んでもよい。

【0014】

イメージセンシング装置１０は電子装置、例えば、デジタルカメラ、携帯電話、スマートフォン（ｓｍａｒｔ ｐｈｏｎｅ）、タブレットＰＣ（ｔａｂｌｅｔ ｐｅｒｓｏｎａｌ ｃｏｍｐｕｔｅｒ）、ノート型パソコン（ｎｏｔｅｂｏｏｋ）、ＰＤＡ（ｐｅｒｓｏｎａｌ ｄｉｇｉｔａｌ ａｓｓｉｓｔａｎｔ）、ＥＤＡ（ｅｎｔｅｒｐｒｉｓｅ ｄｉｇｉｔａｌ ａｓｓｉｓｔａｎｔ）、デジタルスチルカメラ（ｄｉｇｉｔａｌ ｓｔｉｌｌ ｃａｍｅｒａ）、デジタルビデオカメラ（ｄｉｇｉｔａｌ ｖｉｄｅｏ ｃａｍｅｒａ）、ＰＭＰ（ｐｏｒｔａｂｌｅ ｍｕｌｔｉｍｅｄｉａ ｐｌａｙｅｒ）、モバイルインターネットデバイス（ｍｏｂｉｌｅ ｉｎｔｅｒｎｅｔ ｄｅｖｉｃｅ（ＭＩＤ））、ＰＣ（Ｐｅｒｓｏｎａｌ Ｃｏｍｐｕｔｅｒ）、ウェアラブルデバイス（ｗｅａｒａｂｌｅ ｄｅｖｉｃｅ）、または様々な目的のカメラ（自動車のフロントカメラ、バックカメラ、ドライブレコーダーカメラなど）に含まれ得る。

【0015】

イメージセンサ１００は、ＣＣＤイメージセンサと、ＣＭＯＳイメージセンサとで具現されることができる。イメージセンサ１００は、レンズ（不図示）を介して入力された（またはキャプチャされた（ｃａｐｔｕｒｅｄ））オブジェクト（不図示）に対するイメージデータを生成することができる。レンズ（不図示）は光学系を形成する少なくとも１つのレンズを含んでもよい。

【0016】

イメージセンサ１００は複数の画素を含んでもよい。イメージセンサ１００は撮影されたイメージに対応する複数の画素値ＤＰＸｓを複数の画素で生成することができる。イメージセンサ１００で生成された複数の画素値ＤＰＸｓはイメージプロセッサ２００に伝送されることができる。即ち、イメージセンサ１００はシングルフレーム（ｓｉｎｇｌｅ ｆｒａｍｅ）に対応する複数の画素値ＤＰＸｓを生成することができる。

【0017】

イメージプロセッサ２００はイメージセンサ１００を制御することができる。具体的には、イメージプロセッサ２００はイメージセンサ１００から受信する画素データのイメージ品質を向上させる処理を行い、処理されたイメージデータを出力することができる。ここで、処理とは、ＥＩＳ（Ｅｌｅｃｔｒｏｎｉｃ Ｉｍａｇｅ Ｓｔａｂｉｌｉｚａｔｉｏｎ）、補間、色調補正、画質補正、サイズ調整などであってもよい。イメージプロセッサ２００はイメージ処理装置ともいう。

【0018】

イメージプロセッサ２００は、システム情報ＡＧと複数の画素値ＤＰＸｓに基づいてイメージに含まれたノイズをキャリブレーション（ｃａｌｉｂｒａｔｉｏｎ）することができる。イメージはメイズノイズ（ｍａｚｅ ｎｏｉｓｅ）を含んでもよい。メイズノイズは複数の画素のうち同じ色の画素間における色のバラツキ（ｉｍｂａｌａｎｃｅ）によって生じる格子状のノイズであってもよい。メイズノイズは同じ色の画素間における色偏差（ｄｉｓｐａｒｉｔｙ）によって生じ得る。本発明の実施例において、メイズノイズは複数の画素間におけるクロストークノイズ（ｃｒｏｓｓｔａｌｋ）による格子状ノイズであってもよい。

【0019】

イメージプロセッサ２００は、複数の画素値に基づいてメイズノイズを低減させるキャリブレーション動作を行うためのキャリブレーションゲイン値を計算することができる。

【0020】

図１では、イメージプロセッサ２００がイメージセンサ１００とは独立したチップで具現されることができる。この場合、イメージセンサ１００のチップとイメージプロセッサ２００のチップは１つのパッケージ、例えば、マルチチップパッケージ（ｍｕｌｔｉ－ｃｈｉｐ ｐａｃｋａｇｅ）で具現されてもよい。本発明の他の実施例では、イメージプロセッサ２００がイメージセンサ１００の一部に含まれて１つのチップで具現されてもよい。

【0021】

図２は、本発明の実施例に係る図１のイメージセンサを説明するための図である。

【0022】

図２を参照すると、イメージセンサ１００は、画素アレイ１１０、行デコーダ１２０、タイミング生成器１３０、及び信号変換器１４０を含んでもよい。

【0023】

画素アレイ１１０は、実施例によるカラーフィルタアレイ１１１と、カラーフィルタアレイ１１１の下部に形成され、カラーフィルタアレイ１１１のそれぞれの画素に対応する複数の光電変換素子（ｐｈｏｔｏｅｌｅｃｔｒｉｃ ｃｏｎｖｅｒｓｉｏｎ ｅｌｅｍｅｎｔ）を含む光電変換層１１３と、を含んでもよい。画素アレイ１１０は入射光に含まれたカラー情報を出力するための複数の画素を含んでもよい。複数の画素のそれぞれは対応するカラーフィルタアレイ１１１を通過した入射光に相応する画素信号を出力することができる。

【0024】

カラーフィルタアレイ１１１は、各画素に入射される光の特定波長（例えば、赤、青、緑）のみを通過させるカラーフィルタを含んでもよい。カラーフィルタアレイ１１１により、各画素の画素データは特定波長の光の強さに対応する値を示すことができ、各画素はカラーフィルタの種類に応じて赤画素Ｒ、青画素Ｂ、または緑画素Ｇと称されてもよい。

【0025】

具体的には、複数の画素のそれぞれは入射光に応じて生成された光電荷を蓄積し、蓄積した光電荷に相応する画素信号を生成することができる。それぞれの画素は光信号を電気信号に変換する光電変換素子（例えば、フォトダイオード（ｐｈｏｔｏ ｄｉｏｄｅ）、フォトトランジスタ（ｐｈｏｔｏ ｔｒａｎｓｉｓｔｏｒ）、フォトゲート（ｐｈｏｔｏｇａｔｅ）、またはピンドフォトダイオード（ｐｉｎｎｅｄ ｐｈｏｔｏ ｄｉｏｄｅ））及び電気的信号を処理するための少なくとも１つのトランジスタを含んでもよい。

【0026】

画素アレイ１１０は、行（ｒｏｗ）方向と列（ｃｏｌｕｍｎ）方向に配列された複数の画素を含んでもよい。画素アレイ１１０は行ごとに複数の画素信号ＶＰＸｓを生成することができる。複数の画素信号ＶＰＸｓはそれぞれアナログタイプの画素信号ＶＰＸｓであってもよい。

【0027】

行デコーダ１２０は、タイミング生成器１３０から出力されたアドレスと制御信号に応答して、画素アレイ１１０において複数の画素が配列された多数の行から１つの行を選択することができる。

【0028】

信号変換器１４０は、アナログタイプの複数の画素信号ＶＰＸｓをデジタルタイプの複数の画素値ＤＰＸｓに変換することができる。デジタルタイプの複数の画素値ＤＰＸｓは様々なパターンで出力され得る。信号変換器１４０は、タイミング生成器１３０から出力された制御信号に応答して、画素アレイ１１０から出力されたそれぞれの信号に対してＣＤＳ（ｃｏｒｒｅｌａｔｅｄ ｄｏｕｂｌｅ ｓａｍｐｌｉｎｇ）を行い、ＣＤＳされたそれぞれの信号をアナログ－デジタル変換してそれぞれのデジタル信号を出力することができる。それぞれのデジタル信号は対応するカラーフィルタアレイ１１１を通過した入射光の波長の強さに対応する信号であってもよい。

【0029】

信号変換器１４０は、ＣＤＳ（ｃｏｒｒｅｌａｔｅｄ ｄｏｕｂｌｅ ｓａｍｐｌｉｎｇ）ブロックとＡＤＣ（ａｎａｌｏｇ ｔｏ ｄｉｇｉｔａｌ ｃｏｎｖｅｒｔｅｒ）ブロックを含んでもよい。ＣＤＳブロックは、画素アレイ１１０に含まれた複数の列のそれぞれに提供される基準信号と映像信号セットを順にサンプリング及びホールディング（Ｓａｍｐｌｉｎｇ ａｎｄ Ｈｏｌｄｉｎｇ）することができる。即ち、ＣＤＳブロックは、それぞれの列に対応する基準信号と映像信号のレベルをサンプリングして保持することができる。ＡＤＣブロックは、ＣＤＳブロックから出力されるそれぞれの列に対する相関二重サンプリング信号をデジタル信号に変換した画素データを出力することができる。このため、ＡＤＣブロックは各列に対応する比較器及びカウンタを含んでもよい。

【0030】

また、本発明の実施例に係るイメージセンサ１００は出力バッファ１５０をさらに含んでもよい。出力バッファ１５０は信号変換器１４０から出力されたデジタル信号を保存する複数のバッファで具現されてもよい。具体的に、出力バッファ１５０は、信号変換器１４０から提供されるそれぞれの列単位の画素データをラッチ（ｌａｔｃｈ）して出力することができる。出力バッファ１５０は信号変換器１４０から出力される画素データを一時的に保存し、タイミング生成器１３０の制御に応じて画素データを順に出力することができる。本発明の実施例によると、出力バッファ２７０は省略されてもよい。

【0031】

図３は、本発明の実施例に係る図２の画素アレイのベイヤーパターンを説明するための図である。

【0032】

図３を参照すると、画素アレイ１１０は予定されたパターンで配列されることができる。例えば、画素アレイ１１０はベイヤーパターン（ｂａｙｅｒ ｐａｔｔｅｒｎ）で配列されてもよい。図３に破線で示したように、ベイヤーパターンは２×２画素の繰り返しセルで構成されてもよい。それぞれのセルには緑（ｇｒｅｅｎ）カラーフィルタを有する２つの画素Ｇｂ、Ｇｒが対角線上に対向するように配置され、青（ｂｌｕｅ）カラーフィルタを有する１つの画素Ｂと赤（ｒｅｄ）カラーフィルタを有する１つの画素Ｒが残りのコーナーに配置されてもよい。４個の画素Ｂ、Ｇｂ、Ｇｒ、Ｒは、図３に示す配置構造に必ずしも限定されるものではなく、上述したベイヤーパターンを前提として多様に配置され得る。

【0033】

図４は、本発明の実施例に係る図２の画素アレイのクアッドベイヤーパターンを説明するための図である。

【0034】

図４を参照すると、画素アレイ１１０は予定されたパターンで配列されることができる。例えば、画素アレイ１１０はクアッドベイヤーパターン（ｑｕａｄ ｂａｙｅｒ ｐａｔｔｅｒｎ）で配列されてもよい。図４に破線で示したように、クアッドベイヤーパターンは４×４画素の繰り返しセルで構成されてもよい。それぞれのセルには緑カラーフィルタを有する８個の画素Ｇｂ、Ｇｒが対角線上に対向するように配置され、青カラーフィルタを有する４個の画素Ｂと赤カラーフィルタを有する４個の画素Ｒが残りのコーナーに配置されてもよい。１６個の画素Ｂ、Ｇｂ、Ｇｒ、Ｒは、図４に示す配置構造に必ずしも限定されるものではなく、上述したクアッドベイヤーパターンを前提として多様に配置され得る。

【0035】

図５は、本発明の実施例に係る図２の画素アレイのノナセルパターンを説明するための図である。

【0036】

図５を参照すると、画素アレイ１１０は予定されたパターンで配列されることができる。例えば、画素アレイ１１０はノナセルパターン（ｎｏｎａ ｃｅｌｌ ｐａｔｔｅｒｎ）で配列されてもよい。図５に破線で示したように、ノナセルパターンは６×６画素の繰り返しセルで構成されてもよい。それぞれのセルには緑カラーフィルタを有する１８個の画素Ｇｂ、Ｇｒが対角線上に対向するように配置され、青カラーフィルタを有する９個の画素Ｂと赤カラーフィルタを有する９つの画素Ｒが残りのコーナーに配置されてもよい。３６個の画素Ｂ、Ｇｂ、Ｇｒ、Ｒは、図５に示す配置構造に必ずしも限定されるものではなく、上述したノナセルパターンを前提として多様に配置され得る。

【0037】

図６は、本発明の実施例に係る図２の画素アレイのヘキサデカパターンを説明するための図である。

【0038】

図６を参照すると、画素アレイ１１０は予定されたパターンで配列されることができる。例えば、画素アレイ１１０はヘキサデカパターン（ｈｅｘａ－ｄｅｃａ ｐａｔｔｅｒｎ）で配列されてもよい。図６に破線で示したように、ヘキサデカパターンは８×８画素の繰り返しセルで構成されてもよい。それぞれのセルには緑カラーフィルタを有する３２個の画素Ｇｂ、Ｇｒが対角線上に対向するように配置され、青カラーフィルタを有する１６個の画素Ｂと赤カラーフィルタを有する１６個の画素Ｒが残りのコーナーに配置されてもよい。６４個の画素Ｂ、Ｇｂ、Ｇｒ、Ｒは、図６に示す配置構造に必ずしも限定されるものではなく、上述したヘキサデカパターンを前提として多様に配置され得る。

【0039】

図７は、本発明の実施例に係るイメージセンシング装置を示すブロック図である。

【0040】

図７を参照すると、イメージセンシング装置はイメージセンサ１００とイメージプロセッサ２００を含んでもよい。複数の画素を用いてイメージを取得するイメージセンサ１００は、複数の画素値をイメージプロセッサ２００に伝送することができる。イメージプロセッサ２００は複数の画素値に基づいてイメージに含まれたノイズを除去することができる。イメージプロセッサ２００は、ゲインテーブル生成部２１０と、ゲインテーブルビニング部２２０と、キャリブレーション実行部２３０と、ゲインテーブル保存部２４０と、を含んでもよい。イメージセンサ１００及びイメージプロセッサ２００は、図１及び図２の説明に対応することができる。

【0041】

ゲインテーブル生成部２１０は、イメージに含まれている関心領域に含まれた画素値を用いて第１解像度に対応するゲインテーブル値を含むゲインテーブルを生成することができる。本発明の実施例では、ゲインテーブル生成部２１０は複数の画素値に基づいてイメージの最大解像度で発生するノイズを低減させるキャリブレーション動作に使用されるゲインテーブルを生成することができる。ノイズはメイズノイズを含んでもよい。メイズノイズは複数の画素のうち同じ色の画素の画素値の差によって生じる格子状のノイズであってもよい。画素のクロストークにより、同じ色の画素の画素値が異なることがある。

【0042】

関心領域は、イメージに重ねられる複数の格子線の交差点の何れか１つの交差点周辺の予め定められたサイズの領域であってもよい。ゲインテーブル生成部２１０は入力されたイメージに重ねられる複数の格子線を設定することができる。ゲインテーブル生成部２１０は格子線の交差点に予め定められた関心領域を設定することができる。ゲインテーブル生成部２１０は関心領域で最大解像度に対応するゲインテーブルを生成することができる。ゲインテーブル生成部２１０は生成されたゲインテーブルに基づいてイメージ全体に対するゲインマップを生成することができる。具体的には、ゲインテーブル生成部２１０は線形補間法を用いてゲインテーブルをゲインマップに拡張することができるが、これについては図１１を参照して説明する。

【0043】

生成されたゲインテーブルはゲインテーブル保存部２４０に保存されてもよい。ゲインテーブル生成部２１０は、関心領域に含まれた画素値のうち位相検出オートフォーカス（ＰＤＡＦ）のための画素に対応する画素値を除いてゲインテーブルを生成することができる。

【0044】

ゲインテーブルは複数のゲイン領域を含んでもよい。ゲインテーブル値は複数のゲイン領域にそれぞれ対応する値であってもよい。それぞれのゲイン領域のゲインテーブル値は、関心領域に含まれた画素値のうち複数のゲイン領域に対応する画素値と同じ色の画素値の平均値をゲイン領域に対応する画素値の平均値で割った値であってもよい。ゲインテーブル生成部２１０は複数のゲインテーブル値を含むゲインテーブルを生成することができる。

【0045】

ゲインテーブルビニング部２２０は、ゲインテーブルを第２解像度に対応するターゲットテーブル値を含むターゲットテーブルに変換することができる。本発明の実施例では、第１解像度は第２解像度より高い解像度であってもよい。第１解像度は最大解像度であり、第２解像度はターゲット解像度であってもよい。例えば、第１解像度はヘキサデカパターンに対応する解像度であり、第２解像度はノナセルパターンに対応する解像度、クアッドベイヤーパターンに対応する解像度またはベイヤーパターンに対応する解像度のうち１つであってもよい。第１解像度はノナセルパターンに対応する解像度であり、第２解像度はクアッドベイヤーパターンに対応する解像度またはベイヤーパターンに対応する解像度であってもよい。光量が十分な高照度では最大（Ｆｕｌｌ）解像度が使用されるが、光量が不十分な低照度やビデオモード撮影などではビニング（ｂｉｎｎｉｎｇ）されたベイヤーパターンが使用されてもよい。

【0046】

ターゲットテーブルは複数の計算領域を含んでもよい。各計算領域のターゲットテーブル値のそれぞれは計算領域に対応するゲインテーブル値の平均値であってもよい。複数の計算領域に対応するゲインテーブル値の数は第１解像度と第２解像度に基づいて決定されてもよい。例えば、第１解像度がヘキサデカパターンに対応する解像度であり、第２解像度がクアッドベイヤーパターンに対応する解像度であれば、複数の計算領域に対応するゲインテーブル値の数は４個であることができる。

【0047】

本発明の他の実施例では、各計算領域のターゲットテーブル値のそれぞれは計算領域に対応するゲインテーブル値の中央値（ｍｅｄｉａｎ）であってもよい。複数の計算領域にそれぞれ含まれたゲインテーブル値の数は、第１解像度及び第２解像度に基づいて決定されることができる。

【0048】

ゲインテーブルビニング部２２０は、ゲインテーブル値のうち複数の計算領域に対応するゲインテーブル値の平均値であるターゲットテーブル値を計算することができる。本発明の他の実施例では、ゲインテーブルビニング部２２０は、ゲインテーブル値のうち複数の計算領域に対応するゲインテーブル値の中央値を計算することができる。計算領域に対応するターゲットテーブル値は、計算領域に対応するゲインテーブル値の平均値または中央値であってもよい。ゲインテーブルビニング部２２０は、計算されたターゲットテーブル値を含むターゲットテーブルを生成することができる。本発明の実施例では、ゲインテーブル値の数はターゲットテーブル値の数の正の整数倍であってもよい。

【0049】

本発明の実施例において、ゲインテーブルビニング部２２０は複数の計算領域に対応するゲインテーブル値を決定することができる。例えば、第１解像度がヘキサデカパターンに対応する解像度であり、第２解像度がクアッドベイヤーパターンに対応する解像度であってもよい。ゲインテーブルビニング部２２０は、第１解像度と第２解像度に基づいて複数の計算領域のうち１つの計算領域に対応する４個のゲインテーブル値を決定することができる。４個のゲインテーブル値は同じ色であってもよい。４個のゲインテーブル値は互いに隣接するゲインテーブル値であってもよい。

【0050】

キャリブレーション実行部２３０はターゲットテーブルに基づいてイメージに含まれたノイズを除去するキャリブレーション動作を行うことができる。キャリブレーション実行部２３０はターゲットテーブル値をイメージに含まれた複数の画素値に適用することができる。例えば、キャリブレーション実行部２３０はイメージに含まれた複数の画素値とターゲットテーブル値を第２解像度単位で乗算することができる。

【0051】

本発明の実施例では、キャリブレーション実行部２３０はターゲットテーブルに基づいて入力されたイメージの第２解像度で発生するメイズノイズを低減させるキャリブレーション動作を行うことができる。キャリブレーション実行部２３０のキャリブレーション動作の結果、同じ色の画素間の色偏差を低減させることができる。これにより、格子状ノイズが除去されることができる。

【0052】

本発明の他の実施例では、イメージセンシング装置１０は、イメージに含まれている関心領域に含まれた画素値を用いて第１解像度に対応するゲインテーブル値を含むゲインテーブルを生成することができる。イメージセンシング装置１０はゲインテーブルを第１解像度より低い第２解像度に対応するターゲットテーブル値を含むターゲットテーブルに変換することができる。イメージセンシング装置１０はターゲットテーブルを用いてイメージに含まれたノイズを除去することができる。ターゲットテーブル値はゲインテーブル値のうち少なくとも２つ以上のゲインテーブル値の平均値または中央値を利用して生成されることができる。

【0053】

図８は本発明の実施例に係る関心領域の設定を説明するための図である。

【0054】

図８を参照すると、入力されたイメージの一部に対するキャリブレーション動作に用いられるゲインテーブルを生成し、イメージ全体に対するゲインマップ（ｇａｉｎ ｍａｐ）を導出することができる。

【0055】

キャリブレーションゲイン値を計算するとき、イメージに含まれたすべての画素に対するゲイン値を計算すると、イメージ処理速度が遅くなり、多くの保存空間を要する可能性がある。イメージ処理速度を向上させ、保存空間を節約するためにグリッド（ｇｒｉｄ）方式が用いられてもよい。

【0056】

入力されたイメージ８００に複数の格子線８１０が設定され得る。設定された複数の格子線８１０がイメージ８００に重ねられてもよい。イメージ８００に格子線８１０の交差点８２０が設定されてもよい。交差点８２０に予め決定された関心領域８３０が設定されてもよい。関心領域８３０のサイズはイメージに応じて変更されてもよい。

【0057】

図８において、交差点８２０は複数存在することができるため、関心領域８３０の位置は変り得る。関心領域８３０に対するゲインテーブルが生成されると、ゲインテーブルは線形補間法（Ｌｉｎｅａｒ Ｉｎｔｅｒｐｏｌａｔｉｏｎ）などの技法によりイメージ８００全体に対するゲインマップに拡張されることができる。図８の関心領域の設定はゲインテーブル生成部によって行われてもよい。

【0058】

図９は、本発明の実施例に係るゲインテーブルを生成する方法を説明するための図である。

【0059】

図９では、説明の便宜上、入力されたイメージの第１解像度はヘキサデカパターンに対応する解像度であり、関心領域８３０のサイズは１６×１６と仮定する。

【0060】

ゲインテーブル生成部は関心領域８３０を第１解像度に対応するように分けることができる。イメージの最大解像度がヘキサデカパターンに対応する解像度であるため、関心領域８３０は４つの分割領域に分けられる。図９における参照番号９１０は関心領域８３０内の４つのサブ領域のうち１つを示す。

【0061】

ゲインテーブル９２０は複数のゲイン領域のそれぞれに対応するゲインテーブル値を含んでもよい。例えば、複数のゲイン領域のうち１つのゲイン領域９２１に１つのゲインテーブル値が対応することができる。１つのゲイン領域９２１に対応するゲインテーブル値は、関心領域に含まれた画素値のうち１つのゲイン領域９２１に対応する画素（９１１、９１３、９１５、９１７の何れか１つ）と同じ色の画素値の平均値を１つのゲイン領域９２１に対応する画素９１１、９１３、９１５、９１７の平均値で割った値であってもよい。図９において、１つのゲイン領域９２１に対応する画素（９１１、９１３、９１５、９１７の何れか１つ）は緑色なので、関心領域に含まれた画素のうち緑色の画素値の平均値を計算することができる。本発明の他の実施例では、１つのゲイン領域９２１に対応するゲインテーブル値は、関心領域に含まれた画素値のうち１つのゲイン領域９２１に対応する画素（９１１、９１３、９１５、９１７の何れか１つ）と同じ色の画素値の平均値を１つのゲイン領域９２１に対応する画素９１１、９１３、９１５、９１７の中央値で割った値であってもよい。

【0062】

同様の方法でゲインテーブル９２０の残りのゲインテーブル値も計算することができる。本発明の実施例によると、イメージセンサに含まれた画素の色は、緑Ｇｒ、Ｇｂ、赤Ｒまたは青Ｂの何れか１つであってもよい。ゲインテーブルを生成するとき、緑色Ｇｒ、Ｇｂ画素は同じ色の画素であってもよい。緑色Ｇｒ、Ｇｂ画素間の偏差はノイズを引き起こす恐れがある。図９のゲインテーブルの生成動作はゲインテーブル生成部によって行われてもよい。

【0063】

図１０は、本発明の実施例に係るゲインテーブルをビニングする方法を説明するための図である。

【0064】

図１０では、説明の便宜上、第１解像度はヘキサデカパターンに対応する解像度であり、第２解像度がクアッドベイヤーパターンに対応する解像度またはベイヤーパターンに対応する解像度であると仮定する。第１解像度に対応するゲインテーブル９２０はビニングされてターゲットテーブル１０１０、１０２０となることができる。図１０のビニング方法は図７の説明に対応することができる。

【0065】

図１０を参照すると、ゲインテーブルビニング部２２０は、ゲインテーブルを第２解像度に対応するターゲットテーブル値を含むターゲットテーブルに変換することができる。ターゲットテーブルは複数の計算領域を含んでもよい。ゲインテーブル値は複数の計算領域に対応することができる。複数の計算領域に対応するゲインテーブル値の数は第１解像度と第２解像度に基づいて決定されることができる。ゲインテーブルビニング部２２０は、複数の計算領域に対応するゲインテーブル値を決定することができる。

【0066】

ゲインテーブルビニング部２２０はゲインテーブル値のうち複数の計算領域に対応するゲインテーブル値の平均値であるターゲットテーブル値を計算することができる。本発明の他の実施例では、ゲインテーブルビニング部２２０はゲインテーブル値のうち複数の計算領域に対応するゲインテーブル値の真ん中に位置する中央値を計算することができる。計算領域に対応するターゲットテーブル値は計算領域に対応するゲインテーブル値の平均値または中央値であってもよい。ゲインテーブルビニング部２２０は計算されたターゲットテーブル値を含むターゲットテーブルを生成することができる。

【0067】

図１０を参照すると、ゲインテーブル９２０はターゲットテーブル１０１０に変換されることができる。第２解像度はクアッドベイヤーパターンに対応する解像度であってもよい。ゲインテーブルビニング部２２０は、第１解像度と第２解像度に基づいて複数の計算領域のうち１つの計算領域に対応する４個のゲインテーブル値を決定することができる。４個のゲインテーブル値は同じ色であってもよい。４個のゲインテーブル値は互いに隣接するゲインテーブル値であってもよい。

【0068】

即ち、同じ色の４個のゲインテーブル値がビニングされることができる。数式で表すと、ターゲットテーブルのテーブル値Ｇｒ１＝（Ｇｒ１１＋Ｇｒ１２＋Ｇｒ２１＋Ｇｒ２２）／４である。同様に、ターゲットテーブルのテーブル値Ｇｒ２＝（Ｇｒ１３＋Ｇｒ１４＋Ｇｒ２３＋Ｇｒ２４）／４である。同様の方法でターゲットテーブル１０１０の残りのテーブル値Ｇｒ３、Ｇｒ４、Ｒ１、Ｒ２、Ｒ３、Ｒ４、Ｂ１、Ｂ２、Ｂ３、Ｂ４、Ｇｂ１、Ｇｂ２、Ｇｂ３、Ｇｂ４を計算することができる。

【0069】

図１０を参照すると、ゲインテーブル９２０はターゲットテーブル１０２０に変換されることができる。第２解像度はベイヤーパターンに対応する解像度であってもよい。ゲインテーブルビニング部２２０は、第１解像度と第２解像度に基づいて複数の計算領域のうち１つの計算領域に対応する１６個のゲインテーブル値を決定することができる。１６個のゲインテーブル値は同じ色であってもよい。１６個のゲインテーブル値は互いに隣接するゲインテーブル値であってもよい。

【0070】

即ち、同じ色の１６個のゲインテーブル値がビニングされることができる。数式で表すと、ターゲットテーブルのテーブル値Ｇｒ＝（Ｇｒ１１＋Ｇｒ１２＋Ｇｒ１３＋Ｇｒ１４＋Ｇｒ２１＋Ｇｒ２２＋Ｇｒ２３＋Ｇｒ２４＋Ｇｒ３１＋Ｇｒ３２＋Ｇｒ３３＋Ｇｒ３４＋Ｇｒ４１＋Ｇｒ４２＋Ｇｒ４３＋Ｇｒ４４）／１６である。同様に、ターゲットテーブルのテーブル値Ｇｂ＝（Ｇｂ１１＋Ｇｂ１２＋Ｇｂ１３＋Ｇｂ１４＋Ｇｂ２１＋Ｇｂ２２＋Ｇｂ２３＋Ｇｂ２４＋Ｇｂ３１＋Ｇｂ３２＋Ｇｂ３３＋Ｇｂ３４＋Ｇｂ４１＋Ｇｂ４２＋Ｇｂ４３＋Ｇｂ４４）／１６である。ベイヤーパターンに対応する解像度では、緑色Ｇｒ、Ｇｂのみに偏差が生じるため、ターゲットテーブル１０２０の残りのテーブル値Ｒ、Ｂは計算しなくてもよい。

【0071】

本発明の実施例によると、ゲインテーブルビニング部２２０が第１解像度に対応するゲインテーブルをビニングすることができるため、第２解像度に対応するゲインテーブルを保存しなくてもよい。

【0072】

本発明の他の実施例では、１つの計算領域に対応するゲインテーブル値が他の計算領域に対応することができる。即ち、１つのゲインテーブル値が複数の計算領域に対応することができる。例えば、第１解像度がヘキサデカパターンに対応する解像度であり、第２解像度がノナパターンに対応する解像度であってもよい。即ち、同じ色の１６個のゲインテーブル値が９個のターゲットテーブル値にビニングされることができる。９つのターゲットテーブル値を数式で表すと、（Ｇｒ１１＋Ｇｒ１２＋Ｇｒ２１＋Ｇｒ２２）／４、（Ｇｒ１２＋Ｇｒ１３＋Ｇｒ２２＋Ｇｒ２３）／４、（Ｇｒ１３＋Ｇｒ１４＋Ｇｒ２３＋Ｇｒ２４）／４、（Ｇｒ２１＋Ｇｒ２２＋Ｇ３１＋Ｇｒ３２）／４、（Ｇｒ２２＋Ｇｒ２３＋Ｇｒ３２＋Ｇｒ３３）／４、（Ｇｒ２３＋Ｇｒ２４＋Ｇｒ３３＋Ｇｒ３４）／４、（Ｇｒ３１＋Ｇｒ３２＋Ｇｒ４１＋Ｇｒ４２）／４、（Ｇｒ３２＋Ｇｒ３３＋Ｇｒ４２＋Ｇｒ４３）／４、（Ｇｒ３３＋Ｇｒ３４＋Ｇｒ４３＋Ｇｒ４４）／４である。

【0073】

同様に、第１解像度がノナパターンに対応する解像度であり、第２解像度がクアッドベイヤーパターンに対応する解像度であってもよい。同じ色の９個のゲインテーブル値が４個のターゲットテーブル値に変更されることができる。

【0074】

図１１は、本発明の実施例に係るゲインテーブルを生成する際に除外される画素を説明するための図である。

【0075】

図１１を参照すると、分割領域１１１０に含まれる画素のうち隣接する画素と線形特性が保持されない画素１１２０が含まれ得る。隣接する画素と線形特性が保持されない画素１１２０は、位相検出オートフォーカス（Ｐｈａｓｅ Ｄｅｔｅｃｔｉｏｎ Ａｕｔｏ Ｆｏｃｕｓ、ＰＤＡＦ）のためのフォトダイオード（Ｐｈｏｔｏ Ｄｉｏｄｅ、ＰＤ）画素とその隣接画素であってもよい。

【0076】

位相検出オートフォーカスのためのフォトダイオード画素の位置は、イメージセンサで予め決定されることができる。位相検出オートフォーカスのためのフォトダイオード画素は、位置に応じて画素の特性が変化するため、隣接する画素と線形特性が保持されないことがある。位相検出オートフォーカスのためのフォトダイオード画素は２個の画素が１つのレンズに対応するか（２×１ ｏｎ ｃｈｉｐ ｌｅｎｓ）、４個の画素が１つのレンズに対応（２×２ ｏｎ ｃｈｉｐ ｌｅｎｓ）することができる。一方、ノーマル画素は１個の画素が１個のレンズに対応（１ｘ１ ｏｎ ｃｈｉｐ ｌｅｎｓ）することができる。

【0077】

図７を参照すると、ゲインテーブル生成部２１０は、関心領域に含まれた画素のうち位相検出オートフォーカスのためのフォトダイオード画素を除いてゲインテーブルを生成することができる。位相検出オートフォーカスのための画素はイメージの位置に応じて画素特性が変わるため、色のバラツキを解消するためのキャリブレーション動作実行とは無関係であり得る。

【0078】

図１２は、本発明の実施例に係るノイズキャリブレーション方法を説明するためのフローチャートである。

【0079】

本発明の実施例によると、イメージセンシング装置は、取得したイメージに含まれたノイズを除去するキャリブレーション動作を行うことができる。イメージセンシング装置は、低照度または動画モード時の最大解像度に対応するゲインテーブルをビニングしてキャリブレーション動作を行うことができる。

【0080】

Ｓ１２０１段階において、ゲインテーブル生成部２１０は、イメージに含まれている関心領域に含まれた画素値を用いて第１解像度に対応するゲインテーブル値を含むゲインテーブルを生成することができる。関心領域は、イメージに重ねられる複数の格子線の交差点の何れか１つの交差点周辺の予め定められたサイズの領域であってもよい。ゲインテーブル生成部２１０は入力されたイメージに重ねられる複数の格子線を設定することができる。ゲインテーブル生成部２１０は格子線の交差点に予め定められた関心領域を設定することができる。

【0081】

ゲインテーブルは複数のゲイン領域にそれぞれ対応するゲインテーブル値を含むことができる。ゲインテーブル生成部２１０は、関心領域に含まれた画素値のうち各ゲイン領域に対応する画素と同じ色の画素値の平均値を関心領域に含まれた画素値のうち上記各ゲイン領域に対応する画素値の平均値で割った値であるゲインテーブル値を計算することができる。ゲインテーブル生成部２１０はゲインテーブル値を含むゲインテーブルを生成することができる。

【0082】

ゲインテーブルの生成方法は、図７、図８、図９及び図１１の説明に対応することができる。

【0083】

Ｓ１２０３段階において、ゲインテーブルビニング部２２０は、ゲインテーブルを第２解像度に対応するターゲットテーブル値を含むターゲットテーブルに変換することができる。ターゲットテーブルは複数の計算領域を含んでもよい。ゲインテーブルビニング部２２０は複数の計算領域に対応するゲインテーブル値を決定することができる。ゲインテーブルビニング部２２０はゲインテーブル値のうち複数の計算領域に対応するゲインテーブル値の平均値であるターゲットテーブル値を計算することができる。本発明の他の実施例では、ゲインテーブルビニング部２２０は、ゲインテーブル値のうち複数の計算領域に対応するゲインテーブル値の真ん中に位置する中央値を計算することができる。ゲインテーブルビニング部２２０は計算されたターゲットテーブル値を含むターゲットテーブルを生成することができる。

【0084】

ターゲットテーブルの生成方法は、図７及び図１０の説明に対応することができる。

【0085】

Ｓ１２０５段階において、キャリブレーション実行部２３０はターゲットテーブルに基づいてイメージに含まれたノイズを除去するキャリブレーション動作を行うことができる。キャリブレーション実行部２３０はターゲットテーブル値をイメージに含まれた複数の画素値に適用することができる。キャリブレーション実行部２３０のキャリブレーション動作の結果、同じ色の画素間の色偏差を低減させることができる。これにより、ノイズを除去されることができる。

【0086】

図１３は、本発明の実施例に係るゲインテーブルをビニングする方法を説明するためのフローチャートである。

【0087】

本発明の実施例に係るゲインテーブルのビニング方法は、ゲインテーブルビニング部によって行われることができる。

【0088】

Ｓ１３０１段階において、ゲインテーブルビニング部２２０は複数の計算領域に対応するゲインテーブル値を決定することができる。複数の計算領域に対応するゲインテーブル値の数は第１解像度と第２解像度に基づいて決定されることができる。例えば、第１解像度がヘキサデカパターンに対応する解像度であり、第２解像度がクアッドベイヤーパターンに対応する解像度であってもよい。ゲインテーブルビニング部２２０は、第１解像度と第２解像度に基づいて複数の計算領域のうち１つの計算領域に対応する４個のゲインテーブル値を決定することができる。４個のゲインテーブル値は同じ色であってもよい。４個のゲインテーブル値は互いに隣接するゲインテーブル値であってもよい。

【0089】

Ｓ１３０３段階において、ゲインテーブルビニング部２２０は複数の計算領域に対応するゲインテーブル値に基づいてターゲットテーブル値を計算することができる。ターゲットテーブルは複数の計算領域を含んでもよい。ゲインテーブルビニング部２２０は、ゲインテーブル値のうち複数の計算領域に対応するゲインテーブル値の平均値であるターゲットテーブル値を計算することができる。本発明の他の実施例では、ゲインテーブルビニング部２２０はゲインテーブル値のうち複数の計算領域に対応するゲインテーブル値の真ん中に位置する中央値を計算することができる。計算領域に対応するターゲットテーブル値は計算領域に対応するゲインテーブル値の平均値または中央値であってもよい。ゲインテーブルビニング部２２０は計算されたターゲットテーブル値を含むターゲットテーブルを生成することができる。

【0090】

ゲインテーブルのビニング方法は、図７及び図１０の説明に対応することができる。

【0091】

本発明の実施例によると、入力されたイメージの最大解像度でメイズノイズを低減させるキャリブレーション動作に用いられるゲインテーブルを生成することができる。メイズノイズは、上記複数の画素のうち同じ色の画素間の色のバラツキによって生じる格子状のノイズであってもよい。通常、格子状ノイズは画素のクロストークによって発生し得る。クロストークの原因はフォトダイオードにおける電子拡散、読み取り回路など様々である。

【0092】

画素間のバラツキは規則的なパターンとして表れるため、各画素にゲイン値を適用することで、色偏差を除去することができる。生成されたゲインテーブルをビニングしてターゲットテーブルを生成することができる。複数のゲインテーブルを保存しないため、イメージ処理速度が向上し、保存空間を節約することができる。他の解像度に対応するゲインテーブルを生成しないため、キャリブレーションにかかる時間を低減させることができる。

【0093】

本発明の実施例によると、マルチパターン（Ｑｕａｄ、Ｎｏｎａ、Ｈｅｘａ－ｄｅｃａ）では同じ色の画素間の偏差を最小化し、ベイヤーパターンでは緑色Ｇｒ、Ｇｂの画素間の色偏差を最小化することができる。

【0094】

図１４は、本発明の実施例に係るイメージセンサを含むコンピューティングシステムを示すブロック図である。

【0095】

図１４を参照すると、コンピューティングシステム２０００は、イメージセンサ２０１０と、プロセッサ２０２０と、記憶装置（ＳＴＯＲＡＧＥ ＤＥＶＩＣＥ）２０３０と、メモリ装置（ＭＥＭＯＲＹ ＤＥＶＩＣＥ）２０４０と、入出力装置２０５０と、ディスプレイ装置２０６０と、を含む。図１４には図示されていないが、コンピューティングシステム２０００は、ビデオカード、サウンドカード、メモリカード、ＵＳＢ装置などと通信するか、または他の電子機器と通信できるポート（ｐｏｒｔ）をさらに含んでもよい。

【0096】

イメージセンサ２０１０は入射光に相応するイメージデータを生成することができる。ディスプレイ装置２０６０はイメージデータを表示することができる。記憶装置２０３０はイメージデータを保存することができる。プロセッサ２０２０はイメージセンサ２０１０、ディスプレイ装置２０６０及び記憶装置２０３０の動作を制御することができる。

【0097】

プロセッサ２０２０は特定の計算またはタスク（ｔａｓｋ）を行うことができる。本発明の実施例によると、プロセッサ２０２０は、マイクロプロセッサ（ｍｉｃｒｏｐｒｏｃｅｓｓｏｒ）、中央処理装置（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ、ＣＰＵ）であってもよい。プロセッサ２０２０は、アドレスバス（ａｄｄｒｅｓｓ ｂｕｓ）、制御バス（ｃｏｎｔｒｏｌ ｂｕｓ）及びデータバス（ｄａｔａ ｂｕｓ）を介して記憶装置２０３０、メモリ装置２０４０及び入出力装置２０５０に接続されて通信を行うことができる。本発明の実施例によると、プロセッサ２０２０は周辺構成要素相互接続（Ｐｅｒｉｐｈｅｒａｌ Ｃｏｍｐｏｎｅｎｔ Ｉｎｔｅｒｃｏｎｎｅｃｔ、ＰＣＩ）バスなどの拡張バスに接続されてもよい。

【0098】

記憶装置２０３０は、フラッシュメモリ装置（ｆｌａｓｈ ｍｅｍｏｒｙ ｄｅｖｉｃｅ）、ソリッドステートドライブ（Ｓｏｌｉｄ Ｓｔａｔｅ Ｄｒｉｖｅ、ＳＳＤ）、ハードディスクドライブ（Ｈａｒｄ Ｄｉｓｋ Ｄｒｉｖｅ、ＨＤＤ）、シーディーロム（ＣＤ－ＲＯＭ）、及びあらゆる形態の不揮発性メモリ装置などを含んでもよい。

【0099】

メモリ装置２０４０はコンピューティングシステム２０００の動作に必要なデータを保存することができる。例えば、メモリ装置２０４０は、動的ランダムアクセスメモリ（Ｄｙｎａｍｉｃ Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ、ＤＲＡＭ）、静的ランダムアクセスメモリ（Ｓｔａｔｉｃ Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ、ＳＲＡＭ）などの揮発性メモリ装置と、イーピーロム（Ｅｒａｓａｂｌｅ Ｐｒｏｇｒａｍｍａｂｌｅ Ｒｅａｄ－Ｏｎｌｙ Ｍｅｍｏｒｙ、ＥＰＲＯＭ）、イーイーピーロム（Ｅｌｅｃｔｒｉｃａｌｌｙ Ｅｒａｓａｂｌｅ Ｐｒｏｇｒａｍｍａｂｌｅ Ｒｅａｄ－Ｏｎｌｙ Ｍｅｍｏｒｙ、ＥＥＰＲＯＭ）及びフラッシュメモリ装置（ｆｌａｓｈ ｍｅｍｏｒｙ ｄｅｖｉｃｅ）などの不揮発性メモリ装置と、を含んでもよい。

【0100】

入出力装置２０５０は、キーボード、キーパッド、マウスなどの入力手段と、プリンタ、ディスプレイなどの出力手段と、を含んでもよい。

【0101】

イメージセンサ２０１０は、上記バスまたは別の通信リンクを介してプロセッサ２０２０と接続されて通信を行うことができる。

【0102】

イメージセンサ２０１０は画素アレイに含まれる複数の画素から生成される複数の画素データに対してビニングを行うことで、上記画素アレイに均等に分散されるビニング画素データを生成することができる。

【0103】

イメージセンサ２０１０は様々な形態のパッケージで具現されてもよい。例えば、イメージセンサ２０１０の少なくとも一部の構成は、ＰｏＰ（Ｐａｃｋａｇｅ ｏｎ Ｐａｃｋａｇｅ）、Ｂａｌｌ ｇｒｉｄ ａｒｒａｙｓ（ＢＧＡｓ）、Ｃｈｉｐ ｓｃａｌｅ ｐａｃｋａｇｅｓ（ＣＳＰｓ）、Ｐｌａｓｔｉｃ Ｌｅａｄｅｄ Ｃｈｉｐ Ｃａｒｒｉｅｒ（ＰＬＣＣ）、Ｐｌａｓｔｉｃ Ｄｕａｌ Ｉｎ－Ｌｉｎｅ Ｐａｃｋａｇｅ（ＰＤＩＰ）、Ｄｉｅ ｉｎ Ｗａｆｆｌｅ Ｐａｃｋ、Ｄｉｅ ｉｎ Ｗａｆｅｒ Ｆｏｒｍ、Ｃｈｉｐ Ｏｎ Ｂｏａｒｄ（ＣＯＢ）、Ｃｅｒａｍｉｃ Ｄｕａｌ Ｉｎ－Ｌｉｎｅ Ｐａｃｋａｇｅ（ＣＥＲＤＩＰ）、Ｐｌａｓｔｉｃ Ｍｅｔｒｉｃ Ｑｕａｄ Ｆｌａｔ Ｐａｃｋ（ＭＱＦＰ）、Ｔｈｉｎ Ｑｕａｄ Ｆｌａｔ Ｐａｃｋ（ＴＱＦＰ）、Ｓｍａｌｌ Ｏｕｔｌｉｎｅ Ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔ（ＳＯＩＣ）、Ｓｈｒｉｎｋ Ｓｍａｌｌ Ｏｕｔｌｉｎｅ Ｐａｃｋａｇｅ（ＳＳＯＰ）、Ｔｈｉｎ Ｓｍａｌｌ Ｏｕｔｌｉｎｅ Ｐａｃｋａｇｅ（ＴＳＯＰ）、Ｔｈｉｎ Ｑｕａｄ Ｆｌａｔ Ｐａｃｋ（ＴＱＦＰ）、Ｓｙｓｔｅｍ Ｉｎ Ｐａｃｋａｇｅ（ＳＩＰ）、Ｍｕｌｔｉ Ｃｈｉｐ Ｐａｃｋａｇｅ（ＭＣＰ）、Ｗａｆｅｒ－ｌｅｖｅｌ Ｆａｂｒｉｃａｔｅｄ Ｐａｃｋａｇｅ（ＷＦＰ）、Ｗａｆｅｒ－Ｌｅｖｅｌ Ｐｒｏｃｅｓｓｅｄ Ｓｔａｃｋ Ｐａｃｋａｇｅ（ＷＳＰ）などのパッケージを利用して具現されてもよい。

【0104】

実施例に応じて、イメージセンサ２０１０はプロセッサ２０２０と一緒に１つのチップに集積されてもよく、別のチップにそれぞれ集積されてもよい。

【0105】

一方、コンピューティングシステム２０００は、イメージセンサ２０１０を利用するすべてのコンピューティングシステムと解釈すべきである。例えば、コンピューティングシステム２０００は、デジタルカメラ、携帯電話、ＰＤＡ（Ｐｅｒｓｏｎａｌ Ｄｉｇｉｔａｌ Ａｓｓｉｓｔａｎｔｓ）、ＰＭＰ（Ｐｏｒｔａｂｌｅ Ｍｕｌｔｉｍｅｄｉａ Ｐｌａｙｅｒ）、スマートフォンなどを含んでもよい。

【符号の説明】

【0106】

１０ イメージセンシング装置
１００ イメージセンサ
２００ イメージプロセッサ

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】