ホーム > 特許ランキング > ＳＫ ｈｙｎｉｘ Ｉｎｃ．
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2022173066
(43)【公開日】2022-11-17
(54)【発明の名称】イメージセンシング装置及びその動作方法
(51)【国際特許分類】
G06T 1/00 20060101AFI20221110BHJP
H04N 5/369 20110101ALI20221110BHJP
【ＦＩ】
G06T1/00 460E
G06T1/00 410
H04N5/369
【審査請求】未請求
【請求項の数】18
【出願形態】ＯＬ
(21)【出願番号】P 2022045385
(22)【出願日】2022-03-22
(31)【優先権主張番号】10-2021-0059457
(32)【優先日】2021-05-07
(33)【優先権主張国・地域又は機関】KR
(71)【出願人】
【識別番号】310024033
【氏名又は名称】エスケーハイニックス株式会社
【氏名又は名称原語表記】ＳＫ ｈｙｎｉｘ Ｉｎｃ．
【住所又は居所原語表記】２０９１， Ｇｙｅｏｎｇｃｈｕｎｇ－ｄａｅｒｏ，Ｂｕｂａｌ－ｅｕｂ，Ｉｃｈｅｏｎ－ｓｉ，Ｇｙｅｏｎｇｇｉ－ｄｏ，Ｋｏｒｅａ
(74)【代理人】
【識別番号】110000796
【氏名又は名称】弁理士法人三枝国際特許事務所
(72)【発明者】
【氏名】ハン ジ ヒ
(72)【発明者】
【氏名】ソン ジョン ヨン
(72)【発明者】
【氏名】ユ ジェ ユン
【テーマコード（参考）】
5B047
5C024
【Ｆターム（参考）】
5B047AB02
5B047AB04
5B047BA03
5B047BB04
5B047BC01
5B047BC05
5B047BC07
5B047DA06
5C024GX02
5C024HX57
(57)【要約】
【課題】本発明は電子装置に関する。
【解決手段】本技術によるイメージセンシング装置１０００は、複数のピクセルデータを含むイメージを取得するイメージセンサ１００と、イメージのサイズに対応するゲインマップに含まれた複数のブロック領域によって定義される頂点に対する基準ゲイン値を保存するメモリ３００と、基準ゲイン値を利用して複数のブロック領域のそれぞれに含まれるゲイン値を計算し、基準ゲイン値及びゲイン値を複数のピクセルデータに適用した補正イメージを出力するイメージプロセッサ２００と、を含み、複数のブロック領域は第１ブロック領域及び第１ブロック領域の位置よりもイメージの中央からの距離が近く、第１ブロック領域よりも大きいサイズの第２ブロック領域を含んでもよい。
【選択図】図１
【解決手段】本技術によるイメージセンシング装置１０００は、複数のピクセルデータを含むイメージを取得するイメージセンサ１００と、イメージのサイズに対応するゲインマップに含まれた複数のブロック領域によって定義される頂点に対する基準ゲイン値を保存するメモリ３００と、基準ゲイン値を利用して複数のブロック領域のそれぞれに含まれるゲイン値を計算し、基準ゲイン値及びゲイン値を複数のピクセルデータに適用した補正イメージを出力するイメージプロセッサ２００と、を含み、複数のブロック領域は第１ブロック領域及び第１ブロック領域の位置よりもイメージの中央からの距離が近く、第１ブロック領域よりも大きいサイズの第２ブロック領域を含んでもよい。
【選択図】図１
【特許請求の範囲】
【請求項1】
複数のピクセルデータを含むイメージを取得するイメージセンサと、
前記イメージのサイズに対応するゲインマップに含まれた複数のブロック領域によって定義される頂点に対する基準ゲイン値を保存するメモリと、
前記基準ゲイン値を利用して前記複数のブロック領域のそれぞれに含まれるゲイン値を計算し、前記基準ゲイン値及び前記ゲイン値を前記複数のピクセルデータに適用した補正イメージを出力するイメージプロセッサと、を含み、
前記複数のブロック領域は、
第１ブロック領域及び前記第１ブロック領域の位置よりも前記イメージの中心からの距離が近く、前記第１ブロック領域よりも大きいサイズの第２ブロック領域を含むことを特徴とするイメージセンシング装置。
前記イメージのサイズに対応するゲインマップに含まれた複数のブロック領域によって定義される頂点に対する基準ゲイン値を保存するメモリと、
前記基準ゲイン値を利用して前記複数のブロック領域のそれぞれに含まれるゲイン値を計算し、前記基準ゲイン値及び前記ゲイン値を前記複数のピクセルデータに適用した補正イメージを出力するイメージプロセッサと、を含み、
前記複数のブロック領域は、
第１ブロック領域及び前記第１ブロック領域の位置よりも前記イメージの中心からの距離が近く、前記第１ブロック領域よりも大きいサイズの第２ブロック領域を含むことを特徴とするイメージセンシング装置。
【請求項2】
前記第１ブロック領域に含まれるゲイン値は、
前記第２ブロック領域に含まれるゲイン値よりも大きいビット数が割り当てられることを特徴とする請求項１に記載のイメージセンシング装置。
前記第２ブロック領域に含まれるゲイン値よりも大きいビット数が割り当てられることを特徴とする請求項１に記載のイメージセンシング装置。
【請求項3】
前記イメージプロセッサは、
前記イメージセンサを介して取得したキャリブレーションイメージに含まれた複数のピクセルデータから前記複数のブロック領域の頂点に対応するピクセルデータを選択し、
前記選択されたピクセルデータのうち１つの選択されたピクセルデータを含む関心領域に含まれるピクセルデータのうち、前記選択されたピクセルデータと同じ色チャンネルを有するピクセルデータの平均ピクセル値を計算し、
前記選択されたピクセルデータのピクセル値及び前記平均ピクセル値を利用して、前記基準ゲイン値のうち１つの基準ゲイン値を計算するイメージキャリブレータを含むことを特徴とする請求項１に記載のイメージセンシング装置。
前記イメージセンサを介して取得したキャリブレーションイメージに含まれた複数のピクセルデータから前記複数のブロック領域の頂点に対応するピクセルデータを選択し、
前記選択されたピクセルデータのうち１つの選択されたピクセルデータを含む関心領域に含まれるピクセルデータのうち、前記選択されたピクセルデータと同じ色チャンネルを有するピクセルデータの平均ピクセル値を計算し、
前記選択されたピクセルデータのピクセル値及び前記平均ピクセル値を利用して、前記基準ゲイン値のうち１つの基準ゲイン値を計算するイメージキャリブレータを含むことを特徴とする請求項１に記載のイメージセンシング装置。
【請求項4】
前記同じ色チャンネルは、
第１グリーンチャンネル、第２グリーンチャンネル、レッドチャンネル、及びブルーチャンネルのうち１つの色チャンネルであることを特徴とする請求項３に記載のイメージセンシング装置。
第１グリーンチャンネル、第２グリーンチャンネル、レッドチャンネル、及びブルーチャンネルのうち１つの色チャンネルであることを特徴とする請求項３に記載のイメージセンシング装置。
【請求項5】
前記同じ色チャンネルは、
第１グリーンチャンネル及び第２グリーンチャンネルのうち１つの色チャンネルであり、
前記平均ピクセル値は、
前記関心領域に含まれるピクセルデータのうち、前記第１グリーンチャンネルを有するピクセルデータのピクセル値及び前記第２グリーンチャンネルを有するピクセルデータのピクセル値に対する平均値を含むことを特徴とする請求項３に記載のイメージセンシング装置。
第１グリーンチャンネル及び第２グリーンチャンネルのうち１つの色チャンネルであり、
前記平均ピクセル値は、
前記関心領域に含まれるピクセルデータのうち、前記第１グリーンチャンネルを有するピクセルデータのピクセル値及び前記第２グリーンチャンネルを有するピクセルデータのピクセル値に対する平均値を含むことを特徴とする請求項３に記載のイメージセンシング装置。
【請求項6】
前記イメージプロセッサは、
前記複数のブロック領域のうち１つのブロック領域において選択された地点と前記１つのブロック領域の頂点との距離及び前記１つのブロック領域の頂点に対応する基準ゲイン値に基づいて、前記選択された地点に対応するゲイン値を計算するイメージキャリブレータを含むことを特徴とする請求項１に記載のイメージセンシング装置。
前記複数のブロック領域のうち１つのブロック領域において選択された地点と前記１つのブロック領域の頂点との距離及び前記１つのブロック領域の頂点に対応する基準ゲイン値に基づいて、前記選択された地点に対応するゲイン値を計算するイメージキャリブレータを含むことを特徴とする請求項１に記載のイメージセンシング装置。
【請求項7】
前記１つのブロック領域の頂点は、
前記１つのブロック領域の第１頂点、第２頂点、第３頂点、及び第４頂点を含み、
前記イメージキャリブレータは、
前記選択された地点と前記第１頂点の間の距離、前記選択された地点と前記第２頂点の間の距離、前記選択された地点と前記第３頂点の間の距離、前記選択された地点と前記第４頂点の間の距離、前記第１頂点に対応する基準ゲイン値、前記第２頂点に対応する基準ゲイン値、前記第３頂点に対応する基準ゲイン値、及び前記第４頂点に対応する基準ゲイン値に基づいて、前記選択された地点に対応するゲイン値を計算することを特徴とする請求項６に記載のイメージセンシング装置。
前記１つのブロック領域の第１頂点、第２頂点、第３頂点、及び第４頂点を含み、
前記イメージキャリブレータは、
前記選択された地点と前記第１頂点の間の距離、前記選択された地点と前記第２頂点の間の距離、前記選択された地点と前記第３頂点の間の距離、前記選択された地点と前記第４頂点の間の距離、前記第１頂点に対応する基準ゲイン値、前記第２頂点に対応する基準ゲイン値、前記第３頂点に対応する基準ゲイン値、及び前記第４頂点に対応する基準ゲイン値に基づいて、前記選択された地点に対応するゲイン値を計算することを特徴とする請求項６に記載のイメージセンシング装置。
【請求項8】
前記イメージプロセッサは、
前記基準ゲイン値及び前記基準ゲイン値を利用して計算された前記ゲイン値を前記メモリに保存することを特徴とする請求項１に記載のイメージセンシング装置。
前記基準ゲイン値及び前記基準ゲイン値を利用して計算された前記ゲイン値を前記メモリに保存することを特徴とする請求項１に記載のイメージセンシング装置。
【請求項9】
前記イメージプロセッサは、
前記イメージセンサを介して前記イメージを取得すると、前記メモリに保存された前記基準ゲイン値及び前記ゲイン値を前記イメージに含まれる前記複数のピクセルデータに適用した前記補正イメージを生成するイメージコレクタを含むことを特徴とする請求項８に記載のイメージセンシング装置。
前記イメージセンサを介して前記イメージを取得すると、前記メモリに保存された前記基準ゲイン値及び前記ゲイン値を前記イメージに含まれる前記複数のピクセルデータに適用した前記補正イメージを生成するイメージコレクタを含むことを特徴とする請求項８に記載のイメージセンシング装置。
【請求項10】
前記複数のブロック領域のそれぞれは、
長方形または正方形の領域であることを特徴とする請求項１に記載のイメージセンシング装置。
長方形または正方形の領域であることを特徴とする請求項１に記載のイメージセンシング装置。
【請求項11】
イメージセンサを介してキャリブレーションイメージを取得すると、前記キャリブレーションイメージのサイズに対応するゲインマップに含まれた複数のブロック領域によって定義される頂点に対する基準ゲイン値を計算する段階と、
前記基準ゲイン値を利用して前記複数のブロック領域のそれぞれに含まれるゲイン値を計算する段階と、
前記基準ゲイン値及び前記ゲイン値をメモリに保存する段階と、
前記イメージセンサを介してイメージを取得すると、前記メモリに保存された前記基準ゲイン値及び前記ゲイン値を前記複数のピクセルデータに適用した補正イメージを出力する段階と、を含み、
前記複数のブロック領域は、
第１ブロック領域及び前記第１ブロック領域の位置よりも前記キャリブレーションイメージの中心からの距離が近く、前記第１ブロック領域よりも大きいサイズの第２ブロック領域を含むことを特徴とするイメージセンシング装置の動作方法。
前記基準ゲイン値を利用して前記複数のブロック領域のそれぞれに含まれるゲイン値を計算する段階と、
前記基準ゲイン値及び前記ゲイン値をメモリに保存する段階と、
前記イメージセンサを介してイメージを取得すると、前記メモリに保存された前記基準ゲイン値及び前記ゲイン値を前記複数のピクセルデータに適用した補正イメージを出力する段階と、を含み、
前記複数のブロック領域は、
第１ブロック領域及び前記第１ブロック領域の位置よりも前記キャリブレーションイメージの中心からの距離が近く、前記第１ブロック領域よりも大きいサイズの第２ブロック領域を含むことを特徴とするイメージセンシング装置の動作方法。
【請求項12】
前記第１ブロック領域に含まれるゲイン値は、
前記第２ブロック領域に含まれるゲイン値よりも大きいビット数が割り当てられることを特徴とする請求項１１に記載のイメージセンシング装置の動作方法。
前記第２ブロック領域に含まれるゲイン値よりも大きいビット数が割り当てられることを特徴とする請求項１１に記載のイメージセンシング装置の動作方法。
【請求項13】
前記基準ゲイン値を計算する段階は、
前記イメージセンサを介して取得したキャリブレーションイメージに含まれた複数のピクセルデータから前記複数のブロック領域の頂点に対応するピクセルデータを選択する段階と、
前記選択されたピクセルデータのうち１つの選択されたピクセルデータを含む関心領域に含まれるピクセルデータのうち、前記選択された色チャンネルを有するピクセルデータの平均ピクセル値を計算する段階と、
前記選択されたピクセルデータのピクセル値及び前記平均ピクセル値を利用して前記基準ゲイン値のうち１つの基準ゲイン値を計算する段階と、を含むことを特徴とする請求項１１に記載のイメージセンシング装置の動作方法。
前記イメージセンサを介して取得したキャリブレーションイメージに含まれた複数のピクセルデータから前記複数のブロック領域の頂点に対応するピクセルデータを選択する段階と、
前記選択されたピクセルデータのうち１つの選択されたピクセルデータを含む関心領域に含まれるピクセルデータのうち、前記選択された色チャンネルを有するピクセルデータの平均ピクセル値を計算する段階と、
前記選択されたピクセルデータのピクセル値及び前記平均ピクセル値を利用して前記基準ゲイン値のうち１つの基準ゲイン値を計算する段階と、を含むことを特徴とする請求項１１に記載のイメージセンシング装置の動作方法。
【請求項14】
前記同じ色チャンネルは、
第１グリーンチャンネル、第２グリーンチャンネル、レッドチャンネル、及びブルーチャンネルのうち１つの色チャンネルであることを特徴とする請求項１３に記載のイメージセンシング装置の動作方法。
第１グリーンチャンネル、第２グリーンチャンネル、レッドチャンネル、及びブルーチャンネルのうち１つの色チャンネルであることを特徴とする請求項１３に記載のイメージセンシング装置の動作方法。
【請求項15】
前記同じ色チャンネルは、
第１グリーンチャンネル及び第２グリーンチャンネルのうち１つの色チャンネルであり、
前記平均ピクセル値は、
前記関心領域に含まれるピクセルデータのうち、前記第１グリーンチャンネルを有するピクセルデータのピクセル値及び前記第２グリーンチャンネルを有するピクセルデータのピクセル値に対する平均値を含むことを特徴とする請求項１３に記載のイメージセンシング装置の動作方法。
第１グリーンチャンネル及び第２グリーンチャンネルのうち１つの色チャンネルであり、
前記平均ピクセル値は、
前記関心領域に含まれるピクセルデータのうち、前記第１グリーンチャンネルを有するピクセルデータのピクセル値及び前記第２グリーンチャンネルを有するピクセルデータのピクセル値に対する平均値を含むことを特徴とする請求項１３に記載のイメージセンシング装置の動作方法。
【請求項16】
前記ゲイン値を計算する段階は、
前記複数のブロック領域のうち１つのブロック領域において選択された地点と前記１つのブロック領域の頂点との距離及び前記１つのブロック領域の頂点に対応する基準ゲイン値に基づいて、前記選択された地点に対応するゲイン値を計算する段階を含むことを特徴とする請求項１１に記載のイメージセンシング装置の動作方法。
前記複数のブロック領域のうち１つのブロック領域において選択された地点と前記１つのブロック領域の頂点との距離及び前記１つのブロック領域の頂点に対応する基準ゲイン値に基づいて、前記選択された地点に対応するゲイン値を計算する段階を含むことを特徴とする請求項１１に記載のイメージセンシング装置の動作方法。
【請求項17】
前記１つのブロック領域の頂点は、
前記１つのブロック領域の第１頂点、第２頂点、第３頂点、及び第４頂点を含み、
前記選択された地点に対応するゲイン値を計算する段階は、
前記選択された地点と前記第１頂点の間の距離、前記選択された地点と前記第２頂点の間の距離、前記選択された地点と前記第３頂点の間の距離、前記選択された地点と前記第４頂点の間の距離、前記第１頂点に対応する基準ゲイン値、前記第２頂点に対応する基準ゲイン値、前記第３頂点に対応する基準ゲイン値、及び前記第４頂点に対応する基準ゲイン値に基づいて、前記選択された地点に対応するゲイン値を計算することを含むことを特徴とする請求項１６に記載のイメージセンシング装置の動作方法。
前記１つのブロック領域の第１頂点、第２頂点、第３頂点、及び第４頂点を含み、
前記選択された地点に対応するゲイン値を計算する段階は、
前記選択された地点と前記第１頂点の間の距離、前記選択された地点と前記第２頂点の間の距離、前記選択された地点と前記第３頂点の間の距離、前記選択された地点と前記第４頂点の間の距離、前記第１頂点に対応する基準ゲイン値、前記第２頂点に対応する基準ゲイン値、前記第３頂点に対応する基準ゲイン値、及び前記第４頂点に対応する基準ゲイン値に基づいて、前記選択された地点に対応するゲイン値を計算することを含むことを特徴とする請求項１６に記載のイメージセンシング装置の動作方法。
【請求項18】
前記複数のブロック領域のそれぞれは、
長方形または正方形の領域であることを特徴とする請求項１１に記載のイメージセンシング装置の動作方法。
長方形または正方形の領域であることを特徴とする請求項１１に記載のイメージセンシング装置の動作方法。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は電子装置に関し、より詳細にはイメージセンシング装置及びその動作方法に関する。
【背景技術】
【0002】
イメージセンシング装置はイメージを取得する装置である。最近では、コンピュータ産業や通信産業の発達に伴い、スマートフォン、デジタルカメラ、ゲーム機器、モノのインターネット（Ｉｎｔｅｒｎｅｔ ｏｆ Ｔｈｉｎｇｓ）、ロボット、警備用カメラ、医療用カメラ、自律走行車両などの様々な電子装置においてイメージセンシング装置の需要が増加している。
【0003】
イメージセンシング装置は画質向上のためにイメージを補正することができる。これは、イメージはイメージセンシング装置のピクセル構造、光の波長の特性、レンズの工程誤差、レンズとイメージセンサ間の整列誤差などによって画質が劣化する恐れがあるからである。特に、人間の視覚特性上最も敏感な色の１つを示すグリーンチャンネル（例えば、Ｇｂチャンネル、Ｇｒチャンネル）間のバラツキ（ｉｍｂａｌａｎｃｅ）が大きくなる場合、イメージには格子型ノイズのような画質劣化要素が発生する可能性がある。
【0004】
イメージセンシング装置は補正に用いられるデータをメモリに予め保存することができる。しかし、ハードウェアなどのリソースは限られており、画質向上の性能は保持しながらもデータの処理及び保存に必要なリソースの最小化などの最適化作業が求められる。
【発明の概要】
【発明が解決しようとする課題】
【0005】
本発明の実施例は、イメージの補正に用いられるデータの演算量及び容量を減少させることができるイメージセンシング装置及びその動作方法を提供する。
【課題を解決するための手段】
【0006】
本発明の実施例によるイメージセンシング装置は、複数のピクセルデータを含むイメージを取得するイメージセンサと、イメージのサイズに対応するゲインマップに含まれた複数のブロック領域によって定義される頂点に対する基準ゲイン値を保存するメモリと、基準ゲイン値を利用して複数のブロック領域のそれぞれに含まれるゲイン値を計算し、基準ゲイン値及びゲイン値を複数のピクセルデータに適用した補正イメージを出力するイメージプロセッサと、を含み、複数のブロック領域は第１ブロック領域及び第１ブロック領域の位置よりもイメージの中央からの距離が近く、第１ブロック領域よりも大きいサイズの第２ブロック領域を含んでもよい。
【0007】
本発明の実施例によるイメージセンシング装置の動作方法は、イメージセンサを介してキャリブレーションイメージを取得すると、キャリブレーションイメージのサイズに対応するゲインマップに含まれた複数のブロック領域によって定義される頂点に対する基準ゲイン値を計算する段階と、基準ゲイン値を利用して複数のブロック領域のそれぞれに含まれるゲイン値を計算する段階と、基準ゲイン値及びゲイン値をメモリに保存する段階と、イメージセンサを介してイメージを取得すると、メモリに保存された基準ゲイン値及びゲイン値を複数のピクセルデータに適用した補正イメージを出力する段階と、を含み、複数のブロック領域は第１ブロック領域及び第１ブロック領域の位置よりもイメージの中央からの距離が近く、第１ブロック領域よりも大きいサイズの第２ブロック領域を含んでもよい。
【発明の効果】
【0008】
本技術は、イメージの補正に用いられるデータの演算量及び容量を減少させることができるイメージセンシング装置及びその動作方法を提供する。
【図面の簡単な説明】
【0009】
【図1】本発明の実施例によるイメージセンシング装置を説明するための図である。
【図2】本発明の実施例によるイメージセンサを説明するための図である。
【図3a】本発明の実施例によるピクセルアレイを説明するための図である。
【図3b】本発明の実施例によるイメージセンサを介して取得されるイメージを説明するための図である。
【図4】本発明の実施例によるイメージプロセッサを説明するための図である。
【図5】本発明の実施例によるキャリブレーションイメージを説明するための図である。
【図6】本発明の実施例によるゲインマップを説明するための図である。
【図7】本発明の実施例による何れか１つのブロック領域を説明するための図である。
【図8a】本発明の実施例による基準ゲイン値を計算する方法を説明するための図である。
【図8b】本発明の実施例による基準ゲイン値を計算する方法を説明するための図である。
【図8c】本発明の実施例による基準ゲイン値を計算する方法を説明するための図である。
【図8d】本発明の実施例による基準ゲイン値を計算する方法を説明するための図である。
【図9a】本発明の実施例によるゲイン値を計算する方法を説明するための図である。
【図9b】本発明の実施例によるゲイン値を計算する方法を説明するための図である。
【図10】本発明の実施例による補正イメージを説明するための図である。
【図11】本発明の実施例によるイメージセンシング装置の動作方法を説明するための図である。
【図12】本発明の実施例によるイメージセンシング装置の動作方法を説明するための図である。
【図13】本発明の実施例によるイメージセンシング装置を含むコンピューティングシステムを説明する図である。
【発明を実施するための形態】
【0010】
本明細書または出願に開示されている本発明の概念による実施例に対する特定の構造的乃至機能的説明は本発明の概念による実施例を説明するための例示に過ぎず、本発明の概念による実施例は様々な形態で実施されてもよく、本明細書または出願に説明された実施例に限定されると解釈すべきではない。
【0011】
図１は本発明の実施例によるイメージセンシング装置を説明するための図である。
【0012】
図１を参照すると、イメージセンシング装置１０００はホスト３０００の制御に応じて動作することができる。
【0013】
イメージセンシング装置１０００はホスト３０００の要請に応じてイメージを取得することができる。そして、イメージセンシング装置１０００はホスト３０００の要請に応じてホスト３０００またはホスト３０００が指示する装置にイメージを出力することができる。ここで、ホスト３０００が指示する装置はデータを保存するメモリ装置、データを視覚的な方式で出力するディスプレイ装置であってもよい。
【0014】
イメージセンシング装置１０００はパッケージングされたモジュール、部品などの形態で具現されてもよい。この場合、イメージセンシング装置１０００はホスト３０００に搭載されてもよい。または、イメージセンシング装置１０００はホスト３０００とは別の電子装置で具現されてもよい。
【0015】
ホスト３０００は様々な電子装置で具現されてもよい。例えば、ホスト３０００はデジタルカメラ、モバイルデバイス、スマートフォン（ｓｍａｒｔ ｐｈｏｎｅ）、ＰＣ（Ｐｅｒｓｏｎａｌ Ｃｏｍｐｕｔｅｒ）、タブレットＰＣ（ｔａｂｌｅｔ ｐｅｒｓｏｎａｌ ｃｏｍｐｕｔｅｒ）、ノート型パソコン（ｎｏｔｅｂｏｏｋ）、ＰＤＡ（ｐｅｒｓｏｎａｌ ｄｉｇｉｔａｌ ａｓｓｉｓｔａｎｔ）、ＥＤＡ（ｅｎｔｅｒｐｒｉｓｅ ｄｉｇｉｔａｌ ａｓｓｉｓｔａｎｔ）、ＰＭＰ（ｐｏｒｔａｂｌｅ ｍｕｌｔｉｍｅｄｉａ ｐｌａｙｅｒ）、ウェアラブルデバイス（ｗｅａｒａｂｌｅ ｄｅｖｉｃｅ）、ドライブレコーダーカメラ、ロボット、自律走行車両などで具現されてもよい。
【0016】
イメージセンシング装置１０００は、イメージセンサ１００、イメージプロセッサ２００、及びメモリ３００を含んでもよい。
【0017】
イメージセンサ１００はイメージ（Ｉｍａｇｅ）Ｉｍｇを取得することができる。具体的には、イメージセンサ１００はホスト３０００からイメージを取得するように制御するコマンドを受信すると、イメージを取得することができる。イメージは複数のピクセルデータを含んでもよい。複数のピクセルデータは互いに独立したデータであってもよい。１つのピクセルデータは１つのピクセルに対応することができる。例えば、イメージセンサ１００は、複数のピクセルのそれぞれに対するピクセルデータを取得することができる。イメージセンサ１００は、複数のピクセルデータを含むイメージを取得することができる。ピクセルデータは、位置、色チャンネル、ピクセル値、露出値のうち少なくとも１つを示す情報を含んでもよい。
【0018】
ピクセルの位置は、複数のピクセルのうち該当ピクセルが配列された位置、または複数のピクセルデータのうち該当ピクセルデータが配列された位置を示すことができる。
【0019】
ピクセルの色チャンネルは該当ピクセルに対する光の色またはピクセルデータの色を示すことができる。例えば、色チャンネルはレッドチャンネル、グリーンチャンネル、及びブルーチャンネルのうち１つを含んでもよい。グリーンチャンネルはピクセル（またはピクセルデータ）の位置に応じて互いに区別される第１グリーンチャンネル及び第２グリーンチャンネルを含んでもよい。例えば、第１グリーンチャンネルのピクセルはブルーチャンネルのピクセルと同じ行にあるピクセルであり、第２グリーンチャンネルのピクセルはレッドチャンネルのピクセルと同じ行にあるピクセルであってもよい。他の例として、第１グリーンチャンネルのピクセルはブルーチャンネルのピクセルと同じ列にあるピクセルであり、第２グリーンチャンネルのピクセルはレッドチャンネルのピクセルと同じ列にあるピクセルであってもよい。
【0020】
ピクセル値は該当ピクセルを介して検知された光の明るさを示すことができる。例えば、ピクセル値が大きいほど、光の明るさが明るいことを示すことができる。ピクセルの露光値は該当ピクセルを介して光を検知する時間を示すことができる。
【0021】
このため、イメージセンサ１００はＣＣＤ（Ｃｈａｒｇｅ Ｃｏｕｐｌｅｄ Ｄｅｖｉｃｅ）センサまたはＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ Ｍｅｔａｌ Ｏｘｉｄｅ Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）センサで具現されてもよい。
【0022】
イメージプロセッサ２００はイメージを補正することができる。具体的には、イメージプロセッサ２００は、イメージセンサ１００を介してイメージを取得すると、イメージにゲインマップを適用した補正イメージ（Ｃｏｒｒｅｃｔｉｏｎ Ｉｍａｇｅ）Ｃｏｒ＿Ｉｍｇを生成することができる。例えば、イメージプロセッサ２００はゲインマップに含まれたゲイン値をピクセルデータに適用した補正イメージを生成することができる。また、イメージプロセッサ２００は補正イメージを出力することができる。例えば、イメージプロセッサ２００は補正イメージをホスト３０００またはホスト３０００が指示した装置に出力することができる。
【0023】
このため、イメージセンサ１００はキャリブレーションイメージ（Ｃａｌｉｂｒａｔｉｏｎ ｉｍａｇｅ）Ｃａｌ＿Ｉｍｇを取得することができる。キャリブレーションイメージは、イメージセンサ１００から取得するイメージを補正するのに用いられるゲインマップを抽出するためのイメージである。例えば、キャリブレーションイメージは、イメージセンサ１００が均一な照度の環境で白い背景を撮影することで取得したイメージであってもよい。イメージセンサ１００の構造または光の波長特性などにより、イメージセンサ１００を介して取得したイメージにはピクセルの位置または色チャンネル毎にピクセル値が均一でないなどの歪みが発生することがある。イメージセンサ１００毎に相違する歪みが発生することがあるため、イメージセンサ１００毎の個別的なゲインマップが必要となり得る。キャリブレーションイメージは複数のピクセルデータを含んでもよい。一実施例におけるキャリブレーションイメージはイメージセンサ１００から取得するイメージと同じサイズであってもよい。
【0024】
ゲインマップ（ｇａｉｎ ｍａｐ）は複数のゲイン値を含んでもよい。ゲイン値はピクセルデータ（またはピクセル値）を補正するためのパラメータであり、特定の数値を示すことができる。ゲインマップはイメージセンサ１００が取得するイメージまたはキャリブレーションイメージのサイズに対応することができる。イメージまたはキャリブレーションイメージのサイズは列方向に配列されたピクセルデータの数及び行方向に配列されたピクセルデータの数で示されてもよい。
【0025】
例えば、イメージまたはキャリブレーションイメージに含まれるピクセルデータがＭ×Ｎの数である場合、ゲインマップに含まれる複数のゲイン値はＭｘＮの数であってもよい。ここで、Ｍ及びＮは自然数である。即ち、ゲイン値の数はピクセルデータの数と同じ数であってもよい。ここで、ゲインマップに含まれる複数のゲイン値はイメージに含まれる複数のピクセルデータと１対１の対応関係であってもよい。各ゲイン値は各ピクセルデータの位置に対応することができる。
【0026】
ゲイン値は位置によって割り当てられるデータのビット数が異なってもよい。データのビット数が大きいほど、より広い範囲の数または値を示すことができるという意味である。例えば、小さいビット数が割り当てられたゲイン値を計算して保存する場合、計算した値のうちビット数の範囲外の小数点の桁の値は切り捨て、ビット数の範囲内の小数点の桁の値をゲイン値としてメモリ３００に保存することができる。
【0027】
本発明の一実施例によるイメージプロセッサ２００は、キャリブレーションイメージ及び複数のブロック領域を利用してゲインマップに含まれる基準ゲイン値を計算することができる。具体的には、イメージプロセッサ２００は、キャリブレーションイメージに含まれた複数のピクセルデータを利用してブロック領域によって定義された頂点に対する基準ゲイン値を計算することができる。キャリブレーションイメージは複数のブロック領域を含んでもよい。ブロック領域はピクセルデータの位置によって定義されることができる。これにより、ゲインマップに含まれる一部のゲイン値を算出することができる。イメージプロセッサ２００は基準ゲイン値をメモリ３００に保存することができる。
【0028】
ゲインマップは複数のブロック領域を含んでもよい。ゲインマップは複数のゲイン値を含んでもよい。複数のゲイン値は基準ゲイン値及びノーマルゲイン値を含んでもよい。複数のブロック領域のそれぞれは長方形または正方形の領域であってもよい。しかし、これは一実施例に過ぎず、複数のブロック領域のそれぞれは様々な形態の領域に変形されてもよい。
【0029】
ブロック領域はピクセルデータの位置に対応するゲイン値を含んでもよい。ブロック領域は基準ゲイン値を含んでもよい。基準ゲイン値はゲインマップに含まれる複数のゲイン値のうち一部に該当するゲイン値である。基準ゲイン値のそれぞれは予め設定された位置のピクセルデータに対応することができる。予め設定された位置はブロック領域の頂点に対応する位置であってもよい。例えば、ブロック領域は（１、１）から（４、４）までの４ｘ４の領域と定義されることができる。ブロック領域は（１、１）から（４、４）までの各位置に対応するゲイン値を含んでもよい。この場合、（１、１）、（４、１）、（１、４）、（４、４）の位置を該当ブロック領域の頂点と定義することができる。即ち、（１、１）、（４、１）、（１、４）、（４、４）の位置を線で連結してブロック領域を定義することができる。ブロック領域の頂点である（１、１）、（４、１）、（１、４）、（４、４）に位置するゲイン値は基準ゲイン値であってもよい。
【0030】
本発明の一実施例による複数のブロック領域は第１ブロック領域及び第２ブロック領域を含んでもよい。ここで、第２ブロック領域は第１ブロック領域の位置よりも上記イメージの中央からの距離が近く、上記第１ブロック領域のサイズより大きくてもよい。一実施例では、ブロック領域がイメージの中心から離れるほど、ブロック領域のサイズは小さくなってもよい。例えば、イメージ内において、イメージの中央に最も近いブロック領域のサイズが最も大きく、イメージの端に最も近いブロック領域のサイズが最も小さくてもよい。ブロック領域は互いに頂点を共有することができる。ブロック領域は互いに重ならない領域であってもよい。即ち、ブロック領域に含まれたピクセルデータ（またはゲイン値）は別のブロック領域に含まれたピクセルデータ（またはゲイン値）とは異なるものであってもよい。
【0031】
そして、イメージプロセッサ２００は基準ゲイン値を利用して複数のブロック領域のそれぞれに含まれるゲイン値を計算することができる。ここで、計算されるゲイン値とは複数のブロック領域のそれぞれに含まれる基準ゲイン値を除いた残りのゲイン値のことであり、以下では説明の便宜上、残りのゲイン値のそれぞれをゲイン値と称する。これにより、ゲインマップに含まれる全てのゲイン値を算出することができる。イメージプロセッサ２００はゲインマップに含まれるゲイン値をメモリ３００に保存することができる。
【0032】
メモリ３００はゲインマップに含まれる基準ゲイン値を保存することができる。本発明の一実施例において、メモリ３００はゲインマップに含まれるゲイン値を保存することができる。
【0033】
メモリ３００は不揮発性メモリ素子で具現されてもよい。例えば、メモリ３００はデータの読み出しだけが可能なＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）、１回だけ書き込みが可能なＯＴＰ（ｏｎｅ ｔｉｍｅ ｐｒｏｇｒａｍｍａｂｌｅ）メモリ、保存されたデータの消去及び書き込みが可能なＥＰＲＯＭ（Ｅｒａｓａｂｌｅ ａｎｄ Ｐｒｏｇｒａｍｍａｂｌｅ ＲＯＭ）、ＮＡＮＤ型フラッシュメモリ（ＮＡＮＤ Ｆｌａｓｈ Ｍｅｍｏｒｙ）、ノア型（ＮＯＲ）フラッシュメモリなどの様々な不揮発性メモリ素子からなってもよい。
【0034】
本発明の一実施例によると、イメージの補正に用いられるデータの演算量及び容量を減少させることができるイメージセンシング装置及びその動作方法を提供することができる。以下では、添付の図面を参照してより具体的に説明する。
【0035】
図２は本発明の実施例によるイメージセンサを説明するための図である。
【0036】
図２を参照すると、イメージセンサ１００は、光学レンズＬＳ、ピクセルアレイ１１０、行デコーダ１２０、タイミング生成器１３０、信号変換器１４０、及び出力バッファ１５０を含んでもよい。
【0037】
光学レンズＬＳは被写体Ｏｂｊｅｃｔから反射されて到達した光を屈折させることができる。光学レンズＬＳにより屈折した光はピクセルアレイ１１０に進行することができる。光学レンズＬＳは光の進行経路に配列される１つのレンズまたは複数のレンズの集合体の１つであってもよい。さらに、光学レンズＬＳはピクセルアレイ１１０の各ピクセルの上部にそれぞれ配置されるマイクロレンズの集合体を含んでもよい。被写体Ｏｂｊｅｃｔはイメージセンサ１００の外部に存在する物体、動物、人、背景など様々な要素のうち少なくとも１つを含んでもよい。
【0038】
ピクセルアレイ１１０はカラーフィルタアレイ及び光電変換層を含んでもよい。カラーフィルタアレイは光電変換層の上部に配置されてもよい。光電変換層はカラーフィルタアレイの下部に配置されてもよい。ここで、上部及び下部は光の進行方向を基準として決めたものであり、光はカラーフィルタアレイから光電変換層の方向に進行することができる。
【0039】
カラーフィルタアレイは複数のカラーフィルタを含んでもよい。例えば、複数のカラーフィルタのそれぞれはレッドカラーフィルタ、グリーンカラーフィルタ、及びブルーカラーフィルタの１つであってもよい。レッドカラーフィルタは入射した光をフィルタリングしてレッドカラーを表す波長を有する光を透過させることができる。グリーンカラーフィルタは入射した光をフィルタリングしてグリーンカラーを表す波長を有する光を透過させることができる。ブルーカラーフィルタは入射した光をフィルタリングしてブルーカラーを表す波長を有する光を透過させることができる。但し、これは一実施例に過ぎず、特定色の光を透過させるカラーフィルタの種類は多様に変更されてもよい。
【0040】
光電変換層は複数のセンシング回路を含んでもよい。センシング回路はフォトダイオード及びキャパシタを含んでもよい。フォトダイオードは光電効果により入射した光に対して電流を発生させることができる。キャパシタはフォトダイオードで発生した電流に応じて電荷を蓄積し得る。ここで、蓄積された電荷の量は明るさを表すピクセル値に対応することができる。
【0041】
行デコーダ１２０はタイミング生成器１３０から出力されたアドレスと制御信号に応答してアドレスに対応する行に位置するピクセルを選択することができる。ピクセルアレイ１１０は選択されたピクセルから蓄積された電荷量に対応する信号を出力して信号変換器１４０に提供することができる。
【0042】
信号変換器１４０はピクセルアレイ１１０から出力された信号のそれぞれに基づいて複数のピクセルのそれぞれに対するピクセルデータを取得することができる。１つのピクセルを例に挙げると、信号変換器１４０は光電変換層内のキャパシタに蓄積された電荷量に対応するピクセル値及びカラーフィルタに対応する色を取得することができる。
【0043】
出力バッファ１５０はイメージＩｍｇまたはキャリブレーションイメージＣａｌ＿Ｉｍｇを出力することができる。具体的には、出力バッファ１５０は信号変換器１４０から出力されたデジタル信号を保存する複数のバッファで具現されてもよい。出力バッファ１５０は信号変換器１４０から提供されるそれぞれの列単位のピクセルデータをラッチ（ｌａｔｃｈ）して出力することができる。出力バッファ１５０は信号変換器１４０から出力されるピクセルデータを一時保存し、タイミング生成器１３０の制御に応じてピクセルデータを順に出力することができる。
【0044】
図３ａは本発明の実施例によるピクセルアレイを説明するための図である。
【0045】
図３ａを参照すると、本発明の一実施例によるピクセルアレイ１１０は、図３ａのようなピクセル構造を有するピクセルアレイ３１０で具現されてもよい。ピクセルアレイ３１０は複数のピクセルを含んでもよい。複数のピクセルは列方向と行方向に配列されてもよい。複数のピクセルのそれぞれは配列された位置に対する情報を含んでもよい。例えば、ピクセルＣＥ＿ｘｙは列方向にｘ番目、行方向にｙ番目に配列された位置のピクセルであることを示すことができる。ここで、ｘ、ｙのそれぞれは自然数である。
【0046】
複数のピクセルのそれぞれは光を屈折させるマイクロレンズＭＬ、特定色の光を透過させるカラーフィルタＣＦ、及び光の強さを検知するセンシング回路ＰＤを含んでもよい。複数のピクセルはカラーフィルタＣＦの種類によって区分されてもよい。例えば、レッドカラーフィルタを含むピクセルはレッドチャンネルＲ１～Ｒ４のピクセル、グリーンカラーフィルタを含むピクセルはグリーンチャンネルＧｒ１～Ｇｒ４、Ｇｂ１～Ｇｂ４のピクセル、ブルーカラーフィルタを含むピクセルはブルーチャンネルＢ１～Ｂ４のピクセルと称することができる。
【0047】
ピクセルアレイ３１０は複数のピクセルグループを含んでもよい。複数のピクセルグループは列方向及び行方向に配列されてもよい。複数のピクセルグループのそれぞれは配列された位置に対する情報を含んでもよい。例えば、ピクセルグループＣＧ＿ＸＹは列方向にＸ番目、行方向にＹ番目に配列された位置のピクセルグループであることを示すことができる。ここで、Ｘ、Ｙのそれぞれは自然数である。
【0048】
ピクセルグループのそれぞれは予め設定された配列パターンで配置される複数のピクセルを含んでもよい。即ち、ピクセルグループは複数のピクセルの配列パターンが繰り返される単位領域を示すことができる。例えば、予め設定された配列パターンは２ｘ２の第１グリーンチャンネルＧｂ１～Ｇｂ４のピクセル、２ｘ２のブルーチャンネルＢ１～Ｂ４のピクセル、２ｘ２のレッドチャンネルＲ１～Ｒ４のピクセル、２ｘ２の第２グリーンチャンネルＧｒ１～Ｇｒ４のピクセルが４ｘ４配列に配置されるクアッドベイヤーパターン（ｑｕａｄ ｂａｙｅｒ ｐａｔｔｅｒｎ）であってもよい。
【0049】
一方、上述した実施例は一実施例に過ぎず、予め設定された配列パターンは１ｘ１の第１グリーンチャンネルのピクセル、１ｘ１のブルーチャンネルのピクセル、１ｘ１のレッドチャンネルのピクセル、１ｘ１の第２グリーンチャンネルのピクセルが２ｘ２配列に配置されるベイヤーパターン（ｂａｙｅｒ ｐａｔｔｅｒｎ）など様々なパターンに変形されてもよい。
【0050】
図３ｂは本発明の実施例によるイメージセンサを介して取得されるイメージを説明するための図である。
【0051】
【0052】
イメージ３２０はピクセルアレイ３１０を含むイメージセンサ１００を介して取得することができる。
【0053】
イメージ３２０は複数のピクセルデータを含んでもよい。イメージ３２０に含まれる複数のピクセルデータはイメージセンサ１００のピクセルアレイ３１０に含まれた複数のピクセルデータと対応することができる。
【0054】
複数のピクセルデータのそれぞれは配列された位置に対する情報を含んでもよい。例えば、ピクセルデータＰＸ＿ｘｙは列方向にｘ番目、行方向にｙ番目に配列された位置のピクセルに対応することができる。ここで、ｘ、ｙのそれぞれは自然数である。ピクセルデータＰＸ＿ｘｙは同じ位置のピクセルＣＥ＿ｘｙに対応することができる。例えば、ピクセルデータＰＸ＿ｘｙはピクセルＣＥ＿ｘｙから取得したピクセル値などのピクセルデータであってもよい。
【0055】
イメージ３２０は複数のピクセルデータグループを含んでもよい。複数のピクセルデータグループは列方向及び行方向に配列されてもよい。複数のピクセルデータグループのそれぞれは配列された位置に関する情報を含んでもよい。例えば、ピクセルデータグループＰＧ＿ＸＹは列方向にＸ番目、行方向にＹ番目に配列された位置のピクセルデータグループであることを示すことができる。ここで、Ｘ、Ｙのそれぞれは自然数である。
【0056】
ピクセルデータグループのそれぞれは予め設定された配列パターンで配置された複数のピクセルデータを含んでもよい。即ち、ピクセルデータグループは複数のピクセルデータの配列パターンが繰り返される単位領域を示すことができる。例えば、予め設定された配列パターンは２ｘ２の第１グリーンチャンネルＧｂ１～Ｇｂ４のピクセルデータ、２ｘ２のブルーチャンネルＢ１～Ｂ４のピクセルデータ、２ｘ２のレッドチャンネルＲ１～Ｒ４のピクセルデータ、２ｘ２の第２グリーンチャンネルＧｒ１～Ｇｒ４のピクセルデータが４ｘ４配列に配置されるクアッドベイヤーパターンであってもよい。
【0057】
イメージ３２０に含まれるピクセルデータは色チャンネルまたはチャンネルによって区別されることができる。例えば、イメージ３２０に含まれるピクセルデータは、色チャンネルによって第１グリーンチャンネルＧｂ１～Ｇｂ４のピクセルデータ、ブルーチャンネルＢ１～Ｂ４のピクセルデータ、レッドチャンネルＲ１～Ｒ４のピクセルデータ、第２グリーンチャンネルＧｒ１～Ｇｒ４のピクセルデータに区別されてもよい。また、イメージ３２０に含まれるピクセルデータは、チャンネルによって第１～第４チャンネルＧｂ１～Ｇｂ４のピクセルデータ、第５～第８チャンネルＧｒ１～Ｇｒ４のピクセルデータ、第９～第１２チャンネルＲ１～Ｒ４のピクセルデータ、第１３～第１６チャンネルＢ１～Ｂ４のピクセルデータに区別されてもよい。
【0058】
一方、上述した実施例は一実施例に過ぎず、予め設定された配列パターンは１ｘ１の第１グリーンチャンネルのピクセルデータ、１ｘ１のブルーチャンネルのピクセルデータ、１ｘ１のレッドチャンネルのピクセルデータ、１ｘ１の第２グリーンチャンネルのピクセルデータが２ｘ２配列に配置されるベイヤーパターンなど様々なパターンに変形されてもよい。
【0059】
図４は本発明の実施例によるイメージプロセッサを説明するための図である。
【0060】
図４を参照すると、イメージプロセッサ２００はイメージキャリブレータ２１０及びイメージコレクタ２２０を含んでもよい。
【0061】
イメージキャリブレータ２１０は、イメージセンサ１００を介して取得しキャリブレーションイメージＣａｌ＿Ｉｍｇを利用して基準ゲイン値ｒｅｆ＿Ｇａｉｎを計算することができる。
【0062】
具体的には、イメージキャリブレータ２１０は、イメージセンサ１００を介して取得したキャリブレーションイメージＣａｌ＿Ｉｍｇに含まれる複数のピクセルデータのうちブロック領域の頂点に対応するピクセルデータを選択することができる。以下では、複数のピクセルデータのうち１つの選択されたピクセルデータに対する基準ゲイン値ｒｅｆ＿Ｇａｉｎを計算する例について説明する。
【0063】
イメージキャリブレータ２１０は、関心領域に含まれるピクセルデータのうち選択されたピクセルと同じ色チャンネルを有するピクセルデータの平均ピクセル値を計算することができる。ここで、同じ色チャンネルとは、第１グリーンチャンネル、第２グリーンチャンネル、レッドチャンネル、及びブルーチャンネルのうち１つであってもよい。他の実施例では、平均ピクセル値の代わりにピクセルデータの中央値（ｍｅｄｉａｎ ｖａｌｕｅ）が用いられてもよい。
【0064】
関心領域はブロック領域の頂点に対応するピクセルデータの位置を基準として予め設定されたサイズに拡張された領域であってもよい。一実施例における関心領域は互いに同じサイズであってもよい。他の実施例における関心領域は基準となるピクセルデータの位置に応じて互いに相違するサイズであってもよい。
【0065】
例えば、選択されたピクセルデータと同じ色チャンネルが第１グリーンチャンネルであると仮定することができる。
【0066】
一実施例において、平均ピクセル値は関心領域に含まれるピクセルデータのうち第１グリーンチャンネルを有するピクセルデータのピクセル値に対する平均値であってもよい。他の実施例において、平均ピクセル値は関心領域に含まれるピクセルデータのうち第１グリーンチャンネルを有するピクセルデータのピクセル値及び第２グリーンチャンネルを有するピクセルデータのピクセル値に対する平均値であってもよい。選択されたピクセルデータと同じ色チャンネルが第２グリーンチャンネルである場合も、これと類似する方法で平均値を計算することができる。
【0067】
イメージキャリブレータ２１０は、選択されたピクセルデータのピクセル値及び計算された平均ピクセル値を利用して選択されたピクセルデータと対応する基準ゲイン値ｒｅｆ＿Ｇａｉｎを計算することができる。例えば、基準ゲイン値ｒｅｆ＿Ｇａｉｎは選択されたピクセルデータのピクセル値及び計算された平均ピクセル値の比率であってもよい。
【0068】
イメージキャリブレータ２１０は、選択されたピクセルデータのうち残りのピクセルデータのそれぞれに対して、同様の方法で基準ゲイン値ｒｅｆ＿Ｇａｉｎを計算することができる。そして、イメージキャリブレータ２１０は計算された基準ゲイン値ｒｅｆ＿Ｇａｉｎをメモリ３００に保存することができる。
【0069】
イメージキャリブレータ２１０は基準ゲイン値ｒｅｆ＿Ｇａｉｎを利用してゲイン値Ｇａｉｎを計算することができる。
【0070】
具体的には、イメージキャリブレータ２１０は、複数のブロック領域のうち１つのブロック領域において選択された地点と１つのブロック領域の頂点との距離、及び１つのブロック領域の頂点に対応する基準ゲイン値ｒｅｆ＿Ｇａｉｎに基づいて、選択された地点に対応するゲイン値Ｇａｉｎを計算することができる。ここで、頂点と選択された地点の間の距離は、頂点に対応するピクセルデータと選択された地点に対応するピクセルデータの間の距離であってもよい。ピクセルデータの間の距離は該当ピクセルデータの間に存在するピクセルデータの数に対応することができる。距離は行方向の長さまたは列方向の長さを含む概念であってもよい。
【0071】
一実施例では、１つのブロック領域の頂点は１つのブロック領域の第１頂点、第２頂点、第３頂点、及び第４頂点を含んでもよい。
【0072】
この場合、イメージキャリブレータ２１０は、選択された地点と第１頂点の間の距離、選択された地点と第２頂点の間の距離、選択された地点と第３頂点の間の距離、選択された地点と第４頂点の間の距離、第１頂点に対応する基準ゲイン値、第２頂点に対応する基準ゲイン値、第３頂点に対応する基準ゲイン値、第４頂点に対応する基準ゲイン値に基づいて、選択された地点に対応するゲイン値Ｇａｉｎを計算することができる。
【0073】
一実施例では、複数のブロック領域は第１ブロック領域及び第２ブロック領域を含んでもよい。ここで、第２ブロック領域は第１ブロック領域よりもイメージの中心からの距離が近く、第１ブロック領域のサイズよりも大きいサイズであってもよい。これは、イメージＩｍｇまたはキャリブレーションイメージＣａｌ＿Ｉｍｇの中央部分ほど歪み度合が少なく、領域別の歪み度合が均一であるのに対し、端部分ほど歪み度合が酷く、領域別の歪み度合が不均一な現象を利用したものである。イメージＩｍｇまたはキャリブレーションイメージＣａｌ＿Ｉｍｇの中央部分であるほど相対的に大きいサイズのブロック領域を設定し、イメージＩｍｇまたはキャリブレーションイメージＣａｌ＿Ｉｍｇの端部分であるほど相対的に小さいサイズのブロック領域を設定すると、中央部分に近いブロック領域に含まれる基準ゲイン値ｒｅｆ＿Ｇａｉｎを計算する頻度を減らすことができる。ゲイン値Ｇａｉｎを計算する頻度は増加するが、ゲイン値Ｇａｉｎを基準ゲイン値ｒｅｆ＿Ｇａｉｎ対比で相対的に少ない演算量が求められるアルゴリズムを利用して計算すると、全体の演算量を減らすことができる。
【0074】
一実施例では、第１ブロック領域に含まれるゲイン値は第２ブロック領域に含まれるゲイン値よりも大きいビット数が割り当てられてもよい。ここで、第２ブロック領域は、第１ブロック領域よりもイメージの中心からの距離が近く、第１ブロック領域のサイズよりも大きいサイズであってもよい。ゲイン値は位置または領域によって割り当てられるデータのビット数が変わってもよい。データのビット数が大きいほど、より広い範囲の数または値を示すことができるという意味である。例えば、小さいビット数が割り当てられたゲイン値を計算して保存する場合、計算した値のうちビット数の範囲外の小数点の桁の値は切り捨て、ビット数の範囲内の小数点の桁の値をゲイン値としてメモリ３００に保存することができる。
【0075】
イメージコレクタ２２０は、イメージセンサ１００を介してイメージＩｍｇを取得すると、メモリ３００に保存された基準ゲイン値ｒｅｆ＿Ｇａｉｎ及びゲイン値Ｇａｉｎをイメージに含まれる複数のピクセルデータに適用した補正イメージＣｏｒ＿Ｉｍｇを生成することができる。ここで、基準ゲイン値ｒｅｆ＿Ｇａｉｎ及びゲイン値Ｇａｉｎはゲインマップに含まれてもよい。基準ゲイン値ｒｅｆ＿Ｇａｉｎ及びゲイン値Ｇａｉｎはイメージに含まれる複数のピクセルデータに対応することができる。
【0076】
イメージコレクタ２２０は補正イメージＣｏｒ＿Ｉｍｇを出力することができる。イメージコレクタ２２０は補正イメージＣｏｒ＿Ｉｍｇをホスト３０００またはホスト３０００が指示した装置に出力することができる。例えば、イメージコレクタ２２０はホスト３０００から受信した制御コマンドに応じて、プロセッサ、ディスプレイまたはストレージなどに補正イメージＣｏｒ＿Ｉｍｇを出力することができる。
【0077】
一実施例において、イメージコレクタ２２０は、メモリ３００から出力された基準ゲイン値ｒｅｆ＿Ｇａｉｎ及びイメージキャリブレータ２１０または揮発性メモリから出力されたゲイン値Ｇａｉｎを利用して補正イメージＣｏｒ＿Ｉｍｇを生成することができる。即ち、ゲイン値Ｇａｉｎはメモリ３００に保存されなくてもよい。
【0078】
このために、イメージキャリブレータ２１０は既設定のイベントが発生するたびにメモリ３００に保存された基準ゲイン値ｒｅｆ＿Ｇａｉｎを利用してゲイン値Ｇａｉｎを計算することができる。ここで、既設定のイベントはイメージセンサ１００がターンオンされるイベントを含んでもよい。イメージキャリブレータ２１０は計算されたゲイン値Ｇａｉｎをイメージコレクタ２２０に伝達することができる。または、イメージキャリブレータ２１０は計算されたゲイン値Ｇａｉｎを揮発性メモリに保存することができる。揮発性メモリはＳＲＡＭ（Ｓｔａｔｉｃ Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）、ＤＲＡＭ（Ｄｙｎａｍｉｃ ＲＡＭ）などで具現されてもよい。
【0079】
他の一実施例では、イメージコレクタ２２０はメモリ３００から出力された基準ゲイン値ｒｅｆ＿Ｇａｉｎ及びゲイン値Ｇａｉｎを利用して補正イメージＣｏｒ＿Ｉｍｇを生成することができる。即ち、ゲイン値Ｇａｉｎは基準ゲイン値ｒｅｆ＿Ｇａｉｎと共にメモリ３００に保存されてもよい。
【0080】
図５は本発明の実施例によるキャリブレーションイメージを説明するための図である。
【0081】
図５を参照すると、イメージセンサ１００はイメージ５００を取得することができる。例えば、イメージ５００はイメージセンサ１００が均一な照度の環境で白い背景を撮影することで取得したキャリブレーションイメージＣａｌ＿Ｉｍｇであってもよい。イメージ５００は補正が行われる前の状態であり得る。イメージ５００の各部分の陰影はピクセルデータの明るさまたはピクセル値を示すことができる。イメージ５００の中心Ｃから距離が遠くなる端部分に向かうほど、陰影の差が大きくなることが分かる。イメージ５００の中央Ｃから端部分に向かうほど、歪み度合がより大きくなり、歪み度合がより不均一であることが分かる。
【0082】
本発明の実施例によると、当該歪みを補正するために、複数のブロック領域Ｂｌｋ１、Ｂｌｋ２を設定することができる。複数のブロック領域Ｂｌｋ１、Ｂｌｋ２のそれぞれはイメージ５００の中心Ｃとの距離に応じてそのサイズが異なってもよい。
【0083】
一実施例において、複数のブロック領域Ｂｌｋ１、Ｂｌｋ２のそれぞれはイメージ５００の中心Ｃとの距離が大きいほど、サイズが小さくなってもよい。ここで、イメージ５００の中心Ｃは列方向の長さ及び行方向の長さが半分になる地点であってもよい。例えば、第１ブロック領域Ｂｌｋ１とイメージ５００の中心Ｃの間の距離は、第１ブロック領域Ｂｌｋ１の中心ｃ１とイメージ５００の中心Ｃの間の距離ｄ１と定義されることができる。これと同様に、第２ブロック領域Ｂｌｋ２とイメージ５００の中心Ｃの間の距離は、第２ブロック領域Ｂｌｋ２の中心ｃ２とイメージ５００の中心Ｃの間の距離ｄ２と定義されることができる。
【0084】
一方、上述した実施例は一実施例に過ぎず、ブロック領域のサイズを決める基準となる基準位置はイメージ５００の中央Ｃだけでなく、イメージ５００の頂点など様々な位置に変わってもよい。また、ブロック領域のサイズを決める基準は列方向の距離比率及び行方向の距離比率であってもよい。例えば、第１ブロック領域Ｂｌｋ１を基準として説明すると、列方向の距離比率は第１ブロック領域Ｂｌｋ１の中心ｃ１とイメージ５００の中心Ｃ間の列方向に対する距離ｂ１をイメージ５００の列方向に対する長さで割った第１比率であってもよい。行方向の距離比率は第１ブロック領域Ｂｌｋ１の中心ｃ１とイメージ５００の中心Ｃ間の行方向に対する距離ａ１をイメージ５００の行方向に対する長さで割った第２比率であってもよい。そして、第１比率と第２比率のそれぞれが予め設定された値より大きければ、該当ブロック領域のサイズを第１サイズと設定し、第１比率及び第２比率のそれぞれが予め設定された値より小さければ、該当ブロック領域のサイズを第１サイズより大きい第２サイズと設定することができる。
【0085】
図６は本発明の実施例によるゲインマップを説明するための図である。
【0086】
図６を参照すると、ゲインマップ６００はイメージセンサ１００から取得するイメージＩｍｇまたはキャリブレーションイメージＣａｌ＿Ｉｍｇのサイズに対応することができる。
【0087】
ゲインマップ６００は複数のブロック領域Ｂｌｋ１、Ｂｌｋ２、Ｂｌｋ３を含んでもよい。一実施例において、複数のブロック領域Ｂｌｋ１、Ｂｌｋ２、Ｂｌｋ３のそれぞれは正方形または長方形の領域であってもよい。ここで、各ブロック領域Ｂｌｋ１、Ｂｌｋ２、Ｂｌｋ３は論理的に定義された領域であり、各ブロック領域Ｂｌｋ１、Ｂｌｋ２、Ｂｌｋ３はイメージＩｍｇまたはキャリブレーションイメージＣａｌ＿Ｉｍｇの一領域に対応することができる。
【0088】
複数のブロック領域Ｂｌｋ１、Ｂｌｋ２、Ｂｌｋ３は、第１ブロック領域Ｂｌｋ１、第２ブロック領域Ｂｌｋ２、第３ブロック領域Ｂｌｋ３を含んでもよい。第１ブロック領域Ｂｌｋ１、第２ブロック領域Ｂｌｋ２、第３ブロック領域Ｂｌｋ３はイメージＩｍｇまたはキャリブレーションイメージＣａｌ＿Ｉｍｇに対応するように配列されてもよい。第１ブロック領域Ｂｌｋ１、第２ブロック領域Ｂｌｋ２、第３ブロック領域Ｂｌｋ３のそれぞれは異なるサイズのブロック領域であってもよい。第１ブロック領域Ｂｌｋ１、第２ブロック領域Ｂｌｋ２、第３ブロック領域Ｂｌｋ３のそれぞれはサイズによって配列される位置が変ってもよい。または、第１ブロック領域Ｂｌｋ１、第２ブロック領域Ｂｌｋ２、第３ブロック領域Ｂｌｋ３のそれぞれは配列される位置によってサイズが変わってもよい。
【0089】
例えば、相対的に大きいサイズの第３ブロック領域Ｂｌｋ３は、中心との距離が相対的に最も近い位置に配列されてもよい。中間サイズの第２ブロック領域Ｂｌｋ２は中央との距離が中間となる位置に配列されてもよい。相対的に最も小さいサイズの第１ブロック領域Ｂｌｋ１は中心との距離が相対的に最も遠い位置に配列されてもよい。
【0090】
イメージプロセッサ２００は、キャリブレーションイメージＣａｌ＿Ｉｍｇに含まれるピクセルデータのピクセル値及びブロック領域Ｂｌｋ１、Ｂｌｋ２、Ｂｌｋ３を利用して基準ゲイン値ｒｅｆ＿Ｇａｉｎを計算することができる。
【0091】
具体的には、イメージプロセッサ２００はキャリブレーションイメージＣａｌ＿Ｉｍｇに含まれる複数のピクセルデータから予め設定された位置のピクセルデータを選択することができる。ここで、予め設定された位置のピクセルデータはブロック領域Ｂｌｋ１、Ｂｌｋ２、Ｂｌｋ３の頂点に対応するピクセルデータであってもよい。頂点を列方向及び行方向に線で連結してブロック領域Ｂｌｋ１、Ｂｌｋ２、Ｂｌｋ３を定義することができる。１つの基準ピクセルデータグループｒｅｆ＿ＰＧ＿ＸＹは、複数のピクセルデータグループのうち１つのブロック領域の１つの頂点を示す位置（Ｘ、Ｙ）に位置する１つのピクセルデータグループＰＧ＿ＸＹであってもよい。１つのピクセルデータグループＰＧ＿ＸＹは相違する色チャンネルを有するピクセル（またはピクセルデータ）を含んでもよい。一方、１つのピクセルデータグループｒｅｆ＿ＰＧ＿ＸＹは少なくとも１つのブロック領域Ｂｌｋ２、Ｂｌｋ３の頂点に位置することができる。一方、あるブロック領域の頂点は別のブロック領域の頂点にもなり得る。即ち、隣接するブロック領域は少なくとも１つの頂点を共有することができる。
【0092】
イメージプロセッサ２００はブロック領域Ｂｌｋ１、Ｂｌｋ２、Ｂｌｋ３の頂点のそれぞれに対応する関心領域ＲＯＩを選択することができる。関心領域ＲＯＩは、基準ピクセルデータグループｒｅｆ＿ＰＧ＿ＸＹの位置（即ち、ブロック領域の頂点）を基準点とする予め設定されたサイズの領域であってもよい。ここで、基準点は中心点であってもよい。予め設定されたサイズは１つの固定されたサイズであってもよい。但し、これは一実施例に過ぎず、予め設定されたサイズは基準ピクセルデータグループｒｅｆ＿ＰＧ＿ＸＹの位置（即ち、ブロック領域の頂点）に応じて可変するサイズであってもよい。関心領域ＲＯＩは該当領域内に位置したピクセルデータを含んでもよい。より具体的な実施例について図７を参照して説明する。
【0093】
図７は本発明の実施例による何れか１つのブロック領域を説明するための図である。
【0094】
図７を参照すると、イメージプロセッサ２００は何れかのブロック領域ＢＬＫｉの頂点Ｒｅｆ＿ＰＧ１～Ｒｅｆ＿ＰＧ４のそれぞれに対応する関心領域ＲＯＩ１～ＲＯＩ４を選択することができる。
【0095】
例えば、ブロック領域ＢＬＫｉは正方形または長方形であってもよい。ブロック領域ＢＬＫｉの列方向の長さはＷで、行方向の長さはＨであってもよい。ここで、Ｗ及びＨは自然数であり、互いに同じ値または異なる値であってもよい。ブロック領域ＢＬＫｉの頂点Ｒｅｆ＿ＰＧ１～Ｒｅｆ＿ＰＧ４は第１頂点Ｒｅｆ＿ＰＧ１、第２頂点Ｒｅｆ＿ＰＧ２、第３頂点Ｒｅｆ＿ＰＧ３、第４頂点Ｒｅｆ＿ＰＧ４を含んでもよい。第１頂点Ｒｅｆ＿ＰＧ１、第２頂点Ｒｅｆ＿ＰＧ２、第３頂点Ｒｅｆ＿ＰＧ３、第４頂点Ｒｅｆ＿ＰＧ４は列方向の距離がＷであるか、または行方向の距離がＨである位置であってもよい。
【0096】
この場合、イメージプロセッサ２００は、第１頂点Ｒｅｆ＿ＰＧ１の位置を中心点とする予め設定されたサイズの第１関心領域ＲＯＩ１を選択し、第２頂点Ｒｅｆ＿ＰＧ２の位置を中心点とする予め設定されたサイズの第２関心領域ＲＯＩ２を選択し、第３頂点Ｒｅｆ＿ＰＧ３の位置を中心点とする予め設定されたサイズの第３関心領域ＲＯＩ３を選択し、第４頂点Ｒｅｆ＿ＰＧ４の位置を中心点とする予め設定されたサイズの第４関心領域ＲＯＩ４を選択することができる。
【0097】
イメージプロセッサ２００は、キャリブレーションイメージＣａｌ＿Ｉｍｇにおいて複数の関心領域ＲＯＩ１～ＲＯＩ４のそれぞれに対応する領域に含まれるピクセルデータのピクセル値を利用して、複数の頂点Ｒｅｆ＿ＰＧ１～Ｒｅｆ＿ＰＧ４に対応する基準ゲイン値ｒｅｆ＿Ｇａｉｎを算出することができる。即ち、複数の頂点Ｒｅｆ＿ＰＧ１～Ｒｅｆ＿ＰＧ４に対応する基準ゲイン値ｒｅｆ＿Ｇａｉｎは、複数の頂点Ｒｅｆ＿ＰＧ１～Ｒｅｆ＿ＰＧ４のそれぞれに含まれたピクセル値と周辺ピクセル値を利用して算出することができる。
【0098】
例えば、イメージプロセッサ２００は、キャリブレーションイメージＣａｌ＿Ｉｍｇにおいて第１関心領域ＲＯＩ１に対応する領域に含まれるピクセルデータのピクセル値を利用して、ブロック領域ＢＬＫｉの第１頂点Ｒｅｆ＿ＰＧ１に対応する基準ゲイン値を算出することができる。イメージプロセッサ２００は、キャリブレーションイメージＣａｌ＿Ｉｍｇにおいて第２関心領域ＲＯＩ２に対応する領域に含まれるピクセルデータのピクセル値を利用して、ブロック領域ＢＬＫｉの第２頂点Ｒｅｆ＿ＰＧ２に対応する基準ゲイン値を算出することができる。イメージプロセッサ２００は、キャリブレーションイメージＣａｌ＿Ｉｍｇにおいて第３関心領域ＲＯＩ３に対応する領域に含まれるピクセルデータのピクセル値を利用して、ブロック領域ＢＬＫｉの第３頂点Ｒｅｆ＿ＰＧ３に対応する基準ゲイン値を算出することができる。イメージプロセッサ２００は、キャリブレーションイメージＣａｌ＿Ｉｍｇにおいて第４関心領域ＲＯＩ４に対応する領域に含まれるピクセルデータのピクセル値を利用して、ブロック領域ＢＬＫｉの第４頂点Ｒｅｆ＿ＰＧ４に対応する基準ゲイン値を算出することができる。
【0099】
イメージプロセッサ２００は、複数の頂点Ｒｅｆ＿ＰＧ１～Ｒｅｆ＿ＰＧ４に対応する基準ゲイン値ｒｅｆ＿Ｇａｉｎを利用して、ブロック領域ＢＬＫｉに含まれる残りのゲイン値Ｇａｉｎを計算することができる。以下では、基準ゲイン値を計算する具体的な実施例を図８ａ～図８ｄを参照して説明する。
【0100】
【0101】
【0102】
図８ａの（１－１）～（３）の数学式において、ピクセル値ｒｅｆ＿ＰＶ＿ｘｙは選択されたピクセルデータのピクセル値である。選択されたピクセルデータは頂点と同じ配列位置のピクセルデータグループＰＧ＿ＸＹに含まれたピクセルデータから選択された何れか１つのピクセルデータである。
【0103】
選択されたピクセルデータが第１グリーンチャンネルＧｂ１～Ｇｂ４のピクセルデータのうち１つである場合について説明する。
【0104】
一実施例では、図８ａ（１－１）の数学式のように、イメージプロセッサ２００は選択されたピクセルデータのピクセル値ｒｅｆ＿ＰＶ＿ｘｙ及びグリーンチャンネルＧｂ１～Ｇｂ４、Ｇｒ１～Ｇｒ４に対する平均ピクセル値ＲＯＩ＿ＡｖｇＰＶ＿Ｇを利用して、基準ゲイン値ｒｅｆ＿Ｇａｉｎ＿ｘｙを計算することができる。ここで、グリーンチャンネルＧｂ１～Ｇｂ４、Ｇｒ１～Ｇｒ４に対する平均ピクセル値ＲＯＩ＿ＡｖｇＰＶ＿Ｇは、関心領域ＲＯＩに含まれた複数のピクセルデータのうち第１グリーンチャンネルＧｂ１～Ｇｂ４のピクセルデータのピクセル値及び第２グリーンチャンネルＧｒ１～Ｇｒ４のピクセルデータのピクセル値に対する平均値であってもよい。
【0105】
他の実施例では、図８ａの（１－２）の数学式のように、イメージプロセッサ２００は選択されたピクセルデータのピクセル値ｒｅｆ＿ＰＶ＿ｘｙ及び第１グリーンチャンネルＧｂ１～Ｇｂ４に対する平均ピクセル値ＲＯＩ＿ＡｖｇＰＶ＿Ｇｂを利用して、基準ゲイン値ｒｅｆ＿Ｇａｉｎ＿ｘｙを計算することができる。ここで、第１グリーンチャンネルＧｂ１～Ｇｂ４に対する平均ピクセル値ＲＯＩ＿ＡｖｇＰＶ＿Ｇｂは、関心領域ＲＯＩに含まれた複数のピクセルデータのうち第１グリーンチャンネルＧｂ１～Ｇｂ４のピクセルデータのピクセル値に対する平均値であってもよい。
【0106】
選択されたピクセルデータが第２グリーンチャンネルＧｒ１～Ｇｒ４のピクセルデータのうち１つである場合について説明する。
【0107】
一実施例では、図８ａ（１－１）の数学式のように、イメージプロセッサ２００は選択されたピクセルデータのピクセル値ｒｅｆ＿ＰＶ＿ｘｙ及びグリーンチャンネルＧｂ１～Ｇｂ４、Ｇｒ１～Ｇｒ４に対する平均ピクセル値ＲＯＩ＿ＡｖｇＰＶ＿Ｇを利用して、基準ゲイン値ｒｅｆ＿Ｇａｉｎ＿ｘｙを計算することができる。
【0108】
他の実施例では、図８ａの（１－３）の数学式のように、イメージプロセッサ２００は選択されたピクセルデータのピクセル値ｒｅｆ＿ＰＶ＿ｘｙ及び第２グリーンチャンネルＧｒ１～Ｇｒ４に対する平均ピクセル値ＲＯＩ＿ＡｖｇＰＶ＿Ｇｒを利用して、基準ゲイン値ｒｅｆ＿Ｇａｉｎ＿ｘｙを計算することができる。ここで、第２グリーンチャンネルＧｒ１～Ｇｒ４に対する平均ピクセル値ＲＯＩ＿ＡｖｇＰＶ＿Ｇｒは、関心領域ＲＯＩに含まれた複数のピクセルデータのうち第２グリーンチャンネルＧｒ１～Ｇｒ４のピクセルデータのピクセル値に対する平均値であってもよい。
【0109】
選択されたピクセルデータがレッドチャンネルＲ１～Ｒ４のピクセルデータのうち１つである場合について説明する。この場合、図８ａにおける（２）の数学式のように、イメージプロセッサ２００は選択されたピクセルデータのピクセル値ｒｅｆ＿ＰＶ＿ｘｙ及びレッドチャンネルＲ１～Ｒ４に対する平均ピクセル値ＲＯＩ＿ＡｖｇＰＶ＿Ｒを利用して、基準ゲイン値ｒｅｆ＿Ｇａｉｎ＿ｘｙを計算することができる。レッドチャンネルＲ１～Ｒ４に対する平均ピクセル値ＲＯＩ＿ＡｖｇＰＶ＿Ｒは、関心領域ＲＯＩに含まれた複数のピクセルデータのうちレッドチャンネルＲ１～Ｒ４のピクセルデータのピクセル値に対する平均値であってもよい。
【0110】
選択されたピクセルデータがブルーチャンネルＢ１～Ｂ４のピクセルデータのうち１つである場合について説明する。この場合、図８ａにおける（３）の数学式のように、イメージプロセッサ２００は選択されたピクセルデータのピクセル値ｒｅｆ＿ＰＶ＿ｘｙ及びブルーチャンネルＢ１～Ｂ４に対する平均ピクセル値ＲＯＩ＿ＡｖｇＰＶ＿Ｂを利用して、基準ゲイン値ｒｅｆ＿Ｇａｉｎ＿ｘｙを計算することができる。ブルーチャンネルＢ１～Ｂ４に対する平均ピクセル値ＲＯＩ＿ＡｖｇＰＶ＿Ｂは、関心領域ＲＯＩに含まれた複数のピクセルデータのうちブルーチャンネルＢ１～Ｂ４のピクセルデータのピクセル値に対する平均値であってもよい。
【0111】
【0112】
図８ｂ及び図８ｃを参照すると、イメージプロセッサ２００はキャリブレーションイメージ８１０、８２０においてブロック領域Ｂｌｋｉの頂点と同じ配列位置のピクセルデータグループＰＧ＿ＸＹに含まれるピクセルデータから１つのピクセルデータを選択することができる。ここで、（ｘ、ｙ）に位置する第１チャンネルＧｂ１のピクセルデータｒｅｆ＿ＰＸ＿ｘｙが選択されると想定する。
【0113】
イメージプロセッサ２００は、キャリブレーションイメージ８１０、８２０においてピクセルデータグループＰＧ＿ＸＹを中心領域として予め設定されたサイズに拡張した関心領域ＲＯＩを選択することができる。
【0114】
一実施例では、図８ｂのように、イメージプロセッサ２００は、イメージ８１０の関心領域ＲＯＩに含まれた複数のピクセルデータのうち、選択されたピクセルデータｒｅｆ＿ＰＸ＿ｘｙと同じ色チャンネルである第１グリーンチャンネルＧｂ１～Ｇｂ４を有するピクセルデータＲＯＩ＿Ａｖｇ＿Ｇｂを選択することができる。イメージプロセッサ２００は選択されたピクセルデータＲＯＩ＿Ａｖｇ＿Ｇｂのピクセル値に対する平均である平均ピクセル値ＲＯＩ＿ＡｖｇＰＶ＿Ｇｂを計算することができる。図８ａにおける（１－２）の数学式のように、イメージプロセッサ２００は、（ｘ、ｙ）の位置から選択されたピクセルデータｒｅｆ＿ＰＸ＿ｘｙのピクセル値ｒｅｆ＿ＰＶ＿ｘｙ及び平均ピクセル値ＲＯＩ＿ＡｖｇＰＶ＿Ｇｂを利用して、（ｘ、ｙ）の位置に対する基準ゲイン値ｒｅｆ＿Ｇａｉｎ＿ｘｙを計算することができる。当該方式により別の位置に対する基準ゲイン値を計算することができる。
【0115】
一実施例では、図８ｃのように、イメージプロセッサ２００は、イメージ８２０の関心領域ＲＯＩに含まれた複数のピクセルデータのうち、選択されたピクセルデータｒｅｆ＿ＰＸ＿ｘｙと同じ種類の色チャンネルである第１グリーンチャンネルＧｂ１～Ｇｂ４及び第２グリーンチャンネルＧｒ１～Ｇｒ４を有するピクセルデータＲＯＩ＿Ａｖｇ＿Ｇを選択することができる。イメージプロセッサ２００は選択されたピクセルデータＲＯＩ＿Ａｖｇ＿Ｇのピクセル値に対する平均である平均ピクセル値ＲＯＩ＿ＡｖｇＰＶ＿Ｇを計算することができる。図８ａの（１－１）の数学式のように、イメージプロセッサ２００は（ｘ、ｙ）の位置から選択されたピクセルデータｒｅｆ＿ＰＸ＿ｘｙのピクセル値ｒｅｆ＿ＰＶ＿ｘｙ及び平均ピクセル値ＲＯＩ＿ＡｖｇＰＶ＿Ｇを利用して、（ｘ、ｙ）の位置に対する基準ゲイン値ｒｅｆ＿Ｇａｉｎ＿ｘｙを計算することができる。当該方式を通じて別の位置に対する基準ゲイン値を計算することができる。
【0116】
また、図６を参照すると、複数のブロック領域Ｂｌｋ１、Ｂｌｋ２、Ｂｌｋ３のうち中央からの距離が最も遠い端領域６３０には、最も小さいサイズの第１ブロック領域Ｂｌｋ１が配列されてもよい。本発明の一実施例によると、端領域６３０に配列された第１ブロック領域Ｂｌｋ１は、ミラーリング方式により第１ブロック領域Ｂｌｋ１の基準ゲイン値を計算することができる。これについては図８ｄを参照して説明する。
【0117】
図８ｄを参照すると、端領域８３０には最もサイズの小さい第１ブロック領域Ｂｌｋ１が配列され、第１ブロック領域Ｂｌｋ１の複数の頂点８５０、８６０は中央からの距離が近い第１頂点８５０及び中央からの距離が遠い第２頂点８６０を含んでもよい。第１頂点８５０及び第２頂点８６０は全ブロック領域の全ての頂点のうち最も隣接する頂点であってもよい。即ち、第２頂点８６０は全ての頂点のうち中央から最も外側に位置する頂点であってもよい。
【0118】
イメージプロセッサ２００は中央からの距離が近い第１頂点８５０に対応する第１基準ゲイン値を計算することができる。具体的には、イメージプロセッサ２００はキャリブレーションイメージＣａｌ＿Ｉｍｇにおいて第１頂点８５０の位置（Ｘ、Ｙ）に対応する基準ピクセルデータグループｒｅｆ＿ＰＧ＿ＸＹを選択し、選択された基準ピクセルデータグループｒｅｆ＿ＰＧ＿ＸＹに基づいて関心領域８４０を選択することができる。イメージプロセッサ２００は基準ピクセルデータグループｒｅｆ＿ＰＧ＿ＸＹに含まれたピクセルデータのピクセル値ｒｅｆ＿ＰＶ＿ｘｙ及び関心領域８４０に含まれたピクセルデータを利用して、位置（Ｘ、Ｙ）に対応する第１基準ゲイン値を計算することができる。
【0119】
また、イメージプロセッサ２００は、第１頂点８５０に対応する第１基準ゲイン値を第２頂点８６０に対応する第２基準ゲイン値としてコピーすることができる。即ち、第２基準ゲイン値のそれぞれは第１基準ゲイン値と同じ値としてコピーされてもよい。
【0120】
【0121】
図９ａ及び図９ｂを参照すると、１つのブロック領域Ｂｌｋｉは複数の頂点ｒｅｆ＿ＰＸ１～ｒｅｆ＿ｐＸ４によって定義されることができる。１つのブロック領域Ｂｌｋｉは内部に特定位置の地点を含んでもよい。１つの地点は同じ位置の１つのピクセルデータと対応することができる。
【0122】
イメージプロセッサ２００は、１つのブロック領域Ｂｌｋｉを定義する複数の頂点ｒｅｆ＿ＰＸ１～ｒｅｆ＿ｐＸ４に対応する基準ゲイン値を利用して、１つのブロック領域Ｂｌｋｉに含まれる複数の地点のそれぞれに対するゲイン値を計算することができる。この場合、イメージプロセッサ２００は、同じチャンネルの複数の頂点ｒｅｆ＿ＰＸ１～ｒｅｆ＿ｐＸ４に対応する基準ゲイン値を通じて同じチャンネルのゲイン値を計算することができる。ここで、１つのブロック領域Ｂｌｋｉに含まれる複数の地点のうち１つの地点Ｐ＿ｘｙに対するゲイン値Ｇａｉｎ＿Ｐ＿ｘｙを計算する方法を説明する。ここで、チャンネルは第１チャンネルＧｂ１であると想定する。
【0123】
イメージプロセッサ２００は１つのブロック領域Ｂｌｋｉを定義する複数の頂点ｒｅｆ＿ＰＸ１～ｒｅｆ＿ｐＸ４間の列方向の距離Ｗ及び行方向の距離Ｈを取得することができる。例えば、イメージプロセッサ２００は複数の頂点ｒｅｆ＿ＰＸ１～ｒｅｆ＿ｐＸ４間の位置差を通じて列方向の距離Ｗ及び行方向の距離Ｈを取得することができる。
【0124】
イメージプロセッサ２００は、１つのブロック領域Ｂｌｋｉを定義する複数の頂点ｒｅｆ＿ＰＸ１～ｒｅｆ＿ｐＸ４のそれぞれと選択された１つの地点Ｐ＿ｘｙとの列方向の距離（ｘ１、ｘ２）及び行方向の距離（ｙ１、ｙ２）を取得することができる。例えば、イメージプロセッサ２００は、複数の頂点ｒｅｆ＿ＰＸ１～ｒｅｆ＿ｐＸ４のそれぞれと選択された１つの地点Ｐ＿ｘｙとの位置差を通じて列方向の距離（ｘ１、ｘ２）及び行方向の距離（ｙ１、ｙ２）を取得することができる。
【0125】
イメージプロセッサ２００は、図９ａに記載の数学式により、複数の頂点ｒｅｆ＿ＰＸ１～ｒｅｆ＿ｐＸ４のそれぞれに対応する基準ゲイン値、列方向の距離（ｘ１、ｘ２、Ｗ）、及び行方向の距離（ｙ１、ｙ２、Ｈ）を利用して、１つの地点Ｐ＿ｘｙに対するゲイン値Ｇａｉｎ＿Ｐ＿ｘｙを計算することができる。
【0126】
図１０は本発明の実施例による補正イメージを説明するための図である。
【0127】
図１０を参照すると、イメージプロセッサ２００はイメージセンサ１００を介して取得したイメージＩｍｇにゲインマップを適用して補正イメージＣｏｒ＿Ｉｍｇを生成することができる。
【0128】
具体的には、イメージプロセッサ２００は、イメージＩｍｇに含まれた複数のピクセルデータから選択された（ｘ、ｙ）位置のピクセルデータのピクセル値Ｉ＿ｘｙと、ゲインマップに含まれた複数の基準ゲイン値及び複数のゲイン値から選択された（ｘ、ｙ）位置のゲイン値Ｇａｉｎ＿ｘｙとを乗ずることができる。この場合、イメージプロセッサ２００は、それぞれの位置に対してピクセル値Ｉ＿ｘｙ及びゲイン値Ｇａｉｎ＿ｘｙを乗じた結果値Ｏ＿ｘｙをピクセル値とする補正イメージＣｏｒ＿Ｉｍｇを生成することができる。
【0129】
即ち、補正イメージＣｏｒ＿Ｉｍｇに含まれる複数のピクセルデータのピクセル値は、イメージＩｍｇに含まれた複数のピクセルデータのピクセル値及びゲインマップに含まれた複数の基準ゲイン値及び複数のゲイン値の互いに対応する位置同士を乗じた結果値であってもよい。
【0130】
図１１は本発明の実施例によるイメージセンシング装置の動作方法を説明するための図である。
【0131】
図１１を参照すると、本発明の一実施例によるイメージセンシング装置１０００の動作方法は、イメージセンサ１００を介してキャリブレーションイメージＣａｌ＿Ｉｍｇを取得することができるＳ１１１０。
【0132】
キャリブレーションイメージＣａｌ＿Ｉｍｇにおいて複数のブロック領域Ｂｌｋ１、Ｂｌｋ２、Ｂｌｋ３のそれぞれの頂点に対する基準ゲイン値を計算することができるＳ１１２０。即ち、キャリブレーションイメージＣａｌ＿Ｉｍｇの大きさに対応するゲインマップに含まれた複数のブロック領域Ｂｌｋ１、Ｂｌｋ２、Ｂｌｋ３によって定義される頂点に対する基準ゲイン値を計算することができる。一実施例において、複数のブロック領域Ｂｌｋ１、Ｂｌｋ２、Ｂｌｋ３のそれぞれは長方形または正方形の領域であってもよい。
【0133】
ここで、複数のブロック領域Ｂｌｋ１、Ｂｌｋ２、Ｂｌｋ３は、第１ブロック領域Ｂｌｋ１及び第１ブロック領域Ｂｌｋ１の位置よりもキャリブレーションイメージＣａｌ＿Ｉｍｇの中心からの距離が近く、第１ブロック領域Ｂｌｋ１よりも大きいサイズの第２ブロック領域Ｂｌｋ２を含んでもよい。
【0134】
一実施例において、基準ゲイン値を計算する段階は、イメージセンサ１００を介して取得したキャリブレーションイメージＣａｌ＿Ｉｍｇに含まれた複数のピクセルデータから複数のブロック領域Ｂｌｋ１、Ｂｌｋ２、Ｂｌｋ３の頂点に対応するピクセルデータを選択する段階と、選択されたピクセルデータのうち１つの選択されたピクセルデータを含む関心領域ＲＯＩに含まれるピクセルデータのうち選択された色チャンネルを有するピクセルデータの平均ピクセル値を計算する段階と、選択されたピクセルデータのピクセル値及び平均ピクセル値を利用して基準ゲイン値のうち１つの基準ゲイン値を計算する段階と、を含んでもよい。
【0135】
一実施例において、同じ色チャンネルは第１グリーンチャンネル、第２グリーンチャンネル、レッドチャンネル、及びブルーチャンネルのうち１つの色チャンネルであってもよい。
【0136】
一実施例において、同じ色チャンネルは第１グリーンチャンネル及び第２グリーンチャンネルのうち１つの色チャンネルであってもよい。この場合、平均ピクセル値は、関心領域に含まれるピクセルデータのうち第１グリーンチャンネルを有するピクセルデータのピクセル値及び第２グリーンチャンネルを有するピクセルデータのピクセル値に対する平均値を含んでもよい。
【0137】
そして、基準ゲイン値を利用して複数のブロック領域Ｂｌｋ１、Ｂｌｋ２、Ｂｌｋ３のそれぞれに含まれる地点に対するゲイン値を計算することができるＳ１１３０。
【0138】
一実施例において、ゲイン値を計算する段階は、複数のブロック領域Ｂｌｋ１、Ｂｌｋ２、Ｂｌｋ３のうち１つのブロック領域Ｂｌｋｉにおいて選択された地点と１つのブロック領域Ｂｌｋｉの頂点との距離及び１つのブロック領域Ｂｌｋｉの頂点に対応する基準ゲイン値に基づいて、選択された地点に対応するゲイン値を計算する段階を含んでもよい。
【0139】
ここで、１つのブロック領域Ｂｌｋｉの頂点は１つのブロック領域Ｂｌｋｉの第１頂点、第２頂点、第３頂点及び第４頂点を含んでもよい。この場合、選択された地点に対応するゲイン値を計算する段階は、選択された地点と第１頂点の間の距離、選択された地点と第２頂点の間の距離、選択された地点と第３頂点の間の距離、選択された地点と第４頂点の間の距離、第１頂点に対応する基準ゲイン値、第２頂点に対応する基準ゲイン値、第３頂点に対応する基準ゲイン値、及び第４頂点に対応する基準ゲイン値に基づいて、選択された地点に対応するゲイン値を計算することができる。
【0140】
そして、基準ゲイン値及びゲイン値をメモリ３００に保存することができるＳ１１４０。
【0141】
一実施例において、第１ブロック領域Ｂｌｋ１に含まれるゲイン値は第２ブロック領域Ｂｌｋ２に含まれるゲイン値よりも大きいビット数が割り当てられてもよい。
【0142】
図１２は本発明の実施例によるイメージセンシング装置の動作方法を説明するための図である。
【0143】
図１２を参照すると、本発明の一実施例によるイメージセンシング装置１０００の動作方法は、イメージセンサ１００を介してイメージＩｍｇを取得することができるＳ１２１０。イメージセンシング装置１０００は、ホスト３０００から撮影コマンドを受信すると、イメージセンサ１００を介してイメージＩｍｇを取得することができる。
【0144】
また、メモリ３００に保存された基準ゲイン値及びゲイン値を複数のピクセルデータに適用した補正イメージＣｏｒ＿Ｉｍｇを生成することができるＳ１２２０。メモリ３００に保存された基準ゲイン値及びゲイン値はゲインマップに含まれてもよい。ゲインマップはキャリブレーションイメージＣａｌ＿ＩｍｇまたはイメージＩｍｇのサイズに対応することができる。ゲインマップに含まれる基準ゲイン値及びゲイン値は複数のピクセルデータに対応することができる。
【0145】
そして、補正イメージＣｏｒ＿Ｉｍｇを出力することができるＳ１２３０。イメージセンシング装置１０００はホスト３０００に補正イメージＣｏｒ＿Ｉｍｇを出力することができる。または、イメージセンシング装置１０００はホスト３０００が指示する装置に補正イメージＣｏｒ＿Ｉｍｇを出力することができる。例えば、補正イメージＣｏｒ＿Ｉｍｇは、ストレージ装置、プロセッサ、ディスプレイなどのイメージセンシング装置１０００の外部装置に出力されてもよい。
【0146】
図１３は本発明の実施例によるイメージセンシング装置を含むコンピューティングシステムを説明する図である。
【0147】
図１３を参照すると、コンピューティングシステム２０００は、イメージセンサ２０１０、プロセッサ２０２０、記憶装置２０３０、メモリ装置２０４０、入出力装置２０５０、及びディスプレイ装置２０６０を含んでもよい。図１３には示されていないが、コンピューティングシステム２０００は、記憶装置２０３０、メモリ装置２０４０、入出力装置２０５０、及びディスプレイ装置２０６０などと通信するか、または外部装置と通信できるポート（ｐｏｒｔ）をさらに含んでもよい。
【0148】
イメージセンサ２０１０はイメージまたはキャリブレーションイメージを取得することができる。イメージセンサ２０１０はゲインマップを保存することができる。イメージセンサ２０１０は取得したイメージにゲインマップを適用した補正イメージＣｏｒ＿Ｉｍｇを生成することができる。イメージセンサ２０１０はアドレスバス（ａｄｄｒｅｓｓ ｂｕｓ）、制御バス（ｃｏｎｔｒｏｌ ｂｕｓ）及びデータバス（ｄａｔａ ｂｕｓ）またはこれとは違う通信リンクを介してプロセッサ２０２０と接続されて通信を行うことができる。ここで、イメージセンサ２０１０は上述したイメージセンシング装置１０００の説明が適用されてもよい。
【0149】
イメージセンサ２０１０は様々な形態のパッケージで具現されてもよい。例えば、イメージセンサ２０１０の少なくとも一部の構成は、ＰｏＰ（Ｐａｃｋａｇｅ ｏｎ Ｐａｃｋａｇｅ）、Ｂａｌｌ ｇｒｉｄ ａｒｒａｙｓ（ＢＧＡｓ）、Ｃｈｉｐ ｓｃａｌｅ ｐａｃｋａｇｅｓ（ＣＳＰｓ）、Ｐｌａｓｔｉｃ Ｌｅａｄｅｄ Ｃｈｉｐ Ｃａｒｒｉｅｒ（ＰＬＣＣ）、Ｐｌａｓｔｉｃ Ｄｕａｌ Ｉｎ－Ｌｉｎｅ Ｐａｃｋａｇｅ（ＰＤＩＰ）、Ｄｉｅ ｉｎ Ｗａｆｆｌｅ Ｐａｃｋ、Ｄｉｅ ｉｎ Ｗａｆｅｒ Ｆｏｒｍ、Ｃｈｉｐ Ｏｎ Ｂｏａｒｄ（ＣＯＢ）、Ｃｅｒａｍｉｃ Ｄｕａｌ Ｉｎ－Ｌｉｎｅ Ｐａｃｋａｇｅ（ＣＥＲＤＩＰ）、Ｐｌａｓｔｉｃ Ｍｅｔｒｉｃ Ｑｕａｄ Ｆｌａｔ Ｐａｃｋ（ＭＱＦＰ）、Ｔｈｉｎ Ｑｕａｄ Ｆｌａｔｐａｃｋ（ＴＱＦＰ）、Ｓｍａｌｌ Ｏｕｔｌｉｎｅ（ＳＯＩＣ）、Ｓｈｒｉｎｋ Ｓｍａｌｌ Ｏｕｔｌｉｎｅ Ｐａｃｋａｇｅ（ＳＳＯＰ）、Ｔｈｉｎ Ｓｍａｌｌ Ｏｕｔｌｉｎｅ（ＴＳＯＰ）、Ｔｈｉｎ Ｑｕａｄ Ｆｌａｔｐａｃｋ（ＴＱＦＰ）、Ｓｙｓｔｅｍ Ｉｎ Ｐａｃｋａｇｅ（ＳＩＰ）、Ｍｕｌｔｉ Ｃｈｉｐ Ｐａｃｋａｇｅ（ＭＣＰ）、Ｗａｆｅｒ－ｌｅｖｅｌ Ｆａｂｒｉｃａｔｅｄ Ｐａｃｋａｇｅ（ＷＦＰ）、Ｗａｆｅｒ－Ｌｅｖｅｌ Ｐｒｏｃｅｓｓｅｄ Ｓｔａｃｋ Ｐａｃｋａｇｅ（ＷＳＰ）などのパッケージを利用して具現されてもよい。実施例によって、イメージセンサ２０１０はプロセッサ２０２０と共に１つのチップに集積されてもよく、異なるチップにそれぞれ集積されてもよい。
【0150】
プロセッサ２０２０はコンピューティングシステム２０００の全般的な動作を制御することができる。プロセッサ２０２０は補正イメージＣｏｒ＿Ｉｍｇを表示するようにディスプレイ装置２０６０を制御することができる。プロセッサ２０２０は補正イメージＣｏｒ＿Ｉｍｇを記憶装置２０３０に保存することができる。ここで、プロセッサ２０２０は上述したホスト３０００の説明が適用されてもよい。
【0151】
プロセッサ２０２０は特定の計算またはタスク（ｔａｓｋ）を遂行することができる。本発明の実施例によると、プロセッサ２０２０は、中央処理装置（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ、ＣＰＵ）、アプリケーション処理装置（Ａｐｐｌｉｃａｔｉｏｎ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ、ＡＰＵ）、グラフィック処理装置（Ｇｒａｐｈｉｃ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ、ＧＰＵ）などから少なくとも１つを含んでもよい。
【0152】
プロセッサ２０２０はアドレスバス、制御バス及びデータバスを介して記憶装置２０３０、メモリ装置２０４０及び入出力装置２０５０に接続されて通信を行うことができる。本発明の実施例によると、プロセッサ２０２０は周辺構成要素相互接続（Ｐｅｒｉｐｈｅｒａｌ Ｃｏｍｐｏｎｅｎｔ Ｉｎｔｅｒｃｏｎｎｅｃｔ；ＰＣＩ））バスなどの拡張バスに接続されてもよい。
【0153】
記憶装置２０３０は補正イメージＣｏｒ＿Ｉｍｇなどのデータを保存することができる。ここで、記憶装置２０３０に保存されたデータはコンピューティングシステム２０００が駆動されるときだけでなく、駆動されないときも保存され得る。例えば、記憶装置２０３０は、フラッシュメモリ装置（ｆｌａｓｈ ｍｅｍｏｒｙ ｄｅｖｉｃｅ）、ソリッドステートドライブ（Ｓｏｌｉｄ Ｓｔａｔｅ Ｄｒｉｖｅ、ＳＳＤ）、ハードディスクドライブ（Ｈａｒｄ Ｄｉｓｋ Ｄｒｉｖｅ、ＨＤＤ）、光ディスクなどのあらゆる形態の不揮発性メモリ装置のうち少なくとも１つで構成されてもよい。
【0154】
メモリ装置２０４０は補正イメージＣｏｒ＿Ｉｍｇなどのデータを保存することができる。ここで、メモリ装置２０４０に保存されたデータはコンピューティングシステム２０００が駆動されるときだけ保存され得る。または、メモリ装置２０４０に保存されたデータはコンピューティングシステム２０００が駆動または駆動されないときも保存され得る。例えば、メモリ装置２０４０は、動的ランダムアクセスメモリ（Ｄｙｎａｍｉｃ Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ；ＤＲＡＭ）、静的ランダムアクセスメモリ（Ｓｔａｔｉｃ Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ；ＳＲＡＭ）などの揮発性メモリ装置と、イーピーローム（Ｅｒａｓａｂｌｅ Ｐｒｏｇｒａｍｍａｂｌｅ Ｒｅａｄ－Ｏｎｌｙ Ｍｅｍｏｒｙ；ＥＰＲＯＭ）、イーイーピーローム（Ｅｌｅｃｔｒｉｃａｌｌｙ Ｅｒａｓａｂｌｅ Ｐｒｏｇｒａｍｍａｂｌｅ Ｒｅａｄ－Ｏｎｌｙ Ｍｅｍｏｒｙ；ＥＥＰＲＯＭ）及びフラッシュメモリ装置などの不揮発性メモリ装置と、を含んでもよい。
【0155】
入出力装置２０５０は入力装置及び出力装置を含んでもよい。入力装置は相互作用によりユーザの命令を入力することができる装置であり、例えば、入力装置はキーボード、キーパッド、マウス、マイクなどで具現されてもよい。出力装置はデータを出力することができる装置であり、例えば、出力装置はプリンタ、スピーカなどで具現されてもよい。
【0156】
ディスプレイ装置２０６０は補正イメージなどのデータを視覚的に出力する装置である。このために、ディスプレイ装置２０６０は、別途のバックライトユニット（例えば、ＬＥＤ（ｌｉｇｈｔ ｅｍｉｔｔｉｎｇ ｄｉｏｄｅ）など）を光源として利用し液晶（Ｌｉｑｕｉｄ Ｃｒｙｓｔａｌ）の分子配列を制御することでバックライトユニットから放出された光が液晶を介して透過する程度（光の明るさまたは光の強度）を調整するＬＣＤ（Ｌｉｑｕｉｄ Ｃｒｙｓｔａｌ Ｄｉｓｐｌａｙ）、別途のバックライトユニットまたは液晶なしの自発光素子（例えば、サイズが１００－２００ｕｍのｍｉｎｉ ＬＥＤ、サイズが１００ｕｍ以下のｍｉｃｒｏ ＬＥＤ、ＯＬＥＤ（Ｏｒｇａｎｉｃ ＬＥＤ）、ＱＬＥＤ（Ｑｕａｎｔｕｍ ｄｏｔ ＬＥＤ）など）を光源として利用するディスプレイなどの様々な形態のディスプレイで具現されてもよい。
【0157】
ディスプレイ装置２０６０は複数のピクセルを含んでもよい。ディスプレイ装置２０６０の複数のピクセルは補正イメージＣｏｒ＿Ｉｍｇの複数のピクセルと互いに対応する位置関係を有することができる。ディスプレイ装置２０６０の複数のピクセルは補正イメージＣｏｒ＿Ｉｍｇの複数のピクセルのそれぞれのピクセル値に対応する輝度で光を放出することでイメージを表示することができる。ディスプレイ装置２０６０は複数のピクセルに対応する複数の駆動回路を含んでもよい。ここで、駆動回路は、ａ－Ｓｉ（ａｍｏｒｐｈｏｕｓ ｓｉｌｉｃｏｎ） ＴＦＴ（ｔｈｉｎ ｆｉｌｍ ｔｒａｎｓｉｓｔｏｒ）、ＬＴＰＳ（ｌｏｗ ｔｅｍｐｅｒａｔｕｒｅ ｐｏｌｙ ｓｉｌｉｃｏｎ） ＴＦＴ、ＯＴＦＴ（ｏｒｇａｎｉｃ ＴＦＴ）などの形態で具現されてもよい。
【0158】
一実施例におけるディスプレイ装置２０６０は、ディスプレイ装置２０６０の形状が曲がったり復元されることができる特性を有するフレキシブルディスプレイ（ｆｌｅｘｉｂｌｅ ｄｉｓｐｌａｙ）で具現されてもよい。一実施例におけるディスプレイ装置２０６０は光を透過させる特性を有する透明ディスプレイで具現されてもよい。一実施例におけるディスプレイ装置２０６０はユーザがタッチした位置を識別するタッチセンサと結合されてタッチディスプレイで具現されてもよい。
【符号の説明】
【0159】
１０００ イメージセンシング装置
１００ イメージセンサ
２００ イメージプロセッサ
３００ メモリ
１００ イメージセンサ
２００ イメージプロセッサ
３００ メモリ
【図1】
【図2】
【図3a】
【図3b】
【図4】
【図5】
【図6】
【図7】
【図8a】
【図8b】
【図8c】
【図8d】
【図9a】
【図9b】
【図10】
【図11】
【図12】
【図13】