特許 7549960 イメージ信号処理方法、イメージ信号プロセッサ及びイメージセンサチップ

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2024-09-04

(45)【発行日】2024-09-12

(54)【発明の名称】イメージ信号処理方法、イメージ信号プロセッサ及びイメージセンサチップ

(51)【国際特許分類】

   H04N 23/68 20230101AFI20240905BHJP

   H04N 23/12 20230101ALI20240905BHJP

   H04N 23/60 20230101ALI20240905BHJP

   H04N 25/10 20230101ALI20240905BHJP

   H04N 25/70 20230101ALI20240905BHJP

   G06T 3/4015 20240101ALI20240905BHJP

【ＦＩ】

H04N23/68

H04N23/12

H04N23/60 500

H04N25/10

H04N25/70

G06T3/4015

【請求項の数】 17

(21)【出願番号】P 2019233848

(22)【出願日】2019-12-25

(65)【公開番号】P2020113975

(43)【公開日】2020-07-27

【審査請求日】2022-12-16

(31)【優先権主張番号】10-2019-0003337

(32)【優先日】2019-01-10

(33)【優先権主張国・地域又は機関】KR

(73)【特許権者】

【識別番号】310024033

【氏名又は名称】エスケーハイニックス株式会社

【氏名又は名称原語表記】ＳＫ ｈｙｎｉｘ Ｉｎｃ．

【住所又は居所原語表記】２０９１， Ｇｙｅｏｎｇｃｈｕｎｇ－ｄａｅｒｏ，Ｂｕｂａｌ－ｅｕｂ，Ｉｃｈｅｏｎ－ｓｉ，Ｇｙｅｏｎｇｇｉ－ｄｏ，Ｋｏｒｅａ

(74)【代理人】

【識別番号】110000796

【氏名又は名称】弁理士法人三枝国際特許事務所

(72)【発明者】

【氏名】アン ゼホ

(72)【発明者】

【氏名】キム スミン

(72)【発明者】

【氏名】キム ジンス

(72)【発明者】

【氏名】キム テヒョン

(72)【発明者】

【氏名】リュウ ゼユン

(72)【発明者】

【氏名】ピョン チャンヒ

【審査官】藏田 敦之

(56)【参考文献】

【文献】米国特許出願公開第２０１７／０１９５５７４（ＵＳ，Ａ１）

【文献】特開２００９－１００４１７（ＪＰ，Ａ）

【文献】特開２００１－３２０７２１（ＪＰ，Ａ）

【文献】特開２０１１－１２９９０２（ＪＰ，Ａ）

【文献】特開２０１１－２５２９９３（ＪＰ，Ａ）

【文献】特開２０１４－１２８０１４（ＪＰ，Ａ）

【文献】特開２０１４－１５０４４３（ＪＰ，Ａ）

【文献】米国特許出願公開第２０２０／０２０４７４６（ＵＳ，Ａ１）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｈ０４Ｎ ２３／６８

Ｈ０４Ｎ ２３／１２

Ｈ０４Ｎ ２３／６０

Ｈ０４Ｎ ２５／１０

Ｈ０４Ｎ ２５／７０

Ｇ０６Ｔ ３／４０１５

(57)【特許請求の範囲】

【請求項1】

ジャイロ情報の平行移動情報に基づいてベイヤパターンイメージのベイヤオーダー（ｂａｙｅｒ ｏｒｄｅｒ）が変更されるか否かを示すベイヤオーダー状態情報を生成するステップ；
前記平行移動情報を用いて前記ベイヤパターンイメージに対する平行移動（ｔｒａｎｓｌａｔｉｏｎ）補正を行うステップ；及び
前記ベイヤオーダー状態情報に基づいて前記平行移動補正が行われたベイヤパターンイメージに対する補間（ｉｎｔｅｒｐｏｌａｔｉｏｎ）を行うステップを含み、
前記平行移動補正を行うステップは、
前記ベイヤパターンイメージのピクセル座標と前記平行移動情報を演算して第１補正ピクセル座標を算出するステップ；及び
前記第１補正ピクセル座標に基づいて水平同期信号及び垂直同期信号を生成するステップを含み、
前記水平同期信号及び前記垂直同期信号を生成するステップは、
前記第１補正ピクセル座標の整数座標が、最終ウィンドウに含まれるピクセル座標に対応するベイヤパターンイメージがラインメモリに保存されるように、前記水平同期信号及び前記垂直同期信号を生成するステップを含むイメージ信号処理方法。

【請求項2】

前記第１補正ピクセル座標を算出するステップは、
前記ピクセル座標のＸ軸座標に前記平行移動情報のＸ軸移動情報を加算して、前記第１補正ピクセル座標のＸ軸座標を算出するステップ；及び
前記ピクセル座標のＹ軸座標に前記平行移動情報のＹ軸移動情報を減算して、前記第１補正ピクセル座標のＹ軸座標を算出するステップを含む、請求項１に記載のイメージ信号処理方法。

【請求項3】

前記水平同期信号及び前記垂直同期信号によって定められる平行移動ウィンドウは、前記最終ウィンドウに比べてＸ軸方向に第１長さほど、Ｙ軸方向に第２長さほどさらに大きい長さを有する、請求項１に記載のイメージ信号処理方法。

【請求項4】

前記第１長さ及び前記第２長さは、前記ジャイロ情報によって決定される、請求項３に記載のイメージ信号処理方法。

【請求項5】

前記平行移動補正を行うステップ以後、前記ジャイロ情報のセグメント移動情報を用いてせん断（ｓｈｅａｒ）補正を行うステップをさらに含む、請求項１に記載のイメージ信号処理方法。

【請求項6】

前記セグメント移動情報は、複数のセグメントそれぞれに対する移動距離を含み、
前記せん断補正を行うステップは、
前記複数のセグメントそれぞれに対する移動距離を用いて計算された各セグメント別の傾きと、第１補正ピクセル座標の整数座標の相対位置値を掛けた値を、前記第１補正ピクセル座標の整数座標と演算して傾きを補正するステップ；及び
前記複数のセグメントそれぞれに対する移動距離を用いて計算されたセグメントオフセットを用いて、前記複数のセグメントのうちいずれか一つを基準に整列させて第２補正ピクセル座標を算出するステップを含む、請求項５に記載のイメージ信号処理方法。

【請求項7】

前記せん断補正を行うステップ以後、前記ジャイロ情報の回転情報を用いて回転（ｒｏｔａｔｉｏｎ）補正を行うステップをさらに含む、請求項６に記載のイメージ信号処理方法。

【請求項8】

前記回転補正を行うステップは、
前記第２補正ピクセル座標に前記第１補正ピクセル座標の小数座標を加算または減算するステップを含む、請求項７に記載のイメージ信号処理方法。

【請求項9】

前記ベイヤパターンイメージは、ラインメモリに保存される、請求項１に記載のイメージ信号処理方法。

【請求項10】

前記ベイヤオーダー状態情報を生成するステップは、
前記平行移動情報のＸ軸移動情報及びＹ軸移動情報それぞれの整数部が、偶数または奇数なのか否かによってベイヤオーダー状態情報を生成するステップを含む、請求項１に記載のイメージ信号処理方法。

【請求項11】

前記補間を行うステップは、
前記平行移動補正、せん断補正及び回転補正が行われた第３補正ピクセル座標の整数座標と補正前のピクセル座標との間のマッピング情報に基づいて、前記第３補正ピクセル座標の整数座標に該当するピクセルデータをリードするステップ；
前記ベイヤオーダー状態情報を用いて前記第３補正ピクセル座標の整数座標に対応する色相を決定するステップ；及び
色相が決定された各ピクセルで構成されたマスクを用いた補間を介してＲＧＢデータを生成するステップを含む、請求項１に記載のイメージ信号処理方法。

【請求項12】

前記補間を行うステップは、
前記ＲＧＢデータのマスクを用いて前記第３補正ピクセル座標の小数座標による加重値を適用することで、前記第３補正ピクセル座標の整数座標それぞれに対応する最終ＲＧＢデータを生成するステップをさらに含む、請求項１１に記載のイメージ信号処理方法。

【請求項13】

ジャイロ情報の平行移動情報に基づいてベイヤパターンイメージのベイヤオーダー（ｂａｙｅｒ ｏｒｄｅｒ）が変更されるか否かを示すベイヤオーダー状態情報を生成するベイヤオーダー計算機；
前記平行移動情報を用いて前記ベイヤパターンイメージに対する平行移動（ｔｒａｎｓｌａｔｉｏｎ）補正を行うＥＩＳ（Ｅｌｅｃｔｒｏｎｉｃ Ｉｍａｇｅ Ｓｔａｂｉｌｉｚａｔｉｏｎ）計算機；及び
前記ベイヤオーダー状態情報に基づいて前記平行移動補正が行われたベイヤパターンイメージに対する補間（ｉｎｔｅｒｐｏｌａｔｉｏｎ）を行う補間部を含み、
前記ＥＩＳ計算機は、
前記ベイヤパターンイメージのピクセル座標と前記平行移動情報を演算して第１補正ピクセル座標を算出し、前記第１補正ピクセル座標の整数座標が、最終ウィンドウに含まれるピクセル座標に対応するベイヤパターンイメージがラインメモリに保存されるように、水平同期信号及び垂直同期信号を生成するイメージ信号プロセッサ。

【請求項14】

前記ベイヤオーダー計算機は、
前記平行移動情報のＸ軸移動情報及びＹ軸移動情報それぞれの整数部が、偶数または奇数なのか否かによってベイヤオーダー状態情報を生成する、請求項１３に記載のイメージ信号プロセッサ。

【請求項15】

前記ＥＩＳ計算機は、
前記ジャイロ情報のセグメント移動情報を用いてせん断（ｓｈｅａｒ）補正を行い、前記ジャイロ情報の回転情報を用いて回転（ｒｏｔａｔｉｏｎ）補正を行う、請求項１３に記載のイメージ信号プロセッサ。

【請求項16】

前記補間部は、
前記平行移動補正、せん断補正及び回転補正が行われた第３補正ピクセル座標の整数座標と補正前のピクセル座標との間のマッピング情報に基づいて、前記第３補正ピクセル座標の整数座標に該当するピクセルデータをラインメモリからリードし、前記ベイヤオーダー状態情報を用いて前記第３補正ピクセル座標の整数座標に対応する色相を決定し、色相が決定された各ピクセルで構成されたマスクを用いた補間を介してＲＧＢデータを生成する、請求項１３に記載のイメージ信号プロセッサ。

【請求項17】

それぞれが一つの色相情報を示すピクセルデータで構成されたベイヤパターンイメージを生成するイメージ生成ブロック；及び
ジャイロ情報の平行移動情報に基づいて前記ベイヤパターンイメージのベイヤオーダー（ｂａｙｅｒ ｏｒｄｅｒ）が変更されるか否かを示すベイヤオーダー状態情報を生成し、前記平行移動情報を用いて前記ベイヤパターンイメージに対する平行移動（ｔｒａｎｓｌａｔｉｏｎ）補正を行い、前記ベイヤオーダー状態情報に基づいて前記平行移動補正が行われたベイヤパターンイメージに対する補間（ｉｎｔｅｒｐｏｌａｔｉｏｎ）を行うイメージ信号プロセッサを含み、
前記イメージ信号プロセッサは、
前記ベイヤパターンイメージのピクセル座標と前記平行移動情報を演算して第１補正ピクセル座標を算出し、前記第１補正ピクセル座標の整数座標が、最終ウィンドウに含まれるピクセル座標に対応するベイヤパターンイメージがラインメモリに保存されるように、水平同期信号及び垂直同期信号を生成するイメージセンサチップ。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、イメージ信号処理方法、イメージ信号プロセッサ及びイメージセンサチップに関し、より詳しくは振れ補正を行うためのイメージ信号処理方法、イメージ信号プロセッサ及びイメージセンサチップに関する。

【背景技術】

【0002】

イメージセンサは、光に反応する半導体の性質を用いてイメージをキャプチャ（ｃａｐｔｕｒｅ）する装置である。最近、コンピュータ産業と通信産業の発達に応じてスマートフォン、デジタルカメラ、ゲーム機器、モノのインターネット（Ｉｎｔｅｒｎｅｔ ｏｆ Ｔｈｉｎｇｓ）、ロボット、警備用カメラ、医療用マイクロカメラなどの多様な分野で性能が向上したイメージセンサの需要が増大している。

【0003】

イメージセンサは、大きくＣＣＤ（Ｃｈａｒｇｅ Ｃｏｕｐｌｅｄ Ｄｅｖｉｃｅ）イメージセンサと、ＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ Ｍｅｔａｌ Ｏｘｉｄｅ Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）イメージセンサに区分され得る。ＣＣＤイメージセンサは、ＣＭＯＳイメージセンサに比べて雑音（ｎｏｉｓｅ）が少なく、画質に優れる。しかし、ＣＭＯＳイメージセンサは、駆動方式が簡便であり、多様なスキャニング（ｓｃａｎｎｉｎｇ）方式で具現可能である。また、ＣＭＯＳイメージセンサは、信号処理回路を単一チップに集積できるので、製品の小型化が容易でかつ電力消耗が非常に低く、ＣＭＯＳ工程技術を互換して用いることができるので、製造単価が低い。最近は、モバイル機器により適合した特性によってＣＭＯＳイメージセンシング装置が多く用いられている。

【発明の概要】

【発明が解決しようとする課題】

【0004】

本発明の技術的思想は、ジャイロセンサを用いてベイヤパターンイメージに対する振れ補正を行うイメージ信号処理方法、イメージ信号プロセッサ及びイメージセンサチップを提供するためのことである。

【0005】

本発明の技術的課題は、以上で言及した技術的課題に制限されず、言及されていないまた他の技術的課題は、下記記載から当業者に明確に理解されるはずである。

【課題を解決するための手段】

【0006】

本発明の一実施形態によるイメージ信号処理方法は、ジャイロ情報の平行移動情報に基づいてベイヤパターンイメージのベイヤオーダー（ｂａｙｅｒ ｏｒｄｅｒ）が変更されるか否かを示すベイヤオーダー状態情報を生成するステップ、前記平行移動情報を用いて前記ベイヤパターンイメージに対する平行移動（ｔｒａｎｓｌａｔｉｏｎ）補正を行うステップ、及び前記ベイヤオーダー状態情報に基づいて前記平行移動補正が行われたベイヤパターンイメージに対する補間（ｉｎｔｅｒｐｏｌａｔｉｏｎ）を行うステップを含んでよい。

【0007】

実施形態によって、前記平行移動補正を行うステップは、前記ベイヤパターンイメージのピクセル座標と前記平行移動情報とを演算して第１補正ピクセル座標を算出するステップ、及び前記第１補正ピクセル座標に基づいて水平同期信号及び垂直同期信号を生成するステップを含んでよい。

【0008】

実施形態によって、前記第１補正ピクセル座標を算出するステップは、前記ピクセル座標のＸ軸座標に前記平行移動情報のＸ軸移動情報を加算して、前記第１補正ピクセル座標のＸ軸座標を算出するステップ、及び前記ピクセル座標のＹ軸座標に前記平行移動情報のＹ軸移動情報を減算して、前記第１補正ピクセル座標のＹ軸座標を算出するステップを含んでよい。

【0009】

実施形態によって、前記水平同期信号及び前記垂直同期信号を生成するステップは、前記第１補正ピクセル座標の整数座標が最終ウィンドウに含まれるピクセル座標に対応するベイヤパターンイメージがラインメモリに保存されるように、前記水平同期信号及び前記垂直同期信号を生成するステップを含んでよい。

【0010】

実施形態によって、前記水平同期信号及び前記垂直同期信号によって定められる平行移動ウィンドウは、前記最終ウィンドウに比べてＸ軸方向に第１長さほど、Ｙ軸方向に第２長さほどさらに大きい長さを有してよい。

【0011】

実施形態によって、前記第１長さ及び前記第２長さは、前記ジャイロ情報によって決定されてよい。

【0012】

実施形態によって、前記平行移動補正を行うステップ以後、前記ジャイロ情報のセグメント移動情報を用いてせん断（ｓｈｅａｒ）補正を行うステップをさらに含んでよい。

【0013】

実施形態によって、前記セグメント移動情報は、複数のセグメントそれぞれに対する移動距離を含み、前記せん断補正を行うステップは、前記複数のセグメントそれぞれに対する移動距離を用いて計算された各セグメント別の傾きと、第１補正ピクセル座標の整数座標の相対位置値を掛けた値を前記第１補正ピクセル座標の整数座標と演算して傾きを補正するステップ、及び前記複数のセグメントそれぞれに対する移動距離を用いて計算されたセグメントオフセットを用いて、前記複数のセグメントのうちいずれか一つを基準に整列させて第２補正ピクセル座標を算出するステップを含んでよい。

【0014】

実施形態によって、前記せん断補正を行うステップ以後、前記ジャイロ情報の回転情報を用いて回転（ｒｏｔａｔｉｏｎ）補正を行うステップをさらに含んでよい。

【0015】

実施形態によって、前記回転補正を行うステップは、前記第２補正ピクセル座標に前記第１補正ピクセル座標の小数座標を加算または減算するステップを含んでよい。

【0016】

実施形態によって、前記ベイヤパターンイメージは、ラインメモリに保存されてよい。

【0017】

実施形態によって、前記ベイヤオーダー状態情報を生成するステップは、前記平行移動情報のＸ軸移動情報及びＹ軸移動情報それぞれの整数部が、偶数または奇数なのか否かによってベイヤオーダー状態情報を生成するステップを含んでよい。

【0018】

実施形態によって、前記補間を行うステップは、前記平行移動補正、せん断補正及び回転補正が行われた第３補正ピクセル座標の整数座標と補正前のピクセル座標との間のマッピング情報に基づいて、前記第３補正ピクセル座標の整数座標に該当するピクセルデータをリードするステップ、前記ベイヤオーダー状態情報を用いて前記第３補正ピクセル座標の整数座標に対応する色相を決定するステップ、及び色相が決定された各ピクセルで構成されたマスクを用いた補間を介してＲＧＢデータを生成するステップを含んでよい。

【0019】

実施形態によって、前記補間を行うステップは、前記ＲＧＢデータのマスクを用いて前記第３補正ピクセル座標の小数座標による加重値を適用することで、前記第３補正ピクセル座標の整数座標それぞれに対応する最終ＲＧＢデータを生成するステップをさらに含んでよい。

【0020】

本発明の一実施形態によるイメージ信号プロセッサは、ジャイロ情報の平行移動情報に基づいてベイヤパターンイメージのベイヤオーダー（ｂａｙｅｒ ｏｒｄｅｒ）が変更されるか否かを示すベイヤオーダー状態情報を生成するベイヤオーダー計算機、前記平行移動情報を用いて前記ベイヤパターンイメージに対する平行移動（ｔｒａｎｓｌａｔｉｏｎ）補正を行うＥＩＳ（Ｅｌｅｃｔｒｏｎｉｃ Ｉｍａｇｅ Ｓｔａｂｉｌｉｚａｔｉｏｎ）計算機、及び前記ベイヤオーダー状態情報に基づいて前記平行移動補正が行われたベイヤパターンイメージに対する補間（ｉｎｔｅｒｐｏｌａｔｉｏｎ）を行う補間部を含んでよい。

【0021】

本発明の一実施形態によるイメージセンサチップは、それぞれが一つの色相情報を示すピクセルデータで構成されたベイヤパターンイメージを生成するイメージ生成ブロック、及びジャイロ情報の平行移動情報に基づいて前記ベイヤパターンイメージのベイヤオーダー（ｂａｙｅｒ ｏｒｄｅｒ）が変更されるか否かを示すベイヤオーダー状態情報を生成し、前記平行移動情報を用いて前記ベイヤパターンイメージに対する平行移動（ｔｒａｎｓｌａｔｉｏｎ）補正を行い、前記ベイヤオーダー状態情報に基づいて前記平行移動補正が行われたベイヤパターンイメージに対する補間（ｉｎｔｅｒｐｏｌａｔｉｏｎ）を行うイメージ信号プロセッサを含んでよい。

【発明の効果】

【0022】

本文書に開示される実施形態によれば、ＲＧＢイメージではなく、ベイヤパターンイメージに対してジャイロ情報に基づいたＥＩＳ補正を行い、ＥＩＳ補正過程で変更されたベイヤオーダーを用いて補正されたベイヤパターンイメージに対してＲＧＢイメージを生成することで、システム資源の消耗が最小化されたＥＩＳ補正機能を具現することができる。

【0023】

特に、フレームメモリではなく、ラインメモリのみを用いてＥＩＳを行うことで、ＥＩＳ補正に要求されるシステム資源を大幅に節約することができる。

【0024】

また、イメージセンサチップ内でジャイロ情報を用いて平行移動補正、せん断補正及び回転補正のＥＩＳ補正を統合的に行うことができる。

【0025】

それ以外に、本文書を介して直接的または間接的に把握される多様な効果が提供され得る。

【図面の簡単な説明】

【0026】

【図1】本発明の一実施形態によるイメージ処理システムを簡単に示した図である。

【図2】図１に示されたイメージ信号プロセッサをより詳しく示した図である。

【図3】本発明の一実施形態によるイメージ信号処理方法を示したフローチャートである。

【図4】図３に示されたイメージ信号処理方法のＳ２０ステップをより詳しく示したフローチャートである。

【図5】図４に示されたＳ１１０ステップ及びＳ１４０ステップを説明するための図である。

【図6】図４に示されたＳ１３０ステップを説明するための図である。

【図7】図４に示されたＳ１６０ステップを説明するための図である。

【図8】図４に示されたＳ１７０ステップを説明するための図である。

【図9】図４に示されたＳ１９０ステップ及びＳ２００ステップを説明するための図である。

【発明を実施するための形態】

【0027】

以下、本発明の多様な実施形態が図面を参照して記載される。しかし、これは本発明を特定の実施形態に対して限定しようとするものではなく、本発明の実施形態の多様な変更（ｍｏｄｉｆｉｃａｔｉｏｎ）、均等物（ｅｑｕｉｖａｌｅｎｔ）、及び／又は代替物（ａｌｔｅｒｎａｔｉｖｅ）を含むものと理解されなければならない。

【0028】

図１は、本発明の一実施形態によるイメージ処理システムを簡単に示した図である。

【0029】

図１を参照すれば、イメージ処理システム１０は、電子装置、例えば、デジタルカメラ、移動電話機、スマートフォン（ｓｍａｒｔ ｐｈｏｎｅ）、タブレットＰＣ（ｔａｂｌｅｔ ｐｅｒｓｏｎａｌ ｃｏｍｐｕｔｅｒ）、ノートパソコン（ｎｏｔｅｂｏｏｋ）、ＰＤＡ（ｐｅｒｓｏｎａｌ ｄｉｇｉｔａｌ ａｓｓｉｓｔａｎｔ）、ＥＤＡ（ｅｎｔｅｒｐｒｉｓｅ ｄｉｇｉｔａｌ ａｓｓｉｓｔａｎｔ）、デジタルスチルカメラ（ｄｉｇｉｔａｌ ｓｔｉｌｌ ｃａｍｅｒａ）、デジタルビデオカメラ（ｄｉｇｉｔａｌ ｖｉｄｅｏ ｃａｍｅｒａ）、ＰＭＰ（ｐｏｒｔａｂｌｅ ｍｕｌｔｉｍｅｄｉａ ｐｌａｙｅｒ）、モバイルインターネット装置（ｍｏｂｉｌｅ ｉｎｔｅｒｎｅｔ ｄｅｖｉｃｅ（ＭＩＤ））、ＰＣ（Ｐｅｒｓｏｎａｌ Ｃｏｍｐｕｔｅｒ）、ウェアラブルデバイス（ｗｅａｒａｂｌｅ ｄｅｖｉｃｅ）または多様な目的のカメラ（自動車の前方カメラ、後方カメラ、ブラックボックスカメラなど）で具現されてよい。

【0030】

イメージ処理システム１０は、光学レンズ７０、ＣＭＯＳイメージセンサ１００及びホスト４００を含むことができる。ここで、ＣＭＯＳイメージセンサ１００は、チップ（ｃｈｉｐ）で具現され、イメージセンサチップと呼ばれる。

【0031】

ＣＭＯＳイメージセンサ１００は、光学レンズ５０を介して入力された（またはキャプチャされた（ｃａｐｔｕｒｅｄ））被写体３０に対するイメージデータを生成し、ホスト４００にイメージデータを伝送することができる。光学レンズ５０は、光学系を形成する少なくとも一つのレンズを含むことができる。

【0032】

ＣＭＯＳイメージセンサ１００は、アクティブピクセルセンサ（Ａｃｔｉｖｅ Ｐｉｘｅｌ Ｓｅｎｓｏｒ；ＡＰＳ）ブロック１１０、ロードライバー（ｒｏｗ ｄｒｉｖｅｒ）１２０、相関二重サンプリング（Ｃｏｒｒｅｌａｔｅ Ｄｏｕｂｌｅ Ｓａｍｐｌｉｎｇ；ＣＤＳ）ブロック１３０、アナログ－デジタルコンバータ（Ａｎａｌｏｇ－ｔｏ－Ｄｉｇｉｔａｌ Ｃｏｎｖｅｒｔｅｒ；ＡＤＣ）ブロック１４０、出力バッファ（ｏｕｔｐｕｔ ｂｕｆｆｅｒ）１５０、タイミング生成器（ｔｉｍｉｎｇ ｇｅｎｅｒａｔｏｒ）１６０、制御レジスタブロック（ｃｏｎｔｒｏｌ ｒｅｇｉｓｔｅｒ ｂｌｏｃｋ）１７０、ランプ生成器（ｒａｍｐ ｇｅｎｅｒａｔｏｒ）１８０、出力インターフェース（ｏｕｔｐｕｔ ｉｎｔｅｒｆａｃｅ；ｏｕｔｐｕｔ Ｉ／Ｆ）１９０、イメージ信号プロセッサ（ｉｍａｇｅ ｓｉｇｎａｌ ｐｒｏｃｅｓｓｏｒ）２００及びジャイロセンサ（ｇｙｒｏ ｓｅｎｓｏｒ）３００を含むことができる。ここで、ＣＭＯＳイメージセンサ１００の各構成は、例示的なものに過ぎず、必要に応じて少なくとも一部の構成が追加されるか、省略されることがあり、複数の構成が一つの構成に統合されるか、一つの構成が複数の構成に分離されて具現されることもある。

【0033】

また、アクティブピクセルセンサブロック１１０、ロードライバー１２０、相関二重サンプリングブロック１３０、アナログ－デジタルコンバータブロック１４０、出力バッファ１５０は、各ピクセルに対応するピクセルデータを生成及び出力するという点で、イメージ生成ブロック（ｉｍａｇｅ ｇｅｎｅｒａｔｉｎｇ ｂｌｏｃｋ）１０５と呼ばれる。

【0034】

ＡＰＳブロック１１０は、複数個の行と列で配列された複数のピクセルを含んでよい。ＡＰＳブロック１１０を構成するピクセルそれぞれは、入射光によって生成された光電荷を蓄積し、蓄積された光電荷に相応するピクセル信号を生成することができる。前記ピクセルそれぞれは、光信号を電気的信号に変換する光電変換素子（例えば、フォトダイオード（ｐｈｏｔｏ ｄｉｏｄｅ）、フォトトランジスタ（ｐｈｏｔｏ ｔｒａｎｓｉｓｔｏｒ）、フォトゲート（ｐｈｏｔｏｇａｔｅ）、またはピンドフォトダイオード（ｐｉｎｎｅｄ ｐｈｏｔｏ ｄｉｏｄｅ））及び電気的信号を処理するための少なくとも一つのトランジスタを含んでよい。各ピクセルは、ロードライバー１２０から出力されるピクセル制御信号によって駆動され、各ピクセルで感知された電気的信号は、複数のカラムライン（図示せず）を介してＣＤＳブロック１３０に伝送され得る。ピクセル制御信号の種類は、各ピクセルの構造（例えば、３Ｔ、４Ｔ、５Ｔなど）によって変化することができ、例えば、４Ｔピクセルの場合、ピクセル制御信号は、リセット制御信号（ＲＧ）、伝送制御信号（ＴＧ）及び選択制御信号（ＳＥＬ）を含んでよい。

【0035】

ＡＰＳブロック１１０と光学レンズ５０との間には、カラーフィルタレイ（ｃｏｌｏｒ ｆｉｌｔｅｒ ａｒｒａｙ）が備えられてよく、カラーフィルタレイは、各ピクセルに入射される光の特定の波長（例えば、レッド、ブルー、グリーン）のみを通過させるカラーフィルタ等を含んでよい。カラーフィルタレイによって、各ピクセルのピクセルデータは、特定の波長の光の強さに対応する値を示すことができ、各ピクセルは、カラーフィルタの種類によってレッドピクセル（Ｒ）、ブルーピクセル（Ｂ）またはグリーンピクセル（Ｇ）と呼ばれる。本明細書では、レッドピクセル（Ｒ）、ブルーピクセル（Ｂ）及びグリーンピクセル（Ｇ）が、ベイヤパターン（ｂａｙｅｒ ｐａｔｔｅｒｎ）で配置されたものと仮定するが、本発明の範囲はこれに限定されない。

【0036】

ロードライバー１２０は、タイミング生成器１６０から受信したラインコントロール信号（ＬＣＳ）に基づいて、複数のピクセルそれぞれの動作を制御するための複数のピクセル制御信号をＡＰＳブロック１１０に伝送することができる。具体的に、ロードライバー１２０は、ＡＰＳブロック１１０の複数の行のうちいずれか一つの行を選択するために選択制御信号（ＳＥＬ）を生成することができる。そして、ロードライバー１２０は、選択された行に対応するピクセルでリセット制御信号（ＲＳ）及び伝送制御信号（ＴＧ）を伝送することができる。よって、選択された行のピクセルから生成されるアナログ形態の基準信号（またはリセット信号）と映像信号が、ＣＤＳブロック１３０に伝達され得る。ここで、ピクセルから出力される基準信号と映像信号は、ピクセル信号と通称することができる。

【0037】

ＣＤＳブロック１３０は、ＡＰＳブロック１１０から複数のカラムラインそれぞれに提供される基準信号と映像信号のセットを、順次サンプリング及びホールディング（Ｓａｍｐｌｉｎｇ ａｎｄ Ｈｏｌｄｉｎｇ）することができる。すなわち、ＣＤＳブロック１３０は、カラム等それぞれに対応する基準信号と映像信号のレベルをサンプリングして維持することができる。

【0038】

ＡＤＣブロック１４０は、ＣＤＳブロック１３０から出力されるそれぞれのカラムに対する相関二重サンプリング信号をデジタル信号に変換したピクセルデータを出力することができる。このために、ＡＤＣブロック１４０は、各カラムに対応する比較器及びカウンタを含むことができる。

【0039】

出力バッファ１５０は、ＡＤＣブロック１４０から提供されるそれぞれのカラム単位のピクセルデータをラッチ（ｌａｔｃｈ）して出力することができる。出力バッファ１５０は、アナログ－デジタル変換回路１４０から出力されるピクセルデータを臨時保存し、タイミング生成器１６０の制御によってピクセルデータを順次出力することができる。

【0040】

タイミング生成器１６０は、制御レジスタブロック１７０の制御によってＣＭＯＳイメージセンサ１００の各構成に、イメージデータの生成及び出力に必要なタイミング信号、基準信号及び制御信号を提供することができる。具体的に、タイミング生成器１６０は、複数のローラインのうち選択されたローラインに対応するピクセルからピクセル信号が並列的に出力されるように、ロードライバー１２０にラインコントロール信号（ＬＣＳ）を出力することができる。また、タイミング生成器１６０は、複数のカラムラインのうち選択されたカラムラインに対応するピクセルデータが順次出力されるように、ＣＤＳブロック１３０、ＡＤＣブロック１４０及び出力バッファ１５０を制御することができる。また、タイミング生成器１６０は、ＡＤＣブロック１４０がアナログ－デジタル変換を行うのに用いられるランプ信号を生成するように、ランプ生成器１８０を制御することができる。

【0041】

制御レジスタブロック１７０は、イメージ信号プロセッサ２００の制御によってタイミング生成器１６０、ランプ生成器１８０及び出力インターフェース１９０の作動を制御することができる。

【0042】

ランプ生成器１８０は、タイミング生成器１６０の制御によってランプ信号を生成し、ＡＤＣブロック１４０に提供することができる。

【0043】

出力インターフェース１９０は、イメージ信号プロセッサ２００から出力されるイメージデータをホスト４００に伝送することができる。

【0044】

イメージ信号プロセッサ２００は、出力バッファ１５０から受信されるピクセルデータのイメージ品質を改善できる処理を行い、処理されたイメージデータを出力インターフェース１９０に伝達することができる。ここで、処理は、ＥＩＳ（Ｅｌｅｃｔｒｏｎｉｃ Ｉｍａｇｅ Ｓｔａｂｉｌｉｚａｔｉｏｎ）、補間、色調補正、画質補正、大きさ調整などであってよい。

【0045】

イメージ信号プロセッサ２００は、ジャイロセンサ３００からジャイロ情報（ＧＩ）の提供を受けることができ、ジャイロ情報（ＧＩ）を用いてＥＩＳの処理を行うことができる。

【0046】

また、イメージ信号プロセッサ２００は、ＡＰＳブロック１１０で選択されたピクセルに対応するピクセルデータがイメージ信号プロセッサ２００に伝送されるように、制御レジスタブロック１７０を制御することができる。

【0047】

図１では、イメージ信号プロセッサ２００がＣＭＯＳイメージセンサ１００の一部として含まれ、一つのチップで具現されるものと示されたが、他の実施形態によって、ＣＭＯＳイメージセンサ１００とは独立したチップで具現されてよく、この場合、ＣＭＯＳイメージセンサ１００のチップとイメージ信号プロセッサ２００のチップは一つのパッケージ、例えば、マルチ－チップパッケージ（ｍｕｌｔｉ－ｃｈｉｐ ｐａｃｋａｇｅ）で具現されてよい。

【0048】

ジャイロセンサ３００は、イメージ処理システム１０の３次元的な動きに対するジャイロ情報（ＧＩ）を生成することができる。このために、ジャイロセンサ３００は、加速度センサ及び／又は角速度センサを含むことができる。また、ジャイロセンサ３００は、加速度センサ及び／又は角速度センサが出力する情報に含まれたノイズを除去するフィルタ（ｍｏｔｉｏｎ ｆｉｌｔｅｒ；例えば、ローパスフィルタ（ｌｏｗ ｐａｓｓ ｆｉｌｔｅｒ））を含んでジャイロ情報（ＧＩ）のノイズを除去することができる。図１では、ジャイロセンサ３００がＣＭＯＳイメージセンサ１００の一部として含まれるものと示されたが、本発明の範囲はこれに限定されず、ＣＭＯＳイメージセンサ１００とは独立的に具現されてよい。ジャイロセンサ３００がＣＭＯＳイメージセンサ１００の一部として含まれる場合、ＣＭＯＳイメージセンサ１００自体の動きに基づいてジャイロ情報（ＧＩ）が生成されることがあるので、ＥＩＳ処理がより正確に行われ得る。また、ジャイロセンサ３００は、複数個のセンサで具現されてよく、各センサは、ＣＭＯＳイメージセンサ１００の内部及び／又は外部に配置されてよい。ジャイロ情報（ＧＩ）は、リアルタイム処理のためにイメージ生成ブロック１０５が生成するベイヤパターンイメージと同期化された情報であってよい。

【0049】

ホスト４００は、ホスト４００の要請またはインターラプト（ｉｎｔｅｒｒｕｐｔ）によってＣＭＯＳイメージセンサ１００が生成したイメージデータを処理し、処理されたイメージデータを保存、表示または外部に伝送することができる。例えば、ホスト４００は、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）、ディスプレイ（ｄｉｓｐｌａｙ）またはアプリケーションプロセッサ（ａｐｐｌｉｃａｔｉｏｎ ｐｒｏｃｅｓｓｏｒ）であってよいが、本発明の範囲はこれに限定されない。

【0050】

図２は、図１に示されたイメージ信号プロセッサをより詳しく示した図である。

【0051】

図２を参照すれば、イメージ信号プロセッサ２００は、ラインメモリ（ｌｉｎｅ ｍｅｍｏｒｙ）２１０、ＥＩＳ計算機（ＥＩＳ ｃａｌｃｕｌａｔｏｒ）２２０、ベイヤオーダー計算機（ｂａｙｅｒ ｏｒｄｅｒ ｃａｌｃｕｌａｔｏｒ）２３０及び補間部（ｉｎｔｅｒｐｏｌａｔｉｏｎ ｕｎｉｔ）２４０を含んでよい。図２に示されたイメージ信号プロセッサ２００の構成は、例示的なものであり、必要に応じて少なくとも一部の構成が追加されるか、省略されてよく、複数の構成が一つの構成に統合されるか、一つの構成が複数の構成に分離されて具現されてよい。また、イメージ信号プロセッサ２００の各構成は、ソフトウェア、ハードウェアまたはこれらの組み合わせで具現されてよい。

【0052】

ラインメモリ２１０は、出力バッファ１５０から受信されるピクセルデータを保存することができる。このとき、各ピクセルのピクセルデータは、前記各ピクセルのピクセル座標にマッピング（ｍａｐｐｉｎｇ）されて保存され得る。したがって、補間部２４０は、ピクセルデータがどのピクセル座標に位置したピクセルのピクセルデータなのか認識することができる。ここで、ピクセル座標は、ＡＰＳブロック１１０のＸＹ平面上でのピクセルの位置を意味することができ、例えば ＡＰＳブロック１１０が２３０４個のカラムと１２９６個のローを含むとするとき、Ｘ軸方向に一番目及びＹ軸方向に一番目に位置したピクセルのピクセル座標は（０，０）であり、Ｘ軸方向に２３０４番目及びＹ軸方向に１２９６番目に位置したピクセルのピクセル座標は（２３０３，１２９５）であり得る。

【0053】

ラインメモリ２１０は、一つのフレーム全体に該当するピクセルデータを同時に保存しないこともある。例えば、一つのフレームに該当するピクセルデータは、１１２０個のローに対応するピクセルデータであると仮定すれば、ラインメモリ２１０は最大１８個のローに対応するピクセルデータを保存できる容量を有し得るが、本発明の範囲はこれに限定されない。ラインメモリ２１０は、一つのフレーム全体に該当するピクセルデータを同時に保存せず、イメージ信号プロセッサ２００の処理に必要な適切な容量を有し得る。

【0054】

ラインメモリ２１０は、ピクセルデータを順次保存し、新しいピクセルデータを保存する空間が不足な場合、最も最初に保存されたピクセルデータから順次削除し、新しいピクセルデータを保存することができる。ラインメモリ２１０に保存されたピクセルデータは、ローデータ（ｒａｗ ｄａｔａ）またはベイヤパターンイメージと呼ばれる。ベイヤパターンイメージは、ベイヤパターンに応じて配列されたピクセルを含むＡＰＳブロック１１０から生成されたピクセルデータを意味することができる。補間部２４０がラインメモリ２１０に保存されたピクセルデータを用いて生成する補間処理が行われたイメージは、ＲＧＢイメージと呼ばれる。言い換えれば、ベイヤパターンイメージの各ピクセルに対するデータは、一つの色相情報を含み、ＲＧＢイメージの各ピクセルに対するデータは、ＲＧＢの色相情報を含むことができる。

【0055】

ＥＩＳ計算機２２０は、ピクセル座標とジャイロ情報（ＧＩ）に基づいてＥＩＳ補正のための補正ピクセル座標を順次計算することができる。ここで、ＥＩＳ補正は、平行移動（ｔｒａｎｓｌａｔｉｏｎ）補正、せん断（ｓｈｅａｒ）補正及び回転（ｒｏｔａｔｉｏｎ）補正のうち少なくとも一つを含んでよい。

【0056】

ＥＩＳ計算機２２０は、平行移動補正のための平行移動計算機２２２、せん断補正のためのせん断計算機２２４、及び回転補正のための回転計算機２２６を含んでよい。

【0057】

平行移動計算機２２２は、ジャイロ情報（ＧＩ）の平行移動情報（Ｘ軸移動情報及びＹ軸移動情報）とピクセル座標を演算し、第１補正ピクセル座標を算出することができる。平行移動計算機２２２は、第１補正ピクセル座標を用いて水平同期信号（ＨＳＹＮＣ）と垂直同期信号（ＶＳＹＮＣ）を生成し、水平同期信号（ＨＳＹＮＣ）と垂直同期信号（ＶＳＹＮＣ）を制御レジスタブロック１７０に伝送することができる。他の実施形態によって、平行移動計算機２２２は、水平同期信号（ＨＳＹＮＣ）と垂直同期信号（ＶＳＹＮＣ）の生成の基礎となる情報（例えば、水平同期信号（ＨＳＹＮＣ）と垂直同期信号（ＶＳＹＮＣ）それぞれの波形を決定する基準となるピクセル座標）を生成して制御レジスタブロック１７０に伝送し、これによってタイミング生成器１６０または制御レジスタブロック１７０が水平同期信号（ＨＳＹＮＣ）と垂直同期信号（ＶＳＹＮＣ）を生成することもできる。

【0058】

水平同期信号（ＨＳＹＮＣ）と垂直同期信号（ＶＳＹＮＣ）は、出力バッファ１５０がイメージ信号プロセッサ２００に伝送するピクセルデータに対応するピクセルの範囲を決定する信号であってよい。例えば、水平同期信号（ＨＳＹＮＣ）と垂直同期信号（ＶＳＹＮＣ）それぞれが第１レベル（例えば、ハイレベル）と第２レベル（例えば、ローレベル）を有すると仮定するとき、一つのローで水平同期信号（ＨＳＹＮＣ）が第１レベルの区間に対応するピクセルのみがカラムラインにピクセル信号を出力することができ、複数のローのうち垂直同期信号（ＶＳＹＮＣ）が第１レベルの区間に対応するローに該当するピクセルのピクセルデータのみが、イメージ信号プロセッサ２００に伝送され得る。

【0059】

せん断計算機２２４は、ジャイロ情報（ＧＩ）のセグメント移動情報と第１補正ピクセル座標を演算して第２補正ピクセル座標を算出することができる。

【0060】

回転計算機２２６は、ジャイロ情報（ＧＩ）の回転情報と第２補正ピクセル座標を演算して第３補正ピクセル座標を算出することができる。

【0061】

ＥＩＳ計算機２２０は、第３補正ピクセル座標と、第３補正ピクセル座標に対応する補正前のピクセル座標とを補間部２４０に伝達することができる。ＥＩＳ計算機２２０のより詳細な動作は、図４のフローチャートを参照して後述する。

【0062】

ベイヤオーダー計算機２３０は、ジャイロ情報（ＧＩ）の平行移動情報（Ｘ軸移動情報及びＹ軸移動情報）に基づいて、平行移動計算機２２２の動作によってベイヤパターンイメージのベイヤオーダーの変更が発生するか否かを示すベイヤオーダー状態情報を生成することができる。

【0063】

ラインメモリ２１０に保存されたピクセルデータは、対応されるカラーフィルタによってＲ、Ｇ、Ｂのうちいずれか一つに対する色相情報を有することとなり、このようなピクセルデータは、Ｒ、Ｇ、Ｂの組み合わせで定められた順にラインメモリ２１０に出力され、このように定められた順序をベイヤオーダーと呼ぶ。

【0064】

ベイヤオーダーは、ベイヤパターンイメージの各ピクセルデータがどの色相の情報を示すのかを決定する情報なので、補間部２４０が行う補間動作（すなわち、Ｂａｙｅｒ－ｔｏ－ＲＧＢ Ｄｅｍｏｓａｉｃ過程）において最も重要な情報となる。

【0065】

しかし、前記で説明した平行移動計算機２２２の動作によってこのようなベイヤオーダーの変更が発生することがあり、変更されたベイヤオーダーに対する情報がベイヤオーダー状態情報に該当する。ベイヤオーダー計算機２３０のより詳細な動作は、図６を参照して後述する。

【0066】

補間部２４０は、第３補正ピクセル座標とベイヤオーダー状態情報を用いて各ピクセル座標に対応するＲＧＢイメージを生成（すなわち、ベイヤパターンイメージに対する補間を行う）することができる。このために、補間部２４０は、第１補間部２４２及び第２補間部２４４を含むことができる。

【0067】

第１補間部２４２は、ベイヤオーダー状態情報を用いて第３補正ピクセル座標の整数座標に対応する色相（Ｒ、Ｇ、Ｂのうちいずれか一つ）を決定し、各整数座標に対応するＲＧＢデータを生成することができる。このとき、第１補間部２４２は、第３補正ピクセル座標の整数座標と補正前のピクセル座標との間のマッピング情報に基づいて、第３補正ピクセル座標の整数座標に該当するピクセルデータをラインメモリ２１０からリード（ｒｅａｄ）し、ベイヤオーダー状態情報を用いて第３補正ピクセル座標の整数座標に対応する色相（Ｒ、Ｇ、Ｂのうちいずれか一つ）を決定し、ある一つの座標を中心とする３×３マスク（ｍａｓｋ）を用いた補間を介して当該座標に対するＲＧＢデータを生成することができる。すなわち、４つの行と４つの列からなる４×４マスク内で互いに異なる４つの３×３マスクを用いて４回補間を行うと、中央の単位ベイヤパターンに対するＲＧＢデータが獲得され得る。

【0068】

第２補間部２４４は、第３補正ピクセル座標の整数座標に対応するＲＧＢデータと、第３補正ピクセル座標の小数座標を用いて最終ウィンドウ（ｆｉｎａｌ ｗｉｎｄｏｗ）の各ピクセル座標に対応するＲＧＢデータを生成することができる。ここで、最終ウィンドウは、イメージ信号プロセッサ２００が出力する一つのフレームに該当するピクセルの集合を意味することができる。このとき、第２補間部２４４は、獲得されたベイヤパターンに対するＲＧＢデータの２×２マスクを用いて第３補正ピクセル座標の小数座標による加重値（ｗｅｉｇｈｔ）を適用することで、第３補正ピクセル座標の整数座標それぞれに対応するＲＧＢデータを生成することができる。第２補間部２４４は、最終ウィンドウに含まれる第３補正ピクセル座標の整数座標それぞれに対応するＲＧＢデータを出力インターフェース１９０に出力することができる。

【0069】

図３は、本発明の一実施形態によるイメージ信号処理方法を示したフローチャートである。

【0070】

図３を参照すれば、ＣＭＯＳイメージセンサ１００のイメージ生成ブロック１０５は、タイミング生成器１６０の制御によってベイヤパターンで配列されたピクセルそれぞれのピクセルデータ（すなわち、ベイヤパターンイメージ）を生成することができる（Ｓ１０）。

【0071】

イメージ信号プロセッサ２００は、ジャイロセンサ３００のジャイロ情報（ＧＩ）を用いてＥＩＳを行うが、ベイヤオーダーが変更されるか否かに対するベイヤオーダー状態情報をベイヤパターンイメージの補間に用いることで、ＥＩＳ補正前のベイヤオーダーを維持しながら、ＲＧＢデータを生成することができる（Ｓ２０）。

【0072】

イメージ信号プロセッサ２００は、最終ウィンドウに対するＲＧＢデータを出力することができる（Ｓ３０）。

【0073】

図４は、図３に示されたイメージ信号処理方法のＳ２０ステップをより詳しく示したフローチャートである。図５は、図４に示されたＳ１１０ステップ及びＳ１４０ステップを説明するための図である。図６は、図４に示されたＳ１３０ステップを説明するための図である。図７は、図４に示されたＳ１６０ステップを説明するための図である。図８は、図４に示されたＳ１７０ステップを説明するための図である。図９は、図４に示されたＳ１９０ステップ及びＳ２００ステップを説明するための図である。

【0074】

図４を参照すれば、ホスト４００の要請またはインターラプトによってＣＭＯＳイメージセンサ１００のイメージキャプチャが開始されると、イメージ生成ブロック１０５はピクセルデータを生成してジャイロセンサ３００はジャイロ情報（ＧＩ）を生成することができる（Ｓ１００）。

【0075】

平行移動計算機２２２は、ジャイロ情報（ＧＩ）の平行移動情報とピクセル座標を演算して第１補正ピクセル座標を算出することができる。前記平行移動情報は、Ｘ軸移動情報（ｍｖ＿ｘ）及びＹ軸移動情報（ｍｖ＿ｙ）を含んでよい。Ｘ軸移動情報（ｍｖ＿ｘ）及びＹ軸移動情報（ｍｖ＿ｙ）それぞれは、ジャイロセンサ３００がＸ軸及びＹ軸方向にピクセル単位でどれほど振れ（または動き）が発生したのかを示す情報であってよい。ここで、Ｘ軸移動情報（ｍｖ＿ｘ）及びＹ軸移動情報（ｍｖ＿ｙ）それぞれは、整数だけでなく、小数値を有してよい。例えば、Ｘ軸移動情報（ｍｖ＿ｘ）及びＹ軸移動情報（ｍｖ＿ｙ）それぞれが＋２．５及び－３．５の場合、ジャイロセンサ３００がＸ軸方向に＋２．５ピクセルに該当する距離ほど振れ（または動き）が発生しており、Ｙ軸方向に＋２．５ピクセルに該当する距離ほど振れ（または動き）が発生したことを示すことができる。

【0076】

図５を参照すれば、平行移動計算機２２２は、各ピクセル座標（Ｘ，Ｙ）を平行移動（ｔｒａｎｓｌａｔｉｏｎ）補正式によって補正することにより、第１補正ピクセル座標（Ｘ′，Ｙ′）を算出することができる。平行移動補正式は次の数式１の通りである。

【数1】

【0077】

すなわち、平行移動計算機２２２は、ピクセル座標のＸ軸座標にＸ軸移動情報（ｍｖ＿ｘ）を加算して第１補正ピクセル座標のＸ軸座標（Ｘ′）を求め、ピクセル座標のＹ軸座標にＹ軸移動情報（ｍｖ＿ｙ）を減算して第１補正ピクセル座標のＹ軸座標（Ｙ′）を求めることができる。ここで、Ｘ軸移動情報（ｍｖ＿ｘ）及びＹ軸移動情報（ｍｖ＿ｙ）の演算時に符号が逆である理由は、ジャイロセンサ３００の座標系とピクセル座標の座標系の符号が互いに一致しないためである。すなわち、ジャイロセンサ３００の座標系では、下方に行くほど座標値が減少するのに反して、ピクセル座標の座標系では、下方に行くほど座標値が増加することができる。

【0078】

再び図４を参照すれば、平行移動計算機２２２は、第１補正ピクセル座標（Ｘ′，Ｙ′）の整数座標（ｉｎｔ（Ｘ′），ｉｎｔ（Ｙ′））と小数座標（Ｘ＿ｄｐ′，Ｙ＿ｄｐ′）を分離することができる。すなわち、平行移動計算機２２２は、第１補正ピクセル座標（Ｘ′，Ｙ′）の整数座標（ｉｎｔ（Ｘ′），ｉｎｔ（Ｙ′））を抽出し、第１補正ピクセル座標（Ｘ′，Ｙ′）から第１補正ピクセル座標（Ｘ′，Ｙ′）の整数座標（ｉｎｔ（Ｘ′），ｉｎｔ（Ｙ′））を減算することにより、第１補正ピクセル座標（Ｘ′，Ｙ′）の小数座標（Ｘ＿ｄｐ′，Ｙ＿ｄｐ′）を計算することができる（Ｓ１２０）。例えば、第１補正ピクセル座標（Ｘ′，Ｙ′）が（２００．４，３６０．７）である場合、第１補正ピクセル座標（Ｘ′，Ｙ′）の整数座標は（２００，３６０）であり、第１補正ピクセル座標（Ｘ′，Ｙ′）の小数座標は（０．４，０．７）である。

【0079】

それ以後のＳ１４０、Ｓ１５０、Ｓ１６０ステップでは、第１補正ピクセル座標（Ｘ′，Ｙ′）の整数座標が用いられ、第１補正ピクセル座標（Ｘ′，Ｙ′）の小数座標はＳ１７０ステップで適用されるものである。

【0080】

一方、ベイヤオーダー計算機２３０は、Ｘ軸移動情報及びＹ軸移動情報に基づいて、平行移動計算機２２２の動作によってベイヤオーダーの変更が発生するか否かを示すベイヤオーダー状態情報を生成することができる（Ｓ１３０）。

【0081】

図６を参照すれば、平行移動計算機２２２の動作によってベイヤオーダーの変更が発生する類型が示されている。ベイヤパターンは、ＧＢが先に配列される類型（以下「ＧＢ＿ｆｉｒｓｔ類型」とする）、ＢＧが先に配列される類型（以下「ＢＧ＿ｆｉｒｓｔ類型」とする）、ＲＧが先に配列される類型（以下「ＲＧ＿ｆｉｒｓｔ類型」とする）、ＧＲが先に配列される類型（以下「ＧＲ＿ｆｉｒｓｔ類型」とする）に区分され得る。振れが発生するイメージ（ｓｈａｋｅｄ ｉｍａｇｅ）と振れを反映したイメージ（ｓｔａｂｉｌｉｚｅｄ ｉｍａｇｅ）を比較してみると、ＧＢ＿ｆｉｒｓｔ類型の振れが発生するイメージ（ｓｈａｋｅｄ ｉｍａｇｅ）は、振れの反映時に（ａ）から（ｄ）でそれぞれＧＢ＿ｆｉｒｓｔ類型、ＢＧ＿ｆｉｒｓｔ類型、ＲＧ＿ｆｉｒｓｔ類型、ＧＲ＿ｆｉｒｓｔ類型に変更され得る。

【0082】

ここで、ＲＧＢで構成されたベイヤパターンは、Ｘ軸方向とＹ軸方向に２ピクセル毎に繰り返されるので、平行移動される距離が偶数である場合にはベイヤオーダーの変更が発生しないが、平行移動される距離が奇数である場合にはベイヤオーダーの変更が発生するようになる。

【0083】

すなわち、ベイヤオーダー計算機２３０は、Ｘ軸方向とＹ軸方向の振れを示すＸ軸移動情報（ｍｖ＿ｘ）とＹ軸移動情報（ｍｖ＿ｙ）それぞれの整数部を用いてベイヤオーダー状態情報を生成することができる。

【0084】

例えば、Ｘ軸移動情報（ｍｖ＿ｘ）とＹ軸移動情報（ｍｖ＿ｙ）の整数部がそれぞれ偶数の場合、ＧＢ＿ｆｉｒｓｔ類型でベイヤオーダーの変更が発生しない（（ａ）ケース）。Ｘ軸移動情報（ｍｖ＿ｘ）とＹ軸移動情報（ｍｖ＿ｙ）の整数部がそれぞれ奇数と偶数の場合、ＧＢ＿ｆｉｒｓｔ類型からＢＧ＿ｆｉｒｓｔ類型にベイヤオーダーの変更が発生する（（ｂ）ケース）。Ｘ軸移動情報（ｍｖ＿ｘ）とＹ軸移動情報（ｍｖ＿ｙ）の整数部がそれぞれ偶数と奇数の場合、ＧＢ＿ｆｉｒｓｔ類型からＲＧ＿ｆｉｒｓｔ類型にベイヤオーダーの変更が発生する（（ｃ）ケース）。Ｘ軸移動情報（ｍｖ＿ｘ）とＹ軸移動情報（ｍｖ＿ｙ）の整数部がそれぞれ奇数の場合、ＧＢ＿ｆｉｒｓｔ類型からＧＲ＿ｆｉｒｓｔ類型にベイヤオーダーの変更が発生する（（ｄ）ケース）。

【0085】

例えば、ベイヤオーダー状態情報は、２つのビットで構成されてよく、（ａ）から（ｄ）ケースそれぞれに対応する値（例：００，０１，１０，１１）を有してよい。

【0086】

このように、平行移動計算機２２２の動作によってベイヤパターンの変更が発生することができるが、ラインメモリ２１０に保存されたベイヤパターンイメージは、ＲＧＢイメージとは異なり、一つのピクセル当たりのＲＧＢのうちいずれか一つの色相情報のみを有するため、ベイヤオーダーの変更を補間動作で反映しないと、正常なＲＧＢイメージが生成され得ない。したがって、ベイヤオーダー計算機２３０が生成したベイヤオーダー状態情報は、それ以後のＳ１９０ステップで補間動作に反映され得る。

【0087】

再び図４を参照すれば、平行移動計算機２２２は、平行移動補正を適用するため、第１補正ピクセル座標の整数座標を用いて水平同期信号（ＨＳＹＮＣ）と垂直同期信号（ＶＳＹＮＣ）を生成し、水平同期信号（ＨＳＹＮＣ）と垂直同期信号（ＶＳＹＮＣ）を制御レジスタブロック１７０に伝送することができる（Ｓ１４０）。

【0088】

図５を参照すれば、もし水平同期信号（ＨＳＹＮＣ）と垂直同期信号（ＶＳＹＮＣ）が全区間で第１レベルを有すると仮定すれば（ＥＩＳ＿ＩＮ＿ＨＳＹＮＣ，ＥＩＳ＿ＩＮ＿ＶＳＹＮＣ）、イメージ生成ブロック１０５は、ＡＰＳブロック１１０の全ピクセルに対するピクセルデータを生成し、ラインメモリ２１０に伝送することができる。この場合、全ピクセルは、全ウィンドウ（ＴＴＷ）を構成することができる。

【0089】

もし、振れが発生しなかった場合に、ラインメモリ２１０に伝送されるピクセルデータに該当するピクセルの集合は、最終ウィンドウ（ＦＮＷ）だと仮定する。全ウィンドウ（ＴＴＷ）と最終ウィンドウ（ＦＮＷ）は、Ｘ軸方向に左右に第１オフセット（ｏｆｆ＿ｘ）ほど、Ｙ軸方向に上下に第２オフセット（ｏｆｆ＿ｙ）ほど差を有してよい。例えば、第１オフセット（ｏｆｆ＿ｘ）と第２オフセット（ｏｆｆ＿ｙ）は、それぞれ１５２ピクセル及び８８ピクセルであってよいが、本発明の範囲はこれに限定されない。また、最終ウィンドウ（ＦＮＷ）は、最終的にイメージ信号プロセッサ２００が出力するようになるピクセルの集合を意味したりもする。

【0090】

もし、振れが発生してピクセル座標（Ｘ，Ｙ）から第１補正ピクセル座標（Ｘ′，Ｙ′）が計算された場合、第１補正ピクセル座標（Ｘ′，Ｙ′）の整数座標が最終ウィンドウ（ＦＮＷ）に含まれるピクセル座標（Ｘ，Ｙ）に対応するピクセルデータがラインメモリ２１０に保存され得るように、水平同期信号（ＥＩＳ＿Ｔｒａｎｓｌａｔｉｏｎ＿ＨＳＹＮＣ）と垂直同期信号（ＥＩＳ＿Ｔｒａｎｓｌａｔｉｏｎ＿ＶＳＹＮＣ）が生成され得る。水平同期信号（ＥＩＳ＿Ｔｒａｎｓｌａｔｉｏｎ＿ＨＳＹＮＣ）と垂直同期信号（ＥＩＳ＿Ｔｒａｎｓｌａｔｉｏｎ＿ＶＳＹＮＣ）によって定められる平行移動ウィンドウ（ＴＲＷ）に対応するピクセルデータがラインメモリ２１０に保存されることで、平行移動が適用され得る（Ｓ１４０、Ｓ１５０）。

【0091】

また、Ｓ１６０からＳ１７０ステップでのせん断補正と回転補正のために、平行移動ウィンドウ（ＴＲＷ）は最終ウィンドウ（ＦＮＷ）に比べてＸ軸方向に第１長さほどさらに大きい長さを有し、Ｙ軸方向に第２長さほどさらに大きい長さを有してよい。例えば、第１長さは、せん断補正のためのマージン（１６＊２＝３２ピクセル）及び回転補正のためのマージン（１０ピクセル）を含んでよい。また、第２長さは、回転補正のためのマージン（１８ピクセル）を含んでよい。ここで、第１長さと第２長さは、ジャイロセンサ３００が生成するジャイロ情報（ＧＩ）の範囲によって決定されてよい。

【0092】

実施形態によって、前記第１長さ及び前記第２長さは、補間のためのマージン（例えば、２ピクセル）をさらに含んでよい。

【0093】

再び図４を参照すれば、せん断計算機２２４は、ジャイロ情報（ＧＩ）のセグメント移動情報と第１補正ピクセル座標の整数座標（ｉｎｔ（Ｘ′），ｉｎｔ（Ｙ′））を演算して第２補正ピクセル座標を算出することができる（Ｓ１６０）。

【0094】

図７を参照すれば、ジャイロ情報（ＧＩ）のセグメント移動情報は、Ｘ軸方向の急激な動きによって傾いた程度を示し、Ｙ軸方向に沿って配置される複数のセグメント（ｓｅｇｍｅｎｔｓ）それぞれの移動距離に対する情報を含むことができる。例えば、平行移動ウィンドウ（ＴＲＷ）が複数のセグメント（ＳＥＧ１～ＳＥＧｎ；ｎは２以上の整数）で区分されてよく、各セグメントの境界に対応される移動距離（Ｘ０～Ｘｎ）がセグメント移動情報に含まれてよい。例えば、ｎは８であってよい。

【0095】

せん断計算機２２４は、各セグメントの境界に対応される移動距離（Ｘ０～Ｘｎ）を用いて各セグメント別の傾き（ｓｈｅ＿ｉｎ）を計算することができる。例えば、第１セグメント（ＳＥＧ１）の傾き（ｓｈｅ＿ｉｎ）は、第１セグメント（ＳＥＧ１）の上下境界間の移動距離の差（Ｘ１－Ｘ０）を第１セグメント（ＳＥＧ１）のＹ軸方向のライン数（例えば、１４０ライン）で割った値であってよい。また、第２セグメント（ＳＥＧ２）の傾き（ｓｈｅ＿ｉｎ）は、第２セグメント（ＳＥＧ２）の上下境界間の移動距離の差（Ｘ２－Ｘ１）を第２セグメント（ＳＥＧ２）のＹ軸方向のライン数（例えば、１４０ライン）で割った値であってよい。

【0096】

せん断計算機２２４は、各セグメント別の傾き（ｓｈｅ＿ｉｎ）と、第１補正ピクセル座標の整数座標（ｉｎｔ（Ｘ′），ｉｎｔ（Ｙ′））の相対位置値（ｓｈｅ＿ｃｎｔ（ｙ））を掛けた値を、第１補正ピクセル座標の整数座標（ｉｎｔ（Ｘ′））と演算し、第１補正ピクセル座標の整数座標（ｉｎｔ（Ｘ′），ｉｎｔ（Ｙ′））の傾きを補正することができる（図７の（ａ）－＞（ｂ））。ここで、第１補正ピクセル座標の整数座標（ｉｎｔ（Ｘ′），ｉｎｔ（Ｙ′））の相対位置値（ｓｈｅ＿ｃｎｔ（Ｙ））は、第１補正ピクセル座標の整数座標（ｉｎｔ（Ｘ′），ｉｎｔ（Ｙ′））が当該セグメント内でのＹ軸方向の相対位置を示すものであって、当該セグメントが１４０ラインで構成されると仮定すれば、セグメントの一番目（一番上）ラインに属する第１補正ピクセル座標の整数座標（ｉｎｔ（Ｘ′），ｉｎｔ（Ｙ′））の相対位置値（ｓｈｅ＿ｃｎｔ（Ｙ））は０であり、下方に行くほど１ずつ順次増加して最終（一番下）ラインに属する第１補正ピクセル座標の整数座標（ｉｎｔ（Ｘ′），ｉｎｔ（Ｙ′））の相対位置値（ｓｈｅ＿ｃｎｔ（Ｙ））は１３９である。

【0097】

そして、せん断計算機２２４は、第１補正ピクセル座標の整数座標（ｉｎｔ（Ｘ′），ｉｎｔ（Ｙ′））の傾きが補正された結果に、各セグメント別のセグメントオフセット（ｓｈｅ＿ｏｆｓ）を演算して複数のセグメント（ＳＥＧ１～ＳＥＧｎ）のうちいずれか一つ（例えば、第１セグメント（ＳＥＧ１））を基準に整列させることができる（図７の（ｂ）－＞（ｃ））。第１補正ピクセル座標の整数座標（ｉｎｔ（Ｘ′），ｉｎｔ（Ｙ′））の傾きに対する補正時、各セグメントの上部境界の移動距離を基準に補正するため、セグメントオフセット（ｓｈｅ＿ｏｆｓ）は、第１セグメント（ＳＥＧ１）の上部境界の移動距離（Ｘ０）を基準に整列させるための値である。例えば、第２セグメント（ＳＥＧ２）に対するセグメントオフセット（ｓｈｅ＿ｏｆｓ）はＸ１－Ｘ０であり、第３セグメント（ＳＥＧ３）に対するセグメントオフセット（ｓｈｅ＿ｏｆｓ）はＸ２－Ｘ０であってよい。

【0098】

図７の（ａ）から（ｃ）のせん断補正過程を数式で示すと、次の数式２のせん断（ｓｈｅａｒ）補正式の通りである。

【数2】

【0099】

ここで、傾き（ｓｈｅ＿ｉｎ）とセグメントオフセット（ｓｈｅ＿ｏｆｓ）は、セグメント別に決定された値であってよく、第１補正ピクセル座標の整数座標（ｉｎｔ（Ｘ′），ｉｎｔ（Ｙ′））の相対位置値（ｓｈｅ＿ｃｎｔ（Ｙ））は、当該ピクセルが属したライン毎に変化する値であってよい。 また、せん断補正過程は、Ｘ軸方向に沿って傾きを補正するものなので、第１補正ピクセル座標の整数座標（ｉｎｔ（Ｘ′），ｉｎｔ（Ｙ′））のうちＹの数座標は変化しない。第１補正ピクセル座標の整数座標（ｉｎｔ（Ｘ′），ｉｎｔ（Ｙ′））に対してせん断補正過程が完了すると、第２補正ピクセル座標（ＳＸ，ＳＹ）が生成され得る。

【0100】

図７では、陽の傾きで傾いたイメージに対するせん断補正を例えて説明したが、陰の傾きで傾いたイメージに対するせん断補正もやはり、同じ方法が適用され得る。

【0101】

再び図４を参照すれば、回転計算機２２６は、ジャイロ情報（ＧＩ）の回転情報と第２補正ピクセル座標（ＳＸ，ＳＹ）を演算して、第３補正ピクセル座標（ＲＸ，ＲＹ）を算出することができる（Ｓ１７０）。ジャイロ情報（ＧＩ）の回転情報は、Ｘ軸とＹ軸に垂直のＺ軸を中心にした動きによって傾いた回転角度を示すことができる。

【0102】

図８を参照すれば、せん断補正が完了して生成された第２補正ピクセル座標（ＳＸ，ＳＹ）からなるウィンドウは、せん断ウィンドウ（ＳＨＷ）と定義することができ、せん断ウィンドウ（ＳＨＷ）の第２補正ピクセル座標（ＳＸ，ＳＹ）に対して回転補正が行われ、最終ウィンドウ（ＦＮＷ）が生成され得る。

【0103】

ジャイロ情報（ＧＩ）に含まれた回転情報による回転角度がθだとするとき、回転（ｒｏｔａｔｉｏｎ）補正式は、次の数式３の通りである。

【数3】

【0104】

ここで、回転計算機２２６は、第２補正ピクセル座標（ＳＸ，ＳＹ）に対して第１補正ピクセル座標（Ｘ′，Ｙ′）の小数座標（Ｘ＿ｄｐ′，Ｙ＿ｄｐ′）を演算（加算または減算）して反映させることができる。これは、ジャイロ情報（ＧＩ）のＸ軸移動情報（ｍｖ＿ｘ）及びＹ軸移動情報（ｍｖ＿ｙ）の小数値を第２補正ピクセル座標（ＳＸ，ＳＹ）に反映することで、より正確な補正を行うためである。

【0105】

また、回転補正式の計算を単純化するため、せん断ウィンドウ（ＳＨＷ）の左側上端の角に該当する座標を回転補正の原点（Ｒ（０，０））と仮定し、各第２補正ピクセル座標（ＳＸ，ＳＹ）を変換することができ、回転補正式による計算が完了した後、復元され得る。

【0106】

図９では、陽の角度で回転されたイメージに対する回転補正を例えて説明したが、陰の角度で回転されたイメージに対する回転補正もやはり、同じ方法が適用され得る。

【0107】

再び図４を参照すれば、回転計算機２２６は、算出された第３補正ピクセル座標（ＲＸ，ＲＹ）を、第３補正ピクセル座標（ＲＸ，ＲＹ）と補正前のピクセル座標（Ｘ，Ｙ）との間のマッピング情報とともに補間部２４０に伝達することで、せん断及び回転に対する補正を適用することができる（Ｓ１８０）。ここで、第３補正ピクセル座標（ＲＸ，ＲＹ）と補正前のピクセル座標（Ｘ，Ｙ）との間のマッピング情報は、第３補正ピクセル座標（ＲＸ，ＲＹ）が平行移動、せん断及び回転の補正以前にどのピクセル座標（Ｘ，Ｙ）に該当するのかに対する情報であり得る。

【0108】

補間部２４０の第１補間部２４２は、ベイヤオーダー状態情報を用いて第３補正ピクセル座標（ＲＸ，ＲＹ）の整数座標に対応する色相（Ｒ、Ｇ、Ｂ のうちいずれか一つ）を決定し、各整数座標（すなわち、整数ピクセル）に対応するＲＧＢデータを生成することができる（Ｓ１９０）。

【0109】

図９を参照すれば、陰影で表示されたベイヤパターンの第３補正ピクセル座標（ＲＸ，ＲＹ）の整数座標が最終ウィンドウ（ＦＮＷ）の左側上端の角に位置するベイヤパターンだと仮定する。

【0110】

第１補間部２４２は、第３補正ピクセル座標（ＲＸ，ＲＹ）の整数座標と補正前のピクセル座標（Ｘ，Ｙ）との間のマッピング情報に基づいて、第３補正ピクセル座標（ＲＸ，ＲＹ）の整数座標に該当するピクセルデータをラインメモリ２１０からリードすることができる。

【0111】

また、第１補間部２４２は、ベイヤオーダー状態情報を用いて第３補正ピクセル座標の整数座標に対応する色相（Ｒ、Ｇ、Ｂのうちいずれか一つ）を決定することができる。図８は、ベイヤオーダー状態情報がＧＢ＿ｆｉｒｓｔ類型からＧＲ＿ｆｉｒｓｔ類型にベイヤパターンの変更が発生したことを示す場合を示し、陰影で表示されたベイヤパターンを中心とした４×４マスク内の各ピクセルの色相が決定され得る。

【0112】

第１補間部２４２は、強調表示されたＧピクセルを中心とする色相が決定された各ピクセルで構成された３×３マスクを用いた補間を介して、当該ピクセルに対するＲＧＢデータを生成することができる。すなわち、４×４マスク内で互いに異なるピクセルを中心とした４つの互いに異なる３×３マスクを用いて４回補間を行うと、中央の単位ベイヤパターンに対するＲＧＢデータが獲得され得る。

【0113】

再び図４を参照すれば、第２補間部２４４は、第３補正ピクセル座標（ＲＸ，ＲＹ）の整数座標に対応するＲＧＢデータと、第３補正ピクセル座標（ＲＸ，ＲＹ）の小数座標を用いて最終ウィンドウ（ｆｉｎａｌ ｗｉｎｄｏｗ）の各ピクセル座標（すなわち、最終ピクセル）に対応するＲＧＢデータを生成することができる（Ｓ２００）。

【0114】

図９を参照すれば、第２補間部２４４は、獲得されたベイヤパターンに対するＲＧＢデータの２×２マスクを用いて第３補正ピクセル座標（ＲＸ，ＲＹ）の小数座標による加重値を適用することで、第３補正ピクセル座標（ＲＸ，ＲＹ）の整数座標それぞれに対応する最終ＲＧＢデータを生成することができる。

【0115】

例えば、第１補間部２４２が算出したＰ１からＰ４ピクセルそれぞれに対するＲＧＢデータが、Ｒ１／Ｇ１／Ｂ１、Ｒ２／Ｇ２／Ｂ２、Ｒ３／Ｇ３／Ｂ３、Ｒ４／Ｇ４／Ｂ４だとし、Ｐ１ピクセルの小数座標が（０．３，０．５）だと仮定すれば、第２補間部２４４は２×２マスク内のＲ１～Ｒ４に対して（０．３，０．５）に相応する加重値を付与してＰ１ピクセルに対する最終Ｒデータを計算することができる。同じ方式で、第２補間部２４４は、２×２マスク内の（Ｇ１～Ｇ４）／（Ｂ１～Ｂ４）に対して、（０．３，０．５）に相応する加重値を付与してＰ１ピクセルに対する最終Ｇ／Ｂデータを計算することができる。

【0116】

第２補間部２４４は、最終ウィンドウ（ＦＮＷ）に含まれる第３補正ピクセル座標の整数座標それぞれに対応する最終ＲＧＢデータを出力インターフェース１９０に出力することができる。

【0117】

前記で検討してみたように、ベイヤオーダー状態情報の計算、ピクセル座標から各補正座標の計算、及びこれらに基づいた補間がリアルタイムに処理されることによって、全フレームに該当するイメージが全部保存される必要なく、ラインメモリ２１０のみを用いたＥＩＳ補正及び補間処理が可能となり得る。

【0118】

本発明の一実施形態によるイメージ信号処理方法によれば、ＲＧＢイメージではなく、ベイヤパターンイメージに対してジャイロ情報に基づいたＥＩＳ補正を行い、ＥＩＳ補正過程で変更されたベイヤオーダーを用いて補正されたベイヤパターンイメージに対してＲＧＢイメージを生成することで、システム資源の消耗が最小化されたＥＩＳ補正機能を具現することができる。

【0119】

特に、ＥＩＳ補正に不要なピクセルデータを保存せず、フレームメモリではなくラインメモリのみを用いてＥＩＳを行うことで、ＥＩＳ補正に要求されるシステム資源を大幅に節約することができる。

【0120】

また、イメージセンサチップ内でジャイロ情報を用いて平行移動補正、せん断補正及び回転補正のＥＩＳ補正を統合的に行うことができる。

【0121】

本文書の多様な実施形態及びそれに用いられた用語は、本文書に記載された技術的特徴等を特定の実施形態に限定しようとするものではなく、当該実施形態の多様な変更、均等物、または代替物を含むものと理解されなければならない。図面の説明と関連し、類似したまたは関連した構成要素に対しては、類似の参照符号が用いられ得る。アイテムに対応する名詞の単数型は、関連する文脈上、明白に異なると意味しない限り、前記アイテムの１個または複数個を含んでよい。本文書で、「ＡまたはＢ」、「Ａ及びＢのうち少なくとも一つ」、「ＡまたはＢのうち少なくとも一つ、」「Ａ、ＢまたはＣ、」「Ａ、Ｂ及びＣのうち少なくとも一つ、」及び「Ａ、Ｂ、またはＣのうち少なくとも一つ」のような語句それぞれは、その語句のうち該当する語句に共に並べられた項目等の全ての可能な組み合わせを含んでよい。「第１」、「第２」、または「一番目」または「二番目」のような用語は、単に当該構成要素を他の当該構成要素と区分するために用いられてよく、当該構成要素等を他の側面（例：重要性または順序）で限定しない。ある（例：第１）構成要素が他の（例：第２）構成要素に、「機能的に」または「通信的に」という用語とともに、またはこのような用語なく、「カップルド」または「コネクティッド」と言及された場合、それは前記ある構成要素が前記他の構成要素に直接的に（例：有線で）、無線で、または第３構成要素を介して連結され得るということを意味する。

【0122】

本文書で用いられた用語「モジュール」は、ハードウェア、ソフトウェア及び／又はファームウエアで具現されたユニットを含んでよく、例えば、ロジッグ、論理ブロック、部品、または回路などの用語と相互互換的に用いられてよい。モジュールは、一体として構成された部品又は一つ若しくはそれ以上の機能を行う、前記部品の最小単位又はその一部になってよい。例えば、一実施形態によれば、モジュールは、ＡＳＩＣ（ａｐｐｌｉｃａｔｉｏｎ－ｓｐｅｃｉｆｉｃ ｉｎｔｅｇｒａｔｅｄ ｃｉｒｃｕｉｔ）の形態で具現されてよい。

【0123】

本文書の多様な実施形態は、機器（ｍａｃｈｉｎｅ）（例：電子装置（＃０１））により読み取り可能な保存媒体（ｓｔｏｒａｇｅ ｍｅｄｉｕｍ）（例：内蔵メモリ（＃３６）又は外装メモリ（＃３８））に保存された一つ以上の命令語を含むソフトウェア（例：プログラム（＃４０））で具現されてよい。例えば、機器（例：電子装置（＃０１））のプロセッサ（例：プロセッサ（＃２０））は、保存媒体から保存された一つ以上の命令語のうち少なくとも一つの命令を呼び出し、それを行ってよい。これは機器が前記呼び出された少なくとも一つの命令語によって、少なくとも一つの機能を行うように運営されることを可能とする。前記一つ以上の命令語は、コンパイラによって生成されたコード、又はインタプリタによって実行され得るコードを含んでよい。機器で読み取り可能な保存媒体は、非一時的（ｎｏｎ－ｔｒａｎｓｉｔｏｒｙ）保存媒体の形態で提供されてよい。ここで、「非一時的」は、保存媒体が実在（ｔａｎｇｉｂｌｅ）する装置であり、信号（ｓｉｇｎａｌ）（例：電磁気波）を含まないということを意味するだけであり、この用語は、データが保存媒体に半永久的に保存される場合と臨時的に保存される場合を区分しない。

【0124】

一実施形態によれば、本文書に開示された多様な実施形態による方法は、コンピュータプログラム製品（ｃｏｍｐｕｔｅｒ ｐｒｏｇｒａｍ ｐｒｏｄｕｃｔ）に含まれて提供されてよい。コンピュータプログラム製品は、商品として販売者及び購買者の間で取り引きすることができる。コンピュータプログラム製品は、機器で読み取り可能な保存媒体（例：ｃｏｍｐａｃｔ ｄｉｓｃ ｒｅａｄ ｏｎｌｙ ｍｅｍｏｒｙ（ＣＤ－ＲＯＭ））の形態で配布されるか、又はアプリケーションストア（例：プレーストア^ＴＭ）を介して、又は二つの使用者装置等（例：スマートフォン等）の間に直接、オンラインで配布（例：ダウンロード又はアップロード）されてよい。オンライン配布の場合に、コンピュータプログラム製品の少なくとも一部は、メーカーのサーバ、アプリケーションストアのサーバ、又は中継サーバのメモリのような機器で読み取り可能な保存媒体に少なくとも一時保存されるか、臨時的に生成されてよい。

【0125】

多様な実施形態によれば、前記記述した構成要素のそれぞれの構成要素（例：モジュール又はプログラム）は、単数又は複数の個体を含んでよい。多様な実施形態によれば、前述した当該構成要素のうち一つ以上の構成要素又は動作が省略されるか、又は一つ以上の異なる構成要素又は動作が追加され得る。代替的に又は追加的に、複数の構成要素（例：モジュール又はプログラム）は、一つの構成要素に統合されてよい。このような場合、統合された構成要素は、前記複数の構成要素それぞれの構成要素の一つ以上の機能を前記統合以前に前記複数の構成要素のうち当該構成要素によって行われることと同一又は類似に行ってよい。多様な実施形態によれば、モジュール、プログラム又は他の構成要素によって行われる動作は、順次的、並列的、反復的、又はヒューリスティクスに実行されるか、前記動作のうち一つ以上が異なる順序で実行されるか、省略されるか、又は一つ以上の異なる動作が追加され得る。

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】