特開 2025-13097 イメージ信号プロセッサ

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2025013097

(43)【公開日】2025-01-24

(54)【発明の名称】イメージ信号プロセッサ

(51)【国際特許分類】

   H04N 25/11 20230101AFI20250117BHJP

   G06T 1/00 20060101ALI20250117BHJP

   H04N 23/60 20230101ALI20250117BHJP

   H04N 23/54 20230101ALI20250117BHJP

【ＦＩ】

H04N25/11

G06T1/00 510

H04N23/60 500

H04N23/54

【審査請求】未請求

【請求項の数】20

【出願形態】ＯＬ

(21)【出願番号】P 2023182180

(22)【出願日】2023-10-24

(31)【優先権主張番号】10-2023-0091672

(32)【優先日】2023-07-14

(33)【優先権主張国・地域又は機関】KR

(71)【出願人】

【識別番号】310024033

【氏名又は名称】エスケーハイニックス株式会社

【氏名又は名称原語表記】ＳＫ ｈｙｎｉｘ Ｉｎｃ．

【住所又は居所原語表記】２０９１， Ｇｙｅｏｎｇｃｈｕｎｇ－ｄａｅｒｏ，Ｂｕｂａｌ－ｅｕｂ，Ｉｃｈｅｏｎ－ｓｉ，Ｇｙｅｏｎｇｇｉ－ｄｏ，Ｋｏｒｅａ

(74)【代理人】

【識別番号】110000796

【氏名又は名称】弁理士法人三枝国際特許事務所

(72)【発明者】

【氏名】矢幡 和浩

【テーマコード（参考）】

5B057

5C122

【Ｆターム（参考）】

5B057AA20

5B057BA02

5B057CA01

5B057CA08

5B057CA12

5B057CA16

5B057CB01

5B057CB08

5B057CB12

5B057CB16

5B057CC01

5B057CD05

5B057DA16

5B057DB02

5B057DB06

5B057DB09

5C122EA12

5C122EA22

5C122FC06

5C122FH07

5C122FH11

5C122FH18

5C122HB01

(57)【要約】

【課題】ホワイトピクセルをノイズ低減やデモザイク処理に活用してイメージ品質を向上できるようにするイメージ信号プロセッサを提供する。
【解決手段】本発明の一実施形態に係るイメージ信号プロセッサは、カラーピクセル値４２，４３，４４およびホワイトピクセル値４１を含むイメージデータ４０に基づいて２個以上のイメージを生成する解像度変換部１００と、２個以上のイメージそれぞれに含まれる変換されたカラーピクセル値および変換されたホワイトピクセル値を用いてテクスチャ情報を抽出し、抽出されたテクスチャ情報に基づいて２個以上の処理イメージを生成する要素処理部２００と、２個以上の処理イメージを合成して合成色差イメージおよび合成ホワイトイメージを生成する合成部３００と、イメージデータ、合成色差イメージ、および合成ホワイトイメージに基づいて出力イメージを生成するイメージ取得部４００と、を含むことができる。
【選択図】図５

【特許請求の範囲】

【請求項1】

カラーピクセル値およびホワイトピクセル値を含むイメージデータに基づいて２個以上のイメージを生成する解像度変換部と、
前記２個以上のイメージそれぞれに含まれる変換されたカラーピクセル値および変換されたホワイトピクセル値を用いてテクスチャ情報を抽出し、抽出された前記テクスチャ情報に基づいて２個以上の処理イメージを生成する要素処理部と、
前記２個以上の処理イメージを合成して合成色差イメージおよび合成ホワイトイメージを生成する合成部と、
前記イメージデータ、前記合成色差イメージ、および前記合成ホワイトイメージに基づいて出力イメージを生成するイメージ取得部と、
を含む、イメージ信号プロセッサ。

【請求項2】

前記解像度変換部は、
前記イメージデータの解像度を変換し、前記イメージデータに比べて縮小された大きさを有する第１イメージを生成する第１解像度変換部と、
前記第１イメージの解像度を変換し、前記第１イメージに比べて縮小された大きさを有する第２イメージを生成する第２解像度変換部と、を含む、請求項１に記載のイメージ信号プロセッサ。

【請求項3】

前記第１解像度変換部は、
前記イメージデータのベイヤーイメージに対する解像度を変換し、前記ベイヤーイメージに比べて縮小された大きさを有する第１レッドイメージ、第１グリーンイメージ、および第１ブルーイメージをそれぞれ出力するベイヤー解像度変換部と、
前記イメージデータのホワイトイメージに対する解像度を変換し、前記ホワイトイメージに比べて縮小された大きさを有する第１ホワイトイメージを出力するホワイト解像度変換部と、を含む、請求項２に記載のイメージ信号プロセッサ。

【請求項4】

前記ベイヤー解像度変換部は、
前記第１レッドイメージ、前記第１グリーンイメージ、および前記第１ブルーイメージそれぞれの中心ピクセルが前記第１ホワイトイメージの中心ピクセルと重心が一致するように補間を行う、請求項３に記載のイメージ信号プロセッサ。

【請求項5】

前記第２解像度変換部は、
前記第１レッドイメージに対する解像度を変換し、前記第１レッドイメージに比べて縮小された大きさを有する第２レッドイメージを出力するレッド解像度変換部と、
前記第１グリーンイメージに対する解像度を変換し、前記第１グリーンイメージに比べて縮小された大きさを有する第２グリーンイメージを出力するグリーン解像度変換部と、
前記第１ブルーイメージに対する解像度を変換し、前記第１ブルーイメージに比べて縮小された大きさを有する第２ブルーイメージを出力するブルー解像度変換部と、
前記第１ホワイトイメージに対する解像度を変換し、前記第１ホワイトイメージに比べて縮小された大きさを有する第２ホワイトイメージを出力するホワイト解像度変換部と、を含む、請求項３に記載のイメージ信号プロセッサ。

【請求項6】

前記要素処理部は、
前記イメージデータを用いてテクスチャ情報を抽出し、前記抽出された前記テクスチャ情報に基づいて第１処理イメージを生成する第１要素処理部と、
前記第１イメージに含まれる第１変換されたカラーピクセル値および第１変換されたホワイトピクセル値を用いて、前記第１イメージに対応する第２処理イメージを生成する第２要素処理部と、
前記第２イメージに含まれる第２変換されたカラーピクセル値および第２変換されたホワイトピクセル値を用いて、前記第２イメージに対応する第３処理イメージを生成する第３要素処理部と、を含む、請求項２に記載のイメージ信号プロセッサ。

【請求項7】

前記第１要素処理部は、
前記イメージデータのベイヤーイメージおよびホワイトイメージに基づいてテクスチャを判断し、テクスチャ情報および前記テクスチャ情報を変換した合成用イメージを出力する第１テクスチャ判定部と、
前記テクスチャ情報に基づいて、前記ホワイトイメージのピクセル値におけるノイズ低減処理を行い、ノイズ低減された第３ホワイトイメージを生成する第１ノイズ低減部と、
前記テクスチャ情報に基づいて、前記ベイヤーイメージと前記ホワイトイメージの第１色差値を算出する第１色差算出部と、を含む、請求項６に記載のイメージ信号プロセッサ。

【請求項8】

前記テクスチャ情報は、
前記ベイヤーイメージおよび前記ホワイトイメージが平坦なイメージ領域またはグラデーションイメージ領域であるかに関する情報、エッジや細い線が存在するかに関する情報、および前記細い線の方向情報のうち少なくとも１つ以上を含む、請求項７に記載のイメージ信号プロセッサ。

【請求項9】

前記第１ノイズ低減部は、
前記テクスチャ情報に基づいて、テクスチャが一定レベル以上である一部の領域と、前記テクスチャが一定レベル未満である他の一部の領域で互いに異なるノイズ低減処理を行う、請求項７に記載のイメージ信号プロセッサ。

【請求項10】

前記第２要素処理部は、
前記第１変換されたカラーピクセル値および前記第１変換されたホワイトピクセル値に基づいてテクスチャを判断し、テクスチャ情報および前記テクスチャ情報を変換した合成用イメージを出力する第２テクスチャ判定部と、
前記テクスチャ情報に基づいて、前記第１変換されたホワイトピクセル値におけるノイズ低減処理を行い、ノイズ低減された第４ホワイトイメージを生成する第２ノイズ低減部と、
前記テクスチャ情報に基づいて、前記第１変換されたカラーピクセル値および前記第１変換されたホワイトピクセル値の第２色差値を算出する第２色差算出部と、を含む、請求項６に記載のイメージ信号プロセッサ。

【請求項11】

前記合成部は、
前記２個以上の処理イメージのうち第２処理イメージと第２合成イメージを合成して第１合成イメージを生成する第１合成部と、
前記２個以上の処理イメージのうち第３処理イメージと第３合成イメージを合成して前記第２合成イメージを生成する第２合成部と、を含む、請求項１０に記載のイメージ信号プロセッサ。

【請求項12】

前記第１合成部は、
前記合成用イメージに基づいて、前記第２色差値と前記第２イメージの第３色差値を合成して第１合成色差イメージを生成する第１色差合成部と、
前記合成用イメージに基づいて、前記第４ホワイトイメージと前記第２合成イメージに含まれた第５ホワイトイメージを合成して第１合成ホワイトイメージを生成する第１ホワイトイメージ合成部と、を含む、請求項１１に記載のイメージ信号プロセッサ。

【請求項13】

前記第１合成部は、
前記第２色差値と前記第３色差値の比率が調節されて合成され、前記第４ホワイトイメージと前記第５ホワイトイメージの比率が調節されて合成される、請求項１２に記載のイメージ信号プロセッサ。

【請求項14】

前記イメージ取得部は、
前記合成用イメージに基づいて、第１色差値と前記第１合成色差イメージを合成して第２合成色差イメージを生成する第２色差合成部と、
前記合成用イメージに基づいて、前記第１要素処理部からの第３ホワイトイメージと前記第１合成ホワイトイメージを合成して第２合成ホワイトイメージを生成する第２ホワイトイメージ合成部と、
前記イメージデータのホワイトイメージと前記第２合成ホワイトイメージを組み合わせ、エッジ強調処理が完了した第６ホワイトイメージを生成するエッジ強調信号生成部と、
前記イメージデータのホワイトイメージおよび前記第２合成ホワイトイメージに基づいてモアレ領域を判断し、モアレ判断信号を生成するモアレ領域判定部と、
前記モアレ判断信号、前記合成用イメージに基づいて、前記第２合成色差イメージと前記第２合成ホワイトイメージを補間し、補間完了したＲＧＢイメージを出力する色差信号補間部と、
前記第６ホワイトイメージおよび前記補間完了したＲＧＢイメージに基づいて出力ＲＧＢイメージを生成するイメージ生成部と、を含む、請求項１２に記載のイメージ信号プロセッサ。

【請求項15】

前記イメージ取得部は、
前記第１色差値と前記第１合成色差イメージの比率が調節されて合成され、前記第３ホワイトイメージと前記第１合成ホワイトイメージの比率が調節されて合成される、請求項１４に記載のイメージ信号プロセッサ。

【請求項16】

前記エッジ強調信号生成部は、
前記ホワイトイメージから高周波成分を抽出してテクスチャ強調成分を生成し、生成された前記テクスチャ強調成分を前記第２合成ホワイトイメージに加算して前記第６ホワイトイメージを生成する、請求項１４に記載のイメージ信号プロセッサ。

【請求項17】

前記モアレ領域判定部は、
前記ホワイトイメージおよび前記第２合成ホワイトイメージの各ピクセル周辺の高周波成分の有無を判断し、色モアレが発生する領域であるか否かを判断する、請求項１４に記載のイメージ信号プロセッサ。

【請求項18】

前記色差信号補間部は、
前記モアレ判断信号に基づいて色モアレ領域である場合にフィルタリングを用いて補間を行い、
前記モアレ判断信号に基づいて前記色モアレ領域以外の領域である場合に前記第２合成ホワイトイメージで方向を判断し、判断された前記方向に基づいてＲ、Ｇ、Ｂ色差の補間を行う、請求項１４に記載のイメージ信号プロセッサ。

【請求項19】

前記イメージ生成部は、
前記補間完了したＲＧＢイメージに前記第６ホワイトイメージのピクセル値を乗じて前記出力ＲＧＢイメージを生成する、請求項１４に記載のイメージ信号プロセッサ。

【請求項20】

前記イメージデータにおいてカラーピクセルおよびホワイトピクセルをビニングし、前記カラーピクセル値および前記ホワイトピクセル値を生成するビニング部をさらに含む、請求項１に記載のイメージ信号プロセッサ。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、イメージ信号を処理するイメージ信号プロセッサに関する。

【背景技術】

【0002】

近年、電子装置の機能が多様化するにつれ、電子装置を用いたイメージ撮影機能の向上への要求も増加している。このため、電子装置を介して取得されるイメージの品質を向上させるための技術が求められている。

【0003】

撮像装置に用いられるイメージセンサは、センサ表面に各ピクセル単位で特定の波長成分の光（Ｒ、Ｇ、Ｂ）を透過させるカラーフィルタを取り付けた構成を有する。カラーフィルタの色配列には種々のタイプがあるが、レッド（Ｒ）、グリーン（Ｇ）、ブルー（Ｂ）の特定の波長光のみを透過させる３種類のフィルタにより構成されたベイヤー配列が多く用いられている。

【0004】

近年、イメージセンサのピクセルの微細化が進行するにつれ、各ピクセルに対する入射光量が減少し、信号対ノイズ比（ＳＮＲ；ｓｉｇｎａｌ ｔｏ ｎｏｉｓｅ ｒａｔｉｏ）が増加することで、イメージセンサの性能が急激に劣化し得る。このような低照度環境に対応し、フィルタの透過光率を高め、高感度化を実現するために、ＲＧＢ（Ｒｅｄ、Ｇｒｅｅｎ、Ｂｌｕｅ）などの特定の波長光のみを透過させるフィルタの他に、ホワイト（Ｗｈｉｔｅ）が含まれたイメージセンサの活用度が高まっている。

【0005】

すなわち、ＲＧＢチャネルに比べて比較的に信号ノイズに強い特性を有するホワイトチャネルが含まれたカラーパターンが提示されている。ホワイトチャネルは、特定の帯域の光を受光するＲＧＢチャネルに比べて全帯域の光を受光するように設計されているため、低照度環境で画像を取得しても信号ノイズが相対的に少ないという特性を有することになる。

【0006】

ところが、ＲＧＢＷ配列は、Ｒ、Ｇ、Ｂ、Ｗフィルタをモザイク状に配列した単板型イメージセンサである。したがって、カラーイメージを生成する際には、各ピクセルに対応するＲＧＢピクセル値を生成するカラーコーディングとしてのリモザイク処理が必要である。

【0007】

しかしながら、ホワイトピクセルを含むＲＧＢＷ配列は、ＲＧＢ配列と比較して、Ｒ、Ｇ、Ｂ成分のサンプリングレートが低下し得る。その結果、カラーイメージの生成処理時にＲＧＢＷ配列の取得データを用いた場合に偽色が発生し得る。このため、リモザイク処理段階でホワイトピクセルが破棄され、その後の段階でホワイトピクセルを活用することができない。

【発明の概要】

【発明が解決しようとする課題】

【0008】

本発明の実施形態は、ホワイトピクセルを含むパターンにおいて、ホワイトピクセルをノイズ低減やデモザイク処理に活用してイメージ品質を向上できるようにするイメージ信号プロセッサを提供する。

【課題を解決するための手段】

【0009】

本発明の実施形態に係るイメージ信号プロセッサは、カラーピクセル値およびホワイトピクセル値を含むイメージデータに基づいて２個以上のイメージを生成する解像度変換部と、２個以上のイメージそれぞれに含まれる変換されたカラーピクセル値および変換されたホワイトピクセル値を用いてテクスチャ情報を抽出し、抽出されたテクスチャ情報に基づいて２個以上の処理イメージを生成する要素処理部と、２個以上の処理イメージを合成して合成色差イメージおよび合成ホワイトイメージを生成する合成部と、イメージデータ、合成色差イメージ、および合成ホワイトイメージに基づいて出力イメージを生成するイメージ取得部と、を含むことができる。

【発明の効果】

【0010】

本発明の実施形態は、イメージデータに含まれたノイズを低減させるとともに鮮鋭度の高いイメージを取得することができ、これにより、イメージ信号の品質を向上できるようにする効果を提供することができる。

【0011】

さらに、本発明の実施形態は例示のためのものであり、当業者であれば、添付の特許請求の範囲の技術的思想および範囲を通じて様々な修正、変更、代替、および付加が可能であり、このような修正、変更などは以下の特許請求の範囲に属するものと見なされるべきである。

【図面の簡単な説明】

【0012】

【図1】本発明の実施形態に適用するＲＧＢＷ配列の例示を説明するための図である。

【図2】本発明の実施形態に係るイメージ信号プロセッサに入力されるイメージデータの例示を説明するための図である。

【図3】本発明の実施形態に係るイメージ信号プロセッサを説明するための図である。

【図4】図３の実施形態に係る、イメージデータに含まれたノイズを低減させ、色差を補間する方法を説明するための図である。

【図5】図３の実施形態に係るイメージ信号プロセッサの詳細構成を説明するための図である。

【図6】図５の解像度変換部に関する詳細構成および動作を説明するための図である。

【図7】図５の解像度変換部に関する詳細構成および動作を説明するための図である。

【図8】図５の要素処理部に関する詳細構成を説明するための図である。

【図9】図５の要素処理部に関する詳細構成を説明するための図である。

【図10】図５の合成部に関する詳細構成を説明するための図である。

【図11】図５のイメージ取得部に関する詳細構成を説明するための図である。

【図12】図１１の色差信号補間部の動作を説明するための図である。

【発明を実施するための形態】

【0013】

以下、添付図面を参照して様々な実施形態が説明される。ただし、本開示は、特定の実施形態に限定されず、実施形態の様々な変更（ｍｏｄｉｆｉｃａｔｉｏｎ）、等価物（ｅｑｕｉｖａｌｅｎｔ）、および／または代替物（ａｌｔｅｒｎａｔｉｖｅ）を含むものと理解しなければならない。本開示の実施形態は、本開示により直間接的に認識可能な様々な効果を提供することができる。

【0014】

本発明の実施形態に係るイメージ信号プロセッサ（ｉｍａｇｅ ｓｉｇｎａｌ ｐｒｏｃｅｓｓｏｒ；ＩＳＰ）は、イメージデータに対する少なくとも１つのイメージ信号処理を行い、処理されたイメージデータを生成することができる。イメージ信号プロセッサは、イメージデータに対してノイズを低減させ、デモザイキング（ｄｅｍｏｓａｉｃｉｎｇ）、欠陥ピクセル補正（ｄｅｆｅｃｔ ｐｉｘｅｌ ｃｏｒｒｅｃｔｉｏｎ）、ガンマ補正（ｇａｍｍａ ｃｏｒｒｅｃｔｉｏｎ）、カラーフィルタアレイ補間（ｃｏｌｏｒ ｆｉｌｔｅｒ ａｒｒａｙ ｉｎｔｅｒｐｏｌａｔｉｏｎ）、カラーマトリクス（ｃｏｌｏｒ ｍａｔｒｉｘ）、カラー補正（ｃｏｌｏｒ ｃｏｒｒｅｃｔｉｏｎ）、カラーエンハンスメント（ｃｏｌｏｒ ｅｎｈａｎｃｅｍｅｎｔ）、レンズ歪み補正（ｌｅｎｓ ｄｉｓｔｏｒｔｉｏｎ ｃｏｒｒｅｃｔｉｏｎ）などの画質改善のためのイメージ信号処理を行うことができる。

【0015】

また、イメージ信号プロセッサは、画質改善のためのイメージ信号処理を行ったイメージデータを圧縮処理してイメージファイルを生成することができ、またはイメージファイルからイメージデータを復元することができる。イメージの圧縮形式は、可逆形式または非可逆形式であってもよい。圧縮形式の例として、静止画の場合、ＪＰＥＧ（Ｊｏｉｎｔ Ｐｈｏｔｏｇｒａｐｈｉｃ Ｅｘｐｅｒｔｓ Ｇｒｏｕｐ）形式やＪＰＥＧ２０００形式などを用いることができる。また、動画の場合、ＭＰＥＧ（Ｍｏｖｉｎｇ Ｐｉｃｔｕｒｅ Ｅｘｐｅｒｔｓ Ｇｒｏｕｐ）標準に従って複数のフレームを圧縮して動画ファイルを生成することができる。

【0016】

イメージデータは、シーン（ｓｃｅｎｅ）に対する光学イメージをキャプチャするイメージセンシング装置（ｉｍａｇｅ ｓｅｎｓｉｎｇ ｄｅｖｉｃｅ）により生成されることができるが、本発明の範囲はこれに限定されない。イメージセンシング装置は、シーンから入射する光を感知するための複数のピクセルを含むピクセルアレイと、ピクセルアレイを制御するための制御回路と、ピクセルアレイから受信されるアナログ形態のピクセル信号をデジタル形態のイメージデータに変換して出力する読み出し回路と、を含むことができる。本開示は、イメージデータがイメージセンシング装置により生成されるものと仮定して説明する。

【0017】

図１は、本発明の実施形態に適用するＲＧＢＷ配列の例示を説明するための図である。
図１を参照すると、４個の行および４個の列を含むマトリクス状に配列された１６個のピクセルが示されている。一例として、１６個のピクセルはピクセルアレイ１０、２０、３０の最小単位であって、１６個のピクセルが行方向および列方向に繰り返されることができるが、本発明の範囲はこれに限定されない。

【0018】

本発明の実施形態に係るイメージセンシング装置は、レッド（Ｒ）、グリーン（Ｇ）、ブルー（Ｂ）のようなカラーピクセルおよびホワイトピクセル（Ｗ）を含むことができる。カラーピクセル（Ｒ、Ｇ、Ｂ）およびホワイトピクセル（Ｗ）は、図１に示すように様々な形態に配列されることができる。

【0019】

カラーピクセル（Ｒ、Ｇ、Ｂ）は、それぞれ対応するカラーフィルタにより特定の波長の光が入射するピクセルであってもよい。ホワイトピクセル（Ｗ）は、対応するカラーフィルタが存在しないピクセルであり、テクスチャピクセル、白黒ピクセル、またはモノピクセルと称してもよい。例えば、カラーピクセル（Ｒ、Ｇ、Ｂ）は、特定の波長の入射光のみを透過させるカラーフィルタにより、特定の色（例えば、レッド、グリーン、ブルーなど）の入射光によるカラーピクセル値を取得することができる。これとは異なり、ホワイトピクセル（Ｗ）は、特定の色に限定されない入射光（例えば、可視光）によりホワイトピクセル値を取得することができる。

【0020】

ピクセルアレイ１０は、それぞれ２×２配列のピクセルを含む単位ピクセル（ＰＸ１）を含み、各単位ピクセル（ＰＸ１）には、１個のカラーピクセル（例えば、Ｒ、Ｇ、またはＢ）および３個のホワイトピクセル（Ｗ）が含まれることができる。

【0021】

ピクセルアレイ２０は、それぞれ２×２配列のピクセルを含む単位ピクセル（ＰＸ２）を含み、各単位ピクセル（ＰＸ２）には、２個のカラーピクセル（例えば、Ｒ、Ｇ、またはＢ）および２個のホワイトピクセル（Ｗ）が含まれることができる。ピクセルアレイ２０の場合、各単位ピクセル（ＰＸ２）に含まれる２個のカラーピクセルは、互いに同一の色に対応するカラーピクセルであってもよい。

【0022】

ピクセルアレイ３０は、それぞれ２×２配列のピクセルを含む単位ピクセル（ＰＸ３）を含み、各単位ピクセル（ＰＸ３）には、３個のカラーピクセル（例えば、Ｒ、Ｇ、またはＢ）および１個のホワイトピクセル（Ｗ）が含まれることができる。ピクセルアレイ３０の場合、各単位ピクセル（ＰＸ３）に含まれる３個のカラーピクセルは、互いに同一の色に対応するカラーピクセルであってもよい。

【0023】

図１はカラーピクセル（Ｒ、Ｇ、Ｂ）およびホワイトピクセル（Ｗ）が配列できる３つの例示に対して示しているが、本開示の権利範囲はこれに限定されない。例えば、イメージセンサのピクセルアレイ１０、２０、３０は、ＲＧＢの他に、マゼンタ（Ｍａｇｅｎｔａ）、イエロー（Ｙｅｌｌｏｗ）、シアン（Ｃｙａｎ）、オレンジ（Ｏrange）などのピクセルを含んでもよい。他の例として、ピクセルアレイ１０、２０、３０は、各単位ピクセル（ＰＸ１、ＰＸ２、ＰＸ３）ごとに右上端位置（または、左上端および左下端位置）の代わりに他の可能な位置（例えば、右下端）にカラーピクセルが配列されるように構成されてもよい。

【0024】

他の例として、ピクセルアレイ１０、２０、３０は、各単位ピクセル（ＰＸ１、ＰＸ２、ＰＸ３）ごとに異なる数のホワイトピクセル（Ｗ）、または異なる位置に配列されるホワイトピクセル（Ｗ）が含まれるように構成されてもよい。これにより、ピクセルアレイ１０、２０、３０のピクセル配列は、図示されたものに限定されず、ホワイトピクセル（Ｗ）およびカラーピクセルを含むように様々な形態で構成されることができる。

【0025】

図２は、本発明の実施形態に係るイメージ信号プロセッサに入力されるイメージデータの例示を説明するための図である。
図２は、イメージ信号プロセッサのビニング部５０がカラーピクセル（Ｒ、Ｇ、Ｂ）およびホワイトピクセル（Ｗ）をビニングして取得および出力するイメージデータ４０の形態を示すことができる。図２の実施形態は、図１のピクセルアレイ１０、２０、３０のうちピクセルアレイ２０を用いてイメージデータ４０を生成することを一例として説明する。図２の実施形態はビニング部５０がハーフ解像度モード（ｈａｌｆ ｒｅｓｏｌｕｔｉｏｎ ｍｏｄｅ）でイメージデータ４０を生成することを一例として説明するが、本開示はこれに限定されない。

【0026】

ビニング部５０は、ピクセルアレイ２０の全ピクセル数に比べて少ない数（例えば、半分）のピクセル数を有するイメージデータ４０を出力することができる。ビニング部５０は、単位ピクセル（ＰＸ２）ごとに１個のホワイトピクセル値４１および１個のカラーピクセル値（４２、４３、または４４）を出力することができる。

【0027】

例えば、ビニング部５０は、単位ピクセル（ＰＸ２）ごとに含まれた２個のホワイトピクセル（Ｗ）から取得された値を加算するか（ａｄｄ）または平均演算（ａｖｅｒａｇｅ）したホワイトピクセル値４１を出力することができる。他の例として、ビニング部５０は、単位ピクセル（ＰＸ２）ごとに含まれた２個のカラーピクセル（Ｒ）から取得された値を加算するかまたは平均演算したレッドカラーピクセル値４２を出力することができる。ビニング部５０は、単位ピクセル（ＰＸ２）ごとに含まれた２個のカラーピクセル（Ｇ）から取得された値を加算するかまたは平均演算したグリーンカラーピクセル値４３を出力することができる。ビニング部５０は、単位ピクセル（ＰＸ２）ごとに含まれた２個のカラーピクセル（Ｂ）から取得された値を加算するかまたは平均演算したブルーカラーピクセル値４４を出力することができる。

【0028】

図２は、ピクセルアレイ２０がＲ、Ｇ、Ｂ、Ｗ配列を含み、ハーフ解像度モード（ｈａｌｆ ｒｅｓｏｌｕｔｉｏｎ ｍｏｄｅ）でイメージデータ４０を生成することを例示として説明したが、実施形態によると、その他の配列を有するピクセルアレイを含む場合にも、ハーフ解像度モード（ｈａｌｆ ｒｅｓｏｌｕｔｉｏｎ ｍｏｄｅ）またはフル解像度モード（ｆｕｌｌ ｒｅｓｏｌｕｔｉｏｎ ｍｏｄｅ）に応じて生成されるイメージデータの形態が決められることができる。

【0029】

図３は、本発明の実施形態に係るイメージ信号プロセッサを説明するための図である。
図３を参照すると、イメージ信号プロセッサ（ＩＳＰ；Ｉｍａｇｅ ｓｉｇｎａｌ ｐｒｏｃｅｓｓｏｒ）は、ビニング部５０、解像度変換部１００、要素処理部２００、合成部３００、およびイメージ取得部４００を含むことができる。

【0030】

ビニング部５０は、イメージセンサ（図示せず）から受信したイメージデータにおいて、カラーピクセル（Ｒ、Ｇ、Ｂ）およびホワイトピクセル（Ｗ）をビニングし、カラーピクセル値およびホワイトピクセル値を含むイメージデータ４０を生成することができる。ここで、ビニング部５０は、上記の図２で既に説明したビニング部５０に該当することができる。

【0031】

解像度変換部１００は、イメージデータ４０に基づいて、互いに異なる大きさを有する２個以上のイメージを生成することができる。実施形態によると、解像度変換部１００は、イメージデータ４０の解像度を変換し、イメージデータ４０に比べて縮小された大きさを有する第１イメージを取得する第１解像度変換部を含むことができる。また、解像度変換部１００は、第１イメージの解像度を変換し、第１イメージに比べて縮小された大きさを有する第２イメージを取得する第２解像度変換部を含むことができる。例えば、第１イメージは、イメージデータ４０に比べて１／２に縮小された大きさを有し、第２イメージは、イメージデータ４０に比べて１／４に縮小された大きさを有することができる。

【0032】

要素処理部２００は、２個以上のイメージそれぞれに含まれる変換されたカラーピクセル値および変換されたホワイトピクセル値を用いてテクスチャ情報を抽出することができる。ここで、テクスチャは、イメージ上の被写体の形状ないし輪郭を意味し得る。そして、要素処理部２００は、テクスチャ情報に基づいて、２個以上の合成用イメージおよび色差値を生成し、変換されたホワイトピクセル値に対するノイズ低減処理を行うことができる。

【0033】

実施形態によると、要素処理部２００は、第１イメージに含まれる第１変換されたカラーピクセル値および第１変換されたホワイトピクセル値を用いて、第１イメージに対応する第１処理イメージを生成する第１要素処理部を含むことができる。また、要素処理部２００は、第２イメージに含まれる第２変換されたカラーピクセル値および第２変換されたホワイトピクセル値を用いて、第２イメージに対応する第２処理イメージを生成する第２要素処理部を含むことができる。

【0034】

合成部３００は、２個以上の処理イメージを合成して合成色差イメージおよび合成ホワイトイメージを生成することができる。例えば、合成部３００は、第１処理イメージおよび第２処理イメージに基づいて、合成色差イメージおよび合成ホワイトイメージを合成イメージを生成することができる。

【0035】

イメージ取得部４００は、合成色差イメージ、合成ホワイトイメージ、要素処理部２００からの処理イメージ、およびイメージデータ４０に含まれたホワイトピクセル値４１に基づいて出力イメージを取得することができる。要素処理部２００によりノイズ低減処理が完了したホワイトピクセル値および色差値が合成部３００により合成されてイメージ取得部４００に入力されることで、イメージ取得部４００は、イメージデータ４０に比べてノイズが低減され、色差が補正された出力イメージを生成することができる。

【0036】

イメージ信号プロセッサ（ＩＳＰ）が解像度変換部１００、要素処理部２００、合成部３００、およびイメージ取得部４００を用いてイメージデータに含まれたノイズを低減させ、色差を補間する具体的な方法については、図４のフローチャートおよび図５～図１２の例示を参照して後述する。

【0037】

図４は、図３の実施形態に係る、イメージデータに含まれたノイズを低減させ、色差を補間する方法を説明するための図である。
ステップＳ１０において、ビニング部５０は、ピクセルアレイ２０のカラーピクセル（例えば、Ｒ、Ｇ、Ｂ）およびホワイトピクセル（Ｗ）を用いて、カラーピクセル値（例えば、図２の４２～４４）およびホワイトピクセル値（例えば、図２の４１）を含むイメージデータ（例えば、図２の４０）を生成することができる。

【0038】

ステップＳ２０において、イメージ信号プロセッサ（ＩＳＰ）（例えば、解像度変換部１００）は、イメージデータ（例えば、４０）に基づいて、互いに異なる大きさを有する２個以上のイメージを生成することができる。解像度変換部１００は、イメージデータの解像度を減少させ、複数のイメージを取得することができる。解像度変換部１００によりイメージデータの解像度が変換されることで、２個以上のイメージには、変換されたカラーピクセル値および変換されたホワイトピクセル値が含まれることができる。

【0039】

ステップＳ３０において、イメージ信号プロセッサ（ＩＳＰ）（例えば、要素処理部２００）は、２個以上のイメージそれぞれに含まれる変換されたカラーピクセル値および変換されたホワイトピクセル値を用いてテクスチャ情報を抽出することができる。

【0040】

ステップＳ４０において、イメージ信号プロセッサ（ＩＳＰ）（例えば、要素処理部２００）は、抽出されたテクスチャ情報に基づいて、合成用イメージを生成し、色差値を算出し、変換されたホワイトピクセル値に対するノイズ低減処理を行うことができる。これにより、要素処理部２００は、２個以上のイメージそれぞれに対応する２個以上の処理イメージを生成することができる。

【0041】

ステップＳ５０において、イメージ信号プロセッサ（ＩＳＰ）（例えば、合成部３００）は、２個以上の処理イメージを合成して合成色差イメージおよび合成ホワイトイメージを取得することができる。

【0042】

合成部３００は、テクスチャが一定レベル以上である一部の領域（例えば、エッジや細い線が存在するイメージ領域）は、第１処理イメージに基づいて、他の一部の領域（例えば、平坦なイメージ領域またはグラデーションイメージ領域）は、第２処理イメージに基づいて、合成色差イメージおよび合成ホワイトイメージを生成することができる。例えば、合成部３００は、２個以上の処理イメージに対してマルチスケール処理を行い、合成色差イメージおよび合成ホワイトイメージを生成することができる。ここで、マルチスケール処理とは、互いに異なる大きさを有する処理イメージに基づいて、テクスチャが存在しない平坦なイメージ領域には解像度の低い処理イメージ（第２処理イメージ）を選択して処理し、テクスチャが存在するイメージ領域には解像度の高い処理イメージ（第１処理イメージ）を選択して処理することを意味し得る。

【0043】

ステップＳ６０において、イメージ信号プロセッサ（ＩＳＰ）（例えば、イメージ取得部４００）は、合成色差イメージ、合成ホワイトイメージ、およびホワイトピクセル値（例えば、図２の４１）に基づいて出力イメージを取得することができる。例えば、イメージ取得部４００は、合成色差イメージ、合成ホワイトイメージ、およびホワイトピクセル値に基づいて色差信号を補間することができる。また、イメージ取得部４００は、合成色差イメージ、合成ホワイトイメージ、およびホワイトピクセル値に基づいてエッジ強調信号を生成し、過度にぼやけたイメージ領域の鮮鋭度を高めることができる。

【0044】

イメージ信号プロセッサ（ＩＳＰ）は、互いに異なる大きさを有するイメージに基づいて取得された合成イメージと共にホワイトピクセル値を用いることで、ノイズが低減されるともに過度にぼやけない出力イメージを取得することができる。本開示とは異なり、ホワイトピクセル値を用いないイメージ（例えば、カラーイメージ）に対してマルチスケール処理を行う場合には、合成されたイメージ中の特定の領域が過度にぼやけることがある。例えば、イメージに対するマルチスケール処理は、テクスチャが存在する領域には縮小されていないイメージを、テクスチャが存在しない領域には縮小されたイメージ（または、解像度を減少させた後に単に拡大したイメージ）を選択して合成することを意味し得る。ただし、イメージにノイズが含まれている場合には、テクスチャが存在するイメージ領域であるにもかかわらず、テクスチャが存在しないと判断され、縮小されたイメージが選択および合成されることがある。すなわち、イメージにノイズが含まれている場合には、ノイズによりテクスチャ有無の判断が難しくなるため、テクスチャが存在する領域であるにもかかわらず、過度にぼかし処理される場合がある。

【0045】

ただし、本開示によると、イメージ信号プロセッサ（ＩＳＰ）は、ノイズが低減されていない元のホワイトピクセル値に基づいてエッジ強調信号を生成することができる。これにより、合成イメージにおいて過度にぼやけた領域（または、不要にぼやけた領域）を復元することで、出力イメージに含まれるぼかしを最小化することができる。

【0046】

以下、イメージ信号プロセッサ（ＩＳＰ）に含まれた構成が出力イメージを生成する具体的な例示を説明する。
図５は、図３の実施形態に係るイメージ信号プロセッサの詳細構成を説明するための図である。

【0047】

図５を参照すると、イメージ信号プロセッサ（ＩＳＰ）は、ビニング部５０を介してビニングされたイメージデータ４０を受信することができる。ここで、イメージデータ４０は、図２に示されたイメージデータ４０に該当することができる。

【0048】

イメージ信号プロセッサ（ＩＳＰ）は、解像度変換部１１０を介してイメージデータ４０の解像度を変換し、イメージデータ４０に比べて縮小された大きさを有する第１イメージ（ＨＲＩ１）を生成することができる。ここで、第１イメージ（ＨＲＩ１）は、イメージデータ４０に比べて縮小された大きさを有するＲ、Ｇ、Ｂ、Ｗピクセル値を含むことができる。例えば、第１イメージ（ＨＲＩ１）は、イメージデータ４０に比べて１／２の大きさを有することができる。

【0049】

イメージ信号プロセッサ（ＩＳＰ）は、解像度変換部１２０を介して第１イメージ（ＨＲＩ１）の解像度を変換し、第１イメージ（ＨＲＩ１）に比べて縮小された大きさを有する第２イメージ（ＨＲＩ２）を生成することができる。第２イメージ（ＨＲＩ２）は、第１イメージ（ＨＲＩ１）に比べて縮小された大きさを有するＲ、Ｇ、Ｂ、Ｗピクセル値を含むことができる。例えば、第２イメージ（ＨＲＩ２）は、イメージデータ４０に比べて１／４の大きさを有することができる。

【0050】

同様に、イメージ信号プロセッサ（ＩＳＰ）は、解像度変換部１３０を介して第２イメージ（ＨＲＩ２）に比べて縮小された大きさを有する第３イメージ（ＨＲＩ３）を取得することができ、解像度変換部１４０を介して第３イメージ（ＨＲＩ３）に比べて縮小された大きさを有する第４イメージ（ＨＲＩ４）を取得することができ、解像度変換部１５０を介して第４イメージ（ＨＲＩ４）に比べて縮小された大きさを有する第５イメージ（ＨＲＩ５）を取得することができ、解像度変換部１６０を介して第５イメージ（ＨＲＩ５）に比べて縮小された大きさを有する第６イメージ（ＨＲＩ６）を取得することができる。第３イメージ（ＨＲＩ３）はイメージデータ４０に比べて１／８、第４イメージ（ＨＲＩ４）はイメージデータ４０に比べて１／１６、第５イメージ（ＨＲＩ５）はイメージデータ４０に比べて１／３２、および第６イメージ（ＨＲＩ６）はイメージデータ４０に比べて１／６４の大きさを有することができる。

【0051】

イメージ信号プロセッサ（ＩＳＰ）は、要素処理部２１０を介してイメージデータ４０に含まれたカラーピクセル値およびホワイトピクセル値を用いて処理イメージ（ＰＩ１）を生成することができる。ここで、要素処理部２１０は、イメージデータ４０に含まれたカラーピクセル値およびホワイトピクセル値に基づいてテクスチャ情報を抽出し、合成用イメージを出力することができる。そして、要素処理部２１０は、抽出されたテクスチャ情報に基づいて、ホワイトピクセル値に対するノイズ低減を行うことができる。また、要素処理部２１０は、抽出されたテクスチャ情報に基づいて、カラーピクセル値とホワイトピクセル値に対する色差を算出することができる。要素処理部２１０により出力される合成用イメージ、ノイズ低減処理されたホワイトイメージ、および色差値を含むイメージセットを処理イメージ（ＰＩ１）として理解することができる。例えば、処理イメージ（ＰＩ１）は、イメージデータ４０と同一の大きさを有することができる。

【0052】

イメージ信号プロセッサ（ＩＳＰ）は、要素処理部２２０を介して第１イメージ（ＨＲＩ１）に含まれる変換されたカラーピクセル値および変換されたホワイトピクセル値を用いて処理イメージ（ＰＩ２）を生成することができる。要素処理部２２０は、第１イメージ（ＨＲＩ１）に含まれる変換されたカラーピクセル値および変換されたホワイトピクセル値に基づいてテクスチャ情報を抽出し、合成用イメージを出力することができる。そして、要素処理部２２０は、抽出されたテクスチャ情報に基づいて、ホワイトピクセル値に対するノイズ低減を行うことができる。また、要素処理部２２０は、抽出されたテクスチャ情報に基づいて、カラーピクセル値とホワイトピクセル値に対する色差を算出することができる。要素処理部２２０により出力される合成用イメージ、ノイズ低減処理されたホワイトイメージ、および色差値を含むイメージセットを処理イメージ（ＰＩ２）として理解することができる。例えば、処理イメージ（ＰＩ２）は、イメージデータ４０に比べて１／２の大きさを有することができる。

【0053】

イメージ信号プロセッサ（ＩＳＰ）は、要素処理部２３０を介して第２イメージ（ＨＲＩ２）に含まれる変換されたカラーピクセル値および変換されたホワイトピクセル値を用いて処理イメージ（ＰＩ３）を生成することができる。要素処理部２３０は、第２イメージ（ＨＲＩ２）に含まれる変換されたカラーピクセル値および変換されたホワイトピクセル値に基づいてテクスチャ情報を抽出し、合成用イメージを出力することができる。そして、要素処理部２３０は、抽出されたテクスチャ情報に基づいて、ホワイトピクセル値に対するノイズ低減を行うことができる。また、要素処理部２３０は、抽出されたテクスチャ情報に基づいて、カラーピクセル値とホワイトピクセル値に対する色差を算出することができる。要素処理部２３０により出力される合成用イメージ、ノイズ低減処理されたホワイトイメージ、および色差値を含むイメージセットを処理イメージ（ＰＩ３）として理解することができる。例えば、処理イメージ（ＰＩ３）は、イメージデータ４０に比べて１／４の大きさを有することができる。

【0054】

同様に、イメージ信号プロセッサ（ＩＳＰ）は、要素処理部２４０を介して第３イメージ（ＨＲＩ３）に対応する処理イメージ（ＰＩ４）を生成することができ、要素処理部２５０を介して第４イメージ（ＨＲＩ４）に対応する処理イメージ（ＰＩ５）を生成することができ、要素処理部２６０を介して第５イメージ（ＨＲＩ５）に対応する処理イメージ（ＰＩ６）を生成することができ、要素処理部２７０を介して第６イメージ（ＨＲＩ６）に対応する処理イメージ（ＰＩ７）を生成することができる。ここで、処理イメージ（ＰＩ４）はイメージデータ４０に比べて１／８、処理イメージ（ＰＩ５）はイメージデータ４０に比べて１／１６、処理イメージ（ＰＩ６）はイメージデータ４０に比べて１／３２、および処理イメージ（ＰＩ７）はイメージデータ４０に比べて１／６４の大きさを有することができる。

【0055】

イメージ信号プロセッサ（ＩＳＰ）は、合成部３１０を介して処理イメージ（ＰＩ２）と合成イメージ（ＳＩ２）を合成して合成イメージ（ＳＩ１）を生成することができる。ここで、合成部３１０により出力される合成色差イメージおよび合成ホワイトイメージを含むイメージセットを合成イメージ（ＳＩ１）として理解することができる。合成イメージ（ＳＩ１）は、イメージデータ４０に比べて１／２の大きさを有することができる。

【0056】

イメージ信号プロセッサ（ＩＳＰ）は、合成部３２０を介して処理イメージ（ＰＩ３）と合成イメージ（ＳＩ３）を合成して合成イメージ（ＳＩ２）を生成することができる。ここで、合成部３２０により出力される合成色差イメージおよび合成ホワイトイメージを含むイメージセットを合成イメージ（ＳＩ２）として理解することができる。合成イメージ（ＳＩ２）は、イメージデータ４０に比べて１／４の大きさを有することができる。

【0057】

同様に、イメージ信号プロセッサ（ＩＳＰ）は、合成部３３０を介して処理イメージ（ＰＩ４）と合成イメージ（ＳＩ４）を合成して合成イメージ（ＳＩ３）を生成することができ、合成部３４０を介して処理イメージ（ＰＩ５）と合成イメージ（ＳＩ５）を合成して合成イメージ（ＳＩ４）を生成することができ、合成部３５０を介して処理イメージ（ＰＩ６）と処理イメージ（ＰＩ７）を合成して合成イメージ（ＳＩ５）を生成することができる。ここで、合成イメージ（ＳＩ３）は、イメージデータ４０に比べて１／８の大きさを有し、合成イメージ（ＳＩ４）は、イメージデータ４０に比べて１／１６の大きさを有し、合成イメージ（ＳＩ５）は、イメージデータ４０に比べて１／３２の大きさを有することができる。

【0058】

イメージ信号プロセッサ（ＩＳＰ）は、イメージ取得部４００を介してイメージデータ４０に含まれたホワイトピクセル値４１、処理イメージ（ＰＩ１）、および合成イメージ（ＳＩ１）を用いてＲＧＢイメージを生成することができる。イメージ信号プロセッサ（ＩＳＰ）は、イメージ取得部４００を介してＲＧＢＷイメージをＲＧＢに変換し、出力イメージ５００を取得することができる。

【0059】

図５の実施形態はイメージ信号プロセッサ（ＩＳＰ）に６個の解像度変換部１１０～１６０、７個の要素処理部２１０～２７０、および５個の合成部３１０～３５０が含まれているものとして図示および説明したが、これは１つの例示にすぎず、本開示の権利範囲を限定するものではない。
図５に示された各構成に関する説明は、後述する図６～図１２でさらに詳しく説明する。

【0060】

図６は、図５の解像度変換部１１０に関する詳細構成を説明するための図である。
図６を参照すると、解像度変換部１１０は、ベイヤー解像度変換部１１３およびホワイト解像度変換部１１４を含むことができる。

【0061】

ベイヤー解像度変換部１１３は、イメージデータ４０のベイヤーイメージ１１１に対する解像度を変換し、イメージデータ４０に比べて縮小された大きさを有するカラーイメージ（Ｒ、Ｇ、Ｂイメージ）をそれぞれ出力することができる。例えば、ベイヤー解像度変換部１１３により出力されるＲ、Ｇ、Ｂイメージ（第１イメージ（ＨＲＩ１）に該当）は、ベイヤーイメージ１１１に比べて１／２の大きさを有することができる。例えば、半分のサイズは、ピクセル数を半分に減らし、データ記憶容量を半分に減らすことを意味し得る。

【0062】

そして、ホワイト解像度変換部１１４は、イメージデータ４０のホワイトイメージ１１２に対する解像度を変換し、イメージデータ４０に比べて縮小された大きさを有するホワイトイメージを出力することができる。例えば、ホワイト解像度変換部１１４により出力されるホワイトイメージは、イメージデータ４０に比べて１／２の大きさを有することができる。

【0063】

ここで、解像度変換部１１０に入力されるイメージデータ４０のベイヤーイメージ１１１とホワイトイメージ１１２との位置がずれていてもよい。そこで、ベイヤー解像度変換部１１３は、大きさが縮小されたホワイトイメージの中心ピクセルの位置と、大きさが縮小されたＲ、Ｇ、Ｂイメージの各中心ピクセルの重心が一致するように補間を行うことができる。すなわち、ベイヤー解像度変換部１１３は、ベイヤーイメージ１１１とホワイトイメージ１１２のダウンスケーリング時にテクスチャ情報を得るためのホワイトイメージ１１２にボケ（ｂｏｋｅｈ）現象が発生するのを防止するために、ホワイトイメージ１１２を基準として各Ｒ、Ｇ、Ｂピクセルの補間係数を計算することができる。例えば、ベイヤー解像度変換部１１３は、Ｒ、Ｇ、Ｂイメージとホワイトイメージの重心が一致するように、バイラテラル補間（ｂｉｌａｔｅｒａｌ ｉｎｔｅｒｐｏｌａｔｉｏｎ）、バイキュービック補間（ｂｉｃｕｂｉｃ ｉｎｔｅｒｐｏｌａｔｉｏｎ）、バイリニア補間（ｂｉｌｉｎｅａｒ ｉｎｔｅｒｐｏｌａｔｉｏｎ）などの方式を用いて補間を行うことができる。ここで、重心を合わせるためのＲ、Ｇ、Ｂイメージの補間処理方式はこれに限定されない。

【0064】

図７は、図５の解像度変換部１２０に関する詳細構成を説明するための図である。
図７を参照すると、解像度変換部１２０は、レッド（Ｒ）解像度変換部１２１、グリーン（Ｇ）解像度変換部１２２、ブルー（Ｂ）解像度変換部１２３、およびホワイト（Ｗ）解像度変換部１２４を含むことができる。

【0065】

ここで、レッド解像度変換部１２１は、解像度変換部１１０の第１イメージ（ＨＲＩ１）、すなわち、レッドイメージに対する解像度を変換し、イメージデータ４０に比べて縮小された大きさを有するレッドイメージを出力することができる。例えば、レッド解像度変換部１２１は、４個のレッドピクセル（Ｒ）から取得されたピクセル値を平均演算（ａｖｅｒａｇｅ）し、縮小された大きさを有するレッドイメージを出力することができる。

【0066】

グリーン解像度変換部１２２は、解像度変換部１１０の第１イメージ（ＨＲＩ１）、すなわち、グリーンイメージに対する解像度を変換し、イメージデータ４０に比べて縮小された大きさを有するグリーンイメージを出力することができる。例えば、グリーン解像度変換部１２２は、４個のグリーンピクセル（Ｇ）から取得されたピクセル値を平均演算（ａｖｅｒａｇｅ）し、縮小された大きさを有するグリーンイメージを出力することができる。

【0067】

また、ブルー解像度変換部１２３は、解像度変換部１１０の第１イメージ（ＨＲＩ１）、すなわち、ブルーイメージに対する解像度を変換し、イメージデータ４０に比べて縮小された大きさを有するブルーイメージを出力することができる。例えば、ブルー解像度変換部１２３は、４個のブルーピクセル（Ｂ）から取得されたピクセル値を平均演算（ａｖｅｒａｇｅ）し、縮小された大きさを有するブルーイメージを出力することができる。

【0068】

ホワイト解像度変換部１２４は、解像度変換部１１０の第１イメージ（ＨＲＩ１）、すなわち、ホワイトイメージに対する解像度を変換し、イメージデータ４０に比べて縮小された大きさを有するホワイトイメージを出力することができる。例えば、ホワイト解像度変換部１２４は、４個のホワイトピクセル（Ｗ）から取得されたピクセル値を平均演算（ａｖｅｒａｇｅ）し、縮小された大きさを有するホワイトイメージを出力することができる。

【0069】

例えば、解像度変換部１２０により出力されるＲ、Ｇ、Ｂ、Ｗイメージ、すなわち、第２イメージ（ＨＲＩ２）は、入力イメージ（第１イメージ（ＨＲＩ１））に比べて１／２の大きさを有することができる。

【0070】

残りの解像度変換部１３０～１６０は、解像度変換部１２０と比較して入出力されるイメージの大きさが異なるだけであって、解像度変換部１２０と構成が同様であるため、解像度変換部１３０～１６０に関する詳細構成および動作に関して重複する説明は省略する。

【0071】

図８は、図５の要素処理部２１０に関する詳細構成を説明するための図である。
図８を参照すると、要素処理部２１０は、テクスチャ判定部２１３、ノイズ低減部２１４、および色差算出部２１５を含むことができる。

【0072】

テクスチャ判定部２１３は、イメージデータ４０のベイヤーイメージ２１１およびホワイトイメージ２１２に基づいてテクスチャを判断し、テクスチャ情報（ＴＩ）および合成用イメージ（Ｔ）を生成することができる。テクスチャ判定部２１３に入力されるベイヤーイメージ２１１およびホワイトイメージ２１２は、図６に示されたベイヤーイメージ１１１およびホワイトイメージ１１２と同様のイメージであってもよい。

【0073】

ここで、テクスチャ情報（ＴＩ）は、ベイヤーイメージ２１１およびホワイトイメージ２１２が平坦なイメージ領域またはグラデーションイメージ領域であるかに関する情報、エッジや細い線が存在するかに関する情報、仮に細い線が存在する場合には細い線の方向情報などを含むことができる。一例として、テクスチャ判定部２１３は、ホワイトイメージ２１２に関するテクスチャ情報（ＴＩ）を優先的に判断することができる。例えば、テクスチャ判定部２１３は、ホワイトイメージ２１２におけるテクスチャ情報（ＴＩ）を先に判断し、ホワイトイメージ２１２にテクスチャ情報が存在しない場合、ベイヤーイメージ２１１におけるテクスチャ情報（ＴＩ）を判断することができる。

【0074】

そして、上述した図４および図５で説明したイメージ取得部４００がマルチスケール処理を行う場合、テクスチャ情報（ＴＩ）に基づいて合成される２つのイメージの比率を調節することができる。これにより、テクスチャ判定部２１３は、イメージ取得部４００の合成動作のためにテクスチャ情報（ＴＩ）を合成用イメージ（Ｔ）に変換してイメージ取得部４００に提供することができる。ここで、合成用イメージ（Ｔ）は、解像度の異なる２つのイメージを合成する際に用いるイメージである。一例として、αブレンド方式を用いて２つのイメージを合成することができる。例えば、低解像度イメージに対して線形補間を用いて補間処理を行い、解像度を高解像度イメージに合わせた出力イメージを生成することができる。αブレンド方式を用いて２つのイメージを合成することを一例として説明したものの、本発明の実施形態はこれに限定されるものではなく、２つのイメージを合成する様々な方法があり得る。合成用イメージ（Ｔ）は、テクスチャの振幅や合成比率を表現するデータを各ピクセルごとに計算したイメージ（値）で定義することができる。例えば、合成用イメージ（Ｔ）は、２つのイメージの合成時にエッジやテクスチャのある境界領域では高解像度イメージの比率を増加させて合成し、エッジやテクスチャのない平坦領域では低解像度イメージの比率を増加させて合成するために用いられることができる。

【0075】

ノイズ低減部２１４は、テクスチャ情報（ＴＩ）に基づいて、ホワイトイメージ２１２のピクセル値におけるノイズ低減処理を行い、ノイズ低減されたホワイトイメージ（Ｗ＿ＮＲ１）を生成することができる。ノイズ低減部２１４は、テクスチャ情報（ＴＩ）に基づいて、テクスチャが一定レベル以上である一部の領域と、テクスチャが一定レベル未満である他の一部の領域で互いに異なるノイズ低減処理を行うことができる。

【0076】

一例として、ノイズ低減部２１４は、テクスチャ情報（ＴＩ）に基づいて、テクスチャが一定レベル以上である一部の領域（例えば、エッジや細い線が存在するイメージ領域）は、テクスチャの方向（エッジや細い線の方向）に沿ってターゲットピクセル（入力イメージ単位の中心にある中心ピクセル）の周辺に存在する周辺ピクセルの重み平均を求めてノイズ低減を行うことができる。また、ノイズ低減部２１４は、テクスチャ情報（ＴＩ）に基づいて、テクスチャが一定レベル未満である他の一部の領域（例えば、平坦なイメージ領域またはグラデーションイメージ領域）は、ターゲットピクセルの周辺に存在する周辺ピクセルの平均を求めてノイズ低減を行うことができる。

【0077】

また、色差算出部２１５は、テクスチャ情報（ＴＩ）に基づいて、ベイヤーイメージ２１１とホワイトイメージ２１２の色差値（Ｂ＿ＣＤ１）を算出することができる。

【0078】

一例として、色差算出部２１５は、テクスチャ情報（ＴＩ）に基づいて、テクスチャが一定レベル以上である一部の領域（例えば、エッジや細い線が存在するイメージ領域）で、テクスチャの方向（エッジや細い線の方向）に沿って色差を算出することができる。また、色差算出部２１５は、テクスチャ情報（ＴＩ）に基づいて、テクスチャが一定レベル未満である他の一部の領域（例えば、平坦なイメージ領域またはグラデーションイメージ領域）で、ターゲットピクセル周辺の周辺ピクセルを用いて色差を算出することができる。

【0079】

要素処理部２１０により生成された合成用イメージ（Ｔ）、ノイズ低減されたホワイトイメージ（Ｗ＿ＮＲ１）、および色差値（Ｂ＿ＣＤ１）は、処理イメージ（ＰＩ１）としてイメージ取得部４００に伝達されることができる。

【0080】

図９は、図５の要素処理部２２０に関する詳細構成を説明するための図である。
図９を参照すると、要素処理部２２０は、テクスチャ判定部２２３、ノイズ低減部２２４、および色差算出部２２５を含むことができる。

【0081】

ここで、テクスチャ判定部２２３は、解像度変換部１１０の第１イメージ（ＨＲＩ１）２２１（レッドイメージ、グリーンイメージ、ブルーイメージ）およびホワイトイメージ２２２に基づいてテクスチャを判断し、合成用イメージ（Ｔ）およびテクスチャ情報（ＴＩ）を生成することができる。

【0082】

上述した図４および図５で説明した合成部３１０が入力される２つのイメージを合成する動作を行う場合、テクスチャ情報（ＴＩ）に基づいて合成イメージの比率を調節することができる。これにより、テクスチャ判定部２２３は、合成部３１０の合成動作のためにテクスチャ情報（ＴＩ）を合成用イメージ（Ｔ）に変換して合成部３１０に提供することができる。

【0083】

そして、ノイズ低減部２２４は、テクスチャ情報（ＴＩ）に基づいて、ホワイトイメージ２２２のピクセル値におけるノイズ低減処理を行い、ノイズ低減されたホワイトイメージ（Ｗ＿ＮＲ２）を生成することができる。ノイズ低減部２２４は、テクスチャ情報（ＴＩ）に基づいて、テクスチャが一定レベル以上である一部の領域と、テクスチャが一定レベル未満である他の一部の領域で互いに異なるノイズ低減処理を行うことができる。

【0084】

一例として、ノイズ低減部２２４は、テクスチャ情報（ＴＩ）に基づいて、テクスチャが一定レベル以上である一部の領域（例えば、エッジや細い線が存在するイメージ領域）は、テクスチャの方向（エッジや細い線の方向）に沿ってターゲットピクセルの周辺ピクセルの重み平均を求めてノイズ低減を行うことができる。また、ノイズ低減部２２４は、テクスチャ情報（ＴＩ）に基づいて、テクスチャが一定レベル未満である他の一部の領域（例えば、平坦なイメージ領域またはグラデーションイメージ領域）は、ターゲットピクセルの周辺の周辺ピクセルの平均を求めてノイズ低減を行うことができる。

【0085】

また、色差算出部２２５は、テクスチャ情報（ＴＩ）に基づいて、ＲＧＢイメージとホワイトイメージ２２２の色差値（ＲＧＢ＿ＣＤ１）を算出することができる。

【0086】

一例として、色差算出部２２５は、テクスチャ情報（ＴＩ）に基づいて、テクスチャが一定レベル以上である一部の領域（例えば、エッジや細い線が存在するイメージ領域）は、テクスチャの方向（エッジや細い線の方向）に沿って色差を算出することができる。また、色差算出部２２５は、テクスチャ情報（ＴＩ）に基づいて、テクスチャが一定レベル未満である他の一部の領域（例えば、平坦なイメージ領域またはグラデーションイメージ領域）は、ターゲットピクセル周辺の周辺ピクセルを用いて色差を算出することができる。例えば、Ｒ（または、Ｇ、Ｂ）ピクセルの平均をホワイトピクセルの平均で割って色差を算出することができる。

【0087】

要素処理部２２０により生成された合成用イメージ（Ｔ）、ノイズ低減されたホワイトイメージ（Ｗ＿ＮＲ２）、および色差値（ＲＧＢ＿ＣＤ１）は、処理イメージ（ＰＩ２）として合成部３１０に伝達されることができる。

【0088】

残りの要素処理部２３０～２７０は、要素処理部２２０と比較して入出力されるイメージの大きさが異なるだけであって、要素処理部２２０と構成が同様であるため、要素処理部２３０～２７０に関する詳細構成および動作に関して重複する説明は省略する。

【0089】

図１０は、図５の合成部３１０に関する詳細構成を説明するための図である。
図１０を参照すると、合成部３１０は、色差合成部３１１およびホワイト（Ｗ）イメージ合成部３１２を含むことができる。

【0090】

色差合成部３１１は、要素処理部２２０から印加される合成用イメージ（Ｔ）に基づいて、色差値（ＲＧＢ＿ＣＤ１）と色差値（ＲＧＢ＿ＣＤ２）を合成して合成色差イメージ（ＲＧＢ＿ＣＤ３）を生成することができる。ここで、色差値（ＲＧＢ＿ＣＤ１）は、要素処理部２２０から印加されるＲＧＢイメージ（処理イメージ（ＰＩ２）に該当）に対する色差値を意味し得る。そして、色差値（ＲＧＢ＿ＣＤ２）は、合成部３２０から印加される縮小された解像度を有するＲＧＢイメージ（合成イメージ（ＳＩ２）に該当）に対する色差値を意味し得る。

【0091】

そして、ホワイトイメージ合成部３１２は、要素処理部２２０から印加される合成用イメージ（Ｔ）に基づいて、ホワイトイメージ（Ｗ＿ＮＲ２）とホワイトイメージ（Ｗ＿ＮＲ３）を合成して合成ホワイトイメージ（Ｗ＿ＮＲ４）を生成することができる。ここで、ホワイトイメージ（Ｗ＿ＮＲ２）は、要素処理部２２０から印加されるノイズ低減されたホワイトイメージ（処理イメージ（ＰＩ２）に該当）を意味し得る。そして、ホワイトイメージ（Ｗ＿ＮＲ３）は、合成部３２０から印加される縮小された解像度を有するホワイトイメージ（合成イメージ（ＳＩ２）に該当）を意味し得る。

【0092】

例えば、色差合成部３１１およびホワイトイメージ合成部３１２は、合成用イメージ（Ｔ）に基づいて、平坦なイメージ領域またはグラデーションイメージ領域では縮小されたイメージ（例えば、合成イメージ（ＳＩ２））に対する比率を増加させ、エッジや細い線が存在するイメージ領域では縮小されていない入力イメージ（例えば、処理イメージ（ＰＩ２））に対する比率を増加させ、２つの入力イメージを合成することができる。これにより、テクスチャが一定レベル以上である一部の領域は鮮明度が維持され、テクスチャが一定レベル未満である残りの領域はノイズが低減されることができる。

【0093】

残りの合成部３２０～３５０は、合成部３１０と比較して入出力されるイメージの大きさが異なるだけであって、合成部３１０と構成が同様であるため、合成部３００～３５０に関する詳細構成および動作に関して重複する説明は省略する。

【0094】

図１１は、図５のイメージ取得部に関する詳細構成を説明するための図である。そして、図１２は、図１１の色差信号補間部の動作を説明するための図である。

【0095】

図１１を参照すると、イメージ取得部４００は、色差合成部４０１、ホワイト（Ｗ）イメージ合成部４０２、エッジ強調信号生成部４０３、モアレ（ｍｏｉｒｅ）領域判定部４０４、色差信号補間部４０５、およびイメージ生成部４０６を含むことができる。

【0096】

色差合成部４０１は、要素処理部２１０により生成された合成用イメージ（Ｔ）に基づいて、要素処理部２１０から印加された色差値（Ｂ＿ＣＤ１）と合成部３１０から印加された合成色差イメージ（ＲＧＢ＿ＣＤ３）を合成して合成色差イメージ（ＲＧＢ＿ＣＤ４）を生成することができる。ここで、色差合成部４０１の一方の入力である色差値（Ｂ＿ＣＤ１）がベイヤーイメージであるため、合成色差イメージ（ＲＧＢ＿ＣＤ４）は、ベイヤーイメージであってもよい。

【0097】

ホワイトイメージ合成部４０２は、要素処理部２１０により生成された合成用イメージ（Ｔ）に基づいて、要素処理部２１０から印加されるノイズ低減されたホワイトイメージ（Ｗ＿ＮＲ１）と合成部３１０から印加される合成ホワイトイメージ（Ｗ＿ＮＲ４）を合成して合成ホワイトイメージ（Ｗ＿ＮＲ５）を生成することができる。

【0098】

例えば、色差合成部４０１およびホワイトイメージ合成部４０２は、合成用イメージ（Ｔ）に基づいて、平坦なイメージ領域またはグラデーションイメージ領域では縮小されたイメージ（例えば、合成イメージ（ＳＩ１））に対する比率を増加させ、エッジや細い線が存在するイメージ領域では縮小されていない入力イメージ（例えば、処理イメージ（ＰＩ１））に対する比率を増加させ、２つの入力イメージを合成することができる。

【0099】

エッジ強調信号生成部４０３は、イメージデータ４０のホワイトイメージ（Ｗ１）（図６の１１２に該当）とホワイトイメージ合成部４０２から印加された合成ホワイトイメージ（Ｗ＿ＮＲ５）におけるエッジ強調処理を行い、エッジ強調処理が完了したホワイトイメージ（Ｗ２）を出力することができる。すなわち、イメージ生成部４０６が出力ＲＧＢイメージを生成する前に、エッジ強調信号生成部４０３がエッジ強調処理を行ってコントラストを高めることで、出力ＲＧＢイメージのイメージテクスチャをさらに鮮明にすることができる。

【0100】

一例として、エッジ強調信号生成部４０３は、優先的にノイズが低減されていない元のイメージデータ４０のホワイトイメージ（Ｗ１）から高周波成分を抽出し、既に設定された周波数よりも大きい周波数はフィルタリングしてテクスチャ強調成分を生成することができる。そして、テクスチャ強調成分をノイズ低減処理が完了した合成ホワイトイメージ（Ｗ＿ＮＲ５）に加算し、エッジ強調処理が完了したホワイトイメージ（Ｗ２）を生成することができる。また、エッジ強調信号生成部４０３は、ノイズ低減処理が完了した合成ホワイトイメージ（Ｗ＿ＮＲ５）とノイズが低減されていない元のホワイトイメージ（Ｗ１）を組み合わせてエッジ強調処理を行うため、ノイズ低減処理で過度にぼやけた領域の鮮鋭度を高めることができる。

【0101】

モアレ領域判定部４０４は、イメージデータ４０のホワイトイメージ（Ｗ１）およびイメージ合成部４０２から印加された合成ホワイトイメージ（Ｗ＿ＮＲ５）に基づいてモアレ領域を判断し、モアレ判断信号（ＭＤＳ）を生成することができる。ここで、モアレとは、繰り返された模様を有する被写体を撮影する場合、この模様がイメージセンサの空間周波数と類似した領域で高周波成分が干渉を起こして発生した不均一なイメージを意味し得る。モアレ領域判定部４０４は、ホワイトイメージ（Ｗ１）および合成ホワイトイメージ（Ｗ＿ＮＲ５）からモアレ領域を検出し、検出有無に対応するモアレ判断信号（ＭＤＳ）を生成することができる。

【0102】

一例として、色モアレ（偽色）が発生する領域は、カラーピクセルのサンプリング間隔に対応するナイキスト（Ｎｙｑｕｉｓｔ ｆｒｅｑｕｅｎｃｙ）周波数よりも高周波のテクスチャが存在する領域であってもよい。ホワイトピクセルの場合、出力ピクセル数よりもピクセル数が少ないため、高周波成分のテクスチャ有無を確認できない周波数領域が存在し得る。本発明の実施形態は、ホワイトイメージが出力イメージと同一の解像度（ピクセル数）で入力されるため、ホワイトイメージを補間する必要がない。したがって、ホワイトイメージを参照すると、出力イメージのナイキスト周波数に至るまで高周波テクスチャの有無を判断することができる。すなわち、モアレ領域判定部４０４は、ホワイトイメージの各ピクセル周辺の高周波成分の有無を判断し、色モアレが発生する領域であるか否かを確認することができる。

【0103】

ここで、モアレ領域判定部４０４が色モアレ領域を判定する方法は、フーリエ（ｆｏｕｒｉｅｒ）変換、アダマール（ｈａｄａｍａｒｄ）変換、ハイパスフィルタなどを用いて高周波成分の振幅の強度を求める方式を利用することができる。他の例として、中心ピクセルを基準とし、水平方向や垂直方向に隣接するピクセル値の差分絶対値をそれぞれ加算し、加算された値の大小で判断する方式を利用してもよい。また他の例として、中心ピクセルを基準とし、上下ピクセルの差分絶対値と左右ピクセルの差分絶対値とを比較し、小さい方のピクセルペア（上下ピクセルまたは左右ピクセル）の平均値を計算することができる。そして、計算された平均値と中心ピクセルのピクセル値の差分絶対値を計算し、それをノイズ量と比較することで、ノイズ量よりも大きい場合に色モアレ領域と判断することができる。モアレ領域を判定する方式は、これに限定されず、他の方式を利用してもよい。

【0104】

色差信号補間部４０５は、モアレ判断信号（ＭＤＳ）、合成用イメージ（Ｔ）に基づいて、合成ホワイトイメージ（Ｗ＿ＮＲ５）と合成色差イメージ（ＲＧＢ＿ＣＤ４）を補間し、補間完了したＲＧＢイメージ（ＩＲＧＢ）を出力することができる。ここで、色差信号補間部４０５の入力として、出力イメージと同一の解像度を有し、補間を必要としない合成ホワイトイメージ（Ｗ＿ＮＲ５）を用いることができる。色差信号補間部４０５は、この合成ホワイトイメージ（Ｗ＿ＮＲ５）に基づいて、レッドイメージ（または、グリーンイメージ、ブルーイメージ）とホワイトイメージとの色差を補間し、補間完了したＲＧＢイメージ（ＩＲＧＢ）を生成することができる。

【0105】

例えば、図１２の（Ａ）を参照すると、色差信号補間部４０５は、モアレ判断信号（ＭＤＳ）に基づいて色モアレ領域でない場合にホワイトイメージで方向を判断し、その方向に基づいてＲ色差、Ｇ色差、Ｂ色差の補間を行うことができる。一実施形態によると、Ｒ色差、Ｇ色差、Ｂ色差の補間は、線形補間（ｌｉｎｅａｒ ｉｎｔｅｒｐｏｌａｔｉｏｎ）であってもよいが、本発明の範囲はこれに限定されない。

【0106】

これに対し、図１２の（Ｂ）を参照すると、色差信号補間部４０５は、モアレ判断信号（ＭＤＳ）に基づいて色モアレ領域である場合に色差を補間することができる。一実施形態によると、色差の補間は、ガイドフィルタ（Ｇｕｉｄｅｄ Ｆｉｌｔｅｒ）のようにエッジ情報を考慮したフィルタリングを用いて補間を行うことができる。すなわち、ホワイトイメージＷ（ｘ）を任意の係数（ａ、ｂ）を用いて線形変換したテクスチャが各色差イメージ（色差（ｘ））であると仮定することができる。線形変換の係数（ａ、ｂ）を線形回帰により計算して中心ピクセルのピクセル値を計算することで補間することができる。例えば、線形回帰を計算するために、中心ピクセルの周辺に存在する複数の周辺ピクセルのホワイトイメージのピクセル値と色差イメージのピクセル値を用いることができる。線形回帰によって計算された係数（ａ、ｂ）を用いて色差イメージ（色差（ｘ））を決定することができる。

【0107】

また、イメージ生成部４０６は、エッジ強調処理が完了したホワイトイメージ（Ｗ２）および補間完了したＲＧＢイメージ（ＩＲＧＢ）に基づいて出力ＲＧＢイメージを生成することができる。一例として、イメージ生成部４０６は、補間完了したＲＧＢイメージ（ＩＲＧＢ）にエッジ強調処理が完了したホワイトイメージ（Ｗ２）のピクセル値を乗じて出力ＲＧＢイメージを生成することができる。これにより、ＲＧＢイメージ生成部４０６は、色歪みが減少し、ノイズ低減処理された出力ＲＧＢイメージを生成することができる。

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】