特開 2024-115490 画像のノイズを減少させる方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2024115490

(43)【公開日】2024-08-26

(54)【発明の名称】画像のノイズを減少させる方法

(51)【国際特許分類】

   H04N 23/60 20230101AFI20240819BHJP

   H04N 23/54 20230101ALI20240819BHJP

   H04N 23/12 20230101ALI20240819BHJP

   H04N 25/11 20230101ALI20240819BHJP

   H04N 25/133 20230101ALI20240819BHJP

   G06T 1/00 20060101ALI20240819BHJP

【ＦＩ】

H04N23/60 500

H04N23/54

H04N23/12

H04N25/11

H04N25/133

G06T1/00 510

【審査請求】未請求

【請求項の数】18

【出願形態】ＯＬ

(21)【出願番号】P 2023040215

(22)【出願日】2023-03-15

(31)【優先権主張番号】10-2023-0019062

(32)【優先日】2023-02-14

(33)【優先権主張国・地域又は機関】KR

(71)【出願人】

【識別番号】310024033

【氏名又は名称】エスケーハイニックス株式会社

【氏名又は名称原語表記】ＳＫ ｈｙｎｉｘ Ｉｎｃ．

【住所又は居所原語表記】２０９１， Ｇｙｅｏｎｇｃｈｕｎｇ－ｄａｅｒｏ，Ｂｕｂａｌ－ｅｕｂ，Ｉｃｈｅｏｎ－ｓｉ，Ｇｙｅｏｎｇｇｉ－ｄｏ，Ｋｏｒｅａ

(74)【代理人】

【識別番号】110000796

【氏名又は名称】弁理士法人三枝国際特許事務所

(72)【発明者】

【氏名】矢幡 和浩

【テーマコード（参考）】

5B057

5C122

【Ｆターム（参考）】

5B057BA12

5B057CA01

5B057CA08

5B057CA12

5B057CA16

5B057CB01

5B057CB08

5B057CB12

5B057CB16

5B057CC02

5B057CD05

5B057CE02

5B057CE16

5C122DA01

5C122EA22

5C122FC01

5C122FC02

5C122FC06

5C122FC07

5C122FH07

5C122FH11

5C122HA87

5C122HA88

5C122HB01

5C122HB10

(57)【要約】

【課題】画像データに含まれたノイズを減少させる。
【解決手段】本開示の実施例による電子装置１０は、カラー画素Ｒ，Ｇ，Ｂ，Ｏ及びテクスチャ画素Ｔを用いてカラー画素値４１１，４２１及びテクスチャ画素値４１２，４２２を含む画像データ４１０，４２０を取得する画像センサ１００と、画像データ４１０，４２０に基づいて異なるサイズの２以上の画像を生成する解像度変換部２１０と、２以上の画像のそれぞれに含まれる変換されたカラー画素値及び変換されたテクスチャ画素値を用いて２以上の画像のそれぞれに対応する２以上のパラメータ画像を取得するパラメータ算出部２２０と、２以上のパラメータ画像を合成して合成パラメータ画像を取得するパラメータ合成部２３０と、合成パラメータ画像及びテクスチャ画素値に基づいて出力画像を取得する画像取得部２４０と、を含んでもよい。
【選択図】図６

【特許請求の範囲】

【請求項1】

カラー画素及びテクスチャ画素を用いてカラー画素値及びテクスチャ画素値を含む画像データを取得する画像センサと、
上記画像データに基づいて異なるサイズの２以上の画像を生成する解像度変換部と、
上記２以上の画像のそれぞれに含まれる変換されたカラー画素値及び変換されたテクスチャ画素値を用いて上記２以上の画像のそれぞれに対応する２以上のパラメータ画像を取得するパラメータ算出部と、
上記２以上のパラメータ画像を合成して合成パラメータ画像を取得するパラメータ合成部と、
上記合成パラメータ画像及び上記画像データに含まれた上記テクスチャ画素値に基づいて出力画像を取得する画像取得部と、を含むことを特徴とする電子装置。

【請求項2】

上記解像度変換部は、
上記画像データの解像度を変換して上記画像データに比べて縮小されたサイズの第１画像を取得し、
上記第１画像の解像度を変換して上記第１画像に比べて縮小されたサイズの第２画像を取得することを特徴とする請求項１に記載の電子装置。

【請求項3】

上記パラメータ算出部は、
上記第１画像に含まれた第１変換されたカラー画素値及び第１変換されたテクスチャ画素値を用いて上記第１画像に対応する第１パラメータ画像を取得し、
上記第２画像に含まれた第２変換されたカラー画素値及び第２変換されたテクスチャ画素値を用いて上記第２画像に対応する第２パラメータ画像を取得することを特徴とする請求項２に記載の電子装置。

【請求項4】

上記パラメータ算出部は、
上記第１画像に含まれた上記第１変換されたカラー画素値及び上記第１変換されたテクスチャ画素値のうち、上記第１画像上の第１地点を基準とする第１領域に含まれる上記第１変換されたカラー画素値及び上記第１変換されたテクスチャ画素値を用いて上記第１パラメータ画像のうち上記第１地点に対応する第１パラメータ値を取得することを特徴とする請求項３に記載の電子装置。

【請求項5】

上記パラメータ合成部は、
テクスチャが一定レベル以上の一部の領域は上記第１パラメータ画像を、他の一部の領域は上記第２パラメータ画像に基づいて上記合成パラメータ画像を生成することを特徴とする請求項３に記載の電子装置。

【請求項6】

上記画像取得部は、
上記合成パラメータ画像に対応する関数を取得し、
画素位置及び上記画素位置に対応する上記テクスチャ画素値を上記関数に入力して上記出力画像を生成することを特徴とする請求項１に記載の電子装置。

【請求項7】

上記画像センサは、
単位画素ごとに１つのカラー画素及び３つのテクスチャ画素を含むか、または２つのカラー画素及び２つのテクスチャ画素を含むことを特徴とする請求項１に記載の電子装置。

【請求項8】

上記画像センサは、
第１モードにおいて、上記単位画素ごとに１つのカラー画素値及び１つのテクスチャ画素値を出力し、
第２モードにおいて、上記単位画素ごとに１つのカラー画素値及び３つのテクスチャ画素値を出力するか、または２つのカラー画素値及び２つのテクスチャ画素値を出力することを特徴とする請求項７に記載の電子装置。

【請求項9】

画像センサからカラー画素値及びテクスチャ画素値を含む画像データを受信する受信部と、
上記画像データに基づいて異なるサイズの２以上の画像を生成する解像度変換部と、
上記２以上の画像のそれぞれに含まれる変換されたカラー画素値及び変換されたテクスチャ画素値を用いて上記２以上の画像のそれぞれに対応する２以上のパラメータ画像を取得するパラメータ算出部と、
上記２以上のパラメータ画像を合成して合成パラメータ画像を取得するパラメータ合成部と、
上記合成パラメータ画像及び上記画像データに含まれた上記テクスチャ画素値に基づいて出力画像を取得する画像取得部と、を含むことを特徴とする画像プロセッサ。

【請求項10】

上記解像度変換部は、
上記画像データの解像度を変換して上記画像データに比べて縮小されたサイズの第１画像を取得する第１解像度変換部と、
上記第１画像の解像度を変換して上記第１画像に比べて縮小されたサイズの第２画像を取得する第２解像度変換部と、を含むことを特徴とする請求項９に記載の画像プロセッサ。

【請求項11】

上記パラメータ算出部は、
上記第１画像に含まれた第１変換されたカラー画素値及び第１変換されたテクスチャ画素値を用いて上記第１画像に対応する第１パラメータ画像を取得する第１パラメータ算出部と、
上記第２画像に含まれた第２変換されたカラー画素値及び第２変換されたテクスチャ画素値を用いて上記第２画像に対応する第２パラメータ画像を取得する第２パラメータ算出部と、を含むことを特徴とする請求項１０に記載の画像プロセッサ。

【請求項12】

上記パラメータ合成部は、
テクスチャが一定レベル以上の一部の領域は上記第１パラメータ画像を、他の一部の領域は上記第２パラメータ画像に基づいて上記合成パラメータ画像を生成することを特徴とする請求項１１に記載の画像プロセッサ。

【請求項13】

上記画像取得部は、
上記合成パラメータ画像に対応する関数を取得し、
画素位置及び上記画素位置に対応する上記テクスチャ画素値を上記関数に入力して上記出力画像を生成することを特徴とする請求項９に記載の画像プロセッサ。

【請求項14】

画像センサに含まれたカラー画素及びテクスチャ画素を用いてカラー画素値及びテクスチャ画素値を含む画像データを取得する段階と、
上記画像データに基づいて異なるサイズの２以上の画像を生成する段階と、
上記２以上の画像のそれぞれに含まれる変換されたカラー画素値及び変換されたテクスチャ画素値を用いて上記２以上の画像のそれぞれに対応する２以上のパラメータ画像を取得する段階と、
上記２以上のパラメータ画像を合成して合成パラメータ画像を取得する段階と、
上記合成パラメータ画像及び上記画像データに含まれた上記テクスチャ画素値に基づいて出力画像を取得する段階と、を含むことを特徴とする画像処理方法。

【請求項15】

異なるサイズの上記２以上の画像を生成する段階は、
上記画像データの解像度を変換して上記画像データに比べて縮小されたサイズの第１画像を取得する段階と、
上記第１画像の解像度を変換して上記第１画像に比べて縮小されたサイズの第２画像を取得する段階と、を含むことを特徴とする請求項１４に記載の画像処理方法。

【請求項16】

上記２以上のパラメータ画像を取得する段階は、
上記第１画像に含まれた第１変換されたカラー画素値及び第１変換されたテクスチャ画素値を用いて上記第１画像に対応する第１パラメータ画像を取得する段階と、
上記第２画像に含まれた第２変換されたカラー画素値及び第２変換されたテクスチャ画素値を用いて上記第２画像に対応する第２パラメータ画像を取得する段階と、を含むことを特徴とする請求項１５に記載の画像処理方法。

【請求項17】

上記合成パラメータ画像を取得する段階は、
テクスチャが一定レベル以上の一部の領域は上記第１パラメータ画像を、他の一部の領域は上記第２パラメータ画像に基づいて上記合成パラメータ画像を生成する段階を含むことを特徴とする請求項１６に記載の画像処理方法。

【請求項18】

上記出力画像を取得する段階は、
上記合成パラメータ画像に対応する関数を取得する段階と、
画素位置及び上記画素位置に対応する上記テクスチャ画素値を上記関数に入力して上記出力画像を生成する段階と、を含むことを特徴とする請求項１４に記載の画像処理方法。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は画像データに含まれたノイズを減少させる技術に関する。

【背景技術】

【0002】

近年、電子装置の機能が多様化するに伴って電子装置を用いた画像撮影機能の向上に対する要求も増えている。これにより、電子装置を介して取得する画像の品質を向上させるための技術が求められている。

【0003】

画像センサで撮影した画像データは様々な種類のノイズを含む。例えば、画像データには輝度ノイズ（ｌｕｍｉｎａｎｃｅ ｎｏｉｓｅ）やカラーノイズ（ｃｈｒｏｍａｔｉｃ ｎｏｉｓｅ）などが含まれる。電子装置が画像データからノイズを減少させる方法には平均フィルタ（ａｖｅｒａｇｅ ｆｉｌｔｅｒ）やガウスフィルタ（Ｇａｕｓｓｉａｎ ｆｉｌｔｅｒ）などを用いて画像をぼかす（ｂｌｕｒｒｉｎｇ）方式がある。

【発明の概要】

【発明が解決しようとする課題】

【0004】

電子装置が画像データからノイズを減少させるための方法としては、画像データのうちテクスチャの少ない領域には解像度を縮小した画像データを合成する方式も用いることができる。ただし、画像データにノイズが含まれた場合には上記ノイズによってテクスチャ有無の判断が難しくなるため、テクスチャのある領域であるにもかかわらず過度にブラー処理される場合がある。

【課題を解決するための手段】

【0005】

本開示の実施例による電子装置は、カラー画素及びテクスチャ画素を用いてカラー画素値及びテクスチャ画素値を含む画像データを取得する画像センサと、上記画像データに基づいて異なるサイズの２以上の画像を生成する解像度変換部と、上記２以上の画像のそれぞれに含まれる変換されたカラー画素値及び変換されたテクスチャ画素値を用いて上記２以上の画像のそれぞれに対応する２以上のパラメータ画像を取得するパラメータ算出部と、上記２以上のパラメータ画像を合成して合成パラメータ画像を取得するパラメータ合成部と、上記合成パラメータ画像及び上記画像データに含まれた上記テクスチャ画素値に基づいて出力画像を取得する画像取得部と、を含んでもよい。

【0006】

本開示の実施例による画像プロセッサは、画像センサからカラー画素値及びテクスチャ画素値を含む画像データを受信する受信部と、上記画像データに基づいて異なるサイズの２以上の画像を生成する解像度変換部と、上記２以上の画像のそれぞれに含まれる変換されたカラー画素値及び変換されたテクスチャ画素値を用いて上記２以上の画像のそれぞれに対応する２以上のパラメータ画像を取得するパラメータ算出部と、上記２以上のパラメータ画像を合成して合成パラメータ画像を取得するパラメータ合成部と、上記合成パラメータ画像及び上記画像データに含まれた上記テクスチャ画素値に基づいて出力画像を取得する画像取得部と、を含んでもよい。

【0007】

本開示の実施例による画像処理方法は、画像センサに含まれたカラー画素及びテクスチャ画素を用いてカラー画素値及びテクスチャ画素値を含む画像データを取得する段階と、上記画像データに基づいて異なるサイズの２以上の画像を生成する段階と、上記２以上の画像のそれぞれに含まれる変換されたカラー画素値及び変換されたテクスチャ画素値を用いて上記２以上の画像のそれぞれに対応する２以上のパラメータ画像を取得する段階と、上記２以上のパラメータ画像を合成して合成パラメータ画像を取得する段階と、上記合成パラメータ画像及び上記画像データに含まれた上記テクスチャ画素値に基づいて出力画像を取得する段階と、を含んでもよい。

【発明の効果】

【0008】

本開示によると、電子装置は画像データに含まれたノイズを減少させながらも過度にぼかされた領域が減少して鮮鋭度の高い画像を取得することができる。

【図面の簡単な説明】

【0009】

【図1】本発明の実施例による電子装置を説明するための図である。

【図2】本発明の実施例による画像センサを説明するための図である。

【図3】本発明の実施例による画像センサに含まれたカラー画素及びテクスチャ画素を説明するための図である。

【図4】本発明の実施例による画像センサから出力される画像データの例を説明するための図である。

【図5】本発明の実施例による画像プロセッサを説明するための図である。

【図6】本発明の実施例による画像データに含まれたノイズを減少させる方法を説明するための図である。

【図7】本発明の実施例によるパラメータ画像を用いてノイズの減少した画像を取得する画像プロセッサの構成を説明するための図である。

【図8】本発明の実施例によるパラメータ画像を用いてノイズの減少した画像を取得する画像プロセッサの他の構成を説明するための図である。

【図9】本発明の実施例によるパラメータ画像を用いてノイズの減少した画像を取得する画像プロセッサのさらに他の構成を説明するための図である。

【図10】本発明の実施例によるパラメータ画像を用いてノイズの減少した画像を取得する画像プロセッサのさらに他の構成を説明するための図である。

【発明を実施するための形態】

【0010】

本明細書または出願に開示されている本発明の概念による実施例に対する特定の構造的または機能的説明は本発明の概念による実施例を説明する目的でのみ例示されており、本発明の概念による実施例は様々な形態で実施することができ、本明細書または出願に説明された実施例に限定されると解釈すべきではない。

【0011】

以下では、本発明が属する技術分野で通常の知識を有する者が本発明の技術的思想を容易に実施できる程度に詳細に説明するために、本発明の実施例を添付の図面を参照して説明する。

【0012】

図１は本発明の実施例による装置を説明するための図である。

【0013】

図１を参照すると、電子装置１０は画像センサ１００及び画像プロセッサ２００を含んでもよい。例えば、電子装置１０はデジタルカメラ、モバイル機器、スマートフォン、タブレットＰＣ、ＰＤＡ（ｐｅｒｓｏｎａｌ ｄｉｇｉｔａｌ ａｓｓｉｓｔａｎｔ）、ＥＤＡ（ｅｎｔｅｒｐｒｉｓｅ ｄｉｇｉｔａｌ ａｓｓｉｓｔａｎｔ）、デジタルスチルカメラ（ｄｉｇｉｔａｌ ｓｔｉｌｌ ｃａｍｅｒａ）、デジタルビデオカメラ（ｄｉｇｉｔａｌ ｖｉｄｅｏ ｃａｍｅｒａ）、ＰＭＰ（ｐｏｒｔａｂｌｅ ｍｕｌｔｉｍｅｄｉａ ｐｌａｙｅｒ）、モバイルインターネットデバイス（ｍｏｂｉｌｅ ｉｎｔｅｒｎｅｔ ｄｅｖｉｃｅ（ＭＩＤ））、ＰＣ（Ｐｅｒｓｏｎａｌ Ｃｏｍｐｕｔｅｒ）、ウェアラブルデバイス（ｗｅａｒａｂｌｅ ｄｅｖｉｃｅ）、自動車、または様々な目的のカメラを含む装置に該当することができる。または、図１の電子装置１０は他の装置に実装される部品やモジュール（例えば、カメラモジュール）に該当することもできる。

【0014】

画像センサ１００はＣＣＤ（ｃｈａｒｇｅ ｃｏｕｐｌｅｄ ｄｅｖｉｃｅ）画像センサまたはＣＭＯＳ（ｃｏｍｐｌｅｍｅｎｔａｒｙ ｍｅｔａｌ ｏｘｉｄｅ ｓｅｍｉｃｏｎｄｕｃｔｏｒ）画像センサで具現されてもよい。画像センサ１００は入射した光に対する画像データを生成することができる。例えば、画像センサ１００はレンズを介して入射した被写体の光情報を電気的信号に変換して画像プロセッサ２００に提供することができる。

【0015】

画像センサ１００は複数の画素を含んでもよい。画像センサ１００は複数の画素を介して撮影された場面に対応する画像データを生成することができる。上記画像データは複数の画素値ＤＰＸｓを含んでもよい。複数の画素値ＤＰＸｓのそれぞれはデジタルタイプの画素値であってもよい。画像センサ１００は複数の画素を介して取得した複数の画素値ＤＰＸｓを含む画像データを画像プロセッサ２００に提供することができる。

【0016】

画像プロセッサ２００は画像センサ１００から受信した画像データに対して画像処理を行うことができる。例えば、画像プロセッサ２００は上記画像データに対して補間、ＥＩＳ（Ｅｌｅｃｔｒｏｎｉｃ Ｉｍａｇｅ Ｓｔａｂｉｌｉｚａｔｉｏｎ）、色調補正、画質補正、サイズ調整、またはノイズ低減のうち少なくとも１つを行うことができる。画像プロセッサ２００は上記画像処理によって品質の改善された画像を取得することができる。画像プロセッサ２００は画像処理装置ということもできる。

【0017】

図１を参照すると、画像プロセッサ２００は画像センサ１００と独立したチップで具現されてもよい。この場合、画像センサ１００のチップと画像プロセッサ２００のチップは１つのパッケージ、例えば、マルチチップパッケージ（ｍｕｌｔｉ－ｃｈｉｐ ｐａｃｋａｇｅ）で具現されることができる。ただし、これに限定されず、本発明の他の実施例によると、画像プロセッサ２００は画像センサ１００の一部として含まれ、１つのチップで具現されてもよい。

【0018】

図２は本発明の実施例による画像センサを説明するための図である。

【0019】

図２を参照すると、画像センサ１００は画素アレイ１１０、行デコーダ１２０、タイミング生成器１３０、及び信号変換器１４０を含んでもよい。また、画像センサ１００は出力バッファ１５０をさらに含んでもよい。

【0020】

画素アレイ１１０は行（ｒｏｗ）方向と列（ｃｏｌｕｍｎ）方向に配列された複数の画素を含んでもよい。それぞれの画素は該当画素に入射した光の強度に対応する画素信号ＶＰＸｓを生成することができる。画像センサ１００は画素アレイ１１０の行ごとに複数の画素信号ＶＰＸｓを読み出すことができる。複数の画素信号ＶＰＸｓはそれぞれアナログタイプの画素信号であってもよい。

【0021】

画素アレイ１１０はカラーフィルタアレイ１１１を含んでもよい。カラーフィルタアレイ１１１は各画素に入射する光の特定の色（例えば、赤、緑、青）の波長のみを通過させるカラーフィルタを含んでもよい。カラーフィルタアレイ１１１の下に配置された画素（例えば、カラー画素）は特定波長の光の強度に対応する画素信号を出力することができる。

【0022】

カラーフィルタアレイ１１１は画素アレイ１１０に含まれる全ての画素にそれぞれ対応するカラーフィルタを含まなくてもよい。即ち、カラーフィルタアレイ１１１は画素アレイ１１０に含まれた画素の一部の画素に対応する位置にはカラーフィルタを含まなくてもよい。本開示では、上記一部の画素はテクスチャ画素ということができる。テクスチャ画素は入射光の色や波長に関わらず入射光（例えば、可視光の全領域に該当する入射光）の強度に対応する画素信号を出力することができる。カラー画素及びテクスチャ画素に関して図３を参照して後述する。

【0023】

画素アレイ１１０は複数の光電変換素子（ｐｈｏｔｏｅｌｅｃｔｒｉｃ ｃｏｎｖｅｒｓｉｏｎ ｅｌｅｍｅｎｔ）（例えば、フォトダイオード（ｐｈｏｔｏ ｄｉｏｄｅ）、フォトトランジスタ（ｐｈｏｔｏ ｔｒａｎｓｉｓｔｏｒ）、フォトゲート（ｐｈｏｔｏｇａｔｅ）、またはピン留めフォトダイオード（ｐｉｎｎｅｄ ｐｈｏｔｏ ｄｉｏｄｅ））を含む光電変換層１１３を含んでもよい。複数の画素のそれぞれは光電変換層１１３を介して入射光に対応する光電荷を蓄積し、蓄積された光電荷に相応する画素信号ＶＰＸｓを生成及び出力することができる。

【0024】

行デコーダ１２０はタイミング生成器１３０から出力されたアドレス及び制御信号に応答して画素アレイ１１０において複数の画素が配列された複数の行のうち１つの行（ｒｏｗ）を選択することができる。画像センサ１００は行デコーダ１２０の制御に応じて画素アレイ１１０に含まれた複数の画素のうち特定行に含まれた行の画素を読み出すことができる。

【0025】

信号変換器１４０はアナログタイプの画素信号ＶＰＸｓをデジタルタイプの画素値ＤＰＸｓに変換することができる。信号変換器１４０はタイミング生成器１３０から出力された制御信号に応答して画素アレイ１１０から出力された複数の画素信号ＶＰＸｓのそれぞれに対してＣＤＳ（ｃｏｒｒｅｌａｔｅｄ ｄｏｕｂｌｅ ｓａｍｐｌｉｎｇ）を行い、ＣＤＳされた信号のそれぞれをアナログ－デジタル変換した複数の画素値ＤＰＸｓを出力することができる。

【0026】

信号変換器１４０はＣＤＳ（ｃｏｒｒｅｌａｔｅｄ ｄｏｕｂｌｅ ｓａｍｐｌｉｎｇ）ブロックとＡＤＣ（ａｎａｌｏｇ ｔｏ ｄｉｇｉｔａｌ ｃｏｎｖｅｒｔｅｒ）ブロックを含んでもよい。ＣＤＳブロックは、画素アレイ１１０に含まれた列ラインから提供される基準信号と映像信号のセットを順にサンプリング及びホールディング（ｓａｍｐｌｉｎｇ ａｎｄ ｈｏｌｄｉｎｇ）することができる。このとき、基準信号は画素アレイ１１０に含まれた画素をリセットしてから読み出した画素信号に該当し、映像信号は上記画素を露出させてから読み出した画素信号に該当することができる。ＣＤＳブロックは列のそれぞれに対応する基準信号と映像信号のレベル差を利用して読み出しノイズが減少した信号を取得することができる。ＡＤＣブロックはＣＤＳブロックから出力されるそれぞれの列に対するアナログ信号（例えば、画素信号ＶＰＸｓ）をデジタル変換してデジタル信号（例えば、画素値ＤＰＸｓ）を出力することができる。そのために、ＡＤＣブロックは各列に対応する比較器及びカウンタを含んでもよい。

【0027】

出力バッファ１５０は信号変換器１４０から出力されたデジタル信号を保存する複数のバッファで具現されてもよい。具体的には、出力バッファ１５０は信号変換器１４０から提供されるそれぞれの列単位の画素値をラッチ（ｌａｔｃｈ）して出力することができる。出力バッファ１５０は信号変換器１４０から出力される画素値を一時保存し、タイミング生成器１３０の制御に応じて画素値を順に出力することができる。上記順に出力される画素値は画像データに含まれると理解することができる。本発明の実施例によると、出力バッファ１５０は省略されてもよい。

【0028】

図３は本発明の実施例による画像センサに含まれたカラー画素及びテクスチャ画素を説明するための図である。

【0029】

図３は本開示による画素アレイ（例えば、図２の画素アレイ１１０）の例を示す。本開示による電子装置１０の画像センサ１００はカラー画素（例えば、Ｒ、Ｇ、Ｂ、Ｏ）及びテクスチャ画素Ｔを含んでもよい。カラー画素（例えば、Ｒ、Ｇ、Ｂ、Ｏ）及びテクスチャ画素Ｔは図３に示すように様々な形態で配列されてもよい。

【0030】

カラー画素（例えば、Ｒ、Ｇ、Ｂ、Ｏ）はそれぞれ対応するカラーフィルタによって特定波長の光が入射する画素であってもよい。テクスチャ画素Ｔは対応するカラーフィルタのない画素であり、白黒画素またはモノ画素ということができる。例えば、カラー画素（例えば、Ｒ、Ｇ、Ｂ、Ｏ）は特定波長の入射光のみを透過させるカラーフィルタによって特定の色（例えば、赤、緑、青、オレンジ）の入射光によるカラー画素値を取得することができる。これとは異なって、テクスチャ画素Ｔは特定の色に限定されない入射光（例えば、可視光）によってテクスチャ画素値を取得することができる。

【0031】

画素アレイ３１０は４つの色のカラー画素（例えば、Ｒ、Ｇ、Ｂ、Ｏ）及びテクスチャ画素Ｔを含んでもよい。画素アレイ３１０は赤画素Ｒ、緑画素Ｇ、青画素Ｂ、オレンジ画素Ｏ、及びテクスチャ画素Ｔを含んでもよい。図３を参照すると、画素アレイ３１０はそれぞれ２×２配列の画素を含む単位画素を含み、各単位画素には１つのカラー画素（例えば、Ｒ、Ｇ、Ｂ、Ｏ）及び３つのテクスチャ画素Ｔが含まれてもよい。

【0032】

画素アレイ３２０は４つの色のカラー画素（例えば、Ｒ、Ｇ、Ｂ、Ｏ）及びテクスチャ画素Ｔを含んでもよい。画素アレイ３２０は赤画素Ｒ、緑画素Ｇ、青画素Ｂ、オレンジ画素Ｏ、及びテクスチャ画素Ｔを含んでもよい。図３を参照すると、画素アレイ３２０はそれぞれ２×２配列の画素を含む単位画素を含み、各単位画素には２つのカラー画素（例えば、Ｒ、Ｇ、Ｂ、Ｏ）及び２つのテクスチャ画素Ｔが含まれてもよい。画素アレイ３２０の場合、各単位画素に含まれる２つのカラー画素は同じ色のカラー画素であってもよい。

【0033】

画素アレイ３３０は３つの色のカラー画素（例えば、Ｒ、Ｇ、Ｂ）及びテクスチャ画素Ｔを含んでもよい。画素アレイ３３０は赤画素Ｒ、緑画素Ｇ、青画素Ｂ、及びテクスチャ画素Ｔを含んでもよい。図３を参照すると、画素アレイ３３０はそれぞれ２×２配列の画素を含む単位画素を含み、各単位画素には１つのカラー画素（例えば、Ｒ、Ｇ、Ｂ）及び３つのテクスチャ画素Ｔが含まれてもよい。

【0034】

画素アレイ３４０は３つの色のカラー画素（例えば、Ｒ、Ｇ、Ｂ）及びテクスチャ画素Ｔを含んでもよい。画素アレイ３４０は赤画素Ｒ、緑画素Ｇ、青画素Ｂ、及びテクスチャ画素Ｔを含んでもよい。図３を参照すると、画素アレイ３４０はそれぞれ２×２配列の画素を含む単位画素を含み、各単位画素には２つのカラー画素（例えば、Ｒ、Ｇ、Ｂ）及び２つのテクスチャ画素Ｔが含まれてもよい。画素アレイ３４０の場合、各単位画素に含まれる２つのカラー画素は同じ色のカラー画素であってもよい。

【0035】

図３にはカラー画素（例えば、Ｒ、Ｇ、Ｂ、Ｏ）及びテクスチャ画素Ｔが配列され得る４つの例が示されているが、本開示の権利範囲はこれに限定されない。例えば、画像センサ１００の画素アレイ１１０はＲＧＢやＲＧＢＯの他にもＣＭＹ色の画素配列を有することができる。他の例として、画素アレイ１１０は各単位画素ごとに左上端（または、左上端及び右下端）の代わりに他の可能な位置（例えば、右上端）にカラー画素が配列されるように構成されてもよい。

【0036】

図４は本発明の実施例による画像センサから出力される画像データの例を説明するための図である。

【0037】

図４は画像センサ１００がカラー画素（例えば、Ｒ、Ｇ、Ｂ、Ｏ）及びテクスチャ画素Ｔを用いて取得及び出力する画像データ４１０、４２０の形態を示す。画像センサ１００はモードに応じて画像プロセッサ２００に出力する画像データ４１０、４２０の形態を異ならせて生成することができる。

【0038】

第１モードでは、画像センサ１００は全体の画素数に比べて少ない数（例えば、半分）の画素値を含む画像データ４１０を出力することができる。画像センサ１００は単位画素ごとに１つのカラー画素値４１１及び１つのテクスチャ画素値４１２を出力することができる。例えば、画像センサ１００が画素アレイ３１０を含む場合、画像センサ１００は単位画素ごとに含まれた３つのテクスチャ画素Ｔから取得した値を足すか（ａｄｄ）、または平均演算（ａｖｅｒａｇｅ）したテクスチャ画素値４１２を出力することができる。他の例を挙げると、画像センサ１００が画素アレイ３２０を含む場合、画像センサ１００は単位画素ごとに含まれた２つのカラー画素Ｒから取得した値を足すか、または平均演算したカラー画素値４１１を出力し、単位画素ごとに含まれた２つのテクスチャ画素Ｔから取得した値を足すか、または平均演算したテクスチャ画素値４１２を出力することができる。第１モードはハーフ解像度モード（ｈａｌｆ ｒｅｓｏｌｕｔｉｏｎ ｍｏｄｅ）ということができる。

【0039】

第２モードでは、画像センサ１００は全体の画素数に対応する画素値を含む画像データ４２０を出力することができる。画像センサ１００は各画素を介して取得した値同士を足したり平均演算を行わずにそれぞれの画素値を含む画像データ４２０を出力することができる。例えば、画像センサ１００が画素アレイ３１０を含む場合、画像センサ１００は単位画素ごとに１つのカラー画素値４２１及び３つのテクスチャ画素値４２２を出力することもできる。図４には示されていないが、画像センサ１００が画素アレイ３２０を含む場合には、単位画素ごとに２つのカラー画素値及び２つのテクスチャ画素値を出力することができる。第２モードはフル解像度モード（ｆｕｌｌ ｒｅｓｏｌｕｔｉｏｎ ｍｏｄｅ）ということができる。

【0040】

図４では、画像センサ１００がＲ、Ｇ、Ｂ、Ｏの画素アレイ３１０、３２０を含む場合を前提として画像データ４１０、４２０の例を説明したが、画像センサ１００がその他の配列を有する画素アレイ（例えば、３３０、３４０）を含む場合にも第１モードまたは第２モードに応じて生成される画像データの形態が決まることができる。

【0041】

図５は本発明の実施例による画像プロセッサを説明するための図である。

【0042】

図５を参照すると、画像プロセッサ２００は解像度変換部２１０、パラメータ算出部２２０、パラメータ合成部２３０、及び画像取得部２４０を含んでもよい。図５には示されていないが、画像プロセッサ２００は画像センサ１００から画像データ４１０、４２０を受信する受信部をさらに含んでもよい。受信部は画像センサ１００からカラー画素値及びテクスチャ画素値を含む画像データを受信することができる。

【0043】

解像度変換部２１０は画像データ４１０、４２０に基づいて異なるサイズの２以上の画像を生成することができる。解像度変換部２１０は画像データ４１０、４２０の解像度を変換して画像データ４１０、４２０に比べて縮小されたサイズの第１画像を取得する第１解像度変換部を含んでもよい。また、解像度変換部２１０は第１画像の解像度を変換して第１画像に比べて縮小されたサイズの第２画像を取得する第２解像度変換部を含んでもよい。例えば、第１画像は画像データ４１０、４２０に比べて１／２に縮小されたサイズであり、第２画像は画像データ４１０、４２０に比べて１／４に縮小されたサイズであってもよい。

【0044】

パラメータ算出部２２０は、上記２以上の画像のそれぞれに含まれる変換されたカラー画素値及び変換されたテクスチャ画素値を用いて上記２以上の画像のそれぞれに対応する２以上のパラメータ画像を取得することができる。パラメータ算出部２２０は、第１画像に含まれた第１変換されたカラー画素値及び第１変換されたテクスチャ画素値を用いて第１画像に対応する第１パラメータ画像を取得する第１パラメータ算出部を含んでもよい。また、パラメータ算出部２２０は、第２画像に含まれた第２変換されたカラー画素値及び第２変換されたテクスチャ画素値を用いて第２画像に対応する第２パラメータ画像を取得する第２パラメータ算出部を含んでもよい。

【0045】

パラメータ合成部２３０は上記２以上のパラメータ画像を合成して合成パラメータ画像を取得することができる。例えば、パラメータ合成部２３０は上記第１パラメータ画像及び上記第２パラメータ画像に基づいて合成パラメータ画像を生成してもよい。

【0046】

画像取得部２４０は合成パラメータ画像、及び画像データ４１０、４２０に含まれたテクスチャ画素値４１２、４２２に基づいて出力画像を取得することができる。画像取得部２４０は合成パラメータを用いて画像データ４１０、４２０に比べてノイズの減少した出力画像を生成することができる。

【0047】

画像プロセッサ２００が解像度変換部２１０、パラメータ算出部２２０、パラメータ合成部２３０、及び画像取得部２４０を用いて画像データに含まれたノイズを減少させる具体的な方法については、図６のフローチャート及び図７～図１０の例を参照して後述する。

【0048】

図６は本発明の実施例による画像データに含まれたノイズを減少させる方法を説明するための図である。図６に示す段階は、電子装置１０、または電子装置１０に含まれた画像センサ１００と画像プロセッサ２００によって実行されてもよい。

【0049】

段階Ｓ６１０では、画像センサ１００はカラー画素（例えば、Ｒ、Ｇ、Ｂ、Ｏ）及びテクスチャ画素Ｔを用いてカラー画素値（例えば４１１、４２１）及びテクスチャ画素値（例えば、４１２、４２２）を含む画像データ（例えば４１０、４２０）を取得することができる。画像センサ１００は上記画像データ（例えば４１０、４２０）を画像プロセッサ２００に提供することができ、画像プロセッサ２００は受信部を介して画像データ（例えば４１０、４２０）を受信することができる。

【0050】

段階Ｓ６２０では、画像プロセッサ２００（例えば、解像度変換部２１０）は画像データ（例えば４１０、４２０）に基づいて異なるサイズの２以上の画像を生成することができる。解像度変換部２１０は画像データの解像度を減少させて複数の画像を取得することができる。解像度変換部２１０によって画像データの解像度が変換されることにより、上記２以上の画像には変換されたカラー画素値及び変換されたテクスチャ画素値が含まれてもよい。

【0051】

段階Ｓ６３０では、画像プロセッサ２００（例えば、パラメータ算出部２２０）は２以上の画像のそれぞれに含まれる変換されたカラー画素値及び変換されたテクスチャ画素値を用いて２以上の画像のそれぞれに対応する２以上のパラメータ画像を取得することができる。

【0052】

パラメータ算出部２２０は、第１画像に含まれた第１変換されたカラー画素値及び第１変換されたテクスチャ画素値を用いて第１画像に対応する第１パラメータ画像を取得することができる。また、パラメータ算出部２２０は、第２画像に含まれた第２変換されたカラー画素値及び第２変換されたテクスチャ画素値を用いて第２画像に対応する第２パラメータ画像を取得することができる。

【0053】

パラメータ算出部２２０は、第１画像に含まれた第１変換されたカラー画素値及び第１変換されたテクスチャ画素値のうち、第１画像上の第１地点を基準とする第１領域（例えば、第１地点を中心とする５×５の画素を含む領域）に含まれた第１変換されたカラー画素値及び第１変換されたテクスチャ画素値を用いて第１パラメータ画像のうち上記第１地点に対応する第１パラメータ値を取得することができる。

【0054】

段階Ｓ６４０では、画像プロセッサ２００（例えば、パラメータ合成部２３０）は２以上のパラメータ画像を合成して合成パラメータ画像を取得することができる。パラメータ合成部２３０はテクスチャが一定レベル以上の一部領域は第１パラメータ画像を、他の一部領域は第２パラメータ画像に基づいて合成パラメータ画像を生成することができる。例えば、パラメータ合成部２３０は２以上のパラメータ画像に対してマルチスケール処理を行って合成パラメータ画像を取得することができる。マルチスケール処理とは、異なるサイズのパラメータ画像に基づいてテクスチャのない平坦な画像領域には解像度の低いパラメータ画像を選択し、テクスチャのある画像領域には解像度の高いパラメータ画像を選択することを意味する。

【0055】

段階Ｓ６５０では、画像プロセッサ２００（例えば、画像取得部２４０）は合成パラメータ画像及びテクスチャ画素値（例えば４１２、４２２）に基づいて出力画像を取得することができる。画像取得部２４０は合成パラメータ画像に対応する関数を取得し、画素位置及び該当画素位置に対応するテクスチャ画素値（例えば４１２、４２２）を上記関数に入力することで出力画像を生成することができる。

【0056】

図６で説明した出力画像の生成方法について数式を用いてより具体的に説明すると、以下の通りである。

【0057】

段階Ｓ６５０で画像取得部２４０によって生成される出力画像の画素値は数式１のように表現することができる。

【0058】

【数1】

【0059】

数式１において、（ｘ，ｙ）は出力画像上の画素座標を表すことができる。数式１において、Ｔ（ｘ，ｙ）は画像データ（例えば４１０、４２０）上の（ｘ，ｙ）位置におけるテクスチャ画素値を表すことができる。また、Ｒ（ｘ，ｙ）、Ｇ（ｘ，ｙ）及びＢ（ｘ，ｙ）は出力画像上の（ｘ，ｙ）位置におけるカラー画素値を表すことができる。数式１では、出力画像がベイヤーパターンの画像であることを前提としてＲ（ｘ，ｙ）、Ｇ（ｘ，ｙ）及びＢ（ｘ，ｙ）のみを示したが、出力画像がＲＧＢＯ画像の場合、出力画像はＲ（ｘ，ｙ）、Ｇ（ｘ，ｙ）、Ｂ（ｘ，ｙ）及びＯ（ｘ，ｙ）で表現されてもよい。

【0060】

数式１において、ｆ_Ｒ（ｘ，ｙ，Ｔ）、ｆ_Ｇ（ｘ，ｙ，Ｔ）及びｆ_Ｂ（ｘ，ｙ，Ｔ）はテクスチャ画素値Ｔ（ｘ，ｙ）を出力画像のＲＧＢ画素値に変換するための関数に該当することができる。数式１の関数ｆ_Ｒ（ｘ，ｙ，Ｔ）、ｆ_Ｇ（ｘ，ｙ，Ｔ）及びｆ_Ｂ（ｘ，ｙ，Ｔ）はそれぞれ少なくとも１つのパラメータを利用してモデル化することができる。数式２及び数式３のｆ（ｘ，ｙ，Ｔ）はｆ_Ｒ（ｘ，ｙ，Ｔ）、ｆ_Ｇ（ｘ，ｙ，Ｔ）及びｆ_Ｂ（ｘ，ｙ，Ｔ）をそれぞれ表すことができる。

【0061】

【数2】

【0062】

例えば、上記関数ｆ（ｘ，ｙ，Ｔ）が１次関数でモデル化された場合、１次関数でモデル化された関数ｆ（ｘ，ｙ，Ｔ）は数式２のように表現されることができる。数式２において、ｃ_０（ｘ，ｙ）及びｃ_１（ｘ，ｙ）はそれぞれパラメータに該当することができる。

【0063】

【数3】

【0064】

例えば、上記関数ｆ（ｘ，ｙ，Ｔ）が２次関数でモデル化された場合、２次関数でモデル化された関数ｆ（ｘ，ｙ，Ｔ）は数式３のように表現されることができる。数式３において、ｃ_０（ｘ，ｙ）、ｃ_１（ｘ，ｙ）及びｃ_２（ｘ，ｙ）はそれぞれパラメータに該当することができる。

【0065】

数式２及び数式３を参照すると、関数ｆ（ｘ，ｙ，Ｔ）に関連するパラメータ（例えば、ｃ_０（ｘ，ｙ）、ｃ_１（ｘ，ｙ）、ｃ_２（ｘ，ｙ））はそれぞれ画素座標（ｘ，ｙ）ごとに決まるパラメータ値を有することができる。従って、ｃ_０（ｘ，ｙ）、ｃ_１（ｘ，ｙ）、及び／またはｃ_２（ｘ，ｙ）はそれぞれパラメータ画像ということができる。または、ｃ_０及びｃ_１（またはｃ_０、ｃ_１、及びｃ_２）はパラメータ画像セットということができる。

【0066】

パラメータ算出部２２０は数式４と数式５を用いてパラメータ画像を取得することができる。例えば、関数ｆ（ｘ，ｙ，Ｔ）が１次関数でモデル化された場合、数式２のパラメータ画像ｃ_０とｃ_１は最小二乗法を用いた数式４及び数式５によって算出されることができる。本開示において、１つの画像（例えば、画像データ、第１画像）に対応するパラメータ画像とは、ｃ_０とｃ_１（またはｃ_０、ｃ_１、及びｃ_２）を含むパラメータ画像セットを意味すると理解することができる。

【0067】

【数4】

【0068】

【数5】

【0069】

数式４及び数式５において、ｃ_{０，ｃｏｌｏｒ}とｃ_{１，ｃｏｌｏｒ}におけるｃｏｌｏｒはＲ、Ｇ、またはＢを表すことができる。例えば、ｆ_Ｒ（ｘ，ｙ，Ｔ）のパラメータ画像ｃ_０とｃ_１はｃ_０，Ｒとｃ_１，Ｒであってもよい。また、数式４及び数式５において、Ｉ_{ｃｏｌｏｒ}（ｘ’，ｙ’）は画像データ（例えば４１０、４２０）上のカラー画素値のうち該当色のカラー画素値、即ち、赤画素の場合、Ｒ（ｘ’，ｙ’）を表すことができる。

【0070】

数式４及び数式５を参照すると、パラメータ算出部２２０は画像データ（例えば４１０、４２０）に含まれたカラー画素値（例えば４１１、４２１）及びテクスチャ画素値（例えば４２１、４２２）のうち第１地点（ｘ，ｙ）を基準とする第１領域Ｓに含まれるカラー画素値及びテクスチャ画素値を用いて、パラメータ画像ｃ_０またはｃ_１のうち上記第１地点（ｘ，ｙ）に対応する第１パラメータ値（例えば、ｃ_０（ｘ，ｙ）、ｃ_１（ｘ，ｙ））を取得することができる。数式４及び数式５におけるＳは画素座標（ｘ，ｙ）を中心とする複数の画素を含む領域と理解することができる。

【0071】

数式４及び数式５に関して、パラメータ算出部２２０は画像データ（例えば４１０、４２０）に基づいてパラメータ画像ｃ_０とｃ_１を取得することができると説明したが、パラメータ算出部２２０は画像データ（例えば４１０、４２０）の他にも画像データに比べて縮小されたサイズの２以上の画像（例えば、第１画像、第２画像）に基づいてそれぞれの画像に対応するパラメータ画像セットを取得することができる。従って、パラメータ算出部２２０は異なるサイズの２以上の画像にそれぞれ対応するパラメータ画像セット（例えば、パラメータ画像ｃ_０及びｃ_１）を取得することができる。

【0072】

パラメータ算出部２２０が２以上の画像にそれぞれ対応する２以上のパラメータ画像セットを取得した場合、パラメータ合成部２３０は上記２以上のパラメータ画像セットを合成して合成パラメータ画像セットを取得することができる。ただし、便宜上、本開示では合成パラメータ画像セットを合成パラメータ画像ということができる。パラメータ合成部２３０は２以上のパラメータ画像セットに基づいてテクスチャの有無／程度に応じて特定のパラメータ画像を選択することにより、合成パラメータ画像セットを生成することができる。合成パラメータ画像セットには各色（例えば、Ｒ、Ｇ、Ｂ）によるパラメータ画像（例えば、ｃ_０，Ｒ、ｃ_１，Ｒ、ｃ_０，Ｇ、ｃ_１，Ｇ、ｃ_０，Ｂ、ｃ_１，Ｂ）が含まれてもよい。

【0073】

画像取得部２４０は上記合成パラメータ画像セットに基づいて関数ｆ（ｘ，ｙ，Ｔ）を決めることができる。画像取得部２４０は上記決められた関数ｆ（ｘ，ｙ，Ｔ）に画素位置（ｘ，ｙ）とテクスチャ画素値Ｔ（ｘ，ｙ）を入力してＲ（ｘ，ｙ）、Ｇ（ｘ，ｙ）及びＢ（ｘ，ｙ）を取得することができる。

【0074】

電子装置１０は画像データ４１０、４２０に基づいて数式４と数式５などの方式により取得するパラメータ画像を利用することで、画像データ４１０、４２０よりノイズの減少した出力画像を取得することができる。テクスチャ画素Ｔにはカラー画素Ｒ、Ｇ、Ｂ、Ｏに比べて広い範囲の波長に対応する光が入射するため、テクスチャ画素値４１２、４２２はカラー画素値４１１、４２１に比べて少ない量のノイズを含むことができる。従って、画像プロセッサ２００は出力画像の画素値Ｒ（ｘ，ｙ）、Ｇ（ｘ，ｙ）、Ｂ（ｘ，ｙ）をテクスチャ画素値であるＴ（ｘ，ｙ）の関数で表現し、ノイズの少ないテクスチャ画素値Ｔ（ｘ，ｙ）からノイズの少ない出力画像の画素値Ｒ（ｘ，ｙ）、Ｇ（ｘ，ｙ）及びＢ（ｘ，ｙ）を取得することができる。

【0075】

ただし、テクスチャ画素値Ｔ（ｘ，ｙ）で出力画像の画素値Ｒ（ｘ，ｙ）、Ｇ（ｘ，ｙ）、及びＢ（ｘ，ｙ）を求める関数ｆ（ｘ，ｙ，Ｔ）の形状が不正確である場合、Ｒ（ｘ，ｙ）、Ｇ（ｘ，ｙ）及びＢ（ｘ，ｙ）の値も不正確になる可能性がある。従って、画像プロセッサ２００は画素座標（ｘ，ｙ）の周囲に位置するカラー画素値及びテクスチャ画素値に基づいて統計的にパラメータ画像ｃ_０とｃ_１を推定することができ、これにより、関数ｆ（ｘ，ｙ，Ｔ）の形状を決めることができる。例えば、画像プロセッサ２００は数式４と数式５のような最小二乗法によってパラメータ画像を計算することで、関数の推定精度を向上させることができる。

【0076】

また、画像プロセッサ２００は画像データ４１０、４２０に対応するパラメータ画像セットのみを取得するのではなく、画像データ４１０、４２０に比べて縮小されたサイズの２以上の画像にそれぞれ対応するパラメータ画像セットを取得することができる。これにより、画像プロセッサ２００は画素座標（ｘ，ｙ）に基づいてより広い範囲に含まれる画素値（例えば、カラー画素値及びテクスチャ画素値）を関数の形状の推定に用いることができる。

【0077】

電子装置１０は異なるサイズのパラメータ画像に基づいて取得した合成パラメータ画像とともにテクスチャ画素値Ｔ（ｘ，ｙ）を利用することにより、ノイズは減少しながらも過度にブラーされない出力画像を取得することができる。本開示とは異なり、パラメータ画像ではない画像（例えば、カラー画像）に対してマルチスケール処理を行う場合には、合成された画像のうち特定領域が過度にブラーされる可能性がある。例えば、画像に対するマルチスケール処理は、テクスチャのある領域には縮小されていない画像を、テクスチャのない領域には縮小された画像（または、解像度を減少させてから単純に拡大した画像）を選択して合成することを意味することができる。ただし、画像にノイズが含まれている場合は、テクスチャのある画像領域であってもテクスチャがないと判断され、縮小された画像が選択及び合成され得る。即ち、画像にノイズが含まれた場合には上記ノイズによってテクスチャ有無の判断が難しくなるため、テクスチャのある領域であっても過度にブラーされる場合がある。

【0078】

ただし、本開示によると、画像プロセッサ２００は画像データ４１０、４２０（または、第１画像、第２画像）ではないパラメータ画像（例えば、ｃ_０、ｃ_１）に対してマルチスケール処理を行うことができる。画像プロセッサ２００がパラメータ画像に基づいてマルチスケール処理を行うことにより、合成パラメータ画像には過度にブラーされた領域（または、不要にブラーされた領域）が含まれ得る。しかし、画像プロセッサ２００は合成パラメータ画像に基づいて決められた関数ｆ（ｘ，ｙ，Ｔ）にテクスチャ画素値Ｔ（ｘ，ｙ）を代入して出力画像を取得するが、このとき、テクスチャ画素値Ｔ（ｘ，ｙ）には高周波成分（例えば、テクスチャ）が含まれているため、出力画像には過度にブラーされた領域を含まないことができる。即ち、合成パラメータ画像にブラーが発生してもＴ（ｘ，ｙ）を介してＲ（ｘ，ｙ）、Ｇ（ｘ，ｙ）及びＢ（ｘ，ｙ）を求めることができるため、出力画像に含まれるブラーが最小化されることができる。

【0079】

以下では、画像センサ１００の出力によって画像プロセッサ２００に含まれた構成が出力画像を生成する具体的な例を説明する。

【0080】

図７は本発明の実施例によるパラメータ画像を用いてノイズの減少した画像を取得する画像プロセッサの構成を説明するための図である。

【0081】

画像プロセッサ２００は受信部を介して画像センサ１００から画像データ４１０を受信することができる。画像データ４１０は、図４に示すように画像センサ１００が第１モードで出力する画像データ４１０に対応することができる。

【0082】

画像プロセッサ２００は解像度変換部７１１を介して画像データ４１０の解像度を変換し、画像データ４１０に比べて縮小されたサイズの第１画像７２１を取得することができる。第１画像７２１は画像データ４１０に比べて縮小されたサイズのＲ、Ｇ、Ｂ、Ｏ、Ｔ画素値を含んでもよい。例えば、第１画像７２１は画像データ４１０に比べて１／２のサイズを有することができる。

【0083】

画像プロセッサ２００は解像度変換部７１２を介して第１画像７２１の解像度を変換して第１画像７２１に比べて縮小されたサイズの第２画像７２２を取得することができる。第２画像７２２は第１画像７２１に比べて縮小されたサイズのＲ、Ｇ、Ｂ、Ｏ、Ｔ画素値を含んでもよい。例えば、第２画像７２２は画像データ４１０に比べて１／４のサイズを有することができる。

【0084】

同様に、画像プロセッサ２００は解像度変換部７１３を介して第２画像７２２に比べて縮小されたサイズの第３画像７２３を取得し、解像度変換部７１４を介して第３画像７２３に比べて縮小されたサイズの第４画像７２４を取得し、解像度変換部７１５を介して第４画像７２４に比べて縮小されたサイズの第５画像７２５を取得し、解像度変換部７１６を介して第５画像７２５に比べて縮小されたサイズの第６画像７２６を取得することができる。第３画像７２３は画像データ４１０に比べて１／８、第４画像７２４は画像データ４１０に比べて１／１６、第５画像７２５は画像データ４１０に比べて１／３２、及び第６画像７２６は画像データ４１０に比べて１／６４のサイズを有することができる。

【0085】

画像プロセッサ２００はパラメータ算出部７３１を介して画像データ４１０に含まれたカラー画素値及びテクスチャ画素値を用いてパラメータ画像７４１を取得することができる。パラメータ画像７４１は、画像データ４１０に含まれたカラー画素値及びテクスチャ画素値に基づいて各色（例えば、Ｒ、Ｇ、Ｂ、Ｏ）ごとに取得したパラメータ画像（例えば、ｃ_０、ｃ_１、ｃ_２）を含むパラメータ画像セットと理解することができる。例えば、パラメータ画像７４１は画像データ４１０に比べて１／１のサイズを有することができる。

【0086】

画像プロセッサ２００はパラメータ算出部７３２を介して第１画像７２１に含まれた変換されたカラー画素値及び変換されたテクスチャ画素値を用いてパラメータ画像７４２を取得することができる。パラメータ画像７４２は、第１画像７２１に含まれた変換されたカラー画素値及び変換されたテクスチャ画素値に基づいて各色（例えば、Ｒ、Ｇ、Ｂ、Ｏ）ごとに取得したパラメータ画像（例えば、ｃ_０、ｃ_１、ｃ_２）を含むパラメータ画像セットと理解することができる。例えば、パラメータ画像７４２は画像データ４１０に比べて１／２のサイズを有することができる。また、パラメータ画像７４２は第１パラメータ画像ということができる。

【0087】

画像プロセッサ２００はパラメータ算出部７３３を介して第２画像７２２に含まれた変換されたカラー画素値及び変換されたテクスチャ画素値を用いてパラメータ画像７４３を取得することができる。パラメータ画像７４３は、第２画像７２２に含まれた変換されたカラー画素値及び変換されたテクスチャ画素値に基づいて各色（例えば、Ｒ、Ｇ、Ｂ、Ｏ）ごとに取得したパラメータ画像（例えば、ｃ_０、ｃ_１、ｃ_２）を含むパラメータ画像セットと理解することができる。例えば、パラメータ画像７４３は画像データ４１０に比べて１／４のサイズを有することができる。また、パラメータ画像７４３は第２パラメータ画像ということができる。

【0088】

同様に、画像プロセッサ２００はパラメータ算出部７３４を介して第３画像７２３に対応するパラメータ画像７４４を取得し、パラメータ算出部７３５を介して第４画像７２４に対応するパラメータ画像７４５を取得し、パラメータ算出部７３６を介して第５画像７２５に対応するパラメータ画像７４６を取得し、パラメータ算出部７３７を介して第６画像７２６に対応するパラメータ画像７４７を取得することができる。パラメータ画像７４４は画像データ４１０に比べて１／８、パラメータ画像７４５は画像データ４１０に比べて１／１６、パラメータ画像７４６は画像データ４１０に比べて１／３２、及びパラメータ画像７４７は画像データ４１０に比べて１／６４のサイズを有することができる。

【0089】

画像プロセッサ２００はパラメータ合成部７５６を介してパラメータ画像７４６とパラメータ画像７４７を合成して中間合成パラメータ画像７６６を取得することができる。中間合成パラメータ画像７６６は、画像データ４１０に比べて１／３２のサイズを有することができ、各色（例えば、Ｒ、Ｇ、Ｂ、Ｏ）ごとに取得した中間合成パラメータ画像（例えばｃ_０、ｃ_１、ｃ_２）を含む中間合成パラメータ画像セットと理解することができる。

【0090】

画像プロセッサ２００はパラメータ合成部７５５を介してパラメータ画像７４５と中間合成パラメータ画像７６６を合成して中間合成パラメータ画像７６５を取得することができる。中間合成パラメータ画像７６５は画像データ４１０に比べて１／１６のサイズを有することができる。

【0091】

同様に、画像プロセッサ２００はパラメータ合成部７５４を介してパラメータ画像７４４と中間合成パラメータ画像７６５を合成して中間合成パラメータ画像７６４を取得し、パラメータ合成部７５３を介してパラメータ画像７４３と中間合成パラメータ画像７６４を合成して中間合成パラメータ画像７６３を取得し、パラメータ合成部７５２を介してパラメータ画像７４２と中間合成パラメータ画像７６３を合成して中間合成パラメータ画像７６２を取得し、パラメータ合成部７５１を介してパラメータ画像７４１と中間合成パラメータ画像７６２を合成して合成パラメータ画像７６１を取得することができる。中間合成パラメータ画像７６４は画像データ４１０に比べて１／８のサイズ、中間合成パラメータ画像７６３は画像データ４１０に比べて１／４のサイズ、中間合成パラメータ画像７６２は画像データ４１０に比べて１／２のサイズ、及び合成パラメータ画像７６１は画像データ４１０に比べて１／１のサイズを有することができる。

【0092】

画像プロセッサ２００はカラー生成部７７１を介して合成パラメータ画像７６１及び画像データ４１０に含まれたテクスチャ画素値４１２を用いてＲＧＢＯ画像７７２を取得することができる。ＲＧＢＯ画像７７２は画像データ４１０に比べて１／１のサイズを有することができる。画像プロセッサ２００はカラー変換部７７３を介してＲＧＢＯ画像７７２の色をＲＧＢに変換して出力画像７９０を取得することができる。図７に示す実施例において、カラー生成部７７１及びカラー変換部７７３は図５の画像取得部２４０に含まれていると理解することができる。

【0093】

図７では画像プロセッサ２００に６つの解像度変換部が含まれていることを図示し説明したが、これは例示に過ぎず、本開示の権利範囲を限定しない。例えば、画像プロセッサ２００は５つ以下の解像度変換部を含むか、７つ以上の解像度変換部を含んでもよい。

【0094】

図８は本発明の実施例によるパラメータ画像を用いてノイズの減少した画像を取得する画像プロセッサの他の構成を説明するための図である。

【0095】

画像プロセッサ２００は受信部を介して画像センサ１００から画像データ８１０を受信することができる。画像センサ１００は図３の画素アレイ３３０または画素アレイ３４０を含み、第１モードに応じて動作する場合、画像センサ１００が出力する画像データ８１０は画像データ４１０とは異なり、Ｒ、Ｇ、Ｂのカラー画素値及びテクスチャ画素値を含むことができる。

【0096】

図８を参照すると、解像度変換部８１１、８１２、８１３、８１４、８１５、８１６、パラメータ算出部８３１、８３２、８３３、８３４、８３５、８３６、８３７、及びパラメータ合成部８５１、８５２、８５３、８５４、８５５、８５６が行う動作は、図７に示す解像度変換部７１１、７１２、７１３、７１４、７１５、７１６、パラメータ算出部７３１、７３２、７３３、７３４、７３５、７３６、７３７、及びパラメータ合成部７５１、７５２、７５３、７５４、７５５、７５６が行う動作とほとんど一致することができる。従って、図８に関して特に言及しない場合は図７に対する説明を図８にも適用することができる。

【0097】

ただし、図７の画像データ４１０にはオレンジ色のカラー画素値が含まれているのに対し、図８では画像データ８１０にオレンジ色のカラー画素値が含まれていないため、図８では図７と異なって、オレンジ色の代わりに緑色のカラー画素値が用いられるという違いがある。例えば、図７の第１画像７２１、第２画像７２２、第３画像７２３、第４画像７２４、第５画像７２５、及び第６画像７２６がＲ、Ｇ、Ｂ、Ｏ、及びＴ画素値を含むのに対し、図８の第１画像８２１、第２画像８２２、第３画像８２３、第４画像８２４、第５画像８２５、及び第６画像８２６はそれぞれＲ、Ｇ、Ｂ、Ｔ画素値を含むことができる。また、図７のパラメータ画像７４１、７４２、７４３、７４４、７４５、７４６、７４７がそれぞれＲ、Ｇ、Ｂ、Ｏの色ごとに取得されることに対し、図８のパラメータ画像８４１、８４２、８４３、８４４、８４５、８４６、８４７はそれぞれＲ、Ｇ、Ｂの色ごとに取得されることができる。同様に、図７の中間合成パラメータ画像７６６、７６５、７６４、７６３、７６２と合成パラメータ画像７６１がＲ、Ｇ、Ｂ、Ｏの色ごとに取得されることに対し、図８の中間合成パラメータ画像８６６、８６５、８６４、８６３、８６２と合成パラメータ画像８６１はＲ、Ｇ、Ｂの色ごとに取得されることができる。

【0098】

図８において、画像プロセッサ２００はカラー生成部８７１を介して合成パラメータ画像８６１及び画像データ８１０に含まれたテクスチャ画素値を用いて出力画像７９０を取得することができる。カラー生成部８７１は図５の画像取得部２４０に含まれたと理解することができる。合成パラメータ画像８６１及び画像データ８１０はオレンジ色とは無関係であるため、図８の場合は、図７とは異なってカラー変換部７７３が省略されてもよい。

【0099】

図９は本発明の実施例によるパラメータ画像を用いてノイズの減少した画像を取得する画像プロセッサのさらに他の構成を説明するための図である。

【0100】

画像プロセッサ２００は受信部を介して画像センサ１００から画像データ４２０を受信することができる。画像データ４２０は、図４に示すように画像センサ１００が第２モードで出力する画像データ４２０に対応することができる。

【0101】

画像プロセッサ２００はビニング部９０１を介して画像データ４２０の解像度を１／２に縮小させることができる。例えば、ビニング部９０１は画像データ４２０に含まれたカラー画素値はそのまま保持し、テクスチャ画素値は３つずつ合計するか、または平均してビニングされた画像データ９０３を取得することができる。

【0102】

画像プロセッサ２００はビニングされた画像データ９０３に基づいて解像度の変換、パラメータ画像の算出、及びパラメータ画像の合成を行うことができる。このとき、図９において画像プロセッサ２００がビニングされた画像データ９０３に基づいて合成パラメータ画像９６１を取得するための構成としての解像度変換部９１１、９１２、９１３、９１４、９１５、９１６、画像９２１、９２２、９２３、９２４、９２５、９２６、パラメータ算出部９３１、９３２、９３３、９３４、９３５、９３６、９３７、パラメータ画像９４１、９４２、９４３、９４４、７４、パラメータ合成部９５１、９５２、９５３、９５４、９５５、９５６、中間合成パラメータ画像９６６、９６５、９６４、９６３、９６２、及び合成パラメータ画像９６１に対する説明は、図７において画像プロセッサ２００が画像データ４１０に基づいて合成パラメータ画像７６１を取得するための解像度変換部７１１、７１２、７１３、７１４、７１５、７１６、画像７２１、７２２、７２３、７２４、７２５、７２６、パラメータ算出部７３１、７３２、７３３、７３４、７３５、７３６、７３７、パラメータ画像７４１、７４２、７４３、７４４、７４５、７４６、７４７、パラメータ合成部５５、７５３、７５４、７５５、７５６、中間合成パラメータ画像７６６、７６５、７６４、７６３、７６２、及び合成パラメータ画像７６１に対する説明を同様に適用することができる。

【0103】

従って、図９の構成のうち図７の説明が適用されない残りの構成について説明すると、画像プロセッサ２００はパラメータ算出部９３０を介して画像データ４２０に対応するパラメータ画像９４０を取得することができ、パラメータ合成部９５０を介してパラメータ画像９４０と合成パラメータ画像９６１を合成して合成パラメータ画像９７０を取得することができる。

【0104】

カラー生成部９８１、ＲＧＢＯ画像９８３、及びカラー変換部９８５に対しては、図７のカラー生成部７７１、ＲＧＢＯ画像７７２、及びカラー変換部７７３に対する説明を同様に適用することができる。

【0105】

図１０は本発明の実施例によるパラメータ画像を用いてノイズの減少した画像を取得する画像プロセッサのさらに他の構成を説明するための図である。

【0106】

画像プロセッサ２００は受信部を介して画像センサ１００から画像データ１０２０を受信することができる。画像センサ１００が図３の画素アレイ３３０を含み、第２モードに応じて動作する場合、画像センサ１００が出力する画像データ１０２０は画像データ４２０とは異なってＲ、Ｇ、Ｂのカラー画素値とテクスチャ画素値を含むことができる。

【0107】

図１０に示す構成のうちビニング部１００１、ビニングされた画像データ１００３、パラメータ算出部１０３０、パラメータ画像１０４０、パラメータ合成部１０５０、合成パラメータ画像１０７０に対しては、図９に示すビニング部９０１、ビニングされた画像データ９０３、パラメータ算出部９３０、パラメータ画像９４０、パラメータ合成部９５０、合成パラメータ画像９７０に対する説明を適用することができる。

【0108】

また、図１０に示す構成のうち画像プロセッサ２００がビニングされた画像データ１００３に基づいて合成パラメータ画像１０６１を取得するための構成としての解像度変換部１０１１、１０１２、１０１３、１０１４、１０１５、１０１６、画像１０２１、１０２２、１０２３、１０２４、１０２５、１０２６、パラメータ算出部１０３１、１０３２、１０３３、１０３４、１０３５、１０３６、１０３７、パラメータ画像１０４１、１０４２、１０４３、１０４４、１０４５、１０４６、１０４７、パラメータ合成部１０５１、１０５２、１０５３、１０５４、１０５５、１０５６、中間合成パラメータ画像１０６６、１０６５、１０６４、１０６３、１０６２、及び合成パラメータ画像１０６１に対する説明は、図８において画像プロセッサ２００が画像データ４１０に基づいて合成パラメータ画像８６１を取得するための解像度変換部８１１、８１２、８１３、８１４、８１５、８１６、画像８２１、８２２、８２３、８２４、８２５、８２６、パラメータ算出部８３１、８３２、８３３、８３４、８３５、８３６、８３８、パラメータ画像８４１、８４２、８４３、８４４、８４５、８４６、８４８、パラメータ合成部８５１、８５２、８５３、８５４、８５５、８５６、中間合成パラメータ画像８６６、８６５、８６４、８６３、８６２、及び合成パラメータ画像８６１に対する説明を同様に適用することができる。

【0109】

従って、図１０の構成のうち図８または図９の説明が適用されない残りの構成について説明すると、画像プロセッサ２００はカラー生成部１０８１を介して合成パラメータ画像１０７０及び画像データ１０２０に含まれたテクスチャ画素値を用いて出力画像７９０を取得することができる。カラー生成部１０８１は図５の画像取得部２４０に含まれると理解することができる。合成パラメータ画像１０７０及び画像データ１０２０はオレンジ色とは無関係であるため、図１０の場合は、図９と異なってカラー変換部９８５を省略することができる。

【0110】

図７～図１０で説明された画像プロセッサ２００の構成は本開示による画像のノイズを減少させることができる装置及び方法の例示であり、本開示の権利範囲を限定しない。

【符号の説明】

【0111】

２００ 画像プロセッサ
２１０ 解像度変換部
２２０ パラメータ算出部
２３０ パラメータ合成部
２４０ 画像取得部

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】