特許 6080190 デモザイク化の方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】6080190

(24)【登録日】2017年1月27日

(45)【発行日】2017年2月15日

(54)【発明の名称】デモザイク化の方法

(51)【国際特許分類】

   H04N 9/07 20060101AFI20170206BHJP

【ＦＩ】

   H04N9/07 C

【請求項の数】14

【全頁数】22

(21)【出願番号】特願2016-542953(P2016-542953)

(86)(22)【出願日】2014年9月15日

(65)【公表番号】特表2017-502598(P2017-502598A)

(43)【公表日】2017年1月19日

(86)【国際出願番号】CN2014086558

(87)【国際公開番号】WO2016041133

(87)【国際公開日】20160324

【審査請求日】2016年7月6日

【早期審査対象出願】

(73)【特許権者】

【識別番号】513068816

【氏名又は名称】エスゼット ディージェイアイ テクノロジー カンパニー リミテッド

【氏名又は名称原語表記】ＳＺ ＤＪＩ ＴＥＣＨＮＯＬＯＧＹ ＣＯ．，ＬＴＤ

(74)【代理人】

【識別番号】110000877

【氏名又は名称】龍華国際特許業務法人

(72)【発明者】

【氏名】ジアン、カイガオ

(72)【発明者】

【氏名】カオ、ジシェン

(72)【発明者】

【氏名】ワン、ミンギュ

【審査官】 鈴木 明

(56)【参考文献】

【文献】 中国特許出願公開第１０４０３８７４６（ＣＮ，Ａ）

【文献】 米国特許出願公開第２０１２／１６３７３４（ＵＳ，Ａ１）

【文献】 特開２０１３−３４１９４（ＪＰ，Ａ）

【文献】 特開２０１２−９０１４６（ＪＰ，Ａ）

【文献】 特開２０１３−６６１４６（ＪＰ，Ａ）

(58)【調査した分野】（Int.Cl.，ＤＢ名）

Ｈ０４Ｎ ９／０４−９／１１

(57)【特許請求の範囲】

【請求項1】

モザイク化済み画像のデモザイク化の方法であって、
第１の色、第２の色、および第３の色を有するモザイクパターンを含む前記モザイク化済み画像を受信するステップと、
前記モザイク化済み画像に対するノイズレベルインデックスを取得するステップと、
前記ノイズレベルインデックスが閾値よりも大きいか否かを判断するステップと、
前記ノイズレベルインデックスが前記閾値よりも大きくない場合に、前記モザイク化済み画像に双線形デモザイク化を実行し、双線形デモザイク化済み画像を生成するステップと、
前記ノイズレベルインデックスが前記閾値よりも大きい場合に、前記モザイク化済み画像にデモザイク化を実行し、デモザイク化済み画像を生成するステップとを備え、
前記デモザイク化は、
水平方向もしくは鉛直方向における前記第１の色の知られていない複数の画素の部分に対する複数の値を補間するステップと、
水平方向もしくは鉛直方向における前記第２の色の知られていない複数の画素の部分に対する複数の値を補間するステップと、
水平方向もしくは鉛直方向における前記第３の色の知られていない複数の画素の部分に対する複数の値を補間するステップとを含む、デモザイク化の方法。

【請求項2】

前記第２の色および前記第３の色の知られていない複数の画素の前記部分の前記複数の値を補間する前記ステップは、前記第１の色の知られていない複数の画素の前記部分に対する第１の複数の値の補間に基づく、請求項１に記載のデモザイク化の方法。

【請求項3】

前記第２の色および前記第３の色の知られていない複数の画素の前記部分の複数の値を補間する前記ステップは、前記第１の色の知られていない複数の画素の前記部分に対する第１の複数の値の前記補間の後に行われる、請求項１または２に記載のデモザイク化の方法。

【請求項4】

前記モザイク化済み画像は、ベイヤーパターン中に赤色画素、緑色画素、および青色画素を含む、請求項１から３のいずれか１項に記載のデモザイク化の方法。

【請求項5】

前記第１の色は、緑色であり、前記第２の色は、赤色であり、前記第３の色は、青色である、請求項１から４のいずれか１項に記載のデモザイク化の方法。

【請求項6】

前記水平方向の補間または前記鉛直方向の補間は、画素位置の知られた色データに基づいて選択される、請求項１から５のいずれか１項に記載のデモザイク化の方法。

【請求項7】

前記水平方向の補間および前記鉛直方向の補間のうち１つを選択することは、それぞれ前記鉛直方向および前記水平方向の最近傍画素の比較を含む、請求項１から６のいずれか１項に記載のデモザイク化の方法。

【請求項8】

前記水平方向の補間および前記鉛直方向の補間のうち１つを選択することは、前記水平方向の勾配を算出することと、前記鉛直方向の勾配を算出するステップを含む、請求項１から７のいずれか１項に記載のデモザイク化の方法。

【請求項9】

前記水平方向の補間および前記鉛直方向の補間のうち１つは、所定の各画素位置について選択され、
前記第１の色、前記第２の色、および前記第３の色の前記知られていない複数の画素の補間は、選択された補間方向を用いて、該画素位置に対して実行される、請求項１から８のいずれか１項に記載のデモザイク化の方法。

【請求項10】

所定の画素位置に対する前記水平方向の補間または前記鉛直方向の補間を選択することは、類似の複数の近傍画素位置のうち最も少ない変化を有する該画素位置において補間方向を識別することに基づく、請求項１から９のいずれか１項に記載のデモザイク化の方法。

【請求項11】

前記デモザイク化は、前記デモザイク化済み画像にメジアンフィルタを適用するステップを更に含む、請求項１から１０のいずれか１項に記載のデモザイク化の方法。

【請求項12】

前記デモザイク化済み画像をディスプレイに表示するステップを更に備える、請求項１から１１のいずれか１項に記載のデモザイク化の方法。

【請求項13】

前記デモザイク化済み画像を受信する前記ステップは、イメージセンサアレイから前記デモザイク化済み画像を受信するステップを有する、請求項１から１２のいずれか１項に記載のデモザイク化の方法。

【請求項14】

レンズおよびモザイク化フィルタを通過する感知された光に基づいて、前記デモザイク化済み画像を生成するステップを更に備える、請求項１から１３のいずれか１項に記載のデモザイク化の方法。

【発明の詳細な説明】

【技術分野】

【0001】

本開示は、概ね撮像および画像処理に関し、より具体的には画像デモザイク化のためのシステムおよび方法に関するが、これに限定されない。

【0002】

従来の複数のデジタルカメラは、複数の光イメージセンサアレイを用いることにより、複数の画像を得る。しかし、光がこれらのセンサアレイに入る前に、光は、まず、光の１つの波長のみがセンサアレイのいずれかの所定のセンサ画素に入ることを可能にするカラーフィルタアレイ（ＣＦＡ）を通過する。これは、各画素が１つの色のみ、典型的には赤色、緑色、または青色を含むモザイク画像をもたらす。このモザイク画像をフルカラー画像に変換する処理は、「デモザイク化」と呼ばれる。

【0003】

当技術分野において、様々なデモザイク化方法が存在する。しかし、これらの方法の多くは、色彩のエイリアス等の擬色アーティファクト、ジッパー効果（いくつかの隣接する画素上の強度における突然の不自然な変化）、パープルフリンジおよび画像解像度の損失を含む、変換画像における所望でない複数の効果をもたらす。

【0004】

更に、最も通常の複数のデモザイク化方法は、高いノイズから低いノイズに渡る複数の画像に対して十分な画像変換を提供することができない。従って、そのような複数のデモザイク化方法は、様々な画像上で用いられるには十分に堅牢ではない。

【0005】

他の従来の複数のデモザイク化方法は、大きな計算上の複雑性を有し、これは、所望でない緩慢な画像処理速度をもたらし、従来の携帯式カメラシステムにおいて利用可能なハードウェアおよび／またはソフトウェアを用いる高速処理ができない。

【0006】

上記を考慮すると、従来の複数の画像デモザイク化システムおよび方法の前述した障害および欠陥の克服に努める場合に、改善された画像デモザイク化システムおよび方法に対する必要性が存在する。

【図面の簡単な説明】

【0007】

【図1a】レンズ、モザイク化フィルタ、センサアレイ、およびカメラデバイスを含む、デジタル画像を取り込むためのデジタルカメラシステムの一実施形態を図示する、例示的な図である。

【0008】

【図1b】補間デモザイク化によりトリプレットＲＧＢ画像データに変換される例示的なモザイク化済みＲＧＢ画像を図示する、例示的な図である。

【0009】

【図2】モザイク化済みＲＧＢ画像の例示的な部分を図示する、例示的な図である。

【0010】

【図3a】デジタル画像を生成、処理、および提示するための方法のフローチャートである。

【0011】

【図3b】図３ａにおいて図示される方法の一部である、モザイク化済みデジタル画像を取得するための下位方法のフローチャートである。

【0012】

【図4】図３ａにおいて図示される方法の一部である、画像を適合デモザイク化するための下位方法のフローチャートである。

【0013】

【図5】図４において図示される方法の一部である、画像の適合デモザイク化のための下位方法のフローチャートである。

【0014】

【図6a】複数のデモザイク化済み画像のピーク信号対ノイズ比（ＰＳＮＲ）と比較される、複数のモザイク化済み画像の信号対ノイズ比（ＳＮＲ）のグラフを図示する。

【0015】

【図6b】図６ａのグラフにおいて図示される複数の結果の表を示す。

【0016】

図面は縮尺通りに描かれず、類似の複数の構造または機能の要素は、図面を通して例示的目的のために同一の参照番号により概ね表されることに留意されたい。また、図面は、専ら好ましい実施形態の説明を容易にすることを意図することに留意されたい。図面は、説明される実施形態の全ての態様を図示せず、本開示の範囲を限定しない。

【発明を実施するための形態】

【0017】

現在利用可能な複数のデモザイク化システムおよび方法は、最適な画像補間を提供できず、膨大なソフトウェアまたはハードウェアのオーバヘッドを必要とするので、高品質の画像処理を提供しつつ、様々な信号対ノイズ比（ＳＮＲ）で動作し、最小の計算時間およびオーバヘッドを必要とする、改善された複数のデモザイク化システムおよび方法は、所望であることが明らかであり、デジタルカメラシステム等の広範なデジタル撮像用途のための基礎を提供し得る。この成果は、図１ａにおいて図示されるデジタルカメラシステム１００により、本明細書において開示される一実施形態に従って得られ得る。

【0018】

図１ａを参照すると、レンズ１０５、モザイク化フィルタ１１０、センサアレイ１１５、およびカメラデバイス１２０を含むデジタルＲＧＢカメラシステム１００が、抽象的に示される。カメラデバイス１２０は、センサアレイ１１５に動作可能に接続され、プロセッサ１２１（または処理モジュール）、メモリ１２２、およびディスプレイ１２３を備える。様々な実施形態において、ＲＧＢカメラシステム１００は、好適なカメラハウジング（図示せず）内に配置され得る。

【0019】

図１ａにおいて図示されるように、光１０１は、レンズ１０５に入り、レンズ１０５は、光１０１をモザイク化フィルタ１１０に合焦する。モザイク化フィルタ１１０は、マトリックス内に配置された複数の半透明の赤色画素１１１Ｒ、緑色画素１１１Ｇ、および青色画素１１１Ｂを備え得る。光１０１は、モザイク化フィルタ１１０を通過し、受光済みの光をデジタル信号に変換する、複数の対応するセンサ画素１１６を有するセンサアレイ１１５に至る。センサアレイ１１５は、図１ｂにおいて図示されるモザイク化済みデジタル画像１３０を生成する。図１ａに留まると、モザイク化フィルタ１１０は、複数の半透明の赤色画素１１１Ｒ、緑色画素１１１Ｇ、および青色画素１１１Ｂのパターンを含み、各センサ画素１１６が赤色光、青色光、または緑色光の値のみを記録するように、光の他の全ての波長を実質的に遮断する。

【0020】

このモザイク化済みデジタル画像１３０は、本明細書において説明される補間により、従来のＲＧＢトリプレット画像１４０に変換され得る。例えば、従来のＲＧＢ画像における各画素は、赤色、緑色、および青色の成分を含み、これらの成分は、可視光のフルスペクトルからの当該画素の色を定義するべく組み合わされる。従って、従来のＲＧＢトリプレット画像１４０は、赤色部分１４１、緑色部分１４２、および青色部分１４３を備え、これらは、集合的にフルカラーＲＧＢ画像を規定する。

【0021】

モザイク化済みデジタル画像１３０をＲＧＢトリプレット画像１４０に変換するべく、補間処理により、不明の情報が追加され得る。別の様式で述べれば、モザイク化済みデジタル画像１３０は、形成されたときにＲＧＢトリプレット画像１４０内に存在する全情報の３分の１を有するのみであり、従ってこの周囲の画素に基づいて値を推測することにより、不明情報が追加され得る。例えば、図１ｂに示されるように、モザイク化済みデジタル画像１３０は、９×９のアレイの画素を備え、各画素の値は、赤色の値、緑色の値、または青色値に対して知られている。

【0022】

しかし、ＲＧＢトリプレット画像１４０に変換する場合、赤色部分１４１、緑色部分１４２、および青色部分１４３の各々に対する９×９画像が生成され得る。例えば、赤色部分１４１については、所定の画素位置に対する複数の赤色値の多くは、モザイク化済みデジタル画像１３０内に存在する値から、すでに１４１Ｋ（赤色部分１４１における任意の場所の「Ｒ」により示される画素１４１Ｋ）であると知られている。しかし、残余の画素値（赤色部分１４１の所定の場所におけるブランク画素により示される画素１４１Ｉ）は、赤色部分１４１の完全な９ｘ９のアレイの赤色値が存在し得るように、補間され得る。同様に、そのような補間は、緑色部分１４２および青色部分１４３についても行われる。緑色部分１４２は、知られている画素１４２Ｋを含み、補間され得る、知られていない画素１４２Ｉを含む。青色部分１４３は、知られている画素１４３Ｋを含み、補間され得る、知られていない画素１４３Ｉを含む。

【0023】

図１ａおよび図１ｂは、モザイク化フィルタ１１０および取り込まれたモザイク化済みデジタル画像１３０を、ベイヤーフィルタパターン内にあるものとして図示し、全ての赤色１１１Ｒ、または青色画素１１１Ｂに対して２つの緑色画素１１１Ｇが存在し、Ｒ−Ｇのオフセットの交互に繰り返す複数の行、およびＢ−Ｇの交互に繰り返す複数の画素を有する。また、図２は、ベイヤーフィルタパターンを有するモザイク化済みデジタル画像を図示し、図２は、以下の開示を通して、様々な例においてより詳細に参照される。従来、そのようなベイヤーフィルタパターンは、デジタル撮像において使用される。しかし、いくつかの実施形態において、デモザイク化および／または補間の複数の方法は、様々な好適なパターン構成において、２またはこれより多い画素色を備える他の複数のフィルタパターンに適用され得る。例えば、いくつかの実施形態において、全ての緑色画素１１１Ｇ、または青色画素１１１Ｂに対して２つの赤色画素１１１Ｒが存在し、または４つの画素色が存在する（例えば、ＣＭＹＫ）画像を、フィルタを用いて取り込むことが所望であることがある。従って、本開示は、ＲＧＢ撮像のみに限定されず、これに代えて様々な撮像方法、システム、およびプロトコルに適用され得る。

【0024】

プロセッサ１２１、メモリ１２２、およびディスプレイ１２３を含む抽出デジタルＲＧＢカメラシステム１００が図示されるが、更なる複数の実施形態は、任意の好適なセットのコンポーネントを含み得、いくつかの実施形態において、プロセッサ１２１、メモリ１２２、および／またはディスプレイ１２３のいずれかは、複数であるか、または存在しないことがある。一実施形態において、メモリ１２２は、本明細書において説明される複数の方法のいずれかを実行するための複数の命令を格納し、本明細書において論じられる複数のデジタル画像１３０、１４０を格納し得る。ディスプレイ１２３は、複数のデジタル画像１３０、１４０を表示するように構成され、様々な実施形態において、液晶ディスプレイ（ＬＣＤ）、発光ダイオード（ＬＥＤ）ディスプレイ、有機発光ダイード（ＯＬＥＤ）ディスプレイ、デジタル光プロジェクション（ＤＬＰ）ディスプレイ等を備え得る。

【0025】

一眼レフ（ＳＬＲ）レンズを用いる抽出デジタルＲＧＢカメラシステム１００が図示されるが、様々な実施形態において、ピンホールレンズ、生物学的レンズ、簡易な凸ガラスレンズ等を含む、任意の好適なレンズシステムが用いられ得る。更に、様々な実施形態による複数のレンズは、マクロレンズ、ズームレンズ、望遠レンズ、魚眼レンズ、広角レンズ等を含む、一定の複数の撮像特性を用いて構成され得る。

【0026】

更に、デジタルＲＧＢカメラシステム１００は、可視スペクトル中の光を検出し、それから複数の画像を生成するべく用いられ得るが、いくつかの実施形態において、デジタルＲＧＢカメラシステム１００は、ガンマ線、Ｘ線、紫外線、赤外光、マイクロ波、電波等を含む、他の波長の光を検出するように適合され得る。更に、デジタルＲＧＢカメラシステム１００は、静止画、動画、および三次元画像等に適合され得る。従って、本開示は、本明細書において示され、説明される例示的なデジタルＲＧＢカメラシステム１００を限定するものと解釈されるべきではない。図３ａは、一実施形態よる、デジタル画像を生成、処理、および提示するための方法３００のフローチャートである。本方法は、下位方法３０５において開始し、モザイク化済み画像１３０（図１ａに示される）が取得される。下位方法ブロック４００において、モザイク化済み画像１３０は、ＲＧＢトリプレット画像１４０（図１ｂに示される）を生成するべくデモザイク化され、ブロック３３５において、このＲＧＢトリプレット画像１４０は、格納される。ブロック３４０で、任意の好適なレンダリング等による、カメラデバイス１２０のディスプレイ１２３の表現、またはその他の好適なディスプレイもしくはスクリーンの表現を備え得る、デモザイク化済み画像が提示される。

【0027】

図３ｂは、モザイク化済みデジタル画像１３０を生成するための下位方法３０５Ａのフローチャートである。方法３００Ａは、ブロック３１０において開始し、光１０１（図１ａに示される）は、レンズ１０５（図１ａに示される）を通して受光され得る。ブロック３１５において、光１０１は、モザイク化フィルタ１１０（図１ａに示される）を通して受光され、ブロック３２０において、光１０１は、イメージセンサアレイ１１５（図１ａに示される）において受光される。ブロック３２５において、モザイク化済み画像１３０が、生成および格納される。例えば、モザイク化済み画像１３０は、メモリ１２２内に格納され、メモリ１２２は、バッファまたは他の好適なメモリデバイスを含み得る。更なる複数の実施形態において、モザイク化済み画像１３０を取得するための様々な他の好適な方法３００が存在し得る。例えば、モザイク化済み画像１３０は、メモリから取得され、インターネットからダウンロードされ、サーバ等から受信され得る。

【0028】

図４は、画像をデモザイク化するための下位方法４００Ａのフローチャートである。下位方法４００Ａは、図３ａにおいて下位方法ブロック４００として図示される。方法４００Ａは、ブロック４１０において開始し、ノイズレベルインデックスが取得される。様々な実施形態において、ノイズレベルインデックスは、デジタルカメラのＩＳＯ（スイス国ジュネーブ市の国際標準化機構）感度値、複数のカメラ自動利得制御（ＡＧＣ）インデックス、カメラデジタル利得制御（ＤＧＣ）インデックス等の全体性に基づいて算出される、外的パラメータであり得る。

【0029】

判断ブロック４２０において、ノイズレベルインデックスが閾値よりも大きいか否かが、判断される。いくつかの実施形態において、そのような閾値は、特定のハードウェアおよび複数の設定構成に基づいて、手動で判断され得る。例えば、ユーザは、複数の異なるノイズレベルを有する複数の画像を用いてデジタルカメラの所定の構成を試験し、双線形デモザイク化が適合デモザイク化よりも好ましい閾値を視覚的または分析的に判断し、１つのデモザイク化方法が別のものに対して選択される閾値レベルを設定し得る。いくつかの実施形態において、最適な閾値は、所定のカメラにおける集団定性実験および集団計量実験により算出され得る。例えば、判断された１つの最適な閾値は、０．７６になり得る。

【0030】

ノイズレベルが閾値よりも大きい場合、下位方法４００Ａは、適合デモザイク化が実行される下位方法ブロック５００まで継続する。そのような方法５００の一例は、本明細書において、図５に関連して更に詳細に示され、説明される。しかし、ノイズレベルが閾値よりも小さい場合、方法４００Ａは、双線形デモザイク化が実行されるブロック４３０まで継続する。

【0031】

双線形デモザイク化は、任意の好適な様式で実行され得る。例えば、一実施形態において、双線形デモザイク化は、他の複数の色の色強度を取得するべく、複数の隣接する画素との相関関係を用いる。再び図２を参照すると、位置Ｒ_５において緑色色値を取得するべく、鉛直方向および／または水平方向の複数の最近傍に存在する複数の緑色画素値に依存する、以下の補間方法が用いられ得る。

【数1】

【0032】

例えば、３つのカラーチャネルＲ、Ｇ、Ｂが複数の相関関係を有し、複数の隣接する画素強度が多くの場合、円滑に変化することを考慮して、補間は、周囲の複数の値に基づき得る。従って、水平方向の勾配

【数2】

および鉛直方向の勾配

【数3】

の算出は、補間方向を選択するべく用いられ得る。例えば、図２の画素Ｒ_５は、これらの異なる複数の方向の異なる傾きを有し得る。

【数4】

【数5】

【0033】

上述の実施形態において、

【数6】

の場合、複数の鉛直方向の補間値が選択され得る。例えば、図２を参照すると、Ｒ_５における緑色値は、鉛直方向の複数の最近傍値を平均し、または（Ｇ_４＋Ｇ_６）／２を算出することにより、鉛直方向の補間を用いて算出され得る。

【0034】

他方、

【数7】

の場合、複数の水平方向の補間値が選択され得る。例えば、図２を参照すると、Ｒ_５における複数の緑色値は、水平方向の複数の最近傍値を平均し、または（Ｇ_２＋Ｇ_８）／２を算出することにより、水平方向の補間を用いて算出され得る。

【0035】

しかし、

【数8】

の場合、４つの最近傍値は、平均され、補間値として用いられ得る。例えば、図２を参照すると、４つの最近傍値は、（Ｇ_２＋Ｇ_８＋Ｇ_４＋Ｇ_６）／４を算出することにより、Ｒ_５における緑色値を取得するべく、平均され得る。

【0036】

図５は、図４において図示される方法の一部である、画像の適合デモザイク化のための下位方法５００のフローチャートである。下位方法５００は、ループブロック５０５において、全ての画素位置１３０（図１ｂを参照されたい）に対して開始する。ブロック５１０において、所定の画素位置１３０の知られた色に基づいて、当該画素位置に対するΔＶおよびΔＨの値が判断され、ブロック５１５において、画素位置１３０に対する補間方向が選択される。

【0037】

例えば、図２を参照すると、知られた赤色画素位置Ｒ_５のΔＶおよびΔＨの値の計算は、次式のように実行され得る。

【0038】

ΔＨ＝｜（Ｒ_３＋Ｒ_７）／２−Ｒ_５）｜

【0039】

ΔＶ＝｜（Ｒ_１＋Ｒ_９）／２−Ｒ_５）｜

【0040】

各画素のΔＶおよびΔＨの値の取得は、水平方向または鉛直方向の補間が用いられるべきであるか否かを判断するべく用いられ得る。例えば、いくつかの実施形態において、ΔＨ＞ΔＶの場合、水平方向の補間が選択されるべきであると判断される。他方、ΔＨ＜ΔＶの場合、鉛直方向の補間が選択されるべきであると判断される。 ΔＨ＝ΔＶの場合、任意の選択が行われ、または値を取得するべく、４つの最近傍値は平均され得る。

【0041】

更なる複数の実施形態において、鉛直方向または水平方向の補間を用いるか否かを判断する他の好適な複数の方法が用いられ、そのような複数の方法は、簡易であるか、または複雑になり得る。例えば、上記の方法は、各方向における１つの最近傍画素を用いる。しかし、いくつかの実施形態において、各方向における２または３より多い最近傍値が用いられ得る。複数の方法は、いくつかの実施形態において、同時に使用され、または組み合われ得る。

【0042】

いくつかの実施形態において、潜在的な複数のエッジを推定および特定し、そのような複数のエッジ全体における補間を回避することが所望であることがある。例えば、図２を参照すると、画素Ｒ_５のΔＶおよびΔＨの値の計算は、次式のように実行され得る。

【0043】

ΔＨ＝｜（Ｇ_４−Ｇ_６）｜

【0044】

ΔＶ＝｜（Ｇ_２−Ｇ_８）｜

【0045】

いくつかの実施形態において、エッジ検出および／または急激な複数の強度変化に対してラプラス演算を用いることが所望であることがある。例えば、図２を参照すると、画素Ｒ_５のΔＶおよびΔＨの値の計算は、次式のように実行され得る。

【0046】

ΔＨ＝｜（Ｇ_２−Ｇ_８）｜＋｜Ｒ_５−Ｒ_１＋Ｒ_５−Ｒ_９｜

【0047】

ΔＶ＝｜（Ｇ_４−Ｇ_６）｜＋｜Ｒ_５−Ｒ_３＋Ｒ_５−Ｒ_７｜

【0048】

様々な実施形態において、選択方法は、カメラデバイス１２０（図１ａを参照されたい）の複数の機能に対する計量時間および内部の格納コスト、または複数の画像を処理し得る他のデバイスに基づき得る。

【0049】

ブロック５２０において、ループは、全ての知られていない緑色画素１４２Ｉに対して開始する。ブロック５２５において、所定の知られていない緑色画素１４２Ｉに対する鉛直方向の補間値または水平方向の補間値は、選択された方向に基づいて判断され、ループブロック５５０において、全ての知られていない緑色画素１４２Ｉに対するループは、終了する。全ての画素位置１３０に対するループは、ブロック５３５において終了する。

【0050】

例えば、いくつかの実施形態において、水平方向の緑色補間値は、以下のように判断され得る。Ｒ（・）、Ｇ（・）、およびＢ（・）は、それぞれベイヤーマップ上の赤色画素、緑色画素、および青色画素を表すものとする。Ｇ（ｘ）−Ｒ（ｘ）は、段階的に変化するものと仮定する。換言すれば、この差分画像の高周波部分は、Ｇ（ｘ）よりも急速に変化する。水平方向の補間値ＲＧＲＧを計算するべく、ベイヤーマップにおけるそれぞれの行（例えば、図２において２０５とラベリングされた画素［Ｒ_１、Ｇ_２、Ｒ_５、Ｇ_８、Ｒ_９］の行）が用いられる。行２０５において、例えば、奇数の番号が付けられた複数の緑色画素、および偶数の番号が付けられた複数の赤色画素は、全て任意の数量である。ランダム信号は、Ｐ（ｘ）として表され、Ｐ_０（ｘ）およびＰ_１（ｘ）は、知られた複数の信号の奇数および偶数の値とする。

【数9】

【数10】

【0051】

Ｇ_０（ｘ）およびＧ_１（ｘ）がそれぞれ、Ｇ（ｘ）の奇数の信号および偶数の信号である場合、Ｇ_０（ｘ）は知られており、ベイヤーデータから直接に取得され得るが、Ｇ_１（ｘ）は、取得されることができない。例えば、図２の行２０５を参照すると、緑色値の画素Ｇ_２およびＧ_８が知られている。これらの画素は、すでに緑色画素データのみを含むからである。他方、画素Ｒ_１、Ｒ_５、およびＲ_９は、赤色値のみを含み、従ってこれらの画素位置において緑色値は、知られていない。

【0052】

従って、Ｇ（ｘ）＝Ｇ_０（ｘ）＋Ｇ_１（ｘ）であり、式中、全てのＧ_０（ｘ）の値は、すでに知られている（例えば、図１ｂにおいて示される緑色部分４４２において「Ｇ」とラベリングされたの画素１４２Ｋ）。しかし、Ｇ_１（ｘ）の複数の値（例えば、図１ｂに示される緑色部分４４２のブランク画素１４２Ｉ）は、初期には知られておらず、補間され得る。従って、これは、ほぼレイジーウェーブレットの構造である。

【0053】

現在の知られていない複数の値Ｇ_１（ｘ）を取得するべく、Ｇ（ｘ）は、線形フィルタｈを通過したものと仮定する。換言すれば、Ｇ'（ｘ）＝ｈ（ｘ）×Ｇ（ｘ）である。Ｇ（ｘ）は帯域限定信号であり、ｈ（ｘ）は理想的なローパスフィルタであると仮定すると、次式が導かれ得る。

【0054】

Ｇ'（ｘ）＝ｈ_０（ｘ）×Ｇ_０（ｘ）＋ｈ_１（ｘ）×Ｇ_０（ｘ）＋ｈ_０（ｘ）×Ｇ_１（ｘ）＋ｈ_１（ｘ）×Ｇ_１（ｘ）

【0055】

従って、ローパスフィルタｈ（ｘ）は、以下の複数の特性を有する。

【0056】

ｈ_１（ｘ）×Ｇ_０（ｘ）＝０であり、式中、ｘは偶数である。

【0057】

ｈ_０（ｘ）×Ｇ_１（ｘ）＝０であり、式中、ｘは偶数である。

【0058】

ｈ_０（ｘ）×Ｇ_０（ｘ）＝０であり、式中、ｘは奇数である。

【0059】

ｈ_１（ｘ）×Ｇ_１（ｘ）＝０であり、式中、ｘは奇数である。

【0060】

従って、上記の複数の方程式は、以下のように書き換えられ得る。

【数11】

【0061】

従って、この式を用いれば、Ｇ_０（ｘ）およびＲ_１（ｘ）を用いて全ての不明の緑色画素値を補間することが可能である。換言すれば、複数の隣接する緑色画素Ｇ_０（ｘ）および知られている複数の赤色画素値Ｒ_１（ｘ）からの知られている複数の値を用いて、ＲＧＲＧＲ行における不明の複数の画素値Ｇ_１（ｘ）の補間は、行われ得る。複数のＧＢＧＢＧ行の補間は、複数の隣接する緑色画素Ｇ_０（ｘ）および知られている複数の青色画素値Ｂ_１（ｘ）からの複数の値を用いて、同様に行われ得る。この同一の解析は、複数のＲＧＲＧＲ列またはＧＢＧＢＧ列に適用され、複数の鉛直方向の緑色画素補間値を判断し得る。

【0062】

上述の複数の制約を満たすゼロ位相の有限インパルス応答（ＦＩＲ）フィルタｈ（ｘ）を取得することは、以下の最適化の問題を解決することにより行われ得る。

【0063】

【数12】

【0064】

式中、＾は、フーリエ変換を表し、ｗ（・）は、重み付け関数である。フィルタｈ（ｘ）の設定値を取得するそのような最適化は、Ｍａｔｌａｂ最適化ツールボックス（マサチューセッツ州ＮａｔｉｃｋのＴｈｅ ＭａｔｈＷｏｒｋｓ，Ｉｎｃ．）等を用いることを含むがこれに限定されない、様々な好適な方法で行われ得る。

【0065】

補間済み緑色値に対する隣接する赤色画素および緑色画素の効果を考慮するべく、衝撃係数δを導入し、次式のようにｈを判断することが可能である。

【0066】

ｈ＝［００６７］＋［−０．２５，０，０．５，０，−０．２５］×δ

【0067】

いくつかの実施形態において、衝撃係数δは１に設定されるが、更なる複数の実施形態において、衝撃係数δは、その他の好適な値を取り得る。

【0068】

図５の方法５００に戻ると、ループブロック５４０は、全ての知られていない赤色画素値および青色画素値１４１Ｉ、１４３Ｉに対するループを開始し、ブロック５４５において、知られていない赤色値１４１Ｉおよび／または青色値１４３Ｉに対する水平方向または鉛直方向の補間値は、画素位置１３０に対して選択された補間方向に基づいて算出される。ループブロック５５０において、全ての知られていない赤色画素値１４１Ｉおよび青色画素値１４３Ｉに対するループは、終了する。

【0069】

例えば、水平方向または鉛直方向のすでに知られ、または補間された全ての緑色値を用いて、方法５００は、複数の知られていない青色値および／または赤色値の各々に対する鉛直方向または水平方向の補間値を見出すことにより継続する。図１ｂを参照すると、ＲＧＢトリプレット画像１４０の赤色部分および青色部分１４１、１４３に対する多くの値は、未だに知られておらず（すなわち、画素１４１Ｉおよび１４３Ｉ）、従って補間され得る。例えば、赤色部分１４１において、「Ｒ」とマークされた画素１４１Ｋは、モザイク化済み画像１３０から知られるが、ブランク画素１４１Ｉは、知られておらず、補間され得る。同様に、青色部分１４３において、「Ｂ」とマークされた画素１４３Ｋは、モザイク化済み画像１３０から知られるが、ブランク画素１４３Ｉは、知られておらず、補間され得る。

【0070】

様々な実施形態において、知られていない青色画素値および／または赤色画素値１４１Ｉ、１４３Ｉの補間は、以下のように実行され得る。例えば、上述のように、差分画像Ｒ−Ｇは、限定された帯域であり、ナイキスト標本抽出率よりも実質的に小さい周波数を有すると仮定される。従って、差分画像Ｒ−Ｇは、すでに知られた差分画像Ｒ_Ｓ−Ｇ_Ｓにより再構成され得る。同様に、差分画像Ｂ−Ｇは、すでに知られた差分画像Ｂ_Ｓ−Ｇ_Ｓにより再構成され得る。従って、以下の複数の方程式は、Ｒ−ＧおよびＢ−Ｇを算出するべく、それぞれ用いられ得、式中、Ｌはローパスフィルタである。

【0071】

Ｒ−Ｇ＝Ｌ×（Ｒ_Ｓ−Ｇ_Ｓ）

【0072】

Ｂ−Ｇ＝Ｌ×（Ｂ_Ｓ−Ｇ_Ｓ）

【0073】

従って、所定の画素位置１３０に対する知られていない赤色値および／または青色値は、水平方向または鉛直方向に補間され得る。一実施形態において、Ｌは、ローパスフィルタであり、Ｌ＝［１／４ １／２ １／４；１／２ １１／２；１／４ １／２ １／４］であり得る。しかし、更なる複数の実施形態において、Ｌは、任意の好適なローパスフィルタであるか、または他のタイプのフィルタであり得る。

【0074】

図５の方法５００に再び戻ると、ブロック５５５において、メジアンフィルタは、完成されたトリプレットＲＧＢ画像１４０に適用され得る。ブロック５９９において、本方法５００が実行される。例えば、様々な実施形態において、上述の補間方法は、いくつかの擬色または他の所望でない複数の効果を生成し得る。Ｒ−Ｇ差分画像およびＢ−Ｇ差分画像における段階的な変化率の仮定を考慮して、メジアンフィルタは、擬色または他の所望でない複数の効果を除去し、または是正するべく適用され得る。例えば、いくつかの実施形態において、メジアンフィルタの適用は、画像中の小さい複数の変化を抑制しつつ、複数の詳細を保存する利益を提供し得る。いくつかの実施形態において、メジアンフィルタは、任意の所望の回数だけ繰り返し適用し、画像に対する所望の効果を生成し得る。

【0075】

以下の複数の例は、好ましい複数の実施形態を明示するべく、含められる。以下に続く、複数の例において開示された複数の技術が良好に機能することを発見された複数の技術を表し、実施のための好ましい複数の形態を構成するものとみなされ得ることを当業者は理解されたい。しかし、当業者は、本開示に鑑みて、開示され、実施形態の趣旨および範囲を逸脱することなく、同一または類似の結果をなおも取得する、多くの変更が特定の複数の実施形態において行われ得ることを理解されたい。

【0076】

例１
本明細書において説明される適合デモザイク化方法は、色彩ポーキュパインモアレ試験の目標画像上で用いられ、同一の試験の目標画像上で用いられた他の複数のデモザイク化方法と比較された。例えば、試験は、双線形デモザイク化、勾配可変数（Ｖａｒｉａｂｌｅ Ｎｕｍｂｅｒ ｏｆ Ｇｒａｄｉｅｎｔｓ（ＶＮＧ））デモザイク化、パターンドピクセルグルーピング（Ｐａｔｔｅｒｎｅｄ Ｐｉｘｅｌ Ｇｒｏｕｐｉｎｇ（ＰＰＧ））デモザイク化、ＤＣＢデモザイク化（ｗｗｗ．ｌｉｎｕｘｐｈｏｔｏ．ｏｒｇ）、適応フィルタリングデモザイク化（ＡＦＤ）、および色彩差異分散（Ｖａｒｉａｎｃｅ ｏｆ Ｃｏｌｏｒ Ｄｉｆｆｅｒｅｎｃｅｓ（ＶＣＤ））デモザイク化を用いて実行された。本明細書において説明される適合デモザイク化方法を用いて処理された複数の試験目標画像は、他の複数の方法と比較して、より良好な色彩回復効果およびより良好な擬色除去能力を示した。

【0077】

例２
６４×６４信号ブロックを解析し、本方法の様々なステップを実施する複数のモジュールに対する加算オペレーションおよび乗算オペレーションの数に関する統計を取る例において、上述の例示的な複数の実施形態の計算コストが、算出された（メジアンフィルタリングを含まない）。例えば、モジュール１は、水平方向および鉛直方向のＧ補間、ならびに水平方向のみのＲおよびＢ補間のステップを含んだ。モジュール２は、鉛直方向のＲおよびＢの補間を含んだ。モジュール３は、算出されたΔＨ値およびΔＶ値に基づく水平方向もしくは鉛直方向の補間の選択を含んだ。モジュール４は、メジアンフィルタリングの準備を含んだ。以下の表（メジアンフィルタリングを用いない）は、結果を示し、本明細書において説明される例示的な複数の本実施形態が相対的に極小の計算オーバヘッドで実行され得ることを図示する。これは、本方法がハードウェアおよび／またはソフトウェアにより実行されるか否かに関係なく、所望であり得る。

【表1】

【0078】

例３
５つの異なるノイズレベルの建物の外部におけるモザイク化済み画像は、本明細書において説明される例示的な複数の実施形態を用いてデモザイク化された。５つのモザイク化済み画像の信号対ノイズ比（ＳＮＲ）は、それぞれ１０、２０、４０、６０、および１００であった。図６ａは、デモザイク化済み画像のピーク信号対ノイズ比（ＰＳＮＲ）と比較される各モザイク化済み画像のＳＮＲのグラフ６００を図示し、図６ｂは、図６ａのグラフ６００において図示される複数の結果の表６０５を示す。複数の画像およびデータは、説明される本実施形態が、様々なＳＮＲレベルにおいて堅牢なデモザイク化を提供することを示す。

【0079】

説明される複数の実施形態は、様々な変更形態および代替形態に受容可能であり、それらの特定の例は、図面において例として示され、本明細書において詳細に説明された。しかし、説明される複数の実施形態は、開示される特定の形態または方法に限定されるものではなく、むしろ、本開示は、全ての変更形態、均等物、および代替形態を包含するものであることを理解されたい。
（項目１）
モザイク化済み画像の適合デモザイク化の方法であって、
第１の色、第２の色、および第３の色を含むモザイクパターンを有する上記モザイク化済み画像を受信するステップと、
上記モザイク化済み画像をデモザイク化し、適合デモザイク化済み画像を生成するステップとを備え、
上記適合デモザイク化は、
水平方向もしくは鉛直方向における上記第１の色の知られていない複数の画素の部分に対する複数の値を補間するステップと、
水平方向もしくは鉛直方向における上記第２の色の知られていない複数の画素の部分に対する複数の値を補間するステップと、
水平方向もしくは鉛直方向における上記第３の色の知られていない複数の画素の部分に対する複数の値を補間するステップとを含む、方法。
（項目２）
上記第２の色および上記第３の色の知られていない複数の画素の上記部分の複数の値を補間する上記ステップは、上記第１の色の知られていない複数の画素の上記部分に対する第１の複数の値の補間に基づく、項目１に記載の方法。
（項目３）
上記第２の色および上記第３の色の知られていない複数の画素の上記部分の複数の値を補間する上記ステップは、上記第１の色の知られていない複数の画素の上記部分に対する第１の複数の値の補間後に行われる、項目１または２に記載の方法。
（項目４）
上記モザイク化済み画像は、ベイヤーパターン中に赤色画素、緑色画素、および青色画素を含む、項目１から３のいずれか１項に記載の方法。
（項目５）
上記第１の色は、緑色であり、上記第２の色は、赤色であり、上記第３の色は、青色である、項目１から４のいずれか１項に記載の方法。
（項目６）
水平方向の補間または鉛直方向の補間は、画素位置の知られた色データに基づいて選択される、項目１から５のいずれか１項に記載の方法。
（項目７）
水平方向の補間および鉛直方向の補間のうち１つを選択することは、それぞれ鉛直方向および水平方向の最近傍画素の比較を含む、項目１から６のいずれか１項に記載の方法。
（項目８）
水平方向の補間および鉛直方向の補間のうち１つを選択することは、水平方向の勾配を算出することと、鉛直方向の勾配を算出することとを含む、項目１から７のいずれか１項に記載の方法。
（項目９）
水平方向の補間および鉛直方向の補間のうち１つは、所与の各画素位置について選択され、
上記第１の色、上記第２の色、および上記第３の色の上記知られていない複数の画素の補間は、選択された補間方向を用いて、該画素位置に対して実行される、項目１から８のいずれか１項に記載の方法。
（項目１０）
所与の画素位置に対する水平方向の補間または鉛直方向の補間を選択することは、類似の複数の近傍画素色値のうち最も少ない変化を有する該画素位置において補間方向を識別することに基づく、項目１から９のいずれか１項に記載の方法。
（項目１１）
上記適合デモザイク化は、上記デモザイク化済み画像にメジアンフィルタを適用することを更に含む、項目１から１０のいずれか１項に記載の方法。
（項目１２）
上記デモザイク化済み画像をディスプレイ上に表示するステップを更に備える、項目１から１１のいずれか１項に記載の方法。
（項目１３）
上記モザイク化済み画像を受信する上記ステップは、イメージセンサアレイから上記モザイク化済み画像を受信するステップを有する、項目１から１２のいずれか１項に記載の方法。
（項目１４）
レンズおよびモザイク化フィルタを通過する感知された光に基づいて、上記モザイク化済み画像を生成するステップを更に備える、項目１から１３のいずれか１項に記載の方法。
（項目１５）
モザイク化済み画像の適合デモザイク化の方法であって、
第１の色、第２の色、および第３の色を有するモザイクパターンを含む上記モザイク化済み画像を受信するステップと、
上記モザイク化済み画像に対するノイズレベルインデックスを取得するステップと、
上記ノイズレベルインデックスが閾値よりも大きいか否かを判断するステップと、
上記ノイズレベルインデックスが上記閾値よりも大きくない場合に、上記モザイク化済み画像に双線形デモザイク化を実行し、双線形デモザイク化済み画像を生成するステップと、
上記ノイズレベルインデックスが上記閾値よりも大きい場合に、上記モザイク化済み画像に適合デモザイク化を実行し、適合デモザイク化済み画像を生成するステップとを備え、
上記適合デモザイク化は、
水平方向もしくは鉛直方向における上記第１の色の知られていない複数の画素の部分に対する複数の値を補間するステップと、
水平方向もしくは鉛直方向における上記第２の色の知られていない複数の画素の部分に対する複数の値を補間するステップと、
水平方向もしくは鉛直方向における上記第３の色の知られていない複数の画素の部分に対する複数の値を補間するステップとを含む、方法。
（項目１６）
上記第２の色および上記第３の色の知られていない複数の画素の上記部分の上記複数の値を補間する上記ステップは、上記第１の色の知られていない複数の画素の上記部分に対する第１の複数の値の補間に基づく、項目１５に記載の方法。
（項目１７）
上記第２の色および上記第３の色の知られていない複数の画素の上記部分の複数の値を補間する上記ステップは、上記第１の色の知られていない複数の画素の上記部分に対する第１の複数の値の上記補間の後に行われる、項目１５または１６に記載の方法。
（項目１８）
上記モザイク化済み画像は、ベイヤーパターン中に赤色画素、緑色画素、および青色画素を含む、項目１５から１７のいずれか１項に記載の方法。
（項目１９）
上記第１の色は、緑色であり、上記第２の色は、赤色であり、上記第３の色は、青色である、項目１５から１８のいずれか１項に記載の方法。
（項目２０）
水平方向の補間または鉛直方向の補間は、画素位置の知られた色データに基づいて選択される、項目１５から１９のいずれか１項に記載の方法。
（項目２１）
水平方向の補間および鉛直方向の補間のうち１つを選択することは、それぞれ鉛直方向および水平方向の最近傍画素の比較を含む、項目１５から２０のいずれか１項に記載の方法。
（項目２２）
水平方向の補間および鉛直方向の補間のうち１つを選択することは、水平方向の勾配を算出することと、鉛直方向の勾配を算出することとを含む、項目１５から２１のいずれか１項に記載の方法。
（項目２３）
水平方向の補間および鉛直方向の補間のうち１つは、所与の各画素位置について選択され、
上記第１の色、上記第２の色、および上記第３の色の上記知られていない複数の画素の補間は、選択された補間方向を用いて、該画素位置に対して実行される、項目１５から２２のいずれか１項に記載の方法。
（項目２４）
所与の画素位置に対する水平方向の補間または鉛直方向の補間を選択することは、類似の複数の近傍画素色値のうち最も少ない変化を有する該画素位置において補間方向を識別することに基づく、項目１５から２３のいずれか１項に記載の方法。
（項目２５）
上記適合デモザイク化は、上記デモザイク化済み画像にメジアンフィルタを適用することを更に含む、項目１５から２４のいずれか１項に記載の方法。
（項目２６）
上記デモザイク化済み画像をディスプレイ上に表示するステップを更に備える、項目１５から２５のいずれか１項に記載の方法。
（項目２７）
上記モザイク化済み画像を受信する上記ステップは、イメージセンサアレイから上記モザイク化済み画像を受信するステップを有する、項目１５から２６のいずれか１項に記載の方法。
（項目２８）
レンズおよびモザイク化フィルタを通過する感知された光に基づいて、上記モザイク化済み画像を生成するステップを更に備える、項目１５から２７のいずれか１項に記載の方法。
（項目２９）
レンズと、
モザイク化フィルタと、
上記レンズおよび上記モザイク化フィルタを通過する感知された光に基づいて、第１の色、第２の色、および第３の色を含むモザイクパターンを有するモザイク化済み画像を生成するように動作可能なイメージセンサアレイと、
水平方向もしくは鉛直方向における上記第１の色の知られていない複数の画素の部分に対する複数の値を補間し、
水平方向もしくは鉛直方向における上記第２の色の知られていない複数の画素の部分に対する複数の値を補間し、
水平方向もしくは鉛直方向における上記第３の色の知られていない複数の画素の部分に対する複数の値を補間することにより、
知られていない複数の画素の補間により、上記モザイク化済み画像をデモザイク化し、デモザイク化済み画像を生成するように動作可能な処理モジュールとを備える、カメラシステム。
（項目３０）
上記処理モジュールは、上記第１の色の上記知られていない複数の画素の上記部分に対する第１の複数の値の上記補間に基づいて、上記第２の色および上記第３の色の上記知られていない複数の画素の上記部分に対する上記複数の値を補間する、項目２９に記載のカメラシステム。
（項目３１）
上記処理モジュールは、上記第１の色の知られていない複数の画素の上記部分に対する第１の複数の値の上記補間の後に、上記第２の色および上記第３の色の知られていない複数の画素の上記部分に対する上記複数の値を補間する、項目２９または３０に記載のカメラシステム。
（項目３２）
上記モザイク化フィルタは、ベイヤーフィルタであり、
上記モザイク化済み画像は、ベイヤーパターン中に赤色画素、緑色画素、および青色画素を含む、項目２９から３１のいずれか１項に記載のカメラシステム。
（項目３３）
上記第１の色は、緑色であり、上記第２の色は、赤色であり、上記第３の色は、青色である、項目２９から３２のいずれか１項に記載のカメラシステム。
（項目３４）
上記処理モジュールは、補間により上記モザイク化済み画像をデモザイク化し、
水平方向または鉛直方向の補間は、画素位置の知られている色データに基づいて選択される、項目２９から３３のいずれか１項に記載のカメラシステム。
（項目３５）
上記処理モジュールは、鉛直方向および水平方向のそれぞれの最近傍画素の比較により、上記第１の色、上記第２の色、および上記第３の色の補間された上記知られていない複数の画素の各々に対する水平方向および鉛直方向の補間のうち１つを選択する、項目２９から３４のいずれか１項に記載のカメラシステム。
（項目３６）
上記処理モジュールは、水平方向の勾配を算出し、鉛直方向の勾配を算出することにより、水平方向の補間および鉛直方向の補間のうち１つを選択する、項目２９から３５のいずれか１項に記載のカメラシステム。
（項目３７）
上記処理モジュールは、所与の各画素位置に対する水平方向の補間および鉛直方向の補間、ならびに選択された補間方向を用いて該画素位置に対して実行される、上記第１の色、上記第２の色、および上記第３の色の上記知られていない複数の画素の補間のうち１つを選択する、項目２９から３６のいずれか１項に記載のカメラシステム。
（項目３８）
上記処理モジュールは、類似の複数の近傍画素色値のうち最も少ない変化を有する所与の画素位置における補間方向を識別することにより、該画素位置に対する水平方向の補間または鉛直方向の補間を選択する、項目２９から３７のいずれか１項に記載のカメラシステム。
（項目３９）
上記処理モジュールは、補間により上記モザイク化済み画像をデモザイク化し、
上記デモザイク化済み画像を生成することは、メジアンフィルタを、上記デモザイク化済み画像に適用することを更に含む、項目２９から３８のいずれか１項に記載のカメラシステム。
（項目４０）
上記モザイク化済み画像および上記デモザイク化済み画像を格納するように構成されたメモリを更に備える、項目２９から３９のいずれか１項に記載のカメラシステム。
（項目４１）
上記デモザイク化済み画像を表示するように構成されたディスプレイを更に備える、項目２９から４０のいずれか１項に記載のカメラシステム。
（項目４２）
レンズと、
モザイク化フィルタと、
上記レンズおよび上記モザイク化フィルタを通過する感知された光に基づいて、第１の色、第２の色、および第３の色を含むモザイクパターンを有するモザイク化済み画像を生成する、イメージセンサアレイと、
上記モザイク化済み画像に対するノイズレベルインデックスを判断し、
上記ノイズレベルインデックスが閾値よりも大きいか否かを判断し、
上記ノイズレベルインデックスが上記閾値よりも大きくない場合に、上記モザイク化済み画像に双線形デモザイク化を実行し、双線形デモザイク化済み画像を生成し、
上記ノイズレベルインデックスが上記閾値よりも大きい場合に、上記モザイク化済み画像に適合デモザイク化を実行し、適合デモザイク化済み画像を生成することにより、
知られていない複数の画素値の補間により、上記モザイク化済み画像をデモザイク化し、デモザイク化済み画像を生成するように動作可能な処理モジュールとを備え、
上記適合デモザイク化は、
水平方向もしくは鉛直方向における上記第１の色の知られていない複数の画素の部分に対する複数の値を補間するステップと、
水平方向もしくは鉛直方向における上記第２の色の知られていない複数の画素の部分に対する複数の値を補間するステップと、
水平方向もしくは鉛直方向における上記第３の色の知られていない複数の画素の部分に対する複数の値を補間するステップとを含む、カメラシステム。
（項目４３）
上記処理モジュールは、上記第１の色の知られていない複数の画素の上記部分に対する第１の複数の値の上記補間に基づいて、上記第２の色および上記第３の色の知られていない複数の画素の上記部分に対する上記複数の値を補間する、項目４２に記載のカメラシステム。
（項目４４）
上記処理モジュールは、上記第１の色の知られていない複数の画素の上記部分に対する第１の複数の値の上記補間の後に、上記第２の色および上記第３の色の知られていない複数の画素の上記部分に対する複数の値を補間する、項目４２または４３に記載のカメラシステム。
（項目４５）
上記モザイク化フィルタは、ベイヤーフィルタであり、
上記モザイク化済み画像は、ベイヤーパターン中に赤色画素、緑色画素、および青色画素を含む、項目４２から４４のいずれか１項に記載のカメラシステム。
（項目４６）
上記第１の色は、緑色であり、上記第２の色は、赤色であり、上記第３の色は、青色である、項目４２から４５のいずれか１項に記載のカメラシステム。
（項目４７）
上記処理モジュールは、補間により上記モザイク化済み画像をデモザイク化し、
水平方向または鉛直方向の補間は、画素位置の知られている色データに基づいて、上記処理モジュールにより選択される、項目４２から４６のいずれか１項に記載のカメラシステム。
（項目４８）
上記処理モジュールは、鉛直方向および水平方向のそれぞれの最近傍画素の比較により、上記第１の色、上記第２の色、および上記第３の色の補間された上記知られていない複数の画素の各々に対する水平方向および鉛直方向の補間のうち１つを選択する、項目４２から４７のいずれか１項に記載のカメラシステム。
（項目４９）
上記処理モジュールは、水平方向の勾配を算出し、鉛直方向の勾配を算出することにより、水平方向の補間および鉛直方向の補間のうち１つを選択する、項目４２から４８のいずれか１項に記載のカメラシステム。
（項目５０）
上記処理モジュールは、所与の各画素位置に対する水平方向の補間および鉛直方向の補間、ならびに選択された補間方向を用いて該画素位置に対して実行される、上記第１の色、上記第２の色、および上記第３の色の上記知られていない複数の画素の補間のうち１つを選択する、項目４２から４９のいずれか１項に記載のカメラシステム。
（項目５１）
上記処理モジュールは、類似の複数の近傍画素色値のうち最も少ない変化を有する所与の画素位置における補間方向を識別することにより、該画素位置に対する水平方向の補間または鉛直方向の補間を選択する、項目４２から５０のいずれか１項に記載のカメラシステム。
（項目５２）
上記処理モジュールは、補間により上記モザイク化済み画像をデモザイク化し、メジアンフィルタを上記デモザイク化済み画像に適用することにより、上記デモザイク化済み画像を生成する、項目４２から５１のいずれか１項に記載のカメラシステム。
（項目５３）
上記モザイク化済み画像および上記デモザイク化済み画像を格納するように構成されたメモリを更に備える、項目４２から５２のいずれか１項に記載のカメラシステム。
（項目５４）
上記デモザイク化済み画像を表示するように構成されたディスプレイを更に備える、項目４２から５３のいずれか１項に記載のカメラシステム。

【図1a】

【図1b】

【図2】

【図3a】

【図3b】

【図4】

【図5】

【図6a】

【図6b】