特開 2024-70770 カラーフィルターアレイ及びデモザイキング方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2024070770

(43)【公開日】2024-05-23

(54)【発明の名称】カラーフィルターアレイ及びデモザイキング方法

(51)【国際特許分類】

   H04N 25/11 20230101AFI20240516BHJP

   G06T 3/4015 20240101ALI20240516BHJP

【ＦＩ】

H04N25/11

G06T3/40 705

【審査請求】有

【請求項の数】15

【出願形態】ＯＬ

(21)【出願番号】P 2023006191

(22)【出願日】2023-01-18

(31)【優先権主張番号】17/985,557

(32)【優先日】2022-11-11

(33)【優先権主張国・地域又は機関】US

(71)【出願人】

【識別番号】507296388

【氏名又は名称】采▲ぎょく▼科技股▲ふん▼有限公司

【氏名又は名称原語表記】ＶｉｓＥｒａ Ｔｅｃｈｎｏｌｏｇｉｅｓ Ｃｏｍｐａｎｙ Ｌｉｍｉｔｅｄ

【住所又は居所原語表記】Ｎｏ．１２，Ｄｕｓｉｎｇ Ｒｄ．１， Ｈｓｉｎｃｈｕ Ｓｃｉｅｎｃｅ Ｐａｒｋ，Ｈｓｉｎ－Ｃｈｕ Ｃｉｔｙ，Ｔａｉｗａｎ

(74)【代理人】

【識別番号】100102532

【弁理士】

【氏名又は名称】好宮 幹夫

(74)【代理人】

【識別番号】100194881

【弁理士】

【氏名又は名称】小林 俊弘

(74)【代理人】

【識別番号】100215142

【弁理士】

【氏名又は名称】大塚 徹

(72)【発明者】

【氏名】郭安立

(72)【発明者】

【氏名】呉翰林

【テーマコード（参考）】

5B057

5C065

【Ｆターム（参考）】

5B057CA01

5B057CB01

5B057CE16

5C065BB48

5C065CC01

5C065DD01

5C065EE05

(57)【要約】      （修正有）

【課題】イメージセンサー用のカラーフィルターアレイ及びデモザイキング方法を提供する。
【解決手段】カラーフィルターアレイ１００は、少なくとも１つの最小繰り返し単位１０を含む。少なくとも１つの最小繰り返し単位は、第１のフィルターセット及び第２のフィルターセットを含む。第１のフィルターセットは、第１のスペクトルを有する第１のカラーフィルター、第２のスペクトルを有する２つの第２のカラーフィルター及び第３のスペクトルを有する第３のカラーフィルターを含む。第２のフィルターセットは、第１のスペクトルを有する第４のカラーフィルター、第２のスペクトルを有する２つの第５のカラーフィルター、第３のスペクトルを有する第６のカラーフィルター及び複数の広帯域フィルターを含む。第２のフィルターセットは四角形の環を形成するように配置され、第１のフィルターセットは四角形の環の内部に配置される。
【選択図】図１

【特許請求の範囲】

【請求項1】

少なくとも１つの最小繰り返し単位を含むカラーフィルターアレイであって、
前記少なくとも１つの最小繰り返し単位は、
第１のスペクトルを有する第１のカラーフィルターと、第２のスペクトルを有する２つの第２のカラーフィルターと、第３のスペクトルを有する第３のカラーフィルターと、
を含む第１のフィルターセットと、
前記第１のスペクトルを有する第４のカラーフィルターと、前記第２のスペクトルを有する２つの第５のカラーフィルターと、前記第３のスペクトルを有する第６のカラーフィルターと、複数の広帯域フィルターと、を含む第２のフィルターセットと、
を含み、
前記第２のフィルターセットは四角形の環を形成するように配置され、前記第１のフィルターセットは前記四角形の環の内部に配置されることを特徴とするカラーフィルターアレイ。

【請求項2】

前記第１のカラーフィルター、前記第２のカラーフィルター、及び前記第３のカラーフィルターは、２行×２列の配列に配置され、
前記第１のカラーフィルター、前記第２のカラーフィルター、及び前記第３のカラーフィルターはベイヤー配列で配置されることを特徴とする請求項１に記載のカラーフィルターアレイ。

【請求項3】

前記少なくとも１つの最小繰り返し単位が正方配列に配置された４つのセルに分割され、前記少なくとも１つの最小繰り返し単位の左側領域の２つのセルが水平方向に沿って配置されるとき、前記左側領域の前記２つのセルは互いに対称であることを特徴とする請求項１に記載のカラーフィルターアレイ。

【請求項4】

前記少なくとも１つの最小繰り返し単位が正方配列に配置された４つのセルに分割され、前記少なくとも１つの最小繰り返し単位の右側領域の２つのセルが水平方向に沿って配置されるとき、前記右側領域の前記２つのセルは互いに対称であることを特徴とする請求項１に記載のカラーフィルターアレイ。

【請求項5】

前記第１のフィルターセットの各側面は、前記広帯域フィルターの２つに隣接することを特徴とする請求項１に記載のカラーフィルターアレイ。

【請求項6】

前記第１のカラーフィルター（ａ１）、前記第２のカラーフィルター（ｂ１）、前記第３のカラーフィルター（ｃ１）、前記第４のカラーフィルター（ａ２）、前記第５のカラーフィルター（ｂ２）、前記第６のカラーフィルター（ｃ２）、および広帯域フィルター（ｐ）が、以下の配置を有することを特徴とする請求項１に記載のカラーフィルターアレイ。
ａ２ ｐ ｐ ｂ２、
ｐ ｂ１ ｃ１ ｐ、
ｐ ａ１ ｂ１ ｐ、
ｂ２ ｐ ｐ ｃ２。

【請求項7】

カラーフィルターアレイを介してキャプチャされた画像のデモザイキング方法であって、
前記画像は、少なくとも１つのカラーフィルターアレイ（ＣＦＡ）パターンを含み、前記デモザイキング方法は、
前記少なくとも１つのＣＦＡパターンの複数のカラーピクセルを使用して、複数の第１の解像度のカラー画像及び複数の第２の解像度のカラー画像を生成し、その際、前記第２の解像度のカラー画像のそれぞれの解像度は、前記少なくとも１つのＣＦＡパターンの解像度と同じであり、前記第１の解像度のカラー画像のそれぞれの解像度よりも高いものであり、
前記第１の解像度のカラー画像及び前記第２の解像度のカラー画像に対して加重平均計算を実行して、複数の平均カラー画像を生成し、
パンクロマティック画像を前記平均カラー画像と融合して、複数のデモザイクされたカラー画像を生成し、その際、前記パンクロマティック画像の解像度と、前記平均カラー画像のそれぞれの解像度は、前記少なくとも１つのＣＦＡパターンの解像度と同じである、
ことを含むことを特徴とするデモザイキング方法。

【請求項8】

前記第１の解像度のカラー画像及び前記第２の解像度のカラー画像に対して加重平均計算を実行する演算は、
前記第１の解像度のカラー画像のそれぞれ及び前記第２の解像度のカラー画像のそれぞれに相応する重み付け値を適用するか、または、
前記第１の解像度のカラー画像のそれぞれの各ピクセル及び前記第２の解像度のカラー画像のそれぞれの各ピクセルに相応する重み付け値を適用する、
ことを含むことを特徴とする請求項７に記載のデモザイキング方法。

【請求項9】

前記第１の解像度のカラー画像の１つのピクセルの分布が、前記第１の解像度のカラー画像の別の１つのピクセルの分布よりも均一である場合、前記第１の解像度のカラー画像と前記第２の解像度のカラー画像に対して加重平均計算を実行する演算は、
前記第１の解像度のカラー画像の１つに第１の重み付け値を適用し、
前記第１の解像度のカラー画像の別の１つに第２の重み付け値を適用し、前記第１の重み付け値は前記第２の重み付け値より大きい、
ことを含むことを特徴とする請求項７に記載のデモザイキング方法。

【請求項10】

前記少なくとも１つのＣＦＡパターンの複数のパンクロマティックピクセルに対して補間を実行して、前記パンクロマティック画像を生成し、
前記少なくとも１つのＣＦＡパターンの前記カラーピクセルをサブサンプリングして、複数のサブサンプリング画像を生成し、その際、前記サブサンプリング画像はそれぞれベイヤーパターンであり、前記サブサンプリング画像のそれぞれの解像度は前記少なくとも１つのＣＦＡパターンの解像度よりも低い、
ことをさらに含むことを特徴とする請求項７に記載のデモザイキング方法。

【請求項11】

前記カラーピクセルは、第１のカラーピクセルセットと第２のカラーピクセルセットを含み、前記第１のカラーピクセルセットは、第１のカラーピクセルと、２つの第２のカラーピクセルと、第３のカラーピクセルとを含み、前記第２のカラーピクセルセットは、第４のカラーピクセルと、２つの第５のカラーピクセルと、第６のカラーピクセルとを含み、前記第２のカラーピクセルセット及び前記少なくとも１つのＣＦＡパターンの複数のパンクロマティックピクセルは四角形の環を形成するように配置され、前記第１のカラーピクセルセットは四角形の環の内部に配置され、
前記第４のカラーピクセル、前記第５のカラーピクセル、及び前記第６のカラーピクセルは、前記少なくとも１つのＣＦＡパターンにおいて相対的な位置関係を有し、
前記少なくとも１つのＣＦＡパターンの前記カラーピクセルをサブサンプリングして、前記サブサンプリング画像を生成する演算は、
前記相対的な位置関係に従って、前記第４のカラーピクセル、前記第５のカラーピクセル、及び前記第６のカラーピクセルを２行×２列の配列に配置して、前記サブサンプリング画像の１つを形成する、
ことを含むことを特徴とする請求項１０に記載のデモザイキング方法。

【請求項12】

前記カラーピクセルは、第１のカラーピクセルセットと第２のカラーピクセルセットを含み、前記第１のカラーピクセルセットは、第１のカラーピクセルと、２つの第２のカラーピクセルと、第３のカラーピクセルとを含み、前記第２のカラーピクセルセットは、第４のカラーピクセルと、２つの第５のカラーピクセルと、第６のカラーピクセルとを含み、前記第２のカラーピクセルセット及び前記少なくとも１つのＣＦＡパターンの複数のパンクロマティックピクセルは四角形の環を形成するように配置され、前記第１のカラーピクセルセットは四角形の環の内部に配置され、
前記少なくとも１つのＣＦＡパターンの上側領域内の前記第２のカラーピクセルの１つ、前記第３のカラーピクセル、前記第４のカラーピクセル、及び前記第５のカラーピクセルの１つは、垂直方向に相対的な位置関係を有し、
前記少なくとも１つのＣＦＡパターンの前記カラーピクセルをサブサンプリングして、前記サブサンプリング画像を生成する演算は、
前記相対的な位置関係に従って、前記第２のカラーピクセルの１つ、前記第３のカラーピクセル、前記第４のカラーピクセル、及び前記第５のカラーピクセルの１つを２行×２列の配列に配置して、前記サブサンプリング画像の１つを形成する、
ことを含むことを特徴とする請求項１０に記載のデモザイキング方法。

【請求項13】

前記カラーピクセルは、第１のカラーピクセルセットと第２のカラーピクセルセットを含み、前記第１のカラーピクセルセットは、第１のカラーピクセルと、２つの第２のカラーピクセルと、第３のカラーピクセルとを含み、前記第２のカラーピクセルセットは、第４のカラーピクセルと、２つの第５のカラーピクセルと、第６のカラーピクセルとを含み、前記第２のカラーピクセルセット及び前記少なくとも１つのＣＦＡパターンの複数のパンクロマティックピクセルは四角形の環を形成するように配置され、前記第１のカラーピクセルセットは四角形の環の内部に配置され、
前記少なくとも１つのＣＦＡパターンの下側領域内の前記第１のカラーピクセル、前記第２のカラーピクセルの１つ、前記第５のカラーピクセルの１つ、及び前記第６のカラーピクセルは、垂直方向に相対的な位置関係を有し、
前記少なくとも１つのＣＦＡパターンの前記カラーピクセルをサブサンプリングして、前記サブサンプリング画像を生成する演算は、
前記相対的な位置関係に従って、前記第１のカラーピクセル、前記第２のカラーピクセルの１つ、前記第５のカラーピクセルの１つ、及び前記第６のカラーピクセルを２行×２列の配列に配置して、前記サブサンプリング画像の１つを形成する、
ことを含むことを特徴とする請求項１０に記載のデモザイキング方法。

【請求項14】

前記サブサンプリング画像に対して補間を実行して、複数のカラー画像を生成し、
前記カラー画像を再配置して、前記第１の解像度のカラー画像を生成し、その際、前記カラー画像はそれぞれ、対応する前記少なくとも１つのＣＦＡパターンの前記カラーピクセルの一部の配置に従って再配置され、
前記第１の解像度のカラー画像をアップサンプリングして、前記第２の解像度のカラー画像を生成する、
ことをさらに含むことを特徴とする請求項１０に記載のデモザイキング方法。

【請求項15】

前記サブサンプリング画像の１つのピクセルが、前記少なくとも１つのＣＦＡパターンで所定の配置を有する場合、前記第１の解像度のカラー画像の１つのピクセルは、前記少なくとも１つのＣＦＡパターンにおける前記サブサンプリング画像のうちの１つのピクセルと同じ所定の配置を有する、
ことを含むことを特徴とする請求項１４に記載のデモザイキング方法。

【発明の詳細な説明】

【技術分野】

【0001】

本開示は、カラーフィルターアレイ及びデモザイキング方法に関し、特に、イメージセンサー用のカラーフィルターアレイ及びデモザイキング方法に関する。

【背景技術】

【0002】

今日のデジタルカメラは、多くの場合、カラーフィルターアレイ（ＣＦＡ）で覆われたイメージセンサーを使用し、ＣＦＡを介してキャプチャされたモザイク化された画像に対してデモザイキング方法を実行して、高品質の画像を取得する。このため、ＣＦＡおよび／またはデモザイキング方法を改善することが不可欠である。

【発明の概要】

【0003】

本開示の一態様は、カラーフィルターアレイに関する。このカラーフィルターアレイは、少なくとも１つの最小繰り返し単位を含み、この少なくとも１つの最小繰り返し単位は、第１のフィルターセットおよび第２のフィルターセットを含む。第１のフィルターセットは、第１のスペクトルを有する第１のカラーフィルター、第２のスペクトルを有する２つの第２のカラーフィルター、および第３のスペクトルを有する第３のカラーフィルターを含む。第２のフィルターセットは、第１のスペクトルを有する第４のカラーフィルター、第２のスペクトルを有する２つの第５のカラーフィルター、第３のスペクトルを有する第６のカラーフィルター、および複数の広帯域フィルターを含む。第２のフィルターセットは四角形の環を形成するように配置され、第１のフィルターセットはこの四角形の環の内部に配置される。

【0004】

本開示の別の態様は、カラーフィルターアレイを介してキャプチャされた画像のデモザイキング方法に関し、この画像は少なくとも１つのカラーフィルターアレイ（ＣＦＡ）パターンを含む。このデモザイキング方法は、少なくとも１つのＣＦＡパターンの複数のカラーピクセルを使用して、複数の第１の解像度のカラー画像および複数の第２の解像度のカラー画像を生成することを含み、その際、第２の解像度のカラー画像のそれぞれの解像度は、少なくとも１つのＣＦＡパターンの解像度と同じであり、第１の解像度のカラー画像のそれぞれの解像度よりも高い。そして第１の解像度のカラー画像および第２の解像度のカラー画像に対して加重平均計算を実行して、複数の平均カラー画像を生成する。そしてパンクロマティック画像を平均カラー画像と融合して、複数のデモザイクされたカラー画像を生成し、その際、パンクロマティック画像の解像度と平均カラー画像のそれぞれの解像度は、少なくとも１つのＣＦＡパターンの解像度と同じである。

【0005】

前述の一般的な説明と以下の詳細な説明の両方ともが例であり、特許請求される本発明のさらなる説明を提供することを意図していると理解されたい。

【図面の簡単な説明】

【0006】

本開示は、添付図面を参照して、実施形態の以下の詳細な説明を読むことにより、より完全に理解することができる。

【図1】本開示のいくつかの実施形態によるカラーフィルターアレイの概略図である。

【図2】本開示のいくつかの実施形態によるカラーフィルターアレイの最小繰り返し単位の概略図である。

【図3A】本開示のいくつかの実施形態による、最小繰り返し単位および最小繰り返し単位内のカラーフィルターの一部の再配置されたアレイの概略図である。

【図3B】本開示のいくつかの実施形態による、最小繰り返し単位および最小繰り返し単位内のカラーフィルターの一部の再配置されたアレイの概略図である。

【図3C】本開示のいくつかの実施形態による、最小繰り返し単位および最小繰り返し単位内のカラーフィルターの一部の再配置されたアレイの概略図である。

【図4A】本開示のいくつかの実施形態による、最小繰り返し単位内の複数のセルの概略図である。

【図4B】本開示のいくつかの実施形態による、最小繰り返し単位内の複数のセルの概略図である。

【図5】本開示のいくつかの実施形態によるカラーフィルターアレイの別の最小繰り返し単位の概略図である。

【図6】本開示のいくつかの実施形態によるデモザイキング方法の流れ図である。

【図7】本開示のいくつかの実施形態による、カラーフィルターアレイ（ＣＦＡ）パターンを有する画像のデモザイキング処理の概略図である。

【図8】本開示のいくつかの実施形態による画像のＣＦＡパターンの概略図である。

【図9A】本開示のいくつかの実施形態による、ＣＦＡパターンのカラーピクセルのサブサンプリングプロセスの概略図である。

【図9B】本開示のいくつかの実施形態による、ＣＦＡパターンのカラーピクセルのサブサンプリングプロセスの概略図である。

【図9C】本開示のいくつかの実施形態による、ＣＦＡパターンのカラーピクセルのサブサンプリングプロセスの概略図である。

【発明を実施するための形態】

【0007】

本願の態様をよりよく理解するために、添付の図面を参照して実施形態を以下に詳細に説明する。しかしながら、提供される実施形態は、開示の範囲を限定することを意図するものではなく、構造的動作の説明は、それらが実行される順序を限定することを意図するものではない。コンポーネントによって再結合され、同等の機能を生成するすべてのデバイスは、開示によってカバーされる範囲内にある。

【0008】

本明細書で使用される場合、「結合された」および「接続された」は、２つ以上の要素が互いに直接的または間接的に物理的または電気的に接触することを示すために使用されてもよく、２つ以上の要素が互いに協働または相互作用することを示すために使用されてもよい。

【0009】

図１を参照すると、図１は、本開示のいくつかの実施形態によるカラーフィルターアレイ１００の概略図である。いくつかの実施形態では、カラーフィルターアレイ１００はイメージセンサ（図示せず）に適用される。例えば、イメージセンサーがカラーフィルターアレイ１００を介してモザイク化された画像（図示せず）をキャプチャできるように、カラーフィルターアレイ１００をイメージセンサー内に繰り返し配置することができる。図１に示すように、カラーフィルターアレイ１００は、少なくとも１つの最小繰り返し単位１０を含む。

【0010】

図２を参照すると、図２は、本開示のいくつかの実施形態によるカラーフィルターアレイ１００の最小繰り返し単位１０の概略図である。いくつかの実施形態では、最小繰り返し単位１０は、第１のフィルターセットＦＴ１および第２のフィルターセットＦＴ２を含む。

【0011】

図２に示すように、第１フィルターセットＦＴ１は、第１スペクトルを有する第１のカラーフィルターＲ１、第２スペクトルを有する２つの第２のカラーフィルターＧ１、および第３スペクトルを有する第３のカラーフィルターＢ１を含む。第２のフィルターセットＦＴ２は、第１のスペクトルを有する第４のカラーフィルターＲ２、第２のスペクトルを有する２つの第５のカラーフィルターＧ２、第３のスペクトルを有する第６のカラーフィルターＢ２、および複数の広帯域フィルターＰを含む。特に、第１のカラーフィルターＲ１および第４のカラーフィルターＲ２は、それぞれ第１のスペクトルに対応する赤色光を通過させるように構成され、第２のカラーフィルターＧ１および第５のカラーフィルターＧ２は、それぞれ第２のスペクトルに対応する緑色光を通過させるように構成され、第３のカラーフィルターＢ１および第６のカラーフィルターＢ２は、それぞれ第３のスペクトルに対応する青色光を通過させるように構成される。さらに、広帯域フィルターＰは、白色光（少なくとも赤、緑、および青の光を含む）を通過させるように構成される。換言すれば、広帯域フィルターＰは、第１スペクトル、第２スペクトルおよび第３スペクトルのいずれよりも広いスペクトルを有する。

【0012】

図２の説明から、最小繰り返し単位１０の赤色光チャネルの割合は１２．５％であり、最小繰り返し単位１０の緑色光チャネルの割合は２５％であり、最小繰り返し単位１０の青色光チャネルの割合は１２．５％であり、最小繰り返し単位１０の広帯域光チャネルの割合は５０％である。

【0013】

いくつかの実施形態では、図２に示されるように、第１のカラーフィルターＲ１、２つの第２のカラーフィルターＧ１、および第３のカラーフィルターＢ１は、正方形であるベイヤー配列を形成するように、２行２列の配列に配置される。さらに、第２のフィルターセットＦＴ２は、第１のフィルターセットＦＴ１を囲むように、四角形の環を形成するように配置される。すなわち、第１のフィルターセットＦＴ１は、四角形の環の内部に位置する。上記の説明から、最小繰り返し単位１０内の２行２列の配列の少なくとも１つは、広帯域フィルターＰなしで配置されることが分かる。

【0014】

図３Ａ－３Ｃを参照すると、図３Ａ－３Ｃは、本開示のいくつかの実施形態による、最小繰り返し単位１０内のカラーフィルターの一部を再配置する概略図である。最小繰り返し単位１０内のカラーフィルターの部分は、実際には２行２列の配列に再配列されていないことが理解できる。図３Ａ－３Ｃの実施形態は、最小繰り返し単位１０内のカラーフィルターの部分の相対的な位置関係を説明するために示されている。

【0015】

図３Ａに示すように、第２のフィルターセットＦＴ２の第４のカラーフィルターＲ２、２つの第５のカラーフィルターＧ２および第６のカラーフィルターＢ２は、最小繰り返し単位１０から取り出され、最小繰り返し単位１０内における相対的な位置関係を変えずに２行２列の配列に再配置されるが、第２のフィルターセットＦＴ２の第４のカラーフィルターＲ２、２つの第５のカラーフィルターＧ２および第６のカラーフィルターＢ２は、ベイヤー配列を形成するように２行２列の配列に再配置される。図３Ａから、最小繰り返し単位１０または２行２列の再配置された配列のいずれにおいても、第４のカラーフィルターＲ２は、右上隅の第５のカラーフィルターＧ２の左にあり、左下隅の第５のカラーフィルターＧ２の上にあり、そして、第６のカラーフィルターＢ２は、右上隅の第５のカラーフィルターＧ２の下にあり、左下隅の第５のカラーフィルターＧ２の右にある。

【0016】

図３Ｂに示すように、最小繰り返し単位１０の上側領域Ａ１の第４のカラーフィルターＲ２、第５のカラーフィルターＧ２、第２のカラーフィルターＧ１、第３のカラーフィルターＢ１は、最小繰り返し単位１０から取り出され、最小繰り返し単位１０内における相対的な位置関係を変えずに２行２列の配列に再配置されるが、ベイヤー配列を形成するように２行２列の配列に再配置される。図３Ｂから、最小繰り返し単位１０または２行２列の再配置された配列のいずれにおいても、第４のカラーフィルターＲ２は、第５のカラーフィルターＧ２の左にあり、第２のカラーフィルターＧ１の上にあり、そして第３のカラーフィルターＢ１は、第５のカラーフィルターＧ２の下にあり、第２のカラーフィルターＧ１の右にある。

【0017】

図３Ｃに示すように、最小繰り返し単位１０の下側領域Ａ２の第１のカラーフィルターＲ１、第５のカラーフィルターＧ２、第２のカラーフィルターＧ１、第６のカラーフィルターＢ２は、最小繰り返し単位１０から取り出され、最小繰り返し単位１０内における相対的な位置関係を変えずに２行２列の配列に再配置されるが、ベイヤー配列を形成するように２行２列の配列に再配置される。図３Ｃから、最小繰返し単位１０または２行２列の再配置された配列のいずれにおいても、第１のカラーフィルターＲ１が第２のカラーフィルターＧ１の左にあり、第５のカラーフィルターＧ２の上にあり、そして第６のカラーフィルターＢ２は、第２のカラーフィルターＧ１の下にあり、第５のカラーフィルターＧ２の右にある。

【0018】

図３Ａ－３Ｂから分かるように、カラーフィルターの一部が最小繰り返し単位１０から取り出され、最小繰り返し単位１０内における相対的な位置関係を変えずに２行２列の配列に再配置されると、２行２列の配列に再配置されたカラーフィルターのその部分がベイヤー配列を形成する。

【0019】

図４Ａ－４Ｂを参照すると、図４Ａ－４Ｂは、本開示のいくつかの実施形態による最小繰り返し単位１０内の複数のセルの概略図である。いくつかの実施形態では、図４Ａ－４Ｂに示すように、最小繰り返し単位１０は４つのセルＣＬ１－ＣＬ４に分割され、４つのセルＣＬ１－ＣＬ４は正方配列に配置される。図４Ａおよび４Ｂから、セルＣＬ１－ＣＬ４のそれぞれが、２つの広帯域フィルターＰおよび２つの異なるカラーフィルターを含むことが分かる。

【0020】

いくつかの実施形態において、最小繰り返し単位１０の左側領域Ａ３（図４Ａに示される）内のセルＣＬ１およびセルＣＬ３は、水平方向に沿って再配置されるとき、互いに対称である。例えば、セルＣＬ１の左境界がセルＣＬ３の右境界に隣接するまで、セルＣＬ１を最小繰り返し単位１０の右下方向に移動すると、セルＣＬ１とセルＣＬ３は互いに対称である。

【0021】

いくつかの実施形態において、最小繰り返し単位１０の右側領域Ａ４（図４Ｂに示される）内のセルＣＬ２およびセルＣＬ４は、水平方向に沿って再配置されるとき、互いに対称である。例えば、セルＣＬ２の右境界がセルＣＬ４の左境界に隣接するまで、セルＣＬ２を最小繰り返し単位１０の左下方向に移動すると、セルＣＬ２とセルＣＬ４は互いに対称である。

【0022】

図４Ａおよび４Ｂの上記の実施形態では、最小繰り返し単位１０内のセルＣＬ１およびＣＬ３は実際には再配置されず、最小繰り返し単位１０内のセルＣＬ２およびＣＬ４は実際には再配置されない。図４Ａおよび４Ｂの実施形態は、最小繰り返し単位１０内のセルＣＬ１－ＣＬ４を説明するためにのみ示されている。

【0023】

カラーフィルターアレイ１００の最小繰り返し単位は、図２に示す構造に限定されないことを理解されたい。例えば、図５を参照すると、図５は、本開示のいくつかの実施形態によるカラーフィルターアレイ１００の最小繰り返し単位２０の概略図である。

【0024】

図６を参照すると、図６は、本開示のいくつかの実施形態によるデモザイキング方法２００の流れ図である。いくつかの実施形態では、デモザイキング方法２００は、処理回路（図示せず）によって実行されてモザイク画像を処理することができ、処理回路は、カラーフィルターアレイ１００を有する画像センサに電気的に結合されてモザイク画像を受信するが、本開示はこれに限定されない。いくつかの実施形態では、図６に示すように、デモザイキング方法２００は、ステップＳ２０１－Ｓ２０３を含む。デモザイキング方法２００は、図７を参照して以下で詳細に説明される。

【0025】

図７を参照すると、図７は、本開示のいくつかの実施形態による、モザイク化された画像のデモザイキング処理の概略図である。いくつかの実施形態では、図７に示すように、カラーフィルターアレイ１００を介して取り込まれたモザイク画像は、少なくとも１つのカラーフィルターアレイ（ＣＦＡ）パターン６０を含む。ＣＦＡパターン６０は、モザイク化された画像に繰り返し現れ得ることが理解できる。ＣＦＡパターン６０については、図８を参照して以下で詳細に説明する。

【0026】

図８を参照すると、図８は、本開示のいくつかの実施形態による、モザイク化された画像のＣＦＡパターン６０の概略図である。いくつかの実施形態では、ＣＦＡパターン６０は、カラーピクセル部７０およびパンクロマティックピクセル部８０を含む。カラーピクセル部７０は、第１のカラーピクセルセットＰ１と第２のカラーピクセルセットＰ２とを含む。第１のカラーピクセルセットＰ１は、第１のカラーピクセルＣ１、２つの第２のカラーピクセルＣ２、および第３のカラーピクセルＣ３を含む。第２のカラーピクセルセットＰ２は、第４のカラーピクセルＣ４、２つの第５のカラーピクセルＣ５、および第６のカラーピクセルＣ６を含む。パンクロマティックピクセル部８０は、複数のパンクロマティックピクセルＷを含む。

【0027】

さらに、第１のカラーピクセルＣ１および第４のカラーピクセルＣ４はそれぞれ赤のピクセル値を有することができ、第２のカラーピクセルＣ２および第５のカラーピクセルＣ５はそれぞれ緑のピクセル値を有することができ、第３のカラーピクセルＣ３および第６のカラーピクセルＣ６はそれぞれ青のピクセル値を有することができる。シンクロマティックピクセルＷは、シンクロマティックデータのピクセル値を有することができる。

【0028】

図８に示すように、第１のカラーピクセルセットＰ１の第１のカラーピクセルＣ１、２つの第２のカラーピクセルＣ２、及び第３のカラーピクセルＣ３は、２行２列の配列で配置される。第２のカラーピクセルセットＰ２とパンクロマティックピクセルＷとは、第１のカラーピクセルセットＰ１を囲むように、四角形の環を形成するように配置される。換言すれば、第１のカラーピクセルセットＰ１は、四角形の環の内部に位置する。上記の説明から、ＣＦＡパターン６０内の２行×２列の少なくとも１つの配列は、パンクロマティックピクセルＷなしで配置されることが分かる。

【0029】

ステップＳ２０１では、ＣＦＡパターン６０のカラーピクセルを使用して、複数の第１の解像度のカラー画像７３０および複数の第２の解像度のカラー画像７４０を生成する。図７に示すように、第１の解像度のカラー画像７３０および第２の解像度のカラー画像７４０は、ＣＦＡパターン６０のカラーピクセル部７０を使用することによって生成されるが、これについては以下で詳細に説明する。

【0030】

まず、図７に示すように、ＣＦＡパターン６０のカラーピクセル部７０をサブサンプリングして、複数のサブサンプリング画像７１０を生成する。いくつかの実施形態では、図７および図８を一緒に参照すると、第１のカラーピクセルセットＰ１の第１のカラーピクセルＣ１、２つの第２のカラーピクセルＣ２および第３のカラーピクセルＣ３がＣＦＡパターン６０から取り出され、サブサンプリング画像７１０［１］を形成する。カラーピクセル部７０のサブサンプリングプロセスは、図９Ａ－９Ｃを参照して以下でさらに説明される。図９Ａ－９Ｃは、本開示のいくつかの実施形態によるカラーピクセル部７０のサブサンプリングプロセスの概略図である。

【0031】

いくつかの実施形態では、図９Ａに示されるように、第２のカラーピクセルセットＰ２の第４のカラーピクセルＣ４、２つの第５のカラーピクセルＣ５、および第６のカラーピクセルＣ６がＣＦＡパターン６０から取り出され、ＣＦＡパターン６０内における相対的な位置関係を変えずに２行２列の配列に配置され、サブサンプリング画像７１０［２］を形成する。図９Ａから、ＣＦＡパターン６０のカラーピクセル部分７０またはサブサンプリング画像７１０［２］のいずれにおいても、第４のカラーピクセルＣ４は、右上隅の第５のカラーピクセルＣ５の左にあり、左下隅の第５のカラーピクセルＣ５の上にあり、そして第６のカラーピクセルＣ６は、右上隅の第５のカラーピクセルＣ５の下にあり、左下隅の第５のカラーピクセルＣ５の右にある。言い換えると、サブサンプリング画像７１０［２］を生成するために、第４のカラーピクセルＣ４、２つの第５のカラーピクセルＣ５、第６のカラーピクセルＣ６はＣＦＡパターン６０内における相対的な位置関係に従って配置される。

【0032】

いくつかの実施形態では、図９Ｂに示されるように、ＣＦＡパターン６０の上側領域Ｄ１内の第４のカラーピクセルＣ４、第５のカラーピクセルＣ５、第２のカラーピクセルＣ２および第３のカラーピクセルＣ３がＣＦＡパターン６０から取り出され、ＣＦＡパターン６０内における相対的な位置関係を変えずに２行２列の配列に配置され、サブサンプリング画像７１０［３］を形成する。図９Ｂから、ＣＦＡパターン６０のカラーピクセル部分７０またはサブサンプリング画像７１０［３］のいずれにおいても、第４のカラーピクセルＣ４は第５のカラーピクセルＣ５の左にあり、第２のカラーピクセルＣ２の上にあり、そして第３のカラーピクセルＣ３は、第５のカラーピクセルＣ５の下にあり、第２のカラーピクセルＣ２の右にある。言い換えると、サブサンプリング画像７１０［３］を生成するために、上側領域Ｄ１の第４のカラーピクセルＣ４、第５のカラーピクセルＣ５、第２のカラーピクセルＣ２および第３のカラーピクセルＣ３はＣＦＡパターン６０内における相対的な位置関係（特に垂直方向の相対的な位置関係）に従って配置される。

【0033】

いくつかの実施形態では、図９Ｃに示されるように、ＣＦＡパターン６０の下側領域Ｄ２内の第１のカラーピクセルＣ１、第２のカラーピクセルＣ２、第５のカラーピクセルＣ５および第６のカラーピクセルＣ６がＣＦＡパターン６０から取り出され、ＣＦＡパターン６０内における相対的な位置関係を変えずに２行２列の配列に配置され、サブサンプリング画像７１０［４］を形成する。図９Ｃから、ＣＦＡパターン６０のカラーピクセル部分７０またはサブサンプリング画像７１０［４］のいずれにおいても、第１のカラーピクセルＣ１は第２のカラーピクセルＣ２の左にあり、第２のカラーピクセルＣ５の上にあり、そして第６のカラーピクセルＣ６は、第２のカラーピクセルＣ２の下にあり、第５のカラーピクセルＣ５の右にある。言い換えると、サブサンプリング画像７１０［４］を生成するために、下側領域Ｄ２の第１のカラーピクセルＣ１、第２のカラーピクセルＣ２、第５のカラーピクセルＣ５および第６のカラーピクセルＣ６はＣＦＡパターン６０内における相対的な位置関係（特に垂直方向の相対的な位置関係）に従って配置される。

【0034】

いくつかの実施形態では、図７に示すように、サブサンプリング画像７１０はそれぞれベイヤーパターンである。さらに、サブサンプリング画像７１０（４ピクセルを含む）のそれぞれの解像度は、ＣＦＡパターン６０（１６ピクセルを含む）の解像度よりも低いことが分かる。

【0035】

いくつかの実施形態では、サブサンプリング画像７１０が生成された後、サブサンプリング画像７１０に対して補間が実行されて、複数のカラー画像７２０が生成される。例えば、図７に示すように、サブサンプリング画像７１０［１］を補間して３つのカラー画像７２０［１］を生成する。３つのカラー画像７２０［１］はそれぞれ赤、緑、および青の色に対応する。サブサンプリング画像７１０［２］―７１０［４］の補間は、サブサンプリング画像７１０［１］と同様であるため省略する。カラー画像７２０を生成するための補間は、本開示の当業者には周知であるため、ここでは詳細に説明しない。

【0036】

その後、カラー画像７２０は再配置され、第１の解像度のカラー画像７３０を生成する。いくつかの実施形態では、カラー画像７２０はそれぞれ、対応するＣＦＡパターン６０のカラーピクセルの部分の配置に従って再配置される。３つのカラー画像７２０［２］は、再配置プロセスを説明するための例として取り上げられる。図７に示すように、３つのカラー画像７２０［２］のそれぞれの４つのピクセルは、ＣＦＡパターン６０内の第４のカラーピクセルＣ４、２つの第５のカラーピクセルＣ５、および第６のカラーピクセルＣ６の配列に従って再配置され、３つの第１の解像度のカラー画像７３０［２］を生成する。特に、ＣＦＡパターン６０における第４のカラーピクセルＣ４、２つの第５のカラーピクセルＣ５、および第６のカラーピクセルＣ６のように、カラー画像７２０［２］のそれぞれの４つのピクセルが、第１の解像度のカラー画像７３０［２］のそれぞれの４×４ピクセルアレイの左上隅、右上隅、左下隅、および右下隅にそれぞれ配置される。図７および図８から、カラー画像７２０［２］が、第４のカラーピクセルＣ４、２つの第５のカラーピクセルＣ５および第６のカラーピクセルＣ６の配列に従って再配置されることが分かる。カラー画像７２０［２］は、第４のカラーピクセルＣ４、２つの第５のカラーピクセルＣ５、および第６のカラーピクセルＣ６に基づいて生成されるからである。したがって、他の第１の解像度のカラー画像７３０［１］、７３０［３］、および７３０［４］の生成は、類推によって推測することができるので、ここでは省略される。

【0037】

さらに、いくつかの実施形態では、サブサンプリング画像７１０のうちの１つのピクセルがＣＦＡパターン６０において所定の配列を有するとき、第１の解像度のカラー画像７３０のうちの対応する１つのピクセルは、同じ所定の配列を有する。サブサンプリング画像７１０［２］および第１の解像度のカラー画像７３０［２］を例として説明する。図７および図９Ａに示すように、サブサンプリング画像７１０［２］の第４のカラーピクセルＣ４、第５のカラーピクセルＣ５および第６のカラーピクセルＣ６は、サブサンプリング処理前にＣＦＡパターン６０の左上隅、右上隅、左下隅、右下隅に配置される。そして第１の解像度のカラー画像７３０［２］のそれぞれのピクセルも、第１の解像度のカラー画像７３０［２］のそれぞれの４×４ピクセルアレイの左上隅、右上隅、左下隅、および右下隅に配置される。

【0038】

いくつかの実施形態では、図７に示されるように、第１の解像度のカラー画像７３０に対してアップサンプリングプロセスが実行されて、第２の解像度のカラー画像７４０が生成される。３つの第１の解像度のカラー画像７３０［１］は、アップサンプリングプロセスを説明するための例として取り上げられる。図７に示すように、３つの第１の解像度のカラー画像７３０［１］のそれぞれの４×４ピクセルアレイは、１６ピクセルの容量を有するが、現在は４ピクセルのみを含む。すなわち、３つの第１の解像度のカラー画像７３０［１］のそれぞれの４×４ピクセルアレイには、１２個の利用可能な空（図７ではクロスグリッドで埋められている）がある。アップサンプリングプロセスは、３つの第１の解像度のカラー画像７３０［１］のそれぞれの４×４ピクセルアレイ内の１２の利用可能な空を埋めて、３つの第２の解像度のカラー画像７４０［１］を生成するように構成される。他の第２の解像度のカラー画像７４０［２］、７４０［３］、および７４０［４］の生成は、類推によって推測することができるので、ここでは省略する。アップサンプリングプロセスは、本開示の当業者には周知であるため、ここでは詳細に説明しない。上記の説明から、第２の解像度のカラー画像７４０（１６ピクセルを含む）のそれぞれの解像度は、ＣＦＡパターン６０（１６ピクセルを含む）の解像度と同じであり、第１の解像度のカラー画像７３０（４ピクセルを含む）のそれぞれの解像度よりも高いことがわかる。

【0039】

図６および図７を一緒に参照すると、ステップＳ２０２において、第１の解像度のカラー画像７３０および第２の解像度のカラー画像７４０に対して加重平均計算が実行され、複数の平均カラー画像７５０を生成する。いくつかの実施形態では、図７に示されるように、複数の重み付け値ω１－ω８が第１解像度カラー画像７３０および第２解像度カラー画像７４０に適用され、平均カラー画像７５０を生成する。第１の解像度のカラー画像７３０［１］を例として説明する。具体的には、第１の解像度のカラー画像７３０［１］の輝度と色度に重み値ω１を乗じる。第１の解像度のカラー画像７３０［２］、７３０［３］および７３０［４］ならびに第２の解像度のカラー画像７４０［１］、７４０［２］、７４０［３］および７４０［４］の計算は、類推によって推測することができる。次に、第１の解像度のカラー画像７３０［１］、７３０［２］、７３０［３］および７３０［４］と、第２の解像度のカラー画像７４０［１］、７４０［２］、７４０［３］および７４０［４］とが、３つの色（つまり、赤、緑、または青の色）のいずれかに対応するが、平均化され、同じ色を有する平均カラー画像７５０の１つを生成する。

【0040】

重み付け値ω１－ω８は、すべて同じまたはすべて異なっていてもよく、あるいは部分的に同じで部分的に異なっていてもよいことを理解されたい。いくつかの実施形態では、第１の解像度のカラー画像７３０［１］および７３０［２］のピクセルの分布は、第１の解像度のカラー画像７３０［３］および７３０［４］のピクセルの分布よりも均一である。したがって、重み付け値ω１およびω２は、重み付け値ω３およびω４よりも大きい。

【0041】

図７の実施形態では、各画像に１つの重み付け値が適用されるが、本開示はこれに限定されない。例えば、いくつかの実施形態では、各第１の解像度のカラー画像７３０の各ピクセルおよび各第２の解像度のカラー画像７４０の各ピクセルに１つの重み付け値が適用される。

【0042】

いくつかの実施形態では、図７に示すように、ＣＦＡパターン６０のパンクロマティックピクセル部８０に対して補間が実行されて、パンクロマティック画像８１０が生成される。図８に示すように、パンクロマティックピクセル部８０は８個のピクセルを含む。パンクロマティックピクセル部８０は、補間（または修復）されて、１６個のピクセルを有するパンクロマティック画像８１０を生成する。

【0043】

再び図６および図７を一緒に参照すると、ステップＳ２０３において、パンクロマティック画像８１０が平均カラー画像７５０と融合され、複数のデモザイクされたカラー画像６１０を生成する。いくつかの実施形態では、平均カラー画像７５０のそれぞれの輝度がパンクロマティック画像８１０の輝度に置き換えられ、デモザイクされたカラー画像６１０を生成する。図７から、パンクロマティック画像８１０（１６ピクセルを含む）の解像度と平均カラー画像７５０（１６ピクセルを含む）のそれぞれの解像度は、ＣＦＡパターン６０（１６ピクセルを含む）の解像度と同じである。

【0044】

特に、デモザイキング方法２００を使用してモザイク化された画像を処理することにより、本開示の取得画像は、より優れた色の正確さを有する。例えば、本開示の取得画像の色の正確さは、既知のデモザイキング方法と比較して４８．７％～５５．８％向上する。また、本開示のカラーフィルターアレイ１００を用いることにより、本開示の取得画像は、既知のカラーフィルターアレイと同等のＰＳＮＲ（ピーク信号対雑音比）を有する。要するに、本開示のカラーフィルターアレイ１００およびデモザイキング方法２００は、高感度および改善された色の正確さを有する画像を得るという利点を有する。

【0045】

開示された方法は、フロッピー・ディスク、ＣＤ－ＲＯＭ、ハード・ドライブ、または任意の他の機械可読記憶媒体などの有形の媒体に具現化されたプログラム・コード（すなわち、実行可能な命令）の形をとることができ、プログラムコードがコンピュータなどの機械にロードされて実行されると、その機械は方法を実施するための装置となる。これらの方法はまた、電気配線やケーブル、光ファイバー、または他の伝送の形式などの、何らかの伝送媒体を介して伝送されるプログラムコードの形式で具現化することもでき、プログラムコードがコンピュータなどの機械に受信されてロードされて実行されると、その機械は、開示された方法を実施するための装置となる。汎用プロセッサ上で実施される場合、プログラムコードは少なくとも１つのプロセッサと結合することで、アプリケーション固有の論理回路と同様に動作する独自の装置を提供する。

【0046】

本開示は、特定の実施形態を参照してかなり詳細に説明したが、他の実施形態も可能である。したがって、添付の特許請求の範囲の精神および範囲は、本明細書に含まれる実施形態の説明に限定されるべきではない。本発明の範囲または精神から逸脱することなく、本開示の構造に対して様々な修正および変形を行うことができることは、当業者には明らかであろう。前述の観点から、本発明は、修正および変更が特許請求の範囲内にある限り、本発明の修正および変更を包含することが意図されている。

【符号の説明】

【0047】

１０、２０ 最小繰り返し単位
６０ ＣＦＡパターン
７０ カラーピクセル部
８０ パンクロマティックピクセル部
１００ カラーフィルターアレイ
２００ デモザイキング方法
６１０ デモザイクされたカラー画像
７１０、７１０［１］、７１０［２］、７１０［３］、７１０［４］ サブサンプリング画像
７２０、７２０［１］、７２０［２］、７２０［３］、７２０［４］ カラー画像
７３０、７３０［１］、７３０［２］、７３０［３］、７３０［４］ 第１の解像度のカラー画像
７４０、７４０［１］、７４０［２］、７４０［３］、７４０［４］ 第２の解像度のカラー画像
７５０ 平均カラー画像
８１０ パンクロマティック画像
Ａ１、Ｄ１ 上側領域
Ａ２、Ｄ２ 下側領域
Ａ３ 左側領域
Ａ４ 右側領域
Ｂ１ 第３のカラーフィルター
Ｂ２ 第６のカラーフィルター
Ｃ１ 第１のカラーピクセル
Ｃ２ 第２のカラーピクセル
Ｃ３ 第３のカラーピクセル
Ｃ４ 第４のカラーピクセル
Ｃ５ 第５のカラーピクセル
Ｃ６ 第６のカラーピクセル
ＣＬ１、ＣＬ２、ＣＬ３、ＣＬ４ セル
ＦＴ１ 第１のフィルターセット
ＦＴ２ 第２のフィルターセット
Ｇ１ 第２のカラーフィルター
Ｇ２ 第５のカラーフィルター
Ｐ 広帯域フィルター
Ｐ１ 第１のカラーピクセルセット
Ｐ２ 第２のカラーピクセルセット
Ｒ１ 第１のカラーフィルター
Ｒ２ 第４のカラーフィルター
Ｓ２０１、Ｓ２０２、Ｓ２０３ ステップ
Ｗ パンクロマティックピクセル
ω１、ω２、ω３、ω４、ω５、ω６、ω７、ω８ 重み付け値

【図1】

【図2】

【図3A】

【図3B】

【図3C】

【図4A】

【図4B】

【図5】

【図6】

【図7】

【図8】

【図9A】

【図9B】

【図9C】

【手続補正書】

【提出日】2024-05-13

【手続補正1】

【補正対象書類名】特許請求の範囲

【補正対象項目名】全文

【補正方法】変更

【補正の内容】

【特許請求の範囲】

【請求項1】

少なくとも１つの最小繰り返し単位を含むカラーフィルターアレイであって、
前記少なくとも１つの最小繰り返し単位は、
第１のスペクトルを有する第１のカラーフィルターと、第２のスペクトルを有する２つの第２のカラーフィルターと、第３のスペクトルを有する第３のカラーフィルターと、
を含む第１のフィルターセットと、
前記第１のスペクトルを有する第４のカラーフィルターと、前記第２のスペクトルを有する２つの第５のカラーフィルターと、前記第３のスペクトルを有する第６のカラーフィルターと、複数の広帯域フィルターと、を含む第２のフィルターセットと、
を含み、
前記第２のフィルターセットは四角形の環を形成するように配置され、前記第１のフィルターセットは前記四角形の環の内部に配置されることを特徴とするカラーフィルターアレイ。

【請求項2】

前記第１のカラーフィルター、前記第２のカラーフィルター、及び前記第３のカラーフィルターは、２行×２列の配列に配置され、
前記第１のカラーフィルター、前記第２のカラーフィルター、及び前記第３のカラーフィルターはベイヤー配列で配置されることを特徴とする請求項１に記載のカラーフィルターアレイ。

【請求項3】

前記少なくとも１つの最小繰り返し単位が正方配列に配置された４つのセルに分割され、前記少なくとも１つの最小繰り返し単位の左側領域の２つのセルが水平方向に沿って配置されるとき、前記左側領域の前記２つのセルは互いに対称であることを特徴とする請求項１に記載のカラーフィルターアレイ。

【請求項4】

前記少なくとも１つの最小繰り返し単位が正方配列に配置された４つのセルに分割され、前記少なくとも１つの最小繰り返し単位の右側領域の２つのセルが水平方向に沿って配置されるとき、前記右側領域の前記２つのセルは互いに対称であることを特徴とする請求項１に記載のカラーフィルターアレイ。

【請求項5】

前記第１のフィルターセットの各側面は、前記広帯域フィルターの２つに隣接することを特徴とする請求項１に記載のカラーフィルターアレイ。

【請求項6】

前記第１のカラーフィルターをＲ１とし、前記第２のカラーフィルターをＧ１とし、前記第３のカラーフィルターをＢ１とし、前記第４のカラーフィルターをＲ２とし、前記第５のカラーフィルターをＧ２とし、前記第６のカラーフィルターをＢ２とし、および前記広帯域フィルターをＰとし、以下の配置を有することを特徴とする請求項１に記載のカラーフィルターアレイ。
Ｒ２ Ｐ Ｐ Ｇ２、
Ｐ Ｇ１ Ｂ１ Ｐ、
Ｐ Ｒ１ Ｇ１ Ｐ、
Ｇ２ Ｐ Ｐ Ｂ２。

【請求項7】

カラーフィルターアレイを介してキャプチャされた画像のデモザイキング方法であって、
前記カラーフィルターアレイは、少なくとも１つの最小繰り返し単位を含み、
前記少なくとも１つの最小繰り返し単位は、
第１のスペクトルを有する第１のカラーフィルターと、第２のスペクトルを有する２つの第２のカラーフィルターと、第３のスペクトルを有する第３のカラーフィルターと、
を含む第１のフィルターセットと、
前記第１のスペクトルを有する第４のカラーフィルターと、前記第２のスペクトルを有する２つの第５のカラーフィルターと、前記第３のスペクトルを有する第６のカラーフィルターと、複数の広帯域フィルターと、を含む第２のフィルターセットと、
を含み、
前記第２のフィルターセットは四角形の環を形成するように配置され、前記第１のフィルターセットは前記四角形の環の内部に配置されることとし、
前記画像は、少なくとも１つのカラーフィルターアレイ（ＣＦＡ）パターンを含み、前記デモザイキング方法は、
前記少なくとも１つのＣＦＡパターンの複数のカラーピクセルを使用して、複数の第１の解像度のカラー画像及び複数の第２の解像度のカラー画像を生成し、その際、前記第２の解像度のカラー画像のそれぞれの解像度は、前記少なくとも１つのＣＦＡパターンの解像度と同じであり、前記第１の解像度のカラー画像のそれぞれの解像度よりも高いものであり、
前記第１の解像度のカラー画像及び前記第２の解像度のカラー画像に対して加重平均計算を実行して、複数の平均カラー画像を生成し、
パンクロマティック画像を前記平均カラー画像と融合して、複数のデモザイクされたカラー画像を生成し、その際、前記パンクロマティック画像の解像度と、前記平均カラー画像のそれぞれの解像度は、前記少なくとも１つのＣＦＡパターンの解像度と同じである、
ことを含むことを特徴とするデモザイキング方法。

【請求項8】

前記第１の解像度のカラー画像及び前記第２の解像度のカラー画像に対して加重平均計算を実行する演算は、
前記第１の解像度のカラー画像のそれぞれ及び前記第２の解像度のカラー画像のそれぞれに相応する重み付け値を適用するか、または、
前記第１の解像度のカラー画像のそれぞれの各ピクセル及び前記第２の解像度のカラー画像のそれぞれの各ピクセルに相応する重み付け値を適用する、
ことを含むことを特徴とする請求項７に記載のデモザイキング方法。

【請求項9】

前記第１の解像度のカラー画像の１つのピクセルの分布が、前記第１の解像度のカラー画像の別の１つのピクセルの分布よりも均一である場合、前記第１の解像度のカラー画像と前記第２の解像度のカラー画像に対して加重平均計算を実行する演算は、
前記第１の解像度のカラー画像の１つに第１の重み付け値を適用し、
前記第１の解像度のカラー画像の別の１つに第２の重み付け値を適用し、前記第１の重み付け値は前記第２の重み付け値より大きい、
ことを含むことを特徴とする請求項７に記載のデモザイキング方法。

【請求項10】

前記少なくとも１つのＣＦＡパターンの複数のパンクロマティックピクセルに対して補間を実行して、前記パンクロマティック画像を生成し、
前記少なくとも１つのＣＦＡパターンの前記カラーピクセルをサブサンプリングして、複数のサブサンプリング画像を生成し、その際、前記サブサンプリング画像はそれぞれベイヤーパターンであり、前記サブサンプリング画像のそれぞれの解像度は前記少なくとも１つのＣＦＡパターンの解像度よりも低い、
ことをさらに含むことを特徴とする請求項７に記載のデモザイキング方法。

【請求項11】

前記カラーピクセルは、第１のカラーピクセルセットと第２のカラーピクセルセットを含み、前記第１のカラーピクセルセットは、第１のカラーピクセルと、２つの第２のカラーピクセルと、第３のカラーピクセルとを含み、前記第２のカラーピクセルセットは、第４のカラーピクセルと、２つの第５のカラーピクセルと、第６のカラーピクセルとを含み、前記第２のカラーピクセルセット及び前記少なくとも１つのＣＦＡパターンの複数のパンクロマティックピクセルは四角形の環を形成するように配置され、前記第１のカラーピクセルセットは四角形の環の内部に配置され、
前記第４のカラーピクセル、前記第５のカラーピクセル、及び前記第６のカラーピクセルは、前記少なくとも１つのＣＦＡパターンにおいて相対的な位置関係を有し、
前記少なくとも１つのＣＦＡパターンの前記カラーピクセルをサブサンプリングして、前記サブサンプリング画像を生成する演算は、
前記相対的な位置関係に従って、前記第４のカラーピクセル、前記第５のカラーピクセル、及び前記第６のカラーピクセルを２行×２列の配列に配置して、前記サブサンプリング画像の１つを形成する、
ことを含むことを特徴とする請求項１０に記載のデモザイキング方法。

【請求項12】

前記カラーピクセルは、第１のカラーピクセルセットと第２のカラーピクセルセットを含み、前記第１のカラーピクセルセットは、第１のカラーピクセルと、２つの第２のカラーピクセルと、第３のカラーピクセルとを含み、前記第２のカラーピクセルセットは、第４のカラーピクセルと、２つの第５のカラーピクセルと、第６のカラーピクセルとを含み、前記第２のカラーピクセルセット及び前記少なくとも１つのＣＦＡパターンの複数のパンクロマティックピクセルは四角形の環を形成するように配置され、前記第１のカラーピクセルセットは四角形の環の内部に配置され、
前記少なくとも１つのＣＦＡパターンの上側領域内の前記第２のカラーピクセルの１つ、前記第３のカラーピクセル、前記第４のカラーピクセル、及び前記第５のカラーピクセルの１つは、垂直方向に相対的な位置関係を有し、
前記少なくとも１つのＣＦＡパターンの前記カラーピクセルをサブサンプリングして、前記サブサンプリング画像を生成する演算は、
前記相対的な位置関係に従って、前記第２のカラーピクセルの１つ、前記第３のカラーピクセル、前記第４のカラーピクセル、及び前記第５のカラーピクセルの１つを２行×２列の配列に配置して、前記サブサンプリング画像の１つを形成する、
ことを含むことを特徴とする請求項１０に記載のデモザイキング方法。

【請求項13】

前記カラーピクセルは、第１のカラーピクセルセットと第２のカラーピクセルセットを含み、前記第１のカラーピクセルセットは、第１のカラーピクセルと、２つの第２のカラーピクセルと、第３のカラーピクセルとを含み、前記第２のカラーピクセルセットは、第４のカラーピクセルと、２つの第５のカラーピクセルと、第６のカラーピクセルとを含み、前記第２のカラーピクセルセット及び前記少なくとも１つのＣＦＡパターンの複数のパンクロマティックピクセルは四角形の環を形成するように配置され、前記第１のカラーピクセルセットは四角形の環の内部に配置され、
前記少なくとも１つのＣＦＡパターンの下側領域内の前記第１のカラーピクセル、前記第２のカラーピクセルの１つ、前記第５のカラーピクセルの１つ、及び前記第６のカラーピクセルは、垂直方向に相対的な位置関係を有し、
前記少なくとも１つのＣＦＡパターンの前記カラーピクセルをサブサンプリングして、前記サブサンプリング画像を生成する演算は、
前記相対的な位置関係に従って、前記第１のカラーピクセル、前記第２のカラーピクセルの１つ、前記第５のカラーピクセルの１つ、及び前記第６のカラーピクセルを２行×２列の配列に配置して、前記サブサンプリング画像の１つを形成する、
ことを含むことを特徴とする請求項１０に記載のデモザイキング方法。

【請求項14】

前記サブサンプリング画像に対して補間を実行して、複数のカラー画像を生成し、
前記カラー画像を再配置して、前記第１の解像度のカラー画像を生成し、その際、前記カラー画像はそれぞれ、対応する前記少なくとも１つのＣＦＡパターンの前記カラーピクセルの一部の配置に従って再配置され、
前記第１の解像度のカラー画像をアップサンプリングして、前記第２の解像度のカラー画像を生成する、
ことをさらに含むことを特徴とする請求項１０に記載のデモザイキング方法。

【請求項15】

前記サブサンプリング画像の１つのピクセルが、前記少なくとも１つのＣＦＡパターンで所定の配置を有する場合、前記第１の解像度のカラー画像の１つのピクセルは、前記少なくとも１つのＣＦＡパターンにおける前記サブサンプリング画像のうちの１つのピクセルと同じ所定の配置を有する、
ことを含むことを特徴とする請求項１４に記載のデモザイキング方法。