特許 6352617 映像処理装置及びその方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】6352617

(24)【登録日】2018年6月15日

(45)【発行日】2018年7月4日

(54)【発明の名称】映像処理装置及びその方法

(51)【国際特許分類】

   H04N 9/07 20060101AFI20180625BHJP

   G06T 5/00 20060101ALI20180625BHJP

   H04N 9/64 20060101ALI20180625BHJP

【ＦＩ】

   H04N9/07 A

   G06T5/00 710

   H04N9/64 R

【請求項の数】16

【全頁数】28

(21)【出願番号】特願2013-235692(P2013-235692)

(22)【出願日】2013年11月14日

(65)【公開番号】特開2014-110633(P2014-110633A)

(43)【公開日】2014年6月12日

【審査請求日】2016年10月21日

(31)【優先権主張番号】10-2012-0138437

(32)【優先日】2012年11月30日

(33)【優先権主張国】KR

(73)【特許権者】

【識別番号】500548884

【氏名又は名称】ハンファテクウィン株式会社

【氏名又は名称原語表記】ＨＡＮＷＨＡ ＴＥＣＨＷＩＮ ＣＯ．，ＬＴＤ．

(73)【特許権者】

【識別番号】513287956

【氏名又は名称】延世大學校 産學協力團

(74)【代理人】

【識別番号】100108453

【弁理士】

【氏名又は名称】村山 靖彦

(74)【代理人】

【識別番号】100064908

【弁理士】

【氏名又は名称】志賀 正武

(74)【代理人】

【識別番号】100089037

【弁理士】

【氏名又は名称】渡邊 隆

(74)【代理人】

【識別番号】100110364

【弁理士】

【氏名又は名称】実広 信哉

(72)【発明者】

【氏名】ジョン−アン・イ

(72)【発明者】

【氏名】ムン−ギ・カン

(72)【発明者】

【氏名】サン−ウォク・パク

(72)【発明者】

【氏名】ポール・オー

【審査官】 大室 秀明

(56)【参考文献】

【文献】 特開２００８−２１９５９８（ＪＰ，Ａ）

【文献】 特開２００８−０７２３７７（ＪＰ，Ａ）

【文献】 特開平０９−２８４７９８（ＪＰ，Ａ）

【文献】 特開２００７−２５１３９３（ＪＰ，Ａ）

【文献】 特開２００７−０３６７６５（ＪＰ，Ａ）

【文献】 特開２００７−０２８０４０（ＪＰ，Ａ）

(58)【調査した分野】（Int.Cl.，ＤＢ名）

Ｇ０６Ｔ １／００−１／４０

Ｇ０６Ｔ ３／００−５／５０

Ｇ０６Ｔ ９／００−９／４０

Ｈ０４Ｎ ９／０４−９／１１

Ｈ０４Ｎ ９／４４−９／７８

(57)【特許請求の範囲】

【請求項1】

多重帯域フィルタ配列パターン映像を、対角線画素方向の差分値に基づいて、５点形パターン映像に変更した後、変更された５点形パターン映像の垂直・水平画素方向の差分値に基づいて、前記多重帯域フィルタ配列パターン映像を構成するカラーチャネル及び近赤外線チャネルを、最大解像度に補間する適応的補間部と、
前記適応的補間部で補間された低解像度の多重帯域フィルタ配列パターン映像の高周波成分及び中周波成分に対応する高解像度のベースチャネル映像の高周波成分及び中周波成分を利用して、線形回帰分析と、前記多重帯域フィルタ配列パターン映像及びベースチャネル映像のエネルギーレベル比較と、を基に、高解像度の多重帯域フィルタ配列パターン映像を獲得する周波数補償部と、
前記高解像度の多重帯域フィルタ配列パターン映像を構成する各チャネルで、他のチャネル及びベースチャネルとのピクセル値差を加重平均した値を利用し、前記高解像度の多重帯域フィルタ配列パターン映像を構成する各チャネルと、他のチャネル及びベースチャネルとの間に発生するカラー歪曲現象を除去するチャネル干渉抑制部と、を含むことを特徴とする映像処理装置。

【請求項2】

前記５点形パターン映像は、ベイヤーパターン映像と幾何学的モデルは同一であり、各位置に入力されるチャネル値が異なる映像であることを特徴とする請求項１に記載の映像処理装置。

【請求項3】

前記適応的補間部は、
前記５点形パターン映像への変更時、前記多重帯域フィルタ配列パターン映像の特定画素（ｍ，ｎ）から対角線方向に１画素離れた位置の画素値の第１加重平均値と、
前記多重帯域フィルタ配列パターン映像の特定画素（ｍ，ｎ）と、前記多重帯域フィルタ配列パターン映像の中心画素から対角線方向に２画素離れた位置のそれぞれの画素値との差値を加重平均した第２加重平均値と、の和を利用することを特徴とする請求項１に記載の映像処理装置。

【請求項4】

前記第１加重平均値と第２加重平均値とを求めるために使用される各加重値は、各画素方向別差分値に反比例することを特徴とする請求項３に記載の映像処理装置。

【請求項5】

前記周波数補償部は、
垂直方向、水平方向及び対角線方向ごとに、前記適応的補間部で補間された低解像度の多重帯域フィルタ配列パターン映像の中周波成分及び高周波成分と、ベース映像の中周波成分及び高周波成分と、を比較した後、対応する部分を加重和し、前記適応的補間部で補間された低解像度の多重帯域フィルタ配列パターン映像で、中周波成分及び高周波成分を復元し、前記高解像度の多重帯域フィルタ配列パターン映像を生成することを特徴とする請求項１に記載の映像処理装置。

【請求項6】

前記周波数補償部は、
前記低解像度の多重帯域フィルタ配列パターン映像の中周波成分及び高周波成分、及びベース映像の中周波成分及び高周波成分それぞれに加重値を付与し、前記各加重値は、前記低解像度の多重帯域フィルタ配列パターン映像のエッジと、ベース映像のエッジとのうち、エッジのエネルギーが大きい映像値の比重が大きいように設定されることを特徴とする請求項１に記載の映像処理装置。

【請求項7】

前記周波数補償部は、
前記線形回帰分析を介して、ベース映像と、それに対応する前記多重帯域フィルタ配列パターン映像との中周波及び高周波エネルギーの比率を求め、エネルギーレベルの差を補正した加重値を付与することを特徴とする請求項１に記載の映像処理装置。

【請求項8】

前記周波数補償部は、
前記多重帯域フィルタ配列パターン映像のＲ，Ｇ，Ｂ，ＮＩＲ各チャネル間のエネルギーレベルを考慮し、各チャネルのエッジを均一に合わせ、各チャネル別カラー歪曲現象を除去し、そのために、前記エネルギーレベルの差を補正した加重値を利用して、高周波エネルギーレベルが高いチャネルでは、中周波及び高周波を強く復元し、高周波エネルギーレベルが低いチャネルでは、中周波及び高周波を弱く復元することを特徴とする請求項７に記載の映像処理装置。

【請求項9】

適応的補間部で、多重帯域フィルタ配列パターン映像を、対角線画素方向の差分値に基づいて、５点形パターン映像に変更した後、変更された５点形パターン映像の垂直・水平画素方向の差分値に基づいて、前記多重帯域フィルタ配列パターン映像を構成するカラーチャネル及び近赤外線チャネルを、最大解像度に補間する段階と、
周波数補償部で、前記補間された低解像度の多重帯域フィルタ配列パターン映像の高周波成分及び中周波成分に対応する高解像度のベースチャネル映像の高周波成分及び中周波成分を利用して、線形回帰分析と、前記多重帯域フィルタ配列パターン映像及びベースチャネル映像のエネルギーレベル比較と、を基に、高解像度の多重帯域フィルタ配列パターン映像を獲得する段階と、
チャネル干渉抑制部で、前記高解像度の多重帯域フィルタ配列パターン映像を構成する各チャネルで、他のチャネル及びベースチャネルとのピクセル値差を加重平均した値を利用し、前記高解像度の多重帯域フィルタ配列パターン映像を構成する各チャネルと、他のチャネル及びベースチャネルとの間に発生するカラー歪曲現象を除去する段階と、を含むことを特徴とする映像処理方法。

【請求項10】

前記５点形パターン映像は、ベイヤーパターン映像と幾何学的モデルは同一であり、各位置に入力されるチャネル値が異なる映像であることを特徴とする請求項９に記載の映像処理方法。

【請求項11】

前記補間する段階で、
前記５点形パターン映像への変更時、前記多重帯域フィルタ配列パターン映像の特定画素（ｍ，ｎ）から対角線方向に１画素離れた位置の画素値の第１加重平均値と、
前記多重帯域フィルタ配列パターン映像の特定画素（ｍ，ｎ）と、前記多重帯域フィルタ配列パターン映像の中心画素から対角線方向に２画素離れた位置のそれぞれの画素値との差値を加重平均した第２加重平均値と、の和を利用することを特徴とする請求項９に記載の映像処理方法。

【請求項12】

前記第１加重平均値と第２加重平均値とを求めるために使用される各加重値は、各画素方向別差分値に反比例することを特徴とする請求項１１に記載の映像処理方法。

【請求項13】

前記高解像度の多重帯域フィルタ配列パターン映像を獲得する段階で、
垂直方向、水平方向及び対角線方向ごとに、前記適応的補間部で補間された低解像度の多重帯域フィルタ配列パターン映像の中周波成分及び高周波成分と、ベース映像の中周波成分及び高周波成分と、を比較した後、対応する部分を加重和し、前記適応的補間部で補間された低解像度の多重帯域フィルタ配列パターン映像で、中周波成分及び高周波成分を復元し、前記高解像度の多重帯域フィルタ配列パターン映像を生成することを特徴とする請求項９に記載の映像処理方法。

【請求項14】

前記高解像度の多重帯域フィルタ配列パターン映像を獲得する段階で、
前記低解像度の多重帯域フィルタ配列パターン映像の中周波成分及び高周波成分、及びベース映像の中周波成分及び高周波成分それぞれに加重値を付与し、前記各加重値は、前記低解像度の多重帯域フィルタ配列パターン映像のエッジと、ベース映像のエッジとのうち、エッジのエネルギーが大きい映像値の比重が大きいように設定されることを特徴とする請求項９に記載の映像処理方法。

【請求項15】

前記高解像度の多重帯域フィルタ配列パターン映像を獲得する段階で、
前記線形回帰分析を介して、ベース映像と、それに対応する前記多重帯域フィルタ配列パターン映像との中周波及び高周波エネルギーの比率を求め、エネルギーレベルの差を補正した加重値を付与することを特徴とする請求項９に記載の映像処理方法。

【請求項16】

前記高解像度の多重帯域フィルタ配列パターン映像を獲得する段階で、
前記多重帯域フィルタ配列パターン映像のＲ，Ｇ，Ｂ，ＮＩＲ各チャネル間のエネルギーレベルを考慮し、各チャネルのエッジを均一に合わせ、各チャネル別カラー歪曲現象を除去し、そのために、前記エネルギーレベルの差を補正した加重値を利用して、高周波エネルギーレベルが高いチャネルでは、中周波及び高周波を強く復元し、高周波エネルギーレベルが低いチャネルでは、中周波及び高周波を弱く復元することを特徴とする請求項１５に記載の映像処理方法。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、映像処理装置に係り、詳細には、多重帯域フィルタ配列（ＭＦＡ：multi-spectral filter array）を使用して獲得した映像を処理する方法に関する。

【背景技術】

【0002】

可視光線帯域の映像と、非可視帯域の近赤外線（near infrared：ＮＩＲ）映像とを同時に獲得するために、多重帯域フィルタ配列（ＭＦＡ）を使用して、各チャネルの映像を同時に獲得した。

【0003】

しかし、多重帯域フィルタ配列を介して獲得したパターン映像では、各カラーチャネル及びＮＩＲチャネルがサブサンプリングされて映像が獲得されることにより、解像度が低いという問題点がある。

【0004】

なお、本発明と関連した先行技術文献としては、特許文献１及び２がある。

【先行技術文献】

【特許文献】

【0005】

【特許文献1】米国特許７２５１３４５号明細書

【特許文献2】特開２０１２−０６０６０２号公報

【発明の概要】

【発明が解決しようとする課題】

【0006】

本発明の望ましい一実施形態は、可視帯域の映像と非可視帯域のＮＩＲ映像とを同時に獲得する場合、各映像の解像度が制限されるという問題点を解決するものである。

【0007】

本発明の他の望ましい一実施形態として、該映像処理装置及びその方法は、低解像度の多重帯域フィルタ配列パターン映像を入力映像として受け、高解像度のベース（Base）映像を生成するものである。

【0008】

詳細には、本発明が解決しようとする課題は、多重帯域フィルタ（multi-spectral filter）を介して獲得されるカラーチャネルと、ＮＩＲチャネルとで獲得した低解像度の多重帯域フィルタ配列パターン映像から、高解像度のベース映像を生成し、その場合、高周波情報を多く含みながら、アーティファクトが少ない高解像度映像を生成することである。

【課題を解決するための手段】

【0009】

本発明の望ましい一実施形態として、映像処理装置は、多重帯域フィルタ配列パターン映像を、対角線画素方向の差分値に基づいて、５点形（quincuncial）パターン映像に変更した後、変更された５点形パターン映像の垂直・水平画素方向の差分値に基づいて、前記多重帯域フィルタ配列パターン映像を構成するカラーチャネル及び近赤外線チャネルを、最大解像度に補間する適応的補間部；前記適応的補間部で補間された低解像度多重帯域フィルタ配列映像の高周波成分及び中周波成分に対応する高解像度のベース（Base）チャネル映像の高周波成分及び中周波成分を利用して、線形回帰分析（linear regression）と、多重帯域フィルタ配列チャネル映像及びベース（Base）チャネル映像のエネルギーレベル比較と、を基に、高解像度の多重帯域フィルタ配列映像を獲得する周波数補償部；及び前記高解像度の多重帯域フィルタ配列映像を構成する各チャネルで、他のチャネル及びベースチャネルとのピクセル値差を加重平均した値を利用し、前記高解像度の多重帯域フィルタ配列映像を構成する各チャネルと、他のチャネル及びベースチャネルとの間に発生するカラー歪曲現象を除去するチャネル干渉抑制部；を含むことを特徴とする。

【0010】

本発明の他の望ましい一実施形態として、映像処理方法は、適応的補間部で、多重帯域フィルタ配列パターン映像を、対角線画素方向の差分値に基づいて、５点形パターン映像に変更した後、変更された５点形パターン映像の垂直・水平画素方向の差分値に基づいて、前記多重帯域フィルタ配列パターン映像を構成するカラーチャネル及び近赤外線チャネルを、最大解像度に補間する段階と、周波数補償部で、前記補間された低解像度多重帯域フィルタ配列映像の高周波成分及び中周波成分に対応する高解像度のベースチャネル映像の高周波成分及び中周波成分を利用して、線形回帰分析と、多重帯域フィルタ配列チャネル映像及びベースチャネル映像のエネルギーレベル比較と、を基に、高解像度の多重帯域フィルタ配列映像を獲得する段階と、チャネル干渉抑制部で、前記高解像度の多重帯域フィルタ配列映像を構成する各チャネルで、他のチャネル及びベースチャネルとのピクセル値差を加重平均した値を利用し、前記高解像度の多重帯域フィルタ配列映像を構成する各チャネルと、他のチャネル及びベースチャネルとの間に発生するカラー歪曲現象を除去する段階と、を含むことを特徴とする。

【発明の効果】

【0011】

本発明によれは、多重帯域フィルタ配列パターン映像を５点形（quincuncial）パターン映像に変換した後、エッジ適応補間（edge adaptive interpolation）を行い、低解像度の多重帯域フィルタ配列映像を獲得することができる。その後、高解像度のベース（Base）映像を利用して、低解像度の多重帯域フィルタ配列映像の高周波及び中周波を補償し、高解像度の多重帯域フィルタ配列映像を獲得することができる。また、高解像度の多重帯域フィルタ配列映像の細密な部分で、補間結果が高周波に後続することができないエイリアシングによるカラーアーティファクトを除去するために、チャネル干渉を抑制してカラー歪曲を除去することが可能である。

【図面の簡単な説明】

【0012】

【図1】本発明の望ましい一実施形態であって、映像処理装置の内部構成を図示する図面である。

【図2】多重帯域フィルタ配列パターン映像を５点形パターン映像に変換する事例を図示する図面である。

【図3】多重帯域フィルタ配列パターン映像を構成するカラーチャネル及び近赤外線チャネルを、最大解像度に補間する過程を図示する図面である。

【図4】本発明の望ましい一実施形態であって、周波数補償部で、多重帯域フィルタ配列パターン映像を構成するカラーチャネル及び近赤外線チャネルを、最大解像度に補間し、高解像度の多重帯域フィルタ配列映像を生成する過程を図示する図面である。

【図5A】本発明の望ましい一実施形態であって、周波数補償部で、多重帯域フィルタ配列パターン映像を構成するカラーチャネル及び近赤外線チャネルを、最大解像度に補間し、高解像度の多重帯域フィルタ配列映像を生成する過程を図示する図面である。

【図5B】本発明の望ましい一実施形態であって、周波数補償部で、多重帯域フィルタ配列パターン映像を構成するカラーチャネル及び近赤外線チャネルを、最大解像度に補間し、高解像度の多重帯域フィルタ配列映像を生成する過程を図示する図面である。

【図6A】本発明の望ましい一実施形態であって、周波数補償部で、多重帯域フィルタ配列パターン映像を構成するカラーチャネル及び近赤外線チャネルを、最大解像度に補間し、高解像度の多重帯域フィルタ配列映像を生成する過程を図示する図面である。

【図6B】本発明の望ましい一実施形態であって、周波数補償部で、多重帯域フィルタ配列パターン映像を構成するカラーチャネル及び近赤外線チャネルを、最大解像度に補間し、高解像度の多重帯域フィルタ配列映像を生成する過程を図示する図面である。

【図7】ベース（Base）チャネルを利用した各方向周波数成分を復元する事例を図示する図面である。

【図8】各チャネルで特徴を検出する事例を図示する図面である。

【図9】周波数補償部で、多重帯域フィルタ配列映像に色差モデル（color difference model）を単に適用する場合に発生しうる問題を図示する図面である。

【図10】周波数補償部で、多重帯域フィルタ配列映像に色差モデル（color difference model）を単に適用する場合に発生しうる問題を図示する図面である。

【図11】本発明の望ましい一実施形態であって、周波数補償部で、線形回帰方式を利用して、カラー歪曲を抑制する方法を図示する図面である。

【図12】各チャネル間エネルギーレベルを補正する前のカラーパッチ映像を図示する図面である。

【図13】本発明の望ましい一実施形態であって、線形回帰方法を利用して、各チャネル間エネルギーレベルを補正し、カラー歪曲を抑制した一実施形態を図示する図面である。

【図14】本発明の望ましい一実施形態であって、チャネル干渉が発生する原因を図示する図面である。

【図15】Ｒチャネルで、チャネル干渉を除去する概念図を図示する図面である。

【図16】Ｇチャネルで、チャネル干渉を除去する概念図を図示する図面である。

【図17】Ｂチャネルで、チャネル干渉を除去する概念図を図示する図面である。

【図18】Ｎチャネルで、チャネル干渉を除去する概念図を図示する図面である。

【図19】本発明の一実施形態によるカメラシステムを概略的に図示したブロック図である。

【発明を実施するための形態】

【0013】

本明細書で使用される用語は、実施形態を説明するためのものであって、本発明を制限するものではない。本明細書で、単数形は、文言で取り立てて言及しない限り、複数形も含む。明細書で使用される「含む（comprises）」及び／または「含むところの（comprising）」は、言及された構成要素、段階、動作及び／または素子が、一つ以上の他の構成要素、段階、動作及び／または素子の存在または追加を排除するものではない。

【0014】

他の定義がなければ、本明細書で使用される全ての用語（技術的用語及び科学的用語を含む）は、本発明が属する技術分野で当業者に、共通して理解される意味で使用されるものである。また、一般的に使用される事前に定義されている用語は、明白に特別に定義されていない限り、理想的に、あるいは過度に解釈されるものではない。

【0015】

図１は、本発明の望ましい一実施形態であって、映像処理装置の内部構成図を図示している。

【0016】

図１の映像処理装置１００の一例としては、カメラシステムなどがあり、カメラシステムは、デジタルカメラ、カムコーダ、監視カメラのような映像撮影システムでもあり、コンピュータ、ＰＤＡ（personal digital assistant）、ＰＭＰ（portable multimedia player）、モバイルホンなどに搭載されてもよい。

【0017】

図１の映像処理装置１００は、カラーフィルタ及び近赤外線（ＮＩＲ：near infrared）フィルタを含む多重帯域フィルタ配列（ＭＦＡ：multi-spectral filter array）を具備した映像センサから出力される多重帯域フィルタ配列パターン映像を入力映像として受信する。

【0018】

本発明の望ましい一実施形態として、映像処理装置１００は、低解像度の多重帯域フィルタ配列パターン映像を入力映像として受け、高周波情報を多く含みながら、アーティファクト（artifact）が少ない高解像度ベース映像を生成する。

【0019】

そのために、映像処理装置１００は、適応的補間部１１０、周波数補償部１２０及びチャネル干渉抑制部１３０を含む。

【0020】

適応的補間部１１０は、図２に図示されているように、Ｒ（red）、Ｇ（green）、Ｂ（blue）、ＮＩＲのチャネルで、同一単位画素に、互いに１：１：１：１の同一比率で配置されている多重帯域フィルタ配列パターン映像２１０を、対角線画素方向の差分値に基づいて、５点形パターン映像２２０に変更する。５点形パターン映像２２０は、ベイヤー（Bayer）パターン映像と幾何学的モデルが同一であり、各位置に入力されるチャネル値だけが異なるパターン映像である。

【0021】

本発明の望ましい一実施形態で、多重帯域フィルタ配列パターン映像を５点形パターン映像に変更することは、多重帯域フィルタ配列パターン映像をベイヤーパターンと近似化し、既存のカラー補間アルゴリズムを、本発明で使用されるＲ，Ｇ，Ｂ，ＮＩＲチャネル補間方法にも適用するためである。５点形パターン映像を作る過程は、既存カラー補間アルゴリズムと大差なく、詳細な内容は、以下、図２の関連説明を参考する。

【0022】

適応的補間部１１０では、多重帯域フィルタ配列パターン映像２１０が、５点形パターン映像２２０に変更されれば、変更された５点形パターン映像の垂直・水平画素方向の差分値に基づいて、多重帯域フィルタ配列パターン映像を構成するカラーチャネル及び近赤外線チャネルを、最大解像度に補間する。これについては、図３でさらに詳細に説明する。

【0023】

周波数補償部１２０は、適応的補間部１１０で補間された低解像度多重帯域フィルタ配列映像の高周波成分及び中周波成分に対応する高解像度のベースチャネル映像の高周波成分及び中周波成分を利用して、高解像度の多重帯域フィルタ配列映像を獲得する。

【0024】

その後、線形回帰分析（linear regression）法を基に、前記周波数補償部１２０で獲得された高解像度の多重帯域フィルタ配列映像内の各チャネル間エネルギーレベルを考慮し、前記各チャネル別カラー歪曲現象を除去する。

【0025】

詳細には、線形回帰分析を利用して、各チャネル間のエネルギーレベルを考慮し、高周波のエネルギーレベルが高いチャネルでは、さらに大きく高周波を復元させ、一方、高周波のエネルギーレベルの低いチャネルは、弱く高周波を復元させ、各チャネルのエッジを均一に合わせ、各チャネル別カラー歪曲現象を除去する。周波数補償部１２０の詳細内容は、図４ないし図１３の説明を参照する。

【0026】

チャネル干渉抑制部１３０は、周波数補償部１２０で生成した高解像度の多重帯域フィルタ配列映像を構成する各チャネルで、他のチャネル及びベースチャネルとのピクセル値差を加重平均した値を利用して、高解像度の多重帯域フィルタ配列映像を構成する各チャネルと、他のチャネル及びベースチャネルとの間に発生するカラー歪曲現象を除去する。

【0027】

多重帯域フィルタ配列パターン映像の各チャネルに対して、適応的補間部１１０で解像度を復元し、低解像度の多重帯域フィルタ配列映像を獲得した後、周波数補償部１２０で高周波補償及び中周波補償を行った後にも、エイリアシングによる擬似カラーアーティファクト（false color artifacts）が残っていることがある。例えば、テクスチャ・パターン、細密な部分、強いエッジ、文字部分などに、多重色が残っていることがある。

【0028】

チャネル干渉抑制部１３０では、このようなカラー歪曲現象を除去するために、高解像度多重帯域フィルタ配列映像のＲ，Ｇ，Ｂ，ＮＩＲチャネルそれぞれで、図１５ないし図１８のように、各チャネルで、他のチャネル及びベースチャネルとのピクセル値差を加重平均した値を利用して、チャネル間カラー干渉現象を抑制する。

【0029】

図２は、多重帯域フィルタ配列パターン映像を５点形パターン映像に変換する事例を図示している。多重帯域フィルタ配列パターン映像２１０を、５点形パターン映像２２０に変更する過程は、数式１の通りである。

【0030】

【数1】

【0031】

本発明の望ましい一実施形態であって、多重帯域フィルタ配列パターン映像の中心画素（ｍ，ｎ）位置のチャネル値を補間する場合、多重帯域フィルタ配列パターン映像の中心画素（ｍ，ｎ）から、対角線方向に１画素離れた位置の画素値２１１，２１２，２１３，２１４の第１加重平均値；及び多重帯域フィルタ配列パターン映像の中心画素（ｍ，ｎ）と、前記多重帯域フィルタ配列パターンの中心画素から対角線方向に２画素離れた位置２２１，２２２，２２３，２２４のそれぞれの画素との差値を加重平均した第２加重平均値；の和を利用する。

【0032】

具体的には、図２のように、（ｍ，ｎ）位置のＮＩＲチャネル値２１０を補間するとき、（ｍ，ｎ）から対角線方向に１画素離れた位置の画素値２１１，２１２，２１３，２１４の加重値和を求め、既存カラー補間アルゴリズムのように、その間にある挿入されているチャネルであるＲチャネル２１０の周辺Ｒチャネル２２１，２２２，２２３，２２４との差分値についても、加重値和を求めて加えた後、最終的にＮＩＲチャネルの補間値を獲得する。

【0033】

数式１で、

【数2】

の値は、ＲチャネルとＮＩＲチャネルとの相関関係（channel correlation）を反映する値である。本発明の望ましい一実施形態では、

【数3】

の値を０．５と設定した。補間する画素から、対角線方向に２画素離れた位置にある周辺画素の位置別加重値ｗ_{ｍ＋２，ｎ＋２}を求める方式は、数式２のように、既存のカラー補間アルゴリズムと類似している。

【0034】

【数4】

【0035】

数式２でＲ，Ｇ，Ｂは、多重帯域フィルタ配列パターン映像のカラーチャネルを、そしてＮは、多重帯域フィルタ配列パターン映像の近赤外線（ＮＩＲ）チャネルを意味する。

【0036】

数式２を参照すれば、加重値ｗ_{ｍ＋２，ｎ＋２}は、各画素方向別差分値に反比例する方向に、加重値が大きくなる。すなわち、加重値和を求める画素方向の差分値が大きい場合、当該方向をエッジとして判断して加重値を減らすことにより、補間過程でエッジが鈍くなることを防止する。

【0037】

数式２で、加重値和を求める画素方向の差分値は、それぞれ

【数5】

であり、これらの値は、加重値和を求める画素方向にエッジがある場合は、大きい値を、エッジがない場合は、小さな値を有する。

【0038】

この差分値がｗ_{ｍ＋２，ｎ＋２}を求めるときには、分母に反比例するように適用されるので、エッジがある場合、差分値は大きくなり、加重値ｗ_{ｍ＋２，ｎ＋２}を小さくし、エッジがない場合、差分値は小くなり、加重値ｗ_{ｍ＋２，ｎ＋２}を大きくし、最終的に加重値和が求められたときに、エッジが鈍くなることが防止される。

【0039】

本発明の他の望ましい一実施形態では、５点形パターン映像の変換時、エッジの方向性を適応的に考慮することができる。

【0040】

【数6】

【0041】

数式３を参照すれば、対角線方向の画素値の差が、逆対角線方向の画素値差の２倍より小さければ、対角線方向がエッジではないと判断し、数式１ないし２の数式を基に、対角線方向の補間を行う。

【0042】

しかし、対角線方向の画素値の差が、逆対角線方向の画素値差の２倍以上である場合、対角線方向をエッジと判断し、逆対角線位置にある画素値の平均値

【数7】

を対角線方向の画素値と見なして使用する。

【0043】

また、対角線方向の画素値の差が、逆対角線方向の画素値差の２倍より小さい場合には、

【数8】

を利用したが、対角線方向の画素値の差が、逆対角線方向の画素値差の２倍以上である場合には、

【数9】

を使用するように設定することができる。

【0044】

図３は、多重帯域フィルタ配列パターン映像を構成するカラーチャネル及び近赤外線チャネルを、最大解像度に補間する過程を図示している。

【0045】

適応的補間部１１０（図１）は、多重帯域フィルタ配列パターン映像３００を、対角線画素方向の差分値に基づいて、５点形パターン映像３１０に変更した後、変更された５点形パターン映像３１０の垂直・水平画素方向の差分値に基づいて、前記多重帯域フィルタ配列パターン映像を構成するカラーチャネル及び近赤外線チャネルを、最大解像度に補間する（３２０）。

【0046】

図３の多重帯域フィルタ配列パターン映像３００の対角線方向差分値に基づいて、５点形パターンの４個の映像３１０に補間する方法は、数式４の通りである。

【0047】

【数10】

【0048】

補間する画素の値を中心に、Ｘ字形の北西（ＮＷ）、北東（ＮＥ）、南西（ＳＷ）、南東（ＳＥ）の各方向にある４つの画素値を加重平均して中心値を充填する。このような過程を、（ｍ，ｎ）位置にあるチャネル値（例えば、Ｇチャネル値）を、Ｘ字形の北西（ＮＷ）、北東（ＮＥ）、南西（ＳＷ）、南東（ＳＥ）の各方向にある隣接した４つのＧ画素値にそれぞれ加重平均し、Ｇチャネルがチェス板のような５点形パターンで充填された図３の５点形パターン映像３１０の映像のような形態の補間結果をまず生成する。

【0049】

（ｍ＋１，ｎ）位置にあるチャネル値（例えば、Ｒチャネル）についても、同様の過程を経て、Ｒチャネルがチェス板のような５点形パターンで充填された図３の５点形パターン映像３１０の映像のような形態の補間結果をまず生成する。

【0050】

（ｍ，ｎ＋１）位置にあるチャネル値（例えば、Ｂチャネル）と、（ｍ＋１，ｎ＋１）位置にあるチャネル値（例えば、Ｎチャネル）についても、同様の過程を経て、チェス板のような５点形パターンで充填された図３の５点形パターン映像３１０のような形態の補間結果をまず生成する。その場合、加重値ｗ_{ｍ＋ｉ，ｎ＋ｊ}は、数式２によって求められる。

【0051】

図３の３１０映像から、図３の３２０映像に補間する方法は、数式５の通りである。

【0052】

【数11】

【0053】

補間する画素の値を中心に、十字形の北（Ｎ）、男（Ｓ）、東（Ｅ）、西（Ｗ）の４方向にある４つの画素値に対して加重値平均を行い、中心の値を充填する。その場合、加重値ｗ_{ｍ＋ｉ，ｎ＋ｊ}は、数式２によって求められる。

【0054】

図４ないし図６Ｂは、本発明の望ましい一実施形態であって、周波数補償部１２０（図１）で、多重帯域フィルタ配列パターン映像を構成するカラーチャネル及び近赤外線チャネルを、最大解像度に補間し、高解像度の多重帯域フィルタ配列映像を生成する過程を図示している。

【0055】

図４ないし図６Ｂを参照して説明すれば、次の通りである。周波数補償部１２０（図１）では、適応的補間部１１０（図１）で補間された低解像度多重帯域フィルタ配列映像の高周波成分及び中周波成分に対応する高解像度ベース映像の高周波成分及び中周波成分を利用して、高解像度多重帯域フィルタ配列映像を獲得する。そのために、各チャネルの映像を、低周波成分、中周波成分及び高周波成分に分けて考慮した。また、周波数情報が毀損されている高周波成分と中周波成分とを、垂直方向、水平方向、対角線方向に対して、適応的に処理するために、高周波成分と中周波成分とを、垂直方向、水平方向に沿って分けるフィルタを利用した。

【0056】

そのために、周波数補償部１２０（図１）では、適応的補間部１１０（図１）で補間された低解像度多重帯域フィルタ配列映像４１０，４２０，４３０，４４０と、高解像度のベース映像４００とを、高周波、中周波、低周波に分離する（Ｓ４００、Ｓ４１０）。

【0057】

高周波成分を分解する一実施形態は、図５Ａ、図６Ａ及び図６Ｂを参照すれば、次の通りである。

【0058】

図５Ａの多重帯域（multispectral：ＭＳ）映像は、まず高周波成分から分離するが、入力された映像に、水平方向の低周波通過フィルタ（horizontal ＬＰＦ）を通過させる。このフィルタを通過した映像は、水平方向の高周波がフィルタリングされた中周波、低周波だけが残った映像である。従って、入力映像にこの映像を差分した映像は、入力映像の水平方向高周波だけ取り出した映像になる。すなわち、水平方向の低周波通過フィルタを介して、映像の水平方向に対する高周波映像と、水平方向に対する中周波映像、低周波映像を分離することができる。

【0059】

その後、水平方向に、中周波映像、低周波映像に垂直方向の低周波通過フィルタを通過させれば、垂直方向、水平方向に対する中周波映像、低周波映像と垂直方向だけ高周波である映像（高周波の垂直成分）を分離することができる。

【0060】

一方、先に分離した水平方向高周波映像に、垂直方向の低周波通過フィルタを通過させれば、水平方向だけ高周波である映像（高周波の水平成分）と、垂直、水平いずれも高周波である映像（高周波の対角成分）を分離することができる。

【0061】

従って、初期入力映像が、水平方向の低周波通過フィルタと、垂直方向の低周波通過フィルタとを通過し、中・低周波成分、高周波の垂直成分，水平成分，対角成分の全４成分に分けることができる。入力映像から分離された４種成分に係わる結果式は、次の通りである。

【0062】

【数12】

【0063】

周波数補償部では、１×５の水平方向の低周波通過フィルタ（low pass filter）と、５×１の垂直方向低周波通過フィルタとを利用して、低解像度多重帯域フィルタ配列映像４１０，４２０，４３０，４４０と、高解像度ベース映像４００との垂直方向高周波成分、水平方向高周波成分、対角方向高周波成分、及び低周波＋中周波成分をそれぞれ分離する。

【0064】

その場合、使用される１×５の水平方向の低周波通過フィルタと、５×１の垂直方向低周波通過フィルタとの係数は、図５Ｂ及び図６Ｂのように設定することができる。図５Ｂ及び図６Ｂに図示されたものは、一実施形態に該当するのみ、多様な変形が可能であるということに留意しなければならない。

【0065】

高周波成分の分離が終わった後、中周波成分の分離過程の一実施形態は、図６Ａ及び図６Ｂ通りである。周波数補償部１２０（図１）では、高周波成分が除かれ、中周波及び低周波が混用された低解像度多重帯域フィルタ配列映像４１０，４２０，４３０，４４０と、高解像度のベース映像４００とで、垂直方向中周波成分、水平方向中周波成分、対角方向中周波成分、及び低周波成分をそれぞれ分離する。

【0066】

高周波領域で行ったように、水平方向の低周波通過フィルタと、垂直方向の低周波通過フィルタとを通過させ、差分映像を求める過程を介して、中周波の垂直成分、水平成分、対角成分を映像の低周波成分から分離させる。

【0067】

その結果、中・低周波成分の映像から、低周波成分、中周波の垂直成分，水平成分，対角成分の４種成分を分離することができる。入力映像から分離された４種成分に係わる結果式は、次の通りである。

【0068】

【数13】

【0069】

その場合、使用される１×９の水平方向の低周波通過フィルタと、９×１の垂直方向低周波通過フィルタとの係数は、図６Ｂのように設定することができる。図６Ｂに図示されたものは、一実施形態に該当するだけであり、多様な変形が可能であるということに留意しなければならない。

【0070】

図７は、ベースチャネルを利用した各方向周波数成分を復元する事例を図示している。

【0071】

その後、高周波検出部を通過した多重帯域フィルタ配列映像４１０，４２０，４３０，４４０の高周波成分（ＭＳ_Ｖ^ＨＦ，ＭＳ_Ｈ^ＨＦ，ＭＳ_Ｄ^ＨＦ、及び中周波成分ＭＳ_Ｖ^ＭＦ，ＭＳ_Ｈ^ＭＦ，ＭＳ_Ｄ^ＭＦに対応する高解像度のベース映像４００の高周波成分Base_Ｖ^ＨＦ，Base_Ｈ^ＨＦ，Base_Ｄ^ＨＦ、及び中周波成分Base_Ｖ^ＭＦ，Base_Ｈ^ＭＦ，Base_Ｄ^ＭＦを利用して、高解像度の多重帯域フィルタ配列映像４１１，４２１，４３１，４４１

【数14】

を獲得する。

【0072】

水平、垂直及び対角線の各方向別に特徴を検出する図８を参照すれば、多重帯域フィルタ配列映像（多重帯域（multispectral）映像）とベース映像との高周波成分及び中周波成分をして高周波検出部を通過させ、エネルギー値Ｅｎを抽出する（Ｓ４２０；図４）。抽出された多重帯域フィルタ配列映像のエネルギー値、とベース映像のエネルギー値とを、垂直方向、水平方向、対角方向に、周波数成分ごとに比較した後、数式６のように加重和（weghted sum）を行う。これを介して、多重帯域フィルタ配列映像の中周波成分及び高周波成分を復元し、高解像度の多重帯域フィルタ配列映像４１１，４２１，４３１，４４１（図４）を獲得する。

【0073】

【数15】

【0074】

数式６は、各チャネル間高周波成分が同一であると仮定する色差モデル（color difference model）方式に基づく。本発明の望ましい一実施形態では、数式６を介して、多重帯域フィルタ配列映像で毀損された中周波成分及び高周波成分を、高解像度のベース映像の中周波成分及び高周波成分に転換するか、あるいは加重和を介して補強する。

【0075】

その場合、低解像度多重帯域フィルタ配列映像の中周波成分及び高周波成分と、ベース映像の中周波成分及び高周波成分それぞれに、加重値Ｃ_ＭＳｄ^ｋ（ｉ．ｊ）及びＣ_Baseｄ^ｋ（ｉ．ｊ）を付与し、前記加重値は、低解像度の多重帯域フィルタ配列映像のエッジと、ベース映像のエッジとのうち、エッジのエネルギーが大きい映像値の比重が大きいように設定される。

【0076】

多重帯域（Multispectral）映像（ＭＳ＾ｋ，ｄｉｒ）及びベース映像（Base＾ｋ，ｄｉｒ）の周波数成分の（Ｃ＝Ｒ，Ｇ，Ｂ，Ｎ，ｋ＝中周波ＭＦ、高周波ＨＦ、ｄｉｒ＝垂直、水平、対角）成分がそれぞれの検出部を通過し、各方向に係わるローカルエネルギー（local energy：局所エネルギー）を求めれば、その大きさを比較し、多重帯域映像とベース映像に係わる重み係数（weight coefficient）（Ｃ＿ＭＳ＾ｋ，ｄｉｒ，Ｃ＿Base＾ｋ，ｄｉｒ）を以上のように求める。

【0077】

多重帯域映像の高周波成分は、原信号のそれと比較したとき、全体的にその強度が弱い。従って、多重帯域映像のローカルエネルギー（Ｅ＿ＭＳ＾ｋ，ｄｉｒ）が、ベース映像のローカルエネルギー（Ｅ＿Base＾ｋ，ｄｉｒ）より小さければ、各ローカルエネルギーの比率によって、適切な比率（ratio）、すなわち、Ｅ＿ＭＳ＾ｋ，ｄｉｒ／（Ｅ＿ＭＳ＾ｋ，ｄｉｒ＋Ｅ＿Base＾ｋ，ｄｉｒ）を計算し、多重帯域映像とベース映像との各方向周波数成分に乗じて加重和を行い、最終映像（ｂａｒ＿ＭＳ＾ｋ，ｄｉｒ（ｉ，ｊ））を算出する。

【0078】

一方、多重帯域映像（ＭＳ＾ｋ，ｄｉｒ）のローカルエネルギー（Ｅ＿ＭＳ＾ｋ，ｄｉｒ）が、ベース映像のローカルエネルギー（Ｅ＿Base＾ｋ，ｄｉｒ）より大きい場合には、多重帯域映像（ＭＳ＾ｋ，ｄｉｒ）にエイリアシングが発生した可能性を大きいので、Ｃ＿ＭＳ＾ｋ，ｄｉｒを０に設定し、多重帯域映像の周波数成分（ＭＳ＾ｋ，ｄｉｒ）の反映なしに、ベース映像の周波数成分（Base＾ｋ，ｄｉｒ）のみを使用して、高周波が補償された最終映像（ｂａｒ＿ＭＳ＾ｋ，ｄｉｒ（ｉ，ｊ））を算出する。

【0079】

図９及び図１０は、周波数補償部１２０（図１）で、多重帯域フィルタ配列映像に、色差モデルを単に適用する場合に発生しうる問題を図示している。

【0080】

本発明の望ましい一実施形態では、７００ｎｍ以上の広いＮＩＲ帯域を使用する多重帯域フィルタ配列映像を利用しており、色差モデルを単に適用する場合、既存のベイヤー型ＣＦＡ（Bayer ＣＦＡ）では示されなかった問題点が発生しうる。

【0081】

図９に図示されているように、カラーチャートのような急激なエッジが存在し、そのエッジで、各チャネル間のエネルギーレベルが大きく差がある映像では、Ｒ，Ｇ，Ｂ，ＮＩＲ各チャネル間の光学系を通過した屈折率の差が大きいので、単に色差モデルを適用して補間した場合、シューティング（shooting）現象のようなアーティファクト９００が示されてしまう。

【0082】

図１０は、カラーパッチ（color patch）でのオーバーシュート（overshoot）現象を図示している。

【0083】

図１０は、カラーチャートの１パッチ（patch）を抜粋した映像に、相対的にＲチャネル１０１０のエネルギーレベルが、他のチャネルより高く、Ｂチャネル１０２０の場合、最も低いエネルギーレベルを有しているということが分かる。

【0084】

また、カラーチャートの境界部分で、急激なエッジを形成しており、エネルギーレベル差を考慮せずに、単に色差モデルを適用し、全く同じエネルギーレベルの高周波で、再生成（reconstruction）を行う場合、相対的にエネルギーレベルが高いＲチャネル１０１０は、エッジ近傍の高周波が十分に補償されずにスムースになり、エネルギーレベルが低いＢチャネル１０２０の場合には、過度に高周波が補償され、オーバーシュートが発生する。これにより、各チャネル間エッジの不均一問題が生じ、後になって、色復元時に、エッジ近傍でのシューティング現象が著しくなる。

【0085】

このような問題点を解決するために、本発明の望ましい一実施形態では、チャネル干渉抑制部１３０（図１）で、線形回帰方式を基に、周波数補償部１２０（図１）で獲得された高解像度の多重帯域フィルタ配列映像内の各チャネル間のエネルギーレベルを考慮し、各チャネル別カラー歪曲現象を除去する。

【0086】

図１１は、本発明の望ましい一実施形態であって、周波数補償部１２０（図１）で、線形回帰方式を利用して、カラー歪曲を抑制する方法を図示している。

【0087】

図１１でｘ軸は、中周波及び高周波で構成されたベース映像の周波数領域のエネルギーを示し、ｙ軸は、中周波及び高周波で構成された多重帯域フィルタ配列映像の周波数領域のエネルギーを示す。すなわち、５＊５の小さいローカルウィンドウ（local window：局所ウィンドウ）内のベース映像のエネルギー値をｘ軸に、多重帯域フィルタ配列の多重帯域（ＭＳ）映像のエネルギー値をｙ軸に対応させて二次元平面にマッピングさせる。

【0088】

ローカルウィンドウ内で、ベース映像とＭＳ映像は、線形的な比例関係を有すると仮定する。ＭＳ映像とベース映像とのうち、中周波成分及び高周波成分のエネルギー比率を直線勾配（ｙ＝ａｘ＋ｂ）で求めることができる。

【0089】

直線勾配ａは、数式７のように求めることができる。

【0090】

【数16】

【0091】

図４のエネルギー値Ｅｎを抽出する段階（Ｓ４２０）では、前述の線形回帰分析を介して求められた直線勾配ａを基に、各チャネル間のエネルギーレベル差を、数式６のように、追加して補正し、多重帯域フィルタ配列チャネルの中周波及び高周波を復元することができる。

【0092】

【数17】

【0093】

多重帯域映像（ＭＳ＾ｋ，ｄｉｒ）とａ（ｉ，ｊ）とを乗じたベース映像（ａ（ｉ，ｊ）＊Base＾ｋ，ｄｉｒ）の周波数成分の（Ｃ＝Ｒ，Ｇ，Ｂ，Ｎ，ｋ＝中周波ＭＦ、高周波ＨＦ、ｄｉｒ＝垂直、水平、対角）成分がそれぞれの検出部を通過し、各方向に係わるローカルエネルギー（Ｅ＿ＭＳ＾ｋ，ｄｉｒ，ａ（ｉ，ｊ）＊Ｅ＿Base＾ｋ，ｄｉｒ）を求めれば、その大きさを比較し、多重帯域映像（ＭＳ＾ｋ，ｄｉｒ）とａ（ｉ，ｊ）とを乗じたベース映像（ａ（ｉ，ｊ）＊Ｅ＿Base＾ｋ，ｄｉｒ）に係わる重み係数（Ｃ＿ＭＳ＾ｋ，ｄｉｒ，Ｃ＿Base＾ｋ，ｄｉｒ）を以上のように求める。

【0094】

ここで、ａ（ｉ，ｊ）は、数式７を介して算出された値であり、映像の（ｉ，ｊ）位置での値を意味する。ａ（ｉ，ｊ）を乗じたベース映像（ａ（ｉ，ｊ）＊Ｅ＿Base＾ｋ，ｄｉｒ）を求めれば、カラー歪曲の除去を防止するように、ベース映像の高周波成分（Ｅ＿Base＾ｋ，ｄｉｒ）が、多重帯域映像の高周波成分に合うように補正されたベース映像（ａ（ｉ，ｊ）＊Ｅ＿Base＾ｋ，ｄｉｒ）として算出される。

【0095】

多重帯域映像の高周波成分（ＭＳ＾ｋ，ｄｉｒ）は、原信号のそれと比較したとき、全体的にその強度が小さい。従って、多重帯域映像（ＭＳ＾ｋ，ｄｉｒ）のローカルエネルギー（Ｅ＿ＭＳ＾ｋ，ｄｉｒ）が、ａ（ｉ，ｊ）を乗じたベース映像のローカルエネルギー（ａ（ｉ，ｊ）＊Ｅ＿Base＾ｋ，ｄｉｒ）より小さければ、各ローカルエネルギーの比率によって、適切な比率（ratio）、すなわち、Ｅ＿ＭＳ＾ｋ，ｄｉｒ／（Ｅ＿ＭＳ＾ｋ，ｄｉｒ＋ａ（ｉ，ｊ）＊Ｅ＿Base＾ｋ，ｄｉｒ）を計算し、多重帯域映像（ＭＳ＾ｋ，ｄｉｒ）とａ（ｉ，ｊ）とを乗じたベース映像（ａ（ｉ，ｊ）＊Ｅ＿Base＾ｋ，ｄｉｒ）の各方向周波数成分に乗じて加重和を行い、最終映像（ｂａｒ＿ＭＳ＾ｋ，ｄｉｒ（ｉ，ｊ））を算出する。

【0096】

一方、多重帯域映像（ＭＳ＾ｋ，ｄｉｒ）のローカルエネルギー（Ｅ＿ＭＳ＾ｋ，ｄｉｒ）が、ａ（ｉ，ｊ）を乗じたベース映像のローカルエネルギー（ａ（ｉ，ｊ）＊Ｅ＿Base＾ｋ，ｄｉｒ）より大きい場合には、多重帯域映像（ＭＳ＾ｋ，ｄｉｒ）にエイリアシングが発生した可能性が高いために、Ｃ＿ＭＳ＾ｋ，ｄｉｒを０に設定し、多重帯域映像の周波数成分（ＭＳ＾ｋ，ｄｉｒ）の反映なしに、ａ（ｉ，ｊ）を乗じたベース映像の周波数成分（ａ（ｉ，ｊ）＊Base＾ｋ，ｄｉｒ）のみを使用して、高周波が補償された最終映像（ｂａｒ＿ＭＳ＾ｋ，ｄｉｒ（ｉ，ｊ））を算出する。

【0097】

最後に、ａ（ｉ，ｊ）を乗じたベース映像のローカルエネルギー（ａ（ｉ，ｊ）＊Ｅ＿Base＾ｋ，ｄｉｒ）が０より小さい場合には、ベース映像にすでに非正常的なエイリアシングが発生しているので、Ｃ＿ＭＳ＾ｋ，ｄｉｒを１に設定し、ａ（ｉ，ｊ）を乗じたベース映像の周波数成分を、（ａ（ｉ，ｊ）＊Base＾ｋ，ｄｉｒ）最終映像に全く反映させず、多重帯域映像の周波数成分（ＭＳ＾ｋ，ｄｉｒ）のみを使用して、高周波が補償された最終映像（ｂａｒ＿ＭＳ＾ｋ，ｄｉｒ（ｉ，ｊ））を算出する。

【0098】

図１２は、各チャネル間のエネルギーレベルを補正する前のカラーパッチ映像を図示している。

【0099】

各チャネル間のエネルギーレベル差を考慮せずに、単に色差モデルを適用した場合、エネルギーレベルが大きいＲチャネルでは、中周波成分及び高周波成分が不十分に復元されてエッジ領域が滑らかになった（１２１０）。一方、相対的にエネルギーレベルが小さいＢチャネルでは、中周波成分及び高周波成分が過度に復元されてオーバーシュート（overshoot）が生じた（１２２０）。

【0100】

図１３は、本発明の望ましい一実施形態であって、線形回帰方法を利用して、各チャネル間のエネルギーレベルを補正し、カラー歪曲を抑制した一実施形態を図示している。

【0101】

本発明の望ましい一実施形態として、チャネル干渉抑制部１３０（図１）で線形回帰分析を適用し、各チャネル間のエネルギーレベル差を考慮して復元したＭＳ映像では、エネルギーレベルが大きいＲチャネルの中周波成分及び高周波成分が多く補強され、エネルギーレベルが小さいＢチャネルの中周波成分及び高周波成分が少なく補強されるので、全てのチャネルでエッジが一定に維持され、オーバーシュートなどの問題点が解決された。

【0102】

図１４は、本発明の望ましい一実施形態であって、チャネル干渉が発生する原因を図示している。

【0103】

多重帯域フィルタ配列パターン映像の各チャネルに対して、適応的補間部１１０（図１）で解像度を復元し、低解像度の多重帯域フィルタ配列映像を獲得した後、周波数補償部１２０（図１）で高周波補償及び中周波補償を行った後にも、エイリアシングによる擬似カラーアーティファクトが残っていることがある。

【0104】

かような問題点が発生する原因は、図１４に図示されているように、１４１０領域で、各チャネル別に、補間のための周辺ピクセル値のサポート（support）を受けるとき、各チャネル１４１１，１４１２，１４１３，１４１４別に矢印表示されているように、考慮される周辺ピクセル位置がそれぞれ異なり、その間に込められているチャネルの情報もその都度異なるからである。その結果、各チャネル別に、補間を介して求められるエッジの方向や高周波の情報は、図１４の矢印方向のように、互いに類似した方向を向いてはいるが、微細にその方向が異なってチャネル干渉が発生する。

【0105】

かような問題点を解決するために、本発明の望ましい一実施形態では、図１５ないし図１８のように、Ｒ，Ｇ，Ｂ及びＮＩＲチャネルそれぞれの干渉を抑制する。図１５ないし図１８は、Ｒ，Ｇ，Ｂ及びＮＩＲチャネルそれぞれで、チャネル干渉を除去する概念図を図示している。

【0106】

図１５の一例を参照し、Ｇチャネルでチャネル間干渉を抑制する例について説明すれば、次の通りである。Ｒ，Ｂ及びＮＩＲチャネルで、チャネル干渉を抑制する方法は、実質的に同一であるか、あるいは類似しているので、以下の説明に替える。

【0107】

Ｇチャネルで、チャネル間干渉を抑制するためには、高解像度のベースチャネル情報、Ｒ，Ｂ及びＮＩＲチャネル情報が必要である。その場合、ベース（Base）チャネル値は、数式９のように、新たに求めることができる。

【0108】

【数18】

【0109】

数式９で求めたベースチャネル情報を利用して、Ｇ_ｍ，ｎチャネルのチャネル干渉は、数式１０のように抑制することができる。基本的な過程は、カラー補間アルゴリズムと非常に類似している。すなわち、Ｇ_{ｍ＋ａ，ｎ＋ｂ}−Base_{ｍ＋ａ，ｎ＋ｂ}チャネルの差分値にα加重値を付与した和が、最終的に、チャネル干渉が抑制されたＧ_ｍ，ｎチャネルとBase_ｍ，ｎチャネルとの差分値と互いに同じであるという仮定に基づく。

【0110】

【数19】

【0111】

数式１０で、加重値であるα_{ｍ，ｎ，ｍ＋ａ，ｎ＋ｂ}値は、数式１１のように求められる。

【0112】

【数20】

【0113】

数式１１で、

【数21】

と関数ｇ（ｘ）は、数式１２のように定義される。

【0114】

【数22】

【0115】

本発明の望ましい一実施形態では、チャネル干渉が除去された推定値

【数23】

を求めるために、ベースチャネル、Ｒ，Ｂ及びＮＩＲチャネルの値を、数式１３のように利用する。

【0116】

【数24】

【0117】

数式１３を介して、Ｇチャネルとベース，Ｒ，Ｂ及びＮＩＲチャネルとの間に発生しうるチャネル干渉が除去された４個の推定値

【数25】

をそれぞれ求め、推定値の加重値和を求め、数式１４のように、最終的にチャネル干渉が抑制された推定値を求める。

【0118】

【数26】

【0119】

数式１４で、各チャネルに係わる加重値

【数27】

は、数式１５のように求められる。

【0120】

【数28】

【0121】

数式１５で、

【数29】

の値は、数式１６のように求められる。

【0122】

【数30】

【0123】

本発明の他の望ましい一実施形態で、ＮＩＲチャネルの場合には、色飽和によるチャネル干渉を考慮しないこともある。その場合、ＮＩＲチャネルは、数式１７のように、Ｒ，Ｇ，Ｂチャネルを考慮せずに、ベースチャネルとのチャネル干渉だけ除去した推定値を使用することができる。

【0124】

【数31】

【0125】

本発明の実施形態は、ＲＧＢピクセル構造とＮＩＲピクセル構造とを有するセンサを利用したデジタルカメラシステム、特に、監視カメラ分野に適用することができる。

【0126】

図１９は、本発明の望ましい一実施形態であって、カメラシステムを概略的に図示したブロック図である。

【0127】

図１９を参照すれば、カメラシステム１は、映像センサ１０と、映像処理装置３０、ディスプレイ装置５０を含む。カメラシステム１は、デジタルカメラ、カムコーダ、監視カメラのような映像撮影システムでもあり、コンピュータ、ＰＤＡ、ＰＭＰ、モバイルホンなどに搭載されてもよい。

【0128】

映像センサ１０は、ＣＣＤ（charge coupled device）やＣＭＯＳ（complementary metal−oxide semiconductor）などの光電変換素子を利用する。映像センサ１０は、光電変換素子によって、、光信号を電気的映像信号に転換する多数のピクセルが形成されたピクセルアレイを具備する。映像センサ１０上には、可視帯域及び非可視帯域の光を通過させる多重帯域フィルタ配列が配置される。多重帯域フィルタ配列は、可視帯域のうち、ＲＧＢなどの特定色の光成分を透過させるカラーフィルタと、非可視帯域のうち、近赤外線領域の光成分を透過させる近赤外線フィルタとを含む。

【0129】

多重帯域フィルタ配列のカラーフィルタＲＣＦ，ＧＣＦ，ＢＣＦと、近赤外線フィルタＮＩＲＦは、映像センサ１０の各ピクセルに対応するように配置され、映像センサ１０の各ピクセルは、多重帯域フィルタ配列を通過したカラーチャネル信号Ｒ，Ｇ，Ｂと、近赤外線チャネル信号ＮＩＲとを感知する。

【0130】

映像センサ１０の前端には、光信号を受信するレンズ（図示せず）が具備されれもする。

【0131】

映像処理装置３０は、多重帯域フィルタ配列を具備する映像センサのＲＧＢカラーピクセルと、近赤外線ＮＩＲピクセルとに入力されている情報をいずれも活用し、アーティファクトが最小化された高解像度の多重帯域フィルタ配列映像を出力する。

【0132】

一方、本発明は、コンピュータで読み取り可能な記録媒体に、コンピュータで読み取り可能なコードで具現することが可能である。コンピュータで読み取り可能な記録媒体は、コンピュータ・システムによって読み取り可能なデータが保存される全種の記録装置を含む。コンピュータで読み取り可能な記録媒体の例としては、ＲＯＭ（read-only memory）、ＲＡＭ（random-access memory）、ＣＤ（compact disc）−ＲＯＭ、磁気テープ、フロッピー（登録商標）ディスク、光データ保存装置などがある。また、コンピュータで読み取り可能な記録媒体は、ネットワークに連結されたコンピュータ・システムに分散され、分散方式でコンピュータで読み取り可能なコードが保存されて実行される。本発明を具現するための機能的な（functional）プログラム、コード及びコードセグメントは、本発明が属する技術分野のプログラマによって容易に推論されるであろう。

【0133】

以上、本発明について望ましい実施例を中心に説明した。本発明が属する技術分野で当業者であるならば、本発明の本質的な特性から外れない範囲で変形された形態で、本発明を具現することができるということを理解するであろう。従って、前記開示された実施形態は、限定的な観点ではなく、説明的な観点から考慮されなければならない。本発明の範囲は、前述の説明ではなく、特許請求の範囲に示されており、それと同等な範囲内にある全ての差異は、本発明に含まれたものであると解釈されなければならないのである。

【産業上の利用可能性】

【0134】

本発明の映像処理装置及びその方法は、例えば、カメラシステム関連の技術分野に効果的に適用可能である。

【符号の説明】

【0135】

１ カメラシステム
１０ 映像センサ
３０，１００ 映像処理装置
５０ ディスプレイ装置
１１０ 適応的補間部
１２０ 周波数補償部
１３０ チャネル干渉抑制部
２１０，３００ 多重帯域フィルタ配列パターン映像
２２０，３１０ ５点形パターン映像
４００ ベース映像
４１０，４２０，４３０，４４０ 低解像度多重帯域フィルタ配列映像

【図1】

【図2】

【図3】

【図4】

【図5A】

【図5B】

【図6A】

【図6B】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】

【図15】

【図16】

【図17】

【図18】

【図19】