特許 5709131 画像処理システム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】5709131

(24)【登録日】2015年3月13日

(45)【発行日】2015年4月30日

(54)【発明の名称】画像処理システム

(51)【国際特許分類】

   H04N 9/07 20060101AFI20150409BHJP

【ＦＩ】

   H04N9/07 C

   H04N9/07 A

【請求項の数】14

【全頁数】25

(21)【出願番号】特願2011-106717(P2011-106717)

(22)【出願日】2011年5月11日

(65)【公開番号】特開2012-239038(P2012-239038A)

(43)【公開日】2012年12月6日

【審査請求日】2014年2月10日

(73)【特許権者】

【識別番号】304021417

【氏名又は名称】国立大学法人東京工業大学

(74)【代理人】

【識別番号】100147485

【弁理士】

【氏名又は名称】杉村 憲司

(74)【代理人】

【識別番号】100147692

【弁理士】

【氏名又は名称】下地 健一

(74)【代理人】

【識別番号】100132045

【弁理士】

【氏名又は名称】坪内 伸

(72)【発明者】

【氏名】田中 正行

(72)【発明者】

【氏名】奥富 正敏

(72)【発明者】

【氏名】紋野 雄介

【審査官】 木方 庸輔

(56)【参考文献】

【文献】 特開２００９−１０５９７７（ＪＰ，Ａ）

【文献】 特開２００７−３０６４４７（ＪＰ，Ａ）

【文献】 特開２０００−１８４３８６（ＪＰ，Ａ）

(58)【調査した分野】（Int.Cl.，ＤＢ名）

Ｈ０４Ｎ ９／０４ − ９／１１

(57)【特許請求の範囲】

【請求項1】

第１〜第ｍ（ｍは３以上の整数）の色信号成分のいずれかを有する複数の画素信号によって構成される原画像信号から、前記原画像信号を構成する全画素信号が第１〜第ｍの色信号成分を有するように前記色信号成分の補間を行う画像処理システムであって、
前記原画像信号を受信する受信部と、
前記画素信号それぞれに対応する画素を挟む同色の２画素を用いて前記画素信号の微分値を算出する微分値算出部と、
前記原画像信号の中の前記第１の色信号成分を用いて一次参照画像を作成する参照画像作成部と、
前記一次参照画像を用いて、全色信号成分を補間して補間画像を作成する補間画像作成部とを備え、
前記一次参照画像及び前記補間画像の少なくとも一方は、微分値を用いて作成される
ことを特徴とする画像処理システム。

【請求項2】

請求項１に記載の画像処理システムであって、前記原画像信号を構成する複数の前記画素信号の中で前記第１の色信号成分の要素数が最大であり、前記補間画像のみが前記微分値を用いて作成され、前記参照画像作成部は前記第１の色信号成分を補間することにより前記第１の色信号成分のみを有する前記全画素信号によって構成される一次参照画像信号を作成することを特徴とする画像処理システム。

【請求項3】

請求項１に記載の画像処理システムであって、
前記微分値算出部は、前記原画像信号を用いて前記画素毎に第１の前記微分値を算出し、
前記参照画像作成部は、前記第１の微分値を用いて前記第１の色信号成分を補間することにより、前記第１の色信号成分のみを有する前記全画素信号によって構成される一次参照画像信号を作成する
ことを特徴とする画像処理システム。

【請求項4】

請求項３に記載の画像処理システムであって、前記参照画像作成部は、適応的ガウシアン補間法により、前記第１の微分値を用いて前記第１の色信号成分を補間することを特徴とする画像処理システム。

【請求項5】

請求項３または請求項４に記載の画像処理システムであって、前記一次参照画像のみが前記第１の微分値を用いて作成されることを特徴とする画像処理システム。

【請求項6】

請求項５に記載の画像処理システムであって、前記補間画像作成部はガイデッドフィルタにより、前記全色信号成分を補間することを特徴とする画像処理システム。

【請求項7】

請求項５に記載の画像処理システムであって、前記補間画像作成部はジョイントバイラテラル補間により、前記全色信号成分を補間することを特徴とする画像処理システム。

【請求項8】

請求項１、請求項２、及び請求項４のいずれかに記載の画像処理システムであって、
前記微分値算出部は、前記原画像信号を用いて前記画素毎に第２の前記微分値を算出し、
前記補間画像作成部は、前記一次参照画像と前記第２の微分値を用いて前記補間画像を作成する
ことを特徴とする画像処理システム。

【請求項9】

請求項３に記載の画像処理システムであって、前記補間画像作成部は前記一次参照画像と前記第１の微分値を用いて前記補間画像を作成することを特徴とする画像処理システム。

【請求項10】

請求項１〜請求項４のいずれかに記載の画像処理システムであって、
前記微分値算出部は、前記一次参照画像を用いて前記画素毎に第３の前記微分値を算出し、
前記補間画像作成部は、前記一次参照画像と前記第３の微分値を用いて前記補間画像を作成する
ことを特徴とする画像処理システム。

【請求項11】

請求項８または請求項１０に記載の画像処理システムであって、前記補間画像作成部は、適応的ジョイントバイラテラル補間によって、前記全色信号成分を補間することを特徴とする画像処理システム。

【請求項12】

請求項１１に記載の画像処理システムであって、前記適応的ジョイントバイラテラル補間では、前記画素間の画素信号の信号強度の差に基づく重付け、或いは算出に用いる複数の前記画素の周囲の類似性に基づく重付けが用いられることを特徴とする画像処理システム。

【請求項13】

請求項１〜請求項１２のいずれかに記載の画像処理システムであって、
前記補間画像作成部は、
前記一次参照画像を用いて前記第２の色信号成分の補間を行い、
前記第３の色信号成分を有する前記画素信号に対応する前記第２の色信号成分と、前記第３の色信号成分との色差を算出し、
前記一次参照画像を用いて前記色差を補間し、
補完された前記色差と補間された前記第２の色信号成分とに基づいて、前記全画素信号に対応する前記第３の色信号成分が作成する
ことを特徴とする画像処理システム。

【請求項14】

請求項１〜請求項１２のいずれかに記載の画像処理システムであって、
前記補間画像作成部は、
前記一次参照画像を用いて前記第１〜第ｍの色信号成分のいずれかの補間を行い、
補間された前記色信号成分によって構成される画像を二次参照画像とし、前記二次参照画像を用いて、補間の行われていない前記色信号成分の補間を行う
ことを特徴とする画像処理システム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、マルチバンドのカラーフィルタが配置された撮像素子などの撮像により生成された原画像信号の色補間を行う画像処理システムに関する。

【背景技術】

【0002】

近年、被写体の忠実な色再現を目的として、マルチスペクトル画像撮影が注目されている。従来のマルチスペクトル画像撮影では、複数のカメラを用いた撮影、または複数回の撮影を行うために専用の撮影システムが必要とされていた。そのような専用の撮影システムを用いることなく、一般のデジタルカメラを用いたマルチスペクトル画像撮影が望まれていた。そこで、マルチスペクトル画像撮影を実行可能なイメージセンサが提案されている（特許文献１参照）。

【先行技術文献】

【特許文献】

【0003】

【特許文献1】特開２０１０−２１２９６９号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

一般のデジタルカメラでは、単板撮像素子とカラーフィルタアレイ（ＣＦＡ）が用いられている。そこで、カラーフィルタアレイ（ＣＦＡ）をマルチバンド化することにより色再現性を高めることが出来る。しかし、バンド数の増加に伴い、単一のバンドのサンプル密度が低くなるため、デモザイキング時に偽色が発生するなどの問題があった。

【0005】

従って、上記のような問題点に鑑みてなされた本発明では、マルチバンドのＣＦＡを有する撮像素子が生成する原画像信号に基づいて、偽色の発生を抑えるデモザイキングを実行する画像処理システムの提供を目的とする。

【課題を解決するための手段】

【0006】

上述した諸課題を解決すべく、本発明による画像処理システムは、
第１〜第ｍ（ｍは３以上の整数）の色信号成分のいずれかを有する複数の画素信号によって構成される原画像信号から、原画像信号を構成する全画素信号が第１〜第ｍの色信号成分を有するように色信号成分の補間を行う画像処理システムであって、
原画像信号を受信する受信部と、
画素信号それぞれに対応する画素を挟む同色の２画素を用いて画素信号の微分値を算出する微分値算出部と、
原画像信号の中の前記第１の色信号成分を用いて一次参照画像を作成する参照画像作成部と、
一次参照画像を用いて、全色信号成分を補間して補間画像を作成する補間画像作成部とを備え、
一次参照画像及び前記補間画像の少なくとも一方は、微分値を用いて作成される
ことを特徴とするものである。

【発明の効果】

【0007】

上記のように構成された本発明に係る画像処理システムによれば、参照画像または補間画像の作成時に微分値を用いるので、実際に撮像された画像の局所的な部位に基づいた補間が行われる。それゆえ、ＣＦＡのマルチバンド化を図りながら、偽色の発生を抑えたデモザイクが可能である。

【図面の簡単な説明】

【0008】

【図1】本発明の第１の実施形態に係る画像処理システムを有するデジタルカメラの概略構成を示すブロック図である。

【図2】ＣＦＡにおけるカラーフィルタの配置を示す配置図である。

【図3】画像信号処理部の構成を概略的に示すブロック図である。

【図4】Ｇ、Ｃｙ、Ｏｒ、Ｂ、Ｒ原画像信号成分の構造を説明するための概念図である。

【図5】第１の実施形態のＭＢデモザイク処理部によって実行されるデモザイク処理を説明するための概念図である。

【図6】第１の実施形態のＭＢデモザイク処理部の構成を概略的に示すブロック図である。

【図7】第２の実施形態のＭＢデモザイク処理部によって実行されるデモザイク処理を説明するための概念図である。

【図8】第２の実施形態のＭＢデモザイク処理部の構成を概略的に示すブロック図である。

【図9】第３の実施形態のＭＢデモザイク処理部によって実行されるデモザイク処理を説明するための概念図である。

【図10】第３の実施形態のＭＢデモザイク処理部の構成を概略的に示すブロック図である。

【図11】第４の実施形態のＭＢデモザイク処理部によって実行されるデモザイク処理を説明するための概念図である。

【図12】第４の実施形態のＭＢデモザイク処理部の構成を概略的に示すブロック図である。

【図13】第５の実施形態のＭＢデモザイク処理部によって実行されるデモザイク処理を説明するための概念図である。

【図14】第５の実施形態のＭＢデモザイク処理部の構成を概略的に示すブロック図である。

【図15】第６の実施形態のＭＢデモザイク処理部によって実行されるデモザイク処理を説明するための概念図である。

【図16】第６の実施形態のＭＢデモザイク処理部の構成を概略的に示すブロック図である。

【図17】色差を介して色信号成分を補間するデモザイク処理を説明するための概念図である。

【発明を実施するための形態】

【0009】

以下、本発明を適用した画像処理システムの実施形態について、図面を参照して説明する。図１は、本発明の第１の実施形態に係る画像処理システムを有するデジタルカメラの概略構成を示すブロック図である。

【0010】

デジタルカメラ１０は、撮影光学系１１、撮像素子２０、センサ駆動部１２、システムバス１３、画像信号処理部３０、バッファメモリ１４、システムコントローラ１５、画像表示部１６、画像記録部１７、及び操作部１８などによって構成される。

【0011】

撮影光学系１１は、光軸が撮像素子２０の受光部２１の中心を通るように垂直に配置され、撮像素子２０に結合される。撮影光学系１１は複数のレンズ（図示せず）によって構成され、被写体の光学像を受光部２１に結像させる。

【0012】

撮像素子２０は、例えばＣＭＯＳエリアセンサであり、受光部２１、垂直走査回路２２、水平読出回路２３、及びＡ／Ｄコンバータ２４によって構成される。前述のように、撮影光学系１１により被写体の光学像が受光部２１に形成される。

【0013】

受光部２１には、マトリックス状に複数の画素（図示せず）が配置される。また、受光部２１上において、ＯＢ（オプティカルブラック）領域２１ｂと有効撮影領域２１ｅとが定められる。ＯＢ領域２１ｂに配置されるＯＢ画素は受光面が遮光されており、黒色の基準となるＯＢ画素信号（暗電流）を出力する。また、有効撮影領域２１ｅはＣＦＡ（図１において図示せず）によって覆われており、各画素は５バンドのカラーフィルタのいずれかによって覆われる。

【0014】

図２に示すように、ＣＦＡ２１ａにはＧ（グリーン）カラーフィルタ、Ｃｙ（シアン）カラーフィルタ、Ｏｒ（オレンジ）カラーフィルタ、Ｂ（ブルー）カラーフィルタ、及びＲ（レッド）カラーフィルタの５バンドのカラーフィルタが設けられる。したがって、各画素では、対応するカラーフィルタの透過バンドの光の受光量に応じた画素信号が生成される。

【0015】

ＣＦＡ２１ａでは、４行４列のカラーフィルタ繰返し単位２１ｕが行方向及び列方向に繰返し配置される。図２に示すように、カラーフィルタ繰返し単位２１ｕ内には、８個のＧカラーフィルタ、２個のＣｙカラーフィルタ、２個のＯｒカラーフィルタ、２個のＢカラーフィルタ、及び２個のＲカラーフィルタが配置される。

【0016】

ＣＦＡ２１ａでは、Ｃｙカラーフィルタ、Ｏｒカラーフィルタ、Ｂカラーフィルタ、及びＲカラーフィルタのいずれかと、Ｇカラーフィルタとが市松模様状に配置される。すなわち、Ｇカラーフィルタは全行全列において、１画素おきに繰返し配置される。例えば、図２における左上を基準として、１、３行目には２、４列目にＧカラーフィルタが配置される。また、２、４行目には、１、３列目にＧカラーフィルタが配置される。

【0017】

また、Ｇカラーフィルタ、Ｂカラーフィルタ、及びＣｙカラーフィルタが並ぶ行及び列が、列方向及び行方向に１画素おきに繰返し配置される。例えば、図２において、１行１列目及び３行３列目にＢカラーフィルタが配置され、１行３列目及び３行１列目にＣｙカラーフィルタが配置される。

【0018】

また、Ｇカラーフィルタ、Ｒカラーフィルタ、及びＯｒカラーフィルタが並ぶ行及び列が、行方向及び列方向に１画素おきに繰返し配置される。例えば、図２において、２行４列目及び４行２列目にＲカラーフィルタが配置され、２行２列目及び４行４列目にＯｒカラーフィルタが配置される。

【0019】

上述のようなカラーフィルタ繰返し単位２１ｕでは、Ｇカラーフィルタの割合が最大であり全体の５０％を占めている。また、任意の位置の画素において、斜め方向に隣接する画素に対応するカラーフィルタのバンドは等しい。

【0020】

例えば、いずれのＧカラーフィルタにおいても、斜方に隣接するカラーフィルタはすべてＧカラーフィルタである。したがって、任意のＧカラーフィルタの右斜め上及び左斜め下にはＧカラーフィルタが配置され、互いに同じバンドのカラーフィルタである。また、右斜め下及び左斜め上にはＧカラーフィタが配置され、互いに同じバンドのカラーフィルタである。

【0021】

また、いずれのＣｙカラーフィルタにおいても、斜方に沿ってＲカラーフィルタまたはＯｒカラーフィルタによって挟まれる。詳細に説明すると、任意のＣｙカラーフィルタの右斜め上及び左斜め下にはＯｒカラーフィルタが配置され、互いに同じバンドのカラーフィルタである。また、右斜め下及び左斜め上にはＲカラーフィルタが配置され、互いに同じバンドのカラーフィルタである。

【0022】

Ｏｒカラーフィルタ、Ｂカラーフィルタ、及びＲカラーフィルタにおいても、同様であって、斜め方向に隣接するカラーフィルタ同士は同じバンドのカラーフィルタとなる。

【0023】

上述のようなＣＦＡ２１ａが設けられた撮像素子において、透過したバンドの光の受光量に応じた画素信号が生成される。垂直走査回路２２により画素信号を出力させる画素の行が選択され、水平読出回路２３により画素信号を出力させる画素の列が選択される（図１参照）。

【0024】

垂直走査回路２２及び水平読出回路２３はセンサ駆動部１２に駆動され、１画素ずつ画素信号が出力されるように制御される。出力された画素信号はＡ／Ｄコンバータ２４によりデジタル信号に変換される。受光部２１に配置されるすべての画素の画素信号が１フレームの原画像信号（Ｒａｗ画像データ）に定められる。

【0025】

撮像素子２０、バッファメモリ１４、画像信号処理部３０、システムコントローラ１５、画像表示部１６、画像記録部１７、操作部１８、及びセンサ駆動部１２は、システムバス１３を介して電気的に接続される。システムバス１３に接続されるこれらの部位は、システムバス１３を介して互いに様々な信号やデータを送受信することが可能である。

【0026】

撮像素子２０から出力される原画像信号はバッファメモリ１４に送信され、格納される。バッファメモリ１４はＳＤＲＡＭ等であって、比較的高速なアクセス速度を有し、画像信号処理部３０のワークエリアとして用いられる。また、バッファメモリ１４は、システムコントローラ１５がデジタルカメラ１０の各部位を制御するためのプログラムを実行する際のワークエリアとしても用いられる。

【0027】

画像信号処理部３０は、後に詳細に説明するデモザイキング処理を原画像信号に施し、補間画像信号を生成する。さらに、画像信号処理部３０は、補間画像信号に対して所定の画像処理を施す。なお、補間画像信号は必要に応じて、ＲＧＢ画像信号に変換される。

【0028】

所定の画像処理の施された補間画像信号およびＲＧＢ画像信号は、画像表示部１６及び画像記録部１７に送信される。画像表示部１６は多原色モニタ（図１において図示せず）及びＲＧＢモニタ（図１において図示せず）を有している。多原色モニタ及びＲＧＢモニタには、受信した補間画像信号及びＲＧＢ画像信号に相当する画像が表示される。また、画像記録部１７に送信された補間画像信号及びＲＧＢ画像信号は、そこで格納される。

【0029】

デジタルカメラ１０の各部位は、システムコントローラ１５によって制御される。各部位を制御するための制御信号がシステムコントローラ１５からシステムバス１３を介して各部位に入力される。

【0030】

なお、画像信号処理部３０及びシステムコントローラ１５は、ＣＰＵ（中央処理装置）等の任意の好適なプロセッサ上で実行されるソフトウェアとして構成したり、処理ごとに特化した専用のプロセッサによって構成したりすることもできる。

【0031】

システムコントローラ１５は、パワーボタン（図示せず）、レリーズボタン（図示せず）、及びダイヤル（図示せず）などの入力機構を有する入力部１８に接続される。使用者によるデジタルカメラ１０の様々な操作入力が入力部１８に検知される。入力部１８に検知される操作入力に応じて、システムコントローラ１５はデジタルカメラ１０の各部位を制御する。

【0032】

次に、画像信号処理部３０の構成について図３を用いて説明する。画像信号処理部３０は、ＯＢ減算処理部３１、マルチバンド（ＭＢ）デモザイク処理部４０（画像処理システム）、ＮＲ処理部３２、ＭＢ−ＲＧＢ変換部３３、色変換処理部３４、及び色ガンマ補正処理部３５によって構成される。

【0033】

バッファメモリ１４から出力される原画像信号は、ＯＢ減算処理部３１に送信される。ＯＢ減算処理部３１では、ＯＢ画素に生成されたＯＢ画素信号によって各画素信号を減じることによって各画素信号の黒レベルの調整を行う。

【0034】

ＯＢ減算処理部３１から出力される画素信号はＭＢデモザイク処理部４０に送信される。前述のように、原画像信号を構成する画素信号は５バンドの中のいずれか一つの色信号成分のみを有する。すなわち、原画像信号は、図４に示すように、Ｇ原画像信号成分（（ａ）参照）、Ｃｙ原画像信号成分（（ｂ）参照）、Ｏｒ原画像信号成分（（ｃ）参照）、Ｂ原画像信号成分（（ｄ）参照）、Ｒ原画像信号成分（（ｅ）参照）によって構成される。後述するようにＭＢデモザイク処理部４０におけるデモザイク処理により、全色信号成分が補間される。すなわち、全画素信号は５つの色信号成分を有するように、補完される。

【0035】

デモザイク処理の施された原画像信号は、補間画像信号としてＮＲ処理部３２に送信される。ＮＲ処理部３２において、補間画像信号からノイズが除去される。ノイズの除去された補間画像信号は画像記録部１７に送信され、格納される。また、ノイズの除去された補間画像信号はＭＢ−ＲＧＢ変換処理部３３及び色変換処理部３４に送信される。

【0036】

ＭＢ−ＲＧＢ変換処理部３３では、補間画像信号に対してＲＧＢ変換処理が施される。５バンドの色信号成分によって構成される補間画像信号が、ＲＧＢの３バンドの色信号成分によって構成されるＲＧＢ画像信号に変換される。ＲＧＢ画像信号は画像記録部１７に送信され、格納される。また、ＲＧＢ画像信号は、色・ガンマ補正処理部３５に送信される。

【0037】

色変換処理部３４では、補間画像信号に対して色変換処理が施される。色変換処理の施された補間画像信号は多原色モニタ１６ｍｂに送信され、補間画像信号に相当する画像が表示される。

【0038】

色・ガンマ補正処理部３５では、ＲＧＢ画像信号に対して色補正処理及びガンマ補正処理が施される。これらの補正処理が施されたＲＧＢ画像信号はＲＧＢモニタ１６ｒｇｂに送信され、ＲＧＢ画像信号に相当する画像が表示される。

【0039】

次に、デモザイク処理について図５を用いて説明する。図５は、ＭＢデモザイク処理部４０によって実行されるデモザイク処理を説明するための概念図である。

【0040】

前述のように、原画像信号ＯＩＳは各画素信号が５バンドのいずれかの色信号成分のみを有している。原画像信号ＯＩＳは、Ｇ原画像信号成分ｇＯＩＳ、Ｃｙ原画像信号成分ｃｙＯＩＳ、Ｏｒ原画像信号成分ｏｒＯＩＳ、Ｂ原画像信号成分ｂＯＩＳ、及びＲ原画像信号成分ｒＯＩＳに分割される。

【0041】

また、原画像信号ＯＩＳの全画素信号を用いて全画素に対して適応的カーネル関数が算出される（ａＫ参照）。適応的カーネル関数と、Ｇ原画像信号成分ｇＯＩＳとを用いて適応的ガウシアン補間法によりＧ原画像信号成分ｇＯＩＳにおける欠落した画素信号が補間され、参照画像信号ＲＩＳ（一次参照画像）が生成される（ａＧＵ参照）。

【0042】

適応的カーネル関数、参照画像信号ＲＩＳ、及びＧ原画像信号成分ｇＯＩＳを用いて適応的ジョイントバイラテラル補間法によりＧ原画像信号成分ｇＯＩＳにおける欠落した画素信号が補間され、Ｇ補間画像信号成分ｇＩＩＳが生成される。

【0043】

Ｇ原画像信号成分ｇＯＩＳの代わりに、Ｃｙ原画像信号成分ｃｙＯＩＳを用いて同様の処理を施すことによりＣｙ補間画像信号成分ｃｙＩＩＳが生成される。同様にして、Ｏｒ補間画像信号成分ｏｒＩＩＳ、Ｂ補間画像信号成分ｂＩＩＳ、及びＲ補間画像信号成分ｒＩＩＳが生成される。全色信号成分を有する画素信号を全画素に対して生成することにより補間画像信号ＩＩＳが生成される。

【0044】

次に、このようなデモザイク処理を実行するＭＢデモザイク処理部４０の構成及び機能を、図６を用いて説明する。ＭＢデモザイク処理部４０は、分配部４１（受信部）、微分値算出部４２、適応的カーネル算出部４３、参照画像作成部４４、及び補間画像作成部４５によって構成される。

【0045】

ＭＢデモザイク処理部４０に受信される原画像信号は、分配部４１に入力される。分配部４１では、微分値算出部４２、参照画像作成部４４、及び補間画像作成部４５に、必要に応じた色信号成分が分配される。

【0046】

微分値算出部４２には、原画像信号を構成する全画素信号が送信される。微分値算出部４２では、画素毎に２方向の微分値（第１、第２の微分値）が算出される。微分値の算出のために、全画素が順番に注目画素（図示せず）に指定される。指定された注目画素の右斜め上及び左斜め下に隣接する画素の画素信号の差と、右斜め下及び左斜め上に隣接する画素の画素信号の差とが微分値として算出される。

【0047】

なお、前述のように、いずれの画素を注目画素とする場合でも、右斜め上及び左斜め下の画素では同じ色信号成分の画素信号が生成され、右斜め下及び左斜め上の画素では同じ色信号成分の画素信号が生成される。それゆえ、上述の微分値は、注目画素を中心とする局所的な画像における両斜め方向の勾配を示している。全画素に対して算出された微分値は、適応的カーネル算出部４３に送信される。

【0048】

適応的カーネル算出部４３では、微分値と画素信号とに基づいて、画素毎に適応的カーネル関数が算出される。適応的カーネル関数の算出のために、すべての画素が順番に注目画素に指定される。また、注目画素を中心とする注目画素の周囲の７行７列に配置される画素が周囲画素に指定される。注目画素及び周囲画素の指定を終えると、注目画素に対する共分散行列Ｃ_ｘの逆行列が算出される。

【0049】

逆行列は、（１）式に注目画素及び周囲画素の微分値を代入することにより算出される。

【0050】

【数1】

【0051】

なお、（１）式において、Ｎ_ｘは周囲画素の画素位置集合であり、｜Ｎ_ｘ｜は画素位置集合の画素数である。また、Ｚ_ｕ（ｘ_ｊ）は、周囲画素ｘ_ｊのｕ方向の微分値であり、Ｚ_ｖ（ｘ_ｊ）は周囲画素ｘ_ｊのｖ方向の微分値である。なお、図２に示すように、ｕ方向とは右斜め下から左斜め上に向かう方向であり、ｖ方向とは左斜め下から右斜め上に向かう方向である。

【0052】

注目画素の共分散行列が算出されると、次に注目画素に対するカーネル関数の大きさを表すパラメータμ_ｘが算出される。パラメータμ_ｘの算出のために、共分散行列Ｃ_ｘの固有値λ_１、λ_２が算出される。固有値の積λ_１×λ_２が閾値Ｓと比較される。固有値の積λ_１×λ_２が閾値Ｓ以上である場合には、パラメータμ_ｘは１と計算される。一方、固有値の積λ_１×λ_２が閾値Ｓより小さい場合には、（Ｓ／（λ_１×λ_２））の四乗根がパラメータμ_ｘとして計算される。

【0053】

パラメータμ_ｘの算出後、注目画素に対する適応的カーネル関数が算出される。適応的カーネル関数ｋ_ｘ（ｘ_ｊ−ｘ）は（２）式により算出される。

【0054】

【数2】

【0055】

（２）式において、ｘ_ｊは周囲画素の座標であり、ｘは注目画素の座標であり、Ｒは４５°の回転行列であり、ｈは所定の設計パラメータであり、例えば１に定められる。

【0056】

全画素に対して算出された適応的カーネル関数ｋ_ｘ（ｘ_ｊ−ｘ）は、参照画像作成部４４及び補間画像作成部４５に送信される。参照画像作成部４４では、原画像信号中に最も要素数の多いＧ色信号成分（第１の色信号成分）が分配部４１から送信される。参照画像作成部４４では、適応的ガウシアン補間法により全体の１／２の画素に対してのみ存在するＧ色信号成分の補間が行われ、参照画像信号が生成される。

【0057】

適応的ガウシアン補間法を用いたＧ原画像信号成分における欠落した画素信号の補間について説明する。Ｇ原画像信号成分において補間される画素、すなわち原画像信号においてＧ色信号成分を有さない画素が順番に注目画素に指定される。注目画素を中心とする注目画素の周囲の７行７列の画素が周囲画素に指定される。

【0058】

注目画素の画素信号は、周囲画素のＧ色信号成分及び適応的カーネル関数に基づいて（３）式により算出される。

【0059】

【数3】

【0060】

なお、ω_ｘは（４）式により算出される。Ｍ_ｘｉはバイナリマスクであり、周囲画素がＧ色信号成分を有するときに１であり、周囲画素がＧ色信号成分を有さないときには０である。Ｓ_ｘｉは周囲画素のＧ色信号成分である。

【0061】

【数4】

【0062】

注目画素に指定された全画素に対して補間されたＧ色信号成分と、Ｇ原画像信号成分とにより構成される参照画像信号は、補間画像作成部４５に送信される。補間画像作成部４５には、前述のように適応的カーネル関数ｋ_ｘ（ｘ_ｉ−ｘ）、及び参照画像信号が適応的カーネル算出部４３及び参照画像作成部４４から送信される。また、前述のように、補間画像作成部４５には、分配部４１からＧ原画像信号成分、Ｃｙ原画像信号成分、Ｏｒ原画像信号成分、Ｂ原画像信号成分、及びＲ原画像信号成分が順番に送信される。

【0063】

補間画像作成部４５では、適応的ジョイントバイラテラレル補間法により、生成されていない色信号成分が全画素に対して補間される。例えば、全体の１／２の画素に対してのみ存在するＧ色信号成分を用いて、他の画素のＧ色信号成分が補間される。

【0064】

同様に、それぞれ１／８の画素に対してのみ存在するＣｙ色信号成分、Ｏｒ色信号成分、Ｂ色信号成分、及びＲ色信号成分を用いて、他の画素のＣｙ色信号成分、Ｏｒ色信号成分、Ｂ色信号成分、及びＲ色信号成分が補間される。全色信号成分の補間により、全色信号成分を有する全画素信号によって構成される補間画像信号が生成される。なお、Ｇ色信号成分に関しては参照画像の作成において補間されているが、参照画像を用いた補間が別に行われる。

【0065】

適応的ジョイントバイラテラル補間法を用いた各色信号成分の補間について、Ｇ色信号成分を例にして説明する。Ｇ色信号成分の補間が行われるべき画素、すなわち原画像信号においてＧ色信号成分を有さない画素が順番に注目画素に指定される。注目画素を中心とする注目画素の周囲の７行７列の画素が周囲画素に指定される。

【0066】

注目画素の色信号成分は、周囲画素のＧ色信号成分、適応的カーネル関数、及び参照画像信号に基づいて（５）式により算出される。

【0067】

【数5】

【0068】

なお、（５）式において、Ｉ_ｘｉは参照画像における周囲画素の画素値、Ｉ_ｘは参照画像における注目画素の画素値である。ｒ（Ｉ_ｘｉ−Ｉ_ｘ）は、注目画素と周囲画素との画素値の差分に応じた重み付けである。

【0069】

注目画素に対するＧ色信号成分の補間により、Ｇ補間画像信号成分が生成される。以後、同様にＣｙ色信号成分、Ｏｒ色信号成分、Ｂ色信号成分、及びＲ色信号成分もＧ色信号成分と同様に補間が行われ、Ｃｙ補間画像信号成分、Ｏｒ補間画像信号成分、Ｂ補間画像信号成分、及びＲ補間画像信号成分が生成される。このように全色信号成分の補間により補間画像信号が生成される。

【0070】

以上のような構成の第１の実施形態の画像処理システムによれば、画素毎に微分値を算出し、微分値すなわち勾配情報に基づいて参照画像を作成し、参照画像と勾配情報とに基づいて補間画像が作成される。

【0071】

一般的に自然画像では、高周波成分においてバンド間の相関が強いことが知られている。従って、各バンドの画像は同じエッジ構造を有する。そこで、すべてのバンドの勾配情報は等しいと仮定される。このような仮定に基づいて、参照画像および補間画像の作成において、何れの色信号成分の微分値であっても、他の色信号成分の補間に用いるための適応的カーネル関数を算出可能である。

【0072】

第１の実施形態では、参照画像の作成においてもすべての画素において勾配情報を用いて適応的カーネル関数が用いられる。そのため、参照画像において、偽像の発生を低減化することが可能である。このように、偽像の発生が抑えられた参照画像と、適応的カーネル関数を用いて色補間を行うので、それぞれの色信号成分において偽像の発生を大幅に低減化させることが可能である。

【0073】

それゆえ、第１の実施形態の画像処理システムによれば、マルチバンドの色信号成分によって構成される原画像信号から偽色の発生を抑えた補間画像信号を生成することが可能である。

【0074】

また、第１の実施形態では、共分散関数の固有値の積に基づいてパラメータμ_ｘが算出され、適応的カーネル関数の算出に用いられる。パラメータμ_ｘは前述のように、カーネル関数の大きさを表すパラメータであり、上述のように固有値の積に基づいて算出されるので、注目画素毎にカーネル関数の大きさを適切に設定することが可能である。

【0075】

次に、本発明の第２の実施形態に係る画像処理システムについて説明する。第２の実施形態はデモザイク処理及びＭＢデモザイク処理部の構成において第１の実施形態と異なっている。以下に、第１の実施形態と異なる点を中心に第２の実施形態について説明する。なお、第１の実施形態と同じ機能及び構成を有する部位には同じ符号を付す。

【0076】

第２の実施形態では、ＭＢデモザイク処理部以外のデジタルカメラの各部位の構成及び機能は第１の実施形態と同じである。

【0077】

第２の実施形態で実行されるデモザイク処理について図７を用いて説明する。図７は、第２の実施形態のＭＢデモザイク処理部によって実行されるデモザイク処理を説明するための概念図である。

【0078】

第２の実施形態では、適応的ジョイントバイラテラル補間法に用いる適応的カーネル関数が第１の実施形態と異なっている。第１の実施形態では原画像信号ＯＩＳの全画素信号を用いて算出した適応的カーネル関数を用いているが、第２の実施形態では参照画像信号ＲＩＳを用いて算出した適応的カーネル関数（符号Ａ参照）を用いている。

【0079】

次に、このようなデモザイク処理を実行するＭＢデモザイク処理部４００の構成及び機能を、図８を用いて説明する。第２の実施形態におけるＭＢデモザイク処理部４００は、分配部４１０、微分値算出部４２０、適応的カーネル算出部４３０、参照画像作成部４４０、及び補間画像作成部４５０によって構成される。

【0080】

第２の実施形態では、微分値算出部４２０、適応的カーネル算出部４３０、及び参照画像作成部４４０の機能の一部が第１の実施形態と異なる。微分値算出部４２０、適応的カーネル算出部４３０、及び参照画像作成部４４０が第１の実施形態と同様に機能することにより、参照画像信号が作成される。

【0081】

第１の実施形態と異なり、参照画像信号は微分値算出部４２０及び適応的カーネル算出部４３０に送信される。微分値算出部４２０では、参照画像信号を構成するＧ色信号成分を用いて画素毎の２方向の微分値（第３の微分値）を算出する。また、第２の実施形態と異なり、適応的カーネル算出部４３０は、参照画像信号に基づいて算出された微分値を用いた適応的カーネル関数も算出する。

【0082】

参照画像信号に基づいて算出された適応的カーネル関数が、原画像信号に基づいて算出された適応的カーネル関数の代わりに補間画像作成部４５０に送信される。補間画像作成部４５０では、参照画像信号に基づいて算出された適応的カーネル関数を用いて各色信号成分の補間を行う。

【0083】

以上のような構成の第２の実施形態の画像処理システムによっても、画素毎に微分値を算出し、微分値すなわち勾配情報に基づいて参照画像を作成し、参照画像と勾配情報とに基づいて補間画像信号が作成可能である。それゆえ、マルチバンドの色信号成分によって構成される原画像信号から偽色の発生を抑えた補間画像信号を生成することが可能である。

【0084】

次に、本発明の第３の実施形態に係る画像処理システムについて説明する。第３の実施形態はデモザイク処理及びＭＢデモザイク処理部の構成において第１の実施形態と異なっている。以下に、第１の実施形態と異なる点を中心に第３の実施形態について説明する。なお、第１の実施形態と同じ機能及び構成を有する部位には同じ符号を付す。

【0085】

第２の実施形態では、ＭＢデモザイク処理部以外のデジタルカメラの各部位の構成及び機能は第１の実施形態と同じである。

【0086】

第３の実施形態で実行されるデモザイク処理について図９を用いて説明する。図９は、第３の実施形態のＭＢデモザイク処理部によって実行されるデモザイク処理を説明するための概念図である。

【0087】

第３の実施形態では、各色信号成分の補間に適応的ジョイントバイラテラル補間法でなくガイデッドフィルタ（Ｇｕｉｄｅｄ Ｆｉｌｔｅｒ参照）を利用する点において、第１の実施形態と異なっている。なお、ガイデッドフィルタの算出には適応的カーネル関数が不要である。

【0088】

したがって、第１の実施形態と同様に、適応的カーネル関数が算出され（ａＫ参照）、Ｇ原画像信号成分ｇＯＩＳを用いて参照画像信号ＲＩＳが生成される。次に、参照画像信号ＲＩＳに基づいてガイデッドフィルタを適用する。

【0089】

ガイデッドフィルタを利用した補間法によりＧ色信号成分が補間され、Ｇ補間画像信号成分ｇＩＩＳが生成される。Ｇ色信号成分の代わりに、Ｃｙ色信号成分を用いて同様の処理を施すことによりＣｙ補間画像信号成分ｃｙＩＩＳが作成される。同様にして、Ｏｒ補間画像信号成分ｏｒＩＩＳ、Ｂ補間画像信号成分ｂＩＩＳ、及びＲ補間画像信号成分ｒＩＩＳが生成される。全色信号成分を有する画素信号を全画素に対して生成することにより補間画像ＩＩＳが作成される。

【0090】

次に、このようなデモザイク処理を実行するＭＢデモザイク処理部４０１の構成及び機能を、図１０を用いて説明する。第１の実施形態と同様に、ＭＢモザイク処理部４０１は、分配部４１１、微分値算出部４２１、適応的カーネル算出部４３１、参照画像作成部４４１、および補間画像作成部４５１によって構成される。

【0091】

分配部４１１、微分値算出部４２１、適応的カーネル算出部４３１、および参照画像作成部４４１の機能は、第１の実施形態と同じである。したがって、第１の実施形態と同様に、適応的ガウシアン補間法により参照画像信号が生成される。

【0092】

第１の実施形態と異なり、補間画像作成部４５１では、ガイデッドフィルタを適用してＧ色信号成分の補間が行われる。同様に、Ｃｙ色信号成分、Ｏｒ色信号成分、Ｂ色信号成分、及びＲ色信号成分の補間が行われる。

【0093】

まず、ガイデッドフィルタについて説明する。ガイデッドフィルタは、すべての画素が順番に注目画素に指定される。注目画素を中心とする注目画素の周囲の５行５列の画素が周囲画素に指定される。

【0094】

注目画素ｘ_ｐに対して、（６）式のコスト関数Ｅ（ａ_ｘｐ、ｂ_ｘｐ）が最小化するように最小二乗法により係数（ａ_ｘｐ、ｂ_ｘｐ）が算出される。

【0095】

【数6】

【0096】

（６）式において、ω_ｋは注目画素周辺に存在する信号成分の要素数である。Ｍ_iはバイナリマスクであって、周囲画素が信号成分を有するときに１であり、周囲画素が信号成分を有さないときには０である。ａ_ｘｐ、ｂ_ｘｐは算出されるべきパラメータであり、計算開始時には適当な初期値が用いられる。Ｉ_ｉは周囲画素に対応する参照画像の画素値である。ｐ_ｉは信号成分の画素値である。εは所定の平滑化パラメータである。

【0097】

全画素に対する係数（ａ_ｘｐ、ｂ_ｘｐ）が算出される。Ｇ色信号成分の補間を行うために、原画像信号においてＧ色信号成分を有さない画素が順番に注目画素に指定される。また、注目画素を中心とする注目画素の周囲の５行５列の画素が周囲画素に指定される。

【0098】

注目画素ｘ_ｉの色信号成分ｑ_ｉは、（７）式により算出される。

【0099】

【数7】

【0100】

（７）式において、｜ω｜は注目画素および周囲画素の画素数、即ち５×５の配列において２５である。（ａ_ｘｐ、ｂ_ｘｐ）は、ガイデッドフィルタにおいて周囲画素に対して算出された係数である。

【0101】

注目画素に対するＧ色信号成分の補間により、Ｇ補間画像信号成分が生成される。以後、同様にＣｙ色信号成分、Ｏｒ色信号成分、Ｂ色信号成分、及びＲ色信号成分もＧ色信号成分と同様に補間が行われ、Ｃｙ補完画像信号成分、Ｏｒ補間画像信号成分、Ｂ補間画像信号成分、及びＲ補間画像信号成分が生成される。このように全色信号成分の補間により補間画像信号が生成される。

【0102】

以上のような構成の第３の実施形態の画像処理システムによっても、画素毎に微分値を算出し、微分値すなわち勾配情報に基づいて参照画像を作成し、参照画像に基づいて補間画像信号を作成可能である。それゆえ、マルチバンドの色信号成分によって構成される原画像信号から偽色の発生を抑えた補間画像信号を生成することが可能である。

【0103】

次に、本発明の第４の実施形態に係る画像処理システムについて説明する。第４の実施形態はデモザイク処理及びＭＢデモザイク処理部の構成において第１の実施形態と異なっている。以下に、第１の実施形態と異なる点を中心に第４の実施形態について説明する。なお、第１の実施形態と同じ機能及び構成を有する部位には同じ符号を付す。

【0104】

第４の実施形態では、ＭＢデモザイク処理部以外のデジタルカメラの各部位の構成及び機能は第１の実施形態と同じである。

【0105】

第４の実施形態で実行されるデモザイク処理について図１１を用いて説明する。図１１は、第４の実施形態のＭＢデモザイク処理部によって実行されるデモザイク処理を説明するための概念図である。

【0106】

第４の実施形態では、適応的ジョイントバイラテラル補間法の代わりに、適応的カーネル関数を使用しないジョイントバイラテラル補間法（ＪＢＵ参照）を用いて全色信号成分の補間を行う点において第１の実施形態と異なっている。

【0107】

次に、このようなデモザイク処理を実行するＭＢデモザイク処理部の構成及び機能を、図１２を用いて説明する。第２の実施形態におけるＭＢデモザイク処理部４０２は、分配部４１２、微分値算出部４２２、適応的カーネル算出部４３２、参照画像作成部４４２、及び補間画像作成部４５２によって構成される。

【0108】

分配部４１２、微分値算出部４２２、適応的カーネル算出部４３２、および参照画像作成部４５２の機能は、第１の実施形態と同じである。したがって、第１の実施形態と同様に、適応的ガウシアン補間法により参照画像信号が生成される。

【0109】

第１の実施形態と異なり、補完画像作成部４５２では、ジョイントバイラテラル補間法によりＧ色信号成分、Ｃｙ色信号成分、Ｏｒ色信号成分、Ｂ色信号成分、及びＲ色信号成分の補間が行われる。ジョイントバイラテラル補間法では、（４）式において適応的カーネル関数の代わりに、注目画素から周囲画素までの距離に応じて小さくなる重み付けをｋ（ｘ_i−ｘ）として、注目画素の色信号成分が算出される。

【0110】

以上のような構成の第４の実施形態の画像処理システムによっても、画素毎に微分値を算出し、微分値すなわち勾配情報に基づいて参照画像を作成し、参照画像に基づいて補間画像信号を作成可能であるそれゆえ、マルチバンドの色信号成分によって構成される原画像信号から偽色の発生を抑えた補間画像信号を生成することが可能である。

【0111】

なお、適応的カーネル関数を用いずにジョイントバイラテラル補間法により色信号成分を補間する構成であるため、第１の実施形態に比べて偽色の発生の抑止効果が低下する。しかし、参照画像そのものの作成に適応的カーネル関数を用いているので、前述のように参照画像の偽像の発生が低減化されている。それゆえ、従来公知の線形補間により補間画像を作成することに比べて、偽色の発生の抑止効果を向上させることが可能である。

【0112】

次に、本発明の第５の実施形態に係る画像処理システムについて説明する。第５の実施形態はデモザイク処理及びＭＢデモザイク処理部の構成において第１の実施形態と異なっている。以下に、第１の実施形態と異なる点を中心に第５の実施形態について説明する。なお、第１の実施形態と同じ機能及び構成を有する部位には同じ符号を付す。

【0113】

第５の実施形態では、ＭＢデモザイク処理部以外のデジタルカメラの各部位の構成及び機能は第１の実施形態と同じである。

【0114】

第５の実施形態で実行されるデモザイク処理について図１３を用いて説明する。図１３は、第５の実施形態のＭＢデモザイク処理部によって実行されるデモザイク処理の処理を説明するための概念図である。

【0115】

第５の実施形態では、適応的カーネル関数を用いずに通常のガウシアン補間法によりＧ信号成分を補完して参照画像が作成される（ＧＵ参照）。

【0116】

次に、このようなデモザイク処理を実行するＭＢデモザイク処理部の構成及び機能を、図１４を用いて説明する。第５の実施形態におけるＭＢデモザイク処理部４０３は、分配部４１３、微分値算出部４２３、適応的カーネル算出部４３３、参照画像作成部４４３、及び補間画像作成部４５３によって構成される。

【0117】

分配部４１３、微分値算出部４２３、および補間画像作成部４５３の構成は、第１の実施形態と同じである。適応的カーネル算出部４３３は、第１の実施形態と同様に、全画素に対する適応的カーネル関数を算出する。しかし、第１の実施形態と異なり、適応的カーネル関数は参照画像作成部４４３には送信されず、補間画像作成部４５３にのみ送信される。

【0118】

参照画像作成部４４３では、第１の実施形態と異なり、Ｇ原画像信号成分に対してガウシアン補間法によりＧ色信号成分を補間し、参照画像信号を生成する。生成した参照画像信号は補間画像作成部４５３に送信される。

【0119】

前述のように、補間画像作成部４５３の機能は第１の実施形態と同じであって、適応的カーネル関数、参照画像信号、および原画像信号の各色信号成分に基づいて、各色信号成分の補間を行う。各色信号成分の補間により、全色信号成分を有する画素信号が全画素に対して生成されるので、補間画像信号が生成される。

【0120】

以上のような構成の第５の実施形態の画像処理システムによっても、画素毎に微分値を算出し、参照画像を作成し、参照画像と微分値即ち勾配情報とに基づいて補間画像を作成可能である。それゆえ、マルチバンドの色信号成分によって構成される原画像信号から偽色の発生を抑えた補間画像信号を生成することが可能である。

【0121】

なお、適応的カーネル関数を用いずに通常のガウシアン補間法により参照画像を作成する構成であるため、第１の実施形態に比べて偽色発生の低減化効果は低下する。しかし、適応的カーネル関数を用いて補間画像を作成するため、従来公知の線形補間により補間画像を作成することに比べて、偽色の発生を低下させることが可能である。

【0122】

次に、本発明の第６の実施形態に係る画像処理システムについて説明する。第６の実施形態はデモザイク処理及びＭＢデモザイク処理部の構成において第１の実施形態と異なっている。以下に、第１の実施形態と異なる点を中心に第６の実施形態について説明する。なお、第１の実施形態と同じ機能及び構成を有する部位には同じ符号を付す。

【0123】

第６の実施形態では、ＭＢデモザイク処理部以外のデジタルカメラの各部位の構成及び機能は第１の実施形態と同じである。

【0124】

第６の実施形態で実行されるデモザイク処理について図１５を用いて説明する。図１５は、第６の実施形態のＭＢデモザイク処理部によって実行されるデモザイク処理の処理を説明するための概念図である。

【0125】

第６の実施形態では、適応的カーネル関数を用いずに通常のガウシアン補間法によりＧ信号成分を補間して参照画像が作成される（ＧＵ参照）。また、適応的ジョイントバイラテラル補間法に用いる適応的カーネル関数が第１の実施形態と異なっている。第６の実施形態では、第２の実施形態と同様に、参照画像を用いて算出した適応的カーネル関数を用いている。

【0126】

次に、このようなデモザイク処理を実行するＭＢデモザイク処理部の構成及び機能を、図１６を用いて説明する。第６の実施形態におけるＭＢデモザイク処理部４０４は、分配部４１４、微分値算出部４２４、適応的カーネル算出部４３４、参照画像作成部４４４、及び補間画像作成部４５４によって構成される。

【0127】

第６の実施形態では、分配部４１４、微分値算出部４２４、適応的カーネル算出部４３４、参照画像作成部４４４、及び補間画像作成部４５４の機能の一部が第１の実施形態と異なる。

【0128】

第１の実施形態と異なり、分配部４１４から微分値算出部４２４には色信号成分が送信されず、参照画像作成部４４４及び補間画像作成部４５４に色信号成分が送信される。

【0129】

参照画像作成部４４４では、第５の実施形態のように、適応的カーネル関数を用いずにＧ原画像信号成分に対して通常のガウシアン補間法によりＧ色信号成分を補間し、参照画像信号を生成する。生成した参照画像信号は、第２の実施形態と同様に、微分値算出部４２４及び補間画像作成部４５４に送信される。

【0130】

第２の実施形態と同様に、微分値算出部４２４では、参照画像信号を構成するＧ色信号成分を用いて画素毎の２方向の微分値を算出する。算出された微分値が適応的カーネル算出部４３４に送信される。適応的カーネル算出部４３４では、参照画像信号に基づいて算出された微分値を用いて適応的カーネル関数を算出する。算出された適応的カーネル関数が補間画像作成部４５４に送信される。

【0131】

補間画像作成部４５４では、通常のガウシアン補間法により生成した参照画像信号及び参照画像信号による適応的カーネル関数を用いて各色信号成分の補間を行う。

【0132】

以上のような構成の第６の実施形態の画像処理システムによっても、参照画像を作成し、参照画像に基づく微分値を算出し、参照画像と微分値即ち勾配情報とに基づいて補間画像信号を作成可能である。それゆえ、マルチバンドの色信号成分によって構成される原画像信号から偽色の発生を抑えた補間画像信号を生成することが可能である。

【0133】

なお、第５の実施形態と同様に、適応的カーネル関数を用いずにガウシアン補間法により参照画像を作成する構成であるため、第１の実施形態に比べて偽色発生の低減化効果は低下する。しかし、適応的カーネル関数を用いて補間画像を作成するため、従来公知の線形補間により補間画像を作成することに比べて、偽色の発生を低下させることが可能である。

【0134】

本発明を諸図面や実施例に基づき説明してきたが、当業者であれば本開示に基づき種々の変形や修正を行うことが容易であることに注意されたい。従って、これらの変形や修正は本発明の範囲に含まれることに留意されたい。

【0135】

例えば、上記の第１〜第６の実施形態において、全色信号成分そのものが補間画像作成部４５、４５０、４５１、４５２、４５３、４５４において補間される構成であるが、一部の色信号成分においては色差を用いて補間を行うことにより色信号成分を生成してもよい。

【0136】

例えば、第１の実施形態において色差を利用した補間画像信号の生成について説明する。図１７に示すように、Ｇ補間画像信号成分ｇＩＩＳ、Ｃｙ補間画像信号成分ｃｙＩＩＳ、及びＯｒ補間画像信号成分ｏｒＩＩＳは、第１の実施形態と同様に生成される。

【0137】

生成されたＣｙ補間画像信号成分ｃｙＩＩＳの中から、Ｂ原画像信号成分ｂＯＩＳが存在する画素と同じ画素におけるＣｙ色信号成分が抽出される。減算器４６により、Ｂ原画像信号成分ｂＯＩＳから、抽出されたＣｙ色信号成分が減算され、第１の色差原画像信号成分ｄ１ＯＩＳが生成される。同様に、Ｏｒ補間画像信号成分ｏｒＩＩＳ及びＲ原画像信号成分ｒＯＩＳから第２の色差原画像信号成分ｄ２ＯＩＳが生成される。

【0138】

適応的カーネル関数、参照画像信号ＲＩＳ、及び第１の色差原画像信号成分ｄ１ＯＩＳを用いて、適応的ジョイントバイラテラル補間法により、生成されていない第１の色差信号成分が全画素に対して補間される。第１の色差信号成分の補間により第１の色差補間画像信号成分ｄ１ＩＩＳが生成される。同様に、適用的カーネル関数、参照画像信号ＲＩＳ、及び第２の色差原画像信号成分ｄ２ＯＩＳを用いて適応的ジョイントバイラテラル補間法により、第２の色差補間画像信号成分ｄ２ＩＩＳが生成される。

【0139】

加算器４７により、第１の色差補間画像信号成分ｄ１ＩＩＳに、Ｃｙ補間画像信号成分ｃｙＩＩＳが加算されることにより、Ｂ補間画像信号成分ｂＩＩＳが生成される。同様に、第２の色差補間画像信号成分ｄ２ＩＩＳに、Ｏｒ補間画像信号成分ｏｒＩＩＳが加算されることにより、Ｒ補間画像信号成分ｒＩＩＳが生成される。

【0140】

このように、色差を用いて補間を行うことも可能である。色差を用いて補間を行うことにより、いずれかの色信号成分のノイズ成分が多い場合であっても、当該画素における極端な色再現性の悪化を抑止することが可能である。

【0141】

なお、上述の説明においては、第１の実施形態の変形例において色差を利用した補間が行われているが、第２〜第６の実施形態においても、同様に色差を利用した補間を行うことは可能である。

【0142】

また、上述の説明においては、Ｃｙ色信号成分及びＢ色信号成分の色差と、Ｏｒ色信号成分及びＲ色信号成分の色差とが算出され、補間が行われている。色差の算出に用いる色差の互いのバンドが近くなるほど、色再現性を向上に有利である。ただし、色差の算出はこれらの組合わせに限定されない。例えば、Ｇ補間画像信号成分とＣｙ原画像信号成分とに基づく色差信号成分を補間する構成であってもよい。

【0143】

また、第１〜第６の実施形態において、Ｇ原画像信号成分を用いて参照画像信号を生成する構成であるが、補間画像信号のいずれかの色信号成分を生成した後に、生成した補間画像信号を参照画像信号として他の色信号成分の補間に用いても良い。

【0144】

上記の第１〜第６の実施形態において、Ｇ原画像信号成分に基づいて生成された参照画像信号を用いて全色信号成分そのものが補間される構成であるが、例えば、生成したＧ補間画像信号成分を参照画像信号（二次参照画像）として、Ｃｙ原画像信号成分、ＯＲ原画像信号成分、Ｂ原画像信号成分、及びＲ原画像信号成分の補間に用いてもよい。

【0145】

Ｇ原画像信号成分に基づいて生成される参照画像信号よりも、補間画像信号成分の方が一般的に、色信号成分の再現性は高い。それゆえ、補間画像信号成分を参照画像信号として用いることにより、補間画像の再現性を向上させることが可能である。

【0146】

また、第１〜第６の実施形態において、ＣＦＡ２１ａではＧカラーフィルタの割合が最大であるが、他のバンドのカラーフィルタの割合が最大であってもよい。

【0147】

また、第１、第２、第４〜第６の実施形態において、（適用的）ジョイントバイラテラル補間では、注目画素と周囲画素との画素値の差分に応じた重み付けｒ（Ｉ_ｘｉ−Ｉ_ｘ）を用いる構成であるが、注目画素と周囲画素との類似性に応じた他の重み付けを用いてもよい。

【0148】

（適用的）ジョイントバイラテラル補間法では、参照画像において注目画素と周囲画素との光学情報が似ている、即ち画素値の差が近い場合に、周囲画素の重み付けが大きくなるように構成される。したがって、このような重み付けの代わりに、上述のように類似性が大きいほど、大きな重み付けをすることにより上述の実施形態と同様の効果を得ることが可能である。

【0149】

例えば、参照画像信号において、注目画素を中心とする３行３列の画素と、周囲画素を中心とする３行３列の画素の画素値の差の相乗平均を、注目画素と周囲画素との類似性として、相乗平均に応じて重み付けを行ってもよい。

【0150】

また、第１〜第４の実施形態において、最多のＧカラーフィルタの割合は５０％であるが、５０％に限定されない。参照画像信号の生成には適用的ガウシアン補間法が適用されるので、通常のガウシアン補間法に比べて色成分の精度が高い参照画像信号を生成可能である。

【0151】

また、第５、第６の実施形態において、ＣＦＡ２１ａの各画素に対して斜方に隣接する２画素に対応するカラーフィルタのバンドが等しい構成であるが、このような配置でなくてもよい。第５、第６の実施形態では、参照画像信号の生成に適用的カーネル関数を用いないので、上述のようなカラーフィルタ配置に限定されない。

【0152】

また、第１〜第６の実施形態において、ＣＦＡ２１ａには５バンドのカラーフィルタが設けられる構成であるが、３バンド以上であればよい。

【0153】

また、第２の実施形態において、単一の微分値算出部４２０によって、原画像信号に基づく微分値及び参照画像信号に基づく微分値が算出される構成であるが、別々の微分値算出部によって別々に算出されてもよい。

【0154】

また、第６の実施形態において、参照画像信号に基づいて注目画素の斜め方向に沿った微分値が算出される構成であるが、行方向及び列方向に沿った微分値を算出する構成であってもよい。参照画像信号には、欠落した画素信号が無いので行方向及び列方向に沿った微分値が算出可能である。また、上述のように第２の実施形態において、別々の微分値算出部を用いて参照画像信号に基づく微分値を算出する場合には、参照画像信号に基づく微分値の算出において行方向及び列方向に沿った微分値を算出する構成であってもよい。

【0155】

また、第１、第２の実施形態において、適応的カーネル関数の算出に用いる所定の設計パラメータｈには、適応的ガウシアン補間法及び適応的ジョイントバイラテラルアップサンプリングの両者ともに同一の値が用いられる構成であるが、両者の間で異なる値が用いられる構成であってもよい。

【0156】

また、第１〜第６の実施形態において、各色に対応する原画像信号成分において欠落した画素信号を補間することにより参照画像信号及び各色に対応する補間画像信号成分が生成される構成であるが、原画像信号成分において欠落せずに検出された画素も注目画素として補間を行ってもよい。

【0157】

また、第１〜第６の実施形態において、画像処理システムはデジタルカメラ１０に適用される構成であるが、一部の色信号成分が欠落するマルチバンドの画像信号を処理するいかなる機器に適用することが出来る。例えば、ビデオカメラ及び電子内視鏡に適用することも可能であり、さらには、記録メディアや接続ケーブルを介して受信する画像信号の処理を行う画像処理装置に適用することも可能である。

【符号の説明】

【0158】

１０ デジタルカメラ
２０ 撮像素子
２１ａ カラーフィルタアレイ（ＣＦＡ）
２１ｕ カラーフィルタ繰返し単位
３０ 画像信号処理部
４０、４００、４０１、４０２、４０３、４０４ マルチバンドデモザイク（ＭＢ）処理部
４１、４１０、４１１、４１２、４１３、４１４ 分配部
４２、４２０、４２１、４２２、４２３、４２４ 微分値算出部
４３、４３０、４３１、４３２、４３３、４３４ 適応的カーネル算出部
４４、４４０、４４１、４４２、４４３、４４４ 参照画像作成部
４５、４５０、４５１、４５２、４５３、４５４ 補間画像作成部
４６ 減算器
４７ 加算器
ＩＩＳ 補間画像信号
ｂＩＩＳ Ｂ補間画像信号成分
ｃｙＩＩＳ Ｃｙ補間画像信号成分
ｄ１ＯＩＳ、ｄ２ＯＩＳ 第１、第２の色差原画像信号成分
ｇＩＩＳ Ｇ補間画像信号成分
ｏｒＩＩＳ Ｏｒ補間画像信号成分
ｒＩＩＳ Ｒ補間画像信号成分
ＲＩＳ 参照画像信号
ＯＩＳ 原画像信号
ｂＯＩＳ Ｂ原画像信号成分
ｃｙＯＩＳ Ｃｙ原画像信号成分
ｇＯＩＳ Ｇ原画像信号成分
ｏｒＯＩＳ Ｏｒ原画像信号成分
ｒＯＩＳ Ｒ原画像信号成分
ＲＩＳ 参照画像信号

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】

【図15】

【図16】

【図17】