特許 6461184 画像処理ユニット、撮像装置、画像処理プログラム、および画像処理方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】6461184

(24)【登録日】2019年1月11日

(45)【発行日】2019年1月30日

(54)【発明の名称】画像処理ユニット、撮像装置、画像処理プログラム、および画像処理方法

(51)【国際特許分類】

   H04N 9/07 20060101AFI20190121BHJP

【ＦＩ】

   H04N9/07 A

【請求項の数】20

【全頁数】19

(21)【出願番号】特願2016-554949(P2016-554949)

(86)(22)【出願日】2014年10月23日

(86)【国際出願番号】JP2014005392

(87)【国際公開番号】WO2016063316

(87)【国際公開日】20160428

【審査請求日】2017年10月6日

(73)【特許権者】

【識別番号】304021417

【氏名又は名称】国立大学法人東京工業大学

(73)【特許権者】

【識別番号】000000376

【氏名又は名称】オリンパス株式会社

(74)【代理人】

【識別番号】100147485

【弁理士】

【氏名又は名称】杉村 憲司

(74)【代理人】

【識別番号】100147692

【弁理士】

【氏名又は名称】下地 健一

(74)【代理人】

【識別番号】100132045

【弁理士】

【氏名又は名称】坪内 伸

(72)【発明者】

【氏名】菊地 直

(72)【発明者】

【氏名】紋野 雄介

(72)【発明者】

【氏名】禧久 大輔

(72)【発明者】

【氏名】田中 正行

(72)【発明者】

【氏名】奥富 正敏

【審査官】 松永 隆志

(56)【参考文献】

【文献】 特開2014-146872（ＪＰ，Ａ）

【文献】 特開2011-41208（ＪＰ，Ａ）

【文献】 特開2007-68126（ＪＰ，Ａ）

【文献】 特開2012-239038（ＪＰ，Ａ）

【文献】 特開2006-80897（ＪＰ，Ａ）

(58)【調査した分野】（Int.Cl.，ＤＢ名）

Ｈ０４Ｎ ５／２２５−５／３７８

Ｈ０４Ｎ ９／００−９／１１

(57)【特許請求の範囲】

【請求項1】

任意のバンドである一次参照バンドのフィルタを含む、４バンド以上のフィルタがアレイ状に配置されたマルチバンドフィルタアレイを有する撮像素子が撮像した原画像を取得する画像取得部と、
前記原画像における、前記一次参照バンドの画像成分と前記一次参照バンド以外の各バンドの画像成分との相関性が、高相関および低相関のいずれであるかを判定する相関判定部と、
前記相関判定部による相関判定結果に基づいて前記一次参照バンドの画像成分における欠落画素の補間方法を切替えて補間を行うことにより、一次参照画像を生成する参照画像生成部と、
前記相関判定結果および前記一次参照画像を用いて、前記一次参照バンド以外の各バンドの画像成分の少なくとも一部における欠落画素の補間を行う補間画像生成部とを備える
ことを特徴とする画像処理ユニット。

【請求項2】

請求項１に記載の画像処理ユニットであって、
前記参照画像生成部は、前記高相関であると判定された少なくとも１つのバンドの画像成分を用いて、前記一次参照バンドの画像成分における欠落画素の補間を行う
ことを特徴とする画像処理ユニット。

【請求項3】

請求項２に記載の画像処理ユニットであって、
前記参照画像生成部は、前記高相関であると判定されたバンドの画像成分が画素値を有する画素位置においては、該バンドの画像成分との相関を用いて、前記一次参照バンドの画像成分における該画素位置の補間値を算出する
ことを特徴とする画像処理ユニット。

【請求項4】

請求項１から３のいずれか１項に記載の画像処理ユニットであって、
前記参照画像生成部は、前記低相関に分別されたバンドの画像成分が画素値を有する画素位置においては、前記高相関であると判定された少なくとも１つのバンドの画像成分との相関を用いて、前記一次参照バンドの画像成分における該画素位置の補間値を算出する
ことを特徴とする画像処理ユニット。

【請求項5】

請求項４に記載の画像処理ユニットであって、
前記参照画像生成部は、前記低相関であると判定されたバンドの画像成分が画素値を有する画素位置においては、前記高相関であると判定された複数のバンドの画像成分それぞれとの相関を用いて、前記一次参照バンドの画像成分における該画素位置の複数の補間値を算出し、該複数の補間値の重付け平均値を、前記一次参照バンドの画像成分における該画素位置の補間値として算出する
ことを特徴とする画像処理ユニット。

【請求項6】

請求項４に記載の画像処理ユニットであって、
前記参照画像生成部は、前記低相関であると判定されたバンドの画像成分が画素値を有する画素位置においては、前記高相関であると判定された単一のバンドの画像成分との相関を用いて、前記一次参照バンドの画像成分における該画素位置の補間値を算出する
ことを特徴とする画像処理ユニット。

【請求項7】

請求項４に記載の画像処理ユニットであって、
前記参照画像生成部は、前記低相関であると判定されたバンドの画像成分が画素値を有する画素位置においては、該画素位置以外の一次参照バンドの画像成分を構成する画素値および前記高相関であると判定された少なくとも１つのバンドの画像成分との相関により算出した補間値の少なくとも一方を用いた補間処理により、前記一次参照バンドの画像成分における該画素位置の補間値を算出する
ことを特徴とする画像処理ユニット。

【請求項8】

請求項１から７のいずれか１項に記載の画像処理ユニットであって、
前記参照画像生成部は、方向別に前記一次参照バンドの画像成分の補間値を算出する
ことを特徴とする画像処理ユニット。

【請求項9】

請求項１から８のいずれか１項に記載の画像処理ユニットであって、
前記相関判定部は、予め定められた相関情報に基づいて、前記相関性が高相関および低相関の何れであるかを判定する
ことを特徴とする画像処理ユニット。

【請求項10】

請求項９に記載の画像処理ユニットであって、
前記相関情報は、任意の複数の画像データの分析、および前記マルチバンドフィルタアレイの分光感度特性の一方に基づいて予め定められる
ことを特徴とする画像処理ユニット。

【請求項11】

請求項１から８のいずれか１項に記載の画像処理ユニットであって、
前記相関判定部は、前記原画像に基づいて相関情報を生成し、該相関情報に基づいて、前記相関性が高相関および低相関の何れであるかを判定する
ことを特徴とする画像処理ユニット。

【請求項12】

請求項１１に記載の画像処理ユニットであって、
前記相関情報は、前記原画像に基づいて判定される撮像シーンである
ことを特徴とする画像処理ユニット。

【請求項13】

請求項１１に記載の画像処理ユニットであって、
前記相関情報は、前記原画像を構成するバンドの画像成分間の画素値の総和、平均値、分散値、最大値、および中央値の差分、ならびに前記一次参照バンド以外のバンドの画像成分を構成する画素値に基づく前記一次参照バンドの画像成分の補間値と前記一次参照バンドの画像成分を構成する画素値との差分のいずれかから算出される
ことを特徴とする画像処理ユニット。

【請求項14】

請求項１１から１３のいずれか１項に記載の画像処理ユニットであって、
前記相関判定部は、前記原画像を複数の領域に分割した部分領域毎に前記相関情報を生成し、前記部分領域毎に前記相関性が高相関及び低相関の何れであるかを判定する
ことを特徴とする画像処理ユニット。

【請求項15】

請求項１から１４のいずれか１項に記載の画像処理ユニットであって、
前記補間画像生成部は、前記一次参照画像を用いて、前記高相関であると判定されたバンドの画像成分における欠落画素の補間を行う
ことを特徴とする画像処理ユニット。

【請求項16】

請求項１から１４のいずれか１項に記載の画像処理ユニットであって、
前記補間画像生成部は、前記高相関であると判定された複数のバンドの画像成分の中で、他のバンドの画像成分よりも前記一次参照バンドの画像成分に対する相関性が低く且つ当該他のバンドの画像成分との相関性を有するバンドの画像成分における欠落画素の補間を、前記他のバンドの画像成分における欠落画素の補間を行った補間画像を二次参照画像として用いて行う
ことを特徴とする画像処理ユニット。

【請求項17】

請求項１から１６のいずれか１項に記載の画像処理ユニットであって、
前記補間画像生成部は、前記低相関であると判定されたバンドの画像成分における欠落画素の補間を、該バンドの画像成分を用いて、行う
ことを特徴とする画像処理ユニット。

【請求項18】

任意のバンドである一次参照バンドのフィルタを含む、４バンド以上のフィルタがアレイ状に配置されたマルチバンドフィルタアレイを有する撮像素子と、
前記撮像素子が撮像した原画像の、一次参照バンドの画像成分と前記一次参照バンド以外の各バンドの画像成分との相関性が、高相関および低相関のいずれであるかを判定する相関判定部と、
前記相関判定部による相関判定結果に基づいて前記一次参照バンドの画像成分における欠落画素の補間方法を切替えて補間を行うことにより、一次参照画像を生成する参照画像生成部と、
前記相関判定結果および前記一次参照画像を用いて、前記一次参照バンド以外の各バンドの画像成分の少なくとも一部における欠落画素の補間を行う補間画像生成部とを備える
ことを特徴とする撮像装置。

【請求項19】

任意のバンドである一次参照バンドのフィルタを含む、４バンド以上のフィルタがアレイ状に配置されたマルチバンドフィルタアレイを有する撮像素子が撮像した原画像の、一次参照バンドの画像成分と前記一次参照バンド以外の各バンドの画像成分との相関性が、高相関および低相関のいずれであるかを判定する相関判定部と、
前記相関判定部による相関判定結果に基づいて前記一次参照バンドの画像成分における欠落画素の補間方法を切替えて補間を行うことにより、一次参照画像を生成する参照画像生成部と、
前記相関判定結果および前記一次参照画像を用いて、前記一次参照バンド以外の各バンドの画像成分の少なくとも一部における欠落画素の補間を行う補間画像生成部としてコンピュータを機能させる
ことを特徴とする画像処理プログラム。

【請求項20】

任意のバンドである一次参照バンドのフィルタを含む、４バンド以上のフィルタがアレイ状に配置されたマルチバンドフィルタアレイを有する撮像素子に原画像を撮像させ、
前記原画像の、一次参照バンドの画像成分と前記一次参照バンド以外の各バンドの画像成分との相関性が、高相関および低相関のいずれであるかを判定し、
相関判定結果に基づいて前記一次参照バンドの画像成分における欠落画素の補間方法を切替えて補間を行うことにより、一次参照画像を生成し、
前記相関判定結果および前記一次参照画像を用いて、前記一次参照バンド以外の各バンドの画像成分の少なくとも一部における欠落画素の補間を行う
ことを特徴とする画像処理方法。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、マルチバンド画像の解像感を向上させる画像処理ユニット、撮像装置、画像処理プログラム、および画像処理方法に関する。

【背景技術】

【0002】

一般のデジタルカメラでは、単板撮像素子とカラーフィルタアレイ（ＣＦＡ）が用いられている。そこで、カラーフィルタアレイ（ＣＦＡ）をマルチバンド化することにより色再現性を高めることが出来る。しかし、バンド数の増加に伴い、単一のバンドのサンプル密度が低くなるため、デモザイキング時に偽色が発生し得る。

【0003】

そこで、マルチバンドの原画像を構成する複数のバンドの画像成分の中で、高周波成分を高精度で取得可能なバンドの画像成分を参照して、他のバンドの画像成分の補間画像を生成することが提案されている（特許文献１参照）。

【先行技術文献】

【特許文献】

【0004】

【特許文献1】特開２０１２−２３９０３８号公報

【発明の概要】

【発明が解決しようとする課題】

【0005】

しかし、特許文献１に記載された補間処理では、他のバンドの画像成分の補間画像は参照するバンドの画像成分の欠落画素を補間した参照画像を用いて生成されるため、他のバンドの画像成分の解像感、すなわち画像の再現性は参照画像の解像感に左右され、さらなる改善が求められていた。

【0006】

従って、上記のような問題点に鑑みてなされた本発明では、マルチバンドのフィルタアレイを有する撮像素子が生成する原画像に基づいて、解像感を向上させた補間画像を生成する画像処理ユニット、撮像装置、画像処理プログラム、および画像処理方法の提供を目的とする。

【課題を解決するための手段】

【0007】

上述した諸課題を解決すべく、本発明による画像処理ユニットは、
任意のバンドである一次参照バンドのフィルタを含む、４バンド以上のフィルタがアレイ状に配置されたマルチバンドフィルタアレイを有する撮像素子が撮像した原画像を取得する画像取得部と、
前記原画像の、前記一次参照バンドの画像成分と前記一次参照バンド以外の各バンドの画像成分との相関性が、高相関および低相関のいずれであるかを判定する相関判定部と、
前記相関判定部による相関判定結果に基づいて前記一次参照バンドの画像成分における欠落画素の補間方法を切替えて補間を行うことにより、一次参照画像を生成する参照画像生成部と、
前記相関判定結果および前記一次参照画像を用いて、前記一次参照バンド以外の各バンドの画像成分の少なくとも一部における欠落画素の補間を行う補間画像生成部とを備える
ことを特徴とするものである。

【0008】

また、当該画像処理ユニットでは、
前記参照画像生成部は、前記高相関であると判定された少なくとも１つのバンドの画像成分を用いて、前記一次参照バンドの画像成分における欠落画素の補間を行う
ことが好ましい。

【0009】

また、当該画像処理ユニットでは、
前記参照画像生成部は、前記高相関であると判定されたバンドの画像成分が画素値を有する画素位置においては、該バンドの画像成分との相関を用いて、前記一次参照バンドの画像成分における該画素位置の補間値を算出する
ことが好ましい。

【0010】

また、当該画像処理ユニットでは、
前記参照画像生成部は、前記低相関に分別されたバンドの画像成分が画素値を有する画素位置においては、前記高相関であると判定された少なくとも１つのバンドの画像成分との相関を用いて、前記一次参照バンドの画像成分における該画素位置の補間値を算出する
ことが好ましい。

【0011】

また、当該画像処理ユニットでは、
前記参照画像生成部は、前記低相関であると判定されたバンドの画像成分が画素値を有する画素位置においては、前記高相関であると判定された複数のバンドの画像成分それぞれとの相関を用いて、前記一次参照バンドの画像成分における該画素位置の複数の補間値を算出し、該複数の補間値の重付け平均値を、前記一次参照バンドの画像成分における該画素位置の補間値として算出する
ことが好ましい。

【0012】

また、当該画像処理ユニットでは、
前記参照画像生成部は、前記低相関であると判定されたバンドの画像成分が画素値を有する画素位置においては、前記高相関であると判定された単一のバンドの画像成分との相関を用いて、前記一次参照バンドの画像成分における該画素位置の補間値を算出する
ことが好ましい。

【0013】

また、当該画像処理ユニットでは、
前記参照画像生成部は、前記低相関であると判定されたバンドの画像成分が画素値を有する画素位置においては、該画素位置以外の一次参照バンドの画像成分を構成する画素値および前記高相関であると判定された少なくとも１つのバンドの画像成分との相関により算出した補間値の少なくとも一方を用いた補間処理により、前記一次参照バンドの画像成分における該画素位置の補間値を算出する
ことが好ましい。

【0014】

また、当該画像処理ユニットでは、
前記参照画像生成部は、方向別に前記一次参照バンドの画像成分の補間値を算出する
ことが好ましい。

【0015】

また、当該画像処理ユニットでは、
前記相関判定部は、予め定められた相関情報に基づいて、前記相関性が高相関および低相関の何れであるかを判定する
ことが好ましい。

【0016】

また、当該画像処理ユニットでは、
前記相関情報は、任意の複数の画像データの分析、および前記マルチバンドフィルタアレイの分光感度特性の一方に基づいて予め定められる
ことが好ましい。

【0017】

また、当該画像処理ユニットでは、
前記相関判定部は、前記原画像に基づいて相関情報を生成し、該相関情報に基づいて、前記相関性が高相関および低相関の何れであるかを判定する
ことが好ましい。

【0018】

また、当該画像処理ユニットでは、
前記相関情報は、前記原画像に基づいて判定される撮像シーンであり、
ことが好ましい。

【0019】

また、当該画像処理ユニットでは、
前記相関情報は、前記原画像を構成するバンドの画像成分間の画素値の総和、平均値、分散値、最大値、および中央値の差分、ならびに前記一次参照バンド以外のバンドの画像成分を構成する画素値に基づく前記一次参照バンドの画像成分の補間値と前記一次参照バンドの画像成分を構成する画素値との差分のいずれかから算出される
ことが好ましい。

【0020】

また、当該画像処理ユニットでは、
前記相関判定部は、前記原画像を複数の領域に分割した部分領域毎に前記相関情報を生成し、前記部分領域毎に前記相関性が高相関及び低相関の何れであるかを判定する
ことが好ましい。

【0021】

また、当該画像処理ユニットでは、
前記補間画像生成部は、前記一次参照画像を用いて、前記高相関であると判定されたバンドの画像成分における欠落画素の補間を行う
ことが好ましい。

【0022】

また、当該画像処理ユニットでは、
前記補間画像生成部は、前記高相関であると判定された複数のバンドの画像成分の中で、他のバンドの画像成分よりも前記一次参照バンドの画像成分に対する相関性が低く且つ当該他のバンドの画像成分との相関性を有するバンドの画像成分における欠落画素の補間を、前記他のバンドの画像成分における欠落画素の補間を行った補間画像を二次参照画像として用いて行う
ことが好ましい。

【0023】

また、当該画像処理ユニットでは、
前記補間画像生成部は、前記低相関であると判定されたバンドの画像成分における欠落画素の補間を、該バンドの画像成分を用いて、行う
ことが好ましい。

【0024】

また、本発明による撮像装置は、
任意のバンドである一次参照バンドのフィルタを含む、４バンド以上のフィルタがアレイ状に配置されたマルチバンドフィルタアレイを有する撮像素子と、
前記撮像素子が撮像した原画像の、前記一次参照バンドの画像成分と前記一次参照バンド以外の各バンドの画像成分との相関性が、高相関および低相関のいずれであるかを判定する相関判定部と、
前記相関判定部による相関判定結果に基づいて前記一次参照バンドの画像成分における欠落画素の補間方法を切替えて補間を行うことにより、一次参照画像を生成する参照画像生成部と、
前記相関判定結果および前記一次参照画像を用いて、前記一次参照バンド以外の各バンドの画像成分の少なくとも一部における欠落画素の補間を行う補間画像生成部とを備える
ことを特徴とするものである。

【0025】

上述したように本発明の解決手段を装置として説明してきたが、本発明はこれらに実質的に相当する方法、プログラム、プログラムを記録した記憶媒体としても実現し得るものであり、本発明の範囲にはこれらも包含されるものと理解されたい。

【0026】

例えば、本発明をプログラムとして実現させた画像処理プログラムは、
任意のバンドである一次参照バンドのフィルタを含む、４バンド以上のフィルタがアレイ状に配置されたマルチバンドフィルタアレイを有する撮像素子が撮像した原画像の、前記一次参照バンドの画像成分と前記一次参照バンド以外の各バンドの画像成分との相関性が、高相関および低相関のいずれであるかを判定する相関判定部と、
前記相関判定部による相関判定結果に基づいて前記一次参照バンドの画像成分における欠落画素の補間方法を切替えて補間を行うことにより、一次参照画像を生成する参照画像生成部と、
前記相関判定結果および前記一次参照画像を用いて、前記一次参照バンド以外の各バンドの画像成分の少なくとも一部における欠落画素の補間を行う補間画像生成部としてコンピュータを機能させる
ことを特徴とするものである。

【0027】

また、本発明を方法として実現させた画像処理方法は、
任意のバンドである一次参照バンドのフィルタを含む、４バンド以上のフィルタがアレイ状に配置されたマルチバンドフィルタアレイを有する撮像素子に原画像を撮像させ、
前記原画像の、前記一次参照バンドの画像成分と前記一次参照バンド以外の各バンドの画像成分との相関性が、高相関および低相関のいずれであるかを判定し、
相関判定結果に基づいて前記一次参照バンドの画像成分における欠落画素の補間方法を切替えて補間を行うことにより、一次参照画像を生成し、
前記相関判定結果および前記一次参照画像を用いて、前記一次参照バンド以外の各バンドの画像成分の少なくとも一部における欠落画素の補間を行う
ことを特徴とするものである。

【発明の効果】

【0028】

上記のように構成された本発明に係る画像処理ユニット、撮像装置、画像処理プログラム、および画像処理方法によれば、マルチバンドのフィルタアレイを有する撮像素子が生成する原画像に基づいて、解像感を向上させた補間画像を生成可能である。

【図面の簡単な説明】

【0029】

【図1】本発明の第１の実施形態に係る画像処理ユニットの概略構成を示す機能ブロック図である。

【図2】図１の撮像素子が有するフィルタアレイのフィルタ繰返し単位におけるフィルタの配置を示す配置図である。

【図3】図１の撮像素子が撮像した原画像および第１のバンドの画像成分から第５のバンドの画像成分の関係を示す図である。

【図4】図１の撮像素子のフィルタアレイを構成する各フィルタの分光透過率を示すグラフである。

【図5】図１の参照画像生成部が実行する第２のバンドによる相関補間画像の生成の過程を示すプロセス図である。

【図6】図１の参照画像生成部が実行する、第２のバンドから第５のバンドによる相関補間画像を用いた一次参照バンドの画像成分の補間の過程を示すプロセス図である。

【図7】図１の画像処理ユニットが実行する画像補間処理を説明するフローチャートである。

【図8】図１の参照画像生成部の変形例が実行する第２のバンドによる水平方向相関補間画像の生成の過程を示すプロセス図である。

【図9】図１の参照画像生成部の変形例が実行する第２のバンドによる垂直方向相関補間画像の生成の過程を示すプロセス図である。

【図10】図１の撮像素子の第１の変形例が有するフィルタアレイのフィルタ繰返し単位におけるフィルタの配置を示す配置図である。

【図11】図１の撮像素子の第２の変形例が有するフィルタアレイのフィルタ繰返し単位におけるフィルタの配置を示す配置図である。

【発明を実施するための形態】

【0030】

以下、本発明の実施形態について、図面を参照して説明する。

【0031】

図１は、本発明の一実施形態に係る画像処理ユニットを含む撮像装置の概略構成を示す機能ブロック図である。

【0032】

撮像装置１０は、例えばデジタルカメラ、デジタルビデオカメラ、カメラ付き多機能端末であって、撮像部１１および画像処理ユニット１２を含んで構成される。

【0033】

撮像部１１は、光学系１３および撮像素子１４を有する。光学系１３は少なくとも１つのレンズを有し、被写体像を結像する。撮像素子１４は、例えばＣＣＤエリアセンサまたはＣＭＯＳエリアセンサであって、光学系１３が結像する被写体像を撮像して原画像を生成する。

【0034】

撮像素子１４は、４バンド以上のフィルタがアレイ状に配置されたマルチバンドフィルタアレイを受光面に有する。例えば、本実施形態においては、マルチバンドフィルタアレイは、第１のバンド、第２のバンド、第３のバンド、第４のバンド、および第５のバンドの５バンドのフィルタを含む。当該４バンド以上のフィルタの中の任意のバンドが、補間処理に用いられる一次参照バンド画像に対応する一次参照バンドに定められる。一次参照バンドに定められるバンドは任意であるが、最高密度であるバンドが好ましく、本実施形態においては、第１のバンドが一次参照バンドに定められる。なお、各フィルタは、例えばＲＧＢなどの可視フィルタ、赤外フィルタ、および紫外フィルタである。

【0035】

フィルタアレイは、例えば、図２に示すような４行４列のフィルタ繰返し単位を有しており、当該フィルタ繰返し単位が列方向および行方向に繰返し配置される。フィルタ繰返し単位には、第１のバンドに対応する８つの第１のフィルタＣ１、第２のバンドに対応する２つの第２のフィルタＣ２、第３のバンドに対応する２つの第３のフィルタＣ３、第４のバンドに対応する２つの第４のフィルタＣ４、および第５のバンドに対応する２つの第５のフィルタＣ５が配置される。

【0036】

第１のフィルタＣ１は全行全列において、１画素おきに繰返し配置される。例えば、図２における左上を基準として、１、３行目には２、４列目に第１のフィルタＣ１が配置される。また、２、４行目には、１、３列目に第１のフィルタＣ１が配置される。

【0037】

また、第１のフィルタＣ１、第２のフィルタＣ２、および第３のフィルタＣ３が並ぶ行及び列が、列方向及び行方向に１画素おきに繰返し配置される。例えば、１行１列目及び３行３列目に第２のカラーフィルタＣ２が配置され、１行３列目及び３行１列目に第３のカラーフィルタＣ３が配置される。

【0038】

また、第１のフィルタＣ１、第４のフィルタＣ４、および第５のフィルタＣ５が並ぶ行及び列が、行方向及び列方向に１画素おきに繰返し配置される。例えば、２行２列目及び４行４列目に第４のフィルタＣ４が配置され、２行４列目及び４行２列目に第５のフィルタＣ５が配置される。

【0039】

上述のようなフィルタアレイを有する撮像素子１４において、透過したバンドの光の受光量に応じた画素信号が生成される。撮像素子１４は、すべての画素の画素信号を順番に出力し、全画素によって構成される１フレームの原画像を原画像信号として、画像処理ユニット１２に出力する。したがって、原画像において各画素は単一のバンドの画素値のみを有しており、図３に示すように、原画像ＯＩは、第１のバンドの画像成分ＯＩ１、第２のバンドの画像成分ＯＩ２、第３のバンドの画像成分ＯＩ３、第４のバンドの画像成分ＯＩ４、および第５のバンドの画像成分ＯＩ５に分解可能である。

【0040】

画像処理ユニット１２は、画像取得部１５、相関判定部１６、参照画像生成部１７、および補間画像生成部１８を含んで構成される（図１参照）。

【0041】

画像取得部１５は、例えば入力端子であり、撮像素子１４から原画像ＯＩを取得し、相関判定部１６、参照画像生成部１７、および補間画像生成部１８に伝送する。

【0042】

相関判定部１６、参照画像生成部１７、および補間画像生成部１８は、例えば、ＣＰＵ（中央処理装置）等の任意の好適なプロセッサ上で実行されるソフトウェアとして構成されたり、処理ごとに特化した専用のプロセッサとして構成され、以下に説明する機能を発揮する。

【0043】

相関判定部１６は、原画像ＯＩの一次参照バンドの画像成分（第１のバンドの画像成分ＯＩ１）と、それ以外のバンドの画像成分、すなわち第２のバンドの画像成分ＯＩ２、第３のバンドの画像成分ＯＩ３、第４のバンドの画像成分ＯＩ４、および第５のバンドの画像成分ＯＩ５それぞれとの相関性を算出する。さらに、相関判定部１６は、一次参照バンドの画像成分（第１のバンドの画像成分ＯＩ１）および各バンドの画像成分の相関性を、高相関および低相関のいずれに分別されるかを判定する。

【0044】

相関判定部１６は、相関情報に基づいて、一次参照バンドの画像成分（第１のバンドの画像成分ＯＩ１）および各バンドの画像成分の相関性が高相関であるか低相関であるかを判定する。本実施形態においては、相関情報は、一次参照バンドの画像成分および他の各バンドの画像成分との相関性を高相関および低相関のいずれかに予め分別した対応テーブルである。相関性の高相関および低相関への分別は、例えば任意の複数の画像データの分析から算出されるバンド間の相関性に基づいて設定され得る。または、図４に示すように、一次参照バンドと各バンドの分光感度の重なりの度合いに基づいて設定され得る。本実施形態においては、一次参照バンドの画像成分（第１のバンドの画像成分ＯＩ１）に対して、第２のバンドの画像成分ＯＩ２、第３のバンドの画像成分ＯＩ３、および第４のバンドの画像成分ＯＩ４は高相関に分別され、第５のバンドの画像成分ＯＩ５は低相関に分別されるように定められる。

【0045】

参照画像生成部１７は、相関判定部１６の相関判定結果、すなわち高相関および低相関の何れであるかに基づいて、一次参照バンドの画像成分（第１のバンドの画像成分ＯＩ１）における欠落画素ｍｐ（図３参照）の補間法方を切替えて補間を行い、一次参照画像を生成する。

【0046】

参照画像生成部１７は、高相関であると判定されたバンドの画像成分、本実施形態においては第２のバンドの画像成分ＯＩ２、第３のバンドの画像成分ＯＩ３、および第４のバンドの画像成分ＯＩ４が画素値を有する画素位置ｐ２、ｐ３、ｐ４においては、それぞれのバンドの画像成分の画素値を用いて、一次参照バンドの画像成分（第１のバンドの画像成分ＯＩ１）における欠落画素ｍｐの補間を行う。参照画像生成部１７は、低相関であると判定されたバンドの画像成分、本実施形態においては第５のバンドの画像成分ＯＩ５が画素値を有する画素位置ｐ５においては、高相関であると判定されたバンドの画像成分を用いて補間を行う。以下に、高相関と判定されたバンドの画像成分が画素値を有する画素位置、および低相関と判定されたバンドの画像成分が画素値を有する画素位置それぞれに対する補間方法について詳細に説明する。

【0047】

第２のバンドの画像成分ＯＩ２を例にして、高相関と判定されたバンドの画像成分の画素位置に対する一次参照バンドの画像成分（第１のバンドの画像成分ＯＩ１）の補間について、図５を用いて説明する。参照画像生成部１７は、第２のバンドの画像成分ＯＩ２内で、例えばバイリニア補間法およびバイキュービック補間法により、第２のバンドの画像成分ＯＩ２内の欠落画素ｍｐを補間した補間画像を、第２のバンドの単純補間画像として生成する（上段“バンド内補間”参照）。

【0048】

さらに、参照画像生成部１７は、第２のバンドの単純補間画像との相関を用いて、一次参照バンドの画像成分（第１のバンドの画像成分ＯＩ１）の補間を行い、第２のバンドによる相関一次補間画像として生成する（上段“相関補間”参照）。相関を用いた補間処理としては、例えばガイデッドフィルタ処理が用いられる。ガイデッドフィルタ処理について、以下に詳細に説明する。ガイデッドフィルタ処理において、参照画像生成部１７は、一次参照バンドの画像成分（第１のバンドの画像成分ＯＩ１）の、欠落画素ｍｐを含むすべての画素を、順番に注目画素に指定する。参照画像生成部１７は、第２のバンドの単純補間画像を参照画像として用い、注目画素ｘ_pに対して（１）式のコスト関数Ｅ（ａ_xp、ｂ_xp）が最小化するように、最小二乗法によりパラメータ（ａ_xp、ｂ_xp）を算出する。

【0049】

【数1】

【0050】

（１）式において、ａ_xp、ｂ_xpは算出されるべきパラメータである。ω_xpは周辺画素領域であり、ｘ_iは周辺画素領域に含まれる周辺画素である。ｐ_xiは一次参照バンドの画像成分の画素値である。Ｍ_xiはバイナリマスクであって、周囲画素が信号成分を有するときに１であり、周囲画素が信号成分を有さないときには０である。Ｉ_xiは周囲画素に対応する参照画像生成用の補間画像、すなわち第２のバンドの単純補間画像の画素値である。εは所定の平滑化パラメータである。

【0051】

全画素に対するパラメータを算出すると、参照画像生成部１７は、（２）式を用いて、第２のバンドによる相関一次補間画像の算出、すなわち全画素の画素値を、第２のバンドの単純補間画像の画素値に基づいて算出する。

【0052】

【数2】

【0053】

（２）式において、ω_xiは周辺画素領域であり、｜ω｜は注目画素および周囲画素の画素数である。（ａ_xp、ｂ_xp）は、各注目画素の画素位置毎に（１）式により算出されたパラメータである。

【0054】

さらに、参照画像生成部１７は、第２のバンドによる相関一次補間画像において、一次参照バンドの画像成分（第１のバンドの画像成分ＯＩ１）の欠落画素ｍｐの画素位置の画素をマスクするマスク処理を施し、マスク画像を算出する（中段“マスク処理”参照）。さらに、参照画像生成部１７は、一次参照バンドの画像成分の各画素値からマスク画像の対応する各画素値を減算することにより、残差画像を生成する（下段“減算”参照）。さらに、参照画像生成部１７は、残差画像内で、例えばバイリニア補間法およびバイキュービック補間法により、残差画像内の欠落画素ｍｐを補間した残差補間画像を生成する（下段“バンド内補間”参照）。さらに、参照画像生成部１７は、残差補間画像の各画素値に第２のバンドによる相関一次補間画像の対応する画素値を加算することにより、第２のバンドによる相関補間画像を生成する（下段“加算”参照）。

【0055】

参照画像生成部１７は、第３のバンドおよび第４のバンドにおいても、第２のバンドと同様の処理により、第３のバンドによる相関補間画像および第４のバンドによる相関補間画像を生成する。さらに、図６に示すように、参照画像生成部１７は、第２のバンドによる相関補間画像において、第２のバンドの画像成分ＯＩ２の欠落画素ｍｐの画素位置の画素値を消去するマスク処理を施し、第２のバンドのマスク画像を生成する。同様に、参照画像生成部１７は、第３のバンドのマスク画像および第４のバンドのマスク画像を生成する。さらに、参照画像生成部１７は、一次参照バンドの画像成分（第１のバンドの画像成分ＯＩ１）に、第２のバンドのマスク画像、第３のバンドのマスク画像、および第４のバンドのマスク画像を重ねることにより、一次参照バンドの画像成分の一部の欠落画素ｍｐが補間される（符号“ＲＩ’”参照）。

【0056】

次に、第５のバンドの画像成分ＯＩ５を例にして、低相関と判定されたバンドの画像成分が画素値を有する画素位置に対する一次参照バンドの画像成分（第１のバンドの画像成分ＯＩ１）の補間について説明する。参照画像生成部１７は、第５のバンドの画像成分ＯＩ５が画素値を有する画素位置ｐ５においては、高相関であると判定された少なくとも１つのバンドの画像成分との相関を用いて、一次参照バンドの画像成分（第１のバンドの画像成分ＯＩ１）における当該画素位置の補間値を算出する。

【0057】

例えば、参照画像生成部１７は、第５のバンドの画像成分ＯＩ５が画素値を有する画素位置ｐ５の、前述の第２のバンドによる相関補間画像、第３のバンドによる相関補間画像、および第４のバンドによる相関補間画像における画素値の少なくともいずれかを用いて補間値を算出する。例えば、第２のバンドによる相関補間画像、第３のバンドによる相関補間画像、および第４のバンドによる相関補間画像における画素値の単純平均値、重付け平均値、および選択されたいずれか１つの画素値が、補間値として用いられる。

【0058】

なお、重付け平均や画素値の選択は、例えば、一次参照バンドの画像成分（第１のバンドの画像成分ＯＩ１）との相関性の高さ、および第５のバンドの画像成分ＯＩ５が画素値を有する画素位置ｐ５への近さに基づく。例えば、一次参照バンドの画像成分（第１のバンドの画像成分ＯＩ１）と最も相関性が高いバンドが第３のバンドの画像成分ＯＩ３である場合には、第３のバンドによる相関補間画像の画素値の重付けを大きくしたり、当該画素値を補間値として用いてもよい。また、第５のバンドの画像成分ＯＩ５が画素値を有する画素位置ｐ５に最も近い画素位置に画素値を有する第２のバンドの画像成分ＯＩ２および第３のバンドの画像成分ＯＩ３であることから、第２のバンドによる相関補間画像および第３のバンドによる相関補間画像の画素値に対する重付けを大きくしたり、両者の平均値を補間値として用いてもよい。

【0059】

また、例えば、参照画像生成部１７は、一次参照バンドの画像成分（第１のバンドの画像成分ＯＩ１）を構成する画素の画素値および高相関と判定された少なくとも１つのバンドの画像成分との相関により算出した補間値の少なくとも一方を用いた補間処理により、第５のバンドの画像成分ＯＩ５が画素値を有する画素位置ｐ５における補間値を、算出してもよい。例えば、参照画像生成部１７は、一次参照バンドの画像成分（第１のバンドの画像成分ＯＩ１）に、第２のバンドのマスク画像、第３のバンドのマスク画像、および第４のバンドのマスク画像を重ねた画像ＲＩ’における欠落画素ｍｐ、すなわち第５のバンドの画像成分ＯＩ５が画素値を有する画素位置ｐ５の画素の周囲画素を用いて、例えばバイリニア補間法およびバイキュービック補間法を用いて補間値を算出してもよい。

【0060】

参照画像生成部１７は、一次参照バンドの画像成分（第１のバンドの画像成分ＯＩ１）の欠落画素ｍｐを、上述の処理により補間して生成した一次参照画像を補間画像生成部１８に伝送する。

【0061】

補間画像生成部１８は、相関判定部１６が判定した相関判定結果と、参照画像生成部１７が生成した一次参照画像を用いて、一次参照バンド以外のバンドの画像成分の少なくとも一部のバンドの画像成分の欠落画素ｍｐの画素補間を行う。さらに詳細には、補間画像生成部１８は、一次参照画像を用いて、一次参照バンドの画像成分（第１のバンドの画像成分ＯＩ１）と高相関であると判定されたバンドの画像成分、本実施形態では、第２のバンドの画像成分ＯＩ２、第３のバンドの画像成分ＯＩ３、および第４のバンドの画像成分ＯＩ４それぞれの欠落画素ｍｐの画素補間を行う。一次参照画像を参照に用いた、他のバンドの画像成分の画素補間は、例えば、前述のガイデッドフィルタ処理、ジョイントバイラテラル処理などの処理を適用可能である。

【0062】

また、補間画像生成部１８は、一次参照バンドの画像成分（第１のバンドの画像成分ＯＩ１）と低相関であると判定されたバンドの画像成分、本実施形態では、第５のバンドの画像成分ＯＩ５の欠落画素ｍｐの画素補間を、一次参照画像を用いずに、第５のバンドの画像成分ＯＩ５を用いた、例えばバイリニア補間法およびバイキュービック補間法により補間する。

【0063】

補間画像生成部１８は、一事参照画像および欠落画素ｍｐの補間が行われた他のバンドの画像成分の補間画像、すなわち各バンドにおいて全画素に画素値を有する画像を、マルチバンドに対応したモニタおよび記憶媒体などに伝送する。

【0064】

次に、画像処理ユニット１２が実行する、画像補間処理について、図７のフローチャートを用いて説明する。画像補間処理は、画像処理ユニット１２が撮像部１１から原画像ＯＩを取得するときに開始する。

【0065】

ステップＳ１００において、画像処理ユニット１２は、一次参照バンドの画像成分と、それ以外のバンドの画像成分との相関性を判定する。画像処理ユニット１２は、相関性の判定においては、高相関および低相関のいずれかへの分別も行う。相関性の判定後、プロセスはステップＳ１０１に進む。

【0066】

ステップＳ１０１では、画像処理ユニット１２は、ステップＳ１００において高相関と判定したバンドの画像成分を選択する。バンドの画像成分の選択後、プロセスはステップＳ１０２に進む。

【0067】

ステップＳ１０２では、画像処理ユニット１２は、ステップＳ１０１で選択したバンドの画像成分を用いて、一次参照バンドの画像成分の欠落画素ｍｐを補間して、一次参照画像を生成する。一次参照画像を生成すると、プロセスはステップＳ１０３に進む。

【0068】

ステップＳ１０３では、画像処理ユニット１２は、ステップＳ１００において高相関と判定したバンドの画像成分の欠落画素ｍｐを、一次参照画像に基づく相関により補間する。一次参照画像に基づく画素補間後、プロセスはステップＳ１０４に進む。

【0069】

ステップＳ１０４では、画像処理ユニット１２は、ステップＳ１００において低相関と判定したバンドの画像成分の欠落画素ｍｐを、当該バンドの画像成分の周囲画素を用いたバイリニア補間およびバイキュービック補間法などにより補間する。補間後に、画像補間処理を終了する。

【0070】

以上のような構成の本実施形態の画像処理ユニットによれば、マルチバンドのフィルタアレイを有する撮像素子１４が生成する原画像ＯＩに対して、一次参照バンドの画像成分と相関性の判定結果に基づいて他のバンドの画像成分を用いて一次参照画像を生成するので、一次参照画像の解像感を、一次参照バンドの画像成分のみから生成した場合に比べて向上可能である。したがって、当該一次参照画像を用いた、当該他のバンドの画像成分の欠落画素ｍｐを補間した各バンドの補間画像の解像感を向上可能である。

【0071】

また、本実施形態の画像処理ユニットによれば、一次参照バンドの画像成分に対して低相関と判定されたバンドの画像成分は、一次参照画像を用いずに当該バンドの画像成分内で補間を行うので、当該バンドの画像成分の補間画像においてモアレの発生が抑制される。

【0072】

また、本実施形態の画像処理ユニットによれば、残差画像を補間して、相関補間画像を生成するので、相関一次補間画像によって直接、一次参照画像を生成する構成に比べて、高周波成分の少なさにより、一時参照画像におけるモアレの発生が抑制される。

【0073】

本発明を諸図面や実施例に基づき説明してきたが、当業者であれば本開示に基づき種々の変形や修正を行うことが容易であることに注意されたい。従って、これらの変形や修正は本発明の範囲に含まれることに留意されたい。

【0074】

例えば、本実施形態において、相関情報は予め定められているが、画像処理ユニット１２が取得した原画像ＯＩから算出する構成であってもよい。例えば、原画像信号の全体の輝度や、バンドの画像成分毎の画素値の割合などから、画像処理ユニット１２が撮像状況を、ポートレートモードや風景モードなどの予め想定される複数の撮像シーンの中から推定し、統計的に定められた各撮像シーンにおけるバンドの画像成分の相関性に基づいて、各バンドの画像成分の一次参照バンドの画像成分との相関性を判定してもよい。

【0075】

また、例えば、原画像ＯＩにおける一次参照バンドの画像成分、および他のバンドの画像成分別の画素値の総和、平均値、分散値、最大値、中央値の比較に基づいて、相関性を判定してもよい。一次参照バンドの画像成分におけるこれらの値と、他のバンドの画像成分におけるこれらの値の差分が小さいほど相関性が高く、例えば閾値と比較することにより、高相関および低相関のいずれかに分別可能である。このような構成によれば、任意の複数の画像データの予めの分析が不要である。

【0076】

また、例えば、一次参照バンド以外のバンドの画像成分を構成する画素値を参照画像として用いたガイデッドフィルタ処理により補間した一次参照バンドの画像成分の補間値と一次参照バンドの画像成分を構成する画素値との差分、すなわち図５における残差画像の画素値に基づいて、相関性を判定してもよい。当該差分が小さいほど相関性が高く、例えば閾値と比較することにより、高相関および低相関のいずれかに分別可能である。このような構成によれば、任意の複数の画像データの予めの分析が不要である。

【0077】

また、本実施形態において、相関判定部１６は、画像全体で一次参照バンドの画像成分と、他のバンドの画像成分との相関性を判定する構成であるが、全体領域を分割した部分領域毎に相関性を判定してもよい。このような構成によれば、例えば、複数の光源によって被写体が照明されるような撮像状況において、光源の分光特性により変化し得る、一次参照バンドの画像成分および他のバンドの画像成分間の相関性に適切に対応可能である。

【0078】

また、本実施形態において、参照画像生成部１７は、高相関と判定されたバンドの画像成分の欠落画素ｍｐすべてを補間して（図５上段“バンド内補間”参照）、相関一次補間画像を生成する構成であるが、当該バンドの画像成分の欠落画素ｍｐを、方向別に補間して、水平方向および垂直方向の相関補間画像を生成してもよい（図８、９参照）。方向別の補間により生成した画素値を重付け平均することにより、当該バンドの画像成分による相関補間画像を生成可能である。このような方向別の補間によれば、補間の精度をさらに向上させ、一次参照画像の解像感を一層向上可能である。

【0079】

また、本実施形態において、一次参照バンドの画像成分に対して高相関と判定された全バンドの画像成分の補間に一次参照画像を用いる構成であるが、以下に説明するように、相関性に応じて二次参照画像を用いてバンドの画像成分の補間を行ってもよい。例えば、一次参照バンドの画像成分（第１のバンドの画像成分ＯＩ１）と、第２のバンドの画像成分ＯＩ２および第３のバンドの画像成分ＯＩ３とが高相関であって、かつ第２のバンドの画像成分ＯＩ２と第３のバンドの画像成分ＯＩ３とが高相関である場合に、一次参照バンドの画像成分（第１のバンドの画像成分ＯＩ１）との相関性が第２のバンドの画像成分ＯＩ２の方が高いことがあり得る。このような場合において、一次参照画像を用いて、第２のバンドの画像成分ＯＩ２の欠落画素ｍｐの補間を行い、補間した第２のバンドの画像成分ＯＩ２を二次参照画像として用いて、第３のバンドの画像成分ＯＩ３の欠落画素ｍｐの補間を行うことが挙げられる。このような構成によれば、各バンドの画像成分においてより解像感の高い補間画像を得ることが可能である。

【0080】

また、本実施形態において、一部のバンドの画像成分が一次参照バンドの画像成分に対して低相関と判定されるが、全バンドの画像成分が一次参照バンドの画像成分に対して高相関と判定されても、もちろんよい。全バンドの画像成分が高相関と判定されるときには、当該全バンドの画像成分を用いて、一次参照画像が生成される。

【0081】

また、本実施形態において、撮像素子１４は５バンドのフィルタアレイを有しているが、例えば、図１０、１１にそれぞれ示すように、９バンドまたは１０バンドのフィルタアレイを有していてもよい。

【0082】

また、本実施形態において、画像処理ユニット１２は、撮像装置１０に内臓される構成であるが、例えばパーソナルコンピュータなどにおいてソフトウェアとして構成される画像処理装置として具現化してもよい。

【符号の説明】

【0083】

１０ 撮像装置
１１ 撮像部
１２ 画像処理ユニット
１３ 光学系
１４ 撮像素子
１５ 画像取得部
１６ 相関判定部
１７ 参照画像生成部
１８ 補間画像生成部
Ｃ１からＣ５ 第１のフィルタから第５のフィルタ
ｍｐ 欠落画素
ＯＩ 原画像
ＯＩ１からＯＩ５ 第１のバンドの画像成分から第５のバンドの画像成分
ｐ２からｐ５ 第２のバンドの画像成分から第５のバンドの画像成分が画素値を有する画素位置
ＲＩ’ 一次参照バンドの画像成分に、第２のバンドのマスク画像から第４のバンドのマスク画像を重ねた画像

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】