特開 2022-84083 画像処理装置、画像処理方法およびプログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2022084083

(43)【公開日】2022-06-07

(54)【発明の名称】画像処理装置、画像処理方法およびプログラム

(51)【国際特許分類】

   G06T 3/40 20060101AFI20220531BHJP

【ＦＩ】

G06T3/40 705

【審査請求】未請求

【請求項の数】15

【出願形態】ＯＬ

(21)【出願番号】P 2020195692

(22)【出願日】2020-11-26

(71)【出願人】

【識別番号】502324066

【氏名又は名称】株式会社デンソーアイティーラボラトリ

(74)【代理人】

【識別番号】100113549

【弁理士】

【氏名又は名称】鈴木 守

(74)【代理人】

【識別番号】100115808

【弁理士】

【氏名又は名称】加藤 真司

(72)【発明者】

【氏名】小澤 圭右

(72)【発明者】

【氏名】住吉 信一

(72)【発明者】

【氏名】関川 雄介

(72)【発明者】

【氏名】宇土 敬祐

(72)【発明者】

【氏名】吉田 悠一

(72)【発明者】

【氏名】安倍 満

【テーマコード（参考）】

5B057

【Ｆターム（参考）】

5B057BA02

5B057BA11

5B057CA08

5B057CA12

5B057CA16

5B057CA20

5B057CB08

5B057CB12

5B057CB16

5B057CB20

5B057CD20

5B057CG10

5B057DC19

5B057DC39

(57)【要約】      （修正有）

【課題】モザイク画像を適切に復元することができる画像処理装置を提供する。
【解決手段】画像処理装置１は、各空間画素に複数のバンドの信号を有するモザイク画像から、バンド毎の復元画像を生成する画像処理装置であって、モザイク画像を取得するモザイク画像取得部１０と、生成すべき復元画像を分光スペクトル基底が張る空間に射影する射影部１２と、射影部１２により得られた射影データのスパース性を示す変数と、モザイク画像と計算対象のバンドの復元画像において対応する画素との親和性を示す変数と、を有するエネルギー関数を最小にする復元画像を求めるエネルギー関数計算部１３と、エネルギー関数計算部１３にて求めた復元画像を出力する出力部１４とを備える。
【選択図】図３

【特許請求の範囲】

【請求項1】

各空間画素に複数のバンドの信号を有するモザイク画像から、前記バンド毎の復元画像を生成する画像処理装置であって、
前記モザイク画像を取得するモザイク画像取得部と、
生成すべき復元画像を分光スペクトル基底が張る空間に射影する射影部と、
前記射影部により得られた射影データのスパース性を示す変数と、前記モザイク画像と計算対象のバンドの復元画像において対応する画素との親和性を示す変数と、を有するエネルギー関数を最小にする復元画像を求めるエネルギー関数計算部と、
前記エネルギー関数計算部にて求めた復元画像を出力する出力部と、
を備える画像処理装置。

【請求項2】

前記モザイク画像取得部にて取得したモザイク画像を主成分分析して、前記モザイク画像に含まれる前記分光スペクトル基底を求める分光スペクトル基底生成部を備える請求項１に記載の画像処理装置。

【請求項3】

前記モザイク画像に写る対象物の光スペクトルを別途測定する測定機器と、
前記測定機器による測定結果に基づいて前記分光スペクトル基底を生成する分光スペクトル基底生成部と、
を備える請求項１に記載の画像処理装置。

【請求項4】

前記モザイク画像に写る対象物の特性に関するデータベースと、
前記データベースに基づいて前記分光スペクトル基底を生成する分光スペクトル基底生成部と、
を備える請求項１に記載の画像処理装置。

【請求項5】

前記射影データのスパース性を示す変数として、前記射影データの核ノルムまたは前記射影データのｌ₁ノルムを用いる請求項１乃至４のいずれかに記載の画像処理装置。

【請求項6】

前記エネルギー関数は、前記復元画像を基底分解したときに得られる係数のスパース性を示す変数を含む請求項１乃至５のいずれかに記載の画像処理装置。

【請求項7】

前記復元画像の基底分解は、ウェーブレット基底またはコサイン基底を用いて行う請求項６に記載の画像処理装置。

【請求項8】

前記モザイク画像に写る対象物を別途撮影するグレーカメラと、
前記グレーカメラで撮影した画像を基底分解することにより画像基底の辞書を作成する辞書作成部を備える請求項６に記載の画像処理装置。

【請求項9】

前記エネルギー関数は、前記復元画像のなめらかさを示す変数を含む請求項１乃至７のいずれかに記載の画像処理装置。

【請求項10】

前記復元画像のなめらかさを示す変数として、前記復元画像のＴＶノルムを用いる請求項９に記載の画像処理装置。

【請求項11】

前記復元画像のなめらかさを示す変数として、前記復元画像を基底分解したときに得られる係数のスパース性を示す変数を用いる請求項９に記載の画像処理装置。

【請求項12】

前記モザイク画像に写る対象物を撮影するグレーカメラを備え、
前記エネルギー関数は、前記グレーカメラにて撮影したグレースケール画像との親和性を示す変数を含む請求項９に記載の画像処理装置。

【請求項13】

複数のバンドの復元画像を求めるためのそれぞれの前記エネルギー関数は、分光スペクトル基底を共通の変数として含み、
前記エネルギー関数計算部は、複数のバンドの復元画像と分光スペクトル基底を同時最適化する請求項１乃至１２のいずれかに記載の画像処理装置。

【請求項14】

画像処理装置が、各空間画素に複数のバンドの信号を有するモザイク画像から、前記バンド毎の復元画像を生成する画像処理方法であって、
前記画像処理装置が、前記モザイク画像を取得するステップと、
前記画像処理装置が、生成すべき復元画像を分光スペクトル基底が張る空間に射影するステップと、
前記画像処理装置が、射影により得られた射影データのスパース性を示す変数と、前記モザイク画像と計算対象のバンドの復元画像において対応する画素との親和性を示す変数と、を有するエネルギー関数を最小にする復元画像を求めるステップと、
前記画像処理装置が、前記復元画像を出力するステップと、
を備える画像処理方法。

【請求項15】

各空間画素に複数のバンドの信号を有するモザイク画像から、前記バンド毎の復元画像を生成するためのプログラムであって、コンピュータに、
前記モザイク画像を取得するステップと、
生成すべき復元画像を分光スペクトル基底が張る空間に射影するステップと、
射影により得られた射影データのスパース性を示す変数と、前記モザイク画像と計算対象のバンドの復元画像において対応する画素との親和性を示す変数と、を有するエネルギー関数を最小にする復元画像を求めるステップと、
前記復元画像を出力するステップと、
を実行させるプログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、複数バンドの情報を含むモザイク画像を復元する画像処理装置の発明に関する。

【背景技術】

【0002】

物質は、固有の反射スペクトルを有する。光照射下で物質の反射スペクトルを取得する方法を総じて分光測定という。特に、画像の各画素に分光データを割り当てて撮像する測定方法を総じて、分光イメージングという。分光イメージングは、さらに、（１）プッシュブルームによる撮像、（２）レンズ前方に光透過フィルタを設置する撮像、（３）モザイクフィルタアレイを用いた撮像（特許文献１）に大別される。

【0003】

（３）モザイクフィルタアレイを用いる撮像方法は、スナップショット方式である。センサ面の各画素上に光学積層膜を施すことにより、隣接画素間で互いに異なる透過スペクトルが実現される。例えば、３×３や５×５の繰り返し構造をもつフィルタアレイでは、一つの繰り返し単位内の画素集合が一つの空間画素を表現し、３×３では９バンド、５×５では２５バンドの分光情報を与える。

【0004】

スナップショット方式では、透過スペクトルの異なる複数画素からなる空間画素の分光スペクトルをワンショットで取得するので、（１）の方式における掃引や（２）の方法で必要なフィルタの付け替えまたはホイール回転機構を必要としない。このようにスナップショット方式は、機械的な頑健さや動画像取得に利点を持つ。

【先行技術文献】

【特許文献】

【0005】

【特許文献1】特開平６－１２９９０８号公報

【発明の概要】

【発明が解決しようとする課題】

【0006】

モザイク画像は一つの空間画素が複数の画素で構成され、文字通りモザイクがかかった状態であるため、人にとって解釈可能な形態にデータを変換する必要がある。この変換過程において本来のセンサ解像度が失われ、各バンドの低解像画像しか得られないという問題がある。

【0007】

モザイク画像は、同一の透過スペクトルを有する最近傍画素が互いに離れているため、線形近似を仮定するのに十分な相関を期待できず、一般的なベイヤ配列ＲＧＢ画像に用いられる各種デモザイキング手法を適用することができない。

【0008】

本発明は、上記背景に鑑み、モザイク画像を適切に復元することができる画像処理装置を提供することを目的とする。

【課題を解決するための手段】

【0009】

本発明の画像処理装置は、各空間画素に複数のバンドの信号を有するモザイク画像から、前記バンド毎の復元画像を生成する画像処理装置であって、前記モザイク画像を取得するモザイク画像取得部と、生成すべき復元画像を分光スペクトル基底が張る空間に射影する射影部と、前記射影部により得られた射影データのスパース性を示す変数と、前記モザイク画像と計算対象のバンドの復元画像において対応する画素との親和性を示す変数と、を有するエネルギー関数を最小にする復元画像を求めるエネルギー関数計算部と、前記エネルギー関数計算部にて求めた復元画像を出力する出力部とを備える。

【0010】

撮像プロセスの原理的に、観測される分光スペクトルは撮像対象の物質の固有スペクトルに対応すると考えられる。したがって、分光スペクトル基底が張る空間に射影した射影データはスパースになる。本発明は、分光スペクトル基底が張る空間に射影したデータのスパース性を示す変数を含むエネルギー関数を最小にすることにより復元画像を適切に求めることができる。

【0011】

親和性を示す変数は、観測されたモザイク画像と復元画像の対応する画素の値が乖離することに対してペナルティを与える変数である。エネルギー関数に親和性を示す変数を含むことにより、観測されたモザイク画像と整合した復元画像を得られる。親和性を示す変数は、例えば、観測されたモザイク画像と復元画像の対応する画素値が一致する場合には０、一致しない場合には∞をとる指示関数を用いることができる。別の例として、対応する画素の誤差（例えば、最小二乗誤差）に重みを掛ける変数を用いることもできる。

【0012】

本発明の画像処理装置は、前記モザイク画像取得部にて取得したモザイク画像を主成分分析して、前記モザイク画像に含まれる前記分光スペクトル基底を求める分光スペクトル基底生成部を備えてもよい。この構成により、他の測定機器を要せず、取得したモザイク画像を用いて分光スペクトル基底を生成することができる。

【0013】

本発明の画像処理装置は、前記モザイク画像に写る対象物の光スペクトルを別途測定する測定機器と、前記測定機器による測定結果に基づいて前記分光スペクトル基底を生成する分光スペクトル基底生成部とを備えてもよい。

【0014】

この構成により、測定機器を用いて、対象物の分光スペクトル基底を求めることができる。測定機器としては、例えば、ポイント分光器、ラインスキャナ等が挙げられる。

【0015】

本発明の画像処理装置は、前記モザイク画像に写る対象物の特性に関するデータベースと、前記データベースに基づいて前記分光スペクトル基底を生成する分光スペクトル基底生成部とを備えてもよい。

【0016】

分光スペクトルは対象物の特性に依存するので、対象物の特性から分光スペクトル基底を求めることができる。この構成は、撮像対象の特性が既知の場合に有効である。なお、対象物の特性とは、例えば対象物の材質である。

【0017】

本発明の画像処理装置は、前記射影データのスパース性を示す変数として、前記射影データの核ノルムまたは前記射影データのｌ_１ノルムを用いてもよい。核ノルムは、行列のランク関数の下界の中で最大の凸関数となるので、低ランク性の評価指標として用いることができる。ｌ₁ノルムは、スパース性の理想的な評価指標であるｌ₀擬ノルムの下界の中で最大の凸関数となるので、スパース性の評価指標として用いることができる。

【0018】

本発明の画像処理装置において、前記エネルギー関数には、前記復元画像を基底分解したときに得られる係数のスパース性を示す変数を含めてもよい。

【0019】

このように復元画像を基底分解したときに得られる係数のスパース性を用いてエネルギー関数を評価してもよい。前記復元画像の基底分解は、ウェーブレット基底またはコサイン基底を用いて行ってもよい。また、前記モザイク画像に写る対象物を別途撮影するグレーカメラで撮影し、前記グレーカメラで撮影した画像を基底分解することにより画像基底の辞書を作成して、復元画像の基底分解を行ってもよい。

【0020】

本発明の画像処理装置において、前記エネルギー関数には、前記復元画像のなめらかさを示す変数を含めてもよい。前記復元画像のなめらかさを示す変数として、前記復元画像のＴＶノルムや、前記復元画像を基底分解（例えば、ウェーブレット基底またはコサイン基底を用いた基底分解）したときに得られる係数のスパース性を示す変数を用いてもよい。画像を基底分解すると、統計的に低周波パターンが残りやすいので、復元画像が真の画像に近い場合には、基底画像の結合係数はスパースになる。この性質を利用して、復元画像を基底分解したときに得られる係数をなめらかさを示す変数として用いることができる。

【0021】

本発明の画像処理装置は、前記モザイク画像に写る対象物を撮影するグレーカメラを備え、前記エネルギー関数には、前記グレーカメラにて撮影したグレースケール画像との親和性を示す変数を含めてもよい。この構成により、復元画像として、グレースケール画像と親和性の高い自然な画像が得られる。

【0022】

本発明の画像処理装置において、複数のバンドの復元画像を求めるためのそれぞれの前記エネルギー関数は、分光スペクトル基底を共通の変数として含み、前記エネルギー関数計算部は、複数のバンドの復元画像と分光スペクトル基底を同時最適化してもよい。

【0023】

分光スペクトル基底は分光画像の空間位置によらず共通である。複数のバンドの復元画像を求める際に、分光スペクトル基底を共通の変数として、分光画像に対するエネルギー関数と分光スペクトル基底に課す条件下で、分光スペクトル基底を同時最適化できる。

【0024】

本発明の画像処理方法は、画像処理装置が、各空間画素に複数のバンドの信号を有するモザイク画像から、前記バンド毎の復元画像を生成する画像処理方法であって、前記画像処理装置が、前記モザイク画像を取得するステップと、前記画像処理装置が、生成すべき復元画像を分光スペクトル基底が張る空間に射影するステップと、前記画像処理装置が、射影により得られた射影データのスパース性を示す変数と、前記モザイク画像と計算対象のバンドの復元画像において対応する画素との親和性を示す変数と、を有するエネルギー関数を最小にする復元画像を求めるステップと、前記画像処理装置が前記復元画像を出力するステップとを備える。

【0025】

本発明のプログラムは、各空間画素に複数のバンドの信号を有するモザイク画像から、前記バンド毎の復元画像を生成するためのプログラムであって、コンピュータに、前記モザイク画像を取得するステップと、生成すべき復元画像を分光スペクトル基底が張る空間に射影するステップと、射影により得られた射影データのスパース性を示す変数と、前記モザイク画像と計算対象のバンドの復元画像において対応する画素との親和性を示す変数と、を有するエネルギー関数を最小にする復元画像を求めるステップと、前記復元画像を出力するステップとを実行させる。

【発明の効果】

【0026】

本発明によれば、分光イメージングにより取得したモザイク画像を適切に復元することができる。

【図面の簡単な説明】

【0027】

【図1】モザイク画像の例を示す図である。

【図2】モザイク画像から復元される復元画像を説明するための図である。

【図3】第１の実施の形態の画像処理装置の構成を示す図である。

【図4】画像処理装置が行う処理の概要を示す図である。

【図5】第１の実施の形態の画像処理装置の動作を示す図である。

【図6】第２の実施の形態の画像処理装置の構成を示す図である。

【図7】第３の実施の形態の画像処理装置の構成を示す図である。

【図8】第４の実施の形態の画像処理装置の構成を示す図である。

【発明を実施するための形態】

【0028】

以下、本発明の実施の形態に係る画像処理装置について図面を参照して説明する。画像処理装置は、モザイクフィルタアレイを用いた撮像により得られたモザイク画像を人が解釈可能な自然画像に復元する。モザイク画像は、各画素が分光スペクトルの強度を表した分光画像である。実施の形態に説明に先立って、本実施の形態の画像処理装置が処理するモザイク画像と復元画像について説明する。

【0029】

図１は、モザイク画像の例を示す図である。モザイク画像は、縦Ｈ×横Ｗの空間画素を有する。図１では、各空間画素を太線で囲んで示している。モザイク画像は、図１に示すように、空間画素が繰り返し並んだ構成を有している。

【0030】

空間画素は、複数のバンドの分光情報を有する画素の集合である。図１に示す例では、１つの空間画素は、５×５＝２５のバンド（ｆ１～ｆ２５）の分光情報を有している。１つの空間画素が有するバンド数は２５バンドに限られず、例えば、３×３＝９バンドでもよいし、４×４＝１６バンドでもよい。一般的に表記すると、空間画素はｂ×ｂ＝Ｂバンドを有する。なお、空間画素は、縦横比が１：１でなくてもよい。

【0031】

図２は、画像処理装置によってモザイク画像から復元される復元画像を説明するための図である。図２の上段は、図１で説明した空間画素数がＨ×Ｗのモザイク画像を掲載している。モザイク画像は、あるバンドに着目すると１つの空間画素につき、１つしか値を持っていない。図２に示す例では、同じバンドのデータは５画素おきに存在し、各バンドに着目すると解像度は低い。各バンドについてみると解像度は、Ｈ×Ｗである。

【0032】

図２の下段に、モザイク画像から復元したバンド毎の復元画像を示す。図２に示すように、２５個のバンドｆ１～ｆ２５のそれぞれについて復元画像を生成する。モザイク画像では、あるバンドに着目すると１つの空間画素に１つしか値を持っていなかったが、復元画像では、空間画素を構成していた５×５のすべての画素に値を持っている。つまり、図２に示す例では、解像度は、（Ｈ×５）×（Ｗ×５）＝Ｈ×Ｗ×２５である。一般的に表すと、モザイク画像が、Ｈ×Ｗの空間画素を有し、各空間画素がｂ×ｂ＝Ｂ個の分光情報を有していたとすると、復元画像は、（Ｈ×ｂ）×（Ｗ×ｂ）＝Ｈ×Ｗ×Ｂの解像度を有する。

【0033】

（第１の実施の形態）
図３は、第１の実施の形態の画像処理装置１の構成を示す図である。第１の実施の形態の画像処理装置１は、分光カメラ２０による撮影で得られたモザイク画像のデータの入力を受け付け、入力されたモザイク画像から復元画像を生成する機能を有している。分光カメラ２０は、イメージセンサ上に、モザイク状に配列した分光フィルタを搭載したカメラである。

【0034】

観測される分光スペクトルに対する外乱として、つやのある物体による鏡面反射、向かい合わせの近い面による相互反射、光散乱などがあるが、本実施の形態では、工場の生産ラインのように、撮影環境が整備されており、外乱が比較的少ない状況を想定する。

【0035】

図３に示すように、画像処理装置１は、モザイク画像取得部１０と、分光スペクトル基底生成部１１と、射影部１２と、エネルギー関数計算部１３と、出力部１４とを有している。画像処理装置１の各構成について説明する前に、本実施の形態の画像処理装置１が行う処理の概要について説明する。

【0036】

図４は、画像処理装置１が行う処理の概要を示す図である。図４には、解像度がＨ×Ｗ×Ｂの復元先の画像を示している。これは、画像処理装置１で求めるべき復元画像である。図４では、バンドｆ１の復元先の画像を示しているが、画像処理装置１は、バンドｆ１だけでなく、各バンド（ｆ１～ｆ２５）について復元画像を求める。復元先の画像Ｘの各画素には値ｘが設定されている。図４では、各画素内に「ｘ」とのみ記載しているが、各画素の値は異なり、省略せずに各画素を区別して記載すれば、X=（ｘ₁，・・・，ｘ_H×W×B）である。画像処理装置１は、次式（１）に示すエネルギー関数を最小にするように、復元先の画像Ｘを求める。

【数1】

【0037】

エネルギー関数Ｅは、
（１）復元先の画像Ｘを分光スペクトル基底に射影したデータのスパース性
（２）復元先の画像Ｘのなめらかさ
（３）復元先の画像Ｘと観測されたモザイク画像との親和性
を考慮した関数であり、エネルギー関数を最小にする画像Ｘ＝（ｘ₁，・・・，ｘ_H×W×B）が求めるべき復元画像となる。

【0038】

エネルギー関数の右辺第１項は、射影データのスパース性を示す変数であり、射影データの核ノルムである。真の復元画像は、撮影対象の物質に対応した分光スペクトル基底を有するので、分光スペクトル基底が張る空間（軸ｓ_pcaとする）に射影すると、主成分分析の特徴により、変換後の分光データは軸ｓ_pca方向にスパースになると期待される。特に、各主成分に対応する画像振幅は主要成分以外で非常に小さくなり、また主成分分析で得られた分光スペクトル基底に対応する物質分布に対応するため、解釈性に富む画像冗長性を与えることができる。

【0039】

核ノルムは、行列のランク関数の下界の中で最大の凸関数となるので、低ランク性の評価指標として用いることができる。核ノルムは、スパース性が高いほど小さくなる。

【0040】

右辺第２項は、復元先の画像のなめらかさを示す変数であり、復元先の画像のＴＶ（Total Variation）ノルムである。ＴＶノルムは輝度の微分値のｌ_１ノルムである。輝度変化が小さいほど、ＴＶノルムが小さくなる。復元先の画像は自然画像であり、物体の境界以外では隣接画素間での輝度変化が小さい。ＴＶノルムをエネルギー関数に含めることで、隣接画素間の輝度変化が小さいなめらかな復元画像を得られる。右辺第２項に係数τがかかっているのは、核ノルムとＴＶノルムのバランスに応じて重みを変更するためである。

【0041】

右辺第３項は、復元先の画像と観測されたモザイク画像との親和性を示す変数である。ここで、親和性は、復元先の画像とモザイク画像の対応する画素の値がどれだけ近いかの指標である。

【0042】

図４に示す復元先の画像Ｘにおいて網掛けした画素に対応する位置には、バンドｆ１の観測値が存在する。つまり、バンドｆ１の復元先の画像において、各空間画素の左上の画素に対応する画素については観測値を有している。したがって、復元先の画像において、網掛けをした画素については観測値と同じ値が入ることが期待される。親和性を示す変数は、観測された画素値と復元先の画素値との近さを示す変数である。

【0043】

親和性を示す変数δ_M(X)としては、画素値が一致する場合に０、一致しない場合に∞の値をとる指示関数を用いてもよい。このようにすれば、モザイク画像の観測値が復元画像に反映される。別の例として、親和性を示す変数δ_M(X)として、対応する画素の誤差（例えば、最小二乗誤差）に重みを掛ける変数を用いてもよい。

【0044】

画像処理装置１は、式（１）に示すエネルギー関数を最小にする復元先の画像Ｘを求める。これにより、モザイク画像から適切に自然画像を復元できる。

【0045】

ここでの説明では、エネルギー関数は、第１の実施の形態で用いるエネルギー関数を例に説明したが、エネルギー関数を一般的に示すと、主成分空間上でのスパース性を示す画像冗長項Ｕ（Ｘ，Ｔ）,画像のなめらかさを示す画像表現の正則化項Ｒ（Ｘ）,観測との親和性δ_M（Ｘ）を用いて、次式（２）のように表せる。

【数2】

以上、画像処理装置１の処理の概要について説明した。

【0046】

図３に戻って、画像処理装置１の構成を説明する。モザイク画像取得部１０は、分光カメラ２０から送信されるモザイク画像のデータを取得する機能を有する。分光スペクトル基底生成部１１は、モザイク画像を主成分分析して、モザイク画像中に含まれる主要なスペクトルの基底Ｔ∈Ｒ^B×Bを求める。

【0047】

射影部１２は、復元先の画像Ｘを分光スペクトル基底Ｔが張る空間へ射影する。射影部１２は、次式によって、射影データを求める。

【数3】

【0048】

エネルギー関数計算部１３は、式（１）に示すエネルギー関数を最小にする復元先の画像Ｘを復元画像として求める。エネルギー関数計算部１３は、バンド毎にエネルギー関数を最小にする復元先の画像Ｘを求める。出力部１４は、エネルギー関数計算部１３にて求めた復元画像を出力する。

【0049】

図５は、画像処理装置１の動作を示すフローチャートである。画像処理装置１は、分光カメラ２０からモザイク画像を取得し（Ｓ１０）、取得したモザイク画像に対して主成分分析を行い、モザイク画像の主成分を求め、分光スペクトル基底を生成する（Ｓ１１）。画像処理装置１は、生成すべき復元画像を分光スペクトル基底が張る空間に射影する（Ｓ１２）。

【0050】

画像処理装置１は、射影により得られた射影データのスパース性を示す変数と、復元画像のなめらかさを示す変数と、モザイク画像と計算対象のバンドの復元画像において対応する画素との親和性を示す変数とを含むエネルギー関数を生成し、エネルギー関数を最小にする復元画像を求める（Ｓ１３）。画像処理装置１は、他に復元画像を求めるべき計算対象のバンドがあるか否かを判定する（Ｓ１４）。通常は、画像処理装置１は、モザイク画像に含まれる全バンドについて復元画像を生成するので、全バンドについて復元画像を生成したか否かの判定を行う。

【0051】

他に計算対象のバンドがなければ（Ｓ１４でＮＯ）、画像処理装置１は求めた復元画像を出力する。他に計算対象のバンドがある場合には（Ｓ１４でＹＥＳ）、計算対象のバンドについて、上述した手順を繰り返し行い（Ｓ１２～Ｓ１３）、復元画像を生成する。繰り返し行う復元画像の生成処理において、先に行った計算と異なるのは、観測されたモザイク画像と復元画像との親和性を示す変数である。すなわち、観測された画素の位置および値はバンドによって異なるので、その値を変更することで、所望のバンドの復元画像が得られる。

【0052】

以上、第１の実施の形態の画像処理装置１について説明したが、上記した画像処理装置１のハードウェアの例は、ＣＰＵ、ＲＡＭ、ＲＯＭ、ハードディスク、ディスプレイ、キーボード、マウス、通信インターフェース等を備えたコンピュータである。上記した各機能を実現するモジュールを有するプログラムをＲＡＭまたはＲＯＭに格納しておき、ＣＰＵによって当該プログラムを実行することによって、上記した画像処理装置１が実現される。このようなプログラムも本発明の範囲に含まれる。

【0053】

本実施の形態の画像処理装置１は、モザイク画像を主成分分析により求めた分光スペクトル基底に射影したデータのスパース性を用いて画像の復元を行うことにより、適切に画像復元を行うことができる。

【0054】

上記した実施の形態では、射影データのスパース性を示す変数として射影データの核ノルムを用いたが、射影データの核ノルムに代えて、射影データのｌ₁ノルムを用いることとしてもよい。ｌ₁ノルムは、スパース性の理想的な評価指標であるｌ₀擬ノルムの下界の中で最大の凸関数となるので、スパース性の評価指標として用いることができる。

【0055】

（第２の実施の形態）
図６は、第２の実施の形態の画像処理装置２の構成を示す図である。第２の実施の形態においては、対象物体からの光線をハーフミラー２１で分岐し、分光カメラ２０でモザイク画像を撮影すると共に、ポイント分光器またはラインスキャナ等の測定機器２２によって分光スペクトルを測定する。

【0056】

第２の実施の形態の画像処理装置２は、モザイク画像のデータを取得すると共に、測定機器２２から分光スペクトルのデータを取得する。第２の実施の形態の画像処理装置２の基本的な構成は、第１の実施の形態の画像処理装置１と同じであるが、分光スペクトル基底生成部１１による分光スペクトル基底の生成の仕方が異なる。第２の実施の形態の画像処理装置２は、測定機器２２から取得した分光スペクトルのデータを用いて、分光スペクトル基底を生成する。

【0057】

第２の実施の形態の画像処理装置２は、測定機器２２によって別途測定した分光スペクトルのデータを用いて分光スペクトル基底を生成するので、直接的に分光スペクトル基底を求めることができる。

【0058】

（第３の実施の形態）
図７は、第３の実施の形態の画像処理装置３の構成を示す図である。第３の実施の形態においては、対象物体からの光線をハーフミラー２１で分岐し、分光カメラ２０でモザイク画像を撮影すると共に、グレーカメラ２３で撮影する。

【0059】

第３の実施の形態の画像処理装置３は、モザイク画像のデータを取得すると共に、グレーカメラ２３からグレースケールの画像のデータを取得する。第３の実施の形態の画像処理装置３の基本的な構成は、第１の実施の形態の画像処理装置１と同じであるが、グレースケールの画像を用いて画像基底を求める画像基底生成部１５を備える点が異なる。画像基底生成部１５は、生成した画像基底をエネルギー関数計算部１３に渡す。

【0060】

エネルギー関数計算部１３は、エネルギー関数に、復元画像を基底分解したときに得られる係数のスパース性を示す変数を含む。スパース性を示す変数は、一例として、画像基底の係数のｌ₁ノルムである。復元画像の基底分解には、画像基底生成部１５から渡された画像基底のデータを用いる。

【0061】

第３の実施の形態の画像処理装置３は、グレースケールの画像を用いて求めた画像基底に分解する。グレースケールの画像は、すべてのスペクトルバンドにわたる線形サンプリングとみなすことができ、グレースケールの画像を用いることで適切な画像基底を得られる。

【0062】

エネルギー関数計算部１３は、画像基底を用いて復元画像を基底分解したとき係数のスパース性を示す変数を含むエネルギー関数を用いることにより、復元画像を精度良く求めることができる。

【0063】

本実施の形態では、グレースケール画像を用いて画像基底を求めたが、復元画像の基底分解に用いる画像基底として、公知のウェーブレット基底またはコサイン基底を用いることとしてもよい。

【0064】

（第４の実施の形態）
図８は、第４の実施の形態の画像処理装置４の構成を示す図である。第４の実施の形態においては、対象物体からの光線をハーフミラー２１で分岐し、分光カメラ２０でモザイク画像を撮影すると共に、グレーカメラ２３で撮影する。

【0065】

第４の実施の形態の画像処理装置４は、モザイク画像のデータを取得すると共に、グレーカメラ２３からグレースケールの画像のデータを取得する。第４の実施の形態の画像処理装置４の基本的な構成は、第１の実施の形態の画像処理装置１と同じであるが、グレースケールの画像がエネルギー関数計算部１３に渡されて、エネルギー関数計算部１３がグレースケールの画像と復元画像との親和性を評価する。

【0066】

エネルギー関数は、グレースケールの画像と復元画像との親和性を示す変数を含む。エネルギー関数計算部１３は、エネルギー関数を最小にする画像を求めることにより、グレースケールの画像と親和性の高い復元画像を生成することができる。

【0067】

グレースケールの画像は、すべてのスペクトルバンドにわたる線形サンプリングとみなすことができるので、いずれのバンドの復元画像についても親和性を適切に評価できる。

【0068】

（第５の実施の形態）
次に、第５の実施の形態の画像処理装置について説明する。第５の実施の形態の画像処理装置の基本的な構成は、第１の実施の形態の画像処理装置１と同じである。第５の実施の形態の画像処理装置においては、エネルギー関数計算部１３は、複数のバンドの復元画像を求めると同時に分光スペクトル基底の最適化を行う。
第５の実施の形態において用いるエネルギー関数は次式で表される。

【数4】

【0069】

本実施の形態では、分光スペクトル基底Ｔは、分光スペクトル基底生成部１１にて生成された分光スペクトル基底を固定値として扱うのではなく、分光スペクトル基底Ｔ自体を調整して画像冗長項Ｕ（Ｘ，Ｔ）を低下させる。本実施の形態においては、分光スペクトル基底生成部１１にて生成された分光スペクトル基底を初期値として用いる。エネルギー関数計算部１３は、複数のバンドの画像と分光スペクトル基底の同時最適化を行う。分光スペクトル基底は、分光画像の空間位置によらずに共通であるので、複数のバンドの復元画像と共に分光スペクトル基底を同時最適化することより、分光スペクトル基底を固定した場合よりも画像冗長項Ｕ（Ｘ，Ｔ）をさらに低下させることができる可能性があり、復元画像の精度を向上できる。

【0070】

以上、本発明の画像処理装置について実施の形態を挙げて詳細に説明したが、本発明は上記の実施の形態に限定されるものではない。
上記した実施の形態では、モザイク画像または測定機器で撮影したデータ等から分光スペクトル基底を生成する例を挙げたが、工場の生産ライン等により、あらかじめ撮影すべき対象物が決まっている場合には、その対象物の特性に関するデータベースに基づいて、分光スペクトル基底を生成してもよい。例えば、データベースに、対象物の材質がアルミと鉄であるというデータを有する場合には、アルミと鉄の固有スペクトルを分光スペクトル基底として決定することができる。

【0071】

上記した実施の形態では、エネルギー関数として、（１）復元先の画像Ｘを分光スペクトル基底に射影したデータのスパース性、（２）復元先の画像Ｘのなめらかさ、（３）復元先の画像Ｘと観測されたモザイク画像との親和性、を考慮した関数を挙げたが、この３つのうち（２）自然画像である復元先の画像Ｘのなめらかさは考慮したほうがよいが、必須ではない。（２）を省略しても、モザイク画像から復元画像を生成することが可能である。

【0072】

上記した実施の形態においては、復元先の画像のなめらかさを示す変数として、復元先の画像のＴＶノルムを用いる例を挙げて説明したが、単純に、輝度の微分値の和を取るのではなく、勾配の大きさが小さい（つまり、エッジが走らない）方向に対して和をとってもよい。これは異方性勾配フィルタの考え方を用いた画像のなめらかさの評価である。例えば、ノイズによって周辺とは大きく輝度が異なる画素があった場合でも、微分値が小さくなるためには周辺の輝度に近づける必要があるため、エッジが走らない方向において画像がなめらかになる。一方で、エッジが走る方向については、微分値の和を評価しないので、エッジが鈍ることがない。

【産業上の利用可能性】

【0073】

本発明は、複数バンドの情報を含むモザイク画像を復元する装置として有用である。

【符号の説明】

【0074】

１～４ 画像処理装置
１０ モザイク画像取得部
１１ 分光スペクトル基底生成部
１２ 射影部
１３ エネルギー関数計算部
１４ 出力部
１５ 画像基底生成部
２０ 分光カメラ
２１ ハーフミラー
２２ 測定機器
２３ グレーカメラ

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】