特開 2022-183671 画像処理装置、画像処理方法およびプログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2022183671

(43)【公開日】2022-12-13

(54)【発明の名称】画像処理装置、画像処理方法およびプログラム

(51)【国際特許分類】

   G06T 1/00 20060101AFI20221206BHJP

   G01J 3/36 20060101ALI20221206BHJP

   G01N 21/27 20060101ALI20221206BHJP

【ＦＩ】

G06T1/00 500A

G01J3/36

G01N21/27 A

【審査請求】未請求

【請求項の数】10

【出願形態】ＯＬ

(21)【出願番号】P 2021091111

(22)【出願日】2021-05-31

(71)【出願人】

【識別番号】502324066

【氏名又は名称】株式会社デンソーアイティーラボラトリ

(74)【代理人】

【識別番号】100113549

【弁理士】

【氏名又は名称】鈴木 守

(74)【代理人】

【識別番号】100115808

【弁理士】

【氏名又は名称】加藤 真司

(72)【発明者】

【氏名】小澤 圭右

【テーマコード（参考）】

2G020

2G059

5B057

【Ｆターム（参考）】

2G020BA19

2G020CC28

2G020CC63

2G020CD24

2G020CD36

2G059AA01

2G059AA05

2G059BB08

2G059EE11

2G059FF01

2G059JJ03

2G059KK04

2G059MM01

2G059MM09

2G059MM10

5B057CA08

5B057CA16

5B057CB08

5B057CB12

5B057CB16

5B057CE05

5B057CE06

5B057CH20

5B057DA17

5B057DB09

5B057DC33

(57)【要約】      （修正有）

【課題】モザイク画像から適切に成分マップを生成することができる画像処理装置、方法及びプログラムを提供する。
【解決手段】各空間画素に異なる透過スペクトルのバンドの信号を有するモザイク画像から成分マップを生成する画像処理装置１であって、モザイク画像を取得するモザイク画像取得部１０と、モザイク画像に含まれる成分スペクトルの辞書を生成する辞書生成部１１と、成分スペクトルの成分マップのなめらかさを示す変数と、成分マップから復元した復元画像とモザイク画像とにおいて対応する画素との親和性を示す変数と、を有するエネルギー関数を最小にする成分マップを求めるエネルギー関数計算部１２と、エネルギー関数計算部１２にて求めた成分マップを出力する出力部１３と、を備える。
【選択図】図４

【特許請求の範囲】

【請求項1】

各空間画素に異なる透過スペクトルのバンドの信号を有するモザイク画像から成分マップを生成する画像処理装置であって、
前記モザイク画像を取得するモザイク画像取得部と、
前記モザイク画像に含まれる成分スペクトルの辞書を生成する辞書生成部と、
前記成分スペクトルの成分マップのなめらかさを示す変数と、前記成分マップから復元した復元画像と前記モザイク画像との親和性を示す変数と、を有するエネルギー関数を最小にする成分マップを求めるエネルギー関数計算部と、
前記エネルギー関数計算部にて求めた成分マップを出力する出力部と、
を備える画像処理装置。

【請求項2】

前記成分マップのなめらかさを示す変数として、前記成分マップのＴＶノルムを用いる請求項１に記載の画像処理装置。

【請求項3】

前記エネルギー関数は、前記成分マップの要素が０以上であることを課す変数を含む請求項１または２に記載の画像処理装置。

【請求項4】

前記辞書生成部は、前記モザイク画像取得部にて取得したモザイク画像を頂点成分分析（Vertex Component Analysis）して、前記モザイク画像に含まれる成分スペクトルを求める請求項１乃至３のいずれか１項に記載の画像処理装置。

【請求項5】

前記モザイク画像に写る対象物の光スペクトルを別途測定する測定機器を備え、
前記辞書生成部は、前記測定機器による測定結果に基づいて成分スペクトルを生成する請求項１乃至３のいずれか１項に記載の画像処理装置。

【請求項6】

前記モザイク画像に写る対象物の特性に関するデータベースを備え、
前記辞書生成部は、前記データベースに基づいて成分スペクトルの辞書を生成する請求項１乃至３のいずれか１項に記載の画像処理装置。

【請求項7】

前記エネルギー関数は、成分スペクトルの線形和を変数として含む請求項６に記載の画像処理装置。

【請求項8】

前記エネルギー関数計算部は、前記辞書生成部にて生成した成分スペクトルを初期値として、成分マップと成分スペクトルを同時最適化する請求項１乃至７のいずれか１項に記載の画像処理装置。

【請求項9】

画像処理装置によって、各空間画素に異なる透過スペクトルのバンドの信号を有するモザイク画像から成分マップを生成する画像処理方法であって、
前記画像処理装置が、前記モザイク画像を取得するステップと、
前記画像処理装置が、前記モザイク画像に含まれる成分スペクトルの辞書を生成するステップと、
前記画像処理装置が、前記成分スペクトルの成分マップのなめらかさを示す変数と、前記成分マップから復元した復元画像と前記モザイク画像との親和性を示す変数と、を有するエネルギー関数を最小にする成分マップを求めるステップと、
前記画像処理装置が、成分マップを出力するステップと、
を備える画像処理方法。

【請求項10】

各空間画素に異なる透過スペクトルのバンドの信号を有するモザイク画像から成分マップを生成するためのプログラムであって、コンピュータに、
前記モザイク画像を取得するステップと、
前記モザイク画像に含まれる成分スペクトルの辞書を生成するステップと、
前記成分スペクトルの成分マップのなめらかさを示す変数と、前記成分マップから復元した復元画像と前記モザイク画像との親和性を示す変数と、を有するエネルギー関数を最小にする成分マップを求めるステップと、
成分マップを出力するステップと、
を実行させるプログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、複数バンドの情報を含むモザイク画像の成分マップを生成する画像処理装置の発明に関する。

【背景技術】

【0002】

物質は、固有の反射スペクトルを有する。光照射下で物質の反射スペクトルを取得する方法を総じて分光測定という。特に、画像の各画素に分光データを割り当てて撮像する測定方法を総じて、分光イメージングという。分光イメージングは、さらに、（１）プッシュブルームによる撮像、（２）レンズ前方に光透過フィルタを設置する撮像、（３）モザイクフィルタアレイを用いた撮像（特許文献１）に大別される。

【0003】

（３）モザイクフィルタアレイを用いる撮像方法は、スナップショット方式である。センサ面の各画素上に光学積層膜を施すことにより、隣接画素間で互いに異なる透過スペクトルが実現される。例えば、３×３や５×５の繰り返し構造をもつフィルタアレイでは、一つの繰り返し単位内の画素集合が一つの空間画素を表現し、３×３では９バンド、５×５では２５バンドの分光情報を与える。

【0004】

スナップショット方式では、透過スペクトルの異なる複数画素からなる空間画素の分光スペクトルをワンショットで取得するので、（１）の方式における掃引や（２）の方法で必要なフィルタの付け替えまたはホイール回転機構を必要としない。このようにスナップショット方式は、機械的な頑健さや動画像取得に利点を持つ。

【先行技術文献】

【特許文献】

【0005】

【特許文献1】特開平６－１２９９０８号公報

【発明の概要】

【発明が解決しようとする課題】

【0006】

分光イメージングにおいて広く使われる応用手法の一つに成分マッピングがある。例えば、画像１画素内に葉と土が写り込んでいる場合、葉のスペクトルと土のスペクトルの存在割合の線形和で観測スペクトルが表されると仮定できる。このような場合、葉と土それぞれが純粋成分であり、そのスペクトルが成分スペクトルと定義される。各成分の空間分布を与える処理をマッピングと呼ぶ。成分マッピングは分光画像の波長解像度と空間解像度が十分高い場合に可能な技術である。一般的に、成分マッピングは以下の３ステップからなる。
（１）純粋成分数を指定
（２）成分スペクトルの抽出
（３）成分スペクトルの重みつき和として成分マップを推定

【0007】

分光画像の撮影方式の中でもモザイクフィルタアレイを用いた方式は、スナップショット撮像が可能であり、動画撮影などに向いている。その一方で、画素の繰り返し単位で一つの空間点と分光スペクトルを同時に表すため、ユーザにとって解釈可能なデータ構造に変換する際（以下、「画素再配列」と呼ぶ）に空間面解像度がバンド数分だけ減少する。また、一つの分光スペクトルを表現するために、本来は異なる空間点の反射率を寄せ集めるので（つまり、離れた画素を一つの画像に変換しようとするので）、正しい分光スペクトルに誤差が入り込む。

【0008】

したがって、画素再配列で得られる分光画像は空間解像度が低く、各点毎のスペクトルには撮像系由来でないノイズも含まれることになる。特に物体境界領域でテクスチャに欠損が生じたり、アーチファクトが生じる。この問題に対して種々のデモザイキング手法を適用することが考えられるが、同一の透過スペクトルを有する薄膜を施した画素間距離は一般的なＲＧＢカメラに用いられるベイヤー配列のそれよりも大きく、さらに各薄膜の分光特性同士の相関が小さいため、ベイヤー配列用に設計されたデモザイキング手法を適用することは不適切である。

【0009】

以上の理由により、分光画像を用いた成分マッピングにおいてモザイクフィルタアレイを用いる際、以下の利点と欠点がある。
・利点：スナップショットによる動画撮影が可能。
・欠点：空間解像度が低い。画素再配列によるスペクトルへの誤差混入。

【0010】

成分マッピングを動画に適用可能にすることは技術的に重要であり、スナップショットの利点を活かすために、上記の欠点を解消する手法が求められる。

【0011】

そこで、本発明は、空間解像度の低いモザイク画像の成分マッピングを行う技術を提案することを目的とする。

【課題を解決するための手段】

【0012】

本発明の画像処理装置は、各空間画素に異なる透過スペクトルのバンドの信号を有するモザイク画像から成分マップを生成する画像処理装置であって、前記モザイク画像を取得するモザイク画像取得部と、前記モザイク画像に含まれる成分スペクトルの辞書を生成する辞書生成部と、前記成分スペクトルの成分マップのなめらかさを示す変数と、前記成分マップから復元した復元画像と前記モザイク画像との親和性を示す変数と、を有するエネルギー関数を最小にする成分マップを求めるエネルギー関数計算部と、前記エネルギー関数計算部にて求めた成分マップを出力する出力部とを備える。

【0013】

このように成分マップのなめらかさを示す変数と、成分マップからの復元画像と観測されたモザイク画像との親和性を示す変数とを有するエネルギー関数を最小にする計算により、適切な成分マップが得られる。親和性を示す変数は、観測されたモザイク画像と復元画像の対応する画素の値が乖離することに対してペナルティを与える変数である。エネルギー関数に親和性を示す変数を含むことにより、観測されたモザイク画像と整合した復元画像を与える成分マップが得られる。親和性を示す変数は、例えば、観測されたモザイク画像と復元画像の対応する画素値が一致する場合には０、一致しない場合には∞をとる指示関数を用いることができる。別の例として、対応する画素の誤差（例えば、最小二乗誤差）に重みを掛ける変数を用いることもできる。なお、成分マップは成分スペクトルごとに存在し、復元画像はモザイク画像の複数のバンドのそれぞれについて求められる。

【0014】

本発明の画像処理装置は、前記成分マップのなめらかさを示す変数として、前記成分マップのＴＶノルムを用いてもよい。

【0015】

本発明の画像処理装置において、前記エネルギー関数は、前記成分マップの要素が０以上であることを課す変数を含んでもよい。成分マップの要素が０以上であることを課すことで、不自然な成分マップが生成される原因の一つを除去することができる。

【0016】

本発明の画像処理装置において、前記辞書生成部は、前記モザイク画像取得部にて取得したモザイク画像を頂点成分分析（Vertex Component Analysis）して、前記モザイク画像に含まれる成分スペクトルを求めてもよい。この構成により、他の測定機器を要することなく、モザイク画像に含まれる成分スペクトルの辞書を生成することができる。頂点成分分析については、J.M.B. Dias他「Vertex component analysis: a fast algorithm to unmix hyperspectral data」（IEEE Transactions on Geoscience and Remote Sensing Volume: 43, 2005年4月4日）に記載されている。

【0017】

本発明の画像処理装置は、前記モザイク画像に写る対象物の光スペクトルを別途測定する測定機器を備え、前記辞書生成部は、前記測定機器による測定結果に基づいて成分スペクトルを生成してもよい。この構成により、測定機器を用いて、対象物の成分スペクトルを求めることができ、辞書を生成できる。測定機器としては、例えば、ポイント分光器、ラインスキャナ等が挙げられる。

【0018】

本発明の画像処理装置は、前記モザイク画像に写る対象物の特性に関するデータベースを備え、前記辞書生成部は、前記データベースに基づいて成分スペクトルの辞書を生成してもよい。成分スペクトルは対象物の特性に依存するので、対象物の特性から成分スペクトルを求めることができる。この構成は、撮像対象の特性が既知の場合に有効である。なお、対象物の特性とは、撮像対象の材質や撮像中のシーン等である。

【0019】

本発明の画像処理装置において、前記エネルギー関数は、成分スペクトルの線形和を変数として含んでもよい。この構成により成分スペクトルが冗長なときに、重要性の高い少数の成分スペクトルについて成分マップを生成できる。

【0020】

本発明の画像処理装置において、前記エネルギー関数計算部は、前記辞書生成部にて生成した成分スペクトルを初期値として、成分マップと成分スペクトルを同時最適化してもよい。成分スペクトルを可変の変数として、成分マップを求める際に同時に最適化することにより、適切な成分スペクトルと成分マップを生成できる。

【0021】

本発明の画像処理方法は、画像処理装置によって、各空間画素に異なる透過スペクトルのバンドの信号を有するモザイク画像から成分マップを生成する方法であって、前記画像処理装置が、前記モザイク画像を取得するステップと、前記画像処理装置が、前記モザイク画像に含まれる成分スペクトルの辞書を生成するステップと、前記画像処理装置が、前記成分スペクトルの成分マップのなめらかさを示す変数と、前記成分マップから復元した復元画像と前記モザイク画像との親和性を示す変数と、を有するエネルギー関数を最小にする成分マップを求めるステップと、前記画像処理装置が、成分マップを出力するステップとを備える。

【0022】

本発明のプログラムは、各空間画素に異なる透過スペクトルのバンドの信号を有するモザイク画像から成分マップを生成するためのプログラムであって、コンピュータに、前記モザイク画像を取得するステップと、前記モザイク画像に含まれる成分スペクトルの辞書を生成するステップと、前記成分スペクトルの成分マップのなめらかさを示す変数と、前記成分マップから復元した復元画像と前記モザイク画像との親和性を示す変数と、を有するエネルギー関数を最小にする成分マップを求めるステップと、成分マップを出力するステップとを実行させる。

【発明の効果】

【0023】

本発明によれば、モザイク画像から適切に成分マップを生成できる。

【図面の簡単な説明】

【0024】

【図1】モザイク画像の例を示す図である。

【図2】モザイク画像から生成される成分マップを説明するための図である。

【図3】画像処理装置が行う処理の概要を示す図である。

【図4】第１の実施の形態の画像処理装置の構成を示す図である。

【図5】第１の実施の形態の画像処理装置の動作を示す図である。

【図6】第２の実施の形態の画像処理装置の構成を示す図である。

【図7】第３の実施の形態の画像処理装置の構成を示す図である。

【発明を実施するための形態】

【0025】

以下、本発明の実施の形態に係る画像処理装置について図面を参照して説明する。画像処理装置は、モザイクフィルタアレイを用いた撮像により得られたモザイク画像から成分マップを生成する。モザイク画像は、各画素が分光スペクトルの強度を表した分光画像である。実施の形態に説明に先立って、本実施の形態の画像処理装置が処理するモザイク画像と成分マップについて説明する。

【0026】

図１は、モザイク画像の例を示す図である。モザイク画像は、縦Ｈ×横Ｗの空間画素を有する。図１では、各空間画素を太線で囲んで示している。モザイク画像は、図１に示すように、空間画素が繰り返し並んだ構成を有している。

【0027】

空間画素は、複数のバンドの分光情報を有する画素の集合である。図１に示す例では、１つの空間画素は、３×３＝９のバンド（ｆ１～ｆ９）の分光情報を有している。１つの空間画素が有するバンド数は９バンドに限られず、例えば、４×４＝１６バンドでもよいし、５×５＝２５バンドでもよい。一般的に表記すると、空間画素はｂ×ｂ＝Ｂバンドを有する。なお、空間画素は、縦横比が１：１でなくてもよい。モザイク画像は、あるバンドに着目すると１つの空間画素につき、１つしか値を持っていない。図１に示す例では、同じバンドのデータは３画素おきに存在し、各バンドに着目すると解像度は低い。各バンドについてみると解像度は、Ｈ×Ｗである。

【0028】

図２は、画像処理装置によってモザイク画像から生成する成分マップを説明するための図である。図２の上段は、図１で説明した空間画素数がＨ×Ｗのモザイク画像を掲載している。図２の下段に、モザイク画像から生成した成分マップを示す。成分マップは、モザイク画像を構成する成分スペクトルごとのマップである。成分マップの成分スペクトルは、モザイク画像の純粋成分という。

【0029】

成分マップの解像度は、Ｈ×Ｗである。モザイク画像に含まれる成分スペクトルの辞書は、辞書生成部によって生成される。成分スペクトルを生成する方法としては、モザイク画像に対して頂点成分分析（Vertex Component Analysis）を行う方法（第１の実施の形態）、外部の測定機器を用いる方法（第２の実施の形態）、予め持っているデータベースを用いる方法（第３の実施の形態）等がある。

【0030】

図３は、本実施の形態の画像処理装置によって成分マップを生成する処理の概要を示す図である。図３の左上の観測画像Ｍは、観測されたモザイク画像である。図１を用いて説明したとおり、モザイク画像は１つの空間画素に３×３＝９バンドの分光情報を有する画像である。

【0031】

図３の左下には、モザイク画像の成分マップを示している。成分マップの解像度は、Ｈ×Ｗである。モザイク画像に含まれる成分スペクトルに対応する数（すなわち、Ｍ個）の成分マップがある。本実施の形態で画像処理装置は、観測されたモザイク画像からこの成分マップを求める。図３では、成分マップのそれぞれの画素値を「ａ」とのみ記載しているが各画素の値は異なり、例えば、成分マップＡ⁽ⁿ⁾の画素値を省略せずに記載すれば、成分マップＡ⁽ⁿ⁾＝（ａ_n,1，・・・，ａ_n,H×W）となる。画像処理装置は、成分マップＡ⁽¹⁾～Ａ^(M)から各バンド（ｆ１～ｆ９）の復元画像を生成する。

【0032】

図３の右下の復元先は、成分マップから復元される復元画像を示しており、復元画像はモザイク画像のバンド数だけ存在する。ここで、復元画像は、元のモザイク画像よりも高解像度である。すなわち、モザイク画像は、各バンドに着目すると解像度はＨ×Ｗであるのに対し、復元画像の解像度はＨ×Ｗ×Ｂである。

【0033】

画像処理装置１は、次式（１）に示すエネルギー関数を最小にするような成分マップＡ⁽¹⁾～Ａ^(M)を求める。

【数1】

【0034】

エネルギー関数Ｅは、
（１）復元先の画像Ｘと観測されたモザイク画像Ｍとの親和性
（２）成分マップＡの要素が非負値であること
（３）成分マップＡのなめらかさ
を考慮した関数であり、エネルギー関数を最小にする成分マップＡ⁽ⁿ⁾＝（ａ_n,1，・・・，ａ_n,H×W）（ただし、n=1,・・・,M）が求めるべき成分マップとなる。エネルギー関数の左辺は、エネルギー関数が成分スペクトルＤ，モザイク画像Ｍが与えられたときに、成分マップＡを求める関数であることを示している。つまり、この例では、辞書Ｄを固定値として扱う。

【0035】

エネルギー関数の右辺第１項は、復元先の画像と観測されたモザイク画像との親和性を示す変数である。ここで、親和性は、復元先の画像とモザイク画像の対応する画素の値がどれだけ近いかを示す指標である。

【0036】

図３に示す復元先の画像Ｘにおいて網掛けした画素に対応する位置には、バンドｆ１の観測値が存在する。つまり、バンドｆ１の復元先の画像において、各空間画素の左上の画素に対応する画素については観測値がある。復元先の画像において、網掛けをした画素については観測値と同じ値が入ることが期待される。親和性を示す変数は、観測された画素値と復元先の画素値との近さを示す変数である。

【0037】

親和性を示す変数δ_M(X)としては、画素値が一致する場合に０、一致しない場合に∞の値をとる指示関数を用いてもよい。このようにすれば、復元画像とモザイク画像の観測値を厳密に一致させる条件を課すことができる。別の例として、親和性を示す変数δ_M(X)として、対応する画素の誤差（例えば、最小二乗誤差）に重みを掛ける変数を用いてもよい。

【0038】

エネルギー関数の右辺第２項は、成分マップの各要素が非負値であることを条件として課すための変数である。δ_≧0(A)は、Ａの要素が０以上であるときにコストが０、負値である場合に∞の値をとる指示関数である。成分マップの各要素は物理的に非負値であることが期待される。この条件を課すことで、成分マップの要素が負値をとるような不自然な結果を除外できる。

【0039】

右辺第３項は、成分マップのなめらかさを示す変数である。成分スペクトルがＭ個あるとすると、成分スペクトルのそれぞれに対する成分マップＡ⁽ⁿ⁾は、Ｈ×Ｗのサイズの画像で表される。各成分マップＡ⁽ⁿ⁾に対し、局所的な変動が少なくなるような条件を課す。この条件は一般に空間変動の何らかのノルム｜∇Ａ｜の積分（次式（２））を小さくするものとして与えられる。

【数2】

【0040】

これは変分問題であり、一般に例えば、TV-L₁ノルムを最小化する問題に帰着する。このため、右辺第２項には、成分マップのＴＶ（Total Variation）ノルムを用いている。ＴＶノルムは輝度の微分値のｌ_１ノルムである。輝度変化が小さいほど、ＴＶノルムが小さくなる。ＴＶノルムをエネルギー関数に含めることで、隣接画素間の輝度変化が小さいなめらかな成分マップを得られる。

【0041】

画像処理装置１は、式（１）に示すエネルギー関数を最小にする成分マップＡ⁽ⁿ⁾を求める。これにより、適切にモザイク画像の成分マップを求めることができる。なお、成分マップを求めるときに、同時に、高解像度の復元画像が生成される。

【0042】

以上の説明では、エネルギー関数は、第１の実施の形態で用いるエネルギー関数を例に説明したが、より一般に、成分マップのなめらかさを示す変数を別の空間事前知識、例えば、２次以上の空間変動の変分問題の最小化としてもよい。これをＲ（Ｘ）と書くと、エネルギー関数は次式（３）のように表せる。

【数3】

以上、本実施の形態の画像処理装置の処理の概要について説明した。

【0043】

（第１の実施の形態）
図４は、第１の実施の形態の画像処理装置１の構成を示す図である。第１の実施の形態の画像処理装置１は、分光カメラ２０による撮影で得られたモザイク画像のデータの入力を受け付け、入力されたモザイク画像から成分マップを生成する機能を有している。分光カメラ２０は、イメージセンサ上に、モザイク状に配列した分光フィルタを搭載したカメラである。

【0044】

図４に示すように、画像処理装置１は、モザイク画像取得部１０と、辞書生成部１１と、エネルギー関数計算部１２と、出力部１３とを有している。モザイク画像取得部１０は、分光カメラ２０から送信されるモザイク画像のデータを取得する機能を有する。辞書生成部１１は、モザイク画像を頂点成分分析して、モザイク画像に含まれる成分スペクトルを求める。辞書生成部１１は求めた成分スペクトルをモザイク画像の純粋成分とし、成分スペクトルの辞書Ｄとする。本実施の形態では、辞書生成部１１で生成した辞書Ｄを固定値として扱う。つまり、辞書Ｄの成分スペクトルが真であることを前提として計算を行う。

【0045】

エネルギー関数計算部１２は、成分スペクトルと成分マップを用いて、Ｈ×Ｗ×Ｂの高解像度の復元画像を推定する。エネルギー関数計算部１２が復元画像を計算するのは、観測されたモザイク画像との親和性の変数を求めるためである。

【0046】

成分スペクトルの辞書Ｄ∈Ｒ^B×Mと成分マップを結合したテンソルＡ∈Ｒ^H×W×Mがあるとする。ここで、成分方向（３つめの軸）でテンソルをスライスしたＡ⁽ⁿ⁾＝Ａ(:,:,n) ∈Ｒ^H×Wは成分ｎの成分マップである。復元された高解像度分光画像Ｘ∈Ｒ^H×W×BはＸ＝Ａ×₃Ｄによって計算できる。ここで「×₃」は波長軸（３番目の次元）に沿う行列ベクトル積を表す。

【0047】

ここでＡ×₃Ｄの(i,j,k)要素は、ａ_ij＝Ａ(i,j,:)∈Ｒ^Mとして、Ｄａ_ij∈Ｒ^Bで与えられる。この復元においてはＸ＝Ａ×₃Ｄを返す。例としてＢ＝９，Ｍ＝２で、Ｄが（葉のスペクトル、土のスペクトル）∈Ｒ^(9×2)であるとする。このとき、ｍ＝１，２がそれぞれ葉と土に対応し、画素（i,j）に葉が０．４と土が０．６の割合で含まれていたとすれば、ａ_ijは（０．４×葉のスペクトル）＋（０．６×土のスペクトル）と計算できる。

【0048】

エネルギー関数計算部１２は、最適化計算により、式（１）に示すエネルギー関数を最小にする成分マップＡ⁽ⁿ⁾を求める。出力部１３は、エネルギー関数計算部１２にて求めた復元画像を出力する。

【0049】

図５は、画像処理装置１の動作を示すフローチャートである。画像処理装置１は、分光カメラ２０からモザイク画像を取得し（Ｓ１０）、取得したモザイク画像に対して頂点成分分析を行い、モザイク画像の成分スペクトルを求め、モザイク画像が含む成分スペクトルの辞書Ｄを生成する（Ｓ１１）。

【0050】

画像処理装置１は、復元先の画像Ｘと観測されたモザイク画像との親和性を示す変数と、成分マップの要素が非負値であることを課す変数と、成分マップのなめらかさを示す変数とを含む式（１）のエネルギー関数を生成し、エネルギー関数を最小にする復元画像を求める（Ｓ１３）。画像処理装置１は求めた成分マップを出力する。なお、画像処理装置１は、成分マップを求める過程で得られた高解像度の復元画像を出力してもよい。

【0051】

以上、第１の実施の形態の画像処理装置１について説明したが、上記した画像処理装置１のハードウェアの例は、ＣＰＵ、ＲＡＭ、ＲＯＭ、ハードディスク、ディスプレイ、キーボード、マウス、通信インターフェース等を備えたコンピュータである。上記した各機能を実現するモジュールを有するプログラムをＲＡＭまたはＲＯＭに格納しておき、ＣＰＵによって当該プログラムを実行することによって、上記した画像処理装置１が実現される。このようなプログラムも本発明の範囲に含まれる。

【0052】

本実施の形態の画像処理装置１は、モザイク画像に含まれる成分スペクトルの辞書を生成し、式（１）で示すエネルギー関数を最小にする成分マップを求めることで、モザイク画像の成分マップを適切に求めることができる。

【0053】

本実施の形態の画像処理装置１は、純粋成分スペクトルの辞書を活用し、成分マップの滑らかさ、つまり空間変動が小さいという事前知識に基づき高解像成分マップを推定することができる。また、純粋成分スペクトルの辞書は撮影したスナップショットデータ自身から取得することもできる利便性も備えている。スナップショット撮影で得られる分光モザイク画像は分光画像のテンソル構造としては１／Ｂサンプリングのスパースデータであり、画素間相関に乏しく、高解像な成分マッピングが困難である。本実施の形態の画像処理装置１は、純粋成分スペクトルの線形和で張られるベクトル空間上で、成分マップの空間変動（１次または高次の微分の変分問題として）が滑らかであることを課した最適化を行うことで、スナップショットだけで、高解像な成分マップの生成を可能にする。

【0054】

さらに、スナップショット撮影方式は動画撮影も可能であり、時間変化する成分マップの推定も可能であると期待される。また、スナップショット撮影を人の目に解釈可能な形態に変換する際、詳細な空間情報（テクスチャなど）が取得波長数の平方根で欠落するが、本実施の形態によれば、装置が出力する成分マップではセンサ解像度が保たれる。

【0055】

（第２の実施の形態）
図６は、第２の実施の形態の画像処理装置２の構成を示す図である。第２の実施の形態においては、対象物体からの光線をハーフミラー２１で分岐し、分光カメラ２０でモザイク画像を撮影すると共に、ポイント分光器またはラインスキャナ等の測定機器２２によって分光スペクトルを測定する。

【0056】

第２の実施の形態の画像処理装置２は、モザイク画像のデータを取得すると共に、測定機器２２から分光スペクトルのデータを取得する。第２の実施の形態の画像処理装置２の基本的な構成は、第１の実施の形態の画像処理装置１と同じであるが、辞書生成部１１による成分スペクトルの求め方が異なる。第２の実施の形態の画像処理装置２は、測定機器２２から取得した分光スペクトルのデータを用いて、モザイク画像の成分スペクトルの辞書を求める。

【0057】

第２の実施の形態の画像処理装置２は、測定機器２２によって別途測定した分光スペクトルのデータを用いて成分スペクトルを求めるので、直接的に成分スペクトルを求めることができる。

【0058】

（第３の実施の形態）
図７は、第３の実施の形態の画像処理装置３の構成を示す図である。第３の実施の形態の画像処理装置３は、撮影対象の特性を予め記憶した特性データ記憶部１４を有している。例えば、撮影対象の画像が森林の衛星写真であるといった情報でもよいし、対象物の材質等の情報でもよい。辞書生成部１１は、特性データ記憶部１４から撮影対象の特性データを読み出し、読み出した特性データに基づいて撮影対象の成分スペクトルの辞書を生成する。例えば、撮影対象が森林の衛星写真の場合、成分スペクトルとしては森林の色である「緑」、土の色である「茶色」、湖や川や海の色である「青」を純粋成分とし、成分スペクトルの辞書を生成する。なお、特性データ記憶部１４には、複数の対象物の特性データを記憶しておき、ユーザに特性データを選択させることとしてもよい。

【0059】

第３の実施の形態の画像処理装置３は、モザイク画像から成分スペクトルを生成する処理に代えて、特性データ記憶部１４から読み出した特性データに基づいて成分スペクトルの辞書を生成する。エネルギー関数計算部１２は、生成した成分スペクトルを用いてエネルギー関数を最小にする成分マップを求める。

【0060】

第３の実施の形態の画像処理装置３は、予め保有している撮影対象に関する特性データを用いるので、辞書データを生成する処理を容易にすることができる。

【0061】

（第４の実施の形態）
次に、第４の実施の形態の画像処理装置について説明する。第４の実施の形態の画像処理装置の基本的な構成は、第３の実施の形態の画像処理装置３と同じである（図７参照）。

【0062】

第４の実施の形態の画像処理装置では、エネルギー関数計算部１２にて用いるエネルギー関数が、成分スペクトルのスパース性を示す変数Ｓ（Ａ）を含む点が異なる。第４の実施の形態の画像処理装置が用いるエネルギー関数は、次式（４）のように表される。

【0063】

【数4】

【0064】

成分の数そのものを扱う場合には、Ｓ（Ａ）としてＡのＬ₀ノルム（Ａの非ゼロ要素の総数）が用いればよいが、エネルギー関数の最適化を行うために凸最適化の方法を使うためには凸関数を使う必要がある。本実施の形態では、一般的にＡのＬ₁ノルム（Ａの要素の絶対値の総和）を用いる。Ｌ₁ノルムはＬ₀ノルムに近い性質を持ちつつ凸であるため、本実施の形態の構成により、成分スペクトルをスパースにしながら凸最適化の枠組みで計算を行うことができる。なお、Ｓ（Ａ）に対する乗数μは、スパース性を要求する度合いを調整する重みパラメータである。

【0065】

画像処理装置は、辞書データから読み出した成分スペクトルを初期値として、エネルギー関数を最小にする最適化計算を行う。これにより、成分スペクトルがスパースになるように成分マップを求めることができる。本実施の形態によれば、観察されたモザイク画像に対して、特性データ記憶部に記憶されている成分スペクトルが冗長で真の成分数より多い場合、成分スペクトルの数を減らして真の純粋成分に基づく成分マップを生成することができる。

【0066】

本実施の形態では、特性データ記憶部１４を備えた第３の実施の形態の画像処理装置３に対して、成分スペクトルのスパース性を示す変数を含むエネルギー関数を適用した例を挙げて説明したが、第１の実施の形態または第２の実施の形態の画像処理装置において、成分スペクトルのスパース性を示す変数を含むエネルギー関数を適用してもよい。

【0067】

（第５の実施の形態）
次に、第５の実施の形態の画像処理装置について説明する。第５の実施の形態の画像処理装置の基本的な構成は、第１の実施の形態の画像処理装置１と同じである。第５の実施の形態の画像処理装置においては、エネルギー関数計算部１２は、複数のバンドの復元画像を求めると同時に成分スペクトルの最適化を行う。

【0068】

第５の実施の形態において用いるエネルギー関数は次式（５）で表される。なお、次式は、成分マップのなめらかさを一般的に示している。

【数5】

【0069】

上式（５）の左辺は、式（１）の場合と異なり、エネルギー関数がモザイク画像Ｍに対して、成分マップＡ及び成分スペクトルの辞書Ｄを求める関数であることを示している。このように、本実施の形態では、分光スペクトルの辞書Ｄは、辞書生成部１１にて生成された成分スペクトルを固定値として扱うのではなく、成分スペクトル自体をも調整して、エネルギー関数を最小にする。本実施の形態においては、辞書生成部１１にて生成された成分スペクトルを初期値として用いる。

【0070】

このように成分スペクトルの辞書Ｄの最適化も行うことにより、成分スペクトルを固定した場合よりも、成分マップの精度を向上できる可能性がある。

【0071】

本実施の形態では、第１の実施の形態の画像処理装置１において、成分マップと成分スペクトルの同時最適化を行う例を挙げて説明したが、第２の実施の形態または第３の実施の形態の画像処理装置において、成分スペクトルと成分マップの同時最適化を行ってもよい。

【0072】

以上、本発明の画像処理装置について実施の形態を挙げて詳細に説明したが、本発明は上記の実施の形態に限定されるものではない。エネルギー関数には、復元画像のなめらかさを示す変数を加えてもよい。これにより、自然界で撮影される画像は境界部分等の一部を除けば輝度の変化がなめらかであるので、復元画像のなめらかさを考慮することで、適切な成分マップを求めることができる。また、その際に、復元画像のなめらかさを示す変数として、ＴＶノルムを用いてもよいし、単純に、輝度の微分値の和を取るのではなく、勾配の大きさが小さい（つまり、エッジが走らない）方向に対して和をとってもよい。これは異方性勾配フィルタの考え方を用いたなめらかさの評価である。例えば、ノイズによって周辺とは大きく輝度が異なる画素があった場合でも、微分値が小さくなるためには周辺の輝度に近づける必要があるため、エッジが走らない方向において画像がなめらかになる。一方で、エッジが走る方向については、微分値の和を評価しないので、エッジが鈍ることがない。

【産業上の利用可能性】

【0073】

本発明は、複数バンドの情報を含むモザイク画像から成分マップを生成する装置として有用である。

【符号の説明】

【0074】

１～３ 画像処理装置
１０ モザイク画像取得部
１１ 辞書生成部
１２ エネルギー関数計算部
１３ 出力部
２０ 分光カメラ
２１ ハーフミラー
２２ 測定機器

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】