特許 6015964 分光画像処理方法、分光画像処理装置およびプログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】6015964

(24)【登録日】2016年10月7日

(45)【発行日】2016年10月26日

(54)【発明の名称】分光画像処理方法、分光画像処理装置およびプログラム

(51)【国際特許分類】

   H04N 1/46 20060101AFI20161013BHJP

   H04N 1/60 20060101ALI20161013BHJP

   G06T 1/00 20060101ALI20161013BHJP

【ＦＩ】

   H04N1/46 Z

   H04N1/40 D

   G06T1/00 510

【請求項の数】10

【全頁数】17

(21)【出願番号】特願2013-551611(P2013-551611)

(86)(22)【出願日】2012年12月13日

(86)【国際出願番号】JP2012082417

(87)【国際公開番号】WO2013099644

(87)【国際公開日】20130704

【審査請求日】2015年11月6日

(31)【優先権主張番号】特願2011-288886(P2011-288886)

(32)【優先日】2011年12月28日

(33)【優先権主張国】JP

(73)【特許権者】

【識別番号】000004237

【氏名又は名称】日本電気株式会社

(74)【代理人】

【識別番号】100079005

【弁理士】

【氏名又は名称】宇高 克己

(72)【発明者】

【氏名】金子 瑛士

(72)【発明者】

【氏名】塚田 正人

(72)【発明者】

【氏名】中野 学

【審査官】 豊田 好一

(56)【参考文献】

【文献】 国際公開第２００９／１０４７８７（ＷＯ，Ａ１）

【文献】 国際公開第２００７／００７７８６（ＷＯ，Ａ１）

【文献】 国際公開第２００７／００７７８８（ＷＯ，Ａ１）

【文献】 特開２００９−１７５９２６（ＪＰ，Ａ）

(58)【調査した分野】（Int.Cl.，ＤＢ名）

Ｈ０４Ｎ １／４６−６２

Ｇ０６Ｔ １／００

Ｈ０４Ｎ １／４０

(57)【特許請求の範囲】

【請求項1】

シーンのマルチスペクトル画像から観測スペクトル情報を選択し、
照明の基底ベクトルと表面反射率の基底ベクトルを用いて、照明の分光分布の制約範囲と物体の表面反射率の制約範囲を生成し、
前記観測スペクトル情報と、前記照明の分光分布の制約範囲と、前記物体の表面反射率の制約範囲とを用いて、前記照明の基底ベクトルの重み係数と前記表面反射率の基底ベクトルの重み係数とをパラメタとする観測方程式を生成し、
前記観測方程式から前記シーンの照明の分光分布と物体の表面反射率とを算出する
分光画像処理方法。

【請求項2】

前記照明の分光分布の制約範囲と前記物体の表面反射率の制約範囲のもと、前記観測方程式の重み係数に初期パラメタを与えて、観測スペクトルの推定値を算出し、
前記観測スペクトル情報と前記観測スペクトルの推定値の誤差に基づき、前記重み係数を更新し、
前記誤差が所定内となったときの前記観測スペクトルの推定値を構成する照明の分光分布と物体の表面反射率とを、前記シーンにおける照明の分光分布と物体の表面反射率として算出する
請求項１に記載の分光画像処理方法。

【請求項3】

前記観測スペクトル情報として、前記マルチスペクトル画像から線形独立なスペクトル情報を選択する
請求項１又は請求項２に記載の分光画像処理方法。

【請求項4】

前記照明の基底ベクトルとして、日射スペクトルの直達成分ベクトルと散乱成分ベクトルとを用いる
特徴とする請求項１から請求項３のいずれかに記載の分光画像処理方法。

【請求項5】

照明色が同一とみなせる範囲で異なるシーンを複数回撮影し、前記観測方程式を生成するに必要な数の前記線形独立なスペクトル情報を得る
請求項３に記載の分光画像処理方法。

【請求項6】

シーンのマルチスペクトル画像から観測スペクトル情報を選択するスペクトル情報選択手段と、
照明の基底ベクトルと表面反射率の基底ベクトルを用いて、照明の分光分布の制約範囲と物体の表面反射率の制約範囲を生成する制約範囲生成手段と、
前記観測スペクトル情報と、前記照明の分光分布の制約範囲と、前記物体の表面反射率の制約範囲とを用いて、前記照明の基底ベクトルの重み係数と前記表面反射率の基底ベクトルの重み係数とをパラメタとする観測方程式を生成する観測方程式生成手段と、
前記観測方程式から前記シーンの照明の分光分布と物体の表面反射率とを算出する算出手段と
を有する分光画像処理装置。

【請求項7】

前記算出手段は、
前記照明の分光分布の制約範囲と前記物体の表面反射率の制約範囲のもと、前記観測方程式の重み係数に初期パラメタを与えて、観測スペクトルの推定値を算出する手段と、
前記観測スペクトル情報と前記観測スペクトルの推定値の誤差に基づき、前記重み係数を更新する手段と、
前記誤差が所定内となったときの前記観測スペクトルの推定値を構成する照明の分光分布と物体の表面反射率とを前記シーンにおける照明の分光分布と物体の表面反射率として算出する手段と
を有する請求項６に記載の分光画像処理装置。

【請求項8】

前記スペクトル情報選択手段は、前記マルチスペクトル画像から線形独立なスペクトル情報を選択する
請求項６又は請求項７に記載の分光画像処理装置。

【請求項9】

前記スペクトル情報選択手段は、前記照明の基底ベクトルとして、日射スペクトルの直達成分ベクトルと散乱成分ベクトルとを用いる
特徴とする請求項６から請求項８のいずれかに記載の分光画像処理装置。

【請求項10】

コンピュータに、
シーンのマルチスペクトル画像から観測スペクトル情報を選択する処理と、
照明の基底ベクトルと表面反射率の基底ベクトルを用いて、照明の分光分布の制約範囲と物体の表面反射率の制約範囲を生成する処理と、
前記観測スペクトル情報と、前記照明の分光分布の制約範囲と、前記物体の表面反射率の制約範囲とを用いて、前記照明の基底ベクトルの重み係数と前記表面反射率の基底ベクトルの重み係数とをパラメタとする観測方程式を生成する処理と、
前記観測方程式から前記シーンの照明の分光分布と物体の表面反射率とを算出する処理と
を実行させるプログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、分光画像処理方法、分光画像処理装置およびプログラムに関する。

【背景技術】

【0002】

撮影装置を用いて撮影された画像の色情報は、撮影時の環境照明光が物体の表面で反射され、撮影装置に入射した光をもとに生成される。そのため、表面反射率が同一である物体を撮影しても、環境照明光が異なると撮影画像の色情報も変化する。多数の波長の光が記録されたマルチスペクトル画像を用いて、撮影シーン中の物体を観測スペクトルの形状を手掛かりに認識する技術において、同一の物体であるにも関わらず、環境照明光の変化によって観測スペクトルが異なると、物体の識別が困難になる。この問題を解決するには、観測スペクトルから、環境照明光の影響を除去し、物体の表面反射率を得る必要がある。すなわち、観測スペクトルから照明と物体の分光特性を分離、復元する必要がある。

【0003】

画像などの、シーンから観測される色情報を手掛かりに、撮影シーン中の照明の分光分布や物体の表面反射率を、自動で推定する方法として、シーン中の物体色または照明色に関する仮定を置き、その仮定を手掛かりとして、照明と物体の分光特性を推定する方法が、既に提案されている。

【0004】

例えば、特許文献１に記載されている方法では、環境照明光が白色光であることと、反射率の平均値が灰色となることと、人の視覚特性としてエッジ領域の情報をもとに色を充填することを仮定している。この方法では、照明の分光分布と物体の表面反射率が予め保持されたそれぞれの主成分ベクトルと平均ベクトルの線型和となり、かつ上記仮定を満たすために必要なエネルギーを定義し、このエネルギーを最適化することで、照明の分光分布と物体の表面反射率を推定する。

【0005】

また、特許文献２に記載されている方法では、撮影画像中において肌色もしくは、または、グレーの物体の占める面積が広いことを仮定し、照明の範囲を黒体軌跡上の点に対応付け、色温度を変化させながら、仮定を満たすのに必要なエネルギーを算出、最適化することで色温度を推定する。この方法で推定された色温度をもとに照明を推定することが可能となる。

【0006】

上記関連技術による照明・反射率推定方法の構成図を図１１に示す。図１１の構成図は、特許文献１および特許文献２をもとに生成したブロック図である。上記関連技術は、色情報取得手段１と照明・反射率主成分ベクトル保存メモリ２、分光推定手段３とを備える。

【0007】

色情報取得手段１は、シーンから色情報を取得し出力する。照明・反射率主成分ベクトル保存メモリ２は、照明の分光分布および物体の表面反射率の制約範囲を示すため、主成分ベクトルと平均ベクトルを保持する。分光推定手段３は、照明の分光分布や物体の表面反射率をそれぞれの主成分ベクトルと平均ベクトルの線型和としつつ、予め設定された物体色もしくは照明色の仮定を満たすために必要なエネルギーを、色情報を用いて算出し、算出されたエネルギーを最適化する。更に、算出されたエネルギーが最適となるときの照明の分光分布と物体の表面反射率を推定値として出力する。

【先行技術文献】

【特許文献】

【0008】

【特許文献1】特開平０７−０６６９８６号公報

【特許文献2】特開２００３−２０９８５６号公報

【発明の概要】

【発明が解決しようとする課題】

【0009】

画像として観測された色情報からシーン中の照明色と物体色を分離し、それぞれの分光特性を復元することは不良設定問題となる。この問題を解決するために従来技術では、シーン中の物体色または照明色に関する仮定を設定することで、照明の分光分布と物体の表面反射率を復元する。そのため、設定した仮定を満たすような限られたシーンについては、精度よく照明の分光分布と物体の表面反射率を推定することができるが、仮定と一致しないシーンについては、照明および物体の分光特性の推定精度が悪化するという課題があった。

【0010】

本発明の目的は、上記課題に鑑みて発明されたものであって、その目的は、シーン中の物体色および照明色に関する仮定を用いることなく観測スペクトルから物体および照明の分光特性を精度よく復元する分光画像処理方法、分光画像処理装置およびプログラムを提供することにある。

【課題を解決するための手段】

【0011】

本発明は、シーンのマルチスペクトル画像から観測スペクトル情報を選択し、照明の基底ベクトルと表面反射率の基底ベクトルを用いて、照明の分光分布の制約範囲と物体の表面反射率の制約範囲を生成し、前記観測スペクトル情報と、前記照明の分光分布の制約範囲と、前記物体の表面反射率の制約範囲とを用いて、前記照明の基底ベクトルの重み係数と前記表面反射率の基底ベクトルの重み係数とをパラメタとする観測方程式を生成し、前記観測方程式から前記シーンの照明の分光分布と物体の表面反射率とを算出する分光画像処理方法である。

【0012】

本発明は、シーンのマルチスペクトル画像から観測スペクトル情報を選択するスペクトル情報選択手段と、照明の基底ベクトルと表面反射率の基底ベクトルを用いて、照明の分光分布の制約範囲と物体の表面反射率の制約範囲を生成する制約範囲生成手段と、前記観測スペクトル情報と、前記照明の分光分布の制約範囲と、前記物体の表面反射率の制約範囲とを用いて、前記照明の基底ベクトルの重み係数と前記表面反射率の基底ベクトルの重み係数とをパラメタとする観測方程式を生成する観測方程式生成手段と、前記観測方程式から前記シーンの照明の分光分布と物体の表面反射率とを算出する算出手段とを有する分光画像処理装置である。

【0013】

本発明は、コンピュータに、シーンのマルチスペクトル画像から観測スペクトル情報を選択する処理と、照明の基底ベクトルと表面反射率の基底ベクトルを用いて、照明の分光分布の制約範囲と物体の表面反射率の制約範囲を生成する処理と、前記観測スペクトル情報と、前記照明の分光分布の制約範囲と、前記物体の表面反射率の制約範囲とを用いて、前記照明の基底ベクトルの重み係数と前記表面反射率の基底ベクトルの重み係数とをパラメタとする観測方程式を生成する処理と、前記観測方程式から前記シーンの照明の分光分布と物体の表面反射率とを算出する処理とを実行させるプログラムである。

【発明の効果】

【0014】

本発明によれば、観測されたシーンに依らず、得られた分光スペクトル情報を手掛かりに、照明の分光分布および物体の表面反射率を安定して精度よく推定することができる。

【図面の簡単な説明】

【0015】

【図1】図１は本発明による第１の実施の形態の概要の構成図である。

【図2】図２は本発明による第１の実施の形態の構成図である。

【図3】図３は本発明による第１の実施の形態のフローチャートである。

【図4】図４は本発明による第２の実施の形態の構成図である。

【図5】図５は本発明による第２の実施の形態のフローチャートである。

【図6】図６は本発明による第３の実施の形態の構成図である。

【図7】図７は本発明による第３の実施の形態のフローチャートである。

【図8】図８は照明分光分布の基底ベクトルの例である。

【図9】図９はマクベスカラーチャート２４色の直流成分および主成分ベクトルから作られる表面反射率の基底ベクトルの例である。

【図10】図１０は照明分光分布の制約範囲のイメージを表した図である。

【図11】図１１は関連する技術の照明・反射率推定方法の構成図である。

【発明を実施するための形態】

【0016】

本発明は、シーンから観測された色情報を手掛かりに、シーン中の照明と物体の分光特性を推定する分光画像処理技術に関し、特に、高い波長分解能を持つカメラで観測された分光スペクトルを用いて、シーン中の物体色または照明色に関する仮定を置くことなく、照明の分光分布と物体の表面反射率を推定する分光画像処理技術に関する。

【0017】

以下、本発明の実施の形態について図面を参照して詳細に説明する。

【0018】

[第１の実施の形態]
図１は、本発明による第１の実施の形態の概要を示すブロック図である。図１に示す第１の実施の形態は、マルチスペクトル情報取得手段１１と、照明・反射率制約範囲保持メモリ１２と、色仮定なし分光推定手段１３を備える。

【0019】

本発明による第１の実施の形態を構成する各手段の概要を説明する。

【0020】

マルチスペクトル情報取得手段１１は、シーンから取得したマルチスペクトル情報をもとに、最適化に十分な数のスペクトル情報を抽出し、出力する。

【0021】

照明・反射率制約範囲保持メモリ１２は、照明の分光分布と物体の表面反射率の制約範囲を保持する。

【0022】

色仮定なし分光推定手段１３では、マルチスペクトル情報取得手段１１で算出された最適化に十分な数のスペクトル情報をもとに、照明・反射率制約範囲保持メモリ１２に保持された照明の分光分布と物体の表面反射率の制約範囲を満たすように、観測方程式を生成し、この観測方程式を解くことで、照明の分光分布と物体の表面反射率とを算出する。そして、色仮定なし分光推定手段１３は、算出した照明の分光分布と物体の表面反射率とを出力する。

【0023】

本発明による第１の実施の形態は、上述した関連技術の構成と比較して、マルチスペクトル情報取得手段１１と、照明・反射率制約範囲保持メモリ１２と、色仮定なし分光推定手段１３が異なる。以下、マルチスペクトル情報取得手段１１と、照明・反射率制約範囲保持メモリ１２と、色仮定なし分光推定手段１３の構成の詳細を説明する。

【0024】

マルチスペクトル情報取得手段１１は、図１１における色情報取得手段１と同様に、シーンからマルチスペクトル情報を得る。ただし、色情報取得手段１では、出力する色情報の数を考慮しないのに対し、マルチスペクトル情報取得手段１１は、後段の色仮定なし分光推定手段１３での処理を考慮し、最適化に必要な数のスペクトル情報を出力する点で異なる。ここでNは観測される分光スペクトルのバンド数、Mは観測される分光スペクトルの数、P_allは推定する全パラメタ数、P_Iは一つの照明の分光分布を再現するのに必要なパラメタ数、P_Rは一つの物体の表面反射率を再現するのに必要なパラメタ数を示すとすると、例えば、式（１）を満たす十分な数の線形独立なスペクトル情報を出力する。

【0025】

【数1】

図２は、本発明による第１の実施の形態を示すブロック図である。マルチスペクトル情報取得手段１１の内部の構成を説明する。図２に示すマルチスペクトル情報取得手段１１は、マルチスペクトル画像撮影手段１１１とスペクトル選択手段１１２とを備える。

【0026】

マルチスペクトル画像撮影手段１１１は、シーンのマルチスペクトル情報が記録されたマルチスペクトル画像を出力する。

【0027】

スペクトル選択手段１１２は、マルチスペクトル画像撮影手段１１１によって得たマルチスペクトル画像のデータの中から、例えば、式（１）の条件を満たす、線形独立な関係にある複数のスペクトル情報を選択し出力する。

【0028】

図１１における分光推定手段３では、予め設定した物体色または照明色に関する仮定に基づいて、シーン中の照明の分光分布および物体の表面反射率を推定する。具体的には、設定した物体色または照明色に関する仮定を満たすのに必要なエネルギーを定義し、これを最適化することにより、シーン中の照明の分光分布および物体の表面反射率を推定する。例えば、「物体色の平均が灰色である」（グレイワールド仮説）、「画像中の最も明るい物体は白色である」、「画像中に肌の色が含まれる」、「照明は白色である」などの仮定を満たすために必要なエネルギーを算出し、算出されたエネルギーが最適となるときの照明の分光分布および物体の表面反射率を推定値として出力する。

【0029】

一方、第１の実施の形態における色仮定なし分光推定手段１３は、物体色または照明色に関する仮定を用いることなく、照明の分光分布および物体の表面反射率を算出する。ここで、照明の分光分布と物体の表面反射率の制約範囲を用いて照明の分光分布および物体の表面反射率を高精度に推定する。これら分光特性の推定には、式（１）を満たす十分な数の線形独立なスペクトル情報と、照明の分光分布および物体の表面反射率のモデル式から観測方程式を生成し、この観測方程式を解くことで照明の分光分布および物体の表面反射率を推定値として出力する。

【0030】

色仮定なし分光推定手段１３の内部の構成を説明する。図２に示す色仮定なし分光推定手段１３は、観測方程式生成手段１３１と方程式計算手段１３２とを備える。

【0031】

観測方程式生成手段１３１では、N次元のベクトルである、照明の分光分布Iおよび物体の表面反射率R のモデルを、照明の分光分布の基底ベクトルI_pI^basisと物体の表面反射率の基底ベクトルR_pR^basisそれぞれに対し、可変な重み係数a_pI,b_pRを用いて式（２）のように生成し、モデル式（２）における基底ベクトルの各波長成分I_pI^basis (λ_n)、R_pR^basis (λ_n)と、式（１）を満たす最適化に十分な数の線型独立なスペクトル情報E_m(λ_n)（m=1,…,M, n=1,…,N）が与えられるとき、式（３）のような観測方程式を生成する。式（１）の条件から方程式の数が未知数の数以上となり、かつ、線形独立なスペクトル情報で構成されるため、照明の分光分布I(λ_n)と物体の表面反射率R(λ_n)の最適解が得られることになる。

【0032】

【数2】

【0033】

【数3】

方程式計算手段１３２は、式（３）に示す観測方程式を解く。

【0034】

第１の実施の形態の照明・反射率制約範囲保存メモリ１２は、照明分光分布や物体表面反射率の基底ベクトルを保持し、これら基底ベクトルを用いて、様々な制約方法によって制約された範囲に分布する照明分光分布および物体表面反射率を出力する。例えば、照明の分光分布の場合には、図８に示すように、日射モデルから計算される日射スペクトルの成分である、直達成分I₁^basis、散乱成分I₂^basisを基底ベクトルに用いることが考えられる。この日射モデルでは日時や場所などの容易に取得可能な照明条件によって、照明の分光分布の分布範囲が制約することが可能である。また、非特許文献１（新編色彩科学ハンドブック第2版 p69-72）に示すCIE昼光における、自然昼光の相対分光分布の平均ベクトルおよび主成分ベクトルを、照明の分光分布の基底ベクトルに用いることが考えられる。この主成分ベクトルの数を制限することや、非特許文献１に示される方法を用いて、主成分ベクトルの係数を相関色温度に基づいて計算することで、照明分光分布の分布範囲を制約できる。物体の表面反射率の場合には、被写体として計測される物体の反射率データベースの平均ベクトルおよび主成分ベクトルを基底ベクトルとして用いることが考えられ、この主成分ベクトルの数を制限することで物体の反射率の分布範囲を制約できる。例えば、図９に示すマクベスカラーチャートから生成した、平均ベクトルおよび主成分ベクトルを基底ベクトルとして用いることが考えられる。

【0035】

照明・反射率制約範囲保存メモリ１２の内部の構成を説明する。図２に示す照明・反射率制約範囲保存メモリ１２は、日射スペクトル成分計算手段１２１と表面反射率基底ベクトル保存メモリ１２２と有限次元線型和生成手段１２３とを備える。

【0036】

日射スペクトル成分計算手段１２１は、日射モデルなどを用いて算出される日射スペクトル成分などを算出し、各成分を、P_I（< N）個の基底ベクトルI_pI^basis ( p_I =1,…, P_I)として保持する。

【0037】

表面反射率基底ベクトル保存メモリ１２２は、P_R（<N）個の、物体表面反射率の基底ベクトルR_pR^basis ( p_R =1,…, P_R)を保持する。

【0038】

有限次元線型和生成手段１２３では、照明分光分布の基底ベクトルとして保持された日射スペクトル成分I_pI^basisと物体表面反射率の基底ベクトルR_pR^basisそれぞれに対し、可変な重み係数a_pI,b_pRを用いて、式（２）に示すように、線型和をとることで、照明の分光分布I、物体の表面反射率RをN次元のベクトルとして生成する。

【0039】

図１０は照明分光分布の制約範囲のイメージを表した図である。例えば、Nが３、P_Iが２のとき、図１０に示すように、照明の分光分布の波長毎の強度を各次元の座標の値とし、一つの照明の分光分布が座標上の一点として表わされる照明の分光分布が取り得る分布空間では、基底ベクトルの線型和として表わされる照明の分光分布は平面となる。

【0040】

すなわち、これは、照明の分光分布の取り得る範囲が制約されることを意味する。同様にして、式（２）の方法で、照明の分光分布I、物体の表面反射率Rを生成することで、照明の分光分布I、物体の表面反射率R がN次元の空間において取り得る範囲についても制約される。このようにして照明の分光分布Iと物体の表面反射率Rの制約範囲を算出する。

【0041】

図３は、本発明を実施するための第１の実施の形態における分光画像処理方法の動作を示すフローチャートである。

【0042】

マルチスペクトル画像撮影手段１１１は、シーンからマルチスペクトル情報を獲得し、マルチスペクトル画像を出力する（ステップＳ１０１）。

【0043】

スペクトル選択手段１１２は、マルチスペクトル画像からスペクトルを選択し、十分な数の線型独立なスペクトル情報を出力する（ステップＳ１０２）。

【0044】

日射スペクトル成分計算手段１２１は、自動で取得可能な照明条件を自動で取得する（ステップＳ１０３）。

【0045】

日射スペクトル成分計算手段１２１は、日射スペクトル成分を計算し、出力する（ステップＳ１０４）。

【0046】

限次元線型和生成手段１２３は、日射スペクトル成分と表面反射率基底ベクトル保存メモリ１２２に保持してある表面反射率の基底ベクトルをもとに、有照明の分光分布と物体の表面反射率の制約範囲をそれぞれ生成する（ステップＳ１０５）。

【0047】

観測方程式生成手段１３１は、十分な数の線型独立なスペクトル情報と照明分光分布と物体表面反射率の制約を用いて、最適解の得られる観測方程式を生成する（ステップＳ１０６）。

【0048】

方程式計算手段１３２は、最適解の得られる観測方程式を解き、物体の表面反射率および照明の分光分布を出力する（ステップＳ１０７）。

【0049】

第１の実施の形態は、マルチスペクトル情報取得手段１１によってシーンから十分な数の線型独立なスペクトル情報を獲得し、照明・反射率制約範囲保存メモリ１２に保持される照明の分光分布および物体の表面反射率の制約範囲を得ることで、色仮定なし分光推定手段１３を用いて物体色や照明色の仮定を用いずに、照明の分光分布と物体の表面反射率を推定することを可能としている。そのため、特定の仮定を満たすようなシーンでなくとも、安定して照明の分光分布および物体の表面反射率を精度よく推定することが可能となる。

【0050】

第１の実施の形態における分光画像処理方法は、日射スペクトル成分計算手段１２１を用いて日射スペクトル成分を計算することで、照明において狭い制約範囲を出力することを可能とする。照明において狭い範囲の制約を得ることで、観測方程式生成手段１３１は、推定するパラメタの数が減り計算の容易な観測方程式の生成が可能となり、その結果、方程式計算手段１３２は、高精度に推定された物体表面反射率および照明分光分布を出力することが可能となる。

【0051】

[第２の実施の形態]
図４は、本発明を実施するための第２の実施の形態を示すブロック図である。図４にも示されるように、本発明を実施するための第２の実施の形態における分光画像処理方法では、色仮定なし分光推定手段２３が第１の実施の形態における色仮定なし分光推定手段１３と異なり、その他の構成要素については第１の実施の形態と同様である。第１の実施の形態と同様の構成要素については、図２と同一の符号を付し、詳細な説明を省略する。

【0052】

第２の実施の形態では、色仮定なし分光推定手段２３は、照明・反射率推定値算出手段２３１と観測スペクトル推定値算出手段２３２と誤差算出手段２３３と誤差最適化手段２３４を備える。

【0053】

照明・反射率推定値算出手段２３１は、式（２）のような照明の分光分布I(λ_n)と、物体の表面反射率R(λ_n)の制約範囲のもと、照明の分光分布および物体の表面反射率の重み係数に初期パラメタを与えることで、照明の分光特性および物体の表面反射率の推定値を算出する。

【0054】

推定観測スペクトル推定値算出手段２３２は、照明・反射率推定値算出手段２３１で算出された照明の分光特性および物体の表面反射率の推定値を式（３）の右辺に代入し観測スペクトルの推定値を算出する。

【0055】

誤差算出手段２３３は、観測方程式（３）の誤差を考慮し、推定観測スペクトル推定値算出手段２３２で算出された観測スペクトル推定値（式（３）の右辺）と、最適化に十分な数の色情報として与えられた複数のマルチスペクトルから得られる観測値E_m(λ_n)を用いて、誤差を算出する。照明の分光分布、物体の表面反射率、観測スペクトルの計測誤差をそれぞれ、ε_I(λ_n), ε_R(λ_n), ε_L(λ_n)とすると、観測方程式（３）は式（４）のように表せる。これらの計測誤差の最適化を近似する方法として、例えば、式（５）に示すような最小二乗誤差エネルギーを定義し、このエネルギーを最小化する方法がある。

【0056】

【数4】

【0057】

【数5】

【0058】

誤差最適化手段２３４は、例えばLevenberg-Marquardt法などの非線型最適化方法や、粗密探索法を用いて、誤差算出手段２３３で算出される誤差を最適化する。具体的には、誤差が最小となるように、照明・反射率推定値算出手段２３１に与えるパラメタの更新を繰り返し、最終的に最適なパラメタから算出される物体の表面反射率および照明の分光分布を最適解として出力する。

【0059】

色仮定なし分光推定手段１３では、誤差最適化手段２３４で算出された照明の分光分布と物体の表面反射率の推定値を出力する。

【0060】

図５は、本発明を実施するための第２の実施の形態における分光画像処理方法動作の一例を示すフローチャートである。第１の実施の形態と同様の動作については図３と同一の符号を付し、詳細な説明を省略する。

【0061】

第２の実施の形態は、以下の点で第１の実施の形態と異なる。

【0062】

照明・反射率推定値算出手段２３１は初期パラメタと照明の分光分布と物体の表面反射率の制約範囲をもとに、照明の分光分布と物体の表面反射率の推定値を算出する（ステップＳ２０６）。

【0063】

観測スペクトル推定値算出手段２３２は照明の分光分布と物体の表面反射率の推定値をもとに、観測スペクトルの推定値を算出する（ステップＳ２０７）。

【0064】

誤差算出手段２３３は、観測スペクトルの推定値と、観測された十分な数の線型独立なスペクトル情報の誤差を算出する（ステップＳ２０８）。

【0065】

誤差最適化手段２３４は、誤差を用いて、誤差最適化手段ごとに設定された値を算出し、算出した値が予め規定された値より小さければステップＳ１０８に、小さくなければステップＳ２１０の動作に移動する（ステップＳ２０９）。

【0066】

誤差最適化手段２３４は、誤差を最小化するように照明・反射率推定値算出手段２３１に与えるパラメタを更新して、Ｓ２０６の動作に戻る（ステップＳ２１０）。

【0067】

[第３の実施の形態]
図６は、本発明を実施するための第３の実施の形態を示すブロック図である。図６にも示されるように、本発明を実施するための第３の実施の形態における分光画像処理方法では、マルチスペクトル情報取得手段２１が第１の実施の形態のマルチスペクトル情報取得手段１１と異なり、その他の構成要素については第１の実施の形態と同様である。第１の実施の形態と同様の構成要素については、図２と同一の符号を付し、詳細な説明を省略する。

【0068】

第３の実施の形態では、マルチスペクトル情報取得手段２１は、マルチスペクトル複数回数計測手段２１１を備える。

【0069】

マルチスペクトル複数回数計測手段２１１は、観測されたシーン中に十分な数の線形独立なスペクトル情報が含まれない場合に対応できるように、照明色が同一とみなせる範囲で、式（１）に示される条件を満たす十分な数の線形独立なスペクトル情報に達するまで異なるシーンを撮影し、後段の最適化に十分な数の線形独立な関係にある複数のスペクトル情報を出力する。

【0070】

即ち、複数回数計測手段２１１は、例えば、シーン中に十分な線形独立な観測スペクトルが存在しないような均一シーンの撮影において、十分な線形独立な観測スペクトルが得られるまでシーン撮影を繰り返す（動画撮影も含む）際に使用することができる。

【0071】

図７は、本発明を実施するための第３の実施の形態における分光画像処理方法動作の一例を示すフローチャートである。第１の実施の形態と同様の動作については図３と同一の符号を付し、詳細な説明を省略する。

【0072】

第３の実施の形態は、以下の点で第１の実施の形態と異なる。

【0073】

マルチスペクトル複数回数計測手段２１１は、シーンからマルチスペクトル情報を計測する（ステップＳ３０１）。

【0074】

マルチスペクトル複数回数計測手段２１１は、シーンから計測されたマルチスペクトル情報が、十分な数の線型独立なマルチスペクトル情報である場合はステップＳ１０６に、そうでない場合はステップＳ３０１に移動する（ステップＳ３０２）。

【0075】

第３の実施の形態における分光画像処理方法は、マルチスペクトル複数回計測手段２１１を備え、式（１）に示される条件を満たす十分な数の線形独立なスペクトル情報に達するまで異なるシーンを撮影することで、観測されたシーン中に十分な数の線形独立なスペクトル情報が含まれない場合でも、十分な数の線形独立なスペクトル情報を得るといった効果が得られる。

【0076】

尚、上述した説明からも明らかなように、各部をハードウェアで構成することも可能であるが、コンピュータプログラムにより実現することも可能である。この場合、プログラムメモリに格納されているプログラムで動作するプロセッサによって、上述した各実施の形態と同様の機能、動作を実現させる。また、上述した実施の形態の一部の機能のみをコンピュータプログラムにより実現することも可能である。

【0077】

また、上記の実施形態の一部又は全部は、以下の付記のようにも記載されうるが、以下には限られない。

【0078】

（付記１） シーンのマルチスペクトル画像から観測スペクトル情報を選択し、
照明の基底ベクトルと表面反射率の基底ベクトルを用いて、照明の分光分布の制約範囲と物体の表面反射率の制約範囲を生成し、
前記観測スペクトル情報と、前記照明の分光分布の制約範囲と、前記物体の表面反射率の制約範囲とを用いて、前記照明の基底ベクトルの重み係数と前記表面反射率の基底ベクトルの重み係数とをパラメタとする観測方程式を生成し、
前記観測方程式から前記シーンの照明の分光分布と物体の表面反射率とを算出する
分光画像処理方法。

【0079】

（付記２） 前記照明の分光分布の制約範囲と前記物体の表面反射率の制約範囲のもと、前記観測方程式の重み係数に初期パラメタを与えて、前記観測スペクトルの推定値を算出し、
前記観測スペクトル情報と前記観測スペクトルの推定値の誤差に基づき、前記重み係数を更新し、
前記誤差が所定内となったときの前記観測スペクトルの推定値を構成する照明の分光分布と物体の表面反射率とを、前記シーンにおける照明の分光分布と物体の表面反射率として算出する
付記１に記載の分光画像処理方法。

【0080】

（付記３） 前記観測スペクトル情報として、前記マルチスペクトル画像から線形独立なスペクトル情報を選択する
付記１又は付記２に記載の分光画像処理方法。

【0081】

（付記４） 前記照明の基底ベクトルとして、日射スペクトルの直達成分ベクトルと散乱成分ベクトルとを用いる
特徴とする付記１から付記３のいずれかに記載の分光画像処理方法。

【0082】

（付記５） 前記線形独立なスペクトル情報が前記照明の基底ベクトルの重み係数の個数と前記表面反射率の基底ベクトルの重み係数の個数の総和と同数かそれより多く観測できるまで複数回計測する
付記３又は付記４に記載の分光画像処理方法。

【0083】

（付記６） シーンのマルチスペクトル画像から観測スペクトル情報を選択するスペクトル情報選択手段と、
照明の基底ベクトルと表面反射率の基底ベクトルを用いて、照明の分光分布の制約範囲と物体の表面反射率の制約範囲を生成する制約範囲生成手段と、
前記観測スペクトル情報と、前記照明の分光分布の制約範囲と、前記物体の表面反射率の制約範囲とを用いて、前記照明の基底ベクトルの重み係数と前記表面反射率の基底ベクトルの重み係数とをパラメタとする観測方程式を生成する観測方程式生成手段と、
前記観測方程式から前記シーンの照明の分光分布と物体の表面反射率とを算出する算出手段と
を有する分光画像処理装置。

【0084】

（付記７） 前記算出手段は、
前記照明の分光分布の制約範囲と前記物体の表面反射率の制約範囲のもと、前記観測方程式の重み係数に初期パラメタを与えて、前記観測スペクトルの推定値を算出する手段と、
前記観測スペクトル情報と前記観測スペクトルの推定値の誤差に基づき、前記重み係数を更新する手段と、
前記誤差が所定内となったときの前記観測スペクトルの推定値を構成する照明の分光分布と物体の表面反射率とを前記シーンにおける照明の分光分布と物体の表面反射率として算出する手段と
を有する付記６に記載の分光画像処理装置。

【0085】

（付記８） 前記スペクトル情報選択手段は、前記マルチスペクトル画像から線形独立なスペクトル情報を選択する
付記６又は付記７に記載の分光画像処理装置。

【0086】

（付記９） 前記スペクトル情報選択手段は、前記照明の基底ベクトルとして、日射スペクトルの直達成分ベクトルと散乱成分ベクトルとを用いる
特徴とする付記６から付記８のいずれかに記載の分光画像処理装置。

【0087】

（付記１０） 前記スペクトル情報選択手段は、前記線形独立なスペクトル情報が前記照明の基底ベクトルの重み係数の個数と前記表面反射率の基底ベクトルの重み係数の個数の総和と同数かそれより多く観測できるまで複数回計測する
付記８又は付記９に記載の分光画像処理装置。

【0088】

（付記１１） コンピュータに、
シーンのマルチスペクトル画像から観測スペクトル情報を選択する処理と、
照明の基底ベクトルと表面反射率の基底ベクトルを用いて、照明の分光分布の制約範囲と物体の表面反射率の制約範囲を生成する処理と、
前記観測スペクトル情報と、前記照明の分光分布の制約範囲と、前記物体の表面反射率の制約範囲とを用いて、前記照明の基底ベクトルの重み係数と前記表面反射率の基底ベクトルの重み係数とをパラメタとする観測方程式を生成する処理と、
前記観測方程式から前記シーンの照明の分光分布と物体の表面反射率とを算出する処理と
を実行させるプログラム。

【0089】

以上、これまで述べてきた各実施の形態は、本発明の好的な実施形態であり、上記実施の形態のみに本発明の範囲を限定するものではなく、本発明の要旨を逸脱しない範囲に置いて種々の変更を施した形態での実施が可能である。

【0090】

本出願は、２０１１年１２月２８日に出願された日本出願特願２０１１−２８８８８６号を基礎とする優先権を主張し、その開示の全てをここに取り込む。

【符号の説明】

【0091】

１ 色情報取得手段
２ 分光推定手段
３ 照明・反射率主成分ベクトル保存メモリ
１１ マルチスペクトル情報取得手段
１２ 色仮定なし分光推定手段
１３ 照明・反射率制約範囲保存メモリ
２１ マルチスペクトル情報取得手段
２３ 色仮定なし分光推定手段
１１１ マルチスペクトル画像撮影手段
１１２ スペクトル選択手段
１２１ 日射スペクトル成分計算手段
１２２ 表面反射率基底ベクトル保存メモリ
１２３ 有限次元線型和生成手段
１３１ 観測方程式生成手段
１３２ 方程式計算手段
２１１ マルチスペクトル複数回計測手段
２３１ 照明・反射率推定値算出手段
２３２ 観測スペクトル推定値算出手段
２３３ 誤差算出手段
２３４ 誤差最適化手段

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】