特許 6671653 画像処理装置、画像処理方法及びプログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】6671653

(24)【登録日】2020年3月6日

(45)【発行日】2020年3月25日

(54)【発明の名称】画像処理装置、画像処理方法及びプログラム

(51)【国際特許分類】

   G01N 21/64 20060101AFI20200316BHJP

   G01J 3/36 20060101ALI20200316BHJP

【ＦＩ】

   G01N21/64 Z

   G01J3/36

【請求項の数】7

【全頁数】16

(21)【出願番号】特願2015-242719(P2015-242719)

(22)【出願日】2015年12月11日

(65)【公開番号】特開2017-106877(P2017-106877A)

(43)【公開日】2017年6月15日

【審査請求日】2018年11月27日

(73)【特許権者】

【識別番号】504202472

【氏名又は名称】大学共同利用機関法人情報・システム研究機構

(73)【特許権者】

【識別番号】504137912

【氏名又は名称】国立大学法人 東京大学

(74)【代理人】

【識別番号】110000925

【氏名又は名称】特許業務法人信友国際特許事務所

(72)【発明者】

【氏名】鄭 銀強

(72)【発明者】

【氏名】佐藤 いまり

(72)【発明者】

【氏名】佐藤 洋一

(72)【発明者】

【氏名】ラム アントニー

(72)【発明者】

【氏名】フー イン

【審査官】 伊藤 裕美

(56)【参考文献】

【文献】 国際公開第２０１５／０８０２７５（ＷＯ，Ａ１）

【文献】 特表平１０−５０９８１７（ＪＰ，Ａ）

【文献】 特開２０００−２６７０６２（ＪＰ，Ａ）

【文献】 特開２００３−３３７０６７（ＪＰ，Ａ）

【文献】 特表２００４−５１８１２４（ＪＰ，Ａ）

【文献】 特表２０１７−５２６８９９（ＪＰ，Ａ）

【文献】 特開２０１０−０８２１４１（ＪＰ，Ａ）

【文献】 米国特許出願公開第２００４／００６４２５９（ＵＳ，Ａ１）

【文献】 小橋 泰之 他，蛍光成分を含む物体の分光反射率・蛍光特性推定，情報処理学会研究報告 ，日本，２０１３年 １月２３日，Vol.2013-CVIM-185 No.2，1-6

【文献】 ZHENG, Yinqiang et al.，Spectra Estimation of Fluorescent and Reflective Scenes by Using Ordinary Illuminants，Euroean conference on Computer Vision ，２０１４年，ECCV 2014, Part V, LNCS 8693，pp.188-202

(58)【調査した分野】（Int.Cl.，ＤＢ名）

Ｇ０１Ｎ ２１／００ − ２１／７４

Ｇ０１Ｊ ３／００ − ３／５２

Ｇ０６Ｔ ７／００

ＪＳＴＰｌｕｓ／ＪＭＥＤＰｌｕｓ／ＪＳＴ７５８０（ＪＤｒｅａｍＩＩＩ）

(57)【特許請求の範囲】

【請求項1】

蛍光が持つ周波数成分よりも高い周波数成分が複数の波長帯域に含まれる特性の照明光を発光させる光源と、
前記光源による照明光が照射された被測定対象物を、複数の波長帯域に分光して撮影することで分光成分を得る分光カメラと、
前記分光カメラで得た１フレームの画像データの複数の波長帯域ごとの分光成分から、前記被測定対象物の分光反射率を複数の基底で近似する主成分分析部と、
前記照明光の特性と前記主成分分析部で得た複数の基底とを使った演算で、前記被測定対象物の蛍光を推定する蛍光推定部とを備えた
画像処理装置。

【請求項2】

前記照明光に含まれる前記高い周波数成分には、少なくとも１０nmよりも長い波長の周波数成分が含まれるようにした
請求項１に記載の画像処理装置。

【請求項3】

蛍光が持つ周波数成分よりも高い周波数成分が複数の波長帯域に含まれる特性の照明光を発光させる前記光源は、高輝度放電ランプである
請求項１又は２に記載の画像処理装置。

【請求項4】

蛍光成分が持つ周波数成分よりも高い周波数成分が複数の波長帯域に含まれる特性の照明光が照射された被測定対象物を、分光カメラで複数の波長帯域に分光して撮影する撮影工程と、
前記撮影工程で撮影して得た１フレームの画像データの複数の波長帯域ごとの分光成分から、前記被測定対象物の分光反射率を複数の基底で近似する主成分分析工程と、
前記照明光の特性と前記主成分分析工程で得た複数の基底とを使った演算で、前記被測定対象物の蛍光を推定する蛍光推定工程とを含む
画像処理方法。

【請求項5】

前記照明光に含まれる前記高い周波数成分には、少なくとも１０nmよりも長い波長の周波数成分が含まれるようにした
請求項４に記載の画像処理方法。

【請求項6】

前記照明光を発光させる光源として、不均一の高周波成分が含まれる発光強度の照明光を発光させる高輝度放電ランプを使用した
請求項４又は５に記載の画像処理方法。

【請求項7】

蛍光成分が持つ周波数成分よりも高い周波数成分が複数の波長帯域に含まれる特性の照明光が照射された被測定対象物を、複数の波長帯域に分光して撮影する撮影手順と、
前記撮影手順で撮影して得た１フレームの画像データの複数の波長帯域ごとの分光成分から、前記被測定対象物の分光反射率を複数の基底で近似する主成分分析手順と、
前記照明光の特性と前記主成分分析手順で得た複数の基底とを使った演算で、前記被測定対象物の蛍光を推定する蛍光推定手順とを、
コンピュータに実装させて実行する
プログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、被測定物を撮影した画像から、反射光と蛍光を推定する画像処理装置及び画像処理方法、並びにその画像処理方法を適用したプログラムに関する。

【背景技術】

【0002】

物体に光を照射したとき、その物体を見ている観察者には、その物体の表面で入射光がそのまま反射して生じる反射光が観察されるだけでなく、物体の性質によっては、物体（物資）が光を吸収して蛍光発光する場合がある。蛍光は、その蛍光を励起する光を物体へ照射したときに、照射した光とは異なる波長の光を物体が発光する現象である。反射光は、物体に入射した光と同じ波長の光を反射するのに対して、蛍光の場合には、物体に入射して吸収される光（吸光）の波長よりも長い波長の光を発光する。

【0003】

図１２は、３つの物体（レタス，トマト，バター）についての、可視光の領域での反射光の特性例を示す。この図１２の縦軸に示す反射率は、それぞれの物体ごとに個別に測定した相対値であり、３つの物体での反射光の大小関係を示すものではない。
例えば、レタスａは、緑色の領域で反射率が上昇する。したがって、観察者にはレタスが緑色に見える。また、トマトｂは、赤色の領域で反射率が上昇する。したがって、観察者にはトマトが赤色に見える。
それぞれの色（波長）の反射光は、それぞれの物体に照射される光をそのまま反射する。つまり、緑色の波長帯の光をレタスに照射することでレタスが緑色に見え、赤色の波長帯の光をトマトに照射することでトマトが赤色に見える。
一方、上述した蛍光の場合には、それぞれの物体に入射する光とは異なった波長の光である長波長側の光を出射する。蛍光成分は、様々な物体から発することが知られているが、物体によって波長や分布特性は変化する。

【0004】

従来、反射光と蛍光を区別して正確に検出するためには、非常に複雑で精度の高い解析装置が必要であった。例えば、紫外光および可視光の波長帯域を複数の狭い帯域に分割して、それぞれの帯域ごとの光を被測定対象物に照射する。そして、その被測定対象物が発する光の波長を光スペクトルアナライザなどの測定器で測定する。測定器で測定された光が、照射した光と同じ波長の成分だけのときには、反射光だけと判断される。また、測定器で測定された光が、照射した光よりも長い波長域であるとき、その長い波長域の光は蛍光と判断される。

【0005】

このように、狭い帯域に分割された紫外光および可視光による光の発光と測定を、可視光の全ての波長範囲で行うことで、被測定対象物の反射光と蛍光とを分離して検出することができる。
被測定対象物の反射光と蛍光を正確に検出することで、例えば農作物などの植物の産地や種類などが判る。例えば、マンゴの蛍光成分の波長分布は、産地によって異なることが知られている。具体的には、日本の沖縄産のマンゴと、日本の宮崎産のマンゴと、台湾産のマンゴは、蛍光成分の波長分布から正確に判別することができる。また、蛍光成分の波長分布から、そばに含まれるそば粉の量が判るとも言われている。

【0006】

特許文献１には、標本が発する蛍光波長帯域を特定するために、異なる複数の波長帯域で撮影し、それらの画像から蛍光の特徴量を算出する技術について記載されている。
特許文献２には、所定の波長間隔で強弱を繰り返す波長特性のプログラマブル光源を用意し、そのプログラマブル光源の強弱が入れ替わる２つの照明光で被写体を照射して、それぞれの照明光ごとに撮影を行い、２回撮影した画像の差分から蛍光を検出する技術が記載されている。

【先行技術文献】

【特許文献】

【0007】

【特許文献1】特開２０１３−１１４２３３号公報

【特許文献2】国際公開ＷＯ２０１５／０８０２７５号

【発明の概要】

【発明が解決しようとする課題】

【0008】

特許文献１に記載されているように、波長帯域が狭い複数の帯域ごとに撮影を行って、蛍光を検出するためには、非常に多くの撮影回数が必要であり、撮影作業に手間がかかるという問題があった。特に、対象物体の１点の蛍光成分を計測するのではなく、対象物体全体や対象シーン全体を計測する場合には、さらに計測に要する時間がかかり、非常に困難な作業になるという問題があった。また、光スペクトルアナライザなどの測定器は非常に高価であって、かつその取り扱いも複雑な機器であり、これを利用した解析システムも高額になってしまうという問題があった。

【0009】

これに対して、特許文献２に記載されている技術では、光源の条件を変えて２回の撮影を行い、２回撮影した画像の差分から蛍光を検出するようにしている。これにより、光スペクトルアナライザなどの特殊な測定器を用いることなく、簡単に蛍光を検出することができるという利点がある。
しかしながら、特許文献２に記載された技術では、１つの被測定対象物に対して、光源の条件を変えて２回の撮影を行う必要があり、動いている対象物は測定できないという問題がある。また、特許文献２に記載された技術で用いられるプログラマブル光源は、極めて高価な特殊な光源が必要とされるという問題があった。

【0010】

本発明は、被測定物が動いている物体であっても、蛍光を正確かつ簡単に推定することが可能な画像処理装置、画像処理方法及びプログラムを提供することを目的とする。

【課題を解決するための手段】

【0011】

本発明の画像処理装置は、蛍光の分光分布が持つ周波数成分よりも高い周波数成分が複数の波長帯域に含まれる特性の照明光を発光させる光源と、この光源による照明光が照射された被測定対象物を、複数の波長帯域に分光して撮影することで分光成分を得る分光カメラと、分光カメラで得た１フレームの画像データの複数の波長帯域ごとの分光成分から、被測定対象物の分光反射率と蛍光を複数の基底で近似する主成分分析部と、照明光の特性と主成分分析部で得た複数の基底とを使った演算で、被測定対象物の反射および蛍光を推定する蛍光推定部とを備えた。

【0012】

また、本発明の画像処理方法は、蛍光成分の分光分布が持つ周波数成分よりも高い周波数成分が複数の波長帯域に含まれる特性の照明光が照射された被測定対象物を、分光カメラで複数の波長帯域に分光して撮影する撮影工程と、撮影工程で撮影して得た１フレームの画像データの複数の波長帯域ごとの分光成分から、被測定対象物の分光反射率と蛍光成分を複数の基底で近似する主成分分析工程と、照明光の特性と主成分分析部で得た複数の基底とを使った演算で、被測定対象物の反射と蛍光を推定する推定工程とを含む。

【0013】

また、本発明のプログラムは、上記画像処理方法の各工程をコンピュータで実行するために、コンピュータに実装して利用されるものである。

【発明の効果】

【0014】

本発明によると、蛍光の分光分布が持つ周波数成分よりも高い周波数成分が複数の波長帯域に含まれる特性の照明光で照明された被測定対象物を撮影することで、観察される反射光成分が基底と高周波の照明光の積として表現され、蛍光成分の基底とは相違するため、撮影画像に含まれる反射光成分と蛍光成分を分離する演算が可能になり、蛍光を正確に推定できるようになる。

【図面の簡単な説明】

【0015】

【図1】本発明の一実施の形態例によるシステムを示す構成図である。

【図2】照明光と分光反射率、吸収成分及び蛍光発光の一般的な関係を示す説明図である。

【図3】照明光に高周波成分がない場合（図３Ａ）と高周波成分がある場合（図３Ｂ）の反射および蛍光変化の例を示す説明図である。

【図4】本発明の一実施の形態例による処理の流れを示すフローチャートである。

【図5】本発明の一実施の形態例によるさまざまな物体の分光反射率の例（図５Ａ）と、ある物体の分光反射率の上位５個の基底の例（図５Ｂ）を示す特性図である。

【図6】本発明の一実施の形態例によるｎ個の基底の線形和の例を示す図である。

【図7】本発明の一実施の形態例を適用して蛍光を推定する場合の理想的な光源の特性の一例を示す図である。

【図8】本発明の一実施の形態例を適用して蛍光を推定する場合のプログラマブル光源の特性の一例を示す図である。

【図9】本発明の一実施の形態例を適用して蛍光を推定する場合のＨＩＤランプの特性の一例を示す図である。

【図10】本発明と比較するために、蛍光推定に適用できない光源の例を示す特性図である。

【図11】本発明の一実施の形態例で反射及び蛍光成分を推定した例の図であり、図１１Ａは緑色に観察される対象物体の反射と蛍光成分を示し、図１１Ｂは赤色に観察される対象物体の反射と蛍光成分を示す。

【図12】反射特性の例を示す図である。

【発明を実施するための形態】

【0016】

以下、本発明の一実施の形態例（以下、「本例」と称する。）を、図１〜図１１を参照して説明する。

【0017】

［１．システム構成例］
図１は、本例の画像処理装置のシステム全体を示す図である。このシステムは、被測定対象物である被写体９０からの反射光を検出し、検出した反射光成分を使った演算で、被写体９０が発する反射ならびに蛍光を推定するものである。

【0018】

被写体９０は、光源２０からの照明光が照射された状態で、カメラ４０によって撮影される。光源２０が発する照明光としては、本例の場合、検出（推定）する蛍光成分の分光分布が持つ周波数成分よりも高い周波数成分が複数の波長帯域に含まれる特性のものとする。このような条件を満たす光源の１つとして、例えば高輝度放電ランプ（High Intensity Discharge lamp：以下「ＨＩＤランプ」と称する。）がある。ＨＩＤランプは、自動車の前照灯などに使用されている。ＨＩＤランプを使用するのは１つの例であり、蛍光成分が持つ周波数成分よりも高い周波数成分が複数の波長帯域に含まれる特性の照明光を発する光源であれば、その他の方式の光源を使用してもよい。また、この照明光の特性の具体的な例は後述する。

【0019】

そして、光源２０が照明光を出力した状態で、撮影工程でカメラ４０が被写体９０の撮影を行う。
カメラ４０としては、可視光の帯域を含む範囲を所定数の帯域（例えば３０帯域）に分割して、その分割した帯域ごとに各画素のデータを得る分光カメラが使用される。また、カメラ４０は、所定のフレームレートで連続して撮影を行うことで、動画像の撮影が可能なものを使用するが、被写体９０が静止している場合には、静止画像を撮影するカメラ４０を使用してもよい。

【0020】

カメラ４０が撮影して得た画像データは、画像処理部３０に送られ、画像処理部３０によって、画像内の画素ごとに反射成分と蛍光成分を推定する演算処理が行われる。
画像処理部３０は、カメラ画像から反射および蛍光を推定するための処理部として、主成分分析部３１と蛍光推定部３２とを備える。
主成分分析部３１は、分光反射率と蛍光発光の主成分分析工程を行い、分光反射率および蛍光発光の分光分布を特定数の基底の線形モデルに変換する。この主成分分析部３１は、例えばフーリエ変換で分光反射率を周波数解析することで、特定数の基底の線形モデルを得る。但し、主成分分析部３１がリアルタイムで周波数解析するのは１つの例であり、周波数解析を行う代わりに、分光反射率と基底の線形モデルとの対応のデータをデータベースとして持ち、データベースを参照して分光反射率から基底の線形モデルを得るようにしてもよい。ここでは、データベースを使って基底の線形モデルを得る処理を適用する。また、色の分光反射率のデータベースから分光反射率の基底の線形モデルを求め、蛍光発光の分光分布を示すデータベースからは、蛍光の基底の線形モデルについても得る。
そして、分光反射率の線形基底と、蛍光の基底線形（但し係数が未知）と、照明光の特性とに基づいて、蛍光推定部３２が反射成分と蛍光成分を推定する。反射成分と蛍光成分を推定する処理は、反射ならびに蛍光の基底線形の係数を推定する処理であり、詳細は後述する。

【0021】

そして、画像処理部３０は、カメラ４０が撮影して得た画像データから、反射ならびに蛍光推定部３２で推定した反射と蛍光成分各成分を抽出した画像データを得る。画像処理部３０で得られた反射成分のみと蛍光成分のみを表す各画像データは画像表示部５０に供給され、画像表示部５０で反射および蛍光成分の画像が表示される。
また、画像処理部３０で得られた蛍光の画像データは、特性解析部６０に供給される。特性解析部６０は、蛍光の画像データから、被写体９０の蛍光特性の分布状態を解析する。なお、特性解析部７０は、反射光成分の分布状態や、吸光成分の分布状態を解析してもよい。画像処理部３０での処理は、制御部１０の制御下で実行される。

【0022】

［２．蛍光を推定する原理の説明］
次に、本例の画像処理装置が蛍光を推定する原理を、図２〜図６を参照して説明する。
図２は、ある物体を照明光Ｌで照らしたとき、その物体を観察した光に含まれる蛍光成分Ｅの例を説明するための図である。図２において横軸は波長であり、縦軸は強度である。
照明光を照射して観察される物体表面の色は、照明光の分光分布と物体表面の分光反射率の積であることが知られている。分光反射率は、入射光の各波長に対する反射の割合を示す。

【0023】

ここで、測定対象となる物体が全く蛍光を発しない場合には、照明光の分光分布と物体表面の分光反射率の積が、撮影画像の各画素の分光値になる。例えば、照明光の分光分布をｌ（λ）、物体の分光反射率をｒ（λ）としたとき、撮影画像として取り込んだ反射光の分光分布Ｐ_１（λ）は、次の式で求まる。

この式は蛍光がない場合であるが、実際には多くの物質は、図２に示すように蛍光成分Ｅ（λ）を含んでいる。つまり、観察光の分光分布Ｐ（λ）には、分光分布ｌ（λ）と分光反射率Ｒ（λ）に、蛍光成分Ｅ（λ）を加算する必要がある。但し、蛍光成分Ｅ（λ）には、照明光と吸光度との積で示される係数が乗算される。この係数は蛍光発光の強度を決定するものであり、物体の表面での各派長の光の吸収度合いを示す吸光度ａ（λ）と分光分布ｌ（λ）の積分により求められる。

吸収成分ａ（λ）は、蛍光成分ｅ（λ）とは異なる波長域，短波長側に現われる。
最終的に反射成分と蛍光成分が観察される場合の式は、

ここで、ｐ₁(λ)は観察光p(λ)に含まれる反射成分，ｐ_２(λ)は観察光p(λ)に含まれる蛍光成分を表している。
各波長での観察光p(λi)は、以下の行列式で表すことができる。

本発明で必要な処理は、観察光ｐ(λ)から分光反射率r(λ)と蛍光e(λ)を推定することであるが、観測値の数が未知数よりも少ないため、推定は困難となる。すなわち、ｎ個の観測値（p(λ1), p(λ2), …, p(λn)）に対して、未知数が2n (（r(λ1), r(λ2), …, r(λn)およびe(λ1), e(λ2), …, e(λn)）となってしまうため、推定は不可能である。推定する未知数の数をｎ以下に減らすため，本発明では分光反射率r(λ)と蛍光発光成分e(λ)を、基底表現を用いて表す。

【0024】

図３Ａ及び図３Ｂは、物体に照明光を照射したときの反射光の特性l(λ)r(λ)（各図の左側）と、蛍光成分の特性we(λ)（各図の右側）とを、並べて示す。各特性図において、横軸は波長を示し、縦軸は強度を示す。
図３Ａは、物体に照射した照明光が、図１で説明した条件を持たない、すなわち蛍光成分に含まれる高周波成分よりも高い周波数成分を持たないもの（ハロゲン球や太陽光のように滑らかな分光分布を持つ照明光）の場合の反射光と、特定の波長域に現われる蛍光成分を示す。

【0025】

一方、図３Ｂは、物体に照射した照明光が、蛍光成分に含まれる高周波成分よりも高い周波数成分を持ったものである場合の反射光と、特定の波長域に現われる蛍光成分を示す。ここでEaは図３Ａで説明した照明光の分光分布と蛍光物質の吸光度のもとで計算される蛍光の強度を示しており、Ebは図３Ｂの照明光のもとで分光分布と蛍光物質の吸光度もとで計算される蛍光の強度を示し，図３ＡとＢの蛍光成分を比較すると照明光に高周波成分が含まれる場合でも、蛍光成分の形態は変化しないことが分かる。照明光に高い周波数成分が含まれる。光源の例の詳細は後述するが、例えば一例として図９Ａに示すような特性の光源がある。このため、その照明光を反射した反射光にも、シャープな成分が含まれる。例えば、図３Ｂに示すようなシャープな成分Ｐａ，Ｐｂ，Ｐｃが反射光に含まれる。

【0026】

本発明では、この図３Ｂに示すように、照明光に高周波な成分が含まれる場合に反射光成分に照明光のシャープな成分が含まれることと、蛍光成分については、照明光が高周波な分光分布を持つ場合にも蛍光発光波長の形態が変化しないことを利用して、演算で蛍光成分を推定する処理を行うようにしている。

【0027】

図４は、本例の画像処理装置が被写体を撮影して蛍光成分を推定するまでの手順を示す。
まず、制御部１０からの指示に基づいて、光源２０からの照明光Ｌで照らされた被写体を、カメラ４０が１フレームの撮影を行い、画像処理部３０が１フレームの分光画像を取り込む（ステップＳ１１）。

【0028】

画像処理部３０の主成分分析部３１は、データベースを用いた分光反射率の主成分分析を行い、k1個（k1は整数：例えば８）の基底の線形モデルを得る。ここでは、画像処理部３０は、分光反射率と基底の線形モデルとの対応が格納されたデータベースを持ち、そのデータベースを使って分光反射率から対応したk１の基底の線形モデルで近似したものを推定していく。
また、蛍光成分についても、k2個（k2は整数：例えば１２）の基底の線形モデルで近似したものを得る（ステップＳ１２）。この蛍光成分についても、蛍光発光のデータベースを使って、k2個の基底の線形モデルを得る。但し、この時点では反射成分ならびに蛍光成分は推定前であるため、反射成分および蛍光成分の基底の係数は未知であり、係数が未知の基底の線形モデルを得る。なお、基底数k1とk2は異なる数としたが、同じ数でもよい。
分光反射率をk1個の基底の線形モデルで表現するときには、例えば上位８個程度の限られた数の線形基底で、分光反射率の大部分の成分を表現できることが知られている。蛍光成分についても、同様に１２個程度の線形基底で、蛍光成分の大部分の成分を表現できることが知られている。
さらに、画像処理部３０の蛍光推定部３２は、分光反射率の基底数をk1、蛍光成分の基底数をk2とし、照明光Ｌの特性を使った行列式の演算で、蛍光成分の推定値を算出する（ステップＳ１３）。反射成分および蛍光成分の推定に使用する行列式は後述する。

【0029】

図５は、分光反射率をk1個の基底の線形モデルで表現した例を示す。図５Ａは、さまざまな物質の分光反射率を示す。図５Ａにおいて、横軸は波長であり、縦軸は反射率の強度を示す。図５Ｂは、特定の１つの物質の分光反射率の上位k1個（ここではk1は５）の基底を用いた線形モデルを示す。図５Ｂにおいて、横軸は波長であり、縦軸は関数値を示す。

【0030】

図６は、ｎ個の基底の線形モデルにより分光反射率を分解して示すものである。
すなわち、図６の左端に示す分光反射率の特性は、係数α_１，係数α_２，係数α_３，・・・，係数α_k1のk1個の異なる係数と対応した基底の線形モデルに分解することができる。つまり、１つの分光反射率が、k1個の異なる周波数成分に分解される。

【0031】

図６で記述した分光反射率の線形モデルによる近似は以下の式で表すことができる。ここでは、k1個（k1次元）の基底を用いた線形モデルの例である。α_ｊはｊ番目の基底の係数であり、ｂ_ｊ（λ）は、ｊ番目の反射率の基底の形である。

全ての波長における分光反射率は行列式として記述できる。

【0032】

ある照明光l（λ）のもとで観察される反射成分p1(λ)は、分光反射rを基底bjで表現して記述することができる。

照明光l(λ)が高い周波数分布を持つ場合（蛍光成分に含まれる高周波成分よりも高い周波数成分）、光源l(λ)と基底bj(λ)の積も、光源２０が出力する照明光が持つ高い周波数成分を示すことになる。図７〜９に基底と照明光の積の分光分布の例を示す。
同様に、蛍光成分の線形モデルによる近似は以下の式で表すことができる。β_ｊはｊ番目の基底の係数であり、c_ｊ（λ）は、ｊ番目の蛍光成分の基底の形である。

ある照明光l（λ）のもとで観察される蛍光成分p2(λ)は、蛍光発光eを基底ｃjで表現して記述することができる。

wは物体の表面での各派長の光の吸収度合いを示す係数であり、吸光度a（λ）と分光分布ｌ（λ）の積分により求められる。
蛍光成分の場合、観察される分光は吸収成分a（λ）と分光分布l（λ）の積分により計算される係数wをe(λ)かけるだけであり、観察される蛍光成分の周波数は蛍光基底の最高周波数は変化しない。このことは，照明光が高周波な分布を持つ場合にも発光波長の形態が変化しないことを意味している。

【0033】

そして、画像処理部３０の蛍光推定部３２では、このようにｎ個の基底の線形モデルで表現された分光反射率と、照明光ｌの特性とを使って、蛍光成分を推定する処理が行われる。基底表現を用いて、反射成分と蛍光成分を含む観察光は以下の行列式で記述できる。

蛍光成分の線形係数βをw倍した係数β’を定義すると，次式を得る。

この式にもとづき、分光反射を表す線形係数αi(i=1,..k1)と蛍光成分を表すβ’i
i(i=1,..k2)を推定する。
反射特性と線形係数αと蛍光特性を表すβ’を推定できれば基底の線形和により獲反射特性および特性を計算することができる。ここで，未知数はk1+k2個であり、k1+k2が観察数以下、すなわちk1+k2<=nの場合、この式を解くことができる。

【0034】

上記の行列式で分光反射率の基底bjと蛍光成分の基底cjは似た分光特性を持つため、ハロゲン球や太陽光のように滑らかな分光分布を持つ照明光のもとで観察される明るさp(λ)を用いて双方の係数αとβを安定に求めることは難しい。すなわち、上述した行列式から反射光と蛍光とを分離することは極めて難しくなる。そこで，本発明では、光源２０が出力する照明光の分光分布を考慮して、上記の式のうち，基底の積l(λ)bj(λ)が、蛍光成分の基底cj(λ)とは異なる特性を持たせることで、線形係数αjとβ’jを安定に求めるものである。

【0035】

先に説明した通り、照明光が高い周波数を持つ場合には、観察される反射成分（分光反射率rと光源lの積）が蛍光成分eよりも高い周波数成分を持つ。同様に反射成分を近似した基底表現においても、分光反射率を近似する基底bj（λ）と照明光l(λ)の積も高い周波数を持つことになる。このため、分光反射率の基底と照明光の積分（l(λ)bj(λ)）で得られた分光特性は、蛍光成分を近似する基底cj（λ）と分光分布が相違し、蛍光推定部３２で上述した行列式を解くことができ、推定された線形係数αと基底b(λ)の線形和により分光反射率r(λ)が復元でき、推定された線形係数βと基底c(λ)の線形和により蛍光成分、蛍光成分ｅ（λ）をw倍した分光分布we(λ)が復元できる。但し、行列式を解いて蛍光成分eを精度良く推定するためには、照明光に含まれる高周波成分（シャープな成分）が、ある程度広い帯域内に分散して複数存在する必要がある。

【0036】

このようにして反射成分Ｒと蛍光成分Ｅが得られることで、画像処理部３０は、被測定物を撮影した分光画像を、反射成分Ｒと蛍光成分Ｅの画像に変換することができる。画像処理部３０で得られた反射成分Ｒと蛍光成分Ｅの画像は、画像表示部５０により表示される。また、特性解析部６０は、蛍光成分Ｅの分布特性が解析できるようになる。

【0037】

［３．光源の例］
図７〜図９は、上述した条件を満たす照明光の例を示す。図７〜図９のＡは４２０ｎｍ〜７００ｎｍの帯域の照明光の波長特性を示し、Ｂは照明光の分光分布の周波数を示し、Ｃはk1個の全ての基底を重ねて示す。図７〜図９のＡの横軸は波長、縦軸はレベルを示し、図７〜図９のＢの横軸は、分光分布の周波数を波長（ｎｍ）で示し、例えば特定の波長位置のレベル（縦軸）が高いとき、その波長成分（高周波成分）が、照明光に多く含まれることを示す。図７〜図９のＣの横軸は、分光反射率の基底と照明光の積の周波数成分を示す。

【0038】

図７Ａは、照明光の波長特性として、非常にシャープな多くの帯域に分散して存在する理想的な照明光をシミュレーションで算出した例を示す。この波長特性の場合には、図７Ｂに示すように、高周波成分ｆ_１に１０ｎｍよりも長い波長（つまり高周波成分）が多く含まれていることが判る。また、図７Ｃに示す基底と照明光の積の分布を見た場合にも、それぞれの基底に１０ｎｍを超える長い波長の成分が多く存在することが判る。
この図７に示すような理想的な特性の照明光を出力する光源を用意することで、蛍光の推定を良好に行うことができる。但し、現状ではこのような理想的な特性を持つ光源を得るのは困難である。

【0039】

図８Ａは、光源としてプログラマブル光源を使用して、比較的短い一定の波長間隔で強度が変化するようにした照明光の例を示す。この波長特性の場合には、図８Ｂに示すように、高周波成分ｆ_２が、特定個所（約２０ｎｍ）に集中している。また、図７Ｃに示す基底と照明光の積を見た場合にも、それぞれの基底に１０ｎｍを超える長い波長の成分が多く存在することが判る。
プログラマブル光源を用意して、この図８に示すような照明光を出力させることで、蛍光の推定を良好に行うことができる。但し、このようなプログラマブル光源は高価であり、容易に入手できる光源ではない。

【0040】

図９Ａは、光源としてＨＩＤランプを使用して、高い周波数成分であるシャープで強度が強い箇所が、複数の帯域にそれなりに分散した照明光の例を示す。この波長特性の場合には、図９Ｂに示すように、高周波成分ｆ_３が、１０ｎｍよりも長い波長域で比較的多く存在している。図９Ｃに示す基底表現で見た場合にも、それぞれの基底に１０ｎｍを超える長い波長の成分が多く存在することが判る。
ＨＩＤランプを用意して、この図９に示すような照明光を出力させることで、蛍光の推定を良好に行うことができる。ＨＩＤランプは広く普及した光源であるから、比較的容易に入手することができる。
したがって、光源としてＨＩＤランプを使用することで、蛍光成分を良好に推定することができる画像処理装置を比較的容易に得ることが可能である。

【0041】

図１０は、本発明において、利用することができない光源の特性を参考（比較例）として示したものである。
図１０では、蛍光灯の特性（図１０の左端）、カラーＬＥＤ（Light Emitting Diode）ランプの特性（図１０の中央）、及び、白色ＬＥＤの特性（図１０の右側）を示している。各特性ともに、図７〜図９と同様に、図１０Ａは４２０ｎｍ〜７００ｎｍの帯域の照明光の波長特性を示し、図１０Ｂは照明光の高周波成分を示し、図１０Ｃはｎ個の全ての基底と照明光の分布との積を重ねて示す。

【0042】

蛍光灯の場合、図１０Ｂに高周波成分ｆ_４として示すように、１０ｎｍよりも長い波長成分が少なく、図１０Ｃに示す照明と基底の積でも、１０ｎｍよりも長い成分が少なく、蛍光成分を推定するのに適さない。
カラーＬＥＤの場合についても、図１０Ｂに高周波成分ｆ_５として示すように、１０ｎｍよりも長い波長成分が少なく、図１０Ｃに示す照明と基底の積でも、１０ｎｍよりも長い成分が少なく、蛍光成分を推定するのに適さない。
白色ＬＥＤの場合についても、図１０Ｃに高周波成分ｆ_６として示すように、１０ｎｍよりも長い波長成分が殆どなく、図１０Ｃに示す照明と基底の積でも、１０ｎｍよりも長い成分が殆どなく、蛍光成分を推定するのに適さない。
これら図１０に示す光源を使用した場合には、先に説明した行列式に基づいた演算で蛍光成分を算出しようとしても、適切な推定結果が得られない。

【0043】

［４．蛍光を推定した例］
図１１は、本例の画像処理装置で蛍光成分を推定した例を示す。
図１１Ａは、ある物質の緑の反射光（左側）と、緑の蛍光成分（右側）の例を示す。
図１１Ａの左側に示す３つの反射光Ｒ_Ｇ１，Ｒ_Ｇ２，Ｒ_Ｇ３は、それぞれ正確な反射光成分、プログラマブル光源を使った場合の反射光成分、ＨＩＤランプを使った場合の反射光成分を示す。また、図１１Ａの右側に示す３つの蛍光成分Ｅ_Ｇ１，Ｅ_Ｇ２，Ｅ_Ｇ３は、それぞれ正確な蛍光成分、プログラマブル光源を使った場合の蛍光成分、及び、ＨＩＤランプを使った場合の蛍光成分を示す。正確な反射光成分Ｒ_Ｇ１及び蛍光成分Ｅ_Ｇ１は、従来から知られた精度の高い蛍光測定装置を使って測定したものである。この３つの蛍光成分Ｅ_Ｇ１，Ｅ_Ｇ２，Ｅ_Ｇ３には大きな相異がない。したがって、本例の画像処理装置によると、従来のような構成が複雑かつ高価な蛍光測定装置を使用することなく、良好に蛍光成分の推定ができることが判る。

【0044】

図１１Ｂは、ある物質の赤の反射光（左側）と、赤の蛍光成分（右側）の例を示す。
図１１Ｂの左側に示す３つの反射光Ｒ_Ｒ１，Ｒ_Ｒ２，Ｒ_Ｒ３は、それぞれ正確な反射光成分、プログラマブル光源を使った場合の反射光成分、ＨＩＤランプを使った場合の反射光成分を示す。また、図１１Ｂの右側に示す３つの蛍光成分Ｅ_Ｒ１，Ｅ_Ｒ２，Ｅ_Ｒ３は、それぞれ正確な蛍光成分、プログラマブル光源を使った場合の蛍光成分、及び、ＨＩＤランプを使った場合の蛍光成分を示す。
赤色の成分についても、３つの蛍光成分Ｅ_Ｒ１，Ｅ_Ｒ２，Ｅ_Ｒ３には大きな相異がない。したがって、本例の画像処理装置によると、良好に蛍光成分の推定を行うことが可能であることが判る。この技術を分光画像に適用した場合，分光画像の各画素ごとに反射成分と蛍光成分を推定することができる。

【0045】

以上説明したように、本例の画像処理装置によると、分光画像を得るカメラ４０で撮影した１フレームの画像から被測定対象物が発する蛍光を正確に推定することができるようになる。しかも、分光反射率を基底で表現した行列式の演算で蛍光が推定できるため、比較的簡単な演算で蛍光の推定ができ、カメラ４０で撮影しながらリアルタイムで蛍光の推定ができるようになる。したがって、生物などの動く物体を撮影しながら、リアルタイムで蛍光を推定（測定）することができ、さまざまな物体の蛍光測定が非常に簡単にできるようになる効果を有する。しかも光源２０として、ＨＩＤランプなどの一般的な光源が使用でき、蛍光を測定（推定）可能なシステムを安価に組むことが可能になる。

【0046】

［５．変形例］
なお、本例の画像処理装置に適用可能な光源としては、既に市販された光源の中では、上述したようにＨＩＤランプが存在するが、ここまで説明した照明光の要件を満たすものであれば、その他の種類の光源を使用してもよい。例えば、有機ＥＬ（Electro Luminescence）パネルを使った光源や、発光ダイオード（ＬＥＤ）を使った光源であっても、同様にシャープな高周波成分が複数箇所に存在するような照明光を出力するものが作成できれば、適用できる。
また、ＨＩＤランプについても、上述した波長特性は一例を示すものであり、その他の波長特性のものを使用してもよい。

【0047】

また、図１に示す画像処理装置は、画像処理部や画像解析部を専用の回路で構成してもよいが、例えば図４のフローチャートで説明した画像処理や画像解析などを順に実行する工程よりなるプログラム（ソフトウェア）を作成して、そのプログラムをコンピュータ装置に実装することで、画像処理装置を実現してもよい。この場合のプログラムは、例えば、光ディスクや半導体メモリなどの記録媒体に記録してもよい。

【0048】

また、図１に示すシステム構成では、撮影を行うカメラと、その撮影画像をリアルタイムで解析する画像処理装置によるシステムとしたが、例えば分光カメラが撮影した画像をメモリなどに記録しておき、その記録画像を、後日、画像処理装置（又は画像処理装置として機能するプログラムが実装されたコンピュータ装置）を使って解析して、蛍光を検出（推定）するようにしてもよい。あるいは、撮影した分光画像のデータを、通信回線を使って別の場所に用意された蛍光推定のための演算処理を行う画像処理装置（又はコンピュータ装置）に送って、その画像処理装置で蛍光の推定結果を得るようにしてもよい。

【0049】

また、上述した蛍光を推定するための行列式についても、一例を示したものであり、同様の原理で、光源に含まれる高周波成分（蛍光よりも高い成分）を使って、蛍光を推定する処理を行うものであれば、その他の演算方法を適用してもよい。

【符号の説明】

【0050】

１０…制御部、２０…光源、３０…画像処理部、３１…主成分分析部、３２…蛍光推定部、４０…カメラ、５０…画像表示部、６０…特性解析部、９０…被写体（被測定対象物

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】