IP Force 特許公報掲載プロジェクト 2022.1.31 β版

知財求人 - 知財ポータルサイト「IP Force」

▶ セイコーエプソン株式会社の特許一覧

特開2024-101878分光測定方法、分光測定装置、及び分光測定プログラム
<>
  • 特開-分光測定方法、分光測定装置、及び分光測定プログラム 図1
  • 特開-分光測定方法、分光測定装置、及び分光測定プログラム 図2
  • 特開-分光測定方法、分光測定装置、及び分光測定プログラム 図3
  • 特開-分光測定方法、分光測定装置、及び分光測定プログラム 図4
  • 特開-分光測定方法、分光測定装置、及び分光測定プログラム 図5
  • 特開-分光測定方法、分光測定装置、及び分光測定プログラム 図6
  • 特開-分光測定方法、分光測定装置、及び分光測定プログラム 図7
  • 特開-分光測定方法、分光測定装置、及び分光測定プログラム 図8
  • 特開-分光測定方法、分光測定装置、及び分光測定プログラム 図9
  • 特開-分光測定方法、分光測定装置、及び分光測定プログラム 図10
  • 特開-分光測定方法、分光測定装置、及び分光測定プログラム 図11
  • 特開-分光測定方法、分光測定装置、及び分光測定プログラム 図12
< >
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2024101878
(43)【公開日】2024-07-30
(54)【発明の名称】分光測定方法、分光測定装置、及び分光測定プログラム
(51)【国際特許分類】
   G01J 3/36 20060101AFI20240723BHJP
   G01J 3/12 20060101ALI20240723BHJP
   G01J 3/50 20060101ALI20240723BHJP
【FI】
G01J3/36
G01J3/12
G01J3/50
【審査請求】未請求
【請求項の数】7
【出願形態】OL
(21)【出願番号】P 2023006060
(22)【出願日】2023-01-18
(71)【出願人】
【識別番号】000002369
【氏名又は名称】セイコーエプソン株式会社
(74)【代理人】
【識別番号】110000637
【氏名又は名称】弁理士法人樹之下知的財産事務所
(72)【発明者】
【氏名】山中 翔太
(72)【発明者】
【氏名】五味 二夫
【テーマコード(参考)】
2G020
【Fターム(参考)】
2G020AA03
2G020AA04
2G020AA08
2G020CA12
2G020CB04
2G020CC23
2G020CC26
2G020CC63
2G020CD03
2G020CD16
2G020CD24
2G020CD34
2G020CD36
2G020CD37
2G020DA02
2G020DA03
2G020DA04
2G020DA05
2G020DA12
2G020DA13
2G020DA33
(57)【要約】
【課題】小基準物や照度センサー等を用いることなく、かつ、精度の高い分光測定を実施可能な分光測定方法、分光測定装置、及び分光測定プログラムを提供する。
【解決手段】対象物における可視光域のる可視分光画像、及び近赤外域の近赤外分光画像を取得する分光画像取得ステップと、光源体の既知の分光スペクトルを第一リファレンスとし、可視分光画像と第一リファレンスとを用いて画素毎の可視光域の分光反射率特性を算出して仮特性値とする仮特性算出ステップと、仮特性値を色座標値に変換する色変換ステップと、画素毎の彩度に基づいて正反射成分画素を特定し、正反射成分画素に基づいて第二リファレンスを設定するリファレンス設定ステップと、近赤外分光画像と第二リファレンスとを用いて画素毎の近赤外域の分光反射率特性を算出する近赤外特性算出ステップと、を実施する。
【選択図】図4
【特許請求の範囲】
【請求項1】
対象物における可視光域の複数の波長に対する可視分光画像、及び近赤外域の複数の波長に対する近赤外分光画像を取得する分光画像取得ステップと、
分光スペクトルが既知となる光源体の前記分光スペクトルを第一リファレンスとし、前記可視光域の複数の波長の前記可視分光画像と前記第一リファレンスとを用いて、画素毎の可視光域の分光反射率特性を算出して仮特性値とする仮特性算出ステップと、
前記仮特性値を、彩度を含む色座標値に変換する色変換ステップと、
前記画素毎の前記彩度に基づいて前記対象物で正反射された光成分が支配的となる画素である正反射成分画素を特定し、前記正反射成分画素に基づいて第二リファレンスを設定するリファレンス設定ステップと、
前記近赤外域の複数の波長の前記近赤外分光画像と前記第二リファレンスとを用いて、前記画素毎の近赤外域の分光反射率特性を算出する近赤外特性算出ステップと、
を実施する分光測定方法。
【請求項2】
前記色変換ステップは、前記仮特性値を、CIE L*a*b*表色系の色座標値に変換する、
請求項1に記載の分光測定方法。
【請求項3】
前記リファレンス設定ステップは、前記画素毎の前記色座標値をクラスタリング処理することで複数の前記画素を複数のクラスに分類し、前記彩度が最も小さい前記クラスに含まれる前記画素を前記正反射成分画素として特定する、
請求項1に記載の分光測定方法。
【請求項4】
前記リファレンス設定ステップは、前記色座標値の前記彩度が所定の閾値以下となる前記画素を前記正反射成分画素として特定する、
請求項1に記載の分光測定方法。
【請求項5】
前記リファレンス設定ステップは、前記近赤外分光画像における前記正反射成分画素の輝度値に基づく分光スペクトルの代表値を前記第二リファレンスとする
請求項1に記載の分光測定方法。
【請求項6】
対象物における可視光域の複数の波長に対する可視分光画像、及び近赤外域の複数の波長に対する近赤外分光画像を取得する分光画像取得部と、
分光スペクトルが既知となる光源体の前記分光スペクトルを第一リファレンスとし、前記可視光域の複数の波長の前記可視分光画像と前記第一リファレンスとを用いて、画素毎の可視光域の分光反射率特性を算出して仮特性値とする仮特性算出部と、
前記仮特性値を、彩度を含む色座標値に変換する色変換部と、
前記画素毎の前記彩度に基づいて前記対象物で正反射された光成分が支配的となる画素である正反射成分画素を特定し、前記正反射成分画素に基づいて第二リファレンスを設定するリファレンス設定部と、
前記近赤外域の複数の波長の前記近赤外分光画像と前記第二リファレンスとを用いて、前記画素毎の近赤外域の分光反射率特性を算出する近赤外特性算出部と、
を備える分光測定装置。
【請求項7】
コンピューターより読み取り実行可能な分光測定プログラムであって、
前記コンピューターにより読み取り実行されることで前記コンピューターに、
対象物における可視光域の複数の波長に対する可視分光画像、及び近赤外域の複数の波長に対する近赤外分光画像を取得する分光画像取得ステップと、
分光スペクトルが既知となる光源体の前記分光スペクトルを第一リファレンスとし、前記可視光域の複数の波長の前記可視分光画像と前記第一リファレンスとを用いて、画素毎の可視光域の分光反射率特性を算出して仮特性値とする仮特性算出ステップと、
前記仮特性値を、彩度を含む色座標値に変換する色変換ステップと、
前記画素毎の前記彩度に基づいて前記対象物で正反射された光成分が支配的となる画素である正反射成分画素を特定し、前記正反射成分画素に基づいて第二リファレンスを設定するリファレンス設定ステップと、
前記近赤外域の複数の波長の前記近赤外分光画像と前記第二リファレンスとを用いて、前記画素毎の近赤外域の分光反射率特性を算出する近赤外特性算出ステップと、
を実施させる、分光測定プログラム。


【発明の詳細な説明】
【技術分野】
【0001】
本発明は、分光測定方法、分光測定装置、及び分光測定プログラムに関する。
【背景技術】
【0002】
測定対象の分析等において、当該測定対象の近赤外域に対する分光反射率を測定する場合がある。このような近赤外域に対する分光反射率の測定では、例えば、測定対象に対して近赤外線を照射し、反射または透過した近赤外線を分光カメラにより測定して、近赤外域に対する分光反射率を求める(例えば、特許文献1参照)。
特許文献1に記載の分光測定装置では、分光カメラ(マルチスペクトルカメラ、ハイパースペクトルカメラ等)と、照度センサーとを備え、照度計により環境光の照度を測定し、分光カメラで撮像した各分光画像を測定した照度により補正する。この特許文献1では、照度センサーにより照度を測定することで、従来必要とされた白色基準板等の基準物の撮影を不要とすることができる。
【先行技術文献】
【特許文献】
【0003】
【特許文献1】特開2020-024103号公報
【発明の概要】
【発明が解決しようとする課題】
【0004】
しかしながら、特許文献1の技術では、分光カメラ又は分光カメラが組み込まれた機器に別途照度センサーを搭載させる必要がある。特に、近年、スマートフォンやタブレット端末等の携帯型端末装置、ドローン等の小型飛翔体に分光カメラを搭載する場面が多くなり、照度センサーのような装置を、このような小型軽量機器に搭載させると重量が増加することになり、携帯型端末装置の携帯性や小型飛翔体の運動性が低下する。また、携帯型端末装置や小型飛翔体は、装置が小型であるため、照度センサーの搭載スペースを確保することが困難との課題もある。したがって、基準物や照度センサー等を用いることなく、かつ、精度の高い分光測定を実施可能な分光測定方法、分光測定装置、及び分光測定方法をコンユ―ターに実行させる分光測定プログラムが望まれている。
【課題を解決するための手段】
【0005】
本開示の第一態様に係る分光測定方法は、対象物における可視光域の複数の波長に対する可視分光画像、及び近赤外域の複数の波長に対する近赤外分光画像を取得する分光画像取得ステップと、分光スペクトルが既知となる光源体の前記分光スペクトルを第一リファレンスとし、前記可視光域の複数の波長の前記可視分光画像と前記第一リファレンスとを用いて、画素毎の可視光域の分光反射率特性を算出して仮特性値とする仮特性算出ステップと、前記仮特性値を、彩度を含む色座標値に変換する色変換ステップと、前記画素毎の前記彩度に基づいて前記対象物で正反射された光成分が支配的となる画素である正反射成分画素を特定し、前記正反射成分画素に基づいて第二リファレンスを設定するリファレンス設定ステップと、前記近赤外域の複数の波長の前記近赤外分光画像と前記第二リファレンスとを用いて、前記画素毎の近赤外域の分光反射率特性を算出する近赤外特性算出ステップと、を実施する。
【0006】
本開示の第二態様の分光測定装置は、対象物における可視光域の複数の波長に対する可視分光画像、及び近赤外域の複数の波長に対する近赤外分光画像を取得する分光画像取得部と、分光スペクトルが既知となる光源体の前記分光スペクトルを第一リファレンスとし、前記可視光域の複数の波長の前記可視分光画像と前記第一リファレンスとを用いて、画素毎の可視光域の分光反射率特性を算出して仮特性値とする仮特性算出部と、前記仮特性値を、彩度を含む色座標値に変換する色変換部と、前記画素毎の前記彩度に基づいて前記対象物で正反射された光成分が支配的となる画素である正反射成分画素を特定し、前記正反射成分画素に基づいて第二リファレンスを設定するリファレンス設定部と、前記近赤外域の複数の波長の前記近赤外分光画像と前記第二リファレンスとを用いて、前記画素毎の近赤外域の分光反射率特性を算出する近赤外特性算出部と、を備える。
【0007】
本開示の第三態様の分光測定プログラムは、コンピューターより読み取り実行可能な分光測定プログラムであって、前記コンピューターにより読み取り実行されることで前記コンピューターに、対象物における可視光域の複数の波長に対する可視分光画像、及び近赤外域の複数の波長に対する近赤外分光画像を取得する分光画像取得ステップと、分光スペクトルが既知となる光源体の前記分光スペクトルを第一リファレンスとし、前記可視光域の複数の波長の前記可視分光画像と前記第一リファレンスとを用いて、画素毎の可視光域の分光反射率特性を算出して仮特性値とする仮特性算出ステップと、前記仮特性値を、彩度を含む色座標値に変換する色変換ステップと、前記画素毎の前記彩度に基づいて前記対象物で正反射された光成分が支配的となる画素である正反射成分画素を特定し、前記正反射成分画素に基づいて第二リファレンスを設定するリファレンス設定ステップと、前記近赤外域の複数の波長の前記近赤外分光画像と前記第二リファレンスとを用いて、前記画素毎の近赤外域の分光反射率特性を算出する近赤外特性算出ステップと、を実施させる。
【図面の簡単な説明】
【0008】
図1】本発明の一実施形態の分光測定装置の概略構成を示すブロック図。
図2】本実施形態の分光測定装置に搭載される分光カメラの一例を示す図。
図3】物体に対して入射した光の反射成分を示す模式図。
図4】本実施形態の分光測定方法を示すフローチャート。
図5】本実施形態において、撮像された可視分光画像の一例を示す図。
図6】既知の光源体のスペクトルデータの一例である太陽光のスペクトルデータを示す図。
図7図5における領域Aの分光反射率特性を示す図。
図8図5における領域Bの分光反射率特性を示す図。
図9】CIE L*a*b*表色系における色座標空間を示す図。
図10】本実施形態のk-means法によるクラスタリング処理の一例を示す図。
図11】複数の画素における分光反射率の二次微分値を示す図。
図12】分光解析結果を画像表示させた一例を示す図。
【発明を実施するための形態】
【0009】
以下、第一実施形態について説明する。
図1は、本実施形態の分光測定装置1の概略構成を示すブロック図である。
本実施形態の分光測定装置1は、例えば、スマートフォン等の携帯型端末装置や、ドローン等の小型飛翔体等であり、図1に示すように、分光カメラ10、記憶部20、及びプロセッサー30等を備えて構成されている。
本実施形態では、分光カメラ10により撮像された対象物の撮像画像が記憶部20に記憶され、プロセッサー30が当該撮像画像を解析することで、対象物の各種分析を行う装置である。
ところで、分光カメラにより撮像された撮像画像を解析して各種分析処理を実施する場合、撮像画像から各画素の分光スペクトルを精度よく求める必要がある。このためには、撮像環境における光源体(例えば太陽光等)のスペクトルデータ(リファレンス)を用いて、各分光波長に対する撮像画像の各画素に対する輝度値(画素値)を補正する必要がある。しかしながら、上記のような携帯型端末装置や小型飛翔体では、軽量化を図る必要があるため、リファレンスを測定するための白色基準体や照度センサー等のキャリブレーション構成を搭載することは好ましくない。これに対して、本実施形態では、このようなキャリブレーション構成を必要とせず、かつ、精度の高い対象物の分析を実施することができるものであり、以下に、その詳細を説明する。
【0010】
図2は、分光測定装置1に搭載される分光カメラ10の一例を示す図である。
分光カメラ10は、ハイパースペクトルカメラやマルチスペクトルカメラ等により構成されている。例えば、本実施形態の分光カメラ10は、図2に示すように、フィルターユニット11と、撮像ユニット12と、これらのフィルターユニット11及び撮像ユニット12を収納する筐体13と、を備える。
筐体13には、図示略のレンズユニットが着脱可能なレンズホルダ131が設けられ、レンズユニットを介して入射した入射光が、フィルターユニット11を介して撮像ユニット12に導かれ、撮像ユニット12により撮像される。
【0011】
フィルターユニット11は、バンドパスフィルター111と、分光フィルター112とにより構成される。図2に示す例では、レンズホルダ131側にバンドパスフィルター111が設けられ、撮像ユニット12側に分光フィルター112が設けられているが、これらの位置関係は逆転してもよい。
【0012】
バンドパスフィルター111は、入射光から所定の波長域の光を入射させるフィルターであり、例えば、本実施形態では、可視光域から近赤外域の波長の光を透過させ、それ以外の波長の光を遮断する。なお、可視光域の光を透過させてそれ以外の光を遮断する可視光透過フィルターと、近赤外域の光を透過させてそれ以外の光を遮断する近赤外透過フィルターと、を備え、これらを切り替え可能な構成としてもよい。この場合、可視光透過フィルターと近赤外透過フィルターとを切り替える切替機構をさらに備える構成とすればよい。
【0013】
分光フィルター112は、バンドパスフィルター111を透過した光から所定の波長に光を透過させ、かつ、可視光域から近赤外域までの範囲で透過させる光の波長を切り替えることができるフィルターである。
分光フィルター112としては、例えば、一対の反射膜を対向配置させ、これらの一対の反射膜の距離を変更することにより、透過波長の光を切り替える、波長可変型のエタロン素子(ファブリーペローエタロン)を用いることが好ましい。このような波長可変型のエタロン素子により、小型の分光フィルター112を実現できる。なお、分光フィルター112としては、上記のようなエタロン素子の他、AOTF(音響光学チューナブルフィルター)やLCTF(液晶チューナブルフィルター)等の他のフィルターを用いてもよい。
【0014】
また、フィルターユニット11は、分光フィルター112を制御するためのフィルター制御部113を有する。
例えば、波長可変型のファブリーペローエタロン素子を用いる場合、一対の反射膜の距離を変化させるアクチュエーターが設けられる。この場合、アクチュエーターを制御する制御回路をフィルター制御部113に設けることで、一対の反射膜の距離を所望の値に変化させることができ、分光フィルター112から所望の波長の光を透過させることができる。分光フィルター112の透過波長に対するアクチュエーターの制御量(例えば電圧値)は、予めテーブルデータとして記憶部20に記憶しておけばよい。これにより、プロセッサー30が記憶部20のテーブルデータを読み込み、フィルター制御部113に出力することで、分光フィルター112を制御することができる。なお、ここでは、記憶部20にテーブルデータを記憶する例を示すが、フィルター制御部113にメモリー回路が設けられ、当該メモリー回路にテーブルデータが記憶される構成などとしてもよい。
【0015】
撮像ユニット12は、撮像素子121と、撮像素子121を制御する撮像制御基板122とを備える。
撮像素子121は、例えばCCDやCMOS等のイメージセンサー等を用いることができ、フィルターユニット11を透過した所定波長の光(画像光)を受光し、画素毎の受光信号を撮像制御基板122に設けられた撮像制御回路(図示略)に出力する。
撮像制御基板122は、撮像制御回路を含み、撮像素子121を制御して、分光画像の画像データを取得する。すなわち、撮像素子121の露光制御を実施して、撮像素子121で受光処理を実施させ、各画素から出力された受光信号に基づいて前記画像データ、すなわち、各受光信号を輝度値に変換した分光画像を生成してプロセッサー30に出力する。
【0016】
記憶部20は、分光測定装置1を制御する各種プログラムや各種データを記録する。記憶部20に記録される各種プログラムとしては、例えば分光カメラ10を制御するための撮像制御プログラムや、分光画像から対象物の分光反射率を測定する分光測定プログラム等が含まれる。
また、記憶部20に記憶される各種データとしては、例えば、上述した分光フィルター112を駆動するためのテーブルデータや、既知の光源体のスペクトルデータ等が挙げられる。既知の光源体のスペクトルデータは、本開示の第一リファレンスであり、例えば、太陽光の分光スペクトルが挙げられる。また、分光測定を実施する際の周囲環境が固定されている場合、当該環境における光源体の既知の分光スペクトル(例えば照明光の分光スペクトル)が記録されていてもよい。
【0017】
プロセッサー30は、例えば、CPU(Central Processing Unit)等の演算回路により構成され、記憶部20に記憶された各種プログラムを読み込み実行することで各種機能を実現する。
本実施形態では、プロセッサー30は、記憶部20に記憶された撮像制御プログラムや、分光測定プログラムを読み込み実行することで、図1に示すように、分光画像取得部31、仮特性算出部32、色変換部33、リファレンス設定部34、及び近赤外特性算出部35、及び対象分析部36等として機能する。
【0018】
分光画像取得部31は、分光カメラ10を制御し、対象物に対する、可視光域における複数の波長の分光画像(可視分光画像)、及び、近赤外域における複数の波長の分光画像(近赤外分光画像)をそれぞれ取得する。
仮特性算出部32は、記憶部20に記憶された第一リファレンスを用い、複数の波長の可視分光画像の各画素の輝度値から、各画素の可視光域の分光反射率特性を仮特性として算出する。用いる第一リファレンスは、測定環境に対応したものを用いる。例えば、屋外の撮影により分光画像を撮像する場合は、光源体として太陽光の分光スペクトルを第一リファレンスとして用いる。
【0019】
色変換部33は、仮特性算出部32により算出された各画素の仮特性値(分光反射率特性)を、色座標値に変換する。ここで、用いる色座標値は、少なくとも彩度を示すパラメーターを含む色座標値であり、例えば、本実施形態では、CIE1976色空間(CIE L*a*b*表色系)により規定される明度を示すL*値と、彩度を示すa*値及びb*値を算出する。なお、本実施形態では、色座標値としてL*a*b*を算出する例を示すが、これに限定されない。例えば、Hunter Lab表色系、L*C*h*表色系、NCS表色系、PCCS表色系、HLS表色系、HSV表色系等、彩度に相当するパラメーターを算出する表色系や色空間であればよい。
【0020】
リファレンス設定部34は、彩度を含む色座標値(本実施形態ではL*a*b*値)から、第二リファレンスとして設定するための画素を特定し、第二リファレンスを設定する。
具体的には、各画素の色座標値をクラスタリング処理して、各画素を複数のクラスに分類し、彩度が最も小さいクラスの色座標値の代表値を第二リファレンスとして設定する。クラスタリング処理の方法は特に限定されず、例えばk-means法等の手法を用いることができる。k-means法では、クラスの数を予めk個として設定して分割し、複数の画素からk個の種子点となる画素をランダムに選択し、種子点に最も距離が近い画素を当該種子点のクラスに分類する。各クラスの色座標値の重心を求め直して、その位置に種子点を移動させる。以降、kの値を変えながら、これを繰り返すことで、クラスの分割数kと、各画素が属する最適なクラスを求める。或いは、他のクラスタリング手法によって自動的に決定された分類を、過去のデータ、知見等によって修正、統合、または分割してもよい。
代表値としては、k-means法である場合、彩度が最も小さいクラスの種子点の値を用いることができる。その他、彩度が最も小さいクラスに属する色座標値の平均値を用いてもよく、当該クラスにおいて彩度が最も小さい色座標値を代表値としてもよい。
【0021】
近赤外特性算出部35は、設定した第二リファレンスを用い、近赤外分光画像の各画素の輝度値から近赤外域における各波長の反射率(分光反射率特性)を算出する。
対象分析部36は、算出された近赤外域の分光反射率特性に基づいて、対象物の各種分析を実施する。分析処理としては、特に限定されず、例えば、対象物の成分分析、特定成分の含有量の分析、分析した成分に基づく対象物の種別特定等である。
【0022】
[本実施形態の分光測定の原理]
次に、本実施形態において、白色基準板等の基準物や照度計等のセンサーを用いることなく、対象物の対する精度の高い分光測定を実施する方法の原理について説明する。
図3は、物体に対して入射した光の反射成分を示す模式図である。
一般に、物体表面に入射した光が反射される場合、その反射光は、図3に示すように、正反射成分Sと拡散反射成分Dとを重ね合わせたものと考えることができる。
物体表面で反射された光の放射輝度L(λ)は、下記式(1)により表される。
L(λ)=Ie(λ)・Kd(λ)cosθ+Ie(λ)・Ks(λ)(cosα) ・・・(1)
【0023】
ここで、Ie(λ)は光源体の分光放射強度であり、本実施形態では、予め第一リファレンスとして記憶部20に記憶される。Kd(λ)は、拡散反射成分Dの分光反射率である。θは、光源と、物体表面の法線との為す角、つまり入射角である。Ks(λ)は、正反射成分Sの分光反射率である。αは、光源からの入射光が物体表面の反射位置で正反射した際の正反射方向と、当該反射位置から撮像素子121に向かう視線方向との為す角である。
【0024】
可視光域では、正反射成分Sの分光反射率Ks(λ)はほぼ一定となる。分光反射率Ks(λ)が各波長λに対して「1」である場合、(1)式は下記式(2)のように表すことができる。
L(λ)=Ie(λ)・Kd(λ)cosθ+Ie(λ)(cosα) ・・・(2)
すなわち、正反射成分Sが支配的であり、拡散反射成分Dが極めて小さい画素では、式(2)は、下記式(3)となる。
L(λ)=Ie(λ)(cosα) ・・・(3)
これは、正反射成分Sが支配的な画素での分光反射特定は、光源体の発光スペクトル形状と略一致することを意味する。
【0025】
したがって、記憶部20に予め既知の光源体のスペクトルデータに記憶しておき、このスペクトルデータに基づいて可視光域の各画素の分光反射率特性を仮特性値として算出する。すると、正反射成分Sが支配的な領域の分光反射率特性は、波長に依らす略一定値となる。この場合、仮特性値を色座標値に変換すると、当該正反射成分Sが支配的な領域では、彩度が極めて小さい値、つまり、無彩色となる。
【0026】
このため、本実施形態では、可視光画像に基づいて、無彩色となる画素を特定することで、当該画素を分光反射率特性が光源体の発光スペクトル形状に一致する画素、つまり正反射領域を構成する正反射成分画素であると特定する。当該正反射領域は、光源体の発光スペクトル形状をそのまま反射する領域としてみなすことができ、正反射領域の近赤外域の分光スペクトルを第二リファレンスとして、その他の各画素の近赤外域の分光反射率特性を精度よく算出することができる。
【0027】
[分光測定方法]
次に、具体的な分光測定方法について説明する。図4は、本実施形態の分光測定方法を示すフローチャートである。
分光測定装置1において、ユーザにより分光測定を実施する旨の操作が入力されると、分光測定装置1は、まず、対象物の撮像画像を取得する分光画像取得処理を実施する(ステップS1:分光画像取得ステップ)。
本実施形態では、分光画像取得部31が、分光カメラ10を制御して、対象物に対する複数の波長の可視分光画像と、複数の波長の近赤外分光画像とを撮像させる。例えば、予め設定された波長間隔Δλで、分光フィルター112を透過させる光の波長を変化させて、可視光域から近赤外域の各分光画像を撮像する。
なお、可視分光画像と近赤外分光画像とはそれぞれ異なるタイミングで取得してもよい。例えば、ステップS1において可視分光画像を取得し、その後、後述するステップS6の近赤外特性算出ステップの前に近赤外分光画像を取得してもよい。ただし、対象物の撮像位置のずれや、天候等による照明光量の変化が生じた場合に、適正な近赤外分光率特性の算出が困難となる。或いは、近赤外分光画像と可視分光画像との撮像位置のずれを補正する位置補正、照明光の光量補正等を別途必要となるので、ステップS1の段階で、可視分光画像と近赤外分光画像との双方を取得することが好ましい。
【0028】
次に、仮特性算出部32は、記憶部20に記憶された第一リファレンス(光源体の既知のスペクトルデータ)を用い、ステップS1で得られた各可視分光画像の各画素の輝度値から分光反射率特性(仮特性値)を算出する(ステップS2:仮特性算出ステップ)。
このステップS2において、記憶部20に複数の光源体のスペクトルデータを複数記憶しておき、ユーザが用いるスペクトルデータを選択できるようにしてもよい。例えば太陽光、白熱電球、LED電球等からユーザが光源体を選択できるようにしてもよい。
また、仮特性算出部32は、分光波長λの可視分光画像の各画素の輝度値を、記憶部20に記憶された光源体の波長λのスペクトルデータで除算して、分光反射率特性を算出し、これを仮特性値とする。
【0029】
ここで、図5は、撮像された可視分光画像の一例を示す図であり、図6は、既知の光源体のスペクトルデータの一例として、太陽光のスペクトルデータを示す図であり、図7は、図5における領域Aの分光反射率特性を示す図であり、図8は、図5における領域Bの分光反射率特性を示す図である。
図5図8の例は、太陽光を光源体として屋外で対象物を撮影した場合の例であり、領域Aでは、太陽光が正反射して分光カメラ10に入射している。つまり、領域Aでは、正反射成分Sが支配的であり、拡散反射成分Dの反射光が極めて少ない。このため、図6で示すような太陽光スペクトルデータを第一リファレンスとして分光反射率特性(仮特性値)を算出すると、図7に示すように、領域Aの各波長の分光反射率が略一定となる。一方、領域Bは、正反射成分Sはあるものの支配的ではなく、拡散反射成分Dが多く含まれる。このため、図8のように、波長毎に異なる分光反射率が算出される。
【0030】
次に、色変換部33は、算出した仮特性値を色座標値に変換する(ステップS3:色変換ステップ)。例えば、色変換部33は、分光反射率特性(仮特性値)を、三刺激値XYZに変換し、さらに、これらのXYZ値を、CIE L*a*b*表色系のL*a*b*値に変換する。
図9は、CIE L*a*b*表色系における色座標空間を示す図である。
領域Aでは、各波長の分光反射率が一様であるため、色座標値において無彩色(a*値及びb*値が小さい)を示す。よって、図9に示すような色座標空間において、領域Aに含まれる画素は、破線にて囲われるL*軸の近傍にプロットされる。一方、領域Bは、有彩色であり、図9に示すように、L*軸から離れた位置にプロットされる。
【0031】
次に、リファレンス設定部34は、ステップS3で変換された各画素の色座標値から、無彩色に相当する画素(正反射成分画素)を特定する(ステップS4)。本実施形態では、リファレンス設定部34は、各画素の色座標値を、k-means法等を用いてクラスタリング処理し、無彩色に相当するクラスを特定する。
図10は、本実施形態のk-means法によるクラスタリング処理の一例を示す図である。通常、色座標値のみから正反射成分Sの支配的な画素を特定することは困難である。そこで、k-means法では、クラスの分割数kのそれぞれの種子点を無作為に選択する。例えば、正反射成分及び拡散反射成分のいずれが支配的であるかを示す2個(k=2)のクラスを初期状態として設定してもよいし、その他の色座標空間における色差が大きい3個以上の種子点を選択して初期状態としてもよい。そして、各画素の色座標値と各種子点との距離に応じて各画素の属するクラスを設定する。さらに、各クラスの重心点を新たなクラスの種子点として再設定して、再度各色座標値のクラスタリングを行って分類する。このように、各画素の色座標値のクラスへの分割を繰り返し実施することで、最適な分割クラスを探し出す。
なお、ここでは、分割数kを予め指定するk-means法を例示するが、その他のクラスタリング手法を用いてもよい。例えば、クラスタ数を自動で設定するx-means法等を用いてもよい。
【0032】
そして、リファレンス設定部34は、設定したクラスにおいて、彩度が最も小さいクラスを選択し、そのクラスの代表値を第二リファレンスとして設定する(ステップS5)。ステップS4及びステップS5は、本開示のリファレンス設定ステップに相当する。
彩度が最も小さいクラスの特定は、例えば、各クラスの種子点のa*値及びb*値(L*軸からの距離)に基づいて特定すればよい。正反射成分クラスと拡散反射成分クラスの2個のクラス(k=2)を設定する場合は、正反射成分クラスを特定すればよい。
また、リファレンス設定部34は、特定したクラスに属する各画素(正反射成分画素)の近赤外域分光スペクトルに基づいて第二リファレンスを設定する。例えば、彩度が最小とされたクラスに属する各画素の近赤外域分光スペクトルの平均値を第二リファレンスとしてもよく、種子点に相当する画素の近赤外域分光スペクトルを第二リファレンスとしてもよい。また、種子点から所定の色差内の画素の近赤外域分光スペクトルの平均値を第二リファレンスとしてもよい。
図5から図8の例では、領域Aが正反射成分Sの支配的な領域として特定される。この領域Aでは、光源体の発光スペクトル形状と略一致する形状の分光スペクトルが得られ、これに基づいて第二リファレンスが設定される。つまり、領域Aの各画素の輝度スペクトル(各波長の輝度値)は、光源体の発光スペクトル形状と同一形状となる特性を有し、近赤外域における反射率特性も光源体の発光スペクトル形状に略一致する。このような正反射領域である領域Aの輝度値に基づいて第二リファレンスを設定することで、白色基準板等の基準物や、照度センサー等を用いることなく、光源体の発光スペクトルに対応した第二リファレンスを設定することができる。
【0033】
この後、近赤外特性算出部35は、ステップS1で取得した撮像画像のうちの近赤外分光画像と、ステップS5により設定した第二リファレンスとを用い、各画素の近赤外分光反射率特性を算出する(ステップS6:近赤外特性算出ステップ)。つまり、各波長の近赤外分光画像の各画素の輝度値を、対応する波長の第二リファレンスを用いて除算して反射率を算出する。
この際、第二リファレンスの設定に用いられた画素については、反射率が1となるため、ステップS6の対象外としてもよい。
【0034】
また、対象分析部36は、ステップS6で算出された近赤外域分光反射率特性に基づいて、対象物の各種分析を実施する(ステップS7)。
図11及び図12は、対象分析部36による分析処理の一例を示す図である。ここで、図11は、複数の画素における分光反射率の二次微分値を示す図であり、図12は、分光解析結果を画像表示させた一例を示す図である。
対象分析部36は、ステップS6で得られた近赤外域の分光反射率特性に基づいて、各種分析処理を実施する。この分析処理としては、上述したように、特に限定はされず、近赤外域の分光反射率に基づいた各種処理を実施することができる。例えば、図11のように、各画素の分光反射率特性の二次微分値(または一次微分値)を算出することで、特定の吸光波長を特定し、当該吸光波長に基づいて、対象物に含まれる所定成分の分析を実施してもよい。また、図12に示すように、二次微分値の値を撮像画像上に重畳表示させることで、撮像画像において、どの位置に前記所定成分が分布しているかを分析してもよい。
【0035】
[本実施形態の作用効果]
本実施形態の分光測定装置1は、対象物の近赤外域の分光反射率特性の測定を実施するにあたり、分光画像取得ステップ(ステップS1)と、仮特性算出ステップ(ステップS2)と、色変換ステップ(ステップS3)と、リファレンス設定ステップ(ステップS4、ステップS5)と、近赤外特性算出ステップ(ステップS6)とを実施する。
分光画像取得ステップでは、対象物における可視光域の複数の波長に対する可視分光画像、及び近赤外域の複数の波長に対する近赤外分光画像を取得する。
仮特性算出ステップでは、分光スペクトルが既知となる光源体の前記分光スペクトルを第一リファレンスとして用い、各前記可視分光画像の画素毎の可視光域の分光反射率特性を算出して仮特性値とする。
色変換ステップでは、前記仮特性値を、彩度を含む色座標値に変換する。
リファレンス設定ステップでは、画素毎の前記彩度に基づいて正反射成分画素を特定し、前記正反射成分画素に基づいて第二リファレンスを設定する。
近赤外特性算出ステップでは、前記第二リファレンスを用いて各前記近赤外分光画像の画素毎の近赤外域の分光反射率特性を算出する。
【0036】
以上のように、本実施形態では、可視分光画像における正反射成分画素(正反射領域)を特定する。正反射成分画素は、光源体の光を正反射している画素であり、成分分析を行うためには不適切である。しかしながら、光源体の発光スペクトル形状と略同一形状の分光反射率特性を有するため、正反射成分画素の近赤外域のスペクトルデータ(輝度値)を第二リファレンスとすることで、その他の画素の近赤外域の分光反射率特性を精度よく測定することができる。
これにより、本実施形態では、白色基準板等の反射率が既知の基準物や照度センサーを用いることなく、光源体の近赤外域に対応した第二リファレンスを適切に設定することができる。したがって、分光測定装置の構成を簡素にでき、例えば、ドローン等の小型飛翔体や、スマートフォン等の携帯型端末装置に分光測定装置を搭載する場合でも、基準物や照度センサー等の搭載が不要であるため、装置の軽量化、省スペース化を図ることができる。
【0037】
本実施形態では、色変換部33は、色変換ステップ(ステップS3)において、仮特性値を、CIE L*a*b*表色系の色座標値に変換する。
CIE L*a*b*表色系におけるa*値、及びb*値は、色相及び彩度を示すパラメーターであり、a*値及びb*値が小さい画素(L*軸に近接する画素)を探索することで、容易に、正反射成分Sが支配的な画素を特定することができる。
【0038】
本実施形態では、リファレンス設定部34は、画素の色座標値をクラスタリング処理することで各画素を複数のクラスに分類し、彩度が最も小さいクラスに含まれる画素を正反射成分画素として特定する。
一般に、彩度が所定の閾値以下となる画素を正反射領域として特定する場合では、例えば、全体的に白みがかった可視光画像や全体的に暗い可視光画像では、正反射領域ではない画素まで、正反射領域として特定されるおそれがある。一方、全体的に明確な色合いである場合等では、正反射領域を特定することができない。これに対して、本実施形態では、各画素の色座標値をクラスタリングすることで、複数のクラスに分類し、彩度が最小となるクラスを正反射領域の画素として特定する。これにより、上記のような、色座標値のみでは無彩色か否かを断定できない画像に対しても正反射領域を特定することができる。
【0039】
本実施形態では、リファレンス設定部34は、ステップS5において、近赤外分光画像における正反射成分画素の分光スペクトルの代表値を第二リファレンスとする。
正反射領域に含まれる複数の正反射成分画素の代表値を第二リファレンスとすることで、適正な第二リファレンスを設定でき、精度の高い近赤外域の分光反射率特性を測定することができる。
また、代表値としては、正反射領域に含まれる正反射成分画素の平均スペクトルデータとすることが好ましい。これにより、1つの画素のみで第二リファレンスを設定する場合に比べて、誤差の小さい第二リファレンスの設定が可能となる。
代表値として、正反射領域に含まれる正反射成分画素の中央値や最頻値を用いてもよい。正反射領域に含まれる正反射成分画素のスペクトルデータとしてばらつきがある場合、中央値や最頻値を用いることで、より適正な第二リファレンスを設定することができる。
リファレンス設定部34は、正反射領域に含まれる正反射成分画素のスペクトルデータのばらつきに応じて、平均値、中央値、最頻値のいずれを用いるかを選択するようにしてもよい。
【0040】
[変形例]
なお、本発明は上述の各実施形態及び変形例に限定されるものではなく、本発明の目的を達成できる範囲での変形、改良、及び各実施形態を適宜組み合わせる等によって得られる構成は本発明に含まれるものである。
【0041】
[変形例1]
例えば、上記第一実施形態では、リファレンス設定部34は、ステップS4及びステップS5のリファレンス設定ステップにおいて、各画素の色座標値をクラスタリング処理して複数のクラスに分類し、彩度が最も小さいクラスの代表値に基づいて第二リファレンスを設定した。
これに対して、リファレンス設定部34は、各画素の色座標値において、彩度(a*値及びb*値)が所定の閾値以下となる画素を、正反射成分画素として特定してもよい。つまり、色座標値におけるL*軸からの距離が予め設定された閾値以下である画素を正反射成分画素として特定してもよい。
この場合、特定した複数の正反射成分画素の代表値に基づいて第二リファレンスを設定する。
【0042】
なお、リファレンス設定部34は、可視光画像全体の平均彩度に基づいて閾値を変化させてもよい。例えば、全体に白みがかった可視画像や暗い等では、画像全体の平均彩度(各画素の色座標値のL*軸からの距離)が小さくなるが、この場合、閾値を低く設定し、画像全体の平均彩度が高い場合は、閾値を高く設定してもよい。
可視光画像全体の平均彩度に対する閾値の設定は、例えば、正反射成分画素が既知である複数の可視分光画像のサンプルを用いて、平均彩度に対する正反射成分画素の彩度の値を測定しておき、テーブルデータとして記憶部20に記憶しておけばよい。または、正反射成分画素が既知である複数の可視分光画像のサンプルを機械学習することで、入力された可視分光画像に対して、正反射成分画素を特定するための閾値を出力する機械学習モデルを生成してもよい。
或いは、正反射成分画素が既知である複数の可視分光画像のサンプルを機械学習することで、入力された可視分光画像に対して、正反射成分画素を特定して第二リファレンス値を出力する機械学習モデルを生成してもよい。
【0043】
上記は、彩度が閾値以下の画素を正反射成分画素として特定する例であるが、リファレンス設定部34は、彩度が最も小さい画素に基づいて第二リファレンスとして設定してもよい。また、可視分光画像において彩度が閾値以下の画素がある場合に、当該画素を正反射成分画素として第二リファレンスを設定し、閾値以下の画素がない場合に、最も彩度が小さい画素を正反射成分画素として特定する、あるいは、上記実施形態のように、色座標値をクラスタリング処理して複数のクラスに分割し、彩度が最も小さいクラスを特定してもよい。
【0044】
[変形例2]
上記実施形態では、ドローン等の飛翔体やスマートフォン等の携帯型端末装置が、分光測定装置として機能する例であるが、これに限定されない。
例えば、ドローン等の飛翔体や携帯型端末装置等の軽量小型装置に分光カメラ10のみが搭載され、軽量小型装置と通信可能に接続されたコンピューターにより、本開示の分光測定装置が構成されてもよい。コンピューターとしては、例えば、ドローン等の飛翔体と通信可能な端末装置(ノートパソコンやスマートフォン、タブレット端末等)、スマートフォン等の携帯型端末装置とインターネットを介して通信するサーバ装置等が例示できる。
この場合、コンピューターのプロセッサー30(分光画像取得部31)は、軽量小型装置の分光カメラ10により撮像された分光画像を、無線通信により軽量小型装置から取得すればよい。
このような場合でも、上記実施形態と同様、軽量小型装置に白色基準板等の基準物や、照度センサー等を搭載することなく、精度の高い分光測定を実施することができる。
【0045】
[本開示のまとめ]
本開示の第一態様に係る分光測定方法は、対象物における可視光域の複数の波長に対する可視分光画像、及び近赤外域の複数の波長に対する近赤外分光画像を取得する分光画像取得ステップと、分光スペクトルが既知となる光源体の前記分光スペクトルを第一リファレンスとし、前記可視光域の複数の波長の前記可視分光画像と前記第一リファレンスとを用いて、画素毎の可視光域の分光反射率特性を算出して仮特性値とする仮特性算出ステップと、前記仮特性値を、彩度を含む色座標値に変換する色変換ステップと、前記画素毎の前記彩度に基づいて前記対象物で正反射された光成分が支配的となる画素である正反射成分画素を特定し、前記正反射成分画素に基づいて第二リファレンスを設定するリファレンス設定ステップと、前記近赤外域の複数の波長の前記近赤外分光画像と前記第二リファレンスとを用いて、前記画素毎の近赤外域の分光反射率特性を算出する近赤外特性算出ステップと、を実施する。
【0046】
これにより、光源体から照射される光の発光スペクトルを測定するための白色基準板等の基準物や、光源体の光スペクトルデータを測定するための照度センサーが不要となる。したがって、例えば、ドローン等の飛翔体や、スマートフォン等の携帯型端末装置に分光測定装置を搭載する場合でも、基準物や照度センサー等の搭載が不要となり、装置の軽量化、省スペース化を図ることができる。
また、可視分光画像における正反射成分画素を特定し、その正反射成分画素における近赤外域のスペクトルデータをリファレンスとすることで、照度センサーや基準物を用いなくても、近赤外域の分光反射率特性を精度よく測定することができる。
【0047】
本態様の分光測定方法において、前記色変換ステップは、前記仮特性値を、CIE L*a*b*表色系の色座標値に変換することが好ましい。
これにより、彩度と示すパラメーターであるa*値、及びb*値に基づいて、容易に、正反射成分が支配的な画素を特定することができる。
【0048】
本態様の分光測定方法において、前記リファレンス設定ステップは、前記画素毎の前記色座標値をクラスタリング処理することで複数の前記画素を複数のクラスに分類し、前記彩度が最も小さい前記クラスに含まれる前記画素を前記正反射成分画素として特定することが好ましい。
これにより、様々な可視分光画像に対して適切に正反射成分を特定することができる。すなわち、全体的に白みがかった可視光画像や全体的に暗い可視光画像等において、彩度を閾値に基づいて有彩色の画素と無彩色の画素に分類することが困難である。これに対して、クラスタリング技術を用いることで、色座標値のみから無彩色部分の特定が困難な場合でも、適正に正反射成分画素を特定できる。
【0049】
本態様の分光測定方法において、前記リファレンス設定ステップは、前記色座標値の前記彩度が所定の閾値以下となる前記画素を前記正反射成分画素として特定してもよい。
例えば、彩度の差が明確な鮮明が可視画像では、彩度が所定の閾値以下となる画素を正反射成分画素として特定することで、より容易に、かつ迅速に適正な正反射成分画素を特定することができる。
【0050】
本態様の分光測定方法において、前記リファレンス設定ステップは、前記近赤外分光画像における前記正反射成分画素の輝度値に基づく分光スペクトルの代表値を前記第二リファレンスとすることが好ましい。
本態様では、各波長の近赤外分光画像においてで、同一の正反射成分画素における輝度値に基づいて、その正反射成分画素の近赤外域の分光スペクトルを求めることができる。そして、本態様では、複数の正反射成分画素の分光スペクトルの代表値を第二リファレンスとする。これにより、例えば、単一の画素に基づいて第二リファレンスを設定する場合に比べて、より適正な第二リファレンスを設定でき、精度の高い近赤外域の分光反射率特性を測定することができる。
【0051】
本開示の第二態様の分光測定装置は、対象物における可視光域の複数の波長に対する可視分光画像、及び近赤外域の複数の波長に対する近赤外分光画像を取得する分光画像取得部と、分光スペクトルが既知となる光源体の前記分光スペクトルを第一リファレンスとし、前記可視光域の複数の波長の前記可視分光画像と前記第一リファレンスとを用いて、画素毎の可視光域の分光反射率特性を算出して仮特性値とする仮特性算出部と、前記仮特性値を、彩度を含む色座標値に変換する色変換部と、前記画素毎の前記彩度に基づいて前記対象物で正反射された光成分が支配的となる画素である正反射成分画素を特定し、前記正反射成分画素に基づいて第二リファレンスを設定するリファレンス設定部と、前記近赤外域の複数の波長の前記近赤外分光画像と前記第二リファレンスとを用いて、前記画素毎の近赤外域の分光反射率特性を算出する近赤外特性算出部と、を備える。
【0052】
このような分光測定装置では、第一態様の分光測定方法を実施することができ、これにより、光源体から照射される光の発光スペクトルを測定するための白色基準板等の反射率が既知の基準物や、光源体の光スペクトルデータを測定するための照度センサーが不要となる。したがって、装置の軽量化、省スペース化を図ることができる。
また、可視分光画像における正反射成分画素を特定し、その正反射成分画素における近赤外域のスペクトルデータをリファレンスとすることで、照度センサーや基準物を用いなくても、近赤外域の分光反射率特性を精度よく測定することができる。
【0053】
本開示の第三態様の分光測定プログラムは、コンピューターより読み取り実行可能な分光測定プログラムであって、前記コンピューターにより読み取り実行されることで前記コンピューターに、対象物における可視光域の複数の波長に対する可視分光画像、及び近赤外域の複数の波長に対する近赤外分光画像を取得する分光画像取得ステップと、分光スペクトルが既知となる光源体の前記分光スペクトルを第一リファレンスとし、前記可視光域の複数の波長の前記可視分光画像と前記第一リファレンスとを用いて、画素毎の可視光域の分光反射率特性を算出して仮特性値とする仮特性算出ステップと、前記仮特性値を、彩度を含む色座標値に変換する色変換ステップと、前記画素毎の前記彩度に基づいて前記対象物で正反射された光成分が支配的となる画素である正反射成分画素を特定し、前記正反射成分画素に基づいて第二リファレンスを設定するリファレンス設定ステップと、前記近赤外域の複数の波長の前記近赤外分光画像と前記第二リファレンスとを用いて、前記画素毎の近赤外域の分光反射率特性を算出する近赤外特性算出ステップと、を実施させる。
【0054】
このような分光測定プログラムは、コンピューターにより読み取り実行されることで、第一態様の分光測定方法を実施することができる。これにより、光源体から照射される光の発光スペクトルを測定するための白色基準板等の反射率が既知の基準物や、光源体の光スペクトルデータを測定するための照度センサーが不要となり、分光カメラを搭載する装置の軽量化、省スペース化を図ることができる。
また、可視分光画像における正反射成分画素を特定し、その正反射成分画素における近赤外域のスペクトルデータをリファレンスとすることで、照度センサーや基準物を用いなくても、近赤外域の分光反射率特性を精度よく測定することができる。
【符号の説明】
【0055】
1…分光測定装置、10…分光カメラ、11…フィルターユニット、12…撮像ユニット、20…記憶部、30…プロセッサー、31…分光画像取得部、32…仮特性算出部、33…色変換部、34…リファレンス設定部、35…近赤外特性算出部、36…対象分析部、112…分光フィルター、121…撮像素子。
図1
図2
図3
図4
図5
図6
図7
図8
図9
図10
図11
図12