ホーム > 特許ランキング > セイコーエプソン株式会社
知財求人 - 知財ポータルサイト「IP Force」
特開2024-103990分光画像解析方法、分光画像解析プログラムおよび分光画像解析装置
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2024103990
(43)【公開日】2024-08-02
(54)【発明の名称】分光画像解析方法、分光画像解析プログラムおよび分光画像解析装置
(51)【国際特許分類】
G01N 21/27 20060101AFI20240726BHJP
G06T 7/90 20170101ALI20240726BHJP
【ＦＩ】
G01N21/27 A
G06T7/90 C
【審査請求】未請求
【請求項の数】6
【出願形態】ＯＬ
(21)【出願番号】P 2023007970
(22)【出願日】2023-01-23
(71)【出願人】
【識別番号】000002369
【氏名又は名称】セイコーエプソン株式会社
(74)【代理人】
【識別番号】110000637
【氏名又は名称】弁理士法人樹之下知的財産事務所
(72)【発明者】
【氏名】金本 啓
【テーマコード（参考）】
2G059
5L096
【Ｆターム（参考）】
2G059AA05
2G059EE01
2G059EE02
2G059EE12
2G059FF01
2G059KK04
2G059MM01
2G059MM05
2G059PP04
5L096CA02
5L096DA01
5L096FA15
5L096GA02
(57)【要約】
【課題】互いに近い吸収波長を有する複数の物質から目的物質を区別して検出することができる分光画像解析方法を提供する。
【解決手段】分光画像解析方法は、対象物を撮像した画像であって、かつ、互いに異なる複数の分光波長に対応する複数の分光画像を含む対象画像を取得するステップと、分光波長に対する対象画像の分割領域の光強度に基づいて分割領域ごとの分光スペクトルを算出するステップと、目的物質の既知の吸収波長である目的波長における分光スペクトルの一次微分値および二次微分値を算出するステップと、一次微分値および二次微分値に基づいて、対象画像から目的物質の画像領域として同定される分割領域を検出するステップと、を含む。
【選択図】図２
【解決手段】分光画像解析方法は、対象物を撮像した画像であって、かつ、互いに異なる複数の分光波長に対応する複数の分光画像を含む対象画像を取得するステップと、分光波長に対する対象画像の分割領域の光強度に基づいて分割領域ごとの分光スペクトルを算出するステップと、目的物質の既知の吸収波長である目的波長における分光スペクトルの一次微分値および二次微分値を算出するステップと、一次微分値および二次微分値に基づいて、対象画像から目的物質の画像領域として同定される分割領域を検出するステップと、を含む。
【選択図】図２
【特許請求の範囲】
【請求項1】
コンピューターにより実行される分光画像解析方法であって、前記コンピューターは、
対象物を撮像した画像であって、かつ、互いに異なる複数の分光波長に対応する複数の分光画像を含む対象画像を取得するステップと、
前記複数の分光波長に対する前記対象画像の分割領域ごとの光強度に基づいて、前記分割領域ごとの分光スペクトルを算出するステップと、
目的物質の既知の吸収波長である目的波長における前記分光スペクトルの一次微分値および二次微分値を算出するステップと、
前記一次微分値および前記二次微分値に基づいて、前記対象画像から前記目的物質の画像領域として同定される前記分割領域を検出するステップと、を実施する、分光画像解析方法。
対象物を撮像した画像であって、かつ、互いに異なる複数の分光波長に対応する複数の分光画像を含む対象画像を取得するステップと、
前記複数の分光波長に対する前記対象画像の分割領域ごとの光強度に基づいて、前記分割領域ごとの分光スペクトルを算出するステップと、
目的物質の既知の吸収波長である目的波長における前記分光スペクトルの一次微分値および二次微分値を算出するステップと、
前記一次微分値および前記二次微分値に基づいて、前記対象画像から前記目的物質の画像領域として同定される前記分割領域を検出するステップと、を実施する、分光画像解析方法。
【請求項2】
前記複数の分光波長は、前記目的波長、前記目的波長の前方に設定される前方波長、および、前記目的波長の後方に設定される後方波長を含む、請求項１に記載の分光画像解析方法。
【請求項3】
前記コンピューターは、前記対象画像から検出された前記分割領域に対して色付けを行うことで検出画像を生成するステップをさらに実施する、請求項１に記載の分光画像解析方法。
【請求項4】
前記コンピューターは、前記対象画像から検出された前記分割領域が前記対象画像における前記対象物の配置領域に含まれる割合に基づいて、前記対象物が前記目的物質であるか否かを判定するステップをさらに実施する、請求項１に記載の分光画像解析方法。
【請求項5】
コンピューターにより読み取り実行可能なプログラムであって、
前記コンピューターに、請求項１から請求項４のいずれか一項に記載の分光画像解析方法を実施させる、分光画像解析プログラム。
前記コンピューターに、請求項１から請求項４のいずれか一項に記載の分光画像解析方法を実施させる、分光画像解析プログラム。
【請求項6】
対象物を撮像した画像であって、かつ、互いに異なる複数の分光波長に対応する複数の分光画像を含む対象画像を取得する画像取得部と、
前記分光波長に対する前記対象画像の分割領域の光強度に基づいて前記分割領域ごとの分光スペクトルを算出するスペクトル算出部と、
目的物質の既知の吸収波長である目的波長における前記分光スペクトルの一次微分値および二次微分値を算出する評価値算出部と、
前記一次微分値および前記二次微分値に基づいて、前記対象画像から前記目的物質の画像領域として同定される前記分割領域を検出する検出部と、を備える、分光画像解析装置。
前記分光波長に対する前記対象画像の分割領域の光強度に基づいて前記分割領域ごとの分光スペクトルを算出するスペクトル算出部と、
目的物質の既知の吸収波長である目的波長における前記分光スペクトルの一次微分値および二次微分値を算出する評価値算出部と、
前記一次微分値および前記二次微分値に基づいて、前記対象画像から前記目的物質の画像領域として同定される前記分割領域を検出する検出部と、を備える、分光画像解析装置。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、分光画像解析方法、分光画像解析プログラムおよび分光画像解析装置に関する。
【背景技術】
【0002】
従来、物質を撮像した分光画像を解析することで、当該物質を分光分析する方法が知られている。例えば、非特許文献１には、ブルーベリーを撮像した分光画像の解析により、ブルーベリーに混入した葉や枝などの異物を判別する方法が開示されている。この方法では、分光画像による吸光スペクトルに基づいて、葉や枝などの異物に含まれるクロロフィルの吸収波長である６８０ｎｍにおける二次微分吸光度を画素ごとに計算し、当該二次微分吸光度に基づいて異物に対応する画素を検出する。
【先行技術文献】
【非特許文献】
【0003】
【非特許文献1】Mizuki TSUTA,Tomohiro TAKAO,Junichi SUGIYAMA,Yukihiro WADA,Yasuyuki SAGARA著、「Foreign Substance Detection in Blueberry Fruits by Spectral Imaging」Food Science and Technology Research 12巻2号、社団法人 日本食品科学工学会、発行２００６年、公開日２００７年５月２５日、ｐ.９６－１００
【発明の概要】
【発明が解決しようとする課題】
【0004】
しかし、上述の非特許文献１のような分光スペクトルの二次微分値を利用する分光画像解析方法では、互いに近い吸収波長を有する複数の物質が存在する場合、そのうちの一つの物質を目的物質として検出することが困難である。例えば、互いに近い吸収波長を有する各物質の分光スペクトルは、いずれの吸収波長においても比較的大きい二次微分値を示すこと、および、当該二次微分値は、撮像される物質材の厚みによって変化すること等の理由により、目的物質を他の物質から区別して検出するための閾値の設定が難しい。
【課題を解決するための手段】
【0005】
本開示の第一態様の分光画像解析方法は、コンピューターにより実行される画像解析方法であって、前記コンピューターは、対象物を撮像した画像であって、かつ、互いに異なる複数の分光波長に対応する複数の分光画像を含む対象画像を取得するステップと、前記複数の分光波長に対する前記対象画像の分割領域の光強度に基づいて前記分割領域ごとの分光スペクトルを算出するステップと、目的物質の既知の吸収波長である目的波長における前記分光スペクトルの一次微分値および二次微分値を算出するステップと、前記一次微分値および前記二次微分値に基づいて、前記対象画像から前記目的物質の画像領域として同定される前記分割領域を検出するステップと、を実施する。
【0006】
本開示の第二態様の分光画像解析プログラムは、コンピューターにより読み取り実行可能なプログラムであって、前記コンピューターに、上述の分光画像解析方法を実施させる。
【0007】
本開示の第三態様の分光画像解析装置は、対象物を撮像した画像であって、かつ、互いに異なる複数の分光波長に対応する複数の分光画像を含む対象画像を取得する画像取得部と、前記分光波長に対する前記対象画像の分割領域の光強度に基づいて前記分割領域ごとの分光スペクトルを算出するスペクトル算出部と、目的物質の既知の吸収波長である目的波長における前記分光スペクトルの一次微分値および二次微分値を算出する評価値算出部と、前記一次微分値および前記二次微分値に基づいて、前記対象画像から前記目的物質の画像領域として同定される前記分割領域を検出する検出部と、を備える。
【図面の簡単な説明】
【0008】
【図1】本開示の一実施形態に係る分光画像解析装置の概略構成を示すブロック図。
【図2】前記実施形態に係る分光画像解析方法の一例を示すフローチャート。
【図3】目的物質および近似物質の各反射スペクトルを示すグラフ。
【図4】目的物質および近似物質の各反射スペクトルの一次微分波形を示すグラフ。
【図5】目的物質および近似物質の各反射スペクトルの二次微分波形を示すグラフ。
【図6】前記分光画像解析装置により取得される分光画像の例を示す模式図。
【図7】前記分光画像解析装置により生成される検出画像の例を示す模式図。
【図8】前記実施形態に係る分光画像解析方法の他の例を示すフローチャート。
【発明を実施するための形態】
【0009】
以下、本開示にかかる一実施形態について説明する。
図１は、本実施形態の分光画像解析システム１の概略構成を示すブロック図である。
本実施形態の分光画像解析システム１は、図１に示すように、分光カメラ２および分光画像解析装置３を備えている。この分光画像解析システム１において、分光カメラ２は、互いに異なる複数の分光波長により対象物を分光撮像する。また、分光画像解析装置３は、分光カメラ２により撮像された複数の分光画像Ｉｓを含む対象画像を解析することにより、当該対象画像から目的物質の画像領域として同定される画素を検出する。
図１は、本実施形態の分光画像解析システム１の概略構成を示すブロック図である。
本実施形態の分光画像解析システム１は、図１に示すように、分光カメラ２および分光画像解析装置３を備えている。この分光画像解析システム１において、分光カメラ２は、互いに異なる複数の分光波長により対象物を分光撮像する。また、分光画像解析装置３は、分光カメラ２により撮像された複数の分光画像Ｉｓを含む対象画像を解析することにより、当該対象画像から目的物質の画像領域として同定される画素を検出する。
【0010】
［分光カメラ２の構成］
分光カメラ２は、図１に示すように、撮像部２１および撮像制御部２５を備え、撮像部２１は、入射光学系２１１、分光素子２１２、結像光学系２１３および撮像素子２１４を備える。
分光カメラ２は、図１に示すように、撮像部２１および撮像制御部２５を備え、撮像部２１は、入射光学系２１１、分光素子２１２、結像光学系２１３および撮像素子２１４を備える。
【0011】
入射光学系２１１は、対象物で反射した光である測定光Ｌを分光素子２１２に導く。この入射光学系２１１は、例えば像側テレセントリック光学系を構成する複数のレンズにより構成され、測定光Ｌの主光線を平行にして分光素子２１２に入射させる。
【0012】
分光素子２１２は、入射光学系２１１から入射された測定光Ｌのうちの所望の波長を中心とした光を分光する素子であって、かつ、分光可能な波長を切り替え可能な素子である。例えば、分光素子２１２として、波長可変型のファブリーペローエタロンを利用できる。このファブリーペローエタロンは、互いに対向する一対の反射膜と、一対の反射膜の間のギャップ寸法を変更するアクチュエーター素子とを備え、当該ギャップ寸法に応じた波長の光を透過させることができる。
【0013】
なお、分光素子２１２は、所望の分光波長の光を撮像素子２１４に向かって反射させる構成を有してもよい。また、分光素子２１２は、上記のようなファブリーペローエタロンに限定されるものではなく、例えば、ＡＯＴＦ（Acousto-Optic Tunable Filter）やＬＣＴＦ（Liquid crystal tunable filter）等であってもよい。
【0014】
結像光学系２１３は、例えば、複数のレンズにより構成され、分光素子２１２を透過した光を撮像素子２１４で結像させる。
撮像素子２１４は、分光素子２１２により分光された所望の分光波長を中心とした光を受光し、分光画像Ｉｓを撮像する。例えば、撮像素子２１４して、ＣＣＤ(Charge-Coupled Device)やＣＭＯＳ(Complementary Metal-Oxide Semiconductor)等の一般的なイメージセンサーを用いることができる。
撮像素子２１４は、分光素子２１２により分光された所望の分光波長を中心とした光を受光し、分光画像Ｉｓを撮像する。例えば、撮像素子２１４して、ＣＣＤ(Charge-Coupled Device)やＣＭＯＳ(Complementary Metal-Oxide Semiconductor)等の一般的なイメージセンサーを用いることができる。
【0015】
撮像制御部２５は、分光素子２１２を制御する分光制御回路、撮像素子２１４を制御する撮像制御回路、分光カメラ２の全体動作を制御するマイコン、および、各種データを記憶するカメラメモリー等を備えて構成される。
分光制御回路は、マイコンの制御に従って分光素子２１２に駆動信号を出力することで、分光素子２１２における分光波長を制御する。
撮像制御回路は、マイコンの制御に従って撮像素子２１４を駆動する。これにより、撮像素子２１４は、分光素子２１２の各分光波長に対応する分光画像Ｉｓを撮像する。
マイコンは、分光制御回路および撮像制御回路を制御する。
カメラメモリーは、分光制御回路および撮像制御回路を制御するための各種データや、分光画像Ｉｓを記録する。
分光制御回路は、マイコンの制御に従って分光素子２１２に駆動信号を出力することで、分光素子２１２における分光波長を制御する。
撮像制御回路は、マイコンの制御に従って撮像素子２１４を駆動する。これにより、撮像素子２１４は、分光素子２１２の各分光波長に対応する分光画像Ｉｓを撮像する。
マイコンは、分光制御回路および撮像制御回路を制御する。
カメラメモリーは、分光制御回路および撮像制御回路を制御するための各種データや、分光画像Ｉｓを記録する。
【0016】
［分光画像解析装置３の構成］
分光画像解析装置３は、例えば、スマートフォンやタブレット端末、パーソナルコンピューター等の一般的なコンピューターであり、任意の通信方式により分光カメラ２と通信可能である。分光画像解析装置３は、図１に示すように、表示部３１、操作部３２、記憶部３３、および、プロセッサー３４を備える。
分光画像解析装置３は、例えば、スマートフォンやタブレット端末、パーソナルコンピューター等の一般的なコンピューターであり、任意の通信方式により分光カメラ２と通信可能である。分光画像解析装置３は、図１に示すように、表示部３１、操作部３２、記憶部３３、および、プロセッサー３４を備える。
【0017】
表示部３１は、分光カメラ２で撮像された分光画像Ｉｓや後述の検出画像Ｉｄなどを表示する。表示部３１は、液晶ディスプレイなどの一般的な表示装置であってもよいし、ユーザーの頭部に装着される頭部装着型の表示装置であってもよい。また、表示部３１は、分光画像解析装置３とは別体に構成され、分光画像解析装置３と通信可能に接続される構成としてもよい。
【0018】
操作部３２は、ユーザーによる操作を受け付け、操作に応じた操作信号をプロセッサー３４に出力する。操作部３２は、マウスやキーボード等の各種入力装置であってもよいし、表示部３１と一体的に構成されたタッチパネルであってもよい。
【0019】
記憶部３３は、プロセッサー３４により利用される各種データや各種プログラムを記録できる。具体的には、記憶部３３は、分光画像解析装置３から得られた複数の分光画像Ｉｓ、後述の検出画像Ｉｄ、および、分光画像解析装置３を制御するための分光画像解析プログラム等を記憶する。また、記憶部３３は、目的物質の候補となる各物質に対応する吸収波長を記憶する。
【0020】
プロセッサー３４は、記憶部３３に記憶された分光画像解析プログラムを読み込み実行することで、画像取得部３４１、スペクトル算出部３４２、評価値算出部３４３、検出部３４４、画像生成部３４５、表示制御部３４６および判定部３４７として機能する。各機能の詳細な説明については後述する。
【0021】
［分光画像解析方法］
本実施形態の分光画像解析方法の一例について、図２のフローチャートを参照して説明する。
本実施形態の分光画像解析方法の一例について、図２のフローチャートを参照して説明する。
【0022】
なお、本実施形態では、図２のフローチャートの開始前の事前準備として、照明などの撮像環境を設定し、分光カメラ２の撮像範囲全体に対して基準物を配置する。基準物は、特に限定されないが、白色板など、撮像範囲における反射率が波長に対して一様である物体であることが好ましい。また、ユーザーは、操作部３２を介して、分光画像解析装置３に対して目的物質を指定する。
【0023】
分光画像解析装置３の画像取得部３４１は、ユーザー操作等に応じて、分光撮像を実施する旨の指令を分光カメラ２に出力する。これにより、分光カメラ２は、分光素子２１２での分光波長を順次切り替えながら各分光波長による撮像を行う。また、画像取得部３４１は、分光カメラ２から複数の分光画像Ｉｓを含む基準画像を取得する（ステップＳ１）。
【0024】
ステップＳ１の後、ユーザーは、分光カメラ２の撮像範囲から基準物を除き、１つ以上の対象物を当該撮像範囲に配置する。そして、分光画像解析装置３の画像取得部３４１は、ユーザー操作等に応じて、分光撮像を実施する旨の指令を分光カメラ２に出力する。これにより、分光カメラ２は、分光素子２１２での分光波長を順次切り替えながら各分光波長による撮像を行う。また、画像取得部３４１は、分光カメラ２から複数の分光画像Ｉｓを含む対象画像を取得する（ステップＳ２）。
【0025】
上述のステップＳ１，Ｓ２において、画像取得部３４１が分光カメラ２に出力する指令には、複数の分光波長を指定する波長情報が含まれる。本実施形態における複数の分光波長は、ユーザーにより指定された目的物質に対応する波長（以下、目的波長λｔ）と、目的波長λｔの前方に配置される前方波長λｔ＋ｈと、目的波長λｔの後方に配置される後方波長λｔ-ｈとを含む３つの波長である。
【0026】
なお、目標物質が複数の吸収波長を有する場合には、そのうちの任意の１つの吸収波長を目的波長λｔとして設定されればよい。前方波長λｔ＋ｈおよび後方波長λｔ-ｈのそれぞれと目的波長λｔとの間の波長差ｈは、後述する数値微分を可能にする微小な値として設定されればよい。また、当該波長差ｈは、分光カメラ２におけるＳ／Ｎ比などに基づき、所望の検出精度を実現できるように設定されることが好ましく、例えば５０ｎｍなどである。
【0027】
次に、スペクトル算出部３４２は、ステップＳ１で取得された基準画像およびステップＳ２で取得された対象画像に基づいて、対象画像の各画素に対応する反射スペクトルを算出する（ステップＳ３）。
具体的には、スペクトル算出部３４２は、分光波長ごとに、対象画像の画素（ｘｉ，ｙｊ）の光強度を基準画像の画素（ｘｉ，ｙｊ）の光強度で除算することで、当該画素（ｘｉ，ｙｊ）における反射率を算出する。これにより、対象画像の画素（ｘｉ，ｙｊ）に対応する反射スペクトルが算出される。本実施形態のスペクトル算出部３４２は、対象画像の全ての画素で、各画素に対応する反射スペクトルを算出する。
具体的には、スペクトル算出部３４２は、分光波長ごとに、対象画像の画素（ｘｉ，ｙｊ）の光強度を基準画像の画素（ｘｉ，ｙｊ）の光強度で除算することで、当該画素（ｘｉ，ｙｊ）における反射率を算出する。これにより、対象画像の画素（ｘｉ，ｙｊ）に対応する反射スペクトルが算出される。本実施形態のスペクトル算出部３４２は、対象画像の全ての画素で、各画素に対応する反射スペクトルを算出する。
【0028】
次に、評価値算出部３４３は、対象画像の画素ごとに、ステップＳ３で算出された反射スペクトルに基づき、目的波長λｔにおける反射スペクトルの一次微分値ｄＲｔおよび二次微分値ｄ２Ｒｔを算出する（ステップＳ４）。
【0029】
ここで、一次微分値ｄＲｔおよび二次微分値ｄ２Ｒｔのそれぞれは、目的物質の画像領域を同定するための評価値である。本実施形態の評価値算出部３４３は、数値微分によって一次微分値ｄＲｔおよび二次微分値ｄ２Ｒｔを算出できる。例えば、評価値算出部３４３は、中心差分近似を用いることで、以下の式（１）により一次微分値ｄＲｔを算出し、以下の式（２）により二次微分値ｄ２Ｒｔを算出する。
なお、上記式（１）、式（２）において、Ｒｔは目的波長λｔにおける反射率であり、Ｒｔ＋ｈは、前方波長λｔ＋ｈにおける反射率であり、Ｒｔ-ｈは、後方波長λｔ-ｈにおける反射率である。
【数1】
【0030】
次に、検出部３４４は、ステップＳ４で算出された各画素の一次微分値ｄＲｔおよび二次微分値ｄ２Ｒｔに基づいて、対象画像から目的物質の画像領域として同定される画素（以下、同定画素）を検出する（ステップＳ５）。
【0031】
ここで、ステップＳ５について説明するために、任意の目的物質と、目的物質以外の物質であって目的波長λｔに近い吸収波長を有する近似物質のそれぞれの反射スペクトルについて説明する。
図３は、目的物質および近似物質の各反射スペクトルの波形を例示するグラフである。この図３に示すように、目的物質の反射スペクトルは、目的波長λｔでピークを示し、近似物質の反射スペクトルは、目的波長λｔとは異なる波長でピークを示す。
図３は、目的物質および近似物質の各反射スペクトルの波形を例示するグラフである。この図３に示すように、目的物質の反射スペクトルは、目的波長λｔでピークを示し、近似物質の反射スペクトルは、目的波長λｔとは異なる波長でピークを示す。
【0032】
また、図４は、目的物質および近似物質の各反射スペクトルの一次微分波形を例示すうｒグラフであり、図５は、各反射スペクトルの二次微分波形を例示するグラフである。図４に示すように、目的物質の反射スペクトルの一次微分波形は、目的波長λｔで０を示すが、近似物質の反射スペクトルの一次微分波形は、目的波長λｔで０から大きく外れる値を示す。また、図５に示すように、目的物質の反射スペクトルの二次微分波形は、目的波長λｔでピークを示すが、近似物質の反射スペクトルの二次微分波形は、目的波長λｔでピークにはならない。
よって、一次微分値ｄＲｔに対して０を含む所定の検出範囲Ｒｄを設定し、かつ、二次微分値ｄ２Ｒｔに対して目的物質の二次微分波形のピーク値よりも小さい所定の閾値Ｒｔｈを設定することで、目的物質を同定できる。
なお、検出範囲Ｒｄの幅は特に限定されないが、例えば０の上下に許容誤差を含む範囲である。また、閾値Ｒｔｈの大きさは特に限定されないが、例えば目的物質の二次微分波形のピーク値の半分程度の値である。
よって、一次微分値ｄＲｔに対して０を含む所定の検出範囲Ｒｄを設定し、かつ、二次微分値ｄ２Ｒｔに対して目的物質の二次微分波形のピーク値よりも小さい所定の閾値Ｒｔｈを設定することで、目的物質を同定できる。
なお、検出範囲Ｒｄの幅は特に限定されないが、例えば０の上下に許容誤差を含む範囲である。また、閾値Ｒｔｈの大きさは特に限定されないが、例えば目的物質の二次微分波形のピーク値の半分程度の値である。
【0033】
上述のステップＳ５において、検出部３４４は、対象画像の画素ごとに、一次微分値ｄＲｔが所定の検出範囲Ｒｄ内、かつ、二次微分値ｄ２Ｒｔが所定の閾値Ｒｔｈ以上あるか否かを判定する。そして、検出部３４４は、一次微分値ｄＲｔが所定の検出範囲Ｒｄ内、かつ、二次微分値ｄ２Ｒｔが所定の閾値Ｒｔｈ以上あると判定した画素を、目的物質の同定画素として検出できる。
【0034】
仮に、対象画像内に近似物質が存在する場合、近似物質の画像領域内の画素の二次微分値ｄ２Ｒｔは、閾値Ｒｔｈ以上になることがある。しかし、当該画素の一次微分値ｄＲｔは、０から大きく外れるため、検出範囲Ｒｄ内には含まれない。このため、近似物質の画像領域内の画素は、同定画素として検出されない。
【0035】
また、対象画像における対象物以外の領域（すなわち背景領域）内の画素では、反射スペクトルが０付近のフラットな状態になることがある。このような画素では、一次微分値ｄＲｔが所定の検出範囲Ｒｄ内に含まれるが、二次微分値ｄ２Ｒｔが閾値Ｒｔｈよりも小さくなる。このため、背景領域内の画素は、同定画素として検出されない。
【0036】
次に、画像生成部３４５は、対象画像または目的波長λｔの分光画像Ｉｓにおいて、上記ステップＳ５により検出された同定画素に対し、任意の色を色付けすることで、検出画像Ｉｄを生成する（ステップＳ６）。
【0037】
その後、表示制御部３４６は、ステップＳ６で生成された検出画像Ｉｄを表示部３１に出力する。これにより、表示部３１は、検出画像Ｉｄを表示する（ステップＳ７）。
【0038】
以上により、図２のフローチャートが終了する。ユーザーは、表示部３１に表示された検出画像Ｉｄを確認し、対象物に対する色付けの割合などに基づいて、対象物が目的物質であるか否かを判断することができる。
【0039】
図６は、対象物Ｗ１，Ｗ２が撮像された分光画像Ｉｓの１つを例示する模式図である。ここで、対象物Ｗ１は、目的物質から構成され、対象物Ｗ２は、近似物質から構成されるものとする。この図６に例示される分光画像Ｉｓでは、ユーザーは、対象物Ｗ１，Ｗ２を見分けることが困難である。
【0040】
図７は、対象物Ｗ１，Ｗ２の分光画像Ｉｓに基づいて生成される検出画像Ｉｄを模式的に示す図である。ここで、目的物質から構成される対象物Ｗ１の画像領域では、色付けされる領域が占めている。一方、近似物質から構成される対象物Ｗ２の画像領域では、色付けされる領域の割合が小さい。よって、図７に例示される検出画像Ｉｄでは、ユーザーは、目的物質から構成された対象物Ｗ１を判別することができる。
【0041】
［その他の画像解析方法］
本実施形態の分光画像解析方法の他の例について、図８のフローチャートを参照して説明する。なお、ここでは、対象物が単一の物質から構成されるものとする。
本実施形態の分光画像解析方法の他の例について、図８のフローチャートを参照して説明する。なお、ここでは、対象物が単一の物質から構成されるものとする。
【0042】
まず、分光画像解析システム１は、上述のステップＳ１～Ｓ５までを行う。
その後、判定部３４７は、公知の画像解析方法を用いて、対象画像における対象物の画像領域を特定し、当該画像領域における同定画素の割合が予め定められた所定の閾値以上であるか否かに基づいて、対象物が目的物質であるか否かを判定する。例えば、対象物の領域における同定画素の割合が予め定められた所定の閾値以上である場合には、当該対象物が目的物質であると判定する（ステップＳ８）。
その後、判定部３４７は、公知の画像解析方法を用いて、対象画像における対象物の画像領域を特定し、当該画像領域における同定画素の割合が予め定められた所定の閾値以上であるか否かに基づいて、対象物が目的物質であるか否かを判定する。例えば、対象物の領域における同定画素の割合が予め定められた所定の閾値以上である場合には、当該対象物が目的物質であると判定する（ステップＳ８）。
【0043】
以上により、図８のフローチャートが終了する。その後、分光画像解析装置３は、外部装置に対して、ステップＳ８の判定結果を出力してもよい。外部装置は、当該判定結果に基づいて、目的物質に対してエアの吹き付けなどによる選別工程を行うことができる。
【0044】
［本実施形態の作用効果］
本実施形態の画像解析方法は、コンピューターとしてのプロセッサー３４により実行される画像解析方法であって、プロセッサー３４は、上述したように、画像取得部３４１、スペクトル算出部３４２、評価値算出部３４３および検出部３４４として機能する。画像取得部３４１は、対象物を撮像した画像であって、かつ、互いに異なる複数の分光波長に対応する複数の分光画像Ｉｓを含む対象画像を取得するステップを実施する。スペクトル算出部３４２は、分光波長に対する対象画像の画素の光強度に基づいて画素ごとの反射スペクトルを算出するステップを実施する。評価値算出部３４３は、目的物質の既知の吸収波長である目的波長における反射スペクトルの一次微分値ｄＲｔおよび二次微分値ｄ２Ｒｔを算出するステップを実施する。検出部３４４は、一次微分値ｄＲｔおよび二次微分値ｄ２Ｒｔに基づいて、対象画像から目的物質の画像領域として同定される画素を検出するステップを実施する。
本実施形態の画像解析方法は、コンピューターとしてのプロセッサー３４により実行される画像解析方法であって、プロセッサー３４は、上述したように、画像取得部３４１、スペクトル算出部３４２、評価値算出部３４３および検出部３４４として機能する。画像取得部３４１は、対象物を撮像した画像であって、かつ、互いに異なる複数の分光波長に対応する複数の分光画像Ｉｓを含む対象画像を取得するステップを実施する。スペクトル算出部３４２は、分光波長に対する対象画像の画素の光強度に基づいて画素ごとの反射スペクトルを算出するステップを実施する。評価値算出部３４３は、目的物質の既知の吸収波長である目的波長における反射スペクトルの一次微分値ｄＲｔおよび二次微分値ｄ２Ｒｔを算出するステップを実施する。検出部３４４は、一次微分値ｄＲｔおよび二次微分値ｄ２Ｒｔに基づいて、対象画像から目的物質の画像領域として同定される画素を検出するステップを実施する。
【0045】
このような本実施形態において、目標物質が対象画像に含まれる場合、当該目標物質の画像領域の画素における二次微分値ｄ２Ｒｔは、他の領域（例えば目的波長とは全く異なる吸収波長を有する他の物質の画像領域や背景領域など）の画素における二次微分値ｄ２Ｒｔに対して十分に大きな値になる。
ここで、目的波長λｔに近い吸収波長を有する他の物質（以下、近似物質）が対象画像に含まれる場合、近似物質の画像領域の画素における二次微分値ｄ２Ｒｔは、目標物質の画像領域の画素における二次微分値ｄ２Ｒｔと同様、大きな値になることがある。
そこで、本実施形態では、目的波長λｔにおける分光スペクトルの二次微分値ｄ２Ｒｔだけでなく、一次微分値ｄＲｔを目的物質の同定に利用する。目標物質の画像領域の画素における一次微分値ｄＲｔは０となる（または誤差により０付近の値となる）が、近似物質の画像領域の画素における一次微分値ｄＲｔは０付近の値とはならない。
よって、本実施形態によれば、対象画像に近似物質が含まれる場合であっても、一次微分値ｄＲｔおよび二次微分値ｄ２Ｒｔを用いることで、対象画像から目的物質を近似物質とは区別して検出することができる。
ここで、目的波長λｔに近い吸収波長を有する他の物質（以下、近似物質）が対象画像に含まれる場合、近似物質の画像領域の画素における二次微分値ｄ２Ｒｔは、目標物質の画像領域の画素における二次微分値ｄ２Ｒｔと同様、大きな値になることがある。
そこで、本実施形態では、目的波長λｔにおける分光スペクトルの二次微分値ｄ２Ｒｔだけでなく、一次微分値ｄＲｔを目的物質の同定に利用する。目標物質の画像領域の画素における一次微分値ｄＲｔは０となる（または誤差により０付近の値となる）が、近似物質の画像領域の画素における一次微分値ｄＲｔは０付近の値とはならない。
よって、本実施形態によれば、対象画像に近似物質が含まれる場合であっても、一次微分値ｄＲｔおよび二次微分値ｄ２Ｒｔを用いることで、対象画像から目的物質を近似物質とは区別して検出することができる。
【0046】
なお、目標物質の画像領域における一次微分値ｄＲｔは、当該目的物質の厚みに依らずに０となるため、一次微分値ｄＲｔに対する検出範囲Ｒｄの設定が容易である。また、二次微分値ｄ２Ｒｔに対する閾値Ｒｔｈは、目的波長に吸収があることが判別可能な程度の値であればよく、各検出範囲に対する厳密な設定を要しない。これにより、対象画像から目的物質を検出する際のロバスト性を向上させることもできる。
【0047】
本実施形態において、複数の分光波長は、目的波長λｔ、目的波長λｔの前方に設定される前方波長λｔ＋ｈ、および、目的波長の後方に設定される後方波長λｔ-ｈを含む。これにより、評価値算出部３４３は、数値微分を用いて一次微分値ｄＲｔおよび二次微分値ｄ２Ｒｔを簡単に算出できる。また、分光カメラ２による分光撮像時、分光画像Ｉｓの撮像回数を抑えることができるため、分光撮像にかかる時間を短縮化することもできる。
【0048】
本実施形態において、プロセッサー３４は、画像生成部３４５として機能してもよい。この画像生成部３４５は、同定画素に対して色付けを行うことで検出画像Ｉｄを生成する。これにより、ユーザーは、表示部３１に表示された検出画像Ｉｄを確認することで、色付けされた画像領域を目的物質として認識できる。また、対象物が一種類の物質から構成されることが前提となっている場合、ユーザーは、検出画像Ｉｄにおける対象物の画像領域に対する色付け領域の割合に基づいて、当該対象物が目的物質であるか否かを判断することができる。
【0049】
本実施形態において、プロセッサー３４は、判定部３４７として機能してもよい。この判定部３４７は、同定画素が対象画像における対象物の配置領域に含まれる割合に基づいて、当該対象物が目的物質であるか否かを判定する。分光画像解析装置３と通信可能に構成された外部装置は、この判定結果を利用することで、目的物質に対する選別工程などを行うことができる。
【0050】
［変形例］
なお、本発明は上述の実施形態に限定されるものではなく、本発明の目的を達成できる範囲での変形、改良、および各実施形態を適宜組み合わせる等によって得られる構成は本発明に含まれるものである。
なお、本発明は上述の実施形態に限定されるものではなく、本発明の目的を達成できる範囲での変形、改良、および各実施形態を適宜組み合わせる等によって得られる構成は本発明に含まれるものである。
【0051】
（変形例１）
上記実施形態では、対象画像の画素を対象画像の分割領域としており、スペクトル算出部３４２は、対象画像の画素ごとに反射スペクトルを算出するが、これに限定されない。例えば、対象画像の複数の画素を含む領域を分割領域とする場合、スペクトル算出部３４２は、複数の画素ごとに反射スペクトルを算出してもよい。この場合、スペクトル算出部３４２は、複数の画素の光強度の平均に基づいて分光スペクトルを算出してもよい。
上記実施形態では、対象画像の画素を対象画像の分割領域としており、スペクトル算出部３４２は、対象画像の画素ごとに反射スペクトルを算出するが、これに限定されない。例えば、対象画像の複数の画素を含む領域を分割領域とする場合、スペクトル算出部３４２は、複数の画素ごとに反射スペクトルを算出してもよい。この場合、スペクトル算出部３４２は、複数の画素の光強度の平均に基づいて分光スペクトルを算出してもよい。
【0052】
（変形例２）
上記実施形態において、スペクトル算出部３４２は、分光スペクトルとして、各波長に対する反射率を示す反射スペクトルを算出するが、これに限定されない。例えば、スペクトル算出部３４２は、分光スペクトルとして、各波長に対する光吸収率を示す吸光スペクトルを算出してもよい。また、照明光の光量や撮像部２１の撮像感度が波長に対して一定である場合など、スペクトル算出部３４２は、基準物を撮像した基準画像を用いずに、複数の分光画像Ｉｓの各画素の信号値に基づいて分光スペクトルを算出してもよい。
上記実施形態において、スペクトル算出部３４２は、分光スペクトルとして、各波長に対する反射率を示す反射スペクトルを算出するが、これに限定されない。例えば、スペクトル算出部３４２は、分光スペクトルとして、各波長に対する光吸収率を示す吸光スペクトルを算出してもよい。また、照明光の光量や撮像部２１の撮像感度が波長に対して一定である場合など、スペクトル算出部３４２は、基準物を撮像した基準画像を用いずに、複数の分光画像Ｉｓの各画素の信号値に基づいて分光スペクトルを算出してもよい。
【0053】
（変形例３）
上記実施形態において、複数の分光波長は、目的波長λｔ、前方波長λｔ＋ｈ、および、後方波長λｔ-ｈを含むが、これに限定されない。例えば、複数の分光波長は、目的波長を含むことに限定されず、目的波長付近に位置する複数の波長を含んでもよい。この場合、評価値算出部３４３は、分光スペクトルから近似的に求められる分光波形に基づいて、一次微分値ｄＲｔおよび二次微分値ｄ２Ｒｔを算出してもよい。
上記実施形態において、複数の分光波長は、目的波長λｔ、前方波長λｔ＋ｈ、および、後方波長λｔ-ｈを含むが、これに限定されない。例えば、複数の分光波長は、目的波長を含むことに限定されず、目的波長付近に位置する複数の波長を含んでもよい。この場合、評価値算出部３４３は、分光スペクトルから近似的に求められる分光波形に基づいて、一次微分値ｄＲｔおよび二次微分値ｄ２Ｒｔを算出してもよい。
【0054】
（変形例４）
上記実施形態の画像解析方法において、検出画像Ｉｄを生成するステップ（ステップＳ６～Ｓ７）や、対象物が目的物質であるか否かを判定するステップ（ステップＳ８）は省略されてもよい。例えば、目的物質が対象物における異物である場合など、画像解析装置は、対象画像から同定画素が検出されることに応じて、アラームを出力するように構成されてもよい。
上記実施形態の画像解析方法において、検出画像Ｉｄを生成するステップ（ステップＳ６～Ｓ７）や、対象物が目的物質であるか否かを判定するステップ（ステップＳ８）は省略されてもよい。例えば、目的物質が対象物における異物である場合など、画像解析装置は、対象画像から同定画素が検出されることに応じて、アラームを出力するように構成されてもよい。
【0055】
（変形例５）
上記実施形態の画像解析方法では、取得された撮像画像の全体を解析対象領域としているが、ユーザー等により指定された一部領域を解析対象領域とし、当該解析対象領域内から同定画素を検出してもよい。
上記実施形態の画像解析方法では、取得された撮像画像の全体を解析対象領域としているが、ユーザー等により指定された一部領域を解析対象領域とし、当該解析対象領域内から同定画素を検出してもよい。
【0056】
（変形例６）
上記実施形態では、対象物が一種類の物質から構成される例を説明しているが、本発明の対象物はこれに限定されない。例えば、対象物が複数種類の物質を混合して構成されてもよいし、対象物が部位ごとに互いに異なる物質から構成されてもよい。このような場合においても、本実施形態の画像解析方法によれば、目的物質を含む画素を同定画素として検出できる。
上記実施形態では、対象物が一種類の物質から構成される例を説明しているが、本発明の対象物はこれに限定されない。例えば、対象物が複数種類の物質を混合して構成されてもよいし、対象物が部位ごとに互いに異なる物質から構成されてもよい。このような場合においても、本実施形態の画像解析方法によれば、目的物質を含む画素を同定画素として検出できる。
【0057】
（変形例７）
上記実施形態の画像解析装置では、１つのプロセッサー３４が本発明のコンピューターに相当するが、本発明のコンピューターは、複数のプロセッサーにより構成されてもよい。
上記実施形態の画像解析装置では、１つのプロセッサー３４が本発明のコンピューターに相当するが、本発明のコンピューターは、複数のプロセッサーにより構成されてもよい。
【0058】
［本開示のまとめ］
本開示に係る分光画像解析方法は、コンピューターにより実行される分光画像解析方法であって、前記コンピューターは、対象物を撮像した画像であって、かつ、互いに異なる複数の分光波長に対応する複数の分光画像を含む対象画像を取得するステップと、前記複数の分光波長に対する前記対象画像の分割領域ごとの光強度に基づいて、前記分割領域ごとの分光スペクトルを算出するステップと、目的物質の既知の吸収波長である目的波長における前記分光スペクトルの一次微分値および二次微分値を算出するステップと、前記一次微分値および前記二次微分値に基づいて、前記対象画像から前記目的物質の画像領域として同定される前記分割領域を検出するステップと、を実施する。
このような方法によれば、対象画像に近似物質が含まれる場合であっても、対象画像から目的物質を近似物質とは区別して検出することができる。
本開示に係る分光画像解析方法は、コンピューターにより実行される分光画像解析方法であって、前記コンピューターは、対象物を撮像した画像であって、かつ、互いに異なる複数の分光波長に対応する複数の分光画像を含む対象画像を取得するステップと、前記複数の分光波長に対する前記対象画像の分割領域ごとの光強度に基づいて、前記分割領域ごとの分光スペクトルを算出するステップと、目的物質の既知の吸収波長である目的波長における前記分光スペクトルの一次微分値および二次微分値を算出するステップと、前記一次微分値および前記二次微分値に基づいて、前記対象画像から前記目的物質の画像領域として同定される前記分割領域を検出するステップと、を実施する。
このような方法によれば、対象画像に近似物質が含まれる場合であっても、対象画像から目的物質を近似物質とは区別して検出することができる。
【0059】
本開示に係る分光画像解析方法において、前記複数の分光波長は、前記目的波長、前記目的波長の前方に設定される前方波長、および、前記目的波長の後方に設定される後方波長を含むことが好ましい。
このような方法によれば、目的波長における分光スペクトルの一次微分値および二次微分値を簡単に算出できる。また、分光撮像にかかる時間を短縮化することもできる。
このような方法によれば、目的波長における分光スペクトルの一次微分値および二次微分値を簡単に算出できる。また、分光撮像にかかる時間を短縮化することもできる。
【0060】
本開示に係る分光画像解析方法において、前記コンピューターは、前記対象画像から検出された前記分割領域に対して色付けを行うことで検出画像を生成するステップをさらに実施してもよい。
このような方法によれば、ユーザーは、検出画像を確認することで、色付けされた画像領域を目的物質として認識できる。
このような方法によれば、ユーザーは、検出画像を確認することで、色付けされた画像領域を目的物質として認識できる。
【0061】
本開示に係る分光画像解析方法において、前記コンピューターは、前記対象画像から検出された前記分割領域が前記対象画像における前記対象物の配置領域に含まれる割合に基づいて、前記対象物が前記目的物質であるか否かを判定するステップをさらに実施してもよい。
【0062】
本開示に係る分光画像解析プログラムは、コンピューターにより読み取り実行可能なプログラムであって、前記コンピューターに、上述のいずれかの分光画像解析方法を実施させるものである。
【0063】
本開示に係る分光画像解析装置は、対象物を撮像した画像であって、かつ、互いに異なる複数の分光波長に対応する複数の分光画像を含む対象画像を取得する画像取得部と、前記分光波長に対する前記対象画像の分割領域の光強度に基づいて前記分割領域ごとの分光スペクトルを算出するスペクトル算出部と、目的物質の既知の吸収波長である目的波長における前記分光スペクトルの一次微分値および二次微分値を算出する評価値算出部と、前記一次微分値および前記二次微分値に基づいて、前記対象画像から前記目的物質の画像領域として同定される前記分割領域を検出する検出部と、を備える。
このような分光画像解析装置によれば、上述の分光画像解析方法と同様の効果を奏することができる。
このような分光画像解析装置によれば、上述の分光画像解析方法と同様の効果を奏することができる。
【符号の説明】
【0064】
１…分光画像解析システム、２…分光カメラ、２１…撮像部、２１１…入射光学系、２１２…分光素子、２１３…結像光学系、２１４…撮像素子、２５…撮像制御部、３…分光画像解析装置、３１…表示部、３２…操作部、３３…記憶部、３４…プロセッサー、３４１…画像取得部、３４２…スペクトル算出部、３４３…評価値算出部、３４４…検出部、３４５…画像生成部、３４６…表示制御部、３４７…判定部、ｄ２Ｒｔ…二次微分値、ｄＲｔ…一次微分値、ｈ…波長差、Ｉｄ…検出画像、Ｉｓ…分光画像、Ｌ…測定光、Ｒｄ…検出範囲、Ｒｔｈ…閾値、Ｗ１，Ｗ２…対象物、λｔ…目的波長。
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】