(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2022-05-19
(45)【発行日】2022-05-27
(54)【発明の名称】スペクトル分析装置およびスペクトル分析方法
(51)【国際特許分類】
G01N 21/65 20060101AFI20220520BHJP
G01N 21/64 20060101ALI20220520BHJP
G01N 21/31 20060101ALI20220520BHJP
G01N 21/41 20060101ALI20220520BHJP
G01N 21/47 20060101ALI20220520BHJP
【FI】
G01N21/65
G01N21/64 Z
G01N21/31
G01N21/41 Z
G01N21/47 Z
(21)【出願番号】P 2019549174
(86)(22)【出願日】2018-09-26
(86)【国際出願番号】 JP2018035764
(87)【国際公開番号】W WO2019077955
(87)【国際公開日】2019-04-25
【審査請求日】2021-05-26
(31)【優先権主張番号】P 2017200176
(32)【優先日】2017-10-16
(33)【優先権主張国・地域又は機関】JP
(73)【特許権者】
【識別番号】000236436
【氏名又は名称】浜松ホトニクス株式会社
(74)【代理人】
【識別番号】100088155
【氏名又は名称】長谷川 芳樹
(74)【代理人】
【識別番号】100113435
【氏名又は名称】黒木 義樹
(74)【代理人】
【識別番号】100140442
【氏名又は名称】柴山 健一
(74)【代理人】
【識別番号】100124291
【氏名又は名称】石田 悟
(72)【発明者】
【氏名】福原 誠史
(72)【発明者】
【氏名】藤原 一彦
(72)【発明者】
【氏名】丸山 芳弘
【審査官】伊藤 裕美
(56)【参考文献】
【文献】特表2010-527017(JP,A)
【文献】特表平10-501333(JP,A)
【文献】特開2011-53171(JP,A)
【文献】LIU, J. et al.,Deep Convolutional Neural Networks for Raman Spectrum Recognition : A Unified Solution,arXiv,2017年08月18日,arXiv:1708.09022v1,p.1-14,https://arxiv.org/pdf/1708.09022.pdf
【文献】ACQUARELLI, J. et al.,Convolutional neural networks for vibrational spectroscopic data analysis,Analytica Chimica Acta,2016年12月27日,Vol.954,p.22-31,http://dx.doi.org/10.1016/j.aca.2016.12.010
【文献】CHEN, S. et al.,Convolutional Neural Network for Classification of Solar Radio Spectrum,Proceedings of the IEEE International Conference on Multimedia and Expo Workshops (ICMEW) 2017,2017年07月10日,2017,p.198-201
(58)【調査した分野】(Int.Cl.,DB名)
G01N 21/00-21/958
G01J 3/00-3/52
JSTPlus/JMEDPlus/JST7580(JDreamIII)
(57)【特許請求の範囲】
【請求項1】
複数の基準物のうちの何れか1または2以上の基準物を含む分析対象物で生じた光のスペクトルに基づいて該分析対象物を分析する装置であって、
光のスペクトルに基づいて2次元配列データを生成する配列変換部と、
深層ニューラルネットワークを有する処理部と、
前記分析対象物で生じた光のスペクトルに基づいて前記配列変換部により生成された2次元配列データを前記深層ニューラルネットワークに入力させて、前記深層ニューラルネットワークから出力されるデータに基づいて前記分析対象物を分析する分析部と、
を備える、スペクトル分析装置。
【請求項2】
前記配列変換部は、前記スペクトルのピーク強度が所定値となるように前記スペクトルを規格化して前記2次元配列データを生成する、請求項1に記載のスペクトル分析装置。
【請求項3】
前記配列変換部は、前記スペクトルのデータの全て又は一部を含むM×N個のデータをM行N列に配列して前記2次元配列データを生成する、請求項1または2に記載のスペクトル分析装置。
【請求項4】
前記複数の基準物それぞれで生じた光のスペクトルに基づいて前記配列変換部により生成された2次元配列データを前記深層ニューラルネットワークに入力させて、前記深層ニューラルネットワークを学習させる学習部を更に備える、請求項1~3の何れか1項に記載のスペクトル分析装置。
【請求項5】
前記学習部は、前記複数の基準物のうちの何れか1または2以上の基準物を含み混合割合が既知である混合物で生じる光のスペクトルに基づいて前記配列変換部により生成された2次元配列データを前記深層ニューラルネットワークに入力させ、前記混合割合を用いて前記深層ニューラルネットワークを学習させる、請求項4に記載のスペクトル分析装置。
【請求項6】
前記分析部は、前記深層ニューラルネットワークから出力されるデータに基づいて前記分析対象物を前記複数の基準物のうちの何れか一つに分類する、請求項1~5の何れか1項に記載のスペクトル分析装置。
【請求項7】
前記分析部は、前記深層ニューラルネットワークから出力されるデータに基づいて前記分析対象物に含まれる前記基準物の混合割合を求める、請求項1~5の何れか1項に記載のスペクトル分析装置。
【請求項8】
前記分析部は、特徴量可視化手法を用いて前記スペクトルにおける特徴箇所を抽出する、請求項1~7の何れか1項に記載のスペクトル分析装置。
【請求項9】
複数の基準物のうちの何れか1または2以上の基準物を含む分析対象物で生じた光のスペクトルに基づいて該分析対象物を分析する方法であって、
光のスペクトルに基づいて2次元配列データを生成する配列変換ステップと、
深層ニューラルネットワークを有する処理部を用い、前記分析対象物で生じた光のスペクトルに基づいて前記配列変換ステップにおいて生成された2次元配列データを前記深層ニューラルネットワークに入力させて、前記深層ニューラルネットワークから出力されるデータに基づいて前記分析対象物を分析する分析ステップと、
を備える、スペクトル分析方法。
【請求項10】
前記配列変換ステップにおいて、前記スペクトルのピーク強度が所定値となるように前記スペクトルを規格化して前記2次元配列データを生成する、請求項9に記載のスペクトル分析方法。
【請求項11】
前記配列変換ステップにおいて、前記スペクトルのデータの全て又は一部を含むM×N個のデータをM行N列に配列して前記2次元配列データを生成する、請求項9または10に記載のスペクトル分析方法。
【請求項12】
前記複数の基準物それぞれで生じた光のスペクトルに基づいて前記配列変換ステップにおいて生成された2次元配列データを前記深層ニューラルネットワークに入力させて、前記深層ニューラルネットワークを学習させる学習ステップを更に備える、請求項9~11の何れか1項に記載のスペクトル分析方法。
【請求項13】
前記学習ステップにおいて、前記複数の基準物のうちの何れか1または2以上の基準物を含み混合割合が既知である混合物で生じる光のスペクトルに基づいて前記配列変換ステップにおいて生成された2次元配列データを前記深層ニューラルネットワークに入力させ、前記混合割合を用いて前記深層ニューラルネットワークを学習させる、請求項12に記載のスペクトル分析方法。
【請求項14】
前記分析ステップにおいて、前記深層ニューラルネットワークから出力されるデータに基づいて前記分析対象物を前記複数の基準物のうちの何れか一つに分類する、請求項9~13の何れか1項に記載のスペクトル分析方法。
【請求項15】
前記分析ステップにおいて、前記深層ニューラルネットワークから出力されるデータに基づいて前記分析対象物に含まれる前記基準物の混合割合を求める、請求項9~13の何れか1項に記載のスペクトル分析方法。
【請求項16】
前記分析ステップにおいて、特徴量可視化手法を用いて前記スペクトルにおける特徴箇所を抽出する、請求項9~15の何れか1項に記載のスペクトル分析方法。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、分析対象物で生じた光のスペクトルに基づいて該分析対象物を分析する装置および方法に関するものである。
【背景技術】
【0002】
分析対象物で生じる光のスペクトルは、分析対象物に含まれる成分の種類または割合に応じた形状を有する。したがって、分析対象物で生じた光のスペクトルに基づいて該分析対象物を分析することができる。分析対象物で生じる光のスペクトルには、分析対象物への光照射に応じて該分析対象物で生じる光(例えば、反射光、透過光、散乱光、蛍光、非線形光学現象(例えばラマン散乱等)により生じる光)のスペクトルが含まれ、また、分析対象物における化学反応により生じる化学発光のスペクトルが含まれる。さらに、光のスペクトルには、透過光または反射光から得られる屈折率または吸収係数のスペクトルも含まれる。ここでいう光は、紫外光、可視光、赤外光に限られるものではなく、例えばテラヘルツ波等をも含む。
【0003】
従来では、このようなスペクトル分析を行う際に多変量解析が用いられてきた。多変量解析として、主成分分析、分類器、回帰分析等が用いられ、これらを組み合わせた解析手法も知られている。また、特許文献1には、深層ニューラルネットワーク(Deep Neural Network)を用いてスペクトル分析を行う旨の示唆がある。深層ニューラルネットワークを用いれば高効率で高精度の画像認識等が可能であるので(非特許文献1参照)、深層ニューラルネットワークを用いてスペクトル分析を行うことができれば、多変量解析を用いる場合と比べて高効率で高精度の分析が可能になると期待される。
【先行技術文献】
【特許文献】
【0004】
【非特許文献】
【0005】
【文献】O. Russakovsky et al., "ImageNet Large Scale Visual Recognition Challenge", Int. J. Comput. Vis. 115, 2015, pp.211-252
【文献】R. R. Selvaraju et al., "Grad-CAM: Visual Explanations from Deep Networks via Gradient-based Localization", arXiv:1610.02391, 2017
【文献】D. Smilkov et al., "SmoothGrad: removing noise by adding noise", arXiv:1706.03825, 2017
【発明の概要】
【発明が解決しようとする課題】
【0006】
しかし、特許文献1には、深層ニューラルネットワークを用いてスペクトル分析を行う際の具体的な手順について何ら記載がない。また、非特許文献1には、深層ニューラルネットワークを用いてスペクトル分析を行う旨の示唆はない。
【0007】
本発明は、上記問題点を解消する為になされたものであり、高効率で高精度のスペクトル分析を行うことができる装置および方法を提供することを目的とする。
【課題を解決するための手段】
【0008】
本発明によるスペクトル分析装置は、複数の基準物のうちの何れか1または2以上の基準物を含む分析対象物で生じた光のスペクトルに基づいて該分析対象物を分析する装置であって、(1)光のスペクトルに基づいて2次元配列データを生成する配列変換部と、(2)深層ニューラルネットワークを有する処理部と、(3)分析対象物で生じた光のスペクトルに基づいて配列変換部により生成された2次元配列データを深層ニューラルネットワークに入力させて、深層ニューラルネットワークから出力されるデータに基づいて分析対象物を分析する分析部と、を備える。
【0009】
本発明によるスペクトル分析方法は、複数の基準物のうちの何れか1または2以上の基準物を含む分析対象物で生じた光のスペクトルに基づいて該分析対象物を分析する方法であって、(1)光のスペクトルに基づいて2次元配列データを生成する配列変換ステップと、(2)深層ニューラルネットワークを有する処理部を用い、分析対象物で生じた光のスペクトルに基づいて配列変換ステップにおいて生成された2次元配列データを深層ニューラルネットワークに入力させて、深層ニューラルネットワークから出力されるデータに基づいて分析対象物を分析する分析ステップと、を備える。
【発明の効果】
【0010】
本発明によれば、高効率で高精度のスペクトル分析を行うことができる。
【図面の簡単な説明】
【0011】
【
図1】
図1は、スペクトル分析装置1の構成を示す図である。
【
図2】
図2は、ラマンスペクトルに基づいて生成される2次元配列データの例を示す図である。
【
図3】
図3は、基準物としての各樹脂材料のラマンスペクトルの例を示す図である。
【
図4】
図4は、基準物としてのPCのラマンスペクトルを学習させる際の各樹脂材料の学習ラベルの値を示す表である。
【
図5】
図5は、分析対象物としてのPCのラマンスペクトルの例を示す図である。
【
図6】
図6は、分析対象物としてのPCのラマンスペクトルに基づく2次元配列データを深層ニューラルネットワークに入力させたときの出力ラベルの例を示す図である。
【
図7】
図7は、第1実施例および第1比較例それぞれの分類結果を纏めた表であり、(a)第1実施例の分類結果、及び(b)第1比較例の分類結果を示す。
【
図8】
図8は、SRとPSとの混合物のラマンスペクトルの例を示す図である。
【
図9】
図9は、PCとPMMAとの混合物(混合割合0.8:0.2)のラマンスペクトルを学習させる際の各樹脂材料の学習ラベルの値を示す表である。
【
図10】
図10は、分析対象物としてのPCとPMMAとの混合物(混合割合0.8:0.2)のラマンスペクトルに基づく2次元配列データを深層ニューラルネットワークに入力させたときの出力ラベルの例を示す図である。
【
図11】
図11は、第2実施例および第2比較例それぞれのPCの定量結果を示す図であり、(a)第2実施例の定量結果、及び(b)第2比較例の定量結果を示す。
【
図12】
図12は、第2実施例および第2比較例それぞれのPETの定量結果を示す図であり、(a)第2実施例の定量結果、及び(b)第2比較例の定量結果を示す。
【
図13】
図13は、第2実施例および第2比較例それぞれのPMMAの定量結果を示す図であり、(a)第2実施例の定量結果、及び(b)第2比較例の定量結果を示す。
【
図14】
図14は、第2実施例および第2比較例それぞれのPSの定量結果を示す図であり、(a)第2実施例の定量結果、及び(b)第2比較例の定量結果を示す。
【
図15】
図15は、第2実施例および第2比較例それぞれのPVC(h)の定量結果を示す図であり、(a)第2実施例の定量結果、及び(b)第2比較例の定量結果を示す。
【
図16】
図16は、第2実施例および第2比較例それぞれのPVDCの定量結果を示す図であり、(a)第2実施例の定量結果、及び(b)第2比較例の定量結果を示す。
【
図17】
図17は、第2実施例および第2比較例それぞれのSRの定量結果を示す図であり、(a)第2実施例の定量結果、及び(b)第2比較例の定量結果を示す。
【
図18】
図18は、圧縮前の学習用のスペクトルおよび2次元配列データの例を示す図であり、(a)2次元配列データ、及び(b)スペクトルを示す。
【
図19】
図19は、圧縮後の学習用のスペクトルおよび2次元配列データの例を示す図であり、(a)2次元配列データ、及び(b)スペクトルを示す。
【
図20】
図20は、分析対象のスペクトルおよび2次元配列データの例を示す図であり、(a)2次元配列データ、及び(b)スペクトルを示す。
【
図21】
図21は、第3実施例および第3比較例それぞれの分類結果を纏めた表であり、(a)第3実施例の分類結果、及び(b)第3比較例の分類結果を示す。
【
図22】
図22は、第1実施例においてPCに分類されたスペクトルのヒートマップの例を示す図である。
【発明を実施するための形態】
【0012】
以下、添付図面を参照して、本発明を実施するための形態を詳細に説明する。なお、図面の説明において同一の要素には同一の符号を付し、重複する説明を省略する。本発明は、これらの例示に限定されるものではない。
【0013】
図1は、スペクトル分析装置1の構成を示す図である。スペクトル分析装置1は、複数の基準物のうちの何れか1または2以上の基準物を含む分析対象物で生じた光のスペクトルに基づいて該分析対象物を分析する装置であって、配列変換部10、処理部20、学習部30および分析部40を備える。
【0014】
配列変換部10は、基準物または分析対象物で生じた光のスペクトルに基づいて2次元配列データを生成する。配列変換部10は、スペクトルのピーク強度が所定値となるようにスペクトルを規格化して2次元配列データを生成するのが好適である。また、配列変換部10は、スペクトルのデータの全て又は一部を含むM×N個のデータをM行N列に配列して2次元配列データを生成するのも好適である。M,Nは2以上の整数である。MとNとは、互いに異なっていてもよいし、互いに等しくてもよい。
【0015】
処理部20は、深層ニューラルネットワークを有する。この深層ニューラルネットワークは畳み込みニューラルネットワーク(Convolutional Neural Network)であるのが好適である。畳み込みニューラルネットワークでは、特徴量を抽出する畳み込み層と、特徴量を圧縮するプーリング層とが、交互に設けられている。処理部20は、深層ニューラルネットワークにおける処理をCPU(Central Processing Unit)により行ってもよいが、より高速な処理が可能なDSP(Digital Signal Processor)またはGPU(Graphics Processing Unit)により行うのが好適である。
【0016】
学習部30は、複数の基準物それぞれで生じた光のスペクトルに基づいて配列変換部10により2次元配列データを生成させ、この2次元配列データを学習用データとして深層ニューラルネットワークに入力させて、深層ニューラルネットワークを学習させる。また、学習部30は、複数の基準物のうちの何れか1または2以上の基準物を含み混合割合が既知である混合物で生じる光のスペクトルに基づいて配列変換部10により2次元配列データを生成させ、この2次元配列データを学習用データとして深層ニューラルネットワークに入力させて、混合割合を用いて深層ニューラルネットワークを学習させる。このような深層ニューラルネットワークの学習は深層学習(Deep Learning)と呼ばれる。
【0017】
分析部40は、分析対象物で生じた光のスペクトルに基づいて配列変換部10により2次元配列データを生成させ、この2次元配列データを分析対象データとして深層ニューラルネットワークに入力させて、深層ニューラルネットワークから出力されるデータに基づいて分析対象物を分析する。分析部40は、深層ニューラルネットワークから出力されるデータに基づいて分析対象物を複数の基準物のうちの何れか一つに分類する。また、分析部40は、深層ニューラルネットワークから出力されるデータに基づいて分析対象物に含まれる基準物の混合割合を求める。
【0018】
配列変換部10は、学習用データおよび分析対象データを互いに同じM行N列の2次元配列データとする。したがって、スペクトルのデータサイズがM×N個でない場合、または、学習用のスペクトルと分析対象のスペクトルとでデータサイズが互いに異なる場合には、配列変換部10は、スペクトルのデータの間引き、トリミング、任意の値の補填などを行うのが好ましい。また、配列変換部10は、数値解析の分野で用いられる補間方法(スプライン補間,ラグランジュ補間,Akima補間など)または画像処理の分野で用いられる圧縮方法(Wavelet変換,離散コサイン変換など)により、学習用データおよび分析対象データを互いに同じM行N列の2次元配列データとするのも好ましい。
【0019】
スペクトル分析装置1は、分析対象のスペクトルの選択、分析開始の指示および分析条件の選択等を受け付ける入力部を備えていてもよい。入力部は例えばキーボードまたはマウス等である。また、スペクトル分析装置1は、分析結果等を表示する表示部を備えていてもよい。表示部は例えば液晶ディスプレイ等である。スペクトル分析装置1は、分析対象のスペクトルおよび分析結果等を記憶する記憶部を備えていてもよい。スペクトル分析装置1は、コンピュータを含む構成とすることができる。
【0020】
このようなスペクトル分析装置1を用いたスペクトル分析方法は、配列変換部10による配列変換ステップ、学習部30による学習ステップ、および、分析部40による分析ステップを備える。
【0021】
すなわち、配列変換ステップにおいて、基準物または分析対象物で生じた光のスペクトルに基づいて配列変換部10により2次元配列データを生成する。学習ステップにおいて、深層ニューラルネットワークを有する処理部20を用い、複数の基準物それぞれで生じた光のスペクトルに基づいて配列変換ステップにおいて生成された2次元配列データを学習用データとして深層ニューラルネットワークに入力させて、深層ニューラルネットワークを学習させる。分析ステップにおいて、深層ニューラルネットワークを有する処理部20を用い、分析対象物で生じた光のスペクトルに基づいて配列変換ステップにおいて生成された2次元配列データを分析対象データとして深層ニューラルネットワークに入力させて、深層ニューラルネットワークから出力されるデータに基づいて分析対象物を分析する。
【0022】
学習ステップにおいて深層ニューラルネットワークの学習を一度行っておけば以降は分析ステップを繰り返して行うことができるので、分析ステップを行う度に学習ステップを行う必要はない。同様の理由で、深層ニューラルネットワークが学習済みであれば学習部30は不要である。
【0023】
本実施形態では、スペクトルに基づいて生成された2次元配列データを深層ニューラルネットワークに入力させてスペクトル分析を行うので、複雑な分類を行う場合、および、大量のスペクトルの分類を行う場合などであっても、高効率で高精度のスペクトル分析を安定して行うことができる。また、本実施形態では、深層ニューラルネットワークを用いて定量分析を行うことができる。
【0024】
次に、第1~第3の実施例について説明する。各実施例では、基準物として以下の7種類の樹脂材料を用いた。分析対象物として、これら7種類の樹脂材料のうちの何れか1種類または2種類の樹脂材料を含むものを用いた。
ポリカーボネート(polycarbonate、PC)
ポリエチレンテレフタレート(polyethylene terephthalate、PET)
ポリメタクリル酸メチル樹脂(polymethyl methacrylate、PMMA)
ポリスチレン(polystyrene、PS)
硬質ポリ塩化ビニル(hard polyvinyl chloride、PVC(h))
ポリ塩化ビニリデン(polyvinylidene chloride、PVDC)
シリコーンラバー(silicone rubber、SR)
【0025】
基準物および分析対象物に中心波長785nmのレーザ光を照射し、そのときに生じたラマン散乱光の強度をラマンシフト量(波数)の各値において測定して、ラマンスペクトルを求めた。
【0026】
第1および第2の実施例では、各スペクトルのデータサイズは1024であった。配列変換ステップにおいて、各ラマンスペクトルについてピーク強度が所定値となるように規格化を行い、各ラマンスペクトルの1024データを32行32列に配列して2次元配列データを生成した。この2次元配列データの生成に際しては、ラマンスペクトルの波数順に並べた1024データのうち最初の32データを第1行の第1列から第32列へ順に配列し、次の32データを第2行の第1列から第32列へ順に配列し、同様のことを繰り返して、最後の32データを第32行の第1列から第32列へ順に配列した。第3実施例では、分析対象のスペクトルのデータサイズは256であった。
【0027】
図2は、ラマンスペクトルに基づいて生成される2次元配列データの例を示す図である。この図は、2次元配列データを2次元画像として示している。この図において、画素数は32×32である。各画素は、データ値が大きいほど淡色で示され、データ値が小さいほど濃色で示されている。階調数は256である。ただし、この図では便宜上、階調数を256として2次元画像を示しているが、実際の処理では各画素値として0~70程度の実数を用いた。
【0028】
第1実施例では、以下のようにして、分析対象物を7種類の基準物のうちの何れか一つに分類した。
【0029】
学習ステップにおいて、基準物としての各樹脂材料について100個のラマンスペクトルを学習用データとして用いた。学習用データの総数は700(=100×7種類)であった。例えばPCについて説明すると、PCのみからなる樹脂材料のラマンスペクトルに基づいて配列変換ステップにおいて2次元配列データを生成した。そして、この2次元配列データを深層ニューラルネットワークに入力させ、PCの学習用ラベルを値1とするとともに、他の樹脂材料の学習ラベルを値0として、深層ニューラルネットワークを学習させた。
図3は、基準物としての各樹脂材料のラマンスペクトルの例を示す図である。
図4は、基準物としてのPCのラマンスペクトルを学習させる際の各樹脂材料の学習ラベルの値を示す表である。
【0030】
分析ステップにおいて、分析対象物としての各樹脂材料について40個のラマンスペクトルを分析対象データとして用いた。分析対象データの総数は280(=40×7種類)であった。例えばPCについて説明すると、PCのみからなる樹脂材料のラマンスペクトルを信号雑音比(signal-to-noise ratio)が異なる4種類用意し、各ラマンスペクトルに基づいて配列変換ステップにおいて2次元配列データを生成した。そして、この2次元配列データを深層ニューラルネットワークに入力させて、深層ニューラルネットワークから出力ラベルを出力させた。
【0031】
図5は、分析対象物としてのPCのラマンスペクトルの例を示す図である。この図は、SN比が異なる4つのラマンスペクトルを示している。
図6は、分析対象物としてのPCのラマンスペクトルに基づく2次元配列データを深層ニューラルネットワークに入力させたときの出力ラベルの例を示す図である。この図の例では、深層ニューラルネットワークから出力される各樹脂材料の出力ラベルのうちPCの出力ラベルの値が最も大きいので、分析対象物がPCであると分類される。
【0032】
第1実施例と比較するための第1比較例では、以下のようにして、多変量解析により分析対象物を7種類の基準物のうちの何れか一つに分類した。すなわち、学習用データに主成分分析(Principal Component Analysis、PCA)を施した結果に基づいて、サポートベクターマシン(Support Vector Machine、SVM)により7クラスのパターン識別器を構成した。PCAの主成分数は8であり、PCAの寄与率は0.968であった。SVMによるパターン識別器に分析対象データを入力させた。
【0033】
図7は、第1実施例および第1比較例それぞれの分類結果を纏めた表である。
図7(a)は第1実施例の分類結果を示し、
図7(b)は第1比較例の分類結果を示す。第1比較例では、280個の分析対象データのうち最もSN比が低いPSの10個の分析対象データについては誤った分類結果となった。これに対して、第1実施例では、280個の分析対象データについて全て正しく分類することができた。このように、多変量解析を用いる第1比較例と比べて、深層ニューラルネットワークを用いる第1実施例では高精度の分類が可能であった。
【0034】
第2実施例では、以下のようにして、分析対象物に含まれる基準物の混合割合を求めた。
【0035】
学習ステップにおいて、基準物としての7種類の樹脂材料のうちの1種類または2種類の樹脂材料を含み混合割合が既知である混合物のラマンスペクトルを学習用データとして用いた。例えばPCとPETとの混合物について説明すると、PCとPETとの混合割合をx:(1-x)とし、xを0~1の範囲で0.1刻みとして、11とおりの混合割合を有する混合物のラマンスペクトルを用意した。なお、x=1の場合はPCが100%であり、x=0の場合はPETが100%であるが、便宜上ここでは混合物という。
【0036】
学習用データの個数については、各樹脂材料(x=0)について3個ずつ(小計21個(=3×7種類))であり、何れか2種類の樹脂材料を含む混合物(x=0.1~0.9の9種類の混合割合)について3個ずつ(小計567個(=3×7C2×9)であり、総数は588であった。7C2は、7種類から2種類を選ぶ際の組合せの個数であり、7×6/2である。混合物のラマンスペクトルは、各樹脂材料のラマンスペクトルを混合割合で加重平均して作成した。
【0037】
この混合物のラマンスペクトルに基づいて配列変換ステップにおいて2次元配列データを生成した。そして、この2次元配列データを深層ニューラルネットワークに入力させ、学習用ラベルを混合割合に応じた値として、深層ニューラルネットワークを学習させた。
図8は、SRとPSとの混合物のラマンスペクトルの例を示す図である。
図9は、PCとPMMAとの混合物(混合割合0.8:0.2)のラマンスペクトルを学習させる際の各樹脂材料の学習ラベルの値を示す表である。
【0038】
分析ステップにおいて、基準物としての7種類の樹脂材料のうちの1種類または2種類の樹脂材料を含み混合割合が既知である混合物のラマンスペクトルを分析対象データとして用いた。分析対象データは、学習用データと同様にして作成した。分析対象データの個数については、各樹脂材料(x=0)について1個ずつであり、何れか2つの樹脂材料を含む混合物(x=0.1~0.9の9種類の混合割合)について1個ずつであり、総数は196であった。
【0039】
図10は、分析対象物としてのPCとPMMAとの混合物(混合割合0.8:0.2)のラマンスペクトルに基づく2次元配列データを深層ニューラルネットワークに入力させたときの出力ラベルの例を示す図である。この図の例では、深層ニューラルネットワークから出力される各樹脂材料の出力ラベルのうち、PCの出力ラベルの値が0.75であり、PMMAの出力ラベルの値が0.15であり、PVDCの出力ラベルの値が0.10であるので、分析対象物がPC,PMMAおよびPVDCの3種類の樹脂材料の混合物であって、その混合割合が0.75:0.15:0.10であると求められる。
【0040】
第2実施例と比較するための第2比較例では、以下のようにして、多変量解析により分析対象物に含まれる基準物の混合割合を求めた。すなわち、学習用データにPCAを施した結果に基づいて重回帰法(Multivariate Linear Regression、MLR)により検量線を作成し、この検量線を用いて、定量を行った。PCAの主成分数は10であり、PCAの寄与率は0.994であった。
【0041】
図11~
図17は、第2実施例および第2比較例それぞれの定量結果を示す図である。
図11はPCの定量結果を示す。
図12はPETの定量結果を示す。
図13はPMMAの定量結果を示す。
図14はPSの定量結果を示す。
図15はPVC(h)の定量結果を示す。
図16はPVDCの定量結果を示す。
図17はSRの定量結果を示す。各図(a)は第2実施例の定量結果を示す。各図(b)は第2比較例の定量結果を示す。また、各図は、学習用データ及び分析対象データそれぞれについて、真の混合割合(横軸)と定量結果の混合割合(縦軸)との関係を示している。真の混合割合と定量結果の混合割合との差を二乗平均平方根誤差で評価したところ、第2実施例では0.0473であり、第2比較例では0.0762であった。このように、多変量解析を用いる第2比較例と比べて、深層ニューラルネットワークを用いる第2実施例では高精度の定量分析が可能であった。
【0042】
第3実施例では、第1実施例と略同様にして、分析対象物を7種類の基準物のうちの何れか一つに分類した。学習用データの総数は700(=100×7種類)であった。分析対象データの総数は280(=40×7種類)であった。第3実施例では、第1実施例と比べると、学習用のスペクトルのデータサイズが1024である点では同じであったが、分析対象のスペクトルのデータサイズが256である点で異なっていた。
【0043】
学習用データおよび分析対象データを互いに同じ16行16列の2次元配列データとするために、Wavelet変換により学習用のスペクトルのデータサイズを256に圧縮し、この圧縮後のスペクトルに基づいて配列変換ステップにおいて2次元配列データを生成した。
図18は、圧縮前の学習用のスペクトルおよび2次元配列データの例を示す図である。
図19は、圧縮後の学習用のスペクトルおよび2次元配列データの例を示す図である。
図20は、分析対象のスペクトルおよび2次元配列データの例を示す図である。各図(a)は2次元配列データを示す。各図(b)はスペクトルを示す。
【0044】
第3実施例と比較するための第3比較例は、第1比較例と同様にして、多変量解析(PCAおよびSVM)により分析対象物を7種類の基準物のうちの何れか一つに分類した。PCAの主成分数は8であり、PCAの寄与率は0.974であった。
【0045】
図21は、第3実施例および第3比較例それぞれの分類結果を纏めた表である。
図21(a)は第3実施例の分類結果を示し、
図21(b)は第3比較例の分類結果を示す。第3比較例では正答率が97.4%であったのに対して、第3実施例では正答率が99.3%であった。このように、スペクトルのデータサイズを圧縮した場合においても、多変量解析を用いる第3比較例と比べて、深層ニューラルネットワークを用いる第3実施例では高精度の分類が可能であった。
【0046】
なお、分析部40によって行われる分析対象物の分析では、画像認識に用いられている特徴量可視化手法をスペクトルに応用し、特徴量可視化手法を用いて、スペクトルにおける特徴箇所の抽出等を行っても良い。
【0047】
ここで、特徴量可視化手法として、深層学習の分野においてGrad-CAM(Gradient-weighted Class Activation Mapping)と呼ばれる技術(非特許文献2参照)を用いた例について説明する。これは、畳み込みニューラルネットワークにおいて、得られた分類結果の判断基準を可視化する技術の1つである。このような技術をスペクトルに応用することで、モデルの妥当性の検算(例えば、人間が識別に用いるピークに注目しているかどうかの判断)への利用が期待でき、また、人間が注目していなかった特徴の抽出への利用が期待できる。
【0048】
上記のGrad-CAMで用いられるアルゴリズムについて、簡単に説明する。まず、判断基準を取得したいラベルを指定する。その後、学習済の各特徴量マップ(予測ラベルを得るまでに経由した畳み込み層やプーリング層)の変化が、予測結果にどれだけ影響を与えるかを計算する。この計算は、各マップにおける各ピクセルの値を順次わずかに変えていき、後段に与える変化量を見ることで、予測結果への影響が大きい箇所を特定する意味を持つ。これは、一般的には勾配(Gradient)の取得と表現される処理である。各マップで得られた変化量マップを足し合わせると、後段への影響が大きい箇所、すなわち、判断の根拠となった特徴箇所を抽出することができる。
【0049】
図22は、第1実施例においてPC(ポリカーボネート)に分類されたスペクトルのヒートマップの例を示す図である。この図では、上記の手法によって得られた変化量マップの総和に活性化関数をかけたものを、ヒートマップとして元スペクトルに重ねて表示しており、深層学習モデルが重要だと判断した箇所がハイライトされている。
【0050】
なお、Grad-CAMは、上述したように、スペクトルにおける特徴箇所の抽出等を行うための特徴量可視化手法の1つである。特徴箇所の抽出方法としては、各ピクセルが与える変化量を計算するという手法は共通しているが、Grad-CAM以外にも、例えばSmoothGrad(非特許文献3参照)など、様々な方法を用いることができる。
【0051】
本発明によるスペクトル分析装置およびスペクトル分析方法は、上記実施形態及び構成例に限定されるものではなく、種々の変形が可能である。
【0052】
上記実施形態によるスペクトル分析装置は、複数の基準物のうちの何れか1または2以上の基準物を含む分析対象物で生じた光のスペクトルに基づいて該分析対象物を分析する装置であって、(1)光のスペクトルに基づいて2次元配列データを生成する配列変換部と、(2)深層ニューラルネットワークを有する処理部と、(3)分析対象物で生じた光のスペクトルに基づいて配列変換部により生成された2次元配列データを深層ニューラルネットワークに入力させて、深層ニューラルネットワークから出力されるデータに基づいて分析対象物を分析する分析部と、を備える構成としている。
【0053】
上記構成の分析装置では、配列変換部は、スペクトルのピーク強度が所定値となるようにスペクトルを規格化して2次元配列データを生成する構成としても良い。また、上記構成の分析装置では、配列変換部は、スペクトルのデータの全て又は一部を含むM×N個のデータをM行N列に配列して2次元配列データを生成する構成としても良い。
【0054】
上記構成の分析装置は、複数の基準物それぞれで生じた光のスペクトルに基づいて配列変換部により生成された2次元配列データを深層ニューラルネットワークに入力させて、深層ニューラルネットワークを学習させる学習部を更に備える構成としても良い。この場合、学習部は、複数の基準物のうちの何れか1または2以上の基準物を含み混合割合が既知である混合物で生じる光のスペクトルに基づいて配列変換部により生成された2次元配列データを深層ニューラルネットワークに入力させ、混合割合を用いて深層ニューラルネットワークを学習させる構成としても良い。
【0055】
上記構成の分析装置では、分析部は、深層ニューラルネットワークから出力されるデータに基づいて分析対象物を複数の基準物のうちの何れか一つに分類する構成としても良い。また、上記構成の分析装置では、分析部は、深層ニューラルネットワークから出力されるデータに基づいて分析対象物に含まれる基準物の混合割合を求める構成としても良い。また、上記構成の分析装置では、分析部は、特徴量可視化手法を用いてスペクトルにおける特徴箇所を抽出する構成としても良い。
【0056】
上記実施形態によるスペクトル分析方法は、複数の基準物のうちの何れか1または2以上の基準物を含む分析対象物で生じた光のスペクトルに基づいて該分析対象物を分析する方法であって、(1)光のスペクトルに基づいて2次元配列データを生成する配列変換ステップと、(2)深層ニューラルネットワークを有する処理部を用い、分析対象物で生じた光のスペクトルに基づいて配列変換ステップにおいて生成された2次元配列データを深層ニューラルネットワークに入力させて、深層ニューラルネットワークから出力されるデータに基づいて分析対象物を分析する分析ステップと、を備える構成としている。
【0057】
上記構成の分析方法では、配列変換ステップにおいて、スペクトルのピーク強度が所定値となるようにスペクトルを規格化して2次元配列データを生成する構成としても良い。また、上記構成の分析方法では、配列変換ステップにおいて、スペクトルのデータの全て又は一部を含むM×N個のデータをM行N列に配列して2次元配列データを生成する構成としても良い。
【0058】
上記構成の分析方法は、複数の基準物それぞれで生じた光のスペクトルに基づいて配列変換ステップにおいて生成された2次元配列データを深層ニューラルネットワークに入力させて、深層ニューラルネットワークを学習させる学習ステップを更に備える構成としても良い。この場合、学習ステップにおいて、複数の基準物のうちの何れか1または2以上の基準物を含み混合割合が既知である混合物で生じる光のスペクトルに基づいて配列変換ステップにおいて生成された2次元配列データを深層ニューラルネットワークに入力させ、混合割合を用いて深層ニューラルネットワークを学習させる構成としても良い。
【0059】
上記構成の分析方法では、分析ステップにおいて、深層ニューラルネットワークから出力されるデータに基づいて分析対象物を複数の基準物のうちの何れか一つに分類する構成としても良い。また、上記構成の分析方法では、分析ステップにおいて、深層ニューラルネットワークから出力されるデータに基づいて分析対象物に含まれる基準物の混合割合を求める構成としても良い。また、上記構成の分析方法では、分析ステップにおいて、特徴量可視化手法を用いてスペクトルにおける特徴箇所を抽出する構成としても良い。
【産業上の利用可能性】
【0060】
本発明は、高効率で高精度のスペクトル分析を行うことができる装置および方法として利用可能である。
【符号の説明】
【0061】
1…スペクトル分析装置、10…配列変換部、20…処理部、30…学習部、40…分析部。