ホーム > 特許ランキング > 浜松ホトニクス株式会社
知財求人 - 知財ポータルサイト「IP Force」
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2022-10-13
(45)【発行日】2022-10-21
(54)【発明の名称】畳み込みニューラルネットワーク判断根拠抽出方法および装置
(51)【国際特許分類】
G06N 3/02 20060101AFI20221014BHJP
【ＦＩ】
G06N3/02
【請求項の数】
6
(21)【出願番号】P 2019048512
(22)【出願日】2019-03-15
(65)【公開番号】P2020149571
(43)【公開日】2020-09-17
【審査請求日】2021-10-28
(73)【特許権者】
【識別番号】000236436
【氏名又は名称】浜松ホトニクス株式会社
(74)【代理人】
【識別番号】100088155
【弁理士】
【氏名又は名称】長谷川 芳樹
(74)【代理人】
【識別番号】100113435
【弁理士】
【氏名又は名称】黒木 義樹
(74)【代理人】
【識別番号】100140442
【弁理士】
【氏名又は名称】柴山 健一
(74)【代理人】
【識別番号】100110582
【弁理士】
【氏名又は名称】柴田 昌聰
(72)【発明者】
【氏名】福原 誠史
(72)【発明者】
【氏名】藤原 一彦
(72)【発明者】
【氏名】丸山 芳弘
【審査官】杉浦 孝光
(56)【参考文献】
【文献】鈴木航、外２名，深層学習における推論過程の可視化の検討，第８０回（平成３０年）全国大会講演論文集（２），2018年03月13日，pp.2-195-2-196
【文献】佐伯真於、外３名，畳み込みニューラルネットワークを用いた風車異常検知システムにおける判断根拠の可視化に関する検討，風力エネルギー利用シンポジウム，2018年，40巻，pp.458-461，[online] [検索日：2020.05.20]，<URL: https://www.jstage.jst.go.jp/article/jweasympo/40/0/40_458/_article/-char/ja>, <DOI: https://d
【文献】ZHOU, Bolei, et al.，Learning Deep Features for Discriminative Localization，arXiv，2015年12月14日，pp.1-10，[online] [検索日：2020.05.20]，<URL: https://arxiv.org/abs/1512.04150>
(58)【調査した分野】(Int.Cl.，ＤＢ名)
Ｇ０６Ｎ ３／００－９９／００
(57)【特許請求の範囲】
【請求項1】
入力層、畳み込み層、プーリング層、全結合層および出力層を有する畳み込みニューラルネットワークの判断の根拠を抽出する方法であって、前記出力層の何れかの出力ラベルに対する前記全結合層の重みの寄与率を求める寄与率算出ステップと、
前記全結合層に入力される特徴量マップ、前記全結合層の重み及び前記寄与率に基づいて、前記根拠を抽出する根拠抽出ステップと、
を備える畳み込みニューラルネットワーク判断根拠抽出方法。
【請求項2】
入力層、畳み込み層、プーリング層、全結合層および出力層を有する畳み込みニューラルネットワークの判断の根拠を抽出する方法であって、前記出力層の何れかの出力ラベルに対する前記全結合層により生成される特徴量ベクトルの寄与率を求める寄与率算出ステップと、
前記全結合層に入力される特徴量マップ、前記全結合層の重み及び前記寄与率に基づいて、前記根拠を抽出する根拠抽出ステップと、
を備える畳み込みニューラルネットワーク判断根拠抽出方法。
【請求項3】
前記入力層に入力される入力データに対応付けて前記根拠を表示する表示ステップを更に備える、請求項１または２に記載の畳み込みニューラルネットワーク判断根拠抽出方法。
【請求項4】
入力層、畳み込み層、プーリング層、全結合層および出力層を有する畳み込みニューラルネットワークの判断の根拠を抽出する装置であって、前記出力層の何れかの出力ラベルに対する前記全結合層の重みの寄与率を求める寄与率算出部と、
前記全結合層に入力される特徴量マップ、前記全結合層の重み及び前記寄与率に基づいて、前記根拠を抽出する根拠抽出部と、
を備える畳み込みニューラルネットワーク判断根拠抽出装置。
【請求項5】
入力層、畳み込み層、プーリング層、全結合層および出力層を有する畳み込みニューラルネットワークの判断の根拠を抽出する装置であって、前記出力層の何れかの出力ラベルに対する前記全結合層により生成される特徴量ベクトルの寄与率を求める寄与率算出部と、
前記全結合層に入力される特徴量マップ、前記全結合層の重み及び前記寄与率に基づいて、前記根拠を抽出する根拠抽出部と、
を備える畳み込みニューラルネットワーク判断根拠抽出装置。
【請求項6】
前記入力層に入力される入力データに対応付けて前記根拠を表示する表示部を更に備える、請求項４または５に記載の畳み込みニューラルネットワーク判断根拠抽出装置。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、畳み込みニューラルネットワークの判断の根拠を抽出する方法および装置に関するものである。
【背景技術】
【0002】
一般に、深層ニューラルネットワーク（Deep Neural Network、以下「ＤＮＮ」という。）による分類は高い正答率を得ることができる。しかし、その一方で、ＤＮＮによる分類の際の計算過程は人間には判断し難い。そこで、ＤＮＮによる学習モデルの全般に対して、その学習モデルの計算過程または判断基準を人間が理解できるように可視化して、その学習モデルが妥当であるか否かを評価したいという要求がある。
【0003】
ＤＮＮの一種である畳み込みニューラルネットワーク（Convolutional Neural Network、以下「ＣＮＮ」という。）は、画像認識等の分野で用いられ、また、最近ではスペクトル分析の分野でも適用例が報告されている（特許文献１および非特許文献１，２を参照）。スペクトル分析の分野では、これまで、特徴量の抽出を行う主成分分析や、サポートベクターマシン等の分類器などが用いられ、これらは長年に亘り高い成果を上げている。近年では、スペクトル分析の分野でもＣＮＮが用いられるようになってきており、成果が報告されている。
【0004】
ＣＮＮによる画像認識の分野では、入力された画像のうちＣＮＮによる分類の根拠となった特徴的領域を入力画像上に表示する技術が知られている（非特許文献３を参照）。この技術により、ＣＮＮによる学習モデルが妥当であるか否かを評価することができる。しかし、ＣＮＮによるスペクトル分析の分野では、入力されたスペクトルのうちＣＮＮによる分類の根拠となった特徴的領域を求める技術は知られていない。
【先行技術文献】
【特許文献】
【0005】
【文献】特許第６４３８５４９号公報
【非特許文献】
【0006】
【文献】J. Liu, M. Osadchy, L. Ashton, M.Foster, C. J. Solomon and S. J. Gibson, “Deepconvolutional neural networks for Raman spectrum recognition: a unifiedsolution,” Analyst, 2018, 21, 4067-4074.
【文献】J. Acquarelli; T. Laarhoven; J.Gerretzen; T. N. Tran; L. M. C. Buydens; E. Marchiori, “Convolutionalneural networks for vibrational spectroscopic data analysis,”Anal. Chim. Acta, 2017, 954, 22-31.
【文献】R. R. Selvaraju, M. Cogswell, A.Das, R. Vedantam, D. Parikh, D. Batra, “Grad-CAM: VisualExplanations from Deep Networks via Gradient-based Localization,”arXiv: 1610.02391v3, 2017.
【発明の概要】
【発明が解決しようとする課題】
【0007】
本発明者らによる研究によれば、ＣＮＮによるスペクトル分析に非特許文献３に記載されている技術を適用しようとしたところ、ＣＮＮによる分類の根拠となった特徴的領域を求めることは困難であった。これは次のような理由によると考えられる。
【0008】
ＣＮＮにより画像認識を行う場合、ＣＮＮは、隠れ層が１６層以上にも及ぶ深いネットワーク構造を有することが必要であるとされている。非特許文献３に記載された技術は、ＣＮＮの畳み込み層またはプーリング層の計算により得られた特徴量マップに基づく計算を行うことにより、入力された画像のうち分類の根拠となった特徴的領域を入力画像上に表示する。
【0009】
これに対して、ＣＮＮによりスペクトル分析を行う場合、ＣＮＮは、隠れ層が比較的少ない（数層の）ネットワーク構造で十分であるとされている。このようなネットワーク構造では、非特許文献３に記載されているように畳み込み層またはプーリング層の計算により得られた特徴量マップに基づく計算では、入力されたスペクトルのうちＣＮＮによる分類の根拠となった特徴的領域を求めることは困難であると考えられる。また、畳み込み層で用いられるフィルタのサイズはスペクトルの線幅の程度であることから、特徴量マップに基づく計算では、位置の情報というより、形状の情報の取得しかできなかったからであると考えられる。
【0010】
このような問題は、ＣＮＮをスペクトル分析の分野に適用する場合だけでなく、ＣＮＮの隠れ層が少ない場合や、ＣＮＮの畳み込み層で用いられるフィルタのサイズが小さい場合に、存在すると考えられる。
【0011】
本発明は、上記問題点を解消する為になされたものであり、ＣＮＮの隠れ層が少ない場合または畳み込み層で用いられるフィルタのサイズが小さい場合であっても、入力されたデータのうちＣＮＮによる判断の根拠となった特徴的領域を抽出することができる方法および装置を提供することを目的とする。
【課題を解決するための手段】
【0012】
本発明の畳み込みニューラルネットワーク判断根拠抽出方法は、入力層、畳み込み層、プーリング層、全結合層および出力層を有する畳み込みニューラルネットワークの判断の根拠を抽出する方法であって、出力層の何れかの出力ラベルに対する全結合層の重みの寄与率を求める寄与率算出ステップと、全結合層に入力される特徴量マップ、全結合層の重み及び寄与率に基づいて、根拠を抽出する根拠抽出ステップと、を備える。寄与率算出ステップにおいて、全結合層の重みの寄与率に替えて、全結合層により生成される特徴量ベクトルの寄与率を求めてもよい。特徴量ベクトルは、全結合層に入力される特徴量マップおよび全結合層の重みに基づいて生成される。本発明の畳み込みニューラルネットワーク判断根拠抽出方法は、入力層に入力される入力データに対応付けて根拠を表示する表示ステップを更に備えるのが好適である。
【0013】
本発明の畳み込みニューラルネットワーク判断根拠抽出装置は、入力層、畳み込み層、プーリング層、全結合層および出力層を有する畳み込みニューラルネットワークの判断の根拠を抽出する装置であって、出力層の何れかの出力ラベルに対する全結合層の重みの寄与率を求める寄与率算出部と、全結合層に入力される特徴量マップ、全結合層の重み及び寄与率に基づいて、根拠を抽出する根拠抽出部と、を備える。寄与率算出部は、全結合層の重みの寄与率に替えて、全結合層により生成される特徴量ベクトルの寄与率を求めてもよい。本発明の畳み込みニューラルネットワーク判断根拠抽出装置は、入力層に入力される入力データに対応付けて根拠を表示する表示部を更に備えるのが好適である。
【発明の効果】
【0014】
本発明によれば、ＣＮＮの隠れ層が少ない場合または畳み込み層で用いられるフィルタのサイズが小さい場合であっても、入力されたデータのうちＣＮＮによる判断の根拠となった特徴的領域を抽出することができる。
【図面の簡単な説明】
【0015】
【発明を実施するための形態】
【0016】
以下、添付図面を参照して、本発明を実施するための形態を詳細に説明する。なお、図面の説明において同一の要素には同一の符号を付し、重複する説明を省略する。本発明は、これらの例示に限定されるものではなく、特許請求の範囲によって示され、特許請求の範囲と均等の意味および範囲内でのすべての変更が含まれることが意図される。
【0017】
図１は、畳み込みニューラルネットワークの構成例を示す図である。この図に示される構成例の畳み込みニューラルネットワーク（ＣＮＮ）１０は、入力層１１、畳み込み層１２、プーリング層１３、畳み込み層１４、プーリング層１５、全結合層１６および出力層１７を有する。ＣＮＮ１０は、ＣＰＵ（Central Processing Unit）により実現することができ、より高速な処理が可能なＤＳＰ（Digital Signal Processor）またはＧＰＵ（Graphics Processing Unit）により実現することもできる。また、ＣＮＮ１０は、各種のデータおよびパラメータを記憶するメモリを有する。
【0018】
畳み込み層１２は、入力層１１に入力された入力データ列２１に対してフィルタ３２を作用させて、特徴量マップ２２を生成する。畳み込み層１２は、入力データ列２１に対してフィルタ３２を相対的に移動させ、その各位置において入力データ列２１とフィルタ３２との畳み込み演算を行うことで、特徴量マップ２２を生成する。畳み込み層１２は、一般に複数のフィルタ３２を用い、そのフィルタ３２と同数の特徴量マップ２２を生成する。
【0019】
プーリング層１３は、畳み込み層１２により生成された特徴量マップ２２を縮小させて、特徴量マップ２３を生成する。プーリング層１３は、例えば、特徴量マップ２２から二つずつデータを抽出して、その二つのデータの最大値または平均値をとることで、特徴量マップ２２の２分の１のサイズの特徴量マップ２３を生成する。
【0020】
畳み込み層１４は、プーリング層１３により生成された特徴量マップ２３に対してフィルタ３４を作用させて、特徴量マップ２４を生成する。畳み込み層１４は、特徴量マップ２３に対してフィルタ３４を相対的に移動させ、その各位置において特徴量マップ２３とフィルタ３４との畳み込み演算を行うことで、特徴量マップ２４を生成する。
【0021】
プーリング層１５は、畳み込み層１４により生成された特徴量マップ２４を縮小させて、特徴量マップ２５を生成する。プーリング層１５は、例えば、特徴量マップ２４から二つずつデータを抽出して、その二つのデータの最大値または平均値をとることで、特徴量マップ２４の２分の１のサイズの特徴量マップ２５を生成する。
【0022】
全結合層１６は、プーリング層１５により生成された特徴量マップ２５に対して重み３６を作用させて、特徴量ベクトル２６を生成する。出力層１７は、全結合層１６により生成された特徴量ベクトル２６に対して重み３７を作用させて、出力ラベル２７を生成する。
【0023】
特徴量マップ２５のサイズがＩであり、特徴量マップの個数がＫであるとし、第ｋの特徴量マップの位置ｉの値がＡi,kであるとする。全結合層の重み３６のサイズがＩｘＫであり、全結合層の重みの個数がＭであるとし、第ｍの全結合層の重みのうち位置（i,k）の値がＦｗi,k,mであるとする。特徴量ベクトル２６のサイズはＭである。出力層の重み３７のサイズがＭであり、出力層の重みの個数がＣであるとし、第ｃの出力層の重みのうち位置ｍの値がＧc,mであるとする。出力ラベル２７のうちラベルｃの値ｙｃは次の（１）式で表される。
【0024】
【数1】
【0025】
ＣＮＮ１０の入力層１１に学習用データが入力されたときの出力層の出力ラベル２７と、その学習用データに対応する教師ラベルとの対比に基づいて、ＣＮＮ１０を学習させる。多数の学習用データ及び教師ラベルを用いた学習により、フィルタ３２、フィルタ３４、全結合層の重み３６および出力層の重み３７が最適化されていく。
【0026】
学習済みのＣＮＮ１０の入力層１１に評価用データが入力されると、その評価用データがＣＮＮ１０により分類されて、その分類結果が出力層の出力ラベル２７に現れる。本実施形態の畳み込みニューラルネットワーク判断根拠抽出装置１および方法は、入力された評価用データのうちＣＮＮ１０による判断の根拠となった特徴的領域を抽出するものである。
【0027】
図２は、畳み込みニューラルネットワーク判断根拠抽出装置１の構成を示す図である。この図には、畳み込みニューラルネットワーク判断根拠抽出装置（以下「ＣＮＮ判断根拠抽出装置」という。）１に加えて、ＣＮＮ１０の特徴量マップ２５、特徴量ベクトル２６、出力層の出力ラベル２７、全結合層の重み３６および出力層の重み３７も示されている。
【0028】
ＣＮＮ判断根拠抽出装置１は、ＣＰＵおよびメモリなどを備えるコンピュータにより実現することができ、また、入力データおよび出力データなどを表示する液晶ディスプレイなどの表示部を備える。ＣＮＮ判断根拠抽出装置１は、ＣＮＮ１０とともにコンピュータにより実現されてもよい。
【0029】
ＣＮＮ判断根拠抽出装置１は、寄与率算出部２および根拠抽出部３を備え、好適には更に表示部４を備える。
【0030】
寄与率算出部２は、出力層１７の何れかの出力ラベルに対する全結合層の重み３６の寄与率を求める。出力ラベル２７のうちラベルｃの値ｙｃに対する第ｍの全結合層の重み３６の寄与率βc,mは、Ｆｗi,k,mの変化量に対するｙｃの変化量の比として、次の（２）式で表される。
【0031】
【数2】
【0032】
根拠抽出部３は、全結合層１６に入力される特徴量マップ２５、全結合層の重み３６及び上記の寄与率βc,mに基づいて、ＣＮＮ１０の判断の根拠を抽出する。ＣＮＮ１０の判断の根拠を表すデータ列Ｑｃの第ｉの値Ｑc,iは、Ａi,k，βc,mおよびＦｗi,k,mの積をｋ，ｍについて総和した値として、次の（３）式で表される。データ列ＱｃのサイズはＩである。
【0033】
【数3】
【0034】
表示部４は、入力層１１に入力される入力データに対応付けて、ＣＮＮ１０の判断の根拠を表すデータ列Ｑｃを表示する。
【0035】
畳み込みニューラルネットワーク判断根拠抽出方法（以下「ＣＮＮ判断根拠抽出方法」という。）は、寄与率算出ステップおよび根拠抽出ステップを備え、好適には更に表示ステップを備える。寄与率算出ステップでは、出力層１７の何れかの出力ラベルに対する全結合層の重み３６の寄与率βc,mを求める（（２）式）。根拠抽出ステップでは、全結合層１６に入力される特徴量マップ２５、全結合層の重み３６及び寄与率βc,mに基づいて、ＣＮＮ１０の判断の根拠を抽出する（（３）式）。表示ステップでは、入力層１１に入力される入力データに対応付けて、ＣＮＮ１０の判断の根拠を表すデータ列Ｑｃを表示する。
【0036】
図３は、畳み込みニューラルネットワークの他の構成例を示す図である。この図に示される構成例の畳み込みニューラルネットワーク（ＣＮＮ）１０Ａは、入力層１１、畳み込み層１２、プーリング層１３、全結合層１６および出力層１７を有する。図１に示されたＣＮＮ１０は２組の畳み込み層およびプーリング層を備えていたのに対して、図３に示されるＣＮＮ１０Ａは１組の畳み込み層およびプーリング層を備える。図２に示されるＣＮＮ判断根拠抽出装置１は、この図３に示される構成のＣＮＮに対しても適用可能である。
【0037】
【0038】
第１実施例は次のとおりである。第１実施例では、学習用データおよび評価用データとして、模擬的に作成した簡易な形状を有するスペクトルを用いた。学習用スペクトルおよび評価用スペクトルの何れにおいても、チャンネル数を１０２４とし、１００ch、５００chおよび１０００chの何れかの位置に最大ピークを持たせた。また、学習用スペクトルおよび評価用スペクトルの何れにおいても、１００ch、５００chおよび１０００chの何れとも異なる三つの位置それぞれにノイズピークを持たせ、さらにホワイトノイズを与えた。最大ピークおよびノイズピークの何れもローレンツ関数形状とし、最大ピーク値を１として規格化し、ノイズピーク値を０.１以上１未満の範囲でランダムな値とした。学習用スペクトルに対応する教師ラベルは、その学習用スペクトルの最大ピーク位置（１００ch、５００chおよび１０００chの何れか）として、one-hot vector（正しい学習ラベルを１とし、他のラベルを０とした配列）で与えた。
【0039】
第１実施例では、図３に示された構成のＣＮＮを用いた。フィルタ３２のサイズを８とし、個数を６４とした。全結合層の重み３６のサイズを５１２ｘ６４とし、個数を１２８とした。出力層の重み３７のサイズを１２８とし、個数を３とした。学習用スペクトルおよび教師ラベルを用いて、ＣＮＮを学習させた。
【0040】
学習済みＣＮＮに評価用スペクトルを入力させて、その評価用スペクトルの分類をＣＮＮに行わせた。その分類の根拠となった特徴的領域を、本実施形態により全結合層から求める（実施例）とともに、非特許文献３に記載された技術によりプーリング層から求めた（比較例）。
【0041】
図４～図６は、第１実施例で得られた分類の根拠となった特徴的領域を示す図である。それぞれの図は、上から順に、入力された評価用スペクトル、比較例により得られた分類の根拠となった特徴的領域を示すデータ列、および、実施例により得られた分類の根拠となった特徴的領域を示すデータ列Ｑｃ（（３）式）、を示す。図４は、評価用スペクトルの最大ピーク位置を１００chとした場合の例を示す。図５は、評価用スペクトルの最大ピーク位置を５００chとした場合の例を示す。図６は、評価用スペクトルの最大ピーク位置を１０００chとした場合の例を示す。
【0042】
図４～図６の何れにおいても、比較例では、分類の根拠となった特徴的領域は最大ピーク位置だけでなくノイズピーク位置にも存在するとされている。これに対して、実施例では、分類の根拠となった特徴的領域は最大ピーク位置のみに存在するとされている。比較例と比べて、実施例では、分類の根拠となった特徴的領域がより的確に示されている。
【0043】
第２実施例は次のとおりである。第２実施例では、学習用データおよび評価用データとして、第１実施例で用いた学習用スペクトルおよび評価用スペクトルと同様なものを用いた。ただし、評価用スペクトルには、ローレンツ関数形状のノイズピークを持たせなかった。
【0044】
第２実施例では、第１実施例で用いたＣＮＮの構成と同様のものを用いた。ただし、フィルタ３２のサイズおよび個数を様々な値に設定して、学習および分類をＣＮＮに行わせて、その分類の根拠となった特徴的領域を示すデータ列Ｑｃ（（３）式）を求めた。
【0045】
図７および図８は、第２実施例で得られた分類の根拠となった特徴的領域を示す図である。それぞれの図は、入力された評価用スペクトル、および、実施例により得られた分類の根拠となった特徴的領域を示すデータ列Ｑｃ（（３）式）、を示す。
【0046】
図７は、フィルタ個数を６４に固定し、フィルタサイズを８，１６，１２８，１０２４の各値とした場合の例を示す。図７（ｂ）は、図７（ａ）の一部を拡大して示す。この図から、ＣＮＮは、フィルタサイズがスペクトル幅に近いほど、入力された評価用スペクトルの最大ピーク位置の付近を分類の根拠として着目していることが分かる。
【0047】
図８は、フィルタサイズを１６に固定し、フィルタ個数を８，６４，２５６の各値とした場合の例を示す。図８（ｂ）は、図８（ａ）の一部を拡大して示す。この図から、ＣＮＮは、フィルタ個数が多いほど、入力された評価用スペクトルの最大ピーク位置により近い位置を分類の根拠として捉えていることが分かる。
【0048】
この実施例は、フィルタのサイズおよび個数の最適化を行うことが可能であることを示している。
【0049】
第３実施例は次のとおりである。第３実施例では、学習用スペクトルおよび評価用スペクトルとして、市販の９種類の薬剤Ａ～Ｉそれぞれのラマンスペクトルを用いた。各薬剤について測定されたラマンスペクトルに対して補間処理を行って、波数３５０ｃｍ-1～１８００ｃｍ-1の範囲で１ｃｍ-1刻みのスペクトルを作成した。学習用スペクトルおよび評価用スペクトルの何れにおいても、チャンネル数を１４５１とし、最大ピーク値を１として規格化した。また、９種類の薬剤それぞれについて、ＳＮ比の異なる４種類のスペクトルを学習用スペクトルとした。図９は、第３実施例で用いた９種類の薬剤それぞれのスペクトルの例を示す図である。
【0050】
第３実施例では、図１に示された構成のＣＮＮを用いた。フィルタ３２のサイズを８とし、個数を６４とした。フィルタ３４のサイズを８とし、個数を６４とした。全結合層の重み３６のサイズを３６３ｘ６４とし、個数を１２８とした。出力層の重み３７のサイズを１２８とし、個数を３とした。学習用スペクトルおよび教師ラベルを用いて、ＣＮＮを学習させた。
【0051】
学習用スペクトルとは別のスペクトルを評価用スペクトルとしてＣＮＮに入力させて、その評価用スペクトルの分類をＣＮＮに行わせた。その分類の根拠となった特徴的領域を全結合層から求めた。
【0052】
図１０～図１８は、第３実施例で得られた分類の根拠となった特徴的領域を示す図である。それぞれの図は、入力された評価用スペクトル、および、実施例により得られた分類の根拠となった特徴的領域を示すデータ列Ｑｃ（（３）式）、を示す。図１０は、薬剤Ａの場合の例を示す。図１１は、薬剤Ｂの場合の例を示す。図１２は、薬剤Ｃの場合の例を示す。図１３は、薬剤Ｄの場合の例を示す。図１４は、薬剤Ｅの場合の例を示す。図１５は、薬剤Ｆの場合の例を示す。図１６は、薬剤Ｇの場合の例を示す。図１７は、薬剤Ｈの場合の例を示す。図１８は、薬剤Ｉの場合の例を示す。
【0053】
何れの薬剤についても、評価用スペクトルの強いピークの位置に、分類の根拠となった特徴的領域が存在することが示されている。一方で、評価用スペクトルの比較的弱いピークの位置や、評価用スペクトルのバックグラウンド強度が見られる位置では、Ｑｃ,iの値は小さい。薬剤Ｄの場合（図１３）をみると、薬剤Ｄを他の８種類の薬剤から分離可能とする波数３６０ｃｍ-1付近で、Ｑｃ,iが大きな値となっている。これらのことから、本実施形態によればＣＮＮによる分類の根拠となった特徴的領域を抽出することができたことが確認できる。
【0054】
第４実施例は次のとおりである。第４実施例では、学習用スペクトルおよび評価用スペクトルとして、以下の２０種類のアミノ酸それぞれのラマンスペクトルから作成したものを用いた。図１９は、第４実施例で用いた２０種類のアミノ酸それぞれのスペクトルの例を示す図である。
アラニン(Ala)、アルギニン(Arg)、アスパラギン(Asn)、アスパラギン酸(Asp)、
システイン(Cys)、グルタミン(Gln)、グルタミン酸(Glu)、グリシン(Gly)、
ヒスチジン(His)、ソロイシン(Ile)、ロイシン(Leu)、リシン(Lys)、
メチオニン(Met)、フェニルアラニン(Phe)、プロリン(Pro)、セリン(Ser)、
トレオニン(Thr)、トリプトファン(Trp)、チロシン(Tyr)、バリン(Val)
アラニン(Ala)、アルギニン(Arg)、アスパラギン(Asn)、アスパラギン酸(Asp)、
システイン(Cys)、グルタミン(Gln)、グルタミン酸(Glu)、グリシン(Gly)、
ヒスチジン(His)、ソロイシン(Ile)、ロイシン(Leu)、リシン(Lys)、
メチオニン(Met)、フェニルアラニン(Phe)、プロリン(Pro)、セリン(Ser)、
トレオニン(Thr)、トリプトファン(Trp)、チロシン(Tyr)、バリン(Val)
【0055】
各アミノ酸について、測定されたラマンスペクトルに対して補間処理を行って、波数３５０ｃｍ-1～１８００ｃｍ-1の範囲で１ｃｍ-1刻みのスペクトルを作成した。２０種類のアミノ酸のうちの任意の１種類のアミノ酸をホストとし、他の何れかの種類のアミノ酸をゲストとして、これらのスペクトルを合成した。各ホストについて５個のスペクトルを作成し、最大ピーク値を１として規格化した.合計で１９００（＝20x19x5）個のスペクトルを作成した。学習用スペクトルについては、ホストのアミノ酸のスペクトルとゲストのアミノ酸のスペクトルとの混合比を、１：０.１～１：０.５の範囲でランダムとした。教師ラベルは、ホストのアミノ酸のone-hot vectorで与えた。評価用スペクトルについては、ホストのアミノ酸のスペクトルとゲストのアミノ酸のスペクトルとの混合比を、１：０.４５とした。
【0056】
第４実施例では、第３実施例で用いたＣＮＮの構成と同様のものを用いた。学習用スペクトルおよび教師ラベルを用いて、ＣＮＮを学習させた。学習用スペクトルとは別の評価用スペクトルをＣＮＮに入力させて、その評価用スペクトルの分類をＣＮＮに行わせた。その分類の根拠となった特徴的領域を全結合層から求めた。
【0057】
【0058】
図２１は、ホストをヒスチジン(His)としゲストをアラニン(Ala)とした評価用スペクトル、これをＣＮＮに入力させたときに得られた分類の根拠となった特徴的領域を示すデータ列Ｑｃ（（３）式）、および、ヒスチジン(His)の純スペクトル、を示す。ホストであるヒスチジン(His)のスペクトルの強いピークの位置に、分類の根拠となった特徴的領域が存在することが示されている。一方で、ゲストであるアラニン(Ala)の純スペクトルの強いピークの位置（波数８５０ｃｍ-1付近）では、Ｑｃ,iは負の値である。すなわち、評価用スペクトルに見られる波数８５０ｃｍ-1付近のピークは、ヒスチジン(His)の分類には寧ろ必要がない領域であると、ＣＮＮが学習していると理解できる。
【0059】
図２２は、ホストをロイシン(Leu)としゲストをアラニン(Ala)とした評価用スペクトル、これをＣＮＮに入力させたときに得られた分類の根拠となった特徴的領域を示すデータ列Ｑｃ（（３）式）、および、ロイシン(Leu)の純スペクトル、を示す。ロイシン(Leu)の純スペクトルのＳＮ比は悪いが、そのような場合であっても、同様に、ホストであるロイシン(Leu)のスペクトルの強いピークの位置に、分類の根拠となった特徴的領域が存在することが示されている。ホストであるロイシン(Leu)の純スペクトルの強いピークの位置は、ゲストであるアラニン(Ala)の純スペクトルの強いピークの位置に近い波数８５０ｃｍ-1付近であるが、評価用スペクトルに見られるこのピーク位置は、ロイシン(Leu)の分類には寄与していないと考えられる。評価用スペクトルに見られる他の波数４７５ｃｍ-1付近および５４５ｃｍ-1付近のピークがロイシン(Leu)の分類に寄与していると考えられる。
【0060】
他のホストおよびゲストの組合せについても、同様に良好な結果が得られた。これらのことから、本実施形態によればＣＮＮによる分類の根拠となった特徴的領域を抽出することができたことが確認できる。
【0061】
本実施形態のＣＮＮ判断根拠抽出装置およびＣＮＮ判断根拠抽出方法は、入力データがスペクトルである場合に限らず、他の入力データ（例えば画像データ）であっても、適用可能である。本実施形態によれば、ＣＮＮの隠れ層が少ない場合または畳み込み層で用いられるフィルタのサイズが小さい場合であっても、入力データのうちＣＮＮによる判断の根拠となった特徴的領域を抽出することができる。また、本実施形態のＣＮＮ判断根拠抽出装置およびＣＮＮ判断根拠抽出方法は、ＣＮＮモデルの設計および検証の容易化や信頼性の保証を可能とし、ユーザにとって理解し易いＣＮＮモデルを提供することを期待できる。
【0062】
さらに、本実施形態のＣＮＮ判断根拠抽出装置およびＣＮＮ判断根拠抽出方法は、混合スペクトルの分類において同一種が含まれる試料に同一の教師ラベルを付けてＣＮＮを学習させれば、その共通箇所を抽出することができ、加えて、分類確率を下げると思われる箇所については負の値が得られたことから（第４実施例）、共通成分の可視化のみならず、真贋判定等において、不要な含有物の特定に利用できると考えられる。
【0063】
これまで説明してきた実施形態および第１～第４の実施例は、出力層１７の何れかの出力ラベルに対する全結合層の重み３６の寄与率を求め、この寄与率を用いてＣＮＮ１０の判断の根拠を抽出するものであった。以下に説明する実施形態ならびに第５および第６の実施例のように、出力層１７の何れかの出力ラベルに対する特徴量ベクトル２６の寄与率を求め、この寄与率を用いてＣＮＮ１０の判断の根拠を抽出することもできる。
【0064】
図２３は、畳み込みニューラルネットワーク判断根拠抽出装置１Ａの構成を示す図である。この図には、畳み込みニューラルネットワーク判断根拠抽出装置（ＣＮＮ判断根拠抽出装置）１Ａに加えて、ＣＮＮ１０の特徴量マップ２５、特徴量ベクトル２６、出力層の出力ラベル２７、全結合層の重み３６および出力層の重み３７も示されている。
【0065】
ＣＮＮ判断根拠抽出装置１Ａも、ＣＰＵおよびメモリなどを備えるコンピュータにより実現することができ、また、入力データおよび出力データなどを表示する液晶ディスプレイなどの表示部を備える。ＣＮＮ判断根拠抽出装置１Ａは、ＣＮＮ１０とともにコンピュータにより実現されてもよい。
【0066】
ＣＮＮ判断根拠抽出装置１Ａは、寄与率算出部２Ａおよび根拠抽出部３を備え、好適には更に表示部４を備える。図２に示された構成と比較すると、図２３に示されるＣＮＮ判断根拠抽出装置１Ａは、寄与率算出部２に替えて寄与率算出部２Ａを備えている点で相違する。
【0067】
寄与率算出部２Ａは、出力層１７の何れかの出力ラベルに対する特徴量ベクトル２６の寄与率を求める。特徴量ベクトル２６は、全結合層に入力される特徴量マップ（Ａi,k）および全結合層の重み（Ｆｗi,k,m）に基づいて生成される。出力ラベル２７のうちラベルｃの値ｙｃに対する特徴量ベクトル２６の第ｍの要素Ｆｍの寄与率βc,mは、Ｆｍの変化量に対するｙｃの変化量の比として、次の（４）式で表される。
【0068】
【数4】
【0069】
根拠抽出部３は、全結合層１６に入力される特徴量マップ２５、全結合層の重み３６及び上記の寄与率βc,mに基づいて、ＣＮＮ１０の判断の根拠を抽出する。ＣＮＮ１０の判断の根拠を表すデータ列Ｑｃの第ｉの値Ｑc,iは、Ａi,k，βc,mおよびＦｗi,k,mの積をｋ，ｍについて総和した値として、上記（３）式で表される。
【0070】
畳み込みニューラルネットワーク判断根拠抽出方法（ＣＮＮ判断根拠抽出方法）は、寄与率算出ステップおよび根拠抽出ステップを備え、好適には更に表示ステップを備える。寄与率算出ステップでは、出力層１７の何れかの出力ラベルに対する特徴量ベクトル２６の寄与率βc,mを求める（（４）式）。根拠抽出ステップでは、全結合層１６に入力される特徴量マップ２５、全結合層の重み３６及び寄与率βc,mに基づいて、ＣＮＮ１０の判断の根拠を抽出する（（３）式）。表示ステップでは、入力層１１に入力される入力データに対応付けて、ＣＮＮ１０の判断の根拠を表すデータ列Ｑｃを表示する。
【0071】
次に、第５実施例および第６実施例について説明する。第５実施例は、第３実施例と比較すると、寄与率算出の点でのみ相違し、その他の点では同じ条件とした。また、第６実施例は、第４実施例と比較すると、寄与率算出の点でのみ相違し、その他の点では同じ条件とした。ただし、アラニン(Ala)をホストとした場合にはアルギニン(Arg)をゲストとし、アラニン(Ala)以外のアミノ酸をホストとした場合にはアラニン(Ala)をゲストとした。第３実施例および第４実施例では、出力層１７の何れかの出力ラベルに対する全結合層の重み３６の寄与率（上記（２）式）を求めたのに対して、第５実施例および第６実施例では、出力層１７の何れかの出力ラベルに対する特徴量ベクトル２６の寄与率（上記（４）式）を求めた。
【0072】
図２４は、第３実施例で得られた分類の根拠となった特徴的領域を示す図である。図２５は、第５実施例で得られた分類の根拠となった特徴的領域を示す図である。第３実施例（図２４）と第５実施例（図２５）とは、寄与率算出の点でのみ相違するが、ＣＮＮによる分類の根拠として同様の特徴的領域が抽出された。
【0073】
図２６は、第４実施例で得られた分類の根拠となった特徴的領域を示す図である。図２７は、第６実施例で得られた分類の根拠となった特徴的領域を示す図である。第４実施例（図２６）と第６実施例（図２７）とは、寄与率算出の点でのみ相違するが、ＣＮＮによる分類の根拠として同様の特徴的領域が抽出された。
【0074】
また、第１実施例および第２実施例それぞれにおいて全結合層の重み３６の寄与率（上記（２）式）に替えて特徴量ベクトル２６の寄与率（上記（４）式）を用いた場合にも、ＣＮＮによる分類の根拠として同様の特徴的領域が抽出された。
【0075】
以上のように、出力層１７の何れかの出力ラベルに対する全結合層の重み３６の寄与率（上記（２）式）を用いる場合と同様に、出力層１７の何れかの出力ラベルに対する特徴量ベクトル２６の寄与率（上記（４）式）を用いる場合にも、ＣＮＮの隠れ層が少ない場合または畳み込み層で用いられるフィルタのサイズが小さい場合であっても、入力データのうちＣＮＮによる判断の根拠となった特徴的領域を抽出することができた。
【符号の説明】
【0076】
１，１Ａ…畳み込みニューラルネットワーク判断根拠抽出装置（ＣＮＮ判断根拠抽出装置）、２，２Ａ…寄与率算出部、３…根拠抽出部、４…表示部、１０，１０Ａ…畳み込みニューラルネットワーク（ＣＮＮ）、１１…入力層、１２…畳み込み層、１３…プーリング層、１４…畳み込み層、１５…プーリング層、１６…全結合層、１７…出力層、２１…入力データ列、２２～２５…特徴量マップ、２６…特徴量ベクトル、２７…出力層の出力ラベル、３２，３４…フィルタ、３６…全結合層の重み、３７…出力層の重み。
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図13】
【図14】
【図15】
【図16】
【図17】
【図18】
【図19】
【図20】
【図21】
【図22】
【図23】
【図24】
【図25】
【図26】
【図27】