ホーム > 特許ランキング > 浜松ホトニクス株式会社
知財求人 - 知財ポータルサイト「IP Force」
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2024067867
(43)【公開日】2024-05-17
(54)【発明の名称】評価方法、評価プログラム、及び評価装置
(51)【国際特許分類】
G06N 20/00 20190101AFI20240510BHJP
【ＦＩ】
G06N20/00
【審査請求】未請求
【請求項の数】10
【出願形態】ＯＬ
(21)【出願番号】P 2022178247
(22)【出願日】2022-11-07
(71)【出願人】
【識別番号】000236436
【氏名又は名称】浜松ホトニクス株式会社
(74)【代理人】
【識別番号】100088155
【弁理士】
【氏名又は名称】長谷川 芳樹
(74)【代理人】
【識別番号】100113435
【弁理士】
【氏名又は名称】黒木 義樹
(74)【代理人】
【識別番号】100140442
【弁理士】
【氏名又は名称】柴山 健一
(74)【代理人】
【識別番号】100124800
【弁理士】
【氏名又は名称】諏澤 勇司
(72)【発明者】
【氏名】福原 誠史
(72)【発明者】
【氏名】藤原 一彦
(57)【要約】
【課題】学習用データセットを基に学習されたモデルの学習状態を評価すること。
【解決手段】評価装置１は、学習用データセットを基に学習された学習済みモデルを評価する装置であって、プロセッサを備え、プロセッサは、Ｎ個（Ｎは２以上の整数）のデータを順に含むデータ列が順にＭ列（Ｍは２以上の整数）配列された評価用データセットを対象に、Ｋ列目（Ｋは１以上Ｍ以下の整数）のデータ列のデータを他のデータと入れ替えることで比較用データセットを生成し、学習済みモデルに評価用データセットを入力して得られた推論結果と、学習済みモデルに比較用データセットを入力して得られた推論結果とを比較して、Ｋ列目のデータ列に関する評価値を求め、評価値に基づいて、学習済みモデルにおけるＫ列目のデータ列の重要度を求める。
【選択図】図１
【解決手段】評価装置１は、学習用データセットを基に学習された学習済みモデルを評価する装置であって、プロセッサを備え、プロセッサは、Ｎ個（Ｎは２以上の整数）のデータを順に含むデータ列が順にＭ列（Ｍは２以上の整数）配列された評価用データセットを対象に、Ｋ列目（Ｋは１以上Ｍ以下の整数）のデータ列のデータを他のデータと入れ替えることで比較用データセットを生成し、学習済みモデルに評価用データセットを入力して得られた推論結果と、学習済みモデルに比較用データセットを入力して得られた推論結果とを比較して、Ｋ列目のデータ列に関する評価値を求め、評価値に基づいて、学習済みモデルにおけるＫ列目のデータ列の重要度を求める。
【選択図】図１
【特許請求の範囲】
【請求項1】
学習用データセットを基に学習された学習済みモデルを評価する評価方法であって、
Ｎ個（Ｎは２以上の整数）のデータを順に含むデータ列が順にＭ列（Ｍは２以上の整数）配列された評価用データセットを対象に、Ｋ列目（Ｋは１以上Ｍ以下の整数）の前記データ列のデータを他のデータと入れ替えることで比較用データセットを生成する生成ステップと、
前記学習済みモデルに前記評価用データセットを入力して得られた第１の推論結果と、前記学習済みモデルに前記比較用データセットを入力して得られた第２の推論結果とを比較して、Ｋ列目の前記データに関する評価値を求める比較ステップと、
前記評価値に基づいて、前記学習済みモデルにおける前記Ｋ列目のデータ列の重要度を求める特定ステップと、
を備える評価方法。
Ｎ個（Ｎは２以上の整数）のデータを順に含むデータ列が順にＭ列（Ｍは２以上の整数）配列された評価用データセットを対象に、Ｋ列目（Ｋは１以上Ｍ以下の整数）の前記データ列のデータを他のデータと入れ替えることで比較用データセットを生成する生成ステップと、
前記学習済みモデルに前記評価用データセットを入力して得られた第１の推論結果と、前記学習済みモデルに前記比較用データセットを入力して得られた第２の推論結果とを比較して、Ｋ列目の前記データに関する評価値を求める比較ステップと、
前記評価値に基づいて、前記学習済みモデルにおける前記Ｋ列目のデータ列の重要度を求める特定ステップと、
を備える評価方法。
【請求項2】
前記他のデータは、Ｋ列目の他のデータである、
請求項１に記載の評価方法。
請求項１に記載の評価方法。
【請求項3】
前記評価用データセットは、前記学習用データセットと同じデータセットである、
請求項１に記載の評価方法。
請求項１に記載の評価方法。
【請求項4】
前記生成ステップでは、前記評価用データセットの前記データにノイズ値を付与し、前記ノイズ値を付与した評価用データセットを基に前記比較用データセットを生成する、
請求項１～３のいずれか１項に記載の評価方法。
請求項１～３のいずれか１項に記載の評価方法。
【請求項5】
前記ノイズ値は前記データの最大値の１パーセント以上２０パーセント以下の範囲の値である、
請求項４に記載の評価方法。
請求項４に記載の評価方法。
【請求項6】
前記評価用データセットの一のデータ列の前記データは、一の波数、一の波長、或いは一の周波数のいずれか１つにおけるスペクトル強度を示すデータを含む、
請求項１～３のいずれか１項に記載の評価方法。
請求項１～３のいずれか１項に記載の評価方法。
【請求項7】
前記スペクトル強度は、ラマン分光スペクトル強度である、
請求項６に記載の評価方法。
請求項６に記載の評価方法。
【請求項8】
前記特定ステップでは、参照データ及び前記評価値に基づいて、前記学習済みモデルを評価する、
請求項１～３のいずれか１項に記載の評価方法。
請求項１～３のいずれか１項に記載の評価方法。
【請求項9】
学習用データセットを基に学習された学習済みモデルを評価する評価プログラムであって、
プロセッサに、
Ｎ個（Ｎは２以上の整数）のデータを順に含むデータ列が順にＭ列（Ｍは２以上の整数）配列された評価用データセットを対象に、Ｋ列目（Ｋは１以上Ｍ以下の整数）の前記データ列のデータを他のデータと入れ替えることで比較用データセットを生成する生成ステップ、
前記学習済みモデルに前記評価用データセットを入力して得られた第１の推論結果と、前記学習済みモデルに前記比較用データセットを入力して得られた第２の推論結果とを比較して、Ｋ列目の前記データに関する評価値を求める比較ステップ、及び、
前記評価値に基づいて、前記学習済みモデルにおける前記Ｋ列目のデータ列の重要度を求める特定ステップ、
を動作させる評価プログラム。
プロセッサに、
Ｎ個（Ｎは２以上の整数）のデータを順に含むデータ列が順にＭ列（Ｍは２以上の整数）配列された評価用データセットを対象に、Ｋ列目（Ｋは１以上Ｍ以下の整数）の前記データ列のデータを他のデータと入れ替えることで比較用データセットを生成する生成ステップ、
前記学習済みモデルに前記評価用データセットを入力して得られた第１の推論結果と、前記学習済みモデルに前記比較用データセットを入力して得られた第２の推論結果とを比較して、Ｋ列目の前記データに関する評価値を求める比較ステップ、及び、
前記評価値に基づいて、前記学習済みモデルにおける前記Ｋ列目のデータ列の重要度を求める特定ステップ、
を動作させる評価プログラム。
【請求項10】
学習用データセットを基に学習された学習済みモデルを評価する評価装置であって、
プロセッサを備え、
前記プロセッサは、
Ｎ個（Ｎは２以上の整数）のデータを順に含むデータ列が順にＭ列（Ｍは２以上の整数）配列された評価用データセットを対象に、Ｋ列目（Ｋは１以上Ｍ以下の整数）の前記データ列のデータを他のデータのデータと入れ替えることで比較用データセットを生成し、
前記学習済みモデルに前記評価用データセットを入力して得られた第１の推論結果と、前記学習済みモデルに前記比較用データセットを入力して得られた第２の推論結果とを比較して、Ｋ列目の前記データに関する評価値を求め、
前記評価値に基づいて、前記学習済みモデルにおける前記Ｋ列目のデータ列の重要度を求める、
評価装置。
プロセッサを備え、
前記プロセッサは、
Ｎ個（Ｎは２以上の整数）のデータを順に含むデータ列が順にＭ列（Ｍは２以上の整数）配列された評価用データセットを対象に、Ｋ列目（Ｋは１以上Ｍ以下の整数）の前記データ列のデータを他のデータのデータと入れ替えることで比較用データセットを生成し、
前記学習済みモデルに前記評価用データセットを入力して得られた第１の推論結果と、前記学習済みモデルに前記比較用データセットを入力して得られた第２の推論結果とを比較して、Ｋ列目の前記データに関する評価値を求め、
前記評価値に基づいて、前記学習済みモデルにおける前記Ｋ列目のデータ列の重要度を求める、
評価装置。
【発明の詳細な説明】
【技術分野】
【0001】
実施形態の一側面は、評価方法、評価プログラム、及び評価装置に関する。
【背景技術】
【0002】
従来から、推論モデルの精度に変数値がどの程度寄与しているかを評価する手法が用いられている（例えば、下記非特許文献１を参照。）。また、この手法を応用して、ラマン分光スペクトルに関するデータを基に学習された推論モデルが重要視する波数を抽出し、抽出した波数によるマッピング画像を生成する手法も知られている（下記非特許文献２を参照。）。
【先行技術文献】
【特許文献】
【0003】
【特許文献1】特開２０２０－１４９５７１号公報
【非特許文献】
【0004】
【非特許文献1】Aaron Fisher et al., “AllModels are Wrong, but Many are Useful: Learning a Variable's Importance byStudying an Entire Class of Prediction Models Simultaneously”, Journal ofMachine Learning Research 20 (2019) p1-81.
【非特許文献2】S. Kiran Koya et al., “Accurateidentification of breast cancer margins in microenvironments of exvivo basal and luminal breast cancertissues using Raman spectroscopy”, Prostaglandins andOther Lipid Mediators 151 (2020) 106475.
【発明の概要】
【発明が解決しようとする課題】
【0005】
上述したような従来の手法によっては、推論モデル自体を評価することは困難な傾向にある。そのため、学習用データセットを基に学習されたモデルの学習状態を評価することが求められる。
【0006】
そこで、実施形態の一側面は、かかる課題に鑑みてなされたものであり、学習用データセットを基に学習されたモデルの学習状態を評価することが可能な評価方法、評価プログラム、及び評価装置を提供することを課題とする。
【課題を解決するための手段】
【0007】
実施形態の第一の側面に係る評価方法は、学習用データセットを基に学習された学習済みモデルを評価する評価方法であって、Ｎ個（Ｎは２以上の整数）のデータを順に含むデータ列が順にＭ列（Ｍは２以上の整数）配列された評価用データセットを対象に、Ｋ列目（Ｋは１以上Ｍ以下の整数）のデータ列のデータを他のデータと入れ替えることで比較用データセットを生成する生成ステップと、学習済みモデルに評価用データセットを入力して得られた第１の推論結果と、学習済みモデルに比較用データセットを入力して得られた第２の推論結果とを比較して、Ｋ列目のデータに関する評価値を求める比較ステップと、評価値に基づいて、学習済みモデルにおけるＫ列目のデータ列の重要度を求める特定ステップと、を備える。
【0008】
あるいは、実施形態の第二の側面に係る評価プログラムは、学習用データセットを基に学習された学習済みモデルを評価する評価プログラムであって、プロセッサに、Ｎ個（Ｎは２以上の整数）のデータを順に含むデータ列が順にＭ列（Ｍは２以上の整数）配列された評価用データセットを対象に、Ｋ列目（Ｋは１以上Ｍ以下の整数）のデータ列のデータを他のデータと入れ替えることで比較用データセットを生成する生成ステップ、学習済みモデルに評価用データセットを入力して得られた第１の推論結果と、学習済みモデルに比較用データセットを入力して得られた第２の推論結果とを比較して、Ｋ列目のデータに関する評価値を求める比較ステップ、及び、評価値に基づいて、学習済みモデルにおけるＫ列目のデータ列の重要度を求める特定ステップ、を動作させる。
【0009】
あるいは、実施形態の第三の側面に係る評価装置は、学習用データセットを基に学習された学習済みモデルを評価する評価装置であって、プロセッサを備え、プロセッサは、Ｎ個（Ｎは２以上の整数）のデータを順に含むデータ列が順にＭ列（Ｍは２以上の整数）配列された評価用データセットを対象に、Ｋ列目（Ｋは１以上Ｍ以下の整数）のデータ列のデータを他のデータのデータと入れ替えることで比較用データセットを生成し、学習済みモデルに評価用データセットを入力して得られた第１の推論結果と、学習済みモデルに比較用データセットを入力して得られた第２の推論結果とを比較して、Ｋ列目のデータに関する評価値を求め、評価値に基づいて、学習済みモデルにおけるＫ列目のデータ列の重要度を求める。
【0010】
上記第一の側面、上記第二の側面、あるいは上記第三の側面によれば、学習用データセットと同様のデータ構成の評価用データセットのデータ列のうちのＫ列目のデータが他のデータに入れ替えられることにより、比較用データセットが生成される。そして、学習済みモデルに評価用データセットを入力して得られた推論結果と、同一の学習済みモデルに比較用データセットを入力して得られた推論結果とを比較した評価値を基に、学習済みモデルにおけるＫ列目のデータ列の重要度が求められる。これにより、学習済みモデルによる学習における当該データ列の重要度がわかるので、学習用データセットを基に学習された学習済みモデルの学習状態を評価することができる。
【0011】
上記第一の側面、上記第二の側面、あるいは上記第三の側面においては、他のデータは、評価用データセットのＫ列目のデータである、ことが好適である。このように設定されることにより、学習済みモデルによる学習におけるデータ列の重要度が効率よく特定され、学習用データセットを基に学習された学習済みモデルの学習状態を効率よく評価することができる。
【0012】
また、上記第一の側面においては、生成ステップでは、評価用データセットのＫ列目の各データをランダムに入れ替える、ことも好適である。上記第二の側面、あるいは第三の側面においては、プロセッサは、比較用データセットの生成時に、評価用データセットのＫ列目の各データをランダムに入れ替える、ことも好適である。この場合、学習済みモデルによる学習におけるデータ列の重要度が効率よく特定され、学習用データセットを基に学習された学習済みモデルの学習状態を効率よく評価することができる。
【0013】
また、上記第一の側面、上記第二の側面、あるいは上記第三の側面においては、評価用データセットは、学習用データセットと同じデータセットである、ことも好適である。この場合、学習済みモデルによる学習におけるデータ列の重要度が効率よく特定され、学習用データセットを基に学習された学習済みモデルの学習状態を効率よく評価することができる。
【0014】
またさらに、上記第一の側面においては、生成ステップでは、評価用データセットのデータにノイズ値を付与し、ノイズ値を付与した評価用データセットを基に比較用データセットを生成する、ことも好適である。上記第二の側面、あるいは上記第三の側面においては、プロセッサは、評価用データセットのデータにノイズ値を付与し、ノイズ値を付与した評価用データセットを基に比較用データセットを生成する、ことも好適である。こうすれば、学習済みモデルによる学習における複数のデータの重要度の分布が顕著に特定され、学習用データセットを基に学習された学習済みモデルの学習状態を正確に評価することができる。
【0015】
さらにまた、上記第一の側面、上記第二の側面、あるいは上記第三の側面においては、ノイズ値はデータの最大値の１パーセント以上２０パーセント以下の範囲の値である、ことも好適である。こうすれば、学習用データセットを基に学習された学習済みモデルの学習状態をより正確に評価することができる。
【0016】
また、上記第一の側面、上記第二の側面、あるいは上記第三の側面においては、評価用データセットの一のデータ列のデータは、一の波数、一の波長、或いは一の周波数のいずれか１つにおけるスペクトル強度を示すデータを含む、ことが好適である。この場合、Ｍ個の波数、波長、或いは周波数におけるスペクトル強度を入力とした学習済みモデルの学習状態を評価することができる。
【0017】
さらに、上記第一の側面、上記第二の側面、あるいは上記第三の側面においては、スペクトル強度は、ラマン分光スペクトル強度である、ことも好適である。この場合、ラマン分光スペクトルデータを入力とした学習済みモデルの学習状態を評価することができる。
【0018】
またさらに、上記第一の側面、上記第二の側面、あるいは上記第三の側面においては、特定ステップでは、参照データ及び評価値に基づいて、学習済みモデルを評価する、ことも好適である。上記第三の側面においては、プロセッサは、参照データ及び評価値に基づいて、学習済みモデルを評価する、ことも好適である。こうすれば、参照データと複数のデータ毎の重要度とを参照することにより、学習済みモデルの学習状態を適切に評価することができる。
【0019】
実施形態の評価方法は、［１］「学習用データセットを基に学習された学習済みモデルを評価する評価方法であって、Ｎ個（Ｎは２以上の整数）のデータを順に含むデータ列が順にＭ列（Ｍは２以上の整数）配列された評価用データセットを対象に、Ｋ列目（Ｋは１以上Ｍ以下の整数）のデータ列のデータを他のデータと入れ替えることで比較用データセットを生成する生成ステップと、学習済みモデルに評価用データセットを入力して得られた第１の推論結果と、学習済みモデルに比較用データセットを入力して得られた第２の推論結果とを比較して、Ｋ列目のデータに関する評価値を求める比較ステップと、評価値に基づいて、学習済みモデルにおけるＫ列目のデータ列の重要度を求める特定ステップと、を備える評価方法」である。
【0020】
実施形態の評価方法は、［２］「他のデータは、Ｋ列目の他のデータである、上記［１］に記載の評価方法」であってもよい。
【0021】
実施形態の評価方法は、［３］「評価用データセットは、学習用データセットと同じデータセットである、上記［１］又は［２］に記載の評価方法」であってもよい。
【0022】
実施形態の評価方法は、［４］「生成ステップでは、評価用データセットのデータにノイズ値を付与し、ノイズ値を付与した評価用データセットを基に比較用データセットを生成する、上記［１］～［３］のいずれかに記載の評価方法」であってもよい。
【0023】
実施形態の評価方法は、［５］「ノイズ値はデータの最大値の１パーセント以上２０パーセント以下の範囲の値である、上記［４］に記載の評価方法」であってもよい。
【0024】
実施形態の評価方法は、［６］「評価用データセットの一のデータ列のデータは、一の波数、一の波長、或いは一の周波数のいずれか１つにおけるスペクトル強度を示すデータを含む、上記［１］～［５］のいずれかに記載の評価方法」であってもよい。
【0025】
実施形態の評価方法は、［７］「スペクトル強度は、ラマン分光スペクトル強度である、上記［６］に記載の評価方法」であってよい。
【0026】
実施形態の評価方法は、［８］「特定ステップでは、参照データ及び評価値に基づいて、学習済みモデルを評価する、上記［１］～［７］のいずれかに記載の評価方法」であってよい。
【0027】
実施形態の評価プログラムは、［９］「学習用データセットを基に学習された学習済みモデルを評価する評価プログラムであって、プロセッサに、Ｎ個（Ｎは２以上の整数）のデータを順に含むデータ列が順にＭ列（Ｍは２以上の整数）配列された評価用データセットを対象に、Ｋ列目（Ｋは１以上Ｍ以下の整数）のデータ列のデータを他のデータと入れ替えることで比較用データセットを生成する生成ステップ、学習済みモデルに評価用データセットを入力して得られた第１の推論結果と、学習済みモデルに比較用データセットを入力して得られた第２の推論結果とを比較して、Ｋ列目のデータに関する評価値を求める比較ステップ、及び、評価値に基づいて、学習済みモデルにおけるＫ列目のデータ列の重要度を求める特定ステップ、を動作させる評価プログラム」である。
【0028】
実施形態の評価装置は、［１０］「学習用データセットを基に学習された学習済みモデルを評価する評価装置であって、プロセッサを備え、プロセッサは、Ｎ個（Ｎは２以上の整数）のデータを順に含むデータ列が順にＭ列（Ｍは２以上の整数）配列された評価用データセットを対象に、Ｋ列目（Ｋは１以上Ｍ以下の整数）のデータ列のデータを他のデータのデータと入れ替えることで比較用データセットを生成し、学習済みモデルに評価用データセットを入力して得られた第１の推論結果と、学習済みモデルに比較用データセットを入力して得られた第２の推論結果とを比較して、Ｋ列目のデータに関する評価値を求め、評価値に基づいて、学習済みモデルにおけるＫ列目のデータ列の重要度を求める、評価装置」である。
【0029】
実施形態の評価装置は、［１１］「他のデータは、Ｋ列目の他のデータである、上記［１０］に記載の評価装置」であってもよい。
【0030】
実施形態の評価装置は、［１２］「評価用データセットは、学習用データセットと同じデータセットである、、上記［１０］又は［１１］に記載の評価装置」であってもよい。
【0031】
実施形態の評価装置は、［１３］「プロセッサは、評価用データセットのデータにノイズ値を付与し、ノイズ値を付与した評価用データセットを基に比較用データセットを生成する、上記［１０］～［１２］のいずれかに記載の評価装置」であってもよい。
【0032】
実施形態の評価装置は、［１４］「ノイズ値はデータの最大値の１パーセント以上２０パーセント以下の範囲の値である、上記［１３］に記載の評価装置」であってもよい。
【0033】
実施形態の評価装置は、［１５］「評価用データセットの一のデータ列のデータは、一の波数、一の波長、或いは一の周波数のいずれか１つにおけるスペクトル強度を示すデータを含む、上記［１０］～［１４］のいずれかに記載の評価装置」であってもよい。
【0034】
実施形態の評価装置は、［１６］「スペクトル強度は、ラマン分光スペクトル強度である、上記［１５］に記載の評価装置」であってもよい。
【0035】
実施形態の評価装置は、［１７］「プロセッサは、参照データ及び評価値に基づいて、学習済みモデルを評価する、ことも好適である。上記［１０］～［１６］のいずれかに記載の評価装置」であってもよい。
【発明の効果】
【0036】
本開示のいずれかの側面によれば、学習用データセットを基に学習されたモデルの学習状態を評価することができる。
【図面の簡単な説明】
【0037】
【発明を実施するための形態】
【0038】
以下、添付図面を参照して、本発明の実施形態について詳細に説明する。なお、説明において、同一要素又は同一機能を有する要素には、同一符号を用いることとし、重複する説明は省略する。
【0039】
図１は、実施形態に係る評価装置１の処理の概略を示す図である。評価装置１は、学習済みモデルが学習用データセットのうちのどの特徴を学習したかを特定する装置である。一般に、学習済みモデルの精度は、学習に用いた学習用データの量及びその質に大きく依存する。評価装置１は、学習済みモデルの学習に用いた学習用データのバリエーションの過不足を考察するための材料として、特定結果を提供する。評価装置１には、学習済みモデルを再現するためのデータと、学習済みモデルの学習に用いられた学習用データセットと同一又は類似するデータ構成を有する複数の評価用データセットと、複数の評価用データセットのそれぞれに対応する正解ラベルと、学習済みモデルの生成する出力ラベルのうちの着目する出力ラベルである着目ラベルとが入力され、それに応じて評価結果データを生成および出力する。評価装置１の処理対象とする学習済みモデルとしては、一例として、畳み込みニューラルネットワーク（ＣＮＮ：Convolutional Neural Network）等のニューラルネットワークが挙げられるが、特定のモデルには限定されない。
【0040】
【0041】
図２に示すように、評価装置１は、物理的には、プロセッサであるＣＰＵ（Central Processing Unit）１０１、記録媒体であるＲＡＭ（Random Access Memory）１０２又はＲＯＭ（Read Only Memory）１０３、通信モジュール１０４、及び入出力モジュール１０６等を含んだコンピュータ等であり、各々は電気的に接続されている。なお、評価装置１は、入出力デバイスとして、ディスプレイ、キーボード、マウス、タッチパネルディスプレイ等を含んでいてもよいし、ハードディスクドライブ、半導体メモリ等のデータ記録装置を含んでいてもよい。また、評価装置１は、複数のコンピュータによって構成されていてもよい。
【0042】
図３に示すように、評価装置１は、機能的な構成要素として、前処理部２０１、データ生成部２０２、推論部２０３、比較部２０４、及び特定部２０５を備えている。図３に示す評価装置１の各機能部は、ＣＰＵ１０１及びＲＡＭ１０２等のハードウェア上にプログラム（実施形態に係る評価プログラム）を読み込ませることにより、ＣＰＵ１０１の制御のもとで、通信モジュール１０４、及び入出力モジュール１０６等を動作させるとともに、ＲＡＭ１０２におけるデータの読み出し及び書き込みを行うことで実現される。評価装置１のＣＰＵ１０１は、このプログラムを実行することによって図３の各機能部を機能させ、後述する評価方法に対応する処理を順次実行する。なお、ＣＰＵ１０１は、単体のハードウェアでもよく、ソフトプロセッサのようにＦＰＧＡのようなプログラマブルロジックの中に実装されたものでもよい。ＲＡＭやＲＯＭについても単体のハードウェアでもよく、ＦＰＧＡのようなプログラマブルロジックの中に内蔵されたものでもよい。プログラムの実行に必要な各種データ、及び、プログラムの実行によって生成された各種データは、全て、ＲＯＭ１０３、ＲＡＭ１０２等の内蔵メモリ、又は、ハードディスクドライブなどの記録媒体に格納される。以下、評価装置１の機能的な構成要素の機能について詳細に説明する。
【0043】
前処理部２０１は、Ｍ個（Ｍは２以上の整数）のデータ列が順に配列されたデータセットである評価用データセットの入力を受ける。データセットの各データ列には、Ｌ個（Ｌは２以上の整数）のデータが順に含まれている。このような評価用データセットは、例えば、Ｍ個の波数値（波数シフト量）［ｃｍ－１］毎のスペクトル強度データが順に配列されたＬ個のラマン分光スペクトルを順に含むデータセットであってもよい。また、Ｍ個の波長値［ｎｍ］毎のスペクトル強度データが順に配列されたＬ個のラマン分光スペクトルを順に含むデータセットであってもよい。さらに、Ｍ個の周波数［Ｈｚ］毎のスペクトル強度データが順に配列されたＬ個のラマン分光スペクトルを順に含むデータセットであってもよい。評価用データセットは、例えば、ラマン分光スペクトルに対して、450～1800cm-1の範囲での波数抽出、1cm-1刻みの二次元スプライン補間、線形差分によるバックグラウンド除去、及び標準化を施すことにより生成されたデータを含むデータセットであってもよい。評価用データセットとしては、評価対象の学習済みモデルの学習に用いられた学習用データセットと同一のデータであってもよいし、学習用データセットと同一又は類似のデータ構成の異なるデータであってもよい。そして、前処理部２０１は、Ｌ個のデータ行の評価用データセットに対して前処理を施す。本実施形態では、前処理部２０１は、最終的に得られる評価値のＳＮ比を高めるために、前処理として、元の評価用データセットをコピーしてデータ量をＬ個のデータ行からＮ個（Ｎは２以上の整数）のデータ行に（例えば、８０倍に）増加させる。
【0044】
図４は、評価用データセットの構成、及び評価装置１の評価対象の学習済みモデルの出力データの構成を示す図である。評価用データセットＸは、Ｎ個のデータが順に第１行～第Ｎ行に配列されたデータ列が、第１列～第Ｍ列に配列された行列データである。別の言い方をすれば、評価用データセットＸは、Ｍ個のデータが順に第１列～第Ｍ列に配列されたデータ行が、第１行～第Ｎ行に配列された行列データともいえる。整数Ｍは、波数値の総数を意味し、学習用データセット及び評価用データセットにおけるそれぞれのデータ列が、同一の既定の波数値の離散値に対応する。Ｎ個のデータ行は、それぞれ、１つのラマン分光スペクトルを意味する。評価用データセットＸが、評価対象の学習済みモデルに入力されると、第１～第Ｎ行のそれぞれのデータ行を対象とした推論結果として、第１行～第Ｎ行に順に配列された推論値（出力ラベル）を含む出力データＹが出力される。学習済みモデルが生成する推論値は、例えば、特定の物質の濃度の定量値である。この推論値は複数のラベルを含んでいてもよい。
【0045】
データ生成部２０２は、評価用データセットＸを対象に、評価用データセットＸのＫ列目（Ｋは１以上Ｍ以下の整数）のデータ列のデータを他のデータと入れ替えることで、比較用データセットを生成する。本実施形態では、データ生成部２０２は、評価用データセットのＫ列目のデータ列の各データを互いにランダムに入れ替える。さらに、データ生成部２０２は、入れ替える評価用データセットＸのデータ列を１列目～Ｍ列目に変更しながら同様の処理を繰り返し、Ｍ種類の比較用データセットを生成する。
【0046】
図５は、比較用データセットの構成、及び評価装置１の評価対象の学習済みモデルの出力データの構成を示す図である。比較用データセットは、評価用データセットの１列目のデータ列の各データがランダムに入れ替えられた行列データＸＣ１である。比較用データセットＸＣ１における１列目以外の各データ列の各データは評価用データセットＸの対応するデータ列のデータと同じである。比較用データセットＸＣ１が、評価対象の学習済みモデルに入力されると、第１～第Ｎ行のそれぞれのデータ行を対象とした推論結果として、第１行～第Ｎ行に順に配列された推論値を含む出力データＹＣ１が出力される。同様に、第２列目～第Ｍ列目のデータ列のデータがそれぞれ入れ替えられた比較用データセットＸＣ２～ＸＣＭが生成され、それらが学習済みモデルに入力されると出力データＹＣ２～ＹＣＭが出力される。
【0047】
推論部２０３は、外部から入力された学習済みモデルを再現するためのデータを基に、学習済みモデルを評価装置１内に再現する。例えば、学習済みモデルを再現するためのデータとしては、モデル構造、ニューラルネットワーク等における重み、バイアス値等のパラメータが挙げられる。そして、推論部２０３は、再現した学習済みモデルに対して、評価用データセットＸを入力し、学習済みモデルによる推論によって出力される出力データＹを取得する。また、推論部２０３は、再現した学習済みモデルに対して、比較用データセットＸＣ１～ＸＣＭをそれぞれ入力し、学習済みモデルによる推論によって出力される出力データＹＣ１～ＹＣＭを取得する。
【0048】
比較部２０４は、評価用データセットが入力されることにより得られた推論値を含む出力データＹを基に、推論誤差（推論精度）ｅ０を計算する。具体的には、比較部２０４は、出力データＹに含まれる各行データ中の外部から入力された着目ラベルに対応する推論値と、外部から入力された各行のデータ行に対応する正解ラベルの値との間の誤差として、二乗平均平方根誤差（RMSE：Root Mean Squared Error）を計算し、その値を推論誤差ｅ０とする。また、比較部２０４は、同様にして、比較用データセットＸＣ１～ＸＣＭが入力されることにより得られた推論値を含む出力データＹＣ１～ＹＣＭを基に、それぞれの推論誤差ｅｃ１～ｅｃＭを計算する。ここで、比較部２０４は、推論値と正解ラベルとの間の相関係数等の推論精度を計算し、その推論精度の逆数を推論誤差ｅｃ０，ｅｃ１～ｅｃＭとして計算してもよい。
【0049】
さらに、比較部２０４は、図６に示すように、推論誤差ｅ０を、推論誤差ｅｃ１～ｅｃＭのそれぞれと比較することにより、出力データＹＣ１～ＹＣＭのそれぞれに対するデータ列の評価値Ｅ１～ＥＭを計算する。具体的には、比較部２０４は、推論誤差ｅ０と、推論誤差ｅｃ１～ｅｃＭのそれぞれと差分を計算することにより評価値Ｅ１～ＥＭを計算する。
【0050】
特定部２０５は、比較部２０４によって計算された出力データＹＣ１～ＹＣＭのそれぞれに対するデータ列の評価値Ｅ１～ＥＭを基に、推論誤差ｅ０を、推論誤差ｅｃ１～ｅｃＭのそれぞれと比較することにより、出力データＹＣ１～ＹＣＭのそれぞれに対するデータ列のうち特徴的なデータ列を特定する。例えば、特定部２０５は、重要度に関する評価値Ｅ１～ＥＭを基に、データ列のうちの重要度の高い列を特定する。すなわち、特定部２０５は、評価値の大きい順に重要度の高い列を特定する。具体的には、評価値Ｅ１２０及び評価値Ｅ１２５が重要度の高い値として判断された場合は、評価用データセットの１２０列目及び１２５列目が重要度の高い列として特定される。ここでは、特定部２０５は、評価値が閾値を超えた列を特定してもよい。また、特定部２０５は、重要度が高いと特定した列の特定結果と、外部から入力されたデータの重要度に関する参照データを基に、学習済みモデル評価し、その評価結果を生成してもよい。そして、特定部２０５は、上記のようにして生成した特定結果および評価結果を、ディスプレイ、タッチパネルディスプレイ等の出力デバイスに出力する。評価結果としては、特定結果と参照データを並べて出力してもよいし、両者の相関性を評価して出力してもよい。また、特定部２０５は、特定結果および評価結果を、ネットワーク、記録媒体等を経由して外部の装置に出力してもよい。
【0051】
次に、評価装置１を用いた学習済みモデルの評価処理の手順について説明するとともに、本実施形態に係る評価方法について詳述する。図７は、学習済みモデルの評価方法の手順を示すフローチャートである。
【0052】
まず、学習済みモデルの評価処理が開始されると、外部から、学習済みモデルを再現するためのデータと、Ｌ個のデータ行の評価用データセットと、Ｌ個のデータ行の評価用データセットのそれぞれに対応する正解ラベルとが入力される（ステップＳ１）。ここでは、学習済みモデルが１つの評価用データセットに対して１つの推論値しか出力しないために、着目ラベルは入力されない。これに対して、評価装置１の前処理部２０１が、Ｌ個のデータ行の評価用データセットをコピーしてＮ個のデータ行の評価用データセットＸを生成する（ステップＳ２）。
【0053】
次に、評価装置１のデータ生成部２０２は、Ｎ個のデータ行を含む評価用データセットの特定のデータ列（第１～第Ｍ列のうちのいずれかのデータ列）のデータをランダムに入れ替えることによりＮ個のデータ行を含む比較用データセットを生成し、入れ替え対象のデータ列を第１列から第Ｍ列に変更してこの処理を繰り返すことにより比較用データセットＸＣ１～ＸＣＭを生成する（ステップＳ３）。その後、評価装置１の推論部２０３は、評価用データセットＸ及び比較用データセットＸＣ１～ＸＣＭのそれぞれを、評価装置１上に再現された学習済みモデルに入力することによって、推論値を含む出力データＹ，ＹＣ１～ＹＣＭを取得する（ステップＳ４）。
【0054】
次に、評価装置１の比較部２０４は、出力データＹ，ＹＣ１～ＹＣＭと、Ｎ個のデータ行のそれぞれに対応する正解ラベルとを基に、推論誤差ｅ０，ｅｃ１～ｅｃＭを計算し、推論誤差ｅ０と推論誤差ｅｃ１～ｅｃＭのそれぞれとを比較することによって、評価用データセットの各データ列の評価値Ｅ１～ＥＭを計算する（ステップＳ５）。
【0055】
そして、評価装置１の特定部２０５は、各データ列に対応する評価値Ｅ１～ＥＭを基に、評価用データセットのうちの特徴的なデータ列（例えば、重要度の高い列）を特定する。最後に、特定部２０５は、特定結果と、外部から入力された参照データを用いた評価結果とをディスプレイ等に出力し（ステップＳ６）、学習済みモデルを対象にした評価処理を終了する。
【0056】
本実施形態の作用効果について説明する。
【0057】
本実施形態に係る評価装置１及びそれを用いた評価方法によれば、学習用データセットと同様のデータ構成の評価用データセットのＫ列目（Ｋ＝１～Ｍ）のデータが互いに入れ替えられることにより、比較用データセットがＭ個生成される。そして、学習済みモデルに評価用データセットを入力して得られた推論結果と、同一又は類似する学習済みモデルにＭ個の比較用データセットをそれぞれ入力して得られたＭ個の推論結果を得る。そして、これらの推論結果を比較して得られたＭ個の評価値を基に、学習済みモデルにおける評価用データセット中のＭ個のデータ列のうち、特徴的なデータ列が特定される。これにより、学習済みモデルによる学習におけるデータ列毎の特徴（例えば、重要度）がわかるので、学習用データセットを基に学習された学習済みモデルの学習状態を評価することができる。
【0058】
ここで、評価装置１によれば、評価用データセットのＫ列目（Ｋ＝１～Ｍ）のデータをランダムに入れ替えることにより、比較用データセットが生成されている。この場合、学習済みモデルによる学習における特徴的なデータ列が効率よく特定され、学習用データセットを基に学習された学習済みモデルの学習状態を効率よく評価することができる。
【0059】
また、評価装置１の処理対象の評価用データセットは、Ｍ個のデータ列として、Ｍ個の波数値におけるスペクトル強度を示すデータを含んでいる。この場合、Ｍ個の波数値におけるスペクトル強度を入力とした学習済みモデルの学習状態を評価することができる。特に、評価装置１の処理対象の評価用データセットは、ラマン分光スペクトル強度を示すデータとされている。この場合、ラマン分光スペクトルデータを入力とした学習済みモデルの学習状態を評価することができる。なお、評価装置１の処理対象の評価用データセットは、Ｍ個のデータ列として、Ｍ個の波長或いは周波数におけるスペクトル強度を示すデータを含んでもよい。
【0060】
さらに、評価装置１によれば、外部から入力された参照データと、評価用データセットの列毎の評価値に基づいて、学習済みモデルが評価可能とされる。これにより、学習済みモデルの学習状態を適切に評価することができる。
【0061】
図８は、評価装置１による評価値の計算例を示すグラフである。この例では、評価対象の学習済みモデルとしてアセトアミノフェン（以下、「ＡＡＰ」ともいう。）の定量分析モデルを用い、０．０、０．５、１．０、１．５重量％でＡＡＰをそれぞれ含む錠剤を対象に測定したラマン分光スペクトルを用意した。そして、ラマン分光スペクトルに対して上述した前処理を施して学習用データセットを用意し、それを用いて学習済みモデルを学習させるとともに、学習に用いた学習用データセットをそのまま評価用データセットとした。図８には、本実施形態の評価装置１によって得られた波数シフト量に対する評価値の分布を、学習及び評価に用いたラマン分光スペクトルである入力スペクトル、第１の従来手法であるＰＬＳ－ＶＩＰ（Partial Least Squares-Variable Importance in Projection）によって計算された重要度の分布（比較例１）、先願（特開２０２０－１４９５７１号公報）に記載の第２の従来手法によって計算された重要度の分布（比較例２）、及び、産業技術総合研究所公開のスペクトルデータベース（ＳＤＢＳ）から取得されたＡＡＰスペクトル（参照データ）と比較して示している。また、図９は、図８で示された結果が妥当であることを視覚的に示す図である。つまり、図９は、本実施形態の学習に用いた各重量％における入力スペクトルの分布を、一部の波数シフト量の範囲で拡大して示してい。
【0062】
これらの計算結果から、第１の従来手法によれば、重要と予想される波数シフト量以外にもピークが多く得られ、第２の従来手法によれば、波数シフト量の範囲をブロードにしか評価できないことが分かった。これは、第２の従来手法においては、重要度の分解能がＣＮＮモデル中のフィルタサイズあるいは圧縮層の有無で変化するためと思われる。一方で、本実施形態によれば、高い分解能で評価値のピークが捉えられており、このピークは参照データのピークとも一致している。また、評価値のピークは、ＡＡＰの含有量に応じて上昇することも確認された。
【0063】
以上、本発明の種々の実施形態について説明したが、本発明は上記実施形態に限定されるものではなく、各請求項に記載した要旨を変更しない範囲で変形し、又は他のものに適用したものであってもよい。
【0064】
本実施形態の評価装置１は外部から学習済みモデルを再現するためのデータ、及び評価用データセットを取得していたが、評価装置１が、ラマン分光スペクトルを取得して学習用データセットを生成し、学習用データセットを用いて学習済みモデルを学習させる機能を有していてもよい。この場合、評価装置１は、外部から学習済みモデルに関するデータを取得することなく、自装置内で学習済みモデルを用いた推論処理を実行する。また、評価装置１は、学習に用いた学習用データセットをそのまま学習済みモデルの評価用の評価用データセットとして用いることができる。
【0065】
また、上記実施形態の評価装置１の機能、及び評価装置１を用いた評価方法は、以下のように変更されてもよい（以下、この形態を「変形例」として説明する）。すなわち、評価装置１の前処理部２０１は、Ｌ個のデータ行を含む評価用データセットに対する前処理として次のように処理してもよい。前処理部２０１は、評価用データセットの各データに、標準化後の最大強度の１％、５％、及び１０％のガウシアンノイズ（平均０、標準偏差１）をそれぞれ付与する。ここでは、前処理部２０１は、評価用データセットの各データ列のデータにガウシアンノイズを付与して、評価用データセットのデータ量をＬ個からＮ個に（例えば、８０倍に）増加させる。このとき付与するガウシアンノイズは、元の評価用データセットのデータの最大強度の１％以上２０％以下の範囲の値に設定されることが好ましく、元の評価用データセットのデータの最大強度の１％以上１０％以下の範囲の値に設定されることがさらに好ましい。そして、評価装置１において、データ生成部２０２が、ガウシアンノイズが付与されたＮ個のデータ行を含む評価用データセットを用いて、Ｍ個の比較用データセットＸＣ１～ＸＣＭを生成し、推論部２０３、比較部２０４、及び特定部２０５は、上述した実施形態と同様な処理を実行する。
【0066】
図１０及び図１１は、上記の変形例に係る評価装置１による評価値の計算例を示すグラフである。ここでは、図８及び図９に示した計算例と同一の評価用データセットを用い、前処理部２０１による前処理を行わないで元の２０個の評価用データセットを対象に計算した評価値の分布（「コピーなし」）、前処理部２０１によるコピーを行って１６００個に増加させた評価用データセットを対象に計算した評価値の分布（「コピーあり」）、前処理部２０１による１％のガウシアンノイズの付与を行って１６００個に増加させた評価用データセットを対象に計算した評価値の分布（「１％ノイズ付与」）、前処理部２０１による５％のガウシアンノイズの付与を行って１６００個に増加させた評価用データセットを対象に計算した評価値の分布（「５％ノイズ付与」）、及び、前処理部２０１による１０％のガウシアンノイズの付与を行って１６００個に増加させた評価用データセットを対象に計算した評価値の分布（「１０％ノイズ付与」）が比較して示されている。この計算結果から、ガウシアンノイズの付与に伴い、波数シフト量が650、850、1230cm-1付近に微弱ながら新たなピークが現れ、これらのピークは参照データのピークと一致している。加えて、波数シフト量1600-1650cm-1の範囲のピークも、ノイズの付与に伴って参照データのスペクトル形状に近くなっていることが分かる。
【0067】
上記の変形例に係る評価装置１によれば、学習済みモデルによる学習における複数のデータ列における重要度の分布が顕著に特定され、学習用データセットを基に学習された学習済みモデルの学習状態を正確に評価することができる。また、上記の計算例にも示される通り、ノイズ付与を行うことで、ＣＮＮが学習した弱い特徴まで評価できる可能性が高まる。
【0068】
また、上記の変形例においては、ガウシアンノイズは元の評価用データセットの最大強度の１％以上２０％以下の範囲の値に設定されている。こうすれば、学習用データセットを基に学習された学習済みモデルの学習状態をより正確に評価することができる。さらに、ガウシアンノイズを元の評価用データセットの最大強度の１％以上１０％以下の範囲の値に設定することにより、学習済みモデルの学習状態をより一層正確に評価することができる。
【0069】
図１２は、上述した実施形態及び変形例と、第１及び第２の従来手法とにおいて、取得された重要度の正当性を分析した結果を示す図表である。ここでは、重要度の高い波数シフト量のみを用いて回帰分析を行った結果が示されている。実施形態あるいは変形例において、前処理の処理条件を様々に変更しながら、波数シフト量ごとの重要度（評価値）の分布を取得し、重要度が高い順に上位の既定割合（１０％、２０％、３０％、５０％）の波数シフト量を抽出し、抽出した波数シフト量のデータのみが反映されたデータセットを学習済みモデルに入力した。その結果学習済みモデルから出力された推論値の誤差を、二乗平均平方根誤差（RMSE）を計算することにより求めた。同様の計算方法によって、第１の従来手法及び第２の従来手法における推論値の誤差も求めた。また、この表中には、比較のために、波数シフト量を抽出しないで１００％の割合の元のデータセットを学習済みモデルに入力した場合（「抽出なし」）の誤差も示されている。
【0070】
この分析結果においては、第１及び第２の従来手法の誤差より実施形態および変形例の誤差が小さいこと、および、変形例においてはノイズの付与により誤差が低下する傾向がみられる。第１及び第２の従来手法では、使用する波数シフト量を増加させるほど誤差が低下する傾向がみられ、最終的には波数シフト量を抽出しない場合の誤差に向けて単調に減少して収束している。このことは、重要度の高い波数シフト量の特定によって顕著な効果が得られていないことを意味する。これに対して、本実施形態及び変形例の場合、収束値に至る前の抽出割合において、抽出しない場合の誤差と同等かそれ以下の誤差が得られており、波数シフト量における重要度の分布を評価する手法として、本実施形態及び変形例の手法が有効であることが示された。
【0071】
上述した実施形態及び変形例における別のスペクトルデータを用いた評価結果を示す。 図１３及び図１４は、評価に用いたラマン分光スペクトルの分布を示すグラフである。ここでは、アラニン（以下、「Ａｌａ」という。）、セリン（以下、「Ｓｅｒ」という。）、イソロイシン（以下、「Ｉｌｅ」という。）のラマン分光スペクトルを用いて、定量分析用のスペクトルを数値的に生成した。最初に、Ａｌａ、Ｓｅｒの２つのラマン分光スペクトルを合成し、合成したスペクトルに、0.0、0.3、0.5、0.8、1.0を乗算したＩｌｅの強度を加算した。その後、最大強度の０．１％の強度を持つガウシアンノイズを付与した。このようにして、元の４つのスペクトルに対して、５種類の乗算値での加算後にホワイトノイズを付与し１０倍に増加させることにより、合計で２００個の学習用スペクトルを用意した。この学習用スペクトルに対して、上述した実施形態と同様な処理を施して、波数シフト量が350～1800cm-1の評価用データセットを生成した。図１３及び図１４には、生成された学習用スペクトルの例を示している。０．０を乗算して得られたスペクトルＩｌｅ＿０、０．３を乗算して得られたスペクトルＩｌｅ＿３０、０．５を乗算して得られたスペクトルＩｌｅ＿５０、０．８を乗算して得られたスペクトルＩｌｅ＿８０、及び、１．０を乗算して得られたスペクトルＩｌｅ＿１００が併せて示されている。このように、Ｉｌｅの添加量が増加するに従って、550、570、1340、1370cm-1付近に存在するピークが増加する。また、Ｉｌｅの添加元のＡｌａ、Ｓｅｒのスペクトルの強ピークが重なる852cm-1付近のピークは、Ｉｌｅの添加量が増加するに従って単調減少する。
【0072】
図１５及び図１６は、実施形態及び変形例に係る評価装置１による上記の学習用スペクトルを用いた評価値の計算例を示すグラフである。図１０に示した計算例と同様に、前処理による処理の条件を変更し、最大強度に対する様々な割合でガウンシアンノイズを付与して２０００個のデータ行を有する評価用データセットを生成した場合の評価値の分布を示す。この結果から、いずれの前処理の条件においても入力スペクトルと同様に852cm-1付近に強いピークが現れていることが分かる。また、ノイズ付与に伴い、1340、1370cm-1付近にもピークが現れ、それが定量対象であるＩｌｅスペクトル（参照データ）のピークと一致することが確認された。このことから、実施形態及び変形例に係る評価方法が、学習済みモデルの学習した特徴量の抽出に有効であることが明らかにされた。
【0073】
次に、上述した実施形態に係る評価装置１を用いて、ＣＮＮ分類モデルである学習済みモデルを評価した例を示す。図１７は、評価の対象の学習済みモデルの入出力データの構成を示す図である。ここでは、Ａｌａ、グリシン（以下、「Ｇｌｙ」という。）、Ｉｌｅのラマン分光スペクトルを用意し、これらのスペクトルに対して上述した実施形態と同様な処理を施して、波数シフト量が350～1800cm-1の評価用データセットを生成した。評価対象の学習済みモデルはＡｌａ、Ｇｌｙ、Ｉｌｅの３つの分類先から１つの分類先を予測するＣＮＮ分類モデルとし、予め評価用データセットと同一の学習用データセットを用いて学習済みモデルを学習させた。評価用データセットＸを学習済みモデルに入力すると、それぞれの評価用データセットにおけるデータ行の分類先を示すワンホットベクトル（one-hot-vector）である出力データＹが出力される。この出力データＹでは、各データ行のデータにおいて、正しい分類先の列が“１”、それ以外の分類先の列が“０”と設定される。学習済みモデルが各データ行のデータとしてデータ列毎に混合率を示す実数を含む出力データＹを出力することもできる。図１８には、比較用データセットＸＣ１を入力とした場合に学習済みモデルから出力される出力データＹＣ１の構成を示している。このように、出力データＹＣ１もワンホットベクトルの形式で出力される。評価装置１は、取得される出力データＹ、ＹＣ１～ＹＣＭ、及び各評価用データセットに対応した正解ラベルを基に、評価値の波数シフト量における分布を計算することができる。
【0074】
図１９は、Ａｌａスペクトル、Ｇｌｙスペクトル、Ｉｌｅスペクトルのそれぞれを用いて評価装置１が計算した評価値の分布のグラフを示している。Ａｌａ及びＧｌｙの評価値に関しては、分類に寄与すると期待される特徴的強ピークをよく捉えていることが明らかにされた。一方で、Ｉｌｅの評価値においては、Ａｌａ、Ｇｌｙのスペクトルのピークに対応する波数シフト量が重要性が高いと評価されており、Ｉｌｅの分類のための学習においてもＡｌａ，Ｇｌｙのピークが重要視されていることが判明した。
【符号の説明】
【0075】
１…評価装置、１０１…ＣＰＵ（プロセッサ）、１０２…ＲＡＭ、１０３…ＲＯＭ、１０４…通信モジュール、２０１…前処理部、２０２…データ生成部、２０３…推論部、２０４…比較部、２０５…特定部、Ｘ…評価用データセット、ＸＣ１…比較用データセット。
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図13】
【図14】
【図15】
【図16】
【図17】
【図18】
【図19】