特許 7455086 機械学習モデル特性可視化装置、機械学習モデル特性可視化方法、及び機械学習モデル特性可視化プログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2024-03-14

(45)【発行日】2024-03-25

(54)【発明の名称】機械学習モデル特性可視化装置、機械学習モデル特性可視化方法、及び機械学習モデル特性可視化プログラム

(51)【国際特許分類】

   G06N 20/00 20190101AFI20240315BHJP

   G06T 7/00 20170101ALI20240315BHJP

【ＦＩ】

G06N20/00

G06T7/00 350B

【請求項の数】 6

(21)【出願番号】P 2021058114

(22)【出願日】2021-03-30

(65)【公開番号】P2022154858

(43)【公開日】2022-10-13

【審査請求日】2023-04-20

(73)【特許権者】

【識別番号】306020818

【氏名又は名称】トヨタテクニカルディベロップメント株式会社

(74)【代理人】

【識別番号】110002516

【氏名又は名称】弁理士法人白坂

(72)【発明者】

【氏名】市川 宏治

(72)【発明者】

【氏名】坂口 真一

(72)【発明者】

【氏名】稲葉 絵莉子

【審査官】千葉 久博

(56)【参考文献】

【文献】特開２０２１－９６１８（ＪＰ，Ａ）

【文献】特開２０２０－１７１９７（ＪＰ，Ａ）

【文献】特開２０２０－１６０５４３（ＪＰ，Ａ）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ０６Ｎ ２０／００

Ｇ０６Ｔ ７／００

(57)【特許請求の範囲】

【請求項1】

機械学習モデルの学習に用いられる、学習用データ及び評価用データを取得する第１データ取得部と、
前記第１データ取得部により取得された前記学習用データ及び前記評価用データを格納する第１格納部と、
前記第１格納部によって格納された前記学習用データ及び前記評価用データの特徴を表す特徴量のデータである学習用特徴量データ及び評価用特徴量データを生成する特徴量生成部と、
前記特徴量生成部により生成された前記学習用特徴量データ及び前記評価用特徴量データを格納する第２格納部と、
前記第１格納部又は前記第２格納部によって格納されたデータの中からいずれか二を選択し、その選択されたデータを特徴量ごとに比較し、その差異を比較特徴量データとして生成する比較特徴量生成部と、
前記比較特徴量生成部により生成された前記比較特徴量データを格納する第３格納部と、
前記第１格納部ないし前記第３格納部によって格納されたデータのうちのいずれかを入力データとして決定する入力データ決定部と、
前記入力データ決定部により決定された前記入力データを分析するための分析方法を決定する分析方法決定部と、
前記特徴量ごとの値及び前記特徴量ごとの学習量に基づき、前記入力データを前記分析方法決定部によって決定された前記分析方法により分析する分析実行部と、
前記分析実行部による分析結果を前記入力データの特徴を表す特徴量ごとに表示する分析結果表示部と、
を備えることを特徴とする機械学習モデル特性可視化装置。

【請求項2】

前記学習用データ及び前記評価用データに内包されるデータの属性に関するアノテーションが予め付与された学習用教師データ及び評価用教師データを取得する第２データ取得部と、
前記第２データ取得部により取得された前記学習用教師データ及び前記評価用教師データを格納する第４格納部と、
前記学習用データ及び前記学習用教師データを用いて学習された前記機械学習モデルの前記評価用データに基づく推論結果を取得する第３データ取得部と、
前記第３データ取得部により取得された前記推論結果を格納する第５格納部と、
前記推論結果を前記評価用教師データと比較し前記推論結果の妥当性を評価し比較結果を生成する比較評価部と、
前記比較評価部によって生成された前記比較結果を格納する第６格納部と、
をさらに備え、
前記比較特徴量生成部は、前記第１格納部ないし前記第６格納部によって格納されたデータの中からいずれか二を選択し、その選択されたデータを特徴量ごとに比較し、その差異を比較特徴量データとして生成し、
前記入力データ決定部は、前記第１格納部ないし前記第６格納部によって格納されたデータのうちいずれかを入力データとして決定することを特徴とする請求項１に記載の機械学習モデル特性可視化装置。

【請求項3】

前記分析方法は、前記特徴量に基づいたグラフ化の方法である請求項１または２に記載の機械学習モデル特性可視化装置。

【請求項4】

前記学習用データ及び前記評価用データは画像に関するデータである請求項１ないし３のいずれか１項に記載の機械学習モデル特性可視化装置。

【請求項5】

コンピュータが、
機械学習モデルの学習に用いられる、学習用データ及び評価用データを取得する第１データ取得ステップと、
前記第１データ取得ステップにおいて取得された前記学習用データ及び前記評価用データを格納する第１格納ステップと、
前記第１格納ステップにおいて格納された前記学習用データ及び前記評価用データの特徴を表す特徴量のデータである学習用特徴量データ及び評価用特徴量データを生成する特徴量生成ステップと、
前記特徴量生成ステップにおいて生成された前記学習用特徴量データ及び前記評価用特徴量データを格納する第２格納ステップと、
前記第１格納ステップ又は前記第２格納ステップにおいて格納されたデータの中からいずれか二を選択し、その選択されたデータを特徴量ごとに比較し、その差異を比較特徴量データとして生成する比較特徴量生成ステップと、
前記比較特徴量生成ステップにおいて生成された前記比較特徴量データを格納する第３格納ステップと、
前記第１格納ステップないし前記第３格納ステップにおいて格納されたデータのうちのいずれかを入力データとして決定する入力データ決定ステップと、
前記入力データ決定ステップにおいて決定された前記入力データを分析するための分析方法を決定する分析方法決定ステップと、
前記特徴量ごとの値及び前記特徴量ごとの学習量に基づき、前記入力データを前記分析方法決定ステップにおいて決定された前記分析方法により分析する分析実行ステップと、
前記分析実行ステップにおいて分析結果を前記入力データの特徴を表す特徴量ごとに表示する分析結果表示ステップと、
を実行することを特徴とする機械学習モデル特性可視化方法。

【請求項6】

コンピュータに、
機械学習モデルの学習に用いられる、学習用データ及び評価用データを取得する第１データ取得機能と、
前記第１データ取得機能によって取得された前記学習用データ及び前記評価用データを格納する第１格納機能と、
前記第１格納機能によって格納された前記学習用データ及び前記評価用データの特徴を表す特徴量のデータである学習用特徴量データ及び評価用特徴量データを生成する特徴量生成機能と、
前記特徴量生成機能によって生成された前記学習用特徴量データ及び前記評価用特徴量データを格納する第２格納機能と、
前記第１格納機能又は前記第２格納機能において格納されたデータの中からいずれか二を選択し、その選択されたデータを特徴量ごとに比較し、その差異を比較特徴量データとして生成する比較特徴量生成機能と、
前記比較特徴量生成機能によって生成された前記比較特徴量データを格納する第３格納機能と、
前記第１格納機能ないし前記第３格納機能において格納されたデータのうちのいずれかを入力データとして決定する入力データ決定機能と、
前記入力データ決定機能によって決定された前記入力データを分析するための分析方法を決定する分析方法決定機能と、
前記特徴量ごとの値及び前記特徴量ごとの学習量に基づき、前記入力データを前記分析方法決定機能によって決定された前記分析方法により分析する分析実行機能と、
前記分析実行機能によって分析結果を前記入力データの特徴を表す特徴量ごとに表示する分析結果表示機能と、
を実現することを特徴とする機械学習モデル特性可視化プログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、機械学習モデル特性可視化装置、機械学習モデル特性可視化方法、及び機械学習モデル特性可視化プログラムに関し、特に、機械学習により構築され予測を行う機械学習モデルに係る機械学習モデル特性可視化装置、機械学習モデル特性可視化方法、及び機械学習モデル特性可視化プログラムに関する。

【背景技術】

【0002】

従来、ディープラーニング及び機械学習を使用した機械学習モデルが出力する予測結果及び判断の根拠が、ブラックボックス化されており、機械学習モデルの特性が見えにくく理解しにくいという課題があった。

【0003】

そのため、機械学習モデルに対して学習用データを与えて学習させる際に、機械学習モデルにどのような特性があるか分からず、ただ漠然と大量の教師有り学習用データを用意して学習させる必要があった（例えば、特許文献１参照）。

【先行技術文献】

【特許文献】

【0004】

【文献】特開２０１８-１６００４９号公報

【発明の概要】

【発明が解決しようとする課題】

【0005】

そこで、本開示の課題は、機械学習モデルの学習の効率化を図り、機械学習モデルの特性を可視化することができる機械学習モデル特性可視化装置、機械学習モデル特性可視化方法、及び機械学習モデル特性可視化プログラムを提供することである。

【課題を解決するための手段】

【0006】

すなわち、第１の態様に機械学習モデル特性可視化装置は、機械学習モデルの学習に用いられる、学習用データ及び評価用データを取得する第１データ取得部と、第１データ取得部により取得された学習用データ及び評価用データを格納する第１格納部と、第１格納部によって格納された学習用データ及び評価用データの特徴を表す特徴量のデータである学習用特徴量データ及び評価用特徴量データを生成する特徴量生成部と、特徴量生成部により生成された学習用特徴量データ及び評価用特徴量データを格納する第２格納部と、第１格納部又は第２格納部によって格納されたデータの中からいずれか二を選択し、その選択されたデータを特徴量ごとに比較し、その差異を比較特徴量データとして生成する比較特徴量生成部と、比較特徴量生成部により生成された比較特徴量データを格納する第３格納部と、第１格納部ないし第３格納部によって格納されたデータのうちのいずれかを入力データとして決定する入力データ決定部と、入力データ決定部により決定された入力データを分析するための分析方法を決定する分析方法決定部と、特徴量ごとの値及び特徴量ごとの学習量に基づき、入力データを分析方法決定部によって決定された分析方法により分析する分析実行部と、分析実行部による分析結果を入力データの特徴を表す特徴量ごとに表示する分析結果表示部と、を備える。

【0007】

第２の態様は、第１の態様に係る機械学習モデル特性可視化装置において、学習用データ及び評価用データに内包されるデータの属性に関するアノテーションが予め付与された学習用教師データ及び評価用教師データを取得する第２データ取得部と、第２データ取得部により取得された学習用教師データ及び評価用教師データを格納する第４格納部と、学習用データ及び学習用教師データを用いて学習された機械学習モデルの評価用データに基づく推論結果を取得する第３データ取得部と、第３データ取得部により取得された推論結果を格納する第５格納部と、推論結果を評価用教師データと比較し推論結果の妥当性を評価し比較結果を生成する比較評価部と、比較評価部によって生成された比較結果を格納する第６格納部と、をさらに備え、比較特徴量生成部は、第１格納部ないし第６格納部によって格納されたデータの中からいずれか二を選択し、その選択されたデータを特徴量ごとに比較し、その差異を比較特徴量データとして生成し、入力データ決定部は、第１格納部ないし第６格納部によって格納されたデータのうちいずれかを入力データとして決定することとしてもよい。

【0008】

第３の態様は、第１または第２の態様に係る機械学習モデル特性可視化装置において、分析方法は、特徴量に基づいたグラフ化の方法であることとしてもよい。

【0009】

第４の態様は、第１ないし第３のいずれか１の態様に係る機械学習モデル特性可視化装置において、学習用データ及び評価用データは画像に関するデータであることとしてもよい。

【0010】

第５の態様に係る機械学習モデル特性可視化方法は、コンピュータが、機械学習モデルの学習に用いられる、学習用データ及び評価用データを取得する第１データ取得ステップと、第１データ取得ステップにおいて取得された学習用データ及び評価用データを格納する第１格納ステップと、第１格納ステップにおいて格納された学習用データ及び評価用データの特徴を表す特徴量のデータである学習用特徴量データ及び評価用特徴量データを生成する特徴量生成ステップと、特徴量生成ステップにおいて生成された学習用特徴量データ及び評価用特徴量データを格納する第２格納ステップと、第１格納ステップ又は第２格納ステップにおいて格納されたデータの中からいずれか二を選択し、その選択されたデータを特徴量ごとに比較し、その差異を比較特徴量データとして生成する比較特徴量生成ステップと、比較特徴量生成ステップにおいて生成された比較特徴量データを格納する第３格納ステップと、第１格納ステップないし第３格納ステップにおいて格納されたデータのうちのいずれかを入力データとして決定する入力データ決定ステップと、入力データ決定ステップにおいて決定された入力データを分析するための分析方法を決定する分析方法決定ステップと、特徴量ごとの値及び特徴量ごとの学習量に基づき、入力データを分析方法決定ステップにおいて決定された分析方法により分析する分析実行ステップと、分析実行ステップにおいて分析結果を入力データの特徴を表す特徴量ごとに表示する分析結果表示ステップと、を実行する。

【0011】

第６の態様に係る機械学習モデル特性可視化プログラムは、コンピュータに、機械学習モデルの学習に用いられる、学習用データ及び評価用データを取得する第１データ取得機能と、第１データ取得機能によって取得された学習用データ及び評価用データを格納する第１格納機能と、第１格納機能によって格納された学習用データ及び評価用データの特徴を表す特徴量のデータである学習用特徴量データ及び評価用特徴量データを生成する特徴量生成機能と、特徴量生成機能によって生成された学習用特徴量データ及び評価用特徴量データを格納する第２格納機能と、第１格納機能又は第２格納機能において格納されたデータの中からいずれか二を選択し、その選択されたデータを特徴量ごとに比較し、その差異を比較特徴量データとして生成する比較特徴量生成機能と、比較特徴量生成機能によって生成された比較特徴量データを格納する第３格納機能と、第１格納機能ないし第３格納機能において格納されたデータのうちのいずれかを入力データとして決定する入力データ決定機能と、入力データ決定機能によって決定された入力データを分析するための分析方法を決定する分析方法決定機能と、特徴量ごとの値及び特徴量ごとの学習量に基づき、入力データを分析方法決定機能によって決定された分析方法により分析する分析実行機能と、分析実行機能によって分析結果を入力データの特徴を表す特徴量ごとに表示する分析結果表示機能と、を実現する。

【発明の効果】

【0012】

本開示の機械学習モデル特性可視化装置によると、機械学習モデルの学習に用いられる、学習用データ及び評価用データを取得する第１データ取得部と、第１データ取得部により取得された学習用データ及び評価用データを格納する第１格納部と、第１格納部によって格納された学習用データ及び評価用データの特徴を表す特徴量のデータである学習用特徴量データ及び評価用特徴量データを生成する特徴量生成部と、特徴量生成部により生成された学習用特徴量データ及び評価用特徴量データを格納する第２格納部と、第１格納部又は第２格納部によって格納されたデータの中からいずれか二を選択し、その選択されたデータを特徴量ごとに比較し、その差異を比較特徴量データとして生成する比較特徴量生成部と、比較特徴量生成部により生成された比較特徴量データを格納する第３格納部と、第１格納部ないし第３格納部によって格納されたデータのうちのいずれかを入力データとして決定する入力データ決定部と、入力データ決定部により決定された入力データを分析するための分析方法を決定する分析方法決定部と、特徴量ごとの値及び特徴量ごとの学習量に基づき、入力データを分析方法決定部によって決定された分析方法により分析する分析実行部と、分析実行部による分析結果を入力データの特徴を表す特徴量ごとに表示する分析結果表示部と、を備えるため、機械学習モデルの学習の効率化を図り、機械学習モデルの特性を可視化することができる。

【図面の簡単な説明】

【0013】

【図1】本実施形態に係る機械学習モデル特性可視化装置の処理の概要を説明するための図である。

【図2】機械学習モデルにおける効果を説明するための図である。

【図3】機械学習モデル特性可視化装置の物理的構成の一例を示すブロック図である。

【図4】機械学習モデル特性可視化装置の機能的構成の一例を示すブロック図である。

【図5】機械学習モデル特性可視化プログラムのフローチャートである。

【図6】機械学習モデル特性可視化プログラムの処理の流れを示す図（１）である。

【図7】機械学習モデル特性可視化プログラムの処理の流れを示す図（２）である。

【発明を実施するための形態】

【0014】

本実施形態に係る機械学習モデル特性可視化装置、機械学習モデル特性可視化方法、及び機械学習モデル特性可視化プログラムについて図１ないし図７を参照して以下に説明する。

【0015】

先ず図１を参照して本実施形態に係る機械学習モデル特性可視化装置１０の処理の概要について説明する。図１は本実施形態に係る機械学習モデル特性可視化装置１０の処理の概要を説明するための図である。

【0016】

機械学習モデル特性可視化装置１０の処理は、「教師データ」１、「特徴量で分解」２、及び「評価・統計・可視化」３に分類することができる。

【0017】

機械学習モデルの教師あり学習では、学習用データと評価用データとが用意される。学習用データは機械学習モデルの学習に使用され、評価用データは機械学習モデルの精度評価に用いられる。機械学習モデルの精度評価において、学習用データとは異なる評価用データが用意されるのは、機械学習モデルが対象の未知の事象を予測するものだからである。従って、機械学習モデルの学習に用いられる「教師データ」１は学習用データと評価用データとが用意される。

【0018】

「教師データ」１にはその特徴を表す特徴量が与えられている。学習用データをその特徴量で分解し分類することで、評価の対象となる機械学習モデルの学習に使用された学習用データの特性を分析することができる。すなわち、大量の学習用データから特徴量を抽出し、学習用データ単位で特徴量のスケールで分類する。

【0019】

評価用データについては、評価用データをその特徴量で分解し分類することで、機械学習モデルの推論結果との比較において、評価用データのどの特徴量が推論結果に結びついているのかを分析することができる。推論結果とは、以前に機械学習モデルが形成した特徴量に基づく分類結果である。なお、推論結果は随時更新される。

【0020】

「評価・統計・可視化」３においては、学習用データ及び評価用データをそのデータ単位で特徴量ごとのスケールで分類されることで、評価され、統計化・可視化される。可視化では、特徴量ごとに分析された内容を、ヒートマップ（Heat Map）、ヒストグラム（Histogram）、散布図、円グラフなどのグラフを用いて行われる。

【0021】

図２を参照して、本実施形態に係る機械学習モデル特性可視化装置１０を用いることの具体的な効果について説明する。図２は機械学習モデルにおける効果を説明するための図である。

【0022】

例えば、画像認識に用いられる機械学習モデルにおいて、画像データ４の中のタンクローリー５の物体認識が出来なかった場合について説明する。機械学習モデル特性可視化装置１０を用いることによって、学習用データが特徴量ごとに分解されて、特徴量ごとの分布を視覚化することで、学習用データの中にあるタンクローリーの画像データの枚数が少ないことが分かった。従って、タンクローリーの画像データの枚数を学習用データに追加し補うことで機械学習モデルは、画像データ４の中のタンクローリー５を物体認識できるようになり、矩形枠６（図２参照）で捉えることができるようになる。
（機械学習モデル特性可視化装置１０の物理的構成）

【0023】

図３を参照して、機械学習モデル特性可視化装置１０の物理的構成の一例について説明する。図３は機械学習モデル特性可視化装置１０の物理的構成の一例を示すブロック図である。

【0024】

機械学習モデル特性可視化装置１０は、通信インターフェース１０ａ、Read Only Memory（ＲＯＭ）１０ｂ、Random Access Memory（ＲＡＭ）１０ｃ、記憶部１０ｄ、Central Processing Unit（ＣＰＵ）１０ｅ、データベース部１０ｆ、入出力インターフェース１０ｇなどを備えている。また、機械学習モデル特性可視化装置１０は、その外部装置として入力装置１０ｈ及び出力装置１０ｉを備えている。
通信インターフェース１０ａは、主にデータをネットワーク１１に対して入出力を行う機能を備える。

【0025】

記憶部１０ｄは、記憶装置として利用でき、機械学習モデル特性可視化装置１０が動作する上で必要となる後述の機械学習モデル特性可視化プログラム、各種アプリケーション及び当該アプリケーションによって利用される各種データなどが記録される。

【0026】

入出力インターフェース１０ｇは、機械学習モデル特性可視化装置１０の入力装置１０ｈ及び出力装置１０ｉに対してデータなどの送受信を行う。入力装置１０ｈはキーボード、マウス、スキャナなどのことであり、出力装置１０ｉはモニター、プリンタ、スピーカーなどのことであり、いわゆる周辺機器のことをいう。

【0027】

機械学習モデル特性可視化装置１０は、後述する機械学習モデル特性可視化プログラムをＲＯＭ１０ｂ若しくは記憶部１０ｄに保存し、ＲＡＭ１０ｃなどで構成されるメインメモリに機械学習モデル特性可視化プログラムを取り込む。ＣＰＵ１０ｅは、機械学習モデル特性可視化プログラムを取り込んだメインメモリにアクセスして、機械学習モデル特性可視化プログラムを実行する。

【0028】

（機械学習モデル特性可視化装置１０の機能的構成）
次に、図４を参照して、機械学習モデル特性可視化装置１０の機能的構成の一例について説明する。図４は機械学習モデル特性可視化装置１０の機能的構成の一例を示すブロック図である。

【0029】

機械学習モデル特性可視化装置１０は、機械学習モデル特性可視化プログラムを実行することで、ＣＰＵ１０ｅに第１データ取得部２０、第１格納部２１、第２データ取得部２２、特徴量生成部２３、第２格納部２４、第３データ取得部２５、比較特徴量生成部２６、第３格納部２７、第４格納部２８、第５格納部２９、比較評価部３０、第６格納部３２、入力データ決定部３３、分析方法決定部３４、分析実行部３５、及び分析結果表示部３６などを機能部として備える。

【0030】

第１データ取得部２０は、機械学習モデルの学習に用いられる、学習用データ及び評価用データを取得する。
学習用データ及び評価用データは画像に関するデータである。

【0031】

学習用データ及び評価用データは、機械学習モデル特性可視化装置１０の外部で用意され、第１データ取得部２０は学習用データ及び評価用データを取得する。
第１格納部２１は、第１データ取得部２０により取得された学習用データ及び評価用データを格納する。
学習用データ及び評価用データは、データベース部１０ｆに格納される。

【0032】

第２データ取得部２２は、学習用データ及び評価用データに内包されるデータの属性に関するアノテーションが予め付与された学習用教師データ及び評価用教師データを取得する。

【0033】

特徴量生成部２３は、第１格納部２１によって格納された学習用データ及び評価用データの特徴を表す特徴量のデータである学習用特徴量データ及び評価用特徴量データを生成する。

【0034】

特徴量生成部２３は、学習用データ及び評価用データの特徴を表す特徴量を生成し抽出する機械学習モデル若しくはルールベースのアルゴリズムである。

【0035】

学習用特徴量データは、学習用データの特徴を表す特徴量の値である。例えば、特徴量が画像データごとの明度（２５６階調）の平均値であれば、学習用特徴量データは、学習用データに含まれる画像データの明度の平均値を集めたデータとなる。また、特徴量が画像データごとに含まれているオブジェクト、例えば、車、自転車、オートバイ、人、など）であれば、学習用特徴量データは、学習用データの個々の画像データに含まれるオブジェクトを集めたデータとなる。

【0036】

第２格納部２４は、特徴量生成部２３により生成された学習用特徴量データ及び評価用特徴量データを格納する。
学習用特徴量データ及び評価用特徴量データは、データベース部１０ｆに格納される。

【0037】

第３データ取得部２５は、学習用データ及び学習用教師データを用いて学習された機械学習モデルの評価用データに基づく推論結果を取得する。

【0038】

比較特徴量生成部２６は、第１格納部２１又は第２格納部２４によって格納されたデータの中からいずれか二を選択し、その選択されたデータを特徴量ごとに比較し、その差異を比較特徴量データとして生成する。

【0039】

比較特徴量生成部２６は、学習用データ、評価用データ、学習用特徴量データ、及び評価用特徴量データの中からいずれか二つを選択する。学習用データと評価用特徴量データが選択された場合、評価用特徴量データに係る特徴量に基づいて、学習用データと評価用特徴量データとの差異が比較特徴量データとなる。例えば、特徴量が画像データごとの明度（２５６階調）の平均値である場合、画像データごとの明度（２５６階調）の各階調ごとに画像データの枚数について学習用データと評価用特徴量データとを対比しその差を比較特徴量データとする。
第３格納部２７は、比較特徴量生成部２６により生成された比較特徴量データを格納する。
比較特徴量データは、データベース部１０ｆに格納される。

【0040】

第４格納部２８は、第２データ取得部２２により取得された学習用教師データ及び評価用教師データを格納する。
学習用教師データ及び評価用教師データは、データベース部１０ｆに格納される。
第５格納部２９は、第３データ取得部により取得された推論結果を格納する。
推論結果は、データベース部１０ｆに格納される。

【0041】

比較評価部３０は、推論結果を評価用教師データと比較し推論結果の妥当性を評価し比較結果を生成する。

【0042】

学習用データと学習用教師データとによって学習された機械学習モデルの評価用データの推論結果について、評価用教師データと比較することで、学習された機械学習モデルの学習効果を確認するものである。

【0043】

第６格納部３２は、比較評価部によって生成された比較結果を格納する。
比較結果は、データベース部１０ｆに格納される。
比較特徴量生成部２６は、第１格納部２１ないし第６格納部３２によって格納されたデータの中からいずれか二を選択し、その選択されたデータを特徴量ごとに比較し、その差異を比較特徴量データとして生成する。

【0044】

比較特徴量生成部２６は、第１格納部２１から第６格納部３２によってデータがデータベース部１０ｆに格納された場合は、第１格納部２１から第６格納部３２によって格納されたデータの中からいずれか二つのデータを選択する。

【0045】

入力データ決定部３３は、第１格納部２１ないし第６格納部３２によって格納されたデータのうちいずれかを入力データとして決定する。

【0046】

入力データ決定部３３は、データベース部１０ｆに格納されたデータの中から分析処理を行い表示情報として表示する情報を決定する。

【0047】

入力データ決定部３３が決定する入力データの数は特に制約を受けるものではなく、１個でもよいし複数個でもよい。入力データ決定部３３は、機械学習モデル特性可視化装置１０のユーザーの操作入力を受け付けて入力データを決定する。当該ユーザーが分析処理を行い表示情報として表示したい情報を選択する。

【0048】

分析方法決定部３４は、入力データ決定部３３により決定された入力データを分析するための分析方法を決定する。
分析方法は、前記特徴量に基づいたグラフ化の方法である。

【0049】

グラフ化の方法とは、例えば、ヒートマップ（Heat Map）、ヒストグラム（Histogram）、散布図、円グラフなどのことである。

【0050】

分析実行部３５は、特徴量ごとの値及び特徴量ごとの学習量に基づき、入力データを分析方法決定部によって決定された分析方法により分析する。

【0051】

分析結果表示部３６は、分析実行部３５による分析結果を入力データの特徴を表す特徴量ごとに表示する。

【0052】

（機械学習モデル特性可視化方法、及び機械学習モデル特性可視化プログラムについて）
次に、図５を参照して、本実施形態に係る機械学習モデル特性可視化方法について機械学習モデル特性可視化プログラムとともに説明する。図５は機械学習モデル特性可視化プログラムのフローチャートである。

【0053】

図５に示す様に、機械学習モデル特性可視化プログラムは、第１データ取得ステップＳ２０、第１格納ステップＳ２１、第２データ取得ステップＳ２２、特徴量生成ステップＳ２３、第２格納ステップＳ２４、第３データ取得ステップＳ２５、比較特徴量生成ステップＳ２６、第３格納ステップＳ２７、第４格納ステップＳ２８、第５格納ステップＳ２９、比較評価ステップＳ３０、第６格納ステップＳ３２、入力データ決定ステップＳ３３、分析方法決定ステップＳ３４、分析実行ステップＳ３５、及び分析結果表示ステップＳ３６などを含む。

【0054】

機械学習モデル特性可視化装置１０は、ＲＯＭ１０ｂ若しくは記憶部１０ｄに保存された機械学習モデル特性可視化プログラムをメインメモリに取り込み、ＣＰＵ１０ｅにより機械学習モデル特性可視化プログラムを実行する。

【0055】

機械学習モデル特性可視化プログラムは、機械学習モデル特性可視化装置１０のＣＰＵ１０ｅに対して、第１データ取得機能、第１格納機能、第２データ取得機能、特徴量生成機能、第２格納機能、第３データ取得機能、比較特徴量生成機能、第３格納機能、第４格納機能、第５格納機能、比較評価機能、第６格納機能、入力データ決定機能、分析方法決定機能、分析実行機能、及び分析結果表示機能などの機能を実現させる。

【0056】

これらの機能は図５のフローチャートに示す順序で処理を行う場合を例示したが、これに限らず、これらの順番を適宜入れ替えて機械学習モデル特性可視化プログラムを実行してもよい。

【0057】

なお、上記した各機能は、前述の機械学習モデル特性可視化装置１０の第１データ取得部２０、第１格納部２１、第２データ取得部２２、特徴量生成部２３、第２格納部２４、第３データ取得部２５、比較特徴量生成部２６、第３格納部２７、第４格納部２８、第５格納部２９、比較評価部３０、第６格納部３２、入力データ決定部３３、分析方法決定部３４、分析実行部３５、及び分析結果表示部３６の説明と重複するため、その詳細な説明は省略する。

【0058】

第１データ取得機能は、機械学習モデルの学習に用いられる、学習用データ及び評価用データを取得する（Ｓ２０：第１データ取得ステップ）。

【0059】

第１格納機能は、第１データ取得部２０により取得された学習用データ及び評価用データを格納する（Ｓ２１：第１格納ステップ）。

【0060】

第２データ取得機能は、学習用データ及び評価用データに内包されるデータの属性に関するアノテーションが予め付与された学習用教師データ及び評価用教師データを取得する（Ｓ２２：第２データ取得ステップ）。

【0061】

特徴量生成機能は、第１格納部２１によって格納された学習用データ及び評価用データの特徴を表す特徴量のデータである学習用特徴量データ及び評価用特徴量データを生成する（Ｓ２３：特徴量生成ステップ）。

【0062】

第２格納機能は、特徴量生成部２３により生成された学習用特徴量データ及び評価用特徴量データを格納する（Ｓ２４：第２格納ステップ）。

【0063】

第３データ取得機能は、学習用データ及び学習用教師データを用いて学習された機械学習モデルの評価用データに基づく推論結果を取得する（Ｓ２５：第３データ取得ステップ）。

【0064】

比較特徴量生成機能は、第１格納部２１又は第２格納部２４によって格納されたデータの中からいずれか二を選択し、その選択されたデータを特徴量ごとに比較し、その差異を比較特徴量データとして生成する（Ｓ２６：比較特徴量生成ステップ）。

【0065】

第３格納機能は、比較特徴量生成部２６により生成された比較特徴量データを格納する（Ｓ２７：第３格納ステップ）。

【0066】

第４格納機能は、第２データ取得部２２により取得された学習用教師データ及び評価用教師データを格納する（Ｓ２８：第４格納機能）。

【0067】

第５格納機能は、第３データ取得部により取得された推論結果を格納する（Ｓ２９：第５格納ステップ）。

【0068】

比較評価機能は、推論結果を評価用教師データと比較し推論結果の妥当性を評価し比較結果を生成する（Ｓ３０：比較評価ステップ）。
第６格納機能は、比較評価部によって生成された比較結果を格納する（Ｓ３２：第６格納機能）。

【0069】

入力データ決定機能は、第１格納部２１ないし第６格納部３２によって格納されたデータのうちいずれかを入力データとして決定する（Ｓ３３：入力データ決定ステップ）。

【0070】

分析方法決定機能は、入力データ決定部３３により決定された入力データを分析するための分析方法を決定する（Ｓ３４：分析方法決定ステップ）。

【0071】

分析実行機能は、特徴量ごとの値及び特徴量ごとの学習量に基づき、入力データを分析方法決定部によって決定された分析方法により分析する（Ｓ３５：分析実行ステップ）。

【0072】

分析結果表示機能は、分析実行部３５による分析結果を入力データの特徴を表す特徴量ごとに表示する（Ｓ３６：分析結果表示ステップ）。

【0073】

次に、図６及び図７を参照して機械学習モデル特性可視化プログラムの処理の流れについて説明する。図６及び図７は機械学習モデル特性可視化プログラムの処理の流れを示す図である。

【0074】

機械学習モデル特性可視化プログラムを実行するために教師データである学習用データ４０と評価用データ４１が用意される。学習用データ４０及び評価用データ４１は、機械学習モデル特性可視化装置１０のデータベース部１０ｆに格納される。

【0075】

学習用データ４０は、特徴量生成処理４２が行われ特徴量データ４３が生成され、データベース部１０ｆに格納される。特徴量生成処理４２は、上記した特徴量生成部２３及び特徴量生成ステップS２３において行われる処理と同一の内容である。

【0076】

学習用データ４０の教師データは、個々の学習用データ４０に内包されるデータの属性に関するアノテーション（タグ付け）４４が行われてアノテーションデータ(教師データ)４５が生成される。このアノテーションデータ４４は、既に機械学習モデルの学習に用いられた教師データをそのまま利用することができる。アノテーションデータ(教師データ)４５もデータベース部１０ｆに格納される。なお、上述した学習用教師データはアノテーションデータ（教師データ）４５のことである。

【0077】

学習用データ４０とアノテーションデータ４５を用いて機械学習モデルの学習４６が行われる。機械学習モデルの学習４６は、機械学習モデル特性可視化プログラムが実行する処理には含まれないが、機械学習モデル可視化プログラムに機械学習モデルの学習４６の処理を含めることも出来る。

【0078】

次に評価用データ４１を用いた処理が行われる。
学習済み機械学習モデル４７の評価用データ４１に基づく推論結果４８を得る。推論結果４８はデータベース部１０ｆに格納される。

【0079】

評価用データ４１の教師データも、学習用データ４０の場合と同様に、個々の評価用データ４１に内包されるデータの属性に関するアノテーション（タグ付け）４９が行われてアノテーションデータ（教師データ）５０が生成される。このアノテーションデータ５０も、学習用データ４０の場合と同様に、学習された機械学習モデルの性能評価に用いられる教師用データをそのまま利用することができる。アノテーションデータ（教師データ）５０はデータベース部１０ｆに格納される。

【0080】

比較特徴量生成処理５３では、データベース部１０ｆに格納された全てのデータの中からいずれか二つを選択する。学習用データと評価用特徴量データが選択された場合、評価用特徴量データに係る特徴量に基づいて、学習用データと評価用特徴量データとの差異が比較特徴量データ５４となる。なお、比較特徴量生成処理５３は、上述した比較特徴量生成部２６及び比較特徴量生成ステップＳ２６の処理の内容と同じである。比較特徴量データ５４はデータベース部１０ｆに格納される。

【0081】

比較評価処理５５では、推論結果４８とアノテーションデータ（教師データ）５０との比較評価が行われ、推論結果４８の妥当性が評価され、比較結果５６が生成される。比較結果５６はデータベース部１０ｆに格納される。なお、比較評価処理５５は、上述した比較評価部３０及び比較評価ステップS３０の処理の内容と同じである。

【0082】

評価用データ４１は、特徴量生成処理５１が行われ特徴量データ５２が生成される。特徴量データ５２はデータベース部１０ｆに格納される。特徴量生成処理５１は、上記した特徴量生成部２３及び特徴量生成ステップＳ２３において行われる処理と同一の内容である。特徴量とは、対象である評価用データ（若しくは学習用データ）の特徴が表された数値である。従って、特徴量と数値とは一対をなすものであり、特徴量生成処理５１は、特徴量を抽出するとともに、特徴量の程度を表す数値を特徴量データ５２として生成するものである。

【0083】

データセット選択処理５８は、データベース部１０ｆに格納されたデータの中から分析処理６０の対象となるデータセットを選択する処理を行う。この処理５８はユーザーの指令を受け付けて行われる。上述した入力データ決定部３３及び入力データ決定ステップＳ３３の処理の内容と同じである。

【0084】

分析方法選択処理５９は、データセット選択処理５８によって選択されたデータセットを分析するための分析方法を選択する処理を行う。この処理５９はユーザーの指令を受け付けて行われる。上述した分析方法決定部３４及び分析方法決定ステップＳ３４の処理の内容と同じである。

【0085】

分析処理６０は、特徴量ごとの値、及び特徴量ごとの学習量に基づき、選択されたデータセットを選択された分析方法により分析する処理を行う。分析処理６０は、上述した分析実行部３５及び分析実行ステップＳ３５の処理の内容と同じである。

【0086】

表示処理６１は、分析処理６０の分析結果をデータセットの特徴を表す特徴量ごと表示する。表示処理６１は、上述した分析結果表示部３６及び分析結果表示ステップＳ３６の処理の内容と同じである。
表示情報６２は、表示処理６１の処理に用いられた、可視化のための情報である。

【0087】

上記した本実施形態によれば、学習用データ及び学習用教師データの特徴を表す特徴量ごと可視化するので、機械学習モデルの特性、例えば、推論が得意な事例、及び推論が不得意な事例を可視化することができる。

【0088】

さらに、上記した本実施形態によれば、学習済み機械学習モデルの評価用データに基づく推論結果と評価用教師データとを特徴量ごとに比較することができるので、機械学習モデルの特性を特徴量ごとに得意な事例、及び不得意な事例を可視化することができる。

【0089】

さらに、上記した本実施形態によれば、分析方法は選択されたデータセットに合わせて適宜選択することができるので、データセットの特徴を表した特徴量に適した分析方法を選択することができる。

【0090】

なお、本開示は上記した実施形態に係る機械学習モデル特性可視化装置１０、機械学習モデル特性可視化方法、及び機械学習モデル特性可視化プログラムに限定されるものではなく、特許請求の範囲に記載した本開示の要旨を逸脱しない限りにおいて、その他種々の変形例、若しくは応用例により実施可能である。

【符号の説明】

【0091】

１ 教師データ
２ 特徴量で分解
３ 評価・統計・可視化
１０ 機械学習モデル特性可視化装置
１０ａ 通信インターフェース
１０ｂ Read Only Memory（ＲＯＭ）、
１０ｃ Random Access Memory（ＲＡＭ）
１０ｄ 記憶部
１０ｅ Central Processing Unit（ＣＰＵ）
１０ｆ データベース部
１０ｇ 入出力インターフェース
１０ｈ 入力装置
１０ｉ 出力装置
１１ ネットワーク
２０ 第１データ取得部
２１ 第１格納部
２２ 第２データ取得部
２３ 特徴量生成部
２４ 第２格納部
２５ 第３データ取得部
２６ 比較特徴量生成部
２７ 第３格納部
２８ 第４格納部
２９ 第５格納部
３０ 比較評価部
３２ 第６格納部
３３ 入力データ決定部
３４ 分析方法決定部
３５ 分析実行部
３６ 分析結果表示部
４０ 学習用データ
４１ 評価用データ
４２ 特徴量生成
４３ 特徴量データ
４４ アノテーション（タグ付け）
４５ アノテーションデータ（教師データ）
４６ 機械学習モデルの学習
４７ 学習済み機械学習モデル
４８ 推論結果
４９ アノテーション（タグ付け）
５０ アノテーションデータ（教師データ）
５１ 特徴量生成処理
５２ 特徴量データ
５３ 比較特徴量生成処理
５４ 比較特徴量データ
５５ 比較評価処理
５６ 比較結果
５８ データセット選択処理
５９ 分析方法選択処理
６０ 分析処理
６１ 表示処理
６２ 表示情報

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】