特開 2022-162454 評価装置、評価方法、およびプログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2022162454

(43)【公開日】2022-10-24

(54)【発明の名称】評価装置、評価方法、およびプログラム

(51)【国際特許分類】

   G06N 20/00 20190101AFI20221017BHJP

【ＦＩ】

G06N20/00

【審査請求】未請求

【請求項の数】14

【出願形態】ＯＬ

(21)【出願番号】P 2021067322

(22)【出願日】2021-04-12

(71)【出願人】

【識別番号】000003078

【氏名又は名称】株式会社東芝

(71)【出願人】

【識別番号】301063496

【氏名又は名称】東芝デジタルソリューションズ株式会社

(74)【代理人】

【識別番号】110001634

【氏名又は名称】弁理士法人志賀国際特許事務所

(72)【発明者】

【氏名】仲 義行

(72)【発明者】

【氏名】大平 英貴

(72)【発明者】

【氏名】高橋 信太郎

(72)【発明者】

【氏名】櫻田 招宏

(72)【発明者】

【氏名】長 健太

(57)【要約】

【課題】複数の観点での学習モデルの評価を包括的に行うことが可能な評価装置、評価方法、およびプログラムを提供することである。
【解決手段】実施形態の評価装置は、取得部と、第１評価部と、第２評価部と、表示制御部とを持つ。取得部は、評価対象の学習モデルおよび評価データを取得する。第１評価部は、前記学習モデルに前記評価データを入力することで得られる出力データに基づいて、前記学習モデルの機能面の品質を評価する。第２評価部は、前記出力データに基づいて、前記学習モデルの非機能面の品質を評価する。表示制御部は、前記第１評価部による第１評価結果および前記第２評価部による第２評価結果を含む評価結果画面を、表示装置に表示させるように出力する。
【選択図】図１

【特許請求の範囲】

【請求項1】

評価対象の学習モデルおよび評価データを取得する取得部と、
前記学習モデルに前記評価データを入力することで得られる出力データに基づいて、前記学習モデルの機能面の品質を評価する第１評価部と、
前記出力データに基づいて、前記学習モデルの非機能面の品質を評価する第２評価部と、
前記第１評価部による第１評価結果および前記第２評価部による第２評価結果を含む評価結果画面を表示装置に表示させるように出力する表示制御部と、
を備える評価装置。

【請求項2】

前記第１評価部は、前記機能面の品質を示す第１指標値を算出し、
前記第２評価部は、前記非機能面の品質を示す少なくとも１つの第２指標値を算出し、
前記表示制御部は、前記第１指標値および前記第２指標値を含む前記評価結果画面を、前記表示装置に表示させる、
請求項１に記載の評価装置。

【請求項3】

前記評価結果画面は、前記第１指標値および前記第２指標値のうち、少なくとも１つの指標値のユーザによる指定を受け付ける第１受付部を備え、
前記評価装置は、
前記第１受付部により受け付けられた前記指標値の指定に基づいて、前記学習モデルの学習方針を決定する学習方針決定部と、
決定された前記学習方針に基づく学習の実行指示を出力する指示出力部と、
をさらに備える、
請求項２に記載の評価装置。

【請求項4】

前記第１受付部は、学習処理により品質の向上が不可能な指標値については前記ユーザによる指定を受け付けない、
請求項３に記載の評価装置。

【請求項5】

前記取得部は、評価対象の複数の学習モデルを取得し、
前記第１評価部は、前記複数の学習モデルの各々に前記評価データを入力することで得られる複数の出力データに基づいて、前記複数の学習モデルの各々の機能面の品質を評価し、
前記第２評価部は、前記複数の出力データに基づいて、前記複数の学習モデルの各々の非機能面の品質を評価し、
前記表示制御部は、前記複数の学習モデルの評価結果が重畳された前記評価結果画面を、前記表示装置に表示させる、
請求項１から４の何れか一項に記載の評価装置。

【請求項6】

前記評価結果画面は、前記複数の学習モデルのうち、運用に利用する学習モデルのユーザによる指定を受け付ける第２受付部を備え、
前記評価装置は、前記第２受付部により受け付けられた前記学習モデルの指定に基づいて、指定された前記学習モデルを用いた運用の実行指示を出力する指示出力部をさらに備える、
請求項５に記載の評価装置。

【請求項7】

前記第２評価部は、
前記評価データに対して、人が知覚可能な第１ノイズを付与して第１拡張データを生成し、
前記第１拡張データを前記学習モデルに入力することで得られる出力データに基づいて、前記第１ノイズに対する耐性を評価する、
請求項１から６の何れか一項に記載の評価装置。

【請求項8】

前記第２評価部は、
前記評価データに対して、人が知覚不可能な第２ノイズを付与して第２拡張データを生成し、
前記第２拡張データを前記学習モデルに入力することで得られる出力データに基づいて、前記第２ノイズに対する耐性を評価する、
請求項７に記載の評価装置。

【請求項9】

前記第２評価部は、前記出力データに基づいて算出される多軸で表される指標値を、１軸で表される前記第２指標値に変換する、
請求項２に記載の評価装置。

【請求項10】

前記表示制御部は、前記学習モデルの学習時に用いた第１評価データを用いた評価結果と、前記学習モデルの比較評価時に準備された前記第１評価データとは異なる第２評価データを用いた評価結果とを比較可能に表示する前記評価結果画面を、前記表示装置に表示させる、
請求項１から９の何れか一項に記載の評価装置。

【請求項11】

前記学習モデルの評価結果が所定の閾値を下回った場合に、前記学習モデルの再学習を促す通知を行う通知部をさらに備える、
請求項１から１０の何れか一項に記載の評価装置。

【請求項12】

前記表示装置をさらに備える、
請求項１から１１の何れか一項に記載の評価装置。

【請求項13】

コンピュータが、
評価対象の学習モデルおよび評価データを取得し、
前記学習モデルに前記評価データを入力することで得られる出力データに基づいて、前記学習モデルの機能面の品質を評価し、
前記出力データに基づいて、前記学習モデルの非機能面の品質を評価し、
前記学習モデルの機能面の第１評価結果および前記学習モデルの非機能面の第２評価結果を含む評価結果画面を、表示装置に表示させるように出力する、
評価方法。

【請求項14】

コンピュータに、
評価対象の学習モデルおよび評価データを取得させ、
前記学習モデルに前記評価データを入力することで得られる出力データに基づいて、前記学習モデルの機能面の品質を評価させ、
前記出力データに基づいて、前記学習モデルの非機能面の品質を評価させ、
前記学習モデルの機能面の第１評価結果および前記学習モデルの非機能面の第２評価結果を含む評価結果画面を、表示装置に表示させるように出力させる、
プログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明の実施形態は、評価装置、評価方法、およびプログラムに関する。

【背景技術】

【0002】

近年、様々な産業分野において、ディープラーニングなどの機械学習により生成されたモデルを利用した製品およびサービスの開発が進められている。これに伴い、生成されたモデルの品質を評価する手法についての研究も進められている。

【先行技術文献】

【特許文献】

【0003】

【特許文献1】特開２０１８－８１４４２号公報

【特許文献2】特開２０２０－１４０３６５号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

上記のような機械学習により生成されるモデルに要求される品質は、その利用分野、利用状況などによって変化する。このため、モデルの品質を担保するためには様々な観点での評価が必要となる。例えば、モデルの精度についての評価や、入力データに混入する可能性のあるノイズに対する耐性についての評価などの複数の評価が必要となる。しかしながら、従来の評価手法では、このような様々な観点での評価が個別に行われているため、評価の実施者は複数の評価結果を個別に確認する必要があった。

【0005】

また、通常、機械学習により生成されるモデルは評価基準を満たすために、繰り返し学習処理が行われる。また、運用環境の変化などに適応するために、再学習処理が行われてモデルの更新が行われることもある。このような学習処理の進め方、学習データの選別方法、生成された複数のモデルの中から最適なモデルを選択する方法なども評価の観点に加わるため、様々な観点での評価を包括的に行うことができる評価手法が求められていた。

【0006】

本発明が解決しようとする課題は、複数の観点での学習モデルの評価を包括的に行うことが可能な評価装置、評価方法、およびプログラムを提供することである。

【課題を解決するための手段】

【0007】

実施形態の評価装置は、取得部と、第１評価部と、第２評価部と、表示制御部とを持つ。取得部は、評価対象の学習モデルおよび評価データを取得する。第１評価部は、前記学習モデルに前記評価データを入力することで得られる出力データに基づいて、前記学習モデルの機能面の品質を評価する。第２評価部は、前記出力データに基づいて、前記学習モデルの非機能面の品質を評価する。表示制御部は、前記第１評価部による第１評価結果および前記第２評価部による第２評価結果を含む評価結果画面を、表示装置に表示させるように出力する。

【図面の簡単な説明】

【0008】

【図1】第１の実施形態に係る評価装置１の機能構成の一例を示す機能ブロック図。

【図2】第１の実施形態に係る第２評価部１０５の詳細な機能構成の一例を示す機能ブロック図。

【図3】第１の実施形態に係る評価装置１による評価処理の流れの一例を示すフローチャート。

【図4】第１の実施形態に係る第２評価部１０５により算出された第１非機能指標値の一例を示す図。

【図5】第１の実施形態に係る第２評価部１０５により算出された第２非機能指標値の一例を示す図。

【図6】第１の実施形態に係る変換部２０５による変換処理の一例を説明する図。

【図7】第１の実施形態に係る評価結果画面の一例を示す図。

【図8】第１の実施形態に係る評価結果画面の他の例を示す図。

【図9】第２の実施形態に係る評価装置１による評価処理の流れの一例を示すフローチャート。

【図10】第２の実施形態に係る評価結果画面の一例を示す図。

【図11】第２の実施形態に係る評価装置１による再学習の実行処理の流れの一例を示すフローチャート。

【図12】第２の実施形態に係る評価装置１による運用の実行処理の流れの一例を示すフローチャート。

【図13】第３の実施形態に係る評価結果画面の一例を示す図。

【発明を実施するための形態】

【0009】

以下、実施形態の評価装置、評価方法、およびプログラムを、図面を参照して説明する。

【0010】

（第１の実施形態）
第１の実施形態の評価装置は、機械学習により生成された学習済みのモデル（以下、「学習モデル」と呼ぶ）の品質の評価を行う。評価装置１は、学習モデルの機能面の品質に関する評価に加えて、学習モデルの非機能面の品質の評価を行い、これらの様々な観点での評価結果を包括的に表示装置に表示させる。

【0011】

図１は、第１の実施形態に係る評価装置１の機能構成の一例を示す機能ブロック図である。図１においては、説明のため、評価装置１とネットワークＮを介して通信可能に接続される１以上の運用装置（学習装置）３も示している。

【0012】

運用装置３は、運用段階においては、学習モデルを用いて、所望の機能を実現する。運用装置３は、例えば、工場において各種検査を行う検査装置、車両やロボットなどの自動運転の制御を行う制御装置、各種画像の認識を行う画像認識装置などである。運用装置３は、学習モデルＭ、学習モデルＭの学習処理において使用された学習データＴＤ、学習モデルＭを用いた運用処理において取得および生成される運用データＯＤなどを記憶部に記憶している。一方、運用装置３は、学習段階においては、学習データＴＤを学習することにより学習モデルＭを生成する学習装置として動作する。教師あり学習の場合、学習データＴＤは、入力データと、この入力データに対する出力データ（正解データ）との組であるデータ（教師データ）を複数含む。教師なし学習の場合、学習データＴＤは、様々なパターンの入力データを複数含む。

【0013】

ネットワークＮは、例えば、ＷＡＮ（Wide Area Network）、ＬＡＮ（Local Area Network）、インターネット、専用回線などを含む。

【0014】

評価装置１は、例えば、制御部１０と、通信装置２０と、入力インターフェース３０と、表示装置４０と、記憶部５０とを備える。制御部１０は、例えば、取得部１０１と、第１評価部１０３と、第２評価部１０５と、表示制御部１０７と、学習方針決定部１０９と、指示出力部１１１と、通知部１１３とを備える。

【0015】

取得部１０１は、通信装置２０を介して、運用装置３から評価対象となる少なくとも１つの学習モデルＭを取得する。なお、取得部１０１は、入力インターフェース３０を介した評価装置１のユーザの操作に基づいて、学習モデルＭを取得してもよい。また、取得部１０１は、入力インターフェース３０を介して、学習モデルＭを評価するための評価データを取得する。評価データは、例えば、入力データと、この入力データに対する出力データ（正解データ）との組を複数含む。評価データは、学習データとは異なるデータである。また、取得部１０１は、記憶部５０に予め記憶された評価データＥＤを記憶部５０から読み出すことで、評価データを取得してもよい。或いは、取得部１０１は、通信装置２０を介して運用装置３から取得した運用データＯＤを、評価データとしてもよい。すなわち、取得部１０１は、評価対象の学習モデルおよび評価データを取得する。取得部１０１は、「取得部」の一例である。

【0016】

第１評価部１０３（以下、「第１指標値算出部」とも呼ぶ）は、学習モデルの機能面の品質を評価し、評価結果（以下、「第１評価結果ＥＲ１」と呼ぶ）を記憶部５０に記憶させる。機能面の品質には、機能の正確性であり、例えば、学習モデルの出力結果の精度（推論結果の正解率）が含まれる。例えば、第１評価部１０３は、評価データに含まれる入力データを学習モデルに入力することにより得られる出力結果と、評価データに含まれる出力データ（正解データ）とが一致するか否かに基づいて、学習モデルの精度を示す第１指標値を算出する。すなわち、第１評価部１０３は、学習モデルに評価データを入力することで得られる出力データに基づいて、学習モデルの機能面の品質を評価する。第１評価部１０３は、機能面の品質を示す第１指標値を算出する。第１評価部１０３は、「第１評価部」の一例である。

【0017】

第２評価部１０５は、学習モデルの非機能面の品質を評価し、評価結果（以下、「第２評価結果ＥＲ２」と呼ぶ）を記憶部５０に記憶させる。非機能面の品質には、上記の機能面の品質（機能の正確性）以外の様々な特性が含まれる。非機能面の品質には、例えば、頑健性、公平性、学習データの十分性、学習データの被覆性、学習データの均一性、再学習による互換性などの観点に基づく特性が含まれる。

【0018】

頑健性とは、入力データに何らかの変化があっても安定して性能を達成する特性である。頑健性とは、例えば、入力データが画像データであり、画像データにノイズが含まれる場合や、画像データに映り込む着目物体の向きや位置がずれる場合、画像の撮像時の照明条件やカメラ感度が変化する場合などにおいても、所望の性能を達成する程度を示す。

【0019】

公平性とは、利用者から見て偏りのない結果となる出力を達成する特性である。公平性とは、例えば、人種、社会的属性、性別などの推論結果が不適切なものとならず、所望の性能を達成する程度を示す。学習データの十分性とは、学習モデルの性能を担保する上で、学習処理に利用された学習データのデータ量の十分さの程度を示す。学習データの被覆性とは、学習処理に利用された学習データが運用上想定される入力データのパターンを網羅できていることの程度を示す。学習データの均一性とは、学習処理に利用された学習データのパターンに偏りがなく、均一であることの程度を示す。再学習による互換性とは、学習モデルに対して再学習を行った後も、再学習前と同様な性能を再現できることの程度を示す。

【0020】

図２は、第１の実施形態に係る第２評価部１０５の詳細な機能構成の一例を示す機能ブロック図である。第２評価部１０５は、例えば、データ拡張部２０１と、第２指標値算出部２０３と、変換部２０５とを備える。データ拡張部２０１は、評価データに変更を加えることで、非機能面の品質の評価に利用される拡張データを生成する。例えば、非機能面の品質として頑健性（ノイズ耐性）の評価が行われる場合、データ拡張部２０１は、評価データに含まれる入力データに対してノイズを付与することで、拡張データを生成する。

【0021】

ノイズには、例えば、人が知覚可能（目視可能）なノイズ（ホワイトノイズ）（以下、「第１ノイズ」と呼ぶ）と、人が知覚不可能（目視不可能）な敵対的摂動（以下、「第２ノイズ」と呼ぶ）とが含まれる。第１ノイズは、学習モデルを用いた運用時に偶発的に発生するノイズである。第１ノイズは、人が知覚可能な程度のノイズ量を有する。一方、第２ノイズは、学習モデルが持つ脆弱性を狙うために意図的に生成されたノイズである。第２ノイズは、人が知覚できない程度の微小なノイズ量を有する。データ拡張部２０１は、評価の目的に応じて、評価データに含まれる入力データに対して、第１ノイズまたは第２ノイズを付与し、拡張データを生成する。

【0022】

すなわち、変換部２０５は、評価データに対して、人が知覚可能な第１ノイズを付与して第１拡張データを生成する。また、変換部２０５は、評価データに対して、人が知覚不可能な第２ノイズを付与して第２拡張データを生成する。

【0023】

第２指標値算出部２０３は、学習モデルの非機能面の品質を示す少なくとも１つの指標値（以下、「非機能指標値」と呼ぶ）を算出する。非機能指標値は、例えば、上記の第１ノイズに対する耐性を示す第１非機能指標値と、上記の第２ノイズに対する耐性を示す第２非機能指標値などを含む。非機能指標値は、例えば、多軸の評価観点により表される。第２指標値算出部２０３の処理の詳細については後述する。非機能指標値は、「第２指標値」の一例である。

【0024】

変換部２０５は、第２指標値算出部２０３により算出された多軸の評価観点により表される非機能指標値を、１軸の指標値（評価値）に変換する。変換部２０５の処理の詳細については後述する。この１軸の指標値は、「第２指標値」の一例である。

【0025】

すなわち、第２評価部１０５は、学習モデルに評価データを入力することで得られる出力データに基づいて、学習モデルの非機能面の品質を評価する。第２評価部１０５は、非機能面の品質を示す少なくとも１つの第２指標値を算出する。第２評価部１０５は、第１拡張データを学習モデルに入力することで得られる出力データに基づいて、第１ノイズに対する耐性を評価する。第２評価部１０５は、第２拡張データを学習モデルに入力することで得られる出力データに基づいて、第２ノイズに対する耐性を評価する。第２評価部１０５は、出力データに基づいて算出される多軸で表される指標値を、１軸で表される第２指標値に変換する。第２評価部１０５は、「第２評価部」の一例である。

【0026】

図１に戻り、表示制御部１０７は、第１評価部１０３による第１評価結果ＥＲ１、第２評価部１０５による第２評価結果ＥＲ２などを、表示装置４０に表示させる。また、表示制御部１０７は、評価装置１のユーザからの各種指示を受け付けるためのＧＵＩ（Graphical User Interface）を、表示装置４０に表示させる。すなわち、表示制御部１０７は、第１評価部１０３による第１評価結果および第２評価部１０５による第２評価結果を含む評価結果画面を、表示装置４０に表示させるように出力する。表示制御部１０７は、第１指標値および第２指標値を含む評価結果画面を、表示装置４０に表示させる。表示制御部１０７は、「表示制御部」の一例である。

【0027】

学習方針決定部１０９は、入力インターフェース３０を介したユーザによる指示に基づいて、学習モデルＭの再学習の方針を決定する。学習方針決定部１０９の処理の詳細については後述する。学習方針決定部１０９は、「学習方針決定部」の一例である。

【0028】

指示出力部１１１は、学習方針決定部１０９により決定された再学習の方針に沿った学習処理の実行指示を、ネットワークＮを介して、運用装置３に出力する。運用装置３は、この学習処理の実行指示に基づいて、学習モデルＭの再学習を実行する。また、指示出力部１１１は、入力インターフェース３０を介したユーザによる指示に基づいて、指定された学習モデルを用いた運用処理の実行指示を、ネットワークＮを介して、運用装置３に出力する。運用装置３は、運用処理の実行指示に基づいて、指定された学習モデルを用いた運用処理を実行する。指示出力部１１１は、「指示出力部」の一例である。

【0029】

通知部１１３は、第１評価部１０３による第１評価結果ＥＲ１または第２評価部１０５による第２評価結果ＥＲ２が、再学習の必要と判定される所定の条件を満たした場合に、運用装置３の管理者などに再学習の必要性が生じたことを知らせる通知を行う。通知部１１３は、例えば、電子メールなどにより、上記の通知を行う。通知部１１３は、「通知部」の一例である。

【0030】

制御部１０の各機能部は、ＣＰＵ（Central Processing Unit）（コンピュータ）がプログラムを実行することによって、実現される。また、制御部１０の機能部一部または全部は、ＬＳＩ（Large Scale Integration）やＡＳＩＣ（Application Specific Integrated Circuit）、ＦＰＧＡ（Field-Programmable Gate Array）などのハードウェアによって実現されてもよいし、ソフトウェアとハードウェアが協働することにより実現されてもよい。プログラムは、予め記憶部５０（非一過性の記憶媒体を備える記憶装置）に格納されていてもよいし、ＤＶＤやＣＤ－ＲＯＭなどの着脱可能な記憶媒体（非一過性の記憶媒体）に格納されており、記憶媒体がドライブ装置に装着されることでインストールされてもよい。

【0031】

通信装置２０は、ネットワークＮを介して、１以上の運用装置３と通信する。通信装置２０は、例えば、ＮＩＣなどの通信インターフェースを含む。

【0032】

入力インターフェース３０は、評価装置１のユーザによる各種の入力操作を受け付け、受け付けた入力操作の内容を示す電気信号を制御部１０に出力する。入力インターフェース３０は、例えば、キーボード、マウス、タッチパネルなどにより実現される。

【0033】

表示装置４０は、各種の情報を表示する。例えば、表示装置４０は、評価結果画面、評価装置１のユーザによる各種操作を受け付けるＧＵＩなどを表示する。表示装置４０は、例えば、液晶ディスプレイ、有機ＥＬ（Electroluminescence）ディスプレイ、タッチパネルなどである。なお、表示装置４０は、評価装置１とは別体に設けられ、評価装置１と通信を行うことで、各種の情報を表示してもよい。また、表示装置４０は、タッチパネルにより実現される場合、上記の入力インターフェース３０の機能を兼ね備えるものであってよい。なお、表示装置４０は、必ずしも評価装置１内に設けられる必要はない。表示装置４０は、評価装置１と通信可能に接続されるものであってもよい。

【0034】

記憶部５０は、例えば、評価データＥＤ、第１評価結果ＥＲ１、第２評価結果ＥＲ２、閾値情報ＴＨなどを記憶する。記憶部５０は、ＨＤＤ（Hard Disk Drive）、ＲＡＭ（Random Access Memory）、フラッシュメモリなどの記憶装置である。

【0035】

次に、第１の実施形態の評価装置１の処理の一例について説明する。図３は、第１の実施形態に係る評価装置１による評価処理の流れの一例を示すフローチャートである。図３に示す処理は、例えば、評価装置１のユーザが、入力インターフェース３０を操作して、評価処理の開始を指示した場合に開始される。

【0036】

まず、取得部１０１は、評価対象となる１つの学習モデルＭおよび評価データＥＤを取得する（ステップＳ１０１）。例えば、取得部１０１は、ネットワークＮを介して、運用装置３から、学習モデルＭを取得する。また、取得部１０１は、入力インターフェース３０を介して、学習モデルＭを評価するための評価データを取得する。

【0037】

次に、第１評価部１０３は、学習モデルＭの機能面の品質を評価して、第１評価結果ＥＲ１を生成し、記憶部５０に記憶させる（ステップＳ１０３）。例えば、第１評価部１０３は、評価データＥＤを用いて、学習モデルＭの出力結果の精度（正解率）を算出する。

【0038】

次に、第２評価部１０５のデータ拡張部２０１は、評価データＥＤに変更を加えることで評価データＥＤを拡張し、拡張データを生成する（ステップＳ１０５）。例えば、データ拡張部２０１は、評価データＥＤの入力データに対して第１ノイズを付与し、第１拡張データを生成する。また、データ拡張部２０１は、評価データＥＤの入力データに対して第２ノイズを付与し、第２拡張データを生成する。

【0039】

次に、第２評価部１０５の第２指標値算出部２０３は、学習モデルＭの非機能面の品質を評価して、非機能指標値を算出する（ステップＳ１０７）。例えば、第２指標値算出部２０３は、第１ノイズに対する耐性を示す第１非機能指標値、および第２ノイズに対する耐性を示す第２非機能指標値を算出する。

【0040】

第１非機能指標値を算出処理において、第２指標値算出部２０３は、ＲＳ（Randomized Smoothing）を用いて推論結果を保つノイズの大きさを算出し、算出した値をＰＳＮＲ（Peak signal-to-noise ratio，単位はデシベル（ｄＢ））で定量指標化する。

【0041】

ＲＳとは、学習モデルの推論結果が変化するノイズの理論的な最小値を、ノイズを加えた際に出力される推論結果（画像分類問題であれば，どのラベルが出力されるか）の期待値を使って算出する手法である。第２指標値算出部２０３は、例えば、第１ノイズによって変化する推論結果の期待値をＲＳに適用して、推論結果が５０％の確率で変化する第１ノイズの大きさを算出する。算出した第１ノイズは、期待値が最も高い推論結果が２番目に期待値が高い推論結果に変化する最小値である。この最小値より小さい第１ノイズであれば期待値が最も高い推論結果は変わらないことが保証されるため、このノイズの値を基に第１ノイズに対する耐性の評価が可能になる。

【0042】

ＰＳＮＲは、信号が取り得る最大パワーに対するノイズの比率を示すものであり、非可逆な画像圧縮での画質劣化の指標としても利用されている。ＰＳＮＲは、ノイズがゼロで無限大となり、ノイズが大きいほど小さい値となる。ＰＳＮＲは、人間の主観画質とは必ずしも一致しないが、概ね４０ｄＢ以下になると、劣化が知覚されるようになる。推論結果が変化する第１ノイズの最小値をＰＳＮＲで表現することで、ノイズ耐性の目標値を定量的にわかりやすく設定することが可能になる。

【0043】

図４は、第１の実施形態に係る第２評価部１０５により算出された第１非機能指標値の一例を示す図である。第１非機能指標値は、横軸にＰＳＮＲ（Peak signal-to-noise ratio，単位はデシベル（ｄＢ））と、縦軸に結果が変わらないデータ数の割合（すなわち、ＰＳＮＲ値の大きさの第１ノイズを付加しても推論結果が変わらないデータ数の割合）と、の２軸で表されている。図４は、モデルＡ、モデルＢ、モデルＣの３つの学習モデルについてのノイズ耐性の比較結果を示す。モデルＡは、無加工の学習データを用いて生成された。モデルＢは、学習データに対してホワイトノイズを加えることで、水増ししたデータを用いて生成された。モデルＣは、モデルＢよりもホワイトノイズを大きくしてモデルＢと同様に生成された。学習条件は３つのモデルとも同一である。

【0044】

図４は、これらの３つのモデルについて、テストデータに対してＲＳで算出したノイズの最小値をＰＳＮＲで指標化し、ノイズ耐性を測定したグラフを示す。ここでは、推論結果の正解／不正解ではなく、ノイズによって推論結果に変化あり／変化なしの変化を判定することで、ノイズ耐性が評価される。この場合、小さいＰＳＮＲでも推論結果が変わらないデータが多い学習モデルほど、ノイズ耐性が高いことになる。図４においては，モデルＣのノイズ耐性が最も高いことがわかる。また、人が知覚可能なノイズの大きさのＰＳＮＲ値を参照して、例えば「７０％以上のデータが４０ｄＢ以上のノイズに耐性があることを目標値にする」など、目標値を設定して評価することが可能となる。

【0045】

一方、第２非機能指標値を算出処理において、第２指標値算出部２０３は、第２ノイズを検知するように学習された検知器を使いて、第２非機能指標値を算出する。第２ノイズ（敵対的摂動）は人が知覚できないほど微小であるため、その大きさが実感しにくく、第１ノイズ（偶発的なノイズ）のようにノイズ量の大きさによる妥当な基準値を設けることが難しい。そのため、第２ノイズに対しては、大きさを人がイメージしやすい他の指標が必要である。そこで、第２指標値算出部２０３は、第２ノイズを検知するように学習した検知器を使い、第２ノイズを加えたデータ（以下、「敵対的データ」と呼ぶ）を含むデータセットに対して、検知器が第２ノイズを検知する割合（以下、「検知率」と呼ぶ）を測定する。検知率は、いわば学習モデルにとってのノイズの見分けやすさであり、これをノイズの大きさの指標とすることで、より人にわかりやすい目標値を設定できるようにした。例えば、検知率が高い摂動は、学習モデルにとっては見分けやすい大きな摂動となる。

【0046】

図５は、第１の実施形態に係る第２評価部１０５により算出された第２非機能指標値の一例を示す図である。図５は、モデルＤおよびモデルＥの２つの学習モデルについてのノイズ耐性の比較結果を示す。モデルＤは、無加工の学習データを学習することで生成された。モデルＥは、モデルＤの学習データに、学習データから生成された敵対的データを加えたデータを、モデルＤと同じ学習条件で学習することで生成された。モデルＥは、モデルＤよりもノイズ耐性を向上させたモデルである。敵対的データの生成手法にはＦＧＭ（Ｆａｓｔ Ｇｒａｄｉｅｎｔ Ｍｅｔｈｏｄ）が用いられた。図５は、このようなモデルＤおよびモデルＥの検知器を生成して、テストデータから生成された敵対的データと、無加工のテストデータとに対する検知率を、敵対的摂動（第２ノイズ）の大きさを変えながら測定した測定結果を示す。

【0047】

図５の第２非機能指標値は、横軸に敵対的データに対する検知器の検知率と、縦軸に敵対的データに対する学習モデルの精度との２軸で表されている。図５のｅｐｓはＦＧＭに使用される入力パラメータの１つで、生成する摂動の大きさに乗じる値であり、摂動の大きさを調整するために用いる。そのためｅｐｓを大きくすると、摂動が大きくなる。図５の結果から、第２ノイズの大きさと検知率との相関が確認でき、検知率を摂動の大きさを表す指標として使用できることが確認できる。検知率と摂動の大きさとの相関から、検知率が高いノイズに対しても精度が高い学習モデルが、ノイズ耐性が高いモデルになる。図５では、モデルＥがモデルＤよりもノイズ耐性が高いと相対評価できる。摂動の大きさを検知率で示すことで、例えば「検知率が０．８以下となる大きさの第２ノイズに対しては、モデルの精度が７０％以上となること」など、定量的かつ人がイメージしやすい目標値を設定して、各々のモデルを評価することが可能となる。

【0048】

次に、第２評価部１０５の変換部２０５は、第２指標値算出部２０３により算出された非機能指標値を、１軸の指標値に変換する（ステップＳ１０９）。図６は、第１の実施形態に係る変換部２０５による変換処理の一例を説明する図である。図６の（ａ）は、図４に示す２軸で表されている第１非機能指標値を、１軸の指標値に変換する変換処理の一例を説明する図である。この例では、評価を行うための横軸（ＰＳＮＲ）の目標値（範囲）として下限目標値ＬＸ１および上限目標値ＬＸ２が設定され、この目標値（範囲）におけるグラフカーブの下の面積Ａ（すなわち、下限目標値ＬＸ１、上限目標値ＬＸ２、Ｘ軸、およびグラフカーブで囲まれる面積Ａ）を算出して、１軸の指標値とする。

【0049】

あるいは、図６の（ｂ）に示すように、縦軸（結果が変わらないデータ数の割合）の目標値として目標値ＬＹ１を設定し、基準となる面積Ｂ（すなわち、下限目標値ＬＸ１、上限目標値ＬＸ２、目標値ＬＹ１、およびＸ軸で囲まれる面積Ｂ）を算出して、Ａ／Ｂを評価値として算出してもよい。例えば、Ａ⊇Ｂかつ評価値＞1であれば、目標を満たしているといえる。

【0050】

次に、表示制御部１０７は、第１評価部１０３による第１評価結果ＥＲ１、第２評価部１０５による第２評価結果ＥＲ２などを含む評価結果画面を生成する（ステップＳ１１１）。次に、表示制御部１０７は、生成した評価結果画面を、表示装置４０に表示させる（ステップＳ１１３）。

【0051】

図７は、第１の実施形態に係る評価結果画面の一例を示す図である、図７に示す評価結果画面Ｐ１においては、第１評価部１０３による第１評価結果ＥＲ１に含まれる学習モデルＭの精度と、第２評価部１０５による第２評価結果ＥＲ２に含まれる第１非機能指標値に基づく１軸の指標値と、第２評価部１０５による第２評価結果に含まれる第２非機能指標値に基づく１軸の指標値と、を含む３つの観点での評価結果がレーダーチャートで表されている。評価装置１のユーザは、このような複数の観点での評価結果を含む評価結果画面を確認することで、学習モデルの評価を様々な観点から行うことができる。

【0052】

図８は、第１の実施形態に係る評価結果画面の他の例を示す図である、図８に示す評価結果画面Ｐ２においては、第１評価部１０３による第１評価結果ＥＲ１に含まれる学習モデルＭの精度と、第２評価部１０５による第２評価結果ＥＲ２に含まれる４つの非機能指標値に基づく４つの指標値と、を含む計５つの観点の評価結果がレーダーチャートで表されている。評価装置１のユーザは、このような複数の観点での評価結果を含む評価結果画面を確認することで、学習モデルの評価を様々な観点から行うことができる。

【0053】

なお、評価結果画面に示される評価結果の数は、２種以上であれば任意である。例えば、評価結果画面において、第１評価結果に含まれる学習モデルＭの機能面の１つの評価結果と、第２評価結果に含まれる非機能面の１つの評価結果とが、２軸グラフ上で表されてもよい。また、例えば、評価結果画面において、第１評価結果に含まれる学習モデルＭの機能面の１つの評価結果と、第２評価結果に含まれる非機能面の３つあるいは５つ以上の評価結果とが、レーダーチャートで表されてもよい。また、結果の表示のやり方は、グラフ表示、レーダーチャート表示に限定されず、複数の評価結果を比較可能に表示するものであれば任意である。以上により、本フローチャートの処理が完了する。

【0054】

以上のように構成された第１の実施形態の評価装置１によれば、複数の観点での学習モデルの評価を包括的に行うことが可能となる。

【0055】

（第２の実施形態）
次に、第２の実施形態について説明する。第１の実施形態と比較して、第２の実施形態の評価装置１は、評価対象として複数の学習モデルを取得し、これら複数の学習モデルに対する評価を行う点が異なる。このため、以下において、第１の実施形態との相違点を中心に説明し、第１の実施形態と共通する点については説明を省略する。第２の実施形態の説明において、第１の実施形態と同じ部分については同一符号を付して説明する。

【0056】

図９は、第２の実施形態に係る評価装置１による評価処理の流れの一例を示すフローチャートである。図９に示す処理は、例えば、評価装置１のユーザが、入力インターフェース３０を操作して、評価処理の開始を指示した場合に開始される。

【0057】

まず、取得部１０１は、評価対象となる複数の学習モデルＭおよび１つの評価データＥＤを取得する（ステップＳ２０１）。例えば、取得部１０１は、ネットワークＮを介して、運用装置３から、複数の学習モデルＭを取得する。これらの複数の学習モデルは、互いに異なる学習データを用いて生成されたモデル、或いは、互いに異なる学習方法で生成されたモデルである。また、取得部１０１は、入力インターフェース３０を介して、学習モデルＭを評価するための評価データを取得する。

【0058】

次に、第１評価部１０３は、複数の学習モデルＭの各々の機能面の品質を評価して、第１評価結果ＥＲ１を生成し、記憶部５０に記憶させる（ステップＳ２０３）。例えば、第１評価部１０３は、評価データＥＤを用いて、複数の学習モデルＭの各々の出力結果の精度（正解率）を算出する。すなわち、第１評価部１０３は、複数の学習モデルの各々に評価データを入力することで得られる複数の出力データに基づいて、複数の学習モデルの各々の機能面の品質を評価する。

【0059】

次に、第２評価部１０５のデータ拡張部２０１は、評価データＥＤに変更を加えることで評価データＥＤを拡張し、拡張データを生成する（ステップＳ２０５）。例えば、データ拡張部２０１は、評価データＥＤの入力データに対して第１ノイズを付与し、第１拡張データを生成する。また、データ拡張部２０１は、評価データＥＤの入力データに対して第２ノイズを付与し、第２拡張データを生成する。

【0060】

次に、第２評価部１０５の第２指標値算出部２０３は、学習モデルＭの各々の非機能面の品質を評価して、非機能指標値を算出する（ステップＳ２０７）。例えば、第２指標値算出部２０３は、第１ノイズに対する耐性を示す第１非機能指標値、および、第２ノイズに対する耐性を示す第２非機能指標値を算出する。

【0061】

次に、第２評価部１０５の変換部２０５は、第２指標値算出部２０３により算出された学習モデルＭの各々の非機能指標値を、１軸の指標値に変換する（ステップＳ２０９）。すなわち、第２評価部１０５は、複数の学習モデルの各々に評価データを入力することで得られる複数の出力データに基づいて、複数の学習モデルの各々の非機能面の品質を評価する。

【0062】

次に、表示制御部１０７は、第１評価部１０３による第１評価結果ＥＲ１、第２評価部１０５による第２評価結果ＥＲ２などを含む評価結果画面を生成する（ステップＳ２１１）。次に、表示制御部１０７は、生成した評価結果画面を、表示装置４０に表示させる（ステップＳ２１３）。

【0063】

図１０は、第２の実施形態に係る評価結果画面の一例を示す図である、図１０に示す評価結果画面Ｐ３においては、第１学習モデルＭ１、第２学習モデルＭ２、および第３学習モデルＭ３の３つの学習モデルの各々について、第１評価部１０３による第１評価結果ＥＲ１に含まれる学習モデルの精度と、第２評価部１０５による第２評価結果ＥＲ２に含まれる４つの非機能指標値に基づく４つの指標値と、を含む計５つの観点の評価結果がレーダーチャートで表されている。この評価結果画面Ｐ３においては、３つの評価モデルの各々の評価結果が重畳して表示されている。すなわち、表示制御部１０７は、複数の学習モデルの評価結果が重畳された評価結果画面を、表示装置４０に表示させる。また、評価結果画面Ｐ３においては、評価結果の一部または全部の詳細を表示する領域ＡＲ１が設けられている。３つの学習モデルのうち、入力インターフェース３０に含まれるマウスを介したユーザの操作に基づいて選択された学習モデル（例えば、複数の学習モデルのレーダーチャートのうちクリックされた学習モデル）の詳細が、領域ＡＲ１に表示されるようにしてもよい。評価装置１のユーザは、このような複数の評価結果を含む評価結果画面を確認することで、学習モデルの評価を様々な観点から行うことができる。以上により、本フローチャートの処理が完了する。

【0064】

また、図１０に示す評価結果画面Ｐ３には、複数の学習モデルの中から、特定の１つの学習モデルを選択して、選択した学習モデルの再学習の実行を指示するための機能が含まれている。以下、この再学習の実行を指示するための処理について説明する。図１１は、第２の実施形態に係る評価装置１による再学習の実行処理の流れの一例を示すフローチャートである。

【0065】

取得部１０１は、評価装置１のユーザによる入力インターフェース３０を介した操作指示に基づいて、再学習の対象とする学習モデルの選択指示を受け付ける（ステップＳ３０１）。例えば、評価装置１のユーザは、入力インターフェース３０に含まれるマウスを操作して、評価結果画面Ｐ３に表示された複数の学習モデルのレーダーチャートの何れか１つをクリック（押下）（矢印ＣＬ）することで、再学習の対象とする学習モデルを指示することができる。或いは、ユーザは、入力インターフェース３０に含まれるマウスを操作して、評価結果画面Ｐ３の領域ＡＲ２に表示されたモデルの選択ボタンをクリック（押下）することで、再学習の対象とする学習モデルを指示することができる。

【0066】

次に、取得部１０１は、評価装置１のユーザによる入力インターフェース３０を介した操作指示に基づいて、指標の選択指示を受け付ける（ステップＳ３０３）。例えば、評価装置１のユーザは、入力インターフェース３０に含まれるマウスを操作して、評価結果画面Ｐ３において指標値の各々と関連付けして表示されたラジオボタンＲＢ０、ＲＢ１、ＲＢ３、およびＲＢ４の何れかを選択することで、再学習時に高めたい指標を選択することができる。なお、この例では、第２非機能指標値については、その特性上、再学習により高めることが可能ではない指標値であるため、ラジオボタンが表示されていない。なお、ラジオボタンに限られず、例えば、評価結果画面Ｐ３において指標値の各々と関連付けしてチェックボックスを表示することで、学習により高めることを希望する指標値を複数個選択できるようにしてもよい。なお、複数個の指標値を選択できる場合であっても、同時に高めることができない指標の組み合あわせについては、選択不可能となるようにしてよい。例えば、データの被覆性に係る指標値と、データの均一性に係る指標値とは相反する指標であるため、この組み合あわせについては、選択不可能となるようにしてよい。

【0067】

次に、取得部１０１は、評価装置１のユーザによる入力インターフェース３０を介した操作指示に基づいて、学習の実行指示を受け付ける（ステップＳ３０５）。例えば、評価装置１のユーザは、入力インターフェース３０に含まれるマウスを操作して、評価結果画面Ｐ３に表示された「指定のモデルをベースに再学習」ボタンＢＴ２をクリック（押下）することで、再学習の実行を指示することができる。学習方針決定部１０９は、上記のように受け付けた学習モデルの選択指示、指標の選択指示、および学習の実行指示に基づいて、学習方針を決定する。

【0068】

次に、指示出力部１１１は、学習方針決定部１０９により決定された学習方針に基づく学習の実行指示を、ネットワークＮを介して、運用装置３に出力する（ステップＳ３０７）。運用装置３は、この学習処理の実行指示に基づいて、学習モデルＭの再学習を実行する。

【0069】

すなわち、評価結果画面Ｐ３は、第１指標値および第２指標値のうち、少なくとも１つの指標値のユーザによる指定を受け付ける第１受付部を備える。評価結果画面Ｐ３に表示された選択可能な複数の学習モデルのレーダーチャート、領域ＡＲ２に表示されたモデルの選択ボタン、およびは、評価結果画面Ｐ３に表示された「指定のモデルをベースに再学習」ボタンＢＴ２は、「第１受付部」の一例である。また、学習方針決定部１０９は、第１受付部により受け付けられた指標値の指定に基づいて、学習モデルの学習方針を決定する。また、指示出力部１１１は、決定された学習方針に基づく学習の実行指示を出力する。また、第１受付部は、学習処理により品質の向上が不可能な指標値についてはユーザによる指定を受け付けない。

【0070】

また、図１０に示す評価結果画面Ｐ３には、複数の学習モデルの中から、特定の１つの学習モデルを選択して、選択された学習モデルを用いた運用の実行を指示するための機能が含まれている。以下、この運用の実行を指示するための処理について説明する。図１２は、第２の実施形態に係る評価装置１による運用の実行処理の流れの一例を示すフローチャートである。

【0071】

取得部１０１は、評価装置１のユーザによる入力インターフェース３０を介した操作指示に基づいて、運用に利用することを希望する学習モデルの選択指示を受け付ける（ステップＳ４０１）。例えば、評価装置１のユーザは、入力インターフェース３０に含まれるマウスを操作して、評価結果画面Ｐ３に表示された複数の学習モデルのレーダーチャートの何れか１つをクリック（押下）（矢印ＣＬ）することで、運用に利用することを希望する学習モデルを指示することができる。或いは、ユーザは、入力インターフェース３０に含まれるマウスを操作して、評価結果画面Ｐ３の領域ＡＲ２に表示されたモデルの選択ボタンをクリック（押下）することで、運用に利用することを希望する学習モデルを指示してもよい。

【0072】

次に、指示出力部１１１は、取得部１０１により受け付けられた選択指示に基づく学習モデルを用いた運用の実行指示を、ネットワークＮを介して、運用装置３に出力する（ステップＳ４０３）。例えば、評価装置１のユーザは、入力インターフェース３０に含まれるマウスを操作して、評価結果画面Ｐ３に表示された「指定のモデルを運用で使用する」ボタンＢＴ１をクリック（押下）することで、運用の実行指示を行うことができる。運用装置３は、この運用の実行指示に基づいて、指定された学習モデルを用いた運用を開始する。

【0073】

すなわち、評価結果画面Ｐ３は、複数の学習モデルのうち、運用に利用する学習モデルのユーザによる指定を受け付ける第２受付部を備える。評価結果画面Ｐ３に表示された選択可能な複数の学習モデルのレーダーチャート、領域ＡＲ２に表示されたモデルの選択ボタン、評価結果画面Ｐ３に表示された「指定のモデルを運用で使用する」ボタンＢＴ１は、「第２受付部」の一例である。指示出力部１１１は、第２受付部により受け付けられた学習モデルの指定に基づいて、指定された学習モデルを用いた運用の実行指示を出力する。

【0074】

以上のように構成された第２の実施形態の評価装置１によれば、複数の観点での学習モデルの評価を包括的に行うことが可能となる。また、複数の学習モデルの評価を比較可能に行うことが可能となる。さらに、学習モデルの再学習の実行指示や、指定された学習モデルを用いた運用の実行指示を可能とすることで、学習モデルの評価から、学習モデルの再学習或いは運用に利用する学習モデルの変更までを行うことが可能となり、ユーザの利便性をさらに向上させることが可能となる。

【0075】

（第３の実施形態）
次に、第３の実施形態について説明する。第１の実施形態と比較して、第３の実施形態の評価装置１は、学習時の評価データと、比較用の評価データとの２種類の評価データを用いて学習モデルに対する評価を行う点が異なる。このため、以下において、第１の実施形態との相違点を中心に説明し、第１の実施形態と共通する点については説明を省略する。第３の実施形態の説明において、第１の実施形態と同じ部分については同一符号を付して説明する。

【0076】

図１３は、第３の実施形態に係る評価結果画面の一例を示す図である、図１３に示す評価結果画面Ｐ４は、１つの学習モデルＭと、学習時の評価データＥＤ１と、比較評価データＥＤ２と、を入力データとして用いることで生成される。学習時の評価データＥＤ１は、学習モデルＭの生成時に使用された評価データである。比較評価データＥＤ２は、比較用に別途準備された、学習時の評価データＥＤ１とは異なるデータである。比較評価データＥＤ２は、例えば、運用装置３において運用が進むにつれて変化した事象が考慮されたデータである。比較評価データＥＤ２は、例えば、直近の運用処理において実際に利用された学習モデルＭへの入力データなどである。

【0077】

図１３に示す評価結果画面Ｐ４においては、学習モデルＭについて、学習時の評価データＥＤ１を用いた評価結果と、比較評価データＥＤ２を用いた評価結果とがレーダーチャートで重畳して表示されている。また、評価結果画面Ｐ４においては、評価結果の一部または全部の詳細を表示する領域ＡＲ３が設けられている。この領域ＡＲ３には、各評価結果の時間遷移による状況が表示される。また、評価結果画面Ｐ４においては、領域ＡＲ３に表示させる評価結果の選択指示を受け付けるための領域ＡＲ４が設けられている。例えば、評価装置１のユーザは、入力インターフェース３０に含まれるマウスを操作して、評価結果画面Ｐ４の領域ＡＲ４に表示された評価データを選択するための選択ボタンをクリック（押下）することで、領域ＡＲ３に表示させる評価結果を選択することができる。或いは、評価装置１のユーザは、入力インターフェース３０に含まれるマウスを操作して、評価結果画面Ｐ４に表示された評価結果のレーダーチャートの何れか１つをクリック（押下）することで、領域ＡＲ３に表示させる評価結果を選択することできる。また、評価結果画面Ｐ４において、記憶部５０に予め記憶された指標値ごとの閾値（基準線）を表示するようにしてもよい。評価装置１のユーザは、このような複数の評価結果を含む評価結果画面を確認することで、学習モデルの評価を様々な観点から行うことができる。

【0078】

すなわち、表示制御部１０７は、学習モデルの学習時に用いた第１評価データを用いた評価結果と、学習モデルの比較評価時に準備された第１評価データとは異なる第２評価データを用いた評価結果とを比較可能に表示する評価結果画面を、表示装置４０に表示させる。

【0079】

また、図１３に示す評価結果画面Ｐ４には、学習モデルＭの再学習の実行を指示するための機能が含まれている。例えば、評価装置１のユーザは、入力インターフェース３０に含まれるマウスを操作して、評価結果画面Ｐ４において評価結果の各々と関連付けして表示されたラジオボタンＲＢ０、ＲＢ１、ＲＢ３、およびＲＢ４の何れかを選択することで、再学習時に高めたい指標を選択することができる。さらに、評価装置１のユーザは、入力インターフェース３０に含まれるマウスを操作して、評価結果画面Ｐ４に表示された「モデルを再学習」ボタンＢＴ３をクリック（押下）することで、再学習の実行を指示することができる。学習方針決定部１０９は、上記のように受け付けた指標の選択指示、および学習の実行指示に基づいて、学習方針を決定する。指示出力部１１１は、学習方針決定部１０９により決定された学習方針に基づく学習の実行指示を、ネットワークＮを介して、運用装置３に出力する。運用装置３は、この学習処理の実行指示に基づいて、学習モデルＭの再学習を実行する。また、評価結果画面Ｐ４において、再学習に利用する学習データの種類の選択指示を受け付ける構成を設けてもよい。

【0080】

また、通知部１１３は、第１評価部１０３による第１評価結果ＥＲ１、第２評価部１０５による第２評価結果ＥＲ２が再学習の必要と判定される所定の条件を満たした場合に、運用装置３の管理者などに再学習の必要性が生じたことを知らせる通知を行う。例えば、通知部１１３は、第１評価部１０３による第１評価結果ＥＲ１または第２評価部１０５による第２評価結果ＥＲ２に含まれる少なくとも一つの指標値と、記憶部５０に予め記憶された閾値情報ＴＨとを比較することで、再学習の必要性の有無を判定する。通知部１１３は、例えば、電子メールなどにより、上記の通知を行う。すなわち、通知部１１３は、学習モデルの評価結果が所定の閾値を下回った場合に、学習モデルの再学習を促す通知を行う。

【0081】

以上のように構成された第３の実施形態の評価装置１によれば、複数の観点での学習モデルの評価を包括的に行うことが可能となる。また、例えば、学習時の評価データＥＤ１を用いた評価結果と、比較評価データＥＤ２とを用いて評価を行うことで、学習モデルの詳細な評価（性能低下の有無の評価など）を行うことが可能となる。

【0082】

なお、上記の実施形態においては、評価装置１が、表示制御機能（表示制御部１０７）を備える構成を例に挙げて説明したが、本発明はこれに限られない。例えば、評価装置１は、非機能面の評価を行う第２評価部１０５の機能のみが別体の装置として実現されたものであってもよい。

【0083】

本発明のいくつかの実施形態を説明したが、これらの実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。これら実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。これら実施形態やその変形は、発明の範囲や要旨に含まれると同様に、特許請求の範囲に記載された発明とその均等の範囲に含まれるものである。

【符号の説明】

【0084】

１…評価装置、３…運用装置（学習装置）、１０…制御部、２０…通信装置、３０…入力インターフェース、４０…表示装置、５０…記憶部、１０１…取得部、１０３…第１評価部、１０５…第２評価部、１０７…表示制御部、１０９…学習方針決定部、１１１…指示出力部、１１３…通知部、２０１…データ拡張部、２０３…第２指標値算出部、２０５…変換部

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】