特許 7561996 学習データ評価装置、学習データ評価システム、学習データ評価方法及びプログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2024-09-26

(45)【発行日】2024-10-04

(54)【発明の名称】学習データ評価装置、学習データ評価システム、学習データ評価方法及びプログラム

(51)【国際特許分類】

   G06N 20/00 20190101AFI20240927BHJP

【ＦＩ】

G06N20/00

【請求項の数】 7

(21)【出願番号】P 2023534537

(86)(22)【出願日】2021-07-15

(86)【国際出願番号】 JP2021026591

(87)【国際公開番号】W WO2023286234

(87)【国際公開日】2023-01-19

【審査請求日】2023-08-30

(73)【特許権者】

【識別番号】000006013

【氏名又は名称】三菱電機株式会社

(74)【代理人】

【識別番号】100095407

【弁理士】

【氏名又は名称】木村 満

(74)【代理人】

【識別番号】100131152

【弁理士】

【氏名又は名称】八島 耕司

(74)【代理人】

【識別番号】100147924

【弁理士】

【氏名又は名称】美恵 英樹

(74)【代理人】

【識別番号】100148149

【弁理士】

【氏名又は名称】渡邉 幸男

(74)【代理人】

【識別番号】100181618

【弁理士】

【氏名又は名称】宮脇 良平

(74)【代理人】

【識別番号】100174388

【弁理士】

【氏名又は名称】龍竹 史朗

(72)【発明者】

【氏名】瀬光 孝之

【審査官】佐藤 直樹

(56)【参考文献】

【文献】国際公開第２０１９／１８７５９４（ＷＯ，Ａ１）

【文献】特開２０２１－０３３５４４（ＪＰ，Ａ）

【文献】YOON, Jinsung et al.，DATA VALUATION USING REINFORCEMENT LEARNING，arXiv [online]，2019年09月25日，インターネット<URL：https://arxiv.org/pdf/1909.11671.pdf>，[検索日：2021/09/15]

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ０６Ｎ ２０／００

(57)【特許請求の範囲】

【請求項1】

複数個の学習データのうちから組み合わせ可能な、学習データの複数通りの組み合わせをそれぞれ用いた機械学習により生成された複数通りの機械学習モデルのそれぞれに対して、機械学習モデルの精度を変換ルールに従って変換精度に変換する変換処理を実行する変換部と、
前記変換部により変換された前記変換精度に基づいて、前記複数個の学習データのうちの評価対象の学習データを評価する学習データ評価部と、を備え、
前記変換ルールは、前記機械学習モデルの精度が高くなるほど前記変換精度の増加率が大きくなる関係に基づいて、前記機械学習モデルの精度を前記変換精度に非線形に変換するルールである、
学習データ評価装置。

【請求項2】

前記学習データ評価部は、前記複数通りの組み合わせのうちの、前記評価対象の学習データを含む組み合わせを用いて生成された機械学習モデルの精度から変換された変換精度と、前記複数通りの組み合わせのうちの、前記評価対象の学習データを含まない組み合わせを用いて生成された機械学習モデルの精度から変換された変換精度と、の差分に基づいて、前記評価対象の学習データを評価する、
請求項１に記載の学習データ評価装置。

【請求項3】

前記複数通りの機械学習モデルの精度と、前記複数通りの機械学習モデルのそれぞれを生成する際に使用された学習データの組み合わせに含まれるデータサンプル数と、の間の関係に基づいて、前記変換ルールを生成する変換ルール生成部、を更に備え、
前記変換部は、前記変換ルール生成部により生成された前記変換ルールに従って、前記変換処理を実行する、
請求項１又は２に記載の学習データ評価装置。

【請求項4】

請求項１から３のいずれか１項に記載の学習データ評価装置と、
前記複数通りの組み合わせをそれぞれ用いて機械学習を実行することにより、前記複数通りの機械学習モデルを生成するモデル生成部と、
前記モデル生成部により生成された前記複数通りの機械学習モデルのそれぞれの精度を算出する精度算出部と、を備える、
学習データ評価システム。

【請求項5】

前記評価対象の学習データを要求端末から受信する学習データ受信部と、
前記学習データ評価部による前記評価対象の学習データの評価結果を示す出力情報を前記要求端末に出力する出力部と、を更に備える、
請求項４に記載の学習データ評価システム。

【請求項6】

コンピュータが実行する学習データ評価方法であって、
複数個の学習データのうちから組み合わせ可能な、学習データの複数通りの組み合わせをそれぞれ用いた機械学習により生成された、複数通りの機械学習モデルのそれぞれに対して、機械学習モデルの精度を変換ルールに従って変換精度に変換する変換処理を実行し、
前記変換精度に基づいて、前記複数個の学習データのうちの評価対象の学習データを評価し、
前記変換ルールは、前記機械学習モデルの精度が高くなるほど前記変換精度の増加率が大きくなる関係に基づいて、前記機械学習モデルの精度を前記変換精度に非線形に変換するルールである、
学習データ評価方法。

【請求項7】

コンピュータを、
複数個の学習データのうちから組み合わせ可能な、学習データの複数通りの組み合わせをそれぞれ用いた機械学習により生成された、複数通りの機械学習モデルのそれぞれに対して、機械学習モデルの精度を変換ルールに従って変換精度に変換する変換処理を実行する変換部、
前記変換部により変換された前記変換精度に基づいて、前記複数個の学習データのうちの評価対象の学習データを評価する学習データ評価部、として機能させ、
前記変換ルールは、前記機械学習モデルの精度が高くなるほど前記変換精度の増加率が大きくなる関係に基づいて、前記機械学習モデルの精度を前記変換精度に非線形に変換するルールである、
プログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本開示は、学習データ評価装置、学習データ評価システム、学習データ評価方法及びプログラムに関する。

【背景技術】

【0002】

機械学習技術は、画像処理分野をはじめとして、様々な分野で応用が進んでいる。機械学習技術では、入力と望ましい出力との組み合わせを学習データとして与え、未知のデータを含む入力に対して望ましい出力を推定するモデルを学習する。

【0003】

従来のようにデータに対する数理モデルを立てて理論的に精度向上を目指すアプローチとは異なり、機械学習技術では、適用したいアプリケーションに対して有効な学習データをできるだけ多く集めることが精度向上のために必要となる。そのため、機械学習技術において、学習データの価値が高まっている。

【0004】

例えば、非特許文献１は、価値の高い学習データを売買するデータ市場のビジネスモデルを提案している。ここで、価値の高い学習データとは、それを使って学習することで高精度のモデル学習が可能になる学習データを意味する。非特許文献１において、学習データの価値は、Ｓｈａｐｌｅｙ値によって測られる。

【0005】

Ｓｈａｐｌｅｙ値とは、ゲーム理論ではじめに提案され、複数のプレイヤでクエストに参加した際の報酬を公平に分配するためにプレイヤごとの貢献度を測るために導入された指標である。Ｓｈａｐｌｅｙ値による貢献度は、あるグループに、注目するプレイヤが参加した時と参加しなかった時との貢献度の差である限界貢献度に基づいて測られる。具体的には、Ｓｈａｐｌｅｙ値は、参加プレイヤのすべての組み合わせに対して注目するプレイヤの限界貢献度を計算して平均することで算出することができる。

【0006】

非特許文献１において学習データの評価値をＳｈａｐｌｅｙ値により算出する場合、報酬として、対象となるタスクにおける機械学習モデルの精度を利用する。つまり、より精度が高いほどより報酬が高いとみなす。

【先行技術文献】

【非特許文献】

【0007】

【文献】Jia, Ruoxi, et al. "Towards efficient data valuation based on the shapley value."The 22nd International Conference on Artificial Intelligence and Statistics. PMLR, 2019.

【発明の概要】

【発明が解決しようとする課題】

【0008】

機械学習技術における一般的な傾向として、データサンプル数が少ない学習データほど、その学習データに新たなデータサンプルを加えた場合に、機械学習モデルの精度は大きく向上する。そのため、データサンプル数が少ない場合における機械学習モデルの精度の向上を過大評価してしまう、という課題がある。しかしながら、機械学習では、むしろデータが出揃って、データサンプル数が多くなっている時にさらに精度を向上することが大切である。そのため、データサンプル数が多い学習データに対して新たに加えられることで精度を向上させることが可能な学習データの価値が高いと言える。このような事情に鑑み、データサンプル数の違いに起因する誤評価を抑制して、学習データを適切に評価することが求められている。

【0009】

本開示は、上述のような課題を解決するためになされたものであり、データサンプル数の違いに起因する誤評価を抑制して、学習データを適切に評価することが可能な学習データ評価装置等を提供することを目的とする。

【課題を解決するための手段】

【0010】

上記目的を達成するため、本開示に係る学習データ評価装置は、
複数個の学習データのうちから組み合わせ可能な、学習データの複数通りの組み合わせをそれぞれ用いた機械学習により生成された複数通りの機械学習モデルのそれぞれに対して、機械学習モデルの精度を変換ルールに従って変換精度に変換する変換処理を実行する変換部と、
前記変換部により変換された前記変換精度に基づいて、前記複数個の学習データのうちの評価対象の学習データを評価する学習データ評価部と、を備え、
前記変換ルールは、前記機械学習モデルの精度が高くなるほど前記変換精度の増加率が大きくなる関係に基づいて、前記機械学習モデルの精度を前記変換精度に非線形に変換するルールである。

【発明の効果】

【0011】

本開示では、複数通りの機械学習モデルのそれぞれの精度を、機械学習モデルの精度が高くなるほど変換精度の増加率が大きくなる非線形な変換ルールに従って変換精度に変換し、変換精度に基づいて評価対象の学習データを評価する。従って、本開示によれば、データサンプル数の違いに起因する誤評価を抑制して、学習データを適切に評価することができる。

【図面の簡単な説明】

【0012】

【図1】実施の形態１に係る学習データ評価システムの全体構成を示す図

【図2】実施の形態１に係る学習装置の構成を示すブロック図

【図3】実施の形態１に係る学習装置における各構成の入出力例を示す図

【図4】実施の形態１に係る学習データ評価装置の構成を示すブロック図

【図5】実施の形態１に係る学習データ評価装置における各構成の入出力例を示す図

【図6】実施の形態１において、データサンプル数と機械学習モデルの精度との関係の例を示す図

【図7】図６に示したデータサンプル数と精度との関係を曲線で表した例を示す図

【図8】図６に示した精度を、図７に示した曲線を用いて変換した例を示す図

【図9】実施の形態１において、精度変換の前後における機械学習モデルの精度の向上幅とデータサンプル数との関係の例を示す図

【図10】実施の形態１に係る学習データ評価システムにおいて実行される処理の流れを示すシーケンス図

【図11】実施の形態２に係る学習データ評価システムの全体構成を示す図

【図12】実施の形態２に係る学習装置の構成を示す図

【図13】実施の形態２に係る学習データ評価システムにおいて実行される処理の流れを示すシーケンス図

【発明を実施するための形態】

【0013】

以下、実施の形態について、図面を参照しながら詳細に説明する。なお、図中同一又は相当部分には同一符号を付す。

【0014】

（実施の形態１）
図１に、実施の形態１に係る学習データ評価システム１の構成を示す。学習データ評価システム１は、機械学習モデルを生成する際に用いられた学習データを評価する、すなわち学習データの価値を測定するシステムである。ここで、学習データの価値とは、その学習データを含むデータセットを用いて機械学習を実行して生成された機械学習モデルの精度の向上に対して、その学習データがどの程度貢献しているかの尺度を意味する。

【0015】

学習データ評価システム１は、学習装置１０と、学習データ評価装置２０と、を備える。これら各装置は、有線又は無線による通信回線を介して通信可能に接続されている。

【0016】

学習装置１０は、学習データを機械学習により学習し、機械学習モデルを生成する装置である。学習装置１０は、パーソナルコンピュータ、サーバ、タブレット等の情報処理装置により実現される。学習装置１０は、図２に示すように、制御部１１と、記憶部１２と、入出力Ｉ／Ｆ（インタフェース）１３と、を備える。

【0017】

制御部１１は、ＣＰＵ（Central Processing Unit）、ＧＰＵ（Graphics Processing Unit）、ＤＳＰ（Digital Signal Processor）等を備える。制御部１１は、学習装置１０の制御に係る処理及び演算を実行する中央演算処理部として機能する。制御部１１は、ＲＯＭ（Read Only Memory）に格納されているプログラム及びデータを読み出し、ＲＡＭ（Random Access Memory）をワークエリアとして用いて、学習装置１０を統括制御する。

【0018】

記憶部１２は、ＳＲＡＭ（Static RAM）、ＤＲＡＭ（Dynamic RAM）等の主記憶部と、ＨＤＤ（Hard Disk Drive）、ＳＳＤ（Solid State Drive）等の補助記憶部と、を備える。記憶部１２は、制御部１１が各種処理を行うために使用するプログラム及びデータを記憶する。また、記憶部１２は、制御部１１が各種処理を行うことにより生成又は取得するデータを記憶する。

【0019】

入出力Ｉ／Ｆ１３は、学習装置１０が外部のモジュールとデータを送受信するためのインタフェースを備える。具体例として、入出力Ｉ／Ｆ１３は、ＬＡＮ（Local Area Network）、ＵＳＢ（Universal Serial Bus）等の通信モジュールと、外部記憶装置の読み取りモジュールと、を備える。

【0020】

制御部１１は、機能的に、モデル生成部１１１と、精度算出部１１２と、を備える。これらの各機能は、ソフトウェア、ファームウェア、又は、ソフトウェアとファームウェアとの組み合わせによって実現される。ソフトウェア及びファームウェアは、プログラムとして記述され、ＲＯＭ又は記憶部１２に格納される。そして、ＣＰＵ、ＧＰＵ、ＤＳＰ等が、ＲＯＭ又は記憶部１２に記憶されたプログラムを実行することによって、制御部１１の各機能を実現する。以下、図３を参照して、制御部１１の各機能について説明する。

【0021】

モデル生成部１１１は、学習データセット１２１を用いて機械学習を実行することにより、機械学習モデルを生成する。機械学習モデルは、学習済みモデルとも呼ばれ、入力に対して推論結果を出力する数理的な方法を意味する。機械学習モデルは、学習データセット１２１に含まれる入力と出力との間の関係を機械学習することにより生成される。

【0022】

学習データセット１２１は、機械学習用のデータセットである。学習データセット１２１は、予め用意され、記憶部１２に記憶されている。学習データセット１２１は、複数個の学習データを有する。各学習データは、入力とそれに対応する出力との間の関係を学習するためのデータである。１つの学習データは、少なくとも１つのデータサンプルと、そのデータサンプルに対応する教師ラベルと、を有する。

【0023】

データサンプルは、機械学習モデルに入力される入力データに相当する。一例として、機械学習のタスクが画像認識である場合、１つのデータサンプルは、１つの画像データである。或いは、機械学習のタスクが音声認識である場合、１つのデータサンプルは、１つの音声データである。機械学習のタスクが自然言語処理である場合、１つのデータサンプルは、１つのテキストデータである。

【0024】

教師ラベルは、対応するデータサンプルを機械学習モデルに入力した場合に機械学習モデルから期待される出力の真値を示すデータである。言い換えると、教師ラベルは、入力データに対応する正解の出力データに相当する。具体的に説明すると、機械学習のタスクが画像認識、音声認識又は自然言語処理である場合、教師ラベルは、それぞれ画像データ、音声データ又はテキストデータに含まれる認識対象物の情報を示す。一例として、画像データから果物の種類を認識する場合、教師ラベルは、「リンゴ」、「バナナ」、「メロン」等のような、画像データに描かれている果物の種類の情報を示す。或いは、画像データから動物の種類を認識する場合、教師ラベルは、「犬」、「猫」等のような、画像データに描かれている動物の種類の情報を示す。

【0025】

学習データセット１２１は、それぞれがこのようなデータサンプルと教師ラベルとのペアを少なくとも１つ含むデータである複数個の学習データを有する。以下では、学習データセット１２１がＺ個の学習データを有しており、且つ、Ｚ個の学習データのそれぞれが、サンプルデータとしてＮ個の画像データＸｉ（ｉ＝１，２，…，Ｎ）と、Ｎ個の画像データＸｉに１対１で対応するＮ個の教師ラベルＹｉと、を有する場合を例にとって説明する。なお、各学習データが有するサンプルデータＸｉ及び教師ラベルＹｉの数は、同じであることに限らず、異なっていても良い。

【0026】

モデル生成部１１１は、学習データセット１２１が有する複数個の学習データのうちから組み合わせ可能な、学習データの複数通りの組み合わせをそれぞれ用いて、機械学習を実行する。学習データセット１２１がＺ個の学習データを有する場合、Ｚ個の学習データから組み合わせ可能な学習データの組み合わせＳｋは、Ｚ個の学習データを全て含む組み合わせから学習データを全く含まない組み合わせまで、２＾Ｚ（２のＺ乗）通り存在する。モデル生成部１１１は、１個の組み合わせＳｋを構成する学習データを用いて機械学習を実行することにより１個のモデルＭｋを生成するモデル生成処理を、２＾Ｚ通りの組み合わせＳｋ（ｋ＝１，２，…，２＾Ｚ）のそれぞれに対して実行する。これにより、モデル生成部１１１は、２＾Ｚ通りの機械学習モデルであるモデルＭｋを生成する。

【0027】

具体的に説明すると、モデル生成部１１１は、２＾Ｚ通りの組み合わせＳｋのそれぞれについて、予め定められた学習アルゴリズムに従った機械学習を実行することにより、各組み合わせＳｋの学習データに含まれるデータサンプルと対応する教師ラベルとの関係を学習する。モデル生成部１１１は、学習アルゴリズムとして、ニューラルネットワーク、サポートベクタマシン、ランダムフォレスト、遺伝的アルゴリズム等のような公知の教師あり学習のアルゴリズムを用いることができる。

【0028】

モデル生成部１１１は、学習データを入力とし、指定された入力に対して望ましい出力を計算できるように、モデルＭｋを学習する。具体的に説明すると、モデル生成部１１１は、組み合わせＳｋの学習データに含まれる各画像データＸｉがモデルＭｋに入力された場合に、対応する教師ラベルＹｉに示される認識対象物をモデルＭｋが出力する確率が高くなるように、モデルＭｋのパラメータを調整する。例えば学習アルゴリズムとしてニューラルネットワークを用いた場合、モデル生成部１１１は、ニューラルネットワークを構成する入力層、中間層及び出力層の結合の重みを、誤差逆伝搬法を用いて調整する。

【0029】

精度算出部１１２は、モデル生成部１１１により生成された複数通りのモデルＭｋ（ｋ＝１，２，…，２＾Ｚ）のそれぞれの精度Ａｋを算出する。ここで、モデルＭｋの精度Ａｋは、モデルＭｋの正確性の指標であって、モデルＭｋが、入力に対してどの程度正しい推論結果を出力するかを示す値である。１個の精度Ａｋは、Ｚ個の学習データのうちから組み合わせ可能な１個の組み合わせＳｋから生成されたモデルＭｋの精度である。

【0030】

精度算出部１１２は、評価データセット１２２を用いて、モデル生成部１１１により生成された複数通りのモデルＭｋのそれぞれの精度Ａｋを算出する。評価データセット１２２は、モデルＭｋを評価するためのデータセットであって、予め記憶部１２に記憶されている。評価データセット１２２は、学習データセット１２１と同様に、複数個の学習データを有する。１つの学習データは、データサンプルと教師ラベルとのペアを少なくとも１つ有する。

【0031】

一例として、精度算出部１１２は、モデルＭｋの精度Ａｋとして、評価データセット１２２に含まれる全データサンプルに対する正解率を算出する。具体的に説明すると、精度算出部１１２は、評価データセット１２２に含まれる各データサンプルをモデルＭｋに入力する。そして、精度算出部１１２は、サンプルデータの入力に対してモデルＭｋからの出力が、そのデータサンプルに対応する教師ラベルと合致するか否かを判定する。精度算出部１１２は、モデルＭｋに入力された全データサンプルにおける、モデルＭｋからの出力が教師ラベルと合致した比率を、モデルＭｋの精度Ａｋとして算出する。

【0032】

精度算出部１１２は、このような精度Ａｋを算出する処理を、モデル生成部１１１により生成された複数通りのモデルＭｋのそれぞれに対して実行する。これにより、例えばモデル生成部１１１により２＾Ｚ通りのモデルＭｋが生成された場合、精度算出部１１２は、２＾Ｚ通りの精度Ａｋを算出する。このような処理により、学習データの組み合わせＳｋ（ｋ＝１，２，…，２＾Ｚ）と組み合わせＳｋに基づいて生成されたモデルＭｋの精度Ａｋとのペアが、２＾Ｚ通り得られる。

【0033】

精度算出部１１２は、このようにして算出した２＾Ｚ通りのモデルＭｋの精度Ａｋを示す精度データ１２３を、入出力Ｉ／Ｆ１３を介して学習データ評価装置２０に出力する。精度データ１２３は、２＾Ｚ通りのモデルＭｋの精度Ａｋと、各モデルＭｋをモデル生成部１１１が生成する際に使用された学習データの組み合わせＳｋと、を１対１で対応付けたデータである。

【0034】

図１に戻って、学習データ評価装置２０は、学習装置１０が機械学習モデルを生成する際に用いた学習データを評価する装置である。学習データ評価装置２０は、パーソナルコンピュータ、サーバ、タブレット等の情報処理装置により実現される。学習データ評価装置２０は、図４に示すように、制御部２１と、記憶部２２と、入出力Ｉ／Ｆ（インタフェース）２３と、を備える。

【0035】

制御部２１は、ＣＰＵ、ＧＰＵ、ＤＳＰ等を備える。制御部２１は、学習データ評価装置２０の制御に係る処理及び演算を実行する中央演算処理部として機能する。制御部２１は、ＲＯＭに格納されているプログラム及びデータを読み出し、ＲＡＭをワークエリアとして用いて、学習データ評価装置２０を統括制御する。

【0036】

記憶部２２は、ＳＲＡＭ、ＤＲＡＭ等の主記憶部と、ＨＤＤ、ＳＳＤ等の補助記憶部と、を備える。記憶部２２は、制御部２１が各種処理を行うために使用するプログラム及びデータを記憶する。また、記憶部２２は、制御部２１が各種処理を行うことにより生成又は取得するデータを記憶する。

【0037】

入出力Ｉ／Ｆ２３は、学習データ評価装置２０が外部のモジュールとデータを送受信するためのインタフェースを備える。具体例として、入出力Ｉ／Ｆ２３は、ＬＡＮ、ＵＳＢ等の通信モジュールと、外部記憶装置の読み取りモジュールと、を備える。

【0038】

制御部２１は、機能的に、変換ルール生成部２１１と、変換部２１２と、学習データ評価部２１３と、出力部２１４と、を備える。これらの各機能は、ソフトウェア、ファームウェア、又は、ソフトウェアとファームウェアとの組み合わせによって実現される。ソフトウェア及びファームウェアは、プログラムとして記述され、ＲＯＭ又は記憶部２２に格納される。そして、ＣＰＵ、ＧＰＵ、ＤＳＰ等が、ＲＯＭ又は記憶部２２に記憶されたプログラムを実行することによって、制御部２１の各機能を実現する。以下、図５を参照して、制御部２１の各機能について説明する。

【0039】

変換ルール生成部２１１は、精度算出部１１２により算出された各モデルＭｋの精度Ａｋを変換精度Ｂｋに変換するための変換ルールを生成する。ここで、変換精度Ｂｋは、学習データ評価装置２０において学習データを評価する際に用いられるパラメータである。

【0040】

より詳細に説明すると、学習データ評価装置２０は、モデルＭｋの精度Ａｋに基づいて、そのモデルＭｋを生成する際に使用された学習データを評価する。しかしながら、モデルＭｋの精度Ａｋは、そのモデルＭｋを生成する際に使用されたデータサンプル数に依存して変化する。

【0041】

図６に、様々なサイズのデータサンプル数と、各データサンプル数の学習データから生成された機械学習モデルの精度と、に対応する複数のデータ点を、座標平面上にプロットした例を示す。図６に示す座標平面において、横軸はデータサンプル数を表し、縦軸は機械学習モデルの精度を表す。

【0042】

図６に示すように、一般的な傾向として、モデルＭｋの精度Ａｋは、そのモデルＭｋを生成するために使用されたデータサンプル数が増えるに伴って上昇する。その一方で、精度Ａｋの増加率は、データサンプル数が少ない領域では大きく、データサンプル数が多くなるにつれて小さくなる。このように、データサンプル数が少ない領域と多い領域とで、本来は異なる貢献度として扱われるべき精度の向上幅が同じように扱われると、データサンプル数が少ない領域における精度の向上幅が過大評価される。

【0043】

例えば、図６に示した複数のデータ点のうちの、ある特定のサイズの学習データＡと、学習データＡに新たにデータサンプルを加えたより大きいサイズの学習データＢと、に注目する。機械学習モデルの精度は、データサンプル数が少ない学習データＡを用いて生成された場合よりも、データサンプル数が多い学習データＢを用いて生成された場合の方が高い。

【0044】

次に、学習データＡ，Ｂに対して、中身の異なる同じサイズの学習データＣ，Ｄを加えた学習データＡ＋Ｃ及び学習データＢ＋Ｄを考える。学習データＡ＋Ｃ，Ｂ＋Ｄを用いて生成された機械学習モデルの精度は、それぞれ学習データＡ，Ｂを用いて生成された機械学習モデルの精度よりも向上する。このとき、学習データＡに学習データＣを加えた場合における精度の向上幅ΔＣの方が、学習データＢに学習データＤを加えた場合における精度の向上幅ΔＤよりも大きい。

【0045】

このような精度の向上幅ΔＣ，ΔＤの絶対値をそのまま用いると、学習データＣの方が学習データＤよりも価値が高いと評価される。しかしながら、このような評価方法では、データサンプル数が少ないほど過大評価され、データサンプル数が多いほど過小評価される結果となる。これは、例えば学習データの評価値に従って報酬を決めるシステムにおいて、データサンプル数が少ない時しか精度向上できない低品質の学習データでも、多くの報酬を獲得できることにつながる。

【0046】

このようなデータサンプル数の違いに起因する過大評価及び過小評価を抑制するため、学習データ評価装置２０は、精度の情報をそのまま使用せずに、データサンプル数に準じたパラメータに変換してから使用する。変換ルール生成部２１１は、そのための変換ルールを生成する。

【0047】

具体的に説明すると、変換ルール生成部２１１は、精度算出部１１２により算出された各モデルＭｋの精度Ａｋと、各モデルＭｋを生成する際に使用された学習データの組み合わせＳｋに含まれるデータサンプル数と、の間の関係に基づいて、変換ルールを生成する。ここで、ある組み合わせＳｋに含まれるデータサンプル数は、その組み合わせＳｋに含まれる少なくとも１つの学習データが有するデータサンプル数の和に相当する。例えば、組み合わせＳｋがＣ個の学習データを有し、且つ、各学習データがＮ個のデータサンプルを有する場合、Ｃ×Ｎ個である。

【0048】

変換ルール生成部２１１は、図５に示すように、学習装置１０において生成された精度データ１２３を参照して、２＾Ｚ通りの組み合わせＳｋのそれぞれに含まれるデータサンプル数、及び、各組み合わせＳｋから生成されたモデルＭｋの精度Ａｋの情報を得る。そして、変換ルール生成部２１１は、精度Ａｋとデータサンプル数との関係を学習し、変換ルールを生成する。精度データ１２３は、予め入出力Ｉ／Ｆ２３を介して学習装置１０から取得されて、記憶部２２に記憶されている。

【0049】

具体的には図７に示すように、変換ルール生成部２１１は、精度データ１２３に含まれる複数個の精度Ａｋとデータサンプル数との関係を曲線Ｌで表す。このような曲線Ｌは、非特許文献２“J. Kaplan, S. McCandlish, T. Henighan, T. B. Brown, B. Chess, R. Child, S. Gray, A. Radford, J. Wu, and D. Amodei. “Scaling laws for neural language models”, 2020”で報告されており、機械学習タスクにおいて典型的な曲線の形である。

【0050】

より詳細には、非特許文献２は、最適化の目的関数であり精度と良く相関する損失関数を用いて、データサンプル数と損失関数の値との関係が、指数関数の指数部がデータサンプル数の逆数になる形式で与えられることを報告している。損失関数は漸減していく指標であるのに対して、機械学習モデルの精度は、データサンプル数に対して漸増していくため、対数グラフの関係で表されることが期待される。

【0051】

そこで、精度をｙと表し, データサンプル数をｘと表した場合、変換ルール生成部２１１は、下記（１）式に示す非線形な関数ｙ＝ｆ（ｘ）を用いて、曲線Ｌを表現する。なお、α，βは係数である。

【0052】

【数1】

【0053】

変換ルール生成部２１１は、曲線Ｌが図６に示した複数のデータ点に最もフィットするように、例えば最小二乗法を用いて係数α、βの最適値を探索する。これにより、変換ルール生成部２１１は、精度とデータサンプル数との平均的な関係を表す非線形な関数ｆ（ｘ）を求める。そして、変換ルール生成部２１１は、関数“ｙ＝ｆ（ｘ）”の逆関数“ｘ’＝ｆ＾｛－１｝（ｙ）”を、精度をその精度を達成するために必要な典型的なデータサンプル数の情報に変換するための変換ルールとして生成する。

【0054】

変換ルールは、曲線Ｌにより表されるように、機械学習モデルＭｋの精度Ａｋと、精度Ａｋから変換された後のパラメータである変換精度Ｂｋとを、非線形に変換するルールである。より詳細には、曲線Ｌは、図７に示した座標平面上において上に凸な形状をしているため、精度Ａｋが高くなるほど変換精度Ｂｋの増加率が大きくなる関係、逆に言うと変換精度Ｂｋが高くなるほど精度Ａｋの増加率が小さくなる関係を表している。変換ルールは、このような曲線Ｌにより表される関係に基づいて、精度Ａｋを変換精度Ｂｋに非線形に変換するルールである。

【0055】

図５に戻って、変換部２１２は、変換ルール生成部２１１により生成された変換ルールに従って、複数通りのモデルＭｋのそれぞれの精度Ａｋを変換精度Ｂｋに変換する。具体的に説明すると、変換部２１２は、曲線Ｌを表す関数“ｙ＝ｆ（ｘ）”の逆関数“ｘ’＝ｆ＾｛－１｝（ｙ）”に従ってモデルＭｋの精度Ａｋを変換精度Ｂｋに変換する変換処理を、学習装置１０により生成された２＾Ｚ通りのモデルＭｋ（ｋ＝１，２，…，２＾Ｚ）のそれぞれに対して、実行する。

【0056】

具体的に図８に、学習データＡ，Ａ＋Ｃ，Ｂ，Ｂ＋Ｄに対応する精度が変換される例を示す。変換精度の値は、図８に示す座標平面上において各データ点から曲線Ｌに向かって水平線を引き、曲線Ｌと交わる点からデータサンプル数を表す軸に垂線を引くことにより得られる。

【0057】

図８の例では、変換部２１２による変換の結果、学習データＡと学習データＡ＋Ｃとの間における変換精度の向上幅ΔＣ’は、学習データＢと学習データＢ＋Ｄとの間における変換精度の向上幅ΔＤ’よりも小さい。言い換えると、変換部２１２による変換後の精度の向上幅ΔＣ’，ΔＤ’の大小関係は、変換部２１２による変換前の精度の向上幅ΔＣ，ΔＤの大小関係とは逆転している。この理由は、学習データＡから学習データＡ＋Ｃへの精度の向上幅ΔＣを得るために必要な平均的なデータサンプル数は、実際に加えられた学習データＣのデータサンプル数よりも小さいためであると解釈できる。逆に、学習データＢから学習データＢ＋Ｄへの精度の向上幅ΔＤを得るために必要な平均的なデータサンプル数は、実際に加えられた学習データＤのデータサンプル数よりも大きいためであると解釈できる。

【0058】

更に、図９に、様々なデータサンプル数を有する学習データを用いて生成された機械学習モデルの精度の向上幅が、変換部２１２による変換の前後でどのように変化するかを実際に検証した結果を示す。図９の左側は、変換部２１２による変換前における精度の向上幅とデータサンプル数との関係を２次元平面上にプロットした図である。図９の左側のプロットによると、変換部２１２による変換前では、精度の向上幅とデータサンプル数との間に相関が見られ、データサンプル数が少ない場合に精度の向上幅が大きくなるという傾向が見られる。

【0059】

これに対して、図９の右側は、変換部２１２による変換後における精度の向上幅とデータサンプル数との関係を２次元平面上にプロットした図である。図９の右側のプロットによると、変換部２１２による変換後では、データサンプル数が少ない場合と多い場合とで精度の向上幅は大きく変化していない。言い換えると、変換部２１２による変換後では、データサンプル数が少ない場合に精度の向上幅が大きくなるという傾向が抑制されることが分かる。

【0060】

このように、変換部２１２は、変換ルール生成部２１１により生成された変換ルールに従って精度を変換することにより、データサンプル数の多少に起因する過大評価及び過小評価が抑制されるように、精度を補正する。

【0061】

図５に戻って、学習データ評価部２１３は、変換部２１２により精度Ａｋから変換された変換精度Ｂｋに基づいて、評価対象の学習データiを評価する。ここで、評価対象の学習データiは、学習データセット１２１が有する複数個の学習データのうちのいずれかであって、例えば入出力Ｉ／Ｆ２３を介してユーザにより指定される。

【0062】

学習データ評価部２１３は、Ｓｈａｐｌｅｙ値を計算することにより、評価対象の学習データｉの評価値φｉを計算する。具体的には、学習データ評価部２１３は、下記の（２）式に従って評価値φｉを計算する。

【0063】

【数2】

【0064】

上記（２）式におけるΣの中の第１項は、正規化のための項である。具体的に、Ｓは、学習データセット１２１が有するＺ個の学習データから組み合わせ可能な２＾Ｚ通りの組み合わせＳｋ（ｋ＝１，２，…，２＾Ｚ）のうちの、評価対象の学習データｉを含まない任意の組み合わせを表す。｜Ｓ｜は、組み合わせＳに含まれる学習データの数を表す。｜Ｐ’｜は、学習データセット１２１が有する学習データの総数、すなわちＺに相当する。Σは、Ｚ個の学習データから組み合わせ可能な、評価対象の学習データｉを含まない組み合わせＳの全てに亘って和をとることを意味する。

【0065】

また、上記（２）式において、“ｖｊ（Ｓ）”は、２＾Ｚ通りの精度Ａｋ（ｋ＝１，２，…，２＾Ｚ）のうちの、評価対象の学習データｉを含まない組み合わせＳから生成された機械学習モデルの精度を表す。これに対して、“ｖｊ（ＳＵ｛ｉ｝）”は、２＾Ｚ通りの精度Ａｋ（ｋ＝１，２，…，２＾Ｚ）のうちの、組み合わせＳに評価対象の学習データｉのみを加えた組み合わせＳＵ｛ｉ｝から生成された機械学習モデルの精度を表す。ｆ＾｛－１｝は、上記（１）式で表される関数ｆ（ｘ）の逆関数により精度から変換精度に変換されることを表す。そのため、“ｆ＾｛－１｝（ｖｊ（Ｓ））”及び“ｆ＾｛－１｝（ｖｊ（ＳＵ｛ｉ｝））”は、それぞれ、２＾Ｚ通りの変換精度Ｂｋ（ｋ＝１，２，…，２＾Ｚ）のうちの、精度“ｖｊ（Ｓ）”及び“ｖｊ（ＳＵ｛ｉ｝）”から変換された変換精度を表す。

【0066】

すなわち、上記（２）式におけるΣの中の第２項は、評価対象の学習データｉを含む組み合わせＳＵ｛ｉ｝を用いて生成された機械学習モデルの精度ｖｊ（ＳＵ｛ｉ｝）から変換された変換精度ｆ＾｛－１｝（ｖｊ（ＳＵ｛ｉ｝））と、評価対象の学習データｉを含まない組み合わせＳを用いて生成された機械学習モデルの精度ｖｊ（Ｓ）から変換された変換精度ｆ＾｛－１｝（ｖｊ（Ｓ））と、の差分に相当する。そして、上記（２）式に示す評価値φｉは、評価対象の学習データｉがある場合とない場合とにおける変換精度の差分“ｆ＾｛－１｝（ｖｊ（ＳＵ｛ｉ｝））－ｆ＾｛－１｝（ｖｊ（Ｓ））”を、評価対象の学習データｉを含まない組み合わせＳの全体において平均した値に相当する。

【0067】

このように、学習データ評価部２１３は、評価対象の学習データｉがある場合とない場合とにおける変換精度の差分に基づいて評価値φｉを計算することにより、評価対象の学習データｉを評価する。これにより、複数の学習データの中における評価対象の学習データｉの価値を定量化することができる。特に、学習データ評価部２１３は、変換部２１２による変換後の精度に基づくＳｈａｐｌｅｙ値を計算するため、変換部２１２による変換前の精度に基づくＳｈａｐｌｅｙ値を計算する手法に比べて、データサンプル数の違いに起因する誤評価が抑制された評価値φｉを得ることができる。

【0068】

なお、非特許文献１では、データサンプルごとにＳｈａｐｌｅｙ値を計算することにより、データサンプル単位で価値を測定している。これに対して、本実施の形態では、複数のデータサンプルを含む学習データを１つの単位として価値を測定している。このようなデータサンプル単位での評価から学習データ単位での評価への拡張は、複数のデータサンプルが同じ価値を持っているという仮定のもとで、自然に適用することができる。

【0069】

図５に戻って、出力部２１４は、学習データ評価部２１３による評価結果を出力する。出力部２１４は、学習データ評価部２１３により計算された、評価対象の学習データｉの評価値φｉを示す出力情報を生成する。そして、出力部２１４は、入出力Ｉ／Ｆ２３を介して外部の装置に出力情報を送信し、外部の装置の表示部に出力情報を表示させる。或いは、学習データ評価装置２０が表示部を備える場合には、出力部２１４は、学習データ評価装置２０の表示部に出力情報を表示しても良い。

【0070】

次に、図１０を参照して、学習データ評価システム１において実行される処理の流れについて説明する。図１０に示す処理は、ユーザが所望の学習データを評価する指示を例えば入出力Ｉ／Ｆ１３を介して学習装置１０に対して入力したことに応答して、開始する。

【0071】

図１０に示す処理を開始すると、学習装置１０において、制御部１１は、学習データセット１２１に含まれる複数個の学習データのうちから組み合わせ可能な学習データの組み合わせＳｋを１つ選択する（ステップＳ１１）。例えば、学習データセット１２１がＺ個の学習データを含む場合、２＾Ｚ通りの組み合わせＳｋ（ｋ＝１，２，…，２＾Ｚ）のうちから１つを選択する。

【0072】

組み合わせＳｋを１つ選択すると、制御部１１は、モデル生成部１１１として機能し、選択した組み合わせＳｋの学習データを用いて機械学習を実行する（ステップＳ１２）。これにより、制御部１１は、モデルＭｋを生成する。

【0073】

モデルＭｋを生成すると、制御部１１は、精度算出部１１２として機能し、評価データセット１２２を用いて、生成したモデルＭｋの精度Ａｋを算出する（ステップＳ１３）。

【0074】

精度Ａｋを算出すると、制御部１１は、全ての組み合わせＳｋを選択したか否かを判定する（ステップＳ１４）。未選択の組み合わせＳｋがある場合（ステップＳ１４；ＮＯ）、制御部１１は、処理をステップＳ１１に戻す。そして、制御部１１は、未選択の組み合わせＳｋのうちから１つを選択して、ステップＳ１２，Ｓ１３の処理を実行する。このように、制御部１１は、学習データセット１２１から組み合わせ可能な全ての組み合わせＳｋを用いてモデルＭｋを生成し、その精度Ａｋを算出する。

【0075】

最終的に、全ての組み合わせＳｋを選択し終えると、制御部１１は、複数通りの組み合わせＳｋと、各組み合わせＳｋの学習データから生成されたモデルＭｋの精度Ａｋと、を示す精度データ１２３を生成する。そして、制御部１１は、入出力Ｉ／Ｆ１３を介して学習データ評価装置２０と通信し、精度データ１２３を学習データ評価装置２０に送信する（ステップＳ１５）。

【0076】

学習データ評価装置２０において、制御部２１は、変換ルール生成部２１１として機能し、学習装置１０において生成された複数通りのモデルＭｋの精度Ａｋに適用するための変換ルールを生成する（ステップＳ１６）。具体的に説明すると、制御部２１は、精度データ１２３に含まれる２＾Ｚ個の精度Ａｋと対応するデータサンプル数との関係に最もフィットする曲線Ｌを、上記（１）式により表される関数ｙ＝ｆ（ｘ）を用いて求める。そして、制御部２１は、求めた関数ｙ＝ｆ（ｘ）の逆関数ｘ’＝ｆ＾｛－１｝（ｙ）を、変換ルールとして生成する。

【0077】

変換ルールを生成すると、制御部２１は、変換部２１２として機能し、学習装置１０において生成された複数通りのモデルＭｋの精度Ａｋに対して変換ルールを適用し、精度Ａｋを変換精度Ｂｋに変換する（ステップＳ１７）。

【0078】

精度Ａｋを変換精度Ｂｋに変換すると、制御部２１は、学習データ評価部２１３として機能し、変換精度Ｂｋに基づいて、評価対象の学習データｉを評価する（ステップＳ１８）。具体的に説明すると、制御部２１は、上記（２）式に従って、評価対象の学習データｉがある場合とない場合の精度の差分を計算し、これを学習データの全ての組み合わせに亘って平均することで評価値φｉを計算する。

【0079】

評価値φｉを計算すると、制御部２１は、出力部２１４として機能し、計算した評価値φｉを示す出力情報を出力する（ステップＳ１９）。以上により、図１０に示した処理は終了する。

【0080】

以上説明したように、実施の形態１に係る学習データ評価システム１は、複数個の学習データのうちから組み合わせ可能な、学習データの複数通りの組み合わせＳｋをそれぞれ用いた機械学習により生成された複数通りの機械学習モデルのそれぞれの精度Ａｋを変換精度Ｂｋに変換し、変換精度Ｂｋに基づいて評価対象の学習データｉを評価する。その際に、実施の形態１に係る学習データ評価システム１は、精度Ａｋが高くなるほど変換精度Ｂｋの増加率が大きくなる非線形な変換ルールに従って、精度Ａｋを変換精度Ｂｋに非線形に変換する。

【0081】

このように機械学習モデルの精度Ａｋを非線形に変換した変換精度Ｂｋに基づくことにより、データサンプル数の少ない場合における精度の向上幅を過大評価してしまう問題が解消され、重要度が高いデータサンプル数が多い場合における精度の向上幅を公平に評価することができる。そのため、データサンプル数の違いに起因する誤評価を抑制して、学習データを適切に評価することができる。

【0082】

以上のように学習データを適切に評価することが可能になることにより、例えば、高精度な認識が可能な機械学習モデルを売買する市場において、複数の提供者から提供された学習データを用いて生成された機械学習モデルの売上を各提供者に公平に分配することにつながる。

【0083】

（実施の形態２）
次に、実施の形態２について説明する。実施の形態１と同様の構成及び機能については、適宜説明を省略する。

【0084】

実施の形態１では、評価対象の学習データｉは、学習データセット１２１が有する複数個の学習データのうちのいずれかであって、予め学習装置１０に記憶されていた。これに対して、実施の形態２では、評価対象の学習データｉは、ユーザから学習装置１０に提供される。

【0085】

図１１に、実施の形態２に係る学習データ評価システム１の構成を示す。図１１に示すように、実施の形態２に係る学習データ評価システム１は、学習装置１０と、学習データ評価装置２０と、要求端末３０と、を備える。これら各装置は、有線又は無線による通信回線を介して通信可能に接続されている。

【0086】

要求端末３０は、学習データ評価装置２０に対して評価対象の学習データｉを提供し、評価対象の学習データｉに対する評価を要求するための端末である。要求端末３０は、具体的には、パーソナルコンピュータ、スマートフォン、タブレット等のような、ユーザによって操作される装置である。要求端末３０は、図示を省略するが、ＣＰＵ、ＧＰＵ、ＤＳＰ等の制御部と、ＳＲＡＭ、ＤＲＡＭ、ＨＤＤ、ＳＳＤ等の記憶部と、外部のモジュールと通信するための入出力Ｉ／Ｆと、キーボード、タッチパネル等の操作部と、液晶ディスプレイ、有機ＥＬ（Electro Luminescence）ディスプレイ等の表示部と、を備える。

【0087】

図１２に、実施の形態２に係る学習装置１０の構成を示す。実施の形態２に係る学習装置１０は、制御部１１と、記憶部１２と、入出力Ｉ／Ｆ１３と、を備える。制御部１１は、機能的に、モデル生成部１１１と、精度算出部１１２と、学習データ受信部１１３と、を備える。これらの各機能は、ソフトウェア、ファームウェア、又は、ソフトウェアとファームウェアとの組み合わせによって実現される。

【0088】

学習データ受信部１１３は、評価対象の学習データｉを、要求端末３０から受信する。要求端末３０のユーザは、自身が所有する学習データがどの程度の価値を有しているかを確認することを望む場合、操作部を操作して、所望の学習データを評価対象の学習データｉとして指定し、学習データ評価装置２０による評価を要求する。ユーザからの要求を受けると、要求端末３０は、評価対象の学習データｉを学習装置１０に送信する。学習データ受信部１１３は、入出力Ｉ／Ｆ１３を介して要求端末３０と通信し、要求端末３０から送信された評価対象の学習データｉを受信する。

【0089】

なお、評価対象の学習データｉは、要求端末３０から学習装置１０に直接的に送信されることに限らず、例えば学習データ評価装置２０を経由して送信されても良い。

【0090】

モデル生成部１１１は、学習データ受信部１１３により受信された評価対象の学習データｉを含む複数個の学習データのうちから組み合わせ可能な複数通りの組み合わせＳｋをそれぞれ用いた機械学習を実行することにより、複数通りの機械学習モデルを生成する。機械学習に用いられる複数個の学習データのうちの、評価対象の学習データｉ以外の学習データは、既知の学習データとして、予め学習装置１０の記憶部１２に記憶されている。

【0091】

以下では、予め記憶部１２に（Ｚ－１）個の既知の学習データが記憶されている場合を例にとって説明する。この場合において、学習データ受信部１１３が要求端末３０から評価対象の学習データｉを受信すると、モデル生成部１１１は、（Ｚ－１）個の既知の学習データと、新たに受信された評価対象の学習データｉと、を合わせたＺ個の学習データを用いる。

【0092】

具体的に説明すると、モデル生成部１１１は、Ｚ個の学習データのうちから組み合わせ可能な２＾Ｚ通りの組み合わせＳｋ（ｋ＝１，２，…，２＾Ｚ）をそれぞれ用いて機械学習を実行することにより、２＾Ｚ通りのモデルＭｋを生成する。精度算出部１１２は、モデル生成部１１１により生成された２＾Ｚ通りのモデルＭｋのそれぞれの精度を算出する。このようなモデル生成部１１１及び精度算出部１１２の処理は、実施の形態１で説明した処理と同様である。また、学習データ評価装置２０における変換ルール生成部２１１、変換部２１２及び学習データ評価部２１３の処理も、実施の形態１で説明した処理と同様であるため、説明を省略する。

【0093】

但し、モデル生成部１１１は、２＾Ｚ通りのモデルＭｋのうちの、（Ｚ－１）個の既知の学習データから生成される２＾（Ｚ－１）通りのモデルＭｋを、評価対象の学習データｉが要求端末３０から受信される前に、予め生成しておく。同様に、精度算出部１１２は、予め生成された２＾（Ｚ－１）通りのモデルＭｋの精度Ａｋを、予め算出しておく。これにより、評価対象の学習データｉが受信された場合における計算量を削減する。

【0094】

具体的に説明すると、モデル生成部１１１は、学習データ受信部１１３により評価対象の学習データｉが新たに受信されると、評価対象の学習データｉと既知の学習データとを合わせたＺ個の学習データのうちから組み合わせ可能な２＾Ｚ通りの組み合わせのうちの、評価対象の学習データｉを含む２＾（Ｚ－１）通りの組み合わせＳｋ（ｋ＝１，２，…，２＾（Ｚ－１））をそれぞれ用いて、２＾（Ｚ－１）通りのモデルＭｋを生成する。そして、精度算出部１１２は、生成された２＾（Ｚ－１）通りのモデルＭｋのそれぞれの精度Ａｋを算出する。これに対して、２＾Ｚ通りの組み合わせのうちの、評価対象の学習データｉを含まない残りの２＾（Ｚ－１）通りの組み合わせＳｋについては、モデルＭｋの生成処理と精度Ａｋの算出処理は省略される。

【0095】

学習データ評価装置２０において、出力部２１４は、学習データ評価部２１３による評価結果を、評価対象の学習データｉの送信元である要求端末３０に出力する。具体的に説明すると、出力部２１４は、学習データ評価部２１３により計算された評価値φｉを示す出力情報を要求端末３０に送信し、要求端末３０の表示部に表示させる。これにより、出力部２１４は、評価対象の学習データｉの価値を要求端末３０のユーザに通知する。

【0096】

更に、出力部２１４は、出力情報として、評価値φｉに加えて、どのような尺度で精度の向上幅を評価したのかを可視化しても良い。具体的に、出力部２１４は、図８のように、精度とデータサンプル数とのペアによる散布図に曲線Ｌをフィッティングした結果を示す画像を表示しても良い。或いは、出力部２１４は、図９のように、評価対象の学習データｉがある場合とない場合とにおける精度の差分、及び変換精度の差分の散布図を表示しても良い。これにより、ユーザは、他の学習データの中における自身の学習データの位置づけを認識することができ、評価値φｉに対する納得感を得ることができる。

【0097】

なお、評価対象の学習データｉは、学習データ受信部１１３により要求端末３０から受信された後、記憶部１２に記憶され、既に記憶されている（Ｚ－１）個の学習データと共に、次回以降の機械学習の際に用いられる。これにより、学習データ受信部１１３により学習データが受信される毎に、機械学習に用いられる学習データが蓄積される。その結果として、学習データ評価装置２０における評価の精度が向上することにつながる。

【0098】

次に、図１３を参照して、実施の形態２に係る学習データ評価システム１において実行される処理の流れについて説明する。図１３に示す処理は、要求端末３０のユーザが評価対象の学習データｉの評価を要求したことに応答して、開始する。

【0099】

図１３に示す処理を開始すると、要求端末３０は、ユーザにより指定された評価対象の学習データｉを、学習装置１０に送信する（ステップＳ２０）。要求端末３０から評価対象の学習データｉが送信されると、学習装置１０において、制御部１１は、学習データ受信部１１３として機能し、評価対象の学習データｉを受信する。

【0100】

評価対象の学習データｉを受信すると、制御部１１は、受信した評価対象の学習データｉと、予め記憶部１２に記憶されている既知の学習データと、を合わせた複数個の学習データを用いて、ステップＳ２１～２５の処理を実行する。これにより、制御部１１は、複数通りの機械学習モデルの精度を算出し、算出した精度を示す精度データ１２３を学習データ評価装置２０に送信する。ステップＳ２１～２５の処理は、実施の形態１におけるステップＳ１１～１５の処理と同様である。

【0101】

但し、既知の学習データのみから生成されるモデルＭｋの精度Ａｋは、ステップＳ２０で評価対象の学習データｉが受信される前に予め算出され、学習データ評価装置２０に送信されている。そのため、制御部１１は、ステップＳ２１～Ｓ２４の処理を、新たに受信された評価対象の学習データｉを含む組み合わせＳｋのそれぞれに対して繰り返し、評価対象の学習データｉを含む組み合わせＳｋから生成されたモデルＭｋの精度Ａｋを算出する。

【0102】

学習データ評価装置２０において、制御部２１は、学習装置１０から精度データ１２３を受信すると、受信した精度データ１２３を用いて、ステップＳ２６～Ｓ２８の処理を実行する。これにより、制御部２１は、評価対象の学習データｉの評価値φｉを計算する。ステップＳ２６～２８の処理は、実施の形態１におけるステップＳ１６～１８の処理と同様である。

【0103】

評価値φｉを計算すると、制御部２１は、計算した評価値φｉを示す出力情報を要求端末３０に送信する（ステップＳ２９）。要求端末３０は、学習データ評価装置２０から出力情報を受信すると、受信した出力情報を表示部に表示する。以上により、図１３に示した処理は終了する。

【0104】

以上説明したように、実施の形態２に係る学習データ評価システム１は、要求端末３０から評価対象の学習データｉを受信し、受信した評価対象の学習データｉと既知の学習データとを合わせた複数個の学習データを用いて評価対象の学習データｉを評価し、評価結果を要求端末３０に出力する。これにより、ユーザは、自身が提供した学習データの価値を確認することができる。その結果として、確認した価値を報酬の分配の基準として使用したり、研究開発の検討材料として使用したりすることにつながる。

【0105】

（変形例）
以上、実施の形態を説明したが、各実施の形態を組み合わせたり、各実施の形態を適宜、変形、省略したりすることが可能である。

【0106】

例えば、上記実施の形態では、変換ルール生成部２１１は、精度算出部１１２により算出された複数個の精度Ａｋと対応するデータサンプル数とのペアに基づいて、変換ルールを生成した。しかしながら、変換ルール生成部２１１は、精度Ａｋとデータサンプル数との関係を表す曲線Ｌを十分に定めることができれば、変換ルールを生成する際にこれら全てのペアを用いなくても良い。

【0107】

また、学習データ評価部２１３は、学習データを評価する際に、精度算出部１１２により算出された複数個の精度Ａｋの全てを用いなくても良い。言い換えると、学習データ評価部２１３は、評価値φｉとして、上記（２）式に示した評価値φｉの厳密な値を計算せずに、その近似値を計算しても良い。

【0108】

例えば、非特許文献３“E. Strumbelj and I. Kononenko. Explaining prediction models and individual predictions with feature contributions. Knowledge and Information Systems, 41:647-665, 12 2013”では、Ｍｏｎｔｅ－Ｃａｒｌｏサンプリングに基づいて学習データの評価値の近似値を計算する方法が提案されている。学習データ評価部２１３は、非特許文献３に開示されたＭｏｎｔｅ－Ｃａｒｌｏサンプリングの手法を用いて、２＾Ｚ通りの組み合わせＳｋのうちから計算に使用しない少なくとも１つの組み合わせを間引いても良い。そして、学習データ評価部２１３は、上記（２）式において、Ｚ個の学習データから組み合わせ可能な２＾Ｚ通りの組み合わせの全てに亘って和をとらずに、２＾Ｚ通りの組み合わせのうちの間引かれなかった一部の組み合わせのみで和をとっても良い。

【0109】

上記実施の形態では、変換ルール生成部２１１は、上記（１）により定められる関数“ｙ＝ｆ（ｘ）”の逆関数“ｘ’＝ｆ＾｛－１｝（ｙ）”により変換ルールを生成した。しかしながら、関数“ｙ＝ｆ（ｘ）”は、上記（１）式のように対数を用いる関数に限らず、ｘとｙとを１対１で定めることができる関数であれば、他の形式の関数であっても良い。また、差分に基づいて学習データを評価するため、変換の前後で大小関係が変わらないように、関数“ｙ＝ｆ（ｘ）”は、単調増加な関数であることが好適である。また、変換ルールは、数式であることに限らず、テーブルによってｘとｙとの対応関係が定められても良い。

【0110】

上記実施の形態では、学習データ評価装置２０は、変換ルール生成部２１１の機能を備えていた。しかしながら、学習データ評価装置２０は、変換ルール生成部２１１の機能を備えていなくても良い。例えば、変換ルールは、過去のデータに基づいて予め生成されており、記憶部２２に記憶されていても良い。そして、変換部２１２は、記憶部２２に記憶されている変換ルールを参照して、精度Ａｋを変換精度Ｂｋに変換しても良い。

【0111】

上記実施の形態では、精度算出部１１２は、モデルＭｋの精度Ａｋとして、正解率を算出した。しかしながら、精度算出部１１２は、モデルＭｋの精度Ａｋとして、正解率に限らず、その他の指標を用いても良い。例えば、精度算出部１１２は、モデルＭｋの精度Ａｋとして、非特許文献２に開示された損失関数に基づく指標を用いても良い。

【0112】

上記実施の形態では、学習装置１０と学習データ評価装置２０とは、互いに独立した異なる装置であった。しかしながら、学習装置１０と学習データ評価装置２０とは、１つの装置であっても良い。言い換えると、１つの装置が、上述したモデル生成部１１１、精度算出部１１２、学習データ受信部１１３、変換ルール生成部２１１、変換部２１２、学習データ評価部２１３及び出力部２１４の各機能を備えても良い。この場合、１つの装置が、学習データ評価システム１に相当する。また、要求端末３０と学習装置１０とが１つの装置であっても良い。要求端末３０と学習データ評価装置２０とが１つの装置であっても良い。

【0113】

また、上記実施の形態では、学習装置１０がモデル生成部１１１と精度算出部１１２とを備えており、学習データ評価装置２０が変換ルール生成部２１１と変換部２１２と学習データ評価部２１３とを備えていた。しかしながら、モデル生成部１１１と精度算出部１１２とは異なる装置に備えられていても良いし、変換ルール生成部２１１と変換部２１２と学習データ評価部２１３とは異なる装置に備えられていても良い。このように、学習データ評価システム１において、各機能がどの装置に備えられていても良いし、一部又は全部の機能がクラウドサーバ上に備えられていても良い。

【0114】

上記実施の形態では、制御部１１，２１において、ＣＰＵ、ＧＰＵ、ＤＳＰ等がＲＯＭ又は記憶部１２，２２に記憶されたプログラムを実行することによって、モデル生成部１１１、精度算出部１１２、変換ルール生成部２１１、変換部２１２及び学習データ評価部２１３の各部として機能した。しかしながら、制御部１１，２１は、専用のハードウェアであってもよい。専用のハードウェアとは、例えば単一回路、複合回路、プログラム化されたプロセッサ、ＡＳＩＣ（Application Specific Integrated Circuit）、ＦＰＧＡ（Field-Programmable Gate Array）、又は、これらの組み合わせ等である。制御部１１，２１が専用のハードウェアである場合、各部の機能それぞれを個別のハードウェアで実現してもよいし、各部の機能をまとめて単一のハードウェアで実現してもよい。

【0115】

また、各部の機能のうち、一部を専用のハードウェアによって実現し、他の一部をソフトウェア又はファームウェアによって実現してもよい。このように、制御部１１，２１は、ハードウェア、ソフトウェア、ファームウェア、又は、これらの組み合わせによって、上述の各機能を実現することができる。

【0116】

学習装置１０又は学習データ評価装置２０の動作を規定する動作プログラムを既存のパーソナルコンピュータ、情報端末装置等のコンピュータに適用することで、当該コンピュータを、学習装置１０又は学習データ評価装置２０として機能させることも可能である。

【0117】

また、このようなプログラムの配布方法は任意であり、例えば、ＣＤ－ＲＯＭ（Compact Disk ROM）、ＤＶＤ（Digital Versatile Disk）、ＭＯ（Magneto Optical Disk）、メモリカード等のコンピュータ読み取り可能な記録媒体に格納して配布してもよいし、インターネット等の通信ネットワークを介して配布してもよい。

【0118】

本開示は、本開示の広義の精神と範囲を逸脱することなく、様々な実施の形態及び変形が可能とされるものである。また、上述した実施の形態は、この開示を説明するためのものであり、本開示の範囲を限定するものではない。すなわち、本開示の範囲は、実施の形態ではなく、請求の範囲によって示される。そして請求の範囲内及びそれと同等の開示の意義の範囲内で施される様々な変形が、この開示の範囲内とみなされる。

【産業上の利用可能性】

【0119】

本開示は、機械学習技術等に好適に採用され得る。

【符号の説明】

【0120】

１ 学習データ評価システム、１０ 学習装置、１１ 制御部、１２ 記憶部、１３ 入出力Ｉ／Ｆ、２０ 学習データ評価装置、２１ 制御部、２２ 記憶部、２３ 入出力Ｉ／Ｆ、３０ 要求端末、１１１ モデル生成部、１１２ 精度算出部、１１３ 学習データ受信部、１２１ 学習データセット、１２２ 評価データセット、１２３ 精度データ、２１１ 変換ルール生成部、２１２ 変換部、２１３ 学習データ生成部、２１４ 出力部

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】