特開 2024-82358 学習データ評価システム、方法およびプログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2024082358

(43)【公開日】2024-06-20

(54)【発明の名称】学習データ評価システム、方法およびプログラム

(51)【国際特許分類】

   G06T 7/00 20170101AFI20240613BHJP

   G06T 7/70 20170101ALI20240613BHJP

   G06V 10/72 20220101ALI20240613BHJP

   G06N 20/10 20190101ALI20240613BHJP

【ＦＩ】

G06T7/00 350B

G06T7/70

G06V10/72

G06N20/10

【審査請求】未請求

【請求項の数】14

【出願形態】ＯＬ

(21)【出願番号】P 2022196152

(22)【出願日】2022-12-08

(71)【出願人】

【識別番号】000233055

【氏名又は名称】株式会社日立ソリューションズ

(74)【代理人】

【識別番号】110000279

【氏名又は名称】弁理士法人ウィルフォート国際特許事務所

(72)【発明者】

【氏名】梁 宇シン

(72)【発明者】

【氏名】恵木 正史

(72)【発明者】

【氏名】中山 晃治

【テーマコード（参考）】

5L096

【Ｆターム（参考）】

5L096AA02

5L096AA03

5L096CA01

5L096FA01

5L096FA31

5L096GA51

5L096HA11

5L096JA03

5L096JA11

5L096KA04

5L096MA07

(57)【要約】

【課題】学習データの追加を効果的かつ効率よく行うことを可能にする。
【解決手段】学習データ評価システムが、学習データの不足を評価するための評価データを入力として機械学習モデルから得られる予測値と、前記評価データに対する正解と、に基づいて、前記評価データごとの学習データの不足の程度を表すデータ不足度を算出する不確実性算出部と、予め定められた選定ルールと、前記データ不足度と基づいて、学習データの追加の対象とするべきデータである対象データを抽出する対象選定部と、予め定められた分析ルールに基づいて、前記対象データの傾向を特定し、前記対象データの傾向に基づいて、追加すべき学習データの性質を特定する傾向分析立案部と、を有する。
【選択図】図１

【特許請求の範囲】

【請求項1】

学習データの不足を評価するための評価データを入力として機械学習モデルから得られる予測値と、前記評価データに対する正解と、に基づいて、前記評価データごとの学習データの不足の程度を表すデータ不足度を算出する不確実性算出部と、
予め定められた選定ルールと、前記データ不足度と基づいて、学習データの追加の対象とするべきデータである対象データを抽出する対象選定部と、
予め定められた分析ルールに基づいて、前記対象データの傾向を特定し、前記対象データの傾向に基づいて、追加すべき学習データの性質を特定する傾向分析立案部と、を有する学習データ評価システム。

【請求項2】

前記データ不足度には、前記機械学習モデルに含まれる重みを改変させたときの前記予測値のばらつきの程度を表すゆらぎ値が含まれ、
前記選定ルールは、前記ゆらぎ値に基づいて対象データを分類するというルールを含んで予め定められており、
前記対象選定部は、前記選定ルールおよび前記ゆらぎ値に基づいて、前記対象データを抽出する、
請求項１に記載の学習データ評価システム。

【請求項3】

前記選定ルールは、前記ゆらぎ値が上位から所定の割合に含まれるデータを対象データとするというルールを含んで予め定められている、
請求項２に記載の学習データ評価システム。

【請求項4】

前記機械学習モデルは、画像の中から所定の物体を検出するためのモデルであり、
前記選定ルールは、正解に対する予測値のＩｏＵが所定の閾値よりも小さく、かつ、前記ゆらぎ値が上位から前記割合に含まれるデータを前記対象データとするというルールを含む、
請求項３に記載の学習データ評価システム。

【請求項5】

前記機械学習モデルは、画像に写り込んでいるものを識別するためのモデルであり、
前記選定ルールは、前記ゆらぎ値が所定の閾値より大きい評価データを前記対象データとするというルールを含む、
請求項２に記載の学習データ評価システム。

【請求項6】

前記分析ルールは、前記対象データを共通する性質によって複数の分類グループに分類するというルールを含んで予め定められており、
前記傾向分析立案部は、前記分析ルールに基づいて、前記対象データを前記分類グループに分類し、分類グループ毎に追加すべき学習データの性質を特定する、
請求項１に記載の学習データ評価システム。

【請求項7】

前記機械学習モデルは、画像の中から所定の物体を検出するためのモデルであり、
前記分析ルールは、正解に含まれる物体の色彩分散が所定の閾値よりも大きい前記対象データを１つの分類グループに分類するというルールを含んで予め定められており、
前記傾向分析立案部は、当該分類グループに分類された前記対象データに基づき、前記色彩分散が前記閾値より大きい画像を生成して学習データに追加すべきであると提案する、
請求項６に記載の学習データ評価システム。

【請求項8】

前記機械学習モデルは、画像に写り込んでいるものを識別するためのモデルであり、
前記分析ルールは、画素のゆらぎ値に対する貢献度が所定の閾値より大きい画素の画像内における分布により対象データを対象分類グループに分類するというルールを含んでおり、
前記傾向分析立案部は、前記分析ルールに基づいて前記対象分類グループに分類された対象データから、前記対象分類グループの前記分布を有する画像を生成して学習データに追加すべきであると提案する、
請求項６に記載の学習データ評価システム。

【請求項9】

前記対象分類グループに共通する性質と、該対象分類グループの前記分布に基づく画像を有する学習データを追加すべきとする改善計画とを対応付けた改善案を表示する表示部を更に有する、
請求項８に記載の学習データ評価システム。

【請求項10】

前記貢献度は、

【数1】

という式により算出される値である、
請求項８に記載の学習データ評価システム。

【請求項11】

前記貢献度は、

【数2】

という式により算出される値である、
請求項８に記載の学習データ評価システム。

【請求項12】

前記機械学習モデルは、画像の中から所定の物体が存在する領域と推定される領域を示す矩形を予測値候補として１つ以上出力するモデルであり、
前記不確実性算出部は、前記評価データに対する正解を表す矩形との類似度が最も高い矩形の予測値候補を前記評価データに対する予測値とする、
請求項１に記載の学習データ評価システム。

【請求項13】

処理装置を有する装置による学習データ評価方法であって、
学習データの不足を評価するための評価データを入力として機械学習モデルから得られる予測値と、前記評価データに対する正解と、に基づいて、前記評価データごとの学習データの不足の程度を表すデータ不足度を算出する不確実性算出ステップと、
予め定められた選定ルールと、前記データ不足度と基づいて、学習データの追加の対象とするべきデータである対象データを抽出する対象選定ステップと、
予め定められた分析ルールに基づいて、前記対象データの傾向を特定し、前記対象データの傾向に基づいて、追加すべき学習データの性質を特定する傾向分析立案ステップと、を有する、
学習データ評価方法。

【請求項14】

学習データ評価プログラムであって、
処理装置を有する装置に、
学習データの不足を評価するための評価データを入力として機械学習モデルから得られる予測値と、前記評価データに対する正解と、に基づいて、前記評価データごとの学習データの不足の程度を表すデータ不足度を算出する不確実性算出機能と、
予め定められた選定ルールと、前記データ不足度と基づいて、学習データの追加の対象とするべきデータである対象データを抽出する対象選定機能と、
予め定められた分析ルールに基づいて、前記対象データの傾向を特定し、前記対象データの傾向に基づいて、追加すべき学習データの性質を特定する傾向分析立案機能と、
を実現させる、学習データ評価プログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本開示は、機械学習の学習データ評価システム、学習データ評価方法および学習データ評価プログラムに関する。

【背景技術】

【0002】

学習データを学習することにより構築された予測モデルは、学習データが不足している領域では予測の精度が低下する。そのため、予測モデルの予測の精度を確保するために、学習データを評価し、不足があれば学習データを追加することが重要である。

【0003】

画像識別問題や領域識別問題における予測モデルに画像を入力し、予測モデルから得られる出力の揺らぎから、その画像についての学習データの不足の度合いを計算する手法がある（特許文献１、非特許文献１）。これらの手法では学習データの不足の度合いは画像毎に計算される。学習データに不足する画像的特徴を含む画像に対し、学習データの不足の度合いは高い値となる。

【0004】

特許文献２に記載のように、画像的特徴の情報と位置情報を人的に与えることで、学習データに追加すべき画像を自動で作成する手法がある。また、特許文献３に記載のように、学習データをクラスタリングすることにより比較的件数が少ない画像データを抽出し、その情報を可視化する手法がある。

【先行技術文献】

【特許文献】

【0005】

【特許文献1】特表２０２２－５２１９５７号公報

【特許文献2】国際公開ＷＯ２０２１／１９３３４７Ａ１号明細書

【特許文献3】特表２０２０－５２２０５５号公報

【非特許文献】

【0006】

【非特許文献1】Ａ， Ｋｅｎｄａｌｌ， ｅｔ ａｌ “Ｗｈａｔ ｕｎｃｅｒｔａｉｎｔｉｅｓ ｄｏ ｗｅ ｎｅｅｄ ｉｎ Ｂａｙｅｓｉａｎ ｄｅｅｐ ｌｅａｒｎｉｎｇ ｆｏｒ ｃｏｍｐｕｔｅｒ ｖｉｓｉｏｎ ？” ａｒＸｉｖ：１７０３．０４９７７．

【発明の概要】

【発明が解決しようとする課題】

【0007】

学習データの不足の度合いが画像毎に分かっても、どのような要因で不足の度合いが高くなっているのか、あるいは、不足の度合いが高い画像から学習データに追加すべき画像としてどのような画像を作成すればよいのかは分からない。結局は、学習データの不足の度合いの高い画像から、どのような画像を追加すればよいかについては専門家が画像等を基に人的判断を行っており、非効率である。

【0008】

本開示に含まれるひとつの目的は、学習データの追加を効果的かつ効率よく行うことを可能にする技術を提供することである。

【課題を解決するための手段】

【0009】

本発明の一つの実施態様に従う学習データ評価システムは、学習データの不足を評価するための評価データを入力として機械学習モデルから得られる予測値と、前記評価データに対する正解と、に基づいて、前記評価データごとの学習データの不足の程度を表すデータ不足度を算出する不確実性算出部と、予め定められた選定ルールと、前記データ不足度と基づいて、学習データの追加の対象とするべきデータである対象データを抽出する対象選定部と、予め定められた分析ルールに基づいて、前記対象データの傾向を特定し、前記対象データの傾向に基づいて、追加すべき学習データの性質を特定する傾向分析立案部と、を有する。

【発明の効果】

【0010】

本発明によれば、学習データの追加を効果的かつ効率よく行うことを可能にする学習データ評価システム、学習データ評価方法および学習データ評価プログラムを提供できる。

【図面の簡単な説明】

【0011】

【図1】学習データ評価システムの構成例を示す機能ブロック図である。

【図2】学習データのフォーマットを例示する概念図である。

【図3】評価データのフォーマットを例示する概念図である。

【図4】機械学習モデルの構造を例示する概念図である。

【図5】判定データのフォーマットを例示する概念図である。

【図6】不確実性データのフォーマットを例示する概念図である。

【図7】選定ルールのフォーマットを例示する概念図である。

【図8】分析ルールのフォーマットを例示する概念図である。

【図9】穴埋め後の改善案データのフォーマットを例示する概念図である。

【図10】不確実性算出処理を例示するフローチャートである。

【図11】対象選定処理を例示するフローチャートである。

【図12】傾向分析立案処理を例示するフローチャートである。

【図13】不確実性データのフォーマットを例示する概念図である。

【図14】対象選定部による選定結果を例示する概念図である。

【図15】表示部における表示例を示す図である。

【図16】表示部における表示例を示す図である。

【図17】判定データのフォーマットを例示する概念図である。

【図18】不確実性データのフォーマットを例示する概念図である。

【図19】正解予測同定処理を例示するフローチャートである。

【図20】表示部における表示例を示す図である。

【図21】表示部における表示例を示す図である。

【発明を実施するための形態】

【0012】

以下、本発明の実施形態について図面を参照して説明する。

【実施例0013】

図１は、学習データ評価システムの構成例を示す機能ブロック図である。

【0014】

学習データ評価システム１は、図示を省略する処理装置と記憶装置とを少なくとも備える。学習データ評価システム１は、通信装置、入力装置、出力装置等をさらに備えていてもよい。

【0015】

処理装置は、例えばＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）、ＭＰＵ（Ｍｉｃｒｏ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）、ＧＰＵ（Ｇｒａｐｈｉｃｓ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）、ＦＰＧＡ（Ｆｉｅｌｄ－Ｐｒｏｇｒａｍｍａｂｌｅ Ｇａｔｅ Ａｒｒａｙ）等で構成される。処理装置が、記憶装置に格納されている各種プログラムやデータを読み出して実行することにより、学習データ評価システム１の様々な機能が実現される。

【0016】

より具体的には、処理装置は記憶装置に格納されている各種プログラムやデータを読み出して実行することにより、機械学習部１１と、判定部１２と、不確実性算出部１３と、対象選定部１４と、傾向分析立案部１５とを実現する。

【0017】

記憶装置はプログラムやデータを記憶する装置であり、例えば、Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ（ＲＡＭ）、Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ（ＲＯＭ）、不揮発性半導体メモリ（Ｎｏｎ－Ｖｏｌａｔｉｌｅ ＲＡＭ（ＮＶＲＡＭ））である。

【0018】

記憶装置は、例えば、Ｈａｒｄ Ｄｉｓｃ Ｄｒｉｖｅ（ＨＤＤ）、Ｓｏｌｉｄ Ｓｔａｔｅ Ｄｒｉｖｅ（ＳＳＤ）、ストレージシステム、Ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔ（ＩＣ）カード、Ｓｅｃｕｒｅ Ｄｉｇｉｔａｌ（ＳＤ）メモリカードや光学式記録媒体（Ｃｏｍｐａｃｔ Ｄｉｓｃ（ＣＤ）、Ｄｉｇｉｔａｌ Ｖｅｒｓａｔｉｌｅ Ｄｉｓｃ（ＤＶＤ）など）などの記録媒体の読み取りおよび書き込み装置、クラウドサーバの記憶領域であってもよい。

【0019】

記憶装置は、上述の各種の記憶装置を複数組み合わせたものであってもよい。

【0020】

記憶装置に各種のプログラムやデータが記憶される。具体的には、学習データ２１と、評価データ２２と、機械学習モデル２３と、判定データ２４と、不確実性データ２５と、選定ルール２６と、分析ルール２７と、改善案データ２８とが、記憶装置に記憶される。

【0021】

通信装置はＬｏｃａｌ Ａｒｅａ Ｎｅｔｗｏｒｋ（ＬＡＮ）やＩｎｔｅｒｎｅｔなどの通信手段を介した他の装置との間の通信を実現する有線または無線方式の通信インターフェースであり、例えば、Ｎｅｔｗｏｒｋ Ｉｎｔｅｒｆａｃｅ Ｃａｒｄ（ＮＩＣ）、無線通信モジュール、Ｕｎｉｖｅｒｓａｌ Ｓｅｒｉａｌ Ｉｎｔｅｒｆａｃｅ（ＵＳＢ）モジュール、シリアル通信モジュールである。

【0022】

入力装置はユーザからの入力を受け付ける装置である。入力装置は、例えば、キーボード、マウス、タッチパネル、カードリーダ、音声入力装置である。

【0023】

出力装置はユーザに処理経過や処理結果などの各種情報を提供する装置である。出力装置は、例えば、画面表示装置（Ｌｉｑｕｉｄ Ｃｒｙｓｔａｌ Ｄｉｓｐｌａｙ（ＬＣＤ）、Ｈｅａｄ Ｍｏｕｎｔｅｄ Ｄｉｓｐｌａｙ（ＨＭＤ）など）、音声出力装置、印字装置等である。なお、学習データ評価システム１が通信装置を介して、他の装置との間で情報の入力や出力を行う構成としてもよい。

【0024】

引き続き図１を参照して、学習データ評価システム１が行うデータ処理の概略を説明する。

【0025】

機械学習部１１は、入力データである学習データ２１を用いて機械学習を行う。機械学習の種類については特に限定しない。機械学習の結果、学習済みの機械学習モデル２３が構築される。なお、実施例１においては、機械学習モデル２３は、機械学習によって得られるモデルである。機械学習モデル２３の一例として、物体検知モデル、すなわち画像の中から所定の物体を検知するためのモデルがある。ただし、学習データ評価システム１が適応可能な問題は物体検知問題には限られないので、機械学習モデル２３は物体検知以外のモデル、例えば領域分割問題、分類問題、回帰問題などの他のタイプの問題に適応するモデルであってもよい。

【0026】

判定部１２は、構築された機械学習モデル２３に評価データ２２を入力することにより、判定データ２４を出力する。判定データ２４には、機械学習モデル２３から得られる予測値が含まれる。

【0027】

不確実性算出部１３は、機械学習モデル２３と判定データ２４とに基づいて、不確実性データを生成する。生成された不確実性データ２５が記憶装置に記憶される。

【0028】

対象選定部１４は、予め定めて記憶しておいた選定ルール２６と、不確実性データ２５とに基づいて、対象データを抽出する。ここでいう抽出とは、データを複数のクラスタに分類することを含む。実際、抽出は、抽出対象とするクラスタと、抽出対象とはしないクラスタの２つのクラスタに分類すると解釈することもできる。

【0029】

すなわち対象選定部１４は、予め定められた選定ルールと、不確実性データ２５に含まれるデータ不足度と基づいて、学習データの追加の対象とするべきデータである対象データを抽出する。

【0030】

より特定手的には、対象選定部１４は、選定ルールおよびゆらぎ値に基づいて、対象データを抽出する。

【0031】

傾向分析立案部１５は、予め定めて記憶しておいた分析ルール２７に基づいて、各々の対象データを分析し、改善案データ２８を生成する。より詳しくは、傾向分析立案部１５は、予め定められた分析ルール２７に基づいて、対象データの傾向を特定し、対象データの傾向に基づいて、追加すべき学習データの性質を特定する。ここでいう傾向とは、データが不足している、等の傾向を意味する。学習データの性質は、例えば、物体の色彩分散が０．３以上である等の、分析ルール２７に含まれる傾向判断条件に対応した性質であってよい。

【0032】

表示部３１は、傾向分析立案部１５による傾向分析結果を表示する。表示部３１は、傾向分析結果と改善案データ２８に基づくデータとを合わせて表示してもよい。

【0033】

図２は、学習データ２１のフォーマットを例示する概念図である。

【0034】

なお、図２には、物体検知問題を解く場合の学習データのフォーマット例を示している。ただし、学習データ評価システム１が適応可能な問題は物体検知問題には限られず、領域分割問題、分類問題、回帰問題などの他のタイプの問題にも適応可能である。

【0035】

学習データＩＤ１００は、そのデータに一意に付与されたＩＤである。

【0036】

特徴量１０１は、学習データの特徴を示す情報である。物体検知問題の場合は、入力画像を示す多次元配列となる。

【0037】

正解１０２および１０３は、例えば物体検知問題では各物体の位置情報、物体が存在する尤度、物体のクラス情報を含む。正解＿１、正解＿２…の数は、検出された物体の数に応じたものとなる。例えば検出された物体が２つの場合は正解は正解＿１、正解＿２までとなる。各正解には物体の位置情報、尤度、クラス情報などの値が含まれる。例えば、識別問題では、識別対象とするクラスごとの情報である。正解＿１、正解＿２…の数は、識別対象とするクラス数に応じたものとなる。例えばクラス数が３であれば、正解は正解＿１、正解＿２、正解＿３までとなる。回帰問題であれば識別対象とするクラス数は１つのみとなる。

【0038】

正解の形式は、対象とする問題の種類により異なる。例えば図２に示した、物体検知問題の場合は各矩形［ｘ，ｙ，ｗ，ｈ，ｃｌｓ，ｏｂｊ］で表現される。ｘは矩形枠のＸ座標、ｙは矩形枠のＹ座標、ｗは矩形枠の幅、ｈは矩形枠の高さ、ｃｌｓはクラス、ｏｂｊは当該矩形枠内に対象となる物体が存在するか否かの尤度を示す値である。識別問題の場合は各正解に紐づいたクラスに分類する尤度を１次元情報で表現される。他の種類の問題においても、当業者が一般的に用いる正解データのフォーマットが用いられてよい。

【0039】

図３は、評価データ２２のフォーマットを例示する概念図である。評価データ２２は、学習データの不足を評価するために用いられる。

【0040】

評価データ２２における、評価データＩＤ２００、特徴量２０１、正解２０２および２０３のフォーマットは、学習データ２１における学習データＩＤ１００，特徴量１０１、正解１０２および１０３と同様であるため、詳しい説明は省略する。

【0041】

図４は、機械学習モデル２３の構造を例示する概念図である。

【0042】

レイヤ３００は、機械学習モデル２３に含まれるレイヤの番号を意味している。レイヤ種別３０１は、例えば全結合層や畳み込み層などの、層の種類を意味している。レイヤパラメータ３０２は、その層についてのパラメータ、すなわち各層のウェイトの値を意味している。レイヤパラメータは、ニューラルネットワークに含まれるレイヤ数だけ存在し、各レイヤパラメータには、当該レイヤのノード数の分だけの次元数がある。

【0043】

重み改変パターン３０３および３０４は、ニューラルネットワークに含まれる層において、各ノードの重みを改変させる場合の、改変のパターンを意味している。なお、ノードの重みの改変方法としては、重みの値を変更する方法や、そのノード自体を欠損（Ｄｒｏｐｏｕｔ）させる方法などがある。なお、Ｄｒｏｐｏｕｔについては、そのノードの重みやバイアスの値を０にすることにより表現可能である。１つのレイヤについて、改変パターンの数は、１つであったり２つ以上であったりする。重み改変パターンには、レイヤパラメータと同じ次元数がある。重み改変パターンは、例えば、Ｄｒｏｐｏｕｔで欠損させるノード＝０、欠損させない維持ノード＝１として表現されている。

【0044】

なお、本開示の実施形態においては、機械学習モデル２３に含まれる各層をＤｒｏｐｏｕｔによって改変し、改変による出力値のゆらぎを計測する。このゆらぎを示す値、すなわちゆらぎ値を、不確実性算出部１３が不確実性データ中のデータ不足度として算出する。

【0045】

すなわち、不確実性算出部１３は、機械学習モデル２３から得られる予測値と、評価データに対する正解と、に基づいて、評価データごとの学習データの不足の程度を表すデータ不足度を算出する。データ不足度には、機械学習モデル２３に含まれる重みを改変させたときの予測値のばらつきの程度を表すゆらぎ値が含まれる。

【0046】

図５は、判定データ２４のフォーマットを例示する概念図である。

【0047】

判定結果ＩＤ４０１は、判定の結果を一意に示す識別情報である。評価データＩＤ４０２は、評価データを一意に示す識別情報である。重み改変パターン４０３は、図４を参照して説明した重み改変パターンを意味している。

【0048】

正解に対応する予測結果４０４および４０５は、判定部１２が機械学習モデル２３に評価データ２２を入力して得られる予測値である。なお、物体検知問題では、検出した物体が１つである場合は、検出された物体に対する予測結果が判定データ２４に含まれる。検出した物体が２つである場合は、各検出された物体に対応する予測結果が判定データ２４に含まれる。また、識別問題では、識別対象となるクラスが２つである場合は、正解１に対応する予測結果と、正解２に対応する予測結果とが判定データ２４に含まれる。識別対象となるクラスが３つである場合は、正解１に対応する予測結果と、正解２に対応する予測結果と、正解３に対応する予測結果とが判定データ２４に含まれる。つまり、クラスの数だけ、正解に対応する予測結果がある。そして上述のように、機械学習モデル２３の各クラスに対する予測値は、各重み改変パターン（ｄｒｏｐｏｕｔの欠損パターン）に応じて、ゆらぎを有する。

【0049】

図６は、不確実性データ２５のフォーマットを例示する概念図である。

【0050】

不確実性ＩＤ５０１は、各々の不確実性データを一意に示す識別情報である。判定結果ＩＤ５０２および評価データＩＤ５０３は、図５における判定結果ＩＤ４０１および評価データＩＤ４０２と同様であるため、詳しい説明は省略する。

【0051】

正解に対応するデータ不足度５０４および５０５は、不確実性算出部１３が算出したスコアであって、正解の数だけ存在する。例えば物体検知の場合は、不確実性算出部１３は各矩形に対応する［ｘ，ｙ，ｗ，ｈ，ｃｌｓ，ｏｂｊ］の６つについて、それぞれスコアを算出する。分類問題の場合、不確実性算出部１３はクラスごと（グー、チョキ、パーの３クラスに分類するなら３つ）のスコアを算出する。回帰問題の場合、クラスの数は１つのみであるので、不確実性算出部１３は正解＿１に対応するデータ不足度５０４のスコアのみを算出する。この場合、正解＿２以降はそもそも無い。

【0052】

データ不足度とは、各評価データに対し、異なる重み改変パターンで得た予測値のバラつきを示すスコアである。このスコアは、より具体的には標準偏差や分散などであってよい。

【0053】

図７は、選定ルール２６のフォーマットを例示する概念図である。選定ルール２６は、ゆらぎ値に基づいて対象データを分類するというルールを含んで予め定められている。

【0054】

ルールＩＤ６００は、そのルールを一意に示す識別情報である。条件６０１は、後述の分類６０２として対象データを分類するための条件である。分類６０２は、データをどのように分類するかを示す情報である。

【0055】

図中のモデル出力とは、機械学習モデル２３が出力する予測値を意味している。例えば、正解に対応する予測値のＩｏＵが所定の閾値、例えば０．３より大きい場合、対象選定部１４はそのデータを正常データであると分類する。

【0056】

正解に対応する予測値のＩｏＵが所定の閾値、例えば０．３より小さく、かつ、データ不足度が上位５％以内に入る場合、対象選定部１４はそのデータをデータ不足候補であると分類して、対象データとする。これはつまり、予測値が正解から乖離しており、かつデータ不足でもあると考えられる場合である。

【0057】

なお、データ不足度を基準にした対象データの抽出は、上位５％以内という基準以外のものであってもよい。すなわち選定ルール２６は、ゆらぎ値（データ不足度）が上位から所定の割合に含まれるデータを対象データとするというルールを含んで予め定められていてよい。

【0058】

正解に対応する予測値のＩｏＵが所定の閾値、例えば０．３より小さく、かつ、データ不足度が下位９５％に入り、かつ、モデルの出力値（ｏｂｊ）が所定の値、例えば０．４２以下である場合、対象選定部１４はそのデータを要懐疑データクラスタ１であると分類する。これはつまり、その矩形にオブジェクトが含まれるという蓋然性も低い（ｏｂｊの値が小さい）ので、当該データは物体検知が困難なデータであると分類することを意味している。

【0059】

正解に対応する予測値のＩｏＵが所定の閾値、例えば０．３より小さく、かつ、データ不足度が下位９５％に入り、かつ、モデルの出力値（ｏｂｊ）が所定の値、例えば０．４２より大きい場合、対象選定部１４はそのデータを要懐疑データクラスタ２であると分類する。これはつまり、その矩形にオブジェクトが含まれるという蓋然性は高い（ｏｂｊの値が小さい）ものの、予測と正解とが乖離しており、明らかにデータ不足とも言えないので、当該データはデータノイズ候補であると分類することを意味している。

【0060】

なお、図７に示した条件６０１の内容は、物体検知問題の場合に予め設定する条件の一例である。問題の種類や、機械学習を用いて行いたい処理内容に応じて、異なる条件を条件６０１に予め登録してよい。例えば識別問題の場合には、ゆらぎ値（データ不足度）に対する閾値や値が上位5%である、などと定めてもよい。

【0061】

図８は、分析ルール２７のフォーマットを例示する概念図である。

【0062】

文責項目ＩＤ７００は、分析対象とするデータ項目を一意に示す識別情報である。

【0063】

分類７０１は、後述の傾向判断条件に基づく分類を意味する。傾向判断条件に合致するか否かを判断するということは、傾向判断条件によって特定される共通の性質を有する対象データを、その傾向判断条件によって分類することであると解釈できる。すなわち分析ルール２７は、対象データを共通する性質によって複数の分類グループに分類するというルールを含んで予め定められている。図８においては、分析項目ＩＤ＝１０２のグループや、分析項目ＩＤ＝１０３のグループに、対象データを分類している。この場合、傾向分析立案部１５は、分析ルール２７に基づいて、対象データを分類グループに分類し、分類グループ毎に追加すべき学習データの性質を特定することになる。

【0064】

傾向判断条件７０２は、例えば対象データをデータ不足候補であると分類する場合の、判断条件（共通の性質）を示す情報である。一例としては、正解に含まれる物体の色彩分散が０．３より大きい場合や、後述する貢献度に基づいて形成されるクラスタの形状がどの程度類似しているかを意味する類似度（Ｓｉｍｉｌａｒｉｔｙ）の値などが、傾向判断条件となる。

【0065】

なお、分析ルール２７は、正解に含まれる物体の色彩分散が所定の閾値（例えば０．３）よりも大きい対象データを１つの分類グループ（分析項目ＩＤ＝１０２のグループ）に分類するというルールを含んで予め定められている。この場合、傾向分析立案部１５は、当該分類グループに分類された対象データに基づき、色彩分散が閾値より大きい画像を生成して学習データに追加すべきであると提案してよい。

【0066】

根拠テンプレート７０３および改善計画テンプレート７０４は、ユーザに対して表示部３１を介して表示する情報のテンプレートである。これらのテンプレートにおける「Ｘ」は変数である。表示部３１からは、データの内容に応じた値を「Ｘ」の所に穴埋めした状態で情報を表示する。この穴埋めの処理は、例えば傾向分析立案部１５が行う。穴埋め後のデータが改善案データ２８として記憶されてよい。

【0067】

図９は、穴埋め後の改善案データ２８のフォーマットを例示する概念図である。案ＩＤ８００は、案を一意に示す識別情報である。グループ８０１は、図８に示した分類７０１に相当するグループである。共通性（根拠）８０２および改善計画８０３は、図８の根拠テンプレート７０３および改善計画テンプレート７０４にそれぞれ穴埋めを行った後の情報である。なお、図９に示したように、傾向分析立案部１５は、テンプレートの「Ｘ」の所に値を穴埋めするだけでなく、（ｅｘ． データ＃１＿正解Ａ， データ＃５＿正解Ａ， データ＃５＿正解Ｂ）といったように、改善計画の内容に応じた情報をさらに付加してもよい。

【0068】

図１０は、不確実性算出処理を例示するフローチャートである。

【0069】

不確実性算出部１３が、不確実性算定処理を行う。不確実性算出部１３は、評価データごと、重み改変パターンごと、および正解値ごとに、ステップＳ９０１とＳ９０２とを行う。

【0070】

ステップＳ９０１において不確実性算出部１３は、正解と予測値とを対応づける。

【0071】

ステップＳ９０２において不確実性算出部１３は、正解に対応付けされた予測値のゆらぎに基づき、当該正解に対応するデータ不足度を計算する。

【0072】

図１１は、対象選定処理を例示するフローチャートである。

【0073】

対象選定部１４が、対象選定処理を行う。対象選定部１４は、評価データごと、および、正解（正解＿１や正解＿２など）ごとに、ステップＳ１００１を行う。

【0074】

ステップＳ１００１において対象選定部１４は、選定ルールに基づき、各評価データの各正解を分類する（図８参照）。

【0075】

図１２は、傾向分析立案処理を例示するフローチャートである。

【0076】

傾向分析立案部１５は、評価データごとに、ループ開始ＬＳ２以降の処理を行う（ループ開始ＬＳ１）。傾向分析立案部１５は、正解ごとに、ループ開始ＬＳ３以降の処理を行う（ループ開始ＬＳ２）。傾向分析立案部１５は、分析ルールごとに、ステップＳ１１０１からＳ１１０４の処理を行う（ループ開始ＬＳ３）。

【0077】

分析ルールごとのループ（ＬＳ３～ＬＥ３）を抜けた後、傾向分析立案部１５はステップＳ１１０５の処理を行う。正解ごとのループ（ＬＳ２～ＬＥ２）と評価データごとのループ（ＬＳ１～ＬＥ１）とを抜けると、傾向分析立案処理が終了する。

【0078】

ステップＳ１１０１において傾向分析立案部１５は、正解の分類が分析ルールと一致するか否かを判定する。一致する場合（Ｓ１１０１：Ｙｅｓ）はステップＳ１１０２に処理が遷移する。一致しない場合は、分析ルールごとのループ終了ＬＥ３に到達し、次の分析ルールについてのステップＳ１１０１の処理を行う。

【0079】

ステップＳ１１０２において傾向分析立案部１５は、分析ルールに定めた判定を行う。例えば、当該ループにおける分析ルールが図８における分析項目ＩＤ＝１０２の分析ルールである場合、正解に含まれる物体の色彩分散が０．３より大きいか否かの判定を行う。なおこの場合、正解に含まれる物体の色彩分散が０．３より大きいならば、判定指標が判定条件（傾向判断条件）に合致したことになる。

【0080】

ステップＳ１１０３において傾向分析立案部１５は、判定指標が判定条件（傾向判断条件）に合致したか否かを判定する。合致した場合（Ｓ１１０３：Ｙｅｓ）、ステップＳ１１０４に処理が遷移する。合致しなかった場合は、分析ルールごとのループ終了ＬＥ３に到達し、次の分析ルールについてのステップＳ１１０１の処理を行う。

【0081】

ステップＳ１１０４において傾向分析立案部１５は、合致した当該分析項目の根拠文に付与する合計件数をカウントアップする。根拠文とは、図９に示した共通性（根拠）８０２を指している。すなわちステップＳ１１０４では、図８の根拠テンプレートに穴埋めするための値である、「Ｘ／Ｘ」の部分の値をカウントアップする。

【0082】

ステップＳ１１０５において傾向分析立案部１５は、合致件数のカウントに基づき改善案の情報を生成する。すなわち、図８の根拠テンプレートに基づき合計件数の値を穴埋めして、表示部３１を介して表示するための改善案の情報を完成させる。

【実施例0083】

上述の実施例１においては、不確実性データとしてデータ不足度を算出し、データ不足度に基づく選定等を行った。下記に説明する実施例２においては、データ不足度に加えて、データ不足貢献度を算出する。また、実施例２は、学習データ評価システム１を識別問題について適用する例である。この場合の機械学習モデル２３は、画像に写り込んでいるものを識別するためのモデルである。

【0084】

学習データ評価システム１を識別問題について適用する場合、選定ルール２６は、ゆらぎ値が所定の閾値より大きい評価データを対象データとするというルールを含んでよい。また、この場合の分析ルール２７は、画素のゆらぎ値（データ不足度）に対する貢献度であるデータ不足貢献度が所定の閾値より大きい画素の画像内における分布により対象評価データを対象分類グループに分類するというルールを含んでいてよい。傾向分析立案部１５は、分析ルール２７に基づいて対象分類グループに分類された対象データから、対象分類グループの分布を有する画像を生成して学習データに追加すべきであると提案してもよい。なお、傾向分析立案部１５が提案するとは、提案内容に応じた情報を生成して改善案データ２８として記憶することなどを意味している。

【0085】

図１３は、不確実性データ２５のフォーマットを例示する概念図である。

【0086】

図１３における不確実性ＩＤ５０１、判定結果ＩＤ５０２、評価データＩＤ５０３、ならびに、正解に対応するデータ不足度５０４および５０５は、図６と同様であるため、詳しい説明は省略する。

【0087】

実施例２においては、不確実性データ２５はデータ不足貢献度１２０１を含む。なお、不確実性算出部１３がデータ不足貢献度１２０１を算出してよい。データ不足貢献度１２０１は正解ごとに算出される。図１３においては、データ不足貢献度は、正解＿１向けのデータ不足貢献度１２０２と、正解＿２向けのデータ不足貢献度１２０３とが別々に算出されている。

【0088】

データ不足貢献度とは、データに含まれる各要素が、データの不足に対してどの程度影響しているか（どの程度貢献しているか）を示す値である。本明細書においては、このデータ不足貢献度をＣｏｎｔｒｉｂｕｔｅと表記することがある。

【0089】

識別問題においてのデータ不足貢献度Ｃｏｎｔｒｉｂｕｔｅは、例えば下記の式に基づいて算出される値である。

【0090】

【数1】

【0091】

また、識別問題においてのデータ不足貢献度Ｃｏｎｔｒｉｂｕｔｅは、例えば下記の式に基づいて算出される値であってもよい。

【0092】

【数2】

【0093】

学習データ評価システム１は、選定ルール２６における条件６０１に、データ不足貢献度に基づいた条件を設定してよい。学習データ評価システム１は、分析ルール２７における傾向判断条件７０２に、データ不足貢献度に基づいた条件を設定してもよい。

【0094】

図１４は、実施例２における、対象選定部１４による選定結果を例示する概念図である。

【0095】

評価データＩＤごとの、正解ごとに、対象選定部１４は分類の結果を出力する。例えば評価データＩＤ＝＃３０１については、正解＿１、正解＿２、および正解＿３の分類がいずれも「正常データ」であったため、総合評価も「正常データ」と分類される。評価データＩＤ＝＃３０２については、正解＿２および正解＿３の分類がいずれも「正常データ」であったが、正解＿１の分類が「データ不足候補」であったため、総合評価は「データ不足候補」となる。

【0096】

図１５は、表示部３１における表示例を示す図である。図１６は、表示部３１における表示例を示す図である。

【0097】

表示部３１は、傾向分析立案部１５による分析結果と、改善案データ２８とに基づいて、改善案の一覧・該当件数・事例・判定区域などの情報を可視化して表示し、ユーザに伝える。以下、表示部３１の表示画面１３００に表示される内容について説明する。

【0098】

図１５の表示例において、データセット１３０２には、データセットの所在（ファイルパス）が表示される。表示項目１３０３には、例えば改善案を表示する旨の表示がなされる。ソート条件１３０４には、正解＝正解＿１についての表示を行う旨の表示がなされる。なお、ソート条件１３０４は、表示対象が何であるかを示す表示条件を意味していてもよく、表示対象をどのデータに基づいて昇順あるいは降順にソートするかを示すソート条件を意味していてもよい。

【0099】

改善案１３０５には、改善案データ２８に記憶された改善案の情報が表示される。表示部３１は、ソート条件として設定された対象分類グループに共通する性質、すなわち共通性（根拠）と、該対象分類グループの分布に基づく画像を有する学習データを追加すべきとする改善計画とを対応付けた改善案１３０５を表示する。ここでいう分布とは、画素のゆらぎ値（データ不足度）に対する貢献度であるデータ不足貢献度が所定の閾値より大きい画素の画像内における分布を意味する。

【0100】

事例１３０１には、対象選定部１４が選定したデータのうち、ソート条件に合致するものが表示される。図１５の例では、手を撮影した入力画像がグー、チョキ、パーのいずれであるかを識別する識別問題（クラス数は３）を解く際に、正解がグー（正解＿１）であるようなデータを事例として表示している。なお、事例においては、そのデータについての判定区域を合わせて表示してよい。

【0101】

図１６の表示例において、図１５と重複する部分については詳しい説明を省略する。表示項目１３０３には、不確実性データと貢献度とを表示する旨の表示がなされる。ソート条件１３０４には、評価データＩＤ＝３０１であって、かつ、正解＝正解＿１についての表示を行う旨の表示がなされる。

【0102】

図１５において改善案１３０５が表示されていた領域には、図１６においては表示対象である不確実性データと貢献度（データ不足貢献度）の情報１３０７が表示される。事例１３０６には、対象選定部１４が選定したデータのうち、ソート条件に合致するものが表示される。図１６の例では、手を撮影した入力画像がグー、チョキ、パーのいずれであるかを識別する識別問題（クラス数は３）を解く際に、正解がグー（正解＿１）であるようなデータを事例として表示している。なお、事例においては、そのデータについての判定区域を合わせて表示してよい。

【0103】

表示部３１はさらに、正解＿１向けデータ不足貢献度の情報（座標情報）に基づいて、事例として表示した画像におけるデータ不足貢献度の高い部分を、ハイライト表示、強調表示、色付き表示などの手段により、他の部分と区別した態様で表示してもよい。また、データ不足貢献度の高い部分を、判定区域を示す矩形枠とは別の矩形枠や楕円枠などで囲うように表示してもよい。