特開 2024-160187 情報処理方法、情報処理装置およびプログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2024160187

(43)【公開日】2024-11-13

(54)【発明の名称】情報処理方法、情報処理装置およびプログラム

(51)【国際特許分類】

   G06N 20/00 20190101AFI20241106BHJP

【ＦＩ】

G06N20/00 130

【審査請求】未請求

【請求項の数】9

【出願形態】ＯＬ

(21)【出願番号】P 2021152480

(22)【出願日】2021-09-17

(71)【出願人】

【識別番号】000109543

【氏名又は名称】テルモ株式会社

(71)【出願人】

【識別番号】518110280

【氏名又は名称】株式会社ロッケン

(74)【代理人】

【識別番号】100114557

【弁理士】

【氏名又は名称】河野 英仁

(74)【代理人】

【識別番号】100078868

【弁理士】

【氏名又は名称】河野 登夫

(72)【発明者】

【氏名】坂本 泰一

(72)【発明者】

【氏名】清水 克彦

(72)【発明者】

【氏名】石原 弘之

(72)【発明者】

【氏名】吉澤 俊祐

(72)【発明者】

【氏名】エン トマ

(72)【発明者】

【氏名】ジャケ クレモン

(72)【発明者】

【氏名】チェン ステフェン

(72)【発明者】

【氏名】佐賀 亮介

(57)【要約】

【課題】適切に追加学習を行なえる情報処理方法等を提供すること。
【解決手段】情報処理方法は、学習モデル４１の学習に用いる、入力データ５１１と正解データ５１２とを関連づけた複数組の学習用データ５９からなる学習用データセット６９を取得し、前記学習用データセット６９の少なくとも一部を複数のクラスタ５５にクラスタリングし、それぞれの前記クラスタ５５に含まれる前記学習用データ５９を、トレーニングデータ５６と、バリデーションデータ５７と、テストデータ５８とに分け、前記複数のクラスタ５５のトレーニングデータ５６、バリデーションデータ５７、および、テストデータ５８をそれぞれまとめて前記学習モデル４１の学習に使用する処理をコンピュータが実行する。
【選択図】図１１

【特許請求の範囲】

【請求項1】

学習モデルの学習に用いる、入力データと正解データとを関連づけた複数組の学習用データからなる学習用データセットを取得し、
前記学習用データセットの少なくとも一部を複数のクラスタにクラスタリングし、
それぞれの前記クラスタに含まれる前記学習用データを、トレーニングデータと、バリデーションデータと、テストデータとに分け、
前記複数のクラスタのトレーニングデータ、バリデーションデータ、および、テストデータをそれぞれまとめて前記学習モデルの学習に使用する
処理をコンピュータが実行する情報処理方法。

【請求項2】

前記複数のクラスタそれぞれを用いた機械学習により、複数の検討モデルを生成し、
生成した前記複数の検討モデルのそれぞれに対して、
前記複数のクラスタのうちで各検討モデルの生成に使用した使用クラスタから分離した前記テストデータを用いて、前記使用クラスタの学習可能性に関する学習可能性評価指標を算出し、
前記複数のクラスタのうちで各検討モデルの生成に使用していない未使用クラスタから分離した前記テストデータを用いて、前記使用クラスタの前記未使用クラスタに対する独立性に関する独立性評価指標を算出し、
前記学習可能性評価指標および前記独立性評価指標が所定の条件を満たさない場合、前記クラスタリングをやりなおす
請求項１に記載の情報処理方法。

【請求項3】

前記学習可能性評価指標は（１）式により定義され、前記独立性評価指標は（２）式により定義される
請求項２に記載の情報処理方法。

【数1】

【請求項4】

すべての前記学習可能性評価指標および前記独立性評価指標が０．６を超えない場合、前記クラスタリングをやりなおす
請求項３に記載の情報処理方法。

【請求項5】

前記学習用データセットは、前記学習モデルの追加学習に用いる追加学習用データセットであり、
前記学習モデルに前記入力データを入力して前記学習モデルから出力される出力データと、前記入力データに関連づけられた正解データとに基づいて、前記出力データの精度を評価し、
前記クラスタリングは、前記追加学習用データセットのうち、前記出力データの精度が所定の閾値以下である前記複数組の学習用データに対して実施する
請求項１から請求項４のいずれか一つに記載の情報処理方法。

【請求項6】

前記出力データの精度が所定の閾値を超える前記複数組の学習用データを一つの前記クラスタに構成する
請求項５に記載の情報処理方法。

【請求項7】

学習モデルの学習に用いる、入力データと正解データとを関連づけた複数組の学習用データからなる学習用データセットを取得し、
前記複数組の学習用データセットを複数のクラスタにクラスタリングし、
それぞれの前記クラスタに含まれる前記学習用データセットを、トレーニングデータと、バリデーションデータと、テストデータとに分け、
前記複数のクラスタそれぞれの前記トレーニングデータを含むトレーニングデータセットと、前記複数のクラスタそれぞれの前記バリデーションデータを含むバリデーションデータセットと、前記複数のクラスタそれぞれの前記テストデータを含むトレーニングデータセットとを作成する
処理をコンピュータが実行する情報処理方法。

【請求項8】

学習モデルの学習に用いる、入力データと正解データとを関連づけた複数組の学習用データを取得する取得部と、
前記学習用データを複数のクラスタにクラスタリングするクラスタリング部と、
それぞれの前記クラスタに含まれる前記学習用データを、トレーニングデータと、バリデーションデータと、テストデータとに分ける分配部と、
前記複数のクラスタのトレーニングデータ、バリデーションデータ、および、テストデータをそれぞれまとめて前記学習モデルの学習に使用する学習部と
を備える情報処理装置。

【請求項9】

学習モデルの学習に用いる、入力データと正解データとを関連づけた複数組の学習用データを取得し、
前記学習用データを複数のクラスタにクラスタリングし、
それぞれの前記クラスタに含まれる前記学習用データを、トレーニングデータと、バリデーションデータと、テストデータとに分け、
前記複数のクラスタのトレーニングデータ、バリデーションデータ、および、テストデータをそれぞれまとめて前記学習モデルの学習に使用する
処理をコンピュータに実行させるプログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、情報処理方法、情報処理装置およびプログラムに関する。

【背景技術】

【0002】

教師あり機械学習により生成された学習モデルを使用して、画像診断を支援する画像処理装置が提案されている（特許文献１）。生成済の学習モデルに対して、追加学習用データを用いて追加学習を行なう情報処理方法が提案されている（特許文献２）。

【先行技術文献】

【特許文献】

【0003】

【特許文献1】特開２０１８－１７５３４３号公報

【特許文献2】特開２０１９－１３３６２６号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

追加学習を行なう際には、追加学習用データを訓練データ、バリデーションデータ、および、テストデータに分け、訓練データとバリデーションデータを用いて学習モデルのパラメータを調整する。その後、テストデータを用いて調整後の学習モデルをテストする。しかしながら、追加学習用データの分け方に偏りがある場合には、追加学習を適切に行なえない。

【0005】

また、最初の学習を行う際にも同様に、学習用データを訓練データ、バリデーションデータ、および、テストデータに分け、訓練データとバリデーションデータを用いて学習モデルのパラメータを調整する。その後、テストデータを用いて調整後の学習モデルをテストする。しかしながら、学習用データの分け方に偏りがある場合には、過学習などにより学習モデルの精度が目標に到達しない恐れがある。

【0006】

一つの側面では、適切に学習を行なえる情報処理方法等を提供することを目的とする。

【課題を解決するための手段】

【0007】

情報処理方法は、学習モデルの学習に用いる、入力データと正解データとを関連づけた複数組の学習用データからなる学習用データセットを取得し、前記学習用データの少なくとも一部を複数のクラスタにクラスタリングし、それぞれの前記クラスタに含まれる前記学習用データを、トレーニングデータと、バリデーションデータと、テストデータとに分け、前記複数のクラスタのトレーニングデータ、バリデーションデータ、および、テストデータをそれぞれまとめて前記学習モデルの学習に使用する処理をコンピュータが実行する。

【発明の効果】

【0008】

一つの側面では、適切に学習を行なえる情報処理方法等を提供できる。

【図面の簡単な説明】

【0009】

【図1】追加学習方法の概要を説明する説明図である。

【図2】検討モデル生成方法の概要を説明する説明図である。

【図3】情報処理装置の構成を説明する説明図である。

【図4】追加学習用データセットの構成を説明する説明図である。

【図5】追加学習用データセットの構成を説明する説明図である。

【図6】独立性評価指標の算出方法を説明する説明図である。

【図7】プログラムの処理の流れを説明するフローチャートである。

【図8】問題データ抽出のサブルーチンの処理の流れを説明するフローチャートである。

【図9】評価指標算出のサブルーチンの処理の流れを説明するフローチャートである。

【図10】指標算出のサブルーチンの処理の流れを説明するフローチャートである。

【図11】学習モデルを生成する方法の概要を説明する説明図である。

【図12】実施の形態２のプログラムの処理の流れを説明するフローチャートである。

【図13】実施の形態３の情報処理装置の構成を説明する説明図である。

【図14】実施の形態４の情報処理装置の機能ブロック図である。

【発明を実施するための形態】

【0010】

［実施の形態１］
図１は、追加学習方法の概要を説明する説明図である。入力データ５１１と正解データ５１２とを関連づけた多数組の追加学習用データ５１からなる追加学習用データセット６４が用意されている。１組の追加学習用データ５１に含まれる入力データ５１１が学習モデル４１に入力された場合、学習モデル４１から出力データ５３が出力される。なお、追加学習用データ５１は学習用データの例示であり、追加学習用データセット６４は学習用データセットの例示である。

【0011】

学習モデル４１は、たとえば画像データが入力された場合に、画像データに写っている被写体に関するラベルを出力する分類モデルである。学習モデル４１は、画像データが入力された場合に、画像データを構成するそれぞれの画素の被写体に対応するラベルを出力する、セグメンテーションモデルであってもよい。学習モデル４１は、画像データが入力された場合に、画像データに写っている被写体の位置とラベルとを出力する物体検出モデルであってもよい。

【0012】

学習モデル４１の入力は、画像データに限定しない。たとえば学習モデル４１は、テキストの入力を受け付けて音声、画像またはラベルを出力するモデルであってもよい。学習モデル４１は、音声を受け付けてテキスト、画像またはラベルを出力するモデルであってもよい。

【0013】

入力データ５１１に関連づけられた正解データ５１２と、出力データ５３との対比に基づいて、追加学習用データ５１の処理精度を示す評価値が算定される。以下の説明においては、出力データ５３が正解データ５１２に近い場合に高い値になるように、評価値を定義した場合を例にして説明する。なお、評価値の詳細については後述する。

【0014】

複数組の追加学習用データ５１から、出力データ５３の精度が所定の閾値よりも低い問題データが抽出される。抽出された問題データは、たとえばｋ－ｍｅａｎｓ法またはウォード法等の公知のクラスタリング手法により、複数のクラスタ５５に分けられる。抽出された問題データは、あらかじめ定められた所定のルールに基づいて、自動的に複数のクラスタ５５に分けられてもよい。

【0015】

図１においては、第１クラスタ５５１、第２クラスタ５５２および第３クラスタ５５３の３個のクラスタ５５を模式的に示す。それぞれのクラスタ５５の内部の点は、それぞれ問題データであると判定された追加学習用データ５１を示す。

【0016】

図２は、検討モデル４３生成方法の概要を説明する説明図である。図２においては、ｉ番目のクラスタ５５である第ｉクラスタ５５ｉに対する処理を模式的に示す。第ｉクラスタ５５ｉに含まれる追加学習用データ５１は、第ｉトレーニングデータ５６ｉ、第ｉバリデーションデータ５７ｉおよび第ｉテストデータ５８ｉに分けられる。

【0017】

第ｉトレーニングデータ５６ｉおよび第ｉバリデーションデータ５７ｉを使用して、機械学習により第ｉ検討モデル４３ｉが新たに生成される。以上の処理が、すべてのクラスタ５５に対して実行され、クラスタ５５と同数の検討モデル４３が生成される。

【0018】

図１に戻って説明を続ける。図１においては、第１クラスタ５５１を使用して第１検討モデル４３１が、第２クラスタ５５２を使用して第２検討モデル４３２が、第３クラスタ５５３を使用して第３検討モデル４３３がそれぞれ生成された例を模式的に示す。

【0019】

それぞれのクラスタ５５について、検討モデル４３の学習を適切に行なえたか否かを示す学習可能性評価指標と、クラスタ５５同士の独立性を示す独立性評価指標との評価が行われる。学習可能性評価指標および独立性評価指標の詳細については、後述する。

【0020】

学習可能性評価指標と独立性評価指標との一方または両方が良好な値を示さない場合、クラスタリングの工程に戻って、再度処理が行われる。たとえば生成するクラスタ５５の数、クラスタ５５を作成する際に用いる初期値等の計算条件、クラスタリングに用いる手法、または、クラスタリングに用いるデータ間の類似度の尺度等の条件を変更することにより、同一の問題データ群であっても異なるクラスタ５５を形成できる。

【0021】

すべての学習可能性評価指標および独立性評価指標が良好な値を示す場合、追加学習用データセット６４に含まれる追加学習用データ５１は、トレーニングデータセット６１、バリデーションデータセット６２およびテストデータセット６３に分配される。

【0022】

トレーニングデータセット６１は、それぞれのクラスタ５５のトレーニングデータ５６と、問題データではないと判定された追加学習用データ５１の一部とを含む。バリデーションデータセット６２は、それぞれのクラスタ５５のバリデーションデータ５７と、問題データではないと判定された追加学習用データ５１の一部とを含む。テストデータセット６３は、それぞれのクラスタ５５のテストデータ５８と、問題データではないと判定された追加学習用データ５１の一部とを含む。

【0023】

トレーニングデータセット６１およびバリデーションデータセット６２を使用して、学習モデル４１のパラメータの再調整が行なわれる。テストデータセット６３を使用して、再調整後の学習モデル４１に対するテストが行われる。

【0024】

以上に説明した処理により、追加学習用データセット６４に含まれる複数組の追加学習用データ５１をトレーニングデータ、バリデーションデータおよびテストデータに分ける際の偏りを防止して、学習モデル４１の追加学習を適切に行なえる。

【0025】

図３は、情報処理装置２０の構成を説明する説明図である。情報処理装置２０は、制御部２１、主記憶装置２２、補助記憶装置２３、通信部２４、表示部２５、入力部２６およびバスを備える。制御部２１は、本実施の形態のプログラムを実行する演算制御装置である。制御部２１には、一または複数のＣＰＵ（Central Processing Unit）、ＧＰＵ（Graphics Processing Unit）、ＴＰＵ（Tensor Processing Unit）またはマルチコアＣＰＵ等が使用される。制御部２１は、バスを介して情報処理装置２０を構成するハードウェア各部と接続されている。

【0026】

主記憶装置２２は、ＳＲＡＭ（Static Random Access Memory）、ＤＲＡＭ（Dynamic Random Access Memory）、フラッシュメモリ等の記憶装置である。主記憶装置２２には、制御部２１が行なう処理の途中で必要な情報および制御部２１で実行中のプログラムが一時的に保存される。

【0027】

補助記憶装置２３は、ＳＲＡＭ、フラッシュメモリ、ハードディスクまたは磁気テープ等の記憶装置である。補助記憶装置２３には、学習モデル４１、前述の追加学習用データセット６４を記録した追加学習用データＤＢ４５、制御部２１に実行させるプログラム、およびプログラムの実行に必要な各種データが保存される。学習モデル４１および追加学習用データＤＢ４５は、情報処理装置２０に接続された外部の大容量記憶装置に保存されていてもよい。通信部２４は、情報処理装置２０とネットワークとの間の通信を行なうインターフェースである。

【0028】

表示部２５は、たとえば液晶表示パネルまたは有機ＥＬ（electro-luminescence）パネル等である。入力部２６は、たとえばキーボードまたはマウス等である。表示部２５と入力部２６とは、積層されてタッチパネルを構成していてもよい。

【0029】

情報処理装置２０は、汎用のパソコン、タブレット、大型計算機、大型計算機上で動作する仮想マシン、または、量子コンピュータである。情報処理装置２０は、分散処理を行なう複数のパソコン、または大型計算機等のハードウェアにより構成されても良い。情報処理装置２０は、クラウドコンピューティングシステムまたは量子コンピュータにより構成されても良い。

【0030】

図４および図５は、追加学習用データセット６４の構成を説明する説明図である。追加学習用データセット６４は、前述の通り複数組の追加学習用データ５１からならデータセットである。図４および図５においては、追加学習用データセット６４の構成を１つの行に１組の追加学習用データ５１を記載した表形式で説明する。左側の列に入力データ５１１を示し、右側の列に正解データ５１２を示す。

【0031】

図４は、画像データの入力を受け付けて、画像データに写っている被写体に関するラベルを出力する学習モデル４１の追加学習に用いられる追加学習用データセット６４の例を示す。たとえば、図４の一番上の行に示す追加学習用データ５１は、入力に用いる画像データである入力データ５１１と、当該入力データ５１１の被写体に対応するラベルが「犬」であることを示す正解データ５１２とを含む。

【0032】

制御部２１は、入力データ５１１を学習モデル４１または検討モデル４３に入力し、出力データ５３を取得する。出力データ５３が「犬」である場合、正解データ５１２と出力データ５３とが一致しているため、制御部２１は評価値が「１」であると算定する。一方、出力データ５３が「猫」である場合、正解データ５１２と出力データ５３とが一致していないため、制御部２１は評価値が「０」であると算定する。

【0033】

なお評価値は、「０」と「１」の二値に限定しない。たとえば、「犬」の正解データ５１２に対して、「猫」「馬」または「牛」等の「犬」以外の四つ足の動物を示すラベルが出力された場合には「０．５」、それ以外のラベルが出力された場合には「０」のように、三値以上に定められても良い。問題データを抽出する処理においては、制御部２１は評価値が閾値未満である追加学習用データ５１を抽出する。

【0034】

図５は、画像データの入力を受け付けて、画像データを構成するそれぞれの画素の被写体に対応するラベルを出力する、いわゆるセグメンテーションモデルである学習モデル４１用の追加学習に用いられる追加学習用データセット６４の例を示す。

【0035】

たとえば、図５の一番上の行に示す追加学習用データ５１は、入力に用いる画像データである入力データ５１１と、当該入力データ５１１を構成するそれぞれの画素に対応するラベルを示す正解データ５１２とを含む。

【0036】

制御部２１は、入力データ５１１を学習モデル４１または検討モデル４３に入力し、出力データ５３を取得する。制御部２１は、画素ごとに正解データ５１２と出力データ５３とを対比して、評価値を算定する。評価値には、たとえばPixel Accuracy、ｍＩｏＵ（Mean Intersection over Union）またはＦ値等の、セグメンテーションモデルの精度評価に使用可能な任意の評価値を使用できる。

【0037】

制御部２１は、追加学習用データ５１のうち、評価値が閾値よりも低い問題データを抽出する。閾値はたとえばあらかじめ定められた定数である。閾値は、算定した評価値に基づいて定められてもよい。たとえば制御部２１は、評価値が下から１０パーセントである追加学習用データ５１を抽出するように、閾値を定めてもよい。

【0038】

なお、複数組の追加学習用データ５１から問題データを抽出する際に使用する評価値と、学習可能性評価指標および独立性評価指標を算定する際に使用する評価値とは、同一の評価値であっても、異なる評価値であってもよい。

【0039】

学習可能性評価指標の算出方法について説明する。学習可能性評価指標は（１）式により定義される。

【0040】

【数1】

【0041】

第ｉクラスタ５５ｉに関する学習可能性評価指標Ｌ（Ｆ_i）の算出手順の概要を説明する。図２を使用して説明したように、制御部２１は、第ｉクラスタ５５ｉに含まれる追加学習用データ５１を、第ｉトレーニングデータ５６ｉ、第ｉバリデーションデータ５７ｉおよび第ｉテストデータ５８ｉに分ける。制御部２１は、第ｉトレーニングデータ５６ｉおよび第ｉバリデーションデータ５７ｉを用いて第ｉ検討モデル４３ｉを生成する。

【0042】

制御部２１は、第ｉ検討モデル４３ｉに、第ｉテストデータ５８ｉに含まれるそれぞれの入力データ５１１を入力して、出力データ５３を取得する。制御部２１は、入力データ５１１に関連づけられた正解データ５１２と、出力データ５３との対比に基づいて、それぞれの追加学習用データ５１に関する評価値を算定する。

【0043】

制御部２１は、それぞれの追加学習用データ５１について評価した評価値の代表値を算出する。代表値は、たとえばそれぞれの追加学習用データ５１について評価した精度の相加平均値、相乗平均値、調和平均値、中央値または最頻値等である。制御部２１が算出した代表値が、第ｉクラスタ５５ｉの学習可能性評価指標Ｌ（Ｆ_i）である。制御部２１は、それぞれのクラスタ５５について、学習可能性評価指標を算出する。

【0044】

学習可能性評価指標は、生成した検討モデル４３の精度に関する指標である。学習可能性評価指標が閾値以下である場合、生成された検討モデル４３は適切なモデルではない。学習可能性評価指標が閾値を超える場合、良好な精度の検討モデル４３が生成されている。閾値は、たとえば０．６が適切である。

【0045】

独立性評価指標の算出方法について説明する。独立性評価指標は（２）式により定義される。なお、（１）式と共通する記号については説明を省略する。

【0046】

【数2】

【0047】

（１）式に示した学習可能性評価指標の定義に基づいて、（２）式は（３）式のように変形できる。

【0048】

【数3】

【0049】

第ｉクラスタ５５ｉの独立性評価指標Ｉ（Ｆ_i）の算出手順の概要を説明する。まず、前述の手順で学習可能性評価指標Ｌ（Ｆ_i）を算出する。制御部２１は、第ｉ検討モデル４３ｉに、第ｊテストデータ５８ｊに含まれるそれぞれの入力データ５１１を入力して、出力データ５３を取得する。制御部２１は、入力データ５１１に関連づけられた正解データ５１２と、出力データ５３との対比に基づいて、それぞれの追加学習用データ５１に関する評価値を算定する。

【0050】

制御部２１は、それぞれの追加学習用データ５１について評価した評価値の代表値を算出する。制御部２１が算出した代表値が、第ｉ検討モデル４３ｉと第ｊテストデータ５８ｊとを組み合わせた場合の評価指標ｍ（ｉ，ｊ）である。なお、学習可能性評価指標を算出する際の代表値と、独立性評価指標を算出する際の代表値とは、同一であることが望ましい。

【0051】

図６は、独立性評価指標の算出方法を説明する説明図である。縦方向は（２）式および（３）式の上式のｉを示し、横方向は上式のｊを示す。右端を除くそれぞれのマス目は、評価指標ｍ（ｉ，ｊ）を示す。太枠で囲む対角線上のマス目は、検討モデル４３と、検討モデル４３の生成に用いたクラスタ５５のテストデータ５８とを組み合わせて評価した学習可能性評価指標である。

【0052】

（３）式に戻って説明を続ける。制御部２１は、ｉに等しくないｊのそれぞれについて、学習可能性評価指標Ｌ（Ｆ_i）と、評価指標ｍ（ｉ，ｊ）との差を算出する。制御部２１は、算出した差の相加平均値を算出する。制御部２１が算出した相加平均値が、図６の右端に示す第ｉクラスタ５５iの独立性評価指標Ｉ（Ｆ_i）である。

【0053】

独立性評価指標は、クラスタ５５間の独立性に関する指標である。独立性評価指標が閾値以下である場合、クラスタリングが適切に行なわれていない。独立性評価指標が閾値を超える場合、クラスタリングが適切に行なわれている。閾値は、たとえば０．６が適切である。なお、学習可能性評価指標に対する閾値と、独立性評価指標に対する閾値とは異なる値であってもよい。

【0054】

図７は、プログラムの処理の流れを説明するフローチャートである。図７のプログラムの実行に先立ち、学習モデル４１に対応する構造を有する未学習のモデルが準備されている。制御部２１は、追加学習用データＤＢ４５に十分な数の追加学習用データ５１を含む追加学習用データセット６４が記録されている場合に、図７を使用して説明するプログラムを実行する。

【0055】

制御部２１は、問題データ抽出のサブルーチンを起動する（ステップＳ５０１）。問題データ抽出のサブルーチンは、追加学習用データセット６４に含まれる追加学習用データ５１から、問題データを抽出するサブルーチンである。問題データ抽出のサブルーチンの処理の流れは後述する。

【0056】

制御部２１は、抽出した問題データをクラスタリングする（ステップＳ５０２）。制御部２１は一つのクラスタ５５を選択する（ステップＳ５０３）。制御部２１は、選択したクラスタ５５に含まれる追加学習用データ５１を、トレーニングデータ５６、バリデーションデータ５７およびテストデータ５８に分配する（ステップＳ５０４）。

【0057】

制御部２１は、トレーニングデータ５６およびバリデーションデータ５７を使用して機械学習を行ない、検討モデル４３を生成する（ステップＳ５０５）。教師あり機械学習によるモデルの生成処理は従来から行なわれているため、詳細については説明を省略する。制御部２１は、ステップＳ５０３で選択したクラスタ５５と関連づけて、生成した検討モデル４３を主記憶装置２２または補助記憶装置２３に記録する。

【0058】

制御部２１は、すべてのクラスタ５５の処理を終了したか否かを判定する（ステップＳ５０６）。終了していないと判定した場合（ステップＳ５０６でＮＯ）、制御部２１はステップＳ５０３に戻る。終了したと判定した場合（ステップＳ５０６でＹＥＳ）、制御部２１は評価指標算出のサブルーチンを起動する（ステップＳ５０７）。評価指標算出のサブルーチンは、各クラスタ５５について生成した検討モデル４３の学習可能性評価指標および独立性評価指標を算出するサブルーチンである。評価指標算出のサブルーチンの処理の流れは後述する。

【0059】

制御部２１は、検討モデル４３の学習可能性評価指標および独立性評価指標が条件を満たしているか否かを判定する（ステップＳ５０８）。具体的には、それぞれの検討モデル４３についてそれぞれ算出した学習可能性評価指標および独立性評価指標がすべて所定の閾値を超える場合、制御部２１は条件を満たしていると判定する。

【0060】

満たしていると判定した場合（ステップＳ５０８でＹＥＳ）、制御部２１は追加学習用データセット６４に含まれる追加学習用データ５１を、トレーニングデータセット６１、バリデーションデータセット６２、テストデータセット６３に分配する（ステップＳ５０９）。

【0061】

ここでトレーニングデータセット６１は、それぞれのクラスタ５５についてステップＳ５０４で分配したトレーニングデータ５６と、問題データではないと判定された追加学習用データ５１の一部とを含む。バリデーションデータセット６２は、それぞれのクラスタ５５についてステップＳ５０４で分配したバリデーションデータ５７と、問題データではないと判定された追加学習用データ５１の一部とを含む。テストデータセット６３は、それぞれのクラスタ５５についてステップＳ５０４で分配したテストデータ５８と、問題データではないと判定された追加学習用データ５１の一部とを含む。

【0062】

制御部２１は、トレーニングデータセット６１およびバリデーションデータセット６２を使用して、学習モデル４１の追加学習を行ない、テストデータセット６３を使用して追加学習後のテストを行なう（ステップＳ５１０）。教師あり機械学習による生成したモデルの追加学習処理は従来から行なわれているため、詳細については説明を省略する。制御部２１は、追加学習により学習モデル４１の精度が向上したか否かを判定する（ステップＳ５１１）。

【0063】

向上したと判定した場合（ステップＳ５１１でＹＥＳ）、制御部２１は追加学習用データＤＢ４５および学習モデル４１を更新する（ステップＳ５１２）。具体的には、制御部２１は追加学習用データＤＢ４５に記録されている追加学習用データセット６４から、追加学習に使用した追加学習用データ５１を削除する。制御部２１は、追加学習用データセット６４に、使用済の追加学習用データ５１を示すフラグを記録してもよい。

【0064】

制御部２１は、補助記憶装置２３に記録されている学習モデル４１のパラメータを更新する。なお、制御部２１は追加学習前の学習モデル４１と追加学習後の学習モデル４１の両方を補助記憶装置２３に記録してもよい。その後、制御部２１は処理を終了する。

【0065】

検討モデル４３の学習可能性および独立性が条件を満たしていないと判定した場合（ステップＳ５０８でＮＯ）、または、追加学習により学習モデル４１の精度が向上していないと判定した場合（ステップＳ５１１でＮＯ）、制御部２１は処理を終了するか否かを判定する（ステップＳ５２１）。たとえば、ステップＳ５２１を所定の回数繰り返した場合に、制御部２１は処理を終了すると判定する。

【0066】

処理を終了しないと判定した場合（ステップＳ５２１でＮＯ）、制御部２１はステップＳ５０２に戻る。処理を終了すると判定した場合（ステップＳ５２１でＹＥＳ）、制御部２１は処理を終了する。追加学習用データセット６４から追加学習用データ５１は消去されない。さらに十分な数の追加学習用データ５１が追加学習用データセット６４に加えられた後に、図７を使用して説明したプログラムが再度実行される。

【0067】

図８は、問題データ抽出のサブルーチンの処理の流れを説明するフローチャートである。問題データ抽出のサブルーチンは、追加学習用データセット６４に記録されている追加学習用データ５１から、問題データを抽出するサブルーチンである。

【0068】

制御部２１は、追加学習用データセット６４から１組の追加学習用データ５１を取得する（ステップＳ５３１）。制御部２１は、取得した追加学習用データ５１に含まれる入力データ５１１を学習モデル４１に入力して、出力データ５３を取得する（ステップＳ５３２）。

【0069】

制御部２１は、ステップＳ５３１で取得した追加学習用データ５１に含まれる正解データ５１２と、ステップＳ５３２で取得した出力データ５３とに基づいて評価値を算定する（ステップＳ５３３）。制御部２１は、ステップＳ５３１で取得した追加学習用データ５１と算定した評価値とを関連づけて、補助記憶装置２３または主記憶装置２２に記録する（ステップＳ５３４）。

【0070】

制御部２１は、追加学習用データセット６４に記録された追加学習用データ５１の処理を終了したか否かを判定する（ステップＳ５３５）。終了していないと判定した場合（ステップＳ５３５でＮＯ）、制御部２１はステップＳ５３１に戻る。

【0071】

終了したと判定した場合（ステップＳ５３５でＹＥＳ）、制御部２１はステップＳ５３４で記録した評価値に基づいて、問題データである追加学習用データ５１を抽出する（ステップＳ５３６）。たとえば制御部２１は、評価値が所定の閾値よりも低い追加学習用データ５１を抽出する。なお、制御部２１は記録した評価値に基づいて閾値を算出してもよい。その後、制御部２１は、算出した閾値に基づいて問題データを抽出し、処理を終了する。

【0072】

図９は、評価指標算出のサブルーチンの処理の流れを説明するフローチャートである。評価指標算出のサブルーチンは、各クラスタ５５について生成した検討モデル４３の学習可能性評価指標および独立性評価指標を算出するサブルーチンである。

【0073】

制御部２１は、評価指標を算出する対象であるクラスタ５５を選択する（ステップＳ５４１）。ステップＳ５４１で選択されたクラスタ５５は、（１）式から（３）式におけるｉ番目のクラスタＦ_iに相当する。ステップＳ５４１で選択されたクラスタ５５は、処理中の検討モデル４３の生成に使用された使用クラスタの例示である。

【0074】

制御部２１は、ステップＳ５４１で選択したクラスタ５５に基づいて生成された検討モデル４３を取得する（ステップＳ５４２）。ステップＳ５４２で選択された検討モデル４３は、（１）式から（３）式におけるｉ番目の検討モデルＭ_iに相当する。

【0075】

制御部２１は、ステップＳ５４１で選択したクラスタ５５に含まれるテストデータ５８を取得する（ステップＳ５４３）。ステップＳ５４３で取得されたテストデータ５８は、（１）式から（３）式におけるｉ番目のクラスタ５５から分離したテストデータＦiteに相当する。

【0076】

制御部２１は、ステップＳ５４２で取得した検討モデル４３と、ステップＳ５４３で取得したテストデータ５８とを引数に用いて、指標算出のサブルーチンを起動する（ステップＳ５４４）。指標算出のサブルーチンは、第ｂテストデータ５８ｂを使用して第ａ検討モデル４３ａを評価した評価指標ｍ（ａ，ｂ）を算出するサブルーチンである。ステップＳ５４４においては、ａ＝ｂ＝ｉであり、算出される評価指標ｍ（ｉ，ｉ）は、（１）式を使用して説明したｉ番目のクラスタ５５に関する学習可能性評価指標Ｌ（Ｆ_i）である。指標算出のサブルーチンの処理の流れは後述する。

【0077】

制御部２１は、テストデータ５８のクラスタ５５を選択する（ステップＳ５４５）。ステップＳ５４５で選択されたクラスタ５５は、（２）式から（３）式におけるｊ番目のクラスタＦjに相当する。ステップＳ５４５で選択されたクラスタ５５は、処理中の検討モデル４３の生成に使用されていない未使用クラスタの例示である。

【0078】

制御部２１は、ステップＳ５４５で選択したクラスタ５５に含まれるテストデータ５８を取得する（ステップＳ５４６）。ステップＳ５４６で取得されたテストデータ５８は、（２）式から（３）式におけるｊ番目のクラスタ５５から分離したテストデータＦjteに相当する。

【0079】

制御部２１は、ステップＳ５４２で取得した検討モデル４３と、ステップＳ５４６で取得したテストデータ５８とを引数に用いて、指標算出のサブルーチンを起動する（ステップＳ５４７）。指標算出のサブルーチンは、ステップＳ５４４で起動したサブルーチンと同一のサブルーチンである。ステップＳ５４４においては、ａ＝ｉ、ｂ＝ｊであり、（２）式から（３）式における評価指標ｍ（ｉ，ｊ）が算出される。

【0080】

制御部２１は、ステップＳ５４１で選択したクラスタ５５を除くすべてのクラスタ５５の処理を終了したか否かを判定する（ステップＳ５４８）。処理を終了していないと判定した場合（ステップＳ５４８でＮＯ）、制御部２１はステップＳ５４５に戻る。

【0081】

処理を終了したと判定した場合（ステップＳ５４８でＹＥＳ）、制御部２１は、（２）式または（３）式に基づいてｉ番目のクラスタ５５に関する独立性評価指標Ｉ（Ｆ_ｉ）を算出する（ステップＳ５４９）。

【0082】

制御部２１は、すべてのクラスタ５５に関する学習可能性評価指標および独立性評価指標の算出を終了したか否かを判定する（ステップＳ５５０）。終了していないと判定した場合（ステップＳ５５０でＮＯ）、制御部２１はステップＳ５４１に戻る。終了したと判定した場合（ステップＳ５５０でＹＥＳ）、制御部２１は処理を終了する。

【0083】

図１０は、指標算出のサブルーチンの処理の流れを説明するフローチャートである。指標算出のサブルーチンは、第ｂテストデータ５８ｂを使用して第ａ検討モデル４３ａを評価した評価指標ｍ（ａ，ｂ）を算出するサブルーチンである。

【0084】

制御部２１は、引数に指定された第ｂテストデータ５８ｂから１組の追加学習用データ５１を取得する（ステップＳ５５１）。制御部２１は、取得した追加学習用データ５１に含まれる入力データ５１１を引数で指定された第ａ検討モデル４３ａに入力して、出力データ５３を取得する（ステップＳ５５２）。

【0085】

制御部２１は、ステップＳ５５１で取得した追加学習用データ５１に含まれる正解データ５１２と、ステップＳ５５２で取得した出力データ５３とに基づいて評価値を算定する（ステップＳ５５３）。制御部２１は、ステップＳ５５１で取得した追加学習用データ５１と算定した評価値とを関連づけて、補助記憶装置２３または主記憶装置２２に記録する（ステップＳ５５４）。

【0086】

制御部２１は、第ｂテストデータ５８ｂに含まれる追加学習用データ５１の処理を終了したか否かを判定する（ステップＳ５５５）。終了していないと判定した場合（ステップＳ５５５でＮＯ）、制御部２１はステップＳ５５１に戻る。

【0087】

終了したと判定した場合（ステップＳ５５５でＹＥＳ）、制御部２１はステップＳ５５４で記録した評価値の代表値を算出する（ステップＳ５５６）。ステップＳ５５６で算出した評価値が、評価指標ｍ（ａ，ｂ）である。その後、制御部２１は処理を終了する。

【0088】

本実施の形態によると、追加学習用データセット６４に含まれる追加学習用データ５１をトレーニングデータセット６１、バリデーションデータセット６２およびテストデータセット６３に偏りなく分配できる。したがって、学習モデル４１の追加学習を適切に行なえる。

【0089】

本実施の形態によると、学習可能性評価指標および独立性評価指標の二つの観点から追加学習用データ５１を適切に分配できる。

【0090】

本実施の形態によると、追加学習用データセット６４に含まれる追加学習用データ５１では、適切な追加学習を行なう条件を満たさない場合には追加学習を行なわず、追加学習用データセット６４にさらに追加学習用データ５１が蓄積されるのを待つ。したがって、不適切な追加学習により学習モデル４１の精度が却って低下することを防止できる。

【0091】

［実施の形態２］
本実施の形態は、新たな学習モデル４１の生成に関する。実施の形態１と共通する部分については、説明を省略する。なお、以下の説明においては実施の形態１と同様に情報処理装置２０を使用して学習モデル４１を生成する場合を例にして説明する。学習モデル４１の生成と、実施の形態１で説明した学習モデル４１の追加学習とは、異なるハードウェアで実行されてもよい。

【0092】

図１１は、学習モデル４１を生成する方法の概要を説明する説明図である。入力データ５１１と正解データ５１２とを関連づけた多数組の学習用データ５９からなる学習用データセット６９が用意されている。学習用データセット６９は、補助記憶装置２３または情報処理装置２０に接続された外部の大容量記憶装置に保存されたデータベースに記録されている。

【0093】

学習用データ５９および学習用データセット６９の構成は、図４および図５を使用して説明した追加学習用データ５１および追加学習用データセット６４と同様であるため、詳細については説明を省略する。

【0094】

学習用データ５９は、たとえばｋ－ｍｅａｎｓ法またはウォード法等の公知のクラスタリング手法により、複数のクラスタ５５に分けられる。図１１においては、第１クラスタ５５１、第２クラスタ５５２および第３クラスタ５５３の３個のクラスタ５５を模式的に示す。それぞれのクラスタ５５の内部の点は学習用データ５９を示す。

【0095】

それぞれのクラスタ５５に含まれる学習用データ５９が、トレーニングデータ５６、バリデーションデータ５７およびテストデータ５８に分けられた後に、機械学習により検討モデル４３が生成される。以上の処理が、すべてのクラスタ５５に対して実行され、クラスタ５５と同数の検討モデル４３が生成される。

【0096】

それぞれのクラスタ５５について、検討モデル４３の学習を適切に行なえたか否かを示す学習可能性評価指標と、クラスタ５５同士の独立性を示す独立性評価指標との評価が行われる。学習可能性評価指標の算出方法は、実施の形態１において（１）式を用いて説明した算出方法と同様である。独立性評価指標の算出方法は、実施の形態２において（２）式および（３）式を用いて説明した算出方法と同様である。

【0097】

学習可能性評価指標と独立性評価指標との一方または両方が良好な値を示さない場合、クラスタリングの工程に戻って、再度処理が行われる。すべての学習可能性評価指標および独立性評価指標が良好な値を示す場合、学習用データセット６９に含まれる学習用データ５９は、トレーニングデータセット６１、バリデーションデータセット６２およびテストデータセット６３に分配される。

【0098】

トレーニングデータセット６１は、それぞれのクラスタ５５のトレーニングデータ５６を含む。バリデーションデータセット６２は、それぞれのクラスタ５５のバリデーションデータ５７を含む。テストデータセット６３は、それぞれのクラスタ５５のテストデータ５８を含む。

【0099】

トレーニングデータセット６１およびバリデーションデータセット６２を使用して、機械学習により学習モデル４１が生成される。テストデータセット６３を使用して、生成された学習モデル４１に対するテストが行われる。

【0100】

以上に説明した処理により、学習用データセット６９に含まれる複数組の学習用データ５９をトレーニングデータ、バリデーションデータおよびテストデータ５８に分ける際の偏りを防止して、学習モデル４１の生成を適切に行なえる。

【0101】

図１２は、実施の形態２のプログラムの処理の流れを説明するフローチャートである。図１２のプログラムの実行に先立ち、学習モデル４１に対応する構造を有する未学習のモデルが準備されている。

【0102】

制御部２１は、学習用データセット６９に記録されている学習用データ５９をクラスタリングする（ステップＳ５６１）。制御部２１は一つのクラスタ５５を選択する（ステップＳ５６２）。制御部２１は、選択したクラスタ５５に含まれる学習用データ５９を、トレーニングデータ５６、バリデーションデータ５７およびテストデータ５８に分配する（ステップＳ５６３）。

【0103】

制御部２１は、トレーニングデータ５６およびバリデーションデータ５７を使用して機械学習を行ない、検討モデル４３を生成する（ステップＳ５６４）。教師あり機械学習によるモデルの生成処理は従来から行なわれているため、詳細については説明を省略する。制御部２１は、ステップＳ５６２で選択したクラスタ５５と関連づけて、生成した検討モデル４３を主記憶装置２２または補助記憶装置２３に記録する。

【0104】

制御部２１は、すべてのクラスタ５５の処理を終了したか否かを判定する（ステップＳ５６５）。終了していないと判定した場合（ステップＳ５６５でＮＯ）、制御部２１はステップＳ５６２に戻る。終了したと判定した場合（ステップＳ５６５でＹＥＳ）、制御部２１は評価指標算出のサブルーチンを起動する（ステップＳ５６６）。評価指標算出のサブルーチンは、図９を使用して説明したサブルーチンと同様のサブルーチンである。

【0105】

制御部２１は、検討モデル４３の学習可能性評価指標および独立性評価指標が条件を満たしているか否かを判定する（ステップＳ５６７）。具体的には、それぞれの検討モデル４３についてそれぞれ算出した学習可能性評価指標および独立性評価指標がすべて所定の閾値を超える場合、制御部２１は条件を満たしていると判定する。

【0106】

満たしていると判定した場合（ステップＳ５６７でＹＥＳ）、制御部２１は学習用データセット６９に含まれる学習用データ５９を、トレーニングデータセット６１、バリデーションデータセット６２、テストデータセット６３に分配する（ステップＳ５６８）。

【0107】

ここでトレーニングデータセット６１は、それぞれのクラスタ５５についてステップＳ５６３で分配したトレーニングデータ５６により構成される。バリデーションデータセット６２は、それぞれのクラスタ５５についてステップＳ５６３で分配したバリデーションデータ５７により構成される。テストデータセット６３は、それぞれのクラスタ５５についてステップＳ５６３で分配したテストデータ５８により構成される。

【0108】

制御部２１は、トレーニングデータセット６１およびバリデーションデータセット６２を使用して、機械学習を行ない、学習モデル４１を生成する（ステップＳ５６９）。制御部２１は、テストデータセット６３を使用して生成した学習モデル４１のテストを行なう。制御部２１は、テスト結果に基づいて所定の精度を有する学習モデル４１が生成されたか否かを判定する（ステップＳ５７０）。

【0109】

生成されたと判定した場合（ステップＳ５７０でＹＥＳ）、制御部２１は生成した学習モデル４１のパラメータを補助記憶装置２３に記録する（ステップＳ５７１）。その後、制御部２１は処理を終了する。

【0110】

検討モデル４３の学習可能性および独立性が条件を満たしていないと判定した場合（ステップＳ５６７でＮＯ）、または、所定の精度を有する学習モデル４１が生成されていないと判定した場合（ステップＳ５７０でＮＯ）、制御部２１は処理を終了するか否かを判定する（ステップＳ５７２）。たとえば、ステップＳ５７２を所定の回数繰り返した場合に、制御部２１は処理を終了すると判定する。

【0111】

処理を終了しないと判定した場合（ステップＳ５７２でＮＯ）、制御部２１はステップＳ５６１に戻る。処理を終了すると判定した場合（ステップＳ５７２でＹＥＳ）、制御部２１は処理を終了する。なお、制御部２１は処理を終了する前に適切な学習モデル４１を生成できなかった旨をユーザに通知してもよい。

【0112】

本実施の形態によると、学習用データセット６９に記録された学習用データ５９をトレーニングデータセット６１、バリデーションデータセット６２およびテストデータセット６３に分配する際の偏りを防止できるため、少ない試行回数で適切な学習モデル４１を生成できる。

【0113】

［実施の形態３］
図１３は、実施の形態３の情報処理装置２０の構成を説明する説明図である。本実施の形態は、汎用のコンピュータ９０と、プログラム９７とを組み合わせて動作させることにより、本実施の形態の情報処理装置２０を実現する形態に関する。実施の形態１と共通する部分については、説明を省略する。

【0114】

コンピュータ９０は、前述の制御部２１、主記憶装置２２、補助記憶装置２３、通信部２４、表示部２５、入力部２６およびバスに加えて読取部２９を備える。

【0115】

プログラム９７は、可搬型記録媒体９６に記録されている。制御部２１は、読取部２９を介してプログラム９７を読み込み、補助記憶装置２３に保存する。また制御部２１は、コンピュータ９０内に実装されたフラッシュメモリ等の半導体メモリ９８に記憶されたプログラム９７を読出してもよい。さらに、制御部２１は、通信部２４および図示しないネットワークを介して接続される図示しない他のサーバコンピュータからプログラム９７をダウンロードして補助記憶装置２３に保存してもよい。

【0116】

プログラム９７は、コンピュータ９０の制御プログラムとしてインストールされ、主記憶装置２２にロードして実行される。以上により、実施の形態１で説明した情報処理装置２０が実現される。

【0117】

［実施の形態４］
図１４は、実施の形態４の情報処理装置２０の機能ブロック図である。情報処理装置２０は、取得部８１、クラスタリング部８２、分配部８３および学習部８４を備える。

【0118】

取得部８１は、学習モデル４１の学習に用いる、入力データ５１１と正解データ５１２とを関連づけた複数組の学習用データ５９を取得する。クラスタリング部８２は、学習用データ５９を複数のクラスタ５５にクラスタリングする。

【0119】

分配部８３は、それぞれのクラスタ５５に含まれる学習用データ５９を、トレーニングデータ５６と、バリデーションデータ５７と、テストデータ５８とに分ける。学習部８４は、複数のクラスタ５５のトレーニングデータ５６、バリデーションデータ５７、および、テストデータ５８をそれぞれまとめて学習モデル４１の学習に使用する。

【0120】

各実施例で記載されている技術的特徴（構成要件）はお互いに組合せ可能であり、組み合わせすることにより、新しい技術的特徴を形成することができる。
今回開示された実施の形態はすべての点で例示であって、制限的なものでは無いと考えられるべきである。本発明の範囲は、上記した意味では無く、特許請求の範囲によって示され、特許請求の範囲と均等の意味および範囲内でのすべての変更が含まれることが意図される。

【符号の説明】

【0121】

２０ 情報処理装置
２１ 制御部
２２ 主記憶装置
２３ 補助記憶装置
２４ 通信部
２５ 表示部
２６ 入力部
２９ 読取部
４１ 学習モデル
４３ 検討モデル
４３１ 第１検討モデル
４３２ 第２検討モデル
４３３ 第３検討モデル
４３ａ 第ａ検討モデル
４３ｉ 第ｉ検討モデル
４５ 追加学習用データＤＢ
５１ 追加学習用データ
５１１ 入力データ
５１２ 正解データ
５３ 出力データ
５５ クラスタ
５５１ 第１クラスタ
５５２ 第２クラスタ
５５３ 第３クラスタ
５５ｉ 第ｉクラスタ
５６ トレーニングデータ
５６ｉ 第ｉトレーニングデータ
５７ バリデーションデータ
５７ｉ 第ｉバリデーションデータ
５８ テストデータ
５８ｂ 第ｂテストデータ
５８ｉ 第ｉテストデータ
５８ｊ 第ｊテストデータ
５９ 学習用データ
６１ トレーニングデータセット
６２ バリデーションデータセット
６３ テストデータセット
６４ 追加学習用データセット
６９ 学習用データセット
８１ 取得部
８２ クラスタリング部
８３ 分配部
８４ 学習部
９０ コンピュータ
９６ 可搬型記録媒体
９７ プログラム
９８ 半導体メモリ

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】