知財求人 - 知財ポータルサイト「IP Force」
特開2024-162867分類クラス推論装置、分類クラス推論方法、及び分類クラス推論プログラム
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2024162867
(43)【公開日】2024-11-21
(54)【発明の名称】分類クラス推論装置、分類クラス推論方法、及び分類クラス推論プログラム
(51)【国際特許分類】
G06N 20/00 20190101AFI20241114BHJP
G06F 18/2113 20230101ALI20241114BHJP
G06N 5/00 20230101ALI20241114BHJP
【ＦＩ】
G06N20/00 130
G06F18/2113
G06N5/00
【審査請求】未請求
【請求項の数】9
【出願形態】ＯＬ
(21)【出願番号】P 2023078813
(22)【出願日】2023-05-11
(71)【出願人】
【識別番号】000005108
【氏名又は名称】株式会社日立製作所
(74)【代理人】
【識別番号】110000176
【氏名又は名称】弁理士法人一色国際特許事務所
(72)【発明者】
【氏名】竹内 理
(57)【要約】 （修正有）
【課題】より少量の学習データから、対象データを適切なクラスに分類するモデルをより少ない工数で構築する分類クラス推論装置、方法及びプログラムを提供する。
【解決手段】対象データから分類クラスを推論するモデルを構築する分類クラス推論装置における方法は、業務に関する条件から当該条件に対応する分類クラスを決定する複数のルールと、複数の対象データと、対象データの正解ラベルとを記憶する記憶装置と、業務に関する条件に対応する学習データを生成し、学習データ及びルールに基づいてモデルを構築するモデル構築処理と、モデルに対象データを入力することにより、対象データに対応する分類クラスを推論するモデル推論処理と、推論した分類クラスと、対象データの正解ラベルとを比較することにより、モデルの推論精度の低下の要因となるルールを特定するための情報を生成して出力する誤推論要因分析処理とを実行する。
【選択図】図３
【解決手段】対象データから分類クラスを推論するモデルを構築する分類クラス推論装置における方法は、業務に関する条件から当該条件に対応する分類クラスを決定する複数のルールと、複数の対象データと、対象データの正解ラベルとを記憶する記憶装置と、業務に関する条件に対応する学習データを生成し、学習データ及びルールに基づいてモデルを構築するモデル構築処理と、モデルに対象データを入力することにより、対象データに対応する分類クラスを推論するモデル推論処理と、推論した分類クラスと、対象データの正解ラベルとを比較することにより、モデルの推論精度の低下の要因となるルールを特定するための情報を生成して出力する誤推論要因分析処理とを実行する。
【選択図】図３
【特許請求の範囲】
【請求項1】
対象データから分類クラスを推論するモデルを構築する分類クラス推論装置であって、
業務に関する条件から当該条件に対応する分類クラスを決定する複数のルールと、複数の前記対象データと、前記対象データの正解ラベルとを記憶する記憶装置と、
前記業務に関する条件に対応する学習データを生成し、前記学習データ、及び前記ルールに基づいてモデルを構築するモデル構築処理と、
前記モデルに前記対象データを入力することにより、前記対象データに対応する分類クラスを推論するモデル推論処理と、
前記推論した分類クラスと、前記対象データの正解ラベルとを比較することにより、前記モデルの推論精度の低下の要因となる前記ルールを特定するための情報を生成して出力する誤推論要因分析処理とを実行する演算装置と、
を備える、分類クラス推論装置。
業務に関する条件から当該条件に対応する分類クラスを決定する複数のルールと、複数の前記対象データと、前記対象データの正解ラベルとを記憶する記憶装置と、
前記業務に関する条件に対応する学習データを生成し、前記学習データ、及び前記ルールに基づいてモデルを構築するモデル構築処理と、
前記モデルに前記対象データを入力することにより、前記対象データに対応する分類クラスを推論するモデル推論処理と、
前記推論した分類クラスと、前記対象データの正解ラベルとを比較することにより、前記モデルの推論精度の低下の要因となる前記ルールを特定するための情報を生成して出力する誤推論要因分析処理とを実行する演算装置と、
を備える、分類クラス推論装置。
【請求項2】
前記演算装置は、
前記誤推論要因分析処理において、前記ルールそれぞれについて、前記モデルの推論精度の低下への寄与度を算出し、
前記寄与度が所定の閾値より大きい前記ルールを補正して、前記モデルを再構築するルール補正処理
を実行する、請求項１に記載の分類クラス推論装置。
前記誤推論要因分析処理において、前記ルールそれぞれについて、前記モデルの推論精度の低下への寄与度を算出し、
前記寄与度が所定の閾値より大きい前記ルールを補正して、前記モデルを再構築するルール補正処理
を実行する、請求項１に記載の分類クラス推論装置。
【請求項3】
前記記憶装置は、新たな前記ルールを定義するための特徴量を記憶し、
前記演算装置は、
複数の前記対象データと、前記対象データの正解ラベルと、前記特徴量とに基づいて、前記ルールを新たに生成するルール自動抽出処理
を実行する、請求項１に記載の分類クラス推論装置。
前記演算装置は、
複数の前記対象データと、前記対象データの正解ラベルと、前記特徴量とに基づいて、前記ルールを新たに生成するルール自動抽出処理
を実行する、請求項１に記載の分類クラス推論装置。
【請求項4】
前記演算装置は、
前記ルール自動抽出処理において、
複数の前記対象データそれぞれの前記特徴量の値を算出し、
前記特徴量の値に基づいて、複数の前記対象データを複数のセグメントに分け、
各セグメントにおける前記特徴量の値と、前記対象データの正解ラベルとに基づく前記ルールを生成する
請求項３に記載の分類クラス推論装置。
前記ルール自動抽出処理において、
複数の前記対象データそれぞれの前記特徴量の値を算出し、
前記特徴量の値に基づいて、複数の前記対象データを複数のセグメントに分け、
各セグメントにおける前記特徴量の値と、前記対象データの正解ラベルとに基づく前記ルールを生成する
請求項３に記載の分類クラス推論装置。
【請求項5】
前記演算装置は、
前記ルール自動抽出処理において、
前記セグメントの数が所定数になるまで、セグメント間における前記対象データの正解ラベルの分布の類似度に基づいて前記セグメントを統合する
請求項４に記載の分類クラス推論装置。
前記ルール自動抽出処理において、
前記セグメントの数が所定数になるまで、セグメント間における前記対象データの正解ラベルの分布の類似度に基づいて前記セグメントを統合する
請求項４に記載の分類クラス推論装置。
【請求項6】
前記記憶装置は、前記対象データと異なる他の用途に用いられる他用途データと、前記他用途データの正解ラベルとを記憶し、
前記演算装置は、
前記他用途データと、前記他用途データの正解ラベルとに基づいて、前記他の用途向けの前記ルールである他用途ルールを生成し、
前記対象データに前記他用途ルールを適用することで、前記他用途ルールから、前記モデルの構築に使用する前記ルールを抽出するルール品質評価処理
を実行する、請求項３に記載の分類クラス推論装置。
前記演算装置は、
前記他用途データと、前記他用途データの正解ラベルとに基づいて、前記他の用途向けの前記ルールである他用途ルールを生成し、
前記対象データに前記他用途ルールを適用することで、前記他用途ルールから、前記モデルの構築に使用する前記ルールを抽出するルール品質評価処理
を実行する、請求項３に記載の分類クラス推論装置。
【請求項7】
前記演算装置は、
前記記憶装置が記憶する前記ルールと、前記ルール品質評価処理において抽出した前記ルールとに基づいて、前記モデルを構築し、
前記構築したモデルに前記対象データを入力した推論結果が正解ラベルと一致しない要因となる前記対象データの変数を、新たな前記特徴量として抽出し、
前記抽出した特徴量に基づいて、前記ルールを新たに生成し、
前記新たに生成した前記ルールと、前記記憶装置が記憶する前記ルールと、前記ルール品質評価処理において抽出した前記ルールとに基づいて、前記モデルを再構築する追加注目特徴量抽出処理
を実行する、請求項６に記載の分類クラス推論装置。
前記記憶装置が記憶する前記ルールと、前記ルール品質評価処理において抽出した前記ルールとに基づいて、前記モデルを構築し、
前記構築したモデルに前記対象データを入力した推論結果が正解ラベルと一致しない要因となる前記対象データの変数を、新たな前記特徴量として抽出し、
前記抽出した特徴量に基づいて、前記ルールを新たに生成し、
前記新たに生成した前記ルールと、前記記憶装置が記憶する前記ルールと、前記ルール品質評価処理において抽出した前記ルールとに基づいて、前記モデルを再構築する追加注目特徴量抽出処理
を実行する、請求項６に記載の分類クラス推論装置。
【請求項8】
対象データから分類クラスを推論するモデルを構築する情報処理装置が、
業務に関する条件に対応する学習データを生成し、前記学習データ、及び前記業務に関する条件から当該条件に対応する分類クラスを決定する複数のルールに基づいてモデルを構築するモデル構築処理と、
前記モデルに前記対象データを入力することにより、前記対象データに対応する分類クラスを推論するモデル推論処理と、
前記推論した分類クラスと、前記対象データの正解ラベルとを比較することにより、前記モデルの推論精度の低下の要因となる前記ルールを特定するための情報を生成して出力する誤推論要因分析処理とを実行する
分類クラス推論方法。
業務に関する条件に対応する学習データを生成し、前記学習データ、及び前記業務に関する条件から当該条件に対応する分類クラスを決定する複数のルールに基づいてモデルを構築するモデル構築処理と、
前記モデルに前記対象データを入力することにより、前記対象データに対応する分類クラスを推論するモデル推論処理と、
前記推論した分類クラスと、前記対象データの正解ラベルとを比較することにより、前記モデルの推論精度の低下の要因となる前記ルールを特定するための情報を生成して出力する誤推論要因分析処理とを実行する
分類クラス推論方法。
【請求項9】
対象データから分類クラスを推論するモデルを構築する情報処理装置に、
業務に関する条件に対応する学習データを生成し、前記学習データ、及び前記業務に関する条件から当該条件に対応する分類クラスを決定する複数のルールに基づいてモデルを構築するモデル構築処理と、
前記モデルに前記対象データを入力することにより、前記対象データに対応する分類クラスを推論するモデル推論処理と、
前記推論した分類クラスと、前記対象データの正解ラベルとを比較することにより、前記モデルの推論精度の低下の要因となる前記ルールを特定するための情報を生成して出力する誤推論要因分析処理とを実行させる
分類クラス推論プログラム。
業務に関する条件に対応する学習データを生成し、前記学習データ、及び前記業務に関する条件から当該条件に対応する分類クラスを決定する複数のルールに基づいてモデルを構築するモデル構築処理と、
前記モデルに前記対象データを入力することにより、前記対象データに対応する分類クラスを推論するモデル推論処理と、
前記推論した分類クラスと、前記対象データの正解ラベルとを比較することにより、前記モデルの推論精度の低下の要因となる前記ルールを特定するための情報を生成して出力する誤推論要因分析処理とを実行させる
分類クラス推論プログラム。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、分類クラス推論装置、分類クラス推論方法、及び分類クラス推論プログラムに関する。
【背景技術】
【0002】
ＡＩ（Artificial Intelligence）モデルを使用した業務システムを運用している際に、従来想定したフォーマットとは異なる新しいフォーマットの業務データに対応しなければならないケースがある。通常、この対応を行うためには、充分な数の新しいフォーマットの業務データを蓄積し、当該業務データを学習データとして用いてＡＩモデルを再構築する。しかし、業務システムで充分な量の業務データを蓄積するには年月を要し、新しいフォーマットへの迅速な対応が困難である、という問題がある。
【0003】
このような問題に対して、非特許文献１に記載の技術では、人間の知見を反映した特徴量を抽出する特徴量エンジニアリングにより、少量の学習データでも高精度なモデル構築を実現している。
【先行技術文献】
【非特許文献】
【0004】
【非特許文献1】Dan Roth et. al, ”Interactive Feature Space Construction using Semantic Information,” 13th CoNLL, pp 64-74, 2009.
【発明の概要】
【発明が解決しようとする課題】
【0005】
しかしながら、非特許文献１に記載の技術では、特徴量が適切であっても、精度の高いモデルを構築するためにはある程度の量の学習データ及び正解ラベルが必要である。そのため、学習データの準備工数の低減効果は限定的である。更に、非特許文献１に記載の技術では、特徴量の一部のみしかカスタマイズできないため、その他の特徴量は手動でエンハンスしなければならず、高精度のモデルを構築するための工数の低減効果も限定的である。
【0006】
本発明は、このような事情に鑑みてなされたものであり、その目的は、より少量の学習データから、対象データを適切なクラスに分類するモデルをより少ない工数で構築することができる分類クラス推論装置、分類クラス推論方法、及び分類クラス推論プログラムを提供することを目的とする。
【課題を解決するための手段】
【0007】
上記課題を解決するための本発明の一つは、対象データから分類クラスを推論するモデルを構築する分類クラス推論装置であって、業務に関する条件から当該条件に対応する分類クラスを決定する複数のルールと、複数の前記対象データと、前記対象データの正解ラベルとを記憶する記憶装置と、前記業務に関する条件に対応する疑似学習データを生成し、前記疑似学習データ、及び前記ルールに基づいてモデルを構築するモデル構築処理と、前記モデルに前記対象データを入力することにより、前記対象データに対応する分類クラスを推論するモデル推論処理と、前記推論した分類クラスと、前記対象データの正解ラベルとを比較することにより、前記モデルの推論精度の低下の要因となる前記ルールを特定するための情報を生成して出力する誤推論要因分析処理とを実行する演算装置と、を備える、分類クラス推論装置である。
【発明の効果】
【0008】
本発明によれば、より少量の学習データから、対象データを適切なクラスに分類するモデルをより少ない工数で構築することができる。
上記した以外の構成及び効果等は、以下の実施形態の説明により明らかにされる。
上記した以外の構成及び効果等は、以下の実施形態の説明により明らかにされる。
【図面の簡単な説明】
【0009】
【図1】第１の実施形態における分類クラス推論装置の構成の一例を示す図である。
【図2】対象データの一例を示す図である。
【図3】第１の実施形態における分類クラス推論装置で行われる処理の概要を説明する図である。
【図4】正解ラベルの一例を示す図である。
【図5】注目特徴量情報の一例を示す図である。
【図6】経験ルール自動抽出処理を実行する経験ルール自動抽出手段に入出力される各種データを示す図である。
【図7】経験ルール自動抽出処理の詳細を説明する処理フロー図である。
【図8】注目特徴量に基づいて対象データをセグメントに分割する処理の概要を説明する図である。
【図9】セグメント管理テーブルの一例を示す図である。
【図10】経験ルールの一例を示す図である。
【図11】学習データ補完処理を実行する学習データ補完手段に入出力される各種データを示す図である。
【図12】学習データ補完処理の詳細を説明する処理フロー図である。
【図13】疑似データの一例を示す図である。
【図14】経験ルールモデル構築処理を実行する経験ルールモデル構築手段に入出力される各種データを示す図である。
【図15】経験ルールモデル構築処理Ｓ６の詳細を説明する処理フロー図である。
【図16】経験ルール適用結果の一例を示す図である。
【図17】学習用ラベルの一例を示す図である。
【図18】経験ルールモデルにおけるパラメータの一例を示す図である。
【図19】誤推論要因分析処理を実行する推論実行手段及び誤推論要因分析手段に入出力される各種データを示す図である。
【図20】誤推論要因分析処理の詳細を説明する処理フロー図である。
【図21】ＳＨＡＰ値管理テーブルの一例を示す図である。
【図22】誤推論要因の一例を示す図である。
【図23】経験ルール補正処理の詳細を説明する処理フロー図である。
【図24】第２の実施形態における分類クラス推論装置の構成の一例を示す図である。
【図25】第２の実施形態における分類クラス推論装置の各機能に入出力される各種データを示す図である。
【図26】第２の実施形態における分類クラス推論装置で行われる処理の概要を説明する図である。
【図27】追加注目特徴量の一例を示す図である。
【発明を実施するための形態】
【0010】
以下、図面を参照して本発明の実施形態を説明する。以下の記載および図面は、本発明を説明するための例示であって、説明の明確化のため、適宜、省略および簡略化がなされている。本発明は、他の種々の形態でも実施する事が可能である。特に限定しない限り、各構成要素は単数でも複数でも構わない。
図面において示す各構成要素の位置、大きさ、形状、範囲などは、発明の理解を容易にするため、実際の位置、大きさ、形状、範囲などを表していない場合がある。このため、本発明は、必ずしも、図面に開示された位置、大きさ、形状、範囲などに限定されない。
以下の説明では、「テーブル」、「リスト」、「キュー」等の表現にて各種情報を説明することがあるが、各種情報は、これら以外のデータ構造で表現されていてもよい。データ構造に依存しないことを示すために「ＸＸテーブル」、「ＸＸリスト」等を「ＸＸ情報」と呼ぶことがある。識別情報について説明する際に、「識別情報」、「識別子」、「名」、「ＩＤ」、「番号」等の表現を用いるが、これらについてはお互いに置換が可能である。
同一あるいは同様な機能を有する構成要素が複数ある場合には、同一の符号に異なる添字を付して説明する場合がある。ただし、これらの複数の構成要素を区別する必要がない場合には、添字を省略して説明する場合がある。
また、以下の説明では、プログラムを実行して行う処理を説明する場合があるが、プログラムは、プロセッサ（例えばＣＰＵ、ＧＰＵ）によって実行されることで、定められた処理を、適宜に記憶資源（例えばメモリ）および／またはインターフェースデバイス（例えば通信ポート）等を用いながら行うため、処理の主体がプロセッサとされてもよい。同様に、プログラムを実行して行う処理の主体が、プロセッサを有するコントローラ、装置、システム、計算機、ノードであってもよい。プログラムを実行して行う処理の主体は、演算部であれば良く、特定の処理を行う専用回路（例えばＦＰＧＡやＡＳＩＣ）を含んでいてもよい。
プログラムは、プログラムソースから計算機のような装置にインストールされてもよい。プログラムソースは、例えば、プログラム配布サーバまたは計算機が読み取り可能な記憶メディアであってもよい。プログラムソースがプログラム配布サーバの場合、プログラム配布サーバはプロセッサと配布対象のプログラムを記憶する記憶資源を含み、プログラム配布サーバのプロセッサが配布対象のプログラムを他の計算機に配布してもよい。また、以下の説明において、２以上のプログラムが１つのプログラムとして実現されてもよいし、１つのプログラムが２以上のプログラムとして実現されてもよい。
図面において示す各構成要素の位置、大きさ、形状、範囲などは、発明の理解を容易にするため、実際の位置、大きさ、形状、範囲などを表していない場合がある。このため、本発明は、必ずしも、図面に開示された位置、大きさ、形状、範囲などに限定されない。
以下の説明では、「テーブル」、「リスト」、「キュー」等の表現にて各種情報を説明することがあるが、各種情報は、これら以外のデータ構造で表現されていてもよい。データ構造に依存しないことを示すために「ＸＸテーブル」、「ＸＸリスト」等を「ＸＸ情報」と呼ぶことがある。識別情報について説明する際に、「識別情報」、「識別子」、「名」、「ＩＤ」、「番号」等の表現を用いるが、これらについてはお互いに置換が可能である。
同一あるいは同様な機能を有する構成要素が複数ある場合には、同一の符号に異なる添字を付して説明する場合がある。ただし、これらの複数の構成要素を区別する必要がない場合には、添字を省略して説明する場合がある。
また、以下の説明では、プログラムを実行して行う処理を説明する場合があるが、プログラムは、プロセッサ（例えばＣＰＵ、ＧＰＵ）によって実行されることで、定められた処理を、適宜に記憶資源（例えばメモリ）および／またはインターフェースデバイス（例えば通信ポート）等を用いながら行うため、処理の主体がプロセッサとされてもよい。同様に、プログラムを実行して行う処理の主体が、プロセッサを有するコントローラ、装置、システム、計算機、ノードであってもよい。プログラムを実行して行う処理の主体は、演算部であれば良く、特定の処理を行う専用回路（例えばＦＰＧＡやＡＳＩＣ）を含んでいてもよい。
プログラムは、プログラムソースから計算機のような装置にインストールされてもよい。プログラムソースは、例えば、プログラム配布サーバまたは計算機が読み取り可能な記憶メディアであってもよい。プログラムソースがプログラム配布サーバの場合、プログラム配布サーバはプロセッサと配布対象のプログラムを記憶する記憶資源を含み、プログラム配布サーバのプロセッサが配布対象のプログラムを他の計算機に配布してもよい。また、以下の説明において、２以上のプログラムが１つのプログラムとして実現されてもよいし、１つのプログラムが２以上のプログラムとして実現されてもよい。
【0011】
［第１の実施形態］
まず、本発明の第１の実施形態における分類クラス推論装置、分類クラス推論方法及び分類クラス推論プログラムについて説明する。
まず、本発明の第１の実施形態における分類クラス推論装置、分類クラス推論方法及び分類クラス推論プログラムについて説明する。
【0012】
図１は、本実施形態における分類クラス推論装置１の構成の一例を示す図である。分類クラス推論装置１は、学習データに基づき構築されるＡＩモデルと異なるモデルであって、ＡＩモデルと同様の推論が可能な経験ルールモデル１２５（モデル）を構築する情報処理装置である。経験ルールモデル１２５は、対象データ１２１から分類クラスを推論する。
【0013】
本実施形態では、金融機関等において、企業の活動データ（例えば、売上高、純利益、又は総資産等の財務指標等）から、企業が所定数のクラスのうちいずれのクラスに属するか（企業の分類クラス）を推論する分類クラス推論装置１を例に説明する。本例では、企業の活動データが、対象データ１２１である。
【0014】
分類クラス推論装置１は、一例として、ＣＰＵ（Central Processing Unit）及びＲＡＭ（Random Access Memory）、ＲＯＭ（Read Only Memory）等のメモリから構成される演算装置１０１と、ＨＤＤ（Hard Disk Drive）、ＳＳＤ（Solid State Drive）等の記憶装置１０２と、キーボード、マウス、又はタッチパネル等の入力装置１０３と、ディスプレイ又はプリンタ等の出力装置１０４と、ＮＩＣ(Network Interface Card)、無線通信モジュール、ＵＳＢ(Universal Serial Interface)モジュール、又はシリアル通信モジュール等で構成される通信装置１０５等を備える。
【0015】
演算装置１０１は、記憶装置１０２に記憶されているプログラムを実行することにより、経験ルール自動抽出手段１１１、学習データ補完手段１１２、経験ルールモデル構築手段１１３、推論実行手段１１４、及び誤推論要因分析手段１１５の各機能それぞれを実現する。
【0016】
経験ルール自動抽出手段１１１は、対象データ１２１、及び対象データ１２１の正解ラベル１２２に基づいて、経験ルールモデル１２５を構築するための経験ルール１２３を自動的に生成する。経験ルール１２３は、企業の業務に関する条件から当該条件に対応する分類クラスを決定するルールである。
【0017】
学習データ補完手段１１２は、経験ルールモデル１２５を構築するための疑似的な学習データとして、疑似データ１２４を対象データ１２１から生成する。疑似データ１２４は、業務に関する条件に対応する疑似学習データに相当する。
【0018】
経験ルールモデル構築手段１１３は、対象データ１２１、正解ラベル１２２、疑似データ１２４、及び経験ルール１２３に基づいて、経験ルールモデル１２５を構築する。
【0019】
推論実行手段１１４は、経験ルールモデル１２５に対象データ１２１を入力することにより、対象データ１２１に対応する分類クラスを推論する経験ルールモデル推論処理を実行する。
【0020】
誤推論要因分析手段１１５は、対象データ１２１、及び経験ルールモデル１２５に基づいて、推論を誤る（経験ルールモデル１２５の推論精度の低下の）要因となり得る経験ルール１２３を特定するための情報（誤推論要因１２６）を生成して出力する。
【0021】
記憶装置１０２は、経験ルール自動抽出手段１１１、学習データ補完手段１１２、経験ルールモデル構築手段１１３、推論実行手段１１４、及び誤推論要因分析手段１１５の各機能それぞれを実現するためのプログラムを記憶している。
【0022】
また、記憶装置１０２は、プログラムを演算装置１０１が実行する際に入出力する各種データを記憶する。具体的には、記憶装置１０２は、対象データ１２１、正解ラベル１２２、経験ルール１２３、疑似データ１２４、経験ルールモデル１２５、及び、誤推論要因１２６をそれぞれ記憶している。
【0023】
（対象データ）
図２は、対象データ１２１の一例を示す図である。対象データ１２１は、各対象データ１２１を一意に識別するデータＩＤが設定されるデータＩＤ２１１、及び、１又は複数の説明変数が設定される説明変数２１４（図示する例では、説明変数１、説明変数２、・・・、説明変数ｍ）の各項目を有する。例えば、データＩＤ２１１には、企業を識別する情報が設定され、説明変数１２４には、企業の活動データ（例えば、売上高、純利益、又は総資産等）が設定される。対象データ１２１は、正解ラベルが付与されていない学習データである。
図２は、対象データ１２１の一例を示す図である。対象データ１２１は、各対象データ１２１を一意に識別するデータＩＤが設定されるデータＩＤ２１１、及び、１又は複数の説明変数が設定される説明変数２１４（図示する例では、説明変数１、説明変数２、・・・、説明変数ｍ）の各項目を有する。例えば、データＩＤ２１１には、企業を識別する情報が設定され、説明変数１２４には、企業の活動データ（例えば、売上高、純利益、又は総資産等）が設定される。対象データ１２１は、正解ラベルが付与されていない学習データである。
【0024】
＜処理の概要＞
図３は、分類クラス推論装置１で行われる処理の概要を説明する図である。
分類クラス推論装置１は、対象データ１２１に対する正解ラベル１２２（分類クラス）の入力をユーザから受け付け、入力された正解ラベル１２２を記憶装置１０２に書き込む（Ｓ１）。
図３は、分類クラス推論装置１で行われる処理の概要を説明する図である。
分類クラス推論装置１は、対象データ１２１に対する正解ラベル１２２（分類クラス）の入力をユーザから受け付け、入力された正解ラベル１２２を記憶装置１０２に書き込む（Ｓ１）。
【0025】
（正解ラベル）
図４は、正解ラベル１２２の一例を示す図である。正解ラベル１２２は、データＩＤが設定されるデータＩＤ２１１、及びラベル２１５の各項目を有する。ラベル２１５には、ユーザが入力した正解ラベル（分類クラス）が設定される。
図４は、正解ラベル１２２の一例を示す図である。正解ラベル１２２は、データＩＤが設定されるデータＩＤ２１１、及びラベル２１５の各項目を有する。ラベル２１５には、ユーザが入力した正解ラベル（分類クラス）が設定される。
【0026】
また、分類クラス推論装置１は、分類クラスを推定するにあたり、着目すべき特徴量の注目特徴量情報３０２の入力をユーザから受け付け、入力された注目特徴量情報３０２を記憶装置１０２に書き込む（Ｓ２）。
【0027】
（注目特徴量情報）
図５は、注目特徴量情報３０２の一例を示す図である。注目特徴量情報３０２は、特徴量の名称が設定される特徴量名３１２、及び、特徴量を算出するための関数が設定される特徴量計算関数３１３の各項目を有する。
図５は、注目特徴量情報３０２の一例を示す図である。注目特徴量情報３０２は、特徴量の名称が設定される特徴量名３１２、及び、特徴量を算出するための関数が設定される特徴量計算関数３１３の各項目を有する。
【0028】
また、分類クラス推論装置１は、経験ルール１２３を生成する経験ルール自動抽出処理を実行する（Ｓ３）。経験ルール自動抽出処理Ｓ３の詳細は後述する。
【0029】
また、分類クラス推論装置１は、生成した経験ルール１２３の補正（修正又は削除）をユーザから受け付け、補正された経験ルール１２３を更新する（Ｓ４）。
【0030】
また、分類クラス推論装置１は、経験ルールモデル１２５を構築するための学習データを補完する学習データ補完処理を実行する（Ｓ５）。学習データ補完処理Ｓ５の詳細は後述する。
【0031】
また、分類クラス推論装置１は、経験ルールモデル１２５を構築する経験ルールモデル構築処理を実行する（Ｓ６）。経験ルールモデル構築処理Ｓ６の詳細は後述する。
【0032】
また、分類クラス推論装置１は、構築した経験ルールモデル１２５において、推論精度を低下させる要因となる経験ルール１２３を分析する誤推論要因分析処理を実行する（Ｓ７）。誤推論要因分析処理Ｓ７の詳細は後述する。
【0033】
また、分類クラス推論装置１は、誤推論要因分析処理において分析した結果に基づいて、経験ルール１２３の補正する経験ルール補正処理を実行する（Ｓ８）。経験ルール補正処理Ｓ８の詳細は後述する。
次に、以上で説明した各処理の詳細を説明する。
次に、以上で説明した各処理の詳細を説明する。
【0034】
＜経験ルール自動抽出処理＞
図６は、経験ルール自動抽出処理を実行する経験ルール自動抽出手段１１１に入出力される各種データを示す図である。経験ルール自動抽出手段１１１は、対象データ１２１、正解ラベル１２２、及び注目特徴量情報３０２を入力として受け取り、セグメント管理テーブル３０１を更新しながら、経験ルール抽出処理を実行することにより、経験ルール１２３を出力する。
図６は、経験ルール自動抽出処理を実行する経験ルール自動抽出手段１１１に入出力される各種データを示す図である。経験ルール自動抽出手段１１１は、対象データ１２１、正解ラベル１２２、及び注目特徴量情報３０２を入力として受け取り、セグメント管理テーブル３０１を更新しながら、経験ルール抽出処理を実行することにより、経験ルール１２３を出力する。
【0035】
図７は、経験ルール自動抽出処理の詳細を説明する処理フロー図である。経験ルールモデル自動抽出処理は、例えば、分類クラス推論装置１にユーザから所定の入力がされた場合、又は所定のタイミング（例えば、所定の時刻、所定の時間間隔）で実行される。
【0036】
まず、経験ルール自動抽出手段１１１は、対象データ１２１、正解ラベル１２２、及び注目特徴量情報３０２に基づいて、データＩＤ２１１ごとの注目特徴量を算出する（Ｓ４０１）。例えば、経験ルール自動抽出手段１１１は、特徴量計算関数３１３に、説明変数２１４を代入することにより、注目特徴量を算出する。
【0037】
続いて、経験ルール自動抽出手段１１１は、Ｓ４０１で算出した注目特徴量を昇順にソートし、データＩＤ２１１（対象データ１２１）を複数のセグメントに分割する。
【0038】
図８は、注目特徴量に基づいて対象データ１２１をセグメントに分割する処理の概要を説明する図である。まず、経験ルール自動抽出手段１１１は、各セグメントのデータＩＤ２１１の数が略均一になるように、所定数のセグメント（図示する例では、ｓ１～ｓ５の５つのセグメント）を生成する（符号ＳＴ１参照）。図示する例では、セグメントｓ１には、注目特徴量の値が０未満のデータＩＤ「ｘ２」「ｘ３」があり、セグメントｓ２には、注目特徴量の値が０以上０．０２未満のデータＩＤ「ｘ１」があり、セグメントｓ３には、注目特徴量の値が０．０２以上０．０４未満のデータＩＤ「ｘ４」があり、セグメントｓ４には、注目特徴量の値が０．０４以上０．０６未満のデータＩＤ「ｘ５」「ｘ６」があり、セグメントｓ５には、注目特徴量の値が０．０６以上のデータＩＤ「ｘ７」「ｘ８」がある。
【0039】
そして、経験ルール自動抽出手段１１１は、各セグメントについて、セグメント管理テーブル３０１の上限、下限、正解ラベル分布、及び平均ラベル値を算出する（Ｓ４０２）。
【0040】
（セグメント管理テーブル）
図９は、セグメント管理テーブル３０１の一例を示す図である。セグメント管理テーブル３０１は、各セグメントを一意に識別するセグメントＩＤが設定されるセグメントＩＤ３１１、セグメントにおける注目特徴量の上限値が設定される上限３１４、セグメントにおける注目特徴量の下限値が設定される下限３１５、セグメントにおける正解ラベルの分布が設定される正解ラベル分布３１６、正解ラベルの平均値が設定される平均ラベル値３１７、及び、正解ラベル分布３１６のχ二乗値が設定されるχ二乗値３１８の各項目を有する。
図９は、セグメント管理テーブル３０１の一例を示す図である。セグメント管理テーブル３０１は、各セグメントを一意に識別するセグメントＩＤが設定されるセグメントＩＤ３１１、セグメントにおける注目特徴量の上限値が設定される上限３１４、セグメントにおける注目特徴量の下限値が設定される下限３１５、セグメントにおける正解ラベルの分布が設定される正解ラベル分布３１６、正解ラベルの平均値が設定される平均ラベル値３１７、及び、正解ラベル分布３１６のχ二乗値が設定されるχ二乗値３１８の各項目を有する。
【0041】
続いて、経験ルール自動抽出手段１１１は、Ｓ４０２で生成したセグメント管理テーブル３０１の隣接セグメントの正解ラベル分布の類似度を、正解ラベル分布のχ二乗値を計算することで算出する（Ｓ４０３）。図８に示す例では、セグメントｓ１とセグメントｓ２との類似度は０．９であり、セグメントｓ２とセグメントｓ３との類似度は０．２であり、セグメントｓ３とセグメントｓ４の類似度は２．４であり、セグメントｓ４とセグメントｓ５の類似度は１．３である（符号ＳＴ２参照）。本実施例では、χ二乗値を類似度としているため、その値が小さいほど類似度が高く、値が大きいほど類似度が低い。
【0042】
続いて、経験ルール自動抽出手段１１１は、Ｓ４０３で算出したχ二乗値が最も小さい（類似度が最も高い）隣接セグメントをマージ（統合）し、セグメント管理テーブル３０１を再構築する（Ｓ４０４）。図８に示す例では、類似度が最も高いセグメントｓ２とセグメントｓ３とを１つのセグメントにマージしている（符号ＳＴ３参照）。
【0043】
そして、経験ルール自動抽出手段１１１は、ユーザが予め指定したセグメント数になるまで、Ｓ４０３及びＳ４０４の処理を繰り返す（Ｓ４０５）。
【0044】
その後、経験ルール自動抽出手段１１１は、経験ルール１２３を新規に生成し、生成した経験ルール１２３を記憶装置１０２に書き込み（Ｓ４０６）、本経験ルール抽出処理を終了する。
【0045】
（経験ルール）
図１０は、経験ルール１２３の一例を示す図である。経験ルール１２３は、各経験ルール１２３を識別する経験ルールＩＤが設定される経験ルールＩＤ２１２、及び、経験ルール関数が設定される経験ルール関数２１３の各データ項目を有する。
図１０は、経験ルール１２３の一例を示す図である。経験ルール１２３は、各経験ルール１２３を識別する経験ルールＩＤが設定される経験ルールＩＤ２１２、及び、経験ルール関数が設定される経験ルール関数２１３の各データ項目を有する。
【0046】
例えば、経験ルール自動抽出手段１１１は、経験ルールＩＤ２１２に一意の値を設定する。また、経験ルール自動抽出手段１１１は、注目特徴量がセグメントの上限と下限との間の値である場合に、当該セグメントの平均ラベル値を返す関数を、経験ルール関数２１３として設定する。
【0047】
＜学習データ補完処理＞
図１１は、学習データ補完処理を実行する学習データ補完手段１１２に入出力される各種データを示す図である。学習データ補完手段１１２は、対象データ１２１を入力として受け取り、学習データ補完処理を実行することにより、疑似データ１２４を出力する。
図１１は、学習データ補完処理を実行する学習データ補完手段１１２に入出力される各種データを示す図である。学習データ補完手段１１２は、対象データ１２１を入力として受け取り、学習データ補完処理を実行することにより、疑似データ１２４を出力する。
【0048】
図１２は、学習データ補完処理Ｓ５の詳細を説明する処理フロー図である。学習データ補完処理は、例えば、分類クラス推論装置１にユーザから所定の入力がされた場合、又は所定のタイミング（例えば、所定の時刻、所定の時間間隔）で実行される。
【0049】
学習データ補完手段１１２は、Tabular GAN（Generative Adversarial Network）等のアルゴリズムを用いて、対象データ１２１から疑似データ１２４を生成し、生成した疑似データ１２４を記憶装置１０２に書き込む（Ｓ６０１）。なお、学習データ補完手段１１２は、乱数を用いて、疑似データ１２４を生成してもよい。その後、学習データ補完手段１１２は、本学習データ補完処理を終了する。
【0050】
（疑似データ）
図１３は、疑似データ１２４の一例を示す図である。疑似データ１２４は、データＩＤが設定されるデータＩＤ２１１、及び、１又は複数の説明変数が設定される説明変数２１４（図示する例では、説明変数１、説明変数２、・・・、説明変数ｍ）の各項目を有する。疑似データ１２４のデータ構成は、対象データ１２１と同様である。
図１３は、疑似データ１２４の一例を示す図である。疑似データ１２４は、データＩＤが設定されるデータＩＤ２１１、及び、１又は複数の説明変数が設定される説明変数２１４（図示する例では、説明変数１、説明変数２、・・・、説明変数ｍ）の各項目を有する。疑似データ１２４のデータ構成は、対象データ１２１と同様である。
【0051】
＜経験ルールモデル構築処理＞
図１４は、経験ルールモデル構築処理を実行する経験ルールモデル構築手段１１３に入出力される各種データを示す図である。経験ルールモデル構築手段１１３は、対象データ１２１、正解ラベル１２２、疑似データ１２４、及び経験ルール１２３を入力として受け取り、経験ルール適用結果７０１及び学習用ラベル７０２を更新しながら、経験ルールモデル構築処理を実行することにより、経験ルールモデル１２５を出力する。
図１４は、経験ルールモデル構築処理を実行する経験ルールモデル構築手段１１３に入出力される各種データを示す図である。経験ルールモデル構築手段１１３は、対象データ１２１、正解ラベル１２２、疑似データ１２４、及び経験ルール１２３を入力として受け取り、経験ルール適用結果７０１及び学習用ラベル７０２を更新しながら、経験ルールモデル構築処理を実行することにより、経験ルールモデル１２５を出力する。
【0052】
図１５は、経験ルールモデル構築処理Ｓ６の詳細を説明する処理フロー図である。経験ルールモデル構築処理は、例えば、分類クラス推論装置１にユーザから所定の入力がされた場合、又は所定のタイミング（例えば、所定の時刻、所定の時間間隔）で実行される。
【0053】
まず、経験ルールモデル構築手段１１３は、対象データ１２１及び疑似データ１２４に、各経験ルール１２３を適用し、経験ルール適用結果７０１を生成する（Ｓ８０１）。
【0054】
（経験ルール適用結果）
図１６は、経験ルール適用結果７０１の一例を示す図である。経験ルール適用結果７０１は、データＩＤが設定されるデータＩＤ２１１、及び、対象データ１２１又は疑似データ１２４に各経験ルール１２３を適用した結果（分類クラス）が設定される適用結果７１１の各項目を有する。
図１６は、経験ルール適用結果７０１の一例を示す図である。経験ルール適用結果７０１は、データＩＤが設定されるデータＩＤ２１１、及び、対象データ１２１又は疑似データ１２４に各経験ルール１２３を適用した結果（分類クラス）が設定される適用結果７１１の各項目を有する。
【0055】
続いて、経験ルールモデル構築手段１１３は、正解ラベル１２２のデータをコピー（複製）して学習用ラベル７０２を生成する。また、経験ルールモデル構築手段１１３は、疑似データ１２４に対応する学習用ラベル７０２を、経験ルール適用結果７０１から生成する（Ｓ８０２）。例えば、経験ルールモデル構築手段１１３は、適用結果７１１の統計値（例えば、平均値又は中央値等）を、疑似データ１２４の学習用ラベル７０２とする。
【0056】
（学習用ラベル）
図１７は、学習用ラベル７０２の一例を示す図である。学習用ラベル７０２は、データＩＤが設定されるデータＩＤ２１１、及びラベル２１５の各項目を有する。学習用ラベル７０２のデータ構成は、正解ラベル１２２と同様である。
図１７は、学習用ラベル７０２の一例を示す図である。学習用ラベル７０２は、データＩＤが設定されるデータＩＤ２１１、及びラベル２１５の各項目を有する。学習用ラベル７０２のデータ構成は、正解ラベル１２２と同様である。
【0057】
続いて、経験ルールモデル構築手段１１３は、経験ルール適用結果７０１を入力とし、学習用ラベル７０２を推論（出力）する経験ルールモデル１２５を構築する（Ｓ８０３）。経験ルールモデル１２５は、例えば、ニューラルネットワーク、決定木、ランダムフォレスト、サポートベクターマシン（ＳＶＭ: Support Vector Machine）等のアルゴリズムに基づき構築される。例えば、経験ルールモデル構築手段１１３は、ニューラルネットワークにより経験ルールモデル１２５を構築する場合には、経験ルールモデル１２５に、ＮＮ（Neural Network）モデル構成情報と、重み及びバイアス情報を格納する。
【0058】
（経験ルールモデル）
図１８は、経験ルールモデル１２５におけるパラメータの一例を示す図である。経験ルールモデル１２５は、ＮＮモデル構成情報が設定されるＮＮモデル構成情報７１２と、各ニューラルネットワークの結合のパラメータ及びその重みの値並びにバイアス情報を設定する重み、バイアス情報７１３の各項目を有する。
図１８は、経験ルールモデル１２５におけるパラメータの一例を示す図である。経験ルールモデル１２５は、ＮＮモデル構成情報が設定されるＮＮモデル構成情報７１２と、各ニューラルネットワークの結合のパラメータ及びその重みの値並びにバイアス情報を設定する重み、バイアス情報７１３の各項目を有する。
【0059】
＜誤推論要因分析処理＞
図１９は、誤推論要因分析処理を実行する推論実行手段１１４及び誤推論要因分析手段１１５に入出力される各種データを示す図である。推論実行手段１１４は、対象データ１２１、正解ラベル１２２、及び経験ルールモデル１２５を入力として受け取り、後述するＳＨＡＰ値管理テーブル９０１を出力する。また、誤推論要因分析手段１１５は、対象データ１２１、正解ラベル１２２、及び経験ルールモデル１２５を入力として受け取り、ＳＨＡＰ値管理テーブル９０１を更新しながら、誤推論要因分析処理を実行することにより、後述する誤推論要因１２６を出力する。
図１９は、誤推論要因分析処理を実行する推論実行手段１１４及び誤推論要因分析手段１１５に入出力される各種データを示す図である。推論実行手段１１４は、対象データ１２１、正解ラベル１２２、及び経験ルールモデル１２５を入力として受け取り、後述するＳＨＡＰ値管理テーブル９０１を出力する。また、誤推論要因分析手段１１５は、対象データ１２１、正解ラベル１２２、及び経験ルールモデル１２５を入力として受け取り、ＳＨＡＰ値管理テーブル９０１を更新しながら、誤推論要因分析処理を実行することにより、後述する誤推論要因１２６を出力する。
【0060】
図２０は、誤推論要因分析処理Ｓ７の詳細を説明する処理フロー図である。誤推論要因分析処理は、例えば、分類クラス推論装置１にユーザから所定の入力がされた場合、又は所定のタイミング（例えば、所定の時刻、所定の時間間隔）で実行される。
【0061】
まず、推論実行手段１１４は、正解ラベル１２２をＳＨＡＰ値管理テーブル９０１にコピー（複製）する（Ｓ１００１）。
【0062】
（ＳＨＡＰ値管理テーブル）
図２１は、ＳＨＡＰ値管理テーブル９０１の一例を示す図である。ＳＨＡＰ値管理テーブル９０１は、データＩＤが設定されるデータＩＤ２１１、１又は複数の説明変数が設定される説明変数２１４（図示する例では、説明変数１、説明変数２、・・・、説明変数ｍ）、経験ルールモデル１２５による推論の結果が設定される推論値９１３、正解ラベルが設定される正解ラベル９１４、各経験ルール１２３それぞれのＳＨＡＰ（SHapley Additive exPlanations）値が設定されるＳＨＡＰ値９１５の各項目を有する。ＳＨＡＰ値については後述する。
図２１は、ＳＨＡＰ値管理テーブル９０１の一例を示す図である。ＳＨＡＰ値管理テーブル９０１は、データＩＤが設定されるデータＩＤ２１１、１又は複数の説明変数が設定される説明変数２１４（図示する例では、説明変数１、説明変数２、・・・、説明変数ｍ）、経験ルールモデル１２５による推論の結果が設定される推論値９１３、正解ラベルが設定される正解ラベル９１４、各経験ルール１２３それぞれのＳＨＡＰ（SHapley Additive exPlanations）値が設定されるＳＨＡＰ値９１５の各項目を有する。ＳＨＡＰ値については後述する。
【0063】
続いて、推論実行手段１１４は、対象データ１２１に各経験ルール１２３を適用した経験ルール適用結果を経験ルールモデル１２５に入力することにより、推論値を算出してＳＨＡＰ値管理テーブル９０１に格納する（Ｓ１００２）。
【0064】
続いて、誤推論要因分析手段１１５は、各データＩＤ２１１それぞれについて、各経験ルール１２３それぞれの推論値への寄与度（寄与した度合）を算出する。経験ルールモデル１２５は、経験ルール適用結果を入力とし、分類クラスを出力とするため、ＳＨＡＰ等のモデルの予測結果に対する各変数（特徴量）の寄与を求めるための手法により、各経験ルール１２３の出力値に対する寄与度を算出することができる。そのため、本実施形態では、誤推論要因分析手段１１５は、ＳＨＡＰにより算出した値（以下、「ＳＨＡＰ値」とする。）を、推論値への寄与度とする。そして、誤推論要因分析手段１１５は、算出したＳＨＡＰ値をＳＨＡＰ値管理テーブル９０１に格納する（Ｓ１００３）。
【0065】
続いて、誤推論要因分析手段１１５は、誤差（推論値と正解ラベルとの差）への寄与度（以下、「誤差寄与度」とする。）を、各経験ルール１２３それぞれについて算出する。具体的には、まず、誤推論要因分析手段１１５は、各データＩＤ２１１それぞれについて、推論値から正解ラベルを減算した値に経験ルール１２３のＳＨＡＰ値を乗算した値｛（推論値）－（正解ラベル）｝＊（ＳＨＡＰ値）を算出する。ＳＨＡＰ値は、推論値に対して、プラスに働いた場合には正の値となり、マイナスに働いた場合には負の値となる。そのため、推論値から正解ラベルを減算した値に、経験ルール１２３のＳＨＡＰ値を乗算した値を算出することにより、各データＩＤ２１１それぞれについての各経験ルール１２３の誤差寄与度を算出することができる。続いて、誤推論要因分析手段１１５は、各経験ルール１２３それぞれについて、算出した値｛（推論値）－（正解ラベル）｝＊（ＳＨＡＰ値）の総計値（各データＩＤ２１１それぞれに対する誤差寄与度の合計値）を算出する。そして、誤推論要因分析手段１１５は、各経験ルール１２３それぞれについて、算出した総計値を、経験ルールモデル１２５全体に対する誤差寄与度として誤推論要因１２６に格納する（Ｓ１００４）。その後、誤推論要因分析手段１１５は、本誤推論要因分析処理を終了する。
【0066】
（誤推論要因）
図２２は、誤推論要因１２６の一例を示す図である。誤推論要因１２６は、経験ルールＩＤが設定される経験ルールＩＤ９１６、及び、誤差寄与度９１７の各項目を有する。
図２２は、誤推論要因１２６の一例を示す図である。誤推論要因１２６は、経験ルールＩＤが設定される経験ルールＩＤ９１６、及び、誤差寄与度９１７の各項目を有する。
【0067】
＜経験ルール補正処理＞
図２３は、経験ルール補正処理Ｓ８の詳細を説明する処理フロー図である。経験ルール補正処理は、例えば、分類クラス推論装置１にユーザから所定の入力がされた場合、又は所定のタイミング（例えば、所定の時刻、所定の時間間隔）で実行される。
図２３は、経験ルール補正処理Ｓ８の詳細を説明する処理フロー図である。経験ルール補正処理は、例えば、分類クラス推論装置１にユーザから所定の入力がされた場合、又は所定のタイミング（例えば、所定の時刻、所定の時間間隔）で実行される。
【0068】
まず、分類クラス推論装置１は、誤推論要因１２６を参照して、誤差寄与度９１７が所定の閾値よりも大きい経験ルール１２３を補正（例えば、削除又は修正）する（Ｓ１１０１）。誤差寄与度９１７と比較する閾値は、例えば、ユーザが予め設定する。或いは、分類クラス推論装置１は、誤推論要因１２６を出力装置１０４に表示して、各経験ルール１２３の補正（削除又は修正）を入力装置１０３においてユーザから受け付けてもよい。ユーザは、誤推論寄与度の値が大きいほど誤差に多く寄与した経験ルール１２３であることがわかるため、誤推論要因１２６を参照して、経験ルール１２３を削除、又は修正する。
【0069】
続いて、分類クラス推論装置１は、上述したＳ８０１からＳ８０３までの処理、及び、Ｓ１００１からＳ１００４までの処理を、再実行する（Ｓ１１０２）。
【0070】
その後、分類クラス推論装置１は、経験ルールモデル１２５の推論精度が所定の目標精度に達したか否かを判定する（Ｓ１１０３）。目標精度は、例えば、ユーザが予め設定する。例えば、分類クラス推論装置１は、再構築した経験ルールモデル１２５に対象データ１２１を入力した推論結果と正解ラベル１２２との一致度に基づいて推論精度を算出する。分類クラス推論装置１は、経験ルールモデル１２５の推論精度が目標精度に達していない場合には（Ｓ１１０３：ＮＯ）、Ｓ１１０１の処理に戻る。一方、分類クラス推論装置１は、経験ルールモデル１２５の推論精度が目標精度に達した場合には（Ｓ１１０３：ＹＥＳ）、本経験ルール補正処理を終了する。
【0071】
以上説明したように、本実施形態の分類クラス推論装置１は、対象データ１２１から分類クラスを推論する経験ルールモデル１２５を構築する分類クラス推論装置１であって、業務に関する条件から当該条件に対応する分類クラスを決定する複数の経験ルール１２３と、複数の対象データ１２１と、対象データ１２１の正解ラベル１２２とを記憶する記憶装置１０２と、業務に関する条件に対応する疑似データ１２４を生成し、疑似データ１２４、及び経験ルール１２３に基づいて経験ルールモデル１２５を構築する経験ルールモデル構築処理と、経験ルールモデル１２５に対象データ１２１を入力することにより、対象データ１２１に対応する分類クラスを推論する経験ルールモデル推論処理と、推論した分類クラスと、対象データ１２１の正解ラベル１２２とを比較することにより、経験ルールモデル１２５の推論精度の低下の要因となる経験ルール１２３を特定するための誤推論要因１２６を生成して出力する誤推論要因分析処理とを実行する演算装置１０１と、を備える。
【0072】
すなわち、本実施形態の分類クラス推論装置１は、業務に関する条件から当該条件に対応する分類クラスを決定する経験ルール１２３を予め記憶しているため、学習データのデータ量が充分でない場合であっても、対象データ１２１の分類クラスを推論する経験ルールモデル１２５を構築することができる。さらに、分類クラス推論装置１は、経験ルール１２３それぞれの、経験ルールモデル１２５の推論精度の低下に対する寄与度（誤差寄与度）を出力するため、ユーザは、経験ルールモデル１２５の推論精度向上のために補正すべき経験ルール１２３を容易に把握することができる。これにより、対象データ１２１を適切なクラスに分類する経験ルールモデル１２５をより少ない工数で構築することができる。
【0073】
また、本実施形態の分類クラス推論装置１は、誤推論要因分析処理において、経験ルール１２３それぞれについて、経験ルールモデル１２５の推論精度の低下への寄与度を算出し、算出した寄与度が所定の閾値より大きい経験ルール１２３を補正して、経験ルールモデル１２５を再構築する経験ルール補正処理を実行する。
【0074】
このような構成により、分類クラス推論装置１は、推論精度を低下させる要因となる経験ルール１２３を自動的に補正して経験ルールモデル１２５を再構築する。これにより、ユーザが手動で経験ルール１２３を補正する工数を省き、推論精度を更に向上させる経験ルールモデル１２５を自動的に生成することができる。
【0075】
また、本実施形態の分類クラス推論装置１は、新たな経験ルール１２３を定義するための注目特徴量情報３０２を記憶し、複数の対象データ１２１と、対象データ１２１の正解ラベル１２２と、注目特徴量情報３０２とに基づいて、経験ルール１２３を新たに生成する経験ルール自動抽出処理を実行する。具体的には、分類クラス推論装置１は、経験ルール自動抽出処理において、複数の対象データ１２１それぞれの特徴量の値を算出し、特徴量の値に基づいて複数の対象データ１２１を複数のセグメントに分け、各セグメントにおける特徴量の値と、対象データ１２１の正解ラベル１２２に基づく経験ルール１２３を生成する。
【0076】
このような構成により、分類クラス推論装置１は、注目特徴量情報３０２に基づく新たな経験ルール１２３を自動的に生成することができる。よって、ユーザが手動で経験ルール１２３を作成する工数を削減しつつ、推論精度の良い経験ルールモデル１２５を構築することできる。
【0077】
また、本実施形態の分類クラス推論装置１は、経験ルール自動抽出処理において、セグメントの数が所定数になるまで、隣接するセグメント間における対象データ１２１の正解ラベル１２２の分布の類似度に基づいてセグメントを統合する。
【0078】
このような構成により、分類クラス推論装置１は、より精度の良い経験ルール１２３を生成することができる。これにより、より推論精度の良い経験ルールモデル１２５を構築することできる。
【0079】
［第２の実施形態］
続いて、本発明の第２の実施形態における分類クラス推論装置、分類クラス推論方法及び分類クラス推論プログラムについて説明する。
続いて、本発明の第２の実施形態における分類クラス推論装置、分類クラス推論方法及び分類クラス推論プログラムについて説明する。
【0080】
図２４は、本実施形態における分類クラス推論装置１Ａの構成の一例を示す図である。本図において、第１の実施形態の分類クラス推論装置１と同様の構成には同一の符号を付し、その説明を省略する。
【0081】
対象データ１２１の分類クラスを推論するための学習データが充分でない場合であっても、対象データ１２１とは異なる用途に使用される学習データが充分にある場合がある。例えば、所定の業種（例えば、農水業）に対するサービス（分類クラスの推論）を既に実施しており、サービス拡大のために対象データ１２１の業種（例えば、鉱業）に対するサービス（分類クラスの推論）を新たに開始する場合等には、新たなサービスの業種（鉱業）に対する学習データは充分でなくとも、既にサービスを実施している業種（農水業）の学習データ（業務データ）は充分に蓄積されていることがある。
【0082】
そこで、本実施形態における分類クラス推論装置１は、対象データ１２１とはその用途が異なる学習データである他用途データ１３１１を用いて、経験ルールモデル１２５の推論精度を向上させる点が、第１の実施形態と異なる。
【0083】
演算装置１０１Ａは、記憶装置１０２Ａに記憶されているプログラムを実行することにより、第１の実施形態における演算装置１０１が実現する各機能に加えて、経験ルール品質評価手段１３０１、及び、追加注目特徴量抽出手段１３０２の各機能それぞれを実現する。
【0084】
経験ルール品質評価手段１３０１は、経験ルール自動抽出手段１１１が他用途データ１３１１及び他用途データ１３１１の正解ラベルを示す他用途正解ラベル１３１２に基づいて生成した他用途向けの経験ルール（他用途経験ルール１３１３（他用途ルール））から、経験ルールモデル１２５の構築に使用する経験ルール（流用可能経験ルール１３１４）を抽出するルール品質評価処理を実行する。
【0085】
追加注目特徴量抽出手段１３０２は、経験ルールモデル１２５を構築するために使用する新たな経験ルール１２３を生成するための、追加の注目特徴量（追加注目特徴量１３１７）を抽出する追加注目特徴量抽出処理を実行する。
【0086】
記憶装置１０２Ａは、第１の実施形態における演算装置１０１が実現する各機能に加えて、経験ルール品質評価手段１３０１、及び、追加注目特徴量抽出手段１３０２の各機能それぞれを実現すためのプログラムを記憶している。
【0087】
また、記憶装置１０２Ａは、第１の実施形態における記憶装置１０２が記憶する各種データに加えて、他用途データ１３１１、他用途正解ラベル１３１２、後述する他用途経験ルール１３１３、後述する流用可能経験ルール１３１４、後述する誤推論データ１３１５、後述する誤推論データ推論モデル１３１６、及び、後述する追加注目特徴量１３１７をそれぞれ記憶している。
【0088】
他用途データ１３１１は、対象データ１２１とは異なる用途に用いる学習データである。他用途データ１３１１のデータ構成は、対象データ１２１と同様である。
【0089】
他用途正解ラベル１３１２は、他用途データ１３１１の正解ラベルである。他用途正解ラベル１３１２のデータ構成は、正解ラベル１２２と同様である。
【0090】
＜処理の概要＞
図２５は、分類クラス推論装置１Ａの各機能に入出力される各種データを示す図である。図２６は、分類クラス推論装置１Ａで行われる処理の概要を説明する図である。本図に示す処理は、例えば、分類クラス推論装置１Ａにユーザから所定の入力がされた場合、又は所定のタイミング（例えば、所定の時刻、所定の時間間隔）で実行される。
図２５は、分類クラス推論装置１Ａの各機能に入出力される各種データを示す図である。図２６は、分類クラス推論装置１Ａで行われる処理の概要を説明する図である。本図に示す処理は、例えば、分類クラス推論装置１Ａにユーザから所定の入力がされた場合、又は所定のタイミング（例えば、所定の時刻、所定の時間間隔）で実行される。
【0091】
まず、経験ルール自動抽出手段１１１が、他用途データ１３１１、及び他用途正解ラベル１３１２を入力とし、上述したＳ４０１からＳ４０６の処理を実行することにより、他用途経験ルール１３１３を抽出する（Ｓ１４０１）。他用途経験ルール１３１３は、他用途の経験ルールであって、そのデータ構成は、経験ルール１２３と同様である。
【0092】
続いて、経験ルール品質評価手段１３０１が、対象データ１２１に他用途経験ルール１３１３を適用し、適用した結果である経験ルール適用結果と正解ラベル１２２とを他用途経験ルール１３１３ごとに比較する。そして、経験ルール自動抽出手段１１１は、経験ルール適用結果と正解ラベル１２２とが一致する度合（一致度）が予め設定された閾値以上である他用途経験ルール１３１３を、流用可能経験ルール１３１４として登録する（Ｓ１４０２）。流用可能経験ルール１３１４は、経験ルールモデル１２５に流用可能な他用途経験ルール１３１３であって、そのデータ構成は、経験ルール１２３と同様である。
【0093】
続いて、経験ルール自動抽出手段１１１が、対象データ１２１、及び正解ラベル１２２を入力とし、上述したＳ４０１からＳ４０６を実行することにより、経験ルール１２３を抽出する（Ｓ１４０３）。
【0094】
続いて、追加注目特徴量抽出手段１３０２が、Ｓ１４０２で抽出した流用可能経験ルール１３１４を経験ルール１２３に追加する。そして、追加注目特徴量抽出手段１３０２は、上述したＳ８０１からＳ８０３の処理を実行することにより、対象データ１２１、正解ラベル１２２、疑似データ１２４、及び経験ルール１２３から、経験ルールモデル１２５を構築する（Ｓ１４０４）。
【0095】
続いて、追加注目特徴量抽出手段１３０２は、経験ルールモデル１２５に対象データ１２１を入力することにより、各対象データ１２１の推論値を算出する。そして、追加注目特徴量抽出手段１３０２は、推論値が正解ラベル１２２と一致しない対象データ１２１を誤推論データ１３１５として収集する（Ｓ１４０５）。誤推論データ１３１５のデータ構成は、対象データ１２１と同様である。
【0096】
続いて、追加注目特徴量抽出手段１３０２は、誤推論データ１３１５から、誤推論データに対応する正解ラベル１２２を推論する（誤推論データ１３１５を入力とし、誤推論データに対応する正解ラベル１２２を出力する）機械学習モデルを構築する。機械学習モデルは、例えば、ニューラルネットワーク、決定木、ランダムフォレスト、サポートベクターマシン（ＳＶＭ: Support Vector Machine）等のアルゴリズムに基づき構築される。そして、追加注目特徴量抽出手段１３０２は、当該機械学習モデルの説明変数ごとのＳＨＡＰ値を算出し、ＳＨＡＰ値の絶対値が所定の閾値以上の説明変数を追加注目特徴量１３１７に格納する（Ｓ１４０６）。
【0097】
（追加注目特徴量）
図２７は、追加注目特徴量１３１７の一例を示す図である。追加注目特徴量１３１７は、説明変数が設定される説明変数１０１１、及び、ＳＨＡＰ値が設定される着目度１０１２の各項目を有する。
図２７は、追加注目特徴量１３１７の一例を示す図である。追加注目特徴量１３１７は、説明変数が設定される説明変数１０１１、及び、ＳＨＡＰ値が設定される着目度１０１２の各項目を有する。
【0098】
続いて、追加注目特徴量抽出手段１３０２は、追加注目特徴量１３１７の説明変数１０１１を注目特徴量情報３０２に登録する。そして、追加注目特徴量抽出手段１３０２は、上述したＳ４０１からＳ４０６の処理を実行することにより、経験ルール１２３を追加で抽出（新規に生成）する（Ｓ１４０７）。
【0099】
続いて、経験ルールモデル構築手段１１３が、上述したＳ８０１からＳ８０３の処理を実行することにより、対象データ１２１、正解ラベル１２２、疑似データ１２４、及び経験ルール１２３から、経験ルールモデル１２５を構築する（Ｓ１４０４）。その後、処理を終了する。
【0100】
以上説明したように、本実施形態の分類クラス推論装置１Ａは、対象データ１２１と異なる他の用途に用いられる他用途データ１３１１と、他用途正解ラベル１３１２とを記憶し、他用途データ１３１１と、他用途正解ラベル１３１２とに基づいて、他用途経験ルール１３１３を生成し、対象データ１２１に他用途経験ルール１３１３を適用することで、他用途経験ルール１３１３から、経験ルールモデル１２５の構築に使用する流用可能経験ルール１３１４を抽出するルール品質評価処理を実行する。
【0101】
すなわち、本実施形態の分類クラス推論装置１Ａは、学習データが充分にある他の用途（例えば、他の業種）の他用途経験ルール１３１３から流用可能経験ルール１３１４を自動的に抽出する。これにより、他の用途で用いられる信頼性のある経験ルールを流用することができるため、ユーザが手動で経験ルール１２３を作成する手間を省き、より少ない工数で、より精度の良い経験ルールモデル１２５を構築することができる。
【0102】
また、本実施形態の分類クラス推論装置１Ａは、経験ルール１２３と、流用可能経験ルール１３１４とに基づいて、経験ルールモデル１２５を構築し、構築した経験ルールモデル１２５に対象データ１２１を入力した推論結果が正解ラベルと一致しない要因となる対象データ１２１の変数を、新たな特徴量として抽出し、抽出した特徴量に基づいて、経験ルール１２３を新たに生成し、新たに生成した経験ルール１２３と、記憶装置１０２Ａが記憶する経験ルールと１２３、流用可能経験ルール１３１４とに基づいて、経験ルールモデル１２５を再構築する追加注目特徴量抽出処理を実行する。
【0103】
すなわち、分類クラス推論装置１Ａは、現状の経験ルール１２３のみでは、推論結果が正解ラベルと一致しない誤推論の要因となる対象データ１２１の説明変数に着目している。そして、分類クラス推論装置１Ａは、その説明変数を特徴量とすることにより、誤推論を正すことが可能な（現状では不足している）経験ルール１２３を新規に生成することができる。よって、経験ルールモデル１２５の推論精度を更に向上させる新たな経験ルール１２３を自動的に生成することができる。これにより、ユーザが手動で経験ルール１２３を作成する手間を省き、より少ない工数で、より精度の良い経験ルールモデル１２５を構築することができる。
【0104】
本発明は、上記実施形態に限定されるものではなく、その要旨を逸脱しない範囲内で、任意の構成要素を用いて実施可能である。以上説明した実施形態や変形例はあくまで一例であり、発明の特徴が損なわれない限り、本発明はこれらの内容に限定されるものではない。また、上記では種々の実施形態や変形例を説明したが、本発明はこれらの内容に限定されるものではない。本発明の技術的思想の範囲内で考えられるその他の態様も本発明の範囲内に含まれる。
【0105】
例えば、本実施形態の各装置が備えるハードウェアの一部は、他の装置に設けてもよい。
【0106】
また、分類クラス推論装置１，１Ａの各プログラムは他の装置に設けてもよいし、あるプログラムを複数のプログラムからなるものとしてもよいし、複数のプログラムを一つのプログラムに統合してもよい。
【符号の説明】
【0107】
１，１Ａ 分類クラス推論装置、１１１ 経験ルール自動抽出手段、１１２ 学習データ補完手段、１１３ 経験ルールモデル構築手段、１１４ 推論実行手段 １１５ 誤推論要因分析手段、１２１ 対象データ、１２２ 正解ラベル、１２３ 経験ルール、１２４ 疑似データ、１２５ 経験ルールモデル、１２６ 誤推論要因、１３０１ 経験ルール品質評価手段、１３０２ 追加注目特徴量抽出手段、１３１１ 他用途データ１３１１、１３１２他用途正解ラベル、１３１３ 他用途経験ルール１３１３、１３１４ 流用可能経験ルール、１３１５ 誤推論データ、１３１６ 誤推論データ推論モデル、１３１７ 追加注目特徴量
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図13】
【図14】
【図15】
【図16】
【図17】
【図18】
【図19】
【図20】
【図21】
【図22】
【図23】
【図24】
【図25】
【図26】
【図27】