特許 7480840 調整プログラム、調整方法および情報処理装置

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2024-04-30

(45)【発行日】2024-05-10

(54)【発明の名称】調整プログラム、調整方法および情報処理装置

(51)【国際特許分類】

   G06N 5/00 20230101AFI20240501BHJP

   G06N 20/00 20190101ALI20240501BHJP

【ＦＩ】

G06N5/00

G06N20/00

【請求項の数】 6

(21)【出願番号】P 2022516495

(86)(22)【出願日】2020-04-20

(86)【国際出願番号】 JP2020017116

(87)【国際公開番号】W WO2021214845

(87)【国際公開日】2021-10-28

【審査請求日】2022-07-14

(73)【特許権者】

【識別番号】000005223

【氏名又は名称】富士通株式会社

(74)【代理人】

【識別番号】110002147

【氏名又は名称】弁理士法人酒井国際特許事務所

(72)【発明者】

【氏名】浅井 達哉

【審査官】三坂 敏夫

(56)【参考文献】

【文献】特開平０７－０２１０２３（ＪＰ，Ａ）

【文献】特開平０９－０９１０３６（ＪＰ，Ａ）

【文献】特開２００６－３０９４８５（ＪＰ，Ａ）

【文献】特開平０８－１２９４８８（ＪＰ，Ａ）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ０６Ｎ ３／００－９９／００

(57)【特許請求の範囲】

【請求項1】

コンピュータに、
１つの第１の属性値または複数の第１の属性値の組合せである第１の条件部と前記第１の条件部に対応した第１のラベルとが対応付けられた第１パターン情報と、１つの第２の属性値または複数の第２の属性値の組合せである第２の条件部と前記第２の条件部に対応した第２のラベルとが対応付けられた第２パターン情報とを比較し、
前記第１のラベルと前記第２のラベルとが一致するとともに前記第１の条件部と前記第２の条件部とのうち互いに矛盾する属性値が含まれる場合、または、前記第１のラベルと前記第２のラベルとが互いに矛盾するとともに前記第１の条件部と前記第２の条件部とのうち互いに矛盾する属性値が含まれない場合、前記第１の条件部に含まれる第１の属性値のうち、前記第２の条件部に含まれる、矛盾する属性値を除く第２の属性値と一致する一致率を算出し、前記一致率に基づいて、前記第１パターン情報に対する重要度を調整する、
処理を実行させることを特徴とする調整プログラム。

【請求項2】

前記調整する処理は、前記第１のラベルと前記第２のラベルとが互いに矛盾するとともに、前記第１の条件部に含まれる各第１の属性値と前記第２の条件部に含まれる各第２の属性値とが互いに矛盾し、矛盾しない属性値が含まれない場合、前記第１パターン情報に設定される前記重要度の調整を抑制することを特徴とする請求項１に記載の調整プログラム。

【請求項3】

前記第２パターン情報は、学習分野の専門家の経験則で得られた知識を、前記第２の条件部と前記第２のラベルとを用いてモデル化した知識モデルである、ことを特徴とする請求項１に記載の調整プログラム。

【請求項4】

複数の属性値を有する判定対象データに対して正例または負例を判定する処理を前記コンピュータにさらに実行させ、
前記比較する処理は、複数の仮説それぞれについて、前記知識モデルと比較し、
前記調整する処理は、前記複数の仮説それぞれについて、前記重要度の調整を実行し、
前記判定する処理は、前記判定対象データから前記属性値の組合せを生成し、生成された各組合せと一致する各仮説の調整済みの重要度に基づいて、正例または負例を判定することを特徴とする請求項３に記載の調整プログラム。

【請求項5】

コンピュータが、
１つの第１の属性値または複数の第１の属性値の組合せである第１の条件部と前記第１の条件部に対応した第１のラベルとが対応付けられた第１パターン情報と、１つの第２の属性値または複数の第２の属性値の組合せである第２の条件部と前記第２の条件部に対応した第２のラベルとが対応付けられた第２パターン情報とを比較し、
前記第１のラベルと前記第２のラベルとが一致するとともに前記第１の条件部と前記第２の条件部とのうち互いに矛盾する属性値が含まれる場合、または、前記第１のラベルと前記第２のラベルとが互いに矛盾するとともに前記第１の条件部と前記第２の条件部とのうち互いに矛盾する属性値が含まれない場合、前記第１の条件部に含まれる第１の属性値のうち、前記第２の条件部に含まれる、矛盾する属性値を除く第２の属性値と一致する一致率を算出し、前記一致率に基づいて、前記第１パターン情報に対する重要度を調整する、
処理を実行することを特徴とする調整方法。

【請求項6】

１つの第１の属性値または複数の第１の属性値の組合せである第１の条件部と前記第１の条件部に対応した第１のラベルとが対応付けられた第１パターン情報と、１つの第２の属性値または複数の第２の属性値の組合せである第２の条件部と前記第２の条件部に対応した第２のラベルとが対応付けられた第２パターン情報とを比較する比較部と、
前記第１のラベルと前記第２のラベルとが一致するとともに前記第１の条件部と前記第２の条件部とのうち互いに矛盾する属性値が含まれる場合、または、前記第１のラベルと前記第２のラベルとが互いに矛盾するとともに前記第１の条件部と前記第２の条件部とのうち互いに矛盾する属性値が含まれない場合、前記第１の条件部に含まれる第１の属性値のうち、前記第２の条件部に含まれる、矛盾する属性値を除く第２の属性値と一致する一致率を算出し、前記一致率に基づいて、前記第１パターン情報に対する重要度を調整する調整部と、
を有することを特徴とする情報処理装置。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、調整プログラム、調整方法および情報処理装置に関する。

【背景技術】

【0002】

従来から、訓練データを利用したディープラーニングなどの機械学習を実行し、機械学習により生成されたモデルを用いて、データを分析することが行われている。このような機械学習では、訓練データ量が少ない、訓練データに偏りがある、正解データが少ないなどの条件下では、モデルの精度が高くならないこともある。

【0003】

近年では、正解データが少ないなどの上記条件下でも高精度に学習を実行できるＡＩ（Artificial Intelligence）技術が知られている。例えば、データが有するすべてのデータ項目の組合せパターンを仮説（ルールやパターンとも言う）とし、各仮説に対しラベルのヒット率で、その仮説の重要度を算出し、重要度が一定値以上である重要な仮説を特定する。そして、複数の重要な仮説とラベルに基づきモデルを生成し、生成されたモデルを用いてデータの分類や分析を行う。

【先行技術文献】

【特許文献】

【0004】

【文献】特開平７－２９５８２０号公報

【発明の概要】

【発明が解決しようとする課題】

【0005】

ところで、モデルの精度向上を図るために、機械学習が出力した仮説に対し、人間の知識モデルを当てはめて、照合するものが存在した仮説を採用することが考えられる。例えば、血糖値の高さ、むくみの有無、高血圧などの属性値をデータ項目として病気の発症を予測するモデルの学習を考える。このとき、機械学習により出力される少量の仮説に対し、医者の知識モデルを当てはめて、照合するデータ項目が存在した場合にその仮説を採用する。

【0006】

しかし、機械学習が出力した仮説が限定的であることから、他の可能性を見逃している可能性も高く、また、医者の知識モデルと照合する確率が低いことから採用されない仮説が多く存在することもあり、機械学習の出力を有効に活用できない。

【0007】

一つの側面では、精度の高いモデルを生成することができる調整プログラム、調整方法および情報処理装置を提供することを目的とする。

【課題を解決するための手段】

【0008】

第１の案では、調整プログラムは、コンピュータに、１つの属性値または複数の属性値の組合せである条件部と前記条件部に対応したラベルとが対応付けられた第１パターン情報と、前記第１パターン情報と異なる第２パターン情報とを比較する処理を実行させる。調整プログラムは、コンピュータに、前記条件部または前記ラベルのいずれかに矛盾がある場合、前記第１パターン情報と前記第２パターン情報との間の一致の度合または矛盾の度合に基づいて、前記第１パターン情報に対する重要度を調整する処理を実行させる。

【発明の効果】

【0009】

一実施形態によれば、精度の高いモデルを生成することができる。

【図面の簡単な説明】

【0010】

【図1】図１は、実施例１にかかる情報処理装置を説明する図である。

【図2】図２は、学習手法を説明する図である。

【図3】図３は、学習手法を説明する図である。

【図4】図４は、仮説が有効活用できない問題点を説明する図である。

【図5】図５は、実施例１にかかる情報処理装置の機能構成を示す機能ブロック図である。

【図6】図６は、仮説集合の一例を説明する図である。

【図7】図７は、知識モデルの一例を説明する図である。

【図8】図８は、矛盾判定を説明する図である。

【図9】図９は、条件部の矛盾例を説明する図である。

【図10】図１０は、条件部の矛盾例を説明する図である。

【図11】図１１は、結論部の矛盾例を説明する図である。

【図12】図１２は、結論部の矛盾例を説明する図である。

【図13】図１３は、条件部および結論部の矛盾例を説明する図である。

【図14】図１４は、矛盾判定と照合率の計算結果を説明する図である。

【図15】図１５は、重要度の修正を説明する図である。

【図16】図１６は、実施例１にかかる処理の流れを示すフローチャートである。

【図17】図１７は、仮説と専門家の知識モデルの比較例を説明する図である。

【図18】図１８は、仮説と専門家の知識モデルの比較例を説明する図である。

【図19】図１９は、ハードウェア構成例を説明する図である。

【発明を実施するための形態】

【0011】

以下に、本発明にかかる調整プログラム、調整方法および情報処理装置の実施例を図面に基づいて詳細に説明する。なお、この実施例によりこの発明が限定されるものではない。また、各実施例は、矛盾のない範囲内で適宜組み合わせることができる。

【実施例1】

【0012】

［情報処理装置の説明］
図１は、実施例１にかかる情報処理装置１０を説明する図である。図１に示す情報処理装置１０は、学習データを用いて機械学習を実行してモデルを生成し、専門家の知識モデルを用いて、学習済みのモデルを修正する。その後、情報処理装置１０は、修正後のモデルを用いて、判定対象データに対して判定を実行し、判定結果を出力する。

【0013】

ここで、情報処理装置１０が実行する機械学習の学習手法について説明する。図２と図３は、学習手法を説明する図である。情報処理装置１０は、学習により、仮説と重要度とを組み合わせたモデルを生成する。一般的に、深層学習（Deep Learning）は、人間の脳の神経回路の構造を模倣したニューラルネットワークを何層にも重ね、１つのモデルを洗練化することで精度向上を実現するので、人間が理解できない複雑なモデルである。一方、図２に示すように、情報処理装置１０は、属性値の一例であるデータ項目を組み合わせて大量の仮説を抽出し、仮説（ナレッジチャンク（以下では、単に「チャンク」と記載する場合がある））の重要度を調整し高精度な分類モデルを構築する機械学習（例えば、Wide Learning）を実行する。ナレッジチャンクとは、人間が理解できる単純なモデルであり、入出力の関係として成立する可能性のある仮説を論理的な表現で記載したモデルである。

【0014】

具体的には、情報処理装置１０は、入力データの全てのデータ項目の組み合わせパターンを仮説（チャンク）とし、各仮説に対するラベルのヒット率で、その仮説の重要度を判断する。そして、情報処理装置１０は、抽出した複数のナレッジチャンクとラベル（目的変数）に基づきモデルを構築する。この際に、情報処理装置１０は、ナレッジチャンクを構成する項目が他のナレッジチャンクを構成する項目と重複が多い場合に、重要度が小さくなるように制御する。

【0015】

図３を用いて具体例を説明する。ここでは、ある商品やサービスを購入する顧客を判断したい時の例を考える。顧客データには、「性別」、「免許の有無」、「婚姻」、「年齢」、「年収」等の様々な項目（属性値）がある。これらの項目の全ての組み合わせを仮説とし、各仮説の重要度を考える。例えば、「「男」、「所有」、「既婚」」という項目を組み合わせた仮説に当てはまる顧客がデータの中に１０人いる。この１０人のうち、９人が商品等を購入していれば、「「男」、「所有」、「既婚」の人は購入」というヒット率の高い仮説とし、これをナレッジチャンクとして抽出する。なお、ここでは、例として、商品を購入したか否かを二値で表したものをラベル、すなわち目的変数としている。

【0016】

一方、「「男」、「所有」」という項目を組み合わせた仮説に当てはまる顧客がデータの中に１００人いる。この１００人のうち６０人しか商品等を購入してない場合、購入するヒット率が６０％となり、閾値（例えば８０）未満であることから、「「男」、「所有」の人は購入」というヒット率の低い仮説とし、ナレッジチャンクとして抽出しない。

【0017】

また、「「男」、「未所有」、「未婚」」という項目を組み合わせた仮説に当てはまる顧客がデータの中に２０人いる。この２０人のうち１８人が商品等を未購入の場合、未購入であるヒット率が９０％となり、閾値（例えば８０）以上であることから、「「男」、「未所有」、「未婚」の人は未購入」というヒット率の高い仮説とし、ナレッジチャンクとして抽出する。

【0018】

このようにして、情報処理装置１０は、購入を支持するナレッジチャンクや未購入を支持するナレッジチャンクを数千万や数億個取り出し、モデルの学習を実行する。このように学習されたモデルは、特徴の組み合わせを仮説（チャンク）として列挙し、各仮説には確からしさを示す尤度の一例である重要度が付加され、入力データに出現する仮説の重要度の総和がスコアとなり、スコアが閾値以上であれば正例と出力する。

【0019】

すなわち、スコアとは、その状態の確からしさを示す指標であり、各モデルで生成されるチャンク（仮説）のうち、属する特徴をすべて満たすチャンクの重要度の合算値である。例えば、チャンクＡに「重要度：２０，特徴（Ａ１、Ａ２）」、チャンクＢに「重要度：５，特徴（Ｂ１）」、チャンクＣに「重要度：１０，特徴（Ｃ１、Ｃ２）」が対応付けられている状態で、判定対象データのデータ項目に（Ａ１、Ａ２、Ｂ１、Ｃ１）が存在したとする。このとき、チャンクＡとチャンクＢの特徴がすべて出現していることになるので、スコアは「２０＋５＝２５」となる。また、ここでの特徴とは、ユーザの行動等が該当する。

【0020】

上述した機械学習により仮説を網羅的に列挙できる一方で、医者やカウンセラーなど、専門家が自身の経験により判断の基準とする知識（知識モデル）を有することもある。このような場合に、仮説に知識モデルを当てはめて、照合する仮説を採用することを考える。この場合、生成される仮説が限定的であり、他の可能性を見逃しているかもしれず、専門家の知識モデルと照合する確率が低く採用されない仮説が発生するなど、機械学習により得られる仮説を活用できないことがある。

【0021】

図４は、仮説が有効活用できない問題点を説明する図である。ここでは、医療を例にして説明する。図４に示すように、仮説集合として、仮説１と仮説２が生成されたとする。仮説１は、条件部「Ａ、かつ、Ｃではない、かつ、Ｄ」の場合に結論が「発症する」となる仮説であり、仮説２は、条件部「Ａではない、かつ、Ｅ」の場合に結論が「発症しない」となる仮説である。また、医者Ａの知識モデルとして、条件部「Ａ、かつ、Ｄ」の場合に結論が「発症する」となる知識が存在し、医者Ｂの知識モデルとして、条件部「Ｂ、かつ、Ｃ」の場合に結論が「発症しない」となる知識が存在するとする。なお、Ａなどは、例えば発熱の有無、体温が３８度以上などの体調や診療結果などの属性値である。

【0022】

このような状態で、医者の知識モデルと一致する仮説を学習済みモデルとして採用することを考える。例えば、各仮説と各医者の知識モデルとを照合すると、仮説１は、医者Ａの知識モデルの条件を一部含んでいるので採用されるが、仮説２は、いずれの知識モデルも含んでないので採用されない。このように、機械学習により得られる仮説を活用できないことがある。

【0023】

一方で、図２と図３で説明した機械学習により得られるそれぞれの仮説には、重要度が付与されるので、重要度により採用の優先度を付けることもできる。しかし、機械学習により生成される仮説の重要度の妥当性が問題となることもある。

【0024】

そこで、実施例１にかかる情報処理装置１０は、専門家の知見を仮説に反映することを考える。具体的には、情報処理装置１０は、専門家の知識モデルと各仮説を照合した照合率と矛盾の有無を計算し、知識モデルと矛盾する仮説については、照合率の値に応じて仮説の重要度を修正する。このようにすることで、専門家の知識モデルを反映した精度の高いモデルを生成することができる。

【0025】

［機能構成］
図５は、実施例１にかかる情報処理装置１０の機能構成を示す機能ブロック図である。図５に示すように、情報処理装置１０は、通信部１１、表示部１２、記憶部１３、制御部２０を有する。

【0026】

通信部１１は、他の装置との間の通信を制御する処理部であり、例えば通信インタフェースにより実現される。例えば、通信部１１は、管理者の端末などと、処理の開始指示などを含む各種データの送受信を実行する。

【0027】

表示部１２は、各種情報を表示する処理部であり、例えばディスプレイやタッチパネルなどにより実現される。例えば、表示部１２は、学習結果、修正結果、判定結果などを表示する。

【0028】

記憶部１３は、各種データや制御部２０が実行するプログラムなどを記憶する処理部であり、例えばメモリやハードディスクにより実現される。この記憶部１３は、学習データ１４、仮説集合１５、知識モデル１６、修正後の仮説集合１７、判定対象データ１８を記憶する。

【0029】

学習データ１４は、機械学習に利用される学習データである。具体的には、学習データ１４は、説明変数に該当する属性値の一例である複数の項目と、目的変数に該当するラベル（正解情報）とが対応付けられた教師有の学習データである。例えば、医療を例にして説明すると、学習データ１４は、項目「男性、３０代、発熱有」とラベル「病気Ａを発症」とが対応付けられたデータや、項目「女性、発熱有、動悸なし、血圧低い」とラベル「病気Ａの発症なし」とが対応付けられたデータなどである。

【0030】

仮説集合１５は、機械学習により生成された仮説の集合であり、例えば上記ナレッジチャンクの集合である。図６は、仮説集合の一例を説明する図である。図６に示すように、仮説集合１５には、仮説１から仮説４などの仮説が含まれる。ここで、仮説は、１つまたは複数の属性値の組合せである条件部と、条件部に対応したラベル（結論）とを対応付けた情報である。

【0031】

例えば、仮説１は、条件部「血糖値：高、かつ、むくみなし、かつ、高血圧」と結論部「発症する」とが対応付けられており、重要度「０．７５」が設定されている。仮説２は、条件部「血糖値：高、かつ、高血圧ではない」と結論部「発症しない」とが対応付けられており、重要度「０．７」が設定されている。

【0032】

仮説３は、条件部「血糖値：高、かつ、むくみあり、かつ、高血圧ではない、かつ、視力低下」と結論部「発症しない」とが対応付けられており、重要度「０．６」が設定されている。仮説４は、条件部「糖尿歴がない、かつ、むくみあり、かつ、視力低下」と結論部「発症する」とが対応付けられており、重要度「０．５」が設定されている。

【0033】

知識モデル１６は、医者が経験則で得られた知識をモデル化した情報である。図７は、知識モデル１６の一例を説明する図である。図７に示すように、医者Ａの知識モデルは、条件部「血糖値：高い、かつ、高血圧」の場合には、「発症しない」が結論として対応付けられている。なお、知識モデル１６は、各医者が手動で生成してもよく、各医者から情報を収集して管理者等が生成してもよい。

【0034】

修正後の仮説集合１７は、後述する制御部２０によって修正された仮説の集合である。例えば、修正後の仮説集合１７は、仮説集合１５の各仮説の重要度が修正された情報である。なお、詳細については後述する。

【0035】

判定対象データ１８は、学習後かつ修正後のモデルを用いて判定される対象のデータである。例えば、判定対象データ１８は、病院に診察に来た患者のデータであり、体温、血圧、症状、血糖値などの測定結果や病歴などを項目とするデータである。

【0036】

制御部２０は、情報処理装置１０全体を司る処理部であり、例えばプロセッサなどにより実現される。この制御部２０は、学習部２１、修正部２２、判定部２３を有する。なお、学習部２１、修正部２２、判定部２３は、プロセッサが有する電子回路の一例として実現することもでき、プロセッサが実行するプロセスの一例として実現することもできる。

【0037】

学習部２１は、学習データ１４を用いて機械学習を実行する処理部である。例えば、学習部２１は、図２および図３で説明した学習手法を用いた機械学習を実行して複数の仮説を生成し、仮説集合１５として記憶部１３に格納する。

【0038】

修正部２２は、学習部２１による機械学習により得られた各仮説の重要度を、専門家の知識モデルを用いて修正する処理部である。具体的には、修正部２２は、専門家の知識モデルと各仮説を照合した照合率と矛盾の有無を計算し、知識モデルと矛盾する仮説については、照合率の値に応じて仮説の重要度を修正する。そして、修正部２２は、重要度が修正された各仮説を、修正後の仮説集合１７として記憶部１３に格納する。

【0039】

（矛盾判定例）
ここで、修正部２２が実行する矛盾判定について説明する。図８は、矛盾判定を説明する図である。図８に示すように、仮説も知識モデルも、１つまたは複数の属性値（項目）の組合せである条件部と、ラベルに該当する結論部とが対応付けられている。修正部２２は、仮説と知識モデルに対して、これらの条件部と結論部とを比較し、一致の度合いまたは矛盾の度合いにしたがって仮説の重要度を調整する。

【0040】

（条件部の矛盾例）
まず、条件部の矛盾例について説明する。図９と図１０は、条件部の矛盾例を説明する図である。修正部２２は、結論部（ラベル）は一致するが、条件部（論理式）の一部が互いに矛盾する場合、照合率によって、仮説の重要度の下げ幅を変更する。

【0041】

図９に示すように、修正部２２は、知識モデルと結論部「発症しない」が一致する仮説の条件部が有する属性値「Ａ」、「Ｃ」、「Ｄではない」、「Ｅ」と、知識モデルが有する条件部「Ａ」、「Ｄ」とを比較し、仮説の条件部の「Ｄではない」が矛盾していると特定する。そして、修正部２２は、矛盾している属性値「Ｄではない」以外の「Ａ」、「Ｃ」、「Ｅ」の３つのうち、「Ａ」の１つのみが知識モデルと一致することから、照合率を「１／３＝０．３３」と算出する。

【0042】

また、図１０に示すように、修正部２２は、知識モデルと結論部「発症しない」が一致する仮説の条件部が有する属性値「Ａ」、「Ｄではない」と、知識モデルが有する条件部「Ａ」、「Ｄ」とを比較し、仮説の条件部の「Ｄではない」が矛盾していると特定する。そして、修正部２２は、矛盾している属性値「Ｄではない」以外の「Ａ」が知識モデルと一致することから、照合率を「１／１＝１．００」と算出する。

【0043】

（結論部の矛盾例）
次に、結論部の矛盾例について説明する。図１１と図１２は、結論部の矛盾例を説明する図である。修正部２２は、条件部（論理式）は矛盾しないが、結論部（ラベル）が互いに矛盾する場合、照合率によって、仮説の重要度の下げ幅を変更する。

【0044】

図１１に示すように、修正部２２は、知識モデルと結論部が矛盾する仮説の条件部が有する属性値「Ａ」、「Ｃではない」、「Ｄ」と、知識モデルが有する条件部「Ａ」、「Ｄ」とを比較し、「Ａ」と「Ｄ」が一致していると特定する。そして、修正部２２は、仮説の３つの属性値のうち２つが知識モデルの属性値と一致することから、照合率を「２／３＝０．６７」と算出する。

【0045】

また、図１２に示すように、修正部２２は、知識モデルと結論部が矛盾する仮説の条件部が有する属性値「Ａ」、「Ｄ」と、知識モデルが有する条件部「Ａ」、「Ｄ」とを比較し、「Ａ」と「Ｄ」が一致していると特定する。そして、修正部２２は、仮説の２つの属性値のいずれもが知識モデルの属性値と一致することから、照合率を「２／２＝１．００」と算出する。

【0046】

（条件部も結論部も矛盾）
なお、修正部２２は、条件部も結論部も矛盾する場合は、「関係ない」と見なし、重要度の修正を行わない。図１３は、条件部および結論部の矛盾例を説明する図である。図１３に示すように、修正部２２は、条件部が「Ａ」と「Ｄ」、結論部が「発症する」である仮説と、条件部が「Ａではない」と「Ｄではない」、結論部が「発症しない」である知識モデルとでは、すべてが矛盾する。この場合、修正部２２は、知識モデルの影響を受けない仮説と判定し、修正対象外に決定する。

【0047】

（修正例）
次に、上述した照合率にしたがって、各仮説の重要度を修正する例を説明する。図１４は、矛盾判定と照合率の計算結果を説明する図である。図１４に示すように、修正部２２は、上述した手法により、各仮説と医者Ａの知識モデルとの一致率を算出する。

【0048】

具体的には、修正部２２は、重要度「０．７５」である仮説１に対して、条件部に矛盾がなく結論部が矛盾しており、条件部の３つの属性値のうち２つが知識モデルの属性値と一致することから、照合率を「２／３＝０．６７」と算出する。同様に、修正部２２は、重要度「０．７」である仮説２に対して、条件部が矛盾し結論部に矛盾がなく、条件部で矛盾していない残り１つの属性値が知識モデルの属性値と一致することから、照合率を「１／１＝１．００」と算出する。

【0049】

また、修正部２２は、重要度「０．６」である仮説３に対して、条件部が矛盾し結論部に矛盾がなく、条件部で矛盾していない残り３つの属性値のうち１つが知識モデルの属性値と一致することから、照合率を「１／３＝０．３３」と算出する。同様に、修正部２２は、重要度「０．５」である仮説４に対して、条件部に矛盾がなく結論部が矛盾しており、条件部の３つの属性値のうちいずれも知識モデルの属性値と一致しないことから、照合率を「０／３＝０」と算出する。

【0050】

その後、修正部２２は、矛盾の仕方と照合率とに合わせて重要度を修正する。図１５は、重要度の修正を説明する図である。図１５に示すように、修正部２２は、各仮説について、「修正前の重要度－（照合率×定数）＝新しい重要度」を修正値として算出する。

【0051】

例えば、修正部２２は、仮説１に対して、「０．７５－（０．６７×０．５）＝０．４２」を修正した重要度と算出し、仮説２に対して、「０．７－（１．００×０．５）＝０．２」を修正した重要度と算出する。同様に、修正部２２は、仮説３に対して、「０．６－（０．３３×０．５）＝０．４４」を修正した重要度と算出し、仮説４に対して、「０．５－（０×０．５）＝０．５」を修正した重要度と算出する。なお、定数は、任意に設定することができる。

【0052】

図５に戻り、判定部２３は、学習済みかつ修正済みのモデルを用いて、判定対象データ１８の判定を実行する処理部である。例えば、判定部２３は、判定対象データ１８が有する複数のデータ項目（属性値）から、データ項目のすべての組合せを生成する。そして、判定部２３は、修正後の仮説集合１７を参照して、判定対象データ１８から生成された各組合せの重要度を特定し、その合計値を算出する。その後、判定部２３は、重要度の合計値が閾値以上であれば正例（例えば発症しない）と判定し、重要度の合計値が閾値未満であれば負例（例えば発症する）と判定する。そして、判定部２３は、判定結果を記憶部１３に格納したり、表示部１２に表示したりする。

【0053】

［処理の流れ］
図１６は、実施例１にかかる処理の流れを示すフローチャートである。図１６に示すように、情報処理装置の学習部２１は、処理開始が指示されると（Ｓ１０１：Ｙｅｓ）、学習データ１４を用いて機械学習を実行し（Ｓ１０２）、複数の仮説を含む仮説集合１５を生成する（Ｓ１０３）。

【0054】

続いて、修正部２２は、機械学習が終了すると、生成された仮説を１つ選択し（Ｓ１０４）、選択した仮説と知識モデルとを比較し、条件部または結論部が矛盾しているかを判定する（Ｓ１０５）。

【0055】

そして、修正部２２は、矛盾がある場合（Ｓ１０５：Ｙｅｓ）、照合率により重要度を修正し（Ｓ１０６）、矛盾がない場合（Ｓ１０５：Ｎｏ）、重要度を修正せずに維持する（Ｓ１０７）。

【0056】

その後、修正部２２は、未処理の仮説が存在する場合（Ｓ１０８：Ｙｅｓ）、Ｓ１０４以降を繰り返す。一方、修正部２２は、未処理の仮説が存在しない場合（Ｓ１０８：Ｎｏ）、処理を終了する。

【0057】

［効果］
上述したように、情報処理装置１０は、機械学習によるモデルを運用する際に、専門家から見て不適切なモデルを修正しながら運用を続けるようなＡＩシステムを提供することができる。情報処理装置１０は、網羅的に列挙された仮説群に対して、専門家の知識モデルと矛盾する仮説の重要度を下げることにより、機械学習の出力に専門家の知識を反映することができる。したがって、情報処理装置１０は、機械学習の出力を有効活用するとともに、専門家の知識モデルを反映することもできるので、精度の高いモデルを生成することができる。

【実施例2】

【0058】

さて、これまで本発明の実施例について説明したが、本発明は上述した実施例以外にも、種々の異なる形態にて実施されてよいものである。

【0059】

［数値等］
上記実施例で用いた閾値、適用分野、学習データ、データ項目、仮説、知識モデルの種類や数等は、あくまで一例であり、任意に変更することができる。また、機械学習により仮説を生成する装置と、生成された仮説を修正する装置とを別々の装置で実現することもできる。

【0060】

また、重要度が設定されていない仮説を用いる場合には、一致率等により新たに付与することもできる。なお、仮説は、機械学習により生成されたものに限らず、管理者が複数ユーザから収集した情報にしたがって手動で生成したものや公知の分析ツールなどを用いて生成されたものでもよい。この場合、出現率や出現回数などを重要度として採用することができる。

【0061】

［仮説の例］
上記例では、医療分野に適用した例を説明したが、これに限定されるものではなく、様々な分野に適用することができる。図１７と図１８は、仮説と専門家の知識モデルの比較例を説明する図である。

【0062】

図１７に示すように、情報処理装置１０は、デジタルマーケティングの分野に適用することができる。この場合、仮説としては、条件部「男性、車所有なし、事務職」と結論部「購入する」とが対応付けられた仮説１（重要度＝０．７５）や、条件部「男性、持ち家ではない」と結論部「購入しない」とが対応付けられた仮説２（重要度＝０．７）などが挙げられる。また、マーケターの知識モデルとしては、条件部「男性、持ち家」と結論部「購入しない」とが対応付けられたモデルが挙げられる。

【0063】

また、図１８に示すように、情報処理装置１０は、工場の品質や製品管理にも適用することができる。この場合、仮説としては、条件部「１００℃以上、プレス圧力がＡではない、電圧変化あり」と結論部「故障する」とが対応付けられた仮説１（重要度＝０．８）や、条件部「１００℃未満、ベルトコンベアーの速度がＢではない」と結論部「故障しない」とが対応付けられた仮説２（重要度＝０．５）などが挙げられる。また、品質管理を行う工場長の知識モデルとしては、条件部「１００℃未満、電圧変化なし」と結論部「故障しない」とが対応付けられたモデルが挙げられる。

【0064】

［システム］
上記文書中や図面中で示した処理手順、制御手順、具体的名称、各種のデータやパラメータを含む情報については、特記する場合を除いて任意に変更することができる。なお、修正部２２は、比較部と調整部の一例である。また、仮説は、第１パターン情報の一例であり、知識モデルは、第２パターン情報の一例である。データ項目は、属性値の一例である。照合率は、一致の度合または矛盾の度合の一例である。

【0065】

また、図示した各装置の各構成要素は機能概念的なものであり、必ずしも物理的に図示の如く構成されていることを要しない。すなわち、各装置の分散や統合の具体的形態は図示のものに限られない。つまり、その全部または一部を、各種の負荷や使用状況などに応じて、任意の単位で機能的または物理的に分散・統合して構成することができる。

【0066】

さらに、各装置にて行なわれる各処理機能は、その全部または任意の一部が、ＣＰＵおよび当該ＣＰＵにて解析実行されるプログラムにて実現され、あるいは、ワイヤードロジックによるハードウェアとして実現され得る。

【0067】

［ハードウェア］
次に、情報処理装置１０のハードウェア構成例を説明する。図１９は、ハードウェア構成例を説明する図である。図１９に示すように、情報処理装置１０は、通信装置１０ａ、ＨＤＤ（Hard Disk Drive）１０ｂ、メモリ１０ｃ、プロセッサ１０ｄを有する。また、図１９に示した各部は、バス等で相互に接続される。

【0068】

通信装置１０ａは、ネットワークインタフェースカードなどであり、他のサーバとの通信を行う。ＨＤＤ１０ｂは、図５に示した機能を動作させるプログラムやＤＢを記憶する。

【0069】

プロセッサ１０ｄは、図３に示した各処理部と同様の処理を実行するプログラムをＨＤＤ１０ｂ等から読み出してメモリ１０ｃに展開することで、図５等で説明した各機能を実行するプロセスを動作させる。例えば、このプロセスは、情報処理装置１０が有する各処理部と同様の機能を実行する。具体的には、プロセッサ１０ｄは、学習部２１、修正部２２、判定部２３等と同様の機能を有するプログラムをＨＤＤ１０ｂ等から読み出す。そして、プロセッサ１０ｄは、学習部２１、修正部２２、判定部２３等と同様の処理を実行するプロセスを実行する。

【0070】

このように、情報処理装置１０は、プログラムを読み出して実行することで情報処理方法を実行する情報処理装置として動作する。また、情報処理装置１０は、媒体読取装置によって記録媒体から上記プログラムを読み出し、読み出された上記プログラムを実行することで上記した実施例と同様の機能を実現することもできる。なお、この他の実施例でいうプログラムは、情報処理装置１０によって実行されることに限定されるものではない。例えば、他のコンピュータまたはサーバがプログラムを実行する場合や、これらが協働してプログラムを実行するような場合にも、本発明を同様に適用することができる。

【符号の説明】

【0071】

１０ 情報処理装置
１１ 通信部
１２ 表示部
１３ 記憶部
１４ 学習データ
１５ 仮説集合
１６ 知識モデル
１７ 修正後の仮説集合
１８ 判定対象データ
２０ 制御部
２１ 学習部
２２ 修正部
２３ 判定部

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】

【図15】

【図16】

【図17】

【図18】

【図19】