特許 6201556 予測モデル学習装置、予測モデル学習方法およびコンピュータプログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】6201556

(24)【登録日】2017年9月8日

(45)【発行日】2017年9月27日

(54)【発明の名称】予測モデル学習装置、予測モデル学習方法およびコンピュータプログラム

(51)【国際特許分類】

   G06N 99/00 20100101AFI20170914BHJP

   G06F 19/00 20110101ALI20170914BHJP

【ＦＩ】

   G06N99/00 150

   G06F19/00 100

【請求項の数】7

【全頁数】15

(21)【出願番号】特願2013-191271(P2013-191271)

(22)【出願日】2013年9月17日

(65)【公開番号】特開2015-60237(P2015-60237A)

(43)【公開日】2015年3月30日

【審査請求日】2016年8月16日

(73)【特許権者】

【識別番号】000004237

【氏名又は名称】日本電気株式会社

(74)【代理人】

【識別番号】100109313

【弁理士】

【氏名又は名称】机 昌彦

(74)【代理人】

【識別番号】100124154

【弁理士】

【氏名又は名称】下坂 直樹

(72)【発明者】

【氏名】村岡 優輔

(72)【発明者】

【氏名】楠村 幸貴

(72)【発明者】

【氏名】水口 弘紀

【審査官】 大塚 俊範

(56)【参考文献】

【文献】 国際公開第２０１３／１２５４８２（ＷＯ，Ａ１）

【文献】 特開２０１１−１１８７５５（ＪＰ，Ａ）

【文献】 特開２００７−０７９９７１（ＪＰ，Ａ）

(58)【調査した分野】（Int.Cl.，ＤＢ名）

Ｇ０６Ｎ ３／００−９９／００

Ｇ０６Ｆ １９／００

(57)【特許請求の範囲】

【請求項1】

目的変数と説明変数ベクトルとの組であるサンプルが集められている訓練データにおいて複数にグループ分けされた前記サンプルの各グループに対してそれぞれ設定された予測モデルを複数使用する出力対象のモデルを機械学習する場合に、前記説明変数ベクトルにおける成分の欠損状態を示す欠損パターンに対する前記出力対象のモデルを構成する前記各予測モデルの使用割合を、前記予測モデルの推定されたパラメータを利用して計算する使用割合計算部と、
前記欠損パターンに対する前記各予測モデルの使用割合を利用して、前記各予測モデルのパラメータを推定する推定部と、
前記使用割合計算部により計算された前記欠損パターンに対する前記各予測モデルの使用割合を利用して前記推定部が前記各予測モデルのパラメータを推定する処理と、当該推定部により推定された前記各予測モデルのパラメータを利用して前記欠損パターンに対する前記各予測モデルの使用割合を前記使用割合計算部が計算する処理とを交互に繰り返す処理を制御する指令部と
を備えている予測モデル学習装置。

【請求項2】

前記使用割合計算部は、前記欠損パターンに対する前記各予測モデルの使用割合のうち、その欠損パターンを持つサンプルに対する尤度が最も大きい前記予測モデルの使用割合が最も高くなるように、前記欠損パターンに対する前記各予測モデルの使用割合を計算する請求項１記載の予測モデル学習装置。

【請求項3】

前記推定部は、前記予測モデルに、当該予測モデルの前記使用割合を乗算した関数の対数尤度が大きくなる方向に機械学習が進むようにその予測モデルのパラメータを推定する請求項１又は請求項２記載の予測モデル学習装置。

【請求項4】

前記説明変数ベクトルにおける欠損している成分を補完する補完部をさらに備え、
前記使用割合計算部および前記推定部は、前記説明変数ベクトルにおける欠損している成分が前記補完部により補完された前記訓練データを利用する請求項１又は請求項２又は請求項３記載の予測モデル学習装置。

【請求項5】

前記訓練データの前記サンプルを前記欠損パターンに基づいて分類し、各分類にラベルを付与するクラスタリング部をさらに備え、
前記使用割合計算部は、前記ラベル毎に、前記欠損パターンに対する前記各予測モデルの使用割合を計算する請求項１乃至請求項４の何れか一つに記載の予測モデル学習装置。

【請求項6】

目的変数と説明変数ベクトルとの組であるサンプルが集められている訓練データにおいて複数にグループ分けされた前記サンプルの各グループに対してそれぞれ設定された予測モデルを複数使用する出力対象のモデルを機械学習する場合に、前記説明変数ベクトルにおける成分の欠損状態を示す欠損パターンに対する前記出力対象のモデルを構成する前記各予測モデルの使用割合を、前記予測モデルの推定されたパラメータを利用してコンピュータが計算し、
前記欠損パターンに対する前記各予測モデルの使用割合を利用して、前記各予測モデルのパラメータをコンピュータが推定し、
前記各予測モデルのパラメータを推定する処理と、その推定された前記各予測モデルのパラメータを利用して前記欠損パターンに対する前記各予測モデルの使用割合を計算する処理とをコンピュータが交互に繰り返す予測モデル学習方法。

【請求項7】

目的変数と説明変数ベクトルとの組であるサンプルが集められている訓練データにおいて複数にグループ分けされた前記サンプルの各グループに対してそれぞれ設定された予測モデルを複数使用する出力対象のモデルを機械学習する場合に、前記説明変数ベクトルにおける成分の欠損状態を示す欠損パターンに対する前記出力対象のモデルを構成する前記各予測モデルの使用割合を、前記予測モデルの推定されたパラメータを利用して計算する処理と、
前記欠損パターンに対する前記各予測モデルの使用割合を利用して、前記各予測モデルのパラメータを推定する処理と
をコンピュータに実行させる処理手順が示され、
さらに、前記各予測モデルのパラメータを推定する処理と、その推定された前記各予測モデルのパラメータを利用して前記欠損パターンに対する前記各予測モデルの使用割合を計算する処理とを交互に繰り返す処理をコンピュータに実行させる処理手順が示されているコンピュータプログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、入手可能なデータに基づいて予測対象データを予測する技術に関する。

【背景技術】

【0002】

入手可能なデータに基づいて将来を予測することは業務改善に有用である。例えば、商店において、直近２週間の売り上げデータに基づいて商品の売り上げを予測できれば、商店は、商品の在庫管理を適切に行うことができる。また、営業店において、営業日報等の業務記録に基づいた営業手法と受注との関係を分析することによって、どのような営業手法により受注の可能性が高まるかを予測できれば、営業店は受注率を向上できる。

【0003】

ここで、予測の手掛かりとなるデータ（例えば実際の売り上げデータや、実行された営業手法）を説明変数と呼ぶこととする。また、予測対象となるデータ（例えば、予測したい商品の売り上げや、予測したい受注状況）を目的変数と呼ぶこととする。さらに、説明変数（データ）を代入（入力）することによって目的変数（予測値）を得ることができる関数をモデルあるいは予測関数と呼ぶこととする。さらにまた、過去データ（サンプル）である説明変数と目的変数の組み合わせの集合を訓練データと呼ぶこととする。この訓練データに基づいてモデル（説明変数を利用して目的変数を出力する関数）を作成する技術として、機械学習が利用される。

【0004】

ところで、その機械学習に際し、訓練データにおける説明変数の一部が欠損している場合がある。具体的には、例えば、或る時間帯に商品Ａが店に出されていなかった場合には、その時間帯における商品Ａの売り上げが欠損することとなる。また、営業日報に記録することを忘れた日がある場合には、その忘れられた日のデータが欠損することとなる。このように説明変数の一部が欠損している訓練データに基づいてモデル（予測関数）を機械学習する際には、例えば、説明変数の平均値を、欠損している説明変数として利用する手法が採用される場合がある。また、他の説明変数に基づいて予測した値を、欠損している説明変数として利用することによってモデル（予測関数）を機械学習する手法もある。

【0005】

しかしながら、そのような手法では、欠損している説明変数として使用した想定値（代替値）が本来の値から大きくずれていることがあるために、精度の良いモデルを作成できない虞がある。精度の良くないモデルを利用すると、予測の精度が落ちるという問題が生じる。

【0006】

非特許文献１には、訓練データにおける説明変数の一部が欠損している場合にモデル（予測関数）を機械学習する手法が開示されている。この非特許文献１に表されている手法では、機械学習する装置（コンピュータ）は、訓練データにおいて、どの説明変数が欠損しているかを検知し、欠損している説明変数が同じであるサンプル（説明変数と目的変数の組み合わせである過去データ）に同じラベルを付与する。そして、当該装置は、同じラベルが付与されているサンプルの集合のみを訓練データとした機械学習を行うことにより、モデルを出力（生成）する。

【先行技術文献】

【非特許文献】

【0007】

【非特許文献1】Maytal Saar−Tsechansky and Foster Provost, “Handling Missing Values when Applying Classification Models” Journal Of Machine Learning Research, 8, (2007), 1625−1657

【発明の概要】

【発明が解決しようとする課題】

【0008】

しかしながら、目的変数に対する関与が小さい説明変数が欠損している場合に、非特許文献１の手法を用いてモデルを生成してしまうと、そのモデルの精度が悪くなる虞がある。それというのは、非特許文献１の手法では、説明変数の欠損状態に基づいて訓練データを分割しており、目的変数に対する説明変数の関与の度合いが考慮されていないからである。

【0009】

本発明は上記課題を解決するためになされた。すなわち、本発明の主な目的は、訓練データ（過去データ）に含まれている説明変数の一部が欠損していても、精度の高い予測を可能にするモデル（予測関数）を生成できる機械学習に関わる技術を提供することである。

【課題を解決するための手段】

【0010】

上記目的を達成するために、本発明の予測モデル学習装置は、
目的変数と説明変数ベクトルとの組であるサンプルが集められている訓練データにおいて複数にグループ分けされた前記サンプルの各グループに対してそれぞれ設定された予測モデルを複数使用する出力対象のモデルを機械学習する場合に、前記説明変数ベクトルにおける成分の欠損状態を示す欠損パターンに対する前記出力対象のモデルを構成する前記各予測モデルの使用割合を、前記予測モデルの推定されたパラメータを利用して計算する使用割合計算部と、
前記欠損パターンに対する前記各予測モデルの使用割合を利用して、前記各予測モデルのパラメータを推定する推定部と、
前記使用割合計算部により計算された前記欠損パターンに対する前記各予測モデルの使用割合を利用して前記推定部が前記各予測モデルのパラメータを推定する処理と、当該推定部により推定された前記各予測モデルのパラメータを利用して前記欠損パターンに対する前記各予測モデルの使用割合を前記使用割合計算部が計算する処理とを交互に繰り返す処理を制御する指令部と
を備えている。

【0011】

また、本発明の予測モデル学習方法は、
目的変数と説明変数ベクトルとの組であるサンプルが集められている訓練データにおいて複数にグループ分けされた前記サンプルの各グループに対してそれぞれ設定された予測モデルを複数使用する出力対象のモデルを機械学習する場合に、前記説明変数ベクトルにおける成分の欠損状態を示す欠損パターンに対する前記出力対象のモデルを構成する前記各予測モデルの使用割合を、前記予測モデルの推定されたパラメータを利用してコンピュータが計算し、
前記欠損パターンに対する前記各予測モデルの使用割合を利用して、前記各予測モデルのパラメータをコンピュータが推定し、
前記各予測モデルのパラメータを推定する処理と、その推定された前記各予測モデルのパラメータを利用して前記欠損パターンに対する前記各予測モデルの使用割合を計算する処理とをコンピュータが交互に繰り返す。

【0012】

さらに、本発明のコンピュータプログラムは、
目的変数と説明変数ベクトルとの組であるサンプルが集められている訓練データにおいて複数にグループ分けされた前記サンプルの各グループに対してそれぞれ設定された予測モデルを複数使用する出力対象のモデルを機械学習する場合に、前記説明変数ベクトルにおける成分の欠損状態を示す欠損パターンに対する前記出力対象のモデルを構成する前記各予測モデルの使用割合を、前記予測モデルの推定されたパラメータを利用して計算する処理と、
前記欠損パターンに対する前記各予測モデルの使用割合を利用して、前記各予測モデルのパラメータを推定する処理と
をコンピュータに実行させる処理手順が示され、
さらに、前記各予測モデルのパラメータを推定する処理と、その推定された前記各予測モデルのパラメータを利用して前記欠損パターンに対する前記各予測モデルの使用割合を計算する処理とを交互に繰り返す処理をコンピュータに実行させる処理手順が示されている。

【0013】

なお、本発明の前記目的は、前記構成の本発明の予測モデル学習装置に対応する本発明の予測モデル学習方法によっても達成される。また、本発明の前記目的は、本発明の予測モデル学習装置および予測モデル学習方法をコンピュータによって実現するコンピュータプログラムおよびそれを記憶するコンピュータプログラム記憶媒体によっても達成される。

【発明の効果】

【0014】

本発明によれば、訓練データ（過去データ）に含まれている説明変数の一部が欠損していても、精度の高い予測を可能にするモデル（予測関数）を生成できる。

【図面の簡単な説明】

【0015】

【図1】本発明に係る第１実施形態の予測モデル学習装置の構成を簡略化して表すブロック図である。

【図2】本発明に係る第２実施形態の予測モデル学習装置の構成を簡略化して表すブロック図である。

【図3】訓練パターンにおける欠損パターンの具体例を表す表である。

【図4】訓練パターンをクラスタリングする処理の説明に利用する表である。

【図5】第２実施形態の予測モデル学習装置における機械学習の動作例を表すフローチャートである。

【発明を実施するための形態】

【0016】

以下に、本発明に係る実施形態を図面を参照しつつ説明する。

【0017】

（第１実施形態）
図１は、本発明に係る第１実施形態の予測モデル学習装置の構成を簡略化して表すブロック図である。この第１実施形態の予測モデル学習装置１０は、目的変数と説明変数ベクトルとの組であるサンプルが集められている訓練データに基づいて、次のようなモデルを機械学習する装置である。そのモデルとは、前記訓練データにおいて複数にグループ分けされた前記サンプルの各グループに対してそれぞれ設定された予測モデルを複数使用することにより構成されているモデル（予測関数）である。

【0018】

この第１実施形態の予測モデル学習装置１０は、制御装置１１と、記憶装置１２とを備えている。記憶装置１２には、制御装置１１の動作を制御する制御手順が表されているコンピュータプログラム（以下、プログラムとも記す）１６が格納されている。

【0019】

制御装置１１は、例えばＣＰＵ（Central Processing Unit）を有し、当該制御装置（コンピュータ）１１は、記憶装置１２から読み出したプログラム１６を実行することにより、次のような機能を持つことができる。すなわち、制御装置１１は、機能部として、推定部１３と使用割合計算部１４と指令部１５とを有している。

【0020】

使用割合計算部１４は、前記説明変数ベクトルにおける成分の欠損状態を示す欠損パターンに対する前記出力対象のモデルを構成する前記各予測モデルの使用割合を、前記予測モデルの推定されたパラメータを利用して計算する機能を備えている。

【0021】

推定部１３は、前記欠損パターンに対する前記各予測モデルの使用割合を利用して、前記各予測モデルのパラメータを推定する機能を備えている。

【0022】

指令部１５は、推定部１３と使用割合計算部１４を制御する機能を備えている。例えば、指令部１５は、使用割合計算部１４が前記欠損パターンに対する前記各予測モデルの使用割合を計算すると、その計算結果を推定部１３に出力する。これにより、推定部１３は、その計算結果である前記欠損パターンに対する前記各予測モデルの使用割合を利用して、前記各予測モデルのパラメータを推定する。指令部１５は、この推定部１３により推定された前記各予測モデルのパラメータを使用割合計算部１４に出力する。これにより、使用割合計算部１４は、その推定された前記各予測モデルのパラメータを利用して、前記同様に前記欠損パターンに対する前記各予測モデルの使用割合を計算する。このように、指令部１５は、推定部１３による処理と使用割合計算部１４による処理とを交互に繰り返す処理を制御する機能を備えている。

【0023】

この第１実施形態の予測モデル学習装置１０は、欠損パターンを考慮してモデルを機械学習する構成を備えているので、訓練データ（過去データ）に含まれている説明変数ベクトルの一部の成分が欠損していても、精度の高い予測を可能にするモデルを生成できる。

【0024】

（第２実施形態）
以下に、本発明に係る第２実施形態を説明する。

【0025】

図２は、第２実施形態の予測モデル学習装置の構成を簡略化して表すブロック図である。この予測モデル学習装置２０は、大別すると、制御装置２１と、記憶装置２２とを備えている。記憶装置２２は記憶媒体（図示せず）を有し、当該記憶媒体には、コンピュータプログラム（プログラム）３０や各種データが格納されている。プログラム３０には、予測モデル学習装置２０の動作を制御する処理手順が表されている。

【0026】

制御装置（コンピュータ）２１は、例えば、ＣＰＵ（Central Processing Unit）を備えている。当該制御装置２１（ＣＰＵ）は、記憶装置２２から読み込んだプログラム３０に従って動作することにより、次のような機能を持つことができる。すなわち、この第２実施形態では、制御装置２１は、機能部として、クラスタリング部２３と、補完部２４と、指令部２５と、使用割合計算部２６と、推定部２７と、設定部２８とを有している。

【0027】

クラスタリング部２３は、与えられた訓練データ（過去データ）をデータ解析することによってクラスタリングする機能を備えている。訓練データとは、過去データ（実際のデータ）に基づいた目的変数と説明変数ベクトルとの組み合わせであるサンプルが集められたデータ群である。例えば、訓練データは、外部から予測モデル学習装置２０に与えられる（入力される）。ここでは、説明変数ベクトルをｘと表し、目的変数をｙと表すとする。また、サンプル（目的変数と説明変数ベクトルとの組み合わせ）は、（ｘ_i，ｙ_i）と表すとする。なお、ｉは、１からＮまでの正の整数とする。これにより、訓練データＤは、

【0028】

と表すことができる。

【0029】

この第２実施形態では、クラスタリング部２３は、与えられた訓練データＤの各サンプル（ｘ_i，ｙ_i）において、説明変数ベクトルｘにおける成分の一部が欠損しているか否かを検知する機能を備えている。また、クラスタリング部２３は、説明変数ベクトルｘにおける成分の一部が欠損している場合には、その欠損状態を表す欠損パターンを検知（特定）する機能を備えている。さらに、クラスタリング部２３は、その検知された欠損パターンに基づいて、説明変数ベクトルｘの欠損パターンが同じ又は似ているサンプル同士に同じラベルを与える機能を備えている。ここでのクラスタリングとは、上記のようにサンプルを分類し、その後、ラベルを付与するまでの処理を表している。

【0030】

なお、クラスタリングの手法には様々な手法が有る。ここでは、説明変数ベクトルｘの成分の一部が欠損している場合に当該欠損パターンに基づいてサンプルを分類することができれば、何れの手法が採用されてもよいが、クラスタリング部２３によるクラスタリングの一具体例を次に述べる。

【0031】

この具体例では、訓練データに含まれているサンプル数は４０とし、これらサンプルＳ１−Ｓ４０における説明変数ベクトルｘは、それぞれ、１０個の成分Ｘ１−Ｘ１０を有するとする。図３は、サンプルＳ１−Ｓ４０において、説明変数ベクトルｘの成分Ｘ１−Ｘ１０における欠損状態を表す表である。図３では、欠損している成分に対応する位置に「ＮＡ」が表され、その他の成分の数値は省略されている。図３によれば、サンプルＳ１−Ｓ５においては、説明変数ベクトルｘの全ての成分Ｘ１−Ｘ１０は欠損していない。サンプルＳ６−Ｓ１０においては、説明変数ベクトルｘの成分Ｘ１−Ｘ５が欠損している。さらに、サンプルＳ１１−Ｓ２０においては、説明変数ベクトルｘの成分Ｘ１−Ｘ６が欠損し、さらにまた、サンプルＳ２１−Ｓ４０においては、説明変数ベクトルｘの成分Ｘ７−Ｘ１０が欠損している。

【0032】

このような説明変数ベクトルｘを含む訓練データに関し、クラスタリング部２３は、各サンプルＳ１−Ｓ４０の説明変数ベクトルｘを他のサンプルＳ１−Ｓ４０の説明変数ベクトルｘに比較し、説明変数ベクトルｘの類似度を算出する。ここで、比較している２つのサンプルにおける説明変数ベクトルｘにおいて、共通に欠損している成分の数をＭとし、当該２つの説明変数ベクトルｘのうちの欠損している成分の数（欠損数）が多い方のサンプルに含まれている欠損数をＮとする。クラスタリング部２３は、例えば、類似度ＲをＭ÷Ｎの数式に従って算出する。なお、Ｍが零であり、Ｎも零である場合における類似度Ｒは１とする。

【0033】

図４は、上記算出手法に基づいて算出された類似度Ｒを表す表である。例えば、サンプルＳ１−Ｓ５は、説明変数ベクトルｘの全ての成分が欠損していないことから、各サンプルＳ１−Ｓ５がサンプルＳ１−Ｓ５と比較した結果による説明変数ベクトルｘの類似度Ｒは、Ｒ＝Ｍ÷Ｎ＝０÷０＝１である。また、各サンプルＳ１−Ｓ５がサンプルＳ６−Ｓ１０，Ｓ２１−Ｓ４０と比較した結果による説明変数ベクトルｘの類似度Ｒは、Ｒ＝Ｍ÷Ｎ＝０÷５＝０である。さらに、各サンプルＳ１−Ｓ５がサンプルＳ１１−Ｓ２０と比較した結果による説明変数ベクトルｘの類似度Ｒは、Ｒ＝Ｍ÷Ｎ＝０÷６＝０である。

【0034】

クラスタリング部２３は、そのように算出された類似度Ｒが０.８以上であるサンプルの組に同じラベルを設定（付与）する。例えば、図４に表される類似度Ｒに基づいて、クラスタリング部２３は、サンプルＳ１-Ｓ５にはそれぞれラベルＣ１を設定し、サンプルＳ６−Ｓ２０にはそれぞれラベルＣ２を設定し、サンプルＳ２１−Ｓ４０にはそれぞれラベルＣ３を設定する。

【0035】

クラスタリング部２３は、上記のように、説明変数ベクトルｘの欠損パターンに着目して複数のサンプルをクラスタリングする機能を備えている。

【0036】

補完部２４は、説明変数ベクトルｘにおいて欠損している成分に代わるデータ（数値）を補完する機能を備えている。例えば、補完部２４は、各サンプルＳ６−Ｓ４０において、説明変数ベクトルｘにおける欠損していない成分の平均値を、欠損している成分として代入する（補完する）。より具体的には、サンプルＳ６−Ｓ１０においては、補完部２４は、成分Ｘ６−Ｘ１０の平均値を、欠損している成分Ｘ１−Ｘ５に代入（補完）する。また、サンプルＳ１１−Ｓ２０においては、補完部２５は、成分Ｘ７−Ｘ１０の平均値を、欠損している成分Ｘ１−Ｘ６に代入（補完）する。さらに、サンプルＳ２１−Ｓ４０においては、補完部２４は、成分Ｘ１−Ｘ６の平均値を、欠損している成分Ｘ７−Ｘ１０に代入（補完）する。

【0037】

設定部２８は、訓練データに基づいて予測モデルを設定する機能を備えている。例えば、設定部２８は、説明変数ベクトルｘの欠損していない成分の組み合わせ（パターン）に基づいて、訓練データのサンプルＳ１−Ｓ４０を次のような４つのグループに分類する。つまり、訓練データが図３の表に表されるような欠損パターンを有するサンプルの集合である場合には、サンプルＳ１−Ｓ５は、全ての説明変数ベクトルｘの成分Ｘ１−Ｘ１０が欠損していないグループ（グループＧ１とする）である。サンプルＳ６−Ｓ１０は、説明変数ベクトルｘの成分Ｘ６−Ｘ１０が欠損していないグループ（グループＧ２とする）である。サンプルＳ１１−Ｓ２０は、説明変数ベクトルｘの成分Ｘ７−Ｘ１０が欠損していないグループ（グループＧ３とする）である。サンプルＳ２１−Ｓ４０は、説明変数ベクトルｘの成分Ｘ１−Ｘ６が欠損していないグループ（グループＧ４とする）である。設定部２８は、このようにグループ分けされた各サンプルのグループにそれぞれ対応する予測モデルを設定する。

【0038】

ここでは、各グループＧ１−Ｇ４に関連付けられる予測モデル（関数）は式（１）に表されるとする。

【0039】

なお、式（１）に表されるｘは説明変数ベクトルであり、ｙは目的変数である。また、ｋは、予測モデルを識別する符号であり、１以上の整数（ｋ＝１，２，．．．，Ｋ）であるとする。ここでは、各予測モデルのｋは、上記のようにグループ分けされたグループＧ１−Ｇ４にそれぞれ対応する数値が設定される。つまり、サンプルのグループＧ１に対応する予測モデルのｋには１が設定され、サンプルのグループＧ２に対応する予測モデルのｋには２が設定される。また、サンプルのグループＧ３に対応する予測モデルのｋには３が設定され、サンプルのグループＧ４に対応する予測モデルのｋには４が設定される。つまり、この場合には、Ｋ＝４となる。

【0040】

また、θ^(k)は、予測モデルｆ_kにおけるパラメータを表している。

【0041】

ここで、クラスタリング部２３のクラスタリング処理によりサンプルに付与されたラベルをｃ_(xi)とした場合に、各ラベルに対する予測モデルの使用割合（モデル割り当て潜在変数）は、Ｚ_ｃ(xi)，kと表されるとする。この場合に、その使用割合を考慮した予測モデルは式(２)に表される。

【0042】

より具体例を述べると、予測モデルとして、式（３）に表される確率密度関数族が設定（定義）されているとする。

【0043】

なお、式（３）において、θ:＝（β，σ²）とする（βは平均値（説明変数の線型関数で表す場合には重みともいう）を表し、σは分散を表す）。また、τ∈｛１，２，・・・・｝である。

【0044】

式（３）に基づくと、各グループＧ１−Ｇ４に対応する予測モデルは、式（４）−式（７）のように表される（定義される）。

【0045】

この第２実施形態では、モデルの機械学習とは、パラメータθ^(k)および使用割合Ｚ_ｃ(xi)，kを機械学習することである。指令部２５は、その機械学習のために、使用割合計算部２６および推定部２７の動作を制御する機能を備えている。例えば、指令部２５は、訓練データを受け取ると、例えば制御装置２１に備えられている記憶部３３に予測モデルの使用割合Ｚ_ｃ(xi)，kの情報が格納されているか否かを判断し、格納されていないと判断した場合には、使用割合Ｚ_ｃ(xi)，kの初期値を設定（生成）する。具体例を挙げると、指令部２５は、前記のようなグループＧ１−Ｇ４に対する予測モデルｆ₁−ｆ₄が設定されている場合には、全ての予測モデルｆ₁−ｆ₄における使用割合Ｚ_c,kとして同じ定数を設定する。つまり、使用割合Ｚ_c,kは０．２５と設定される。また、この場合には、ｃ＝１，２，３であり、ｋ＝１，２，３，４である。

【0046】

指令部２５は、使用割合Ｚ_c,kの情報を取得できた場合には、その使用割合_c,kおよび訓練データを推定部２７に出力する。これにより、推定部２７が機能し始め、後述するように各予測モデルのパラメータθ^(k)を推定する。指令部２５は、推定部２７により推定（算出）されたパラメータθ^(k)を推定部２７から受け取ると、当該パラメータθ^(k)および訓練データを使用割合計算部２８に出力する。これにより、使用割合計算部２８が機能し始め、後述するように使用割合Ｚ_c,kを算出する。指令部２５は、使用割合計算部２８により算出された使用割合Ｚ_c,kを使用割合計算部２８から受け取ると、当該使用割合Ｚ_c,kおよび訓練データを推定部２７に出力する。

【0047】

このように、指令部２５は、推定部２７と使用割合計算部２８が交互に繰り返し機能するように制御することによって、パラメータθ^(k)および使用割合Ｚ_ｃ(xi)，kの機械学習を進める。指令部２５は、予め定められた停止条件が満たされるまで、そのような機械学習を継続して行う。停止条件としては、例えば、新たに算出されたパラメータθ^(k)と、当該パラメータθ^(k)が算出される１回前の計算により算出されたパラメータθ^(k)との各成分の差分の二乗和が１０^−５以下であるという条件がある。

【0048】

なお、上記例では、指令部２５は、使用割合Ｚ_ｃ(xi)，kの初期値を設定した後に、推定部２７と使用割合計算部２８の繰り返し動作を制御している。これに代えて、指令部２５は、パラメータθ^(k)の初期値を設定（生成）し、この設定した初期値と訓練データを使用割合計算部２８に出力することにより、上記のような推定部２７と使用割合計算部２８の繰り返し動作の開始を制御してもよい。

【0049】

推定部２７は、訓練データと、各ラベルに対する予測モデルｆ₁−ｆ₄の使用割合Ｚ_ｃ(xi),kとに基づき、かつ、設定部２８により設定された予測モデルの情報を適宜利用することにより、パラメータθを推定する機能を備えている。例えば、推定部２７は、指令部２５から出力された訓練データおよび使用割合の情報Ｚ_ｃ(xi)，kに基づいて、式（８）で表される対数尤度が大きくなるように各予測モデルｆ₁−ｆ₄のパラメータθ⁽¹⁾−θ⁽⁴⁾を計算する。なお、訓練データにおける説明変数ベクトルｘの成分の一部が欠損している場合には、補完部２４により補完されたデータ（数値）を利用する。

【0050】

対数尤度が大きくなるようにパラメータθを算出する手法には様々な手法があり、推定部２７は、それら手法の中から適宜な手法を採用してよい。例えば、推定部２７は、計算の複雑化を防止するために、正則化の手法を利用してもよい。また、推定部２７は、式（９）に表される連立方程式が解析的に解ける場合には、その計算結果を式（８）に代入することによって、パラメータθを算出（推定）することができる。また、式（９）の連立方程式が解析的に解けない場合には、推定部２７は、ニュートン法などの数値計算を用いて、パラメータθを算出（推定）してもよい。

【0051】

なお、式（９）における演算記号∇は、ベクトル微分演算子であるナブラを表す。

【0052】

推定部２７が、式（９）を利用してパラメータθ（θ＝（β，σ²））を推定した結果は下記の通りである。

【0053】

なお、Ｘ^(k)，Ｙ^(k)は、次のように定義されているとする。

【0054】

なお、上記列ベクトル中に表されているｄ(k)は、予測モデルｆ_kに対応する当該列ベクトルを構成する成分の総数を表す。

【0055】

推定部２７は、推定したパラメータθに関する情報を指令部２５に出力する機能と、当該パラメータθに関する情報を例えば制御装置２１に備えられている記憶部３３に登録する機能とを備えている。

【0056】

使用割合計算部２６は、指令部２５から出力された訓練データおよびパラメータθの情報に基づき、かつ、設定部２８により設定された予測モデルの情報を適宜利用することにより、予測モデルの使用割合Ｚ_c(xi),kを算出する機能を備えている。例えば、使用割合計算部２６は、クラスタリング部２３のクラスタリング処理による各ラベルのサンプルに対する確率が大きい予測モデルに対して、当該ラベルの予測モデルの使用割合が大きくなるように、当該予測モデルの使用割合を算出する。例えば、使用割合計算部２６は、式（１０）により表される予測モデルの尤度比に基づいて予測モデルの使用割合Ｚ_c(xi),kを算出する。

【0057】

なお、ｐ_k（ｃ）とτ（ｃ）は、次のように定義されている。

【0058】

使用割合計算部２６は、算出した予測モデルの使用割合Ｚ_c(xi),kに関する情報を指令部２５に出力する機能と、当該予測モデルの使用割合Ｚ_c(xi),kに関する情報を例えば制御装置２１に備えられている記憶部３３に登録する機能とを備えている。

【0059】

以下に、第２実施形態の予測モデル学習装置２０における予測モデル学習に関わる動作例を図５のフローチャートを参照しながら説明する。なお、図５は、第２実施形態の予測モデル学習装置２０が実行する予測モデル学習に関わる動作のフローチャートであり、当該フローチャートは、予測モデル学習装置２０の制御装置２１（ＣＰＵ）が実行するコンピュータプログラム３０の処理手順を表している。

【0060】

例えば、制御装置２１（クラスタリング部２３）は、当該制御装置２１の外部から訓練データを受け取ると、当該訓練データにおける各サンプルにおいて、説明変数ベクトルｘの欠損状態を表す欠損パターンを特定する（ステップＳ１０１）。そして、クラスタリング部２３は、その欠損パターンに基づいて、訓練データのサンプルを分類し、同じ分類のサンプルに同じラベルを付与する。換言すれば、制御装置２１（クラスタリング部２３）は、その欠損パターンに基づいて、訓練データをクラスタリングする（ステップＳ１０２）。

【0061】

然る後に、制御装置２１（指令部２５）は、予測モデルの使用割合Ｚ_c(xi),kの初期値を設定（生成）する（ステップＳ１０３）。なお、その予測モデルは、前記の如く制御装置２１に与えられた訓練データに基づいて、設定部２８により設定（定義）されたモデルである。

【0062】

その後、制御装置２１は、訓練データにおける説明変数ベクトルｘの一部の成分が欠損しているか否かを判断する（ステップＳ１０４）。これにより、欠損していると判断した場合には、制御装置２１（補完部２４）は、その欠損している成分を補完する（ステップＳ１０５）。

【0063】

その補完処理の後に、あるいは、訓練データにおける説明変数ベクトルｘの成分が欠損していない場合には、制御装置２１（指令部２５）は、停止条件を満たしているか否かを判断する（ステップＳ１０６）。そして、指令部２５は、停止条件を満たしていないと判断した場合には、使用割合Ｚ_c(xi),kの初期値と訓練データ（補完済みデータ）を推定部２７に出力する。これにより、推定部２７は、機能を開始し、予測モデルのパラメータθを推定する（ステップＳ１０７）。この推定されたパラメータθの情報は、推定部２７から指令部２５に出力されると共に、記憶部３３に登録される。

【0064】

指令部２５は、推定部２７からパラメータθの情報と訓練データを受け取ると、これらの情報を使用割合計算部２６に出力する。これにより、使用割合計算部２６は、受け取った情報に基づいて、使用割合Ｚ_c(xi),kを計算する（ステップＳ１０８）。この算出された使用割合Ｚ_c(xi),kの情報は、指令部２５に出力されると共に、記憶部３３に登録される。

【0065】

その後、指令部２５は、停止条件を満たしているか否かを判断し（ステップＳ１０６）、停止条件を満たしていないと判断した場合には、前記ステップＳ１０７以降の動作を繰り返す。指令部２５は、停止条件を満たしていると判断した場合には、モデルの機械学習を終了する。

【0066】

上記のような動作により、制御装置２１は、訓練データに基づいてモデルを機械学習する。

【0067】

この第２実施形態の予測モデル学習装置２０は、上記のように、訓練データに含まれる説明変数ベクトルｘの欠損パターンに対する予測モデルの使用割合（モデル割り当て潜在変数）を機械学習している。そして、予測モデル学習装置２０は、その予測モデルの使用割合を考慮したモデルを機械学習している。つまり、予測モデル学習装置２０は、目的変数に対する説明変数ベクトルｘの欠損している成分の関与の度合いが考慮された機械学習を行うことができる。これにより、予測モデル学習装置２０は、訓練データ（過去データ）に含まれている説明変数ベクトルｘの成分の一部が欠損していても、精度の高い予測を可能にするモデル（予測関数）を生成できる。

【0068】

（その他の実施形態）
なお、本発明は第１や第２の実施形態に限定されず、様々な実施の形態を採り得る。例えば、第２実施形態では、設定部２８は、訓練データにおいて説明変数ベクトルｘの欠損していない成分のパターンに着目してグループ分けされたサンプルのグループにそれぞれ対応する予測モデルを設定（定義）している。これに代えて、例えば、設定部２８は、訓練データにおける説明変数ベクトルｘのパターン（欠損パターン）に着目してグループ分けされたサンプルのグループにそれぞれ対応する予測モデルを設定（定義）してもよい。あるいは、設定部２８は、訓練データにおける各サンプルの欠損パターンに以外の着目事項に基づいて分けされたサンプルのグループにそれぞれ対応する予測モデルを設定（定義）してもよい。このように、予測モデルを設定（定義）する手法には様々な手法があり、ここでは、何れの手法を利用して予測モデルを設定（定義）してもよい。

【符号の説明】

【0069】

１０，２０ 予測モデル学習装置
１３，２７ 推定部
１４，２６ 使用割合計算部
１５，２５ 指令部
２３ クラスタリング部
２４ 補完部

【図1】

【図2】

【図3】

【図4】

【図5】