特許 7528041 重要度算出装置、方法及びプログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2024-07-26

(45)【発行日】2024-08-05

(54)【発明の名称】重要度算出装置、方法及びプログラム

(51)【国際特許分類】

   G06Q 10/04 20230101AFI20240729BHJP

   G06N 20/00 20190101ALI20240729BHJP

【ＦＩ】

G06Q10/04

G06N20/00

【請求項の数】 12

(21)【出願番号】P 2021150352

(22)【出願日】2021-09-15

(65)【公開番号】P2023042925

(43)【公開日】2023-03-28

【審査請求日】2023-03-15

(73)【特許権者】

【識別番号】000003078

【氏名又は名称】株式会社東芝

(74)【代理人】

【識別番号】110003708

【氏名又は名称】弁理士法人鈴榮特許綜合事務所

(72)【発明者】

【氏名】田中 孝浩

(72)【発明者】

【氏名】道庭 賢一

(72)【発明者】

【氏名】春木 耕祐

(72)【発明者】

【氏名】小澤 政博

【審査官】池田 聡史

(56)【参考文献】

【文献】国際公開第２０２１／０４８９０２（ＷＯ，Ａ１）

【文献】特開２０１９－１２１１６２（ＪＰ，Ａ）

【文献】特開２０２０－０２４５４２（ＪＰ，Ａ）

【文献】韓国登録特許第１０－１７６８５３３（ＫＲ，Ｂ１）

【文献】森下光之助，“３章 特徴量の重要度を知る ～Permutation Feature Importance～”，機械学習を解釈する技術 予測力と説明力を両立する実践テクニック，初版，株式会社技術評論社，2021年08月17日，pp.53～88

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ０６Ｑ １０／００－９９／００

Ｇ０６Ｎ ２０／００

(57)【特許請求の範囲】

【請求項1】

複数の説明変数及び一の目的変数に関する各値を含む各サンプルが所定の順序に並ぶデータを取得するデータ取得部と、
前記データにおいて前記複数の説明変数の各値と前記目的変数の各値との間の第１対応関係を各サンプル間でランダム化した第１データと、前記第１データにおいて前記複数の説明変数のうち一以上の対象説明変数の各値と前記目的変数の各値との間の対応関係を前記第１対応関係に復元した第２データとを生成する順序変換部と、
前記第１データに基づき前記目的変数の各値について第１予測値と、前記第２データに基づき前記目的変数の各値について第２予測値とを計算する予測部と、
前記目的変数の各値と前記第１予測値との間の第１予測誤差と、前記目的変数の各値と前記第２予測値との間の第２予測誤差とを計算する予測誤差計算部と、
前記第１予測誤差と、前記第２予測誤差とに基づき前記対象説明変数の重要度を算出する重要度算出部と、
を具備する重要度算出装置。

【請求項2】

前記順序変換部は、前記データにおいて前記複数の説明変数の各値を各サンプル間でランダムに並べ替えた前記第１データと、前記第１データにおいて前記対象説明変数の各値を各サンプル間で前記データの前記所定の順序に並べ替えた前記第２データとを生成する、
請求項１に記載の重要度算出装置。

【請求項3】

前記順序変換部は、前記データにおいて前記目的変数の各値を各サンプル間でランダムな第１順序に並べ替えた前記第１データと、前記第１データにおいて前記対象説明変数の各値を各サンプル間で前記第１順序に並べ替えた前記第２データとを生成する、
請求項１に記載の重要度算出装置。

【請求項4】

前記予測部は、機械学習モデルを用いて前記第１予測値と前記第２予測値とを計算する、
請求項１から請求項３のいずれか１項に記載の重要度算出装置。

【請求項5】

前記重要度算出部は、前記第１予測誤差と前記第２予測誤差との間の差分又は変化率を前記対象説明変数の重要度として算出する、
請求項１から請求項４のいずれか１項に記載の重要度算出装置。

【請求項6】

前記順序変換部は、グループ指定情報により指定された二以上の説明変数から成るグループを前記対象説明変数として前記第２データを生成する、
請求項１から請求項５のいずれか１項に記載の重要度算出装置。

【請求項7】

前記グループ指定情報は、同一のカテゴリデータから生成された二以上の説明変数を指定する、
請求項６に記載の重要度算出装置。

【請求項8】

前記データにおいて前記複数の説明変数に含まれる二の説明変数から成るペアごとに相関係数を計算する相関計算部、をさらに具備し、
前記順序変換部は、前記相関係数が閾値以上である前記ペアを前記対象説明変数として前記第２データを生成する、
請求項１から請求項５のいずれか１項に記載の重要度算出装置。

【請求項9】

前記データにおいて前記複数の説明変数に含まれる二の説明変数から成るペアごとに相関係数を計算する相関計算部、をさらに具備し、
前記順序変換部は、前記ペアのうち一方の説明変数が前記対象説明変数である場合、前記ペアに関する相関係数の絶対値が小さいほど、前記第１データにおいて前記ペアのうち他方の説明変数の各値を各サンプル間で並べ替える割合を減少させて前記第２データを生成する、
請求項１から請求項５のいずれか１項に記載の重要度算出装置。

【請求項10】

前記対象説明変数の重要度をグラフ化して表示する表示部、をさらに具備する、
請求項１から請求項９のいずれか１項に記載の重要度算出装置。

【請求項11】

コンピュータが、
複数の説明変数及び一の目的変数に関する各値を含む各サンプルが所定の順序に並ぶデータを取得し、
前記データにおいて前記複数の説明変数の各値と前記目的変数の各値との間の第１対応関係を各サンプル間でランダム化した第１データと、前記第１データにおいて前記複数の説明変数のうち一以上の対象説明変数の各値と前記目的変数の各値との間の対応関係を前記第１対応関係に復元した第２データとを生成し、
前記第１データに基づき前記目的変数の各値について第１予測値と、前記第２データに基づき前記目的変数の各値について第２予測値とを計算し、
前記目的変数の各値と前記第１予測値との間の第１予測誤差と、前記目的変数の各値と前記第２予測値との間の第２予測誤差とを計算し、
前記第１予測誤差と、前記第２予測誤差とに基づき前記対象説明変数の重要度を算出する、
重要度算出方法。

【請求項12】

コンピュータに、
複数の説明変数及び一の目的変数に関する各値を含む各サンプルが所定の順序に並ぶデータを取得するデータ取得機能と、
前記データにおいて前記複数の説明変数の各値と前記目的変数の各値との間の第１対応関係を各サンプル間でランダム化した第１データと、前記第１データにおいて前記複数の説明変数のうち一以上の対象説明変数の各値と前記目的変数の各値との間の対応関係を前記第１対応関係に復元した第２データとを生成する順序変換機能と、
前記第１データに基づき前記目的変数の各値について第１予測値と、前記第２データに基づき前記目的変数の各値について第２予測値とを計算する予測機能と、
前記目的変数の各値と前記第１予測値との間の第１予測誤差と、前記目的変数の各値と前記第２予測値との間の第２予測誤差とを計算する予測誤差計算機能と、
前第１予測誤差と、前記第２予測誤差とに基づき前記対象説明変数の重要度を算出する重要度算出機能と、
を実現させる重要度算出プログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明の実施形態は、重要度算出装置、方法及びプログラムに関する。

【背景技術】

【0002】

近年、工場での製造工程の監視や疾病の発症リスクの予測等の種々のタスクに機械学習が応用されている。特に、後者のような人間の健康に関わるタスクには、予測に用いる機械学習モデル（以下、「モデル」と呼ぶ）の説明性が要請される。モデルによる予測の根拠を示す一例として、特定の説明変数が予測に及ぼす寄与の程度を表す変数重要度がある。変数重要度は、例えばＰＩ（Permutation Importance）により評価される。ＰＩは、テストデータに含まれる特定の説明変数に関する各値を各サンプル間でランダムに並べ替えたデータをモデルに入力して得られた予測誤差が、当該テストデータを当該モデルに入力して得られた予測誤差と比較してどの程度増加するかに基づき算出される。ＰＩは、モデルの予測精度と密接に関連するため変数重要度として直感的に理解しやすい。

【0003】

しかしながら、複数の説明変数間に強い相関（多重共線性：multicollinearity）が存在する場合、ＰＩが過小評価されてしまう。これは、特定の説明変数に関する各値をサンプル間でランダムに並べ替えることで当該説明変数の予測への寄与を失わせても、当該説明変数と強く相関する他の説明変数により予測が可能であるため、前者の予測誤差が本来の値よりも増加しないことが原因である。したがって、上記の場合、重要度の算出対象となる説明変数が本来有する変数重要度を適切に算出することができない。

【先行技術文献】

【非特許文献】

【0004】

【文献】Hemant Ishwaran, “Variable importance in binary regression trees and forests”, Electronic Journal of Statistics, Institute of Mathematical Statistics and Bernoulli Society, 2007, Vol.1, p.519-537

【発明の概要】

【発明が解決しようとする課題】

【0005】

本発明が解決しようとする課題は、変数重要度を適切に算出することである。

【課題を解決するための手段】

【0006】

実施形態に係る重要度算出装置は、データ取得部と、順序変換部と、予測部と、予測誤差計算部と、重要度算出部とを具備する。データ取得部は、複数の説明変数及び一の目的変数に関する各値を含む各サンプルが所定の順序に並ぶデータを取得する。順序変換部は、前記データにおいて前記複数の説明変数の各値と前記目的変数の各値との間の第１対応関係を各サンプル間でランダム化した第１データと、前記第１データにおいて前記複数の説明変数のうち一以上の対象説明変数の各値と前記目的変数の各値との間の対応関係を前記第１対応関係に復元した第２データとを生成する。予測部は、前記第１データに基づき前記目的変数の各値について第１予測値と、前記第２データに基づき前記目的変数の各値について第２予測値とを計算する。予測誤差計算部は、前記目的変数の各値と前記第１予測値との間の第１予測誤差と、前記目的変数の各値と前記第２予測値との間の第２予測誤差とを計算する。重要度算出部は、前記第１予測誤差と、前記第２予測誤差とに基づき前記対象説明変数の重要度を算出する。

【図面の簡単な説明】

【0007】

【図1】第１実施形態に係る重要度算出装置の機能構成例を示すブロック図。

【図2】第１実施形態に係る重要度算出装置のハードウェア構成例を示すブロック図。

【図3】第１実施形態に係る重要度算出装置の動作例を示すフロー図。

【図4】テストデータの一例を示す図。

【図5】第１データの第１例を示す図。

【図6】第２データの第１例を示す図。

【図7】第１データの第２例を示す図。

【図8】第２データの第２例を示す図。

【図9】従来手法に係る並べ替えデータの一例を示す図。

【図10】テストデータの別の例を示す図。

【図11】第１実施形態に係る重要度算出装置の使用例を示す図。

【図12】第２実施形態に係る重要度算出装置の機能構成例を示すブロック図。

【図13】第２実施形態に係る重要度算出装置の動作例を示すフロー図。

【図14】第２データの第３例を示す図。

【図15】第２データの第４例を示す図。

【図16】第２実施形態に係る重要度算出装置の使用例を示す図。

【図17】第２実施形態に係る重要度算出装置の別の使用例を示す図。

【図18】第３実施形態に係る重要度算出装置の機能構成例を示すブロック図。

【図19】第３実施形態に係る重要度算出装置のハードウェア構成例を示すブロック図。

【図20】第３実施形態に係る重要度算出装置の動作例を示すフロー図。

【発明を実施するための形態】

【0008】

以下、図面を参照しながら実施形態に係る重要度算出装置、方法及びプログラムについて説明する。以下の実施形態では、同一の参照符号を付した部分は同様の動作を行うものとして、重複する説明を適宜、省略する。

【0009】

（第１実施形態）
図１は、第１実施形態に係る重要度算出装置１０の機能構成例を示すブロック図である。重要度算出装置１０は、特定の説明変数（対象説明変数とも呼ぶ）に関する変数重要度を算出するための装置である。本実施形態において、変数重要度はＰＩ（Permutation Importance）であると想定する。重要度算出装置１０は、各構成としてデータ取得部１、順序変換部２、予測部３、予測誤差計算部４及び重要度算出部５を含む。

【0010】

データ取得部１は、データ取得部１の外部から種々のデータを取得する。本実施形態において、データ取得部１は複数の説明変数及び一の目的変数に関する各値を含む各サンプルが所定の順序に並ぶデータ２０１（図４を参照）を取得する。すなわち、データ２０１はテーブル形式のデータである。データ２０１は、データ２０１と同様な訓練データを用いて事前に訓練されたモデル２０２の予測精度をテストするために使用され得る。当該観点から、データ２０１はテストデータ又はＯＯＢ（Out-Of-Bag）データとも呼ぶ。データ取得部１は、取得したデータ２０１を順序変換部２に出力する。

【0011】

順序変換部２は、データ取得部１から入力された種々のデータの順序を変換することで、種々のデータを生成する。本実施形態において、順序変換部２はデータ２０１において複数の説明変数の各値と目的変数の各値との間の第１対応関係を各サンプル間でランダム化したデータ２０３（第１データとも呼ぶ）を生成する。また、順序変換部２はデータ２０３において複数の説明変数のうち一以上の対象説明変数の各値と目的変数の各値との間の対応関係を第１対応関係に復元したデータ２０４（第２データとも呼ぶ）を生成する。第１実施形態において、対象説明変数は１つであると想定する。順序変換部２は、生成したデータ２０３，２０４を予測部３及び予測誤差計算部４のそれぞれに出力する。例えば、順序変換部２はデータ２０３，２０４を以下の第１例又は第２例に示す方法に従って生成する。

【0012】

第１例によれば、順序変換部２はデータ２０１において複数の説明変数の各値を各サンプル間でランダムに並べ替えたデータ２０３Ａ（図５を参照）を生成する。また、順序変換部２はデータ２０３Ａにおいて対象説明変数の各値を各サンプル間でデータ２０１の所定の順序に並べ替えたデータ２０４Ａ（図６を参照）を生成する。

【0013】

第２例によれば、順序変換部２はデータ２０１において目的変数の各値を各サンプル間でランダムな第１順序に並べ替えたデータ２０３Ｂ（図７を参照）を生成する。また、順序変換部２はデータ２０３Ｂにおいて対象説明変数の各値を各サンプル間で第１順序に並べ替えたデータ２０４Ｂ（図８を参照）を生成する。

【0014】

第１例に係るデータ２０３Ａ及び第２例に係るデータ２０３Ｂはいずれも、データ２０１において複数の説明変数の各値と目的変数の各値との間の対応関係を各サンプル間でランダム化したデータ２０３の一例である。したがって、順序変換部２が第１例のように複数の説明変数の各値を各サンプル間でランダムに並べ替えることは、順序変換部２が第２例のように目的変数の各値を各サンプル間でランダムに並べ替えることと同義である。一方、第１例に係るデータ２０４Ａ及び第２例に係るデータ２０４Ｂは、データ２０３Ａ及びデータ２０３Ｂのそれぞれにおいて対象説明変数の各値と目的変数の各値との間の対応関係をデータ２０１における対応関係（第１対応関係に相当）に復元したデータ２０４の一例である。したがって、順序変換部２が第１例のようにデータ２０３Ａにおいて対象説明変数の各値を各サンプル間でデータ２０１の所定の順序に並べ替えることは、順序変換部２が第２例のようにデータ２０３Ｂにおいて対象説明変数の各値を各サンプル間でデータ２０３Ｂの目的変数の各値の順序（第１順序に相当）に並べ替えることと同義である。

【0015】

予測部３は、順序変換部２から入力された種々のデータに基づき種々の予測結果を計算する。本実施形態において、予測部３はデータ２０３に基づき目的変数の各値について予測値２０５（第１予測値とも呼ぶ）を計算する。また、予測部３はデータ２０４に基づき目的変数の各値について予測値２０６（第２予測値とも呼ぶ）を計算する。ここでは、予測部３は予測部３の外部から取得されたモデル２０２を用いて予測値２０５，２０６を計算する。すなわち、予測部３はデータ２０３，２０４をモデル２０２に入力することで予測値２０５，２０６を計算してもよい。モデル２０２としては、線形回帰、決定木、ランダムフォレスト、ロジスティック回帰、サポートベクターマシーン、ナイーブベイズ、ｋ近傍法、クラスタリング、アソシエーション分析及びニューラルネットワークを含む任意のモデルが適宜、使用可能である。具体的には、予測部３はデータ２０３，２０４に含まれる各サンプルにおいて、複数の説明変数の各値に基づき目的変数の各値について予測値２０５，２０６を計算する。予測部３は、計算した予測値２０５，２０６を予測誤差計算部４に出力する。

【0016】

予測誤差計算部４は、順序変換部２から入力された種々のデータと、予測部３から入力された種々の予測結果とに基づき種々の予測誤差を計算する。本実施形態において、予測誤差計算部４はデータ２０３と予測値２０５とに基づき、データ２０３における目的変数の各値と予測値２０５との間の予測誤差２０７（第１予測誤差とも呼ぶ）を計算する。また、予測誤差計算部４はデータ２０４と予測値２０６とに基づき、データ２０４における目的変数の各値と予測値２０６との間の予測誤差２０８（第２予測誤差とも呼ぶ）を計算する。具体的には、予測誤差計算部４はデータ２０３，２０４に含まれる各サンプルにおいて、目的変数の各値と予測値２０５，２０６との間の予測誤差２０７，２０８を計算する。もちろん、各サンプルにおいて計算された予測誤差２０７，２０８について相加平均又は相乗平均が計算されてもよい。予測誤差計算部４は、計算した予測誤差２０７，２０８を重要度算出部５に出力する。

【0017】

重要度算出部５は、予測誤差計算部４から入力された種々の予測誤差に基づき、対象説明変数に関する変数重要度を算出する。本実施形態において、重要度算出部５は予測誤差２０７と予測誤差２０８とに基づき、対象説明変数の重要度２０９を算出する。具体的には、重要度算出部５は予測誤差２０７と予測誤差２０８との間の差分又は変化率を対象説明変数の重要度２０９として算出する。重要度算出部５は、算出した重要度２０９を重要度算出部５の外部に出力する。

【0018】

図２は、第１実施形態に係る重要度算出装置１０のハードウェア構成例を示すブロック図である。重要度算出装置１０は、各構成として処理回路１１、メモリ１２、ディスプレイ１３、入力インタフェース１４及び通信インタフェース１５を含む。各構成は、共通の信号伝送路であるバスを介して互いに通信可能に接続される。なお、各構成は個々のハードウェアにより実現されなくともよい。例えば、各構成のうち少なくとも２つが１つのハードウェアにより実現されてもよい。

【0019】

処理回路１１は、重要度算出装置１０の種々の動作を制御する。処理回路１１は、ハードウェアとしてＣＰＵ（Central Processing Unit）、ＭＰＵ（Micro Processing Unit）、ＧＰＵ（Graphics Processing Unit）等のプロセッサを有する。処理回路１１は、プロセッサを介してメモリ１２に展開された各プログラムを実行することで、各プログラムに対応する各部（データ取得部１、順序変換部２、予測部３、予測誤差計算部４、重要度算出部５）を実現する。なお、各部は単独のプロセッサから成る処理回路１１により実現されなくともよい。例えば、各部は複数のプロセッサを組み合わせた処理回路１１により実現されてもよい。

【0020】

メモリ１２は、処理回路１１が使用するデータやプログラム等の情報を記憶する。メモリ１２は、ハードウェアとしてＲＡＭ（Random Access Memory）等の半導体メモリ素子を有する。なお、メモリ１２は、磁気ディスク（フロッピー（登録商標）ディスク、ハードディスク）、光磁気ディスク（ＭＯ）、光学ディスク（ＣＤ、ＤＶＤ、Ｂｌｕ－ｒａｙ（登録商標））、フラッシュメモリ（ＵＳＢフラッシュメモリ、メモリカード、ＳＳＤ）、磁気テープ等の外部記憶装置との間で情報を読み書きする駆動装置であってもよい。メモリ１２の記憶領域は、重要度算出装置１０の内部にあってもよいし、外部記憶装置にあってもよい。本実施形態において、メモリ１２はデータ２０１，２０３，２０４、モデル２０２、予測値２０５，２０６、予測誤差２０７，２０８、重要度２０９を記憶してもよい。

【0021】

ディスプレイ１３は、処理回路１１が生成したデータやメモリ１２に格納されるデータ等の情報を表示する。ディスプレイ１３として、例えば、ブラウン管（ＣＲＴ：Cathode Ray Tube）ディスプレイ、液晶ディスプレイ（ＬＣＤ：Liquid Crystal Display）、プラズマディスプレイ、有機ＥＬディスプレイ（ＯＥＬＤ：Organic Electro-Luminescence Display）、及びタブレット端末等のディスプレイが適宜、使用可能である。本実施形態において、ディスプレイ１３は対象説明変数の重要度２０９をグラフ化して表示してもよい。例えば、ディスプレイ１３は重要度２０９を絵グラフ、棒グラフ、折れ線グラフ、円グラフ、帯グラフ、ヒストグラム及び箱ひげ図を含む任意のグラフにより表示してもよい。なお、ディスプレイ１３は処理回路１１による制御を介し、上記のグラフを含む種々の情報を表示してもよい。ディスプレイ１３は、表示部の一例である。

【0022】

入力インタフェース１４は、重要度算出装置１０を利用するユーザからの入力を受け付け、受け付けた入力を電気信号に変換して処理回路１１に出力する。入力インタフェース１４として、マウス、キーボード、トラックボール、スイッチ、ボタン、ジョイスティック、タッチパッド、タッチパネルディスプレイ、マイク等の物理的な操作部品が適宜、使用可能である。もちろん、入力インタフェース１４は重要度算出装置１０とは別体である外部の入力装置から入力を受け付け、受け付けた入力を電気信号に変換して処理回路１１に出力する装置であってもよい。入力インタフェース１４は、データ２０１に含まれる複数の説明変数のうち対象説明変数を指定する旨の入力をユーザから受け付けてもよい。ユーザは、例えばモデル２０２を構築したエンジニアである。ちなみに、入力インタフェース１４は二以上の説明変数から成るグループを指定するグループ指定情報２１０（第２実施形態を参照）の入力を受け付けてもよい。グループ指定情報２１０は、同一のカテゴリデータから生成された二以上の説明変数を指定してもよい。

【0023】

通信インタフェース１５は、重要度算出装置１０の内部及び外部との間で種々のデータを相互に通信する。当該通信には、有線又は無線を問わず任意の通信規格が使用可能である。本実施形態において、通信インタフェース１５は重要度算出装置１０の外部からデータ２０１及びモデル２０２を取得してもよい。また、通信インタフェース１５は重要度２０９を重要度算出装置１０の外部に出力してもよい。

【0024】

図３は、第１実施形態に係る重要度算出装置１０の動作例を示すフロー図である。ステップＳ１０１において、重要度算出装置１０はデータ取得部１によりデータを取得する。具体的には、重要度算出装置１０は複数の説明変数及び一の目的変数に関する各値を含むデータ２０１を取得する。

【0025】

ステップＳ１０２において、第１例として重要度算出装置１０は順序変換部２により全ての説明変数をランダムに並べ替える。具体的には、重要度算出装置１０はデータ２０１に含まれる全ての説明変数に関する各値を各サンプル間でランダムに並べ替えることで、データ２０３Ａを生成する。第２例として、重要度算出装置１０は順序変換部２により目的変数をランダムに並べ替える。具体的には、重要度算出装置１０はデータ２０１に含まれる目的変数に関する各値を各サンプル間でランダムに並べ替えることで、データ２０３Ｂを生成する。

【0026】

ステップＳ１０３において、第１例として重要度算出装置１０は順序変換部２により１つの説明変数を元の順序に並べ替える。具体的には、重要度算出装置１０はデータ２０３Ａに含まれる全ての説明変数のうち１つの対象説明変数に関する各値を、各サンプル間でデータ２０１における目的変数に関する各値の順序に合わせて並べ替えることで、データ２０４Ａを生成する。第２例として、重要度算出装置１０は順序変換部２により１つの説明変数を目的変数の順序に並べ替える。具体的には、重要度算出装置１０はデータ２０３Ｂに含まれる全ての説明変数のうち１つの対象説明変数に関する各値を、各サンプル間でデータ２０３Ｂにおける目的変数に関する各値の順序（第１順序に相当）に合わせて並べ替えることで、データ２０４Ｂを生成する。

【0027】

ステップＳ１０４において、重要度算出装置１０は予測部３により目的変数を予測する。具体的には、重要度算出装置１０はデータ２０３Ａ，２０３Ｂに含まれる目的変数の各値について、データ２０３Ａ，２０３Ｂに含まれる全ての説明変数の各値から予測値２０５を計算する。また、重要度算出装置１０はデータ２０４Ａ，２０４Ｂに含まれる目的変数の各値について、データ２０４Ａ，２０４Ｂに含まれる全ての説明変数の各値から予測値２０６を計算する。

【0028】

ステップＳ１０５において、重要度算出装置１０は予測誤差計算部４により予測誤差を計算する。具体的には、重要度算出装置１０はデータ２０３Ａ，２０３Ｂに含まれる目的変数の各値と予測値２０５との間の予測誤差２０７を計算する。また、重要度算出装置１０はデータ２０４Ａ，２０４Ｂに含まれる目的変数の各値と予測値２０６との間の予測誤差２０８を計算する。例えば、重要度算出装置１０は各サンプルについて計算された各予測誤差２０７，２０８の二乗値を計算し、計算された二乗値の総和を各サンプルの総数で除算することで最終的な予測誤差２０７，２０８を計算してもよい。最終的な予測誤差２０７，２０８は平均二乗誤差（ＭＳＥ：Mean Squared Error）とも呼ぶ。

【0029】

ステップＳ１０６において、重要度算出装置１０は重要度算出部５により重要度を計算する。具体的には、重要度算出装置１０は予測誤差２０７と予測誤差２０８とに基づき、対象説明変数の重要度２０９を算出する。重要度算出装置１０は、予測誤差２０７と予測誤差２０８との間の差分又は変化率を対象説明変数の重要度２０９として算出する。

【0030】

ある計算方法によれば、重要度算出装置１０は予測誤差２０７から予測誤差２０８を減算した差分（式：予測誤差２０７－予測誤差２０８）を、対象説明変数の重要度２０９として算出する。予測誤差２０７は、モデル２０２が行う予測に如何なる説明変数も寄与しない場合におけるモデル２０２の予測誤差である。一方、予測誤差２０８はモデル２０２が行う予測に対象説明変数が寄与し、残りの説明変数が寄与しない場合におけるモデル２０２の予測誤差である。したがって、本計算手法は、全ての説明変数がモデル２０２の予測に寄与しない場合の予測誤差２０７が、対象説明変数がモデル２０２の予測に寄与する場合の予測誤差２０８と比較してどの程度減少するかに基づき重要度２０９を算出するといえる。算出された重要度２０９には、対象説明変数と相関する他の説明変数の寄与が含まれないため、重要度２０９は対象説明変数が本来有する変数重要度であるといえる。

【0031】

別の計算方法によれば、重要度算出装置１０は予測誤差２０７から予測誤差２０８を減算した差分を予測誤差２０７により除算した変化率（式：（予測誤差２０７－予測誤差２０８）／予測誤差２０７）を、対象説明変数の重要度２０９として算出する。上記と同様に、本計算方法により算出された重要度２０９は対象説明変数が本来有する変数重要度であるといえる。

【0032】

ステップＳ１０７において、重要度算出装置１０は全ての説明変数について重要度を計算したか否かを判定する。具体的には、重要度算出装置１０はデータ２０１に含まれる全ての説明変数のそれぞれについて重要度２０９を算出したか否かを判定する。重要度算出装置１０が全ての説明変数について重要度２０９を算出していない場合（ステップＳ１０７のＮｏ）、処理はステップＳ１０３に戻る。重要度の算出対象となる説明変数の数をＮ（Ｎは自然数）と仮定した場合、ステップＳ１０３からＳ１０６までの一連の処理はＮ回実行される。一方、重要度算出装置１０が全ての説明変数について重要度２０９を算出した場合（ステップＳ１０７のＹｅｓ）、処理は終了する。

【0033】

図４は、テストデータ（データ２０１）の一例を示す図である。データ２０１において、３つの説明変数（Ｘ_１、Ｘ_２、Ｘ_３）及び１つの目的変数ｙに関する各値を含む１００個のサンプル（サンプル１－１００）が、サンプル番号の昇順に並ぶ。例えば、「サンプル１」には目的変数ｙの値ｙ_１、説明変数Ｘ_１の値Ｘ_１,１、説明変数Ｘ_２の値Ｘ_２,１及び説明変数Ｘ_３の値Ｘ_３,１が格納される。換言すれば、「サンプル１」において複数の説明変数の各値と目的変数の値との間には対応関係がある。同様に、他の各サンプルにおいて複数の説明変数の各値と目的変数の値との間には対応関係がある。なお、各サンプルにおける対応関係を示すため、あるサンプル及び当該サンプルに格納される各変数の値はそれぞれ同一の添え字を含む。例えば、「サンプル１」及び「サンプル１」に格納される各変数の値（ｙ_１、Ｘ_１,１、Ｘ_２,１、Ｘ_３,１）はそれぞれ同一の添え字「１」を含む。具体的には、添え字「_１，１」は、説明変数Ｘ_１の「サンプル１」の値を示し、添え字「_３，２」は、説明変数Ｘ_３の「サンプル２」の値を示す。

【0034】

図５は、第１データの第１例（データ２０３Ａ）を示す図である。データ２０３Ａは、データ２０１に含まれる全ての説明変数に関する各値を各サンプル間でランダムに並べ替えたデータである。具体的には、データ２０３Ａにおいて３つの説明変数（Ｘ_１、Ｘ_２、Ｘ_３）に関する各値が、１００個のサンプル間でランダムに並べ替えられている。例えば、「サンプル１」には目的変数ｙの値ｙ_１、説明変数Ｘ_１の値Ｘ_１,３、説明変数Ｘ_２の値Ｘ_２,３及び説明変数Ｘ_３の値Ｘ_３,３が格納される。同様に、「サンプル２」には目的変数ｙの値ｙ_２、説明変数Ｘ_１の値Ｘ_１,２７、説明変数Ｘ_２の値Ｘ_２,２７及び説明変数Ｘ_３の値Ｘ_３,２７が格納される。このように、データ２０３Ａにおいてはデータ２０１における複数の説明変数（Ｘ_１、Ｘ_２、Ｘ_３）の各値と目的変数ｙの各値との間の対応関係が、各サンプル間でランダム化されている。

【0035】

本実施形態において、重要度算出装置１０がデータ２０１における全ての説明変数に関する各値をランダム化する際には、データ２０１の各サンプルについて複数の説明変数（Ｘ_１、Ｘ_２、Ｘ_３）の各値の対応関係を維持した状態で、目的変数の各値と複数の説明変数の各値との対応関係をランダム化すればよい。

【0036】

図６は、第２データの第１例（データ２０４Ａ）を示す図である。データ２０４Ａは、データ２０３Ａに含まれる全ての説明変数のうち１つの対象説明変数に関する各値を、各サンプル間でデータ２０１における目的変数に関する各値の順序に並べ替えたデータである。ここでは、３つの説明変数（Ｘ_１、Ｘ_２、Ｘ_３）のうち対象説明変数として「説明変数Ｘ_１」が指定されている。例えば、「サンプル１」には目的変数ｙの値ｙ_１、説明変数Ｘ_１の値Ｘ_１,１、説明変数Ｘ_２の値Ｘ_２,３及び説明変数Ｘ_３の値Ｘ_３,３が格納される。同様に、「サンプル２」には目的変数ｙの値ｙ_２、説明変数Ｘ_１の値Ｘ_１,２、説明変数Ｘ_２の値Ｘ_２,２７及び説明変数Ｘ_３の値Ｘ_３,２７が格納される。このように、データ２０４Ａにおいては、データ２０３Ａにおける対象説明変数Ｘ_１の各値と目的変数ｙの各値との間の対応関係が、各サンプル間でデータ２０１における対応関係に復元される。一方、データ２０４Ａにおける他の説明変数（Ｘ_２、Ｘ_３）の各値と目的変数ｙの各値との対応関係は、各サンプル間でデータ２０３Ａにおける対応関係と同様である。

【0037】

図７は、第１データの第２例（データ２０３Ｂ）を示す図である。データ２０３Ｂは、データ２０１に含まれる目的変数に関する各値を各サンプル間でランダムに並べ替えたデータである。具体的には、データ２０３Ｂにおいて目的変数ｙに関する各値が、１００個のサンプル間でランダムに並べ替えられている。例えば、「サンプル１」には目的変数ｙの値ｙ_３、説明変数Ｘ_１の値Ｘ_１,１、説明変数Ｘ_２の値Ｘ_２,１及び説明変数Ｘ_３の値Ｘ_３,１が格納される。同様に、「サンプル２」には目的変数ｙの値ｙ_２７、説明変数Ｘ_１の値Ｘ_１,２、説明変数Ｘ_２の値Ｘ_２,２及び説明変数Ｘ_３の値Ｘ_３,２が格納される。このように、データ２０３Ｂにおいてはデータ２０１における複数の説明変数（Ｘ_１、Ｘ_２、Ｘ_３）の各値と目的変数ｙの各値との間の対応関係が、各サンプル間でランダム化されている。

【0038】

図８は、第２データの第２例（データ２０４Ｂ）を示す図である。データ２０４Ｂは、データ２０３Ｂに含まれる全ての説明変数のうち１つの対象説明変数に関する各値を、各サンプル間でデータ２０３Ｂにおける目的変数に関する各値の順序（第１順序に相当）に合わせて並べ替えたデータである。ここでは、３つの説明変数（Ｘ_１、Ｘ_２、Ｘ_３）のうち対象説明変数として「説明変数Ｘ_１」が指定されている。例えば、「サンプル１」には目的変数ｙの値ｙ_３、説明変数Ｘ_１の値Ｘ_１,３、説明変数Ｘ_２の値Ｘ_２,１及び説明変数Ｘ_３の値Ｘ_３,１が格納される。同様に、「サンプル２」には目的変数ｙの値ｙ_２７、説明変数Ｘ_１の値Ｘ_１,２７、説明変数Ｘ_２の値Ｘ_２,２及び説明変数Ｘ_３の値Ｘ_３,２が格納される。このように、データ２０４Ｂにおいては、データ２０３Ｂにおける対象説明変数Ｘ_１の各値と目的変数ｙの各値との間の対応関係が、各サンプル間でデータ２０１における対応関係に復元される。一方、データ２０４Ｂにおける他の説明変数（Ｘ_２、Ｘ_３）の各値と目的変数ｙの各値との対応関係は、各サンプル間でデータ２０３Ｂにおける対応関係と同様である。

【0039】

図９は、従来手法に係る並べ替えデータ２５０の一例を示す図である。データ２５０は、データ２０１に含まれる全ての説明変数のうち１つの対象説明変数に関する各値を、各サンプル間でランダムに並べ替えたデータである。ここでは、３つの説明変数（Ｘ_１、Ｘ_２、Ｘ_３）のうち対象説明変数として「説明変数Ｘ_１」が指定されている。具体的には、データ２５０において説明変数Ｘ_１に関する各値が１００個のサンプル間でランダムに並べ替えられている。例えば、「サンプル１」には目的変数ｙの値ｙ_１、説明変数Ｘ_１の値Ｘ_１,３、説明変数Ｘ_２の値Ｘ_２,１及び説明変数Ｘ_３の値Ｘ_３,１が格納される。同様に、「サンプル２」には目的変数ｙの値ｙ_２、説明変数Ｘ_１の値Ｘ_１,２７、説明変数Ｘ_２の値Ｘ_２,２及び説明変数Ｘ_３の値Ｘ_３,２が格納される。

【0040】

ここで仮に、従来手法に基づき１つの対象説明変数に関する変数重要度が計算される場合について説明する。従来手法によれば、データ２０１において対象説明変数に関する各値が各サンプル間でランダムに並べ替えたデータ２５０（図９を参照）が生成される。続いて、データ２０１がモデル２０２に入力されることで得られた予測誤差（第３予測誤差とも呼ぶ）と、データ２５０がモデル２０２に入力されることで得られた予測誤差（第４予測誤差とも呼ぶ）との間の差分又は変化率が、対象説明変数の重要度として算出される。

【0041】

ある計算方法によれば、第４予測誤差から第３予測誤差を減算した差分（式：第４予測誤差－第３予測誤差）が、対象説明変数の重要度として算出される。第４予測誤差は、モデル２０２が行う予測に対象説明変数が寄与せず、残りの説明変数が寄与する場合におけるモデル２０２の予測誤差である。一方、第３予測誤差はモデル２０２が行う予測に全ての説明変数が寄与する場合におけるモデル２０２の予測誤差である。したがって、本計算手法は、対象説明変数がモデル２０２の予測に寄与しない場合の予測誤差（第４予測誤差）が、全ての説明変数がモデル２０２の予測に寄与する場合の予測誤差（第３予測誤差）と比較してどの程度増加するかに基づき対象説明変数の重要度を算出するといえる。

【0042】

しかしながら、上記の計算方法により算出された重要度には、対象説明変数と相関する他の説明変数の寄与が含まれる。具体的には、前者の予測誤差（第４予測誤差）には対象説明変数と相関する他の説明変数の寄与が含まれるため、前者の予測誤差は本来の値よりも増加しない。したがって、従来手法に基づき算出される重要度は、対象説明変数が本来有する変数重要度よりも過小評価された値であり、対象説明変数が本来有する変数重要度であるとはいえない。

【0043】

図１０は、テストデータの別の例（データ３００）を示す図である。データ３００は、データ３００と同様な訓練データを用いて事前に訓練されたモデル２０２の予測精度をテストするために使用され得る。データ３００は、変数として複数の説明変数（Ｘ_１、Ｘ_２、Ｘ_３、Ｘ_４）と目的変数ｙとを含む。全ての説明変数のうち、説明変数（Ｘ_１、Ｘ_２、Ｘ_４）の値は標準正規分布Ｎ（０，１）に従う。一方、残りの説明変数Ｘ_３の値は説明変数Ｘ_２の値により一意に定まる。すなわち、説明変数Ｘ_２と説明変数Ｘ_３との間には強い相関が存在する。また、目的変数ｙの値は説明変数（Ｘ_２、Ｘ_４）の値及びノイズｅの値により一意に定まる。すなわち、説明変数Ｘ_１の値は目的変数ｙの値に影響しない。

【0044】

重要度算出装置１０は、データ３００を用いてモデル２０２の予測に対する各説明変数（Ｘ_１、Ｘ_２、Ｘ_３、Ｘ_４）の重要度を算出する。ここでは、モデル２０２はランダムフォレストであり、各説明変数の値から目的変数の値を予測すると想定する。なお、モデル２０２は、ランダムフォレストに限らず、機械学習で用いられる任意のモデルであればよい。重要度算出装置１０は、データ３００の一部を用いて事前に訓練されたモデル２０２に対し、訓練に使用されなかったデータ３００の残りの部分に関するデータを用いて各説明変数の重要度を算出する。重要度算出装置１０は、提案手法（図３を参照）に係る態様でデータ３００を用いて計算し、各説明変数の重要度を算出する。算出された各説明変数の重要度は、例えばグラフ３１０（図１１を参照）のようにディスプレイ１３に表示される。また、重要度算出装置１０は従来手法（図９を参照）に係る態様でデータ３００を用いて計算し、各説明変数の重要度を算出してもよい。従来手法及び提案手法に係る各説明変数の重要度は、共に正規化されてディスプレイ１３に表示され得る。なお、重要度算出装置１０が提案手法に係る各説明変数の重要度のみを表示する場合は、各説明変数の重要度が正規化される必要はない。

【0045】

図１１は、第１実施形態に係る重要度算出装置１０の使用例を示す図である。図１１において、従来手法及び提案手法に係る態様で算出された各説明変数の正規化重要度がグラフ３１０により示される。ここでは、重要度算出装置１０は、提案手法に係る態様でデータ３００を用いて計算して各説明変数の重要度を算出し、従来手法との比較のため算出された重要度を正規化している。グラフ３１０は箱ひげ図であるが、重要度の表示態様はこれに限られない。他の表示態様として、重要度の中央値又は平均値の少なくとも一方のみが表示されてもよい。また、提案手法に係る各説明変数の重要度のみが表示されてもよい。グラフ３１０から理解される通り、互いに強く相関する説明変数Ｘ_２、Ｘ_３の正規化重要度はともに、従来手法において比較的低い値を示し、提案手法において比較的高い値を示す。

【0046】

以上、第１実施形態に係る重要度算出装置１０について説明した。重要度算出装置１０は、機械学習モデル（モデル２０２）の予測精度をテストするためのテストデータ（データ２０１）について、当該テストデータにおける全ての説明変数の各値と目的変数の各値との間の対応関係を各サンプル間でランダム化したデータ（データ２０３）を生成する。また、重要度算出装置１０は、ランダム化したデータにおいて変数重要度の算出対象となる１つの説明変数（対象説明変数）の各値と目的変数の各値との間の対応関係を、テストデータにおける対応関係に復元したデータ（データ２０４）を生成する。続いて重要度算出装置１０は、テストデータから生成された各データ（データ２０３，２０４）を機械学習モデルに入力することで、機械学習モデルに全ての説明変数の各値から目的変数の各値を予測させる。さらに重要度算出装置１０は、予測結果（予測値２０５，２０６）と目的変数の各値との間の予測誤差（予測誤差２０７，２０８）を計算する。最後に重要度算出装置１０は、計算された予測誤差に基づき、変数重要度の算出対象となる１つの説明変数の変数重要度（重要度２０９）を算出する。

【0047】

したがって、第１実施形態に係る重要度算出装置１０は、変数重要度を適切に算出することができる。また、重要度算出装置１０は算出された重要度２０９をディスプレイ１３にグラフ化して表示する。これにより、ユーザは表示された重要度２０９を確認することで、重要度の算出対象となる特定の説明変数が本来有する変数重要度を確認することができる。さらに、ユーザは表示された重要度２０９に基づきモデル２０２を最適化するように構築し直すことができる。加えて、重要度算出装置１０はモデル２０２が行う予測に本来は大きく寄与する説明変数について、ユーザが当該説明変数を重要ではないと見落とす可能性を低減することができる。

【0048】

（第２実施形態）
図１２は、第２実施形態に係る重要度算出装置１０の機能構成例を示すブロック図である。第２実施形態に係る重要度算出装置１０のハードウェア構成は第１実施形態と同様であるため、その説明を省略する。第１実施形態とは異なり、第２実施形態に係る順序変換部２にはグループ指定情報２１０が入力される。

【0049】

順序変換部２は、順序変換部２の外部からグループ指定情報２１０を取得する。グループ指定情報２１０は、二以上の説明変数から成るグループ（説明変数グループとも呼ぶ）を指定する情報である。具体的には、順序変換部２はグループ指定情報２１０により指定された説明変数グループを、重要度を算出する対象となる対象説明変数としてデータ２０４を生成する。なお、グループ指定情報２１０は、１つの説明変数グループに限らず複数の説明変数グループを指定してもよい。この場合、順序変換部２はグループ指定情報２１０により指定された複数の説明変数グループのそれぞれを対象説明変数としてデータ２０４を生成する。重要度算出部５は、指定されたそれぞれの説明変数グループについて重要度２０９を算出する。

【0050】

図１３は、第２実施形態に係る重要度算出装置１０の動作例を示すフロー図である。ステップＳ２０１において、重要度算出装置１０はデータ取得部１によりデータを取得する。ステップＳ２０１は、ステップＳ１０１と同様である。

【0051】

ステップＳ２０２において、重要度算出装置１０は順序変換部２により全ての説明変数又は目的変数をランダムに並べ替える。ステップＳ２０２は、ステップＳ１０２と同様である。

【0052】

ステップＳ２０３において、第１例として重要度算出装置１０は順序変換部２により２つ以上の説明変数を元の順序に並べ替える。具体的には、重要度算出装置１０はデータ２０３Ａに含まれる全ての説明変数のうち、グループ指定情報２１０により指定された２つ以上の説明変数から成るグループに関する各値を、各サンプル間でデータ２０１における目的変数に関する各値の順序に合わせて並べ替えることで、データ２０４Ｃ（図１４を参照）を生成する。第２例として、重要度算出装置１０は順序変換部２により２つ以上の説明変数を目的変数の順序に並べ替える。具体的には、重要度算出装置１０はデータ２０３Ｂに含まれる全ての説明変数のうち、グループ指定情報２１０により指定された２つ以上の説明変数から成るグループに関する各値を、各サンプル間でデータ２０３Ｂにおける目的変数に関する各値の順序（第１順序に相当）に合わせて並べ替えることで、データ２０４Ｄ（図１５を参照）を生成する。

【0053】

ステップＳ２０４において、重要度算出装置１０は予測部３により目的変数を予測する。具体的には、重要度算出装置１０はデータ２０３Ａ，２０３Ｂに含まれる目的変数の各値について予測値２０５を計算する。また、重要度算出装置１０はデータ２０４Ｃ，２０４Ｄに含まれる目的変数の各値について予測値２０６を計算する。

【0054】

ステップＳ２０５において、重要度算出装置１０は予測誤差計算部４により予測誤差を計算する。具体的には、重要度算出装置１０はデータ２０３Ａ，２０３Ｂに含まれる目的変数の各値と予測値２０５との間の予測誤差２０７を計算する。また、重要度算出装置１０はデータ２０４Ｃ，２０４Ｄに含まれる目的変数の各値と予測値２０６との間の予測誤差２０８を計算する。

【0055】

ステップＳ２０６において、重要度算出装置１０は重要度算出部５により重要度を計算する。具体的には、重要度算出装置１０は予測誤差２０７と予測誤差２０８とに基づき、説明変数グループ（対象説明変数に相当）の重要度２０９を算出する。重要度算出装置１０は、予測誤差２０７と予測誤差２０８との間の差分又は変化率を説明変数グループの重要度２０９として算出する。

【0056】

ステップＳ２０７において、重要度算出装置１０は全ての説明変数グループについて重要度を計算したか否かを判定する。具体的には、重要度算出装置１０はグループ指定情報２１０により指定された全ての説明変数グループのそれぞれについて重要度２０９を算出したか否かを判定する。重要度算出装置１０が全ての説明変数グループの重要度２０９を算出していない場合（ステップＳ２０７のＮｏ）、処理はステップＳ２０３に戻る。重要度の算出対象となる説明変数グループの数をＮと仮定した場合、ステップＳ２０３からＳ２０６までの一連の処理はＮ回実行される。一方、重要度算出装置１０は全ての説明変数グループについて重要度２０９を算出した場合（ステップＳ２０７のＹｅｓ）、処理は終了する。

【0057】

図１４は、第２データの第３例（データ２０４Ｃ）を示す図である。データ２０４Ｃは、データ２０３Ａに含まれる全ての説明変数のうち１つの説明変数グループに関する各値を、各サンプル間でデータ２０１における目的変数に関する各値の順序に並べ替えたデータである。ここでは、３つの説明変数（Ｘ_１、Ｘ_２、Ｘ_３）のうち説明変数グループとして「説明変数Ｘ_１、Ｘ_２」が指定されている。例えば、「サンプル１」には目的変数ｙの値ｙ_１、説明変数Ｘ_１の値Ｘ_１,１、説明変数Ｘ_２の値Ｘ_２,１及び説明変数Ｘ_３の値Ｘ_３,３が格納される。同様に、「サンプル２」には目的変数ｙの値ｙ_２、説明変数Ｘ_１の値Ｘ_１,２、説明変数Ｘ_２の値Ｘ_２,２及び説明変数Ｘ_３の値Ｘ_３,２７が格納される。このように、データ２０４Ｃにおいては、データ２０３Ａにおける説明変数グループ（Ｘ_１、Ｘ_２）の各値と目的変数ｙの各値との間の対応関係が、各サンプル間でデータ２０１における対応関係に復元される。一方、データ２０４Ｃにおける他の説明変数Ｘ_３の各値と目的変数ｙの各値との対応関係は、各サンプル間でデータ２０３Ａにおける対応関係と同様である。

【0058】

図１５は、第２データの第４例（データ２０４Ｄ）を示す図である。データ２０４Ｄは、データ２０３Ｂに含まれる全ての説明変数のうち１つの説明変数グループに関する各値を、各サンプル間でデータ２０３Ｂにおける目的変数に関する各値の順序（第１順序に相当）に合わせて並べ替えたデータである。ここでは、３つの説明変数（Ｘ_１、Ｘ_２、Ｘ_３）のうち説明変数グループとして「説明変数Ｘ_１、Ｘ_２」が指定されている。例えば、「サンプル１」には目的変数ｙの値ｙ_３、説明変数Ｘ_１の値Ｘ_１,３、説明変数Ｘ_２の値Ｘ_２,３及び説明変数Ｘ_３の値Ｘ_３,１が格納される。同様に、「サンプル２」には目的変数ｙの値ｙ_２７、説明変数Ｘ_１の値Ｘ_１,２７、説明変数Ｘ_２の値Ｘ_２,２７及び説明変数Ｘ_３の値Ｘ_３,２が格納される。このように、データ２０４Ｄにおいては、データ２０３Ｂにおける説明変数グループ（Ｘ_１、Ｘ_２）の各値と目的変数ｙの各値との間の対応関係が、各サンプル間でデータ２０１における対応関係に復元される。一方、データ２０４Ｄにおける他の説明変数Ｘ_３の各値と目的変数ｙの各値との対応関係は、各サンプル間でデータ２０３Ｂにおける対応関係と同様である。

【0059】

図１６は、第２実施形態に係る重要度算出装置１０の使用例を示す図である。図１６において、従来手法及び提案手法に係る態様で算出された各説明変数の正規化重要度がグラフ４００により示される。グラフ４００は、グラフ３１０（図１１を参照）と同様な態様により表示され得る。グラフ３１０と異なり、グラフ４００においては説明変数グループとして説明変数Ｘ_２、Ｘ_３が１つに集約された説明変数Ｘ_２，３に関する正規化重要度が示される。提案手法に係る説明変数グループＸ_２，３の正規化重要度の中央値は、提案手法に係る説明変数Ｘ_４の正規化重要度の中央値と概ね同一である。このように、重要度算出装置１０は互いに強く相関する２つの説明変数（Ｘ_２、Ｘ_３）を１つの説明変数とみなすことで、当該１つの説明変数が有する真の効果量を算出する。

【0060】

図１７は、第２実施形態に係る重要度算出装置１０の別の使用例を示す図である。図１７において、従来手法及び提案手法に係る態様で算出された各説明変数の重要度がグラフ４１０，４２０により示される。グラフ４１０，４２０において、ある疾病の発症リスクを予測するモデル２０２が予測に用いる各説明変数の重要度が表示される。グラフ４１０，４２０は箱ひげ図であるが、重要度の表示態様はこれに限られない。他の表示態様として、重要度の中央値又は平均値の少なくとも一方のみが表示されてもよい。なお、重要度算出装置１０がグラフ４１０，４２０のうち一方のみを表示する場合は、重要度が正規化される必要はない。グラフ４１０の枠４１１に囲まれる２種類のデータは、枠４１２に囲まれる２種類の説明変数「項目Ｃ＿非該当」及び「項目Ｃ＿該当」に対応する。同様に、グラフ４２０の枠４２１に囲まれるデータは、枠４２２に囲まれる説明変数「項目Ｃ」に対応する。

【0061】

上記の２種類の説明変数は、同一のカテゴリデータから生成された説明変数である。一般に、機械学習モデルはカテゴリデータを取り扱えないため、カテゴリデータを機械学習モデルが取り扱い可能なデータ形式に変換する必要がある。例えば、あるカテゴリデータが取り得る各値の数をＮと仮定した場合、Ｎ個の説明変数を新たに生成して、各値をＮ次元のワンホット（one-hot）ベクトルにより表現する方法がある。重要度算出装置１０は、同一のカテゴリデータから生成された二以上の説明変数をグループ指定情報２１０により指定することで、カテゴリデータとしての変数重要度を算出することができる。

【0062】

以上、第２実施形態に係る重要度算出装置１０について説明した。重要度算出装置１０は、機械学習モデル（モデル２０２）の予測精度をテストするためのテストデータ（データ２０１）について、当該テストデータにおける全ての説明変数の各値と目的変数の各値との間の対応関係を各サンプル間でランダム化したデータ（データ２０３）を生成する。また、重要度算出装置１０は、ランダム化したデータにおいて、グループ指定情報２１０により指定された変数重要度の算出対象となる２つ以上の説明変数（説明変数グループ）の各値と目的変数の各値との間の対応関係を、テストデータにおける対応関係に復元したデータ（データ２０４）を生成する。続いて重要度算出装置１０は、テストデータから生成された各データ（データ２０３，２０４）を機械学習モデルに入力することで、機械学習モデルに全ての説明変数の各値から目的変数の各値を予測させる。さらに重要度算出装置１０は、予測結果（予測値２０５，２０６）と目的変数の各値との間の予測誤差（予測誤差２０７，２０８）を計算する。最後に重要度算出装置１０は、計算された予測誤差に基づき、変数重要度の算出対象となる２つ以上の説明変数の変数重要度（重要度２０９）を算出する。

【0063】

したがって、第２実施形態に係る重要度算出装置１０は、変数重要度を適切に算出することができる。また、重要度算出装置１０はグループ指定情報２１０により指定された２つ以上の説明変数を説明変数グループとして集約することで、集約された説明変数グループに関する変数重要度を算出することができる。ある説明変数と別の説明変数との間の相関が十分に強い場合、機械学習モデルは両者の説明変数のうちいずれを用いても同程度の予測精度をもって目的変数を予測することが可能である。したがって、上記の場合に両者の説明変数間で変数重要度の値の大きさを議論することは有意ではない。重要度算出装置１０は、両者の説明変数をグループ指定情報２１０により指定し、説明変数グループとしての変数重要度を算出することで本来の変数重要度を算出することができる。すなわち、重要度算出装置１０は、互いに強く相関する複数の説明変数が有する真の効果量を算出することができる。

【0064】

（第３実施形態）
図１８は、第３実施形態に係る重要度算出装置１０の機能構成例を示すブロック図である。第１及び第２実施形態とは異なり、第３実施形態に係る重要度算出装置１０は相関計算部６をさらに含む。

【0065】

データ取得部１は、データ取得部１の外部からデータ２０１を取得する。データ取得部１は、取得したデータ２０１を順序変換部２及び相関計算部６のそれぞれに出力する。

【0066】

相関計算部６は、データ取得部１から入力されたデータ２０１において、複数の説明変数に含まれる二の説明変数から成るペア（説明変数ペアとも呼ぶ）ごとに相関係数２１１を計算する。相関係数２１１は、２つの説明変数間の相関の強さを表す指標である。相関計算部６は、計算した相関係数２１１を順序変換部２に出力する。

【0067】

データ２０１に含まれる全ての説明変数の数をｎ（ｎは自然数）と仮定すると、相関係数２１１の計算対象となる説明変数ペアの組み合わせの総数は「_ｎＣ_２」である。すなわち、相関計算部６は、上記の個数の説明変数ペアそれぞれについて相関係数２１１を計算してもよい。もちろん、相関計算部６は、計算されたそれぞれの相関係数２１１を相関行列として順序変換部２に出力してもよい。

【0068】

順序変換部２は、順序変換部２の外部から閾値２１２を取得する。閾値２１２は、順序変換部２にあらかじめ格納された値でもよいし、ユーザが入力インタフェース１４を介して入力した値でもよい。続いて、順序変換部２は各説明変数ペアについて計算された相関係数２１１が閾値２１２以上であるか否かを判定する。説明変数ペアの相関係数２１１が閾値２１２以上である場合、順序変換部２は当該説明変数ペアを重要度の算出対象となる対象説明変数とみなす。続いて順序変換部２は、第１及び第２実施形態と同様な手法でデータ２０３，２０４を生成する。具体的には、順序変換部２は閾値２１２以上である説明変数ペアに関する各値を各サンプル間でランダムに並べ替える。重要度算出部５は、各説明変数ペアについて重要度２０９を算出する。

【0069】

図１９は、第３実施形態に係る重要度算出装置１０のハードウェア構成例を示すブロック図である。第１及び第２実施形態とは異なり、第３実施形態に係る処理回路１１は相関計算部６をさらに含む。

【0070】

本実施形態において、メモリ１２は相関係数２１１及び閾値２１２を記憶してもよい。ディスプレイ１３は、相関係数２１１をグラフ化して表示してもよい。例えば、ディスプレイ１３は計算された各相関係数２１１から成る相関行列をヒートマップ形式で表示してもよい。さらに、ディスプレイ１３は、重要度２０９及び相関係数２１１をそれぞれグラフ化して同時に表示してもよい。

【0071】

図２０は、第３実施形態に係る重要度算出装置１０の動作例を示すフロー図である。ステップＳ３０１において、重要度算出装置１０はデータ取得部１によりデータを取得する。ステップＳ３０１は、ステップＳ１０１及びステップＳ２０１と同様である。

【0072】

ステップＳ３０２において、重要度算出装置１０は順序変換部２により全ての説明変数又は目的変数をランダムに並べ替える。ステップＳ３０２は、ステップＳ１０２及びステップＳ２０２と同様である。

【0073】

ステップＳ３０３において、重要度算出装置１０は相関計算部６により相関係数を計算する。具体的には、重要度算出装置１０はデータ２０１において複数の説明変数に含まれる２つの説明変数から成るペア（説明変数ペア）ごとに相関係数２１１を計算する。

【0074】

ステップＳ３０４において、重要度算出装置１０は順序変換部２により相関係数が閾値以上であるか否かを判定する。具体的には、重要度算出装置１０は計算した各相関係数２１１が閾値２１２以上であるか否かを判定する。重要度算出装置１０が如何なる相関係数２１１も閾値２１２以上ではない、すなわち閾値２１２未満であると判定した場合（ステップＳ３０４のＮｏ）、処理は終了する。一方、重要度算出装置１０が少なくとも１つの相関係数２１１が閾値２１２以上であると判定した場合（ステップＳ３０４のＹｅｓ）、処理はステップＳ３０５に進む。

【0075】

ステップＳ３０５において、重要度算出装置１０は順序変換部２により２つの説明変数を元の順序に並べ替える。具体的には、重要度算出装置１０はデータ２０３Ａに含まれる全ての説明変数のうち、閾値２１２以上であると判定された２つの説明変数から成るペアに関する各値を、各サンプル間でデータ２０１における目的変数に関する各値の順序に合わせて並べ替えることで、データ２０４を生成する。あるいは、重要度算出装置１０は順序変換部２により２つの説明変数を目的変数の順序に並べ替える。具体的には、重要度算出装置１０はデータ２０３Ｂに含まれる全ての説明変数のうち、閾値２１２以上であると判定された２つの説明変数から成るペアに関する各値を、各サンプル間でデータ２０３Ｂにおける目的変数に関する各値の順序（第１順序に相当）に合わせて並べ替えることで、データ２０４を生成する。

【0076】

ステップＳ３０６において、重要度算出装置１０は予測部３により目的変数を予測する。具体的には、重要度算出装置１０はデータ２０３Ａ，２０３Ｂに含まれる目的変数の各値について予測値２０５を計算する。また、重要度算出装置１０はデータ２０４に含まれる目的変数の各値について予測値２０６を計算する。

【0077】

ステップＳ３０７において、重要度算出装置１０は予測誤差計算部４により予測誤差を計算する。具体的には、重要度算出装置１０はデータ２０３Ａ，２０３Ｂに含まれる目的変数の各値と予測値２０５との間の予測誤差２０７を計算する。また、重要度算出装置１０はデータ２０４に含まれる目的変数の各値と予測値２０６との間の予測誤差２０８を計算する。

【0078】

ステップＳ３０８において、重要度算出装置１０は重要度算出部５により重要度を計算する。具体的には、重要度算出装置１０は予測誤差２０７と予測誤差２０８とに基づき、説明変数ペア（対象説明変数に相当）の重要度２０９を算出する。重要度算出装置１０は、予測誤差２０７と予測誤差２０８との間の差分又は変化率を説明変数ペアの重要度２０９として算出する。

【0079】

ステップＳ３０９において、重要度算出装置１０は全ての説明変数ペアについて重要度を計算したか否かを判定する。具体的には、重要度算出装置１０は閾値２１２以上であると判定された全ての説明変数ペアのそれぞれについて重要度２０９を算出したか否かを判定する。重要度算出装置１０が全ての説明変数ペアの重要度２０９を算出していない場合（ステップＳ３０９のＮｏ）、処理はステップＳ３０５に戻る。重要度の算出対象となる説明変数ペアの数をＮと仮定した場合、ステップＳ３０５からＳ３０８までの一連の処理はＮ回実行される。一方、重要度算出装置１０が全ての説明変数ペアについて重要度２０９を算出した場合（ステップＳ３０９のＹｅｓ）、処理は終了する。

【0080】

以上、第３実施形態に係る重要度算出装置１０について説明した。重要度算出装置１０は、機械学習モデル（モデル２０２）の予測精度をテストするためのテストデータ（データ２０１）について、当該テストデータにおける全ての説明変数の各値と目的変数の各値との間の対応関係を各サンプル間でランダム化したデータ（データ２０３）を生成する。次に、重要度算出装置１０は、テストデータに含まれる全ての説明変数のうち、２つの説明変数から成る説明変数ペアごとに相関係数（相関係数２１１）を計算する。重要度算出装置１０は、ランダム化したデータにおいて、相関係数が閾値（閾値２１２）以上であると判定された２つの説明変数（説明変数ペア）の各値と目的変数の各値との間の対応関係をテストデータにおける対応関係に復元したデータ（データ２０４）を生成する。続いて、重要度算出装置１０は、テストデータから生成された各データ（データ２０３，２０４）を機械学習モデルに入力することで、機械学習モデルに全ての説明変数の各値から目的変数の各値を予測させる。さらに重要度算出装置１０は、予測結果（予測値２０５，２０６）と目的変数の各値との間の予測誤差（予測誤差２０７，２０８）を計算する。最後に重要度算出装置１０は、計算された予測誤差に基づき、変数重要度の算出対象となる２つの説明変数の変数重要度（重要度２０９）を算出する。

【0081】

したがって、第３実施形態に係る重要度算出装置１０は、変数重要度を適切に算出することができる。また、重要度算出装置１０は、２つの説明変数間の相関の強さに応じて重要度の算出対象となる説明変数ペアを自動的に決定することができる。これにより、重要度算出装置１０は、ユーザが説明変数ペアを手動で選択する手間を省くことができる。また、重要度算出装置１０は、互いに強く相関する２つの説明変数が本来有する真の効果量を算出することができる。

【0082】

ちなみに、順序変換部２は説明変数ペアのうち一方の説明変数が対象説明変数である場合、説明変数ペアに関する相関係数の絶対値が小さいほど、データ２０３において説明変数ペアのうち他方の説明変数の各値を各サンプル間で並べ替える割合を減少させてデータ２０４を生成してもよい。例えば、説明変数Ｘ_２－Ｘ_３間の相関係数が「Ｒ」で表され、説明変数Ｘ_２が対象説明変数である場合を想定する。重要度算出装置１０は、データ２０３における対象説明変数Ｘ_２の各値と目的変数ｙの各値との対応関係を、データ２０１における説明変数Ｘ_２の各値と目的変数ｙの各値との対応関係に復元する。一方、重要度算出装置１０はデータ２０３における別の説明変数Ｘ_３の各値と目的変数ｙの各値との対応関係を、相関係数Ｒの絶対値｜Ｒ｜が小さいほどより小さい割合でデータ２０１における説明変数Ｘ_３の各値と目的変数ｙの各値との対応関係に復元する。例えば、説明変数Ｘ_２及びＸ_３が無相関（すなわち、｜Ｒ｜＝０）である場合、重要度算出装置１０はデータ２０３における説明変数Ｘ_３の各値を並び替えない。換言すれば、当該場合において重要度算出装置１０は、第１実施形態と同様な動作を行う。一方、説明変数Ｘ_２及びＸ_３について十分に相関が強い場合、重要度算出装置１０はデータ２０３における説明変数Ｘ_３の各値をデータ２０１における元の順序に並べ替える。換言すれば、当該場合において重要度算出装置１０は、第２実施形態と同様な動作を行う。

【0083】

本発明のいくつかの実施形態を説明したが、これらの実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。これら実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、各省略、置き換え、変更を行うことができる。これら実施形態やその変形は、発明の範囲や要旨に含まれると同様に、特許請求の範囲に記載された発明とその均等の範囲に含まれるものである。

【符号の説明】

【0084】

１・・・データ取得部、２・・・順序変換部、３・・・予測部、４・・・予測誤差計算部、５・・・重要度算出部、６・・・相関計算部、１０・・・重要度算出装置、１１・・・処理回路、１２・・・メモリ、１３・・・ディスプレイ、１４・・・入力インタフェース、１５・・・通信インタフェース、２０１，２０３（２０３Ａ，２０３Ｂ），２０４（２０４Ａ，２０４Ｂ，２０４Ｃ，２０４Ｄ），２５０，３００・・・データ、２０２・・・モデル、２０５，２０６・・・予測値、２０７，２０８・・・予測誤差、２０９・・・重要度、２１０・・・グループ指定情報、２１１・・・相関係数、２１２・・・閾値、３１０，４００，４１０，４２０・・・グラフ、４１１，４１２，４２１，４２２・・・枠

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】

【図15】

【図16】

【図17】

【図18】

【図19】

【図20】