(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2024052055
(43)【公開日】2024-04-11
(54)【発明の名称】予測モデル生成装置、予測装置、予測モデル生成方法、予測方法、およびプログラム
(51)【国際特許分類】
G06N 20/00 20190101AFI20240404BHJP
【FI】
G06N20/00
【審査請求】未請求
【請求項の数】11
【出願形態】OL
(21)【出願番号】P 2022158495
(22)【出願日】2022-09-30
(71)【出願人】
【識別番号】000004237
【氏名又は名称】日本電気株式会社
(74)【代理人】
【識別番号】110000338
【氏名又は名称】弁理士法人 HARAKENZO WORLD PATENT & TRADEMARK
(72)【発明者】
【氏名】湯本 英二
(72)【発明者】
【氏名】林谷 昌洋
(72)【発明者】
【氏名】西原 康介
(57)【要約】
【課題】予測フェーズにおける計算負荷を軽減できるとともに解釈性が良い予測モデルを生成する。
【解決手段】予測モデル生成装置(1)は、検証対象の予測モデルの学習に用いた学習データセットとは異なる検証データセットを用いて、検証対象の予測モデルに入力される複数の特徴量の各々について予測結果への寄与度を算出する寄与度算出部(11)と、各特徴量の寄与度に基づいて、複数の特徴量のうち一部を選択する特徴量選択部(12)と、選択された特徴量を入力として予測結果を出力する新たな予測モデルを生成する予測モデル生成部(13)と、を含む。
【選択図】
図1
【特許請求の範囲】
【請求項1】
検証対象の予測モデルの学習に用いた学習データセットとは異なる検証データセットを用いて、前記検証対象の予測モデルに入力される複数の特徴量の各々について予測結果への寄与度を算出する寄与度算出手段と、
各特徴量の寄与度に基づいて、前記複数の特徴量のうち一部を選択する特徴量選択手段と、
前記選択された特徴量を入力として前記予測結果を出力する新たな予測モデルを生成する予測モデル生成手段と、
を含む、予測モデル生成装置。
【請求項2】
前記選択された特徴量の個数が複数であるとき、前記新たな予測モデルを検証対象として、前記寄与度算出手段、前記特徴量選択手段、および前記予測モデル生成手段が再度機能する、
請求項1に記載の予測モデル生成装置。
【請求項3】
前記寄与度算出手段は、各特徴量の寄与度を、前記検証データセットにおいて当該特徴量の値を変更した場合の前記検証対象の予測モデルの評価値と、変更しない場合の前記評価値と、の差に基づいて算出する、
請求項1または2に記載の予測モデル生成装置。
【請求項4】
前記寄与度算出手段は、前記検証データセットに含まれる複数のデータ片の間で当該特徴量の値をランダムに入れ替えることにより、当該特徴量の値を変更する、
請求項3に記載の予測モデル生成装置。
【請求項5】
前記寄与度算出手段は、各特徴量について、複数の前記検証データセットを用いて複数の前記寄与度を算出し、
前記特徴量選択手段は、複数の前記寄与度から得られる統計量が所定条件を満たす特徴量を選択する、
請求項1または2に記載の予測モデル生成装置。
【請求項6】
前記特徴量選択手段は、前記所定条件として、複数の前記寄与度の平均値から標準偏差を引いた値が閾値以上であることを適用する、
請求項5に記載の予測モデル生成装置。
【請求項7】
請求項1または2に記載の予測モデル生成装置によって生成された前記新たな予測モデルを用いる予測装置であって、
予測対象から得られる情報に基づいて、前記選択された特徴量を算出する特徴量算出手段と、
前記算出された特徴量を前記新たな予測モデルに入力することにより、前記予測対象に関する予測結果を出力する予測手段と、
を含む予測装置。
【請求項8】
コンピュータが、
検証対象の予測モデルの学習に用いた学習データセットとは異なる検証データセットを用いて、前記検証対象の予測モデルに入力される複数の特徴量の各々について予測結果への寄与度を算出することと、
各特徴量の寄与度に基づいて、前記複数の特徴量のうち一部を選択することと、
前記選択された特徴量を入力として前記予測結果を出力する新たな予測モデルを生成することと、
を含む、予測モデル生成方法。
【請求項9】
コンピュータが、
請求項1または2に記載の予測モデル生成装置によって生成された前記新たな予測モデルを用いて行う予測方法であって、
予測対象から得られる情報に基づいて、前記選択された特徴量を算出することと、
前記算出された特徴量を前記新たな予測モデルに入力することにより、前記予測対象に関する予測結果を出力することと、
を含む、予測方法。
【請求項10】
コンピュータを、
検証対象の予測モデルの学習に用いた学習データセットとは異なる検証データセットを用いて、前記検証対象の予測モデルに入力される複数の特徴量の各々について予測結果への寄与度を算出する寄与度算出手段と、
各特徴量の寄与度に基づいて、前記複数の特徴量のうち一部を選択する特徴量選択手段と、
前記選択された特徴量を入力として前記予測結果を出力する新たな予測モデルを生成する予測モデル生成手段と、
として機能させる、プログラム。
【請求項11】
コンピュータを、
請求項1または2に記載の予測モデル生成装置によって生成された前記新たな予測モデルを用いて機能させるプログラムであって、
予測対象から得られる情報に基づいて、前記選択された特徴量を算出する特徴量算出手段と、
前記算出された特徴量を前記新たな予測モデルに入力することにより、前記予測対象に関する予測結果を出力する予測手段と、
として機能させる、プログラム。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、予測モデルを生成する技術、および予測モデルを用いて予測を行う技術に関する。
【背景技術】
【0002】
特許文献1には、患者の生体情報から得られた特徴量に基づいて患者の不穏状態を予測するシステムが記載されている。当該システムは、過去に患者が不穏状態であったときの生体情報から得られた特徴量と、非不穏状態であったときの生体情報から得られた特徴量と、を学習データとして学習された予測モデルを用いて、患者の不穏状態を予測している。
【先行技術文献】
【特許文献】
【0003】
【発明の概要】
【発明が解決しようとする課題】
【0004】
特許文献1に記載のシステムにおいては、予測モデルの学習データとして用いる特徴量が多数であることが多い。これは、不穏の要因がよくわかっていないため、要因の可能性がある多数の特徴量を用いて学習データとするためである。このような学習データから生成された予測モデルは、入力される多数の特徴量のうち何れが予測に寄与しているのかがわからず、解釈性が良くないという問題がある。また、このような予測モデルは、予測フェーズにおいて特徴量の計算負荷が高くなるという問題がある。これらの問題は、患者の不穏状態に限らず、要因が明確でない事象を予測する予測モデルにおいても同様に生じる問題である。
【0005】
本発明の一態様は、上記の問題に鑑みてなされたものであり、予測フェーズにおける計算負荷を軽減できるとともに解釈性が良い予測モデルを生成する技術を提供することを目的とする。
【課題を解決するための手段】
【0006】
本発明の一態様に係る予測モデル生成装置は、検証対象の予測モデルの学習に用いた学習データセットとは異なる検証データセットを用いて、前記検証対象の予測モデルに入力される複数の特徴量の各々について予測結果への寄与度を算出する寄与度算出手段と、各特徴量の寄与度に基づいて、前記複数の特徴量のうち一部を選択する特徴量選択手段と、前記選択された特徴量を入力として前記予測結果を出力する新たな予測モデルを生成する予測モデル生成手段と、を含む。
【0007】
本発明の一態様に係る予測装置は、上述した予測モデル生成装置によって生成された前記新たな予測モデルを用いる予測装置であって、予測対象から得られる情報に基づいて、前記選択された特徴量を算出する特徴量算出手段と、前記算出された特徴量を前記新たな予測モデルに入力することにより、前記予測対象に関する予測結果を出力する予測手段と、を含む。
【0008】
本発明の一態様に係る予測モデル生成方法は、コンピュータが、検証対象の予測モデルの学習に用いた学習データセットとは異なる検証データセットを用いて、前記検証対象の予測モデルに入力される複数の特徴量の各々について予測結果への寄与度を算出することと、各特徴量の寄与度に基づいて、前記複数の特徴量のうち一部を選択することと、前記選択された特徴量を入力として前記予測結果を出力する新たな予測モデルを生成することと、を含む。
【0009】
本発明の一態様に係る予測方法は、コンピュータが、上述した予測モデル生成装置によって生成された前記新たな予測モデルを用いて行う予測方法であって、予測対象から得られる情報に基づいて、前記選択された特徴量を算出することと、前記算出された特徴量を前記新たな予測モデルに入力することにより、前記予測対象に関する予測結果を出力することと、を含む。
【0010】
本発明の一態様に係るプログラムは、コンピュータを、検証対象の予測モデルの学習に用いた学習データセットとは異なる検証データセットを用いて、前記検証対象の予測モデルに入力される複数の特徴量の各々について予測結果への寄与度を算出する寄与度算出手段と、各特徴量の寄与度に基づいて、前記複数の特徴量のうち一部を選択する特徴量選択手段と、前記選択された特徴量を入力として前記予測結果を出力する新たな予測モデルを生成する予測モデル生成手段と、として機能させる。
【0011】
本発明の一態様に係るプログラムは、コンピュータを、上述した予測モデル生成装置によって生成された前記新たな予測モデルを用いて機能させるプログラムであって、予測対象から得られる情報に基づいて、前記選択された特徴量を算出する特徴量算出手段と、前記算出された特徴量を前記新たな予測モデルに入力することにより、前記予測対象に関する予測結果を出力する予測手段と、として機能させる。
【発明の効果】
【0012】
本発明の一態様によれば、予測フェーズにおける計算負荷を軽減できるとともに解釈性が良い予測モデルを生成することができる。
【図面の簡単な説明】
【0013】
【
図1】本発明の例示的実施形態1に係る予測モデル生成装置の構成を示すブロック図である。
【
図2】本発明の例示的実施形態1に係る予測モデル生成方法の流れを示すフロー図である。
【
図3】本発明の例示的実施形態2に係る予測モデル生成装置の機能的な構成を示すブロック図である。
【
図4】本発明の例示的実施形態2に係る予測モデル生成方法の流れを示すフロー図である。
【
図5】本発明の例示的実施形態2に係る予測モデル生成方法の各ステップを説明する模式図である。
【
図6】本発明の例示的実施形態3に係る予測装置の構成を示すブロック図である。
【
図7】本発明の例示的実施形態3に係る予測方法の流れを示すフロー図である。
【
図8】本発明の各例示的実施形態に係る各装置のハードウェア構成例を示すブロック図である。
【発明を実施するための形態】
【0014】
以下の説明において、「学習データセット」とは、予測モデルの学習に用いるデータセットであり、訓練データセットと呼称されることもある。また、「検証データセット」とは、予測モデルの性能を評価するために用いるデータセットであり、テストデータセットと呼称されることもある。
【0015】
〔例示的実施形態1〕
本発明の第1の例示的実施形態について、図面を参照して詳細に説明する。本例示的実施形態は、後述する例示的実施形態の基本となる形態である。
【0016】
(予測モデル生成装置1の構成)
本例示的実施形態に係る予測モデル生成装置1の構成について、
図1を参照して説明する。
図1は、予測モデル生成装置1の構成を示すブロック図である。
図1に示すように、予測モデル生成装置1は、寄与度算出部11と、特徴量選択部12と、予測モデル生成部13と、を含む。寄与度算出部11は、検証対象の予測モデルの学習に用いた学習データセットとは異なる検証データセットを用いて、当該検証対象の予測モデルに入力される複数の特徴量の各々について予測結果への寄与度を算出する。特徴量選択部12は、各特徴量の寄与度に基づいて、複数の特徴量のうち一部を選択する。予測モデル生成部13は、選択された特徴量を入力として予測結果を出力する新たな予測モデルを生成する。
【0017】
(プログラムによる実現例)
予測モデル生成装置1をコンピュータにより構成する場合、コンピュータのメモリには、本例示的実施形態に係る以下のプログラムが記憶される。当該プログラムは、コンピュータを、検証対象の予測モデルの学習に用いた学習データセットとは異なる検証データセットを用いて、当該検証対象の予測モデルに入力される複数の特徴量の各々について予測結果への寄与度を算出する寄与度算出部11と、各特徴量の寄与度に基づいて、複数の特徴量のうち一部を選択する特徴量選択部12と、選択された特徴量を入力として予測結果を出力する新たな予測モデルを生成する予測モデル生成部13と、として機能させる。
【0018】
(予測モデル生成方法S1の流れ)
以上のように構成された予測モデル生成装置1は、本例示的実施形態に係る予測モデル生成方法S1を実行する。予測モデル生成方法S1の流れについて、
図2を参照して説明する。
図2は、予測モデル生成方法S1の流れを示すフロー図である。
図2に示すように、予測モデル生成方法S1は、寄与度算出ステップS11、特徴量選択ステップS12、および予測モデル生成ステップS13を含む。寄与度算出ステップS11において、寄与度算出部11は、検証対象の予測モデルの学習に用いた学習データセットとは異なる検証データセットを用いて、当該検証対象の予測モデルに入力される複数の特徴量の各々について予測結果への寄与度を算出する。特徴量選択ステップS12において、特徴量選択部12は、各特徴量の寄与度に基づいて、複数の特徴量のうち一部を選択する。予測モデル生成ステップS13において、予測モデル生成部13は、選択された特徴量を入力として予測結果を出力する新たな予測モデルを生成する。
【0019】
(本例示的実施形態の効果)
以上のように、本例示的実施形態に係る予測モデル生成装置1、プログラム、および予測モデル生成方法S1においては、検証対象の予測モデルの学習に用いた学習データセットとは異なる検証データセットを用いて、当該検証対象の予測モデルに入力される複数の特徴量の各々について予測結果への寄与度を算出し、各特徴量の寄与度に基づいて、複数の特徴量のうち一部を選択し、選択された特徴量を入力として予測結果を出力する新たな予測モデルを生成する、との構成が採用されている。上記構成によれば、予測フェーズにおける計算負荷を軽減できるとともに解釈性が良い予測モデルを生成することができる、との効果が得られる。
【0020】
〔例示的実施形態2〕
本発明の第2の例示的実施形態について、図面を参照して詳細に説明する。なお、例示的実施形態1にて説明した構成要素と同じ機能を有する構成要素については、同じ符号を付し、その説明を適宜省略する。
【0021】
(予測モデル生成装置10の機能的な構成)
本発明の第2の例示的実施形態に係る予測モデル生成装置10の構成について、
図3を参照して説明する。
図3は、予測モデル生成装置10の機能的な構成を示すブロック図である。
図3に示すように、予測モデル生成装置10は、制御部110と、記憶部120と、を含む。制御部110は、予測モデル生成装置10の各部を統括して制御する。制御部110は、寄与度算出部11と、特徴量選択部12と、予測モデル生成部13と、データ生成部14と、判定部15と、選択結果出力部16と、を含む。記憶部120は、制御部110が使用する各種のデータを記憶する。例えば、記憶部120は、データセットDSと、評価関数Fと、閾値thと、を記憶する。
【0022】
データセットDSは、複数のデータ片、および各データ片に関連付けられた予測ラベルを含んでいる。データ片は、N個の特徴量を含んでいる(Nは2以上の自然数)。なお、データセットDSに含まれる特徴量の個数Nは、後述する特徴量削減処理により変化し得る。また、データセットDSは、交差検証のためにM個に分割される(Mは2以上の自然数)。換言すると、データセットDSは、M個のデータセットDS-i(i=1、2、…M)からなる。
【0023】
評価関数Fは、予測モデルの性能を評価するための評価値を算出する関数である。評価関数Fとしては、例えば、公知の評価関数を適用してもよい。例えば、評価関数Fとしては、正解率(accuracy)、適合率(precision)、負の乖離度(log loss)を算出する関数が挙げられるが、これに限られない。なお、評価関数Fは、予め記憶部120に記憶されていてもよいし、入力装置(図示せず)から入力されてもよい。
【0024】
閾値thは、特徴量を選択するか否かを決定するために用いられる寄与度の値である。閾値thは、予め記憶部120に記憶されていてもよいし、入力装置(図示せず)から入力されてもよい。
【0025】
寄与度算出部11は、検証対象の予測モデルML-iの学習に用いた学習データセットとは異なる検証データセットを用いて、N個の特徴量の各々について予測結果への寄与度を算出する。予測モデルML-iは、N個の特徴量を入力として予測結果を出力するモデルである。なお、予測モデルML-iは、後述する予測モデル生成部13により学習データセットを用いて生成される。予測モデルML-iの学習に用いられる学習データセットは、データセットDS-1~DS-Mのうち、データセットDS-i以外の全てを含む。予測モデルML-iの検証に用いられる検証データセットは、データセットDS-iである。つまり、寄与度算出部11および予測モデル生成部13は、データセットDSをM個に分割して交差検証を行う。
【0026】
このように、寄与度算出部11は、1つのデータセットDS-iにつきN個の各特徴量の寄与度を算出することを、M個のデータセットDS-iについてそれぞれ行う。これにより、N個の各特徴量について、M個ずつの寄与度が算出される。換言すると、寄与度算出部11は、各特徴量について、M個の検証データセット(データセットDS-1~DS-M)を用いてM個の寄与度を算出する。寄与度の算出手法の具体例については、後述する「予測モデル生成方法S10の流れ」において説明する。
【0027】
特徴量選択部12は、各特徴量の寄与度に基づいて、N個の特徴量のうち一部の特徴量を選択する。具体的には、特徴量選択部12は、M個の寄与度から得られる統計量が所定条件を満たす特徴量を選択する。選択される特徴量の個数は、1つであってもよいし、複数であってもよい。また、所定条件を満たす特徴量が存在しなければ、1つも選択されない。所定条件の具体例については、後述する「予測モデル生成方法S10の流れ」において説明する。
【0028】
予測モデル生成部13は、N個の特徴量を入力として予測結果を出力する予測モデルML-iを生成する。予測モデルML-iの学習に用いられるアルゴリズムの一例としては、例えば、ランダムフォレスト、勾配木、ニューラルネットワーク、サポートベクタマシン等が挙げられるが、これらに限られない。ここで、データセットDSの初期状態における特徴量の個数NをN0と記載し、後述するようにk回目の特徴量削減処理が行われた後の特徴量の個数NをNkと記載する。この場合、Nk個(k=0、1、…)の特徴量を入力とする予測モデルML-iは「検証対象の予測モデル」の一例であり、N(k+1)個の特徴量を入力とする予測モデルML-iは「新たな予測モデル」の一例である。また、予測モデル生成部13は、特徴量削減処理がn回目で終了したとすると、Nn個の特徴量を入力とする最終的な予測モデルMLを生成する。最終的な予測モデルMLも「新たな予測モデル」の一例である。なお、Nkを特に区別しない場合には、単にNと記載する。
【0029】
データ生成部14は、データセットDSをM個のデータセットDS-iに分割する。また、データ生成部14は、データセットトDSに含まれる各データ片から、選択した特徴量以外の特徴量を削除する特徴量削減処理を行ってデータセットDSを更新する。判定部15は、特徴量選択部12による選択結果が終了条件を満たすか否かを判定する。選択結果出力部16は、特徴量選択部12による選択結果を出力装置(図示せず)等に出力する。
【0030】
(予測モデル生成方法S10の流れ)
以上のように構成された予測モデル生成装置10は、本例示的実施形態に係る予測モデル生成方法S10を実行する。予測モデル生成方法S10の流れについて、
図4~
図5を参照して説明する。
図4は、予測モデル生成方法S10の流れを示すフロー図である。
図5は、予測モデル生成方法S10の各ステップを説明する模式図である。
図4に示すように、予測モデル生成方法S10は、ステップS101~S113を含む。
【0031】
ステップS101において、データ生成部14は、データセットDSをM個に分割してそれぞれをデータセットDS-1、DS-2、…DS-Mとする。また、特徴量削減処理を行った回数kをゼロに設定する。
【0032】
図5に示すように、データセットDS-1は、m個のデータ片x-1-1、x-1-2、…x-1-mと、各データ片に関連付けられた予測ラベルy-1-1、y-1-2、…y-1-mと、を含んでいる(mは2以上の整数)。各データ片は、それぞれNk個の特徴量feature-j(j=1、2、…Nk)を含む。
図5には、データセットDS-1のみ詳細を図示しているが、その他のデータセットDS-iについてもデータセットDS-1と同様に説明される。つまり、データセットDS-iは、Nk個の特徴量feature-jを含むm個のデータ片x-i-1、x-i-2、…x-i-mと、各データ片に関連付けられた予測ラベルy-i-1、y-i-2、…y-i-mと、を含んでいる。なお、ここでは、各データセットDS-iに含まれるデータ片の個数が等しい(m個ずつである)例を示している。ただし、少なくとも2つのデータセットDS-i1、DS-i2(i1、i2=1、2、…M、i1≠i2)に含まれるデータ片の個数が互いに異なっていてもよい。
【0033】
次に、制御部110は、分割したM個のデータセットDS-iのそれぞれについて、
図4のステップS102~S105を繰り返す。ステップS102において、予測モデル生成部13は、データセットDS-i以外を用いて予測モデルML-iを学習させる。ここで、例えば、i=1のとき、「データセットDS-1以外」とは、データセットDS-2、DS-3、…DS-Mのデータセットである。また、i=2のとき、「データセットDS-2以外」とは、データセットDS-1、DS-3、…DS-Mのデータセットである。データセットDSにはNk個の特徴量feature-jが含まれているので、本ステップで生成される予測モデルML-iは、Nk個の特徴量feature-jを入力として予測結果を出力するモデルである。
【0034】
ステップS103において、寄与度算出部11は、データセットDS-iを用いて、予測モデルML-iの評価値を評価関数Fにより算出する。詳細には、寄与度算出部11は、データセットDS-iに含まれるm個のデータ片を予測モデルML-iに入力して得られるm個の予測結果に基づいて、評価関数Fにより評価値f1を算出する。
【0035】
次に、制御部110は、Nk個の特徴量feature-jのそれぞれについて、ステップS104~S105を繰り返す。ステップS104において、寄与度算出部11は、データセットDS-iにおいて、各データ片に含まれるfeature-jの値を変更する。例えば、寄与度算出部11は、データセットDS-iに含まれるm個のデータ片の間で特徴量feature-jの値をランダムに入れ替えることにより、当該特徴量feature-jの値を変更してもよい。例えば、i=1、j=1の場合、
図5に破線の矩形で示すように、寄与度算出部11は、データセットDS-1において特徴量feature-1の値を互いに入れ替える。ただし、特徴量feature-jの値を変更する手法は、ランダムな入れ替えに限らず、その他の任意の手法であってもよい。
【0036】
続いて、寄与度算出部11は、特徴量feature-jの値を変更したデータセットDS-iを用いて、予測モデルML-iの評価値f2を評価関数Fにより算出する。評価値f2の算出の詳細については、ステップS103における評価値f1の算出の詳細について上述した通りである。
【0037】
ステップS105において、寄与度算出部11は、特徴量feature-jの寄与度importance-j(DS-i)を、評価値f1およびf2の差に基づいて算出する。評価値f1は、当該特徴量feature-jの値を変更しない場合の予測モデルML-iの評価値であり、ステップS103において算出された値である。評価値f2は、当該特徴量feature-jの値を変更した場合の予測モデルML-iの評価値であり、ステップS104において算出された値である。例えば、寄与度算出部11は、評価値f1およびf2の差をそのまま寄与度としてもよいし、評価値の差を正規化した値を寄与度としてもよい。
図5に示す寄与度importance-1(DS-1)は、feature-1を入れ替えたデータセットDS-1を用いて算出された評価値f2と、入れ替え前のデータセットDS-1を用いて算出された評価値f1と、の差から求めた寄与度を示す。
【0038】
該当するデータセットDS-iを用いてステップS104~S105の処理をNk個の特徴量feature-jの全てについて終了すると、N個のimportance-1(DS-i)、importance-2(DS-i)、…importance-Nk(DS-i)が算出される。制御部110は、次のデータセットDS-iを用いてステップS102~S105の処理を繰り返す。ステップS102~S105の処理をM個のデータセットDS-iの全てについて終了すると、
図5に示すように、特徴量feature-1について、M個の寄与度importance-1(DS-1)、importance-1(DS-2)、…importance-1(DS-M)が算出される。同様に、他の特徴量feature-jについても、M個の寄与度が算出される。
【0039】
次に、制御部110は、Nk個の特徴量feature-jについて、
図4のステップS106~S108を繰り返す。ステップS106において、特徴量選択部12は、該当する特徴量feature-jについて、M個の寄与度から平均値μjおよび標準偏差σjを算出する。例えば、
図5に示すように、特徴量feature-1について、平均値μ1および標準偏差σ1が算出される。
【0040】
図4のステップS107において、特徴量選択部12は、平均値μjから標準偏差σjを引いた値が閾値th以上であるか否かを判定する。ステップS107においてYesと判定された場合、ステップS108が実行される。ステップS108において、特徴量選択部12は、当該特徴量feature-jを選択する。
図5では、選択した当該特徴量feature-jを、特徴量feature-j1と記載している。例えば、特徴量選択部12は、当該特徴量feature-j1を示す情報を、選択結果として記憶部120に記憶する。そして、特徴量選択部12は、次の特徴量feature-jについてステップS106からの処理を繰り返す。ステップS107においてNoと判定された場合、ステップS108は実行されずに、次の特徴量feature-jについてステップS106からの処理が繰り返される。すなわち、この場合、当該特徴量feature-jは選択されない。
図5では、選択されなかった当該特徴量feature-jを、特徴量feature-j2と記載している。
【0041】
図4のステップS106~S108の繰り返し処理をNk個の特徴量feature-jの全てについて終了すると、記憶部120には、選択結果が記憶されている。選択結果は、選択された1または複数の特徴量feature-j1を示す情報を含む場合もあるが、1つも含まない場合もある。
【0042】
ステップS109において、判定部15は、選択結果が終了条件を満たすか否かを判定する。終了条件は、例えば、選択結果に特徴量feature-j1が1つも含まれないとの条件を含む。また、終了条件は、例えば、選択結果に含まれる特徴量feature-j1がNk個である(換言すると、選択されなかった特徴量feature-j2が1つもない)、との条件を含む。
【0043】
ステップS109においてYesと判定された場合については後述する。ステップS109においてNoと判定された場合、ステップS110が実行される。ステップS110において、データ生成部14は、データセットDSにおいて、選択した特徴量feature-j1以外を削除する。例えば、
図5に示すように、データ生成部14は、データセットDS-1、DS-2、…DS-Mのそれぞれにおいて、選択されなかった特徴量feature-j2を削除する。これにより、データセットDS-1、DS-2、…DS-Mは、選択された特徴量feature-j1のみを含むように更新される。
【0044】
ステップS111において、制御部110は、特徴量削減処理を行った回数kに1を加算する。つまり、上述したステップS102~S108が実行されることにより、特徴量削減処理が1回実行されたことになる。そして、制御部110は、特徴量の個数Nkとして、選択した特徴量feature-j1の個数を設定し、ステップS102からの処理を繰り返す。ここで、次のステップS102では、(k-1)回目の特徴量削減処理が行われた後のNk個の特徴量を入力とする予測モデルML-iが生成される。当該予測モデルML-iは、「新たな予測モデル」の一例である。また、続いてステップS103以降が実行されることにより、当該新たな予測モデルML-iを検証対象として、寄与度算出部11、特徴量選択部12、および予測モデル生成部13が再度機能する。
【0045】
ステップS109においてYesと判定された場合、ステップS112が実行される。ステップS112において、予測モデル生成部13は、最終的な予測モデルMLを生成する。例えば、予測モデル生成部13は、直近のステップS102で生成された予測モデルML-1~ML-Mのうち最も評価値f1が高い予測モデルML-iを、最終的な予測モデルMLとしてもよい。
【0046】
また、予測モデル生成部13は、直近のステップS102で生成された予測モデルML-1~ML-Mの一部または全部を用いて得られる複数の出力に基づいて1つの予測結果を出力する構成を、最終的な予測モデルMLとしてもよい。換言すると、予測モデル生成部13は、予測モデルML-1~ML-Mの一部または全部をアンサンブルしたものを、最終的な予測モデルMLとしてもよい。例えば、予測モデルML-1~ML-Mが回帰モデルであれば、最終的な予測モデルMLは、予測モデルML-1~ML-Mそれぞれの出力の平均を出力するモデルであってもよい。また、予測モデルML-1~ML-Mが分類モデルであれば、最終的な予測モデルMLは、予測モデルML-1~ML-Mそれぞれの出力である予測確率の平均に基づいて分類結果を出力するモデルであってもよい。
【0047】
また、予測モデル生成部13は、データセットDSとは異なる他のデータセットであって、選択された特徴量feature-j1のみを含む他のデータセットを用いて、新たに最終的な予測モデルMLを生成してもよい。
【0048】
ステップS113において、選択結果出力部16は、選択結果を出力装置(図示せず)に出力する。例えば、選択結果出力部16は、最終的に選択した特徴量feature-j1を示す情報を出力してもよい。また、例えば、選択結果出力部16は、選択しなかったすべての特徴量feature-j2を示す情報を出力してもよい。なお、出力する「特徴量を示す情報」としては、例えば、特徴量の名称が挙げられるが、これに限られない。
【0049】
(本例示的実施形態の効果)
本例示的実施形態では、選択された特徴量の個数が複数であるとき、選択された特徴量以外を削除したデータセットDSを用いて生成した新たな予測モデルを検証対象として、寄与度算出部11、特徴量選択部12、および予測モデル生成部13が再度機能する、との構成が採用されている。上記構成によれば、予測結果へ寄与している可能性がより確実な特徴量を絞り込むことができる。
【0050】
また、本例示的実施形態では、各特徴量の寄与度として、検証に用いるデータセットDS-iにおいて当該特徴量の値を変更した場合の検証対象の予測モデルの評価値f2と、変更しない場合の評価値f1と、の差に基づいて算出する、との構成が採用されている。上記構成によれば、当該特徴量を変更することの影響に応じて精度よく寄与度を算出することができる。
【0051】
また、本例示的実施形態では、検証に用いるデータセットDS-iに含まれる複数のデータ片の間で当該特徴量の値をランダムに入れ替えることにより、当該特徴量の値を変更する、との構成が採用されている。上記構成によれば、寄与度を算出するための特徴量の変更処理を容易に実現することができる。
【0052】
また、本例示的実施形態では、各特徴量について、複数のデータセットDS-iを用いて複数の寄与度を算出し、複数の寄与度から得られる統計量が所定条件を満たす特徴量を選択する、との構成が採用されている。上記構成によれば、複数の寄与度に基づきより精度よく特徴量を選択することができる。
【0053】
また、本例示的実施形態では、所定条件として、複数の寄与度の平均値から標準偏差を引いた値が閾値以上であることを適用する、との構成が採用されている。上記構成によれば、平均値を閾値と比較する場合等と比較して、実際には予測結果にあまり寄与していない特徴量を削除できていない可能性を低減できる。また、平均値から標準偏差の2倍を引いた値を閾値と比較する場合と比較して、実際には予測結果に寄与している特徴量を削除してしまう可能性を低減できる。すなわち、予測結果に寄与している特徴量を精度よく絞り込むことができる。
【0054】
(本例示的実施形態の変形例)
上述した例示的実施形態2では、データセットDSを用いて交差検証を行うものとして説明した。これに限らず、予測モデル生成装置10は、データセットDSとは異なる学習用のデータセットを用いて学習された予測モデルMLに対して、データセットDS1~DS-Mを用いて複数の寄与度を算出してもよい。この場合、データ生成部14は、当該学習用のデータセットおよびデータセットDSにおいて特徴量削減処理を行った上で、次の繰り返し処理を行ってもよい。
【0055】
また、上述した例示的実施形態2では、統計量として、平均値から標準偏差を引いた値を用いるものとして説明したが、統計量はこれに限らず、その他の統計量であってもよい。また、所定条件として、平均値から標準偏差を引いた値が閾値thを超えるとの条件を用いるものとして説明したが、所定条件はこれに限らず、例えば、統計量の大きいものから順に所定順位までとの条件であってもよいし、その他の条件であってもよい。
【0056】
〔例示的実施形態3〕
本発明の第3の例示的実施形態に係る予測装置20について、図面を参照して詳細に説明する。予測装置20は、予測モデル生成装置1、10によって生成された予測モデルMLを用いて予測を行う装置である。ここで、前述した特許文献1に記載されたシステムでは、予測フェーズにおいて、予測モデルに入力するための多数の特徴量を計算する負荷がかかる、という課題がある。本例示的実施形態に係る予測装置20は、上述した予測モデルMLを用いることにより、このような課題を解決し、予測フェーズにおいて特徴量の計算負荷を軽減することができる。なお、例示的実施形態1~2にて説明した構成要素と同じ機能を有する構成要素については、同じ符号を付記し、その説明を繰り返さない。
【0057】
(予測装置20の構成)
予測装置20の構成について、
図6を参照して説明する。
図6は、予測装置20の構成を示すブロック図である。
図6に示すように、予測装置20は、センサ91および出力装置92と通信可能に接続される。センサ91は、予測対象からセンサ情報を取得する。出力装置92は、予測装置20から出力された情報を出力する。予測装置20は、例えば、センサ91からリアルタイムに入力されるセンサ情報に基づいて、予測対象に関する予測結果をリアルタイムに出力装置92に出力する。
【0058】
図6に示すように、予測装置20は、制御部210と、記憶部220と、を含む。制御部210は、予測装置20の各部を統括して制御する。また、制御部210は、特徴量算出部21と、予測部22と、を含む。記憶部220は、制御部210が使用する各種のデータを記憶する。例えば、記憶部220は、予測モデルMLを記憶する。予測モデルMLは、例示的実施形態1に係る予測モデル生成装置1、または、例示的実施形態2に係る予測モデル生成装置10によって生成された予測モデルである。
【0059】
特徴量算出部21は、予測対象から得られる情報に基づいて、選択された特徴量を算出する。予測対象から得られる情報とは、一例として、センサ91から得られるセンサ情報である。予測部22は、算出された特徴量を予測モデルMLに入力することにより、予測対象に関する予測結果を出力する。
【0060】
(プログラムによる実現例)
予測装置20をコンピュータにより構成する場合、コンピュータのメモリには、本例示的実施形態に係る以下のプログラムが記憶される。当該プログラムは、コンピュータを、予測モデル生成装置1、10により生成された予測モデルMLを用いて機能させるプログラムであって、予測対象から得られる情報に基づいて、選択された特徴量を算出する特徴量算出部21と、算出された特徴量を当該予測モデルMLに入力することにより、予測対象に関する予測結果を出力する予測部22と、として機能させる。
【0061】
(予測方法S20の流れ)
以上のように構成された予測装置20は、本例示的実施形態に係る予測方法S20を実行する。予測方法S20の流れについて、
図7を参照して説明する。
図7は、予測方法S20の流れを示すフロー図である。
図7に示すように、予測方法S20は、ステップS201~S203を含む。
【0062】
ステップS201において、特徴量算出部21は、予測対象から得られる情報に基づいて、選択された特徴量を算出する。予測対象から得られる情報としては、センサ91から入力されるセンサ情報が参照される。選択された特徴量とは、予測モデルMLに入力するための特徴量であって、例示的実施形態1に係る予測モデル生成装置1または例示的実施形態2に係る予測モデル生成装置10によって選択された特徴量である。
【0063】
ステップS202において、予測部22は、算出された特徴量を予測モデルMLに入力することにより、予測モデルMLから出力される予測結果を得る。ステップS203において、予測部22は、当該予測結果を出力装置92に出力する。例えば、予測部22は、予測結果を、ディスプレイ(出力装置92の一例)に表示してもよい。なお、出力装置92は、ディスプレイに限らず、スピーカ、プリンタ、LED(light emitting diode)ランプ等であってもよい。
【0064】
(本例示的実施形態の効果)
本例示的実施形態では、予測対象から得られるセンサ情報に基づいて、予測モデル生成装置1、10において選択された特徴量を算出し、算出された特徴量を、予測モデル生成装置1、10が生成した予測モデルMLに入力することにより、予測対象に関する予測結果を出力する、との構成が採用されている。上記構成によれば、センサ情報から算出すべき特徴量が絞り込まれているので、特徴量を計算する負荷を軽減することができる。また、予測モデルMLが予測結果を計算する負荷も軽減される。したがって、センサ情報を取得してから特徴量を予測モデルMLに入力するまでの時間を短縮することができるとともに、最終的に予測モデルMLから予測結果を出力するまでの時間を短縮することができる。その結果、予測対象に関して予測結果が得られるリアルタイム性が向上する。
【0065】
〔例示的実施形態2および3の適用例〕
例示的実施形態2に係る予測モデル生成装置10および例示的実施形態3に係る予測装置20を用いて、患者(予測対象)について不穏状態(予測したい事象)を予測する適応例について説明する。まず、予測モデル生成装置10は、データセットDSを用いて、患者の不穏状態を予測する最終的な予測モデルMLを生成する。データセットDSとしては、患者の心拍および加速度に係る多数の特徴量と、不穏状態であるか否かを示す不穏ラベル(予測ラベルの一例)と、を関連付けた複数のデータ片を含むデータセットが作成されている。心拍および加速度に係る特徴量は、患者に装着された心拍センサおよび加速度センサが計測したセンサ情報から算出されたものである。本適用例では、患者の不穏状態については要因がよくわかっていないため、要因となり得る特徴量として500程度の特徴量を用いている。また、評価関数Fとして負のlog lossを適用している。また、閾値thとしてゼロを適用している。
【0066】
予測モデル生成装置10が、このようなデータセットDSを用いて予測モデル生成方法S10を実行することにより、最終的に選択された特徴量の個数は、15個程度となった。例えば、当初のデータセットDSに含まれていた特徴量の1つである「心拍間隔の16window平均」は、ステップS107でNoと判断され、選択されなかった。つまり、当該特徴量は、患者の不穏状態を予測するための寄与度が低いと判定されて削減された。これにより、ステップS112において、最終的に選択された15程度の特徴量を入力として不穏状態の予測結果を出力する予測モデルMLが生成された。このような予測モデルMLは、入力される15程度の特徴量が不穏状態に寄与すると解釈できるので、解釈性に優れている。
【0067】
予測装置20は、当該予測モデルMLを用いて患者の不穏を予測する。センサ91(心拍センサおよび加速度センサ)は、予測対象である患者に装着される。出力装置92は、例えばディスプレイである。予測装置20は、患者に装着したセンサ91からセンサ情報が入力されると、センサ情報から15程度の特徴量を算出し、算出した特徴量を予測モデルMLに入力して得られる不穏状態の予測結果を出力する。本適用例は、センサ情報が入力されてから不穏状態の予測結果を出力するまでの時間を、特徴量を削減していない場合(500程度の特徴量を算出する場合)と比べて大幅に短縮することができる。
【0068】
〔ソフトウェアによる実現例〕
予測モデル生成装置1、10、および予測装置20(以下、各装置と記載)の一部又は全部の機能は、集積回路(ICチップ)等のハードウェアによって実現してもよいし、ソフトウェアによって実現してもよい。
【0069】
後者の場合、各装置は、例えば、各機能を実現するソフトウェアであるプログラムの命令を実行するコンピュータによって実現される。このようなコンピュータの一例(以下、コンピュータCと記載する)を
図8に示す。コンピュータCは、少なくとも1つのプロセッサC1と、少なくとも1つのメモリC2と、を備えている。メモリC2には、コンピュータCを各装置として動作させるためのプログラムPが記録されている。コンピュータCにおいて、プロセッサC1は、プログラムPをメモリC2から読み取って実行することにより、各装置の各機能が実現される。
【0070】
プロセッサC1としては、例えば、CPU(Central Processing Unit)、GPU(Graphic Processing Unit)、DSP(Digital Signal Processor)、MPU(Micro Processing Unit)、FPU(Floating point number Processing Unit)、PPU(Physics Processing Unit)、TPU(Tensor Processing Unit)、量子プロセッサ、マイクロコントローラ、又は、これらの組み合わせなどを用いることができる。メモリC2としては、例えば、フラッシュメモリ、HDD(Hard Disk Drive)、SSD(Solid State Drive)、又は、これらの組み合わせなどを用いることができる。
【0071】
なお、コンピュータCは、プログラムPを実行時に展開したり、各種データを一時的に記憶したりするためのRAM(Random Access Memory)を更に備えていてもよい。また、コンピュータCは、他の装置との間でデータを送受信するための通信インタフェースを更に備えていてもよい。また、コンピュータCは、キーボードやマウス、ディスプレイやプリンタなどの入出力機器を接続するための入出力インタフェースを更に備えていてもよい。
【0072】
また、プログラムPは、コンピュータCが読み取り可能な、一時的でない有形の記録媒体Mに記録することができる。このような記録媒体Mとしては、例えば、テープ、ディスク、カード、半導体メモリ、又はプログラマブルな論理回路などを用いることができる。コンピュータCは、このような記録媒体Mを介してプログラムPを取得することができる。また、プログラムPは、伝送媒体を介して伝送することができる。このような伝送媒体としては、例えば、通信ネットワーク、又は放送波などを用いることができる。コンピュータCは、このような伝送媒体を介してプログラムPを取得することもできる。
【0073】
〔付記事項1〕
本発明は、上述した実施形態に限定されるものでなく、請求項に示した範囲で種々の変更が可能である。例えば、上述した実施形態に開示された技術的手段を適宜組み合わせて得られる実施形態についても、本発明の技術的範囲に含まれる。
【0074】
〔付記事項2〕
上述した実施形態の一部又は全部は、以下のようにも記載され得る。ただし、本発明は、以下の記載する態様に限定されるものではない。
【0075】
(付記1)
検証対象の予測モデルの学習に用いた学習データセットとは異なる検証データセットを用いて、前記検証対象の予測モデルに入力される複数の特徴量の各々について予測結果への寄与度を算出する寄与度算出手段と、
各特徴量の寄与度に基づいて、前記複数の特徴量のうち一部を選択する特徴量選択手段と、
前記選択された特徴量を入力として前記予測結果を出力する新たな予測モデルを生成する予測モデル生成手段と、
を含む、予測モデル生成装置。
【0076】
(付記2)
前記選択された特徴量の個数が複数であるとき、前記新たな予測モデルを検証対象として、前記寄与度算出手段、前記特徴量選択手段、および前記予測モデル生成手段が再度機能する、
付記1に記載の予測モデル生成装置。
【0077】
(付記3)
前記寄与度算出手段は、各特徴量の寄与度を、前記検証データセットにおいて当該特徴量の値を変更した場合の前記検証対象の予測モデルの評価値と、変更しない場合の前記評価値と、の差に基づいて算出する、
付記1または2に記載の予測モデル生成装置。
【0078】
(付記4)
前記寄与度算出手段は、前記検証データセットに含まれる複数のデータ片の間で当該特徴量の値をランダムに入れ替えることにより、当該特徴量の値を変更する、
付記3に記載の予測モデル生成装置。
【0079】
(付記5)
前記寄与度算出手段は、各特徴量について、複数の前記検証データセットを用いて複数の前記寄与度を算出し、
前記特徴量選択手段は、複数の前記寄与度から得られる統計量が所定条件を満たす特徴量を選択する、
付記1から3のいずれか1つに記載の予測モデル生成装置
(付記6)
前記特徴量選択手段は、前記所定条件として、複数の前記寄与度の平均値から標準偏差を引いた値が閾値以上であることを適用する、
付記5に記載の予測モデル生成装置。
【0080】
(付記7)
付記1から6のいずれか1つに記載の予測モデル生成装置によって生成された前記新たな予測モデルを用いる予測装置であって、
予測対象から得られる情報に基づいて、前記選択された特徴量を算出する特徴量算出手段と、
前記算出された特徴量を前記新たな予測モデルに入力することにより、前記予測対象に関する予測結果を出力する予測手段と、
を含む予測装置。
【0081】
(付記8)
コンピュータが、
検証対象の予測モデルの学習に用いた学習データセットとは異なる検証データセットを用いて、前記検証対象の予測モデルに入力される複数の特徴量の各々について予測結果への寄与度を算出することと、
各特徴量の寄与度に基づいて、前記複数の特徴量のうち一部を選択することと、
前記選択された特徴量を入力として前記予測結果を出力する新たな予測モデルを生成することと、
を含む、予測モデル生成方法。
【0082】
(付記9)
コンピュータが、
付記1または2に記載の予測モデル生成装置によって生成された前記新たな予測モデルを用いて行う予測方法であって、
予測対象から得られる情報に基づいて、前記選択された特徴量を算出することと、
前記算出された特徴量を前記新たな予測モデルに入力することにより、前記予測対象に関する予測結果を出力することと、
を含む、予測方法。
【0083】
(付記10)
コンピュータを、
検証対象の予測モデルの学習に用いた学習データセットとは異なる検証データセットを用いて、前記検証対象の予測モデルに入力される複数の特徴量の各々について予測結果への寄与度を算出する寄与度算出手段と、
各特徴量の寄与度に基づいて、前記複数の特徴量のうち一部を選択する特徴量選択手段と、
前記選択された特徴量を入力として前記予測結果を出力する新たな予測モデルを生成する予測モデル生成手段と、
として機能させる、プログラム。
【0084】
(付記11)
コンピュータを、
付記1または2に記載の予測モデル生成装置によって生成された前記新たな予測モデルを用いて機能させるプログラムであって、
予測対象から得られる情報に基づいて、前記選択された特徴量を算出する特徴量算出手段と、
前記算出された特徴量を前記新たな予測モデルに入力することにより、前記予測対象に関する予測結果を出力する予測手段と、
として機能させる、プログラム。
【0085】
(付記12)
少なくとも1つのプロセッサを備え、前記プロセッサは、検証対象の予測モデルの学習に用いた学習データセットとは異なる検証データセットを用いて、前記検証対象の予測モデルに入力される複数の特徴量の各々について予測結果への寄与度を算出する寄与度算出処理と、各特徴量の寄与度に基づいて、前記複数の特徴量のうち一部を選択する特徴量選択処理と、前記選択された特徴量を入力として前記予測結果を出力する新たな予測モデルを生成する予測モデル生成処理と、を実行する予測モデル生成装置。
【0086】
なお、この予測モデル生成装置は、更にメモリを備えていてもよく、このメモリには、前記寄与度算出処理と、前記特徴量選択処理と、前記予測モデル生成処理と、を前記プロセッサに実行させるためのプログラムが記憶されていてもよい。また、このプログラムは、コンピュータ読み取り可能な一時的でない有形の記録媒体に記録されていてもよい。
【0087】
(付記13)
少なくとも1つのプロセッサを備え、前記プロセッサは、上述の予測モデル生成装置によって生成された前記新たな予測モデルを用いる予測装置であって、予測対象から得られる情報に基づいて、前記選択された特徴量を算出する特徴量算出処理と、前記算出された特徴量を前記新たな予測モデルに入力することにより、前記予測対象に関する予測結果を出力する予測処理と、を実行する予測装置。
【0088】
なお、この予測装置は、更にメモリを備えていてもよく、このメモリには、前記特徴量算出処理と、前記予測処理と、を前記プロセッサに実行させるためのプログラムが記憶されていてもよい。また、このプログラムは、コンピュータ読み取り可能な一時的でない有形の記録媒体に記録されていてもよい。
【符号の説明】
【0089】
1、10 予測モデル生成装置
11 寄与度算出部
12 特徴量選択部
13 予測モデル生成部
14 データ生成部
15 判定部
16 選択結果出力部
20 予測装置
21 特徴量算出部
22 予測部
91 センサ
92 出力装置
110、210 制御部
120、220 記憶部
C1 プロセッサ
C2 メモリ