知財求人 - 知財ポータルサイト「IP Force」
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2024001388
(43)【公開日】2024-01-10
(54)【発明の名称】学習モデル生成装置、学習モデルの生成方法及びプログラム
(51)【国際特許分類】
G06N 20/20 20190101AFI20231227BHJP
【ＦＩ】
G06N20/20
【審査請求】未請求
【請求項の数】10
【出願形態】ＯＬ
(21)【出願番号】P 2022099982
(22)【出願日】2022-06-22
(71)【出願人】
【識別番号】000004237
【氏名又は名称】日本電気株式会社
(74)【代理人】
【識別番号】100103894
【弁理士】
【氏名又は名称】家入 健
(72)【発明者】
【氏名】小阪 勇気
(72)【発明者】
【氏名】江口 真透
(57)【要約】
【課題】対象者に合わせた行動計画を推定する学習モデルを好適に生成する。
【解決手段】学習モデル生成装置１０は、ターゲットサンプル群に含まれるサンプルのうち、時刻ｔ＋１における観測データに対する（ｔ＋１）次学習モデルの出力誤差が所定量より大きいサンプルを、ターゲットサンプル群からソースサンプル群に移動させる移動処理を実行する移動部１２と、移動処理後のターゲットサンプル群に含まれるサンプル、及び移動処理後のソースサンプル群に含まれるサンプルの、時刻ｔから時刻Ｔまでの観測データを少なくとも用いて、複数の弱学習器を生成し、生成した複数の弱学習器の各々と、生成した複数の弱学習器の各々について、移動処理後のターゲットサンプル群に含まれるサンプルの時刻ｔにおける観測データを用いて評価される分類誤差と、に少なくとも基づいて、ｔ次学習モデルを生成する生成部１３とを備える。
【選択図】図１
【解決手段】学習モデル生成装置１０は、ターゲットサンプル群に含まれるサンプルのうち、時刻ｔ＋１における観測データに対する（ｔ＋１）次学習モデルの出力誤差が所定量より大きいサンプルを、ターゲットサンプル群からソースサンプル群に移動させる移動処理を実行する移動部１２と、移動処理後のターゲットサンプル群に含まれるサンプル、及び移動処理後のソースサンプル群に含まれるサンプルの、時刻ｔから時刻Ｔまでの観測データを少なくとも用いて、複数の弱学習器を生成し、生成した複数の弱学習器の各々と、生成した複数の弱学習器の各々について、移動処理後のターゲットサンプル群に含まれるサンプルの時刻ｔにおける観測データを用いて評価される分類誤差と、に少なくとも基づいて、ｔ次学習モデルを生成する生成部１３とを備える。
【選択図】図１
【特許請求の範囲】
【請求項1】
ターゲットサンプル群に含まれる複数のサンプルのうち、時刻ｔ＋１（ｔは自然数）における観測データに対する（ｔ＋１）次学習モデルの出力誤差が所定量より大きいサンプルを、前記ターゲットサンプル群からソースサンプル群に移動させる移動処理を実行する移動部と、
前記移動処理後の前記ターゲットサンプル群に含まれる少なくとも１つのサンプル、及び前記移動処理後の前記ソースサンプル群に含まれる少なくとも１つのサンプルの、時刻ｔから時刻Ｔまでの観測データを少なくとも用いて、複数の弱学習器を生成し、
生成した前記複数の弱学習器の各々と、生成した前記複数の弱学習器の各々について、前記移動処理後の前記ターゲットサンプル群に含まれる前記少なくとも１つのサンプルの時刻ｔにおける観測データを用いて評価される分類誤差と、に少なくとも基づいて、ｔ次学習モデルを生成する生成部と
を備え、
前記観測データは、時刻Ｔまでの間の特定の時刻におけるサンプルの状態及び行動を少なくとも含み、
前記ｔ次学習モデルは、時刻ｔにおける状態を少なくとも入力として、時刻ｔにおける行動を出力する
学習モデル生成装置。
前記移動処理後の前記ターゲットサンプル群に含まれる少なくとも１つのサンプル、及び前記移動処理後の前記ソースサンプル群に含まれる少なくとも１つのサンプルの、時刻ｔから時刻Ｔまでの観測データを少なくとも用いて、複数の弱学習器を生成し、
生成した前記複数の弱学習器の各々と、生成した前記複数の弱学習器の各々について、前記移動処理後の前記ターゲットサンプル群に含まれる前記少なくとも１つのサンプルの時刻ｔにおける観測データを用いて評価される分類誤差と、に少なくとも基づいて、ｔ次学習モデルを生成する生成部と
を備え、
前記観測データは、時刻Ｔまでの間の特定の時刻におけるサンプルの状態及び行動を少なくとも含み、
前記ｔ次学習モデルは、時刻ｔにおける状態を少なくとも入力として、時刻ｔにおける行動を出力する
学習モデル生成装置。
【請求項2】
前記移動部は、前記ソースサンプル群に含まれるサンプルを破棄した後、時刻ｔ＋１における観測データに対する（ｔ＋１）次学習モデルの出力誤差が所定量より大きいサンプルを、ソースサンプル群に移動させる
請求項１に記載の学習モデル生成装置。
請求項１に記載の学習モデル生成装置。
【請求項3】
前記複数の弱学習器は、第１弱学習器及び第２弱学習器を少なくとも含み、
前記生成部は、
サンプル毎に設定された重みで重み付けされた観測データを用いて前記第１弱学習器を生成し、
前記移動処理後の前記ターゲットサンプル群に含まれるサンプルのうち、時刻ｔにおける観測データに対する前記第１弱学習器の出力誤差が所定量より大きいサンプルについては、重みを増加させ、
前記移動処理後の前記ソースサンプル群に含まれるサンプルのうち、時刻ｔにおける観測データに対する前記第１弱学習器の出力誤差が所定量より大きいサンプルについては、重みを減少させ、
サンプル毎に更新された重みで重み付けされた観測データを用いて前記第２弱学習器を生成する
請求項１又は２に記載の学習モデル生成装置。
前記生成部は、
サンプル毎に設定された重みで重み付けされた観測データを用いて前記第１弱学習器を生成し、
前記移動処理後の前記ターゲットサンプル群に含まれるサンプルのうち、時刻ｔにおける観測データに対する前記第１弱学習器の出力誤差が所定量より大きいサンプルについては、重みを増加させ、
前記移動処理後の前記ソースサンプル群に含まれるサンプルのうち、時刻ｔにおける観測データに対する前記第１弱学習器の出力誤差が所定量より大きいサンプルについては、重みを減少させ、
サンプル毎に更新された重みで重み付けされた観測データを用いて前記第２弱学習器を生成する
請求項１又は２に記載の学習モデル生成装置。
【請求項4】
前記移動処理後の前記ターゲットサンプル群に含まれるサンプルのうち、時刻ｔにおける観測データに対する前記第１弱学習器の出力誤差が所定量より大きいサンプルについて、前記第１弱学習器について評価される前記分類誤差に応じて重みを増加させ、
前記移動処理後の前記ソースサンプル群に含まれるサンプルのうち、時刻ｔにおける観測データに対する前記第１弱学習器の出力誤差が所定量より大きいサンプルについて、予め定められた係数に応じて重みを減少させる
請求項３に記載の学習モデル生成装置。
前記移動処理後の前記ソースサンプル群に含まれるサンプルのうち、時刻ｔにおける観測データに対する前記第１弱学習器の出力誤差が所定量より大きいサンプルについて、予め定められた係数に応じて重みを減少させる
請求項３に記載の学習モデル生成装置。
【請求項5】
前記生成部は、前記移動処理後の前記ソースサンプル群に含まれる各サンプルについて、そのサンプルの時刻ｔ＋１における観測データに対する（ｔ＋１）次学習モデルの出力誤差に基づいて、そのサンプルの観測データの重みの初期値、及びそのサンプルの重みを更新する場合の重みの減少量の少なくとも一方を決定する
請求項３に記載の学習モデル生成装置。
請求項３に記載の学習モデル生成装置。
【請求項6】
前記観測データは、時刻Ｔまでの間の特定の時刻における状態を有するサンプルが、前記特定の時刻における行動により得られる効果の量を含む
請求項１又は２に記載の学習モデル生成装置。
請求項１又は２に記載の学習モデル生成装置。
【請求項7】
前記生成部は、前記複数の弱学習器を生成する場合に、前記移動処理後の前記ソースサンプル群に含まれる各サンプルについては、そのサンプルの時刻ｔ＋１における効果として、時刻ｔ＋１における観測データに含まれる効果の量から（ｔ＋１）次学習モデルの出力誤差に応じた量を減じた情報を用いる
請求項６に記載の学習モデル生成装置。
請求項６に記載の学習モデル生成装置。
【請求項8】
前記生成部は、前記複数の弱学習器の各々を生成する場合に、コストセンシティブ学習を用いる
請求項１又は２に記載の学習モデル生成装置。
請求項１又は２に記載の学習モデル生成装置。
【請求項9】
ターゲットサンプル群に含まれる複数のサンプルのうち、時刻ｔ＋１（ｔは自然数）における観測データに対する（ｔ＋１）次学習モデルの出力誤差が所定量より大きいサンプルを、前記ターゲットサンプル群からソースサンプル群に移動させる移動処理を実行し、
前記移動処理後の前記ターゲットサンプル群に含まれる少なくとも１つのサンプル、及び前記移動処理後の前記ソースサンプル群に含まれる少なくとも１つのサンプルの、時刻ｔから時刻Ｔまでの観測データを少なくとも用いて、複数の弱学習器を生成し、
生成した前記複数の弱学習器の各々と、生成した前記複数の弱学習器の各々について、前記移動処理後の前記ターゲットサンプル群に含まれる前記少なくとも１つのサンプルの時刻ｔにおける観測データを用いて評価される分類誤差と、に少なくとも基づいて、ｔ次学習モデルを生成する
学習モデルの生成方法であって、
前記観測データは、時刻Ｔまでの間の特定の時刻におけるサンプルの状態及び行動を少なくとも含み、
前記ｔ次学習モデルは、時刻ｔにおける状態を少なくとも入力として、時刻ｔにおける行動を出力する
生成方法。
前記移動処理後の前記ターゲットサンプル群に含まれる少なくとも１つのサンプル、及び前記移動処理後の前記ソースサンプル群に含まれる少なくとも１つのサンプルの、時刻ｔから時刻Ｔまでの観測データを少なくとも用いて、複数の弱学習器を生成し、
生成した前記複数の弱学習器の各々と、生成した前記複数の弱学習器の各々について、前記移動処理後の前記ターゲットサンプル群に含まれる前記少なくとも１つのサンプルの時刻ｔにおける観測データを用いて評価される分類誤差と、に少なくとも基づいて、ｔ次学習モデルを生成する
学習モデルの生成方法であって、
前記観測データは、時刻Ｔまでの間の特定の時刻におけるサンプルの状態及び行動を少なくとも含み、
前記ｔ次学習モデルは、時刻ｔにおける状態を少なくとも入力として、時刻ｔにおける行動を出力する
生成方法。
【請求項10】
コンピュータに、
ターゲットサンプル群に含まれる複数のサンプルのうち、時刻ｔ＋１（ｔは自然数）における観測データに対する（ｔ＋１）次学習モデルの出力誤差が所定量より大きいサンプルを、前記ターゲットサンプル群からソースサンプル群に移動させる移動処理と、
前記移動処理後の前記ターゲットサンプル群に含まれる少なくとも１つのサンプル、及び前記移動処理後の前記ソースサンプル群に含まれる少なくとも１つのサンプルの、時刻ｔから時刻Ｔまでの観測データを少なくとも用いて、複数の弱学習器を生成する処理と、
生成した前記複数の弱学習器の各々と、生成した前記複数の弱学習器の各々について、前記移動処理後の前記ターゲットサンプル群に含まれる前記少なくとも１つのサンプルの時刻ｔにおける観測データを用いて評価される分類誤差と、に少なくとも基づいて、ｔ次学習モデルを生成する処理と
を実行させるためのプログラムであって、
前記観測データは、時刻Ｔまでの間の特定の時刻におけるサンプルの状態及び行動を少なくとも含み、
前記ｔ次学習モデルは、時刻ｔにおける状態を少なくとも入力として、時刻ｔにおける行動を出力する
プログラム。
ターゲットサンプル群に含まれる複数のサンプルのうち、時刻ｔ＋１（ｔは自然数）における観測データに対する（ｔ＋１）次学習モデルの出力誤差が所定量より大きいサンプルを、前記ターゲットサンプル群からソースサンプル群に移動させる移動処理と、
前記移動処理後の前記ターゲットサンプル群に含まれる少なくとも１つのサンプル、及び前記移動処理後の前記ソースサンプル群に含まれる少なくとも１つのサンプルの、時刻ｔから時刻Ｔまでの観測データを少なくとも用いて、複数の弱学習器を生成する処理と、
生成した前記複数の弱学習器の各々と、生成した前記複数の弱学習器の各々について、前記移動処理後の前記ターゲットサンプル群に含まれる前記少なくとも１つのサンプルの時刻ｔにおける観測データを用いて評価される分類誤差と、に少なくとも基づいて、ｔ次学習モデルを生成する処理と
を実行させるためのプログラムであって、
前記観測データは、時刻Ｔまでの間の特定の時刻におけるサンプルの状態及び行動を少なくとも含み、
前記ｔ次学習モデルは、時刻ｔにおける状態を少なくとも入力として、時刻ｔにおける行動を出力する
プログラム。
【発明の詳細な説明】
【技術分野】
【0001】
本開示は、学習モデル生成装置、学習モデルの生成方法及びプログラムに関し、特に動的に行動計画を推定する学習モデルを生成する学習モデル生成装置、学習モデルの生成方法及びプログラムに関する。
【背景技術】
【0002】
医療現場においては、患者の疫病を治療するための治療計画を医者が記録し、治療計画の実施状況を管理している。例えば特許文献１では、医者の操作によって治療計画を作成する疫病管理システムが開示されている。
【先行技術文献】
【特許文献】
【0003】
【特許文献1】特開２００２－１６３３７４号公報
【発明の概要】
【発明が解決しようとする課題】
【0004】
しかし上述の特許文献１では、医者は患者の各種情報から現状分析をした上で、治療ガイドラインに沿って患者に合わせた治療計画を作成するため、作成負担が大きい。また治療計画の良し悪しは医者の経験値に左右される。そこで患者に合わせた治療計画を学習モデルによって自動的に作成することにより、医療現場における治療計画の作成を支援することが望まれている。上記課題は、医療現場に限らず、教育現場又はスポーツのトレーニング等においても同様である。
【0005】
本開示の目的は、上述した課題に鑑み、対象者に合わせた行動計画を作成する学習モデルを好適に生成する学習モデル生成装置、学習モデルの生成方法及びプログラムを提供することにある。
【課題を解決するための手段】
【0006】
本開示の一態様にかかる学習モデル生成装置は、
ターゲットサンプル群に含まれる複数のサンプルのうち、時刻ｔ＋１（ｔは自然数）における観測データに対する（ｔ＋１）次学習モデルの出力誤差が所定量より大きいサンプルを、前記ターゲットサンプル群からソースサンプル群に移動させる移動処理を実行する移動部と、
前記移動処理後の前記ターゲットサンプル群に含まれる少なくとも１つのサンプル、及び前記移動処理後の前記ソースサンプル群に含まれる少なくとも１つのサンプルの、時刻ｔから時刻Ｔまでの観測データを少なくとも用いて、複数の弱学習器を生成し、
生成した前記複数の弱学習器の各々と、生成した前記複数の弱学習器の各々について、前記移動処理後の前記ターゲットサンプル群に含まれる前記少なくとも１つのサンプルの時刻ｔにおける観測データを用いて評価される分類誤差と、に少なくとも基づいて、ｔ次学習モデルを生成する生成部と
を備え、
前記観測データは、時刻Ｔまでの間の特定の時刻におけるサンプルの状態及び行動を少なくとも含み、
前記ｔ次学習モデルは、時刻ｔにおける状態を少なくとも入力として、時刻ｔにおける行動を出力する。
ターゲットサンプル群に含まれる複数のサンプルのうち、時刻ｔ＋１（ｔは自然数）における観測データに対する（ｔ＋１）次学習モデルの出力誤差が所定量より大きいサンプルを、前記ターゲットサンプル群からソースサンプル群に移動させる移動処理を実行する移動部と、
前記移動処理後の前記ターゲットサンプル群に含まれる少なくとも１つのサンプル、及び前記移動処理後の前記ソースサンプル群に含まれる少なくとも１つのサンプルの、時刻ｔから時刻Ｔまでの観測データを少なくとも用いて、複数の弱学習器を生成し、
生成した前記複数の弱学習器の各々と、生成した前記複数の弱学習器の各々について、前記移動処理後の前記ターゲットサンプル群に含まれる前記少なくとも１つのサンプルの時刻ｔにおける観測データを用いて評価される分類誤差と、に少なくとも基づいて、ｔ次学習モデルを生成する生成部と
を備え、
前記観測データは、時刻Ｔまでの間の特定の時刻におけるサンプルの状態及び行動を少なくとも含み、
前記ｔ次学習モデルは、時刻ｔにおける状態を少なくとも入力として、時刻ｔにおける行動を出力する。
【0007】
本開示の一態様にかかる学習モデルの生成方法は、
ターゲットサンプル群に含まれる複数のサンプルのうち、時刻ｔ＋１（ｔは自然数）における観測データに対する（ｔ＋１）次学習モデルの出力誤差が所定量より大きいサンプルを、前記ターゲットサンプル群からソースサンプル群に移動させる移動処理を実行し、
前記移動処理後の前記ターゲットサンプル群に含まれる少なくとも１つのサンプル、及び前記移動処理後の前記ソースサンプル群に含まれる少なくとも１つのサンプルの、時刻ｔから時刻Ｔまでの観測データを少なくとも用いて、複数の弱学習器を生成し、
生成した前記複数の弱学習器の各々と、生成した前記複数の弱学習器の各々について、前記移動処理後の前記ターゲットサンプル群に含まれる前記少なくとも１つのサンプルの時刻ｔにおける観測データを用いて評価される分類誤差と、に少なくとも基づいて、ｔ次学習モデルを生成する。
前記観測データは、時刻Ｔまでの間の特定の時刻におけるサンプルの状態及び行動を少なくとも含み、
前記ｔ次学習モデルは、時刻ｔにおける状態を少なくとも入力として、時刻ｔにおける行動を出力する。
ターゲットサンプル群に含まれる複数のサンプルのうち、時刻ｔ＋１（ｔは自然数）における観測データに対する（ｔ＋１）次学習モデルの出力誤差が所定量より大きいサンプルを、前記ターゲットサンプル群からソースサンプル群に移動させる移動処理を実行し、
前記移動処理後の前記ターゲットサンプル群に含まれる少なくとも１つのサンプル、及び前記移動処理後の前記ソースサンプル群に含まれる少なくとも１つのサンプルの、時刻ｔから時刻Ｔまでの観測データを少なくとも用いて、複数の弱学習器を生成し、
生成した前記複数の弱学習器の各々と、生成した前記複数の弱学習器の各々について、前記移動処理後の前記ターゲットサンプル群に含まれる前記少なくとも１つのサンプルの時刻ｔにおける観測データを用いて評価される分類誤差と、に少なくとも基づいて、ｔ次学習モデルを生成する。
前記観測データは、時刻Ｔまでの間の特定の時刻におけるサンプルの状態及び行動を少なくとも含み、
前記ｔ次学習モデルは、時刻ｔにおける状態を少なくとも入力として、時刻ｔにおける行動を出力する。
【0008】
本開示の一態様にかかるプログラムは、
コンピュータに、
ターゲットサンプル群に含まれる複数のサンプルのうち、時刻ｔ＋１（ｔは自然数）における観測データに対する（ｔ＋１）次学習モデルの出力誤差が所定量より大きいサンプルを、前記ターゲットサンプル群からソースサンプル群に移動させる移動処理と、
前記移動処理後の前記ターゲットサンプル群に含まれる少なくとも１つのサンプル、及び前記移動処理後の前記ソースサンプル群に含まれる少なくとも１つのサンプルの、時刻ｔから時刻Ｔまでの観測データを少なくとも用いて、複数の弱学習器を生成する処理と、
生成した前記複数の弱学習器の各々と、生成した前記複数の弱学習器の各々について、前記移動処理後の前記ターゲットサンプル群に含まれる前記少なくとも１つのサンプルの時刻ｔにおける観測データを用いて評価される分類誤差と、に少なくとも基づいて、ｔ次学習モデルを生成する処理と
を実行させる。
前記観測データは、時刻Ｔまでの間の特定の時刻におけるサンプルの状態及び行動を少なくとも含み、
前記ｔ次学習モデルは、時刻ｔにおける状態を少なくとも入力として、時刻ｔにおける行動を出力する。
コンピュータに、
ターゲットサンプル群に含まれる複数のサンプルのうち、時刻ｔ＋１（ｔは自然数）における観測データに対する（ｔ＋１）次学習モデルの出力誤差が所定量より大きいサンプルを、前記ターゲットサンプル群からソースサンプル群に移動させる移動処理と、
前記移動処理後の前記ターゲットサンプル群に含まれる少なくとも１つのサンプル、及び前記移動処理後の前記ソースサンプル群に含まれる少なくとも１つのサンプルの、時刻ｔから時刻Ｔまでの観測データを少なくとも用いて、複数の弱学習器を生成する処理と、
生成した前記複数の弱学習器の各々と、生成した前記複数の弱学習器の各々について、前記移動処理後の前記ターゲットサンプル群に含まれる前記少なくとも１つのサンプルの時刻ｔにおける観測データを用いて評価される分類誤差と、に少なくとも基づいて、ｔ次学習モデルを生成する処理と
を実行させる。
前記観測データは、時刻Ｔまでの間の特定の時刻におけるサンプルの状態及び行動を少なくとも含み、
前記ｔ次学習モデルは、時刻ｔにおける状態を少なくとも入力として、時刻ｔにおける行動を出力する。
【発明の効果】
【0009】
本開示により、対象者に合わせた行動計画を推定する学習モデルを好適に生成する学習モデル生成装置、学習モデルの生成方法及びプログラムを提供できる。
【図面の簡単な説明】
【0010】
【図1】実施形態１にかかる学習モデル生成装置の構成を示すブロック図である。
【図2】実施形態１にかかる学習モデルの生成方法の流れを示すフローチャートである。
【図3】実施形態１にかかるｔ次学習モデルの生成方法の流れを示すフローチャートである。
【図4】実施形態２にかかるシステムの全体構成を示すブロック図である。
【図5】実施形態２にかかるシステムの処理の流れを概略的に示す図である。
【図6】実施形態２にかかるｊ次学習モデルに含まれる弱学習器の導出方法を説明するための図である。
【図7】実施形態２にかかる学習モデル生成装置の構成を示すブロック図である。
【図8】実施形態２にかかる記憶部のデータ構造の一例を示す図である。
【図9】実施形態２にかかる学習モデルの生成方法の流れを示すフローチャートである。
【図10】実施形態２にかかるｔ次学習モデルの生成方法の流れを示すフローチャートである。
【図11】実施形態２にかかるｔ次学習モデルを生成するためのアルゴリズムの一例を示す図である。
【図12】実施形態３にかかるｔ次学習モデルを生成するためのアルゴリズムの一例を示す図である。
【図13】実施形態４にかかるｔ次学習モデルに含まれる弱学習器の導出方法を説明するための図である。
【図14】実施形態５にかかるｔ次学習モデルに含まれる弱学習器の導出方法を説明するための図である。
【図15】実施形態５にかかるｔ次学習モデルを生成するためのアルゴリズムの一例を示す図である。
【図16】コンピュータの構成例を示す図である。
【図17】関連するシステムの処理の流れを概略的に示す図である。
【図18】関連するｔ次学習モデルの導出方法を説明するための図である。
【発明を実施するための形態】
【0011】
以下では、本開示の実施形態について、図面を参照しながら詳細に説明する。各図面において、同一又は対応する要素には同一の符号が付されており、説明の明確化のため、必要に応じて重複説明は省略される。
【0012】
＜実施形態の課題＞
まず本開示の少なくとも１つの実施形態の課題を詳細に説明する。
医療現場における患者の治療計画の作成を支援するために、コンピュータにより治療計画を自動的に作成することが行われている。例えば、対象となる患者と同じ病気に罹患する患者の過去の治療計画を見つけ出し、同様の治療計画を対象となる患者の治療計画として作成することが検討されている。
まず本開示の少なくとも１つの実施形態の課題を詳細に説明する。
医療現場における患者の治療計画の作成を支援するために、コンピュータにより治療計画を自動的に作成することが行われている。例えば、対象となる患者と同じ病気に罹患する患者の過去の治療計画を見つけ出し、同様の治療計画を対象となる患者の治療計画として作成することが検討されている。
【0013】
しかし、同じ病気の患者でも、特性や病気に関連する遺伝子等の情報には違いがある。したがって患者固有の情報に基づいて、一人ひとりに合った治療計画を作成することが求められている。これにより患者の治療効果を高めることが期待されている。
【0014】
さらに患者個人の履歴を考慮しながら個人の特性に合った治療を、治療開始後に逐次的に選択することが検討されている。これにより治療効果をより高め、また、患者の負担や費用の少ない治療を提案できることが期待されている。
【0015】
このような背景の中、患者の反応に応じて、患者の治療効果を最大化する治療を、逐次的にかつ自動的に選択する学習モデルを用いたシステムが開発されている。尚、上記システムは、医療現場に限らず、教育現場又はスポーツのトレーニング等においても用いられ得る。したがって以下では、「治療」という用語に代えて、上位概念である「行動」という用語を用いる。
【0016】
図１７は、関連するシステムの処理の流れを概略的に示す図である。
システムは、時刻ｊ毎に異なる学習モデルを用いて、その時刻に実行されるべき行動であって、患者の治療効果を最大化する行動を提案する。時刻は、絶対的な時刻であってもよいし、相対的な時刻であってもよい。相対的な時刻である場合、時刻はステージと呼ばれてもよい。また時刻は、時間軸上の点を指すものであってもよいし、時間軸上の所定期間を指すものであってもよい。以下では、ｊは自然数とする。例えば時刻ｊ＝１は治療１日目を示し、時刻ｊ＝２は治療２日目を示し、時刻ｊ＝ｔは治療ｔ日目を示し、時刻ｊ＝Ｔ（Ｔはｔより大きい自然数）は最終時刻、つまり治療最終日を示してよい。
システムは、時刻ｊ毎に異なる学習モデルを用いて、その時刻に実行されるべき行動であって、患者の治療効果を最大化する行動を提案する。時刻は、絶対的な時刻であってもよいし、相対的な時刻であってもよい。相対的な時刻である場合、時刻はステージと呼ばれてもよい。また時刻は、時間軸上の点を指すものであってもよいし、時間軸上の所定期間を指すものであってもよい。以下では、ｊは自然数とする。例えば時刻ｊ＝１は治療１日目を示し、時刻ｊ＝２は治療２日目を示し、時刻ｊ＝ｔは治療ｔ日目を示し、時刻ｊ＝Ｔ（Ｔはｔより大きい自然数）は最終時刻、つまり治療最終日を示してよい。
【0017】
例えばｊ次学習モデルＤ＊
ｊは、対象者ｈの時刻ｊに観測された状態Ｘｊｈを入力とする。そしてｊ次学習モデルＤ＊
ｊは、時刻ｊにおける対象者ｈの行動Ａｊｈを推定する。推定された行動Ａｊｈは、対象者ｈが時刻ｊから最終時刻Ｔまでに得られる効果の合計を最大化する行動である。例えば図１７には、時刻ｊ＝ｔ－１、ｔ、ｔ＋１に対応するｊ次学習モデルとして、それぞれ、（ｔ－１）次学習モデルＤ＊
ｔ－１、ｔ次学習モデルＤ＊
ｔ、（ｔ＋１）次学習モデルＤ＊
ｔ＋１が示されている。
【0018】
システムの処理は、時刻ｊ＝１～Ｔのｊ次学習モデルを生成するモデル生成フェーズと、時刻ｊ＝１～Ｔのｊ次学習モデルを用いて対象者ｈの行動を計画する推定フェーズとに分かれる。
【0019】
（モデル生成フェーズ）
ｊ次学習モデルＤ＊ ｊは、時刻ｊにおけるターゲットサンプル群（以下、Ｔサンプル群と呼ぶ）ＴＧｊの観測データを用いて生成される。Ｔサンプル群ＴＧは、その観測データが学習時に教師データとして用いられる患者（つまりサンプル）の集合である。尚、サンプルｉの時刻ｊにおける観測データは、状態Ｘｊｉと、行動Ａｊｉと、効果Ｙｊｉとを組み合わせたベクトル｛Ｘｊｉ，Ａｊｉ，Ｙｊｉ｝で表される。効果Ｙｊｉは、時刻ｊ＝１～Ｔの中の特定の時刻における状態を有するサンプルが、その時刻における行動により得られる効果の量を示す。まずｉ＝１，２，…，ｎ（ｎは自然数）のサンプルについての時刻ｊ＝１～Ｔにおける観測データが用意される。
ｊ次学習モデルＤ＊ ｊは、時刻ｊにおけるターゲットサンプル群（以下、Ｔサンプル群と呼ぶ）ＴＧｊの観測データを用いて生成される。Ｔサンプル群ＴＧは、その観測データが学習時に教師データとして用いられる患者（つまりサンプル）の集合である。尚、サンプルｉの時刻ｊにおける観測データは、状態Ｘｊｉと、行動Ａｊｉと、効果Ｙｊｉとを組み合わせたベクトル｛Ｘｊｉ，Ａｊｉ，Ｙｊｉ｝で表される。効果Ｙｊｉは、時刻ｊ＝１～Ｔの中の特定の時刻における状態を有するサンプルが、その時刻における行動により得られる効果の量を示す。まずｉ＝１，２，…，ｎ（ｎは自然数）のサンプルについての時刻ｊ＝１～Ｔにおける観測データが用意される。
【0020】
例えばｊ＝ｔの場合のｔ次学習モデルＤ＊
ｔの生成に用いられる、時刻ｔにおけるＴサンプル群ＴＧｔの観測データは、ｔ次学習モデルＤ＊
ｔを学習するための教師データである。ｔ次学習モデルＤ＊
ｔを学習するための教師データは、ｉ＝１，２，…，ｎ（ｎは自然数）のサンプルのうち、Ｔサンプル群に含まれるサンプルの観測データである。
【0021】
各学習モデルの生成は、時刻ｊを遡るように後ろ向きに行われる。つまりｊ＝ｔの場合のｔ次学習モデルＤ＊
ｔは、ｊ＝（ｔ＋１）の場合の（ｔ＋１）次学習モデルＤ＊
ｔ＋１が生成された後に生成される。（ｔ＋１）次学習モデルＤ＊
ｔ＋１の学習においては、時刻ｔ＋１に対応するＴサンプル群ＴＧｔ＋１に含まれるサンプルの観測データが用いられる。ここで（ｔ＋１）次学習モデルＤ＊
ｔ＋１で最適ではなかったサンプルの観測データは全て、ｔ次学習モデルＤ＊
ｔでは用いられずに破棄される。したがって時刻ｔに対応するＴサンプル群ＴＧｔに含まれるサンプルの観測データは、時刻ｔ＋１に対応するＴサンプル群ＴＧｔ＋１に含まれるサンプルのうち、（ｔ＋１）次学習モデルＤ＊
ｔ＋１で最適ではなかったサンプルを除いたサンプルである。つまりそれは、（ｔ＋１）次学習モデルＤ＊
ｔ＋１で最適であったサンプルである。
【0022】
このため一般的には、時刻ｔに対応するＴサンプル群ＴＧｔのサンプル数は、時刻（ｔ＋１）に対応するＴサンプル群ＴＧｔ＋１のサンプル数よりも小さくなる。サンプル数が減ると、教師データとして用いる観測データ数が減るため、推定精度が高い学習モデルを生成することが困難となる。
【0023】
尚、「ｊ次学習モデルＤ＊
ｊで最適ではなかったサンプル」とは、そのサンプルｉの観測データに含まれる状態Ｘｊｉをｊ次学習モデルＤ＊
ｊに入力した場合に、観測データに含まれる行動Ａｊｉとｊ次学習モデルＤ＊
ｊの出力との間の誤差が所定量より大きいサンプルを示す。以下では、上記誤差を「ｊ次学習モデルＤ＊
ｊの出力誤差」と呼ぶ。以下では一例として、「ｊ次学習モデルＤ＊
ｊで最適ではなかったサンプル」は、ｊ次学習モデルＤ＊
ｊの出力誤差が０より大きいこと、つまりｊ次学習モデルＤ＊
ｊが誤分類をしたことを示す。反対に、「ｊ次学習モデルＤ＊
ｊで最適であったサンプル」は、ｊ次学習モデルＤ＊
ｊの出力誤差が所定量以下であるサンプルを示す。以下では一例として、「ｊ次学習モデルＤ＊
ｊで最適であったサンプル」は、観測データに含まれるＡｊｉとｊ次学習モデルＤ＊
ｊの出力とが一致している、つまり出力誤差が０であることを示す。
【0024】
（推定フェーズ）
一方、行動の推定は、時刻ｊの経過とともに前向きに行われる。例えば現時刻ｊをｔとすると、現時刻ｔに観測された対象者ｈの状態Ｘｔｈをｔ次学習モデルＤ＊ ｔに入力することで、現時刻ｔの対象者ｈの行動Ａｔｈを得る。そして時間が経過して時刻ｔ＋１となった場合、時刻ｔ＋１に観測された対象者ｈの状態Ｘ（ｔ＋１）ｈを入力することで、時刻ｔ＋１の対象者ｈの行動Ａ（ｔ＋１）ｈを得る。このように時刻の経過とともに、逐次、とるべき行動を推定していく。したがって行動計画が動的に作成される。
一方、行動の推定は、時刻ｊの経過とともに前向きに行われる。例えば現時刻ｊをｔとすると、現時刻ｔに観測された対象者ｈの状態Ｘｔｈをｔ次学習モデルＤ＊ ｔに入力することで、現時刻ｔの対象者ｈの行動Ａｔｈを得る。そして時間が経過して時刻ｔ＋１となった場合、時刻ｔ＋１に観測された対象者ｈの状態Ｘ（ｔ＋１）ｈを入力することで、時刻ｔ＋１の対象者ｈの行動Ａ（ｔ＋１）ｈを得る。このように時刻の経過とともに、逐次、とるべき行動を推定していく。したがって行動計画が動的に作成される。
【0025】
上記課題は、数式から把握することもできる。
【0026】
【0027】
式（１）に含まれる関数ｆは、ｔ次学習モデルＤ＊
ｔに対応する関数である。したがって、関数ｆを求めることは、ｔ次学習モデルＤ＊
ｔを求めることと同じである。
【0028】
図１８に示すブロック９００は、時刻（ｔ＋１）から最終時刻Ｔまでに得られる効果（報酬）の合計を示している。またブロック９０２は、時刻ｔでの効果（報酬）を示している。またＬは分類損失関数であり、ブロック９０３は、時刻ｔにおける損失を示している。
【0029】
ここでブロック９０１に含まれるブロック９０４は、出力誤差を示している。ブロック９０１は、時刻（ｔ＋１）から時刻Ｔまでの全ての時刻で出力誤差が０である場合は１となるが、それ以外の場合は０となることを示している。ブロック９０１が０となることは、そのサンプルの観測データが破棄されることを意味している。つまり時刻（ｔ＋１）から時刻Ｔまでの間に１度でも出力誤差が０でない時刻があれば、その時点でそのサンプルの観測データは破棄される。したがって時刻が後ろ向きに進めば進むほど、サンプル数が減っていくことが理解できる。
【0030】
以下の実施形態の少なくとも１つは、このような課題を解決するものである。
【0031】
＜実施形態１＞
次に、本発明の実施形態１について説明する。実施形態１は、後述する実施形態の概要として説明されてよい。図１は、実施形態１にかかる学習モデル生成装置１０の構成を示すブロック図である。学習モデル生成装置１０は、動的に行動計画を作成するために、各時刻に対応する学習モデルを順次生成するコンピュータ装置である。具体的には、学習モデル生成装置１０は、ｉ＝１，２，…，ｎのサンプルについての時刻ｊ＝１～Ｔにおける観測データを用いて、Ｔ個のｊ次学習モデルＤ＊ ｊを、そのモデルに対応する時刻を遡りながら生成していく（Ｄ＊ Ｔ→Ｄ＊ Ｔ－１→…→Ｄ＊ ｔ＋１→Ｄ＊ ｔ→…→Ｄ＊ １）。学習モデル生成装置１０は、１又は複数のコンピュータ装置を含むコンピュータシステムであってもよい。
次に、本発明の実施形態１について説明する。実施形態１は、後述する実施形態の概要として説明されてよい。図１は、実施形態１にかかる学習モデル生成装置１０の構成を示すブロック図である。学習モデル生成装置１０は、動的に行動計画を作成するために、各時刻に対応する学習モデルを順次生成するコンピュータ装置である。具体的には、学習モデル生成装置１０は、ｉ＝１，２，…，ｎのサンプルについての時刻ｊ＝１～Ｔにおける観測データを用いて、Ｔ個のｊ次学習モデルＤ＊ ｊを、そのモデルに対応する時刻を遡りながら生成していく（Ｄ＊ Ｔ→Ｄ＊ Ｔ－１→…→Ｄ＊ ｔ＋１→Ｄ＊ ｔ→…→Ｄ＊ １）。学習モデル生成装置１０は、１又は複数のコンピュータ装置を含むコンピュータシステムであってもよい。
【0032】
ここでサンプルｉの任意の時刻ｊにおける観測データは、その時刻ｊにおけるサンプルｉの状態Ｘｊｉ及び行動Ａｊｉを少なくとも含む。
【0033】
またｊ次学習モデルＤ＊
ｊは、対象者ｈの時刻ｊにおける状態Ｘｊｈを少なくとも入力として、時刻ｊにおける行動Ａｊｈを出力する学習済のモデルである。例えばｊ次学習モデルＤ＊
ｊは、弱学習器をアンサンブルさせたモデルである。アンサンブルさせたモデルの例として、ブースティングがある。以下では、ｊ次学習モデルＤ＊
ｊはブースティングの一例であるAdaBoostのアルゴリズムを採用するものとする。またｊ次学習モデルＤ＊
ｊは弱学習器の重み付き和で表されるものとして説明する。
【0034】
図１に示すように、学習モデル生成装置１０は、移動部１２と、生成部１３とを備える。
移動部１２は、移動処理を実行する。移動処理は、Ｔサンプル群に含まれる複数のサンプルのうち、時刻ｔ＋１における観測データに対する（ｔ＋１）次学習モデルＤ＊ ｔ＋１の出力誤差が所定量より大きいサンプルを、Ｔサンプル群からソースサンプル群に移動させる理である。以下では、ソースサンプル群をＳサンプル群と呼ぶ。また所定の時刻に対応するＴサンプル群に含まれるサンプルをＴサンプル、所定の時刻に対応するＳサンプル群に含まれるサンプルをＳサンプルと呼ぶことがある。
移動部１２は、移動処理を実行する。移動処理は、Ｔサンプル群に含まれる複数のサンプルのうち、時刻ｔ＋１における観測データに対する（ｔ＋１）次学習モデルＤ＊ ｔ＋１の出力誤差が所定量より大きいサンプルを、Ｔサンプル群からソースサンプル群に移動させる理である。以下では、ソースサンプル群をＳサンプル群と呼ぶ。また所定の時刻に対応するＴサンプル群に含まれるサンプルをＴサンプル、所定の時刻に対応するＳサンプル群に含まれるサンプルをＳサンプルと呼ぶことがある。
【0035】
また「移動」とは、物理的に移動させることであってもよいし、論理的に移動させることであってもよい。物理的に移動させることとして、格納先を変更することが挙げられる。論理的に移動させることとして、そのサンプルの属性（所属先や種別）を変更することであってもよい。
【0036】
また「所定量より大きい」とは、これに限らないが、０より大きいことであってよい。つまり移動部１２は、時刻ｔ＋１において最適ではなかったサンプルを時刻ｔにおいてＴサンプル群からＳサンプル群に移動させる。時刻ｔにおけるＴサンプル群には、最適ではなかったサンプルは含まれないことになる。
【0037】
生成部１３は、Ｔサンプル群に含まれるサンプルの、時刻ｔから時刻Ｔまでの観測データと、Ｓサンプル群に含まれるサンプルの、時刻ｔから時刻Ｔまでの観測データとを用いて、ｔ次学習モデルＤ＊
ｔを生成する。
【0038】
具体的には、生成部１３は複数の弱学習器を生成し、複数の弱学習器を組み合わせてｔ次学習モデルＤ＊
ｔを生成する。ｔ次学習モデルＤ＊
ｔに含まれる弱学習器は、対象者ｉの時刻ｔにおける状態Ｘｔｉを少なくとも入力として、時刻ｔにおける行動Ａｔｉを出力する。
【0039】
より具体的には、まず生成部１３は、移動処理後のＴサンプル群に含まれるサンプル、及び移動処理後のＳサンプル群に含まれるサンプルの、時刻ｔから時刻Ｔまでの観測データ｛Ｘｊｉ，Ａｊｉ，Ｙｊｉ｝（ｊ＝ｔ，ｔ＋１，…，Ｔ、ｉ＝１，２，…，ｎ）を教師データとして用いて、複数の弱学習器を生成する。このとき生成部１３は、教師データとして、Ｔサンプル群に含まれる全てのサンプルの時刻ｔから時刻Ｔまでの観測データを用いてもよいし、一部のサンプルの時刻ｔから時刻Ｔまでの観測データを用いてもよい。Ｓサンプル群に含まれるサンプルについても同様である。
【0040】
次に生成部１３は、複数の弱学習器の各々について、移動処理後のＴサンプル群に含まれるサンプルの時刻ｔにおける観測データを用いて、分類誤差を評価する。つまり生成部１３は、Ｔサンプルに対する分類誤差を算出する。
【0041】
最後に生成部１３は、複数の弱学習器の各々と、対応する分類誤差とに少なくとも基づいて、ｔ次学習モデルＤ＊
ｔを生成する。例えば生成部１３は、上述の分類誤差に応じた重みで重み付けされた弱学習器を組み合わせることで、ｔ次学習モデルＤ＊
ｔを生成する。
【0042】
図２は、実施形態１にかかる学習モデルの生成方法の流れを示すフローチャートである。まず学習モデル生成装置１０は、Ｔサンプル群の各サンプルの観測データを取得する（Ｓ１０）。次に学習モデル生成装置１０の生成部１３は、ｊ次学習モデルＤ＊
ｊを生成する（Ｓ１１）。
【0043】
次に学習モデル生成装置１０の移動部１２は、時刻ｊにおけるＴサンプル群の各サンプルについて、Ｓ１２～Ｓ１３に示す処理を繰り返す。Ｓ１２において、移動部１２は、そのサンプルの時刻ｊにおける観測データに対するｊ次学習モデルＤ＊
ｊの出力誤差があるか否かを判定する。出力誤差があるとは、誤判定であることを示す。このとき、移動部１２は、ｊ次学習モデルＤ＊
ｊにそのサンプルｉの時刻ｊにおける観測データに含まれる状態Ｘｊｉを入力し、得られた出力値と、観測データに含まれる行動Ａｊｉとの差分を、出力誤差として算出する。出力誤差がある場合（Ｓ１２でＹｅｓ）、移動部１２は、そのサンプルを、破棄しないでＴサンプル群からＳサンプル群に移動させる（Ｓ１３）。一方、出力誤差がない場合（Ｓ１２でＮｏ）、移動部１２は、そのサンプルをＴサンプル群からＳサンプル群に移動させず、そのままＴサンプル群に残す。
【0044】
Ｔサンプル群に含まれる全てのサンプルについて上記処理を行った後、学習モデル生成装置１０は時刻ｊをデクリメントする（Ｓ１４）。そして学習モデル生成装置１０は、時刻ｊが０より大きい場合（Ｓ１５でＹｅｓ）、処理をＳ１１に戻し、時刻ｊ＝０となった場合（Ｓ１５でＮｏ）、処理を終了する。
【0045】
図３は、ｊ＝ｔの場合の実施形態１にかかるｔ次学習モデルの生成方法の流れを示すフローチャートである。まず生成部１３は、Ｔサンプル群及びＳサンプル群に含まれるサンプルの、時刻ｊ＝ｔから時刻Ｔまでの観測データを用いて、弱学習器を生成する（Ｓ２０）。次に生成部１３は、弱学習器について、Ｔサンプル群に含まれる複数のサンプルの時刻ｔにおける観測データを用いて分類誤差を評価する（Ｓ２１）。Ｓ２０～Ｓ２１により、生成部１３は、複数の弱学習器と、各弱学習器に対応する分類誤差とを生成する。次に生成部１３は、生成した弱学習器と、対応する分類誤差とに少なくとも基づいて、ｔ次学習モデルを生成する（Ｓ２２）。
【0046】
尚、生成部１３は、生成する弱学習器の数だけＳ２０～Ｓ２１を繰り返した後、Ｓ２２を実行してもよい。
【0047】
このように実施形態１によれば、対象となる時刻ｔに対応する学習モデルに含まれる弱学習器の生成において、Ｔサンプルに加えて、それより後の時刻ｔ＋１に対応する学習モデルで最適でなかったとされたＳサンプルを用いる。尚、後の時刻ｔ＋１に対応する学習モデルは、対象となる時刻ｔに対応する学習モデルよりも前に生成される。したがって学習に用いる教師データを水増しできる。これにより、対象者１人ひとりに合わせた各時刻の行動を高精度に推定する学習モデルを生成できる。
【0048】
＜実施形態２＞
次に、本開示の実施形態２について説明する。図４は、実施形態２にかかるシステム１の全体構成を示すブロック図である。システム１は、対象者１人ひとりに合わせた行動計画を動的に作成するためのコンピュータシステムである。システム１は、学習モデル生成装置１０ａと、学習モデル記憶装置２０と、推定装置３０とを備える。学習モデル生成装置１０ａと、学習モデル記憶装置２０と、推定装置３０とは、互いに通信可能に接続されている。
次に、本開示の実施形態２について説明する。図４は、実施形態２にかかるシステム１の全体構成を示すブロック図である。システム１は、対象者１人ひとりに合わせた行動計画を動的に作成するためのコンピュータシステムである。システム１は、学習モデル生成装置１０ａと、学習モデル記憶装置２０と、推定装置３０とを備える。学習モデル生成装置１０ａと、学習モデル記憶装置２０と、推定装置３０とは、互いに通信可能に接続されている。
【0049】
学習モデル生成装置１０ａは、上述した学習モデル生成装置１０の一例である。学習モデル生成装置１０は各時刻について、その時刻にとるべき行動Ａを推定する学習モデルを生成する。とるべき行動Ａは、その時刻以降に得られる効果が最大となるような行動である。
【0050】
学習モデル記憶装置２０は、学習モデル生成装置１０ａが生成した各時刻における学習モデルを記憶する記憶装置である。
【0051】
推定装置３０は、対象者ｈの行動計画を動的に作成する。具体的には、推定装置３０は、学習モデル記憶装置２０に記憶されている学習モデルを読み出し、学習モデルを用いて、対象となる時刻において対象者ｈがとるべき行動Ａを逐次推定していく。
【0052】
図５は、実施形態２にかかるシステム１の処理の流れを概略的に示す図である。実施形態２にかかるシステム１の処理の流れは、図１７に示す処理の流れと基本的に同様である。学習モデル生成装置１０ａは図５の点線で示すモデル生成フェーズの処理を実行し、推定装置３０は図５の一点鎖線で示す推定フェーズの処理を実行する。
【0053】
図５では、図１７と同様に、Ｔサンプル群ＴＧｔから、時刻ｔ＋１におけるＴサンプル群ＴＧｔ＋１に含まれるサンプルのうち、（ｔ＋１）次学習モデルＤ＊
ｔ＋１で最適でなかったサンプルが除かれることが示されている。但し、図５では、時刻ｔ＋１におけるＴサンプル群ＴＧｔ＋１に含まれるサンプルのうち、（ｔ＋１）次学習モデルＤ＊
ｔ＋１で最適ではなかったサンプルは、時刻ｔにおけるＳサンプル群ＳＧｔに含められる点で、図１７と相違する。本実施形態２では、Ｓサンプル群ＳＧｔには、（ｔ＋１）次学習モデルＤ＊
ｔ＋１で最適ではなかったサンプルだけが含まれる。しかしこれらに加えて、Ｓサンプル群ＳＧｔには、それより後の時刻（例えばｊ＝ｔ＋２）に対応する学習モデルで最適ではなかったサンプルの少なくとも一部が含まれていてもよい。
【0054】
そして学習モデル生成装置１０ａは、ｔ次学習モデルＤ＊
ｔを生成するとき、Ｔサンプル群ＴＧｔに含まれるサンプルの観測データに加えて、Ｓサンプル群ＳＧｔに含まれるサンプルの観測データを用いる。
【0055】
本実施形態２では、ｊ次学習モデルＤ＊
ｊは、Ｍ個の弱学習器（第１弱学習器Ｔ（１）、第２弱学習器Ｔ（２）、…第Ｍ弱学習器Ｔ（Ｍ））の重み付き和で表現される（Ｍは自然数）。具体的には、ｊ次学習モデルＤ＊
ｊは、以下の式（２）で与えられる。
αｊ
（ｍ）は、ｊ次学習モデルを構成するｍ番目の弱学習器Ｔ（ｍ）の信頼度である。
【数2】
【0056】
例えば信頼度αｊ
（ｍ）は、以下の式（３）で与えられる。
Ｋは、分類の総数、つまり行動Ａｊｉの種類数である。式（３）に示されるように、信頼度αｊ
（ｍ）は、その弱学習器Ｔ（ｍ）の第２分類誤差ｅｒｒ２
（ｍ）に少なくとも基づいて算出される。第２分類誤差ｅｒｒ２（ｍ）は、実施形態１の分類誤差の一例であり、その弱学習器Ｔ（ｍ）について、Ｔサンプル群ＴＧに含まれるサンプルの時刻ｊにおける観測データを用いて評価される分類誤差である。
【数3】
【0057】
例えば第２分類誤差ｅｒｒ２
（ｍ）は、以下の式（４）で与えられる。
Ｘｉ
Ｔ及びＡｉ
Ｔは、それぞれ、サンプルｉがＴサンプル群ＴＧに含まれるサンプル（Ｔサンプル）である場合の、状態及び行動である。
【数4】
【0058】
尚、第２分類誤差ｅｒｒ２
（ｍ）に含まれる係数ξｉは、以下の式（５）で与えられる。
【数5】
【0059】
図６は、実施形態２にかかるｔ次学習モデルＤ＊
tに含まれる弱学習器Ｔ（ｍ）の導出方法を説明するための図である。
まず弱学習器Ｔ（ｍ）は、式（１）に含まれるｆと関連する。式（１）に含まれるｆは、以下の式（６）で与えられる。
ｇ（ｍ）（Ｘ）は、弱学習器Ｔ（ｍ）と一対一で対応する関数である。つまり、弱学習器Ｔ（ｍ）を学習することは、最適化されたｇ（ｍ）（Ｘ）を求めることに対応する。
まず弱学習器Ｔ（ｍ）は、式（１）に含まれるｆと関連する。式（１）に含まれるｆは、以下の式（６）で与えられる。
【数6】
【0060】
ｇ（Ｘ）は、Ｋ次元ベクトルを表す。ｇ（Ｘ）とＴ（Ｘ）との関係は、以下の式（７）で与えられる。
ｇ（Ｘ）は、Ｔ（Ｘ）＝ｋの場合にｋ要素が１をとり、それ以外の要素が－１／（Ｋ－１）をとるベクトルである。
【数7】
【0061】
最適化されたｇ（Ｘ）の導出式は、以下の式（８－１）で与えられる。
【数8】
【0062】
βｍは、ｍ番目の弱学習器用のパラメータである。ｚｉは患者ｉのＡｔｉを表している。ここでｚはＫ次元ベクトルを表し、以下の式（９）で与えられる。
Ａｔｉ＝ｋの場合は、ｚベクトルは、ｋ要素が１を取り、それ以外の要素が－１／（Ｋ－１）をとるベクトルである。
【数9】
【0063】
arg min以降に示される目的関数は、第１分類誤差ｅｒｒ１と呼ばれることがある。第１分類誤差ｅｒｒ１は、弱学習器Ｔ（ｍ）について、Ｔサンプルの時刻ｔの観測データ及びＳサンプルの時刻ｔの観測データを用いて評価される分類誤差に対応する。
【0064】
最適化されたｇ（Ｘ）を求めることは、第１分類誤差ｅｒｒ１を最小化するｇ（Ｘ）を求めることに対応する。
【0065】
式（８）に対応する図６に含まれるブロック９００’は、式（１）に対応する図１８に含まれるブロック９００および９０１に対応する。また式（８）に対応する図６に含まれるブロック９０２は、式（１）に対応する図１８に含まれるブロック９０２と同様である。但し図６には、ブロック９０３に代えてブロック１００が含まれる点で図１８と相違する。ブロック１００は、サンプルｉについて、時刻ｔにおける損失を示す。
【0066】
ブロック１００に含まれるωｉは、サンプルｉについての損失に加えられる重みである。ωｉ
ｍ―１は、式（１０）で与えられる。
【数10】
【0067】
尚、ｆは、ｍ－１の重み付け和であり、以下の式（１１）で与えられる。
【数11】
【0068】
重みωｉは、ｇ（Ｘ）の最適化（つまり弱学習器Ｔ（Ｘ）の学習）に対して、サンプルｉの観測データが及ぼす影響の度合いを示している。本実施形態２では、重みωｉは、学習済の弱学習器を１個ずつ生成する度に更新され得る。更新の態様は、対応する時刻においてサンプルｉがＴサンプル又はＳサンプルのどちらに分類されているかによって異なる。サンプルｉがＴサンプルである場合の重みをωｉ
Ｔ、サンプルｉがＳサンプルである場合の重みをωｉ
Ｓとする。
【0069】
図７は、実施形態２にかかる学習モデル生成装置１０ａの構成を示すブロック図である。学習モデル生成装置１０ａは、記憶部１１と、移動部１２ａと、生成部１３ａと、出力部１８とを備える。
【0070】
記憶部１１は、ｉ＝１～ｎのサンプルの、時刻ｊ＝１～Ｔまでの観測データを記憶する記憶装置である。
【0071】
移動部１２ａは、上述した移動部１２の一例である。生成部１３ａは、上述した生成部１３の一例である。生成部１３ａは、弱学習器生成部１４と、信頼度算出部１５と、重み更新部１６と、学習モデル生成部１７とを有する。移動部１２ａ及び生成部１３ａは、ｊ＝Ｔから後ろ向きに順次ｊ次学習モデルＤ＊
ｊを生成し、生成したｊ次学習モデルＤ＊
ｊを出力部１８に出力する。
【0072】
出力部１８は、生成されたｊ次学習モデルＤ＊
ｊを出力する。また出力部１８は、生成されたｊ次学習モデルＤ＊
ｊを学習モデル記憶装置２０に格納する。
【0073】
図８は、実施形態２にかかる記憶部１１のデータ構造の一例を示す図である。記憶部１１に記憶される観測データは、サンプルｉ＝１～ｎの、時刻ｊ＝１～Ｔまでの（状態Ｘｊｉ，行動Ａｊｉ，効果Ｙｊｉ｝である。観測データは、Ｔサンプル群ＴＧのサンプル（Ｔサンプル）の観測データｄ＿ＴＧと、Ｓサンプル群ＳＧのサンプル（Ｓサンプル）の観測データｄ＿ＳＧと、破棄サンプル群（Ｎサンプル群）ＮＧのサンプル（Ｎサンプル）の観測データｄ＿ＮＧとに分けられる。
【0074】
最終時刻ｊ＝Ｔに対応するＴ次学習モデルＤ＊
Ｔを生成する時点では、サンプルは全てＴサンプル群ＴＧに含まれる。そして記憶部１１に記憶される観測データは、全て観測データｄ＿ＴＧに分類される。そしてこのとき、Ｓサンプル群ＳＧに含まれるサンプルの数は０であり、観測データｄ＿ＳＧは存在しない。またこのとき、Ｎサンプル群ＮＧに含まれるサンプルの数は０であり、観測データｄ＿ＮＧは存在しない。
【0075】
そして生成する学習モデルに対応するｊが小さくなるほど、Ｔサンプル群ＴＧに含まれるサンプルの数は減少し、Ｓサンプル群ＳＧ及びＮサンプル群ＮＧのいずれかに含まれるサンプルの数が増加する。したがってｊが小さくなるほど、観測データｄ＿ＴＧに分類される観測データの数は減少し、観測データｄ＿ＳＧ及び観測データｄ＿ＮＧのいずれかに分類される観測データの数は増加する。
【0076】
尚、Ｓサンプル群ＳＧに含まれるサンプルは、生成する学習モデルに対応する時刻（例えば時刻ｔ）の直後の時刻（例えば時刻ｔ＋１）に対応する学習モデルによって、最適とされなかったサンプルである。
【0077】
次に、各要素の具体的な処理を図９～図１１を用いて説明する。
まず図９は、実施形態２にかかる学習モデルの生成方法の流れを示すフローチャートである。図９に示すステップは、図２に示すステップに加えて、Ｓ１００を有する。
まず図９は、実施形態２にかかる学習モデルの生成方法の流れを示すフローチャートである。図９に示すステップは、図２に示すステップに加えて、Ｓ１００を有する。
【0078】
Ｓ１００において、移動部１２ａは、Ｓサンプル群ＳＧのサンプルをＮサンプル群ＮＧに移動させ、Ｓサンプル群ＳＧに含まれるサンプルを破棄する。具体的には、移動部１２ａは、観測データｄ＿ＳＧと分類されていた観測データを、観測データｄ＿ＮＧに分類し直す。Ｓサンプル群ＳＧの初期化により、直近までは最適であったが、直近だけ最適でなかったサンプルだけを、学習モデルの生成に考慮できる。これにより、最適でなかったサンプルの観測データを教師データに用いることによる学習モデルの推定精度の低下への影響を抑え、好適に教師データを水増しできる。
【0079】
尚、Ｓ１２～Ｓ１３において、移動部１２ａは、Ｔサンプル群ＴＧのサンプルのうち、時刻ｔ＋１の観測データに対して（ｔ＋１）次学習モデルＤ＊
ｔ＋１の出力誤差が生じるサンプルを、Ｔサンプル群ＴＧからＳサンプル群ＳＧに移動させる。具体的には、移動部１２ａは、観測データｄ＿ＴＧと分類されていた観測データのうち、（ｔ＋１）次学習モデルＤ＊
ｔ＋１の出力誤差が生じる観測データを、観測データｄ＿ＳＧに分類し直す。
【0080】
【0081】
まず図１０のＳ１１０において、生成部１３ａの弱学習器生成部１４は、各種パラメータを設定する。具体的には、図１１の段落１に示すように、弱学習器生成部１４は、Ｓサンプルの重みωｉ
Ｓを更新するために用いられる係数αＳ，ｉを設定する。また図１１の段落２に示すように、各サンプルの重みωｉ（ωｉ
Ｔ又はωｉ
Ｓ）を初期化する。
【0082】
次に以下のＳ１１１～Ｓ１１５に示す処理を、Ｍ回繰り返す。Ｍは予め定められている。
イテレーションｍのＳ１１１において、弱学習器生成部１４は、ｔ次学習モデルＤ＊ ｔに含まれるＭ個の弱学習器のうちｍ番目の弱学習器Ｔ（ｍ）を生成する。このとき弱学習器生成部１４は、各サンプルに設定された重みωｉで重み付された、Ｔサンプルの時刻ｔ～時刻Ｔにおける観測データｄ＿ＴＧと、Ｓサンプルの時刻ｔ～時刻Ｔにおける観測データｄ＿ＳＧとを用いる。そして弱学習器生成部１４は、Ｔサンプルの観測データ及びＳサンプルの観測データを用いて評価される第１分類誤差ｅｒｒ１が最小化するような弱学習器を見つけ、これを弱学習器Ｔ（ｍ）として生成する。具体的には、弱学習器生成部１４は、図１１の段落５に示すように、式（８）を用いて弱学習器Ｔ（ｍ）を生成する。
イテレーションｍのＳ１１１において、弱学習器生成部１４は、ｔ次学習モデルＤ＊ ｔに含まれるＭ個の弱学習器のうちｍ番目の弱学習器Ｔ（ｍ）を生成する。このとき弱学習器生成部１４は、各サンプルに設定された重みωｉで重み付された、Ｔサンプルの時刻ｔ～時刻Ｔにおける観測データｄ＿ＴＧと、Ｓサンプルの時刻ｔ～時刻Ｔにおける観測データｄ＿ＳＧとを用いる。そして弱学習器生成部１４は、Ｔサンプルの観測データ及びＳサンプルの観測データを用いて評価される第１分類誤差ｅｒｒ１が最小化するような弱学習器を見つけ、これを弱学習器Ｔ（ｍ）として生成する。具体的には、弱学習器生成部１４は、図１１の段落５に示すように、式（８）を用いて弱学習器Ｔ（ｍ）を生成する。
【0083】
Ｓ１１２において、生成部１３ａの信頼度算出部１５は、Ｔサンプルの時刻ｔの観測データを用いて弱学習器Ｔ（ｍ）の第２分類誤差ｅｒｒ２
（ｍ）を評価する。具体的には、図１１の段落６－７に示すように、信頼度算出部１５は、式（４）を用いて第２分類誤差を算出する。
【0084】
Ｓ１１３において、信頼度算出部１５は、第２分類誤差ｅｒｒ２
（ｍ）に基づいて弱学習器Ｔ（ｍ）の信頼度αｊ
（ｍ）を算出する。具体的には、図１１の段落８に示すように、信頼度算出部１５は、式（３）を用いて信頼度を算出する。
【0085】
次に生成部１３ａの重み更新部１６は、Ｓ１１４～Ｓ１１５に示す処理を、サンプル毎に繰り返す。尚、本処理において、重み更新部１６はＴサンプルとＳサンプルとで異なる処理を実行する。具体的には、重み更新部１６は、Ｔサンプルのうち、時刻ｔにおける観測データｄ＿ＴＧに対する弱学習器Ｔ（ｍ）の出力誤差があるサンプルについては、重みωｉ
Ｔを増加させる（Ｓ１１４でＹｅｓ→Ｓ１１５）。またこれに加えて又は代えて、重み更新部１６は、Ｓサンプルのうち、時刻ｔにおける観測データｄ＿ＳＧに対する弱学習器Ｔ（ｍ）の出力誤差があるサンプルについては、重みωｉ
Ｓを減少させる（Ｓ１１４でＹｅｓ→Ｓ１１５）。一方、重み更新部１６は、Ｔサンプル及びＳサンプルに関わらず、出力誤差が所定量以下、又は出力誤差がないサンプルについては、重みを更新しない（Ｓ１１４でＮｏ）。これにより、時刻ｔで最適であったサンプルの観測データは時刻ｔで最適でなかったサンプルの観測データよりも、繰り返しが進むにつれて影響度が相対的に大きくなっていく。つまり時刻ｔで最適であったサンプルを最適でなかったサンプルよりも重視してｔ次学習モデルを生成できる。したがってｔ次学習モデルＤ＊
ｔの推定精度が向上する。
【0086】
より具体的には、重み更新部１６は、図１１の段落９－１１に示す態様で重みωｉ
Ｔ及びωｉ
Ｓを更新してもよい。すなわち重み更新部１６は、Ｔサンプルのうち、時刻ｔにおける観測データｄ＿ＴＧに対する弱学習器Ｔ（ｍ）の出力誤差があるサンプルについては、弱学習器Ｔ（ｍ）の信頼度αｔ
（ｍ）に応じて重みωｉ
Ｔを増加させてよい。式（３）に示されるように信頼度αｔ
（ｍ）は第２分類誤差ｅｒｒ２
（ｍ）に基づいて算出されるため、重みωｉ
Ｔは、第２分類誤差ｅｒｒ２
（ｍ）に応じて増加する。したがって時刻ｔで最適であったサンプルについては第２分類誤差が大きいほど、繰り返しが進むにつれて影響度を強めることができる。これにより、ｔ次学習モデルの生成において時刻ｔで最適であったサンプルを最適でなかったサンプルよりも好適に重視できる。その結果、ｔ次学習モデルＤ＊
ｔの推定精度がより向上する。尚、重み更新部１６は、Ｓサンプルのうち、時刻ｔにおける観測データｄ＿ＳＧに対する弱学習器Ｔ（ｍ）の出力誤差があるサンプルについては、Ｓ１１０で設定した係数αＳ，ｉ、つまり予め定められた係数αＳ，ｉに応じて重みωｉ
Ｓを減少させてよい。
【0087】
重み更新部１６は全てのサンプルについてＳ１１４～Ｓ１１５に示す処理を実行した後、処理を次のイテレーションｍ＋１に進める。
【0088】
これをＭ回繰り返すことで、生成部１３ａは、Ｍ個の弱学習器Ｔ（ｍ）（第１弱学習器Ｔ（１）、第２弱学習器Ｔ（２）、…第Ｍ弱学習器Ｔ（Ｍ））と、各弱学習器に対応する信頼度αｔ
（ｍ）（第１信頼度αｔ
（１）、第２信頼度αｔ
（２）、…第Ｍ信頼度αｔ
（Ｍ））を生成する。
【0089】
そしてＳ１１６において、生成部１３ａの学習モデル生成部１７は、生成したＭ個の弱学習器Ｔ（ｍ）の各々に対して、対応する信頼度αｔ
（ｍ）で重み付けしたものを組み合わせることで、ｔ次学習モデルＤ＊
ｔを生成する。具体的には、図１１の段落１３に示すように、学習モデル生成部１７は、式（２）を用いて、各弱学習器Ｔ（ｍ）に対して、対応する信頼度αｔ
（ｍ）で重み付けしたものを互いに足し合わせてｔ次学習モデルＤ＊
ｔを生成する。
【0090】
このように実施形態２によれば、実施形態１と同様に、学習モデルの生成、特に弱学習器の生成に用いる教師データを水増しできる。これにより、対象者１人ひとりに合わせた各時刻の行動を高精度に推定する学習モデルを生成できる。
【0091】
また学習モデルに含まれる複数の弱学習器を生成する過程で、ＴサンプルがＳサンプルよりも学習への影響度が大きくなるように、影響度を示す重みωｉを更新していく。したがって学習モデルの推定精度が向上する。
【0092】
＜実施形態３＞
次に、本開示の実施形態３について説明する。実施形態３は、ｔ次学習モデルＤ＊ ｔに含まれる複数の弱学習器を生成する場合に、（ｔ＋１）次学習モデルＤ＊ ｔ＋１の生成の結果を考慮する。具体的には、生成部１３ａは、ｔ次学習モデルＤ＊ ｔに含まれる弱学習器の学習においてＳサンプルが与える影響度を示す重みωｉ Ｓを、そのＳサンプルが（ｔ＋１）次学習モデルＤ＊ ｔ＋１を用いて最適でなかったとされる量に応じて決定する。
次に、本開示の実施形態３について説明する。実施形態３は、ｔ次学習モデルＤ＊ ｔに含まれる複数の弱学習器を生成する場合に、（ｔ＋１）次学習モデルＤ＊ ｔ＋１の生成の結果を考慮する。具体的には、生成部１３ａは、ｔ次学習モデルＤ＊ ｔに含まれる弱学習器の学習においてＳサンプルが与える影響度を示す重みωｉ Ｓを、そのＳサンプルが（ｔ＋１）次学習モデルＤ＊ ｔ＋１を用いて最適でなかったとされる量に応じて決定する。
【0093】
実施形態３にかかるｔ次学習モデルの生成方法の流れは、図１０に示すステップと基本的に同様であるため、以下では相違する部分のみを、図１２を用いて説明する。図１２は、実施形態３にかかるｔ次学習モデルＤ＊
ｔを生成するためのアルゴリズムの一例を示す図である。
【0094】
まずＳ１１０において、弱学習器生成部１４は、Ｓサンプルの時刻ｔにおける観測データｄ＿ＳＧに対する（ｔ＋１）次学習モデルＤ＊
ｔ＋１の出力誤差τｉに基づいて、重みωｉ
Ｓの初期値を決定する。上記出力誤差τｉは、上述した「最適でなかったとされる量」に対応する。具体的には図１２の段落１に示すように、弱学習器生成部１４は、上記出力誤差τｉに基づいて、重みωｉ
Ｓの初期値を決定するための係数αＳ，ｉの初期値を決定する。これにより、Ｓサンプルの間でも、そのＳサンプルが与える影響度を出力誤差τｉに応じて異ならせることができる。例えば弱学習器生成部１４は、出力誤差τｉが大きいＳサンプルほど重みωｉ
Ｓの初期値を小さくして影響度を小さくし、出力誤差τｉが小さいＳサンプルほど、弱学習器の学習に影響を与えるように設計できる。
【0095】
また重み更新部１６は、Ｓ１１５においてＳサンプルの重みωｉ
Ｓを更新する場合の重みの減少量も、上記出力誤差τｉに基づいて決定する。具体的には図１２の段落１０に示すように、重み更新部１６は、次のイテレーションｍ＋１で使用する重みωｉ
Ｓを、上記出力誤差τｉを含む係数αＳ，ｉと負の相関関係となるように更新する。これにより、出力誤差τｉが大きいＳサンプルほど重みの減少量を大きくして、その結果イテレーション数が増えるたびに影響度を小さくできる。したがってＳサンプルの間でも、出力誤差τｉに応じて、そのＳサンプルが与える影響度を顕著に異ならせることができる。
【0096】
図１２では、生成部１３ａは、重みωｉ
Ｓの初期値を出力誤差τｉに基づいて決定することと、重みωｉ
Ｓを更新する場合の減少量を出力誤差τｉに基づいて決定することの両方を実行しているが、いずれか一方を省略してもよい。
【0097】
＜実施形態４＞
次に、本開示の実施形態４について説明する。実施形態４では、生成部１３ａがｔ次学習モデルＤ＊ ｔを生成する場合に、Ｓサンプルについては、時刻ｔ＋１での効果として、時刻ｔ＋１における観測データに含まれる効果Ｙの量から所定量を減じた情報を用いる。これにより、Ｓサンプルが（ｔ＋１）次学習モデルＤ＊ ｔ＋１で最適ではなかったとされるサンプルであることを、ｔ次学習モデルＤ＊ ｔの生成において明示的に教えることができる。
次に、本開示の実施形態４について説明する。実施形態４では、生成部１３ａがｔ次学習モデルＤ＊ ｔを生成する場合に、Ｓサンプルについては、時刻ｔ＋１での効果として、時刻ｔ＋１における観測データに含まれる効果Ｙの量から所定量を減じた情報を用いる。これにより、Ｓサンプルが（ｔ＋１）次学習モデルＤ＊ ｔ＋１で最適ではなかったとされるサンプルであることを、ｔ次学習モデルＤ＊ ｔの生成において明示的に教えることができる。
【0098】
図１３は、実施形態４にかかるｔ次学習モデルＤ＊
ｔに含まれる弱学習器Ｔ（ｍ）の導出方法を説明するための図である。実施形態４では、弱学習器Ｔ（ｍ）は、式（８）に代えて以下の式（１２）から導出できる。
【数12】
【0099】
図１３に示すように、式（１２）は、ブロック９００’に代えて、ブロック９００’’を有する点で式（８）と異なる。ブロック９００’’においては、時刻ｔ＋１における効果に対応するＳｔ＋１，ｉが、観測データに含まれるＹｔ＋１，ｉを用いて以下の式（１３）（ブロック１２０）のように与えられる。
【数13】
【0100】
λは１未満の調整パラメータである。λをＳサンプルの時刻ｔ＋１における効果Ｙに掛け合わせることで、Ｓサンプルについては時刻ｔ＋１での効果Ｙの量を減じることができる。一方、Ｔサンプルについては時刻ｔ＋１での効果の量として、観測された効果Ｙの量を用いる。これによりＳサンプルであることを考慮して、学習モデルを生成できる。
【0101】
尚、Ｓサンプルの時刻ｔ＋１における効果に適用されるλは、サンプル毎に、そのサンプルの時刻ｔ＋１の観測データに対する（ｔ＋１）次学習モデルＤ＊
ｔ＋１の出力誤差τｉに基づいて決定されてよい。一例として弱学習器生成部１４は、出力誤差τｉが小さいＳサンプルはλ＝０．９を割り当て、出力誤差τｉが大きいＳサンプルはλ＝０．５を割り当ててよい。このようにすることで、弱学習器生成部１４は、出力誤差τｉが大きいＳサンプルほど、つまり最適から遠かったＳサンプルほど、時刻ｔ＋１における効果Ｙから減じる量を大きくできる。
【0102】
＜実施形態５＞
次に、本開示の実施形態５について説明する。実施形態５は、生成部１３ａは、学習モデルに含まれる弱学習器を生成する場合に、コストセンシティブ学習を用いる。
次に、本開示の実施形態５について説明する。実施形態５は、生成部１３ａは、学習モデルに含まれる弱学習器を生成する場合に、コストセンシティブ学習を用いる。
【0103】
図１４は、実施形態５にかかるｔ次学習モデルＤ＊
ｔに含まれる弱学習器Ｔ（ｍ）の導出方法を説明するための図である。
【0104】
実施形態５では、弱学習器Ｔ（ｍ）は、式（８）に代えて以下の式（１４）から導出できる。
【数14】
【0105】
式（１４）では、Σの中に、コスト関数Ｃ＊（図１４のブロック１３０）が導入されている点で式（８）と相違する。コスト関数Ｃ＊は、弱学習器Ｔ（ｍ）の出力誤差があった場合、つまり弱学習器Ｔ（ｍ）が誤判定した場合に罰則を与えるものである。例えばコスト関数Ｃ＊は、弱学習器Ｔ（ｍ）の出力誤差が大きい場合には、大きな罰則を与え、弱学習器Ｔ（ｍ）の出力誤差が小さい場合には、小さな罰則を与えるように設計される。
【0106】
例えばＫ＝５の場合のコスト関数Ｃ＊は、以下の式（１５）のように与えられる。尚、Ｃ＊（ｐ，ｑ）は、コスト関数を示す行列（コスト行列）のｐ列ｑ行目の要素を表す。
Ｃ＊の非対角成分は、弱学習器Ｔ（ｍ）の出力誤差があった場合、つまり弱学習器Ｔ（ｍ）が誤判定した場合に機能する。具体的にはＣ＊の非対角成分は、出力誤差が大きい場合に罰則が大きくなるようにする。
【数15】
【0107】
実施形態５にかかるｔ次学習モデルＤ＊
ｔの生成方法の流れは、図１０に示すステップと基本的に同様であるため、以下では相違する部分のみを、図１５を用いて説明する。図１５は、実施形態５にかかるｔ次学習モデルＤ＊
ｔを生成するためのアルゴリズムの一例を示す図である。
【0108】
Ｓ１１１において、弱学習器生成部１４は、図１５の段落５に示すように、式（８）に代えて式（１４）を用いて弱学習器Ｔ（ｍ）を生成する。したがって、弱学習器Ｔ（ｍ）が推定する行動とサンプルで観測された行動Ａとができる限り大きく離れないように、弱学習器Ｔ（ｍ）が学習される。これにより、弱学習器Ｔ（ｍ）が、最適に近かったＳサンプルと、最適から遠かったＳサンプルとをより明確に分けることができるようになる。つまり弱学習器Ｔ（ｍ）が、最適に近かったＳサンプルを、より正確に見つけることができる。
【0109】
続いて、システム１に含まれる学習モデル生成装置１０，１０ａ及び推定装置３０の物理構成を説明する。図１８は、学習モデル生成装置１０，１０ａ又は推定装置３０として用いられ得るコンピュータの構成例を示す図である。コンピュータ１０００は、プロセッサ１０１０、記憶部１０２０、ＲＯＭ（Read Only Memory）１０３０、ＲＡＭ（Random Access Memory）１０４０、通信インタフェース（ＩＦ：Interface）１０５０、及びユーザインタフェース１０６０を有する。
【0110】
通信インタフェース１０５０は、有線通信手段又は無線通信手段などを介して、コンピュータ１０００と通信ネットワークとを接続するためのインタフェースである。ユーザインタフェース１０６０は、例えばディスプレイなどの表示部を含む。また、ユーザインタフェース１０６０は、キーボード、マウス、及びタッチパネルなどの入力部を含む。尚、ユーザインタフェース１０６０は、必須ではない。
【0111】
記憶部１０２０は、各種のデータを保持できる補助記憶装置である。記憶部１０２０は、必ずしもコンピュータ１０００の一部である必要はなく、外部記憶装置であってもよいし、ネットワークを介してコンピュータ１０００に接続されたクラウドストレージであってもよい。
【0112】
ＲＯＭ１０３０は、不揮発性の記憶装置である。ＲＯＭ１０３０には、例えば比較的容量が少ないフラッシュメモリなどの半導体記憶装置が用いられる。プロセッサ１０１０が実行するプログラムは、記憶部１０２０又はＲＯＭ１０３０に格納され得る。記憶部１０２０又はＲＯＭ１０３０は、例えば学習モデル生成装置１０，１０ａ又は推定装置３０内の各部の機能を実現するための各種プログラムを記憶する。
【0113】
上記プログラムは、様々なタイプの非一時的なコンピュータ可読媒体を用いて格納され、コンピュータ１０００に供給することができる。非一時的なコンピュータ可読媒体は、様々なタイプの実体のある記憶媒体を含む。非一時的なコンピュータ可読媒体の例は、例えばフレキシブルディスク、磁気テープ、又はハードディスクなどの磁気記録媒体、例えば光磁気ディスクなどの光磁気記録媒体、ＣＤ（compact disc）、又はＤＶＤ（digital versatile disk）などの光ディスク媒体、及び、マスクＲＯＭ、ＰＲＯＭ（programmable ROM）、ＥＰＲＯＭ（erasable PROM）、フラッシュＲＯＭ、又はＲＡＭなどの半導体メモリを含む。また、プログラムは、様々なタイプの一時的なコンピュータ可読媒体を用いてコンピュータに供給されてもよい。一時的なコンピュータ可読媒体の例は、電気信号、光信号、及び電磁波を含む。一時的なコンピュータ可読媒体は、電線及び光ファイバなどの有線通信路、又は無線通信路を介して、プログラムをコンピュータに供給できる。
【0114】
ＲＡＭ１０４０は、揮発性の記憶装置である。ＲＡＭ１０４０には、ＤＲＡＭ（Dynamic Random Access Memory）又はＳＲＡＭ（Static Random Access Memory）などの各種半導体メモリデバイスが用いられる。ＲＡＭ１０４０は、データなどを一時的に格納する内部バッファとして用いられ得る。プロセッサ１０１０は、記憶部１０２０又はＲＯＭ１０３０に格納されたプログラムをＲＡＭ１０４０に展開し、実行する。プロセッサ１０１０は、ＣＰＵ（Central Processing Unit）又はＧＰＵ（Graphics Processing Unit）であってよい。プロセッサ１０１０がプログラムを実行することで、学習モデル生成装置１０，１０ａ又は推定装置３０内の各部の機能が実現され得る。プロセッサ１０１０は、データなどを一時的に格納できる内部バッファを有してもよい。
【0115】
なお、本発明は上記実施の形態に限られたものではなく、趣旨を逸脱しない範囲で適宜変更することが可能である。
【0116】
上記の実施形態の一部又は全部は、以下の付記のようにも記載されうるが、以下には限られない。
（付記１）
ターゲットサンプル群に含まれる複数のサンプルのうち、時刻ｔ＋１（ｔは自然数）における観測データに対する（ｔ＋１）次学習モデルの出力誤差が所定量より大きいサンプルを、前記ターゲットサンプル群からソースサンプル群に移動させる移動処理を実行する移動部と、
前記移動処理後の前記ターゲットサンプル群に含まれる少なくとも１つのサンプル、及び前記移動処理後の前記ソースサンプル群に含まれる少なくとも１つのサンプルの、時刻ｔから時刻Ｔまでの観測データを少なくとも用いて、複数の弱学習器を生成し、
生成した前記複数の弱学習器の各々と、生成した前記複数の弱学習器の各々について、前記移動処理後の前記ターゲットサンプル群に含まれる前記少なくとも１つのサンプルの時刻ｔにおける観測データを用いて評価される分類誤差と、に少なくとも基づいて、ｔ次学習モデルを生成する生成部と
を備え、
前記観測データは、時刻Ｔまでの間の特定の時刻におけるサンプルの状態及び行動を少なくとも含み、
前記ｔ次学習モデルは、時刻ｔにおける状態を少なくとも入力として、時刻ｔにおける行動を出力する
学習モデル生成装置。
（付記２）
前記移動部は、前記ソースサンプル群に含まれるサンプルを破棄した後、時刻ｔ＋１における観測データに対する（ｔ＋１）次学習モデルの出力誤差が所定量より大きいサンプルを、ソースサンプル群に移動させる
付記１に記載の学習モデル生成装置。
（付記３）
前記複数の弱学習器は、第１弱学習器及び第２弱学習器を少なくとも含み、
前記生成部は、
サンプル毎に設定された重みで重み付けされた観測データを用いて前記第１弱学習器を生成し、
前記移動処理後の前記ターゲットサンプル群に含まれるサンプルのうち、時刻ｔにおける観測データに対する前記第１弱学習器の出力誤差が所定量より大きいサンプルについては、重みを増加させ、
前記移動処理後の前記ソースサンプル群に含まれるサンプルのうち、時刻ｔにおける観測データに対する前記第１弱学習器の出力誤差が所定量より大きいサンプルについては、重みを減少させ、
サンプル毎に更新された重みで重み付けされた観測データを用いて前記第２弱学習器を生成する
付記１又は２に記載の学習モデル生成装置。
（付記４）
前記移動処理後の前記ターゲットサンプル群に含まれるサンプルのうち、時刻ｔにおける観測データに対する前記第１弱学習器の出力誤差が所定量より大きいサンプルについて、前記第１弱学習器について評価される前記分類誤差に応じて重みを増加させ、
前記移動処理後の前記ソースサンプル群に含まれるサンプルのうち、時刻ｔにおける観測データに対する前記第１弱学習器の出力誤差が所定量より大きいサンプルについて、予め定められた係数に応じて重みを減少させる
付記３に記載の学習モデル生成装置。
（付記５）
前記生成部は、前記移動処理後の前記ソースサンプル群に含まれる各サンプルについて、そのサンプルの時刻ｔ＋１における観測データに対する（ｔ＋１）次学習モデルの出力誤差に基づいて、そのサンプルの観測データの重みの初期値、及びそのサンプルの重みを更新する場合の重みの減少量の少なくとも一方を決定する
付記３又は４に記載の学習モデル生成装置。
（付記６）
前記生成部は、
前記移動処理後の前記ソースサンプル群に含まれる各サンプルについて、そのサンプルの時刻ｔ＋１における観測データに対する（ｔ＋１）次学習モデルの出力誤差が大きいほど、そのサンプルの観測データの重みの初期値を小さくする
または
前記移動処理後の前記ソースサンプル群に含まれる各サンプルについて、そのサンプルの時刻ｔ＋１における観測データに対する（ｔ＋１）次学習モデルの出力誤差が大きいほど、そのサンプルの重みを更新する場合の重みの減少量を大きくする
付記５に記載の学習モデル生成装置。
（付記７）
前記観測データは、時刻Ｔまでの間の特定の時刻における状態を有するサンプルが、前記特定の時刻における行動により得られる効果の量を含む
付記１から６のいずれか１項に記載の学習モデル生成装置。
（付記８）
前記生成部は、前記複数の弱学習器を生成する場合に、前記移動処理後の前記ソースサンプル群に含まれる各サンプルについては、そのサンプルの時刻ｔ＋１における効果として、時刻ｔ＋１における観測データに含まれる効果の量から（ｔ＋１）次学習モデルの出力誤差に応じた量を減じた情報を用いる
付記７に記載の学習モデル生成装置。
（付記９）
前記生成部は、前記効果の量を減じる場合に、時刻ｔ＋１における（ｔ＋１）次学習モデルの出力誤差が大きいサンプルほど減じる量を大きくする
付記８に記載の学習モデル生成装置。
（付記１０）
前記生成部は、前記複数の弱学習器の各々を生成する場合に、コストセンシティブ学習を用いる
付記１から９のいずれか１項に記載の学習モデル生成装置。
（付記１１）
前記生成部は、
生成した前記複数の弱学習器の各々について、その弱学習器の信頼度を、その弱学習器について、前記移動処理後の前記ターゲットサンプル群に含まれる少なくとも１つのサンプルの時刻ｔの観測データを用いて評価される前記分類誤差、に少なくとも基づいて算出し、
生成した前記複数の弱学習器の各々に対して、対応する信頼度で重み付けしたものを組み合わせることで、前記ｔ次学習モデルを生成する
付記１から１０のいずれか１項に記載の学習モデル生成装置。
（付記１２）
ターゲットサンプル群に含まれる複数のサンプルのうち、時刻ｔ＋１（ｔは自然数）における観測データに対する（ｔ＋１）次学習モデルの出力誤差が所定量より大きいサンプルを、前記ターゲットサンプル群からソースサンプル群に移動させる移動処理を実行し、
前記移動処理後の前記ターゲットサンプル群に含まれる少なくとも１つのサンプル、及び前記移動処理後の前記ソースサンプル群に含まれる少なくとも１つのサンプルの、時刻ｔから時刻Ｔまでの観測データを少なくとも用いて、複数の弱学習器を生成し、
生成した前記複数の弱学習器の各々と、生成した前記複数の弱学習器の各々について、前記移動処理後の前記ターゲットサンプル群に含まれる前記少なくとも１つのサンプルの時刻ｔにおける観測データを用いて評価される分類誤差と、に少なくとも基づいて、ｔ次学習モデルを生成する
学習モデルの生成方法であって、
前記観測データは、時刻Ｔまでの間の特定の時刻におけるサンプルの状態及び行動を少なくとも含み、
前記ｔ次学習モデルは、時刻ｔにおける状態を少なくとも入力として、時刻ｔにおける行動を出力する
生成方法。
（付記１３）
コンピュータに、
ターゲットサンプル群に含まれる複数のサンプルのうち、時刻ｔ＋１（ｔは自然数）における観測データに対する（ｔ＋１）次学習モデルの出力誤差が所定量より大きいサンプルを、前記ターゲットサンプル群からソースサンプル群に移動させる移動処理と、
前記移動処理後の前記ターゲットサンプル群に含まれる少なくとも１つのサンプル、及び前記移動処理後の前記ソースサンプル群に含まれる少なくとも１つのサンプルの、時刻ｔから時刻Ｔまでの観測データを少なくとも用いて、複数の弱学習器を生成する処理と、
生成した前記複数の弱学習器の各々と、生成した前記複数の弱学習器の各々について、前記移動処理後の前記ターゲットサンプル群に含まれる前記少なくとも１つのサンプルの時刻ｔにおける観測データを用いて評価される分類誤差と、に少なくとも基づいて、ｔ次学習モデルを生成する処理と
を実行させるためのプログラムであって、
前記観測データは、時刻Ｔまでの間の特定の時刻におけるサンプルの状態及び行動を少なくとも含み、
前記ｔ次学習モデルは、時刻ｔにおける状態を少なくとも入力として、時刻ｔにおける行動を出力する
プログラム。
（付記１）
ターゲットサンプル群に含まれる複数のサンプルのうち、時刻ｔ＋１（ｔは自然数）における観測データに対する（ｔ＋１）次学習モデルの出力誤差が所定量より大きいサンプルを、前記ターゲットサンプル群からソースサンプル群に移動させる移動処理を実行する移動部と、
前記移動処理後の前記ターゲットサンプル群に含まれる少なくとも１つのサンプル、及び前記移動処理後の前記ソースサンプル群に含まれる少なくとも１つのサンプルの、時刻ｔから時刻Ｔまでの観測データを少なくとも用いて、複数の弱学習器を生成し、
生成した前記複数の弱学習器の各々と、生成した前記複数の弱学習器の各々について、前記移動処理後の前記ターゲットサンプル群に含まれる前記少なくとも１つのサンプルの時刻ｔにおける観測データを用いて評価される分類誤差と、に少なくとも基づいて、ｔ次学習モデルを生成する生成部と
を備え、
前記観測データは、時刻Ｔまでの間の特定の時刻におけるサンプルの状態及び行動を少なくとも含み、
前記ｔ次学習モデルは、時刻ｔにおける状態を少なくとも入力として、時刻ｔにおける行動を出力する
学習モデル生成装置。
（付記２）
前記移動部は、前記ソースサンプル群に含まれるサンプルを破棄した後、時刻ｔ＋１における観測データに対する（ｔ＋１）次学習モデルの出力誤差が所定量より大きいサンプルを、ソースサンプル群に移動させる
付記１に記載の学習モデル生成装置。
（付記３）
前記複数の弱学習器は、第１弱学習器及び第２弱学習器を少なくとも含み、
前記生成部は、
サンプル毎に設定された重みで重み付けされた観測データを用いて前記第１弱学習器を生成し、
前記移動処理後の前記ターゲットサンプル群に含まれるサンプルのうち、時刻ｔにおける観測データに対する前記第１弱学習器の出力誤差が所定量より大きいサンプルについては、重みを増加させ、
前記移動処理後の前記ソースサンプル群に含まれるサンプルのうち、時刻ｔにおける観測データに対する前記第１弱学習器の出力誤差が所定量より大きいサンプルについては、重みを減少させ、
サンプル毎に更新された重みで重み付けされた観測データを用いて前記第２弱学習器を生成する
付記１又は２に記載の学習モデル生成装置。
（付記４）
前記移動処理後の前記ターゲットサンプル群に含まれるサンプルのうち、時刻ｔにおける観測データに対する前記第１弱学習器の出力誤差が所定量より大きいサンプルについて、前記第１弱学習器について評価される前記分類誤差に応じて重みを増加させ、
前記移動処理後の前記ソースサンプル群に含まれるサンプルのうち、時刻ｔにおける観測データに対する前記第１弱学習器の出力誤差が所定量より大きいサンプルについて、予め定められた係数に応じて重みを減少させる
付記３に記載の学習モデル生成装置。
（付記５）
前記生成部は、前記移動処理後の前記ソースサンプル群に含まれる各サンプルについて、そのサンプルの時刻ｔ＋１における観測データに対する（ｔ＋１）次学習モデルの出力誤差に基づいて、そのサンプルの観測データの重みの初期値、及びそのサンプルの重みを更新する場合の重みの減少量の少なくとも一方を決定する
付記３又は４に記載の学習モデル生成装置。
（付記６）
前記生成部は、
前記移動処理後の前記ソースサンプル群に含まれる各サンプルについて、そのサンプルの時刻ｔ＋１における観測データに対する（ｔ＋１）次学習モデルの出力誤差が大きいほど、そのサンプルの観測データの重みの初期値を小さくする
または
前記移動処理後の前記ソースサンプル群に含まれる各サンプルについて、そのサンプルの時刻ｔ＋１における観測データに対する（ｔ＋１）次学習モデルの出力誤差が大きいほど、そのサンプルの重みを更新する場合の重みの減少量を大きくする
付記５に記載の学習モデル生成装置。
（付記７）
前記観測データは、時刻Ｔまでの間の特定の時刻における状態を有するサンプルが、前記特定の時刻における行動により得られる効果の量を含む
付記１から６のいずれか１項に記載の学習モデル生成装置。
（付記８）
前記生成部は、前記複数の弱学習器を生成する場合に、前記移動処理後の前記ソースサンプル群に含まれる各サンプルについては、そのサンプルの時刻ｔ＋１における効果として、時刻ｔ＋１における観測データに含まれる効果の量から（ｔ＋１）次学習モデルの出力誤差に応じた量を減じた情報を用いる
付記７に記載の学習モデル生成装置。
（付記９）
前記生成部は、前記効果の量を減じる場合に、時刻ｔ＋１における（ｔ＋１）次学習モデルの出力誤差が大きいサンプルほど減じる量を大きくする
付記８に記載の学習モデル生成装置。
（付記１０）
前記生成部は、前記複数の弱学習器の各々を生成する場合に、コストセンシティブ学習を用いる
付記１から９のいずれか１項に記載の学習モデル生成装置。
（付記１１）
前記生成部は、
生成した前記複数の弱学習器の各々について、その弱学習器の信頼度を、その弱学習器について、前記移動処理後の前記ターゲットサンプル群に含まれる少なくとも１つのサンプルの時刻ｔの観測データを用いて評価される前記分類誤差、に少なくとも基づいて算出し、
生成した前記複数の弱学習器の各々に対して、対応する信頼度で重み付けしたものを組み合わせることで、前記ｔ次学習モデルを生成する
付記１から１０のいずれか１項に記載の学習モデル生成装置。
（付記１２）
ターゲットサンプル群に含まれる複数のサンプルのうち、時刻ｔ＋１（ｔは自然数）における観測データに対する（ｔ＋１）次学習モデルの出力誤差が所定量より大きいサンプルを、前記ターゲットサンプル群からソースサンプル群に移動させる移動処理を実行し、
前記移動処理後の前記ターゲットサンプル群に含まれる少なくとも１つのサンプル、及び前記移動処理後の前記ソースサンプル群に含まれる少なくとも１つのサンプルの、時刻ｔから時刻Ｔまでの観測データを少なくとも用いて、複数の弱学習器を生成し、
生成した前記複数の弱学習器の各々と、生成した前記複数の弱学習器の各々について、前記移動処理後の前記ターゲットサンプル群に含まれる前記少なくとも１つのサンプルの時刻ｔにおける観測データを用いて評価される分類誤差と、に少なくとも基づいて、ｔ次学習モデルを生成する
学習モデルの生成方法であって、
前記観測データは、時刻Ｔまでの間の特定の時刻におけるサンプルの状態及び行動を少なくとも含み、
前記ｔ次学習モデルは、時刻ｔにおける状態を少なくとも入力として、時刻ｔにおける行動を出力する
生成方法。
（付記１３）
コンピュータに、
ターゲットサンプル群に含まれる複数のサンプルのうち、時刻ｔ＋１（ｔは自然数）における観測データに対する（ｔ＋１）次学習モデルの出力誤差が所定量より大きいサンプルを、前記ターゲットサンプル群からソースサンプル群に移動させる移動処理と、
前記移動処理後の前記ターゲットサンプル群に含まれる少なくとも１つのサンプル、及び前記移動処理後の前記ソースサンプル群に含まれる少なくとも１つのサンプルの、時刻ｔから時刻Ｔまでの観測データを少なくとも用いて、複数の弱学習器を生成する処理と、
生成した前記複数の弱学習器の各々と、生成した前記複数の弱学習器の各々について、前記移動処理後の前記ターゲットサンプル群に含まれる前記少なくとも１つのサンプルの時刻ｔにおける観測データを用いて評価される分類誤差と、に少なくとも基づいて、ｔ次学習モデルを生成する処理と
を実行させるためのプログラムであって、
前記観測データは、時刻Ｔまでの間の特定の時刻におけるサンプルの状態及び行動を少なくとも含み、
前記ｔ次学習モデルは、時刻ｔにおける状態を少なくとも入力として、時刻ｔにおける行動を出力する
プログラム。
【符号の説明】
【0117】
１ システム
１０，１０ａ 学習モデル生成装置
１１ 記憶部
１２，１２ａ 移動部
１３，１３ａ 生成部
１４ 弱学習器生成部
１５ 信頼度算出部
１６ 重み更新部
１７ 学習モデル生成部
１８ 出力部
２０ 学習モデル記憶装置
３０ 推定装置
１００，１２０，１３０，９００，９００’，９００’’，９０１，９０２，９０３，９０４ ブロック
１０００ コンピュータ
１０１０ プロセッサ
１０２０ 記憶部
１０３０ ＲＯＭ
１０４０ ＲＡＭ
１０５０ 通信インタフェース（ＩＦ）
１０６０ ユーザインタフェース（ＩＦ）
ＴＧ ターゲットサンプル群
ＳＧ ソースサンプル群
１０，１０ａ 学習モデル生成装置
１１ 記憶部
１２，１２ａ 移動部
１３，１３ａ 生成部
１４ 弱学習器生成部
１５ 信頼度算出部
１６ 重み更新部
１７ 学習モデル生成部
１８ 出力部
２０ 学習モデル記憶装置
３０ 推定装置
１００，１２０，１３０，９００，９００’，９００’’，９０１，９０２，９０３，９０４ ブロック
１０００ コンピュータ
１０１０ プロセッサ
１０２０ 記憶部
１０３０ ＲＯＭ
１０４０ ＲＡＭ
１０５０ 通信インタフェース（ＩＦ）
１０６０ ユーザインタフェース（ＩＦ）
ＴＧ ターゲットサンプル群
ＳＧ ソースサンプル群
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図13】
【図14】
【図15】
【図16】
【図17】
【図18】