知財求人 - 知財ポータルサイト「IP Force」
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2023027930
(43)【公開日】2023-03-03
(54)【発明の名称】モデル構築支援システム、およびモデル構築支援方法
(51)【国際特許分類】
G06Q 10/04 20230101AFI20230224BHJP
【ＦＩ】
G06Q10/04
【審査請求】未請求
【請求項の数】15
【出願形態】ＯＬ
(21)【出願番号】P 2021133298
(22)【出願日】2021-08-18
(71)【出願人】
【識別番号】000005108
【氏名又は名称】株式会社日立製作所
(74)【代理人】
【識別番号】110000176
【氏名又は名称】弁理士法人一色国際特許事務所
(72)【発明者】
【氏名】室 啓朗
【テーマコード（参考）】
5L049
【Ｆターム（参考）】
5L049AA04
(57)【要約】
【課題】機器に生じる事象を精度よく予測するための予測モデルの構築を支援する。
【解決手段】モデル構築支援システムは、入力される説明変数に基づき、機器について予測される事象に関する目的変数を出力する予測モデルの構築に用いる識別特徴量、および予測モデルによる目的変数の算出精度を向上させる説明変数のグループへの分割方法の探索を支援する。モデル構築支援システムは、説明変数を複数のグループに分割し、グループの夫々の説明変数に基づき設定した該識別特徴量の精度Ｃを算出し、精度Ｃと説明変数が分割前の説明変数の全体に対して占める割合であるカバー率Ｓとに基づき、グループ毎の識別特徴量のスコアＳＦを算出する。モデル構築支援システムは、説明変数の分割に用いたグループ分割特徴量の精度Ｄを算出し、スコアＳＦとグループの夫々の精度Ｄとに基づきグループの夫々のスコアＳＧを算出する。
【選択図】図９
【解決手段】モデル構築支援システムは、入力される説明変数に基づき、機器について予測される事象に関する目的変数を出力する予測モデルの構築に用いる識別特徴量、および予測モデルによる目的変数の算出精度を向上させる説明変数のグループへの分割方法の探索を支援する。モデル構築支援システムは、説明変数を複数のグループに分割し、グループの夫々の説明変数に基づき設定した該識別特徴量の精度Ｃを算出し、精度Ｃと説明変数が分割前の説明変数の全体に対して占める割合であるカバー率Ｓとに基づき、グループ毎の識別特徴量のスコアＳＦを算出する。モデル構築支援システムは、説明変数の分割に用いたグループ分割特徴量の精度Ｄを算出し、スコアＳＦとグループの夫々の精度Ｄとに基づきグループの夫々のスコアＳＧを算出する。
【選択図】図９
【特許請求の範囲】
【請求項1】
入力される説明変数に基づき、機器について予測される事象に関する目的変数を出力する予測モデルの構築に用いる特徴量である識別特徴量、および前記予測モデルによる前記目的変数の算出精度を向上させる前記説明変数のグループへの分割方法についての探索を支援する、情報処理システムであって、
プロセッサおよび記憶素子を有する情報処理装置を用いて構成され、
前記説明変数を複数のグループに分割し、前記グループの夫々の前記説明変数に基づき前記識別特徴量を設定した場合における当該識別特徴量の精度Ｃを算出し、
前記識別特徴量の精度Ｃと前記グループの夫々の前記説明変数が分割前の前記説明変数の全体に対して占める割合であるカバー率Ｓとに基づき、前記グループ毎の前記識別特徴量のスコアＳＦを算出し、算出した前記スコアＳＦに基づく情報を生成する、
モデル構築支援システム。
プロセッサおよび記憶素子を有する情報処理装置を用いて構成され、
前記説明変数を複数のグループに分割し、前記グループの夫々の前記説明変数に基づき前記識別特徴量を設定した場合における当該識別特徴量の精度Ｃを算出し、
前記識別特徴量の精度Ｃと前記グループの夫々の前記説明変数が分割前の前記説明変数の全体に対して占める割合であるカバー率Ｓとに基づき、前記グループ毎の前記識別特徴量のスコアＳＦを算出し、算出した前記スコアＳＦに基づく情報を生成する、
モデル構築支援システム。
【請求項2】
請求項１に記載のモデル構築支援システムであって、
前記説明変数の前記グループへの分割に用いた特徴量であるグループ分割特徴量の精度Ｄを算出し、
前記スコアＳＦと前記グループの夫々の前記精度Ｄとに基づき、前記グループの夫々のスコアＳＧを算出し、算出した前記スコアＳＦに基づく情報を生成する、
モデル構築支援システム。
前記説明変数の前記グループへの分割に用いた特徴量であるグループ分割特徴量の精度Ｄを算出し、
前記スコアＳＦと前記グループの夫々の前記精度Ｄとに基づき、前記グループの夫々のスコアＳＧを算出し、算出した前記スコアＳＦに基づく情報を生成する、
モデル構築支援システム。
【請求項3】
請求項２に記載のモデル構築支援システムであって、
前記スコアＳＧを集計することにより前記分割方法についてのスコアであるスコアＳＤを算出する、
モデル構築支援システム。
前記スコアＳＧを集計することにより前記分割方法についてのスコアであるスコアＳＤを算出する、
モデル構築支援システム。
【請求項4】
請求項３に記載のモデル構築支援システムであって、
前記スコアＳＦ、前記スコアＳＧ、および前記スコアＳＤの少なくともいずれかに基づく情報を、前記グループ、前記分割方法、および前記特徴量を木構造で表したグラフに併記した情報を生成する、
モデル構築支援システム。
前記スコアＳＦ、前記スコアＳＧ、および前記スコアＳＤの少なくともいずれかに基づく情報を、前記グループ、前記分割方法、および前記特徴量を木構造で表したグラフに併記した情報を生成する、
モデル構築支援システム。
【請求項5】
請求項３に記載のモデル構築支援システムであって、
前記スコアＳＤに対する、当該スコアＳＤの集計に用いた前記スコアＳＧまたは前記スコアＳＦの影響の度合いを示す値である影響度に基づき、前記識別特徴量と前記グループ分割特徴量を改善するための指針となる値である報酬を算出する、
モデル構築支援システム。
前記スコアＳＤに対する、当該スコアＳＤの集計に用いた前記スコアＳＧまたは前記スコアＳＦの影響の度合いを示す値である影響度に基づき、前記識別特徴量と前記グループ分割特徴量を改善するための指針となる値である報酬を算出する、
モデル構築支援システム。
【請求項6】
請求項５に記載のモデル構築支援システムであって、
前記識別特徴量の探索の履歴を示す情報を記憶し、
前記報酬に、前記履歴に基づき求められる、前記精度Ｃを向上させる前記識別特徴量が将来探索される確率である成功確率を反映する、
モデル構築支援システム。
前記識別特徴量の探索の履歴を示す情報を記憶し、
前記報酬に、前記履歴に基づき求められる、前記精度Ｃを向上させる前記識別特徴量が将来探索される確率である成功確率を反映する、
モデル構築支援システム。
【請求項7】
請求項６に記載のモデル構築支援システムであって、
前記成功確率は、過去に探索された前記特徴量の数、または前記特徴量の探索に際し過去に用いた前記説明変数の量に基づき算出される、
モデル構築支援システム。
前記成功確率は、過去に探索された前記特徴量の数、または前記特徴量の探索に際し過去に用いた前記説明変数の量に基づき算出される、
モデル構築支援システム。
【請求項8】
請求項５に記載のモデル構築支援システムであって、
前記精度Ｃ、前記カバー率Ｓ、前記スコアＳＦ、前記スコアＳＧ、前記スコアＳＤ、および前記報酬の少なくともいずれかに基づく情報を、前記グループ、前記分割の種類、および前記特徴量を木構造で表したグラフに併記した情報を生成して出力する、
モデル構築支援システム。
前記精度Ｃ、前記カバー率Ｓ、前記スコアＳＦ、前記スコアＳＧ、前記スコアＳＤ、および前記報酬の少なくともいずれかに基づく情報を、前記グループ、前記分割の種類、および前記特徴量を木構造で表したグラフに併記した情報を生成して出力する、
モデル構築支援システム。
【請求項9】
請求項１に記載のモデル構築支援システムであって、
その横軸方向に複数の前記機器をグループ別に列挙し、その縦軸方向には、前記機器について取得される前記特徴量を列挙し、機器と特徴量との交点に位置する各セルに、当該機器の当該特徴量の前記機器全体の平均値に対する差の大きさに応じた濃度または色で表示した情報を生成する、
モデル構築支援システム。
その横軸方向に複数の前記機器をグループ別に列挙し、その縦軸方向には、前記機器について取得される前記特徴量を列挙し、機器と特徴量との交点に位置する各セルに、当該機器の当該特徴量の前記機器全体の平均値に対する差の大きさに応じた濃度または色で表示した情報を生成する、
モデル構築支援システム。
【請求項10】
入力される説明変数に基づき、機器について予測される事象に関する目的変数を出力する予測モデルの構築に用いる特徴量である識別特徴量、および前記予測モデルによる前記目的変数の算出精度を向上させる前記説明変数のグループへの分割方法についての探索を支援するための、情報処理システムによる情報処理方法であって、
プロセッサおよび記憶素子を有する情報処理装置が、
前記説明変数を複数のグループに分割し、前記グループの夫々の前記説明変数に基づき前記識別特徴量を設定した場合における当該識別特徴量の精度Ｃを算出するステップと、
前記識別特徴量の精度Ｃと前記グループの夫々の前記説明変数が分割前の前記説明変数の全体に対して占める割合であるカバー率Ｓとに基づき、前記グループ毎の前記識別特徴量のスコアＳＦを算出し、算出した前記スコアＳＦに基づく情報を生成するステップと、
を実行する、モデル構築支援方法。
プロセッサおよび記憶素子を有する情報処理装置が、
前記説明変数を複数のグループに分割し、前記グループの夫々の前記説明変数に基づき前記識別特徴量を設定した場合における当該識別特徴量の精度Ｃを算出するステップと、
前記識別特徴量の精度Ｃと前記グループの夫々の前記説明変数が分割前の前記説明変数の全体に対して占める割合であるカバー率Ｓとに基づき、前記グループ毎の前記識別特徴量のスコアＳＦを算出し、算出した前記スコアＳＦに基づく情報を生成するステップと、
を実行する、モデル構築支援方法。
【請求項11】
請求項１０に記載のモデル構築支援方法であって、
前記情報処理装置が、
前記説明変数の前記グループへの分割に用いた特徴量であるグループ分割特徴量の精度Ｄを算出するステップと、
前記スコアＳＦと前記グループの夫々の前記精度Ｄとに基づき、前記グループの夫々のスコアＳＧを算出し、算出した前記スコアＳＦに基づく情報を生成するステップと、
を更に実行する、モデル構築支援方法。
前記情報処理装置が、
前記説明変数の前記グループへの分割に用いた特徴量であるグループ分割特徴量の精度Ｄを算出するステップと、
前記スコアＳＦと前記グループの夫々の前記精度Ｄとに基づき、前記グループの夫々のスコアＳＧを算出し、算出した前記スコアＳＦに基づく情報を生成するステップと、
を更に実行する、モデル構築支援方法。
【請求項12】
請求項１１に記載のモデル構築支援方法であって、
前記情報処理装置が、
前記スコアＳＧを集計することにより前記分割方法についてのスコアであるスコアＳＤを算出するステップ
を更に実行する、モデル構築支援方法。
前記情報処理装置が、
前記スコアＳＧを集計することにより前記分割方法についてのスコアであるスコアＳＤを算出するステップ
を更に実行する、モデル構築支援方法。
【請求項13】
請求項１２に記載のモデル構築支援方法であって、
前記情報処理装置が、
前記スコアＳＦ、前記スコアＳＧ、および前記スコアＳＤの少なくともいずれかに基づく情報を、前記グループ、前記分割方法、および前記特徴量を木構造で表したグラフに併記した情報を生成するステップ、
を更に実行する、モデル構築支援方法。
前記情報処理装置が、
前記スコアＳＦ、前記スコアＳＧ、および前記スコアＳＤの少なくともいずれかに基づく情報を、前記グループ、前記分割方法、および前記特徴量を木構造で表したグラフに併記した情報を生成するステップ、
を更に実行する、モデル構築支援方法。
【請求項14】
請求項１２に記載のモデル構築支援方法であって、
前記情報処理装置が、
前記スコアＳＤに対する、当該スコアＳＤの集計に用いた前記スコアＳＧまたは前記スコアＳＦの影響の度合いを示す値である影響度に基づき、前記識別特徴量と前記グループ分割特徴量を改善するための指針となる値である報酬を算出するステップ
を更に実行する、モデル構築支援方法。
前記情報処理装置が、
前記スコアＳＤに対する、当該スコアＳＤの集計に用いた前記スコアＳＧまたは前記スコアＳＦの影響の度合いを示す値である影響度に基づき、前記識別特徴量と前記グループ分割特徴量を改善するための指針となる値である報酬を算出するステップ
を更に実行する、モデル構築支援方法。
【請求項15】
請求項１４に記載のモデル構築支援方法であって、
前記情報処理装置が、
前記識別特徴量の探索の履歴を示す情報を記憶するステップと、
前記報酬に、前記履歴に基づき求められる、前記精度Ｃを向上させる前記識別特徴量が将来探索される確率である成功確率を反映するステップと、
を更に実行する、モデル構築支援方法。
前記情報処理装置が、
前記識別特徴量の探索の履歴を示す情報を記憶するステップと、
前記報酬に、前記履歴に基づき求められる、前記精度Ｃを向上させる前記識別特徴量が将来探索される確率である成功確率を反映するステップと、
を更に実行する、モデル構築支援方法。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、モデル構築支援システム、およびモデル構築支援方法に関する。
【背景技術】
【0002】
特許文献１には、知識ベースにマッピングされたセンサデータからディープラーニングを用いて特徴量を抽出し、抽出した特徴量に基づきセンサデータを分析するための機械学習モデルを生成して予知分析を行う、プロセッサ実装方法について記載されている。
【0003】
特許文献２には、試行錯誤による実験の多様性を確保し実験を効率化することを目的として構成された情報処理装置（コンピュータ）について記載されている。情報処理装置は、既存のデータから回帰モデルにより実験計画を生成し、各実験計画における特徴間の一致性を示すグラフを表示してユーザに特徴量を選択させる。
【0004】
特許文献３には、ＯＬＡＰ（Online Analytical Processing）ツールを利用した多次元データ分析において、分析担当者による分析対象とするデータ項目の組の選定に要する試行錯誤の削減等を目的として構成されたシステムについて記載されている。上記システムは、多次元データ分析の分析軸を推薦する処理、多次元データのデータ項目間のデータの関連度を算出する処理、上記関連度に基づき分析対象に適するデータ項目の組を抽出する処理、多次元データ分析の際、上記抽出したデータ項目の組を分析者に対して推薦する分析軸として提示する処理を行う。
【0005】
特許文献４には、属性の粒度をユーザが試行錯誤することなく変更することができるようにすることを目的として構成されたデータマイニングシステムについて記載されている。データマイニングシステムは、複数の属性と属性値とを含むデータから属性を選択し、予め記憶する属性に対応する分類を階層的にあらわす分類階層に基づき、選択した属性の属性値をグループ化し、グループ化した属性値と分析対象の属性との関連性の強さを示す検定量を算出し、算出した検定量に基づきグループ化した属性値が分析対象の属性との関係において特徴的であるか否かを判定し、特徴的でないと判定すると、分類階層のうち、前回のグループ化で用いた階層よりも上位の階層の分類に基づきグループ化処理を再度実行する。
【先行技術文献】
【特許文献】
【0006】
【特許文献1】米国特許第１０６６４６９８号明細書
【特許文献2】米国特許第１０３１８６７４号明細書
【特許文献3】特開２０１２－１０３８４１号公報
【特許文献4】特開２０１１－０３４４５７号公報
【発明の概要】
【発明が解決しようとする課題】
【0007】
多数の機器の運用が行われる現場においては、機器の故障の発生を精度よく予測することについての強いニーズが存在する。機器について生じる故障等の事象の発生を高い精度で予測することができれば、機器に生じるトラブルを未然に防ぐことができるとともに、機器の効率的な運用が可能になる。例えば、データセンタやシステムセンタのような現場では、数万台に上る大量の記憶ドライブ（フラッシュモジュールドライブ（ＦＭＤ（Flash Module Drive）等）が運用されており、こうした記憶ドライブについて精度の高い故障予測モデルを構築することができれば、トラブルの発生を未然に防ぐことができるととも
に、効率的かつ安定したシステムの運用が可能になる。
に、効率的かつ安定したシステムの運用が可能になる。
【0008】
しかし、上記のような故障予測モデルの構築に際しては、次のような課題を解決する必要がある。例えば、実際の機器の運用現場においては、複数の故障モードや運転モードが存在し、これらが多様かつ複雑である場合、適切な特徴量を探索するために多様な要因分析について煩雑な進捗管理を行う必要があり、多大な作業負荷が発生する。また、機器の故障頻度が少ない場合、品種の際や運転モードの差異（月末に使用頻度が上昇する場合等）により、故障の兆候を把握することは困難であり、決定木、ランダムフォレスト、ＸＧＢｏｏｓｔ等の従来の識別手法では当該課題を解決することができない。また、一般に特徴量の計算式は明らかでない場合が多く、ＡｕｔｏＭＬ、遺伝的アルゴリズム、強化学習等の探索手法を用いる場合は特徴量を予め人が用意しておく必要がある。
【0009】
特許文献１～３では、特徴量のスコアを計算して特徴量を探索するが、故障モードや運転モードの多様性については考慮されていない。また、特許文献４では、グループ化した属性値が分析対象の属性との関係において特徴的であるか否かを判定するが、予めグループの階層を人が用意しておく必要がある。
【0010】
本発明はこのような背景に鑑みてなされたものであり、機器に生じる事象を精度よく予測するための予測モデルの構築を支援する、予測モデル構築支援システム、および予測モデル構築支援方法を提供することを目的とする。
【課題を解決するための手段】
【0011】
上記目的を達成するための本発明の一つは、入力される説明変数に基づき、機器について予測される事象に関する目的変数を出力する予測モデルの構築に用いる特徴量である識別特徴量、および予測モデルによる目的変数の算出精度を向上させる説明変数のグループへの分割方法についての探索を支援する、情報処理システム（モデル構築支援システム）であって、プロセッサおよび記憶素子を有する情報処理装置を用いて構成され、前記説明変数を複数のグループに分割し、前記グループの夫々の前記説明変数に基づき前記識別特徴量を設定した場合における当該識別特徴量の精度Ｃを算出し、前記識別特徴量の精度Ｃと前記グループの夫々の前記説明変数が分割前の前記説明変数の全体に対して占める割合であるカバー率Ｓとに基づき、前記グループ毎の前記識別特徴量のスコアＳＦを算出し、算出した前記スコアＳＦに基づく情報を生成する。
【0012】
尚、上記した以外の課題、構成および効果は、以下の発明を実施するための形態の説明により明らかにされる。
【発明の効果】
【0013】
本発明によれば、機器に生じる事象を精度よく予測するための予測モデルの構築を支援することができる。
【図面の簡単な説明】
【0014】
【図1A】説明変数のグループへの分割を考慮する必要がある場合を説明する図である。
【図1B】説明変数のグループへの分割を考慮する必要がある場合を説明する図である。
【図2】説明変数をグループに分割した例を示す図である。
【図3A】スコアの算出例を示す図である。
【図3B】スコアの算出例を示す図である。
【図3C】スコアの算出例を示す図である。
【図4A】スコアの他の算出例を示す図である。
【図4B】スコアの他の算出例を示す図である。
【図5A】スコアの他の算出例を示す図である。
【図5B】スコアの他の算出例を示す図である。
【図6】モデル構築支援情報の一例である。
【図7A】モデル構築支援システムのシステム構成図の一例である。
【図7B】モデル構築支援システムの構成に用いる情報処理装置の一例である。
【図8】モデル構築支援システムにて取り扱われる主な情報を示す図である。
【図9】モデル構築支援システムが備える主な機能を示す図である。
【図10】時系列データの一例である。
【図11A】グループ情報の一例である。
【図11B】グループ情報の一例である。
【図11C】グループ情報の一例である。
【図12】特徴量ライブラリの一例である。
【図13】特徴量テーブルの一例である。
【図14A】プロセス木の一例を示すＵＭＬ図である。
【図14B】プロセス木の構成要素の造成を示す図である。
【図15】メイン処理を説明するフローチャートである。
【図16】プロセス木に対する主な操作の一覧を示す図である。
【図17】（ａ）～（ｅ）操作（処理）に対するプロセス木の変化を説明する図である。
【図18】データ登録処理の詳細を説明するフローチャートである。
【図19A】目的変数登録処理の詳細を説明するフローチャートである。
【図19B】目的変数の一例である。
【図19C】目的変数を登録した後のプロセス木の構造を示す図である。
【図20】識別特徴量（DFS）登録処理の詳細を説明するフローチャートである。
【図21】グループ分割処理の詳細を説明するフローチャートである。
【図22】グループ分割特徴量（GFS）登録処理の詳細を説明するフローチャートである。
【図23A】グループ分割特徴量（GFS）の登録とグループ分割特徴量（GFS）によるグループ分割処理の詳細を説明するフローチャートである。
【図23B】グループ分割特徴量（GFS）の登録とグループ分割特徴量（GFS）によるグループ分割処理の実行後のプロセス木の構造の一例である。
【図24A】スコア計算処理の詳細を説明するフローチャートである。
【図25】最新結果の取得処理の詳細を説明するフローチャートである。
【図26A】最新結果の取得処理の実行前のプロセス木の構造の例を示す図である。
【図26B】最新結果の取得処理の実行後のプロセス木の構造の例を示す図である。
【図27A】報酬の計算処理の詳細を説明するフローチャートである。
【図28A】分析者等が目視作業により時系列データを分類した結果に基づき、時系列データをグループに分割する場合の一例を示す図である。る。
【図29A】特徴量テーブルの生成方法の一例を示す図である。
【図29B】特徴量テーブルの生成方法の一例を示す図である。
【図30】特徴量の記述例を示す図である。
【図31】進捗確認情報の一例である。
【図32】特徴量の探索を試行錯誤により行う場合を説明する図である。
【発明を実施するための形態】
【0015】
以下、本発明の実施形態について図面を参照しつつ詳細に説明する。尚、本発明は、他の種々の形態でも実施することが可能である。以下の記載および図面は、本発明を説明するための例示に過ぎず、説明の明確化のため、適宜、省略および簡略化がなされている。以下に説明する各構成要素は、とくに限定しない限り単数でも複数でも構わない。
【0016】
以下の説明では、「情報」、「データ」、「表」、「テーブル」等の表現にて各種情報を説明することがあるが、各種情報は、これら以外のデータ構造で表現されていてもよい。識別情報について説明する際に、「識別子」、「ＩＤ」等の表現を用いるが、これらはお互いに置換可能である。
【0017】
以下の説明において、符号の前に付した「Ｓ」の文字は処理ステップの意味である。以下の説明において、同一のまたは類似する構成について同一の符号を付して重複した説明を省略することがある。また、以下の説明において、説明の都合上、同じ内容の情報に異なる符号を付することがある。
【0018】
以下では、現場で運用されている多数の機器について、各機器から取得される説明変数に基づき、機器の故障等の事象に関する情報（目的変数）を予測するモデル（以下、「予測モデル」と称する。）の構築を支援する情報処理システム（以下、「モデル構築支援システム１」と称する。）について説明する。尚、予測モデルの種類は必ずしも限定されず、ＤＮＮ（Deep Neural Network）等の機械学習モデルでもよいし、ルールベースによる
ものでもよい。
ものでもよい。
【0019】
尚、以下では、上記の現場がデータセンタやシステムセンタであり、現場で運用されている上記機器が記憶ドライブ（例えば、フラッシュモジュールドライブ（ＦＭＤ（Flash Module Drive）））であり、上記説明変数が記憶ドライブについて取得される時系列データであり、上記予想モデルが記憶ドライブの故障を予測するモデルである場合を例として説明する。
【0020】
データセンタやシステムセンタにおける記憶ドライブの運用においては、複数の故障モード（メモリ故障、劣化等）や運転モードが存在する。また、品種の差や運転モードの差（月末における使用頻度の上昇等）により故障の兆候が埋もれてしまうことがある。こうした課題を解決するには、運用されている多数の機器の全ての説明変数（時系列データ）を一括りとした特徴量を探索するだけでなく、説明変数を複数のグループに分割し、グループ単位で特徴量を探索することが有効となる場合がある。そこで、モデル構築支援システム１は、運用されている多数の機器の全ての説明変数（時系列データ）を一括りとした特徴量の探索に有用な情報を提供するとともに、目的変数（故障）の予測精度を向上する上で有効な、説明変数の複数のグループへの分割方法に関する情報を提供する。
【0021】
図１Ａおよび図１Ｂは、記憶ドライブの故障の予測精度を向上する上で、説明変数のグループへの分割を考慮する必要がある場合を具体的に示した図である。例えば、図１Ａに示すように、現場において、記憶ドライブが閉塞する場合には、「故障」による場合と「戦略的交換」による場合とがある。ここで「戦略的交換」とは、例えば、「劣化度が９５％以上の記憶ドライブは故障でなくても交換する」、「その際に同じＲＡＩＤを構成する記憶ドライブは交換する」といった場合である。この場合、「故障」と「戦略的交換」の場合の説明変数を異なるグループに分類し、各グループについて個別に特徴量を探索する
ようにすることで、目的変数の予測精度の向上が期待できる。
ようにすることで、目的変数の予測精度の向上が期待できる。
【0022】
また同図に示すように、記憶ドライブの「故障」の原因には、「ライト故障」、「リード故障」、「通信障害」、「原因記載なし」等がある。この場合、説明変数を原因毎のグループに分類し、各グループについて個別に特徴量を探索するようにすることで、目的変数の予測精度の向上を期待できる。また例えば、図１Ｂに示すように、記憶ドライブは、新旧モデルの違いにより、計測値の計算式（例えば、データ容量の計算式）が異なる場合があるが、この場合、説明変数を新旧モデルの各グループに分類し、各グループについて個別に特徴量を探索することで、目的変数の予測精度の向上を期待できる。
【0023】
図２は、説明変数をグループに分割した例を示す図である。この例では、全ての機器（記憶ドライブ）の説明変数（時系列データ）をグループに分割しない場合における、目的変数（故障予兆の有無）の予測精度Ｃは２０％である。
【0024】
同図における分割例１は、全ての機器の説明変数をグループ１とグループ２に分割した場合である。ここで当該分割は、当該分割を行うための特徴量（以下、「グループ分割特徴量」と称する。）を用いて行うが、当該グループ分割特徴量による分割の精度Ｄは、この例では１００％としている。また、当該分割により、説明変数の全体に対するグループ１のカバー率Ｓ（Support Ratio）は３０％、グループ２のカバー率Ｓは７０％である。
そしてこの例では、グループ１については、当該グループについて探索された特徴量（以下、「識別特徴量」と称する。）に基づく予測モデルによる目的変数の予測精度Ｃは７０％、グループ２については当該グループについて探索された識別特徴量に基づく目的変数の予測精度Ｃは４０％である。
そしてこの例では、グループ１については、当該グループについて探索された特徴量（以下、「識別特徴量」と称する。）に基づく予測モデルによる目的変数の予測精度Ｃは７０％、グループ２については当該グループについて探索された識別特徴量に基づく目的変数の予測精度Ｃは４０％である。
【0025】
同図における分割例２は、全ての機器の説明変数をグループ３とグループ４に分割した場合である。ここで当該分割に用いたグループ分割特徴量による分割の精度Ｄは２０％である。また、当該分割により、説明変数の全体に対すグループ３のカバー率Ｓは２０％、グループ４のカバー率Ｓは８０％である。そしてこの例では、グループ３については、当該グループについて探索された識別特徴量に基づく予想モデルによる目的変数の予測精度Ｃは８０％、グループ４については、当該グループについて探索された識別特徴量に基づく予想モデルによる目的変数の予測精度Ｃは１０％である。
【0026】
前述したように、モデル構築支援システム１は、識別特徴量の探索に有用な情報を提供するとともに、目的変数の予測精度を向上する上で有用となる、説明変数の複数のグループへの分割方法に関する情報を提供する。そのため、予測モデルの構築を行う分析者やドメインエキスパート、サービスビジネスの設計者等は、提供される情報に基づき、効率よく予測精度の高い予想モデルを構築することが可能になる。
【0027】
例えば、分析者は、モデル構築支援システム１により提供される情報に基づき、識別特徴量を改良して目的変数の予測精度を向上させることを検討する。例えば、図２の例では、分析者は、全体およびグループ１～４のいずれの識別特徴量を改良すべきか、全体およびグループ１～４を更に別のグループに分割すべきか、分割に用いる識別特徴量を改良すべきか等を検討する。
【0028】
また、例えば、ドメインエキスパートは、モデル構築支援システム１により提供される情報に基づき、分析者に対して、新たな識別特徴量についての気づきやヒント（メーカ毎に変数の意味が異なることを思い出した等）を与える、新たな分割方法を提供する（修理センタから故障診断結果を入手する、チャートを目視で分類する（線形／二次曲線等）、問題設定を変更する（寿命到来により交換した機器を故障機器から除外する等）等の行動をとる。
【0029】
また、例えば、サービスビジネスの設計者は、モデル構築支援システム１により提供される情報に基づき発見した故障モードについて、設計部門に根本的な原因対策を依頼することを検討する、予測モデルの対象を変更する（故障識別の対象を、確実に故障識別ができる新機種のみに集中し、古い機種に対する故障識別は諦める等）といった行動をとることができる。
【0030】
モデル構築支援システム１は、分析者等が、適切な目的変数を求めるために「グループへの分割」と「グループ単位での識別特徴量の生成」を繰り返し試行錯誤して予測モデルを構築する作業を支援する。そのために、モデル構築支援システム１は、試行錯誤の過程で設定されるグループおよびグループ単位の識別特徴量に基づき構築される予測モデルに説明変数を与えた場合における「スコア」を算出し、また、当該グループおよび識別特徴量をより適切な方向に改善するための指針となる情報である「報酬」を算出する。そして、グループ、分割の種類、および特徴量を木構造で表したグラフに算出した「スコア」や「報酬」を併記した情報（以下、「モデル構築支援情報」と称する。）を生成して分析者等に提供する。
【0031】
尚、本例では、「スコア」は次のように定義する。まず、識別特徴量のスコアＳＦを次式で定義する。
［数１］
ＳＦ＝Ｓ＊Ｃ ・・・式１
上式において、Ｓ(Support Ratio)は、あるグループの上位グループに対するカバー率
であり、Ｃ(Confidence)は、識別特徴量Ｆ（Feature）の精度(例えば機械学習におけるF
値（F-measure）)である。
［数１］
ＳＦ＝Ｓ＊Ｃ ・・・式１
上式において、Ｓ(Support Ratio)は、あるグループの上位グループに対するカバー率
であり、Ｃ(Confidence)は、識別特徴量Ｆ（Feature）の精度(例えば機械学習におけるF
値（F-measure）)である。
【0032】
また、グループＧのスコアであるスコアＳＧを、次のように定義する。
［数２］
ＳＧ＝ｍａｘ（｛ＳＦ ｉｎ Ｇ｝，｛ＳＤ＊Ｄ ｉｎ Ｇ｝） ・・・式２
［数２］
ＳＧ＝ｍａｘ（｛ＳＦ ｉｎ Ｇ｝，｛ＳＤ＊Ｄ ｉｎ Ｇ｝） ・・・式２
【0033】
上記ＳＤは、グループの分割方法についてのスコアＳＤであり、次のように定義される。尚、Ｄは、グループ分割特徴量の精度である。
［数３］
ＳＤ ＝ ｓｕｍ（｛ＳＧ ｉｎ Ｄ｝） ・・・式３
［数３］
ＳＤ ＝ ｓｕｍ（｛ＳＧ ｉｎ Ｄ｝） ・・・式３
【0034】
また、本実施形態では、「報酬」を次式で定義する。
［数４］
報酬＝影響度＊成功確率 ・・・ 式４
［数４］
報酬＝影響度＊成功確率 ・・・ 式４
【0035】
上式において、影響度（個別のグループのスコアを改善することによるグループ全体のスコアの改善効果の度合い）は、グループ全体のスコアの差分（改善による差分）を個別のグループのスコアの差分で除した値（＝グループ全体のスコアの差分 / 個別のグルー
プのスコアの差分）である。また、成功確率は、よい特徴量が発見できるかについての確率であり、例えば、これまで探索された（登録された）特徴量の数（既に試行錯誤した数が多ければ既に考え尽くされているとして成功確率は低くなる等）、これまでの挑戦で使用してきた計測値の量（網羅率）（量が多ければ既に検証済の範囲が大きく成功確率は低くなる等）等により取得される。
プのスコアの差分）である。また、成功確率は、よい特徴量が発見できるかについての確率であり、例えば、これまで探索された（登録された）特徴量の数（既に試行錯誤した数が多ければ既に考え尽くされているとして成功確率は低くなる等）、これまでの挑戦で使用してきた計測値の量（網羅率）（量が多ければ既に検証済の範囲が大きく成功確率は低くなる等）等により取得される。
【0036】
図３Ａ～図３Ｃに、スコアの算出例を示す。図３Ａは、故障機器と正常機器の割合を示す帯グラフであり、図３Ｂおよび図３Ｃは、図３Ａの帯グラフについてのスコアの算出例を示す木構造グラフである。図３Ａに示すように、この例は、説明変数（時系列データ）
のグループへの分割を行わない場合である。図３Ｂは、目的変数の予測精度が２０％となるような識別特徴量Ｆ１が探索された場合であり、識別特徴量Ｆ１のスコアＳＦが２０％、グループのスコアＳＧは２０％、分割方法のスコアＳＤは２０％である。また、図３Ｃは、目的変数の予測精度が３０％となるような識別特徴量Ｆ２が見つかった場合であり、識別特徴量Ｆ２のスコアＳＦが３０％、グループのスコアＳＧは３０％、分割方法のスコアＳＤは３０％である。
のグループへの分割を行わない場合である。図３Ｂは、目的変数の予測精度が２０％となるような識別特徴量Ｆ１が探索された場合であり、識別特徴量Ｆ１のスコアＳＦが２０％、グループのスコアＳＧは２０％、分割方法のスコアＳＤは２０％である。また、図３Ｃは、目的変数の予測精度が３０％となるような識別特徴量Ｆ２が見つかった場合であり、識別特徴量Ｆ２のスコアＳＦが３０％、グループのスコアＳＧは３０％、分割方法のスコアＳＤは３０％である。
【0037】
図４Ａおよび図４Ｂに、スコアの他の算出例を示す。図４Ａは、故障機器と正常機器の割合を示す帯グラフであり、図４Ｂは、図４Ａの帯グラフについてのスコアを算出例を示す木構造グラフである。図４Ａに示すように、この例は、説明変数（時系列データ）について分割Ｄ２を行い、３０％と７０％の割合で２つのグループ（グループ１、グループ２）に分割する場合である。図４Ｂに示すように、例えば、各グループの識別特徴量Ｆ２１，Ｆ２２のスコアは８０％，２０％であり、グループのスコアＳＧは、グループ１が２４％、グループ２が１４％、分割Ｄ２のスコアＳＤは３８％、グループＧ１１のスコアＳＧは３８％である。
【0038】
図５Ａ、図５Ｂにスコアの他の算出例を示す。図５Ａは、故障機器と正常機器の割合を示す帯グラフであり、図５Ｂは、図５Ａの帯グラフについてのスコアを算出例を示す木構造グラフである。図５Ａに示すように、この例は、説明変数（時系列データ）を、図４Ａに示す分割Ｄ１（グループ１、グループ２）について更に分割Ｄ３を行い、分割Ｄ１のグループ２の時系列データを、５０％と５０％の割合で２つのグループ（グループ５、グループ６）に更に分割した場合である。この例では、分割Ｄ３のスコアＳＤは５０％、分割Ｄ２のスコアＳＤは６１％、グループＧ１１のスコアＳＧは６１％である。この例の場合、分割Ｄ４のグループ分割特徴量の精度Ｄ（現在２０％）を向上させると、全体の分割方法のスコアＳＤが上昇し、それにより影響度が上昇して報酬が高くなることがわかる。
【0039】
図６は、前述したモデル構築支援情報６００の一例である。同図に示すように、モデル構築支援情報６００には、グループの関係を階層的に表した木構造グラフである。同グラフを構成するノードには、グループを表すノード、分割を表すノード、分割に所属する各グループを表すノード、各グループにおいて採用した特徴量を表すノード等の種類がある。このうち、グループの全体を表すノードには、目的変数の識別精度とグループ全体の報酬が表記される。また、分割を表すノードには、分割の基準（閉塞個、メーカ別、メモリエラー由来故障等）や分割に用いた特徴量の分割精度、当該分割についての目的変数の識別精度等が表示される。また、グループを表すノードには、分割元（上位の）のグループの説明変数（時系列データ）のカバー率、当該グループによる目的変数の識別精度、および報酬が表示される。また、各グループにおいて採用した特徴量を表すノードには、特徴量の内容、当該特徴量の目的変数の識別精度等が表示される。
【0040】
例示するモデル構築支援情報の場合、例えば、符号６１１で示すノード群は、分割無しのグループにおいて複数の特徴量が試されており、識別精度の向上に伸び悩んでいることがわかる。そのため、分析者は、例えば、これ以上、分割無しのグループで特徴量を探索すべきでないとの示唆を得ることができる。
【0041】
また、例えば、符号６１２ａで示すノードと符号６１２ｂで示すノードとを比較すると、同じ特徴量でもメーカが異なると識別精度に大きく影響することがわる。そのため、分析者は、例えば、メーカにより特徴量の定義が異なる可能性があることを知ることができ、メーカ毎にグループを分けることが目的変数の識別精度を高める上で有効である可能性があるとの示唆を得ることができる。
【0042】
また、例えば、符号６１３で示すノードでは、目的変数の識別精度が向上している。そ
のため、分析者は、例えば、波形で分割することで目的変数の識別精度が向上するのではないかという示唆を得ることができる。また、分析者は、例えば、波形の分類を機械的に行うソフトウェア（ロジック）を適用することで、効率よく識別精度を高めることができるのではないかとの示唆を得ることができる。
のため、分析者は、例えば、波形で分割することで目的変数の識別精度が向上するのではないかという示唆を得ることができる。また、分析者は、例えば、波形の分類を機械的に行うソフトウェア（ロジック）を適用することで、効率よく識別精度を高めることができるのではないかとの示唆を得ることができる。
【0043】
尚、図３Ｂ、図３Ｃ、図４Ｂ、図５Ｂ等に示した木構造のグラフを、モデル構築支援情報６００として分析者等に提示（表示）するようにしてもよい。これらのグラフを参照することで、分析者等は、識別特徴量の精度Ｃ、カバー率Ｓ、スコアＳＦ，スコアＳＧ、スコアＳＤ等を視覚的に容易に確認することができ、識別特徴量やグループの分割方法の探索を効率よく行うことができる。
【0044】
続いて、モデル構築支援システム１の具体的な構成について詳述する。
【0045】
図７Ａは、モデル構築支援システム１のシステム構成図である。同図に示すように、モデル構築支援システム１は、多数の機器７、センサ装置８、ユーザ端末２０、データサーバ３０、およびモデル構築支援装置１００を含む。これらの装置は、通信ネットワーク５を介して通信可能に接続されている。通信ネットワーク５は、例えば、無線または有線による通信を実現する通信基盤（通信インフラ（Infrastructure））であり、例えば、ＬＡＮ（Local Area Network）、ＷＡＮ（Wide Area Network）、インターネット、専用線、
各種公衆通信網等である。
各種公衆通信網等である。
【0046】
機器７は、現場で運用される多数の機器であり、本例では、記憶ドライブ（フラッシュモジュールドライブ（ＦＭＤ（Flash Module Drive））、フラッシュメモリドライブ（ＳＳＤ（Solid State Drive）、ＨＤＤ（Hard Disk Drive）等）である。
【0047】
センサ装置８は、通信モジュールおよび各種センサを備え、各種センサにより機器７に関する情報（温度、回転数、データ読み出し速度、データ書き込み速度、ＩＯＰＳ（Input/Output Per Second）、レスポンスタイム、スループット、レイテンシ、残容量等）を
計測し、計測した値に基づく時系列データを生成し、生成した時系列データをデータサーバ３０に送信する。各種センサは、温度センサ等のハードウェアにより実現されるものの他、データの読み出し速度や書き込み速度を計測するプログラムのようにソフトウェアにより実現されるものを含む。
計測し、計測した値に基づく時系列データを生成し、生成した時系列データをデータサーバ３０に送信する。各種センサは、温度センサ等のハードウェアにより実現されるものの他、データの読み出し速度や書き込み速度を計測するプログラムのようにソフトウェアにより実現されるものを含む。
【0048】
ユーザ端末２は、情報処理装置（コンピュータ）であり、センサ装置８、データサーバ３０、モデル構築支援装置１００と通信可能に接続し、これらの装置について、各種情報の設定や提供される情報の取得とユーザへの提示や監視、制御等を行う。
【0049】
データサーバ３０は、情報処理装置を用いて構成され、センサ装置８から送られてくる時系列データ等の各種データを蓄積して管理（記憶）する。
【0050】
モデル構築支援装置１００は、情報処理装置を用いて構成され、データサーバ３０に蓄積されている時系列データの分析、特徴量の抽出、予測モデルの構築、予測モデルの構築を支援するための情報の提供等を行う。
【0051】
図７Ｂに、ユーザ端末２０、データサーバ３０、およびモデル構築支援装置１００の実現に用いる情報処理装置のハードウェア構成例を示す。
【0052】
例示する情報処理装置１０は、プロセッサ１１、主記憶装置１２、補助記憶装置１３、入力装置１４、出力装置１５、および通信装置１６を備える。情報処理装置１０は、例えば、パーソナルコンピュータ、スマートフォン、タブレット、オフィスコンピュータ、汎
用機等である。尚、ユーザ端末２０、データサーバ３０、およびモデル構築支援装置１００は、例えば、通信可能に接続された複数の情報処理装置１０を用いて実現してもよい。
用機等である。尚、ユーザ端末２０、データサーバ３０、およびモデル構築支援装置１００は、例えば、通信可能に接続された複数の情報処理装置１０を用いて実現してもよい。
【0053】
情報処理装置１０は、その全部または一部が、例えば、クラウドシステムによって提供される仮想サーバのように、仮想化技術やプロセス空間分離技術等を用いて提供される仮想的な情報処理資源を用いて実現されるものであってもよい。情報処理装置１０によって提供される機能の全部または一部は、例えば、クラウドシステムがＡＰＩ（Application Programming Interface）等を介して提供するサービスによって実現してもよい。
【0054】
情報処理装置１０によって提供される機能の全部または一部は、例えば、ＳａａＳ（Software as a Service）、ＰａａＳ（Platform as a Service）、ＩａａＳ（Infrastructure as a Service）等を利用して実現されるものであってもよい。
【0055】
同図に示すプロセッサ１１は、例えば、ＣＰＵ（Central Processing Unit）、ＭＰＵ
（Micro Processing Unit）、ＧＰＵ（Graphics Processing Unit）、ＦＰＧＡ（Field Programmable Gate Array）、ＡＳＩＣ（Application Specific Integrated Circuit）、
ＡＩ（Artificial Intelligence）チップ等を用いて構成されている。
（Micro Processing Unit）、ＧＰＵ（Graphics Processing Unit）、ＦＰＧＡ（Field Programmable Gate Array）、ＡＳＩＣ（Application Specific Integrated Circuit）、
ＡＩ（Artificial Intelligence）チップ等を用いて構成されている。
【0056】
主記憶装置１２は、プログラムやデータを記憶する装置であり、例えば、ＲＯＭ（Read
Only Memory）、ＲＡＭ（Random Access Memory）、不揮発性メモリ（ＮＶＲＡＭ（Non Volatile RAM））等の記憶素子を用いて構成される。
Only Memory）、ＲＡＭ（Random Access Memory）、不揮発性メモリ（ＮＶＲＡＭ（Non Volatile RAM））等の記憶素子を用いて構成される。
【0057】
補助記憶装置１３は、例えば、ＳＳＤ（Solid State Drive）、ハードディスクドライ
ブ、光学式記憶装置（ＣＤ（Compact Disc）、ＤＶＤ（Digital Versatile Disc）等）、ストレージシステム、ＩＣカード、ＳＤカードや光学式記録媒体等の記録媒体の読取／書込装置、クラウドサーバの記憶領域等である。補助記憶装置１３には、記録媒体の読取装置や通信装置１６を介してプログラムやデータを読み込むことができる。補助記憶装置１３に格納（記憶）されているプログラムやデータは主記憶装置１２に随時読み込まれる。
ブ、光学式記憶装置（ＣＤ（Compact Disc）、ＤＶＤ（Digital Versatile Disc）等）、ストレージシステム、ＩＣカード、ＳＤカードや光学式記録媒体等の記録媒体の読取／書込装置、クラウドサーバの記憶領域等である。補助記憶装置１３には、記録媒体の読取装置や通信装置１６を介してプログラムやデータを読み込むことができる。補助記憶装置１３に格納（記憶）されているプログラムやデータは主記憶装置１２に随時読み込まれる。
【0058】
尚、情報処理装置１０の機能を実現するプログラムやデータの全部または一部は、予め主記憶装置１２や補助記憶装置１３に格納されていてもよいし、必要に応じて、非一時的な記録媒体や他の装置に備えられている非一時的な記憶装置から、記録媒体の読取装置や通信装置を介して主記憶装置１２や補助記憶装置１３に読み込むようにしてもよい。
【0059】
入力装置１４は、外部からの入力を受け付けるインタフェースであり、例えば、キーボード、マウス、タッチパネル、カードリーダ、ペン入力方式のタブレット、音声入力装置等である。
【0060】
出力装置１５は、処理経過や処理結果等の各種情報を出力するインタフェースである。出力装置１５は、例えば、上記の各種情報を可視化する表示装置（液晶モニタ、ＬＣＤ（Liquid Crystal Display）、グラフィックカード等）、上記の各種情報を音声化する装置（音声出力装置（スピーカ等））、上記の各種情報を文字化する装置（印字装置等）である。尚、例えば、情報処理装置１０が通信装置１６を介して他の装置との間で情報の入力や出力を行う構成としてもよい。
【0061】
入力装置１４と出力装置１５は、ユーザ（利用者や管理者）との間での対話処理（情報の入力受付、情報の提示等）を実現するユーザインタフェースを構成する。
【0062】
通信装置１６は、他の装置との間の通信を実現する装置である。通信装置１６は、通信ネットワーク５を介して他の装置との間の通信を実現する、有線方式または無線方式の通
信インタフェースであり、例えば、ＮＩＣ（Network Interface Card）、無線通信モジュール、ＵＳＢモジュール等である。
信インタフェースであり、例えば、ＮＩＣ（Network Interface Card）、無線通信モジュール、ＵＳＢモジュール等である。
【0063】
情報処理装置１０には、例えば、オペレーティングシステム、ファイルシステム、ＤＢＭＳ（DataBase Management System）（リレーショナルデータベース、ＮｏＳＱＬ等）、ＫＶＳ（Key-Value Store）等が導入されていてもよい。
【0064】
ユーザ端末２０、データサーバ３０、およびモデル構築支援装置１００の夫々が備える各種の機能は、夫々が備えるプロセッサ１１が、主記憶装置１２に格納されているプログラムを読み出して実行することにより、もしくは、夫々を構成するハードウェア（ＦＰＧＡ、ＡＳＩＣ、ＡＩチップ等）自体によって実現される。
【0065】
ユーザ端末２０、データサーバ３０、およびモデル構築支援装置１００は、各種の情報（データ）を、例えば、データベースのテーブルやファイルシステムが管理するファイルとして記憶する。
【0066】
図８は、モデル構築支援システム１において取り扱われる主な情報（データ）を示す図である。
【0067】
同図に示すように、データサーバ３０は、センサ装置８から受信した時系列データ１０１を管理（記憶）する。
【0068】
モデル構築支援装置１００は、時系列データ１０１、目的変数１０２、グループ情報１０３、特徴量ライブラリ１０４、特徴量テーブル１０５、プロセス木１０６、および機器ＩＤ１０７を記憶する。
【0069】
図９は、モデル構築支援システム１が備える主な機能を示すブロック図である。同図に示すように、モデル構築支援システム１は、説明／目的変数設定部１２０、検定処理部１２５、特徴量式登録部１３０、特徴量登録部１３３、特徴量スコア算出部１３５、特徴量設定部１３７、グループ設定部１３８、報酬算出部１４０、モデル構築支援情報生成部１４３、グループスコア算出部１５０、グループ登録部１５５、進捗確認部１６０、および結果取得部１６３の各機能を有する。
【0070】
上記機能のうち、説明／目的変数設定部１２０は、時系列データ１０１や目的変数１０２の取得（受信）や設定（登録、編集、削除等）に関する処理を行う。
【0071】
検定処理部１２５は、予測モデルの検定（目的変数の識別精度の算出等）に関する処理を行う。
【0072】
特徴量式登録部１３０は、特徴量ライブラリ１０４の設定（登録、編集、削除等）に関する処理（設定のためのユーザインタフェースの提供等）を行う。
【0073】
特徴量登録部１３３は、プロセス木１０６への特徴量に関する情報の登録に関する処理を行う。
【0074】
特徴量スコア算出部１３５は、特徴量（識別特徴量、グループ分割特徴量）のスコアの算出に関する処理を行う。
【0075】
特徴量設定部１３７は、特徴量の設定（登録、編集、削除等）に関する処理（設定のためのユーザインタフェースの提供等）を行う。
【0076】
グループ設定部１３８は、グループに関する情報であるグループ情報１０３の設定（登録、編集、削除等）に関する処理（設定のためのユーザインタフェースの提供等）を行う。
【0077】
報酬算出部１４０は、報酬の算出に関する処理を行う。
【0078】
モデル構築支援情報生成部１４３は、モデル構築支援情報６００の生成や提示（表示）に関する処理を行う。
【0079】
グループスコア算出部１５０は、グループスコアの算出に関する処理を行う。
【0080】
グループ登録部１５５は、グループに関する情報のプロセス木１０６への登録に関する処理を行う。
【0081】
図１０に、時系列データ１０１の一例を示す。同図に示すように、例示する時系列データ１０１は、機器ＩＤ１０１１、タイムスタンプ１０１２、および計測値群１０１３の各項目を有する複数のレコードで構成される。時系列データ１０１のレコードの一つは、ある機器７についてある時点（タイムスタンプ）にセンサ装置８により計測された計測値に対応している。
【0082】
上記項目のうち、機器ＩＤ１０１１には、機器７の識別子である機器ＩＤが格納される。タイムスタンプ１０１２には、当該計測値が取得された日時を示す情報が格納される。計測値群１０１３には、一つ以上の種類の計測値が格納される。
【0083】
図１１Ａ～図１１Ｃに、グループ情報１０３の例を示す。グループ情報１０３には、グループに関する情報が管理される。図１１Ａに示すグループ情報１０３ａには、機器７（機器ＩＤ１０３１ａ）と当該機器が所属するグループ（GroupSet１０３２ａ）との対応が管理される。図１１Ｂに示すグループ情報１０３ｂには、機器（機器ＩＤ１０３１ｂ）毎の目的変数１０３２ｂが管理される。図１１Ｃに示すグループ情報１０３ｃには、機器（機器ＩＤ１０３１ｃ）毎の故障理由１０３２ｃが管理される。
【0084】
図１２に、特徴量ライブラリ１０４の一例を示す。特徴量ライブラリ１０４には、特徴量に関する情報が管理される。同図に示すように、例示する特徴量ライブラリ１０４は、ロジック１０４１、次元１０４２、およびラムダ式１０４３の各項目を有する一つ以上のレコードで構成される。特徴量ライブラリ１０４の一つのレコードは一つの特徴量（識別特徴量、グループ分割特徴量）に対応している。上記項目のうち、ロジック１０４１には、当該特徴量の論理（ロジック）の種類を示す情報が格納される。次元１０４２には、当該特徴量の次元が格納される。ラムダ式１０４３には、当該特徴量をラムダ式で表現した情報が格納される。
【0085】
図１３に、特徴量テーブル１０５の一例を示す。特徴量テーブル１０５には、時系列データに基づき特徴量を算出した結果に関する情報が格納される。同図に示すように、特徴量テーブル１０５は、機器ＩＤ１０５１、および特徴量データ群１０５２の各項目を含む。上記項目のうち、機器ＩＤ１０５１には、前述した機器ＩＤが格納される。特徴量データ群１０５２には、一つ以上の種類の特徴量の値が格納される。
【0086】
図１４Ａは、プロセス木１０６の構造を示すＵＭＬ（Unified Modeling Language）図
であり、また、図１４Ｂは、プロセス木の構成要素の属性を示す図である。図１４Ａおよび図１４Ｂに示すように、プロセス木１０６は、GroupSet１０６１、グループを表す変数
であるGroup１０６２、グループ分割特徴量（GFS）１０６２、および識別特徴量（DFS）
１０６５を、機器ＩＤ１０６３および特徴量ＩＤ１０６６に対応づけた構造を有する。
であり、また、図１４Ｂは、プロセス木の構成要素の属性を示す図である。図１４Ａおよび図１４Ｂに示すように、プロセス木１０６は、GroupSet１０６１、グループを表す変数
であるGroup１０６２、グループ分割特徴量（GFS）１０６２、および識別特徴量（DFS）
１０６５を、機器ＩＤ１０６３および特徴量ＩＤ１０６６に対応づけた構造を有する。
【0087】
図１５は、モデル構築支援装置１００が行う主な処理（以下、「メイン処理Ｓ５００」と称する。）を説明するフローチャートである。以下、同図とともにメイン処理Ｓ５００について説明する。
【0088】
まず、説明／目的変数設定部１２０が、時系列データ１０１と目的変数１０２を設定する処理（データ登録処理Ｓ５１１、目的変数登録処理Ｓ５１２）を行う。
【0089】
続いて、特徴量スコア算出部１３５が、特徴量スコアを算出し、算出した値を特徴量登録部１３３と検定処理部１２５に入力する処理（スコア計算処理Ｓ５１３）を行う。
【0090】
続いて、報酬算出部１４０が、プロセス木１０６に基づき報酬を算出する処理（報酬の計算処理Ｓ５１４）を行う。
【0091】
続いて、モデル構築支援情報生成部１４３が、算出された報酬に基づきモデル構築支援情報を表示して分析者に提示（表示）する処理（モデル構築支援情報表示処理Ｓ５１５）を行う。
【0092】
続いて、モデル構築支援装置１００は、分析者による操作入力を待機する（Ｓ５２０）。
【0093】
ここで例えば、分析者が、進捗確認情報の表示操作を行うと、進捗確認部１６０が、進捗確認情報３１００を記載した画面を生成して表示する処理（進捗確認情報表示処理Ｓ５２１）を行う。その後、処理はＳ５２０に戻る。
【0094】
また例えば、分析者が、最新結果の表示操作を行うと、結果取得部１６３が最新結果の表示画面を生成して表示する処理（最新結果の取得処理Ｓ５２２）を行う。その後、処理はＳ５２０に戻る。
【0095】
また例えば、分析者が、特徴量のライブラリの登録操作を行うと、特徴量登録部１３３が、特徴量のライブラリ登録画面を表示して分析者から特徴量のライブラリの登録を受け付ける処理（特徴量ライブラリ登録処理Ｓ５２３）を行う。その後、処理はＳ５２０に戻る。
【0096】
また例えば、分析者が、識別特徴量（DFS）の登録操作を行うと、特徴量登録部１３３
が、識別特徴量（DFS）の登録画面を表示して分析者から識別特徴量（DFS）の登録を受け付ける処理（識別特徴量（DFS）登録処理Ｓ５２４）を行う。その後、処理はＳ５１３に
戻る。
が、識別特徴量（DFS）の登録画面を表示して分析者から識別特徴量（DFS）の登録を受け付ける処理（識別特徴量（DFS）登録処理Ｓ５２４）を行う。その後、処理はＳ５１３に
戻る。
【0097】
また例えば、分析者が、時系列データをグループに分割するための操作を行うと、グループ登録部１５５が、グループ分割の登録画面を表示して分析者からグループ分割の登録を受け付ける処理（グループ分割処理Ｓ５２５）を行う。その後、処理はＳ５１３に戻る。
【0098】
また例えば、分析者が、グループ分割特徴量（GFS）を登録するための操作を行うと、
特徴量登録部１３３が、グループ分割特徴量（GFS）の登録画面を表示して分析者からグ
ループ分割特徴量（GFS）の登録を受け付ける処理（グループ分割特徴量（GFS）登録処理Ｓ５２６）を行う。その後、処理はＳ５１３に戻る。
特徴量登録部１３３が、グループ分割特徴量（GFS）の登録画面を表示して分析者からグ
ループ分割特徴量（GFS）の登録を受け付ける処理（グループ分割特徴量（GFS）登録処理Ｓ５２６）を行う。その後、処理はＳ５１３に戻る。
【0099】
また例えば、分析者が、グループ分割特徴量（GFS）の登録とグループ分割を行う操作
を行うと、特徴量登録部１３３が、グループ分割特徴量（GFS）の登録画面を表示して分
析者からグループ分割特徴量（GFS）の登録を受け付けるとともに、グループ登録部１５
５が、プロセス木１０６に対して、グループ分割特徴量（GFS）によるグループ分割を行
う処理（GFSの登録とGFSによるグループ分割処理Ｓ５２７）を行う。その後、処理はＳ５１２に戻る。
を行うと、特徴量登録部１３３が、グループ分割特徴量（GFS）の登録画面を表示して分
析者からグループ分割特徴量（GFS）の登録を受け付けるとともに、グループ登録部１５
５が、プロセス木１０６に対して、グループ分割特徴量（GFS）によるグループ分割を行
う処理（GFSの登録とGFSによるグループ分割処理Ｓ５２７）を行う。その後、処理はＳ５１２に戻る。
【0100】
また例えば、分析者が、目的変数１０２の変更操作を行うと、説明／目的変数設定部１２０が、目的変数１０２を変更するための画面を表示して目的変数１０２の変更を受け付ける処理（目的変数変更処理Ｓ５２８）を行う。その後、処理はＳ５１１に戻る。
【0101】
また例えば、分析者が、時系列データ１０１の変更操作を行うと、説明／目的変数設定部１２０が、時系列データ１０１を変更するための画面を表示して時系列データ１０１の変更を受け付ける処理（時系列データ変更処理Ｓ５２９）を行う。その後、処理はＳ５１１に戻る。
【0102】
図１６は、図１５に示したメイン処理Ｓ５００において行われる、プロセス木１０６に対する操作（処理）の一覧であり、図１７（ａ）から図１７（ｈ）は、プロセス木の変化の具体例である。同図において、符号１６１１は、メイン処理Ｓ５００における符号を示す。操作内容１６１２には、当該符号１６１１に対応するプロセス木１０６に対する操作の内容である。プロセス木の変化の例１６１３は、当該操作に対するプロセス木の変化を説明する図の番号（図１７（ａ）～（ｈ）の少なくともいずれか）である。
【0103】
【0104】
まず、説明／目的変数設定部１２０は、データサーバ３０から説明変数として用いる時系列データを取得し、取得した時系列データを時系列データ１０１として記憶する（Ｓ５１１１）。
【0105】
続いて、説明／目的変数設定部１２０は、時系列データ１０１から機器ＩＤのリストを抽出する（Ｓ５１１２）。
【0106】
続いて、説明／目的変数設定部１２０は、変数（Group）の登録と、グループスコアの
変数（Group.S）への値（１００％）の設定、およびグループに所属する機器ＩＤの変数
（Group.objects）へのＳ５１１２で取得した機器ＩＤの設定を行う（Ｓ５１１３）。
変数（Group.S）への値（１００％）の設定、およびグループに所属する機器ＩＤの変数
（Group.objects）へのＳ５１１２で取得した機器ＩＤの設定を行う（Ｓ５１１３）。
【0107】
【0108】
まず、説明／目的変数設定部１２０は、目的変数１０２を取得する（Ｓ５１２１）。図１９Ｂに目的変数１０２の一例を示す。
【0109】
続いて、説明／目的変数設定部１２０は、変数（Group）に変数（GroupSet）を追加す
る。また、変数（ID）に目的変数の列名（Objective列名）を設定し、識別特徴量の精度
Ｃ(Confidence)に１００％を設定する（Ｓ５１２２）。
る。また、変数（ID）に目的変数の列名（Objective列名）を設定し、識別特徴量の精度
Ｃ(Confidence)に１００％を設定する（Ｓ５１２２）。
【0110】
続いて、説明／目的変数設定部１２０は、変数（ObjectiveSetID）に、値（GroupSet.ID）を設定する（Ｓ５１２３）。
【0111】
続いて、説明／目的変数設定部１２０は、Objective列の種類Ｘを列挙する（Ｓ５１２
４）。
４）。
【0112】
続くＳ５１２５～Ｓ５１２６では、説明／目的変数設定部１２０は、全ての種類Xにつ
いて、変数（Group）を変数（GroupSet）の下に登録する処理、変数（Group.ID）に種類Xを設定する処理、変数（Group.S）に種類Xの機器ＩＤの数を設定する処理、および変数（Group.objects）に機器ＩＤの集合を設定する処理を行う。
いて、変数（Group）を変数（GroupSet）の下に登録する処理、変数（Group.ID）に種類Xを設定する処理、変数（Group.S）に種類Xの機器ＩＤの数を設定する処理、および変数（Group.objects）に機器ＩＤの集合を設定する処理を行う。
【0113】
図１９Ｃに、目的変数登録処理Ｓ５１２の実行後のプロセス木の構造の例を示す。
【0114】
【0115】
まず、特徴量登録部１３３が、分析者から識別特徴量（DFS）の登録を受け付け、受け
付けた識別特徴量（DFS）を指定されたグループの変数（Group）の下位に追加する（Ｓ５２４１）。
付けた識別特徴量（DFS）を指定されたグループの変数（Group）の下位に追加する（Ｓ５２４１）。
【0116】
続いて、特徴量登録部１３３は、識別特徴量（DFS）の精度（DFS.DC）を求める（Ｓ５
２４２）。具体的には、特徴量登録部１３３は、まず、指定されたグループの上位グループ（上位Group）を取得し（Ｓ５２４２１）、検査対象とするグループを示す変数（検査GroupSet）に上位Groupに所属するグループを設定する（Ｓ５２４２２）。そして、特徴量を用いて検査GroupSetを検定した値をDFS.DCに設定する（Ｓ５２４２３）。
２４２）。具体的には、特徴量登録部１３３は、まず、指定されたグループの上位グループ（上位Group）を取得し（Ｓ５２４２１）、検査対象とするグループを示す変数（検査GroupSet）に上位Groupに所属するグループを設定する（Ｓ５２４２２）。そして、特徴量を用いて検査GroupSetを検定した値をDFS.DCに設定する（Ｓ５２４２３）。
【0117】
続いて、特徴量登録部１３３は、識別特徴量（DFS）のスコア（DFS.SF）を求める（Ｓ
５２４３）。具体的には、特徴量登録部１３３は、まず指定されたグループの上位グループ（上位Group）を取得し（Ｓ５２４３１）、上位Groupのスコア（Group.S）にDFS.DCを
乗算した値をDFS.SFとする（Ｓ５２４３２）。
５２４３）。具体的には、特徴量登録部１３３は、まず指定されたグループの上位グループ（上位Group）を取得し（Ｓ５２４３１）、上位Groupのスコア（Group.S）にDFS.DCを
乗算した値をDFS.SFとする（Ｓ５２４３２）。
【0118】
続いて、特徴量登録部１３３は、DFS.DCとDFS.SFを、以上により求めた値に更新する（Ｓ５２４４）。
【0119】
【0120】
まず、グループ登録部１５５は、グループ情報１０３を取得する（Ｓ５２５１）。
【0121】
続いて、グループ登録部１５５は、指定されたグループ（Group）の下位に変数（GroupSet）を追加する（Ｓ５２５２）。
【0122】
続いて、グループ登録部１５５は、GroupSet毎にグループを生成する（Ｓ５２５３）。
【0123】
続くＳ５２５４～Ｓ５２５７の処理は、全てのグループを順次選択して行うループ処理である。当該ループ処理において、グループ登録部１５５は、Groupの登録（Ｓ５２５５
）、グループに分類された機器ＩＤのリストの変数（Group.objects）への設定（Ｓ５２
５６）、およびグループスコアの変数（Group.S）へのグループに分類された機器ＩＤの
比率の設定（Ｓ５２５７）を行う。
）、グループに分類された機器ＩＤのリストの変数（Group.objects）への設定（Ｓ５２
５６）、およびグループスコアの変数（Group.S）へのグループに分類された機器ＩＤの
比率の設定（Ｓ５２５７）を行う。
【0124】
【0125】
まず、特徴量登録部１３３は、指定された（GroupSet）の下位にグループ分割特徴量（GFS）を追加する（Ｓ５２６１）。
【0126】
続いて、特徴量登録部１３３は、GFS.GCを求める（Ｓ５２６２）。具体的には、特徴量登録部１３３は、まず、変数（g1）の上位のGroupSetの上位のGroupを取得し（Ｓ５２６
２１）、変数（g2s）の上位のGroupSetの下位の全てのGroupを取得する（Ｓ５２６２２）。そして、特徴量登録部１３３は、グループ分割特徴量（GFS.features）を用いてg1.objectsからg2.objectsを識別し（Ｓ５２６２３）、変数（GFS.GC）に識別精度を設定する（Ｓ５２６２４）。
２１）、変数（g2s）の上位のGroupSetの下位の全てのGroupを取得する（Ｓ５２６２２）。そして、特徴量登録部１３３は、グループ分割特徴量（GFS.features）を用いてg1.objectsからg2.objectsを識別し（Ｓ５２６２３）、変数（GFS.GC）に識別精度を設定する（Ｓ５２６２４）。
【0127】
図２３Ａは、図１５に示したGFSの登録とGFSによるグループ分割処理Ｓ５２７の詳細を説明するフローチャートである。以下、同図とともにGFSの登録とGFSによるグループ分割処理Ｓ５２７について説明する。
【0128】
まず、特徴量登録部１３３は、指定された（GroupSet）の下位にグループ分割特徴量（GFS）を追加し、変数（GFS.GC）に１００％を設定する（Ｓ５２７１）。
【0129】
続いて、特徴量登録部１３３は、変数（g1）の上位のGroupSetの上位のGroupを取得し
（Ｓ５２７２）、グループ分割特徴量（GFS.features）を用いてg1.objectsをグループに分類する（Ｓ５２７３）。
（Ｓ５２７２）、グループ分割特徴量（GFS.features）を用いてg1.objectsをグループに分類する（Ｓ５２７３）。
【0130】
続くＳ５２７４～Ｓ５２７７の処理は、全てのグループを順次選択して行うループ処理である。当該ループ処理において、特徴量登録部１３３は、Groupの登録（Ｓ５２７５）
、グループに分類された機器ＩＤのリストの変数（Group.objects）への設定（Ｓ５２７
６）、およびグループスコアの変数（Group.S）へのグループに分類された機器ＩＤの比
率の設定（Ｓ５２７７）を行う。
、グループに分類された機器ＩＤのリストの変数（Group.objects）への設定（Ｓ５２７
６）、およびグループスコアの変数（Group.S）へのグループに分類された機器ＩＤの比
率の設定（Ｓ５２７７）を行う。
【0131】
図２３Ｂに、GFSの登録とGFSによるグループ分割処理Ｓ５２７の実行後のプロセス木１０６の構造の例を示す。
【0132】
【0133】
同図において、Ｓ５１３１およびＳ５１３２は、プロセス木１０６の全ての葉について根（ルート）までのノードを順に選択するループ処理である。当該ループ処理において、まず、特徴量スコア算出部１３５は、選択中のノードがグループ（Group）か否かを判定
する（Ｓ５１３３）。選択中のノードがグループであれば（Ｓ５１３３：ＹＥＳ）、当該グループの最良の子を選択する処理（以下、「グループの最良の子の選択処理Ｓ５１３４」と称する。）を行う。一方、選択中のノードがグループでなければ（Ｓ５１３３：ＮＯ）、処理はＳ５１３６に進む。
する（Ｓ５１３３）。選択中のノードがグループであれば（Ｓ５１３３：ＹＥＳ）、当該グループの最良の子を選択する処理（以下、「グループの最良の子の選択処理Ｓ５１３４」と称する。）を行う。一方、選択中のノードがグループでなければ（Ｓ５１３３：ＮＯ）、処理はＳ５１３６に進む。
【0134】
【0135】
まず、特徴量スコア算出部１３５は、集合Xの記憶領域を確保する（Ｓ５１３４１）。
【0136】
Ｓ５１３４２～Ｓ５１３４３は、当該Groupの下位の全ての識別特徴量（DFS）について
順次選択して行うループ処理である。Ｓ５１３４３では、特徴量スコア算出部１３５は、変数（Y.Item）に選択中の識別特徴量（DFS）を設定し、変数（Y.Score）にDFS.FSを設定し、集合XにYを追加する。
順次選択して行うループ処理である。Ｓ５１３４３では、特徴量スコア算出部１３５は、変数（Y.Item）に選択中の識別特徴量（DFS）を設定し、変数（Y.Score）にDFS.FSを設定し、集合XにYを追加する。
【0137】
Ｓ５１３４４～Ｓ５１３４６は、当該Groupの下位の全てのGroupSetについて順次選択
して行うループ処理である。Ｓ５１３４５では、特徴量スコア算出部１３５は、変数（maxGC）に、GroupSetの全てのグループ分割特徴量（GFS）のうち最大のGFS.GCを設定する。また、Ｓ５１３４６では、特徴量スコア算出部１３５は、変数（Y.Item）にGroupSetを設定し、変数（Y.Score）にGroupSet.SD * maxGCを設定し、集合XにYを追加する。
して行うループ処理である。Ｓ５１３４５では、特徴量スコア算出部１３５は、変数（maxGC）に、GroupSetの全てのグループ分割特徴量（GFS）のうち最大のGFS.GCを設定する。また、Ｓ５１３４６では、特徴量スコア算出部１３５は、変数（Y.Item）にGroupSetを設定し、変数（Y.Score）にGroupSet.SD * maxGCを設定し、集合XにYを追加する。
【0138】
続くＳ５１３４７では、特徴量スコア算出部１３５は、集合XからScoreの最も高い
ItemとScoreを取得して戻り値とする。
ItemとScoreを取得して戻り値とする。
【0139】
図２４Ａに戻り、Ｓ５１３５では、特徴量スコア算出部１３５は、グループの最良の子の選択処理Ｓ５１３４の戻り値である最良の子のScoreを変数（Group.SG）に設定する。
【0140】
Ｓ５１３６では、特徴量スコア算出部１３５は、選択中のノードがGroupSetであるか否かを判定する。選択中のノードがGroupSetであれば（Ｓ５１３６：ＹＥＳ）、変数（GroupSet.SD）にGroupSet下位の全てのGroupのスコアSGの合計を設定する。
【0141】
【0142】
結果取得部１６３は、まず、変数（最良の識別結果）に根（ルート）のグループ（Group）のGroup.SGを設定する（Ｓ５２２１）。
【0143】
続いて、結果取得部１６３は、プロセス木１０６を複製する（Ｓ５２２２）。
【0144】
Ｓ５２２３～Ｓ５２２５までの処理は、プロセス木１０６の根（ルート）から全ての葉までノードを順に選択するループ処理である。まず、Ｓ５２２４では、結果取得部１６３は、選択中のノードがグループであるか否かを判定する。選択中のノードがグループであれば（Ｓ５２２４：ＹＥＳ）、前述した図２４Ｂのグループの最良の子の選択処理Ｓ５１３４を行い、最良の子以外の識別特徴量（DFS）ないしGroupSetを削除する（Ｓ５２２５
）。
）。
【0145】
【0146】
【0147】
まず、報酬算出部１４０は、影響度の計算処理Ｓ５２４１を行う。
【0148】
図２７Ｂは、影響度の計算処理Ｓ５２４１の詳細を説明するフローチャートである。
【0149】
まず、報酬算出部１４０は、変数（Score_all_B）に、根（ルート）のグループのGroup.SGを設定する（Ｓ５２４１１）。
【0150】
同図におけるＳ５１４１２～Ｓ５１４１６までの処理は、全てのグループからグループ
を順次選択するループ処理である。まず、報酬算出部１４０は、変数（Score_B）にGroup.SGを設定する（Ｓ５１４１３）。続いて、報酬算出部１４０は、変数（Score_A）に Score_B + 定数Xを設定する（Ｓ１５４１４）。続いて、報酬算出部１４０は、図２４Ａに示したスコア計算処理Ｓ５１３を行う。続いて、報酬算出部１４０は、変数（Score_all_A
）に、根（ルート）のグループ（Group）のGroup.SGを設定する（Ｓ５１４１５）。続い
て、報酬算出部１４０は、変数（DC影響度）に（Score_all_A - Score_all_B）／（Score_A - Score_B）を設定する（Ｓ５１４１６）。
を順次選択するループ処理である。まず、報酬算出部１４０は、変数（Score_B）にGroup.SGを設定する（Ｓ５１４１３）。続いて、報酬算出部１４０は、変数（Score_A）に Score_B + 定数Xを設定する（Ｓ１５４１４）。続いて、報酬算出部１４０は、図２４Ａに示したスコア計算処理Ｓ５１３を行う。続いて、報酬算出部１４０は、変数（Score_all_A
）に、根（ルート）のグループ（Group）のGroup.SGを設定する（Ｓ５１４１５）。続い
て、報酬算出部１４０は、変数（DC影響度）に（Score_all_A - Score_all_B）／（Score_A - Score_B）を設定する（Ｓ５１４１６）。
【0151】
同図におけるＳ５１４１７～Ｓ５１４１０２までの処理は、全てのグループ（GroupSet）からGroupSetを順次選択するループ処理である。まず、報酬算出部１４０は、変数（Score_B）にmax(GFS.GC for all GFS)を設定する（Ｓ５１４１８）。また、報酬算出部１４０は、変数（Score_A）にScore_B + 定数Xを設定する（Ｓ５１４１９）。続いて、報酬算出部１４０は、図２４Ａに示したスコア計算処理Ｓ５１３を行う。続いて、報酬算出部１４０は、変数（Score_all_A）に、根（ルート）のグループのGroup.SGを設定する（Ｓ５
１４１０１）。続いて、報酬算出部１４０は、変数（GC影響度）に（Score_all_A - Score_all_B）／（Score_A - Score_B）を設定する（Ｓ５１４１６）。
１４１０１）。続いて、報酬算出部１４０は、変数（GC影響度）に（Score_all_A - Score_all_B）／（Score_A - Score_B）を設定する（Ｓ５１４１６）。
【0152】
図２７Ａに戻り、続いて、報酬算出部１４０は、難易度の計算処理Ｓ５２４２を行う。
【0153】
図２７Ｃは、難易度の計算処理Ｓ５２４２の詳細を説明するフローチャートである。同図におけるＳ５１４２１～Ｓ５１４２６までの処理は、全てのグループからグループと全てのグループの子の識別特徴量（DFS）を順次選択するループ処理である。まず、報酬算
出部１４０は、変数（A）に識別特徴量（DFS）の数を設定する（Ｓ５１４２３）。続いて、報酬算出部１４０は、変数（B）に、識別特徴量（DFS）のDFS.DCの上位N件を昇順ソー
トした結果のDFS.DCの傾斜を設定する（Ｓ１５４２４）。続いて、報酬算出部１４０は、変数（C）に、全ての子の識別特徴量（DFS）で用いた特徴量の網羅率（例えば、識別特徴量（DFS）の試行錯誤の履歴から把握される網羅率）を設定する（Ｓ５１４２５）。続い
て、報酬算出部１４０は、変数（難易度）にA,B,Cの重み付き和を設定する（Ｓ５１４１
６）。
出部１４０は、変数（A）に識別特徴量（DFS）の数を設定する（Ｓ５１４２３）。続いて、報酬算出部１４０は、変数（B）に、識別特徴量（DFS）のDFS.DCの上位N件を昇順ソー
トした結果のDFS.DCの傾斜を設定する（Ｓ１５４２４）。続いて、報酬算出部１４０は、変数（C）に、全ての子の識別特徴量（DFS）で用いた特徴量の網羅率（例えば、識別特徴量（DFS）の試行錯誤の履歴から把握される網羅率）を設定する（Ｓ５１４２５）。続い
て、報酬算出部１４０は、変数（難易度）にA,B,Cの重み付き和を設定する（Ｓ５１４１
６）。
【0154】
Ｓ５１４２７～Ｓ５１４２０３までの処理は、全てのグループからグループと全てのグループの子のグループ分割特徴量（GFS）を順次選択するループ処理である。まず、報酬
算出部１４０は、変数（A）にグループ分割特徴量（GFS）の数を設定する（Ｓ５１４２９）。続いて、報酬算出部１４０は、変数（B）に、グループ分割特徴量（GFS）のGFS.GCの上位N件を昇順ソートした結果のGFS.GCの傾斜を設定する（Ｓ１５４２０１）。続いて、
報酬算出部１４０は、変数（C）に、全ての子のグループ分割特徴量（GFS）で用いた特徴量の網羅率を設定する（Ｓ５１４２０２）。続いて、報酬算出部１４０は、変数（難易度）にA,B,Cの重み付き和を設定する（Ｓ５１４２０３）。
算出部１４０は、変数（A）にグループ分割特徴量（GFS）の数を設定する（Ｓ５１４２９）。続いて、報酬算出部１４０は、変数（B）に、グループ分割特徴量（GFS）のGFS.GCの上位N件を昇順ソートした結果のGFS.GCの傾斜を設定する（Ｓ１５４２０１）。続いて、
報酬算出部１４０は、変数（C）に、全ての子のグループ分割特徴量（GFS）で用いた特徴量の網羅率を設定する（Ｓ５１４２０２）。続いて、報酬算出部１４０は、変数（難易度）にA,B,Cの重み付き和を設定する（Ｓ５１４２０３）。
【0155】
図２７Ａに戻り、続いて、報酬算出部１４０は、全てのグループについてGroup.影響度
* Group.難易度を算出してグループ（Groupの報酬（Group.報酬）を求める（Ｓ５１４５）。
* Group.難易度を算出してグループ（Groupの報酬（Group.報酬）を求める（Ｓ５１４５）。
【0156】
続いて、報酬算出部１４０は、全てのグループ（GroupSet）についてGroupSet.影響度 * GroupSet.難易度を算出してグループ（GroupSetの報酬（GroupSet.報酬）を求める（Ｓ５１４６）。
【0157】
図２８Ａ～図２８Ｃは、図９に示すグループ設定部１３８が、分析者等が目視作業により時系列データを分類した結果に基づき、時系列データをグループに分割する場合を説明する図である。図２８Ａに示すように、この例では、分析者等は、目視により波形を判定
し（放物線または直線のいずれに近いか）（符号２８１０）、その結果に基づき時系列データを放物線または直線のいずれかに分類し、グループ情報１０３ｃを生成している。
し（放物線または直線のいずれに近いか）（符号２８１０）、その結果に基づき時系列データを放物線または直線のいずれかに分類し、グループ情報１０３ｃを生成している。
【0158】
図２８Ｂは、図２８Ａに示す符号２８１０の作業に際し、グループ設定部１３８が、グループに所属する全ての機器（Group.objects）についてファイルを出力する場合を説明
するフローチャートである。グループ設定部１３８は、グループに所属する全ての機器について、ファイル名に機器ＩＤを設定したファイルを生成する（Ｓ２８１１～Ｓ２８１３）。
するフローチャートである。グループ設定部１３８は、グループに所属する全ての機器について、ファイル名に機器ＩＤを設定したファイルを生成する（Ｓ２８１１～Ｓ２８１３）。
【0159】
図２８Ｃは、グループ設定部１３８が、図２８Ａに示すグループ情報１０３ｃを生成する処理を説明するフローチャートである。Ｓ２８２１～Ｓ２８２４の処理は、指定されたディレクトリの全てのサブディレクトリの全てのファイルを順次選択するループ処理である。上記ループ処理において、グループ設定部１３８は、機器ＩＤに選択中のファイル名を設定し（Ｓ２８２３）、機器ＩＤとサブディレクトリのレコードを生成する（Ｓ２８２４）。Ｓ２８２５では、グループ設定部１３８は、生成したレコード群をグループ情報１０３ｃとして出力する。
【0160】
図２９Ａおよび図２９Ｂは、特徴量テーブル１０５の生成方法の一例を示す図である。図２９Ａは、特徴量として、時間min（X）から時間max（X）までの区間の時系列データの傾き（＝（max（y）－min（y））／（max（x）－min（x）））を特徴量とする場合である。尚、特徴量の算出に用いる時系列データの期間としては、例えば、故障の予兆を捉えるために、図２９Ｂに示すように、直近の所定期間（同図ではＢからＣまでの６日）を採用しないようにする。
【0161】
図３０に、特徴量を所定のアルゴリズム記述言語で記述した場合の一例を示す。
【0162】
図３１は、モデル構築支援装置１００の進捗確認部１６０が、分析者等に提示する情報の一例である。進捗確認部１６０は、プロセス木１０６に対して行われた処理の履歴に基づき、分析者等による特徴量の探索と説明変数（時系列データ）のグループへの分割の試行錯誤の状況（予測モデルの構築作業の進捗状況）に関する情報を管理している。進捗確認部１６０は、前述した進捗確認情報表示処理Ｓ５２１において、上記情報に基づき同図に示すグラフ（以下、「進捗確認情報３１００」と称する。）を生成し、生成した進捗確認情報３１００を分析者等に提示（表示）する。
【0163】
同図に示すように、進捗確認情報３１００は、その横軸方向には、各機器の機器ＩＤをグループ別に列挙し、その縦軸方向には、各機器について取得される各種の特徴量を列挙している。また、機器ＩＤと特徴量の交点に位置する各セルには、所定の色（同図では黒色）を、当該機器ＩＤの当該特徴量の機器全体の平均値に対する差の大きさに応じた濃度（または色）で表示している。進捗確認情報３１００において、濃度が濃い領域が密集している程、特徴量が目的変数の識別精度の向上への貢献度が高いことを意味しており、上記のような領域の数が多い程、特徴量とグループ分けの探索が適切に進んでいることを意味する。このため、分析者等は、進捗確認情報３１００を参照することにより、予測モデルの構築のための特徴量やグループ分けの探索の進捗度合いを視覚的に容易に確認することができる。
【0164】
図３２は、適切な特徴量の探索を試行錯誤により行う場合の一例である。試行１では、閾値（th1）により目的変数（故障有無）の判定（識別）を行った場合であり、この場合
、左から２つ目と４つ目の時系列データについての判定に誤りが生じている。試行２では、左から２つ目の時系列データの判定に用いる閾値をth2に調整しており、これにより左
から２つ目の時系列データの判定が正しくなっているが、左から４つめの時系列データの
判定は誤ったままである。試行３では、４つの時系列データを規格化した後に閾値（th1
）を適用しているが、それでも左から４つめの時系列データの判定は誤ったままである。試行４ｈでは、４つの時系列データを規格化し、傾きの大きさが閾値を超えるか否かで判定を行った場合であり、この例では、全ての時系列データについて正しい判定が行われている。尚、この例の場合、試行４についての特徴量とグループ分けのスコアが最大となる。
、左から２つ目と４つ目の時系列データについての判定に誤りが生じている。試行２では、左から２つ目の時系列データの判定に用いる閾値をth2に調整しており、これにより左
から２つ目の時系列データの判定が正しくなっているが、左から４つめの時系列データの
判定は誤ったままである。試行３では、４つの時系列データを規格化した後に閾値（th1
）を適用しているが、それでも左から４つめの時系列データの判定は誤ったままである。試行４ｈでは、４つの時系列データを規格化し、傾きの大きさが閾値を超えるか否かで判定を行った場合であり、この例では、全ての時系列データについて正しい判定が行われている。尚、この例の場合、試行４についての特徴量とグループ分けのスコアが最大となる。
【0165】
以上に説明したように、本実施形態のモデル構築支援システム１によれば、機器について予測される事象に関する目的変数を出力する予測モデルについて採用する特徴量、および特徴量を最適化する説明変数のグループへの分割方法についての探索を支援するために有用な様々な情報が多様な観点で提供される。そのため、分析者等は、故障等の機器に生じる事象を精度よく予測するための予測モデルの構築を効率よく行うことができる。
【0166】
尚、本発明は上記の実施形態に限定されるものではなく、その要旨を逸脱しない範囲で種々変更可能であることはいうまでもない。例えば、上記の実施形態は本発明を分かりやすく説明するために詳細に説明したものであり、必ずしも説明した全ての構成を備えるものに限定されるものではない。また、上記実施形態の構成の一部について、他の構成の追加や削除、置換をすることが可能である。
【0167】
例えば、以上の実施形態では、リスク予測モデルを線形回帰モデルにより構成したが、リスク予測モデルは、例えば、他の種類の統計モデルや機械学習モデル（例えば、ＤＮＮ（Deep Neural Network））等により構成してもよい。
【0168】
上記の各構成、機能部、処理部、処理手段等は、それらの一部または全部を、例えば、集積回路で設計する等によりハードウェアで実現してもよい。また、上記の各構成、機能等は、プロセッサがそれぞれの機能を実現するプログラムを解釈し、実行することによりソフトウェアで実現してもよい。各機能を実現するプログラム、テーブル、ファイル等の情報は、メモリやハードディスク、ＳＳＤ（Solid State Drive）等の記録装置、ＩＣカ
ード、ＳＤカード、ＤＶＤ等の記録媒体に置くことができる。
ード、ＳＤカード、ＤＶＤ等の記録媒体に置くことができる。
【0169】
以上に説明した各情報処理装置の各種機能部、各種処理部、各種データベースの配置形態は一例に過ぎない。各種機能部、各種処理部、各種データベースの配置形態は、これらの装置が備えるハードウェアやソフトウェアの性能、処理効率、通信効率等の観点から最適な配置形態に変更し得る。
【0170】
前述した各種のデータを格納するデータベースの構成（スキーマ（Schema）等）は、リソースの効率的な利用、処理効率向上、アクセス効率向上、検索効率向上等の観点から柔軟に変更し得る。
【符号の説明】
【0171】
１ モデル構築支援システム、５ 通信ネットワーク、７ 機器、８ センサ装置、１０
情報処理装置、１１ プロセッサ、１２ 主記憶装置、１３ 補助記憶装置、１４ 入力装置、１５ 出力装置、１６ 通信装置、２０ ユーザ端末、３０ データサーバ、１００ モデル構築支援装置、１０１ 時系列データ、１０２ 目的変数、１０３ グループ情報、１０４ 特徴量ライブラリ、１０５ 特徴量テーブル、１０６ プロセス木、１０７ 機器ＩＤ、１２０ 説明／目的変数設定部、１２５ 検定処理部、１３０ 特徴量式登録部、１３３ 特徴量登録部、１３５ 特徴量スコア算出部、１３７ 特徴量設定部、１３８ グループ設定部、１４０ 報酬算出部、１４３ モデル構築支援情報生成部、１５０ グループスコア算出部、１５５ グループ登録部、１６０ 進捗確認部、１６３
結果取得部、６００ モデル構築支援情報、Ｓ５００ メイン処理、Ｓ５１１ データ
登録処理、Ｓ５１２ 目的変数登録処理、Ｓ５１３ スコア計算処理、Ｓ５１４ 報酬の計算処理、Ｓ５１６ モデル構築支援情報表示処理、Ｓ５２１ 進捗確認情報表示処理、Ｓ５２２ 最新結果の取得処理、Ｓ５２３ 特徴量ライブラリ登録処理、Ｓ５２４ 識別特徴量（DFS）登録処理、Ｓ５２５ グループ分割処理、Ｓ５２６ グループ分割特徴量
（GFS）登録処理、Ｓ５２７ GFSの登録とGFSによるグループ分割処理、Ｓ５２８ 目的
変数変更処理、Ｓ５２９ 時系列データ変更処理
情報処理装置、１１ プロセッサ、１２ 主記憶装置、１３ 補助記憶装置、１４ 入力装置、１５ 出力装置、１６ 通信装置、２０ ユーザ端末、３０ データサーバ、１００ モデル構築支援装置、１０１ 時系列データ、１０２ 目的変数、１０３ グループ情報、１０４ 特徴量ライブラリ、１０５ 特徴量テーブル、１０６ プロセス木、１０７ 機器ＩＤ、１２０ 説明／目的変数設定部、１２５ 検定処理部、１３０ 特徴量式登録部、１３３ 特徴量登録部、１３５ 特徴量スコア算出部、１３７ 特徴量設定部、１３８ グループ設定部、１４０ 報酬算出部、１４３ モデル構築支援情報生成部、１５０ グループスコア算出部、１５５ グループ登録部、１６０ 進捗確認部、１６３
結果取得部、６００ モデル構築支援情報、Ｓ５００ メイン処理、Ｓ５１１ データ
登録処理、Ｓ５１２ 目的変数登録処理、Ｓ５１３ スコア計算処理、Ｓ５１４ 報酬の計算処理、Ｓ５１６ モデル構築支援情報表示処理、Ｓ５２１ 進捗確認情報表示処理、Ｓ５２２ 最新結果の取得処理、Ｓ５２３ 特徴量ライブラリ登録処理、Ｓ５２４ 識別特徴量（DFS）登録処理、Ｓ５２５ グループ分割処理、Ｓ５２６ グループ分割特徴量
（GFS）登録処理、Ｓ５２７ GFSの登録とGFSによるグループ分割処理、Ｓ５２８ 目的
変数変更処理、Ｓ５２９ 時系列データ変更処理
【図1A】
【図1B】
【図2】
【図3A】
【図3B】
【図3C】
【図4A】
【図4B】
【図5A】
【図5B】
【図6】
【図7A】
【図7B】
【図8】
【図9】
【図10】
【図11A】
【図11B】
【図11C】
【図12】
【図13】
【図14A】
【図14B】
【図15】
【図16】
【図17】
【図18】
【図19A】
【図19B】
【図19C】
【図20】
【図21】
【図22】
【図23A】
【図23B】
【図24A】
【図24B】
【図25】
【図26A】
【図26B】
【図27A】
【図27B】
【図27C】
【図28A】
【図28B】
【図28C】
【図29A】
【図29B】
【図30】
【図31】
【図32】