知財求人 - 知財ポータルサイト「IP Force」
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2024-12-09
(45)【発行日】2024-12-17
(54)【発明の名称】計画評価装置及び計画評価方法
(51)【国際特許分類】
G06Q 10/0637 20230101AFI20241210BHJP
【ＦＩ】
G06Q10/0637
【請求項の数】
15
(21)【出願番号】P 2021086680
(22)【出願日】2021-05-24
(65)【公開番号】P2022179882
(43)【公開日】2022-12-06
【審査請求日】2024-02-27
(73)【特許権者】
【識別番号】000005108
【氏名又は名称】株式会社日立製作所
(74)【代理人】
【識別番号】110002365
【氏名又は名称】弁理士法人サンネクスト国際特許事務所
(72)【発明者】
【氏名】土屋 祐太
(72)【発明者】
【氏名】森 靖英
(72)【発明者】
【氏名】恵木 正史
【審査官】関 博文
(56)【参考文献】
【文献】米国特許出願公開第２００８／０３００９５５（ＵＳ，Ａ１）
【文献】国際公開第２０１８／２２０８８５（ＷＯ，Ａ１）
【文献】特開２０２０－１１３１６１（ＪＰ，Ａ）
【文献】米国特許出願公開第２００２／００４９６２１（ＵＳ，Ａ１）
(58)【調査した分野】(Int.Cl.，ＤＢ名)
Ｇ０６Ｑ １０／００－９９／００
(57)【特許請求の範囲】
【請求項1】
複数の計画を組み合わせて立案される計画表を評価する計画評価装置であって、所定の変換ルールに基づいて、前記計画表を計画成分に分割し、分割した各計画成分を特徴量に変換する特徴量変換部と、
前記特徴量を入力として、前記計画表のＫＰＩ（Key Performance Indicator）を目的変数とする機械学習モデルを作成するモデル学習部と、
前記機械学習モデルに対する各前記特徴量の寄与率を算出する寄与率計算部と、
前記特徴量の寄与率に基づいて、当該特徴量の変換元の前記計画成分が前記計画表のＫＰＩに及ぼす影響度を算出する影響度計算部と、
を備えることを特徴とする計画評価装置。
【請求項2】
前記特徴量変換部は、複数の前記変換ルールに基づいて、それぞれ分割した各計画成分を前記特徴量に変換し、前記モデル学習部は、各前記変換ルールに基づいて変換された前記特徴量ごとに、複数の前記機械学習モデルを作成し、
前記寄与率計算部は、それぞれ前記機械学習モデルにおける前記特徴量の寄与率を算出し、
前記影響度計算部は、それぞれの前記機械学習モデルにおいて高い前記寄与率が算出された前記特徴量を重ね合わせて前記影響度を算出するとともに、前記重ね合わせた前記特徴量の変換元の前記計画成分を抽出する
ことを特徴とする請求項１に記載の計画評価装置。
【請求項3】
前記特徴量変換部は、任意の方法による前記変換ルールに基づいて、前記計画表を計画成分に分割し、分割した計画成分ごとに、当該計画成分の項目値を１の数値またはカテゴリ値に圧縮変換することによって前記特徴量を得ることを特徴とする請求項２に記載の計画評価装置。
【請求項4】
前記影響度計算部は、前記寄与率計算部によって算出された前記特徴量の寄与率を各特徴量の変換元の前記計画成分に分配し、分配後の寄与率を用いて、それぞれの前記機械学習モデルにおいて高い前記寄与率が算出された前記特徴量を重ね合わせて前記影響度を算出することを特徴とする請求項１に記載の計画評価装置。
【請求項5】
前記モデル学習部は、前記作成した複数の機械学習モデルを統合し、前記寄与率計算部は、前記モデル学習部が統合した統合モデルから、前記特徴量の寄与率を算出し、
前記影響度計算部は、前記寄与率計算部によって算出された前記統合モデルにおける前記特徴量の寄与率を各特徴量の変換元の前記計画成分に分配し、前記計画成分ごとに、分配された寄与率を重ね合わせて前記影響度を算出する
ことを特徴とする請求項２に記載の計画評価装置。
【請求項6】
前記計画表には、前記影響度の算出対象とされる対象計画表と、前記対象計画表の比較対象とされる基準計画表とが含まれ、前記対象計画表と前記基準計画表との差分が評価の対象とされ、かつ、前記差分の計画成分について前記特徴量変換部によって変換された前記対象計画表における第１の特徴量と前記特徴量変換部によって変換された前記基準計画表における第２の特徴量とを交換しても両計画表に矛盾が生じない場合、
前記影響度計算部は、前記差分の計画成分ごとに、当該計画成分を交換した場合の両計画表における前記寄与率の組み合わせを計算することにより、前記計画成分による影響度を算出する
ことを特徴とする請求項１に記載の計画評価装置。
【請求項7】
前記計画表が複数のＫＰＩを有する場合に、前記影響度計算部は、各ＫＰＩに対する前記影響度をそれぞれ算出し、各ＫＰＩの重み付けに基づいて各影響度を合算することにより、前記複数のＫＰＩの全体に対する影響度を算出する
ことを特徴とする請求項１に記載の計画評価装置。
【請求項8】
前記特徴量変換部は、前記計画表に含まれる項目の値またはその範囲に基づいて自動作成される前記変換ルールに基づいて、前記計画表を計画成分に分割し、分割した各計画成分を前記特徴量に変換することを特徴とする請求項１に記載の計画評価装置。
【請求項9】
前記特徴量変換部は、ユーザから指定された独自の前記変換ルールに基づいて、前記計画表を計画成分に分割し、分割した各計画成分を前記特徴量に変換することを特徴とする請求項１に記載の計画評価装置。
【請求項10】
所定のアルゴリズムによって、与えられた条件を満たすように前記計画表を立案する計画生成部をさらに備えることを特徴とする請求項１に記載の計画評価装置。
【請求項11】
影響度計算部によってＫＰＩに及ぼす前記影響度が算出された前記計画表のうちから、間接的に前記ＫＰＩの変化に寄与する計画成分を意味する間接影響成分を、前記計画表における計画成分間の依存関係に基づいて抽出する間接影響関係計算部を、さらに備えることを特徴とする請求項１に記載の計画評価装置。
【請求項12】
前記計画表には、前記影響度の算出対象とされる対象計画表と、前記対象計画表とは別の立案済みの履歴計画表とが含まれ、間接影響関係計算部は、影響度計算部によってＫＰＩに及ぼす前記影響度が算出された前記対象計画表の計画成分から１つの着目計画成分を決定し、前記着目計画成分を有する前記履歴計画表において前記着目計画成分と同時に出現する計画成分を探索し、当該探索で該当した前記計画成分を、前記着目計画成分に対する前記間接影響成分と判定して抽出する
ことを特徴とする請求項１１に記載の計画評価装置。
【請求項13】
所定のアルゴリズムによって、与えられた条件を満たす計画表を立案する計画生成部と、前記計画生成部に計画表の立案を指示する計画生成制御部と、
をさらに備え、
前記計画表には、前記影響度の算出対象とされる対象計画表と、前記対象計画表の比較対象とされる基準計画表とが含まれ、
前記間接影響関係計算部は、前記影響度計算部によってＫＰＩに及ぼす前記影響度が算出された前記対象計画表の計画成分から、１つの着目計画成分を決定し、前記着目計画成分とは別の計画成分を間接影響候補として設定し、さらに、前記間接影響候補を前記基準計画表の前記間接影響候補に対応する計画成分に置き換え、
前記計画生成制御部は、前記着目計画成分と前記置き換え後の前記間接影響候補とを有する模擬の計画表の立案を前記計画生成部に指示し、
前記間接影響関係計算部は、前記計画生成部による前記模擬の計画表の立案において問題が生じた場合に、前記置き換え前の前記間接影響候補を、前記着目計画成分に対する前記間接影響成分と判定して抽出する
ことを特徴とする請求項１１に記載の計画評価装置。
【請求項14】
前記影響度計算部による前記影響度の算出結果を出力装置に表示させる画面出力部をさらに備え、前記画面出力部は、前記算出結果の表示において、前記影響度計算部によって前記影響度が算出された複数の前記計画成分のうち、所定の基準を超える高い影響度が算出された計画成分を強調表示する
ことを特徴とする請求項１から請求項１３のうちの何れか１項に記載の計画評価装置。
【請求項15】
複数の計画を組み合わせて立案される計画表を評価する計画評価装置による計画評価方法であって、前記計画評価装置が、所定の変換ルールに基づいて、前記計画表を計画成分に分割し、分割した各計画成分を特徴量に変換する特徴量変換ステップと、
前記計画評価装置が、前記特徴量変換ステップで変換された前記特徴量を入力として、前記計画表のＫＰＩ（Key Performance Indicator）を目的変数とする機械学習モデルを作成するモデル学習ステップと、
前記計画評価装置が、前記モデル学習ステップで作成された前記機械学習モデルに対する各前記特徴量の寄与率を算出する寄与率計算ステップと、
前記計画評価装置が、前記寄与率計算ステップで算出された前記特徴量の寄与率に基づいて、当該特徴量の変換元の前記計画成分が前記計画表のＫＰＩに及ぼす影響度を算出する影響度計算ステップと、
を備えることを特徴とする計画評価方法。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、計画評価装置及び計画評価方法に関し、計画の立案支援、評価、および情報抽出を行う計画評価装置及び計画評価方法に適用して好適なものである。
【背景技術】
【0002】
製品の生産計画や従業員のシフトスケジュールなどの業務計画作成においては、時間、空間、設備、人といったリソース等、各種の事項に関する制約条件を順守しつつ、かつ、生産量の最大化、設備の稼働率の最大化、作業員の人数の最小化等の計画の評価指標（ＫＰＩ：Key Performance Indicator）を考慮した計画表を作成する必要がある。従来は、これらの高度なノウハウをもった従業員（職人）が計画表を作成していたが、後継者不足や業務効率化の観点から、計算機による計画作成装置を作成し、上記条件を考慮しながら自動立案をさせるケースが増加している。
【0003】
一方、計画表の立案における制約条件やＫＰＩは非常に多く、それぞれが複雑に影響し合っている。そのため、計画作成装置の開発に多くの工数が掛かる場合があり、その工数削減が求められる。工数増大の原因として、立案された計画表を評価し、問題点の発見と修正案を検討するための作業時間が掛かることがあげられる。評価方法には、ＫＰＩの数値や制約条件の違反度合いに基づく定量的な方法と、意図していないバグの発見や職人の計画と比べて定式化しきれていない条件発見のために、計画表を目視で確認する方法とがある。しかし、計画表は場合によっては数千項目以上の非常に大きいものとなり、目視による確認が困難な場合がある。
【0004】
上記のような計画表の評価支援技術に関して、特許文献１には、計画表の全体評価値を複数の部分評価成分の重ね合わせによって算出し、その全体評価値を悪化させる方向で寄与度の大きい部分評価成分を取り出し、その部分評価成分がさらに小さい部分評価成分の重ね合わせによって算出されている場合、同様の方法で大きく寄与している部分評価成分を取り出す操作を繰り返すことで、全体の評価値に対して最も好ましくない方向に寄与している計画表の成分を取り出す方法が記載されている。
【0005】
また、非特許文献１には、計画表を数値的に評価するための基盤技術として、ある製品を生産する／しないなど、各計画で決定変数となる組み合わせに対して、（０，１）のダミー変数による表現方法が記載されている。
【0006】
また、非特許文献２には、機械学習等のＡＩモデルの分野において、評価対象データを変化させて生成した複数の摂動データと、各摂動データをＡＩに入力して得られた予測値との組を用いて、単純な数値列である各特徴量についてＡＩの予測値に対する寄与率を算出するための方法が記載されている。
【先行技術文献】
【特許文献】
【0007】
【文献】特開２０１９－２０９７９６号公報
【非特許文献】
【0008】
【文献】Christian D. Hubbs, Can Li, Nikolaos V. Sahinidis, Ignacio E.Grossmann, John M. Wassick, “A deep reinforcement learning approach forchemical production scheduling,” Computers and Chemical Engineering, 106982,vol.141, (2020).
【文献】Lundberg, Scott M., and Su-In Lee, "A unified approach tointerpreting model predictions," Advances in Neural Information ProcessingSystems, pp. 4765-4774, (2017).
【発明の概要】
【発明が解決しようとする課題】
【0009】
しかし、特許文献１に記載された技術には、部分評価が可能なＫＰＩでなければ解析対象にできないという問題があった。部分評価とは、計画表を分割した上で個々に評価を行うことを意味する。また、部分評価のための計画表分割ルールを評価者が指定する必要があり、追加の工数がかかってしまう。さらに、最終的に得られる計画成分は、直接的にＫＰＩの値を悪化させる成分となるが、計画表の成分は複雑に影響し合っているため、直接的にＫＰＩを変化させなくても他の計画成分に影響することによって間接的にＫＰＩに影響する成分も存在する。しかし、特許文献１の技術では直接的にＫＰＩを変化させない成分を抽出できないという問題があった。
【0010】
また、非特許文献１に記載された技術によって計画表を記述する場合は、可能性のある全ての組み合わせに対してダミー変数を作成しなければならず、計画表が高次元でスパースなデータ構造となってしまい、非常に扱いにくいという問題があった。
【0011】
また、非特許文献２に記載の技術では、単純な数値列である特徴量の予測に対する寄与率は算出できるが、そのままでは計画表の評価に適用することはできないという問題があった。
【0012】
本発明は以上の点を考慮してなされたもので、機械学習モデルにおける特徴量の影響度算出方法を計画表の評価に拡張することにより、部分評価できないＫＰＩに対しても直接的または間接的に影響度が大きい成分を計画表から抽出することが可能な計画評価装置及び計画評価方法を提案しようとするものである。
【課題を解決するための手段】
【0013】
かかる課題を解決するため本発明においては、複数の計画を組み合わせて立案される計画表を評価する計画評価装置であって、所定の変換ルールに基づいて、前記計画表を計画成分に分割し、分割した各計画成分を特徴量に変換する特徴量変換部と、前記特徴量を入力として、前記計画表のＫＰＩ（Key Performance Indicator）を目的変数とする機械学習モデルを作成するモデル学習部と、前記機械学習モデルに対する各前記特徴量の寄与率を算出する寄与率計算部と、前記特徴量の寄与率に基づいて、当該特徴量の変換元の前記計画成分が前記計画表のＫＰＩに及ぼす影響度を算出する影響度計算部と、を備える計画評価装置が提供される。
【0014】
また、かかる課題を解決するため本発明においては、複数の計画を組み合わせて立案される計画表を評価する計画評価装置による計画評価方法であって、前記計画評価装置が、所定の変換ルールに基づいて、前記計画表を計画成分に分割し、分割した各計画成分を特徴量に変換する特徴量変換ステップと、前記計画評価装置が、前記特徴量変換ステップで変換された前記特徴量を入力として、前記計画表のＫＰＩ（Key Performance Indicator）を目的変数とする機械学習モデルを作成するモデル学習ステップと、前記計画評価装置が、前記モデル学習ステップで作成された前記機械学習モデルに対する各前記特徴量の寄与率を算出する寄与率計算ステップと、前記計画評価装置が、前記寄与率計算ステップで算出された前記特徴量の寄与率に基づいて、当該特徴量の変換元の前記計画成分が前記計画表のＫＰＩに及ぼす影響度を算出する影響度計算ステップと、を備える計画評価方法が提供される。
【発明の効果】
【0015】
本発明によれば、計画表の評価において、部分評価できないＫＰＩに対しても直接的または間接的に影響度が大きい成分を計画表から抽出することができる。
【図面の簡単な説明】
【0016】
【図1】本発明の第１の実施形態に係る計画評価装置１０００の構成例を示すブロック図である。
【図2】評価指標リスト１０１３の一例を示す図である。
【図3】計画表１０１４の一例を示す図である。
【図4】ＫＰＩデータ１０１５の一例を示す図である。
【図5】影響度算出処理の処理手順例を示すフローチャートである。
【図6】特徴量変換ルール１０２２の一例を示す図である。
【図7】特徴量変換処理の処理手順例を示すフローチャートである。
【図8】特徴量変換処理における圧縮変換のイメージを説明するための図である。
【図9】計画特徴量表１０２３の一例を示す図である。
【図10】寄与率算出結果１０２４の一例を示す図である。
【図11】影響度情報集計処理の処理手順例を示すフローチャートである。
【図12】影響度算出結果１０２５の一例を示す図である。
【図13】寄与率を分配及び統合する処理のイメージを説明するための図である。
【図14】影響度算出結果１０２５に基づく出力画面の一例を示す図である。
【図15】統合モデルによる影響度算出処理の処理手順例を示すフローチャートである。
【図16】統合モデルによる影響度算出処理において影響度を計算する処理のイメージを説明するための図である。
【図17】本発明の第２の実施形態に係る計画評価装置１７００の構成例を示すブロック図である。
【図18】第１の間接影響関係抽出処理の処理手順例を示すフローチャートである。
【図19】間接影響関係を探索する処理のイメージを説明するための図である。
【図20】間接影響関係を含めた影響度算出結果１０２５の一例を示す図である。
【図21】第２の間接影響関係抽出処理の処理手順例を示すフローチャートである。
【発明を実施するための形態】
【0017】
以下、図面を参照して、本発明の実施形態を詳述する。
【0018】
なお、以下では専ら、依頼を適切な従業員に割り当てる人員配置計画の評価について述べるが、本発明に係る計画評価方法は、航空機やバス、鉄道などの輸送機関の運行計画や、工場における製品製造計画など、さまざまな評価観点を複合的に組み合わせて計画を作成／変更する必要のあるシステムに対して広く適用できるものである。
【0019】
また、以下に詳述する各実施形態は本発明を実現するための一例に過ぎず、本発明の技術的範囲を限定するものではない。本発明の思想ないし趣旨から逸脱しない範囲で、その具体的構成を変更し得ることは当業者であれば容易に理解される。
【0020】
以下に説明する発明の構成において、同一または類似する構成あるいは機能には、同一の符号を付し、重複する説明は省略する。また、各実施形態で説明する構成、機能、処理部、処理手段等は、それらの一部又は全部を、例えば集積回路で設計する等によりハードウェアで実現してもよい。また、上記の構成または機能等は、プロセッサがそれぞれの機能を実現するプログラムを解釈し、実行することによりソフトウェアで実現してもよい。各機能を実現するプログラム、テーブル、ファイル等の情報は、メモリや、ハードディスク、ＳＳＤ（Solid State Drive）等の記録装置、または、ＩＣカード、ＳＤカード、ＤＶＤ等の記録媒体に置くことができる。
【0021】
また、図面等において示す各構成の位置、大きさ、形状、及び範囲等は、発明の理解を容易にするため、実際の位置、大きさ、形状、及び範囲等を表していない場合がある。そして、各図面において制御線や情報線は説明上必要と考えられるものを示しており、製品上必ずしも全ての制御線や情報線を示しているとは限らない。実際にはほとんど全ての構成が相互に接続されていると考えてもよい。したがって、本発明は、図面等に開示された位置、大きさ、形状、及び範囲等に限定されない。
【0022】
（１）第１の実施形態
図１は、本発明の第１の実施形態に係る計画評価装置１０００の構成例を示すブロック図である。図１に示すように、計画評価装置１０００は、記憶装置１００１、処理装置１００２、入力装置１００３、及び出力装置１００４を備えて構成される。
図１は、本発明の第１の実施形態に係る計画評価装置１０００の構成例を示すブロック図である。図１に示すように、計画評価装置１０００は、記憶装置１００１、処理装置１００２、入力装置１００３、及び出力装置１００４を備えて構成される。
【0023】
記憶装置１００１は、ＨＤＤ（Hard Disk Drive）またはＳＳＤ（Solid State Drive）等の、データを永続的に格納する汎用の装置であり、計画情報１０１０と影響度関連情報１０２０とを有する。なお、記憶装置１００１は、計画評価装置１０００を構成する他の装置と同様の端末上に構成されてもよいし、上記他の装置と同じ端末上ではなく、クラウドや外部サーバー上に存在し、ネットワーク経由でデータが参照できる構成であってもよい。
【0024】
計画情報１０１０は、複数の計画を組み合わせて立案される計画表を生成するための入力となる業務関係データ１０１１、制約リスト１０１２、及び評価指標リスト１０１３（詳細は図２参照）と、評価対象である計画表１０１４（詳細は図３参照）と、評価結果であるＫＰＩデータ１０１５（詳細は図５参照）とを含む。なお、本文では、評価指標とＫＰＩ（Key Performance Indicator）を同義とする。
【0025】
業務関係データ１０１１は、例えば、従業員のスキル情報や依頼割り当て可能時間情報、割り当て依頼の日付や開始・終了の時間情報や、スキル条件情報、及びその他のマスタ情報である。
【0026】
制約リスト１０１２は、例えば、従業員の割り当て不可能な時間に依頼を割り当てていないかどうか、残業時間が規定値以上になっていないかなど、計画表１０１４が必ず守らなければならない制約条件を格納したデータであって、計画生成に利用される。
【0027】
影響度関連情報１０２０は、計画表１０１４とＫＰＩとの影響関係を学習する機械学習モデル１０２１と、計画表１０１４をモデル（機械学習モデル１０２１）に入力するために計画表１０１４の成分を変換するルールを保持する特徴量変換ルール１０２２（詳細は図６参照）と、計画表１０１４を変換して得られた特徴量を保持する計画特徴量表１０２３（詳細は図９参照）と、機械学習モデル１０２１に対する特徴量の寄与率の算出結果を保持する寄与率算出結果１０２４（詳細は図１０参照）と、影響度の算出結果を保持する影響度算出結果１０２５（詳細は図１２参照）と、を含む。
【0028】
処理装置１００２は、例えば、ＣＰＵ（Central Processing Unit）及びメモリ等を有して構成される汎用の計算機である。処理装置１００２は、その内部に、計画立案関係処理部１０３０、影響度評価処理部１０４０、画面出力部１０５０、及びデータ入力部１０６０を、ソフトウェアプログラムとしてメモリに格納されるなどの形態で有する。
【0029】
計画立案関係処理部１０３０は、記憶装置１００１のデータを入力して計画表１０１４を出力する計画生成部１０３１と、得られた計画表１０１４を評価し、ＫＰＩ値を出力する評価指標計算部１０３２とを有する。
【0030】
影響度評価処理部１０４０は、計画表１０１４を自動もしくは特徴量変換ルール１０２２に基づいて計画特徴量表１０２３を得る特徴量変換部１０４１と、機械学習モデル１０２１を生成するモデル学習部１０４２と、モデル（機械学習モデル１０２１）における特徴量の寄与率を求める寄与率計算部１０４３と、ＫＰＩに対する計画表１０１４の影響部分を抽出する影響度計算部１０４４と、を有する。
【0031】
画面出力部１０５０は、出力装置１００４に所定の画面を表示させるための情報を出力する機能を有する。具体的には例えば、画面出力部１０５０は、影響度計算部１０４４によって算出された影響度算出結果１０２５に基づいて、画面表示用の情報を生成し、出力装置１００４に送信する。この結果、出力装置１００４は、影響度算出結果１０２５に基づく出力画面を表示する（図１４参照）。
【0032】
データ入力部１０６０は、開発者（以後、ユーザ）による入力装置１００３に対する入力操作に応じて、処理の実行指示やデータを入力する機能を有し、計画表にユーザから変更を加える場合や、パラメータを設定する際に活用される。具体的には例えば、データ入力部１０６０は、ユーザ独自の特徴量変換ルールが指定される場合、ユーザが操作する入力装置１００３から特徴量変換ルールを受け取り、記憶装置１００１に特徴量変換ルール１０２２として格納する。
【0033】
入力装置１００３は、計算機用の汎用的な入力装置であり、例えばマウス、キーボード、またはタッチパネル等である。
【0034】
出力装置１００４は、ディスプレイ等の装置であり、画面出力部１０５０を介して、処理装置１００２による評価結果（例えば影響度算出結果１０２５）を表す出力画面を表示する。なお、処理装置１００２による評価結果を人間が確認する必要が無い場合（例えば、計画を自動立案するシステムに直接、評価結果を渡す場合）は、計画評価装置１０００に出力装置１００４を設けなくてもよい。
【0035】
図２は、評価指標リスト１０１３の一例を示す図である。評価指標リスト１０１３は、各指標に割り当てられた番号が格納される指標番号２１、指標番号に係る評価指標の名称が格納される指標名称２２、指標番号に係る評価指標の定義内容が格納される指標定義２３、及び、指標番号に係る評価指標の値の計算処理２４を有するデータベースである。評価指標リスト１０１３は、例えば、ユーザにより入力され、または所定の情報処理装置から取得される情報である。
【0036】
【0037】
計画表１０１４は、マトリックスデータ（表データ）として構成されており、全ての計画表に共通して固定の計画マスタ情報３１と、それぞれの計画表に固有のターゲット項目３２とに分けられる。計画表１０１４の種類については後述する。
【0038】
計画マスタ情報３１は、日付、依頼の開始時間と終了時間、及び依頼番号といった計画表の基本的な情報を格納する。計画マスタ情報３１の各項目のデータは、業務関係データ１０１１から出力されて計画表１０１４に格納される。
【0039】
ターゲット項目３２は、当該計画表に固有の情報を格納する。ターゲット項目３２は、計画生成部１０３１によって制約リスト１０１２の条件を満たしつつ、評価指標リスト１０１３の値を最適にするように、組み合わせが決定される。例えば、計画評価装置１０００が人員配置計画を評価する場合は、図３の例に示したように、ターゲット項目３２は従業員番号となり、人員配置計画の評価は、既定の依頼に対する従業員の割り当てを決定する組み合わせ問題となる。
【0040】
上記のように、ある項目の組み合わせを求める計画表１０１４であれば、どのような問題でも計画評価装置１０００による評価対象となる。また、本発明で述べる計画成分とは、計画表１０１４における１つの行を指す。そして、「計画表のＫＰＩに対する影響度を算出する」とは、「ある計画表の中でＫＰＩの変化に大きく寄与した計画成分を抽出すること」を指す。
【0041】
なお、本実施形態では、対象計画表、履歴計画表、及び基準計画表の３種類の計画表１０１４が用いられる。全ての計画表において、計画マスタ情報３１は共通しており、ターゲット項目３２は異なるか同じものを含む。
【0042】
対象計画表は、影響度を算出して解析を行う対象とされる計画表であり、後述する図５のＳ５０１で生成される。
【0043】
履歴計画表は、対象計画表とは別のプロセスで予め生成された（過去に生成された）計画表である。履歴計画表の生成プロセスは、職人による手作業、対象計画表とは異なる計画生成アルゴリズム、または、対象計画表と同様のアルゴリズムのランダム性を活用したもの等であり、生成された履歴計画表が、対象計画表と同一の計画マスタ情報３１と、対象計画表と同様の形式のターゲット項目３２とを有していればよい。履歴計画表は、対象計画表に対する影響度の算出精度を高めるために有用な計画表である。
【0044】
基準計画表は、履歴計画表の一種と考えてよいものであり、対象計画表の明確な比較対象となる計画表である。基準計画表は、例えば、職人によって作成された見本としての計画表、または、ある修正作業を行う前の計画生成アルゴリズムで作成された計画表が該当する。
【0045】
図４は、ＫＰＩデータ１０１５の一例を示す図である。ＫＰＩデータ１０１５は、評価指標リスト１０１３に基づいて計画表１０１４を評価した結果（ＫＰＩ値）を格納するデータである。ＫＰＩデータ１０１５は、対象計画表、履歴計画表、及び基準計画表の各種の計画表ごとに存在する。
【0046】
ＫＰＩデータ１０１５は、各指標に割り当てられた番号が格納される指標番号４１と、指標番号４１に係る評価指標の名称が格納される指標名称４２と、評価結果の値４３とを有するデータベースである。指標番号４１に格納される番号は、図２の評価指標リスト１０１３の指標番号２１の番号と対応する。値４３には、数値、バイナリ値、カテゴリ値などのＫＰＩ値が格納される。また、ＫＰＩデータ１０１５は、評価結果の算出元とされた計画表１０１４と１対１で対応し、ファイル名等によって、計画表１０１４とＫＰＩデータ１０１５との対応関係が区別できるものとする。
【0047】
以下では、対象計画表の影響度を算出する影響度算出プロセスについて、適宜図面を参照しながら説明する。
【0048】
図５は、影響度算出処理の処理手順例を示すフローチャートである。本実施形態において計画評価装置１０００は、影響度算出処理の実行により、計画表１０１４の成分を単純な数値列である特徴量の形式に圧縮変換し、得られた特徴量とＫＰＩ値との関係を学習する機械学習モデル１０２１を作成する。さらに、計画評価装置１０００は、得られた機械学習モデル１０２１における各特徴量の出力への寄与率を算出し、対象計画表の成分へ分配・統合することで、対象計画表の成分がＫＰＩ値に及ぼす影響度を算出する。
【0049】
図５によればまず、処理装置１００２の計画生成部１０３１が、記憶装置１００１から業務関係データ１０１１及び制約リスト１０１２を読み込み、対象計画表を生成する（ステップＳ５０１）。ステップＳ５０１で生成される対象計画表は、例えば図３に示した計画表１０１４であり、記憶装置１００１に保存される。なお、ステップＳ５０１において計画生成部１０３１が対象計画表を生成する具体的な方法は、組み合わせ最適化ソルバーや機械学習モデルなど、制約条件を考慮しながらターゲット項目３２の組み合わせ解を求める方法であればよい。
【0050】
次に、評価指標計算部１０３２が、評価指標リスト１０１３及びステップＳ５０１で出力された対象計画表（計画表１０１４）を入力し、対象計画表のＫＰＩ値を計算し、その算出結果を示すＫＰＩデータ１０１５を記憶装置１００１に保存する（ステップＳ５０２）。なお、計画生成部１０３１と評価指標計算部１０３２が同一プログラムまたは同一アーキテクチャで構成される場合は、ステップＳ５０１，Ｓ５０２の処理は同時に実行される。
【0051】
次に、各計画表をモデル学習部１０４２に入力するための特徴量変換を行うにあたって、ユーザ独自の特徴量変換ルール１０２２を導入するか否かをユーザが選択する（ステップＳ５０３）。ステップＳ５０３においてユーザ独自の特徴量変換ルール１０２２の導入が選択されなかった場合は、計画表を自動的に特徴量に変換する自動ルールが特徴量変換で利用されるとして、ステップＳ５０５に進む。
【0052】
一方、ステップＳ５０３においてユーザ独自の特徴量変換ルール１０２２の導入が選択された場合（ステップＳ５０３のＹＥＳ）、ユーザが入力装置１００３を操作して、導入する特徴量変換ルール１０２２を記述する（ステップＳ５０４）。特徴量変換ルール１０２２の記述方法の詳細は、図６を参照して後述する。そしてデータ入力部１０６０が、記述された特徴量変換ルール１０２２を記憶装置１００１に格納した後、ステップＳ５０５に進む。
【0053】
ステップＳ５０５では、特徴量変換部１０４１が、ステップＳ５０１で生成された対象計画表、過去に得られた履歴計画表、及び対象計画表と履歴計画表のＫＰＩ値（ＫＰＩデータ１０１５）を入力し、ステップＳ５０３～Ｓ５０４で選択された特徴量変換ルール１０２２または自動ルール、あるいは特徴量変換ルール１０２２と自動ルールとの組み合わせを利用して、対象計画表の特徴量への変換を複数回実行する特徴量変換処理を実行する。特徴量変換処理の詳細な処理手順は、図７を参照して後述するが、特徴量変換処理において特徴量変換部１０４１は、計画表を変換して得られた特徴量を、計画特徴量表１０２３として記憶装置１００１に格納する。
【0054】
次に、ステップＳ５０６において、影響度評価処理部１０４０がステップＳ５０５の特徴量変換処理で得られた複数の計画特徴量表１０２３から１つを選択し、機械学習のループ処理を開始する。
【0055】
機械学習のループ処理では、まず、ステップＳ５０７において、モデル学習部１０４２が、ステップＳ５０６で選択された計画特徴量表１０２３を入力、当該計画特徴量表１０２３に対応するＫＰＩデータ１０１５（計画特徴量表１０２３のＫＰＩ９３と読み替えてもよい）を出力（目的変数）として入力し、機械学習を行うことにより、各計画表とＫＰＩデータ１０１５との関係を学習した機械学習モデル１０２１を作成する。ステップＳ５０７で作成された機械学習モデル１０２１は記憶装置１００１に格納される。なお、モデル学習部１０４２によって作成される機械学習モデル１０２１は、入力データに対する処理を実行して予測値を出力するような、教師あり学習である決定木やニューラルネットワークに基づくものを想定している。
【0056】
次のステップＳ５０８では、寄与率計算部１０４３が、ステップＳ５０７で作成された機械学習モデル１０２１、ステップＳ５０６で選択された計画特徴量表１０２３、及び当該計画特徴量表１０２３に対応するＫＰＩデータ１０１５に基づいて、各特徴量の寄与率を算出し、その算出結果を示す情報（寄与率算出結果１０２４）を記憶装置１００１に格納する。
【0057】
寄与率計算部１０４３による寄与率の計算方法は、例えば非特許文献２に記載された方法を適用することができる。但し、この方法に限定されるものではなく、機械学習モデルにおける各特徴量の予測に対する寄与率を算出できる方法であればよい。ここで、寄与率算出のために用いられる初期値は、基準計画表であることが望ましい。
【0058】
なお、対象計画表と基準計画表のそれぞれから得られた計画特徴量表１０２３に対して、各特徴量を入れ替えても各計画表に矛盾が生じない場合は、ステップＳ５０７において機械学習モデル１０２１を作成せずとも、ステップＳ５０８において寄与率計算部１０４３が、非特許文献２に記載されたＳｈａｐｌｅｙ値の算出方法によって、直接的にＫＰＩへの寄与率（すなわち、影響度）を計算するようにしてもよい。
【0059】
上記した機械学習のループ処理（ステップＳ５０６～Ｓ５０８）は、ステップＳ５０５の特徴量変換処理で得られた複数の計画特徴量表１０２３の全てに対して繰り返し実行され（ステップＳ５０９）、全ての計画特徴量表１０２３について処理が終了すると、ステップＳ５１０に進む。
【0060】
ステップＳ５１０では、影響度計算部１０４４が、上記ループ処理においてステップＳ５０８で得られた寄与率を分配及び統合し、ＫＰＩ値に対する対象計画表成分の影響度を算出する、影響度情報集計処理を実行する。影響度情報集計処理の詳細な処理手順は、図１１を参照して後述する。
【0061】
次に、影響度計算部１０４４は、ステップＳ５１０の処理で算出した各影響度と、各影響度の算出に用いられたＫＰＩ値及び対象計画表とを集計することによって、影響度算出結果１０２５を作成し、作成した影響度算出結果１０２５を記憶装置１００１に格納する（ステップＳ５１１）。
【0062】
そして最後に、画面出力部１０５０が、ステップＳ５１１で作成された影響度算出結果１０２５に基づいて画面表示用の情報を生成し、出力装置１００４に送信する。この結果、出力装置１００４には、影響度算出結果１０２５に基づく出力画面が表示される（ステップＳ５１２）。出力画面の具体例は、後述する図１４に示す。
【0063】
【0064】
計画表を直接的に機械学習可能な特徴量に変換する場合、非特許文献１に記載されたようなダミー変数に変換する方法が一般的であるが、このようなダミー変数に変換すると、高次元でスパースなデータ構造となり、扱いづらいという問題があった。そこで、本実施形態では、計画表を１以上の方法で圧縮変換することで特徴量を得るようにする。圧縮方法は、計画表の一部の列情報を活用するようにしてもよいし、ランダムに決定するようにしてもよい。
【0065】
図６に例示した特徴量変換ルール１０２２では、特徴量変換のルール番号６１と、圧縮に活用する計画表１０１４の列情報である計画表列６２、及びその圧縮条件６３が記載される。図６では、人員配置計画の例として、具体的にはルール番号「１」に、計画表の「日付」の列情報について「日付ごと」に圧縮することが記述され、ルール番号「２」に、計画表の「従業員番号」の列情報について「番号ごと」に圧縮することが記述されている。なお、本説明では、可読性のために自然言語に基づいて圧縮条件６３を記述しているが、最終的には、圧縮条件６３は特徴量変換部１０４１に適したプログラムあるいは数式の形式に変換される。
【0066】
【0067】
図７によれば、特徴量変換部１０４１は、ステップＳ５０１で生成された対象計画表、過去に得られた履歴計画表、及び対象計画表と履歴計画表のＫＰＩ値（ＫＰＩデータ１０１５）を入力し、以下の特徴量変換のループ処理を開始する（ステップＳ７０１）。
【0068】
特徴量変換のループ処理において、特徴量変換部１０４１はまず、図５のステップＳ５０３におけるユーザ指定に基づいて、特徴量の変換に特徴量変換ルール１０２２を適用するか否かを判定する（ステップＳ７０２）。特徴量変換ルール１０２２を適用する場合（ステップＳ７０２のＹＥＳ）、特徴量変換部１０４１は図５のステップＳ５０４で作成された特徴量変換ルール１０２２を読み込んだ後、ステップＳ７０３に進み、読み込んだ特徴量変換ルール１０２２からルールを１つ選択し、ステップＳ７０５に進む。なお、ステップＳ７０３で読み込まれなかったルールは、次回以降の特徴量変換のループ処理において順次選択される。
【0069】
一方、特徴量の変換に特徴量変換ルール１０２２を適用すると指定されていない場合は（ステップＳ７０２のＮＯ）、特徴量変換部１０４１は、ランダムな分割、若しくは対象計画表における計画マスタ情報３１の任意の列を指定し、当該列の情報に対する特徴量の変換ルール（自動ルール）を自動作成し（ステップＳ７０４）、ステップＳ７０５に進む。詳しくは、ステップＳ７０４において特徴量変換部１０４１は、指定した列の情報がカテゴリの場合はカテゴリごとに、数値の場合はその最大値及び最小値などの範囲に基づいて、当該列の情報に対する特徴量の変換ルールを自動指定する。この変換ルールを指定する際には、基本的なクラスタリングアルゴリズムや条件分岐を用いることができる。
【0070】
なお、図２に示した評価指標リスト１０１３から明らかなように、通常は、ＫＰＩ（指標）ごとに計算処理２４が異なるため、ＫＰＩごとに計算可能な形式に計画表を自動で分割することは難しい。しかし、本実施形態に係る計画評価装置１０００は、数値計算によってＫＰＩ値を算出するために計画表を分割するのではなく、機械学習モデル１０２１に入力させるために計画表を変換するため、ＫＰＩごとに計算可能な形式でなくても、特徴量として単純な数値列に圧縮できればよい。そのため、任意の方法により、ユーザ指定されたルール、自動指定されたルール、あるいはランダムに、計画表を分割しても問題がなく、部分評価できないＫＰＩに対する影響度も算出可能となる。
【0071】
ステップＳ７０５では、特徴量変換部１０４１は、計画表の差分を抽出するか否かを判定する。計画表の差分とは対象計画表と基準計画表との差分であり、対象計画表のターゲット項目３２を基準計画表との差分のみにして、この差分を評価することで、比較やモデル学習が容易になる場合がある。そのため、本実施形態では、計画表の差分を抽出するか否かをユーザから指定可能としている。計画表の差分を抽出する場合は（ステップＳ７０５のＹＥＳ）、ステップＳ７０６を経てステップＳ７０７に進み、計画表の差分を抽出しない場合は（ステップＳ７０５のＮＯ）、そのままステップＳ７０７に進む。
【0072】
ステップＳ７０６では、特徴量変換部１０４１は、対象計画表及び基準計画表以外の履歴計画表に対して、基準計画表とターゲット項目３２が異なる成分（図３の例では、１つの行が「成分」に相当する）のみを抽出し、これを新しい対象計画表及び履歴計画表として、記憶装置１００１の計画表１０１４に保存する。
【0073】
ステップＳ７０７では、特徴量変換部１０４１は、ステップＳ７０３またはステップＳ７０４で得られたルールに沿って、計画表（対象計画表及び履歴計画表）を分割する。
【0074】
次に、特徴量変換部１０４１は、ステップＳ７０７で分割された各計画表について、計画ごとに項目（ターゲット項目３２）の値を、カテゴリまたは数値による「特徴量」に変換する圧縮変換を行う（ステップＳ７０８）。圧縮変換の方法は、各計画表の組み合わせに対してユニークな特徴量（カテゴリまたは数値）に変換してもよいし、コサイン距離など既存の距離尺度によって数値に変換してもよい。圧縮変換の具体例は、図８を参照しながら後述する。
【0075】
次に、特徴量変換部１０４１は、ステップＳ７０８で圧縮変換された計画ごとの特徴量と、対応するＫＰＩ値（ＫＰＩデータ１０１５の値４３）とを組み合わせて計画特徴量表１０２３を作成し、記憶装置１００１に格納する（ステップＳ７０９）。なお、具体例は図９を参照しながら後述するが、計画特徴量表１０２３では、各特徴量の成分とステップＳ７０８で変換する前のターゲット項目３２との対応関係が後で確認できるように、紐付けが行われる。
【0076】
そして、特徴量変換部１０４１は、所定の繰り返し上限に達するまで、ステップＳ７０２～Ｓ７０９の処理を繰り返す（ステップＳ７１０）。なお、繰り返し上限は、ユーザが指定した特徴量変換ルール１０２２の数に基づいて指定されてもよいし、明示的に時間や変換数（ループ回数）が予め指定されてもよい。但し、ユーザによって特徴量変換ルール１０２２が新規に記述された場合は（図５のステップＳ５０４参照）、この特徴量変換ルール１０２２に従った特徴量変換を優先的に実行することが好ましい。
【0077】
上記のように、特徴量変換処理では、特徴量変換のループ処理が行われて複数の圧縮変換が行われることにより、計画評価装置１０００が、様々な観点から計画表を分析することが可能となり、算出する影響度の信頼性も高めることができる。
【0078】
図８は、特徴量変換処理における圧縮変換のイメージを説明するための図である。図８に示した圧縮変換のイメージは、図７のステップＳ７０８の処理を、具体例を用いて視覚化したものである。具体的には、基準計画表である計画Ａについて、特徴量に圧縮変換する前の基準計画表８１と特徴量に圧縮変換した後の基準計画表８４，８５が示され、対象計画表である計画Ｂについて、特徴量に圧縮変換する前の対象計画表８２と特徴量に圧縮変換した後の対象計画表８６，８７が示され、複数存在する履歴計画表のうちの１つである計画Ｃについて、特徴量に圧縮変換する前の履歴計画表８３と特徴量に圧縮変換した後の履歴計画表８８，８９が示されている。
【0079】
図８の例では、計画表の分割ルールとして「日付ごと」と「ランダム」を採用している。以下にそれぞれの分割ルールに従った圧縮変換について具体的に説明する。
【0080】
「日付ごと」の分割ルールによる圧縮変換では、特徴量に圧縮変換した後の基準計画表８４、対象計画表８６、及び履歴計画表８８において、日ごとの列に対して数値が割り振られる。これらの数値は、元の計画表における従業員番号を圧縮して変換したものであり、具体的には例えば、計画Ａの元の基準計画表８１に現れる組み合わせを「０」とし、基準計画表８１には現れない異なる組み合わせを「１」などの別の数値とする圧縮ルールを採用している。
【0081】
上記の圧縮ルールを採用したことにより、計画Ａの圧縮変換後の基準計画表８４では、各日付の値は当然、全て「０」に変換される。
【0082】
また、計画Ｂの圧縮変換後の対象計画表８６では、対象計画表８２における「８／１」の従業員番号が基準計画表８１とは異なる組み合わせであることから、当該日付の値が「１」に変換され、対象計画表８２における「８／２」及び「８／３」の従業員番号が基準計画表８１と同じ組み合わせであることから、当該日付の値が「０」に変換されている。
【0083】
また、計画Ｃの場合は、履歴計画表８３における「８／２」の従業員番号が基準計画表８１と同じ組み合わせであり、履歴計画表８３における「８／１」及び「８／３」の従業員番号が基準計画表８１とは異なる組み合わせである。ここで、上述した計画Ｂと同様に圧縮変換を行うと、計画Ｃの圧縮変換後の履歴計画表８８では、「８／２」の値が「０」に変換され、「８／１」と「８／３」の値が「１」に変換されることになる。
【0084】
但し、図８の場合は、更なる圧縮ルールとして、履歴計画表（計画Ｃ）の圧縮変換においては、元の履歴計画表に現れる組み合わせが、基準計画表（計画Ａ）及び対象計画表（計画Ｂ）の両方に対して異なる場合には、「２」に変換するというルールを採用している。このとき、履歴計画表８３における「８／１」の従業員番号の組み合わせ（「０００２」と「０００４」）は、基準計画表８１における「８／１」の従業員番号の組み合わせ（「０００１」と「０００２」）とも、対象計画表８２における「８／１」の従業員番号の組み合わせ（「０００１」と「０００４」）とも異なっていることから、計画Ｃの圧縮変換後の履歴計画表８８において、「８／１」の値は「２」に変換されている。
【0085】
次に、「ランダム」の分割ルールによる圧縮変換では、列（例えば日付）ごとの値などの明確なルールではなく、ランダムな列の組み合わせで、各計画表を行ごとにそれぞれ分割し、分割した項目に対して「日付ごと」の分割ルールと同様の圧縮ルールを採用することにより、従業員番号の組み合わせが数値による特徴量に変換される。
【0086】
具体的には例えば、「ランダム」の分割ルールにおいて、「１行目と３行目」が列の組み合わせとして選択された場合、圧縮変換前の履歴計画表８３（計画Ｃ）における「１行目と３行目」の従業員番号の組み合わせは「０００１」と「０００３」となる。したがって、特徴量変換部１０４１は、この従業員番号の組み合わせを、基準計画表８１（計画Ａ）及び対象計画表８２（計画Ｂ）における同様の従業員番号の組み合わせと比較することにより、履歴計画表８９の当該項目の特徴量（値）を決定することができる。
【0087】
なお、上述した圧縮変換の方法はあくまで一例に過ぎず、本実施形態における特徴量の圧縮変換はこれに限定されるものではない。例えば、上述した圧縮ルールは、基準計画表８１（計画Ａ）における組み合わせをベースラインとしたものであったが、ベースラインは基準計画表に限定されるものではない。
【0088】
図９は、計画特徴量表１０２３の一例を示す図である。図９に示した計画特徴量表１０２３は、図７のステップＳ７０９において特徴量変換部１０４１が作成して記憶装置１００１に格納する計画特徴量表１０２３の具体例であり、各特徴量の元となった計画番号９１（ステップＳ７０９で述べた、特徴量の成分と圧縮変換前のターゲット項目３２とを紐付けるための情報）と、機械学習モデル１０２１の入力変数となる特徴量９２と、機械学習モデル１０２１の目的変数となるＫＰＩ９３と、を有して構成される。
【0089】
前述した図５のステップＳ５０７では、上記のように構成された計画特徴量表１０２３が機械学習モデル１０２１に取り込まれることで、次のステップＳ５０８において、モデルへの特徴量の寄与率（図１０の寄与率算出結果１０２４における寄与率１０３）が算出される。
【0090】
図１０は、寄与率算出結果１０２４の一例を示す図である。図１０に示した寄与率算出結果１０２４は、図５のステップＳ５０８において寄与率計算部１０４３によって算出される、機械学習モデル１０２１への各特徴量の寄与率の算出結果を示す情報である。
【0091】
図１０に示すように、寄与率算出結果１０２４は、各特徴量のカラム名である特徴量名１０１と、その特徴量の値１０２と、その特徴量の機械学習モデル１０２１への寄与率１０３と、を有して構成される。寄与率算出結果１０２４は、１以上の機械学習モデル１０２１に対してそれぞれ作成され、１以上の機械学習モデル１０２１において各計画特徴量に対する寄与率が得られた後、図１１に示す影響度情報集計処理（図５のステップＳ５１０）が実行される。
【0092】
図１１は、影響度情報集計処理の処理手順例を示すフローチャートである。図１１に示す影響度情報集計処理は、図５のステップＳ５１０の処理に相当し、影響度計算部１０４４が、ステップＳ５０９で算出された寄与率を、対象計画表の成分に分配し、統合することにより、対象計画表の成分がＫＰＩ値に及ぼす影響度を算出する処理である。
【0093】
図１１によれば、影響度計算部１０４４は、以下の寄与率統合のループ処理を開始する（ステップＳ１１０１）。このとき、影響度算出処理の機械学習ループ（図５のステップＳ５０６～Ｓ５０９）は終了しているため、対象計画表ごとに寄与率算出結果１０２４は算出済みである。
【0094】
寄与率統合のループ処理において、影響度計算部１０４４はまず、寄与率算出結果１０２４、及びそれに対応する対象計画表（計画表１０１４）を１組、抽出する（ステップＳ１１０２）。
【0095】
次に、影響度計算部１０４４は、ステップＳ１１０２で抽出した寄与率算出結果１０２４に寄与率が示された各特徴量について、寄与率を計画成分へ分配する寄与率分配のループ処理を開始する（ステップＳ１１０３）。寄与率は単純な数値列の各特徴量に対する予測への影響度である。しかし特徴量は各計画成分を変換した数値のため、その寄与率のみでは計画成分のＫＰＩに対する影響度は得られない。そこで本発明では、寄与率分配のループ処理を実行して、寄与率を計画成分に分配することで、機械学習モデル１０２１における寄与率を計画表に適用する。
【0096】
寄与率分配のループ処理において、影響度計算部１０４４は、ステップＳ１１０２で抽出した寄与率算出結果１０２４から特徴量を１つ選択する（ステップＳ１１０４）。図１０の寄与率算出結果１０２４を例にとると、ステップＳ１１０４において影響度計算部１０４４は、１つの行を抽出する。
【0097】
次に、影響度計算部１０４４は、ステップＳ１１０２で抽出した対応する計画表から、ステップＳ１１０４で選択した特徴量の変換前となる計画成分を抽出する（ステップＳ１１０５）。
【0098】
次に、影響度計算部１０４４は、ステップＳ１１０４で寄与率算出結果１０２４から抽出した行の寄与率１０３を、ステップＳ１１０５で抽出した計画成分に分配する（ステップＳ１１０６）。この分配方法は特に限定されないが、例えば、寄与率を各計画成分に均等に割り付けする方法や、そのままの値（寄与率）を割り付ける方法がある。また例えば、機械学習モデルなどのアルゴリズムを用いて寄与率の分配を決定するようにしてもよい。
【0099】
また、ステップＳ１１０６において、影響度計算部１０４４は、既に別の機械学習モデル１０２１における寄与率が計画成分に存在する場合には、既存の寄与率と新たに分配した寄与率とを統合する。この統合方法は特に限定されず、単純な足し合わせ、重み付け、または掛け合わせなど、任意の方法を採用してよい。
【0100】
そして、影響度計算部１０４４は、ステップＳ１１０２で抽出した寄与率算出結果１０２４に示された特徴量の種類だけ、寄与率分配のループ処理（ステップＳ１１０４～Ｓ１１０６）を繰り返す（ステップＳ１１０７）。
【0101】
そして、寄与率分配のループ処理が終了した後は、影響度計算部１０４４は、全ての寄与率算出結果１０２４について、寄与率統合のループ処理（ステップＳ１１０２～Ｓ１１０７）を繰り返し（ステップＳ１１０８）、その後、影響度情報集計処理を終了する。
【0102】
図１２は、影響度算出結果１０２５の一例を示す図である。図１２に示した影響度算出結果１０２５は、図５のステップＳ５１１において影響度計算部１０４４が作成して記憶装置１００１に格納する影響度算出結果１０２５の具体例である。
【0103】
影響度算出結果１０２５は、図３に示した計画表１０１４と同様に、マトリックスデータ（表データ）として構成されており、全ての計画表に共通して固定の計画マスタ情報１２０１、それぞれの計画表に固有のターゲット項目１２０２、及び、算出された影響度１２０３の項目を有する。
【0104】
図１２のような形式で影響度算出結果１０２５が作成されることにより、ユーザ（開発者）は、影響度算出結果１０２５を参照することで、膨大な計画表の成分のうちから、ＫＰＩに対して影響の度合いが大きい成分を即座に見つけることができ、ＫＰＩ改善のための修正案の検討に素早く取り組むことができる。
【0105】
さらに、影響度算出結果１０２５に示される影響度１２０３は、機械学習モデル１０２１によって計画表１０１４とＫＰＩ値（ＫＰＩデータ１０１５）との関係性を学習した結果から得られる影響度であることから、直接的にＫＰＩ値を変化させる成分しか抽出できない特許文献１の技術とは異なり、本実施形態に係る計画評価装置１０００は、ＫＰＩ値に直接的に影響を及ぼす成分だけでなく、ＫＰＩ値に間接的に影響を及ぼしている可能性がある成分も抽出することができる。
【0106】
【0107】
図１３には、「日付ごと」の分割ルールによる圧縮変換で生成された特徴量に対する寄与率算出結果１３０１と、従業員番号の「番号ごと」の分割ルールによる圧縮変換で生成された特徴量に対する寄与率算出結果１３０２とを基に、これらの寄与率を各計画成分に分配及び統合して影響度算出結果１３０３を作成するイメージが示されている。
【0108】
なお、図１３の場合は、寄与率の分配方法に「平均割り付け」を用い、寄与率の統合に「単純な足し合わせ」を用いている。例えば影響度算出結果１３０３の計画成分の１行目に着目すると、まず、日付が「８／１」であることから、寄与率算出結果１３０１の特徴量「８／１」の寄与率を確認すると「＋０．３」であり、この寄与率を分配した「＋０．１」が「日付ごとの分配」の寄与率に記載されている。ここで、「＋０．３」の寄与率を分配した値が「＋０．１」になっているのは、影響度算出結果１３０３において日付が「８／１」である成分が３つ（上から１～３行目）存在していことから、平均割り付けの分配方法に従って三分割したためである。影響度算出結果１３０３の計画成分の１行目では、同様に、従業員番号「０００１」の寄与率も分配した結果、「従業員番号ごとの分配」の寄与率として「＋０．１」が記載されている。そして影響度算出結果１３０３の計画成分の１行目では、最後に、日付「８／１」の寄与率「＋０．１」と従業員番号「０００１」の寄与率「＋０．１」とが統合（ここでは、単純な足し合わせ）されることで、統合結果の影響度として「＋０．２」が算出される。
【0109】
図１４は、影響度算出結果１０２５に基づく出力画面の一例を示す図である。図１４に示す出力画面１４００は、図５のステップＳ５１２で出力装置１００４に表示される出力画面の具体例であって、図５のステップＳ５１１で作成された影響度算出結果１０２５の内容を、ユーザから理解し易い形態に整形して表示している。
【0110】
図１４の出力画面１４００は、人員配置計画におけるガントチャートの形式で出力したものであり、従業員番号１４０１、各依頼の日付１４０２、影響度の小さい計画成分１４０３、及び、影響度の大きい計画成分１４０４から構成されている。本例の場合、計画成分１４０３，１４０４に記載された計画成分の値は、人員配置計画における依頼番号（例えば図１２の計画マスタ情報１２０１の「依頼番号」）を意味する。
【0111】
なお、出力画面１４００において、各計画成分（本例では依頼番号）を影響度の小さい計画成分１４０３と影響度の大きい計画成分１４０４の何れに分類するかは、影響度算出結果１０２５における影響度の値に基づいて任意の方法で決定してよく、例えば、上位から所定数までの影響度を示す依頼番号を影響度の大きい計画成分１４０４に分類したり、所定の閾値を超える影響度を示す依頼番号を影響度の大きい計画成分１４０４に分類したりすればよい。
【0112】
図１４では、依頼番号「１０５」及び依頼番号「１１２」が、影響度の大きい計画成分１４０４として、ハイライトによって強調表示されることにより、ユーザは、出力画面１４００から即座に重要部分を特定することができる。なお、表示方法は限定されるものではなく、例えば、影響度の小さい計画成分１４０３の表示を省略する方法や、影響度算出結果１０２５における影響度の値に基づいて、影響度の大きさを色のグラデーションで表示する方法など、任意の方法であってよい。
【0113】
前述した図５の影響度算出処理では、機械学習モデル１０２１ごとに寄与率を算出してから、それらを分配及び統合することで、計画表の成分（計画成分）ごとの影響度を算出したが、本実施形態に係る計画評価装置１０００は、影響度算出処理の別の処理手順として、先に機械学習モデル１０２１を統合してから寄与率を算出し、計画成分ごとの影響度を算出することもできる。このよう処理手順による影響度算出処理を、統合モデルによる影響度算出処理と称し、以下の図１５にその処理手順の一例を示す。
【0114】
【0115】
【0116】
次に、影響度評価処理部１０４０がステップＳ１５０１で得られた複数の計画特徴量表１０２３から１つを選択し、機械学習のループ処理を開始する（ステップＳ１５０２）。
【0117】
機械学習のループ処理では、まず、図５のステップＳ５０７と同様の方法で、モデル学習部１０４２が、計画特徴量表１０２３を入力、当該計画特徴量表１０２３に対応するＫＰＩデータ１０１５（計画特徴量表１０２３のＫＰＩ９３と読み替えてもよい）を出力として入力し、機械学習を行うことにより、各計画表とＫＰＩデータ１０１５との関係を学習した機械学習モデル１０２１を作成する（ステップＳ１５０３）。
【0118】
そして、図１５の機械学習のループ処理では、図５の機械学習のループ処理とは異なる点として、図５のステップＳ５０８に相当する処理を行わずに、複数の計画特徴量表１０２３の全てに対してステップＳ１５０３の処理を繰り返し実行され（ステップＳ１５０４）、全ての計画特徴量表１０２３について機械学習モデル１０２１が作成されると、ステップＳ１５０５に進む。
【0119】
ステップＳ１５０５では、モデル学習部１０４２が、機械学習のループ処理で作成した複数の機械学習モデル１０２１を統合する。統合されたモデルを統合モデルと称する。ステップＳ１５０５における統合モデルの統合方法は、既存の統合方法を採用してよく、例えば、出力の重み付け平均や、さらに機械学習モデル１０２１を重ねるスタッキング手法等を用いることができる。
【0120】
次に、寄与率計算部１０４３が、ステップＳ１５０５で統合された統合モデルにおける各特徴量の寄与率を算出し、その算出結果を示す情報（寄与率算出結果１０２４）を記憶装置１００１に格納する（ステップＳ１５０６）。寄与率の算出方法には、図５のステップＳ５０８で説明したのと同様に、既存の技術を用いてよい。
【0121】
次に、影響度計算部１０４４が、対象計画表の各計画成分を対象として、影響度計算のループ処理を開始する（ステップＳ１５０７）。対象計画表のある計画成分に着目したとき、図５の影響度算出処理では、１つの機械学習モデル１０２１につき１つの特徴量に圧縮変換されていたが、図１５の影響度算出処理では、複数の機械学習モデル１０２１が統合モデルに統合されているため、この１つの統合モデルに対して複数の特徴量に変換されている。
【0122】
影響度計算のループ処理において、まず、影響度計算部１０４４は、対象計画表のうちから、影響度の計算対象とする計画成分を１つ選択する（ステップＳ１５０８）。
【0123】
次に、影響度計算部１０４４は、ステップＳ１５０８で選択した計画成分が変換元に含まれる特徴量を、統合モデルから選択する（ステップＳ１５０９）。
【0124】
次に、影響度計算部１０４４は、ステップＳ１５０９で選択した特徴量の寄与率の合計値を算出する（ステップＳ１５１０）。ステップＳ１５１０で算出される寄与率の合計値は、対象とする計画成分の影響度の近似値として採用される。そのため、より多くの計画特徴量表１０２３から機械学習モデル１０２１を生成して統合するほど、対象とする計画成分についてより多くの特徴量を圧縮変換することができ、特徴量の影響度を算出することに繋がる。すなわち、より多くの計画特徴量表１０２３から機械学習モデル１０２１を生成して統合するほど、影響度の元となる情報が増え、ステップＳ１５１０で算出される影響度（寄与率の合計値）の信頼性の向上に繋がる。
【0125】
上記した影響度計算のループ処理（ステップＳ１５０７～Ｓ１５１０）は、対象計画表に含まれる全ての計画成分に対して繰り返し実行され（ステップＳ１５１１）、全ての計画成分に対して影響度が算出されると、ステップＳ１５１２に進む。
【0126】
ステップＳ１５１２では、影響度計算部１０４４は、影響度計算のループ処理で算出した各計画成分の影響度と、各影響度の算出に用いられたＫＰＩ値及び対象計画表とを集計することによって、影響度算出結果１０２５を作成し、作成した影響度算出結果１０２５を記憶装置１００１に格納する。
【0127】
そして最後に、画面出力部１０５０が、ステップＳ１５１２で作成された影響度算出結果１０２５に基づいて画面表示用の情報を生成し、出力装置１００４に送信する。この結果、出力装置１００４には、影響度算出結果１０２５に基づく出力画面が表示される（ステップＳ１５１３）。
【0128】
図１６は、統合モデルによる影響度算出処理において影響度を計算する処理のイメージを説明するための図である。図１６に示したイメージは、図１５のステップＳ１５１０の処理を、具体例を用いて視覚化したものである。
【0129】
図１６には、図１５の影響度算出処理で影響度の算出対象とする対象計画表の一例としての対象計画表１６０１と、同処理のステップＳ１５０６で算出される統合モデルの寄与率算出結果１０２４の一例としての寄与率算出結果１６０２と、同処理のステップＳ１５１２で作成される影響度算出結果１０２５の一例としての影響度算出結果１６０３とが示されている。
【0130】
図１６における影響度算出結果１６０３の作成について、具体的な値を参照しながら一例を説明する。対象計画表１６０１の１行目の計画成分に着目すると、日付が「８／１」、従業員番号が「０００１」であることから、寄与率算出結果１６０２では、「８／１」と「０００１」の特徴量に変換されていることが分かる。これらの特徴量の寄与率は、ともに「＋０．３」であり、本例ではこれらの寄与率を単純に足し合わせた結果を、着目した計画成分の影響度として、影響度算出結果１６０３に出力している。すなわち、影響度算出結果１６０３では、日付「８／１」の従業員番号「０００１」の特徴量の影響度が「＋０．６」として算出される。
【0131】
以上に説明したように、第１の実施形態に係る計画評価装置１０００によれば、機械学習モデル１０２１における特徴量の影響度の算出方法を計画表の評価（計画成分ごとの評価）に拡張し、その評価結果を作成及び出力することにより、部分評価可能なＫＰＩだけでなく、部分評価できないＫＰＩに対しても直接的または間接的に影響度が大きい成分を計画表から抽出することができる。
【0132】
また、上述した第１の実施形態では、影響度の算出対象とされる対象計画表を１つとした場合の、計画評価装置１０００による評価結果の解釈や比較の方法について述べた。しかし、例えば計画生成部１０３１が繰り返し計算を行うアルゴリズムである場合は、一度に複数の計画（対象計画表）が立案されるケースが存在する。
【0133】
そして上記のように対象計画表が複数存在する場合にも、本実施形態に係る計画評価装置１０００を適用することができる。具体的には、計画評価装置１０００は、ある共通の基準計画表を１つ定めて、それぞれの対象計画表の影響度を算出することで、影響度の高い計画成分の変化等を評価し、可視化することができる。その結果、ユーザ（開発者）は、例えば繰り返し計算の途中経過において、高い影響度を有する計画部分が得られていたにも拘わらず、最終出力では別の項目に置き換えられてしまった等の洞察を得ることができる。
【0134】
また、上述した本実施形態の説明では、単一のＫＰＩに対しる影響度を算出したが、計画評価装置１０００は、このプロセスを繰り返すことにより、複数のＫＰＩに対する各計画成分の影響度を算出することができる。そして、任意の方法で定めた各ＫＰＩの重みなどを活用して足し合わせることで、計画評価装置１０００は、全体のＫＰＩに対する各計画成分の影響度を算出することができる。
【0135】
また、本実施形態に係る計画評価装置１０００では、データ入力部１０６０を活用し、対象計画表の計画成分を一部入れ替え、入替後の計画表における影響度を算出するという運用も実行可能である。このような運用を行うことにより、計画表を修正した場合の評価をインタラクティブに若しくは自動的に行うことが可能となり、開発工数の削減に寄与することができる。
【0136】
（２）第２の実施形態
本発明の第２の実施形態は、第１の実施形態を発展させたものである。上述した第１の実施形態では、機械学習モデル１０２１に基づいて計画成分の影響度を算出したことから、計画成分には、直接的にＫＰＩを変化させる計画成分と間接的にＫＰＩを変化させる計画成分の両方が含まれていた。すなわち、第１の実施形態では、計画成分同士のどこが間接的な影響関係にあるかを抽出するまではしていなかった。そこで第２の実施形態では、第１の実施形態で得られた影響度から、さらに、計画成分同士の間接的な影響関係（以後、間接影響関係と称する）を抽出する。
本発明の第２の実施形態は、第１の実施形態を発展させたものである。上述した第１の実施形態では、機械学習モデル１０２１に基づいて計画成分の影響度を算出したことから、計画成分には、直接的にＫＰＩを変化させる計画成分と間接的にＫＰＩを変化させる計画成分の両方が含まれていた。すなわち、第１の実施形態では、計画成分同士のどこが間接的な影響関係にあるかを抽出するまではしていなかった。そこで第２の実施形態では、第１の実施形態で得られた影響度から、さらに、計画成分同士の間接的な影響関係（以後、間接影響関係と称する）を抽出する。
【0137】
図１７は、本発明の第２の実施形態に係る計画評価装置１７００の構成例を示すブロック図である。図１と比較すると明らかなように、第２の実施形態に係る計画評価装置１７００は、第１の実施形態に係る計画評価装置１０００を拡張した構成を備える。具体的には、計画評価装置１０００からの追加点として、計画評価装置１７００は、計画立案関係処理部１０３０に計画生成制御部１７０１を備え、影響度評価処理部１０４０に間接影響関係計算部１７０２を備える。これらの追加された構成の具体的な活用方法は、後段の説明で述べる。
【0138】
第２の実施形態では、間接影響関係を抽出するために、計画生成にランダム性が有る場合に有効な第１のアプローチと、複数回の計画の生成が難しい場合などに有効な第２のアプローチと、を採用することができる。
【0139】
まず、第１のアプローチによる間接影響関係の抽出処理について説明する。
【0140】
図１８は、第１の間接影響関係抽出処理の処理手順例を示すフローチャートである。第１の間接影響関係抽出処理は、第１のアプローチに基づいて、既に立案済みの履歴計画表を用いて間接影響関係を抽出する処理であって、第１の実施形態で説明した図５または図１５の影響度算出処理の終了後に、間接影響関係計算部１７０２によって実行される。
【0141】
図１８によればまず、間接影響関係計算部１７０２は、影響度算出処理で算出された対象計画表の影響度算出結果１０２５と、計画生成部１０３１の処理によって得られた履歴計画表とを読み込む（ステップＳ１８０１）。
【0142】
次に、間接影響関係計算部１７０２は、ステップＳ１８０１で読み込んだ影響度算出結果１０２５から、着目する計画成分を１つ決定する（ステップＳ１８０２）。以下の処理は、この着目計画成分に対する間接影響関係を抽出するものである。したがって、ステップＳ１８０２で選択する計画成分は、影響度の大きいものなど、詳細な解析を行いたい計画成分であることが好ましい。
【0143】
次に、間接影響関係計算部１７０２は、ステップＳ１８０１で読み込んだ履歴計画表のうちから、ステップＳ１８０２で決定した着目計画成分が現れている履歴計画表を抽出する（ステップＳ１８０３）。
【0144】
次に、間接影響関係計算部１７０２は、間接影響関係を探索するループ処理を開始する（ステップＳ１８０４）。
【0145】
間接影響探索のループ処理では、間接影響関係計算部１７０２は、まず、着目計画成分と間接影響の関係にある計画成分の候補である「間接影響候補」を、対象計画表のうちから１つ設定する（ステップＳ１８０５）。間接影響候補の設定方法は、任意の方法でよいが、機械学習モデル１０２１による影響度の大きい部分のなかには間接影響の意味で重要な計画成分が含まれている可能性が高いことから、着目計画成分以外で影響度の大きい計画成分から順に、間接影響候補に設定して以下の探索を行う方法が一般的である。
【0146】
次に、間接影響関係計算部１７０２は、ステップＳ１８０１で読み込んだ履歴計画表のうちから、ステップＳ１８０５で設定した間接影響候補が現れている履歴計画表を抽出し、ステップＳ１８０３で抽出した着目計画成分を含む履歴計画表との間に関係性を有するか否かを判定する（ステップＳ１８０６）。関係性を判定する最も一般的な方法は、それぞれの履歴計画表の数を比較する方法であるが、相関関係など何らかの定量的な指標を用いて関係性を判定してもよい。
【0147】
ステップＳ１８０６において、間接影響候補を含む履歴計画表の数と着目計画成分を含む履歴計画表の数とが等しいなど、両計画表に関係性が有る場合（ステップＳ１８０６のＹＥＳ）、間接影響関係計算部１７０２は、間接影響関係が有るとして、ステップＳ１８０５で設定した間接影響候補を所定の記録先に記録する（ステップＳ１８０７）。すなわち、ステップＳ１８０７で記録される間接影響候補は、着目計画成分に対して間接的にＫＰＩの変化に影響を与える計画成分（間接影響成分）に相当する。
【0148】
一方、ステップＳ１８０６において、間接影響候補を含む履歴計画表の数と着目計画成分を含む履歴計画表の数とが等しくないなど、両計画表に関係性が無い場合（ステップＳ１８０６のＮＯ）、間接影響関係計算部１７０２は、間接影響関係がないとして、ステップＳ１８０５で設定した計画成分を間接影響候補から除外する（ステップＳ１８０８）。
【0149】
そして、ステップＳ１８０７またはステップＳ１８０８の後、間接影響関係計算部１７０２は、間接影響候補の探索に関する所定の探索上限に達するまで、ステップＳ１８０４～Ｓ１８０７（またはＳ１８０８）のループ処理を繰り返し実行し（ステップＳ１８０９）、その終了後はステップＳ１８１０に進む。なお、間接影響候補の探索に関する所定の探索上限は、例えば、計算時間、または候補とする成分の影響度の閾値などによって決定されればよい。
【0150】
ステップＳ１８１０では、上記処理による間接影響関係の探索結果（具体的には、ステップＳ１８０７で記録した間接影響候補）を、ステップＳ１８０１で読み込んだ影響度算出結果１０２５に付け加えて更新し、間接影響関係抽出処理を終了する。
【0151】
【0152】
図１９には、対象計画表１９０１と、対象計画表１９０１の着目計画成分について間接影響関係の有無が判定される履歴計画表の一例として、その他の履歴計画表１９０２，１９０３が示されている。
【0153】
対象計画表１９０１において、１行目の計画成分に着目し、日付が「８／２」の行と「８／３」の行を間接影響候補とする。ここで、その他の履歴計画表１９０２，１９０３を確認すると、図１９に示した間接影響候補１については、履歴計画表１９０２，１９０３の両方で現れていることから、間接影響候補１は間接影響関係にあると判定され、記録される。一方、図１９に示した間接影響候補２については、履歴計画表１９０２には現れているが、履歴計画表１９０３には現れていないことから、間接影響候補２は間接影響関係にないと判定され、間接影響候補から除外される。
【0154】
図２０は、間接影響関係を含めた影響度算出結果１０２５の一例を示す図である。図２０に示した影響度算出結果２０００は、図１８に示した間接影響関係抽出処理によって間接影響関係の判定結果が更新された後の影響度算出結果１０２５の具体例である。
【0155】
影響度算出結果２０００は、図３に示した計画表１０１４や図１２に示した影響度算出結果１０２５と同様にマトリックスデータ（表データ）として構成されており、全ての計画表に共通して固定の計画マスタ情報１２０１、それぞれの計画表に固有のターゲット項目１２０２、及び、算出された影響度１２０３の項目を有する。さらに、影響度算出結果２０００は、図１２の影響度算出結果１０２５から新たに加えられた項目として、間接影響関係にある計画成分を示す間接影響関係２００４を有している。
【0156】
図２０の例では、間接影響関係２００４には、依頼番号が記載されている。具体的には例えば、２行目の計画成分は、間接影響関係２００４に「１０２」の依頼番号が記載されることで、３行目の計画成分（依頼番号「１０２」）に対して間接影響の関係を有することを示している。なお、間接影響関係２００４の記載形式は、上記のような依頼番号を参照する形式に限定されるものではなく、計画成分を特定できる形式であれば、例えば、他の列や行番号を指定するなどであってもよい。
【0157】
次に、第２のアプローチによる間接影響関係の抽出処理について説明する。
【0158】
図２１は、第２の間接影響関係抽出処理の処理手順例を示すフローチャートである。第２の間接影響関係抽出処理は、第２のアプローチに基づいて、計画表を立案した上で間接影響関係を抽出する処理であって、第１の実施形態で説明した図５または図１５の影響度算出処理の終了後に、計画生成制御部１７０１及び間接影響関係計算部１７０２によって実行される。なお、図２１では、図１８の間接影響関係抽出処理と同様の処理は、同じステップ番号を付しており、その詳細な説明は省略する。
【0159】
【0160】
次に、間接影響探索のループ処理のなかで、間接影響関係計算部１７０２が、対象計画表における間接影響候補を、基準計画表の同じ成分に存在するターゲット項目に置き換える（ステップＳ２１０１）。
【0161】
次に、計画生成部１０３１の最終出力（すなわち、計画生成部１０３１によって立案される計画表）に着目計画成分とステップＳ２１０１で置き換えた間接影響候補（すなわち、基準計画表のターゲット項目）とが現れるように、間接影響関係計算部１７０２から計画生成制御部１７０１に指定を行い、計画生成制御部１７０１が、上記指定に従った模擬的な計画を計画生成部１０３１に立案させる（ステップＳ２１０２）。なお、計画生成制御部１７０１による指定及び立案に係る制御方法は、計画生成部１０３１のアルゴリズムに依存する。
【0162】
次に、間接影響関係計算部１７０２が、ステップＳ２１０２で出力される計画表を確認し、問題なく計画が立案されたか否かを判定する（ステップＳ２１０３）。ステップＳ２１０３における判定では、具体的には、計画表が出力されずにプログラムエラーが発生した、指定された成分が出力されなかった、あるいは、通常の出力では守られていた制約条件を満たさない計画が出力された、などの異常が発生していないかが確認される。
【0163】
ステップＳ２１０３において上記異常が確認されずに通常通りの計画表が生成された場合には（ステップＳ２１０３のＹＥＳ）、ステップＳ２１０１で置き換えた間接影響候補がなくても問題がない（影響しない）ことを表すことから、間接影響関係計算部１７０２は、ステップＳ１８０５で設定した計画成分を間接影響候補から除外する（ステップＳ２１０４）。
【0164】
一方、ステップＳ２１０３において上記異常が確認された場合（ステップＳ２１０３のＮＯ）、ステップＳ２１０１で置き換えた間接影響候補が出力できない場合には着目計画成分も現れないということであるから、間接影響関係計算部１７０２は、間接影響関係が有るとして、ステップＳ１８０５で設定した間接影響候補を所定の記録先に記録する（ステップＳ２１０５）。すなわち、ステップＳ２１０５で記録される間接影響候補は、着目計画成分に対して間接的にＫＰＩの変化に影響を与える計画成分（間接影響成分）に相当する。
【0165】
そして、ステップＳ２１０４またはステップＳ２１０５の後、間接影響関係計算部１７０２は、間接影響候補の探索に関する所定の探索上限に達するまで、ステップＳ１８０４～Ｓ２１０４（またはＳ２１０５）のループ処理を繰り返し実行し（ステップＳ２１０６）、その終了後はステップＳ１８１０に進む。なお、間接影響候補の探索に関する所定の探索上限は、例えば、計算時間、または候補とする成分の影響度の閾値などによって決定されればよい。
【0166】
ステップＳ１８１０では、図１８のステップＳ１８１０と同様に、間接影響関係の探索結果（具体的には、ステップＳ２１０５で記録した間接影響候補）を、ステップＳ１８０１で読み込んだ影響度算出結果１０２５に付け加えて更新し、間接影響関係抽出処理を終了する。
【0167】
以上、第１のアプローチ及び第２のアプローチによる間接影響関係抽出処理を説明したが、第２の実施形態では、計画の特徴に応じて、これらのアプローチを使い分けることで、適切な計画の立案を支援することができる。
【0168】
すなわち、計画成分の組み合わせが多く、ユーザ（開発者）が計画作成ボタンを押すたびに異なるパターンの計画表が立案されるような場合には、計画生成にランダム性があるといえ、このような場合には第１のアプローチを採用して、立案済みの計画（履歴計画表）を用いて、計画成分同士の間接的な影響関係（間接影響関係）を探索することにより、ランダム性がある中でも適切な計画を立案するための情報を得ることができる。
【0169】
また、構成が複雑で１つの計画表を立案する際に時間が掛かる場合などは、複数回の計画の生成が難しく、このような場合には第２のアプローチを採用して、明示的な指示に基づいて立案した計画表を用いて、計画成分同士の間接的な影響関係（間接影響関係）を探索することにより、着目計画成分を生成するために不可欠な成分（ランダムに変化してはならない成分）を抽出することができ、それら影響関係の分析から、適切な計画の立案に貢献することができる。なお、上記の明示的な指示は、ユーザ（開発者）によるものであってもよい。
【符号の説明】
【0170】
１０００，１７００・・・計画評価装置、１００１・・・記憶装置、１００２・・・処理装置、１００３・・・入力装置、１００４・・・出力装置、１０１０・・・計画情報、１０１１・・・業務関係データ、１０１２・・・制約リスト、１０１３・・・評価指標リスト、１０１４・・・計画表、１０１５・・・ＫＰＩデータ、１０２０・・・影響度関連情報、１０２１・・・機械学習モデル、１０２２・・・特徴量変換ルール、１０２３・・・計画特徴量表、１０２４・・・寄与率算出結果、１０２５・・・影響度算出結果、１０３０・・・計画立案関係処理部、１０３１・・・計画生成部、１０３２・・・評価指標計算部、１０４０・・・影響度評価処理部、１０４１・・・特徴量変換部、１０４２・・・モデル学習部、１０４３・・・寄与率計算部、１０４４・・・影響度計算部、１０５０・・・画面出力部、１０６０・・・データ入力部、１７０１・・・計画生成制御部、１７０２・・・間接影響関係計算部
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図13】
【図14】
【図15】
【図16】
【図17】
【図18】
【図19】
【図20】
【図21】