特表2024-508130パフォーマンスベースのプロジェクト管理のためのデータ駆動手法
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公表特許公報(A)
(11)【公表番号】
(43)【公表日】2024-02-22
(54)【発明の名称】パフォーマンスベースのプロジェクト管理のためのデータ駆動手法
(51)【国際特許分類】
G06Q 10/0639 20230101AFI20240215BHJP
G06Q 10/06 20230101ALI20240215BHJP
【ＦＩ】
G06Q10/0639
G06Q10/06
【審査請求】有
【予備審査請求】未請求
(21)【出願番号】P 2023551207
(86)(22)【出願日】2021-03-17
(85)【翻訳文提出日】2023-08-23
(86)【国際出願番号】 US2021022777
(87)【国際公開番号】W WO2022197294
(87)【国際公開日】2022-09-22
(81)【指定国・地域】
【公序良俗違反の表示】
（特許庁注：以下のものは登録商標）
１．ＪＡＶＡ
２．ＶＩＳＵＡＬ ＢＡＳＩＣ
３．ＰＹＴＨＯＮ
４．ＪＡＶＡＳＣＲＩＰＴ
(71)【出願人】
【識別番号】520155228
【氏名又は名称】ヒタチ ヴァンタラ エルエルシー
(74)【代理人】
【識別番号】110000279
【氏名又は名称】弁理士法人ウィルフォート国際特許事務所
(72)【発明者】
【氏名】ザン， ヨンシャン
(72)【発明者】
【氏名】リン， ウェイ
(72)【発明者】
【氏名】ワン， モハン
(72)【発明者】
【氏名】シュマルゾ， ウィリアム
(57)【要約】
本明細書に記載の実装例は、プロジェクト管理システム及びマイルストーンの管理を対象とする。実装例では、プロジェクトデータ及び従業員データを有するプロジェクトの入力に関して、かかる実装形態は、特徴を生成するためにプロジェクトデータ及び従業員データに対して特徴抽出を実行すること、プロジェクトのクラスタ及び異常を導出するために生成された特徴に対して教師なし機械学習で構成された自己プロファイリングアルゴリズムを実行すること、キーパフォーマンス指標に関連するマイルストーンへの遷移の確率を決定するために生成された特徴に対してパフォーマンスモニタリングプロセスを実行すること、及びプロジェクトの予測パフォーマンスを生成するために生成された特徴、導出されたクラスタ、導出された異常、キーパフォーマンス指標に関連するマイルストーンへの遷移の確率に対して教師あり機械学習モデルを実行することを含む。
【特許請求の範囲】
【請求項1】
プロジェクト管理を促進するためのコンピュータに実装される方法であって、プロジェクトデータ及び従業員データを含むプロジェクトの入力に関して、特徴を生成するために前記プロジェクトデータ及び前記従業員データに対して特徴抽出を実行すること、
前記プロジェクトのクラスタ及び異常を導出するために前記生成された特徴に対して教師なし機械学習で構成された自己プロファイリングアルゴリズムを実行すること、
マイルストーンにおけるキーパフォーマンス指標値の確率を決定するために前記生成された特徴に対してパフォーマンスモニタリングプロセスを実行すること、及び
前記プロジェクトの予測パフォーマンス値を生成するために前記生成された特徴、前記導出されたクラスタ、前記導出された異常、前記マイルストーンにおける前記キーパフォーマンス指標値の前記確率に対して教師あり機械学習モデルを実行すること
を含む、コンピュータに実装される方法。
【請求項2】
前記プロジェクトの前記クラスタ及び前記異常を導出するために前記生成された特徴に対して前記教師なし機械学習で構成された前記自己プロファイリングアルゴリズムを前記実行することが、前記生成された特徴に基づいて教師なし機械学習モデルを生成するために前記教師なし機械学習を実行すること、
教師ありアンサンブル機械学習モデルを生成するために前記教師なし機械学習モデルのそれぞれからの結果に対して教師あり機械学習を実行することであって、前記教師ありアンサンブル機械学習モデルのそれぞれは前記教師なし機械学習モデルのそれぞれに対応する、実行すること、及び
前記教師ありアンサンブル機械学習モデルによって生成される予測に対する前記教師なし機械学習モデルの前記結果の評価に基づいて、前記クラスタ及び前記異常を導出するように構成される前記モデルとして前記教師なし機械学習モデルの或るものを選択すること
を含む、請求項１に記載のコンピュータに実装される方法。
【請求項3】
前記プロジェクトの前記クラスタ及び前記異常を導出するために前記生成された特徴に対して前記教師なし機械学習で構成された前記自己プロファイリングアルゴリズムを前記実行することが、前記生成された特徴に対して一組の教師なし学習モデルアルゴリズムから各教師なし機械学習モデルアルゴリズムを実行すること、
選択基準を満たす、前記各教師なし機械学習モデルアルゴリズムのための関連パラメータセットを有する前記教師なし機械学習モデルの中の１つの教師なし機械学習モデルを決定すること、
前記選択基準を満たす、前記各教師なし機械学習モデルアルゴリズムの前記教師なし機械学習モデルの前記１つの教師なし機械学習モデルから、前記一組の前記教師なし機械学習モデルアルゴリズムにわたって導入するための教師なし機械学習モデルを決定すること
を含む、請求項１に記載のコンピュータに実装される方法。
【請求項4】
導入用の前記教師なし機械学習モデルを導入すること、及び導入用の前記教師なしモデルの導入中、
教師なし出力を生成するために前記生成された特徴に対して導入用の前記教師なし機械学習モデルを適用すること、
拡張された特徴を得るために前記特徴に対して前記教師なし出力を付加すること、
前記一組の教師なし機械学習モデルアルゴリズムから別の教師なし学習モデルアルゴリズムをランダムに選択すること、
前記選択基準を満たす別の関連パラメータセットを有する別の教師なし機械学習モデルを見つけるために、前記拡張された特徴に基づいて前記ランダムに選択された教師なし学習モデルアルゴリズムを訓練すること、及び
導入用の前記導入された教師なし学習モデルよりも優れた評価を有する前記ランダムに選択された教師なし学習モデルアルゴリズムから生成される前記別の教師なし学習モデルに関して、導入用の前記導入された教師なし学習モデルを前記別の教師なし学習モデルに置換すること
を更に含む、請求項３に記載のコンピュータに実装される方法。
【請求項5】
前記プロジェクトの前記クラスタ及び前記異常を導出するために前記生成された特徴に対して前記教師なし機械学習で構成された前記自己プロファイリングアルゴリズムを前記実行することが、ａ）前記教師なし機械学習アルゴリズムのそれぞれについて、教師なし機械学習モデルを生成するために前記生成された特徴に対して一組の教師なし機械学習モデルアルゴリズムを適用すること、
ｂ）教師なし出力形式を付加すること、前記特徴に対する前記教師なし機械学習モデル、及び
ｃ）終了基準が満たされるまでステップａ）及びｂ）を反復すること
を含む、請求項１に記載のコンピュータに実装される方法。
【請求項6】
マイルストーンにおけるキーパフォーマンス指標値の前記確率を決定するために前記生成された特徴に対して前記パフォーマンスモニタリングプロセスを前記実行することが、第２のマイルストーンにおける複数の第２のキーパフォーマンス指標に対する第１のマイルストーンにおける複数の第１のキーパフォーマンス指標間の遷移を関係させる遷移ネットワークを履歴プロジェクトから生成すること
を含み、
前記遷移の前記確率は、前記第１のマイルストーンの前記複数の第１のキーパフォーマンス指標が前記第２のマイルストーンにおける前記第２のキーパフォーマンス指標に遷移した回数に基づいて決定される、
請求項１に記載のコンピュータに実装される方法。
【請求項7】
前記マイルストーンにおける前記キーパフォーマンス指標値の前記確率を決定するために前記生成された特徴に対してパフォーマンスモニタリングプロセスを前記実行することが、前のマイルストーンにおける前記キーパフォーマンス指標値に基づいて前記マイルストーンにおける前記キーパフォーマンス指標値を予測するためのマルチタスク教師あり機械学習モデルを生成すること
を含み、
前記キーパフォーマンス指標値の前記確率は、前記マルチタスク教師あり機械学習モデルとして分類モデルが使用されるときのカテゴリ又は前記マルチタスク教師あり機械学習モデルとして回帰モデルが使用されるときの数値スコアのうちの１つであり、
前記マイルストーンにおける前記キーパフォーマンス指標値が同時に予測される、
請求項１に記載のコンピュータに実装される方法。
【請求項8】
プロジェクトのパフォーマンスデータから行列を生成することであって、前記行列は様々な次元にわたる従業員関連データの行及びプロジェクト関連データの列で構成され、前記プロジェクトのパフォーマンスデータから導出されるパフォーマンススコアを示す値を含む、生成すること、前記行列内の前記値の欠落したものに関して、前記行列内の前記値の前記欠落したものを訓練プロセスから生成すること、
新たなプロジェクトの入力に関して、
前記新たなプロジェクト内の前記従業員関連データ及び前記新たなプロジェクトの前記プロジェクト関連データとマッチする前記行及び前記列を識別すること、
前記識別された前記行及び前記列に対応する前記値を集約すること、
前記集約された前記値に従って前記従業員関連データから従業員グループをランク付けすること、及び
前記新たなプロジェクトの実行に関して最高ランクを有する前記従業員関連データから従業員グループを選択すること
を含む、コンピュータに実装される方法。
【請求項9】
前記プロジェクトの予測パフォーマンス値を生成するために生成された特徴、導出済されたクラスタ、導出された異常、及びマイルストーンにおけるキーパフォーマンス指標値の確率に対して教師あり機械学習モデルを実行するために、前記プロジェクトのクラスタ及び異常を導出するために前記生成された特徴に対して教師なし機械学習で構成された自己プロファイリングアルゴリズムを実行し、
マイルストーンにおける前記キーパフォーマンス指標値の確率を決定するために前記生成された特徴に対してパフォーマンスモニタリングプロセスを実行し、
前記プロジェクトの予測パフォーマンスを生成するために前記生成された特徴、前記導出されたクラスタ、前記導出された異常、前記マイルストーンにおける前記キーパフォーマンス指標値の前記確率に対して教師あり機械学習モデルを実行する、
請求項８に記載の方法。
【請求項10】
前記プロジェクトの前記クラスタ及び前記異常を導出するために前記生成された特徴に対して前記教師なし機械学習で構成された前記自己プロファイリングアルゴリズムを前記実行することが、前記生成された特徴に基づいて教師なし機械学習モデルを生成するために前記教師なし機械学習を実行すること、
教師ありアンサンブル機械学習モデルを生成するために前記教師なし機械学習モデルのそれぞれからの結果に対して教師あり機械学習を実行することであって、前記教師ありアンサンブル機械学習モデルのそれぞれは前記教師なし機械学習モデルのそれぞれに対応する、実行すること、及び
前記教師ありアンサンブル機械学習モデルによって生成される予測に対する前記教師なし機械学習モデルの前記結果の評価に基づいて前記クラスタ及び前記異常を導出するように構成される前記モデルとして前記教師なし機械学習モデルの或るものを選択すること
を含む、請求項９に記載のコンピュータに実装される方法。
【請求項11】
前記プロジェクトの前記クラスタ及び前記異常を導出するために前記生成された特徴に対して前記教師なし機械学習で構成された前記自己プロファイリングアルゴリズムを前記実行することが、前記生成された特徴に対して一組の教師なし学習モデルアルゴリズムからの各教師なし機械学習モデルアルゴリズムを実行すること、
選択基準を満たす、前記各教師なし機械学習モデルアルゴリズムのための関連パラメータセットを有する前記教師なし機械学習モデルの中の１つの教師なし機械学習モデルを決定すること、
前記選択基準を満たす、前記各教師なし機械学習モデルアルゴリズムの前記１つの教師なし機械学習モデルから、前記一組の前記教師なし機械学習モデルアルゴリズムにわたって導入するための教師なし機械学習モデルを決定すること
を含む、請求項９に記載のコンピュータに実装される方法。
【請求項12】
導入用の前記教師なし機械学習モデルを導入すること、及び導入用の前記教師なし機械学習モデルの導入中、
教師なし出力を生成するために前記特徴に対して導入用の前記教師なし機械学習モデルを適用すること、
拡張された特徴を得るために前記特徴に対して前記教師なし出力を付加すること、
前記一組の教師なし機械学習モデルアルゴリズムから別の教師なし学習モデルアルゴリズムをランダムに選択すること、
前記選択基準を満たす別の関連パラメータセットを有する別の教師なし機械学習モデルを見つけるために、前記拡張された特徴に基づいて前記ランダムに選択された教師なし学習モデルアルゴリズムを訓練すること、
導入用の前記導入された教師なし学習モデルよりも優れた評価を有する前記ランダムに選択された教師なし学習モデルアルゴリズムから生成される前記別の教師なし学習モデルに関して、導入用の前記導入された教師なし学習モデルを前記別の教師なし学習モデルに置換すること
を更に含む、請求項１１に記載のコンピュータに実装される方法。
【請求項13】
前記プロジェクトの前記クラスタ及び前記異常を導出するために前記生成された特徴に対して前記教師なし機械学習で構成された前記自己プロファイリングアルゴリズムを前記実行することが、ａ）前記教師なし機械学習アルゴリズムのそれぞれについて教師なし機械学習モデルを生成するために前記生成された特徴に対して一組の教師なし機械学習モデルアルゴリズムを適用すること、
ｂ）教師なし出力形式を付加すること、前記特徴に対する前記教師なし機械学習モデル、及び
ｃ）終了基準が満たされるまでステップａ）及びｂ）を反復すること
を含む、請求項９に記載のコンピュータに実装される方法。
【請求項14】
前記マイルストーンにおける前記キーパフォーマンス指標値の前記確率を決定するために前記生成された特徴に対して前記パフォーマンスモニタリングプロセスを前記実行することが、第２のマイルストーンにおける複数の第２のキーパフォーマンス指標に対する第１のマイルストーンにおける複数の第１のキーパフォーマンス指標間の遷移を関係させる遷移ネットワークを履歴プロジェクトから生成すること
を含み、
前記遷移の前記確率は、前記第１のマイルストーンの前記複数の第１のキーパフォーマンス指標が前記第２のマイルストーンにおける前記第２のキーパフォーマンス指標に遷移した回数に基づいて決定される、
請求項９に記載のコンピュータに実装される方法。
【請求項15】
マイルストーンにおけるキーパフォーマンス指標値の確率を決定するために前記生成された特徴に対してパフォーマンスモニタリングプロセスを前記実行することが、前のマイルストーンにおける前記キーパフォーマンス指標値に基づいて前記マイルストーンにおける前記キーパフォーマンス指標値を予測するためのマルチタスク教師あり機械学習モデルを生成すること
を含み、
前記キーパフォーマンス指標値の前記確率は、前記マルチタスク教師あり機械学習モデルとして分類モデルが使用されるときのカテゴリ又は前記マルチタスク教師あり機械学習モデルとして回帰モデルが使用されるときの数値スコアのうちの１つであり、
前記マイルストーンにおける前記キーパフォーマンス指標値が同時に予測される、
請求項９に記載のコンピュータに実装される方法。
【発明の詳細な説明】
【技術分野】
【0001】
本開示はプロジェクト管理システムを対象とし、より具体的には、パフォーマンスベースのプロジェクト管理を促進するためのデータ駆動（データドリブン）手法の使用を対象とする。
【背景技術】
【0002】
プロジェクト（又はプログラム）は、特定の目標を達成するために（例えばプロジェクトチームによって）注意深く計画された、研究又は設計を介して個別に又は協調的に行われる任意の事業である。
【0003】
プロジェクトは様々な属性を有することができる。例えば、プロジェクトは内部的（例えば製品開発）又は外部的（例えば顧客ソリューション）であり得る。プロジェクトは、ソフトウェア、サービス、及び解析等の様々なカテゴリに含まれることもある。プロジェクトは、数ある中でも製造、輸送、及びヘルスケア等の様々な業界内にあり得る。プロジェクトは、数週間、数カ月間から数年間に及ぶ継続期間の点で異なる。プロジェクトは１回限りのタスク（例えばコンサルティング）又は継続的な仕事（例えばコンサルティングの段階Ｉ、ＩＩ、ＩＩＩ、製品開発のバージョン１、２、３）を含み得る。
【0004】
プロジェクトが与えられると、マネージャ又は利害関係者は上記で挙げたプロジェクト属性を理解し解析し、プロジェクトの管理及び実行をしかるべく計画する必要がある。マネージャ又はステークホルダは個々の属性を別々に解析し、幾つかの属性を手動で組み合わせ、自身の経験及び専門知識に基づいて洞察を得ることができる。
【0005】
効果的に最適化するために、プロジェクト管理は検討するための幾つかの主要な要素を含む。プロジェクトは、多くの場合に固定された期間にわたって並びに他の制約及びリスクと共に或る費用の範囲内で実行される互いに関係する一組のタスクであり得る、一連のイベントとして管理することができる。プロジェクトが正式に開始する前、マネージャ又は利害関係者は得られる利益率等のパフォーマンスを推定しなければならない場合がある。マネージャ又は利害関係者は、最良の結果及びパフォーマンスを実現するようにプロジェクトの管理及び実行を計画する必要があり得る。プロジェクトが開始した後、マネージャはプロジェクトの進捗をモニタし、必要に応じてプロジェクトの実行計画を調整する必要があり得る。
【発明の概要】
【課題を解決するための手段】
【0006】
従来のシステム及び方法の幾つかの制約及び制限は以下で論じられる。本明細書に記載する実装例は以下の問題に対処するための技法を紹介する。
【0007】
関連技術の第１の問題では、プロジェクトがプロジェクト属性に基づいて手動で考察され解析される。理解及び解析結果はプロジェクトの洞察を得るために使用される。プロジェクトの一部の重要な隠れ要素が発見されない場合がある。そのような考察及び解析のプロセスは時間がかかり、主観的であり、リスクを引き起こしやすい場合がある。プロジェクトにおける業務の洞察のための隠れ要素を発見するために、プロジェクトの解析及びプロファイリングをデータ駆動手法で自動化する必要がある。
【0008】
関連技術の第２の問題では、プロジェクトが定期検査又はマイルストーンによって手動でモニタされる。プロジェクトのパフォーマンスは手動で解析及び評価され、実行計画に幾らかの調整が加えられる場合がある。そのようなモニタリング及び評価は時間がかかり、主観的であり、リスクを引き起こしやすい。プロジェクトの進捗をデータ駆動手法でモニタし評価するための、自動化された及び標準のプロセス又は手法を有する必要がある。
【0009】
関連技術の第３の問題では、プロジェクトのパフォーマンスは、プロジェクトのいくつかの属性、人的資源のいくつかの側面、及びいくつかの制約の理解及び解析結果に基づいて手動で推定される。しかし、プロジェクト、人的資源、及び制約の全ての属性が系統的に解析され要約されるわけではない。入手可能な全ての情報が適切に利用又は使用されるわけではない。更に推定は通常、プロジェクトの開始前に入手可能な情報に基づく、得られる利益率等の得られる最終的なパフォーマンスに関する。経験及び専門知識に基づくそのような手動の推定は主観的であり、時間がかかり、リスクを引き起こしやすい。従って、入手可能な全ての情報を組み込むことによってプロジェクトのパフォーマンスを推定し予測することができる、自動化されたデータ駆動手法を有する必要がある。データ駆動手法は、マイルストーンよりも前の入手可能な全ての情報（プロジェクト実行情報を含む）を使用することにより、各マイルストーンにおけるプロジェクトのパフォーマンスも予測することができる。予測についての説明を提供する必要もある。
【0010】
関連技術の第４の問題では、プロジェクトマネージャは、プロジェクト内のパフォーマンスに注目するのではなく、ほぼ資源の可用性に着目し、予定日までにプロジェクトを完了するためにスケジューリングすることによってプロジェクトを実行するための計画を設計する。プロジェクト、人的資源の全ての側面、及び制約のすべての属性が系統的に解析され要約されるわけではない。その結果、プロジェクトは最良のパフォーマンスを達成できない可能性がある。経験及び専門知識に基づくそのような手動の計画は、主観的であり、時間がかかり、リスクを引き起こしやすい。従って、関連する全ての要素を系統的に解析及び要約し、プロジェクトのパフォーマンスを最適化するためのデータ駆動手法が求められている。
【0011】
上記の４つの問題に対処するために、本明細書に記載する実装例は幾つかの側面を含む。或る側面はプロジェクトの自己プロファイリングを含み、プロジェクトの自己プロファイリングではプロジェクトの隠れ属性を自動で学習し導出するための幾つかの教師なし学習スキームが導入される。かかる技法は、データ駆動手法によるプロジェクトの解析及びプロファイリングの自動化、及び業務の洞察及び下流のタスクに関する隠れ要素を発見することを助ける。別の側面はパフォーマンスのモニタリングを含み、パフォーマンスのモニタリングではマイルストーンの中の複数のキーパフォーマンス指標（ＫＰＩ）に関してプロジェクトのパフォーマンスの遷移を捕捉するためのデータ駆動手法が導入される。実装例は、各マイルストーンにおける複数のパフォーマンスＫＰＩを予測するための手法も導入する。別の側面はプロジェクトのパフォーマンスの予測及び根本原因解析を含み、プロジェクトのパフォーマンスの予測及び根本原因解析では各マイルストーンにおけるプロジェクトのパフォーマンスを予測し、予測を説明するための機械学習手法が導入される。別の側面はプロジェクトのパフォーマンス最適化を含み、プロジェクトのパフォーマンス最適化ではプロジェクトのための最良のプロジェクトチームを識別することによってプロジェクトのパフォーマンスを最適化するためのデータ駆動手法が導入される。
【0012】
本開示の側面は、プロジェクトデータ及び従業員データを含むプロジェクトの入力に関して、特徴を生成するためにプロジェクトデータ及び従業員データに対して特徴抽出を実行することと、プロジェクトのクラスタ及び異常を導出するために生成された特徴に対して教師なし機械学習で構成された自己プロファイリングアルゴリズムを実行することと、マイルストーンにおけるキーパフォーマンス指標値の確率を決定するために生成された特徴に対してパフォーマンスモニタリングプロセスを実行することと、プロジェクトの予測パフォーマンス値を生成するために、生成された特徴、導出されたクラスタ、導出された異常、マイルストーンにおけるキーパフォーマンス指標値の確率に対して教師あり機械学習モデルを実行することを含み得る、プロジェクト管理を促進するためのコンピュータに実装される方法を含み得る。このコンピュータに実装される方法は、１以上のプロセッサ上でコンピュータプログラムとして実行され、非一時的可読媒体上に記憶され得る。
【0013】
本開示の側面は、プロジェクトデータ及び従業員データを含むプロジェクトの入力に関して、特徴を生成するためにプロジェクトデータ及び従業員データに対して特徴抽出を実行するための手段と、プロジェクトのクラスタ及び異常を導出するために生成された特徴に対して教師なし機械学習で構成された自己プロファイリングアルゴリズムを実行するための手段と、マイルストーンにおけるキーパフォーマンス指標値の確率を決定するために生成された特徴に対してパフォーマンスモニタリングプロセスを実行するための手段と、プロジェクトの予測パフォーマンス値を生成するために、生成された特徴、導出されたクラスタ、導出された異常、マイルストーンにおけるキーパフォーマンス指標値の確率に対して教師あり機械学習モデルを実行するための手段と、を含み得る、プロジェクト管理を促進するためのシステムを含み得る。
【0014】
本開示の側面は、プロジェクトのパフォーマンスデータから行列を生成することであって、行列は様々な次元にわたる従業員関連データの行及びプロジェクト関連データの列で構成され、プロジェクトのパフォーマンスデータから導出されるパフォーマンススコアを示す値を含む、生成することと、行列内の値の欠落したものに関して、行列内の値の欠落したものを訓練プロセスから生成することと、新たなプロジェクトの入力に関して、新たなプロジェクト内の従業員関連データ及び新たなプロジェクトのプロジェクト関連データとマッチする行及び列を識別すること、識別した行及び列に対応する値を集約することと、集約した値に従って従業員関連データからの従業員グループをランク付けすることと、新たなプロジェクトの実行に関して最高ランクを有する従業員関連データからの従業員グループを選択することとを含み得る、コンピュータに実装される方法を更に含む。このコンピュータに実装される方法は、１以上のプロセッサ上でコンピュータプログラムとして実行され、非一時的可読媒体上に記憶され得る。
【0015】
本開示の側面は、プロジェクトのパフォーマンスデータから行列を生成するための手段であって、行列は様々な次元にわたる従業員関連データの行及びプロジェクト関連データの列で構成され、プロジェクトのパフォーマンスデータから導出されるパフォーマンススコアを示す値を含む、生成するための手段と、行列内の値の欠落したものに関して、行列内の値の欠落したものを訓練プロセスから生成するための手段と、新たなプロジェクトの入力に関して、新たなプロジェクト内の従業員関連データ及び新たなプロジェクトのプロジェクト関連データとマッチする行及び列を識別するための手段と、識別した行及び列に対応する値を集約するための手段と、集約した値に従って従業員関連データからの従業員グループをランク付けするための手段と、新たなプロジェクトの実行に関して最高ランクを有する従業員関連データからの従業員グループを選択するための手段とを含み得るシステムを更に含む。
【0016】
本開示の側面は、モノのインターネット（ＩｏＴ）データのクラスタ及び異常を導出するために生成された特徴に対して教師なし機械学習で構成された自己プロファイリングアルゴリズムを実行するためのコンピュータに実装される方法を更に含み、この方法は、生成された特徴に対して一組の教師なし学習モデルアルゴリズムからの各教師なし機械学習モデルアルゴリズムを実行することと、各教師なし機械学習モデルアルゴリズムについて関連する最良のパラメータセットを有する教師なし機械学習モデルの最良のものを決定することと、各教師なし機械学習モデルアルゴリズムの教師なし機械学習モデルの最良のものから一組の教師なし機械学習モデルアルゴリズムにわたる最良の教師なしモデルを決定することと、を含む。このコンピュータに実装される方法は、１以上のプロセッサ上でコンピュータプログラムとして実行され、非一時的可読媒体上に記憶され得る。
【0017】
本開示の側面は、モノのインターネット（ＩｏＴ）データのクラスタ及び異常を導出するために生成された特徴に対して教師なし機械学習で構成された自己プロファイリングアルゴリズムを実行するためのシステムを更に含み、このシステムは、生成された特徴に対して一組の教師なし学習モデルアルゴリズムからの各教師なし機械学習モデルアルゴリズムを実行するための手段と、各教師なし機械学習モデルアルゴリズムについて関連する最良のパラメータセットを有する教師なし機械学習モデルの最良のものを決定するための手段と、各教師なし機械学習モデルアルゴリズムの教師なし機械学習モデルの最良のものから一組の教師なし機械学習モデルアルゴリズムにわたる最良の教師なしモデルを決定するための手段と、を含む。
【0018】
本開示の側面は、モノのインターネット（ＩｏＴ）保険データのクラスタ及び異常を導出するために生成された特徴に対して教師なし機械学習で構成された自己プロファイリングアルゴリズムを実行するためのコンピュータに実装される方法を更に含み、この方法は、ａ）教師なし機械学習アルゴリズムのそれぞれについて教師なし機械学習モデルを生成するために生成された特徴に対して一組の教師なし機械学習モデルアルゴリズムを適用すること、ｂ）教師なし機械学習モデルからの教師なし出力を特徴に付加すること、及びｃ）終了基準が満たされるまでステップａ）及びｂ）を反復することを含む。このコンピュータに実装される方法は、１以上のプロセッサ上でコンピュータプログラムとして実行され、非一時的可読媒体上に記憶され得る。
【図面の簡単な説明】
【0019】
【0020】
【0021】
【0022】
【0023】
【0024】
【0025】
【0026】
【0027】
【発明を実施するための形態】
【0028】
以下の詳細な説明は、本願の図面及び実装例の詳細を示す。図面間の冗長な要素の参照番号及び説明は明瞭にするために省いている。説明の全体を通して使用する用語は例として示し、限定的であることは意図しない。例えば「自動」という用語の使用は、本願の実装形態を実践する当業者の所望の実装形態に応じて、完全に自動の実装形態又は実装形態の一定の側面に対するユーザ若しくは管理者の制御を含む半自動の実装形態を含んでもよい。選択は、ユーザインタフェース又は他の入力手段によってユーザによって行われて得、又は所望のアルゴリズムによって実装され得る。本明細書に記載する実装例は単独で又は組み合わせで利用され得、実装例の機能は所望の実装形態に応じて任意の手段によって実装され得る。
【0029】
図１は、一実装例に係るパフォーマンスベースのプロジェクト管理のためのソリューションアーキテクチャを示す。このソリューションアーキテクチャは、以下に及び本開示の全体を通して記載するような様々なコンポーネントを含み得る。プロジェクトに関する予測パフォーマンス及び最適なチームを生成するために、入力１０１はコンポーネント１０２～１０６を介して与えられる。
【0030】
データ準備１１０は、後の洞察発見１２０及びパフォーマンスモデリング１３０のコンポーネント用のデータを収集し準備する以下のコンポーネントを含み得る複数のソースからの入力１０１はこのソリューションにおける入力として収集され使用される。一例では、プロジェクトの入力１０１は、これだけに限定されないが、プロジェクトの属性及びパフォーマンス（最終的なパフォーマンス及びマイルストーンベースのパフォーマンス）及びプロジェクト機会管理等のプロジェクトデータ、並びに従業員の属性及びパフォーマンス（人的資源及びプロジェクトベース）等の従業員データ等を含み得る。特徴エンジニアリングコンポーネント１０２は、洞察発見コンポーネント及びパフォーマンスモデリングコンポーネント内のモデルを構築するために使用される特徴を導出するために使用される。
【0031】
洞察発見１２０は、特徴又はプロジェクトのパフォーマンスから独立して洞察を発見するために以下のコンポーネントを含み得る。自己プロファイリングコンポーネント１０３は、プロジェクト及び従業員の特徴（例えば非パフォーマンスデータ）に対する教師なし学習技法によってプロジェクトに関する洞察を発見する。パフォーマンスモニタリングコンポーネント１０４は、ＫＰＩベースのパフォーマンスデータについてのマイルストーンベースのパフォーマンス遷移ネットワーク又はマルチタスク教師あり機械学習モデルによってプロジェクトに関する洞察を発見する。
【0032】
パフォーマンスモデリング１３０は、２つのシナリオでプロジェクトのパフォーマンスを最適化するための以下のコンポーネントを含む。プロジェクトデータ及びプロジェクトチームが与えられると、パフォーマンス予測１０５はプロジェクトのマイルストーンベースのパフォーマンスを予測する。このコンポーネントの出力は、プロジェクトに関する予測パフォーマンス及び最適なチームである。プロジェクトデータが与えられ、プロジェクトチームが与えられないと、パフォーマンス最適化１０６は最良のプロジェクトパフォーマンスを実現することができるプロジェクトチームを見つける。このコンポーネントの出力は、最適なプロジェクトパフォーマンスを有するプロジェクトチームである。
【0033】
以下の説明では、ソリューションアーキテクチャ内の各コンポーネントについて詳細に論じる。
【0034】
以下の説明は、データ駆動手法のためのデータをどのように収集し準備するのかを対象とする。
データ準備１１０
データ準備１１０
【0035】
複数のソースからのデータ１０１が収集される。データの可用性にもよるが、次のデータ、つまりプロジェクトデータ、従業員データ、及びクライアントデータがソリューションを構築するために収集され使用されてもよい。
【0036】
プロジェクトデータは、プロジェクトを得ること、定めること、記述すること、及び監視することに関する情報を指定する。プロジェクトデータは、これだけに限定されないが次のコンポーネント、つまりプロジェクト記述、プロジェクトの様々な属性、プロジェクトのパフォーマンス、プロジェクトの実行情報、作業明細書、及びプロジェクト機会管理データの一部又は全てを含む。プロジェクト記述は、プロジェクトについての記述である。プロジェクト属性は、各プロジェクトの様々な属性を含む。例えば、プロジェクトは内部的（製品開発）又は外部的（顧客ソリューション）であり得、所望の実装形態に応じて、様々なカテゴリ（例えばソフトウェア、サービス、解析等）、様々な継続期間（例えば数週間、数カ月間、又は数年間）、１回限りのタスク（コンサルティング）又は継続的な仕事（コンサルティングの段階Ｉ、ＩＩ、ＩＩＩ、製品開発）、概念実証（ＰｏＣ）プロジェクト、又は公式なコンサルティングプロジェクト等に含まれ得る。プロジェクトのパフォーマンスは、プロジェクトのパフォーマンスを測定するために様々なメトリク又はＫＰＩを使用することを含む。ＫＰＩは、プロジェクトに関する主要業務目標をプロジェクトチームがどの程度効果的に実現しているのかを実証する測定可能値を含み得る。通常、プロジェクトは幾つかのマイルストーンに分けることができ、マイルストーンかかるＫＰＩは各マイルストーンにおいて測定され得る。全体的に、プロジェクトの全継続期間にわたるＫＰＩを測定することもできる。
【0037】
ＫＰＩは、これだけに限定されないが以下を含み得る。収益ＫＰＩは、プロジェクトの所有又は運営から得られるプロジェクトチームの全ての収入及び現金収入を測定する。費用ＫＰＩは、直接費及び間接費を含み得るプロジェクト又は仕事を完了するのに必要な総資金を測定する。直接費及び間接費、更にはより細かい費用は以下のように下位ＫＰＩとして使用され得る。直接費（ＤＣ）は特定のタスク又はプロジェクトに直接関与する支出であり、特定のコストセンタに識別され得る。プロジェクトの直接費は、直接的に関与する労力又は支出である、従業員、器具、及び材料の費用、及び外部委託先の費用、輸送及び通関手続き等のプロジェクト管理／エンジニアリング／調達関連費用、施工管理／労働／器具及び消耗品／下請け業者の費用等を含む。
【0038】
間接費は特定のタスク又はプロジェクトに直接含まれない任意の費用であり、正確に特定のコストセンタに帰属させることはできない。間接費は固定又は可変としてもよい。間接費は管理費、人件費、及びセキュリティ費用を含む。これらは製造に直接関係しない費用である。
【0039】
売上総利益率（ＧＰＭ）はプロジェクトの収益性を測定するＫＰＩである。ＧＰＭは、マーケティング、一般費、及び給与等の運営費を調整する前の実利である収益の割合である。計算の一例は、売上総利益率＝（収益－費用）／収益であり得き、ここで費用は売上原価（ＣＯＧＳ）を表す。
【0040】
資源利用率は、実資源利用量対予想資源利用量の差を測定するＫＰＩである。
【0041】
タスク完了率は、完了されることが予期される総仕事量のうちの完了したタスクの割合を測定するＫＰＩである。タスクは、製品管理、開発、品質管理等を含む様々なワークストリーム内で測定され得る。かかるタスクは下位ＫＰＩとして使用され得る。
【0042】
クライアント満足度は、顧客からの満足水準を測定するＫＰＩである。
【0043】
所望の実装形態に応じて他のＫＰＩが利用されてもよく、本開示はそれだけに限定されない。
【0044】
他のプロジェクトデータは作業明細書（ＳＯＷ）を含むこともでき、ＳＯＷはプロジェクトの全ての側面を捕捉し定める文書である。ＳＯＷはプロジェクト計画の下地を作るので詳細な文書である。ＳＯＷはプロジェクトの紹介、プロジェクトの目的、仕事の範囲、タスクの一覧、マイルストーン、成果物、スケジュール等を含み得る。
【0045】
更に、プロジェクト機会管理データは、機会のソース、機会の段階のタイムライン、評価情報（金融、技術、データ、及びリスク）、販売チームに関する情報、支払条件等を含む、プロジェクトを得ることに関する情報を含む。
【0046】
加えて、プロジェクトデータはプロジェクト実行情報を含み得る。プロジェクトが開始すると、プロジェクトのパフォーマンスに関係するいくつかのデータが収集され得る。この情報は、これだけに限定されないがデータの可用性、データの品質、開発環境のセットアップ及び可用性、技術準備性、従業員の欠勤、通信の可用性及び品質、各マイルストーンにおける丁度論じたＫＰＩ等を含む。
【0047】
従業員データに関して、プロジェクトチームは従業員のグループで形成される。各従業員データは、要員管理のための各従業員に関する情報を規定する。従業員データは、これだけに限定されないが、以下の情報の一部又は全てを含む。人的資源（ＨＲ）情報は、ＨＲデータベース内の従業員に関する全てのデータを含み、ＨＲデータベースは、従業員の人口統計データ、技術的スキル、関心事、勤続年数、役割、肩書等を含む。プロジェクト固有データは、完了したプロジェクトのパフォーマンス又は完了した若しくは進行中のプロジェクトの各マイルストーンにおけるパフォーマンスに基づく従業員のパフォーマンスを含む。
【0048】
クライアントデータは、これだけに限定されないが以下の種類の情報を含み得る。クライアントは内部的（製品開発）又は外部的（コンサルティングの顧客）であり得る。クライアントは様々な業界（例えば製造、輸送、ヘルスケア等）に由来し得る。クライアントは、従業員数、収益、又は利益に関して様々な規模（例えば大、中、又は小）であり得る。クライアントは様々な地域又は国にあり得る。クライアントは、支払の容易さに関して様々なクレジットを有し得る。所望の実装形態に応じて他のクライアントデータも組み込んでもよい。
【0049】
データが収集されると、特徴は、特徴エンジニアリングコンポーネント１０２を介してデータから導出され得る。特徴は、専門知識及びデータ解析に基づいて手動で導出され得る。本明細書に記載の実装例は、自動特徴エンジニアリング技法に注目する。以下の技法は、ラベルを使用しない教師なし学習に属する。
【0050】
主成分解析（ＰＣＡ）は、可能な限り多くのデータのバリエーションを保ちながら低次元のデータを得るために、各データ点を最初の数個の主成分上にだけ射影することによる次元縮小プロセスである。ＰＣＡは、未捕捉のバリアンスによって引き起こされる雑音を低減する効果も有する。ＰＣＡは下流のモデルをより汎用化する。
【0051】
ゼロ位相成分解析（ＺＣＡ）は、次元縮小に使用される別の技法である。ＺＣＡは、ＰＣＡが行うのと異なるロテーションを実行する。（主成分がその説明したバリアンスに従ってソートされるので）目標が元データの圧縮である場合はＰＣＡが最適な解析である。目標が変換済みのランダムベクトルを可能な限り元のものと同様に保つことである場合、ＺＣＡが最適な解析である。
【0052】
自己符号化器は、次元縮小及び雑音低減のための別の技法である。自己符号化器は、効率的なデータコーディングを教師なしのやり方で学習するために、人工ニューラルネットワークの一種を使用する。自己符号化器は、ニューラルネットワークの入力層及び出力層並びにより小さいサイズの１以上の隠れ層の両方としてデータを使用する。自己符号化器は２つのコンポーネント、つまりデータが最初により小さいサイズのコーディングへ符号化される符号化器、及びそのコーディングが元データへ復号される復号器に分けることができる。自己符号化器の有効度はコーディングが元データをどの程度正確に表せるのかによって測定され、それはひいてはニューラルネットワークの精度によって測定される。自己符号化器は、下流のタスクの表現を学習する際に効率的及び有効な正則化された自己符号化器（スパース、雑音除去、及び縮小自己符号化器）、及び生成モデルに有用な変分自己符号化器という異なる種類を有する。
【0053】
ＰＣＡ、ＺＣＡ、及び本明細書に記載の自己符号化器の技法により、関連技術と比較して実装例では２つの利点及び改善点がある。第１に、本技法は機械学習技法に組み込むためのアプリケーションの特徴空間を減らす。プロジェクトに対してパフォーマンス予測モデルが実行される場合、利用可能な多くのモデル特徴がある。しかし、プロジェクトデータは疎であり、機械学習モデルへと訓練するには十分に密ではない傾向がある。モデル特徴の一例では十分なデータがない（例えば多くのデータ列はあるがデータ行は少ない）可能性があり、そのため本明細書に記載の実装例は、機械学習技法への組み込みを促進するために特徴空間を減らす。更にプロジェクト管理下にあるプロジェクトは促進するのに長い時間（例えば１年又は２年）かかる場合があり、そのことは機械学習技法を訓練する際に用いるデータの疎を引き起こす。本明細書に記載の特徴空間の低減を使用することにより、データは、適切なＫＰＩを予測するためのモデルの訓練に利用され得る。その結果、実行時間及びモデルの精度の両方が改善される。第２に、本技法は生データ及び特徴内の雑音を減らすことを助け得る。その結果、生データ及び特徴内の信号及び少量の雑音だけが保たれ、そのことはモデルの精度を改善すること及び未知の試験データに対してモデルを汎用化することを助ける。
洞察発見１２０
洞察発見１２０
【0054】
データから導出される特徴及びパフォーマンスデータが与えられると、洞察発見１２０によって洞察は発見され、意思決定及び下流のタスクに使用され得る。プロジェクトに関する洞察を発見するためにどのデータが使用されるのかにもよるが、２つのソリューションコンポーネントがある。自己プロファイリングコンポーネント１０３は、プロジェクトの特徴に基づいてプロジェクトに関する洞察を発見する。パフォーマンスモニタリングコンポーネント１０４は、プロジェクトのパフォーマンスに基づいてプロジェクトに関する洞察を発見する。
【0055】
自己プロファイリングコンポーネント１０３はプロジェクトの特徴を処理し、プロジェクトに関する洞察を発見する。自己プロファイリングは教師なし学習によって行われ、それにより、クラスタリングアルゴリズムはプロジェクトの類似性に基づいてプロジェクトのクラスタを発見し、クラスタに各プロジェクトを割り当てることができる一方、異常検出アルゴリズムは残りのプロジェクトからのプロジェクトの有意差に基づいてプロジェクトの異常を識別し、プロジェクトが異常なプロジェクトかどうかを判定することができる。
【0056】
本明細書に記載の実装例では、教師あり学習技法によって教師なし学習タスクを解くためのフレームワークが利用される。それぞれの教師なし学習タスクについて、モデルアルゴリズム及びパラメータセットに関する複数の教師なしモデルが構築され評価される。モデルの評価結果に基づき、教師なし学習タスクのための最終的な教師なしモデルとして最良モデルが選択される。ここでは、参照によりその全内容をあらゆる目的で本明細書に援用する、ＰＣＴ出願第ＰＣＴ／ＵＳ２０２０／５８３１１号明細書として２０２０年１０月３０日に出願された「ＡＵＴＯＭＡＴＥＤ ＲＥＡＬ－ＴＩＭＥ ＤＥＴＥＣＴＩＯＮ， ＰＲＥＶＥＮＴＩＯＮ， ＡＮＤ ＰＲＥＶＥＮＴＩＯＮ ＯＦ ＲＡＲＥ ＦＡＩＬＵＲＥＳ ＩＮ ＩＮＤＵＳＴＲＩＡＬ ＳＹＳＴＥＭ ＷＩＴＨ ＵＮＬＡＢＥＬＥＤ ＳＥＮＳＯＲ ＤＡＴＡ」に記載のフレームワーク内の１つのコンポーネントを再利用することによる、教師なしモデルのための２つの学習スキームがある。
【0057】
図２は、一実装例に係るハイパーパラメータ調整を伴う教師なし機械学習を促進するためのフレームワークコンポーネント２１０を示す。教師なし機械学習モジュール２０１内の教師なし機械学習モデルアルゴリズムごとに、このコンポーネントは、所望の選択基準を満たすモデル（例えば最良の精度のモデル、最も低い誤差のモデル等）を導くパラメータセットを見つけるために使用され、本明細書ではかかるモデル及びパラメータセットを「最良の」モデル及び「最良の」パラメータセットと名付ける。各パラメータセットは教師なしモデルを構築するために使用される。モデルはその後のアンサンブル教師あり学習モジュール２０２を用いて評価され、与えられたパラメータセットを有する最良モデルが最良の教師なしモデル２０３として選択される。図２のハイパーパラメータ調整を伴う教師なし機械学習モジュール２１０では、入力は特徴エンジニアリングモジュール１０２から来る特徴であり、出力は最良の教師なしモデル２０３である。
【0058】
図３は、一実装例に係る反復学習スキームの一例を示す。図２のハイパーパラメータ調整付き教師なし機械学習モジュール２１０により、図３に示す反復学習スキームが導入される。反復学習スキームのフローは以下の通りである。
【0059】
最初に、教師なしモデルアルゴリズムが選択され、特徴エンジニアリングモジュール１０２から来る特徴に適用される。与えられたモデルアルゴリズムに関する最良の教師なしモデルが識別された後、モデルは特徴に適用されて教師なし出力を生成する。次いで教師なし出力は特徴に付加される。終了基準が満たされるまでこのフローが反復される。所望の実装形態に応じて、終了基準はこれだけに限定されないが、モデル評価メトリクが所定の閾値を満たすこと、又は教師なしモデルアルゴリズムの所定のリストが使用されることを含み得る。
【0060】
従って図３に示すような学習スキームは、教師なし学習モデルを特徴に反復的に適用し、現在のラウンドの教師なしモデル出力を特徴に付加して次のラウンド内の教師なしモデルを構築する。以下に記載するように、反復学習スキームには幾つかの改変形態がある。
【0061】
改変形態の一例では、中間教師なし学習モデルアルゴリズムに関する様々な機械学習の種類があり得る。このスキームでは、図３の「ハイパーパラメータ調整を伴う教師なし機械学習モジュールＭ」が「最良の教師なしモデル」と同じ機械学習の種類を有する。換言すれば、それらはどちらも「クラスタリング」アルゴリズムであり又はどちらも「異常検出」アルゴリズムである。
【0062】
１＜＝Ｘ＜Ｍである「ハイパーパラメータ調整付き教師なし機械学習モジュールＸ」は「最良の教師なしモデル」と同じ又は異なる機械学習の種類を有し得る。例えば「最良の教師なしモデル」がクラスタリング型である場合、１＜＝Ｘ＜Ｍである「ハイパーパラメータ調整を伴う教師なし機械学習モジュールＸ」は「最良の教師なしモデル」の機械学習の種類に関係なく「クラスタリング」又は「異常検出」とし得る。その理由は、様々な機械学習の種類の教師なしモデル出力は、特徴の洞察の発見を助け得り、及び所望の機械学習の種類の最良モデルを構築するのを助け得るからである。
【0063】
改変形態の別の例では、教師なしモデルアルゴリズムのシーケンスの最適化があり得る。かかる反復学習スキームでは、教師なしモデルアルゴリズムのシーケンスは最終的な最良の教師なしモデルの変化をもたらし得る。教師なし学習モデルアルゴリズムの数及び順序はフォワードモデル選択アルゴリズムによって最適化される。
【0064】
このスキームを初期化するために、機械学習の知識に基づいて一組の教師なし学習モデルアルゴリズムが選択される。次いで、各教師なし学習モデルアルゴリズムは特徴エンジニアリングモジュール１０２から来る特徴に適用される。次いで、最良のパラメータセットを有する最良の教師なしモデルは各教師なし学習モデルアルゴリズムから得られる。評価結果はグローバル最良評価結果として記録される。第１モジュール（「ハイパーパラメータ調整付き教師なし機械学習モジュール１」）が使用され、次いで最良モデルからの出力が特徴に付加される。
【0065】
上記の初期化の後、このスキームは、別の教師なし学習モデルアルゴリズムをランダムに選択し、それを現在の特徴に適用するフォワード選択を行う。次いで現在の教師なし学習モデルアルゴリズムについて、現在の最良の評価結果を有する最良の教師なしモデルが得られる。現在の最良の評価結果がグローバル最良評価結果よりもよい場合、シーケンス内の現在のモデルが維持たれ、このスキームは最良の教師なしモデルの出力を特徴に付加し、さもなければ現在のモデルを落とす。フォワード選択は既存の基準が満たされるまで繰り返される。
【0066】
改変形態の別の例では複数のタスキングがある。データが与えられると、プロジェクトのクラスタ及びプロジェクトの異常の両方を識別する必要があり得る。反復学習スキームは、それらの２つのタスクを１回の実行内で完了するために修正され得る。このタスクでは、最後の２つのモジュールは、一方がクラスタリングであり他方が異常検出である２つの教師なし機械学習の種類となるように修正される。最後の２つのモジュールからの最良モデルは２つのタスクのモデルに使用される。
【0067】
図４は、一実装例に係る再帰学習スキームの一例を示す。図２の「ハイパーパラメータ調整付き教師なし機械学習モジュール」２１０により、図４に示す再帰学習スキームが導入される。ワークフローは以下の通りである。
【0068】
最初に、機械学習の知識に基づいて一組の教師なしモデルアルゴリズムが選択される。その組の中の各教師なしモデルアルゴリズムは特徴エンジニアリングモジュール１０２から来る特徴に適用される。最良モデルは最良のパラメータセットと共に選択され、次いでこのスキームは各モデルアルゴリズムについて最良モデルからの教師なし出力を生成する。各教師なしモデルアルゴリズムからの教師なし出力は特徴に付加される。終了基準が満たされるまでこの再帰フローが繰り返される。所望の実装形態に応じて、終了基準はこれだけに限定されないが、次のもの、つまりモデル評価メトリクが所定の閾値を満たすこと、所定のラウンド数（Ｎ）が実行されること、及び／又は評価結果が収束すること、即ち現在のラウンドの評価結果が所定の近さ閾値に基づいて最後のラウンドの評価結果と近いことを含み得る。
【0069】
この学習スキームは、１組の教師なし学習モデルアルゴリズムを特徴に再帰的に適用し、現在のラウンドの教師なしモデル出力を特徴に付加して次のラウンド内の教師なしモデルを構築する。
【0070】
再帰学習スキームには幾つかの改変形態がある。
【0071】
再帰学習スキームの改変形態の一例では、中間教師なし学習モデルアルゴリズムに関する様々な機械学習の種類があり得る。最後のラウンドＮでは、１＜＝Ｘ＜＝Ｍである「ハイパーパラメータ調整付き教師なし機械学習モジュールＸ」は「最良の教師なしモデル」と同じ機械学習の種類を有する。１＜＝Ｙ＜Ｎである各ラウンドＹについて、１＜＝Ｘ＜＝Ｍである「ハイパーパラメータ調整を伴う教師なし機械学習モジュール」は「最良の教師なしモデル」と同じ又は異なる機械学習の種類を有する。
【0072】
再帰学習スキームの改変形態の別の例では、複数のタスキングがあり得る。データが与えられると、プロジェクトのクラスタ及びプロジェクトの異常の両方を識別する必要があり得る。再帰学習スキームは、それらの２つのタスクを１回の実行内で完了するために修正され得る。この目標のために、最後のラウンドＮにおいて、１＜＝Ｘ＜＝Ｍである「ハイパーパラメータ調整付き教師なし機械学習モジュールＸ」はクラスタリング及び異常検出という２つの機械の種類の混合を有する。最後のラウンド内の機械学習の種類ごとの最良モデルは２つのタスクの最良モデルに使用される。
【0073】
再帰学習スキームの改変形態の別の例では、モデルアルゴリズムのドロップアウトがあり得る。各ラウンドにおいて、いくつかのモデルアルゴリズムはドロップアウトさせ得り、そのラウンドでは残りのモデルアルゴリズムだけが使用される。ドロップアウト率は、いくつのモデルアルゴリズムがドロップアウトされるのかを制御するために使用される。例えば「ドロップアウト率＝０．１」は、各ラウンドにおいて、モデルアルゴリズムの１０％がランダムに選択されてドロップアウトされ、モデルアルゴリズムの残りの９０％は各ラウンドで使用されることを意味する。モデルアルゴリズムは各ラウンドでランダムに選択されドロップアウトされるので、各ラウンド内で使用されるモデルアルゴリズムは異なり得る。ドロップアウト率は、ハイパーパラメータ調整技法によって調整されてもよい。１つの手法は、複数のドロップアウト率を列挙し、そのそれぞれを試し、どのドロップアウト率が最良モデルをもたらし得るのかを知ることである。
【0074】
ドロップアウトを使用することは潜在的な過剰適合の問題を解決し、最終的なモデルをより汎用化する。加えて、モデルアルゴリズムのサブセットを使用することは実行時間の短縮を助け得る。
【0075】
再帰学習スキームの改変形態の別の例では、モデルを訓練するためのデータのサブセットが各ラウンドにおいてデータサンプリング技法によって使用され得る、データサンプリングであり得る。各ラウンドにおいてどの程度のデータが使用されるのかを制御するためのサンプリングレート。例えば「サンプリングレート＝０．６」は、各ラウンドにおいてデータの６０％が使用され、データの残りの４０％が各ラウンドにおいて使用されないことを意味する。データは各ラウンドでランダムにサンプリングされるので、各ラウンドで使用されるデータは異なり得る。サンプリングレートは、ハイパーパラメータ調整技法によって調整され得る。１つの手法は、複数のサンプリングレートを列挙し、そのそれぞれを試し、どのサンプリングレートが最良モデルをもたらし得るのかを知ることである。
【0076】
データサンプリングを使用することは潜在的な過剰適合の問題を解決し、最終的なモデルをより汎用化する。加えて、モデルを訓練するためにデータのサブセットを使用することは実行時間の短縮を助け得る。
【0077】
パフォーマンスモニタリング１０４のために、プロジェクトは幾つかのマイルストーンに分け得るる。マネージャ又はステークホルダ（利害関係者）は、各マイルストーンにおいてプロジェクトの進捗を検討し、各マイルストーンにおけるプロジェクトのパフォーマンスに基づいて措置を取ってもよい。プロジェクトのパフォーマンスは、本明細書に記載の様々なＫＰＩによって測定され得る。従って、各マイルストーンにおけるＫＰＩをモニタすることはいくつかのキーとなる洞察を導き得、そのことはマネージャ又はステークホルダが戦略的な業務的意思決定を行うことを助け得る。
【0078】
【0079】
バイアスの除去に関して、同じデータセットについて、様々なパラメータセットを有する様々なモデルアルゴリズムは全く異なる出力を生成し得る。従ってモデルのバイアスが生じる。モデルのバイアスをどのように除去するのか、及びどの出力が最良なのかをどのように区別するのか、及び選択するための最終的なモデルをどのように決定するのかは関連技術の問題であった。実装例における提案する手法は、いくつかのモデルアルゴリズムを使用し、それらをアンサンブルして最終的なモデルを導出するための一部の学習ロジックを導入する。
【0080】
バリアンスの除去に関して、データセットには雑音が非常に多く、多くのバリアンスがある場合、実信号を見つけるためにモデルアルゴリズムを使用するのが困難な場合があり、そのことはモデルのより低いパフォーマンスの原因になり得る。本明細書に記載の実装例は、現在のラウンドからのモデル出力を追加の特徴として利用して次のラウンド内のモデルを構築する。中間出力は、中間モデルから抽出され、元データ内の信号により近いと考え得る。それらを追加の特徴として使用することは、次のラウンドのためのモデルを構築するとき信号のより多くを強調することができる。特徴はラウンドごとに徐々に信号へと収束し、それにより最終的なモデルがかかる特徴に対して上手く機能し得る。
【0081】
本明細書に記載の実装例の別の利点は自動化、つまりモデルの選択及びアンサンブルが全て自動化されたパイプライン内で行われることを含む。関連技術ではこれが手動の評価及び確認によって行われ、手動で行うことは本明細書に記載の自動化された実装とは対照的に時間がかかり誤りを引き起こしやすい。
【0082】
更に、モデルを構築するために利用されるデータは問題に固有である。或る問題が与えられると、専門知識はどのデータが有用であり得るのかを明らかにするために利用され得る。データが与えられる場合、相関解析等のデータ解析は、特徴データ及び対象の関係を決定するために行われ得る。モデルを構築するのに有用な特徴を導出し選択するために、特徴変換技法及び特徴選択技法も利用されてもよい。
【0083】
一例として、図３及び図４の実装例は、モノのインターネット（ＩｏＴ）保険又は他のＩｏＴシステム等のＩｏＴデータに拡張され得る。ＩｏＴ保険を含む例では、プロジェクトがマシンダウンタイムに対する保険、又は一定期間にわたるマシンアップタイムを保証を含み得る。ＩｏＴデータは資産上に搭載されたセンサから来る。資産に関するいくらかの洞察、例えば資産の異常又は障害があるかどうかを導出するために、複数のセンサは集合的に使用される。複数のセンサの値のクラスタ及び資産の異常を含む資産に関する洞察を導出するために、図３及び図４の実装例は使用され得る。
【0084】
【0085】
図５は、一実装例に係るＫＰＩ遷移ネットワークを示す。このネットワークでは、各プロジェクトのＫＰＩは「良」、「可」、又は「不可」にカテゴリ化される。各ＫＰＩについて、或るマイルストーンから次のマイルストーンへの遷移の可能性は、履歴プロジェクトに基づいて捕捉され集約される。１つの手法は、或るマイルストーンにおけるカテゴリが次のマイルストーンにおけるカテゴリに遷移した回数を数え、その比率を或るマイルストーンにおけるカテゴリから次のマイルストーンにおけるカテゴリへの遷移の可能性として使用することである。この手法は各ＫＰＩ内で行われる。
【0086】
例えばＫＰＩ１について、ラウンド１で「良」カテゴリ内に１０個の履歴プロジェクトがあると仮定する。それらの１０個のプロジェクトのうち７個のプロジェクトが第２のラウンドで「良」カテゴリ内にあり、２つのプロジェクトが第２のラウンドで「可」カテゴリ内にあり、１つのプロジェクトが第２のラウンドで「不可」カテゴリ内にある。従って結果は以下のようになる：
・「良」（マイルストーン１）から「良」（マイルストーン２）への遷移の可能性として７／１０＝０．７
・「良」（マイルストーン１）から「可」（マイルストーン２）への遷移の可能性として２／１０＝０．２
・「良」（マイルストーン１）から「不可」（マイルストーン２）への遷移の可能性として１／１０＝０．１
・「良」（マイルストーン１）から「良」（マイルストーン２）への遷移の可能性として７／１０＝０．７
・「良」（マイルストーン１）から「可」（マイルストーン２）への遷移の可能性として２／１０＝０．２
・「良」（マイルストーン１）から「不可」（マイルストーン２）への遷移の可能性として１／１０＝０．１
【0087】
マイルストーンにおける新たなプロジェクト及びそのカテゴリが与えられると、遷移グラフは、次のマイルストーンにおける異なるカテゴリへの遷移の可能性を確認するために適用され得る。遷移の可能性は、ＫＰＩに関するカテゴリの推定として、及び業務的決定をしかるべく決定するために使用される。かかる可能性は、ベイジアンネットワークの観点から事前確率と見なされる。記載した遷移ネットワークに対する幾つかの改変形態がある。
【0088】
第１の改変形態では、所望の実装形態に応じて、数値的なＫＰＩの測定値は使用され得る。例えば各ＫＩＰについて５つのビン、つまり０～２０％、２０％～４０％、４０％～６０％、６０％～８０％、８０％～１００％があり得る。各ＫＰＩ値はビンの１つに指定され得、遷移ネットワークをしかるべく構築し得る。
【0089】
第２の改変形態では、或るマイルストーンにおける或るＫＰＩから次のマイルストーンにおける別のＫＰＩへの遷移は促進され得る。かかる遷移はＫＰＩ横断遷移である。この遷移は、いくつかのＫＰＩは相関しており、或るマイルストーンにおける或るＫＰＩのカテゴリが次のマイルストーンにおける相関ＫＰＩのカテゴリに関係する場合に有用である。
【0090】
第３の改変形態では、マイルストーン横断遷移もあり得る。或るマイルストーンから他のマイルストーンへの遷移は促進され得る。例えば、マイルストーン１からマイルストーン３への遷移は生じ得る。これは前のマイルストーンにおけるＫＰＩのカテゴリが後のマイルストーンにおけるＫＰＩのカテゴリに相関する場合に有用である。これはプロジェクトのステークホルダ又はマネージャが幾つか先のマイルストーンのパフォーマンスの推定を得るのに役立つ。
【0091】
図６は、一実装例に係る前のマイルストーンにおけるＫＰＩに基づいて後のマイルストーンにおけるＫＰＩを表形式で導出し又は予測するためのソリューションを示す。実装例は、各マイルストーンにおいて複数のＫＰＩのカテゴリを予測し得る。任意の与えられたマイルストーンＴにおいて、マルチタスク機械学習分類モデルは、このマイルストーンにおける全てのＫＰＩについて構築され得る。特徴は、履歴データ内の各プロジェクトの各マイルストーン（マイルストーン１からマイルストーンＴ－１）における各ＫＰＩのカテゴリである。対象はマイルストーンＴにおけるＫＰＩのカテゴリ、即ち３つのクラス「良」、「可」、及び「不可」である。機械学習モデルを構築するために、パフォーマンスＫＰＩデータだけが特徴及び対象として使用されることに留意されたい。図６に示すように、全てのＫＰＩはマイルストーン１からＴ－１において特徴として使用され、マイルストーンＴにおけるＫＰＩを対象として使用され得る。マイルストーンＴ－１における新たなプロジェクトが与えられると、マイルストーンＴにおける全てのＫＰＩのカテゴリを予測するためにモデルが適用され得る。
【0092】
これは複数の対象（即ちマイルストーンＴにおける複数のＫＰＩ）を１つのモデル内で予測する必要がある点でマルチタスクモデルである。タスク間の共通性及び違いを活用しながら複数の学習タスクが同時に解決される。この方法は、タスク固有モデルを一緒に学習することにより、モデルを別々に訓練することと比較してタスク固有モデルの学習効率及び予測精度の改善をもたらすことができる。
【0093】
アルゴリズムが関連タスクに対して上手く機能することを要求することによって生じる正則化が、全ての複雑性に均一にペナルティを科すことによって過剰適合を防ぐ正則化よりも優れている可能性があるので、マルチタスク学習はシングルタスク学習よりも上手く機能する。ここでの問題では、マイルストーンＴにおけるＫＰＩが相関している可能性があり、ＫＰＩを予測するタスクが著しい共通性を共有し、概して僅かにアンダーサンプリングされる。他方で互いに関係しないＫＰＩについては、マルチタスク学習は、無関係のタスクを学習するためにも有益である。
【0094】
図７は、各マイルストーンにおけるプロジェクトのパフォーマンスを予測し、各予測の根本原因を識別することができる、図１のパフォーマンス予測１０５の実装例を示す。機械学習手法は、マイルストーンごとのプロジェクトのパフォーマンスを予測し、それらの予測を説明するために導入される。
【0095】
プロジェクトのマイルストーンごとに、そのマイルストーンよりも前の全ての入手可能データに基づいて、実装例はそのマイルストーンにおけるプロジェクトのパフォーマンスを予測する。最初に、本明細書に記載のデータ１０１（例えばプロジェクトデータ、従業員データ、クライアントデータ）は収集される。特徴エンジニアリング１０２は、データから特徴７００を生成するために使用される。特徴エンジニアリング技法は、専門知識、手動の特徴変換及び導出に直接基づき、専門知識及びデータ解析及び本明細書に記載の技法による自動特徴導出に基づき、データ内の有用な属性を識別し、それらを特徴として使用することを含む。生成される特徴は、元の特徴及び導出された特徴を含み得る。いくつかのデータはデータ変換なしに特徴として直接使用され得、それらは元の特徴である。他の特徴はデータ変換を用いてデータから、又は特徴導出プロセスから導出され、それらは導出された特徴である。専門知識及びデータ解析に基づいて特徴を導出する１つのやり方は、個人が従事するプロジェクトのパフォーマンスに基づいて各個人のパフォーマンスデータを集約することである。同様に、集約はチーム、組織、及びクライアントごとに行われ得る。更に、自動特徴導出技法は、特徴空間を減らすこと、雑音を減らすこと、及びデータ内のキー信号を保つことを助けるＰＣＡ、ＺＣＡ、及び自己符号化器を含む。
【0096】
プロジェクトの自己プロファイリング１０３については、本明細書に記載の自己プロファイリング技法は、自己プロファイリングの結果７０１として与えるためのプロジェクトのクラスタ及びプロジェクトの異常を含む隠れ属性を導出するために、特徴エンジニアリングモジュール１０２からの特徴に対して適用される。かかる隠れ属性は、次のマイルストーンにおけるプロジェクトのパフォーマンスを予測するために使用され得る。
【0097】
パフォーマンスモニタリング１０４については、本明細書に記載のパフォーマンスモニタリング技法は、モニタリングの結果７０２として与えられるように（図５の遷移ネットワークに基づく）遷移の可能性及び／又は次のマイルストーンにおける各ＫＰＩのカテゴリの（図６のパフォーマンス予測モデルに基づく）確率を導出するために、パフォーマンスＫＰＩデータに適用される。かかる可能性は、次のマイルストーンにおけるパフォーマンスを予測するためのモデルを構築するために使用され得る。
【0098】
教師あり機械学習モデルを構築するために、特徴及び対象が準備される必要がある。従って図７では、（教師あり機械学習モデルにおける「対象」として）各マイルストーンにおけるプロジェクトのパフォーマンスを予測するための教師あり機械学習モデルを構築するために、特徴７００からの生成された特徴、自己プロファイリングの結果７０１からの導出されたクラスタ及び導出された異常、及びモニタリングの結果７０２からのキーパフォーマンス指標値の確率は（教師あり機械学習モデル内の「特徴」として）教師あり機械学習モデル７０３に組み合わされる。パフォーマンスが「良」、「可」、又は「不可」のようなカテゴリ値によって測定される場合は、分類モデルは適用され得、パフォーマンスが数値によって測定される場合は回帰モデル７０３は適用され得る。これだけに限定されないが線形回帰、ランダムフォレスト、勾配ブースティング、ニューラルネットワーク等を含む幾つかのモデルアルゴリズムは使用され得る。その後、最良モデルを選択するために、被選択モデルアルゴリズムのハイパーパラメータは調整され得る。加えて、特徴選択は、プロジェクトのパフォーマンスを予測する特徴を選択するために適用され得る。
【0099】
教師あり機械学習モデルが構築されると、そのモデルはプロジェクトのパフォーマンスを予測するために使用され得る。予測パフォーマンス７０４は、教師あり機械学習モデル７０３から予測されるプロジェクトのパフォーマンスを示す。
【0100】
予測パフォーマンス７０４が与えられると、根本原因解析は、予測されたプロジェクトのパフォーマンスに関する主な要因を特定するために実行されてもよい。根本原因解析７０５は、予測されたプロジェクトのパフォーマンスごとの基礎を成す根本原因を識別するために使用される。根本原因に関連する専門知識に基づき、ステークホルダ又はマネージャは業務決定を行うことができる。根本原因７０６は、（例えば専門知識に基づく）規範的アクションにリンクされ得、根本原因７０６が与えられると規範的アクションを得るためのプロセスを自動化し得る。
【0101】
予測の根本原因７０６を識別することは機械学習の領域内の予測を解釈することに対応し、かかるタスクのための幾つかの技法及びツールが存在する。例えば「ＥＬＩ５」は、予測をもたらすキー特徴の識別を助け得る説明可能な人工知能（ＡＩ）パッケージである。キー特徴は、予測に対する正の影響又は予測に対する負の影響を有してもよい。ＥＬＩ５は、上位Ｐ個の正のキー特徴及び上位Ｑ個の負のキー特徴を出力し得る。
【0102】
マイルストーンベースのパフォーマンスの最適化については、プロジェクトのステークホルダ又はマネージャは、与えられた各プロジェクトのプロジェクト、チーム、クライアント等に対する制約を組み込むことにより、プロジェクトのパフォーマンスを最適化するために、最良のプロジェクトチームを識別する必要がある。実装例は、プロジェクトのパフォーマンス最適化問題を解くために多重レベルの多次元協調フィルタリング手法を利用する。
【0103】
協調フィルタリングは、複数のエージェント、視点、データソース等の間の協調を含む技法を使用する情報又はパターンに関するフィルタリングのプロセスである。協調フィルタリングの人気のある応用は、或るアイテムへの同様のユーザの関心に基づいてそのアイテムがユーザに推薦され得るレコメンダシステムである。従来、行としての「ユーザ」及び列としての「アイテム」を有する行列が履歴データに基づいて構築され、行列内の欠落値を埋めるために類似性に基づく技法及び行列因数分解等の協調的技法が適用され得る。ここでは、プロジェクトのパフォーマンス最適化問題を解くために多重レベル協調フィルタリング技法が導入される。
【0104】
図８は、多重レベルの多次元協調フィルタリング行列による、図１のパフォーマンス最適化１０６の実装例を示す。過去のプロジェクトのパフォーマンスデータが与えられると、行列は、以下の通り、図８に示すように形成され得る。
【0105】
行は、様々なレベルにおける様々な次元の、又は様々な従業員グループの従業員関連データである。一実装例によれば、従業員関連データは、個々の従業員のＩＤ又は名前、組織図内のチーム、組織図内の組織、プロジェクトの自己プロファイリングに基づく従業員のクラスタ、従業員の属性等を含み得る。
【0106】
列は、様々なレベルにおける様々な次元の、又は様々なプロジェクトグループのプロジェクト関連データである。所望の実装形態によれば、列は個々のプロジェクト、プロジェクトの自己プロファイリングに基づくプロジェクトのクラスタ、プロジェクトの属性等を含む。
【0107】
値は、本明細書に記載のパフォーマンススコアである。例えばパフォーマンスＫＰＩからの利益率は、プロジェクトの全体的なパフォーマンスを測定するためのよい候補であり得る。
【0108】
行列は欠落値を有し、訓練プロセスは、アイテム間の類似性に基づくアルゴリズム及び行列因数分解アルゴリズムを含む協調フィルタリング技法を使用することによって欠落値を埋めるために使用される。
【0109】
アイテム間の類似性に基づくアルゴリズムでは、アルゴリズムはアイテムベクトルの全てのペア間の類似性スコアを計算することによってモデルを最初に構築する。類似性の関数は、アイテムベクトル又はアイテムベクトルのコサイン間の相関等の様々な形のものであり得る。次いでアルゴリズムはユーザへの推薦の一覧を生成するために、ユーザの既に評価されているアイテムに対して最も類似したアイテムを使用する。この推薦の直感は「あなたと同じようにアイテムＸを高く評価するユーザはアイテムＹも高く評価する傾向があり、あなたはアイテムＹをまだ評価していないのでアイテムＹを試してみるべきだ」ということである。
【0110】
行列因数分解アルゴリズムでは、（幾らかの既存の値及び多くの欠落値を有する）行列は、ユーザ潜在因子（列ベクトル、これは潜在モデル内の係数として考えることもできる）及びアイテム潜在因子（行因子、これは潜在モデル内のアイテムの特徴として考えることもできる）という２つのベクトルに因数分解される。２つのベクトルは、予測を行い行列内の欠落値を埋めるために、乗算され得る。因数分解のプロセスは、勾配降下最適化によって行うことができ、勾配降下最適化では１つの固定されたベクトルを取り、残りのベクトルを毎回改善する。
【0111】
行列が構築されると、それは新たなプロジェクトのための最適なチームを生成するために使用され得る。新たなプロジェクトが与えられると、最良のパフォーマンスを実現するためにプロジェクトに最も適合した従業員、チーム、組織、従業員のクラスタ、及び従業員の属性を見つける必要がある。実装例はプロジェクトチームを従業員グループレベルで識別するために集団モデル推論プロセスを利用し得、従業員グループレベルは個々の従業員、チーム、組織、従業員のクラスタ、及び同じ属性の従業員であり得る。
【0112】
最初に新たなプロジェクトが与えられると、このプロセスはプロジェクト情報に基づいて全てのマッチする列を見つける。問題の従業員グループレベルに関して、このプロセスは従業員グループレベルにおける全ての従業員グループを識別する。従業員グループごとに、このプロセスはマッチする全ての行を見つける。従業員グループごとに、このプロセスはマッチする全ての行及び列の全てのパフォーマンススコアを得る。
【0113】
次いで、このプロセスはパフォーマンススコアを集約する。集約方法はパフォーマンススコアの単純平均又はパフォーマンススコアの加重平均であり得、加重平均はパフォーマンススコアの平均をマッチする従業員グループの行に包含される従業員の数で割ることを含み得る。次いでこのプロセスは、従業員グループレベル内の従業員グループに対する全ての集約済みのパフォーマンススコアをランク付けし、プロジェクトについて最も高いパフォーマンススコアを有する従業員グループを選択する。
【0114】
関連技術では、伝統的な協調フィルタリング技法は失敗する傾向にあり、その理由は個々の従業員と個々のプロジェクトとの間に非常に限られた数の関与しかないからである。その結果、行として個々の従業員、列として個々のプロジェクトを有する行列は、非常に疎になる。疎行列に対する協調フィルタリング技法は上手く機能しない。実装例は、より密な行列を得るために従業員グループ及びプロジェクトグループを行列に導入する。協調フィルタリング技法は、行として従業員グループ、列としてプロジェクトグループを有する行列に対して上手く機能する。
【0115】
様々な従業員グループ及びプロジェクトグループレベルを１つの行列内に組み込むことにより、様々な従業員グループレベルからの従業員グループのいくつかの重複する従業員がいることができる。その結果、重複している従業員を有する従業員グループのパフォーマンススコアは相関を有し、それらの従業員はアイテム（この事例ではプロジェクト）との同様の関与を有するので、かかる相関は協調フィルタリングに役立ち得る。様々な従業員グループレベル及びプロジェクトグループレベルからのデータは、行列内のスコアを埋める際に互いを助け得る。
【0116】
集団モデル推論プロセスは、従業員及びプロジェクトの様々な側面を検討し、それらを１つのパフォーマンススコアにまとめて集約することを助ける。
【0117】
時として、プロジェクトのステークホルダは人的資源の可用性、強み及び関心事、プロジェクトの継続期間等によってマイルストーンごとにプロジェクトチームを識別する必要がある。そのために、実装例は協調フィルタリングをマイルストーンベースにする。行列を埋めるためにプロジェクトの全継続期間にわたるパフォーマンススコアを使用する代わりに、行列を埋めるために各マイルストーンのパフォーマンススコアが使用される。そのようなわけで、マイルストーンごとに１つの行列又は所望の実装形態に応じてそれ以外の行列があり得る。
【0118】
実装例は様々なシナリオに組み込まれ得る。例えば実装例はエンドツーエンドソリューションを促進し得る。プロジェクトの洞察発見及びプロジェクトのパフォーマンスモデリングのためのソリューションスイートとして、プロジェクトの自己プロファイリング、パフォーマンスモニタリング、パフォーマンス予測、及びパフォーマンス最適化は提供され得る。このエンドツーエンドソリューションは、ソリューションコア製品の一部として解析ソリューションコアスイートとして提供され得る。
【0119】
プロジェクト自己プロファイリングは、ソリューションコア製品の一部として解析ソリューションコアとして提供され得る。
【0120】
パフォーマンスモニタリングは、ソリューションコア製品の一部として解析ソリューションコアとして提供され得る。
【0121】
パフォーマンス予測は、ソリューションコア製品の一部として解析ソリューションコアとして提供され得る。
【0122】
プロジェクトパフォーマンス最適化は、ソリューションコア製品の一部として解析ソリューションコアとして提供され得る。
【0123】
実装例は、スタンドアローンの機械学習ライブラリに組み込まれ得る。自己プロファイリングのための反復学習スキーム及び再帰学習スキームは、自己プロファイリング及び洞察発見を助けるスタンドアローンの機械学習ライブラリとして提供され得る。
【0124】
図９は、いくつかの実装例での使用に適したコンピュータ装置の一例を有する計算環境の一例を示す。
【0125】
計算環境９００内のコンピュータ装置９０５は、１以上の処理ユニット、コア、又はプロセッサ９１０、メモリ９１５（例えば、ＲＡＭ、ＲＯＭ等）、内部ストレージ９２０（例えば磁気、光学、ソリッドステートストレージ、及び／又は有機）、及び／又はＩ／Ｏインタフェース９２５を含み得、その何れも情報を通信するために通信メカニズム又はバス９３０に接続され得、又はコンピュータ装置９０５に埋め込まれ得る。Ｉ／Ｏインタフェース９２５は、所望の実装形態に応じてカメラから画像を受信するように又はプロジェクタ若しくはディスプレイに画像を提供するようにも構成される。
【0126】
コンピュータ装置９０５は、入力／ユーザインタフェース９３５及び出力デバイス／インタフェース９４０に通信可能に接続され得る。入力／ユーザインタフェース９３５及び出力デバイス／インタフェース９４０の何れか又は両方は有線インタフェース又は無線インタフェースであり得、取り外し可能であり得る。入力／ユーザインタフェース９３５は、入力を行うために使用可能な任意の物理的な又は仮想的なデバイス、コンポーネント、センサ、又はインタフェースを含んでもよい（例えばボタン、タッチスクリーンインタフェース、キーボード、ポインティング／カーソル制御、マイクロホン、カメラ、ブライユ点字、運動センサ、光学読取り装置等）。出力デバイス／インタフェース９４０は、ディスプレイ、テレビ、モニタ、プリンタ、スピーカ、ブライユ点字等を含んでもよい。いくつかの実装例では、入力／ユーザインタフェース９３５及び出力デバイス／インタフェース９４０はコンピュータ装置９０５に埋め込まれ得、又はコンピュータ装置９０５に物理的に接続され得る。他の実装例では、他のコンピュータ装置がコンピュータ装置９０５のための入力／ユーザインタフェース９３５及び出力デバイス／インタフェース９４０として機能してもよく、又はそれらの機能を提供してもよい。
【0127】
コンピュータ装置９０５の例は、これだけに限定されないが、高移動性の装置（例えばスマートフォン、車両及び他の機械内の装置、人間及び動物が運ぶ装置等）、モバイル装置（例えばタブレット、ノートブック、ラップトップ、パーソナルコンピュータ、携帯型テレビ、ラジオ等）、及び移動性に関して設計されていない装置（例えばデスクトップコンピュータ、他のコンピュータ、情報キオスク、１以上のプロセッサが埋め込まれた及び／又は結合されたテレビ、ラジオ等）を含んでもよい。
【0128】
コンピュータ装置９０５は、同じ構成又は異なる構成の１以上のコンピュータ装置を含む任意の数のネットワーク化されたコンポーネント、装置、及びシステムと通信するために、外部ストレージ９４５及びネットワーク９５０に（例えばＩ／Ｏインタフェース９２５を介して）通信可能に接続され得る。コンピュータ装置９０５又は接続された任意のコンピュータ装置は、サーバ、クライアント、シンサーバ、汎用マシン、専用マシン、又は別のラベルとして機能し得、そのサービスを提供し得、又はそのように言及され得る。
【0129】
Ｉ／Ｏインタフェース９２５は、これだけに限定されないが、計算環境９００内の少なくとも全ての接続されたコンポーネント、装置、及びネットワークとの間で情報を通信するために任意の通信プロトコル若しくは規格又はＩ／Ｏプロトコル若しくは規格（例えばイーサネット、８０２．１１ｘ、ユニバーサルシステムバス、ＷｉＭａｘ、モデム、セルラネットワークプロトコル等）を使用する有線及び／又は無線インタフェースを含み得る。ネットワーク９５０は、任意のネットワーク又はネットワークの組み合わせ（例えばインターネット、ローカルエリアネットワーク、ワイドネットワーク、電話網、セルラネットワーク、衛星ネットワーク等）であり得る。
【0130】
コンピュータ装置９０５は、一時的媒体及び非一時的媒体を含む、コンピュータ使用可能媒体又はコンピュータ可読媒体を使用する及び／又は使用して通信し得る。一時的媒体は、伝送媒体（例えば金属ケーブル、光ファイバ）、信号、搬送波等を含む。非一時的媒体は、磁気媒体（例えばディスク及びテープ）、光学媒体（例えばＣＤ ＲＯＭ、デジタルビデオディスク、ブルーレイディスク）、ソリッドステート媒体（例えばＲＡＭ、ＲＯＭ、フラッシュメモリ、ソリッドステート記憶域）、及び他の不揮発性ストレージ又はメモリを含む。
【0131】
計算環境のいくつかの例では、コンピュータ装置９０５は、技法、方法、アプリケーション、プロセス、又はコンピュータ実行可能命令を実装するために使用され得る。コンピュータ実行可能命令は、一時的媒体から取得され、非一時的媒体上に記憶されそこから取得され得る。実行可能命令は、任意のプログラミング言語、スクリプト言語、及び機械言語（例えばＣ、Ｃ＋＋、Ｃ＃、Ｊａｖａ、Ｖｉｓｕａｌ Ｂａｓｉｃ、Ｐｙｔｈｏｎ、Ｐｅｒｌ、ＪａｖａＳｃｒｉｐｔ等）の１以上に由来し得る。
【0132】
プロセッサ９１０は、ネイティブ環境又は仮想環境内で任意のオペレーティングシステム（ＯＳ）（不図示）の下で実行し得る。論理ユニット９６０、アプリケーションプログラミングインタフェース（ＡＰＩ）ユニット９６５、入力ユニット９７０、出力ユニット９７５、並びに様々なユニットが互いに、ＯＳと、及び他のアプリケーション（不図示）と通信するためのユニット間通信メカニズム９９５を含む１以上のアプリケーションは導入され得る。記載のユニット及び要素は、設計、機能、構成、又は実装の点で変更することができ、提供された説明に限定されない。
【0133】
いくつかの実装例では、情報又は実行命令がＡＰＩユニット９６５によって受信されると、それが１以上の他のユニット（例えば論理ユニット９６０、入力ユニット９７０、出力ユニット９７５）に通信され得る。上記のいくつかの実装例において、いくつかの例では論理ユニット９６０はユニット間の情報フローを制御し、ＡＰＩユニット９６５、入力ユニット９７０、出力ユニット９７５によって提供されるサービスを指示するように構成されてもよい。例えば１以上のプロセス又は実装形態のフローは、論理ユニット９６０によって単独で又はＡＰＩユニット９６５と組み合わせて制御されてもよい。入力ユニット９７０は実装例の中で説明した計算のための入力を得るように構成されてもよく、出力ユニット９７５は実装例の中で説明した計算に基づいて出力を与えるように構成されてもよい。
【0134】
プロセッサ９１０は、本明細書の実装例に記載したプロジェクト管理を促進するための方法を実行するように構成され得、その方法は図７に示すように、プロジェクトデータ及び従業員データを有するプロジェクトの入力に関して、特徴を生成するためにプロジェクトデータ及び従業員データに対して特徴抽出を実行すること、プロジェクトのクラスタ及び異常を導出するために生成された特徴に対して教師なし機械学習で構成された自己プロファイリングアルゴリズムを実行すること、マイルストーンにおけるキーパフォーマンス指標値の確率を決定するために生成された特徴に対してパフォーマンスモニタリングプロセスを実行すること、及びプロジェクトの予測パフォーマンス値を生成するために生成された特徴、導出されたクラスタ、導出された異常、マイルストーンにおけるキーパフォーマンス指標値の確率に対して教師あり機械学習モデルを実行することを含み得る。
【0135】
図２に示す実装例では、プロセッサ９１０は、生成された特徴に基づいて教師なし機械学習モデルを生成するために教師なし機械学習を実行すること、教師ありアンサンブル機械学習モデルを生成するために教師なし機械学習モデルのそれぞれからの結果に対して教師あり機械学習を実行することであって、教師ありアンサンブル機械学習モデルのそれぞれは教師なし機械学習モデルのそれぞれに対応する、実行すること、及び教師ありアンサンブル機械学習モデルによって生成される予測に対する教師なし機械学習モデルの結果の評価に基づいてクラスタ及び異常を導出するように構成されるモデルとして教師なし機械学習モデルの或るものを選択することにより、プロジェクトのクラスタ及び異常を導出するために生成された特徴に対する教師なし機械学習で構成された自己プロファイリングアルゴリズムを実行するように構成され得る。
【0136】
図３に示す実装例では、プロセッサ９１０は、生成された特徴に対して一組の教師なし学習モデルアルゴリズムからの各教師なし機械学習モデルアルゴリズムを実行すること、選択基準を満たす、各教師なし機械学習モデルアルゴリズムのための関連パラメータセットを有する教師なし機械学習モデルの１つを決定すること、選択基準を満たす、各教師なし機械学習モデルアルゴリズムの教師なし機械学習モデルの１つから、一組の教師なし機械学習モデルアルゴリズムにわたって導入するための教師なし機械学習モデルを決定することにより、プロジェクトのクラスタ及び異常を導出するために生成された特徴に対して教師なし機械学習で構成された自己プロファイリングアルゴリズムを実行するように構成され得る。
【0137】
図３に示す実装例では、プロセッサ９１０は、導入用の教師なし機械学習モデルを更に導入することができ、導入用の教師なしモデルの導入中、プロセッサ９１０は、教師なし出力を生成するために生成された特徴に対して導入用の教師なし機械学習モデルを適用し、拡張された特徴を得るために特徴に対して教師なし出力を付加し、一組の教師なし機械学習モデルアルゴリズムから別の教師なし学習モデルアルゴリズムをランダムに選択し、選択基準を満たす別の関連パラメータセットを有する別の教師なし機械学習モデルを見つけるために、拡張された特徴に基づいてランダムに選択された教師なし学習モデルアルゴリズムを訓練し、導入用の導入された教師なし学習モデルよりも優れた評価を有するランダムに選択された教師なし学習モデルアルゴリズムから生成される別の教師なし学習モデルに関して、導入用の導入された教師なし学習モデルを別の教師なし学習モデルで置換する方法を更に実行することができる。
【0138】
図４に示すように、プロセッサ９１０は、ａ）教師なし機械学習アルゴリズムのそれぞれについて教師なし機械学習モデルを生成するために生成された特徴に対して一組の教師なし機械学習モデルアルゴリズムを適用すること、ｂ）教師なし機械学習モデルからの教師なし出力を特徴に付加すること、及びｃ）終了基準が満たされるまでステップａ）及びｂ）を反復することにより、プロジェクトのクラスタ及び異常を導出するために生成された特徴に対して教師なし機械学習で構成された自己プロファイリングアルゴリズムを実行するように構成され得る。
【0139】
図５に示すように、プロセッサ９１０は、第２のマイルストーンにおける複数の第２のキーパフォーマンス指標に対する第１のマイルストーンにおける複数の第１のキーパフォーマンス指標間の遷移を関係させる遷移ネットワークを履歴プロジェクトから生成することにより、マイルストーンにおけるキーパフォーマンス指標値の確率を決定するために生成された特徴に対してパフォーマンスモニタリングプロセスを実行するように構成され得、遷移の確率は、第１のマイルストーンの複数の第１のキーパフォーマンス指標が第２のマイルストーンにおける第２のキーパフォーマンス指標に遷移した回数に基づいて決定される。
【0140】
図５及び図６に示すように、プロセッサ９１０は、前のマイルストーンにおけるキーパフォーマンス指標値に基づいてマイルストーンにおけるキーパフォーマンス指標値を予測するためのマルチタスク教師あり機械学習モデルを生成することにより、マイルストーンにおけるキーパフォーマンス指標値の確率を決定するために生成された特徴に対してパフォーマンスモニタリングプロセスを実行するように構成され得、キーパフォーマンス指標値の確率は、マルチタスク教師あり機械学習モデルとして分類モデルが使用されるときのカテゴリ又はマルチタスク教師あり機械学習モデルとして回帰モデルが使用されるときの数値スコアのうちの１つであり、マイルストーンにおけるキーパフォーマンス指標値はマルチタスク教師あり機械学習モデルと同時に予測される。
【0141】
図８に示すように、プロセッサ９１０は、プロジェクトのパフォーマンスデータから行列を生成することであって、行列は様々な次元にわたる従業員関連データの行及びプロジェクト関連データの列で構成され、プロジェクトのパフォーマンスデータから導出されるパフォーマンススコアを示す値を含む、生成すること、行列内の値の欠落したものに関して、行列内の値の欠落したものを訓練プロセスから生成すること、新たなプロジェクトの入力に関して、新たなプロジェクト内の従業員関連データ及び新たなプロジェクトのプロジェクト関連データとマッチする行及び列を識別すること、識別された行及び列に対応する値を集約すること、集約された値に従って従業員関連データからの従業員グループをランク付けすること、及び新たなプロジェクトの実行に関して最高ランクを有する従業員関連データからの従業員グループを選択することを含む方法を実行するように構成され得る。
【0142】
図７に示すように、プロセッサ９１０は、プロジェクトの予測パフォーマンス値を生成するために、生成された特徴、導出されたクラスタ、導出された異常、マイルストーンにおけるキーパフォーマンス指標値の確率に対して教師あり機械学習モデルを実行するために、プロジェクトのクラスタ及び異常を導出するために生成された特徴に対して教師なし機械学習で構成された自己プロファイリングアルゴリズムを実行すること、マイルストーンにおけるキーパフォーマンス指標値の確率を決定するために生成された特徴に対してパフォーマンスモニタリングプロセスを実行すること、及びプロジェクトの予測パフォーマンスを生成するために、生成された特徴、導出されたクラスタ、導出された異常、マイルストーンにおけるキーパフォーマンス指標値の確率に対して教師あり機械学習モデルを実行することを行うように構成され得る。
【0143】
図３に記載するように、実装例はＩｏＴ保険等のＩｏＴデータ分野に拡張され得る。かかる実装例では、プロセッサ９１０は、モノのインターネット（ＩｏＴ）データのクラスタ及び異常を導出するために生成された特徴に対して教師なし機械学習で構成された自己プロファイリングアルゴリズムを実行するためのコンピュータに実装される方法を実行するように構成され得、かかる方法は、生成された特徴に対して一組の教師なし学習モデルアルゴリズムからの各教師なし機械学習モデルアルゴリズムを実行すること、各教師なし機械学習モデルアルゴリズムについて関連する最良のパラメータセットを有する教師なし機械学習モデルの最良のものを決定すること、及び各教師なし機械学習モデルアルゴリズムの教師なし機械学習モデルの最良のものから一組の教師なし機械学習モデルアルゴリズムにわたる最良の教師なしモデルを決定することを含み得る。
【0144】
詳細な説明の一部はコンピュータ内の操作のアルゴリズム及び記号表現に関して提示された。これらのアルゴリズム的記述及び記号表現は、その革新の本質を他の当業者に伝えるためにデータ処理技術の当業者によって使用される手段である。アルゴリズムは、所望の終了状態又は結果をもたらす一連の定義されたステップである。一実装例では、実行されるステップは具体的な結果を実現するために有形量の物理的操作を必要とする。
【0145】
別段の定めがない限り、解説から明らかなように説明の全体を通して「処理」、「コンピューティング」、「計算」、「決定」、「表示」等の用語を利用する解説は、コンピュータシステム又は、コンピュータシステムのレジスタ及びメモリ内で物理（電子）量として表されるデータを操作し、コンピュータシステムのメモリ若しくはレジスタ、又は他の情報ストレージ、伝送若しくは表示装置内で物理量として同様に表される他のデータに変換する他の情報処理装置のアクション及びプロセスを含み得ることが理解されよう。
【0146】
実装例は、本明細書の操作を行うための装置にも関係してもよい。この装置は所要の目的のために特別に構築されてもよく、又は１以上のコンピュータプログラムによって選択的に活性化され又は再構成される１以上の汎用コンピュータを含んでもよい。かかるコンピュータプログラムは、コンピュータ可読記憶媒体又はコンピュータ可読信号媒体等のコンピュータ可読媒体の中に記憶されてもよい。コンピュータ可読記憶媒体は、これだけに限定されないが、光ディスク、磁気ディスク、リードオンリーメモリ、ランダムアクセスメモリ、ソリッドステートデバイス及びドライブ等の有形媒体、又は電子情報を記憶するのに適した他の任意の種類の有形媒体若しくは非一時的媒体を含んでもよい。コンピュータ可読信号媒体は搬送波等の媒体を含んでもよい。本明細書で提示したアルゴリズム及び表示は、或る特定のコンピュータ又は他の機器に固有に関係するものではない。コンピュータプログラムは所望の実装形態の操作を実行する命令を含む純粋なソフトウェア実装を含み得る。
【0147】
様々な汎用システムは、本明細書の例によるプログラム及びモジュールと共に使用されてもよく、又は所望の方法ステップを実行するためのより特化した装置を構築するのが便利だと明らかになってもよい。加えて実装例は或る特定のプログラミング言語に関して説明していない。様々なプログラミング言語は、本明細書に記載した実装例の技法を実装するために、使用されてもよいことが理解されよう。プログラミング言語の命令は１以上の処理装置、例えば中央処理装置（ＣＰＵ）、プロセッサ、又はコントローラによって実行されてもよい。
【0148】
当技術分野で知られているように、上述した操作はハードウェア、ソフトウェア、又はソフトウェアとハードウェアとの何らかの組み合わせによって実行され得る。実装例の様々な側面は、回路及び論理装置（ハードウェア）を使用して実装されてもよいが、他の側面は、機械可読媒体上に記憶される命令（ソフトウェア）を使用して実装されてもよく、かかる命令はプロセッサによって実行される場合、本願の実装形態を実行するための方法をプロセッサに実行させる。更に本願の一部の実装例はハードウェアのみで実行されてもよいのに対し、他の実装例はソフトウェアのみで実行されてもよい。更に、記載した様々な機能は単一のユニット内で実行され得、又は任意の数のやり方でいくつかのコンポーネントに分散され得る。ソフトウェアによって実行される場合、方法はコンピュータ可読媒体上に記憶される命令に基づいて汎用コンピュータ等のプロセッサによって実行されてもよい。所望の場合、命令は圧縮形式及び／又は暗号化形式で媒体上に記憶されてもよい。
【0149】
更に、本明細書を検討すること及び本願の技法を実践することにより、本願の他の実装形態は当業者に明らかにされる。記載された実装例の様々な側面及び／又はコンポーネントは単独で又は任意の組み合わせで使用されてもよい。本明細書及び実装例は単に例として検討されることを意図し、本願の真の範囲及び趣旨は添付の特許請求の範囲によって示される。
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【国際調査報告】