知財求人 - 知財ポータルサイト「IP Force」
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公表特許公報(A)
(11)【公表番号】
(43)【公表日】2022-12-05
(54)【発明の名称】予測コンピュータ実現モデルの監視性能
(51)【国際特許分類】
G06F 11/34 20060101AFI20221128BHJP
G06F 11/30 20060101ALI20221128BHJP
【ＦＩ】
G06F11/34 147
G06F11/30 140H
【審査請求】未請求
【予備審査請求】未請求
(21)【出願番号】P 2022520418
(86)(22)【出願日】2020-10-02
(85)【翻訳文提出日】2022-04-01
(86)【国際出願番号】 EP2020077698
(87)【国際公開番号】W WO2021064192
(87)【国際公開日】2021-04-08
(31)【優先権主張番号】19201305.0
(32)【優先日】2019-10-03
(33)【優先権主張国・地域又は機関】EP
(81)【指定国・地域】
【公序良俗違反の表示】
（特許庁注：以下のものは登録商標）
１．ＢＬＵＥＴＯＯＴＨ
２．ＺＩＧＢＥＥ
(71)【出願人】
【識別番号】590000248
【氏名又は名称】コーニンクレッカ フィリップス エヌ ヴェ
【氏名又は名称原語表記】Ｋｏｎｉｎｋｌｉｊｋｅ Ｐｈｉｌｉｐｓ Ｎ．Ｖ．
【住所又は居所原語表記】Ｈｉｇｈ Ｔｅｃｈ Ｃａｍｐｕｓ ５２， ５６５６ ＡＧ Ｅｉｎｄｈｏｖｅｎ，Ｎｅｔｈｅｒｌａｎｄｓ
(74)【代理人】
【識別番号】100122769
【弁理士】
【氏名又は名称】笛田 秀仙
(74)【代理人】
【識別番号】100163809
【弁理士】
【氏名又は名称】五十嵐 貴裕
(72)【発明者】
【氏名】パティル ラヴィンドラ バラサヘブ
(72)【発明者】
【氏名】ラヴィ ビジャ
(72)【発明者】
【氏名】ブーマンス ミヒャエル レオナルドス ヘレナ
(72)【発明者】
【氏名】ブッサ ナガラジュ
【テーマコード（参考）】
5B042
【Ｆターム（参考）】
5B042KK13
5B042MA08
5B042MA14
5B042MC08
5B042MC40
(57)【要約】
一態様によれば、第１のシステムの状態を監視するために使用される予測コンピュータ実現モデルＰＣＩＭの性能を監視するコンピュータ実現方法が提供される。ＰＣＩＭは、第１のシステムに関する複数のフィーチャの観測値を入力として受け取り、ＰＣＩＭは、観測値に基づいて状態アラートを発行するか否かを決定する。本方法は、ＰＣＩＭの基準情報を取得するステップであって、ＰＣＩＭの基準情報は、第１の期間における第１のシステムに関連する複数のフィーチャの第１の値の組を含む、ステップと、第１の値の組から基準確率分布の組を決定するステップであって、基準確率分布の組は、第１の値の組におけるそれぞれのフィーチャの値から決定される各フィーチャのそれぞれの基準確率分布を有する、ステップと、ＰＣＩＭの動作情報を取得するステップであって、ＰＣＩＭの動作情報は、第１の期間の後の第２の期間における第１のシステムに関連する複数のフィーチャの第２の値の組を含む、ステップと、第２の値の組から動作確率分布の組を決定するステップであって、動作確率分布の組は、第２の値の組におけるそれぞれのフィーチャの値から決定される各フィーチャのそれぞれの動作確率分布を含む、ステップと、第１の期間と第２の期間との間のＰＣＩＭの性能のドリフトの尺度を表すＰＣＩＭのドリフト尺度を決定するステップであって、ドリフト尺度は、基準確率分布の組と動作確率分布の組との比較に基づく、ステップと、ドリフト尺度を出力するステップと、を有する。
【特許請求の範囲】
【請求項1】
第１のシステムの状態を監視するために使用される予測コンピュータ実現モデル（ＰＣＩＭ）の性能を監視するコンピュータ実現方法であって、前記ＰＣＩＭは、前記第１のシステムに関する複数のフィーチャについての観測値を入力として受信し、前記ＰＣＩＭは、前記観測値に基づいて、状態アラートを発行するか否かを判定する、コンピュータ実現方法であって、前記ＰＣＩＭの基準情報を得るステップであって、前記ＰＣＩＭの基準情報は、第１の期間における前記第１のシステムに関する複数のフィーチャの第１の値の組を含む、ステップと、
前記第１の値の組から基準確率分布の組を決定するステップであって、前記基準確率分布の組は、前記第１の値の組におけるそれぞれのフィーチャの値から決定される各フィーチャのそれぞれの基準確率分布を含む、ステップと、
前記ＰＣＩＭの動作情報を得るステップであって、前記ＰＣＩＭの動作情報は、前記第１の期間の後の第２の期間における、前記第１のシステムに関する複数の フィーチャの第２の値の組を含む、ステップと、
前記第２の値の組から動作確率分布の組を決定するステップであって、前記動作確率分布の組は、前記第２の値の組におけるそれぞれのフィーチャの値から決定される各フィーチャのそれぞれの動作確率分布を含む、ステップと、
前記第１の期間と前記第２の期間との間の前記ＰＣＩＭの性能のドリフトの尺度を表す前記ＰＣＩＭのドリフト尺度を決定するステップであって、前記ドリフト尺度は、前記基準確率分布の組と、前記動作確率分布の組との比較に基づく、ステップと、
前記ドリフト尺度を出力するステップと、
を有する方法。
【請求項2】
前記ドリフト尺度を決定するステップは、前記第１のシステムの各フィーチャについて、当該フィーチャの前記基準確率分布に関する１又は複数の統計的尺度を、当該フィーチャの前記動作確率分布に関する１又は複数の統計的尺度と比較することを含む、請求項１に記載の方法。
【請求項3】
前記比較するステップは、前記第１のシステムの各フィーチャについて及び各統計的尺度について、前記基準確率分布の前記統計的尺度の値と、前記作動確率分布の前記統計的尺度の値とから、当該フィーチャ及び当該統計的尺度についての距離尺度を決定することを、請求項２に記載の方法。
【請求項4】
前記１又は複数の統計的尺度は、前記確率分布の平均、前記確率分布の標準偏差、前記確率分布の密度、及び前記確率分布の形状を定義する１又は複数の形状パラメータ、のうちの１又は複数を含む、請求項２又は３に記載の方法。
【請求項5】
前記複数のフィーチャの前記第１の組の値は、前記ＰＣＩＭを訓練するために使用された訓練セットの値であり、前記第１の期間は、前記ＰＣＩＭが前記第１のシステムの状態を監視する前の期間である、請求項１乃至４のいずれか１項に記載の方法。
【請求項6】
前記ＰＣＩＭの前記基準情報は、前記訓練セットの値に基づいて前記第１のシステムの状態アラートを発行する際の前記ＰＣＩＭの期待される信頼性を示す基準性能情報を更に含み、前記ＰＣＩＭの前記動作情報は、前記第２の期間に前記第１のシステムの状態アラートを発行する際の前記ＰＣＩＭの動作の信頼性を示す動作性能情報を更に含み、前記ドリフト尺度が更に、前記基準性能情報と前記動作性能情報との比較に基づく、請求項５記載の方法。
【請求項7】
前記複数のフィーチャの前記第１の値の組は、前記ＰＣＩＭの使用中に得られた値の組であり、前記第１の期間は、前記ＰＣＩＭが前記第１のシステムの状態を監視している期間である、請求項１乃至４のいずれか１項に記載の方法。
【請求項8】
前記ＰＣＩＭの前記基準情報は、前記第１の期間において前記第１のシステムの状態アラートを発行する際の前記ＰＣＩＭの信頼性を示す基準性能情報を更に含み、前記ＰＣＩＭの前記動作情報は、前記第２の期間において前記第１のシステムの状態アラートを発行する際の前記ＰＣＩＭの動作信頼性を示す動作性能情報を更に含み、前記ドリフト尺度が更に、前記基準性能情報と前記動作性能情報との比較に基づく、請求項７に記載の方法。
【請求項9】
前記基準性能情報及び前記動作性能情報の各々が、真陽性率、疑陽性率、真陰性率、及び偽陰性率のうち１又は複数を含む、請求項６又は８に記載の方法。
【請求項10】
前記方法は更に、前記第１のシステムに関する１又は複数の他のフィーチャの値を得るステップであって、前記１又は複数の他のフィーチャは、前記第１のシステムのログファイルの存在、前記第１のシステムのコンポーネントの保証ステータス、前記第１のシステムによって使用されるソフトウェア又はファームウェアのバージョンのいずれかを含み、前記ドリフト尺度は更に、前記１又は複数の他のフィーチャの値に基づく、請求項１乃至９のいずれか１項に記載の方法。
【請求項11】
前記方法が更に、前記ＰＣＩＭを分析して、前記ＰＣＩＭによって使用される前記第１のシステムに関連する複数のフィーチャを識別するステップを有する、請求項１乃至１０のいずれか１項に記載の方法。
【請求項12】
前記方法は更に、前記ドリフト尺度を評価して、前記ドリフト尺度の値に寄与した前記フィーチャの１又は複数を識別するステップと、
前記識別された１又は複数のフィーチャを分析して、前記ドリフト尺度を減少させるように前記ＰＣＩＭの動作に対する補正を決定するステップと、
を有する、請求項１乃至１１のいずれか１項に記載の方法。
【請求項13】
前記方法は更に、前記決定されたドリフト尺度を分析して、前記ＰＣＩＭの残存寿命を推定するステップを有する、請求項１乃至１２のいずれか１項に記載の方法。
【請求項14】
適切なコンピュータ又はプロセッサにより実行される場合、コンピュータ又はプロセッサが請求項１乃至１３のいずれか１項に記載の方法を実行するように構成されるコンピュータ可読コードを有するコンピュータ可読媒体。
【請求項15】
第１のシステムの状態を監視するために使用される予測コンピュータ実現モデル（ＰＣＩＭ）の性能を監視する装置であって、前記ＰＣＩＭは、前記第１のシステムに関する複数のフィーチャの観測値を入力として受け取り、前記ＰＣＩＭは、前記観測値に基づいて、状態アラートを発行するか否かを決定し、前記装置が、前記ＰＣＩＭの基準情報を得るステップであって、前記ＰＣＩＭの基準情報は、第１の期間において前記第１のシステムに関する前記複数のフィーチャの第１の値の組を含む、ステップと、
前記第１の値の組から基準確率分布の組を決定するステップであって、前記基準確率分布の組は、前記第１の値の組におけるそれぞれのフィーチャの値から決定される各フィーチャのそれぞれの基準確率分布を含む、ステップと、
前記ＰＣＩＭの動作情報を得るステップであって、前記ＰＣＩＭの前記動作情報は、前記第１の期間の後の第２の期間における前記第１のシステムに関する前記複数のフィーチャの第２の値の組を含む、ステップと、
前記第２の値の組から動作確率分布の組を決定するステップであって、前記動作確率分布の組は、前記第２の値の組におけるそれぞれのフィーチャの値から決定される各フィーチャのそれぞれの動作確率分布を含む、ステップと、
前記第１の期間と前記第２の期間との間の前記ＰＣＩＭの性能のドリフトの尺度を表す前記ＰＣＩＭのドリフト尺度を決定するステップであって、前記ドリフト尺度は、前記基準確率分布の組と、前記動作確率分布の組との比較に基づく、ステップと、
前記ドリフト尺度の出力を与えるステップと、
を実行する処理ユニットを有する、装置。
【発明の詳細な説明】
【技術分野】
【0001】
本開示は、システムの状態を監視するために使用される予測コンピュータ実現モデル（predictive computer-implemented model、ＰＣＩＭ）の性能の監視に関し、特に、ＰＣＩＭの性能を監視するためのコンピュータ実現方法、装置及びコンピュータプログラム製品に関する。
【背景技術】
【0002】
予測コンピュータ実現モデルであるＰＣＩＭ（ここでは「予測モデル」及び「予測モデル」とも呼ばれる）は、多くのプラットフォームやシステムにわたってますます一般的になってきており、その目標は、サービス又はシステムの混乱の可能性をいち早く特定し、サービス又はシステムのエンドユーザへの混乱を最小限に抑えて問題を解決することである。磁気共鳴イメージング（ＭＲＩ）、コンピュータ断層撮影（ＣＴ）、画像誘導治療（ＩＧＴ）などの医療に基づくイメージングシステムの状況において、予測モデルが、構築され、システムダウン時間を防止及び／又は減少させるために、故障の前にサービスできる可能性のあるシステム問題及び故障について、関係者（例えば、サービス又はシステムから離れたところにいる監視エンジニア及びサービスエンジニア）にアラートするために使用されている。機械学習及び統計ベースモデルは、システムの予測メンテナンスを達成するために開発されてきた。
【発明の概要】
【発明が解決しようとする課題】
【0003】
典型的には、これらの予測モデルは、当分野の専門家と共にデータサイエンティストがシステムのデータログから抽出する過去のデータ及びパターンを用いて構築される。これらのモデルは、新しい入力データに基づいてシステムのスコアを毎日決定し、必要に応じてシステムのアラートを送ることができる。しかしながら、システムは、時間の経過と共に進化する場合があり、例えば、システムハードウェアの態様に変化がある場合があり、及び／又は、使用パターン、ソフトウェア、ファームウェアなどに微妙なドリフト又は変化があり、予測モデルの精度が時間の経過と共にドリフト又は劣化する可能性がある。例えば、予測モデルに入力されるシステムデータの構造に変更があったり、ソフトウェアの変更によって特定のキーワードが変化したりすると、予測モデルの性能に影響が出る可能性がある。当然ながら、予測モデルの予測性能に影響を与える可能性のある他の種類の変化が発生することもある。
【0004】
予測モデルは、モデルの健全性の（すなわち予測性能に関する）劣化がないように又はその劣化が制限されたものであるように、ある期間にわたってファインチューニングされる又は補正される必要があることが知られているが、予測モデルを自動的に監視し及び予測モデルの性能に関する指標を提供することができる信頼できるアプローチ技術は存在しない。現在、予測モデルの監視は、主観的であり、当分野の専門家（エンジニアなど）が予測モデルの出力を過去のサービス履歴とシステムログを用いてレビューし、モデルの現在の健全性を評価することに基づく。
【0005】
モデルのドリフト及び劣化並びに予測モデルの性能を評価するための現在のアプローチに関するこれらの問題は、予測モデルの監視をどのように自動化するか（又は、少なくとも、当分野の専門家又は他の人がモデルの性能を手動でレビューする必要性を、いかに実質的に減らすか）の考慮につながる。このような自動監視があり、予測モデルの性能のドリフト又は劣化が識別された場合に、予測モデルに対する適切な補正を識別（及び実施）することが可能になりうる。
【課題を解決するための手段】
【0006】
第１の態様によれば、第１のシステムの状態を監視するために使用される予測コンピュータ実現モデルＰＣＩＭの性能を監視するコンピュータ実現方法が提供される。ＰＣＩＭは、第１のシステムに関する複数のフィーチャについての観測値を入力として受け取り、ＰＣＩＭは、観測値に基づいて状態アラートを発するか否かを決定する。本方法は、ＰＣＩＭの基準情報を得るステップであって、ＰＣＩＭの基準情報が、第１の期間における第１のシステムに関連する複数のフィーチャの第１の値の組を含む、ステップと、前記第１の値の組から基準確率分布の組を決定するステップであって、前記基準確率分布の組は、前記第１の値の組の中のそれぞれのフィーチャの値から決定される各フィーチャのそれぞれの基準確率分布を含む、ステップと、ＰＣＩＭの動作情報を取得するステップであって、ＰＣＩＭの動作情報は、第１の期間の後の第２の期間における、第１のシステムに関連する複数のフィーチャの第２の値の組を含む、ステップと、前記第２の値の組から動作確率分布の組を決定するステップであって、前記動作確率分布の組は、前記第２の値の組におけるそれぞれのフィーチャの値から決定される各フィーチのャそれぞれの動作確率分布を含む、ステップと、第１の期間と第２の期間との間のＰＣＩＭの性能のドリフトの尺度を表すＰＣＩＭのドリフト尺度を決定するステップであって、ドリフト尺度は、基準確率分布の組と同さ確率分布の組との比較に基づく、ステップと、前記ドリフト尺度を出力するステップと、を有する。従って、第１の態様は、システムフィーチャの値の確率分布に基づいて、いつＰＣＩＭが正しく動作しなくなるかを識別するＰＣＩＭの自動監視を提供する。
【0007】
いくつかの実施形態では、ドリフト尺度を決定するステップが、第１のシステムに関連する各フィーチャについて、当該フィーチャの基準確率分布に関する１又は複数の統計的尺度を、当該フィーチャの動作確率分布に関する１又は複数の統計的尺度と比較するステップを含む。
【0008】
これらの実施形態では、比較するステップは、第１のシステムに関連する各フィーチャについて及び各統計的尺度について、基準確率分布に関する前記統計的尺度の値及び動作確率分布に関する前記統計的尺度の値から、当該フィーチャ及び統計的尺度についての距離尺度を決定するステップを含むことができる。
【0009】
これらの実施形態では、１又は複数の統計的尺度は、確率分布の尺度、確率分布の標準偏差、確率分布の密度、及び確率分布の形状を定義する１又は複数の形状パラメータのうちの任意の１又は複数を含むことができる。
【0010】
いくつかの実施形態では、複数のフィーチャに関する第１の値の組は、ＰＣＩＭを訓練するために使用された値の訓練セットであり、第１の期間は、ＰＣＩＭが第１のシステムの状態を監視する前の期間である。これらの実施形態は、ＰＣＩＭの使用中に複数のフィーチャに関する値が分析のために利用できない場合に、ＰＣＩＭの性能を監視することができるという利点を有する。
【0011】
これらの実施例では、ＰＣＩＭの基準情報が更に、訓練セットの値に基づいて第１のシステムの状態アラートを発行する際にＰＣＩＭの期待される信頼性を示す基準性能情報を含むことができ、ＰＣＩＭの動作情報は更に、第２の期間に第１のシステムの状態アラートを発行する際のＰＣＩＭの動作信頼性を示す動作性能情報を含むことができ、ドリフト尺度は更に、基準性能情報と動作性能情報との比較に基づくことができる。
【0012】
代替の実施形態では、複数のフィーチャについての第１の値の組は、ＰＣＩＭの使用中に得られた値の組であり、第１の期間は、ＰＣＩＭが第１のシステムの状態を監視している期間である。これらの実施形態は、ＰＣＩＭの性能が、ＰＣＩＭの使用中に発生した複数のフィーチャの値に基づいて監視されることができるという利点を有し、ＰＣＩＭの性能又はドリフトを評価するためのより良いベースラインを提供する。
【0013】
これらの実施例では、ＰＣＩＭの基準情報は更に、第１の期間に第１のシステムの状態アラートを発行する場合のＰＣＩＭの信頼性を示す基準性能情報を有することができ、ＰＣＩＭの動作情報は更に、第２の期間に第１のシステムの状態アラートを発行する場合のＰＣＩＭの動作信頼性を示す動作性能情報を更に含むことができ、ドリフト尺度は、基準性能情報と動作性能情報との比較に更に基づく。
【0014】
これらの実施例では、基準性能情報及び動作性能情報の各々は、真陽性率、偽陽性率、真陰性率及び偽陰性率のうちの１又は複数を含むことができる。
【0015】
いくつかの実施形態では、本方法は更に、第１のシステムに関連する１又は複数の他のフィーチャの値を取得するステップを有し、前記１又は複数の他のフィーチャは、第１のシステムのログファイルの存在、第１のシステムのコンポーネントの保証ステータス、第１のシステムによって使用されるソフトウェア又はファームウェアのバージョンのいずれかを含み、前記ドリフト尺度が更に、１又は複数の他のフィーチャの値に基づく。
【0016】
いくつかの実施形態では、方法は更に、ＰＣＩＭを分析して、ＰＣＩＭによって使用される第１のシステムに関連する複数のフィーチャを識別するステップを有する。これらの実施形態は、ＰＣＩＭが評価されることにより当該ＰＣＩＭの評価において使用されるべきフィーチャを自動的に識別することができるという利点を有する。
【0017】
いくつかの実施形態では、本方法は、ドリフト尺度を評価して、ドリフト尺度の値に寄与したフィーチャの１又は複数を識別するステップと、ドリフト尺度の値に寄与した識別された１又は複数のフィーチャを分析して、ドリフト尺度を低減するためのＰＣＩＭの動作に対する補正を決定するステップと、を更に有する。これらの実施形態は、ＰＣＩＭのドリフトの原因が識別され、ＰＣＩＭに対する修正が、ドリフトを補正するために示唆されるという利点を提供する。
【0018】
いくつかの実施形態では、この方法は、決定されたドリフト尺度を分析して、ＰＣＩＭの残存寿命を推定するステップを更に有する。
【0019】
第２の態様によれば、具現化されたコンピュータ可読コードを有するコンピュータ可読媒体を含むコンピュータプログラム製品が提供され、そのコンピュータ可読コードは、適切なコンピュータ又はプロセッサにより実行される場合に、コンピュータ又はプロセッサが第１の態様又はその任意の実施形態に従って方法を実行するように構成される。
【0020】
第３の態様によれば、第１のシステムの状態を監視するために使用されるＰＣＩＭの性能を監視する装置が提供される。ＰＣＩＭは、第１のシステムに関連する複数のフィーチャの観測値を入力として受け取り、ＰＣＩＭは、観測値に基づいて状態アラートを発行するか否かを決定する。本装置は、処理ユニットを有し、前記処理ユニットは、ＰＣＩＭに関する基準情報を取得するステップであって、ＰＣＩＭの基準情報は、第１の期間における第１のシステムに関連する複数のフィーチャについて第１の値の組を有する、ステップと、前記値の第１の組から基準確率分布の組を決定するステップであって、基準確率分布の組は、前記第１の値の組の中のそれぞれのフィーチャの値から決定される、各フィーチャのそれぞれの基準確率分布を含む、ステップと、ＰＣＩＭの動作情報を取得するステップであって、ＰＣＩＭの動作情報は、第１の期間の後の第２の期間における第１のシステムに関連する複数のフィーチャについての第２の値の組を含む、ステップと、前記第２の値の組から動作確率分布の組を決定するステップであって、前記動作確率分布の組は、前記第２の値の組の中のそれぞれのフィーチャの値から決定される、各フィーチャのそれぞれの動作確率分布を含む、ステップと、第１の期間と第２の期間との間のＰＣＩＭの性能のドリフトの尺度を表すＰＣＩＭのドリフト尺度を決定するステップであって、前記ドリフト尺度は、基準確率分布の組と動作確率分布の組との比較に基づく、ステップと、前記ドリフト尺度を出力するステップと、実行するように構成される。従って、第３の態様は、システムフィーチャの値の確率分布に基づいて、いつＰＣＩＭが正しく動作しなくなるかを識別するために、ＰＣＩＭの自動監視を提供する。
【0021】
いくつかの実施形態では、処理ユニットは、第１のシステムに関する各フィーチャについて、前記フィーチャの基準確率分布についての１又は複数の統計的尺度を、前記フィーチャの動作確率分布についての１又は複数の統計的尺度と比較することによって、ドリフト尺度を決定するように構成される。
【0022】
これらの実施形態では、処理ユニットは、第１のシステムに関連する各フィーチャについて及び各統計的尺度について、基準確率分布の統計的尺度の値及び動作確率分布の統計的尺度の値から、当該フィーチャの距離尺度及び統計的尺度を決定することによって、前記比較を行うように構成され得る。
【0023】
これらの実施形態では、１又は複数の統計的尺度は、確率分布の尺度、確率分布の標準偏差、確率分布の密度、及び確率分布の形状を定義する１又は複数の形状パラメータ、のうちの任意の１又は複数を含むことができる。
【0024】
いくつかの実施形態では、複数のフィーチャに関する第１の値の組は、ＰＣＩＭを訓練するために使用された値の訓練セットであり、第１の期間は、ＰＣＩＭが第１のシステムの状態を監視する前の期間である。これらの実施形態は、ＰＣＩＭの使用中に複数のフィーチャに関する値が分析のために利用できない場合に、ＰＣＩＭの性能を監視することができるという利点を有する。
【0025】
これらの実施例では、ＰＣＩＭの基準情報は、訓練セットの値に基づいて第１のシステムの状態アラートを発行する際のＰＣＩＭの期待される信頼性を示す基準性能情報を更に含むことができ、ＰＣＩＭの動作情報は、第２の期間において第１のシステムの状態アラートを発行する際のＰＣＩＭの動作信頼性を示す動作性能情報を更に含むことができ、ドリフト尺度は、基準性能情報と動作性能情報との比較に更に基づくことができる。
【0026】
代替の実施形態では、複数のフィーチャについての第１の値の組は、ＰＣＩＭの使用中に得られた値の組であり、第１の期間は、ＰＣＩＭが第１のシステムの状態を監視している期間である。これらの実施形態は、ＰＣＩＭの性能が、ＰＣＩＭの使用中に発生した複数のフィーチャの値に基づいて監視されることができ、ＰＣＩＭの性能又はドリフトを評価するためのより良いベースラインを提供するという利点を有する。
【0027】
これらの実施形態では、ＰＣＩＭに関する基準情報は、第１の期間において第１のシステムの状態アラートを発行する際のＰＣＩＭの信頼性を示す基準性能情報を更に含むことができ、ＰＣＩＭに関する動作情報は、第２の期間において第１のシステムの状態アラートを発行する際のＰＣＩＭの動作信頼性を示す動作性能情報を更に含むことができ、ドリフト尺度は更に、基準性能情報と動作性能情報との比較に更に基づくことができる。
【0028】
これらの実施形態では、基準性能情報及び動作性能情報の各々は、真陽性率、偽陽性率、真陰性率及び偽陰性率のうちの１又は複数を含み得る。
【0029】
いくつかの実施形態では、処理ユニットは、更に、第１のシステムに関連する１又は複数の他のフィーチャの値を得るように構成され、１又は複数の他のフィーチャは、第１のシステムのログファイルの存在、第１のシステムのコンポーネントの保証ステータス、第１のシステムによって使用されるソフトウェア又はファームウェアのバージョン、のいずれかを含み、ドリフト尺度は更に、１又は複数の他のフィーチャの値に基づく。
【0030】
いくつかの実施形態では、処理ユニットは更に、ＰＣＩＭを分析して、ＰＣＩＭによって使用される第１のシステムに関連する複数のフィーチャを識別するように更に構成される。これらの実施形態は、ＰＣＩＭの評価において使用されるべきフィーチャを自動的に識別するためにＰＣＩＭが評価されることができるという利点を有する。
【0031】
いくつかの実施形態では、処理ユニットは、ドリフト尺度を評価して、ドリフト尺度の値に寄与したフィーチャの１又は複数を識別するステップと、ドリフト尺度の値に寄与した識別された１又は複数のフィーチャを分析して、ドリフト尺度を低減するためのＰＣＩＭの動作に対する補正を決定するように構成される。これらの実施形態は、ＰＣＩＭのドリフトの原因が識別され、ドリフトを補正するためにＰＣＩＭの補正が示唆されるという利点を提供する。
【0032】
いくつかの実施形態では、処理ユニットは更に、ＰＣＩＭの残存寿命を推定するために、決定されたドリフト尺度を分析するように構成される。
【0033】
本発明のこれら及び他の態様は、以下に記載される実施形態から明らかになり、これを参照して説明される。
【0034】
例示的な実施形態は、以下の図面を参照して、単なる例示として記載される。
【図面の簡単な説明】
【0035】
【図1】システムの監視と保守における予測モデルの使用に含まれる一般的な原理を示す図。
【図2】一実施形態に係る装置を示すブロック図。
【図3】様々な実施形態による、ＰＣＩＭ監視モデルと、ＰＣＩＭの性能を監視するためにＰＣＩＭ監視モデルによって使用されることができる様々な種類の情報又はデータとを示すブロック図。
【図4】様々な実施形態によるＰＣＩＭの監視プロセスの高レベル図を提供するフロー図。
【図5】様々な実施形態によるＰＣＩＭの監視方法を示す図。
【図6】様々な実施形態によるＰＣＩＭの監視方法を示す図。
【図8】様々な実施形態による、ＰＣＩＭの性能を監視する一般的な方法を示すフローチャート。
【発明を実施するための形態】
【0036】
図１は、システムの監視及び保守における予測モデル（ＰＣＩＭ）の生成及び使用に関わる一般的な原理を示している。予測モデルを用いて任意のタイプのシステム、例えば、磁気共鳴イメージング（ＭＲＩ）、コンピュータトモグラフィ（ＣＴ）、画像誘導治療（ＩＧＴ）等を含む医療に基づくイメージングシステムが監視されることができる。理解を容易にするために、本開示では、「予測モデル」、「予測モデル」、「予測コンピュータ実現モデル」、及び「ＰＣＩＭ」という用語は、全て、ＭＲＩスキャナ又はＣＴスキャナなどのシステムの状態を監視するために使用されるモデルに関する。ＰＣＩＭは、サポートベクトルマシン（ＳＶＭ）モデル、ランダムフォレストモデル、又はロジスティック回帰モデルなど、あらゆるタイプのコンピュータ実現機械学習モデルとすることができる。
【0037】
データ２は、システムから又はシステムによって提供され、多数のフィーチャに係る値を含む。フィーチャ（又は「システムフィーチャ」）は、システムの種々の動作態様又は機能態様、例えば、エラーログ、測定ログ、１つ又は複数のセンサからの測定、ソフトウェアバージョン、ファームウェアバージョン、システム内に存在するハードウェアコンポーネントなどに関連しうる。データ２はまた、システムが経験するエラー、故障及び／又は他の問題に関する情報を含むことができる。データ２は、複数のソースから取得されることができ、予測モデルが形成されることを可能にするように十分に長い期間にわたってシステムに関する。例えば、データ２は、時間、日、週、月又は年の期間にわたってシステムに関連することができ、そのような場合は、履歴データ２と考えられることができる。
【0038】
データ２は、「データ処理」ブロック４において照合され、処理され、「モデル生成」ブロック６において予測モデルが構築され又は生成されることができるようにデータ変換を可能にする。予測モデルが生成されることで、システムパラメータの値からシステムの状態を監視（予測）することができ、また、アラートが必要であることを予測モデルが予測した場合にアラートを発することができる。予測モデルの精度は、「モデル評価」ブロック８において、履歴データ２を用いて、例えば、予測モデルが状態予測を行うことにより決定される。予測モデルの精度が許容範囲内であれば、「モデル展開」ブロック１０において、予測モデルを展開する（すなわち、使用開始する）ことができる。こうして、予測モデルは、システムの状態の監視を開始し、システムフィーチャに関する新しい値に基づいて、システムの性能に関する問題を予測する。予測モデルは、システムの問題が予測された場合、アラートを発することができる。
【0039】
予測モデルの出力を「スコアリング」することで、予測モデルの性能が評価されることができる（「モデルスコアリング」ブロック１２）。予測モデルの出力は、アラートが発行されたかどうか、システムのユーザが問題を報告したかどうか、又はシステム自体が問題を報告したかどうかに基づいて、スコアリングされることができる。上述したように、予測モデルの性能は、（履歴データ２を使用した）「モデル評価」ブロック８に従って期待されたものと同じではないことがあり、これは、予測モデルのドリフト及び／又は他の様々な理由に起因し、例えば、システムフィーチャの変化に起因し（例えば、いくつかのシステムフィーチャの値は、システムからはもはや得られないかもしれない）、及び／又は予測モデルによって使用されるシステムフィーチャに起因する。「モデルスコアリング」ブロック１２において決定された予測モデルに関する「スコア」（出力）は、システムの問題が生じたかどうか、及びいつ生じたかの情報と共に、データベース１４に格納されることができ、かかる情報は、システムのユーザ（オペレータ）によって直接報告された問題を含むことができる。予測モデルによって評価されたシステムフィーチャの値は、データベース１４に記憶されることができる。
【0040】
予測モデルの性能が経時的にドリフトする又は劣化する可能性を考慮して、予測モデルの性能の定量的な評価を提供できることが重要である。本明細書に提示される技術は、予測モデルの性能が監視されることを可能にし、かつ予測モデルの性能に関するアラートが発せられることを可能にする。本願明細書に提示される技術は、予測モデル（ＰＣＩＭ）を監視するためのモデルを効果的に提供することが理解されるであろう。ＰＣＩＭの性能を監視するモデルをここでは「ＰＣＩＭ監視モデル（PCIM monitoring model）」又は「ＰＭＭ」と呼ぶ。
【0041】
ある場合には、予測モデルの性能の定量的なメトリックとして、真陽性（True Positive、ＴＰ）、疑陽性（False Positive、ＦＰ）、遅いアラート（Late Alert、ＬＡ）、逃したアラート（Missed Alert、ＭＡ）などが利用可能であり、これらは、システムに関するアラートの発行及び問題の予測におけるＰＣＩＭの信頼性を示すため、予測モデルの性能の客観的な評価を可能にするために使用されることができる。真陽性（True Positive）（「真の陽性」又は「感度」とも呼ばれる）は、予測モデルによって生成された正確なアラートの回数であり、例えば、システムのユーザー（カスタマーなど）が、予測モデルがシステムについてのアラートを発行した１５日後に、エンジニアサポートを呼んだ回数である。偽陽性（False Positive）は、予測モデルが間違って発行されたアラートの数であり、例えば、予測モデルがアラートを発行したが、要求や苦情がシステムのユーザによって提起されなかった回数である。逃したアラート（Missed Alert）は、システムのユーザが要求又は苦情を提起したが、予測モデルがアラートを生成しなかった（最終的に、生成しなかった）回数である。最後に、遅いアラート（Late Alert）は、アラートが発行される前にシステムのユーザによって要求又は苦情が提起されたが、予測モデルがその後にアラートを生成した回数である。これらの定量的なメトリック（本明細書では「性能情報」と呼ぶ）は、ＰＣＩＭの性能の評価を可能にするために決定され、記憶され得る。特に、これらの定量的なメトリックは、ＰＣＩＭによって発行される実際のアラート、及びシステム又はＰＣＩＭのユーザによって発行される実際のアラート（例えば、システムのオペレータによるサービス要求、オペレータによるシステムの故障のログ記録など）に関する情報から決定されてもよい。ＰＣＩＭによるＴＰのレートが時間の経過と共に減少し、及び／又はＦＰ、ＬＡ、及び／又はＭＡのレートが増加する場合、これは、ＰＣＩＭの性能がドリフトしたことを示し、ＰＣＩＭに関して何らかの処置を講じる必要がありうる。
【0042】
しかしながら、予測モデルの性能に関する直接的な情報（すなわち、ＴＰ、ＦＰ、ＬＡ、ＭＡのレート）は容易に入手できないことがあり、従って、本明細書に提供される技術は、ＰＣＩＭに関する適切な情報を得ることを可能にし、ＰＣＩＭの性能がドリフトしたかどうかを決定するためにＰＣＩＭを評価することを可能にする。任意に、この評価は、ＴＰ、ＦＰ、ＬＡ、ＭＡなどの性能情報に関連して行われることができる。
【0043】
このように、ＰＭＭは、定量的アプローチを用いてＰＣＩＭの性能を監視し、つまり、ＰＣＩＭの性能に関する意思決定プロセスから主観的なバイアスを取り除くことができ、本番環境に対応した安定したＰＣＩＭの迅速な展開を支援することができる。様々な実施形態では、ＰＭＭは、ＰＣＩＭがいつ引き上げられ、交換される必要があるかの推定を含む、ＰＣＩＭの劣化に関する情報を提供することができ、性能を改善するためにＰＣＩＭに対して実行される必要がある適切な補正又は調整を示すことができる。
【0044】
技術をより詳細に説明する前に、図２に装置２２を示す。この装置は、本明細書に記載される技術の様々な実施形態を実現するために使用されることができ、特に予測コンピュータ実現モデル（ＰＣＩＭ）の性能を監視するために使用されることができる。いくつかの実施形態では、装置２２は、ＰＣＩＭを実現することもでき、すなわち、装置２２は、システムに関する複数のシステムパラメータについての観測値を受け取り、ＰＣＩＭを使用して値を評価し、必要に応じてシステムに関する状態アラートを出力することができる。
【0045】
装置２２は、処理ユニット２４及びメモリユニット２６を有する電子（例えば、コンピューティング）装置である。処理ユニット２４は、装置２２の動作を制御し及びＰＣＩＭの性能を監視するための本明細書に記載される技術を実現するように構成され又は適応される。
【0046】
処理ユニット２４は、本明細書に記載される方法を実行又は実施するように構成されることができる。処理ユニット２４は、本明細書に記載する様々な機能を実施するために、ソフトウェア及び／又はハードウェアを用いて、様々な方法で実現されることができる。処理ユニット２４は、要求される機能を実行するために、及び／又は要求される機能を実行するために処理ユニット２４のコンポーネントを制御するために、ソフトウェア又はコンピュータプログラムコードを使用してプログラムされることができる１つ又は複数のマイクロプロセッサ又はデジタル信号プロセッサを有することができる。処理ユニット２４は、いくつかの機能を実行するための専用のハードウェア（例えば、増幅器、前置増幅器、アナログ－デジタル変換器（ＡＤＣ）及び／又はデジタル－アナログ変換器（ＤＡＣ））及び他の機能を実行するためのプロセッサ（例えば、１つ又は複数のプログラムされたマイクロプロセッサ、コントローラ、ＤＳＰ及び関連回路）の組み合わせとして実現されることができる。本開示の種々の実施形態において採用され得るコンポーネントの例は、従来のマイクロプロセッサ、ＤＳＰ、特定用途向け集積回路（ＡＳＩＣ）、及びフィールドプログラマブルゲートアレイ（ＦＰＧＡ）を含むが、これらに限定されない。
【0047】
処理ユニット２４は、装置２２の動作を制御する際、及び／又は本明細書に記載される方法を実行又は実施する際に処理ユニット２４が使用するためのデータ、情報及び／又は信号を記憶できるメモリユニット２６に接続されている。一部の実現では、メモリユニット２６は、処理ユニット２４がメモリユニット２６と連動して、本明細書に記載する方法を含む１又は複数の機能を実行するように、処理ユニット２４によって実行可能なコンピュータ可読コードを記憶する。メモリユニット２６は、ランダムアクセスメモリ（ＲＡＭ）、スタティックＲＡＭ（ＳＲＡＭ）、ダイナミックＲＡＭ（ＤＲＡＭ）、リードオンリーメモリ（ＲＯＭ）、プログラマブルＲＯＭ（ＰＲＯＭ）、消去可能ＰＲＯＭ（ＥＰＲＯＭ）、電気的消去可能ＰＲＯＭ（ＥＥＰＲＯＭ）などの揮発性及び不揮発性を含むキャッシュ又はシステムメモリなどの任意のタイプの非一時的マシン可読媒体を含むことが可能であり、メモリユニット２６は、メモリチップ、光ディスク（コンパクトディスク（ＣＤ）、デジタル多用途ディスク（ＤＶＤ）、ブルーレイディスクなど）、ハードディスク、テープストレージソリューション、又はメモリスティック、ＳＳＤ（Solid State Drive）、メモリカードなどの固体デバイスの形態で実現されることも可能である。
【0048】
いくつかの実施形態又は実現例において、メモリユニット２６は、ここに記載される技術が実施されるために必要な全てのデータを記憶する。代替の実施形態では、本明細書に記載する技術に必要なデータの一部又は全部が、装置２２とは別個のデータベース又はデータ記憶ユニット２８に記憶される。この場合、装置２２、具体的には処理ユニット２４は、インターフェース回路３０を用いてデータ記憶ユニット２８に記憶されたデータにアクセスされることができる。
【0049】
いくつかの実施形態又は実現において、メモリユニット２６及び／又はデータ記憶ユニット２８は、ＰＣＩＭを生成又は訓練するために使用された履歴データ２を記憶することができる。いくつかの実施形態及び実現例において、メモリユニット２６及び／又はデータ記憶ユニット２８は、システムの問題が発生したかどうか、及びいつ問題が発生したかに関する情報（システムのユーザによって直接報告されたそれらの問題、並びに任意に予測モデルによって評価されたシステムフィーチャの値を含む）と共に、「モデルスコアリング」ブロック１２において予測モデルに関して決定された「スコア」を含むデータベース１４を記憶することができる。
【0050】
インターフェース回路３０は、サーバ、データベース（例えば、データ記憶ユニット２８）、ユーザ装置、予測モデルが監視するシステム、システムに関連する複数のシステムパラメータについて時間値を得る１又は複数のセンサのうちの任意の１又は複数を含む、他の装置へのデータ接続及び／又はデータ交換を可能にするためのものである。接続は、直接的であっても間接的であってもよく（例えば、インターネットを介して）、従って、インターフェース回路３０は、装置２２と、任意の望ましい有線又はワイヤレス通信プロトコルを介した、インターネットなどのネットワークとの間の接続を可能にすることができる。例えば、インターフェース回路３０は、ＷｉＦｉ、Ｂｌｕｅｔｏｏｔｈ、Ｚｉｇｂｅｅ、又は任意のセルラー通信プロトコル（ＧＳＭ（Global System for Mobile Communications）、ＵＭＴＳ（Universal Mobile Telecommunications System）、ＬＴＥ（Long Term Evolution）、ＬＴＥアドバンストなどを含むが、これらに限定されない）を使用して動作することができる。ワイヤレス接続の場合、インターフェース回路３０（従って、装置２２）は、伝送媒体（例えば、空気）を介して送受信するための１又は複数の適切なアンテナを有することができる。代替として、ワイヤレス接続の場合、インターフェース回路３０は、インターフェース回路３０が、伝送媒体（例えば、空気）を介して送受信するために、装置２２の外部の１つ又は複数の適切なアンテナに接続されることを可能にするための手段（例えば、コネクタ又はプラグ）を有することができる。インターフェース回路３０は、処理ユニット２４に接続されており、インターフェース回路３０によって受信された情報又はデータが、処理ユニット２４に供給され、及び／又は処理ユニット２４からの情報又はデータ（例えば、予測モデルの性能の指標）が、インターフェース回路３０によって送信されることを可能にする。
【0051】
いくつかの実施形態では、装置２２は、装置２２のユーザ（例えば、予測モデルによって監視されているシステムのエンジニア）が装置２２に情報、データ及び／又はコマンドを入力することを可能にし、及び／又は装置２２が装置２２のユーザに情報又はデータを出力することを可能にする１つ又は複数のコンポーネントを含むユーザインターフェース３２を備える。ユーザインターフェース３２は、キーボード、キーパッド、１つ又は複数のボタン、スイッチ又はダイヤル、マウス、トラックパッド、タッチスクリーン、スタイラス、カメラ、マイクなどを含む任意の適切な入力コンポーネントを有することができ、及び／又はユーザインターフェース３２は、表示スクリーン、１つ又は複数の光学装置又は光学素子、１つ又は複数のラウドスピーカ、振動素子など（これらに限定されない）を含む任意の適切な出力コンポーネントを有することができる。
【0052】
装置２２は、任意のタイプの電子装置又はコンピューティング装置でありうる。例えば、装置２２は、サーバ、コンピュータ、ラップトップ、タブレット、スマートフォン、スマートウォッチなどであってもよく、又はその一部であってもよい。幾つかの実現例では、装置２２は、予測モデルによって監視されているシステムから遠隔している。幾つかの実現例では、装置２２は、予測モデルを実現する機器又は装置から遠隔している。代替として、装置２２は、監視されるシステムの位置にあっても良く、又はかかるシステムの一部でありえ、及び／又は、装置２２は、予測モデルを実現する機器又は装置のところにありえ又はそのような機器又は装置でありうる。
【0053】
装置２２の実用的な実現例は、図２に示されているコンポーネントに追加コンポーネントを含み得ることが理解されるであろう。例えば、装置２２はまた、バッテリのような電源、又は装置２２を主電源に接続することを可能にするためのコンポーネントを有することができる。
【0054】
図３は、様々な実施形態に従うＰＣＩＭの性能を監視するためにＰＭＭが使用することができるＰＭＭ及び様々な種類の情報又はデータを示すブロック図である。ＰＭＭ４０は、単一のブロックとして示され、ＰＭＭ４０の動作の他の詳細は、後続の図面を参照して以下に提供される。本明細書に記載される技術の全ての実施形態において、ＰＭＭ４０は、ＰＣＩＭがシステムの状態を判定するために使用される、システムフィーチャに関する時系列の値を使用する。この時系列の値は、動作情報データベース４２に記憶される。システムフィーチャの時系列の値は、得られたまま（例えば、それらが測定されたまま、及び／又はそれらがＰＣＩＭに入力されたまま）ＰＭＭ４０によって受信され得るか、又はそれらは、後の段階でＰＭＭ４０によって取り出されることができる。いずれの場合も、動作情報データベース４２内のシステムフィーチャに関する時系列の値は、ＰＣＩＭが使用されてシステムを監視している期間に関係する。システムフィーチャは、システムの種々の動作又は機能面、例えば、エラーログ、測定ログ、１つ又は複数のセンサからの測定、ソフトウェアバージョン、ファームウェアバージョン、システム内に存在するハードウェアコンポーネントなどに関することができる。
【0055】
いくつかの実施形態では、ＰＭＭ４０は、動作情報データベース４２に格納された時系列の値が関連する期間中、ＰＣＩＭによって予測されるアラート又は問題に関する情報を受信する。この情報は、アラート情報データベース４４に記憶され、「予測アラート情報」又は「予測アラートに関する情報」と呼ばれる。データベース４４内の情報は、データベース４２に記憶された時系列の値が関連する期間中にシステムのオペレータ又はユーザによって提起されたアラート又は問題に関する情報も付加的に又は代替的に含むことができる。オペレータ又はユーザが提起したアラート又は問題に関する情報は、ここでは「実際のアラート情報」又は「実際のアラートに関する情報」と呼ぶ。アラート情報データベース４４内の情報は、ＰＣＩＭ４０によって発行されたアラートの信頼性に関する情報、例えば、動作データデータベース４２に記憶された時系列の値が関連する期間中のＴＰ、ＦＰ、ＬＡ及び／又はＭＡのレートに関する情報を、付加的に又は代替的に含むことができる。
【0056】
いくつかの実施形態において、ＰＭＭ４０は更に、ＰＣＩＭを訓練又は生成するために使用された訓練データ２を利用する。訓練データ２は、特定の期間中のシステムフィーチャの値に関連し、アラート、故障などのシステムの問題に関する情報と、システムのオペレータ又はユーザによって提起され又はフラグ付けされた問題、例えばサービスコール、ハードウェアコンポーネントの交換などに関する情報を含むこともできる。いくつかの実施形態では、訓練データ２は、また、システムの問題を予測し及びアラートを生成する場合に訓練済みＰＣＩＭから期待される信頼性に関する情報を有することができる。この情報は、ＴＰ、ＦＰ、ＬＡ及び／又はＭＡの期待されるレートのいずれであってもよい。
【0057】
訓練データ２、動作情報データベース４２及びアラート情報データベース４４がそれぞれ別個のデータベースとして示されているが、訓練データ２、動作情報データベース４２及びアラート情報データベース４４のうち任意の２つ又は全てを、同一の物理メモリユニット（例えば、メモリユニット２６又はデータ記憶ユニット２８）内又は上に記憶することができることが理解される。
【0058】
図４は、本明細書に記載される技術の実施形態によるＰＣＩＭの監視プロセスの高レベル図を提供するフロー図である。このプロセスの少なくとも一部は、装置２２によって実施されることができる。ブロック５２は、予測モデル（ＰＣＩＭ）を表す。ＰＣＩＭ５２に関する情報は、ＰＭＭ４０に提供され、その第１のブロックがブロック５４として示されている。ＰＣＩＭ５２に関する情報は、第１の期間及び（その後の）第２の期間中のＰＣＩＭ５２に関連付けることができる。第１の期間は、例えば、１日、数日、１週間、数週間、１か月又は数か月のような、任意の適切な長さを有することができる。第２の期間もまた、例えば、１日、数日、１週間、数週間、１か月又は数か月のような、任意の適切な長さを有することができる。
【0059】
ブロック５４に提供される第２の期間に関するＰＣＩＭ５２の情報は、動作情報データベース４２に記憶されたシステムフィーチャの時系列の値の少なくとも一部を含む。第２の期間中のシステムフィーチャの時系列の値は、本明細書では「動作情報」と呼ばれ、ＰＣＩＭ５２のより最近の又は最も最近の動作期間に関連するシステムフィーチャの値である。動作情報は、動作情報が生成されてＰＣＩＭ５２に入力されるときにブロック５４によって受信されてもよく、あるいは、後で動作情報データベース４２から取得されてもよい。
【0060】
第１の期間に関するＰＣＩＭ５２の情報は、ここでは「基準情報」と呼ばれる。好ましい実施形態では、基準情報は、第２の期間よりも早い期間に関連する動作情報データベース４２に記憶された情報の一部であり、この場合、第１の期間は、ＰＣＩＭ５２が作動していてシステムを監視している期間である。代替実施形態では、基準情報は訓練データ２であり、この場合、第１の期間は、ＰＣＩＭ５２が訓練されて作動する前の期間である。
【0061】
ブロック５４に提供されるＰＣＩＭ５２に関する情報には、ＰＣＩＭ５２によって発行されたアラートに関する情報（すなわち、予測アラート情報）、システムのユーザによって提起された問い合わせ又は問題に関する情報、例えば、システムのオペレータによる障害の報告、システムのオペレータによる新しいハードウェアコンポーネントの発注など（すなわち、実際のアラート情報）を含む、第１の期間及び第２の期間中にシステムによって経験されたエラー、障害及び／又はその他の問題に関する情報も含まれ得る。
【0062】
ブロック５４では、ＰＭＭ４０は、基準情報内のシステムフィーチャの値から、システムフィーチャのそれぞれに対する確率分布を決定し、動作情報内のシステムフィーチャの値から、システムフィーチャのそれぞれに対する確率分布を決定する。確率分布は、それぞれ、第１／第２の期間において、それぞれのシステムフィーチャの特定の値を観察する確率を表し、システムフィーチャの値の傾向を示すことができる。
【0063】
確率分布は、第２のＰＭＭブロック５６によって使用され、ＰＣＩＭ５２の性能が所望の性能からドリフトしたかどうかを、特に、第１の期間と第２の期間の確率分布を比較することによって決定される。この比較は、ＰＣＩＭ５２の性能のドリフト量を示すドリフト尺度を提供する。このブロック５６は、ＰＣＩＭ５２に入力されるシステムフィーチャの値の統計的特性の変化が識別されることを可能にする。
【0064】
任意のブロック５８では、ＰＣＩＭ５２内のドリフト又は十分なドリフトが検出された場合、ＰＭＭ４０は、ドリフトの１又は複数の原因（例えば、システムのハードウェアコンポーネントが故障している、センサが不正確な測定を提供している、ＰＣＩＭの構造又は設定がシステムの現在のバージョンなどに対してもはや適切でない）を判断し、１又は複数の原因の標示を出力し、ドリフトを補正するための推奨アクション（例えば、ハードウェアコンポーネントの交換、センサの較正、又はＰＣＩＭの交換など）を出力することができる。
【0065】
いくつかの実施形態では、予測されるアラート情報及び実際のアラート情報を使用して、ＰＣＩＭ５２の性能が評価されることができる。これは、ＰＣＩＭ５２が最初に生成され及び／又は配置されてから、ＰＣＩＭ５２に入力されるシステムフィーチャの値の統計的特性が実質的に変化していない場合（例えば、ＰＣＩＭ５２に入力される値が同じ制限内である場合）、特に有用であり得る。予測されるアラート情報と実際のアラート情報から、ＰＣＩＭの性能を示す次のメトリックが計算されることができる。
【0066】
真陽性（ＴＰ）：真陽性は、ＰＣＩＭ５２によって生成される正しいアラートの数である。システムに関連付けられたカスタマ又は他の人（オペレータ又はエンジニアなど）が、アラートに関連付けられた「予測ウィンドウ」（つまり、ＰＣＩＭ５２がシステムに関する問題が発生することを予測する期間）内にアラートを提起する場合であって、提起された実際のアラートがＰＣＩＭ５２によって予測される同じ問題を示す場合に、予測されるアラートは真とみなされる。更に、カスタマ又は他の人により提起されたアラート（例えば、コンピュータシステムのサービスケース記録を閉じることで表示できる）を解決した後、アラートにつながった問題が既に解決されている必要がある。これは、システムのログファイルと、関連するカスタマーアラートのカスタマーアラートデータベースを確認することで確認できる。言い換えると、ＴＰは、特定の（予測）ウィンドウ内のカスタマーコール（実際のアラート）に対応付けられるマッピングするモデルによって生成される予測アラートの数に関連している。
【0067】
疑陽性（False Positive、ＦＰ）：ＰＣＩＭ５２によって提起されたアラートの後に、予測ウィンドウ内に、顧客又はシステムの他のユーザからの実際のアラートが続かない場合、ＰＣＩＭ５２によって予測されたアラートは偽とみなされる。
【0068】
逃したアラート（Missed Alert、ＭＡ）：ここでは、実際のアラートがシステムの顧客又は他のユーザによって提起されたが、ＰＣＩＭ５２は、予測ウィンドウ内に対応するアラートを生成又は予測しなかった。
【0069】
遅いアラート（Late Alert、ＬＡ）：ここでは、システムのカスタマ又は他のユーザによって実際のアラートが提起されたが、ＰＣＩＭ５２は、実際のアラートが提起されるまでアラートを予測しなかった。これにより、問題が発生するのを防ぐための事前の動作がとられたり、問題を解決するためにかかる時間が短縮されたりすることが防止された。
【0070】
理想的には、ＰＣＩＭ５２は、高い比率の真陽性、及びずっと低い比率の逃したアラートと疑陽性を生成しなければならない。
【0071】
従って、特定の実施形態では、予測モデル５２の健全性を評価するために、ＰＣＩＭ５２によって生成される予測アラートの数と、大量のＴＰを提供する際の一貫性と共に、これらのメトリックが、ＰＭＭ４０によって評価される。ＴＰ、ＦＰ、ＭＡ及び／又はＬＡの傾向に許容限度外の変化がある場合、これはＰＣＩＭ５２の性能が不満足であることを示すことができ、ＰＣＩＭ５２は、調整又は交換を必要としうる。
【0072】
各ＰＣＩＭ５２の傾向は、ユニークであり、システムを監視するその動作中にＰＣＩＭ５２を観察し、この傾向をＰＣＩＭ５２のベースラインとして設定することによって導出されることができるか、又はＰＣＩＭ５２が生成される際にベースラインが決定され又は予め決められることができる。
【0073】
減少が期待されていないときに、ＰＣＩＭ５２によって予測されるアラートの数の減少又は継続的な減少がある場合（一部の予測モデルでは設計によってアラート数が経時的に減少する）、考慮すべきいくつかのケースがある。第一に、監視されているシステムに対するＰＣＩＭ５２の接続に問題がありえ、この場合、ＰＣＩＭ５２の観点から、正しいログのようなシステムフィーチャの値が逃されることがある。第二に、ＰＣＩＭ５２がそのようなログを逃すことを引き起こし得るログの表現及び／又は内容の変更があった可能性のあるシステムのソフトウェア及び／又はファームウェアに変更が加えられた可能性がある。第三に、システム又はシステムの一部（ハードウェアコンポーネントなど）は、もはや保証期間内になく、そのシステム又はその一部に関するアラートが、もはや重要でなくなることがある。第４に、ＰＣＩＭ５２の開発中に存在したシステムは、寿命が終わった可能性がある。これらの要素は重要であり、ＰＣＩＭ５２がタスクを行うよう設計されている当該タスクを実行していることを確認するために、時々評価される必要がある。
【0074】
従って、上述の測定基準、及び第１の期間のシステムフィーチャに関連する確率分布は、ＰＭＭ４０が、システムを監視するＰＣＩＭ５２の性能が低下しているか否かの決定を行うことを可能にするために、定量的に測定されるか、又は決定される必要がある。上述したように、いくつかの実施形態では、ＰＣＩＭ５２に関連する基準情報は、システムを監視するＰＣＩＭ５２の動作中にＰＣＩＭ５２に入力されるシステムフィーチャの値、及びオプションとして、実際のアラート及び予測アラートに関する情報を含むことができる。これらの実施形態では、この基準情報は、「グランドトゥルース度」（ＧＴ）情報と呼ばれる。
【0075】
図５のフローチャートは、本明細書に記載される技術の様々な実施形態によるＰＣＩＭ５２の監視を示す。また、図６のフローチャートは、本明細書に記載される技術の様々な実施形態によるＰＣＩＭ５２の監視を示す。図５及び図６の方法は、概して互いに対応しており（ただし、図６では、より詳細なレベルでステップが示されているが）、概して図４のフロー図に対応している。図５又は図６のいずれかの方法のステップのうちの１つ又は複数は、適宜、メモリユニット２６、インターフェース回路３０及びユーザインターフェース３２のいずれかと関連して、装置２２内の処理ユニット２４によって実行されることができる。処理ユニット２４は、例えばメモリユニット２６のようなコンピュータ可読媒体に記憶されることができるコンピュータプログラムコードの実行に応答して、１又は複数のステップを実行することができる。
【0076】
図５のブロック４０１及び図６のブロック５０１は、ＰＣＩＭ５２に対応しており、そのようなものは、図示された方法の一部を形成しない。その代わりに、これらのブロックは、ＰＣＩＭ５２の出力とシステムフィーチャの値が提供されるステップを示すために使用される。
【0077】
ＰＣＩＭ５２が検証され配備されると（図１のブロック１０）、ＰＣＩＭ５２はアラートの生成を開始する。これらのアラートは、ＰＣＩＭ５２に関する情報と、このアラートの理由をサポートする又は提供するシステムの一部のシステムフィーチャの値とを包含する。有用なグランドトゥルース値情報を確立するために、ＰＣＩＭ５２が監視されているシステムについてのアラートを発行することにつながる可能性のあるシステムフィーチャの値を得ることが重要である。従って、ＰＭＭ４０は、これらのシステムフィーチャを識別し、又はＰＣＩＭ５２からシステムフィーチャの名称を抽出することができ（図６のステップ５０２）、ＰＣＩＭ５２が配備されている間、一定期間（第１の期間）にわたって、（少なくとも）これらのシステムフィーチャの値を得ることができる。時系列の値は、１か月以上、例えば約６か月のように、十分に長い期間にわたって取得されることができ、ＰＣＩＭ５２の性能は、第１の期間中良好（又は少なくとも十分）であると仮定される。これはまた、図５のステップ４０３に対応する。
【0078】
グランドトゥルース値情報が収集されると、（図５のステップ４０３及び図６のステップ５０４において更に）統計的尺度が決定されることができる。決定されることができるいくつかの統計的尺度の例には、平均値、標準偏差及び頻度（密度）が含まれる。
【0079】
メトリックＴＰ、ＦＰ、ＭＡ、及びＬＡの値もまた、第１の期間中に決定されることができる。これは、図５のステップ４０２及び図６のステップ５０３に対応する。これらのメトリックは、ＰＣＩＭ５２の性能の傾向を表す。いくつかの実施形態では、ＰＣＩＭ５２によって毎日提起される新しいアラートの数が観察されることができ、新しいアラートの数の期待値が設定されることができる。例えば、設計上、アラートの数／日が時間の経過と共に減少するＰＣＩＭ５２があり、一方で、他のいくつかのＰＣＩＭ５２では、これはＰＣＩＭ５２の性能のドリフトを示すことがある。
【0080】
グランドトゥルース値情報の収集の一部は、図５のステップ４０３及び図６のステップ５０４に示されるように、システムフィーチャに関する確率分布（すなわち、グランドトゥルース値データ収集期間にわたるシステムフィーチャの値の確率分布）の計算であり得る。統計的尺度は、これらの確率分布から算出されることができる。
【0081】
ステップ５０２では、グランドトゥルース情報は利用できないので、ＰＣＩＭ５２は、該ＰＣＩＭ５２によって使用されるシステムフィーチャを決定するために分析される。これらのシステムフィーチャは、ＰＣＩＭ５２を実現するコンピュータファイルを分析することによって識別されることができる。次いで、これらのシステムフィーチャに関する値が、第１の期間にわたって取得されることができる。
【0082】
ステップ５０３では、グランドトゥルース値情報（ＧＴ情報）が利用可能であるか、又はＰＣＩＭ５２について識別されたシステムフィーチャが識別されることができ、識別されたシステムフィーチャが、グランドトゥルース情報を生成するために使用されることができる。このステップでは、ＰＣＩＭ５２の性能に関する情報、例えば、実際のアラート対予測されたアラート、又はＴＰ、ＦＰ、ＭＡ及び／又はＬＡのレートに関する情報が利用可能であり又は計算可能であるので、ＰＣＩＭ５２の性能が抽出されることができる。
【0083】
グランドトゥルース値の収集の後、ＰＣＩＭ５２を監視するプロセスは、確立されたグランドトゥルース値情報（及びＧＴ情報に表現されたグランドトゥルース値パターン）によりＰＣＩＭ５２の性能を追跡することによって、開始されることができる。パターンからの著しい逸脱は、モデルドリフトとして理解されることができ、次のステップは、ドリフトの発生源を特定することでありうる。ＰＣＩＭ５２の性能は、ＰＣＩＭ５２が動作中である場合にシステムフィーチャの値を得ることによって追跡される。上述のように、これらの値は第２の期間中に得られる。確率分布及び関連する統計的尺度は、第２の期間中に得られた値から決定される。
【0084】
上述したように、図５のステップ４０３及び図６のステップ５０４において、確率分布が、１又は複数のシステムフィーチャの値について決定され、統計的尺度は、これらの確率分布から決定され得る。確率分布と統計的尺度は、第１の期間中に得られた値と、第２の期間中に得られた値とに分けて決定される。
【0085】
特定のシステムフィーチャの統計的尺度を求めるために、関連する期間の特定のシステムフィーチャの時系列の値が得られ、確率分布に関して、システムフィーチャの値に対して最良フィットを提供するテストが行われる。各システムフィーチャについて、システムフィーチャの値の分布は、多くの既知のタイプの分布（ベータ、対数正規、正規、ガンマ、ワイブルなど）についてテストを受け、最良フィットを呈する既知のタイプの分布は、ＱＱｐｌｏｔに基づいて選択される。ＱＱプロットの最良フィットは、値の分布における実際のデータ点と、値の分布におけるフィットされたデータ点との間で最小二乗値が最も低いものであると考えられる。分布が確定されると、分布を定義する統計的尺度が抽出される。例えば、特定のシステムフィーチャの値がベータ分布に従うと決定されたとする。次いで、以下の計算が実施され、このシステムフィーチャの統計的尺度が決定される。第１の期間にわたるシステムフィーチャ値から決定された統計的尺度は、システムフィーチャのベースラインを形成する。
【0086】
システムフィーチャｘの確率密度関数（probability density function、ＰＤＦ）は：
であり、ここで、α及びβは、システムフィーチャの値の分布を持つＰＤＦに対する最良フィットを得るために調整される形状パラメータであり、Γはガンマ関数であり、ａは変数ｘの下限であり、ｂは変数ｘの上限である。
【0087】
ａ＝０かつｂ＝１の場合、ＰＤＦは以下である：
平均（mean）は次式で与えられる：
分散（variance）は次式で与えられる：
【0088】
同様に、ＰＣＩＭ５２の全てのフィーチャについて、分布及び対応する統計的尺度（平均、ガンマ関数、形状パラメータの値など）が計算され、記憶される。システムフィーチャの新しい値の組がＰＭＭ４０によって受信されると（例えば、ＰＣＩＭ５２が作動されてから発生したシステムフィーチャの値）、（図５のステップ４０３及び図６のステップ５０４で示されるように）第１の期間中のシステムフィーチャの値の確率分布／統計的尺度と、システムフィーチャの新しい受信値の組の確率分布／統計的尺度との間の偏差を求めるために距離メトリックが計算される。つまり、確率分布／統計的尺度が互いに類似しているかどうかが決定される。これは、図５のステップ４０４で実行され、図６のステップ５０５に対応する。
【0089】
一般的な距離尺度は、次のように規定されることができる：
ここで、「ｙ」は、第１の期間（すなわち、グランドトゥルース値情報）にわたって得られた値のＰＤＦであり、「ｚ」は、第２の期間（すなわち、ＰＣＩＭ５２が動作中であるとき）にわたって得られた値のＰＤＦである。「ｐ」の値が異なると、異なる距離メトリックが計算される。例えば、ｐ＝１はマンハッタン距離、ｐ＝２はユークリッド距離などである。
【0090】
図７は、図４のブロック５６及び図５のステップ４０４におけるＰＣＩＭ５２のドリフトを決定するために使用され得る様々な入力を示す。１又は複数のシステムフィーチャの距離値ｄｐ（ブロック７０によって示される）が、ドリフトを決定するために使用される。任意には、ＰＣＩＭ５２の性能の定量的尺度（例えば、ＴＰ、ＦＰ、ＬＡ、及びＭＡ）が更に、ＰＣＩＭ５２の性能のドリフトを決定するために使用される。定量的尺度は、ブロック７２によって表される。任意には、ブロック７４によって示されるように、１又は複数の他のシステムフィーチャの情報又は値が、ドリフトを判定するために使用されることができる。これらの付加のシステムフィーチャには、システムのログファイルの有無、システムのコンポーネントの保証ステータス、システムで使用されるソフトウェアやファームウェアのバージョンなどがある。これらの他のシステムフィーチャは、システムを監視する１つ又は複数のセンサによって得られるものなど、上述したより動的なシステムフィーチャよりもむしろ、システムのゆっくりと変化するフィーチャに関連するので、「メタフィーチャ」とみなすことができる。これらの他のシステムフィーチャは、図５のステップ４０６において得られる。
【0091】
ブロック５６／ステップ４０４では、上記入力を回帰モデルのフィーチャ値とみなし、グランドトゥルース性能からＰＣＩＭ５２のドリフト量を表すドリフト値の形式の出力を提供する回帰モデルを用いることで、ドリフトが推定され又は決定されることができる。ブロック５６／ステップ４０４は、ＰＣＩＭ５２の性能が継続的に評価されることを可能にするドリフト値の連続した出力を提供することができる。
【0092】
図５のステップ４０４又は図６のステップ５０５において、ＰＣＩＭ５２のドリフトが低い（例えば、閾値を下回る）場合、ＰＣＩＭ５２が意図した通りに動作している又は作動していると判定されることができる（図６のステップ５０６）。しかしながら、ＰＣＩＭ５２のドリフトが高すぎる場合（例えば、閾値を上回る場合）、任意には、ドリフトの原因が、図５のステップ４０５及び図６のステップ５０７及び５０８において決定されることができ、ＰＣＩＭ５２に関する問題を改善するためのアクションが提供されることができる（図４のブロック５８、図５のステップ４０６及び４０７、並びに図６のステップ５０９及び５１０）。付加的に又は代替的に、ＰＣＩＭ５２の性能がドリフトしていることを示すアラートが、ＰＣＩＭ５２の開発者又は他の関係者に発行され又は送信されてもよい。アラートは更に、修理、調整、又は交換が必要になる前にＰＣＩＭ５２を使用できる残り時間の推定値を示すこともできる。
【0093】
ブロック５８／ステップ４０５／ステップ５０８は、ブロック５６によって提供されるドリフト値及びシステムフィーチャの値を考慮して、ドリフトの理由を評価する。特に、ドリフトしたシステムフィーチャが識別されることができ、これらのシステムフィーチャ、又は、システムフィーチャが関連するシステムの態様が、ドリフトの理由として提供されることができる。任意には、ドリフトの理由が、ＰＣＩＭ５２の開発者又は他の関係者に出力されることができる。
【0094】
ブロック５８／ステップ４０７／ステップ５１０において、ドリフトの原因として識別された１又は複数のシステムフィーチャを調整（例えば、微調整）するための提案又は推奨事項が提供されることができる。これらの調整は、１又は複数のシステムフィーチャがＰＣＩＭ５２によってどのように処理されるかに関連しうる。例えば、問題がログファイルの変更に関連する場合、調整は、ＰＣＩＭ５２によってシステムフィーチャがどのように構文分析されるかに関連しうる。いくつかの実施形態では、これらの調整は、ＰＭＭ４０によって自動的に実施され得る。例えば、ＰＭＭ４０は、ログファイルが変更されたことが分かった場合に、ログファイル構文分析構造を調整し又は調整を引き起こしたりすることができる。別の例として、システムフィーチャの値が異なる形式で記録される場合、ＰＭＭ４０は、値を元のスケールに戻すように再スケールすることができる。
【0095】
図８のフローチャートは、本明細書に記載される技術に従ってＰＣＩＭ５２の性能を監視する一般的な方法を示す。図８の方法のステップのうちの１つ又は複数は、適宜、メモリユニット２６、インターフェース回路３０及びユーザインターフェース３２のいずれかと関連して、装置２２内の処理ユニット２４によって実行されることができる。処理ユニット２４は、例えばメモリユニット２６のようなコンピュータ可読媒体に記憶されることができるコンピュータプログラムコードの実行に応答して、１又は複数のステップを実行することができる。
【0096】
第１のステップであるステップ８０１において、ＰＣＩＭ５２の基準情報が得られる。上述したように、基準情報は、第１の期間中のシステムに関連する複数のシステムフィーチャの値の組を含む。
【0097】
好ましくは、第１の期間は、ＰＣＩＭ５２が配備されてシステムを監視する期間である。その場合、システムフィーチャの値の組（基準情報）は、ＰＣＩＭ５２に入力され、ＰＣＩＭ５２によってシステムの状態を決定するために使用される。いくつかの例では、基準情報は、ＰＣＩＭ５２が使用されている最初の６か月の間に得られたシステムフィーチャの値であり得る。これは、ＰＣＩＭ５２がこの期間中は正しく動作していると仮定することができるからである。
【0098】
いくつかの実施形態では、ＰＣＩＭの基準情報は、第１の期間中に第１のシステムに関する状態アラートを発行する際のＰＣＩＭの信頼性を示す基準性能情報を更に含む。基準性能情報は、真陽性率、疑陽性率、真陰性率、及び偽陰性率のうちの１つ又は複数を含むことができる。代替として、基準性能情報は、ＰＣＩＭ５２によって第１の期間に予測されたアラート又は問題に関する情報である予測アラート情報と、実際のアラート又はシステムのユーザによって第１の期間に提起された問題に関する情報である実際のアラート情報とを含むことができる。
【0099】
代替実施形態では、基準情報は、ＰＣＩＭ５２を訓練するために使用されたシステムフィーチャの値の訓練セットである。この場合、第１の期間は、ＰＣＩＭ５２の配備前の期間であり、訓練セット内のシステムフィーチャの値にまたがる期間である。これらの実施形態では、ＰＣＩＭ５２の基準情報は、訓練セットの値に基づいてシステムに関する状態アラートを発行する際のＰＣＩＭ５２の期待される信頼性を示す基準性能情報を更に含むことができる。言い換えれば、基準性能情報は、ＰＣＩＭ５２が達成するように訓練された信頼性を示すことができる。基準性能情報は、真陽性率、疑陽性率、真陰性率、及び偽陰性率のうちの１つ又は複数を含むことができる。
【0100】
ステップ８０３では、基準確率分布の組が、第１の値の組から決定される。基準確率分布の組は、システムフィーチャの各々についてのそれぞれの基準確率分布を含み、各確率分布は、第１の値の組におけるそれぞれのシステムフィーチャの値から決定される。確率分布は、図５のステップ４０３及び図６のステップ５０４を参照して上述したように決定されることができる。
【0101】
次に、ステップ８０５において、ＰＣＩＭ５２の動作情報が得られる。ＰＣＩＭ５２の動作情報は、第１の期間の後の第２の期間中の、システムに関する複数のシステムフィーチャの値の組を含む。第２の期間は、ＰＣＩＭ５２が動作していてシステムの状態を監視している期間である。第２の期間は、第１の期間の直後であってもよく、又は（特に基準情報がＰＣＩＭ５２の訓練データである場合）、第２の期間は、第１の期間の後のどこかの時間であってもよい。
【0102】
基準情報が基準性能情報を含む実施形態において、ＰＣＩＭ５２の動作情報は、第２の期間においてシステムの状態アラートを発行する際のＰＣＩＭ５２の動作信頼性を示す動作性能情報を更に含むことができる。動作性能情報は、真陽性率、疑陽性率、真陰性率、及び疑陽性率のうちの１つ又は複数を含むことができる。代替として、動作性能情報は、第２の期間中にＰＣＩＭ５２によって予測されたアラート又は問題に関する情報である予測アラート情報と、第２の期間中にシステムのユーザによって提起された実際のアラート又は問題に関する情報である実際のアラート情報とを含むことができる。
【0103】
ステップ８０７では、ステップ８０５で得られた値の組から動作確率分布の組が決定される。動作確率分布の組は、第２の期間におけるそれぞれのシステムフィーチャの値から決定される、各システムフィーチャについてのそれぞれの動作確率分布を含む。確率分布は、図５のステップ４０３及び図６のステップ５０４を参照して上述したように決定されることができる。
【0104】
いくつかの実施形態では、ステップ８０１及び８０３は、第２の期間より前に、従ってＰＣＩＭ５２の性能が評価されるより前に、実行され得ることが理解されるであろう。他の実施形態では、ＰＣＩＭ５２の性能が評価されることができる場合に、ステップ８０１～８０７が実行されることができる。
【0105】
次に、ステップ８０９において、第１の期間と第２の期間との間のＰＣＩＭ５２の性能のドリフトの尺度を表すＰＣＩＭ５２のドリフト尺度が決定される。ドリフト尺度は、基準確率分布の組と動作確率分布の組との比較に基づいている。ドリフト尺度は、図５のステップ４０４及び図６のステップ５０５ー５０８を参照して上述したように決定されることができる。
【0106】
いくつかの実施形態では、ステップ８０９は、各システムフィーチャについて、それぞれの基準確率分布の１又は複数の統計的尺度を、それぞれの動作確率分布の１又は複数の統計的尺度と比較するステップを含む。図５のステップ４０３及び図６のステップ５０４に関して上述したように、統計的尺度は、確率分布の平均、確率分布の標準偏差、確率分布の密度、及び確率分布の形状を規定する１又は複数の形状パラメータのうちの任意の１又は複数であり得る。いくつかの実施形態では、統計的尺度は、或るシステムフィーチャについての基準確率分布の統計的尺度の値と、当該ステムフィーチャについての動作確率分布の統計的尺度の値とから、当該システムフィーチャの距離尺度を決定することによって比較される。距離尺度は、式（５）を参照して上述したように決定されることができる。
【0107】
基準情報及び動作情報が性能情報を含む実施形態では、ステップ８０９で決定されるドリフト尺度は更に、基準性能情報と動作性能情報との比較（例えば、第１の期間におけるＴＰレートと第２の期間におけるＴＰレートとの比較）に基づくことができる。
【0108】
ステップ８１１では、ドリフト尺度が出力される。例えば、ドリフト尺度は、ＰＣＩＭ５２のオペレータ又は開発者に出力されることができる。付加的に又は代替的に、ドリフト尺度は、ドリフトの理由が決定される後続のステップに出力されることができる。
【0109】
いくつかの実施形態では、本方法は更に、システムに関する１又は複数の他のフィーチャ（メタフィーチャ）の値を得るステップを含むことができ、他のフィーチャは、システムのログファイルの存在、システムのコンポーネントの保証ステータス、又はシステムによって使用されるソフトウェア又はファームウェアのバージョンのいずれかを含む。これは、図５のステップ４０６に対応する。これらの実施形態では、ドリフト尺度は更に、図７を参照して上述したように、１又は複数の他のフィーチャの値に基づく。
【0110】
いくつかの実施形態では、ＰＭＭ４０は、最初はＰＣＩＭ５２又はＰＣＩＭ５２によって監視されているシステムに関する情報を有しておらず、この場合、ＰＭＭ４０は、基準情報を得るために、ＰＣＩＭ５２によって監視されているシステムフィーチャを決定する必要がある。従って、ステップ８０１の前に、本方法は、ＰＣＩＭ５２を分析して、ＰＣＩＭ５２によって使用されるシステムに関する複数のシステムフィーチャを識別することを更に含むことができる。このステップは、ＰＣＩＭ５２に関連するコンピュータファイルを分析して、ＰＣＩＭ５２への入力として使用されるシステムフィーチャを識別することを含むことができる。
【0111】
ステップ８０９の後のいくつかの実施形態では、本方法は、ドリフト尺度を評価してドリフト尺度の値に寄与した１又は複数のシステムフィーチャを識別するステップを更に有する。これは、図６のステップ５０８に対応する。ドリフト尺度の値に寄与したと識別された１又は複数のシステムフィーチャを分析して、ドリフト尺度を低減するためのＰＣＩＭ５２の動作に関する補正を決定することができる。これは、図５のステップ４０７に対応する。実施形態では、この方法は、ＰＣＩＭ５２の残存寿命を推定するために、決定されたドリフト尺度を分析することを更に含むことができる。
【0112】
従って、主題の専門家又は他の人が予測モデルの性能を手作業でレビューする必要なしに、予測モデルの性能を自動的にモニタリングする技術が提供される。特定の実施形態において、予測モデルの性能におけるドリフト又は劣化が識別された場合に、予測モデルに対する適切な補正を識別し、また実施することが可能である。
【0113】
開示された実施形態に対する変形は、図面、開示、及び添付の特許請求の範囲の検討から、本明細書に記載された原理及び技法を実施する際に当業者によって理解され、実施されることができる。請求項において、「有する、含む（comprising）」の語は、他の構成要素又はステップを排除せず不定冠詞「a」又は「an」は、複数性を排除しない。単一のプロセッサ又は他のユニットは、特許請求の範囲に列挙されるいくつかのアイテムの機能を満たすことができる。特定の手段が相互に異なる従属請求項に記載されているという単なる事実は、これらの手段の組み合わせが有利に使用されることができないことを示すものではない。コンピュータプログラムは、他のハードウェアと一緒に、又はその一部として供給される光記憶媒体又はソリッドステート媒体などの適切な媒体上に記憶され又は配布されることができるが、インターネット又は他の有線もしくはワイヤレス電気通信システムなどを介して、他の形態で配布されることもできる。請求項におけるいかなる参照符号も、その範囲を限定するものとして解釈されるべきではない。
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【国際調査報告】