特開 2022-189805 コンピュータ実装方法、情報処理システム、コンピュータプログラム（ＩＴ環境向けのアノマリ検出ドメインにおけるパフォーマンスモニタリング）

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2022189805

(43)【公開日】2022-12-22

(54)【発明の名称】コンピュータ実装方法、情報処理システム、コンピュータプログラム（ＩＴ環境向けのアノマリ検出ドメインにおけるパフォーマンスモニタリング）

(51)【国際特許分類】

   G06F 11/07 20060101AFI20221215BHJP

   G06F 16/903 20190101ALI20221215BHJP

【ＦＩ】

G06F11/07 151

G06F16/903

【審査請求】未請求

【請求項の数】20

【出願形態】ＯＬ

(21)【出願番号】P 2022094053

(22)【出願日】2022-06-10

(31)【優先権主張番号】17/344,751

(32)【優先日】2021-06-10

(33)【優先権主張国・地域又は機関】US

(71)【出願人】

【識別番号】390009531

【氏名又は名称】インターナショナル・ビジネス・マシーンズ・コーポレーション

【氏名又は名称原語表記】ＩＮＴＥＲＮＡＴＩＯＮＡＬ ＢＵＳＩＮＥＳＳ ＭＡＣＨＩＮＥＳ ＣＯＲＰＯＲＡＴＩＯＮ

【住所又は居所原語表記】Ｎｅｗ Ｏｒｃｈａｒｄ Ｒｏａｄ， Ａｒｍｏｎｋ， Ｎｅｗ Ｙｏｒｋ １０５０４， Ｕｎｉｔｅｄ Ｓｔａｔｅｓ ｏｆ Ａｍｅｒｉｃａ

(74)【代理人】

【識別番号】100112690

【弁理士】

【氏名又は名称】太佐 種一

(74)【代理人】

【識別番号】100120710

【弁理士】

【氏名又は名称】片岡 忠彦

(74)【復代理人】

【識別番号】110000877

【氏名又は名称】弁理士法人ＲＹＵＫＡ国際特許事務所

(72)【発明者】

【氏名】ハン シャーリー エム．

(72)【発明者】

【氏名】シュ アンバン

(72)【発明者】

【氏名】アキラジュ ラマ カルヤニ ティー．

(72)【発明者】

【氏名】アフジャ サリル

(72)【発明者】

【氏名】リウ シャオトン

【テーマコード（参考）】

5B042

5B175

【Ｆターム（参考）】

5B042JJ29

5B042MA08

5B042MA14

5B042MC22

5B042MC40

5B175DA10

5B175HA02

(57)【要約】

【課題】ＩＴ環境向けのアノマリ検出ドメインにおけるパフォーマンスモニタリング
【解決手段】コンピュータシステムに対応した現在のシステムデータのセットと、コンピュータシステムをモニタリングしているアノマリ検出モデルからの現在の出力のセットとを、取得する手法が開示される。現在のシステムデータおよびアノマリ検出モデルの出力は、訓練済みアノマリ検出スーパーバイザモデルに対する入力である。訓練済みアノマリ検出スーパーバイザモデルは、入力を処理し、アノマリ検出モデルに対応したパフォーマンスデータのセットを提供する。次いで、アノマリ検出モデルのパフォーマンスが閾値を下回っていることをパフォーマンスデータのセットが示すとき、アノマリ検出モデルが調整される。
【選択図】図３

【特許請求の範囲】

【請求項1】

プロセッサおよびメモリを含む情報処理システムによって実装されるコンピュータ実装方法であって、
コンピュータシステムに対応した現在のシステムデータのセットと、前記コンピュータシステムをモニタリングしているアノマリ検出モデルからの現在の出力のセットとを、取得する段階と、
前記現在のシステムデータのセットおよび前記アノマリ検出モデルからの前記現在の出力のセットを、訓練済みアノマリ検出スーパーバイザモデルに入力する段階と、
前記訓練済みアノマリ検出スーパーバイザモデルから、前記アノマリ検出モデルに対応したパフォーマンスデータのセットを受信する段階と、
前記アノマリ検出モデルのパフォーマンスが閾値を下回っていることを示す前記パフォーマンスデータのセットに応答して、前記アノマリ検出モデルを調整する段階と
を含む方法。

【請求項2】

アノマリ検出スーパーバイザモデルを訓練する段階であって、前記訓練により、前記訓練済みアノマリ検出スーパーバイザモデルがもたらされる、段階をさらに含み、前記訓練が、
前記アノマリ検出スーパーバイザモデルに訓練推論データセットを入力する段階であって、前記訓練推論データセットが、前記コンピュータシステムをモニタリングしている前記アノマリ検出モデルの出力である、段階をさらに含み、
前記アノマリ検出モデルの前記調整が、前記アノマリ検出モデルの再訓練、前記アノマリ検出モデルによって使用される１つまたは複数のメトリックの変更、および前記アノマリ検出モデルによって使用される１つまたは複数の閾値の変更から成るグループから選択される、請求項１に記載の方法。

【請求項3】

前記コンピュータシステムをモニタリングしている前記アノマリ検出モデルからの出力である現在の推論データセットを受信する段階と、
前記訓練済みアノマリ検出スーパーバイザモデルを使用して、前記現在の推論データセットと１つまたは複数の旧推論データセットとを比較する段階であって、前記１つまたは複数の旧推論データセットのうちの１つが、前記訓練推論データセットであり、前記比較により、前記アノマリ検出モデルのパフォーマンスが前記閾値を下回っているかどうかを示す前記パフォーマンスデータのうちの１つがもたらされる、段階と
をさらに含んでいる、請求項２に記載の方法。

【請求項4】

アノマリ検出スーパーバイザモデルを訓練する段階であって、前記訓練により、前記訓練済みアノマリ検出スーパーバイザモデルがもたらされる、段階をさらに含み、前記訓練が、
所定の時間枠に対応した訓練参照カウントベクトルを前記アノマリ検出スーパーバイザモデルに入力する段階であって、前記訓練参照カウントベクトルが、前記コンピュータシステムをモニタリングしている前記アノマリ検出モデルの出力である、段階をさらに含む、請求項１に記載の方法。

【請求項5】

前記コンピュータシステムをモニタリングしている前記アノマリ検出モデルから出力された参照カウントベクトルを受信する段階と、
前記訓練済みアノマリ検出スーパーバイザモデルを使用して、現在の参照カウントベクトルと１つまたは複数の旧参照カウントベクトルとを比較する段階であって、前記１つまたは複数の旧参照カウントベクトルのうちの１つが、前記訓練参照カウントベクトルであり、前記比較により、前記アノマリ検出モデルのパフォーマンスが前記閾値を下回っているかどうかを示す前記パフォーマンスデータのうちの１つがもたらされる、段階と
をさらに含む、請求項４に記載の方法。

【請求項6】

現在のシステムメトリックデータのセットと旧システムメトリックデータの１つまたは複数のセットとを比較する前記訓練済みアノマリ検出スーパーバイザモデルに、前記現在のシステムメトリックデータのセットを入力する段階であって、前記比較により、前記アノマリ検出モデルにおけるデータドリフトの分析がもたらされ、前記データドリフトの前記分析が、前記アノマリ検出モデルのパフォーマンスが前記閾値を下回っているかどうかを示す前記パフォーマンスデータのうちの１つである、段階をさらに含む、請求項１に記載の方法。

【請求項7】

現在のシステムログテンプレートのセットと旧システムログテンプレートの１つまたは複数のセットとを比較する前記訓練済みアノマリ検出スーパーバイザモデルに、前記現在のシステムログテンプレートのセットを入力する段階であって、前記比較により、前記アノマリ検出モデルのパフォーマンスが前記閾値を下回っているかどうかを示す前記パフォーマンスデータのうちの１つがもたらされる、段階をさらに含む、請求項１から６のいずれか一項に記載の方法。

【請求項8】

情報処理システムであって、
１つまたは複数のプロセッサと、
前記１つまたは複数のプロセッサのうちの少なくとも１つに結合されたメモリと、
前記メモリに記憶されていて、
コンピュータシステムに対応した現在のシステムデータのセットと、前記コンピュータシステムをモニタリングしているアノマリ検出モデルからの現在の出力のセットとを、取得する段階と、
前記現在のシステムデータのセットおよび前記アノマリ検出モデルからの前記現在の出力のセットを、訓練済みアノマリ検出スーパーバイザモデルに入力する段階と、
前記訓練済みアノマリ検出スーパーバイザモデルから、前記アノマリ検出モデルに対応したパフォーマンスデータのセットを受信する段階と、
前記アノマリ検出モデルのパフォーマンスが閾値を下回っていることを示す前記パフォーマンスデータのセットに応答して、前記アノマリ検出モデルを調整する段階と
を含むアクションを実施するために、前記１つまたは複数のプロセッサのうちの少なくとも１つによって実行されるコンピュータプログラム命令のセットと
を備える情報処理システム。

【請求項9】

前記アクションが、
アノマリ検出スーパーバイザモデルを訓練する段階であって、前記訓練により、前記訓練済みアノマリ検出スーパーバイザモデルがもたらされる、段階をさらに含み、前記訓練が、
前記アノマリ検出スーパーバイザモデルに訓練推論データセットを入力する段階であって、前記訓練推論データセットが、前記コンピュータシステムをモニタリングしている前記アノマリ検出モデルの出力である、段階をさらに含み、
前記アノマリ検出モデルの前記調整が、前記アノマリ検出モデルの再訓練、前記アノマリ検出モデルによって使用される１つまたは複数のメトリックの変更、および前記アノマリ検出モデルによって使用される１つまたは複数の閾値の変更から成るグループから選択される、請求項８に記載の情報処理システム。

【請求項10】

前記アクションが、
前記コンピュータシステムをモニタリングしている前記アノマリ検出モデルから出力された現在の推論データセットを受信する段階と、
前記訓練済みアノマリ検出スーパーバイザモデルを使用して、前記現在の推論データセットと１つまたは複数の旧推論データセットとを比較する段階であって、前記１つまたは複数の旧推論データセットのうちの１つが、前記訓練推論データセットであり、前記比較により、前記アノマリ検出モデルのパフォーマンスが前記閾値を下回っているかどうかを示す前記パフォーマンスデータのうちの１つがもたらされる、段階と
をさらに含む、請求項９に記載の情報処理システム。

【請求項11】

前記アクションが、
アノマリ検出スーパーバイザモデルを訓練する段階であって、前記訓練により、前記訓練済みアノマリ検出スーパーバイザモデルがもたらされる、段階をさらに含み、前記訓練が、
所定の時間枠に対応した訓練参照カウントベクトルを前記アノマリ検出スーパーバイザモデルに入力する段階であって、前記訓練参照カウントベクトルが、前記コンピュータシステムをモニタリングしている前記アノマリ検出モデルの出力である、段階をさらに含む、請求項８に記載の情報処理システム。

【請求項12】

前記アクションが、
前記コンピュータシステムをモニタリングしている前記アノマリ検出モデルから出力された参照カウントベクトルを受信する段階と、
前記訓練済みアノマリ検出スーパーバイザモデルを使用して、現在の参照カウントベクトルと１つまたは複数の旧参照カウントベクトルとを比較する段階であって、前記１つまたは複数の旧参照カウントベクトルのうちの１つが、前記訓練参照カウントベクトルであり、前記比較により、前記アノマリ検出モデルのパフォーマンスが前記閾値を下回っているかどうかを示す前記パフォーマンスデータのうちの１つがもたらされる、段階と
をさらに含む、請求項１１に記載の情報処理システム。

【請求項13】

前記アクションが、
現在のシステムメトリックデータのセットと旧システムメトリックデータの１つまたは複数のセットとを比較する前記訓練済みアノマリ検出スーパーバイザモデルに、前記現在のシステムメトリックデータのセットを入力する段階であって、前記比較により、前記アノマリ検出モデルにおけるデータドリフトの分析がもたらされ、前記データドリフトの前記分析が、前記アノマリ検出モデルのパフォーマンスが前記閾値を下回っているかどうかを示す前記パフォーマンスデータのうちの１つである、段階をさらに含む、請求項８に記載の情報処理システム。

【請求項14】

前記アクションが、
現在のシステムログテンプレートのセットと旧システムログテンプレートの１つまたは複数のセットとを比較する前記訓練済みアノマリ検出スーパーバイザモデルに、前記現在のシステムログテンプレートのセットを入力する段階であって、前記比較により、前記アノマリ検出モデルのパフォーマンスが前記閾値を下回っているかどうかを示す前記パフォーマンスデータのうちの１つがもたらされる、段階をさらに含む、請求項８から１３のいずれか一項に記載の情報処理システム。

【請求項15】

コンピュータプログラムであって、情報処理システムによって実行されたときに、
コンピュータシステムに対応した現在のシステムデータのセットと、前記コンピュータシステムをモニタリングしているアノマリ検出モデルからの現在の出力のセットとを、取得する手順と、
前記現在のシステムデータのセットおよび前記アノマリ検出モデルからの前記現在の出力のセットを、訓練済みアノマリ検出スーパーバイザモデルに入力する手順と、
前記訓練済みアノマリ検出スーパーバイザモデルから、前記アノマリ検出モデルに対応したパフォーマンスデータのセットを受信する手順と、
前記アノマリ検出モデルのパフォーマンスが閾値を下回っていることを示す前記パフォーマンスデータのセットに応答して、前記アノマリ検出モデルを調整する手順と
を含むアクションを実施するコンピュータプログラムコードを備えるコンピュータプログラム。

【請求項16】

前記アクションが、
アノマリ検出スーパーバイザモデルを訓練する段階であって、前記訓練により、前記訓練済みアノマリ検出スーパーバイザモデルがもたらされる、段階をさらに含み、前記訓練が、
前記アノマリ検出スーパーバイザモデルに訓練推論データセットを入力する段階であって、前記訓練推論データセットが、前記コンピュータシステムをモニタリングしている前記アノマリ検出モデルの出力である、段階をさらに含み、
前記アノマリ検出モデルの前記調整が、前記アノマリ検出モデルの再訓練、前記アノマリ検出モデルによって使用される１つまたは複数のメトリックの変更、および前記アノマリ検出モデルによって使用される１つまたは複数の閾値の変更から成るグループから選択される、請求項１５に記載のコンピュータプログラム。

【請求項17】

前記アクションが、
前記コンピュータシステムをモニタリングしている前記アノマリ検出モデルから出力された現在の推論データセットを受信する段階と、
前記訓練済みアノマリ検出スーパーバイザモデルを使用して、前記現在の推論データセットと１つまたは複数の旧推論データセットとを比較する段階であって、前記１つまたは複数の旧推論データセットのうちの１つが、前記訓練推論データセットであり、前記比較により、前記アノマリ検出モデルのパフォーマンスが前記閾値を下回っているかどうかを示す前記パフォーマンスデータのうちの１つがもたらされる、段階と
をさらに含む、請求項１６に記載のコンピュータプログラム。

【請求項18】

前記アクションが、
アノマリ検出スーパーバイザモデルを訓練する段階であって、前記訓練により、前記訓練済みアノマリ検出スーパーバイザモデルがもたらされる、段階をさらに含み、前記訓練が、
所定の時間枠に対応した訓練参照カウントベクトルを前記アノマリ検出スーパーバイザモデルに入力する段階であって、前記訓練参照カウントベクトルが、前記コンピュータシステムをモニタリングしている前記アノマリ検出モデルの出力である、段階をさらに含む、請求項１５に記載のコンピュータプログラム。

【請求項19】

前記アクションが、
前記コンピュータシステムをモニタリングしている前記アノマリ検出モデルから出力された参照カウントベクトルを受信する段階と、
前記訓練済みアノマリ検出スーパーバイザモデルを使用して、現在の参照カウントベクトルと１つまたは複数の旧参照カウントベクトルとを比較する段階であって、前記１つまたは複数の旧参照カウントベクトルのうちの１つが、前記訓練参照カウントベクトルであり、前記比較により、前記アノマリ検出モデルのパフォーマンスが前記閾値を下回っているかどうかを示す前記パフォーマンスデータのうちの１つがもたらされる、段階と
をさらに含む、請求項１８に記載のコンピュータプログラム。

【請求項20】

前記アクションが、
現在のシステムメトリックデータのセットと旧システムメトリックデータの１つまたは複数のセットとを比較する前記訓練済みアノマリ検出スーパーバイザモデルに、前記現在のシステムメトリックデータのセットを入力する段階であって、前記比較により、前記アノマリ検出モデルにおけるデータドリフトの分析がもたらされ、前記データドリフトの前記分析が、前記アノマリ検出モデルのパフォーマンスが前記閾値を下回っているかどうかを示す前記パフォーマンスデータのうちの１つである、段階と、
現在のシステムログテンプレートのセットと旧システムログテンプレートの１つまたは複数のセットとを比較する前記訓練済みアノマリ検出スーパーバイザモデルに、前記現在のシステムログテンプレートのセットを入力する段階であって、前記比較により、前記アノマリ検出モデルのパフォーマンスが前記閾値を下回っているかどうかを示す前記パフォーマンスデータのうちの１つがもたらされる、段階と
をさらに含む、請求項１５から１９のいずれか一項に記載のコンピュータプログラム。

【発明の詳細な説明】

【背景技術】

【0001】

世界中でデジタルトランスフォーメーションが急速に出現していることから、情報技術（ＩＴ）運用の管理は、企業にとって複雑なタスクである。毎年、企業は、収益、人件費、企業の評判、および顧客満足度に悪影響を及ぼす機能停止に直面している。企業の現在のワークフローにおけるアノマリ検出に関して言えば、パフォーマンスを効率的にモニタリングし、適切なアクションをとるための方法を有しておくことが、企業にとって重要である。ＩＴ環境においてアノマリ検出を実施するために、多くの場合、機械学習モデルが実装される。しかし現在のところ、これらのモデルのパフォーマンスをモニタリングし、データドリフトをモニタリングするための正確な方法は存在しない。サイト信頼性エンジニア（ＳＲＥ）がＩＴ環境を評価し、アノマリ検出に関して取るべきアクションに関する適切な決定を下すことを可能にするために、この情報が必要とされている。システムログ、メトリックデータ、およびトポロジ情報などのシステムデータは、随時変化する。特に、現在のアノマリ検出モデルのパフォーマンスについて理解が不足している場合には、アノマリ検出機械学習モデルがいつ再訓練を必要とするかを理解するのは困難である。アノマリ検出モデルの訓練は、時間およびリソースを要する。その結果、ＳＲＥは、アノマリ検出モデルの不必要な訓練を回避しようと試みる。しかし、パフォーマンスの低いアノマリ検出モデルは、モニタリングしているコンピュータシステムのアノマリを正確に検出できないことがあり、セキュリティ違反および他のシステム問題につながる可能性がある。

【発明の概要】

【発明が解決しようとする課題】

【0002】

パフォーマンスの低いアノマリ検出モデルは、モニタリングしているコンピュータシステムのアノマリを正確に検出できないことがあり、セキュリティ違反および他のシステム問題につながる可能性がある。

【課題を解決するための手段】

【0003】

コンピュータシステムに対応した現在のシステムデータのセットと、コンピュータシステムをモニタリングしているアノマリ検出モデルからの現在の出力のセットとを、取得する手法が開示される。現在のシステムデータおよびアノマリ検出モデルの出力は、訓練済みアノマリ検出スーパーバイザモデルに対する入力である。訓練済みアノマリ検出スーパーバイザモデルは、入力を処理し、アノマリ検出モデルに対応したパフォーマンスデータのセットを提供する。次いで、アノマリ検出モデルのパフォーマンスが閾値を下回っていることをパフォーマンスデータのセットが示すとき、アノマリ検出モデルが調整される。

【0004】

上記は概要であり、したがって必然的に、簡略化、一般化、および詳細事項の省略を含んでいる。その結果、この概要が単に説明的なものであり、限定的であることを決して意図していないことを、当業者は理解するであろう。他の態様、発明的特徴、および本発明の利点は、以下に記載する非限定的な詳細な説明において明らかになろう。

【図面の簡単な説明】

【0005】

添付図面を参照することにより、本発明をより深く理解することができ、その多数の目的、特徴、および利点が、当業者に対して明らかにされる。

【0006】

【図1】知識ベースを利用する知識マネージャを含むネットワーク環境を示す図である。

【0007】

【図2】図１に示してあるものなどの情報処理システムのプロセッサおよびコンポーネントを示すブロック図である。

【0008】

【図3】情報技術（ＩＴ）環境向けのアノマリ検出ドメインにおいてパフォーマンスモニタリングを実施するための、様々なコンポーネントおよび相互作用を示すコンポーネント図である。

【0009】

【図4】アノマリ検出スーパーバイザにより使用される論理を示すフローチャートの図である。

【0010】

【図5】スーパーバイザリモデルを訓練するために使用される論理を示すフローチャートの図である。

【0011】

【図6】アノマリ検出モデルのパフォーマンスをモニタリングするために、訓練済みスーパーバイザリモデルにより使用される論理を示すフローチャートの図である。

【発明を実施するための形態】

【0012】

図１～６は、情報技術（ＩＴ）環境向けのアノマリ検出ドメインにおけるパフォーマンスモニタリングを実施するための手法を説明するものである。
本明細書において説明する手法は、モデルパフォーマンスを判定する機械学習およびルールベース方法を使用することにより、アノマリ検出ドメインにおけるパフォーマンスを自動的にモニタリングすることに関する。この手法は、分布変化およびマイクロサービス相互作用をトポロジからモニタリングし、継続的なモデル強化をユーザフィードバックから提供する。環境において現在実行しているアノマリ検出モデルからの出力（データ）と同様に、システムログ、メトリックデータ、およびトポロジ情報などのシステムデータが、この手法の入力として使用される。これらの入力は、アノマリ検出モデルのパフォーマンスをモニタリングするとともにデータドリフトをモニタリングするスーパーバイズド機械学習モデルに利用される。データドリフトとは、アノマリ検出モデルにより使用されるデータの分布における経時的な変化のことである。アノマリ検出モデルを訓練したベースラインデータセットが、アノマリ検出モデルによって処理されている現在のリアルタイム作成データと異なる場合には、モデルのパフォーマンスが、ときに著しく劣化することがある。この手法は、再訓練が必要かどうかを判定するスーパーバイズド機械学習モデルおよびルールベース方法を利用することにより、アノマリ検出用の既存の訓練済みモデル向けに、パフォーマンスモニタリングの結果および推奨されるアクションを生成する。さらに、この手法は、チューニングを必要とする可能性のある閾値を識別することができる。この手法は、アノマリ検出モデルのパフォーマンスをモニタリングし、モデルデータにおけるデータドリフトを検出するスーパーバイザ機械学習モデルを訓練する。スーパーバイズド機械学習モデルおよびルールベース方法により、アノマリ検出モデルの正解率が判定され、推奨されるアクションが識別される。このように、この手法は、ＩＴ環境における既存のアノマリ検出モデルを改善し、ＩＴ運営環境におけるアノマリをより正確に識別することを支援する。

【0013】

この手法は、パフォーマンスの低いアノマリ検出モデルの問題に、３つの主要な領域において対処する。第１に、この手法は、「グラウンドトゥルース」が存在する場合に、適合率、正解率、およびＦ１スコアなどの評価メトリックを調査することにより、アノマリ検出モデルのパフォーマンスを分析する。第２に、スーパーバイザ機械学習モデルが、現在のアノマリ検出モデルに基づく分布変化を予測し、アノマリ検出モデルのパフォーマンスおよび正解率を改善するための提案を行う。スーパーバイザモデルは、システムデータ、およびデータ（たとえば、ログ、メトリック、トポロジ情報など）、および現在のアノマリ検出モデルからの出力（たとえば、推論データセット、カウントベクトルなど）に基づき訓練される。分布変化のモニタリングのために、ログテンプレートおよびカウントベクトルが入力ログから生成され、データドリフトについて継続的にモニタリングされる。ログテンプレート、カウントベクトル、およびメトリックデータも、継続的に照合されて、所与の時間窓について割合が定義済み閾値を下回っているかどうかが確認される。一実施形態において、ログテンプレートは、入力された全てのログから生成されるものであり、カウントベクトルは、ログメッセージから抽出されたテンプレートの分布である。割合が持続的に閾値を下回っている場合には、持続的なデータドリフトを示唆しており、次いでモデルの再訓練がＳＲＥに提案される。さらに、現在のアノマリ検出モデルによって生成された旧推論データセットと新推論データセットがルールベースで比較されて、データドリフト分析およびＳＲＥへの推奨の提供が支援される。さらに、異なるマイクロサービスの相互作用が、提供されたトポロジ情報でモニタリングされる。マイクロサービス相互作用のモニタリングは、様々なマイクロサービスの接続の再構成に関する提案を提供する。最後に、スーパーバイザモデルの閾値を調整するとともに、将来の推奨アクションをチューニングするために、ユーザフィードバックが使用される。このように、この手法は、アノマリ検出モデルの再訓練とともに各マイクロサービスのアノマリ検出モデルの閾値チューニングに関して、動的なモニタリングシステムおよび状況に合った推奨アクションを提供する。

【0014】

図１は、コンピュータネットワーク１０２の人工知能（ＡＩ）システム１００の説明的な一実施形態の概略図を示している。ＡＩシステム１００は、（１つまたは複数のプロセッサと１つまたは複数のメモリとを備え、当技術分野において概して知られている、バス、記憶デバイス、通信インターフェースなどを含む任意の他のコンピューティングデバイスを備えている可能性がある）人工知能コンピューティングデバイス１０４を含んでおり、このデバイス１０４は、ＡＩシステム１００をコンピュータネットワーク１０２に接続する。ネットワーク１０２は、１つまたは複数の有線もしくは無線またはその両方のデータ通信リンクを介して、互いにかつ他のデバイスまたはコンポーネントと通信する複数のコンピューティングデバイス１０４を含んでいてよく、各通信リンクは、ワイヤ、ルータ、スイッチ、送信機、受信機などのうちの１つまたは複数を備えていてよい。ＡＩシステム１００およびネットワーク１０２は、１人または複数人のコンテンツユーザに対する、質問／回答（ＱＡ）生成機能などの機能を有効にしてよい。ＡＩシステム１００の他の実施形態は、本明細書に示してあるもの以外に、コンポーネント、システム、サブシステム、もしくはデバイス、またはそれらの組み合わせとともに使用されてよい。

【0015】

ＡＩシステム１００は、「コーパス」としても知られている知識ベース１０６を保持しており、この知識ベース１０６は、問題を解くためにＡＩシステムが利用する情報またはデータのストアである。この知識ベースは、問題を解くために利用可能な、ＡＩシステムが有する事実、仮定、モデル、およびルールの底集合を含んでいる。

【0016】

ＡＩシステム１００は、様々なソースからの入力を受信するように構成されていてよい。たとえば、ＡＩシステム１００は、ネットワーク１０２、電子ドキュメント１０７または他のデータのコーパス、コンテンツクリエータ、コンテンツユーザ、および他の可能な入力ソースからの入力を受信してよい。一実施形態において、ＡＩシステム１００に対する入力のいくつかまたは全てが、ネットワーク１０２を介してルーティングされてよい。ネットワーク１０２上の様々なコンピューティングデバイスは、コンテンツクリエータおよびコンテンツユーザのためのアクセスポイントを含んでいてよい。コンピューティングデバイスのうちのいくつかは、データのコーパスを記憶したデータベース用のデバイスを含んでよい。ネットワーク１０２は、様々な実施形態においてローカルネットワーク接続およびリモート接続を含んでいてよく、それにより人工知能１００は、ローカルにおよびグローバルに、たとえばインターネットを含め、任意のサイズの環境において動作することができる。さらに、人工知能１００は、ドキュメント、ネットワークアクセス可能ソース、もしくは構造データソース、またはそれらの組み合わせから抽出したかまたはそれらに表された様々な知識を利用可能にすることができるフロントエンドシステムとして機能する。このように、いくつかのプロセスは、知識要求を受信し、それに適宜応答するための入力インターフェースも含んだ人工知能を、人工知能に入れる。

【0017】

一実施形態において、コンテンツクリエータは、ＡＩシステム１００でデータのコーパスの一部として使用するための電子ドキュメント１０７のコンテンツを制作する。電子ドキュメント１０７は、ＡＩシステム１００で使用するための任意のファイル、テキスト、記事、またはデータソースを含んでいてよい。コンテンツユーザは、ネットワーク１０２へのネットワーク接続またはインターネット接続を介してＡＩシステム１００にアクセスしてよく、一実施形態においては、ＡＩシステム１００に質問を入力してよく、この質問には、データのコーパスのコンテンツによって回答がなされてよい。以下でさらに説明するように、プロセスが、意味内容についてドキュメントの所与のセクションを評価するとき、プロセスは、様々な取り決めを使用して、人工知能に対してそのクエリを行うことができる。

【0018】

ＡＩシステム１００を利用することができる情報処理システムの種類は、ハンドヘルドコンピュータ／携帯電話１１０などの小型ハンドヘルドデバイスから、メインフレームコンピュータ１７０などの大規模なメインフレームシステムにまで及ぶ。ハンドヘルドコンピュータ１１０の例は、携帯情報端末（ＰＤＡ）、ＭＰ３プレーヤなどのパーソナルエンターテインメントデバイス、ポータブルテレビ、およびコンパクトディスクプレーヤを含む。情報処理システムの他の例は、ペンコンピュータまたはタブレットコンピュータ１２０、ラップトップコンピュータまたはノートブックコンピュータ１３０、パーソナルコンピュータシステム１５０、およびサーバ１６０を含む。示してあるように、様々な情報処理システムは、コンピュータネットワーク１０２を使用して互いにネットワーク接続することができる。様々な情報処理システムを相互接続するために使用できるコンピュータネットワーク１０２の種類は、ローカルエリアネットワーク（ＬＡＮ）、無線ローカルエリアネットワーク（ＷＬＡＮ）、インターネット、公衆交換電話網（ＰＳＴＮ）、他の無線ネットワーク、および情報処理システムを相互接続するために使用できる任意の他のネットワークトポロジを含む。情報処理システムの多くは、ハードドライブなどの不揮発性データストア、もしくは不揮発性メモリ、またはその両方を含んでいる。図１に示してある情報処理システムのうちのいくつかは、別々の不揮発性データストアを示している（サーバ１６０は、不揮発性データストア１６５を利用し、メインフレームコンピュータ１７０は、不揮発性データストア１７５を利用する）。不揮発性データストアは、様々な情報処理システムの外部にあるコンポーネントであってもよいし、情報処理システムのうちの１つの内部にあってもよい。プロセッサにより一般にアクセスされる例示的なプロセッサおよび様々なコンポーネントを示す情報処理システムの説明的な例が、図２に示してある。

【0019】

図２は、情報処理システム２００、より詳細には、プロセッサおよび共通のコンポーネントを示しており、これらは本明細書において説明するコンピューティング動作を実施可能なコンピュータシステムの簡単な例である。情報処理システム２００は、プロセッサインターフェースバス２１２に結合された１つまたは複数のプロセッサ２１０を含んでいる。プロセッサインターフェースバス２１２は、プロセッサ２１０を、メモリコントローラハブ（ＭＣＨ）としても知られているノースブリッジ２１５に接続する。ノースブリッジ２１５は、システムメモリ２２０に接続され、プロセッサ２１０がシステムメモリにアクセスするための手段を提供する。グラフィックスコントローラ２２５も、ノースブリッジ２１５に接続されている。一実施形態において、ＰＣＩ Ｅｘｐｒｅｓｓバス２１８が、ノースブリッジ２１５をグラフィックスコントローラ２２５に接続している。グラフィックスコントローラ２２５は、コンピュータモニタなどのディスプレイデバイス２３０に接続されている。

【0020】

ノースブリッジ２１５とサウスブリッジ２３５は、バス２１９を使用して互いに接続されている。一実施形態において、このバスは、ノースブリッジ２１５とサウスブリッジ２３５との間で各方向にデータを高速で転送するダイレクトメディアインターフェース（ＤＭＩ）バスである。別の実施形態では、ペリフェラルコンポーネントインターコネクト（ＰＣＩ）バスが、ノースブリッジとサウスブリッジを接続する。Ｉ／Ｏコントローラハブ（ＩＣＨ）としても知られているサウスブリッジ２３５は、ノースブリッジによって提供される性能よりも低速で動作する性能を概して実装するチップである。サウスブリッジ２３５は、典型的には様々なコンポーネントを接続するために使用される様々なバスを提供する。これらのバスは、たとえばＰＣＩおよびＰＣＩ Ｅｘｐｒｅｓｓバス、ＩＳＡバス、システム管理バス（ＳＭバスまたはＳＭＢ）、もしくはローピンカウント（ＬＰＣ）バス、またはそれらの組み合わせを含む。ＬＰＣバスは、多くの場合、ブートＲＯＭ２９６および（「スーパーＩ／Ｏ」チップを使用する）「レガシ」Ｉ／Ｏデバイスなどの低帯域幅デバイスを接続する。「レガシ」Ｉ／Ｏデバイス（２９８）は、たとえばシリアルポートおよびパラレルポート、キーボード、マウス、もしくはフロッピディスクコントローラ、またはそれらの組み合わせを含むことができる。ＬＰＣバスは、サウスブリッジ２３５をトラステッドプラットフォームモジュール（ＴＰＭ）２９５にも接続している。サウスブリッジ２３５に含まれることの多い他のコンポーネントは、ダイレクトメモリアクセス（ＤＭＡ）コントローラ、プログラマブル割り込みコントローラ（ＰＩＣ）、および記憶デバイスコントローラを含み、これらが、バス２８４を使用して、サウスブリッジ２３５をハードディスクドライブなどの不揮発性記憶デバイス２８５に接続している。

【0021】

ＥｘｐｒｅｓｓＣａｒｄ２５５は、ホットプラグ対応デバイスを情報処理システムに接続するスロットである。ＥｘｐｒｅｓｓＣａｒｄ２５５は、ユニバーサルシリアルバス（ＵＳＢ）とＰＣＩ Ｅｘｐｒｅｓｓバスの両方を使用してサウスブリッジ２３５に接続されているので、ＰＣＩ Ｅｘｐｒｅｓｓ接続およびＵＳＢ接続をサポートしている。サウスブリッジ２３５は、ＵＳＢに接続されるデバイスに対してＵＳＢ接続を提供するＵＳＢコントローラ２４０を含んでいる。これらのデバイスは、ウェブカム（カメラ）２５０、赤外線（ＩＲ）受信機２４８、キーボードおよびトラックパッド２４４、ならびに無線パーソナルエリアネットワーク（ＰＡＮ）を提供するＢｌｕｅｔｏｏｔｈ（登録商標）デバイス２４６を含んでいる。またＵＳＢコントローラ２４０は、マウス、リムーバブル不揮発性記憶デバイス２４５、モデム、ネットワークカード、ＩＳＤＮコネクタ、ファックス、プリンタ、ＵＳＢハブ、および多くの他の種類のＵＳＢ接続デバイスなど、多種多様な他のＵＳＢ接続デバイス２４２に対するＵＳＢ接続を提供する。リムーバブル不揮発性記憶デバイス２４５は、ＵＳＢ接続デバイスとして示してあるが、リムーバブル不揮発性記憶デバイス２４５は、Ｆｉｒｅｗｉｒｅ（登録商標）インターフェースなどの異なるインターフェースを使用して接続されてもよい。

【0022】

無線ローカルエリアネットワーク（ＬＡＮ）デバイス２７５は、ＰＣＩまたはＰＣＩ Ｅｘｐｒｅｓｓバス２７２を介してサウスブリッジ２３５に接続されている。ＬＡＮデバイス２７５は、典型的には、情報処理システム２００と別のコンピュータシステムまたはデバイスとの間で無線通信するために同じプロトコルを全てが使用するオーバージエアモジュレーション技術のＩＥＥＥ８０２．１１規格のうちの１つを実装する。光学記憶デバイス２９０は、シリアルＡＴＡ（ＳＡＴＡ）バス２８８を使用してサウスブリッジ２３５に接続されている。シリアルＡＴＡのアダプタおよびデバイスは、高速シリアルリンクを介して通信する。またシリアルＡＴＡバスは、サウスブリッジ２３５を、ハードディスクドライブなど、他の形態の記憶デバイスにも接続する。サウンドカードなどのオーディオ回路２６０は、バス２５８を介してサウスブリッジ２３５に接続されている。オーディオ回路２６０は、オーディオライン入力および光デジタルオーディオ入力ポート２６２、光デジタル出力およびヘッドフォンジャック２６４、内部スピーカ２６６、および内部マイクロフォン２６８などの機能も提供する。Ｅｔｈｅｒｎｅｔ（登録商標）コントローラ２７０は、ＰＣＩまたはＰＣＩ Ｅｘｐｒｅｓｓバスなどのバスを使用して、サウスブリッジ２３５に接続されている。Ｅｔｈｅｒｎｅｔコントローラ２７０は、情報処理システム２００を、ローカルエリアネットワーク（ＬＡＮ）、インターネット、および他のパブリックおよびプライベートのコンピュータネットワークなどのコンピュータネットワークに接続する。

【0023】

図２は、１つの情報処理システムを示しているが、情報処理システムは多くの形態を取ることがあり、そのうちのいくつかが図１に示してある。たとえば、情報処理システムは、デスクトップ、サーバ、ポータブル、ラップトップ、ノートブック、または他のフォームファクタのコンピュータもしくはデータ処理システムの形態を取ってよい。さらに、情報処理システムは、携帯情報端末（ＰＤＡ）、ゲーミングデバイス、ＡＴＭ機械、ポータブル電話デバイス、通信デバイス、またはプロセッサとメモリとを含む他のデバイスなど、他のフォームファクタを取ってよい。

【0024】

図３は、情報技術（ＩＴ）環境向けのアノマリ検出ドメインにおいてパフォーマンスモニタリングを実施するための、様々なコンポーネントおよび相互作用を示すコンポーネント図である。コンピュータシステム３００は、訓練済みアノマリ検出モデル３３０を使用してシステム３００内のアノマリを検出するアノマリ検出人工知能（ＡＩ）システム３２０により、アノマリについてモニタリングされている。アノマリ検出システム３２０は、モニタリングされているコンピュータシステムから、このシステムから収集された様々なシステムデータ３１０としてデータを受信する。このシステムデータは、システムログ、パフォーマンスメトリックデータ（たとえば、平均ロードデータ、利用可能なメモリデータ、ＣＰＵ使用量データ、利用可能なディスクスペースデータ、実行プロセスデータなど）を含む。アノマリ検出ＡＩシステム３２０によって検出されたアノマリは、システム管理者３４０に提供される。次いでシステム管理者は、アノマリに対処するためのアクションをとって、システム３００のパフォーマンスを改善することができる。

【0025】

アノマリ検出スーパーバイザ３６０は、アノマリ検出モデル３３０がパラメータ内で動作しているかどうかを判定するために訓練済みスーパーバイザリモデル３７０を利用するＡＩシステムである。アノマリ検出スーパーバイザは、システムデータとアノマリ検出モデルの出力との両方を含む入力３５０を受信する。システムデータ入力は、システムログ、メトリック、トポロジ情報などを含む。スーパーバイザリモデル３７０への入力として使用されるアノマリ検出モデルからの出力は、推論データセット、カウントベクトル、およびアノマリ検出モデルの他の出力を含む。

【0026】

データ３５０の入力後、訓練済みアノマリ検出スーパーバイザにより、結果３８０がもたらされる。これらの結果は、アノマリ検出モデルに対する調整の推奨を含んでよい。これらの調整は、アノマリ検出モデルを再訓練する推奨、アノマリ検出モデルによって使用される閾値をチューニングする推奨、およびアノマリ検出モデルに対する他の調整を含んでよい。推奨される変更は、アノマリ検出システムのメンテナンスを担うサイト信頼性エンジニア（ＳＲＥ）または他の専門家に提供される。次いでＳＲＥは、モデルの再訓練など、推奨されたモデル調整をアノマリ検出モデルに対して実施することができる。

【0027】

図４は、アノマリ検出スーパーバイザによって使用される論理を示すフローチャートの図である。図４の処理は、４００において開始され、アノマリ検出スーパーバイザ人工知能（ＡＩ）システムによって実施されるプロセスがとるステップを示している。ステップ４１０において、プロセスは、アノマリ検出スーパーバイザによって使用されるスーパーバイザリ機械学習モデルの状態を確認する。プロセスは、アノマリ検出スーパーバイザがこのシステム上で実行されるのが今回初めてかどうかなど、スーパーバイザリモデルの訓練が必要かどうかについて判定する（決定４２０）。

【0028】

スーパーバイザモデルの訓練が必要な場合には、決定４２０が「はい」の岐路に分岐し、ここで、事前定義されたプロセス４３０において、スーパーバイザリモデル訓練プロセスが実施される（詳細については図５および対応する文章を参照）。示してあるように、これにより、スーパーバイザリモデル３７０に提供される訓練データがもたらされ、それによりコンピュータシステムにおいて使用されているアノマリ検出モデル向けに、このモデルが訓練される。他方で、スーパーバイザリモデルが既に訓練済みである場合には、決定４２０は「いいえ」の岐路に分岐されて、ステップ４４０～４７０が実施される。

【0029】

事前定義されたプロセス４４０において、プロセスは、訓練済みスーパーバイザリモデルを使用してアノマリスーパーバイザを実施する（詳細については図６および対応する文章を参照）。示してあるように、訓練済みスーパーバイザリモデル３７０を有するアノマリ検出スーパーバイザ３６０に、現在のアノマリ検出モデルデータが入力される。スーパーバイザリモデルの訓練に基づき、スーパーバイザは評価データを事前定義されたプロセス４４０に戻す。評価データは処理されて、データストア３８０に記憶されたアノマリ検出モデルを調整および管理するための推奨が形成される。プロセスは、アノマリ検出システムについてグラウンドトゥルースデータのセットが定義済みかどうかについて判定する（決定４５０）。グラウンドトゥルースが定義済みの場合には、決定４５０は「はい」の岐路に分岐し、ここでステップ４６０において、プロセスは、アノマリモデルの評価メトリックの使用を、事前定義されたグラウンドトゥルースデータ（たとえば、適合率、正解率、Ｆ１スコアなどに関するグラウンドトゥルース）で分析する。グラウンドトゥルースデータに基づき行われた判定が、アノマリ検出モデルに関する推奨へと形成され、データストア３８０に記憶される。他方で、グラウンドトゥルースが定義済みでない場合には、決定４５０は「いいえ」の岐路に分岐されてステップ４６０を迂回する。ステップ４７０において、プロセスは、データストア３８０に記憶された推奨を、サイト信頼性エンジニア（ＳＲＥ）３９０に提供する。

【0030】

プロセスは、スーパーバイザを使用したアノマリ検出モデルのモニタリングを継続するかどうかについて判定する（決定４８０）。アノマリ検出モデルのモニタリングが継続される場合には、決定４８０は「はい」の岐路に分岐し、これが循環してステップ４１０に戻り、上述したプロセスが繰り返される。この循環は、システムがシャットダウンされるときなど、アノマリ検出モデルのモニタリングが中止されるまで継続され、シャットダウン時点で、決定４８０は「いいえ」の岐路に分岐して循環から出る。その後、図４の処理は４９５において終了する。

【0031】

図５は、スーパーバイザリモデルを訓練するために使用される論理を示すフローチャートの図である。図５の処理は、５００において開始され、スーパーバイザリモデル訓練を実施するプロセスがとるステップを示している。ステップ５２０において、プロセスは、履歴データの第１のセットをデータストア５４０から選択する。スーパーバイザリモデルを訓練するために使用される履歴データは、ログテンプレート、定義済み閾値、推論データセット、カウントベクトル、システムメトリック、システムトポロジ情報、および他のシステムデータなどのデータを含む。ステップ５６０において、プロセスは、履歴データの選択されたセットを用いて、アノマリ検出スーパーバイザモデル３７０を訓練する。

【0032】

プロセスは、スーパーバイザリモデルを訓練するために使用すべき履歴データがさらに存在するかどうかについて判定する（決定５８０）。スーパーバイザリモデルを訓練するために、さらなる履歴データが利用可能な場合には、決定５８０は「はい」の岐路に分岐し、これが循環してステップ５２０に戻り、モデル３７０を訓練するための履歴データの次のセットが選択される。この循環は、モデルを訓練するために利用可能な履歴データが全て使用されるまで継続され、全てを使用した時点で、決定５８０は「いいえ」の岐路に分岐して循環から出る。その後、図５の処理は、５９５において呼び出しルーチンに戻る（図４を参照）。

【0033】

図６は、アノマリ検出モデルのパフォーマンスをモニタリングするために、訓練済みスーパーバイザリモデルにより使用される論理を示すフローチャートの図である。図６の処理は、６００において開始され、現在のアノマリデータを処理して、アノマリ検出モデルのパフォーマンスが十分かどうかを判定するために、訓練済みスーパーバイザリモデルがとるステップを示している。ステップ６１０において、プロセスは、システムデータ（たとえば、現在のシステムログ、メトリックデータ、トポロジ情報）およびアノマリ検出モデルからの現在の出力（推論データセット、カウントベクトルなど）を、訓練済みスーパーバイザリモデルを有するアノマリ検出スーパーバイザ３６０に提供する。アノマリ検出スーパーバイザ３６０は、提供されたデータを使用して様々な分析（６２０～６６０）を実施して、アノマリ検出モデルのパフォーマンスに関する結果を形成する。

【0034】

分析６２０において、アノマリ検出スーパーバイザは、ログテンプレートを照合し、これらを定義済みログテンプレート閾値と比較する。分析６３０において、アノマリ検出スーパーバイザは、アノマリ検出モデルから得た現在の推論データセットを、スーパーバイザモデルを訓練するために使用された訓練推論データセットと比較する。分析６４０において、アノマリ検出スーパーバイザは、アノマリ検出モデルから得た、所与の時間枠内の参照カウントベクトルを、同じ時間枠の現在のカウントベクトルと比較する。分析６５０において、アノマリ検出スーパーバイザは、データドリフトについてメトリックデータを確認する。分析６６０において、アノマリ検出スーパーバイザは、現在の推論データセットと旧推論データセットとを比較する。

【0035】

アノマリ検出スーパーバイザによって実施された分析は、結果のセットを形成し、この結果のセットが、ステップ６７０において受信され、データストア６８０に記憶される。ステップ６９０において、プロセスは、データストア６８０に記憶されたアノマリ検出スーパーバイザ結果に基づき、推奨のセットを生成する。たとえば、推奨は、アノマリ検出スーパーバイザにより検出されたデータドリフトを理由として、アノマリ検出モデルを再訓練することであってよい。その後、図６の処理は、６９５において呼び出しルーチンに戻る（図４を参照）。

【0036】

本発明は、任意の可能な技術的詳細レベルの統合におけるシステム、方法、もしくはコンピュータプログラム製品、またはそれらの組み合わせであってよい。コンピュータプログラム製品は、本発明の態様をプロセッサに実行させるためのコンピュータ可読プログラム命令を有するコンピュータ可読記憶媒体を含んでよい。

【0037】

コンピュータ可読記憶媒体は、命令実行デバイスによって使用されるための命令を保持および記憶した有形デバイスとすることができる。コンピュータ可読記憶媒体は、たとえば、電子記憶デバイス、磁気記憶デバイス、光学記憶デバイス、電磁記憶デバイス、半導体記憶デバイス、またはこれらの任意の好適な組み合わせであってよいが、これらに限定されない。コンピュータ可読記憶媒体のより具体的な例の非網羅的なリストは、以下のものを含む。ポータブルコンピュータディスケット、ハードディスク、ランダムアクセスメモリ（ＲＡＭ）、リードオンリメモリ（ＲＯＭ）、消去可能プログラマブルリードオンリメモリ（ＥＰＲＯＭまたはフラッシュメモリ）、スタティックランダムアクセスメモリ（ＳＲＡＭ）、ポータブルコンパクトディスクリードオンリメモリ（ＣＤ－ＲＯＭ）、デジタル多用途ディスク（ＤＶＤ）、メモリスティック、フロッピディスク、機械的に符号化されたデバイス、たとえば命令が記録されたパンチカードもしくは溝の隆起構造体、およびこれらの任意の好適な組み合わせ。本明細書において使用されるとき、コンピュータ可読記憶媒体は、電波もしくは自由に伝播する他の電磁波、導波路もしくは他の伝送媒体を通って伝播する電磁波（たとえば、光ファイバケーブルを通過する光パルス）、またはワイヤを通って伝送される電気信号など、それ自体が一時的な信号であると解釈されるべきでない。

【0038】

本明細書において説明するコンピュータ可読プログラム命令は、コンピュータ可読記憶媒体からそれぞれのコンピューティングデバイス／処理デバイスにダウンロードされてもよいし、ネットワーク、たとえばインターネット、ローカルエリアネットワーク、ワイドエリアネットワーク、もしくは無線ネットワーク、またはそれらの組み合わせを介して、外部コンピュータまたは外部記憶デバイスにダウンロードされてもよい。ネットワークは、銅伝送ケーブル、光伝送ファイバ、無線伝送、ルータ、ファイアウォール、スイッチ、ゲートウェイコンピュータ、もしくはエッジサーバ、またはそれらの組み合わせを備えてよい。各コンピューティングデバイス／処理デバイスのネットワークアダプタカードまたはネットワークインターフェースは、ネットワークからコンピュータ可読プログラム命令を受信し、そのコンピュータ可読プログラム命令を、それぞれのコンピューティングデバイス／処理デバイス内のコンピュータ可読記憶媒体に記憶するために転送する。

【0039】

本発明の動作を実行するためのコンピュータ可読プログラム命令は、アセンブラ命令、命令セットアーキテクチャ（ＩＳＡ）命令、機械命令、機械依存命令、マイクロコード、ファームウェア命令、状態設定データ、集積回路用の構成データ、またはＳｍａｌｌｔａｌｋ（登録商標）、Ｃ＋＋などのオブジェクト指向プログラミング言語、および「Ｃ」プログラミング言語もしくは同様のプログラミング言語などの手続き型プログラミング言語を含む１つもしくは複数のプログラミング言語の任意の組み合わせで書かれたソースコードもしくはオブジェクトコードであってよい。コンピュータ可読プログラム命令は、スタンドアロンのソフトウェアパッケージとして完全にユーザのコンピュータ上で実行されてもよいし、部分的にユーザのコンピュータ上で実行されてもよいし、部分的にユーザのコンピュータ上で実行されかつ部分的にリモートコンピュータ上で実行されてもよいし、完全にリモートコンピュータまたはサーバ上で実行されてもよい。後者の状況では、リモートコンピュータは、ローカルエリアネットワーク（ＬＡＮ）もしくはワイドエリアネットワーク（ＷＡＮ）を含む任意の種類のネットワークを介して、ユーザのコンピュータに接続されてもよいし、または（たとえばインターネットサービスプロバイダを使用するインターネットを介して）外部コンピュータへの接続が行われてもよい。いくつかの実施形態において、たとえばプログラマブルロジック回路、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）、またはプログラマブルロジックアレイ（ＰＬＡ）を含む電子回路は、本発明の態様を実施するために、コンピュータ可読プログラム命令の状態情報を利用して電子回路をパーソナライズすることにより、コンピュータ可読プログラム命令を実行してよい。

【0040】

本発明の態様は、本発明の実施形態による方法、装置（システム）、およびコンピュータプログラム製品のフローチャート図、もしくはブロック図、またはその両方を参照しながら、本明細書において説明されている。フローチャート図もしくはブロック図またはその両方の各ブロック、およびフローチャート図もしくはブロック図またはその両方のブロックの組み合わせは、コンピュータ可読プログラム命令によって実装可能であることが理解されよう。

【0041】

これらのコンピュータ可読プログラム命令は、汎用コンピュータ、専用コンピュータ、または他のプログラマブルデータ処理装置のプロセッサに提供されて、機械が作り出されてよく、それにより、コンピュータもしくは他のプログラマブルデータ処理装置のプロセッサを介して実行される命令は、フローチャートもしくはブロック図またはその両方のブロックに明示された機能／動作を実装するための手段を制作する。また、これらのコンピュータ可読プログラム命令は、コンピュータ、プログラマブルデータ処理装置、もしくは他のデバイス、またはそれらの組み合わせを特定の態様で機能するように導くことができるコンピュータ可読記憶媒体に記憶されてもよく、それにより、中に命令が記憶されたコンピュータ可読記憶媒体は、フローチャートもしくはブロック図またはその両方のブロックに明示された機能／動作の態様を実装する命令を含む製造物品を備える。

【0042】

また、コンピュータ可読プログラム命令は、コンピュータ、他のプログラマブルデータ処理装置、または他のデバイスにロードされて、このコンピュータ、他のプログラマブル装置、または他のデバイス上で、一連の動作ステップを実施させて、コンピュータ実装プロセスを作り出してもよく、それにより、このコンピュータ、他のプログラマブル装置、または他のデバイス上で実行される命令は、フローチャートもしくはブロック図またはその両方のブロックに明示された機能／動作を実装する。

【0043】

図中のフローチャートおよびブロック図は、本発明の様々な実施形態によるシステム、方法、およびコンピュータプログラム製品の可能な実装形態のアーキテクチャ、機能、および動作を示している。これに関して、フローチャートまたはブロック図の各ブロックは、明示された論理機能を実装するための１つまたは複数の実行可能命令を含む命令のモジュール、セグメント、または部分を表してよい。いくつかの代替的な実装形態において、ブロックに記された機能は、図に記された順序通りではない順序で生じてよい。たとえば、連続して示してある２つのブロックは、実際には実質的に同時に実行されてもよいし、複数のブロックは、必要な機能に応じて、場合により逆の順序で実行されてもよい。また、ブロック図もしくはフローチャート図またはその両方の各ブロック、およびブロック図もしくはフローチャート図またはその両方のブロックの組み合わせは、明示された機能もしくは動作を実施する専用ハードウェアベースシステムによって実装されてもよいし、専用ハードウェアとコンピュータ命令との組み合わせを実行してもよいことも留意すべきである。

【0044】

特定の実施形態が示され説明されてきたが、本発明およびより広範なその態様から逸脱することなく、本明細書の教示に基づき、変更および修正がなされてよいことが、当業者には明らかであろう。したがって、添付の特許請求の範囲は、そのような変更および修正の全てを、本発明の真の趣旨および範囲内にあるものと同様に、その範囲内に包含するものである。さらに、本発明は、添付の特許請求の範囲によってのみ定義されることを理解すべきである。導入される請求項要素の具体的な数が意図されている場合には、そのような意図が明示的に請求項に述べられており、そのような記述がなければそのような限定は存在しないことが、当業者によって理解されよう。非限定的な例について、理解の助けとして、以下の添付の特許請求の範囲は、請求項要素を導入するための導入句「少なくとも１つ」および「１つまたは複数」の使用を含んでいる。しかし、そのような句の使用は、不定冠詞「ａ」または「ａｎ」による請求項要素の導入が、そのように導入された請求項要素を含む任意の特定の請求項を、そのような１つの要素のみを含む発明に限定することを示唆すると解釈されるべきではなく、これは同じ請求項が、導入句「１つまたは複数」または「少なくとも１つ」と、「ａ」または「ａｎ」などの不定冠詞とを含んでいる場合にもそうであり、同じことが、請求項における定冠詞の使用にも当てはまる。

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】