特許 7674795 機械学習に基づくデータ・モニタリング

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2025-04-30

(45)【発行日】2025-05-12

(54)【発明の名称】機械学習に基づくデータ・モニタリング

(51)【国際特許分類】

   G06F 16/21 20190101AFI20250501BHJP

【ＦＩ】

G06F16/21

【請求項の数】 12

(21)【出願番号】P 2022556221

(86)(22)【出願日】2021-02-24

(65)【公表番号】

(43)【公表日】2023-05-08

(86)【国際出願番号】 IB2021051533

(87)【国際公開番号】W WO2021191704

(87)【国際公開日】2021-09-30

【審査請求日】2023-07-21

(31)【優先権主張番号】16/832,215

(32)【優先日】2020-03-27

(33)【優先権主張国・地域又は機関】US

(73)【特許権者】

【識別番号】390009531

【氏名又は名称】インターナショナル・ビジネス・マシーンズ・コーポレーション

【氏名又は名称原語表記】ＩＮＴＥＲＮＡＴＩＯＮＡＬ ＢＵＳＩＮＥＳＳ ＭＡＣＨＩＮＥＳ ＣＯＲＰＯＲＡＴＩＯＮ

【住所又は居所原語表記】Ｎｅｗ Ｏｒｃｈａｒｄ Ｒｏａｄ， Ａｒｍｏｎｋ， Ｎｅｗ Ｙｏｒｋ １０５０４， Ｕｎｉｔｅｄ Ｓｔａｔｅｓ ｏｆ Ａｍｅｒｉｃａ

(74)【代理人】

【識別番号】100112690

【弁理士】

【氏名又は名称】太佐 種一

(74)【代理人】

【識別番号】100120710

【弁理士】

【氏名又は名称】片岡 忠彦

(72)【発明者】

【氏名】ビガージ、ラファル

(72)【発明者】

【氏名】クミエロウスキ、ルーカス

(72)【発明者】

【氏名】ソバラ、ヴォイチェフ

(72)【発明者】

【氏名】エラスムス、マクシミリアン

【審査官】酒井 恭信

(56)【参考文献】

【文献】特開２０１５－０１１６９０（ＪＰ，Ａ）

【文献】特開２０１７－１２２９８１（ＪＰ，Ａ）

【文献】中国特許出願公開第１０７３９２３１９（ＣＮ，Ａ）

【文献】米国特許出願公開第２０１９／０２９５００３（ＵＳ，Ａ１）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ０６Ｆ １６／００ － １６／９５８

(57)【特許請求の範囲】

【請求項1】

データ・トランザクションを実行し、機械学習（ＭＬ）モデルを使用して前記データ・トランザクションの特性を評価するように構成されているコンピュータ・システムに実装される方法であって、前記方法は、前記コンピュータ・システムによって、
前記データ・トランザクションのレコードの属性のうち、所定の属性に基づき、第１の分析ビンのセットを決定することであって、前記第１の分析ビンのセットは前記データ・トランザクションの前記レコードのうち前記所定の属性の値を有する前記レコードのセットであり、
前記第１の分析ビンのセットの分析ビンの各々について、前記分析ビンの各々に関連付けられた前記データ・トランザクションの前記レコードに基づき、前記コンピュータ・システムの全体的性能メトリックを計算することであって、前記全体的性能メトリックは、前記コンピュータ・システムによるトランザクション実行性能を示し、
前記第１の分析ビンのセットの前記分析ビンの１つまたは複数が少なくとも所定の最小数のレコードを有していないことに応答して、
前記第１の分析ビンのセットを再定義して第２の分析ビンのセットを決定することであって、前記少なくとも所定の最小数のレコードを有していない前記分析ビンを他の前記分析ビンと結合することを含む、前記第２の分析ビンのセットを決定することと、
前記第２の分析ビンのセットの分析ビンの各々について、当該分析ビンの各々に関連付けられた前記レコードに基づき、前記ＭＬモデルの機械学習（ＭＬ）性能メトリックを計算することと、
前記第２の分析ビンのセットの前記分析ビンの各々の前記ＭＬ性能メトリックを使用して、前記第１の分析ビンのセットの前記分析ビンの各々の前記ＭＬ性能メトリックを推定することと、
前記第１の分析ビンのセットの前記分析ビンの各々が少なくとも前記最小数のレコードを有していることに応答して、前記第１の分析ビンのセットの前記分析ビンの各々の前記ＭＬ性能メトリックを計算することと、
前記第１の分析ビンのセットにわたる、前記全体的性能メトリックと前記ＭＬ性能メトリックとの間の相関に基づいて、さらに実行されるデータ・トランザクションの前記全体的性能メトリックと前記ＭＬ性能メトリックとの間の正の相関を可能にするように、前記ＭＬモデルを更新することと
を含む、方法。

【請求項2】

前記ＭＬモデルを更新することは、前記第１の分析ビンのセットにわたる前記全体的性能メトリックと前記ＭＬ性能メトリックとの間の前記相関が負またはゼロの相関であることに応答して、前記特性の評価の組合せを可能にするための追加的なＭＬモデルを追加することを含む、請求項１に記載の方法。

【請求項3】

前記ＭＬモデルを更新することは、前記第１の分析ビンのセットにわたる前記全体的性能メトリックと前記ＭＬ性能メトリックとの間の前記相関が正の相関であることに応答して、より大きな訓練データセットを使用して前記ＭＬモデルを再訓練することによって前記ＭＬモデルを改良することを含む、請求項１に記載の方法。

【請求項4】

前記属性は前記データ・トランザクションの発生時刻であり、
前記第１の分析ビンのセットの前記分析ビンの各々は時間間隔を表し、前記第２の分析ビンのセットの前記分析ビンは、前記第１の分析ビンのセットの時間的に連続する前記分析ビンのうちの２つ以上を結合することによって取得され、
前記推定することは、前記第２の分析ビンのセットの関数として前記ＭＬ性能メトリックの変動をモデリングすることによって実行され、
前記ＭＬ性能メトリックは、前記ＭＬモデルを使用して計算される、請求項１ないし３のいずれかに記載の方法。

【請求項5】

前記モデリングすることは、前記第２の分析ビンのセットにわたって前記ＭＬ性能メトリックの分布を当てはめることを含む、請求項４に記載の方法。

【請求項6】

データ・トランザクションを実行し、機械学習（ＭＬ）モデルを使用して前記データ・トランザクションの特性を評価するように構成されているコンピュータ・システムに実装された方法であって、前記方法は、前記コンピュータ・システムによって、
前記データ・トランザクションのレコードの属性のうち、所定の複数の属性に基づき、第１の分析ビンのセットを決定することであって、前記第１の分析ビンのセットは、前記複数の属性にそれぞれ基づく複数のクラスタを含み、前記クラスタの各々は、前記データ・トランザクションの前記レコードのうち前記属性の値を有する前記レコードのセットを含む、前記第１の分析ビンのセットを決定することと、
前記第１の分析ビンのセットの分析ビンの各々について、前記分析ビンの各々に関連付けられた前記データ・トランザクションの前記レコードに基づき、前記コンピュータ・システムの全体的性能メトリックを計算することであって、前記全体的性能メトリックは、前記コンピュータ・システムによるトランザクション実行性能を示し、
前記第１の分析ビンのセットを再定義して第３の分析ビンのセットを決定することであって、関連する前記クラスタ間で互いに所定の距離を有する前記分析ビンの２つ以上を結合することを含む、前記第３の分析ビンのセットを決定することと、
前記第３の分析ビンのセットの分析ビンの各々について、当該分析ビンの各々に関連付けられた前記レコードに基づき、前記ＭＬモデルの機械学習（ＭＬ）性能メトリックを計算することと、
前記第３の分析ビンのセットの前記分析ビンの各々の前記ＭＬ性能メトリックを使用して、前記第１の分析ビンのセットの前記分析ビンの各々の前記ＭＬ性能メトリックを推定することと
前記第１の分析ビンのセットにわたる、前記全体的性能メトリックと前記ＭＬ性能メトリックとの間の相関に基づいて、さらに実行されるデータ・トランザクションの前記全体的性能メトリックと前記ＭＬ性能メトリックとの間の正の相関を可能にするように、前記ＭＬモデルを更新することと
を含む、方法。

【請求項7】

前記方法は、前記更新された前記ＭＬモデルを使用した前記コンピュータ・システムで実行された前記データ・トランザクションのレコードに基づくさらなる分析ビンのセットに対して反復される、請求項１ないし６のいずれかに記載の方法。

【請求項8】

異なる前記ＭＬ性能メトリックに対して前記方法を反復することをさらに含む、請求項１ないし７のいずれかに記載の方法。

【請求項9】

前記ＭＬ性能メトリックは、前記ＭＬモデルの予測の正確度、および公平性スコアからなる群から選択される、請求項１ないし８のいずれかに記載の方法。

【請求項10】

コンピュータ・システムであって、前記コンピュータ・システムは、
メモリと、
プロセッサと
を備え、
データ・トランザクションを実行し、機械学習（ＭＬ）モデルを使用して前記データ・トランザクションの特性を評価するように構成されており、
前記プロセッサは前記メモリに通信可能に結合され、前記プロセッサは、
前記データ・トランザクションのレコードの属性のうち、所定の属性に基づき、第１の分析ビンのセットを決定することであって、前記第１の分析ビンのセットは前記データ・トランザクションのレコードの属性のうち前記所定の属性の値を有する前記レコードのセットであり、
前記第１の分析ビンのセットの分析ビンの各々について、前記分析ビンの各々に関連付けられた前記データ・トランザクションの前記レコードに基づき、前記コンピュータ・システムの全体的性能メトリックを計算することであって、前記全体的性能メトリックは、前記コンピュータ・システムによるトランザクション実行性能を示し、
前記第１の分析ビンのセットの前記分析ビンの１つまたは複数のビンが少なくとも所定の最小数のレコードを有していない場合に、
前記第１の分析ビンのセットを再定義して第２の分析ビンのセットを決定することであって、前記少なくとも所定の最小数のレコードを有していない前記分析ビンを他の前記分析ビンと結合することを含む、前記第２の分析ビンのセットを決定することと、
前記第２の分析ビンのセットの分析ビンの各々について、前記第２の分析ビンのセットの前記分析ビンの各々に関連付けられた前記データ・トランザクションの前記レコードに基づき、機械学習（ＭＬ）モデルのＭＬ性能メトリックを計算することと、
前記第２の分析ビンのセットの前記分析ビンの各々の前記ＭＬ性能メトリックを使用して、前記第１の分析ビンのセットの前記分析ビンの各々の前記ＭＬ性能メトリックを推定することと、
前記第１の分析ビンのセットの前記分析ビンの各々が少なくとも前記最小数のレコードを有している場合に、前記第１の分析ビンのセットの前記分析ビンの各々の前記ＭＬ性能メトリックを計算することと、
前記第１の分析ビンのセットにわたる、前記全体的性能メトリックと前記ＭＬ性能メトリックとの間の相関に基づいて、さらに実行されるデータ・トランザクションの前記全体的性能メトリックと前記ＭＬ性能メトリックとの間の正の相関を可能にするように、前記ＭＬモデルを更新することと
を実行する、システム。

【請求項11】

コンピュータ・システムであって、前記コンピュータ・システムは、
メモリと、
プロセッサと
を備え、
データ・トランザクションを実行し、機械学習（ＭＬ）モデルを使用して前記データ・トランザクションの特性を評価するように構成されており、
前記プロセッサは前記メモリに通信可能に結合され、前記プロセッサは、
前記データ・トランザクションのレコードの属性のうち、所定の複数の属性に基づき、第１の分析ビンのセットを決定することであって、前記第１の分析ビンのセットは、前記複数の属性にそれぞれ基づく複数のクラスタを含み、前記クラスタの各々は、前記データ・トランザクションの前記レコードのうち前記属性の値を有する前記レコードのセットを含む、前記第１の分析ビンのセットを決定することと、
前記第１の分析ビンのセットの分析ビンの各々について、前記分析ビンに関連付けられた前記データ・トランザクションの前記レコードに基づき、前記コンピュータ・システムの全体的性能メトリックを計算することであって、前記全体的性能メトリックは、前記コンピュータ・システムによるトランザクション実行性能を示し、
前記第１の分析ビンのセットを再定義して第３の分析ビンのセットを決定することであって、関連する前記クラスタ間で互いに所定の距離を有する前記分析ビンの２つ以上を結合することを含む、前記第３の分析ビンのセットを決定することと、
前記第３の分析ビンのセットの分析ビンの各々について、前記分析ビンに関連付けられた前記レコードに基づき、前記ＭＬモデルの機械学習（ＭＬ）性能メトリックを計算することと、
前記第３の分析ビンのセットの前記分析ビンの各々の前記ＭＬ性能メトリックを使用して、前記第１の分析ビンのセットの前記分析ビンの各々の前記ＭＬ性能メトリックを推定することと
前記第１の分析ビンのセットにわたる、前記全体的性能メトリックと前記ＭＬ性能メトリックとの間の相関に基づいて、さらに実行されるデータ・トランザクションの前記全体的性能メトリックと前記ＭＬ性能メトリックとの間の正の相関を可能にするように、前記ＭＬモデルを更新することと
を実行する、システム。

【請求項12】

コンピュータ・プログラムであって、コンピュータに、請求項１ないし９のいずれかに記載の方法を実行させるためのコンピュータ・プログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本開示は、デジタル・コンピュータ・システムの分野に関し、より詳細には、コンピュータ・システムの動作を制御する方法に関する。

【背景技術】

【0002】

機械学習モデルがデータ・モニタリングにおいてますます使用されるようになっている。しかし、機械学習モデルは、例えば、ラベルにおける先入観、アンダー／オーバーサンプリングのうちの１つまたは複数による、訓練データにおけるバイアス、または望ましくないバイアスを持ったモデルの生成のようないくつかの理由のため不正確であり得る。機械学習のモニタリングは、これらのバイアスを常に特定するとは限らない。

【発明の概要】

【0003】

本開示によって記載されるように、さまざまな実施形態が、コンピュータ・システムの動作を制御するための、方法、システム、およびコンピュータ・プログラム製品を提供する。一態様では、本開示は、コンピュータ・システムの動作を制御することに関し、コンピュータ・システムは、データ・トランザクションを実行し、機械学習（ＭＬ）モデルを使用してデータ・トランザクションの特性を評価するように構成される。

【0004】

分析ビン（bin）のセットが決定される。分析ビンはデータ・トランザクションのレコードの属性の値のセットを表す。コンピュータ・システムの全体的性能メトリックが計算される。全体的性能メトリックは、分析ビンのセットの各分析ビンに対して、分析ビンによって表される属性値を有するトランザクションのレコードを使用して、コンピュータ・システムのトランザクション実行性能を示す。分析ビンのセットの１つまたは複数の分析ビンが少なくとも所定の最小数のレコードを有していない場合に、分析ビンのセットの分析ビンを結合することにより分析ビンの新しいセットを再定義する。分析ビンの再定義されたセットの各分析ビンに対して、各分析ビンによって表される属性値を有するレコードを使用してＭＬモデルの機械学習性能メトリックを計算する。再定義された分析ビンのセットのＭＬ性能メトリックを使用して、分析ビンのセットの各ビン内のＭＬ性能メトリックを推定する。分析ビンのセットの各分析ビンが少なくとも最小数のレコードを有している場合に、分析ビンのセットの各分析ビン内のＭＬ性能メトリックを計算する。コンピュータ・システムは、計算された全体的性能メトリックとＭＬ性能メトリックとの間の分析ビンのセットにわたる相関に基づいて、さらに実行されるデータ・トランザクションの全体的性能メトリックとＭＬ性能メトリックとの間の正の相関を可能にするように構成される。

【0005】

以下で、本開示の実施形態が、単なる例として、次の図面を参照して、より詳細に説明される。

【図面の簡単な説明】

【0006】

【図1】本開示の一例によるコンピュータ・システムの動作を制御する方法のフローチャートである。

【図2A】本開示の一例によるメトリックを計算するための分析ビンを定義する方法のフローチャートである。

【図2B】本開示の一例による分析およびメトリック値を例示するダイヤグラムである。

【図3A】本開示の一例によるメトリックを計算するための分析ビンを定義する方法のフローチャートである。

【図3B】本開示の一例による分析ビンを例示するダイヤグラムである。

【図4】本開示に関連する１つまたは複数の方法ステップを実装するのに適したコンピュータ化されたシステムを表す図である。

【発明を実施するための形態】

【0007】

本開示のさまざまな実施形態の説明は、例示の目的のために提示されるが、網羅的であることは意図されず、また、開示される実施形態に限定されない。多くの変更例および変形例が、記載される実施形態の範囲および思想から逸脱することなく、当業者には明らかであろう。本明細書で使用される用語は、実施形態の原理、実際的応用もしくは市場に見出される技術を超える技術的改良を最も良く説明するため、または他の当業者が本明細書に開示される実施形態を理解することを可能にするために、選択された。

【0008】

データの連続的増加により、データから洞察を抽出することを助けるための人工知能（ＡＩ）ソリューションにおける多大な投資が行われている。しかし、信頼できる正確なシステム構成を提供するために正しいＡＩサービスを選択することは困難である。

【0009】

本開示は、コンピュータ・システムが（例えば、より少ないメモリを使用し、より正確な結果を提供し、機械学習モデルのより少ない反復を使用して）より効率的に動作することができるように、機械学習システム（ＭＬＳ：machine learning system）がＡＩソリューションを評価し、改良し、または更新することを可能にし得る。例えば、コンピュータ・システムは、ＭＬＳを活用して、適応されていないＡＩソリューションによって引き起こされる不要で余分な動作の処理を防ぐことができる。

【0010】

人工知能ソリューションを使用してデータ・トランザクションをモニタリングするとき、既存の機械学習モデルの改良のための投資から得ることができる技術的利益を特定することが重要となり得る。そのため、機械学習モデルのメトリック値と全体的指標値との間の相関を有利に使用して、意味ある推奨を提供することができる。特に、ＭＬＳのコンピュータ・システム構成は、特定のＡＩメトリックに依拠するだけでなく、全体的プロセスに与える影響にも依拠することがある。ＭＬＳは、（例えば、全体的指標値を使用して）全体的影響を測定するように構成され得る。さらに、本開示のＭＬＳは、機械学習モデルのメトリック値が決定されない（ＡＩメトリックの計算が大量のデータを必要とする）ような相対的に稀なデータ（例えば、入手可能なデータの欠如）の場合に有利であり得る。本開示のＭＬＳは、不十分なデータの問題を解決するために、機械学習モデルのメトリック値の近似を提供し得る。

【0011】

いくつかの実施形態によれば、ＭＬＳは、相関が負またはゼロの相関である場合に、更新を実行することができ、更新を実行することは、ＭＬモデルを再訓練すること、特性の複合的な評価を提供するための追加的なＭＬモデルを追加すること、またはＭＬモデルを別のＭＬモデルで置換することのうちのいずれか１つを含むことができ、コンピュータ・システムの構成は、さらなるトランザクションを評価するために、実行された更新を使用することを含む。

【0012】

例えば、追加的なＭＬモデルを追加した後、ＭＬモデルのそれぞれに対してＭＬ性能メトリックが計算され、結果として得られる値を組み合わせることができる。組合せは、例えば、値の加重和または平均であり得る。加重和は、例えば、ＭＬモデルに関連づけられた重みを使用し得る。重みは、例えば、ユーザ定義される。

【0013】

ＭＬＳのいくつかの実施形態によれば、分析ビンのセットにおける全体的性能メトリックとＭＬ性能メトリックとの間の相関がない場合に、ＭＬモデルは別のＭＬモデルで置換され得る。

【0014】

ＭＬＳのいくつかの実施形態によれば、分析ビンのセットにおける全体的性能メトリックとＭＬ性能メトリックとの間の相関が正の相関である場合に、これはＭＬモデルの改良を示し、ＭＬモデルを再訓練することを含み得る。

【0015】

ＭＬモデルは、例えば、所与のタイプのデータ（例えば、所与の地域、セット、領域などのデータ）に合わせて訓練または適応されている場合がある。再訓練は、例えば、ＭＬモデルを最初に訓練するために以前に使用された訓練セットのサイズを増大させることによって実行されることができ、再訓練は、増大したサイズの訓練セットを使用して実行される。別の例では、再訓練は、最新データを含む新しい訓練セットを使用して実行され得る。これは、データ・トランザクション処理の正確なモニタリングのために使用され得るようにＭＬモデルを更新することができる。

【0016】

一例では、コンピュータ・システムは、コンピュータ・システムにおけるデータ・トランザクションの所与のモニタリング・プロセスの一部として、ＭＬ性能メトリックの計算を実行するように構成され得る。例えば、コンピュータ・システムは、ＭＬ性能メトリックの値が不審な場合に警報を出すこと、または実行を停止することができる。この実行された更新により、コンピュータ・システムは、例えば、適応されていないＭＬモデルによってトリガされる誤警告アラームを防止することによって、さらなるデータ・トランザクションのモニタリングを改良することが可能となり得る。これは、不要な警告アラームによって消費されるコンピュータ・システムのリソースを節約することができる。

【0017】

いくつかの実施形態によれば、属性はデータ・トランザクションの発生時刻であり、分析ビンのセットの各ビンは時間間隔を表し、再定義されたビンのうちの１つの再定義されたビンは、分析ビンのセットの２つ以上の連続するビンを併合することによって取得され、推定は、再定義されたビンの関数としてＭＬ性能メトリックの変動をモデリングし、分析ビンのセットにおけるＭＬメトリックの値を決定するためにモデルを使用することによって実行される。これは、モニタリング・システムのほとんどが時間の関数としてデータのモニタリングを実行するため、既存のシステムとシームレスに統合され得る。これは、問題点を事前に特定し適時に反応するという利点をさらに有し得る。例えば、コンピュータ・システムはその継続時間の直後に構成されるであろうから、問題はせいぜい分析ビンのセットの継続時間だけ継続するであろう。

【0018】

いくつかの実施形態によれば、モデリングすることは、再定義されたビンにわたってＭＬ性能メトリックの分布を当てはめることを含む。当てはめは、特定の数学的基準に従ってデータ点に最もぴったり合う関係を推定するための線型回帰などの回帰分析を含む。これは、ＭＬ性能メトリックの値の系統的で正確な推定を可能にし得る。メトリック値の正確な推定は、コンピュータ・システムの確実な制御／動作を可能にし得る。これは、移動平均計算の場合と同様にして、より長い時間間隔をカバーする、より大きいサブセットでの機械学習モデルのメトリック値の計算を可能にし得る。そして、計算されたメトリックは、例えば３次スプライン近似を使用して、より粒度の高い結果を計算するために使用され得る。

【0019】

いくつかの実施形態によれば、分析ビンのセットの各分析ビンは、データ・トランザクションのレコードの異なる属性の値のセットを表すことができ、値のセットは、異なる属性を使用して形成されたレコードのクラスタの値であり、再定義されたビンのうちの１つの再定義されたビンは、関連づけられたクラスタが互いに所定の距離を有する分析ビンのセットの２つ以上のビンを併合することによって取得される。

【0020】

例えば、分析ビンのセットの各ビンＢ＿ｉは、それぞれの属性Ａｔｔ＿ｉに関連づけられ得る。所定の期間中にコンピュータ・システムによって実行されたデータ・トランザクション（例えば、前月のトランザクション）を記述するデータ・レコードは、属性Ａｔｔ＿ｉの値に基づいて分割されることができ、分析ビンのセットの各ビンがレコードのそれぞれのクラスタに関連づけられるように、１つのクラスタが各別個の属性Ａｔｔ＿ｉごとに作成され得る。それらのクラスタは、結合されたクラスタの結果として得られるセットが、それぞれの再定義されたビンに関連づけられるように結合されることができ、例えば、各再定義されたビンは、結合されたクラスタのそれぞれのセットに関連づけられることができる。結合されたクラスタの各セットは、それらに対する機械学習モデルのメトリック値の計算を可能にするほど十分なデータを有し得る。各セットの結合されたクラスタは、定義された距離よりも小さいクラスタの中心間距離を有し得る。各セットの結合されたクラスタは、クラスタの中心間の最小距離を有し得る。別の例では、結合されたクラスタのセットはユーザ定義され得る。これは、入力レコードの類似性に基づくデータ・スライシングへの緻密なアプローチを可能にし得る。これは、異なる属性を使用したトランザクションの柔軟なモニタリングを可能にし得る。

【0021】

いくつかの実施形態によれば、ＭＬ性能メトリックの推定は次のことを含み得る。分析ビンのセットの各ビンに対して、そのビンに関連づけられたクラスタｊのＭＬ性能メトリックが次のように定義される：ｓｕｍ（ｗｉ＊ｍｉ）／ｓｕｍ（ｗｉ）。ただし、ｍｉは結合されたクラスタのセットｉのＭＬメトリックであり、ｗｉは次のように計算される：ｍｅａｎＤｔｏＪ／ｍａｘＤ＊ｎＰｉｎＪ／ｎＰｉｎＣｌｓ。ただし、ｍｅａｎＤｔｏＪは結合されたクラスタのセットｉの中心とクラスタｊの中心との間の平均距離であり、ｍａｘＤは結合されたクラスタのセットｉの中心間の最大距離であり、ｎＰｉｎＪはクラスタｊ内のデータ点の数であり、ｎＰｉｎＣｌｓは結合されたクラスタのセットｉ内のデータ点の数である。これは正確な計算を可能にする。そして、計算されたメトリックは、加重算術平均を使用して、より粒度の高い結果を計算するために使用され得る。

【0022】

いくつかの実施形態によれば、本方法は、コンピュータ・システムの実行時に実行され得る。これは、データの実時間モニタリングのために有利である。本番環境における機械学習モデルのモニタリングは、実時間で実行される評価ペイロードのデータ分析に基づき、公平性スコア、正確度低下（ドリフト・メトリック）などのようなメトリックを計算することができる。機械学習モデルのメトリック値および全体的プロセスの指標値をまとめて、時間ベースのデータ分割、クラスタリング、または他のデータ・スライシング方法に基づく相関発見を可能にすることができる。

【0023】

いくつかの実施形態によれば、本方法は、制御されたコンピュータ・システムを使用した分析ビンのさらなるセットに対して反復され得る。例えば、分析ビンのセットは、現在の期間、例えば今週、をカバーする分析ビンの現在のセットであり得る。これは、現在の期間に後続する次の期間のトランザクション・データのさらなるモニタリングを可能にし得る。これは、データ・トランザクションの中断のないモニタリングを可能にし得る。

【0024】

いくつかの実施形態によれば、ＭＬＳは、異なるＭＬ性能メトリックに対するさらなる反復を含む。例えば、分析ビンのセットの決定および全体的性能メトリックの計算以外のいくつかのステップは、別のＭＬ性能メトリックに対して反復され得る。

【0025】

いくつかの実施形態によれば、分析ビンは等しいサイズのビンである。

【0026】

いくつかの実施形態によれば、全体的性能メトリックまたはＭＬ性能メトリックの計算は、計算されたメトリックを正規化することをさらに含む。

【0027】

これらの実施形態は、データの量およびビンの数とともにスケーラブルである分析を可能にし得る。

【0028】

いくつかの実施形態によれば、ＭＬＳは、収集されたレコードに対して計算を実行するために、分析ビンのセットの各分析ビンに関連づけられたデータ・トランザクションのレコードを収集することをさらに含む。

【0029】

いくつかの実施形態によれば、全体的性能メトリックは重要業績評価指標（ＫＰＩ）である。重要業績評価指標は、コンピュータ・システムの性能に対するコンテクストを提供するための１つまたは複数のメトリックを含み得る。

【0030】

いくつかの実施形態によれば、ＭＬ性能メトリックは、ＭＬモデルの予測の正確度、および公平性スコアのうちの１つである。

【0031】

図１は、本開示の一例によるコンピュータ・システムの動作を制御する方法のフローチャートである。コンピュータ・システムは、例えば、データ・トランザクションを実行または実施するように構成され得る。データ・トランザクションは、ともにタスクを実行する動作のセットであり得る。データ・トランザクションは、例えば、口座の借方もしくは貸方に記帳すること、または在庫リストを要求することなどのタスクを実行し得る。データ・トランザクションは、１つまたは複数のデータ・レコードによって記述され得る。データ・レコードは、データ・トランザクションなどを要求した特定のユーザの名前、誕生日、およびクラスなどの関連するデータ項目の集合体である。レコードは実体を表し、実体は、ユーザ、オブジェクト、トランザクション、またはコンセプトを参照し、それらに関する情報がレコードに記憶される。「データ・レコード」および「レコード」という用語は区別なく使用される。データ・レコードは、関係を有する実体としてグラフ・データベースに記憶されることができ、その場合に各レコードは、名前、誕生日などのような属性値であるプロパティを用いて、グラフのノードまたは頂点に割り当てられ得る。データ・レコードは、別の例では、リレーショナル・データベースのレコードであり得る。

【0032】

データ・トランザクションは、その特徴またはプロパティを決定するために評価され得る。評価は、例えば、データ・トランザクションが異常、セキュアでないトランザクション、などであるかどうかを示し得る。評価は、例えば、訓練されたＭＬモデルを使用して実行され得る。ＭＬモデルは、例えばセンサ・データを含む過去の電気通信資産障害データで例えば訓練され、資産障害が機能停止を引き起こす前に資産障害を予測することができる。しかし、情報技術の運用は、ＭＬモデルが正確に障害を予測していることを保証する必要があるが、データは非常に複雑である。別の例では、ＭＬモデルは、過去の成功および不成功の予測オーバーライド・データで訓練され得る。訓練されたＭＬモデルは、需要プランナがその需要予測を調整する助けとなり得る。しかし、訓練されたＭＬモデルは、ＡＩ搭載アプリケーションが、知識労働者によって生産されるものと同程度に正確な結果を常に出していることをチェックすることができるように、例えば一定時間にわたるその正確度についてモニタリングされることが必要な場合がある。さらなる例では、ＭＬモデルは、不審なパターンを特定するために過去のトランザクション・データで訓練され得る。訓練されたモデルは、銀行が絶えず変化する規制に追随することを助けるためにモニタリングされることが必要な場合があり、経済犯罪アナリストがそのモデルの警報分析の背景にある推論を理解することを可能にし、アナリストはどの警報を却下し、どの警報を拡大するかについて決定することができる。

【0033】

動作１０１で、分析ビンのセット（明確化の目的で「ＩｎｉｔＳｅｔ」と称する）が決定され得る。分析ビンは、データ・トランザクションのレコードの分析属性の値のセットを表す。分析ビンのセットは、等しい幅またはサイズであってもなくてもよい。分析属性は、例えば、データ・トランザクションの発生時刻であり得る。この場合、分析ビンのセットは、例えば、ある時間範囲、例えば１か月の時間範囲をカバーすることができ、分析ビンのそれぞれは、それぞれの時間範囲、例えば、その月の第１週の時間範囲をカバーすることができる。別の例では、分析属性は、データ・トランザクションを要求したユーザの年齢であり得る。この場合、分析ビンのセットは、例えば、１８歳から１００歳の間の年齢をカバーすることができ、分析ビンのそれぞれは、それぞれの時間範囲、例えば、８０～１００歳の時間範囲をカバーすることができる。説明の簡略化のために、分析ビンのセットＩｎｉｔＳｅｔは１０個のビンＢ１～Ｂ１０を含むと仮定する。

【0034】

コンピュータ・システムによって実行されるデータ・トランザクションは、分析ビンのセットのそれぞれの分析ビンに関連づけられ得る。上記の例を続けると、８０歳と１００歳の間の年齢を有するユーザによってトリガされたすべてのトランザクションが、分析ビン［８０，１００］に関連づけられ得る。これは、分析ビンのセットの各分析ビンＸがデータ・レコードに関連づけられることができ、データ・レコードのうちの各データ・レコードは、分析ビンＸ内に入る分析属性の値を有することを意味する。

【0035】

一例では、分析ビンのセットはユーザ定義されることができ、例えば、動作１０１で、ユーザ入力が受信されることができ、ユーザ入力は分析ビンのセットを示す。別の例では、分析ビンの複数のセットが事前に定義される（例えば、事前に記憶される）ことができ、動作１０１の分析ビンのセットの決定は、分析ビンの所定の複数のセットのうちから分析ビンの１つのセットを（例えば、ランダムに）選択することを含み得る。一例では、分析ビンのセットは、分析ビンのセットの各分析ビンに関連づけられたトランザクションの数が、所定のトランザクション数閾値よりも大きくなるように決定され得る。このトランザクション数閾値は、例えば、全体的性能メトリックを評価するための全体的性能分析を実行するために十分であり得る。

【0036】

動作１０３で、コンピュータ・システムの全体的性能メトリックが、分析ビンのセットの各ビンに対して計算され得る。計算は、分析ビンによって表される属性値を有するトランザクションのレコードを使用して実行され得る。全体的性能メトリックは、例えば、平均トランザクション継続時間であり得る。その場合、分析ビンのセットの各分析ビンＸに対して、トランザクション継続時間が、分析ビンＸに関連づけられたトランザクションのうちの各トランザクションに対して決定され得る。そして、決定されたトランザクション継続時間の平均が計算され、分析ビンＸに割り当てられ得る。別の例では、全体的性能メトリックは、失敗したトランザクションの数であり得る。その場合、分析ビンのセットの各分析ビンＸに対して、そのビンＸの失敗したトランザクションの数が決定され得る。

【0037】

トランザクションを記述するデータ・レコードは１つまたは複数のタイプであり得る。例えば、トランザクションは、トランザクションの全体的プロパティ／属性を記述する全体的レコードと、トランザクションに対してＭＬモデルを実行した結果を記述する別のＭＬレコードとに関連づけられ得る。全体的レコードは、全体的属性を含み得る。ＭＬレコードは、ＭＬ属性を含み得る。ＭＬレコードは、ペイロード・ロギング・テーブルのレコードであり得る。全体的レコードおよびＭＬレコードは、両方のレコードに属するトランザクションＩＤによって互いに連結され得る。別の例では、単一タイプのレコードを使用してトランザクションを記述することができ、例えば、単一タイプのレコードは、全体的レコードおよびＭＬレコードの両方の属性を含み得る。この単一のレコードは、ＭＬモデルがその単一のレコードのトランザクションに対して実行されない場合、ＭＬ属性に対する空の値を含み得る。

【0038】

分析ビンのセットの１つまたは複数の分析ビンに対するレコード数が所定の最小レコード数よりも小さいかどうかが判定され得る（照会動作１０５）。最小レコード数を下回るレコード数は、動作１０３における全体的性能メトリックを計算するためには十分であり得るが、所与のビン内でＭＬ性能モニタリングを実行するためには十分でない可能性がある。２つの異なるタイプのレコードの場合、照会動作１０５がＭＬレコードに対して実行され得る。例えば、照会動作１０５で、分析ビンのセットの１つまたは複数の分析ビンに対するＭＬレコード数が所定の最小レコード数よりも小さいかどうかが判定され得る。単一タイプのレコードの場合、照会動作１０５で、空でないＭＬ属性値を有するレコード数が所定の最小レコード数よりも小さいかどうかが判定され得る。例えば、照会動作１０５は次のように実行され得る。分析ビンのセットＩｎｉｔＳｅｔの各分析ビンＸは、分析属性値がビンＸ内に入るレコード数が所定の最小レコード数よりも小さいかどうかを判定するように処理され得る。

【0039】

分析ビンのセットＩｎｉｔＳｅｔの１つまたは複数の分析ビンに対するレコード数が所定の最小レコード数よりも小さいと判定された場合（照会動作１０５）、動作１０７～１１１が実行され、そうでない場合、動作１１３が実行される。例えば、ビンＢ２およびＢ５は、所定の最小レコード数よりも小さいレコード数を有すると判定された場合が想定される。

【0040】

動作１０７で、分析ビンの新しいまたは別のセット（明確化の目的で「ＮｅｗＳｅｔ」と称する）が決定または再定義され得る。ＩｎｉｔＳｅｔの上記の例を続けると、ビンの再定義されたセットＮｅｗＳｅｔはｎ個のビンｒＢ１～ｒＢｎを含むことができ、ただしｎ＜１０である。動作１０７は、例えば、分析ビンのセットＩｎｉｔＳｅｔの分析ビンを結合することによって実行され得る。上記の例を続けると、Ｂ２およびＢ５のみが所定の最小レコード数を下回るレコード数を有するので、ＩｎｉｔＳｅｔのビンＢ２およびＢ３は新しいビンｒＢ２を形成するように結合されることができ、ＩｎｉｔＳｅｔのビンＢ４およびＢ５は新しいビンｒＢ３を形成するように結合されることができる。この結果として、８個のビンｒＢ１～ｒＢ８の再定義されたセットＮｅｗＳｅｔが得られる。ただし、ｒＢ１はＢ１であり、ｒＢ４はＢ６であり、ｒＢ５はＢ７であり、ｒＢ６はＢ８であり、ｒＢ７はＢ９であり、ｒＢ８はＢ１０であり、すなわち、ｒＢ２およびｒＢ３は再定義される。これは、ビンの新しいセットを定義するために、分析ビンの既存のセットＩｎｉｔＳｅｔを利用し得る。これは、変更されていないビンに対する蓄積されたレコードが再利用可能であるため、リソースを節約し得る。別の例では、ビンの新しいセットＮｅｗＳｅｔは、ビンの新しいセットの各ビン内のレコード数が所定の最小レコード数よりも大きくなるようにビンの新しいセットＮｅｗＳｅｔに対する新しい幅を決定することによって、動作１０１の分析ビンのセットＩｎｉｔＳｅｔとは独立に定義され得る。

【0041】

ビンの再定義されたセットＮｅｗＳｅｔの各ビンｒＢに対して、動作１０９で、ＭＬモデルのＭＬ性能メトリックが、各ビンｒＢによって表される属性値を有するレコードを使用して計算され得る。ＭＬ性能メトリックは、例えば、ＭＬモデルの予測の正確度であり得る。例えば、ＭＬレコードのうちの各レコードは、レコードのデータ・トランザクションを評価するために使用されるＭＬ予測正確度を記述するＭＬ属性を含み得る。動作１０９で、再定義されたビンＮｅｗＳｅｔの各ビンに対して、ビンのＭＬ性能メトリックの値を提供するために、ビンのＭＬレコードの正確度が平均され得る。別の例では、ＭＬ性能メトリックは公平性スコアであり得る。

【0042】

上記の例を続けると、動作１０９の結果として、ＭＬ性能メトリックの８個の値を得ることができ、各値は、ビンの再定義されたセットＮｅｗＳｅｔのそれぞれのビンに関連づけられる。しかし、全体的性能メトリックは、ＩｎｉｔＳｅｔの分析ビンに対して１０回評価されている。これにより、２つのメトリック間の相関分析が最適ではなくなる可能性がある。それを解決するため、動作１１１で、再定義されたビンのセットＮｅｗＳｅｔのＭＬ性能メトリックを使用して、分析ビンのセットＩｎｉｔＳｅｔの各ビンにおいて、ＭＬ性能メトリックが推定され得る。例えば、ＮｅｗＳｅｔのビン内のＭＬ性能メトリックの８個の値を知ると、ＭＬ性能メトリックの１０個の値がＩｎｉｔＳｅｔのビンに対して導出され得る。上記の例を続けると、ＮｅｗＳｅｔのビンｒＢ１、ｒＢ４、ｒＢ５、ｒＢ６、ｒＢ７およびｒＢ８に対するＭＬ性能メトリックは、それぞれ、ビンＢ１、Ｂ６、Ｂ７、Ｂ８、Ｂ９およびＢ１０に対するものと同じであり得る。ＭＬ性能メトリックは、周辺のビン、例えば、Ｂ１、ｒＢ１、ｒＢ２およびＢ６のメトリック値を組み合わせることによって（または値を外挿することによって）ＩｎｉｔＳｅｔのビンＢ２～Ｂ５に対して推定され得る。推定を実行する他の例が図２～図３に示されている。

【0043】

分析ビンのセットＩｎｉｔＳｅｔの各ビンＢが所定の最小レコード数よりも大きいレコード数を有する場合、動作１１３が次のように実行され得る。ビンのセットＩｎｉｔＳｅｔの各ビンＢに対して、ＭＬモデルのＭＬ性能メトリックが、動作１１３で、各ビンＢによって表される属性値を有するレコードを使用して計算され得る。

【0044】

動作１１１または動作１１３を実行した後、ビンのセットＩｎｉｔＳｅｔの各ビンは、ＭＬ性能メトリックおよび全体的性能メトリックの値のペアを有する。これは、２つのメトリックの値をビンごとに比較することを可能にする。特に、ビンのセットＩｎｉｔＳｅｔにおけるＭＬ性能メトリックの変動の挙動が、ビンのセットＩｎｉｔＳｅｔにおける全体的性能メトリックの挙動と比較され得る。これは、２つのメトリックの正確な相関分析を可能にすることができ、したがって、相関が本方法によって確実に使用され得る。例えば、計算された全体的性能メトリックとＭＬ性能メトリックとの間の分析ビンのセットＩｎｉｔＳｅｔにわたる相関に基づいて、コンピュータ・システムは、動作１１５で、さらなるトランザクションが全体的性能メトリックとＭＬ性能メトリックとの間で正の相関を有することを可能にするように構成され得る。構成は、全体的性能メトリックとＭＬ性能メトリックとの間の相関に基づくことができる。例えば、相関が負の場合、これは訓練されたＭＬモデルが、使用されている使用例にとって適切でないことを示し得る。例えば、訓練されたＭＬモデルは、電気通信などの所与の領域からのデータでは良好に機能するだろう。しかし、他の領域に対しては、必要な正確度を出さないかもしれない。別の例では、動作１１１または動作１１３を実行した後全体的性能メトリックとＭＬ性能メトリックとの間の相関を示す情報が、例えばユーザに提供され得る。その情報は、例えば、コンピュータ・システムのモニタリング情報として、ユーザによって使用され得る。

【0045】

２つのメトリック間の相関は、次の特徴を有し得る。一例では、２つのメトリック間の相関は、強い正の相関であり得る。例えば、ＭＬ性能メトリックの低下は特定のＫＰＩを低下させ、例えば、モデル公平性スコアの２％の低下は、クレジット額承認ＫＰＩを５％低下させる。これは、モデル品質の特定のエリアにおけるリソース投資が重要であり得ることを示す。それに応じて、システムは、ＭＬモデルをさらに改良するように構成され、モデル公平性スコアの低下を回避することができる。

【0046】

一例では、特定のＭＬ性能メトリックが、ＫＰＩへの影響なしに向上している。これは、例えば、モデル正確度の５％の向上はクリック数に対して影響がないことを示す。このような洞察は、モデル正確度における投資には価値がない可能性があり、そのＭＬモデルの代わりに新しいＭＬモデルが使用され得ることを明確に示す。

【0047】

一例では、任意のＭＬ性能メトリックとＫＰＩとの間に全く相関がない（または相関が非常に小さい）。そのことは、ＭＬモデルに関する重大な問題を示す可能性があり、そのモデルの結果はプロセスにおいて完全に無視される。これは、意志決定プロセスおよびコンピュータ・システムの構成を再考するための警報を発生させ得る。

【0048】

したがって、ＭＬ性能メトリックと全体的性能メトリックとの間の相関に応じて、コンピュータ・システムはそれに従って構成され得る。構成は、実行される次のトランザクションに対して２つのメトリック間の正の相関を可能にするように実行され得る。例えば、将来のトランザクションに対して計算されるＭＬ性能メトリックは、全体的性能メトリックと整合する改善された値を有し得る。本開示は、複数のモニタリング・メトリックの組み合わされた効果を考慮し得る。

【0049】

例えば、動作１１５は、ＭＬモデルの再訓練を自動的にトリガし得る。再訓練は、コンピュータ・システムの現在の使用例に対応する新しいデータを使用して実行され得る。別の例では、目標を満たし、新しいデータに適応するために、ペイロード分析からの特定の入力によって、訓練されたモデルの正確度を改良するために、以前に使用された訓練セットを増加させることによって再訓練が実行され得る。別の例では、ＭＬモデルは、例えば、追加的な処理コストを負わずに現在訓練されているモデル上でより多くのデータを生成するための最小サンプルサイズおよび閾値を更新することによって、再訓練を行うことを必要とせずに適応され得る。これは、基礎となるデータが変化していないときに、集中的なＣＰＵ使用を回避し得る。

【0050】

図２Ａは、本開示の一例によるメトリックを計算するための分析ビンを定義する方法のフローチャートである。

【0051】

動作２０１で、分析ビンＢ１～Ｂ１０のセットが提供され得る。分析ビンのセットは、図２Ｂに示すように、時間範囲［ｔＳ，ｔＥ］＝［０ １０］をカバーし得る。分析ビンのセットは、図２Ｂに示すように、幅１の１０個のビンＢ１～Ｂ１０を含む。ビンＢ１～Ｂ１０の各ビン内のデータは、ＭＬ性能メトリックを計算するために十分でない可能性がある。

【0052】

動作２０３で、１０個のビンＢ１～Ｂ１０のセットの２つの連続するビンを組み合わせることによって、ビンｒＢ１～ｒＢ５の新しいセットが（再）定義される。これは、例えば、１０個のビン内のデータはＭＬ性能メトリックを計算するために十分でない可能性があるため、実行され得る。この結果として、幅２の５個の新しいビンｒＢ１～ｒＢ５を得る。例えば、新しいビンｒＢ１はビンＢ１およびＢ２を結合することによって取得されることができ、新しいビンｒＢ２はビンＢ３およびＢ４を結合することによって取得されることができ、新しいビンｒＢ３はビンＢ５およびＢ６を結合することによって取得されることができ、新しいビンｒＢ４はビンＢ７およびＢ８を結合することによって取得されることができ、新しいビンｒＢ５はビンＢ９およびＢ１０を結合することによって取得されることができる。

【0053】

図２Ｂは、分析ビンｒＢ１～ｒＢ５の新しいセットの各ビンに対して、データ点２２０をさらに示しており、データ点２２０は、５個のビンｒＢ１～ｒＢ５のそれぞれにおけるＭＬ性能メトリックの値を表す。１０個のビンＢ１～Ｂ１０の各ビン内のＭＬ性能メトリックの値を推定するため、ＭＬ性能メトリックの値の分布の当てはめ２２２（またはモデリング）が実行され得る。当てはめ２２２は、３次スプライン近似であり、１０個のビンの各ビン内のＭＬ性能メトリックの値２２４を推定または近似するために使用され得る。

【0054】

図３Ａは、本開示の一例によるメトリックを計算するための分析ビンを定義する方法のフローチャートである。

【0055】

動作３０１で、分析ビンのセットが提供され得る。分析ビンのセットは、図３Ｂに示すように、５個のクラスタをカバーし得る。分析ビンのセットは、それぞれのクラスタ３２０．１～５にそれぞれ関連づけられた５個のビンを含む。クラスタ３２０．１～５の各クラスタは、それぞれの属性の類似の値を有するレコードを含むことができ、例えば、クラスタ３２０．１は、２０歳と４０歳の間の年齢を有するユーザのレコードを含むことができ、クラスタ３２０．２は、所与の地域または国などのユーザのレコードを含むことができる。

【0056】

動作３０３で、５個のビンのセットのうちの２つ以上のビンを組み合わせることによって、ビンの新しいセットが定義される。これは、例えば、５個のビン内のデータはＭＬ性能メトリックを計算するために十分でない可能性があるため、実行され得る。この結果として、結合されたクラスタのそれぞれのセットにそれぞれ関連づけられた３個の新しいビン３２２．１～３２２．３を得る（例えば、結合されたクラスタのセットは結合クラスタと称し得る）。例えば、新しいビン３２２．１は、結合されたクラスタ３２０．１、３２０．２、および３２０．３のセットを表し、新しいビン３２２．２は、結合されたクラスタ３２０．４、３２０．２、および３２０．３のセットを表し、新しいビン３２２．３は、結合されたクラスタ３２０．５、３２０．４、および３２０．３のセットを表す。クラスタは、例えば、それらの間の距離に基づいて結合され得る。距離は、クラスタのレコードの１つまたは複数の属性を使用して計算され得る。ＭＬ性能メトリックは、３個のビン３２２．１～３２２．３に対して計算され得る。そして、各ビン３２０．１～３２０．５に対するＭＬ性能メトリックを取得するために、次の式を使用することができる。

【0057】

分析ビン３２０．１～３２０．５のセットの各ビンｊに対して、ＭＬ性能メトリックは次のように推定され得る：ｓｕｍ（ｗｉ＊ｍｉ）／ｓｕｍ（ｗｉ）。ただし、ｉは、結合されたクラスタのセットのインデックスであり、この例では１から３まで変化し、ｍｉは結合されたクラスタのセットｉのＭＬ性能メトリックであり、ｗｉは次のように計算される：ｍｅａｎＤｔｏＪ／ｍａｘＤ＊ｎＰｉｎＪ／ｎＰｉｎＣｌｓ。ただし、ｍｅａｎＤｔｏＪは結合されたクラスタのセットｉの中心とクラスタｊの中心との間の平均距離であり、ｍａｘＤは結合されたクラスタのセットｉの中心間の最大距離であり、ｎＰｉｎＪはクラスタｊ内のデータ点の数であり、ｎＰｉｎＣｌｓは結合されたクラスタのセットｉ内のデータ点の数である。いくつかの実施形態では、ｍｅａｎＤｔｏＪは、次のもの、すなわち、結合されたクラスタ内の元の中心とクラスタｊの中心との間の平均距離、を表し得る。いくつかの実施形態では、ｍａｘＤは、次のもの、すなわち、元の中心間の最大距離、を表し得る。いくつかの実施形態では、ｎＰｉｎＪは、次のもの、すなわち、クラスタｊ内のデータ点の数、を表し得る。いくつかの実施形態では、ｎＰｉｎＣｌｓは、次のもの、すなわち、元の中心間の最大距離、を表し得る。

【0058】

図４は、本開示に関連する方法ステップの少なくとも一部を実装するのに適した一般的なコンピュータ化システム４００を表す。理解されるように、本明細書に記載される方法は少なくとも部分的に非対話型であり、サーバまたは組込みシステムなどのコンピュータ化システムによって自動化される。しかし、いくつかの実施形態では、本明細書に記載される方法は（部分的）対話型システムで実装され得る。これらの方法は、ソフトウェア４１２、４２２（ファームウェア４２２を含む）、ハードウェア（プロセッサ）４０５、またはそれらの組合せでさらに実装され得る。いくつかの実施形態では、本明細書に記載される方法は、実行可能プログラムとしてソフトウェアで実装され、パーソナル・コンピュータ、ワークステーション、ミニコンピュータ、またはメインフレーム・コンピュータなどの専用または汎用デジタル・コンピュータによって実行される。したがって、最も一般的なシステム４００は、汎用コンピュータ４０１を含む。

【0059】

いくつかの実施形態では、ハードウェア・アーキテクチャに関して、図４に示すように、コンピュータ４０１は、プロセッサ４０５、メモリ・コントローラ４１５に結合されたメモリ（メイン・メモリ）４１０、およびローカル入出力コントローラ４３５を介して通信可能に結合された１つまたは複数の入出力（Ｉ／Ｏ）装置（または周辺機器）１０、４４５を含む。入出力コントローラ４３５は、当技術分野で既知のように、１つもしくは複数のバスまたは他の有線もしくは無線接続であり得るが、それらに限定されない。入出力コントローラ４３５は、通信を可能にするためのコントローラ、バッファ（キャッシュ）、ドライバ、リピータ、およびレシーバなどの追加的な要素を有し得るが、それらは簡単のために省略されている。さらに、ローカル・インタフェースは、前述の構成要素間の適切な通信を可能にするためのアドレス、制御、またはデータあるいはその組合せの接続を含み得る。本明細書に記載されるように、Ｉ／Ｏ装置１０、４４５は、当技術分野で既知の任意の一般化された暗号カードまたはスマート・カードを一般的に含み得る。

【0060】

プロセッサ４０５は、ソフトウェア、特にメモリ４１０に記憶されたソフトウェアを実行するためのハードウェア装置である。プロセッサ４０５は、任意の特別仕様または商用のプロセッサ、中央処理装置（ＣＰＵ）、コンピュータ４０１に関連づけられたいくつかのプロセッサ間の補助プロセッサ、（マイクロチップまたはチップ・セットの形態での）半導体ベースのマイクロプロセッサ、マクロプロセッサ、または一般にソフトウェア命令を実行するための任意の装置であり得る。

【0061】

メモリ４１０は、揮発性メモリ要素（例えば、ランダム・アクセス・メモリ（ＤＲＡＭ、ＳＲＡＭ、ＳＤＲＡＭなどのようなＲＡＭ））および不揮発性メモリ要素（例えば、ＲＯＭ、消去可能プログラマブル読出し専用メモリ（ＥＰＲＯＭ）、電気的消去可能プログラマブル読出し専用メモリ（ＥＥＰＲＯＭ）、プログラマブル読出し専用メモリ（ＰＲＯＭ））のうちのいずれか１つまたは組合せを含み得る。なお、メモリ４１０は分散アーキテクチャを有することができ、その場合、さまざまな構成要素が互いにリモートに配置されるが、プロセッサ４０５によってアクセスされ得る。

【0062】

メモリ４１０内のソフトウェアは、１つまたは複数の別個のプログラムを含むことができ、そのそれぞれが、論理的機能、特に本開示の実施形態に含まれる機能を実装するための実行可能命令の順序リストを含む。図４の例では、メモリ４１０内のソフトウェアは、命令４１２、例えば、データベース管理システムなどのデータベースを管理するための命令を含む。

【0063】

メモリ４１０内のソフトウェアはまた、通常、適切なオペレーティング・システム（ＯＳ）４１１も含むものとする。ＯＳ４１１は、場合によっては、本明細書に記載される方法を実装するためのソフトウェア４１２などの他のコンピュータ・プログラムの実行を基本的に制御する。

【0064】

本明細書に記載される方法は、ソース・プログラム４１２、実行可能プログラム４１２（オブジェクト・コード）、スクリプト、または実行されるべき命令４１２のセットを含む任意の他の実体の形態であり得る。ソース・プログラムの場合、プログラムは、ＯＳ４１１と関連して正しく動作するように、コンパイラ、アセンブラ、インタプリタなどによって翻訳される必要があり、これらはメモリ４１０内に含まれても含まれなくてもよい。さらに、本方法は、データおよびメソッドのクラスを有するオブジェクト指向プログラミング言語、またはルーチン、サブルーチン、または関数あるいはその組合せを有する手続き型プログラミング言語として書かれ得る。

【0065】

いくつかの実施形態では、キーボード４５０およびマウス４５５が入出力コントローラ４３５に結合され得る。Ｉ／Ｏ装置４４５などの他の出力装置は、例えば、プリンタ、スキャナ、マイクロフォンなどの入力装置を含み得るが、それらに限定されない。最後に、Ｉ／Ｏ装置１０、４４５は、例えば、ネットワーク・インタフェース・カード（ＮＩＣ）または（他のファイル、装置、システム、もしくはネットワークにアクセスするための）変復調装置、無線周波数（ＲＦ）もしくは他のトランシーバ、電話インタフェース、ブリッジ、ルータなどの、入力および出力の両方を通信する装置をさらに含むことができるが、それらに限定されない。Ｉ／Ｏ装置１０、４４５は、当技術分野で既知の任意の一般化された暗号カードまたはスマート・カードであり得る。システム４００は、ディスプレイ４３０に結合されたディスプレイ・コントローラ４２５をさらに含み得る。いくつかの実施形態では、システム４００は、ネットワーク４６５に結合するためのネットワーク・インタフェースをさらに含み得る。ネットワーク４６５は、ブロードバンド接続を介したコンピュータ４０１と任意の外部のサーバ、クライアントなどとの間の通信のためのＩＰベースのネットワークであり得る。ネットワーク４６５は、コンピュータ４０１と外部システム３０との間でデータを送受信し、外部システム３０は、本明細書で論じられる方法のステップの一部または全部を実行することに関与し得る。いくつかの実施形態では、ネットワーク４６５は、サービス・プロバイダによって管理されるマネージドＩＰネットワークであり得る。ネットワーク４６５は、例えば、ＷｉＦｉ、ＷｉＭａｘなどのような無線プロトコルおよび技術を使用して無線方式で実装され得る。ネットワーク４６５はまた、ローカル・エリア・ネットワーク、ワイド・エリア・ネットワーク、メトロポリタン・エリア・ネットワーク、インターネット・ネットワーク、または他の類似のタイプのネットワーク環境などのパケット交換ネットワークであり得る。ネットワーク４６５は、固定無線ネットワーク、無線ローカル・エリア・ネットワーク（ＬＡＮ）、無線ワイド・エリア・ネットワーク（ＷＡＮ）、パーソナル・エリア・ネットワーク（ＰＡＮ）、仮想プライベート・ネットワーク（ＶＰＮ）、イントラネットまたは他の適切なネットワーク・システムであることができ、信号を受信および送信するための機器を含む。

【0066】

コンピュータ４０１がＰＣ、ワークステーション、インテリジェント装置などである場合、メモリ４１０内のソフトウェアは、基本入出力システム（ＢＩＯＳ）４２２をさらに含み得る。ＢＩＯＳは、スタートアップ時にハードウェアの初期化およびテストを行い、ＯＳ４１１を始動し、ハードウェア装置間のデータの転送をサポートする基本的なソフトウェア・ルーチンのセットである。ＢＩＯＳは、コンピュータ４０１が起動されるときにＢＩＯＳが実行され得るようにＲＯＭに記憶される。

【0067】

コンピュータ４０１が動作しているとき、プロセッサ４０５は、メモリ４１０内に記憶されたソフトウェア４１２を実行し、メモリ４１０との間でデータを通信し、ソフトウェアに従ってコンピュータ４０１の動作を一般的に制御するように構成される。本明細書に記載される方法およびＯＳ４１１は、全体的または部分的に、しかし通常は後者で、プロセッサ４０５によって読み出され、場合によってはプロセッサ４０５内にバッファリングされ、その後に実行される。

【0068】

本明細書に記載されるシステムおよび方法が図４に示すようにソフトウェア４１２で実装されるとき、本方法は、任意のコンピュータ関連のシステムまたは方法によっての、またはそれと関連しての使用のために、ストレージ４２０などの任意のコンピュータ可読媒体に記憶され得る。ストレージ４２０は、ＨＤＤストレージなどのディスク・ストレージを含み得る。

【0069】

本発明は、任意の可能な技術詳細統合レベルでのシステム、方法、またはコンピュータ・プログラム製品あるいはその組合せであり得る。コンピュータ・プログラム製品は、本発明の態様をプロセッサに実行させるためのコンピュータ可読プログラム命令を有するコンピュータ可読記憶媒体（複数可）を含み得る。

【0070】

コンピュータ可読記憶媒体は、命令実行装置による使用のための命令を保持および記憶し得る有体物装置であり得る。コンピュータ可読記憶媒体は、例えば、電子記憶装置、磁気記憶装置、光記憶装置、電磁記憶装置、半導体記憶装置、または上記の任意の適切な組合せであり得るが、それらに限定されない。コンピュータ可読記憶媒体のより具体的な例の非網羅的リストは、次のもの、すなわち、ポータブル・コンピュータ・ディスケット、ハード・ディスク、ランダム・アクセス・メモリ（ＲＡＭ）、読出し専用メモリ（ＲＯＭ）、消去可能プログラマブル読出し専用メモリ（ＥＰＲＯＭまたはフラッシュ・メモリ）、スタティック・ランダム・アクセス・メモリ（ＳＲＡＭ）、ポータブル・コンパクト・ディスク読出し専用メモリ（ＣＤ－ＲＯＭ）、デジタル・バーサタイル・ディスク（ＤＶＤ）、メモリ・スティック、フロッピ・ディスク、パンチカードまたは命令が記録された溝内の隆起構造体などの機械的符号化装置、および上記の任意の適切な組合せを含む。本明細書で使用されるコンピュータ可読記憶媒体は、電波または他の自由伝搬電磁波、導波路もしくは他の伝送媒体を通って伝搬する電磁波（例えば、光ファイバケーブルを通る光パルス）、または導線を通って伝送される電気信号などの、一過性の信号自体であると解釈されてはならない。

【0071】

本明細書に記載されるコンピュータ可読プログラム命令は、コンピュータ可読記憶媒体からそれぞれのコンピューティング／処理装置に、または、ネットワーク、例えば、インターネット、ローカル・エリア・ネットワーク、ワイド・エリア・ネットワークまたは無線ネットワークあるいはその組合せ、を介して外部コンピュータまたは外部記憶装置にダウンロードされ得る。ネットワークは、銅伝送ケーブル、光伝送ケーブル、無線伝送、ルータ、ファイアウォール、スイッチ、ゲートウェイ・コンピュータまたはエッジ・サーバあるいはその組合せを含み得る。各コンピューティング／処理装置内のネットワーク・アダプタ・カードまたはネットワーク・インタフェースが、ネットワークからコンピュータ可読プログラム命令を受信し、それぞれのコンピューティング／処理装置内のコンピュータ可読記憶媒体に記憶するためにコンピュータ可読プログラム命令を転送する。

【0072】

本発明の動作を実行するためのコンピュータ可読プログラム命令は、アセンブラ命令、命令セット・アーキテクチャ（ＩＳＡ）命令、マシン命令、マシン依存命令、マイクロコード、ファームウェア命令、状態設定データ、集積回路のための構成データ、または、Ｓｍａｌｌｔａｌｋ（Ｒ）、Ｃ＋＋などのようなオブジェクト指向プログラミング言語、および「Ｃ」プログラミング言語もしくは類似のプログラミング言語などの手続き型プログラミング言語を含む、１つもしくは複数のプログラミング言語の任意の組合せで書かれたソース・コードもしくはオブジェクト・コードのいずれかであり得る。コンピュータ可読プログラム命令は、全体的にユーザのコンピュータ上で、部分的にユーザのコンピュータ上で、スタンドアロン・ソフトウェア・パッケージとして、部分的にユーザのコンピュータ上および部分的にリモート・コンピュータ上で、または全体的にリモート・コンピュータもしくはサーバ上で実行され得る。後者のシナリオでは、リモート・コンピュータは、ローカル・エリア・ネットワーク（ＬＡＮ）もしくはワイド・エリア・ネットワーク（ＷＡＮ）を含む任意の種類のネットワークを通じてユーザのコンピュータに接続されることができ、または、接続は外部コンピュータに対して（例えば、インターネット・サービス・プロバイダを使用してインターネットを通じて）なされ得る。いくつかの実施形態では、例えば、プログラマブル・ロジック回路、フィールド・プログラマブル・ゲート・アレイ（ＦＰＧＡ）、またはプログラマブル・ロジック・アレイ（ＰＬＡ）を含む電子回路が、本発明の態様を実行するために、コンピュータ可読プログラム命令の状態情報を利用して電子回路を個人用にカスタマイズすることにより、コンピュータ可読プログラム命令を実行し得る。

【0073】

本発明の態様が、本発明の実施形態による方法、装置（システム）、およびコンピュータ・プログラム製品のフローチャート図示またはブロック図あるいはその両方を参照して本明細書に記載されている。理解されるように、フローチャート図示またはブロック図あるいはその両方の各ブロック、およびフローチャート図示またはブロック図あるいはその両方におけるブロックの組合せは、コンピュータ可読プログラム命令によって実装され得る。

【0074】

これらのコンピュータ可読プログラム命令は、コンピュータまたは他のプログラマブル・データ処理装置のプロセッサによって実行される命令が、フローチャートまたはブロック図あるいはその両方の１つまたは複数のブロックで指定された機能／動作を実装するための手段を作成するようなマシンを生成するために、コンピュータまたは他のプログラマブル・データ処理装置のプロセッサに提供され得る。これらのコンピュータ可読プログラム命令はまた、命令が記憶されたコンピュータ可読記憶媒体が、フローチャートまたはブロック図あるいはその両方の１つまたは複数のブロックで指定された機能／動作の態様を実装する命令を含む製造物を含むように、コンピュータ、プログラマブル・データ処理装置、または他のデバイスあるいはその組合せに対して、特定の方式で機能するように指令することができるコンピュータ可読記憶媒体に記憶され得る。

【0075】

コンピュータ可読プログラム命令はまた、コンピュータ、他のプログラマブル装置、または他のデバイス上で実行される命令が、フローチャートまたはブロック図あるいはその両方の１つまたは複数のブロックで指定された機能／動作を実装するように、一連の動作ステップをコンピュータ、他のプログラマブル装置または他のデバイス上で実行させることによりコンピュータ実装プロセスを生成するために、コンピュータ、プログラマブル・データ処理装置、または他のデバイスにロードされ得る。

【0076】

図中のフローチャートおよびブロック図は、本発明のさまざまな実施形態によるシステム、方法、およびコンピュータ・プログラム製品の可能な実装形態のアーキテクチャ、機能、および動作を例示する。この点で、フローチャートおよびブロック図内の各ブロックは、指定された論理機能を実装するための１つまたは複数の実行可能命令を含むモジュール、セグメント、または命令の部分を表し得る。いくつかの代替的な実装形態では、ブロック内に記された機能は、図中に記された順序以外で生起し得る。例えば、連続して示される２つのブロックは、実際には、１つのステップとして遂行され、同時並行して、実質的に同時並行して、部分的または全体的に時間的に重なり合う方式で、実行されることができ、またはブロックは、関与する機能に応じて時には逆順で実行されることができる。なお、ブロック図またはフローチャート図示あるいはその両方の各ブロック、およびブロック図またはフローチャート図示あるいはその両方におけるブロックの組合せが、指定された機能を実行し、または専用ハードウェアおよびコンピュータ命令の組合せを実施もしくは実行する専用ハードウェア・ベースのシステムによって実装され得ることも留意されよう。

【0077】

本主題は以下の条項を含み得る。

【0078】

１．コンピュータ・システムの動作を制御する方法であって、コンピュータ・システムは、データ・トランザクションを実行し、機械学習（ＭＬ）モデルを使用してデータ・トランザクションのプロパティを評価するように構成され、方法は、
分析ビンのセットを決定することであって、分析ビンはデータ・トランザクションのレコードの属性の値のセットを表す、決定することと、
コンピュータ・システムの全体的性能メトリックを計算することであって、全体的性能メトリックは、分析ビンのセットの各ビンに対して、ビンによって表される属性値を有するトランザクションのレコードを使用して、コンピュータ・システムによるトランザクション実行性能を示す、計算することと、
分析ビンのセットの１つまたは複数のビンが少なくとも所定の最小数のレコードを有していない場合に、
分析ビンのセットの分析ビンを結合することにより分析ビンの新しいセットを再定義することと、
ビンの再定義されたセットの各ビンに対して、各ビンによって表される属性値を有するレコードを使用してＭＬモデルの機械学習性能メトリックを計算することと、
再定義されたビンのセットのＭＬ性能メトリックを使用して、分析ビンのセットの各ビン内のＭＬ性能メトリックを推定することと、
分析ビンのセットの各ビンが少なくとも最小数のレコードを有している場合に、分析ビンのセットの各ビン内のＭＬ性能メトリックを計算することと、
計算された全体的性能メトリックとＭＬ性能メトリックとの間の分析ビンのセットにわたる相関に基づいて、さらに実行されるデータ・トランザクションの全体的性能メトリックとＭＬ性能メトリックとの間の正の相関を可能にするように、コンピュータ・システムを構成することと
を含む、方法。

【0079】

２．相関が負またはゼロの相関である場合に、ＭＬモデルを再訓練すること、プロパティの評価の組合せを可能にするための追加的なＭＬモデルを追加すること、ＭＬモデルを別のＭＬモデルで置換すること、のうちのいずれかを含む更新を実行することをさらに含み、コンピュータ・システムの構成は、さらなるトランザクションを評価するために実行された更新を使用することを含む、条項１に記載の方法。

【0080】

３．分析ビンのセットにおける全体的性能メトリックとＭＬ性能メトリックとの間の相関が正の相関である場合に、より大きな訓練データセットを使用してＭＬモデルを再訓練することによってＭＬモデルを改良する、条項１に記載の方法。

【0081】

４．属性はデータ・トランザクションの発生時刻であり、分析ビンのセットの各ビンは時間間隔を表し、再定義されたビンのうちの１つの再定義されたビンは、分析ビンのセットの時間的に連続するビンのうちの２つ以上を併合することによって取得され、推定することは、再定義されたビンの関数としてＭＬ性能メトリックの変動をモデリングすること、および分析ビンのセットにおけるＭＬ性能メトリックの値を決定するためにＭＬモデルを使用することによって実行される、条項１ないし３のいずれかに記載の方法。

【0082】

５．モデリングすることは、再定義されたビンにわたってＭＬ性能メトリックの分布を当てはめることを含む、条項４に記載の方法。

【0083】

６．分析ビンのセットの各分析ビンは、データ・トランザクションのレコードの異なる属性の値のセットを表し、値のセットは、異なる属性を使用して形成されたレコードのクラスタの値であり、再定義されたビンのうちの１つの再定義されたビンは、関連づけられたクラスタが互いに所定の距離を有する分析ビンのセットの２つ以上のビンを併合することによって取得される、条項１ないし３のいずれかに記載の方法。

【0084】

７．ＭＬ性能メトリックの推定は、分析ビンのセットの各ビンに対して、そのビンに関連づけられたクラスタｊのＭＬ性能メトリックが次のように定義される：ｓｕｍ（ｗｉ＊ｍｉ）／ｓｕｍ（ｗｉ）、ただし、ｍｉは結合されたクラスタのセットｉのＭＬメトリックであり、ｗｉは次のように計算される：ｍｅａｎＤｔｏＪ／ｍａｘＤ＊ｎＰｉｎＪ／ｎＰｉｎＣｌｓ、ただし、ｍｅａｎＤｔｏＪは結合されたクラスタのセットｉの中心とクラスタｊの中心との間の平均距離であり、ｍａｘＤは結合されたクラスタのセットｉの中心間の最大距離であり、ｎＰｉｎＪはクラスタｊ内のデータ点の数であり、ｎＰｉｎＣｌｓは結合されたクラスタのセットｉ内のデータ点の数である、とすることを含む、条項６に記載の方法。

【0085】

８．コンピュータ・システムの実行時に実行される、条項１ないし７のいずれかに記載の方法。

【0086】

９．方法は、制御されたコンピュータ・システムを使用した分析ビンのさらなるセットに対して反復される、条項１ないし８のいずれかに記載の方法。

【0087】

１０．異なるＭＬ性能メトリックに対して方法を反復することをさらに含む、条項１ないし９のいずれかに記載の方法。

【0088】

１１．分析ビンは等しいサイズのビンである、条項１ないし１０のいずれかに記載の方法。

【0089】

１２．全体的性能メトリックまたはＭＬ性能メトリックの計算は、計算されたメトリックを正規化することをさらに含む、条項１ないし１１のいずれかに記載の方法。

【0090】

１３．収集されたレコードに対して計算を実行するために、分析ビンのセットの各分析ビンに関連づけられたデータ・トランザクションのレコードを収集することをさらに含む、条項１ないし１２のいずれかに記載の方法。

【0091】

１４．全体的性能メトリックは重要業績評価指標ＫＰＩである、条項１ないし１３のいずれかに記載の方法。

【0092】

１５．ＭＬ性能メトリックは、ＭＬモデルの予測の正確度、および公平性スコアのうちの１つである、条項１ないし１４のいずれかに記載の方法。

【0093】

本開示のさまざまな実施形態の説明は、例示の目的のために提示されているが、網羅的であることは意図されず、また、開示される実施形態に限定されない。多くの変更例および変形例が、記載される実施形態の範囲および思想から逸脱することなく、当業者には明らかであろう。本明細書で使用される用語は、実施形態の原理、実際的応用もしくは市場に見出される技術を超える技術的改良を説明するため、または他の当業者が本明細書に開示される実施形態を理解することを可能にするために、選択された。

【図1】

【図2A】

【図2B】

【図3A】

【図3B】

【図4】