特許 7578364 検出モデルの更新およびデータ機密性の維持

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2024-10-28

(45)【発行日】2024-11-06

(54)【発明の名称】検出モデルの更新およびデータ機密性の維持

(51)【国際特許分類】

   G06F 16/903 20190101AFI20241029BHJP

   G06F 8/65 20180101ALI20241029BHJP

【ＦＩ】

G06F16/903

G06F8/65

【請求項の数】 35

(21)【出願番号】P 2022517804

(86)(22)【出願日】2020-09-15

(65)【公表番号】

(43)【公表日】2022-11-22

(86)【国際出願番号】 IB2020058564

(87)【国際公開番号】W WO2021053509

(87)【国際公開日】2021-03-25

【審査請求日】2023-02-24

(31)【優先権主張番号】16/577,770

(32)【優先日】2019-09-20

(33)【優先権主張国・地域又は機関】US

(31)【優先権主張番号】16/577,774

(32)【優先日】2019-09-20

(33)【優先権主張国・地域又は機関】US

(73)【特許権者】

【識別番号】390009531

【氏名又は名称】インターナショナル・ビジネス・マシーンズ・コーポレーション

【氏名又は名称原語表記】ＩＮＴＥＲＮＡＴＩＯＮＡＬ ＢＵＳＩＮＥＳＳ ＭＡＣＨＩＮＥＳ ＣＯＲＰＯＲＡＴＩＯＮ

【住所又は居所原語表記】Ｎｅｗ Ｏｒｃｈａｒｄ Ｒｏａｄ， Ａｒｍｏｎｋ， Ｎｅｗ Ｙｏｒｋ １０５０４， Ｕｎｉｔｅｄ Ｓｔａｔｅｓ ｏｆ Ａｍｅｒｉｃａ

(74)【代理人】

【識別番号】100112690

【弁理士】

【氏名又は名称】太佐 種一

(72)【発明者】

【氏名】パッテン ジュニア、ウィリー、ロバート

(72)【発明者】

【氏名】ケルトン、ユージーン、アーヴィング

(72)【発明者】

【氏名】マー、イー－フイ

【審査官】早川 学

(56)【参考文献】

【文献】中国特許出願公開第１０６６１０８５４（ＣＮ，Ａ）

【文献】中国特許出願公開第１０７２２９９６６（ＣＮ，Ａ）

【文献】中国特許出願公開第１０８９２１３０１（ＣＮ，Ａ）

【文献】米国特許出願公開第２０１５／０３２６５９７（ＵＳ，Ａ１）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ０６Ｆ １６／００－１６／９５８

Ｇ０６Ｆ ４０／００－４０／５８

Ｇ０６Ｑ １０／００－９９／００

Ｇ０６Ｆ ８／００－ ８／７７

(57)【特許請求の範囲】

【請求項1】

検出モデルを更新するためのプログラム命令をコンピュータに実行させるためのコンピュータ・プログラムであって、前記プログラム命令が、プロセッサによって実行可能であり、前記プロセッサに、
モデル更新情報を作成することであって、該作成が、
診断モジュールによって、システム・データにおける変化を検出することと、
前記診断モジュールによって、前記変化を検出することに関与したすべての現在の検出モデルのリストを決定することと、
前記診断モジュールによって、前記変化を検出することに関与した前記システム・データを分析することと、
前記診断モジュールによって、モデル更新情報を作成することと、ここで、前記作成されたモデル更新情報が、１つまたは複数のアルゴリズム、作成日時、特定の期間にわたって検出されたイベントの数、集約統計、および前記モデルの更新をトリガーするために使用される１つまたは複数のしきい値点から成る群から選択された１つまたは複数の要素を含む、
によって発生する、前記モデル更新情報を作成することと、
少なくとも１つの監視モジュールによって、前記モデル更新情報を受信することと、
少なくとも１つの診断モジュールによって、現在の検出モデルを決定することと、
少なくとも１つの評価モジュールによって、前記モデル更新情報が前記現在の検出モデルに適用されるべきかどうかを判定することと、
少なくとも１つの評価モジュールによって、少なくとも１つのローカル・ノードが前記モデル更新情報を適用する許可を得ているかどうかを判定することと、
少なくとも評価モジュールによって、前記モデル更新情報を使用して前記現在の検出モデルを更新することとによって、前記ローカル・ノードを更新させる、コンピュータ・プログラム。

【請求項2】

前記プログラム命令が、前記プロセッサによって実行可能であり、前記プロセッサに、前記モデル更新情報を少なくとも１つのローカル・ノードにさらに配布させる、請求項１に記載のコンピュータ・プログラム。

【請求項3】

前記モデル更新情報が少なくとも２つのローカル・ノードに配布される、請求項２に記載のコンピュータ・プログラム。

【請求項4】

前記モデル更新情報が中央モジュールによって少なくとも１つのローカル・ノードに配布される、請求項２に記載のコンピュータ・プログラム。

【請求項5】

前記中央モジュールが、
前記中央モジュールによって、前記モデル更新情報を受信することと、
前記中央モジュールによって、使用可能なモデルのデータベースを分析することと、
前記中央モジュールによって、前記モデル更新情報の優先度を決定することと、
前記中央モジュールによって、どのローカル・ノードが前記モデル更新情報を受信するべきかを決定することと、
前記中央モジュールによって、前記モデル更新情報を少なくとも１つのローカル・ノードに送信することとによって、少なくとも１つのローカル・ノードに配布する、請求項４に記載のコンピュータ・プログラム。

【請求項6】

前記使用可能なモデルのデータベースが、すべてのローカル・ノードによって使用可能なモデルを含む、請求項５に記載のコンピュータ・プログラム。

【請求項7】

前記モデル更新情報の特徴を既存のモデル・データベース内のモデル情報と比較することによって前記優先度が決定される、請求項５に記載のコンピュータ・プログラム。

【請求項8】

前記モデル更新情報が別のローカル・ノードによって少なくとも１つのローカル・ノードに配布される、請求項２に記載のコンピュータ・プログラム。

【請求項9】

前記モデル更新情報を作成することがローカル・ノードで発生する、請求項１～８のいずれか１項に記載のコンピュータ・プログラム。

【請求項10】

前記モデル更新情報を作成することが、前記監視モジュールによって、前記作成されたモデル更新情報を送信することを含む、請求項１～９のいずれか１項に記載のコンピュータ・プログラム。

【請求項11】

前記変化が有意な変化である、請求項１～１０のいずれか１項に記載のコンピュータ・プログラム。

【請求項12】

前記分析することが、最小二乗法、罰則付き回帰、一般化された加法モデル、分位点回帰、ロジスティック回帰、およびゲート付き線形モデルによって行われる、請求項１～１１のいずれか１項に記載のコンピュータ・プログラム。

【請求項13】

前記作成されたモデル更新情報が、前記モデル更新情報を作成した前記ローカル・ノードに固有のどのシステム・データも含まない、請求項１１に記載のコンピュータ・プログラム。

【請求項14】

前記監視モジュールが、前記モデル更新情報を前記ローカル・ノードの外部の中央モジュールに送信する、請求項１１に記載のコンピュータ・プログラム。

【請求項15】

前記監視モジュールが、前記モデル更新情報を別のローカル・ノードの監視モジュールに送信する、請求項１１に記載のコンピュータ・プログラム。

【請求項16】

検出モデルを更新するためのシステムであって、
監視モジュール、
診断モジュール、
評価モジュール、
１つまたは複数の現在の検出モデル、および
前記現在の検出モデルによって作成されたシステム・データを備えている少なくとも１つのローカル・ノードと、
命令を含んでいるメモリとを備え、前記命令が、少なくとも１つのプロセッサによって実行され、
モデル更新情報を作成することであって、該作成が、
前記診断モジュールによって、システム・データにおける変化を検出することと、
前記診断モジュールによって、前記変化を検出することに関与したすべての現在の検出モデルのリストを決定することと、
前記診断モジュールによって、前記変化を検出することに関与した前記システム・データを分析することと、
前記診断モジュールによって、モデル更新情報を作成することと、ここで、前記作成されたモデル更新情報が、１つまたは複数のアルゴリズム、作成日時、特定の期間にわたって検出されたイベントの数、集約統計、および前記モデルの更新をトリガーするために使用される１つまたは複数のしきい値点から成る群から選択された１つまたは複数の要素を含む、
によって発生する、前記モデル更新情報を作成することと、
前記監視モジュールによって、前記モデル更新情報を受信するステップと、
前記診断モジュールによって、前記現在の検出モデルを決定するステップと、
前記評価モジュールによって、前記モデル更新情報が前記現在の検出モデルに適用されるべきかどうかを判定するステップと、
前記評価モジュールによって、前記ローカル・ノードが前記モデル更新情報を適用する許可を得ているかどうかを判定するステップと、
前記評価モジュールによって、前記モデル更新情報を使用して前記現在の検出モデルを更新するステップとを実行するように構成される、システム。

【請求項17】

前記システムが少なくとも２つのローカル・ノードをさらに備える、請求項１６に記載のシステム。

【請求項18】

前記システムが中央モジュールをさらに備え、各ローカル・ノードの前記監視モジュールが前記中央モジュールと電子通信を行う、請求項１７に記載のシステム。

【請求項19】

前記システムが、前記中央モジュールと電子通信を行う前記システムで使用可能なすべてのモデルのデータベースをさらに備える、請求項１８に記載のシステム。

【請求項20】

前記監視モジュールがモデル更新情報を受信するように構成される、請求項１８に記載のシステム。

【請求項21】

前記監視モジュールが、システム管理者またはローカル・ノードからモデル更新情報を受信することができる、請求項２０に記載のシステム。

【請求項22】

前記変化が有意な変化である、請求項１６～２１のいずれか１項に記載のシステム。

【請求項23】

前記分析することが、最小二乗法、罰則付き回帰、一般化された加法モデル、分位点回帰、ロジスティック回帰、およびゲート付き線形モデルによって行われる、請求項１６～２２のいずれか１項に記載のシステム。

【請求項24】

前記作成されたモデル更新情報が、前記モデル更新情報を作成した前記ローカル・ノードに固有のどのシステム・データも含まない、請求項１６～２３のいずれか１項に記載のシステム。

【請求項25】

少なくとも第２のローカル・ノードと、
中央モジュールであって、各ローカル・ノードの前記監視モジュールが前記中央モジュールと電子通信を行う、前記中央モジュールと、
前記中央モジュールと電子通信を行う前記システムで使用可能なすべてのモデルのデータベースと、
命令を含んでいるメモリとをさらに備え、前記命令が、少なくとも１つのプロセッサによって実行され、
モデル更新情報を配布するステップであって、
前記中央モジュールによって、前記モデル更新情報を受信するステップと、
前記中央モジュールによって、使用可能なモデルの前記データベースを分析するステップと、
前記中央モジュールによって、前記モデル更新情報の優先度を決定するステップと、
前記中央モジュールによって、どのローカル・ノードが前記モデル更新情報を受信するべきかを決定するステップと、
前記中央モジュールによって、前記モデル更新情報を送信するステップとを含む、前記配布するステップと、
少なくとも１つのローカル・ノードを更新するステップであって、
少なくとも１つの監視モジュールによって、モデル更新情報を受信するステップと、
少なくとも１つの診断モジュールによって、前記現在の検出モデルを決定するステップと、
少なくとも１つの評価モジュールによって、前記モデル更新情報が前記現在の検出モデルに適用されるべきかどうかを判定するステップと、
少なくとも１つの評価モジュールによって、前記ローカル・ノードが前記モデル更新情報を適用する許可を得ているかどうかを判定するステップと、
少なくとも評価モジュールによって、前記モデル更新情報を使用して前記現在の検出モデルを更新するステップとを含む、前記更新するステップとを実行するように構成される、請求項１６～２４のいずれか１項に記載のシステム。

【請求項26】

プロセッサと、命令を含んでいるメモリとを備えているデータ処理システムにおけるコンピュータ実装方法であって、前記命令が、前記プロセッサによって実行され、前記プロセッサに、システム更新検出モデルを実施させ、前記方法が、
モデル更新情報を作成することであって、該作成が、
診断モジュールによって、システム・データにおける変化を検出することと、
前記診断モジュールによって、前記変化を検出することに関与したすべての現在の検出モデルのリストを決定することと、
前記診断モジュールによって、前記変化を検出することに関与した前記システム・データを分析することと、
前記診断モジュールによって、モデル更新情報を作成することと、ここで、前記作成されたモデル更新情報が、１つまたは複数のアルゴリズム、作成日時、特定の期間にわたって検出されたイベントの数、集約統計、および前記モデルの更新をトリガーするために使用される１つまたは複数のしきい値点から成る群から選択された１つまたは複数の要素を含む、
によって発生する、前記モデル更新情報を作成することと、
少なくとも１つのローカル・ノードの監視モジュールによって、前記モデル更新情報を受信するステップと、
前記ローカル・ノードの診断モジュールによって、前記ローカル・ノードによって使用中である現在の検出モデルを決定するステップと、
前記ローカル・ノードの評価モジュールによって、前記モデル更新情報が前記現在の検出モデルに適用されるべきかどうかを判定するステップと、
前記ローカル・ノードの前記評価モジュールによって、前記ローカル・ノードが前記モデル更新情報を適用する許可を得ているかどうかを判定するステップと、
前記ローカル・ノードの前記評価モジュールによって、前記モデル更新情報を使用して前記現在の検出モデルを更新するステップとを含む、少なくとも１つのローカル・ノードを更新するステップを含む、コンピュータ実装方法。

【請求項27】

前記方法が、少なくとも２つのローカル・ノードを更新するステップをさらに含む、請求項２６に記載の方法。

【請求項28】

前記方法が、中央モジュールによって、前記モデル更新情報を配布するステップをさらに含む、請求項２７に記載の方法。

【請求項29】

前記方法が、前記中央モジュールによって、使用可能なモデルのデータベースを分析するステップをさらに含む、請求項２８に記載の方法。

【請求項30】

前記方法が、前記中央モジュールによって、前記モデル更新情報の優先度を決定するステップをさらに含む、請求項２８に記載の方法。

【請求項31】

前記方法が、前記中央モジュールによって、どのローカル・ノードが前記モデル更新情報を受信するべきかを決定するステップをさらに含む、請求項２８に記載の方法。

【請求項32】

前記変化が有意な変化である、請求項２６～３１のいずれか１項に記載の方法。

【請求項33】

前記分析することが、最小二乗法、罰則付き回帰、一般化された加法モデル、分位点回帰、ロジスティック回帰、およびゲート付き線形モデルによって行われる、請求項２６～３２のいずれか１項に記載の方法。

【請求項34】

前記作成されたモデル更新情報が、前記モデル更新情報を作成した前記ローカル・ノードに固有のどのシステム・データも含まない、請求項２６～３３のいずれか１項に記載の方法。

【請求項35】

前記モデル更新情報を配布するステップであって、
中央モジュールによって、前記モデル更新情報を受信するステップと、
前記中央モジュールによって、使用可能なモデルのデータベースを分析するステップと、
前記中央モジュールによって、前記モデル更新情報の優先度を決定するステップと、
前記中央モジュールによって、どのローカル・ノードが前記モデル更新情報を受信するべきかを決定するステップと、
前記中央モジュールによって、前記モデル更新情報を少なくとも１つのローカル・ノードに送信するステップとを含む、前記配布するステップと、
少なくとも１つのローカル・ノードを更新するステップであって、
少なくとも１つの監視モジュールによって、前記モデル更新情報を受信するステップと、
少なくとも１つの診断モジュールによって、前記現在の検出モデルを決定するステップと、
少なくとも１つの評価モジュールによって、前記モデル更新情報が前記現在の検出モデルに適用されるべきかどうかを判定するステップと、
少なくとも１つの評価モジュールによって、前記ローカル・ノードが前記モデル更新情報を適用する許可を得ているかどうかを判定するステップと、
少なくとも評価モジュールによって、前記モデル更新情報を使用して前記現在の検出モデルを更新するステップとを含む、前記更新するステップとをさらに含む、請求項２６～３４のいずれか１項に記載の方法。

【発明の詳細な説明】

【技術分野】

【0001】

本出願は、一般に、データ機密性を維持しながら検出モデルを評価して共有するためのシステム、およびそのようなシステムを使用するための方法に関連している。

【背景技術】

【0002】

イベント検出のための分析モデルは、さまざまな分野および産業にとって重要である。例えば、金融詐欺を検出するため、法規制の順守に役立てるため、および多くのその他の複雑なデータ駆動型の問題に、さまざまな分析モデルが使用される。多くの分野は、正確でタイムリーなイベント検出のための最新のモデルを必要とする。一部の分野（例えば、多くの種類の詐欺）では、第三者の工作員が、現在の分析モデルによる検出から逃れようと積極的に努力している。したがって、モデルの更新を、システムの複数のローカル・ノードにわたって分散し、分析し、迅速な方法で実施することを可能にする、検出モデルを更新するためのシステムが必要とされている。さらに、更新された検出モデルの手動の作成が遅く、時間がかかるプロセスになる可能性があるため、成功したイベント検出からノード自身のモデル更新情報を作成し、その後、モデル更新情報を作成した位置のデータ機密性を維持しながら、作成されたモデル更新情報をシステムの他の部分に配布するシステムが必要とされる。

【発明の概要】

【0003】

本発明の１つの態様は、検出モデルを更新するためのシステムを提供し、このシステムは、監視モジュール、診断モジュール、評価モジュール、１つまたは複数の現在の検出モデル、および現在の検出モデルによって生成されたシステム・データを備えている少なくとも１つのローカル・ノードと、命令を含んでいるメモリとを備え、これらの命令は、少なくとも１つのプロセッサによって実行され、監視モジュールによって、モデル更新情報を受信するステップと、診断モジュールによって、現在の検出モデルを決定するステップと、評価モジュールによって、モデル更新情報が現在の検出モデルに適用されるべきかどうかを判定するステップと、評価モジュールによって、ローカル・ノードがモデル更新情報を適用する許可を得ているかどうかを判定するステップと、評価モジュールによって、モデル更新情報を使用して現在の検出モデルを更新するステップとを実行するように構成される。

【0004】

一部の実施形態では、システムは、少なくとも第２のローカル・ノードと、中央モジュールであって、各ローカル・ノードの監視モジュールが中央モジュールと電子通信を行う、中央モジュールと、中央モジュールと電子通信を行うシステムで使用可能なすべてのモデルのデータベースと、命令を含んでいるメモリとをさらに備え、これらの命令は、少なくとも１つのプロセッサによって実行され、モデル更新情報を作成するステップであって、診断モジュールによって、システム・データにおける有意な変化を検出するステップと、診断モジュールによって、検出ステップに関与したすべての現在の検出モデルのリストを決定するステップと、診断モジュールによって、検出ステップに関与したシステム・データを分析するステップと、診断モジュールによって、モデル更新情報を生成するステップと、監視モジュールによって、モデル更新情報を送信するステップとを含む、作成するステップと、モデル更新情報を配布するステップであって、中央モジュールによって、モデル更新情報を受信するステップと、中央モジュールによって、使用可能なモデルのデータベースを分析するステップと、中央モジュールによって、モデル更新情報の優先度を決定するステップと、中央モジュールによって、どのローカル・ノードがモデル更新情報を受信するべきかを決定するステップと、中央モジュールによって、モデル更新情報を送信するステップとを含む、配布するステップと、少なくとも１つのローカル・ノードを更新するステップであって、少なくとも１つの監視モジュールによって、モデル更新情報を受信するステップと、少なくとも１つの診断モジュールによって、現在の検出モデルを決定するステップと、少なくとも１つの評価モジュールによって、モデル更新情報が現在の検出モデルに適用されるべきかどうかを判定するステップと、少なくとも１つの評価モジュールによって、ローカル・ノードがモデル更新情報を適用する許可を得ているかどうかを判定するステップと、少なくとも評価モジュールによって、モデル更新情報を使用して現在の検出モデルを更新するステップとを含む、更新するステップとを実行するように構成される。

【0005】

本発明の別の態様によれば、プロセッサと、命令を含んでいるメモリとを備えているデータ処理システムにおいてコンピュータ実装方法が提供されており、これらの命令は、プロセッサによって実行され、プロセッサに、システム更新検出モデルを実施させ、この方法は、少なくとも１つのローカル・ノードの監視モジュールによって、モデル更新情報を受信することと、ローカル・ノードの診断モジュールによって、ローカル・ノードによって使用中である現在の検出モデルを決定することと、ローカル・ノードの評価モジュールによって、モデル更新情報が現在の検出モデルに適用されるべきかどうかを判定することと、ローカル・ノードの評価モジュールによって、ローカル・ノードがモデル更新情報を適用する許可を得ているかどうかを判定することと、ローカル・ノードの評価モジュールによって、モデル更新情報を使用して現在の検出モデルを更新することとを含む、少なくとも１つのローカル・ノードを更新することを含む。

【0006】

本発明の別の態様によれば、検出モデルを更新するためのコンピュータ・プログラム製品が提供されており、コンピュータ・プログラム製品は、プログラム命令が具現化されている少なくとも１つのコンピュータ可読ストレージ媒体を備え、プログラム命令は、プロセッサによって実行可能であり、プロセッサに、少なくとも１つの監視モジュールによって、モデル更新情報を受信することと、少なくとも１つの診断モジュールによって、現在の検出モデルを決定することと、少なくとも１つの評価モジュールによって、モデル更新情報が現在の検出モデルに適用されるべきかどうかを判定することと、少なくとも１つの評価モジュールによって、少なくとも１つのローカル・ノードがモデル更新情報を適用する許可を得ているかどうかを判定することと、少なくとも評価モジュールによって、モデル更新情報を使用して現在の検出モデルを更新することとによって、ローカル・ノードを更新させる。

【0007】

本発明のさらに別の態様によれば、検出モデルを作成および更新するためのコンピュータ・プログラム製品が提供されており、コンピュータ・プログラム製品は、プログラム命令が具現化されている少なくとも１つのコンピュータ可読ストレージ媒体を備え、プログラム命令は、プロセッサによって実行可能であり、プロセッサに、モデル更新情報を作成することであって、診断モジュールによって、システム・データにおける有意な変化を検出することと、診断モジュールによって、有意な変化を検出することに関与したすべての現在の検出モデルのリストを決定することと、診断モジュールによって、有意な変化を検出することに関与したシステム・データを分析することと、診断モジュールによって、モデル更新情報を生成することであって、生成されたモデル更新情報がどのシステム・データも含まない、生成することと、監視モジュールによって、モデル更新情報を送信することとを含む、作成することと、モデル更新情報を配布することであって、中央モジュールによって、モデル更新情報を受信することと、中央モジュールによって、使用可能なモデルのデータベースを分析することと、中央モジュールによって、モデル更新情報の優先度を決定することと、中央モジュールによって、どのローカル・ノードがモデル更新情報を受信するべきかを決定することと、中央モジュールによって、モデル更新情報を少なくとも１つのローカル・ノードに送信することとを含む、配布することと、少なくとも１つのローカル・ノードを更新することであって、少なくとも１つの監視モジュールによって、モデル更新情報を受信することと、少なくとも１つの診断モジュールによって、現在の検出モデルを決定することと、少なくとも１つの評価モジュールによって、モデル更新情報が現在の検出モデルに適用されるべきかどうかを判定することと、少なくとも１つの評価モジュールによって、ローカル・ノードがモデル更新情報を適用する許可を得ているかどうかを判定することと、少なくとも１つの評価モジュールによって、モデル更新情報を使用して現在の検出モデルを更新することとを含む、更新することとを実行させる。

【0008】

本発明のさらに別の態様によれば、検出モデルを作成および更新するためのコンピュータ・プログラム製品が提供されており、コンピュータ・プログラム製品は、プログラム命令が具現化されている少なくとも１つのコンピュータ可読ストレージ媒体を備え、プログラム命令は、プロセッサによって実行可能であり、プロセッサに、モデル更新情報を作成することであって、第１の診断モジュールによって、システム・データにおける有意な変化を検出することと、第１の診断モジュールによって、有意な変化を検出することに関与したすべての現在の検出モデルのリストを決定することと、第１の診断モジュールによって、有意な変化を検出することに関与したシステム・データを分析することと、第１の診断モジュールによって、モデル更新情報を生成することであって、生成されたモデル更新情報がどのシステム・データも含まない、生成することと、第１の監視モジュールによって、モデル更新情報を送信することとを含む、作成することと、少なくとも第２のローカル・ノードを更新することであって、少なくとも第２の監視モジュールによって、モデル更新情報を受信することと、少なくとも第２の診断モジュールによって現在の検出モデルを決定することと、少なくとも第２の評価モジュールによって、モデル更新情報が現在の検出モデルに適用されるべきかどうかを判定することと、少なくとも第２の評価モジュールによって、ローカル・ノードがモデル更新情報を適用する許可を得ているかどうかを判定することと、少なくとも第２の評価モジュールによって、モデル更新情報を使用して現在の検出モデルを更新することとを含む、更新することとを実行させる。

【0009】

本開示のその他の特徴および利点が、添付の図面を参照しながら進む実施形態例の以下の詳細な説明から、明らかにされるであろう。

【0010】

本開示の前述の態様およびその他の態様は、添付の図面に関連して読まれたときに、以下の詳細な説明から最もよく理解される。本開示を説明する目的で、図面において、現在の好ましい実施形態が示されているが、本開示は、開示された特定の実施形態に限定されないと理解されている。

【図面の簡単な説明】

【0011】

【図1】単一のローカル・ノードを備えている例示的な更新システムのブロック図を示す図である。

【図2】中央モジュールによって接続された複数のローカル・ノードを備えている例示的な更新システムのブロック図を示す図である。

【図3】複数の直接接続されたローカル・ノードを備えている例示的な更新システムのブロック図を示す図である。

【図4】更新システムおよび手動で作成されたモデル更新情報を使用して分析システムを更新する例示的な方法のフロー・チャートを示す図である。

【図5】ローカル・ノードが中央モジュールによって接続され、ローカル・ノードのうちの１つによって作成されたモデル更新情報を使用して分析システムを更新する、例示的な方法のフロー・チャートを示す図である。

【図6】ローカル・ノードが直接接続され、ローカル・ノードのうちの１つによって作成されたモデル更新情報を使用して分析システムを更新する例示的な方法のフロー・チャートを示す図である。

【図7】実施形態例の態様が実装されてよい例示的なデータ処理システムのブロック図を示す図である。

【発明を実施するための形態】

【0012】

本説明および特許請求の範囲では、実施形態例の特定の特徴および要素に関して、「１つの」、「～のうちの少なくとも１つ」、および「～のうちの１つまたは複数」という用語を使用することがある。これらの用語および語句が、特定の実施形態例に存在する特定の特徴または要素のうちの少なくとも１つが存在するが、２つ以上が存在する可能性もあるということを述べるよう意図されているということが、理解されるべきである。すなわち、これらの用語／語句は、説明または特許請求の範囲を、存在している単一の特徴／要素に制限するよう意図されておらず、そのような特徴／要素が複数存在することを必要とするよう意図されてもいない。反対に、これらの用語／語句は、少なくとも単一の特徴／要素のみを必要とし、そのような特徴／要素は、説明および特許請求の範囲内に複数存在する可能性がある。

【0013】

加えて、以下の説明では、実施形態例のさまざまな要素の複数のさまざまな例を使用して、実施形態例の例示的な実装をさらに説明し、実施形態例のメカニズムの理解を助けているということが、理解されるべきである。これらの例は、非限定的であるよう意図されており、実施形態例のメカニズムの実装のさまざまな可能性を網羅していない。本説明を考慮して、これらのさまざまな要素に関して、本開示の範囲から逸脱することなく、本明細書において提供された例に加えて、またはそれらの例を置き換えて利用できる、多くのその他の代替の実装が存在するということが、当業者にとって明らかであろう。

【0014】

本開示は、システム、方法、またはコンピュータ・プログラム製品、あるいはその組み合わせであってよい。コンピュータ・プログラム製品は、プロセッサに本開示の態様を実行させるためのコンピュータ可読プログラム命令を含んでいるコンピュータ可読ストレージ媒体を含んでよい。

【0015】

コンピュータ可読ストレージ媒体は、命令実行デバイスによって使用するための命令を保持および格納できる有形のデバイスであることができる。コンピュータ可読ストレージ媒体は、例えば、電子ストレージ・デバイス、磁気ストレージ・デバイス、光ストレージ・デバイス、電磁ストレージ・デバイス、半導体ストレージ・デバイス、またはこれらの任意の適切な組み合わせであってよいが、これらに限定されない。コンピュータ可読ストレージ媒体のさらに具体的な例の非網羅的リストは、ポータブル・フロッピー（Ｒ）・ディスク、ヘッド・ディスク、ランダム・アクセス・メモリ（ＲＡＭ：random access memory）、読み取り専用メモリ（ＲＯＭ：read-only memory）、消去可能プログラマブル読み取り専用メモリ（ＥＰＲＯＭ：erasable programmable read-only memoryまたはフラッシュ・メモリ）、スタティック・ランダム・アクセス・メモリ（ＳＲＡＭ：static random access memory）、ポータブル・コンパクト・ディスク読み取り専用メモリ（ＣＤ－ＲＯＭ：compact disc read-only memory）、デジタル・バーサタイル・ディスク（ＤＶＤ：digital versatile disk）、メモリ・スティック、フロッピー（Ｒ）・ディスク、パンチカードまたは命令が記録されている溝の中の隆起構造などの機械的にエンコードされるデバイス、およびこれらの任意の適切な組み合わせを含む。本明細書において使用されるとき、コンピュータ可読ストレージ媒体は、それ自体が、電波またはその他の自由に伝搬する電磁波、導波管またはその他の送信媒体を伝搬する電磁波（例えば、光ファイバ・ケーブルを通過する光パルス）、あるいはワイヤを介して送信される電気信号などの一過性の信号であると解釈されるべきではない。

【0016】

本明細書に記載されたコンピュータ可読プログラム命令は、コンピュータ可読ストレージ媒体から各コンピューティング・デバイス／処理デバイスへ、またはネットワーク（例えば、インターネット、ローカル・エリア・ネットワーク（ＬＡＮ：local area network）、広域ネットワーク（ＷＡＮ：wide area network）、または無線ネットワーク、あるいはその組み合わせ）を介して外部コンピュータまたは外部ストレージ・デバイスへダウンロードされ得る。このネットワークは、銅伝送ケーブル、光伝送ファイバ、無線送信、ルータ、ファイアウォール、スイッチ、ゲートウェイ・コンピュータ、またはエッジ・サーバ、あるいはその組み合わせを備えてよい。各コンピューティング・デバイス／処理デバイス内のネットワーク・アダプタ・カードまたはネットワーク・インターフェイスは、コンピュータ可読プログラム命令をネットワークから受信し、それらのコンピュータ可読プログラム命令を各コンピューティング・デバイス／処理デバイス内のコンピュータ可読ストレージ媒体に格納するために転送する。

【0017】

本開示の動作を実行するためのコンピュータ可読プログラム命令は、アセンブラ命令、命令セット・アーキテクチャ（ＩＳＡ：instruction-set-architecture）命令、マシン命令、マシン依存命令、マイクロコード、ファームウェア命令、状態設定データ、あるいはＪａｖａ（Ｒ）（ＴＭ）、Ｓｍａｌｌｔａｌｋ、Ｃ＋＋などのオブジェクト指向プログラミング言語、および「Ｃ」プログラミング言語または同様のプログラミング言語などの従来の手続き型プログラミング言語を含む１つまたは複数のプログラミング言語の任意の組み合わせで記述されたソース・コードまたはオブジェクト・コードであってよい。コンピュータ可読プログラム命令は、ユーザのコンピュータ上で全体的に実行すること、ユーザのコンピュータ上でスタンドアロン・ソフトウェア・パッケージとして部分的に実行すること、ユーザのコンピュータ上およびリモート・コンピュータ上でそれぞれ部分的に実行すること、あるいはリモート・コンピュータ上またはサーバ上で全体的に実行することができる。後者のシナリオでは、リモート・コンピュータは、ＬＡＮまたはＷＡＮを含む任意の種類のネットワークを介してユーザのコンピュータに接続されてよく、または接続は、（例えば、インターネット・サービス・プロバイダを使用してインターネットを介して）外部コンピュータに対して行われてよい。一部の実施形態では、本開示の態様を実行するために、例えばプログラマブル論理回路、フィールドプログラマブル・ゲート・アレイ（ＦＰＧＡ：field-programmable gate arrays）、またはプログラマブル・ロジック・アレイ（ＰＬＡ：programmable logic arrays）を含む電子回路は、コンピュータ可読プログラム命令の状態情報を利用することによって、電子回路をカスタマイズするためのコンピュータ可読プログラム命令を実行してよい。

【0018】

本開示の態様は、本明細書において、本開示の実施形態に従って、方法、装置（システム）、およびコンピュータ・プログラム製品のフローチャート図またはブロック図あるいはその両方を参照して説明される。フローチャート図またはブロック図あるいはその両方の各ブロック、ならびにフローチャート図またはブロック図あるいはその両方に含まれるブロックの組み合わせが、コンピュータ可読プログラム命令によって実装され得るということが理解されるであろう。

【0019】

これらのコンピュータ可読プログラム命令は、コンピュータまたはその他のプログラム可能なデータ処理装置のプロセッサを介して実行される命令が、フローチャートまたはブロック図あるいはその両方のブロックに指定される機能／動作を実施する手段を作り出すべく、汎用コンピュータ、専用コンピュータ、または他のプログラム可能なデータ処理装置のプロセッサに提供されてマシンを作り出すものであってよい。これらのコンピュータ可読プログラム命令は、命令が格納されたコンピュータ可読ストレージ媒体がフローチャートまたはブロック図あるいはその両方のブロックに指定される機能／動作の態様を実施する命令を含んでいる製品を含むような特定の方法で、コンピュータ可読ストレージ媒体に格納され、コンピュータ、プログラム可能なデータ処理装置、または他のデバイス、あるいはその組み合わせに機能するように指示できるものであってもよい。

【0020】

コンピュータ可読プログラム命令は、コンピュータ上、その他のプログラム可能な装置上、またはその他のデバイス上で実行される命令が、フローチャートまたはブロック図あるいはその両方のブロックに指定される機能／動作を実施するように、コンピュータ、その他のプログラム可能なデータ処理装置、またはその他のデバイスに読み込まれてもよく、それによって、一連の動作ステップを、コンピュータ上、その他のプログラム可能な装置上、またはコンピュータ実装プロセスを生成するその他のデバイス上で実行させる。

【0021】

本発明の態様は、本明細書において、本発明の実施形態に従って、方法、装置（システム）、およびコンピュータ・プログラム製品のフローチャート図またはブロック図あるいはその両方を参照して説明される。フローチャート図またはブロック図あるいはその両方の各ブロック、ならびにフローチャート図またはブロック図あるいはその両方に含まれるブロックの組み合わせが、コンピュータ可読プログラム命令によって実装され得るということが理解されるであろう。

【0022】

図内のフローチャートおよびブロック図は、本発明のさまざまな実施形態に従って、システム、方法、およびコンピュータ・プログラム製品の可能な実装のアーキテクチャ、機能、および動作を示す。これに関連して、フローチャートまたはブロック図内の各ブロックは、規定された論理機能を実装するための１つまたは複数の実行可能な命令を備える、命令のモジュール、セグメント、または部分を表してよい。一部の代替の実装では、ブロックに示された機能は、図に示された順序とは異なる順序で発生してよい。例えば、連続して示された２つのブロックは、実際には、含まれている機能に応じて、実質的に同時に実行されるか、または場合によっては逆の順序で実行されてよい。ブロック図またはフローチャート図あるいはその両方の各ブロック、ならびにブロック図またはフローチャート図あるいはその両方に含まれるブロックの組み合わせは、規定された機能または動作を実行するか、または専用ハードウェアとコンピュータ命令の組み合わせを実行する専用ハードウェアベースのシステムによって実装され得るということにも注意する。

【0023】

概要として、認知システムは、特殊なコンピュータ・システム、またはコンピュータ・システムのセットであり、人間の認知機能をエミュレートするようにハードウェア論理または（ソフトウェアが実行されるハードウェア論理と組み合わせた）ソフトウェア論理あるいはその両方を使用して構成される。これらの認知システムは、人間のような特徴を、考えを伝達することおよび操作することに適用し、デジタル計算の固有の強みと組み合わせた場合に、高い精度および柔軟性で大規模な問題を解くことができる。ＩＢＭ（Ｒ）Ｗａｔｓｏｎ（ＴＭ）は、そのような認知システムの一例であり、人間が読める言語を処理し、テキストの通過間の推定を、人間と同様の精度で、人間よりもはるかに高速かつ大量に識別することができる。一般に、そのような認知システムは、以下の機能を実行することができる。

【0024】

【表1】

【0025】

本明細書における実施形態は、複数のローカル・ノードにわたって分析モデルを更新するためのシステムに関連している。本明細書において使用されるとき、個別の「ローカル・ノード」とは、個人または会社などのエンド・ユーザによってインストールされたソフトウェアのことを指している。一部の実施形態では、ローカル・ノードは、１つのコンピュータ・システムを含む。一部の実施形態では、ローカル・ノードは、エンド・ユーザによって制御される複数のコンピュータ・システムまたはサーバを含む。一部の実施形態では、システム内の各ローカル・ノードは、そのローカル・ノードに固有である現在の分析モデルのセットを使用する。一部の実施形態では、システム内の各ローカル・ノードは、１つまたは複数の分析モデルによって生成されたシステム・データにアクセスして分析する。このシステム・データは、各ローカル・ノードに固有であり、機密情報または秘密情報を含んでよい。

【0026】

本明細書において使用されるとき、個別の「分析モデル」または単に「モデル」は、データ分析技術を使用して特定のイベントを検出するように設計されたソフトウェア・アルゴリズムである。一部の実施形態では、分析モデルは、データの異常を検出する。一部の実施形態では、分析モデルは、不正イベントを検出する。一部の実施形態では、分析モデルによって使用されるデータ分析技術は、データ前処理技術、１つまたは複数の統計パラメータの計算、分類またはグループに基づく統計比率、確率の計算、データのクラスター化およびデータの照合などの分類技術、回帰分析、ならびにギャップ分析を含むが、これらに限定されない。一部の実施形態では、ローカル・ノードのソフトウェアは、１つまたは複数の分析モデルを含む。一部の実施形態では、ローカル・ノードのソフトウェアは、１つまたは複数の分析モデルおよび決定論的ルールを含む。一部の実施形態では、ローカル・ノードのソフトウェアは、不正検出のための１つまたは複数の分析モデルを含む。一部の実施形態では、ローカル・ノードのソフトウェアは、法規制の順守または不順守に関する１つまたは複数の分析モデルを含む。一部の実施形態では、ローカル・ノードのソフトウェアは、不正検出のための１つまたは複数のモデルおよび決定論的ルールを含む。一部の実施形態では、ローカル・ノードのソフトウェアは、法規制の順守または不順守に関する１つまたは複数のモデルおよび決定論的ルールを含む。

【0027】

一部の実施形態では、更新システムは、１つまたは複数のモデル更新情報を受信し、それらの更新情報を適用可能なローカル・ノードにプッシュする。一部の実施形態では、更新システムは更新情報をシステム内のすべてのローカル・ノードにプッシュする。一部の実施形態では、更新システムは更新情報を選択されたローカル・ノードのみにプッシュする。一部の実施形態では、更新システムは、どのローカル・ノードがモデル更新情報のプッシュを受信するかを決定する。

【0028】

一部の実施形態では、モデル更新情報を受信する個々のローカル・ノードは、分析システムの現在のモデルに対して更新情報をチェックし、適用可能な場合、更新システムが現在のモデルを更新する。一部の実施形態では、更新システムは、１つまたは複数の手動で作成されたモデル更新情報を受信する。一部の実施形態では、更新システムは、更新システムのローカル・ノードによって作成された１つまたは複数のモデル更新情報を受信する。一部の実施形態では、更新システムのローカル・ノードは、それ自体がローカル・ノードではない中央ハブまたは中央モジュールによって接続される。一部の実施形態では、更新システムのローカル・ノードは、例えば分散ネットワークとして、互いに直接接続される。

【0029】

一部の実施形態では、任意のローカル・ノードを含んでいる更新システムは、分析モデルを使用する任意のソフトウェア・システムに関するモデル更新情報を作成してプッシュするスタンドアロン・システムである。一部の実施形態では、更新システム自体は、より大きい分析システム（例えば、不正検出のための分析システム）のコンポーネントまたはサブシステムである。

【0030】

図１は、更新システム１００の例示的な単一のローカル・ノードのコンポーネント、出力、およびデータ・フローのブロック図表現を示している。ローカル・ノードは、３つの主要なモジュールまたはサブシステム、すなわち監視モジュール１０１、診断モジュール１０２、および評価モジュール１０３を含んでいる。

【0031】

監視モジュール１０１は、モデル更新プロセスが必要とされているかどうかを判定するために、１つまたは複数の要因を監視する。一部の実施形態では、監視モジュール１０１は、最後の更新プロセス後の時間をチェックし、十分な時間が経過した場合、更新プロセスを開始する。一部の実施形態では、監視モジュール１０１は、最後の更新プロセス後、６時間、１２時間、１日、２日、３日、４日、５日、６日、７日、１０日、１５日、３０日、１か月、２か月、３か月、６か月、または１年が経過した場合に、更新プロセスを開始する。一部の実施形態では、監視モジュール１０１は、ローカル・ノード１００の外部のソースからプッシュされたモデル更新情報を受信した場合に、更新プロセスを開始する。例えば、監視モジュール１０１は、更新システムの中央モジュールから、別のローカル・ノードから、または直接、更新システム管理者からプッシュされたモデル更新情報を受信することができる。

【0032】

一部の実施形態では、監視モジュール１０１は、診断モジュール１０２によって信号で伝えられた場合に、更新プロセスを開始することができる。一部の実施形態では、診断モジュール１０２は、システム・データ１０４を分析し、１つまたは複数のデータのしきい値が満たされた場合、更新プロセスを開始するように監視モジュール１０１に信号で伝えることができる。例えば、診断モジュール１０２は、システム・データ１０４の診断モジュールの分析が、データのしきい値を上回るイベント検出における増加、またはデータのしきい値を下回るイベント検出における減少を示す場合に、監視モジュール１０１に信号で伝えることができる。一部の実施形態では、データのしきい値は、例えばエンド・ユーザによって、手動で設定されることができる。一部の実施形態では、データのしきい値は、例えば、イベント検出率が検出率の１週間移動平均を有意な値だけ上回って増加した場合、診断モジュール１０２によって自動的に決定されることができる。

【0033】

更新プロセスが開始された場合、監視モジュール１０１は、使用可能なモデル更新情報について問い合わせる。一部の実施形態では、監視モジュール１０１は、更新システムの中央モジュール、別のローカル・ノード、または更新システム管理者に問い合わせる。一部の実施形態では、ローカル・ノード１００の外部のソースからプッシュされたモデル更新情報によって更新プロセスが開始された場合、監視モジュール１０１は追加の使用可能なモデル更新情報について問い合わせない。一部の実施形態では、ローカル・ノード１００の外部のソースからプッシュされたモデル更新情報によって更新プロセスが開始された場合、監視モジュール１０１は追加の使用可能なモデル更新情報についてさらに問い合わせる。

【0034】

監視モジュール１０１がすべての使用可能な問い合わせを完了し、少なくとも１つのモデル更新情報を受信した場合、監視モジュール１０１は、モデル更新情報を診断モジュール１０２に渡す。診断モジュール１０２は、モデル更新情報を、ローカル・ノードで使用できる現在のモデルのデータベース１０５と比較する。一部の実施形態では、診断モジュール１０２は、それらの現在のモデル１０５がアクティブに使用中であるかどうかに関わらず、モデル更新情報を現在のモデル１０５に分類する。一部の実施形態では、診断モジュール１０２は、モデル更新情報を、アクティブな現在のモデル１０５の適用によって生成されたシステム・データ１０４に分類する。

【0035】

診断モジュール１０２が、モデル更新情報を受信し、少なくとも、モデル更新情報を現在のモデルのデータベース１０５と比較した場合、診断モジュール１０２は、モデル更新情報およびすべての使用可能な比較ならびにその他の分析データを評価モジュール１０３に渡す。評価モジュール１０３は、モデル更新情報を評価し、更新情報１０６が適用されるべきかどうかを判定する。一部の実施形態では、評価モジュール１０３は、モデル更新情報を自動的に適用し、モデル更新情報を使用して現在のモデル１０５を変更または修正する。一部の実施形態では、評価モジュール１０３は、モデル更新情報を分析し、そのようなモデルが現在のモデルのデータベース１０５にすでに存在するかどうかを判定する。一部の実施形態では、評価モジュール１０３は、関連するシステム・データ１０４または診断モジュール１０２によって生成された関連するカテゴリ・データに対してモデルの更新を実行し、モデル更新情報が、現在のモデル１０５が生成できるものとは異なるシステム・データをローカル・ノード１００に提供するかどうかを判定する。一部の実施形態では、評価モジュール１０３は、ローカル・ノード１００のエンド・ユーザまたは管理者によって許可されない限り、どの更新も自動的に適用せず、どの分析も実行しない。

【0036】

図２は、複数のローカル・ノード２００を含む更新システムのコンポーネント、出力、およびデータ・フローのブロック図表現を示している。更新システムは、更新システム２００内のすべてのローカル・ノードを接続する中央モジュール２０１を備えている。図２は、２１０および２２０として一般的に分類された２つのローカル・ノードを示している。一部の実施形態では、更新システム２００内に存在することができるローカル・ノードの数に制限はない。ローカル・ノード２１０および２２０が、図１で説明されたローカル・ノードと概して同じであり、それぞれ監視モジュール２１１、２２１、診断モジュール２１２、２２２、および評価モジュール２１３、２２３を含んでいるということが理解されるべきである。各ローカル・ノードは、それ自身のシステム・データ２１４、２２４、および現在のモデルのデータベース２１５、２２５をさらに含んでいる。各ローカル・ノードが、異なるシステム・データおよび現在のモデルを含んでよいということが理解されるべきである。一部の実施形態では、システム・データ２１４は、システム・データ２２４と同一であるか、または類似してよく、あるいはシステム・データ２２４と同一でなく、類似していなくてよい。一部の実施形態では、現在のモデル２１５は、現在のモデル２２５と同一であるか、または類似してよく、あるいは現在のモデル２２５と同一でなく、類似していなくてよい。

【0037】

中央モジュール２０１は、どのローカル・ノードにも存在せず、集中型管理サーバなどの分離した位置に存在する。一部の実施形態では、中央モジュール２０１は、監視モジュール２１１、２２１との間で情報を送信および受信することができる。一部の実施形態では、中央モジュール２０１は、更新システム内の任意の監視モジュールとの間で情報を送信および受信することができる。中央モジュール２０１は、更新システムが使用できるモデルのマスタ・データベース２０２にアクセスすることができる。使用可能なモデルのデータベース２０２は、更新システムに現在存在している、可能性のあるすべての分析モデルのリストである。一部の実施形態では、個別のノード内の現在のモデルのデータベース（例えば、現在のモデル２１５）は、使用可能なモデルのデータセット２０２と同等である。一部の実施形態では、個別のノード内の現在のモデルのデータベース（例えば、現在のモデル２１５）は、使用可能なモデルのデータセット２０２と同等ではないが、使用可能なモデルのデータベース２０２と共通している少なくとも１つのモデルを含む。

【0038】

一部の実施形態では、個別のノード内の監視モジュール（例えば、監視モジュール２１１）が、使用可能なモデル更新情報についての問い合わせを開始した場合、監視モジュールは、中央モジュール２０１と電子的に通信する。

【0039】

一部の実施形態では、個々のノードは、１人または複数のエンド・ユーザと通信することができる。図２では、例えば、ノード２１０の評価モジュール２１３がエンド・ユーザ２１７と通信することができる。一部の実施形態では、個別のノードの任意のモジュールが、エンド・ユーザと通信することができる。一部の実施形態では、個別のノードがエンド・ユーザと通信し、更新プロセスに関する情報をエンド・ユーザに提供する。一部の実施形態では、個別のノードがエンド・ユーザと通信し、更新の結果に関する情報（例えば、どのモデルが更新されたか）をエンド・ユーザに提供する。一部の実施形態では、個別のノードがエンド・ユーザと通信し、いずれかのモデルを更新する前に、エンド・ユーザに許可を求める。

【0040】

図３は、複数のローカル・ノード３００を含む更新システムのコンポーネント、出力、およびデータ・フローの別のブロック図表現を示している。更新システム３００は、３１０および３２０として一般的に分類された２つのローカル・ノードを示している。一部の実施形態では、更新システム３００内に存在することができるローカル・ノードの数に制限はない。ローカル・ノード３１０および３２０が、図１および２で説明されたローカル・ノードと概して同じであり、それぞれ監視モジュール３１１、３２１、診断モジュール３１２、３２２、および評価モジュール３１３、３２３を含んでいるということが理解されるべきである。各ローカル・ノードは、それ自身のシステム・データ３１４、３２４、および現在のモデルのデータベース３１５、３２５をさらに含んでいる。各ローカル・ノードが、異なるシステム・データおよび現在のモデルを含んでよいということが理解されるべきである。一部の実施形態では、システム・データ３１４は、システム・データ３２４と同一であるか、または類似してよく、あるいはシステム・データ３２４と同一でなく、類似していなくてよい。一部の実施形態では、現在のモデル３１５は、現在のモデル３２５と同一であるか、または類似してよく、あるいは現在のモデル３２５と同一でなく、類似していなくてよい。

【0041】

図２とは異なり、更新システム３００は、すべてのローカル・ノードを接続するどのような種類の中央モジュールも含まない。代わりに、各ローカル・ノードは、ネットワークを介して互いに直接接続される。一部の実施形態では、各監視モジュールは、更新システム３００内の他のすべての監視モジュールと電子通信を行う。例えば、図３に示されているように、監視モジュール３１１は、監視モジュール３２１と電子通信を行う。

【0042】

一部の実施形態では、個別のノードで更新プロセスが開始された場合、そのノードの監視モジュールが、更新システム３００内の別のローカル・ノードに問い合わせる。例えば、ローカル・ノード３１０で更新プロセスが開始された場合、監視モジュール３１１がローカル・ノード３２０の監視モジュール３２１に問い合わせる。一部の実施形態では、個別のノードで更新プロセスが開始された場合、そのノードの監視モジュールが、更新システム３００内の他のすべてのローカル・ノードに問い合わせる。一部の実施形態では、個別のノードで更新プロセスが開始された場合、そのノードの監視モジュールが、更新システム３００内の選択された他のノードのみに問い合わせる。一部の実施形態では、個別のノードで更新プロセスが開始された場合、そのノードの監視モジュールが、更新システム３００内の他の１つのノードのみに問い合わせる。

【0043】

本明細書における任意の実施形態で、システム管理者は、更新されたモデルを作成し、更新システムに手動で追加することができる。例えば、システム管理者は、更新されたモデルを作成し、図２に示されているように、そのモデルを中央モジュール２０１に提出することができる。別の例では、システム管理者は、更新されたモデルを作成し、図３に示されているように、そのモデルを監視モジュール３２１に提出することができる。一部の実施形態では、更新されたモデルが、本明細書に示されたいずれかの更新システムに追加された場合、更新システム内のノードのすべてまたは一部にわたって、更新プロセスが開始されてよい。

【0044】

本明細書における任意の実施形態で、更新システムのいずれかのローカル・ノードが、モデル更新情報を生成し、更新システムの他のローカル・ノードに自動的にプッシュすることができる。一部の実施形態では、エンド・ユーザまたは管理者の関与なしで、更新システムが不正検出における増加に素早く応答することができるため、それ自身のモデル更新情報を生成するローカル・ノードは有利である。例えば、図２に示されているように、診断モジュール２１２は、システム・データ２１４を分析し、事前に設定されたしきい値より大きい不正検出における増加を検出する。診断モジュール２１２は、次に、不正における増加を検出し、システム・データ２１４を分析して、１つまたは複数のモデルとデータの間の結び付きの重要な特徴および条件を決定するために使用された、１つまたは複数のモデルのリストを作成する。次に、診断モジュール２１２は、モデルから、システム・データ２１４およびローカル・ノード２１０に固有のすべてのデータを除去する。次に、監視モジュール２１１は、モデルを中央モジュール２０１に送信し、その後、中央モジュール２０１は、そのモデルをモデル更新情報として更新システム２００に適用可能であるかどうかを判定する。

【0045】

ローカル・ノードが更新システムのモデル更新情報を生成している任意の実施形態では、そのローカル・ノードの固有のシステム・データが更新システム内の中央ハブまたはその他のローカル・ノードと共有されていないということが重要である。一部の実施形態では、更新システムと共有されさるモデルを作成する診断モジュールは、ローカル・ノードからのどの固有のシステム・データとも無関係な新しいモデルを作成する。一部の実施形態では、この新しいモデルは、１つまたは複数のアルゴリズム、作成日時、特定の期間にわたって検出されたイベントの数、合計トランザクション時間値（total transactional value of time）などのメタデータまたは高水準の集約統計、および更新をトリガーするために使用される１つまたは複数のしきい値点のうちの１つまたは複数を含む。一部の実施形態では、新しいモデルは、１つまたは複数のデータ・グループの平均の比率統計を含む。一部の実施形態では、新しいモデルは、将来の肯定的結果を決定するために、１つまたは複数のデータ・グループの平均の比率統計からの逸脱を検出することができる。一部の実施形態では、新しいモデルは、１つまたは複数のモデルを表す１つまたは複数のネットワークまたは画像グラフィックスを含む。一部の実施形態では、新しいモデルは、新しいモデルを表す１つまたは複数のネットワークまたは画像グラフィックスを含む。

【0046】

本明細書における実施形態のいずれかで、更新システムのコンポーネントは、例えば、銀行などの企業の内部サーバ・システム内にインストールされたソフトウェアとして、同じ位置に格納されることができる。一部の実施形態では、本明細書で開示されたいずれかの更新システムのコンポーネントの一部は、クラウドベースのサービスの一部などとして、異なる位置に格納される。

【0047】

図４は、手動で作成されたモデルを使用して、モデル更新情報を、中央モジュール４００を含む更新システムにプッシュする例示的な方法のフロー・チャートを示している。一部の実施形態では、方法４００は、図２に示された更新システムで使用されることができる。最初に、システム管理者が、システムを更新するために使用される新しいモデルを手動で作成した（４０１）。一部の実施形態では、新しいモデルは、１つまたは複数の新しいアルゴリズムまたは更新されたアルゴリズムを含む。一部の実施形態では、新しいモデルは、新しいモデルの使用に必要な基準に関する情報（例えば、ビジネスの種類、必要なシステム・データの量、またはモデルによって実行された検出の種類）を含む。一部の実施形態では、新しいモデルは、モデルが更新システムにとってどの程度重要かに関する優先度情報を含む。例えば、すべてのローカル・ノードに出力されなければならない新しいモデルには、可能な最高の優先度が付与される。一部の実施形態では、優先度情報は、低優先度、中優先度、または高優先度のいずれかとして分類される。

【0048】

次に、システム管理者によって作成された新しいモデルが更新システムにプッシュされ、更新システムがモデルを受信する（４０２）。一部の実施形態では、更新システムの中央モジュールがモデルを受信する。中央モジュールは、モデルを受信した（４０２）後に、モデル・データベースを更新する（４０３）。例えば、中央モジュール２０１が、図２に示された更新システム２００内の使用可能なモデル・データベース２０２を更新する。

【0049】

次に、更新システムは、新しいモデルに適用可能なエンド・ユーザを決定する（４０４）。一部の実施形態では、中央モジュールは、どのエンド・ユーザが適用可能であるかを決定している。一部の実施形態では、中央モジュールは、新しいモデルの優先度情報に加えて、新しいモデルにおける基準情報を各エンド・ユーザに関する情報と比較することによって、どのエンド・ユーザがモデル更新情報に適用可能であるかを決定する。例えば、クレジット・カードの不正検出のためのモデル更新情報が中優先度を有している場合、中央モジュールは、更新システム内のどのローカル・ノードがクレジット・カードの不正検出に関与しているかを識別し、その後、モデルをそれらの識別されたローカル・ノードに出力する（４０５）。モデル更新情報は、残りのどのローカル・ノードにも出力されないが、それらの残りのローカル・ノードの各々が更新プロセスを開始したときに、例えば、更新なしで監視モジュールをトリガーするほど十分な時間が経過した場合に、そのローカル・ノードは更新情報を受信してよい。別の例では、クレジット・カードの不正検出のためのモデル更新情報が高優先度を有している場合、中央モジュールは、モデルをすべてのローカル・ノードに出力する（４０５）。別の例では、クレジット・カードの不正検出のためのモデル更新情報が低優先度を有している場合、中央モジュールは、モデルをどのローカル・ノードにも直ちに出力せず、代わりに、各ローカル・ノードがそれ自身で更新プロセスを開始するのを待機する。

【0050】

モデル更新情報が中央モジュールから送信された後に、少なくとも１つのローカル・ノードによって、そのモデル更新情報が受信される（４１１）。一部の実施形態では、モデル更新情報が、複数のローカル・ノードによって同時に受信される。一部の実施形態では、モデル更新情報が、本明細書に記載された実施形態のいずれかにおける監視モジュールによって受信される。

【0051】

一部の実施形態では、ローカル・ノードがモデル更新情報を受信した（４１１）後に、モデル更新情報は自動的にインストールされない。最初に、ローカル・ノードが、現在のモデル・データベースに問い合わせ、モデル更新情報がいずれかの既存のモデルを置き換えるかどうかを確認する（４１２）。次に、ローカル・ノードは、ノードとのモデル更新情報の関連性を決定する（４１３）。例えば、図２に示された更新システム２００のローカル・ノード２１０で、監視モジュール２１１によってモデル更新情報が受信され、その後、診断モジュール２１２に渡される。診断モジュール２１２は、最初に、現在のモデル・データベース２１５に問い合わせ、次に、ローカル・ノード２１０とのモデル更新情報の関連性を決定する。一部の実施形態では、診断モジュール２１２は、関連性を決定するステップ４１３の後に、更新プロセスを終了する。一部の実施形態では、関連性を決定するステップ４１３の後に、診断モジュール２１２が、モデル更新情報がローカル・ノードに必要とされないということを決定した場合に、診断モジュール２１２が更新プロセスを終了する。一部の実施形態では、関連性を決定するステップ４１３の後に、診断モジュール２１２が、モデル更新情報がローカル・ノードにすでに存在するということを決定した場合に、診断モジュール２１２が更新プロセスを終了する。一部の実施形態では、モデル更新情報が高優先度を有している場合、診断モジュール２１２は、関連性を決定するステップ４１３を自動的に回避する。

【0052】

一部の実施形態では、ローカル・ノードが、モデル更新情報が関連しているか、または必要であるということを決定した後に、ローカル・ノードは、モデル更新情報を適用する許可を得ているかどうかを判定する（４１４）。一部の実施形態では、ローカル・ノードの評価モジュールが、ローカル・ノードがモデル更新情報を適用する許可を得ているかどうかを判定する。一部の実施形態では、ローカル・ノードは、モデル更新情報をインストールする許可を得ない。一部の実施形態では、ローカル・ノードは、モデル更新情報をインストールする自動的な許可を得ない。一部の実施形態では、ローカル・ノードは、モデル更新情報をインストールする前に、エンド・ユーザに問い合わせるか、またはエンド・ユーザに許可を求めなければならない（４１６）。例えば、診断モジュール２１２が、モデル更新情報が関連しているということ、またはモデル更新情報が、関連性を決定するステップ４１３を回避するほど十分に高い優先度を有しているということのいずれかを決定した後に、モデル更新情報が評価モジュール２１３に渡される。次に、評価モジュール２１３は、ローカル・ノードの更新許可設定をチェックする。一部の実施形態では、評価モジュール２１３が、モデル更新情報をインストールする許可を得ていないということを決定した場合、評価モジュール２１３は更新プロセスを終了する。一部の実施形態では、評価モジュール２１３は、モデル更新情報をインストールする前に、例えば、ユーザにプロンプトを発行することによって、または電子メールもしくはその他の通信をエンド・ユーザに送信することによって、エンド・ユーザに問い合わせる。

【0053】

ローカル・ノードが、モデル更新情報をインストールする許可を得ているということを決定した後に、ローカル・ノードはモデル更新情報をインストールする（４１５）。一部の実施形態では、評価モジュールがモデル更新情報をインストールする。一部の実施形態では、更新システムの任意のモジュールがモデル更新情報をインストールする。一部の実施形態では、モデル更新情報は、１つまたは複数の新しいモデルをローカル・ノード内の現在のモデル・データベースにインストールする。一部の実施形態では、モデル更新情報は、ローカル・ノード内の現在のモデル・データベース内の１つまたは複数のモデルを置き換える。例えば、許可が確立された後に、評価モジュール２１３が、モデル更新情報を使用して現在のモデル・データベース２１５を更新する。

【0054】

一部の実施形態では、更新４１５が完了した後に、ローカル・ノードは出力レポートを作成する（４１７）。一部の実施形態では、出力レポートはエンド・ユーザと共有される。一部の実施形態では、出力レポートは、更新システムの中央モジュールと共有される。一部の実施形態では、出力レポートは、モデル更新情報に関する情報を含み、例えば、更新されたモデルの種類、いずれかの古いモデルが置き換えられたかどうか、更新の日時、新しいモデルが現在アクティブであるかどうか、またはこれらの任意の組み合わせを含んでいる。

【0055】

図５は、モデル更新情報を、中央モジュールを含む更新システムにプッシュする例示的な方法のフロー・チャートを示しており、モデル更新情報が、更新システム５００内のローカル・ノードから自動的に作成されている。一部の実施形態では、方法５００は、図２に示された更新システムで使用されることができる。最初に、更新システム内のローカル・ノードが、既存のモデルからの結果における変化を検出する（５０１）。一部の実施形態では、更新システム内のローカル・ノードが、不正検出率における変化を検出する。一部の実施形態では、不正検出率における変化は、事前に設定されたしきい値より大きい不正検出における増加である。一部の実施形態では、不正検出率における変化は、特定の期間にわたる不正における有意な増加または減少である。一部の実施形態では、更新システム内のローカル・ノードが、検出された不正の大きさにおける変化を検出する。一部の実施形態では、不正の大きさにおける変化は、事前に設定されたしきい値より大きい、検出された不正イベントの価値または金額における増加である。一部の実施形態では、不正の大きさにおける変化は、検出されたイベントの移動平均と比較した、検出された不正イベントの価値または金額における有意な増加である。例えば、図２に示されているような診断モジュール２１２は、システム・データ２１４を分析し、不正検出率の３か月移動平均から標準偏差を超えて離れている不正検出率における増加を検出する。

【0056】

既存のモデルからの結果における変化が検出された（５０１）後に、ローカル・ノードが、その検出に関与しているすべてのモデルのリストを作成する（５０２）。一部の実施形態では、ローカル・ノードは、ステップ５０１で検出されたイベントを生成することに直接関与しているすべてのモデルのリストを作成する。一部の実施形態では、ローカル・ノードは、ステップ５０１で検出されたイベントを生成することに直接的および間接的に関与したすべてのモデルのリストを作成する。一部の実施形態では、ローカル・ノードは、イベントがステップ５０１で検出されたときにアクティブに実行中だったすべてのモデルのリストを作成する。例えば、システム・データ２１４と現在のモデル・データベース２１５の両方に対するアクセス権限を有する診断モジュール２１２が、ステップ５０１で前に検出された不正イベントを生成することに直接的および間接的に関与したすべてのアルゴリズム・モデルのリストを作成する。

【0057】

ローカル・ノードが、検出された変化（５０１）に関連するモデルのリストを作成した（５０２）後に、ローカル・ノードは、検出された変化につながるイベントを生成することに関与したデータを分析する（５０３）。一部の実施形態では、ローカル・ノードは、システム・データを分析し、ステップ５０１で検出されたイベントを生成することにおいて、ステップ５０２でリストを作成されたモデルに関連する特徴および条件を決定する。一部の実施形態では、ローカル・ノードの分析は、通常の最小二乗法、罰則付き回帰、一般化された加法モデル、分位点回帰、ロジスティック回帰、およびゲート付き線形モデル（gated linear models）を含むことができるが、これらに限定されない。一部の実施形態では、ローカル・ノードの分析は、１つまたは複数の関連するモデルの変換された変形になり、それらのモデルの複雑さを減らす。例としては、真であることが知られている変数の関係の周辺でモデルを順応させるために、非線形、非単調なモデルに対して単調性制約を設けること、または機械学習アプリケーションでの単調ニューラル・ネットワークの利用が挙げられる。一部の実施形態では、関連する視覚化は、１つまたは複数の適用可能なモデル、特に機械学習モデルを近似する、関連しているがあまり複雑でないモデルである。例としては、代用モデル、ＬＩＭＥ（local interpretable model-agnostic explanations）、最大放射化分析（maximum activation analysis）、線形回帰、および感度分析が挙げられる。

【0058】

ローカル・ノードがモデルのリストを作成し（５０２）、関連するデータを分析した（５０３）後に、ローカル・ノードは、更新システムの他のローカル・ノードに送信されるモデル更新情報の特徴を生成することができる（５０４）。一部の実施形態では、ローカル・ノードの診断モジュールがモデルの特徴を生成する（５０４）。一部の実施形態では、モデル更新情報の特徴はローカル・ノードに依存せず、すなわち、モデル更新情報は、更新システム内の任意のローカル・ノードによって使用可能である。したがって、ローカル・ノードによって生成されたモデル更新情報から、そのローカル・ノードのすべての固有のデータが除去される。一部の実施形態では、モデル更新情報の特徴は、１つまたは複数のアルゴリズム、作成日時、特定の期間にわたって検出されたイベントの数、合計トランザクション時間値などのメタデータまたは高水準の集約統計、および更新をトリガーするために使用される１つまたは複数のしきい値点のうちの１つまたは複数を含む。一部の実施形態では、モデル更新情報の特徴は、１つまたは複数のデータ・グループの平均の比率統計を含む。一部の実施形態では、モデル更新情報は、将来の肯定的結果を決定するために、１つまたは複数のデータ・グループの平均の比率統計からの逸脱を検出することができる。一部の実施形態では、モデル更新情報の特徴は、１つまたは複数のモデルを表す１つまたは複数のネットワークまたは画像グラフィックスを含む。一部の実施形態では、モデル更新情報の特徴は、新しいモデルを表す１つまたは複数のネットワークまたは画像グラフィックスを含む。

【0059】

ローカル・ノードがモデルの特徴を生成した（５０４）後に、ローカル・ノードは、モデル更新情報を出力することができる（５０５）。一部の実施形態では、ローカル・ノードは、モデル更新情報を更新システムの中央モジュールに出力し、中央モジュールがモデル更新情報を受信する（５０６）。例えば、ローカル・ノード２１０の監視モジュール２１１は、診断モジュール２１２からモデル更新情報を受信することができ、その後、監視モジュール２１１はモデル更新情報を中央モジュール２０１に送信することができ、中央モジュール２０１がモデル更新情報を受信する。

【0060】

更新システムの中央モジュールは、ローカル・ノードからモデル更新情報を受信した（５０６）後に、モデル・データベースに問い合わせる（５０７）。一部の実施形態では、中央モジュールは、モデル・データベースに問い合わせ、モデル更新情報がすでに存在するかどうかを判定する。一部の実施形態では、中央モジュールは、モデル・データベースに問い合わせ、モデル更新情報がデータベース内の既存のモデルを置き換えるのか、またはデータベースにとって新しいモデルであるのかを判定する。一部の実施形態では、中央モジュールがモデル・データベースに問い合わせ、モデル更新情報がデータベース内の既存のモデルを置き換えるか、または変更することができるということを決定した場合、中央モジュールは、モデル情報を既存のモデルに適用することができる。一部の実施形態では、モデル情報は、モデルの作成日時、モデルが最後に更新された日時、およびモデルを現在使用しているローカル・ノードの数のうちの１つまたは複数を含むことができる。例えば、中央モジュール２０１は、ローカル・ノード２１０からモデル更新情報を受信したときに、使用可能なモデル・データベース２０２に対してモデル更新情報をチェックする。中央モジュール２０１は、モデル更新情報が、使用可能なモデル・データベース２０２内にすでに存在するかどうかを判定し、存在する場合、中央モジュール２０１は、関連する情報を既存のすべてのモデルに適用する。

【0061】

更新システムの中央モジュールがモデル・データベースに問い合わせた（５０７）後に、中央モジュールは、モデル更新情報の優先度を決定する（５０８）。一部の実施形態では、モデル更新情報の優先度のリストは、高、中、または低として作成される。一部の実施形態では、モデル更新情報の優先度のリストは、例えば１～１０の範囲内またはその他の一般的な数値範囲内の数値尺度で作成される。一部の実施形態では、中央モジュールは、モデル更新情報の特徴を事前に決定された尺度と比較することによって、モデル更新情報の優先度を決定する。一部の実施形態では、中央モジュールは、モデル更新情報の特徴をモデル・データベースと比較することによって、モデル更新情報の優先度を決定する。一部の実施形態では、中央モジュールは、モデル更新情報の特徴を、既存のモデル・データベースに格納されたモデル情報と比較することによって、モデル更新情報の優先度を決定する。一部の実施形態では、既存のモデル情報とのモデル更新情報の特徴の比較から、優先度等級が得られ、その後、優先度等級が優先度に変換される。

【0062】

例えば、更新システム２００の中央モジュール２０１が、使用可能なモデル・データベース２０２に対して、クレジット・カードの不正検出のためのモデル更新情報をチェックした後に、中央モジュール２０１は、類似するモデルがデータベースにすでに存在するということを決定し、情報を既存のモデルに適用する。次に、中央モジュール２０１は、モデル更新情報の特徴を既存のモデル情報と比較し、優先度等級を計算する。第１の例として、中央モジュールは、クレジット・カードの不正検出のための既存のモデルが１年以上更新されていないということ、モデル更新情報が、既存のモデルの直接の置き換えであるということ、およびモデル更新情報が、さまざまな使用条件にわたってクレジット・カードの不正を検出する性能を向上させることができるということを決定する。これらの差異が高い優先度等級をもたらし、中央モジュール２０１は、この優先度等級を高優先度に変換する。第２の例として、中央モジュールは、クレジット・カードの不正検出のための既存のモデルが最近更新されたということ、およびモデル更新情報が、十分に多いユーザの母体（ベース）を伴い、わずかなエンド・ユーザのみが持っていることが知られているクレジット・カードの不正を検出する性能を向上させることしか期待されないということを決定する。これらの差異が相対的に低い優先度等級をもたらし、中央モジュール２０１は、この優先度等級を中優先度に変換する。

【0063】

優先度を決定した後に、更新システムは、新しいモデルに適用可能なエンド・ユーザを決定する（５０９）。一部の実施形態では、中央モジュールは、どのエンド・ユーザが適用可能であるかを決定している。一部の実施形態では、中央モジュールは、新しいモデルの優先度情報に加えて、モデル更新情報の特徴を各エンド・ユーザに関する情報と比較することによって、どのエンド・ユーザがモデル更新情報に適用可能であるかを決定する。例えば、クレジット・カードの不正検出のためのモデル更新情報が中優先度を有している場合、中央モジュールは、更新システム内のどのローカル・ノードがクレジット・カードの不正検出に関与しているかを識別し、その後、モデルをそれらの識別されたローカル・ノードに出力する（５１０）。モデル更新情報は、残りのどのローカル・ノードにも出力されないが、それらの残りのローカル・ノードの各々が更新プロセスを開始したときに、例えば、更新なしで監視モジュールをトリガーするほど十分な時間が経過した場合に、そのローカル・ノードは更新情報を受信してよい。別の例では、クレジット・カードの不正検出のためのモデル更新情報が高優先度を有している場合、中央モジュールは、モデルをすべてのローカル・ノードに出力する（５１０）。別の例では、クレジット・カードの不正検出のためのモデル更新情報が低優先度を有している場合、中央モジュールは、モデルをどのローカル・ノードにも直ちに出力せず、代わりに、各ローカル・ノードがそれ自身で更新プロセスを開始するのを待機する。

【0064】

モデル更新情報が中央モジュールから送信された後に、少なくとも１つのローカル・ノードによって、そのモデル更新情報が受信される（５１１）。一部の実施形態では、モデル更新情報が、複数のローカル・ノードによって同時に受信される。一部の実施形態では、モデル更新情報が、本明細書に記載された実施形態のいずれかにおける監視モジュールによって受信される。

【0065】

一部の実施形態では、ローカル・ノードがモデル更新情報を受信した（５１１）後に、モデル更新情報は自動的にインストールされない。最初に、ローカル・ノードが、現在のモデル・データベースに問い合わせ、モデル更新情報がいずれかの既存のモデルを置き換えるかどうかを確認する（５１２）。次に、ローカル・ノードは、ノードとのモデル更新情報の関連性を決定する（５１３）。例えば、図２に示された更新システム２００のローカル・ノード２１０で、監視モジュール２１１によってモデル更新情報が受信され、その後、診断モジュール２１２に渡される。診断モジュール２１２は、最初に、現在のモデル・データベース２１５に問い合わせ、次に、ローカル・ノード２１０とのモデル更新情報の関連性を決定する。一部の実施形態では、診断モジュール２１２は、関連性を決定するステップ５１３の後に、更新プロセスを終了する。一部の実施形態では、関連性を決定するステップ５１３の後に、診断モジュール２１２が、モデル更新情報がローカル・ノードに必要とされないということを決定した場合に、診断モジュール２１２が更新プロセスを終了する。一部の実施形態では、関連性を決定するステップ５１３の後に、診断モジュール２１２が、モデル更新情報がローカル・ノードにすでに存在するということを決定した場合に、診断モジュール２１２が更新プロセスを終了する。一部の実施形態では、モデル更新情報が高優先度を有している場合、診断モジュール２１２は、関連性を決定するステップ５１３を自動的に回避する。

【0066】

一部の実施形態では、ローカル・ノードが、モデル更新情報が関連しているか、または必要であるということを決定した後に、ローカル・ノードは、モデル更新情報を適用する許可を得ているかどうかを判定する（５１４）。一部の実施形態では、ローカル・ノードの評価モジュールが、ローカル・ノードがモデル更新情報を適用する許可を得ているかどうかを判定する。一部の実施形態では、ローカル・ノードは、モデル更新情報をインストールする許可を得ない。一部の実施形態では、ローカル・ノードは、モデル更新情報をインストールする自動的な許可を得ない。一部の実施形態では、ローカル・ノードは、モデル更新情報をインストールする前に、エンド・ユーザに問い合わせるか、またはエンド・ユーザに許可を求めなければならない（５１６）。例えば、診断モジュール２１２が、モデル更新情報が関連しているということ、またはモデル更新情報が、関連性を決定するステップ５１３を回避するほど十分に高い優先度を有しているということのいずれかを決定した後に、モデル更新情報が評価モジュール２１３に渡される。次に、評価モジュール２１３は、ローカル・ノードの更新許可設定をチェックする。一部の実施形態では、評価モジュール２１３が、モデル更新情報をインストールする許可を得ていないということを決定した場合、評価モジュール２１３は更新プロセスを終了する。一部の実施形態では、評価モジュール２１３は、モデル更新情報をインストールする前に、例えば、ユーザにプロンプトを発行することによって、または電子メールもしくはその他の通信をエンド・ユーザに送信することによって、エンド・ユーザに問い合わせる。

【0067】

ローカル・ノードが、モデル更新情報をインストールする許可を得ているということを決定した後に、ローカル・ノードはモデル更新情報をインストールする（５１５）。一部の実施形態では、評価モジュールがモデル更新情報をインストールする。一部の実施形態では、更新システムの任意のモジュールがモデル更新情報をインストールする。一部の実施形態では、モデル更新情報は、１つまたは複数の新しいモデルをローカル・ノード内の現在のモデル・データベースにインストールする。一部の実施形態では、モデル更新情報は、ローカル・ノード内の現在のモデル・データベース内の１つまたは複数のモデルを置き換える。例えば、許可が確立された後に、評価モジュール２１３が、モデル更新情報を使用して現在のモデル・データベース２１５を更新する。

【0068】

一部の実施形態では、更新５１５が完了した後に、ローカル・ノードは出力レポートを作成する（５１７）。一部の実施形態では、出力レポートはエンド・ユーザと共有される。一部の実施形態では、出力レポートは、更新システムの中央モジュールと共有される。一部の実施形態では、出力レポートは、モデル更新情報に関する情報を含み、例えば、更新されたモデルの種類、いずれかの古いモデルが置き換えられたかどうか、更新の日時、新しいモデルが現在アクティブであるかどうか、またはこれらの任意の組み合わせを含んでいる。

【0069】

図６は、モデル更新情報を、中央モジュールを含まない更新システムにプッシュする例示的な方法のフロー・チャートを示しており、モデル更新情報が、更新システム６００内のローカル・ノードから自動的に作成されている。一部の実施形態では、方法６００は、図３に示された更新システムで使用されることができる。最初に、更新システム内のローカル・ノードが、既存のモデルからの結果における変化を検出する（６０１）。一部の実施形態では、更新システム内のローカル・ノードが、不正検出率における変化を検出する。一部の実施形態では、不正検出率における変化は、事前に設定されたしきい値より大きい不正検出における増加である。一部の実施形態では、不正検出率における変化は、特定の期間にわたる不正における有意な増加または減少である。一部の実施形態では、更新システム内のローカル・ノードが、検出された不正の大きさにおける変化を検出する。一部の実施形態では、不正の大きさにおける変化は、事前に設定されたしきい値より大きい、検出された不正イベントの価値または金額における増加である。一部の実施形態では、不正の大きさにおける変化は、検出されたイベントの移動平均と比較した、検出された不正イベントの価値または金額における有意な増加である。例えば、図３に示されているような診断モジュール３１２は、システム・データ３１４を分析し、不正検出率の３か月移動平均から標準偏差を超えて離れている不正検出率における増加を検出する。

【0070】

既存のモデルからの結果における変化が検出された（６０１）後に、ローカル・ノードが、その検出に関与しているすべてのモデルのリストを作成する（６０２）。一部の実施形態では、ローカル・ノードは、ステップ６０１で検出されたイベントを生成することに直接関与しているすべてのモデルのリストを作成する。一部の実施形態では、ローカル・ノードは、ステップ６０１で検出されたイベントを生成することに直接的および間接的に関与したすべてのモデルのリストを作成する。一部の実施形態では、ローカル・ノードは、イベントがステップ６０１で検出されたときにアクティブに実行中だったすべてのモデルのリストを作成する。例えば、システム・データ３１４と現在のモデル・データベース３１５の両方に対するアクセス権限を有する診断モジュール３１２が、ステップ６０１で前に検出された不正イベントを生成することに直接的および間接的に関与したすべてのアルゴリズム・モデルのリストを作成する。

【0071】

ローカル・ノードが、検出された変化（６０１）に関連するモデルのリストを作成した（６０２）後に、ローカル・ノードは、検出された変化につながるイベントを生成することに関与したデータを分析する（６０３）。一部の実施形態では、ローカル・ノードは、システム・データを分析し、ステップ６０１で検出されたイベントを生成することにおいて、ステップ６０２でリストを作成されたモデルに関連する特徴および条件を決定する。一部の実施形態では、ローカル・ノードの分析は、通常の最小二乗法、罰則付き回帰、一般化された加法モデル、分位点回帰、ロジスティック回帰、およびゲート付き線形モデルを含むことができるが、これらに限定されない。一部の実施形態では、ローカル・ノードの分析は、１つまたは複数の関連するモデルの変換された変形になり、それらのモデルの複雑さを減らす。例としては、真であることが知られている変数の関係の周辺でモデルを順応させるために、非線形、非単調なモデルに対して単調性制約を設けること、または機械学習アプリケーションでの単調ニューラル・ネットワークの利用が挙げられる。一部の実施形態では、関連する視覚化は、１つまたは複数の適用可能なモデル、特に機械学習モデルを近似する、関連しているがあまり複雑でないモデルである。例としては、代用モデル、ＬＩＭＥ（local interpretable model-agnostic explanations）、最大放射化分析、線形回帰、および感度分析が挙げられる。

【0072】

ローカル・ノードがモデルのリストを作成し（６０２）、関連するデータを分析した（６０３）後に、ローカル・ノードは、更新システムの他のローカル・ノードに送信されるモデル更新情報の特徴を生成することができる（６０４）。一部の実施形態では、ローカル・ノードの診断モジュールがモデルの特徴を生成する（６０４）。一部の実施形態では、モデル更新情報の特徴はローカル・ノードに依存せず、すなわち、モデル更新情報は、更新システム内の任意のローカル・ノードによって使用可能である。したがって、ローカル・ノードによって生成されたモデル更新情報から、そのローカル・ノードのすべての固有のデータが除去される。一部の実施形態では、モデル更新情報の特徴は、１つまたは複数のアルゴリズム、作成日時、特定の期間にわたって検出されたイベントの数、合計トランザクション時間値などのメタデータまたは高水準の集約統計、および更新をトリガーするために使用される１つまたは複数のしきい値点のうちの１つまたは複数を含む。一部の実施形態では、モデル更新情報の特徴は、１つまたは複数のデータ・グループの平均の比率統計を含む。一部の実施形態では、モデル更新情報は、将来の肯定的結果を決定するために、１つまたは複数のデータ・グループの平均の比率統計からの逸脱を検出することができる。一部の実施形態では、モデル更新情報の特徴は、１つまたは複数のモデルを表す１つまたは複数のネットワークまたは画像グラフィックスを含む。一部の実施形態では、モデル更新情報の特徴は、新しいモデルを表す１つまたは複数のネットワークまたは画像グラフィックスを含む。

【0073】

ローカル・ノードがモデルの特徴を生成した（６０４）後に、ローカル・ノードは、モデル更新情報を出力することができる（６０５）。一部の実施形態では、ローカル・ノードは、モデル更新情報を更新システムの少なくとも１つの他のローカル・ノードに出力し、それらのローカル・ノードがモデル更新情報を受信する（６１１）。一部の実施形態では、ローカル・ノードは、モデル更新情報を更新システムの他のすべてのローカル・ノードに出力する。例えば、ローカル・ノード３１０の監視モジュール３１１は、診断モジュール３１２からモデル更新情報を受信することができ、その後、監視モジュール３１１はモデル更新情報を他のローカル・ノード３２０に送信することができ、他のローカル・ノード３２０がモデル更新情報を受信する。

【0074】

一部の実施形態では、ローカル・ノードがモデル更新情報を受信した（６１１）後に、モデル更新情報は自動的にインストールされない。最初に、ローカル・ノードが、現在のモデル・データベースに問い合わせ、モデル更新情報がいずれかの既存のモデルを置き換えるかどうかを確認する（６１２）。次に、ローカル・ノードは、ノードとのモデル更新情報の関連性を決定する（６１３）。例えば、図３に示された更新システム３００のローカル・ノード３１０で、監視モジュール３１１によってモデル更新情報が受信され、その後、診断モジュール３１２に渡される。診断モジュール３１２は、最初に、現在のモデル・データベース３１５に問い合わせ、次に、ローカル・ノード３１０とのモデル更新情報の関連性を決定する。一部の実施形態では、診断モジュール３１２は、関連性を決定するステップ６１３の後に、更新プロセスを終了する。一部の実施形態では、関連性を決定するステップ６１３の後に、診断モジュール３１２が、モデル更新情報がローカル・ノードに必要とされないということを決定した場合に、診断モジュール３１２が更新プロセスを終了する。一部の実施形態では、関連性を決定するステップ６１３の後に、診断モジュール３１２が、モデル更新情報がローカル・ノードにすでに存在するということを決定した場合に、診断モジュール３１２が更新プロセスを終了する。

【0075】

一部の実施形態では、ローカル・ノードが、モデル更新情報が関連しているか、または必要であるということを決定した後に、ローカル・ノードは、モデル更新情報を適用する許可を得ているかどうかを判定する（６１４）。一部の実施形態では、ローカル・ノードの評価モジュールが、ローカル・ノードがモデル更新情報を適用する許可を得ているかどうかを判定する。一部の実施形態では、ローカル・ノードは、モデル更新情報をインストールする許可を得ない。一部の実施形態では、ローカル・ノードは、モデル更新情報をインストールする自動的な許可を得ない。一部の実施形態では、ローカル・ノードは、モデル更新情報をインストールする前に、エンド・ユーザに問い合わせるか、またはエンド・ユーザに許可を求めなければならない（６１６）。例えば、診断モジュール３１２が、モデル更新情報が関連しているということを決定した後に、モデル更新情報が評価モジュール３１３に渡される。次に、評価モジュール３１３は、ローカル・ノードの更新許可設定をチェックする。一部の実施形態では、評価モジュール３１３が、モデル更新情報をインストールする許可を得ていないということを決定した場合、評価モジュール３１３は更新プロセスを終了する。一部の実施形態では、評価モジュール３１３は、モデル更新情報をインストールする前に、例えば、ユーザにプロンプトを発行することによって、または電子メールもしくはその他の通信をエンド・ユーザに送信することによって、エンド・ユーザに問い合わせる。

【0076】

ローカル・ノードが、モデル更新情報をインストールする許可を得ているということを決定した後に、ローカル・ノードはモデル更新情報をインストールする（６１５）。一部の実施形態では、評価モジュールがモデル更新情報をインストールする。一部の実施形態では、更新システムの任意のモジュールがモデル更新情報をインストールする。一部の実施形態では、モデル更新情報は、１つまたは複数の新しいモデルをローカル・ノード内の現在のモデル・データベースにインストールする。一部の実施形態では、モデル更新情報は、ローカル・ノード内の現在のモデル・データベース内の１つまたは複数のモデルを置き換える。例えば、許可が確立された後に、評価モジュール３１３が、モデル更新情報を使用して現在のモデル・データベース３１５を更新する。

【0077】

一部の実施形態では、更新６１５が完了した後に、ローカル・ノードは出力レポートを作成する（６１７）。一部の実施形態では、出力レポートはエンド・ユーザと共有される。一部の実施形態では、出力レポートは、更新システムの中央モジュールと共有される。一部の実施形態では、出力レポートは、モデル更新情報に関する情報を含み、例えば、更新されたモデルの種類、いずれかの古いモデルが置き換えられたかどうか、更新の日時、新しいモデルが現在アクティブであるかどうか、またはこれらの任意の組み合わせを含んでいる。

【0078】

一部の実施形態では、本明細書で開示されたどのシステムのユーザも、「ヒューマン・イン・ザ・ループ」システムとして知られているような１人または複数の人間のユーザであることができる。一部の実施形態では、本明細書で開示されたどのシステムのユーザも、コンピュータ・システム、人工知能（ＡＩ：artificial intelligence）、認知アルゴリズムまたは非認知アルゴリズムなどであることができる。

【0079】

以下の表は、本明細書で開示されたシステムおよび方法のいずれかを使用する例の非排他的かつ非網羅的な一覧である。

【0080】

【表2】

【0081】

図７は、実施形態例の態様が実装される例示的なデータ処理システム７００のブロック図を示している。データ処理システム７００は、本明細書に記載された本開示のいずれかの実施形態例のプロセスを実装するコンピュータ使用可能なコードまたは命令が配置された、サーバまたはクライアントなどのコンピュータの例である。一部の実施形態では、図７は、本明細書に記載された分析結果を解釈するためのシステムを実装する、サーバなどのサーバ・コンピューティング・デバイスを表す。

【0082】

示されている例では、データ処理システム７００は、ノース・ブリッジおよびメモリ・コントローラ・ハブ（ＮＢ／ＭＣＨ：north bridge and memory controller hub）７０１およびサウス・ブリッジおよび入出力（I／O）コントローラ・ハブ（ＳＢ／ＩＣＨ：south bridge and input/output (I/O) controller hub）７０２を含んでいるハブ・アーキテクチャを採用することができる。処理ユニット７０３、メイン・メモリ７０４、およびグラフィック・プロセッサ７０５が、ＮＢ／ＭＣＨ７０１に接続されることができる。グラフィック・プロセッサ７０５は、アクセラレーテッド・グラフィックス・ポート（ＡＧＰ：accelerated graphics port）を介してＮＢ／ＭＣＨ７０１に接続されることができる。ネットワーク・アダプタ７０６が、ＳＢ／ＩＣＨ７０２に接続している。オーディオ・アダプタ７０７、キーボードおよびマウス・アダプタ７０８、モデム７０９、読み取り専用メモリ（ＲＯＭ：read only memory）７１０、ハード・ディスク・ドライブ（ＨＤＤ：hard disk drive）７１１、光学式ドライブ（ＣＤまたはＤＶＤ）７１２、ユニバーサル・シリアル・バス（ＵＳＢ：universal serial bus）ポートおよびその他の通信ポート７１３、ならびにＰＣＩ／ＰＣＩｅデバイス７１４が、バス・システム７１６を介してＳＢ／ＩＣＨ７０２に接続することができる。ＰＣＩ／ＰＣＩｅデバイス７１４は、ノートブック・コンピュータ用のイーサネット（Ｒ）・アダプタ、アドイン・カード、およびＰＣカードを含んでよい。ＲＯＭ７１０は、例えば、フラッシュ基本入出力システム（ＢＩＯＳ：basic input/output system）であってよい。ＨＤＤ７１１および光学式ドライブ７１２は、ＩＤＥ（integrated drive electronics）またはシリアルＡＴＡ（ＳＡＴＡ：serial advanced technology attachment）インターフェイスを使用することができる。スーパーＩ／Ｏ（ＳＩＯ：super I/O）デバイス７１５が、ＳＢ／ＩＣＨ７０２に接続されることができる。

【0083】

オペレーティング・システムが、処理ユニット７０３上で実行されることができる。オペレーティング・システムは、データ処理システム７００内のさまざまなコンポーネントを調整して制御することができる。クライアントとして、オペレーティング・システムは、市販のオペレーティング・システムであることができる。Ｊａｖａ（Ｒ）（ＴＭ）プログラミング・システムなどのオブジェクト指向プログラミング・システムが、オペレーティング・システムと共に実行され、データ処理システム７００上で実行されているオブジェクト指向プログラムまたはアプリケーションからオペレーティング・システムへの呼び出しを提供してよい。サーバとして、データ処理システム７００は、例えば、Ａｄｖａｎｃｅｄ Ｉｎｔｅｒａｃｔｉｖｅ Ｅｘｅｃｕｔｉｖｅオペレーティング・システムまたはＬＩＮＵＸ（Ｒ）オペレーティング・システムを実行するＩＢＭ（Ｒ）ｅＳｅｒｖｅｒ（ＴＭ）Ｓｙｓｔｅｍ ｐ（Ｒ）であることができる。データ処理システム７００は、複数のプロセッサを処理ユニット７０３に含むことができる対称型マルチプロセッサ（ＳＭＰ：symmetric multiprocessor）システムであることができる。代替として、シングル・プロセッサ・システムが採用されてよい。

【0084】

オペレーティング・システム、オブジェクト指向プログラミング・システム、およびアプリケーションまたはプログラムの命令が、ＨＤＤ７１１などのストレージ・デバイスに配置され、処理ユニット７０３によって実行するためにメイン・メモリ７０４に読み込まれる。医療記録誤り検出システム（medical record error detection system）の実施形態のプロセスは、コンピュータ使用可能プログラム・コードを使用して、処理ユニット７０３によって実行されることができ、コンピュータ使用可能プログラム・コードは、例えばメイン・メモリ７０４、ＲＯＭ７１０などのメモリ内、または１つまたは複数の周辺機器内に、配置されることができる。

【0085】

バス・システム７１６は、１つまたは複数のバスから成ることができる。バス・システム７１６は、通信ファブリックまたは通信アーキテクチャに接続された異なるコンポーネントまたはデバイス間のデータの転送を提供することができる任意の種類の通信ファブリックまたは通信アーキテクチャを使用して、実装されることができる。モデム７０９またはネットワーク・アダプタ７０６などの通信ユニットは、データの送受信に使用されることができる１つまたは複数のデバイスを含むことができる。

【0086】

当業者は、本明細書に記載されたシステムおよび方法のいずれかを実行するために必要とされるハードウェアが実装に応じて変わってよいということを、理解するであろう。フラッシュ・メモリ、同等の不揮発性メモリ、または光ディスク・ドライブなどの、その他の内部ハードウェアまたは周辺機器が、示されているハードウェアに加えて、または示されているハードウェアの代わりに、使用されてよい。さらに、本明細書に記載されたシステムのいずれかは、クライアント・コンピューティング・デバイス、サーバ・コンピューティング・デバイス、タブレット・コンピュータ、ラップトップ・コンピュータ、電話またはその他の通信デバイス、パーソナル・デジタル・アシスタントなどを含むが、これらに限定されない、複数の異なるデータ処理システムのいずれかの形態をとることができる。基本的に、本明細書に記載されたシステムのいずれかは、アーキテクチャの制限なしで、任意の既知のデータ処理システムまたは今後開発されるデータ処理システムであることができる。

【0087】

図のシステムおよび方法は、排他的ではない。同じ目的を達成するために、本明細書に記載された実施形態の原理に従って、他のシステムおよびプロセスが得られてよい。本明細書に示され、説明された実施形態および変形が、単に例示を目的としているということが理解されるべきである。実施形態の範囲から逸脱することなく、当業者によって、現在の設計に対する変更が実施されてよい。本明細書に記載されているように、さまざまなシステム、サブシステム、エージェント、マネージャ、およびプロセスが、ハードウェア・コンポーネント、またはソフトウェア・コンポーネント、あるいはその組み合わせを使用して実装されることができる。

【0088】

本発明は、実施形態例を参照して説明されたが、それらの実施形態例に限定されない。当業者は、本発明の好ましい実施形態に対して多数の変更および修正が行われてよいということを理解するであろう。したがって、添付の特許請求の範囲が、本発明の範囲に含まれるとして、そのような同等の変形をすべて対象にすると解釈されるということが意図される。

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】