特表 2023-509785 ストリーミングデータ環境のための時間依存トリガ

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公表特許公報(A)

(11)【公表番号】

(43)【公表日】2023-03-09

(54)【発明の名称】ストリーミングデータ環境のための時間依存トリガ

(51)【国際特許分類】

   G06Q 10/04 20230101AFI20230302BHJP

【ＦＩ】

G06Q10/04

【審査請求】未請求

【予備審査請求】未請求

(21)【出願番号】P 2022542350

(86)(22)【出願日】2021-01-12

(85)【翻訳文提出日】2022-09-02

(86)【国際出願番号】 US2021013141

(87)【国際公開番号】W WO2021142478

(87)【国際公開日】2021-07-15

(81)【指定国・地域】

(71)【出願人】

【識別番号】522275212

【氏名又は名称】プレノシス，インコーポレイテッド

(74)【代理人】

【識別番号】100107766

【弁理士】

【氏名又は名称】伊東 忠重

(74)【代理人】

【識別番号】100070150

【弁理士】

【氏名又は名称】伊東 忠彦

(74)【代理人】

【識別番号】100135079

【弁理士】

【氏名又は名称】宮崎 修

(72)【発明者】

【氏名】タネジャ，アイシャン

(72)【発明者】

【氏名】ロペス－エスピナ，カルロス

(72)【発明者】

【氏名】ザオ，シーハイ デイヴ

(72)【発明者】

【氏名】ズー，ルオキン

(72)【発明者】

【氏名】レディ，ボビー

【テーマコード（参考）】

5L049

【Ｆターム（参考）】

5L049AA04

(57)【要約】

動的リスク予測を行うための方法が提供される。方法は、第１のデータフィールドおよび第２のデータフィールドを有するデータセットを受信することを含む。第１のデータフィールドには測定値が投入される。方法はまた、第１の予測値を第２のデータフィールドに代入することと、測定値と第１の予測値とに基づいて、第１のリスクスコアおよび関連メトリックの第１のセットを生成することと、第２の予測値を第２のデータフィールドに代入することとを含む。方法はまた、統計的に導出されたメトリックを計算することと、統計的に導出されたメトリックが所定のしきい値を超えるかどうかを決定することとを含み、ここで、統計的に導出されたメトリックが所定のしきい値を超える場合、所定のアクションが推奨される。システム、およびシステムに上記方法を実行させる命令を記憶する非一時的コンピュータ可読媒体も提供される。

【特許請求の範囲】

【請求項1】

動的リスク予測を行うための方法であって、
第１のデータフィールドおよび第２のデータフィールドを含むデータセットを受信することと、ここで、前記第１のデータフィールドには測定値が投入され、
第１の予測値を前記第２のデータフィールドに代入することと、
前記測定値と前記第１の予測値とに基づいて、第１のリスクスコアおよび関連メトリックの第１のセットを生成することと、
第２の予測値を前記第２のデータフィールドに代入することと、
前記測定値と前記第２の予測値とに基づいて、第２のリスクスコアおよび関連メトリックの第２のセットを生成することと、
前記第１のリスクスコアと、前記関連メトリックの第１のセットと、前記第２のリスクスコアと、前記関連メトリックの第２のセットとに基づいて、統計的に導出されたメトリックを計算することと、
前記統計的に導出されたメトリックが所定のしきい値を超えるかどうかを決定することと
を含み、ここで、前記統計的に導出されたメトリックが前記所定のしきい値を超える場合、所定のアクションが推奨される、
方法。

【請求項2】

前記関連メトリックの第１のセットを生成することは、対象内標準偏差値のサンプリング変動性によって前記第１のリスクスコアに誘発される変動性を決定することを含む、請求項１に記載の方法。

【請求項3】

前記統計的に導出されたメトリックを計算することは、対象間標準偏差と呼ばれる、前記第１のリスクスコアおよび前記第２のリスクスコアの標準偏差を計算することを含む、請求項１に記載の方法。

【請求項4】

前記統計的に導出されたメトリックを計算することは、前記第１のリスクスコア、第２のリスクスコア、または両方の数学的組合せから導出された対象間標準偏差および対象内標準偏差値を含む総標準偏差を計算することを含む、請求項１に記載の方法。

【請求項5】

前記統計的に導出されたメトリックを計算することは、第１のリスクスコアまたは第２のリスクスコアまたは両方の数学的組合せ、前記第１のリスクスコア、第２のリスクスコアもしくは両方の数学的組合せから導出された総標準偏差、対象間標準偏差、または対象内標準偏差値を選択することを含む、請求項１に記載の方法。

【請求項6】

前記統計的に導出されたメトリックを計算することは、第１のリスクスコアまたは第２のリスクスコアまたは両方の数学的組合せ、前記第１のリスクスコア、第２のリスクスコアもしくは両方の数学的組合せから導出された総標準偏差、対象間標準偏差、または対象内標準偏差値のうちのいずれか２つの間の比を決定することを含む、請求項１に記載の方法。

【請求項7】

前記所定のしきい値を計算することは、前記第１のリスクスコアまたは前記第２のリスクスコアの多項式関数を評価することと、その関数の出力を、前記第１のリスクスコア、前記第２のリスクスコア、もしくは両方の数学的組合せから導出された総標準偏差、対象間標準偏差、または対象内標準偏差値と比較することとを含む、請求項１に記載の方法。

【請求項8】

前記関連メトリックの第１のセットは第１の収集時間に対応し、前記関連メトリックの第２のセットは第２の収集時間に対応し、前記統計的に導出されたメトリックが前記所定のしきい値を超えるかどうかを決定することは、前記第１の収集時間および前記第２の収集時間の後にステートフル論理を使用することを含む、請求項１に記載の方法。

【請求項9】

前記関連メトリックの第１のセットは第１の収集時間に対応し、前記関連メトリックの第２のセットは第２の収集時間に対応し、前記統計的に導出されたメトリックが前記所定のしきい値を超えるかどうかを決定することは、前記第１の収集時間または前記第２の収集時間の一方の後にステートレス論理を使用することを含む、請求項１に記載の方法。

【請求項10】

第１の予測値を前記第２のデータフィールドに代入することは、前記測定値と、前記第１のデータフィールドを前記第２のデータフィールドに関連付ける条件付きルールとに基づいて、前記第１の予測値を決定することを含む、請求項１に記載の方法。

【請求項11】

システムであって、
命令を記憶するように構成されたメモリと、
前記メモリに通信可能に結合された１つまたは複数のプロセッサと
を備え、前記１つまたは複数のプロセッサは、命令を実行し、前記システムに、
第１のデータフィールドおよび第２のデータフィールドを含むデータセットを受信することと、ここで、前記第１のデータフィールドには測定値が投入され、
第１の予測値を前記第２のデータフィールドに代入することと、
前記測定値と前記第１の予測値とに基づいて、第１のリスクスコアおよび関連メトリックの第１のセットを生成することと、
第２の予測値を前記第２のデータフィールドに代入することと、
前記測定値と前記第２の予測値とに基づいて、第２のリスクスコアおよび関連メトリックの第２のセットを生成することと、
前記第１のリスクスコアと、前記関連メトリックの第１のセットと、前記第２のリスクスコアと、前記関連メトリックの第２のセットとに基づいて、統計的に導出されたメトリックを計算することと、
前記統計的に導出されたメトリックが所定のしきい値を超えるかどうかを決定することと
を行わせ、ここで、前記統計的に導出されたメトリックが前記所定のしきい値を超える場合、所定のアクションが推奨され、前記関連メトリックの第１のセットを生成することは、対象間標準偏差値において前記第１の予測値によって前記第１のリスクスコアに誘発される変動性を決定することを含む、
システム。

【請求項12】

前記関連メトリックの第１のセットを生成するために、前記１つまたは複数のプロセッサは、対象内標準偏差においてサンプリング変動性によって前記第１のリスクスコアに誘発される変動性を決定するための命令を実行する、請求項１１に記載のシステム。

【請求項13】

前記関連メトリックの第１のセットを生成するために、前記１つまたは複数のプロセッサは、対象間標準偏差および対象内標準偏差を含む総標準偏差を決定するための命令を実行する、請求項１１に記載のシステム。

【請求項14】

前記統計的に導出されたメトリックを計算するために、前記１つまたは複数のプロセッサは、第１のリスクスコアまたは第２のリスクスコアまたは両方の数学的組合せ、前記第１のリスクスコア、第２のリスクスコアもしくは両方の数学的組合せから導出された総標準偏差、対象間標準偏差、または対象内標準偏差値を選択するための命令を実行する、請求項１１に記載のシステム。

【請求項15】

前記統計的に導出されたメトリックを計算するために、前記１つまたは複数のプロセッサは、第１のリスクスコアまたは第２のリスクスコアまたは両方の数学的組合せ、前記第１のリスクスコア、第２のリスクスコアもしくは両方の数学的組合せから導出された総標準偏差、対象間標準偏差、または対象内標準偏差値のうちのいずれか２つの間の比を決定するための命令を実行する、請求項１１に記載のシステム。

【請求項16】

命令を記憶する非一時的コンピュータ可読媒体であって、前記命令は、コンピュータによって実行されると、前記コンピュータに方法を実行させ、前記方法は、
第１のデータフィールドおよび第２のデータフィールドを含むデータセットを受信することと、ここで、前記第１のデータフィールドには測定値が投入され、
第１の予測値を前記第２のデータフィールドに代入することと、
前記測定値と前記第１の予測値とに基づいて、第１のリスクスコアおよび関連メトリックの第１のセットを生成することと、
第２の予測値を前記第２のデータフィールドに代入することと、
前記測定値と前記第２の予測値とに基づいて、第２のリスクスコアおよび関連メトリックの第２のセットを生成することと、
前記第１のリスクスコアと、前記関連メトリックの第１のセットと、前記第２のリスクスコアと、前記関連メトリックの第２のセットとに基づいて、統計的に導出されたメトリックを計算することと、
前記統計的に導出されたメトリックが所定のしきい値を超えるかどうかを決定することと
を含み、ここで、前記統計的に導出されたメトリックが前記所定のしきい値を超える場合、所定のアクションが推奨され、前記関連メトリックの第１のセットを生成することは、対象間標準偏差値および対象内標準偏差値において前記第１の予測値によって前記第１のリスクスコアに誘発される変動性を決定することを含む、
非一時的コンピュータ可読媒体。

【請求項17】

前記方法において、前記統計的に導出されたメトリックを計算することは、前記第１のリスクスコアまたは前記第２のリスクスコアの多項式関数を評価することと、その関数の出力を、前記第１のリスクスコア、前記第２のリスクスコア、もしくは両方の数学的組合せから導出された総標準偏差、対象間標準偏差、または対象内標準偏差値と比較することとを含む、請求項１６に記載の非一時的コンピュータ可読媒体。

【請求項18】

前記関連メトリックの第１のセットは第１の収集時間に対応し、前記関連メトリックの第２のセットは第２の収集時間に対応し、前記統計的に導出されたメトリックが前記所定のしきい値を超えるかどうかを決定することは、前記第１の収集時間および前記第２の収集時間の後にステートフル論理を使用することを含む、請求項１６に記載の非一時的コンピュータ可読媒体。

【請求項19】

前記関連メトリックの第１のセットは第１の収集時間に対応し、前記関連メトリックの第２のセットは第２の収集時間に対応し、前記統計的に導出されたメトリックが前記所定のしきい値を超えるかどうかを決定することは、前記第１の収集時間または前記第２の収集時間の一方の後にステートレス論理を使用することを含む、請求項１６に記載の非一時的コンピュータ可読媒体。

【請求項20】

第１の予測値を前記第２のデータフィールドに代入することは、前記測定値と、前記第１のデータフィールドを前記第２のデータフィールドに関連付ける条件付きルールとに基づいて、前記第１の予測値を決定することを含む、請求項１６に記載の非一時的コンピュータ可読媒体。

【発明の詳細な説明】

【技術分野】

【0001】

［関連出願への相互参照］
本出願は、２０２０年１月１０日に出願された「Time-Sensitive Trigger for a Streaming Data Environment」と題する米国仮特許出願第６２／９５９，７４２号の優先権および利益を主張し、これは、以下に完全に記載されているかのように、およびすべての適用可能な目的のために、その全体が参照により本明細書に組み込まれる。

【0002】

［技術分野］
本開示は、一般に、ストリーミングデータ環境において動作する時間依存（time-sensitive）トリガエンジンに関する。より具体的には、本開示は、医療従事者が不完全なデータインスタンスから高い信頼レベルで迅速に時間依存決定を行うのを助ける、ヘルスケア産業におけるデバイスに関する。

【背景技術】

【0003】

予測モデルは、多くの場合、現実世界の環境に展開されると欠測データという課題に直面する。この問題に対する従来の解決策は、一般に、何らかの方法を使用して欠測データを代入し、モデルが出力を生成することができるようにするものである。しかしながら、それぞれが様々な重要性を有する異なるパラメータが異なる時間に到着する時間依存ストリーミングデータ環境では、複雑さが増す。そのような状況では、モデルによって使用されるすべてのパラメータが到着するのを単に待つのは、できるだけ早く正確な予測を出力するという観点から、一般に最適ではない。そのようなアプリケーションは、緊急医療または医療処置のための緊急事態、または株式投資の決定および他の財務構成などの他の環境において発生し得る。同様に、上記の状況では、不完全であり得る入力データに基づいて、結果の早期かつ正確な予測を取得することが望ましい。

【発明の概要】

【0004】

いくつかの実施形態では、動的リスク予測を行うための方法は、第１のデータフィールドおよび第２のデータフィールドを含むデータセットを受信することを含み、ここで、第１のデータフィールドには測定値が投入される。方法はまた、第１の予測値を第２のデータフィールドに代入することと、測定値と第１の予測値とに基づいて、第１のリスクスコアおよび関連メトリックの第１のセットを生成することと、第２の予測値を第２のデータフィールドに代入することとを含む。方法はまた、測定値と第２の予測値とに基づいて、第２のリスクスコアおよび関連メトリックの第２のセットを生成することと、第１のリスクスコアと、関連メトリックの第１のセットと、第２のリスクスコアと、関連メトリックの第２のセットとに基づいて、統計的に導出されたメトリックを計算することとを含む。方法はまた、統計的に導出されたメトリックが所定のしきい値を超えるかどうかを決定することを含み、ここで、統計的に導出されたメトリックが所定のしきい値を超える場合、所定のアクションが推奨される。

【0005】

いくつかの実施形態では、システムは、命令を記憶するように構成されたメモリと、メモリに通信可能に結合された１つまたは複数のプロセッサとを含む。１つまたは複数のプロセッサは、命令を実行し、システムに、第１のデータフィールドおよび第２のデータフィールドを含むデータセットを受信させるように構成され、ここで、第１のデータフィールドには測定値が投入される。１つまたは複数のプロセッサはまた、第１の予測値を第２のデータフィールドに代入することと、測定値と第１の予測値とに基づいて、第１のリスクスコアおよび関連メトリックの第１のセットを生成することと、第２の予測値を第２のデータフィールドに代入することと、測定値と第２の予測値とに基づいて、第２のリスクスコアおよび関連メトリックの第２のセットを生成することとを行うように構成される。１つまたは複数のプロセッサはまた、第１のリスクスコアと、関連メトリックの第１のセットと、第２のリスクスコアと、関連メトリックの第２のセットとに基づいて、統計的に導出されたメトリックを計算することと、統計的に導出されたメトリックが所定のしきい値を超えるかどうかを決定することとを行うように構成され、ここで、統計的に導出されたメトリックが所定のしきい値を超える場合、所定のアクションが推奨され、関連メトリックの第１のセットを生成することは、対象間標準偏差（between standard deviation）値において第１の予測値によって第１のリスクスコアに誘発される変動性を決定することを含む。

【0006】

いくつかの実施形態では、非一時的コンピュータ可読媒体は、コンピュータによって実行されると、コンピュータに方法を実行させる命令を記憶する。方法は、第１のデータフィールドおよび第２のデータフィールドを含むデータセットを受信することと、ここで、第１のデータフィールドには測定値が投入され、第１の予測値を第２のデータフィールドに代入することと、測定値と第１の予測値とに基づいて、第１のリスクスコアおよび関連メトリックの第１のセットを生成することとを含む。方法はまた、第２の予測値を第２のデータフィールドに代入することと、測定値と第２の予測値とに基づいて、第２のリスクスコアおよび関連メトリックの第２のセットを生成することと、第１のリスクスコアと、関連メトリックの第１のセットと、第２のリスクスコアと、関連メトリックの第２のセットとに基づいて、統計的に導出されたメトリックを計算することと、統計的に導出されたメトリックが所定のしきい値を超えるかどうかを決定することとを含み、ここで、統計的に導出されたメトリックが所定のしきい値を超える場合、所定のアクションが推奨される。関連メトリックの第１のセットを生成することは、対象間標準偏差値および対象内標準偏差（within standard deviation）値において第１の予測値によって第１のリスクスコアに誘発される変動性を決定することを含む。

【0007】

主題技術の他の構成は、主題技術の様々な構成が例示として示され説明される以下の詳細な説明から当業者に容易に明らかになることは理解されたい。理解されるように、主題技術は、他の異なる構成が可能であり、そのいくつかの詳細は、すべて主題技術の範囲から逸脱することなく、様々な他の点において修正が可能である。したがって、図面および詳細な説明は、本質的に例示的なものと見なされるべきであり、限定的なものと見なされるべきではない。

【図面の簡単な説明】

【0008】

さらなる理解を提供するために含まれ、本明細書に組み込まれ、本明細書の一部を構成する添付の図面は、開示される実施形態を示し、その説明と共に、開示される実施形態の原理を説明する役割を果たす。

【図1】様々な実施形態による、ストリーミングデータ環境における時間依存トリガに適した例示的なアーキテクチャを示す。

【図2】本開示の特定の態様による、図１のアーキテクチャからの例示的なサーバおよびクライアントを示すブロック図である。

【図3】様々な実施形態による、時間依存ストリーミングデータ環境のためのトリガシステムのブロック図を示す。

【図4】様々な実施形態による、トリガシステムのためのトリガ論理入力ジェネレータのブロック図を示す。

【図5】様々な実施形態による、患者に対する複数の臨床検査の時間シーケンスを含むデータセットの例示的な表を示す。

【図6】様々な実施形態による、時間シーケンスにおける患者に関連付けられた複数の特徴と、この特徴に基づくヘルスケアアクションのためのトリガ結果とを示す表を示す。

【図7】様々な実施形態による、時間シーケンスにおいて患者に対してアクションをトリガし得る特徴に関連付けられた入力表の部分図である。

【図8】様々な実施形態による、トレーニングデータセットの部分図である。

【図9】様々な実施形態による、モデル出力および標準偏差を有するトレーニングデータセットの部分図である。

【図10A】様々な実施形態による、例示的なトリガ論理ルールのグラフ図である。

【図10B】様々な実施形態による、例示的なトリガ論理ルールのグラフ図である。

【図10C】様々な実施形態による、例示的なトリガ論理ルールのグラフ図である。

【図10D】様々な実施形態による、例示的なトリガ論理ルールのグラフ図である。

【図10E】様々な実施形態による、例示的なトリガ論理ルールのグラフ図である。

【図10F】様々な実施形態による、例示的なトリガ論理ルールのグラフ図である。

【図11】様々な実施形態による、ステートレストリガ論理を用いてトリガ論理エンジンによってトリガされるアクションの時間シーケンスを示す。

【図12】様々な実施形態による、ステートフルトリガ論理を用いてトリガ論理エンジンによってトリガされるアクションの時間シーケンスを示す。

【図13A】様々な実施形態による、リスク因子にわたる標準偏差分布の時間発展を示すチャートである。

【図13B】様々な実施形態による、リスク因子にわたる標準偏差分布の時間発展を示すチャートである。

【図14A】様々な実施形態による、ステートレストリガ論理エンジンを用いた診断性能を示すチャートである。

【図14B】様々な実施形態による、ステートレストリガ論理エンジンを用いた診断性能を示すチャートである。

【図14C】様々な実施形態による、ステートレストリガ論理エンジンを用いた診断性能を示すチャートである。

【図14D】様々な実施形態による、ステートレストリガ論理エンジンを用いた診断性能を示すチャートである。

【図14E】様々な実施形態による、ステートレストリガ論理エンジンを用いた診断性能を示すチャートである。

【図14F】様々な実施形態による、ステートレストリガ論理エンジンを用いた診断性能を示すチャートである。

【図14G】様々な実施形態による、ステートレストリガ論理エンジンを用いた診断性能を示すチャートである。

【図14H】様々な実施形態による、ステートレストリガ論理エンジンを用いた診断性能を示すチャートである。

【図14I】様々な実施形態による、ステートレストリガ論理エンジンを用いた診断性能を示すチャートである。

【図15A】様々な実施形態による、ステートフルトリガ論理エンジンを用いた診断性能を示すチャートである。

【図15B】様々な実施形態による、ステートフルトリガ論理エンジンを用いた診断性能を示すチャートである。

【図15C】様々な実施形態による、ステートフルトリガ論理エンジンを用いた診断性能を示すチャートである。

【図15D】様々な実施形態による、ステートフルトリガ論理エンジンを用いた診断性能を示すチャートである。

【図15E】様々な実施形態による、ステートフルトリガ論理エンジンを用いた診断性能を示すチャートである。

【図15F】様々な実施形態による、ステートフルトリガ論理エンジンを用いた診断性能を示すチャートである。

【図15G】様々な実施形態による、ステートフルトリガ論理エンジンを用いた診断性能を示すチャートである。

【図15H】様々な実施形態による、ステートフルトリガ論理エンジンを用いた診断性能を示すチャートである。

【図15I】様々な実施形態による、ステートフルトリガ論理エンジンを用いた診断性能を示すチャートである。

【図16】様々な実施形態による、複数の医学的特徴に基づいて経時的に患者に対してアクションをとる確率を示すチャートである。

【図17】様々な実施形態による、いくつかの医学的特徴にわたる患者の２つの異なるセットについてのリスク因子の棒グラフである。

【図18】様々な実施形態による、時間シーケンスにわたって受信または代入された複数の医学的特徴に基づいて患者に対して医療行為を行う方法におけるステップを示すフローチャートである。

【図19】様々な実施形態による、時間シーケンスにわたって受信または代入された複数の医学的特徴に基づいて患者に対して医療行為を行う方法におけるステップを示すフローチャートである。

【図20】様々な実施形態による、時間シーケンスにわたって受信または代入された複数の医学的特徴に基づいて患者に対して医療行為を行う方法におけるステップを示すフローチャートである。

【図21】様々な実施形態による、図１および図２のクライアントおよびサーバならびに図１８～図２０の方法を実施することができる例示的なコンピュータシステムを示すブロック図である。

【0009】

図面において、同じまたは類似の参照番号によって示される要素およびステップは、別段の指示がない限り、同じまたは類似の要素およびステップに関連付けられる。

【発明を実施するための形態】

【0010】

以下の詳細な説明では、本開示の完全な理解を提供するために多数の具体的な詳細が示されている。しかしながら、当業者には、本開示の実施形態は、これらの具体的な詳細のいくつかがなくても実施され得ることが明らかであろう。他の事例では、本開示を不明瞭にしないために、周知の構造および技法は詳細に示されていない。

【0011】

全体の概要
機械学習（ＭＬ）モデルは、多くの場合、現実世界の環境に展開されると欠測データという課題に直面する。従来のＭＬ、人工知能（ＡＩ）、およびニューラルネットワーク（ＮＮ）アルゴリズムは、分析の前に大量のデータ入力を使用してトレーニングされる。したがって、上記のアルゴリズムのいずれかを使用するシステムは、トレーニングされたＭＬ／ＡＩ／ＮＮアルゴリズムを使用して評価する前に、入力データの完全なセットが利用可能であることが望ましい。しかしながら、ストリーミングデータ環境または他の時間依存構成では、データは、典型的にはシステム自体の制御を超えて、ストリーミングベースでシステムに流れ込む。さらに、ストリーミングデータ環境は、非同期的に情報を収集するので、それぞれが様々な重要性を有する異なるパラメータおよび値は、異なる時間にモデリングツールに収集され得る。したがって、ストリーミングデータ環境において時間依存予測分析を実行する問題には、結果を予測するための従来のメトリック、例えば、精度、感度、特異性、受信者動作特性の曲線下面積（ＡＵＣＲＯＣ：area under the curve for receiver operating characteristics）などを最適化することに加えて、是正措置または先制措置（例えば、エンドユーザへの出力の表示、ロボットの操作、金融商品の購入など）を講じるための時間を最小化することが含まれる。これは、予測可能な結果を決定し、それに応じて先制措置を講じるためのデータ分析のコンピュータ分野に由来する技術的な問題である。様々な実施形態では、この問題に対する解決策は、所与のストリーミングデータインスタンスの欠測データをモデルに代入し、対応する予測の確実性を定量化するメトリックを計算し、システムがアクションをとるかどうかを制御するルールベースの論理システムにそのようなメトリックを供給する方法およびシステムを含む。様々な実施形態では、ルールベースの論理システムは、ステートフルな方法で動作することができ、これは、システムが、現在のデータインスタンスと以前のデータインスタンスの両方から導出されたメトリックおよび予測に基づいてトリガすることができることを意味する。本明細書で開示される実施形態は、時間依存ストリーミングデータ環境において機械学習システムを展開するという課題に対処するために、フレームワーク、方法、方法評価メトリック、およびそのような方法の二次アプリケーションを含む。

【0012】

本明細書に開示される実施形態は、完全な入力データまたは不完全な入力データに基づいて結果を予測することができるトリガ論理エンジンの形態で、上記の問題に対する解決策を提供する。様々な実施形態では、トリガ論理エンジンは、利用可能なデータ（完全／不完全な、または代入データ）の量と、予測結果（複数可）に関連付けられた他の統計値（例えば、分散、標準偏差など）とに基づいて、予測結果の確実性を定量化する。そのような統計値から導出されたメトリックが、予め選択されたしきい値よりも高いとき、トリガ論理エンジンは、予測出力を（例えば、この予測出力に基づいてアクションをとり得る医療従事者またはユーザに）提供する。いくつかの実施形態では、トリガ論理エンジンはさらに、予測出力に基づいて、推奨される（または必須の）１つまたは複数のアクションを提供し得る。予測結果の確実性が予め選択されたしきい値よりも低い（または等しい）とき、トリガ論理エンジンは、さらなる時間（例えば、より多くのデータが利用可能になる）までアクションまたは出力を延期し、プロセスを繰り返す。

【0013】

様々な実施形態によれば、本開示と一致する方法およびシステムは、ヘルスケア産業において適用され得、ここでは、医療関係者（例えば、医師、看護師、救急隊員など）は、医療行為が重大であり得る緊急事態の低リスク評価から利益を得ることができる。様々な実施形態では、本明細書に開示されるような方法およびシステムは、金融業界において適用されてもよく、ここでは、大量のストリーミングデータ（例えば、複数の公共企業体の現在および以前の株価）は、結果の正確な予測に基づいて重大な決定をもたらし得る。

【0014】

提案される解決策はさらに、本明細書で開示されるような方法およびシステムにより決定までの時間が短縮することに起因して、データ記憶空間を節約し、ネットワーク使用を低減するので、コンピュータ自体の機能に改善をもたらす。

【0015】

本明細書で提供される多くの例は、患者のデータが識別可能であること、または画像のダウンロード履歴が記憶されることを説明するが、各ユーザは、そのような患者情報の共有または記憶に対して明示的な許可を付与し得る。明示的な許可は、開示されるシステムに統合されたプライバシー制御を使用して付与され得る。各ユーザは、明示的な同意を得た上でそのような患者情報が共有され得ることまたは共有される予定であることを通知され得、各患者は、任意の時間に、情報の共有を終了させること、および任意の記憶されたユーザ情報を削除することができる。記憶された患者情報は、患者のセキュリティを保護するために暗号化され得る。

【0016】

例示的なシステムアーキテクチャ
図１は、様々な実施形態による、ストリーミングデータ環境における時間依存トリガのための例示的なアーキテクチャ１００を示す。アーキテクチャ１００は、ネットワーク１５０を介して接続されたサーバ１３０およびクライアントデバイス１１０を含む。多くのサーバ１３０のうちの１つは、命令を含むメモリをホストするように構成され、命令は、プロセッサによって実行されると、サーバ１３０に、本明細書で開示される方法におけるステップのうちの少なくともいくつかを実行させる。サーバ１３０のうちの少なくとも１つは、複数の患者についての臨床データを含むデータベースを含み得るか、またはそれへのアクセスを有し得る。

【0017】

サーバ１３０は、画像の収集およびトリガ論理エンジンをホストするための適切なプロセッサ、メモリ、および通信能力を有する任意のデバイスを含み得る。トリガ論理エンジンは、ネットワーク１５０を介して様々なクライアントデバイス１１０によってアクセス可能であり得る。クライアントデバイス１１０は、例えば、デスクトップコンピュータ、モバイルコンピュータ、タブレットコンピュータ（例えば、電子書籍リーダを含む）、モバイルデバイス（例えば、スマートフォンまたはＰＤＡ）、またはサーバ１３０のうちの１つ上のトリガ論理エンジンにアクセスするための適切なプロセッサ、メモリ、および通信能力を有する任意の他のデバイスであり得る。様々な実施形態によれば、クライアントデバイス１１０は、リアルタイムの緊急事態において（例えば、病院、診療所、救急車、または任意の他の公共もしくは居住環境において）サーバ１３０のうちの１つの上のトリガ論理エンジンにアクセスする、医師、看護師、または救急隊員などの医療従事者によって使用され得る。いくつかの実施形態では、クライアントデバイス１１０の１人以上のユーザ（例えば、看護師、救急隊員、医師、および他の医療従事者）は、ネットワーク１５０を介して、１つまたは複数のサーバ１３０内のトリガ論理エンジンに臨床データを提供し得る。さらに他の実施形態では、１つまたは複数のクライアントデバイス１１０は、臨床データをサーバ１３０に自動的に提供し得る。例えば、いくつかの実施形態では、クライアントデバイス１１０は、ネットワーク接続を通して、患者結果をサーバ１３０に自動的に提供するように構成された、診療所内の血液検査ユニットであり得る。ネットワーク１５０は、例えば、ローカルエリアネットワーク（ＬＡＮ）、ワイドエリアネットワーク（ＷＡＮ）、インターネットなどのうちのいずれか１つまたは複数を含むことができる。さらに、ネットワーク１５０は、限定はしないが、バスネットワーク、スターネットワーク、リングネットワーク、メッシュネットワーク、スターバスネットワーク、ツリーまたは階層ネットワークなどを含む、以下のネットワークトポロジのうちのいずれか１つまたは複数を含むことができる。

【0018】

例示的なトリガシステム
図２は、本開示の特定の態様による、図１のアーキテクチャ１００中の例示的なサーバ１３０およびクライアントデバイス１１０を示すブロック図２００である。クライアントデバイス１１０およびサーバ１３０は、それぞれの通信モジュール２１８－１および２１８－２（以下、集合的に「通信モジュール２１８」と呼ばれる）を介してネットワーク１５０上で通信可能に結合される。通信モジュール２１８は、ネットワーク１５０とインターフェースして、データ、要求、応答、およびコマンドなどの情報をネットワーク上の他のデバイスに送受信するように構成される。通信モジュール２１８は、例えば、モデムまたはイーサネット（登録商標）カードであり得る。クライアントデバイス１１０およびサーバ１３０は、それぞれ、メモリ２２０－１および２２０－２（以下、集合的に「メモリ２２０」と呼ばれる）、ならびにプロセッサ２１２－１および２１２－２（以下、集合的に「プロセッサ２１２」と呼ばれる）を含み得る。メモリ２２０は、プロセッサ２１２によって実行されると、クライアントデバイス１１０またはサーバ１３０のいずれか１つに、本明細書で開示される方法における１つまたは複数のステップを実行させる命令を記憶し得る。したがって、プロセッサ２１２は、プロセッサ２１２に物理的にコード化された命令、メモリ２２０内のソフトウェアから受信された命令、もしくは両方の組合せなどの命令を実行するように構成され得る。

【0019】

様々な実施形態によれば、サーバ１３０は、データベース２５２－１およびトレーニングデータベース２５２－２（以下、集合的に「データベース２５２」と呼ばれる）を含むか、またはそれらに通信可能に結合され得る。１つまたは複数の実装形態では、データベース２５２は、複数の患者についての臨床データを記憶し得る。様々な実施形態によれば、トレーニングデータベース２５２－２は、データベース２５２－１と同じであってもよいし、その中に含まれてもよい。データベース２５２内の臨床データには、非識別患者特性などの計測情報、バイタルサイン、全血球計算（ＣＢＣ）、包括的代謝パネル（ＣＭＰ）、および血液ガス（例えば、酸素、ＣＯ₂など）といった血液測定値、免疫学的情報、バイオマーカ、培養などが含まれ得る。非識別患者特性には、年齢、性別、および慢性疾患（例えば、糖尿病、アレルギーなど）といった一般病歴が含まれ得る。様々な実施形態では、臨床データには、治療手段、薬剤投与事象、投薬量などの計測情報に応答して医療従事者がとるアクションも含まれ得る。様々な実施形態では、臨床データには、患者の病歴（例えば、敗血症、脳卒中、心拍停止、ショックなど）において生じた事象および結果も含まれ得る。データベース２５２は、サーバ１３０から分離されて示されているが、特定の態様では、データベース２５２およびトリガ論理エンジン２４０は、同じサーバ１３０内にホストされ、ネットワーク１５０内の任意の他のサーバまたはクライアントデバイスによってアクセス可能であり得る。

【0020】

サーバ１３０内のメモリ２２０－２は、ストリーミングデータ入力を評価し、その予測結果に基づいてアクションをトリガするためのトリガ論理エンジン２４０を含み得る。トリガ論理エンジン２４０は、モデリングツール２４２と、統計ツール２４４と、インピュテーションツール２４６とを含み得る。モデリングツール２４２は、関連する臨床データを収集し、起こり得る結果を評価するための命令およびコマンドを含み得る。モデリングツール２４２は、ディープニューラルネットワーク（ＤＮＮ）、畳み込みニューラルネットワーク（ＣＮＮ）などのニューラルネットワーク（ＮＮ）からのコマンドおよび命令を含み得る。様々な実施形態によれば、モデリングツール２４２は、機械学習アルゴリズム、人工知能アルゴリズム、またはそれらの任意の組合せを含み得る。統計ツール２４４は、トリガ論理エンジン２４０によって収集された、データベース２５２に記憶された、またはモデリングツール２４２によって提供された以前のデータを評価する。インピュテーションツール２４６は、そうでなければトリガ論理エンジン２４０が収集した計測情報から欠けていたデータ入力をモデリングツール２４２に提供し得る。

【0021】

クライアントデバイス１１０は、クライアントデバイス１１０にインストールされたアプリケーション２２２またはウェブブラウザを通じてトリガ論理エンジン２４０にアクセスし得る。プロセッサ２１２－１は、クライアントデバイス１１０におけるアプリケーション２２２の実行を制御し得る。様々な実施形態によれば、アプリケーション２２２は、クライアントデバイス１１０の出力デバイス２１６においてユーザに表示されるユーザインターフェース（例えば、グラフィカルユーザインターフェース－ＧＵＩ－）を含み得る。クライアントデバイス１１０のユーザは、入力デバイス２１４を使用して入力データを計測情報として入力するか、またはアプリケーション２２２のユーザインターフェースを介してクエリをトリガ論理エンジン２４０にサブミットし得る。いくつかの実施形態によれば、入力データ｛Ｘ_i（ｔ_x）｝は、１×ｎベクトルであり得、ここで、Ｘ_ijは、所与の患者ｉについて、利用可能である場合も利用可能でない場合もある複数の臨床データ値（または株価）のうちのいずれか１つを示すデータエントリｊ（０≦ｊ≦ｎ）を示し、ｔ_xは、データエントリが収集された収集時間を示す。いくつかの事例では、利用可能な臨床データ値または株価は、（例えば、予測値とは対照的に）入力データ｛Ｘ_i（ｔ_x）｝のデータフィールドのうちの少なくともいくつかに投入される測定値であり得る。クライアントデバイス１１０は、入力データ｛Ｘ_i（ｔ_x）｝に応答して、予測結果Ｍ（｛Ｘ_i（ｔ_x），Ｙ_i（ｔ_x）｝）をサーバ１３０から受信し得る。いくつかの実施形態によれば、予測結果Ｍ（｛Ｘ_i（ｔ_x），Ｙ_i（ｔ_x）｝）は、入力データ｛Ｘ_i（ｔ_x）｝だけでなく、代入データ｛Ｙ_i（ｔ_x）｝にも基づいて決定され得る。したがって、代入データ｛Ｙ_i（ｔ_x）｝は、セット｛Ｘ_i（ｔ_x）｝からの欠測データに応答してインピュテーションツール２４６によって提供され得る。入力デバイス２１４には、スタイラス、マウス、キーボード、タッチスクリーン、マイクロフォン、またはそれらの任意の組合せが含まれ得る。出力デバイス２１６にも、ディスプレイ、ヘッドセット、スピーカ、アラームもしくはサイレン、またはそれらの任意の組合せが含まれ得る。

【0022】

図３は、様々な実施形態による、時間依存ストリーミングデータ環境のためのトリガシステムのブロック図を示す。トリガシステムは、入力データ｛Ｘ_i（ｔ_x）｝をトリガ論理入力生成モジュールに提供するモデル（以下、Ｍとする）を含む。トリガ論理入力生成モジュールは、インピュテーションエンジンと統計ツールとを含む。インピュテーションエンジンは、代入データ｛Ｙ_i（ｔ_x）｝を提供する。様々な実施形態によれば、モデルは、トレーニングデータセット（以下、Ｘ_{train_idealized}という）を使用して結果Ｏを予測するように構成された機械学習モデル、および人工知能モデル、ニューラルネットワークモデル、またはそれらの任意の組合せを含み得る。様々な実施形態によれば、Ｘ_{train_idealized}は、ｍ×ｎ行列であり、ここで、ｍは、患者の数を指し、ｎは、患者のそれぞれの結果に関連し得る臨床データ内の特徴の数を指す。様々な実施形態によれば、Ｘ_{train_idealized}内の各行について、いくつかまたはすべての特徴（例えば、臨床データ値）は、それが利用可能な実際の時間にかかわらず、利用可能であり得る（例えば、医療関係者、患者などによって測定されるか、またはそうでなければ提供される）。

【0023】

様々な実施形態によれば、Ｍは入力｛Ｘ_i（ｔ_x）｝に適用され、ここで、特徴は、ストリーミングベースで到着すると仮定され、したがって、所与の患者ｉについて、各特徴ｊは、任意の収集時間ｔ_xに到着する。各特徴について、収集時間ｔ_xは、所定のスケジュール、非同期、またはランダムであってもよい。トリガ論理エンジンは、統計ツールから導出されたメトリック（後で定義される）に基づいて、システムがアクションをとるべきか否かに関する決定を提供する。様々な実施形態によれば、トリガ論理エンジンは、時間ｔ_xにおいてアクションをとらないと決定し得、次いで、新しいデータＸ_i（ｔ_x+1）が到着し得る時間ｔ_x+1において同じプロセスが繰り返される。

【0024】

図４は、様々な実施形態による、トリガシステムのためのトリガ論理入力ジェネレータのブロック図を示す。特徴ｊが患者ｉに利用可能な時間を示すトレーニングデータセットタイミング行列Ｔ（ｉ，ｊ）は、トリガ論理入力ジェネレータにおいてＸ_{train_idealized}の構築を可能にする。したがって、各患者ｉについて、およびＴ（ｉ，ｊ）内の各一意の時間について、患者ごとにｚ個のインスタンスを生成することができ、ここで、ｚ＝｜｛Ｔ（ｉ，）｝｜である。各インスタンスは、｛Ｔ（ｉ，）｝内の特定の時間ｔに対応し、Ｔ（ｉ，ｊ）がｔより大きい場合を除き、Ｘ_{train_idealized}（ｉ，）の複製であり、その場合、Ｘ_{train_idealized}（ｉ，ｊ）はＮＡで置き換えられる。Ｍ（Ｘ_i（ｔ_x））に基づいて、トリガ論理入力ジェネレータにおける統計ツールは、「対象間標準偏差（between standard deviation）」値（ＢＳＤ（Ｍ（Ｘ_i（ｔ_x））））と、「対象内標準偏差（within standard deviation）」値（ＷＳＤ（Ｍ（Ｘ_i（ｔ_x））））と、「総標準偏差（total standard deviation）」値（ＴＳＤ（Ｍ（Ｘ_i（ｔ_x））））とを含むメトリックのセットのうちの１つまたは複数のメトリックを決定する。

【0025】

様々な実施形態によれば、トリガ論理入力ジェネレータは、所与のＸ_i（ｔ_x）についてｍ個の代入インスタンスＸ_{i_m}（ｔ_x）を作成する多重インピュテーションツールを含み、Ｘ_{i_m}（ｔ_x）は、Ｘ_i（ｔ_x）の第ｍの代入インスタンスを指す。各インスタンスＸ_{i_m}（ｔ_x）について、欠けている特徴値は、Ｘ_{train_idealized}によって定義される分布から引き出された値が代入される。例えば、様々な実施形態では、多重インピュテーションツールは、連鎖方程式によって多重インピュテーションを実行し得る。各代入インスタンスについて、モデリングツールを使用してＭ（Ｘ_{i_m}（ｔ_x））が計算される。次いで、値ＢＳＤ（Ｘ_i（ｔ_x））は、値のセット｛Ｍ（Ｘ_{i_1}（ｔ_x）），Ｍ（Ｘ_{i_2}（ｔ_x）），…，Ｍ（Ｘ_{i_m}（ｔ_x））））｝の標準偏差として定義される。したがって、様々な実施形態では、メトリックＢＳＤ（Ｍ（Ｘ_i（ｔ_x）））は、欠測データＹ_i（ｔ_x）によって結果（例えば、医療結果、財務結果など）に誘発される変動性を捕捉し得る。

【0026】

メトリックＷＳＤ（Ｍ（Ｘ_i（ｔ_x）））についての値は、Ｘ_{train_idealized}からのサンプリングによる所与の予測における固有の変動性と、所与の入力についての応答の分散とを含み得る。使用される特定のモデル（例えば、ロジスティック回帰、ランダムフォレスト、ＳＶＭ）に応じて、ＷＳＤ（Ｍ（Ｘ_{i_m}（ｔ_x）））の推定値は、標準的な方法（例えば、予測間隔の標準誤差、ジャックナイフ推定量、ベイズ推定量、最尤推定量など）を使用して推定され得る。

【0027】

メトリックＴＳＤ（Ｍ（Ｘ_i（ｔ_x）））の値は、Ｍ（Ｘｉ（ｔ））の総分散の推定値を含む。様々な実施形態によれば、ＴＳＤは、以下の数式を使用して取得され得る：

【数1】

ここで、

【数2】

は、（ＷＶ（Ｍ（Ｘ_{i_1}（ｔ_x））），ＷＶ（Ｍ（Ｘ_{i_2}（ｔ_x））），…，ＷＶ（Ｍ（Ｘ_{i_m}（ｔ_x））））の分散内の平均であり（ここで、ＷＶはＷＳＤの平方根として定義される）、ＢＶはＢＳＤの平方根として定義される。

【0028】

図５は、様々な実施形態による、複数の臨床検査の時間シーケンスを含むデータセットの例示的な表を示す。表は、複数の特徴（例えば、臨床データ）の各々が、患者について、所与の収集時間において利用可能であるかまたは収集されるかどうかを示す。表から分かるように、任意の所与の収集時間期間に複数の特徴が収集され得る。さらに、様々な実施形態によれば、異なる収集時間期間に、同じ臨床特徴（例えば、心拍数、呼吸数、収縮期血圧、体温など）が繰り返し収集され得る。

【0029】

図６は、様々な実施形態による、時間シーケンスにおける患者に関連付けられた複数の特徴と、この特徴に基づくヘルスケアアクションのためのトリガ結果とを示す表である。この表は、患者を詳細に観察したものであり、特定のデータパラメータの到着と、トリガ論理が発火する瞬間とを示している。

【0030】

図６の表は、患者、時間、特徴（複数可）、モデル出力Ｍ、および決定結果（例えば、「アクションをとる」、Ｙ／Ｎ）を示す列を含む。したがって、第１の患者（例えば、患者１）について、時間「０」において、特徴３のみが収集されており（｛Ｘ₁（０）｝＝｛ＮＡ，ＮＡ，Ｘ，ＮＡ｝）、モデル出力Ｍ（Ｘ₁（０））は不確定であるので、システムは、アクションをとらない（Ｎ）。その後の時間１において、同じ患者について、第２の特徴が収集され（例えば、特徴２＝Ｙ，｛Ｘ₁（１）｝＝｛ＮＡ，Ｙ，Ｘ，ＮＡ｝）るが、モデル出力Ｍ（Ｘ₁（１））は依然として不確定であるので、システムは、アクションをとらず（Ｎ）、さらなるデータが収集されるのを待つ。その後の時間２において、同じ患者について、第１の特徴が収集され（例えば、特徴１＝Ｚ，｛Ｘ₁（１）｝＝｛Ｚ，Ｙ，Ｘ，ＮＡ｝）、第４のデータ（例えば、特徴４）がまだ収集されていなくても、モデル出力Ｍ（Ｘ₁（２））は、システムがアクション（Ｙ）をとるのに十分になる。

【0031】

様々な実施形態によれば、表中の時間エントリは、任意の所与の時間期間において発生し得、異なる時間エントリ間の間隔は、同じであっても同じでなくてもよく、同様でなくてもよい。様々な実施形態では、異なる時間エントリ間の間隔は、予め選択されてもよいし、ランダムであってもよい。さらに、様々な実施形態では、２つ以上の特徴が所与の時間間隔で受信され得る。図６の表は、様々な実施形態によれば、入力データに１つまたは複数の特徴が欠けている場合であっても、トリガ論理エンジンがアクションをとるためにどのように準備され得るかを示す。したがって、様々な実施形態では、モデリングエンジンは、欠測データに対して値を代入し得、モデル値および代入データの統計分析に基づいて、トリガ論理は、所定の程度の確実性で、アクションをとることを決定し得る。

【0032】

図７は、様々な実施形態による、時間シーケンスにおいて患者に対してアクションをトリガし得る特徴に関連付けられた入力表の部分図である。入力表は、患者、エントリ時間、および特徴を示す列を含む。簡略化のために、図７の表は、３つの特徴および１人の患者のみを示しているが、任意の数の特徴が、１人、２人、または任意の数の患者について含まれ得ることは理解されたい。入力特徴は、２次元行列Ｘ_ij内の要素として示され、ラベルＮＡは欠測データを示す。例えば、要素Ｘ₁₁は、患者１についての時間０、１、および２における特徴１の値である。要素Ｘ₁₂は、時間２における特徴２の値であり、要素Ｘ₁₃は、時間１および２における特徴３の値である。

【0033】

図８は、様々な実施形態による、トレーニングデータセットの部分図である。図８のトレーニングデータセットは、モデリングツールによって代入される欠測データ（例えば、図７において「ＮＡ」とラベル付けされたデータ）を列挙するインピュテーション列を含む。様々な実施形態によれば、モデリングツールは、所与の瞬間における単一の特徴について複数の値を代入し得る。

【0034】

例えば、時間「０」において、特徴２および特徴３は元のデータにおいて欠けており（図７参照）、したがって、３つのインピュテーション行（「１」、「２」、および「３」）が、各別個の時間値「０」、「１」、および「２」に含まれる。時間「０」について、インピュテーション「１」では、モデリングツールは、値Ｘ⁰¹ ₁₂を特徴２に、値Ｘ⁰¹ ₁₃を特徴３に代入し、インピュテーション「２」では、モデリングツールは、値Ｘ⁰² ₁₂を特徴２に、値Ｘ⁰² ₁₃を特徴３に代入し、インピュテーション「３」では、モデリングツールは、値Ｘ⁰³ ₁₂を特徴２に、値Ｘ⁰³ ₁₃を特徴３に代入する。時間「１」について、インピュテーション「１」では、モデリングツールは、値Ｘ¹¹ ₁₂を特徴２に代入し、インピュテーション「２」では、モデリングツールは、値Ｘ¹² ₁₂を特徴２に代入し、インピュテーション「３」では、モデリングツールは、値Ｘ¹³ ₁₂を特徴２に代入する。時間「１」では、その時間に特徴３が「真の」（または測定された）値Ｘ₁₃を収集しているので、モデリングツールが特徴３に値を代入しないことに留意されたい。時間「２」において、モデリングツールは、３つすべての特徴が「真」の値Ｘ₁₁、Ｘ₁₂、およびＸ₁₃を収集しているので、代入値を提供しない。

【0035】

図９は、様々な実施形態による、モデル出力および標準偏差を有するトレーニングデータセットの部分図である。したがって、図９の表は、図８の表の拡張であり、モデル出力列Ｍ（Ｘ（ｔ））、および対象内ＳＤ出力列ＷＳＤ（Ｍ（Ｘ（ｔ）））が追加されている。Ｍ列およびＷＳＤ列に対する入力データベクトルＸ（ｔ）は、入力データおよび代入データにしたがって変化し、時間ｔは、３つの時間期間「０」、「１」、および「２」のうちの１つである。例えば、時間「０」では、特徴２および３に対する異なる代入データを含む異なるデータセットにそれぞれ関連付けられた３つのモデル出力、入力データ｛Ｘ₁₁，Ｘ⁰¹ ₁₂，Ｘ⁰¹ ₁₃｝に対するＭ（Ｘ_{1_1}（０））、入力データ｛Ｘ₁₁，Ｘ⁰² ₁₂，Ｘ⁰² ₁₃｝に対するＭ（Ｘ_{1_2}（０））、および入力データ｛Ｘ₁₁，Ｘ⁰³ ₁₂，Ｘ⁰³ ₁₃｝に対するＭ（Ｘ_{1_3}（０））が存在する。モデル出力Ｍの各々は、データ値が器具またはデバイスから収集されるか、医療従事者によって手動で入力されるか、またはモデリングツールによって代入されるかにかかわらず、各特徴についてのデータ値および各特徴についてのデータ値の分散を所与として、異なるＷＳＤに関連付けられ得る。したがって、時間「０」では、３つの異なるＷＳＤ値、入力データ｛Ｘ₁₁，Ｘ⁰¹ ₁₂，Ｘ⁰¹ ₁₃｝に対するＷＳＤ（Ｍ（Ｘ_{1_1}（０）））、入力データ｛Ｘ₁₁，Ｘ⁰² ₁₂，Ｘ⁰² ₁₃｝に対するＷＳＤ（Ｍ（Ｘ_{1_2}（０）））、および入力データ｛Ｘ₁₁，Ｘ⁰³ ₁₂，Ｘ⁰³ ₁₃｝に対するＷＳＤ（Ｍ（Ｘ_{1_3}（０）））が存在する。

【0036】

時間「１」では、特徴２に対する異なる代入データを含む、異なるデータセットにそれぞれ関連付けられた３つのモデル出力、入力データ｛Ｘ₁₁，Ｘ¹¹ ₁₂，Ｘ₁₃｝に対するＭ（Ｘ_{1_1}（１））、入力データ｛Ｘ₁₁，Ｘ¹² ₁₂，Ｘ₁₃｝に対するＭ（Ｘ_{1_2}（１））、および入力データ｛Ｘ₁₁，Ｘ¹³ ₁₂，Ｘ₁₃｝に対するＭ（Ｘ_{1_3}（１））が存在する。モデル出力Ｍの各々は、入力データ｛Ｘ₁₁，Ｘ¹¹ ₁₂，Ｘ₁₃｝に対するＷＳＤ（Ｍ（Ｘ_{1_1}（１）））、入力データ｛Ｘ₁₁，Ｘ¹² ₁₂，Ｘ₁₃｝に対するＷＳＤ（Ｍ（Ｘ_{1_2}（１）））、入力データ｛Ｘ₁₁，Ｘ¹³ ₁₂，Ｘ₁₃｝に対するＷＳＤ（Ｍ（Ｘ_{1_3}（１）））という３つの異なるＷＳＤ値に関連付けられ得る。

【0037】

時間「２」では、３つのモデル出力、入力データ｛Ｘ₁₁，Ｘ₁₂，Ｘ₁₃｝に対するＭ（Ｘ_{1_1}（２））、入力データ｛Ｘ₁₁，Ｘ₁₂，Ｘ₁₃｝に対するＭ（Ｘ_{1_2}（２））、および入力データ｛Ｘ₁₁，Ｘ₁₂，Ｘ₁₃｝に対するＭ（Ｘ_{1_3}（２））が存在する。モデル出力Ｍの各々は、入力データ｛Ｘ₁₁，Ｘ₁₂，Ｘ₁₃｝に対するＷＳＤ（Ｍ（Ｘ_{1_1}（２）））、入力データ｛Ｘ₁₁，Ｘ₁₂，Ｘ₁₃｝に対するＷＳＤ（Ｍ（Ｘ_{1_2}（２）））、および入力データ｛Ｘ₁₁，Ｘ₁₂，Ｘ₁₃｝に対するＷＳＤ（Ｍ（Ｘ_{1_3}（２）））という３つの異なるＷＳＤ値に関連付けられ得る。入力データ｛Ｘ₁₁、Ｘ₁₂、Ｘ₁₃｝が３つのモデル出力に対して同じであるので、値Ｍ（Ｘ_{1_1}（２））、Ｍ（Ｘ_{1_2}（２））、およびＭ（Ｘ_{1_3}（２））は類似し得ることに留意されたい。しかしながら、いくつかの実施形態では、以前の時間における異なる代入に対するモデル出力の以前の履歴は異なり得、モデリングツールは、Ｍ（Ｘ_{1_1}（２））、Ｍ（Ｘ_{1_2}（２））、およびＭ（Ｘ_{1_3}（２））のうちの少なくとも１つに対して異なる出力を提供し得る。

【0038】

図１０Ａ～図１０Ｆは、様々な実施形態による、例示的なトリガ論理ルールのグラフ図である。例えば、ステートレストリガ論理ルールは、所与の時間ｔ_xにおいてシステムに利用可能な情報に基づくアクションのトリガを伴い得る。Ｍ（Ｘ_i（ｔ_x））、ＢＳＤ（Ｍ（Ｘ_i（ｔ_x）））、ＷＳＤ（Ｍ（Ｘ_i（ｔ_x）））、およびＴＳＤ（Ｍ（Ｘ_i（ｔ_x）））を所与として、システムがアクションをとるか否かを決定する様々なルールを使用することができる。システムがとるアクションは、Ｍ（Ｘ_i（ｔ_x））、ＢＳＤ（Ｍ（Ｘ_i（ｔ_x）））、ＷＳＤ（Ｍ（Ｘ_i（ｔ_x）））、およびＴＳＤ（Ｍ（Ｘ_i（ｔ_x）））を条件とすることができる。

【0039】

図１０Ａは、静的ＢＳＤしきい値に基づく絶対ＢＳＤルールを示す。したがって、ＢＳＤ（Ｍ（Ｘ_i（ｔ_x）））が予め選択された定数ｃ₁以下であるとき、システムはアクションをとる（「ＰＡＳＳ」）。同様に、ＢＳＤ（Ｍ（Ｘ_i（ｔ_x）））がｃ₁より大きいとき、システムは決定を時間ｔ_x+1に延期する（「ＦＡＩＬ」）。いくつかの実施形態によれば、絶対ＢＳＤルールは、関数Ｍ（Ｘ_i（ｔ_x））（以下では「スコア」とも呼ばれる）の特定の値から独立していてもよいことに留意されたい。より一般的には、「スコア」は、Ｍ（Ｘ_i（ｔ_x））の値に関連付けられた関数であり得る。

【0040】

図１０Ｂは、ＢＳＤ対スコアの比に基づく動的ＢＳＤしきい値ルールを示す。したがって、比ＢＳＤ（Ｍ（Ｘ_i（ｔ_x）））／Ｍ（Ｘ_i（ｔ_x））が予め選択された定数ｃ₂以下であるとき、システムはアクションをとる（「ＰＡＳＳ」）。同様に、ＢＳＤ（Ｍ（Ｘ_i（ｔ_x）））がｃ₂より大きいとき、システムは決定を時間ｔ_x+1に延期する（「ＦＡＩＬ」）。

【0041】

図１０Ｃは、ＢＳＤ対ＷＳＤの比に基づく論理ルールを示す。したがって、ＢＳＤ（Ｍ（Ｘ_i（ｔ_x）））／ＷＳＤ（Ｘ_i（ｔ_x））が予め選択された定数ｃ₃以下であるとき、システムはアクションをとる（「ＰＡＳＳ」）。同様に、比がｃ₃より大きいとき、システムは決定を時間ｔ_x+1に延期する（「ＦＡＩＬ」）。

【0042】

図１０Ｄは、ＢＳＤ対ＴＳＤの比に基づく論理ルールを示す。したがって、比ＢＳＤ（Ｍ（Ｘ_i（ｔ_x）））／ＴＳＤ（Ｘ_i（ｔ_x））が予め選択された定数ｃ₄以下であるとき、システムはアクションをとる（「ＰＡＳＳ」）。同様に、比がｃ₄より大きいとき、システムは決定を時間ｔ_x+1に延期する（「ＦＡＩＬ」）。

【0043】

図１０Ｅは、スコア境界横断に基づく論理ルールを示す。様々な実施形態によれば、スコアは、予め選択された境界ｂ₁、ｂ₂などによって区切られたリスクカテゴリ（例えば、低、中、高）に離散化され得る。スコアの値、スコアの分散（間、内、または総計）、およびリスクカテゴリを作成する境界（例えば、ｂ₁、ｂ₂）を考慮に入れた方法を使用することができる。例えば、スコアＭ（Ｘ_i（ｔ_x））は、望ましくない結果（例えば、臨床的緊急事態、株の墜落または破産など）のリスクのレベルを示すリスクスコアに関連付けられてもよいし、リスクスコアと見なされてもよい。したがって、ｂ１またはｂ２より大きいリスクスコアが高く、望ましくない結果の可能性を示すとき、システムがアクションをとることが望ましい場合がある。

【0044】

様々な実施形態では、Ｍ（Ｘ_i（ｔ_x））の値がｂ₁未満であり、リスクスコアおよびＢＳＤが以下の式を満たすとき、
Ｍ（Ｘ_i（ｔ_x）））＋ｃ₅・ＢＳＤ（Ｍ（Ｘ_i（ｔ_x）））＜ｂ₁ 式（２）
（ここで、ｃ₅は、予め選択された定数である、システムはアクションをとる（「ＰＡＳＳ」）。さらに、Ｍ（Ｘ_i（ｔ_x））の値がｂ₁よりも大きく、リスクスコア、Ｍ、およびＢＳＤが以下の式を満たすとき、
Ｍ（Ｘ_i（ｔ_x）））－ｃ₅・ＢＳＤ（Ｍ（Ｘ_i（ｔ_x）））＞ｂ₁ 式（３）
システムはアクションをとる（「ＰＡＳＳ」）。

【0045】

Ｍ（Ｘ_i（ｔ_x））の値がｂ₂よりも大きく、リスクスコア、Ｍ、およびＢＳＤが以下の式を満たすとき、
Ｍ（Ｘ_i（ｔ_x）））－ｃ・ＢＳＤ（Ｍ（Ｘ_i（ｔ_x）））＞ｂ₂ 式（４）
システムはアクションとる（「ＰＡＳＳ」）。

【0046】

図１０Ｆは、多項式分位点回帰境界を示す。最初に、行列Ｂが作成され、ここで、Ｂの各行は、一部またはすべての患者についての固定時間ｔ_fにおける所与の患者ｉについてのＢＳＤ（Ｍ（Ｘ_i（ｔ_f）））に対応する。様々な実施形態では、ｔ_fは、ｔ_fは標準化されるように、ほとんどまたはすべての患者が経験する何らかの共通事象に対して相対的である。行列Ｂが与えられると、様々な実施形態では、多項式分位点回帰が、所与の分位点ｑについてＢに対して実行され、関数ｐ_qを作成する。所与のＭ（Ｘ_i（ｔ_x））について、システムは、ＢＳＤ（Ｍ（Ｘ_i（ｔ_x）））がｐ_q（Ｍ（Ｘ_i（ｔ_x）））以上であるとき、少なくとも時間ｔ_x+1の間、アクションを延期する（「ＦＡＩＬ」）。同様に、システムは、ＢＳＤがｐ_q未満であるとき、アクションをとる（「ＰＡＳＳ」）。

【0047】

図１１は、様々な実施形態による、ステートレストリガ論理ルールを用いてトリガ論理エンジンによってトリガされるアクションの時間シーケンスを示す。入力データＸ_i（ｔ_x）に基づいて、トリガ論理入力ジェネレータは、Ｍ（Ｘ_i（ｔ_x））、ＢＳＤ（Ｍ（Ｘ_i（ｔ_x）））、ＷＳＤ（Ｍ（Ｘ_i（ｔ_x）））、ＴＳＤ（Ｍ（Ｘ_i（ｔ_x）））を決定する。さらに、トリガ論理入力ジェネレータは、ステートレストリガ論理ルールＲ（図１０Ａ～図１０Ｆ参照）で使用するために、入力をトリガ論理エンジンに供給する。したがって、トリガ論理エンジンは、アクションを延期する（「ＦＡＩＬ」）ための出力「０」またはアクションをトリガする（「ＰＡＳＳ」）ための出力「１」を生成する関数Ｒ（Ｍ（Ｘ_i（ｔ_x）））、ＢＳＤ（Ｍ（Ｘ_i（ｔ_x）））、ＷＳＤ（Ｍ（Ｘ_i（ｔ_x）））、ＴＳＤ（Ｍ（Ｘ_i（ｔ_x）））を含み得る。

【0048】

様々な実施形態によれば、トリガ論理エンジンに結合されたデータベースは、所与のステートレストリガ論理ルールＲおよび所与の患者iについて、値Ｍ（Ｘ_i（ｔ_trigger））およびｔ_triggerを行列Ｘ_{R_simulated_stateless}に記憶する。値ｔ_triggerは、Ｒ（Ｍ（Ｘ_i（ｔ_x））、ＢＳＤ（Ｍ（Ｘ_i（ｔ_x）））、ＷＳＤ（Ｍ（Ｘ_i（ｔ_x）））、ＴＳＤ（Ｍ（Ｘ_i（ｔ_x）））＝１となるように、｛Ｔ（ｉ，ｊ）｝内の時間（例えば、最小時間またはセット中の最も低い時間値のうちの１つ）を含み得る。様々な実施形態では、データベースはまた、Ｘ_{R_simulated_stateless}のための標準的な診断メトリックおよび予後メトリックを含む。様々な実施形態では、データベースはまた、トリガの時間分布と、システムがトリガする患者の割合とに関連付けられたメトリックを記憶し得る（例えば、Ｒ＝１）。

【0049】

図１１に示されるように、異なる時間ｔ_x＝０、１、および２において、ステートレストリガ論理ルールの下で、異なるアクションが、互いに独立してシステムによってとられる（それぞれ、アクションＡ、アクションＢ、およびアクションＣ）。

【0050】

図１２は、様々な実施形態による、ステートフルトリガ論理を用いてトリガ論理エンジンによってトリガされるアクションの時間シーケンスを示す。ステートフルトリガ論理は、以前の時間ｔ_yにおいて収集された入力データが所与の時間ｔ_xでの決定で考慮される、状態依存論理ルールを含み得、ここで、ｙ＜ｘである。様々な実施形態では、トリガ論理エンジンは、Ｘ_{R_simulated_stateful}に値Ｍ（Ｘｉ（ｔ_{m_trigger}））およびｔ_{m_trigger}を含む行列Ｘ_{R_simulated_stateful}を記憶するデータベースと通信可能に結合され、ここで、ｔ_{m_trigger}は、Ｒ（Ｍ（Ｘｉ（ｔｘ））、ＢＳＤ（Ｍ（Ｘｉ（ｔｘ）））、ＷＳＤ（Ｍ（Ｘｉ（ｔｘ）））、ＴＳＤ（Ｍ（Ｘｉ（ｔｘ）））＝１であるような第ｍの時間（例えば、システムが所与の患者に対してトリガされた第ｍの時間）を指す。ｍの値は、状態依存トリガ論理に基づいて、患者の現在（ｔ_x）の状態および以前の状態に依存し得る。データベースはまた、Ｘ_{R_simulated_stateful}のための標準的な診断メトリックおよび予後メトリックを記憶し得る。様々な実施形態では、データベースはまた、トリガの時間分布およびシステムがトリガする患者の割合に関するメトリックを含み得る（例えば、Ｒ＝１）。そのような構成は、より制限的でない時間制約環境において予測の精度を高めるために望ましい場合がある。

【0051】

時間に対する許容範囲がより大きいアプリケーションでは、トリガ論理は、状態依存方式で実装され得る。例えば、ステートレス環境では、トリガ論理エンジンの出力は、Ｒ（Ｍ（Ｘｉ（ｔｘ））、ＢＳＤ（Ｍ（Ｘｉ（ｔｘ）））、ＷＳＤ（Ｍ（Ｘｉ（ｔｘ）））、ＴＳＤ（Ｍ（Ｘｉ（ｔｘ）））と表され得、ここで、Ｒは、トリガする（１）またはトリガしない（０）を示す２進数を出力するステートレストリガ論理ルールを指す。さらに、関数Ａは、望ましくない結果を防止するため、または望ましい結果を出すためにシステムがとり得るアクション（例えば、薬剤の投与、医療処置の提供、資金の投資または売却など）を指定するように定義され得る。したがって、Ａは、関数Ａ（Ｍ（Ｘｉ（ｔｘ））、ＢＳＤ（Ｍ（Ｘｉ（ｔｘ）））、ＷＳＤ（Ｍ（Ｘｉ（ｔｘ）））、ＴＳＤ（Ｍ（Ｘｉ（ｔｘ）））と表され得る。状態依存環境では、ＲおよびＡは、任意のｙ＜ｘについて、Ｍ（Ｘｉ（ｔｘ））、ＢＳＤ（Ｍ（Ｘｉ（ｔｘ）））、ＷＳＤ（Ｍ（Ｘｉ（ｔｘ）））、およびＴＳＤ（Ｍ（Ｘｉ（ｔｘ））の関数だけでなく、Ｍ（Ｘｉ（ｔｙ））、ＢＳＤ（Ｍ（Ｘｉ（ｔｙ）））、ＷＳＤ（Ｍ（Ｘｉ（ｔｙ）））、ＴＳＤ（Ｍ（Ｘｉ（ｔｙ））の関数でもあり得る。これを支配する条件付き論理は、任意に複雑であり得る。

【0052】

したがって、様々な実施形態では、ステートフル論理エンジンを含むトリガ論理エンジンは、異なる時間ｔ_x＝０、１、および２＝０においてアクションＡ、ＡＢ、およびＡＢＣを生む。アクションＡＢは、値｛Ｍ（Ｘｉ（０）），ＢＳＤ（Ｍ（Ｘｉ（０））），ＷＳＤ（Ｍ（Ｘｉ（０））），ＴＳＤ（Ｍ（Ｘｉ（０））｝だけでなく、値｛Ｍ（Ｘｉ（１）），ＢＳＤ（Ｍ（Ｘｉ（１））），ＷＳＤ（Ｍ（Ｘｉ（１））），ＴＳＤ（Ｍ（Ｘｉ（１））｝の結果でもあり得る。同様に、アクションＡＢＣは、時間ｔ_x＝０における値｛Ｍ（Ｘ_i（０）），ＢＳＤ（Ｍ（Ｘ_i（０））），ＷＳＤ（Ｍ（Ｘ_i（０））），ＴＳＤ（Ｍ（Ｘ_i（０））｝と、時間ｔ_x＝１における値｛Ｍ（Ｘ_i（１）），ＢＳＤ（Ｍ（Ｘ_i（１））），ＷＳＤ（Ｍ（Ｘ_i（１））），ＴＳＤ（Ｍ（Ｘｉ（１））｝と、時間ｔ_x＝２における値｛Ｍ（Ｘｉ（２）），ＢＳＤ（Ｍ（Ｘｉ（２））），ＷＳＤ（Ｍ（Ｘｉ（２））），ＴＳＤ（Ｍ（Ｘｉ（２））｝の結果であり得る。

【0053】

様々な実施形態では、行列Ｘ_{R_simulated_stateless}およびＸ_{R_simulated_stateful}を使用して、トリガ論理エンジンにおいて利用可能な前の特徴を条件とする特徴の所与のセットの影響を定量化することができる。様々な実施形態では、トリガ論理エンジンは、Ｘ_{R_simulated_stateless}およびＸ_{R_simulated_stateful}のいずれかにおける各エントリについて、所与のアクションＡについての決定の大部分に影響を与えた特徴のセットを選択するように構成される。例えば、様々な実施形態では、トリガ論理エンジンは、関数Ａの結果においてより関連性の高いＸ_i（ｔ_trigger）およびｔ_triggerの値、またはＸ_i（ｔ_{m_trigger}）およびｔ_{m_trigger}の値を識別し得る。

【0054】

様々な実施形態では、トリガ論理エンジンは、所与のアクションＡを駆動する特徴のセットを決定するために、行列Ｘ_{R_simulated_stateless}およびＸ_{R_simulated_stateful}において、Ｘ_i（ｔ_trigger）におけるｔ_triggerの前に、またはＸ_i（ｔ_{m_trigger}）におけるｔ_{m_trigger}の前に到着する特徴値を識別し得る。様々な実施形態では、トリガ論理エンジンは、行列Ｔ（ｉ，ｊ）（これはデータベースに記憶され得る）内のデータ構造にアクセスし、この決定を行う。したがって、トリガ論理エンジンは、行列Ｄ_conditionalを提供し得、各行は、ｔ_triggerまたはｔ_{m_trigger}、およびｔ_triggerまたはｔ_{m_trigger}を引き起こした対応する特徴のセットＦの名前に対応する。いくつかの実施形態では、行列Ｄ_conditionalは、より粗く、クラスＣ、または所与のアクションを駆動する特徴のセットを含む。クラスＣは、ＣＢＣ特徴、ＣＭＰ特徴、金融特徴、季節特徴などの重要な特徴を含み得る。行列Ｄ_conditionalは、必要に応じてトリガ論理エンジンが使用するためにデータベースに記憶され得る。

【0055】

様々な実施形態では、トリガ論理エンジンはまた、行列Ｄ_conditionalにおけるＦまたはＣのエントリの割合を決定し得る。したがって、Ｄ_conditionalにおけるＦおよびＣについてのエントリの割合は、トリガ論理エンジンにおける特徴Ｆまたは特徴のクラスＣの条件付き影響を評価するために、モデリングツールにおいて使用され得る。様々な実施形態では、特徴Ｆ_kまたはクラスＣ_kの条件付き影響は、特徴または特徴のクラスのうちの１つまたは複数に関連して与えられる：例えば、Ｆｘ，Ｆｙ，…，Ｆｚを与えられたＦ_kの影響、またはＣｘ，Ｃｙ，…，Ｃｚを与えられたＣ_kの影響である。様々な実施形態では、特徴Ｆｘ，Ｆｙ，…，Ｆｚおよび特徴のクラスＣｘ，Ｃｙ，…，Ｃｚは、患者ごとに異なり得る。

【0056】

様々な実施形態では、トリガ論理エンジンは、所与のアクションＡを駆動する際に、Ｆ_kまたはＣ_kの分離された効果（isolated effect）を決定し得る。したがって、トリガ論理エンジンは、行列Ｘ_{R_simulated_stateless}およびＸ_{R_simulated_stateful}を生成し得、ここで、Ｔの各行の列は並べ替えられる。例えば、行列Ｔ_permutedは、Ｔ中のすべてのｉについてタイミング行列Ｔ（ｉ，ｊ）内の列を独立してシャッフルすることによって形成される。Ｔ_permuteを使用して、トリガ論理エンジンは、Ｘ_{R_simulated_stateless}およびＸ_{R_simulated_stateful}を生成し、Ｄ_conditionalと同様にＤ_isolatedも生成する。したがって、トリガ論理エンジンは、行列Ｄ_isolatedにおける特徴Ｆ_kまたはクラスＣ_kの存在割合から、分離された影響（isolated influence）を決定し得る。

【0057】

より一般的には、様々な実施形態は、Ｆｘ，Ｆｙ，…、Ｆｚが与えられた任意の特徴ＦｋまたはクラスＣｋ、またはＣｘ，Ｃｙ，…，Ｃｚが与えられたＣｋの条件付き効果を決定するトリガ論理エンジンを含み得、ここで、Ｆｘ，Ｆｙ，…、ＦｚおよびＣｘ，Ｃｙ，…，Ｃｚは、ほとんどまたはすべての患者について同じである。これは、特定の関係が保持されるように、例えば、ほとんどまたはすべての患者について、ＦｋがＦｘ，Ｆｙ，…，Ｆｚの後に到達するように、Ｔ中のすべてのｉについて各Ｔ（ｉ，）を適切に並べ替えることによって達成され得る。

【0058】

様々な実施形態では、トリガ論理エンジン内の状態依存論理は、スコアが初期トリガからＴ分以内に再びトリガするとき（例えば、Ｒ＝１）を識別し得る。より具体的には、様々な実施形態では、初期トリガ（Ｒ＝１）後の時間Ｔは、９０分に設定され得る。アクションＡは、患者が現在、抗生物質の迅速な投与から利益を得る可能性が低いことを意味する低リスクカテゴリにあることを医師に提示するものであり得、アクションＢは、患者が現在、関連する臨床転帰に関して抗生物質の迅速な投与から中程度に利益を得る可能性が高いことを意味する中リスクカテゴリにあることを医師に提示するものであり得る。

【0059】

現在のモデル値Ｍが中リスクカテゴリ（システムがとるべきアクションがＢである）を示すが、以前は低リスクカテゴリ（システムがとるべきアクションがＡであり、ＡはＢとは異なる）にあった場合、トリガ論理エンジンは、Ｂを実行するようにシステムをトリガし得る（例えば、Ａの発生を前提としてＡＢ＝Ｂ）。様々な実施形態では、アクションＢ自体がＡに依存し得る。同様に、アクションＡＢＣは、アクションＡおよびＢが（その順序で）とられたことを前提として、アクションＣがとられることを示し得る。

【0060】

図１３Ａ～１３Ｂは、６つの異なる時間間隔（時間単位で時間として列挙されている）にわたって複数の患者について測定された、リスク因子にわたる標準偏差分布の時間発展を示すチャート１３００Ａおよび１３００Ｂ（以下、集合的に「チャート１３００」と呼ばれる）である。チャート１３００の横座標（Ｘ軸）は、リスク因子を示す。縦座標（Ｙ軸）は、チャート１３００Ａ（図１３Ａ参照）におけるＢＳＤ／ＷＳＤ比、およびチャート１３００ＢにおけるＢＳＤ値を示す。プロット内の各ファセットは、固定された時点に対する時間単位での特定の時間を指す。

【0061】

チャート１３００は、感染に対する調節不全の宿主応答によって引き起こされる生命を脅かす臓器機能不全として定義される疾患である敗血症に関連して設計されたトリガ論理エンジンの例示的な図である。早期治療－特に経験的抗生物質を使用する－は、結果の改善につながる。しかしながら、曖昧な症状は敗血症の認識を困難にし、死亡率の上昇につながる。敗血症の初期認識および治療は救急治療部（ＥＤ）環境で行われることが多いが、ＥＤは、混乱していてかつ人手不足である可能性があるので、医療提供者がこの症候群を確実に識別し治療することを困難にする。様々な実施形態は、患者が敗血症である可能性を評価し、患者の状態の重症度を評価するために、本明細書に開示されるようなモデリングツールを用いてこの問題を解決する。

【0062】

様々な実施形態では、本明細書に開示されるモデリングツールおよびトリガ論理エンジンは、敗血症が疑われる患者について日常的に測定される特徴を利用する。これらの特徴のうちのいくつかは、患者についての電子医療記録（ＥＭＲ）に存在し得（例えば、バイタル、ＣＢＣ、計数関連検査結果、ＣＭＰなど）、また、電子医療記録に存在し得ない敗血症が疑われる入院患者については具体的に測定されたパラメータ（例えば、新規血漿タンパク質、核酸など）を利用し得る。したがって、敗血症の診断および治療のためにトレーニングされたトリガ論理エンジンは、ストリーミングデータが異なるソースから迅速かつ非同期的に到着する非常に時間依存の環境において動作し得る。

【0063】

様々な実施形態では、モデリングツールは、例えば、０～１の範囲のリスクスコアを示す関数Ｍを含む。リスクスコアは、低、中、または高リスクの３つの範囲のいずれかに分類され得る。トリガ論理エンジンは、医師、看護師、および／または関連する医療従事者へのリスクスコアの提示、または後の時間（例えば、選択された時間期間だけ、または新しい症状もしくは医学的特徴が現れたときなど）への決定の延期などの結果を含むアクション関数Ａであり得る。アクション関数Ａは、リスク因子および他のステートフルな情報に依存し得る。

【0064】

図１４Ａ～図１４Ｉは、様々な実施形態による、ステートレストリガ論理エンジンを用いた診断性能を示すチャート１４００Ａ～Ｉ（以下、集合的に「チャート１４００」と呼ばれる）である。様々な実施形態によれば、チャート１４００は、モデリングツールおよびインピュテーションツールと協働する、トリガ論理エンジン内の統計ツールを用いて取得され得る（トリガ論理エンジン２４０、モデリングツール２４２、統計ツール２４４、およびインピュテーションツール２４６を参照）。したがって、統計ツールは、本明細書で開示する１つまたは複数の数式（式１を参照）を使用して、入力データおよび代入データについての標準偏差（例えば、ＢＳＤ、ＷＳＤ、およびＴＳＤ）および分散値を提供し得る。チャート１４００は、例示のみを目的として、ステートレス構成における様々な例示的なケースシナリオにおいて収集される（ここで、モデリングツールは、欠測データに対して代入を行うために利用可能な最新の情報を考慮する）。チャート内の各色は、特定のステートレストリガ論理ルールＲの診断性能を指す。限定するものではないが、様々な実施形態には、０．００３の対象間分散絶対値（between variance absolute value）インピュテーションツール、０．６のＢＳＤとスコアのための多項式境界との組合せ、０．１２５のＢＳＤ対ＯＯＢ ＳＤ比、０．２のＢＳＤ対スコア比、２.５の境界横断（boundary cross）、０．９のＢＳＤとスコアのための多項式分位境界との組合せが含まれ得る。「理想（Idealized）」は、出力を提供する前にすべてのデータが利用可能になるのを待つシナリオを指す（これは、精度に関しては最適であるが、適時予測を提供するという点では準最適である）。

【0065】

図１４Ａは、様々な実施形態による、トリガ論理エンジンの感度対特異性応答を示すチャート１４００Ａである。

【0066】

図１４Ｂは、様々な実施形態による、トリガ論理エンジンの精度対リコール性能を示すチャート１４００Ｂである。

【0067】

図１４Ｃは、様々な実施形態による、トリガ論理エンジンの感度対特異性応答を示すチャート１４００Ｃである。チャート１４００Ｃは、ＳＯＦＡ（sequential organ failure assessment）陽性スコアに適用される。

【0068】

図１４Ｄは、様々な実施形態による、トリガ論理エンジンの感度対特異性応答を示すチャート１４００Ｄである。チャート１４００Ｄは、全身性炎症反応症候群（ＳＩＲＳ）陰性分析に適用される。

【0069】

図１４Ｅは、本開示と一致するトリガ論理エンジンを使用した、様々な実施形態における敗血症判定診断の確率広がりを示すチャート１４００Ｅである。非敗血症（non-septic）、敗血症（non-septic）、および敗血症性ショック（septic shock）という３つの異なる状態が示されている。

【0070】

図１４Ｆは、本開示と一致するトリガ論理エンジンを使用した、様々な実施形態における敗血症判定カテゴリについての確率広がりを示すチャート１４００Ｆである。ＯＤ＿Ｎ＿ｉｎｆｅｃｔｉｏｎ＿Ｎ、ＯＤ＿Ｎ＿ｉｎｆｅｃｔｉｏｎ＿Ｙ、ＯＤ＿Ｙ＿ｉｎｆｅｃｔｉｏｎ＿Ｎ、およびＯＤ＿Ｙ＿ｉｎｆｅｃｔｉｏｎ＿Ｙという４つの異なるカテゴリが示されている。

【0071】

図１４Ｇは、上に列挙された様々な実施形態について、本明細書で開示されるようなトリガ論理エンジンに基づいて行われる決定によって影響を受ける患者の割合を示すチャート１４００Ｇである。影響が最も低いのは、０．０６のＢＳＤとスコアのための多項式境界との組合せの場合で、９２％をわずかに超える。影響が最大なのは、０．００３の対象間分散絶対値に対してなされた決定の場合で、ほぼ９７％の影響である。

【0072】

図１４Ｈは、上記で開示された様々な実施形態について、本明細書で開示されるようなトリガ論理エンジンによって行われる決定に対するタイミングを示すチャート１４００Ｈである。時間軸（垂直軸、すなわち縦座標）は、任意の単位で決定までの時間を示す。チャート１４００Ｈにおけるトリガ論理エンジンの出力は、敗血症診断に対する３つのリスクカテゴリ（「０」、「１」、および「２」）のうちの１つを示す。一般に、リスクカテゴリの分散広がりは、低リスクデータに対してはより高く、高リスクデータに対してはより低いように見受けられる。

【0073】

図１４Ｉは、上記で開示された様々な実施形態について、本明細書で開示されるようなトリガ論理エンジンによって行われる決定に対するタイミングを示すチャート１４００Ｉである。時間軸（垂直軸、すなわち縦座標）は、任意の単位で決定までの時間を示す。チャート１４００Ｉにおけるトリガ論理エンジンの決定は、「非敗血症」、「敗血症」、および「敗血症性ショック」という３つの条件にしたがって敗血症診断を判定することである。一般に、リスクカテゴリの分散広がりは、低リスクデータに対してはより高く、高リスクデータに対してはより低いようである。

【0074】

図１５Ａ～図１５Ｉは、様々な実施形態による、ステートフルトリガ論理エンジンを用いた診断性能を示すチャート（１５００Ａ～Ｉ、以下では集合的に「チャート１５００」と呼ばれる）である。様々な実施形態によれば、チャート１５００は、モデリングツールおよびインピュテーションツールと協働する、トリガ論理エンジン内の統計ツールを用いて取得され得る（トリガ論理エンジン２４０、モデリングツール２４２、統計ツール２４４、およびインピュテーションツール２４６を参照）。したがって、統計ツールは、本明細書で開示する１つまたは複数の数式（式１を参照）を使用して、入力データおよび代入データについての標準偏差（例えば、ＢＳＤ、ＷＳＤ、およびＴＳＤ）および分散値を提供し得る。チャート１５００は、例示のみを目的として、ステートフル構成における様々な例示的なケースシナリオにおいて収集される（ここで、モデリングツールは、欠測データに対して代入を行うために利用可能な最新の情報に加えて、以前に収集されたおよび／または代入された情報を考慮する）。チャート内の各色は、ステートフル条件にラップアラウンドされた特定のステートレストリガ論理ルールＲの診断性能を指す。この場合に使用される特定のステートフル条件は、スコアが初期トリガからＴ分以内に再びトリガし、スコアが現在は中リスクカテゴリ（システムがとるべきアクションがＭである）にあるが、以前は低リスクカテゴリ（システムがとるべきアクションがＬであり、ＬはＭとは異なる）にあった場合、システムをトリガしてＭを実行させることであった。Ｍ自体がＬに依存し得ることに留意されたい。限定するものではないが、様々な実施形態には、０．００３の対象間分散絶対値インピュテーションツール、０．６のＢＳＤとスコアのための多項式境界との組合せ、０．１２５のＢＳＤ対ＯＯＢ ＳＤ比、０．２のＢＳＤ対スコア比、２.５の境界横断、０．９のＢＳＤとスコアのための多項式分位境界との組合せが含まれ得る。「理想（Idealized）」は、出力を提供する前にすべてのデータが利用可能になるのを待つシナリオを指す（これは、精度に関しては最適であるが、適時予測を提供するという点では準最適である）。

【0075】

図１５Ａは、様々な実施形態による、トリガ論理エンジンの感度対特異性応答を示すチャート１５００Ａである。

【0076】

図１５Ｂは、様々な実施形態による、トリガ論理エンジンの精度対リコール性能を示すチャート１５００Ｂである。

【0077】

図１５Ｃは、様々な実施形態による、トリガ論理エンジンの感度対特異性応答を示すチャート１５００Ｃである。チャート１５００Ｃは、ＳＯＦＡ（sequential organ failure assessment）陽性スコアに適用される。

【0078】

図１５Ｄは、様々な実施形態による、トリガ論理エンジンの感度対特異性応答を示すチャート１５００Ｄである。チャート１５００Ｄは、全身性炎症反応症候群（ＳＩＲＳ）陰性分析に適用される。

【0079】

図１５Ｅは、本開示と一致するトリガ論理エンジンを使用した、様々な実施形態における敗血症判定診断の確率広がりを示すチャート１５００Ｅである。非敗血症（non-septic）、敗血症（sepsis）、および敗血症性ショック（septic shock）という３つの異なる状態が示されている。

【0080】

図１５Ｆは、本開示と一致するトリガ論理エンジンを使用した、様々な実施形態における敗血症判定カテゴリについての確率広がりを示すチャート１５００Ｆである。ＯＤ＿Ｎ＿ｉｎｆｅｃｔｉｏｎ＿Ｎ、ＯＤ＿Ｎ＿ｉｎｆｅｃｔｉｏｎ＿Ｙ、ＯＤ＿Ｙ＿ｉｎｆｅｃｔｉｏｎ＿Ｎ、およびＯＤ＿Ｙ＿ｉｎｆｅｃｔｉｏｎ＿Ｙという４つの異なるカテゴリが示されている。

【0081】

図１５Ｇは、上に列挙された様々な実施形態について、本明細書で開示されるようなトリガ論理エンジンに基づいて行われる決定によって影響を受ける患者の割合を示すチャート１５００Ｇである。影響が最も低いのは、０．０６のＢＳＤとスコアのための多項式境界との組合せの場合で、９２％をわずかに超える。影響が最大なのは、０．００３の対象間分散絶対値に対してなされた決定の場合で、ほぼ９７％の影響である。

【0082】

図１５Ｈは、上記で開示された様々な実施形態について、本明細書で開示されるようなトリガ論理エンジンによって行われる決定に対するタイミングを示すチャート１５００Ｈである。時間軸（垂直軸、すなわち縦座標）は、任意の単位で決定までの時間を示す。チャート１５００Ｈにおけるトリガ論理エンジンの出力は、敗血症診断に対する３つのリスクカテゴリ（「０」、「１」、および「２」）のうちの１つを示す。一般に、リスクカテゴリの分散広がりは、低リスクデータに対してはより高く、高リスクデータに対してはより低いように見受けられる。

【0083】

図１５Ｉは、上記で開示された様々な実施形態について、本明細書で開示されるようなトリガ論理エンジンによって行われる決定に対するタイミングを示すチャート１５００Ｉである。時間軸（垂直軸、すなわち縦座標）は、任意の単位で決定までの時間を示す。チャート１５００Ｉにおけるトリガ論理エンジンの決定は、「非敗血症（non-septic）」、「敗血症（sepsis）」、および「敗血症性ショック（septic shock）」という３つの条件にしたがって敗血症診断を判定することである。一般に、リスクカテゴリの分散広がりは、低リスクデータに対してはより高く、高リスクデータに対してはより低いようである。

【0084】

予想されるように、チャート１５００Ｈおよび１５００Ｉにおける決定に対するタイミングは、トリガ論理エンジンにおけるステートフル論理構成では、ステートレス論理構成（チャート１４００Ｈおよび１４００Ｉ参照）と比較してわずかに高い。

【0085】

図１６は、様々な実施形態による、複数の医学的特徴に基づいて経時的に患者に対してアクションをとる確率を示すためのチャート１６００である。

【0086】

図１７は、様々な実施形態による、いくつかの医学的特徴にわたる患者の２つの異なるセットについてのリスク因子の棒グラフ１７００である。棒グラフ１７００は、Ｄ_conditionalの結果の視覚化であり、ＸＲ_{simulated_stateless}を使用する時間依存トリガを示す。したがって、棒グラフ１７００のＸＲ_{simulated_stateless}データ行列内の各行は、ｔ_triggerと、ｔ_triggerを引き起こした臨床データ（例えば、バイタル、ＣＢＣ、ＣＭＰなど）の対応するセットまたはクラスの名前とに対応する。棒グラフ１７００は、それぞれ別個の臨床現場からの患者の２つの異なるグループについての特定の臨床データエントリのトリガ論理エンジンに対する条件付き影響の例示的な割合を示す。

【0087】

図１８は、様々な実施形態による、時間シーケンスにわたって受信または代入された複数の医学的特徴に基づいて患者に対して医療行為を行う方法１８００におけるステップを示すフローチャートである。方法１８００は、ネットワークを介して１つまたは複数のサーバに結合されたクライアントデバイスのうちのいずれか１つ（例えば、サーバ１３０のうちのいずれか１つおよびクライアントデバイス１１０のうちのいずれか１つ、およびネットワーク１５０）によって少なくとも部分的に実行され得る。例えば、様々な実施形態によれば、サーバは、医療関係者または医療従事者が持ち運ぶ１つまたは複数の医療デバイスまたはポータブルコンピュータデバイスをホストし得る。クライアントデバイス１１０は、医療施設内の職員もしくは他の人員、または医療施設もしくは病院の緊急治療室または救急車に患者を運ぶ救急隊員、または医療施設から離れた個人の住居もしくは公共の場所で患者に付き添う者などのユーザによって操作され得る。方法１８００におけるステップのうちの少なくともいくつかは、コンピュータのメモリに記憶されたコマンドを実行するプロセッサ（例えば、プロセッサ２１２およびメモリ２２０）を有するコンピュータによって実行され得る。様々な実施形態によれば、ユーザは、クライアントデバイス内のアプリケーションを起動して、ネットワークを介してサーバ内のトリガ論理エンジン（例えば、アプリケーション２２２およびトリガ論理エンジン２４０）にアクセスし得る。トリガ論理エンジンは、臨床データをリアルタイムで取り出し、供給し、処理したり、そのアクション推奨を提供したりするために、モデリングツール、統計ツール、およびインピュテーションツール（例えば、モデリングツール２４２、統計ツール２４４、およびインピュテーションツール２４６）を含み得る。さらに、方法１８００に開示されるステップは、とりわけ、トリガ論理エンジン（例えば、データベース２５２）を使用して、コンピュータの一部であるかまたはコンピュータに通信可能に結合されるデータベース内のファイルを、取り出すこと、編集すること、および／または記憶することを含み得る。本開示と一致する方法は、異なるシーケンスで実行される、方法１８００に示されるステップのうちのすべてではないが少なくともいくつかを含み得る。さらに、本開示と一致する方法は、時間的に重複して、またはほぼ同時に実行される方法１８００におけるような少なくとも２つ以上のステップを含み得る。

【0088】

ステップ１８０２は、モデリングツールのための入力データを受信することを含み、入力データは、システムのステータスを示す。

【0089】

ステップ１８０４は、欠測データを代入して、モデリングツールのための代入データとすることを含む。様々な実施形態では、ステップ１８０４は、複数インピュテーション技法を適用して、特定の時間における患者のデータの特定のインスタンスのために患者のデータのＮ個のコピーを生成することを含む。様々な実施形態では、ステップ１８０４は、欠測データ値を１つの代入データ値で置き換えることを含み得る。いくつかの実施形態では、ステップ１８０４は、インピュテーションモデルにおける変動性を評価するために、各欠測データ値を１つまたは複数の代入データ値で置き換えることを含み得る。例えば、ステップ１８０４は、各欠測データ値に対して「Ｎ」個の代入データ値を作成することを含み得、ここで、各代入データ値は、サンプリング変動性を反映するように、モデリングツール内のわずかに異なるモデルから予測される。

【0090】

ステップ１８０６は、モデリングツールを用いて入力データおよび代入データを使用してスコアを評価することを含み、スコアは、システムのステータスに基づく結果に関連付けられる。データの各コピーについて、ステップ１８０６は、入力データ（代入データを含む）をモデリングツールに提供し、結果の予測を生成することを含み得る。

【0091】

ステップ１８０８は、統計ツールを使用してスコアの統計分析を実行することを含む。様々な実施形態では、ステップ１８０８は、ＢＳＤ、ＷＳＤ、およびＴＳＤの推定値を生成することを含む。

【0092】

ステップ１８１０は、スコアおよび統計分析に基づいて結果の尤度を決定することを含む。様々な実施形態では、ステップ１８１０は、モデリングツールがスコアを提供するとき、ＢＳＤ、ＷＳＤ、ＴＳＤ、スコア、および他の出力に条件付き論理を適用することを含み得る。例えば、様々な実施形態では、ステップ１８１０は、ＢＳＤが予め選択された値未満であるときに条件を適用し、次いで、特定の出力またはアクションをトリガすることを含み得る。いくつかの実施形態では、ステップ１８１０は、条件付き論理が偽であるかまたは満足されないとき、さらなる時間まで決定または出力を延期することを含み得る。

【0093】

図１９は、様々な実施形態による、時間シーケンスにわたって受信または代入された複数の医学的特徴に基づいて患者に対して医療行為を行う方法１９００におけるステップを示すフローチャートである。方法１９００は、ネットワークを介して１つまたは複数のサーバに結合されたクライアントデバイスのうちのいずれか１つ（例えば、サーバ１３０のうちのいずれか１つおよびクライアントデバイス１１０のうちのいずれか１つ、およびネットワーク１５０）によって少なくとも部分的に実行され得る。例えば、様々な実施形態によれば、サーバは、医療関係者または医療従事者が持ち運ぶ１つまたは複数の医療デバイスまたはポータブルコンピュータデバイスをホストし得る。クライアントデバイスは、医療施設内の職員もしくは他の人員、または医療施設もしくは病院の緊急治療室または救急車に患者を運ぶ救急隊員、または医療施設から離れた個人の住居もしくは公共の場所で患者に付き添う者などのユーザによって操作され得る。方法１９００におけるステップのうちの少なくともいくつかは、コンピュータのメモリに記憶されたコマンドを実行するプロセッサ（例えば、プロセッサ２１２およびメモリ２２０）を有するコンピュータによって実行され得る。様々な実施形態によれば、ユーザは、クライアントデバイス内のアプリケーションを起動して、ネットワークを介してサーバ内のトリガ論理エンジン（例えば、アプリケーション２２２およびトリガ論理エンジン２４０）にアクセスし得る。トリガ論理エンジンは、臨床データをリアルタイムで取り出し、供給し、処理したり、そのアクション推奨を提供したりするために、モデリングツール、統計ツール、およびインピュテーションツール（例えば、モデリングツール２４２、統計ツール２４４、およびインピュテーションツール２４６）を含み得る。さらに、方法１９００に開示されるステップは、とりわけ、トリガ論理エンジン（例えば、データベース２５２）を使用して、コンピュータの一部であるかまたはコンピュータに通信可能に結合されるデータベース内のファイルを、取り出すこと、編集すること、および／または記憶することを含み得る。本開示と一致する方法は、異なるシーケンスで実行される、方法１９００に示されるステップのうちのすべてではないが少なくともいくつかを含み得る。さらに、本開示と一致する方法は、時間的に重複して、またはほぼ同時に実行される方法１９００におけるような少なくとも２つ以上のステップを含み得る。

【0094】

ステップ１９０２は、第１のデータフィールドおよび第２のデータフィールドを含むデータセットを受信することを含み、ここで、第１のデータフィールドには測定値が投入される。様々な実施形態によれば、ステップ１９０２は、サーバにおいて、ネットワークを介してクライアントデバイスから測定値を受信することを含み得る。

【0095】

ステップ１９０４は、第１の予測値を第２のデータフィールドに代入することを含む。様々な実施形態によれば、ステップ１９０４は、測定値と、第１のデータフィールドを第２のデータフィールドに関連付ける条件付きルールとに基づいて、第１の予測値を決定することをさらに含む。様々な実施形態によれば、ステップ１９０４は、トリガ論理エンジン内のモデルを使用して第１の予測値を決定することを含む。

【0096】

ステップ１９０６は、測定値と第１の予測値とに基づいて、第１のリスクスコアおよび関連メトリックの第１のセットを生成することを含む。様々な実施形態によれば、ステップ１９０６は、対象間標準偏差値において第１の予測値によって第１のリスクスコアに誘発される変動性を決定することを含む。様々な実施形態によれば、ステップ１９０６は、対象内標準偏差のサンプリング変動性によって第１のリスクスコアに誘発される変動性を決定することを含む。様々な実施形態によれば、ステップ１９０６は、対象間標準偏差および対象内標準偏差を含む総標準偏差を決定することを含む。

【0097】

ステップ１９０８は、第２の予測値を第２のデータフィールドに代入することを含む。

【0098】

ステップ１９１０は、測定値と第２の予測値とに基づいて、第２のリスクスコアおよび関連メトリックの第２のセットを生成することを含む。

【0099】

ステップ１９１２は、第１のリスクスコアと、関連メトリックの第１のセットと、第２のリスクスコアと、関連メトリックの第２のセットとに基づいて、統計的に導出されたメトリックを計算することを含む。様々な実施形態によれば、ステップ１９１２は、第１の標準偏差値と第２の標準偏差値との間の比を決定することを含み、第１の標準偏差値および第２の標準偏差値の各々は、関連メトリックの第１のセットから、または関連メトリックの第２のセットから選択される。様々な実施形態によれば、ステップ１９１２は、第１のリスクスコアまたは第２のリスクスコアの多項式関数を計算することと、関連メトリックの第１のセットおよび関連メトリックの第２のセットから選択された標準偏差を多項式関数と比較することとを含む。

【0100】

ステップ１９１４は、統計的に導出されたメトリックが所定のしきい値を超えるかどうかを決定することを含み、ここで、統計的に導出されたメトリックが所定のしきい値を超えるとき、所定のアクションが推奨される。様々な実施形態によれば、関連メトリックの第１のセットは第１の収集時間に対応し、関連メトリックの第２のセットは第２の収集時間に対応し、ステップ１９１４は、第１の収集時間および第２の収集時間の後にステートフル論理を使用することを含む。様々な実施形態によれば、関連メトリックの第１のセットは第１の収集時間に対応し、関連メトリックの第２のセットは第２の収集時間に対応し、ステップ１９１４は、第１の収集時間または第２の収集時間の一方の後にステートレス論理を使用することを含む。様々な実施形態によれば、データセットは、患者についての臨床データを含み、臨床データは、全血球計算、包括的代謝パネル、または血液ガスのうちの１つを有し、ステップ１９１４は、患者が敗血症性ショックに罹患する可能性についての信頼レベルを決定することを含む。様々な実施形態によれば、ステップ１９１４は、第１のデータフィールドに対する第１の以前の値および第２のデータフィールドに対する第２の以前の値を含む以前のデータセットに基づいて、所定のアクションを選択することを含む。様々な実施形態によれば、ステップ１９１４は、表示用のグラフィックチャートを提供することをさらに含み得、グラフィックチャートは、統計的に導出されたメトリックを示す。

【0101】

図２０は、様々な実施形態による、時間シーケンスにわたって受信または代入された複数の医学的特徴に基づいて患者に対して医療行為を行う方法２０００におけるステップを示すフローチャートである。方法２０００は、ネットワークを介して１つまたは複数のサーバに結合されたクライアントデバイスのうちのいずれか１つ（例えば、サーバ１３０のうちのいずれか１つおよびクライアントデバイス１１０のうちのいずれか１つ、およびネットワーク１５０）によって少なくとも部分的に実行され得る。例えば、様々な実施形態によれば、サーバは、医療関係者または医療従事者が持ち運ぶ１つまたは複数の医療デバイスまたはポータブルコンピュータデバイスをホストし得る。クライアントデバイスは、医療施設内の職員もしくは他の人員、または医療施設もしくは病院の緊急治療室または救急車に患者を運ぶ救急隊員、または医療施設から離れた個人の住居もしくは公共の場所で患者に付き添う者などのユーザによって操作され得る。方法２０００におけるステップのうちの少なくともいくつかは、コンピュータのメモリに記憶されたコマンドを実行するプロセッサ（例えば、プロセッサ２１２およびメモリ２２０）を有するコンピュータによって実行され得る。様々な実施形態によれば、ユーザは、クライアントデバイス内のアプリケーションを起動して、ネットワークを介してサーバ内のトリガ論理エンジン（例えば、アプリケーション２２２およびトリガ論理エンジン２４０）にアクセスし得る。トリガ論理エンジンは、臨床データをリアルタイムで取り出し、供給し、処理したり、そのアクション推奨を提供したりするために、モデリングツール、統計ツール、およびインピュテーションツール（例えば、モデリングツール２４２、統計ツール２４４、およびインピュテーションツール２４６）を含み得る。さらに、方法２０００に開示されるステップは、とりわけ、トリガ論理エンジン（例えば、データベース２５２）を使用して、コンピュータの一部であるかまたはコンピュータに通信可能に結合されるデータベース内のファイルを、取り出すこと、編集すること、および／または記憶することを含み得る。本開示と一致する方法は、異なるシーケンスで実行される、方法２０００に示されるステップのうちのすべてではないが少なくともいくつかを含み得る。さらに、本開示と一致する方法は、時間的に重複して、またはほぼ同時に実行される方法２０００におけるような少なくとも２つ以上のステップを含み得る。

【0102】

ステップ２００２は、第１のデータフィールドおよび第２のデータフィールドを含むデータセットを受信することを含み、ここで、第１のデータフィールドには測定値が投入される。

【0103】

ステップ２００４は、第１の予測値を第２のデータフィールドに代入することを含む。

【0104】

ステップ２００６は、測定値と第１の予測値とに基づいて、第１のリスクスコアおよび関連メトリックの第１のセットを生成することを含む。

【0105】

ステップ２００８は、第２の予測値を第２のデータフィールドに代入することを含む。

【0106】

ステップ２０１０は、測定値と第２の予測値とに基づいて、第２のリスクスコアおよび関連メトリックの第２のセットを生成することを含む。

【0107】

ステップ２０１２は、第１のリスクスコアと、関連メトリックの第１のセットと、第２のリスクスコアと、関連メトリックの第２のセットとに基づいて、統計的に導出されたメトリックを計算することを含む。

【0108】

ステップ２０１４は、統計的に導出されたメトリックが所定のしきい値を超えるかどうかを決定することを含み、ここで、統計的に導出されたメトリックが所定のしきい値を超える場合、所定のアクションが推奨される。

【0109】

ハードウェアの概要
図２１は、図１および図２のクライアントデバイス１１０およびサーバ１３０ならびに図１８～図２０の方法を実施することができる例示的なコンピュータシステム２１００を示すブロック図である。特定の態様では、コンピュータシステム２１００は、専用サーバ内で、または別のエンティティに統合されて、または複数のエンティティにわたって分散されて、ハードウェアまたはソフトウェアとハードウェアの組合せを使用して実装され得る。

【0110】

コンピュータシステム２１００（例えば、クライアントデバイス１１０およびサーバ１３０）は、情報を通信するためのバス２１０８または他の通信機構と、情報を処理するためのバス２１０８に結合されたプロセッサ２１０２（例えば、プロセッサ２１２）とを含む。例として、コンピュータシステム２１００は、１つまたは複数のプロセッサ２１０２を用いて実装され得る。プロセッサ２１０２は、汎用マイクロプロセッサ、マイクロコントローラ、デジタルシグナルプロセッサ（ＤＳＰ）、特定用途向け集積回路（ＡＳＩＣ）、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）、プログラマブル論理デバイス（ＰＬＤ）、コントローラ、ステートマシン、ゲートロジック、ディスクリートハードウェア構成要素、または情報の計算もしくは他の操作を実行することができる任意の他の適切なエンティティであり得る。

【0111】

コンピュータシステム２１００は、ハードウェアに加えて、当該コンピュータプログラムのための実行環境を作成するコード、例えば、ランダムアクセスメモリ（ＲＡＭ）、フラッシュメモリ、読取専用メモリ（ＲＯＭ）、プログラマブル読取専用メモリ（ＰＲＯＭ）、消去可能ＰＲＯＭ（ＥＰＲＯＭ）、レジスタ、ハードディスク、リムーバブルディスク、ＣＤ－ＲＯＭ、ＤＶＤ、またはプロセッサ２１０２によって実行されるべき命令および情報を記憶するためにバス２１０８に結合された任意の他の適切な記憶デバイスなどの内蔵メモリ２１０４（例えば、メモリ２２０）に記憶された、プロセッサファームウェア、プロトコルスタック、データベース管理システム、オペレーティングシステム、またはそれらのうちの１つまたは複数からなる組合せを構成するコードを含むことができる。プロセッサ２１０２およびメモリ２１０４は、専用論理回路によって補完され得るか、またはそれに組み込まれ得る。

【0112】

命令は、メモリ２１０４に記憶され、１つまたは複数のコンピュータプログラム製品、すなわち、コンピュータシステム２１００による実行のため、もしくはコンピュータシステム２１００の動作を制御するためにコンピュータ可読媒体上に符号化されたコンピュータプログラム命令の１つまたは複数のモジュールにおいて、並びに、当業者に周知の任意の方法にしたがって実装され得、これには、限定はしないが、データ指向言語（例えば、ＳＱＬ、ｄＢａｓｅ）などのコンピュータ言語、システム言語（例えば、Ｃ、Ｏｂｊｅｃｔｉｖｅ－Ｃ、Ｃ＋＋、アセンブリ）、アーキテクチャ言語（例えば、Ｊａｖａ（登録商標）、．ＮＥＴ）、およびアプリケーション言語（例えば、ＰＨＰ、Ｒｕｂｙ、Ｐｅｒｌ、Ｐｙｔｈｏｎ）が含まれる。命令はまた、アレイ言語、アスペクト指向言語、アセンブリ言語、オーサリング言語、コマンドラインインターフェース言語、コンパイラ型言語、コンカレント言語、カーリーブラケット言語、データフロー言語、データ構造化言語、宣言型言語、難解言語、拡張言語、第４世代言語、関数言語、インタラクティブモード言語、インタープリタ型言語、反復言語、リストベース言語、リトル言語、論理ベース言語、機械語、マクロ言語、メタプログラミング言語、マルチパラダイム言語、数値解析、非英語ベース言語、オブジェクト指向クラスベース言語、オブジェクト指向プロトタイプベース言語、オフサイドルール言語、手続き型言語、リフレクション言語、ルールベース言語、スクリプト言語、スタックベース言語、同期言語、構文処理言語、ビジュアル言語、ｗｉｒｔｈ言語、およびｘｍｌベース言語などのコンピュータ言語で実装され得る。メモリ２１０４はまた、プロセッサ２１０２によって実行されるべき命令の実行中に一時変数または他の中間情報を記憶するために使用され得る。

【0113】

本明細書で説明されるコンピュータプログラムは、ファイルシステム内のファイルに必ずしも対応しない。プログラムは、他のプログラムまたはデータ（例えば、マークアップ言語文書に記憶された１つまたは複数のスクリプト）を保持するファイルの一部に、当該プログラム専用の単一ファイルに、または複数の協調ファイル（例えば、１つまたは複数のモジュール、サブプログラム、またはコードの一部を記憶するファイル）に記憶され得る。コンピュータプログラムは、１つのコンピュータ上で、または１つのサイトに位置するか、もしくは複数のサイトにわたって分散しており、通信ネットワークによって相互接続された複数のコンピュータ上で実行されるように展開され得る。本明細書で説明されるプロセスおよび論理フローは、入力データに対して動作し、出力を生成することによって機能を実行するために１つまたは複数のコンピュータプログラムを実行する１つまたは複数のプログラマブルプロセッサによって実行され得る。

【0114】

コンピュータシステム２１００は、情報および命令を記憶するためにバス２１０８に結合された磁気ディスクまたは光ディスクなどのデータ記憶デバイス２１０６をさらに含む。コンピュータシステム２１００は、入力／出力モジュール２１１０を介して様々なデバイスに結合され得る。入力／出力モジュール２１１０は、任意の入力／出力モジュールであり得る。例示的な入力／出力モジュール２１１０は、ＵＳＢポートなどのデータポートを含む。入力／出力モジュール２１１０は、通信モジュール２１１２に接続するように構成される。例示的な通信モジュール２１１２（例えば、通信モジュール２１８）は、イーサネットカードおよびモデムなどのネットワーキングインターフェースカードを含む。いくつかの態様では、入力／出力モジュール２１１０は、入力デバイス２１１４（例えば、入力デバイス２１４）および／または出力デバイス２１１６（例えば、出力デバイス２１６）など、複数のデバイスに接続するように構成される。例示的な入力デバイス２１１４は、ユーザがコンピュータシステム２１００に入力を提供することができるキーボードおよびポインティングデバイス、例えばマウスまたはトラックボールを含む。ユーザとのインタラクションを提供するために、触覚入力デバイス、視覚入力デバイス、音声入力デバイス、またはブレイン－コンピュータインターフェースデバイスなどの他の種類の入力デバイス２１１４も使用することができる。例えば、ユーザに提供されるフィードバックは、任意の形態の感覚フィードバック、例えば、視覚フィードバック、聴覚フィードバック、または触覚フィードバックであり得、ユーザからの入力は、音響、音声、触覚、または脳波入力を含む、任意の形態で受信され得る。例示的な出力デバイス２１１６は、ユーザに情報を表示するためのＬＣＤ（液晶ディスプレイ）モニタなどのディスプレイデバイスを含む。

【0115】

本開示の一態様によれば、クライアントデバイス１１０およびサーバ１３０は、プロセッサ２１０２がメモリ２１０４に含まれる１つまたは複数の命令の１つまたは複数のシーケンスを実行することに応答して、コンピュータシステム２１００を使用して実装され得る。そのような命令は、データ記憶デバイス２１０６などの別の機械可読媒体からメモリ２１０４に読み込まれ得る。メインメモリ２１０４に含まれる命令のシーケンスの実行は、プロセッサ２１０２に、本明細書で説明されるプロセスステップを実行させる。メモリ２１０４に含まれる命令のシーケンスを実行するために、マルチプロセッシング構成の１つまたは複数のプロセッサを使用することもできる。代替的な態様では、本開示の様々な態様を実装するために、ソフトウェア命令の代わりに、またはソフトウェア命令と組み合わせて、ハードワイヤード回路が使用され得る。したがって、本開示の態様は、ハードウェア回路およびソフトウェアの特定の組合せに限定されない。

【0116】

本明細書で説明する主題の様々な態様は、例えばデータサーバとしてバックエンド構成要素を含むか、またはアプリケーションサーバなどのミドルウェア構成要素を含むか、またはユーザが本明細書で説明する主題の実装形態とインタラクトすることができるグラフィカルユーザインターフェースもしくはウェブブラウザを有するクライアントコンピュータなどのフロントエンド構成要素を含むか、または１つもしくは複数のそのようなバックエンド構成要素、ミドルウェア構成要素、もしくはフロントエンド構成要素の任意の組合せを含むコンピューティングシステムにおいて実装され得る。システムの構成要素は、任意の形態または媒体のデジタルデータ通信、例えば、通信ネットワークによって相互接続され得る。通信ネットワーク（例えば、ネットワーク１５０）は、例えば、ＬＡＮ、ＷＡＮ、インターネットなどのうちの任意の１つまたは複数を含むことができる。さらに、通信ネットワークは、限定はしないが、例えば、バスネットワーク、スターネットワーク、リングネットワーク、メッシュネットワーク、スターバスネットワーク、ツリーまたは階層ネットワークなどを含むネットワークトポロジのうちのいずれか１つまたは複数を含むことができる。通信モジュールは、例えば、モデムまたはイーサネットカードとすることができる。

【0117】

コンピュータシステム２１００は、クライアントおよびサーバを含むことができる。クライアントとサーバは一般に互いに離れており、典型的には通信ネットワークを介してインタラクトする。クライアントとサーバの関係は、それぞれのコンピュータ上で実行され、互いにクライアント－サーバ関係を有するコンピュータプログラムによって生じる。コンピュータシステム２１００は、例えば、デスクトップコンピュータ、ラップトップコンピュータ、またはタブレットコンピュータであり得るが、これらに限定されない。コンピュータシステム２１００は、別のデバイス、例えば、限定はしないが、携帯電話、ＰＤＡ、モバイルオーディオプレーヤ、全地球測位システム（ＧＰＳ）受信機、ビデオゲーム機、および／またはテレビセットトップボックスに組み込まれ得る。

【0118】

本明細書で使用される「機械可読記憶媒体」または「コンピュータ可読媒体」という用語は、実行のためにプロセッサ２１０２に命令を提供することに関与するいずれか１つまたは複数の媒体を指す。そのような媒体は、限定はしないが、不揮発性媒体、揮発性媒体、および伝送媒体を含む多くの形態をとり得る。不揮発性媒体は、例えば、データ記憶デバイス２１０６などの光ディスクまたは磁気ディスクを含む。揮発性媒体は、メモリ２１０４などの動的メモリを含む。伝送媒体は、バス２１０８を含むワイヤを含む、同軸ケーブル、銅線、および光ファイバを含む。一般的な形態の機械可読媒体は、例えば、フロッピー（登録商標）ディスク、フレキシブルディスク、ハードディスク、磁気テープ、任意の他の磁気媒体、ＣＤ－ＲＯＭ、ＤＶＤ、任意の他の光学媒体、パンチカード、紙テープ、穴のパターンを有する任意の他の物理媒体、ＲＡＭ、ＰＲＯＭ、ＥＰＲＯＭ、ＦＬＡＳＨ（登録商標） ＥＰＲＯＭ、任意の他のメモリチップもしくはカートリッジ、またはコンピュータが読取り可能である任意の他の媒体を含む。機械可読記憶媒体は、機械可読記憶デバイス、機械可読記憶基板、メモリデバイス、機械可読伝搬信号をもたらす組成物、またはそれらのうちの１つもしくは複数からなる組合せであり得る。

【0119】

本明細書で使用される場合、一連の項目に先行する「～のうちの少なくとも１つ」という表現は、項目のいずれかを分離する「および」または「または」という用語と共に、リストの各メンバー（すなわち、各項目）ではなく、リストを全体として修正する。「～のうちの少なくとも１つ」という表現は、少なくとも１つの項目の選択を必要とせず、むしろ、この表現では、項目のいずれか１つのうちの少なくとも１つ、および／または項目の任意の組合せのうちの少なくとも１つ、および／または項目の各々のうちの少なくとも１つを含むことを意味することができる。例として、「Ａ、Ｂ、およびＣのうちの少なくとも１つ」または「Ａ、Ｂ、もしくはＣのうちの少なくとも１つ」という表現は、それぞれ、Ａのみ、Ｂのみ、もしくはＣのみ；Ａ、Ｂ、およびＣの任意の組合せ；ならびに／またはＡ、Ｂ、およびＣのそれぞれのうちの少なくとも１つを指す。

【0120】

「含む（include）」、「有する（have）」などの用語が説明または特許請求の範囲において使用される限り、そのような用語は、「備える／含む（comprise）」が特許請求の範囲において移行語として用いられるときに解釈されるように、「備える／含む（comprise）」という用語と同様に包括的であることが意図される。本明細書において「例示的」という単語は、「例、実例、説明として機能する」という意味で使用するために使用される。「例示的」として本明細書で説明される任意の実施形態は、必ずしも、他の実施形態よりも好ましいまたは有利であると解釈されるべきではない。

【0121】

単数形の要素への言及は、別途明記されていない限り、「唯一」を意味するものではなく、むしろ「１つまたは複数」を意味するものである。当業者に知られている、または後に知られるようになる、本開示全体にわたって説明される様々な構成の要素に対するすべての構造的および機能的な同等物は、参照により本明細書に明示的に組み込まれ、主題技術によって包含されることが意図される。さらに、本明細書で開示されるものは、そのような開示が上記の説明において明示的に記載されているかどうかにかかわらず、公衆に捧げられることを意図していない。

【0122】

本明細書は多くの詳細を含むが、これらは、特許請求され得るものの範囲に対する限定として解釈されるべきではなく、むしろ主題の特定の実装形態の説明として解釈されるべきである。別個の実施形態に関連して本明細書に記載されている特定の特徴を、単一の実施形態において組み合わせて実装することもできる。逆に、単一の実施形態に関連して説明されている様々な特徴を、複数の実施形態で別々に、または任意の適切な部分組合せで実装することもできる。さらに、特徴は、特定の組合せで機能するものとして上記で説明され、最初にそのように特許請求され得るが、特許請求される組合せからの１つまたは複数の特徴は、場合によっては、その組合せから削除され得、特許請求される組合せは、部分組合せまたは部分組合せの変形を対象とし得る。

【0123】

特定の態様に関して本明細書の主題を説明してきたが、他の態様は、実装されることができ、それらは以下の特許請求の範囲内にある。例えば、動作は特定の順序で図面に示されているが、これは、望ましい結果を達成するために、そのような動作が示された特定の順序でまたは連続した順序で実行されること、またはすべての図示された動作が実行されることを必要とすると理解されるべきではない。特許請求の範囲に記載されたアクションは、異なる順序で実行され得、それでも望ましい結果を達成することができる。一例として、添付の図面に示されるプロセスは、所望の結果を達成するために、示される特定の順序または連続的な順序を必ずしも必要としない。特定の状況では、マルチタスキングおよび並列処理が有利であり得る。さらに、上記で説明した態様における様々なシステム構成要素の分離は、すべての態様においてそのような分離を必要とすると理解されるべきではなく、説明されたプログラム構成要素およびシステムは、一般に、単一のソフトウェア製品に一緒に統合され得るか、または複数のソフトウェア製品にパッケージ化され得ることを理解されたい。他の変形は、以下の特許請求の範囲内である。

【0124】

実施形態の列挙
１．動的リスク予測を行うための方法が提供され、この方法は、第１のデータフィールドおよび第２のデータフィールドを含むデータセットを受信することと、ここで、第１のデータフィールドには測定値が投入され、第１の予測値を第２のデータフィールドに代入することと、測定値と第１の予測値とに基づいて、第１のリスクスコアおよび関連メトリックの第１のセットを生成することと、第２の予測値を第２のデータフィールドに代入することと、測定値と第２の予測値とに基づいて、第２のリスクスコアおよび関連メトリックの第２のセットを生成することと、第１のリスクスコアと、関連メトリックの第１のセットと、第２のリスクスコアと、関連メトリックの第２のセットとに基づいて、統計的に導出されたメトリックを計算することと、統計的に導出されたメトリックが所定のしきい値を超えるかどうかを決定することとを含み、ここで、統計的に導出されたメトリックが所定のしきい値を超える場合、所定のアクションが推奨される。

【0125】

２．関連メトリックの第１のセットを生成することは、対象内標準偏差値のサンプリング変動性によって第１のリスクスコアに誘発される変動性を決定することを含む、実施形態１に記載の方法。

【0126】

３．統計的に導出されたメトリックを計算することは、対象間標準偏差と呼ばれる、第１のリスクスコアおよび第２のリスクスコアの標準偏差を計算することを含む、実施形態１または２に記載の方法。

【0127】

４．統計的に導出されたメトリックを計算することは、第１のリスクスコア、第２のリスクスコア、または両方の数学的組合せから導出された対象間標準偏差および対象内標準偏差値を含む総標準偏差を計算することを含む、実施形態１から３のいずれか１つに記載の方法。

【0128】

５．統計的に導出されたメトリックを計算することは、第１のリスクスコアまたは第２のリスクスコアまたは両方の数学的組合せ、第１のリスクスコア、第２のリスクスコアもしくは両方の数学的組合せから導出された総標準偏差、対象間標準偏差、または対象内標準偏差値を選択することを含む、実施形態１から４のいずれか１つに記載の方法。

【0129】

６．統計的に導出されたメトリックを計算することは、第１のリスクスコアまたは第２のリスクスコアまたは両方の数学的組合せ、第１のリスクスコア、第２のリスクスコアもしくは両方の数学的組合せから導出された総標準偏差、対象間標準偏差、または対象内標準偏差値のうちのいずれか２つの間の比を決定することを含む、実施形態１から５のうちのいずれか１つに記載の方法。

【0130】

７．所定のしきい値を計算することは、第１のリスクスコアまたは第２のリスクスコアの多項式関数を評価することと、その関数の出力を、第１のリスクスコア、第２のリスクスコア、もしくは両方の数学的組合せから導出された総標準偏差、対象間標準偏差、または対象内標準偏差値と比較することとを含む、実施形態１から６のいずれか１つに記載の方法。

【0131】

８．関連メトリックの第１のセットは第１の収集時間に対応し、関連メトリックの第２のセットは第２の収集時間に対応し、統計的に導出されたメトリックが所定のしきい値を超えるかどうかを決定することは、第１の収集時間および第２の収集時間の後にステートフル論理を使用することを含む、実施形態１から７のいずれか１つに記載の方法。

【0132】

９．関連メトリックの第１のセットは第１の収集時間に対応し、関連メトリックの第２のセットは第２の収集時間に対応し、統計的に導出されたメトリックが所定のしきい値を超えるかどうかを決定することは、第１の収集時間または第２の収集時間の一方の後にステートレス論理を使用することを含む、実施形態１から８のいずれか１つに記載の方法。

【0133】

１０．第１の予測値を第２のデータフィールドに代入することは、測定値と、第１のデータフィールドを第２のデータフィールドに関連付ける条件付きルールとに基づいて、第１の予測値を決定することを含む、実施形態１から９のいずれか１つに記載の方法。

【0134】

１１．命令を記憶するように構成されたメモリと、メモリに通信可能に結合された１つまたは複数のプロセッサとを備えたシステムが提供され、１つまたは複数のプロセッサは、命令を実行し、システムに、第１のデータフィールドおよび第２のデータフィールドを含むデータセットを受信することと、ここで、第１のデータフィールドには測定値が投入され、第１の予測値を第２のデータフィールドに代入することと、測定値と第１の予測値とに基づいて、第１のリスクスコアおよび関連メトリックの第１のセットを生成することと、第２の予測値を第２のデータフィールドに代入することと、測定値と第２の予測値とに基づいて、第２のリスクスコアおよび関連メトリックの第２のセットを生成することと、第１のリスクスコアと、関連メトリックの第１のセットと、第２のリスクスコアと、関連メトリックの第２のセットとに基づいて、統計的に導出されたメトリックを計算することと、統計的に導出されたメトリックが所定のしきい値を超えるかどうかを決定することとを行わせ、ここで、統計的に導出されたメトリックが所定のしきい値を超える場合、所定のアクションが推奨され、関連メトリックの第１のセットを生成することは、対象間標準偏差値において第１の予測値によって第１のリスクスコアに誘発される変動性を決定することを含む。

【0135】

１２．関連メトリックの第１のセットを生成するために、１つまたは複数のプロセッサは、対象内標準偏差においてサンプリング変動性によって第１のリスクスコアに誘発される変動性を決定するための命令を実行する、実施形態１１に記載のシステム。

【0136】

１３．関連メトリックの第１のセットを生成するために、１つまたは複数のプロセッサは、対象間標準偏差および対象内標準偏差を含む総標準偏差を決定するための命令を実行する、実施形態１１または１２に記載のシステム。

【0137】

１４．統計的に導出されたメトリックを計算するために、１つまたは複数のプロセッサは、第１のリスクスコアまたは第２のリスクスコアまたは両方の数学的組合せ、第１のリスクスコア、第２のリスクスコアもしくは両方の数学的組合せから導出された総標準偏差、対象間標準偏差、または対象内標準偏差値を選択するための命令を実行する、実施形態１１から１３のいずれか１つに記載のシステム。

【0138】

１５．統計的に導出されたメトリックを計算するために、１つまたは複数のプロセッサは、第１のリスクスコアまたは第２のリスクスコアまたは両方の数学的組合せ、第１のリスクスコア、第２のリスクスコアもしくは両方の数学的組合せから導出された総標準偏差、対象間標準偏差、または対象内標準偏差値のうちのいずれか２つの間の比を決定するための命令を実行する、実施形態１１から１４のいずれか１つに記載のシステム。

【0139】

１６．コンピュータによって実行されたときに、コンピュータに方法を実行させる命令を記憶する非一時的コンピュータ可読媒体が提供され、方法は、第１のデータフィールドおよび第２のデータフィールドを含むデータセットを受信することと、ここで、第１のデータフィールドには測定値が投入され、第１の予測値を第２のデータフィールドに代入することと、測定値と第１の予測値とに基づいて、第１のリスクスコアおよび関連メトリックの第１のセットを生成することと、第２の予測値を第２のデータフィールドに代入することと、測定値と第２の予測値とに基づいて、第２のリスクスコアおよび関連メトリックの第２のセットを生成することと、第１のリスクスコアと、関連メトリックの第１のセットと、第２のリスクスコアと、関連メトリックの第２のセットとに基づいて、統計的に導出されたメトリックを計算することと、統計的に導出されたメトリックが所定のしきい値を超えるかどうかを決定することとを含み、ここで、統計的に導出されたメトリックが所定のしきい値を超える場合、所定のアクションが推奨され、関連メトリックの第１のセットを生成することは、対象間標準偏差値および対象内標準偏差値において第１の予測値によって第１のリスクスコアに誘発される変動性を決定することを含む。

【0140】

１７．方法において、統計的に導出されたメトリックを計算することは、第１のリスクスコアまたは第２のリスクスコアの多項式関数を評価することと、その関数の出力を、第１のリスクスコア、第２のリスクスコア、もしくは両方の数学的組合せから導出された総標準偏差、対象間標準偏差、または対象内標準偏差値と比較することとを含む、実施形態１６に記載の非一時的コンピュータ可読媒体。

【0141】

１８．関連メトリックの第１のセットは第１の収集時間に対応し、関連メトリックの第２のセットは第２の収集時間に対応し、統計的に導出されたメトリックが所定のしきい値を超えるかどうかを決定することは、第１の収集時間および第２の収集時間の後にステートフル論理を使用することを含む、実施形態１６または１７に記載の非一時的コンピュータ可読媒体。

【0142】

１９．関連メトリックの第１のセットは第１の収集時間に対応し、関連メトリックの第２のセットは第２の収集時間に対応し、統計的に導出されたメトリックが所定のしきい値を超えるかどうかを決定することは、第１の収集時間または第２の収集時間の一方の後にステートレス論理を使用することを含む、実施形態１６から１８のいずれか１つに記載の非一時的コンピュータ可読媒体。

【0143】

２０．第１の予測値を第２のデータフィールドに代入することは、測定値と、第１のデータフィールドを第２のデータフィールドに関連付ける条件付きルールとに基づいて、第１の予測値を決定することを含む、実施形態１６から１９のいずれか１つに記載の非一時的コンピュータ可読媒体。

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10A】

【図10B】

【図10C】

【図10D】

【図10E】

【図10F】

【図11】

【図12】

【図13A】

【図13B】

【図14A】

【図14B】

【図14C】

【図14D】

【図14E】

【図14F】

【図14G】

【図14H】

【図14I】

【図15A】

【図15B】

【図15C】

【図15D】

【図15E】

【図15F】

【図15G】

【図15H】

【図15I】

【図16】

【図17】

【図18】

【図19】

【図20】

【図21】

【国際調査報告】