特表 2023-520952 望ましくない挙動を低減するためのプロセスの影響解析

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公表特許公報(A)

(11)【公表番号】

(43)【公表日】2023-05-23

(54)【発明の名称】望ましくない挙動を低減するためのプロセスの影響解析

(51)【国際特許分類】

   G06F 11/34 20060101AFI20230516BHJP

   G06F 11/07 20060101ALI20230516BHJP

【ＦＩ】

G06F11/34 152

G06F11/07 190

【審査請求】未請求

【予備審査請求】未請求

(21)【出願番号】P 2021569985

(86)(22)【出願日】2020-09-18

(85)【翻訳文提出日】2022-01-19

(86)【国際出願番号】 US2020051348

(87)【国際公開番号】W WO2021211158

(87)【国際公開日】2021-10-21

(31)【優先権主張番号】16/847,215

(32)【優先日】2020-04-13

(33)【優先権主張国・地域又は機関】US

(81)【指定国・地域】

(71)【出願人】

【識別番号】520262319

【氏名又は名称】ユーアイパス，インコーポレイテッド

【氏名又は名称原語表記】ＵｉＰａｔｈ，Ｉｎｃ．

【住所又は居所原語表記】１ Ｖａｎｄｅｒｂｉｌｔ Ａｖｅｎｕｅ， ６０ｔｈ Ｆｌｏｏｒ， Ｎｅｗ Ｙｏｒｋ， ＮＹ １００１７， Ｕｎｉｔｅｄ Ｓｔａｔｅｓ ｏｆ Ａｍｅｒｉｃａ

(74)【代理人】

【識別番号】100180781

【弁理士】

【氏名又は名称】安達 友和

(74)【代理人】

【識別番号】100182903

【弁理士】

【氏名又は名称】福田 武慶

(72)【発明者】

【氏名】バーホフ，セリーヌ

(72)【発明者】

【氏名】スチープンス，ローランド ヨハナス

(72)【発明者】

【氏名】スバイアス－ベルトラン，パウラ

【テーマコード（参考）】

5B042

【Ｆターム（参考）】

5B042JJ29

5B042KK15

5B042MA08

5B042MA14

5B042MC27

(57)【要約】

プロセスの一組の事例において示される望ましくない挙動に対する１つまたは複数の属性値の影響を解析するためのシステムおよび方法が提供される。１つまたは複数の属性値と関連付けられ、望ましくない挙動を示す事例の観測された発生頻度が決定される。１つまたは複数の属性値に関連付けられ、望ましくない挙動を示す事例の予想発生頻度が計算される。観測された発生頻度は、望ましくない挙動に対する１つまたは複数の属性値の影響を判定するために、予想発生頻度と比較される。望ましくない挙動に対する１つまたは複数の属性値の影響を定量化する影響メトリックが計算される。

【特許請求の範囲】

【請求項1】

プロセスの一組の事例において示される望ましくない挙動に対する１つまたは複数の属性値の影響を解析するためのコンピュータ実装方法であって、各事例は前記プロセスの実行インスタンスに対応し、前記方法は、
１つまたは複数の属性値と関連付けられ、望ましくない挙動を示す事例の観測された発生頻度を決定するステップと、
前記１つまたは複数の属性値に関連付けられ、前記望ましくない挙動を示す事例の予想発生頻度を計算するステップであって、前記予想発生頻度は、前記望ましくない挙動を示す事例の割合と、前記１つまたは複数の属性値に関連する事例の発生頻度と、に基づいて計算される、ステップと、
前記望ましくない挙動に対する前記１つまたは複数の属性値の前記影響を判定するために、前記観測された発生頻度を前記予想発生頻度と比較するステップと、を含む、コンピュータ実装方法。

【請求項2】

前記１つまたは複数の属性値と関連付けられ、前記望ましくない挙動を示す事例の予想発生頻度を計算するステップは、
前記望ましくない挙動を示す事例の前記割合に、前記１つまたは複数の属性値に関連付けられた事例の前記発生頻度を乗算するステップを含む、請求項１に記載のコンピュータ実装方法。

【請求項3】

前記望ましくない挙動に対する前記１つまたは複数の属性値の前記影響を判定するために、前記観測された発生頻度を前記予想発生頻度と比較するステップは、
前記１つまたは複数の属性値と関連付けられ、前記望ましくない挙動を示す前記事例の標準残差を、前記観測された発生頻度および前記予想発生頻度に基づいて計算するステップを含む、請求項１に記載のコンピュータ実装方法。

【請求項4】

前記望ましくない挙動に対する前記１つまたは複数の属性値の前記影響を判定するために、前記観測された発生頻度を前記予想発生頻度と比較するステップは、
前記１つまたは複数の属性値に関連付けられ、前記望ましくない挙動を示す前記事例の標準残差を、１）前記１つまたは複数の属性値に関連付けられ、前記望ましくない挙動を示す前記事例の各々に関連する重みと、２）前記予想発生頻度と、３）予想重みと、に基づいて計算するステップを含む、請求項１に記載のコンピュータ実装方法。

【請求項5】

前記比較するステップは、前記１つまたは複数の属性値に関連付けられ、前記望ましくない挙動を示す事例の前記予想発生頻度と、前記１つまたは複数の属性値に関連付けられ、予想頻度しきい値を満たす前記望ましくない挙動を示さない事例の予想発生頻度と、に応答して実行される、請求項１に記載のコンピュータ実装方法。

【請求項6】

前記望ましくない挙動に対する前記１つまたは複数の属性値の影響を定量化する影響メトリックを計算するステップをさらに含む、
請求項１に記載のコンピュータ実装方法。

【請求項7】

前記望ましくない挙動に対する前記１つまたは複数の属性値の前記影響を定量化する影響メトリックを計算するステップは、
前記影響メトリックが正であると判定するステップと、
前記望ましくない挙動を示す事例の発生頻度ならびに前記１つまたは複数の属性値と関連する事例の発生頻度に基づいて、前記正の影響メトリックを計算するステップと、を含む、請求項６に記載のコンピュータ実装方法。

【請求項8】

前記望ましくない挙動に対する前記１つまたは複数の属性値の前記影響を定量化する影響メトリックを計算するステップは、
前記影響メトリックが負であると判定するステップと、
前記望ましくない挙動を示さない事例の発生頻度ならびに前記１つまたは複数の属性値と関連する事例の発生頻度に基づいて、前記負の影響メトリックを計算するステップと、を含む、請求項６に記載のコンピュータ実装方法。

【請求項9】

前記比較の結果のダッシュボードをディスプレイデバイス上に表示するステップをさらに含む、
請求項１に記載のコンピュータ実装方法。

【請求項10】

前記プロセスは、ロボティックプロセスオートメーションプロセスである、請求項１に記載のコンピュータ実装方法。

【請求項11】

プロセスの一組の事例において示される望ましくない挙動に対する１つまたは複数の属性値の影響を解析するためのコンピュータ命令を格納するメモリであって、各事例は前記プロセスの実行インスタンスに対応する、メモリと、
前記コンピュータ命令を実行するように構成された少なくとも１つのプロセッサと、を含み、前記コンピュータ命令は、前記少なくとも１つのプロセッサに、
１つまたは複数の属性値と関連付けられ、望ましくない挙動を示す事例の観測された発生頻度を決定するステップと、
前記１つまたは複数の属性値に関連付けられ、前記望ましくない挙動を示す事例の予想発生頻度を計算するステップであって、前記予想発生頻度は、前記望ましくない挙動を示す事例の割合と、前記１つまたは複数の属性値に関連する事例の発生頻度と、に基づいて計算される、ステップと、
前記望ましくない挙動に対する前記１つまたは複数の属性値の前記影響を判定するために、前記観測された発生頻度を前記予想発生頻度と比較するステップと、
の動作を実行させるように構成される、装置。

【請求項12】

前記１つまたは複数の属性値と関連付けられ、前記望ましくない挙動を示す事例の予想発生頻度を計算するステップは、
前記望ましくない挙動を示す事例の前記割合に、前記１つまたは複数の属性値に関連付けられた事例の前記発生頻度を乗算するステップを含む、請求項１１に記載の装置。

【請求項13】

前記望ましくない挙動に対する前記１つまたは複数の属性値の前記影響を判定するために、前記観測された発生頻度を前記予想発生頻度と比較するステップは、
前記１つまたは複数の属性値と関連付けられ、前記望ましくない挙動を示す前記事例の標準残差を、前記観測された発生頻度および前記予想発生頻度に基づいて計算するステップを含む、請求項１１に記載の装置。

【請求項14】

前記望ましくない挙動に対する前記１つまたは複数の属性値の前記影響を判定するために、前記観測された発生頻度を前記予想発生頻度と比較するステップは、
前記１つまたは複数の属性値に関連付けられ、前記望ましくない挙動を示す前記事例の標準残差を、１）前記１つまたは複数の属性値に関連付けられ、前記望ましくない挙動を示す前記事例の各々に関連する重みと、２）前記予想発生頻度と、３）予想重みと、に基づいて計算するステップを含む、請求項１１に記載の装置。

【請求項15】

前記比較するステップは、前記１つまたは複数の属性値に関連付けられ、前記望ましくない挙動を示す事例の前記予想発生頻度と、前記１つまたは複数の属性値に関連付けられ、予想頻度しきい値を満たす前記望ましくない挙動を示さない事例の予想発生頻度と、に応答して実行される、請求項１１に記載の装置。

【請求項16】

プロセスの一組の事例において示される望ましくない挙動に対する１つまたは複数の属性値の影響を解析するための非一時的コンピュータ可読媒体上で具現化されるコンピュータプログラムであって、各事例は前記プロセスの実行インスタンスに対応し、前記コンピュータプログラムは、少なくとも１つのプロセッサに、
１つまたは複数の属性値と関連付けられ、望ましくない挙動を示す事例の観測された発生頻度を決定するステップと、
前記１つまたは複数の属性値に関連付けられ、前記望ましくない挙動を示す事例の予想発生頻度を計算するステップであって、前記予想発生頻度は、前記望ましくない挙動を示す事例の割合と、前記１つまたは複数の属性値に関連する事例の発生頻度と、に基づいて計算される、ステップと、
前記望ましくない挙動に対する前記１つまたは複数の属性値の前記影響を判定するために、前記観測された発生頻度を前記予想発生頻度と比較するステップと、を含む動作を実行させるように構成される、コンピュータプログラム。

【請求項17】

前記動作は、
前記望ましくない挙動に対する前記１つまたは複数の属性値の前記影響を定量化する影響メトリックを計算するステップをさらに含む、請求項１６に記載のコンピュータプログラム。

【請求項18】

前記望ましくない挙動に対する前記１つまたは複数の属性値の前記影響を定量化する影響メトリックを計算するステップは、
前記影響メトリックが正であると判定するステップと、
前記望ましくない挙動を示す事例の発生頻度ならびに前記１つまたは複数の属性値と関連する事例の発生頻度に基づいて、前記正の影響メトリックを計算するステップと、を含む、請求項１７に記載のコンピュータプログラム。

【請求項19】

前記望ましくない挙動に対する前記１つまたは複数の属性値の前記影響を定量化する影響メトリックを計算するステップは、
前記影響メトリックが負であると判定するステップと、
前記望ましくない挙動を示さない事例の発生頻度ならびに前記１つまたは複数の属性値と関連する事例の発生頻度に基づいて、前記負の影響メトリックを計算するステップと、を含む、請求項１７に記載のコンピュータプログラム。

【請求項20】

前記動作は、
前記比較の結果のダッシュボードをディスプレイデバイス上に表示するステップをさらに含む、請求項１６に記載のコンピュータプログラム。

【発明の詳細な説明】

【技術分野】

【0001】

（関連出願の相互参照）
本出願は、２０２０年４月１３日に出願された米国実用特許出願第１６／８４７，２１５号の優先権を主張し、その開示はその全体が参照により本明細書に組み込まれる。

【0002】

本発明は、一般に、プロセス管理に関し、より詳細には、望ましくない挙動を低減するためのプロセスの影響解析に関する。

【背景技術】

【0003】

プロセスは、製品またはサービスを提供するために実行される一連のアクティビティである。プロセスマイニングでは、効率を改善し、プロセスのより良い理解を得るために、傾向、パターン、および他のプロセス解析尺度を識別するためにプロセスが解析される。プロセスの性能を改善するための１つの手法は、例えば、サービスレベル合意を超えるなど、プロセスの望ましくない挙動を低減することである。しかしながら、現在のプロセスマイニング技術は、そのような望ましくない挙動に影響を及ぼすプロセスの実行の属性を判定することができない。

【発明の概要】

【0004】

１つまたは複数の実施形態によれば、プロセスの一組の事例において示される望ましくない挙動に対する１つまたは複数の属性値の影響を解析するためのシステムおよび方法が提供され、一組の事例における各事例は、プロセスの実行インスタンスに対応する。プロセスは、ロボティックプロセスオートメーションプロセスであってもよい。

【0005】

一実施形態では、１つまたは複数の属性値に関連付けられ、望ましくない挙動を示す、一組の事例における事例の観測された発生頻度が決定される。１つまたは複数の属性値に関連付けられ、望ましくない挙動を示す一組の事例における、事例の予想発生頻度が計算される。予想発生頻度は、一組の事例における望ましくない挙動を示す事例の割合と、１つまたは複数の属性値に関連付けられた、一組の事例における事例の発生頻度と、に基づいて計算される。観測された発生頻度は、望ましくない挙動に対する１つまたは複数の属性値の影響を判定するために、予想発生頻度と比較される。望ましくない挙動に対する１つまたは複数の属性値の影響を定量化する影響メトリックが計算される。

【0006】

一実施形態では、予想発生頻度は、１つまたは複数の属性値に関連する、一組の事例における、望ましくない挙動を示す事例の割合に、一組の事例における事例の発生頻度を乗算することによって計算される。

【0007】

一実施形態では、観測された発生頻度を予想発生頻度と比較するステップは、１つまたは複数の属性値に関連付けられ、観測された発生頻度および予想発生頻度に基づいて望ましくない挙動を示す一組の事例における事例の標準残差を計算するステップによって実行される。比較するステップは、１つまたは複数の属性値に関連付けられ、かつ、望ましくない挙動を示す一組の事例における、事例の予想発生頻度と、１つまたは複数の属性値に関連付けられ、かつ、予想頻度しきい値を満たす望ましくない挙動を示さない一組の事例における、事例の予想発生頻度と、に応答して実行され得る。

【0008】

一実施形態では、影響メトリックは、影響メトリックが正であると決定し、１つまたは複数の属性値に関連する、一組の事例における、望ましくない挙動を示す事例の発生頻度および事例のセットにおける事例の発生頻度に基づいて正の影響メトリックを計算することによって計算される。別の実施形態では、影響メトリックは、影響メトリックが負であると判定し、１つまたは複数の属性値に関連する、一組の事例における、望ましくない挙動を示さない事例の発生頻度および一組の事例における事例の発生頻度に基づいて、負の影響メトリックを計算することによって計算される。

【0009】

一実施形態では、比較の結果のダッシュボードをディスプレイデバイスに表示することができる。

【0010】

本発明のこれらおよび他の利点は、以下の詳細な説明および添付の図面を参照することによって当業者に明らかになるであろう。

【図面の簡単な説明】

【0011】

【図1】本発明の１つまたは複数の実施形態により解析され得る例示的なプロセスを示す図である。

【0012】

【図2】本発明の１つまたは複数の実施形態による、プロセスの実行中に示す望ましくない挙動に対する属性値の影響を解析するための方法を示す図である。

【0013】

【図3】本発明の１つまたは複数の実施形態による、プロセスの事例データの例示的な表を示す図である。

【0014】

【図4】本発明の１つまたは複数の実施形態による、望ましくない挙動に対する属性値の影響を解析した結果の例示的な出力表を示す図である。

【0015】

【図5】本発明の１つまたは複数の実施形態による、望ましくない挙動に対する属性値の影響を視覚化するためのダッシュボードを示す図である。

【0016】

【図6】本発明の１つまたは複数の実施形態による、望ましくない挙動を示す様々な属性値に関連する事例の予想頻度からの観測頻度の偏差を解析するためのダッシュボードを示す図である。

【0017】

【図7】本発明の１つまたは複数の実施形態による、発生頻度に基づく様々な属性値の影響メトリック値を示すダッシュボードを示す図である。

【0018】

【図8】本発明の１つまたは複数の実施形態による、重みに基づく様々な属性値の影響メトリック値を示すダッシュボードを示す図である。

【0019】

【図9】本発明の１つまたは複数の実施形態による、例示的な使用事例の望ましくない挙動に対する属性値の影響を視覚化するダッシュボードを示す図である。

【0020】

【図10】本発明の一実施形態によるコンピューティングシステムのブロック図である。

【発明を実施するための形態】

【0021】

プロセスは、例えば、管理アプリケーション（例えば、新しい従業員の新人研修）、支払手続アプリケーション（例えば、購入、請求書管理、および支払いの円滑化）、および情報技術アプリケーション（例えば、発券システム）などの、いくつかの異なるアプリケーションのためのサービスを提供するために利用することができる。例示的なプロセス１００が図１に示されている。プロセス１００は、請求書を処理および支払いするためのプロセスである。一実施形態では、プロセス１００は、１つまたは複数のＲＰＡロボットを使用してタスクを自動的に実行するためのロボティックプロセスオートメーション（ＲＰＡ）ワークフローとして実施されてもよい。

【0022】

プロセス１００は、プロセス１００における所定のシーケンスのステップを表すアクティビティ１０２～１１４を含む。図１に示すように、プロセス１００は、各アクティビティ１０２～１１４がノードとして表され、アクティビティ１０２～１１４間の各遷移がノードをリンクするエッジとして表される有向グラフとしてモデル化されている。アクティビティ間の遷移は、送信元アクティビティから宛先アクティビティへのプロセス１００の実行を表す。プロセス１００の実行は、イベントログの形態で記録される。

【0023】

プロセス１００は、請求書受信アクティビティ１０２で開始し、受信請求書確認アクティビティ１０４に進む。受信した請求書が、受信請求書確認アクティビティ１０４において情報が欠落していると判定された場合には、プロセス１００は、請求書最終確認アクティビティ１１０に進む前に、データ要求アクティビティ１０６および契約条件確認アクティビティ１０８に進む。受信した請求書が、受信請求書確認アクティビティ１０４において情報が欠落していないと判定された場合には、プロセス１００は、請求書最終確認アクティビティ１１０に直接進む。次に、プロセス１００は、請求書承認アクティビティ１１２および請求書支払アクティビティ１１４に進む。

【0024】

プロセス１００の各実行インスタンスは、事例ＩＤによって識別される事例に対応する。各事例は、対応する値（属性値と呼ばれる）を有するいくつかの属性を有し得る。一例では、属性は事例タイプであってもよく、属性値はサービスまたはカタログであってもよい。別の例では、属性は供給業者であってもよく、属性値は供給業者の名前であってもよい。プロセス１００の１つまたは複数の実行インスタンスの間に、望ましくない挙動が示される可能性がある。実行インスタンス中に示す望ましくない挙動は、本明細書ではタグとも呼ばれる。望ましくない挙動の例は、サービスレベル合意または請求書の遅延支払いを超えることである。本明細書に記載の実施形態によれば、属性値の影響は、望ましくない挙動を示す一組の事例の属性値の観測された発生頻度を、予想発生頻度と比較することによって解析される。

【0025】

図２は、１つまたは複数の実施形態による、プロセスの１つまたは複数の実行インスタンスの間に示す望ましくない挙動に対する属性値の影響を解析するための方法２００を示す。方法２００は、例えば図１０のコンピューティングシステム１０００などの、１つまたは複数の適切なコンピューティングデバイスによって実行することができる。

【0026】

ステップ２０２において、プロセスの一組の事例について入力事例データが受信される。各事例は、プロセスの実行インスタンスに対応する。プロセスの一例は、図１のプロセス１００である。入力事例データは、各事例についての１つまたは複数の属性値、および各事例の間に望ましくない挙動が示されたかどうかを識別する。望ましくない挙動は、例えば、サービスレベル合意を超える、または請求書の支払いが遅れるなど、ユーザが望ましくないと考える事例中に示される任意の挙動を含むことができる。一実施形態では、一組の事例および望ましくない挙動は、ユーザによって選択される。入力事例データは、例えば図３の表３００などの表のフォーマットであってもよく、または任意の他の適切なフォーマットであってもよい。

【0027】

図３は、１つまたは複数の実施形態による、プロセスの事例データの例示的な表３００を示す。表３００は、図２のステップ２０２で受信された入力事例データであり得る。図３に示すように、表３００は、プロセスの事例にそれぞれ対応する見出し３０６および行３０２と、行３０２および列３０４が交差するセルにおける事例の様々な特性を識別する列３０４と、を含む。特に、各行３０２は事例に対応し、その事例は、プロセスの実行インスタンスを識別する事例ＩＤ（列３０４－Ａで識別される）、その事例が解析のための一組の事例に含まれるようにユーザによって選択されたかどうかの表示（列３０４－Ｂで識別される）、その事例の間に望ましくない挙動が示されたかどうかの表示（列３０４－Ｃで識別され、タグと呼ばれる）、事例のタイプ（列３０４－Ｄで識別される）および供給業者（列３０４－Ｅで識別される）などのその事例の様々な属性、ならびに（任意選択で）各事例に関連する重み（列３０４－Ｆで識別される）に関連付けられる。

【0028】

図３に示すように、表３００は、各属性の属性値を識別する。例えば、列３０４－Ｄに示すように、属性「事例タイプ」は、事例ＩＤ００１および００３に関連する事例についての属性値「サービス」と、事例ＩＤ００２に関連する事例についての属性値「カタログ」と、を有する。別の例では、列３０４－Ｅに示すように、属性「供給業者」は、事例ＩＤ００１に関連する事例については属性値「Ｂｒｅｉｔｅｎｂｅｒｇ」を有し、事例ＩＤ００２に関連する事例については属性値「Ｗｅｉｍａｎｎ Ｉｎｃ」を有し、事例ＩＤ００３に対応する事例については属性値「Ｍｏｒｉｓｓｅｔｔｅ」を有している。各事例に関連する重みは、任意選択的に表３００に含まれ、例えば、その事例に含まれるコストまたは任意の他の要因に基づいてユーザによって定義される。表３００は、任意の適切なフォーマットであってもよく、他の属性を識別する追加の列３０４を含んでもよいことを理解されたい。

【0029】

図２のステップ２０４において、１つまたは複数の属性値に関連付けられ、望ましくない挙動を示す一組の事例における事例の観測された発生頻度が決定される。一実施形態では、一組の事例は、例えば、入力事例データに示すように、ユーザによって選択された事例であってもよい。観測された発生頻度は、入力された事例データから決定することができる。例えば、入力事例データが図３の表３００である場合、ユーザによって選択された一組の事例における、属性値「サービス」に関連する、望ましくない挙動を示す事例の観測された発生頻度は１である（事例ＩＤ００１に対応し、事例ＩＤ００２は「サービス」と関連付けられておらず、事例ＩＤ００３は選択されていないため）。同様に、属性値「カタログ」については０、属性値「Ｂｒｅｉｔｅｎｂｅｒｇ」については１、属性値「Ｗｅｉｍａｎｎ Ｉｎｃ」については０、属性値「Ｍｏｒｉｓｓｅｔｔｅ」については０として、観測された発生頻度を判定してもよい。

【0030】

一実施形態では、１つまたは複数の属性値は、単一の属性値であってもよい。別の実施形態では、１つまたは複数の属性値は、属性値の組み合わせであってもよい。したがって、方法２００に従って、望ましくないものに対する属性値の組み合わせへの影響を解析することができる。

【0031】

ステップ２０６において、一組の事例において、１つまたは複数の属性値と関連付けられ、望ましくない挙動を示す事例の予想発生頻度が決定される。予想発生頻度は、１つまたは複数の属性値に関連する一組の事例における、望ましくない挙動を示す事例の割合および一組の事例における事例の観測された発生頻度に基づいて、入力された事例データから決定され得る。一実施形態では、１つまたは複数の属性値に関連する、望ましくない挙動を示す事例の予想発生頻度は、（すべての属性値について）望ましくない挙動を示す一組の事例における事例の割合に、１つまたは複数の属性値に関連する一組の事例（望ましくない挙動を示す事例および示さない事例について）における事例の観測された発生頻度を乗算することによって決定される。例えば、入力事例データが図３の表３００である場合、ユーザによって選択された一組の事例において、属性値「サービス」に関連付けられ、望ましくない挙動を示す事例の予想発生頻度は、（２／３）×１として決定され得る。

【0032】

ステップ２０８において、観測された発生頻度が、予想発生頻度と比較されて、望ましくない挙動に対する１つまたは複数の属性値の影響を判定する。比較は、観測された発生頻度が予想発生頻度から著しく逸脱しているかどうかを判定するために行われる。観測された発生頻度が予想発生頻度よりも著しく高い場合、１つまたは複数の属性値は、望ましくない挙動を示す事例に影響力があると考えられる。観測された発生頻度が予想発生頻度よりも著しく低い場合、１つまたは複数の属性値は、望ましくない挙動を示さない事例に影響力があると考えられる。一実施形態では、観測された発生頻度は、標準残差を計算することによって予想発生頻度と比較される。

【0033】

一実施形態では、例えば、入力事例データが各事例に関連する重みを含まない場合、データの基礎となる分布は、予想発生頻度に等しい平均および変動を有するポアソン分布に従う。したがって、標準残差は、式（１）により計算することができる。

【数1】

ここで、Ｒ_{ｉ,ｔａｇ}は、望ましくない挙動を示す属性値ｉに関連する事例の発生の標準残差であり、Ｏ_{ｉ，ｔａｇ}は、望ましくない挙動を示す属性値ｉに関連する事例の観測された発生頻度であり、Ｅ_{ｉ,ｔａｇ}は、望ましくない挙動を示す属性値ｉに関連する事例の予想発生頻度である。

【0034】

一実施形態では、例えば、入力事例データが事例に関連する重みを含む場合、基礎データは頻度値ではないため、基礎データは複合ポアソン分布（ポアソン分布ではない）に従う。したがって、標準残差は、式（２）により計算することができる。

【数2】

ここで、Ｗ_{ｉ，ｔａｇ}は、望ましくない挙動を示す属性値ｉに関連する事例の重みの合計であり、λは、予想発生頻度Ｅ_{ｉ,ｔａｇ}に等しく、ωは予想重みである。予想重みωは、一組の事例におけるすべての事例の平均重みに、予想発生頻度Ｅ_{ｉ,ｔａｇ}を乗算することによって計算され得る。

【0035】

一実施形態では、ステップ２０８での比較は、１）１つまたは複数の属性値に関連付けられ、望ましくない挙動を示す一組の事例における事例の予想発生頻度、ならびに、２）１つまたは複数の属性値に関連付けられ、望ましくない挙動を示さない一組の事例における事例の予想発生頻度の両方が、所定の予想頻度しきい値（例えば、５以上）を満たす場合にのみ実行される。また、属性値に関連付けられ、望ましくない挙動を示さない一組の事例における事例の予想発生頻度は、（すべての属性値について）望ましくない挙動を示さない一組の事例における事例の割合と、（望ましくない挙動を示さない事例および示さない事例について）属性値に関連付けられている一組の事例における事例の発生頻度と、を乗算することにより計算することができる。予想発生頻度のいずれかが所定の予想頻度しきい値を満たさない場合には、１つまたは複数の属性値は解析のために考慮されず、解析が終了する。

【0036】

一実施形態では、所定の予想頻度しきい値を満たすかどうかを判定するために予想発生頻度を計算する代わりに、１つまたは複数の属性値に関連付けられ、望ましくない挙動を示す事例について観測された頻度しきい値Ｔ_ｔａｇを計算することができ、１つまたは複数の属性値に関連付けられ、所定の予想頻度しきい値を満たす望ましくない挙動を示さない事例について観測された頻度しきい値Ｔ_ｒｅｓｔを計算することができる。上述したように、１つまたは複数の属性値に関連付けられた、望ましくない挙動を示さない一組の事例における事例の予想発生頻度は、１つまたは複数の属性値に関連付けられた一組の事例における事例の観測された発生頻度と、望ましくない挙動を示す一組の事例における事例の割合と、を乗算することによって計算することができる。したがって、予想発生頻度を所定の予想頻度しきい値と等しく設定することにより、１つまたは複数の属性値に関連付けられ、望ましくない挙動を示す一組の事例における事例の観測された発生頻度に対する観測された頻度しきい値Ｔ_ｔａｇは、所定の予想頻度しきい値を望ましくない挙動を示す一組の事例における事例の割合で除算して決定され得る。同様に、１つまたは複数の属性値に関連付けられ、望ましくない挙動を示さない一組の事例における事例の観測された発生頻度に対する観測された頻度しきい値Ｔ_ｒｅｓｔは、所定の予想頻度しきい値を望ましくない挙動を示さない一組の事例における事例の割合で除算して決定され得る。観測された頻度しきい値Ｔ_ｔａｇおよびＴ_ｒｅｓｔが満たされない場合には、１つまたは複数の属性値は解析のために考慮されず、解析が終了する。

【0037】

ステップ２１０において、望ましくない挙動に対する１つまたは複数の属性値の影響を定量化する影響メトリックが計算される。一実施形態では、影響メトリックは－１と１との間の範囲を有し、値が高いほど影響が大きいことを示す。しかしながら、影響メトリックは、任意の適切な方法で表されてもよい。

【0038】

影響メトリックを計算するために、影響メトリックが正であるか負であるかが最初に判定される。正の影響メトリックは、観測された発生頻度が、１つまたは複数の属性値に関連付けられ、望ましくない挙動を示す事例についての予想発生頻度よりも大きい場合に生じる。負の影響メトリックは、観測された発生頻度が、１つまたは複数の属性値に関連付けられ、望ましくない挙動を示す事例についての予想発生頻度よりも大きくない場合に生じる。

【0039】

正の影響メトリックは、式（３）により計算される。

【数3】

ここで、Ｃ_ｔａｇは、望ましくない挙動を示す一組の事例における事例の発生頻度であり、Ｃ_ｉは、１つまたは複数の属性値に関連付けられた一組の事例における事例の発生頻度である。

【0040】

負の影響メトリックは、式（４）により計算される。

【数4】

ここで、Ｃ_ｒｅｓｔは、望ましくない挙動を示さない一組の事例における事例数である。

【0041】

影響メトリックは、１）１つまたは複数の属性値に関連するすべての事例が、望ましくない挙動を示す事例において発生し、望ましくない挙動を示さないいずれの事例においても発生せず（すなわち、

【数5】

））、かつ、２）１つまたは複数の属性値に関連するすべての事例が、望ましくない挙動を示す事例である（すなわち、Ｃ_ｔａｇ＝Ｃ_ｉ）場合であって、その場合に限り、最大値１を有する。影響メトリックは、１つまたは複数の属性値に関連するすべての事例が望ましくない挙動を示さず、かつ、望ましくない挙動を示すすべての事例が１つまたは複数の属性値に関連する事例である場合に、最小値－１を有する。

【0042】

一実施形態では、入力事例データが事例に関連する重みを含む場合、影響メトリックは以下のように計算される。

【数6】

【0043】

ステップ２１２において、望ましくない挙動および／または影響メトリックに対する属性値の影響が出力される。一実施形態では、望ましくない挙動および／または影響メトリックに対する属性値の影響は、例えば、望ましくない挙動および／または影響メトリックに対する属性値の影響をコンピュータシステムのディスプレイデバイスに表示することによって、望ましくない挙動および／または影響メトリックに対する属性値の影響をコンピュータシステムのメモリまたはストレージに記憶することによって、または望ましくない挙動および／または影響メトリックに対する属性値の影響をリモートコンピュータシステムに送信することによって出力することができる。

【0044】

方法２００のステップ２０４～２１０は、入力事例データ内のいくつかの異なる属性値または属性値の組み合わせについて繰り返すことができ、ステップ２１２は、望ましくない挙動および／または属性値もしくは属性値の組み合わせの影響メトリックに対する属性値または属性値の組み合わせの影響を出力および比較することができることを理解されたい。

【0045】

一実施形態では、望ましくない挙動に対する属性値の影響は、表のフォーマットで出力される。図４は、１つまたは複数の実施形態による、例示的な出力表４００を示す。表４００は、図２のステップ２０４の出力であってもよい。図４に示すように、表４００は、プロセスの事例にそれぞれ対応する見出し４０６および行４０２と、行４０２および列４０４が交差するセルにおける事例の様々な特性を識別する列４０４と、を含む。特に、各行４０２は事例に対応し、それは、プロセスの実行インスタンスを識別する事例ＩＤ（列４０４－Ａで識別される）、属性（列４０４－Ｂで識別される）、属性の属性値（列４０４－Ｃで識別される）、属性値と関連付けられ、望ましくない挙動を示す事例の観測された発生頻度（列４０４－Ｄで識別される）、事例と関連付けられ、望ましくない挙動を示さない事例の観測された発生頻度（列４０４－Ｅで識別される）、事例と関連付けられ、望ましくない挙動を示す事例の重みの合計（列４０４－Ｆで識別される）、および、事例と関連付けられ、望ましくない挙動を示さない事例の重みの合計（列４０４－Ｇで識別される）に関連付けられている。表４００は、任意の適切なフォーマットであってもよく、例えば影響メトリックなどの他の特性および／またはメトリックを識別する追加の列４０４を含んでもよいことを理解されたい。

【0046】

一実施形態では、望ましくない挙動および／または影響メトリックに対する属性値の影響は、ディスプレイデバイス上でユーザに表示される１つまたは複数のダッシュボード上に出力される。そのようなダッシュボードは、ユーザが表示される情報を選択できるように、フィルタリングおよび制御を可能にする。例示的なダッシュボードは、以下で詳細に説明する図５～図９に示されている。

【0047】

図５は、１つまたは複数の実施形態による、望ましくない挙動に対する属性値の影響を視覚化するための例示的なダッシュボード５００を示す。ダッシュボード５００は、ユーザが解析のために１つまたは複数の属性を選択することを可能にするユーザ選択フィールド５２２を含む。ダッシュボード５００に示すように、属性「事例タイプ」が選択される。

【0048】

ダッシュボード５００の部分５０２は、望ましくない挙動を示す様々な属性値５０８に関連する事例の予想頻度からの観測された頻度の偏差を示す棒グラフ５２０を示す。予想頻度は、棒グラフ５２０の線５０４によって表される。棒が線５０４から離れると、偏差はより大きくなる。各棒の最後の列５０６には、各属性値５０８に関連する事例の総数が示されている。属性値５０８は、望ましくない挙動を示す事例の最大パーセンテージから最低パーセンテージへとソートされるが、任意の適切な基準に従ってソートされてもよい。

【0049】

ダッシュボード５００の部分５１０は、様々な属性値５１２の影響メトリック値を示す棒グラフ５１４を示している。棒グラフ５１４の線５１６は０の影響メトリック値を表し、線５１６の左側の棒は負の影響メトリック値を表し、線５１６の右側の棒は正の影響メトリック値を表す。属性値５１２は、最も高い影響メトリック値から最も低い影響メトリック値にソートされるが、任意の適切な基準に従ってソートされてもよい。各棒の最後の列５１８には、望ましくない挙動を示す属性値５１２に関連する事例の数が示されている。棒グラフ５１４内の棒は、属性値５１２の影響を表すように色分けされてもよい。一実施形態では、棒グラフ５１４は、非常に弱い、弱い、かなりの、高い、および非常に高いカテゴリのうちの１つに色分けされる。一実施形態では、例えば、非常に弱い正の影響メトリック値と非常に弱い負の影響メトリック値が同じ色を割り当てられるように、正の影響メトリック値と負の影響メトリック値の両方に同じカラーコードを使用することができる。

【0050】

図６は、１つまたは複数の実施形態による、望ましくない挙動を示す様々な属性値に関連する事例の予想頻度からの観測された頻度の偏差を解析するためのダッシュボード６００を示す。ダッシュボード６００は、ユーザが解析のための１つまたは複数の属性を選択することを可能にするユーザ選択フィールド６０２と、ユーザが属性の組み合わせの結果を表示するオプションを選択することを可能にするユーザ選択フィールド６０４と、を示す。ダッシュボード６００に示すように、ユーザ選択フィールド６０２では「事例タイプ」と「供給業者」の２つの属性が選択され、ユーザ選択フィールド６０４では属性の組み合わせに関する結果を表示するオプションが選択される。図５の棒グラフ５２０と同様に、棒グラフ６０８は、予想頻度からの観測された頻度の偏差を示すが、望ましくない挙動を示す属性値６０６の組み合わせに関連する事例についても示す。予想頻度は、棒グラフ６０８の線６１０によって表される。各棒の最後の列６１２には、属性値６０６の各組み合わせに関連する事例の総数が示されている。ユーザ選択フィールド６０４を選択することによって、属性値６０６の組み合わせが示されるが、これは、例えば第２行などの単一の属性値を除去しない）。

【0051】

図７は、１つまたは複数の実施形態による、発生頻度に基づく様々な属性値の影響メトリック値を示すダッシュボード７００を示し、図８は、重みに基づく様々な属性値の影響メトリック値を示すダッシュボード８００を示す。

【0052】

図９は、１つまたは複数の実施形態による、例示的な使用事例の望ましくない挙動に対する属性値の影響を視覚化するダッシュボード９００を示す。この使用事例では、ユーザは、指定された期間にわたって頻繁に発生する望ましくない挙動に最も大きな影響を与える影響力のある属性値を識別したいと思う。解析を実行するために、ユーザは一組の事例および望ましくない挙動を選択する。一組の事例は、２０１６年１２月中に発生した事例として選択され、望ましくない挙動は、遅延して支払われたすべての請求書として選択される（タグが選択されたフィルタリングはこの図には示されていない）。この期間中に、６２８８件の閉鎖事例が発生し、その事例の３０％が望ましくない挙動を示した。図９に示すように、属性「事例タイプ」の４つの属性値９０２は影響力があると識別され、そのうち２つは正の影響を有する。属性値「サービス」は１２０１件の事例で発生し、そのうち５９８件が望ましくない挙動を示している。この一組の事例において望ましくない挙動を示す事例の総数は１８６４件である。これは、０．１６のかなりの影響メトリック値をもたらす。

【0053】

図１０は、本発明の一実施形態による、図１～図３を含む、本明細書に記載の方法、ワークフロー、およびプロセスを実行するように構成されたコンピューティングシステム１０００を示すブロック図である。いくつかの実施形態では、コンピューティングシステム１０００は、本明細書に図示および／または記載されたコンピューティングシステムのうちの１つまたは複数であってもよい。コンピューティングシステム１０００は、情報を通信するためのバス１００２または他の通信機構と、情報を処理するためにバス１００２に結合されたプロセッサ１００４と、を含む。プロセッサ１００４は、中央処理装置（ＣＰＵ）、特定用途集積回路（ＡＳＩＣ）、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）、グラフィックスプロセッシングユニット（ＧＰＵ）、それらの複数のインスタンス、および／またはそれらの任意の組み合わせを含む、任意のタイプの汎用または専用プロセッサであってもよい。プロセッサ１００４はまた、複数の処理コアを有してもよく、コアの少なくともいくつかは、特定の機能を実行するように構成されてもよい。いくつかの実施形態では、複数並列処理が使用されてもよい。

【0054】

コンピューティングシステム１０００は、プロセッサ１００４によって実行される情報および命令を記憶するためのメモリ１００６をさらに含む。メモリ１００６は、ランダムアクセスメモリ（ＲＡＭ）、読み出し専用メモリ（ＲＯＭ）、フラッシュメモリ、キャッシュ、磁気もしくは光ディスクなどの静的ストレージ、または任意の他のタイプの非一時的コンピュータ可読媒体、またはそれらの組み合わせの任意の組み合わせで構成することができる。非一時的コンピュータ可読媒体は、プロセッサ１００４によってアクセス可能な任意の利用可能な媒体であってもよく、揮発性媒体、不揮発性媒体、またはその両方を含んでもよい。媒体はまた、取り外し可能、取り外し不能、またはその両方であってもよい。

【0055】

さらに、コンピューティングシステム１０００は、任意の現在存在する、または将来実施される通信規格および／またはプロトコルに従って、無線および／または有線接続を介して通信ネットワークへのアクセスを提供するためのトランシーバなどの通信デバイス１００８を含む。

【0056】

プロセッサ１００４は、バス１００２を介して、ユーザに情報を表示するのに適したディスプレイ１０１０にさらに結合される。ディスプレイ１０１０はまた、タッチディスプレイおよび／または任意の適切な触覚Ｉ／Ｏデバイスとして構成されてもよい。

【0057】

キーボード１０１２およびコンピュータマウス、タッチパッドなどのカーソル制御デバイス１０１４は、ユーザがコンピューティングシステムとインターフェースすることを可能にするためにバス１００２にさらに結合される。しかしながら、特定の実施形態では、物理的なキーボードおよびマウスが存在しなくてもよく、ユーザは、ディスプレイ１０１０および／またはタッチパッド（図示せず）のみを介してデバイスと対話することができる。入力デバイスの任意のタイプおよび組み合わせを、設計上の選択事項として使用することができる。特定の実施形態では、物理的入力デバイスおよび／またはディスプレイは存在しない。例えば、ユーザは、それと通信する別のコンピューティングシステムを介してコンピューティングシステム１０００と遠隔で対話することができ、またはコンピューティングシステム１０００は自律的に動作することができる。

【0058】

メモリ１００６は、プロセッサ１００４によって実行されると機能を提供するソフトウェアモジュールを格納する。モジュールは、コンピューティングシステム１０００のためのオペレーティングシステム１０１６と、本明細書に記載のプロセスまたはその派生物の全部または一部を実行するように構成された１つまたは複数の追加の機能モジュール１０１８と、を含む。

【0059】

当業者は、「システム」が、本発明の範囲から逸脱することなく、サーバ、組込みコンピューティングシステム、パーソナルコンピュータ、コンソール、パーソナルデジタルアシスタント（ＰＤＡ）、携帯電話、タブレットコンピューティングデバイス、量子コンピューティングシステム、もしくは任意の他の適切なコンピューティングデバイス、またはデバイスの組み合わせとして具現化され得ることを理解するであろう。上記の機能を「システム」によって実行されるものとして提示することは、本発明の範囲を決して限定することを意図するものではなく、本発明の多くの実施形態の一例を提供することを意図している。実際、本明細書に開示する方法、システム、および装置は、クラウドコンピューティングシステムを含むコンピューティング技術と一致する局所化された形態および分散された形態で実装されてもよい。

【0060】

本明細書に記載されたシステム特徴のいくつかは、それらの実装の独立性をより具体的に強調するために、モジュールとして提示されていることに留意されたい。例えば、モジュールは、カスタムの超大規模集積（ＶＬＳＩ）回路またはゲートアレイ、ロジックチップ、トランジスタ、または他のディスクリートコンポーネントなどの既製の半導体を含むハードウェア回路として実装されてもよい。モジュールはまた、フィールドプログラマブルゲートアレイ、プログラマブルアレイロジック、プログラマブルロジックデバイス、グラフィックスプロセッシングユニットなどのプログラマブルハードウェアデバイスに実装されてもよい。モジュールはまた、様々なタイプのプロセッサによって実行するためのソフトウェアに少なくとも部分的に実装されてもよい。遂行可能コードの識別されたユニットは、例えば、オブジェクト、プロシージャ、または関数として編成することができるコンピュータ命令の１つまたは複数の物理ブロックまたは論理ブロックを含むことができる。それにもかかわらず、識別されたモジュールの遂行可能ファイルは、物理的に共に配置される必要はないが、論理的に共に結合されたときにモジュールを含み、モジュールの記載された目的を達成する異なる場所に格納された異なる命令を含むことができる。さらに、モジュールは、コンピュータ可読媒体に格納されてもよく、それは、例えば、ハードディスクドライブ、フラッシュデバイス、ＲＡＭ、テープ、および／または本発明の範囲から逸脱することなくデータを格納するために使用される任意の他のそのような非一時的コンピュータ可読媒体であってもよい。実際、遂行可能コードのモジュールは、単一の命令、または多くの命令であってもよく、いくつかの異なるコードセグメント、異なるプログラム、およびいくつかのメモリデバイスに分散されてもよい。同様に、動作データは、本明細書ではモジュール内で識別および図示されてもよく、任意の適切な形態で具現化され、任意の適切なタイプのデータ構造内に編成されてもよい。動作データは、単一のデータセットとして収集されてもよく、または異なるストレージデバイスを含む異なる場所に分散されてもよく、少なくとも部分的に、システムまたはネットワーク上の電子信号としてのみ存在してもよい。

【0061】

上記は、本開示の原理を例示しているにすぎない。したがって、当業者は、本明細書に明示的に記載または図示されていないが、本開示の原理を具現化し、その趣旨および範囲内に含まれる様々な構成を考案することができることが理解されよう。さらに、本明細書に列挙されたすべての例および条件付き言語は、主に、読者が本開示の原理および本技術を促進するために本発明者によって寄与された概念を理解するのを助けるための教育目的のためのものにすぎず、そのような具体的に列挙された例および条件に限定されないと解釈されるべきである。さらに、本開示の原理、態様、および実施形態、ならびにその特定の例を列挙する本明細書のすべての記述は、その構造的および機能的均等物の両方を包含することを意図している。さらに、そのような均等物は、現在知られている均等物および将来開発される均等物の両方を含むことが意図される。

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【国際調査報告】