▶ ローベルト ボツシユ ゲゼルシヤフト ミツト ベシユレンクテル ハフツングの特許一覧
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2024041064
(43)【公開日】2024-03-26
(54)【発明の名称】センサ測定値の異常検出
(51)【国際特許分類】
G06N 20/00 20190101AFI20240318BHJP
G05B 23/02 20060101ALI20240318BHJP
【ＦＩ】
G06N20/00 130
G05B23/02 T
G05B23/02 302T
【審査請求】未請求
【請求項の数】15
【出願形態】ＯＬ
【外国語出願】
(21)【出願番号】P 2023147754
(22)【出願日】2023-09-12
(31)【優先権主張番号】10 2022 209 542.1
(32)【優先日】2022-09-13
(33)【優先権主張国・地域又は機関】DE
【公序良俗違反の表示】
（特許庁注：以下のものは登録商標）
１．ＢＬＵＥＴＯＯＴＨ
２．ＺＩＧＢＥＥ
(71)【出願人】
【識別番号】390023711
【氏名又は名称】ローベルト ボツシユ ゲゼルシヤフト ミツト ベシユレンクテル ハフツング
【氏名又は名称原語表記】ＲＯＢＥＲＴ ＢＯＳＣＨ ＧＭＢＨ
【住所又は居所原語表記】Ｓｔｕｔｔｇａｒｔ， Ｇｅｒｍａｎｙ
(74)【代理人】
【識別番号】100114890
【弁理士】
【氏名又は名称】アインゼル・フェリックス＝ラインハルト
(74)【代理人】
【識別番号】100098501
【弁理士】
【氏名又は名称】森田 拓
(74)【代理人】
【識別番号】100116403
【弁理士】
【氏名又は名称】前川 純一
(74)【代理人】
【識別番号】100134315
【弁理士】
【氏名又は名称】永島 秀郎
(74)【代理人】
【識別番号】100162880
【弁理士】
【氏名又は名称】上島 類
(72)【発明者】
【氏名】カリム ザイド マームート バージム
(72)【発明者】
【氏名】モハメド アミネ ベン サレム
【テーマコード（参考）】
3C223
【Ｆターム（参考）】
3C223AA01
3C223BA03
3C223CC02
3C223DD03
3C223EA04
3C223EB01
3C223EB07
3C223FF02
3C223FF12
3C223FF22
3C223FF26
3C223FF42
3C223FF45
3C223FF52
3C223FF53
3C223GG01
3C223HH03
3C223HH29
(57)【要約】
【課題】本発明は、物理量のセンサ測定値における異常を検出するコンピュータ実装された方法（６００）に関する。
【解決手段】物理量の複数のセンサ測定値が含まれる測定データが取得される。測定データと、重みに従ってセンサ測定値を再重み付けすることによって取得される混合分布との間の不一致を最大化することによって、それぞれのセンサ測定値に対するそれぞれの重みが決定される。それぞれの重みがそれぞれのセンサ測定値に対する外れ値尤度の指標として出力される。
【選択図】図４
【解決手段】物理量の複数のセンサ測定値が含まれる測定データが取得される。測定データと、重みに従ってセンサ測定値を再重み付けすることによって取得される混合分布との間の不一致を最大化することによって、それぞれのセンサ測定値に対するそれぞれの重みが決定される。それぞれの重みがそれぞれのセンサ測定値に対する外れ値尤度の指標として出力される。
【選択図】図４
【特許請求の範囲】
【請求項1】
物理量のセンサ測定値における異常を検出するコンピュータ実装された方法（６００）であって、当該方法は、
・前記物理量の複数のセンサ測定値が含まれる測定データを取得すること（６１０）と、
・前記測定データと、重みに従って前記センサ測定値を再重み付けすることによって取得される混合分布との間の不一致を最大化することによって、それぞれのセンサ測定値に対するそれぞれの重みを決定すること（６２０）と、
・前記それぞれの重みを、前記それぞれのセンサ測定値に対する外れ値尤度の指標として出力すること（６３０）と、
を含む、方法（６００）。
・前記物理量の複数のセンサ測定値が含まれる測定データを取得すること（６１０）と、
・前記測定データと、重みに従って前記センサ測定値を再重み付けすることによって取得される混合分布との間の不一致を最大化することによって、それぞれのセンサ測定値に対するそれぞれの重みを決定すること（６２０）と、
・前記それぞれの重みを、前記それぞれのセンサ測定値に対する外れ値尤度の指標として出力すること（６３０）と、
を含む、方法（６００）。
【請求項2】
前記測定データは、前記物理量のセンサ測定値と、さらなる物理量のセンサ測定値とのペアを含み、
当該方法は、
・前記測定データに基づいて前記物理量から前記さらなる物理量を予測するように、第１の機械学習可能モデルを訓練することと、
・前記再重み付けされたセンサ測定値に基づいて前記物理量から前記さらなる物理量を予測するように、第２の機械学習可能モデルを訓練することと、
・前記物理量が前記さらなる物理量に対して及ぼす因果効果を示す因果性指標を決定することであって、前記因果性指標は、訓練された前記モデル同士のモデル非合致に基づいて決定される、ことと、
をさらに含む、請求項１に記載の方法（６００）。
当該方法は、
・前記測定データに基づいて前記物理量から前記さらなる物理量を予測するように、第１の機械学習可能モデルを訓練することと、
・前記再重み付けされたセンサ測定値に基づいて前記物理量から前記さらなる物理量を予測するように、第２の機械学習可能モデルを訓練することと、
・前記物理量が前記さらなる物理量に対して及ぼす因果効果を示す因果性指標を決定することであって、前記因果性指標は、訓練された前記モデル同士のモデル非合致に基づいて決定される、ことと、
をさらに含む、請求項１に記載の方法（６００）。
【請求項3】
当該方法は、
前記さらなる物理量が前記物理量に対して及ぼす因果効果を示すさらなる因果性指標を決定することと、
前記さらなる因果性指標を前記因果性指標と比較することと、
を含む、請求項２に記載の方法（６００）。
前記さらなる物理量が前記物理量に対して及ぼす因果効果を示すさらなる因果性指標を決定することと、
前記さらなる因果性指標を前記因果性指標と比較することと、
を含む、請求項２に記載の方法（６００）。
【請求項4】
前記測定データは、少なくとも３つの物理量の測定値を含み、
当該方法は、
・前記少なくとも３つの物理量の中からの前記物理量及び前記さらなる物理量を、因果関係を有するものとして識別することと、
・前記さらなる因果性指標と前記因果性指標との前記比較を使用して、識別された前記因果関係の方向を決定することと、
を含む、請求項３に記載の方法（６００）。
当該方法は、
・前記少なくとも３つの物理量の中からの前記物理量及び前記さらなる物理量を、因果関係を有するものとして識別することと、
・前記さらなる因果性指標と前記因果性指標との前記比較を使用して、識別された前記因果関係の方向を決定することと、
を含む、請求項３に記載の方法（６００）。
【請求項5】
当該方法は、コンピュータ制御式のシステムの不具合の根本原因分析を実施するためのものであり、
前記根本原因分析は、前記物理量が前記さらなる物理量に対して因果効果を及ぼすことを判定することに基づいて実施される、
請求項２乃至４のいずれか一項に記載の方法（６００）。
前記根本原因分析は、前記物理量が前記さらなる物理量に対して因果効果を及ぼすことを判定することに基づいて実施される、
請求項２乃至４のいずれか一項に記載の方法（６００）。
【請求項6】
前記モデル非合致は、訓練された前記モデルの予測同士の間の最大平均不一致に基づいて決定される、
請求項２乃至５のいずれか一項に記載の方法（６００）。
請求項２乃至５のいずれか一項に記載の方法（６００）。
【請求項7】
前記重みを決定することは、センサ測定値の最大重みを制約すること、及び／又は、一様からの最大偏差を制約することを含む、
請求項２乃至６のいずれか一項に記載の方法（６００）。
請求項２乃至６のいずれか一項に記載の方法（６００）。
【請求項8】
前記因果性指標は、前記モデル非合致における、前記最大重みの変動値についての傾向に基づいて決定される、
請求項７に記載の方法（６００）。
請求項７に記載の方法（６００）。
【請求項9】
前記センサ測定値は、コンピュータ制御式のシステムからのものであり、
当該方法は、前記物理量が前記さらなる物理量に対して因果効果を及ぼすことを判定することに基づいて前記物理量に影響を与えるように、前記システムを制御することをさらに含む、
請求項２乃至８のいずれか一項に記載の方法（６００）。
当該方法は、前記物理量が前記さらなる物理量に対して因果効果を及ぼすことを判定することに基づいて前記物理量に影響を与えるように、前記システムを制御することをさらに含む、
請求項２乃至８のいずれか一項に記載の方法（６００）。
【請求項10】
前記センサ測定値は、コンピュータ制御式のシステムからのものであり、
当該方法は、決定された重みが閾値を超えた場合に警報を発することをさらに含む、
請求項１乃至９のいずれか一項に記載の方法（６００）。
当該方法は、決定された重みが閾値を超えた場合に警報を発することをさらに含む、
請求項１乃至９のいずれか一項に記載の方法（６００）。
【請求項11】
前記不一致は、最大平均不一致に基づく、
請求項１乃至１０のいずれか一項に記載の方法（６００）。
請求項１乃至１０のいずれか一項に記載の方法（６００）。
【請求項12】
前記不一致は、二乗最大平均不一致に基づいており、
前記重みは、半正定値緩和を適用することによって決定される、
請求項１１に記載の方法（６００）。
前記重みは、半正定値緩和を適用することによって決定される、
請求項１１に記載の方法（６００）。
【請求項13】
当該方法は、前記測定データのサンプルの選択された部分集合に対して重みを決定することを含む、
請求項１乃至１２のいずれか一項に記載の方法（６００）。
請求項１乃至１２のいずれか一項に記載の方法（６００）。
【請求項14】
物理量のセンサ測定値における異常を検出するための異常検出システム（１００）であって、当該システムは、
・前記物理量の複数のセンサ測定値が含まれる測定データにアクセスするためのセンサインタフェース（１６０）と、
・プロセッササブシステム（１４０）と、
を備え、前記プロセッササブシステム（１４０）は、
・前記測定データと、重みに従って前記センサ測定値を再重み付けすることによって取得される混合分布との間の不一致を最大化することによって、それぞれのセンサ測定値に対するそれぞれの重みを決定し、
・前記それぞれの重みを、前記それぞれのセンサ測定値に対する外れ値尤度の指標として出力する
ように構成されている、異常検出システム（１００）。
・前記物理量の複数のセンサ測定値が含まれる測定データにアクセスするためのセンサインタフェース（１６０）と、
・プロセッササブシステム（１４０）と、
を備え、前記プロセッササブシステム（１４０）は、
・前記測定データと、重みに従って前記センサ測定値を再重み付けすることによって取得される混合分布との間の不一致を最大化することによって、それぞれのセンサ測定値に対するそれぞれの重みを決定し、
・前記それぞれの重みを、前記それぞれのセンサ測定値に対する外れ値尤度の指標として出力する
ように構成されている、異常検出システム（１００）。
【請求項15】
プロセッサシステムによって実行されたときに、請求項１乃至１３のいずれか一項に記載のコンピュータ実装された方法を前記プロセッサシステムに実施させるための命令を表すデータ（１１１０）を含む、一時的又は非一時的なコンピュータ可読媒体（１１００）。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、物理量のセンサ測定値における異常を検出する方法と、対応するシステムとに関する。さらに、本発明は、コンピュータ可読媒体に関する。
【背景技術】
【0002】
発明の背景
現実世界のシステムにおける複雑なデータ生成プロセスの基礎となる真のメカニズムをマイニングすることは、データ駆動型のモデルの解釈可能性を促進する上で、ひいてはデータ駆動型のモデルを信頼する上での基本的なステップである。特に、機械学習モデルにおける信頼を構築するために、このようなモデルを、その関連パターン及び相関の学習の現在の限界を超えて拡張することが望ましい。特に、現実生活の制御タスクに機械学習を適用する場合には、モデルは、各自の物理的な周囲と相互作用して、各自の環境を変更又は改善するための行動を実施する必要があり、又は、例えば実施されるべき制御行動の効果を予測するために仮想のシナリオに関して各自の物理的な周囲に問い合わせる必要がある。このような状況においては、解釈可能性が特に重要である。
現実世界のシステムにおける複雑なデータ生成プロセスの基礎となる真のメカニズムをマイニングすることは、データ駆動型のモデルの解釈可能性を促進する上で、ひいてはデータ駆動型のモデルを信頼する上での基本的なステップである。特に、機械学習モデルにおける信頼を構築するために、このようなモデルを、その関連パターン及び相関の学習の現在の限界を超えて拡張することが望ましい。特に、現実生活の制御タスクに機械学習を適用する場合には、モデルは、各自の物理的な周囲と相互作用して、各自の環境を変更又は改善するための行動を実施する必要があり、又は、例えば実施されるべき制御行動の効果を予測するために仮想のシナリオに関して各自の物理的な周囲に問い合わせる必要がある。このような状況においては、解釈可能性が特に重要である。
【0003】
しかしながら、今日実際に使用されている殆どの機械学習モデルは、事実上、ブラックボックスとして機能し、このことは、特にセーフティクリティカルなドメインにおいてこのような機械学習モデルが広範囲に採用されることに対する顕著な障壁の一因となっている。したがって、物理システムにおいて、純粋に統計的な関連性とは対照的に、因果効果関係の強さを測定すること、いわゆる因果推論が望ましい。このような因果推論によって提供される、基礎となるデータ生成プロセスに関する情報は、例えば異常検出又は根本原因分析のための種々の用途を有する。
【0004】
S. Shimizuら著の「“A Linear Non-Gaussian Acyclic Model for Causal Discovery”，Journal of Machine Learning Research 7 (2006)」には、独立成分分析を使用して連続値データの因果構造を決定するための技術が提示されている。この技術は、（ａ）データ生成プロセスが線形である、（ｂ）未観測交絡因子が存在しない、及び、（ｃ）外乱変数が非ゼロ分散の非ガウス分布を有するという仮定の下で機能する。特に、この技術は、適用可能なセンサデータ種類という点において制限されている。
【0005】
現実世界のシステムのデータを理解する際に発生する他の問題は、異常検出の問題である。ここでは、センサデータ値の集合が与えられた場合に、これらの値のうちのどの値が外れ値である可能性が高いかを決定することが問題である。この状況においても、入力として使用されるセンサデータ種類に対して制限を課している種々の技術が公知である。
【先行技術文献】
【非特許文献】
【0006】
【非特許文献1】S. Shimizuら著「“A Linear Non-Gaussian Acyclic Model for Causal Discovery”，Journal of Machine Learning Research 7 (2006)」
【発明の概要】
【発明が解決しようとする課題】
【0007】
発明の概要
多くの種々の種類のセンサデータに適用することができる、センサ測定値に対処するための改善された技術を提供することが望ましいだろう。特に、多くの種々の種類のセンサデータに対して機能することができる汎用の異常検出技術を提供すること、及び、因果推論のための、例えば広範囲のセンサデータ種類から因果関係をマイニングするための汎用の技術を提供することが望ましいだろう。
多くの種々の種類のセンサデータに適用することができる、センサ測定値に対処するための改善された技術を提供することが望ましいだろう。特に、多くの種々の種類のセンサデータに対して機能することができる汎用の異常検出技術を提供すること、及び、因果推論のための、例えば広範囲のセンサデータ種類から因果関係をマイニングするための汎用の技術を提供することが望ましいだろう。
【課題を解決するための手段】
【0008】
本発明の第１の態様によれば、それぞれ請求項１及び請求項１４によって特定されているような、異常を検出するためのコンピュータ実装された方法と、対応するシステムとが提示されている。本発明の１つの態様によれば、請求項１５に特定されているようなコンピュータ可読媒体が記載されている。
【0009】
本明細書において説明される種々の測定は、物理量の複数のセンサ測定値が含まれる測定データの分析に関する。原則として、多くの種々の種類の物理量がサポートされている。例えば、物理量は、圧力又は温度のような実数値の物理量であるものとしてよい。興味深いことに、単一の実数値によって表されない物理量、例えばバイナリ値又は他のカテゴリ値、複素数値の値を使用することも可能であり、及び／又は、複数のサブ数によって表される物理量、例えば方向、向きを持った速度等のような複数の数値を使用することも可能である。特に、物理量は、画像データ、時系列データ、又は、物理量の測定値のテキスト表現であるものとしてよい。多くのケースにおいては、物理量は、コンピュータ制御式の物理システム、例えばロボット、製造機械等の制御に関連する物理量であるものとしてよい。例えば、物理量は、コンピュータ制御式のシステムが相互作用する環境の測定値、又は、コンピュータ制御式のシステム自体の物理パラメータの測定値を表すことができる。このようなデータを分析することによって、種々の例によって示されているように、システムの制御を改善することができる。
【0010】
このような測定データに対して異常検出を適用することができる。一般的に、異常検出とは、データの大部分から著しく外れた希少な測定値の識別を指すことができる。これは、外れ値検出とも称される。識別とは、データ項目の部分集合を選択すること、及び／又は、それぞれのデータ項目ごとの偏差の程度を示すことを指すことができる。
【0011】
この状況において、本発明者らは、確率分布同士を比較することに基づく異常検出技術を開発した。すなわち、本技術は、それぞれの重みに従ってそれぞれのセンサ測定値を再重み付けすることによって取得される混合分布を使用する。本発明者らは、一般的に言えば、データ集合の外れ値に割り当てられる重みが大きくなればなるほど、この混合分布と元のデータ集合との間の不一致が大きくなることが予想されるということを認識した。ここでは、不一致とは、特に最大平均不一致のようなカーネルに基づく不一致尺度であるものとしてよい。したがって、本発明者らは、混合分布に対する重みの集合を、不一致が最大化されるように決定し、それぞれの重みを、それぞれのセンサ測定値に対する外れ値尤度の指標として出力することを構想した。
【0012】
興味深いことに、外れ値検出を、センサデータの確率分布同士の間の不一致という観点から表現することにより、多くの種々の種類のセンサデータに対して機能する外れ値検出を取得することができる。異常検出が機能するために特定の形式のセンサデータを仮定する必要はなく、例えば、センサデータは、数値である必要はなく、例えば、これに代えてカテゴリカルであるものとしてよい。また、センサデータに関する特定の分布を仮定する必要もない。例えば、最大平均不一致のようなカーネルに基づく不一致尺度を使用する場合には、本技術は、センサデータに対して定義されるカーネル関数を使用することができ、例えば、さらなる構成又は前提条件を殆ど又は全く必要とすることなくカーネル関数のブラックボックスを使用することができる。したがって、手動での構成を殆ど必要としない広範囲に適用することができる異常検出技術が提供されている。
【0013】
本提示の異常検出技術の重要な用途は、因果推論において、すなわち、測定値からのマイニングにおいて、第１の物理量が第２の物理量に対して及ぼす因果効果を示す因果性指標である。特に、本提示の技術は、単一の観測状況から二変量系の因果構造を識別することを可能にする。本願は、独立した因果メカニズム（independent causal mechanisms：ＩＣＭ）の原理を使用する。本説明の異常検出は、第１の物理量及び第２の物理量の測定値のペアの確率分布を考慮して、第１の物理量の周辺分布に作用することができる。説明されるように、第１の物理量のセンサ測定値と元のセンサ測定値との間の不一致を最大化するように、第１の物理量のセンサ測定値を再重み付けすることによって、事実上、物理量の周辺分布が無視できない変化を有するような２つの状況を構築することができる。ＩＣＭの原理によれば、このような変化は、効果発生メカニズムに対して最小限の影響を及ぼすことが予想される。
【0014】
本発明者らは、結果として、これらの変化が条件に対して及ぼす影響を定量化することを使用して、因果性指標を導出することができるということを認識した。すなわち、２つの機械学習可能モデルを、両方とも第１の物理量から第２の物理量を予測するように訓練することができる。しかしながら、興味深いことに、第１の機械学習可能モデルを、測定データに基づいて訓練することができ、その一方で、第２の機械学習可能モデルを、再重み付けされたセンサ測定値に基づいて訓練することができる。このケースにおいては、本発明者らが認識したように、これらの２つのモデルの間のモデル非合致を、第１の物理量が第２の物理量に対して及ぼす因果効果の指標として使用することができる。すなわち、モデル非合致が大きくなればなるほど、例えば、差分尺度によるテスト入力の集合に対するモデルの出力の差が大きくなればなるほど、第１の物理量が第２の物理量に対して及ぼす因果効果が存在する可能性が低くなる。換言すれば、物理量ｘ，ｙについての基礎となる因果構造が、ｘ→ｙであると仮定すると、因果推論は、再重み付けによって周辺分布ｐｘに人工的な変化を導入することと、次いで、これらの変化が条件ｐｙ｜ｘに対して及ぼす影響を定量化することとに基づくことができる。ＩＣＭの仮定によれば、ｐｘに対する変化は、真の因果方向における条件ｐｙ｜ｘに対して最小限の影響を及ぼすことが予想され、したがって、モデル（非）合致によって測定されるような条件に対する影響により、因果性指標が提供される。
【0015】
因果推論のために本説明の異常検出器を適用することは、多くの理由から特に有利である。上記において説明されるように、異常検出は、広範囲のセンサデータに対して機能する。この重要な利点は、因果推論技術にも受け継がれる。分布同士の間の、すなわち、機械学習モデル同士の間の不一致と、例えばカーネルに基づくスコアを使用したモデル非合致とに基づくことによって、第１の物理量及び第２の物理量の両方のセンサデータに対して緩やかな仮定のみが課されるので、広範囲の用途のために適用可能であるという利点が与えられる。ＩＣＭの原理が適用される限り、これらの技術は、一般的に、因果関係の関数形式又はデータ分布にかかわらずとも機能する。因果発見を可能にするが、さらなる量に基づく条件付き分割を使用するような他の公知のシステムとは対照的に、本提示の技術は、二変量系においても機能することができる。より一般的には、本提示の技術は、特に関数上の制約、分布上の制約、及び、データ種類の制限という観点から、解かれるべき因果効果の識別問題に対して課せられる制限の数を削減することができる。実験により、本提示の技術は、データ種類に関して包括的であり、かつ、モデルクラスの選択及びその学習能力に関してロバストであるということに加えて、従来技術に比べて良好な性能を提供するということが発見された。
【0016】
特に、本説明の技術は、データ駆動型のモデルの学習能力を十分に活用して、物理量同士の間の真の因果構造を測定することを可能にする。いくつかの既存の因果推論技術においては、機械学習可能モデル同士は、最終的な結果がモデルの選択及び学習能力に対して敏感になるようにそれぞれ異なるように使用される。例えば、いくつかの公知のアプローチは、因果方向における関数関係が単純であるとの仮定に依拠しており、これにより、制限された能力のモデルクラスによってこの関係を識別することが可能となる。このケースにおいては、モデルの能力が高くなればなるほど、因果構造の識別可能性が低くなる。興味深いことに、このことは、本明細書において説明される技術を適用する場合には当てはまらず、例えば、因果構造が、制限された能力のモデルによって表現可能であるということを仮定する必要がない。いくつかの既存の技術とは異なり、本提示の技術は、使用されるモデルが条件の変化を学習するために十分な能力を有している限り、モデルの能力に対してよりロバストになることができる。より一般的には、本技術は、特定の種類の機械学習可能モデルを使用することに依拠しておらず、センサ測定値の所与の集合に対して最良に適用可能であるモデルを選択することを可能にする。
【0017】
本明細書において説明されるようなモデル非合致に基づいて因果性指標を決定する際には、再重み付けされたセンサ測定値に対して第２のモデルを訓練することが絶対に必要ということではないということが留意される。より一般的には、元の確率分布との不一致を有することが判定されたセンサ測定値の修正された確率分布に対して、物理量の周辺分布が無視できない変化を有するように、かつ、ＩＣＭの原理が適用されるように、モデルを訓練することができる。
【0018】
本明細書において提示される因果推定技術は、種々の実用的な用途を有する。特に、因果推論は、ロボット又は製造工場のようなコンピュータ制御式のシステムのデータ駆動式の制御において使用可能である。そのようなケースにおいては、ある物理量がさらなる物理量に対して因果効果を及ぼすことが判定されたことに基づいてその物理量に影響を与えるように、システムを制御することができる。例えば、データ駆動型の制御装置は、事前に指定された動作範囲に到達するためにどの物理量に影響を与えるべきかを決定する目的で、本明細書において説明されるように決定された１つ又は複数の因果性指標を使用することができる。このことは、完全に自動的であるものとしてよく、例えば、ユーザは、１つ又は複数の物理量に対して範囲を指定するだけでよく、その場合、データ駆動型の制御装置は、この範囲に到達するためにどの物理量に影響を与えるべきかを本提示の因果推定技術を使用して自動的に決定するように構成されている。コンピュータ制御式のシステムの文脈における自動化された用途の他の例として、例えば、異常検出の決定された重みが閾値を超えた場合に、人間のユーザに警報を発することが可能であり、したがって、異常検出が、コンピュータ制御式のシステムに直接的に適用される。
【0019】
しかしながら、決定された因果性指標を手動で使用することも可能であり、例えば、因果性指標、又は、因果性指標から導出された因果効果の方向を使用することは、例えば、検討中のシステムにおいて変化する関連する量を示すことによって、測定及び格納の観点から、実験計画法における労力を大幅に軽減することができる。
【0020】
任意選択的に、因果推論は、コンピュータ制御式のシステム、特にロボット又は製造工場のような物理システムの不具合の、自動化された根本原因分析のために使用される。根本原因分析は、ある物理量がさらなる物理量に対して因果効果を及ぼすことを判定することに基づくことができる。例えば、生産ラインにおいては、根本原因分析（例えば、フォルトツリー分析又はそれに類するもの）を使用して、生産ラインの特定のステージ又はステーションを自動的に決定することができ、この特定のステージ又はステーションが、不具合（例えば、システムの不具合又は品質試験の不合格）の出所であることを突きとめることができる。ここでは、根本原因分析は、本説明のように決定される因果性指標によって、又は、因果性指標同士の比較によって示されるような、システム／品質試験の態様に対するそれぞれの生産ステージの関連性を使用することができる。根本原因分析は、例えばユーザに不具合を報告する際に、根本原因として識別された物理量を示す警報を出力することができる。
【0021】
任意選択的に、第１の物理量が第２の物理量に対して及ぼす因果効果についての因果性指標を決定することの他に、第２の物理量が第１の物理量に対して及ぼす因果効果を示すさらなる因果性指標を決定することもできる。２つの因果性指標を比較することによって、どちらが他方の原因となっているかを単一の観測状況から決定することができる。例えば、最小のモデル非合致に対応する方向を、因果方向であると判定することができる。
【0022】
任意選択的に、少なくとも３つの物理量の測定値が含まれる測定データを使用することができる。これらの物理量の中からの２つの量を、因果関係を有するものとして識別することができる。例えば、量のペアを、このペアの間の因果方向を識別することなく識別するそれ自体公知のような技術を、このために使用することができる。次いで、本明細書において提示される技術、特に因果性指標同士の間の比較を使用して、識別された因果関係の方向を決定することができる。例えば、既存の技術は、マルコフ等価クラスとして因果関係の集合を出力することができ、その場合、例えば１つ又は複数の二変量の因果関係は、無方向性のままであり、本明細書において提示される技術を使用して、グラフ中に示された因果関係のうちの１つ又は複数の方向が決定される。
【0023】
任意選択的に、因果性指標を決定するために使用されるモデル非合致は、訓練されたモデルの予測同士の間の最大平均不一致に基づいて決定される。最大平均不一致を使用することは、この最大平均不一致を、多くの種々の種類のデータに適用することが可能であるという利点を有し、例えば、カーネル関数を選択するだけで十分であるものとしてよく、さらに、このカーネル関数は、センサ測定値とその混合分布との間の不一致を定義するために、使用される異常検出において使用されたものと同一であるものとしてよい。
【0024】
任意選択的に、異常検出の一部として重みを決定する場合には、この決定は、センサ測定値の重みを最大重みに制約するように、及び／又は、一様混合分布からの偏差を最大偏差に制約するように実施可能である。このことは、因果性指標を決定するために異常検出を使用する場合と、より一般的な場合との両方において可能である。異常検出の場合には、これにより、異常な部分集合の相対的なサイズを明示的に決定することが可能となるという利点がある。因果推論のために使用される場合には、このような制約を追加することが有益である。なぜなら、これにより、プロキシモデルのより安定した訓練が可能となり、それにより、提供される訓練データの量に対する脆弱性が軽減されるからである。
【0025】
特に、最大重みの制約は、因果性指標を決定するために、すなわち、モデル非合致における、最大重みの変動値についての傾向に基づいて使用可能である。興味深いことに、因果性指標を決定するためにこの傾向を使用することにより、センサ測定値のデータ空間にさほど依存しない因果性指標を取得することができる。特に、これにより、それぞれ異なるデータ空間を有するセンサ測定値同士の間の因果性指標をより良好に比較することが可能となる。
【0026】
任意選択的に、異常検出の重みを決定するために最大平均不一致が使用される場合には、最大化されるべき量は、二乗最大平均不一致に基づくことができる。興味深いことに、この最適化問題は、半正定値緩和の下で凸最適化を用いて効率的に実装可能である。
【0027】
任意選択的に、測定データから選択された、サンプルの選択された部分集合のみに関して不一致を最大化することによって、重みを決定することができる。このことは、全体的な効率を改善することができる。なぜなら、そうでなければ、サンプルの数が、性能のボトルネックになる可能性があるからである。特に、因果推論において異常検出が適用される場合には、サンプルの選択された部分集合のみを使用することが、価値があるということが分かった。モデルの訓練は、依然として完全な測定データ集合に対して実施可能である。なぜなら、多くのケースにおける訓練は、重みの決定よりも良好なスケーリング特性を有しているからである。
【0028】
本明細書において説明されるような異常検出システムと、測定値に異常検出システムが適用されるコンピュータ制御式のシステムとが含まれるシステムを提供することができる。例えば、システムは、製造工場、ロボット等であるものとしてよい。
【0029】
本発明の上記において説明される実施形態、実装形態、及び／又は、任意選択肢の態様のうちの２つ以上を、有用であると考えられる任意の手法により組み合わせるものとしてもよいことが当業者には理解されるであろう。対応するコンピュータ実装された方法の本説明の修正及び変更に対応する、任意のシステム及び／又は任意のコンピュータ可読媒体の修正及び変更は、当業者によって本明細書に基づいて実施可能である。
【0030】
本発明のこれらの態様及び他の態様は、以下の記載において例として説明される実施形態と、添付の図面とから明らかとなり、さらに解明される。
【図面の簡単な説明】
【0031】
【図1】異常を検出するためのシステムを示す図である。
【図2】根本原因分析の詳細な一例を示す図である。
【図3a】センサデータにおける異常を検出する詳細な一例を示す図である。
【図3b】検出された異常を有するセンサデータの詳細な一例を示す図である。
【図4】センサデータにおける因果性を決定する詳細な一例を示す図である。
【図5】決定された因果性指標の詳細な一例を示す図である。
【図6】異常を検出するコンピュータ実装された方法を示す図である。
【図7】データが含まれるコンピュータ可読媒体を示す図である。
【発明を実施するための形態】
【0032】
図面は、純粋に概略的であり、縮尺通りに図示されているものではないことが留意されるべきである。図面において、既述の要素に対応する要素には、同一の参照符号が付されていることがある。
【0033】
実施形態の詳細な説明
図１は、異常検出システム１００を示す。システム１００は、物理量のセンサ測定値における異常を検出するためのものであってよい。
図１は、異常検出システム１００を示す。システム１００は、物理量のセンサ測定値における異常を検出するためのものであってよい。
【0034】
システム１００は、データインタフェース１２０を含み得る。データインタフェースは、センサ測定値に対する重み、及び／又は、本明細書において説明されるような種々の他のデータにアクセスするためのものであってよい。例えば、図１にも示されているように、データインタフェースは、データストレージ０２１からのデータにアクセスすることができるデータストレージインタフェース１２０によって構成可能である。例えば、データストレージインタフェース１２０は、メモリインタフェース又は永続的なストレージインタフェース、例えばハードディスク又はＳＳＤインタフェースであるものとしてよいが、Bluetooth、Zigbee若しくはＷｉ－Ｆｉインタフェース、又は、イーサネット若しくは光ファイバインタフェースのようなパーソナルエリアネットワーク、ローカルエリアネットワーク又はワイドエリアネットワークインタフェースであるものとしてもよい。データストレージ０２１は、ハードドライブ又はＳＳＤのようなシステム１００の内部データストレージであるものとしてよいが、外部データストレージ、例えばネットワークアクセス可能なデータストレージであるものとしてもよい。いくつかの実施形態においては、データには、それぞれ異なるデータストレージから、例えばデータストレージインタフェース１２０のそれぞれ異なるサブシステムを介してアクセス可能である。それぞれのサブシステムは、データストレージインタフェース１２０に関して上述されたような種類のものであってよい。
【0035】
システム１００は、プロセッササブシステム１４０をさらに含み得るものであり、プロセッササブシステム１４０は、システム１００の動作中、物理量のそれぞれのセンサ測定値に対するそれぞれの重みを決定するように構成可能である。プロセッササブシステム１４０は、測定データと、重みに従ってセンサ測定値を再重み付けすることによって取得される混合分布との間の不一致を最大化することによって、重みを決定するように構成可能である。プロセッササブシステム１４０は、それぞれの重みを、それぞれのセンサ測定値に対する外れ値尤度の指標として出力するように構成可能である。例えば、これらの重みは、ユーザに出力されるものとしてもよいし、又は、重みに基づく追加的な処理、例えば因果性指標の決定を実施するモジュールに出力されるものとしてもよい。
【0036】
システム１００は、測定データ１２４にアクセスするためのセンサインタフェース１６０をさらに含み得るものであり、このような測定データ１２４には、１つ又は複数の物理量、特に、異常検出の対象となる物理量、因果効果が確立される可能性のあるさらなる物理量、及び／又は、因果関係及び因果関係の方向を決定することができる物理量の集合の、複数のセンサ測定値が含まれている。測定データ１２４は、システム１００の環境０８１内の１つ又は複数のセンサ０７１からのものであってよい。センサは、環境０８１内に配置されるものとしてよいが、例えばリモートで量を測定することができる場合には、環境０８１から遠隔された場所に配置されるものとしてもよい。１つ又は複数のセンサ０７１は、システム１００の一部であるものとしてよいが、必ずしもシステム１００の一部である必要はない。センサ０７１は、画像センサ、ライダセンサ、レーダセンサ、圧力センサ、内蔵温度センサ等のような任意の適当な形態を有し得る。いくつかの実施形態においては、センサデータ１２４は、それぞれ異なる物理量を感知する２つ以上の異なるセンサから取得可能であるので、複数の異なる物理量のセンサ測定値を含み得る。
【0037】
センサデータインタフェース１６０は、センサの種類に対応する任意の適当な形態を有し得るものであり、限定するものではないが、例えばＩ２Ｃ又はＳＰＩデータ通信に基づく低レベルの通信インタフェース、又は、データインタフェース１２０に関して上述されたような種類のデータストレージインタフェースを含む。
【0038】
種々の実施形態においては、システム１００は、それぞれの重みに基づいてデータを出力するための出力インタフェース１８０を含み得る。例えば、図面に示されているように、出力インタフェースは、環境０８２内の１つ又は複数のアクチュエータ（図示せず）に制御データ１２６を提供するためのアクチュエータインタフェース１８０によって構成可能である。このような制御データ１２６は、決定された重みに基づいて、特に、決定された因果性指標に基づいてアクチュエータを制御するために、プロセッササブシステム１４０によって生成可能である。例えば、システム１００は、物理システムを制御するためのデータ駆動型の制御システムであるものとしてよい。アクチュエータは、システム１００の一部であるものとしてよい。例えば、アクチュエータは、電気式、液圧式、空圧式、熱式、磁気式、及び／又は、機械式のアクチュエータであるものとしてよい。具体的であるが非限定的な例には、電気モータ、電気活性ポリマ、液圧シリンダ、圧電アクチュエータ、空圧アクチュエータ、サーボ機構、ソレノイド、ステッピングモータ等が含まれる。このような種類の制御についても、図２を参照しながら説明されている。
【0039】
他の実施形態（図１には図示せず）においては、システム１００は、ディスプレイ、光源、スピーカ、振動モータ等のようなレンダリング装置への出力インタフェースを含み得るものであり、このようなレンダリング装置を使用して、決定された重みに基づいて生成することができる感覚的に知覚可能な出力信号を生成することができる。感覚的に知覚可能な出力信号は、直接的に重みを示すことができるが、例えば物理システムのガイダンス、ナビゲーション、又は、他の種類の制御において使用するための、導出された感覚的に知覚可能な出力信号を表すこともできる。例えば、出力信号は、決定された重みが閾値を超えた場合に発される警報であるものとしてよい。出力インタフェースを、データインタフェース１２０によって構成することも可能であり、その場合、前述のインタフェースは、本実施形態においては入力／出力（「ＩＯ」）インタフェースであり、この入力／出力インタフェースを介して、決定された重み、又は、重みから導出された出力をデータストレージ０２１に格納することができる。いくつかの実施形態においては、出力インタフェースは、データストレージインタフェース１２０とは別個であるものとしてよいが、一般的に、データストレージインタフェース１２０に関して上述されたような種類のものであってよい。
【0040】
一般的に、限定するものではないが図１のシステム１００が含まれる、本明細書において説明されるそれぞれのシステムは、ワークステーション若しくはサーバのような単一の装置若しくは機器として又は単一の装置若しくは機器において具現化可能である。装置は、組込み装置であるものとしてよい。装置又は機器は、適当なソフトウェアを実行する１つ又は複数のマイクロプロセッサを含み得る。例えば、それぞれのシステムのプロセッササブシステムは、単一の中央処理ユニット（ＣＰＵ）によって具現化可能であるが、そのようなＣＰＵ及び／又は他の種類の処理ユニットの組合せ又はシステムによっても具現化可能である。ソフトウェアは、対応するメモリに、例えばＲＡＭのような揮発性メモリに、又は、フラッシュのような不揮発性メモリにダウンロード及び／又は格納しておくことが可能である。代替的に、それぞれのシステムのプロセッササブシステムは、プログラマブルロジックの形態で、例えばフィールドプログラマブルゲートアレイ（ＦＰＧＡ）として装置又は機器に実装可能である。一般的に、それぞれのシステムのそれぞれの機能ユニットは、回路の形態で実装可能である。それぞれのシステムは、分散された形式でも実装可能であり、例えば、分散されたローカルサーバ又はクラウドに基づくサーバのような複数の異なる装置又は機器を含み得る。いくつかの実施形態においては、システム１００は、車両、ロボット、若しくは、類似の物理エンティティの一部であるものとしてよく、及び／又は、物理エンティティを制御するように構成された制御システムを表すことができる。
【0041】
【0042】
本例においては、コンピュータ制御式のシステムは、生産ラインである。図面は、例えば生産ラインのそれぞれのステーションに対応する複数のそれぞれのステージにおいて製造されている製品を示す。例示的な一例として、図面は、生産ラインの３つのステーション２０１～２０３を示し、これらの３つのステーション２０１～２０３において、製造されるべき製品の３つのインスタンス２２１～２２３が処理される。１つ又は複数のそれぞれのステーションは、例えばそれぞれの製造ロボットによって実装可能である。
【0043】
図面は、生産ラインの測定データ２２４を取得する異常検出システム２１０をさらに示す。測定データは、１つ又は複数の物理量の測定値を含み得る。例えば、物理量は、製品２２１～２２３の物理量、ステーション２０１～２０３の入力物理量若しくは出力物理量、及び／又は、システム２００が動作している環境の物理量を含み得る。データは、製造ロボット２０１～２０３によって測定可能であり、及び／又は、製造ロボットの外部で、例えば１つ又は複数の外部センサによって測定可能である。
【0044】
測定データに基づいて、異常検出システムは、対応するセンサ測定値の外れ値尤度を示す重みを決定することができる。決定された重みは、システム２００において種々の手法により使用可能である。
【0045】
特に、図面に示されているように、重みを使用して、コンピュータ制御式のシステムの動作、本例においては生産ラインの動作に影響を与えるためのアクチュエータデータ２２６を導出することができる。
【0046】
特に、重みを使用して、測定データ２２４の第１の物理量が測定データ２２４の第２の物理量に対して及ぼす因果効果を示す因果性指標を決定することができる。例えば、因果性指標を、他方の方向における因果性指標と比較して、量同士の間の因果関係の方向を決定することができる。興味深いことに、第１の物理量が第２の物理量に対して因果効果を及ぼすことを判定することにより、システム２００は、第１の物理量に影響を与えるようにシステム２００を制御することが可能となる。特に、システム２１０は、データ駆動式の制御システムであるものとしてよく、例えば、システム２１０は、例えば事前に指定された動作範囲に到達するために、第１の物理量の識別に基づいて介入を自動的に決定することができる。
【0047】
特に、因果性指標は、生産ラインのこのケースにおいては、不具合の根本原因分析において使用可能である。例えば、不具合は、システムの不具合、又は、生産ラインの品質試験における不具合であり得る。フォルトツリー分析又は他の種類の根本原因分析を実施することによって、不具合の出所が、生産ラインの１つ又は複数の特定のステージ又はステーションであることを突きとめることができる。例えば、ステージは、塗装ステージ及び／又は溶接ステージを含み得る。したがって、本提示の技術を使用して、それぞれのステージと、不具合の態様との、例えばシステム又は品質試験の態様との関連性を識別することができる。図面に示されているように、不具合の出所が、ステーション、この例においてはステーション２０２であることを突きとめると、システム２１０は、この不具合を回復することを目的として、その識別されたステーション２０２の動作に影響を与えるためのアクチュエータデータ２２６を決定するように構成可能である。
【0048】
そのような根本原因分析は、特に因果グラフに基づくことができる。因果グラフは、複数のノードを含み得るものであり、これらの複数のノードは、結果に、例えば品質試験の結果に影響を与える可能性のあるそれぞれの因子を表す。例えば、グラフのノードの数は、少なくとも３個、少なくとも５個、又は、少なくとも１０個であるものとしてよい。エッジは、ノードによって表される因子同士の間の因果関係を表すことができる。
【0049】
因果グラフを決定する際に使用することができる種々の技術は、それ自体公知である。既存の技術を使用して、任意選択的に１つ又は複数の有向エッジと組み合わせて、１つ又は複数の無向エッジを有するグラフを決定することができる。例えば、既存の技術を使用して、ノードのペアの間に因果関係が存在していることは示すが、どの方向に存在するのかは示さないようなグラフを決定することができる。このようなグラフは、マルコフ等価クラスとしても公知である。使用することができるアルゴリズムの例は、ＰＣ（Peter-Clark）アルゴリズム、及び、高速因果推論（Fast Causal Inference：ＦＣＩ）アルゴリズムである。例えば、Thuc Duy Leら著の「“A fast PC algorithm for high dimensional causal discovery with multi-core PCs”，arXiv:1502.02454（参照により本明細書に援用される）」と、TS Vermaら著の「“Equivalence and Synthesis of Causal Models”，proceedings UAI’90（参照により本明細書に援用される）」とを参照されたい。例えば、既存の技術によれば、複数の因子からなる部分的に無向のグラフを取得し、反復的にエッジを除去すること、及び／又は、エッジの向きを決めることによってこれを更新することができる。本明細書において説明される技術を、例えばこのような技術と組み合わせて使用して、決定された因果関係に対応するエッジの向きを提供することができる。
【0050】
因果グラフを使用して、コンピュータ制御式のシステム２００への有効な介入を自動的に決定することができる。特に、不具合のケースに対して反実仮想分析を実施して、不具合の原因となった１つ又は複数の因子を、例えばこれらの因子の変更に基づいて識別し、判断を覆すのに必要な行動（recourse）を実施することによって、例えば、シナリオを再生してその不具合が解消されることを確認することによって、介入を決定することができる。具体的には、製造工場２００において、製造される部品２２１～２２３は、生産ラインの終了時に１つ又は複数の一連の品質試験を受ける場合がある。ある部品２２１－２２３が、ある特定の品質試験に不合格となった場合には、反実仮想分析を使用して、その不合格の原因であるステーション２０２を指摘することができる。決定された介入は、例えば、ユーザに出力されるものとしてもよいし、又は、自動的な適用のために制御システムに出力されるものとしてもよい。
【0051】
特に、反実仮想分析は、１つ又は複数の観測された量（例えば、試験及び／又は定点観測）から１つ又は複数の未観測因子（例えば、環境因子）に関する事後分布の推定を決定することに基づくことができる。因果グラフを使用することにより、そのような推定を、計算的により効率的な手法により生成することができる。事後分布が与えられると、因果効果を及ぼすことが識別された１つ又は複数のステーションに対する修正された挙動を仮定してシナリオをシミュレーションし直すことができ、例えば、介入によってその部品が、前回は不合格であった試験に今は合格するかどうかを確認することによって、この介入の効果を判定することができる。
【0052】
根本原因分析においては、分析されているセンサ測定値のうちの１つ又は複数に対して非実数値データを使用することが可能であることが特に有益である。例えば、因果グラフが決定されるセンサ測定値のうちの１つ又は複数は、カテゴリカルであるものとしてもよいし、又は、バイナリであるものとしてもよい。例えば、センサ測定値は、品質試験の結果を表すことができ、例えば、交通信号灯のフラグ又はそれに類するものとしてカテゴリカルに表されるものとしてもよいし、又は、製造された部品に関する合格／不合格のフラグとしてバイナリで表されるものとしてもよい。センサ測定値のうちの１つ又は複数は、例えば、製造プロセスの特定のステップの後に捕捉された画像の画像データであるものとしてもよい。例えば、センサ測定値は、ピクセルレベルの光又は色の強度を表すことができる。
【0053】
根本原因分析の他に、本明細書において説明される異常検出及び／又は因果分析は、コンピュータ制御式のシステムの文脈における種々の他の用途も有する。特に、異常検出を使用して、決定された重みが閾値を超えた場合に、例えば人間のユーザ又は別のシステムに警報を発することができる。したがって、本説明の異常検出を使用して、より正確な警報を決定することができ、及び／又は、他の異常検出技術が十分に適していない種類のセンサのための、例えば非浮動小数点センサデータのための警報を決定することができる。他の用途は、決定された因果性指標、又は、因果性指標から導出されたデータを出力して、システムにおいて変化する関連する量に関する情報を提供することにより、実験計画法において使用することである。より一般的には、因果方向における真のデータ生成プロセスに関する情報を提供することにより、本提示の技術は、関連する正確な信号により、システムの挙動を制御する権限、又は、望ましくない挙動、例えばシステムの不具合の本当の原因を識別する権限を、ドメイン専門家に与えることができる。
【0054】
これらの技術は、この図面においては製造システムを参照しながら説明されているが、これに限定されるものではない。本提示の技術は、広範囲のコンピュータ制御式のシステムに適用可能であり、例えば、システム２１０は、車両制御システム、家電製品若しくは電動工具の制御装置、ロボット制御システム、製造制御システム、又は、建築物制御システムであるものとしてよい。また、使用されるセンサ測定値２２４は、種々の種類のセンサによって測定されたものであってよい。例えば、センサ測定値２２４は、画像センサによる測定値、例えばビデオデータ、レーダデータ、ライダ（ＬｉＤＡＲ）データ、超音波データ、モーションデータ、若しくは、熱画像データを含み得るものであり、及び／又は、音響センサによる測定値を含み得る。このような種類の測定値に作用するカーネル関数は、それ自体公知である。
【0055】
図３ａは、センサ測定値における異常を検出する詳細であるが非限定的な一例を示す。異常検出は、例えば図４に関して説明されるように、因果性指標を決定するために使用可能であるが、他の目的のために、例えば異常が発見された場合に警報を発するためにも実施可能である。
【0056】
図面には、取得動作ＡＣＱ，３１０が示されており、この取得動作ＡＣＱ，３１０においては、物理量の複数のセンサ測定値が含まれる測定データ３１５を取得することができる。測定データを、Ｎ個のサンプルの集合
として表すことができる。他の箇所でも説明されるように、種々の種類のセンサ測定値が可能であり、例えば、デジタル画像、例えばビデオ画像、レーダ画像、ライダ（ＬｉＤＡＲ）画像、超音波画像、モーション画像、若しくは、熱画像、音響信号、又は、カーネルを定義することができる他の種類のデータが可能である。この取得は、測定値の前処理を含み得るものであり、例えば、sklearnのRobustScalerのような外れ値のロバストスケーリング動作を使用してデータ集合を標準化することができる。
【数1】
【0057】
一般的に、種々の種類のセンサ測定値が可能である。センサ測定値は、実数値であってもよいし、又は、実数値でなくてもよく、例えば、センサ測定値は、（例えば、量子化又は索引作成によって取得される）カテゴリ値であってもよいし、又は、バイナリ値であってもよい。センサ測定値は、複数の値、例えば少なくとも２つ又は少なくとも３つの値のベクトルであるものとしてもよい。例えば、ベクトル値は、実数値、例えば向きを持った速度又は勾配であるものとしてよいが、ベクトルは、１つ又は複数の非実数値の値も含み得る。特に、それぞれのセンサ測定値は、それぞれの時系列を表すことができ、例えば、時系列は、単一の多変量オブジェクトとみなすことができ、例えば、この時系列に基づいて、グローバルアライメントカーネルのような時系列カーネルを定義することができる。
【0058】
任意選択肢の次のステップとして、抽出ステップＥｘｔｒ，３２０を実施することができ、この抽出ステップＥｘｔｒ，３２０においては、測定データからサンプルの部分集合３２５が決定され、この部分集合３２５に対して重みが決定される。この集合は、コア集合ｐｘ，Ｍとも称される。機械学習モデルの訓練及び／又はモデル非合致の判定のような、本明細書において説明される他のステップは、依然として全ての測定データに対して実施可能である。サンプルの部分集合のみに対して重みを決定することにより、サンプルの各々に対する重みを学習しないという犠牲を払って、重み決定ステップの効率を大幅に改善することができる。
【0059】
特に、本明細書において説明される重み決定動作の種々の実装形態は、決定されるべき重みの数を二次的にスケーリングすることができる。抽出Ｅｘｔｒを実施することにより、本明細書において説明される重み付けされた分布
を、元のデータ集合から少なくとも部分的にランダムに引き出されるより少数のサンプルＭ＜＜Ｎに制限することができる。したがって、Ｍ個のサンプルの部分集合ｐｘ，Ｍと、それに対応する重み付けされたバージョン
とを取得することができる。参照用の経験分布ｐｘ，Ｎのサイズは、重みを決定するという最適化問題の次元には影響を与えない可能性があり、したがって、例えばグラム行列の計算限界内で必要に応じて増大することができる。複数の重みが決定され、例えば、抽出が実施されるかどうかにかかわらず、重みが決定されるセンサ測定値の数は、例えば、多くとも若しくは少なくとも１００個、多くとも若しくは少なくとも１０００個、又は、多くとも若しくは少なくとも１００００個であるものとしてよい。元のデータ集合は、より大きいものとしてよく、例えば、少なくとも１０００００個又は少なくとも１００００００個の測定値を含み得る。
【数2】
【数3】
【0060】
どのようにして部分集合を選択すべきか、及び、これが有益であるかどうかは、用途に依存している。例えば、因果性指標を決定する際には、抽出Ｅｘｔｒを実施することが有益であろう。なぜなら、このケースにおいては、決定された指標の品質が大幅に低下することはないが、性能は改善されるからである。このケースにおいては、部分集合を、少なくとも部分的にランダムに決定することができる。例えば警報を発するために異常検出自体を実施する場合には、例えば抽出動作Ｅｘｔｒを使用して、最新の測定値と、以前の測定値のランダムな選択とが含まれる部分集合を選択することが可能であり、又は、異常検出を、全ての履歴に基づいて行うことができ、又は、異常検出を、例えば固定数の又は固定期間からの最新のセンサ測定値に基づいて行うことができる。
【0061】
特定の一例として、元の集合の分布を表すためにコア集合ＤＣを選択することができる。このことは、例えば、物理量の値に関するカーネル密度推定（kernel density estimation：ＫＤＥ）の推定値に基づいて実施可能である。例えば、多数の希少なサンプル、例えば、固定数のｋ個のサンプル、又は、特定の閾値ｐ未満の確率、例えば、ｐ＝０．０５未満の確率を有するサンプルを含めることができる。多数のサンプル、例えばＭ－ｋ個のサンプルをランダムに選択することができる。この後者のランダムな選択を、例えば複数回実施することができ、その際、選択される部分集合は、例えば元の集合に対する最小のＭＭＤを有するデータ集合を表すように選択される。データ集合が十分に小さい場合には、上記の手順の結果として自動的に元の集合が生じる可能性があるということが留意されるものとするとよい。
【0062】
さらに、図面には、重み決定動作ＷＤｅｔ，３３０が示されている。重み決定動作ＷＤｅｔは、それぞれのセンサ測定値に対するそれぞれの重み
を決定するように構成可能である。測定データｐｘ，Ｍと、重みに従ってセンサ測定値を再重み付けすることによって取得される混合分布との間の確率分布の差を最大化することによって、重みを決定することができる。換言すれば、サンプル
が与えられると、重みベクトル
が、混合分布
を不一致尺度Ｄ（・，・）に従ってｐｘ，Ｎから最大限に異ならせるように、この重みベクトル
を決定することができる。これらの重みを、それぞれのセンサ測定値に対する外れ値尤度の指標として出力することができ、例えば、これらの重みが組み込まれた混合分布３３５を出力するという形態で出力することができる。
【数4】
【数5】
【数6】
【数7】
【数8】
【0063】
混合分布を使用することによって、周辺分布に変化を導入することができる。説明されるように、このような変化を使用することにより、周辺分布と、対応する条件付き分布との間の潜在的な依存性を明らかにすることができる。このことは、必ずしも介入と同様のダイナミクスを保持するものではないということが留意される。
【0064】
特に、混合分布を、重み付けされたディラック混合分布として定義することができる。より具体的には、未知の周辺ｐｘを有するＤｘが与えられると、それぞれのサンプルに対して定義されたディラックデルタ分布
の一様混合分布として定義された、これらのサンプルに対する経験分布、例えば、
によって、元のセンサ測定値を識別することができる。
【数9】
【数10】
【0065】
このことは、
のように、サンプル集合に対して定義された対応する離散的な経験累積分布関数
（empirical cumulative distribution function：ｅＣＤＦ）を有する確率密度関数としてみなすことができ、ここで、１（・）は、指標関数であり、不等式は、成分ごと（entry-wise）である。
【数11】
【数12】
【0066】
測定データのこの定義に基づくと、重みに従ってセンサ測定値から取得される混合分布を、経験分布の汎化として、特に、
によって表されるディラック分布
の要素の重み付けされた混合、例えば、
として取得することができ、ここで、
は、
を満たす非負の重みベクトルであり、ここで、
は、全１ベクトルである。
【数13】
【数14】
【数15】
【数16】
【数17】
【数18】
【0067】
センサ測定値と混合分布との間の不一致を最大化することによって、重みを取得することができる。この不一致は、正定値カーネル関数
に関して定義されたカーネルに基づく不一致であるものとしてよい。一旦定義されると、カーネル
は、データ空間
に対するあらゆる制約を解除することができる。具体的には、不一致は、最大平均不一致（maximum mean discrepancy：ＭＭＤ）に基づくことができる。ＭＭＤは、他の理由がある中でも特にその分析の扱いやすさにおいて有利である。
【数19】
【数20】
【数21】
【0068】
カーネルｋが与えられると、ＭＭＤは、分布のカーネル埋め込み間の再生核ヒルベルト空間（reproducing kernel Hilbert space：ＲＫＨＳ）
におけるノルムとして
のように表現することができ、ここで、μｐ及びμｑは、それぞれ、特徴写像ｋ（ｘ，・）を介したヒルベルト空間
におけるｐ及びｑの平均埋め込みである。現在のデータに依存して種々のカーネルを使用することができ、良好なデフォルトの選択は、平方指数カーネル
であり、ここで、σは、長さスケールである。例えば、最尤推定を使用して、例えば、ｋ倍交差検証スキームにおけるカーネル密度推定器を使用して、例えばｋ＝５を使用して、長さスケールを選択することができる。
【数22】
【数23】
【数24】
【数25】
【0069】
特に、不一致は、二乗最大平均不一致に基づくことができる。二乗ＭＭＤの利点は、
によって与えられる、分析的に扱いやすい二次形式の経験推定器を有することであり、ここで、
及び
は、それぞれｐ及びｑから引き出された有限のサンプル集合である。
【数26】
【数27】
【数28】
【0070】
特に、測定データ、換言すれば経験分布ｐｘ，Ｎと、混合分布、換言すれば経験分布の重み付けされたバージョン
との間の二乗ＭＭＤ不一致は、
のように計算可能であり、ここで、
は、サンプル集合Ｄｘにおけるカーネルｋのグラム行列である。
【数29】
【数30】
【数31】
【0071】
不一致尺度としての二乗ＭＭＤに基づくと、測定データと混合分布との間の不一致を最大化するというタスクを、数学的に
のように書き表すことができる。
【数32】
【0072】
上記において説明されるような最適化問題は、目的の凸性（ＭＭＤは両方の引数においてともに凸であるので）と、両方の制約の線形性とにもかかわらず非凸のままであるということが留意されるものとするとよい。このことは、凸目的が最小化されているのではなく最大化されており、これによって目的が、凸最適化問題の標準形式の凹関数になるという事実に起因する。
【0073】
興味深いことに、半正定値緩和を適用することによって、最適化問題を依然として効率的に解くことができる。特に、二乗ＭＭＤの閉形式の推定器が、最適化変数
において二次形式を有することに留意すると、半正定値緩和を２ステップの手順として適用することができる。まず始めに、例えば目的関数を線形にすることができる
を定義することによって、最適化問題をより高次元の空間に持ち上げることができる。次いで、扱いにくい制約に対して凸緩和を適用することができる。上記の最大化問題のために、二次制約付き二次計画法（quadratically constraint quadratic program：ＱＣＱＰ）の形式である以下の緩和：
を取得することができ、ここで、
は、グラム行列であり、・は、
として定義される行列空間におけるドット積を表す。ＱＣＱＰを効率的に解くための技術は、当分野においてそれ自体公知であり、本明細書において適用可能であり、例えば、S. Diamondら著の「“CVXPY: A Python-embedded modeling language for convex optimization”，Journal of Machine Learning Research，2016」に記載されているような、ソフトウェアライブラリｃｖｘｐｙを参照されたい。
【数33】
【数34】
【数35】
【数36】
【数37】
【0074】
半正定値緩和に対する解に基づいて、重みを決定することができる。上記の定式化においては、解
が、元の最大化問題に対する最適な解であることを保証することができ、例えば、条件
が満たされている場合、特に、
がランク１である場合には、
であることを保証することができる。このことは、特に、
が、元の最適化問題の実行可能解である場合に当てはまる可能性がある。分布の重みは、
として復元可能である。ランク１の条件が満たされていない場合でも、ＳＤＲ定式化から取得される解
を、依然として使用することができる。なぜなら、この解は、実際には重み付けされた経験分布にとって良好な推定値であることが判明した元の定式化の最適値に対する下限を提供するからである。重みベクトルは、例えば
のように、半正定値緩和に基づいて推定可能である。
【数38】
【数39】
【数40】
【数41】
【数42】
【数43】
【数44】
【数45】
【0075】
現実的な観点から、上記において説明される不一致の最大化に追加的な制約を導入することが有益であろう。特に、センサ測定値の最大重みを制約すること、及び／又は、一様混合分布からの最大偏差を制約することが、特に訓練の安定性を改善するために有益であろう。
【0076】
特に、ＭＭＤに基づく不一致尺度を使用する場合には、
である（ここで、
は、上限ノルムである）という意味で、達成可能解が、多くのケースにおいてはディラック様の分布であるということが留意されるものとするとよい。このことは、最適化問題を、
のようなさらなる制約によって拡張することによって回避可能であり、これにより、単一のデータ点において許容される最大確率質量が直接的に制約され、ここで、ｂα∈［１／Ｍ，１．０］は、ハイパーパラメータである。同様に、一様混合分布からの最大偏差を、以下の制約
を使用して制約することができ、ここで、ｂＤは、スラック変数である。左辺は、異なるグラム行列を有する上記と同様の最適化変数
の線形関数である。興味深いことに、上記の制約は、両方とも凸であり、したがって、これらの制約のいずれか一方が拡張された場合には、ＳＤＲ定式化は、凸最適化問題のままである。
【数46】
【数47】
【数48】
【数49】
【数50】
【0077】
図３ｂは、異常検出が適用されるデータの詳細であるが非限定的な一例を示す。図３ａに関して説明されるように、図面は、半正定値緩和を使用してＭＭＤに基づく不一致を最大化した結果を示す。本例におけるデータは、２Ｄガウスデータ集合である。真の分布は、
であり、ここから、Ｎ＝１００個のサンプルが示されており、図面において十字で示されている。十字の周りの円は、重み付けされた分布
の重み
を表す。本例においては、本提示の技術により、それぞれの点に対して実質的に同一の重みが割り当てられた。本例においては、最大重みに関する制約ｂα＝０．１が使用されており、特に、図３ａに関して説明されるランク１の条件は、本例においては満たされていなかった。解が、希少な点において比較的大きい重みをもたらし、これによって外れ値検出の成功が提供されるということが依然として留意されるものとするとよい。
【数51】
【数52】
【数53】
【0078】
【0079】
具体的には、図面は、例えば図３ａの取得動作３１０に基づく取得動作Ａｃｑ，４１０を示す。この動作においては、第１の物理量及び第２の物理量のセンサ測定値のペア（ｘｉ，ｙｉ），４１５が含まれる測定データを取得することができる。このデータから、物理量ｘが物理量ｙに対して及ぼす因果効果を示す因果性指標を決定することができる。センサ測定値は、他の箇所でも説明されるような種々の種類のものであってよい。特に、それぞれのセンサ測定値は、１つ又は複数の物理量の測定値のそれぞれの時系列であるものとしてよく、このケースにおいては、因果分析は、特に時系列データに関して、因果推論の分野においてそれ自体公知であるような概要グラフを出力することができる。
【0080】
因果効果は、因果メカニズムの独立性（Independence of Causal Mechanisms：ＩＣＭ）の原理に基づいて識別可能である。この原理は、純粋なデータ生成プロセスが、相互に通知を与えたり又は影響を及ぼしたりしない独立したモジュールへと分解されるということを仮定している。このような独立性は、実際には反因果的な分解では保持される可能性が低い。具体的には、同時分布ｐｘｙを有する二変量の因果グラフｘ→ｙにおいて、ＩＣＭは、ｐｙ｜ｘ⊥ｐｘで表される、周辺ｐｘと条件ｐｙ｜ｘとの間の独立性を示唆することができる。ＩＣＭは、因果推論のために使用することができる二変量系における非対称性を効果的に誘導することができる。
【0081】
数学的に、
が、例えば観測状況ｐｘｙにおいて二変量系から受動的に取得されるＮ個の独立同分布（i.i.d）のサンプルの集合４１５を表すものとし、ここで、
及び
は、それぞれ周辺ｐｘ及びｐｙに続いている２つのランダム変数である。Ｄｘ＝｛ｘｎ｜（ｘｎ，ｙｎ）∈Ｄ｝は、データ集合のｘ共変量図を表すものとし、Ｄｙについても同様である。
【数54】
【数55】
【数56】
【0082】
図面に示されているように、因果効果の識別を実施するために、いくつかのステップを、それぞれの物理量ｘ，ｙごとに空間内で独立して実施することができ、これらの結果同士が、因果方向を決定するために比較される。特に、ｘがｙに対して及ぼす因果効果についての因果性指標と、ｙがｘに対して及ぼす因果効果についての因果性指標を決定することができ、これらの因果性指標を、互いに比較することができる。したがって、本提示の技術は、二変量系（ｘ，ｙ）についての観測状況からの因果効果推論を可能にすることができる。
【0083】
本説明の技術の基礎となる数学的枠組みは、多数の仮定に基づいて、特に、非循環性と、因果リンク（例えば、ｘ→ｙ又はｙ→ｘ）の存在と、例えば全ての関連する共変量が観測されることを仮定した因果十分性とに基づいて定義可能である。因果効果空間が同一であり、したがって、これらの空間にわたる不一致が同等であるということを、さらなる仮定とすることができる。興味深いことに、これらの仮定が完全には満たされていない場合であっても、本提示の技術は、良好な結果を提供することが分かった。このことは、ランダム化因子を用いて訓練される特定のモデルに対する非合致バイアスの可能性があるにも拘らず、である。実際に、同一のデータに対して同一のモデルを訓練する場合、それでもなおランダム化因子に起因して、訓練されたモデル同士は、典型的には全てのテストケースに対して合致しない。この非合致バイアスは、非合致バイアスがさほど優勢ではないモデルを選択することによって、例えば、ニューラルネットワークとは異なる種類のモデルを選択することによって打ち消すことができる。
【0084】
図面に示されているように、それぞれ抽出動作Ｅｘｔｒ１，４２０及びＥｘｔｒ２，４２１において、２つの物理量に対して別々にサンプルｐｘ，Ｍ，４２５；ｐｙ，Ｍ，４２８の部分集合を決定することができる。図３ａに関して説明されるように、そのような抽出動作は、任意選択肢であるが、計算効率を改善するために有益である。これらの部分集合は、独立して選択可能であり、例えば、測定値の所与のペア（ｘｉ，ｙｉ）に関して、部分集合ｐｘ，Ｍではｘｉが選択されるが、部分集合ｐｙ，Ｍではｙｉが選択されないこと、又は、その逆とすることが可能である。
【0085】
また、ＷＤｅｔ１，４３０，ＷＤｅｔ２，４３１において、２つの物理量に対して別々にそれぞれの測定データと、それぞれの混合分布との間の不一致を最大化することによって、重み
，４３５，
，４３８のそれぞれの集合を決定することができる。例えば、
，４３５は、ＭＭＤ不一致尺度に基づいて集合ｐｘ，Ｎ又はコア集合ｐｘ，Ｍ，４２５から最大限に異なっているｐ（ｘ）の重み付けされたディラック混合分布として決定可能であり、
，４３８は、重みベクトル
を有する、ＭＭＤ不一致尺度に基づいて集合ｐｙ，Ｎ又はコア集合ｐｙ，Ｍ，４２８から最大限に異なっているｐ（ｙ）の重み付けされたディラック混合分布として決定可能である。ここでも、図３ａに関して説明される種々の任意選択肢、例えば、例えば、センサ測定値の最大重みを制約すること、及び／又は、一様混合分布からの最大偏差を制約することが適用される。
【数57】
【数58】
【数59】
【数60】
【数61】
【0086】
上記において説明される異常検出を実施し、これによってそれぞれの物理量に対する混合分布４３５，４３８を決定した後、フォローアップステップにより、他の物理量が与えられた場合に人工的に生成されたこれらの変化が物理量の条件付き分布に対して及ぼす影響を定量化することができる。例えば、条件ｐｘ｜ｙ及びｐｙ｜ｘに対する影響を、それぞれ周辺ｐｘ，Ｎ及び
の範囲内で定量化することができ、また同様にｐｙ，Ｎから
に定量化することができる。物理量ｘ，ｙの周辺分布に変化を導入するために、換言すれば、元の確率分布ｐｘ，Ｍ，ｐｙ，Ｍとの不一致を有する修正された確率分布
，４３５、及び、
を決定するために、原則として、本説明の動作ＷＤｅｔ１，ＷＤｅｔ２以外の他の技術を使用することが可能であるということが留意される。ＩＣＭの原理も、依然として使用可能である。
【数62】
【数63】
【数64】
【数65】
【0087】
定量化は、訓練動作Ｔｒｎ１，４４０及びＴｒｎ２，４４１に基づくことができる。ｘ→ｙ方向に対応する動作Ｔｒｎ１においては、測定データ４１５（又はコア集合４２５）に基づいて第１の物理量ｘから第２の物理量ｙを予測するように、
第１の予測モデル
，４４５を訓練することができる。再重み付けされたセンサ測定値４３５に基づいて第１の物理量ｘから第２の物理量ｙを予測するように、
第２の予測モデル
，４４６を訓練することができる。逆方向において、動作Ｔｒｎ２は、それぞれ測定データ４１５（又はコア集合４２８）と混合分布４３８とに基づいて、予測モデル
，４４８及び
，４４９を当てはめることができる。
第１の予測モデル
【数66】
第２の予測モデル
【数67】
【数68】
【数69】
【0088】
予測モデルに関して、種々の任意選択肢が可能である。興味深いことに、本提案の技術は、一般的に、使用されるモデルに関して殆ど制限を有していない。しかしながら、複数のモデルが、各自の訓練集合に対して同様に動作することが望ましい。このことは、例えば、訓練プロセスを監視し、必要であれば早期停止を実施することによって達成可能であり、又は、過剰パラメータ化されたモデルを、ほぼゼロ又はゼロの訓練誤差になるように訓練することによって達成可能である。
【0089】
正確な因果性指標を取得するために、一般的に、物理量ｘ，ｙ同士の間の関係を表すために十分な能力を有するように、モデルを選択することができる。例えば、使用されるモデルの訓練可能なパラメータの数は、少なくとも１０００個、少なくとも１００００個、又は、少なくとも１０００００個であるものとしてよい。具体的な一例として、予測モデルは、ガウス過程であるものとしてよい。特に、例えばＧＰモデルの予測のために平均値を使用して、Ｅｘａｃｔ－ＧＰモデルを使用することができる。他の例として、予測モデルは、ニューラルネットワークであるものとしてよい。
【0090】
訓練Ｔｒｎ１，Ｔｒｎ２のために、それ自体公知の種々の技術を使用することができ、例えば、確率的勾配降下法のような確率的アプローチを使用して、例えば、Kingma及びBa著の「“Adam: A Method for Stochastic Optimization”（https://arxiv.org/abs/1412.6980で入手可能であり、参照により本明細書に援用される）」で開示されているAdam最適化器を使用して、訓練を実施することができる。公知のように、そのような最適化方法は、ヒューリスティックであるものとしてよく、及び／又は、局所的最適解に到達することができる。例えば、重み付けされた経験分布４３５，４３８に対して予測モデル４４６，４４９を当てはめるために、対応する重みを、モデルの損失関数におけるサンプル重みとして使用することができる。ガウス過程の設定における重み付けされた分布に対する訓練の一例は、J. Wenら著の「“Weighted Gaussian Process for estimating treatment effect”，proceedings NIPS 2018（参照により本明細書に援用される）」に記載されている。ニューラルネットワークの場合には、重み付けされた分布に対する訓練は、例えば、M. Steiningerら著の「“Density-based weighting for imbalanced regression”，Machine Learning, 110(8):2187-2211, 2021（参照により本明細書に援用される）」に記載されているように実施可能である。
【0091】
定量化動作Ｑｕａｎｔ１，４５０及びＱｕａｎｔ２，４５１においては、訓練されたモデル４４５～４４６，４４８～４４９に基づいて、それぞれ方向ｘ→ｙ及び方向ｙ→ｘに関する因果性指標４５５，４５８を決定することができる。因果性指標４５５（又は４５８）は、訓練されたモデル４４５，４４６（又は４４８，４４９）同士のモデル非合致に基づいて、ある物理量ｘ（又はｙ）がさらなる物理量ｙ（又はｘ）に対して及ぼす因果効果を示すことができる。
【0092】
特に、ＩＣＭは、ｘ→ｙがデータ生成プロセスの真の因果方向である場合、導入された周辺変化がｇモデル４４８，４４９に対して及ぼす影響が、ｆモデル４４５，４４６に対して及ぼす影響よりもより明らかである可能性が高いということを仮定することができる。この影響を、（場合によってはラベル付けされていない）集合に対するモデル非合致によって定量化することができる。特に、モデル非合致４５５は、共通集合に対する訓練されたモデル４４５，４４６の予測同士の間の最大平均不一致に基づくことができる：
【数70】
【0093】
ここで、ｘ～ｐｘ（ｘ）、例えばＤｘにおける全てのサンプル４１５又はそれらのランダムな部分集合を使用することができる。他方の方向におけるモデル非合致Ｓｙ→ｘ，４５８も、同様に決定することができる。
【0094】
説明されるように、因果性指標４５５（又は４５８）自体は、必ずしも他方の方向における因果性指標を決定しなくても出力可能である。例えば、値Ｓｘ→ｙ又はＳｙ→ｘ自体を出力することができ、又は、例えば閾値とすることができる。
【0095】
他の実施形態においては、因果性指標４５５，４５８が決定されると、これらの因果性指標４５５，４５８は、推論動作ＣＩｎｆｅｒ，４６０において互いに比較され、これにより、因果方向、例えばｘ→ｙ又はｙ→ｘ，４６５が推論される。特に、スコアＳｘ→ｙ，４５５及びＳｙ→ｘ，４５８のうちの低い方を、因果方向の指標として使用することができる。
【0096】
特に、以下のアルゴリズムは、本明細書において説明される動作４３０～４３１，４４０～４４１，４５０～４５１，４６０の例示的な実装形態を示す：
【表1】
【0097】
上記において説明される定量化動作Ｑｕａｎｔ１，Ｑｕａｎｔ２に代えて、モデル非合致における、重みを決定するＷＤｅｔ１，ＷＤｅｔ２際に使用される最大重みの変動値についての傾向に基づいて、因果性指標４５５，４５８を決定することも可能である。
【0098】
このような傾向を使用することにより、特にＣＩｎｆｅｒ動作において因果性指標同士を比較する際の因果性指標同士の間の比較可能性を改善することができる。数学的に言えば、空間にわたるＭＭＤ値の比較に基づいているが、傾向には基づいていない比較は、データ空間
及びカーネル
が同等であるという仮定に暗黙的に基づいている可能性がある。このような暗黙の仮定は、多くの先行研究にも存在する。この仮定は、データ空間同士及び／又はカーネル同士が過度に異なっている場合には、このような比較が、実際にはさほど正確ではないということを意味する。
【数71】
【数72】
【0099】
興味深いことに、傾向を使用することによって、この暗黙の仮定を回避することができる。本発明者らは、例えば、ｐ・，Ｎ，４２５と、
，４３５との間の達成可能な不一致が、センサ測定値の最大重みを制約するために使用されるハイパーパラメータｂαに関してほぼ単調であることを観測した。結果として、ｂαの値を増加させるための重みを決定することは、反因果方向の非合致スコアの増加傾向において反映される可能性が高い。しかしながら、因果方向においては、非合致スコアがほぼ一定のままであることが予想される。したがって、この傾向を使用して、因果性指標４５５，４５８を、例えば線形回帰係数又は類似のものとして決定することができる。例えば、ＣＩｎｆｅｒ動作において因果性指標の値同士を比較すること、適当な統計的検定を実施すること等によって、傾向同士を比較することができる。
【数73】
【0100】
このことは、図５に関連してさらに示されている。図５は、センサ測定値のペアに対して決定された因果性指標の詳細であるが非限定的な一例を示す。図面は、J. Mooijら著の「“Distinguishing cause from effect using observational data: methods and benchmarks”，Journal of Machine Learning Research，2016」において生成されたシミュレーションデータに対して本説明の技術を適用したものを示す。具体的には、本例においては、ＳＩＭデータ集合の第１のペアが使用された。このデータに対する真の因果構造は、ｙ→ｘである。本例は、２つの因果方向に関する本明細書において説明されるモデル非合致を、最大重みハイパーパラメータｂαの関数として示す。
【0101】
因果方向におけるモデル非合致は、反因果方向におけるモデル非合致よりも一貫して小さいことが観測される。したがって、モデル非合致同士を比較することによって、真の因果方向を決定することができる。また、モデル非合致が、最大重みハイパーパラメータｂαの変動値について、因果方向ではなく反因果方向において増加傾向を有することも観測される。したがって、モデル非合致における傾向同士を比較することによっても、真の因果方向を決定することができる。
【0102】
ここで、二乗最大平均不一致の半正定値緩和を使用して重みを決定するための手法について、いくつかの数学的な詳細を提示する。
【0103】
一般的に言えば、重みを決定するために、以下の問題を考慮することができる。ランダム変数
からのサンプルの集合
が与えられると、混合分布
を不一致尺度Ｄ（・，・）においてｐｘ，Ｎから最大限に異ならせるような重みベクトル
が発見される。この問題を、カーネルに基づくＭＭＤ測定値
を用いて
のように表すことができ、ここで、
は、次元Ｎを有する１のベクトルを指す。最適化される量を、
のように再定式化することができ、ここで、
は、サンプル集合Ｄｘにおけるカーネル関数
のグラム行列である。したがって、最適化問題を、
のように書き表すことができる。
【数74】
【数75】
【数76】
【数77】
【数78】
【数79】
【数80】
【数81】
【数82】
【数83】
【数84】
【0104】
この最適化問題は、凸関数の最大化であるので凸最適化問題ではない。二乗ＭＭＤの閉形式の推定器が、最適化変数
において二次形式を有することに留意すると、この問題に、半正定値緩和（semidefinite relaxation：ＳＤＲ）として２ステップの手順において取り組むことができる。まず始めに、例えば目的関数が線形になるような
を定義することによって、この問題をより高次元の空間に持ち上げることができる。次いで、扱いにくい制約に対して凸緩和を適用することができる。問題に対する解に影響を与えることなく、かつ、行列のトレースの特性を使用することなく、上記の目的項を
のように再定式化することができ、第２の項についても同様に、
のように再定式化することができ、ここで、・は、
として定義される行列空間におけるドット積を表す。
【数85】
【数86】
【数87】
【数88】
【数89】
【0105】
条件
から、凸制約を抽出することができる。第１は、
の成分ごとの非負性に起因する、成分ごとの非負性
である。第２は、
において
として表すことができる正規化されたベクトルの結果
である。最後は、定義による
の類似性である。最後に、上記の等価条件を、
に緩和して、そのシューア補行列の形式で書き表すことができる。
【数90】
【数91】
【数92】
【数93】
【数94】
【数95】
【数96】
【数97】
【0106】
結果として、二次制約付き二次計画法（quadratically constraint quadratic program：ＱＣＱＰ）としての上記の最適化問題の緩和として、以下の定式化：
を取得することができる。
【数98】
【0107】
この問題が、既存の技術を使用して、例えばｃｖｘｐｙソフトウェアパッケージを使用して解くことができる凸制約を有する凸目的（線形）を有することを観測することができる。
【0108】
さらに、以下の問題を考慮することができる。それぞれ対応するランダム変数
を有する２つの分布ｐｘ，Ｎ及び
から２つのサンプル集合
及び
が与えられると、混合分布
を不一致尺度
に関してｐｘ，Ｎから最大限に異ならせるような重みベクトル
が発見される。
【数99】
【数100】
【数101】
【数102】
【数103】
【数104】
【数105】
【0109】
この問題を、
のように定式化することができる。
【数106】
【0110】
上記のように、目的を、
のように再定式化することができ、目的項を、
のように書き直すことができ、第２の項についても同様に、
のように書き直すことができる。
【数107】
【数108】
【数109】
【0111】
上記のように、制約を修正することができる。したがって、この最適化問題の緩和を、
のように定式化することができ、これは、
におけるＭ２最適化変数に対するＱＣＱＰである。
【数110】
【数111】
【0112】
図６は、物理量のセンサ測定値における異常を検出するコンピュータ実装された方法６００のブロック図を示す。方法６００は、図１のシステム１００の動作に対応することができる。しかしながら、このことに限定されるものではなく、したがって、方法６００を、別のシステム、機器又は装置を使用して実施することもできる。
【0113】
方法６００は、「測定」と称される動作において、物理量の複数のセンサ測定値が含まれる測定データを取得すること６１０を含み得る。方法６００は、「再重み付けの最大不一致」と称される動作において、測定データと、重みに従ってセンサ測定値を再重み付けすることによって取得される混合分布との間の不一致を最大化することによって、それぞれのセンサ測定値に対するそれぞれの重みを決定すること６２０を含み得る。方法６００は、「出力」と称される動作において、それぞれの重みを、それぞれのセンサ測定値に対する外れ値尤度の指標として出力すること６３０を含み得る。
【0114】
一般的に、図６の方法６００の動作は、任意の適当な順序により、例えば、連続的に、同時に、又は、それらの組合せにより実施可能であり、該当する場合には、例えば入力／出力の関係によって必要とされる特定の順序に従って実施可能であることが理解されるであろう。
【0115】
本方法は、コンピュータ実装された方法として、専用のハードウェアとして、又は、両方の組合せとしてコンピュータ上で実装可能である。図７にも示されているように、コンピュータに対する命令、例えば実行可能コードは、例えば、一連の機械可読の物理的なマーク７１０の形態で、及び／又は、それぞれ異なる電気的、例えば磁気的又は光学的な特性又は値を有する一連の要素として、コンピュータ可読媒体７００上に格納可能である。媒体７００は、一時的であるものとしてもよいし、又は、非一時的であるものとしてもよい。コンピュータ可読媒体の例には、メモリ装置、光学記憶装置、集積回路、サーバ、オンラインソフトウェア等が含まれる。図７は、光ディスク７００を示す。
【0116】
実施例、実施形態又は任意選択肢の特徴は、非限定的であると記載されているかどうかにかかわらず、特許請求される本発明を限定するものとして理解されるべきではない。
【0117】
上記において説明される実施形態が、本発明を限定するものではなく例示するものであり、当業者は、添付の特許請求の範囲から逸脱することなく、多くの代替的な実施形態を設計することが可能であるということが留意されるべきである。特許請求の範囲において、括弧の中に記載されたいかなる参照符号も、特許請求の範囲を限定するものとして解釈されるべきではない。“comprise（含む）”という動詞及びその活用形の使用は、特許請求の範囲に記載されているもの以外の要素又は段階の存在を排除するものではない。要素の前に付された“a”又は“an”という冠詞は、そのような要素の複数の存在を排除するものではない。要素のリスト又はグループの前に付された「少なくとも１つ」のような表現は、そのリスト又はグループからの要素の全て又は任意の部分集合の選択を表す。例えば、「Ａ、Ｂ及びＣのうちの少なくとも１つ」という表現は、Ａのみ、Ｂのみ、Ｃのみ、Ａ及びＢの両方、Ａ及びＣの両方、Ｂ及びＣの両方、又は、Ａ、Ｂ及びＣの全てを含むものとして理解されるべきである。本発明は、いくつかの別個の要素が含まれるハードウェアによって、及び、適当にプログラミングされたコンピュータによって実装可能である。いくつかの手段を列挙する装置クレームにおいては、これらの手段のうちのいくつかを、同一のハードウェアアイテムによって具現化することができる。ある特定の手段が、相互に異なる従属請求項に記載されているという単なる事実は、これらの手段の組合せを使用して利益を得ることができないということを示すものではない。
【図1】
【図2】
【図3a】
【図3b】
【図4】
【図5】
【図6】
【図7】
【手続補正書】
【提出日】2023-12-14
【手続補正1】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項1】
物理量のセンサ測定値における異常を検出するコンピュータ実装された方法（６００）であって、当該方法は、
・前記物理量の複数のセンサ測定値が含まれる測定データを取得すること（６１０）と、
・前記測定データと、重みに従って前記センサ測定値を再重み付けすることによって取得される混合分布との間の不一致を最大化することによって、それぞれのセンサ測定値に対するそれぞれの重みを決定すること（６２０）と、
・前記それぞれの重みを、前記それぞれのセンサ測定値に対する外れ値尤度の指標として出力すること（６３０）と、
を含む、方法（６００）。
・前記物理量の複数のセンサ測定値が含まれる測定データを取得すること（６１０）と、
・前記測定データと、重みに従って前記センサ測定値を再重み付けすることによって取得される混合分布との間の不一致を最大化することによって、それぞれのセンサ測定値に対するそれぞれの重みを決定すること（６２０）と、
・前記それぞれの重みを、前記それぞれのセンサ測定値に対する外れ値尤度の指標として出力すること（６３０）と、
を含む、方法（６００）。
【請求項2】
前記測定データは、前記物理量のセンサ測定値と、さらなる物理量のセンサ測定値とのペアを含み、
当該方法は、
・前記測定データに基づいて前記物理量から前記さらなる物理量を予測するように、第１の機械学習可能モデルを訓練することと、
・前記再重み付けされたセンサ測定値に基づいて前記物理量から前記さらなる物理量を予測するように、第２の機械学習可能モデルを訓練することと、
・前記物理量が前記さらなる物理量に対して及ぼす因果効果を示す因果性指標を決定することであって、前記因果性指標は、訓練された前記モデル同士のモデル非合致に基づいて決定される、ことと、
をさらに含む、請求項１に記載の方法（６００）。
当該方法は、
・前記測定データに基づいて前記物理量から前記さらなる物理量を予測するように、第１の機械学習可能モデルを訓練することと、
・前記再重み付けされたセンサ測定値に基づいて前記物理量から前記さらなる物理量を予測するように、第２の機械学習可能モデルを訓練することと、
・前記物理量が前記さらなる物理量に対して及ぼす因果効果を示す因果性指標を決定することであって、前記因果性指標は、訓練された前記モデル同士のモデル非合致に基づいて決定される、ことと、
をさらに含む、請求項１に記載の方法（６００）。
【請求項3】
当該方法は、
前記さらなる物理量が前記物理量に対して及ぼす因果効果を示すさらなる因果性指標を決定することと、
前記さらなる因果性指標を前記因果性指標と比較することと、
を含む、請求項２に記載の方法（６００）。
前記さらなる物理量が前記物理量に対して及ぼす因果効果を示すさらなる因果性指標を決定することと、
前記さらなる因果性指標を前記因果性指標と比較することと、
を含む、請求項２に記載の方法（６００）。
【請求項4】
前記測定データは、少なくとも３つの物理量の測定値を含み、
当該方法は、
・前記少なくとも３つの物理量の中からの前記物理量及び前記さらなる物理量を、因果関係を有するものとして識別することと、
・前記さらなる因果性指標と前記因果性指標との前記比較を使用して、識別された前記因果関係の方向を決定することと、
を含む、請求項３に記載の方法（６００）。
当該方法は、
・前記少なくとも３つの物理量の中からの前記物理量及び前記さらなる物理量を、因果関係を有するものとして識別することと、
・前記さらなる因果性指標と前記因果性指標との前記比較を使用して、識別された前記因果関係の方向を決定することと、
を含む、請求項３に記載の方法（６００）。
【請求項5】
当該方法は、コンピュータ制御式のシステムの不具合の根本原因分析を実施するためのものであり、
前記根本原因分析は、前記物理量が前記さらなる物理量に対して因果効果を及ぼすことを判定することに基づいて実施される、
請求項２に記載の方法（６００）。
前記根本原因分析は、前記物理量が前記さらなる物理量に対して因果効果を及ぼすことを判定することに基づいて実施される、
請求項２に記載の方法（６００）。
【請求項6】
前記モデル非合致は、訓練された前記モデルの予測同士の間の最大平均不一致に基づいて決定される、
請求項２に記載の方法（６００）。
請求項２に記載の方法（６００）。
【請求項7】
前記重みを決定することは、センサ測定値の最大重みを制約すること、及び／又は、一様混合分布からの最大偏差を制約することを含む、
請求項２に記載の方法（６００）。
請求項２に記載の方法（６００）。
【請求項8】
前記因果性指標は、前記モデル非合致における、前記最大重みの変動値についての傾向に基づいて決定される、
請求項７に記載の方法（６００）。
請求項７に記載の方法（６００）。
【請求項9】
前記センサ測定値は、コンピュータ制御式のシステムからのものであり、
当該方法は、前記物理量が前記さらなる物理量に対して因果効果を及ぼすことを判定することに基づいて前記物理量に影響を与えるように、前記システムを制御することをさらに含む、
請求項２に記載の方法（６００）。
当該方法は、前記物理量が前記さらなる物理量に対して因果効果を及ぼすことを判定することに基づいて前記物理量に影響を与えるように、前記システムを制御することをさらに含む、
請求項２に記載の方法（６００）。
【請求項10】
前記センサ測定値は、コンピュータ制御式のシステムからのものであり、
当該方法は、決定された重みが閾値を超えた場合に警報を発することをさらに含む、
請求項１に記載の方法（６００）。
当該方法は、決定された重みが閾値を超えた場合に警報を発することをさらに含む、
請求項１に記載の方法（６００）。
【請求項11】
前記不一致は、最大平均不一致に基づく、
請求項１に記載の方法（６００）。
請求項１に記載の方法（６００）。
【請求項12】
前記不一致は、二乗最大平均不一致に基づいており、
前記重みは、半正定値緩和を適用することによって決定される、
請求項１１に記載の方法（６００）。
前記重みは、半正定値緩和を適用することによって決定される、
請求項１１に記載の方法（６００）。
【請求項13】
当該方法は、前記測定データのサンプルの選択された部分集合に対して重みを決定することを含む、
請求項１に記載の方法（６００）。
請求項１に記載の方法（６００）。
【請求項14】
物理量のセンサ測定値における異常を検出するための異常検出システム（１００）であって、当該システムは、
・前記物理量の複数のセンサ測定値が含まれる測定データにアクセスするためのセンサインタフェース（１６０）と、
・プロセッササブシステム（１４０）と、
を備え、前記プロセッササブシステム（１４０）は、
・前記測定データと、重みに従って前記センサ測定値を再重み付けすることによって取得される混合分布との間の不一致を最大化することによって、それぞれのセンサ測定値に対するそれぞれの重みを決定し、
・前記それぞれの重みを、前記それぞれのセンサ測定値に対する外れ値尤度の指標として出力する
ように構成されている、異常検出システム（１００）。
・前記物理量の複数のセンサ測定値が含まれる測定データにアクセスするためのセンサインタフェース（１６０）と、
・プロセッササブシステム（１４０）と、
を備え、前記プロセッササブシステム（１４０）は、
・前記測定データと、重みに従って前記センサ測定値を再重み付けすることによって取得される混合分布との間の不一致を最大化することによって、それぞれのセンサ測定値に対するそれぞれの重みを決定し、
・前記それぞれの重みを、前記それぞれのセンサ測定値に対する外れ値尤度の指標として出力する
ように構成されている、異常検出システム（１００）。
【請求項15】
プロセッサシステムによって実行されたときに、請求項１に記載のコンピュータ実装された方法を前記プロセッサシステムに実施させるための命令を表すデータ（７１０）を格納している、一時的又は非一時的なコンピュータ可読媒体（７００）。
【外国語明細書】