特許 6404889 マルチセンサビジュアルアナリティクスのためのプロセッサ実装方法、マルチセンサデータを要約するシステム、及びマルチセンサビジュアルアナリティクスのための方法を実行するためのコンピュータプログラムを具現化した非一時的なコンピュータ可読媒体

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】6404889

(24)【登録日】2018年9月21日

(45)【発行日】2018年10月17日

(54)【発明の名称】マルチセンサビジュアルアナリティクスのためのプロセッサ実装方法、マルチセンサデータを要約するシステム、及びマルチセンサビジュアルアナリティクスのための方法を実行するためのコンピュータプログラムを具現化した非一時的なコンピュータ可読媒体

(51)【国際特許分類】

   G05B 23/02 20060101AFI20181004BHJP

   G06F 17/30 20060101ALI20181004BHJP

   G06F 17/18 20060101ALI20181004BHJP

   G06N 7/00 20060101ALI20181004BHJP

   G06N 99/00 20100101ALI20181004BHJP

   G06F 3/0481 20130101ALI20181004BHJP

   G06F 3/0484 20130101ALI20181004BHJP

【ＦＩ】

   G05B23/02 301T

   G06F17/30 220Z

   G06F17/18 D

   G06N7/00 150

   G06N99/00 156

   G06F3/0481

   G06F3/0484 170

【請求項の数】19

【外国語出願】

【全頁数】25

(21)【出願番号】特願2016-221243(P2016-221243)

(22)【出願日】2016年11月14日

(65)【公開番号】特開2017-117438(P2017-117438A)

(43)【公開日】2017年6月29日

【審査請求日】2017年2月15日

(31)【優先権主張番号】4316/MUM/2015

(32)【優先日】2015年11月13日

(33)【優先権主張国】IN

(73)【特許権者】

【識別番号】510337621

【氏名又は名称】タタ コンサルタンシー サービシズ リミテッド

【氏名又は名称原語表記】ＴＡＴＡ Ｃｏｎｓｕｌｔａｎｃｙ Ｓｅｒｖｉｃｅｓ Ｌｉｍｉｔｅｄ

(74)【代理人】

【識別番号】100120891

【弁理士】

【氏名又は名称】林 一好

(74)【代理人】

【識別番号】100165157

【弁理士】

【氏名又は名称】芝 哲央

(74)【代理人】

【識別番号】100205659

【弁理士】

【氏名又は名称】齋藤 拓也

(74)【代理人】

【識別番号】100126000

【弁理士】

【氏名又は名称】岩池 満

(74)【代理人】

【識別番号】100185269

【弁理士】

【氏名又は名称】小菅 一弘

(74)【代理人】

【識別番号】100202577

【弁理士】

【氏名又は名称】林 浩

(72)【発明者】

【氏名】シャルマ ゲーティカ

(72)【発明者】

【氏名】シュロフ ガウタム

(72)【発明者】

【氏名】アガルワル プニート

(72)【発明者】

【氏名】パンデイ アディテヤ

(72)【発明者】

【氏名】セフガル グンジャン

(72)【発明者】

【氏名】パネリ カウシャル アショクバイ

(72)【発明者】

【氏名】シン ブリジェンドラ

【審査官】 影山 直洋

(56)【参考文献】

【文献】 特開２０１５−１０８９９０（ＪＰ，Ａ）

【文献】 特開平１１−３２８２２９（ＪＰ，Ａ）

【文献】 特開２００９−１４６４４３（ＪＰ，Ａ）

【文献】 特開平０８−２２１１１３（ＪＰ，Ａ）

【文献】 SURYA YADAV ET AL，Business Data Fusion，18TH INTERNATIONAL CONFERENCE ON INFORMATION FUSION，米国，IEEE，２０１５年 ７月 ６日

(58)【調査した分野】（Int.Cl.，ＤＢ名）

Ｇ０５Ｂ ２３／０２

Ｇ０６Ｆ ３／０４８１

Ｇ０６Ｆ ３／０４８４

Ｇ０６Ｆ １７／１８

Ｇ０６Ｆ １７／３０

Ｇ０６Ｎ ７／００

Ｇ０６Ｎ ９９／００

(57)【特許請求の範囲】

【請求項1】

マルチセンサビジュアルアナリティクスのためのプロセッサ実装方法であって、
１つ以上のハードウェアプロセッサを介して、複数日のマシンの動作に対して前記マシンに関連付けられた複数のセンサからセンサデータを取得するステップと、
前記１つ以上のハードウェアプロセッサを介して、前記センサデータから前記複数のセンサに関連付けられた、前記複数のセンサの動作プロファイルを含むとともに２次元ヒストグラム及び３次元ヒストグラムのうちの１つを含む複数の多次元ヒストグラムを計算するステップと、
前記複数の多次元ヒストグラムの前記ヒストグラム間の距離測度と前記複数のセンサの前記センサの共起パターンに基いて、前記複数のセンサの前記センサを複数のセンサクラスタにクラスタリングするステップと、
前記複数のセンサクラスタの前記複数の多次元ヒストグラムを監視し、前記１つ以上のハードウェアプロセッサを介して、前記複数のセンサの前記複数のセンサクラスタの１つ以上の特性を示す複数のマルチセンサパターンを取得するステップと、
前記１つ以上のハードウェアプロセッサを介して、少なくとも１つの機械学習モデルを使用して前記複数のマルチセンサパターンを処理するステップによって、１つ以上の視覚的な分析タスクを実行し、前記マシンの挙動を判断するために前記センサデータを要約するステップと、
前記１つ以上のハードウェアプロセッサを介して、前記マルチセンサパターンの処理に基づいて１つ以上のビジュアルモデルをレンダリングするステップと、
を含む方法。

【請求項2】

少なくとも１つの機械学習モデルを使用して前記複数のマルチセンサパターンを処理するステップは、前記動作プロファイルの共通のマルチセンサパターンを要約するためにマルチセンサパターンのクラスタリングに基づいて前記複数のセンサの動作プロファイルを取得するステップを含む、請求項１に記載の方法。

【請求項3】

前記クラスタリングは、Balanced Iterative Reducing and Clustering using Hierarchies（ＢＩＲＣＨ）のクラスタリングモデルに基づいて行われる、請求項２に記載の方法。

【請求項4】

前記１つ以上のビジュアルモデルをレンダリングするステップは、階層的に編成された動作プロファイルの視覚化を提示するステップを含む、請求項３に記載の方法。

【請求項5】

前記複数のマルチセンサパターンを処理するステップは、マッチングするヒストグラムに関連付けられた前記複数のセンサについての複数の動作日のうちの１つの動作日のセットを識別するステップを含む、請求項１に記載の方法。

【請求項6】

前記少なくとも１つの機械学習モデルは、ＢＩＲＣＨモデルを含む、請求項５に記載の方法。

【請求項7】

前記複数のマルチセンサパターンを処理するステップは、前記マシンの動作の状態の下で、前記センサデータから導出されたセンサ値の分布を識別するステップを含み、
前記マシンの動作の状態の下で、前記センサデータから導出されたセンサ値の分布を識別する前記ステップは、複数の多次元ヒストグラム上のベイジアンデータ融合技術を用いて確率的クエリを可能にすることによって実行される請求項１に記載の方法。

【請求項8】

前記方法は、前記複数のセンサの動作のセッションに対応する複数のマルチセンサ時系列パターンを前記センサデータから導出するステップを更に含み、前記複数のマルチセンサ時系列パターンを論理的に索引付けするステップは、前記複数のマルチセンサ時系列パターンのクエリを可能とする、請求項１に記載の方法。

【請求項9】

前記１つ以上のビジュアルモデルをレンダリングするステップは、前記クエリに基づいて、前記複数のマルチセンサ時系列パターンのうちの１つ以上のマルチセンサ時系列パターンをレンダリングするステップを含む、請求項８に記載の方法。

【請求項10】

マルチセンサデータを要約するシステムであって、
少なくとも１つのメモリと、
少なくとも１つのプロセッサと、を含み、前記少なくとも１つのメモリは、前記少なくとも１つのプロセッサと接続され、
前記少なくとも１つのプロセッサは、
複数日のマシンの動作に対して前記マシンに関連付けられた複数のセンサからセンサデータを取得するように、
前記センサデータから、前記複数のセンサに関連付けられた、前記複数のセンサの動作プロファイルを含むとともに２次元ヒストグラム及び３次元ヒストグラムのうちの１つを含む複数の多次元ヒストグラムを、１つ以上のハードウェアプロセッサを介して計算するように、
前記複数の多次元ヒストグラムの前記ヒストグラム間の距離測度と前記複数のセンサの前記センサの共起パターンに基いて、前記複数のセンサの前記センサを複数のセンサクラスタにクラスタリングするように、
前記１つ以上のハードウェアプロセッサを介して、前記複数のセンサクラスタの前記複数の多次元ヒストグラムを監視し、前記複数のセンサの前記複数のセンサクラスタの１つ以上の特性を示す複数のマルチセンサパターンを取得するように、
少なくとも１つの機械学習モデルを使用して前記複数のマルチセンサパターンを処理するステップによって、１つ以上の視覚的な分析タスクを実行し、前記マシンの挙動を判断するために前記センサデータを要約するように、
前記マルチセンサパターンの処理に基づいて１つ以上のビジュアルモデルをレンダリングするように、
前記少なくとも１つのメモリに記憶されたプログラムされた命令を実行することができる、システム。

【請求項11】

少なくとも１つの機械学習モデルを使用して前記複数のマルチセンサパターンを処理するために、前記１つ以上のハードウェアプロセッサはさらに、前記動作プロファイルの共通のマルチセンサパターンを要約するためにマルチセンサパターンのクラスタリングに基づいて前記複数のセンサの動作プロファイルを取得する命令によって構成される、請求項１０に記載のシステム。

【請求項12】

前記１つ以上のハードウェアプロセッサはさらに、Balanced Iterative Reducing and Clustering using Hierarchies（ＢＩＲＣＨ）のクラスタリングモデルに基づいてクラスタリングを行う命令によって構成される、請求項１１に記載のシステム。

【請求項13】

前記１つ以上のビジュアルモデルをレンダリングするために、前記１つ以上のハードウェアプロセッサはさらに、階層的に編成された動作プロファイルの視覚化を提示する命令によって構成される、請求項１２に記載のシステム。

【請求項14】

前記複数のマルチセンサパターンを処理するために、前記１つ以上のハードウェアプロセッサはさらに、マッチングするヒストグラムに関連付けられた前記複数のセンサについての複数の動作日のうちの１つの動作日のセットを識別する命令によって構成される、請求項１０に記載のシステム。

【請求項15】

前記少なくとも１つの機械学習モデルは、ＢＩＲＣＨモデルを含む、請求項１４に記載のシステム。

【請求項16】

前記複数のマルチセンサパターンを処理するために、前記１つ以上のハードウェアプロセッサはさらに、前記マシンの動作の状態の下で、前記センサデータから導出されたセンサ値の分布を識別する命令によって構成され、
前記マシンの動作の状態の下で、前記センサデータから導出されたセンサ値の分布を識別する前記命令は、複数の多次元ヒストグラム上のベイジアンデータ融合技術を用いて確率的クエリを可能にすることによって実行される請求項１０に記載のシステム。

【請求項17】

前記１つ以上のハードウェアプロセッサはさらに、前記複数のセンサの動作のセッションに対応する複数のマルチセンサ時系列パターンを前記センサデータから導出する命令によって構成され、前記複数のマルチセンサ時系列パターンを処理することは、前記複数のマルチセンサ時系列パターンのクエリを可能とする、請求項１０に記載のシステム。

【請求項18】

前記１つ以上のビジュアルモデルをレンダリングするために、前記１つ以上のハードウェアプロセッサはさらに、前記クエリに基づいて、前記複数のマルチセンサ時系列パターンのうちの１つ以上のマルチセンサ時系列パターンをレンダリングする命令によって構成される、請求項１７に記載のシステム。

【請求項19】

マルチセンサビジュアルアナリティクスのための方法を実行するためのコンピュータプログラムを具現化した非一時的なコンピュータ可読媒体であって、
前記方法は、
複数日のマシンの動作に対して前記マシンに関連付けられた複数のセンサからセンサデータを取得するステップと、
センサデータからの複数のセンサに関連する、複数のセンサの動作プロファイルを含む複数の多次元ヒストグラムを計算するステップであり、該複数の多次元ヒストグラムは、２次元及び３次元ヒストグラムのうちの１つを含む、ステップと、
前記複数の多次元ヒストグラムの前記ヒストグラム間の距離測度と前記複数のセンサの前記センサの共起パターンに基いて、前記複数のセンサの前記センサを複数のセンサクラスタにクラスタリングするステップと、
前記複数のセンサクラスタの前記複数の多次元ヒストグラムを監視し、複数のセンサの前記複数のセンサクラスタの１つ以上の特性を示す複数のマルチセンサパターンを取得するステップと、
少なくとも１つの機械学習モデルを使用して前記複数のマルチセンサパターンを処理するステップによって、１つ以上の視覚的な分析タスクを実行し、前記マシンの挙動を判断するために前記センサデータを要約するステップと、
前記マルチセンサパターンの処理に基づいて１以上のビジュアルモデルをレンダリングするステップと、
を含む、非一時的なコンピュータ可読媒体。

【発明の詳細な説明】

【技術分野】

【0001】

関連出願及び優先権のクロスリファレンス
この特許出願は、出願番号4316/MUM/2015で2015年11月13日に出願された「マルチセンサビジュアルアナリティクス」と題されたインド出願から優先権を得ている。

【0002】

本書の実施態様は、一般にマルチセンサビジュアルアナリティクス（マルチセンサ視覚分析（あるいは解析論））に関し、より詳細には、機械学習モデルによってサポートされるマルチセンサビジュアルアナリティクスのための方法及びシステムに関する。

【背景技術】

【0003】

マルチセンサビジュアルアナリティクスには、大規模な多次元センサデータの視覚化が含まれる。航空機、車両、エンジンなどの複雑なマシンには、１秒ごとに大量のデータを生成する多数のセンサが取り付けられている。センサによって生成された上記大量のデータは、専門家、例えばエンジニアによって分析（または解析）されるべきである。場合によっては、特定のアプリケーション向けに設計されたマシンは、他のシナリオやアプリケーションで使用することもできる。例えば、エンジンは、クレーン、ポンプまたは木材チッパー（粉砕機）で使用されてもよい。

【0004】

実際のプラクティスに対して設計仮説をテストし、将来の設計上の意思決定をサポートするためには、異なるアプリケーションにおけるマシンの動作を理解することが賢明かもしれない。結果として、ヒストグラムのような多数の基本的な視覚化、及び長年にわたって複数のマシンに組み込まれた多数のセンサから得られたデータから生じる長い多変量の時系列が生成され分析され得る。しかし、このような大量のデータに対して視覚的な分析タスクを実行することによって、上記データを分析することは困難な場合がある。

【0005】

伝統的に、センサから得られたデータは最初、次元削減、スケール縮小、またはデータ削減方法を含む様々な技術を利用して分析され、次にそのようなデータサマリーに対してデータ視覚化技術が使用される。

【発明の概要】

【発明が解決しようとする課題】

【0006】

実施態様の基本的な理解を提供するために、以下、本開示のいくつかの実施態様の簡略化された概要を提示する。この概要は、実施態様の広範囲に及ぶ概説ではない。実施態様のキーポイント／決定的要素を特定すること、または実施態様の範囲を表現すことを意図するものではない。その唯一の目的は、以下に示すより詳細な説明の準備段階として、いくつかの実施態様を簡略化した形で提示することである。

【課題を解決するための手段】

【0007】

上記を考慮して、本書の実施態様は、マルチセンサビジュアルアナリティクスのための方法及びシステムを提供する。一態様では、マルチセンサビジュアルアナリティクスのためのコンピュータ実装方法が提供され、この方法は、１つ以上のハードウェアプロセッサを介して、複数日の動作に対して複数のセンサに関連するセンサデータを取得することを含む。さらに、この方法は、前記１つ以上のハードウェアプロセッサを介して、前記センサデータから前記複数のセンサに関連付けられた複数の多次元ヒストグラムを計算することを含む。前記複数の多次元ヒストグラムは、２次元ヒストグラム及び３次元ヒストグラムのうちの１つを含む。前記複数の多次元ヒストグラムは、前記複数のセンサの動作プロファイルを含む。さらに、この方法は、前記複数の多次元ヒストグラムを監視し、前記１つ以上のハードウェアプロセッサを介して前記複数の多次元ヒストグラムから複数のマルチセンサパターンを取得することを含む。前記複数のマルチセンサパターンは、前記複数のセンサの複数のセンサクラスタの１つ以上の特性を示す。さらに、この方法は、前記１つ以上のハードウェアプロセッサを介して、少なくとも１つの機械学習モデルを使用して前記複数のマルチセンサパターンを処理することによって、１つ以上の視覚的な分析タスクを実行することを含む。この方法はまた、前記１つ以上のハードウェアプロセッサを介して、前記マルチセンサパターンの処理に基づいて１つ以上のビジュアルモデルをレンダリングすることを含む。

【0008】

別の態様では、マルチセンサビジュアルアナリティクスのためのシステムが提供される。このシステムは、１つ以上のメモリと、該１つ以上のメモリと接続したハードウェアプロセッサを含み、該１つ以上のハードウェアプロセッサは、前記１つ以上のメモリに格納されたプログラムされた命令を実行して、複数の動作日に対して複数のセンサに関連付けられたセンサデータを取得することができる。前記１つ以上のハードウェアプロセッサは、前記センサデータから前記複数のセンサに関連する複数の多次元ヒストグラムを計算するためにプログラムされた命令を実行することができる。前記複数の多次元ヒストグラムは、２次元及び３次元ヒストグラムのうちの１つを含む。前記複数の多次元ヒストグラムは、複数のセンサの動作プロファイルを含む。さらに、前記１つ以上のハードウェアプロセッサは、前記複数の多次元ヒストグラムを監視し、前記複数の多次元ヒストグラムから複数のマルチセンサパターンを取得するようにプログラムされた命令を実行することができる。前記複数のマルチセンサパターンは、前記複数のセンサの複数のセンサクラスタの１つ以上の特性を示す。さらに、前記１つ以上のハードウェアプロセッサは、少なくとも１つの機械学習モデルを使用して前記複数のマルチセンサパターンを処理することによって、１つ以上の視覚的な分析タスクを行うようにプログラムされた命令を実行することができる。さらに、前記１つ以上のハードウェアプロセッサは、前記マルチセンサパターンの処理に基づいて１つ以上のビジュアルモデルをレンダリングするようにプログラムされた命令を実行することができる。

【0009】

さらに別の態様では、マルチセンサビジュアルアナリティクスのための方法を実行するためのコンピュータプログラムを具現化した非一時的なコンピュータ可読媒体が提供される。この方法は、複数の動作日の複数のセンサに関連するセンサデータを取得するステップを含む。さらに、この方法は、前記センサデータからの前記複数のセンサに関連する複数の多次元ヒストグラムを計算するステップを含む。前記複数の多次元ヒストグラムは、２次元及び３次元ヒストグラムのうちの１つを含む。前記複数の多次元ヒストグラムは、前記複数のセンサの動作プロファイルを含む。さらに、この方法は、前記複数の多次元ヒストグラムを監視し、前記複数の多次元ヒストグラムから複数のマルチセンサパターンを取得するステップを含む。前記複数のマルチセンサパターンは、前記複数のセンサの複数のセンサクラスタの１つ以上の特性を示す。さらに、この方法は、少なくとも１つの機械学習モデルを使用して前記複数のマルチセンサパターンを処理することによって、１つ以上の視覚的な分析タスクを実行するステップを含む。また、この方法は、前記１つ以上のハードウェアプロセッサを介して、前記マルチセンサパターンの処理に基づいて１以上のビジュアルモデルをレンダリングするステップを含む。

【図面の簡単な説明】

【0010】

詳細な説明は、添付図面を参照して説明される。図面において、参照番号の最も左の桁は、参照番号が最初に現れる図を識別する。類似の特徴及びモジュールを参照するために、図面全体を通して同じ番号が使用されている。

【図1】図１は、本主題の実施形態による、マルチセンサビジュアルアナリティクスのためのシステムのネットワーク実装を示す。

【図2】図２は、一実施形態による、マルチセンサビジュアルアナリティクスのためのシステムのブロック図を示す。

【図3A】図３Ａは、例示的な実施形態による、センサの動作プロファイルを研究するためのビジュアルアナリティクス技術の例示的表現を示す。

【図3B】図３Ｂは、例示的な実施形態による、センサの動作プロファイルを研究するためのビジュアルアナリティクス技術の例示的表現を示す。

【図4】図４は、例示的な実施形態による、マルチセンサパターンの要約のためのビジュアルアナリティクス技術の例示的表現を示す。

【図5A】図５Ａは、一実施形態によるセンサ間の相関を探索するためのビジュアルアナリティクス技術の例示的な実施形態を示す。

【図5B】図５Ｂは、一実施形態によるセンサ間の相関を探索するためのビジュアルアナリティクス技術の例示的な実施形態を示す。

【図5C】図５Ｃは、一実施形態によるセンサ間の相関を探索するためのビジュアルアナリティクス技術の例示的な実施形態を示す。

【図6】図６は、一実施形態による、時系列上の波形クエリのためのビジュアルアナリティクス技術の例示的表現を示す。

【図7】図７は、例示的な一実施形態による、マルチセンサビジュアルアナリティクスのための方法の流れ図を示す。

【0011】

本明細書のブロック図が本主題の原理を具体化する例示的なシステム及び装置の概念図を表すことは、当業者には理解されるべきである。同様に、任意のフローチャート、流れ図等は、そのようなコンピュータまたはプロセッサが明示的に示されているか否かにかかわらず、コンピュータ可読媒体に実質的に表され、コンピュータまたはプロセッサによって実行される様々なプロセスを表す。

【発明を実施するための形態】

【0012】

マルチセンサビジュアルアナリティクスのためのシステム及び方法は、本主題に開示されている。マルチセンサデータは、生産設備などの産業機械から受け取ることができる。マルチセンサデータは、製品または産業機械が現場で受ける実際の使用パターンを決定するために、分析され得る。実際の設備使用パターンを理解することは、運用保守計画（例えば、オペレータの場合）の開発と改善に重要であり、例えば航空機や原子力発電所などの高価な資産の、高付加価値保険に対して有益であるとさえ証明することができる。

【0013】

典型的には、様々な分析タスクが、多数の目的のためにセンサデータに対して実行されてもよい。例えば、このような分析タスクは、（ａ）センサの動作プロファイル、（ｂ）類似の動作プロファイルを示す動作日、（ｃ）依存性のセンサが互いにどのように影響するか、（ｄ）負荷がかけられているエンジン、急停止または追い越し操作を行う車両、そしてそのようなイベント中の行動を調べる、などのセンサの読み取りにおける特定のパターンによって特徴付けられるイベントの発生を識別すること、について有用な情報を提供することができる。しかしながら、ヒストグラムのような圧倒的多数の基本視覚化、及び長年にわたる複数のマシンからの何十個または複数のセンサのデータから生じる長い多変量の時系列に直面すると、莫大な量のデータをナビゲートして上記視覚的な分析タスクを実行することが困難になることがある。

【0014】

伝統的に、センサデータは、次元削減、縮尺削減、またはデータ削減方法を介して要約された後、そのようなデータ要約に関するデータ視覚化技術を使用してデータを分析することができる。例えば、ヒストグラムのサマリビューは、階層ヒストグラムを介して提示される。しかしながら、そのようなアプローチは、複数の稼働日にわたる特定のセンサのヒストグラムの類似性を完全に欠いている。同様に、時系列を分析する場合、伝統的なアプローチは、時系列において頻繁に発生するパターンを見つけてパターンをユーザに提示することである。しかしながら、そのようなアプローチは、アドホックな多次元パターンを検索する機能を欠いている。時系列の意味的拡大などのデータ要約（集計）の技法は、大規模な時系列でのマルチセンサ行動パターンの出現を識別する必要がある場合には不十分なので、効果がない可能性がある。例えば、従来は、センサの動作プロファイルを決定し、１日の運転に対するマシンの様々なセンサの動作プロファイルで同様の挙動プロファイルを示す運転日を特定し、各プロファイルにそれらの分析の経験への理解を深めるステレオタイプ挙動を関連付けることを試みる。ヒストグラムを分析した経験を持つ様々なセンサのこれらのステレオタイプの動作プロファイルを専門家が学ぶにつれて、ビジュアルアナリティクスの手動プロセスは、エラーが起こり易くなるだけでなく、効果がない。これは、ａ）分析者が特定のセンサのステレオタイプの動作プロファイルのみを知っている可能性がある、ｂ）ステレオタイプパターンに関する知識はユーザの経験に基づいているので、新しいユーザは動作プロファイルを分析することが難しいと知る、ｃ）経験豊富なユーザであっても、微妙なパターンがいくつか見逃されることがある、という事実に起因する可能性がある。

【0015】

また、依存するセンサが互いにどのように影響するかを理解するために、分析者はある条件下でセンサ値の分布を調べようとする。例えば、エンジンに負荷がかけられている場合の燃料消費パターンの調査である。しかし、現在の最新技術では、主に実際に遭遇する時系列データの量のために、そのようなクエリを実行することは困難である。最後に、センサの読み取りにおける特定のパターンによって特徴付けられるイベントの発生を識別するために、マシン（機械）の部品／構成要素の故障などのイベントの発生に起因するシナリオを調べるために、多量のセンサデータの多変量時系列可視化がしばしば用いられる。このプロセスにおいて、多数の時系列は、特定のパターンを検索する必要がある場合がある。しかしながら、現在の技術水準では、多数の時系列を探索することは時間がかかり、計算上複雑である。

【0016】

開示された実施形態は、基本的な視覚化を相互接続するために、サマリビューを提供するために、そして視覚化をクエリ可能にし、検索可能にするために、使用される機械学習モデルを構築することによって、上述の欠点を越え、それによって、大量のマルチセンサデータのナビゲーションを可能にし、上述の視覚的な分析タスク（ａ）〜（ｄ）を実行する。

【0017】

本書に開示されている様々な実施形態は、様々な機械学習ツールを使用して、長時間にわたって複数のセンサから得られたセンサデータを処理した結果として導出されるマルチセンサデータの分析を視覚的に表すマルチセンサビジュアルアナリティクスのための方法及びシステムを提供する。例えば、開示された方法及びシステムは、類似のヒストグラムをまとめてグループ化すべくクラスタリングするBalanced Iterative Reducing and Clustering using Hierarchies（ＢＩＲＣＨ）の球面クラスタリングモデルのようなクラスタリングモデル、及び動作プロファイルの一般的なマルチセンサパターンを要約する多数の部分空間クラスタリング手法、を使用することによって、動作日における各センサの値の分布を探索し、類似の行動プロファイルを示す動作日を特定することによってセンサの動作プロファイルを分析することを容易にすることができる。両方のモデルは、ヒストグラムの大規模なコ収集をナビゲートすること、及び、さらに調査するために外れ値を識別すること、に役立つ機能を果たし得る。さらに、開示された実施形態は、大量の時系列上の効率的な確率論的クエリを可能にするために、ベイジアンデータ融合技術を使用することによって、依存センサが互いにどのように影響を及ぼすかを理解することを可能にする。さらに、開示された実施形態は、負荷がかけられているエンジン、急停止または追い越し操作を行う車両、そしてそのようなイベント中の行動を調べる、などのセンサの読み取りにおける特定のパターンによって特徴付けられるイベントの発生を識別することを容易にする。

【0018】

本書の実施形態及びその様々な特徴及びその有利な詳細は、添付の図面に示され、以下の説明において詳述される非限定的な実施形態を参照してより完全に説明される。本書で使用される例は、本書の実施形態が実施され得る方法の理解を容易にし、さらに当業者が本書の実施形態を実施することを可能にすることを単に意図しているにすぎない。したがって、実施例は、本書の実施形態の範囲を限定するものとして解釈されるべきではない。

【0019】

この方法及びシステムは、本書に記載の特定の実施形態に限定されない。さらに、この方法及びシステムは、本書に記載の他のモジュール及び方法とは独立して別個に実施することができる。各デバイス要素／モジュール及び方法は、他の要素／モジュール及び他の方法と組み合わせて使用することができる。

【0020】

マルチセンサビジュアルアナリティクスのためのシステム及び方法のやり方は、図１〜７に関して詳細に説明されている。記載されたマルチセンサビジュアルアナリティクスのための方法及びシステムの態様は、任意の数の異なるシステム、ユーティリティ環境、及び／または構成で実施することができるが、実施形態は、以下の例示的なシステムとの関連で説明される。

【0021】

図１を参照すると、本主題の実施形態による、マルチセンサビジュアルアナリティクス用のシステム１０２のネットワーク実装１００が示されている。様々な実施形態において、システム１０２は、機械学習モデルによってサポートされるマルチセンサビジュアルアナリティクスのための共通プラットフォームを容易にする。システム１０２は、大量のマルチセンサデータから導かれる視覚化を要約、クエリング、検索、及び対話的にリンクするのに役立つ機械学習モデルを用いて、多次元ヒストグラム、ヒートマップ及び基本時系列視覚化などの基本データ視覚化を増強する。ここでは、本主題は、システム１０２がマルチセンサビジュアルアナリティクスのために実施されることを考慮して説明されているが、システム１０２は特定のマシンまたは環境に限定されないことが理解されよう。システム１０２は、高次元データ（マルチセンサデータなど）が関与するセンサデータのためだけでなく、様々な領域に利用することができる。システム１０２は、ラップトップコンピュータ、デスクトップコンピュータ、ノートブック、ワークステーション、メインフレームコンピュータ、サーバ、ネットワークサーバなどの様々なコンピューティングシステムに実装することができる。

【0022】

ここでは、システム１０２は、１つ以上のデバイス及び／またはマシン１０４−１，１０４−２...１０４−Ｎ（以下、集合的にセンサ装置１０４と呼ぶ）の多数の装置からセンサデータを受信することができる。センサ装置１０４の例としては、産業機械、ポータブルコンピュータ、携帯情報端末、ハンドヘルド装置、ワークステーション、センサを具現化する装置、センサの読み取り値を保存するべくマシンに備えられたストレージデバイスなどを含むことができる。センサデバイス１０４は、ネットワーク１０６を介してシステム１０２に通信可能に接続されている。「センサ装置」及び「センサ」という用語は、センサデータをシステム１０２に提供することができるデバイスを指すことがあり、したがって、「センサ装置」及び「センサ」という用語は、説明全体を通じて交換可能に使用され得る。一実施形態において、センサ装置１０４は、定期的な時間間隔で観測される様々なセンサ（エンジン速度、燃料消費量など）からの読み取り値／データを含む大型産業機械を含むことができる。

【0023】

一実施形態において、ネットワーク１０６は、無線ネットワーク、有線ネットワーク、またはそれらの組み合わせであってもよい。ネットワーク１０６は、イントラネット、ローカルエリアネットワーク（ＬＡＮ）、ワイドエリアネットワーク（ＷＡＮ）、インターネットなどの異なるタイプのネットワークのうちの１つとして実装することができる。ネットワーク１０６は、専用ネットワークであってもよく、共有ネットワークであってもよい。共有ネットワークは、Hypertext Transfer Protocol（HTTP）、Transmission Control Protocol/Internet Protocol（TCP/IP）、Wireless Application Protocol（WAP）などの様々なプロトコルを使用する異なるタイプのネットワークの関連を表し、お互いにコミュニケーションをとる。さらに、ネットワーク１０６は、ルータ、ブリッジ、サーバ、コンピューティングデバイス、ストレージデバイスなどを含む様々なネットワークデバイスを含むことができる。

【0024】

センサ装置１０４は、ネットワーク１０６を介してセンサデータをシステム１０２に送ることができる。システム１０２は、マシンの使用状況を要約するためにセンサデータを分析させる。ここで、多数のセンサから特定の時間だけ受信されたセンサデータは、「マルチセンサデータ」と呼ぶことができる。ある動作期間にわたるセンサの挙動は、マシンが動作する特定の期間に対してそのセンサデータの異なる値の分布を捕らえることができるヒストグラムによって表すことができる。上記期間は、マシンの１回の実行、１日、１週間などとすることができる。

【0025】

一実施形態において、システム１０２は、コンピューティングデバイス１１０に組み込まれてもよい。コンピューティングデバイス１１０の例としては、デスクトップパーソナルコンピュータ（ＰＣ）、ノートブック、ラップトップ、ポータブルコンピュータ、スマートフォン、タブレットなどが挙げられるが、これらに限定されない。

【0026】

一実施形態において、システム１０２は、センサデータから複数の多次元ヒストグラム（または強度プロファイル）を計算させる。システム１０２は、毎日のセンサの挙動の各々を表す多次元ヒストグラムを計算させ、マルチセンサデータを系統的に要約してマシン挙動を決定する。ここで、「多次元ヒストグラム」という用語は、２次元及び３次元のヒストグラムを指すことに留意されたい。説明の簡潔さのために、以後、多次元ヒストグラムを「ヒストグラム」と呼ぶことがある。さらに、システムは、センサデータから多数のマルチセンサ時系列パターンを導出させる。

【0027】

別の実施形態において、システム１０２は、システム１０２に通信可能に接続された外部サーバから要約されたセンサデータを受信することができる。システム１０２は、要約されたセンサデータ（またはマルチセンサデータ）を処理して、大量のマルチセンサデータから導かれる視覚化を要約、クエリング、検索及び対話的にリンクするのを助けるために、処理されたマルチセンサデータの視覚化を増強することができる。マルチセンサビジュアルアナリティクスのための、システム１０２の例示的な実装は、図２を参照してさらに説明される。

【0028】

図２は、本開示の一実施形態による、マルチセンサビジュアルアナリティクスのためのシステム２００のブロック図を示す。システム２００は、プロセッサ２０２などの１つ以上のハードウェアプロセッサ、メモリ２０４などの１つ以上のメモリ、ユーザインタフェース２０６などのユーザインタフェース、及びネットワークインタフェースユニット２０８などのネットワークインタフェースユニット、を含むか、そうでなければ、それらとコミュニケーションを取る。一実施形態において、プロセッサ２０１、メモリ２０４、ユーザインタフェース２０６、及びネットワークインタフェースユニット２０８は、システムバス２１０または類似の機構などのシステムバスによって連結され得る。

【0029】

プロセッサ２０１は、とりわけ、通信に関連するオーディオおよびロジック機能を実装する回路を含むことができる。例えば、プロセッサ２０２は、限定はされないが、１つ以上のデジタル信号プロセッサ（ＤＳＰ）、１つ以上のマイクロプロセッサ、１つ以上の専用コンピュータチップ、１つ以上のフィールドプログラマブルゲートアレイ（ＦＰＧＡ）、一つ以上の特定用途向け 集積回路（ＡＳＩＣ）、１つ以上のコンピュータ、様々なアナログ／デジタル変換器、デジタル／アナログ変換器、及び／または他のサポート回路を含むことができる。したがって、プロセッサ２０１は、メッセージ及び／またはデータあるいは情報を符号化する機能も含むことができる。プロセッサ２０２は、とりわけ、クロック、算術論理演算ユニット（ＡＬＵ）、及びプロセッサ２０１の動作をサポートするように構成された論理ゲートを含むことができる。さらにプロセッサ２０２は、メモリ２０４に格納されるかそうでなければプロセッサ２０２にアクセス可能な１つ以上のソフトウェアプログラムを実行する機能を含んでいてもよい。

【0030】

メモリ２０４などの１つ以上のメモリは、システムの機能を実現するためにシステムによって使用される任意の数の情報及びデータを格納することができる。メモリ２０４は、例えば、揮発性メモリ及び／または不揮発性メモリを含むことができる。揮発性メモリの例としては、揮発性ランダムアクセスメモリ（ＲＡＭ）が挙げられるが、これに限定されない。不揮発性メモリは、電気的に消去可能なプログラマブルリードオンリーメモリ（ＥＥＰＲＯＭ）、フラッシュメモリ、ハードドライブなどを追加的または代替的に備えていてもよい。揮発性メモリのいくつかの例には、ランダムアクセスメモリ、ダイナミックランダムアクセスメモリ、スタティックランダムアクセスメモリなどが含まれるが、これらに限定されない。不揮発性メモリのいくつかの例には、ハードディスク、磁気テープ、光ディスク、プログラマブルリードオンリーメモリ、消去可能プログラマブルリードオンリーメモリ、電気的消去可能プログラマブルリードオンリーメモリ、フラッシュメモリなどが含まれるが、これらに限定されない。メモリ２０４は、システム２００が様々な例示的実施形態に従って様々な機能を実行することを可能にするための情報、データ、アプリケーション、命令などを記憶するように構成され得る。これに加えて、またはこれに代えて、メモリ２０４は、プロセッサ２０２によって実行されると、システムに、様々な実施形態に記載されるように動作する命令を格納するように構成されてもよい。

【0031】

ユーザインタフェース（ＵＩ）２０６は、プロセッサ２０２と通信することができる。ＵＩ ２０６は、入力インタフェースおよび／または出力ユーザインタフェースを含むことができる。入力インタフェースは、ユーザ入力を受け取ることができる。出力ユーザインタフェースは、ユーザに向けられる出力またはフィードバックをレンダリングすることができる。出力を提供するモードの様々な例は、可聴、視覚、機械的または他の出力及び／またはユーザへのフィードバックを含むことができるが、これらに限定されない。入力インタフェースの例としては、キーボード、マウス、ジョイスティック、キーパッド、タッチスクリーン、ソフトキーなどが挙げられるが、これらに限定されない。出力インタフェースの例としては、発光ダイオードディスプレイ、薄膜トランジスタ（ＴＦＴ）ディスプレイ、液晶ディスプレイ、アクティブマトリクス有機発光ダイオード（ＡＭＯＬＥＤ）ディスプレイなどのディスプレイ、マイクロフォン、スピーカ、リンガー、バイブレータなどが挙げられるが、これらに限定されない。例示的な実施形態において、ユーザインタフェース２０６は、スピーカ、マイクロフォン、ディスプレイ、及びキーボード、タッチスクリーンなどのいずれかまたはすべてを含むことができる。これに関して、例えば、プロセッサ２０２は、例えば、スピーカ、リンガー、マイクロフォン、ディスプレイ、及び／または他の同様のものなど、ユーザインタフェース２０６の１つ以上の要素の少なくとも一部の機能を制御するように構成されたユーザインタフェース回路を備えることができる。プロセッサ２０２及び／または、プロセッサ２０２を含むユーザインタフェース回路は、例えばプロセッサ２０２にアクセス可能なメモリ、例えばメモリ２０４及び／または同様のものなどに格納された、例えばソフトウェア及び／またはファームウェアのコンピュータプログラム命令によって、ユーザインタフェース２０６の１つ以上の要素の１つ以上の機能を制御するように構成され得る。

【0032】

ネットワークインタフェースユニット２０８は、センサ（またはセンサを組み込んだデバイス）とシステム２００との間の通信を容易にするように構成される。ネットワークインタフェースユニット２０６は、無線接続または有線接続の形態であってもよい。無線ネットワークインタフェース要素２０８の例には、IEEE802.11（Wifi）、BLUETOOTH（登録商標）、または広域無線接続が含まれ得るが、これらに限定されない。有線ネットワークインタフェース要素２０８の例には、イーサネット（登録商標）が含まれるが、これに限定されない。

【0033】

システム２００は、ネットワークインタフェースユニット２０８を介して、ある期間にわたって収集された複数のセンサに関連するセンサデータを取得させる。一実施形態において、システム２００は、センサデータを複数の部分に区分化させ、複数の部分のそれぞれがマシンの１日の動作に関するセンサデータを含むようにする。システム２００はさらに、複数のセンサの各部分から複数のヒストグラムを計算させ、それによってヒストグラムのセットを生成する。一実施形態において、システム２００は、毎日の操作のためにすべてのセンサのヒストグラムを計算させる。

【0034】

一実施形態において、システム２００は、複数のヒストグラムの各ヒストグラムがある期間（例えば、複数日の各日）にわたってセンサ挙動を表すように、センサデータから複数のヒストグラムを計算させる。これらヒストグラムは、センサ毎にビンの固定されたセットで計算される。

【0035】

システム２００は、各センサクラスタが類似の形状のヒストグラムを含むように、複数のセンサの各々のヒストグラムを第１の複数のセンサクラスタにグループ化／クラスタリングさせる。第１の複数のセンサクラスタの各センサクラスタは、１日以上のセンサに対応するヒストグラムのクラスタを含む。一実施形態において、システム２００は、類似のヒストグラムのセットのヒストグラム間の距離測度が閾値距離測度よりも小さくなるように、センサクラスタ内の類似のヒストグラムのセットをクラスタリングさせる。したがって、ヒストグラム間の距離測度が距離測度の第１の閾値よりも小さい場合、異なる動作日に対してセンサの２つのヒストグラムは、同様の名称を付与することができる。ここで、ヒストグラム間の距離は、ヒストグラム間の形状類似性を表す。一実施形態において、ヒストグラム間の距離は、ユークリッド距離、ＥＭＤ（Earth mover’s distance）、カルバック・ライブラー・ダイバージェンス、バタチャリヤ距離、マンハッタン距離、ワッサースタイン距離（カントロビッチ距離としても知られる）などであってもよい。

【0036】

一実施形態では、ヒストグラムをセンサクラスタにクラスタリングするために、Balanced Iterative Reducing and Clustering using Hierarchies（ＢＩＲＣＨ）の球面クラスタリングモデルなどのクラスタリングモデルを利用することができる。ＢＩＲＣＨクラスタリングモデルは、距離測度閾値の初期値をパラメータとして取る。一実施形態において、システム２００は、球面センサクラスタの半径の値を距離測度の第１の閾値として利用させる。距離測度の第１の閾値は、センサに関連するクラスタの品質および数に依存し得る。一実施形態において、ＤＢインデックスは、センサクラスタの品質の統計的尺度として利用することができる。システム２００は、閾値の様々な値に対してＢＩＲＣＨクラスタリングを実行し、ＤＢインデックスの値が最適である半径の値を選択させる。ＤＢインデックスは、クラスタリングモデルを評価するための測定基準であり、クラスタリングがどれほど良好に行われたかの検証は、データセットに固有の数量と特徴を使用して行われる。一実施形態では、センサクラスタの重心がそのクラスタ内のヒストグラムを表すことを確実にしながら、ＤＢインデックスの最適値に対して可能な限り低くなるように閾値の値を選択することができる。センサをクラスタ化することで、センサクラスタのセットが個別に生成される。

【0037】

システム２００は、複数のヒストグラムを監視させ、複数のヒストグラムから複数のマルチセンサパターンを取得させる。複数のマルチセンサパターンは、複数のセンサの複数のセンサクラスタの１つ以上の特性を示す。一実施形態において、システム２００は、センサヒストグラムが存在する異なるセンサのセンサクラスタのセットによって日を表すようにされる。換言すれば、システム２００は、多数の異なる部分空間に基づいて日をクラスタリングさせることができる。ここでは、上述したＢＩＲＣＨモデルを用いて第１の個別センサヒストグラムをクラスタリングし、他のセンサのパターンとの共起に基づいてセンサのパターンを共同統合する。このために、すべてのパターンはグラフのノードとしてモデル化され、２つのパターンが異なるセンサであり、同じ日に共起することが多い場合、または２つのパターンが同じセンサであり、それらの間のユークリッド距離は小さい場合にはエッジと接続される。システムは、部分空間クラスタリングを実行するためにグラフ上の実行コミュニティ検出アルゴリズムを実行し、それによって多数の部分空間及びクラスタを識別することができる。一実施形態において、サブ空間クラスタリングから特定されたパターンは、ヒストグラム及びヒートマップを相互リンクするために利用され得る。

【0038】

システム２００は、少なくとも１つの機械学習モデルを使用して複数のマルチセンサパターンを処理することによって１つ以上の視覚的な分析タスクを実行させることができる。様々な実施形態において、複数の視覚的な分析タスクは、（ａ）動作プロファイルの共通のマルチセンサパターンを要約するためにマルチセンサパターンのクラスタリングに基づいて複数のセンサの動作プロファイルを取得するステップと、（ｂ）マッチングするヒストグラムに関連付けられた前記複数のセンサについての複数の動作日のうちの１つの動作日のセットを識別するステップと、（ｃ）依存性センサが互いにどのように影響を及ぼすかを決定するステップと、（ｄ）センサの読み取りにおける特定のパターンによって特徴付けられる事象の発生を識別するステップと、
を含むことを特徴とする方法。

【0039】

一実施形態において、システム２００は、マルチセンサパターンのクラスタリングとＢＩＲＣＨクラスタリングとに基づいて、複数のセンサの動作プロファイルを取得して、動作プロファイルの一般的なマルチセンサパターンを要約するように、類似のヒストグラムをまとめてグループ化する。両方のモデルは、ヒストグラムの大規模なコ収集をナビゲートすること、及び、さらに調査するために外れ値を識別すること、に役立つ機能を果たし得る。本実施形態において、システム２００は、さらに、例えばマルチセンサパターンの処理に基づいてＵＩ上の１つ以上のビジュアルモデル、例えばＵＩ ２０６をレンダリングさせることができる。本実施形態によるマルチセンサパターンの処理に基づいてＵＩ ２０６上に１つ以上のビジュアルモデルをレンダリングする一例を、図３Ａ及び図３Ｂを参照して詳細に説明する。

【0040】

別の実施形態では、システム２００は、一致するヒストグラムに関連付けられた複数のセンサについての複数の動作日の中から動作日のセットを識別させることができる。システム２００は、動作プロファイルの共通のマルチセンサパターンを要約するために、マルチセンサパターンのクラスタリングおよびＢＩＲＣＨクラスタリングを利用して、類似のヒストグラムをまとめてグループ化することができる。本実施形態では、システム２００は、さらに、例えばマルチセンサパターンの処理に基づいてＵＩ上の１つ以上のビジュアルモデル、例えばＵＩ ２０６をレンダリングさせることができる。図４を参照して、本実施形態に係るマルチセンサパターンの処理に基づいてＵＩ ２０６上に１つ以上のビジュアルモデルをレンダリングする一例を詳細に説明する。

【0041】

さらに別の実施形態では、システム２００は、条件付き分布クエリの実行を可能にすることによって、センサ間の相関を探索させることができる。一実施形態において、システム２００は、相関したセンサセットの分布を含む単一のリンクされたビューを有するビジュアルモデルをレンダリングさせることができる。リンクされたビューには、ヒストグラムまたはヒートマップとして視覚化されたセンサの１次元または２次元分布が含まれている場合がある。ＵＩ ２０６は、ユーザが特定のセンサの特定の範囲の値を選択し、クエリボタンを押して残りのセンサの結果的な条件付き分布を見ることを可能にすることができる。ここで、このようなクエリを直接実行することは、すべてのデータを少なくとも１回通過することを必要とし、したがって、システムはベイジアンネットワークを利用して確率的なクエリの実行がより効率的になるようにデータを要約する。本実施形態において、システム２００は、さらに、例えばマルチセンサパターンの処理に基づいてＵＩ上の１つ以上のビジュアルモデル、例えば、ＵＩ ２０６をレンダリングさせることができる。図５Ａ〜５Ｃを参照して、本実施形態に係るマルチセンサパターンの処理に基づいてＵＩ ２０６上に１つ以上のビジュアルモデルをレンダリングする一例を詳細に説明する。

【0042】

さらに別の実施形態では、システム２００は、センサの読み取りにおける特定のパターンによって特徴付けられるイベントの発生を識別させることができる。一実施形態において、システム２００は、１つ以上のクエリまたは条件でマルチセンサ波形パターンを検索またはクエリングすることを可能にすることができる。特定の状態を検出するために、領域知識を用いて時間的パターンを定式化することができる。例えば、エンジンに負荷がかけられている場合、供給されるトルクは増加するが、その速度は（例えば、巡航速度への加速とは異なり）低下する。したがって、トルクが増加するが速度は減少する時間間隔を決定することにより、負荷状態のエンジン状態を検出することができる。一実施形態において、本システムは、発生期間の境界を持つ増加、減少またはフラットの勾配のパターンとして指定されたクエリを介して検索可能にするように、時系列データを前処理させることができる。の分野で知られているパターン認識アルゴリズムは、勾配ベースの論理ランレングス符号化、この空間におけるシンボリックパターンのクラスタリング、及びマルチセンサ論理パターンのインスタンスを効率的に検索するためのトライベースのインデックス構造を組み合わせるために利用される。本実施形態において、システム２００はさらに、条件付き配信クエリの実行を可能にするために、マルチセンサパターンの処理に基づいてＵＩ、例えばＵＩ ２０６上に１つ以上のビジュアルモデルをレンダリングさせることができる。図６を参照して、本実施形態によるマルチセンサパターンの処理に基づいてＵＩ ２０６上に１つ以上のビジュアルモデルをレンダリングする一例を詳細に説明する。

【0043】

図３Ａ及び３Ｂは、例示的な実施形態による、センサの動作プロファイルを研究するためのビジュアルアナリティクス技術のそれぞれの表現例３１０及び３２０を示す。例示的表現３１０及び３２０は、様々なアプリケーションにおけるエンジンの動作プロファイルを示す。様々なアプリケーションにおけるエンジンの動作プロファイルは、例えば、ユーザによって理解されなければならない場合がある。本実施形態では、ユーザは、エンジニア及びアナリストを含むことができる。エンジンの動作プロファイルは、速度及びトルクなどの重要なエンジン構成要素の挙動の観点から定義される。マシン動作の日のセンサの動作プロファイル（ヒストグラム）は、動作の性質を示しており、ユーザはこれをステレオタイプの動作プロファイルの１つに関連付ける。大量のセンサ及び機械の動作プロファイルを理解するために、開示されたシステムは、多くのセンサの類似のヒストグラムを自動的にグループ化し、次にそれらをユーザに提示することができる。

【0044】

本実施形態において、毎日の観測値の分布ならびに各センサの毎月及び毎年の集計がシステムによって計算される。１次元分布は、動作範囲にわたって１０００ビンのヒストグラムとして計算され、２次元（２−Ｄ）分布は、各次元の１００ビンで計算される。多数のセンサが同時に分析され、複数ヶ月の動作に対し分析を必要とする何千ものそのような分布に至る。ユーザは、分布ごとにズームイン及びズームアウト、個々のセンサの分布における様々な異なるパターンの要約を表示する、要約パターンを介して相互リンクされた分布をナビゲートする、パターンを意味的に検索する、複数のセンサの分布に基づいて同様の日のグループを調査する、などの様々な操作を実行することができる。

【0045】

機械学習モデルを利用することにより、各センサに対してステレオタイプパターンを見つけることができる。すべての１次元分布（ヒストグラム）は１０００行のベクトルとして表され、２次元分布（ヒートマップ）は１０，０００行のベクトルとして表される。分布は、大規模な多次元データセットをクラスタリングするように設計されたＢＩＲＣＨクラスタリングを使用してクラスタ化される。また、ユークリッド距離をクラスタリングの距離測度として利用してもよい。各センサのクラスタ半径は、最初サンプルデータ上の半径の異なる値に対して、ＤＢインデックス（データベースインデックス）を最適化することによって選択できる。データは物理マシンからのものなので、分布は次元によって影響を受けず、異なるパターン／クラスタを取得する。

【0046】

同様の動作をしているマシンまたは一連のマシンの動作の日をグループ化することができる。パターンは、累積的にグループができるだけ多くの日数をカバーするように識別される。多数部分空間クラスタリング技術、すなわち、多数の異なる部分空間及びコミュニティ検出アルゴリズムに基づいた日をクラスタリングすることは、以下に説明するように、ヒストグラム及びヒートマップを相互リンクするためのパターンを識別するために利用される。

【0047】

図３Ａを参照して説明する本実施形態において、ユーザインタフェースは３つの部分に分割することができ、左側の薄いパネルはデータフォルダを上にファイルツリーとして表示し、小さい方のパネルは左下に２つのボタンと入力を提供するためのテキストボックスがある。大きい右側のパネルは、ファイルツリー内の所望のファイルにナビゲートしてそれをクリックすることによってアクセスされる視覚化表示するために用意されている。これにより、ウィンドウの右側のパネルにおいて対応する視覚化が開かれる。例えば、動作プロファイル、すなわち日ごとのヒストグラムは、それぞれファイルに関連付けられる。これらのファイルは、階層的な方法で体系的に編成され、特定のアプリケーションまたはマシンのタイプ（例えば、「クレーン」）のすべてのファイルがハイレベルのフォルダにグループ化される。生の時系列ファイルに対しても同様の組織化を再現することができる。

【0048】

本実施形態において、覚表示モデルは、システムへのすべてのテキスト入力のための単一のテキストボックスを有するユーザインタフェースをレンダリングすることができる。入力は、ファイル名または検索文字列であってもよい。関連するビジュアルエンコーディングの一部である色でファイルツリー内のファイルを強調表示することによって、検索結果が表示され得る。視覚化プロセス中に使用される適切なボタンがサイドパネル及び視覚化ウィンドウ上に存在してもよい。

【0049】

本実施形態では、日に関してヒストグラムをナビゲートする２つの方法が提供される。図３Ａ及び３Ｂに示されるように、ヒストグラムデータをナビゲートするためにＢＩＲＣＨクラスタリングが利用される。図３Ａは、適切なクラスタが強調表示された、各ヒストグラムと並んで、センサのクラスタを要約する矩形バーを表示する。したがって、特定のヒストグラムを見るユーザは、ヒストグラムが存在するクラスタと、そのセンサについて見出されたクラスタの要約も見ることができる。同じクラスタ内の他のヒストグラムを見るために、ボタンに「Ｓｈｏｗ ｘ Ｓｉｍｉｌａｒ」というラベルが付いており、ｘは現在のものと類似したヒストグラムの数になっている。このボタンをクリックすると、同じ月または年に類似するヒストグラムの数、及び同じクラスタ内のヒストグラムの合計数を含むリストが表示される。ユーザは、例えば、同じ年に同様のものをクリックすることができ、対応する日がファイルツリービューで強調表示される。

【0050】

さらに、特定のアプリケーションのすべてのセンサクラスタサマリーを含むビューが提供される。このビューは、（ａ）ファイルツリー内のアプリケーションのクラスタ概要ファイルを選択すること、または（ｂ）上記のようにヒストグラムの横にある矩形バーをクリックすることによって開くことができる。このビューには、各センサのクラスタを要約するための１つの矩形バーが含まれている。バーをクリックすると、そのサブ矩形内の各クラスタの重心ヒストグラムが表示され、それによってすべてのクラスタの分布が表示される。サブ矩形の上にマウスを置くと、そのクラスタのヒストグラムのより詳細なビューが提供される。

【0051】

クラスタリングは小さなサイズの多数のクラスタを返すことができるので、一実施形態では、各センサに対して４〜５個の大きなクラスタを選択し、他のクラスタを種々雑多なクラスタにグループ分けすることができる。色は各センサに割り当てられ、所与のセンサのクラスタは、同じ色の様々な色合いのサブ矩形として矩形バーに表される。種々雑多なクラスタについては色で塗りつぶされていない。サブ矩形の長さはクラスタサイズに比例する。

【0052】

さらに、特定のクラスタのサブ矩形をダブルクリックすることによって、視覚化内の選択されたクラスタだけでなく、そのクラスタ内にあるファイルツリー内のすべてのファイルも、クラスタの色で強調表示される。ユーザは、センサ１がクラスタＸにあった日、センサ２がクラスタＹにいた日などを特定するために、最大４つのクラスタのサブ矩形をダブルクリックすることができる。このようなファイルは、ファイル名の長さを等分することによって、選択されたクラスタの色でもってファイルツリー内で強調表示される。従って、選択されたセンサプロファイルを有する日のファイルは容易に識別可能である。

【0053】

同様に、２つ以上のセンサにわたって同様の挙動を特徴とする「共通パターン」を理解するために、同様の動作日のグループを定式化することもできる。クラスタメンバシップの観点から言えば、ヒストグラムの大部分をカバーする少数のルールセットを発見するために、多数部分空間クラスタリング技術が利用される。完全に監視されていない方法で異なるタイプのマシンを表すマルチセンサパターンは、多数部分空間クラスタリング技術を利用して識別される。ビジュアルアナリティクスでは、各マシンタイプ内で多数部分空間クラスタリングが実行され、共通の動作パターンを特徴付ける。

【0054】

図３Ｂは、２つのウィンドウＡ及びＢから構成され、異なるアプリケーションの下で同じエンジンのエンジン速度のヒストグラムを示す。Ａでは、エンジンは主に１つの高速で動作し、Ｂでは低速の広がりで動作する。ビンスライダ３は、より細かいビン粒度を見るために使用することができる。さらに、図３Ｂにおけるクラスタバー２は、個々のアプリケーションのエンジン速度動作をまとめたクラスタのバーを表示する。ヒストグラムが存在するクラスタは、灰色の矩形で強調表示される。同じクラスタ内の他のヒストグラムは、「類似の表示」ボタン４をクリックし、同じ月、年、またはアプリケーション内の同様のヒストグラムのオプションから選択することによって見ることができる。

【0055】

クラスタバー２をクリックすると、Ａが開く。図３Ａには、アプリケーションの複数センサのクラスタサマリーが示されている。バー１をクリックすると、各クラスタの重心ヒストグラムが小さなアイコンとして表示される。クラスタ矩形の上にマウスを置くと、別のｄｉｖ内の詳細モードのヒストグラムが表示される。ｄｉｖの位置は変化しないで、異なるクラスタ矩形上にマウスを移動するとヒストグラムが更新され、それらの間の変化を簡単に見ることができる。最後に、クラスタ矩形をダブルクリックすると、そのクラスタ内のすべてのファイルがクラスタの色でファイルツリー３において強調表示される。

【0056】

図４は、例示的な一実施形態による、マルチセンサパターンサマリのビジュアルアナリティクス技術の例示的な実施形態を示す。図４は、多数部分空間クラスタリングを用いて識別されたパターンを示す。図４において、すべての垂直バーは日のグループを示し、バーの各セクションはセンサのパターンを示し、パターンの長さはパターンに続く日数に比例する。すべてのセクションが異なるセンサに関係する場合がある。図３Ａ及び図３Ｂと同様に、パターンに対応する日は、それをクリックすると左側のツリーで強調表示される。

【0057】

図４において、クラスタサマリービューと同様の相互作用メカニズムを有する多数部分空間クラスタリングを使用して見出された３つのマルチセンサパターンが示されている。図３Ａ及び３Ｂに示すように、ユーザは、ボトムアップアプローチを使用して、特定の日のセンサヒストグラムで開始し、そのクラスタ内の他の日を調べるか、またはすべてのセンサのクラスタサマリービューに進む。あるいは、ユーザは、図４に示すように、クラスタサマリービューまたはマルチセンサパターンサマリービューから開始することができ、全体的な動作の感覚を得て、マルチカラーファイルハイライトを使用して複数のセンサの興味深い動作日にドリルダウンする。

【0058】

図５Ａ、５Ｂ及び５Ｃは、例示的な実施形態による、センサ間の相関を探索するためのビジュアルアナリティクス技術を説明する図である。エンジン内の複数のセンサグループは、動作中に互いに影響する成分を測定する。その動作中のマシンは、ある状態から別の状態へ、例えば、負荷状態から無負荷状態へ、または静止状態へと移行するように遷移する。そのような状態は、選択センサの値の範囲によって特徴付けられる。ユーザはしばしば、所与の状態における他の関連センサの分布を分析する必要がある。例えば、エンジンが負荷動作されているときのエンジンオイル温度の分布の研究である。同様に、場合によっては、燃料消費量が多いときに、エンジン速度及びネットでのエンジントルクの分布を分析することをユーザが要求することがある。

【0059】

ユーザが上記のように条件付き分布クエリを実行することを可能にするために、相関したセンサセットの分布を含む単一のリンクされたビューが図５Ａに示されている。 リンクされた図５Ａは、ヒストグラムまたはヒートマップとして視覚化されたセンサの１Ｄまたは２Ｄ分布を含むことができる。ユーザは、特定のセンサの値の特定の範囲を選択し、結果の条件付き分布または残りのセンサを見るためにクエリボタンを押すことができる。このような照会を直接実行するには、少なくともすべてのデータを１回通過させる必要がある。当技術分野で既に知られている技術は、より効率的なクエリ実行のために、ベイジアンネットワークにおけるデータを要約すべく利用される。この例示的な実施形態では、より効率的なクエリ実行のために、ベイジアンネットワークにおけるデータを要約すべく、「ビジネスデータ融合技術」が利用される。

【0060】

センサ分布間の依存性は、当該技術分野で利用可能な方法を使用することにより、ベイジアンネットワークを用いてモデル化される。ベイジアンネットワークは、ユーザが提供する領域知識を使用して作成される。センサの値の範囲に関する条件がユーザによって入力され、ベイズ推定がデータ上で実行されて従属センサの条件付き確率分布に到達すると、これがユーザに表示される。その結果、センサデータに再度アクセスせずに条件付き分布が生成される。結果は、生データ量とは無関係に、インタラクティブなレートで計算される。

【0061】

視覚化のためのリンクされたビューは、多数の関連するセンサのためのデータを分析するために利用される。ユーザは、それぞれのチャート内の適切なビンまたはセルを選択することによって、クエリ内の多数のセンサの範囲を定義することができる。クエリは、リンクビューウィンドウのクエリボタンを押して実行され、完了すると、チャートは結果とともに更新される。クエリの結果の分析を容易にするために、リンクビューの３つのモードが用意されている。ユーザは、適切なボタンをクリックすることにより、これらのモードを容易に切り替えることができる。「ビフォー」モードは、提示される元のデータとクエリ範囲を表示する。「アフター」モードは、クエリの結果を表示する。

【0062】

第３のビューは、分布の変化を明示的にプロットする「比較」モードである。積み上げられたヒストグラムは、青色の棒グラフで元の確率を示し、赤色の棒グラフは推定値を示すのに用いられる。ヒートマップ数の変化は、１次元分布において条件付きクエリが実行された場合にも発生する可能性がある。これらは相違点のヒートマップとしてプロットされている。このヒートマップに、冷たい色から暖かい色のスケールが利用される。確率が増加する（または差が負である）セルは青の色合いで着色され、確率が減少する（または差が正である）セルは赤の色合いでプロットされ、値の変化がないセルは白としてプロットされる。

【0063】

例示的な実施形態では、 図５Ａ、図５Ｂ及び図５Ｃは、エンジン速度、トルク、燃料消費及び第４の独自のパラメータを結び付けるベイジアンネットワークを示す。これは、速度−トルクヒートマップと、燃料消費のヒストグラムと、図４に示す第４のパラメータとを有して、リンクされたビューとして視覚化される。また、図５Ａは、クエリ範囲を有する初期ビュー５００を示す。所与の実施形態では、総燃料供給のための低範囲のクエリがユーザによって入力される。図５Ｂにおいて、クエリの結果で更新されたチャート５０２が示されている。所与の実施形態では、燃料供給が少ないとき、速度及びトルクは高くなることができず、これは図５Ｂのヒートマップのｘ軸の左半分のより暗い青色および赤色セルの増加によって推測される。これは、図５Ｃに示す比較ビュー５０４によってさらに検証される。図５Ｃでは、ｘ−ｙ平面の右側に赤色セルがより多く表示され、高速及びトルク値の発生確率が減少することが示されている。４番目のパラメータは分布の小さな変化を示す。

【0064】

図６は、一実施形態による、時系列上の波形クエリのためのビジュアルアナリティクス技術の例示的表現６００を示す。例えば、トラックが上り坂を上がっているとき、フォークリフトが重い荷物を上げているとき、あるいは車両が急停止するときなど、負荷がかかった状態（すなわち、負荷の下）など、特定の条件下でマシンの性能を分析することは、ユーザによって時には要求される。ユーザは、故障をデバッグしている間に、データ中の特定のマルチセンサ波形パターンを検索し、該マルチセンサ波形パターンの発生頻度、持続時間及び発生時間を観察したい場合がある。

【0065】

特定のマルチセンサ波形パターンを検出するためには、領域知識を用いて時間的パターンを定式化しなければならない。例えば、エンジンに負荷がかけられている場合、供給されるトルクは増加するが、その速度は（例えば、巡航速度への加速とは異なり）低下する。したがって、トルクが増加するが速度は減少する時間間隔を決定することにより、負荷状態のエンジン状態を検出することができる。

【0066】

所与の実施形態では、時系列データは、発生期間の境界を有する増加、減少またはフラットの勾配のパターンとして指定されたクエリを介して検索可能にするために前処理される。この分野で知られているパターン認識アルゴリズムは、勾配ベースの論理ランレングス符号化、この空間におけるシンボリックパターンのクラスタリング、及びマルチセンサ論理パターンのインスタンスを効率的に検索するためのトライベースのインデックス構造を組み合わせるために利用される。

【0067】

多数のセンサの時系列は、操作のセッションに対応するファイルで構成されていて、この範囲は、それぞれ３０分から数時間である。ユーザは、１つのウィンドウ内の１つ以上のセンサのシリーズを見ることができ、個々のタイムスライダまたはすべての表示されたシリーズを一緒に操作するグローバルタイムスライダを使用してそれらをブラウズ（閲覧）することができる。

【0068】

波形クエリは、フラットの場合は「ｏ」、増加の場合は「＋」、減少の場合は「−」を使用してスロープパターンを指定するクエリ言語を使用してシステムに入力される。ユーザは、各シンボルの時間幅及び各シンボルのセンサ値の境界を指定することができる。したがって、「１：ｏ＋ｏ：＊，５，＊：＞２０，５−１０，＞２０」のクエリは、センサ１が任意の時間の長さに対して２０より大きい値で安定し、その後、５〜１０単位で５秒間増加させ、次いで２０より大きい値で任意の時間長にわたって再び安定させる、と翻訳する。入力波形クエリを支援するビジュアルインタフェースが提供される。ボタンは、３つのシンボル及び一般的に発生する３つのシンボルパターンに対して提供される。継続時間とセンサ値のデフォルト値を使用したクエリは、ユーザが編集するためのテキストボックスに自動的に表示される。

【0069】

クエリの結果は次のように表示される。ユーザは、「トップ１０」、「トップ２０」などの複数の選択肢から表示される結果の数を選択することができ、またはクエリが完了して何らかの結果になった際に表示されるすべてのドロップダウンメニューを使用することができる。パターンを含むファイルは、ファイルツリービューにおいて、パターン検索アルゴリズムによって割り当てられたランクを示す様々な青色の濃淡を使用して強調表示される。１つのファイル内でパターンが多数回発生する場合は、最も高いランクに対応する色が表示される。ユーザは、発見されたパターンを見るためにファイルを選択することができる。

【0070】

各シンボルに色が割り当てられ、パターンが発生する時系列の部分が適切な色で強調表示される。全体のパターンは、そのランクの色の薄い箱で境界がつけられる。さらに、ユーザがパターンをズームした後にそれらに容易にナビゲートすることができるように、各時系列の個々の時間スライダ内のパターンのすべての発生が表示される。

【0071】

図６に示すように、ユーザは、トルクの波形パターン「ｏ＋ｏ」（ｏ：フラット、＋：増加）と速度の波形パターン「ｏ−ｏ」（−：減少）の発生を検索するクエリを入力する。パターンのすべての発生が見られ、結果に割り当てられたランクとともに返される。このパターンを含むファイルは、図５においてランクスケール３にマッピングされた色で強調表示される（４で結果が強調表示される）。より暗い色は高いランクを示す。次いで、ユーザは、各センサについて個々の時系列を開き、図６に示すように、時系列におけるパターンのそれぞれの発生がシリーズ６で強調表示される。ユーザは、追加のセンサの時系列を開き、特定の波形の発生の持続時間を決定するために検出されたパターンと時間的に同期して見ることができる。

【0072】

図７は、本開示による、マルチセンサビジュアルアナリティクスのための方法７００の流れ図を示す。方法７００は、コンピュータ実行可能命令の一般的な関連において説明することができる。一般に、コンピュータ実行可能命令は、特定の機能を実行し、または特定の抽象データ型を実装するルーチン、プログラム、オブジェクト、コンポーネント、データ構造、プロシージャ、モジュール、関数などを含むことができる。方法７００は、通信ネットワークを介してリンクされた遠隔処理装置によって機能が実行される分散コンピューティング環境において実施することもできる。方法７００が記載される順序は、限定として解釈されることを意図するものではなく、記載された任意の数の方法ブロックを、任意の順序で組み合わせて方法７００を実施することができる。さらに、方法７００は、任意の適切なハードウェア、ソフトウェア、ファームウェア、またはそれらの組み合わせで実施することができる。一実施形態において、フローチャートに示される方法７００は、システム、例えば、図２のシステム２００によって実行され得る。例示的な実施形態において、システム２００は、コンピューティングデバイス、例えばコンピューティングデバイス１１０（図１）内で実施することができる。

【0073】

７０２において、方法７００は、複数日の動作のための複数のセンサに関連するセンサデータを取得することを含む。７０４において、方法７００は、センサデータから複数のセンサに関連する複数のヒストグラムを計算することを含む。複数のヒストグラムは、複数のセンサの動作プロファイルを含む。７０６において、方法７００は、複数のヒストグラムを監視し、複数のヒストグラムから複数のマルチセンサパターンを取得することを含む。複数のマルチセンサパターンは、複数のセンサの複数のセンサクラスタの１つ以上の特性を示す。７０８において、方法７００は、少なくとも１つの機械学習モデルを使用して複数のマルチセンサパターンを処理することによって、１つ以上の視覚的な分析タスクを実行することを含む。７１０において、方法７００は、マルチセンサパターンの処理に基づいて１つ以上のビジュアルモデルをレンダリングすることを含む。

【0074】

示された方法及びシステムの様々な実施形態は、機械学習モデルを利用してナビゲーションを容易にし、さらなる洞察を提供する大規模なセンサデータに対するマルチセンサビジュアルアナリティクスを提供する。実施形態は、ビジュアルアナリティクスを含む４つの現実のシナリオに基づいて説明される。すなわち、ａ）動作日における各センサの値の分布を調べることによってセンサの動作プロファイルを調査すること、（ｂ）類似の動作プロファイルを有する動作日を特定すること、（ｃ）依存するセンサが互いにどのように影響を及ぼすかを理解すること、（ｄ）センサ読取りにおける特定のパターンによって特徴付けられるイベントの発生を識別することである。実施形態は、４つのタイプの機械学習モデル、すなわち、ヒストグラムクラスタリング、ヒストグラムの多数部分空間要約、ベイジアンネットワークモデルを用いた確率的クエリ、及び論理的時間的インデックス（索引付け）を使用して、上記シナリオにおいてビジュアルアナリティクスの知識を強化することができることを示す。これらの機械学習モデルは、数千の視覚化を相互接続し、容易にナビゲート可能にし、効率的にクエリ可能なように視覚的な分析タスクを補強し支援するために使用される。

【0075】

開示された方法及びシステムは、同様のヒストグラムを識別するためのクラスタリングおよび集計手法を使用することによって、ヒストグラムをクラスタリングするのと同様の次元の部分空間を識別する。さらに、システムは、個々の動作日から観察されたセンサデータを相互リンクさせ、その後、間接センサデータに基づいて視覚化をレンダリングする。さらに、開示された方法は、大量のマルチセンサ時系列パターンの検索能力および視覚化を可能にする。

【0076】

記述された説明は、当業者が実施形態を作成し使用することを可能にする本書の主題を説明する。本主題の実施形態の範囲は、特許請求の範囲によって定義され、当業者が思いつく他の変更を含むことができる。そのような他の変更は、特許請求の範囲の文字通りの言葉と異ならない類似の要素を有する場合、またはそれらが特許請求の範囲の文字通りの言葉とは実質的に相違する同等の要素を含む場合、特許請求の範囲内にあるものとする。

【0077】

本書の実施形態は、ハードウェア及びソフトウェア要素を含むことができる。ソフトウェアで実行される実施形態には、ファームウェア、常駐ソフトウェア、マイクロコードなどが含まれるが、これらに限定されない。本書で説明される様々なモジュールによって実行される機能は、他のモジュールまたは他のモジュールの組み合わせで実施されてもよい。この説明のために、コンピュータ使用可能またはコンピュータ可読媒体は、命令実行システム、装置、またはデバイスによって使用されるプログラムを含むか、格納するか、通信するか、伝搬するか、または搬送することができる任意の装置であり得る。

【0078】

前述の特定の実行及び実施形態の説明は、現在の知識を適用することによって、一般的な概念から逸脱することなく、そのような特定の実施形態を様々な用途に容易に変更及び／または適合させるよう他の人が行える本書の実行及び実施形態の一般的性質を完全に明らかにするであろう。したがって、そのような適合及び変更は、開示された実施形態の均等物の意味及び範囲内で理解されるべきであり、かつそれらを包含することが意図される。本書で使用される表現または用語は、説明のためであって限定のためではないことを理解されたい。したがって、本書の実施形態は、好ましい実施形態に関して記載されているが、当業者は、本書の実施形態が、本書に記載された実施形態の精神及び範囲内の変更を加えて実施できることを認識するであろう。

【0079】

上記の説明は、様々な実施形態を参照して提示されている。本願に関連する当業者は、記載された構造及び方法の改変及び変更が、原理、精神及び範囲から有意に逸脱することなく実施され得ることを理解するであろう。

【図1】

【図2】

【図3A】

【図3B】

【図4】

【図5A】

【図5B】

【図5C】

【図6】

【図7】