特許 7253596 データ変換装置、データ変換方法及びプログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2023-03-29

(45)【発行日】2023-04-06

(54)【発明の名称】データ変換装置、データ変換方法及びプログラム

(51)【国際特許分類】

   G06N 3/045 20230101AFI20230330BHJP

   G06N 3/08 20230101ALI20230330BHJP

【ＦＩ】

G06N3/045

G06N3/08

【請求項の数】 20

(21)【出願番号】P 2021147132

(22)【出願日】2021-09-09

(62)【分割の表示】P 2020040063の分割

【原出願日】2016-01-22

(65)【公開番号】P2021192300

(43)【公開日】2021-12-16

【審査請求日】2021-09-24

(31)【優先権主張番号】14/744,475

(32)【優先日】2015-06-19

(33)【優先権主張国・地域又は機関】US

(73)【特許権者】

【識別番号】515130201

【氏名又は名称】株式会社Ｐｒｅｆｅｒｒｅｄ Ｎｅｔｗｏｒｋｓ

(74)【代理人】

【識別番号】100091487

【弁理士】

【氏名又は名称】中村 行孝

(74)【代理人】

【識別番号】100120031

【弁理士】

【氏名又は名称】宮嶋 学

(74)【代理人】

【識別番号】100118876

【弁理士】

【氏名又は名称】鈴木 順生

(74)【代理人】

【識別番号】100202429

【弁理士】

【氏名又は名称】石原 信人

(72)【発明者】

【氏名】ジャスティン、ビー．クレイトン

(72)【発明者】

【氏名】岡野原 大輔

【審査官】坂庭 剛史

(56)【参考文献】

【文献】特開平０７－３０１４１３（ＪＰ，Ａ）

【文献】野田 邦昭，ほか３名，"Deep neural networkによる映像・音響・運動データの統合と共起"，第２８回全国大会論文集ＣＤ－ＲＯＭ ［ＣＤ－ＲＯＭ］，一般社団法人 人工知能学会，2014年05月，p.1-2，3H4-OS-24b-3

【文献】VINYALS, Oriol et al.，"Show and Tell: A Neural Image Caption Generator"，arXiv [online]，2015年04月，［2022年09月05日検索］，インターネット＜ＵＲＬ：https://arxiv.org/abs/1411.4555v2＞，1411.4555v2

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ０６Ｎ ３／００－ ３／１０

Ｇ０６Ｎ ２０／００－９９／００

(57)【特許請求の範囲】

【請求項1】

少なくとも１つのメモリと、
少なくとも１つのプロセッサと、を備え、
前記少なくとも１つのプロセッサは、
データを、第１のニューラルネットワークを用いて分散表現へエンコードすることと、
前記分散表現を、第２のニューラルネットワークを用いて他の分散表現へ変換することと、
前記他の分散表現を、第３のニューラルネットワークを用いて他のデータへデコードすることと、
を実行し、
前記第２のニューラルネットワークは、入力された分散表現と同じ分散表現を出力するように学習されたものではない、
データ変換装置。

【請求項2】

前記第１のニューラルネットワークは、前記データを入力する入力層と、中間層と、前記分散表現を出力する出力層とを含み、
前記第３のニューラルネットワークは、前記他の分散表現を入力する入力層と、中間層と、前記他のデータを出力する出力層とを含む、
請求項１に記載のデータ変換装置。

【請求項3】

前記第２のニューラルネットワークは、訓練用の分散表現と訓練用の他の分散表現とを用いて訓練されたものである、
請求項１又は請求項２に記載のデータ変換装置。

【請求項4】

前記第１のニューラルネットワーク及び前記第３のニューラルネットワークは、オートエンコーダを用いて訓練されたものである、
請求項１から請求項３のいずれかに記載のデータ変換装置。

【請求項5】

前記少なくとも１つのプロセッサは、更に、
前記分散表現を、第４のニューラルネットワークを用いて第２の分散表現へ変換することと、
前記第２の分散表現を、第５のニューラルネットワークを用いて前記他の分散表現へ変換することと、
を実行する、
請求項１から請求項４のいずれかに記載のデータ変換装置。

【請求項6】

前記分散表現の次元数は、前記データの次元数よりも低く、
前記他の分散表現の次元数は、前記他のデータの次元数よりも低い、
請求項１から請求項５のいずれかに記載のデータ変換装置。

【請求項7】

前記データ、及び、前記他のデータは、それぞれ異なるタイプのデータである、
請求項１から請求項６のいずれかに記載のデータ変換装置。

【請求項8】

前記データ、及び、前記他のデータは、それぞれデータ収集デバイスで収集されるタイプのデータである、
請求項１から請求項７のいずれかに記載のデータ変換装置。

【請求項9】

前記データ収集デバイスは、少なくとも、画像センサ、超音波センサ、加速度計、ジャイロスコープセンサ、温度計、高度計、ホール効果センサ、速度計、光検出器、ボロメータ、流量センサ、ひずみゲージ、トルクセンサ、タコメータ、クリノメータ、マイクロフォン、磁力計、電圧計、電流計、オーム計、化学センサ、圧力センサ、降雨センサ、湿度計、ヒューミスタ、風速計、地震計、ガイガーカウンタのいずれか１つを含む、
請求項８に記載のデータ変換装置。

【請求項10】

少なくとも１つのプロセッサにより、
データを、第１のニューラルネットワークを用いて分散表現へエンコードし、
前記分散表現を、第２のニューラルネットワークを用いて他の分散表現へ変換し、
前記他の分散表現を、第３のニューラルネットワークを用いて他のデータへデコード
する、
方法であって、
前記第２のニューラルネットワークは、入力された分散表現と同じ分散表現を出力するように学習されたものではない、
データ変換方法。

【請求項11】

前記第１のニューラルネットワークは、前記データを入力する入力層と、中間層と、前記分散表現を出力する出力層とを含み、
前記第３のニューラルネットワークは、前記他の分散表現を入力する入力層と、中間層と、前記他のデータを出力する出力層とを含む、
請求項１０に記載のデータ変換方法。

【請求項12】

前記第２のニューラルネットワークは、訓練用の分散表現と訓練用の他の分散表現とを用いて訓練されたものである、
請求項１０又は請求項１１に記載のデータ変換方法。

【請求項13】

前記第１のニューラルネットワーク及び前記第３のニューラルネットワークは、オートエンコーダを用いて訓練されたものである、
請求項１０から請求項１２のいずれかに記載のデータ変換方法。

【請求項14】

前記少なくとも１つのプロセッサにより、更に、
前記分散表現を、第４のニューラルネットワークを用いて第２の分散表現へ変換し、
前記第２の分散表現を、第５のニューラルネットワークを用いて前記他の分散表現へ変換する、
請求項１０から請求項１３のいずれかに記載のデータ変換方法。

【請求項15】

前記分散表現の次元数は、前記データの次元数よりも低く、
前記他の分散表現の次元数は、前記他のデータの次元数よりも低い、
請求項１０から請求項１４のいずれかに記載のデータ変換方法。

【請求項16】

前記データ、及び、前記他のデータは、それぞれ異なるタイプのデータである、
請求項１０から請求項１５のいずれかに記載のデータ変換方法。

【請求項17】

前記データ、及び、前記他のデータは、それぞれデータ収集デバイスで収集されるタイプのデータである、
請求項１０から請求項１６のいずれかに記載のデータ変換方法。

【請求項18】

前記データ収集デバイスは、少なくとも、画像センサ、超音波センサ、加速度計、ジャイロスコープセンサ、温度計、高度計、ホール効果センサ、速度計、光検出器、ボロメータ、流量センサ、ひずみゲージ、トルクセンサ、タコメータ、クリノメータ、マイクロフォン、磁力計、電圧計、電流計、オーム計、化学センサ、圧力センサ、降雨センサ、湿度計、ヒューミスタ、風速計、地震計、ガイガーカウンタのいずれか１つを含む、
請求項１７に記載のデータ変換方法。

【請求項19】

少なくとも１つのプロセッサに、
データを、第１のニューラルネットワークを用いて分散表現へエンコードし、
前記分散表現を、第２のニューラルネットワークを用いて他の分散表現へ変換し、
前記他の分散表現を、第３のニューラルネットワークを用いて他のデータへデコード
する、
方法であって、
前記第２のニューラルネットワークは、入力された分散表現と同じ分散表現を出力するように学習されたものではない、
方法を実行させるプログラム。

【請求項20】

前記第１のニューラルネットワークは、前記データを入力する入力層と、中間層と、前記分散表現を出力する出力層とを含み、
前記第３のニューラルネットワークは、前記他の分散表現を入力する入力層と、中間層と、前記他のデータを出力する出力層とを含む、
請求項１９に記載のプログラム。

【発明の詳細な説明】

【技術分野】

【0001】

優先権主張
本出願は、２０１５年６月１９日に出願された米国特許出願第１４／７４４，４７５号の優先権を主張するものであり、その開示の全体は参照により本明細書に組み込まれる。

【背景技術】

【0002】

時系列とは、一連のデータ点であって、典型的には、時間間隔にわたって行われる連続的な測定から構成される。時系列データは、様々な用途で使用され、時系列についての意味のある情報を抽出したり、将来の事象や時系列値を予測するために解析されたりすることがよくある。例えば、機械学習技術を用いて時系列データを解析することができる。様々なタイプの機械学習方法が存在する（例えば、線形回帰モデル、単純ベイズ分類器）。機械学習は、データの量、多様性、および速度が高く、かつ／またはリアルタイムのデータ処理が望まれ得る「ビッグデータ」問題に対処するために一般的に使用される。時系列データを収集することができる多くの異なるドメイン、多くのタイプの時系列データ、および時系列データを収集または生成することができる多くの異なるソースがある。典型的には、時系列解析または機械学習の特定の方法では、特定のタイプの時系列データを入力して、いくつかの特性または事象の検出または予測などの所望の結果を生成する。

【発明の概要】

【課題を解決するための手段】

【0003】

本開示は、クロスドメイン時系列データ変換のための新規で革新的な装置、方法、およびシステムを提供する。例示的な実施形態では、方法は、第１のタイプのデータの第１の時系列を受信するステップと、第１のタイプのデータの第１の時系列を格納するステップと、第１のタイプのデータの第１の時系列を、第１のタイプのデータについての第１の分散表現として符号化するステップと、第１の分散表現を、第１のタイプのデータとは異なる第２のタイプのデータについての第２の分散表現に変換するステップと、第２のタイプのデータについての第２の分散表現を、第２のタイプのデータの第２の時系列として復号化するステップと、を含む。

【0004】

例示的な実施形態では、時系列データから事象を検出または予測するコンピュータにより実施される方法は、第１のタイプのデータの第１の時系列を受信するステップであって、第１のタイプのデータは第１のパラメータを示す、ステップと、第１のタイプのデータの第１の時系列を格納するステップと、第１のタイプのデータの第１の時系列を、第１のタイプのデータについての第１の分散表現として符号化するステップと、第１の分散表現を第２のタイプのデータについての第２の分散表現に変換するステップであって、第２のタイプのデータは第１のパラメータとは異なる第２のパラメータを示す、ステップと、第２の分散表現から解析モデルのための入力を生成するステップであって、解析モデルは、第２のパラメータの挙動に基づいて事象を検出または予測するためのものである、ステップと、第２のパラメータの挙動に基づいて事象を検出または予測するために、入力上で解析モデルを実行するステップと、解析モデルによって検出または予測された事象に対応する解析モデルからの出力を送信するステップと、を含む。本方法は、受信したデータのタイプが異なる互換性のないパラメータに関連するが、パラメータの挙動が共通の現象に関連する状況で利用される第２のタイプのデータに基づいている（例えば、それを用いて訓練された）解析モデルを可能にすることができる。

【0005】

例示的な実施形態では、時系列データから事象を検出または予測するコンピュータにより実施される方法は、第１のタイプのデータの第１の時系列を受信するステップであって、第１のタイプのデータは第１のパラメータを示す、ステップと、第１のタイプのデータの第１の時系列を格納するステップと、第２のタイプのデータの第２の時系列を受信するステップであって、第２のタイプのデータは第１のパラメータとは異なる第２のパラメータを示す、ステップと、第２のタイプのデータの第２の時系列を格納するステップと、第１のタイプのデータの第１の時系列と第２のタイプのデータの第２の時系列とを融合して、融合タイプのデータの結合時系列を生成するステップと、融合タイプのデータの結合時系列を、融合タイプのデータについての第１の分散表現として符号化するステップと、第１の分散表現を第３のタイプのデータについての第２の分散表現に変換するステップであって、第３のタイプのデータは、第１のパラメータおよび第２のパラメータとは異なる第３のパラメータを示す、ステップと、第２の分散表現から解析モデルのための入力を生成するステップであって、解析モデルは、第３のパラメータの挙動に基づいて事象を検出または予測するためのものである、ステップと、第３のパラメータの挙動に基づいて事象を検出または予測するために、入力上で解析モデルを実行するステップと、解析モデルによって検出または予測された事象に対応する解析モデルからの出力を送信するステップと、を含む。本方法は、受信したデータのタイプが両方とも解析モデルと互換性がない２つの異なるパラメータに関連するが、その挙動が第３のパラメータと共通する現象に関連する状況で利用される第３のタイプのデータに基づく（例えば、それを用いて訓練された）解析モデルを可能にすることができる。本方法は、第１のタイプのデータの第１の時系列および第２のタイプのデータの第２の時系列のそれぞれの情報内容が、単独で得られた場合に、事象を検出または予測するのに十分でない場合に有利であり得る。

【0006】

例示的な実施形態では、装置は、ある期間にわたって第１のタイプのデータを収集するように構成されたデータ収集デバイスと、データ収集デバイスによって収集された時系列データを格納するように構成されたメモリと、第１のタイプのデータの第１の時系列を、第１のタイプのデータについての第１の分散表現に変換するように構成されたエンコーダと、第１の分散表現を、第１のタイプのデータとは異なる第２のタイプのデータについての第２の分散表現に変換するように構成されたデータタイプコンバータと、第２のタイプのデータについての第２の分散表現を、第２のタイプのデータの第２の時系列に変換するように構成されたデコーダと、を含む。

【0007】

例示的な実施形態では、装置は、ある期間にわたって第１のタイプのデータを収集するように構成されたデータ収集デバイスであって、第１のタイプのデータは第１のパラメータを示す、データ収集デバイスと、データ収集デバイスによって収集された時系列データを格納するように構成されたメモリと、第１のタイプのデータの第１の時系列を、第１のタイプのデータについての第１の分散表現に変換するように構成されたエンコーダと、第１の分散表現を第２のタイプのデータについての第２の分散表現に変換するように構成されたデータタイプコンバータであって、第２のタイプのデータは第１のパラメータとは異なる第２のパラメータを示す、データタイプコンバータと、第２の分散表現に基づく入力を受け取り、入力に解析モデルを実行して、第２のパラメータの挙動に基づいて事象を検出または予測するように構成されたアナライザと、解析モデルによって検出または予測された事象に対応する解析モデルからの出力を送信するように構成された出力モジュールと、を含む。

【0008】

例示的な実施形態では、装置は、データ収集デバイスによって収集された時系列データおよび分散表現データを格納するように構成されたメモリと、第１のタイプのデータの第１の時系列を第１のタイプのデータの第１の分散表現に変換するように構成された第１のエンコーダと、第１のタイプのデータについての第１の分散表現を第１のタイプのデータの第１の時系列に変換するように構成された第１のデコーダと、第１の分散表現を、第１のタイプのデータとは異なる第２のタイプのデータについての第２の分散表現に変換するように構成された第１のデータタイプコンバータと、第２の分散表現を第１の分散表現に変換するように構成された第２のデータタイプコンバータと、第２のタイプのデータの第２の時系列を第２のタイプのデータについての第２の分散表現に変換するように構成された第２のエンコーダと、第２のタイプのデータについての第２の分散表現を、第２のタイプのデータの第２の時系列に変換するように構成された第２のデコーダと、第１の分散表現を、第１のタイプのデータおよび第２のタイプのデータとは異なる第３のタイプのデータについての第３の分散表現に変換するように構成された第３のデータタイプコンバータと、第３の分散表現を第１の分散表現に変換するように構成された第４のデータタイプコンバータと、第３のタイプのデータの第３の時系列を第３のタイプのデータについての第３の分散表現に変換するように構成された第３のエンコーダと、第３のタイプのデータについての第３の分散表現を第３のタイプのデータの第３の時系列に変換するように構成された第３のデコーダと、を含む。本装置は、第１のエンコーダ、第１のデコーダ、第１のデータタイプコンバータ、第２のエンコーダ、第２のデコーダ、第２のデータタイプコンバータ、第３のエンコーダ、および第３のデコーダ、第３のデータタイプコンバータ、および第４のデータタイプコンバータのうちの任意の１つまたは複数からの出力を送信するように構成された出力モジュールを含むことができる。

【0009】

開示された方法および装置のさらなる特徴および利点は、以下の詳細な説明および図面に記載され、それらから明らかになるであろう。

【図面の簡単な説明】

【0010】

【図1】本開示の例示的な実施形態による、エッジデバイスの一例のブロック図である。

【図2】本開示の例示的な実施形態による例示的な時系列データ変換モジュールのブロック図である。

【図3】本開示の例示的な実施形態による、エッジデバイスの異種グループを示す高レベルブロック図である。

【図4】本開示の例示的な実施形態による、時系列データ変換の例示的なプロセスを示すフローチャートである。

【図5】本開示の例示的な実施形態による、時系列データ変換のための例示的なプロセス例を示す流れ図である。

【図6A】本開示の例示的な実施形態による、データタイプ変換グラフを示すブロック図である。

【図6B】本開示の例示的な実施形態による、データタイプ変換グラフを示すブロック図である。

【図7】本開示の例示的な実施形態による、データタイプ融合を含むデータタイプ変換グラフを示すブロック図である。

【発明を実施するための形態】

【0011】

図１は、本開示の例示的な実施形態による、エッジデバイス１００の一例のブロック図である。例示的な実施形態では、エッジデバイス１００はサーマルビデオカメラであってもよい。別の例示的な実施形態では、エッジデバイス１００は、超音波検出器であってもよい。例示的なエッジデバイス１００は、他のデバイスとの通信、データ収集、機械学習、および時系列データ変換を行うことが可能なデバイスである。例示的な実施形態では、エッジデバイス１００は、中央サーバー、中間サーバー、データレポジトリ、ゲートウェイ、ルータなどを含む、データ接続されたデバイスの大規模な分散ネットワークのエッジ、すなわち最外層にある。エッジデバイス１００は、記録デバイス（例えば、デジタルカメラ、ビデオカメラ、オーディオレコーダ）、都市管理デバイス（例えば、駐車センサ、交通センサ、水質デバイス）、車両（例えば、自動車、トラック、飛行機）、身体センサ（例えば、活動センサ、バイタルサインセンサ、歩数計）、環境センサ（例えば、気象センサ、汚染センサ、空気品質センサ）、ウェアラブルコンピューティングデバイス（例えば、スマートウォッチ、眼鏡、衣類）、パーソナルコンピューティングデバイス（例えば、携帯電話、タブレット、ラップトップ）、ホームデバイス（例えば、家電製品、サーモスタット、照明システム、セキュリティシステム）、広告デバイス（例えば、ビルボード、情報キオスク）などを含む多種多様なデバイスを含んでもよい。エッジデバイス１００は、通信モジュール１０２と、データ収集デバイス１０４と、メモリ１０６と、機械学習モジュール１０８と、時系列データ変換モジュール１１０と、調整モジュール１１２と、を含むことができる。

【0012】

通信モジュール１０２は、同じタイプ（例えば、複数のサーマルビデオカメラ）または異なるタイプ（例えば、サーマルビデオカメラおよび超音波検出器）の他のエッジデバイス１００を含む他のデバイスと通信するように構成される。例えば、以下でさらに詳細に説明するように、通信モジュール１０２は、インターネット、もしくは任意の適切な広域ネットワーク、ローカルエリアネットワーク、ゲートウェイ、または他の通信チャネルもしくはネットワークを含む、１つまたは複数のネットワークもしくは通信チャネルを介して他のデバイスと通信するように構成されてもよい。例えば、通信モジュール１０２は、セルラーネットワーク（例えば、４Ｇ、３Ｇ、ＧＳＭ（登録商標））、無線ローカルエリアネットワーク（例えば、Ｗｉ－Ｆｉ（登録商標））、衛星（例えば、ＶＳＡＴ）、または無線通信の任意の適切な形態（例えば、ブルートゥース（登録商標）、ＲＦＩＤ、ＮＦＣ、ＩｒＤＡ、Ｌｉ－Ｆｉ）により用いられる複数のプロトコルを介して無線通信するように構成されてもよい。また、例えば、通信モジュール１０２は、別のエッジデバイス１００に有線接続（例えば、イーサネット（登録商標）、ＤＳＬ、ＵＳＢ、ＲＳ－２３２、同軸ケーブル）するように構成されてもよい。さらに、通信モジュール１０２は、例えば、タッチスクリーンディスプレイで実現することができるグラフィカルユーザインターフェースを介して、ユーザと通信することができる。ユーザは、エッジデバイス１００に特定のタスクを実行するよう要求し、かつ／またはエッジデバイス１００から情報を受信することができる。したがって、通信モジュール１０２は、１つまたは複数の通信プロトコルを使用して１つまたは複数の通信インターフェースを介して通信するように構成されたハードウェアおよび／またはソフトウェアを含むことができる。

【0013】

データ収集デバイス１０４は、センサ、検出器、または実世界の特性（例えば、超音波レベル、速度、加速度、ショッピングカート内の品目、手の動き、形状、温度、角度、音声認識、単語認識、トルク、スリップレベル）を表すデータのリアルタイム収集に適した任意のデバイスであってもよい。データ収集デバイス１０４は、連続するデータストリームを受信し、または周期的な基準（例えば、ミリ秒、秒、分毎）でデータを収集することができ、それは収集されるデータのタイプおよびデータストリームの変動性に一般的に依存することがある。データタイプＸの時系列は、本明細書ではｘと呼ぶことができ、ｘ＝＜ｘ_ｌｔ ｘ_２， ｘ ， ．．． ｘ，＞である。データ収集デバイス１０４は、通常、特定のタイプのデータを収集するように具体的に構成された特定のハードウェアおよび／または物理的構造（例えば、画像センサ、超音波センサ、加速度計、ジャイロスコープセンサ、温度計、高度計、ホール効果センサ、速度計、光検出器、ボロメータ、流量センサ、ひずみゲージ、トルクセンサ、タコメータ、クリノメータ、マイクロフォン、磁力計、電圧計、電流計、オーム計、化学センサ、圧力センサ、降雨センサ、湿度計、ヒューミスタ、風速計、地震計、ガイガーカウンタなど）を含む。例示的な実施形態では、１つのエッジデバイス１００は、異なるタイプのデータを収集する複数の異なるデータ収集デバイス１０４を含むことができる。データ収集デバイス１０４は、収集データをメモリ１０６に提供する。例示的な実施形態では、メモリ１０６は、ビデオ画像データ（例えば、ＶＲＡＭ）などの大量のデータを受け取り、格納するための専用メモリであってもよい。したがって、メモリ１０６は、例えば、エッジデバイス１００の高スループットかつ低レイテンシ仕様を満たすために、タスク特有の特殊なハードウェアを有することができる。メモリ１０６は、バッファ、シフトレジスタなどの異なるメモリの階層を含むことができる。メモリ１０６は、収集データを一時的に格納するように構成されてもよいし、収集データが機械学習モジュール１０８および／または時系列データ変換モジュール１１０にもはや必要でなくなると、上書きされてもよい。

【0014】

機械学習モジュール１０８は、データ収集デバイス１０４によって収集されて、メモリ１０６に格納された時系列データを使用して、機械学習モデルを実行する。機械学習モジュール１０８は、収集した時系列データを入力として受け取り、収集データを用いて機械学習モデルを実行し、予報、予測、分類、クラスタリング、異常検出、および／または認識を行い、結果として出力する。機械学習モデルは、結果を反復的に更新することができる。例えば、機械学習モデルは、メモリに格納された利用可能な収集データを全て使用して連続的に実行してもよく、連続的な結果または周期的な結果を生成してもよい。例えば、収集されるデータのボリュームおよび速度が比較的低い（低密度および／または低速）場合には、機械学習モデルは周期的にしか実行されず、各結果が出力された後一定期間休止してもよく、その間に新しいデータが収集される。各機械学習モデルは、所定のタスク（例えば、故障した蒸気トラップの検出、品目の予測、レジでの共謀窃盗の認識、捜索指令（ＢＯＬＯ）警告のための容疑者の認識、コーナリング速度の分類）に関係する。例えば、超音波検出器エッジデバイス１００の機械学習モデルの場合、所定のタスクは、故障した蒸気トラップを検出することであってもよい。超音波検出器エッジデバイス１００は、製造施設内の機器（例えばボイラの蒸気トラップ）に取り付けられ、異なる周波数の時系列の超音波デシベルレベルを検出することができる。超音波検出器エッジデバイス１００の機械学習モジュール１０８は、検出された超音波レベルの時系列を使用して、蒸気トラップが問題を発生しているという検出を出力することができる。この検出は、蒸気トラップが詰まったり、漏れたり、吹き飛ばされたりする可能性があるという早期の警告を提供することができ、これにより予防保守が行われ、特に速い動作の蒸気トラップの場合に、ボイラのより高価な故障および／またはより多くの停止時間を回避することができる。超音波検出器エッジデバイス１００は、蒸気トラップ問題の最適な早期検出を提供することができるが、マンパワーの集約および／または物理的に問題のある（例えば、高い高度、妨害されたアクセス）可能性があるので、超音波デシベルレベルはしばしば収集することが困難である。したがって、施設内の全ての蒸気トラップに対して超音波検出器エッジデバイス１００を使用することは実際的ではない場合がある。

【0015】

故障した蒸気トラップを検出するために使用することができる別のエッジデバイス１００は、サーマルビデオ撮像または赤外線ビデオサーモグラフィである。サーマルビデオ画像は、蒸気トラップの画像の各セクションの温度変化を表すマトリックスに変換することができる。超音波レベルは、サーマルビデオ撮像または故障した蒸気トラップを検出するための他の技術よりも早期に問題を示すことができる。一般に、超音波デシベルレベルの変化は、温度の上昇または低周波振動レベルの増加の前に現れる可能性があり、したがって、超音波レベルは、一般に、蒸気トラップの問題の最良の検出を提供する。しかしながら、サーマルビデオカメラは、離れた場所からデータを収集することができるので、通常、サーマルビデオ画像の収集はより簡単である。また、サーマルビデオ画像は、実際には誤動作していない場合に、速い動作の蒸気トラップが誤動作していることを示すように見えることがある。したがって、多くの場合、コストと故障検出品質と実現の容易さとの間のトレードオフが存在する場合がある。サーマルビデオ画像データは、これらの２つのデータタイプが異なるドメインにあるので、蒸気トラップの故障を検出する超音波レベル機械学習モデルの入力として直接使用することはできない。同じタスクが実行されているが、異なるタイプのデータ（例えば、サーマルビデオ画像データおよび超音波レベルデータ）についての機械学習モジュール１０８によって、異なる機械学習モデルが使用される。これらの２つのタイプのデータの両方は、同じ現象に関する情報を提供し（または基礎となる現象と相関し）、これらのデータタイプ間の時系列変換を可能にする。

【0016】

時系列データ変換モジュール１１０は、第１のタイプの時系列データ（例えば、サーマルビデオピクセルデータ）を所望の異なる第２のタイプの時系列データ（例えば、超音波レベルデータ）に変換するように構成される。所望のタイプのデータは、目標タイプのデータまたは目標時系列データと呼ぶことができる。各タイプの時系列データは、異なるパラメータ、例えば、データ収集デバイスによって検出、検知、または他の方法で決定される異なる特性を示すことができる。以下でより詳細に説明するように、時系列データ変換は、分散表現を使用して実行することができる。分散表現は、入力からの次元低下出力の偏差が最適化されるように入力の次元を低下させる符号化を学習するように訓練された人工ニューラルネットワークからの出力であってもよい。時系列データ変換は、多様な方法を使用して訓練することができる。例示的な実施形態では、リカレントニューラルネットワークを使用する自動エンコーダを使用して、特定のタイプの時系列データ（例えば、蒸気トラップのサーマルビデオ画像）の分散表現を決定する。分散表現は、次元数が減少したが、一般的に最も重要な情報を保持する時系列データのバージョンであり、場合によっては、ほとんど無損失である可能性がある。時系列データ変換モジュール１１０は、第１のデータタイプ（例えば、サーマルビデオピクセルデータ）の時系列を第１のタイプの分散表現に変換し、次に、第１のタイプの分散表現を第２のタイプの分散表現（例えば、超音波レベルデータ）に変換し、次いで、第２のタイプの分散表現を第２のタイプの時系列データ、すなわち目標時系列データに変換することができる。したがって、例えば、サーマルビデオカメラは、超音波レベルデータに変換され得る時系列データを収集することができ、このデータは、機械学習モデルに入力されて、サーマルビデオデータを入力として使用する機械学習モデルと比較して故障した蒸気トラップの改善された検出を提供することができる。異なるデータタイプは、全く異なるドメイン（例えば、ビデオ画像、超音波、電圧、加速度、温度、放射能）に存在してもよい。ドメイン間でのデータの変換は、本明細書では、クロスドメインデータ変換と呼ばれる。

【0017】

調整モジュール１１２は、通信モジュール１０２、データ収集デバイス１０４、メモリ１０６、機械学習モジュール１０８、および時系列データ変換モジュール１１０のプロセスを調整することができる。エッジデバイス１００は、中央処理ユニットを有することができ、様々な特定のタスク専用の１つまたは複数のさらなるプロセッサを有することもできる。各エッジデバイス１００は、１つまたは複数のプロセッサ、メモリ、バスなどを使用することができる。また、通信モジュール１０２、データ収集デバイス１０４、メモリ１０６、機械学習モジュール１０８、時系列データ変換モジュール１１０、および調整モジュール１１２のそれぞれは、１つまたは複数のプロセッサ、メモリ、バスなどを使用することができる。プロセッサ、メモリ、および任意の他のコンポーネントは、通信モジュール１０２、データ収集デバイス１０４、メモリ１０６、機械学習モジュール１０８、時系列データ変換モジュール１１０、および調整モジュール１１２のうちの１つまたは複数によって共有されてもよい。例示的な実施形態では、通信モジュール１０２、データ収集デバイス１０４、メモリ１０６、機械学習モジュール１０８、時系列データ変換モジュール１１０、および調整モジュール１１２の各々は、互いのモジュールまたはコンポーネントとは異なる専用のハードウェアおよびソフトウェアを使用する。

【0018】

図２は、本開示の例示的な実施形態による例示的な時系列データ変換モジュール１１０のブロック図である。時系列データ変換モジュール１１０は、エンコーダ２０２、データタイプコンバータ２０４、デコーダ２０６、経路決定モジュール２０８、融合モジュール２１０、およびインターフェースモジュール２１２を含むことができる。エンコーダ２０２は、時系列データ（例えば、ある期間にわたるサーマルビデオピクセルデータ）を受信し、時系列データを分散表現（例えば、サーマルビデオ時間特性の密な表現）として符号化する。データタイプＸのためのエンコーダ２０２は、（例えば、自動エンコーダを使用して）全てのデータタイプＸの時系列のセット｛ｘ_１，ｘ_２，．．．ｘ_ｎ｝を使用して訓練されてもよい。データタイプコンバータ２０４は、１つのデータタイプ（例えば、サーマルビデオデータ）の分散表示を、異なる目標データタイプ（例えば、超音波レベルデータ）の分散表現に変換する。デコーダ２０６は、分散表現（例えば、超音波時間特徴の密な表現）を目標時系列（例えば、ある期間にわたるいくつかの周波数の超音波デシベルレベル）として復号化する。データタイプＹのためのデコーダ２０６は、（例えば、自動エンコーダを使用して）全てのデータタイプＹの時系列のセット｛ｙ_１，ｙ_２，．．．ｙ_ｎ｝を使用して訓練することができる。データタイプＸについての分散表現は、本明細書ではＤＲ（ｘ）と呼ぶことができる。データタイプＸからデータタイプＹへのデータタイプコンバータ２０４は、（例えば、リカレントニューラルネットワーク技術を使用して）ペアのデータセット（ＤＲ（ｘ），ＤＲ（ｙ））を使用して訓練することができる。したがって、解析しようとする収集した時系列データは、エンコーダ２０２、データタイプコンバータ２０４、およびデコーダ２０６を用いて、１つのタイプから別のタイプに変換することができる。

【0019】

さらに、複数の変換が連続におよび／または並列に起こり得る。例えば、データタイプＡを目標データタイプＣに変換することが望ましい場合があるが、データタイプＡからデータタイプＣへ直接変換することはできない。この場合、データタイプＡをデータタイプＢに変換することができて、データタイプＢをデータタイプＣに変換できる場合には、変換の逐次的セットにより、中間データタイプＢを介して間接的にデータを変換することができる。場合によっては、例えば、数十のデータタイプを有するシステムでは、収集した時系列を異なるタイプのデータに変換するために使用できる多くに変換経路があり得る。変換が必要な可能性があるデータタイプの数が増加すると、可能な変換経路の数について、組み合わせの爆発が発生することがある。経路決定モジュール２０８は、そのような変換を実行するためにどの変換経路を使用すべきかを決定する。融合モジュール２１０は、異なるデータタイプのデータを融合して、機械学習解析などにおいて、信頼性が高く、正確で、精密なおよび／または迅速な認識結果を生成するのにより適したより堅牢で情報量の多いデータタイプを形成する。例えば、超音波レベルの時系列データをサーマルビデオ画像データと融合させることができ、それによってより豊かで堅牢なデータタイプが得られる。インターフェースモジュール２１２は、時系列データ変換モジュール１１０と、エッジデバイス１００内の他のモジュールまたはコンポーネント（例えば、メモリ１０６、通信モジュール１０２、データ収集デバイス１０４、機械学習モジュール１０８、調整モジュール１１２、エッジデバイス１００の外部の別の時系列データ変換モジュール１１０）との間のインターフェースである。

【0020】

図２に示す時系列データ変換モジュール１１０は、単に非限定的な例に過ぎず、時系列データ変換モジュール１１０は、状況に応じて、複数の異なるエンコーダ２０２、複数の異なるデータタイプコンバータ２０４、複数の異なるデコーダ２０６、および／または複数の異なる融合モジュール２１０などを含むことができることを理解されたい。場合によっては、エッジデバイス１００は１つの目的しか持たず、特定のタイプの時系列データを収集し、収集した時系列データを分散表現として符号化し、その分散表現を異なるタイプのデータ（すなわち、目標データタイプ）の分散表現に変換し、その分散表現を収集データ（すなわち、目標時系列）とは異なるタイプの時系列として復号化し、異なるタイプの時系列データを用いて機械学習モジュール１０８を実行する。例えば、そのようなエッジデバイス１００は、特定のデータ収集、データ変換、および機械学習タスクを実行するために（例えばＡＳＩＣを使用して）ハード符号化されてもよい。しかしながら、いくつかのエッジデバイス１００は、異なる時間にまたは同時に異なる様々なタスクを処理するように要求されてもよく、必要に応じて新しいタスクを処理するように構成可能であってもよい、多目的マシンであってもよい。これらのエッジデバイス１００は、通常、多くの異なるエンコーダ２０２、データタイプコンバータ２０４、およびデコーダ２０６を有し、エンコーダ２０２、データタイプコンバータ２０４、デコーダ２０６、経路決定モジュール２０８、および／または融合モジュール２１０を付加および／または更新することができる構成可能なソフトウェアモジュールを含んでもよい。さらに、単一のデバイスは、多くの異なるタイプの変換を実行する能力を含むことができる。このようなデバイスは、ハブデバイスと呼ばれることがある。

【0021】

図３は、本開示の例示的な実施形態による、エッジデバイスの異種グループを示す高レベルブロック図である。異種グループ３００は、両方とも同じタイプのエッジデバイス１００（例えば、両方ともサーマルビデオカメラ３０２）である２つのエッジデバイス３０２ａ、３０２ｂを含む。異種グループ３００はまた、それぞれ異なるタイプのデバイス１００（例えば、１つの超音波検出器、１つの多軸加速度計、および１つのサーミスタ）である、３つのエッジデバイス３０４、３０６、３０８をさらに含む。サーバー３１０は、ネットワーク３１２を介して１つまたは複数のエッジデバイス３０２ａ、３０２ｂ、３０４、３０６、３０８と通信することができる。サーバー３１０は、１つまたは複数のエッジデバイス１００と通信することができる。例示的な実施形態では、サーバー３１０は、１つまたは複数のエッジデバイス１００および１つまたは複数の異なるサーバー（例えば、中央サーバー）と通信する中間サーバーである。例示的な実施形態では、サーバー３１０は、クラウドコンピューティングを実行する「クラウド」の一部であってもよい。

【0022】

サーバー３１０は、エッジデバイス１００に情報および／またはコマンドを提供し、例えば、エンコーダ２０２、データタイプコンバータ２０４、デコーダ２０６、および機械学習モデルの履歴および／または精度に関する情報を受信することができる。例えば、サーバー３１０は、製造者による更新に基づく、更新されたエンコーダ２０２、データタイプコンバータ２０４、デコーダ２０６、または機械学習モデルを提供することができる。サーバー３１０は、エッジデバイス１００と同じ機能の多くを実行することができるが、エッジデバイス１００とは異なり、サーバー３１０は、データ収集デバイス１０４を使用してデータ収集を実行しない。サーバー３１０は、ハブデバイスであってもよく、数十または数百のデータタイプ間のデータ変換を提供することができる。ネットワーク３１２は、１つまたは複数のネットワークおよび／または通信経路を含むことができ、ピアツーピアネットワークとして構成することができる。例示的な実施形態では、異種グループ３００は、任意のタイプのネットワーク３１２（例えば、ＬＡＮ、ＷＡＮ、Ｗｉ－Ｆｉ、ＢＴ、Ｚ波、衛星、地上波など）内で構成することができ、任意の適切なネットワークトポロジ（例えば、メッシュ、バス、グリッド、リング、スター、ツリー、ライン）で構成することができる。例えば、異種グループ３００は、エッジデバイス３０２ａ、３０２ｂ、３０４、３０６、３０８の半接続メッシュネットワークとして提供されてもよく、各タイプのエッジデバイスは、異なるタイプの時系列データを収集する。このシナリオでは、第１のタイプの時系列データを第２のタイプに変換する能力が特に有利であり得る。例えば、好ましいデータタイプ（例えば、超音波レベルデータ）が断続的にのみ利用可能である場合には、好ましいデータタイプが利用可能でない場合のために、劣悪なデータタイプ（例えば、サーマルビデオ画像）が使用されてもよい。

【0023】

例示的な実施形態では、異種グループ３００内で複数の異なるタイプのネットワーク通信（例えば、Ｗｉ－Ｆｉ、４Ｇ、ＢＴ、ＮＦＣ、Ｌｉ－Ｆｉ、ＩｒＤＡ）を使用することができる。例示的な実施形態では、ネットワーク３１２は、無線モバイル・アドホック・メッシュ・ネットワーク（例えば、ＭＡＮＥＴ、ＶＡＮＥＴ、ＳＰＡＮ）であってもよい。例示的な実施形態では、ネットワーク３１２はスキャッタネットであってもよい。グループ３００は、しばしば異種グループ３００内で変化を受けやすい。例えば、グループ３００内のエッジデバイス１００は、異種グループ３００との通信を予期せず失う場合がある。例えば、エッジデバイス１００は、電力を失うことがあり（例えば、プラグが抜かれる、および／またはバッテリが切れる）、干渉（例えば、山、雨）のために接続が制限されているかまたは接続されない領域に移動することがあり、あるいはユーザがスイッチを切ることもある。したがって、異種グループ３００は、静的ではない異種環境内で動作している場合があるが、むしろ、異なるエッジデバイス１００が異種グループ３００に自発的におよび／または予期せずに出入りすることによって動的に変化する場合がある。したがって、第１のタイプの時系列データを収集するエッジデバイス１００が利用できなくなるか、または接続性が失われた場合には、異なるタイプの収集した時系列データを、機械学習モジュール１０８内の特定の機械学習モデルに入力できるデータタイプに変換する必要がある。同様に、必要なデータタイプコンバータを有するデバイスが利用可能でないときに好ましいデータ変換経路が利用できなくなった事象では、代替的なデータ変換経路が必要となることがある。例示的な実施形態では、本願で説明したように、異種グループ３００は、サーマルビデオカメラ、超音波レベル検出器、加速度計、サーミスタ、ショッピングカート、自動車、監視カメラ、現金自動預け払い機、ＧＰＳデバイス、医療デバイス、ロボット、遠隔制御、煙検知器、ヘッドマウントディスプレイのうちの１つまたは複数を含むエッジデバイス１００、あるいは任意の他のエッジデバイス１００を有することができる。例示的な実施形態では、異種グループ３００は、Ｉｎｔｅｒｎｅｔ ｏｆ Ｔｈｉｎｇｓ（ＩｏＴ）の一部である複数のエッジデバイス１００を含み、ＩｏＴは急速に成長しており、既に何十億ものデバイスを含んでおり、膨大なアレイの異なる種類のデータを収集する。ＩｏＴが進化し続けるにつれて、より多くのタイプの時系列データが、多くの異なるドメイン内のより多くのエッジデバイス１００から利用可能となる。

【0024】

図４は、本開示の例示的な実施形態による、エッジデバイスの異種グループにおける機械学習の例示的なプロセスを示すフローチャートである。プロセス４００は、図４に示すフローチャートを参照して説明しているが、プロセス４００に関連する動作を実行する他の多くの方法を使用することができることが理解されよう。例えば、ブロックのうちのいくつかは順序が変更されてもよく、特定のブロックが他のブロックと組み合わされてもよく、特定のブロックが反復的に実行され、または繰り返されてもよく、また記載されたブロックのうちのいくつかは任意であってもよい。

【0025】

例示的なプロセス４００は、第１のタイプのデータである時系列データを収集することから始めることができる（ブロック４０２）。例えば、蒸気トラップのサーマルビデオ画像は、蒸気トラップの解析のために、例えば、保守が必要であり得る問題および／または兆候の検出などのために、記録することができる。第１のデータタイプの収集した時系列データが格納される（ブロック４０４）。例えば、蒸気トラップのサーマルビデオ画像のピクセルデータが、ビデオデータメモリに格納される。例示的な実施形態では、３２０×２４０の解像度を有するサーマルビデオカメラは、各ビデオフレームまたはタイムステップで７６，８００ピクセルの生データを提供することができる。時系列データは、第１のタイプのデータについての第１の分散表現として符号化される（ブロック４０６）。例えば、蒸気トラップのサーマルビデオ画像は、サーマルビデオ画像の分散表現に変換される。例示的な実施形態では、７６，８００ピクセルは３０次元を有する分散表現として符号化することができる。したがって、各タイムステップにおいて、例えば、エンコーダ２０２は、入力として７６，８００タプルを受信し、３０タプルである分散表現を出力することができる。出力される分散表現は、収集したサーマルビデオピクセル時系列データよりもはるかに密で豊富であり得る。収集した時系列データはノイズが多いことが多いが、収集した時系列データの分散表現は、ノイズが最小の最も重要な情報を抽出し、時系列データでは明らかではない時間依存性を取り込むことができる。

【0026】

第１のタイプのデータについての第１の分散表現は、異なる第２のタイプのデータについての第２の分散表現に変換される（ブロック４０８）。例えば、サーマルビデオの分散表現は、目標データタイプである超音波データの分散表現に変換される。例示的な実施形態では、第２の分散表現は、第１の分散表現（例えば、３０タプル）と等しい次元数、または異なる次元数（例えば、１８タプル、３６タプル）を有する。第２のタイプのデータについての第２の分散表現は、第２のタイプのデータの時系列データとして復号化される（ブロック４１０）。例えば、超音波データの分散表現は、超音波データの時系列に変換される。例示的な実施形態では、目標超音波時系列データは、超音波範囲内の多くの異なる特定周波数毎のデシベルレベルを含む。超音波時系列データは、超音波検出器によって提供されるデータタイプと同じデータタイプであってもよい。さらに、復号化された時系列データの精度は、実際の超音波検出器によって提供された時系列データに非常に近い場合がある。例示的な実施形態では、デコーダ２０２は、出力として１６０タプルを出力することができる。機械学習は、第２のタイプのデータの時系列データを使用して実行される（ブロック４１２）。例えば、超音波の時系列データは、蒸気トラップが故障していることを検出するために使用される。目標時系列は、予測モデル（例えば自己回帰積分移動平均）または検出もしくは分類モデル（例えばサポートベクトルマシン、ランダムフォレスト）で使用することができ、その出力はユーザデバイスに送信することができる。ユーザは、ユーザデバイス上のユーザインターフェースを介して問題を通知され、それに応じて是正措置または予防措置をとることができる。例示的なプロセス４００は、クロスドメイン時系列データ変換を提供し、サーマルビデオ画像の機械学習モデルを使用するよりも、故障した蒸気トラップのより迅速でより信頼できる検出を有利に可能にする。このように、現在開示されているクロスドメイン時系列データ変換を介して、一般的により困難かつ／または高価なデータ収集の欠点なしに、超音波検出を使用することによる精度および信頼性の改善の利点が提供される。

【0027】

図５は、本開示の例示的な実施形態による、時系列データ変換のための例示的なプロセス例を示す流れ図である。プロセス５００について、図５に示す流れ図を参照して説明しているが、プロセス５００に関連する動作を実行する他の多くの方法を使用することができることが理解されよう。例えば、ブロックのうちのいくつかは順序が変更されてもよく、特定のブロックが他のブロックと組み合わされてもよく、特定のブロックが反復的に実行され、または繰り返されてもよく、また記載されたブロックのうちのいくつかは任意であってもよく、あるいは異なるデバイスによって実行されてもよい。

【0028】

特定のタイプの産業機器は、高価なダウンタイムや修理が発生する可能性のある障害を回避または遅延させるために、機器が適切に動作し、必要に応じて保守を受けるよう監視する必要があり得る。例示的なプロセス５００では、ユーザはデータタイプＢを使用する機械学習モデルを使用する必要があるが、ユーザがデータタイプＢ（時系列ｂ５０８）を収集することは実際的ではないが、ユーザはデータタイプＡ（時系列ａ５０２）を収集することができる。したがって、時系列ａ５０２（例えば、サーマルビデオ画像データ）は、データ収集デバイス１０４（例えば、サーマルビデオカメラ）によって収集される。時系列ａは、データ収集デバイス１０４が時系列ａ５０２を収集するにつれて、メモリ１０６に格納することができ、あるいはリアルタイムで処理することができる。

【0029】

単純化された例として、時系列ａ５０２の各サーマルビデオ画像は、蒸気トラップと取り囲む周囲環境との間の温度差を決定するために使用される。単一のサーマルビデオ画像は複数の蒸気トラップを含むことができるが、単純化のために、この例示的な実施形態は、サーマルビデオ画像につき１つの蒸気トラップのみを含む。蒸気トラップは、ビデオ熱画像の中央領域に配置されてもよく、４つの周辺領域は蒸気トラップの側面（例えば、上、右、下、および左）に直接隣接する。当然のことながら、周囲の領域および蒸気トラップ自体のより細かい粒度を使用してもよいが、この例示的な実施形態の単純化のために、蒸気トラップの温度をＴ、周囲の４つの領域の温度をそれぞれＴ１、Ｔ２、Ｔ３、Ｔ４とする。したがって、単一のタイムステップにおける温度情報は、５タプル、すなわち（Ｔ，Ｔ－Ｔ１，Ｔ－Ｔ２，Ｔ－Ｔ３，Ｔ－Ｔ４）＝（Ｔ，ΔＴ１、ΔＴ２，ΔＴ３，ΔＴ４）として表すことができる。この５タプルには、蒸気トラップの温度（Ｔ）、および蒸気トラップとその周囲との温度差（ΔΤ１～ΔΤ４）が含まれる。時系列またはベクトルａは、例示的な時系列における４つのタイムステップについての温度情報を表す。各タイムステップでは、下の表１に示すように、対応する５タプルがある。

【表1】

【0030】

以下に説明するように、上記時系列ａ５０２は、目標時系列ｂ５０８（例えば、超音波レベルデータ）に変換される。この例示的な実施形態における関連する超音波周波数は、１～２０ＭＨｚの範囲であり、測定が多くの異なる周波数で行われる場合には、時系列は非常に高い次元を有することがある。しかしながら、この簡略化された例示的な実施形態では、超音波ｄＢレベルは、３つの周波数α、β、およびγでのみ収集される。各タイムステップにおいて、超音波情報は、３つのそれぞれの周波数におけるｄＢレベルからなる３タプルによって表される。時系列またはベクトルｂは、以下の表２に示すように、４つのタイムステップにわたる超音波ｄＢレベル情報の時系列を表す。

【表2】

【0031】

例示的なサンプルデータが、下の表３に示されており、ここで、ΔＴ１がわずかに増加し、周波数ａでの超音波ｄＢレベルが実質的に増加する。

【表3】

【0032】

上記の例示的な時系列ａの値は、速く動作する蒸気トラップの問題を迅速に検出する際に、サーマル画像からの温度時系列データが超音波レベル時系列データよりも有効でない理由を示している。例えば、ΔＴ１の増加はｔ_２において比較的小さく、最小限にしか増加しない。温度の変化は、即座に認識できないか、またはノイズと区別できない場合がある。時系列ａが検出モデルに入力された場合には、モデルは問題を検出することができるが、後のタイムステップでのみ検出することができる。対照的に、超音波の時系列ｂでは、ａの値はｔ_２においてすぐに有意な量だけ増加する。この増加は、超音波データを用いた検出モデルが、温度データを用いた検出モデルよりも早期に問題のある蒸気トラップを検出することを可能にする。この例示的な実施形態では、ａおよびｂは同じ現象の尺度であり、その結果、ａとｂとを関連付ける基本的な関係が得られる。例えば、ΔＴ１は、非線形で時間に依存するシグモイド関数の変化によって、ａにおける超音波ｄＢレベルに関連し得る。この例示的な実施形態では、時系列ａと時系列ｂとの間の時間依存関係は、理解を容易にするためにのみ大幅に簡略化されており、数百または数千の温度差および数百の超音波周波数を含むことができる実際の用途とは対照的である。

【0033】

時系列ａ５０２が収集された後に、時系列ａ５０２がエンコーダ２０２への入力として提供される。エンコーダ２０２は、入力層と、分散表現を出力する出力層との間に複数の層を含むことができる。次いで、エンコーダ２０２は、時系列ａを符号化し、ＤＲ（ａ）５０４（すなわち、時系列ａの分散表現）を出力する。表１～表３を参照して説明した簡略化された例示的な実施形態では、ＤＲ（ａ）５０４は２－タプルであってもよいが、分散表現の次元はかなり大きくなり、次元の低下ははるかに大きくなる。ＤＲ（ａ）５０４は、エンコーダ２０２の出力からデータタイプコンバータ２０４の入力に直接供給され、メモリ１０６に格納され、および／または通信モジュール１０２を介して別のデバイスに送信され得る。

【0034】

データタイプコンバータ２０４は、ＤＲ（ａ）５０４をＤＲ（ｂ）５０６に変換する。したがって、サーマル画像ビデオデータは、超音波レベルデータに変換される。ＤＲ（ａ）５０４およびＤＲ（ｂ）５０６は、それぞれの時系列ａおよびｂの両方で取り込まれた基礎的な現象の時間的特徴の密な表現なので、他の可能な方法よりも短い計算時間で、より少ないメモリで、より正確にデータタイプ変換を実行することができる。典型的には、第１のタイプの生の時系列データを異なる第２のタイプのデータの時系列データに変換することは、計算上の観点からは実際的ではないので、機械学習モデル（例えば、サーマルビデオ画像モデル）のために、次善の予測または検出結果が得られる、次善のデータタイプを使用することをユーザに要求し、あるいは、最適に有用なデータを得るための厄介な方法（例えば、超音波レベルデータを得るための余分な工数）を使用することをユーザに要求する。しかしながら、本開示の有利な特徴によれば、収集した時系列のタイプ毎に新しい機械学習モデルを訓練する（例えば、データタイプＡのための機械学習モデルを訓練する）のではなく、（例えば、データタイプＢを使用する）既存の機械学習モデルの使用を可能にするように、データタイプコンバータ２０４を訓練することがより実用的であり得る。

【0035】

データタイプコンバータ２０４は、ＤＲ（ｂ）５０６をデコーダ２０６に提供し、デコーダ２０６はＤＲ（ｂ）５０６を復号化して時系列ｂ５０８を出力する。デコーダ２０６は、ＤＲ（ｂ）５０６を受信する入力層と、時系列ｂ５０８を出力する出力層との間に複数の層を含むことができる。時系列ｂ５０８は、データタイプＢを使用する機械学習モデルへの入力として使用することができる。開示された時系列データの変換は、品質を維持するか、または雑音を除去することによってデータの品質を向上させることができ、機械学習モデルから出力される結果の精度を向上させることができる。また、例示的な実施形態では、機械学習モデルは、時系列ではなく、入力として分散表現を受け取ることができる。したがって、例えば、機械学習モデルがその入力としてＤＲ（ｂ）５０６を受け入れるように構成されている場合には、デコーダ２０６はＤＲ（ｂ）５０６を時系列ｂ５０８に変換する必要はない。

【0036】

上述したようなサーマルビデオ画像を使用する蒸気トラップの例は単なる例示であり、時系列データの変換は任意のタイプのデータに関連してもよく、関連する機械学習モデルは任意の適切な所定のタスクに関連してもよい。データ収集デバイス１０４は、周囲環境からの実世界の時系列データを検知または検出して、それが所定のタスクに関連する情報を提供する場合には、時系列データを提供することができる。例示的な実施形態では、機械学習モデルは、自動車の目標コーナリング速度を決定することを目的とすることができる。例えば、自動車は、予測される衝突に基づく自動制動、およびドライバへの警報または警告などの自己運転機能を含むことができる。例示的な実施形態では、自動車は、次に来るコーナー（例えば、道路のカーブまたはターン）を分析するためのビデオカメラなどのデータ収集デバイス１０４を含むエッジデバイス１００であってもよい。データ収集デバイス１０４は、曲がりの鋭さ、道路の傾斜、および道路のキャンバ、現在の速さもしくは速度、スリップ角、タイヤ舗装摩擦、自動車の重量、重量の分布、湿度、温度などを決定するために使用される時系列データのデータストリームを提供することができる。機械学習モデルは、次に来る各コーナーの目標速度を出力することができ、ブレーキを掛ける、または危険な状態をユーザに警告するなどのために自動車によって使用することができる。収集したビデオデータは、符号化、データタイプ変換、復号化、および／または他の収集した時系列データ（例えば、加速度の時系列データ、道路キャンバの時系列データ）との融合を含む、１つまたは複数のデータ変換プロセスを受けることができる。

【0037】

図６Ａは、本開示の例示的な実施形態による、データタイプ変換グラフ６００を示すブロック図である。上述のように、利用可能なデータタイプを所望のデータタイプに変換するには、複数のデータタイプ変換が必要となることがある。図６Ａに示すように、データタイプＡ、Ｂ、Ｃ、Ｄ、Ｅ、およびＦは、それぞれ、ノード６０２、６０４、６０６、６０８、６１０、６１２として表される。これらのデータタイプは、接続線分によって表されるように、上述したデータ変換プロセスに従って変換することができる。図５を参照すると、時系列ａ５０２および時系列ｂ５０８は、データタイプＡ６０２およびデータタイプＢ６０４にそれぞれ対応することができる。したがって、データタイプＡ６０２とデータタイプＢ６０４との間の接続は、時系列ａのためのエンコーダ２０２、時系列ｂのためのエンコーダ２０２、時系列ａのためのデコーダ２０６、時系列ｂのためのデコーダ２０６、データＤＲ（ａ）をＤＲ（ｂ）に変換するデータタイプコンバータ２０４、およびＤＲ（ｂ）をＤＲ（ａ）に変換するデータタイプコンバータ２０４を含むことができる。これらのコンポーネントは、この図を簡潔にするために省略されている。データタイプ間の各接続線分は、データタイプコンバータ２０４を含む。エンコーダ２０２またはデコーダ２０６は、例えばマルチノード変換が必要な場合、およびノードの入力および出力が両方とも分散表現である場合には、データタイプ間の各接続線分で必要とされない場合がある。

【0038】

例示的な実施形態では、データタイプＡ６０２は、１つの製造機器の上に最適ではない位置に配置された振動センサ（例えば、加速度計）を含むエッジデバイス１００によって収集される。多くの場合、特定の環境、エッジデバイス１００のサイズなどのために、エッジデバイス１００を最適な位置に取り付けることは不可能であることを理解されたい。データタイプＢ６０４は、製造機器上の最適な位置に配置された同じ振動センサによって収集されたデータであってもよい。データタイプＡ６０２およびデータタイプＢ６０４は、第１の製造業者によって製造された振動センサについてのものであってもよいが、データタイプＣ６０６は、異なる第２の製造業者によって製造された同じタイプの振動センサについてのものであってもよい。したがって、第１の製造業者の非最適配置の振動センサは、第２の製造業者の最適配置の振動センサに変換され得る時系列データを提供することができる。したがって、様々な非理想的な配置で動作する検出機器から収集された、および／または異なる製造業者によって製造された検出機器から収集された時系列データは、全て同じデータタイプに変換することができる。これにより、全ての収集データを、ユーザによって既に所有またはライセンスされている既存の機械学習モデルと共に使用することができる。例示的な実施形態では、データタイプＤ６０８は赤外線強度であってもよく、データタイプＥ６１０は温度レベルであってもよく、データタイプＦ６１２は超音波レベルであってもよい。したがって、利用可能な振動データタイプＡ６０２は、超音波データタイプＦ６１２に変換することができる。したがって、それぞれ異なるデータタイプは、全く異なるドメイン内のデータであってもよいし、あるいは類似または同じタイプのデータであってもよいが、収集データを異なるものにするいくつかの特性（例えば、センサの異なる配置、異なる製造業者、異なる時間周期またはサンプリング周波数、異なる高度、異なる周囲空気温度）を有する。したがって、一般的に同じタイプのデータ（例えば、振動データ）を提供する異なるソース（例えば、データ収集デバイス１０４）は、上述のように、一方のソースのデータを他方のソースのデータに等価になるように変換できるデータタイプ変換が提供される範囲で、ここでは異なるタイプのデータを提供するものと呼ぶことができる。したがって、異なるタイプのデータは、異なるソースからの同じタイプのデータであり得るので、全ての異なるデータタイプは異なるソースから提供されるが、全ての異なるソースが異なるデータタイプを提供するわけではない。また、単一エッジデバイス１００（例えば、自動車）は、様々な異なるタイプのデータを提供するいくつかの異なるソースまたはセンサを有することができる。

【0039】

図６Ａに示すように、データタイプＡ６０２からデータタイプＦ６１２への変換は、データタイプＢ６０４、データタイプＣ６０６、データタイプＤ６０８、およびデータタイプＥ６１０を介して、連続する５つのデータ変換を必要とする。場合によっては、特に多数のデータタイプ変換が必要な場合には、出力される所望のデータの劣化が起こり、結果として精度が低下することがある。図６Ｂは、本開示の例示的な実施形態による、データタイプ変換グラフ６５０を示すブロック図である。図６Ｂでは、データタイプ変換グラフ６００は、データハブ（例えば、データタイプＣ）を含む。この場合、データタイプＡからデータタイプＦへの５つのデータタイプ変換を必要とするのではなく、２回の変換を必要とするだけである。図６Ｂに示すように、データタイプＣは、データタイプ変換グラフ６５０内の任意の他のデータタイプとの間で直接に変換することができる。しかしながら、データハブが提供されている場合であっても、複数のデータタイプ変換を要求するのが依然として一般的である。例えば、データタイプＦ６１２は、データタイプＤ６０８に直接変換することはできない。この場合、２つのデータタイプ変換の２つのシーケンス（例えば、ＦからＣおよびＣからＤ、あるいはＦからＥおよびＥからＤ）が存在する。別の例示的な実施形態では、利用可能な数十、数百、または数千の可能なデータタイプ変換シーケンスが存在し得る。したがって、データタイプ変換グラフ６５０を介して最適な経路を見つけることは、経路決定モジュール２０８によって実行することができる。

【0040】

例示的な実施形態では、変換経路の決定は、以下で説明するように、経路決定モジュール２０８によって行うことができる。例えば、接続線分による変換の精度は、ａｃｃ｛ｅ｝と表すことができ、以下のようになる。

【数1】

【0041】

変換における各接続線分の変換誤差が独立している場合には、接続線分ｅ_１，ｅ_２，．．ｅ_ｍからなる経路を用いるときの誤差は次式で上限が決まる。

【数2】

【0042】

積の対数をとると、次式が得られる。

【数3】

【0043】

最小の総変換誤差を有する最適経路を見つけるために、経路決定モジュール２０８は、ノードＸとＹとの間の最大加重経路を決定し、ここで各接続線分ｅはｌｏｇ（ａｃｃ｛ｅ_ｉ｝）の重みと関連する。したがって、経路決定モジュール２０８は、複数のデータタイプ変換が必要な場合に生じるデータタイプ変換のシーケンスを決定することができる。

【0044】

例示的な実施形態では、経路決定モジュール２０８は、複数の経路の変換結果の平均（重み付けされていないか、または重み付けされた）を使用することができる。経路決定モジュール２０８は、データタイプ変換グラフにおいて入力データノードＸから目標データノードＹまでの可能な経路の集合を｛Ｐ_１，Ｐ_２，Ｐ_３，．．．，Ｐ_ｎ｝で表すようにし、Ｓがこれらの経路の部分集合を表すようにし、Ｓ＝｛Ｐ_ｉ１，Ｐ_ｉ２，Ｐ_ｉ３，．．．Ｐ_ｉｋ｝である。例えば、Ｓは、集合｛Ｐ_１，Ｐ_２，Ｐ_３，．．．，Ｐ_ｎ｝におけるｋ個の最も正確な経路を含むことができる。経路決定モジュール２０８は、Ｖを経路Ｓのｍ個の部分集合の集合とし、Ｖ＝｛Ｓ_１，Ｓ_２，Ｓ_３，．．．，Ｓ_ｍ｝である。Ｖの全てのＳ_ｉに対して、入力データＸは、Ｓ_ｉの全ての経路を介して目標データＹに変換される。全てのＳ_ｉについて、経路決定モジュール２０８は、Ｓ_ｉの経路によって生成されたＹの変換値を平均化する。全てのＳ_ｉについて、誤差関数とトレーニングデータセット｛（Ｘ、Ｙ）｝を用いて、経路決定モジュール２０８によって平均の変換精度が算出される。経路決定モジュール２０８は、Ｖにおいて平均変換精度が最も高いＳ_ｉを選択する。Ｓ_ｉの経路の部分集合からのＹの平均値は、Ｙの変換値とみなされる。

【0045】

さらに、データハブは、必ずしも他の全てのデータタイプとの間で変換する必要はない。場合によっては、データハブのデータタイプが別のデータタイプと十分に強い相関を持たないので、データ変換の表現力が不足したり、かつ／または、データ変換は、１つまたは複数のデータタイプのデータハブとして適切に機能するのに十分なトレーニングデータが不足したりする場合がある。さらに、データハブは、単一のハブデバイス（例えば、サーバー３１０）内に完全に配置されてもよく、あるいはいくつかの異なるデバイスに分散されてもよい。例えば、１つの物理デバイスは、多くのデータタイプコンバータ２０４を含むことができるが、エンコーダ２０２またはデコーダ２０６は含まない。

【0046】

さらに、多くの異なるデータタイプ（例えば、数百または数千タイプのデータ）を含む大規模システムでは、複数のデータハブを利用することができる。例えば、１つのデータタイプが他の全てのデータタイプに適切な変換特性を提供することは実際的ではない場合がある。また、いくつかのデータハブを有することにより、データタイプ変換の総必要数、ひいてはシステムに必要なデータタイプコンバータ２０４の訓練の合計量を減らすことができる。

【0047】

場合によっては、単一のデータ収集デバイス１０４が十分な精度でそのデータタイプを目標データタイプに変換するのに十分な情報を取り込むことができないことがある。そのような場合、融合モジュール２１０は、複数のデータ収集デバイス１０４からの情報を融合して、より多くの情報に富む単一のデータタイプを作成することができる。結果として得られた融合データタイプは、次に、個々のデータタイプの集合的情報による、目標データタイプの解析の精度を向上させるために、目標データタイプに変換することができる。

【0048】

異なるデータタイプの複数の時系列が同期されている場合には、これらの時系列は時間によって整列され、融合されて、観察される状況についてのより多くの情報を表す新しい時系列を生成することができる。それ以外の場合は、時系列は同期されない。例えば、異なるデータ収集デバイス１０４は、測定を行うために異なる外部事象によってトリガすることができ、非同期の時系列が得られる。この場合、時系列は、例えば、整列されたデータ点を作成するために欠損値を入力することによって整列することができる。

【0049】

製造施設では、重要な機器の故障が莫大な財務上の損失を引き起こしたり、かつ／または従業員に安全上のリスクをもたらしたりするおそれがあることを理解されたい。回転部品の振動を検出する加速度計は、機器の潜在的な問題の早期発見を可能にし、設備オペレータが、障害が発生する前に機器の修理または機器の停止の予防措置をとることを可能にする。振動時系列データは、一般に、回転部品の近くに恒久的に取り付けられた加速度計から収集される。しばしば、単一の回転部品を複数の加速度計によって監視することができる。例えば、一般的な技術は、各々が垂直（Ｘ）軸、接線方向（Ｙ）軸、および半径方向（Ｚ）軸に沿って振動を測定する３つの加速度計で回転部品を監視することを含む。その複雑さとサイズに応じて、単一の機械が、数百または数千の監視された回転部品を有することがある。

【0050】

振動時系列データは、機械学習モデルによって検出され得る、問題のある傾向または異常を示すことができる。例えば、動力伝達ユニットにおけるギヤメッシュ周波数の機械学習解析は、金属粒子をギヤボックス内にもたらす、ギヤの歯の間に詰まった小さな砂または汚れ粒子を検出することができる。例示的な実施形態では、振動時系列データは、ファンなどの回転機器におけるアンバランス状態の識別、および／または回転機器のベアリング内の欠陥の検出に使用される。また、例えば、回転機器が支持構造体の固有振動数に近づく周波数で回転しているかどうかを決定するために、周波数解析を使用することができる。多種多様なタスクのためのモデルが振動時系列データで既に訓練されているので、振動時系列データは一般的に予測保守に非常に有用である。しかしながら、振動時系列データを収集するには、多数の永久に取り付けられた加速度計が必要であるが、機械および工場設定によっては実際的でない場合がある。機械機能を表す他のタイプのデータも利用可能であるが、これらのデータを使用する特定のタスクの訓練された機械学習モデルを利用できない場合がある。多くの異なるデータタイプを使用して多くの特定のタスクのための多くの機械学習モデルを訓練することは、必ずしも実際的ではない。あるいは、利用可能な時系列タイプについて機械学習モデルが利用可能であり得るが、機械学習モデルは、例えばトレーニングデータの不十分さまたは希薄さのために、精度が低い場合がある。

【0051】

図７は、本開示の例示的な実施形態による、データタイプ融合を含むデータタイプ変換グラフ７００を示すブロック図である。例示的な実施形態では、予測保守のための機械学習モデルは、データタイプＺ７０８の入力を必要とする。データタイプＸ７０２およびデータタイプＹ７０４は、データ収集デバイス１０４によって収集されるように利用可能であるが、しかしながら、データタイプＸ７０２だけでは、データタイプＺへの正確な変換を提供するには十分に豊富ではない。同様に、データタイプＹ７０４もまた、データタイプＺ７０８への正確な変換を提供するのには十分に豊富ではない。したがって、データタイプＸ７０２およびデータタイプＹ７０４は、融合モジュール２１０によって融合されて、より堅牢で情報豊富なデータタイプＸＹ７０６を作成することができる。以下に説明するように、データタイプの融合は、多くの方法で、例えば、時系列データの異なる次元または変数を多くの方法で組み合わせることによって達成することができる。データタイプＸＹ７０６は、目標データタイプＺ７０８へのデータタイプ変換に適していてもよい。例示的な実施形態では、データタイプＸ７０２はサーマルビデオ画像時系列ｘであり、データタイプＹ７０４は超音波レベル時系列ｙであり、データタイプＺ７０８は振動時系列ｚである。簡略化のために、この例示的な実施形態では、サーマルビデオ画像時系列ｘは、５タプルとして表され、ビデオサーマル画像の中心領域は回転部品に焦点を合わせ、４つの周辺領域は回転部品の側面（例えば、上、右、下、左）に直接隣接する。したがって、上述の例と同様に、単一のタイムステップにおけるサーマルビデオ画像情報は、５タプル、すなわち（Ｔ，Ｔ－Ｔ１，Ｔ－Ｔ２，Ｔ－Ｔ３，Ｔ－Ｔ４）＝（Ｔ，ΔＴ１、ΔＴ２，ΔＴ３，ΔＴ４）として表すことができる。この５タプルは、回転部品の温度（Ｔ）、および回転部品と周囲領域との間の温度差（ΔΤ１～ΔΤ４）を表す。時系列またはベクトルｘは、例示的な時系列における４つのタイムステップについての温度情報を表す。また、この簡略化された例示的な実施形態では、超音波ｄＢレベルは、３つの周波数α、β、およびγでのみ収集される。各タイムステップにおいて、超音波情報は、３つのそれぞれの周波数におけるｄＢレベルからなる３タプルによって表される。時系列またはベクトルｙは、４つのタイムステップにわたる超音波ｄＢレベル情報の時系列を表す。したがって、各タイムステップにおいて、以下の表４に示すように、時系列ｘに対応する５タプルおよび時系列ｙに対応する３タプルがあり、簡略化された例示的なデータも下の表５に示されている。

【表4】

【表5】

【0052】

データタイプを融合させる方法は、２つのデータタイプ間の重要な関係がどの程度良好に取り込まれるかに影響を与える可能性がある。したがって、例示的な実施形態では、以下の表６に示すように、各温度差を個々に３つの全ての超音波周波数とペアにすることによって、時系列ｘを時系列ｙと融合させることができる。

【表6】

【0053】

上に示したように、各タイムステップの融合時系列データｘｙ_ｉは、４つの５タプルで表され、３つの全ての超音波ｄＢ測定値は各温度差とペアになる。別の例示的な実施形態では、以下の表７に示すように、各温度差を各超音波周波数と個別にペアにすることによって、時系列ｘを時系列ｙと融合させることができる。

【表7】

【0054】

上に示したように、各タイムステップの融合時系列データｘｙ_２は１２個の３タプルで表され、個々の超音波ｄＢ測定値は個々の温度差とペアになる。融合時系列データｘｙ_２は、特定領域における温度の時間変化が特定の超音波周波数の時間変化とどのように相互作用するかに応じて、融合時系列データｘｙ_１よりも個々の関係を取り込むことがより可能になる。例えば、異なる領域内の温度差の各々が、３つの超音波周波数のそれぞれに対して異なる時間相関を有する場合には、融合時系列データｘｙ_２は、融合時系列データｘｙ_１よりも豊富な分散表現を提供することができる。融合モジュール２１０は、表６に示すように融合時系列データをより効率的に作成することができる。典型的な例では、単純化した例で上に示した５タプルおよび３タプルではなく、数十もしくは数百の温度差および超音波周波数、ならびに／あるいは他の変数が存在することがあり、それは組み合わせの爆発が起こるおそれがある。一方、異なる領域の温度差の各々が３つの全ての超音波周波数に対して非常に類似した時間的相関を有する場合には、表７に示す融合技術は不要であり、それは、融合したデータタイプにより利用可能な精度を大幅に向上させることなく、データを融合させるのに必要な計算を大幅に増加させるからである。したがって、融合モジュール２１０は、実行すべき特定のタイプの融合を決定するために、異なる可能性のある融合技術の性能と計算負荷との利点を吟味することができる。典型的には、データを融合するための複数の選択肢が存在することがあり、融合モジュール２１０は、どのオプションを使用すべきかを決定することができる。

【0055】

表５の上記の例示的なデータに基づいて、融合時系列データｘｙ_２を以下の表８に示す。

【表8】

【0056】

図７に示すように、融合モジュール２１０は、データタイプＸＹ７０６を出力する。例えば、融合時系列ｘｙは、分散表現ＤＲ（ｘｙ）として符号化され、ＤＲ（ｚ）として目標データタイプＺに変換され、その後、時系列ｚを入力として使用する機械学習モデルで使用するための時系列ｚとして復号化することができる。

【0057】

例示的な実施形態では、振動時系列ｚは、４つの異なる回転部品（Ｖ１～Ｖ４）を含み、各々は３軸の振動を測定するために収集された加速度計の時系列データを有する。したがって、各タイムステップでは、以下の表９に示すように、時系列ｚの各回転部品に対して対応する３タプルがあり、簡略化された例示的データも下の表１０に示されている。

【表9】

【表10】

【0058】

上に示したように、Ｖ２とＶ３は４つのタイムステップで変化しないが、Ｘ座標が３．２から始まり０に減少し、Ｚ座標が０から始まり４．２に増加するにつれて、Ｖ１はＸＹ平面からＹＺ平面への振動軸の回転を受ける。Ｖ１Ｘの値は、Ｖ１ＸからΔＴ１とαとの間の根本的な関係のために時系列ｚにおいて減少する。一方、Ｖ１Ｚの値は、Ｖ１ＺからΔＴ４とγとの間の根本的な関係のために時系列ｚにおいて増加する。また、Ｖ４は、Ｖ４ＺとΔＴ１との間の根本的な関係に基づいて、Ｚ軸の方向のみの振動の増加を示す。根本的な関係には、時間依存性および／またはクロスドメイン依存性が含まれ得るが、これらの依存性は容易には分からない。融合時系列ｘｙは、ΔΤ１とαとの間の関係、ΔΤ４とγとの間の関係などのドメイン間の関係、およびＶ４ＺとΔΤ１との間の関係などの時間的関係を取り込むＤＲ（ｘｙ）に変換することができる。したがって、このデータをデータタイプＸＹとして融合することにより、時系列ｘｙを、未融合データによって生成されたＤＲ（ｘ）またはＤＲ（ｙ）のいずれにも表されない情報を含むＤＲ（ｘｙ）として符号化することができる。したがって、ＤＲ（ｘｙ）は、データタイプＸまたはデータタイプＹのいずれかにより個々に達成するよりも、あるいは機械学習モデルへの入力としてデータタイプＸおよびＹを組み合わせて達成するよりも、より正確な機械学習結果を提供することができる。典型的な実施形態では、根本的な関係は、上記の簡略化された例に関して説明された関係よりはるかに複雑であることを理解されたい。さらに、上述のようにデータタイプを融合することにより、利用可能なデータからの情報の抽出の改善が可能になり、予測保守の改善、設備停止時間の短縮、修理費用の低減、安全性の向上などがもたらされる。

【0059】

さらに、上記の例示的な実施形態は、融合された２つのデータタイプを含んでいるだけであるが、３つ以上のデータタイプを上述したのと同じ方法で融合して、複雑なデータ融合を作成することができる。例えば、データタイプＣ６０６、データタイプＥ６１０、およびデータタイプＦ６１２を融合してデータタイプＧを生成することができる。また、既に融合されたデータタイプ（例えば、データタイプＸＹ７０６）を非融合の別のデータタイプ（例えば、データタイプＵ）または既に融合された別のデータタイプ（例えば、データタイプＵＶＷ）と融合することができる。

【0060】

従来の既存の機械学習方法（例えば、産業予測保守用）は、例えば、同種環境または特定のエッジデバイス１００内のいくつかの特定のタイプの時系列データを処理するために一般に有用であった。しかしながら、我々は、特にＩｏＴなどの異種環境において、解析のために収集できる利用可能なデータタイプとソースの変化は、既存の方法を用いて適切に処理することができないことを認識している。例えば、特定のタイプのデータ毎に、および／または特定のデータソース毎に、正確な機械学習モデルを訓練することは実際的ではない。より良いより速いコンピュータおよび／またはネットワークハードウェアでこの問題に対処しようとすることは、不十分であることが証明されており、それは、最も技術的に高度なコンピュータハードウェア、ソフトウェア、およびネットワーキング機能であっても、絶えず拡大するデータドメイン、データのタイプ、および通常遭遇する異種環境の特定のデータソースを処理するのに適していないためである。換言すれば、既存の技術は、一般に、時系列データを提供する様々な異なるデータタイプおよびソースを用いて異種環境における機械学習を処理するには不十分である。一方、本明細書で提案される機械学習などの時系列データの収集は、従来の既存の方法およびシステムを用いては不可能であった異なる技術的アプローチをとる。したがって、機械学習デバイスは、特に、ＩｏＴなどの異種環境でエッジデバイス１００を使用する場合には、本明細書で説明する方法およびシステムを使用することによって改善される。例えば、本開示によって、蒸気トラップおよび製造機器に関する故障検出および予測保守の技術を大幅に改善することができる。

【0061】

本明細書に記載の開示された方法および手順の全ては、１つまたは複数のコンピュータプログラム、モジュール、またはコンポーネントを使用して実装できることが理解されよう。これらのモジュールまたはコンポーネントは、ＲＡＭ、ＲＯＭ、フラッシュメモリ、磁気もしくは光学ディスク、光学メモリ、または他の記憶媒体などの揮発性または不揮発性メモリを含む、任意の従来のコンピュータ可読媒体または機械可読媒体上の一連のコンピュータ命令として提供されてもよい。命令は、ソフトウェアまたはファームウェアとして提供されてもよく、かつ／またはＡＳＩＣ、ＦＰＧＡ、ＤＳＰまたは他の同様のデバイスなどのハードウェアコンポーネントの全体または一部に実装されてもよい。命令は、１つまたは複数のプロセッサによって実行されるように構成することができ、１つまたは複数のプロセッサは、一連のコンピュータ命令を実行する場合に、開示された方法および手順の全部または一部の処理を実行し、または容易にする。「手段」および／または「ステップ」という用語は、米国特許法第１１２条（ｆ）に基づくミーンズプラスファンクション処理を行使するために使用され、「手段」または「ステップ」が請求項に記載されていなければ、ミーンズプラスファンクション処理を行使することは意図しない。

【0062】

本明細書に記載した主題の態様は、単独で、あるいは本明細書に記載した１つまたは複数の他の態様と組み合わせて、有用であり得る。以下の記述を限定することなく、本開示の例示的な態様では、方法は、第１のタイプのデータの第１の時系列を受信するステップと、第１のタイプのデータの第１の時系列を格納するステップと、第１のタイプのデータの第１の時系列を、第１のタイプのデータについての第１の分散表現として符号化するステップと、第１の分散表現を、第１のタイプのデータとは異なる第２のタイプのデータについての第２の分散表現に変換するステップと、第２のタイプのデータについての第２の分散表現を、第２のタイプのデータの第２の時系列として復号化するステップとを含む。上記の態様と組み合わせて使用することができる本開示の別の例示的な態様によれば、第１のタイプのデータの第１の時系列は赤外線サーモグラフィであり、第２のタイプのデータの第２の時系列は超音波デシベルレベルである。前述の態様のうちの任意の１つまたは複数と組み合わせて使用することができる、本開示の別の例示的な態様によれば、第１のタイプのデータの第１の時系列は、蒸気トラップを監視する赤外線カメラによって提供される。前述の態様のうちの任意の１つまたは複数と組み合わせて使用することができる、本開示の別の例示的な態様によれば、本方法は、第２のタイプのデータの第２の時系列を検出モデルに入力するステップをさらに含む。前述の態様のうちの任意の１つまたは複数と組み合わせて使用することができる、本開示の別の例示的な態様によれば、検出モデルは、第２のタイプのデータの第２の時系列を使用して、蒸気トラップが故障していると判定する。前述の態様のうちの任意の１つまたは複数と組み合わせて使用することができる、本開示の別の例示的な態様によれば、本方法は、第２のタイプのデータの第２の時系列を予測モデルに入力するステップをさらに含む。前述の態様のうちの任意の１つまたは複数と組み合わせて使用することができる、本開示の別の例示的な態様によれば、本方法は、第２のデータタイプの第２の時系列に基づいて、予測モデルの出力をユーザデバイスに送信するステップをさらに含む。前述の態様のうちの任意の１つまたは複数と組み合わせて使用することができる、本開示の別の例示的な態様によれば、本方法は、第１の分散表現および第２の分散表現のうちの少なくとも１つを、第１のデバイスから第２のデバイスに送信するステップをさらに含む。前述の態様のうちの任意の１つまたは複数と組み合わせて使用することができる、本開示の別の例示的な態様によれば、本方法は、第２のタイプのデータの第２の時系列を第２のタイプのデータの第２の分散表現として符号化するステップと、第２の分散表現を、第１のタイプのデータおよび第２のタイプのデータとは異なる第３のタイプのデータについての第３の分散表現に変換するステップと、第３のタイプのデータについての第３の分散表現を、第３のタイプのデータの第３の時系列として復号化するステップと、をさらに含む。前述の態様のうちの任意の１つまたは複数と組み合わせて使用することができる、本開示の別の例示的な態様によれば、第１の分散表現、第２の分散表現、第２の時系列、第３の分散表現、および第３の時系列のうちの少なくとも１つを、第１のデバイスから第２のデバイスに送信するステップをさらに含む。前述の態様のうちの任意の１つまたは複数と組み合わせて使用することができる、本開示の別の例示的な態様によれば、第１の分散表現を第２の分散表現に変換するステップは、第１の分散表現を、第１のタイプのデータおよび第２のタイプのデータとは異なる第３のタイプのデータについての第３の分散表現に変換するステップと、第３の分散表現を復号化することなく、第３の分散表現を第２の分散表現に変換するステップと、を含む。前述の態様のうちの任意の１つまたは複数と組み合わせて使用することができる、本開示の別の例示的な態様によれば、第２のタイプのデータは、予測モデルが入力として受け取るように構成された第１のタイプのデータと第３のタイプのデータとの間の中間データタイプであり、第１のタイプのデータと第３のタイプのデータとの間にデータタイプ変換の複数の異なるシーケンスが存在し、本方法は、実行するデータタイプ変換のシーケンスを複数の異なるシーケンスから決定するステップをさらに含む。前述の態様のうちの任意の１つまたは複数と組み合わせて使用することができる、本開示の別の例示的な態様によれば、データタイプ変換のシーケンスは、ハブデバイスに提供された少なくとも２つのデータタイプ変換を含む。前述の態様のうちの任意の１つまたは複数と組み合わせて使用することができる、本開示の別の例示的な態様によれば、第１のタイプのデータおよび第２のタイプのデータは、両方ともデータの同一ドメイン内にあり、第１のタイプのデータは、第２のタイプのデータとは異なるソースから収集される。前述の態様のうちの任意の１つまたは複数と組み合わせて使用することができる、本開示の別の例示的な態様によれば、異なるソースは、異なる製造業者によって製造される、および、監視される機器に対して異なる位置に配置される、の少なくとも一方である。

【0063】

前述の態様のうちの任意の１つまたは複数と組み合わせて使用することができる、本開示の別の例示的な態様によれば、装置は、ある期間にわたって第１のタイプのデータを収集するように構成されたデータ収集デバイスと、データ収集デバイスによって収集された時系列データを格納するように構成されたメモリと、第１のタイプのデータの第１の時系列を、第１のタイプのデータについての第１の分散表現に変換するように構成されたエンコーダと、第１の分散表現を、第１のタイプのデータとは異なる第２のタイプのデータについての第２の分散表現に変換するように構成されたデータタイプコンバータと、第２のタイプのデータについての第２の分散表現を、第２のタイプのデータの第２の時系列に変換するように構成されたデコーダと、を含む。前述の態様のうちの任意の１つまたは複数と組み合わせて使用することができる、本開示の別の例示的な態様によれば、エンコーダを構成することは、第１のタイプのデータのトレーニングデータの第１のセットでエンコーダを訓練することを含み、デコーダを構成することは、第２のタイプのデータのトレーニングデータの第２のセットでデコーダを訓練することを含み、データタイプコンバータを構成することは、第１のタイプのデータおよび第２のタイプのデータの分散表現の対を含むトレーニングデータの第３のセットでデータタイプコンバータを訓練することを含む。前述の態様のうちの任意の１つまたは複数と組み合わせて使用することができる、本開示の別の例示的な態様によれば、エンコーダは、入力層および複数のエンコーダ層を含み、デコーダは、出力層および複数のデコーダ層を含む。

【0064】

前述の態様のうちの任意の１つまたは複数と組み合わせて使用することができる、本開示の別の例示的な態様によれば、装置は、データ収集デバイスによって収集された時系列データおよび分散表現データを格納するように構成されたメモリと、第１のタイプのデータの第１の時系列を第１のタイプのデータの第１の分散表現に変換するように構成された第１のエンコーダと、第１のタイプのデータについての第１の分散表現を第１のタイプのデータの第１の時系列に変換するように構成された第１のデコーダと、第１の分散表現を、第１のタイプのデータとは異なる第２のタイプのデータについての第２の分散表現に変換するように構成された第１のデータタイプコンバータと、第２の分散表現を第１の分散表現に変換するように構成された第２のデータタイプコンバータと、第２のタイプのデータの第２の時系列を第２のタイプのデータについての第２の分散表現に変換するように構成された第２のエンコーダと、第２のタイプのデータについての第２の分散表現を、第２のタイプのデータの第２の時系列に変換するように構成された第２のデコーダと、第１の分散表現を、第１のタイプのデータおよび第２のタイプのデータとは異なる第３のタイプのデータについての第３の分散表現に変換するように構成された第３のデータタイプコンバータと、第３の分散表現を第１の分散表現に変換するように構成された第４のデータタイプコンバータと、第３のタイプのデータの第３の時系列を第３のタイプのデータについての第３の分散表現に変換するように構成された第３のエンコーダと、第３のタイプのデータについての第３の分散表現を第３のタイプのデータの第３の時系列に変換するように構成された第３のデコーダと、を含む。前述の態様のうちの任意の１つまたは複数と組み合わせて使用することができる、本開示の別の例示的な態様によれば、本装置は、複数の異なるデバイスのチェーン内の１つのデバイスである。

【0065】

加えて、本開示は、以下の番号を付した例示的な実施形態に記載される以下の構成を有することができる。

【0066】

［実施形態１］時系列データから事象を検出または予測するコンピュータにより実施される方法であって、本方法は、第１のタイプのデータの第１の時系列を受信するステップであって、第１のタイプのデータは第１のパラメータを示す、ステップと、第１のタイプのデータの第１の時系列を格納するステップと、第１のタイプのデータの第１の時系列を、第１のタイプのデータについての第１の分散表現として符号化するステップと、第１の分散表現を第２のタイプのデータについての第２の分散表現に変換するステップであって、第２のタイプのデータは第１のパラメータとは異なる第２のパラメータを示す、ステップと、第２の分散表現から解析モデルのための入力を生成するステップであって、解析モデルは、第２のパラメータの挙動に基づいて事象を検出または予測するためのものである、ステップと、第２のパラメータの挙動に基づいて事象を検出または予測するために、入力上で解析モデルを実行するステップと、解析モデルによって検出または予測された事象に対応する解析モデルからの出力を送信するステップと、を含み、第１のパラメータの挙動および第２のパラメータの挙動は共通の現象に関する情報を提供し、第１のパラメータの挙動は解析モデルと両立しない。

【0067】

［実施形態２］実施形態１の方法であって、解析モデルのための入力を生成するステップは、第２のタイプのデータについての第２の分散表現を、第２のタイプのデータの第２の時系列として復号化するステップと、を含む。

【0068】

［実施形態３］実施形態２の方法であって、解析モデルを実行するステップは、第２のタイプのデータの第２の時系列を解析モデルに入力するステップを含む。

【0069】

［実施形態４］実施形態１の方法であって、解析モデルのための入力を生成するステップは、第２の分散表現を解析モデルに供給するステップを含む。

【0070】

［実施形態５］実施形態４の方法であって、解析モデルを実行するステップは、第２の分散表現を解析モデルに入力するステップを含む。

【0071】

［実施形態６］実施形態１の方法であって、解析モデルは、第２のパラメータの挙動を示すトレーニングデータを用いて訓練された機械学習モデルである。

【0072】

［実施形態７］実施形態１の方法であって、第１の分散表現は、第１のタイプのデータの第１の時系列と比較して次元が減少している。

【0073】

［実施形態８］実施形態７の方法であって、符号化ステップは、第１のパラメータの挙動を示すトレーニングデータを用いて訓練された人工ニューラルネットワークを利用する。

【0074】

［実施形態９］実施形態１の方法であって、第２の分散表現は、第２のタイプのデータの第２の時系列と比較して次元が減少している。

【0075】

［実施形態１０］実施形態９の方法であって、復号化ステップは、第２のパラメータの挙動を示すトレーニングデータを用いて訓練された人工ニューラルネットワークを利用する。

【0076】

［実施形態１１］実施形態１の方法であって、変換ステップは、ペアのデータセットを使用して訓練された人工ニューラルネットワークを利用し、各ペアは、第１の分散表現および対応する第２の分散表現を含む。

【0077】

［実施形態１２］実施形態１１の方法において、第１のタイプのデータの第１の時系列は赤外線サーモグラフィであり、第２のタイプのデータの第２の時系列は超音波デシベルレベルである。

【0078】

［実施形態１３］実施形態１２の方法であって、第１のタイプのデータの第１の時系列は、蒸気トラップを監視する赤外線カメラによって提供される。

【0079】

［実施形態１４］実施形態１の方法であって、解析モデルは、第２のタイプのデータの第２の時系列を用いて蒸気トラップが故障していると判定するように構成される。

【0080】

［実施形態１５］実施形態１の方法であって、解析モデルの出力はユーザデバイスに送信される。

【0081】

［実施形態１６］実施形態１の方法であって、第１の分散表現および第２の分散表現のうちの少なくとも１つを、第１のデバイスから第２のデバイスに送信するステップをさらに含む。

【0082】

［実施形態１７］実施形態１の方法であって、第２の分散表現を第３のタイプのデータについての第３の分散表現に変換するステップであって、第３のタイプのデータは、第１のパラメータおよび第２のパラメータとは異なる第３のパラメータを示す、ステップと、第３のタイプのデータについての第３の分散表現を、第３のタイプのデータの第３の時系列として復号化するステップと、をさらに含む。

【0083】

［実施形態１８］実施形態１７の方法であって、第１の分散表現、第２の分散表現、第２の時系列、第３の分散表現、および第３の時系列のうちの少なくとも１つを、第１のデバイスから第２のデバイスに送信するステップをさらに含む。

【0084】

［実施形態１９］実施形態１の方法であって、第１の分散表現を第２の分散表現に変換するステップは、第１の分散表現を第３のタイプのデータについての第３の分散表現に変換するステップであって、第３のタイプのデータは、第１のパラメータおよび第２のパラメータとは異なる第３のパラメータを示す、ステップと、第３の分散表現を復号化することなく、第３の分散表現を第２の分散表現に変換するステップと、を含む。

【0085】

［実施形態２０］実施形態１９の方法であって、第３のタイプのデータは、解析モデルが入力として受け取るように構成された第１のタイプのデータと第２のタイプのデータとの間の中間データタイプであり、第１のタイプのデータと第２のタイプのデータとの間にデータタイプ変換の複数の異なるシーケンスが存在し、本方法は、実行するデータタイプ変換のシーケンスを複数の異なるシーケンスから決定するステップをさらに含む。

【0086】

［実施形態２１］実施形態２０の方法であって、データタイプ変換のシーケンスは、ハブデバイスに提供された少なくとも２つのデータタイプ変換を含む。

【0087】

［実施形態２２］実施形態１の方法であって、第１のタイプのデータおよび第２のタイプのデータは、両方ともデータの同一ドメイン内にあり、第１のタイプのデータは、第２のタイプのデータとは異なるソースから収集される。

【0088】

［実施形態２３］実施形態２２の方法であって、異なるソースは、異なる製造業者によって製造される、および、監視される機器に対して異なる位置に配置される、の少なくとも一方である。

【0089】

［実施形態２４］時系列データから事象を検出または予測するコンピュータにより実施される方法であって、本方法は、第１のタイプのデータの第１の時系列を受信するステップであって、第１のタイプのデータは第１のパラメータを示す、ステップと、第１のタイプのデータの第１の時系列を格納するステップと、第２のタイプのデータの第２の時系列を受信するステップであって、第２のタイプのデータは第１のパラメータとは異なる第２のパラメータを示す、ステップと、第２のタイプのデータの第２の時系列を格納するステップと、第１のタイプのデータの第１の時系列と第２のタイプのデータの第２の時系列とを融合して、融合タイプのデータの結合時系列を生成するステップと、融合タイプのデータの結合時系列を、融合タイプのデータについての第１の分散表現として符号化するステップと、第１の分散表現を第３のタイプのデータについての第２の分散表現に変換するステップであって、第３のタイプのデータは、第１のパラメータおよび第２のパラメータとは異なる第３のパラメータを示す、ステップと、第２の分散表現から解析モデルのための入力を生成するステップであって、解析モデルは、第３のパラメータの挙動に基づいて事象を検出または予測するためのものである、ステップと、第３のパラメータの挙動に基づいて事象を検出または予測するために、入力上で解析モデルを実行するステップと、解析モデルによって検出または予測された事象に対応する解析モデルからの出力を送信するステップと、を含み、第１のパラメータの挙動、第２のパラメータの挙動および第３のパラメータの挙動は、共通の現象に関する情報を提供し、第１のパラメータの挙動および第２のパラメータの挙動は、解析モデルと互換性がない。

【0090】

［実施形態２５］装置は、ある期間にわたって第１のタイプのデータを収集するように構成されたデータ収集デバイスであって、第１のタイプのデータは第１のパラメータを示す、データ収集デバイスと、データ収集デバイスによって収集された時系列データを格納するように構成されたメモリと、第１のタイプのデータの第１の時系列を、第１のタイプのデータについての第１の分散表現に変換するように構成されたエンコーダと、第１の分散表現を第２のタイプのデータについての第２の分散表現に変換するように構成されたデータタイプコンバータであって、第２のタイプのデータは第１のパラメータとは異なる第２のパラメータを示す、データタイプコンバータと、第２の分散表現に基づく入力を受け取り、入力に解析モデルを実行して、第２のパラメータの挙動に基づいて事象を検出または予測するように構成されたアナライザと、解析モデルによって検出または予測された事象に対応する解析モデルからの出力を送信するように構成された出力モジュールと、を含み、第１のパラメータの挙動および第２のパラメータの挙動は共通の現象に関する情報を提供し、第１のパラメータの挙動は解析モデルと互換性がない。

【0091】

［実施形態２６］実施形態２５の装置であって、第２のタイプのデータについての第２の分散表現を、第２のタイプのデータの第２の時系列に変換するように構成されたデコーダをさらに含む。

【0092】

［実施形態２７］実施形態２６の装置であって、アナライザによって受信された入力は、第２のタイプのデータの第２の時系列である。

【0093】

［実施形態２８］実施形態２５の装置であって、エンコーダは、第１のタイプのデータのトレーニングデータの第１のセットでエンコーダを訓練することによって構成され、デコーダは、第２のタイプのデータのトレーニングデータの第２のセットでデコーダを訓練することによって構成され、データタイプコンバータは、第１のタイプのデータおよび第２のタイプのデータの分散表現のペアを含むトレーニングデータの第３のセットでデータタイプコンバータを訓練することによって構成される。

【0094】

［実施形態２９］実施形態２５の装置であって、エンコーダは、入力層および複数のエンコーダ層を含み、デコーダは、出力層および複数のデコーダ層を含む。

【0095】

［実施形態３０］装置は、データ収集デバイスによって収集された時系列データおよび分散表現データを格納するように構成されたメモリと、第１のタイプのデータの第１の時系列を第１のタイプのデータの第１の分散表現に変換するように構成され、第１のタイプのデータは第１のパラメータを示す、第１のエンコーダと、第１のタイプのデータについての第１の分散表現を第１のタイプのデータの第１の時系列に変換するように構成された第１のデコーダと、第１の分散表現を第２のタイプのデータについての第２の分散表現に変換するように構成され、第２のタイプのデータは第１のパラメータとは異なる第２のパラメータを示す、第１のデータタイプコンバータと、第２の分散表現を第１の分散表現に変換するように構成された第２のデータタイプコンバータと、第２のタイプのデータの第２の時系列を第２のタイプのデータについての第２の分散表現に変換するように構成された第２のエンコーダと、第２のタイプのデータについての第２の分散表現を、第２のタイプのデータの第２の時系列に変換するように構成された第２のデコーダと、第１の分散表現を、第１のタイプのデータおよび第２のタイプのデータとは異なる第３のタイプのデータについての第３の分散表現に変換するように構成され、第３のタイプのデータは第１のパラメータおよび第２のパラメータとは異なる第３のパラメータを示す、第３のデータタイプコンバータと、第３の分散表現を第１の分散表現に変換するように構成された第４のデータタイプコンバータと、第３のタイプのデータの第３の時系列を第３のタイプのデータについての第３の分散表現に変換するように構成された第３のエンコーダと、第３のタイプのデータについての第３の分散表現を第３のタイプのデータの第３の時系列に変換するように構成された第３のデコーダと、第１のエンコーダ、第１のデコーダ、第１のデータタイプコンバータ、第２のエンコーダ、第２のデコーダ、第２のデータタイプコンバータ、第３のエンコーダ、および第３のデコーダ、第３のデータタイプコンバータ、および第４のデータタイプコンバータのうちの任意の１つまたは複数からの出力を送信するように構成された出力モジュールと、を含む。

【0096】

［実施形態３１］実施形態３０の装置であって、装置は、複数の異なるデバイスのチェーン内の１つのデバイスである。

【0097】

本明細書に記載した例示的な実施形態に対する様々な変更および修正は、当業者には明らかであることを理解されたい。そのような変更および修正は、本主題の趣旨および範囲から逸脱することなく、かつ意図する利点を損なうことなく行うことができる。したがって、そのような変更および修正は添付の特許請求の範囲によって包含されることが意図されている。

【図1】

【図2】

【図3】

【図4】

【図5】

【図6A】

【図6B】

【図7】