知財求人 - 知財ポータルサイト「IP Force」
▶ ハネウェル・インターナショナル・インコーポレーテッドの特許一覧
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2024-06-21
(45)【発行日】2024-07-01
(54)【発明の名称】予測メンテナンス畳み込みニューラルネットワーク
(51)【国際特許分類】
G08B 31/00 20060101AFI20240624BHJP
G06N 3/0464 20230101ALI20240624BHJP
G16Y 20/20 20200101ALI20240624BHJP
G16Y 40/10 20200101ALI20240624BHJP
G16Y 40/20 20200101ALI20240624BHJP
G16Y 40/40 20200101ALI20240624BHJP
G05B 23/02 20060101ALI20240624BHJP
【ＦＩ】
G08B31/00 Z
G06N3/0464
G16Y20/20
G16Y40/10
G16Y40/20
G16Y40/40
G05B23/02 Z
【請求項の数】
4
(21)【出願番号】P 2022553004
(86)(22)【出願日】2021-03-04
(65)【公表番号】
(43)【公表日】2023-04-21
(86)【国際出願番号】 US2021020879
(87)【国際公開番号】W WO2021183363
(87)【国際公開日】2021-09-16
【審査請求日】2022-10-03
(31)【優先権主張番号】16/816,384
(32)【優先日】2020-03-12
(33)【優先権主張国・地域又は機関】US
(73)【特許権者】
【識別番号】500575824
【氏名又は名称】ハネウェル・インターナショナル・インコーポレーテッド
【氏名又は名称原語表記】Ｈｏｎｅｙｗｅｌｌ Ｉｎｔｅｒｎａｔｉｏｎａｌ Ｉｎｃ．
(74)【代理人】
【識別番号】100118902
【弁理士】
【氏名又は名称】山本 修
(74)【代理人】
【識別番号】100106208
【弁理士】
【氏名又は名称】宮前 徹
(74)【代理人】
【識別番号】100196508
【弁理士】
【氏名又は名称】松尾 淳一
(74)【代理人】
【氏名又は名称】鳥居 健一
(72)【発明者】
【氏名】サムセヴィッチ、ラマン
(72)【発明者】
【氏名】マリク、カレル
(72)【発明者】
【氏名】エンデル、ペトル
【審査官】石井 則之
(56)【参考文献】
【文献】米国特許出願公開第２０１９／０２３５４８４（ＵＳ，Ａ１）
(58)【調査した分野】(Int.Cl.，ＤＢ名)
Ｇ０８Ｂ ３１／００
Ｇ０６Ｎ ３／０４６４
Ｇ１６Ｙ ２０／２０
Ｇ１６Ｙ ４０／１０
Ｇ１６Ｙ ４０／２０
Ｇ１６Ｙ ４０／４０
Ｇ０５Ｂ ２３／０２
(57)【特許請求の範囲】
【請求項1】
コンピュータ実装方法であって、ユーザインターフェースを表示するように構成されたクエリ起動デバイスから予測テレメトリデータオブジェクトを予測ユニットにおいて受信することであって、前記予測テレメトリデータオブジェクトは、訓練された予測メンテナンス畳み込みニューラルネットワークを使用する予測推論を実施するために使用されるテレメトリデータオブジェクトであり、前記予測テレメトリデータオブジェクトが、１つ以上の予測時間ユニットにおいて複数の予測測定値に関連付けられ、前記複数の予測測定値の各予測測定値が、監視対象システム内の１つ以上のセンサデバイスのうちのあるセンサデバイスに関連付けられる、受信することと、
前記予測ユニットにおいて前記予測テレメトリデータオブジェクト及び前記監視対象システムの１つ以上のモデルに基づいて、メンテナンス予測を生成することであって、前記訓練された予測メンテナンス畳み込みニューラルネットワークの最終判別層の出力は前記メンテナンス予測として採用され、前記メンテナンス予測は前記関連付けられたセンサデバイスの予測メンテナンスの必要性を示す、生成することと、
前記予測ユニットにおいて前記メンテナンス予測に基づいて、１つ以上のメンテナンスの必要性の通知出力を生成することと、
前記予測ユニットにおいて前記ユーザインターフェースを使用して、前記クエリ起動デバイスに前記１つ以上のメンテナンスの必要性の通知出力を表示させることと、を含む、コンピュータ実装方法。
【請求項2】
前記１つ以上のモデルが、前記訓練された予測メンテナンス畳み込みニューラルネットワークを含み、前記予測テレメトリデータオブジェクトは前記予測メンテナンス畳み込みニューラルネットワークの入力構造によって定義されるデータフォーマットを含む、請求項１に記載のコンピュータ実装方法。
【請求項3】
前記予測テレメトリデータオブジェクトが、１つ以上の予測入力チャネルを含み、前記１つ以上の予測入力チャネルは複数の時間ユニットごとセンサごとの測定値のサブセットに基づいて決定され、各時間ユニットごとセンサごとの測定値は、前記１つ以上のセンサデバイスのうちのあるセンサデバイスと、１つ以上の時間ユニットのうちのある時間ユニットとに関連付けられており、前記１つ以上の予測入力チャネルの各予測入力チャネルが、前記１つ以上のセンサデバイスのうちのあるセンサデバイスに関連付けられる、請求項１に記載のコンピュータ実装方法。
【請求項4】
前記メンテナンス予測に関連付けられたターゲット分類カテゴリに関して、１つ以上の予測入力チャネルの入力チャネルごとのウエイト値を決定するステップと、前記１つ以上の予測入力チャネルの入力チャネルごとのウエイト値および前記予測入力チャネルの特徴マップに基づいて、前記１つ以上の予測入力チャネルのヒートマップを生成するステップであって、前記予測入力チャネルの前記ヒートマップは、前記1つ以上の予測入力チャネルの複数の構成要素の各構成要素に対応する相対的な予測関連性を示す構成要素ごとの予測有意性値を示し、前記メンテナンス予測を生成する、ステップと
さらに含む、請求項３に記載のコンピュータ実装方法。
【発明の詳細な説明】
【背景技術】
【0001】
様々な方法、装置、及びシステムが、テレメトリデータに基づいて予測メンテナンスデータを実施するための技術を提供するように構成されている。
【発明の概要】
【0002】
概して、本明細書に開示される実施形態は、テレメトリデータに基づいて予測メンテナンスデータを実施することを可能にするように構成されている、方法、装置、システム、コンピューティングデバイスなどを提供する。例えば、本明細書に開示される特定の実施形態は、予測メンテナンス畳み込みニューラルネットワーク、メンテナンスデータオブジェクト、センサごとの予測入力チャネル、及び入力チャネルごとのヒートマップのうちの少なくとも１つを使用して、テレメトリデータに基づいて予測メンテナンスデータを実施するように構成されている、方法、装置、システム、コンピューティングデバイスなどを提供する。
【0003】
１つの態様によれば、方法が提供される。１つの実施形態では、本方法は、監視対象システムの訓練テレメトリデータオブジェクトを取得することと、訓練テレメトリデータオブジェクトに基づいて、訓練入力データオブジェクトを決定することであって、訓練入力データオブジェクトが、１つ以上の訓練入力チャネルを含み、１つ以上の訓練入力チャネルの各訓練入力チャネルが、１つ以上のセンサデバイスのうちのあるセンサデバイスに関連付けられ、更に、１つ以上の訓練入力チャネルの各訓練入力チャネルが、訓練入力チャネルのセンサデバイスに関連付けられた複数の時間ユニットごとセンサごとの訓練測定値の第１のサブセットに基づいて決定される、決定することと、監視対象システムのメンテナンスデータオブジェクトを取得することであって、メンテナンスデータオブジェクトが、１つ以上の訓練時間ユニットの１つ以上のメンテナンスクリティカル時間ユニットを識別する、取得することと、訓練入力データオブジェクト及びメンテナンスデータオブジェクトに基づいて、訓練された予測メンテナンス畳み込みニューラルネットワークを生成することであって、訓練された予測メンテナンス畳み込みニューラルネットワークが、監視対象システムの予測入力データオブジェクトを処理して、監視対象システムのメンテナンス予測を生成するように構成されている、生成することと、を含む。
【0004】
別の態様によれば、コンピュータプログラム製品が提供され得る。コンピュータプログラム製品は、少なくとも１つのコンピュータ可読記憶媒体を含み得、少なくとも１つのコンピュータ可読記憶媒体は、内部に記憶されているコンピュータ可読プログラムコード部分を有し、コンピュータ可読プログラムコード部分は、監視対象システムの訓練テレメトリデータオブジェクトを取得することと、訓練テレメトリデータオブジェクトに基づいて、訓練入力データオブジェクトを決定することであって、訓練入力データオブジェクトが、１つ以上の訓練入力チャネルを含み、１つ以上の訓練入力チャネルの各訓練入力チャネルが、１つ以上のセンサデバイスのうちのあるセンサデバイスに関連付けられ、更に、１つ以上の訓練入力チャネルの各訓練入力チャネルが、訓練入力チャネルのセンサデバイスに関連付けられた複数の時間ユニットごとセンサごとの訓練測定値の第１のサブセットに基づいて決定される、決定することと、監視対象システムのメンテナンスデータオブジェクトを取得することであって、メンテナンスデータオブジェクトが、１つ以上の訓練時間ユニットの１つ以上のメンテナンスクリティカル時間ユニットを識別する、取得することと、訓練入力データオブジェクト及びメンテナンスデータオブジェクトに基づいて、訓練された予測メンテナンス畳み込みニューラルネットワークを生成することであって、訓練された予測メンテナンス畳み込みニューラルネットワークが、監視対象システムの予測入力データオブジェクトを処理して、監視対象システムのメンテナンス予測を生成するように構成されている、生成することと、を行うように構成された実行可能な部分を含む。
【0005】
更に別の態様によれば、少なくとも１つのプロセッサと、コンピュータプログラムコードを含む少なくとも１つのメモリと、を備える、装置が提供される。１つの実施形態では、少なくとも１つのメモリ及びコンピュータプログラムコードは、プロセッサを用いて、装置に、監視対象システムの訓練テレメトリデータオブジェクトを取得することと、訓練テレメトリデータオブジェクトに基づいて、訓練入力データオブジェクトを決定することであって、訓練入力データオブジェクトが、１つ以上の訓練入力チャネルを含み、１つ以上の訓練入力チャネルの各訓練入力チャネルが、１つ以上のセンサデバイスのうちのあるセンサデバイスに関連付けられ、更に、１つ以上の訓練入力チャネルの各訓練入力チャネルが、訓練入力チャネルのセンサデバイスに関連付けられた複数の時間ユニットごとセンサごとの訓練測定値の第１のサブセットに基づいて決定される、決定することと、監視対象システムのメンテナンスデータオブジェクトを取得することであって、メンテナンスデータオブジェクトが、１つ以上の訓練時間ユニットの１つ以上のメンテナンスクリティカル時間ユニットを識別する、取得することと、訓練入力データオブジェクト及びメンテナンスデータオブジェクトに基づいて、訓練された予測メンテナンス畳み込みニューラルネットワークを生成することであって、訓練された予測メンテナンス畳み込みニューラルネットワークが、監視対象システムの予測入力データオブジェクトを処理して、監視対象システムのメンテナンス予測を生成するように構成されている、生成することと、を行わせるように構成され得る。
【図面の簡単な説明】
【0006】
このようにいくつかの実施形態を一般的な用語で説明してきたが、ここで、縮尺どおりに描かれていない添付図面を参照する。
【図1】本明細書に開示される少なくともいくつかの実施形態が中で操作され得る、例示的なアーキテクチャのブロック図である。
【図2】本明細書に開示される少なくともいくつかの実施形態による、例示的な予測メンテナンスコンピューティングデバイスのブロック図である。
【図3】本明細書に開示される少なくともいくつかの実施形態による、例示的なクライアントコンピューティングデバイスのブロック図である。
【図4】本明細書に開示される少なくともいくつかの実施形態による、例示的なテレメトリサーバコンピューティングデバイスのブロック図である。
【図5】本明細書に開示される少なくともいくつかの実施形態による、予測メンテナンス畳み込みニューラルネットワークを訓練するための例示的な処理のフローチャート図である。
【図6】本明細書に開示される少なくともいくつかの実施形態による、テレメトリデータオブジェクトの操作例を提供する。
【図7】本明細書に開示される少なくともいくつかの実施形態による、入力データオブジェクトの操作例を提供する。
【図8】本明細書に開示される少なくともいくつかの実施形態による、メンテナンスデータオブジェクトの操作例を提供する。
【図9】本明細書に開示される少なくともいくつかの実施形態による、予測メンテナンス畳み込みニューラルネットワークの操作例を提供する。
【図10】本明細書に開示される少なくともいくつかの実施形態による、訓練された予測メンテナンス畳み込みニューラルネットワークを使用して予測推論を実施するための例示的な処理のフローチャート図である。
【図11】本明細書に開示される少なくともいくつかの実施形態による、入力オブジェクトごとのヒートマップの操作例を提供する。
【図12】本明細書に開示される少なくともいくつかの実施形態による、入力チャネルごとのヒートマップを生成するための例示的な処理のフローチャート図である。
【発明を実施するための形態】
【0007】
ここで、本明細書に開示される様々な実施形態を、本開示の全てではなくいくつかの実施形態が示される添付図面を参照しながら以下により完全に記載する。実際に、本開示は、多くの異なる形態で具現化されてもよく、本明細書に記載される実施形態に限定されるものとして解釈されるべきではない。むしろ、これらの実施形態は、本開示が適用可能な法的要件を満たすように提供される。「又は」という用語は、別様に示唆されない限り、代替的及び連言的な意味の両方で本明細書にて使用される。「図示の」、「例」、及び「例示的な」という用語は、品質レベルの指示のない例として使用される。同様の数字は、全体を通して同様の要素を指す。
【0008】
概要
本開示の様々な実施形態は、畳み込みニューラルネットワークを訓練して、監視対象システムに関連付けられたテレメトリデータに基づいて、監視対象システムのメンテナンス予測を生成するための技術、並びに言及された畳み込みニューラルネットワークによって生成された出力に基づいて、メンテナンス関連の予測推論のための説明的メタデータを抽出するための技術を提示する。言及された技術を利用することにより、本開示の様々な実施形態は、効果的、効率的、及び解釈可能な方法で、監視対象システムの自動予測メンテナンスを実施することを可能にする。言及された技術はまた、監視対象システム（例えば、多数の影響を受けるユーザを有する大規模な監視対象システム）の所望の構成を、言及された大規模な監視対象システムに関連付けられた、過去の機能不全履歴ログ及び／又は過去のメンテナンス履歴ログの時間横断的分析に基づいて学習することを可能にする。そうすることで、本発明の様々な実施形態は、加熱、換気、及び空調システムなどの、多くの種類の物理システムを監視及びメンテナンスする効率及び効果の改善に実質的に寄与する。
本開示の様々な実施形態は、畳み込みニューラルネットワークを訓練して、監視対象システムに関連付けられたテレメトリデータに基づいて、監視対象システムのメンテナンス予測を生成するための技術、並びに言及された畳み込みニューラルネットワークによって生成された出力に基づいて、メンテナンス関連の予測推論のための説明的メタデータを抽出するための技術を提示する。言及された技術を利用することにより、本開示の様々な実施形態は、効果的、効率的、及び解釈可能な方法で、監視対象システムの自動予測メンテナンスを実施することを可能にする。言及された技術はまた、監視対象システム（例えば、多数の影響を受けるユーザを有する大規模な監視対象システム）の所望の構成を、言及された大規模な監視対象システムに関連付けられた、過去の機能不全履歴ログ及び／又は過去のメンテナンス履歴ログの時間横断的分析に基づいて学習することを可能にする。そうすることで、本発明の様々な実施形態は、加熱、換気、及び空調システムなどの、多くの種類の物理システムを監視及びメンテナンスする効率及び効果の改善に実質的に寄与する。
【0009】
例示的なシステムアーキテクチャ
本明細書に開示される方法、装置、及びコンピュータプログラム製品は、様々なデバイスのいずれかによって具現化され得る。例えば、例示的な実施形態の方法、装置、及びコンピュータプログラム製品は、１つ以上のクエリ起動コンピューティングデバイスなどの、１つ以上のデバイスと通信するように構成されたサーバ又は他のネットワークエンティティなどの、ネットワークデバイス（例えば、エンタープライズプラットフォーム）によって具現化され得る。加えて、又はあるいは、コンピューティングデバイスは、パーソナルコンピュータ又はコンピュータワークステーションなどの、固定型コンピューティングデバイスを含み得る。また更に、例示的な実施形態は、ポータブルデジタルアシスタント（portable digital assistant、ＰＤＡ）、携帯電話、スマートフォン、ラップトップコンピュータ、タブレットコンピュータ、ウェアラブル、又は前述のデバイスの任意の組み合わせなどの、様々なモバイルデバイスのいずれかによって具現化され得る。
本明細書に開示される方法、装置、及びコンピュータプログラム製品は、様々なデバイスのいずれかによって具現化され得る。例えば、例示的な実施形態の方法、装置、及びコンピュータプログラム製品は、１つ以上のクエリ起動コンピューティングデバイスなどの、１つ以上のデバイスと通信するように構成されたサーバ又は他のネットワークエンティティなどの、ネットワークデバイス（例えば、エンタープライズプラットフォーム）によって具現化され得る。加えて、又はあるいは、コンピューティングデバイスは、パーソナルコンピュータ又はコンピュータワークステーションなどの、固定型コンピューティングデバイスを含み得る。また更に、例示的な実施形態は、ポータブルデジタルアシスタント（portable digital assistant、ＰＤＡ）、携帯電話、スマートフォン、ラップトップコンピュータ、タブレットコンピュータ、ウェアラブル、又は前述のデバイスの任意の組み合わせなどの、様々なモバイルデバイスのいずれかによって具現化され得る。
【0010】
図１は、本明細書に開示される実施形態が中で操作され得る、例示的なシステムアーキテクチャ１００を図示する。アーキテクチャ１００は、クライアントコンピューティングデバイス１０２Ａ、クライアントコンピューティングデバイスＢ １０２Ｂ、及びクライアントコンピューティングデバイスＣ １０２Ｃなどの、１つ以上のクライアントコンピューティングデバイス１０２Ａ～Ｃと相互作用するように構成されている、予測メンテナンスシステム１０５を含む。予測メンテナンスシステム１０５は、クライアントコンピューティングデバイス１０２Ａ～Ｃからのテレメトリデータに基づいて予測メンテナンスデータ分析を実施するための要求を受信することと、テレメトリに基づいて予測メンテナンスデータ分析を実施してメンテナンス予測を生成することと、生成されたメンテナンス予測をクライアントコンピューティングデバイス１０２Ａ～Ｃに提供することと、を行うように構成され得る。
【0011】
テレメトリデータは、１つ以上の加熱、換気、及び空調システムなどの、１つ以上の監視対象システムに関連付けられ得る。いくつかの実施形態では、テレメトリデータは、１つ以上の監視対象システム（例えば、加熱、換気、及び空調システム）を監視するように構成された１つ以上のセンサデバイスの読み取り値を記録することによって取得されるデータを指す。テレメトリデータを生成するために読み取り値が使用されるセンサデバイスの例としては、バッグフィルタセンサ、オンコイル温度センサ、供給空気温度センサ、環境湿度センサ、ファン角度モーションセンサなどが挙げられる。いくつかの実施形態では、テレメトリデータは、監視対象システムの１つ以上の操作コマンドに基づいて生成されたデータを指す。
【0012】
予測メンテナンスシステム１０５は、ネットワーク１０４を使用してクライアントコンピューティングデバイス１０２Ａ～Ｃと通信することができる。ネットワーク１０４は、例えば、有線若しくは無線ローカルエリアネットワーク（local area network、ＬＡＮ）、パーソナルエリアネットワーク（personal area network、ＰＡＮ）、メトロポリタンエリアネットワーク（metropolitan area network、ＭＡＮ）、ワイドエリアネットワーク（wide area network、ＷＡＮ）などを含む、任意の有線若しくは無線通信ネットワーク、並びに当該通信ネットワークを実装するのに必要な任意のハードウェア、ソフトウェア、及び／若しくはファームウェア（例えば、ネットワークルーターなど）を含み得る。例えば、通信ネットワーク１０４は、セルラー電話、８０２．１１、８０２．１６、８０２．２０、及び／又はＷｉＭａｘネットワークを含み得る。更に、ネットワーク１０４は、インターネットなどの公衆ネットワーク、イントラネットなどのプライベートネットワーク、又はこれらの組み合わせを含み得、伝送制御プロトコル／インターネットプロトコル（Transmission Control Protocol/Internet Protocol、ＴＣＰ／ＩＰ）ベースのネットワーキングプロトコルを含むが、これらに限定されない、現在利用可能な又は後に開発される様々なネットワーキングプロトコルを利用し得る。例えば、ネットワーキングプロトコルは、グループベース通信システムの必要性に適合するようにカスタマイズされ得る。いくつかの実施形態では、プロトコルは、Ｗｅｂｓｏｃｋｅｔチャネルを介して送信される、ＪａｖａＳｃｒｉｐｔオブジェクト表記法（JavaScript Object Notation、ＪＳＯＮ）オブジェクトのカスタムプロトコルである。いくつかの実施形態では、プロトコルは、ＪＳＯＮ－ＲＰＣ、ＪＳＯＮ－ＲＥＳＴ／ＨＴＴＰなどである。
【0013】
予測メンテナンスシステム１０５は、予測メンテナンスコンピューティングデバイス１０６及び記憶サブシステム１０８を含む。予測メンテナンスコンピューティングデバイス１０６は、テレメトリデータに基づいて予測メンテナンスを実施するように構成され得る。予測メンテナンスコンピューティングデバイス１０６は、訓練ユニット１１１、予測ユニット１１２、及び説明的メタデータユニット１１３を含む。予測メンテナンスコンピューティングデバイス１０６の言及された構成要素１１１～１１３の関数について、図５～図１２を参照して以下で説明する。
【0014】
記憶サブシステム１０８は、テレメトリデータ、並びに予測メンテナンスコンピューティングデバイス１０６によって利用される１つ以上の予測モデルに関連付けられたデータを記憶するように構成されている。記憶サブシステム１０８は、コンピュータネットワークを介して接続された複数の分散記憶ユニットなどの、１つ以上の記憶ユニットを含み得る。記憶サブシステム１０８内の各記憶ユニットは、１つ以上のデータアセット、及び／又は１つ以上のデータアセットのコンピュータ処理された特性に関する１つ以上のデータのうちの少なくとも１つを記憶することができる。更に、記憶サブシステム１０８内の各記憶ユニットは、ハードディスク、ＲＯＭ、ＰＲＯＭ、ＥＰＲＯＭ、ＥＥＰＲＯＭ、フラッシュメモリ、ＭＭＣ、ＳＤメモリカード、メモリスティック、ＣＢＲＡＭ、ＰＲＡＭ、ＦｅＲＡＭ、ＮＶＲＡＭ、ＭＲＡＭ、ＲＲＡＭ、ＳＯＮＯＳ、ＦＪＧ ＲＡＭ、ミリピードメモリ、レーストラックメモリなどを含むが、これらに限定されない、１つ以上の不揮発性記憶装置又はメモリ媒体を含み得る。
【0015】
予測メンテナンスシステム１０５は、クライアントコンピューティングデバイス１０２Ａ～Ｃ、並びにテレメトリサーバコンピューティングデバイス１０７のうちの少なくとも１つからテレメトリデータを受信し得る。例えば、テレメトリサーバコンピューティングデバイス１０７は、１つ以上の監視対象システムに関連付けられた１つ以上のセンサデバイスの読み取り値を監視するように構成されたサーバデバイスであってもよい。テレメトリサーバコンピューティングデバイス１０７の例は、加熱、換気、及び空調システムに関連付けられたサーバデバイスである。テレメトリデータは、予測メンテナンスシステム１０５の記憶サブシステム１０８内に記憶され得る。テレメトリサーバコンピューティングデバイス１０７によって読み取り値が記録及び伝送されるセンサデバイスの例としては、バッグフィルタセンサ、オンコイル温度センサ、供給空気温度センサ、環境湿度センサ、ファン角度モーションセンサなどが挙げられる。いくつかの実施形態では、予測メンテナンスシステム１０５は、テレメトリサーバコンピューティングデバイス１０７から受信したテレメトリ信号に基づいてテレメトリデータを生成する。
【0016】
例示的な予測メンテナンスコンピューティングデバイス
予測メンテナンスコンピューティングデバイス１０６は、図２に示される装置２００などの、１つ以上のコンピューティングシステムによって具現化される。装置２００は、プロセッサ２０２、メモリ２０４、入出力回路２０６、及び通信回路２０８を含み得る。装置２００は、本明細書に記載される操作を実行するように構成され得る。これらの構成要素２０２～２０８は、機能的制限に関して記載されているが、特定の実装例は、特定のハードウェアの使用を必然的に含むことを理解されたい。これらの構成要素２０２～２０８の特定のものは、同様の又は共通のハードウェアを含んでもよいことも理解されたい。例えば、回路の２つのセットは両方とも、同じプロセッサ、ネットワークインターフェース、記憶媒体などの使用を活用して、これらの関連付けられた関数を実施することができ、そのため、回路のセットごとに、重複するハードウェアは必要ない。
予測メンテナンスコンピューティングデバイス１０６は、図２に示される装置２００などの、１つ以上のコンピューティングシステムによって具現化される。装置２００は、プロセッサ２０２、メモリ２０４、入出力回路２０６、及び通信回路２０８を含み得る。装置２００は、本明細書に記載される操作を実行するように構成され得る。これらの構成要素２０２～２０８は、機能的制限に関して記載されているが、特定の実装例は、特定のハードウェアの使用を必然的に含むことを理解されたい。これらの構成要素２０２～２０８の特定のものは、同様の又は共通のハードウェアを含んでもよいことも理解されたい。例えば、回路の２つのセットは両方とも、同じプロセッサ、ネットワークインターフェース、記憶媒体などの使用を活用して、これらの関連付けられた関数を実施することができ、そのため、回路のセットごとに、重複するハードウェアは必要ない。
【0017】
いくつかの実施形態では、プロセッサ２０２（及び／又はプロセッサを補助するか若しくはプロセッサと他の方法で関連付けられたコプロセッサ若しくは任意の他の処理回路）は、装置の構成要素間で情報を渡すためのバスを介してメモリ２０４と通信してもよい。メモリ２０４は、非一時的であり、例えば、１つ以上の揮発性及び／又は不揮発性メモリを含んでもよい。換言すれば、例えば、メモリ２０４は、電子記憶デバイス（例えば、コンピュータ可読記憶媒体）であってもよい。メモリ２０４は、装置が、本開示に開示される例示的な実施形態に従って、様々な関数を行うことを可能にするために、情報、データ、コンテンツ、アプリケーション、命令などを記憶するように構成され得る。
【0018】
プロセッサ２０２は、複数の異なる方法で具現化されてもよく、例えば、独立して操作するように構成された１つ以上の処理デバイスを含んでもよい。いくつかの好ましい、かつ非限定的な実施形態では、プロセッサ２０２は、命令、パイプライン、及び／又はマルチスレッドの独立した実行を可能にするためにバスを介してタンデム型に構成された１つ以上のプロセッサを含んでもよい。「処理回路」という用語の使用は、シングルコアプロセッサ、マルチコアプロセッサ、装置内部の複数のプロセッサ、及び／又はリモートプロセッサ若しくは「クラウド」プロセッサを含むと理解されてもよい。
【0019】
いくつかの好ましい、かつ非限定的な実施形態では、プロセッサ２０２は、メモリ２０４に記憶されている命令、又は他の方法でプロセッサ２０２にアクセス可能な命令を実行するように構成され得る。いくつかの好ましい、かつ非限定的な実施形態では、プロセッサ２０２は、ハードコードされた機能性を実行するように構成されてもよい。したがって、ハードウェア方法若しくはソフトウェア方法によって構成されるか、又はそれらの組み合わせによって構成されるかにかかわらず、プロセッサ２０２は、それに応じて構成されている間、本明細書に開示される一実施形態による操作を実施することができる（例えば、回路内で物理的に具現化された）エンティティを表し得る。あるいは、別の例として、プロセッサ２０２がソフトウェア命令の実行体として具現化される場合、命令は、命令が実行されたときに本明細書に記載されるアルゴリズム及び／又は操作を実施するようにプロセッサ２０２を具体的に構成してもよい。
【0020】
いくつかの実施形態では、装置２００は、入出力回路２０６を含んでもよく、入出力回路２０６は、プロセッサ２０２と通信して、ユーザに出力を提供し、いくつかの実施形態では、ユーザ入力の指示を受信することができる。入出力回路２０６は、ユーザインターフェースを含んでもよく、ディスプレイを含んでもよく、ウェブユーザインターフェース、モバイルアプリケーション、クエリ起動コンピューティングデバイス、キオスクなどを含んでもよい。いくつかの実施形態では、入出力回路２０６はまた、キーボード、マウス、ジョイスティック、タッチスクリーン、タッチエリア、ソフトキー、マイクロフォン、スピーカ、又は他の入出力機構を含んでもよい。プロセッサ及び／又はプロセッサを含むユーザインターフェース回路は、プロセッサ（例えば、メモリ２０４など）にアクセス可能なメモリ上に記憶されているコンピュータプログラム命令（例えば、ソフトウェア及び／又はファームウェア）を介して１つ以上のユーザインターフェース要素の１つ以上の関数を制御するように構成されてもよい。
【0021】
通信回路２０８は、データを、装置２００と通信するネットワーク及び／又は任意の他のデバイス、回路、若しくはモジュールから受信し、並びに／又はそれらに伝送するように構成されている、ハードウェア、又はハードウェアとソフトウェアとの組み合わせのいずれかで具現化されたデバイス又は回路などの任意の手段であってもよい。この点に関して、通信回路２０８は、例えば、有線又は無線通信ネットワークとの通信を可能にするためのネットワークインターフェースを含み得る。例えば、通信回路２０８は、１つ以上のネットワークインターフェースカード、アンテナ、バス、スイッチ、ルーター、モデム、並びにサポートハードウェア及び／若しくはソフトウェア、又はネットワークを介した通信を可能にするのに好適な任意の他のデバイスを含んでもよい。加えて、又はあるいは、通信回路２０８は、アンテナ（単数又は複数）と相互作用して、アンテナを介した信号の伝送を引き起こすため、又はアンテナを介して受信した信号の受信を処理するための回路を含んでもよい。
【0022】
本明細書で論じる情報の全て又は一部は、装置２００の１つ以上の構成要素によって受信、生成、及び／又は維持されるデータに基づき得ることにも留意されたい。いくつかの実施形態では、１つ以上の外部システム（リモートクラウドコンピューティング及び／又はデータ記憶システムなど）はまた、本明細書で論じられる機能性の少なくともいくつかを提供するために活用されてもよい。
【0023】
例示的なクライアントコンピューティングデバイス
ここで図３を参照すると、クライアントコンピューティングデバイス１０２Ａ～Ｃは、図３に示される装置３００などの、１つ以上のコンピューティングシステムによって具現化される。装置３００は、プロセッサ３０２、メモリ３０４、入出力回路３０６、及び通信回路３０８を含み得る。これらの構成要素３０２～３０８は、機能的制限に関して記載されているが、特定の実装例は、特定のハードウェアの使用を必然的に含むことを理解されたい。これらの構成要素３０２～３１０の特定のものは、同様の又は共通のハードウェアを含んでもよいことも理解されたい。例えば、回路の２つのセットは両方とも、同じプロセッサ、ネットワークインターフェース、記憶媒体などの使用を活用して、これらの関連付けられた関数を実施することができ、そのため、回路のセットごとに、重複するハードウェアは必要ない。
ここで図３を参照すると、クライアントコンピューティングデバイス１０２Ａ～Ｃは、図３に示される装置３００などの、１つ以上のコンピューティングシステムによって具現化される。装置３００は、プロセッサ３０２、メモリ３０４、入出力回路３０６、及び通信回路３０８を含み得る。これらの構成要素３０２～３０８は、機能的制限に関して記載されているが、特定の実装例は、特定のハードウェアの使用を必然的に含むことを理解されたい。これらの構成要素３０２～３１０の特定のものは、同様の又は共通のハードウェアを含んでもよいことも理解されたい。例えば、回路の２つのセットは両方とも、同じプロセッサ、ネットワークインターフェース、記憶媒体などの使用を活用して、これらの関連付けられた関数を実施することができ、そのため、回路のセットごとに、重複するハードウェアは必要ない。
【0024】
いくつかの実施形態では、プロセッサ３０２（及び／又はプロセッサを補助するか若しくはプロセッサと他の方法で関連付けられたコプロセッサ若しくは任意の他の処理回路）は、装置の構成要素間で情報を渡すためのバスを介してメモリ３０４と通信してもよい。メモリ３０４は、非一時的であり、例えば、１つ以上の揮発性及び／又は不揮発性メモリを含んでもよい。換言すれば、例えば、メモリ３０４は、電子記憶デバイス（例えば、コンピュータ可読記憶媒体）であってもよい。メモリ３０４は、１つ以上のデータベースを含み得る。更に、メモリ３０４は、装置３００が、本開示に開示される例示的な実施形態に従って、様々な関数を行うことを可能にするために、情報、データ、コンテンツ、アプリケーション、命令などを記憶するように構成され得る。
【0025】
プロセッサ３０２は、複数の異なる方法で具現化されてもよく、例えば、独立して操作するように構成された１つ以上の処理デバイスを含んでもよい。いくつかの好ましい、かつ非限定的な実施形態では、プロセッサ３０２は、命令、パイプライン、及び／又はマルチスレッドの独立した実行を可能にするためにバスを介してタンデム型に構成された１つ以上のプロセッサを含んでもよい。「処理回路」という用語の使用は、シングルコアプロセッサ、マルチコアプロセッサ、装置内部の複数のプロセッサ、及び／又はリモートプロセッサ若しくは「クラウド」プロセッサを含むと理解されてもよい。
【0026】
いくつかの好ましい、かつ非限定的な実施形態では、プロセッサ３０２は、メモリ３０４に記憶されている命令、又は他の方法でプロセッサ３０２にアクセス可能な命令を実行するように構成され得る。いくつかの好ましい、かつ非限定的な実施形態では、プロセッサ３０２は、ハードコードされた機能性を実行するように構成されてもよい。したがって、ハードウェア方法若しくはソフトウェア方法によって構成されるか、又はそれらの組み合わせによって構成されるかにかかわらず、プロセッサ３０２は、それに応じて構成されている間、本明細書に開示される一実施形態による操作を実施することができる（例えば、回路内で物理的に具現化された）エンティティを表し得る。あるいは、別の例として、プロセッサ３０２がソフトウェア命令（例えば、コンピュータプログラム命令）の実行体として具現化される場合、命令は、命令が実行されたときに本明細書に記載されるアルゴリズム及び／又は操作を実施するようにプロセッサ３０２を具体的に構成してもよい。
【0027】
いくつかの実施形態では、装置３００は、入出力回路３０６を含んでもよく、入出力回路３０６は、プロセッサ３０２と通信して、ユーザに出力を提供し、いくつかの実施形態では、ユーザ入力の指示を受信することができる。入出力回路３０６は、ユーザインターフェースを含んでもよく、ディスプレイを含んでもよく、ウェブユーザインターフェース、モバイルアプリケーション、クエリ起動コンピューティングデバイス、キオスクなどを含んでもよい。いくつかの実施形態では、入出力回路３０６はまた、キーボード（例えば、本明細書ではキーパッドとも称される）、マウス、ジョイスティック、タッチスクリーン、タッチエリア、ソフトキー、マイクロフォン、スピーカ、又は他の入出力機構を含んでもよい。プロセッサ及び／又はプロセッサを含むユーザインターフェース回路は、プロセッサ（例えば、メモリ３０４など）にアクセス可能なメモリ上に記憶されているコンピュータプログラム命令（例えば、ソフトウェア及び／又はファームウェア）を介して１つ以上のユーザインターフェース要素の１つ以上の関数を制御するように構成されてもよい。
【0028】
通信回路３０８は、データを、装置３００と通信するネットワーク及び／又は任意の他のデバイス、回路、若しくはモジュールから受信し、並びに／又はそれらに伝送するように構成されている、ハードウェア、又はハードウェアとソフトウェアとの組み合わせのいずれかで具現化されたデバイス又は回路などの任意の手段であってもよい。この点に関して、通信回路３０８は、例えば、有線又は無線通信ネットワークとの通信を可能にするためのネットワークインターフェースを含み得る。例えば、通信回路３０８は、１つ以上のネットワークインターフェースカード、アンテナ、バス、スイッチ、ルーター、モデム、並びにサポートハードウェア及び／若しくはソフトウェア、又はネットワークを介した通信を可能にするのに好適な任意の他のデバイスを含んでもよい。加えて、又はあるいは、通信回路３０８は、アンテナ（単数又は複数）と相互作用して、アンテナを介した信号の伝送を引き起こすため、又はアンテナを介して受信した信号の受信を処理するための回路を含んでもよい。
【0029】
本明細書で論じる情報の全て又は一部は、装置３００の１つ以上の構成要素によって受信、生成、及び／又は維持されるデータに基づき得ることにも留意されたい。いくつかの実施形態では、１つ以上の外部システム（リモートクラウドコンピューティング及び／又はデータ記憶システムなど）はまた、本明細書で論じられる機能性の少なくともいくつかを提供するために活用されてもよい。
【0030】
例示的なテレメトリサーバコンピューティングデバイス
ここで図４を参照すると、テレメトリサーバコンピューティングデバイス１０７は、図４に示される装置４００などの、１つ以上のコンピューティングシステムによって具現化される。装置４００は、プロセッサ４０２、メモリ４０４、入出力回路４０６、及び通信回路４０８を含み得る。これらの構成要素４０２～４０８は、機能的制限に関して記載されているが、特定の実装例は、特定のハードウェアの使用を必然的に含むことを理解されたい。これらの構成要素４０２～４０８の特定のものは、同様の又は共通のハードウェアを含んでもよいことも理解されたい。例えば、回路の２つのセットは両方とも、同じプロセッサ、ネットワークインターフェース、記憶媒体などの使用を活用して、これらの関連付けられた関数を実施することができ、そのため、回路のセットごとに、重複するハードウェアは必要ない。
ここで図４を参照すると、テレメトリサーバコンピューティングデバイス１０７は、図４に示される装置４００などの、１つ以上のコンピューティングシステムによって具現化される。装置４００は、プロセッサ４０２、メモリ４０４、入出力回路４０６、及び通信回路４０８を含み得る。これらの構成要素４０２～４０８は、機能的制限に関して記載されているが、特定の実装例は、特定のハードウェアの使用を必然的に含むことを理解されたい。これらの構成要素４０２～４０８の特定のものは、同様の又は共通のハードウェアを含んでもよいことも理解されたい。例えば、回路の２つのセットは両方とも、同じプロセッサ、ネットワークインターフェース、記憶媒体などの使用を活用して、これらの関連付けられた関数を実施することができ、そのため、回路のセットごとに、重複するハードウェアは必要ない。
【0031】
いくつかの実施形態では、プロセッサ４０２（及び／又はプロセッサを補助するか若しくはプロセッサと他の方法で関連付けられたコプロセッサ若しくは任意の他の処理回路）は、装置の構成要素間で情報を渡すためのバスを介してメモリ４０４と通信してもよい。メモリ４０４は、非一時的であり、例えば、１つ以上の揮発性及び／又は不揮発性メモリを含んでもよい。換言すれば、例えば、メモリ４０４は、電子記憶デバイス（例えば、コンピュータ可読記憶媒体）であってもよい。メモリ４０４は、１つ以上のデータベースを含み得る。更に、メモリ４０４は、装置４００が、本開示に開示される例示的な実施形態に従って、様々な関数を行うことを可能にするために、情報、データ、コンテンツ、アプリケーション、命令などを記憶するように構成され得る。
【0032】
プロセッサ４０２は、複数の異なる方法で具現化されてもよく、例えば、独立して操作するように構成された１つ以上の処理デバイスを含んでもよい。いくつかの好ましい、かつ非限定的な実施形態では、プロセッサ４０２は、命令、パイプライン、及び／又はマルチスレッドの独立した実行を可能にするためにバスを介してタンデム型に構成された１つ以上のプロセッサを含んでもよい。「処理回路」という用語の使用は、シングルコアプロセッサ、マルチコアプロセッサ、装置内部の複数のプロセッサ、及び／又はリモートプロセッサ若しくは「クラウド」プロセッサを含むと理解されてもよい。
【0033】
いくつかの好ましい、かつ非限定的な実施形態では、プロセッサ４０２は、メモリ４０４に記憶されている命令、又は他の方法でプロセッサ４０２にアクセス可能な命令を実行するように構成され得る。いくつかの好ましい、かつ非限定的な実施形態では、プロセッサ４０２は、ハードコードされた機能性を実行するように構成されてもよい。したがって、ハードウェア方法若しくはソフトウェア方法によって構成されるか、又はそれらの組み合わせによって構成されるかにかかわらず、プロセッサ４０２は、それに応じて構成されている間、本明細書に開示される一実施形態による操作を実施することができる（例えば、回路内で物理的に具現化された）エンティティを表し得る。あるいは、別の例として、プロセッサ４０２がソフトウェア命令（例えば、コンピュータプログラム命令）の実行体として具現化される場合、命令は、命令が実行されたときに本明細書に記載されるアルゴリズム及び／又は操作を実施するようにプロセッサ４０２を具体的に構成してもよい。
【0034】
いくつかの実施形態では、装置４００は、入出力回路４０６を含んでもよく、入出力回路４０６は、プロセッサ４０２と通信して、ユーザに出力を提供し、いくつかの実施形態では、ユーザ入力の指示を受信することができる。入出力回路４０６は、ユーザインターフェースを含んでもよく、ディスプレイを含んでもよく、ウェブユーザインターフェース、モバイルアプリケーション、クエリ起動コンピューティングデバイス、キオスクなどを含んでもよい。いくつかの実施形態では、入出力回路４０６はまた、キーボード（例えば、本明細書ではキーパッドとも称される）、マウス、ジョイスティック、タッチスクリーン、タッチエリア、ソフトキー、マイクロフォン、スピーカ、又は他の入出力機構を含んでもよい。プロセッサ及び／又はプロセッサを含むユーザインターフェース回路は、プロセッサ（例えば、メモリ４０４など）にアクセス可能なメモリ上に記憶されているコンピュータプログラム命令（例えば、ソフトウェア及び／又はファームウェア）を介して１つ以上のユーザインターフェース要素の１つ以上の関数を制御するように構成されてもよい。
【0035】
通信回路４０８は、データを、装置４００と通信するネットワーク及び／又は任意の他のデバイス、回路、若しくはモジュールから受信し、並びに／又はそれらに伝送するように構成されている、ハードウェア、又はハードウェアとソフトウェアとの組み合わせのいずれかで具現化されたデバイス又は回路などの任意の手段であってもよい。この点に関して、通信回路４０８は、例えば、有線又は無線通信ネットワークとの通信を可能にするためのネットワークインターフェースを含み得る。例えば、通信回路４０８は、１つ以上のネットワークインターフェースカード、アンテナ、バス、スイッチ、ルーター、モデム、並びにサポートハードウェア及び／若しくはソフトウェア、又はネットワークを介した通信を可能にするのに好適な任意の他のデバイスを含んでもよい。加えて、又はあるいは、通信回路４０８は、アンテナ（単数又は複数）と相互作用して、アンテナを介した信号の伝送を引き起こすため、又はアンテナを介して受信した信号の受信を処理するための回路を含んでもよい。
【0036】
本明細書で論じる情報の全て又は一部は、装置４００の１つ以上の構成要素によって受信、生成、及び／又は維持されるデータに基づき得ることにも留意されたい。いくつかの実施形態では、１つ以上の外部システム（リモートクラウドコンピューティング及び／又はデータ記憶システムなど）はまた、本明細書で論じられる機能性の少なくともいくつかを提供するために活用されてもよい。
【0037】
例示的なデータフロー及び操作
本開示の様々な実施形態は、畳み込みニューラルネットワークを訓練して、監視対象システムに関連付けられたテレメトリデータに基づいて、監視対象システムのメンテナンス予測を生成するための技術、並びに言及された畳み込みニューラルネットワークによって生成された出力に基づいて、メンテナンス関連の予測推論のための説明的メタデータを抽出するための技術を提示する。言及された技術を利用することにより、本開示の様々な実施形態は、効果的、効率的、及び解釈可能な方法で、監視対象システムの自動予測メンテナンスを実施することを可能にする。言及された技術はまた、監視対象システム（例えば、多数の影響を受けるユーザを有する大規模な監視対象システム）の所望の構成を、言及された大規模な監視対象システムに関連付けられた、過去の機能不全履歴ログ及び／又は過去のメンテナンス履歴ログの時間横断的分析に基づいて学習することを可能にする。そうすることで、本発明の様々な実施形態は、加熱、換気、及び空調システムなどの、多くの種類の物理システムを監視及びメンテナンスする効率及び効果を改善するための実質的な寄与を行う。
本開示の様々な実施形態は、畳み込みニューラルネットワークを訓練して、監視対象システムに関連付けられたテレメトリデータに基づいて、監視対象システムのメンテナンス予測を生成するための技術、並びに言及された畳み込みニューラルネットワークによって生成された出力に基づいて、メンテナンス関連の予測推論のための説明的メタデータを抽出するための技術を提示する。言及された技術を利用することにより、本開示の様々な実施形態は、効果的、効率的、及び解釈可能な方法で、監視対象システムの自動予測メンテナンスを実施することを可能にする。言及された技術はまた、監視対象システム（例えば、多数の影響を受けるユーザを有する大規模な監視対象システム）の所望の構成を、言及された大規模な監視対象システムに関連付けられた、過去の機能不全履歴ログ及び／又は過去のメンテナンス履歴ログの時間横断的分析に基づいて学習することを可能にする。そうすることで、本発明の様々な実施形態は、加熱、換気、及び空調システムなどの、多くの種類の物理システムを監視及びメンテナンスする効率及び効果を改善するための実質的な寄与を行う。
【0038】
予測メンテナンス畳み込みニューラルネットワークの訓練
図５は、予測メンテナンス畳み込みニューラルネットワークを訓練するための例示的な処理５００のフローチャート図である。処理５００の様々なステップを介して、予測メンテナンスコンピューティングデバイス１０６の訓練ユニット１１１は、監視対象システム、例えば、監視対象加熱、換気、空調システムのメンテナンスの必要性に関連する効率的、効果的、及び解釈可能な予測推論を実施するように構成された予測メンテナンス畳み込みニューラルネットワークを効率的かつ効果的に訓練することができる。
図５は、予測メンテナンス畳み込みニューラルネットワークを訓練するための例示的な処理５００のフローチャート図である。処理５００の様々なステップを介して、予測メンテナンスコンピューティングデバイス１０６の訓練ユニット１１１は、監視対象システム、例えば、監視対象加熱、換気、空調システムのメンテナンスの必要性に関連する効率的、効果的、及び解釈可能な予測推論を実施するように構成された予測メンテナンス畳み込みニューラルネットワークを効率的かつ効果的に訓練することができる。
【0039】
本明細書で使用される場合、畳み込みニューラルネットワークとは、任意の機械学習モデルであって、機械学習モデルの入力データを、各々にプーリング層が（１つ以上の介在する層の直後又は後に）続く１つ以上の畳み込み層に従って処理する、任意の機械学習モデルであり、畳み込み層及びプーリング層の最終出力が、次いで、１つ以上の完全に接続された判別層などの、１つ以上の判別層に供給され得る。予測メンテナンス畳み込みニューラルネットワークは、監視対象システムに関連付けられたテレメトリデータに基づいて、監視対象システムの予測メンテナンスを実施するために使用される畳み込みニューラルネットワークである。本開示の様々な実施形態は、単一の監視対象システムに関して予測メンテナンスを実施することについて記載しているが、当業者であれば、開示される技術を使用して、任意の数の監視対象システムの予測メンテナンスを実施することができることを理解されよう。
【0040】
処理５００は、訓練ユニット１１１が監視対象システムの訓練テレメトリデータオブジェクトを取得するステップ５０１で始まる。本明細書で使用される場合、テレメトリデータオブジェクトとは、１つ以上の時間ユニットのグループにわたる１つ以上のセンサデバイスのグループの測定値を含むデータオブジェクトである。したがって、テレメトリデータオブジェクトは、複数の時間ユニットごとセンサごとの測定値を含み、複数の時間ユニットごとセンサごとの測定値の各時間ユニットごとセンサごとの測定値は、１つ以上の時間ユニットのうちのある時間ユニット、及び１つ以上のセンサデバイスのうちのあるセンサデバイスに関連付けられる。訓練テレメトリデータオブジェクトは、予測メンテナンス畳み込みニューラルネットワークを訓練するために使用されるデータオブジェクトである。したがって、訓練テレメトリデータオブジェクトは、複数の時間ユニットごとセンサごとの訓練測定値を含み、複数の時間ユニットごとセンサごとの訓練測定値の各時間ユニットごとセンサごとの訓練測定値は、１つ以上の訓練時間ユニットのうちのある訓練時間ユニット、及び１つ以上のセンサデバイスのうちのあるセンサデバイスに関連付けられる。いくつかの実施形態では、テレメトリデータは、１つ以上のセンサデバイスからの測定値に基づいて決定されるデータを含む。
【0041】
テレメトリデータオブジェクト６００の操作例を図６に提示する。図６に描かれるように、テレメトリデータオブジェクト６００は、値が、時系列グラフのｘ軸によって定義される時間的ユニットの間の３つのセンサデバイス６０１の差圧測定値を描く時系列グラフを含む。図６に更に描かれるように、テレメトリデータオブジェクト６００は、様々な時間ユニットごとセンサごとの測定値を含み、各時間ユニットごとセンサごとの測定値は、時系列グラフのｘ軸によって定義される１つ以上の訓練時間ユニットのうちのある訓練時間ユニット、及び３つのセンサデバイス６０１のうちのあるセンサデバイスに関連付けられる。例えば、時間ユニットごとセンサごとの測定値６２１は、バッグフィルタセンサデバイス及び時間ユニット６０２に関連付けられる。別の例として、時間ユニットごとセンサごとの測定値６２２は、バッグフィルタセンサデバイス及び時間ユニット６０２に関連付けられる。更に別の例として、時間ユニットごとセンサごとの測定値６２３は、オンコイル温度センサデバイス及び時間ユニット６０２に関連付けられる。
【0042】
図５に戻ると、操作５０２で、訓練ユニット１１１は、訓練テレメトリデータオブジェクトに基づいて訓練入力データオブジェクトを決定する。本明細書で使用される場合、入力データオブジェクトは、予測メンテナンス畳み込みニューラルネットワークに供給されるように構成されたデータオブジェクトである。入力データオブジェクトは、予測メンテナンス畳み込みニューラルネットワークの入力構造によって定義されるデータフォーマットを有する。いくつかの実施形態では、入力データオブジェクトのデータフォーマットは、関連する技術分野で、畳み込みニューラルネットワークベースの機械学習モデルの能力及び構造を助長することが知られているデータフォーマットのうちのものである。例えば、入力データオブジェクトは、画像フォーマット、オーディオフォーマットなどを有し得る。訓練入力データオブジェクトは、予測メンテナンス畳み込みニューラルネットワークを訓練するために使用される入力データオブジェクトである。
【0043】
入力データオブジェクトは、１つ以上の入力チャネルを有し、各入力チャネルは、それぞれのセンサデバイスに関連付けられ、それぞれのセンサデバイスに関連付けられたテレメトリデータオブジェクトの時間ユニットごとセンサごとの測定値のサブセットに基づいて決定される。いくつかの実施形態では、入力データオブジェクトが視覚データオブジェクト（例えば、画像データオブジェクト）である場合、入力データオブジェクトの１つ以上の入力チャネルは、画像データオブジェクトの１つ以上のカラーベースのチャネルに基づいて定義され、１つ以上のカラーベースのチャネルは、画像データオブジェクトのカラー符号化方式によって定義される。
【0044】
例えば、画像データオブジェクトがグレースケールカラー符号化方式を有する場合、画像データオブジェクトの入力チャネルは、ブラックカラーベースのチャネルに対応する第１の入力チャネル、並びにホワイトカラーベースのチャネルに対応する第２の入力チャネルを含む。別の例として、画像データオブジェクトが、レッド、グリーン、ブルー（red-green-blue、ＲＧＢ）カラー符号化方式を有する場合、画像データオブジェクトの入力チャネルは、レッドカラーベースのチャネルに対応する第１の入力チャネル、グリーンカラーベースのチャネルに対応する第２の入力チャネル、及びブルーカラーベースのチャネルに対応する第３の入力チャネルを含む。
【0045】
上述のように、訓練入力データオブジェクトは、予測メンテナンス畳み込みニューラルネットワークを訓練するために使用される入力データオブジェクトである。したがって、訓練入力データオブジェクトは、１つ以上の訓練入力チャネルに関連付けられ、１つ以上の訓練入力チャネルの訓練入力チャネルは、訓練テレメトリデータオブジェクトに関連付けられた１つ以上のセンサデバイスのうちのあるセンサデバイスに関連付けられ、各訓練入力チャネルは、それぞれのセンサデバイスに関連付けられた訓練テレメトリデータオブジェクトの時間ユニットごとセンサごとの訓練測定値のサブセットに基づいて決定される。
【0046】
本開示の様々な実施形態は、各々が単一のセンサデバイスに関連付けられ、単一のセンサデバイスに関連付けられたテレメトリデータに基づいて決定される、入力チャネルについて記載しているが、当業者であれば、各入力チャネルを任意の数のセンサデバイスに関連付けることができ、かつ任意の数のセンサデバイスに関連付けられたテレメトリデータに基づいて決定することができることを理解されよう。更に、本開示の様々な実施形態は、画像ベースの入力データオブジェクトの入力チャネルについて記載しているが、当業者であれば、入力チャネルが、任意のデータフォーマットを有するデータオブジェクト内で作成され得ることを理解されよう。更に、本開示の様々な実施形態は、画像ベースの入力データオブジェクトのカラーベースの入力チャネルについて記載しているが、当業者であれば、画像ベースのデータオブジェクトが、特徴ベースの入力チャネルなどの非カラーベースの入力チャネルを含み得、各特徴ベースの入力チャネル自体が画像であり得、画像ベースの入力データオブジェクトが、画像ベースの入力データオブジェクトを生成するように特徴ベースの入力チャネルを互いに重ね合わせることによって生成されることを理解されよう。
【0047】
入力データオブジェクト７００の操作例を図７に提示する。図７に描かれるように、入力データオブジェクト７００は、３つの入力チャネル７０１～７０３を含み、３つの入力チャネル７０１～７０３の各入力チャネルは、図６のテレメトリデータオブジェクト６００内に描かれる３つのセンサデバイス６０１のうちのあるセンサデバイスに関連付けられる。特に、入力チャネル７０１は、バッグフィルタセンサデバイスに関連付けられ、言及されたバッグフィルタセンサデバイスに関連付けられたテレメトリデータオブジェクト６００の時間ユニットごとセンサごとの測定値のサブセットに基づいて決定され、入力チャネル７０２は、オンコイル温度センサデバイスに関連付けられ、言及されたバッグフィルタセンサデバイスに関連付けられたテレメトリデータオブジェクト６００の時間ユニットごとセンサごとの測定値のサブセットに基づいて決定され、入力チャネル７０３は、供給空気温度センサデバイスに関連付けられ、言及されたバッグフィルタセンサデバイスに関連付けられたテレメトリデータオブジェクト６００の時間ユニットごとセンサごとの測定値のサブセットに基づいて決定される。
【0048】
図５に戻ると、操作５０３で、訓練ユニット１１１は、メンテナンス入力データオブジェクトを取得する。本明細書で使用される場合、メンテナンス入力データオブジェクトは、メンテナンスクリティカル時間ユニットとして１つ以上の時間ユニット（例えば、訓練テレメトリデータオブジェクトに関連付けられた訓練時間ユニットの１つ以上の時間ユニット）を識別するデータオブジェクトである。いくつかの実施形態では、メンテナンスクリティカル時間ユニットを識別することに加えて、メンテナンス入力データオブジェクトは、各メンテナンスクリティカル時間ユニットに関連付けられたメンテナンスの必要性の識別子、各メンテナンスクリティカル時間ユニットに関連付けられた影響を受けるテナント識別子などのソース及び／又は緊急レベルといった、各メンテナンスクリティカル時間ユニットの１つ以上のメンテナンス時間ユニット特徴を提供する。メンテナンスデータオブジェクトを使用して、１つ以上の予測メンテナンス畳み込みニューラルネットワークを訓練すること、及び／又は訓練された予測メンテナンス畳み込みニューラルネットワークを使用した畳み込みニューラルネットワークベースの予測メンテナンス操作を実施することができる。メンテナンスデータオブジェクトのコンテンツは、監視対象システムに関連付けられたメンテナンスデータを使用して生成され、かつメンテナンスデータオブジェクトを使用して訓練されている予測メンテナンス畳み込みニューラルネットワークによって生成されたメンテナンス予測の構造に従って生成される。
【0049】
例えば、単一の監視対象システム（例えば、特定の建物の加熱、換気、及び空調システム）に関する任意の緊急レベルの予測されたメンテナンスの必要性を示すメンテナンス予測を生成するように構成された予測メンテナンス畳み込みニューラルネットワークを訓練するために、訓練ユニット１１１は、メンテナンスクリティカル時間ユニットとして、単一の監視対象システムに関連付けられたメンテナンスログの全てのタイムスタンプを識別するメンテナンスデータオブジェクトを生成することができる。別の例として、複数の監視対象システムに関する任意の緊急レベルの予測されたメンテナンスの必要性を示すメンテナンス予測を生成するように構成された予測メンテナンス畳み込みニューラルネットワークを訓練するために、訓練ユニット１１１は、メンテナンスクリティカル時間ユニットとして、監視対象システムのいずれか１つ以上に関連付けられたメンテナンスログの全てのタイムスタンプを識別するメンテナンスデータオブジェクトを生成することができる。更に別の例として、単一の監視対象システムに関する特定の緊急レベル及び／又は特定のソースの予測されたメンテナンスの必要性を示すメンテナンス予測を生成するように構成された予測メンテナンス畳み込みニューラルネットワークを訓練するために、訓練ユニット１１１は、単一の監視対象システムに関連付けられた、特定の緊急レベル及び／又は特定のソースを有するメンテナンスログの全てのタイムスタンプを識別するメンテナンスデータオブジェクトを生成することができる。更なる例として、単一の監視対象システムに関する、複数の特定の緊急レベル及び／又は複数の特定のソースのいずれかを有するメンテナンスログの全てのタイムスタンプを識別するメンテナンスデータオブジェクトを生成するために、訓練ユニット１１１は、単一の監視対象システムに関連付けられた、複数の特定の緊急レベルのうちの少なくとも１つ及び／又は複数の特定のソースのうちの少なくとも１つを有するメンテナンスログの全てのタイムスタンプを識別するメンテナンスデータオブジェクトを生成することができる。更なる例として、識別されたタイムスタンプの各メンテナンスログの予測特徴（例えば、ソース、緊急レベルなど）とともに、特定の基準を満たすメンテナンスログの全てのタイムスタンプを識別するメンテナンスデータオブジェクトを生成するために、訓練ユニット１１１は、識別されたタイムスタンプの各メンテナンスログの言及された予測特徴とともに、特定の基準を満たすメンテナンスログの全てのタイムスタンプを識別するメンテナンスデータオブジェクトを生成することができる。
【0050】
メンテナンスデータオブジェクト８００の操作例を図８に提示する。図８に描かれるように、メンテナンスデータオブジェクト８００は、各々がメンテナンスクリティカル時間ユニットを識別する１つ以上のエントリを含む。例えば、メンテナンスデータオブジェクト８００のエントリ８０１は、メンテナンスクリティカル時間ユニットとして、２０１６年１０月３日の１８：０８を識別する。別の例として、メンテナンスデータオブジェクト８００のエントリ８０２は、メンテナンスクリティカル時間ユニットとして、２０１７年１月１日の１６：４３を識別する。更に別の例として、メンテナンスデータオブジェクト８００のエントリ８０３は、メンテナンスクリティカル時間ユニットとして、２０１７年１月１日１６：５３を識別する。更なる例として、メンテナンスデータオブジェクト８００のエントリ８０４は、メンテナンスクリティカル時間ユニットとして、２０１７年６月１４日１７：００を識別する。
【0051】
図５に戻ると、操作５０４で、訓練ユニット１１１は、訓練入力データオブジェクト及びメンテナンスデータオブジェクトに基づいて、訓練された予測メンテナンス畳み込みニューラルネットワークを生成する。いくつかの実施形態では、訓練された予測メンテナンス畳み込みニューラルネットワークを生成するために、訓練ユニット１１１は、最適化ベースの訓練アルゴリズムなどの１つ以上の訓練アルゴリズムを利用する。訓練された予測メンテナンス畳み込みニューラルネットワークを生成するのに適した最適化ベースの訓練アルゴリズムの例は、バックプロパゲーションを伴う勾配降下である。
【0052】
例えば、いくつかの実施形態では、訓練された予測メンテナンス畳み込みニューラルネットワークを生成するために、訓練ユニット１１１は、訓練されていない予測メンテナンス畳み込みニューラルネットワークに訓練入力データオブジェクトを提供する。次いで、訓練ユニット１１１は、訓練されていない予測メンテナンス畳み込みニューラルネットワークに従って、訓練入力データオブジェクトを処理して、訓練されていない予測メンテナンス畳み込みニューラルネットワークの推論されたメンテナンス予測を生成する。次いで、訓練ユニット１１１は、推論されたメンテナンス予測とメンテナンスデータオブジェクトによって示されるメンテナンスデータとの間の偏差に基づいて、訓練されていない予測メンテナンス畳み込みニューラルネットワークの誤差の尺度を生成する。次いで、訓練ユニット１１１は、訓練されていない予測メンテナンス畳み込みニューラルネットワークのパラメータに関する誤差の尺度の勾配を決定する。次いで、訓練ユニット１１１は、誤差の尺度を最小化するために、誤差の尺度を逆伝播して、訓練されていない予測メンテナンス畳み込みニューラルネットワークのパラメータを更新する。本開示の様々な実施形態は、誤差関数を最小化することを求める訓練アルゴリズムを開示しているが、当業者であれば、最適化ベースの訓練アルゴリズムが、コスト関数を最小化する代わりにユーティリティ関数を最大化することを求め得ることを理解されよう。
【0053】
予測メンテナンス畳み込みニューラルネットワーク９００の操作例が図９に描かれている。図９に描かれるように、予測メンテナンス畳み込みニューラルネットワーク９００は、１つ以上の入力チャネルを有する入力データオブジェクト９３１を取得し、入力データオブジェクト９３１を処理して、１つ以上の入力チャネルの各入力チャネルの特徴マップ９３２を生成し、かつ予測メンテナンス畳み込みニューラルネットワーク９００の完全に接続された層９０２のグループに特徴マップ９３２を提供するように構成されている、特徴抽出層９０１のグループを含む。図９に更に描かれるように、特徴抽出層９０１のグループは、１つ以上の連続して順序付けられたサブグループを含み、各連続して順序付けられたサブグループは、畳み込み層（例えば、一次元畳み込み層）、続いてバッチ正規化層、続いて活性化層（例えば、正規化線形ユニット活性化関数を利用する活性化層）、続いてプーリング層を含む。図９に更に描かれるように、予測メンテナンス畳み込みニューラルネットワーク９００は、特徴抽出層９０１のグループから特徴マップ９３２を受信し、特徴マップ９３２を処理してメンテナンス予測９３３を生成するように構成されている、完全に接続された層９０２のグループを含む。本開示の様々な実施形態は、完全に接続された判別層を有する畳み込みニューラルネットワークについて説明しているが、当業者であれば、他のタイプの機械学習モデルが、畳み込みニューラルネットワークの判別層として使用され得ることを理解されよう。
【0054】
訓練された予測メンテナンス畳み込みニューラルネットワークを使用して予測推論を実施する
訓練後、予測メンテナンス畳み込みニューラルネットワークを使用して、監視対象システムに関連付けられたテレメトリデータを使用した予測推論を実施して、言及された監視対象システムのメンテナンス予測を生成することができる。メンテナンス予測は、監視対象システムの予期されるメンテナンスの必要性に関する任意の予測である。例えば、メンテナンス予測は、監視対象システムが近将来に、及び／又は特定の時間枠内で、メンテナンスの必要性を有することになるかどうかに関する予測であってもよい。別の例として、メンテナンス予測は、監視対象システムが近将来に、及び／又は特定の時間枠内で、特定のタイプ及び／又は特定の緊急レベルのメンテナンスの必要性を有することになるかどうかに関する予測であってもよい。更に別の例として、メンテナンス予測は、既存のメンテナンスの必要性の予測されたタイプ及び／又は予測された緊急レベルに関する予測であってもよい。更なる例として、メンテナンス予測は、監視対象システムに関連付けられたハードウェアユニットの１つ以上の影響を受けるハードウェアユニットを説明し得、１つ以上の影響を受けるハードウェアユニットは、訓練された予測メンテナンス畳み込みニューラルネットワークを使用して予測テレメトリデータを処理することに基づいて決定される。
訓練後、予測メンテナンス畳み込みニューラルネットワークを使用して、監視対象システムに関連付けられたテレメトリデータを使用した予測推論を実施して、言及された監視対象システムのメンテナンス予測を生成することができる。メンテナンス予測は、監視対象システムの予期されるメンテナンスの必要性に関する任意の予測である。例えば、メンテナンス予測は、監視対象システムが近将来に、及び／又は特定の時間枠内で、メンテナンスの必要性を有することになるかどうかに関する予測であってもよい。別の例として、メンテナンス予測は、監視対象システムが近将来に、及び／又は特定の時間枠内で、特定のタイプ及び／又は特定の緊急レベルのメンテナンスの必要性を有することになるかどうかに関する予測であってもよい。更に別の例として、メンテナンス予測は、既存のメンテナンスの必要性の予測されたタイプ及び／又は予測された緊急レベルに関する予測であってもよい。更なる例として、メンテナンス予測は、監視対象システムに関連付けられたハードウェアユニットの１つ以上の影響を受けるハードウェアユニットを説明し得、１つ以上の影響を受けるハードウェアユニットは、訓練された予測メンテナンス畳み込みニューラルネットワークを使用して予測テレメトリデータを処理することに基づいて決定される。
【0055】
図１０は、訓練された予測メンテナンス畳み込みニューラルネットワークを使用して予測推論を実施するための例示的な処理１０００のフローチャート図である。処理１０００の様々な操作を介して、予測メンテナンスコンピューティングデバイス１０６の予測ユニット１１２は、監視対象システム、例えば、監視対象加熱、換気、空調システムのメンテナンスの必要性に関連する効率的、効果的、及び解釈可能な予測推論を効率的かつ効果的に実施することができる。本開示の様々な実施形態は、単一のコンピューティングデバイスの異なるユニットによって実施される訓練及び予測推論の処理について記載しているが、当業者であれば、言及された処理が各々、ネットワークを介して互いに接続されたコンピューティングデバイスのグループの別個のコンピューティングデバイスによって実施され得、かつ／又は分散方法で操作されるように構成され得ることを理解されよう。
【0056】
処理１０００は、予測ユニット１１２が予測テレメトリデータオブジェクトを取得する操作１００１で始まる。予測テレメトリデータオブジェクトは、訓練された予測メンテナンス畳み込みニューラルネットワークを利用する予測推論を実施するために使用されるテレメトリデータオブジェクト（例えば、図６に描かれる構造と同様の構造を有するテレメトリデータオブジェクト）である。したがって、予測テレメトリデータオブジェクトは、複数の時間ユニットごとセンサごとの予測測定値に関連付けられ、複数の時間ユニットごとセンサごとの予測測定値の各時間ユニットごとセンサごとの予測測定値は、１つ以上のセンサデバイスのうちのあるセンサデバイス、及び１つ以上の予測時間ユニットのうちのある予測時間ユニットに関連付けられる。いくつかの実施形態では、予測ユニット１１２は、クライアントコンピューティングデバイス１０２Ａ～Ｃから予測テレメトリデータオブジェクトの少なくとも一部分を取得する。
【0057】
操作１００２で、予測ユニット１１２は、予測テレメトリデータオブジェクトに基づいて予測入力データオブジェクトを決定する。予測入力データオブジェクトは、訓練された予測メンテナンス畳み込みニューラルネットワークを使用して予測推論を実施するように、訓練された予測メンテナンス畳み込みニューラルネットワークに供給される入力データオブジェクト（例えば、図７に描かれる構造と同様の構造を有する入力データオブジェクト）である。したがって、予測入力データオブジェクトは、１つ以上の予測入力チャネルを含み、１つ以上の予測入力チャネルの各予測入力チャネルは、予測テレメトリデータオブジェクトによって測定値がキャプチャされる１つ以上のセンサデバイスのうちのあるセンサデバイスに関連付けられ、更に、１つ以上の予測入力チャネルのうちの予測入力チャネルは、予測入力チャネルのセンサデバイスに関連付けられた予測テレメトリデータオブジェクト内の複数の時間ユニットごとセンサごとの測定値の第２のサブセットに基づいて決定される。
【0058】
操作１００３で、予測ユニット１１２は、訓練された予測メンテナンス畳み込みニューラルネットワーク（例えば、図９に描かれるアーキテクチャを有する訓練された予測メンテナンス畳み込みニューラルネットワーク）に従って予測入力データオブジェクトを処理して、監視対象システムのメンテナンス予測を生成する。いくつかの実施形態では、予測ユニット１１２は、メンテナンス予測として、訓練された予測メンテナンス畳み込みニューラルネットワークの最終判別層の出力を採用する。いくつかの実施形態では、予測ユニット１１２は、訓練された予測メンテナンス畳み込みニューラルネットワークの最終判別層の出力に対して１つ以上の操作（例えば、１つ以上のソフトマックス正規化操作）を実施して、正規化された出力値を生成し、次いで、正規化された出力値が、メンテナンス予測を生成するために使用され得る。
【0059】
操作１００４で、予測ユニット１１２は、生成されたメンテナンス予測に基づいて１つ以上の予測ベースの行為を実施する。予測ベースの行為の例としては、メンテナンス予測によって示されるメンテナンスの必要性に順応するように、監視対象システムの構成パラメータを設定すること、１つ以上のメンテナンスの必要性の通知を生成すること、メンテナンス予測によって示されるメンテナンスの必要性に順応するように、メンテナンス予測に基づいて、１つ以上のセンサデバイスの性能を調整すること、メンテナンス予測によって示されるメンテナンスの必要性に対処するように、１つ以上のメンテナンス予約を自動的にスケジューリングすることなどが挙げられる。
【0060】
訓練された予測メンテナンス畳み込みニューラルネットワークを使用して実施される予測推論のための説明的メタデータの生成
訓練された予測メンテナンス畳み込みニューラルネットワークによって生成され得るセンサごとの特徴マップを利用することにより、本開示の様々な実施形態は、入力チャネルごとのヒートマップを効率的かつ効果的に生成することができ、入力チャネルごとのヒートマップの各々は、対応する入力チャネルの特定の部分を、対応する入力チャネルのその他の部分と比較して、特定の予測関連性の比較的より高い程度の予測有意性を有するものとして強調する。かかる入力チャネルごとのヒートマップ１１００の操作例を図１１に提供する。図１１に描かれるように、入力チャネルごとのヒートマップ１１００は、図７の入力チャネル７０１の一部分１１０１を、特定の予測関連性のより大きな予測有意性を有するものとして示す。
訓練された予測メンテナンス畳み込みニューラルネットワークによって生成され得るセンサごとの特徴マップを利用することにより、本開示の様々な実施形態は、入力チャネルごとのヒートマップを効率的かつ効果的に生成することができ、入力チャネルごとのヒートマップの各々は、対応する入力チャネルの特定の部分を、対応する入力チャネルのその他の部分と比較して、特定の予測関連性の比較的より高い程度の予測有意性を有するものとして強調する。かかる入力チャネルごとのヒートマップ１１００の操作例を図１１に提供する。図１１に描かれるように、入力チャネルごとのヒートマップ１１００は、図７の入力チャネル７０１の一部分１１０１を、特定の予測関連性のより大きな予測有意性を有するものとして示す。
【0061】
本開示の様々な実施形態によれば、各入力チャネルは１つ以上の対応するセンサデバイス（例えば、単一の対応するセンサデバイス）に関連付けられ得るため、センサごとのレベル及び／又はセンサグループごとのレベルで、説明的メタデータを生成することができる。これは、本開示の様々な実施形態と、入力チャネル横断的なレベルで説明的メタデータを生成する、メタデータを生成するための多くの既存の技術との間の重要な違いである。入力チャネルごとの説明的メタデータを生成することにより、本開示の様々な実施形態は、センサ測定値の関連付け及び生成されたメンテナンス予測についての非常にきめの細かい説明的メタデータを提示することができる。
【0062】
図１２は、予測入力データオブジェクトの予測入力チャネルの入力チャネルごとのヒートマップを生成するための例示的な処理１２００のフローチャート図である。処理１２００の様々な操作を介して、予測メンテナンスコンピューティングデバイス１０６の説明的メタデータユニット１１３は、きめの細かいセンサ測定値をメンテナンス予測と相関させるメタデータを効率的かつ効果的に生成し、それに伴って、訓練された予測推論畳み込みニューラルネットワークを使用して実施される予測推論をより解釈可能にすることができる。本開示の様々な実施形態は、単一のコンピューティングデバイスの異なるユニットによって実施されるときの訓練処理、予測推論処理、及び説明的メタデータ生成処理について説明しているが、当業者であれば、言及された処理が、ネットワークを介して互いに接続され得る任意の数のコンピューティングデバイスによって実施され得、かつ／又は分散方法で操作されるように構成され得ることを理解されよう。
【0063】
処理１２００は、説明的メタデータユニット１１３が、メンテナンス予測に関連付けられたターゲット分類カテゴリに関して予測入力チャネルの入力チャネルごとのウェイト値を決定する操作１２０１で始まる。いくつかの実施形態では、ターゲット分類カテゴリは、メンテナンス予測によって示され得る、監視対象システムのメンテナンス状態の候補分類カテゴリである。例えば、訓練された予測メンテナンス畳み込みニューラルネットワークが、監視対象システムが時間枠内のメンテナンスの必要性を有すると予測されるかどうかを説明するメンテナンス予測を生成するように構成されている場合、メンテナンス予測のターゲット分類カテゴリは、言及された時間枠内のメンテナンスの必要性の肯定的予測を示す候補分類カテゴリであり得るか、又は言及された時間枠内のメンテナンスの必要性の否定的予測を示す候補分類カテゴリであり得る。
【0064】
いくつかの実施形態では、ターゲット分類カテゴリに関する予測入力チャネルの入力チャネルごとのウェイト値を決定するために、説明的メタデータユニット１１３は最初に、予測入力カテゴリの特徴マップに関するターゲット分類カテゴリに関連付けられたターゲット分類カテゴリスコアの勾配を決定し、次いで、言及された、予測入力カテゴリの特徴マップに関するターゲット分類カテゴリに関連付けられたターゲット分類カテゴリスコアの決定された勾配に基づいて、ターゲット分類カテゴリに関する予測入力チャネルの入力チャネルごとのウェイト値を決定する。
【0065】
いくつかの実施形態では、特徴マップに関するターゲット分類カテゴリスコアの決定された勾配に基づいて、入力チャネルごとのウェイト値を決定するために、説明的メタデータユニット１１３は、決定された勾配にグローバル最大プーリング及び／又はグローバル平均プーリング操作を適用して、入力チャネルごとのウェイト値を決定する。いくつかの実施形態では、ターゲット分類カテゴリに関する予測入力チャネルの入力チャネルごとのウェイト値を決定するために、説明的メタデータユニット１１３は、Ｓｅｌｖａｒａｊｕらの「Ｇｒａｄ－ＣＡＭ：Ｖｉｓｕａｌ Ｅｘｐｌａｎａｔｉｏｎｓ ｆｒｏｍ Ｄｅｅｐ Ｎｅｔｗｏｒｋｓ ｖｉａ Ｇｒａｄｉｅｎｔ－Ｂａｓｅｄ Ｌｏｃａｌｉｚａｔｉｏｎ」のページ４の方程式１、及びｈｔｔｐｓ：／／ａｒｘｉｖ．ｏｒｇ／ｐｄｆ／１６１０．０２３９１．ｐｄｆにてオンラインで入手可能な付随の説明ａｒＸｉｖ：１６１０．０２３９１［ｃｓ．ＣＶ］（２０１６）（これ以降、Ｓｅｌｖａｒａｊｕ）によって説明される操作を利用する。
【0066】
操作１２０２で、説明的メタデータユニット１１３は、センサデバイスの入力チャネルごとのウェイト値、及び訓練された予測メンテナンス畳み込みニューラルネットワークによって生成された予測入力チャネルの特徴マップに基づいて、予測入力チャネルの入力チャネルごとのヒートマップを生成する。予測入力チャネルの入力ごとのチャネルは、予測入力チャネルの複数の構成要素の各構成要素（例えば、各ピクセル、各オーディオ秒、各画像部分など）の構成要素ごとの予測有意性値を示し、構成要素ごとの予測有意性値は、特定のメンテナンス予測を生成することに対する、対応する構成要素の相対的な予測関連性を示す。いくつかの実施形態では、予測入力チャネルの入力チャネルごとのヒートマップを生成することは、例えば、Ｓｅｌｖａｒａｊｕによって開示される技術のいくつかの態様に従って、ガイド付きバックプロパゲーションを実施することを含む。
【0067】
いくつかの実施形態では、予測入力チャネルの入力チャネルごとのヒートマップを生成することは、予測入力チャネルの入力チャネルごとのウェイト値、及び特徴マップ予測入力チャネルに基づいて、入力チャネルごとの活性化出力を決定することと、入力チャネルごとの活性化出力に活性化関数（例えば、正規化線形ユニット活性化関数）を適用して、予測入力チャネルの入力チャネルごとのヒートマップを生成することと、を含む。いくつかの実施形態では、予測入力チャネルのセンサごとのヒートマップを生成することは、以下の方程式によって説明される操作を実施することを含む。
【0068】
【数1】
【0069】
追加の実装例の詳細
例示的な処理システムを本明細書の図で説明してきたが、本明細書に記載される主題及び関数操作の実装例は、他のタイプのデジタル電子回路、又は本明細書に開示される構造及びそれらの構造的等価物を含む、コンピュータソフトウェア、ファームウェア、若しくはハードウェア、又はこれらのうちの１つ以上の組み合わせで実装することができる。
例示的な処理システムを本明細書の図で説明してきたが、本明細書に記載される主題及び関数操作の実装例は、他のタイプのデジタル電子回路、又は本明細書に開示される構造及びそれらの構造的等価物を含む、コンピュータソフトウェア、ファームウェア、若しくはハードウェア、又はこれらのうちの１つ以上の組み合わせで実装することができる。
【0070】
本明細書に記載される主題及び動作の実施形態は、デジタル電子回路で、又は本明細書に開示される構造及びそれらの構造的等価物を含む、コンピュータソフトウェア、ファームウェア、若しくはハードウェアで、又はそれらのうちの１つ以上の組み合わせで実装することができる。本明細書に記載される主題の実施形態は、１つ以上のコンピュータプログラム、すなわち、情報／データ処理装置による実行のための、又は情報／データ処理装置の操作を制御するための、コンピュータ記憶媒体上に符号化された、コンピュータプログラム命令の１つ以上のモジュールとして、実装することができる。あるいは、又は加えて、プログラム命令は、情報／データ処理装置による実行のために好適な受信機装置へと送信する情報／データを符号化するために生成される人工的に生成された伝播信号、例えば、機械生成された電気信号、光学信号、又は電磁信号上に符号化することができる。コンピュータ可読記憶媒体は、コンピュータ可読記憶デバイス、コンピュータ可読記憶基板、ランダム又はシリアルアクセスメモリアレイ若しくはデバイス、あるいはこれらのうちの１つ以上の組み合わせであってもよいし、中に含まれていてもよい。更に、コンピュータ可読記憶媒体は伝播信号ではないが、コンピュータ可読記憶媒体は、人工的に生成された伝播信号で符号化されるコンピュータプログラム命令のソース又はデスティネーションとすることができる。コンピュータ可読記憶媒体はまた、１つ以上の別個の物理的構成要素又は媒体（例えば、複数のＣＤ、ディスク、若しくは他の記憶デバイス）であってもよいし、中に含まれていてもよい。
【0071】
本明細書に記載される動作は、１つ以上のコンピュータ可読記憶デバイス上に記憶された、又は他のソースから受信された、情報／データ上で情報／データ処理装置により実施される動作として実装することができる。
【0072】
「データ処理装置」という用語は、例えば、プログラム可能なプロセッサ、コンピュータ、チップ上のシステム、又は複数の前述のもの若しくは前述のものの組み合わせを含む、データを処理するための全ての種類の装置、デバイス、及びマシンを包含する。装置は、専用論理回路、例えば、ＦＰＧＡ（field programmable gate array）（フィールドプログラマブルゲートアレイ）又はＡＳＩＣ（Application Specific Integrated Circuit）（特定用途向け集積回路）を含むことができる。装置はまた、ハードウェアに加えて、問題のコンピュータプログラムのための実行環境を作成するコード、例えば、プロセッサファームウェア、プロトコルスタック、データベース管理システム、オペレーティングシステム、クロスプラットフォームランタイム環境、仮想マシン、又はこれらのうちの１つ以上の組み合わせを構成するコードを含むことができる。装置及び実行環境は、ウェブサービス、分散コンピューティング、及びグリッドコンピューティングインフラなど、様々な異なるコンピューティングモデルインフラを実現することができる。
【0073】
コンピュータプログラム（プログラム、ソフトウェア、ソフトウェアアプリケーション、スクリプト、又はコードとしても知られる）は、コンパイル型又はインタプリタ型言語、宣言型又は手続き型言語を含む、任意の形態のプログラミング言語で書くことができ、また、スタンドアロンプログラムとして、又はモジュール、コンポーネント、サブルーチン、オブジェクト、若しくはコンピューティング環境内での使用に好適な他のユニットとしての形態を含む、任意の形態で展開することができる。コンピュータプログラムは、必ずしも必要ではないが、ファイルシステム内のファイルと一致してもよい。プログラムは、他のプログラム又は情報／データ（例えば、マークアップ言語文書内に記憶された１つ以上のスクリプト）を保持するファイルの部分内に、問題のプログラムに専用の単一のファイル内に、又は複数の協調ファイル（例えば、１つ以上のモジュール、サブプログラム、又はコードの部分を記憶するファイル）内に記憶することができる。コンピュータプログラムは、１つのコンピュータ上で、又は１つのサイトに位置する、若しくは複数のサイトにわたって分散し、通信ネットワークによって相互接続されている、複数のコンピュータ上で実行されるように展開することができる。
【0074】
本明細書に記載されるプロセス及び論理フローは、入力情報／データ上で動作し、出力を生成することによってアクションを実施するように１つ以上のコンピュータプログラムを実行する１つ以上のプログラム可能なプロセッサによって実施することができる。コンピュータプログラムの実行に好適なプロセッサとしては、例えば、汎用マイクロプロセッサ及び専用マイクロプロセッサの両方、並びに任意の種類のデジタルコンピュータの任意の１つ以上のプロセッサが挙げられる。概して、プロセッサは、読み取り専用メモリ、ランダムアクセスメモリ、又はこれらの両方から、命令及び情報／データを受信することになる。コンピュータの必須要素は、命令に従ってアクションを実施するためのプロセッサ、並びに命令及びデータを記憶するための１つ以上のメモリデバイスである。一般に、コンピュータはまた、データを記憶するための１つ以上の大容量記憶デバイス、例えば、磁気ディスク、光磁気ディスク、若しくは光ディスクを含むか、又はそれらから情報／データを受信する、若しくはそれらに情報／データを送信する、若しくは両方を行うように動作可能に連結される。しかしながら、コンピュータは、必ずしもそのようなデバイスを有する必要はない。コンピュータプログラム命令及び情報／データを記憶するのに好適なデバイスには、例示的な半導体メモリデバイス、例えば、ＥＰＲＯＭ、ＥＥＰＲＯＭ、及びフラッシュメモリデバイスを含む、全ての形態の非揮発性メモリ、媒体、及びメモリデバイス、磁気ディスク、例えば、内部ハードディスク又は取り外し可能なディスク、磁気光学ディスク、並びにＣＤ－ＲＯＭ及びＤＶＤ－ＲＯＭディスクが含まれる。プロセッサ及びメモリは、専用論理回路によって補完されるか、又はその中に組み込まれ得る。
【0075】
ユーザとの相互作用を提供するために、本明細書に記載される主題の実施形態は、ユーザに情報／データを表示するためのディスプレイデバイス、例えば、ＣＲＴ（cathode ray tube、陰極線管）又はＬＣＤ（liquid crystal display、液晶ディスプレイ）モニタ、並びにユーザがコンピュータに入力を提供することができる、キーボード及びポインティングデバイス、例えば、マウス又はトラックボールを有するコンピュータ上に実装することができる。他の種類のデバイスも、ユーザとの相互作用を提供するために使用することができ、例えば、ユーザに提供されるフィードバックは、任意の形態の感覚フィードバック、例えば、視覚フィードバック、聴覚フィードバック、又は触覚フィードバックとすることができ、ユーザからの入力は、音響、音声、又は触覚入力を含む、任意の形態で受信することができる。更に、コンピュータは、ユーザによって使用されるデバイスに文書を送信及び受信することによって、例えば、ウェブブラウザから受信された要求に応答して、ウェブページをユーザのクエリ起動コンピューティングデバイス上のウェブブラウザに送信することによって、ユーザと相互作用することができる。
【0076】
本明細書に記載される主題の実施形態は、バックエンド構成要素を（例えば、情報／データサーバとして）含む、又はミドルウェア構成要素（例えば、アプリケーションサーバ）を含む、又はフロントエンド構成要素（例えば、ユーザが本明細書に記載される主題の実装例と相互作用することができるグラフィカルユーザインターフェース若しくはウェブブラウザを有するクエリ起動コンピューティングデバイス）を含むコンピューティングシステム、あるいは１つ以上のそのようなバックエンド、ミドルウェア、又はフロントエンド構成要素の任意の組み合わせで実装することができる。システムの構成要素は、任意の形態又は媒体のデジタル情報／データ通信、例えば、通信ネットワークによって相互接続することができる。通信ネットワークの例としては、ローカルエリアネットワーク（「ＬＡＮ」）及びワイドエリアネットワーク（「ＷＡＮ」）、インターネットワーク（例えば、インターネット）、並びにピアツーピアネットワーク（例えば、アドホックピアツーピアネットワーク）が挙げられる。
【0077】
コンピューティングシステムは、クライアント及びサーバを含むことができる。クライアント及びサーバは、一般に互いにリモートであり、典型的には通信ネットワークを介して相互作用する。クライアントとサーバの関係は、それぞれのコンピュータ上で稼働し、かつ互いにクライアント－サーバの関係を有するコンピュータプログラムによって生じる。いくつかの実施形態では、サーバは、情報／データ（例えば、ハイパーテキストマークアップランゲージ（Hypertext Markup Language、ＨＴＭＬ）ページ）をクエリ起動コンピューティングデバイスに（例えば、クエリ起動コンピューティングデバイスと相互作用するユーザに情報／データを表示し、ユーザからのユーザ入力を受信することを目的として）伝送する。クエリ起動コンピューティングデバイスにおいて生成された情報／データ（例えば、ユーザ相互作用の結果）は、サーバにおいてクエリ起動コンピューティングデバイスから受信され得る。
【0078】
本明細書は、多くの具体的な実装例の詳細を含むが、これらは、いかなる発明又は特許請求され得るものの範囲を制限するものとして解釈されるべきではなく、むしろ特定の発明の特定の実施形態に特有の特徴の説明として解釈されるべきである。別個の実施形態の文脈において本明細書に記載される特定の特徴はまた、単一の実施形態で組み合わせて実装され得る。逆に、単一の実施形態の文脈で説明される様々な特徴はまた、多数の実施形態において別々に、又は任意の好適なサブコンビネーションで実装することができる。更に、特徴は、特定の組み合わせで作用するものとして上記で説明され、最初はそのように特許請求され得るが、特許請求される組み合わせからの１つ以上の特徴は、場合によっては、組み合わせから削除することができ、特許請求される組み合わせは、サブコンビネーション又はサブコンビネーションの変形を対象とし得る。
【0079】
同様に、操作は、図面に特定の順序で描かれているが、これは、特に記載のない限り、望ましい結果を達成するために、そのような操作を、示される特定の順序若しくは漸進的な順序で実施すること、又は図示される全ての操作を実施することを要求するものとして理解されるべきではない。特定の状況では、マルチタスキング及び並列処理が有利であり得る。更に、上述の実施形態における様々なシステム構成要素の分離は、全ての実施形態においてそのような分離を必要とするものとして理解されるべきではなく、記載されるプログラム構成要素及びシステムは、一般に、単一のソフトウェア製品に一体化する、又は複数のソフトウェア製品にパッケージ化することができることを理解されたい。
【0080】
こうして、本主題の特定の実施形態が説明されてきた。他の実施形態は、以下の特許請求の範囲の範囲内である。場合によっては、特許請求の範囲に列挙されたアクションは、異なる順序で実行され得、依然として望ましい結果を達成することができる。加えて、添付の図に描かれる処理は、特に記載のない限り、望ましい結果を達成するために、示される特定の順序又は漸進的な順序を必ずしも必要としない。特定の実装例では、マルチタスキング及び並列処理が有利であり得る。
【0081】
結論
本明細書に記載される本発明の多くの修正例及び他の実施形態は、前述の説明及び関連付けられた図面に提示される教示の利益を有する、これらの本発明に関係がある当業者に着想されるであろう。したがって、本発明、開示される特定の実施形態に限定されるものではないこと、並びに修正例及び他の実施形態は、添付の特許請求の範囲の範囲内に含まれることが意図されることを理解されたい。特定の用語が本明細書で用いられているが、特に記載のない限り、これらは一般的かつ記述的な意味でのみ使用され、限定の目的では使用されない。
本明細書に記載される本発明の多くの修正例及び他の実施形態は、前述の説明及び関連付けられた図面に提示される教示の利益を有する、これらの本発明に関係がある当業者に着想されるであろう。したがって、本発明、開示される特定の実施形態に限定されるものではないこと、並びに修正例及び他の実施形態は、添付の特許請求の範囲の範囲内に含まれることが意図されることを理解されたい。特定の用語が本明細書で用いられているが、特に記載のない限り、これらは一般的かつ記述的な意味でのみ使用され、限定の目的では使用されない。
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
