特表 2024-521631 赤外線画像および通常画像を使用した資産保守の予測

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公表特許公報(A)

(11)【公表番号】

(43)【公表日】2024-06-04

(54)【発明の名称】赤外線画像および通常画像を使用した資産保守の予測

(51)【国際特許分類】

   G06N 20/00 20190101AFI20240528BHJP

   G06N 3/0464 20230101ALI20240528BHJP

   G06F 11/07 20060101ALI20240528BHJP

   G06F 11/30 20060101ALI20240528BHJP

【ＦＩ】

G06N20/00

G06N3/0464

G06F11/07 193

G06F11/30 155

【審査請求】未請求

【予備審査請求】未請求

(21)【出願番号】P 2023567045

(86)(22)【出願日】2022-05-23

(85)【翻訳文提出日】2023-10-31

(86)【国際出願番号】 CN2022094483

(87)【国際公開番号】W WO2022247794

(87)【国際公開日】2022-12-01

(31)【優先権主張番号】17/332,975

(32)【優先日】2021-05-27

(33)【優先権主張国・地域又は機関】US

(81)【指定国・地域】

(71)【出願人】

【識別番号】390009531

【氏名又は名称】インターナショナル・ビジネス・マシーンズ・コーポレーション

【氏名又は名称原語表記】ＩＮＴＥＲＮＡＴＩＯＮＡＬ ＢＵＳＩＮＥＳＳ ＭＡＣＨＩＮＥＳ ＣＯＲＰＯＲＡＴＩＯＮ

【住所又は居所原語表記】Ｎｅｗ Ｏｒｃｈａｒｄ Ｒｏａｄ， Ａｒｍｏｎｋ， Ｎｅｗ Ｙｏｒｋ １０５０４， Ｕｎｉｔｅｄ Ｓｔａｔｅｓ ｏｆ Ａｍｅｒｉｃａ

(74)【代理人】

【識別番号】100112690

【弁理士】

【氏名又は名称】太佐 種一

(74)【代理人】

【識別番号】100120710

【弁理士】

【氏名又は名称】片岡 忠彦

(74)【復代理人】

【識別番号】110000420

【氏名又は名称】弁理士法人ＭＩＰ

(72)【発明者】

【氏名】ベルトーニ、スカルトン、ティアゴ

(72)【発明者】

【氏名】ビアンキ、チアゴ

(72)【発明者】

【氏名】ディアス フェリシオ ジュニア、エドアルド

(72)【発明者】

【氏名】ペレイラ、タルチシオ

【テーマコード（参考）】

5B042

【Ｆターム（参考）】

5B042JJ06

5B042JJ17

5B042JJ30

(57)【要約】

資産の故障状態までの時間を予測する方法は、正常状態資産の画像ペアと、検査からの資産の故障状態における資産の履歴画像ペアを受信する。第１のモデルは、入力画像を正常状態資産に似せるように再構築するように訓練される。第１のモデルによる画像の再構築を類似度ベースとして使用することによって、通常画像および赤外線画像の履歴画像ペアについて類似度係数が生成され、履歴画像ペアは、画像捕捉のタイムスタンプを含む。第２のモデルは、画像捕捉のタイムスタンプ、資産故障状態のタイムスタンプ、および履歴画像の類似度係数に基づいて資産故障状態までの時間を予測するように訓練される。方法は、リアルタイム画像ペアの受信に応答して、資産の故障状態までの予測時間を計算する。

【特許請求の範囲】

【請求項1】

資産の故障状態までの時間を予測するためのコンピュータ実施方法であって、
１つまたは複数のプロセッサによって、前記資産の故障状態の画像ペアを含む資産の複数の履歴画像ペアを受信することであって、それぞれの画像ペアが赤外線画像および対応する通常画像を含む、前記複数の履歴画像ペアを受信することと、
前記１つまたは複数のプロセッサによって、前記資産の画像ペアのそれぞれの画像を前記資産の正常状態ステータスへと再構成するように訓練された第１のモデルを受信することと、
前記１つまたは複数のプロセッサによって、前記複数の履歴画像ペアのそれぞれについて、履歴画像ペアと前記第１のモデルによって前記履歴画像ペアを再構成したものとの間の類似度係数を生成することであって、前記履歴画像ペアが前記履歴画像ペアの捕捉のタイムスタンプを含む、前記類似度係数を生成することと、
前記１つまたは複数のプロセッサによって、前記類似度係数および前記複数の履歴画像ペアの捕捉のタイムスタンプにそれぞれ基づいて、前記資産の故障状態が発生するまでの持続時間を予測するように訓練された第２のモデルを受信することと、
前記１つまたは複数のプロセッサによって、前記資産のリアルタイム画像ペアを受信したことに応答して、前記リアルタイム画像ペアと前記第１のモデルによって再構成された前記リアルタイム画像ペアとの間のリアルタイム類似度係数を生成することであって、前記リアルタイム画像ペアが前記リアルタイム画像ペアの捕捉のタイムスタンプを含む、前記リアルタイム類似度係数を生成することと、
前記１つまたは複数のプロセッサによって、前記リアルタイム画像ペアの前記類似度係数および前記リアルタイム画像ペアの前記捕捉の前記タイムスタンプと、対応する類似度係数を有する前記複数の履歴画像ペアのうちの履歴画像ペア、および、前記リアルタイム画像ペアの前記捕捉の前記タイムスタンプと、前記対応する類似度係数を有する前記履歴画像ペアに続く前記資産の前記故障状態のタイムスタンプとから決定された時間デルタとの間の相関に基づいて、前記資産の前記故障状態までの予測時間を計算することと
を含む、コンピュータ実施方法。

【請求項2】

前記第１のモデルが、前記資産の赤外線画像および通常画像を入力として受信する１組の自己符号化畳み込みニューラル・ネットワークである、請求項１に記載のコンピュータ実施方法。

【請求項3】

前記１つまたは複数のプロセッサによって、前記資産の画像ペアのサンプリング、前記複数の履歴画像ペア、および前記リアルタイム画像ペアを領域にセグメント化することと、
前記１つまたは複数のプロセッサによって、前記資産の画像ペアの前記サンプリング、前記複数の履歴画像ペア、および前記リアルタイム画像ペアの前記領域について類似度係数を生成することと
をさらに含む、請求項１に記載のコンピュータ実施方法。

【請求項4】

前記領域が、領域の正方行列にセグメント化される、請求項３に記載のコンピュータ実施方法。

【請求項5】

前記類似度係数が、前記画像ペアのそれぞれの画像のセグメント化された領域間のユークリッド距離の多次元ベクトルを含む、請求項１に記載のコンピュータ実施方法。

【請求項6】

前記第１のモデルおよび前記第２のモデルが、
１つまたは複数のプロセッサによって、資産の前記複数の履歴画像ペアから、前記資産の新たに交換された状態から故障状態までの前記資産のある範囲の状態を含む、正常状態ステータスを有する前記資産の画像ペアのサンプリングを受信することと、
前記１つまたは複数のプロセッサによって、前記正常状態ステータスを有する前記資産の画像ペアの前記サンプリングからの訓練データに基づいて画像ペアのそれぞれの画像を再構成するように前記第１のモデルを訓練することと、
前記１つまたは複数のプロセッサによって、前記資産の前記故障状態までの持続時間を予測するための第２のモデルを生成することと、
前記１つまたは複数のプロセッサによって、前記資産の前記複数の履歴画像ペアの前記類似度係数および前記複数の履歴画像ペアの捕捉のタイムスタンプにそれぞれ基づいて、前記第２のモデルを訓練することと
をさらに含む、請求項１に記載のコンピュータ実施方法。

【請求項7】

受信される前記資産の前記複数の履歴画像ペアが、前記資産の前記正常状態ステータスと前記故障状態との間のある範囲の状態を含む、請求項１に記載のコンピュータ実施方法。

【請求項8】

資産の故障状態までの時間を予測するためのコンピュータ・プログラム製品であって、
１つまたは複数のコンピュータ可読記憶媒体、および前記１つまたは複数のコンピュータ可読記憶媒体に集合的に記憶されたプログラム命令を含み、前記プログラム命令が、
前記資産の故障状態の画像ペアを含む資産の複数の履歴画像ペアを受信するためのプログラム命令であって、それぞれの画像ペアが赤外線画像および対応する通常画像を含む、前記プログラム命令と、
前記資産の画像ペアのそれぞれの画像を前記資産の正常状態ステータスへと再構成するように訓練された第１のモデルを受信するためのプログラム命令と、
前記複数の履歴画像ペアのそれぞれについて、履歴画像ペアと前記第１のモデルによって前記履歴画像ペアを再構成したものとの間の類似度係数を生成するためのプログラム命令であって、前記履歴画像ペアが前記履歴画像ペアの捕捉のタイムスタンプを含む、前記プログラム命令と、
前記類似度係数および前記複数の履歴画像ペアの捕捉のタイムスタンプにそれぞれ基づいて、前記資産の故障状態が発生するまでの持続時間を予測するように訓練された第２のモデルを受信するためのプログラム命令と、
前記資産のリアルタイム画像ペアを受信したことに応答して、前記リアルタイム画像ペアと前記第１のモデルによって再構成された前記リアルタイム画像ペアとの間のリアルタイム類似度係数を生成するためのプログラム命令であって、前記リアルタイム画像ペアが前記リアルタイム画像ペアの捕捉のタイムスタンプを含む、前記プログラム命令と、
前記リアルタイム画像ペアの前記類似度係数および前記リアルタイム画像ペアの前記捕捉の前記タイムスタンプと、対応する類似度係数を有する前記複数の履歴画像ペアのうちの履歴画像ペア、および、前記リアルタイム画像ペアの前記捕捉の前記タイムスタンプと、前記対応する類似度係数を有する前記履歴画像ペアに続く前記資産の前記故障状態のタイムスタンプとから決定された時間デルタとの間の相関に基づいて、前記資産の前記故障状態までの予測時間を計算するためのプログラム命令と
を含む、コンピュータ・プログラム製品。

【請求項9】

前記第１のモデルが、前記資産の赤外線画像および通常画像を入力として受信する１組の自己符号化畳み込みニューラル・ネットワークである、請求項８に記載のコンピュータ・プログラム製品。

【請求項10】

前記資産の画像ペアのサンプリング、前記複数の履歴画像ペア、および前記リアルタイム画像ペアを領域にセグメント化するためのプログラム命令と、
前記資産の画像ペアの前記サンプリング、前記複数の履歴画像ペア、および前記リアルタイム画像ペアの前記領域について類似度係数を生成するためのプログラム命令と
をさらに含む、請求項８に記載のコンピュータ・プログラム製品。

【請求項11】

前記領域が、領域の正方行列にセグメント化される、請求項１０に記載のコンピュータ・プログラム製品。

【請求項12】

前記類似度係数が、前記画像ペアのそれぞれの画像のセグメント化された領域間のユークリッド距離の多次元ベクトルを含む、請求項８に記載のコンピュータ・プログラム製品。

【請求項13】

前記第１のモデルが、
資産の前記複数の履歴画像ペアから、前記資産の新たに交換された状態から故障状態までの前記資産のある範囲の状態を含む、正常状態ステータスを有する前記資産の画像ペアのサンプリングを受信するためのプログラム命令と、
前記正常状態ステータスを有する前記資産の画像ペアの前記サンプリングからの訓練データに基づいて画像ペアのそれぞれの画像を再構成するように前記第１のモデルを訓練するためのプログラム命令と、
前記資産の前記故障状態までの持続時間を予測するための第２のモデルを生成するためのプログラム命令と、
前記資産の前記複数の履歴画像ペアの前記類似度係数および前記複数の履歴画像ペアの捕捉のタイムスタンプにそれぞれ基づいて、前記第２のモデルを訓練するためのプログラム命令と
をさらに含む、請求項８に記載のコンピュータ・プログラム製品。

【請求項14】

受信される前記資産の前記複数の履歴画像ペアが、前記資産の前記正常状態ステータスと前記故障状態との間のある範囲の状態を含む、請求項８に記載のコンピュータ・プログラム製品。

【請求項15】

資産の故障状態までの時間を予測するためのコンピュータ・システムであって、
１つまたは複数のコンピュータ・プロセッサ、
１つまたは複数のコンピュータ可読記憶媒体、および前記１つまたは複数のコンピュータ可読記憶媒体に集合的に記憶されたプログラム命令を含み、前記プログラム命令が、
前記資産の故障状態の画像ペアを含む資産の複数の履歴画像ペアを受信するためのプログラム命令であって、それぞれの画像ペアが赤外線画像および対応する通常画像を含む、前記プログラム命令と、
前記資産の画像ペアのそれぞれの画像を前記資産の正常状態ステータスへと再構成するように訓練された第１のモデルを受信するためのプログラム命令と、
前記資産の前記複数の履歴画像ペアのそれぞれについて、履歴画像ペアと前記第１のモデルによって前記履歴画像ペアを再構成したものとの間の類似度係数を生成するためのプログラム命令であって、前記履歴画像ペアが前記履歴画像ペアの捕捉のタイムスタンプを含む、前記プログラム命令と、
前記類似度係数および前記複数の履歴画像ペアの捕捉のタイムスタンプにそれぞれ基づいて、前記資産の故障状態が発生するまでの持続時間を予測するように訓練された第２のモデルを受信するためのプログラム命令と、
前記資産のリアルタイム画像ペアを受信したことに応答して、前記リアルタイム画像ペアと前記第１のモデルによって再構成された前記リアルタイム画像ペアとの間のリアルタイム類似度係数を生成するためのプログラム命令であって、前記リアルタイム画像ペアが前記リアルタイム画像ペアの前記捕捉のタイムスタンプを含む、前記プログラム命令と、
前記リアルタイム画像ペアの前記類似度係数および前記リアルタイム画像ペアの前記捕捉の前記タイムスタンプと、対応する類似度係数を有する前記資産の前記複数の履歴画像ペアのうちの履歴画像ペア、および、前記リアルタイム画像ペアの前記捕捉の前記タイムスタンプと、前記対応する類似度係数を有する前記履歴画像ペアに続く前記資産の前記故障状態のタイムスタンプとから決定された時間デルタとの間の相関に基づいて、前記資産の前記故障状態までの予測時間を計算するためのプログラム命令と
を含む、コンピュータ・システム。

【請求項16】

前記第１のモデルが、前記資産の赤外線画像および通常画像を入力として受信する１組の自己符号化畳み込みニューラル・ネットワークである、請求項１５に記載のコンピュータ・システム。

【請求項17】

前記資産の画像ペアのサンプリング、前記複数の履歴画像ペア、および前記リアルタイム画像ペアを領域にセグメント化するためのプログラム命令であって、前記領域が領域の正方行列にセグメント化される、プログラム命令と、
前記資産の画像ペアの前記サンプリング、前記複数の履歴画像ペア、および前記リアルタイム画像ペアの前記領域について類似度係数を生成するためのプログラム命令と
をさらに含む、請求項１５に記載のコンピュータ・システム。

【請求項18】

前記第１のモデルが、
資産の前記複数の履歴画像ペアから、前記資産の新たに交換された状態から故障状態までの前記資産のある範囲の状態を含む、正常状態ステータスを有する前記資産の画像ペアのサンプリングを受信するためのプログラム命令と、
前記正常状態ステータスを有する前記資産の画像ペアの前記サンプリングからの訓練データに基づいて画像ペアのそれぞれの画像を再構成するように前記第１のモデルを訓練するためのプログラム命令と、
前記資産の前記故障状態までの持続時間を予測するための第２のモデルを生成するためのプログラム命令と、
前記資産の前記複数の履歴画像ペアの前記類似度係数および前記複数の履歴画像ペアの捕捉のタイムスタンプにそれぞれ基づいて、前記第２のモデルを訓練するためのプログラム命令と
をさらに含む、請求項１７に記載のコンピュータ・システム。

【請求項19】

前記類似度係数が、前記画像ペアのそれぞれの画像のセグメント化された領域間のユークリッド距離の多次元ベクトルを含む、請求項１５に記載のコンピュータ・システム。

【請求項20】

受信される前記資産の前記複数の履歴画像ペアが、前記資産の前記正常状態ステータスと前記故障状態との間のある範囲の状態を含む、請求項１５に記載のコンピュータ・システム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、資産の保守および故障予測（failure prediction）に関し、より詳細には、保守介入（intervention）を予測するための、資産の可視画像および赤外線画像に基づく資産状態の機械学習認識の使用に関する。

【背景技術】

【0002】

企業資産管理（ＥＡＭ：Enterprise Asset Management）は、多くの場合ソフトウェアおよび技術を介してリアルタイムで行われる、主要ビジネス・プロセスの統合管理を含む特定のタイプの企業資源計画（ＥＲＰ：Enterprise Asset Management）である。ＥＡＭは、トラック群、建設機械、タービン、石油プラットフォーム、エネルギー生成施設などの大規模な資産の管理活動をサポートする機能性を有することを特徴とし得る。ＥＡＭシステムおよびソフトウェアは、大規模な資産および資産コンポーネントの設計、構成、運用、保守、および交換を容易にする。

【0003】

資産故障防止手法は、資産コンポーネントの平均故障間隔（ＭＴＢＦ：mean-time-between-failure）を追跡するデータの使用による管理を含む。企業および組織は、ＭＴＢＦを正確に決定し、必要とされる前の保守の実施を回避しながら故障を防止するための保守活動を実行する措置を講じることにより利益を得る。

【0004】

赤外線（ＩＲ）光は、人間の視覚には不可視であるが、熱として感じることまたは測定することが可能である放射電磁エネルギーの一種である。熱画像カメラなどの特別なデバイスを用いてＩＲ画像を捕捉すると、可視光画像または人間の視覚では検出できない異常に関するさらなる詳細がもたらされる。多くの場合、ＩＲ画像は、通常の動作状態または期待される動作状態に関する情報を提供する、いわゆる熱痕跡（thermal signature）を提供する。

【発明の概要】

【0005】

本発明の実施形態は、資産の故障状態までの時間を予測するためのコンピュータ実施方法、コンピュータ・プログラム製品、およびシステムを開示する。コンピュータ実施方法は、コンピュータ・プロセッサが、正常状態ステータスを有する資産の画像ペアのサンプリング、および資産の故障状態の画像ペアを含む資産の複数の履歴画像ペアを受信することを提供し、それぞれの画像ペアは、赤外線画像および対応する通常画像を含む。プロセッサは、正常状態ステータスを有する資産の画像ペアのサンプリングからの訓練データに基づいて、画像ペアのそれぞれの画像を再構成する（reconstruct）ように第１のモデルを訓練する。プロセッサは、複数の履歴画像ペアのそれぞれについて、履歴画像ペアと第１のモデルによって履歴画像ペアを再構成したものとの間の類似度係数（similarity coefficient）を生成し、履歴画像ペアは、履歴画像ペアの捕捉のタイムスタンプを含む。コンピュータ・プロセッサは、資産の複数の履歴画像ペアの類似度係数および複数の履歴画像ペアの捕捉に関連付けられたタイムスタンプにそれぞれ基づいて、資産の故障状態までの持続時間を予測するように第２のモデルを訓練する。プロセッサは、資産のリアルタイム画像ペアを受信したことに応答して、リアルタイム画像ペアと第１のモデルによって再構成されたリアルタイム画像ペアとの間のリアルタイム類似度係数を生成し、リアルタイム画像ペアは、リアルタイム画像ペアの捕捉のタイムスタンプを含み、プロセッサは、リアルタイム画像ペアの類似度係数およびリアルタイム画像ペアの捕捉のタイムスタンプと、対応する類似度係数を有する複数の履歴画像ペアのうちの履歴画像ペア、および、リアルタイム画像ペアの捕捉のタイムスタンプと、対応する類似度係数を有する履歴画像ペアに続く資産の故障状態のタイムスタンプとから決定された時間デルタとの間の相関に基づいて、資産の故障状態までの予測時間を計算する。

【図面の簡単な説明】

【0006】

【図1】本発明の一実施形態による、分散コンピュータ処理環境を示す機能ブロック図である。

【図2】本発明の実施形態による、図１の分散コンピュータ処理環境において動作する、コンポーネントとして画像再構築モジュール（image rebuild module）と画像類似度モジュールとを含む故障予測プログラムの動作ステップを示すフローチャートである。

【図3】本発明の一実施形態による、図２の画像再構築モジュールと画像類似度モジュールとを含む故障予測プログラムを動作可能に実行するように構成されたコンピューティング・デバイスを含むコンピューティング・システムのコンポーネントのブロック図である。

【発明を実施するための形態】

【0007】

本発明の実施形態では、高価な資産（asset，アセット）に対して予防保守をいつ実行するかを正確に決定することで、資産故障によるコストのかかる結果または損害の大きい結果が回避され、コンポーネントを交換することまたは保守活動を必要以上に頻繁に実行しないことにより運用コストの上昇を防止することができると認識されている。多くの場合、資産故障の発生は重大な結果をもたらす可能性があるため、保守活動の頻度を上げることが奨励される。本発明の実施形態では、資産所有者は多くの場合、「２つの悪のうちのましな方」の実践哲学を選び、スケジュールされたより頻度の高い資産保守に伴う不便さおよび追加コストを受け入れると認識されている。

【0008】

本発明の実施形態では、資産検査は、多くの場合、資産が保守を必要としているかどうかの指標を決定するために手動での活動を必要とし、手動での活動は、運用上のリスクもしくは人的リスクを含むか、または資産もしくは資産コンポーネントへのアクセスが制限されているために正確な検査結果に課題が生じ得ることも認識されている。実施形態ではさらに、資産所有者は、より高いコストおよび検査者への潜在的リスクを含むより高い頻度での資産検査を実行することと、資産故障のより大きな結果を招くリスクとのバランスを考慮した決定を行うと認識されている。

【0009】

本発明の実施形態は、現在の資産の状態と資産の正常状態との定量化された差異を提供する、通常の可視光画像および赤外線画像から類似度係数を生成することに基づいて、資産に関連する故障状態を予測するための、コンピュータ実施方法、コンピュータ・プログラム製品、およびコンピュータ・システムを提供する。実施形態はまた、現在の検査の通常画像と赤外線画像との間の類似度係数を、資産の以前の故障状態および資産状態の以前の検査に関連する複数の履歴通常画像ペアおよび履歴赤外線画像ペアからの画像ペアの対応する類似度係数と相関させることによって、所与の資産がいつ故障する可能性があるか、または保守関連の介入措置が必要になるかを予測するための機械学習モデルを提供する。

【0010】

本発明の一実施形態では、「画像」という用語は、コンピュータベースの分析を可能にする形式で画素のモザイクとしてレンダリングされた、オブジェクトのデジタル化された表現を指す。実施形態は、可視光に関連する電磁波長を捕捉する画像である通常画像と、可視赤色光の電磁波長を超える（すなわち、それを上回る）電磁波長を捕捉する赤外線画像とを含む。

【0011】

いくつかの実施形態では、通常画像および赤外線画像の補足は、ほぼ同時に行われ、それぞれの画像内の画素のグループ化に関連するコンピュータ認識可能な特徴を含む。いくつかの実施形態では、「類似度の係数」または「類似度係数」という用語は、現在の光源画像のペア（すなわち、ペアとしての現在の可視光源画像と以前の光源画像）の対応する領域間の、多くの場合は距離と呼ばれる値を決定すること、より具体的には、画像のペアのそれぞれの領域内に位置する１つまたは複数の特徴間の距離を表す多次元空間内のベクトルに与えられる大きさの値を指す。距離が大きいほど画像ペアの特徴間の類似度が低いことを示し、距離値が小さいほど画像ペアの特徴間の類似度が高いことを示す。例えば、コンピュータ画像分析は、資産のコンポーネントの２つの赤外線画像のそれぞれにおける１組の特徴を識別する。赤外線画像のそれぞれの領域内の画素の領域は、識別された特徴を含み、分析は、赤外線画像のそれぞれの領域間の類似度係数の生成、およびベクトル表現の異なる次元として割り当てられ得る画素領域の属性の生成を含む。

【0012】

本発明のいくつかの実施形態では、資産は、画像捕捉によって検査され得、時間が経過すると資産が期待されるサービスを実行できなくなる動作を実行する物理オブジェクトを指す。いくつかの実施形態では、資産は、車両、建設機械、タービン、発電機、航空機部品などの大型品目を含むが、本発明の実施形態は、資産のサイズ、タイプ、または役割によって制限されない。いくつかの実施形態では、一次資産は、一次資産の二次資産ともみなされ得る副次のコンポーネントを含んでもよい。本発明の実施形態は、保守などの予防活動を実行するための資産の介入として、資産の動作上の性能の故障を防止または回避するための措置を考慮する。いくつかの実施形態では、資産の故障状態への言及は、資産の性能低下状態を含む。いくつかの実施形態では、資産の検査は、資産の介入の前および後に実行され、資産の通常画像および赤外線画像を捕捉することを含む。明確化および簡素化のために、本明細書における資産故障、資産故障イベント、または資産の故障状態への言及は、予防目的を裏付ける故障に近い資産状態または故障が差し迫った資産状態を含む。

【0013】

実施形態は、資産故障の前の保守または他の予防措置のために、資産に対する介入をいつ実行するかの正確な予測を決定するという問題に対する実用的な解決策を提供する。実施形態は、画像ペアが資産の正常状態ステータスを反映している資産の画像ペアのサンプリングを受信し、資産の故障状態と資産検査とを含む、資産の複数の履歴画像ペアを受信する。いくつかの実施形態では、（それぞれのタイムスタンプ情報を伴う）類似もしくは同一の資産または資産コンポーネントの１組の履歴画像ペアは、その資産タイプの画像ペアの履歴のコレクションに結合され得る。例えば、類似のトラック群のブレーキ・アセンブリの画像ペアを結合して、１組のより大きい履歴画像ペアを作成してもよい。資産の履歴画像ペアは、画像捕捉のタイムスタンプと、特定の介入活動に関連する情報とを含む。いくつかの実施形態では、資産の故障状態への対応は、資産を修理、補修、または交換するための介入活動を含む。他の実施形態では、介入は、資産の検査を提供し、資産の画像ペアの捕捉とともに検査のタイムスタンプを含む。

【0014】

例えば、企業組織は、資産の介入を、作業指示または他の正式な文書化された情報（雇用、または介入活動のスケジュール設定など）に関連付けることがある。作業指示は、介入活動の文書および活動のタイムスタンプを含むことがあり、介入が資産の修理または交換を含む場合、作業指示情報は、故障の種類、修理または保守の期間、交換された部品、行われた調整、および介入に関連するコストを含む。本発明の実施形態は、複数の履歴画像ペア内の検査、保守活動、および故障イベント修復を伴う介入活動情報を含む。検査および資産故障イベントの履歴画像に関連付けられたタイムスタンプ情報は、その後の資産故障イベントまでの持続時間を示すデータとしての役割を果たす。介入中に捕捉された画像ペアに関連付けられたタイムスタンプ情報は、資産故障までの時間の機械学習予測のためのデータを提供する。

【0015】

実施形態は、資産のコンポーネントのより細粒度の表現を提供するために、画像ペアの通常画像および赤外線画像のセグメント化を実行する。いくつかの実施形態では、画像のセグメント化は、領域の正方行列（例えば、ｎ^＊２領域）を形成する１組の画素の領域を生成する。

【0016】

実施形態は、資産の画像領域を入力として受信し、入力を資産の正常状態画像へと再構成することを実行するように、第１のモデルを訓練する。第１のモデルの訓練は、資産の画像ペアのサンプリングから正常状態資産の画像ペアを訓練データの入力として排他的に提供することを含む。このようにして、第１のモデルは、リアルタイム検査からの様々な画像入力を考慮して、資産の正常状態の基準条件を確立する。リアルタイム検査画像ペアは、正常状態資産の画像ペアの元のサンプリングとは異なり得る様々な条件下で捕捉されてもよい。画像ペアの元のサンプリングをリアルタイム画像ペアの正常状態の基準として使用することは、画像ペアの本来なら寄与しない領域における類似度係数の結果に不正確に影響を与える可能性がある。例えば、角度、照明、または影響の少ない累積したデブリ（non-impacting accumulated debris）により、類似度係数の計算が不正確になることがある。

【0017】

様々な実施形態では、第１のモデルの訓練は、受信した画像ペアのサンプリングのそれぞれの領域セグメント内の資産の特徴を識別および認識することを含む。いくつかの実施形態では、資産の正常状態ステータスは、新しい資産と、資産の交換されたコンポーネントと、摩耗、応力、疲労、振動、過剰な熱、または資産の動作状態が新品もしくは新品に近い状態から遠ざかり故障状態に近づいていることを示すような他の属性が存在しないまたは低減された動作状態に資産を置いた、調整された資産または資産のコンポーネントとを含む。正常状態ステータスを有する資産の画像ペアのサンプリングの領域内の特徴を識別するようにモデルを訓練することは、履歴画像と基準画像との間の類似度係数を生成するための基準点を提供する。基準画像を生成するために、第１のモデルは、入力として受信された通常のリアルタイム画像および赤外線リアルタイム画像のコピーを、資産の正常状態へと再構成し（すなわち、可能な限り「正常状態」に近い状態へと再構成し）、これは、資産に対する変更の基準を提供し、計算された類似度係数の正確度を向上させる。リアルタイム画像の再構成は、分析および類似度係数の決定に影響を与える画像の寄与しない成分に関連する問題を回避する。

【0018】

本発明の実施形態は、資産の正常状態を描写する基準画像ペアと、資産の複数の履歴画像ペアからのそれぞれの画像ペアとの間の類似度係数を生成する。実施形態は、複数の履歴画像ペアの各画像ペアのセグメント化された領域ごとに類似度係数を生成する。様々な実施形態では、それぞれの履歴画像ペアを第１のモデルに提供することは、履歴画像ペアの再構成を可能にする。再構成は、正常状態資産の領域を含む基準画像ペアを形成する。実施形態は、履歴画像ペアの再構成された通常画像および赤外線画像のセグメント化された領域と、履歴画像ペアのそれぞれの通常画像および赤外線画像のセグメント化された領域との間の類似度係数を生成する。いくつかの実施形態では、複数の履歴画像ペアのそれぞれの画像ペアについて類似度係数が生成される。

【0019】

実施形態は、資産の複数の履歴画像ペアのうちの各履歴画像ペアについて類似度係数の生成を実行する。複数の履歴画像ペアは、資産の修理、保守、および検査の以前の介入活動から捕捉された資産故障イベントの検査ならびにインスタンスを表し、介入活動に関連付けられたタイムスタンプおよび追加情報を含む。複数の履歴画像ペアの結果として得られる１組の類似度係数は、正常状態ステータスから故障ステータスまでの資産に関連する、ある範囲の類似度値を提供する。いくつかの実施形態では、類似度係数は、資産の基準画像の領域内の画素と、資産の検査の画像ペアのリアルタイム画像内の領域の対応する画素との間のユークリッド距離として計算される。他の実施形態では、類似度係数は、コサイン類似度法または他の類似度法に基づいて計算される。

【0020】

本発明の実施形態は、資産の故障状態までの時間を予測するように第２のモデルを訓練する。故障状態までの予測時間は、故障状態を防止するための資産に対する保守介入の計画および実行を可能にする。故障までの予測時間の決定は、資産検査からのリアルタイム画像ペアの類似度係数を、複数の履歴画像ペアのうちの画像ペアからの対応する類似度係数と相関させることを含む。さらに、対応する履歴画像ペアに関連付けられたタイムスタンプとその後の履歴資産故障状態タイムスタンプとの間の持続時間は、資産の故障までの予測時間の決定に寄与する要因である。いくつかの実施形態では、介入の予測時間を資産の予測された故障状態よりも前の時間枠へ調整することは、故障の発生を防止する。いくつかの実施形態では、複数の履歴画像ペアに関連付けられた情報は、資産の故障状態の予測のために第２のモデルを訓練するためのデータを提供する。履歴画像ペア情報は、履歴介入のタイムスタンプ、履歴介入中に捕捉された通常画像および赤外線画像のペア、ならびに故障状態の詳細、実行された保守／修理、介入を実行する時間、および介入のコストなどの介入に関する詳細を含む。

【0021】

本発明の実施形態は、資産のリアルタイム画像ペアを受信したことに応答して、赤外線画像および通常画像のそれぞれの領域に対するリアルタイム類似度係数を生成する。いくつかの実施形態では、画像ペアが捕捉される資産のリアルタイム検査の実行は、画像ペアに関連付けられたタイムスタンプを含む。本発明の実施形態は、赤外線画像および通常画像のコピーを入力として第１のモデルに送出し、第１のモデルが、送出された画像を、基準となる正常状態資産を描写する画像を目指して再構成したものを出力することによって、検査のリアルタイム画像ペアから類似度係数を生成する。検査のリアルタイム画像ペアおよび再構成された画像ペア基準は、リアルタイム検査の類似度係数を生成するための基礎を提供する。実施形態は、対応する赤外線画像のそれぞれのセグメント化された領域および対応する通常画像のそれぞれのセグメント化された領域について類似度係数を生成する。

【0022】

本発明の実施形態は、（ｉ）リアルタイム画像ペアの領域の類似度係数およびリアルタイム画像ペアの捕捉のタイムスタンプと、（ｉｉ）対応する類似度係数を有する複数の履歴画像ペアのうちの履歴画像ペアの領域、および、リアルタイム画像ペアの捕捉のタイムスタンプと対応する類似度係数を有する履歴画像ペアに続く資産の故障状態の画像ペアの捕捉のタイムスタンプとから決定された時間デルタとの間の相関に基づいて、資産の故障イベントまでの予測時間を計算する。

【0023】

いくつかの実施形態では、作業指示または他の文書化された資産介入情報ソースは、資産状態の画像のペア（すなわち、赤外線画像および通常の可視光画像）と、画像捕捉のタイムスタンプとを含み、介入の期間、介入中に実行された活動、介入が資産の故障状態に対応したものであったかどうか、および介入のコストのうちの１つまたは組合せを含んでもよい。いくつかの実施形態では、資産の複数の履歴画像にそれぞれ関連付けられた作業指示は、資産の正常状態ステータスの後および資産の故障状態に至る前の資産検査の介入を含む。

【0024】

いくつかの実施形態では、第１のモデルは、自己符号化器ニューラル・ネットワークと、正常状態ステータスを有する資産の通常画像および赤外線画像を使用する訓練とを含む。いくつかの実施形態では、資産の正常状態ステータスに対する類似度（すなわち、類似度係数の非常に小さい類似度距離値）を示す対応する赤外線画像または通常画像に向けて、それぞれ、別個に開発および訓練されたバージョンの第１のモデルが、赤外線画像の再構成を実行し、同様に、通常画像を使用して開発および訓練された異なるバージョンの第１のモデルが、資産の通常画像の再構成を実行する。いくつかの実施形態では、第２のモデルの開発および訓練は、資産のリアルタイム検査からの通常画像類似度係数および赤外線画像類似度係数をそれぞれ使用する別個のバージョンを含む。本発明の実施形態では、第２のモデルは、回帰関数を実行して、検査画像および検査画像の捕捉に関連付けられたタイムスタンプ、ならびに履歴故障状態の画像表現の類似度係数、履歴検査画像表現、および介入に関連付けられたタイムスタンプから、資産の故障状態までの時間デルタのパターンを学習すると認識されている。

【0025】

本発明の様々な実施形態の説明は、例示の目的で提示されているが、網羅的であることも、開示された実施形態に限定されることも意図していない。当業者には、説明された実施形態の範囲から逸脱することなく多くの修正形態および変形形態が明らかであろう。本明細書で使用される用語は、実施形態の原理、実際の適用例、もしくは市場で見られる技術を超える技術的な改良を最もよく説明するように、または本明細書で開示された実施形態を当業者が理解できるように選択されたものである。

【0026】

次に、図面を参照して本発明を詳細に説明する。図１は、本発明の一実施形態による、概して１００と表記された分散コンピュータ処理環境を示す機能ブロック図を提示している。図１は、一実装形態の例示を提供しているにすぎず、異なる実施形態が実装され得る環境に関していかなる制限も示唆するものではない。特許請求の範囲に記載された本発明の範囲から逸脱することなく、当業者によって、図示された環境に対して多くの修正が加えられてもよい。

【0027】

分散コンピュータ処理環境１００は、コンピューティング・デバイス１１０、正常状態資産画像ペア１２０、履歴介入記録１３０、および現在の資産検査１６０を含み、これらはすべて、ネットワーク１５０を介して相互接続される。分散コンピュータ処理環境は、現在の資産検査１６０の取得元となる資産１４０をさらに含む。

【0028】

コンピューティング・デバイス１１０は、ユーザ・インターフェース１１５と、画像再構築モジュール１１７および画像類似度モジュール１１９の機能を含むものとしてさらに図示されている故障予測プログラム２００とを含む。いくつかの実施形態では、コンピューティング・デバイス１１０は、ブレード・サーバ、ウェブ・サーバ、ラップトップ・コンピュータ、デスクトップ・コンピュータ、スタンドアロン・モバイル・コンピューティング・デバイス、スマートフォン、タブレット・コンピュータ、またはデータを受信、送信、および処理することが可能な別の電子デバイスもしくはコンピューティング・システムとすることができる。他の実施形態では、コンピューティング・デバイス１１０は、クラウド・コンピューティング環境でホストされ動作するアプリケーションおよびサービスと対話するコンピューティング・デバイスであってもよい。別の実施形態では、コンピューティング・デバイス１１０は、ネットブック・コンピュータ、携帯情報端末（ＰＤＡ：personal digital assistant）、またはネットワーク１５０を介して分散コンピュータ処理環境１００内の（図示されている、また図示されていない）他のデバイスからデータを受信すること、およびそれらと通信すること、ならびに故障予測プログラム２００の動作を実行することが可能な他のプログラマブル電子デバイスとすることができる。代替として、いくつかの実施形態では、コンピューティング・デバイス１１０は、遠隔で動作する故障予測プログラム２００に通信可能に接続されてもよい。コンピューティング・デバイス１１０は、図３でさらに詳細に図示された内部および外部のハードウェア・コンポーネントを含んでもよい。

【0029】

ユーザ・インターフェース１１５は、コンピューティング・デバイス１１０の特徴および機能にアクセスするためのインターフェースを提供する。本発明のいくつかの実施形態では、ユーザ・インターフェース１１５は、リスク阻止プログラム２００のオプションを動作および選択するためのアクセスを提供し、また、故障予測プログラム２００の機械学習モデル・コンポーネントの訓練のサポートを始動することをサポートしてもよい。ユーザ・インターフェース１１５はまた、コンピューティング・デバイス１１０の他のアプリケーション、特徴、および機能（図示せず）のアクセスおよび動作制御を提供してもよい。いくつかの実施形態では、ユーザ・インターフェース１１５は、コンピューティング・デバイス１１０に表示出力および入力機能を提供する。他の実施形態では、ユーザ・インターフェース１１５は、表示出力を提供し、コンピューティング・デバイス１１０上で動作する故障予測プログラム２００に関連するオプションおよび機能の選択を可能にする。

【0030】

ユーザ・インターフェース１１５は、警告、通知へのアクセスをサポートし、通信形式へのアクセスを提供する。一実施形態では、ユーザ・インターフェース１１５は、グラフィカル・ユーザ・インターフェース（ＧＵＩ）またはウェブ・ユーザ・インターフェース（ＷＵＩ）であってもよく、ユーザ入力を受信し、テキスト、文書、ウェブ・ブラウザ・ウィンドウ、ユーザ・オプション、アプリケーション・インターフェース、および動作のための指示を表示することができ、またプログラムがユーザに提示する情報（グラフィック、テキスト、およびサウンドなど）と、ユーザがプログラムを制御するために使用する制御シーケンスとを含むことができる。別の実施形態では、ユーザ・インターフェース１１５は、コンピューティング・デバイス１１０の特徴および機能へのそれぞれのインターフェースを提供するモバイル・アプリケーション・ソフトウェアも含んでもよい。ユーザ・インターフェース１１５は、コンピューティング・デバイス１１０のそれぞれのユーザが、入力を受け取ること、入力を見ること、入力を聞くこと、および入力に応答すること、アプリケーションにアクセスすること、オンライン会話交換のコンテンツを表示すること、ならびに利用可能な機能を実行することを可能にする。

【0031】

故障予測プログラム２００は、画像再構築モジュール１１７と、画像類似度モジュール１１９とを含む。故障予測プログラム２００は、資産または資産のコンポーネントの画像ペアの捕捉を含む資産の検査から資産の故障状態までの持続時間を予測する。故障予測プログラム２００は、検査から捕捉された資産の画像ペアのセグメント化された領域の類似度係数を、検査の履歴画像ペアと資産の故障状態の画像ペアとを含む時間の経過とともに捕捉された資産の複数の履歴画像ペアの類似度係数と相関させることによって、資産の故障状態までの時間を決定する。

【0032】

故障予測プログラム２００は、資産および資産のコンポーネントのより細粒度の表現を取得するために、画像ペアの各画像を画素の「ｎ×ｎ」領域にセグメント化する。画像ペアは、人間の目に見える光による通常画像と、人間の目には見えないが資産および資産コンポーネントの熱レベルを示す光の赤外線画像とを含む。故障予測プログラム２００は、画像ペアのそれぞれのセグメント化された領域と、正常状態ステータスにある資産を描写する画像ペアの対応する画像とに類似度関数を適用することによって、類似度係数を決定する。故障予測プログラム２００は、画像再構築モジュール１１７を含み、画像再構築モジュール１１７において、モデルは、履歴検査またはリアルタイム検査からの画像ペア入力を受信し、受信した入力を、正常状態ステータスを有する資産を反映する状態へと再構築または再構成するように訓練される。故障予測プログラム２００は、受信した画像ペアおよび再構成された画像ペアのセグメント化された領域間の類似度係数を決定し、複数の履歴画像ペアおよびリアルタイム検査のそれぞれについて類似度係数の決定を実行する。

【0033】

故障予測プログラム２００は、画像ペアの受信が画像ペアの捕捉のタイムスタンプを含むリアルタイム検査から資産の故障状態までの時間を計算する第２のモデルを含む。赤外線画像および通常画像からなる複数の履歴画像ペア、ならびに履歴画像ペアのそれぞれに関連付けられたタイムスタンプおよび情報は、第２のモデルのための訓練データを提供する。第２のモデルの訓練は、検査のタイミングおよび条件ならびに検査の画像ペア領域に関連付けられた類似度係数と、複数の履歴画像ペアおよび関連するタイミングおよび条件との相関関係を学習することを可能にする。

【0034】

画像再構築モジュール１１７は、正常状態資産画像ペア１２０を訓練データとして受信し、受信した画像の再構築または再構成を実行して、正常状態ステータスを有するものとして資産を描写またはほぼ描写した画像データをもたらす。いくつかの実施形態では、画像再構築モジュール１１７は、正常状態ステータスにある資産１４０を表す選択された画像の入力によって訓練を受ける自己符号化器畳み込みニューラル・ネットワーク・モデルを含む。いくつかの実施形態では、画像再構築モジュール１１７の訓練は、通常画像と赤外線画像との両方に対する画像再構成の実行を可能にする。他の実施形態では、画像再構築モジュール１１７は、通常画像用の別個の訓練されたニューラル・ネットワークと、赤外線画像用の別個の訓練されたニューラル・ネットワークとを含む。画像再構築モジュール１１７は、適切に訓練されると、履歴介入記録１３０から資産１４０の複数の履歴画像ペアの画像ペアを受信し、それぞれの画像ペア（またはそれぞれの履歴画像ペアのコピー）を再構成して、それぞれの履歴画像ペアの通常のおよび赤外線の基準画像を生成する。それぞれの履歴画像ペアの類似度係数を生成することは、再構成された基準画像と、資産１４０の状態を反映する履歴画像ペアとのの画像セグメントの特徴の間の類似度距離を比較することを含む。画像再構築モジュール１１７は、現在の資産検査１６０の画像を受信して、進行中の検査の類似度係数決定のための類似度係数ベースラインを生成し、故障予測プログラム２００によって実行される資産の故障状態までの時間の予測を可能にする。

【0035】

画像類似度モジュール１１９は、画像ペアの一方の画像のセグメント化された領域と、別の画像ペアの同じ画像タイプの対応するセグメント化された領域との間の類似度係数を計算する。いくつかの実施形態では、類似度係数は、第１の画像のある領域および第２の画像の対応する領域の画素から計算されたユークリッド距離に対応する。例えば、履歴画像ペアの第１の赤外線画像のセグメント化により、画像ペアの各画像が１６個の領域に分割され、第１の赤外線画像領域のデジタル・コピーが、故障予測プログラム２００の第１のモデルとして実行する画像再構築モジュール１１７に入力される。画像再構築モジュール１１７は、入力画像領域を資産の正常状態ステータスを近似的に描写するように再構成する。画像類似度モジュール１１９は、履歴画像ペアの第１の赤外線画像の対応する領域の画素と、正常状態資産を描写する再構成された画像領域の画素との間のユークリッド距離を決定する。計算された領域間の距離が大きいほど、類似度が低く、資産があまり正常でない状態にある可能性が高くなる。

【0036】

正常状態資産画像ペア１２０は、劣化、摩耗、消耗、損傷、または新品に近い動作可能な資産の画像からの他の際立った特性の兆候がない状態を含む、資産の選択された赤外線画像および通常画像のソースを提供する。画像再構築モジュール１１７は、正常状態資産画像ペア１２０から画像ペアを訓練データとして受信し、訓練データは、画像再構築モジュール１１７が、受信した画像を、正常状態ステータスを有する資産の赤外線画像および通常画像へと再構成することを可能にする。

【0037】

履歴介入記録１３０は、資産１４０に対して実行された検査、保守、修理、および交換の活動のコレクションを含む。いくつかの実施形態では、履歴介入記録１３０は、画像ペアと、画像が捕捉されたときとも称される、画像が撮られたときのタイムスタンプと、介入に関連するデータとを含む。いくつかの実施形態では、介入は、デジタル化された赤外線画像、資産の通常画像、ならびに介入の活動、介入の期間、および介入に関連するコストを含む、デジタル形式で記録された作業指示または他の文書に関連付けられている。いくつかの実施形態では、資産の故障状態により、修理、交換、保守、または他の是正措置が介入することになる。他の実施形態では、修理介入後および資産の故障状態に至る前の資産の検査は、中間画像ペアおよびタイムスタンプ情報を作成する。

【0038】

現在の資産検査１６０は、資産の赤外線画像および通常画像を含む画像ペアの作成を含むリアルタイム介入活動を表し、画像ペア捕捉のタイムスタンプおよび検査に関連する他の状態情報は、現在の資産検査の記録の中に含まれる。いくつかの実施形態では、故障予測プログラム２００は、現在の資産検査１６０によって作成された画像ペアを処理して、現在の検査画像ペアのタイムスタンプの時間枠から資産の故障状態までの時間を予測する。いくつかの実施形態では、遠隔誘導ドローンが、現在の資産検査１６０のリアルタイム資産検査を実行し、これにより人間がリスク状態にさらされることを回避する。他の実施形態では、指定された間隔で資産の赤外線画像および通常画像を捕捉するように配置された１つまたは１組のカメラが、現在の資産検査１６０のリアルタイム検査画像ペアを提供する。

【0039】

資産１４０は、肯定的な結果が依存する動作機能を実行する。本発明の実施形態では、資産１４０の動作により資産１４０の劣化または消耗が生じ、資産１４０の動作の継続のために介入が必要となる。例示的な実施形態では、資産１４０は、モータ、タービン、車両コンポーネント、発電システム、または荷物取扱設備のコンポーネントであり得るが、これらに限定されない。

【0040】

図２は、本発明の実施形態による、図１の分散コンピュータ処理環境において動作する、コンポーネントとして画像再構築モジュール１１７と画像類似度モジュール１１９とを含む故障予測プログラム２００の動作ステップを示すフローチャートである。故障予測プログラム２００は、資産の正常状態ステータス画像ペアの選択結果を受信する。正常状態画像ペアは、資産の通常画像と赤外線画像とを含む。

【0041】

故障予測プログラム２００は、受信した正常状態画像ペアおよび複数の履歴画像ペアを領域にセグメント化する（ステップ２１０）。受信された正常状態画像ペアは、新品に近いタイプの資産状態を反映している。資産の故障状態のインスタンス間で実行された検査と資産を修理または交換するための介入中に撮られた画像とを含む履歴介入に関連付けられた複数の履歴画像ペアの捕捉は、ほぼ同時に行われる。画像ペアは、資産の通常の可視光画像および赤外線画像を含む。資産の履歴画像ペアは、画像捕捉のタイムスタンプと特定の介入活動に関連する情報とを含む。

【0042】

故障予測プログラム２００は、画像ペアを、「ｎ×ｎ」フォーマットによって指定される領域の正方行列にセグメント化し、ここで、「ｎ」は、ゼロはない正の整数である。画像のセグメント化は、資産および資産コンポーネントのより細粒度の表現を可能にする。画像の各領域は、ある画素の量を含み、画像の領域と第１のモデルの画像の再構成バージョン（すなわち、正常状態資産画像）の対応する領域との間の類似度関数を実行することによって類似度係数を計算するための基礎として機能する。

【0043】

故障予測プログラム２００は、正常状態ステータスを有する資産の画像に似せるように画像入力を再構成するように第１のモデルを訓練することを含む（ステップ２２０）。故障予測プログラム２００は画像再構築モジュール１１７を含み、画像再構築モジュール１１７は、資産の画像の入力を受信し、資産の正常状態画像の選択の受信を含む訓練に基づいて資産の正常状態画像に似せるように画像を再構成する。

【0044】

したがって、画像再構築モジュール１１７の訓練は、資産の正常状態ステータスを描写する画像を訓練データとして使用することのみを含む。いくつかの実施形態では、故障予測プログラム２００の画像再構築モジュール１１７の再構成機能は、正常状態にある資産の基準ベースを作成し、基準ベースは、履歴画像ペアと資産の検査からのリアルタイム画像との類似度係数を決定するための基準点を提供する。正常状態資産画像の１つのインスタンスを常に再利用する代わりに資産の特定の画像ペアの画像の再構成を使用することは、類似度係数の一貫性および精度を向上させ、画像が捕捉されるときに存在する照明、角度、および他の条件の差異に起因するさらなる画素ノイズを防止する。

【0045】

故障予測プログラム２００は、それぞれの履歴画像ペアと、対応する再構成された履歴画像ペアとの間の類似度係数を生成する（ステップ２３０）。故障予測プログラム２００は、複数の履歴画像ペアのうちの画像ペアの各画像のセグメント化された領域に類似度関数を適用する。類似度関数は、それぞれの履歴画像ペアの各画像のセグメント化された領域と、訓練済みのモデルが実行するものと近い正常状態ステータスを有する資産の画像に似せるように画像を再構成するための第１のモデルへ送出された履歴画像ペアの各画像のセグメント化された領域との間の類似度メトリックを決定する。いくつかの実施形態では、画像の対応する領域間のユークリッド距離を決定することが、類似度係数メトリックを提供する。他の実施形態では、コサイン類似度関数などの他の類似度関数が、類似度係数メトリックを提供する。本発明の実施形態は、画像の領域間の類似度係数を決定する際に適用される類似度関数のタイプまたは方式によって限定されない。本発明の実施形態では、故障予測プログラム２００は、画像類似度モジュール１１９を通じて赤外線画像および通常画像の類似度係数を提供する。

【0046】

故障予測プログラム２００は、資産の故障状態までの持続時間を予測するように第２のモデルを訓練する（ステップ２４０）。故障予測プログラム２００は、資産の履歴介入のそれぞれの画像ペアに関連付けられたタイムスタンプおよび他の情報を利用する。複数の履歴画像ペアの類似度係数、および、それぞれの履歴画像ペアに関連付けられたタイムスタンプや介入情報は、履歴画像ペア捕捉のタイムスタンプと資産の次に続く故障状態のタイムスタンプとの間の類似度係数および持続時間を相関させるための第２のモデルの訓練基礎を提供する。資産の故障状態と故障間の資産の検査とを含む複数の履歴画像ペア全体で第２のモデルを訓練することによって、第２のモデルは、赤外線画像および通常画像の類似度係数によって表される状態と、資産の故障状態までの予想される時間との間の相関関係を形成する。

【0047】

いくつかの実施形態では、介入に関する作業指示と紐付けて記録されるなどした、資産の履歴介入に関連付けられた追加情報が、資産の予測された故障状態の前に実行される介入に関連する期間およびコストの予測を提供する。

【0048】

故障予測プログラム２００は、資産の検査のリアルタイム画像ペアを受信し、受信したリアルタイム画像ペアをセグメント化する（ステップ２５０）。様々な実施形態では、資産所有者は、資産の動作中に資産の検査をスケジュールする。検査は、資産の赤外線画像および通常画像の捕捉を含み、画像ペア捕捉のタイムスタンプを含む、検査に関連付けられたリアルタイム画像ペアが形成される。故障予測プログラム２００は、リアルタイム画像ペアを受信し、続いて、画像ペアを処理して、資産のリアルタイム検査からの画像ペア捕捉の時点から資産の故障状態までの時間の予測を可能にする。故障予測プログラム２００は、画像ペアを領域にセグメント化する。

【0049】

故障予測プログラム２００は、リアルタイム画像ペアと第１のモデルからの画像ペアの再構成したものとの間のリアルタイム類似度係数を生成する（ステップ２６０）。故障予測プログラム２００は、リアルタイム画像ペアの画像に類似度関数を適用して、セグメント化された領域の類似度係数を生成する。故障予測プログラム２００は、赤外線画像および通常画像をデジタル化されたファイルとして第１のモデルである画像再構築モジュール１１７へ送出して、リアルタイム検査からの赤外線画像および通常画像を、資産の正常状態ステータスに対応する画像へと再構成する。故障予測プログラム２００は、正常状態ステータスを有する資産に似ている再構成された画像領域と、検査画像ペアのリアルタイムの赤外線画像および通常画像の領域との間の類似度係数を生成する。

【0050】

故障予測プログラム２００は、資産の故障状態までの予測時間を決定し、予測時間を通知内で提示する（ステップ２７０）。故障予測プログラム２００は、生成された類似度係数を訓練済みの第２のモデルに提供し、第２のモデルは、リアルタイム画像ペアの領域の類似度係数およびタイムスタンプを、第２のモデルを訓練するために使用された履歴画像ペア領域の類似度係数およびタイムスタンプと相関させる。故障予測プログラム２００は、リアルタイム検査画像ペアの捕捉時から資産の予想される故障状態までの持続時間の予測を決定する。本発明のいくつかの実施形態では、故障予測プログラム２００は、（例えば、ディスプレイに）提示される通知内に資産の故障状態までの予測時間を含む。いくつかの実施形態では、故障予測プログラム２００は、ＳＭＳメッセージ、電子メール、資産に関連付けられたモニタ上のポップアップ表示、または他の通知配信媒体などの所定の配信モードによって、１人または複数の指定された受信者に通知を提示する。

【0051】

資産の故障状態までの予測時間を決定し、その予測時間を通知内で提示すると、故障予測プログラム２００は終了する。本発明の態様をさらに明確にするために、本発明の実施形態を説明する使用例を提供する。

【0052】

一実施形態では、検査は、自律型エレベータに対して実行され、可視光画像および赤外線画像を含む画像のペアを作成する。本発明の実施形態は、人間による繰り返しの検査についての繰り返しを不要とし、したがって、過剰なサービス停止時間を抑制する。エレベータ・シャフト内での人間による検査が削減されると、取り付けられたカメラ・システムから画像化が実行されるか、または安全な場所もしくは遠隔地からの資産画像のカメラ捕捉が実行され得るので、対面検査（in-person inspection）に関連する人的リスクおよび事故も削減される。資産の故障状態までの時間の予測は、検査を削減するか、または不要とし、保守介入の厳密なスケジューリングによって動作時間を最大化する。

【0053】

本発明の実施形態は、自律型エスカレータおよび動く歩道の検査に直接的な利益を提供する。資産の内部に画像捕捉センサ／カメラを設置することにより、資産の故障状態までの時間の正確な予測が可能になり、保守介入活動の効率的なスケジューリングが実現する。その結果、運用時間およびコストが節約され、人間の相互作用のためのより安全な状態が促進される。

【0054】

電車、地下鉄、バス、トラックは、重要な資産コンポーネントの画像を捕捉する機会として、スケジュールされた停車を利用し、予測される故障状態になる前に保守活動を正確にスケジュールすることを可能にすることができる。スケジュールされた保守は、定期的な間隔でも移動距離でもなく、証拠に基づいたデータおよび機械学習に基づいており、これは、資産または資産コンポーネントあるいはその両方の故障状態の発生を防止しながら、車両内での動作効率の向上を実現する。

【0055】

図３は、本発明の一実施形態による、図２の画像再構築モジュールと画像類似度モジュールとを含む故障予測プログラムを動作可能に実行するように構成されたコンピューティング・デバイスを含むコンピューティング・システムのコンポーネントのブロック図を示す。

【0056】

コンピューティング・デバイス３０５は、本発明の例示的な実施形態によるコンピューティング・デバイス１１０（図１）のコンポーネントと同様のコンポーネントおよび機能的能力を含む。図３は一実装形態の例示を提供しているにすぎず、異なる実施形態が実装され得る環境に関していかなる制限も示唆するものではないことを理解されたい。図示された環境に対して多くの修正が加えられてもよい。

【0057】

コンピューティング・デバイス３０５は、通信ファブリック３０２を含み、通信ファブリック３０２は、コンピュータ・プロセッサ３０４と、メモリ３０６と、永続ストレージ３０８と、通信ユニット３１０と、入力／出力（Ｉ／Ｏ）インターフェース３１２との間の通信を提供する。通信ファブリック３０２は、プロセッサ（マイクロプロセッサ、通信およびネットワーク・プロセッサなど）と、システム・メモリと、周辺デバイスと、システム内の任意の他のハードウェア・コンポーネントとの間でデータまたは制御情報あるいはその両方を渡すように設計された任意のアーキテクチャを用いて実装されてもよい。例えば、通信ファブリック３０２は、１つまたは複数のバスを用いて実装され得る。

【0058】

メモリ３０６、キャッシュ・メモリ３１６、および永続ストレージ３０８は、コンピュータ可読記憶媒体である。この実施形態では、メモリ３０６はランダム・アクセス・メモリ（ＲＡＭ）３１４を含む。一般に、メモリ３０６は、任意の好適な揮発性または不揮発性のコンピュータ可読記憶媒体を含むことができる。

【0059】

一実施形態では、故障予測プログラム２００は、メモリ３０６の１つまたは複数のメモリを介してそれぞれのコンピュータ・プロセッサ３０４のうちの１つまたは複数による実行のために、永続ストレージ３０８に記憶される。この実施形態では、永続ストレージ３０８は磁気ハード・ディスク・ドライブを含む。磁気ハード・ディスク・ドライブの代替として、または磁気ハード・ディスク・ドライブに加えて、永続ストレージ３０８は、ソリッド・ステート・ハード・ドライブ、半導体記憶デバイス、読出し専用メモリ（ＲＯＭ）、消去可能プログラマブル読出し専用メモリ（ＥＰＲＯＭ）、フラッシュ・メモリ、またはプログラム命令もしくはデジタル情報を記憶することが可能な任意の他のコンピュータ可読記憶媒体を含むことができる。

【0060】

永続ストレージ３０８によって使用される媒体は、リムーバブルであってもよい。例えば、永続ストレージ３０８にリムーバブル・ハード・ドライブが使用されてもよい。他の例は、永続ストレージ３０８の一部でもある別のコンピュータ可読記憶媒体上に転送するためにドライブに挿入される、光ディスクおよび磁気ディスク、サム・ドライブ、ならびにスマートカードを含む。

【0061】

通信ユニット３１０は、これらの例において、分散コンピュータ処理環境１００のリソースを含む他のデータ処理システムまたはデータ処理デバイスとの通信を提供する。これらの例において、通信ユニット３１０は、１つまたは複数のネットワーク・インターフェース・カードを含む。通信ユニット３１０は、物理通信リンクとワイヤレス通信リンクのいずれかまたは両方を使用することによって通信を提供してもよい。故障予測プログラム２００は、通信ユニット３１０を通じて永続ストレージ３０８にダウンロードされてもよい。

【0062】

Ｉ／Ｏインターフェース３１２は、コンピューティング・システム３００に接続され得る他のデバイスとのデータの入力および出力を可能にする。例えば、Ｉ／Ｏインターフェース３１２は、キーボード、キーパッド、タッチ・スクリーン、または何らかの他の好適な入力デバイスあるいはその組合せなどの外部デバイス３１８への接続を提供してもよい。外部デバイス３１８は、例えばサム・ドライブ、ポータブル光ディスクまたは磁気ディスク、およびメモリ・カードなどのポータブル・コンピュータ可読記憶媒体を含むこともできる。本発明の実施形態を実践するために使用されるソフトウェアおよびデータ、例えば、故障予測プログラム２００は、そのようなポータブル・コンピュータ可読記憶媒体に記憶され得、Ｉ／Ｏインターフェース３１２を介して永続ストレージ３０８にロードされ得る。Ｉ／Ｏインターフェース３１２は、ディスプレイ３２０にも接続する。

【0063】

ディスプレイ３２０は、ユーザにデータを表示するための機構を提供し、例えば、コンピュータ・モニタであってもよい。

【0064】

前述の説明は本発明の実施形態の一例であり、実施形態の新規な態様から逸脱することなく実装形態において変形および置換を行うことができる。

【0065】

本明細書に記載のプログラムは、本発明の特定の実施形態においてそのプログラムが実装されているアプリケーションに基づいて識別される。しかし、本明細書におけるいずれの特定のプログラム命名法も単に便宜上使用されているにすぎず、したがって本発明はそのような命名法によって識別される、または示唆される、あるいはその両方である任意の特定のアプリケーションでの使用のみに限定されるべきではないことを理解されたい。

【0066】

本発明は、あらゆる可能な技術的詳細レベルの統合におけるシステム、方法、またはコンピュータ・プログラム製品あるいはその組合せであってもよい。コンピュータ・プログラム製品は、プロセッサに本発明の態様を実施させるためのコンピュータ可読プログラム命令を有するコンピュータ可読記憶媒体（または複数のコンピュータ可読記憶媒体）を含んでもよい。

【0067】

コンピュータ可読記憶媒体は、命令実行デバイスが使用するための命令を保持および記憶することができる有形デバイスとすることができる。コンピュータ可読記憶媒体は、例えば、電子記憶デバイス、磁気記憶デバイス、光学記憶デバイス、電磁気記憶デバイス、半導体記憶デバイス、または上記の任意の好適な組合せとすることができるが、これらに限定されない。コンピュータ可読記憶媒体のより具体的な例の非網羅的なリストには以下のもの、すなわち、ポータブル・コンピュータ・ディスケット、ハード・ディスク、ランダム・アクセス・メモリ（ＲＡＭ）、読出し専用メモリ（ＲＯＭ）、消去可能プログラマブル読出し専用メモリ（ＥＰＲＯＭまたはフラッシュ・メモリ）、スタティック・ランダム・アクセス・メモリ（ＳＲＡＭ）、ポータブル・コンパクト・ディスク読出し専用メモリ（ＣＤ－ＲＯＭ）、デジタル・バーサタイル・ディスク（ＤＶＤ）、メモリ・スティック、フロッピ（Ｒ）・ディスク、パンチカードまたは命令が記録された溝内の隆起構造体などの機械的に符号化されたデバイス、および上記の任意の好適な組合せが含まれる。本明細書で使用されるコンピュータ可読記憶媒体は、電波もしくは他の自由に伝播する電磁波、導波路もしくは他の伝送媒体を介して伝播する電磁波（例えば、光ファイバ・ケーブルを通る光パルス）、または電線を介して送信される電気信号などの一過性の信号自体であると解釈されるべきではない。

【0068】

本明細書に記載のコンピュータ可読プログラム命令は、コンピュータ可読記憶媒体からそれぞれのコンピューティング／処理デバイスに、または、ネットワーク、例えばインターネット、ローカル・エリア・ネットワーク、ワイド・エリア・ネットワーク、またはワイヤレス・ネットワークあるいはその組合せを介して外部コンピュータまたは外部記憶デバイスにダウンロードされ得る。ネットワークは、銅伝送ケーブル、光伝送ファイバ、ワイヤレス伝送、ルータ、ファイアウォール、スイッチ、ゲートウェイ・コンピュータ、またはエッジ・サーバあるいはその組合せを含んでもよい。各コンピューティング／処理デバイスにおけるネットワーク・アダプタ・カードまたはネットワーク・インターフェースは、ネットワークからコンピュータ可読プログラム命令を受信し、そのコンピュータ可読プログラム命令を、それぞれのコンピューティング／処理デバイス内のコンピュータ可読記憶媒体に記憶するために転送する。

【0069】

本発明の動作を実行するためのコンピュータ可読プログラム命令は、アセンブラ命令、インストラクション・セット・アーキテクチャ（ＩＳＡ）命令、機械命令、機械依存命令、マイクロコード、ファームウェア命令、状態設定データ、集積回路用の構成データ、または、Ｓｍａｌｌｔａｌｋ（登録商標）、Ｃ＋＋などのオブジェクト指向プログラミング言語および「Ｃ」プログラミング言語もしくは同様のプログラミング言語などの手続き型プログラミング言語を含む１つまたは複数のプログラミング言語の任意の組合せで記述されたソース・コードもしくはオブジェクト・コードのいずれかであってもよい。コンピュータ可読プログラム命令は、スタンドアロン・ソフトウェア・パッケージとして全体がユーザのコンピュータ上で、一部がユーザのコンピュータ上で、一部がユーザのコンピュータ上かつ一部がリモート・コンピュータ上で、または全体がリモート・コンピュータ上もしくはサーバ上で実行されてもよい。後者のシナリオでは、リモート・コンピュータは、ローカル・エリア・ネットワーク（ＬＡＮ）もしくはワイド・エリア・ネットワーク（ＷＡＮ）を含む任意のタイプのネットワークを介してユーザのコンピュータに接続されてもよく、または（例えば、インターネット・サービス・プロバイダを使用してインターネットを介して）外部コンピュータに対して接続されてもよい。いくつかの実施形態では、本発明の態様を実行するために、例えば、プログラマブル・ロジック回路、フィールド・プログラマブル・ゲート・アレイ（ＦＰＧＡ）、またはプログラマブル・ロジック・アレイ（ＰＬＡ）を含む電子回路が、コンピュータ可読プログラム命令の状態情報を利用して電子回路をパーソナライズすることによって、コンピュータ可読プログラム命令を実行してもよい。

【0070】

本明細書では、本発明の実施形態による方法、装置（システム）、およびコンピュータ・プログラム製品のフローチャート図またはブロック図あるいはその両方を参照しながら、本発明の態様について説明している。フローチャート図またはブロック図あるいはその両方の各ブロック、およびフローチャート図またはブロック図あるいはその両方におけるブロックの組合せがコンピュータ可読プログラム命令によって実施され得ることが理解されよう。

【0071】

これらのコンピュータ可読プログラム命令は、コンピュータまたは他のプログラマブル・データ処理装置のプロセッサを介して実行される命令が、フローチャートまたはブロック図あるいはその両方の１つまたは複数のブロックで指定された機能／作用を実施するための手段を作り出すように、コンピュータ、または他のプログラマブル・データ処理装置のプロセッサに提供されて、マシンを作り出すものであってもよい。これらのコンピュータ可読プログラム命令はまた、命令が記憶されたコンピュータ可読記憶媒体が、フローチャートまたはブロック図あるいはその両方の１つまたは複数のブロックで指定された機能／作用の態様を実施する命令を含む製造品を含むように、コンピュータ可読媒体に記憶され、コンピュータ、プログラマブル・データ処理装置、または他のデバイスあるいはその組合せに対して特定の様式で機能するように指示できるものであってもよい。

【0072】

コンピュータ可読プログラム命令はまた、コンピュータ、他のプログラマブル装置、または他のデバイスで実行される命令が、フローチャートまたはブロック図あるいはその両方の１つまたは複数のブロックで指定された機能／作用を実施するように、コンピュータ実施プロセスを作り出すべくコンピュータ、他のプログラマブル・データ処理装置、または他のデバイスにロードされて、コンピュータ、他のプログラマブル装置、または他のデバイス上で一連の動作ステップを実行させるものであってもよい。

【0073】

図中のフローチャートおよびブロック図は、本発明の様々な実施形態によるシステム、方法、およびコンピュータ・プログラム製品の可能な実装形態のアーキテクチャ、機能性、ならびに動作を示す。これに関して、フローチャートまたはブロック図における各ブロックは、指定された論理機能を実装するための１つまたは複数の実行可能命令を含む、命令のモジュール、セグメント、または一部を表すことがある。いくつかの代替の実装形態では、ブロックに記載された機能は、図に記載された順序とは異なる順序で行われてもよい。例えば、連続して示されている２つのブロックは、実際には、関与する機能性に応じて、１つのステップとして達成されるか、同時に、実質的に同時に、部分的にもしくは全体的に、時間的に重複する様式で実行されてもよく、または場合によっては、それらのブロックが逆の順序で実行されてもよい。ブロック図またはフローチャート図あるいはその両方の各ブロック、およびブロック図またはフローチャート図あるいはその両方におけるブロックの組合せは、指定された機能または作用を実行するか、あるいは専用ハードウェアとコンピュータ命令との組合せを遂行する専用ハードウェア・ベースのシステムによって実装され得ることにも留意されたい。

【図1】

【図2】

【図3】

【手続補正書】

【提出日】2023-12-04

【手続補正1】

【補正対象書類名】特許請求の範囲

【補正対象項目名】全文

【補正方法】変更

【補正の内容】

【特許請求の範囲】

【請求項1】

資産の故障状態までの時間を予測するためのコンピュータ処理による方法であって、
１つまたは複数のプロセッサによって、前記資産の故障状態の画像ペアを含む資産の複数の履歴画像ペアを受信することであって、それぞれの画像ペアが赤外線画像および対応する通常画像を含む、前記複数の履歴画像ペアを受信することと、
前記１つまたは複数のプロセッサによって、前記資産の画像ペアのそれぞれの画像を前記資産の正常状態ステータスへと再構成するように訓練された第１のモデルを受信することと、
前記１つまたは複数のプロセッサによって、前記複数の履歴画像ペアのそれぞれについて、履歴画像ペアと前記第１のモデルによって前記履歴画像ペアを再構成したものとの間の類似度係数を生成することであって、前記履歴画像ペアが前記履歴画像ペアの捕捉のタイムスタンプを含む、前記類似度係数を生成することと、
前記１つまたは複数のプロセッサによって、前記類似度係数および前記複数の履歴画像ペアの捕捉のタイムスタンプにそれぞれ基づいて、前記資産の故障状態が発生するまでの持続時間を予測するように訓練された第２のモデルを受信することと、
前記１つまたは複数のプロセッサによって、前記資産のリアルタイム画像ペアを受信したことに応答して、前記リアルタイム画像ペアと前記第１のモデルによって再構成された前記リアルタイム画像ペアとの間のリアルタイム類似度係数を生成することであって、前記リアルタイム画像ペアが前記リアルタイム画像ペアの捕捉のタイムスタンプを含む、前記リアルタイム類似度係数を生成することと、
前記１つまたは複数のプロセッサによって、前記リアルタイム画像ペアの前記類似度係数および前記リアルタイム画像ペアの前記捕捉の前記タイムスタンプと、対応する類似度係数を有する前記複数の履歴画像ペアのうちの履歴画像ペア、および、前記リアルタイム画像ペアの前記捕捉の前記タイムスタンプと、前記対応する類似度係数を有する前記履歴画像ペアに続く前記資産の前記故障状態のタイムスタンプとから決定された時間デルタとの間の相関に基づいて、前記資産の前記故障状態までの予測時間を計算することと
を含む、方法。

【請求項2】

前記第１のモデルが、前記資産の赤外線画像および通常画像を入力として受信する１組の自己符号化畳み込みニューラル・ネットワークである、請求項１に記載の方法。

【請求項3】

前記１つまたは複数のプロセッサによって、前記資産の画像ペアのサンプリング、前記複数の履歴画像ペア、および前記リアルタイム画像ペアを領域にセグメント化することと、
前記１つまたは複数のプロセッサによって、前記資産の画像ペアの前記サンプリング、前記複数の履歴画像ペア、および前記リアルタイム画像ペアの前記領域について類似度係数を生成することと
をさらに含む、請求項１に記載の方法。

【請求項4】

前記領域が、領域の正方行列にセグメント化される、請求項３に記載の方法。

【請求項5】

前記類似度係数が、前記画像ペアのそれぞれの画像のセグメント化された領域間のユークリッド距離の多次元ベクトルを含む、請求項１に記載の方法。

【請求項6】

前記第１のモデルおよび前記第２のモデルが、
１つまたは複数のプロセッサによって、資産の前記複数の履歴画像ペアから、前記資産の新たに交換された状態から故障状態までの前記資産のある範囲の状態を含む、正常状態ステータスを有する前記資産の画像ペアのサンプリングを受信することと、
前記１つまたは複数のプロセッサによって、前記正常状態ステータスを有する前記資産の画像ペアの前記サンプリングからの訓練データに基づいて画像ペアのそれぞれの画像を再構成するように前記第１のモデルを訓練することと、
前記１つまたは複数のプロセッサによって、前記資産の前記故障状態までの持続時間を予測するための第２のモデルを生成することと、
前記１つまたは複数のプロセッサによって、前記資産の前記複数の履歴画像ペアの前記類似度係数および前記複数の履歴画像ペアの捕捉のタイムスタンプにそれぞれ基づいて、前記第２のモデルを訓練することと
をさらに含む、請求項１に記載の方法。

【請求項7】

受信される前記資産の前記複数の履歴画像ペアが、前記資産の前記正常状態ステータスと前記故障状態との間のある範囲の状態を含む、請求項１に記載の方法。

【請求項8】

資産の故障状態までの時間を予測するためのコンピュータ・プログラムであって、コンピュータに、
前記資産の故障状態の画像ペアを含む資産の複数の履歴画像ペアを受信することであって、それぞれの画像ペアが赤外線画像および対応する通常画像を含む、前記受信することと、
前記資産の画像ペアのそれぞれの画像を前記資産の正常状態ステータスへと再構成するように訓練された第１のモデルを受信することと、
前記複数の履歴画像ペアのそれぞれについて、履歴画像ペアと前記第１のモデルによって前記履歴画像ペアを再構成したものとの間の類似度係数を生成することであって、前記履歴画像ペアが前記履歴画像ペアの捕捉のタイムスタンプを含む、前記生成することと、
前記類似度係数および前記複数の履歴画像ペアの捕捉のタイムスタンプにそれぞれ基づいて、前記資産の故障状態が発生するまでの持続時間を予測するように訓練された第２のモデルを受信することと、
前記資産のリアルタイム画像ペアを受信したことに応答して、前記リアルタイム画像ペアと前記第１のモデルによって再構成された前記リアルタイム画像ペアとの間のリアルタイム類似度係数を生成することであって、前記リアルタイム画像ペアが前記リアルタイム画像ペアの捕捉のタイムスタンプを含む、前記生成することと、
前記リアルタイム画像ペアの前記類似度係数および前記リアルタイム画像ペアの前記捕捉の前記タイムスタンプと、対応する類似度係数を有する前記複数の履歴画像ペアのうちの履歴画像ペア、および、前記リアルタイム画像ペアの前記捕捉の前記タイムスタンプと、前記対応する類似度係数を有する前記履歴画像ペアに続く前記資産の前記故障状態のタイムスタンプとから決定された時間デルタとの間の相関に基づいて、前記資産の前記故障状態までの予測時間を計算することと
を実行させるためのコンピュータ・プログラム。

【請求項9】

前記第１のモデルに、
資産の前記複数の履歴画像ペアから、前記資産の新たに交換された状態から故障状態までの前記資産のある範囲の状態を含む、正常状態ステータスを有する前記資産の画像ペアのサンプリングを受信することと、
前記正常状態ステータスを有する前記資産の画像ペアの前記サンプリングからの訓練データに基づいて画像ペアのそれぞれの画像を再構成するように前記第１のモデルを訓練することと、
前記資産の前記故障状態までの持続時間を予測するための第２のモデルを生成することと、
前記資産の前記複数の履歴画像ペアの前記類似度係数および前記複数の履歴画像ペアの捕捉のタイムスタンプにそれぞれ基づいて、前記第２のモデルを訓練することと
を実行させる、請求項８に記載のコンピュータ・プログラム。

【請求項10】

資産の故障状態までの時間を予測するためのコンピュータ・システムであって、
１つまたは複数のコンピュータ・プロセッサ、
１つまたは複数のコンピュータ可読記憶媒体、および前記１つまたは複数のコンピュータ可読記憶媒体に集合的に記憶されたプログラム命令を含み、前記プログラム命令が、
前記資産の故障状態の画像ペアを含む資産の複数の履歴画像ペアを受信するためのプログラム命令であって、それぞれの画像ペアが赤外線画像および対応する通常画像を含む、前記プログラム命令と、
前記資産の画像ペアのそれぞれの画像を前記資産の正常状態ステータスへと再構成するように訓練された第１のモデルを受信するためのプログラム命令と、
前記資産の前記複数の履歴画像ペアのそれぞれについて、履歴画像ペアと前記第１のモデルによって前記履歴画像ペアを再構成したものとの間の類似度係数を生成するためのプログラム命令であって、前記履歴画像ペアが前記履歴画像ペアの捕捉のタイムスタンプを含む、前記プログラム命令と、
前記類似度係数および前記複数の履歴画像ペアの捕捉のタイムスタンプにそれぞれ基づいて、前記資産の故障状態が発生するまでの持続時間を予測するように訓練された第２のモデルを受信するためのプログラム命令と、
前記資産のリアルタイム画像ペアを受信したことに応答して、前記リアルタイム画像ペアと前記第１のモデルによって再構成された前記リアルタイム画像ペアとの間のリアルタイム類似度係数を生成するためのプログラム命令であって、前記リアルタイム画像ペアが前記リアルタイム画像ペアの前記捕捉のタイムスタンプを含む、前記プログラム命令と、
前記リアルタイム画像ペアの前記類似度係数および前記リアルタイム画像ペアの前記捕捉の前記タイムスタンプと、対応する類似度係数を有する前記資産の前記複数の履歴画像ペアのうちの履歴画像ペア、および、前記リアルタイム画像ペアの前記捕捉の前記タイムスタンプと、前記対応する類似度係数を有する前記履歴画像ペアに続く前記資産の前記故障状態のタイムスタンプとから決定された時間デルタとの間の相関に基づいて、前記資産の前記故障状態までの予測時間を計算するためのプログラム命令と
を含む、コンピュータ・システム。

【請求項11】

前記資産の画像ペアのサンプリング、前記複数の履歴画像ペア、および前記リアルタイム画像ペアを領域にセグメント化するためのプログラム命令であって、前記領域が領域の正方行列にセグメント化される、プログラム命令と、
前記資産の画像ペアの前記サンプリング、前記複数の履歴画像ペア、および前記リアルタイム画像ペアの前記領域について類似度係数を生成するためのプログラム命令と
をさらに含む、請求項１０に記載のコンピュータ・システム。

【請求項12】

前記第１のモデルが、
資産の前記複数の履歴画像ペアから、前記資産の新たに交換された状態から故障状態までの前記資産のある範囲の状態を含む、正常状態ステータスを有する前記資産の画像ペアのサンプリングを受信するためのプログラム命令と、
前記正常状態ステータスを有する前記資産の画像ペアの前記サンプリングからの訓練データに基づいて画像ペアのそれぞれの画像を再構成するように前記第１のモデルを訓練するためのプログラム命令と、
前記資産の前記故障状態までの持続時間を予測するための第２のモデルを生成するためのプログラム命令と、
前記資産の前記複数の履歴画像ペアの前記類似度係数および前記複数の履歴画像ペアの捕捉のタイムスタンプにそれぞれ基づいて、前記第２のモデルを訓練するためのプログラム命令と
をさらに含む、請求項１１に記載のコンピュータ・システム。

【国際調査報告】