IP Force 特許公報掲載プロジェクト 2022.1.31 β版

ホーム > 特許ランキング > Ｉｄｌｅｔｅｃｈｓ ＡＳ

このエントリーをはてなブックマークに追加

知財求人 - 知財ポータルサイト「IP Force」

▶ アイドルテックス エーエスの特許一覧

特表2023-548281熱画像およびデータ分析により物体および機器を監視するための方法およびシステム
<>
  • 特表-熱画像およびデータ分析により物体および機器を監視するための方法およびシステム 図1
  • 特表-熱画像およびデータ分析により物体および機器を監視するための方法およびシステム 図2
  • 特表-熱画像およびデータ分析により物体および機器を監視するための方法およびシステム 図3
  • 特表-熱画像およびデータ分析により物体および機器を監視するための方法およびシステム 図4
  • 特表-熱画像およびデータ分析により物体および機器を監視するための方法およびシステム 図5
  • 特表-熱画像およびデータ分析により物体および機器を監視するための方法およびシステム 図6
< >
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公表特許公報(A)
(11)【公表番号】
(43)【公表日】2023-11-16
(54)【発明の名称】熱画像およびデータ分析により物体および機器を監視するための方法およびシステム
(51)【国際特許分類】
   G08B 25/00 20060101AFI20231109BHJP
【ＦＩ】
G08B25/00 510M
【審査請求】未請求
【予備審査請求】有
(21)【出願番号】P 2023520536
(86)(22)【出願日】2021-09-30
(85)【翻訳文提出日】2023-05-26
(86)【国際出願番号】 EP2021076948
(87)【国際公開番号】W WO2022073844
(87)【国際公開日】2022-04-14
(31)【優先権主張番号】2015843.2
(32)【優先日】2020-10-06
(33)【優先権主張国・地域又は機関】GB
(81)【指定国・地域】
(71)【出願人】
【識別番号】523122333
【氏名又は名称】アイドルテックス エーエス
【氏名又は名称原語表記】Ｉｄｌｅｔｅｃｈｓ ＡＳ
(74)【代理人】
【識別番号】110001302
【氏名又は名称】弁理士法人北青山インターナショナル
(72)【発明者】
【氏名】マーテンス，ハラルド
(72)【発明者】
【氏名】ペデルセン，トルビョルン
(72)【発明者】
【氏名】ウルヴィック，アンドレアス シムスカー
【テーマコード（参考）】
5C087
【Ｆターム（参考）】
5C087AA07
5C087AA31
5C087EE08
5C087GG02
5C087GG08
5C087GG09
5C087GG66
5C087GG70
5C087GG83
(57)【要約】
本発明は、サーマルビデオデータを用いて物体を監視するための方法およびそのためのシステムを提供する。本方法は、１または複数の熱画像カメラを使用して、物体を含むシーンのサーマルビデオ画像をキャプチャするステップと、処理装置にサーマルビデオデータストリームを出力するステップとを含む。処理装置では、サーマルビデオデータストリームの多変量解析を実行することによりサーマルビデオデータストリームが処理され、それにより物体の挙動の１または複数のモデルが生成される。１または複数のモデルは、物体の熱シグネチャの時間的推移のモデル化と、シーンの様々な部分または領域間の熱シグネチャの共分散のモデル化とを含む。処理は、サーマルビデオデータストリームからの観測データおよび１または複数のモデルを使用して物体の１または複数の正常状態を確立するステップと、サーマルビデオデータストリームからの観測データを物体の１または複数の正常状態と比較して、物体が既知の状態であるか未知の状態であるかを判定するステップとを含む。物体が未知の状態にあると判定された場合に、出力信号が処理装置から出力される。
【選択図】図３
【特許請求の範囲】
【請求項1】
サーマルビデオデータを使用して物体を監視する方法であって、
－１または複数の熱画像カメラを使用して、物体を含むシーンのサーマルビデオ画像をキャプチャし、サーマルビデオデータストリームを処理装置に出力するステップと、
－前記処理装置において、
サーマルビデオデータストリームの多変量解析を実行して、物体の挙動の１または複数のモデルを生成する工程であって、前記１または複数のモデルが、物体の熱シグネチャの時間的推移のモデル化と、前記シーンの様々な部分または領域間の熱シグネチャの共分散のモデル化とを含む、工程と、
前記１または複数のモデルからモデル化されたデータを生成する工程と、
サーマルビデオデータストリームからの観測データおよび前記１または複数のモデルを使用して、物体の１または複数の正常状態を確立する工程と、
モデル化されたデータを物体の１または複数の正常状態と比較して、物体が既知の状態であるか未知の状態であるかを判定する工程と
によって、サーマルビデオデータストリームを処理するステップと、
－物体が未知の状態にあると判定された場合に、前記処理装置から出力信号を生成するステップとを備えることを特徴とする方法。
【請求項2】
請求項１に記載の方法において、
前記モデル化されたデータが、圧縮されたサーマルビデオデータシーケンスを含むことを特徴とする方法。
【請求項3】
請求項１または２に記載の方法において、
前記１または複数のモデルを使用して、前記サーマルビデオデータからの観測データを部分空間で表現するステップを含み、前記部分空間が、サーマルビデオデータストリームよりも低次元であることを特徴とする方法。
【請求項4】
請求項１～３の何れか一項に記載の方法において、
前記処理装置にプロセスデータを入力するステップであって、前記プロセスデータが、物体を利用するプロセスに関連する、ステップと、前記プロセスデータを前記１または複数のモデルに組み込むステップとを含むことを特徴とする方法。
【請求項5】
請求項１～４の何れか一項に記載の方法において、
シミュレーションデータを前記処理装置に入力するステップであって、前記シミュレーションデータが、物体の内部状態の推定に関連する、ステップと、前記シミュレーションデータを前記１または複数のモデルに組み込むステップとを含むことを特徴とする方法。
【請求項6】
請求項１～５の何れか一項に記載の方法において、
前記処理装置から１または複数のモデル特徴を出力するステップと、前記モデル特徴をデータ記憶装置に記憶するステップとを含むことを特徴とする方法。
【請求項7】
請求項６に記載の方法において、
前記モデル特徴が、前記モデルで使用される負荷を含むことを特徴とする方法。
【請求項8】
請求項１～７の何れか一項に記載の方法において、
キャプチャされた熱画像をデータの追加の時空間表現で拡張して、マルチチャネルまたはマルチスペクトル測定ビデオデータストリームを作成するステップを含むことを特徴とする方法。
【請求項9】
請求項１～８の何れか一項に記載の方法において、
サーマルビデオデータシーケンスからの非圧縮データをデータ記憶装置に記憶するステップを含むことを特徴とする方法。
【請求項10】
請求項１～９の何れか一項に記載の方法において、
学習段階中に、サーマルビデオデータストリームからの観測データおよび前記１または複数のモデルを使用して、１または複数の初期正常状態を確立するステップを含むことを特徴とする方法。
【請求項11】
請求項１０に記載の方法において、
物体の１または複数の正常状態を確立することが、監視段階中に、サーマルビデオデータストリームからの観測データおよび前記１または複数のモデルを使用して、前記１または複数の初期正常状態を更新することを含むことを特徴とする方法。
【請求項12】
請求項１～１１の何れか一項に記載の方法において、
モデルの既存のセットにさらに負荷を加えること、特定の状態を表現するために新しいモデルを加えること、またはモデルの負荷を変更すること、のうちの１または複数によって、前記１または複数のモデルを更新するステップを含むことを特徴とする方法。
【請求項13】
請求項１～１２の何れか一項に記載の方法において、
出力信号からオペレータへのアラーム信号を生成するステップを含むことを特徴とする方法。
【請求項14】
請求項１～１３の何れか一項に記載の方法において、
物体が未知の状態にあると判定された信号をユーザインターフェースに送信するステップと、物体の未知の状態を正常状態または異常状態として分類するオペレータからの入力を受信するステップとを含むことを特徴とする方法。
【請求項15】
請求項１～１４の何れか一項に記載の方法において、
異常状態を障害ラベルで分類および／またはラベル付けするステップを含むことを特徴とする方法。
【請求項16】
サーマルビデオデータを分析する方法であって、
－処理装置において、サーマルビデオデータストリームを受信するステップであって、サーマルビデオデータストリームが、１または複数の熱画像カメラを使用してキャプチャされた物体を含むシーンのサーマルビデオ画像のシーケンスを含む、ステップと、
－前記処理装置において、
サーマルビデオデータストリームの多変量解析を実行して、物体の挙動の１または複数のモデルを生成する工程であって、前記１または複数のモデルが、物体の熱シグネチャの時間的推移のモデル化と、前記シーンの様々な部分または領域間の熱シグネチャの共分散のモデル化とを含む、工程と、
前記１または複数のモデルからモデル化されたデータを生成する工程と、
サーマルビデオデータストリームからの観測データおよび前記１または複数のモデルを使用して、物体の１または複数の正常状態を確立する工程と、
モデル化されたデータを物体の１または複数の正常状態と比較して、物体が既知の状態であるか未知の状態であるかを判定する工程と
によって、サーマルビデオデータストリームを処理するステップと、
－物体が未知の状態にあると判定された場合に、前記処理装置から出力信号を生成するステップとを備えることを特徴とする方法。
【請求項17】
サーマルビデオデータを処理する方法であって、
－処理装置において、サーマルビデオデータストリームを受信するステップであって、サーマルビデオデータストリームが、１または複数の熱画像カメラを使用してキャプチャされた物体を含むシーンのサーマルビデオ画像のシーケンスを含む、ステップと、
－前記処理装置において、
・１または複数のモデルを使用してサーマルビデオデータストリームからモデル化されたデータを生成するステップであって、前記１または複数のモデルが、物体の熱シグネチャの時間的推移のモデル化と、物体の様々な部分または領域間の熱シグネチャの共分散のモデル化とを含む、工程と、
・前記処理装置からモデル化されたデータを出力する工程と、
・前記モデル化されたデータをデータ記憶装置に記憶する工程と
によって、サーマルビデオデータストリームを処理するステップとを備えることを特徴とする方法。
【請求項18】
請求項１７に記載の方法において、
前記モデル化されたデータが、圧縮されたサーマルビデオデータシーケンスを含むことを特徴とする方法。
【請求項19】
請求項１７または１８に記載の方法において、
前記１または複数のモデルを使用して、前記サーマルビデオデータからの観測データを部分空間で表現するステップを含み、前記部分空間が、前記サーマルビデオデータストリームよりも低次元であることを特徴とする方法。
【請求項20】
請求項１７～１９の何れか一項に記載の方法において、
前記処理装置から１または複数のモデル特徴を出力するステップと、前記モデル特徴をデータ記憶装置に記憶するステップとを含むことを特徴とする方法。
【請求項21】
請求項２０に記載の方法において、
前記モデル特徴が、前記モデルで使用される負荷を含むことを特徴とする方法。
【請求項22】
請求項１７～２１の何れか一項に記載の方法において、
サーマルビデオデータシーケンスからの非圧縮データをデータ記憶装置に記憶するステップを含むことを特徴とする方法。
【請求項23】
サーマルビデオ画像から物体の熱負荷を評価する方法であって、
－処理装置において、データ記憶装置からデータセットを受信するステップであって、前記データセットが、請求項１７～２２の何れか一項に記載の方法に従って生成される、ステップと、
－処理装置において、
システムの熱負荷を示す熱傾向の分析を実行して、ある時間間隔における総熱負荷を推定する工程と、
前記総熱負荷が予め設定された限界を超えるか、または指定された時間ウィンドウにおいて予め設定された量を超えて増加した場合に、出力信号を発する工程と
によって、前記データセットを分析するステップとを含むことを特徴とする方法。
【請求項24】
請求項２３に記載の方法において、
前記総熱負荷の表現を生成して、その表現をユーザインターフェースに送信するステップを含むことを特徴とする方法。
【請求項25】
請求項２３または２４に記載の方法において、
前記時間間隔における推定総熱負荷と、以前の時間ウィンドウにおける推定総熱負荷とを比較するステップと、前記推定総熱負荷が、以前の時間ウィンドウにおける推定総熱負荷から予め定められた量を超えて増加している場合に出力信号を発するステップとを含むことを特徴とする方法。
【請求項26】
請求項２３～２５の何れか一項に記載の方法において、
当該方法が、１または複数のアプリケーションプログラミングインターフェース（ＡＰＩ）を含むシステムで実行され、当該方法が、１または複数のサードパーティまたは外部ソフトウェアシステムに熱負荷データをエクスポートするステップを含むことを特徴とする方法。
【請求項27】
請求項１～２６の何れか一項に記載の方法を実行するように構成された装置。
【請求項28】
請求項１～２６の何れか一項に記載の方法を処理装置に実行させることができるコンピュータ実行可能命令を保持するコンピュータ可読媒体。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、経時的な熱画像を使用して物体および機器を監視するための方法および／またはシステムに関し、特に、経時的な物体の熱特性（熱シグネチャ）を示す熱画像を取得すること、並びに、熱画像から得られるデータを分析して、障害および／またはプロセス状態を含む物理的特性を示す変化または推移を特定することによって、物体および機器を監視するための方法および／またはシステムに関する。本発明の一態様は、物体および機器の状態履歴を経時的に分析するための方法に関する。本発明の態様は、物体または機器の障害ライブラリを作成するために使用することができる。本発明は、エンジン、ポンプ、電気機器、コンテナ、容器、オーブン、炉、反応器、加熱および冷却システム、パイプに限定されるものではないが、これらを含む物体および機器の監視、並びに、そのような物体および機器内で行われるプロセスまたは他の方法で利用するプロセスの監視および／または状態推定に適用することができる。
【背景技術】
【0002】
従来、物体および機器の状態監視は、手作業による検査手法で行われてきた。通常は、サーマルカメラまたは熱電対などの携帯型センサを使用して、観測される熱の空間分布の変化を手作業で分析することにより、一定間隔で（例えば、６ヶ月ごとに）対象物を検査する。そのような手法は、熱分布の大きな変化や漏れを検出することができるが、検査できる対象ポイントに限界があり、監視は、観測期間中の状態にしか敏感ではない。それらの方法では、将来的に物体および機器の問題につながる可能性のある過去の一時的な状態を検出することはできず、機器の累積的な状態履歴に関する情報を提供することはできない。
【0003】
また、サーマルビデオによる機器のリアルタイム監視も行われており、オペレータがビデオ画面を見ることにより、選択されたビデオシーケンスを記録および検査して、状態の変化を識別することができる。しかしながら、そのようなアプローチでは、システムの動的な変化を捉えることは困難であり、ビデオシーケンスのどこをチェックすべきかを知ることは困難である。また、オペレータは一時的な状態を見逃し易く、経時的な熱応力および／または熱歪みなど、機器の累積的な状態履歴に関する情報を導き出すことは困難である。
【0004】
サーマルビデオを用いたリアルタイム監視は、現在、非常に高い温度などの特定の既知の状態を検出する際に最も効果的に使用されており、危険な状態またはインシデントを検出する可能性を有している。サーマルビデオの分析には、監視対象となるいくつかの選択された重要な領域の経時的なデータをプロットし、それらの選択された重要な領域における状況の推移を確認することが含まれ得る。しかしながら、収集および分析されたデータは、プロセスおよび周囲の状態に大きく影響を受け、重要な領域以外の緩やかな変化を検出したり、新しい（すなわち、これまで知られていなかった）状況を表現および理解したりすることが非常に難しい。
【0005】
中国特許公開ＣＮ１１０１３９０６９Ａは、変電所の熱画像温度測定監視システムを開示している。このシステムは、画像情報取得サブシステムと、取得した画像情報を処理するためのハードウェアおよびソフトウェアとを備える。このシステムは、不特定のビッグデータ分析方法を適用し、閾値に基づいてアラーム通知を生成する。
【0006】
欧州特許公開ＥＰ３２６０８５１Ａ１は、異常検出に赤外線カメラを使用する機械状態監視システムを開示している。このシステムは、モデルを使用して、２Ｄデータを３Ｄサーモグラフィ用の３Ｄにマッピングして、画像の経時変化を記録する。このシステムは、エキスパートシステムと閾値を使用して、異常を検出する。
【0007】
国際特許公開ＷＯ２０１８／１１１１１６は、多変量解析とパターン認識技術を使用して、大量の多次元データを処理することにより、自己発展モデルを生成する、全体的なアプローチを記載している。この手法は、システム監視アプリケーションや、データファイルの圧縮された効率的な伝送のために一般的に使用することができる。
【0008】
物体、機器およびプロセスの熱シグネチャ、および熱シグネチャの経時変化を、一定のアラームレベルに依存することなく、正確に監視する自動化されたソリューションの必要性が存在する。
【発明の概要】
【0009】
上述したものを含む利用可能な熱画像監視システムの１または複数の欠点または不利益を回避または軽減する、熱画像を使用して物体および機器を監視するための方法および／またはそのためのシステムを提供することは、本発明の目的および目標に含まれる。
【0010】
特に、本発明の一態様の１つの目的は、プロセスおよび周囲条件、視野角、測定対象までの距離に対する感度が低下しているまたは感度の低い熱画像を使用して、物体および機器を監視するための方法および／またはシステムを提供することである。
【0011】
本発明の一態様の別の目的は、新しい予期せぬ状態または状況を検出する能力が改善された方法および／またはシステムを提供することである。
【0012】
本発明の一態様の別の目的は、高レベルの事前設定または初期化を行うことなく、特に障害ライブラリに依存することなく、様々な異なる監視シナリオに柔軟に適用できる方法および／またはシステムを提供することである。
【0013】
本発明の一態様の別の目的は、小さな変化および／または一時的な変化に対して感度が高く、経時的に受ける熱応力または熱歪みなどの状態履歴に関連する情報を提供することができる方法および／またはシステムを提供することである。
【0014】
本発明の第１の態様によれば、サーマルビデオデータを使用して物体を監視する方法が提供され、この方法が、
－１または複数の熱画像カメラを使用して、物体を含むシーンのサーマルビデオ画像をキャプチャし、サーマルビデオデータストリームを処理装置に出力するステップと、
－処理装置において、
サーマルビデオデータストリームの多変量解析を実行して、物体の挙動の１または複数のモデルを生成する工程であって、１または複数のモデルが、物体の熱シグネチャの時間的推移のモデル化と、シーンの様々な部分または領域間の熱シグネチャの共分散のモデル化とを含む、工程と、
１または複数のモデルからモデル化されたデータを生成する工程と、
サーマルビデオデータストリームからの観測データおよび１または複数のモデルを使用して、物体の１または複数の正常状態を確立する工程と、
モデル化されたデータを物体の１または複数の正常状態と比較して、物体が既知の状態であるか未知の状態であるかを判定する工程と
によって、サーマルビデオデータストリームを処理するステップと、
－物体が未知の状態にあると判定された場合に、処理装置から出力信号を生成するステップとを備える。
【0015】
モデル化されたデータは、圧縮されたサーマルビデオデータシーケンスを含むことができる。本方法は、１または複数のモデルを使用して、サーマルビデオデータからの観測データを部分空間で表現するステップを含むことができ、部分空間は、サーマルビデオデータストリームよりも低次元である。
【0016】
本方法は、処理装置にプロセスデータを入力するステップであって、プロセスデータが、物体を利用するプロセスに関連する、ステップと、プロセスデータを１または複数のモデルに組み込むステップとを含むことができる。
【0017】
本方法は、シミュレーションデータを処理装置に入力するステップであって、シミュレーションデータが、物体の内部状態の推定に関連する、ステップと、シミュレーションデータを１または複数のモデルに組み込むステップとを含むことができる。
【0018】
本方法は、処理装置から１または複数のモデル特徴を出力するステップと、モデル特徴をデータ記憶装置に記憶するステップとを含むことができる。モデルの特徴は、モデルで使用される負荷、またはモデル化されたデータからリアルタイムデータを定義された精度で再現することを可能にする他のモデルの特徴を含むことができる。
【0019】
本方法は、観測された熱画像をデータの追加の時空間表現で拡張するステップを含むことができ、これにより、単一チャネル測定ビデオをマルチチャネルまたはマルチスペクトル測定ビデオに変換することができる。
【0020】
本方法は、サーマルビデオデータシーケンスからの非圧縮データをデータ記憶装置に記憶するステップを含むことができる。例えば、物体の未知の状態が検出された時点Ｔ、および／または時点Ｔに至るまでの期間、および／または時点Ｔに続く期間からの非圧縮データを記憶することができる。
【0021】
本方法は、学習段階中に、サーマルビデオデータストリームからの観測データおよび１または複数のモデルを使用して、１または複数の初期正常状態を確立するステップを含むことができる。好ましくは、物体の１または複数の正常状態を確立することが、サーマルビデオデータストリームからの観測データおよび１または複数のモデルを使用して、監視段階中に、１または複数の初期正常状態を更新することを含む。
【0022】
本方法は、１または複数のモデルを更新するステップを含むことができ、この更新は、モデルの既存のセットにさらに負荷（直交または非直交）を加えること、特定の状態を表現するために新しいモデルを加えること、またはモデルの負荷を変更すること、のうちの１または複数を含むことができる。
【0023】
本方法は、出力信号からオペレータにアラーム信号を生成するステップを含むことができ、このアラーム信号は、物体の未知の状態の検出を示すことができる。
【0024】
本方法は、物体が未知の状態にあると判断された信号をユーザインターフェースに送信するステップを含むことができる。本方法は、物体の未知の状態を正常状態または異常状態としてオペレータが検証するステップを含むことができる。
【0025】
本方法は、異常状態を障害ラベルで分類および／またはラベル付けするステップを含むことができる。これにより、将来の動作において異常状態を認識することができ、それによって障害の特定が可能になる。
【0026】
本発明の第２の態様によれば、サーマルビデオデータを分析する方法が提供され、この方法が、
－処理装置において、サーマルビデオデータストリームを受信するステップであって、サーマルビデオデータストリームが、１または複数の熱画像カメラを使用してキャプチャされた物体を含むシーンのサーマルビデオ画像のシーケンスを含む、ステップと、
－処理装置において、
サーマルビデオデータストリームの多変量解析を実行して、物体の挙動の１または複数のモデルを生成する工程であって、１または複数のモデルが、物体の熱シグネチャの時間的推移のモデル化と、シーンの様々な部分または領域間の熱シグネチャの共分散のモデル化とを含む、工程と、
１または複数のモデルからモデル化されたデータを生成する工程と、
サーマルビデオデータストリームからの観測データおよび１または複数のモデルを使用して、物体の１または複数の正常状態を確立する工程と、
モデル化されたデータを物体の１または複数の正常状態と比較して、物体が既知の状態であるか未知の状態であるかを判定する工程と
によって、サーマルビデオデータストリームを処理するステップと、
－物体が未知の状態にあると判定された場合に、処理装置から出力信号を生成するステップとを備える。
【0027】
本発明の第２の態様の実施形態は、本発明の第１の態様またはその実施形態の１または複数の特徴を含むことができ、その逆もまた同様である。
【0028】
本発明の第３の態様によれば、サーマルビデオデータを処理する方法が提供され、この方法が、
－処理装置において、サーマルビデオデータストリームを受信するステップであって、サーマルビデオデータストリームが、１または複数の熱画像カメラを使用してキャプチャされた物体を含むシーンのサーマルビデオ画像のシーケンスを含む、ステップと、
－処理装置において、
・１または複数のモデルを使用してサーマルビデオデータストリームからモデル化されたデータを生成するステップであって、１または複数のモデルが、物体の熱シグネチャの時間的推移のモデル化と、物体の様々な部分または領域間の熱シグネチャの共分散のモデル化とを含む、工程と、
・処理装置からモデル化されたデータを出力する工程と、
・モデル化されたデータをデータ記憶装置に記憶する工程と
によって、サーマルビデオデータストリームを処理するステップとを備える。
【0029】
モデル化されたデータは、圧縮されたサーマルビデオデータシーケンスを含むことができる。本方法は、１または複数のモデルを使用して、サーマルビデオデータからの観測データを部分空間で表現するステップを含むことができ、部分空間が、サーマルビデオデータストリームよりも低次元である。
【0030】
本方法は、処理装置から１または複数のモデル特徴を出力するステップと、データ記憶装置にモデル特徴を記憶するステップとを含むことができる。モデル特徴は、モデルで使用される負荷、またはモデル化されたデータからリアルタイムデータを定義された精度で再現することを可能にする他のモデル特徴を含むことができる。
【0031】
本方法は、サーマルビデオデータシーケンスからの非圧縮データをデータ記憶装置に記憶するステップを含むことができる。例えば、物体の未知の状態が検出された時点Ｔ、および／または時点Ｔに至るまでの期間、および／または時点Ｔに続く期間からの非圧縮データを記憶することができる。
【0032】
本発明の第３の態様の実施形態は、本発明の第１または第２の態様またはそれらの実施形態の１または複数の特徴を含むことができ、その逆もまた同様である。
【0033】
本発明の第４の態様によれば、サーマルビデオ画像から物体の熱負荷を評価する方法が提供され、この方法が、
処理装置において、データ記憶装置からデータセットを受信するステップであって、データセットが、本発明の第３の態様の方法に従って生成される、ステップと、
処理装置において、
システムの熱負荷を示す熱傾向の分析を実行して、ある時間間隔における総熱負荷を推定する工程と、
総熱負荷が予め設定された限界を超えるか、または指定された時間ウィンドウにおいて予め設定された量を超えて増加した場合に、出力信号を発する工程と
によって、データセットを分析するステップとを含む。
【0034】
本明細書において、「熱負荷」という用語は、温度変化（例えば、温度変化の大きさ、速度および／または頻度）による物体または物体の一部分に対する影響、および／または物体の通常の動作エンベロープ外の温度での動作期間（動かなくてもよい）による物体または物体の一部分に対する影響を意味するために使用される。それらの影響は、熱応力および熱歪みとそれぞれ呼ばれる場合がある。本方法は、温度変化による熱歪みの影響、機器エンベロープ外の温度での長時間の動作による熱歪みの影響、またはそれら影響の組合せの定量化に使用できることを理解されたい。
【0035】
本方法は、総熱負荷の表現を生成して、その表現をユーザインターフェースに送信するステップを含むことができる。
【0036】
本方法は、時間間隔における推定総熱負荷と、以前の時間ウィンドウにおける推定総熱負荷とを比較するステップを含むことができる。本方法は、推定総熱負荷が、以前の時間ウィンドウにおける推定総熱負荷から予め定められた量を超えて増加している場合に出力信号を発するステップを含むことができる。
【0037】
本方法は、１または複数のＡＰＩを含むシステムで実行することができ、本方法は、熱負荷データを１または複数のサードパーティまたは外部ソフトウェアシステムにエクスポートするステップを含むことができる。本方法は、システムの完全性を検証するために、例えば、保険会社または認証機関に熱負荷データをエクスポートすることを含むことができる。
【0038】
本発明の第４の態様の実施形態は、本発明の第１～第３の態様またはそれらの実施形態の１または複数の特徴を含むことができ、その逆もまた同様である。
【0039】
本発明の第５の態様によれば、サーマルビデオ画像から物体の熱負荷を評価する方法が提供され、この方法が、
－処理装置において、サーマルビデオデータストリームを受信するステップであって、サーマルビデオデータストリームが、１または複数の熱画像カメラを使用してキャプチャされた物体を含むシーンのサーマルビデオ画像のシーケンスを含む、ステップと、
－処理装置において、
サーマルビデオデータストリームの多変量解析を実行して、物体の挙動の１または複数のモデルを生成する工程であって、１または複数のモデルが、物体の熱シグネチャの時間的推移のモデル化と、シーンの様々な部分または領域間の熱シグネチャの共分散のモデル化とを含む、工程と、
１または複数のモデルからモデル化されたデータを生成する工程と、
システムの熱負荷を示す熱傾向のモデル化されたデータに対する分析を実行して、ある時間間隔における総熱負荷を推定する工程と、
総熱負荷が予め設定された限界を超えるか、または指定された時間ウィンドウにおいて予め設定された量を超えて増加した場合に、出力信号を発する工程と
によって、サーマルビデオデータストリームを処理するステップとを含む。
【0040】
本発明の第５の態様の実施形態は、本発明の第１～第４の態様またはそれらの実施形態の１または複数の特徴を含むことができ、その逆もまた同様である。
【0041】
本発明の第６の態様によれば、本発明の第１～第５の態様の何れかの方法を実行するように構成された装置が提供される。
【0042】
本発明の第６の態様の実施形態は、本発明の第１～第５の態様またはそれらの実施形態の１または複数の特徴を含むことができ、その逆もまた同様である。
【0043】
本発明の第７の態様によれば、本発明の第１～第５の態様の何れかの方法を処理装置に実行させることができるコンピュータ実行可能命令を保持するコンピュータ可読媒体が提供される。
【0044】
本発明の第７の態様の実施形態は、本発明の第１～第６の態様またはそれらの実施形態の１または複数の特徴を含むことができ、その逆もまた同様である。
【図面の簡単な説明】
【0045】
以下に、単なる例示として、図面を参照しながら本発明の様々な実施形態を説明する。
【図1】図１は、本発明の一実施形態に係るサーマルビデオ監視システムの概略図である。
【図2】図２は、本発明の一実施形態に係るサーマルビデオ監視システムおよび方法の機能コンポーネントを概略的に示すブロック図である。
【図3】図３は、本発明の一実施形態に係るサーマルビデオデータ分析方法のステップを示すフロー図である。
【図4】図４は、本発明の好ましい実施形態で使用されるサーマルビデオデータ監視方法のステップを示すフロー図である。
【図5】図５は、本発明の一実施形態に係る障害ライブラリを生成する方法のステップを示すフロー図である。
【図6】図６は、本発明の一実施形態に係る熱負荷推定方法のステップを示すフロー図である。
【発明を実施するための形態】
【0046】
最初に図１を参照すると、物体または機器１０２のためのサーマルビデオ監視システムが、符号１００で全体が示されている。このシステム１００は、監視対象の物体１０２が位置するシーンに向けられた視野を有するサーマルビデオカメラ１０４を含む。この例では、物体１０２は、工業プロセスにおける化学反応器であり、関連する配管を含む。サーマルビデオカメラ１０４は、処理装置１１０と通信し、この処理装置は、ユーザインターフェース１２０およびアラームシステム１３０と通信する。カメラは、監視動作にわたって同じシーンおよび物体から受動的に画像をキャプチャするように配置されている。図１には、単一のサーマルビデオカメラ１０４が示されているが、システムは、２以上のサーマルビデオカメラを含むことができる。複数のカメラにより、例えば、大きなシーン、様々な方向から見た同じシーンまたは物体を監視すること、またはより高解像度の撮像、シーン内の様々な物体を提供すること、またはデータの冗長性を提供することが可能になる。
【0047】
サーマルビデオカメラ（または複数のカメラ）は、何千もの個別の温度センサとして動作し、サーマルビデオデータストリームにおける高次元温度測定値（カメラセンサモジュールの各ピクセルに対応するもの）のセットを生成する。カメラは、データストリームを処理装置１１０に送信し、処理装置は、データを受信し、後述する手法を使用して処理する。カメラは、任意の適切なデータ伝送プロトコルを使用して、データ伝送ケーブルを介してまたはワイヤレスで処理装置にデータを伝送することができる。典型的な態様では、サーマルビデオデータは、処理モジュールに１秒間に複数回送信され、シーンおよび物体の時空間温度メッシュのシーケンスをリアルタイムで提供する。その結果、物体上の熱の空間分布とその時間的推移の両方が測定される。
【0048】
処理装置１１０は、ソフトウェアモジュールを使用してデータを記憶および処理する。処理装置は、例えば物体１０２の産業環境内にある、カメラに対してローカルなコンピュータまたは処理クラスタであってよい。代替的には、処理装置は、カメラから離れていてもよく、その場合、データは、ネットワークアクセスを有するローカルコンピュータまたは別のゲートウェイユニットを経由して、ＷＡＮまたは他の通信ネットワークを介して遠隔地に送信され得る。リモート処理装置は、遠隔地にあるコンピュータまたはクラウドベースの処理クラスタであってもよく、本発明の範囲内では、処理装置およびその装置で実行されるステップが、カメラおよび物体が位置する区域とは異なる区域にあってもよいことが理解されよう。
【0049】
データの処理には、物体のベースラインおよび物体の熱シグネチャの正常な状態を確立するためのデータ駆動型のモデル化と、シグネチャが時間とともにどのように変化するかを追跡するための偏差および傾向の分析が含まれる。処理は、サーマルビデオストリームのリアルタイム分析用にカスタマイズされ、後述するように、多くの入力と出力との間の同時変化をモデル化する多変量解析を含む。
【0050】
ユーザインターフェース１２０は、システムのオペレータがイベント、モデル、データ、傾向および経時変化を視覚化および検査できるようにするための一連のサービスによって提供される、ウェブベースで使用されるインターフェースである。ユーザインターフェース１２０は、リアルタイムでの物体の熱シグネチャの視覚化、および／または変化、傾向、過去の状況および検出された未知の状態の視覚化を提供することができる。また、ユーザインターフェースは、オペレータが追加情報またはデータを呼び出すこと、特定の状況または状態を分析すること、データを入力すること、並びに、一般的なシステム管理も可能にする。オペレータは、アラームの確認、アラームの解釈の入力、モデルの確認と更新、システムに対する変更の監査の実施、およびリアルタイム撮像の確認を行うことができる。
【0051】
アラームシステム１３０は、未知の状態または識別されたアラーム状態に対応するアラーム信号を、ユーザインターフェース１２０とは別に、例えば物体１０２の位置または別の選択された位置で生成する機能をシステムに提供する。アラーム信号は、可視、可聴またはその両方であってもよく、処理装置１１０から出力され、（任意選択的には、検出された状態がアラーム信号の生成を必要とすることをオペレータが確認した後に）システムから自動的に生成される。
【0052】
システム１００は、任意選択的には、プロセスインターフェースモジュール１１５を備え、このモジュールにより、プロセスデータのセットをシステムに入力することができる。プロセスデータは、物体内で行われているプロセス、周囲条件、人間の介入、予想される視覚的外観、および／または他の直接的な測定に関連する測定値および制御データである。これにより、物体内で行われているプロセスのコンテキストでのモデル化およびアラーム生成が容易になり、外乱に対するシステムの堅牢性が向上し、障害識別および障害検出が改善される。プロセス測定値および／または制御データが利用可能である場合、それら測定値は、予想されるシステム状態、周囲条件に関する情報を含むように、かつ他の直接的な測定値を含むように拡張することができる。
【0053】
図１および上述した説明は、本発明の原理を説明するための、本発明の一実施形態を単純化したものである。好ましい特徴および任意の特徴の更なる詳細は、図２～図６を参照して説明される。
【0054】
図２は、本発明の一実施形態に係るサーマルビデオ監視システムおよび方法の機能コンポーネントを概略的に示すブロック図である。全体が符号２００で示されるシステムは、ハードウェアおよびソフトウェアシステムコンポーネントで実装される機能モジュールを含む。リアルタイムデータインターフェース２０１は、熱キャプチャデータインターフェース２０４およびプロセスデータ統合インターフェース２１５（図１を参照して説明したインターフェース１１５と機能的に同様）を含む。シミュレーションデータインターフェース２０２は、物体１０２の挙動および／または物体を利用するプロセスのシミュレーションモデルからデータを入力することを可能にする。シミュレーションモデルは、（例えば、より高速な多変量メタモデルを介して）測定値に適合され、物体における既知の変動タイプの内部状態の推定を含み、物体における新しい未知の変動タイプを発見してパラメータ化することができる。オープンプラットフォーム通信（ＯＰＣ）データアクセスおよびＯＰＣ統一アーキテクチャは、適切なインターフェースの例である。短期データ記憶２０６は、入力データを収集するために使用される。
【0055】
任意選択的には、システムは、画像拡張モジュール（図示せず）を含み、このモジュールでは、追加の時空間表現を使用して、マルチスペクトルビデオシステムを作成するために入力をさらに拡張することができる。画像拡張は、例えば、空間的および／または時間的ドメインにおける派生画像、差分画像または平滑化画像を含むことができる。画像拡張は、測定データを強化することによって、時空間パターンをモデル化するシステムの能力をさらに拡張する。
【0056】
コア層２４０では、システムが、予測および推定モジュール２４４を備える。予測および推定モジュール２４４は、予測および多変量較正モデルを使用して、（センサによって観測された）観測温度と、物体表面温度のより正確な表現と、または内部温度の推定との間のマッピングを行う。多変量較正モデルは、例えば、ピクセル重み付けされた部分最小二乗回帰およびその非線形または局所的拡張に基づいて、または他のデータ駆動型機械学習方法に基づいて、オフラインで生成されるものであってもよい。較正モデルは、必要に応じて後で更新することができ、場合によっては、物体の表面特性に関するデータ（既知の３Ｄ形状および既知の材料タイプ）と組み合わせることができる。逆に、予想される熱画像と観測された熱画像との間の不一致から、物体の実際の３Ｄ形状および材料タイプに関する新たな情報が得られることもある。物体シミュレータを組み込むことにより、それら温度を境界条件として使用して、プロセス条件および観測された物体内部の状態を（そのような関係が存在する場合に）推定することができる。また、カメラまたは物体が引き起こす時空間的な動きおよび／または熱変化をモデルとともに利用して、次に予想される熱画像を予測することもできる。このシミュレーション情報は、例えば、一時的に遮蔽された領域における、またはフレームの欠落による、熱画像要素の欠落を埋めるために利用することができる。
【0057】
また、コア層は、サーマルビデオデータストリームの多変量解析を実行して、物体の挙動の１または複数のモデルを生成するためのソフトウェアモジュール２４２も含む。モデルは、（サーマルビデオデータストリームからの）データ駆動型であり、物体の熱シグネチャの時間的推移のモデル化と、物体の様々な部分または領域間の熱シグネチャの共分散のモデル化とを含む。モデル化は、低次元の部分空間における観測データの表現によって高次元のサーマルビデオデータを圧縮することを含む。サーマルカメラによって撮像されたシーンは、異なる物体または異なる領域に空間的に分割またはセグメント化することができ、それらを一緒にかつ／または個別にモデル化することができる。この分割は、（例えば、部分最小二乗法（ＰＬＳ）パスモデリングと同様に）カメラが描写する１または複数の物体に関する事前知識に基づくことができ、かつ／または、（階層的クラスタベースのＰＬＳ回帰（ＰＬＳＲ）と同様に）サーマルカメラデータストリームを要約する部分空間モデルにおける体系的な時空間変化パターンに基づくことができる。セグメンテーションは、時間領域、空間画像領域、および／またはスコア、負荷および残差の部分空間パターン領域で実行することができる。こうして生じる個々のデータストリームの分析は、局所的なバイリニアモデリングの階層に基づくことができる。これらのローカルデータモデルは、マルチブロック、マルチマトリックスまたは多元因子分析および回帰手法（例えば、マルチブロック主成分分析（ＰＣＡ）およびＰＬＳＲ、逐次および直交ＰＬＳ（ＳＯ－ＰＬＳ）、ＰＬＳパス分析、サポートベクターマシン（ＳＶＭ）処理、人工ニューラルネットワーク（ＡＮＮ）処理、回帰木およびその非線形拡張）によって、例えば、空間および／または時間パラメータ（負荷とスコア）を介して相互に関連付けることができる。
【0058】
圧縮されたデータは、長期データ記憶モジュール２４６に伝送される。
【0059】
モジュール２３０は、観測されたデータをリアルタイムで物体の確立された正常状態と比較することにより、サーマルビデオデータストリームにおける未知の状態または識別されたアラーム状態の検出に対応するアラーム信号を生成することを可能にする。未知の状態または異常の検出に関連する完全解像度リアルタイムデータは、圧縮データとともに長期データ記憶装置２４６に伝送される。
【0060】
アプリケーションモジュールのセットは、アプリケーション層２５０に提供される。アプリケーションモジュールは、圧縮データの分析に基づいて高レベルのアラームを生成するためのモジュール２５１を含む。一例では、履歴データが、熱負荷のような過去の監視期間における物体に対する累積的な影響を定量化するために分析される。高レベルのアラームは、傾向分析（２５３）または偏差分析（２５４）から生成され、通常は、物体またはプロセスのイベントの発生の検出（２５６）に応答して生成される。ベースライン更新モジュール２５５は、システムの変化および可能性のあるベースラインの変化の検出が報告された後に、自動的に、かつ／またはオペレータの入力に応答して、正常状態またはベースラインに対して更新を行うことを可能にする。アプリケーションモジュールから生成されたインサイトは、長期記憶モジュール２４６に記録される。
【0061】
システムモジュール２６０は、キャッシュ機能、アクセス制御を含むサービス、およびＡＰＩを含み、ユーザインターフェース２２０の管理（２２２）、ウェブアプリケーション（２２４）およびデータ／モデルエクスポート（２２６）のコンポーネント間の相互作用を可能にする。
【0062】
ここで図３を参照すると、本発明の実施形態で使用されるサーマルビデオデータ分析方法のステップを表すフロー図が示されている。この方法は、全体が符号３００で示されており、図１の監視システムの処理装置１１０で実行され、図２のソフトウェアおよびハードウェアモジュールに実装されている。
【0063】
処理装置１１０は、カメラデータキャプチャインターフェース２０４からサーマルビデオデータストリーム１０６を受信する。リアルタイムデータは、多変量解析手法を使用して、物体の熱シグネチャの挙動のモデル３１０を構築および最適化するために使用される。このモデルは、監視対象の物体上の観測される空間熱分布の時間的推移、すなわち経時変化のモデル化を含む。さらに、モデルは、物体の空間的に異なる部分または領域、またはシーン内の別個の物体またはユニット間の熱分布の共分散のモデル化を含む。
【0064】
このようにサーマルビデオ画像の様々な領域の共分散をモデル化することで、状態の変化に対する感度を向上させることができる。例えば、物体上の２つの測定位置は、モデルによって特定の相関関係があると判定され得る。いくつかのシナリオでは、２つの測定ポイントが、互いに独立して検討される場合に、予想される範囲内にあり、正常な動作状態に対応する熱データを提示する。２つの測定位置からのデータを比較することで、それぞれのデータポイント間のモデル化された相関関係からの小さな偏差が検出可能となり、他の方法では検出されなかったであろう未知の異常状態として検出される可能性がある。
【0065】
物体の挙動を説明するモデル（経時変化や空間領域間の共分散を含む）は最適化され、最適化されたモデルは物体の１または複数の正常状態を確立するために使用される（ステップ３２０）。正常状態は、未知の状態または異常状態の検出において、リアルタイムデータが比較されるベースラインを提供する（ステップ３３０）。
【0066】
学習段階３２２の間、監視段階に先立って、リアルタイムのサーマルビデオデータストリームからの観測データおよびモデル３１０を使用して、初期正常状態が確立される。初期正常状態が確立されると、リアルタイムのサーマルビデオデータが初期正常状態と比較され、正常状態からの逸脱が未知の状態または異常として検出され、リアルタイムで物体の熱シグネチャの視覚化とともにユーザインターフェースにリアルタイムのアラーム出力３４０を生成する。オペレータは、アラームを確認し、システムにフィードバックを与えることができる。状況が正常であると考えられる場合、この情報は、正常な状態のセットの更新（３２４）に使用することができる。状況がアラーム状態と考えられる場合、状況に関連する情報を、アラームの分類子または説明とともに記録することができる。
【0067】
本出願人の国際特許公開ＷＯ２０１８／１１１１１６（その内容は引用によりその全体が本明細書に援用される）は、リアルタイム多変量解析およびパターン認識技術を使用して大量の多次元データを処理し、自己発展モデルを生成する全体的アプローチを説明している。この手法は、通常、システム監視アプリケーションにおいて、データファイルの圧縮された効率的な伝送のために使用することができる。ＷＯ２０１８／１１１１１６は、サーマルカメラからの入力データの処理に言及しているが、特定のサーマルビデオアプリケーションに関する詳細は提供していない。本発明者等は、ＷＯ２０１８／１１１１１６のデータ分析手法をサーマルビデオデータ監視に効果的に適用するために、物体上の観測された温度メッシュの時間的推移と、様々な空間領域間の共分散の両方をモデル化することがシステムの感度に非常に有益であることを見出している。
【0068】
本発明の好ましい実施形態は、モデル３１０の確立、多次元データの圧縮、および正常状態の確立のために、ＷＯ２０１８／１１１１１６に記載の手法を使用する。本方法は、サーマルビデオ監視への適用における、ＷＯ２０１８／１１１１１６に記載のより一般的な多変量解析手法の独創的な使用および修正である。
【0069】
図４は、本発明の好ましい実施形態で使用されるサーマルビデオデータ監視方法のステップを示すフロー図である。全体が符号４００で示されるこの方法は、モデル４１０が、１または複数のサーマルビデオカメラからリアルタイムで入力サーマルビデオデータストリーム１０６と、任意選択的にシミュレーションモデルデータおよびプロセスデータなどの追加データとを受信する。データがモデルに入力される前に、熱画像の連続したストリームは、新しい時空間表現で拡張され、単一チャネル温度ビデオをマルチチャネルまたは「マルチスペクトル」ビデオ測定システムに変換することができる。画像拡張の１つのタイプは、例えば、時空間ダイナミクスを記述し、時空間異常を明らかにするために、熱画像ストリーム自体から得られる。例えば、空間領域および／または時間領域における微分画像、差分画像または平滑化画像は、物体の表面温度における体系的な時空間ダイナミクスパターンを明らかにする。画像拡張のもう１つのタイプは、例えば、ＲＧＢ、ハイパースペクトルｖｉｓ／ＮＩＲカメラ、レーダーまたはライダーなど、他のカメラタイプからの時空間データである。異なるセンサ間で発生する可能性のある時間遅延は、推定および補正される。
【0070】
モデル４１０は、サーマルビデオデータから生成されるデータ駆動型多変量解析モデルであり、上述したように、物体上の観測される温度メッシュの時間的推移と、様々な空間領域間の共分散の両方のモデル化を含む。モデル４１０は、様々な数学的演算を含む事前処理または前処理ステップを組み込む。例としては、当業者に公知の手法（例えば、ＷＯ２０１８／１１１１１６に記載の手法）による、線形化、予備モデリングおよび信号コンディショニングが挙げられる。
【0071】
モデルの出力は、圧縮データストリーム４１２の形態のモデル化されたデータ、および出力モデル特徴４１４である。圧縮データ４１２は、監視対象の物体上のマルチチャネル高次元リアルタイム熱メッシュの低次元圧縮表現であり、これは、冗長性を減らし、多数の入力変動を、入力データを要約する比較的少数の必須コンポーネントの変動と置き換えることによって計算される。圧縮データは、部分空間へのリアルタイム入力データの投影として記述される場合がある。出力モデル特徴４１４は、モデルで使用される負荷、または圧縮データから、定義された精度でリアルタイムデータを再現することを可能にするような他のモデル特徴を含む。
【0072】
圧縮データ４１２およびモデル特徴４１４は、システムの長期および／または短期記憶装置に格納される。
【0073】
圧縮データ４１２は、物体がアラーム状態にあるかどうかを確定するために（４３０）、監視対象のシステムの確立された正常状態に対して評価される（ステップ４３０）。潜在的なアラーム状態に関連する情報および視覚化は、ユーザインターフェース１２０に送信され、オペレータが調査を行い、任意選択的には、アラーム状態を確認し、かつ／または状態を識別および分類するためにシステムにフィードバックを提供することを可能にする。較正されたリアルタイムデータは、あらゆる条件下で許容できない温度をスキャンするために分析される。
【0074】
上述したリアルタイムアラーム処理と並行して、リアルタイムデータおよび圧縮データから残差が算出される（ステップ４１６）。マルチチャネルデータポイントの残差は、リアルタイム入力データポイントと、圧縮データからのデータポイントの再構成との間の差を表す。計算された残差は、データ記憶装置４１８の残差データリポジトリ４２０に格納される（任意選択的には、重要でない残差は格納されずに廃棄されるようにしてもよい）。方法において周期的に、リポジトリ４２０に格納された残差は、変動の系統的パターンの存在について分析される（ステップ４４０）。新しいパターンの識別は、物体の新しい正常状態を示唆するために使用され、発生し得るアラーム状態の将来の検出で使用される（４３０）。新しい正常状態の示唆は、新しいシステムベースラインが確立または拒否される前に、システムのユーザによって検証される。新しい正常状態のセットは、データ記憶装置から復元された以前に圧縮されたデータとの比較によって、過去の状態の評価にも使用することができる。
【0075】
正常状態からの逸脱を定量化および認識するために使用できる他の手段には、基礎となるモデルの変更、以前の観測と一致しない新しいデータの観測、外れ値分析、傾向における新しい値、および望ましくない挙動に一致する観測または傾向が含まれる。そのような手法の詳細については、ＷＯ２０１８／１１１１１６に記載されているが、観測値が観測値の予想範囲内に入るかどうかを判定するための多重解像度ヒストグラム、Ｑ統計、および／または他の方法の使用も含むことができる。
【0076】
モデル更新が必要または好ましいと考えられる場合（または実行がスケジュールされている場合）、プロセスはステップ４６０に進み、モデル４１０が、元のモデルの拡張において新しい負荷を含むように更新される。任意選択的には、既存の残差は、拡張されたモデルを用いて再計算され、残差リポジトリ内の残差を置き換える。さらに、モデル４１０の更新は、任意選択的には、モデルの再センタリング、再スケーリングおよび／または再直交化を含むことができる。これらの手法を使用することにより、モデル４１０は、リアルタイムの物体監視アプリケーションでの使用を通じて自己発展する。
【0077】
上述した方法は、学習段階でも使用することができ、この段階では、システムがライブになってアラーム状態が評価される監視段階に移行する前に、サーマルビデオデータストリームを使用して、モデル４１０が空の状態から生成される。モデルは、入力データにおける変動の系統的パターンを認識することによって成長することができ、一方、入力データにおける測定誤差および他の非系統的変動は、統計的な無駄として排除されることができる。この自己モデル化機能により、事前設定または較正が殆どまたは全く必要無い監視物体へのシステムの適用が容易になる。システムは、優れた障害ライブラリに依存することなく初期化することができ、代わりに、正常な状態からの逸脱として観測される新しい状況であって、ユーザ入力によって新しい障害として識別され得る新しい状況から学習することができる。
【0078】
図５は、本発明の一実施形態に係る分析方法を使用して障害ライブラリを生成する方法のステップを示すフロー図である。全体が符号５００で示されるこの方法は、オペレータがシステムを使用して、障害ライブラリを開発することができる一態様を示しており、障害ライブラリは、アラーム状態を識別および分類し、適切なアラーム信号を生成するために使用されることができる。図３および図４の方法３００または４００は、本明細書に記載の多変量解析アプローチを使用して、潜在的なアラーム状態４５０を示す信号を生成することができる。潜在的なアラーム状態４５０は、ユーザインターフェース１２０を介してオペレータに伝達され、オペレータは状態を調査して（ステップ５１０）、その状態が物体の正常な動作状態であるか、または真のアラーム状態であるかを判断する（ステップ５１２）。
【0079】
様々な解像度を有するヒストグラムのセットを使用することにより、観測を様々な領域に分離することができる。そのような領域に、根本的な原因（例えば、既知の障害、次善の動作状態のセット、または最適な動作状態）に関するオペレータの知識でラベルを付けることにより、状況を認識することができる。これにより、障害の検出ではなく、障害の特定が可能になる。また、多重解像度アプローチにより、障害の不確実性を推定することも可能である。
【0080】
エンドユーザに安定した傾向および参照を提供するために、可視化モデルのセットも確立される。システムと可視化モデルを分離することで、表現の絶え間ない変化でエンドユーザを混乱させることなく、基礎となるシステムをデータに合わせて正確に変化させることができる。視覚モデルは比較することができ、物体に大きな変化があった場合は、新しい参照を確立することができる。新しい参照と古い参照の間で変換を行うことで、履歴を保存することができる。コンパクトな表現からの再構成を使用して、熱シグネチャおよび異なる時点間の差異を可視化することができる。ドリルダウン分析も可能であり、それによりオペレータはモデルやそのパラメータを調査することができる。
【0081】
状態が正常な動作状態であると判断された場合、オペレータからの入力は、潜在的なアラーム状態として将来のデータポイントを評価する処理で使用される正常状態のセットの更新（ステップ５１４）に使用することができる。
【0082】
状態が真のアラーム状態であると判定された場合、オペレータは障害を特定することができ、状態データに障害情報をラベル付けし（５１６）、この情報を関連する圧縮データとともにデータベース（５１８）に格納することができる。さらに、リアルタイムのサーマルビデオデータストリーム１０６からの圧縮されていないデータは、短期記憶装置５１７からデータベース５１８に書き込まれるか、そうでなければリンクされる。
【0083】
アラームシステム１３０を使用して、適切なアラーム信号を生成することができる。重要な変化または許容範囲外の変化に関するイベントおよびアラームの自動生成は、非常に簡潔なアラームをユーザに提供することができる。イベントおよびアラームは、アラーム状態の発生前（および発生後）の状態および変化に関する情報によってサポートされる。これらのアラームは、監視対象の物体の温度（外気温、動作条件）の通常の変動を考慮し、測定値が物体のベースラインから外れた場合にのみ作動する。これは、アラームが堅牢でありながら、同時に高感度であることを意味する。
【0084】
本方法から出力されるアラーム、変化分析および他のデータは、制御、検査、保守、および安全関連の目的に使用することができる。それには、早期介入、交換、交換用部品の特定、問題のある動作の特定などが含まれる。可視化および分析は、アラームが出された理由とアラームの原因となった変化を可視化することで、オペレータにアラームデータに対する理解を提供する。これにより、オペレータは、特定のアラームを無視すべき理由に対してより自信を持つことができ、あるいはアラームの重大性を理解することができる。
【0085】
本発明の実施形態は、１または複数の物体の状態の正確な推定を可能にし、危険な状況の早期警告を可能にし、通常手動検査を行う人員を危険な環境から排除することにより、ＨＳＥを大幅に改善する。本方法は、侵襲的な設置や大変な手作業の較正に依存することなく、物体を観測している間の訓練プロセスを使用する。データ駆動型のアプローチと正常な状態または物体のベースラインの使用により、システムが障害検出に貢献する前に広範な障害ライブラリの必要性を低減し、何れの設定も殆ど必要ない。
【0086】
この手法は、電気機器、エンジン、ポンプ、炉、タンク、化学反応器、オーブン、パイプ、加熱または冷却システム、または同様の物体の監視など、多くの用途がある。それらの物体に共通するのは、観測可能な熱シグネチャを持つことであり、時間の経過に伴う変化や推移は、根本的な障害を示す可能性がある。
【0087】
上述した説明は、現在の状態監視手法の強化として本発明を使用して、連続的で自動化された障害検出を提供することに関するものであり、障害状態を特定および記録するために使用することができる。この方法は、従来の状態監視で実行される手作業による抜き取り検査よりも改善されたものである。さらに、自己モデル化とデータのコンパクトな表現により、本発明の方法は、監視されるシステムまたは物体の寿命分析を可能にする。
【0088】
物体の熱プロファイルは、コンパクトに保存され、システムの変化の履歴を提供し、その変化には、アラーム状態として特定されていないが、累積的にシステムの問題に寄与するかもしれない一時的な変化が含まれる。例えば、履歴データを用いて、物体が経時的に受ける熱負荷を定量化することができる。これにより、計画的な介入、対象を絞った検査、サブシステムの障害の特定など、メンテナンスを改善することが可能になる。また、モデル化の発展によるシステムのモデルおよび正常な状態の更新も、履歴データを通じて反映させることができ、それにより、発展したモデルの完全な知識を示すシステムの変化と状態の履歴を提供することができる。
【0089】
温度変化による熱負荷、および／または機器エンベロープ外の温度での長時間の動作による熱負荷を定量化するために、履歴モジュール２５２に格納されたデータは、曲線積分の統計的評価を含む、観測対象の物体の識別された各部分または領域の傾向分析（モジュール２５３）を受ける。総寿命熱負荷、通常動作外の熱負荷、機器限界外の熱負荷、および最高温度と最低温度および温度上昇に関する他の統計が計算される。更なる分析により、熱負荷が大きく変化する期間を特定し、オペレータに警告する。
【0090】
生成された統計は、経時的な熱負荷、熱負荷の変化に関する情報および警告を提供し、ウェブアプリケーション２２４または他のユーザインターフェース２２０を介して様々な部分の熱負荷のグラフ表示を提供するために使用される。これは、メンテナンス計画に使用することができ、または、より長い期間またはより短い期間にわたって極端な負荷がかかる場合の対象を絞った検査に使用することができる。また、生成された統計は、分類機関による使用のために、またはシステム状態、交換の必要性の評価および政策価格の決定を行う、例えば保険会社による使用のために、ＡＰＩ２６０からデータエクスポートにエクスポートされることもできる。
【0091】
図６は、観測期間の寿命にわたって物体の総熱負荷を定量化する１つの方法のステップを示すフロー図である。全体が符号６００で示されるこの方法は、データ駆動型多変量解析モデル６１０を使用して、サーマルビデオデータストリームからモデル化されたデータセットを生成する。本発明の前の実施形態と同様に、モデル６１０は、物体上の観測された温度メッシュの時間的推移のモデル化と、様々な空間領域間の共分散のモデル化を含む。モデル６１０は、任意選択的な事前処理または前処理ステップを組み込んでいる。モデル化されたデータ６１２は、データ記憶装置６２０に格納される。
【0092】
時点Ｔ１において、傾向分析６１４が、データ記憶装置６２０から取得された過去のモデル化されたデータを含むモデル化されたデータセット６１２に対して実行され、それによりシステムおよび識別された部分またはサブシステムの熱負荷を示す熱傾向が導き出される。傾向分析の出力は、観測期間の開始から時点Ｔ１まで（第１の時間間隔）の総熱負荷の推定値６１６である。予め設定された閾値との比較６１８が行われ、第１の時間間隔における推定総熱負荷６１６が予め設定された限界を超える場合に、出力信号６２２が発せられる。
【0093】
後の第２の時点Ｔ２において、傾向分析６１４は、時点Ｔ２までのシステムの熱負荷を示す、時点Ｔ２まで取得された測定値を含む熱傾向の後のモデル化されたデータセットに対して実行される。すなわち、出力６１６は、観測期間の開始から時点Ｔ２まで（第２の時間間隔）の総熱負荷の推定値である。
【0094】
第２の時間間隔における推定総熱負荷は、前の第１の時間間隔における推定総熱負荷と比較される（６１８）。時点Ｔ２までの推定総熱負荷が、第２の時間間隔において予め設定された限界を超えるか、または前の第１の時間間隔における推定総熱負荷から予め設定された閾値を超えて増加した場合に、出力信号が発せられる。
【0095】
出力信号６２２は、システムの様々な部分の熱負荷のグラフ表示を含むことができ、ユーザインターフェース６２４は、システムに対するアラーム評価およびオペレータフィードバックを可能にする。ＡＰＩは、システムの完全性を検証するために、例えば保険会社や認証機関などの１または複数のサードパーティまたは外部ソフトウェアシステム６２６に熱負荷データをエクスポートすることを可能にする。
【0096】
熱負荷は、上述したような監視動作を通じて定期的に推定することができ、かつ／または、データ記憶装置から取得された選択されたモデル化されたデータセットに基づき推定することができる。本方法は、温度変化による熱負荷、機器エンベロープ外の温度での長時間の動作による熱負荷、またはそれら影響の組合せの定量化に使用できることが理解されよう。
【0097】
上述した状態監視用途に加えて、本方法は、既存のプロセスデータおよびプロセス知識をモデルに組み込むことができる。既存のシステムからのプロセスデータおよび／またはプロセスモデルを多変量解析に組み込むことにより、監視方法は、プロセスの最適化または理解のために有益である状態情報を明らかにすることができる。
【0098】
本発明は、サーマルビデオデータを用いて物体を監視するための方法およびそのためのシステムを提供する。本方法は、１または複数の熱画像カメラを使用して、物体を含むシーンのサーマルビデオ画像をキャプチャするステップと、処理装置にサーマルビデオデータストリームを出力するステップとを含む。処理装置では、サーマルビデオデータストリームの多変量解析を実行することによりサーマルビデオデータストリームが処理され、それにより物体の挙動の１または複数のモデルが生成される。１または複数のモデルは、物体の熱シグネチャの時間的推移のモデル化と、シーンの様々な部分または領域間の熱シグネチャの共分散のモデル化とを含む。処理は、サーマルビデオデータストリームからの観測データおよび１または複数のモデルを使用して物体の１または複数の正常状態を確立するステップと、サーマルビデオデータストリームからの観測データを物体の１または複数の正常状態と比較して、物体が既知の状態であるか未知の状態であるかを判定するステップとを含む。物体が未知の状態にあると判定された場合に、出力信号が処理装置から出力される。
【0099】
本明細書に記載の手法は、正常な状態または物体のベースラインを確立および更新する自己モデル化システムにおいて、サーマルビデオおよび（任意選択的に）プロセスデータの多変量モデル化および分析を提供する。これにより、正常な状態からの逸脱の検出と定量化が可能になり、正常な状態を経時的に追跡して示すことが可能になる。この手法は、複雑で大きなデータストリームを圧縮する。この手法は、検査可能なサブシステムと原因分析を有する透過的な機械学習手法である。このシステムは各レベルで検査可能であり、ユーザはドリルダウンしてモデルのパラメータ、モデルの変更、現在および過去の傾向を可視化することができる。各アラームは逸脱の根本原因にリンクしており、ユーザは以前の時点とアラームとの間に何が変化したのかを検査することができる。
【0100】
この方法には、物体上の熱メッシュにおける様々な空間領域間の共分散とその時間的推移をモデル化することにより、監視対象のシーン内の接続されていない物体（接続されていないエンジン部品または異なるユニットの分離など）を自動的に検出することが含まれる。複雑なビデオ信号を個々の熱傾向に分解し、同タイプの機器のモデル間の類似性マッチングを行うことができる。
【0101】
なお、本発明の範囲内において、上述した実施形態に様々な変更を加えることができ、本発明は、本明細書で明示的に請求する以外の特徴の組合せにも及ぶものである。
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【手続補正書】
【提出日】2022-12-21
【手続補正1】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項1】
サーマルビデオデータを使用して１または複数の物体を監視する方法であって、
－１または複数の熱画像カメラを使用して、１または複数の物体を含むシーンのサーマルビデオ画像をキャプチャし、サーマルビデオデータストリームを処理装置に出力するステップと、
－前記処理装置において、
サーマルビデオデータストリームの多変量解析を実行して、１または複数の物体の挙動の１または複数のモデルを生成する工程であって、前記１または複数のモデルが、１または複数の物体の熱シグネチャの時間的推移のモデル化と、前記シーン内の１または複数の物体または別個の物体の様々な部分または領域間の熱シグネチャの共分散のモデル化とを含む、工程と、
前記１または複数のモデルからモデル化されたデータを生成する工程と、
サーマルビデオデータストリームからの観測データおよび前記１または複数のモデルを使用して、１または複数の物体の１または複数の正常状態を確立する工程と、
モデル化されたデータを１または複数の物体の１または複数の正常状態と比較して、物体が既知の状態にあるか未知の状態にあるかを判定する工程と
によって、サーマルビデオデータストリームを処理するステップと、
－１または複数の物体が未知の状態にあると判定された場合に、前記処理装置から出力信号を生成するステップとを備えることを特徴とする方法。
【請求項2】
請求項１に記載の方法において、
前記モデル化されたデータが、圧縮されたサーマルビデオデータシーケンスを含むことを特徴とする方法。
【請求項3】
請求項１または２に記載の方法において、
前記１または複数のモデルを使用して、前記サーマルビデオデータからの観測データを部分空間で表現するステップを含み、前記部分空間が、サーマルビデオデータストリームよりも低次元であることを特徴とする方法。
【請求項4】
請求項１～３の何れか一項に記載の方法において、
前記処理装置にプロセスデータを入力するステップであって、前記プロセスデータが、１または複数の物体を利用するプロセスに関連する、ステップと、前記プロセスデータを前記１または複数のモデルに組み込むステップとを含むことを特徴とする方法。
【請求項5】
請求項１～４の何れか一項に記載の方法において、
シミュレーションデータを前記処理装置に入力するステップであって、前記シミュレーションデータが、１または複数の物体の内部状態の推定に関連する、ステップと、前記シミュレーションデータを前記１または複数のモデルに組み込むステップとを含むことを特徴とする方法。
【請求項6】
請求項１～５の何れか一項に記載の方法において、
前記処理装置から１または複数のモデル特徴を出力するステップと、前記モデル特徴をデータ記憶装置に記憶するステップとを含むことを特徴とする方法。
【請求項7】
請求項６に記載の方法において、
前記モデル特徴が、前記モデルで使用される負荷を含むことを特徴とする方法。
【請求項8】
請求項１～７の何れか一項に記載の方法において、
キャプチャされた熱画像をデータの追加の時空間表現で拡張して、マルチチャネルまたはマルチスペクトル測定ビデオデータストリームを作成するステップを含むことを特徴とする方法。
【請求項9】
請求項１～８の何れか一項に記載の方法において、
サーマルビデオデータシーケンスからの非圧縮データをデータ記憶装置に記憶するステップを含むことを特徴とする方法。
【請求項10】
請求項１～９の何れか一項に記載の方法において、
学習段階中に、サーマルビデオデータストリームからの観測データおよび前記１または複数のモデルを使用して、１または複数の初期正常状態を確立するステップを含むことを特徴とする方法。
【請求項11】
請求項１０に記載の方法において、
１または複数の物体の１または複数の正常状態を確立することが、監視段階中に、サーマルビデオデータストリームからの観測データおよび前記１または複数のモデルを使用して、前記１または複数の初期正常状態を更新することを含むことを特徴とする方法。
【請求項12】
請求項１～１１の何れか一項に記載の方法において、
モデルの既存のセットにさらに負荷を加えること、特定の状態を表現するために新しいモデルを加えること、またはモデルの負荷を変更すること、のうちの１または複数によって、前記１または複数のモデルを更新するステップを含むことを特徴とする方法。
【請求項13】
請求項１～１２の何れか一項に記載の方法において、
出力信号からオペレータへのアラーム信号を生成するステップを含むことを特徴とする方法。
【請求項14】
請求項１～１３の何れか一項に記載の方法において、
１または複数の物体が未知の状態にあると判定された信号をユーザインターフェースに送信するステップと、１または複数の物体の未知の状態を正常状態または異常状態として分類するオペレータからの入力を受信するステップとを含むことを特徴とする方法。
【請求項15】
請求項１～１４の何れか一項に記載の方法において、
異常状態を障害ラベルで分類および／またはラベル付けするステップを含むことを特徴とする方法。
【請求項16】
サーマルビデオデータを分析する方法であって、
－処理装置において、サーマルビデオデータストリームを受信するステップであって、サーマルビデオデータストリームが、１または複数の熱画像カメラを使用してキャプチャされた１または複数の物体を含むシーンのサーマルビデオ画像のシーケンスを含む、ステップと、
－前記処理装置において、
サーマルビデオデータストリームの多変量解析を実行して、１または複数の物体の挙動の１または複数のモデルを生成する工程であって、前記１または複数のモデルが、１または複数の物体の熱シグネチャの時間的推移のモデル化と、前記シーン内の１または複数の物体または別個の物体の様々な部分または領域間の熱シグネチャの共分散のモデル化とを含む、工程と、
前記１または複数のモデルからモデル化されたデータを生成する工程と、
サーマルビデオデータストリームからの観測データおよび前記１または複数のモデルを使用して、１または複数の物体の１または複数の正常状態を確立する工程と、
モデル化されたデータを物体の１または複数の正常状態と比較して、物体が既知の状態にあるか未知の状態にあるかを判定する工程と
によって、サーマルビデオデータストリームを処理するステップと、
－１または複数の物体が未知の状態にあると判定された場合に、前記処理装置から出力信号を生成するステップとを備えることを特徴とする方法。
【請求項17】
サーマルビデオ画像から１または複数の物体の熱負荷を評価する方法であって、
－処理装置において、データ記憶装置からデータセットを受信するステップであって、前記データセットが、
サーマルビデオデータストリームを処理する工程であって、サーマルビデオデータストリームが、１または複数の熱画像カメラを使用してキャプチャされた１または複数の物体を含むシーンのサーマルビデオ画像のシーケンスを含む、工程と、
１または複数のモデルを使用してサーマルビデオデータストリームからモデル化されたデータを生成するステップであって、前記１または複数のモデルが、１または複数の物体の熱シグネチャの時間的推移のモデル化と、前記シーン内の１または複数の物体または別個の物体の様々な部分または領域間の熱シグネチャの共分散のモデル化とを含む、工程と
によって生成されたモデル化されたデータを含み、
前記モデル化されたデータが、圧縮されたサーマルビデオデータシーケンスを含む、ステップと、
－処理装置において、
システムの熱負荷を示す熱傾向の分析を実行して、ある時間間隔における総熱負荷を推定する工程と、
前記総熱負荷が予め設定された限界を超えるか、または指定された時間ウィンドウにおいて予め設定された量を超えて増加した場合に、出力信号を発する工程と
によって、前記データセットを分析するステップとを含むことを特徴とする方法。
【請求項18】
請求項１７に記載の方法において、
前記１または複数のモデルを使用して、前記サーマルビデオデータからの観測データを部分空間で表現するステップを含み、前記部分空間が、前記サーマルビデオデータストリームよりも低次元であることを特徴とする方法。
【請求項19】
請求項１７または１８に記載の方法において、
前記処理装置から１または複数のモデル特徴を出力するステップと、前記モデル特徴をデータ記憶装置に記憶するステップとを含むことを特徴とする方法。
【請求項20】
請求項１９に記載の方法において、
前記モデル特徴が、前記モデルで使用される負荷を含むことを特徴とする方法。
【請求項21】
請求項１７～２０の何れか一項に記載の方法において、
サーマルビデオデータシーケンスからの非圧縮データをデータ記憶装置に記憶するステップを含むことを特徴とする方法。
【請求項22】
請求項１７～２１の何れか一項に記載の方法において、
前記総熱負荷の表現を生成して、その表現をユーザインターフェースに送信するステップを含むことを特徴とする方法。
【請求項23】
請求項１７～２２の何れか一項に記載の方法において、
前記時間間隔における推定総熱負荷と、以前の時間ウィンドウにおける推定総熱負荷とを比較するステップと、前記推定総熱負荷が、以前の時間ウィンドウにおける推定総熱負荷から予め定められた量を超えて増加している場合に出力信号を発するステップとを含むことを特徴とする方法。
【請求項24】
請求項１７～２３の何れか一項に記載の方法において、
当該方法が、１または複数のアプリケーションプログラミングインターフェース（ＡＰＩ）を含むシステムで実行され、当該方法が、１または複数のサードパーティまたは外部ソフトウェアシステムに熱負荷データをエクスポートするステップを含むことを特徴とする方法。
【請求項25】
請求項１～２４の何れか一項に記載の方法を実行するように構成された装置。
【請求項26】
請求項１～２４の何れか一項に記載の方法を処理装置に実行させることができるコンピュータ実行可能命令を保持するコンピュータ可読媒体。
【手続補正2】
【補正対象書類名】明細書
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、経時的な熱画像を使用して物体および機器を監視するための方法および／またはシステムに関し、特に、経時的な物体の熱特性（熱シグネチャ）を示す熱画像を取得すること、並びに、熱画像から得られるデータを分析して、障害および／またはプロセス状態を含む物理的特性を示す変化または推移を特定することによって、物体および機器を監視するための方法および／またはシステムに関する。本発明の一態様は、物体および機器の状態履歴を経時的に分析するための方法に関する。本発明の態様は、物体または機器の障害ライブラリを作成するために使用することができる。本発明は、エンジン、ポンプ、電気機器、コンテナ、容器、オーブン、炉、反応器、加熱および冷却システム、パイプに限定されるものではないが、これらを含む物体および機器の監視、並びに、そのような物体および機器内で行われるプロセスまたは他の方法で利用するプロセスの監視および／または状態推定に適用することができる。
【背景技術】
【0002】
従来、物体および機器の状態監視は、手作業による検査手法で行われてきた。通常は、サーマルカメラまたは熱電対などの携帯型センサを使用して、観測される熱の空間分布の変化を手作業で分析することにより、一定間隔で（例えば、６ヶ月ごとに）対象物を検査する。そのような手法は、熱分布の大きな変化や漏れを検出することができるが、検査できる対象ポイントに限界があり、監視は、観測期間中の状態にしか敏感ではない。それらの方法では、将来的に物体および機器の問題につながる可能性のある過去の一時的な状態を検出することはできず、機器の累積的な状態履歴に関する情報を提供することはできない。
【0003】
また、サーマルビデオによる機器のリアルタイム監視も行われており、オペレータがビデオ画面を見ることにより、選択されたビデオシーケンスを記録および検査して、状態の変化を識別することができる。しかしながら、そのようなアプローチでは、システムの動的な変化を捉えることは困難であり、ビデオシーケンスのどこをチェックすべきかを知ることは困難である。また、オペレータは一時的な状態を見逃し易く、経時的な熱応力および／または熱歪みなど、機器の累積的な状態履歴に関する情報を導き出すことは困難である。
【0004】
サーマルビデオを用いたリアルタイム監視は、現在、非常に高い温度などの特定の既知の状態を検出する際に最も効果的に使用されており、危険な状態またはインシデントを検出する可能性を有している。サーマルビデオの分析には、監視対象となるいくつかの選択された重要な領域の経時的なデータをプロットし、それらの選択された重要な領域における状況の推移を確認することが含まれ得る。しかしながら、収集および分析されたデータは、プロセスおよび周囲の状態に大きく影響を受け、重要な領域以外の緩やかな変化を検出したり、新しい（すなわち、これまで知られていなかった）状況を表現および理解したりすることが非常に難しい。
【0005】
中国特許公開ＣＮ１１０１３９０６９Ａは、変電所の熱画像温度測定監視システムを開示している。このシステムは、画像情報取得サブシステムと、取得した画像情報を処理するためのハードウェアおよびソフトウェアとを備える。このシステムは、不特定のビッグデータ分析方法を適用し、閾値に基づいてアラーム通知を生成する。
【0006】
欧州特許公開ＥＰ３２６０８５１Ａ１は、異常検出に赤外線カメラを使用する機械状態監視システムを開示している。このシステムは、モデルを使用して、２Ｄデータを３Ｄサーモグラフィ用の３Ｄにマッピングして、画像の経時変化を記録する。このシステムは、エキスパートシステムと閾値を使用して、異常を検出する。
【0007】
国際特許公開ＷＯ２０１８／１１１１１６は、多変量解析とパターン認識技術を使用して、大量の多次元データを処理することにより、自己発展モデルを生成する、全体的なアプローチを記載している。この手法は、システム監視アプリケーションや、データファイルの圧縮された効率的な伝送のために一般的に使用することができる。
【0008】
物体、機器およびプロセスの熱シグネチャ、および熱シグネチャの経時変化を、一定のアラームレベルに依存することなく、正確に監視する自動化されたソリューションの必要性が存在する。
【発明の概要】
【0009】
上述したものを含む利用可能な熱画像監視システムの１または複数の欠点または不利益を回避または軽減する、熱画像を使用して物体および機器を監視するための方法および／またはそのためのシステムを提供することは、本発明の目的および目標に含まれる。
【0010】
特に、本発明の一態様の１つの目的は、プロセスおよび周囲条件、視野角、測定対象までの距離に対する感度が低下しているまたは感度の低い熱画像を使用して、物体および機器を監視するための方法および／またはシステムを提供することである。
【0011】
本発明の一態様の別の目的は、新しい予期せぬ状態または状況を検出する能力が改善された方法および／またはシステムを提供することである。
【0012】
本発明の一態様の別の目的は、高レベルの事前設定または初期化を行うことなく、特に障害ライブラリに依存することなく、様々な異なる監視シナリオに柔軟に適用できる方法および／またはシステムを提供することである。
【0013】
本発明の一態様の別の目的は、小さな変化および／または一時的な変化に対して感度が高く、経時的に受ける熱応力または熱歪みなどの状態履歴に関連する情報を提供することができる方法および／またはシステムを提供することである。
【0014】
本発明の第１の態様によれば、サーマルビデオデータを使用して物体を監視する方法が提供され、この方法が、
－１または複数の熱画像カメラを使用して、１または複数の物体を含むシーンのサーマルビデオ画像をキャプチャし、サーマルビデオデータストリームを処理装置に出力するステップと、
－処理装置において、
サーマルビデオデータストリームの多変量解析を実行して、１または複数の物体の挙動の１または複数のモデルを生成する工程であって、１または複数のモデルが、１または複数の物体の熱シグネチャの時間的推移のモデル化と、シーン内の１または複数の物体または別個の物体の様々な部分または領域間の熱シグネチャの共分散のモデル化とを含む、工程と、
１または複数のモデルからモデル化されたデータを生成する工程と、
サーマルビデオデータストリームからの観測データおよび１または複数のモデルを使用して、１または複数の物体の１または複数の正常状態を確立する工程と、
モデル化されたデータを１または複数の物体の１または複数の正常状態と比較して、物体が既知の状態にあるか未知の状態にあるかを判定する工程と
によって、サーマルビデオデータストリームを処理するステップと、
－１または複数の物体が未知の状態にあると判定された場合に、処理装置から出力信号を生成するステップとを備える。
【0015】
モデル化されたデータは、圧縮されたサーマルビデオデータシーケンスを含むことができる。本方法は、１または複数のモデルを使用して、サーマルビデオデータからの観測データを部分空間で表現するステップを含むことができ、部分空間は、サーマルビデオデータストリームよりも低次元である。
【0016】
本方法は、処理装置にプロセスデータを入力するステップであって、プロセスデータが、１または複数の物体を利用するプロセスに関連する、ステップと、プロセスデータを１または複数のモデルに組み込むステップとを含むことができる。
【0017】
本方法は、シミュレーションデータを処理装置に入力するステップであって、シミュレーションデータが、１または複数の物体の内部状態の推定に関連する、ステップと、シミュレーションデータを１または複数のモデルに組み込むステップとを含むことができる。
【0018】
本方法は、処理装置から１または複数のモデル特徴を出力するステップと、モデル特徴をデータ記憶装置に記憶するステップとを含むことができる。モデルの特徴は、モデルで使用される負荷、またはモデル化されたデータからリアルタイムデータを定義された精度で再現することを可能にする他のモデルの特徴を含むことができる。
【0019】
本方法は、観測された熱画像をデータの追加の時空間表現で拡張するステップを含むことができ、これにより、単一チャネル測定ビデオをマルチチャネルまたはマルチスペクトル測定ビデオに変換することができる。
【0020】
本方法は、サーマルビデオデータシーケンスからの非圧縮データをデータ記憶装置に記憶するステップを含むことができる。例えば、１または複数の物体の未知の状態が検出された時点Ｔ、および／または時点Ｔに至るまでの期間、および／または時点Ｔに続く期間からの非圧縮データを記憶することができる。
【0021】
本方法は、学習段階中に、サーマルビデオデータストリームからの観測データおよび１または複数のモデルを使用して、１または複数の初期正常状態を確立するステップを含むことができる。好ましくは、物体の１または複数の正常状態を確立することが、サーマルビデオデータストリームからの観測データおよび１または複数のモデルを使用して、監視段階中に、１または複数の初期正常状態を更新することを含む。
【0022】
本方法は、１または複数のモデルを更新するステップを含むことができ、この更新は、モデルの既存のセットにさらに負荷（直交または非直交）を加えること、特定の状態を表現するために新しいモデルを加えること、またはモデルの負荷を変更すること、のうちの１または複数を含むことができる。
【0023】
本方法は、出力信号からオペレータにアラーム信号を生成するステップを含むことができ、このアラーム信号は、物体の未知の状態の検出を示すことができる。
【0024】
本方法は、１または複数の物体が未知の状態にあると判断された信号をユーザインターフェースに送信するステップを含むことができる。本方法は、１または複数の物体の未知の状態を正常状態または異常状態としてオペレータが検証するステップを含むことができる。
【0025】
本方法は、異常状態を障害ラベルで分類および／またはラベル付けするステップを含むことができる。これにより、将来の動作において異常状態を認識することができ、それによって障害の特定が可能になる。
【0026】
本発明の第２の態様によれば、サーマルビデオデータを分析する方法が提供され、この方法が、
－処理装置において、サーマルビデオデータストリームを受信するステップであって、サーマルビデオデータストリームが、１または複数の熱画像カメラを使用してキャプチャされた１または複数の物体を含むシーンのサーマルビデオ画像のシーケンスを含む、ステップと、
－処理装置において、
サーマルビデオデータストリームの多変量解析を実行して、１または複数の物体の挙動の１または複数のモデルを生成する工程であって、１または複数のモデルが、１または複数の物体の熱シグネチャの時間的推移のモデル化と、シーン内の１または複数の物体または別個の物体の様々な部分または領域間の熱シグネチャの共分散のモデル化とを含む、工程と、
１または複数のモデルからモデル化されたデータを生成する工程と、
サーマルビデオデータストリームからの観測データおよび１または複数のモデルを使用して、１または複数の物体の１または複数の正常状態を確立する工程と、
モデル化されたデータを物体の１または複数の正常状態と比較して、１または複数の物体が既知の状態にあるか未知の状態にあるかを判定する工程と
によって、サーマルビデオデータストリームを処理するステップと、
－１または複数の物体が未知の状態にあると判定された場合に、処理装置から出力信号を生成するステップとを備える。
【0027】
本発明の第２の態様の実施形態は、本発明の第１の態様またはその実施形態の１または複数の特徴を含むことができ、その逆もまた同様である。
【0028】
本発明の第３の態様によれば、サーマルビデオデータを処理する方法が提供され、この方法が、
－処理装置において、サーマルビデオデータストリームを受信するステップであって、サーマルビデオデータストリームが、１または複数の熱画像カメラを使用してキャプチャされた物体を含むシーンのサーマルビデオ画像のシーケンスを含む、ステップと、
－処理装置において、
・１または複数のモデルを使用してサーマルビデオデータストリームからモデル化されたデータを生成するステップであって、１または複数のモデルが、物体の熱シグネチャの時間的推移のモデル化と、物体の様々な部分または領域間の熱シグネチャの共分散のモデル化とを含む、工程と、
・処理装置からモデル化されたデータを出力する工程と、
・モデル化されたデータをデータ記憶装置に記憶する工程と
によって、サーマルビデオデータストリームを処理するステップとを備える。
【0029】
モデル化されたデータは、圧縮されたサーマルビデオデータシーケンスを含むことができる。本方法は、１または複数のモデルを使用して、サーマルビデオデータからの観測データを部分空間で表現するステップを含むことができ、部分空間が、サーマルビデオデータストリームよりも低次元である。
【0030】
本方法は、処理装置から１または複数のモデル特徴を出力するステップと、データ記憶装置にモデル特徴を記憶するステップとを含むことができる。モデル特徴は、モデルで使用される負荷、またはモデル化されたデータからリアルタイムデータを定義された精度で再現することを可能にする他のモデル特徴を含むことができる。
【0031】
本方法は、サーマルビデオデータシーケンスからの非圧縮データをデータ記憶装置に記憶するステップを含むことができる。例えば、物体の未知の状態が検出された時点Ｔ、および／または時点Ｔに至るまでの期間、および／または時点Ｔに続く期間からの非圧縮データを記憶することができる。
【0032】
本発明の第３の態様の実施形態は、本発明の第１または第２の態様またはそれらの実施形態の１または複数の特徴を含むことができ、その逆もまた同様である。
【0033】
本発明の第４の態様によれば、サーマルビデオ画像から１または複数の物体の熱負荷を評価する方法が提供され、この方法が、
処理装置において、データ記憶装置からデータセットを受信するステップであって、データセットが、
サーマルビデオデータストリームを処理する工程であって、サーマルビデオデータストリームが、１または複数の熱画像カメラを使用してキャプチャされた１または複数の物体を含むシーンのサーマルビデオ画像のシーケンスを含む、工程と、
１または複数のモデルを使用してサーマルビデオデータストリームからモデル化されたデータを生成するステップであって、１または複数のモデルが、１または複数の物体の熱シグネチャの時間的推移のモデル化と、シーン内の１または複数の物体または別個の物体の様々な部分または領域間の熱シグネチャの共分散のモデル化とを含む、工程と
によって生成されたモデル化されたデータを含み、
モデル化されたデータが、圧縮されたサーマルビデオデータシーケンスを含む、ステップと、
処理装置において、
システムの熱負荷を示す熱傾向の分析を実行して、ある時間間隔における総熱負荷を推定する工程と、
総熱負荷が予め設定された限界を超えるか、または指定された時間ウィンドウにおいて予め設定された量を超えて増加した場合に、出力信号を発する工程と
によって、データセットを分析するステップとを含む。
【0034】
本明細書において、「熱負荷」という用語は、温度変化（例えば、温度変化の大きさ、速度および／または頻度）による物体または物体の一部分に対する影響、および／または物体の通常の動作エンベロープ外の温度での動作期間（動かなくてもよい）による物体または物体の一部分に対する影響を意味するために使用される。それらの影響は、熱応力および熱歪みとそれぞれ呼ばれる場合がある。本方法は、温度変化による熱歪みの影響、機器エンベロープ外の温度での長時間の動作による熱歪みの影響、またはそれら影響の組合せの定量化に使用できることを理解されたい。
【0035】
本方法は、１または複数のモデルを使用して、サーマルビデオデータからの観測データを部分空間で表現するステップを含むことができ、部分空間が、サーマルビデオデータストリームよりも低次元である。
【0036】
本方法は、処理装置から１または複数のモデル特徴を出力するステップと、データ記憶装置にモデル特徴を記憶するステップとを含むことができる。モデル特徴は、モデルで使用される負荷、またはモデル化されたデータからリアルタイムデータを定義された精度で再現することを可能にする他のモデル特徴を含むことができる。
【0037】
本方法は、サーマルビデオデータシーケンスからの非圧縮データをデータ記憶装置に記憶するステップを含むことができる。例えば、物体の未知の状態が検出された時点Ｔ、および／または時点Ｔに至るまでの期間、および／または時点Ｔに続く期間からの非圧縮データを記憶することができる。
【0038】
本方法は、総熱負荷の表現を生成して、その表現をユーザインターフェースに送信するステップを含むことができる。
【0039】
本方法は、時間間隔における推定総熱負荷と、以前の時間ウィンドウにおける推定総熱負荷とを比較するステップを含むことができる。本方法は、推定総熱負荷が、以前の時間ウィンドウにおける推定総熱負荷から予め定められた量を超えて増加している場合に出力信号を発するステップを含むことができる。
【0040】
本方法は、１または複数のＡＰＩを含むシステムで実行することができ、本方法は、熱負荷データを１または複数のサードパーティまたは外部ソフトウェアシステムにエクスポートするステップを含むことができる。本方法は、システムの完全性を検証するために、例えば、保険会社または認証機関に熱負荷データをエクスポートすることを含むことができる。
【0041】
本発明の第４の態様の実施形態は、本発明の第１～第３の態様またはそれらの実施形態の１または複数の特徴を含むことができ、その逆もまた同様である。
【0042】
本発明の第５の態様によれば、サーマルビデオ画像から物体の熱負荷を評価する方法が提供され、この方法が、
－処理装置において、サーマルビデオデータストリームを受信するステップであって、サーマルビデオデータストリームが、１または複数の熱画像カメラを使用してキャプチャされた物体を含むシーンのサーマルビデオ画像のシーケンスを含む、ステップと、
－処理装置において、
サーマルビデオデータストリームの多変量解析を実行して、物体の挙動の１または複数のモデルを生成する工程であって、１または複数のモデルが、物体の熱シグネチャの時間的推移のモデル化と、シーンの様々な部分または領域間の熱シグネチャの共分散のモデル化とを含む、工程と、
１または複数のモデルからモデル化されたデータを生成する工程と、
システムの熱負荷を示す熱傾向のモデル化されたデータに対する分析を実行して、ある時間間隔における総熱負荷を推定する工程と、
総熱負荷が予め設定された限界を超えるか、または指定された時間ウィンドウにおいて予め設定された量を超えて増加した場合に、出力信号を発する工程と
によって、サーマルビデオデータストリームを処理するステップとを含む。
【0043】
本発明の第５の態様の実施形態は、本発明の第１～第４の態様またはそれらの実施形態の１または複数の特徴を含むことができ、その逆もまた同様である。
【0044】
本発明の第６の態様によれば、本発明の第１～第５の態様の何れかの方法を実行するように構成された装置が提供される。
【0045】
本発明の第６の態様の実施形態は、本発明の第１～第５の態様またはそれらの実施形態の１または複数の特徴を含むことができ、その逆もまた同様である。
【0046】
本発明の第７の態様によれば、本発明の第１～第５の態様の何れかの方法を処理装置に実行させることができるコンピュータ実行可能命令を保持するコンピュータ可読媒体が提供される。
【0047】
本発明の第７の態様の実施形態は、本発明の第１～第６の態様またはそれらの実施形態の１または複数の特徴を含むことができ、その逆もまた同様である。
【図面の簡単な説明】
【0048】
以下に、単なる例示として、図面を参照しながら本発明の様々な実施形態を説明する。
【図1】図１は、本発明の一実施形態に係るサーマルビデオ監視システムの概略図である。
【図2】図２は、本発明の一実施形態に係るサーマルビデオ監視システムおよび方法の機能コンポーネントを概略的に示すブロック図である。
【図3】図３は、本発明の一実施形態に係るサーマルビデオデータ分析方法のステップを示すフロー図である。
【図4】図４は、本発明の好ましい実施形態で使用されるサーマルビデオデータ監視方法のステップを示すフロー図である。
【図5】図５は、本発明の一実施形態に係る障害ライブラリを生成する方法のステップを示すフロー図である。
【図6】図６は、本発明の一実施形態に係る熱負荷推定方法のステップを示すフロー図である。
【発明を実施するための形態】
【0049】
最初に図１を参照すると、物体または機器１０２のためのサーマルビデオ監視システムが、符号１００で全体が示されている。このシステム１００は、監視対象の物体１０２が位置するシーンに向けられた視野を有するサーマルビデオカメラ１０４を含む。この例では、物体１０２は、工業プロセスにおける化学反応器であり、関連する配管を含む。サーマルビデオカメラ１０４は、処理装置１１０と通信し、この処理装置は、ユーザインターフェース１２０およびアラームシステム１３０と通信する。カメラは、監視動作にわたって同じシーンおよび物体から受動的に画像をキャプチャするように配置されている。図１には、単一のサーマルビデオカメラ１０４が示されているが、システムは、２以上のサーマルビデオカメラを含むことができる。複数のカメラにより、例えば、大きなシーン、様々な方向から見た同じシーンまたは物体を監視すること、またはより高解像度の撮像、シーン内の様々な物体を提供すること、またはデータの冗長性を提供することが可能になる。
【0050】
サーマルビデオカメラ（または複数のカメラ）は、何千もの個別の温度センサとして動作し、サーマルビデオデータストリームにおける高次元温度測定値（カメラセンサモジュールの各ピクセルに対応するもの）のセットを生成する。カメラは、データストリームを処理装置１１０に送信し、処理装置は、データを受信し、後述する手法を使用して処理する。カメラは、任意の適切なデータ伝送プロトコルを使用して、データ伝送ケーブルを介してまたはワイヤレスで処理装置にデータを伝送することができる。典型的な態様では、サーマルビデオデータは、処理モジュールに１秒間に複数回送信され、シーンおよび物体の時空間温度メッシュのシーケンスをリアルタイムで提供する。その結果、物体上の熱の空間分布とその時間的推移の両方が測定される。
【0051】
処理装置１１０は、ソフトウェアモジュールを使用してデータを記憶および処理する。処理装置は、例えば物体１０２の産業環境内にある、カメラに対してローカルなコンピュータまたは処理クラスタであってよい。代替的には、処理装置は、カメラから離れていてもよく、その場合、データは、ネットワークアクセスを有するローカルコンピュータまたは別のゲートウェイユニットを経由して、ＷＡＮまたは他の通信ネットワークを介して遠隔地に送信され得る。リモート処理装置は、遠隔地にあるコンピュータまたはクラウドベースの処理クラスタであってもよく、本発明の範囲内では、処理装置およびその装置で実行されるステップが、カメラおよび物体が位置する区域とは異なる区域にあってもよいことが理解されよう。
【0052】
データの処理には、物体のベースラインおよび物体の熱シグネチャの正常な状態を確立するためのデータ駆動型のモデル化と、シグネチャが時間とともにどのように変化するかを追跡するための偏差および傾向の分析が含まれる。処理は、サーマルビデオストリームのリアルタイム分析用にカスタマイズされ、後述するように、多くの入力と出力との間の同時変化をモデル化する多変量解析を含む。
【0053】
ユーザインターフェース１２０は、システムのオペレータがイベント、モデル、データ、傾向および経時変化を視覚化および検査できるようにするための一連のサービスによって提供される、ウェブベースで使用されるインターフェースである。ユーザインターフェース１２０は、リアルタイムでの物体の熱シグネチャの視覚化、および／または変化、傾向、過去の状況および検出された未知の状態の視覚化を提供することができる。また、ユーザインターフェースは、オペレータが追加情報またはデータを呼び出すこと、特定の状況または状態を分析すること、データを入力すること、並びに、一般的なシステム管理も可能にする。オペレータは、アラームの確認、アラームの解釈の入力、モデルの確認と更新、システムに対する変更の監査の実施、およびリアルタイム撮像の確認を行うことができる。
【0054】
アラームシステム１３０は、未知の状態または識別されたアラーム状態に対応するアラーム信号を、ユーザインターフェース１２０とは別に、例えば物体１０２の位置または別の選択された位置で生成する機能をシステムに提供する。アラーム信号は、可視、可聴またはその両方であってもよく、処理装置１１０から出力され、（任意選択的には、検出された状態がアラーム信号の生成を必要とすることをオペレータが確認した後に）システムから自動的に生成される。
【0055】
システム１００は、任意選択的には、プロセスインターフェースモジュール１１５を備え、このモジュールにより、プロセスデータのセットをシステムに入力することができる。プロセスデータは、物体内で行われているプロセス、周囲条件、人間の介入、予想される視覚的外観、および／または他の直接的な測定に関連する測定値および制御データである。これにより、物体内で行われているプロセスのコンテキストでのモデル化およびアラーム生成が容易になり、外乱に対するシステムの堅牢性が向上し、障害識別および障害検出が改善される。プロセス測定値および／または制御データが利用可能である場合、それら測定値は、予想されるシステム状態、周囲条件に関する情報を含むように、かつ他の直接的な測定値を含むように拡張することができる。
【0056】
図１および上述した説明は、本発明の原理を説明するための、本発明の一実施形態を単純化したものである。好ましい特徴および任意の特徴の更なる詳細は、図２～図６を参照して説明される。
【0057】
図２は、本発明の一実施形態に係るサーマルビデオ監視システムおよび方法の機能コンポーネントを概略的に示すブロック図である。全体が符号２００で示されるシステムは、ハードウェアおよびソフトウェアシステムコンポーネントで実装される機能モジュールを含む。リアルタイムデータインターフェース２０１は、熱キャプチャデータインターフェース２０４およびプロセスデータ統合インターフェース２１５（図１を参照して説明したインターフェース１１５と機能的に同様）を含む。シミュレーションデータインターフェース２０２は、物体１０２の挙動および／または物体を利用するプロセスのシミュレーションモデルからデータを入力することを可能にする。シミュレーションモデルは、（例えば、より高速な多変量メタモデルを介して）測定値に適合され、物体における既知の変動タイプの内部状態の推定を含み、物体における新しい未知の変動タイプを発見してパラメータ化することができる。オープンプラットフォーム通信（ＯＰＣ）データアクセスおよびＯＰＣ統一アーキテクチャは、適切なインターフェースの例である。短期データ記憶２０６は、入力データを収集するために使用される。
【0058】
任意選択的には、システムは、画像拡張モジュール（図示せず）を含み、このモジュールでは、追加の時空間表現を使用して、マルチスペクトルビデオシステムを作成するために入力をさらに拡張することができる。画像拡張は、例えば、空間的および／または時間的ドメインにおける派生画像、差分画像または平滑化画像を含むことができる。画像拡張は、測定データを強化することによって、時空間パターンをモデル化するシステムの能力をさらに拡張する。
【0059】
コア層２４０では、システムが、予測および推定モジュール２４４を備える。予測および推定モジュール２４４は、予測および多変量較正モデルを使用して、（センサによって観測された）観測温度と、物体表面温度のより正確な表現と、または内部温度の推定との間のマッピングを行う。多変量較正モデルは、例えば、ピクセル重み付けされた部分最小二乗回帰およびその非線形または局所的拡張に基づいて、または他のデータ駆動型機械学習方法に基づいて、オフラインで生成されるものであってもよい。較正モデルは、必要に応じて後で更新することができ、場合によっては、物体の表面特性に関するデータ（既知の３Ｄ形状および既知の材料タイプ）と組み合わせることができる。逆に、予想される熱画像と観測された熱画像との間の不一致から、物体の実際の３Ｄ形状および材料タイプに関する新たな情報が得られることもある。物体シミュレータを組み込むことにより、それら温度を境界条件として使用して、プロセス条件および観測された物体内部の状態を（そのような関係が存在する場合に）推定することができる。また、カメラまたは物体が引き起こす時空間的な動きおよび／または熱変化をモデルとともに利用して、次に予想される熱画像を予測することもできる。このシミュレーション情報は、例えば、一時的に遮蔽された領域における、またはフレームの欠落による、熱画像要素の欠落を埋めるために利用することができる。
【0060】
また、コア層は、サーマルビデオデータストリームの多変量解析を実行して、物体の挙動の１または複数のモデルを生成するためのソフトウェアモジュール２４２も含む。モデルは、（サーマルビデオデータストリームからの）データ駆動型であり、物体の熱シグネチャの時間的推移のモデル化と、物体の様々な部分または領域間の熱シグネチャの共分散のモデル化とを含む。モデル化は、低次元の部分空間における観測データの表現によって高次元のサーマルビデオデータを圧縮することを含む。サーマルカメラによって撮像されたシーンは、異なる物体または異なる領域に空間的に分割またはセグメント化することができ、それらを一緒にかつ／または個別にモデル化することができる。この分割は、（例えば、部分最小二乗法（ＰＬＳ）パスモデリングと同様に）カメラが描写する１または複数の物体に関する事前知識に基づくことができ、かつ／または、（階層的クラスタベースのＰＬＳ回帰（ＰＬＳＲ）と同様に）サーマルカメラデータストリームを要約する部分空間モデルにおける体系的な時空間変化パターンに基づくことができる。セグメンテーションは、時間領域、空間画像領域、および／またはスコア、負荷および残差の部分空間パターン領域で実行することができる。こうして生じる個々のデータストリームの分析は、局所的なバイリニアモデリングの階層に基づくことができる。これらのローカルデータモデルは、マルチブロック、マルチマトリックスまたは多元因子分析および回帰手法（例えば、マルチブロック主成分分析（ＰＣＡ）およびＰＬＳＲ、逐次および直交ＰＬＳ（ＳＯ－ＰＬＳ）、ＰＬＳパス分析、サポートベクターマシン（ＳＶＭ）処理、人工ニューラルネットワーク（ＡＮＮ）処理、回帰木およびその非線形拡張）によって、例えば、空間および／または時間パラメータ（負荷とスコア）を介して相互に関連付けることができる。
【0061】
圧縮されたデータは、長期データ記憶モジュール２４６に伝送される。
【0062】
モジュール２３０は、観測されたデータをリアルタイムで物体の確立された正常状態と比較することにより、サーマルビデオデータストリームにおける未知の状態または識別されたアラーム状態の検出に対応するアラーム信号を生成することを可能にする。未知の状態または異常の検出に関連する完全解像度リアルタイムデータは、圧縮データとともに長期データ記憶装置２４６に伝送される。
【0063】
アプリケーションモジュールのセットは、アプリケーション層２５０に提供される。アプリケーションモジュールは、圧縮データの分析に基づいて高レベルのアラームを生成するためのモジュール２５１を含む。一例では、履歴データが、熱負荷のような過去の監視期間における物体に対する累積的な影響を定量化するために分析される。高レベルのアラームは、傾向分析（２５３）または偏差分析（２５４）から生成され、通常は、物体またはプロセスのイベントの発生の検出（２５６）に応答して生成される。ベースライン更新モジュール２５５は、システムの変化および可能性のあるベースラインの変化の検出が報告された後に、自動的に、かつ／またはオペレータの入力に応答して、正常状態またはベースラインに対して更新を行うことを可能にする。アプリケーションモジュールから生成されたインサイトは、長期記憶モジュール２４６に記録される。
【0064】
システムモジュール２６０は、キャッシュ機能、アクセス制御を含むサービス、およびＡＰＩを含み、ユーザインターフェース２２０の管理（２２２）、ウェブアプリケーション（２２４）およびデータ／モデルエクスポート（２２６）のコンポーネント間の相互作用を可能にする。
【0065】
ここで図３を参照すると、本発明の実施形態で使用されるサーマルビデオデータ分析方法のステップを表すフロー図が示されている。この方法は、全体が符号３００で示されており、図１の監視システムの処理装置１１０で実行され、図２のソフトウェアおよびハードウェアモジュールに実装されている。
【0066】
処理装置１１０は、カメラデータキャプチャインターフェース２０４からサーマルビデオデータストリーム１０６を受信する。リアルタイムデータは、多変量解析手法を使用して、物体の熱シグネチャの挙動のモデル３１０を構築および最適化するために使用される。このモデルは、監視対象の物体上の観測される空間熱分布の時間的推移、すなわち経時変化のモデル化を含む。さらに、モデルは、物体の空間的に異なる部分または領域、またはシーン内の別個の物体またはユニット間の熱分布の共分散のモデル化を含む。
【0067】
このようにサーマルビデオ画像の様々な領域の共分散をモデル化することで、状態の変化に対する感度を向上させることができる。例えば、物体上の２つの測定位置は、モデルによって特定の相関関係があると判定され得る。いくつかのシナリオでは、２つの測定ポイントが、互いに独立して検討される場合に、予想される範囲内にあり、正常な動作状態に対応する熱データを提示する。２つの測定位置からのデータを比較することで、それぞれのデータポイント間のモデル化された相関関係からの小さな偏差が検出可能となり、他の方法では検出されなかったであろう未知の異常状態として検出される可能性がある。
【0068】
物体の挙動を説明するモデル（経時変化や空間領域間の共分散を含む）は最適化され、最適化されたモデルは物体の１または複数の正常状態を確立するために使用される（ステップ３２０）。正常状態は、未知の状態または異常状態の検出において、リアルタイムデータが比較されるベースラインを提供する（ステップ３３０）。
【0069】
学習段階３２２の間、監視段階に先立って、リアルタイムのサーマルビデオデータストリームからの観測データおよびモデル３１０を使用して、初期正常状態が確立される。初期正常状態が確立されると、リアルタイムのサーマルビデオデータが初期正常状態と比較され、正常状態からの逸脱が未知の状態または異常として検出され、リアルタイムで物体の熱シグネチャの視覚化とともにユーザインターフェースにリアルタイムのアラーム出力３４０を生成する。オペレータは、アラームを確認し、システムにフィードバックを与えることができる。状況が正常であると考えられる場合、この情報は、正常な状態のセットの更新（３２４）に使用することができる。状況がアラーム状態と考えられる場合、状況に関連する情報を、アラームの分類子または説明とともに記録することができる。
【0070】
本出願人の国際特許公開ＷＯ２０１８／１１１１１６（その内容は引用によりその全体が本明細書に援用される）は、リアルタイム多変量解析およびパターン認識技術を使用して大量の多次元データを処理し、自己発展モデルを生成する全体的アプローチを説明している。この手法は、通常、システム監視アプリケーションにおいて、データファイルの圧縮された効率的な伝送のために使用することができる。ＷＯ２０１８／１１１１１６は、サーマルカメラからの入力データの処理に言及しているが、特定のサーマルビデオアプリケーションに関する詳細は提供していない。本発明者等は、ＷＯ２０１８／１１１１１６のデータ分析手法をサーマルビデオデータ監視に効果的に適用するために、物体上の観測された温度メッシュの時間的推移と、様々な空間領域間の共分散の両方をモデル化することがシステムの感度に非常に有益であることを見出している。
【0071】
本発明の好ましい実施形態は、モデル３１０の確立、多次元データの圧縮、および正常状態の確立のために、ＷＯ２０１８／１１１１１６に記載の手法を使用する。本方法は、サーマルビデオ監視への適用における、ＷＯ２０１８／１１１１１６に記載のより一般的な多変量解析手法の独創的な使用および修正である。
【0072】
図４は、本発明の好ましい実施形態で使用されるサーマルビデオデータ監視方法のステップを示すフロー図である。全体が符号４００で示されるこの方法は、モデル４１０が、１または複数のサーマルビデオカメラからリアルタイムで入力サーマルビデオデータストリーム１０６と、任意選択的にシミュレーションモデルデータおよびプロセスデータなどの追加データとを受信する。データがモデルに入力される前に、熱画像の連続したストリームは、新しい時空間表現で拡張され、単一チャネル温度ビデオをマルチチャネルまたは「マルチスペクトル」ビデオ測定システムに変換することができる。画像拡張の１つのタイプは、例えば、時空間ダイナミクスを記述し、時空間異常を明らかにするために、熱画像ストリーム自体から得られる。例えば、空間領域および／または時間領域における微分画像、差分画像または平滑化画像は、物体の表面温度における体系的な時空間ダイナミクスパターンを明らかにする。画像拡張のもう１つのタイプは、例えば、ＲＧＢ、ハイパースペクトルｖｉｓ／ＮＩＲカメラ、レーダーまたはライダーなど、他のカメラタイプからの時空間データである。異なるセンサ間で発生する可能性のある時間遅延は、推定および補正される。
【0073】
モデル４１０は、サーマルビデオデータから生成されるデータ駆動型多変量解析モデルであり、上述したように、物体上の観測される温度メッシュの時間的推移と、様々な空間領域間の共分散の両方のモデル化を含む。モデル４１０は、様々な数学的演算を含む事前処理または前処理ステップを組み込む。例としては、当業者に公知の手法（例えば、ＷＯ２０１８／１１１１１６に記載の手法）による、線形化、予備モデリングおよび信号コンディショニングが挙げられる。
【0074】
モデルの出力は、圧縮データストリーム４１２の形態のモデル化されたデータ、および出力モデル特徴４１４である。圧縮データ４１２は、監視対象の物体上のマルチチャネル高次元リアルタイム熱メッシュの低次元圧縮表現であり、これは、冗長性を減らし、多数の入力変動を、入力データを要約する比較的少数の必須コンポーネントの変動と置き換えることによって計算される。圧縮データは、部分空間へのリアルタイム入力データの投影として記述される場合がある。出力モデル特徴４１４は、モデルで使用される負荷、または圧縮データから、定義された精度でリアルタイムデータを再現することを可能にするような他のモデル特徴を含む。
【0075】
圧縮データ４１２およびモデル特徴４１４は、システムの長期および／または短期記憶装置に格納される。
【0076】
圧縮データ４１２は、物体がアラーム状態にあるかどうかを確定するために（４３０）、監視対象のシステムの確立された正常状態に対して評価される（ステップ４３０）。潜在的なアラーム状態に関連する情報および視覚化は、ユーザインターフェース１２０に送信され、オペレータが調査を行い、任意選択的には、アラーム状態を確認し、かつ／または状態を識別および分類するためにシステムにフィードバックを提供することを可能にする。較正されたリアルタイムデータは、あらゆる条件下で許容できない温度をスキャンするために分析される。
【0077】
上述したリアルタイムアラーム処理と並行して、リアルタイムデータおよび圧縮データから残差が算出される（ステップ４１６）。マルチチャネルデータポイントの残差は、リアルタイム入力データポイントと、圧縮データからのデータポイントの再構成との間の差を表す。計算された残差は、データ記憶装置４１８の残差データリポジトリ４２０に格納される（任意選択的には、重要でない残差は格納されずに廃棄されるようにしてもよい）。方法において周期的に、リポジトリ４２０に格納された残差は、変動の系統的パターンの存在について分析される（ステップ４４０）。新しいパターンの識別は、物体の新しい正常状態を示唆するために使用され、発生し得るアラーム状態の将来の検出で使用される（４３０）。新しい正常状態の示唆は、新しいシステムベースラインが確立または拒否される前に、システムのユーザによって検証される。新しい正常状態のセットは、データ記憶装置から復元された以前に圧縮されたデータとの比較によって、過去の状態の評価にも使用することができる。
【0078】
正常状態からの逸脱を定量化および認識するために使用できる他の手段には、基礎となるモデルの変更、以前の観測と一致しない新しいデータの観測、外れ値分析、傾向における新しい値、および望ましくない挙動に一致する観測または傾向が含まれる。そのような手法の詳細については、ＷＯ２０１８／１１１１１６に記載されているが、観測値が観測値の予想範囲内に入るかどうかを判定するための多重解像度ヒストグラム、Ｑ統計、および／または他の方法の使用も含むことができる。
【0079】
モデル更新が必要または好ましいと考えられる場合（または実行がスケジュールされている場合）、プロセスはステップ４６０に進み、モデル４１０が、元のモデルの拡張において新しい負荷を含むように更新される。任意選択的には、既存の残差は、拡張されたモデルを用いて再計算され、残差リポジトリ内の残差を置き換える。さらに、モデル４１０の更新は、任意選択的には、モデルの再センタリング、再スケーリングおよび／または再直交化を含むことができる。これらの手法を使用することにより、モデル４１０は、リアルタイムの物体監視アプリケーションでの使用を通じて自己発展する。
【0080】
上述した方法は、学習段階でも使用することができ、この段階では、システムがライブになってアラーム状態が評価される監視段階に移行する前に、サーマルビデオデータストリームを使用して、モデル４１０が空の状態から生成される。モデルは、入力データにおける変動の系統的パターンを認識することによって成長することができ、一方、入力データにおける測定誤差および他の非系統的変動は、統計的な無駄として排除されることができる。この自己モデル化機能により、事前設定または較正が殆どまたは全く必要無い監視物体へのシステムの適用が容易になる。システムは、優れた障害ライブラリに依存することなく初期化することができ、代わりに、正常な状態からの逸脱として観測される新しい状況であって、ユーザ入力によって新しい障害として識別され得る新しい状況から学習することができる。
【0081】
図５は、本発明の一実施形態に係る分析方法を使用して障害ライブラリを生成する方法のステップを示すフロー図である。全体が符号５００で示されるこの方法は、オペレータがシステムを使用して、障害ライブラリを開発することができる一態様を示しており、障害ライブラリは、アラーム状態を識別および分類し、適切なアラーム信号を生成するために使用されることができる。図３および図４の方法３００または４００は、本明細書に記載の多変量解析アプローチを使用して、潜在的なアラーム状態４５０を示す信号を生成することができる。潜在的なアラーム状態４５０は、ユーザインターフェース１２０を介してオペレータに伝達され、オペレータは状態を調査して（ステップ５１０）、その状態が物体の正常な動作状態であるか、または真のアラーム状態であるかを判断する（ステップ５１２）。
【0082】
様々な解像度を有するヒストグラムのセットを使用することにより、観測を様々な領域に分離することができる。そのような領域に、根本的な原因（例えば、既知の障害、次善の動作状態のセット、または最適な動作状態）に関するオペレータの知識でラベルを付けることにより、状況を認識することができる。これにより、障害の検出ではなく、障害の特定が可能になる。また、多重解像度アプローチにより、障害の不確実性を推定することも可能である。
【0083】
エンドユーザに安定した傾向および参照を提供するために、可視化モデルのセットも確立される。システムと可視化モデルを分離することで、表現の絶え間ない変化でエンドユーザを混乱させることなく、基礎となるシステムをデータに合わせて正確に変化させることができる。視覚モデルは比較することができ、物体に大きな変化があった場合は、新しい参照を確立することができる。新しい参照と古い参照の間で変換を行うことで、履歴を保存することができる。コンパクトな表現からの再構成を使用して、熱シグネチャおよび異なる時点間の差異を可視化することができる。ドリルダウン分析も可能であり、それによりオペレータはモデルやそのパラメータを調査することができる。
【0084】
状態が正常な動作状態であると判断された場合、オペレータからの入力は、潜在的なアラーム状態として将来のデータポイントを評価する処理で使用される正常状態のセットの更新（ステップ５１４）に使用することができる。
【0085】
状態が真のアラーム状態であると判定された場合、オペレータは障害を特定することができ、状態データに障害情報をラベル付けし（５１６）、この情報を関連する圧縮データとともにデータベース（５１８）に格納することができる。さらに、リアルタイムのサーマルビデオデータストリーム１０６からの圧縮されていないデータは、短期記憶装置５１７からデータベース５１８に書き込まれるか、そうでなければリンクされる。
【0086】
アラームシステム１３０を使用して、適切なアラーム信号を生成することができる。重要な変化または許容範囲外の変化に関するイベントおよびアラームの自動生成は、非常に簡潔なアラームをユーザに提供することができる。イベントおよびアラームは、アラーム状態の発生前（および発生後）の状態および変化に関する情報によってサポートされる。これらのアラームは、監視対象の物体の温度（外気温、動作条件）の通常の変動を考慮し、測定値が物体のベースラインから外れた場合にのみ作動する。これは、アラームが堅牢でありながら、同時に高感度であることを意味する。
【0087】
本方法から出力されるアラーム、変化分析および他のデータは、制御、検査、保守、および安全関連の目的に使用することができる。それには、早期介入、交換、交換用部品の特定、問題のある動作の特定などが含まれる。可視化および分析は、アラームが出された理由とアラームの原因となった変化を可視化することで、オペレータにアラームデータに対する理解を提供する。これにより、オペレータは、特定のアラームを無視すべき理由に対してより自信を持つことができ、あるいはアラームの重大性を理解することができる。
【0088】
本発明の実施形態は、１または複数の物体の状態の正確な推定を可能にし、危険な状況の早期警告を可能にし、通常手動検査を行う人員を危険な環境から排除することにより、ＨＳＥを大幅に改善する。本方法は、侵襲的な設置や大変な手作業の較正に依存することなく、物体を観測している間の訓練プロセスを使用する。データ駆動型のアプローチと正常な状態または物体のベースラインの使用により、システムが障害検出に貢献する前に広範な障害ライブラリの必要性を低減し、何れの設定も殆ど必要ない。
【0089】
この手法は、電気機器、エンジン、ポンプ、炉、タンク、化学反応器、オーブン、パイプ、加熱または冷却システム、または同様の物体の監視など、多くの用途がある。それらの物体に共通するのは、観測可能な熱シグネチャを持つことであり、時間の経過に伴う変化や推移は、根本的な障害を示す可能性がある。
【0090】
上述した説明は、現在の状態監視手法の強化として本発明を使用して、連続的で自動化された障害検出を提供することに関するものであり、障害状態を特定および記録するために使用することができる。この方法は、従来の状態監視で実行される手作業による抜き取り検査よりも改善されたものである。さらに、自己モデル化とデータのコンパクトな表現により、本発明の方法は、監視されるシステムまたは物体の寿命分析を可能にする。
【0091】
物体の熱プロファイルは、コンパクトに保存され、システムの変化の履歴を提供し、その変化には、アラーム状態として特定されていないが、累積的にシステムの問題に寄与するかもしれない一時的な変化が含まれる。例えば、履歴データを用いて、物体が経時的に受ける熱負荷を定量化することができる。これにより、計画的な介入、対象を絞った検査、サブシステムの障害の特定など、メンテナンスを改善することが可能になる。また、モデル化の発展によるシステムのモデルおよび正常な状態の更新も、履歴データを通じて反映させることができ、それにより、発展したモデルの完全な知識を示すシステムの変化と状態の履歴を提供することができる。
【0092】
温度変化による熱負荷、および／または機器エンベロープ外の温度での長時間の動作による熱負荷を定量化するために、履歴モジュール２５２に格納されたデータは、曲線積分の統計的評価を含む、観測対象の物体の識別された各部分または領域の傾向分析（モジュール２５３）を受ける。総寿命熱負荷、通常動作外の熱負荷、機器限界外の熱負荷、および最高温度と最低温度および温度上昇に関する他の統計が計算される。更なる分析により、熱負荷が大きく変化する期間を特定し、オペレータに警告する。
【0093】
生成された統計は、経時的な熱負荷、熱負荷の変化に関する情報および警告を提供し、ウェブアプリケーション２２４または他のユーザインターフェース２２０を介して様々な部分の熱負荷のグラフ表示を提供するために使用される。これは、メンテナンス計画に使用することができ、または、より長い期間またはより短い期間にわたって極端な負荷がかかる場合の対象を絞った検査に使用することができる。また、生成された統計は、分類機関による使用のために、またはシステム状態、交換の必要性の評価および政策価格の決定を行う、例えば保険会社による使用のために、ＡＰＩ２６０からデータエクスポートにエクスポートされることもできる。
【0094】
図６は、観測期間の寿命にわたって物体の総熱負荷を定量化する１つの方法のステップを示すフロー図である。全体が符号６００で示されるこの方法は、データ駆動型多変量解析モデル６１０を使用して、サーマルビデオデータストリームからモデル化されたデータセットを生成する。本発明の前の実施形態と同様に、モデル６１０は、物体上の観測された温度メッシュの時間的推移のモデル化と、様々な空間領域間の共分散のモデル化を含む。モデル６１０は、任意選択的な事前処理または前処理ステップを組み込んでいる。モデル化されたデータ６１２は、データ記憶装置６２０に格納される。
【0095】
時点Ｔ１において、傾向分析６１４が、データ記憶装置６２０から取得された過去のモデル化されたデータを含むモデル化されたデータセット６１２に対して実行され、それによりシステムおよび識別された部分またはサブシステムの熱負荷を示す熱傾向が導き出される。傾向分析の出力は、観測期間の開始から時点Ｔ１まで（第１の時間間隔）の総熱負荷の推定値６１６である。予め設定された閾値との比較６１８が行われ、第１の時間間隔における推定総熱負荷６１６が予め設定された限界を超える場合に、出力信号６２２が発せられる。
【0096】
後の第２の時点Ｔ２において、傾向分析６１４は、時点Ｔ２までのシステムの熱負荷を示す、時点Ｔ２まで取得された測定値を含む熱傾向の後のモデル化されたデータセットに対して実行される。すなわち、出力６１６は、観測期間の開始から時点Ｔ２まで（第２の時間間隔）の総熱負荷の推定値である。
【0097】
第２の時間間隔における推定総熱負荷は、前の第１の時間間隔における推定総熱負荷と比較される（６１８）。時点Ｔ２までの推定総熱負荷が、第２の時間間隔において予め設定された限界を超えるか、または前の第１の時間間隔における推定総熱負荷から予め設定された閾値を超えて増加した場合に、出力信号が発せられる。
【0098】
出力信号６２２は、システムの様々な部分の熱負荷のグラフ表示を含むことができ、ユーザインターフェース６２４は、システムに対するアラーム評価およびオペレータフィードバックを可能にする。ＡＰＩは、システムの完全性を検証するために、例えば保険会社や認証機関などの１または複数のサードパーティまたは外部ソフトウェアシステム６２６に熱負荷データをエクスポートすることを可能にする。
【0099】
熱負荷は、上述したような監視動作を通じて定期的に推定することができ、かつ／または、データ記憶装置から取得された選択されたモデル化されたデータセットに基づき推定することができる。本方法は、温度変化による熱負荷、機器エンベロープ外の温度での長時間の動作による熱負荷、またはそれら影響の組合せの定量化に使用できることが理解されよう。
【0100】
上述した状態監視用途に加えて、本方法は、既存のプロセスデータおよびプロセス知識をモデルに組み込むことができる。既存のシステムからのプロセスデータおよび／またはプロセスモデルを多変量解析に組み込むことにより、監視方法は、プロセスの最適化または理解のために有益である状態情報を明らかにすることができる。
【0101】
本発明は、サーマルビデオデータを用いて物体を監視するための方法およびそのためのシステムを提供する。本方法は、１または複数の熱画像カメラを使用して、物体を含むシーンのサーマルビデオ画像をキャプチャするステップと、処理装置にサーマルビデオデータストリームを出力するステップとを含む。処理装置では、サーマルビデオデータストリームの多変量解析を実行することによりサーマルビデオデータストリームが処理され、それにより物体の挙動の１または複数のモデルが生成される。１または複数のモデルは、物体の熱シグネチャの時間的推移のモデル化と、シーンの様々な部分または領域間の熱シグネチャの共分散のモデル化とを含む。処理は、サーマルビデオデータストリームからの観測データおよび１または複数のモデルを使用して物体の１または複数の正常状態を確立するステップと、サーマルビデオデータストリームからの観測データを物体の１または複数の正常状態と比較して、物体が既知の状態にあるか未知の状態にあるかを判定するステップとを含む。物体が未知の状態にあると判定された場合に、出力信号が処理装置から出力される。
【0102】
本明細書に記載の手法は、正常な状態または物体のベースラインを確立および更新する自己モデル化システムにおいて、サーマルビデオおよび（任意選択的に）プロセスデータの多変量モデル化および分析を提供する。これにより、正常な状態からの逸脱の検出と定量化が可能になり、正常な状態を経時的に追跡して示すことが可能になる。この手法は、複雑で大きなデータストリームを圧縮する。この手法は、検査可能なサブシステムと原因分析を有する透過的な機械学習手法である。このシステムは各レベルで検査可能であり、ユーザはドリルダウンしてモデルのパラメータ、モデルの変更、現在および過去の傾向を可視化することができる。各アラームは逸脱の根本原因にリンクしており、ユーザは以前の時点とアラームとの間に何が変化したのかを検査することができる。
【0103】
この方法には、物体上の熱メッシュにおける様々な空間領域間の共分散とその時間的推移をモデル化することにより、監視対象のシーン内の接続されていない物体（接続されていないエンジン部品または異なるユニットの分離など）を自動的に検出することが含まれる。複雑なビデオ信号を個々の熱傾向に分解し、同タイプの機器のモデル間の類似性マッチングを行うことができる。
【0104】
なお、本発明の範囲内において、上述した実施形態に様々な変更を加えることができ、本発明は、本明細書で明示的に請求する以外の特徴の組合せにも及ぶものである。
【国際調査報告】
Copyright © 2010-2024 Science Impact Inc. All Rights Reserved.