特許 5774230 形状補正およびワーピングによる運動分析

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】5774230

(24)【登録日】2015年7月10日

(45)【発行日】2015年9月9日

(54)【発明の名称】形状補正およびワーピングによる運動分析

(51)【国際特許分類】

   G01M 15/14 20060101AFI20150820BHJP

   G01B 11/00 20060101ALI20150820BHJP

   G01N 25/72 20060101ALI20150820BHJP

   F01D 25/00 20060101ALI20150820BHJP

【ＦＩ】

   G01M15/14

   G01B11/00 H

   G01N25/72 A

   F01D25/00 V

   F01D25/00 W

【請求項の数】20

【全頁数】14

(21)【出願番号】特願2014-531830(P2014-531830)

(86)(22)【出願日】2012年8月24日

(65)【公表番号】特表2014-530356(P2014-530356A)

(43)【公表日】2014年11月17日

(86)【国際出願番号】US2012052193

(87)【国際公開番号】WO2013043306

(87)【国際公開日】20130328

【審査請求日】2014年4月11日

(31)【優先権主張番号】61/536,255

(32)【優先日】2011年9月19日

(33)【優先権主張国】US

(31)【優先権主張番号】13/584,887

(32)【優先日】2012年8月14日

(33)【優先権主張国】US

(73)【特許権者】

【識別番号】510299444

【氏名又は名称】シーメンス コーポレーション

【氏名又は名称原語表記】Ｓｉｅｍｅｎｓ Ｃｏｒｐｏｒａｔｉｏｎ

(73)【特許権者】

【識別番号】599078705

【氏名又は名称】シーメンス エナジー インコーポレイテッド

(74)【代理人】

【識別番号】100114890

【弁理士】

【氏名又は名称】アインゼル・フェリックス＝ラインハルト

(74)【代理人】

【識別番号】100099483

【弁理士】

【氏名又は名称】久野 琢也

(72)【発明者】

【氏名】ヤクプ ゲンク

(72)【発明者】

【氏名】ガン リー

(72)【発明者】

【氏名】クリフォード ハッチャー ジュニア

【審査官】 福田 裕司

(56)【参考文献】

【文献】 特開平１０−０３８５３３（ＪＰ，Ａ）

【文献】 特表２００３−５１２５９６（ＪＰ，Ａ）

【文献】 特開２０００−０１８９２２（ＪＰ，Ａ）

(58)【調査した分野】（Int.Cl.，ＤＢ名）

Ｇ０１Ｍ １５／１４

Ｆ０１Ｄ ２５／００

Ｇ０１Ｂ １１／００

Ｇ０１Ｎ ２５／７２

(57)【特許請求の範囲】

【請求項1】

基準イメージおよび第２のイメージを含む複数のイメージ内の３次元物体をトラックする方法であって、前記方法は、
前記３次元物体上の標準フォーマット・イメージ形状に基づく所定パターンを提供するステップと、
前記基準イメージ内の前記３次元物体上の前記所定パターンの少なくとも部分を含むパッチを識別するステップと、
前記パッチ内の複数のサブ・パッチを決定するステップと、
前記パッチ内の前記複数のサブ・パッチの各々に対して、前記所定パターンのキャプチャされた部分を、前記標準フォーマット・イメージ形状に対してワーピングし、基準補正イメージを作成するステップと、
前記第２のイメージ内の前記パッチ内部でイメージ領域を決定するステップと、
プロセッサが、前記第２のイメージ内の前記パッチ内部で、前記イメージ領域のイメージ・データを、前記標準フォーマット・イメージ形状に対してワーピングし、第２の補正イメージを作成するステップと、
前記プロセッサが、前記基準補正イメージおよび前記第２の補正イメージから前記３次元物体の運動を決定するステップと、
を含む方法。

【請求項2】

前記運動は、差分の２乗和（ＳＳＤ）トラッキングを、前記基準イメージおよび前記第２のイメージに適用することによって決定される、
請求項１に記載の方法。

【請求項3】

前記３次元物体は、４００°Ｆより高い温度を有する雰囲気内で運動しているタービンの部品である、
請求項１に記載の方法。

【請求項4】

前記所定パターンは、チェッカーボードパターンである、
請求項１に記載の方法。

【請求項5】

前記標準フォーマット・イメージ形状は、正方形である、
請求項１に記載の方法。

【請求項6】

前記パッチは、３２００ピクセル以上４０００ピクセル以下をカバーする、
請求項１に記載の方法。

【請求項7】

前記３次元物体の前記運動は、１００Ｈｚより高い周波数の振動運動を含む、
請求項１に記載の方法。

【請求項8】

前記３次元物体は、円筒状であり、
前記３次元物体は、前記３次元物体の軸の周りの円周運動および前記軸に沿った並進運動を経験する、
請求項１に記載の方法。

【請求項9】

前記複数のイメージは、赤外線イメージ・センサによって生成される、
請求項１に記載の方法。

【請求項10】

ワーピングは、サブ・パッチ内の各イメージ要素を、前記基準および第２の補正イメージ内のイメージ要素に、２×２投影変換することによって決定される、
請求項１に記載の方法。

【請求項11】

基準イメージおよび第２のイメージを含む複数のイメージ内の３次元物体をトラックするシステムであって、前記システムは、
命令を含むデータを保存可能なメモリと、
命令を実行可能なプロセッサと、
を具え、
前記プロセッサは、
前記基準イメージ内の前記３次元物体上の標準フォーマット・イメージ形状に基づく所定パターンの少なくとも部分を含むパッチを識別するステップと、
前記パッチ内の複数のサブ・パッチを決定するステップと、
前記パッチ内の前記複数のサブ・パッチの各々に対して、前記所定パターンのキャプチャされた部分を、前記標準フォーマット・イメージ形状にワーピングし、基準補正イメージを作成するステップと、
前記第２のイメージ内の前記パッチ内部でイメージ領域を決定するステップと、
前記第２のイメージ内の前記パッチ内部の前記イメージ領域のイメージ・データを、前記標準フォーマット・イメージ形状に対してワーピングし、第２の補正イメージを作成するステップと、
前記基準補正イメージおよび前記第２の補正イメージから前記３次元物体の運動を決定するステップと、
を実行する、
システム。

【請求項12】

前記運動は、差分の２乗和（ＳＳＤ）トラッキングを、前記基準イメージおよび前記第２のイメージに適用することによって決定される、
請求項１１に記載のシステム。

【請求項13】

前記３次元物体は、４００°Ｆより高い温度を有する雰囲気内で運動しているタービンの部品である、
請求項１１に記載のシステム。

【請求項14】

前記所定パターンは、チェッカーボードパターンである、
請求項１１に記載のシステム。

【請求項15】

前記標準フォーマット・イメージ形状は、正方形である、
請求項１１に記載のシステム。

【請求項16】

前記パッチは、３２００ピクセル以上４０００ピクセル以下をカバーする、
請求項１１に記載のシステム。

【請求項17】

前記３次元物体の前記運動は、１００Ｈｚより高い周波数の振動運動を含む、
請求項１１に記載のシステム。

【請求項18】

前記３次元物体は、円筒状であり、
前記３次元物体は、前記３次元物体の軸の周りの円周運動および前記軸に沿った並進運動を経験する、
請求項１１に記載のシステム。

【請求項19】

前記複数のイメージは、赤外線イメージ・センサによって生成される、
請求項１１に記載のシステム。

【請求項20】

ワーピングは、サブ・パッチ内の各イメージ要素を、前記基準および第２の補正イメージ内のイメージ要素に、２×２投影変換することによって決定される、
請求項１１に記載のシステム。

【発明の詳細な説明】

【技術分野】

【0001】

関連事例の記載
本出願は、２０１１年９月１９日に出願の米国仮特許出願第６１５３６２５５号に対する優先権およびそれの利益を請求し、当該出願を本願明細書に完全に引用するものとする。

【0002】

本発明は、４００°Ｆ以上の温度における、タービン内の物体の運動のイメージベースの非接触測定に関するものである。

【背景技術】

【0003】

動作中、電気を発生させるために使用されるような、ガス・タービンの部品の振動挙動を監視することは有益である。タービンの内部部品は、室温を優に上回る温度で動作する。また、タービンの主要領域は、動作中に、加速度計のようなセンサにとってアクセス容易ではない。動作中、タービン部品の振動挙動を監視するための非接触測定方法が好ましい。

【0004】

現在、タービンの特定部品のイメージを提供し、この部品の３次元空間における高周波振動の正確な分析を可能にするための、カメラ・ベースのシステムまたは方法が利用できないと考えられている。

【0005】

したがって、３次元空間において移動し、正確な運動分析を可能にする、動作中のタービンの部品のイメージを記録するための、改良した新規のカメラ・ベースの方法および装置が必要とされている。

【発明の概要】

【課題を解決するための手段】

【0006】

複数のイメージ内の３次元物体をトラックする方法が提供される。本発明の一態様に従って、方法は、前記３次元物体上の所定パターンを提供するステップと、前記複数のイメージ内の基準イメージ内の前記３次元物体上の前記所定パターンの少なくとも部分を含むパッチを識別するステップと、前記パッチ内の複数のサブ・パッチを決定するステップと、前記パッチ内の前記複数のサブ・パッチの各々に対して、前記所定パターンのキャプチャされた部分を、標準フォーマット・イメージ形状に対してワーピング（歪曲）するステップと、第２のイメージ内の前記パッチ内部でイメージ領域を決定するステップと、プロセッサが、前記ワーピングするステップを、前記パッチ内部で前記第２のイメージのイメージ・データに適用するステップと、前記プロセッサが、前記基準イメージおよび前記第２のイメージから前記３次元物体の運動を決定するステップと、を含む。

【0007】

本発明のさらなる態様に従って、上述した方法は、差分の２乗和（ＳＳＤ）トラッキングを、前記基準イメージおよび前記第２のイメージに適用することによって運動を決定するステップを含む。

【0008】

本発明の別の態様に従って、前記３次元物体は、４００°Ｆより高い温度を有する雰囲気内で移動しているタービンの部品である。

【0009】

本発明のさらなる態様に従って、所定パターンは、チェッカーボードパターンである。また、標準フォーマット・イメージ形状は、正方形とすることができる。パッチは、約３６００ピクセルをカバーすることができる。

【0010】

本発明の別の態様に従って、３次元物体の運動は、１００Ｈｚより高い周波数の振動運動を含む。

【0011】

本発明の別の態様に従って、３次元物体は、軸の周りの円周運動および前記軸に沿った並進運動を経験する。

【0012】

本発明の別の態様に従って、複数のイメージは、赤外線イメージ・センサでによって生成可能である。

【0013】

本発明の別の態様に従って、ワーピング（歪曲）は、サブ・パッチ内の各イメージ要素を、補正イメージ内のイメージ要素に、２×２投影変換することによって決定可能である。

【0014】

本発明の他の態様に従って、本願明細書に記載されているステップを実行するシステムが提供される。システムは、命令を含むデータを保存可能なメモリと、本願明細書に記載されているステップを実行するための命令を実行可能なプロセッサと、を含む。

【図面の簡単な説明】

【0015】

【図1】本発明の一態様に従って、２つの可動機械部品のカメラによるイメージおよび背景を例示する。

【図2】本発明の一態様に従って、２つの可動機械部品のカメラによるイメージおよび背景を例示する。

【図3】本発明の一態様に従って、運動をトラックするための、機械部品上のトラッキングパッチを例示する。

【図4】本発明の一態様に従って、イメージのパッチ運動を例示する。

【図5】機械部品のイメージおよびイメージワーピングが適用される位置を例示する。

【図6】本発明の各種態様に従って、イメージワーピングを例示する。

【図7】本発明の各種態様に従って、イメージワーピングを例示する。

【図8】本発明の各種態様に従って、イメージワーピングを例示する。

【図9】本発明の各種態様に従って、イメージワーピングを例示する。

【図10】本発明の各種態様に従って、イメージワーピングを例示する。

【図11】本発明の各種態様に従って、イメージワーピングを例示する。

【図12】本発明の一態様に従って、ワーピング（歪曲）されたパッチのトラッキングを例示する。

【図13】本発明の各種態様に従って、イメージワーピングを例示する。

【図14】本発明の一態様に従って、ワーピング（歪曲）されたパッチのトラッキングを例示する。

【図15】本発明の各種態様に従って実行されるステップを例示する。

【図16】本発明の態様に従うプロセッサ・ベース・システムを例示する。

【発明を実施するための形態】

【0016】

本発明の一態様に従って、動作中のタービン内の少なくとも１つのエンジン部品の独立した２次元および３次元運動は、ビデオ・イメージから監視および分析される。ビデオ・イメージは、ビデオ・カメラでキャプチャされる。本発明の一実施形態では、部品は、３００°Ｆ超、４００°Ｆ超、５００°Ｆ超、または、６００°Ｆ超さえの温度を有するタービンの高温部品内部での運動を有する。

【0017】

本発明のさらなる実施形態では、部品の移動は、振動を含む。振動は、１００Ｈｚ未満の周波数成分を有することができる。振動は、１００Ｈｚ以上の周波数成分を有することもできる。周波数成分は、最高３００Ｈｚの範囲とすることができる。本発明の一実施形態では、比較的高温のタービン部品の少なくとも一部の運動を記録するビデオ・カメラは、赤外線（ＩＲ）イメージ・センサを有するハイスピードカメラであり、例えば、毎秒２０００コマの高いフレームレートで記録する。本発明のさらなる実施形態では、タービン内の少なくとも２つのエンジン部品の２次元および３次元運動が分析される。

【0018】

複数のエンジン部品が独立運動を実行し、取り付けられるベースの未知の運動に影響を受けるので、問題は困難である。それゆえ、観察される物体のイメージ運動は、ベースの未知の運動と個々のエンジン部品の運動との組合せである。さらにまた、周囲の熱気によって生じるかすみ（haze effect）の影響が存在する。このかすみによって、部品に種々の光学的効果が生じる。このかすみは、物体の少なくとも小さい部分または物体のイメージの小さいパッチの上では一定であるとみなされる。本発明の一態様に従って、ハイスピードカメラを使用することによって、室温と比較して比較的高温での高周波運動となりうる、タービン内の１つ以上のエンジン部品の個々の運動のみを分析するための方法および装置が提供される。

【0019】

図１はセットアップの一構成をサンプル・イメージで示し、図２はセットアップの一構成を図面で示す。２つのエンジン部品１０１および１０２はトラックされ、それらの運動が分析される。２つのエンジン部品は、第３のエンジン部品１０３から独立して移動可能であり、または、エンジンフレームとすることができる第３のエンジン部品１０３に取り付け可能である。エンジン部品１０１および／または１０２を記録するカメラは、フレーム１０３に取り付け可能であり、または、ベースまたはフレーム１０３から独立可能である。エンジン部品１０１および／または１０２の運動分析を容易にするために、これらの部品は、特徴的なパターンでカバーされている。本発明の一実施形態では、パターンは、異なる識別可能な色を有する正方形のチェッカーボードパターンである。パターンのサイズは、予想される運動の検出が十分に可能になるように選択される。本発明の一実施形態では、正方形のいくつかまたはすべては、自動の位置決めおよびトラッキングを可能にする特徴的なマークを備えている。

【0020】

部品１０１および１０２の運動は、任意の運動とすることができるが、一例として、軸２０１および２０２に沿った軸方向運動と、軸２０１および２０２の周りの円周方向運動または回転運動であると仮定される。カメラで撮影したイメージは、２次元イメージである。それゆえ、物体１０１および１０２の回転運動および軸方向運動は、２次元イメージ内のチェッカーボードパターンの並進運動であるように見える。ｚ方向（スクリーンまたはイメージ面に垂直な方向）の物体の運動は、チェッカーボードの要素の寸法の変化を形成する。

【0021】

チェッカーボードパターンがイメージ面になく、物体の運動がイメージ面においてではない場合、チェッカーボードパターンは射影歪み（projection distortion）により歪められ、物体がその軸の周りを回転するとき、さらに歪められうる。

【0022】

達成したいことは、軸の周りの回転運動および／または軸に沿った軸方向運動が２次元面における並進移動として現れる連続的なイメージによって、チェッカーボードパターンのようなパターンを有する物体の運動を追跡またはトラックすることである。例えば、物体上のパターンの正方形３０１の小さい運動（回転および／または並進）は、ベクトルｓ_ｘｙに沿ってｘ方向およびｙ方向に移動した新しい位置３０２の正方形として現れる。

【0023】

このように、２次元並進運動モデルが仮定され、物体上のチェッカーボードパターンのパッチのイメージ対イメージの並進運動をトラックすることによって、物体はトラックされる。このことは、９つのオーバラップするパッチ４０１を有する機械部品１０１を含むイメージのための図３に示される。各パッチは４つの長方形を含み、次のパッチとのオーバラップは１つの長方形である。

【0024】

９つの部分的にオーバラップしているパッチは、標準の差分の２乗和（ＳＳＤ：Sum of Squared Difference）トラッキング技術を個々に適用することによってトラックされる。中心ウインドウの運動ベクトルは、８つの周囲ウインドウの運動ベクトルの平均と比較される。運動ベクトルの整合性は点検される。パッチが全て単一の物体上にあるので、整合した運動を示さなければならない。図４は、エンジン部品１０１上のオーバラップするパッチ４０１にける種々のパッチからの運動ベクトルのノルム（norm）を示し、横軸はフレーム数であり、縦軸は運動ベクトルのノルムである。図４から、運動ベクトルのノルムにおける分散が大きいことがわかり、図４は、トラッキング位置感度が高く、したがって、図４に反映される形のトラッキングは信頼できないことを示唆している。

【0025】

２次元イメージ内の３次元部品のトラッキングを歪める少なくとも２つの影響、すなわち、ａ）投影歪およびｂ）熱（またはかすみ）に関連する歪が存在する。記録イメージはｆ＾は、ｆ＾＝ｆ_Ｏ＋ｆ_ＰＲの結果であり、ここで、ｆ_Ｏは、熱およびかすみによる光学歪を反映し、ｆ_ＰＲは投影歪を反映する。光学歪は、タービン内の暖気および熱気および／または熱ガスの運動によって形成および影響され、小さい領域においてのみ比較的整合していると考えられる。投影歪は、物体の形状に依存する。したがって、記録イメージおよびイメージのワーピングは、３次元空間の元のパターンと比較して、少なくとも位置に依存する。
なお、

【数1】

をｆ＾にて表した。

【0026】

本発明の一態様に従って、３次元空間内でトラックされる物体上のパターンの真の形状およびサイズについての知識が適用され、物体が３次元空間内で移動するとき、イメージから取られた物体のイメージを分析することによって、物体の運動を経時的にトラックする。本発明の一態様に従って、要素のイメージが歪められて現れる、物体上に配置されるパターンの少なくとも１つの要素は、イメージ内で標準フォーマットに対してワーピングしている。イメージ内の物体上で、標準フォーマットに対してワーピングしている複数のパッチが、互いに対して整合した運動を示し、それゆえ、タービンのような機械内の熱い雰囲気中のエンジン部品をトラックするための、信頼性の高い非接触監視方法を提供するということが予想される。

【0027】

本発明の一態様に従って、イメージ内の少なくとも投影歪を経験するイメージ内の物体のトラッキングは、次のステップを適用することによって達成される。
（１）物体にパターンを提供する。
（２）区分的歪みを有する入力イメージを（各物体に対して）調整する。
（３）複数の（部分的にオーバラップする）ウインドウを独立にトラックする。

【0028】

上述の方法の実行可能性を確認するために、（４）運動ベクトルを比較し、それらの整合性を確認することによって検証可能である。

【0029】

図１の例に示すように、エンジン部品上のチェッカーボードパターンは、周知のサイズ（例えば３．８１８ｍｍ×３．８１８ｍｍ）の白黒の正方形を有する。本発明の一実施形態では、パターンは、本願明細書に記載されている方法に従うパターンの正方形の一辺が３ｍｍ以上の正方形を有する。本発明の一実施形態では、パターンは、本願明細書に記載されている方法に従うパターンの正方形の一辺が３ｍｍ未満の正方形を有する。本発明の一実施形態では、パターンは、本願明細書に記載されている方法に従う各面を有する要素を有し、面は９ｍｍ^２未満である。本発明の一実施形態では、パターンは、本願明細書に記載されている方法に従う各面を有する要素を有し、面は等しいか９ｍｍ^２以上である。本発明の一実施形態では、パターンは、辺を共有するすべての長方形が異なる色を有する長方形を有する。他のパターンも可能であり、物体をトラックするために用いられることに留意されたい。目的は、円筒状のエンジン部品の軸方向および円周方向の測量的（metric）運動を測定することにある。この目的のために、チェッカーボードパターンが、図示例として用いられる。

【0030】

本発明の一態様に従って、各イメージ内の関心領域（ＲＯＩ）は、標準的なテンプレートに対してワーピングしている。具体的には、チェッカーボードパターンのため、正方形領域の四隅が、入力イメージ内で選択され、形状補正イメージの正方形にマップされる。エンジン部品が円筒状物体であるので、形状補正の２つの方法が存在する。
（１）円筒状エンジン部品の物理モデル（例えばＣＡＤ）を使用し、形状補正マッピングを導出することができる。
（２）入力イメージから複数の小領域を選択し、それらを、２×２投影変換Ｐ_ｉを用いて、形状補正イメージの対応位置（正方形の四隅）にマップすることができる。平坦面（チェッカーボード）上のシーン点Ｘごとに、イメージｕ内の撮像された点は、標準的なイメージ正方形の点

【数2】

に線形にマップ可能である。

【0031】

エンジン部品が平坦ではないので、この種の変換は、この種の線形マッピングが良好な近似である小領域にのみ適用される。その結果、区分的ワーピングは、形状補正ステップに対して達成される。このワーピングはまた、熱ガスの（局所的な）影響を補正する。

【数3】

【0032】

本発明の一実施形態では、第２の方法は、形状補正のための区分的ワーピングを得るためにプロセッサで実施された。一組の４×５＝２０の区分的ワーピングが用いられ、各々は、基準イメージに対して一度だけ決定される。次に、各入力イメージは、区分的ワーピングを使用して、幾何学的に補正される。

【0033】

標準的なイメージ・テンプレートは、原イメージに類似の分解能（２０×２０ピクセルが各正方形に対して用いられた）に設計されているので、運動情報が最も保持される。本発明の一態様に従って、パターン要素のワーピングイメージは、約４００ピクセルを有する正方形である。本願明細書において、「約４００ピクセル」という用語は、３５０ピクセル以上４５０ピクセル以下のサイズを意味する。運動トラッキングは、形状補正イメージシーケンスで実行される。次に、測量的運動は、形状補正イメージのイメージ運動ベクトルから容易に得られる。

【0034】

パッチ・サイズおよび運動範囲

【0035】

上述の方法において、物体トラッキングのためにパッチ・サイズを決定することには、トレードオフが存在する。通常、より大きいパッチはより滑らかなトラッキング結果をもたらすが、位置決めのためのトラッキング精度を失いうる。一方、より小さいパッチ・サイズはより良い精度を位置決めに提供することができるが、ウインドウの不十分なコントラストのために失敗することがありうる。６０×６０ピクセルのパッチ・サイズが、図１のこの例および図４のグラフに図示した運動に対して、精度と信頼性との良好なバランスを与えるということが経験的に決定された。本発明の一態様に従って、パッチは、約３６００ピクセルを含む。本願明細書において、約３６００ピクセルとは、３２００ピクセル以上４０００ピクセル以下を含む。

【0036】

さらにまた、いくつか（例えば９）のオーバラップするウインドウが再び適用され、それらのトラッキング結果は、区分的ワーピングを使用して分析された。それらの運動パターンは、ユークリッド空間および周波数領域の両方において整合していると判明し、それゆえ、上述の方法が有効であることが判明する。いくつかのオーバラップするウインドウを用いることによって、イメージ・ノイズにより生じる潜在的に誤った運動評価は、除去された。

【0037】

図６は、図１の左のエンジン部品１０１のイメージである。図５は、原入力とみなすことができる。上述の方法を達成するために、パッチがトラックされ、サブエリアのワーピングが生ずる領域６０１が、さらに識別される。

【0038】

図６は、区分的にワーピングした第１のサブ・パッチであるサブパート７０１を有するイメージ領域６０１を示す。図７は、区分的にワーピングした第２のサブ・パッチであるサブパート８０１を有するイメージ領域６０１を示す。図８は、区分的にワーピングした第３のサブ・パッチであるサブパート９０１を有するイメージ領域６０１を示す。図９は、区分的にワーピングした第４のサブ・パッチであるサブパート１００１を有するイメージ領域６０１を示す。図１０は、パッチのための全ての区分的ワーピングを有するイメージ部分１１０１を示す。

【0039】

図６〜図１０において、各サブ・パッチが、正方形のパターンを形成する（アフィン）ワーピングによって調整されるということが分かる。ボックス７０１、８０１、９０１、１００１および１１０１の内側のパターンは正方形であり、一方、これらのボックスの外側のチェッカード・パターンは正方形というよりはむしろ、引き伸ばされた形状を有して明らかに歪んでいる。したがって、本発明の一態様に従って、ワーピングは、サブ・パッチの各イメージ要素を補正イメージのイメージ要素に２×２投影変換することによって決定される。

【0040】

図１１は、区分的にワーピングした少なくともパッチ１２０１および１２０２を有する左のエンジン部品を有するイメージを示す。図１２のグラフには、４００超のイメージのこれらのパッチの運動ノルムが示される。図１３は、区分的にワーピングしたパッチ１４０１および１４０２を少なくとも有する右のエンジン部品を有するイメージを示す。図１４のグラフには、４００超のイメージのこれらのパッチの運動ノルムが示される。図１１および図１３のパッチ内部の領域は、パッチ境界の外側と比較して、正方形のパターンに対してワーピングしたパターンを明らかに示す。複数のパッチに対する運動ノルムの分散が非常に小さいということもまた観察される。これによって、エンジン部品の運動の比較的正確なトラッキングと、図１にて示したように、ワーピング方法をイメージ内の複数の物体に適用することによるイメージ内の２つ以上の物体の運動の直接比較と、が可能になる。

【0041】

本発明の一実施形態では、例えば、図１２および図１４に示すように、少なくとも複数の隣接するパッチが整合した運動を呈する場合にのみ、トラッキング結果は、信頼性が高いとみなされる。

【0042】

本発明の一態様に従って、ＳＳＤベースのトラッキングは、形状補正イメージシーケンスで実行される。図１２および図１４のグラフから、複数のパッチ間の運動ノルムの分散が非常に小さいということが観察された。これは、形状補正シーケンスにとって、ＳＳＤトラッキングは、位置感度が高くなく、エンジン部品の真の運動をキャプチャするということを示唆する。ワーピングのため、イメージの運動ベクトルは、ミリメートルのような測定基準に直接変換可能である。その結果、左右のエンジン部品の独立運動を、分析し、比較することができる。

【0043】

図１５は、本発明の各種態様に従って提供されるステップを説明する。ステップ１６０１において、３次元物体の運動を決定し、物体上のパターンの所望の寸法を決定する。ステップ１６０３において、パターンを、例えば、高温のタービンの機械部品である物体に適用する。ステップ１６０５において、パッチ・サイズおよび位置を、イメージ内でトラックされる３次元物体のイメージ上で決定する。ステップ１６０７において、区分的ワーピングを、複数のサブ・パッチの各々のために決定し、標準フォーマットに対してサブ・パッチをワーピングする。本発明の一実施形態では、この種の標準フォーマットは、イメージ・フレームのｘ軸およびｙ軸に沿った辺を有する正方形である。カメラで撮影した基準フレーム内でワーピングを決定し、ステップ１６０９において、カメラで撮影された次のイメージのパッチにワーピングを適用し、差分の２乗和（ＳＳＤ）トラッキング技術のようなトラッキング技術をワーピングしたパッチに適用することによって、ワーピングしたパッチをトラックし、機械部品の運動を算出する。区分的ワーピングを適用することによって、高温ガスによって生じる局所的なイメージ歪みが対処される。

【0044】

このように、本発明の各種態様に従って、最初に、形状補正は、第１のイメージまたは基準イメージ上で実行される。その後、イメージ内で表されるターゲットの３次元運動は、補正イメージ内の２次元並進によって非常によく近似される。いくつかの他の方法は、（周知のワーピングを含む）より一般の運動モデルに対して試された。これらのより一般の運動モデルが、さらなる重要な情報を提供せずに、しばしばより大きな計算労力を必要とするということが観察された。したがって、本発明の一態様に従って、あらゆるピクセルで測定された運動は、補正イメージから決定される２次元ベクトル（ｄｘ、ｄｙ）である。これは、周知の方法であるＳＳＤ（差分の２乗和）を用いて解析される。

【0045】

少なくとも１つの予想しなかった結果は、３次元空間の移動物体に関連した一連のイメージの少なくとも一領域の比較的単純な補正によって、少なくとも物体の回転を含む物体の３次元運動が、うまく決定されまたは補正イメージのピクセルの並進によって近似される、ということである。物体の運動の実際の速度および周波数は、サブピクセルの精度で補正イメージのイメージ分析によって近似可能である。

【0046】

本願明細書で提供される方法は、本発明の一実施形態では、システムまたはコンピュータ装置で実施される。それゆえ、図１６に示すように、本願明細書において記載されているステップは、プロセッサ上で実施される。図１６に示し、本願明細書において提供されるシステムは、データを受信し、処理し、生成可能である。システムは、メモリ１７０１に格納可能なデータを備えている。データは、カメラ（例えばＩＲ高速度カメラ）のようなセンサから、または、他の任意のデータ関連ソースから取得可能である。データは、入力１７０６に提供可能である。この種のデータは、イメージ・データまたは本願明細書において提供されるようなシステムで有用な他の任意のデータとすることができる。プロセッサは提供され、または、メモリ１７０２に保存され、プロセッサ１７０３に提供される本発明の方法を実行している命令セットまたはプログラムによってプログラムされ、プロセッサ１７０３は、メモリ１７０２に保存された命令を実行し、メモリ１７０１からのデータを処理する。イメージ・データまたはプロセッサによってトリガまたは生ずる他の任意のデータは、出力装置１７０４に出力され、出力装置１７０４は、イメージを表示するディスプレイまたはデータ記憶装置とすることができる。プロセッサは、通信装置から外部データを受信し、データを外部装置に送信するための通信路１７０７もまた有する。本発明の一実施形態のシステムは、入力装置１７０５を有し、この入力装置１７０５は、キーボード、マウス、ポインティング・デバイス、１つ以上のカメラ、または、プロセッサ１７０３に提供されるデータを生成可能な他の任意のデバイスを含むことができる。

【0047】

プロセッサは、専用または特定用途向けハードウェアまたは回路とすることができる。しかしながら、プロセッサは、一般的なＣＰＵ、コントローラまたはメモリ１７０２に保存された命令を実行可能な他の任意のコンピュータとすることができる。したがって、図１６に示したシステムは、カメラまたは他の任意のデータソースから生ずるデータを処理するためのシステムを提供し、本発明の１つ以上の態様として本願明細書において提供されている方法のステップを実行することができる。

【0048】

本発明の１つ以上の態様に従って、カメラによって生成されたイメージ・データから、３次元空間の３次元物体の運動をトラックするための方法および装置が提供され、イメージ・データの部分が標準フォーマットに対してワーピングされる。

【0049】

このように、新規なシステム、方法および方法を実施しているステップは、本願明細書に記載されている。

【0050】

本発明がハードウェア、ソフトウェア、ファームウェア、特別な汎用プロセッサまたはそれらの組み合わせの様々な形態において実施可能であることを理解されたい。一実施形態では、本発明は、プログラム記憶装置で明白に組み込まれるアプリケーション・プログラムとして、ソフトウェアで実施可能である。アプリケーション・プログラムは、任意の適切なアーキテクチャを具える機械にアップロードされ、それによって実行可能である。

【0051】

添付図面において表されたシステム・コンポーネントおよび方法ステップの一部がソフトウェアで実施可能なため、システム・コンポーネント（またはプロセスステップ）間の実際の接続が、本発明がプログラムされる方法に応じて異なりうることを理解されたい。本願明細書に提供されている本発明の教示を前提として、関連技術分野における当業者は、本発明の類似の実施態様または構成を考察可能である。

【0052】

本発明の基本的な新しい特徴は、本発明の好適実施形態に適用され、示され、記載され、指摘されたが、さまざまな省略、置換および変更が、本発明の要旨を逸脱しない範囲で当業者によって可能であることを理解されたい。それゆえ、本発明は、特許請求の範囲のみによって限定されているということを意図している。

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】

【図15】

【図16】