▶ 株式会社東芝の特許一覧 ▶ 東芝エネルギーシステムズ株式会社の特許一覧
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2022-08-09
(45)【発行日】2022-08-18
(54)【発明の名称】温度処理装置、及び温度処理方法
(51)【国際特許分類】
G06T 19/00 20110101AFI20220810BHJP
G01J 5/48 20220101ALI20220810BHJP
G01K 7/00 20060101ALI20220810BHJP
【ＦＩ】
G06T19/00 600
G01J5/48 A
G01K7/00 301M
【請求項の数】
9
(21)【出願番号】P 2018220359
(22)【出願日】2018-11-26
(65)【公開番号】P2020086929
(43)【公開日】2020-06-04
【審査請求日】2021-03-01
(73)【特許権者】
【識別番号】000003078
【氏名又は名称】株式会社東芝
(73)【特許権者】
【識別番号】317015294
【氏名又は名称】東芝エネルギーシステムズ株式会社
(74)【代理人】
【識別番号】100091982
【弁理士】
【氏名又は名称】永井 浩之
(74)【代理人】
【識別番号】100091487
【弁理士】
【氏名又は名称】中村 行孝
(74)【代理人】
【識別番号】100082991
【氏名又は名称】佐藤 泰和
(74)【代理人】
【識別番号】100105153
【弁理士】
【氏名又は名称】朝倉 悟
(74)【代理人】
【識別番号】100107582
【弁理士】
【氏名又は名称】関根 毅
(74)【代理人】
【識別番号】100124372
【弁理士】
【氏名又は名称】山ノ井 傑
(74)【代理人】
【識別番号】100125151
【弁理士】
【氏名又は名称】新畠 弘之
(72)【発明者】
【氏名】根本 晃
(72)【発明者】
【氏名】津田 将太
(72)【発明者】
【氏名】村上 雅規
【審査官】板垣 有紀
(56)【参考文献】
【文献】特開平０１－０５１５０３（ＪＰ，Ａ）
【文献】特開平０９－２１８１００（ＪＰ，Ａ）
【文献】久保 克己 他，画像処理技術の適用による原子力発電プラントの監視技術，東芝レビュー，日本，株式会社東芝，1995年08月01日，第５０巻 第８号，pp.619～622
【文献】福田 善文 他，３次元ＣＧを利用した統合化変電所監視支援システムの検討，画像電子学会誌，日本，画像電子学会，1997年10月25日，第２６巻 第５号，pp.608～617
【文献】石井 裕剛，拡張現実感（ＡＲ） ５ 応用２：プラント保守作業支援，情報処理，日本，社団法人情報処理学会，2010年04月15日，第５１巻 第４号，pp.392～397
(58)【調査した分野】(Int.Cl.，ＤＢ名)
Ｇ０６Ｔ １９／００
Ｇ０１Ｊ ５／４８
Ｇ０１Ｋ ７／００
(57)【特許請求の範囲】
【請求項1】
撮像部に撮像される現実物体に対応する３次元モデルを配置する３次元モデル空間の座標系と、前記撮像部の座標系との位置合わせを行う位置合わせ部と、前記撮像部の複数の異なる位置から撮像される現実空間の温度分布画像および現実空間画像を取得する取得部と、
複数の異なる位置毎の前記位置合わせ部による前記位置合わせに基づき、前記複数の異なる位置から撮像される前記温度分布画像の温度データを前記現実物体に対応する前記３次元モデルの座標に関連付ける処理部と、
前記３次元モデルの座標に関連付けられた前記複数の異なる位置から撮像された前記温度分布画像の温度データを記憶する記憶部と、
前記座標に関連付けられた前記温度データが第１状態であるか否かを判定する判定部と、
前記温度データが前記第１状態であると前記判定部が判定した場合に、前記温度データの温度分布画像を前記現実空間画像及び前記３次元モデルの画像の少なくとも一方と共に表示部に表示する表示処理部と、
を備える温度処理装置。
【請求項2】
前記座標は、前記現実物体の表面に対応する予め設定された３次元座標である、請求項１に記載の温度処理装置。
【請求項3】
前記現実物体はプラントを構成する部材であり、前記記憶部は、前記プラントの運転状態を示すプロセスデータ、及び時刻の少なくとも一方とも関連付けて、前記温度分布画像の温度データを記憶する、請求項１に記載の温度処理装置。
【請求項4】
前記判定部は、前記現実物体の運転状態を示すプロセスデータに応じて、前記判定を行う、請求項３に記載の温度処理装置。
【請求項5】
前記表示処理部は、表示処理部前記位置合わせに基づき、前記温度分布画像の少なくとも一部を対応する前記３次元モデルのエッジ画像と共に表示部に表示する、請求項１に記載の温度処理装置。
【請求項6】
前記表示処理部は、前記３次元モデルにおける内部形状のモデルを選択可能に表示する、請求項１に記載の温度処理装置。
【請求項7】
前記表示処理部は、前記３次元モデルを選択可能に表示する、請求項１に記載の温度処理装置。
【請求項8】
前記表示部が設けられたゴーグル型の頭部装着装置を更に備える、請求項１に記載の温度処理装置。
【請求項9】
撮像部の複数の異なる位置から撮像される現実空間の温度分布画像を取得する取得工程と、現実物体に対応する３次元モデルを配置する３次元モデル空間の座標系と前記複数の異なる位置毎の前記撮像部の座標系との位置合わせを行う位置合わせ工程と、
前記複数の異なる位置毎の前記位置合わせに基づき、前記複数の異なる位置から撮像される現実空間の前記温度分布画像の温度データを、前記現実物体の表面に対応する予め設定された前記３次元モデルの座標に関連付ける処理工程と、
前記座標に関連付けられた前記温度データが第１状態であるか否かを判定する判定工程と、
を備える温度処理方法。
【発明の詳細な説明】
【技術分野】
【0001】
本発明の実施形態は、温度処理装置、及び温度処理方法に関する。
【背景技術】
【0002】
プラント運転時のプロセス状態を監視するために、測定対象に熱電対、流量、圧力などを計測する計測器を取り付けている。この場合、計測器を取り付けた位置を含む限られた計測範囲における異常の兆候について検出することが可能である。しかし、計測範囲外で流体のリークなど部分的な異常が発生した場合に、異常の兆候について検出することは困難である。
【0003】
このため、赤外線サーモグラフィで撮像した温度分布画像を用いた観察により、広範囲な異常箇所の検出や特定が行われる。この場合、温度分布画像により得られる温度情報が正常なものか異常なものかの判定を行うのは人であり、それには十分な経験と知識を必要とする。このような判定に対し、統計データに基づく、客観的な判定が求められている。この統計データの蓄積には、温度分布画像に含まれる温度データを観察対象である現実物体の表面に対応する座標と関連付けることが必要である。このような関連付けの技術としてパターンマッチングが知られているが、赤外線サーモグラフィの撮像位置が異なると、温度分布画像と現実物体の座標との関連づけの精度が低下してしまう。
【先行技術文献】
【特許文献】
【0004】
【文献】ＷＯ２０１７／１６９２８０号公報
【発明の概要】
【発明が解決しようとする課題】
【0005】
本発明が解決しようとする課題は、現実空間の温度分布データを現実物体の表面に対応する座標に関連付けることが可能な温度処理装置、及び画像処理方法を提供することである。
【課題を解決するための手段】
【0006】
本実施形態に係る温度処理装置は、撮像部に撮像される現実物体に対応する３次元モデルを配置する３次元モデル空間の座標系と、前記撮像部の座標系との位置合わせを行う位置合わせ部と、前記撮像部に撮像される現実空間の温度分布画像を取得する取得部と、前記位置合わせに基づき、前記温度分布画像の温度データを前記現実物体に対応する前記３次元モデルの座標に関連付ける処理部と、を備える。
【発明の効果】
【0007】
本実施形態によれば、温度分布画像の温度データを現実物体の表面に対応する座標に関連付けることができる。
【図面の簡単な説明】
【0008】
【図1】本実施形態に係る温度処理装置の構成を示すブロック図。
【図2】現実物体に対応する３次元モデルの例を示す図。
【図3】撮像部の構成例を示す図。
【図4】３次元モデル空間の座標系と、撮像部の座標系との位置合わせ状態を示す概念図。
【図6】温度データを現実物体の表面に対応する座標に関連付ける概念図。
【図7】メッシュモデルの３次元座標に関連付けられた温度データを２次元データとして模式的に示す図。
【図9】座標に関連付けられた温度データとプロセスデータを示す図。
【図10】現実物体表面における一軸上の温度分布データを示す図。
【図11】プロセスデータの情報を加えた判定処理例を説明する図。
【図12】非定常時の一座標点における温度変化例を示す図。
【図13】表示処理部が液晶部に表示する画像例を示す図。
【図14】表示処理部の操作モード例を示す図。
【図15】表示処理部の操作モードの他の例を示す図。
【図16】内部構造として第１内部構造 が選択された表示例を示す図。
【図17】表示処理部のモデルを選択する操作モードの例を示す図。
【図18】航空機に本実施形態に係る温度処理装置を適用した例を示す図。
【図19】温度処理装置における温度処理の流れを示すフローチャート。
【発明を実施するための形態】
【0009】
以下、本発明の実施形態に係る温度処理装置、及び画像処理方法について、図面を参照しながら詳細に説明する。なお、以下に示す実施形態は、本発明の実施形態の一例であって、本発明はこれらの実施形態に限定して解釈されるものではない。また、本実施形態で参照する図面において、同一部分又は同様な機能を有する部分には同一の符号又は類似の符号を付し、その繰り返しの説明は省略する場合がある。また、図面の寸法比率は説明の都合上実際の比率とは異なる場合や、構成の一部が図面から省略される場合がある。
【0010】
図１は、本実施形態に係る温度処理装置１の構成を示すブロック図である。図１に示すように、本実施形態に係る温度処理装置１は、現実空間の温度分布データを現実物体の表面に対応する座標に関連付ける装置である。この温度処理装置１は、データ処理装置１０と、第１操作部２０と、表示部３０と、頭部装着映像装置４０と、第２操作部５０と、マーカ６０とを備えて構成されている。
【0011】
データ処理装置１０は、例えば、プロセッサを含んで構成され、現実物体に対応する３次元モデルを生成する。本実施形態に係る３次元モデルは、３次元モデル空間内に生成される。この３次元モデル空間の座標系は、現実空間の世界座標系に対応している。データ処理装置１０の詳細な構成は後述する。
【0012】
第１操作部２０は、データ処理装置１０の操作に必要となる情報を入力する。この第１操作部２０は、例えばキーボード、マウス、ポインティングデバイスなどにより構成される。
【0013】
表示部３０は、例えば、液晶ディスプレイやＣＲＴ（Ｃａｔｈｏｄｅ Ｒａｙ Ｔｕｂｅ）ディスプレイ等によって構成される。表示部３０は、データ処理装置１０により生成された各種の情報及び頭部装着映像装置４０により生成された画像などを表示する。例えば、表示部３０は、温度分布画像の少なくとも一部を現実空間画像及び３次元モデル画像の少なくとも一方と共に表示する。
【0014】
頭部装着映像装置４０は、例えばウェアラブルコンピュータであり、操作者の頭部に装着するゴーグル型の装置である。この頭部装着映像装置４０は、現実空間に配置される現実物体の温度分布画像、及び現実空間画像を撮像し、３次元モデル空間の座標系に配置される三次元モデルと対応させる。この３次元モデル空間の座標系は、世界座標系に対応する。頭部装着映像装置４０の詳細な構成は後述する。なお、現実物体又は３次元モデル上における点の位置を示すために与えられる数又は数の組を座標と呼ぶこととする。本実施形態では３次元座標を使用するが、これに限定されず、例えば１次元座標でもよい。
【0015】
第２操作部５０は、頭部装着映像装置４０の操作に必要となる情報を入力する。この頭部装着映像装置４０は、例えばキーボード、マウス、ポインティングデバイスなどにより構成される。
【0016】
複数のマーカ６０は、２次元の幾何模様を有するマーカであり、現実空間の座標系と、頭部装着映像装置４０の撮像部４０２の座標系とを対応付けるために用いられる。複数のマーカ６０が配置される位置は、３次元モデル空間の座標系における所定の座標に対応する。このマーカ６０の撮像画像データに基づき、頭部装着映像装置４０の世界座標系における位置及び姿勢が認識される。これにより、３次元モデル空間の座標系に頭部装着映像装置４０の座標系を対応させることが可能となる。
【0017】
ここで、データ処理装置１０の詳細な構成を説明する。データ処理装置１０は、記憶部１０２と、生成部１０４と、プロセスデータ取得部１０６と、判定部１０８とを有する。
【0018】
記憶部１０２は、例えばＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）、フラッシュメモリ等の半導体メモリ素子、ハードディスク等により実現される。この記憶部１０２は、データ処理装置１０が実行するプログラムと、各種の制御用のデータを記憶する。
【0019】
また、記憶部１０２は、現実物体の３次元構造を示す３次元情報を記憶する。この３次元情報は、現実世界における配置情報として世界座標系における位置及び向きを示す情報を含んでいる。例えば現実物体は、プラント内の装置、配管などである。この記憶部１０２は、プラント内の装置、配管などの設計部材の情報、例えば３次元ＣＡＤモデルの情報と、世界座標系における配置位置及び向きを示す情報とを記憶している。また、記憶部１０２は、現実物体の属性情報も記憶している。
【0020】
また、記憶部１０２は、現実物体の表面に対応する座標に関連付けられた温度データを記憶する。より具体的には、記憶部１０２は、現実物体がプラントを構成する部材であれば、プラントの運転状態を示すプロセスデータ、及び時刻の少なくとも一方とも関連付けて、現実物体の表面に対応する座標に関連付けられた温度データを記憶する。
【0021】
図２は、３次元モデル空間内に生成された現実物体に対応する３次元モデル１１０ｂの例を示す図である。ここでは、現実物体はフラッシャーである。３次元モデル空間の座標系１１０ａは、現実空間の世界座標系に対応する。フラッシャーは、発電プラント内に配置され、水蒸気の減圧に用いられる。
【0022】
図２に示すように、生成部１０４は、記憶部１０２に記憶される現実物体の３次元情報に基づき、現実物体に対応する３次元モデル１１０ｂを３次元モデル空間内に生成する。３次元モデル１１０ｂは、現実空間の世界座標系内に配置される現実物体と同等の形状及び大きさをしている。また、３次元モデル１１０ｂは、現実物体と同等の位置、姿勢である。
【0023】
プロセスデータ取得部１０６は、プラント内の装置、配管などに配置される監視センサから各種のプロセスデータを取得する。例えば、発電量などの出力値、気温、水温、圧力、水蒸気温度、蒸気圧、復水流量などである。プロセスデータ取得部１０６が取得したプロセスデータは時系列に記憶部１０２に記憶される。
【0024】
判定部１０８は、現実物体の表面に対応する座標に関連付けられた温度が異常な状態であるか否かを判定する。また、判定部１０８は、現実物体の運転状態を示すプロセスデータに応じて、異常な状態であるか否かを判定する。なお、本実施形態に係る異常な状態が、第１状態に対応する。判定部１０８の詳細は後述する。
【0025】
ここで、頭部装着映像装置４０の詳細な構成を説明する。図１に示すように、頭部装着映像装置４０は、プロセッサを含んで構成され、撮像部４０２と、時計部４０４と、取得部４０６と、位置合わせ部４０８と、処理部４１０と、液晶部４１２と、表示処理部４１４と、制御部４１６とを有している。プロセッサは、記憶部１０２に記憶されるプログラムを実行することにより、撮像部４０２と、時計部４０４と、取得部４０６と、位置合わせ部４０８と、処理部４１０と、液晶部４１２と、表示処理部４１４と、制御部４１６の機能を実現する。ここで、プロセッサという文言は、例えば、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）、ＧＰＵ（Ｇｒａｐｈｉｃｓ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）などの回路を意味する。
【0026】
【0027】
温度分布撮像カメラ４０２ａは、例えば赤外線サーモグラフィであり、温度分布画像４０６ｃを撮像する。すなわち、温度分布画像の各画素値は温度データに対応する。この温度分布撮像カメラ４０２ａの光軸をＺ軸とする。また、温度分布撮像カメラ４０２ａのイメージセンサの撮像面をＸ－Ｙ平面に平行に配置する。すなわち、撮像部４０２の座標系は、温度分布撮像カメラ４０２ａの光軸をＺ軸とし、イメージセンサの撮像面に平行な面をＸ－Ｙ平面とする。また、撮像部４０２の座標系は、メージセンサの撮像面と温度分布撮像カメラ４０２ａの光軸中心との交点である。
【0028】
本実施形態に係る温度分布撮像カメラ４０２ａは、一般的な赤外線サーモグラフィであり、赤外画像である温度分布画像４０６ｃと、可視画像である現実空間画像４０６ｄと、温度分布画像４０６ｃと現実空間画像４０６ｄとの合成画像を撮像可能である。なお、本実施形態に係る温度分布撮像カメラ４０２ａは、赤外線サーモグラフィであるが、これに限定されず、温度分布画像４０６ｃと現実空間画像４０６ｄとが撮像できるカメラらなら他の形態のカメラでもよく、例えばサーマルイメージと、デジタルカメラの組み合わせでもよい。なお、温度分布撮像カメラ４０２ａは、複数台備えてもよい。
【0029】
半球撮像カメラ４０２ｂは、半天球を撮像可能な赤外線サーモグラフィである。例えば、半球撮像カメラ４０２ｂは、通常時には温度分布画像を撮像する。これにより、より多くの監視範囲の温度分布画像を撮像可能である。一方で、所定の周期で、可視画像を撮影する。これにより、マーカ６０を撮像するカメラとして使用することが可能である。例えば監視者がプラント内を巡回して監視を行う場合に、半球撮像カメラ４０２ｂの撮影方向をマーカ６０に向けることなく、半球撮像カメラ４０２ｂによりマーカ６０を撮像可能である。このため、監視者は、プラント内の監視により専念できる。
【0030】
図１の時計部４０４は、例えば一般的なクロック回路であり、時刻を出力する。時計部４０４は、撮像部４０２で画像が撮像された時刻を画像データと関連付ける。
【0031】
取得部４０６は、撮像部４０２に撮像される現実空間の温度分布画像を取得する。また、撮像部４０２に撮像される現実空間画像、温度分布画像と現実空間画像との合成画像を取得する。
【0032】
図４は、３次元モデル１１０ｂを配置する３次元モデル空間の座標系１１０ａと、撮像部４０２の座標系１１０ｃとの位置合わせ状態を示す概念図である。
図５は、撮像部４０２が図４と異なる位置に配置された場合の座標系１１０ａと、座標系１１０ｃとの位置合わせ状態を示す概念図である。
図５は、撮像部４０２が図４と異なる位置に配置された場合の座標系１１０ａと、座標系１１０ｃとの位置合わせ状態を示す概念図である。
【0033】
図４及び図５に示すように、位置合わせ部４０８は、３次元モデル空間の座標系１１０ａ、すなわち世界座標系と、撮像部４０２の座標系１１０ｃとの位置合わせを行う。この３次元モデル空間には、撮像部４０２から観察される現実物体に対応する３次元モデル１１０ｂが配置される。
【0034】
より具体的には、位置合わせ部４０８は、撮像部４０２が撮像したマーカ６０の情報を用いて、撮像部４０２の位置姿勢を認識し、３次元モデル空間の座標系１１０ａと、座標系１１０ｃとの位置合わせを行う。本実施形態に係る位置合わせとは、座標系１１０ａの座標と、座標系１１０ｃの座標との対応関係を求めることを意味する。例えば、座標系１１０ａにおける座標原点が対応する座標系１１０ｃ内の座標と、Ｘ軸とＸＷ軸とのずれ角と、Ｙ軸とＹＷ軸とのずれ角と、Ｚ軸とＺＷ軸とのずれ角とを求めることを意味する。
【0035】
より具体的には、本実施形態に係るマーカ６０は、３次元モデル空間の座標系１１０ａの所定の座標に対応する現実空間の位置に配置される。このため、マーカ６０の撮像画像データに基づき、頭部装着映像装置４０の位置姿勢が認識される。すなわち、この位置姿勢の認識に基づき、座標系１１０ａにおける座標原点が対応する座標系１１０ａ内の座標と、Ｘ軸とＸＷ軸とのずれ角と、Ｙ軸とＹＷ軸とのずれ角と、Ｚ軸とＺＷ軸とのずれ角とが演算される。なお、３次元モデル空間の座標系１１０ａ、すなわち世界座標系と、撮像部４０２の座標系１１０ｃとの位置合わせ演算には、マーカの情報を用いた一般的な演算方法を用いることが可能である。
【0036】
また、位置合わせ部４０８は、例えば撮像部４０２が撮像した画像データに基づき、現実空間内の画像から抽出された自然特徴点の３次元座標をＳｆＭ（Ｓｔｒｕｃｔｕｒｅ ｆｒｏｍ Ｍｏｔｉｏｎ）により算出し、ランドマークデータとして記憶する。そして、位置合わせ部４０８は、ランドマークデータと撮像部４０２が撮像した画像データから得られる自然特徴点との対応関係に基づき、頭部装着映像装置４０の位置姿勢を推定する。このように、マーカ６０が撮像されない場合にも、現実空間内の座標系における頭部装着映像装置４０の位置姿勢の推定が可能となる。位置姿勢の推定方法はこのような方法に限定されず、例えば、ＧＰＳによる位置計測と、ビーコンによる地磁気による方位計測とを行い、頭部装着映像装置４０の位置姿勢を推定してもよい。
【0037】
処理部４１０は、位置合わせ部４０８の位置合わせに基づき、温度分布画像の温度データを現実物体の表面に対応する座標に関連付ける処理を行う。すなわち、処理部４１０は、位置合わせ部４０８の位置合わせに基づき、撮像部４０２により撮像された温度分布画像を３次元モデルにおける表面の３次元座標に対応させ、３次元モデルに対応する現実物体の表面における３次元座標に関連付ける。
【0038】
図６は、温度分布画像１１０ｉの温度データを現実物体の表面に対応する座標に関連付ける処理を説明する概念図である。図６に示すように、ＸＷ、ＹＷ、ＺＷは３次元モデルの座標系１１０ａ、すなわち世界座標系を示している。一方で、Ｘ、Ｙ、Ｚは撮像部４０２の座標系１１０ｃを示している。また、３次元モデル１１０ｂの左面の３次元座標をメッシュモデル１１０２ｂで示し、側面の３次元座標をメッシュモデル１１０２ｃで示している。これらメッシュモデル１１０２ｂ、１１０２ｃで示す座標は、現実物体の表面における座標に対応している。
【0039】
本実施形態に係る座標系１１０ｃの座標原点は、上述したように温度分布撮像カメラ４０２ａにおける撮像センサ１１０ｆのレンズ１１０ｄの光軸中心１１０ｅとの交点である。座標系１１０ｃの座標系の原点位置は、位置合わせ部４０８の位置合わせ処理により得られた情報により、世界座標系の中の座標（Ｘ１，Ｙ１、Ｚ１）に配置される。また、Ｚ軸方向は、位置合わせ部４０８の位置合わせ処理により得られた温度分布撮像カメラ４０２ａの光軸方向を示している。さらにまた、ＸＹ平面はＺ軸と直交し、イメージセンサ１１０ｆと平行である。
【0040】
これらか分かるように、温度分布撮像カメラ４０２ａの光学系の一般的な特性により、イメージセンサ１１０ｆ上の座標（Ｘ，Ｙ、Ｚ）は、レンズ１１０ｄのレンズ中心１１０ｇを通る透視線１００ｈが３次元モデル１１０ｂと交わる座標（ＸＷ、ＹＷ、ＺＷ）に対応する。すなわち、イメージセンサ１１０ｆ上の温度分布画像１１０ｉ内の座標（Ｘ，Ｙ、Ｚ）は、レンズ中心１１０ｇを通る透視線１００ｈが３次元モデル１１０ｂと交わる座標（ＸＷ、ＹＷ、ＺＷ）に関連付けることが可能である。このように、処理部４１０は、位置合わせ部４０８の位置合わせに基づき、温度分布画像の温度データを現実物体の表面に対応する座標に関連付ける処理を行う。
【0041】
図７は、メッシュモデル１１０２ｃの３次元座標に関連付けられた温度データの一部を２次元データとして模式的に示す図である。縦軸がＸＷ座標の値であり、横軸がＹＷ座標の値である。説明を簡単にするためＺＷ座標の値は省略している。また、メッシュモデル１１０２ｃの３次元座標に関連付けられた温度データは、温度分布撮像カメラ４０２ａが撮像できた温度分布画像内の温度データに限られる。
【0042】
図８は、図７と同様の図であり、図７とは異なる撮像位置で撮像された温度データの一部を２次元データとして模式的に示す図である。図７及び図８に示すように、メッシュモデル１１０２ｃの３次元座標に関連付けられた温度データは撮像位置により異なる。また、メッシュモデル１１０２ｃの３次元座標に関連付けられ温度データは、温度分布撮像カメラ４０２ａが撮像できた温度分布画像内の温度データに限られる。このため、温度分布撮像カメラ４０２ａの撮像位置が異なると、ＮＵＬＬが格納される座標も異なる。一方で、温度分布撮像カメラ４０２ａが撮像できた現実物体における温度分布画像内の温度データは、異なる位置から撮像しても、対応する座標に格納される。これらの座標に関連付けられた温度データは、記憶部１０２に記憶される。
【0043】
換言すると、異なる位置から撮像された温度分布画像内の温度データを、３次元モデル１１０ｂを介することにより、現実物体の表面に対応する共通した座標に関連付けることが可能となっている。このように、異なるタイミング、異なる位置から撮像されたデータを、３次元モデル１１０ｂを介することにより、現実物体の表面に対応する共通した座標に関連付けることができる。このため、異なる複数の撮像位置で撮像された温度分布画像、或いは、複数の異なる撮像部４０２により撮像された温度分布画像を共通のデータとして管理することも可能となる。
【0044】
図９は、現実物体の表面に対応する座標に関連付けられた温度データ９０１とプロセスデータ９０２とを概念的に示す図である。記憶部１０２は、時間軸Ｔに沿って、現実物体の表面に対応する座標に関連付けられた温度データ９０１を時系列に記憶する。また、記憶部１０２は、プロセスデータ取得部１０６により取得されたプロセスデータ９０２も温度データ９０１に時系列に関連付けて記憶する。
【0045】
再び図１に示すように、液晶部４１２は、例えば光学シースルー型液晶ディスプレイである。通常時には、監視者は肉眼により、装置を監視可能である。一方で、画像データが入力された場合には、液晶ディスプレイに表示される画像も観察可能に構成されている。なお、本実施形態に係る液晶部４１２が表示部に対応する。
【0046】
表示処理部４１４は、位置合わせ部４０８の位置合わせに基づき、撮像部４０２により撮像された温度分布画像温度分布画像４０６ｃ（図３）の少なくとも一部を現実空間画像４０６ｄ（図３）及び３次元モデル１１０ｂ（図２）の画像の少なくとも一方と共に液晶部４１２に表示する。また、表示処理部４１４は、判定部１０８が異常の状態と判定した場合に、撮像部４０２により撮像された温度分布画像４０６ｃ（図３）の少なくとも一部を現実空間画像４０６ｄ（図３）及び３次元モデル１１０ｂ（図２）の画像の少なくとも一方と共に液晶部４１２に表示してもよい。この場合、例えば、温度異常が生じている領域を示す温度画像が表示される。表示処理部４１４は、これらの処理画像を表示部３０にも表示してよい。表示処理部４１４の詳細は後述する。
【0047】
制御部４１６は、温度処理装置１の全体を制御する。
【0048】
ここで、判定部１０８の処理の詳細を説明する。判定部１０８は、撮像部４０２により撮像された温度分布画像４０６ｃ（図３）を、記憶部１０２に記憶されたデータと比較し、異常の有無を判定する機能を有する。
【0049】
図１０は、現実物体表面における一軸上の温度分布データＤ１０を示す図である。縦軸は温度を示し、横軸はＸ座標を示している。温度分布データＤ１０は、現実物体表面の座標に関連付けられ、記憶部１０２に記憶されたデータである。また、ラインＬ１は、温度分布データＤ１０の平均値を示している。温度ｐ１，ｐ２は、撮像部４０２により撮像され送られてきた温度データの中で異常値を示しているデータである。温度分布データＤ１０は、異なる撮像位置で撮像された温度分画像内の温度データを関連づけたデータである。
【0050】
図１０に示すように、判定部１０８は、座標毎の温度の正常値の範囲を演算し、正常値を超える範囲の温度を異常と判定する。より詳細には、座標毎の温度値の分散σを演算し、例えば２σ以内を正常値の範囲Ｗ１、Ｗ２とする。温度ｐ１，ｐ２は正常値の範囲Ｗ１、Ｗ２を逸脱しているので異常と判定する。温度値の分散σの演算には、座標毎に関連付けられた温度の分散を演算してもよいし、或いは、座標に対応する現実物体の点から所定範囲内に対応する複数の座標それぞれに関連づけられた温度の分散を演算してもよい。
【0051】
また、判定部１０８は、異常と判定した座標の情報を表示処理部４１４に出力する。これにより、表示処理部４１４は、判定部１０８が異常と判定した座標に基づき、撮像部４０２により撮像された温度分布画像４０６ｃ（図３）における温度異常が生じている領域の温度画像を現実空間画像４０６ｄ（図３）及び３次元モデル１１０ｂ（図２）の画像の少なくとも一方と共に液晶部４１２に表示する。
【0052】
図１１は、プロセスデータの情報を加えた判定処理例を説明する図である。
縦軸は温度を示し、横軸はプロセス値を示している。温度分布データＤ１４は、パラメータＡで取得された温度データの分布であり、現実物体の表面の一座標に関連付けられた温度データの分布である。ラインＬ２は、温度分布データＤ１４のプロセス値毎の平均値を示す。
縦軸は温度を示し、横軸はプロセス値を示している。温度分布データＤ１４は、パラメータＡで取得された温度データの分布であり、現実物体の表面の一座標に関連付けられた温度データの分布である。ラインＬ２は、温度分布データＤ１４のプロセス値毎の平均値を示す。
【0053】
温度分布データＤ１６は、パラメータＢで取得された温度データの分布であり、現実物体の表面の一座標に関連付けられた温度データの分布である。ラインＬ３は、温度分布データＤ１６のプロセス値毎の平均値を示す。なお、温度分布データＤ１４、１６は、異なる撮像位置で撮像された温度分布画像内の温度データを関連づけたデータである。
【0054】
判定部１０８は、同一パラメータ内のプロセス値毎の温度の正常値の範囲を演算し、正常値を超える範囲の温度を異常と判定する。より詳細には、プロセス値毎の温度値の分散σを演算し、２σ以内を正常値の範囲Ｗ３、Ｗ４とする。温度ｐ３，ｐ４は正常値の範囲Ｗ３、Ｗ４を逸脱しているので異常と判定する。温度値の分散σの演算には、座標毎に関連付けられた温度の分散を演算してもよいし、或いは、座標に対応する現実物体の点から所定範囲内に対応する複数の座標それぞれに関連づけられた温度の分散を演算してもよい。
【0055】
プロセス値は、現実物体の計測器から得られた温度、圧力、流量、冷却水温、蒸気圧、蒸気温度などのプロセス量のいずれか、又は組み合わせに基づく数値である。或いは、プロセス値は、現実物体周辺の気温、室温などどの環境値でもよい。また、プロセス値は、プロセス量又は環境値の時間変化率でもよい。このように、プロセス値により温度分布範囲が異なるので、プロセス値に応じて、判定を行うことにより、より判定精度があがる。なお、プロセス値はこれらに限定されず、温度分布の変動要因となるプロセス値を用いることが可能である。
【0056】
パラメータは、温度分布の変動要因となる現象を意味する。例えば、春、夏、秋、冬などの季節である。また、異なる例では、０～１時間、１時間～６時間、６時間～１２時間、１２時間～１日、１日～３日、０～１週間、１ヶ月、６か月、１年などの装置の起動からの時間範囲である。このように、パラメータにより温度分布範囲Ｄ１４、Ｄ１６が異なるので、パラメータに応じて、判定を行うことにより、より判定精度があがる。なお、パラメータはこれに限定されず、温度分布の変動要因となる事象をパラメータとすることが可能である。
【0057】
また、判定部１０８は、プロセス値の時間変化率毎の温度の正常値の範囲を演算し、正常値を超える範囲の温度を異常と判定する。
図１２は、装置の起動時などのような非定常時の一座標点における温度変化例を示す図である。横軸は時間を示し、縦軸は温度とプロセス値を示している。プロセス値Ｌ４を温度換算した値が温度換算値Ｌ５である。
図１２は、装置の起動時などのような非定常時の一座標点における温度変化例を示す図である。横軸は時間を示し、縦軸は温度とプロセス値を示している。プロセス値Ｌ４を温度換算した値が温度換算値Ｌ５である。
【0058】
一方で、実際の非定常時の測定温度値Ｌ６は、温度換算値Ｌ５と差分値Ｗ３のずれが生じてしまう。このため、図１１に示すような、プロセス値Ｌ４毎の温度の正常値範囲の演算では、温度分布に歪みが生じてしまい、判定精度が低下してしまう。そこで、非定常時には、プロセス値Ｌ４の時間変化率毎の温度の正常値の範囲をもとめ、判定に使用する。非定常時のプロセス値Ｌ４の時間変化率と、非定常時の測定温度値Ｌ６の時間変化率は、より高い相関を有する。このため、プロセス値における時間変化率毎の温度の正常値範囲を演算することで、より判定精度が向上する。
【0059】
ここで、表示処理部４１４の処理を詳細に説明する。
図１３は、表示処理部４１４が液晶部４１２に表示する画像例を示す図である。図１３に示すように、表示処理部４１４は、３次元モデル１３００と、内部構造のモデルである第１内部構造１３０２と、第２内部構造１３０４と、温度異常のあった領域を示す画像１３０６を液晶部４１２及び表示部３０に表示する。３次元モデル１３００は、例えば復水器である。
図１３は、表示処理部４１４が液晶部４１２に表示する画像例を示す図である。図１３に示すように、表示処理部４１４は、３次元モデル１３００と、内部構造のモデルである第１内部構造１３０２と、第２内部構造１３０４と、温度異常のあった領域を示す画像１３０６を液晶部４１２及び表示部３０に表示する。３次元モデル１３００は、例えば復水器である。
【0060】
生成部１０４は、記憶部に４０２に記憶される３次元モデル１３００の内部構造の情報に基づき、内部構造のモデルである第１内部構造１３０２と、第２内部構造１３０４とのモデル形状画像を生成する。表示処理部４１４は、判定部１０８から供給された情報に基づき、３次元モデル１３００、第１内部構造１３０２、及び第２内部構造１３０４のモデル形状画像と共に、温度異常のあった温度領域１３０６を示す画像を３次元モデル１３００におけるモデル形状の表面に表示する。
【0061】
これにより、温度異常のあった温度領域１３０６と、現実物体の内部構造を合わせて観察することが可能となる。このため、観察者は、内部構造の情報も用いて異常の原因を把握可能となる。例えば、図１３の例では、温度異常のあった温度領域１３０６は、第１内部構造１３０２側にあるので、異常の原因が第１内部構造１３０２側である可能性が高いと、把握できる。一方で、通常の赤外線サーモグラフィでは、物体の表面と温度分布の関係しか把握できないため、内部構造との関係を画像上から確認することは困難である。
【0062】
図１４は、表示処理部４１４の操作モード例を示す図である。図１４に示すように、表示処理部４１４は、現実空間画像、温度の異常領域、温度分布画像、モデル形状画像、モデル形状の内部モデル、モデル形状のエッジ画像の組み合わせを選択して表示することができる。例えば、図１３の画像は、図１４の操作例の結果画像であり、温度の異常領域、モデル形状、及びモデル形状の内部モデルの画像が表示されている。
【0063】
モデル形状のエッジ画像は、モデル形状の辺をエッジとして表示するものである。温度分布画像の解像度は低く、温度分布画像のみでは現実物体との位置関係の把握が困難となる。これに対して、モデル形状のエッジ画像と、温度分布画像を重畳すると、現実物体との位置関係の把握を容易に行うことができる。
【0064】
図１５は、表示処理部４１４の操作モードの他の例を示す図である。図１５に示すように、表示処理部４１４では、モデル形状の内部モデル（図１４）が選択された場合には、更に表示する内部モデルを選択可能に構成されている。一般に内部構造は、複雑に配置されており、更に包含関係にある内部構造もある。このため、全ての内部構造を表示すると、内部構造の把握が困難となる場合がある。
【0065】
図１６は、内部構造として第１内部構造が選択された表示例を示す図である。図１６に示すように、表示する内部モデル１３０２を選択することにより、内部構造の把握が容易となる。このように、本実施形態に係る操作モードでは、確認したい内部構造を選択可能に構成されているので、内部構造の把握が容易となる。
【0066】
図１７は、表示処理部４１４のモデルを選択する操作モードの他の例を示す図である。図７に示すように、表示処理部４１４では、撮像部４０２の撮像範囲にある現実物体の中から、表示するモデルを選択可能に構成されている。図６に示したように、撮像部４０２の撮像範囲にあるモデルは、透過線１１０ｈと交差するモデル空間上の三次元モデルにより把握可能である。これにより、表示処理部４１４は、表示可能であるモデルの属性を液晶部４１２に表示する。観察者は、液晶部４１２に表示されたモデルの属性を選択する。
【0067】
表示処理部４１４は、観察者が選択した現実物体に対応するモデルのみを液晶部４１２に表示する。これにより、観察者は、観察したい現実物体のモデルを集中的に観察可能となる。例えば、図１４、及び１５に示した内部モデルに関する表示処理も選択した現実物体に対応するモデルに対して行われるので、観察がより容易となる。
【0068】
図１８は、航空機に本実施形態に係る温度処理装置１を適用した例を示す図である。図１８に示すように、３次元の設計データがある装置に、本実施形態に係る温度処理装置１を適用可能である。例えば、航空機、自動車、電車、電子機器、船舶などである。
【0069】
【0070】
図１９に示すように、撮像部４０２はマーカ６０を撮像する（ステップＳ１００）。続けて、取得部４０２により取得されたマーカ６０の可視画像は位置合わせ部４０８に入力される。
【0071】
位置合わせ部４０８は、マーカ６０の情報に基づき、現実物体に対応する３次元モデルを配置する３次元モデル空間の座標系１１０ａと、撮像部４０２の座標系１１０ｃとの位置合わせを行う（ステップＳ１０２）。
【0072】
次に、撮像部４０２は、温度分布画像を撮像する（ステップＳ１０４）。続けて、取得部４０２により取得された温度分布画像は処理部４１０に入力される。
【0073】
次に、処理部４１０は、位置合わせ部４０８による位置合わせに基づき、温度分布画像の温度データを３次元モデルにおける表面の３次元座標に対応させ、現実物体の表面における３次元座標に関連付ける（ステップＳ１０６）。
【0074】
次に、判定部１０８は、３次元座標に関連付けられた温度データの全てに関して、異常の有無を判定する（ステップＳ１０８）。異常があると判定した場合（ステップＳ１０８のＹＥＳ）、判定部１０８は、異常があると判定された３次元座標の情報を、表示処理部４１４に出力する。
【0075】
表示処理部４１４は、異常があると判定された３次元座標の情報に基づき、三次元モデル形状と、三次元モデル形状の表面画像上における、異常があると判定された３次元座標の領域を示す画像を液晶部４１２に表示する（ステップＳ１１０）。一方で、異常がない場合（ステップＳ１０８のＮＯ）、ステップＳ１１２からの処理を行う。
【0076】
次に、制御部４１６は、全体処理を終了する否かを判定する（ステップＳ１１２）。終了すると判定する場合（ステップＳ１１２のＹＥＳ）、全体処理を終了する。一方で、終了しない場合（ステップＳ１１２のＮＯ）、位置合わせ部４０８は、頭部装着映像装置４０の位置姿勢を推定し（ステップＳ１１４）、ステップＳ１０４からの処理を繰り返す。
【0077】
このように温度データに異常がある場合に、異常を示す領域を観察中の現実物体に対応する３次元モデル上に異常を示す領域を表示することで、異常の箇所を容易に判別可能となる。
【0078】
以上のように、本実施形態によれば、位置合わせ部４０８が、現実物体に対応する３次元モデルを配置する３次元モデル空間の座標系と、撮像部４０２の座標系との位置合わせを行い、処理部４１０が、この位置合わせに基づき、温度分布画像の温度データを現実物体の表面に対応する３次元モデルの座標に関連付けることとした。これにより、異なる位置から撮像された温度分布画像内の温度データを、３次元モデルを介することにより、現実物体の表面に対応する共通した座標に関連付けることが可能となる。
【0079】
本実施形態による温度処理装置１におけるデータ処理方法の少なくとも一部は、ハードウェアで構成してもよいし、ソフトウェアで構成してもよい。ソフトウェアで構成する場合には、データ処理方法の少なくとも一部の機能を実現するプログラムをフレキシブルディスクやＣＤ－ＲＯＭ等の記録媒体に収納し、コンピュータに読み込ませて実行させてもよい。記録媒体は、磁気ディスクや光ディスク等の着脱可能なものに限定されず、ハードディスク装置やメモリなどの固定型の記録媒体でもよい。また、データ処理方法の少なくとも一部の機能を実現するプログラムを、インターネット等の通信回線（無線通信も含む）を介して頒布してもよい。さらに、同プログラムを暗号化したり、変調をかけたり、圧縮した状態で、インターネット等の有線回線や無線回線を介して、あるいは記録媒体に収納して頒布してもよい。
【0080】
以上、いくつかの実施形態を説明したが、これらの実施形態は、例としてのみ提示したものであり、発明の範囲を限定することを意図したものではない。本明細書で説明した新規な装置、方法及びプログラムは、その他の様々な形態で実施することができる。また、本明細書で説明した装置、方法及びプログラムの形態に対し、発明の要旨を逸脱しない範囲内で、種々の省略、置換、変更を行うことができる。
【符号の説明】
【0081】
１：温度処理装置、１０：データ処理装置、３０：表示部、４０：頭部装着映像装置、１０２：記憶部、１０４：生成部、１０８：判定部、４０２：撮像部、４０４：時計部、４０６：取得部、４０８：位置合わせ部、４１０：処理部、４１２：液晶部、４１４：表示処理部
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図13】
【図14】
【図15】
【図16】
【図17】
【図18】
【図19】