特開 2023-103846 検査支援装置、及び検査支援方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2023103846

(43)【公開日】2023-07-27

(54)【発明の名称】検査支援装置、及び検査支援方法

(51)【国際特許分類】

   H04N 7/18 20060101AFI20230720BHJP

   H04N 23/63 20230101ALI20230720BHJP

   G06T 1/00 20060101ALI20230720BHJP

   G09G 5/00 20060101ALI20230720BHJP

   G01J 5/48 20220101ALI20230720BHJP

【ＦＩ】

H04N7/18 B

H04N5/232 945

H04N5/232 941

G06T1/00 305C

G09G5/00 550C

G09G5/00 X

G09G5/00 510A

G01J5/48 A

【審査請求】未請求

【請求項の数】10

【出願形態】ＯＬ

(21)【出願番号】P 2022004609

(22)【出願日】2022-01-14

(71)【出願人】

【識別番号】000003078

【氏名又は名称】株式会社東芝

(71)【出願人】

【識別番号】598076591

【氏名又は名称】東芝インフラシステムズ株式会社

(74)【代理人】

【識別番号】100091487

【弁理士】

【氏名又は名称】中村 行孝

(74)【代理人】

【識別番号】100120031

【弁理士】

【氏名又は名称】宮嶋 学

(74)【代理人】

【識別番号】100107582

【弁理士】

【氏名又は名称】関根 毅

(74)【代理人】

【識別番号】100118843

【弁理士】

【氏名又は名称】赤岡 明

(74)【代理人】

【識別番号】100125151

【弁理士】

【氏名又は名称】新畠 弘之

(72)【発明者】

【氏名】坂口 智哉

【テーマコード（参考）】

2G066

5B057

5C054

5C122

5C182

【Ｆターム（参考）】

2G066CA02

2G066CB05

2G066CB10

5B057AA20

5B057BA02

5B057CA13

5B057CB13

5B057DA01

5B057DA07

5B057DB03

5C054CA04

5C054CA05

5C054CA10

5C054CD03

5C054FA02

5C054FA07

5C054FE05

5C054FE13

5C054FE16

5C054FE28

5C054HA05

5C122DA12

5C122DA16

5C122EA47

5C122FH11

5C122FK28

5C122FK35

5C122FK41

5C122HB01

5C122HB05

5C182AA02

5C182AA03

5C182AB35

5C182AC02

5C182AC03

5C182AC34

5C182BA03

5C182BA04

5C182BA14

5C182BA28

5C182BA35

5C182BA47

5C182BA75

5C182BC25

5C182CB44

(57)【要約】

【課題】実空間の温度分布データを用いた検査支援が可能な検査支援装置、及び検査支援方法を提供する。
【解決手段】本実施形態に係る検査支援装置は撮像部に撮像される検査対象物に対応する３次元モデルを配置する３次元モデル空間の座標系と、撮像部の座標系との位置合わせを行う位置合わせ部と、位置合わせに基づき、撮像部に撮像される現実空間の温度分布画像の温度データを検査対象物の表面に対応する３次元モデルの座標に関連付け、検査対象物の表面温度を検知する温度検出部と、温度データが基準となる温度を超えた領域を異常として検知する異常検知部と、基準となる温度を超えた領域に対応する回路、構成部材、及び配線の少なくともいずれかに関する図面情報を示す画像を表示部に表示させる表示制御部と、を備える。
【選択図】図１

【特許請求の範囲】

【請求項1】

撮像部に撮像される検査対象物に対応する３次元モデルを配置する３次元モデル空間の座標系と、前記撮像部の座標系との位置合わせを行う位置合わせ部と、
前記位置合わせに基づき、前記撮像部に撮像される現実空間の温度分布画像の温度データを前記検査対象物の表面に対応する前記３次元モデルの座標に関連付け、前記検査対象物の表面温度を検知する温度検出部と、
前記温度データが基準となる温度を超えた領域を異常として検知する異常検知部と、
前記基準となる温度を超えた領域に対応する回路、構成部材、及び配線の少なくともいずれかに関する図面情報を示す画像を表示部に表示させる表示制御部と、
を備える検査支援装置。

【請求項2】

前記表示制御部は、前記検査対象物の表面に前記図面情報を重畳して前記表示部に表示させる、請求項１に記載の検査支援装置。

【請求項3】

前記撮像部は、前記現実空間の温度分布画像を撮像するサーモグラフィを有する、請求項１又は２に記載の検査支援装置。

【請求項4】

前記表示部及び前記撮像部は、ゴーグル型の頭部装着装置が有する、請求項３に記載の検査支援装置。

【請求項5】

前記表示部に表示する画像情報を含む画像信号を少なくとも送信する通信部を、更に備える、請求項１乃至３のいずれか一項に記載の検査支援装置。

【請求項6】

前記異常検知部は、前記温度データが前記基準となる温度を超えた領域の座標を検知し、
前記表示制御部は、前記座標に対応する回路、構成部材、及び配線のうちの少なくともいずれかに関する情報を示す画像を前記表示部に表示させる、請求項１乃至５のいずれか一項に記載の検査支援装置。

【請求項7】

前記図面情報は、実装図、配線図、及びバック線図の少なくともいずれかに関する情報である、請求項６に記載の検査支援装置。

【請求項8】

前記表示制御部は、前記異常検知部が異常を検知した場合に、前記検査対象物の内部構造の温度画像の撮像を指示する画像を前記表示部に表示させる、請求項１乃至７のいずれか一項に記載の検査支援装置。

【請求項9】

前記異常検知部は、前記検査対象物の内部構造の前記温度データが前記基準となる温度を超えた領域の座標を検知し、
前記表示制御部は、前記座標に対応する回路情報を示す画像を前記表示部に表示させる、請求項８に記載の検査支援装置。

【請求項10】

撮像部に撮像される検査対象物に対応する３次元モデルを配置する３次元モデル空間の座標系と、前記撮像部の座標系との位置合わせを行う位置合わせ工程と、
前記位置合わせに基づき、前記撮像部に撮像される現実空間の温度分布画像の温度データを前記検査対象物の表面に対応する前記３次元モデルの座標に関連付け、前記検査対象物の表面温度を検知する温度検知工程と、
前記温度データが基準となる温度を超えた領域を異常として検知する異常検知工程と、
前記基準となる温度を超えた領域に対応する回路、構成部材、及び配線の少なくともいずれかに関する図面情報を示す画像を表示部に表示させる表示制御工程と、
を備える検査支援方法。

【発明の詳細な説明】

【技術分野】

【0001】

本発明の実施形態は、検査支援装置、及び検査支援方法に関する。

【背景技術】

【0002】

水処理システムなどの電気設備を監視するために、測定対象の電流、電圧等を計測する計測器を取り付けている。しかし、電気設備は複雑な配線を有しており、異常箇所の検出に時間がかかってしまう。

【先行技術文献】

【特許文献】

【0003】

【特許文献1】特開２０２０－１７０２４９号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

本発明が解決しようとする課題は、現実空間の温度分布データを用いた検査支援が可能な検査支援装置、及び検査支援方法を提供することである。

【課題を解決するための手段】

【0005】

本実施形態に係る検査支援装置は撮像部に撮像される検査対象物に対応する３次元モデルを配置する３次元モデル空間の座標系と、撮像部の座標系との位置合わせを行う位置合わせ部と、位置合わせに基づき、撮像部に撮像される現実空間の温度分布画像の温度データを検査対象物の表面に対応する３次元モデルの座標に関連付け、検査対象物の表面温度を検知する温度検出部と、温度データが基準となる温度を超えた領域を異常として検知する異常検知部と、基準となる温度を超えた領域に対応する回路、構成部材、及び配線の少なくともいずれかに関する図面情報を示す画像を表示部に表示させる表示制御部と、を備える。

【発明の効果】

【0006】

本実施形態によれば、現実空間の温度分布データを用いた検査支援が可能となる。

【図面の簡単な説明】

【0007】

【図1】本実施形態に係る検査支援装置の構成を示すブロック図。

【図2】記憶部が記憶する情報例を示す図。

【図3】制御盤の３次元モデルを模式的に示す図。

【図4】座標系の位置合わせ状態を示す概念図。

【図5】検査順の情報を現実物体の表面に重畳表示した画像例を示す図。

【図6】次の撮影対象を示す画像例を模式的に示す図。

【図7】温度分布画像を現実物体の表面に対応する座標に関連付ける処理を説明する概念図。

【図8A】温度データを現実空間画像に重畳した画像例を模式的に示す図。

【図8B】実装図を現実空間画像に重畳表示した例を示す画像。

【図8C】実装図を液晶画面に表示した例を示す画像。

【図8D】異常を検知した際に、液晶画面に表示される画像例。

【図9A】温度データを制御盤内部の現実空間画像に重畳した画像例を模式的に示す図。

【図9B】配線図像を、回路構成部の表面に重畳表示した例を示す画像。

【図9C】回路構成部のバック線図の情報を示す図。

【図9D】異常を検知した際に、バック線図の情報が液晶画面２１０に表示される画像例。

【図10】査支援処理の流れを示すフローチャート。

【図11】ステップＳ１１６の詳細な処理例を示すフローチャート。

【発明を実施するための形態】

【0008】

以下、本発明の実施形態に係る検査支援装置、及び検査支援方法について、図面を参照しながら詳細に説明する。なお、以下に示す実施形態は、本発明の実施形態の一例であって、本発明はこれらの実施形態に限定して解釈されるものではない。また、本実施形態で参照する図面において、同一部分又は同様な機能を有する部分には同一の符号又は類似の符号を付し、その繰り返しの説明は省略する場合がある。また、図面の寸法比率は説明の都合上実際の比率とは異なる場合や、構成の一部が図面から省略される場合がある。

【0009】

（第１実施形態）

【0010】

図１は、本実施形態に係る検査支援装置１の構成を示すブロック図である。図１に示すように、本実施形態に係る検査支援装置１は、現実空間の温度分布データを用いて電気設備の検査支援が可能な装置である。この温検査支援装置１は、データ処理装置１０と、第１操作部２０と、表示部３０と、頭部装着映像装置４０と、第２操作部５０とを備えて構成されている。

【0011】

データ処理装置１０は、例えば、中央管理室に配置される。このデータ処理装置１０は、例えばサーバーであり、現実物体に対応する３次元モデルを生成する。本実施形態に係る３次元モデルは、３次元モデル空間内に生成される。この３次元モデル空間の座標系は、現実空間の世界座標系に対応している。データ処理装置１０の詳細な構成は後述する。

【0012】

第１操作部２０は、データ処理装置１０の操作に必要となる情報を入力する。この第１操作部２０は、例えばキーボード、マウス、ポインティングデバイスなどにより構成される。

【0013】

表示部３０は、例えば、液晶ディスプレイやＣＲＴ（Ｃａｔｈｏｄｅ Ｒａｙ Ｔｕｂｅ）ディスプレイ等によって構成される。表示部３０は、データ処理装置１０により生成された各種の情報、及び頭部装着映像装置４０が撮像している画像データを表示する。例えば、表示部３０は、温度分布画像の少なくとも一部を、現実空間画像及び３次元モデルの画像の少なくとも一方と共に表示する。これにより、現実空間の検査対象における温度分布情報などを中央管理室側でもリアルタイムに把握可能となる。また、後述するように、音声の無線通信などにより、現場の観察状況に応じて、直接的に頭部装着映像装置４０の装着者に指示などを出すことも可能である。

【0014】

頭部装着映像装置４０は、例えばウェアラブルコンピュータであり、操作者の頭部に装着するゴーグル型の装置である。この頭部装着映像装置４０は、現実空間に配置される現実物体の温度分布画像、及び現実空間画像を撮像し、世界座標系と対応させる。頭部装着映像装置４０の詳細な構成は後述する。

【0015】

第２操作部５０は、頭部装着映像装置４０の操作に必要となる情報を入力する。この頭部装着映像装置４０は、例えばキーボード、マウス、ポインティングデバイスなどにより構成される。

【0016】

ここで、データ処理装置１０の詳細な構成を説明する。データ処理装置１０は、処理部１００と、通信部１０２と、スピーカ１０４と、マイク１０６と、を有する。処理部１００は、ＣＰＵを含んで構成され、記憶部１０８に記憶されるプログラムを実行することにより、各部を構成する。この処理部１００は、制御部１０７と、記憶部１０８と、配置モデル生成部１１０とを有する。なお、本実施形態では、データ処理装置１０と頭部装着映像装置４０とを分離して構成しているが、これに限定されない。例えば、データ処理装置１０の処理部１００を頭部装着映像装置４０内に一体的に構成してもよい。

【0017】

通信部１０２は、例えば無線通信装置であり、頭部装着映像装置４０と無線通信を行う。スピーカ１０４は、通信部１０２が頭部装着映像装置４０から受信した音声信号を制御部１０７の制御にしたがい音声に変換する。マイク１０６は、例えば中央管理室内の管理者の音声を制御部１０７の制御にしたがい音声信号に変換し、通信部１０２を介して頭部装着映像装置４０に送信する。

【0018】

制御部１０７は、データ処理装置１０の各処理部を制御する。また制御部１０７は、記憶部１０８が記憶するプログラムを実行することにより、各処理部を構成する。

【0019】

記憶部１０８は、例えばＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）、フラッシュメモリ等の半導体メモリ素子、ハードディスク等により実現される。この記憶部１０８は、制御部１０７が実行するプログラムと、各種の制御用のデータを記憶する。

【0020】

図２は記憶部１０８が記憶する情報例を示す図である。図２に示すように、記憶部１０８は、経路情報３００と、空間モデル３０２と、外形情報３０４と、実装図情報３０６と、配線図情報３０８と、バック線図情報３１０と、温度分布情報３１２と、を有する。

【0021】

経路情報３００は、作業支援処理で使用される経路情報である。経路情報３００には、例えば、複数の制御盤の世界座標系における位置と向きを示す情報と、複数の制御盤の世界座標系での撮影位置、複数の制御盤の訪問順序を示す情報などを含んでいる。これらの複数の制御盤の世界座標系での位置と向きなどの情報を含む経路情報３００は、例えばプラント内の配置情報を有する設計データから生成される。また、訪問順序、撮影位置などの情報は、管理者により予め設定されている。なお、本実施形態に係る経路情報３００は、設計データから生成されるが、これに限定されない。例えば、プラント内の機器を撮像した３次元撮影画像データなどを用いて生成してもよい。また、本実施形態では検査支援の対象を、制御盤を例に説明するが、これに限定されない。例えば、テレビなどの家電製品、パソコンなどのように電気配線を有し、発熱する物体を検査支援の対象とすることが可能である。

【0022】

空間モデル３０２は、例えば検査対象となる複数の制御盤の３次元モデルの情報である。この３次元モデルの情報は、例えば、予め制御盤の実装図情報３０６等から三次元のボクセルデータとして配置モデル生成部１１０により構成されている。配置モデル生成部１１０の詳細は後述する。

【0023】

外形情報３０４、実装図情報３０６と、配線図情報３０８、及びバック線図情報３１０は、制御盤毎の回路情報例である。外形情報３０４は、制御盤の外形情報として、例えば外形の形状情報、及び外形を構成する各辺の寸法情報を有する。実装図情報３０６は、制御盤の回路を含む構成要素の配置情報である。実装図情報３０６は、例えば、各回路要素の座標情報と、回路要素の外形を構成する各辺の寸法を有する。配線図情報３０８は、実装図情報３０６に含まれる回路要素を接続する配線の情報を図表化した情報である。例えば、単線、複線の情報が図表化されている。バック線図情報３１０は、例えば制御盤端子の番号とケーブル心線端子の対応情報である。また、これらの図形情報の座標は、世界座標系の座標と予め対応づけられている。このような情報が、各検査対象別に予め記憶部１０８に登録されている。

【0024】

温度分布情報３１２は、２次元又は３次元の基準温度分布情報である。温度分布情報３１２は、外形情報３０４及び実装図情報３０６に含まれる各構成部の表面における正常範囲の温度分布情報が世界座標系の座標と関連付けられている。このように、これらの温度分布情報は、各回路要素などと予め関連付けられている。すなわち、記憶部１０８は、温度分布情報３１２として、現実の制御盤、構成回路などの表面に対応する座標に関連付けられた温度データを記憶する。これらの情報は、例えば正常動作している状態で、後述する撮像位置から予めサーモカメラにより撮像され、登録されている。

【0025】

図３は、配置モデル生成部１１０が生成した世界座標系３００Ｚにおける複数の制御盤の３次元モデル３２０を模式的に示す図である。再び図１に示すように、配置モデル生成部１１０は、経路情報３００に含まれる複数の制御盤４００の世界座標系での位置と向きを示す情報と、外形情報３０４に含まれる複数の制御盤の外形情報を用いて、世界座標における複数の制御盤の３次元モデルを上述の空間モデル３０２として生成する。そして、配置モデル生成部１１０は、記憶部１０８に生成したモデルを記憶する。空間モデル３０２は、例えば３次元空間内の複数の点に対応するボクセルデータとして生成される。すなわち、空間モデル３０２の各ボクセルが世界座標系での３次元座標の情報を有する。

【0026】

ここで、頭部装着映像装置４０の詳細な構成を説明する。再び図１に示すように、頭部装着映像装置４０は、処理部２００と、通信部２０２と、位置センサ２０４と、撮像部２０５と、スピーカ２０８と、マイク２０９と、液晶画面２１０とを有する。処理部２００は、ＣＰＵを含んで構成され、記憶部２１４に記憶されるプログラムを実行することにより、各部を構成する。また、処理部２００は、温度異常のある箇所を抽出し、操作者に指示する。処理部２００は、制御部２１２と、記憶部２１４と、位置合わせ部２１６と、画像生成部２１８と、表示制御部２２０と、機器温度検出部２２２と、異常検知部２２４とを、有する。なお、処理部２００の詳細は後述する。なお、本実施形態に係る液晶画面２１０が表示部に対応し、機器温度検出部２２２が温度検出部に対応する。

【0027】

通信部２０２は、例えば無線通信が可能な無線装置である。この通信部２０２は、頭部装着映像装置４０が有する情報をデータ処理装置１０に無線通信により供給する。

【0028】

位置センサ２０４は、頭部装着映像装置４０の世界座標系での位置座標と、頭部装着映像装置４０の向き及び姿勢を検知する。例えば、位置センサ２０４は、ＧＰＳセンサと６軸センサにより構成される。

【0029】

撮像部２０５は、撮像カメラ２０６とサーモカメラ２０７とを有する。撮像カメラ２０６は、例えばデジタルカメラであり、可視画像を撮影する。これにより、頭部装着映像装置４０の視点位置からみた現実空間の画像を撮像することが可能である。この撮像カメラ２０６が撮像した画像は、記憶部２１４に記憶される。

【0030】

サーモカメラ２０７は、例えば赤外線サーモグラフィの撮像が可能であり、温度分布画像を撮像する。すなわち、温度分布画像データの各画素値は温度に対応する。また、サーモカメラ２０７の光軸及び撮像カメラ２０６を例えばＺ軸とする。さらにまた、サーモカメラ２０７のイメージセンサの撮像面をＸ－Ｙ平面に平行に配置する。このサーモカメラ２０７が撮像した画像は、記憶部２１４に記憶される。

【0031】

本実施形態に係る撮像カメラ２０６とサーモカメラ２０７とは、光軸が一致しており、赤外線サーモグラフィを構成している。これにより、赤外画像である温度分布画像と、可視画像である現実空間画像と、温度分布画像と現実空間画像との合成画像とを、撮像可能である。なお、本実施形態に係る撮像カメラ２０６とサーモカメラ２０７とは、赤外線サーモグラフィを構成するが、これに限定されず、温度分布画像と現実空間画像とが撮像できるカメラらなら他の形態のカメラでもよく、例えばサーマルイメージと、デジタルカメラの組み合わせでもよい。

【0032】

スピーカ２０８は、通信部２０２がデータ処理装置１０から受信した音声信号を音声に変換する。マイク２０９は、例えば頭部装着映像装置４０の装着者の音声を音声信号に変換し、通信部２０２を介してデータ処理装置１０に送信する。このように、中央監視室側と常時通信を行うことが可能であり、撮像部２０５の撮像した画像を共有することで、検査対象の情報を供給した相互コミュニケーションが可能となる。

【0033】

液晶画面２１０は、使用者の視点位置から観察された撮像部２０５による現実空間画像と、使用者の視点位置から観察される仮想オブジェクト画像、温度データなどの画像とを重畳表示することが可能である。液晶画面２１０は、例えば頭部装着型ディスプレイである。また、液晶画面２１０を光学シースルー方式によって実現してもよい。例えば、光学シースルー型液晶ディスプレイに、観察者の視点の位置および姿勢に応じて生成した、例えば温度分布画像、仮想オブジェクト画像を表示することにより実現される。この場合には、現実空間の画像ではなく、実際の現実空間に重なるように温度分布画像、仮想オブジェクト画像が重畳される。また、液晶画面２１０は、データ処理装置１０から供給される情報などを、現実空間とは独立に表示させることも可能である。

【0034】

制御部２１２は、頭部装着映像装置４０全体を制御する。記憶部２１４は、例えばＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）、フラッシュメモリ等の半導体メモリ素子、ハードディスク等により実現される。この記憶部２１４は、上述のように頭部装着映像装置４０が実行するプログラムと、各種の制御用のデータを記憶する。

【0035】

図４は、３次元モデル３２０を配置する３次元モデル空間の座標系１１０ａと、撮像カメラ２０６及びサーモカメラ２０７の座標系１１０ｃとの位置合わせ状態を示す概念図である。

【0036】

図４に示すように、位置合わせ部２１６は、３次元モデル空間の座標系１１０ａ、すなわち世界座標系と、撮像部２０５の座標系１１０ｃとの位置合わせを行う。この３次元モデル空間には、撮像部２０５から観察される現実物体に対応する３次元モデル３２０が配置される。

【0037】

より具体的には、位置合わせ部２１６は、位置センサ２０４の情報を用いて、撮像カメラ２０６及びサーモカメラ２０７の位置姿勢、及び世界座標系での位置座標を認識し、３次元モデル空間の座標系１１０ａと、座標系１１０ｃとの位置合わせを行う。本実施形態に係る位置合わせとは、座標系１１０ａの座標と、座標系１１０ｃの座標との対応関係を求めることを意味する。例えば、座標系１１０ａにおける座標原点が対応する座標系１１０ａ内の座標と、Ｘ軸とＸＷ軸とのずれ角と、Ｙ軸とＹＷ軸とのずれ角と、Ｚ軸とＺＷ軸とのずれ角とを求めることを意味する。なお、３次元モデル空間の座標系１１０ａ、すなわち世界座標系と、撮像カメラ２０６及びサーモカメラ２０７の座標系１１０ｃとの位置合わせ演算には、一般的な演算方法を用いることが可能である。

【0038】

画像生成部２１８は、位置合わせ部２１６の位置合わせに基づき、撮像部２０５の撮像する現実空間画像に重畳表示する画像を生成する。この画像には、温度分布画像、図面情報の画像が含まれる。図面情報の画像には、回路、構成部材、及び配線のうちの少なくともいずれかに関する情報が含まれる。例えば、図面情報の画像には、実装図、配線図、及びバック線図の情報のいずれかが含まれる。すなわち、実装図、配線図などが現実空間画像に重畳表示される場合には、座標系１１０ａの座標から撮像部２０５の座標系１１０ｃに変換されて、検査対象物の画像に重畳表示される。また、画像生成部２１８は、温度分布画像として、温度に応じた濃度、及びカラーの画像を生成可能である。

【0039】

表示制御部２２０は、画像生成部２１８が生成した画像を液晶画面２１０に表示させる。なお、表示制御部２２０は、画像表示部と称する場合がある。

【0040】

図５は、経路情報３００に含まれる検査順の情報を現実物体の表面に重畳表示した画像例を示す図である。数字が制御盤４００の検査順を示す。また、マーク４０２が次の撮影位置を示す。

【0041】

図５に示すように、画像生成部２１８は、例えば検査開始前に、位置合わせ部２１６の位置合わせに基づき、経路情報３００に含まれる検査順の情報、及び撮影位置の情報を現実画像に重畳表示する。これにより、検査者は、検査順と、次の検査用の撮影位置を把握することが可能となる。

【0042】

図６は、次の撮影対象を示す画像例を模式的に示す図である。図６に示すように、画像生成部２１８は、位置合わせ部２１６の位置合わせに基づき、経路情報３００に含まれる検査順の情報、及び撮影位置の情報を用いて、次の検査対象の廻りの透明度を落とした画像とマーク４０２を重畳した画像を生成してもよい。これにより、検査者は、直感的に次の検査用の撮影位置を把握することが可能となる。制御部２１２は、位置センサ２０４の情報を用いて、例えば操作者がマーク４０２の位置に達すると、撮像部２０５に温度分布画像の撮像を行わせる。マーク４０２から撮像した場合には、例えば検査対象物（制御盤）４００の目的とする領域を正面から撮像可能となる。このため、座標の位置合わせ処理や、データ処理の精度がより向上する。

【0043】

機器温度検出部２２２は、位置センサ２０４の情報を用いて、温度分布画像の温度データを現実物体の表面に対応する座標に関連付ける処理を行う。すなわち、機器温度検出部２２２は、位置合わせ部２１６の位置合わせに基づき、サーモカメラ２０７により撮像された温度分布画像を３次元モデル３２０における表面の３次元座標に対応させ、３次元モデルに対応する現実物体の表面における３次元座標に関連付ける。このように、機器温度検出部２２２は、位置合わせ部２１６の位置合わせに基づき、撮像部２０５に撮像される現実空間の温度分布画像の温度データを検査対象物（制御盤）４００の表面に対応する３次元モデル３２０の座標に関連付け、検査対象物（制御盤）４００の表面温度を査対象物（制御盤）４００の座標に対応させて検知することが可能である。

【0044】

図７は、温度分布画像１１０ｉを現実物体の表面に対応する座標に関連付ける処理を説明する概念図である。図７に示すように、ＸＷ、ＹＷ、ＺＷは３次元モデルの座標系１１０ａ、すなわち世界座標系を示している。一方で、Ｘ、Ｙ、Ｚはサーモカメラ２０７の座標系１１０ｃを示している。また、３次元モデル３２０の表面座標は、現実物体の表面における座標に対応している。

【0045】

本実施形態に係る座標系１１０ｃの座標原点は、サーモカメラ２０７におけるイメージセンサ１１０ｆのレンズ１１０ｄの光軸中心１１０ｅとの交点である。上述のように、座標系１１０ｃの座標系の原点位置は、位置合わせ部２１６の位置合わせ処理により得られた情報により、世界座標系の中の座標（Ｘ１，Ｙ１、Ｚ１）に配置される。また、Ｚ軸方向は、位置合わせ部２１６の位置合わせ処理により得られた撮像部２０５の光軸方向を示している。さらにまた、ＸＹ平面はＺ軸と直交し、イメージセンサ１１０ｆと平行である。

【0046】

これらか分かるように、撮像部２０５の光学系の一般的な特性により、イメージセンサ１１０ｆ上の座標（Ｘ，Ｙ、Ｚ）は、レンズ１１０ｄのレンズ中心１１０ｇを通る透視線１００ｈが３次元モデル３２０と交わる座標（ＸＷ、ＹＷ、ＺＷ）に対応する。すなわち、イメージセンサ１１０ｆ上の温度分布画像１１０ｉ内の座標（Ｘ，Ｙ、Ｚ）は、レンズ中心１１０ｇを通る透視線１００ｈが３次元モデル１１０ｂと交わる座標座標（ＸＷ、ＹＷ、ＺＷ）に関連付けることが可能である。このように、機器温度検出部２２２は、位置合わせ部２１６の位置合わせに基づき、温度分布画像の温度データを現実物体の表面に対応する座標に関連付ける処理を行う。

【0047】

図８Ａは、機器温度検出部２２２が生成した温度データを制御盤４００の現実空間画像に重畳した画像例を模式的に示す図である。図８Ａに示すように、画像生成部２１８は、機器温度検出部２２２の生成した温度分布画像の温度データを現実物体の表面に対応する座標に関連付けて重畳表示する画像を生成する。この画像は、液晶画面２１０に表示される。

【0048】

異常検知部２２４は、機器温度検出部２２２の生成した現実物体である制御盤４００の表面座標に対応する温度分布データと、データ処理装置１０から供給される制御盤４００の表面座標に対応する基準温度分布データを比較する。そして、異常検知部２２４は、基準を越えているデータの世界座標系の座標を異常箇所として検知する。この場合、画像生成部２１８は、例えば基準温度を超えた領域の温度に応じた濃度、及びカラーの画像を生成可能である。このように、温度分布画像の全体を表示する場合よりも、異常のある領域４０４の温度分布を重畳させることにより、異常のある領域の把握が容易となる。

【0049】

図８Ｂは、画像生成部２１８が制御盤４００の内部画像である実装図４０６を現実空間画像に重畳表示した例を示す画像である。図８Ｂに示すように、画像生成部２１８は、異常検知部２２４が異常を検知した座標に対応する実装図４０６を現実空間画像に重畳表示した画像を生成する。実装図４０６の座標は、世界座標系で記録されている。これにより、画像生成部２１８は、現実空間画像に実装図４０６を重畳表示する重畳画像を生成することが可能である。この場合に、画像生成部２１８は、基準を越えている温度データの座標の領域４０４もこの画像に関連付けて表示する。これにより、操作者は、制御盤４００の外装を外す前に温度異常の回路要素の箇所を把握可能となる。

【0050】

図８Ｃは、画像生成部２１８が制御盤４００の内部画像である実装図４０６を液晶画面２１０に表示した例を示す画像である。図８Ｃに示すように、画像生成部２１８は、異常検知部２２４が異常を検知した座標に対応する実装図４０６の画像を生成する。このように、現実空間画像とは独立に、異常箇所の情報と実装図４０６とを液晶画面２１０に表示させることも可能である。これにより、操作者は、異常対象箇所の図面情報が絞られて提示されるので、作業ミスなどの低減も可能となる。

【0051】

図８Ｄは、異常検知部２２４が異常を検知した際に、液晶画面２１０に表示される画像例である。これにより、頭部装着映像装置４０の装着者は、次の処理を把握可能となる。また、無線通信により中央管理室内の管理者の指示を受けることも可能である。このように、表示制御部２２０は、異常検知部２２４が異常を検知した場合に、検査対象物である制御盤４００の内部構造の温度画像の撮像を指示する画像を液晶画面２１０に表示させる。

【0052】

図９Ａは、機器温度検出部２２２が生成した温度データを制御盤４００内部の現実空間画像に重畳した画像例を模式的に示す図である。図９Ａに示すように、画像生成部２１８は、機器温度検出部２２２の生成した温度分布画像の温度データを現実物体の回路構成部４１０の表面に対応する座標に関連付けて重畳表示する画像を生成する。この画像は、液晶画面２１０に表示される。この場合、画像生成部２１８は、温度に応じた濃度、及びカラーの画像を生成可能である。これらの処理は、上述した図８Ａと同様の処理により実行される。

【0053】

図９Ｂは、画像生成部２１８が回路構成部４１０の内部画像である配線図４１２の画像を、現実空間の回路構成部４１０の表面に重畳表示した例を示す画像である。図９Ｂに示すように、画像生成部２１８は、異常検知部２２４が異常を検知した座標に対応する配線図４１２を現実空間画像に重畳表示した画像を生成する。配線図４１２の座標は、世界座標系で記録されている。これにより、画像生成部２１８は、現実空間画像に配線図４１２を重畳表示する重畳画像を生成することが可能である。この場合に、画像生成部２１８は、基準を越えている温度データの座標の領域４０８もこの画像に関連付けて表示する。これにより、操作者は、回路構成部４１０を分解する前に温度異常の回路要素、及び配線の箇所を把握可能となる。なお、図８Ｃと同様に、画像生成部２１８が配線図４１２の画像を液晶画面２１０に、現実空間画像とは独立に表示してもよい。

【0054】

図９Ｃは、回路構成部４１０のバック線図の情報を示す図である。画像生成部２１８は、異常検知部２２４が異常を検知した座標に対応する、バック線図を生成する。そして、表示制御部２２０は、このバック線図を液晶画面２１０に表示させる。この際に、表示制御部２２０は、異常検知部２２４が異常を検知した座標に対応する端子番号、例えば３～５に指示マーク４１４を重畳表示させることが可能である。これにより、操作者は、回路構成部４１０を分解する前に、端子の締め付け不良や接続不良、機器の経年劣化による熱異常を把握可能となる。このように、現実空間の温度分布データの座標を現実空間の回路構成に対応させることにより、外部から観察することが困難な内部情報と、温度異常の箇所を重畳表示可能となる。これにより、操作者は、分解などする前に温度異常の箇所や温度の情報を得ることができるので、作業箇所の把握や、作業の優先度を容易に把握できる。

【0055】

図９Ｄは、異常検知部２２４が異常を検知した際に、バック線図の情報が液晶画面２１０に表示される画像例である。このように、表示制御部２２０は、異常検知部２２４が異常を検知した場合に、検査対象物である制御盤４００の内部構造における温度異常の箇所を液晶画面２１０に表示させることが可能である。これにより、頭部装着映像装置４０の装着者は、作業箇所の詳細を容易に把握できる。また、中央管理室内の管理者も画像を共有しているので、検査の具体的且つ正確な指示を行い易くなる。

【0056】

図１０は、検査支援装置１における検査支援処理の流れを示すフローチャートの一例である。図１０に示すように、位置合わせ部２１６は、位置センサ２０４から頭部装着映像装置４０の世界座標系における位置座標、及び位置姿勢の情報を取得する（ステップＳ１００、Ｓ１０２）

【0057】

次に、位置合わせ部２１６は、位置座標、及び位置姿勢の情現実物体に対応する３次元モデルを配置する３次元モデル空間の座標系１１０ａと、撮像カメラ２０６及びサーモカメラ２０７の座標系１１０ｃとの位置合わせを行う（ステップＳ１０４）。

【0058】

次に、撮像部２０５の撮像カメラ２０６は現実空間画像を撮像する（ステップＳ１０６）。続けて、画像生成部２１８は、位置合わせ部２１６の位置合わせに基づき、経路情報３００に含まれる検査順の情報、及び撮影位置の情報を現実画像に重畳表示し、操作者に検査対象を特定させる（ステップＳ１０８）。

【0059】

次に、制御部２１２は、位置センサ２０４の出力信号に基づき、検査対象物（制御盤）４００の撮像位置４０２（図５参照）に達すると、撮像部２０５のサーモカメラ２０７に温度分布画像を撮像させる（ステップＳ１１０）。

【0060】

次に、機器温度検出部２２２は、位置合わせ部２１６による位置合わせに基づき、温度分布画像の温度データを３次元モデルにおける表面の３次元座標に対応させ、検査対象である制御盤４００の表面における３次元座標に関連付け、制御盤４００の表面座標の温度を検出する（ステップＳ１１２）。

【0061】

次に、異常検知部２２４は、３次元座標に関連付けられた温度データに関して、異常の有無を判定する（ステップＳ１１４）。異常があると判定した場合（ステップＳ１１４のＹＥＳ）、異常検知部２２４は、異常があると判定された温度異常の箇所を含めた温度画像を制御盤４００の表面画像に重畳した画像を液晶画面２１０表示させる（ステップＳ１１６）。なお、ステップＳ１１６の詳細な処理フローは、図１１で説明する。

【0062】

次に、制御部２１２は、全体処理を終了する否かを判定する（ステップＳ１１７）。終了すると判定する場合（ステップＳ１１７のＹＥＳ）、全体処理を終了する。一方で、終了しない場合（ステップＳ１１７のＮＯ）、位置合わせ部２１６は、ステップＳ１００からの処理を繰り返す。

【0063】

図１１は、ステップＳ１１６の詳細な処理例を示すフローチャートの一例である。図１１に示すように、画像生成部２１８は、制御盤４００の世界座標系の座標に基づき、実装図を制御盤４００の表面画像に重畳表示させる（ステップＳ２００）。続けて、制御部２１２は、制御盤４００の内部撮像指示する画像を画像生成部２１８に液晶画面２１０に表示させる（ステップＳ２００）。

【0064】

次に、制御部２１２は、サーモカメラ２０７に温度分布画像を再度撮像させる（ステップＳ２０４）。続けて、機器温度検出部２２２は、位置合わせ部２１６による位置合わせに基づき、温度分布画像の温度データを内部構造の３次元モデルにおける表面の３次元座標に対応させる（ステップＳ２０６）。これにより、検査対象である制御盤４００の内部構造表面における３次元座標に温度データが関連付けられ、機器温度検出部２２２は、制御盤４００の内部構造における表面座標の温度を検出可能となる（ステップＳ１１２）。

【0065】

次に、異常検知部２２４は、３次元座標に関連付けられた温度データに関して、制御盤４００の内部構造に重畳した画像を液晶画面２１０表示させる（ステップＳ２０８）。そして、更に制御部２１２は、制御盤４００の内部構造における配線図を内部構造に重畳した画像を液晶画面２１０に表示させる。この際に制御部２１２は、内部構造のバック線図を、異常箇所を示す画像と共に、液晶画面２１０に表示させる（ステップＳ２１０）。

【0066】

このように温度データに異常がある場合に、異常を示す領域を検査対象の現実空間画像に表示することで、異常の箇所を容易に判別可能となる。

【0067】

以上のように、本実施形態によれば、位置合わせ部２１６が、現実物体に対応する３次元モデルを配置する３次元モデル空間の座標系と、撮像部２０５の座標系との位置合わせを行い、機器温度検出部２２２が、この位置合わせに基づき、温度分布画像の温度データを現実物体の表面に対応する３次元モデルの座標に関連付けることとした。これにより、表示制御部２２０は、異常のある箇所の座標に対応する図面情報を、液晶画面２１０に表示させることが可能となる。このように、異常対象箇所に図面情報を絞って表示することにより、作業ミス等の発生を抑制できる。また、ゴーグル型の頭部装着映像装置４０に異常対象機器の情報を表示することにより、両手が空いた状態で作業が可能となる。

【0068】

本実施形態による検査支援装置１におけるデータ処理方法の少なくとも一部は、ハードウェアで構成してもよいし、ソフトウェアで構成してもよい。ソフトウェアで構成する場合には、データ処理方法の少なくとも一部の機能を実現するプログラムをフレキシブルディスクやＣＤ－ＲＯＭ等の記録媒体に収納し、コンピュータに読み込ませて実行させてもよい。記録媒体は、磁気ディスクや光ディスク等の着脱可能なものに限定されず、ハードディスク装置やメモリなどの固定型の記録媒体でもよい。また、データ処理方法の少なくとも一部の機能を実現するプログラムを、インターネット等の通信回線（無線通信も含む）を介して頒布してもよい。さらに、同プログラムを暗号化したり、変調をかけたり、圧縮した状態で、インターネット等の有線回線や無線回線を介して、あるいは記録媒体に収納して頒布してもよい。

【0069】

以上、いくつかの実施形態を説明したが、これらの実施形態は、例としてのみ提示したものであり、発明の範囲を限定することを意図したものではない。本明細書で説明した新規な装置、方法及びプログラムは、その他の様々な形態で実施することができる。また、本明細書で説明した装置、方法及びプログラムの形態に対し、発明の要旨を逸脱しない範囲内で、種々の省略、置換、変更を行うことができる。

【符号の説明】

【0070】

１：検査支援装置、１０：データ処理装置、４０：頭部装着映像装置、２０５：撮像部、２０６：撮像カメラ、２０７：サーモカメラ、２１０：液晶画面、２１６：位置合わせ部、２２０：表示制御部、２２２：機器温度検出部、２２４：異常検知部。

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8A】

【図8B】

【図8C】

【図8D】

【図9A】

【図9B】

【図9C】

【図9D】

【図10】

【図11】