IP Force 特許公報掲載プロジェクト 2022.1.31 β版

知財求人 - 知財ポータルサイト「IP Force」

▶ 三菱重工業株式会社の特許一覧

特許7505867画像位置特定装置、方法およびプログラム、並びに温度管理システム
<>
  • 特許-画像位置特定装置、方法およびプログラム、並びに温度管理システム 図1
  • 特許-画像位置特定装置、方法およびプログラム、並びに温度管理システム 図2
  • 特許-画像位置特定装置、方法およびプログラム、並びに温度管理システム 図3
  • 特許-画像位置特定装置、方法およびプログラム、並びに温度管理システム 図4
  • 特許-画像位置特定装置、方法およびプログラム、並びに温度管理システム 図5
  • 特許-画像位置特定装置、方法およびプログラム、並びに温度管理システム 図6A
  • 特許-画像位置特定装置、方法およびプログラム、並びに温度管理システム 図6B
  • 特許-画像位置特定装置、方法およびプログラム、並びに温度管理システム 図7
  • 特許-画像位置特定装置、方法およびプログラム、並びに温度管理システム 図8
  • 特許-画像位置特定装置、方法およびプログラム、並びに温度管理システム 図9
  • 特許-画像位置特定装置、方法およびプログラム、並びに温度管理システム 図10
  • 特許-画像位置特定装置、方法およびプログラム、並びに温度管理システム 図11
< >
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2024-06-17
(45)【発行日】2024-06-25
(54)【発明の名称】画像位置特定装置、方法およびプログラム、並びに温度管理システム
(51)【国際特許分類】
   G01J 5/48 20220101AFI20240618BHJP
   G01B 11/00 20060101ALI20240618BHJP
【FI】
G01J5/48 A
G01B11/00 H
【請求項の数】 11
(21)【出願番号】P 2019162272
(22)【出願日】2019-09-05
(65)【公開番号】P2021039071
(43)【公開日】2021-03-11
【審査請求日】2022-06-16
(73)【特許権者】
【識別番号】000006208
【氏名又は名称】三菱重工業株式会社
(74)【代理人】
【識別番号】110000785
【氏名又は名称】SSIP弁理士法人
(72)【発明者】
【氏名】小松 洋音
(72)【発明者】
【氏名】杉浦 篤
(72)【発明者】
【氏名】浅野 伸
【審査官】平田 佳規
(56)【参考文献】
【文献】特開2009-282915(JP,A)
【文献】国際公開第2017/073310(WO,A1)
【文献】特開2002-132341(JP,A)
【文献】特開2015-161577(JP,A)
【文献】特開2016-070676(JP,A)
【文献】特開2017-211758(JP,A)
【文献】特開2016-145111(JP,A)
【文献】特開2009-014436(JP,A)
(58)【調査した分野】(Int.Cl.,DB名)
G01J 5/00 - G01J 5/90
G01J 1/02
G01J 1/42 - G01J 1/46
G01B 11/00 - G01B 11/30
G01C 11/00 - G01C 11/36
G01D 21/00
G01N 21/84 - G01N 21/958
G01N 25/00 - G01N 25/72
G05D 1/00 - G05D 1/87
G08B 19/00 - G08B 31/00
H04N 5/222 - H04N 5/257
H04N 7/18
H04N 23/00
H04N 23/40 - H04N 23/76
H04N 23/90 - H04N 23/959
H04Q 9/00 - H04Q 9/16
(57)【特許請求の範囲】
【請求項1】
計測対象物上の温度の所定の計測位置に対応する熱画像上の画像位置を定期的に特定するための画像位置特定装置であって、
設定経路を定期的に走行する自走式検査装置に設けられた赤外カメラによる前記計測位置の撮影により得られる前記熱画像を取得するよう構成された熱画像取得部であって、前記設定経路を走行する前記自走式検査装置が、予め設定された撮影指示位置に到達すると判定して停止した場合に、前記赤外カメラが撮影を実行する熱画像取得部と、
取得された前記熱画像の撮影時の前記赤外カメラの画角および姿勢を含む撮影情報を取得するよう構成された撮影情報取得部と、
前記計測対象物の周囲の所定の位置に設けられた基準位置に対する前記熱画像の撮影位置の相対位置である相対撮影位置の計測結果を取得するよう構成された撮影位置取得部であって、前記基準位置は、前記計測対象物の周囲に配置されると共に前記計測対象物とは異なる周囲物において規定される位置である撮影位置取得部と、
予め測定されている、前記基準位置に対する前記計測位置の相対位置である相対計測位置の計測結果を取得するよう構成された計測位置取得部と、
前記相対撮影位置、前記相対計測位置および前記撮影情報に基づいて、前記相対計測位置に対応する前記画像位置を算出するよう構成された位置特定部と、を備える画像位置特定装置。
【請求項2】
前記位置特定部は、透視投影変換により、前記相対計測位置を前記画像位置に変換する請求項1に記載の画像位置特定装置。
【請求項3】
前記計測位置取得部は、前記相対計測位置を算出するよう構成された位置算出部を含み、
前記位置算出部は、
少なくとも1つの撮影位置からのカメラによる前記計測位置の撮影により得られる少なくとも1つの画像を取得するよう構成された画像取得部と、
取得された1以上の前記画像に基づいて、前記画像に含まれる前記計測位置の前記相対計測位置を算出する相対位置算出部と、を有する請求項1または2に記載の画像位置特定装置。
【請求項4】
前記画像取得部は、互いに異なる2つの撮影位置からの前記カメラによる同一の前記計測位置の撮影により得られる2つの前記画像を取得するよう構成されており、
前記相対位置算出部は、
前記2つの画像の撮影時の各々における前記カメラの画角および姿勢を含む第2撮影情報を取得するよう構成された第2撮影情報取得部と、
取得された前記2つの画像の各々における前記計測位置の方向である計測位置方向を、前記2つの画像の各々の前記第2撮影情報に基づいてそれぞれ算出するよう構成された方向算出部と、
前記2つの画像の各々の前記撮影位置の前記基準位置に対する相対位置である第2相対撮影位置の計測結果を取得するよう構成された第2撮影位置取得部と、
前記2つの画像の各々の前記第2相対撮影位置および前記計測位置方向に基づいて、前記相対計測位置を算出するよう構成された算出部と、を有する請求項3に記載の画像位置特定装置。
【請求項5】
前記画像取得部によって取得された前記画像を用いて指定された位置を前記計測位置として取得するよう構成された計測位置設定部を、さらに備える請求項3または4に記載の画像位置特定装置。
【請求項6】
前記熱画像取得部は、複数の候補位置における前記赤外カメラでの撮影により得られた複数の候補画像のうちから、前記画像の撮影状況に最も近い状況で撮影された前記候補画像を前記熱画像として取得する請求項3~5のいずれか1項に記載の画像位置特定装置。
【請求項7】
前記撮影状況は、前記撮影位置または撮影方向の少なくとも一方を含む請求項6に記載の画像位置特定装置。
【請求項8】
前記相対撮影位置は、前記基準位置までの距離および方向を測定するためのセンサを用いて測定される請求項1~7のいずれか1項に記載の画像位置特定装置。
【請求項9】
請求項1~8のいずれか1項に記載の、計測対象物の温度の計測位置に対応する熱画像上の画像位置を特定するための画像位置特定装置と、
前記計測位置の前記熱画像を撮影するため自走式の自走式検査装置であって、
本体と、
前記本体を移動可能に支持する移動装置と、
前記本体に設置された、前記熱画像を撮像可能な赤外カメラと、
前記本体に設置された、前記画像位置の特定に用いられる、前記計測対象物の周囲の所定の位置に設けられた基準位置との距離および方向を計測するためのセンサと、
前記本体に設置された、前記移動装置を制御する制御装置と、を有する自走式検査装置と、を備える温度管理システム。
【請求項10】
計測対象物上の温度の所定の計測位置に対応する熱画像上の画像位置を定期的に特定するための画像位置特定方法であって、
設定経路を定期的に走行する自走式検査装置に設けられた赤外カメラによる前記計測位置の撮影により得られる前記熱画像を取得するステップであって、前記設定経路を走行する前記自走式検査装置が、予め設定された撮影指示位置に到達すると判定して停止した場合に、前記赤外カメラが撮影を実行するステップと、
取得された前記熱画像の撮影時の前記赤外カメラの画角および姿勢を含む撮影情報を取得するステップと、
前記計測対象物の周囲の所定の位置に設けられた基準位置に対する前記熱画像の撮影位置の相対位置である相対撮影位置の計測結果を取得するステップであって、前記基準位置は、前記計測対象物の周囲に配置されると共に前記計測対象物とは異なる周囲物において規定される位置であるステップと、
予め測定されている、前記基準位置に対する前記計測位置の相対位置である相対計測位置の計測結果を取得するステップと、
前記相対撮影位置、前記相対計測位置および前記撮影情報に基づいて、前記相対計測位置に対応する前記画像位置を算出するステップと、を備える画像位置特定方法。
【請求項11】
計測対象物上の温度の所定の計測位置に対応する熱画像上の画像位置を定期的に特定するための画像位置特定プログラムであって、
コンピュータに、
設定経路を定期的に走行する自走式検査装置に設けられた赤外カメラによる前記計測位置の撮影により得られる前記熱画像を取得するよう構成された熱画像取得部であって、前記設定経路を走行する前記自走式検査装置が、予め設定された撮影指示位置に到達すると判定して停止した場合に、前記赤外カメラが撮影を実行する熱画像取得部と、
取得された前記熱画像の撮影時の前記赤外カメラの画角および姿勢を含む撮影情報を取得するよう構成された撮影情報取得部と、
前記計測対象物の周囲の所定の位置に設けられた基準位置に対する前記熱画像の撮影位置の相対位置である相対撮影位置の計測結果を取得するよう構成された撮影位置取得部であって、前記基準位置は、前記計測対象物の周囲に配置されると共に前記計測対象物とは異なる周囲物において規定される位置である撮影位置取得部と、
予め測定されている、前記基準位置に対する前記計測位置の相対位置である相対計測位置の計測結果を取得するよう構成された計測位置取得部と、
前記相対撮影位置、前記相対計測位置および前記撮影情報に基づいて、前記相対計測位置に対応する前記画像位置を算出するよう構成された位置特定部と、を実現させるためプログラム。
【発明の詳細な説明】
【技術分野】
【0001】
本開示は、計測対象物の温度の計測位置に対応する熱画像上の位置を特定(同定)する技術に関する。
【背景技術】
【0002】
特許文献1には、製鉄業における屋内又は屋外の生産設備(計測対象物)の検査作業を行う自走式検査装置が開示されている。この自走式検査装置は、GPSまたはSLAM技術により装置の位置を推定し、推定した位置に基づいて所定のルートに沿って進行する共に、自装置に搭載された可視画像(可視光画像)や熱画像を撮影する撮像装置や温度計測装置などを用いて検査作業を実行する。これによって、情報通信が困難なエリアや走行面が平らでないエリアであっても、生産設備の検査作業を実行ができるとされる。
【先行技術文献】
【特許文献】
【0003】
【文献】特開2015-161577号公報
【発明の概要】
【発明が解決しようとする課題】
【0004】
しかしながら、特許文献1には、可視光画像や熱画像、温度計測装置などを用いた温度計測の手法についての具体的な開示はない。例えば、計測対象物が大型の場合には、計測対象物の温度は、計測対象物上の所望の位置の温度を計測することにより行う場合がある。この際、熱画像は、計測対象物の輪郭や表面の細部が不鮮明となり易く、目視や可視画像上では明確に区別し得る箇所であっても、熱画像に表れる計測位置の撮影位置や撮影方向が可視画像や目視の状況と異なる場合には、熱画像上でその計測位置を特定するのは容易ではない場合がある。
【0005】
また、計測対象物の同一の計測位置の温度を定期的に計測する場合において、所定の位置に設置した赤外カメラにより同一の撮影方向を計測する場合(定点計測)などには、この定期的な計測の度に撮影される熱画像における計測位置の位置は一致させることが可能なので、大きな問題は生じない。しかしながら、このような定点計測ではなく、赤外カメラを搭載した自走式検査装置などを予め指定した撮影位置に定期的に移動させて熱画像を撮影する場合には、その定期的な撮影を、同じ撮影位置でカメラ姿勢を同一にして行うことは現実的には困難である。このため、同じ撮影位置から同じ計測位置を撮影しようとして得た熱画像であっても計測対象物の写り方が異なり易く、熱画像上における目的の計測位置の位置を特定(同定)するのは容易ではない。さらに、この特定作業を人手で行うのは、多大な労力を必要とする。
【0006】
上述の事情に鑑みて、本発明の少なくとも一実施形態は、計測対象物の計測位置の熱画像における位置を精度良く特定することが可能な画像位置特定装置を提供することを目的とする。
【課題を解決するための手段】
【0007】
本発明の少なくとも一実施形態に係る画像位置特定装置は、
計測対象物上の温度の計測位置に対応する熱画像上の画像位置を特定するための画像位置特定装置であって、
赤外カメラによる前記計測位置の撮影により得られる前記熱画像を取得するよう構成された熱画像取得部と、
取得された前記熱画像の撮影時の前記赤外カメラの画角および姿勢を含む撮影情報を取得するよう構成された撮影情報取得部と、
前記計測対象物の周囲の所定の位置に設けられた基準位置に対する前記熱画像の撮影位置の相対位置である相対撮影位置の計測結果を取得するよう構成された撮影位置取得部と、
予め測定されている、前記基準位置に対する前記計測位置の相対位置である相対計測位置の計測結果を取得するよう構成された計測位置取得部と、
前記相対撮影位置、前記相対計測位置および前記撮影情報に基づいて、前記相対計測位置に対応する前記画像位置を算出するよう構成された位置特定部と、を備える。
【0008】
本発明の少なくとも一実施形態に係る温度管理システムは、
上述した、計測対象物の温度の計測位置に対応する熱画像上の画像位置を特定するための画像位置特定装置と、
前記計測位置の前記熱画像を撮影するため自走式の自走式検査装置であって、
本体と、
前記本体を移動可能に支持する移動装置と、
前記本体に設置された、前記熱画像を撮像可能な赤外カメラと、
前記本体に設置された、前記画像位置の特定に用いられる、前記計測対象物の周囲の所定の位置に設けられた基準位置との距離および方向を計測するためのセンサと、
前記本体に設置された、前記移動装置を制御する制御装置と、を有する自走式検査装置と、を備える。
【0009】
本発明の少なくとも一実施形態に係る画像位置特定方法は、
計測対象物上の温度の計測位置に対応する熱画像上の画像位置を特定するための画像位置特定方法であって、
赤外カメラによる前記計測位置の撮影により得られる前記熱画像を取得するステップと、
取得された前記熱画像の撮影時の前記赤外カメラの画角および姿勢を含む撮影情報を取得するステップと、
前記計測対象物の周囲の所定の位置に設けられた基準位置に対する前記熱画像の撮影位置の相対位置である相対撮影位置の計測結果を取得するステップと、
予め測定されている、前記基準位置に対する前記計測位置の相対位置である相対計測位置の計測結果を取得するステップと、
前記相対撮影位置、前記相対計測位置および前記撮影情報に基づいて、前記相対計測位置に対応する前記画像位置を算出するステップと、を備える。
【0010】
本発明の少なくとも一実施形態に係る画像位置特定プログラムは、
計測対象物上の温度の計測位置に対応する熱画像上の画像位置を特定するための画像位置特定プログラムであって、
コンピュータに、
赤外カメラによる前記計測位置の撮影により得られる前記熱画像を取得するよう構成された熱画像取得部と、
取得された前記熱画像の撮影時の前記赤外カメラの画角および姿勢を含む撮影情報を取得するよう構成された撮影情報取得部と、
前記計測対象物の周囲の所定の位置に設けられた基準位置に対する前記熱画像の撮影位置の相対位置である相対撮影位置の計測結果を取得するよう構成された撮影位置取得部と、
予め測定されている、前記基準位置に対する前記計測位置の相対位置である相対計測位置の計測結果を取得するよう構成された計測位置取得部と、
前記相対撮影位置、前記相対計測位置および前記撮影情報に基づいて、前記相対計測位置に対応する前記画像位置を算出するよう構成された位置特定部と、を実現させるためのプログラムである。
【発明の効果】
【0011】
本発明の少なくとも一実施形態によれば、計測対象物の計測位置の熱画像における位置を精度良く特定することが可能な画像位置特定装置が提供される。
【図面の簡単な説明】
【0012】
図1】本発明の一実施形態に係る温度管理システムの構成を表す概略図である。
図2】本発明の一実施形態に係る自走式検査装置の構成を示す概略図である。
図3】本発明の一実施形態に係る画像位置特定装置の機能を概略的に示すブロック図である。
図4】本発明の一実施形態に係る計測対象物の温度の計測時を説明するための、図1に示す計測対象物の付近の平面視を示す図である。
図5】本発明の一実施形態に係る相対計測位置の算出に関する画像位置特定装置の機能を概略的に示すブロック図である。
図6A】本発明の一実施形態に係る相対計測位置の計測時を説明するための、図1に示す計測対象物の付近の平面視を示す図である。
図6B】本発明の他の一実施形態に係る相対計測位置の計測時を説明するための、図1に示す計測対象物の付近の平面視を示す図である。
図7】本発明の一実施形態に係る計測対象物を第1撮影位置から撮影した可視画像を示す図である。
図8】本発明の一実施形態に係る計測対象物を第2撮影位置から撮影した可視画像を示す図である。
図9】本発明の一実施形態に係る複数の候補画像を撮影する実施形態を説明するための図である。
図10】本発明の一実施形態に係る画像位置特定方法を示す図である。
図11】本発明の一実施形態に係る位置算出ステップを示す図である。
【発明を実施するための形態】
【0013】
以下、添付図面を参照して本発明の幾つかの実施形態について説明する。ただし、実施形態として記載されている又は図面に示されている構成部品の寸法、材質、形状、その相対的配置等は、本発明の範囲をこれに限定する趣旨ではなく、単なる説明例にすぎない。
例えば、「ある方向に」、「ある方向に沿って」、「平行」、「直交」、「中心」、「同心」或いは「同軸」等の相対的或いは絶対的な配置を表す表現は、厳密にそのような配置を表すのみならず、公差、若しくは、同じ機能が得られる程度の角度や距離をもって相対的に変位している状態も表すものとする。
例えば、「同一」、「等しい」及び「均質」等の物事が等しい状態であることを表す表現は、厳密に等しい状態を表すのみならず、公差、若しくは、同じ機能が得られる程度の差が存在している状態も表すものとする。
例えば、四角形状や円筒形状等の形状を表す表現は、幾何学的に厳密な意味での四角形状や円筒形状等の形状を表すのみならず、同じ効果が得られる範囲で、凹凸部や面取り部等を含む形状も表すものとする。
一方、一の構成要素を「備える」、「具える」、「具備する」、「含む」、又は、「有する」という表現は、他の構成要素の存在を除外する排他的な表現ではない。
【0014】
(全体構成)
図1は、本発明の一実施形態に係る温度管理システム7の構成を表す概略図である。また、図2は、本発明の一実施形態に係る自走式検査装置8の構成を示す概略図である。
【0015】
温度管理システム7は、温度管理の対象となる施設(以下、対象施設70。図1参照)の温度を監視し、対象施設70の異常を検出するためのシステムである。対象施設70は、図1に示すような例えば火力発電所や原子力発電所などの発電プラントなどであっても良い。例えば火力発電所は、ボイラ、蒸気タービン、発電機などの複数の設備で構成される。そして、温度管理システム7は、対象施設70を構成する任意の1以上の設備(計測対象物9)を対象に、温度管理を実行するように構成される。
【0016】
このため、図1に示すように、温度管理システム7は、対象施設70に設置された各計測対象物9の計測位置Mの熱画像Dt(後述)を撮影するため自走式の自走式検査装置8と、対象施設70の温度を管理する温度管理装置71と、画像位置特定装置1と、を備える。上記の計測対象物9上の計測位置Mは、計測対象物9に予め設定されている、温度を計測すべき位置(3次元)である。計測位置Mは、例えば対象施設70が備える1以上(例えば複数)の計測対象物9にそれぞれ1以上ずつ設定される。なお、図1では、対象施設70が備える複数の計測対象物9のうちの、以下の説明に用いる1つの設備にのみ符号を付している。
これらの温度管理システム7が備える構成について、それぞれ説明する。
【0017】
(自走式検査装置8の構成)
自走式検査装置8は、予め定められた経路(以下、設定経路R)を自力で走行しつつ、検査に必要な熱画像Dtなどの情報を収集する装置である。この熱画像Dtは、後述する赤外カメラ83tの撮影により得られる情報(遠赤外線などの赤外線量)に基づいて生成される画像である。より詳細には、熱画像Dtは、赤外カメラ83tの撮影範囲Rtを例えば碁盤目状などの複数の領域に区分けした際の各領域の計測温度に対応する色などの情報で表した画像である。つまり、熱画像Dtは、上記の撮影範囲Rvを表す二次元平面上の温度分布を図として表した画像である。また、設定経路Rは、例えば、対象施設70に設定された、熱画像Dtを撮影すべき位置として予め設定された全ての撮影指示位置Tを網羅的に順番に辿るように設定される。なお、図1には、設定経路Rの一部を図示しており、設定経路Rの残りの部分は省略している。
【0018】
そして、この自走式検査装置8は、図2に示すように、自走式検査装置8は、自走式検査装置8の外郭をなす筐体である本体81と、この本体81を移動可能に支持する移動装置82と、上記の本体81にそれぞれ設置された、遠赤外線カメラなどによって実現され、計測対象物9の計測位置Mの熱画像Dtを撮影する赤外カメラ83t、後述する画像位置Dpの特定に用いられる、計測対象物9の周囲の所定の位置に設けられた後述する基準位置Poとなる検出対象との距離および方向を計測するためのセンサ84、および移動装置82を制御する制御装置85を含む各種機器と、を備える。また、幾つかの実施形態では、図2に示すように、自走式検査装置8は、上記の本体81に設置された、計測対象物9の計測位置Mを撮影するための可視カメラ83vをさらに備えても良い。
【0019】
上記の移動装置82は、車輪、無限軌道、脚機構など、地面に接地して、本体81を移動可能に支持する装置であっても良い。あるいは、移動装置82は、プロペラなどのスラスタなど、本体81を水中または空中を移動可能に支持する装置であっても良い。図2に示す実施形態では、移動装置82は無限軌道であり、その場での本体81の転回を可能にし、また、その転回時の回転半径を小さくすることが可能となっている。
【0020】
また、上記の赤外カメラ83tおよび可視カメラ83vは、移動装置82の移動方向F(前進方向)に対して横を向くように本体81に取り付けられても良い(図2参照)。図2に示す実施形態では、赤外カメラ83tおよび可視カメラ83vは、撮影方向が本体81に対して固定されるように本体81に取り付けられている。よって、本体81の方向、重力方向の傾きなどの姿勢に応じて、撮影方向が変わるようになっている。ただし、本実施形態に本発明は限定されず、赤外カメラ83tおよび可視カメラ83vは撮影方向が調整可能な機構を有していても良い。
【0021】
上記のセンサ84は、LiDAR(Light Detecting And Ranging)、可視カメラ83v、またはRFID(Radio Frequency Identifier)リーダであっても良い。計測対象物9の周囲の所定の位置(図1、および後述の図4図6A図9参照)に設けられた検出対象であるマーカ76を検出するよう構成される。例えばセンサ84がLiDARの場合のマーカ76は再帰性反射板などの反射板となる。センサ84が可視カメラ83vの場合のマーカ76はARマーカ(AR:Augmented Reality)となる。センサ84がRFIDリーダの場合のマーカ76はRFIDとなる。図1図2に示す実施形態では、対象施設70における計測対象物9の付近には所定の高さを有する円柱状の形状を有するポール75が設置されており、このポール75の上部などに再帰性反射板(マーカ76)が設けられている。そして、センサ84であるLiDARで再帰性反射板を検出することで、検出された位置(3次元位置)を基準位置Poとしている。
【0022】
また、上記の制御装置85は、自走式検査装置8の位置(自己位置)および方位(自己方位)を取得し、自己位置が設定経路R上になるように、移動装置82の走行を制御する。この自己位置および自己方位の検出(推定)は、周知な方法により行えば良い。例えば、GNSS(Global Navigation Satellite System)に係る信号、自走式検査装置8に搭載したセンサで検出した方位および距離に基づく自律航法、あるいは、自装置に搭載したLiDARあるいはデプスカメラから出力される距離分布(撮影範囲を表す二次元平面上の距離の分布)を用いたSLAM(Simultaneous Localization and Mapping)のいずれかの手法により行っても良い。また、制御装置85は、上記の赤外カメラ83tによる撮影の実行を制御しても良いし、上記のセンサ84による計測の制御を実行しても良い。
【0023】
ここで、上述した設定経路R上またはその付近には、上記の熱画像Dtを撮影すべき1以上の位置(以下、撮影指示位置T)が予め設定(教示)されている(後述する図4図9参照)。よって、制御装置85は、この熱画像Dtの撮影指示位置Tが設定経路R上にない場合には、熱画像Dtを撮影するために適当な位置で設定経路Rから撮影指示位置Tに向けて自走式検査装置8を移動させる。例えば、制御装置85は、検出した自己位置が撮影指示位置Tになった判定される位置で自走式検査装置8を停止させた上で赤外カメラ83tによる撮影の実行を制御するように構成されても良い。
【0024】
図1図2に示す実施形態では、制御装置85は本体81の内部に設置されており、制御装置85が出力する信号に従って、規定回数の巡回や終了指示がなされるまで設定経路Rを繰返し巡回するよう構成されている。つまり、自走式検査装置8は巡回点検装置となっている。この際、制御装置85は、LiDARなどが出力する距離分布を用いたSLAMにより自己位置および自己方位を検出するように構成されており、実際に熱画像Dtを撮影した位置(以下、撮影位置P)で得られた計測対象物9の熱画像Dtと、距離分布と、撮影位置Pおよび方位を示す位置情報と、を温度管理装置71に送信する。これによって、温度管理装置71が、距離分布と位置情報とに基づいて生成された三次元位置情報に、赤外カメラ83tが出力した温度分布をマッピングしたもの(三次元温度分布)を作成することが可能となる。ただし、制御装置85が三次元温度分布を作成して、送信しても良い。
【0025】
(温度管理装置71の構成)
温度管理装置71は、自走式検査装置8から受信した情報に基づいて、対象施設70を高さ方向から平面視した平面マップに、温度をマッピングした温度マップを作成する。そして、温度管理装置71は、温度マップに基づいて対象施設70のうち異常が生じている箇所を特定する。この温度管理装置71は、対象施設70内に設けられても良いし、対象施設70と遠隔の地に設けられても良い。また、温度管理装置71は、自走式検査装置8に設けられても良い。なお、自走式検査装置8による巡回の開始前(初回起動時)は、温度マップの値がないため、初期値として対象施設70の周辺温度の平均値、対象施設70の温度の設計値、または他の対象施設70の実績値が記録されていても良い。
【0026】
(画像位置特定装置1の構成)
次に、上記の画像位置特定装置1について、図3図9を用いて説明する。
図3は、本発明の一実施形態に係る画像位置特定装置1の機能を概略的に示すブロック図である。また、図4は、本発明の一実施形態に係る計測対象物9の温度の計測時を説明するための、図1に示す計測対象物9の付近の平面視を示す図である。
【0027】
画像位置特定装置1は、計測対象物9上の温度の計測位置Mに対応する熱画像Dt上の位置(以下、画像位置Dp)を特定するための装置である。図3に示すように、画像位置特定装置1は、熱画像取得部21と、撮影情報取得部22と、撮影位置取得部23と、計測位置取得部3と、位置特定部4と、を備える。
これらの画像位置特定装置1が備える構成について、以下の説明における計測位置Mが第1計測位置M図4図6A図6B図9参照)である場合を例にそれぞれ説明する。以下の説明における方向は、特に記載がない場合には上記の自己位置と同じ座標系におけるものとする。
【0028】
また、画像位置特定装置1は、コンピュータで構成されていても良く、図示しないCPU(プロセッサ)や、ROMやRAMといったメモリや、外部記憶装置などとなる記憶装置12を備えている。そして、メモリ(主記憶装置)にロードされたプログラム(画像位置特定プログラム)の命令に従ってCPUが動作(データの演算など)することで、上記の各機能部を実現する。換言すれば、上記のプログラムは、コンピュータに後述する各機能部を実現させるためのソフトウェアであり、コンピュータによる読み込みが可能な記憶媒体に記憶されても良い。本実施形態では、画像位置特定装置1は、上述した温度管理装置71と同じOS(Operation System)上で動作するなど、温度管理装置71とハードウェアを共有しており、画像位置特定装置1の記憶装置12は温度管理装置71のものでもある。
【0029】
熱画像取得部21は、計測対象物9における計測位置Mの赤外カメラ83tによる撮影により得られる熱画像Dtを取得するよう構成された機能部である。例えば、自走式検査装置8からの撮影を通して得られる熱画像Dtは、画像位置特定装置1の記憶装置12に記憶されるようになっており、熱画像取得部21は、この記憶装置12から熱画像Dtを取得しても良い。
【0030】
撮影情報取得部22は、上述した熱画像取得部21によって取得された熱画像Dtの撮影時の赤外カメラ83tの画角(視野角)および姿勢を含む撮影情報Sを取得するよう構成された機能部である。この撮影情報Sは、熱画像Dtとの対応関係が分かるように例えば記憶装置12に格納される。これによって、自走式検査装置8による実際の撮影時の状況に応じて撮影情報Sが変わるような場合にでも、熱画像取得部21によって取得された熱画像Dtの撮影時の撮影情報Sを得ることが可能となる。なお、撮影情報Sが変化しない場合には、記憶装置12などに予め記憶されていても良い。
【0031】
撮影位置取得部23は、計測対象物9の周囲に設けられた基準位置Poに対する熱画像Dtの撮影位置Pの相対位置である相対撮影位置Prの計測結果を取得するよう構成された機能部である。基準位置Poは、自走式検査装置8から最も近い位置にある第1マーカ76aの座標(3次元座標。以下同様)である。そして、自走式検査装置8に設置されたセンサ84により第1マーカ76aを検出することで、検出時のセンサ84と第1マーカ76aとの距離(直線距離)、およびセンサ84から第1マーカ76aへの方向の検出結果(センサ検出結果Pm)が得られる。よって、このセンサ検出結果Pmからセンサ84と第1マーカ76aとの相対的な位置関係が分かる。図1図4に示す実施形態では、この位置関係に基づいて、例えば基準位置Poを原点とした撮影位置Pの座標を算出し、これを相対撮影位置Prとしている。
【0032】
計測位置取得部3は、既に説明した基準位置Poに対する計測対象物9の計測位置Mの相対位置である相対計測位置Qrの計測結果を取得するよう構成された機能部である。相対計測位置Qrは、後述するような測定を実際に行うことにより得られたものである。相対計測位置Qrは記憶装置12などに予め記憶されており、計測位置取得部3は、記憶装置12などから、相対計測位置Qrを取得する。この相対計測位置Qrの計測方法については後述する。
【0033】
位置特定部4は、上述したようにそれぞれ取得される相対撮影位置Pr、相対計測位置Qrおよび撮影情報Sに基づいて、上記の相対計測位置Qr(計測位置M)に対応する熱画像Dt上の位置(画像位置Dp)を算出するよう構成された機能部である。幾つかの実施形態では、この位置特定部4は、周知な透視投影変換により、相対計測位置Qrを画像位置Dpに変換しても良い。具体的には、撮影情報Sに基づいて、例えば、基準位置Poの座標系(x、y、z)を赤外カメラ83tの座標系(x´、y´、z´)に変換する行列A(姿勢変換行列)およびb(並進ベクトル)と、赤外カメラ83tの座標系を熱画像Dtの座標系に変換するための行列C(射影変換行列)を作成する。そして、これらの行列を用いた、Dp=C(AQr+b)の行列式により、相対計測位置Qrを画像位置Dpに変換することが可能である。
【0034】
なお、図1図4で示す実施形態では、図4に示すように、計測対象物9には3つの計測位置Mが設定されている。計測対象物9の周囲には2つのポール75(第1ポール75a、第2ポール75b)が設けられている。また、この計測対象物9に設定された3つの計測位置Mを撮影するための撮影指示位置Tは、第1撮影指示位置Tおよび第2撮影指示位置Tの合計で2箇所設けられている。具体的には、第1撮影指示位置Tは、自走式検査装置8の移動方向Fに対して、第1ポール75aの手前の位置であり、第2撮影指示位置Tは、第1ポール75aと第2ポール75bとの間の位置に設けられている。そして、第1撮影指示位置Tおよび第2撮影指示位置Tから、それぞれ、上記の3つの計測位置M(M1~M3)を一度に撮影するようになっている。この第2撮影指示位置Tからの撮影により得られる熱画像Dtの基準位置Poは、第1ポール75aの第1マーカ76aまたは第2ポール75bの第2マーカ76bのいずれのマーカ76であっても良い。そして、各計測位置Mに対応する熱画像Dt上の画像位置Dpは、上述したのと同様に処理されることで求めることが可能である。
【0035】
また、図4における破線8dは、相対計測位置Qrを計測した際の自走式検査装置8を示しており、後述する可視カメラ83vにより撮影される計測位置Mの画像D(図4では可視画像Dv)の撮影が最適となるように、自走式検査装置8の位置を調整した時のものである。しかしながら。図4の実線に示すように、赤外カメラ83tによる撮影時の本体81の撮影位置Pや移動方向Fは、破線8dで示す可視カメラ83vによる撮影時の本体81のそれとは完全に一致していない。このため、赤外カメラ83tの撮影範囲Rtと可視カメラ83vの撮影範囲Rvと完全に一致はしていない。このように、自走式検査装置8を撮影指示位置Tに完全に一致するように移動させて、同じ撮影方向から撮影することは容易ではなく、ずれが生じ易い。しかしながら、上述のように処理することで、各計測位置Mに対応する熱画像Dt上の画像位置Dpを精度良く求めることが可能となる。
【0036】
上記の構成によれば、設定された計測対象物9上の計測位置Mが、同じ計測対象物9を赤外カメラ83tで撮影した熱画像Dt上のどの位置に対応するかを特定(同定)するために、まずは計測対象物9の周囲に、計測対象物9との相対位置が変わらない基準位置Poを設けておく。また、例えばこの基準位置Poを原点とする計測位置Mの座標などとなる、基準位置Poに対する計測位置Mの相対位置の計測結果(相対計測位置Qr)を、事前(位置特定前)に測定などを通して用意しておく。そして、実際に撮影した熱画像Dtにおける計測位置の特定の際には、その熱画像Dtの撮影時の撮影位置Pから基準位置Poを計測することで、撮影位置Pの基準位置Poに対する相対位置(相対撮影位置Pr)を取得すると共に、事前に測定されている相対計測位置Qrを取得する。
【0037】
これによって、同一の座標系(例えば原点が基準位置Po)における計測位置Mおよび熱画像Dtの撮影位置Pが得られるので、この熱画像Dtの撮影時の画角や姿勢を含む撮影情報Sに基づいて、例えば透視投影変換などを実行することで、画像位置Dpを精度良く特定することができる。例えば、自走式検査装置8により計測位置Mを定期的に撮影する場合において、熱画像Dtの撮影時の自走式検査装置8の自己位置や自己方向を用いて画像位置Dpを特定する場合の精度は、その自己位置等の推定精度に依存する。しかし、基準位置Poの計測により得られる相対撮影位置Prの精度は比較的高く、上記の構成によれば、画像位置Dpを高精度で特定することができる。
【0038】
次に、上述した相対計測位置Qr(基準位置Poと計測位置Mとの相対位置)の求め方について、図5図8を用いて説明する。
図5は、本発明の一実施形態に係る相対計測位置Qrの算出に関する画像位置特定装置1の機能を概略的に示すブロック図である。図6Aは、本発明の一実施形態に係る相対計測位置Qrの計測時を説明するための、図1に示す計測対象物9の付近の平面視を示す図である。図6Bは、本発明の他の一実施形態に係る相対計測位置Qrの計測時を説明するための、図1に示す計測対象物9の付近の平面視を示す図である。図7は、本発明の一実施形態に係る計測対象物9を第1撮影位置P1から撮影した可視画像を示す図である。また、図8は、本発明の一実施形態に係る計測対象物9を第2撮影位置P2から撮影した可視画像を示す図である。
【0039】
幾つかの実施形態では、図5に示すように、計測位置取得部3は、相対計測位置Qrを算出するよう構成された位置算出部40を有しても良い。具体的には、この位置算出部40は、少なくとも1つの撮影位置からの任意の種類のカメラ83(図5では可視カメラ83v)による計測位置Mの撮影により得られる少なくとも1つの画像Dを取得するよう構成された画像取得部41と、この画像取得部41によって取得された1以上の画像Dに基づいて、この1以上の画像Dに共通して含まれる計測位置Mの相対計測位置Qrを算出する相対位置算出部42と、を備える。
【0040】
より詳細には、幾つかの実施形態では、位置算出部40は、三角測量により計測位置Mの座標を求めるよう構成されても良い。すなわち、互いに異なる2つの位置(図6Aの第1撮影位置P、第2撮影位置P)の各々について、それぞれ、基準位置Poに対する位置(3次元座標)と、この2つの撮影位置P(P、P)の各々からの計測位置Mの方向(3次元方向)とを求める。これによって、同一の座標系における2つの撮影位置P(P、P)と、この2つの撮影位置P(P、P)の各々からの、位置が不明となっている計測位置M(図6Aでは、第1計測位置M)の方向(d、d)が得られるので、三角測量により計測位置Mの座標を求めることが可能である。
【0041】
このため、幾つかの実施形態では、図5に示すように、上記の位置算出部40は、画像取得部41と、第2撮影情報取得部43と、方向算出部44と、第2撮影位置取得部45と、算出部46と、を有する。
これらの位置算出部40が備える機能部について、画像取得部41が可視カメラ83vによって撮影された可視画像Dvを取得する場合を例に、それぞれ説明する。ただし、本実施形態に本発明は限定されず、画像取得部41は、例えば赤外カメラ83tによって撮影された熱画像Dtを取得しても良い。
【0042】
画像取得部41は、互いに異なる2つの撮影位置Pからの可視カメラ83vによる同一の計測位置Mの撮影により得られる2つの可視画像Dv(図7図8参照)を取得するよう構成された機能部である。既に説明した自走式検査装置8などからの可視カメラ83vによる撮影を通して得られる可視画像Dvは、画像位置特定装置1の記憶装置12に記憶されるようになっており、画像取得部41は、この記憶装置12から2つの可視画像Dvを取得しても良い。図6Aに示す実施形態では、自走式検査装置8が、上述した第1撮影位置P1および第2撮影位置P2の2つの位置に順番に移動し、この2つの位置でそれぞれ可視画像Dvを撮影している。
【0043】
第2撮影情報取得部43は、上述した画像取得部41によって取得された2つの可視画像Dvの撮影時の各々における可視カメラ83vの画角(視野角)および姿勢を含む第2撮影情報Svを取得するよう構成された機能部である。この第2撮影情報Svは、可視画像Dvとの対応関係が分かるように例えば記憶装置12に格納される。この第2撮影情報取得部43は、既に説明した撮影情報取得部22の処理内容と同じであり、取得する情報が可視画像Dvに関するものである点が異なるので、撮影情報取得部22であっても良い。
【0044】
方向算出部44は、上述した画像取得部41によって取得された2つの可視画像Dvの各々における計測位置Mの方向である計測位置方向d(d、d)を、この2つの可視画像Dvの第2撮影情報Svに基づいてそれぞれ算出するよう構成された機能部である。すなわち、自走式検査装置8の本体81に対する可視カメラ83vの撮影方向は既知なので、本体81の重力方向における傾きなどの自走式検査装置8の撮影時の姿勢から、その撮影時における可視カメラ83vの姿勢が分かるので、撮影方向が分かる。また、可視カメラ83vの画角が既知なので、可視画像Dvにおける計測位置Mの位置に基づいて、可視画像Dvにおける計測位置Mの方向が分かる。よって、可視カメラ83vの撮影方向と、可視画像Dvにおける計測位置Mの方向とに基づいて、計測位置方向dを算出することが可能である。方向算出部44は、第1撮影位置P1から計測位置Mの計測位置方向dである第1計測位置方向dと、第2撮影位置P2から計測位置Mの計測位置方向dである第2計測位置方向dとを算出する。
【0045】
第2撮影位置取得部45は、上記の2つの可視画像Dvの各々の撮影位置P(P、P)の基準位置Poに対する相対位置である相対撮影位置Pr(以下、第2相対撮影位置Pv)の計測結果をそれぞれ取得するよう構成された機能部である。この第2撮影位置取得部45は、既に説明した撮影位置取得部23の処理内容と同じであるため、省略する。つまり、第2撮影位置取得部45は、撮影位置取得部23であっても良い。これによって、基準位置Poを原点とする2つの撮影位置P(P、P)の3次元座標が求まる。
【0046】
算出部46は、上記の2つの可視画像Dvの各々についてのPvおよび計測位置方向dに基づいて、目的となる相対計測位置Qrを算出するよう構成された機能部である。具体的には、算出部46は三角測量により計測位置Mを求める。すなわち、第2撮影位置取得部45によって、第1撮影位置Pおよび第2撮影位置Pの基準位置Poを原点とした座標が得られている。また、方向算出部44によって、第1撮影位置Pから計測位置M(ここでは第1計測位置M)の方向(第1計測位置方向d)と、第2撮影位置P2から計測位置Mの方向(第2計測位置方向d)とが得られている。よって、これらの情報に基づいて三角測量により、計測位置Mから、第1撮影位置Pと第2撮影位置Pとを結ぶ直線Lbに下した垂線の長さLが分かり、基準位置Poを原点とする計測位置Mの座標を求めることが可能となる。
【0047】
図5に示す実施形態では、可視カメラ83vによって可視画像Dvが撮影されると、可視画像Dvと、この可視画像Dvの撮影位置Pから上述したセンサ84によって計測した基準位置Poの検出結果(センサ検出結果Pm)と、その撮影時の可視カメラ83vの第2撮影情報Svの情報とが関連付けられて、記憶装置12に記憶されるようになっている。そして、上記の画像取得部41は、記憶装置12から2つの可視画像Dv(Dv、Dv)を取得する。第2撮影情報取得部43は、この2つの可視画像Dv(Dv、Dv)の各々の第2撮影情報Sv(Sv、Sv)を取得する。上記の方向算出部44は、上記の画像取得部41および第2撮影情報取得部43に接続されており、入力された可視画像Dv(Dv、Dv)と、その可視画像Dvの第2撮影情報Sv(Sv、Sv)とが入力されると、上述した入力された可視画像Dvにおける計測位置方向d(d、d)を算出する。他方、第2撮影位置取得部45は、記憶装置12から2つの撮影位置P(P、P)の各々でのセンサ検出結果Pm(Pm、Pm)を取得し、その各々の第2相対撮影位置Pv(Pv、Pv)を算出する。そして、算出部46は、方向算出部44および第2撮影位置取得部45に接続されており、2つの撮影位置P(P、P)の各々の相対撮影位置Pr(Pv、Pv)と、2つの計測位置方向d(d、d)が入力されると、三角測量により、基準位置Poを原点とする計測位置Mの座標(相対計測位置Qr)を算出する。
【0048】
上記の構成によれば、基準位置Poに対する計測位置Mの相対値(相対計測位置Qr)を、可視カメラの2つの撮影位置Pの各々の基準位置Poに対する相対位置(第2相対撮影位置Pv)の計測結果、および、可視カメラ83vによる計測対象物9(計測位置M)の撮影を通して計測される、2つの撮影位置Pの各々からの計測位置Mの方向(計測位置方向d)に基づいて、三角測量により算出する。これによって、相対計測位置Qrを適切に求めることができる。
【0049】
ただし、上述した実施形態に本発明は限定されない。上述した実施形態では、位置算出部40は、相対計測位置Qrを算出するために、2つの撮影位置P(図6AのP、P)から撮影した画像D(図6Aでは可視画像Dv)を用いていたが、他の幾つかの実施形態では、位置算出部40は、1つの撮影位置Pから撮影した画像D(図6Bでは可視画像Dv)に基づいて、相対計測位置Qrを算出しても良い(図6B参照)。この場合、上述したのと同様に、1つの可視画像Dvと、その可視画像Dvの第2撮影情報Svに基づいて、計測位置Mの計測位置方向dを求めると共に、その可視画像Dvの基準位置Poに対する相対位置である相対撮影位置Prを計測により求める。他方、この可視画像Dvの撮影位置Pから計測対象物9に対する奥行方向の距離Ldを、例えば定規やメジャー等の道具、あるいは距離を計測可能な測距センサ(例えばRFID、ミリ波レーダ、レーザ測距計)などを用いて実測することで、撮影位置Pから計測位置M(図6Bでは第1計測位置M)までの距離が分かる。つまり、撮影位置Pに対する計測位置Mの相対位置が得られるので、これを基準位置Poからの相対位置に変換することで、相対計測位置Qrが算出可能である。この奥行方向は、基準位置Poを原点とした座標系において、撮影位置PとY座標およびZ座標が同じで、かつ、計測位置MとX座標が同じとなる仮想の位置から計測位置Mの方向を意味する。
【0050】
その他の幾つかの実施形態では、例えば、計測対象物9が設置されている現場においてマーカ76の位置から計測位置Mをメジャーなどの道具や測距センサなどを用いて相対計測位置Qrを直接計測するなど、他の手法により相対計測位置Qrを計測したものを取得しても良い。
【0051】
次に、画像位置特定装置1が備えるその他の構成について、それぞれ説明する。
幾つかの実施形態では、図5に示すように、画像位置特定装置1は、上述した画像取得部41によって取得された画像D(図5では可視画像Dv)を用いて指定された位置を計測位置Mとして取得するよう構成された計測位置設定部5を、さらに備えても良い。
【0052】
図5に示す実施形態では、計測位置設定部5は、可視画像Dvを表示するディスプレイ61を有するユーザの例えばラップトップ型やデスクトップ型などのパソコン6に接続されている。そして、図7図8に示すように、ディスプレイ61に表示された可視画像Dv上で、ユーザがマウスやタップ操作により所望の位置(図7図8の矢印)を選択すると、選択した位置の可視画像Dvにおける位置(2次元座標)が計測位置設定部5に入力されるようになっており、計測位置設定部5は、入力された座標を計測位置Mとして記憶装置12に記憶するようになっている。
【0053】
図7の例示は第1撮影位置P1で撮影した可視画像Dvに対応しており、図8の例示は第2撮影位置P2で撮影した可視画像Dvに対応している。ユーザは、この2つの撮影位置Pの各々での撮影により得られた2つの可視画像Dvにおいて、それぞれ、計測位置Mとしたい所望の位置を指定する。2つの可視画像Dvにおいて選択される計測位置Mは、互いに同じ位置となるようにそれぞれの可視画像Dv上で選択される。また、図7図8に示す実施形態では、選択(指定)された箇所(計測位置M)の可視画像Dvにおける2次元座標(uxx、vxx)が表示可能になっている。図7および図8における2次元座標は、例えば各可視画像Dvの所定位置(左下端など)を原点とする座標であり、図7図8とで同じ計測位置Mが指定されたとしても、その2つの座標は通常は互いに異なる。
【0054】
なお、上記の実施形態では、可視画像Dv上で計測位置Mが指定されるが、他の幾つかの実施形態では、例えば熱画像Dt上で計測位置Mが指定されるなど、可視画像Dv以外の画像D上で計測位置Mが指定されるように構成されても良い。
【0055】
上記の構成によれば、例えば相対計測位置Qrの算出のために撮影される可視画像Dvなどをディスプレイ61に表示し、その画面上でユーザにより指定された可視画像Dvの指定位置を計測位置Mとして設定する。これによって、計測対象物9が設置されている現場に作業員が出向いて計測位置Mを指定するような作業を行うことなく、計測対象物9における計測位置Mを容易に設定することができる。
【0056】
ただし、上述した実施形態に本発明は限定されない。他の幾つかの実施形態では、計測対象物9上に計測位置Mを示すマーカを設置するなど、他の手法により計測位置Mを指定しても良い。
【0057】
図9は、本発明の一実施形態に係る複数の候補画像Dcを撮影する実施形態を説明するための図である。
また、幾つかの実施形態では、上述した熱画像取得部21(図3参照)は、熱画像Dtの撮影の候補となる複数の候補位置Pcにおける赤外カメラ83tでの撮影により得られた複数の候補画像Dcのうちから、可視画像Dvの撮影状況に最も近い状況で撮影された候補画像Dcを熱画像Dtとして取得する。
【0058】
例えば、この撮影状況は、撮影位置Pまたは撮影方向の少なくとも一方を含んでも良い。つまり、可視カメラ83vの撮影位置Pに最も近い撮影位置Pであった候補画像Dcを、熱画像Dtとしても良い。可視カメラ83vの撮影方向に最も近い撮影方向であった候補画像Dcを、熱画像Dtとしても良い。あるいは、可視カメラ83vの撮影位置Pおよび撮影方向に最も近い撮影位置Pおよび撮影方向であった候補画像Dcを、熱画像Dtとしても良い。
【0059】
この際、幾つかの実施形態では、図9に示すように、赤外カメラ83tによる撮影は、1つの撮影指示位置Tに対して、その撮影指示位置Tから所定の距離だけ前(手前)にある1以上の位置と、その撮影指示位置Tから所定の距離だけ遠ざかる間の1以上の位置と、を含む複数の位置で行われるように構成されても良い。こうして撮影された複数の熱画像Dtを候補画像Dcとして、熱画像取得部21は1つの熱画像Dtを取得する。
【0060】
図9に示す実施形態では、撮影指示位置T(図9では第1撮影指示位置T)と判定される位置から所定の距離まで近づくと、所定の時間間隔あるいは距離間隔で規定回数だけ撮影を実行するようになっている。その結果、撮影指示位置Tの前後で合わせて規定回数分の撮影が実行されることで、撮影指示位置Tと判定される位置を含めて合計で規定回数分(図9の実施形態では5回)の撮影位置Pにおける撮影が実際に移動した経路に沿って行われている。
【0061】
上記の構成によれば、赤外カメラ83tによる熱画像Dtの撮影を互いに異なる複数の撮影位置P(候補位置Pc)で行うことで得られる複数の熱画像Dtのうち、可視カメラ83vによる撮影状況と最も近い撮影状況で撮影された熱画像Dtを処理対象とする。これによって、可視カメラ83vおよび赤外カメラ83tの各々の撮影状況の違いによる影響が小さくなるように図ることができ、同定精度の向上を図ることができる。
【0062】
以下、上述した構成(機能)を備える画像位置特定装置1が行う処理に対応する画像位置特定方法について、図10図11を用いて説明する。
図10は、本発明の一実施形態に係る画像位置特定方法を示す図である。また、図11は、本発明の一実施形態に係る位置算出ステップを示す図である。
【0063】
画像位置特定方法は、上述した計測対象物9上の温度の計測位置Mに対応する画像位置Dpを特定するための方法である。図10に示すように、画像位置特定方法は、熱画像取得ステップ(S1)と、撮影情報取得ステップ(S2)と、撮影位置取得ステップ(S3)と、計測位置取得ステップ(S4)と、位置特定ステップ(S5)と、を備える。
これらのステップについて、図10のステップ順に説明する。
【0064】
図10のステップS1において、熱画像取得ステップを実行する。熱画像取得ステップ(S1)は、計測対象物9における計測位置Mの赤外カメラ83tによる撮影により得られる熱画像Dtを取得するステップである。熱画像取得ステップ(S1)は、既に説明した熱画像取得部21が実行する処理内容と同様であるため、詳細は省略する。
【0065】
ステップS2において、撮影情報取得ステップを実行する。撮影情報取得ステップ(S2)は、熱画像取得ステップ(S1)によって取得された熱画像Dtの撮影時の赤外カメラ83tの撮影情報Sを取得するステップである。撮影情報取得ステップ(S2)は、既に説明した撮影情報取得部22が実行する処理内容と同様であるため、詳細は省略する。
【0066】
ステップS3において、撮影位置取得ステップを実行する。撮影位置取得ステップ(S3)は、熱画像取得ステップ(S1)によって取得された熱画像Dtの撮影位置Pの相対撮影位置Prの計測結果を取得するステップである。撮影位置取得ステップ(S3)は、既に説明した撮影位置取得部23が実行する処理内容と同様であるため、詳細は省略する。
【0067】
ステップS4において、計測位置取得ステップを実行する。計測位置取得ステップ(S4)は、予め測定されている相対計測位置Qrの計測結果を取得するステップである。計測位置取得ステップ(S4)は、既に説明した計測位置取得部3が実行する処理内容と同様であるため、詳細は省略する。
【0068】
ステップS5において、位置特定ステップを実行する。位置特定ステップ(S5)は、上述したようにそれぞれ取得される相対撮影位置Pr、相対計測位置Qrおよび撮影情報Sに基づいて、上記の相対計測位置Qr(計測位置M)に対応する熱画像Dt上の位置(画像位置Dp)を算出するステップである。位置特定ステップ(S5)は、既に説明した計測位置取得部3が実行する処理内容と同様であるため、詳細は省略する。図10に示す実施形態では、位置特定ステップ(S5)では、周知な透視投影変換により、相対計測位置Qrを画像位置Dpに変換する。
【0069】
なお、上述した熱画像取得ステップ(S1)、撮影情報取得ステップ(S2)、撮影位置取得ステップ(S3)、計測位置取得ステップ(S4)の実行順序は、処理対象の熱画像Dtが特定されている場合においては、位置特定ステップ(S5)よりも前に実行していれば、相互に順番を入れ替えても良い。この処理対象の熱画像Dtの特定は、熱画像取得ステップ(S1)で行われても良いし、全てのステップ(S1~S5)の前に実行される熱画像Dtを特定するステップ(不図示)により実行されても良い。
【0070】
また、幾つかの実施形態では、上記の計測位置取得ステップ(S4)は、図11に示すような、上記の相対計測位置Qrを算出するよう構成された位置算出ステップ(S41~S45)を有しても良い。この位置算出ステップは、既に説明した位置算出部40が実行する処理内容と同様である。
【0071】
図11に示す実施形態では、三角測量により算出する。このため、この位置算出ステップ(S41~S45)は、互いに異なる2つの撮影位置Pからのカメラ83(図11では可視カメラ83v)による同一の計測位置Mの撮影により得られる2つの画像(図11では、可視画像Dv(図7図8参照))を取得するよう構成された画像取得ステップ(S41)と、上記の2つの画像Dの撮影時の各々におけるカメラ83の第2撮影情報Svを取得する第2撮影情報取得ステップ(S42)と、上記の2つの画像Dの各々からの計測位置Mの計測位置方向dを、上記の第2撮影情報Svに基づいてそれぞれ算出する方向算出ステップ(S43)と、上記の2つの画像Dの各々の撮影位置Pの基準位置Poに対する相対位置である第2相対撮影位置Pvの計測結果をそれぞれ取得する第2撮影位置取得ステップ(S44)と、上記の2つの画像Dの各々についての第2相対撮影位置Pvおよび計測位置方向dに基づいて、目的となる相対計測位置Qrを算出する算出ステップ(S45)と、を有する。
他の幾つかの実施形態では、上述した位置算出ステップ(S41~S45)は、1つの画像Dを取得し(画像取得ステップ(S41))、この1つの画像Dに基づいて、相対計測位置Qrを算出しても良い。
【0072】
上記の画像取得ステップ(S41)、第2撮影情報取得ステップ(S42)、方向算出ステップ(S43)、第2撮影位置取得ステップ(S44)、算出ステップ(S45)は、それぞれ、既に説明した画像取得部41、第2撮影情報取得部43、方向算出部44、第2撮影位置取得部45、算出部46がそれぞれ実行する処理内容と同様であるため、詳細は省略する。
【0073】
図11に示す実施形態では、自走式検査装置8を設定経路Rに沿って移動させることで、計測位置Mの可視画像Dvを撮影する。そして、可視画像Dvを撮影した際の撮影位置Pを撮影指示位置Tとして設定する。その後、熱画像Dtの撮影のために、再度、自走式検査装置8を設定経路Rに沿って移動させ、撮影指示位置Tで熱画像Dtを撮影させるようになっている。例えば、自走式検査装置8を設定経路Rに沿って一周など移動させる間に各計測位置Mの可視画像Dvを撮影し、定期的に2周目以降を行わせつつ各回において自走式検査装置8を設定経路Rに沿って移動(自動など)させつつ、各計測位置Mの熱画像Dtを撮影しても良い。
【0074】
図11に示す実施形態では、ステップS41において、2つの撮影位置P(図6AのP、P)から、それぞれ可視カメラ83vで同一の計測位置Mを撮影した結果えられた2つの可視画像Dvを取得する。ステップS42において、2つの可視画像Dvの撮影時の各々における可視カメラ83vの第2撮影情報Svを取得する。ステップS43において、2つの可視画像Dvの各々における計測位置Mの計測位置方向d(図6Aのd、d)を、その2つの可視画像Dvの第2撮影情報Svに基づいてそれぞれ算出する。ステップS44において、2つの可視画像Dvの各々の撮影位置Pの基準位置Poに対する相対位置(第2相対撮影位置Pv)の計測結果を取得する。ステップS45において、2つの可視画像Dvの各々の第2相対撮影位置Pvおよび計測位置方向dに基づいて、相対計測位置Qrを算出する。
【0075】
なお、上述した画像取得ステップ(S41)および第2撮影情報取得ステップ(S42)は、方向算出ステップ(S43)の前であれば、順番は逆であっても良い。方向算出ステップ(S43)および第2撮影位置取得ステップ(S44)は、算出ステップ(S45)の前に実行されていれば、その順序は逆であっても良い。
【0076】
本発明は上述した実施形態に限定されることはなく、上述した実施形態に変形を加えた形態や、これらの形態を適宜組み合わせた形態も含む。
(付記)
【0077】
(1)本発明の少なくとも一実施形態に係る画像位置特定装置(1)は、
計測対象物(9)上の温度の計測位置(M)に対応する熱画像(Dt)上の画像位置(Dp)を特定するための画像位置特定装置(1)であって、
赤外カメラ(83t)による前記計測位置(M)の撮影により得られる前記熱画像(Dt)を取得するよう構成された熱画像取得部(21)と、
取得された前記熱画像(Dt)の撮影時の前記赤外カメラ(83t)の画角および姿勢を含む撮影情報(S)を取得するよう構成された撮影情報取得部(22)と、
前記計測対象物(9)の周囲の所定の位置に設けられた基準位置(Po)に対する前記熱画像(Dt)の撮影位置(P)の相対位置である相対撮影位置(Pr)の計測結果を取得するよう構成された撮影位置取得部(23)と、
予め測定されている、前記基準位置(Po)に対する前記計測位置(M)の相対位置である相対計測位置(Qr)の計測結果を取得するよう構成された計測位置取得部(3)と、
前記相対撮影位置(Pr)、前記相対計測位置(Qr)および前記撮影情報(S)に基づいて、前記相対計測位置(Qr)に対応する前記画像位置(Dp)を算出するよう構成された位置特定部(4)と、を備える。
【0078】
上記(1)の構成によれば、例えば計測対象物(9)を可視カメラ(83v)などのカメラ(83)で撮影した可視画像(Dv)などの画像(D)上での指定などを通して設定された計測対象物(9)上の計測位置(M)が、同じ計測対象物(9)を赤外カメラ(83t)で撮影した熱画像(Dt)上のどの位置に対応するかを特定(同定)するために、まずは計測対象物(9)の周囲に、計測対象物(9)との相対位置が変わらない基準位置(Po)を設けておく。また、例えばこの基準位置(Po)を原点とする計測位置(M)の座標などとなる、基準位置(Po)に対する計測位置(M)の相対位置の計測結果(相対計測位置(Qr))を、事前(位置特定前)に測定などを通して用意しておく。そして、実際に撮影した熱画像(Dt)における計測位置(M)の特定の際には、その熱画像(Dt)の撮影時の撮影位置(P)から基準位置(Po)を計測することで、撮影位置(P)の基準位置(Po)に対する相対位置(相対撮影位置(Pr))を取得すると共に、事前に測定されている相対計測位置(Qr)を取得する。
【0079】
これによって、同一の座標系(例えば原点が基準位置(Po))における計測位置(M)および熱画像(Dt)の撮影位置(P)が得られるので、この熱画像(Dt)の撮影時の画角や姿勢を含む撮影情報(S)に基づいて、例えば透視投影変換などを実行することで、計測位置(M)の熱画像(Dt)における位置(画像位置(Dp))を精度良く特定することができる。例えば、自走式検査装置(8)により計測位置(M)を定期的に撮影する場合において、熱画像(Dt)の撮影時の自走式検査装置(8)の自己位置や自己方向を用いて画像位置(Dp)を特定する場合の精度は、その自己位置等の推定精度に依存する。しかし、基準位置(Po)の計測により得られる相対撮影位置(Pr)の精度は比較的高く、上記の構成によれば、画像位置(Dp)を高精度で特定することができる。
【0080】
(2)幾つかの実施形態では、上記(1)の構成において、
前記位置特定部(4)は、透視投影変換により、前記相対計測位置(Qr)を前記画像位置(Dp)に変換する。
上記(2)の構成によれば、透視投影変換により、画像位置(Dp)を精度良く特定することができる。
【0081】
(3)幾つかの実施形態では、上記(1)~(2)の構成において、
前記計測位置取得部(3)は、前記相対計測位置(Qr)を算出するよう構成された位置算出部(40)を含み、
前記位置算出部(40)は、
少なくとも1つの撮影位置(P)からのカメラ(83)による前記計測位置(M)の撮影により得られる少なくとも1つの画像(D)を取得するよう構成された画像取得部(41)と、
取得された1以上の前記画像(D)に基づいて、前記画像(D)に含まれる前記計測位置(M)の前記相対計測位置(Qr)を算出する相対位置算出部(42)と、を有する。
【0082】
上記(3)の構成によれば、取得した1以上の画像(D)に基づいて、相対計測位置(Qr)を適切に求めることができる。
【0083】
(4)幾つかの実施形態では、上記(3)の構成において、
前記計測位置取得部(3)は、前記相対計測位置(Qr)を算出するよう構成された位置算出部(40)を有し、
前記位置算出部(40)は、
互いに異なる2つの撮影位置(P)からのカメラ(83。例えば可視カメラなど。以下同様。)による同一の前記計測位置(M)の撮影により得られる2つの画像(D)を取得するよう構成された画像取得部(41)と、
前記2つの画像(D)の撮影時の各々における前記カメラ(83)の画角および姿勢を含む第2撮影情報を取得するよう構成された第2撮影情報取得部(42)と、
取得された前記2つの画像(D)の各々における前記計測位置(M)の方向である計測位置方向を、前記2つの画像(D)の各々の前記第2撮影情報(Sv)に基づいてそれぞれ算出するよう構成された方向算出部(43)と、
前記2つの画像(D)の各々の前記撮影位置(P)の前記基準位置(Po)に対する相対位置である第2相対撮影位置(Pv)の計測結果を取得するよう構成された第2撮影位置取得部(44)と、
前記2つの画像(D)の各々の前記第2相対撮影位置(Pv)および前記計測位置方向に基づいて、前記相対計測位置(Qr)を算出するよう構成された算出部(45)と、を有する。
【0084】
上記(4)の構成によれば、基準位置(Po)に対する計測位置(M)の相対値(相対計測位置(Qr))を、例えば可視カメラ(83v)や赤外カメラ(83t)などのカメラ83の2つの撮影位置(P)の各々の基準位置(Po)に対する相対位置(第2相対撮影位置(Pv))の計測結果、および、カメラ(83v)による計測対象物(9)(計測位置(M))の撮影を通して計測される、2つの撮影位置(P)の各々からの計測位置(M)の方向(計測位置方向)に基づいて、三角測量により算出する。これによって、相対計測位置(Qr)を適切に求めることができる。
【0085】
(5)幾つかの実施形態では、上記(3)~(4)の構成において、
前記画像取得部によって取得された前記画像(D)の各々を用いて指定された位置を前記計測位置(M)として取得するよう構成された計測位置(M)設定部(5)を、さらに備える。
【0086】
上記(5)の構成によれば、例えば相対計測位置(Qr)の算出のために撮影される画像(D)などをディスプレイ(61)に表示し、その画面上でユーザにより指定された画像(D)の指定位置を計測位置(M)として設定する。これによって、計測対象物(9)が設置されている現場に作業員が出向いて計測位置(M)を指定するような作業を行うことなく、計測対象物(9)における計測位置(M)を容易に設定することができる。
【0087】
(6)幾つかの実施形態では、上記(3)~(5)の構成において、
前記熱画像取得部(21)は、複数の候補位置(Pc)における前記赤外カメラ(83t)での撮影により得られた複数の候補画像(Dc)のうちから、前記画像(D)の撮影状況に最も近い状況で撮影された前記候補画像(Dc)を前記熱画像(Dt)として取得する。
【0088】
上記(6)の構成によれば、赤外カメラ(83t)による熱画像(Dt)の撮影を互いに異なる複数の撮影位置(P)(候補位置(Pc))で行うことで得られる複数の熱画像(Dt)のうち、カメラ(83)による撮影状況と最も近い撮影状況で撮影された熱画像(Dt)を処理対象とする。これによって、カメラ(83)および赤外カメラ(83t)の各々の撮影状況の違いによる影響が小さくなるように図ることができ、同定精度の向上を図ることができる。
【0089】
(7)幾つかの実施形態では、上記(6)の構成において、
前記撮影状況は、前記撮影位置(P)または撮影方向の少なくとも一方を含む。
【0090】
上記(7)の構成によれば、熱画像(Dt)の複数の候補画像(Dc)のうちから、画像(D)の撮影位置(P)およびその撮影時の撮影方向の少なくとも一方が近かった候補画像(Dc)を処理対象の熱画像(Dt)とする。これによって、熱画像(Dt)上の計測位置(M)の同定精度の向上を図ることができる。
【0091】
(8)幾つかの実施形態では、上記(1)~(7)の構成において、
前記相対撮影位置(Pr)は、前記基準位置(Po)までの距離および方向を測定するためのセンサ(84)を用いて測定される。
【0092】
上記(8)の構成によれば、センサ(84)を用いることで、精度の高い相対撮影位置(Pr)を取得することができる。同様に、このセンサ(84)を用いて第2相対撮影位置(Pv)も測定することで、精度の高い第2相対撮影位置(Pv)を取得することができると共に、同一のセンサ(84)を用いることで高コスト化を防止することができる。
【0093】
(9)本発明の少なくとも一実施形態に係る温度管理システム(7)は、
上記(1)~(8)のいずれか1項に記載の、計測対象物(9)の温度の計測位置(M)に対応する熱画像(Dt)上の画像位置(Dp)を特定するための画像位置特定装置(1)と、
前記計測位置(M)の前記熱画像(Dt)を撮影するため自走式の自走式検査装置(8)であって、
本体(81)と、
前記本体(81)を移動可能に支持する移動装置(82)と、
前記本体(81)に設置された、前記熱画像(Dt)を撮像可能な赤外カメラ(83t)と、
前記本体(81)に設置された、前記画像位置(Dp)の特定に用いられる、前記計測対象物(9)の周囲の所定の位置に設けられた基準位置(Po)との距離および方向を計測するためのセンサ(84)と、
前記本体(81)に設置された、前記移動装置(82)を制御する制御装置(85)と、を有する自走式検査装置(8)と、を備える。
【0094】
上記(9)の構成によれば、例えば自動で移動しながら熱画像(Dt)を撮影しつつ、上記(1)と同様な効果を奏することができる。なお、相対計測位置(Qr)を得るための用いるカメラ(83)が、可視カメラ(83v)である場合など赤外カメラ(83t)とは異なる場合には、そのカメラ(83)も本体(81)に一緒に設置すれば、自走式検査装置(8)による検査をより効率良く行うことが可能となる。
【0095】
(10)本発明の少なくとも一実施形態に係る画像位置特定方法は、
計測対象物(9)上の温度の計測位置(M)に対応する熱画像(Dt)上の画像位置(Dp)を特定するための画像位置特定方法であって、
赤外カメラ(83t)による前記計測位置(M)の撮影により得られる前記熱画像(Dt)を取得するステップと、
取得された前記熱画像(Dt)の撮影時の前記赤外カメラ(83t)の画角および姿勢を含む撮影情報(S)を取得するステップと、
前記計測対象物(9)の周囲の所定の位置に設けられた基準位置(Po)に対する前記熱画像(Dt)の撮影位置(P)の相対位置である相対撮影位置(Pr)の計測結果を取得するステップと、
予め測定されている、前記基準位置(Po)に対する前記計測位置(M)の相対位置である相対計測位置(Qr)の計測結果を取得するステップと、
前記相対撮影位置(Pr)、前記相対計測位置(Qr)および前記撮影情報(S)に基づいて、前記相対計測位置(Qr)に対応する前記画像位置(Dp)を算出するステップと、を備える。
上記(10)の構成によれば、上記(1)と同様な効果を奏する。
【0096】
(11)本発明の少なくとも一実施形態に係る画像位置(Dp)特定プログラムは、
計測対象物(9)上の温度の計測位置(M)に対応する熱画像(Dt)上の画像位置(Dp)を特定するための画像位置(Dp)特定プログラムであって、
コンピュータに、
赤外カメラ(83t)による前記計測位置(M)の撮影により得られる前記熱画像(Dt)を取得するよう構成された熱画像取得部(21)と、
取得された前記熱画像(Dt)の撮影時の前記赤外カメラ(83t)の画角および姿勢を含む撮影情報(S)を取得するよう構成された撮影情報取得部(22)と、
前記計測対象物(9)の周囲の所定の位置に設けられた基準位置(Po)に対する前記熱画像(Dt)の撮影位置(P)の相対位置である相対撮影位置(Pr)の計測結果を取得するよう構成された撮影位置取得部(23)と、
予め測定されている、前記基準位置(Po)に対する前記計測位置(M)の相対位置である相対計測位置(Qr)の計測結果を取得するよう構成された計測位置取得部(3)と、
前記相対撮影位置(Pr)、前記相対計測位置(Qr)および前記撮影情報(S)に基づいて、前記相対計測位置(Qr)に対応する前記画像位置(Dp)を算出するよう構成された位置特定部(4)と、を実現させるためのプログラムである。
上記(11)の構成によれば、上記(1)と同様な効果を奏する。
【符号の説明】
【0097】
1 画像位置特定装置
12 記憶装置
21 熱画像取得部
22 撮影情報取得部
23 撮影位置取得部
3 計測位置取得部
4 位置特定部
40 位置算出部
41 画像取得部
42 相対位置算出部
43 第2撮影情報取得部
44 方向算出部
44 第2撮影位置取得部
45 算出部
5 計測位置設定部
6 パソコン
61 ディスプレイ
7 温度管理システム
70 対象施設
71 温度管理装置
75 ポール
75a 第1ポール
75b 第2ポール
76 マーカ
76a 第1マーカ
76b 第2マーカ
8 自走式検査装置
81 本体
82 移動装置
83 カメラ
83t 赤外カメラ
83v 可視カメラ
84 センサ
85 制御装置
8d 破線(可視画像の撮影時の本体)
9 計測対象物
M 計測位置
第1計測位置
第2計測位置
第3計測位置
T 撮影指示位置
第1撮影指示位置
第2撮影指示位置
D 画像
Dt 熱画像
Dc 候補画像(熱画像)
Dv 可視画像
Dp 画像位置
Po 基準位置
P 撮影位置
P1 第1撮影位置
P2 第2撮影位置
Pc 候補位置
Pr 相対撮影位置
Pv 第2相対撮影位置
Pm センサ検出結果
Qr 相対計測位置
R 設定経路
S 撮影情報(赤外カメラ)
Sv 第2撮影情報(カメラ)
d 計測位置方向
d1 第1計測位置方向
d2 第2計測位置方向
F 移動方向
Rt 赤外カメラの撮影範囲
Rv カメラの撮影範囲
Lb 直線
Ld 奥行方向の距離
図1
図2
図3
図4
図5
図6A
図6B
図7
図8
図9
図10
図11