(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2022177324
(43)【公開日】2022-11-30
(54)【発明の名称】特定温度領域検定方法、情報処理装置、特定温度領域検定システム、及びプログラム
(51)【国際特許分類】
G01N 25/72 20060101AFI20221122BHJP
【FI】
G01N25/72 K
【審査請求】有
【請求項の数】8
【出願形態】OL
(21)【出願番号】P 2022162862
(22)【出願日】2022-10-11
(62)【分割の表示】P 2020147827の分割
【原出願日】2020-09-02
(71)【出願人】
【識別番号】520328383
【氏名又は名称】株式会社テナーク
(71)【出願人】
【識別番号】597165618
【氏名又は名称】株式会社ネクスコ東日本エンジニアリング
(74)【代理人】
【識別番号】100121083
【弁理士】
【氏名又は名称】青木 宏義
(74)【代理人】
【識別番号】100138391
【弁理士】
【氏名又は名称】天田 昌行
(74)【代理人】
【識別番号】100074099
【弁理士】
【氏名又は名称】大菅 義之
(72)【発明者】
【氏名】内間 満明
(72)【発明者】
【氏名】内間 悠人
(72)【発明者】
【氏名】大庭 健太郎
(72)【発明者】
【氏名】仲谷 国雄
(57)【要約】
【課題】赤外線熱画像を用いた舗装道路の健全性の診断における損傷の進展状況を適切に診断することができるようにする。
【解決手段】コンピュータが、赤外線サーモカメラにより複数回撮影された舗装道路の赤外線熱画像から検出された舗装道路の損傷部分について、診断回が異なる複数の赤外線熱画像間で、第1の診断回に赤外線サーモカメラで撮影された舗装道路の第1の赤外線熱画像における第1の損傷位置を含む部分領域の温度情報と、第1の診断回よりも前の第2の診断回に赤外線サーモカメラで撮影された舗装道路の第2の赤外線熱画像における損傷位置であって、舗装道路上の第1の損傷位置と一致する第2の損傷位置を含む部分領域の温度情報とに基づいて、第1の損傷位置についての損傷の進展状況を診断する。
【選択図】
図16
【特許請求の範囲】
【請求項1】
コンピュータが、
赤外線サーモカメラにより複数回撮影された舗装道路の赤外線熱画像から検出された前記舗装道路の損傷部分について、診断回が異なる複数の赤外線熱画像間で、第1の診断回に赤外線サーモカメラで撮影された舗装道路の第1の赤外線熱画像における第1の損傷位置を含む部分領域の温度情報と、前記第1の診断回よりも前の第2の診断回に赤外線サーモカメラで撮影された前記舗装道路の第2の赤外線熱画像における損傷位置であって、前記舗装道路上の前記第1の損傷位置と一致する第2の損傷位置を含む部分領域の温度情報とに基づいて、前記第1の損傷位置についての損傷の進展状況を診断する
ことを特徴とする特定温度領域検定方法。
【請求項2】
前記コンピュータが、第1の損傷において、損傷位置を含む第1の領域と第1の温度閾値を設定し、更に前記第1の領域の内側に第2の領域と第1の温度閾値よりも大きな第2の温度閾値を設定し、赤外線熱画像における前記第1の領域内の画素のうちの、前記赤外線サーモカメラで撮影される前記舗装道路の赤外線熱画像の健全な部位の推定健全温度との温度差の絶対値が第1の閾値以上である画素の割合と、前記第2の領域内の画素のうちの、前記推定健全温度との温度差の絶対値が第2の閾値以上である画素の割合、を含む温度情報間での個々の損傷における相関関係、及び第2の損傷の、前記第1の損傷と同じ解析処理の温度情報間での相関関係、との第1の損傷と第2の損傷の同じ解析処理の温度情報間での相関関係の高さ、あるいは相関関係を示す回帰直線、または回帰曲線との距離から抽出される温度特性により、前記第1の損傷位置についての損傷の種類と進展状況を診断する
ことを特徴とする請求項1に記載の特定温度領域検定方法。
【請求項3】
診断回が異なる複数の赤外線熱画像間で、第1の診断回に赤外線サーモカメラで撮影された舗装道路の第1の赤外線熱画像における第1の損傷位置を含む部分領域の温度情報と、前記第1の診断回よりも前の第2の診断回に赤外線サーモカメラで撮影された前記舗装道路の第2の赤外線熱画像における損傷位置であって、前記舗装道路上の前記第1の損傷位置と一致する第2の損傷位置を含む部分領域の温度情報とに基づいて、前記第1の損傷位置についての損傷の進展状況を診断する制御部
を備えることを特徴とする情報処理装置。
【請求項4】
前記制御部は、第1の損傷において、損傷位置を含む第1の領域と第1の温度閾値を設定し、更に前記第1の領域の内側に第2の領域と第1の温度閾値よりも大きな第2の温度閾値を設定し、赤外線熱画像における前記第1の領域内の画素のうちの、前記赤外線サーモカメラで撮影される前記舗装道路の赤外線熱画像の健全な部位の推定健全温度との温度差の絶対値が第1の閾値以上である画素の割合と、前記第2の領域内の画素のうちの、前記推定健全温度との温度差の絶対値が第2の閾値以上である画素の割合、を含む温度情報間での個々の損傷における相関関係、及び第2の損傷の、前記第1の損傷と同じ解析処理の温度情報間での相関関係、との第1の損傷と第2の損傷の同じ解析処理の温度情報間での相関関係の高さ、あるいは相関関係を示す回帰直線、または回帰曲線との距離から抽出される温度特性により、前記第1の損傷位置についての損傷の種類と進展状況を診断する
ことを特徴とする請求項3に記載の情報処理装置。
【請求項5】
赤外線サーモカメラで撮影された複数の赤外線熱画像を記憶する記憶部と、
診断回が異なる複数の赤外線熱画像間で、第1の診断回に赤外線サーモカメラで撮影された舗装道路の第1の赤外線熱画像における第1の損傷位置を含む部分領域の温度情報と、前記第1の診断回よりも前の第2の診断回に赤外線サーモカメラで撮影された前記舗装道路の第2の赤外線熱画像における損傷位置であって、前記舗装道路上の前記第1の損傷位置と一致する第2の損傷位置を含む部分領域の温度情報とに基づいて、前記第1の損傷位置についての損傷の進展状況を診断する制御部と
を備えることを特徴とする特定温度領域検定システム。
【請求項6】
前記制御部は、第1の損傷において、損傷位置を含む第1の領域と第1の温度閾値を設定し、更に前記第1の領域の内側に第2の領域と第1の温度閾値よりも大きな第2の温度閾値を設定し、赤外線熱画像における前記第1の領域内の画素のうちの、前記赤外線サーモカメラで撮影される前記舗装道路の赤外線熱画像の健全な部位の推定健全温度との温度差の絶対値が第1の閾値以上である画素の割合と、前記第2の領域内の画素のうちの、前記推定健全温度との温度差の絶対値が第2の閾値以上である画素の割合、を含む温度情報間での個々の損傷における相関関係、及び第2の損傷の、前記第1の損傷と同じ解析処理の温度情報間での相関関係、との第1の損傷と第2の損傷の同じ解析処理の温度情報間での相関関係の高さ、あるいは相関関係を示す回帰直線、または回帰曲線との距離から抽出される温度特性により、前記第1の損傷位置についての損傷の種類と進展状況を診断する
ことを特徴とする請求項5に記載の特定温度領域検定システム。
【請求項7】
コンピュータに、
診断回が異なる複数の赤外線熱画像間で、第1の診断回に赤外線サーモカメラで撮影された舗装道路の第1の赤外線熱画像における第1の損傷位置を含む部分領域の温度情報と、前記第1の診断回よりも前の第2の診断回に赤外線サーモカメラで撮影された前記舗装道路の第2の赤外線熱画像における損傷位置であって、前記舗装道路上の前記第1の損傷位置と一致する第2の損傷位置を含む部分領域の温度情報とに基づいて、前記第1の損傷位置についての損傷の進展状況を診断する
処理を実行させることを特徴とするプログラム。
【請求項8】
前記コンピュータに、第1の損傷において、損傷位置を含む第1の領域と第1の温度閾値を設定し、更に前記第1の領域の内側に第2の領域と第1の温度閾値よりも大きな第2の温度閾値を設定し、赤外線熱画像における前記第1の領域内の画素のうちの、前記赤外線サーモカメラで撮影される前記舗装道路の赤外線熱画像の健全な部位の推定健全温度との温度差の絶対値が第1の閾値以上である画素の割合と、前記第2の領域内の画素のうちの、前記推定健全温度との温度差の絶対値が第2の閾値以上である画素の割合、を含む温度情報間での個々の損傷における相関関係、及び第2の損傷の、前記第1の損傷と同じ解析処理の温度情報間での相関関係、との第1の損傷と第2の損傷の同じ解析処理の温度情報間での相関関係の高さ、あるいは相関関係を示す回帰直線、または回帰曲線との距離から抽出される温度特性により、前記第1の損傷位置についての損傷の種類と進展状況を診断する処理を実行させる
ことを特徴とする請求項7に記載のプログラム。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、特定温度領域検定方法、情報処理装置、特定温度領域検定システム、及びプログラムに関し、特に、赤外線熱画像を用いた舗装道路の健全性の診断に関する。
【背景技術】
【0002】
高速道路等の舗装道路の健全性を診断する方法の1つとして、走行する車両に設置した赤外線サーモカメラで舗装道路の赤外線熱画像を撮影し、その赤外線熱画像を解析して舗装道路の損傷の有無を診断する方法がある。例えば、特許文献1には、被検出路面の赤外線熱画像を分析することにより、被検出路面の欠陥の種類を特定する路面欠陥検出システム及び方法が開示されている。
【0003】
この種の診断方法では、舗装道路における健全な部分と損傷がある部分とに生じる温度差を利用して、損傷の有無、種類、及び度合い(損傷レベル)等を診断する。
【先行技術文献】
【特許文献】
【0004】
【発明の概要】
【発明が解決しようとする課題】
【0005】
舗装道路の健全性を診断する上で重要なことの1つとして、損傷した部分の経時変化、すなわち損傷の進展状況を適切に診断することがある。損傷の進展状況を適切に診断することにより、損傷への対処が必要となる時期を予測し、損傷が重症化する前に適切な対処をすることが可能となる。
【0006】
しかしながら、赤外線熱画像を用いた従来の診断方法では、損傷の進展状況を適切に診断することが難しい。
【0007】
1つの側面において、本発明は、赤外線熱画像を用いた舗装道路の健全性の診断における損傷の進展状況を適切に診断することが可能な技術を提供することを目的とする。
【課題を解決するための手段】
【0008】
1つの態様に係る特定温度領域検定方法は、コンピュータが、赤外線サーモカメラにより複数回撮影された舗装道路の赤外線熱画像から検出された前記舗装道路の損傷部分について、診断回が異なる複数の赤外線熱画像間で、第1の診断回に赤外線サーモカメラで撮影された舗装道路の第1の赤外線熱画像における第1の損傷位置を含む部分領域の温度情報と、前記第1の診断回よりも前の第2の診断回に赤外線サーモカメラで撮影された前記舗装道路の第2の赤外線熱画像における損傷位置であって、前記舗装道路上の前記第1の損傷位置と一致する第2の損傷位置を含む部分領域の温度情報とに基づいて、前記第1の損傷位置についての損傷の進展状況を診断する特定温度領域検定方法である。
【0009】
上述の特定温度領域検定方法において、前記コンピュータが、第1の損傷において、損傷位置を含む第1の領域と第1の温度閾値を設定し、更に前記第1の領域の内側に第2の領域と第1の温度閾値よりも大きな第2の温度閾値を設定し、赤外線熱画像における前記第1の領域内の画素のうちの、前記赤外線サーモカメラで撮影される前記舗装道路の赤外線熱画像の健全な部位の推定健全温度との温度差の絶対値が第1の閾値以上である画素の割合と、前記第2の領域内の画素のうちの、前記推定健全温度との温度差の絶対値が第2の閾値以上である画素の割合、を含む温度情報間での個々の損傷における相関関係、及び第2の損傷の、前記第1の損傷と同じ解析処理の温度情報間での相関関係、との第1の損傷と第2の損傷の同じ解析処理の温度情報間での相関関係の高さ、あるいは相関関係を示す回帰直線、または回帰曲線との距離から抽出される温度特性により、前記第1の損傷位置についての損傷の種類と進展状況を診断する。
【0010】
1つの態様に係る情報処理装置は、診断回が異なる複数の赤外線熱画像間で、第1の診断回に赤外線サーモカメラで撮影された舗装道路の第1の赤外線熱画像における第1の損傷位置を含む部分領域の温度情報と、前記第1の診断回よりも前の第2の診断回に赤外線サーモカメラで撮影された前記舗装道路の第2の赤外線熱画像における損傷位置であって、前記舗装道路上の前記第1の損傷位置と一致する第2の損傷位置を含む部分領域の温度情報とに基づいて、前記第1の損傷位置についての損傷の進展状況を診断する制御部を備える情報処理装置である。
【0011】
上述の情報処理装置において、前記制御部は、第1の損傷において、損傷位置を含む第1の領域と第1の温度閾値を設定し、更に前記第1の領域の内側に第2の領域と第1の温度閾値よりも大きな第2の温度閾値を設定し、赤外線熱画像における前記第1の領域内の画素のうちの、前記赤外線サーモカメラで撮影される前記舗装道路の赤外線熱画像の健全な部位の推定健全温度との温度差の絶対値が第1の閾値以上である画素の割合と、前記第2の領域内の画素のうちの、前記推定健全温度との温度差の絶対値が第2の閾値以上である画素の割合、を含む温度情報間での個々の損傷における相関関係、及び第2の損傷の、前記第1の損傷と同じ解析処理の温度情報間での相関関係、との第1の損傷と第2の損傷の同じ解析処理の温度情報間での相関関係の高さ、あるいは相関関係を示す回帰直線、または回帰曲線との距離から抽出される温度特性により、前記第1の損傷位置についての損傷の種類と進展状況を診断する。
【0012】
1つの態様に係る特定温度領域検定システムは、赤外線サーモカメラで撮影された複数の赤外線熱画像を記憶する記憶部と、診断回が異なる複数の赤外線熱画像間で、第1の診断回に赤外線サーモカメラで撮影された舗装道路の第1の赤外線熱画像における第1の損傷位置を含む部分領域の温度情報と、前記第1の診断回よりも前の第2の診断回に赤外線サーモカメラで撮影された前記舗装道路の第2の赤外線熱画像における損傷位置であって、前記舗装道路上の前記第1の損傷位置と一致する第2の損傷位置を含む部分領域の温度情報とに基づいて、前記第1の損傷位置についての損傷の進展状況を診断する制御部とを備える特定温度領域検定システムである。
【0013】
上述の特定温度領域検定システムにおいて、前記制御部は、第1の損傷において、損傷位置を含む第1の領域と第1の温度閾値を設定し、更に前記第1の領域の内側に第2の領域と第1の温度閾値よりも大きな第2の温度閾値を設定し、赤外線熱画像における前記第1の領域内の画素のうちの、前記赤外線サーモカメラで撮影される前記舗装道路の赤外線熱画像の健全な部位の推定健全温度との温度差の絶対値が第1の閾値以上である画素の割合と、前記第2の領域内の画素のうちの、前記推定健全温度との温度差の絶対値が第2の閾値以上である画素の割合、を含む温度情報間での個々の損傷における相関関係、及び第2の損傷の、前記第1の損傷と同じ解析処理の温度情報間での相関関係、との第1の損傷と第2の損傷の同じ解析処理の温度情報間での相関関係の高さ、あるいは相関関係を示す回帰直線、または回帰曲線との距離から抽出される温度特性により、前記第1の損傷位置についての損傷の種類と進展状況を診断する。
【0014】
1つの態様に係るプログラムは、コンピュータに、診断回が異なる複数の赤外線熱画像間で、第1の診断回に赤外線サーモカメラで撮影された舗装道路の第1の赤外線熱画像における第1の損傷位置を含む部分領域の温度情報と、前記第1の診断回よりも前の第2の診断回に赤外線サーモカメラで撮影された前記舗装道路の第2の赤外線熱画像における損傷位置であって、前記舗装道路上の前記第1の損傷位置と一致する第2の損傷位置を含む部分領域の温度情報とに基づいて、前記第1の損傷位置についての損傷の進展状況を診断する処理を実行させるプログラムである。
【0015】
上述のプログラムは、前記コンピュータに、第1の損傷において、損傷位置を含む第1の領域と第1の温度閾値を設定し、更に前記第1の領域の内側に第2の領域と第1の温度閾値よりも大きな第2の温度閾値を設定し、赤外線熱画像における前記第1の領域内の画素のうちの、前記赤外線サーモカメラで撮影される前記舗装道路の赤外線熱画像の健全な部位の推定健全温度との温度差の絶対値が第1の閾値以上である画素の割合と、前記第2の領域内の画素のうちの、前記推定健全温度との温度差の絶対値が第2の閾値以上である画素の割合、を含む温度情報間での個々の損傷における相関関係、及び第2の損傷の、前記第1の損傷と同じ解析処理の温度情報間での相関関係、との第1の損傷と第2の損傷の同じ解析処理の温度情報間での相関関係の高さ、あるいは相関関係を示す回帰直線、または回帰曲線との距離から抽出される温度特性により、前記第1の損傷位置についての損傷の種類と進展状況を診断する処理を実行させる。
【発明の効果】
【0016】
上述の態様によれば、赤外線熱画像を用いた舗装道路の健全性の診断における損傷の進展状況を適切に診断することができる。
【図面の簡単な説明】
【0017】
【
図1】一実施形態に係る赤外線自動熱解析診断システムの構成例を説明する図である。
【
図2】一実施形態に係る情報処理装置の機能構成の一例を示すブロック図である。
【
図3】個別診断処理の一例を説明するフローチャートである。
【
図4】記憶部に記憶させる情報の一例を説明するブロック図である。
【
図5】個別診断データの一例を説明するブロック図である。
【
図6】個別診断データの画像情報の一例を説明する図である。
【
図7】個別診断データの解析診断情報の一例を説明する図である。
【
図8】個別診断データの検定情報の一例を説明する図である。
【
図9】一実施形態に係る連続温度比較処理の一例を説明するフローチャートである。
【
図10】実際の舗装道路における赤外線熱画像の撮影領域と、赤外線熱画像内での位置との対応関係を説明する図である。
【
図11】赤外線熱画像から検出される損傷の例を説明する図である。
【
図12】車両の移動方向と基準方向との関係の一例を説明する図である。
【
図13】点群座標の導出方法の一例を説明する図である。
【
図14】道路上の同一位置を含む赤外線熱画像の撮影範囲の例を説明する図である。
【
図15】診断回の異なる赤外線熱画像間での同一損傷の探索方法の例を説明する図である。
【
図16】一実施形態に係る特定温度領域検定処理の一例を説明するフローチャートである。
【
図17】特定温度領域検定処理で設定する第1の領域及び第2の領域の一例を説明する図である。
【
図18】コンピュータのハードウェア構成例を説明する図である。
【発明を実施するための形態】
【0018】
以下、図面を参照しながら、本発明の実施形態を詳細に説明する。なお、以下の説明では、赤外線熱画像の解析及び診断に適用することが可能な周知の画像処理についての詳細な説明は省略する。
【0019】
図1は、一実施形態に係る赤外線自動熱解析診断システムの構成例を説明する図である。
図1には、赤外線熱画像を用いて、車両5が走行可能な舗装道路9の健全性を診断する赤外線自動熱解析診断システム1の一例を示している。
【0020】
図1に例示した赤外線自動熱解析診断システム1は、赤外線サーモカメラ2、GPS(Global Positioning System)受信機3、及び情報処理装置4を含む。赤外線サーモカメラ2、GPS受信機3、及び情報処理装置4は、診断時には、診断に利用する車両5に設置される。また、情報処理装置4は、車両5から室内へ持ち込まれて診断に供されることもある。
【0021】
赤外線サーモカメラ2は、被写体から放射される赤外線を検出して赤外線熱画像を撮影するカメラである。赤外線サーモカメラ2は、診断の対象となる舗装道路(路面)9における車両5よりも前方の所定の撮影領域R内の赤外線熱画像を撮影するように、車両5の上方に取り付け金具6により設置される。赤外線サーモカメラ2の撮影中心VCの延伸方向が舗装道路9の法線方向に対して有意な傾きを有する場合、撮影領域Rは、車両5に最も近い端部RNから最も遠い端部RFに向かって図示していない幅方向の寸法が単調増加する略台形(より具体的には、略等脚台形)の領域になる。赤外線サーモカメラ2の画角φ、舗装道路9上での車両5から撮影領域Rまでの距離LG、撮影領域Rの面積(言い換えると、車両5に最も近い端部RNの幅方向の寸法、道路延伸方向の寸法LR等)等は、任意である。
【0022】
GPS受信機3は、GPS衛星が発する電波を受信して、そのGPS受信機3の地球上での位置(緯度及び経度)を導出する位置検出装置である。GPS受信機3は、例えば、赤外線サーモカメラ2に内蔵されていてもよい。また、赤外線自動熱解析診断システム1のGPS受信機3として、例えば、車両5の車室内に設置されたカーナビゲーションシステムに含まれるGPS受信機を利用してもよい。GPS受信機3は、診断の対象となる舗装道路9上を走行する車両5の赤外線サーモカメラ2により赤外線熱画像を撮影したときの車両5(赤外線サーモカメラ2)の位置情報を取得する位置情報取得装置の一例である。
【0023】
情報処理装置4は、赤外線サーモカメラ2で撮影した赤外線熱画像を取得して解析し、診断の対象となる舗装道路9の健全性を診断する処理を自動で行う。本実施形態で例示する情報処理装置4は、健全性を診断する処理として、ある舗装道路9に対する1回の診断のために撮影した1組の赤外線熱画像を用いてその舗装道路9の損傷の有無及び損傷レベルを診断する処理(以下「個別診断処理」という)と、個別診断処理で検出された損傷の進展状況を診断する処理(以下「進展状況診断処理」という)とを含む。また、本実施形態で例示する情報処理装置4は、GPS受信機3で導出した位置情報(緯度及び経度)を取得し、赤外線熱画像内の舗装道路9における各位置の緯度及び経度を画素毎に算出する処理を自動で行う。赤外線サーモカメラ2、及びGPS受信機3は、それぞれ、無線通信、又はUSB(Universal Serial Bus)ケーブル等の伝送ケーブルにより情報処理装置4に接続される。情報処理装置4は、例えば、赤外線熱画像及び位置情報を蓄積した後、車両5の外部に持ち出して上述した解析、診断等の処理を行うことが可能な可搬型の装置であってもよい。
【0024】
車両5に設置した赤外線自動熱解析診断システム1により舗装道路9の健全性を診断する場合、診断の対象である舗装道路9上で車両5を走行させながら、赤外線サーモカメラ2で撮影した赤外線熱画像と撮影時の車両5の位置情報とを定期的に情報処理装置4に転送する。このとき、情報処理装置4に転送される複数枚の赤外線熱画像のそれぞれにおいて診断の対象になった舗装道路9の部分領域をつなげると舗装道路9の全体の診断が行われるように、車両5の速度と赤外線サーモカメラ2の撮影間隔を設定する。情報処理装置4は、取得した赤外線熱画像を解析し、舗装道路9の健全性を診断する。また、本実施形態で例示する情報処理装置4は、取得した車両5の位置情報に基づいて、赤外線熱画像内の舗装道路9における各位置の緯度及び経度を画素毎に算出する。画素毎に算出した緯度及び経度の情報は、例えば、進展状況診断処理における診断回が異なる赤外線熱画像間での同一損傷の特定に利用することができる。
【0025】
図2は、一実施形態に係る情報処理装置の機能構成の一例を示すブロック図である。
【0026】
本実施形態に係る赤外線自動熱解析診断システム1の情報処理装置4は、例えば、
図2に示すように、送受信部400、制御部410、入力部420、表示部430、及び記憶部440を含む。
【0027】
送受信部400は、情報処理装置4と、情報処理装置4に接続された外部装置との間での各種情報の送受信を行う。送受信部400は、赤外線サーモカメラ2から情報処理装置4に転送される赤外線熱画像と、GPS受信機3から情報処理装置4に転送される位置情報とを受信する。また、送受信部400は、例えば、ネットワークを介して情報処理装置4に接続されるサーバ装置(例えば、
図4のサーバ装置12)等に、赤外線熱画像、位置情報、及び診断の結果等を送信することができる。
【0028】
制御部410は、情報処理装置4の動作を制御する処理を含む、各種の処理を行う。制御部410は、赤外線熱画像を解析し、舗装道路9の健全性を診断する処理を行う。健全性を診断する処理は、例えば、上述した個別診断処理と、進展状況診断処理とを含む。また、制御部410は、車両5の位置情報に基づいて、赤外線熱画像内での舗装道路9の各位置の地球上での位置(緯度及び経度)を画素毎に算出する処理を行う。これらの処理を行うことが可能な制御部410は、例えば、個別診断部411、点群座標導出部412、比較部413、及び検定部414を含む。
【0029】
個別診断部411は、ある舗装道路9に対する1回の診断のために撮影した1組の赤外線熱画像を用いてその舗装道路9の損傷の有無及び損傷レベルを診断する処理を行う。個別診断部411は、赤外線熱画像毎に、診断の対象にする舗装道路9の部分の温度分布に基づいて健全な部分の温度を推定し、その推定した温度(以下「画像内推定健全温度」という)と診断の対象にする舗装道路9の部分の温度分布とに基づいて舗装道路9の損傷の有無及び損傷レベルを診断する。個別診断部411が行う処理の具体例は、
図3を参照して後述する。
【0030】
点群座標導出部412は、車両5の位置情報に基づいて、赤外線熱画像の画素と舗装道路9上の位置とを関連付ける点群座標を導出する。点群座標は、舗装道路9が存在する実空間に設定した所定の座標系で表される、赤外線熱画像内での舗装道路9の各位置(各画素)と対応する実際の舗装道路9上の位置である。上述したGPS受信機3からの位置情報に基づいて点群座標を導出する場合、実空間に設定する座標系は、例えば、舗装道路9上の位置を地球の緯度及び経度で表す地理座標系とする。点群座標導出部412は、例えば、車両5の位置情報に基づいて、赤外線熱画像の撮影時における、真北等の所定の基準方向に対する赤外線サーモカメラ2の撮影方向を算出する。また、点群座標導出部412は、基準方向と撮影方向とのなす角、及び赤外線サーモカメラ2の撮影範囲内の位置と赤外線熱画像内の画素との対応関係に基づいて、点群座標を算出する。
【0031】
比較部413は、複数回の診断で撮影された複数組の赤外線熱画像を比較して、診断回が異なる赤外線熱画像間で同一の損傷を探索する。比較部413は、例えば、1回の診断で撮影された赤外線熱画像から検出された損傷毎に、点群座標により舗装道路9上の位置を特定し、その舗装道路9上の位置を含む、別の診断回で撮影された赤外線熱画像を抽出する。その後、比較部413は、例えば、抽出した赤外線熱画像と点群座標とにより特定される損傷位置を中心とする所定の部分領域内を探索し、同一の損傷の有無を判定する。同一損傷の有無の判定には、赤外線熱画像の温度情報を用いる。比較部413が行う処理(以下「連続温度比較処理」という)の具体例は、
図9~
図15を参照して後述する。
【0032】
検定部414は、赤外線熱画像から検出された損傷毎に、損傷領域を絞り込み、その損傷領域内の各画素の温度と画像内推定健全温度との温度差に基づく特定温度領域検定を行う。本実施形態で例示する情報処理装置4の検定部414は、例えば、赤外線熱画像の損傷毎に、損傷位置を中心とする面積の異なる2つの領域を赤外線熱画像内に設定し、その2つの領域のそれぞれにおける、画像内推定健全温度との温度差の絶対値が所定の閾値以上となる画素の割合を導出する。本実施形態に係る検定部414が行う処理(以下「特定温度領域検定処理」という)の具体例は、
図16及び
図17を参照して後述する。
【0033】
入力部420は、情報処理装置4の動作に関連する各種の情報の入力を受け付ける。表示部430は、赤外線熱画像、位置情報、並びに解析及び診断の結果等の各種情報を可視化して表示する。記憶部440は、赤外線熱画像、位置情報、並びに解析及び診断の結果を含む、各種情報を記憶する。
【0034】
本実施形態に係る情報処理装置4は、
図2に例示した制御部410の各部(機能ブロック)の機能を実施するための専用のハードウェアを組み合わせた専用の装置であってもよいし、後述するように、解析及び診断のためのプログラムを実行するコンピュータであってもよい。
【0035】
本実施形態に係る情報処理装置4は、検定部414による特定温度領域検定の結果を赤外線熱画像とともに表示部430に表示させることにより、赤外線熱画像から検出された損傷の進展状況を解析者に提示することができる。検定部414は、個別診断部411が推定した画像内推定健全温度を用いて、特定温度領域検定を行う。また、本実施形態に係る情報処理装置4は、比較部413により診断回が異なる複数の赤外線熱画像の同一損傷を特定することで、その同一損傷の変化量(経時変化)に基づく損傷の進展状況を解析者に提示することができる。比較部413は、点群座標導出部412により導出した点群座標(すなわち、赤外線熱画像内の画素と実際の舗装道路9上の位置との対応関係)を用いて、複数の赤外線熱画像の同一損傷を特定する。このため、まず、個別診断部411及び点群座標導出部412により行う処理(以下「個別診断処理」という)を説明する。
【0036】
図3は、個別診断処理の一例を説明するフローチャートである。
【0037】
本実施形態の赤外線自動熱解析診断システム1を利用して舗装道路9の健全性を診断する場合、赤外線自動熱解析診断システム1が設置された車両5を舗装道路9上で走行させ、舗装道路9の赤外線熱画像と、赤外線熱画像を撮影したときの車両5(赤外線サーモカメラ2)の位置情報とを取得して情報処理装置4に蓄積する。このとき、車両5は略一定の速度で走行させ、車両5の速度に基づいて導出される所定の距離(例えば、5m)だけ走行する時間間隔で赤外線熱画像の撮影及び位置情報の取得を行い、情報処理装置4に蓄積させる。情報処理装置4は、取得した赤外線熱画像毎に、
図3に例示した個別診断処理を行う。
【0038】
個別診断処理において、情報処理装置4は、まず、赤外線熱画像内に複数のブロックを設定し、ブロック毎に温度分布に関する情報を導出する(ステップS51)。ステップS51は、制御部410の個別診断部411が行う。個別診断部411は、解析診断の対象であるn枚目の赤外線熱画像内の診断の対象にする領域内を複数のブロックに分割し、ブロック毎に、ブロック内の温度分布に関する各種情報(ブロック内情報)を導出する。個別診断部411が導出する情報は、ブロック内の温度分布に基づいて算出したブロック内推定健全温度と、ブロック内での温度のばらつきの度合いを示す情報を含む。個別診断部411は、例えば、ブロック内推定健全温度としてブロック内の平均温度を算出し、温度のばらつきの度合いを示す情報として最高温度、最低温度、標準偏差、及び標準誤差を算出する。
【0039】
次に、情報処理装置4は、各ブロックから導出した情報に基づいて、赤外線熱画像内の舗装道路9の健全な部分の温度の推定値(画像内推定健全温度)を導出する(ステップS52)。ステップS52は、個別診断部411が行う。個別診断部411は、各ブロックのブロック内推定健全温度と温度のばらつきの度合いを示す情報とに基づいて、画像内推定健全温度を導出する。例えば、個別診断部411は、ブロック内推定健全温度として導出した各ブロックの平均温度に基づいて、最低平均温度から最高平均温度までの温度範囲内に所定の温度範囲を設定し、平均温度がその所定の温度範囲内であるブロックを抽出する。その後、個別診断部411は、抽出したブロックのうちの、例えば、温度のばらつきの度合いが最も小さく温度分布の安定性が高いブロックの平均温度を、画像内推定健全温度とする。
【0040】
次に、情報処理装置4は、画像内推定健全温度と、ブロック毎に導出した情報とに基づいて、ブロック毎に、損傷の有無及び損傷レベルを診断する(ステップS53)。ステップS53は、個別診断部411が行う。個別診断部411は、ブロック毎に、ブロック内推定健全温度と画像内推定健全温度との温度差、及び温度のばらつきの度合いを示す情報に基づいて、舗装道路9のうちのブロック内の部分の損傷レベルを評価する。ステップS53では、損傷レベルの診断結果を赤外線熱画像に合成して表示してもよい。
【0041】
次に、情報処理装置4は、赤外線熱画像内の画素と、実空間の舗装道路9上の固有の座標系での位置とを対応付ける点群座標を導出する(ステップS54)。ステップS54は、制御部410の点群座標導出部412が行う。点群座標導出部412は、n枚目の赤外線熱画像の撮影時の位置情報とn+1枚目の赤外線熱画像の撮影時の位置情報とに基づいて、実空間の舗装道路9の表面(路面)に設定される地理座標系における、所定の基準方向に対するn枚目の赤外線熱画像の撮影時の赤外線サーモカメラ2の撮影方向の角度を算出する。また、点群座標導出部412は、算出した角度に基づいて、n枚目の赤外線熱画像内での舗装道路9の各位置と対応する地理座標系での舗装道路9の位置(緯度及び経度)を画素毎に算出する。
【0042】
ステップS51~S54の処理を終えると、情報処理装置4は、n枚目の赤外線熱画像及び位置情報と、処理結果とを関連付けて記憶部440に記憶させ(ステップS55)、n枚目の赤外線熱画像を処理の対象とした個別診断処理を終了する。
【0043】
情報処理装置4は、個別診断処理の対象となる赤外線熱画像及び位置情報の組の全てに対してステップS51~S55の処理を行う。なお、情報処理装置4は、ステップS51~S55の処理をパイプライン化して行ってもよい。
【0044】
本実施形態の情報処理装置4における検定部414は、
図3に例示したような個別診断処理の結果を利用して特定温度領域検定を行う。また、本実施形態の情報処理装置4における比較部413は、
図3に例示したような個別診断処理の結果を利用して複数の赤外線熱画像間の同一損傷を特定する。
【0045】
図4は、記憶部に記憶させる情報の一例を説明するブロック図である。
図5は、個別診断データの一例を説明するブロック図である。
図6は、個別診断データの画像情報の一例を説明する図である。
図7は、個別診断データの解析診断情報の一例を説明する図である。
図8は、個別診断データの検定情報の一例を説明する図である。
【0046】
情報処理装置4の記憶部440には、例えば、
図4に例示したように、n回目の診断についての個別診断データ10Aと、n-1回目の診断についての個別診断データ10Bとを含む、複数回の診断のそれぞれについての個別診断データ10が記憶される。n回目の診断についての個別診断データ10Aは、例えば、最新の診断回についての個別診断データである。情報処理装置4が個別診断処理を行って作成した個別診断データ10は、例えば、インターネット等の通信ネットワーク11を介して情報処理装置4と接続されるサーバ装置12に転送され、サーバ装置12の記憶部1240に蓄積される。サーバ装置12は、通信ネットワーク11を介して情報処理装置4等の外部装置と通信を行う送受信部1200と、サーバ装置12の動作を制御する制御部1210とを含む。サーバ装置12の記憶部1240は、診断の対象になる舗装道路9に対して最初(1回目)に行われた診断についての個別診断データ10Cを含む、その舗装道路9に対して複数回行われた健全性の診断のそれぞれにおける個別診断データ10が蓄積される。サーバ装置12の記憶部1240には、複数の異なる舗装道路9の診断区間のそれぞれに対して行われた診断についての個別診断データが蓄積されてもよい。なお、情報処理装置4とサーバ装置12との間での個別診断データの移動は、通信ネットワーク11を利用した移動に限らず、情報処理装置4とサーバ装置12とを直接接続して行われてもよいし、可搬型記録媒体を利用して行われてもよい。
【0047】
1回の診断についての個別診断データ10は、例えば、
図5に示すように、画像情報1001と、解析診断情報1002と、検定情報1003とを含む。
【0048】
画像情報1001は、例えば、
図6に示すように、1回の診断において撮影され、解析及び診断が行われた赤外線熱画像についての、撮影位置と、各画素の温度情報及び路上位置とを含む。1回の診断において撮影された複数の赤外線熱画像は、それぞれ、画像IDにより識別される。画像IDは、例えば、撮影した順序を表す数字とする。撮影位置は、GPS受信機3から取得した、赤外線熱画像の撮影時の車両5の舗装道路9上での位置(緯度、経度)である。各画素の温度情報は、赤外線熱画像における温度情報である。各画素の路上位置は、
図3を参照して説明した個別診断処理のステップS54において導出した点群座標、すなわち各画素と対応する舗装道路9上での位置(緯度、経度)である。
【0049】
解析診断情報1002は、例えば、
図7に示すように、1回の診断において撮影され、解析及び診断が行われた赤外線熱画像についての、解析及び診断の結果を含む。解析診断情報1002の画像IDは、画像情報1001の画像IDと対応する。ブロックIDは、1つの赤外線熱画像内の診断の対象にする領域内に設定される複数のブロックを識別する情報である。画像内推定健全温度は、ステップS52で導出した健全な部分の温度の推定値である。ブロック内情報のうちの平均温度、最高温度、最低温度、標準偏差、及び標準誤差は、ステップS51で導出したブロック毎の温度分布に関する情報であり、損傷レベルは、ステップS53で評価した損傷レベルである。
【0050】
検定情報1003は、例えば、
図8に示すように、赤外線熱画像から検出された損傷についての、路上位置と、温度異常の画素の割合とを含む。赤外線熱画像から検出された損傷は、それぞれ、損傷IDにより識別される。損傷IDは、例えば、検出した順序を表す数字とする。路上位置は、上述した点群座標により特定される、赤外線熱画像内の損傷の位置(画素)と対応する舗装道路9上の位置(緯度、経度)である。温度異常の画素の割合は、特定温度領域検定により算出された、第1の領域(大領域)内での画像内推定健全温度との温度差の絶対値が第1の閾値以上である画素の割合と、第2の領域(小領域)内での画像内推定健全温度との温度差の絶対値が第2の閾値以上である画素の割合とを含む。検定情報1003は、例えば、情報処理装置4が
図16を参照して後述する特定温度領域検定処理を行うことにより作成される。
【0051】
なお、
図5~
図8を参照して説明した個別診断データ10は、本実施形態の情報処理装置4が連続温度比較処理及び特定温度領域検定処理で利用することが可能な情報を含むデータの一例に過ぎない。個別診断データ10に含まれる情報の種類や格納形式は、適宜変更可能である。
【0052】
本実施形態で例示する情報処理装置4は、上述のように、診断回が異なる赤外線熱画像間で同一の損傷を探索して特定する比較部413を含む。比較部413は、例えば、診断回が異なる個別診断データ10に含まれる画像情報1001及び解析診断情報1002を利用して、
図9に例示したような連続温度比較処理を行う。
【0053】
図9は、一実施形態に係る連続温度比較処理の一例を説明するフローチャートである。制御部410の比較部413は、例えば、損傷の進展状況の診断の対象にする第1の診断回の赤外線熱画像Pt内から損傷が選択され、その損傷と同一の損傷を探索する第2の診断回が設定された後、
図9に例示した連続温度比較処理を行う。赤外線熱画像Pt内の損傷は、例えば、解析者が、入力部420を操作して表示部430に表示された赤外線熱画像Pt内の画素を指定して選択する。第2の診断回は、例えば、第1の診断回の直前の診断回に自動で設定されてもよい。また、同一の損傷を探索する診断回は、1回に限らず、複数回であってもよい。
【0054】
比較部413は、まず、第1の診断回の赤外線熱画像Pt内での損傷の舗装道路9上での位置を読み出す(ステップS11)。比較部413は、第1の診断回(例えば、n回目)の個別診断データ10における画像情報1001(
図6を参照)を参照して、損傷の舗装道路9上での位置(緯度、経度)を読み出す。なお、ステップS11の処理は、例えば、赤外線熱画像Pt内から損傷(画素)を選択した段階で行われてもよい。
【0055】
次に、比較部413は、読み出した損傷の位置に基づいて、第2の診断回(例えば、n-1回目)における同一位置を含む赤外線熱画像Pcを探索し(ステップS12)、赤外線熱画像Pcがあるか否かを判定する(ステップS13)。ステップS12において、比較部413は、第2の診断回の個別診断データ10における画像情報1001内の路上位置を探索し、ステップS11で読み出した損傷の位置(緯度、経度)と一致又は略一致する路上位置と関連付けられた画素を含む赤外線熱画像Pcがあるか否かを判定する。このとき、例えば、第1の診断回における損傷を含む赤外線熱画像Ptの撮影位置に基づいて、第2の診断回における赤外線熱画像Pcの探索範囲を絞り込むことにより、ステップS12の処理を短時間で効率よく行うことができる。赤外線熱画像Pcが無い場合(ステップS13;NO)、比較部413は、処理の対象になっている損傷を新規の損傷とし(ステップS14)、探索の結果を表示部430に表示させ(ステップS18)、連続温度比較処理を終了する。この場合、ステップS18において、比較部413は、第2の診断回で撮影した赤外線熱画像のなかに、第1の診断回の赤外線熱画像Pt内の損傷の位置と同一の路上位置を含む赤外線熱画像Pcが無いことを示す情報を表示部430に表示させる。
【0056】
赤外線熱画像Pcが有る場合(ステップS13;YES)、比較部413は、次に、赤外線熱画像Pc内における赤外線熱画像Ptの損傷と対応する位置を含む所定の探索範囲内で、赤外線熱画像の温度情報に基づいて損傷を探索し(ステップS15)、探索範囲内に同一損傷の条件を満たす損傷があるか否かを判定する(ステップS16)。比較部413は、例えば、赤外線熱画像Ptの損傷の位置(路上位置)と関連付けられた画素を中心とする所定の形状及び寸法の探索範囲を設定し、その探索範囲内の画素の温度情報に基づいて、赤外線熱画像Ptの損傷と同一の損傷を探索する。比較部413は、例えば、探索範囲内で、画像内推定健全温度と画素の温度との大小関係が同一であり、かつ温度差の絶対値が最も大きい画素を、同一損傷の条件を満たす損傷とする。同一損傷の条件を満たす損傷が無い場合(ステップS16;NO)、比較部413は、処理の対象になっている損傷を新規の損傷とし(ステップS14)、探索の結果を表示部430に表示させ(ステップS18)、連続温度比較処理を終了する。この場合、ステップS18において、比較部413は、例えば、第1の診断回の赤外線熱画像Ptとともに、第2の診断回の赤外線熱画像Pcと、赤外線熱画像Pcにおける赤外線熱画像Ptの損傷の位置と同一の路上位置を示す情報とを、表示部430に表示させる。このような表示をすることにより、解析者は、処理の対象に選択した赤外線熱画像Pt内の損傷が、第1の診断回において初めて検出された損傷であることを容易に認識(把握)することができる。また、解析者は、第2の診断回から第1の診断回までの期間と、赤外線熱画像Pt内の損傷の特徴(例えば、大きさ、形状、損傷の周囲との温度差等)とに基づいて、その損傷の進展状況を容易に診断することができる。
【0057】
同一損傷の条件を満たす損傷がある場合(ステップS16;YES)、比較部413は、第1の診断回の赤外線熱画像Ptの損傷と、第2の診断回の赤外線熱画像Pcの損傷とを関連付け(ステップS17)、探索の結果を表示部430に表示させ(ステップS18)、連続温度比較処理を終了する。この場合、ステップS18において、比較部413は、例えば、第1の診断回の赤外線熱画像Ptとともに、第2の診断回の赤外線熱画像Pcと、赤外線熱画像Pcにおける赤外線熱画像Ptの損傷の位置と同一の路上位置を示す情報とを、表示部430に表示させる。このような表示をすることにより、解析者は、処理の対象に選択した赤外線熱画像Pt内の損傷が、第2の診断回(過去の診断)においても検出されている損傷であることを容易に認識(把握)することができる。また、解析者は、第2の診断回から第1の診断回までの期間と、赤外線熱画像間での損傷の特徴(例えば、大きさ、形状、損傷の周囲との温度差等)の変化とに基づいて、その損傷の進展状況を容易に診断することができる。
【0058】
なお、比較部413は、例えば、第1の診断回の1つ以上の赤外線熱画像から複数の損傷が選択(指定)された後、その複数の損傷のそれぞれに対する連続温度比較処理(ステップS11~S18)を連続して行うことが可能であってもよい。この場合、比較部413は、例えば、ステップS11~S18の処理をパイプライン化して行ってもよい。
【0059】
このように、本実施形態の情報処理装置4では、赤外線熱画像の画素と、舗装道路9に対して設定される特定の座標系(緯度、経度)での舗装道路9上の位置とを関連付けた画素情報を利用して、診断回が異なる赤外線熱画像間の同一損傷を自動的に特定することができる。ここで、画素と舗装道路9上の位置とを関連付ける方法(点群座標導出部412による点群座標の導出方法)、及び赤外線熱画像間の同一損傷の探索方法について、
図10~
図15を参照して簡単に説明する。
【0060】
図10は、実際の舗装道路における赤外線熱画像の撮影領域と、赤外線熱画像内での位置との対応関係を説明する図である。
図11は、赤外線熱画像から検出される損傷の例を説明する図である。
図12は、車両の移動方向と基準方向との関係の一例を説明する図である。
図13は、点群座標の導出方法の一例を説明する図である。
図14は、道路上の同一位置を含む赤外線熱画像の撮影範囲の例を説明する図である。
図15は、診断回の異なる赤外線熱画像間での同一損傷の探索方法の例を説明する図である。
【0061】
本実施形態の赤外線自動熱解析診断システム1により舗装道路9の健全性を診断するときに、
図1に例示したように車両5の上方に設置された赤外線サーモカメラ2で舗装道路9上の車両5よりも前方の撮影領域Rを撮影すると、舗装道路9の表面(路面)における撮影領域Rは、例えば、
図10に示したような略台形の領域R(m)となる。この場合、
図10に例示したように、U×V画素の長方形の赤外線熱画像15は、実際の舗装道路9における略台形の撮影領域R(m)の部分を撮影した画像となる。このため、赤外線熱画像15における四隅の画素(0,0)、(U-1,0)、(0,V-1)、及び(U-1,V-1)は、それぞれ、台形の撮影領域R(m)における頂点RF1(m)、RF2(m)、RN1(m)、及びRN2(m)と対応する。また、赤外線熱画像15における四隅の画素を除く任意の画素(u,v)は、撮影領域R(m)内の任意の点Qと対応する。
【0062】
すなわち、舗装道路9の撮影領域R(m)内の矩形の領域Rdigは、赤外線熱画像15内では、略台形の領域16となる。本実施形態の情報処理装置4において上述した個別診断処理を行う場合には、舗装道路9上の領域Rdigと対応する赤外線熱画像15内の略台形の領域16を複数のブロックに分割して行う。この場合、舗装道路9上の領域Rdigを複数の同一形状のブロックに分割すると、赤外線熱画像15内の略台形の領域16内の対応するブロックは、下辺から遠ざかるにつれて小さくなる。このため、個別診断処理を行う場合には、各ブロック内の画素数が、有意な平均温度や温度のばらつきを算出することが可能な画素数になるように設定することが好ましい。
図3を参照して説明した個別診断処理では、このように分割した領域16内のブロック毎に、ステップS51~S53の処理を行って損傷の有無及び損傷レベルを診断する。
【0063】
赤外線サーモカメラ2により撮影された赤外線熱画像15の一例が、
図11に示されている。
図11に例示した赤外線熱画像15では、各画素の温度を、最も温度の高い画素を白色とし、最も温度の低い画素を黒色としたグレースケールで表している。
図11の赤外線熱画像15における診断の対象にする領域16のうちの部分領域17A内は、舗装道路9における他の部分よりも温度が高い部分領域を含む。一方、
図11の赤外線熱画像15における診断の対象にする領域16のうちの部分領域17B内は、舗装道路9における他の部分よりも温度が低い部分領域を含む。このような舗装道路9における他の部分よりも温度が高い部分領域、温度が低い部分領域は、損傷が生じている部分であると考えられる。損傷が生じている部分については、重症化する前の適切なタイミングで対処することが望まれる。本実施形態の情報処理装置4は、例えば、
図11に例示した赤外線熱画像15の部分領域17A内の損傷の位置を示す画素(ua,va)を指定して、
図9を参照して説明した連続温度比較処理を行うことにより、その損傷が過去の診断回で撮影された赤外線熱画像から検出されたときと比べて、どの程度進展しているかを診断することができる。連続温度比較処理では、指定された画素(ua,va)と舗装道路9上の位置との対応関係を利用して、過去の診断回で撮影された赤外線熱画像内の同一損傷を探索する。
【0064】
本実施形態の情報処理装置4で利用する赤外線熱画像の画素と舗装道路9上の位置(緯度、経度)との対応関係は、赤外線熱画像の撮影時にGPS受信機3を用いて取得した位置情報(緯度、経度)に基づいて、点群座標導出部412により導出される。情報処理装置4がGPS受信機3から取得する個々の位置情報は、車両5(赤外線サーモカメラ2)の地球上での位置を示す情報であり、位置情報G(m)で特定される位置からどの方向を撮影したかを示す情報は含まない。このため、m枚目の赤外線熱画像15を撮影したときの位置情報G(m)のみでは、舗装道路9の撮影領域R(m)内の各点の緯度及び経度を導出することができない。したがって、本実施形態に係る点群座標導出部412は、例えば、舗装道路9上に設定する地理座標系における基準方向(例えば、真北の方向)と、車両5の移動方向との角度に基づいて、m枚目の赤外線熱画像15を撮影したときの撮影領域R(m)内の各点の緯度及び経度を導出する。
【0065】
例えば、
図12に示したように、本実施形態の赤外線自動熱解析診断システム1では、車両5が所定の距離Lcap(例えば、約5m)だけ移動する毎に、赤外線熱画像15と、位置情報G(m-1)、G(m)、G(m+1)を取得する。このとき、赤外線熱画像15の撮影間隔は、例えば、0.2秒から0.3秒程度であるため、
図12に例示したように、舗装道路9に投影した赤外線サーモカメラ2の撮影中心の方向DVCを、赤外線熱画像15の撮影時の位置情報G(m-1)、G(m)、G(m+1)に基づいて導出される車両5の移動方向に近似することができる。このため、点群座標導出部412は、例えば、舗装道路9上の各点の位置の特定に用いる座標系における基準方向に対する、車両5の移動方向の角度θ1、θ2を利用して、撮影領域R(m)内の各点の位置を導出する。GPS受信機3により取得した位置情報G(m)が緯度及び経度で表される情報である場合、基準方向は、例えば、真北の方向とする。
【0066】
基準方向(真北の方向)に対する車両5の移動方向の角度を利用して撮影領域R(m)内の各点の位置を導出するために、点群座標導出部412は、例えば、
図13に例示したように、赤外線サーモカメラ2の撮影中心の方向DVCが基準方向であるときの撮影領域(以下「基準撮影領域」という)Rref内の各点の位置(緯度及び経度)を導出する。
図13において、撮影中心の方向DVCを基準方向とした場合の基準撮影領域Rrefは、緯度及び経度をそれぞれY軸及びX軸とする二次元座標系に、点線の台形で示されている。このとき、基準撮影領域Rref内の各点の位置(緯度及び経度)は、撮影時の車両5(赤外線サーモカメラ2)の位置を示す位置情報G(m)と、車両5の位置から各点までの方向及び距離とに基づいて、周知の演算方法を利用して算出することができる。
【0067】
基準撮影領域Rref内の各点の位置を算出した後、点群座標導出部412は、
図13に示したように、基準方向(+Y方向)と、実際にm枚目の赤外線熱画像を撮影したときの撮影中心の延伸方向DVC(+Y’方向)との角度θ2を用いて、二次元平面上で基準撮影領域Rref内の各点の位置を回転させる座標変換を行う。座標変換は、例えば、周知の変換行列を用いて行うことができる。この座標変換により、例えば、基準撮影領域Rrefの頂点RRF1、RRF2、RRN1、及びRRN2は、それぞれ、位置情報G(m)により特定される点を回転中心として角度θ2だけ回転させた位置RF1(m)、RF2(m)、RN1(m)、及びRN2(m)に変換される。また、例えば、基準撮影領域Rref内の点QRは、位置Qに変換される。これにより、m枚目の赤外線熱画像を撮影したときの撮影領域R(m)内の各点の緯度及び経度が求められる。よって、
図10を参照して説明したように、m枚目の赤外線熱画像15内での舗装道路9の各位置と対応する撮影領域R(m)内の各点の緯度及び経度を画素毎に導出することができる。導出した赤外線熱画像15内での舗装道路9の各位置(各画素)と対応する緯度及び経度の情報は、例えば、
図6に例示した画像情報1001のような形式で記憶部440に記憶させる。
【0068】
赤外線熱画像を用いた従来の解析診断方法では、例えば、解析者が赤外線熱画像を観察して損傷の有無や損傷の進展状況等の診断を行うため、赤外線熱画像内での舗装道路9の各位置(各画素)と対応する緯度及び経度を導出することが困難であった。このため、解析診断の結果に基づいて実際の舗装道路9の損傷がある部分を特定する場合に、例えば、赤外線熱画像や、赤外線熱画像を撮影する際に可視光カメラで撮影した画像等を頼りに特定することとなり、損傷がある部分の位置や範囲を効率よく特定することが困難であった。
【0069】
これに対し、本実施形態の情報処理装置4は、赤外線熱画像15内の各位置(各画素)と対応する緯度及び経度を示す点群座標を画像情報1001の一部として記憶部440に記憶させる。このため、画像情報1001の点群座標を参照することにより、赤外線熱画像15内の舗装道路9における損傷がある部分の緯度及び経度を容易に特定することができ、実際の舗装道路9の損傷がある部分の位置や範囲を効率よく特定することができる。
【0070】
また、舗装道路9上における特定の位置を含む赤外線熱画像を撮影する場合、
図14に例示したように、ある診断回(例えば、n-1回目の診断)での撮影領域R
n-1(m)と、次の診断回(例えば、n回目の診断)での撮影領域R
n(m)とにずれが生じる。このような場合、舗装道路9上の位置(LA(1),LO(1))と対応する、n-1回目の診断で撮影した赤外線熱画像内の画素の位置と、n回目の診断で撮影した赤外線熱画像内の画素の位置とが異なる。このため、例えば、2つの赤外線熱画像を比較観察して同一損傷を特定することが難しい。一方、点群座標を用いた場合、舗装道路9上の位置(LA(1),LO(1))と対応する、n-1回目の診断で撮影した赤外線熱画像内の画素の位置と、n回目の診断で撮影した赤外線熱画像内の画素の位置とを容易に特定することができる。
【0071】
なお、GPS受信機3からの位置情報に基づいて点群座標を導出した場合、例えば、GPS受信機3の精度に応じた位置(緯度及び経度)の誤差が生じる。このため、本実施形態の情報処理装置4(比較部413)では、上述したように、第2の診断回の赤外線熱画像Pc内の、点群座標に基づいて特定される位置を含む所定の探索範囲内で、第1の診断回の赤外線熱画像Ptの損傷と同一の損傷を探索する(ステップS15)。
【0072】
例えば、
図15には、n回目の診断で撮影した赤外線熱画像15についての点群座標による路上位置(LA(1),LO(1))と対応する画素が(ua,va)であり、n-1回目の診断で撮影した赤外線熱画像15についての点群座標による路上位置(LA(1),LO(1))と対応する画素が(ub,vb)である場合を示している。このとき、例えば、n-1回目の診断で撮影した赤外線熱画像15において、実際に路上位置(LA(1),LO(1))と対応している画素が(uc,vc)であったとする。この場合、路上位置(LA(1),LO(1))が損傷位置であり、n-1回目の診断で撮影した赤外線熱画像15における損傷位置と対応する画素を(ub,vb)であるとして、損傷の進展状況を導出した場合、適切な進展状況を導出することができない可能性がある。
【0073】
このため、本実施形態の情報処理装置4では、
図15に示したように、n-1回目の診断で撮影した赤外線熱画像15における画素(ub,vb)を中心とした探索範囲18内で、温度情報を利用して同一損傷を探索する。これにより、診断回が異なる赤外線熱画像間での同一損傷の特定を精度よく行うことができ、損傷の進展状況をより適切に診断(把握)することができる。なお、探索範囲18の形状や大きさは、任意であり、例えば、点群座標の導出に用いる位置情報の精度等に基づいて設定することができる。
【0074】
すなわち、本実施形態の情報処理装置4では、画素と関連付けられた舗装道路9上の位置に基づいて特定される、第2の診断回の赤外線熱画像Pc内における第1の診断回の赤外線熱画像Ptの損傷と対応する位置(画素)を含む所定の探索範囲内で、同一損傷の有無を探索することにより、赤外線熱画像Pt内の舗装道路9の損傷部分と、赤外線熱画像Pc内の損傷部分との同定を高精度で行うことができる。したがって、例えば、赤外線熱画像Ptとともに、赤外線熱画像Pcと、赤外線熱画像Pcにおける赤外線熱画像Ptの損傷の位置と同一の路上位置を示す情報とを、表示部430に表示させることにより、診断回が異なり、かつ同一の損傷を含む複数の赤外線熱画像を比較してその損傷の進展状況を適切に診断することができる。
【0075】
また、本実施形態の情報処理装置4では、上述のように、赤外線熱画像から検出された損傷毎に、損傷領域を絞り込み、その損傷領域内の各画素の温度と画像内推定健全温度との温度差に基づく特定温度領域検定を行う検定部414を含む。検定部414は、例えば、個別診断データ10に含まれる解析診断情報1002を利用して、
図16に例示したような特定温度領域検定処理を行う。
【0076】
図16は、一実施形態に係る特定温度領域検定処理の一例を説明するフローチャートである。検定部414は、例えば、解析者が入力部420を操作して表示部430に表示された赤外線熱画像内の損傷の位置(画素)を指定すると、
図16に例示した特定温度領域検定処理を行う。
【0077】
検定部414は、まず、処理の対象となる損傷を含む赤外線熱画像Pt内に、損傷位置を中心とする面積の異なる第1の領域と第2の領域とを設定する(ステップS21)。第1の領域と第2の領域とは、例えば、第1の領域の面積が第2の領域の面積よりも大きくなるように設定する。第1の領域と第2の領域とは、それぞれ、任意の形状とすることができ、相似形であってもよいし、非相似形であってもよい。例えば、第1の領域及び第2の領域のそれぞれを、損傷位置を中心とする菱形に設定する場合、第1の領域の面積が第2の領域の面積の4倍になるように、第1の領域及び第2の領域を設定することができる。
【0078】
次に、検定部414は、第1の領域内の画素のうちの画像内推定健全温度との温度差の絶対値がΔT1(>0)以上となる画素の割合R1を導出し(ステップS22)、第2の領域内の画素の内の画像内推定健全温度との温度差の絶対値がΔT2(>ΔT1)となる画素の割合R2を導出する(ステップS23)。閾値温度ΔT1及びΔT2の組み合わせは任意であり、例えば、ΔT1=1℃、ΔT2=2℃とすることができる。ステップS22及びS23の処理は、順序が逆であってもよいし、並列に行ってもよい。
【0079】
次に、検定部414は、導出した画素の割合R1及びR2を示す情報を表示部430に表示させ(ステップS24)、導出した画素の割合R1及びR2を損傷位置と関連付けて記録して(ステップS25)、1つの損傷に対する特定温度領域検定処理を終了する。ステップS24において、検定部414は、例えば、第1の領域内であって第2の領域と重ならない領域内の画素のうちの、画像内推定健全温度との温度差の絶対値がΔT1以上である画素を第1の色で表示させ、第2の領域内の画像内推定健全温度との温度差の絶対値がΔT2以上である画素を第2の色で表示させる。ステップS24及びS25の処理は、順序が逆であってもよいし、並列に行ってもよい。
【0080】
なお、検定部414は、例えば、1つ以上の赤外線熱画像から複数の損傷が選択(指定)された後、その複数の損傷のそれぞれに対する特定温度領域検定処理(ステップS21~S25)を連続して行うことが可能であってもよい。この場合、検定部414は、例えば、ステップS21~S23の処理と、ステップS24及びS25の処理とをパイプライン化して行ってもよい。
【0081】
本実施形態の情報処理装置4(検定部414)は、赤外線熱画像15内の各画素の温度情報により与えられる温度分布に基づいて導出された画像内推定健全温度を利用した特定温度領域検定処理を行う。この特定温度領域検定処理で利用する画像内推定健全温度は、赤外線熱画像15の温度情報を利用しているため、客観性、定量性、結果同一性が高い。このため、
図16を参照して説明した特定温度領域検定処理を行うことにより、損傷している領域の客観性、定量性、結果同一性を向上させることができ、損傷の進展状況を適切に診断することができる。
【0082】
図17は、特定温度領域検定処理で設定する第1の領域及び第2の領域の一例を説明する図である。
図17には、
図11に例示した赤外線熱画像15における部分領域17A内の損傷20を対象として特定温度領域検定処理を行うときの第1の領域19A及び第2の領域19Bの例を示している。なお、
図17には、
図11に例示した赤外線熱画像15のうちの、損傷20及びその周囲の領域を拡大した部分画像151が示されている。損傷20の位置を示す画素が(ua,va)である場合、特定温度領域検定処理では、例えば、
図17に示したように、画素(ua,va)を中心とする菱形の第1の領域19A及び第2の領域19Bを設定する。
図17に例示した菱形の第1の領域19A及び第2の領域19Bは、第1の領域19Aの一辺の長さL1が第2の領域19Bの一辺の長さL2の2倍になるように設定されている。
【0083】
図17に示した例では、損傷20が第2の領域19Bの外側まで広がっている。このような損傷20の場合、第1の領域19A内であって第2の領域19Bの外側となる環状の領域内における損傷20に含まれる画素は、赤外線熱画像15における温度を表す色とは異なる第1の色で表示される。また、第2の領域19B内における損傷20に含まれる画素は、赤外線熱画像15における温度を表す色及び第1の色とは異なる第2の色で表示される。このため、例えば、特定温度領域検定処理のステップS24により表示部430に表示された情報は、損傷20の範囲を客観的、かつ定量的に示しているといえる。また、特定温度領域検定処理のステップS24により表示部430に表示された情報は、赤外線熱画像15の温度情報を用いて導出(算出)された情報であるため、解析者毎の診断基準の個人差等の影響のない、結果同一性が非常に高い情報であるといえる。
【0084】
なお、第1の領域19A及び第2の領域19Bの形状及び面積の関係は、上述したように、任意であり、特定の形状及び面積の関係に限定されない。第1の領域19A及び第2の領域19Bは、例えば、舗装道路9上での損傷位置を中心とした等方的な領域(例えば、損傷位置を中心とする円形領域、多角形領域等)と対応する形状に設定することもできる。
【0085】
以上説明したように、本実施形態の情報処理装置4では、赤外線熱画像の画素と舗装道路9上の固有の位置情報とを関連付ける点群座標を利用することにより、診断回が異なる赤外線熱画像間の同一損傷を特定することができ、損傷の進展状況を客観的、かつ定量的に診断(把握)することができる。また、本実施形態の情報処理装置4では、赤外線熱画像内に損傷位置を中心とする第1の領域及び第2の領域を設定し、第1の領域内での画像内推定健全温度との温度差の絶対値がΔT1以上となる画素の割合R1と、第2の領域内での画像内推定健全温度との温度差の絶対値がΔT2以上となる画素の割合R2とを導出することで、その損傷の進展状況を客観的、かつ定量的に診断(把握)することができる。
【0086】
上述した実施形態は、発明の理解を容易にするために具体例を示したものであり、本発明は上述した実施形態に限定されるものではない。本発明に係る情報処理装置4、情報処理装置4を含むシステム、並びに情報処理装置4が行う処理についての方法及びプログラムは、特許請求の範囲の記載を逸脱しない範囲において、さまざまな変形、変更が可能である。
【0087】
例えば、情報処理装置4は、
図2に例示した制御部410のうちの個別診断部411が省略されたものであってもよい。また、
図6に例示したような点群座標を含む画像情報1001を取得可能である場合には、個別診断部411及び点群座標導出部412が省略されたものであってもよい。更に、情報処理装置4は、比較部413と検定部414とが統合された1つの機能ブロックを含むものであってもよいし、比較部413及び検定部414のうちのいずれか一方のみを含むものであってもよい。
【0088】
また、例えば、情報処理装置4は、
図2に例示したような制御部410の各部(機能ブロック)の機能を実施するための専用のハードウェアを組み合わせた専用の装置に限らず、
図9を参照して説明したような連続温度比較処理、及び
図16を参照して説明したような特定温度領域検定処理のいずれか一方又は両方を含むプログラムを実行するコンピュータであってもよい。
【0089】
図18は、コンピュータのハードウェア構成例を説明する図である。
【0090】
図18に例示したコンピュータ30は、プロセッサ31、主記憶装置32、補助記憶装置33、入力装置34、表示装置35、入出力インタフェース36、通信装置37、及び媒体駆動装置38を含む。コンピュータ30のこれらのハードウェアは、バス39により相互に接続される。
【0091】
プロセッサ31は、例えば、CPU(Central Processing Unit)である。主記憶装置32は、ROM(Read Only Memory)及びRAM(Random Access Memory)を含む。プロセッサ31は、例えば、主記憶装置32にロードされたプログラムを実行することにより、コンピュータ30の全体動作を制御する。プロセッサ31は、OS(Operating System)に含まれるプログラム等の各種のプログラムを実行することができる。プロセッサ31が実行可能なプログラムは、
図9を参照して説明した連続温度比較処理及び
図16を参照して説明した特定温度領域検定処理のいずれか一方又は両方を含むプログラムを含む。主記憶装置32は、連続温度比較処理及び特定温度領域検定処理のいずれか一方又は両方を含むプログラム、並びにプログラムの実行中に参照する各種の情報及び導出(算出)した各種の情報等を記憶することができる。
【0092】
補助記憶装置33は、主記憶装置32と比べて容量の大きい記憶装置であり、例えば、HDD(Hard Disk Drive)やSSD(Solid State Drive)である。補助記憶装置33は、連続温度比較処理及び特定温度領域検定処理のいずれか一方又は両方を含むプログラム、並びにプログラムの実行中に参照する各種の情報及び導出(算出)した各種の情報等を記憶することができる。
【0093】
入力装置34は、例えば、キーボード、マウス等のコンピュータ30に対する入力操作を行う装置であり、表示装置35は、例えば、液晶ディスプレイ等の各種データを可視化して表示する装置である。コンピュータ30が、タブレット型コンピュータやスマートフォン等のタッチパネルディスプレイを備えたものである場合、入力装置34は、例えば、表示装置35の表示面に重ねて配置されたデジタイザ(位置検出装置)を含んでもよい。
【0094】
入出力インタフェース36は、コンピュータ30と周辺機器等とを接続するためのハードウェアインタフェースである。例えば、赤外線サーモカメラ2及びGPS受信機3は、入出力インタフェース36によりコンピュータ30に接続される。
【0095】
通信装置37は、コンピュータ30をインターネット等の通信ネットワーク41に接続し、通信ネットワーク41を介してサーバ装置42等の外部装置と通信する。通信装置37は、無線通信により、又はLAN(Local Area Network)ケーブル等の通信ケーブルを利用した有線での通信により通信ネットワーク11を介したサーバ装置12等との通信を行う(
図4参照)。サーバ装置12は、例えば、コンピュータ30が行った解析診断の結果等を集約することに利用可能である。
【0096】
媒体駆動装置38は、可搬型記録媒体40にアクセスし、可搬型記録媒体40に記録された情報の読み出し、及び可搬型記録媒体40への情報の書き込み等を行う。可搬型記録媒体40は、例えば、光ディスク、磁気ディスク、光磁気ディスク、及びカード型の半導体メモリ装置を含む。可搬型記録媒体40は、連続温度比較処理及び特定温度領域検定処理のいずれか一方又は両方を含むプログラム、並びにプログラムの実行中に参照する各種の情報及び導出(算出)した各種の情報等を記憶することができる。
【0097】
なお、情報処理装置4として利用可能なコンピュータ30のハードウェア構成は、
図18に例示した構成に限らず、適宜変更可能である。コンピュータ30は、
図18に例示したハードウェア構成のうちの1つ以上(例えば、媒体駆動装置38)を含まないものであってもよい。また、コンピュータ30は、
図18に例示したハードウェア構成とは別のハードウェアを含んでもよい。
【0098】
情報処理装置4(コンピュータ30)が行う連続温度比較処理は、
図9を参照して説明した処理の内容及び順序に限らず、適宜変更可能である。同様に、情報処理装置4(コンピュータ30)が行う特定温度領域検定処理は、
図16を参照して説明した処理の内容及び順序に限らず、適宜変更可能である。例えば、特定温度領域検定処理は、
図9に例示した連続温度比較処理におけるステップS11、S12、及びS15と同様の処理を行って、過去の診断回の同一損傷を含む赤外線熱画像を特定し、その赤外線熱画像の同一損傷に対する特定温度領域検定処理の結果等を出力することが可能な処理であってもよい。更に、情報処理装置4(コンピュータ30)は、例えば、連続温度比較処理と特定温度領域検定処理とを別個の処理として行うだけでなく、これら2つの処理を連続して行うことが可能であってもよい。例えば、情報処理装置4(コンピュータ30)は、連続温度比較処理により赤外線熱画像Pc内の赤外線熱画像Ptの損傷と同一の損傷を特定した後、続けて、同一であると特定された赤外線熱画像Ptの損傷及び赤外線熱画像Pcの損傷のそれぞれに対する特定温度領域検定処理を行うことが可能であってもよい。このような処理が可能な情報処理装置4(コンピュータ30)は、例えば、赤外線熱画像Ptの損傷及び赤外線熱画像Pcの損傷のそれぞれに対する個別の特定温度領域検定処理の結果に基づいて損傷がどの程度進展しているかを診断する処理等を含んでもよい。
【0099】
また、情報処理装置4として用いるコンピュータ30が実行するプログラムは、例えば、点群座標を導出するプログラムを含んでもよい。点群座標を導出するプログラムは、
図3を参照して説明したような個別診断処理のプログラムの一部であってもよいし、損傷の有無及び損傷レベルを診断するステップS51~S53の処理を含むプログラムとは別個のプログラムであってもよい。更に、点群座標を導出する処理は、例えば、連続温度比較処理、及び特定温度領域検定処理に含まれてもよい。
【0100】
また、情報処理装置4(コンピュータ30)は、外部装置(例えば、
図4に例示したサーバ装置12)にアクセスし、その外部装置の記憶部に格納された個別診断データを取得して連続温度比較処理及び特定温度領域検定処理のいずれか一方又は両方を行ってもよい。すなわち、本発明は、連続温度比較処理及び特定温度領域検定処理のいずれか一方又は両方を行う制御部を含む装置と、その装置が行う処理に用いる個別診断データを記憶する記憶部を含む装置とが、通信可能に接続された異なる装置である診断システムを含む。
【0101】
更に、本発明に係る赤外線自動熱解析診断システム1のシステム構成は、上述した構成に限らず、適宜変更可能である。例えば、赤外線自動熱解析診断システム1は、赤外線サーモカメラ2の撮影領域Rを含む舗装道路9を撮影する可視光カメラを含んでもよい。
【符号の説明】
【0102】
1 赤外線自動熱解析診断システム
2 赤外線サーモカメラ
3 GPS受信機
4 情報処理装置
400 送受信部
410 制御部
411 個別診断部
412 点群座標導出部
413 比較部
414 検定部
420 入力部
430 表示部
440 記憶部
5 車両
6 金具
9 舗装道路
10,10A,10B,10C 個別診断データ
1001 画像情報
1002 解析診断情報
1003 検定情報
11 通信ネットワーク
12 サーバ装置
1200 送受信部
1210 制御部
1240 記憶部
15 赤外線熱画像
16 診断の対象にする領域
18 探索範囲
20 損傷
30 コンピュータ
31 プロセッサ
32 主記憶装置
33 補助記憶装置
34 入力装置
35 表示装置
36 入出力インタフェース
37 通信装置
38 媒体駆動装置
39 バス
40 可搬型記録媒体
41 通信ネットワーク
42 サーバ装置