特許 6441421 外面材調査システム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B1)

(11)【特許番号】6441421

(24)【登録日】2018年11月30日

(45)【発行日】2018年12月19日

(54)【発明の名称】外面材調査システム

(51)【国際特許分類】

   G01M 99/00 20110101AFI20181210BHJP

   G01N 25/72 20060101ALI20181210BHJP

   B64C 13/18 20060101ALI20181210BHJP

   B64C 39/02 20060101ALI20181210BHJP

   B64D 47/08 20060101ALI20181210BHJP

   G01N 21/88 20060101ALI20181210BHJP

   G01J 5/48 20060101ALI20181210BHJP

【ＦＩ】

   G01M99/00 Z

   G01N25/72 K

   B64C13/18 Z

   B64C39/02

   B64D47/08

   G01N21/88 Z

   G01J5/48 A

【請求項の数】9

【全頁数】25

(21)【出願番号】特願2017-147260(P2017-147260)

(22)【出願日】2017年7月28日

【審査請求日】2018年3月28日

【早期審査対象出願】

(73)【特許権者】

【識別番号】516237628

【氏名又は名称】株式会社ＴｏｎＴｏｎ

(74)【代理人】

【識別番号】100130247

【弁理士】

【氏名又は名称】江村 美彦

(72)【発明者】

【氏名】今川 博貴

(72)【発明者】

【氏名】青木 達也

(72)【発明者】

【氏名】中川 智博

【審査官】 萩田 裕介

(56)【参考文献】

【文献】 国際公開第２０１６／０９８１４６（ＷＯ，Ａ１）

【文献】 特開２００５−０１６９９５（ＪＰ，Ａ）

【文献】 特開２０１７−０７８５７５（ＪＰ，Ａ）

【文献】 国際公開第２０１７／０６５１０２（ＷＯ，Ａ１）

【文献】 英国特許出願公開第０２５４６５６４（ＧＢ，Ａ）

(58)【調査した分野】（Int.Cl.，ＤＢ名）

Ｇ０１Ｍ ９９／００

Ｇ０１Ｎ ２５／７２

Ｇ０１Ｎ ２１／８４ − ２１／９５８

Ｇ０１Ｊ ５／４８

(57)【特許請求の範囲】

【請求項1】

飛行体によって撮像した画像を処理して端末装置に表示し、構造物の外面材の状態を調査する外面材調査システムにおいて、
前記飛行体は、
可視光画像を撮像する可視光画像撮像手段と、
被写体から放射される赤外線を検出し、前記被写体の各部の温度を示す熱画像を非可視光画像として撮像する非可視光画像撮像手段と、を有し、
前記端末装置または前記飛行体は、
前記可視光画像撮像手段によって撮像された前記可視光画像に基づいて前記外面材を構成する要素に対応する空間周波数成分を特定し、前記可視光画像と前記熱画像の相対的な関係に基づいて前記熱画像における前記要素の空間周波数成分を特定し、特定された空間周波数に対応する帯域成分を抽出する処理を実行する画像処理手段と、
前記画像処理手段による画像処理結果に基づいて前記飛行体の飛行状態を制御する飛行体制御手段と、
前記画像処理手段による画像処理結果に基づいて前記外面材の異常を検出する異常検出手段と、を有する、
ことを特徴とする外面材調査システム。

【請求項2】

前記飛行体制御手段は、前記画像処理手段によって検出される空間周波数に対応する帯域成分に基づいて、前記飛行体の前記構造物からの距離および／または飛行速度を調整することを特徴とする請求項１に記載の外面材調査システム。

【請求項3】

前記飛行体制御手段は、前記画像処理手段によって検出される空間周波数に対応する帯域成分に基づいて、前記可視光画像撮像手段および前記非可視光画像撮像手段の仰角または俯角を調整することを特徴とする請求項１または２に記載の外面材調査システム。

【請求項4】

前記異常検出手段は、前記画像処理手段によって抽出された前記帯域成分を参照し、前記外面材を構成する前記要素に対応する部分の温度が隣接する部分と異なる場合には異常と判定することを特徴とする請求項１乃至３のいずれか１項に記載の外面材調査システム。

【請求項5】

前記異常検出手段によって異常が検出された場合には、前記飛行体制御手段は、前記飛行体をホバリング状態とし、
前記異常検出手段は、ホバリング中に撮像された複数の前記非可視光画像に基づいて異常の有無を判定する、
ことを特徴とする請求項４に記載の外面材調査システム。

【請求項6】

前記飛行体制御手段は、地図上において調査の対象となる前記構造物の指定を受け、指定された前記構造物に基づいて飛行経路を設定することを特徴とする請求項１乃至４のいずれか１項に記載の外面材調査システム。

【請求項7】

前記飛行体制御手段は、垂直方向の飛行と、水平方向の飛行を交互に繰り返すことで、前記構造物の所定の外面を撮像するように制御することを特徴とする請求項１乃至６のいずれか１項に記載の外面材調査システム。

【請求項8】

前記飛行体制御手段は、前記構造物の外面を東、南、西、および、北の順に撮影するように制御することを特徴とする請求項１乃至７のいずれか１項に記載の外面材調査システム。

【請求項9】

前記端末装置は、画像を表示する表示手段を有し、
前記表示手段は、前記可視光画像と前記非可視光画像を並置して表示するか、または、前記可視光画像に前記非可視光画像を重畳して表示する、
ことを特徴とする請求項１乃至８のいずれか１項に記載の外面材調査システム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、外面材調査システムに関するものである。

【背景技術】

【0002】

従来、構造物の外面材（例えば、タイル、サイディング、レンガ、および、表面コンクリート等）の剥離等の異常を検査する方法としては、例えば、特許文献１に開示された技術がある。

【0003】

特許文献１に開示された技術では、建物の外壁に赤外線を照射する赤外線ヒータと、赤外線を照射されて加熱した外壁の正常部分と剥離部分の温度差を映像化する赤外線カメラを配置する。そして、赤外線カメラで得られた映像から壁面表面温度パターンを計算機シミューレーションで作成し、正常部分と剥離部分を色分けすることで、剥離部分を特定することができる。

【先行技術文献】

【特許文献】

【0004】

【特許文献1】特開平０５−３１２７４５号公報

【発明の概要】

【発明が解決しようとする課題】

【0005】

しかしながら、特許文献１に開示された技術では、赤外線ヒータを用いることから、検査対象となるのは赤外線ヒータからの赤外線が届く範囲に限定されるため、広い範囲を検査するためには、検査に時間を要するという問題点がある。

【0006】

本発明は、構造物の外面材の異常を短時間で検査することが可能な外面材調査システムを提供することを目的としている。

【課題を解決するための手段】

【0007】

上記課題を解決するために、本発明は、飛行体によって撮像した画像を処理して端末装置に表示し、構造物の外面材の状態を調査する外面材調査システムにおいて、前記飛行体は、可視光画像を撮像する可視光画像撮像手段と、被写体から放射される赤外線を検出し、前記被写体の各部の温度を示す熱画像を非可視光画像として撮像する非可視光画像撮像手段と、を有し、前記端末装置または前記飛行体は、前記可視光画像撮像手段によって撮像された前記可視光画像に基づいて前記外面材を構成する要素に対応する空間周波数成分を特定し、前記可視光画像と前記熱画像の相対的な関係に基づいて前記熱画像における前記要素の空間周波数成分を特定し、特定された空間周波数に対応する帯域成分を抽出する処理を実行する画像処理手段と、前記画像処理手段による画像処理結果に基づいて前記飛行体の飛行状態を制御する飛行体制御手段と、前記画像処理手段による画像処理結果に基づいて前記外面材の異常を検出する異常検出手段と、を有する、ことを特徴とする。
このような構成によれば、構造物の外面材の異常を短時間で検査することが可能になる。

【0008】

また、本発明は、前記飛行体制御手段は、前記画像処理手段によって検出される空間周波数に対応する帯域成分に基づいて、前記飛行体の前記構造物からの距離および／または飛行速度を調整することを特徴とする。
このような構成によれば、距離や飛行速度を適切に設定することができる。

【0009】

また、本発明は、前記飛行体制御手段は、前記画像処理手段によって検出される空間周波数に対応する帯域成分に基づいて、前記可視光画像撮像手段および前記非可視光画像撮像手段の仰角または俯角を調整することを特徴とする。
このような構成によれば、仰角または俯角を適切に設定することができる。

【0011】

また、本発明は、前記異常検出手段は、前記画像処理手段によって抽出された前記帯域成分を参照し、前記外面材を構成する前記要素に対応する部分の温度が隣接する部分と異なる場合には異常と判定することを特徴とする。
このような構成によれば、異常箇所を確実に検出することができる。

【0012】

また、本発明は、前記異常検出手段によって異常が検出された場合には、前記飛行体制御手段は、前記飛行体をホバリング状態とし、前記異常検出手段は、ホバリング中に撮像された複数の前記非可視光画像に基づいて異常の有無を判定する、ことを特徴とする。
このような構成によれば、誤検出の発生を低減することができる。

【0013】

また、本発明は、前記飛行体制御手段は、地図上において調査の対象となる前記構造物の指定を受け、指定された前記構造物に基づいて飛行経路を設定することを特徴とする。
このような構成によれば、飛行経路を簡単に設定することができる。

【0014】

また、本発明は、前記飛行体制御手段は、垂直方向の飛行と、水平方向の飛行を交互に繰り返すことで、前記構造物の所定の外面を撮像するように制御することを特徴とする。
このような構成によれば、飛行体の制御を簡易化するとともに、異常箇所を漏れなく検出することができる。

【0015】

また、本発明は、前記飛行体制御手段は、前記構造物の外面を東、南、西、および、北の順に撮影するように制御することを特徴とする。
このような構成によれば、温度上昇／温度降下が生じやすい順に外面を検査することができる。

【0016】

また、本発明は、前記端末装置は、画像を表示する表示手段を有し、前記表示手段は、前記可視光画像と前記非可視光画像を並置して表示するか、または、前記可視光画像に前記非可視光画像を重畳して表示する、ことを特徴とする。
このような構成によれば、操作者が目視により確認しながら異常箇所を検出することができる。

【発明の効果】

【0017】

本発明によれば、構造物の外面材の異常を短時間で検査することが可能な外面材調査システムを提供することが可能となる。

【図面の簡単な説明】

【0018】

【図1】本発明の実施形態に係る外面材調査システムの構成例を示す図である。

【図2】図１に示す飛行体の詳細な構成例を示す図である。

【図3】図１に示す送信機の詳細な構成例を示す図である。

【図4】図１に示す端末装置の詳細な構成例を示す図である。

【図5】図１に示すサーバの詳細な構成例を示す図である。

【図6】外面材の異状と温度の関係を示す図である。

【図7】飛行体の飛行経路の一例を示す図である。

【図8】地図上に表示された構造体の一例である。

【図9】可視光画像と熱画像を並置して表示する例である。

【図10】可視光画像と熱画像を重畳して表示する例である。

【図11】可視光画像と熱画像を並置して表示する例である。

【図12】可視光画像と熱画像を重畳して表示する例である。

【図13】飛行体によって外面材を検査する際に実行される処理の一例を説明するフローチャートである。

【図14】図１３に示す初期調整処理の一例を説明するフローチャートである。

【図15】図１４に示す目的成分抽出処理の一例を説明するフローチャートである。

【図16】図１３に示す撮像処理の一例を説明するフローチャートである。

【図17】図１６に示す飛行中調整処理の一例を説明するフローチャートである。

【図18】図１６に示す異常検出処理の一例を説明するフローチャートである。

【図19】図１６に示す画像表示／格納処理の一例を説明するフローチャートである。

【発明を実施するための形態】

【0019】

次に、本発明の実施形態について説明する。

【0020】

（Ａ）本発明の実施形態の構成の説明
図１は、本発明の実施形態に係る外面材調査システムの構成例を示す図である。図１に示すように、外面材調査システム１は、飛行体１０、送信機２０、端末装置３０、基地局４０、ネットワーク５０、および、サーバ６０を有し、構造物Ｂの外面の異常を調査する。

【0021】

飛行体１０は、無人航空機ＵＡＶ（Unmanned Air Vehicle）であり、例えば、４つ以上のプロペラによってホバリング（空中停止）することが可能なドローン等によって構成される。なお、小型ヘリコプタや、気球等によって構成されるようにしてもよい。

【0022】

送信機２０は、操縦者によって操作され、飛行体１０に対して制御信号を送信するとともに、飛行体１０によって撮像された画像を受信し、端末装置３０に供給する。

【0023】

端末装置３０は、スマートフォンまたはタブレット端末等によって構成され、接続ケーブル等によって、送信機２０と接続され、送信機２０との間で情報を授受する。端末装置３０は、ＬＣＤ（Liquid Crystal Display）タッチパネルを有し、操縦者によってＬＣＤタッチパネルが操作された場合には、操作に対応して飛行体１０を制御する。また、端末装置３０は、飛行体１０から送信される画像を表示する。

【0024】

基地局４０は、端末装置３０との間で電波によって情報を授受するとともに、ネットワーク５０を介してサーバ６０との間で情報を授受する。

【0025】

ネットワーク５０は、例えば、インターネットによって構成され、基地局４０とサーバ６０との間で、所定のプロトコルに基づいて、情報を授受する。

【0026】

サーバ６０は、基地局４０およびネットワーク５０を介して端末装置３０から伝送された画像等の情報を格納する。

【0027】

図２は、飛行体１０の構成例を示している。図２の例では、飛行体１０は、赤外光撮像素子１１、可視光撮像素子１２、ジンバル１３、画像処理部１４、送受信部１５、アンテナ１５ａ、制御部１６、ＧＰＳ（Global Positioning System）１７、センサ１８、および、モータ１９−１〜１９−４を有している。

【0028】

ここで、赤外光撮像素子１１は、黒体の放射輝度が黒体の絶対温度の４乗に比例することを利用し、被写体から放射される赤外線から被写体の各部の温度を検出し、熱画像として出力する。なお、熱画像を構成するそれぞれの画素は、被写体各部の温度を示す情報を有している。

【0029】

可視光撮像素子１２は、被写体から放射される可視光を３原色に分解し、それぞれの色の光の強度を対応する電荷に光電変換し、可視光画像として出力する。なお、赤外光撮像素子１１と可視光撮像素子１２は同じ画角を有しているので、被写体の同じ領域の可視光画像と、それに対応する熱画像を得ることができる。

【0030】

ジンバル１３は、赤外光撮像素子１１および可視光撮像素子１２の双方が固定された固定部材の傾きを電子制御によって制御することで、飛行体１０が揺動した場合でも、赤外光撮像素子１１および可視光撮像素子１２によって撮像される画像が変化しないように制御する。なお、ジンバル１３は、赤外光撮像素子１１および可視光撮像素子１２の垂直方向の傾き（チルト）を制御できる構成とされている。これにより、赤外光撮像素子１１および可視光撮像素子１２は、被写体の同じ領域を安定して撮像することができる。

【0031】

画像処理部１４は、赤外光撮像素子１１および可視光撮像素子１２から出力される画像に対して、例えば、圧縮処理等を施し、送受信部１５に供給する。

【0032】

送受信部１５は、画像処理部１４から供給される画像を、アンテナ１５ａを介して送信機２０に対して送信するとともに、送信機２０から送信される制御信号を、アンテナ１５ａを介して受信し、制御部１６に供給する。アンテナ１５ａは、送信機２０との間で電波によって情報を送受信する。

【0033】

制御部１６は、送受信部１５から供給される制御信号、ＧＰＳ１７から供給される位置情報、および、センサ１８から供給される飛行体１０の飛行状態を示す情報等に基づいて、ジンバル１３およびモータ１９−１〜１９−４を制御する。

【0034】

ＧＰＳ１７は、複数の人工衛星から送信される時刻情報を有する信号を受信し、これらの時間差から自身の位置に関する情報（緯度情報および経度情報）を検出し、制御部１６に供給する。

【0035】

センサ１８は、例えば、ジャイロセンサ、磁気センサ、気圧センサ、超音波センサ、および、ビジョンポジショニングセンサを有し、飛行体１０の姿勢、高度、および、障害物との距離、障害物の形状等を検出し、制御部１６に通知する。

【0036】

モータ１９−１〜１９−４は、例えば、ブラシレスモータ等によって構成され、それぞれのモータ１９−１〜１９−４には、プロペラが取り付けられている。制御部１６は、これらのモータ１９−１〜１９−４の回転数を個別に制御することで、目的の方向に移動したり、飛行体１０の方向を変更したりすることができる。

【0037】

図３は、図１に示す送信機２０の詳細な構成例を示す図である。図３の例では、送信機２０は、送受信部２１、アンテナ２１ａ、制御部２２、ジョイスティック２３，２４、操作部２５、および、Ｉ／Ｆ（Interface）２６を有している。

【0038】

ここで、送受信部２１は、アンテナ２１ａを介して、飛行体１０との間で電波によって情報を送受信する。

【0039】

制御部２２は、ジョイスティック２３，２４、Ｉ／Ｆ２６、および、操作部２５から供給される情報に基づいて、飛行体１０を制御するための制御信号を生成し、送受信部２１を介して飛行体１０に送信する。また、制御部２２は、飛行体１０によって撮像された画像を、送受信部２１を介して受信し、Ｉ／Ｆ２６を介して端末装置３０に供給する。

【0040】

ジョイスティック２３，２４は、操作者の親指等によって前後方向または左右方向に操作され、操作量に応じた信号を生成して制御部２２に供給する。

【0041】

操作部２５は、操作ボタン、ジョグダイアル、および、ＬＣＤタッチパネル等によって構成され、操作者の操作に応じた信号を生成して制御部２２に供給する。

【0042】

Ｉ／Ｆ２６は、例えば、ＵＳＢ（Universal Serial Bus）等によって構成され、制御部２２と端末装置３０との間で制御情報および画像情報等の情報を授受する。

【0043】

図４は、図１に示す端末装置３０の詳細な構成例を示している。図４に示すように、端末装置３０は、ＣＰＵ（Central Processing Unit）３１、ＲＯＭ（Read Only Memory）３２、ＲＡＭ（Random Access Memory）３３、ＧＰＳ３４、ＧＰＵ（Graphics Processing Unit）３５、Ｉ／Ｆ３６、バス３７、および、ＬＣＤタッチパネル３８を有している。

【0044】

ここで、ＣＰＵ３１は、ＲＯＭ３２に格納されたプログラムに応じて各部を制御する中央処理装置である。

【0045】

ＲＯＭ３２は、不揮発性の半導体記憶装置によって構成され、ＣＰＵ３１が実行する基本的なプログラム等を格納する。

【0046】

ＲＡＭ３３は、揮発性の半導体記憶装置によって構成され、ＣＰＵ３１が実行対象とするプログラムや、計算途中のデータを一時的に格納する。

【0047】

ＧＰＳ３４は、複数の人工衛星からの信号を受信し、これらの時間差に基づいて自身の位置を特定し、ＣＰＵ３１に供給する。

【0048】

ＧＰＵ３５は、ＣＰＵ３１から供給される描画命令に基づいて描画処理を実行し、得られた画像データをＬＣＤタッチパネル３８に供給して表示させる。

【0049】

Ｉ／Ｆ３６は、例えば、ＵＳＢ等によって構成され、接続ケーブルによって、図３に示すＩ／Ｆ２６と接続され、Ｉ／Ｆ２６との間で情報を授受する。

【0050】

バス３７は、ＣＰＵ３１、ＲＯＭ３２、ＲＡＭ３３、ＧＰＳ３４、ＧＰＵ３５、および、Ｉ／Ｆ３６を相互に接続し、これらの間で情報の授受を可能とするための信号線群である。

【0051】

ＬＣＤタッチパネル３８は、例えば、液晶パネルの表示部にタッチセンサが重畳されて構成される。ＬＣＤタッチパネル３８は、ＧＰＵ３５によって描画された画像等をＬＣＤに表示するとともに、操作者によってタッチセンサが操作された場合には操作箇所を示す情報をＩ／Ｆ３６を介してＣＰＵ３１に伝える。

【0052】

図５は、図１に示すサーバ６０の構成例を示す図である。なお、図５に示すサーバ６０は、ＣＰＵ６１、ＲＯＭ６２、ＲＡＭ６３、ＨＤＤ６４、Ｉ／Ｆ６５、および、バス６６を有している。

【0053】

ここで、ＣＰＵ６１は、ＲＯＭ６２およびＨＤＤ６４等に格納されたプログラムに応じて各部を制御する中央処理装置である。

【0054】

ＲＯＭ６２は、不揮発性の半導体記憶装置によって構成され、ＣＰＵ６１が実行する基本的なプログラム等を格納する。

【0055】

ＲＡＭ６３は、揮発性の半導体記憶装置によって構成され、ＣＰＵ６１が実行対象とするプログラムや、計算途中のデータを一時的に格納する。

【0056】

ＨＤＤ６４は、例えば、磁気記憶装置等によって構成され、ＣＰＵ６１が実行するプログラムやデータを格納する。

【0057】

Ｉ／Ｆ６５は、例えば、ネットワーク５０を介して基地局４０との間で情報を授受する際のプロトコルの変換処理等を実行する。

【0058】

バス６６は、ＣＰＵ６１、ＲＯＭ６２、ＲＡＭ６３、ＨＤＤ６４、および、Ｉ／Ｆ６５を相互に接続し、これらの間で情報の授受を可能とするための信号線群である。

【0059】

（Ｂ）本発明の実施形態の動作の説明
つぎに、本発明の実施形態の動作について説明する。本実施形態に係る外面材調査システムは、構造物（例えば、集合住宅、オフィスビル、戸建て家屋、橋梁、橋脚、トンネル、ダム）の外面材（例えば、タイル、サイディング、レンガ、および、表面コンクリート等）の剥離または破損等の異常を検出する。

【0060】

より詳細には、例えば、コンクリート等の躯体等の表面に、図６（Ａ）に示すように、複数のタイルが配列されて接着されている場合において、破線で囲んだタイルが、裏面の躯体から剥離していることを考える。この場合、太陽光によってタイルの温度が上昇すると、タイルの熱は裏面の躯体に伝導する。しかしながら、タイルが躯体から剥離している場合には、タイルと躯体との間に空気層が存在し、熱が躯体に伝わりにくいことから、剥離しているタイルの温度は、剥離していないタイルよりも高い状態になる。

【0061】

図６（Ｂ）は、温度上昇時における図６（Ａ）に示す一点鎖線上のタイルの温度を示している。図６（Ｂ）に示すように、温度上昇時は剥離しているタイルは、剥離していないタイルよりも温度が高くなっている。図６（Ｃ）は、温度下降時における図６（Ａ）に示す一点鎖線上のタイルの温度を示している。図６（Ｃ）に示すように、温度下降時（例えば、太陽が沈んだ場合）には、タイルおよび躯体の熱はタイルを介して大気中に放射される。このとき、剥離している箇所は空気層の存在により、躯体からの熱が伝わりにくいことから、図６（Ｃ）に示すように、剥離しているタイルの温度は、剥離していないタイルよりも低い状態になる。なお、剥離しているタイルと、その周辺のタイルの温度差は、条件にもよるが、例えば、１〜２℃未満であることが多い。

【0062】

本実施形態では、赤外光撮像素子１１によって撮像された熱画像によって、周辺よりも温度が高いまたは低いタイルを検出することで、剥離が生じた（異常が生じた）タイルを見つけることができる。

【0063】

つぎに、本実施形態の動作について説明する。

【0064】

例えば、図７に示すような構造物（図７の例では集合住宅）Ｂの外面材を調査する場合を例に挙げて説明する。この場合、構造物Ｂの近くに飛行体１０を置き、送信機２０、端末装置３０、および、飛行体１０の電源を投入する。端末装置３０の電源が投入され、ＲＯＭ３２およびＲＡＭ３３等に格納されている、飛行体１０を制御するためのアプリケーションソフトウエア（以下単に「アプリ」と称する）が起動されると、ＣＰＵ３１は、アプリの制御に応じてＧＰＳ３４により現在位置を検出し、現在位置を中心とする地図を、ネットワーク５０を介して、図示しない地図サーバから取得し、ＬＣＤタッチパネル３８に表示させる。その結果、ＬＣＤタッチパネル３８には、例えば、図８に示すような現在位置（端末装置３０が存在する位置）を中心とする地図が表示される。このような地図を参照し、例えば、図７に対応する構造物Ｂを検査対象として指定する動作（例えば、ＬＣＤタッチパネル３８の該当する位置をタップする動作）を行うと、図８に示すように、構造物Ｂが検査対象として選択され、例えば、破線によって囲まれた状態となる。

【0065】

端末装置３０のＣＰＵ３１は、指定された構造物の輪郭を地図情報から取得し、輪郭の各部の頂点の位置情報（緯度情報および経度情報）を取得する。例えば、図８の例では、ｘ１，ｙ１〜ｘ８，ｙ８の位置情報が取得される。なお、構造物の垂直方向の高さが分かる場合には、高さを示す情報を入力するようにしてもよい。

【0066】

構造物の形状が特定されると、ＣＰＵ３１は、飛行体１０の飛行経路を決定する。具体的には、構造物Ｂのそれぞれの面に対して、垂直方向の飛行と水平方向の飛行を交互に繰り返す経路を設定する。例えば、図７の例では、図中に実線の矢印で示す経路が設定される。なお、構造物Ｂは東、西、南、北の４面を有するが、これらの面の優先順位としては、東、南、西、北の順に設定することが望ましい、太陽光による温度変化は、この順番で現れるからである。

【0067】

飛行経路が決定すると、端末装置３０のＣＰＵ３１は、送信機２０に対して、飛行体１０を飛行経路の開始位置に移動するとともに、ホバリングを開始するように指示する情報を供給する。この結果、飛行体１０は、図７に示す飛行経路の開始位置まで移動するとともに、所定の高さ（例えば、構造物のタイルが画角内に収まる高さ）でホバリングを開始する。

【0068】

飛行体１０がホバリングを開始すると、端末装置３０は、初期調整処理を実行する。すなわち、端末装置３０のＣＰＵ３１は、構造物Ｂの外面材を構成する要素に対応する画像成分が最大になるように調整する。より詳細には、ＣＰＵ３１は、飛行体１０の可視光撮像素子１２によって得られる可視光画像から、構造物Ｂの外面材を構成する要素（図７の例ではタイル）の縦横の画素サイズを取得する。例えば、タイルの画像サイズとして、横５０画素、縦１０画素を取得する。つぎに、可視光撮像素子１２と赤外光撮像素子１１の有効画素数の比率から、赤外光撮像素子１１によって得られる熱画像における要素（図７の例ではタイル）の画素数を求める。例えば、有効画素数の比が２：１（例えば、可視光が１９２０×１０８０で、熱画像が９６０×５４０）である場合には、横２５画素、縦５画素が得られる。

【0069】

つぎに、ＣＰＵ３１は、熱画像における外面材を構成する要素の水平周波数ｆｈと、垂直周波数ｆｖを求める。より詳細には、外面材は、図６（Ａ）に示すように、水平方向および垂直方向に一定の周期で繰り返し配置されていることから、これらの要素による空間周波数を求める。いまの例では、横２５画素、縦５画素の逆数が略空間周波数となる。

【0070】

空間周波数が求まると、ＣＰＵ３１は、熱画像から水平周波数ｆｈと、垂直周波数ｆｖの周波数成分を抽出する。これにより、外面材の構成要素に関する成分（図６（Ａ）ではタイルに対応する成分。以下「目的成分」と称する）が抽出される。なお、目的成分としては、タイルに対応する基本周波数成分だけでなく、高調波成分（例えば、奇数次／偶数次高調波等）を抽出するとともに、タイルが上下または左右に連続して異常である場合に対応するために、基本周波数成分の１／ｎ（ｎは自然数）の周波数成分についても抽出するようにしてもよい。

【0071】

つぎに、ＣＰＵ３１は、飛行体１０のジンバル１３のチルト角度（仰角または俯角）を調整し、例えば、目的成分のスペクトルが最大になるように設定する。また、ＣＰＵ３１は、飛行体１０の構造物Ｂからの距離を調整し、例えば、目的成分のスペクトルが最大になるように設定する。このような動作により、熱画像において外面材を構成する要素が最も鮮明に検出されるように設定される。

【0072】

初期調整処理が完了すると、ＣＰＵ３１は、飛行体１０に対して撮像処理を実行させる。撮像処理では、図７に示すような経路で飛行体１０を飛行させる。また、鮮明かつノイズの少ない熱画像が撮像できるように、ジンバル１３によってチルトを調整するとともに、構造物Ｂからの距離および飛行速度を調整する。なお、チルト、距離、および、飛行速度の調整する方法としては、例えば、目的成分のスペクトルが最大となるように調整することができる。

【0073】

また、飛行中に、異常な部分を検出した場合、例えば、剥離によって周囲よりも温度差を有するタイルを検出した場合には、異常検出処理を実行する。異常検出処理では、誤検出を防止するために、例えば、異常を検出した場所で飛行体１０をホバリングさせ、複数の熱画像を撮像し、例えば、これらの画像の移動平均を求めることで、ノイズ成分を減少させ、得られた熱画像によって温度異常が剥離によるものか、それともノイズによるものかを区別する。その結果、剥離によるものと判定した場合には、剥離しているタイルに熱画像上または可視光画像上でマーキングをする。

【0074】

ＣＰＵ３１は、以上のような処理の結果得られた画像データを、ＧＰＵ３５に供給し、ＬＣＤタッチパネル３８に表示させる。図９および図１０は、ＬＣＤタッチパネル３８に表示される画像の一例を示している。ここで、図９は、可視光画像と熱画像を左右に並置して表示した表示例であり、図１０は可視光画像と熱画像を重畳して表示した表示例である。図９では、可視光画像が左側に、対応する熱画像が右側に表示され、熱画像には異常箇所に実線の矩形によるマーキングがされている。また、図１０は、可視光画像に対して、熱画像が重畳して表示され、異常箇所には実線の矩形によるマーキングがされている。これらの画像は、構造物Ｂの同じ範囲を同じ位置から撮像しているので、並置した場合には対応関係が容易に理解でき、また、１枚の画像として簡単に重畳処理することができる。

【0075】

図１１および図１２は、実際に撮像された画像の一例を示している。図１１は可視光画像と熱画像が並置されて表示されている表示例を示し、図１２は可視光画像と熱画像が重畳されて表示されている表示例を示している。

【0076】

なお、以上のようにして撮像された画像は、ネットワーク５０を介してサーバ６０に転送され、所定のフォルダまたはディレクトリ等に保存される。

【0077】

構造物Ｂの一つの外面の検査が完了すると、他の外面の撮像を開始する。より詳細には、東、南、西、北の順番に、外面の検査を実行する。なお、新たな外面を検査する場合には、前述したように、ホバリングによって初期調整処理を実行した後に、撮像処理を実行する。

【0078】

以上に説明したように、本発明の実施形態によれば、構造物Ｂの構造を検出し、自動的に飛行経路を設定し、飛行体１０によって可視光画像と熱画像を撮像するようにしたので、検査に要する時間を大幅に短縮することができる。

【0079】

また、初期調整処理により、ジンバル１３の俯角または仰角を調整するとともに、構造物Ｂとの距離が最適になるように調整するので、ノイズが少なく、また、解析に最適な熱画像を得ることができる。

【0080】

また、飛行体１０の飛行中も飛行中調整処理によって、ジンバル１３の俯角または仰角を調整するとともに、構造物Ｂとの距離および飛行速度が最適になるように調整するので、ノイズが少なく、また、解析に最適な熱画像を常に得ることができる。

【0081】

また、外面材を構成する要素（例えば、タイル）のサイズに対応する空間周波数成分を抽出し、抽出した目的成分に基づいて、位置、および、飛行速度を調整するようにしたので、外面材を構成する要素が最適に撮像されるように飛行状態を制御することができる。また、抽出した目的成分に基づいて、ジンバル１３の俯角または仰角を制御するようにしたので、例えば、天空反射等の影響を排除して、外面材を構成する要素が最適に撮像される角度に調整することができる。

【0082】

また、外面材を構成する要素（例えば、タイル）のサイズに対応する空間周波数成分を抽出し、抽出した成分に基づいて異常を検出するようにしたので、外面材を構成する要素以外の影響を低減し、剥離等の異常を確実に検出することができる。より詳細には、撮像された熱画像には、天空反射、壁面の汚れ、日陰、照り返し、樹木の影響、室内の暖房等による影響がノイズとして含まれる。外面材のサイズに対応する空間周波数成分を抽出することで、外面材とは空間周波数が異なるこれらのノイズ成分を低減し、より確実な判断を行うことができる。

【0083】

また、異常を検出した場合には、飛行体１０をホバリング状態にして、例えば、複数の熱画像を撮像し、これら複数の熱画像に対して、例えば、移動平均を施して得られた熱画像に基づいて、異常の有無を再判定するようにしたので、誤判定を低減することができる。

【0084】

つぎに、図１３〜図１９を参照して、以上の動作を実現するためのフローチャートについて説明する。まず、図１３は、構造物Ｂの撮像を開始する際に、端末装置３０において実行される処理の一例を示すフローチャートである。図１３のフローチャートが開始されると、以下のステップが実行される。

【0085】

ステップＳ１０では、ＣＰＵ３１は、対象となる構造物を地図上で指定を受ける。より詳細には、ＣＰＵ３１は、ＧＰＳ３４から現在位置に関する情報（緯度情報および経度情報）を取得し、現在位置に対応する地図を、ネットワーク５０を介して、図示しない地図サーバから取得し、ＬＣＤタッチパネル３８に表示させる。このようにして表示された地図上を参照し、操作者は、対象となる構造物を指定することができる。

【0086】

ステップＳ１１では、ＣＰＵ３１は、飛行経路を決定する。より詳細には、ＣＰＵ３１は、ステップＳ１０で指定された構造物Ｂの輪郭を、輪郭抽出処理等によって抽出し、輪郭の頂点の緯度および経度を特定する。そして、頂点の位置から構造物Ｂの外面を特定し、特定した外面を東、南、西、北の順に選択するとともに、図７に示すような垂直方向と水平方向が交互に繰り返される飛行経路を設定する。なお、後述する初期調整処理等によって、飛行体１０と構造物Ｂとの距離が変化する場合があり、その場合には飛行経路も変更されることがあるので、設定された経路は柔軟に変更可能とすることが望ましい。

【0087】

ステップＳ１２では、ＣＰＵ３１は、飛行体１０に対してホバリングするように制御信号を送信する。より詳細には、ＣＰＵ３１は、送信機２０を介して、飛行体１０に対して制御信号を送信し、飛行体１０にホバリングを実行させる。なお、ホバリングの位置としては、飛行経路の開始位置とし、また、ホバリングの高度としては、構造物Ｂの外面のタイル等の下端が撮像できる位置とする。

【0088】

ステップＳ１３では、ＣＰＵ３１は、所定の外面の撮像を開始する前に実行する初期調整処理を実行させる。この処理の詳細は、図１４を参照して後述する。なお、初期調整処理を実行することで、ジンバルのチルトが最適に調整されるとともに、飛行体１０と構造物Ｂの距離が最適に調整される。

【0089】

ステップＳ１４では、ＣＰＵ３１は、構造物Ｂの所定の外面を自動的に飛行しながら撮像する撮像処理を実行する。この処理の詳細は、図１６を参照して後述する。なお、この撮像処理を実行することで、構造物Ｂの所定の外面が撮像される。

【0090】

ステップＳ１５では、ＣＰＵ３１は、他の外面も撮像するか否かを判定し、他の外面も撮像すると判定した場合（ステップＳ１５：Ｙ）にはステップＳ１６に進み、それ以外の場合（ステップＳ１５：Ｎ）には処理を終了する（エンド）。例えば、構造物Ｂの東側の外面の撮像が完了した場合には、南側の外面を撮像するので、Ｙと判定してステップＳ１６に進む。

【0091】

ステップＳ１６では、ＣＰＵ３１は、飛行体１０を制御し、他の外面前に移動させる。より詳細には、構造物Ｂの東側の外面の撮像が完了した場合には、南側の外面の前まで移動させる。

【0092】

つぎに、図１４を参照して、図１３に示す初期調整処理の詳細について説明する。図１４に示す処理が開始されると、以下のステップが実行される。

【0093】

ステップＳ３０では、端末装置３０のＣＰＵ３１は、外面材を構成する要素に関する画像成分である目的成分を抽出する処理を実行する。なお、この処理の詳細は、図１５を参照して後述する。

【0094】

ステップＳ３１では、ＣＰＵ３１は、ジンバル１３のチルト（仰角または俯角）を調整する。これにより、ジンバル１３のチルトが調整される。

【0095】

ステップＳ３２では、ＣＰＵ３１は、ステップＳ３０で抽出された目的成分のスペクトルが最大となる角度になったか否かを判定し、最大となった場合（ステップＳ３２：Ｙ）にはステップＳ３３に進み、それ以外の場合（ステップＳ３２：Ｎ）にはステップＳ３０に戻って、前述の場合と同様の処理を繰り返す。なお、ステップＳ３０〜ステップＳ３２の処理によって、ジンバル１３の仰角または俯角が、外面材の構成要素を的確に撮像するように調整される。

【0096】

ステップＳ３３では、ＣＰＵ３１は、外面材を構成する要素に関する画像成分である目的成分を抽出する処理を実行する。なお、この処理の詳細は、図１５を参照して後述する。

【0097】

ステップＳ３４では、ＣＰＵ３１は、飛行体１０と構造物Ｂの前後方向の位置関係を調整する。例えば、図７の例では、飛行体１０と構造物ＢのＹ方向の距離を調整する。

【0098】

ステップＳ３５では、ＣＰＵ３１は、ステップＳ３３で抽出された目的成分のスペクトルが最大となる位置になったか否かを判定し、最大となった場合（ステップＳ３５：Ｙ）には元の処理に復帰（リターン）し、それ以外の場合（ステップＳ３５：Ｎ）にはステップＳ３３に戻って、前述の場合と同様の処理を繰り返す。なお、ステップＳ３３〜ステップＳ３５の処理によって、飛行体１０と構造物Ｂの間の距離が、外面材の構成要素を的確に撮像するように調整される。

【0099】

つぎに、図１５を参照して、図１４に記載されている目的成分抽出処理の詳細について説明する。図１５に示すフローチャートが開始されると、以下のステップが実行される。

【0100】

ステップＳ５０では、ＣＰＵ３１は、飛行体１０から可視光画像と熱画像を取得する。より詳細には、ＣＰＵ３１は、飛行体１０の赤外光撮像素子１１および可視光撮像素子１２によってそれぞれ撮像された可視光画像と熱画像を、送信機２０を介して取得する。

【0101】

ステップＳ５１では、ＣＰＵ３１は、ステップＳ５０で取得した可視光画像からタイルの縦横の画素数を取得する。より詳細には、例えば、ラプラシアンフィルタによって、可視光画像のエッジを検出し、検出したエッジの間隔から水平方向と垂直方向の縦横の画素数を特定する。

【0102】

ステップＳ５２では、ＣＰＵ３１は、熱画像における外面材を構成する要素（図６の例ではタイル）の水平周波数ｆｈを特定する。より詳細には、可視光画像と熱画像の画素数の比（例えば、２：１）に基づいて、ステップＳ５１で求めた横方向の画素数から水平周波数ｆｈを求める。

【0103】

ステップＳ５３では、ＣＰＵ３１は、熱画像における外面材を構成する要素（図６の例ではタイル）の垂直周波数ｆｖを特定する。より詳細には、可視光画像と熱画像の画素数の比（例えば、２：１）に基づいて、ステップＳ５１で求めた縦方向の画素数から垂直周波数ｆｖを求める。

【0104】

ステップＳ５４では、ＣＰＵ３１は、例えば、ＤＯＧ（Difference of Gaussian）フィルタ等により、熱画像からｆｈ，ｆｖの帯域成分を抽出する処理を実行する。これにより、タイルよりも空間周波数が低いと考えられる、天空反射、壁面の汚れ、日陰、照り返し、樹木の影響、室内の暖房等による成分を減衰することができる。また、熱画像では、含有する水分量の違いから、タイルの周囲の目地部の温度がタイルの温度よりも高く表れるが、このような成分はタイル自体よりも空間周波数が高いので、このような成分も減衰することができる。処理が完了すると、元の処理に復帰（リターン）する。

【0105】

つぎに、図１６を参照して、図１３に示す撮像処理の詳細について説明する。図１６に示すフローチャートが開始されると、以下のステップが実行される。

【0106】

ステップＳ７０では、ＣＰＵ３１は、飛行体１０を制御して上昇を開始させる。より詳細には、ＣＰＵ３１は、送信機２０を介して制御信号を送ることで、飛行体１０を垂直方向に上昇させる。なお、飛行体１０は、ＧＰＳ１７からの出力と、センサ１８からの出力に基づいて、飛行体１０が垂直方向にずれなく、また、機体が傾いたりすることなく、上昇するように制御する。なお、センサ１８には、障害物を検出するための超音波センサおよび画像センサも含まれているので、障害物を検出した場合には回避し、回避後は元の飛行経路に復帰するようにしてもよい。

【0107】

ステップＳ７１では、ＣＰＵ３１は、飛行中にジンバル１３のチルト、構造物Ｂと飛行体１０の距離、および、飛行速度を調整する飛行中調整処理を実行する。なお、この処理の詳細は、図１７を参照して後述する。

【0108】

ステップＳ７２では、ＣＰＵ３１は、構造物Ｂの外面材の異常を検出する処理である異常検出処理を実行する。なお、この処理の詳細は、図１８を参照して後述する。

【0109】

ステップＳ７３では、ＣＰＵ３１は、飛行体１０によって撮像された可視光画像と熱画像をＬＣＤタッチパネル３８に表示するとともに、サーバ６０に格納する処理を実行する。なお、この処理の詳細は、図１９を参照して後述する。

【0110】

ステップＳ７４では、ＣＰＵ３１は、飛行体１０によって撮像された可視光画像に基づいて、構造物Ｂの上側エッジ（例えば、構造物Ｂの屋上部と空との境界部）を検出したか否かを判定し、上側エッジを検出したと判定した場合（ステップＳ７４：Ｙ）にはステップＳ７５に進み、それ以外の場合（ステップＳ７４：Ｎ）にはステップＳ７１に戻って前述の場合と同様の処理を繰り返す。なお、ステップＳ７０〜ステップＳ７４の処理により、図７に示す、Ｚ軸方向の下から上に向かう矢印に対応する飛行および撮像が実行される。

【0111】

ステップＳ７５では、ＣＰＵ３１は、飛行体１０を左または右に一定距離移動させる。例えば、図７の例では、構造物Ｂの屋上付近において、Ｘ軸方向の右から左に飛行体１０が移動する。なお、移動する距離としては、撮像漏れが生じないようにするために、撮像される画像の一部が重複するように設定することが望ましい。例えば、図７に示すように左側に移動する場合、移動前に撮像された画像の左端の領域と、移動後に撮像される画像の右端の領域とが重複（例えば、画像幅の１〜２割が重複）するように設定することが望ましい。

【0112】

ステップＳ７６では、ＣＰＵ３１は、飛行体１０を制御して下降を開始させる。より詳細には、ＣＰＵ３１は、送信機２０を介して制御信号を送ることで、飛行体１０を垂直方向に下降させる。

【0113】

ステップＳ７７では、ＣＰＵ３１は、飛行中にジンバル１３のチルト、構造物Ｂと飛行体１０の距離、および、飛行速度を調整する飛行中調整処理を実行する。なお、この処理の詳細は、図１７を参照して後述する。

【0114】

ステップＳ７８では、ＣＰＵ３１は、構造物Ｂの外面材の異常を検出する処理である異常検出処理を実行する。なお、この処理の詳細は、図１８を参照して後述する。

【0115】

ステップＳ７９では、ＣＰＵ３１は、飛行体１０によって撮像された可視光画像と熱画像をＬＣＤタッチパネル３８に表示するとともに、サーバ６０に格納する処理を実行する。なお、この処理の詳細は、図１９を参照して後述する。

【0116】

ステップＳ８０では、ＣＰＵ３１は、飛行体１０のセンサ１８が有する高度センサまたはＧＰＳ１７からの情報により、所定の高度（例えば、構造物Ｂの外面のタイル等の下端が撮像できる高度）に下降したか否かを判定し、所定の高度まで下降したと判定した場合（ステップＳ８０：Ｙ）にはステップＳ８１に進み、それ以外の場合（ステップＳ８０：Ｎ）にはステップＳ７７に戻って同様の処理を繰り返す。なお、ステップＳ７６〜ステップＳ８０の処理により、図７に示す、Ｚ軸方向の上から下に向かう矢印に対応する飛行および撮像が実行される。

【0117】

ステップＳ８１では、ＣＰＵ３１は、飛行体１０を左または右に所定距離移動させる。例えば、図７の例では、構造物Ｂの１階付近において、Ｘ軸方向の右から左に飛行体１０が移動する。なお、移動する距離としては、撮像漏れが生じないようにするために、撮像される画像の一部が重複するように設定することが望ましい。例えば、図７に示すように左側に移動する場合、移動前に撮像される画像の左端の領域と、移動後に撮像される画像の右端の領域とが重複（例えば、画像幅の１〜２割が重複）するように設定することが望ましい。

【0118】

ステップＳ８２では、ＣＰＵ３１は、所定の外面の撮像が完了したか否かを判定し、終了したと判定した場合（ステップＳ８２：Ｙ）には元の処理に復帰（リターン）し、それ以外の場合（ステップＳ８３：Ｎ）にはステップＳ７０に戻って前述の場合と同様の処理を繰り返す。

【0119】

つぎに、図１７を参照して、図１６に示す飛行中調整処理の詳細について説明する。図１７に示すフローチャートが開始されると、以下のステップが実行される。

【0120】

ステップＳ９０では、端末装置３０のＣＰＵ３１は、外面材を構成する要素に関する画像成分である目的成分を抽出する処理（図１５に示す処理）を実行する。

【0121】

ステップＳ９１では、ＣＰＵ３１は、ジンバル１３のチルトを調整する。これにより、ジンバル１３の仰角または俯角が調整される。

【0122】

ステップＳ９２では、ＣＰＵ３１は、ステップＳ９０で抽出された目的成分のスペクトルが最大となる角度になったか否かを判定し、最大となった場合（ステップＳ９２：Ｙ）にはステップＳ９３に進み、それ以外の場合（ステップＳ９２：Ｎ）にはステップＳ９０に戻って、前述の場合と同様の処理を繰り返す。なお、ステップＳ９０〜ステップＳ９２の処理によって、飛行体１０の飛行中において、ジンバル１３の仰角または俯角が、外面材の構成要素を的確に撮像するように調整される。

【0123】

ステップＳ９３では、ＣＰＵ３１は、外面材を構成する要素に関する画像成分である目的成分を抽出する処理（図１５に示す処理）を実行する。

【0124】

ステップＳ９４では、ＣＰＵ３１は、飛行体１０と構造物Ｂの前後方向の位置関係を調整する。例えば、図７の例では、飛行体１０と構造物ＢのＹ方向の距離を調整する。

【0125】

ステップＳ９５では、ＣＰＵ３１は、ステップＳ９３で抽出された目的成分のスペクトルが最大となる位置になったか否かを判定し、最大となった場合（ステップＳ９５：Ｙ）にはステップＳ９６に進み、それ以外の場合（ステップＳ９５：Ｎ）にはステップＳ９３に戻って、前述の場合と同様の処理を繰り返す。なお、ステップＳ９３〜ステップＳ９５の処理によって、飛行体１０の飛行中において、飛行体１０と構造物Ｂの間の距離が、外面材の構成要素を的確に撮像するように調整される。

【0126】

ステップＳ９６では、ＣＰＵ３１は、外面材を構成する要素に関する画像成分である目的成分を抽出する処理（図１５に示す処理）を実行する。

【0127】

ステップＳ９７では、ＣＰＵ３１は、飛行体１０と飛行速度を調整する。例えば、図７の例では、飛行体１０の上昇速度または下降速度を調整する。

【0128】

ステップＳ９８では、ＣＰＵ３１は、ステップＳ９６で抽出された目的成分のスペクトルが最大となる位置になったか否かを判定し、最大となった場合（ステップＳ９８：Ｙ）には元の処理に復帰（リターン）し、それ以外の場合（ステップＳ９５：Ｎ）にはステップＳ９５に戻って、前述の場合と同様の処理を繰り返す。なお、ステップＳ９６〜ステップＳ９８の処理によって、飛行体１０の飛行中において、飛行体１０の飛行速度が、外面材の構成要素を的確に撮像するように調整される。

【0129】

つぎに、図１８を参照して、図１６に示す異常検出処理の詳細について説明する。図１８に示すフローチャートが開始されると、以下のステップが実行される。

【0130】

ステップＳ１１０では、ＣＰＵ３１は、外面材を構成する要素に関する画像成分である目的成分を抽出する処理（図１５に示す処理）を実行する。

【0131】

ステップＳ１１１では、ＣＰＵ３１は、ステップＳ１１０の処理によって抽出された目的成分を参照し、周辺と温度が異なるタイルが存在するか否かを判定し、存在すると判定した場合（ステップＳ１１１：Ｙ）にはステップＳ１１２に進み、それ以外の場合（ステップＳ１１１：Ｎ）には元の処理に復帰（リターン）する。より詳細には、目的成分として抽出されるのは、熱画像におけるタイルの温度差を示す情報であることから、この温度差が周辺とは異なる部分が存在する場合にはＹと判定してステップＳ１１２に進む。

【0132】

ステップＳ１１２では、ＣＰＵ３１は、飛行体１０を制御し、上昇飛行または下降飛行を中断し、ホバリングを開始させる。この結果、飛行体１０は上昇飛行または下降飛行中に、異常が検出された場所においてホバリング状態となる。

【0133】

ステップＳ１１３では、ＣＰＵ３１は、複数の画像によるノイズ削減処理を実行する。より詳細には、ＣＰＵ３１は、異常が検出された場所の熱画像を複数撮像する。例えば、熱画像を２〜１０枚程度撮像する。そして、撮像した複数の熱画像の加算平均等を求めることで、ノイズを削減することができる。なお、加算平均以外の方法によって、ノイズを削減するようにしてもよい。

【0134】

ステップＳ１１４では、ＣＰＵ３１は、ノイズを削減した熱画像に対して、外面材を構成する要素に関する画像成分である目的成分を抽出する処理（図１５に示す処理）を施す。

【0135】

ステップＳ１１５では、ＣＰＵ３１は、ステップＳ１１４における処理によって得られた目的成分を参照し、周辺と温度が異なるタイルが存在するか否かを判定し、存在すると判定した場合（ステップＳ１１５：Ｙ）にはステップＳ１１６に進み、それ以外の場合（ステップＳ１１５：Ｎ）には誤検出であると判定して元の処理に復帰（リターン）する。なお、ステップＳ１１２〜ステップＳ１１４の処理により、ノイズを削減した熱画像に基づいて異常箇所を検出することで、誤検出を低減することができる。なお、周辺と温度が異なるタイルが存在するか否かだけでなく、例えば、ノイズ削減処理によっても、温度が異なる領域の形状が変化しない場合に、Ｙと判定するようにしてもよい。

【0136】

なお、ステップＳ１１２〜ステップＳ１１４の処理では、飛行経路上において、ホバリングするようにしたが、異常箇所を確実に検出するために、構造物Ｂに接近するようにしてもよい。

【0137】

ステップＳ１１６では、ＣＰＵ３１は、周辺と温度が異なるタイルを画像上においてマーキングする処理を実行する。これにより、例えば、図９および図１０に示すように、異常箇所のタイルが実線の矩形によって囲まれる。

【0138】

ステップＳ１１７では、ＣＰＵ３１は、警告を発する処理を実行する。例えば、ＣＰＵ３１は、図示しないスピーカから異常を検出したことを示す警告音を発するようにすることができる。

【0139】

なお、ステップＳ１１５において異常を検出した場合には、警告するだけでなく、飛行体１０を該当するタイルまで接近させるとともに、微量の塗料等を噴射し、マーキングし、マーキングが終了すると、元の飛行経路に復帰するようにしてもよい。

【0140】

つぎに、図１９を参照して、図１６に示す画像表示／格納処理の詳細について説明する。図１９に示すフローチャートが開始されると、以下のステップが実行される。

【0141】

ステップＳ１３０では、ＣＰＵ３１は、例えば、送信機２０を介して飛行体１０から熱画像を取得する。

【0142】

ステップＳ１３１では、ＣＰＵ３１は、ステップＳ１３０で取得した熱画像に対して、外面材を構成する要素に関する画像成分である目的成分を抽出する処理（図１５に示す処理）を施す。

【0143】

ステップＳ１３２では、ＣＰＵ３１は、ステップＳ１３１の処理によって得られた目的成分（温度を示す情報）を、色相を示す情報に変換する。この結果、温度差が大きくなるにつれて、黒、青、緑、赤、白と色相が変化する情報に変換される。

【0144】

ステップＳ１３３では、ＣＰＵ３１は、例えば、送信機２０を介して飛行体１０から可視光画像を取得する。

【0145】

ステップＳ１３４では、ＣＰＵ３１は、例えば、ＬＣＤタッチパネル３８に対して所定の操作をすることで、画像の並置モードが選択されている場合（ステップＳ１３４：Ｙ）にはステップＳ１３５に進み、それ以外の場合（ステップＳ１３４：Ｎ）にはステップＳ１３６に進む。例えば、ＬＣＤタッチパネル３８に表示された画像表示モードを選択するアイコンが操作され、表示モードとして画像の並置モードが選択された場合にはステップＳ１３５に進み、表示モードとして画像の重畳モードが選択された場合にはステップＳ１３６に進む。

【0146】

ステップＳ１３５では、ＣＰＵ３１は、ＬＣＤタッチパネル３８に対して、熱画像と可視光画像とを並置して表示させる。この結果、例えば、図９または図１１に示すような態様で熱画像と可視光画像とが並置して表示される。

【0147】

ステップＳ１３６では、ＣＰＵ３１は、例えば、ＬＣＤタッチパネル３８に対して所定の操作をすることで、画像の重畳モードが選択されている場合（ステップＳ１３６：Ｙ）にはステップＳ１３７に進み、それ以外の場合（ステップＳ１３６：Ｎ）にはステップＳ１４１に進む。例えば、ＬＣＤタッチパネル３８に表示された画像表示モードを選択するアイコンが操作され、表示モードとして画像の重畳モードが選択された場合にはステップＳ１３７に進み、それ以外の場合にはステップＳ１４１に進む。

【0148】

ステップＳ１３７では、ＣＰＵ３１は、可視光画像を構成するそれぞれの画素をα（α＜１）倍する。

【0149】

ステップＳ１３８では、ＣＰＵ３１は、熱画像を構成するそれぞれの画素を（１−α）倍する。

【0150】

ステップＳ１３９では、ＣＰＵ３１は、ステップＳ１３７とステップＳ１３８で得られた可視光画像と熱画像を合成する。なお、以上の処理により、可視光画像の上に熱画像がアルファブレンディング処理によって重畳合成される。

【0151】

ステップＳ１４０では、ＣＰＵ３１は、ＬＣＤタッチパネル３８に対して、ステップＳ１３９の合成処理によって得られた画像を表示させる。この結果、例えば、図１０または図１２に示すような態様で熱画像と可視光画像と重畳して表示される。

【0152】

ステップＳ１４１では、ＣＰＵ３１は、熱画像と可視光画像とを、ネットワーク５０を介して送信し、サーバ６０に格納させる。なお、熱画像の代わりに、ステップＳ１３１の処理で得られた目的成分を格納するようにしてもよい。

【0153】

以上に説明したように、図１３〜図１９に示すフローチャートによれば、前述した動作を実現することができる。

【0154】

（Ｃ）変形実施形態の説明
以上の各実施形態は一例であって、本発明が上述した場合のみに限定されるものでないことはいうまでもない。例えば、以上の例では、非可視光画像として、赤外線による熱画像を用いるようにしたが、これ以外の画像を用いるようにしてもよい。具体的には、例えば、紫外線を用いるようにしたり、ＭＨｚまたはＧＨｚ帯域の電磁波を用いるようにしたり、超音波を用いるようにしてもよい。なお、紫外線を用いる場合には、２次元の紫外線撮像素子を用いればよい。また、ＭＨｚまたはＧＨｚ帯域の電磁波を用いる場合、水平方向に複数の受信アンテナを配置し、送信アンテナから送信された電磁波が構造物Ｂによって反射され、これら複数の受信アンテナに到達する際の時間差から水平方向の角度を検出し、受信した信号の強度によって対象物の反射率等を特定することができる。また、超音波の場合も同様に、複数の受信素子を水平方向に配置し、複数の受信素子に到達する際の時間差から水平方向の角度を検出し、受信した信号の強度によって対象物の反射率等を特定することができる。

【0155】

また、以上の実施形態では、図１３〜図１９に示す処理は、端末装置３０において実行するようにしたが、図１３〜図１９に示すフローチャートや、フローチャートを構成するステップを、飛行体１０、送信機２０、端末装置３０、および、サーバ６０のいずれかまたはこれらに分散して配置するようにしてもよい。例えば、図１３〜図１７に示す処理は、飛行体１０において実行し、図１９に示す処理を端末装置３０またはサーバ６０において実行するようにしてもよい。もちろん、図１３〜図１７に示す処理を全て端末装置３０またはサーバ６０において実行するようにしてもよい。

【0156】

また、以上の実施形態では、構造物としては、集合住宅を例に挙げて説明したが、これ以外にも、オフィスビル、戸建て家屋、橋梁、橋脚、トンネル、ダム等を対象として、外面材の異常を検出するようにしてもよい。また、外面材を構成する要素としては、タイルを例に挙げて説明したが、これ以外にも、サイディング、レンガ、および、表面コンクリートを対象として検査を行うことも可能である。

【0157】

また、図７に示す実施形態では、垂直方向の飛行時に構造物Ｂを撮像するようにしたが、水平方向の飛行時に構造物Ｂを撮像するようにしてもよい。また、図７の例では、屋上については撮像対象から除外しているが、屋上についても合わせて撮像してもよい。なお、その場合、図７の例では、Ｘ方向の飛行時に撮像し、Ｙ方向に移動した後に、Ｘ方向に飛行しながら撮像する動作を繰り返すことで屋上全体をもれなく撮像できる。もちろん、Ｙ方向の飛行時に撮像し、Ｘ方向に移動した後に、Ｙ方向に飛行しながら撮像する動作を繰り返すようにしてもよい。なお、屋上については、屋上部分の防水シート等の剥離を検出するようにしてもよい。

【0158】

また、以上の実施形態では、熱画像から目的成分を抽出し、目的成分の大小によって撮像状態を判断するようにしたが、これ以外の方法によって撮像状態を判断するようにしてもよい。例えば、目的成分よりも空間周波数が低い成分（主に天空反射等のノイズ成分）および／または高い成分（主に目地の部分によるノイズ成分）が少なる場合を、撮像状態が良好と判断するようにしてもよい。また、可視光画像を周波数領域に変換し、主に含まれる空間周波数からタイルに係る成分を抽出し、当該成分に対応する成分を熱画像から抽出するようにしてもよい。そのような構成によれば、天空反射等の影響を受けにくい可視光画像に基づいて、適切な空間周波数成分を特定および抽出することができる。

【0159】

また、以上の実施形態では、赤外光撮像素子１１および可視光撮像素子１２が撮像するのは、動画または静止画のいずれかであるかについては明示していないが、これらのいずれも使用することができる。すなわち、静止画の場合には、直前に撮像した静止画と、上下方向に重複する範囲が存在するように撮像することができる。例えば、飛行体１０が上昇している場合、直前に撮像した静止画の上部と、これから撮像しようとする静止画の下部の一部（例えば、静止画の１〜２割）が重複するタイミングで撮像すればよい。もちろん、飛行体１０の飛行を制御するための画像が必要であるので、所定の間隔（例えば、１秒間に数枚等）で撮像した静止画を飛行の制御に使用しつつ、前述の重複の条件を満たす静止画を抽出して異常検出を行うことができる。また、動画の場合には、ＧＯＰ（Group of Pictures）を構成するＩ（Intra）ピクチャを抽出することで、静止画の場合と同様に処理することができる。

【0160】

また、以上の実施形態では、異常を検出した場合には、飛行体１０をホバリング状態にして撮像するようにしたが、ホバリングするのではなく、異常が検出された箇所を飛行しながら複数回撮像し、周辺と温度が異なる部分の形状が、撮像位置等によらず変化しない場合には、異常と判定するようにしてもよい。また、以上の実施形態では、飛行体１０による構造物Ｂの撮像は１回のみとしたが、複数回撮像して得られた画像の所定回数以上に、同じ形状の異常箇所が撮像されている場合に異常と判定するようにしてもよい。例えば、図７に示す経路を矢印の方向に飛行した後、矢印の逆方向に再度飛行しながら撮像し、同じ箇所に同じ形状の異常が検出された場合に、異常と判定するようにしてもよい。真性の異常箇所は、撮像状態（例えば、飛行経路、ジンバル１３のチルト、構造物Ｂからの距離等）によらず、同じ形状の異常箇所として撮像される可能性が高いからである。

【0161】

また、以上の実施形態では、異常を検出する処理としては、周辺のタイルとは温度が異なる（高いまたは低い）タイルを画像処理によって検出するようにしたが、例えば、ＣＮＮ（Convolutional Neural Network）等のニューラルネットワークを用いて、学習処理によって異常箇所を検出するようにしてもよい。具体的には、Ｃｏｎｖｏｌｕｔｉｏｎ層、Ｐｏｏｌｉｎｇ層、全結合層等を有するＣＮＮに対して、剥離したタイルを撮像した画像を学習用の画像として供給し、学習処理を施すことで、異常検出用のＣＮＮを構成することができる。

【0162】

なお、図１３〜図１９に示すフローチャートは一例であって、本発明が図１３〜図１９に示すフローチャートに限定されるものではない。

【符号の説明】

【0163】

１ ：外面材調査システム
１０ ：飛行体
１１ ：赤外光撮像素子（非可視光撮像手段）
１２ ：可視光撮像素子（可視光撮像手段）
１３ ：ジンバル
１４ ：画像処理部
１５ ：送受信部
１５ａ ：アンテナ
１６ ：制御部（飛行体制御手段）
１７ ：ＧＰＳ
１８ ：センサ
１９ ：モータ
２０ ：送信機
２１ ：送受信部
２１ａ ：アンテナ
２２ ：制御部
２３ ：ジョイスティック
２４ ：ジョイスティック
２５ ：操作部
２６ ：Ｉ／Ｆ
３０ ：端末装置
３１ ：ＣＰＵ（画像処理手段、飛行体制御手段、異常検出手段）
３２ ：ＲＯＭ
３３ ：ＲＡＭ
３４ ：ＧＰＳ
３６ ：Ｉ／Ｆ
３７ ：バス
３８ ：ＬＣＤタッチパネル（表示手段）
４０ ：基地局
５０ ：ネットワーク
６０ ：サーバ
６１ ：ＣＰＵ
６２ ：ＲＯＭ
６３ ：ＲＡＭ
６４ ：ＨＤＤ
６５ ：Ｉ／Ｆ
６６ ：バス

【要約】

【課題】構造物の外面材の異常を短時間で検査すること。
【解決手段】飛行体１０によって撮像した画像を処理して端末装置３０に表示し、構造物の外面材の状態を調査する外面材調査システムにおいて、飛行体１０は、可視光画像を撮像する可視光画像撮像手段と、可視光以外の領域の電磁波または音波による非可視光画像を撮像する非可視光画像撮像手段と、を有し、端末装置３０または飛行体１０は、可視光画像および／または非可視光画像に対して所定の画像処理を実行する画像処理手段と、画像処理手段による画像処理結果に基づいて飛行体の飛行状態を制御する飛行体制御手段と、画像処理手段による画像処理結果に基づいて外面材の異常を検出する異常検出手段と、を有する。
【選択図】図１

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】

【図15】

【図16】

【図17】

【図18】

【図19】