(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2024-03-18
(45)【発行日】2024-03-27
(54)【発明の名称】屋根点検用の無人航空機の制御装置
(51)【国際特許分類】
G05D 1/46 20240101AFI20240319BHJP
B64C 39/02 20060101ALI20240319BHJP
B64D 47/08 20060101ALI20240319BHJP
B64C 13/20 20060101ALI20240319BHJP
E04G 23/03 20060101ALI20240319BHJP
E04G 23/02 20060101ALI20240319BHJP
【FI】
G05D1/46
B64C39/02
B64D47/08
B64C13/20 Z
E04G23/03
E04G23/02 G
(21)【出願番号】P 2020166033
(22)【出願日】2020-09-30
【審査請求日】2023-08-29
(73)【特許権者】
【識別番号】390037154
【氏名又は名称】大和ハウス工業株式会社
(74)【代理人】
【識別番号】110002572
【氏名又は名称】弁理士法人平木国際特許事務所
(72)【発明者】
【氏名】湯淺 嵩之
(72)【発明者】
【氏名】山田 拓久
(72)【発明者】
【氏名】今仲 雅之
(72)【発明者】
【氏名】大澤 淳司
【審査官】今井 貞雄
(56)【参考文献】
【文献】特開2019-178998(JP,A)
【文献】特開2017-138162(JP,A)
【文献】米国特許出願公開第2018/0357478(US,A1)
【文献】米国特許出願公開第2017/0193297(US,A1)
(58)【調査した分野】(Int.Cl.,DB名)
G05D 1/46
(57)【特許請求の範囲】
【請求項1】
建物の屋根を撮影する撮像装置と、水平方向の座標を検出する座標検出センサと、方位を検出する方位検出センサと、高度を検出する高度検出センサと、が搭載された屋根点検用の無人航空機を、入力装置で入力された入力データに基づいて制御する制御装置であって、
前記制御装置は、前記無人航空機の飛行制御と、前記撮像装置の撮像タイミングの撮像制御と、を行うものであり、
前記入力データとして入力された前記建物の基準座標、および前記屋根の屋根高さを、建物情報として記録する建物情報記録部と、
前記建物の基準座標および前記屋根高さに基づいて、前記無人航空機を、前記屋根の上空における前記基準座標および撮像高度まで飛行させる第1飛行制御部と、
前記無人航空機が前記基準座標および前記撮像高度に到達したタイミングで、前記撮像装置に前記屋根を撮像させる第1撮像制御部と、
撮像した前記屋根全体を含む俯瞰画像を取得する全体画像取得部と、
前記撮像高度と前記屋根高さとの差分および前記撮像装置の画角に基づいて、前記俯瞰画像の画素の縦横の長さに対応した前記屋根の尺度を算出する尺度算出部と、
前記尺度と前記基準座標とから、前記俯瞰画像の画素ごとの位置座標を算出する座標算出部と、
を少なくとも備えることを特徴とする屋根点検用の無人航空機の制御装置。
【請求項2】
前記建物情報記録部は、平面視における前記屋根の寸法を前記建物情報として記録し、
前記制御装置は、前記屋根の寸法、前記屋根高さ、および前記撮像装置の画角に基づいて、前記撮像高度を算出する撮像高度算出部をさらに備えることを特徴とする請求項1に記載の屋根点検用の無人航空機の制御装置。
【請求項3】
前記制御装置は、前記入力装置を介して選択された前記俯瞰画像の複数の画素を、前記入力データとして前記無人航空機の飛行ルートを設定するルート設定画素として、記録するルート設定画素記録部と、
前記ルート設定画素の位置座標に基づいて、前記無人航空機の方位および高度を含む飛行ルートを設定する飛行ルート設定部と、
前記飛行ルート上に、前記屋根の部分を撮像する撮像座標を設定する撮像座標設定部と、
前記飛行ルートに沿って、前記無人航空機を飛行させる第2飛行制御部と、
前記無人航空機が前記撮像座標に到達したタイミングで、前記撮像装置に前記屋根の部分を撮像させる第2撮像制御部と、
撮像した前記屋根の部分の画像を取得する部分画像取得部と、
をさらに備えることを特徴とする請求項1または2に記載の屋根点検用の無人航空機の制御装置。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、屋根点検に適した無人航空機の制御装置に関する。
【背景技術】
【0002】
近年、無人航空機を用いて、無人航空機に搭載されたカメラ(撮像装置)で、高所の位置等を点検する方法が知られている。また、無人航空機の操縦を補助する機能が種々検討されている。たとえば、特許文献1には、俯瞰画像を撮影可能な撮像装置を備えた無人航空機を制御する制御装置が開示されている。この制御装置は、屋根の基準点に対する無人航空機の相対位置を算出し、俯瞰画像における基準点の位置座標を算出し、基準点の位置座標と無人航空機の相対位置に基づいて、俯瞰画像における無人航空機の位置座標を算出し、俯瞰画像において、無人航空機の位置座標に、無人航空機の位置を示すアイコンを表示している。
【先行技術文献】
【特許文献】
【0003】
【発明の概要】
【発明が解決しようとする課題】
【0004】
ところで、特許文献1に示す制御システムでは、予め設定された屋根の基準点の位置座標と、無人航空機の位置座標とから、相対位置を算出し、無人航空機の位置を、撮像した俯瞰画像に落とし込むことができる。これにより、俯瞰画像における無人航空機の位置座標を確認することができる。
【0005】
しかしながら、屋根の点検を行う際には、無人航空機を屋根の特定の位置に飛行させることがあるが、その際には、無人航空機の操作者が、屋根全体を撮影した俯瞰画像において、無人航空機のアイコンを確認しながら、操作しなければならず、より正確な位置(位置座標)に無人航空機を移動させることは難しい。
【0006】
本発明は、このような点を鑑みてなされたものであり、その目的とするところは、撮像した屋根の俯瞰画像から、所望の位置により精度良く無人航空機を飛行させ、屋根を点検することができる無人航空機の制御装置を提供することにある。
【課題を解決するための手段】
【0007】
前記課題を鑑みて、本発明に係る無人航空機の制御装置は、建物の屋根を撮影する撮像装置と、水平方向の座標を検出する座標検出センサと、方位を検出する方位検出センサと、高度を検出する高度検出センサと、が搭載された屋根点検用の無人航空機を、入力装置で入力された入力データに基づいて制御する制御装置であって、前記制御装置は、前記無人航空機の飛行制御と、前記撮像装置の撮像タイミングの撮像制御と、を行うものであり、前記入力データとして入力された前記建物の基準座標、および前記屋根の屋根高さを、建物情報として記録する建物情報記録部と、前記建物の基準座標および前記屋根高さに基づいて、前記無人航空機を、前記屋根の上空における前記基準座標および撮像高度まで飛行させる第1飛行制御部と、前記無人航空機が前記基準座標および前記撮像高度に到達したタイミングで、前記撮像装置に前記屋根を撮像させる第1撮像制御部と、撮像した前記屋根全体を含む俯瞰画像を取得する全体画像取得部と、前記撮像高度と前記屋根高さとの差分および前記撮像装置の画角に基づいて、前記俯瞰画像の画素の縦横の長さに対応した前記屋根の尺度を算出する尺度算出部と、前記尺度と前記基準座標とから、前記俯瞰画像の画素ごとの位置座標を算出する座標算出部と、を少なくとも備えることを特徴とする。
【0008】
本発明によれば、無人航空機に搭載された座標検出センサ、方位検出センサ、および高度検出センサで検出された位置座標、方位、および高度を、無人航空機の位置座標、方位、および高度とし、制御装置により、屋根の上空に無人航空機を飛行させることができる。制御装置は、飛行制御により飛行する無人航空機から、所望の撮像タイミングで屋根の撮像することができる。
【0009】
具体的には、第1飛行制御部により、基準座標において、屋根全体が画像に収まる撮像高度まで、無人航空機を飛行させることができる。さらに、第1撮像制御部により、基準座標および撮像高度に到達したタイミングで、撮像装置で屋根全体を撮像させることができる。これにより、全体画像取得部で、検査対象となる屋根全体の俯瞰画像を取得することができる。
【0010】
次に、尺度算出部では、撮像高度と屋根高さとの差分、および撮像装置の画角から、俯瞰画像の画素の縦横の長さに対応した尺度を算出する。画素の縦横の長さに対応した屋根の尺度を算出することにより、俯瞰画像の縦横の実際の寸法を取得することができる。次に、座標算出部により、尺度と基準座標とから、俯瞰画像の画素ごとに位置座標(緯度および経度)を算出することができる。また、本実施形態では、実際の撮像した屋根の俯瞰画像に基づいて、無人航空機を飛行させることができる。
【0011】
このようにして、俯瞰画像の画素ごとに、屋根の位置座標を算出し、画素に対応した屋根の位置座標を割り当てることができる。これにより、屋根の位置座標に基づいて、俯瞰画像の所望の位置に(具体的には屋根の所望の位置)に、精度良く無人航空機を飛行させ、屋根を撮像し、その画像を取得することができる。ここでいう、「屋根高さ」とは、建物高さ、屋根の軒先高さなど、屋根に関する高さであり、たとえば、尺度算出部の尺度の算出には、屋根高さを、屋根の軒先高さとすることが好ましい。これにより、屋根の軒先に沿った屋根の尺度を正確に算出することができる。
【0012】
ここで、撮像高度は、撮像装置により屋根全体が映り込む高度であれば特に限定されるものではないが、より好ましい態様としては、前記建物情報記録部は、平面視における前記屋根の寸法を前記建物情報として記録し、前記制御装置は、前記屋根の寸法、前記屋根高さ、および前記撮像装置の画角に基づいて、前記撮像高度を算出する撮像高度算出部をさらに備える。
【0013】
この態様によれば、建物情報記録部で建物情報として記録された屋根寸法、前記屋根高さ、および撮像装置の画角に基づいて、屋根の全体が入り込む撮像高度を算出することができる。また、屋根高さを建物高さをとして撮像高度を算出した場合には、屋根高さを軒先高さをとして撮像高度を算出した場合に比べて、より高い撮像高度が算出されるため、安全な撮像高度から、建物の屋根全体を撮像することができる。
【0014】
俯瞰画像の各画素に対応付けた位置座標を目標座標として、無人航空機を飛行させ、屋根の撮影することができるのであれば、飛行制御の態様は特に限定されるものではないが、好ましい態様としては、前記制御装置は、前記入力装置を介して選択された前記俯瞰画像の複数の画素を、前記入力データとして前記無人航空機の飛行ルートを設定するルート設定画素として、記録するルート設定画素記録部と、前記ルート設定画素の位置座標に基づいて、前記無人航空機の方位および高度を含む飛行ルートを設定する飛行ルート設定部と、前記飛行ルート上に、前記屋根の部分を撮像する撮像座標を設定する撮像座標設定部と、前記飛行ルートに沿って、前記無人航空機を飛行させる第2飛行制御部と、前記無人航空機が前記撮像座標に到達したタイミングで、前記撮像装置に前記屋根の部分を撮像させる第2撮像制御部と、撮像した前記屋根の部分の画像を取得する部分画像取得部と、をさらに備える。
【0015】
この態様によれば、ルート設定画素記録部により、俯瞰画像の画素のうち、操作者により選択された画素を、ルート設定画素として記録し、飛行ルート設定部により、無人航空機の方位および高度を含む飛行ルートを設定することができる。さらに、俯瞰画像の各画素に割り付けられた位置座標を用いて、撮像座標設定部により、設定された飛行ルート上に、屋根の部分を撮像する撮像座標を設定する。このようにして、第2飛行制御部により、設定された飛行ルートに沿って、無人航空機を飛行させ、部分画像取得部により、無人航空機が撮像座標に到達したタイミングで、撮像装置に屋根の部分を撮像させ、屋根の部分の点検用画像を取得することができる。このようにして、実際の撮像した屋根の俯瞰画像に基づいて、無人航空機の飛行ルートを設定することができるので、建物の屋根の状況をリアルタイムに把握した上で、屋根の点検用画像を容易に取得することができる。
【発明の効果】
【0016】
本発明によれば、撮像した屋根の俯瞰画像から、所望の位置により精度良く無人航空機を飛行させ、屋根を点検することができる。
【図面の簡単な説明】
【0017】
【
図1】本発明の第1実施形態に係る無人航空機の制御装置を備えた無人航空機制御システムを示す模式図である。
【
図2】
図1に示す無人航空機の構成を示すブロック図である。
【
図3】
図1に示す操作端末の構成を示すブロック図である。
【
図4】
図3に示す操作端末に搭載された制御装置を示す制御ブロック図である。
【
図6】
図1に示す建物と無人航空機との関係を示した建物の側面図である。
【
図7】
図3に示す無人航空機に搭載された撮像装置で撮像した屋根の俯瞰画像である。
【
図9】第2実施形態に係る無人航空機の制御装置の制御ブロック図である。
【
図10】
図7に示す俯瞰画像に無人航空機の飛行ルートを示した図である。
【
図12】
図7に示す俯瞰画像に飛行ルート上の撮像座標を示した図である。
【
図13】
図9に示す制御装置の制御フロー図である。
【発明を実施するための形態】
【0018】
以下、本発明の実施形態に係る無人航空機の制御装置について、図面を参照しながら説明する。
【0019】
(第1実施形態)
図1は、本発明の第1実施形態に係る無人航空機30を制御する制御装置39、59を備えた無人航空機制御システム1を示す模式図である。
図2は、
図1に示す無人航空機30の構成を示すブロック図である。
図3は、
図1に示す操作端末50の構成を示すブロック図である。
図4は、
図3に示す操作端末50に搭載された制御装置59を示す制御ブロック図である。
【0020】
なお、本実施形態では、後述するように、無人航空機30に搭載された制御装置39と、操作端末50に搭載された制御装置59との2つの制御装置が存在する。無人航空機30に搭載された制御装置39は、無人航空機30の飛行の安定性など飛行そのもの(具体的には駆動装置36等のアクチェータ)を制御するものである。一方、操作端末50の制御装置59は、無人航空機30の飛行の到達地点の設定、飛行ルートの設定、および撮像装置35の撮像座標の設定などを行った上で、この設定内容に沿って無人航空機30の飛行を制御するものである。したがって、制御装置59は、飛行および撮像タイミングに関する制御指令を無人航空機30に送信するものであり、本発明の制御装置は、以下に示す操作端末50に搭載された制御装置59が対応する。本実施形態では、制御装置39、59の2つの制御装置を用いているが、無人航空機30または操作端末50に、1つの制御装置として、集約されていてもよい。
【0021】
図1に示すように、本実施形態に係る無人航空機制御システム1は、無人航空機(UAV)10と、無人航空機30を制御する操作端末50と、によって構成されている。無人航空機制御システム1は、無人航空機30を直接操縦するコントーラをさらに備えてもよい。本実施形態では、無人航空機制御システム1は、建物10の屋根11に損傷等の異常が生じているか否かを点検する際に用いられる。
【0022】
無人航空機30は、所謂ドローンであり、操作端末50から送信される後述するデータ等に基づいて、目標の屋根11の上方まで自律飛行し屋根11を撮像する。無人航空機30は、撮像した画像を操作端末50に送信する。
【0023】
操作端末50は、たとえば、所定のプログラム(アプリケーションソフトウェア)をインストールしたスマートフォン、タブレット端末、パーソナルコンピュータ等であり、本実施形態ではスマートフォンである。操作端末50は、無人航空機30の撮像装置35が撮像した映像(動画)および画像(静止画)を取得するとともに、後述する表示装置52に画像を表示する。
【0024】
以下、無人航空機30および操作端末50をより具体的に説明する。
【0025】
[無人航空機30の構成]
無人航空機30は、
図2に示すように、通信装置31と、座標検出センサ(GPS)32と、方位検出センサ(ジャイロセンサ)33と、高度検出センサ34と、撮像装置35と、駆動装置36と、制御装置39と、を備えている。
【0026】
通信装置31は、操作端末50との間でデータの無線送受信を行う。通信装置31が操作端末50から受信する主要なデータとしては、無人航空機30の飛行ルートのデータ、撮像タイミング等、飛行制御および撮像制御を行うためのデータである。通信装置31が操作端末50に送信する主要なデータとしては、後述する座標検出センサ32からの位置座標データ、方位検出センサ33からの方位データ、高度検出センサ34からの高度データ、撮像装置35からの画像データ等を挙げることができる。
【0027】
座標検出センサ32は、GPS信号を受信するとともに、受信したGPS信号に基づいて座標検出センサ32の位置(経度、緯度)、すなわち無人航空機30自身の位置を検出する。方位検出センサ33は、無人航空機30が向いている方位(無人航空機30の前方の方位)を検出する。高度検出センサ34は、たとえば気圧を計測する気圧センサからなり、無人航空機30の地面からの高さを検出する。なお、高度検出センサ34を設けず、座標検出センサ32が受信したGPS信号に基づいて無人航空機30の地面に対する高さを検出してもよい。
【0028】
撮像装置35は、カラーのデジタルの映像および画像を取得できるカメラであり、本実施形態では、屋根11を対象物として撮像し、映像および画像を取得する。撮像装置35は、撮像装置35に含まれるレンズの光軸を水平方向に動かすパン機能、上下方向に動かすチルト機能を有してもよい。
【0029】
駆動装置36は、詳細は図示しないが、複数の回転翼と、回転翼に付与する駆動力を発生するモータと、モータに電力を供給する蓄電池と、を含んでいる。複数の回転翼の回転速度を個別に制御することによって、無人航空機30の飛行高さ、飛行経路、飛行速度、水平度、向き(方位)等を変更することができる。
【0030】
制御装置39は、演算装置(CPU)39aおよび記憶装置(たとえばRAM、ROM等)39bを含んでいる。演算装置39aは、記憶装置39bに記憶されている動作プログラムを実行する。
【0031】
制御装置39は、操作端末50から通信装置31を介して受信した高度データ、撮像座標データ、旋回角度データ等を記憶する。制御装置39は、操作端末50からの指令に基づいて、アクチュエータである駆動装置36を制御するものである。具体的には、制御装置39は、撮像座標データおよび飛行高さデータに基づいて駆動装置36を制御して、無人航空機30を自律飛行させる。制御装置39は、撮像位置データ(位置座標と高度を含むデータ)に基づいて撮像装置35を制御して、撮像位置で屋根11を撮像する。この他にも、制御装置39は、旋回角度データに基づいて駆動装置36を制御して、無人航空機30を水平方向に所定角度旋回させる。制御装置39は、撮像装置35が取得した画像データを記憶するとともに、操作端末50に送信する。制御装置39は、方位検出センサ33の検出結果(検出方位)を無人航空機30の方位データとして記憶するとともに、操作端末50に送信する。
【0032】
制御装置39は、操作端末50から、操作者が直接入力する各種制御信号に基づいて、無人航空機30を所定方向に移動させたり、所定角度旋回させたり、撮像装置35のパン角やチルト角を変更したり、撮像装置35により画像を取得してもよい。
【0033】
[操作端末50の構成]
図3に示すように、操作端末50は、通信装置51、表示装置52、入力装置53、および制御装置59を備えている。表示装置52と入力装置53とでタッチパネルディスプレイを構成していてもよい。無人航空機30を、直接操縦する際には、表示装置52に無人航空機30の操縦ボタンまたは操縦レバーを表示し、入力装置53でこれを操作する(タッチパネルディスプレイの場合には、画面を触れることで操作する)ようにしてもよい。
【0034】
通信装置51は、無人航空機30の通信装置31との間でデータの送受信を行うものであり、通信されるデータは上述したとおりである。表示装置52は、地図データを表示したり、無人航空機30の撮像装置35が撮像した映像および画像を表示したりする。なお、地図データは、インターネットを介して取得したものであってもよいし、後述する記憶装置59bに予め記憶されているものであってもよい。入力装置53は、操作者により入力されるものであり、建物10の基準となる基準座標(Xs,Ys)および建物高さHなどの建物情報などが入力される。
【0035】
制御装置59は、入力装置53の入力により無人航空機30の飛行制御や撮像制御を行うものであり、本発明でいう制御装置に相当する。制御装置59は、演算装置(CPU)59aおよび記憶装置(たとえばRAM、ROM等)59bを含んでいる。演算装置59aは、記憶装置59bに記憶されている動作プログラムを実行する。制御装置59がプログラムを実行することによって、後述する各処理を実現することができる。このようなプログラムは、たとえばインターネットを介してダウンロードすることによって取得され、記憶装置59bにアプリケーションとして記憶される。制御装置59は、通信装置51が受信した画像データ等を記憶する。
【0036】
次に、
図4を参照して、本実施形態の操作端末50の制御装置59について詳細に説明する。制御装置59は、無人航空機30の飛行制御と、撮像装置35の撮像タイミングの撮像制御と、を行うものである。本実施形態では、制御装置59は、ソフトウェアとして、カメラ情報記録部501、建物情報記録部502、撮像高度算出部503、第1飛行制御部504、第1撮像制御部505、全体画像取得部506、尺度算出部507、および座標算出部508を備えている。
【0037】
カメラ情報記録部501は、入力装置53を介して入力された撮像装置35に固有の装置情報を記録している。本実施形態では、カメラ情報記録部501には、撮像装置35のイメージセンサの縦および横の寸法、撮像装置35の焦点距離、撮像装置35の画角など、撮像装置35の固有の装置情報が記録されている。
【0038】
建物情報記録部502は、入力装置53を介して、入力データとして入力された建物10の基準となる基準座標(Xs,Ys)および建物高さH1を、建物情報として記録している。本実施形態では、基準座標(Xs,Ys)は、屋根11の基準となる中央点Cの位置座標であり、具体的には、緯度および経度で表される位置座標である。本実施形態では、建物10の高さHは、本発明でいう「屋根高さ」の一例であり、地表から屋根11の頂部(最上部)14の高さである。
【0039】
位置座標を、緯度および経度で特定することにより、無人航空機30に搭載した座標検出センサ32で検出される位置座標(緯度および経度)が、基準座標(Xs,Ys)に近づくように、無人航空機30の飛行を、制御装置39で制御することができる。
【0040】
ここで、屋根11の全体を撮像する際には、建物10の高さHよりも高い撮像高度Hcまで、無人航空機30を飛行する。この撮像高度Hcは、撮像装置35により屋根11の全体が映り込む高さであり、建物10の高さHに対して、一定の高さを加算した高さとして設定されていてもよい。撮像高度Hcは、その高さで撮像した際に、撮像した屋根11の画像において、屋根11の点検地点を、画素として選択することができる程度の高さであれば、特に限定されるものではない。
【0041】
本実施形態では、撮像高度算出部503は、屋根11の寸法A、B、建物10の高さH、撮像装置35の画角θに基づいて、撮像高度Hcを算出する。この場合には、建物情報記録部502は、平面視における屋根11の寸法A、Bを建物情報としてさらに記録する。
【0042】
より具体的には、本実施形態では、屋根11の寸法A、Bは、直交する2つの方向における、屋根11の最大寸法であり、屋根11の軒先13に沿った方向の寸法であることが好ましい。本実施形態では、屋根11の寸法Aを屋根11の縦寸法とし、屋根11の寸法Bを屋根11の横寸法とする。また、屋根高さを、屋根11の軒先13の高さHrとしてもよいが、本実施形態では、建物10の高さH、すなわち、地表から建物10の屋根の頂部14までの高さとする。
【0043】
たとえば、
図6に示すように、撮像高度Hcと建物10の高さHとの差分ΔHと、撮像装置35の縦方向(横方向)の画角θa(θb)とから、縦方向は、2ΔH/A=tan(θa/2)の関係が成り立ち、2ΔH/B=tan(θb/2)が成り立つ。これらの値から、それぞれに対してのΔHを算出し、ΔHの大きい方の値に建物10の高さHを加えて、撮像高度Hcとする。
【0044】
この他にも、たとえば以下の式(1)および式(2)から、撮像高度Hcを算出してもよい。ここで、撮像装置35のイメージセンサ35bの縦長さをla、横長さをlbとし、撮像装置35の焦点距離(イメージセンサ35bからレンズ35aまでの距離)をFとする。
A=(Hc-H)×la/F…(1)
B=(Hc-H)×lb/F…(2)
【0045】
式(1)および式(2)において、la/F、1b/Fが、撮像装置35の縦方向、横方向の画角θa、θbに相当する値であり、本発明でいう「撮像装置の画角」に対応する値である。ここで、A、B、Hは、建物10の固有の値であり、F、la、lbは、撮像装置35の装置固有の値であることから、これらの値を代入することにより、撮像高度Hcを算出することができる。本実施形態では、式(1)および式(2)から算出された撮像高度Hcのうち、大きい方の高度(値)を採用する。
【0046】
本実施形態では、撮像高度算出部503が、屋根11の寸法A、Bから、撮像高度Hcを算出したが、たとえば、屋根の面積をSとし、撮像装置35のイメージセンサ35bの面積をsとし、以下の式(3)から、撮像高度Hcを算出してもよい。
S=(Hc-H)×s/F…(3)
【0047】
平面視において、屋根11の形状およびその縦横比の範囲が特定されている場合には、式(3)を用いることにより、撮像高度Hcを算出することができる。なお、s/Fが、撮像装置35の画角θに相当する値である。
【0048】
以上のようにして、撮像高度算出部503では、屋根11の寸法A、B、建物10の高さH、および撮像装置35の画角θに基づいて、撮像高度Hcを算出することができる。なお、本実施形態では、撮像高度Hcを上の式から算出したが、この算出した値に、さらに所定の高さを加えた値(たとえば5m)を撮像高度としてもよい。
【0049】
第1飛行制御部504は、建物10の基準座標(Xs,Ys)および建物高さHに基づいて、無人航空機30を、屋根11の上空における基準座標(Xs,Ys)および撮像高度Hcまで飛行させる。具体的には、撮像高度Hcは、撮像高度算出部503により、屋根高さに相当する建物高さHに基づいて算出された値であるが、たとえば、建物高さHから所定の高さを加算した高さを撮像高度Hcとしてもよい。第1飛行制御部504は、通信装置51を介して、基準座標(Xs,Ys)と、算出した撮像高度Hcのデータとを、無人航空機30に送信する。
【0050】
これらデータを飛行の目標地点(飛行指令)として、無人航空機30の制御装置39が受信する。これにより、無人航空機30の制御装置39は、駆動装置36を駆動する。この結果、無人航空機30を、屋根11の上空における基準座標(Xs,Ys)および撮像高度Hcまで飛行させることができる。
【0051】
第1撮像制御部505は、無人航空機30が、建物10の基準座標(Xs,Ys)および撮像高度Hcに到達したタイミングで、撮像装置35に屋根11の全体を撮像させる。具体的には、第1撮像制御部505は、建物10の基準座標(Xs,Ys)および撮像高度Hcに到達したことを、無人航空機30の座標検出センサ32および高度検出センサ34が検出した位置座標および高度に基づいて判定する。無人航空機30が到達したと第1撮像制御部505が判定した場合には、第1撮像制御部505は、通信装置51、31を介して、撮像装置35に撮像指令を送信する。
【0052】
全体画像取得部506は、撮像した屋根11の全体を含む俯瞰画像Gを取得する。具体的には、全体画像取得部506は、第1撮像制御部505が撮像指令を送信したことを受け、俯瞰画像Gは、無人航空機30から通信装置31を介して送信され、これを操作端末50の通信装置51で受信し、全体画像取得部506は、俯瞰画像Gのデータを記録する(取得する)。
【0053】
尺度算出部507は、撮像高度Hcと、屋根高さ(本実施形態では、屋根11の軒先高さHr)との差分ΔHrおよび撮像装置35の画角θから、俯瞰画像G1の1つの画素の縦横の長さに対応した尺度(スケール)を算出する。
【0054】
撮像高度Hcと屋根11の軒先高さHrとの差分をΔHrと、撮像装置35の縦方向(横方向)の画角θa(θb)と、俯瞰画像Gにおける縦方向および横方向の実寸法Ar、Brとから、縦方向では2ΔHr/Ar=tan(θa/2)の関係が成り立ち、横方向では2ΔHr/Br=tan(θb/2)が成り立つ。得られた俯瞰画像Gにおける縦方向および横方向の実寸法Ar、Brを、俯瞰画像Gの縦方向に配列される画素数Naおよび横方向に配列される画素数Nbで除算することにより、俯瞰画像Gの画素の縦横の長さに対応した、屋根11の尺度(スケール)を算出することができる。
【0055】
この他にも、たとえば以下の式(4)および式(5)から、俯瞰画像Gにおける縦方向および横方向の実寸法Ar、Brを算出してもよい。
Ar=(Hc-Hr)×la/F…(4)
Br=(Hc-Hr)×lb/F…(5)
【0056】
算出した実寸法Ar、Brに対して、俯瞰画像Gの縦方向に配列される画素数Naおよび横方向に配列される画素数Nbで除算することにより、俯瞰画像Gの画素の縦横の長さに対応した、屋根11の尺度を算出してもよい。式(1)および式(2)同様に、la/F、1a/Fが、撮像装置35の縦方向、横方向の画角θa、θbに依存する値であり、本発明でいう「撮像装置の画角」に対応する値である。
【0057】
座標算出部508は、尺度と基準座標(Xs,Ys)とから、俯瞰画像Gの画素ごとの位置座標(x1,y1)、(x2,y2)、…(xn,yn)を算出する。ここで、地球の半径をrとし、
図7に示すように、求める位置座標を(xn,yn)とし、基準座標(Xs,Ys)と位置座標(xn,yn)との2点間の距離をDとし、基準座標(Xs,Ys)を通過する経線Lsと、基準座標(Xs,Ys)、位置座標(xn,yn)の2点を結ぶ線分Lnとの成す角度をΦとし、Δxをxn-Xsとしたときに、以下の式(6)、式(7)が成り立つ。
D=rcos
- 1(sinYs・sinyn+cosYs・cosyn・cosΔx)…(6)
Φ=90-atan2(sinΔx,cosYs・tanyn-sinYs・cosΔx)…(7)
【0058】
ここで、距離Dおよび角度Φは、尺度算出部507で算出した俯瞰画像Gの画素の縦横の長さに対応した屋根11の尺度と、基準座標(Xs,Ys)から位置座標(xn,yn)までの縦横の画素数をそれぞれ乗算することにより算出することができる。なお、距離Dは、各画素の中心位置を基準として算出してもよい。建物情報記録部502には、基準座標(Xs,Ys)の緯度と経度が記録されており、地球の半径rは定数である。したがって、xn、ynを変数とした式(6)と式(7)の2元一次の連立方程式を作成し、これを解くことにより位置座標(xn,yn)を算出することができる。このような作業を、全ての画素に対して行い、各画素に対応した実際の位置座標を算出することができる。
【0059】
図8は、本実施形態の
図3に示す制御装置59の制御フロー図であり、以下に、
図8のフロー図を参照しながら、各ステップを説明するとともに、その作用効果も合わせて詳述する。
【0060】
まず、ステップS81に示すように、入力装置53を介して、建物情報として、建物10の基準座標(Xs,Ys)と、建物10の高さHと、建物10の屋根11の軒先13の高さ(軒先高さ)Hr、屋根11の寸法A、Bを入力する。これにより、建物情報記録部502では、これらの建物情報が記録される。
【0061】
次に、ステップS82に進み、撮像高度算出部503で、無人航空機30の撮像高度Hcを算出する。本実施形態では、建物情報記録部502で建物情報として記録された屋根寸法A、B、建物高さ(屋根11の高さ)H、および、撮像装置35の画角θに基づいて、屋根11の全体が入り込む撮像高度Hcを算出することができる。また、建物10の高さHを基準として、撮像高度Hcを算出するため、屋根11の軒先高さHrを基準した場合に比べて、より高い撮像高度Hcを算出することができるので、より安全な位置から、建物10の屋根全体を撮像することができる。
【0062】
次に、ステップS83に進み、建物10の周り等に障害物があるかを判定する。ここで、障害物がある場合には、ステップS84に進み、撮像高度Hcを手動で調整する。ステップS85では、無人航空機30の飛行を開始する(離陸する)。無人航空機30の目標地点として、基準座標(Xs,Ys)と、撮像高度Hcとに向かって、無人航空機30を飛行させる。なお、ステップS83およびステップS84の一連の作業を、ステップS85の離陸直後に行ってもよい。
【0063】
次に、ステップS86に進み、無人航空機30が、目標地点に到達したかどうかを判定する。具体的には、無人航空機30に搭載された座標検出センサ32および高度検出センサ34で検出された位置座標および高度が、基準座標(Xs,Ys)、撮像高度Hとなるまで、ステップS86を繰り返し、制御装置59で無人航空機30の飛行制御を行う。このようにして、第1飛行制御部504により、屋根11の上空における基準座標(Xs,Ys)において、撮像装置35により屋根11の全体が収まる撮像高度Hcまで無人航空機30を飛行させることができる。
【0064】
なお、この際に、第1飛行制御部504が、屋根11の長辺方向に対して、無人航空機30の機首方向を垂直となるように、無人航空機30の方位を設定してもよい。屋根11の長辺方向を、建物情報記録部502において、建物情報として記録してもよい。これにより、スレートや瓦の配列方向を、俯瞰画像Gの縦方向または横方向に沿わせることができる。
【0065】
次に、ステップS87では、基準座標(Xs,Ys)および撮像高度Hcに到達したので、第1撮像制御部505により、撮像装置35に屋根11の全体を撮像させる。全体画像取得部506により、検査対象となる屋根11の全体を含む俯瞰画像Gを取得することができる。
【0066】
次に、ステップS88では、尺度算出部507では、撮像高度Hcと建物高さHとの差分ΔH、および撮像装置35の画角θから、俯瞰画像Gの画素の縦横の長さに対応した尺度を算出する。これにより、画素の縦横の長さに対応した尺度を算出することにより、俯瞰画像Gの縦横の実際の寸法を取得することができる。
【0067】
次に、ステップS89では、座標算出部508では、尺度と基準座標とから、俯瞰画像Gの画素ごとの位置座標(緯度および経度)を算出することができる。このようにして、俯瞰画像Gの画素ごとに、位置座標を算出することができるので、算出した位置座標に基づいて、俯瞰画像Gの所望の位置に(具体的には屋根11の所望の位置)に、無人航空機30を飛行させ、屋根11を撮像し、撮像した画像で屋根11を点検することができる。このような結果、撮像した俯瞰画像Gから、所望の位置座標により精度良く無人航空機30を飛行させることができる。
【0068】
[第2実施形態]
以下に、
図9~
図13を参照しながら、第2実施形態に係る無人航空機30を制御する制御装置39、59を備えた無人航空機制御システム1を示す。第1実施形態に係る無人航空機制御システム1と異なる点は、制御装置59であり、以下にその異なる点のみを詳細に説明する。
【0069】
図9に示すように、本実施形態に係る制御装置59は、ルート設定画素記録部509、飛行ルート設定部510、撮像座標設定部511、第2飛行制御部512、第2撮像制御部513、および部分画像取得部514をさらに備えている。
【0070】
ルート設定画素記録部509は、入力装置53を介して選択された俯瞰画像Gの複数の画素g1、g2、…を、入力データとして、無人航空機30の飛行ルートRを設定するためのルート設定画素g1、g2、…を記録する。たとえば、
図10に示すように、操作者は、俯瞰画像Gに対して、屋根11の四隅の近傍の画素g1~g4を選択し、ルート設定画素記録部509には、この画素g1~g4のデータが記録される。
【0071】
飛行ルート設定部510は、選択したルート設定画素g1、g2、…の位置座標(X1,Y1)、(X2,Y2)、…に基づいて、無人航空機30の方位および高度を含む飛行ルートRを設定する。具体的には、飛行ルートRは、
図10に示すように、無人航空機30が、ルート設定画素g1、g2…を順次通過するように屋根11の周りを周回するように設定されていてもよく、
図11に示すように、ルート設定画素g1~g4を囲むエリア内をジグザグに無人航空機30が飛行するように設定されてもよい。
【0072】
ここで、飛行ルート設定部510は、入力装置53からの入力により、
図10に示す周回飛行パターン、
図11に示すジグザグ飛行パターン等の予め設定された飛行パターンを選択し、飛行ルート設定部510は、選択された飛行パターンに基づいて、具体的な飛行ルートRを設定してもよい。
【0073】
飛行ルート設定部510が設定する飛行ルートRには、設定画素g1、g2、…の位置座標(X1,Y1)、(X2,Y2)、…に基づいて算出された緯度および経度の情報が含まれている。飛行ルート設定部510は、座標算出部508で算出した位置座標のうち、飛行ルートR上の画素から位置座標を無人航空機30が通過するように、飛行ルートRを設定してもよい。
【0074】
飛行ルート設定部510が設定する高度(飛行高度)は、建物10の高さHまたは屋根11の軒先高さHrから所定の高さだけ加算した高度であり、撮像高度Hcよりも低い高度である。飛行ルート設定部510が設定する高度が、屋根11の部分を拡大して撮像できる高度であれば、特に限定されるものではない。
【0075】
飛行ルート設定部510が設定する方位は、
図10に示す周回飛行パターン、
図11に示すジグザグ飛行パターン等の予め設定された飛行パターンに基づいて設定されている。たとえば、
図10および
図11では、俯瞰画像Gの上に、無人航空機30のアイコンを表示しており、このアイコンの矢印方向が、無人航空機30の方位である。
図10に示す周回飛行パターンの場合には、無人航空機30の方位が、屋根11の軒先13と直交する方向に設定されていてもよい。
図11に示すジグザグ飛行パターンの場合には、無人航空機30の方位が、一定の方向となるように設定されていてもよい。
【0076】
撮像座標設定部511は、飛行ルートR上に、屋根11の部分を撮像する撮像座標(s1,t1)、(s2,t2)、…を設定する。ここで、撮像座標設定部511は、飛行ルートR上において、撮像座標(s1,t1)、(s2,t2)、…を所定の間隔に設定してもよく、たとえば、撮像装置35の撮像範囲が連続するように撮像座標(s1,t1)、(s2,t2)、…を設定してよい。さらに、入力装置53を介して、操作者が俯瞰写真の画素を選択し、選択した画素を撮像画像として設定してもよい。
【0077】
第2飛行制御部512は、飛行ルートRに沿って、無人航空機30を飛行させる。具体的には、飛行ルートRのデータを、飛行指令として、無人航空機30の制御装置39が受信する。これにより、無人航空機30の制御装置39は、駆動装置36を駆動させる。この結果、無人航空機30を、飛行ルートRに沿って飛行することができる。
【0078】
第2撮像制御部513は、無人航空機30が撮像座標(s1,t1)、(s2,t2)、…に到達したタイミングで、撮像装置35に屋根11の部分を撮像させる。
【0079】
具体的には、第2撮像制御部513は、建物10の撮像座標(s1,t1)、(s2,t2)、…および高度(撮像高度)に到達したことを、無人航空機30の座標検出センサ32および高度検出センサ34が検出した位置座標および高度に基づいて判定する。無人航空機30が到達したと第2撮像制御部513が判定した場合には、第2撮像制御部513は、通信装置51、31を介して、撮像装置35に撮像指令を送信する。
【0080】
部分画像取得部514は、撮像した屋根11の部分の点検用画像を取得する。具体的には、部分画像取得部514は、第2撮像制御部513が撮像指令を送信したことを受け、屋根11の部分の画像は、無人航空機30から通信装置31を介して送信され、これを操作端末50の通信装置51で受信し、部分画像取得部514は、屋根11の部分の画像のデータを記録する(取得する)。
【0081】
図13は、第2実施形態の
図9に示す制御装置59の制御フロー図であり、
図8のステップS89に続く制御フロー図である。
図8に示す制御フロー図の説明は省略し、以下に、
図13のフロー図を参照しながら、各ステップを説明するとともに、その作用効果も合わせて詳述する。
【0082】
ステップS91では、入力装置53を介して、表示装置52で表示された俯瞰画像Gの画素を複数選択する。この際、選択された画素は、飛行ルートRを想定したルート設定画素g1,g2,…である。ステップS92では、ルート設定画素記録部509により、ルート設定画素g1,g2,…を記録する。
【0083】
次に、飛行ルート設定部510により、無人航空機30の方位および高度を含む飛行ルートRを設定する。飛行ルートRの設定は、ルート設定画素g1,g2,…に基づいて、自動的に行われる。ここで、無人航空機30の飛行パターンが複数存在する場合には、入力装置53を介して、1つの飛行パターンを選択する。この飛行パターンの選択は、
図8に示すステップS85の飛行開始よりも前に行ってもよい。
【0084】
次に、ステップS94では、撮像座標設定部511により、設定された飛行ルートR上に、屋根11の部分を撮像する撮像座標(s1,t1)、(s2,t2)、…を設定する。この設定は、撮像座標設定部511により、自動的に行われるが、操作者(点検者)が確認したい地点の画素を入力装置53で選択し、撮像座標設定部511が、選択された画素に対応した位置座標を、撮像座標として設定してもよい。
【0085】
次に、ステップS95に進み、第2飛行制御部512により、設定された飛行ルートRに沿った無人航空機30の飛行を開始する。
図8に示すS89以降に、無人航空機30が着陸している場合には、その位置から無人航空機30が離陸して、無人航空機30は、飛行ルートRの上に向かう。無人航空機30が、基準座標で飛行している場合には、その位置から、無人航空機30は飛行ルートR上に向かう。
【0086】
次に、ステップS96では、第2撮像制御部513により、無人航空機30が撮像座標(s1,t1)に到達したタイミングで、撮像装置35に屋根11の部分を撮像させ、部分画像取得部514で、屋根11の部分の点検用画像を取得する。
【0087】
次に、ステップS97で、無人航空機30が飛行ルートRの終点に到着したどうかを判定する。ここで、飛行ルートRの終点に到着していない場合には、無人航空機30は、飛行ルートRの飛行途中であることから、飛行ルートRに沿った飛行を継続する。そして、ステップS96において、第2撮像制御部513により、無人航空機30が次の撮像座標(s2,t2)に到達したタイミングで、撮像装置35に屋根11の部分を撮像させ、部分画像取得部514で、屋根11の部分のさらなる点検用画像を取得することができる。このように、ステップS96、S97を繰り返すことにより、各撮像地点において、複数の屋根11の部分の画像を取得することができる。
【0088】
最後に、ステップS97で、無人航空機30が飛行ルートRの終点に到着した場合には、所定の地点にまで、無人航空機30を自律飛行させ、ステップS98で着陸させる。
【0089】
以上、本発明のいくつかの実施形態について詳述したが、本発明は、前記の実施形態に限定されるものではなく、特許請求の範囲および明細書に記載された本発明の精神を逸脱しない範囲で、種々の設計変更を行うことができるものである。
【0090】
本実施形態では、本発明の無人航空機の制御装置に相当する制御を、操作端末の制御装置で行ったが、たとえば、これらの制御を、無人航空機に搭載された制御装置で行ってもよい。
【符号の説明】
【0091】
10:建物、11:屋根、13:軒先、30:無人航空機、32:座標検出センサ(GPS)、33:方位検出センサ(ジャイロセンサ)、34:高度検出センサ、35:撮像装置、36:駆動装置、39:制御装置、50:操作端末、52:表示装置、53:入力装置、59:制御装置、502:建物情報記録部、503:撮像高度算出部、504:第1飛行制御部、505:第1撮像制御部、506:全体画像取得部、507:尺度算出部、508:座標算出部、509:ルート設定画素記録部、510:飛行ルート設定部、511:撮像座標設定部、512:第2飛行制御部、513:第2撮像制御部、514:部分画像取得部