IP Force 特許公報掲載プロジェクト 2022.1.31 β版

知財求人 - 知財ポータルサイト「IP Force」

▶ 日本電気株式会社の特許一覧

特許7574899飛行体制御装置、飛行体制御方法、及びプログラム
<>
  • 特許-飛行体制御装置、飛行体制御方法、及びプログラム 図1
  • 特許-飛行体制御装置、飛行体制御方法、及びプログラム 図2
  • 特許-飛行体制御装置、飛行体制御方法、及びプログラム 図3
  • 特許-飛行体制御装置、飛行体制御方法、及びプログラム 図4
  • 特許-飛行体制御装置、飛行体制御方法、及びプログラム 図5
  • 特許-飛行体制御装置、飛行体制御方法、及びプログラム 図6
  • 特許-飛行体制御装置、飛行体制御方法、及びプログラム 図7
  • 特許-飛行体制御装置、飛行体制御方法、及びプログラム 図8
  • 特許-飛行体制御装置、飛行体制御方法、及びプログラム 図9
  • 特許-飛行体制御装置、飛行体制御方法、及びプログラム 図10
  • 特許-飛行体制御装置、飛行体制御方法、及びプログラム 図11
  • 特許-飛行体制御装置、飛行体制御方法、及びプログラム 図12
< >
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2024-10-21
(45)【発行日】2024-10-29
(54)【発明の名称】飛行体制御装置、飛行体制御方法、及びプログラム
(51)【国際特許分類】
   G05D 1/46 20240101AFI20241022BHJP
   G05D 1/223 20240101ALI20241022BHJP
   G05D 1/224 20240101ALI20241022BHJP
   B64U 10/13 20230101ALI20241022BHJP
   B64U 20/87 20230101ALI20241022BHJP
   B64C 13/20 20060101ALI20241022BHJP
   G08G 5/00 20060101ALI20241022BHJP
【FI】
G05D1/46
G05D1/223
G05D1/224
B64U10/13
B64U20/87
B64C13/20 Z
G08G5/00 A
【請求項の数】 13
(21)【出願番号】P 2023144190
(22)【出願日】2023-09-06
(62)【分割の表示】P 2022507071の分割
【原出願日】2020-03-11
(65)【公開番号】P2023171742
(43)【公開日】2023-12-05
【審査請求日】2023-09-06
(73)【特許権者】
【識別番号】000004237
【氏名又は名称】日本電気株式会社
(74)【代理人】
【識別番号】100110928
【弁理士】
【氏名又は名称】速水 進治
(72)【発明者】
【氏名】中林 達彦
【審査官】田中 友章
(56)【参考文献】
【文献】特開2018-160228(JP,A)
【文献】特開2018-156491(JP,A)
【文献】米国特許出願公開第2019/0212741(US,A1)
【文献】国際公開第2015/163106(WO,A1)
(58)【調査した分野】(Int.Cl.,DB名)
G05D 1/46
G05D 1/223
G05D 1/224
B64U 10/13
B64U 20/87
B64C 13/20
G08G 5/00
(57)【特許請求の範囲】
【請求項1】
飛行ルートのスタート地点を示す指令情報を飛行体へ送信する処理と、
前記スタート地点に前記飛行体が到達したことに応じて、前記飛行体に設けられた撮像装置が撮影した画像を受信する処理と、
前記画像をディスプレイに表示する処理と、
前記画像に写る物体の中から検査対象を指定するための入力として、線を描く入力を受け付ける処理と、
前記入力により描かれる前記線に最も近い物体を前記検査対象として選択する処理と、
前記検査対象が選択されたことに応じて、前記検査対象に沿って前記飛行体を飛行させる指令情報を前記飛行体へ送信する処理と、
を飛行体制御装置に行わせる、プログラム。
【請求項2】
前記画像に写る物体の傾きと、前記線の傾きとに基づいて、前記線に最も近い物体を前記検査対象として選択する処理を前記飛行体制御装置に行わせる、請求項に記載のプログラム。
【請求項3】
前記画像に写る物体と前記線との距離に基づいて、前記線に最も近い物体を前記検査対象として選択する処理を前記飛行体制御装置に行わせる、請求項またはに記載のプログラム。
【請求項4】
飛行ルートのスタート地点を示す指令情報を飛行体へ送信する処理と、
前記スタート地点に前記飛行体が到達したことに応じて、前記飛行体に設けられた撮像装置が撮影した画像を受信する処理と、
前記画像をディスプレイに表示する処理と、
前記画像に写る物体の中から、検査対象を指定するための入力を受け付ける処理と、
前記入力に基づいて、検査対象を選択する処理と、
前記検査対象が選択されたことに応じて、前記検査対象に沿って前記飛行体を飛行させる指令情報を前記飛行体へ送信する処理と、
前記検査対象が選択されたことに応じて、前記検査対象に沿うマーカを前記ディスプレイに表示させる処理と、
を飛行体制御装置に行わせる、プログラム。
【請求項5】
飛行ルートのスタート地点を示す指令情報を飛行体へ送信する処理と、
前記スタート地点に前記飛行体が到達したことに応じて、前記飛行体に設けられた撮像装置が撮影した画像を受信する処理と、
前記画像をディスプレイに表示する処理と、
前記画像に写る物体の中から、検査対象を指定するための入力を受け付ける処理と、
前記入力に基づいて、検査対象を選択する処理と、
前記検査対象が選択されたことに応じて、前記検査対象に沿って前記飛行体を飛行させる指令情報を前記飛行体へ送信する処理と、
前記飛行体が電柱または送電塔を通り過ぎたことに応じて、再度検査対象を選択するための処理と、
を飛行体制御装置に行わせるプログラム。
【請求項6】
前記飛行ルートのスタート地点において前記飛行体が指定された高さに位置していることに応じて、前記撮像装置が撮影した画像を受信する処理を前記飛行体制御装置に行わせる、請求項1から5のいずれか一項に記載のプログラム。
【請求項7】
前記物体は、電線または配管のいずれかを含む、請求項1からのいずれか一項に記載のプログラム。
【請求項8】
コンピュータが、
飛行ルートのスタート地点を示す指令情報を飛行体へ送信し、
前記スタート地点に前記飛行体が到達したことに応じて、前記飛行体に設けられた撮像装置が撮影した画像を受信し、
前記画像をディスプレイに表示し、
前記画像に写る物体の中から検査対象を指定するための入力として、線を描く入力を受け付け、
前記入力により描かれる前記線に最も近い物体を前記検査対象として選択し、
前記検査対象が選択されたことに応じて、前記検査対象に沿って前記飛行体を飛行させる指令情報を前記飛行体へ送信する、
ことを含む飛行体制御方法。
【請求項9】
コンピュータが、
飛行ルートのスタート地点を示す指令情報を飛行体へ送信し、
前記スタート地点に前記飛行体が到達したことに応じて、前記飛行体に設けられた撮像装置が撮影した画像を受信し、
前記画像をディスプレイに表示し、
前記画像に写る物体の中から、検査対象を指定するための入力を受け付け、
前記入力に基づいて、検査対象を選択し、
前記検査対象が選択されたことに応じて、前記検査対象に沿って前記飛行体を飛行させる指令情報を前記飛行体へ送信し、
前記検査対象が選択されたことに応じて、前記検査対象に沿うマーカを前記ディスプレイに表示させる、
ことを含む飛行体制御方法。
【請求項10】
コンピュータが、
飛行ルートのスタート地点を示す指令情報を飛行体へ送信し、
前記スタート地点に前記飛行体が到達したことに応じて、前記飛行体に設けられた撮像装置が撮影した画像を受信し、
前記画像をディスプレイに表示し、
前記画像に写る物体の中から、検査対象を指定するための入力を受け付け、
前記入力に基づいて、検査対象を選択し、
前記検査対象が選択されたことに応じて、前記検査対象に沿って前記飛行体を飛行させる指令情報を前記飛行体へ送信し、
前記飛行体が電柱または送電塔を通り過ぎたことに応じて、再度検査対象を選択するための処理を行う、
ことを含む飛行体制御方法。
【請求項11】
飛行ルートのスタート地点を示す指令情報を飛行体へ送信する送信手段と、
前記スタート地点に前記飛行体が到達したことに応じて、前記飛行体に設けられた撮像装置が撮影した画像を受信する画像受信手段と、
前記画像をディスプレイに表示する表示処理手段と、
前記画像に写る物体の中から検査対象を指定するための入力として、線を描く入力を受け付ける入力受付手段と、
前記入力により描かれる前記線に最も近い物体を前記検査対象として選択する対象選択手段と、
前記検査対象が選択されたことに応じて、前記検査対象に沿って前記飛行体を飛行させる指令情報を前記飛行体へ送信する飛行制御手段と、
を備える飛行体制御装置。
【請求項12】
飛行ルートのスタート地点を示す指令情報を飛行体へ送信する送信手段と、
前記スタート地点に前記飛行体が到達したことに応じて、前記飛行体に設けられた撮像装置が撮影した画像を受信する画像受信手段と、
前記画像をディスプレイに表示する表示処理手段と、
前記画像に写る物体の中から、検査対象を指定するための入力を受け付ける入力受付手段と、
前記入力に基づいて、検査対象を選択する対象選択手段と、
前記検査対象が選択されたことに応じて、前記検査対象に沿って前記飛行体を飛行させる指令情報を前記飛行体へ送信する飛行制御手段と、
前記検査対象が選択されたことに応じて、前記検査対象に沿うマーカを前記ディスプレイに表示させるマーカ表示手段と、
を備える飛行体制御装置。
【請求項13】
飛行ルートのスタート地点を示す指令情報を飛行体へ送信する送信手段と、
前記スタート地点に前記飛行体が到達したことに応じて、前記飛行体に設けられた撮像装置が撮影した画像を受信する画像受信手段と、
前記画像をディスプレイに表示する表示処理手段と、
前記画像に写る物体の中から、検査対象を指定するための入力を受け付ける入力受付手段と、
前記入力に基づいて、検査対象を選択する対象選択手段と、
前記検査対象が選択されたことに応じて、前記検査対象に沿って前記飛行体を飛行させる指令情報を前記飛行体へ送信する飛行制御手段と、
前記飛行体が電柱または送電塔を通り過ぎたことに応じて、再度検査対象を選択するための処理を行う再選択手段と、
を備える飛行体制御装置。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、飛行体制御装置、飛行体制御方法、及びプログラムに関する。
【背景技術】
【0002】
近年は、ドローンなどの飛行体を用いて検査対象を検査することが行われている。例えば特許文献1には、ドローンを使って鉄塔などの構造物を検査することが記載されている。
【先行技術文献】
【特許文献】
【0003】
【文献】特開2019-196980号公報
【発明の概要】
【発明が解決しようとする課題】
【0004】
本発明者は、電線や配管など、ある程度の長さを有する検査対象を、ドローンなどの飛行体を用いて検査することを検討した。ここで、複数の電線や配管が並列に配置されていることがある。このような場合、検査員は、検査対象となる電線や配管を指定する必要がある。
【0005】
本発明の目的の一例は、電線や配管などを飛行体を用いて検査する際に、検査対象となる電線や配管を指定しやすくすることである。
【課題を解決するための手段】
【0006】
本開示におけるプログラムは、
飛行ルートのスタート地点を示す指令情報を飛行体へ送信する処理と、
前記スタート地点に前記飛行体が到達したことに応じて、前記飛行体に設けられた撮像装置が撮影した画像を受信する処理と、
前記画像をディスプレイに表示する処理と、
前記画像に写る物体の中から、検査対象を指定するための入力を受け付ける処理と、
前記入力に基づいて、検査対象を選択する処理と、
前記検査対象が選択されたことに応じて、前記検査対象に沿って前記飛行体を飛行させる指令情報を前記飛行体へ送信する処理と、
を飛行体制御装置に行わせる。
【0007】
本開示における飛行体制御方法は、
コンピュータが、
飛行ルートのスタート地点を示す指令情報を飛行体へ送信し、
前記スタート地点に前記飛行体が到達したことに応じて、前記飛行体に設けられた撮像装置が撮影した画像を受信し、
前記画像をディスプレイに表示し、
前記画像に写る物体の中から、検査対象を指定するための入力を受け付け、
前記入力に基づいて、検査対象を選択し、
前記検査対象が選択されたことに応じて、前記検査対象に沿って前記飛行体を飛行させる指令情報を前記飛行体へ送信する、
ことを含む。
【0008】
本開示における飛行体制御装置は、
飛行ルートのスタート地点を示す指令情報を飛行体へ送信する送信手段と、
前記スタート地点に前記飛行体が到達したことに応じて、前記飛行体に設けられた撮像装置が撮影した画像を受信する画像受信手段と、
前記画像をディスプレイに表示する表示処理手段と、
前記画像に写る物体の中から、検査対象を指定するための入力を受け付ける入力受付手段と、
前記入力に基づいて、検査対象を選択する対象選択手段と、
前記検査対象が選択されたことに応じて、前記検査対象に沿って前記飛行体を飛行させる指令情報を前記飛行体へ送信する飛行制御手段と、
を備える。
【0009】
本発明によれば、電線や配管などを飛行体を用いて検査する際に、検査対象となる電線や配管を指定しやすくなる。
【図面の簡単な説明】
【0010】
上述した目的、およびその他の目的、特徴および利点は、以下に述べる好適な実施の形態、およびそれに付随する以下の図面によってさらに明らかになる。
【0011】
図1】実施形態に係るルート設定装置及び飛行体制御装置(表示制御装置の一例)の使用環境を説明する図である。
図2】ルート設定装置の機能構成の一例を示す図である。
図3】飛行体制御装置の機能構成の一例を示す図である。
図4】飛行体の機能構成の一例を示す図である。
図5】ルート設定装置のハードウェア構成例を示す図である。
図6】ルート設定装置が行う処理の一例を示すフローチャートである。
図7】ステップS50でディスプレイに表示される画面の一例を示す図である。
図8】飛行体制御装置が飛行体を制御する処理の一例を示すフローチャートである。
図9】ステップS160においてディスプレイが表示している画面の一例を示す図である。
図10】選択部が検査対象を選択するときの処理の一例を示す図である。
図11図8のステップS180の詳細例を示すフローチャートである。
図12】ステップS210においてディスプレイに表示される画面の一例を示す図である。
【発明を実施するための形態】
【0012】
以下、本発明の実施の形態について、図面を用いて説明する。尚、すべての図面において、同様な構成要素には同様の符号を付し、適宜説明を省略する。
【0013】
図1は、実施形態に係るルート設定装置10及び飛行体制御装置20(表示制御装置の一例)の使用環境を説明する図である。ルート設定装置10及び飛行体制御装置20は、飛行体30を用いて検査対象を検査する際に用いられる。なお、ルート設定装置10及び飛行体制御装置20は一つの装置になっていてもよい。
【0014】
検査対象は、例えば電線や配管など、連続して延在している物である。電線は、例えば送電線であってもよいし、信号を送信する送信線であってもよい。送電線は高圧電線であってもよいし、電車の架線であってもよい。また、配管は、例えばパイプラインであってもよいし、工場の敷地内に設置された配管であってもよい。
【0015】
飛行体30は、例えばドローンや無人ヘリコプターであり、無線通信を用いて外部から操作される。飛行体30は撮像部350(図4参照)を有しており、飛行中に検査対象を撮像して画像データを生成する。この撮像を行う際、飛行体30は、ある程度検査対象から離れて飛行する必要がある。特に検査対象が送電用の電線の場合、電線から生じる電磁波が飛行体30の飛行に影響を与える可能性があるため、飛行ルートを設定する際に、当該飛行ルートと検査対象の間の距離を確保する必要がある。ルート設定装置10は、飛行体30の飛行ルートを設定する際に用いられる。そして飛行体制御装置20は、ルート設定装置10が設定した飛行ルートに従って飛行体30を飛行させるための処理を行う。
【0016】
また、飛行体制御装置20は、撮像部350の撮像方向や倍率の制御も行っている。ここで、複数の電線や配管が互いに並列に設置されていることがある。このような場合、複数の電線や配管から、検査対象となる電線や配管を設定する必要がある。飛行体制御装置20は、複数の電線や配管から検査対象を選択するときにも用いられる。
【0017】
図2は、ルート設定装置10の機能構成の一例を示す図である。ルート設定装置10は、第1取得部130及びルート設定部140を備えている。第1取得部130は、複数の地点を指定する指定情報を取得する。これら検査員は、これら複数の地点を設定するときに、当該複数の地点のそれぞれが検査対象と重なるようにする。ルート設定部140は、指定情報が示す複数の地点を同一方向かつ同一距離に移動した地点を結んだ線を、飛行体の飛行ルートにする。第1の例において、ルート設定部140は、指定情報が示す複数の地点を結ぶことにより、仮の飛行ルートを設定する。そしてルート設定部140は、この仮の飛行ルートを移動させることにより、飛行ルートを設定する。第2の例において、ルート設定部140は、指定情報が示す複数の地点を同一方向かつ同一距離に移動に移動させる。そしてルート設定部140は、移動後の複数の地点を結ぶことにより、飛行体の飛行ルートを設定する。
【0018】
本図に示す例において、ルート設定装置10は、さらに、表示部110、データ記憶部112、ディスプレイ120、及び第2取得部150を備えている。
【0019】
データ記憶部112は、地図データ又は上空から撮影された画像(例えば航空写真や衛星写真)を記憶している。表示部110は、ユーザからの指示に従って、検査対象及びその周囲の地図データ又は画像を読み出してディスプレイ120に表示させる。
【0020】
データ記憶部112が記憶している地図データ及び画像において、各地点には当該地点の位置情報(例えば緯度経度情報)が紐づけられている。そして、第1取得部130は、ディスプレイ120に表示された地図又は画像上で選択された複数の地点を特定する情報を、上記した指定情報として取得する。ルート設定部140は、これら指定情報によって指定された複数の地点それぞれについて、位置情報を取得し、これら位置情報を用いて仮の飛行ルートを設定する。
【0021】
第2取得部150は、指定情報が示す複数の地点の移動距離を示す情報(以下、移動指示情報と記載)を取得する。移動指示情報は、複数の地点それぞれの移動方向を含んでいてもよい。ここで、複数の地点のすべてに同じ移動距離が適用される。そしてルート設定部140は、移動指示情報を用いて飛行ルートを設定する。
【0022】
第1取得部130及び第2取得部150は、例えばマウスなどの入力デバイスを介して必要な情報を取得する。ただしディスプレイ120がタッチパネルである場合、第1取得部130及び第2取得部150の少なくとも一方は、ディスプレイ120を介して必要な情報を取得してもよい。
【0023】
例えば第1取得部130は、マウスによって選択された地点を示す情報や、ディスプレイ120に対してタッチ入力された地点を示す情報を、指定情報として取得する。また第2取得部150は、ディスプレイ120に対して行われたスライド入力を移動指示情報として取得する。この場合、スライド量が移動距離を示している。また場合によっては、スライド方向が移動方向を示すこともある。
【0024】
図3は、飛行体制御装置20の機能構成の一例を示す図である。飛行体制御装置20は、表示部210、ディスプレイ220、入力部230、選択部240、及び指令生成部250を備えている。
【0025】
指令生成部250は、飛行体30の撮像部350が生成した画像を取得する。表示部210は、指令生成部250が取得した画像をディスプレイ220に表示する。この画像は、検査対象となり得る少なくとも一つの電線又は配管を含んでいる。入力部230は、ユーザからの入力に従って、ディスプレイ220に表示された画像内に、線を表示する。選択部240は、入力部230が表示した線を用いて、検査対象となる電線又は配管を選択する。例えば画像内に複数の電線又は配管が含まれている場合、選択部240は、入力部230が表示した線を用いて、複数の電線又は配管から検査対象を選択する。指令生成部250は、飛行体が検査対象に沿って移動しつつ当該検査対象を撮影するための指令情報を生成し、当該指令情報を飛行体30に送信する。一例として指令生成部250は、ルート設定装置10が生成した飛行ルートに従って飛行体30を飛行させるように、指令情報を生成する。
【0026】
なお、ルート設定装置10が生成した飛行ルートが2次元の情報(例えば緯度経度情報)である場合、指令生成部250は、飛行体30の飛行高さを示す情報(以下、高さ情報と記載)を、飛行ルートとは別に取得する。例えば検査対象の検査を行う人(以下、検査員と記載)は、入力部230に高さ情報を入力する。高さ情報は固定値であってもよいし、飛行ルートに沿って変化してもよい。指令生成部250は、この高さ情報を指令情報に含める。
【0027】
飛行体30は、飛行している間、当該飛行体30の位置情報を、繰り返し飛行体制御装置20に送信する。すると飛行体制御装置20の指令生成部250は、この位置情報を用いて、飛行体30が飛行ルートに沿って移動するように指令情報を繰り返し生成し、生成した指令情報を飛行体30に送信する。
【0028】
さらに飛行体30が飛行している間、飛行体30の撮像部350は画像を繰り返し生成する。指令生成部250は、撮像部350が生成した画像を繰り返し取得する。そして指令生成部250は、画像を取得するたびに、当該画像内における検査対象の位置に基づいて指令情報を生成する。例えば指令生成部250は、画像内において検査対象が中心に来るように、飛行体30の高さを制御する。
【0029】
また指令情報は、撮像部350を制御するための情報(以下、制御情報と記載)を含んでいる。この制御情報は、撮像部350の撮影方向及び倍率の少なくとも一方を制御するための情報である。例えば指令生成部250は、画像内において検査対象が中心に来るように、撮像部350の撮影方向に関する制御情報を生成する。また、指令生成部250は、撮影対象の大きさが基準の範囲内になるように、撮像部350の倍率に関する制御情報を生成する。
【0030】
なお、入力部230は、例えばマウスなどの入力デバイスを介して必要な情報を取得する。ただしディスプレイ220がタッチパネルである場合、入力部230は、ディスプレイ220を介して必要な情報を取得してもよい。例えば入力部230は、タッチパネルにペンや指などを用いて入力された(描かれた)線を、検査対象を選択するための情報とする。
【0031】
また表示部210は、指令生成部250が飛行体30から画像を取得するたびに、この画像をディスプレイ220に表示させる。この際、表示部210は、その画像内における検査対象の位置を特定したうえで、この検査対象を示すマーカを少なくとも2つ表示させる。これら2つのマーカは、当該2つのマーカの間に検査対象が位置するように、当該検査対象に沿って配置される。マーカは、例えば実線であるが点線や一点鎖線であってもよい。
【0032】
この際、表示部210は、検査対象を特定する情報(以下、検査対象特定情報と記載)を取得する。検査対象特定情報は、例えば一つ前の画像における検査対象の位置を示している。この場合、まず、表示部210は、選択部240が検査対象を特定する際に用いた画像内での当該検査対象の位置を示す情報を用いて、検査対象特定情報を生成する。そして表示部210は、この検査対象特定情報を用いて、その次の画像での検査対象の位置を特定するとともに、次の検査対象特定情報を生成する。表示部210は、これらの処理を繰り返すことにより、飛行体30が生成した複数の画像それぞれにおける、検査対象の位置を特定する。
【0033】
なお、マーカは予め定められた色、例えば赤色であるのが好ましい。このようにすると、検査員は、飛行体制御装置20が検査対象として認識している電線や配管を容易に認識することができる。その結果、飛行体制御装置20が誤った電線や配管を検査対象として認識していた場合、検査員は、その誤りに対してすぐに対処することができる。
【0034】
図4は、飛行体30の機能構成の一例を示す図である。本図に示す例において、飛行体30は通信部310、飛行制御部320、駆動機構330、撮像制御部340、及び撮像部350を備えている。
【0035】
通信部310は、飛行体制御装置20と通信し、飛行体制御装置20から指令情報を受信するとともに、撮像部350が生成した画像を飛行体制御装置20に送信する。駆動機構330は飛行体30のプロペラを駆動するモータ及び当該プロペラの角度を制御する機構を有している。飛行制御部320は、飛行体制御装置20から送信された指令情報に従って駆動機構330制御する。この際、飛行制御部320は、GPSなどを用いて飛行体30の現在位置を把握している。そして飛行制御部320は、飛行体30の現在位置と指令情報を用いて、飛行体30の移動を制御する。これにより、飛行体30は、飛行体制御装置20が設定した高さを維持した状態で、ルート設定装置10が設定した飛行ルートに従って飛行することができる。
【0036】
また撮像制御部340は、指令情報に含まれる制御情報に従って、撮像部350を制御する。例えば撮像制御部340は、画像内において検査対象が中心に来るように、撮像部350の撮影方向を制御する。また、撮像制御部340は、撮影対象の大きさが基準の範囲内になるように、撮像部350の倍率を制御する。そして撮像制御部340は、撮像部350が生成した画像を、通信部310を介して飛行体制御装置20に送信する。
【0037】
図5は、ルート設定装置10のハードウェア構成例を示す図である。ルート設定装置10は、バス1010、プロセッサ1020、メモリ1030、ストレージデバイス1040、入出力インタフェース1050、及びネットワークインタフェース1060を有する。
【0038】
バス1010は、プロセッサ1020、メモリ1030、ストレージデバイス1040、入出力インタフェース1050、及びネットワークインタフェース1060が、相互にデータを送受信するためのデータ伝送路である。ただし、プロセッサ1020などを互いに接続する方法は、バス接続に限定されない。
【0039】
プロセッサ1020は、CPU(Central Processing Unit) やGPU(Graphics Processing Unit)などで実現されるプロセッサである。
【0040】
メモリ1030は、RAM(Random Access Memory)などで実現される主記憶装置である。
【0041】
ストレージデバイス1040は、HDD(Hard Disk Drive)、SSD(Solid State Drive)、メモリカード、又はROM(Read Only Memory)などで実現される補助記憶装置である。ストレージデバイス1040はルート設定装置10の各機能(例えば表示部110、第1取得部130、ルート設定部140、及び第2取得部150)を実現するプログラムモジュールを記憶している。プロセッサ1020がこれら各プログラムモジュールをメモリ1030上に読み込んで実行することで、そのプログラムモジュールに対応する各機能が実現される。また、ストレージデバイス1040はデータ記憶部112としても機能する。
【0042】
入出力インタフェース1050は、ルート設定装置10の主要部と各種入出力機器とを接続するためのインタフェースである。例えばディスプレイ120は、入出力インタフェース1050を介してプロセッサ1020と通信する。
【0043】
ネットワークインタフェース1060は、ルート設定装置10をネットワークに接続するためのインタフェースである。このネットワークは、例えばLAN(Local Area Network)やWAN(Wide Area Network)である。ネットワークインタフェース1060がネットワークに接続する方法は、無線接続であってもよいし、有線接続であってもよい。ルート設定装置10は、ネットワークインタフェース1060を介して飛行体制御装置20と通信してもよい。
【0044】
なお、飛行体制御装置20のハードウェア構成も、図5に示した例と同様である。この場合、ストレージデバイス1040は飛行体制御装置20各機能(例えば表示部210、入力部230、選択部240、及び指令生成部250)を実現するプログラムモジュールを記憶している。またディスプレイ220は、入出力インタフェース1050を介してプロセッサ1020と通信する。そして飛行体制御装置20は、ネットワークインタフェース1060を介してルート設定装置10及び飛行体30と通信してもよい。
【0045】
図6は、ルート設定装置10が行う処理の一例を示すフローチャートである。本図に示す処理において、ルート設定装置10は飛行体30の飛行ルートを設定する。
【0046】
まずルート設定装置10の表示部110は、検査員からの入力に従って、検査対象が存在している場所の地図データ又は画像データをデータ記憶部112から読み出し、当該地図データ又は画像データをディスプレイ120に表示させる(ステップS10)。次いで検査員は、第1取得部130に、複数の地点を指定する指定情報を入力する(ステップS20)。例えば検査対象が電線の場合、検査員は、電柱や送電塔が存在する地点を、指定情報として選択する。
【0047】
次いでルート設定部140は、指定情報が示す複数の地点を結ぶことにより、仮ルートを生成する。表示部110は、この仮ルートを、ステップS10で表示した地図や画像に重ねてディスプレイ120に表示させる(ステップS30)。
【0048】
次いで検査員は、第2取得部150に、移動指示情報を入力する。この移動指示情報は、少なくとも仮ルートを移動すべき距離を含んでいる。そしてルート設定部140は、移動指示情報に従って仮ルートを移動させることにより、飛行ルートを生成する。ここで仮ルートの移動方向は、例えば仮ルートを示す直線に対して垂直方向であってもよい。例えば仮ルートが折れ線で示されていた場合、ルート設定部140は、折れ線を構成する各直線を、当該直線に対して垂直な方向に移動させる。このようにすると、飛行ルートを仮ルートに対して平行にすることができる。この時の各線の移動距離は、いずれも、移動指示情報が示す距離である。そして表示部110は、飛行ルートを、ステップS10で表示した地図や画像に重ねてディスプレイ120に表示させる(ステップS50)。
【0049】
検査員は、ディスプレイ120に表示された飛行ルートを確認する。この飛行ルートでよい場合(ステップS60:Yes)、検査員は、第2取得部150に、飛行ルートを確定するための入力を行う。するとルート設定部140は、生成した飛行ルートを飛行体制御装置20に送信する(ステップS70)。一方、飛行ルートを修正する場合(ステップS60:No)、ステップS40に戻る。
【0050】
図7は、ステップS50でディスプレイ120に表示される画面の一例を示している。ステップS10において、表示部110は、ディスプレイ120に、地図または上空から撮影された画像を表示させる。そしてステップS30において、表示部110は、ディスプレイ120に、この地図又は画像に重ねて、仮ルートを表示させる。さらにステップS50において、表示部110は、ディスプレイ120に、この地図又は画像に重ねて、飛行ルートを表示させる。この際、表示部110は、仮ルートから飛行ルートまでの距離、すなわち移動指示情報が示す移動距離をディスプレイ120に表示させる。このようにすると、検査員は、仮ルートと飛行ルートの間の距離、すなわち検査対象から飛行体30までの距離を確認することができるため、飛行ルートの妥当性を確認しやすくなる。なお、検査対象が高圧電線の場合、仮ルートと飛行ルートの間の距離は、例えば10m以上15m以下であるのが好ましい。
【0051】
図8は、飛行体制御装置20が飛行体30を制御する処理の一例を示している。本図に示す処理において、飛行体30が飛行している間、飛行体30の撮像部350は繰り返し画像を生成する。そして飛行体30の撮像制御部340は、撮像部350が画像を生成するたびにその画像を飛行体制御装置20に送信する。
【0052】
まず飛行体制御装置20の表示部210は、ルート設定装置10から飛行ルートを取得する(ステップS110)。すると飛行体制御装置20の指令生成部250は、この飛行ルートのスタート地点を示す指令情報を生成し、飛行体30に送信する(ステップS120)。
【0053】
すると飛行体30の飛行制御部320は、飛行ルートのスタート地点を認識し、このスタート地点まで飛行体30を飛行させる(ステップS130)。このとき、飛行体30は、指定された高さになっている。これにより、飛行体30の撮像部350は、スタート地点での画像を生成することができる。この画像は、検査対象を含んでいる。そして飛行体30の撮像制御部340は、この画像を飛行体制御装置20に送信する(ステップS140)。
【0054】
飛行体制御装置20の指令生成部250は、飛行体30から送信されてきた画像を受信する。そして表示部210は、この画像をディスプレイ220に表示させる(ステップS150)。この画像は、検査対象となり得る複数の電線や配管を含んでいる。そこで検査員は、飛行体制御装置20の入力部230を介して、画像上に、検査対象とすべき配線又は配管に沿った線を描く(ステップS160)。すると飛行体制御装置20の選択部240は、この線に最も近い配線又は配管を、検査対象として選択する(ステップS170)。検査対象の選択方法の具体例については、他の図を用いて後述する。
【0055】
その後、飛行体30の飛行の制御処理が行われる(ステップS180)。この制御処理の詳細例については、他の図を用いて説明する。
【0056】
なお、検査対象が電線の場合、一つの飛行ルートの途中に少なくとも一つの電柱や送電塔が含まれることがある。この場合、飛行体30が電柱又は送電塔を通り過ぎるたびに、ステップS130~ステップS180までの処理が繰り返される。
【0057】
図9は、図8のステップS160においてディスプレイ220が表示している画面の一例を示している。本図に示すように、飛行体30の撮像部350が撮影した画像に、複数の電線や配管(本図では電線)が含まれていることがある。そしてこれらの電線や配管は、互いに並列に設けられている場合が多い。このため、検査対象を選択するための入力方法を工夫しないと、飛行体制御装置20が検査対象を誤認識する可能性が高くなる。
【0058】
これに対して本図に示す例では、検査員は、画像を表示しているディスプレイ220に対し、検査対象に沿った線を入力する。すると飛行体制御装置20の選択部240は、この線に最も近い電線又は配管を、検査対象として選択する。このため、検査員は、所望する電線や配管を検査対象として選択しやすくなる。
【0059】
図10は、選択部240が検査対象を選択するときの処理の一例を示している。本図に示す例において、選択部240は、画像を処理することにより、検査対象となり得る電線や配管を直線で近似し、画像内における当該直線の傾き及びy切片を算出する。また選択部240は、検査員が入力した線に対しても同様の処理を行い、この線の傾き及びy切片を算出する。そして、選択部240は、傾き及びy切片からなる2次元平面において、検査員が入力した線に最も近い電線や配管を、検査対象として選択する。
【0060】
図11は、図8のステップS180の詳細例を示すフローチャートである。本図に示す処理は、飛行体30が検査対象に沿って飛行している間、繰り返し行われる。
【0061】
まず飛行体制御装置20の表示部210は、飛行体30から送信されてきた画像をディスプレイ220に表示するとともに、検査対象を示すマーカを少なくとも2つディスプレイ220に表示させる(ステップS210)。また飛行体制御装置20の指令生成部250は、検査対象に沿って飛行体30を飛行させつつ検査対象を撮影するための指令情報を生成し(ステップS220)、この指令情報を飛行体30に送信する(ステップS230)。この指令情報は、上記したように、撮像部350の撮影方向及び倍率の少なくとも一方を制御するための制御情報も含んでいる。
【0062】
飛行体30の飛行制御部320は、飛行体制御装置20から送信されてきた指令情報に従って飛行体30を飛行させる(ステップS240)。また、飛行体30の撮像制御部340は、制御情報に従って撮像部350の撮影方向及び倍率の少なくとも一方を制御する(ステップS250)。そして撮像制御部340は、撮像部350が生成した画像を飛行体制御装置20に送信する(ステップS260)。
【0063】
その後、飛行体制御装置20の表示部210は、新たに取得した画像における検査対象の位置を特定し、この位置を用いて検査対象特定情報を生成し(ステップS270)、ステップS210に戻る。
【0064】
なお、図11のステップS220及びS270に示した処理を、飛行体30の飛行制御部320が行うこともあり得る。この場合、飛行体制御装置20の指令生成部250は、最初に、検査対象を特定するための特定情報を飛行体30に送信する。この特定情報の一例は、図10に示した2次元平面における検査対象の座標である。その後、飛行体30は、特定された検査対象を追従するために、ステップS220、S240、S250、及びS270に示した処理を繰り返し行う。この場合も、飛行体30の撮像制御部340は、撮像部350が生成した画像を繰り返し飛行体制御装置20に送信する(ステップS260)。また、飛行体制御装置20は、画像を取得するたびに、ステップS270及びS210に示した処理を行う。
【0065】
図12は、図11のステップS210においてディスプレイ220に表示される画面の一例を示している。本図に示すように、ディスプレイ220には、飛行体30の撮像部350が生成した画像と共に、飛行体制御装置20が検査対象として認識している電線や配管を示す2つのマーカも表示されている。これら2つのマーカは、当該2つのマーカの間に検査対象が位置するように、当該検査対象に沿って配置される。このため、検査員は、飛行体制御装置20が検査対象として認識している電線や配管を容易に認識できる。
【0066】
なお、ステップS210において、表示部210は、画像処理を行うことにより、検査対象に発生している異常(例えば傷)を検出してもよい。この場合、表示部210は、検出した異常を識別可能にディスプレイ220に表示させるのが好ましい。一例として、表示部210は、異常が存在する場所にマークを表示してもよい。このマークは、例えば所定の色(例えば赤色)の枠であるが、これに限定されない。
【0067】
以上、飛行体30を用いて電線や配管を検査する際に、検査対象となる電線や配管から一定距離離れた場所を飛行ルートとする必要がある。ここでルート設定装置10を用いると、この飛行ルートを容易に設定することができる。
【0068】
また、飛行体30が撮影した画像において、検査対象となる複数の電線や配管が並列に位置していることがある。ここで飛行体制御装置20を用いると、これら複数の電線や配管から、検査員が検査対象として所望している電線や配管を容易に選択することができる。
【0069】
さらに、飛行体制御装置20において、飛行体30の撮像部350が生成した画像と共に、飛行体制御装置20が検査対象として認識している電線や配管を示す2つのマーカも表示される。これら2つのマーカは、当該2つのマーカの間に検査対象が位置するように、当該検査対象に沿って配置される。このため、検査員は、飛行体制御装置20が検査対象として認識している電線や配管を容易に認識できる。そして検査員は、飛行体制御装置20が誤った電線や配管を検査対象として認識していた場合、その誤りに対してすぐに対処することができる。
【0070】
以上、図面を参照して本発明の実施形態について述べたが、これらは本発明の例示であり、上記以外の様々な構成を採用することもできる。
【0071】
また、上述の説明で用いた複数のフローチャートでは、複数の工程(処理)が順番に記載されているが、各実施形態で実行される工程の実行順序は、その記載の順番に制限されない。各実施形態では、図示される工程の順番を内容的に支障のない範囲で変更することができる。また、上述の各実施形態は、内容が相反しない範囲で組み合わせることができる。
【0072】
上記の実施形態の一部または全部は、以下の付記のようにも記載されうるが、以下に限られない。
1.飛行体が有する撮像手段が撮像した画像であって、検査対象となり得る少なくとも一つの電線又は配管を含む画像をディスプレイに表示する表示手段と、
ユーザからの入力に従って、前記画像内に線を描く入力手段と、
前記線を用いて検査対象を選択する選択手段と、
前記飛行体が前記検査対象に沿って移動しつつ当該検査対象を撮影するための指令情報を生成して前記飛行体に送信する指令生成手段と、
を備える飛行体制御装置。
2.上記1に記載の飛行体制御装置において、
前記選択手段が前記検査対象を選択した後、
前記指令生成手段は、
前記飛行体が生成した前記画像を繰り返し取得し、
前記画像を取得すると、当該画像内における前記検査対象の位置に基づいて前記指令情報を生成する飛行体制御装置。
3.上記2に記載の飛行体制御装置において、
前記撮像手段は少なくとも撮影方向及び倍率の少なくとも一方の制御が可能であり、
前記指令情報は、前記少なくとも一方を制御するための制御情報を含む飛行体制御装置。
4.上記1に記載の飛行体制御装置において、
前記指令情報は、前記飛行体が前記検査対象を特定するための特定情報を含む飛行体制御装置。
5.上記4に記載の飛行体制御装置において、
前記選択手段は、
前記画像内における前記少なくとも一つの電線又は配管のそれぞれを直線で近似するとともに、前記入力された前記線も直線で近似し、
直線を定義する傾き及びy切片を変数とする2次元平面において、前記線に最も近い前記電線又は配管を前記検査対象として選択し、
前記指令生成手段は、前記2次元平面内における前記検査対象の座標を前記指令情報に含める飛行体制御装置。
6.上記1~5のいずれか一項に記載の飛行体制御装置において、
前記検査対象は電線であり、
前記飛行体が電柱又は送電塔を通り過ぎるたびに、前記表示手段、前記入力手段、前記選択手段、及び前記指令生成手段は、それぞれの処理を行う飛行体制御装置。
7.コンピュータが、
飛行体が有する撮像手段が撮像した画像であって、検査対象となり得る少なくとも一つの電線又は配管を含む画像をディスプレイに表示し、
ユーザからの入力に従って、前記画像内に線を描き、
前記線を用いて検査対象を選択し、
前記飛行体が前記検査対象に沿って移動しつつ当該検査対象を撮影するための指令情報を生成して前記飛行体に送信する、飛行体制御方法。
8.上記7に記載の飛行体制御方法において、
前記コンピュータは、前記検査対象を選択した後、
前記飛行体が生成した前記画像を繰り返し取得し、
前記画像を取得すると、当該画像内における前記検査対象の位置に基づいて前記指令情報を生成する飛行体制御方法。
9.上記8に記載の飛行体制御方法において、
前記撮像手段は少なくとも撮影方向及び倍率の少なくとも一方の制御が可能であり、
前記指令情報は、前記少なくとも一方を制御するための制御情報を含む飛行体制御方法。
10.上記7に記載の飛行体制御方法において、
前記指令情報は、前記飛行体が前記検査対象を特定するための特定情報を含む飛行体制御方法。
11.上記10に記載の飛行体制御方法において、
前記コンピュータは、
前記画像内における前記少なくとも一つの電線又は配管のそれぞれを直線で近似するとともに、前記入力された前記線も直線で近似し、
直線を定義する傾き及びy切片を変数とする2次元平面において、前記線に最も近い前記電線又は配管を前記検査対象として選択し、
前記2次元平面内における前記検査対象の座標を前記指令情報に含める飛行体制御方法。
12.上記7~11のいずれか一項に記載の飛行体制御方法において、
前記検査対象は電線であり、
前記飛行体が電柱又は送電塔を通り過ぎるたびに、前記コンピュータは上記した処理を行う飛行体制御方法。
13.コンピュータに、
飛行体が有する撮像手段が撮像した画像であって、検査対象となり得る少なくとも一つの電線又は配管を含む画像をディスプレイに表示する表示機能と、
ユーザからの入力に従って、前記画像内に線を描く入力機能と、
前記線を用いて検査対象を選択する選択機能と、
前記飛行体が前記検査対象に沿って移動しつつ当該検査対象を撮影するための指令情報を生成して前記飛行体に送信する指令生成機能と、
を持たせるプログラム。
14.上記13に記載のプログラムにおいて、
前記選択機能が前記検査対象を選択した後、
前記指令生成機能は、
前記飛行体が生成した前記画像を繰り返し取得し、
前記画像を取得すると、当該画像内における前記検査対象の位置に基づいて前記指令情報を生成するプログラム。
15.上記14に記載のプログラムにおいて、
前記撮像手段は少なくとも撮影方向及び倍率の少なくとも一方の制御が可能であり、
前記指令情報は、前記少なくとも一方を制御するための制御情報を含むプログラム。
16.上記13に記載のプログラムにおいて、
前記指令情報は、前記飛行体が前記検査対象を特定するための特定情報を含むプログラム。
17.上記16に記載のプログラムにおいて、
前記選択機能は、
前記画像内における前記少なくとも一つの電線又は配管のそれぞれを直線で近似するとともに、前記入力された前記線も直線で近似し、
直線を定義する傾き及びy切片を変数とする2次元平面において、前記線に最も近い前記電線又は配管を前記検査対象として選択し、
前記指令生成機能は、前記2次元平面内における前記検査対象の座標を前記指令情報に含めるプログラム。
18.上記13~17のいずれか一項に記載のプログラムにおいて、
前記検査対象は電線であり、
前記飛行体が電柱又は送電塔を通り過ぎるたびに、前記表示手段、前記入力手段、前記選択手段、及び前記指令生成手段は、それぞれの処理を行うプログラム。
【符号の説明】
【0073】
10 ルート設定装置
20 飛行体制御装置
30 飛行体
110 表示部
112 データ記憶部
120 ディスプレイ
130 第1取得部
140 ルート設定部
150 第2取得部
210 表示部
220 ディスプレイ
230 入力部
240 選択部
250 指令生成部
310 通信部
320 飛行制御部
330 駆動機構
340 撮像制御部
350 撮像部
図1
図2
図3
図4
図5
図6
図7
図8
図9
図10
図11
図12