特開 2024-112736 飛行体、自律飛行方法、自律飛行プログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2024112736

(43)【公開日】2024-08-21

(54)【発明の名称】飛行体、自律飛行方法、自律飛行プログラム

(51)【国際特許分類】

   G05D 1/46 20240101AFI20240814BHJP

   B64U 10/13 20230101ALI20240814BHJP

【ＦＩ】

G05D1/10

B64U10/13

【審査請求】未請求

【請求項の数】6

【出願形態】ＯＬ

(21)【出願番号】P 2023018003

(22)【出願日】2023-02-08

(71)【出願人】

【識別番号】000003687

【氏名又は名称】東京電力ホールディングス株式会社

(71)【出願人】

【識別番号】513203071

【氏名又は名称】ブルーイノベーション株式会社

(74)【代理人】

【識別番号】100137338

【弁理士】

【氏名又は名称】辻田 朋子

(74)【代理人】

【識別番号】100224719

【弁理士】

【氏名又は名称】長谷川 隆治

(72)【発明者】

【氏名】岸垣 暢浩

(72)【発明者】

【氏名】太田 大介

(72)【発明者】

【氏名】熊田 雅之

(72)【発明者】

【氏名】千葉 剛

(72)【発明者】

【氏名】ロペス ラファエル ジュリアン クレメンテ

【テーマコード（参考）】

5H301

【Ｆターム（参考）】

5H301AA03

5H301AA10

5H301BB10

5H301CC04

5H301CC07

5H301CC08

5H301CC09

5H301CC10

5H301DD01

5H301DD06

5H301DD07

5H301DD15

5H301FF11

5H301GG08

5H301GG09

(57)【要約】

【課題】 本発明は、飛行体の自律飛行における精度向上の技術に関する。
【解決手段】 線状部材に追従する飛行体１の自律飛行方法である。
自律飛行方法は、点群データを用いて線状部材モデルを取得する線状部材モデル取得ステップと、線状部材モデルに基づいて飛行制御情報を生成する制御情報生成ステップと、飛行制御情報に基づいて飛行体が新たな地点に移動する移動ステップと、点群データを取得する点群データ取得ステップと、取得した前記点群データを用いて線状部材モデルを更新する線状部材モデル更新ステップと、を有する。
線状部材モデル更新ステップで更新した線状部材モデルに基づいて制御情報生成ステップで飛行制御情報を生成して移動ステップを実行すると共に、点群データ取得ステップで新たな点群データを取得して線状部材モデル更新ステップを実行することで、線状部材に追従する。
【選択図】図１

【特許請求の範囲】

【請求項1】

線状部材に追従する飛行体の自律飛行方法であって、
前記飛行体から取得した点群データを用いて、３次元マップ上での位置が定義され、前記線状部材の３次元形状を示す線状部材モデルを取得する線状部材モデル取得ステップと、
前記線状部材モデルに基づいて、飛行体を飛行制御する為の飛行制御情報を生成する制御情報生成ステップと、
前記飛行制御情報に基づいて、前記飛行体が新たな地点に移動する移動ステップと、
前記点群データを取得する点群データ取得ステップと、
取得した前記点群データを用いて、前記線状部材モデルを更新する線状部材モデル更新ステップと、を有し、
前記線状部材モデル更新ステップで更新した前記線状部材モデルに基づいて制御情報生成ステップで飛行制御情報を生成して前記移動ステップを実行すると共に、前記点群データ取得ステップで新たな点群データを取得して前記線状部材モデル更新ステップを実行することで、前記線状部材に追従する、
自律飛行方法。

【請求項2】

前記線状部材モデル取得ステップでは、前記線状部材に追従した自律飛行の開始地点への移動の際又は、移動後の予備飛行の際に取得した点群データを用いて、前記線状部材モデルを生成する、
請求項１に記載の自律飛行方法。

【請求項3】

さらに、線状部材指定ステップを有し、
空間内の複数の線状部材が存在する際に、前記線状部材モデル取得ステップでは前記点群データから複数の前記線状部材モデルを生成し、
前記線状部材指定ステップでは、追従対象とする対象線状部材の指定を受け付け、
前記制御情報生成ステップでは、対象線状部材モデルに基づいて、飛行体を飛行制御する為の飛行制御情報を生成する、
請求項１に記載の自律飛行方法。

【請求項4】

前記線状部材モデル更新ステップでは、取得した前記点群データに基づいて、複数の前記線状部材モデルを更新する、
請求項３に記載の自律飛行方法。

【請求項5】

線状部材に追従する飛行体であって、
点群データを取得する点群データ取得部、制御情報生成部及び、線状部材モデル処理部を備え、
前記制御情報生成部は、３次元マップ上での位置が定義され、前記線状部材の３次元形状を示す線状部材モデルに基づいて、飛行体を飛行制御する為の飛行制御情報を生成し、
前記線状部材モデル処理部は、前記点群データを用いて、前記線状部材モデルを更新し、
前記線状部材モデル処理部が更新した前記線状部材モデルに基づいて、前記制御情報生成部が飛行制御情報を生成することで新たな地点に移動可能に構成されると共に、新たな点群データを取得して前記線状部材モデル処理部が前記線状部材モデルを更新することで、前記線状部材に追従する飛行体。

【請求項6】

線状部材に追従する飛行体の自律飛行プログラムであって、
前記飛行体に、
取得した点群データを用いて、３次元マップ上での位置が定義され、前記線状部材の３次元形状を示す線状部材モデルを取得する線状部材モデル取得ステップと、
前記線状部材モデルに基づいて、前記飛行体を飛行制御する為の飛行制御情報を生成する制御情報生成ステップと、
前記飛行制御情報に基づいて、前記飛行体が新たな地点に移動する移動ステップと、
前記点群データを取得する点群データ取得ステップと、
取得した前記点群データを用いて、前記線状部材モデルを更新する線状部材モデル更新ステップと、を実行させ、
前記線状部材モデル更新ステップで更新した前記線状部材モデルに基づいて制御情報生成ステップで飛行制御情報を生成して前記移動ステップを実行すると共に、前記点群データ取得ステップで新たな点群データを取得して前記線状部材モデル更新ステップを実行することで前記線状部材に追従する飛行体の自律飛行プログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、飛行体の自律飛行における精度向上の技術に関する。

【背景技術】

【0002】

近年、ドローンなどの飛行体は空撮や輸送に加え、農薬散布、災害調査、高所点検などの様々な用途で活用されている。そして昨今では、これらの用途に飛行体を利用するための様々な工夫が行われている。

【0003】

例えば特許文献１には、撮像部を有する飛行体を用いて電線の点検を行う設備点検システムにおいて、風情報などの環境情報に基づいて送電線の弛度を検出し、弛度に応じて高度の移動量を算出し、撮影範囲が重なり合ったオーバーラップ率並びに高度の移動量に基づいて水平方向の移動量を変更して飛行経路を修正する技術が開示されている。

【0004】

本設備点検システムによれば、適切な飛行経路に沿った飛行体の自律飛行が可能となるので、従来よりも精度の良い設備点検を行うことができる。

【先行技術文献】

【特許文献】

【0005】

【特許文献1】特開２０１８－１５６４９１号公報

【発明の概要】

【発明が解決しようとする課題】

【0006】

ところで、昨今の技術水準を踏まえれば、飛行体にレーダー等を搭載し、レーダーによる点群データから点検対象となる電線などに関する線状部材モデル（細長い線状のモデル。例えば撓んでいる線状の部材に関するモデル）を算出し、その線状部材モデルに追従した自律飛行（追従飛行）を行うことも可能である。

【0007】

しかしながら、ある程度の飛行距離が必要となる点検では、点検開始前に所定位置による点群データを取得しても（例えば、ホバリングによって点検開始位置付近から点群データを取得しても）、点検に必要な範囲の線状部材モデルを算出することができない。また、点検開始前に点検対象全体をスキャニングして線状部材モデルを算出することも考えられるが、この方法では多大な時間を要してしまう。

【0008】

本発明は、上記従来技術の課題に鑑みて行われたものであって、その目的は、精度の良い自律飛行を実現できる新規な自律飛行方法を提供することにある。

【0009】

上記課題を解決するために、本発明は、線状部材に追従する飛行体の自律飛行方法であって、
前記飛行体から取得した点群データを用いて、３次元マップ上での位置が定義され、前記線状部材の３次元形状を示す線状部材モデルを取得する線状部材モデル取得ステップと、
前記線状部材モデルに基づいて、飛行体を飛行制御する為の飛行制御情報を生成する制御情報生成ステップと、
前記飛行制御情報に基づいて、前記飛行体が新たな地点に移動する移動ステップと、
前記点群データを取得する点群データ取得ステップと、
取得した前記点群データを用いて、前記線状部材モデルを更新する線状部材モデル更新ステップと、を有し、
前記線状部材モデル更新ステップで更新した前記線状部材モデルに基づいて制御情報生成ステップで飛行制御情報を生成して前記移動ステップを実行すると共に、前記点群データ取得ステップで新たな点群データを取得して前記線状部材モデル更新ステップを実行することで、前記線状部材に追従する。

【0010】

また、本発明は、線状部材に追従する飛行体であって、
点群データを取得する点群データ取得部、制御情報生成部及び、線状部材モデル処理部を備え、
前記制御情報生成部は、３次元マップ上での位置が定義され、前記線状部材の３次元形状を示す線状部材モデルに基づいて、飛行体を飛行制御する為の飛行制御情報を生成し、
前記線状部材モデル処理部は、前記点群データを用いて、前記線状部材モデルを更新し、
前記線状部材モデル処理部が更新した前記線状部材モデルに基づいて、前記制御情報生成部が飛行制御情報を生成することで新たな地点に移動可能に構成されると共に、新たな点群データを取得して前記線状部材モデル処理部が前記線状部材モデルを更新することで、前記線状部材に追従する。

【0011】

また、本発明は、線状部材に追従する飛行体の自律飛行プログラムであって、
前記飛行体に、
取得した点群データを用いて、３次元マップ上での位置が定義され、前記線状部材の３次元形状を示す線状部材モデルを取得する線状部材モデル取得ステップと、
前記線状部材モデルに基づいて、飛行体を飛行制御する為の飛行制御情報を生成する制御情報生成ステップと、
前記飛行制御情報に基づいて、前記飛行体が新たな地点に移動する移動ステップと、
前記点群データを取得する点群データ取得ステップと、
取得した前記点群データを用いて、前記線状部材モデルを更新する線状部材モデル更新ステップと、を実行させ、
前記線状部材モデル更新ステップで更新した前記線状部材モデルに基づいて制御情報生成ステップで飛行制御情報を生成して前記移動ステップを実行すると共に、前記点群データ取得ステップで新たな点群データを取得して前記線状部材モデル更新ステップを実行することで前記線状部材に追従する。

【0012】

このような構成とすることで、簡単且つ精度の良い追従飛行（線状部材に追従した自律飛行）を実現することができる。

【0013】

本発明の好ましい形態では、前記線状部材モデル取得ステップでは、前記線状部材に追従した自律飛行の開始地点への移動の際又は、移動後の予備飛行の際に取得した点群データを用いて、前記線状部材モデルを生成する。

【0014】

このような構成にすることで、精度の良い線状部材モデルを生成することができる。

【0015】

本発明の好ましい形態では、さらに、線状部材指定ステップを有し、
空間内の複数の線状部材が存在する際に、前記線状部材モデル取得ステップでは前記点群データから複数の前記線状部材モデルを生成し、
前記線状部材指定ステップでは、追従対象とする対象線状部材の指定を受け付け、
前記制御情報生成ステップでは、対象線状部材モデルに基づいて、前記飛行体を飛行制御する為の飛行制御情報を生成する。

【0016】

このような構成とすることで、複数の線状部材の中から選択された対象線状部材に対して良好な追従飛行を行うことができる。

【0017】

本発明の好ましい形態では、前記線状部材モデル更新ステップでは、取得した前記点群データに基づいて、複数の前記線状部材モデルを更新する。

【0018】

このような構成とすることで、複数の線状部材における線状部材モデルを適切に更新することができる。

【発明の効果】

【0019】

本発明によれば、線状部材モデル更新ステップを含んだ所定の工程を実行することで、飛行体の自律飛行に係る新規な技術を提供することができる。

【図面の簡単な説明】

【0020】

【図1】本発明の一実施形態に係る飛行体システムの概略構成図を示す。

【図2】本発明の一実施形態に係る飛行体及び端末装置のハードウェア構成の一例を示す。

【図3】本発明の一実施形態に係る飛行体（追従制御装置）における機能ブロック図を示す。

【図4】本発明の一実施形態に係る飛行体における自律飛行の概略イメージ図を示す。

【図5】本発明の一実施形態に係る飛行体における自律飛行の処理手順のフローチャートを示す。

【図6】本発明の一実施形態に係る線状部材モデルの概略イメージ図を示す。

【図7】本発明の一実施形態に係る複数の線状部材モデルの概略イメージ図を示す。

【図8】本発明の一実施形態に係る飛行体における追従処理手順のフローチャートを示す。

【図9】本発明の一実施形態に係る飛行体における線状部材モデルの更新イメージを示す。

【図10】本発明の一実施形態に係る点検対象の表示例を示す。

【発明を実施するための形態】

【0021】

以下、添付図面を参照して、更に詳細に説明する。図面には好ましい実施形態が示されている。しかし、多くの異なる形態で実施されることが可能であり、本明細書に記載される実施形態に限定されない。

【0022】

本実施形態では飛行体システムの構成、動作等について説明するが、同様の構成の装置、方法、プログラム、記録媒体等も、同様の作用効果を奏することができる。また、プログラムは、記録媒体に格納されてもよい。この記録媒体を用いれば、例えば端末装置にプログラムをインストールすることができる。ここで、プログラムを記憶した記録媒体は、例えば、ＣＤ－ＲＯＭ、ＵＳＢメモリ等の非一過性の記録媒体であってもよい。

【0023】

＜システム構成＞
図１は、本実施形態に係る飛行体システムの概略構成図である。飛行体システム１００は、飛行体１及び端末装置５を備える。飛行体１は、人の搭乗を伴わないドローンなどの飛行体本体２と、センサ及び制御モジュールを有する追従制御装置３と、カメラ（撮像部）及び当該カメラの姿勢を制御するジンバルを有する撮像装置４と、を備える。

【0024】

端末装置５は、ユーザが飛行体１を操作すると共に、撮像装置４で撮像した動画や点検状況を確認するために利用される。本実施形態における端末装置５は、タブレット端末である。端末装置５として、例えばドローン機体操縦用のプロポのディスプレイ、スマートフォン、ウェアラブルデバイスなど、実施の形態に合わせて適宜利用することができる。例えば飛行体本体２に計測手段や点検手段を備えることで、これら計測手段や点検手段から得られる情報を動画とあわせて端末装置５に表示することができる。

【0025】

端末装置５には、飛行体１の操作や自律飛行の設定をするためのアプリが予めインストールさせている。飛行体１と端末装置５は、例えば２．４ＧＨｚ帯などの飛行体用の無線通信によって通信接続される。

【0026】

＜ハードウェア構成＞
図２は、本実施形態に係る飛行体１及び端末装置５のハードウェア構成を示す図である。図２（ａ）は、飛行体１のハードウェア構成の一例を示す図である。飛行体１は、飛行体１の飛行動作などを制御する主制御部２０１と、飛行体１の翼部を駆動させ、飛行させるためのモータ２０２と、主制御部２０１からの信号に基づいてモータ２０２への電力供給量を調整するモータコントローラ２０３と、端末装置５と通信を行うための無線通信部２０４と、飛行体１の位置情報を得るためのＧＰＳモジュール２０５と、記憶部２０６と、を備える。

【0027】

また、飛行体１は、点群データなどを取得するためのセンサ３０１と、センサ３０１からの情報に基づいて安定的な自律飛行（追従飛行）を制御する追従制御部３０２と、送電線などの撮像対象を撮像する撮像部４０１と、撮像部４０１の姿勢を制御するジンバル４０２と、を備える。

【0028】

図２（ｂ）は、端末装置５のハードウェア構成の一例を示す図である。端末装置５は、処理部５０１と、記憶部５０２と、通信部５０３と、入力部５０４と、出力部５０５と、を備える。

【0029】

処理部５０１は、ＣＰＵ等の１以上のプロセッサを含み、端末装置５の動作処理全体を制御する。記憶部５０２は、ＨＤＤ、ＳＳＤ、ＲＯＭ、ＲＡＭ等であって、処理部５０１がプログラムに基づき処理を実行する際に利用するデータ等を格納する。

【0030】

通信部５０３は、ネットワークとの通信を制御する。入力部５０４はタッチパネル等であって、ユーザによる操作要求を処理部５０１に入力する。出力部５０５はディスプレイ等であって、処理部５０１の処理の結果等を表示する。

【0031】

＜機能構成＞
図３は、本実施形態に係る飛行体１における追従制御装置３の機能ブロック図である。追従制御装置３は、点群データ取得部３１、線状部材モデル生成部３２、線状部材モデル更新部３３、表示処理部３４、制御情報生成部３５、を備える。

【0032】

点群データ取得部３１は、飛行体１の飛行中に点群データを取得する。本実施形態では、ミリ波レーダーなどのセンサ３０１を利用して所定範囲の点群データを取得する。なお、センサ３０１はミリ波レーダーに限定されるものではなく、三次元空間の点群データを取得可能であればどのようなものであっても良い。

【0033】

線状部材モデル生成部３２は、送電線などの線状部材における線状部材モデルを生成する。線状部材モデル生成部３２は、点群における座標のデータから曲線（または直線）を推定する。本実施形態における線状部材モデル生成部３２は、３次元マップ上での位置が定義され、線状部材の３次元形状を示す線状部材モデル（ラインモデルとも呼ぶ）を生成する。

【0034】

なお、本実施形態では飛行体１の内部（線状部材モデル生成部３２）で線状部材モデルを生成しているが、例えば飛行体１の外部で線状部材モデルを生成し、生成された線状部材モデルを取得する構成にすることもできる。

【0035】

線状部材モデル更新部３３は、線状部材モデルの更新処理をする。本実施形態では、飛行体１の飛行中においてセンサ３０１によって新たに取得した点群データを用いて線状部材モデルを更新する。さらに、線状部材モデル更新部３３は、線状部材モデルに対し、カルマンフィルタを適用することで更新処理をする。なお、本実施形態では、線状部材モデル生成部３２及び線状部材モデル更新部３３を合わせて線状部材モデル処理部３０と表現することもある。

【0036】

表示処理部３４は、飛行体１の飛行経路や撮像装置４で撮像された動画などを表示処理する。本実施形態では、飛行経路、撮像装置４による動画などを表示処理し、その表示処理の結果を端末装置５へ送信する。

【0037】

制御情報生成部３５は、飛行体の飛行を制御するための飛行制御情報を生成する。本実施形態における制御情報生成部３５は、線状部材モデルに基づいて飛行体１を自律飛行（追従飛行）するための飛行制御情報を生成する。制御情報生成部３５は、線状部材モデル生成部３２によって推定された曲線（または直線）の座標が撮像部４０１に収まるように飛行地点（ウェイポイント）を決定することができる。

【0038】

以下、図４～１１を参照して、本実施形態に係る飛行体の自律飛行（追従飛行）について説明する。

【0039】

＜飛行体システムの概要＞
本実施形態に係る飛行体システム１００は、ドローンなどの飛行体１が安定的な追従飛行を行うことで、線状部材（例えば電線など）の点検や調査を実施するものである。具体的には、飛行体１は点検対象となる電線の線状部材モデルを算出（及び推定）し、さらに飛行中に得られる最新の点群データにより線状部材モデルをリアルタイムで更新し、精度の良い追従飛行を実現するものである。この追従飛行による飛行体を電線の点検に利用できれば、作業員（点検担当者）の目が届かない部分や、落雷による損傷なども確認することができる。

【0040】

なお、本明細書における線状部材とは、物体の形状において、ある一つの方向が他の方向よりも大きい（長い）対象物を意味する。例えば線状部材として電線などが挙げられる。また、この線状部材に追従して飛行体１が自律飛行を行うことを追従飛行とも呼ぶ（自律飛行と追従飛行とを総称して単に自律飛行と呼ぶこともある）。ここで言う追従とは、線状部材などの対象物に対し、一定の距離（及び／または方向）を保持しながら動作（飛行）すること、及びこれと同等の動作等を意味する。

【0041】

図４は、本実施形態に係る飛行体における追従飛行の概略イメージ図を示す。同図に示すように本実施形態に係る飛行体１は、複数の送電鉄塔１０の間に位置する電線１２の点検を行うものである。ここで言う点検とは、飛行体１が点検対象となる電線１２に対して追従飛行を行い、電線１２の動画（または連続する静止画）を撮像し、その動画を作業員が目視確認等することである。

【0042】

図４に示すように飛行体１は、電線１２に沿うように該電線１２から一定の距離（図４におけるＸ方向ないしＺ方向に一定の距離）及び姿勢を保ちながら、点線矢印の方向（Ｙ方向）に追従飛行を行い、撮像装置４によって電線１２の点検対象部分を撮像している。

【0043】

飛行体１の姿勢は、例えば制御情報生成部３５により線状部材モデルに基づいて姿勢制御情報を生成し、この姿勢制御情報に基づいて、飛行体１に設けられた撮像手段や点検手段の姿勢制御手段（例えばジンバル４０２等）を制御するができる。

【0044】

実際には飛行体本体２の制御のみでは風などの影響によりカメラ（撮像部４０１）の画角内に電線１２が収まらないこともある一方、ジンバル４０２の制御も同時に行うことで、飛行体本体２の揺れによるフレームアウトを解決することができる。

【0045】

＜追従飛行の流れ＞
図５には、本実施形態に係る飛行体における追従飛行の処理手順のフローチャートを示す。Ｓ１０において、飛行体本体２（飛行体１）は追従開始地点まで移動する。例えば、飛行体本体２が追従開始地点から離れた地点において飛行を開始する場合には、追従開始地点まで飛行し、追従開始地点付近から飛行を開始する場合には、その地点において所定の高度まで上昇する。例えば飛行体１の飛行開始地点までの移動は、端末装置５を利用するユーザによるマニュアル操作で行うこともできる。

【0046】

そしてＳ１１において、飛行体１（追従制御装置３）の点群データ取得部３１は、飛行中における点群データをスキャンする。点群データ取得部３１は、線状部材に追従した自律飛行の開始地点への移動の際又は、移動後の予備飛行により点群データを取得することができる。

【0047】

本実施形態では、追従飛行へ移行する前に、事前に水平方向へ３ｍ～６ｍ程度の予備飛行をしながら所定範囲の点群データを取得する。本実施形態では、飛行体１に搭載されたセンサ３０１（例えばミリ波レーダー）を用いて所定領域に電波を照射し、その反射により点群データを取得する。

【0048】

水平移動をせずにその場で取得した点群データでは、水平方向に３ｍ～４ｍ程度（電線１２からの離隔距離が１０ｍ程度の場合）の線状部材モデルしか得ることができない。そこで本実施形態では、追従飛行を開始する前に、事前に水平方向へ５ｍ程度移動しながらスキャンをし（点群データを計測し）、水平方向に８ｍ～９ｍ程度（電線１２からの離隔距離が１０ｍ程度の場合）の線状部材モデルを算出できるようにしている。このように数ｍ程度のスキャン動作を行うことで実測点両端の間隔が広がり、処理速度に影響を与えることなく線状部材モデルの精度を向上させることができる。

【0049】

また、飛行体１による点検においては、電線１２からの磁場の影響を受けないようにするため、５ｍ～２０ｍ程度の離隔距離を維持したまま追従飛行をする必要がある。具体的には、電線１２を流れる電流から発生する磁場によるコンパスエラーを回避するため、電線１２からの離隔距離を確保する必要がある。また、本実施形態における点検は、長距離で且つ直径が１ｃｍ～５ｃｍ程度の細い電線が対象であるため、電線からの距離を正確に測定することが困難である。そこで本実施形態では、レーダーのパラメータを点検対象に応じてチューニングすることで、電線１２に対する正確な距離（精度の良い点群データ）を得ることができる。例えば制御情報生成部３５は、飛行体１の飛行中において数ｍごとにレーダーのパラメータ（設定値）を変更することができる。このような制御を行うことで、追従飛行において常に安定したデータを取得することができる。

【0050】

なお、本実施形態では、予め離隔距離を端末装置５によって飛行体１に入力しておくことができる。制御情報生成部３５は、端末装置５を介して入力された離隔距離を取得し、後述する制御コマンドを生成する。

【0051】

Ｓ１２において、線状部材モデル生成部３２（または点群データ取得部３１）は、ワールド座標系の点群データを生成する。例えば、センサ３０１により取得したローカル座標系による点群データをワールド座標系の点群データに変換処理する。

【0052】

Ｓ１３において、線状部材モデル生成部３２は、ワールド座標系に変更処理された点群データから線状部材モデルを生成（抽出）する（線状部材モデル取得ステップ）。表示処理部３４はこの線状部材モデルを表示処理する。本実施形態では、線状部材モデル生成部３２が線状部材モデルを生成し、表示処理部３４がこの線状部材モデルを表示処理し、その表示処理の結果を端末装置５へ送信する。

【0053】

図６には、本実施形態に係る線状部材モデルの概略イメージ図を示す。図６では、線状部材モデル２２を分かりやすく表現するために、送電鉄塔１０や点検対象ではない電線を点線で表示している。例えば表示処理部３４は、送電鉄塔１０や点検対象ではない電線等の点検に不必要なものは表示せずに、線状部材モデル２２のみを表示することもできる。

【0054】

図６に示すように、点群データを利用して線状部材モデル生成部３２により線状部材モデル２２が生成される。ここで、実際には複数の送電鉄塔間に位置する電線は、２００ｍ～４００ｍ以上の長い距離であることが多い一方、飛行体１のセンサ３０１により得られる点群データは所定範囲（例えば図６のＹ方向に８ｍ～９ｍ程度）に限られるため、点検対象である電線１２の全てをモデル化することは困難である。

【0055】

そこで本実施形態では、取得した点群データ（観測値）を利用してカルマンフィルタから所定の関数を推定し、この関数により３次元曲線の特性を有する線状部材モデル２２を算出している（電線の弛度が推定された線状部材モデルを算出している）。

【0056】

観測値としての点群データは、センサ３０１から出力された点群データからノイズを除去し、線（電線）として検知できる点群データのみをカルマンフィルタに適用させる。なお、Ｓ１３の最初に線状部材モデル２２を生成する時点においては、カルマンフィルタを利用せず、得られた線状部材モデル２２をそのまま利用しても良い。

【0057】

例えば、取得した点群データの全てを利用して周囲のマップを生成することもできるが、この方法を実現するためには飛行体１に高性能なマイコン等（大きくて重いマイコン）を搭載しなければならず、飛行距離やバッテリー容量に影響を与えてしまう。

【0058】

そこで本実施形態では、取得した点群データの全てを使わず、追従飛行に必要な電線１２のデータ（点群データ）のみを使用することで、すなわち、点検対象以外の点群データをフィルタリングすることで（または点検対象の点群データを抽出することで）、最小限の処理により精度の良い追従飛行を実現している。

【0059】

図６では、飛行体１が線状部材モデル２２に追従飛行してＡ地点へ移動、Ａ地点からＢ地点へ移動、Ｂ地点からＣ地点へ移動、というように新たな移動地点（ウェイポイント）への移動を連続的に行っている。

【0060】

図５のＳ１４において、制御情報生成部３５は、端末装置５から点検対象となる線状部材モデルの選択を受け付ける。図７に示すように、線状部材モデル生成部３２は、複数の線状部材モデル２２～２４（ここでは第１の線状部材モデル２２、第２の線状部材モデル２３、第３の線状部材モデル２４と呼ぶ）を生成し、この中から点検対象となる第１の線状部材モデル２２の選択を受け付けることができる。

【0061】

例えば、空間内に複数の電線１２が存在する際に、線状部材モデル生成部３２は点群データから複数の線状部材モデルを生成することができる。そして制御情報生成部３５は、追従対象とする対象線状部材の指定を受け付ける（線状部材指定ステップ）。制御情報生成部３５は、対象線状部材モデルに基づいて、飛行体１を飛行制御するための飛行制御情報を生成する。

【0062】

なお、本実施形態では線状部材モデル生成部３２によって線状部材モデルを複数生成し、その中から点検対象となる線状部材モデルを選択しているが、このような処理を行わず、あらかじめ定められた所定の線状部材モデルのみを生成する構成にすることもできる。

【0063】

ここで、図５のＳ１５において、端末装置５から線状部材モデルの選択のリセットを受け付けることもできる。本実施形態では、端末装置５にリセットボタンを表示処理し、作業員などのユーザが端末装置５を介してリセットボタンを選択することで、Ｓ１１におけるスキャンからやり直しをすることができる。例えば、何等かのトラブルによりスキャンがうまくいかず、点検対象となる電線１２の線状部材モデル２２を適切に生成できなかった場合に有効な処理である。

【0064】

なお、ユーザがリセットの必要があると１度は判断したが、その後にユーザが端末装置５を介してリセットボタンを選択しなかった場合には（リセットの選択を解除した場合には）、線状部材モデル生成部３２によって生成された線状部材モデル２２を再度表示処理し、端末装置５へ送信する。

【0065】

Ｓ１６において、制御情報生成部３５は、線状部材モデル２２を利用して追従飛行を行うための飛行制御情報を生成し（制御情報生成ステップ）、所定の追従処理をする。図６及び図７では、飛行制御情報に基づいて飛行体が点検開始地点から新たな地点であるＡ地点まで移動する（移動ステップ）。

【0066】

例えば、制御情報生成部３５は、追従対象である電線１２との離隔距離と向きを取得し、飛行体１の姿勢角と向きを取得する。制御情報生成部３５はその状態を判断し、電線１２に対して指定の離隔距離、並行になる向き（飛行体１の姿勢）、移動する方向等の情報を組み合わせて、飛行制御情報を生成することもできる。

【0067】

本実施形態における飛行体システム１００（飛行体１）は、Ｓ１６の特徴的な追従処理によって、簡単且つ精度の良い追従飛行及び点検を実現することができる。以下、追従処理について詳しく説明する。

【0068】

＜追従処理＞
図８には、本実施形態に係る飛行体における追従処理手順のフローチャートを示す。Ｓ２０において、点群データ取得部３１は追従飛行中において新たな点群データを取得する（点群データ取得ステップ）。

【0069】

例えば図６及び図７において、点群データ取得部３１は、点検開始地点からＡ地点までの追従飛行中に新たな点群データを取得する。同様にＡ地点からＢ地点までの追従飛行中における点群データを取得し、Ｂ地点からＣ地点までの追従飛行中における点群データを取得する。

【0070】

図８のＳ２１において、新たに取得した点群データ及び上述したカルマンフィルタを利用して、線状部材モデル２２を更新する。上述のとおり本実施形態では、取得した点群データ（観測値）を利用したカルマンフィルタから所定の関数を推定し、この関数により線状部材モデル２２を算出する。カルマンフィルタを利用することで、少ない点群データから電線１２全体（点検対象全体）の線状部材モデル２２を推定することができる。

【0071】

例えば、最初に算出した線状部材モデル２２に沿って追従飛行をすると、算出時の誤差が原因となり、飛行体１が進むにつれて当該線状部材モデル２２と実際の電線１２との乖離が大きくなり、その結果、電線１２から飛行経路がそれてしまう恐れがある。そこで本実施形態では、常に線状部材モデル２２を更新しながら（補正しながら）電線１２に対する追従飛行を行っている。

【0072】

図９には、本実施形態に係る飛行体における線状部材モデルの更新イメージを示す。図９（ａ）に示すように、飛行体１はＡ地点からＢ地点までの追従飛行中にセンサ３０１によって新たな点群データを取得し（図８のＳ２０）、図８のＳ２１において、この最新の点群データを利用して線状部材モデル２２を更新する。

【0073】

同様に、図９（ｂ）に示すように、飛行体１はＢ地点からＣ地点までの追従飛行中にセンサ３０１によって新たな点群データを取得し、この最新の点群データを利用して線状部材モデル２２を更新する。このように飛行体１は、追従飛行中において常に最新の線状部材モデル２２に取得している。本実施形態では、所定区間ごとに（例えば、Ａ地点からＢ地点のようなウェイポイントごとに）線状部材モデル２２を更新処理している。

【0074】

図９では、線状部材モデル更新部３３により点検対象となる線状部材モデル２２のみを更新しているが、例えば図７に示した複数の線状部材モデル（２２～２４）を更新する構成にすることもできる。このような構成にすることで、１台の飛行体１によって複数の電線を同時に点検することもできる。

【0075】

そして図８のＳ２２において、点検対象となる電線１２（又は更新前の線状部材モデル２２）に、更新した線状部材モデルをマッチング処理する。このようなマッチング処理をすることで、更新前の線状部材モデルと実際の電線位置とのズレを修正することができる。また、過去の線状部材モデルに対して最新の線状部材モデルを積算することで、より精度の良い線状部材モデルを取得することができる。

【0076】

Ｓ２３において、制御情報生成部３５は、更新された線状部材モデル（最新の線状部材モデル）を用いて制御コマンド、すなわち飛行制御情報を生成する。つまり、本実施形態では、線状部材モデル更新部３３で更新した線状部材モデル２２に基づいて制御情報生成部３５で飛行制御情報を生成し、飛行体１はこの新たな飛行制御情報（最新の飛行制御情報）に基づいて追従飛行を行う。その結果、精度の良い追従飛行を実現することができる。

【0077】

そして、飛行体１が点検対象全体を追従飛行した後に、Ｓ２４において、飛行体１は追従飛行を終了し、図５のＳ１７において追従終了地点まで移動して点検を終了する。例えば、ミリ波レーダー（センサ３０１）を用いて所定領域に電波を照射し、当該電波による反射が得られなくなった場合に、すなわち、点群データを取得できなくなったタイミングで追従飛行を終了することができる（線状部材モデル２２による飛行経路から電線１２が外れてしまった地点で追従飛行を終了する）。また、ユーザが点検終了を希望するタイミングで終了の通知をすることで追従飛行を終了することもできる。

【0078】

このように本実施形態における飛行体１は、点群データを利用して線状部材モデルを取得するステップと、飛行制御情報を生成する制御情報生成ステップと、点群データを取得するステップと、線状部材モデルを更新する線状部材モデル更新ステップと、を実行することで、簡単且つ精度の良い追従飛行を実現することができる。

【0079】

＜点検対象の表示例＞
図１０は、本実施形態に係る点検対象の表示例を示す。同図に示すように端末装置５の出力部５０５には、点検画面Ｗ１０が表示されている。作業員がこの点検画面Ｗ１０を確認することで、遠隔地において適切な点検や検査を行うことができる。

【0080】

また、端末装置５には、点検画面Ｗ１０と共に、状態確認表示Ｗ２０、スキャンボタンＷ３０、上述したリセットボタンＷ４０が同一画面に表示されている。本実施形態では、これらＷ１０～Ｗ４０の全部またはいずれかを適宜組み合わせて同一画面に並べて表示することができる。

【0081】

例えば図１０（ａ）では、状態確認表示Ｗ２０の「スキャン」部分が黒色（スキャン部分が選択されている表現）であることから、飛行体１がスキャンを行っている状態、すなわち点群データを取得している状態であることが分かる。図１０（ｂ）に示すように、飛行体１がスキャンを行っている状態では、出力部５０５に「スキャン中」の文字が表示される。

【0082】

本実施形態における点検は、自律飛行により実施されるため、作業員が飛行体１を操作する必要がなく、画像や動画の確認に集中することができる。また、点検対象である電線１２において気になる部分がある場合、その位置で飛行体１を一時停止させ（ホバリング）、撮像部４０１をズームにして（倍率を調整して）当該部分の状況を詳細に確認することもできる。

【0083】

このように本発明によれば、線状部材モデル更新ステップを含んだ所定の工程を実行することで、電線１２の弛みに沿って精度の良い追従飛行を実現することができる。また、本実施形態では主に電線の点検における追従飛行について説明したが、飛行体１を他の用途に利用する場合にも本発明と同様の効果を得ることができる。

【符号の説明】

【0084】

１ 飛行体
２ 飛行体本体
３ 追従制御装置
４ 撮像装置
５ 端末装置
１０ 送電鉄塔
１２ 電線
２２ 線状部材モデル（第１の線状部材モデル）
２３ 線状部材モデル（第２の線状部材モデル）
２４ 線状部材モデル（第３の線状部材モデル）
２５ 線状部材モデル
３０ 線状部材モデル処理部
３１ 点群データ取得部
３２ 線状部材モデル生成部
３３ 線状部材モデル更新部
３４ 表示処理部
３５ 制御情報生成部
１００ 飛行体システム
２０１ 主制御部
２０２ モータ
２０３ モータコントローラ
２０４ 無線通信部
２０５ ＧＰＳモジュール
２０６ 記憶部
３０１ センサ
３０２ 追従制御部
４０１ 撮像部
４０２ ジンバル
５０１ 処理部
５０２ 記憶部
５０３ 通信部
５０４ 入力部
５０５ 出力部
Ｗ１０ 点検画面
Ｗ２０ 状態確認表示
Ｗ３０ スキャンボタン
Ｗ４０ リセットボタン

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】