(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2022-02-28
(45)【発行日】2022-03-08
(54)【発明の名称】飛行体システム、飛行体、位置測定方法、プログラム
(51)【国際特許分類】
G06T 7/70 20170101AFI20220301BHJP
B64C 39/02 20060101ALI20220301BHJP
B64D 47/08 20060101ALI20220301BHJP
G06T 7/62 20170101ALI20220301BHJP
【FI】
G06T7/70 A
B64C39/02
B64D47/08
G06T7/62
(21)【出願番号】P 2019026934
(22)【出願日】2019-02-18
【審査請求日】2021-03-22
(73)【特許権者】
【識別番号】000101732
【氏名又は名称】アルパイン株式会社
(74)【代理人】
【識別番号】100107766
【氏名又は名称】伊東 忠重
(74)【代理人】
【識別番号】100070150
【氏名又は名称】伊東 忠彦
(72)【発明者】
【氏名】保木 文秋
(72)【発明者】
【氏名】藤田 謙一郎
【審査官】藤原 敬利
(56)【参考文献】
【文献】国際公開第2017/199273(WO,A1)
【文献】米国特許第10012735(US,B1)
(58)【調査した分野】(Int.Cl.,DB名)
G06T 7/00- 7/90
B64B 1/00- 1/70
B64C 1/00-99/00
B64D 1/00-47/08
B64F 1/00- 5/60
B64G 1/00-99/00
(57)【特許請求の範囲】
【請求項1】
撮像装置を有する飛行体によって上空から構造物を撮像する飛行体システムであって、
飛行している現在の位置を取得する現在地取得部と、
前記撮像装置が撮像した画像データから前記構造物を検出する構造物検出部と、
前記構造物検出部が検出した前記構造物の前記画像データにおける面積情報を検出する面積情報検出部と、
前記面積情報検出部が検出した前記構造物の前記画像データにおける面積情報が最小と見なせる場合の前記飛行体の位置を決定する位置決定部と、
前記位置決定部が決定した前記飛行体の位置を、前記構造物の位置として記憶する位置記録部と、
を有することを特徴とする飛行体システム。
【請求項2】
前記位置決定部が決定した前記飛行体の位置において撮像された前記画像データに写っている前記構造物の形状の対称性を判断する対称性判断部を有し、
前記対称性判断部が、前記画像データに写っている前記構造物の形状が点対称又は線対称であると判断した場合、
前記位置記録部は、前記位置決定部が決定した前記飛行体の位置を前記構造物の位置として記憶することを特徴とする請求項1に記載の飛行体システム。
【請求項3】
前記位置決定部は、前記面積情報検出部が検出した前記構造物の前記画像データにおける面積情報が最小と見なせる場合の前記飛行体の位置が、前記構造物の直上であると推定することを特徴とする請求項1又は2に記載の飛行体システム。
【請求項4】
前記位置記録部は、前記面積情報検出部が検出した前記構造物の前記画像データにおける面積情報が最小と見なせる場合の前記飛行体の位置を、
前記飛行体の位置において前記撮像装置が撮像した前記画像データと対応付けて記録することを特徴とする請求項1~3のいずれか1項に記載の飛行体システム。
【請求項5】
前記位置決定部は、前記構造物から所定の範囲に接近した状態で、地面に水平なメッシュを設定し、メッシュの各交点を前記飛行体に飛行させ、
メッシュの各交点において前記撮像装置が撮像した前記画像データから前記構造物検出部が前記構造物を検出し、
前記面積情報検出部は、メッシュの各交点において撮像された前記構造物の前記画像データにおける面積情報を検出し、
前記位置決定部は、前記構造物の前記画像データにおける面積情報が最小と見なせるメッシュの交点を前記飛行体の位置に決定することを特徴とする請求項1~4のいずれか1項に記載の飛行体システム。
【請求項6】
撮像装置よって上空から構造物を撮像する飛行体であって、
飛行している現在の位置を取得する現在地取得部と、
前記撮像装置が撮像した画像データから前記構造物を検出する構造物検出部と、
前記構造物検出部が検出した前記構造物の前記画像データにおける面積情報を検出する面積情報検出部と、
前記面積情報検出部が検出した前記構造物の前記画像データにおける面積情報が最小と見なせる場合の前記飛行体の位置を決定する位置決定部と、
前記位置決定部が決定した前記飛行体の位置を、前記構造物の位置として記憶する位置記録部と、
を有することを特徴とする飛行体。
【請求項7】
撮像装置を有する飛行体によって上空から構造物を撮像する飛行体システムが行う位置測定方法であって、
現在地取得部が、飛行している現在の位置を取得するステップと、
構造物検出部が、前記撮像装置が撮像した画像データから前記構造物を検出するステップと、
面積情報検出部が、前記構造物検出部が検出した前記構造物の前記画像データにおける面積情報を検出するステップと、
位置決定部が、前記面積情報検出部が検出した前記構造物の前記画像データにおける面積情報が最小と見なせる場合の前記飛行体の位置を決定するステップと、
位置記録部が、前記位置決定部が決定した前記飛行体の位置を、前記構造物の位置として記憶するステップと、
を有することを特徴とする位置測定方法。
【請求項8】
撮像装置よって上空から構造物を撮像する飛行体を、
飛行している現在の位置を取得する現在地取得部と、
前記撮像装置が撮像した画像データから前記構造物を検出する構造物検出部と、
前記構造物検出部が検出した前記構造物の前記画像データにおける面積情報を検出する面積情報検出部と、
前記面積情報検出部が検出した前記構造物の前記画像データにおける面積情報が最小と見なせる場合の前記飛行体の位置を決定する位置決定部と、
前記位置決定部が決定した前記飛行体の位置を、前記構造物の位置として記憶する位置記録部、
として機能させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、飛行体システム、飛行体、位置測定方法、及び、プログラムに関する
【背景技術】
【0002】
鉄塔などの構造物の点検、高所や断崖など人が進入しにくい場所の地形調査や災害調査などのため、ドローンなどの飛行体が活用されている。ユーザは飛行体に構造物などの位置情報を設定して自動で構造物まで飛行させ、飛行体に搭載された撮像装置に構造物等を撮像させることで、構造物等の点検や調査を安価かつ安全に行える。飛行体には位置情報が設定された構造物の方向に撮像装置の光軸を向けながら撮像する自動追尾機能があり、自動航行時にユーザが撮像装置の向きを操作しなくても構造物を撮像することが可能である。
【0003】
このような飛行体を使用して特定の物体を検出する技術が考案されている(例えば、特許文献1参照。)。特許文献1には、撮像範囲をエリアに区切り、エリアに存在する物体の情報を読み出すことで画像に写った物体の候補を絞る情報特定システムが開示されている。
【先行技術文献】
【特許文献】
【0004】
【発明の概要】
【発明が解決しようとする課題】
【0005】
しかしながら、従来の技術では、構造物の正確な位置を測定することが困難であるという問題があった。まず、飛行体はGNSS(Global Navigation Satellite System)で自分の位置を把握しながら飛行するが、構造物の正確な位置情報を容易に入手することは困難であるため、構造物を決まった位置から撮像することが困難であった。
図1を用いて説明する。
【0006】
図1は、構造物の一例である鉄塔11の撮像時における地図データの位置情報と鉄塔11の実際の位置のずれを説明する図である。
図1(a)に示すように、地図データには位置情報として鉄塔11の緯度と経度が登録されている。しかし、地図データの位置情報と実際の位置とは若干のずれがあることが一般的である。地図データに記載された構造物の緯度と経度に基づいて飛行体が飛行した場合、
図1(b)に示すように、飛行体10は鉄塔11の真上に到達することができない。例えば、鉄塔11の真上という決まった位置から鉄塔11を点検するユースケースや、鉄塔11の真上から別の鉄塔11まで架空地線や電線等の点検を行うユースケースでは、決まった位置に到達できないと点検を開始できない。したがって、構造物の正確な位置が必要である。
【0007】
この場合、ユーザは飛行体10や撮像される画像データを目視しながら送信器(プロポともいう)を操作して飛行体10の位置を遠隔地から操縦する必要がある(又は、補正された位置情報の入力が必要になる)。ユーザの操縦により、
図1(c)に示すように、飛行体10は鉄塔11の真上から鉄塔11を撮像することができるが、作業効率が低下してしまう。
【0008】
なお、
図1(d)に示すように、鉄塔11の正確な位置はトータルステーション12を用いた現地での測量により測定できる。しかし、作業負担が大きくコスト増となるため採用しにくい。
【0009】
本発明は、上記課題に鑑み、構造物の正確な位置を測定することができる飛行体等を提供することを目的とする。
【課題を解決するための手段】
【0010】
上記課題に鑑み、本発明は、撮像装置を有する飛行体によって上空から構造物を撮像する飛行体システムであって、飛行している現在の位置を取得する現在地取得部と、前記撮像装置が撮像した画像データから前記構造物を検出する構造物検出部と、前記構造物検出部が検出した前記構造物の前記画像データにおける面積情報を検出する面積情報検出部と、前記面積情報検出部が検出した前記構造物の前記画像データにおける面積情報が最小と見なせる場合の前記飛行体の位置を決定する位置決定部と、前記位置決定部が決定した前記飛行体の位置を、前記構造物の位置として記憶する位置記録部と、を有することを特徴とする。
【発明の効果】
【0011】
構造物の正確な位置を測定することができる飛行体等を提供することができる。
【図面の簡単な説明】
【0012】
【
図1】構造物の一例である鉄塔の撮像時における地図データの位置情報と鉄塔の実際の位置のずれを説明する図である。
【
図3】飛行体システムのシステム構成図の一例である。
【
図4】飛行体の飛行条件の設定画面の一例を示す図である。
【
図5】本実施形態で設定される飛行計画を模式的に示す図である。
【
図6】情報処理装置、送信機、及び、飛行体の機能をブロック状に示す機能ブロック図の一例である。
【
図7】飛行体とウェイポイントの相対位置に基づく方位の決定方法を説明する図である。
【
図8】飛行体の挙動と4つのローターの回転方向の関係を説明する図である。
【
図9】フライトコントローラの機能をブロック状に示す機能ブロック図の一例である。
【
図10】飛行体と鉄塔の相対位置に対する鉄塔の撮像例を示す図である。
【
図11】位置決定部が、構造体の面積が最小となる位置を決定する方法の一例を示す図である。
【
図12】構造物が点対称か否かの判断方法を説明する図の一例である。
【
図13】飛行体が構造物の正確な位置を測定する手順を示すフローチャート図の一例である。
【発明を実施するための形態】
【0013】
以下、本発明を実施するための形態の一例として、飛行体システムと飛行体システムが行う位置測定方法について説明する。
【0014】
<用語について>
構造物とは、主に建造物をいうが、自然物を含んでもよい。点検や調査の対象となるものは構造物である。例えば、鉄塔の他、ビル、電柱などが挙げられるがこれには限られない。本実施形態の構造物は、側方から見た大きさよりも真上から見た大きさの方が小さければよい。
【0015】
本実施形態では主に動画を映像と称し、映像のフレームを画像データと称するが、画像データは映像の一部であるため厳密には区別しないものとする。
【0016】
画像データにおける構造物の面積情報は面積そのものだけでなく、画像データにおける構造物の大小が分かる情報であればよく、例えば画像データにおける構造物の割合なども含む。
【0017】
<飛行体の基本的な機能について>
本実施形態では飛行体10の一例として主にドローンを想定して説明する。ドローンとは、飛行機、回転翼航空機、滑空機、飛行船であって構造上人が乗ることができないもののうち、遠隔操作又は自動操縦により飛行させることができるものをいう。マルチコプター、ラジコン機と呼ばれる場合がある。本実施形態ではホバリングが可能な回転翼航空機であることが好ましい。
【0018】
図2は、飛行体10の外観図の一例である。
図2の飛行体10は回転翼航空機というタイプのドローンで4つのローターを有している。ローターの数は機種や用途で様々であり、3、6、8個のローターを備えたものもある。本実施形態においてローターの数はいくつでもよい。
【0019】
また、飛行体10の底面には撮像装置13が3軸ジンバルを介して固定されている。ジンバルとは本体側の姿勢が変化しても撮像装置13の向きを一定に保つ機構をいう。これにより、飛行体10の姿勢が傾いても画像が傾くことを抑制できる。また、ジンバルは撮像装置13の向きを変えることができるので、飛行中でも常に構造物に光軸を向けて撮像できる。
【0020】
図3は、飛行体システム100のシステム構成図の一例を示す。飛行体システム100は送信機20,飛行体10、及び、情報処理装置40を有している。まず、送信機20と飛行体10は無線で通信することができ、ユーザが遠隔地から飛行体10を操縦することができる。送信機20と飛行体10は一体に流通する場合が多いが、汎用的な送信機20で操縦できる飛行体10の場合は、単体で流通する飛行体10に対し市販の送信機20を利用できる。本実施形態では送信機20は必ずしも必須ではない。また、送信機20としてスマートフォン又はタブレット端末等が使用される飛行体10もある。この場合、ユーザはスマートフォン又はタブレット端末等に専用のアプリケーションソフトをインストールして、アプリケーションソフトを操作することで飛行体10を操縦する。
【0021】
送信機20のレバーはエレベータ(前進・後退)、エルロン(左・右)、ラダー(回転)、スロットル(上下)、及び、撮像装置13の向きに割り当てられており、ユーザは飛行体10の位置、高さ、向き、速度、及び、撮像方向の光軸を任意に操縦できる。
【0022】
また、飛行体10は情報処理装置40と無線で通信することができる。飛行体10に搭載された撮像装置13が撮像した映像はリアルタイムに情報処理装置40が受信できる。情報処理装置40は、例えばノートPC,タブレット端末、スマートフォン、PDA(Personal Digital Assistant)、ゲーム機、カーナビゲーション装置などであり、通信機能とディスプレイを有していればよい。
【0023】
情報処理装置40には飛行体10に専用のアプリケーションソフトがインストールされている。飛行体10にも情報処理装置40のアプリケーションソフトに対応したアプリケーションソフトがインストールされている。自動航行の場合、ユーザは情報処理装置40のアプリケーションソフトを使用して自動航行に必要な設定(飛行計画という)などを行う。設定された飛行計画は情報処理装置40が無線で飛行体10に送信する。また、飛行体10は撮像装置13が撮像した映像の他、現在の位置情報、バッテリー状態、気温、及び、湿度、などを定期的に情報処理装置40に送信する。これら飛行体10に関する情報を飛行体情報という。
【0024】
なお、飛行体10は自動航行中、送信機20及び情報処理装置40との通信を維持しているが、どちらか一方、又は、両方との通信が途絶した場合、出発地に帰還するフェールセーフ機能を有している。
【0025】
図4は、飛行体10の飛行条件の設定画面501の一例である。ユーザは情報処理装置40で動作しているアプリケーションソフトが表示する設定画面501から飛行計画を入力する。
図4の設定画面501は地図領域502と詳細設定領域503を有する。ユーザは地図領域502に飛行場所の地図を表示させ、正確な位置を測定したい場所をユーザが地図領域502でタップする。あるいは、詳細設定領域503に経度、緯度、高度等を設定する。なお、飛行体10が通過するように設定された場所をウェイポイントという。
図4の詳細設定領域503はウェイポイント1つ分の項目を有している。
【0026】
本実施形態では、詳細設定領域503を切り替えてユーザが2つのウェイポイントを設定するか、又は、地図領域502で2つの鉄塔11をタップする。本実施形態の課題にて説明したように、この鉄塔11の位置情報は正確とは限らない。
【0027】
ユーザは詳細設定領域503の各項目に各ウェイポイントに関して詳細な飛行計画を設定できる。まず、緯度と経度はウェイポイントの座標であり、高度はウェイポイントを飛行する際の飛行体10の高度である。スピードは出発地から最初のウェイポイントまで、ウェイポイント間、又は、最後のウェイポイントから出発地までの飛行速度である。
【0028】
ヘディングは機種方向(正面方向)を意味し、北を0度として右回転で指定された角度に機首を向けさせるための設定である。POI(Point Of Interest)には地図上で別途指定したPOIの番号が指定される。座標で指定してもよい。POIが指定された場合、撮像装置13の光軸がこのPOIに自動的に向けられる。本実施形態ではPOIはウェイポイント(例えば鉄塔11)と同じでよい。
【0029】
ジンバルピッチには撮像装置13の光軸の設定方法が指定される。「無効」「POIフォーカス」「書き込む」のいずれかを選択可能である。「無効」が選択されると、操縦者が自分で飛行中に操作する。「POIフォーカス」を選択すると、POIの項目で設定されたPOIに撮像装置13の光軸を自動的に合わせる。「書き込む」を選択すると、各ウェイポイントの設定時に任意の光軸を設定できる。
【0030】
本実施形態ではこのPOIに鉄塔11などの構造物を設定することで、構造物まで距離がある場合は側面から、構造物に接近した場合は構造物の斜め上方から、構造物に到達した場合は構造物のほぼ上方から、自動的に撮像することが可能になる。したがって、
図4の詳細設定領域503で高さの項目には対象物の高さよりも大きい値を入力しておくことが好ましい。
【0031】
複数のウェイポイントの飛行計画が設定された場合、飛行体10はウェイポイントの間を飛行する。一般には、ウェイポイントとウェイポイントを結ぶ直線を経路として経路追従走行を行うが、本実施形態では架空地線が撮像装置13の画角に入った状態で、架空地線までの距離を一定に維持しながら飛行体10がウェイポイントの間を飛行する。しかしながら、ウェイポイント間の飛行方法に関しては経路に沿ったものでもよく、本実施形態では特に制限されない。
【0032】
図5は、本実施形態で設定される飛行計画を模式的に示す。
図4で説明したように、ユーザは情報処理装置40に2つの鉄塔11の位置情報等を含む飛行計画を入力する。飛行計画は飛行体10に送信される。
(1)ユーザが自動航行を開始する操作を情報処理装置40から入力すると、この操作が飛行体10に送信され、着陸状態の飛行体10が空中に上昇する。飛行体10は出発地の位置情報を記録してから、最初の鉄塔11までの飛行を開始する。
(2)飛行体10はPOIに設定された鉄塔11に撮像装置13の光軸を合わせた状態で鉄塔11に接近し、ある程度接近した状態で、本実施形態で説明する鉄塔11の正確の位置の測定を開始する。
(3)1つめの鉄塔11の正確な位置を測定できた場合、飛行体10は飛行計画に基づいて次の鉄塔11への飛行を開始する。飛行体10は架空地線との距離を一定に保ち架空地線を撮像しながら次の鉄塔11まで飛行する。2つの鉄塔11間を結ぶ直線を経路にして飛行してもよい。
(4)飛行体10は設定画面501で設定された2つめの鉄塔11の位置情報に接近すると、1つめの鉄塔11と同様に本実施形態で説明する鉄塔11の正確な位置を測定する。
(5)2つめの鉄塔11の正確な位置を測定できた場合、飛行計画には次の鉄塔11が設定されていないので、飛行体10は出発地の位置情報まで飛行を開始する。この時の撮像装置13の光軸はどこを向いていてもよい。
【0033】
<構成例>
続いて、
図6を用いて、飛行体10の構成例を説明する。
図6は、情報処理装置40、送信機20、及び、飛行体10の機能をブロック状に示す機能ブロック図の一例である。なお、情報処理装置40、送信機20、及び、飛行体10はいずれも、CPU、RAM、ROM、フラッシュメモリ、I/O、通信装置、及び、バッテリー等を有する一般的なコンピュータとしての機能を有している。図示する機能は、フラッシュメモリからRAMに展開されたアプリケーションソフト(特許請求の範囲のプログラムの一例)をCPUが実行し、各種のハードウェアを制御することで実現される機能又は手段である。
【0034】
<<情報処理装置>>
情報処理装置40は表示制御部41、操作受付部42、情報管理部43、飛行計画情報送信部44、及び、第1無線通信部45を有している。操作受付部42は、情報処理装置40(アプリケーションソフト)に対する各種の操作を受け付ける。例えば、飛行計画の設定を受け付ける。
【0035】
表示制御部41は、例えば設定画面501をディスプレイに表示し、設定画面501の地図領域502にユーザが設定したウェイポイントやウェイポイントを結んだ飛行経路等を表示する。また、飛行体10から受信した飛行体情報を、情報処理装置40のディスプレイに表示する。
【0036】
飛行計画情報送信部44は、操作受付部42が受け付けた飛行計画情報を、第1無線通信部45を介して飛行体10に送信する。情報管理部43は第1無線通信部45が飛行体10から受信した飛行体情報を管理する。例えば、同じ時刻の位置情報と映像を対応付けて管理する。同じ時刻の位置情報と映像の対応付けは飛行体10が行ってもよい。ユーザは、記録された映像などを再生しその時の位置情報などを確認することができる。ただし、飛行体情報はリアルタイムに送信されなくてもよい。この場合、飛行体10が飛行体情報を保持しておき、出発地への帰還後にユーザが情報処理装置40に飛行体情報を移動又はコピーする。
【0037】
第1無線通信部45は主に無線で飛行体10と通信するが、飛行中でなければ有線で通信してもよい。無線の場合、例えば2.4GHzの周波数帯の電波が使用されるが、周波数や通信プロトコルは適宜、法令にしたがったものが使用されればよい。無線LANや携帯電話網など汎用的な電波を使用してよい。第1無線通信部45は飛行計画情報を送信機20に送信し、送信機20から飛行体情報を受信する。
【0038】
<<送信機>>
送信機20は、操縦受付部21、制御部22、制御信号送信部23、及び、第3無線通信部24を有している。操縦受付部21は、送信機20に設けられたレバーの操作により飛行体10に対する操縦を受け付ける。例えば、レバーを押し倒している間、レバーに対応付けられている動作(エレベータ、エルロン、ラダー、スロットル)に関する操作を受け付ける。また、撮像装置13に対応したレバーが操作された場合、撮像装置13の向きを変更する操作を受け付ける。なお、各レバーに対応する操縦のインタフェースをチャンネルともいう。
【0039】
制御部22は、操縦受付部21が受け付けた操作内容をチャンネルに対応付けられた制御信号に変換する。制御信号はデジタルが一般的であるが、アナログ信号に変換してもよい。制御信号送信部23は第3無線通信部24を介して制御信号を飛行体10に送信する。
【0040】
第3無線通信部24は例えば2.4Ghz帯の搬送波に情報を乗せてアンテナから送信する。周波数や通信プロトコルは適宜、法令にしたがったものが使用されればよい。
【0041】
なお、送信機20と情報処理装置40が無線又は有線で通信してもよい。この場合、送信機20又は情報処理装置40の一方が無線で飛行体10と通信すればよいので、情報処理装置40と送信機20のどちらかは無線通信に関する機能を不要にできる。あるいは、情報処理装置40と送信機20が一体でもよい。
【0042】
<<飛行体>>
飛行体10は、主に第2無線通信部31、第4無線通信部32、フライトコントローラ36、GNSS受信機33、加速度センサ63、ジャイロセンサ64、高度センサ65、距離センサ66、及び、ローターの数だけのESC34(Electric Speed Controller)とモータ35を有している。
【0043】
第2無線通信部31は飛行計画情報を情報処理装置40から受信し、フライトコントローラ36に送出する。第4無線通信部32は操縦に関する制御信号を送信機20から受信し、フライトコントローラ36のモータ制御部59に送出する。第2無線通信部31と第4無線通信部32は常に情報処理装置40と通信しており、電波強度を監視すると共に、通信の切断があればこれを検出する。
【0044】
フライトコントローラ36は、飛行体10の飛行に関する全体的な制御を行う。まず、送信機20からの操縦による制御信号に応じた制御について説明する。モータ制御部59は、制御信号に応じて自転するように又は制御信号に反して飛行体10が自転しないように、各ローターの回転速度を制御する。また、制御信号に応じた速度で飛行するように各ローターの回転速度を制御する。また、制御信号に応じて上昇若しくは下降するように各ローターの回転速度を制御する。なお、飛行中、モータ制御部59は加速度センサ63で姿勢を推定し、姿勢が水平を維持するように各ローターの回転速度を制御する。また、飛行中は、GNSS受信機33が測定する位置の時間的な変化に基づく速度、加速度センサ63が検出する加速度、ジャイロセンサ64が検出する回転速度(ヨーレート)とそれを積分して測定される向き、高度センサ65が検出する高度、及び、距離センサ66が検出する下方の構造物との距離が測定される。
【0045】
また、フライトコントローラ36は撮像装置13を制御信号に応じた向きに制御する。
図6では説明の便宜上、フライトコントローラ36が撮像装置13を制御しているが、撮像装置13の制御はフライトコントローラ36とは別のICチップなどが行ってもよい。
【0046】
次に、飛行計画情報に基づいて飛行するための飛行体10の機能について説明する。フライトコントローラ36は、経路決定部51、処理受付部52、撮像装置制御部53、方向決定部54、飛行計画記憶部55、姿勢推定部56、現在地取得部57、速度変換部58、モータ制御部59、回転速度検出部60、高度検出部61、及び、距離検出部62を有している。
【0047】
処理受付部52は飛行計画情報を受け付けて、飛行計画記憶部55に記憶させる。現在地取得部57はGNSS受信機33が検出する位置情報(緯度、経度、標高)を取得する。速度変換部58は、現在地取得部57が取得した時系列の位置情報と位置情報が取得される時間間隔から位置情報を地表面に対する速度に変換する。あるいは、加速度センサ63が検出する加速度を積分して速度を算出してもよい。
【0048】
経路決定部51は飛行計画記憶部55から飛行計画情報を取得し、飛行体10が飛行すべき経路を決定する。例えば、自動航行の開始が入力された時の位置情報(すなわち、出発地)の位置情報を保持しておく。そして、出発地から最初のウェイポイントを結ぶ直線を設定し、隣接したウェイポイント同士間では架空地線までの距離を一定に維持しながら飛行するモードに切り替え、最後のウェイポイントから出発地を結ぶ直線を設定し、それぞれを経路として決定する。
【0049】
方向決定部54は、直線などの経路に沿って飛行体10が飛行する場合に、現在地と速度を用いて、飛行体10の進行方向を決定する。詳細は
図7を用いて説明する。なお、ウェイポイント間を飛行する際は、架空地線が画像データの中央に撮像されるように、架空地線との距離を一定に維持したまま、飛行する方向を決定する。
【0050】
高度検出部61は高度センサ65が検出する信号に基づいて飛行体10の高度を検出する。高度センサ65が気圧計の場合は、気圧を高度に変換する。高度センサ65が光や音波を送信してから地上で反射して戻ってくるまでの時間から距離を算出する場合、この距離を高度とする。
【0051】
回転速度検出部60は、ジャイロセンサ64が検出する信号に基づいて旋回速度(自転速度)を検出する。また、ロール運動の速さやピッチング運動の速さなども検出できる。
【0052】
距離検出部62は距離センサ66が検出する信号に基づいて構造物までの距離を検出する。例えば、レーザーレーダ(LiDARLight Detection and Ranging、Laser Imaging Detection and Ranging)により距離を検出できる。なお、撮像装置13がステレオカメラの場合は、ステレオカメラが検出する距離情報を使用してもよい。
【0053】
姿勢推定部56は加速度センサ63の検出する信号に基づいて、飛行体10の姿勢を推定する。加速度センサ63は3軸の加速度を検出するため、姿勢推定部56は飛行体10のヨー角、ピッチ角、ロール角を推定できる。ヨー角は例えば北向きを基点に時計回りに正面が何度の方向を向いているかを示し、ピッチ角は水平方向に対し正面が何度、上又は下を向いているか示し、ロール角は正面方向に対し何度、右又は左に傾いているかを示す。
【0054】
撮像装置制御部53は、姿勢推定部56が推定した姿勢に基づいて、3軸ジンバルのうちヨー角、ピッチ角、ロール角に対応するジンバルを、ヨー角、ピッチ角、ロール角を打ち消すように制御する。例えば、ピッチ角が下向きに10度傾けば、ジンバルを上向きに10度、回転させる。こうすることで、飛行体10の姿勢が変わっても撮像装置13は常に正面又はPOIなどの決まった方向を向くことができる。
【0055】
撮像装置制御部53は飛行計画のジンバルピッチで「POIフォーカス」が設定されている場合、ウェイポイントに一番近いPOI(本実施形態では鉄塔)と飛行体10の位置情報を結ぶ直線方向に撮像装置13の光軸を合わせる。POIと飛行体10の三次元座標が分かっているので、X座標、Y座標、Z座標の差分が求められ、この差分を要素とするベクトルの方向を向くようにジンバルを制御する。
【0056】
また、撮像装置制御部53は撮像装置13が撮像する映像を周期的に取得して第2無線通信部31に送出する。第2無線通信部31は映像を含む他の飛行体情報を情報処理装置40に送信する。
【0057】
モータ制御部59は飛行計画に設定された各ウェイポイントの高度と速度が得られるように各モータ35を制御しながら、方向決定部54が決定した方向を向いて飛行するように各モータ35を制御する。目標の高度、速度、及び旋回速度に対し、例えばPID制御により各モータ35の回転数をフィードバック制御する。
【0058】
ESC34はユーザの操作又はモータ制御部59の制御をPWM(Pulse Width Modulation)信号に変換してモータ35の回転速度を制御する。送信機20のレバー位置又は速度、高度、旋回に関するモータ制御部59から制御に応じて電圧ONの時間を変化させることで、モータ35の回転数をコントロールする。
【0059】
<方向の決定方法>
図7を用いて方向の決定方法を説明する。
図7は、飛行体10とウェイポイントの相対位置に基づく方位の決定方法を説明する図である。なお、
図7では、高さを考慮せずに水平面を表している。
【0060】
図7(a)は2つの隣接したウェイポイントA,Bに対し、飛行体10が現在向いている方向を示している。まず、ウェイポイントAとBを結ぶ直線を経路511とする。飛行体10は経路上をウェイポイントBに向かって飛行することが望ましいが、
図7(a)では飛行体10は経路511から離れた位置を、経路とは異なる方向を向いて飛行している。
【0061】
経路511と平行な方向512と現在の飛行体10の方向の差をθ、現在の飛行体10の方向と、飛行体10と経路上のターゲットポイントTを結ぶ直線とのなす角をαとする。ターゲットポイントTは飛行体10よりも前方の経路511を一定速度で移動する(ウェイポイントAを飛行体よりも先に出発する)。飛行体10の方向をα変更すると飛行体10がターゲットポイントTに向かって飛行する。このため、まずαを求める。ターゲットポイントTの座標を(x0,y0)、飛行体10の座標を(x、y)とすると、図示する関係からαは以下のように求められる。
α=arctan{(y0-y)/(x0-x)}-θ
αを急激にゼロにしようとすると姿勢が不安定になるおそれがあるため、ターゲットポイントTに到達する時にαをゼロにすることを考える。この場合、飛行体10は円を描くように飛行するとよい。
図7(b)は円の求め方を説明する図の一例である。飛行体10とターゲットポイントTを結ぶ直線を円の弦513として、弦513の長さをL、円の中心をO、半径をRとする。飛行体10の現在の方向は円の接線514となる。中心Oから弦に垂線515を下ろすと三角形HOPの頂角はαである。以上から半径Rは以下のように求められる。
R=L/(2sinα)
速度vと旋回速度(角速度ω)と半径Rには
ω=Rv
という関係があるため、飛行体10の角速度ωを速度から求めることができる。この旋回速度を繰り返し算出し、速度vと角速度ωで飛行することで経路上を飛行するように飛行体10の方向を制御することができる。
【0062】
なお、経路追従の制御方法が各種考案されており、
図7で説明した方法は一例に過ぎない。
【0063】
<飛行体の速度、高度、旋回の制御について>
図8は、飛行体10の挙動と4つのローターの回転方向の関係を説明する図である。
図8(a)はエレベータ又はエルロンという動作を行う場合のローターの回転速度を示す。例えば、前方にエレベータする場合、前方に比べ後方のローターの回転が速くなることで、飛行体10の前方と後方に揚力の差が生まれ、後方の方が高く持ち上がる。すなわち、飛行体10が前傾姿勢になり前に進む。
【0064】
エルロンで右に進む場合は、右に比べ左のローターの回転が速くなることで、飛行体10の右と左に揚力の差が生まれ、飛行体10が右に傾き、右へ移動する。
【0065】
図8(b)は旋回(ラダー)という動作を行う場合のローターの回転速度を示す。飛行体10は元々、ローターの回転により生じるトルクで機体が回転しないように、隣接したローターは互いに逆方向に回転している。このため、例えば左に旋回する場合は、右回りのローターの回転数が左回りのローターの回転数を上回ると、機体全体が左へ旋回する。対角線にあるローターの回転数を変化させることで旋回する方向を変えることができる。
【0066】
一方、前後、左右、又は対角線のローターに回転速度の差が生じなければ、換言すると、4つのローターがほぼ同じ回転速度で回転することで、飛行体10は空中で静止したり、スロットル(上下)したりすることができる。空中で静止することをホバリングという。
【0067】
<鉄塔の正確な位置を測定するための構成>
続いて、
図9を用いて飛行体10が鉄塔11の正確な位置を測定するための構成について説明する。
図9は、フライトコントローラ36の機能をブロック状に示す機能ブロック図の一例である。なお、
図9に示す機能はフライトコントローラ36以外の部品が有していてもよい。
【0068】
フライトコントローラ36は、位置記録部71、高さ決定部72、対称性判断部73、位置決定部74、面積情報検出部75、構造物検出部76、画像データ取得部77及び、モータ制御部59を有している。モータ制御部59は
図6にて説明したものと同じである。
【0069】
画像データ取得部77は撮像装置13が撮像する映像を構成する画像データを繰り返し取得する。上記のように出発地から最初の鉄塔11までの間、撮像装置13は常に最初の鉄塔11に光軸を向けている。
【0070】
構造物検出部76は、映像から構造物を検出する。例えば、予め用意した鉄塔11の画像を雛形にして映像と比較するパターンマッチングで検出してもよいし、機械学習で生成した識別器で検出してもよい。
【0071】
面積情報検出部75は、画像データに対し構造物が占める面積を検出する。例えば、構造物の外接矩形を検出し、外接矩形が占める画素数を面積とする。面積を検出するのでなく、画像データに対し構造物が占める割合を検出してもよい。
【0072】
位置決定部74は、構造物の面積が最小になる飛行体10の位置を決定する。これは、構造物の面積が最小になった場合、構造物のほぼ真上を飛行していると推定できるためである。なお、面積情報検出部75とモータ制御部59が連携して、フィードバック制御又はフィードフォワード制御を繰り返し、面積が最小となるようにモータ制御部59が飛行体10の位置を決定してもよい。
【0073】
対称性判断部73は、構造物の面積が最小になった場合に、構造物の形状が点対称となるか否かを判断する。構造物の面積が最小となっただけでは構造物の真上を飛行しているとは限らないためである。ただし、構造物の面積が最小であれば、構造物の真上を飛行している場合も多く、対称性の判断は必須でなくてよい。
【0074】
高さ決定部72は、対称性判断部73により構造物の真上にいると判断された場合、構造物の高さを決定する。位置記録部71は、構造物の位置と高さをメモリに記録する。また、位置記録部71は、構造物の真上にいると判断された場合、真上であるという旨と共に、構造物の位置に対応付けて画像データを記録する。位置記録部71が記録した情報は飛行体情報として情報処理装置40に送信される。
【0075】
<正確な鉄塔の位置を決定する方法の一例>
図10を用いて、飛行体10が正確な鉄塔11の位置を決定する方法について説明する。
図10は飛行体10と鉄塔11の相対位置に対する鉄塔11の撮像例を示す図である。
【0076】
図10(a)は鉄塔11に対し真横を飛行する飛行体10を示し、
図10(b)は真横を飛行する飛行体10の撮像装置13が撮像した画像データを示す。
図10(b)に示すように、側面から撮像された鉄塔11の画像データにおける面積は大きくなる。
【0077】
図10(c)は鉄塔11に対し斜め上空を飛行する飛行体10を示し、
図10(d)は斜め上空を飛行する飛行体10の撮像装置13が撮像した画像データを示す。
図10(d)に示すように、斜め上級から撮像された鉄塔11の画像データにおける面積は、側面から撮像するよりも小さくなる。
【0078】
図10(e)は鉄塔11の真上を飛行する飛行体10を示し、
図10(f)は真上を飛行する飛行体10の撮像装置13が撮像した画像データを示す。
図10(f)に示すように、真上から撮像された鉄塔11の画像データにおける面積は、斜め上空から撮像するよりも小さくなる。また、鉄塔11の形状は縦長なので、真上から撮像した場合に面積が最も小さくなる。
【0079】
本実施形態ではこの知見を利用して、撮像した構造物の面積が最小になるように、飛行体10を制御することで、直上となる位置を探索する。更に、飛行体は撮像した構造物の形状が、点対称となった位置を直上と推定する(又は判断する)。点対称か否かを判断することで、真上であることを確認できる。また、面積が最小と見なせる位置がいくつかあり誤差の違い程度の差異しかない場合に、真上の位置を判断できる。
【0080】
<構造物の面積が最小となる位置の決定>
図11は、位置決定部74が、構造体の面積が最小となる位置を決定する方法の一例を示す。
図11に示すように、設定画面501で設定された鉄塔11の位置に到達した時、飛行体10は鉄塔11の真上に存在する可能性が低い。そこで、位置決定部74は飛行体10の現在地を中心に地面に水平な所定の面積の円521を設定し、この円521をメッシュで区切る。円521の半径は鉄塔11の真上が含まれる長さとする。これは地図データが保持する鉄塔11の位置と実際の鉄塔11の位置にどの位のずれがあるかによって定めればよい。メッシュのサイズは一辺を例えば数十〔cm〕から1〔m〕程度とすればよい。これは真上に対し許容できるずれを考慮して決定される。なお、円521は正方形又は長方形でもよいし、楕円でもよい。
【0081】
位置決定部74は、円の中心からメッシュの交点522を辿るようにモータ制御部59にモータ35を制御させる。これにより、メッシュの交点522を通過しながら移動して各交点522における構造物の面積を蓄積できる。位置決定部74は、面積が最小となる又は最小と見なせる1つ以上のメッシュの交点522の座標を決定する。
【0082】
なお、構造物の面積が最小となる位置を決定する方法には、状態フィードバック制御を適用してもよい。状態フィードバック制御は、制御対象の状態量をフィードバックすることにより制御を行う手法をいう。ユーザは、面積が最小となる方向に飛行体10を移動させ式(1)の状態方程式と式(2)の出力方程式を立てる。状態方程式を解いて得られるxを例えば位置とすると、構造物の面積が最小となる位置に移動できる。
【0083】
【数1】
<点対称の判断>
図12は構造物が点対称か否かの判断方法を説明する図の一例である。
図12(a)では映像のほぼ中央に鉄塔11が写っている。対称性判断部73は、
図12(b)に示すように、構造物の外接矩形の領域を切り出す。
【0084】
次に、
図12(c)に示すように、切り出した領域をコピーして複製物を生成する。また、
図12(d)に示すように、切り出した領域を180度回転させる。対称性判断部73は
図12(c)(d)の画像を画素ごとに比較して、点対称か否かを判断する。比較方法としは、SAD(Sum of Absolute Difference)、SSD(Sum of Squared Difference)、NCC(Normalized Cross Correlation)、ZNCC(Zero means Normalized Cross Correlation)などの2つの画像の差異を算出する方法がある。SADとSSDは類似するほど値が小さくなるが、NCCとZNCCは類似するほど値が大きくなる。以下では、類似の程度が高いことを単に対称性のスコアがよいという。
【0085】
なお、
図12では点対称か否かを判断したが、線対称か否かを判断してもよい。真上から見た構造物が点対称であるべきか、線対称であるべきかは構造部の形状によるものである。
【0086】
構造物の面積が最小となる飛行体10の位置の数に応じて、対称性判断部73は以下のように処理する。
(i) 構造物の面積が最小となる位置が1つであり、構造物が点対称であることが確認できた場合、構造物の面積が最小となる位置を構造物の真上の位置に決定する。
(ii) 構造物の面積が最小となる位置が1つであり、構造物が点対称であることが確認できない場合、飛行体10はその旨を記録しておき飛行体情報として情報処理装置40に送信する。この場合、リアルタイムに構造物の真上か否かを映像でユーザが確認し、真上でない場合は送信機20から飛行体10の位置を構造物の面積が最小となるように操縦するとよい。ユーザによるリアルタイムの介在が困難な場合、便宜的に、飛行体10は構造物の面積が最小となる位置を構造物の真上の位置に決定しておき、次の鉄塔11への飛行を継続する。この場合、位置記録部71が記録しておいた画像データと飛行体10の位置情報からユーザが構造物の真上か否かを判断し、真上でない場合は記録しておいた位置情報を破棄する。
(iii) 構造物の面積が最小となる位置が複数であり(面積が最小と見なせる位置がいくつかあり誤差の違い程度の差異しかない場合)、いずれかの位置において構造物が点対称であることを確認できた場合、点対称であることを確認できた位置を構造物の真上の位置に決定する。
(iv) 構造物の面積が最小となる位置が複数であり(面積が最小と見なせる位置がいくつかあり誤差の違い程度の差異しかない場合)、いずれの位置においても構造物が点対称であることを確認できない場合、対称性のスコアが最もよい位置を構造物の真上であると判断する。あるいは、(ii)と同様にユーザが介在するとよい。
【0087】
<鉄塔の高さについて>
以上により、鉄塔11の正確な位置を決定できたので、鉄塔11の高さについても決定する。飛行体10の高度は高度センサ65により検出されており、鉄塔11までの距離は距離センサ66により検出されている。したがって、高さ決定部72は以下により鉄塔11の高さを算出できる。
鉄塔11の高さ=飛行体10の高度-鉄塔11までの距離
<情報処理装置による処理>
図9に示した機能は情報処理装置40が有していてもよい。飛行体10の現在地が設定画面501で設定された鉄塔11の位置に到達した場合、情報処理装置40は
図9に示した位置記録部71、高さ決定部72、対称性判断部73、位置決定部74、面積情報検出部75、及び、構造物検出部76が行う処理を行う。
【0088】
設定画面501で設定された鉄塔11の位置に到達した時、位置決定部74は現在地を中心として地面に水平なメッシュを設定し、メッシュの交点の位置を飛行体10に送信する。メッシュの交点における映像を飛行体10から受信して、構造物検出部76が画像データから構造物を検出し、面積情報検出部75が構造体の面積情報を検出する。位置決定部74は面積が最小になるメッシュの交点の位置を決定し、対称性判断部73が、対称性があると判断したメッシュの交点の位置を飛行体10に送信する。飛行体10はこの位置から架空地線の撮像を開始する。
【0089】
<動作手順>
図13は、飛行体10が構造物の正確な位置を測定する手順を示すフローチャート図の一例である。
図13の処理は、飛行体10がすでに最初の鉄塔11を目的地に飛行しているものとする。
【0090】
撮像装置13は常に鉄塔11に光軸を向けて撮像している。画像データ取得部77は撮像装置13から鉄塔11が映っている画像データを取得して、構造物検出部76は画像データから構造物を検出している。
【0091】
位置決定部74は飛行体10の現在地が、設定画面501で設定された位置とほぼ等しいか否かに基づいて、鉄塔11に到達したか否かを判断する(S1)。この状態では、撮像装置13は斜め上方から鉄塔11を撮像すると考えられる。あるいは、斜め上方から鉄塔11を撮像しているか否かを判断することで、鉄塔11に到達したか否かを判断してもよい。設定画面501で設定された位置に完全に到達することまでは必要なく、飛行体10が鉄塔11に接近することで、ある程度移動すれば(例えば数十メートルの範囲)鉄塔11の最小の面積を撮像できる位置まで到達すれば、鉄塔11に到達したと判断してよい。
【0092】
鉄塔11に到達した場合、位置決定部74は鉄塔11の面積を検出するメッシュの交点522を決定する(S2)。そして、モータ制御部59に各交点522の位置を送出して移動させ、面積情報検出部75は各メッシュの交点522で鉄塔11の面積を検出する(S3)。
【0093】
面積情報検出部75が全ての交点522で面積を算出すると、位置決定部74は面積が最小となる1つ以上の位置(メッシュの交点)を決定する(S4)。
図13の処理では複数の位置が決定されたものとする。
【0094】
対称性判断部73は、鉄塔11の面積が最小になった位置で撮像された鉄塔11の対称性を判断する(S5)。
【0095】
鉄塔11の面積が最小となる位置が複数の場合、対称性のスコアが最もよい位置を鉄塔11の真上に決定する(S6)。
【0096】
鉄塔11の真上の位置を決定できたので、高さ決定部72は飛行体10の高度と鉄塔11までの距離から鉄塔11の高さを算出する(S7)。
【0097】
位置記録部71は、鉄塔11の真上である旨と共に、鉄塔11の真上の位置(緯度、経度)と高さを画像データに対応付けて記録する(S8)。
【0098】
これにより、飛行体10は1つめの鉄塔11の正確な位置を測定できたので、飛行計画にしたがって、2つめの鉄塔11へ移動を開始する。鉄塔11と鉄塔11の間は、架空地線が撮像装置13の画角に入った状態で、架空地線までの距離を一定に維持しながら飛行体10が飛行するので、架空地線をほぼ一定の大きさで撮像でき、ユーザは映像から架空地線を点検できる。
【0099】
<まとめ>
以上説明したように、本実施形態の飛行体10は構造物の面積が最小になるように、位置を決定することで、構造体の正確な位置を測定することができる。
【0100】
<その他の適用例>
以上、本発明を実施するための最良の形態について実施例を用いて説明したが、本発明はこうした実施例に何等限定されるものではなく、本発明の要旨を逸脱しない範囲内において種々の変形及び置換を加えることができる。
【0101】
例えば、構造体の真上を決定した後、構造体を上部から見た四辺の位置を決定してもよい。真上から前後左右に移動して距離センサで距離が急激に長くなる位置(構造体でなく地面までの距離を測定し始めた位置)を、構造体を上部から見た辺(端部)の位置に決定することができる。
【0102】
また、ウェイポイントは2つに限られず、バッテリーが継続する範囲でより多くのウェイポイントを設定できる。
【0103】
また、ウェイポイント間では架空地線だけでなく、電線その他のケーブルを点検してもよい。また、鉄塔11とは異なる種類の構造物がウェイポイントに設定されてよい。
【0104】
また、
図9などの構成例は、飛行体10の処理の理解を容易にするために、主な機能に応じて分割したものである。処理単位の分割の仕方や名称によって本願発明が制限されることはない。また、飛行体10の処理は、処理内容に応じて更に多くの処理単位に分割することもできる。また、1つの処理単位が更に多くの処理を含むように分割することもできる。
【0105】
また、飛行体10の機能は、ソフトウェアにより実現される場合と、各機能を実行するよう設計されたASIC(Application Specific Integrated Circuit)、DSP(digital signal processor)、FPGA(field programmable gate array)等のハードウェアモジュールで実現される場合を含むものとする。
【符号の説明】
【0106】
10 飛行体
11 鉄塔
13 撮像装置
20 送信機
36 フライトコントローラ
40 情報処理装置
100 飛行体システム