特許 7029565 操縦装置、情報処理方法、及びプログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2022-02-22

(45)【発行日】2022-03-03

(54)【発明の名称】操縦装置、情報処理方法、及びプログラム

(51)【国際特許分類】

   H04Q 9/00 20060101AFI20220224BHJP

   G05D 1/10 20060101ALI20220224BHJP

   G05D 1/00 20060101ALN20220224BHJP

【ＦＩ】

H04Q9/00 301B

H04Q9/00 331A

G05D1/10

G05D1/00 B

【請求項の数】 5

(21)【出願番号】P 2021079995

(22)【出願日】2021-05-10

(62)【分割の表示】P 2019162846の分割

【原出願日】2017-01-05

(65)【公開番号】P2021119714

(43)【公開日】2021-08-12

【審査請求日】2021-05-11

【早期審査対象出願】

(73)【特許権者】

【識別番号】000208891

【氏名又は名称】ＫＤＤＩ株式会社

(74)【代理人】

【識別番号】100166006

【弁理士】

【氏名又は名称】泉 通博

(74)【代理人】

【識別番号】100124084

【弁理士】

【氏名又は名称】黒岩 久人

(74)【代理人】

【識別番号】100153280

【弁理士】

【氏名又は名称】寺川 賢祐

(72)【発明者】

【氏名】松木 友明

【審査官】今川 悟

(56)【参考文献】

【文献】特開２０１９－２２０９９０（ＪＰ，Ａ）

【文献】国際公開第２０２０／１６６１７８（ＷＯ，Ａ１）

【文献】特開２０１８－１１０３５２（ＪＰ，Ａ）

【文献】特開２００５－２０８８５７（ＪＰ，Ａ）

【文献】米国特許出願公開第２０１６／０１１７８５３（ＵＳ，Ａ１）

【文献】特開２０１２－１４３４４７（ＪＰ，Ａ）

【文献】特開２０１２－１７９６８２（ＪＰ，Ａ）

【文献】特表２００７－５０２７４５（ＪＰ，Ａ）

【文献】特開平０６－３２９０９８（ＪＰ，Ａ）

【文献】特開２０１６－２０３９７８（ＪＰ，Ａ）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｈ０４Ｑ ９／００

Ｇ０５Ｄ １／１０

Ｇ０５Ｄ １／００

(57)【特許請求の範囲】

【請求項1】

無線ネットワークを介して飛行装置を操縦するための操縦装置であって、
前記無線ネットワークを介して、前記飛行装置の飛行方向を示す操作命令を前記飛行装置に送信する送信部と、
前記無線ネットワークを介して、前記飛行装置の存在位置を示す位置情報を前記飛行装置から受信する位置情報受信部と、
無線ネットワークを介して、前記飛行装置が撮影した実画像を受信する実映像受信部と、
前記飛行装置の存在位置とは異なる位置に、仮想の視点を設定する視点設定部と、
前記仮想の視点から前記飛行装置を見た場合における前記飛行装置が飛行中の領域を示す飛行画像を、前記操縦装置の表示部に表示させる表示制御部と、
を備え、
前記表示制御部は、所定の条件に該当すると、前記飛行画像の表示を停止する、
操縦装置。

【請求項2】

前記表示制御部は、前記飛行装置が撮像した実画像と前記飛行画像とを前記表示部に表示させるとともに、前記所定の条件に該当すると、前記飛行画像の表示を停止する、
請求項１に記載の操縦装置。

【請求項3】

前記表示制御部は、前記実画像中の被写体に関する前記所定の条件に該当すると、前記飛行画像の表示を停止する、
請求項１又は２に記載の操縦装置。

【請求項4】

無線ネットワークを介して飛行装置を操縦するための操縦装置が備えるプロセッサが、
前記無線ネットワークを介して、前記飛行装置の飛行方向を示す操作命令を前記飛行装置に送信するステップと、
前記無線ネットワークを介して、前記飛行装置の存在位置を示す位置情報を前記飛行装置から受信するステップと、
無線ネットワークを介して、前記飛行装置が撮影した実画像を受信するステップと、
前記飛行装置の存在位置とは異なる位置に、仮想の視点を設定するステップと、
前記仮想の視点から前記飛行装置を見た場合における前記飛行装置が飛行中の領域を示す飛行画像を、前記操縦装置の表示部に表示させるステップと、
所定の条件に該当すると、前記飛行画像の表示を停止するステップと、
を実行する情報処理方法。

【請求項5】

無線ネットワークを介して飛行装置を操縦するための操縦装置が備えるコンピュータに、
前記無線ネットワークを介して、前記飛行装置の飛行方向を示す操作命令を前記飛行装置に送信する機能と、
前記無線ネットワークを介して、前記飛行装置の存在位置を示す位置情報を前記飛行装置から受信する機能と、
無線ネットワークを介して、前記飛行装置が撮影した実画像を受信する機能と、
前記飛行装置の存在位置とは異なる位置に、仮想の視点を設定する機能と、
前記仮想の視点から前記飛行装置を見た場合における前記飛行装置が飛行中の領域を示す飛行画像を、前記操縦装置の表示部に表示させる機能と、
所定の条件に該当すると、前記飛行画像の表示を停止する機能と、
を実現させるプログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、飛行装置を操縦するための操縦装置、操縦装置が実行する情報処理方法、及び操縦装置で実行されるプログラムに関する。

【背景技術】

【0002】

近年、遠隔から操縦することができる飛行装置であるドローンが普及している。特許文献１には、飛行装置に搭載されたカメラによって周囲を撮影し、撮影した画像のデータを、ユーザが飛行装置の操作に用いる端末に送信する技術が開示されている。

【先行技術文献】

【特許文献】

【0003】

【文献】特開２０１６－１７４３６０号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

飛行装置がユーザの視野から外れた場所を飛行しているときは、ユーザは飛行装置に搭載されたカメラが撮影した画像を頼りに飛行装置を操縦することになる。しかしながら、飛行装置に搭載されたカメラが撮影した画像には、飛行装置自体は被写体に含まれないか、含まれたとしてもその一部のみであることが多い。このため、飛行装置に搭載されたカメラが撮影した画像を見ても、ユーザは飛行装置とそれ以外の物との位置関係や距離感等を把握しにくく、飛行装置の操作がしづらいという問題があった。

【0005】

そこで、本発明はこれらの点に鑑みてなされたものであり、ユーザの視野から外れている飛行装置の操作性を向上させる技術を提供することを目的とする。

【課題を解決するための手段】

【0006】

本発明の第１の態様は、無線ネットワークを介して飛行装置を操縦するための操縦装置である。この装置は、前記無線ネットワークを介して、前記飛行装置の飛行方向を示す操作命令を前記飛行装置に送信する送信部と、前記無線ネットワークを介して、前記飛行装置の存在位置を示す位置情報を前記飛行装置から受信する位置情報受信部と、無線ネットワークを介して、前記飛行装置が撮影した実画像を受信する実映像受信部と、前記飛行装置の存在位置とは異なる位置に、仮想の視点を設定する視点設定部と、前記仮想の視点から前記飛行装置を見た場合における前記飛行装置が飛行中の領域を示す飛行画像を、前記操縦装置の表示部に表示させる表示制御部と、を備える。ここで、前記表示制御部は、所定の条件に該当すると、前記飛行画像の表示を停止する。

【0007】

前記表示制御部は、前記飛行装置が撮像した実画像と前記飛行画像とを前記表示部に表示させるとともに、前記所定の条件に該当すると、前記飛行画像の表示を停止してもよい。

【0008】

前記表示制御部は、前記実画像中の被写体に関する前記所定の条件に該当すると、前記飛行画像の表示を停止してもよい。

【0011】

本発明の第２の態様は、情報処理方法である。この方法において無線ネットワークを介して飛行装置を操縦するための操縦装置が備えるプロセッサが、前記無線ネットワークを介して、前記飛行装置の飛行方向を示す操作命令を前記飛行装置に送信するステップと、前記無線ネットワークを介して、前記飛行装置の存在位置を示す位置情報を前記飛行装置から受信するステップと、無線ネットワークを介して、前記飛行装置が撮影した実画像を受信するステップと、前記飛行装置の存在位置とは異なる位置に、仮想の視点を設定するステップと、前記仮想の視点から前記飛行装置を見た場合における前記飛行装置が飛行中の領域を示す飛行画像を、前記操縦装置の表示部に表示させるステップと、所定の条件に該当すると、前記飛行画像の表示を停止するステップと、を実行する。

【0012】

本発明の第３の態様は、プログラムである。このプログラムは、無線ネットワークを介して飛行装置を操縦するための操縦装置が備えるコンピュータに、前記無線ネットワークを介して、前記飛行装置の飛行方向を示す操作命令を前記飛行装置に送信する機能と、前記無線ネットワークを介して、前記飛行装置の存在位置を示す位置情報を前記飛行装置から受信する機能と、無線ネットワークを介して、前記飛行装置が撮影した実画像を受信する機能と、前記飛行装置の存在位置とは異なる位置に、仮想の視点を設定する機能と、前記仮想の視点から前記飛行装置を見た場合における前記飛行装置が飛行中の領域を示す飛行画像を、前記操縦装置の表示部に表示させる機能と、所定の条件に該当すると、前記飛行画像の表示を停止する機能と、を実現させる。

【発明の効果】

【0013】

本発明によれば、ユーザの視野から外れている飛行装置の操作性を向上させることができる。

【図面の簡単な説明】

【0014】

【図1】実施の形態に係る通信システムの全体構成を模式的に示す図である。

【図2】実施の形態に係る操縦装置の機能構成を模式的に示す図である。

【図3】実施の形態に係る操縦装置の表示部に表示される操作画面の一例を模式的に示す図である。

【図4】実施の形態に係る操縦装置の表示部に表示される操作画面の別の例を模式的に示す図である。

【図5】実施の形態に係る操縦装置の表示部に表示される飛行経路が表示された表示画面の一例を模式的に示す図である。

【図6】表示部に表示される電波強度マップの一例を示す図である。

【図7】飛行装置の周辺の電波強度が所定の閾値以下となった場合に表示部に表示される表示画面を模式的に示す図である。

【図8】実施の形態に係る操縦装置が実行する情報処理の流れを説明するためのフローチャートである。

【発明を実施するための形態】

【0015】

＜実施の形態の概要＞
図１は、実施の形態に係る通信システムＳの全体構成を模式的に示す図である。通信システムＳは、操縦装置１と、飛行装置２とを備える。操縦装置１と飛行装置２とは互いにペアリングされており、無線ネットワークＮを介して互いに通信することができる。操縦装置１は無線ネットワークＮを介して飛行装置２を操縦するための装置であり、ユーザは操縦装置１を用いて飛行装置２を操縦することができる。このため飛行装置２は、操縦装置１から操作命令を受信する受信部と、操作命令に基づいて飛行装置２の飛行を制御する飛行制御部と、を備えている。

【0016】

操縦装置１は例えばスマートフォン及びタブレット等の通信端末である。操縦装置１はまた、飛行装置２を操縦するための専用のプロポであってもよい。ユーザが操縦装置１を操作すると、操縦装置１は、操作内容に応じた制御情報を飛行装置２に送信する。飛行装置２は、飛行位置及び飛行速度等のような、操縦に必要な飛行情報を操縦装置１に送信する。また、飛行装置２はカメラを有しており、カメラで撮像して生成した画像データを操縦装置１に送信する。

【0017】

操縦装置１及び飛行装置２は、複数の無線通信回線を用いて、制御情報、飛行情報及び画像データを送受信することができる。操縦装置１及び飛行装置２は、携帯電話網の基地局３を介することなく情報を送受信できる第１無線通信回線Ｗ１を用いて通信する。操縦装置１及び飛行装置２はまた、携帯電話網の基地局３を介して情報を送受信できる第２無線通信回線Ｗ２を用いて通信することもできる。特に、操縦装置１と飛行装置２とが遠く離れているような場合には、操縦装置１と飛行装置２とは第２無線通信回線Ｗ２を用いて通信することになる。第１無線通信回線Ｗ１は、例えばＷｉ－Ｆｉ（登録商標）回線である。第２無線通信回線Ｗ２は、例えばＬＴＥ（Long Term Evolution）を含む４Ｇ（4th Generation）回線である。

【0018】

ここで、ユーザと飛行装置２とが遠く離れているような場合には、ユーザは飛行装置２を直接目視しながら操縦することは困難である。ユーザと飛行装置２とが遠く離れていなくても、ユーザと飛行装置２との間に構造物等の遮蔽物が存在すれば、ユーザは飛行装置２を目視しながら操縦することはできない。そのため操縦装置１は飛行装置２から受信した画像データを表示するための表示部を備えている。ユーザは飛行装置２を直接目視できなくても、飛行装置２が撮像した画像データを見ることができれば、飛行装置２を構造物等に衝突させてしまうことを回避できる。

【0019】

ここで、飛行装置２は自機に備えられているカメラで撮像する。このため、飛行装置２が撮影した画像には飛行装置２自体は被写体に含まれないか、含まれたとしてもその一部のみであることが多い。したがって、飛行装置２が撮影した画像データを見ても、ユーザは飛行装置２とそれ以外の物との位置関係や距離感等を把握しにくく、飛行装置の操作がしづらい場合がある。

【0020】

そこで実施の形態に係る飛行装置２は、飛行装置２の存在位置を示す位置情報を取得する位置取得部と、無線ネットワークＮを介して、飛行装置２の位置情報（緯度、経度、高度）、速度、方向、姿勢（傾き）、風速、通信品質、及びバッテリー残量に関する情報等の種々の情報を操縦装置１に送信する送信部とも備えている。操縦装置１は、飛行装置２から位置情報を受信し、飛行装置２の存在位置とは異なる位置から飛行装置２を見た場合における、飛行装置２が飛行中の領域を示す画像データを表示部に表示させる。このため、表示部に表示される画像データには、飛行装置２を後ろや横から見た場合の画像となり、飛行装置２を含む画像となる。これにより、ユーザは飛行装置２とそれ以外の物との位置関係や距離感等を把握することが容易になる。結果として、操縦装置１はユーザの視野から外れている飛行装置２の操作性を向上させることができる。
以下、実施の形態に係る操縦装置１についてより詳細に説明する。

【0021】

＜操縦装置１の機能構成＞
図２は、実施の形態に係る操縦装置１の機能構成を模式的に示す図である。操縦装置１は、通信部１０、記憶部１１、表示部１２、操作部１３、品質情報取得部１４、及び制御部１５を備える。

【0022】

通信部１０は、操縦装置１が飛行装置２との間で情報を送受信するための通信インタフェースである。通信部１０は送信部１００と受信部１０１とを備える。また受信部１０１は、位置情報受信部１０１０、実映像受信部１０１１、及び品質情報受信部１０１２を備える。通信部１０は、例えばＷｉ－Ｆｉモジュールや携帯電話通信モジュール等の既知の通信モジュールによって実現される。

【0023】

記憶部１１は、ＯＳ（Operating System）やアプリケーションプログラム等を格納するＲＯＭ（Read Only Memory）や操縦装置１の作業領域となるＲＡＭ（Random Access Memory）、その他の各種情報を格納するＳＳＤ（Solid State Drive）等の大容量記憶装置である。

【0024】

表示部１２は、操縦装置１が生成した情報をユーザに視覚的に通知するためのインタフェースである。表示部１２は表示領域とタッチパネルとが一体となったタッチスクリーンであってもよく、この場合表示部１２は入力インタフェースとしても機能する。

【0025】

操作部１３は、ユーザが飛行装置２を操縦するための操作を行うためのデバイスである。操作部１３は、例えば、飛行方向及び飛行速度を制御するための操作スティック又はボリュームを含む。表示部１２がタッチスクリーンである場合、操作部１３は表示部１２に表示されるＧＵＩ（Graphical User Interface）を用いて全部又は一部が実装されてもよい。

【0026】

品質情報取得部１４は、操縦装置１が存在する場所における無線ネットワークＮの通信品質を示す品質情報を取得する。ここで「無線ネットワークＮの通信品質」とは、無線ネットワークＮの電波強度のみならず電波干渉度も含まれる。例えば無線ネットワークＮの電波強度が弱くなると通信品質が低下する。また無線ネットワークＮの電波干渉度が大きい場合には、無線ネットワークＮの電波強度が強い場合であっても、無線ネットワークＮの通信品質は低下し得る。

【0027】

制御部１５は、操縦装置１のＣＰＵ（Central Processing Unit）やＧＰＵ（Graphics Processing Unit）等のプロセッサであり、記憶部１１に記憶されたプログラムを実行することによって、操作受付部１５１、視点設定部１５２、表示制御部１５３、経路受付部１５４、及び通知部１５５として機能する。

【0028】

操作受付部１５１は、操作部１３の入力を飛行装置２の操作命令に変換する。送信部１００は、無線ネットワークＮを介して、飛行装置２の飛行方向を示す操作命令を飛行装置２に送信する。位置情報受信部１０１０は、無線ネットワークＮを介して、飛行装置２の存在位置を示す位置情報を飛行装置２から受信する。

【0029】

視点設定部１５２は、飛行装置２の存在位置とは異なる位置に、仮想の視点を設定する。表示制御部１５３は、視点設定部１５２が設定した仮想の視点から飛行装置２を見た場合における飛行装置２が飛行中の領域を示す飛行画像を、操縦装置１の表示部１２に表示させる。

【0030】

ここで「仮想の視点」とは、飛行装置２が有するカメラ等の撮像部とは異なり、必ずしも実在しない視点である。視点設定部１５２は、例えば飛行装置２の進行方向に対して後方１０メートル、相対高度で２ｍ上空に設定する。ユーザは操縦装置１の操作スティックを操作することにより、視点設定部１５２が仮想の視点の設定する場所を変更することができる。また、視点設定部１５２は、飛行装置２の飛行速度に応じて仮想の視点を設定する位置を変更してもよい。具体的には、視点設定部１５２は、飛行装置２の飛行速度が速い場合には、遅い場合よりも、飛行装置２から離れた位置に仮想の視点を設定するようにしてもよい。

【0031】

表示制御部１５３は、例えば既知の地形情報に基づいてＣＧ（Computer Graphics）等の技術によってあらかじめ作成された画像データに基づいて、設定された仮想の視点から飛行装置２を見た場合におけるいわば鳥瞰画像を生成し、表示部１２に表示させる。なお、操縦装置１があらかじめ飛行装置２が飛行する空域の映像を撮影して保持している場合には、表示制御部１５３はその映像を読み出して表示部１２に表示させてもよい。また、操縦装置１と飛行装置２とが同一の３次元的な地形情報を記憶している場合には、表示制御部１５３は、飛行装置２から受信した位置情報と地形情報とに基づいて鳥瞰画像を生成し、表示部１２表示してもよい。

【0032】

実映像受信部１０１１は、無線ネットワークＮを介して、飛行装置２が撮像した実画像を飛行装置２から受信する。表示制御部１５３は、飛行装置２が撮像した実画像を表示部１２に表示させる。これにより、ユーザは飛行装置２が撮像した実画像のみならず、飛行装置２を離れた位置から見た場合における鳥瞰画像も表示部１２で確認することができる。飛行装置２が他の物体と接近した場合には、ユーザは飛行装置２と他の物体とが両方とも映っている映像を観察することができるようになる。このため、ユーザは飛行装置２と他の物体との位置関係や距離感を直感的に把握することができる。結果として飛行装置２がユーザの視野から外れていても、飛行装置２の操作性が向上する。

【0033】

なお、飛行装置２が図示しない赤外センサ等の測距センサを備える場合には、飛行装置２は自機の周囲の物体との距離を計測することができる。飛行装置２は、自機と周囲の物体との距離が所定の距離以内となった場合、その旨を操縦装置１に通知する。操縦装置１は、飛行装置２が周囲の物体に所定の距離以内に近づいた場合、操縦装置１の通知部１５５は、操縦装置１が備える図示しないスピーカに警告音を再生させたり、バイブレータを振動させたりすることにより、飛行装置２が他の物体に接近したことをユーザに通知してもよい。

【0034】

また、操縦装置１と飛行装置２との少なくともいずれか一方は、記憶している３次元的な地形情報と飛行装置２の位置情報とに基づいて、飛行装置２が他の物体と接近しているか否かを判定してもよい。飛行装置２と他の物体との距離が所定の距離以内となったとき、操縦装置１の通知部１５５は、操縦装置１が備える図示しないスピーカに警告音を再生させたり、バイブレータを振動させたりすることにより、飛行装置２が他の物体に接近したことをユーザに通知してもよい。

【0035】

したがって、「所定の距離」とは、飛行装置２が他の物体と接近したことをユーザに通知するか否かを決定するために通知部１５５が参照する「接近通知判定用閾距離」である。接近通知判定用閾距離は記憶部１１に格納されている。接近通知判定用閾距離の具体的な値は、飛行装置２が回避行動を起こすことによって他の物体を回避可能な距離であり、飛行装置２の飛行性能を考慮して実験により定めればよいが、例えば２０メートルである。なお、飛行装置２が他の物体との接近を判定する場合には、飛行装置２は、その時点での風速を考慮して接近通知判定用閾距離を変更してもよい。

【0036】

上述したように、表示制御部１５３が表示部１２に表示させる鳥瞰画像は、ＣＧである。このため、鳥瞰画像は現実の状況を忠実に再現できている保証は必ずしも得られない。そこで、表示制御部１５３は、鳥瞰画像を表示部１２に表示させるときは、実映像も必ず表示部１２に表示させるようにしてもよい。これにより、ユーザは飛行装置２の周辺の現実の状況を常に確認することができる。

【0037】

図３は、実施の形態に係る操縦装置１の表示部１２に表示される操作画面の一例を模式的に示す図である。図３に示す例では、操作画面は品質情報インジケータ３０１、電池残量インジケータ３０２、情報パネル３０３、鳥瞰図表示領域３０４、飛行装置アイコン３０５、及びライブ画像表示領域３０６を含む。

【0038】

品質情報インジケータ３０１は、品質情報取得部１４が取得した品質情報、すなわち操縦装置１が存在する場所における無線ネットワークＮの通信品質を示すアイコンである。電池残量インジケータ３０２は、操縦装置１の電池の残量を示すアイコンである。

【0039】

情報パネル３０３は、飛行装置２の飛行に関する情報を示す。情報パネル３０３には、操縦装置１と飛行装置２との間の距離、飛行装置２の進行方向、飛行装置２の飛行速度、及び飛行装置２の高度が表示される。

【0040】

鳥瞰図表示領域３０４は、表示制御部１５３が表示部１２に表示させる鳥瞰画像の表示領域である。図３における鳥瞰図表示領域３０４は、視点設定部１５２が飛行装置２の後方に仮想の視点を設定した場合に、表示制御部１５３が表示部１２に表示させる鳥瞰画像の例を示している。このため鳥瞰図表示領域３０４には、飛行装置２を示す飛行装置アイコン３０５が含まれる。またライブ画像表示領域３０６は、飛行装置２が撮像した実画像の表示領域である。

【0041】

図３に示すように、飛行装置アイコン３０５は鳥瞰図表示領域３０４の中心に示されている。表示制御部１５３は、飛行装置２の移動に追従して、飛行装置アイコン３０５が鳥瞰図表示領域３０４の中心になるように鳥瞰図表示領域３０４の表示領域を変更する。また、表示制御部１５３は、飛行装置２の飛行速度に応じて、鳥瞰図表示領域３０４の縮尺を変更してもよい。具体的には、表示制御部１５３は、飛行装置２の飛行速度が速い場合は、遅い場合よりも、広範囲の映像を示す鳥瞰図表示領域３０４を表示部１２に表示させてもよい。

【0042】

実施の形態に係る飛行装置２が備えるカメラは、飛行装置２の進行方向前方の風景を撮像する。図３における鳥瞰図表示領域３０４は、視点設定部１５２が飛行装置２の後方に仮想の視点を設定した場合における鳥瞰画像であるため、仮想の視点から飛行装置アイコン３０５に向かう向きが、飛行装置２の進行方向となる。したがって、図３に示すように、視点設定部１５２が飛行装置２の後方に仮想の視点を設定した場合、鳥瞰図表示領域３０４に表示される画像とライブ画像表示領域３０６に表示される画像とは類似したものとなる。

【0043】

ところで、ユーザは操縦装置１が備える操作スティック（不図示）を傾倒したり、表示部１２に表示された操作用ＧＵＩ（不図示）を操作したりすることにより、飛行装置２の操作を実行する。例えば、ユーザが操作スティックを「右」に傾倒すると、飛行装置２は「右」に旋回する。

【0044】

ここで「右」や「左」は相対的な方向の概念であり、絶対的な方向を確定するためには何らかの基準が必要となる。そこで実施の形態に係る操縦装置１においては、操作受付部１５１は視点設定部１５２が設定した仮想の視点を基準として、飛行装置２の飛行方向を示す操作命令を決定する。送信部１００は、操作受付部１５１が決定した操作命令を飛行装置２に送信する。例えば、飛行装置２の後方に仮想の視点を設定されている場合、ユーザがスティックを「右」に傾倒すると、飛行装置２は進行方向に対して右方向に曲がる。この場合、例えば飛行装置２がユーザに向かって進行しているとすると、ユーザがスティックを「右」に傾倒すると、飛行装置２はユーザから見て左方向に曲がるように見える。

【0045】

したがって、仮想の視点が飛行装置２の飛行方向に対して飛行装置２の後方に設定されている場合、ユーザによるスティックの系統方向と、鳥瞰図表示領域３０４における飛行装置アイコン３０５の移動方向とが一致することになる。そこで視点設定部１５２は、飛行装置２の飛行方向に対して飛行装置２の後方に、仮想の視点を設定してもよい。これによりユーザによる操作と飛行装置２の移動方向が一致するため、ユーザは直感的に飛行装置２を操作できるようになる。

【0046】

なお、飛行装置２が操縦装置１から遠ざかっている場合には、視点設定部１５２は、操縦装置１と飛行装置２との間に仮想の視点を設定することになる。より具体的には、視点設定部１５２は、操縦装置１の存在位置と飛行装置２の存在位置とを通る直線における仮想の視点の垂線の足が、操縦装置１の存在位置と飛行装置２の存在位置との間に存在するように、仮想の視点を設定する。

【0047】

図４は、実施の形態に係る操縦装置１の表示部１２に表示される操作画面の別の例を模式的に示す図であり、仮想の視点と飛行装置２との位置関係を示す図である。図４に示す例では、操作画面は品質情報インジケータ３０１、電池残量インジケータ３０２、情報パネル３０３、飛行装置アイコン３０５、位置関係表示領域３０７、仮想視点アイコン３０８、ユーザアイコン３０９、及び経路マップ３１０を含む。

【0048】

位置関係表示領域３０７は、操縦装置１、飛行装置２、及び仮想の視点の位置関係を示す領域である。位置関係表示領域３０７には、飛行装置２の位置を示す飛行装置アイコン３０５、仮想の視点を示す仮想視点アイコン３０８、及びユーザ（すなわち操縦装置１）の位置を示すユーザアイコン３０９が配置されている。位置関係表示領域３０７にはさらに、飛行装置アイコン３０５を原点として東西方向を示す軸、南北方向を示す軸、及び高低方向を示す軸による３次元座標系が設定されている。

【0049】

図４に示す例では、ユーザは飛行装置２の南西において飛行装置２よりも低い位置に存在しており、仮想の視点は飛行装置２の南において飛行装置２と同じ高さに設定されていることが示されている。この場合、ユーザがスティックを「右」に傾倒すると、飛行装置２は仮想視点アイコン３０８から見て右側、すなわち東の方向に旋回する。位置関係表示領域３０７を確認することにより、ユーザは飛行装置２と仮想の視点との位置関係を把握することができる。

【0050】

飛行装置２は一般にユーザから離れた上空を飛行するため、操縦装置１と飛行装置２との距離は、視点設定部１５２が設定した仮想の視点と飛行装置２との距離よりも十分に長いといえる。したがって、位置関係表示領域３０７は飛行装置２を起点とした場合におけるユーザ（すなわち操縦装置１）が存在する方向を示す情報であるが、これはすなわち仮想の視点を起点とした場合におけるユーザが存在する方向を示す情報ともいえる。表示制御部１５３が位置関係表示領域３０７を表示部１２に表示させることにより、ユーザは自分自身と仮想の視点との位置関係も容易に把握することができる。

【0051】

表示制御部１５３はまた、飛行装置２のスタート地点と、飛行装置２の到達目標地点とを含む２次元の地図である経路マップ３１０も表示部１２に表示させる。図４に示す経路マップ３１０の例では、飛行装置２のスタート地点は黒丸で示され、飛行装置２の到達目標地点は白抜きの星形で示されている。また、経路マップ３１０における飛行装置２の現在位置は黒の三角形で示されており、飛行装置２のスタート地点から飛行装置２の現在位置に至るまでにたどった経路も示されている。

【0052】

経路マップ３１０は操縦装置１を起点とした場合における飛行装置２の飛行方向を示す情報ともいえる。表示制御部１５３は経路マップ３１０を表示部１２に表示させることにより、ユーザは、飛行装置２のスタート地点（すなわち、ユーザが存在する地点）、飛行装置２の現在位置、及び飛行装置２の到達目標地点との関係を把握することができる。

【0053】

図２の説明に戻る。経路受付部１５４は、操縦装置１のユーザから、飛行装置２を飛行させる経路上に存在する１又は複数の地点の入力を受け付ける。具体的には、ユーザは表示部１２に表示された地図（不図示）を見ながら、操作部１３を操作して飛行装置２の経路を入力する。経路受付部１５４はユーザによる操作部１３の操作を経路情報に変換し、表示制御部１５３に出力する。表示制御部１５３は、１又は複数の地点に対応する飛行画像の領域を、他の領域とは異なる態様として表示部１２に表示させる。

【0054】

なお、実施の形態に係る通信システムＳが、第２無線通信回線Ｗ２により操縦装置１と接続されたサーバ（不図示）を更に備えており、そのサーバが１又は複数の経路情報を格納している場合には、操縦装置１はサーバから経路情報を受信してもよい。このようにすることで、操縦装置１は、多数の経路情報を記憶させるための記憶部１１の記憶容量を増大させる必要がない。

【0055】

図５は、実施の形態に係る操縦装置１の表示部１２に表示される飛行経路が表示された表示画面の一例を模式的に示す図である。図５に示す飛行経路が表示された表示画面の例は、品質情報インジケータ３０１、電池残量インジケータ３０２、情報パネル３０３、鳥瞰図表示領域３０４、飛行装置アイコン３０５、及び経路インジケータ３１１を含む。

【0056】

図５において、鳥瞰図表示領域３０４内の符号３１１で示す矢印は、ユーザによって入力された飛行経路を示す経路インジケータ３１１である。煩雑となることを防ぐためにすべての矢印に符号を付していないが、図５において符号３１１が付された矢印と同様の形状の矢印は経路インジケータ３１１である。図５に示すように、表示制御部１５３は、ユーザによって入力された飛行経路に対応する箇所を立体的な矢印である経路インジケータ３１１を表示することにより、他の飛行画像と区別して表示部１２に表示させている。ユーザは飛行装置アイコン３０５と経路インジケータ３１１とを見ることにより、飛行装置２が設定した飛行経路に沿って飛行しているか否かを一見して把握することができる。

【0057】

ここで通知部１５５は、飛行装置２が飛行装置２を飛行させる経路から外れたことを操縦装置１のユーザに通知する。通知部１５５は、飛行装置２が飛行経路から外れた場合、そのことを示すメッセージを表示制御部１５３を介して表示部１２に表示させることによりユーザに通知する。これに替えて、あるいはこれに加えて、通知部１５５は操縦装置１が備える図示しないスピーカに警告音を再生させたり、バイブレータを振動させたりすることにより、飛行装置２が飛行経路から外れたことをユーザに通知してもよい。これにより、ユーザは飛行装置２が設定した飛行経路から外れたことを迅速に認識することができる。

【0058】

また視点設定部１５２は、飛行装置２が飛行装置２を飛行させる経路から外れた場合、飛行経路を示す経路インジケータ３１１と飛行装置２を示す飛行装置アイコン３０５とが飛行画像に含まれるように、仮想の視点を設定する。これにより、表示制御部１５３が表示部１２に表示させる鳥瞰図表示領域３０４に飛行経路を示す経路インジケータ３１１と飛行装置２を示す飛行装置アイコン３０５とが含まれることになる。鳥瞰図表示領域３０４を見ることにより、ユーザは飛行装置２を飛行経路に戻すために飛行装置２を移動させるべき方向を把握することができる。

【0059】

以上は、操縦装置１が飛行装置２から無線ネットワークＮを介して飛行装置２の位置情報や飛行装置２が撮像した画像等の情報を受信できることを前提とした。ここで操縦装置１が飛行装置２から遠く離れた場合にはＷｉ－Ｆｉを用いた通信が困難となるため、操縦装置１は、第２無線通信回線Ｗ２を介して飛行装置２の位置情報や飛行装置２が撮像した画像等の情報を飛行装置２から受信する。このため、飛行装置２が飛行している領域における第２無線通信回線Ｗ２の通信品質は、操縦装置１と飛行装置２との間で情報をやり取りする際に重要となる。

【0060】

そこで品質情報受信部１０１２は、第２無線通信回線Ｗ２を介して、飛行装置２が存在する場所における第２無線通信回線Ｗ２の通信品質を示す品質情報を、飛行装置２から受信する。表示制御部１５３は、飛行装置２から取得した第２無線通信回線Ｗ２の品質情報を、飛行画像に重畳して表示部１２に表示させる。

【0061】

図６は、表示部１２に表示される電波強度マップ３１２の一例を示す図である。図６においては、第２無線通信回線Ｗ２の通信品質のエリア毎の分布を示す分布情報を電波強度マップ３１２として表示している。この電波強度マップ３１２は、ハッチングラベル３１３に示すように、第２無線通信回線の電波強度の異なる領域に対し、異なるハッチングを付して区分している。

【0062】

なお、電波強度マップ３１２は通信品質の３次元的な分布情報を含むものである。このため、表示制御部１５３は、地上からの飛行装置２の高度に対応付けて電波強度マップ３１２を表示させる。この表示画面では、高度３５ｍ付近における電波強度マップ３１２が示されている。ユーザがアップアイコン３１４を選択する毎に、表示制御部１５３は高度を５ｍ増加させた電波強度マップを表示させる。また、ユーザがダウンアイコン３１５を選択する毎に、表示制御部１５３は高度を５ｍ減少させた電波強度マップを表示させる。

【0063】

表示制御部１５３は、電波強度マップ３１２の中央に、飛行装置アイコン３０５を表示させる。この表示画面では、飛行装置２が地上から高度３４．２ｍに位置している場合の例を示している。このように、表示制御部１５３は、飛行装置２が存在する場所を含む電波強度マップ３１２に飛行装置２が存在する場所を重畳して表示部１２に表示させる。これにより、ユーザは通信品質の良い領域を選んで飛行装置２を飛行させることができる。なお、表示制御部１５３は、飛行装置２から受信した品質情報を表示部１２に表示させることに替えて、記憶部１１にあらかじめ格納してある電波強度マップ３１２を読み出して表示部１２に表示させてもよい。

【0064】

飛行装置２が存在する場所の電波強度マップ３１２が取得できない場合には、表示制御部１５３は電波強度マップ３１２に替えて、エリアマップを表示部１２に表示させてもよい。ここで「エリアマップ」とは、第２無線通信回線Ｗ２の通信が可能か否かを示す通信可能エリアマップであり、既存のスマートフォンの通信状況から作成される既知のマップである。

【0065】

ここで表示制御部１５３は、飛行装置２が存在する場所において品質情報に含まれる第２無線通信回線Ｗ２の通信品質が所定の品質よりも低くなった場合、例えば第２無線通信回線Ｗ２の電波強度が所定の閾値以下となった場合には、電波強度が所定の閾値よりも大きくなる領域（すなわち、通信品質が所定の品質よりも向上する領域）が存在する方向を示す情報を表示部１２に表示させる。なお、「所定の閾値」とは、操縦装置１から飛行装置２への操作情報の送信に耐えうる通信品質を維持できているか否かを決定するために、表示制御部１５３が参照する電波強度の判別基準閾値である。判別基準閾値の具体的な値は、操縦装置１及び飛行装置２が備えるアンテナの性能等を考慮して実験により定めればよい。

【0066】

図７は、飛行装置２の周辺の電波強度が所定の閾値以下となった場合に表示部１２に表示される表示画面を模式的に示す図である。図７に示すように、飛行装置２の周辺の電波強度が所定の閾値以下となった場合、表示部１２は電波強度低下メッセージ３１６を表示する。これにより、ユーザは飛行装置２との通信が途絶える前に、飛行装置２を通信品質の良い環境下に移動させることができる。

【0067】

ここで、飛行装置２をどの方向に移動させれば通信環境が改善するかを知ることができれば、ユーザにとって有用である。そこで表示制御部１５３は、飛行装置２が移動した場合に第２無線通信回線Ｗ２の通信品質がよくなる方向を、表示部１２に表示させる。

【0068】

図７において、方向インジケータ３１７は飛行装置２が移動した場合に無線ネットワークＮの通信品質がよくなる方向を示しており、ユーザアイコン３０９は飛行装置２の位置を基準とした場合におけるユーザの存在方向を示している。図７に示す例では、ユーザは飛行装置２を北西の方向に上昇させるように操作すれば、無線ネットワークＮの通信品質がよくなることを示している。

【0069】

なお、図７に示す方向インジケータ３１７は、飛行装置２が実際に移動することができる方向を示している。表示制御部１５３は、第２無線通信回線Ｗ２の通信品質がよくなる方向であっても、障害物がある等の理由によって飛行装置２が移動できない方向には方向インジケータ３１７を表示部１２に表示させないか、移動できないことを示すアイコン（不図示）を表示させる。

【0070】

ここで飛行装置２は、飛行装置２の周辺の電波強度が所定の閾値以下となった場合、操縦装置１から新たな操作情報が送信されるまでの間その場で空中停止（ホバリング）するようにしてもよい。これにより、飛行装置２がさらに電波強度の低い領域に移動することを防ぐことができる。

【0071】

＜実施の形態に係る操縦装置１が実行する情報処理の処理フロー＞
図８は、実施の形態に係る操縦装置１が実行する情報処理の流れを説明するためのフローチャートである。本フローチャートにおける処理は、例えば操縦装置１の電源が投入されたときに開始する。

【0072】

位置情報受信部１０１０は、無線ネットワークＮを介して、飛行装置２の存在位置を示す位置情報を飛行装置２から受信する（Ｓ２）。視点設定部１５２は、飛行装置２の存在位置とは異なる位置に、仮想の視点を設定する（Ｓ４）。表示制御部１５３は、視点設定部１５２が設定した仮想の視点から飛行装置２を見た場合における飛行装置２が飛行中の領域を示す飛行画像を、操縦装置１の表示部１２に表示させる（Ｓ６）。表示制御部１５３は、無線ネットワークＮを介して取得した飛行装置２が撮像した実画像を表示部１２に表示させる（Ｓ８）。表示制御部１５３が実画像を表示部１２に表示させると、本フローチャートにおける処理は終了する。

【0073】

＜実施の形態に係る操縦装置１が奏する効果＞
以上説明したように、実施の形態に係る操縦装置１によれば、ユーザの視野から外れている飛行装置２の操作性を向上させることができる。
特に、飛行装置２とは異なる位置に仮想の視点を設定し、その視点から飛行装置２を見た場合における飛行装置２の飛行領域を示す画像が表示部１２に表示されるため、ユーザは飛行装置２と他の物体との位置関係や距離関係を容易に把握することができる。

【0074】

また、ユーザが操縦装置１の操作部を操作した場合、飛行装置２の飛行方向は仮想の視点を基準として変更されるので、ユーザは表示部１２を見ながら直感的に飛行装置２を操作することができる。さらに、操縦装置１の表示部１２には飛行装置２が撮像する実画像もリアルタイムに表示されるので、ユーザは飛行装置２の周辺の現在の状況も確認することができる。

【0075】

操縦装置１はあらかじめ入力された飛行装置２を飛行させる予定の飛行経路を表示部１２に表示するため、ユーザは飛行経路を確認しながら飛行装置２を操作することができる。また飛行装置２がこの飛行経路から外れた場合、操縦装置１は飛行経路と飛行装置２とを含む飛行画像を表示部１２に表示する。これにより、ユーザは飛行装置２を飛行経路に容易に復帰させることができる。

【0076】

以上、本発明を実施の形態を用いて説明したが、本発明の技術的範囲は上記実施の形態に記載の範囲には限定されない。上記実施の形態に、多様な変更又は改良を加えることが可能であることが当業者に明らかである。特に、装置の分散・統合の具体的な実施形態は以上に図示するものに限られず、その全部又は一部について、種々の付加等に応じて、又は、機能負荷に応じて、任意の単位で機能的又は物理的に分散・統合して構成することができる。以下そのような変形例を記載する。

【0077】

＜第１の変形例＞
上記では、飛行装置２がカメラ等の撮像装置を用いて周囲の状況を撮像する場合について説明した。ここで飛行装置２は、撮像装置が撮像した画像の被写体を認識する画像認識部（不図示）を備えてもよい。画像認識部は、撮像装置が撮像した画像中に他の飛行体を認識した場合、そのことをユーザが所持する操縦装置１に通知するとともに、その場でホバリングしてもよい。操縦装置１の表示制御部１５３は、飛行装置２から他の飛行体を認識したことの通知を受信した場合、表示部１２に実画像のみを表示させるようにしてもよい。これにより、飛行装置２が他の飛行体と衝突することを抑制できる。

【0078】

なお、画像認識部は、例えばニューラルネットワーク、ＳＶＭ（Support Vector Machine）、ブースティング等の既知の機械学習技術を用いて生成した検出器を用いて実現できる。

【0079】

＜第２の変形例＞
上記では、経路受付部１５４は、操縦装置１のユーザから、飛行装置２を飛行させる経路上に存在する１又は複数の地点の入力を受け付ける場合について説明した。これに替えて、あるいはこれに加えて、経路受付部１５４は、外部のサーバ（不図示）から、複数の推奨経路が含まれた３次元地図をダウンロードしてもよい。表示制御部１５３は、操作部１３を介してユーザから切り替え指示を受け付け、表示部１２に表示させる推奨経路を切り替えさせてもよい。これにより、ユーザは複数の推奨経路の中から実際に飛行装置２を飛行させる経路を選択することができる。

【0080】

＜第３の変形例＞
上記では、操作受付部１５１は視点設定部１５２が設定した仮想の視点を基準として、飛行装置２の飛行方向を示す操作命令を決定する場合について説明した。これは、表示部１２に鳥瞰図表示領域３０４が表示されている場合には有用である。しかしながら、表示部１２に鳥瞰図表示領域３０４が表示されておらず、代わりに位置関係表示領域３０７や経路マップ３１０が表示されている場合には、操作受付部１５１は、位置関係表示領域３０７や経路マップ３１０における操縦装置１と飛行装置２との位置関係（すなわち、表示部１２に表示された地図上の位置関係）に基づいて飛行装置２の飛行方向を示す操作命令を決定することが好ましい。

【0081】

そこで第３の変形例に係る操縦装置１は、図示しないＧＵＩ又は物理的なスイッチで実現された切り替えスイッチを備える。ユーザは切り替えスイッチを操作することにより、操作受付部１５１が視点設定部１５２が設定した仮想の視点を基準として、飛行装置２の飛行方向を示す操作命令を決定するか、あるいは表示部１２に表示された地図上の位置関係に基づいて飛行方向を示す操作命令を決定するかを切り替えることができる。これにより、第３の変形例に係る操縦装置１は、表示部１２の表示内容に適した操作用のユーザインタフェースをユーザに提供することができる。

【0082】

なお、上記の変形例を任意に組み合わせることで生じる新たな変形例も、本発明の実施の形態に含まれる。組み合わせによって新たに生じた変形例の効果は、元となる各変形例の効果をあわせ持つ。

【符号の説明】

【0083】

１・・・操縦装置
２・・・飛行装置
３・・・基地局
１０・・・通信部
１１・・・記憶部
１２・・・表示部
１３・・・操作部
１４・・・品質情報取得部
１５・・・制御部
１００・・・送信部
１０１・・・受信部
１５１・・・操作受付部
１５２・・・視点設定部
１５３・・・表示制御部
１５４・・・経路受付部
１５５・・・通知部
１０１０・・・位置情報受信部
１０１１・・・実映像受信部
１０１２・・・品質情報受信部
Ｎ・・・無線ネットワーク
Ｓ・・・通信システム

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】