(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2023-02-20
(45)【発行日】2023-03-01
(54)【発明の名称】操縦支援装置、操縦支援方法、及びプログラム
(51)【国際特許分類】
B64D 47/08 20060101AFI20230221BHJP
B64C 39/02 20060101ALI20230221BHJP
B64C 19/02 20060101ALI20230221BHJP
【FI】
B64D47/08
B64C39/02
B64C19/02
(21)【出願番号】P 2021527565
(86)(22)【出願日】2020-06-04
(86)【国際出願番号】 JP2020022067
(87)【国際公開番号】W WO2020255729
(87)【国際公開日】2020-12-24
【審査請求日】2021-12-16
(31)【優先権主張番号】P 2019112716
(32)【優先日】2019-06-18
(33)【優先権主張国・地域又は機関】JP
(73)【特許権者】
【識別番号】000232092
【氏名又は名称】NECソリューションイノベータ株式会社
(74)【代理人】
【識別番号】110002044
【氏名又は名称】弁理士法人ブライタス
(72)【発明者】
【氏名】下問 勝司
【審査官】谷川 啓亮
(56)【参考文献】
【文献】特開2017-087916(JP,A)
【文献】特開2018-133749(JP,A)
【文献】特開2018-095049(JP,A)
(58)【調査した分野】(Int.Cl.,DB名)
B64D 47/00 - 47/08
B64C 19/00 - 19/02
B64C 27/00 - 27/82
B64C 39/00 - 39/02
(57)【特許請求の範囲】
【請求項1】
操縦者が操縦している第1の無人航空機に、撮像装置を有する第2の無人航空機を追随させて飛行させ、更に、前記撮像装置によって前記第1の無人航空機が撮影されるように、前記第2の無人航空機の飛行を制御する、飛行制御手段と、
前記撮像装置によって撮影された画像の画像データを取得し、取得した前記画像データによる画像を、表示装置の画面上に表示させる、画像表示手段と、
前記第1の無人航空機の送信機の操作モードを設定する、操作モード設定手段と、
を備え
、
前記操作モード設定手段が、前記画面上に表示されている前記第1の無人航空機の機首方向に基づいて、前記操作モードを設定する、
ことを特徴とする操縦支援装置。
【請求項2】
請求項
1に記載の操縦支援装置であって、
前記第1の無人航空機の位置を特定する第1の位置情報、及び第2の無人航空機の位置を特定する第2の位置情報を取得する、位置情報取得手段を更に備え、
前記飛行制御手段は、取得された前記第1の位置情報及び前記第2の位置情報に基づいて、前記第2の無人航空機を制御する、
ことを特徴とする操縦支援装置。
【請求項3】
請求項
2に記載の操縦支援装置であって、
前記飛行制御手段は、前記第1の位置情報及び前記第2の位置情報に基づいて、前記第2の無人航空機が、前記第1の無人航空機に対して、上空側、側面側、及び後方側うち、いずれかに位置するように、追随させる、
ことを特徴とする操縦支援装置。
【請求項4】
請求項
2または
3に記載の操縦支援装置であって、
前記飛行制御手段は、
前記第1の位置情報及び前記第2の位置情報に基づいて、前記第1の無人航空機と前記第2の無人航空機との間に、目標点を設定し、
前記第2の無人航空機の機首及び進行方向が前記目標点を向くように、前記第2の無人航空機を制御する、
ことを特徴とする操縦支援装置。
【請求項5】
請求項
2または
3に記載の操縦支援装置であって、
前記飛行制御手段は、
前記第1の位置情報に基づいて、前記第1の無人航空機の胴体の後方側の一定距離をおいた位置に、目標点を設定し、
前記第2の無人航空機の機首が前記第1の無人航空機を向き、前記第2の無人航空機の進行方向が前記目標点を向くように、前記第2の無人航空機を制御する、
ことを特徴とする操縦支援装置。
【請求項6】
操縦者が操縦している第1の無人航空機に、撮像装置を有する第2の無人航空機を追随させて飛行させ、更に、前記撮像装置によって前記第1の無人航空機が撮影されるように、前記第2の無人航空機の飛行を制御させ、
前記撮像装置によって撮影された画像の画像データを取得し、取得した前記画像データによる画像を、表示装置の画面上に表示させ、
前記第1の無人航空機の送信機の操作モードを設定し、
前記操作モードの設定において、前記画面上に表示されている前記第1の無人航空機の機首方向に基づいて、前記操作モードを設定する、
ことを特徴とする操縦支援方法。
【請求項7】
コンピュータに、
操縦者が操縦している第1の無人航空機に、撮像装置を有する第2の無人航空機を追随させて飛行させ、更に、前記撮像装置によって前記第1の無人航空機が撮影されるように、前記第2の無人航空機の飛行を制御させ、
前記撮像装置によって撮影された画像の画像データを取得し、取得した前記画像データによる画像を、表示装置の画面上に表示させ、
前記第1の無人航空機の送信機の操作モードを設定させ、
前記操作モードの設定において、前記画面上に表示されている前記第1の無人航空機の機首方向に基づいて、前記操作モードを設定させる、
プログラム。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、無人飛行機の操縦を支援するための、操縦支援装置及び操縦支援方法に関し、更には、これらを実現するためのプログラムに関する。
【背景技術】
【0002】
従来から、「ドローン」と呼ばれる無人飛行機(以下、「UAV(Unmanned Aerial Vehicle)」とも表記する。)は、軍事用途、農薬散布、荷物の運搬、エリアの監視といった様々な用途に用いられている。とりわけ、近年においては、バッテリーの小型化及び高出力化により、動力原として電動モータを利用する小型の無人飛行機が開発されている。小型の無人飛行機は、運用が簡単であることから、急速に普及している。
【0003】
また、UAVの飛行は、自動操縦、又は手動操縦によって行われる。このうち、自動操縦では、UAV自体が、それに搭載されているGPS(Global Positioning System)受信機によって、自身の位置を検出しながら、指定されたルートを自立して飛行する。一方、手動操縦では、UAVは、操縦者が送信機を介して行った操作に応じて、飛行する。
【0004】
ところで、手動操縦の場合、通常、操縦者は、UAVを目視しながら操縦を行うことになるが、ドローンの位置が遠方になると、操縦者においてドローンを視認することが難しく、結果、ドローンの機首の向きが分からなくなり、操縦ミスが生じる可能性がある。また、操縦ミスは、墜落等の原因となる。一方、自動操縦によれば、このような問題は生じないが、自動操縦では、予め指定されたルートを飛行することしかできないため、ドローンの用途が限定的となってしまう。
【0005】
これに対して、FPV(First Person View)飛行と呼ばれる操縦が知られている(例えば、特許文献1参照)。FPV飛行は、操縦者が、UAVに搭載されているカメラからの映像を見ながら、UAVを操縦する方法である。FPV飛行では、操縦者は、UAVに乗っている感覚で飛行できるので、操縦者がUAVを目視できない場合であっても、操縦ミスの生じる可能性は低くなる。
【先行技術文献】
【特許文献】
【0006】
【発明の概要】
【発明が解決しようとする課題】
【0007】
しかしながら、FPV飛行では、操縦者の視界は、UAVに搭載されているカメラの画角に制限されてしまうことから、操縦者において、UAVの周囲の状況を確認することは、目視の場合に比べて非常に難しいという問題がある。また、この結果、FPV飛行での墜落事故の発生確率は、目視による飛行の場合に比べて、非常に高くなっている。
【0008】
本発明の目的の一例は、上記問題を解消し、操縦者による無人航空機の目視が難しい状況下において、操縦ミスの発生を抑制しつつ、無人航空機の周囲の状況を容易に確認できるようにし得る、操縦支援装置、操縦支援方法、及びプログラムを提供することにある。
【課題を解決するための手段】
【0009】
上記目的を達成するため、本発明の一側面における操縦支援装置は、
操縦者が操縦している第1の無人航空機に、撮像装置を有する第2の無人航空機を追随させて飛行させ、更に、前記撮像装置によって前記第1の無人航空機が撮影されるように、前記第2の無人航空機の飛行を制御する、飛行制御部と、
前記撮像装置によって撮影された画像の画像データを取得し、取得した前記画像データによる画像を、表示装置の画面上に表示させる、画像表示部と、
を備えている、
ことを特徴とする。
【0010】
また、上記目的を達成するため、本発明の一側面における操縦支援方法は、
(a)操縦者が操縦している第1の無人航空機に、撮像装置を有する第2の無人航空機を追随させて飛行させ、更に、前記撮像装置によって前記第1の無人航空機が撮影されるように、前記第2の無人航空機の飛行を制御する、ステップと、
(b)前記撮像装置によって撮影された画像の画像データを取得し、取得した前記画像データによる画像を、表示装置の画面上に表示させる、ステップと、
を有する、
ことを特徴とする。
【0011】
更に、上記目的を達成するため、本発明の一側面におけるプログラムは、
コンピュータに、
(a)操縦者が操縦している第1の無人航空機に、撮像装置を有する第2の無人航空機を追随させて飛行させ、更に、前記撮像装置によって前記第1の無人航空機が撮影されるように、前記第2の無人航空機の飛行を制御する、ステップと、
(b)前記撮像装置によって撮影された画像の画像データを取得し、取得した前記画像データによる画像を、表示装置の画面上に表示させる、ステップと、
を実行させる、プログラム。
【発明の効果】
【0012】
以上のように、本発明によれば、操縦者による無人航空機の目視が難しい状況下において、操縦ミスの発生を抑制しつつ、無人航空機の周囲の状況を容易に確認できるようにすることができる。
【図面の簡単な説明】
【0013】
【
図1】
図1は、本発明の実施の形態における操縦支援装置の概略構成を示すブロック図である。
【
図2】
図2は、本発明の実施の形態における操縦支援装置の具体的構成を示すブロック図である。
【
図3】
図3は、本発明の実施の形態において行われる第2の無人航空機の飛行制御の一例を示す図である。
【
図4】
図4は、本発明の実施の形態において行われる第2の無人航空機の飛行制御の他の例を示す図である。
【
図5】
図5は、第2の無人航空機が第1の無人航空機に対して上空側に位置している場合に操作スティックに割り当てられる機能を示す図である。
【
図6】
図6は、第2の無人航空機が第1の無人航空機に対して側面側に位置している場合に操作スティックに割り当てられる機能を示す図である。
【
図7】
図7は、第2の無人航空機が第1の無人航空機に対して後方側に位置している場合に操作スティックに割り当てられる機能を示す図である。
【
図8】
図8は、本発明の実施の形態における操縦支援装置の動作を示すフロー図である。
【
図9】
図9は、本発明の実施の形態における操縦支援装置を実現するコンピュータの一例を示すブロック図である。
【発明を実施するための形態】
【0014】
(実施の形態)
以下、本発明の実施の形態における、操縦支援装置、操縦支援方法、及びプログラムについて、
図1~
図9を参照しながら説明する。
【0015】
[装置構成]
最初に、本発明の実施の形態における操縦支援装置の概略構成について説明する。
図1は、本発明の実施の形態における操縦支援装置の概略構成を示すブロック図である。
【0016】
図1に示す、操縦支援装置10は、操縦者20による第1の無人航空機30の操縦を支援するための装置である。
図1において、21は、操縦用の送信機である。
図1に示すように、操縦支援装置10は、飛行制御部11と、画像表示部12とを備えている。
【0017】
飛行制御部11は、操縦者20が操縦している第1の無人航空機30に、撮像装置46を有する第2の無人航空機40を追随させて飛行させる。また、飛行制御部11は、このとき、撮像装置46によって第1の無人航空機30が撮影されるように、第2の無人航空機40の飛行を制御する。画像表示部12は、撮像装置46によって撮影された画像の画像データを取得し、取得した画像データによる画像を、表示装置の画面上に表示させる。
【0018】
このように、操縦支援装置10を用いることで、操縦者20は、自身が操縦する第1の無人航空機30の状況を、別の追随する第2の無人航空機40からの映像によって確認することができる。従って、本実施の形態によれば、操縦者20による第1の無人航空機30の目視が難しい状況下において、操縦ミスの発生を抑制しつつ、第1の無人航空機30の周囲の状況を容易に確認できるようにすることができる。
【0019】
続いて、
図2を用いて、本実施の形態における操縦支援装置10の構成及び機能についてより具体的に説明する。
図2は、本発明の実施の形態における操縦支援装置の具体的構成を示すブロック図である。
図2においては、各無人航空機30及び40の構成もブロック図によって示されている。
【0020】
図2に示すように、第1の無人航空機30は、位置測定部31と、制御部32と、駆動用モータ33と、通信部34
とを備えている。また、
図1に示したように、第1の無人航空機30は、4つのプロペラ(
図2において図示せず)と4つの駆動用モータ33とを備えるマルチコプターであり、各駆動用モータ33の出力を調整することによって、前進、後進、上昇、下降、右旋回、左旋回、ホバリングを行うことができる。
【0021】
位置測定部31は、GPS(Global Positioning System)受信機を備え、GPS受信機によって受信されたGPS信号を用いて、第1の無人航空機30の位置(緯度、経度、高度)を測定する。また、位置測定部31は、第1の無人航空機30の高度については、例えば、気圧センサを用いて測定することができる。更に、位置測定部31は、測定した第1の無人航空機30の位置を特定する位置情報(第1の位置情報)を、通信部34を介して、第1の無人航空機30の操縦用の送信機21に出力する。
【0022】
駆動用モータ33は、第1の無人航空機30のプロペラを駆動する。通信部34は、操縦者20の送信機21との間で通信を行い、送信機21を介して、操縦者20からの操縦指示を受け取る。また、通信部34は、上述した第1の位置情報等の情報を、第1の無人航空機30から受信する。
【0023】
制御部32は、操縦者20からの操縦指示に基づいて、各駆動用モータ33の出力を調整して、第1の無人航空機30の飛行を制御する。制御部32による制御により、第1の無人航空機30は、前進、後進、上昇、下降、右旋回、左旋回、ホバリングを行う。
【0024】
加えて、第1の無人航空機30の操縦用の送信機21は、表示装置22と、操作スティック23と、第1ボタン24と、第2ボタン25とを備えている。操縦支援装置10の画像表示部12は、表示装置22の画面上に、上述した画像を表示させる。
【0025】
また、
図2に示すように、第2の無人航空機40も、位置測定部41と、制御部42と、駆動用モータ43と、通信部44とを備えている。但し、第2の無人航空機40は、撮像装置
46も備えている。更に、
図1に示したように、第2の無人航空機40も、4つのプロペラ(
図2において図示せず)と4つの駆動用モータ
43とを備えるマルチコプターであり、各駆動用モータ43の出力を調整することによって、前進、後進、上昇、下降、右旋回、左旋回、ホバリングを行うことができる。
【0026】
位置測定部41は、上述の位置測定部31と同様に構成されており、GPS(Global Positioning System)受信機を備え、第2の無人航空機40の位置(緯度、経度、高度)を測定する。また、位置測定部41は、測定した第2の無人航空機40の位置を特定する位置情報(第2の位置情報)を、操縦支援装置10に出力する。駆動用モータ43も、上述の駆動用モータ33と同様に構成されており、第2の無人航空機40のプロペラを駆動する。
【0027】
通信部44は、通信部34と異なり、操縦支援装置10との間で通信を行い、操縦支援装置10からの操縦指示を受け取る。制御部42は、操縦支援装置10からの操縦指示に基づいて、各駆動用モータ43の出力を調整して、第2の無人航空機40の飛行を制御する。制御部42による制御により、第2の無人航空機40は、前進、後進、上昇、下降、旋回、ホバリングを行う。
【0028】
撮像装置46は、デジタルカメラであり、設定されたフレームレートで撮影を行い、撮影した画像の画像データを通信部44に出力する。これにより、通信部44は、画像データを、設定されたフレームレートで操縦支援装置10に送信する。また、撮像装置46には、操縦支援装置10から指示に応じて、撮影方向を自由に設定する機能が備えられている。例えば、第2の無人航空機40が第1の無人航空機30の直上に位置する場合は、撮像装置46は、撮影方向を下方に設定する。また、第2の無人航空機40が第1の無人航空機30の真後ろに位置する場合は、撮像装置46は、撮影方向を前方に設定する。
【0029】
また、
図2に示すように、操縦支援装置10は、上述した飛行制御部11及び画像表示部12に加えて、操作モード設定部13と、位置情報取得部14と、を備えている。また、操縦支援装置10は、第1の
無人航空機
30の送信機21に接続されている。
【0030】
操作モード設定部13は、第1の無人航空機30の送信機21の操作モード、つまり、操作スティック23、第1ボタン24、及び第2ボタン25に割り当てる機能を設定する。具体的には、操作モード設定部13は、表示装置22の画面上に表示されている第1の無人航空機30の機首方向に基づいて、操作スティック23、第1ボタン24、及び第2ボタン25に割り当てる機能を設定する。
【0031】
位置情報取得部14は、送信機21を介して、上述した第1の位置情報を取得し、更に、第2の無人航空機40から第2の位置情報を取得する。飛行制御部11は、本実施の形態では、取得された第1の位置情報及び第2の位置情報に基づいて、第2の無人航空機40を制御する。
【0032】
また、飛行制御部11は、第1の位置情報及び前記第2の位置情報に基づいて、第2の無人航空機40が、第1の無人航空機30に対して、上空側、側面側、及び後方側のうち、いずれかに位置するように、第1の無人航空機30に第2の無人航空機40を追随させる。
【0033】
具体的には、飛行制御部11は、最初に、第2の無人航空機40を、予め第1の無人航空機30の近くに設定した目標点に到達させる(
図3及び
図4参照)。次に、飛行制御部11は、第2の無人航空機40が目標点に到達すると、第2の無人航空機40に追随飛行を行わせる。そして、追随飛行が開始されると、上述したように操作モード設定部13による操作モードの設定が行われる(
図5~
図7参照)。
【0034】
続いて、
図3及び
図4を用いて、第2の無人航空機40が到達点に到達するまでに行われる、飛行制御部11による飛行制御について説明する。
図3は、本発明の実施の形態において行われる第2の無人航空機の飛行制御の一例を示す図である。
図4は、本発明の実施の形態において行われる第2の無人航空機の飛行制御の他の例を示す図である。
【0035】
図3の例では、飛行制御部11は、第1の位置情報及び第2の位置情報に基づいて、第1の無人航空機30と第2の無人航空機40との間に、目標点を設定する。そして、飛行制御部11は、第2の無人航空機40が目標点に到達するように、その速度、進行方向及び高度を指示する。また、このとき、飛行制御部11は、第2の無人航空機40の機首及び進行方向が目標点を向くようにも、第2の無人航空機40に指示を与える。
【0036】
図3に示す飛行制御が行われると、第2の無人航空機40における、移動中の機首方向は、目標点となり、目標点の延長に第1の無人航空機30が存在する。このため、第1の無人航空機30は、必然的に第2の無人航空機40の撮像装置
46の画角に収まることになる。
【0037】
つまり、
図3の例では、第1の無人航空機30の機首の方向についての情報を用いることなく、簡単な制御で、自然に第1の無人航空機30を、撮像装置
46の画角に収めることができる。また、目標点は、第1の無人航空機30と第2の無人航空機40とを結ぶ直線上に、設定されるため、第2の無人航空機40が目標点に到達するためにかかる時間を短縮化できる。また、これらの特徴により、
図3に示す飛行制御は、映像の記録を目的とする場合に有用である。
【0038】
図4の例では、飛行制御部11は、第1の位置情報に基づいて、第1の無人航空機30の胴体の後方側の一定距離をおいた位置に、目標点を設定する。そして、飛行制御部11は、第2の無人航空機40が目標点に到達するように、その速度、進行方向及び高度を制御する。但し、
図4の例では、飛行制御部11は、第2の無人航空機40の機首が第1の無人航空機30を向き、第2の無人航空機40の進行方向が目標点を向くように、第2の無人航空機40を制御する。
【0039】
図4の例では、飛行制御部11は、図
3の例と異なり、第2の無人航空機40の機首の向きを制御する必要があり、制御処理が複雑になる。しかしながら、
図4の例によれば、
図3の例よりも、第1の無人航空機30が撮像装置
46の画角から外れてしまう可能性を小さくできる。また、第2の無人航空機40が、目標点に到達した後は、その機首方向と第1の無人航空機30の機首方向とが一致することになるので、操縦者に対して最適な操縦支援を常に提供できる。
【0040】
続いて、
図5~
図7を用いて、追随飛行時における送信機21の設定について詳細に説明する。
図5は、第2の無人航空機が第1の無人航空機に対して上空側に位置している場合に操作スティックに割り当てられる機能を示す図である。
図6は、第2の無人航空機が第1の無人航空機に対して側面側に位置している場合に操作スティックに割り当てられる機能を示す図である。
図7は、第2の無人航空機が第1の無人航空機に対して後方側に位置している場合に操作スティックに割り当てられる機能を示す図である。
【0041】
図5の例では、第2の無人航空機40が、第1の無人航空機30に対して上空側に位置している。この場合、
図5に示すように、送信機21の表示装置
26の画面には、第1の無人航空機30の上面が表示される。
図5の例では、画面上方側が、第1の無人航空機30の機首側となっている。
【0042】
従って、操作モード設定部13は、送信機21の操作スティック23については、前後を前進後進に割り当て、左右を左右移動に割り当てる。また、操作モード設定部13は、第1ボタン24を下降に割り当て、第2ボタン25を上昇に割り当てる。
【0043】
図6の例では、第2の無人航空機40が、第1の無人航空機30に対して右側に位置している。この場合、
図6に示すように、送信機21の表示装置22の画面には、第1の無人航空機30の右側面が表示される。図
6の例では、画面右側が、第1の無人航空機30の機首側となっている。
【0044】
従って、操作モード設定部13は、送信機21の操作スティック23については、前後を上昇下降に割り当て、左右を前進後進に割り当てる。また、操作モード設定部13は、第1ボタン24を手前側への移動(右移動)に割り当て、第2ボタン25を奥側への移動(左移動)に割り当てる。
【0045】
図7の例では、第2の無人航空機40が、第1の無人航空機30に対して後方に位置している。この場合、
図7に示すように、送信機21の表示装置22の画面には、第1の無人航空機30の後面が表示される。
図7の例では、画面奥側が、第1の無人航空機30の機首側となっている。
【0046】
従って、操作モード設定部13は、送信機21の操作スティック23については、前後を上昇下降に割り当て、左右を左右移動に割り当てる。また、操作モード設定部13は、第1ボタン24を後進に割り当て、第2ボタン25を前進に割り当てる。
【0047】
図5~
図7に示すように、本実施の形態では、第1の無人航空機30の画面に表示されている状態に合わせて、送信機21の操作スティック23、第1ボタン24、第2ボタン25への機能の割り当てが行われる。このため、操縦者は、画面を見ながら直感的に操縦を行えるので、操縦ミスの発生が抑制される。
【0048】
[装置動作]
次に、本実施の形態における操縦支援装置10の動作について
図8を用いて説明する。
図8は、本発明の実施の形態における操縦支援装置の動作を示すフロー図である。以下の説明においては、適宜
図1~
図7を参照する。また、本実施の形態では、操縦支援装置10を動作させることによって、操縦支援方法が実施される。よって、本実施の形態における操縦支援方法の説明は、以下の操縦支援装置10の動作説明に代える。
【0049】
図8に示すように、最初に、飛行制御部11は、第1の無人航空機30の第1の位置情報と、第2の無人航空機40の第2の位置情報とに基づいて、第2の無人航空機40が追随飛行をするための目標点を設定する(ステップA1)。
【0050】
次に、飛行制御部11は、第2の無人航空機40を、ステップA1で設定した目標点へと飛行させる(ステップA2)。具体的には、
図3又は
図4に示したように、飛行制御部11は、第2の無人航空機40が目標点に到達するように、その速度、進行方向及び高度を指示する。
【0051】
また、ステップA2の実行中、第2の無人航空機40からは、撮像装置46によって撮影された画像データが所定のフレームレートで送信されてくる。このため、画像表示部12は、送信されてきた画像データの画像を、送信機21に送り、その表示装置22の画面上に表示させる。
【0052】
次に、操作モード設定部13は、最新の第1の位置情報と第2の位置情報とに基づいて、第1の無人航空機30と第2の無人航空機40との位置関係を特定する(ステップA3)。具体的には、ステップA3では、操作モード設定部13は、第2の無人航空機40が第1の無人航空機30に対して、上空、側面側、後方のいずれに位置しているかを判定する。
【0053】
次に、操作モード設定部13は、表示装置22の画面上に表示されている第1の無人航空機30の機首方向を特定する(ステップA4)。
【0054】
具体的には、予め、機首を示す特徴量が登録されているので、操作モード設定部13は、画像表示部12によって送信される画像から、登録されている特徴量が検出される領域を特定し、特定した領域の位置に基づいて、機首方向を特定する。例えば、登録されている特徴量が、画面向かって右側の領域から検出されている場合は、操作モード設定部13は、機首方向を画面向かって右側の方向と特定する。
【0055】
なお、第1の無人航空機30が、機首の向きを測定する電子コンパスを搭載している場合は、操作モード設定部13は、電子コンパスによる測定結果を取得し、取得した測定結果に基づいて、第1の無人航空機30の機首方向を特定することができる。
【0056】
次に、操作モード設定部13は、ステップA3で特定した位置関係と、ステップA4で特定した位置関係とに基づいて、第1の無人航空機の送信機の操作モードを設定する(ステップA5)。
【0057】
例えば、ステップA3において、位置関係として、第2の無人航空機40が第1の無人航空機30の空側に位置することが特定され、ステップA4において、機首方向が画面上側
に特定されているとする。この場合、操作モード設定部13は、
図5に示したように、操作スティック23、第1ボタン24及び第2ボタン25に機能を割り当てる。
【0058】
ステップA5の実行後、飛行制御部11は、第1の無人航空機30が着陸モードに移行しているかどうかを判定する(ステップA6)。具体的には、飛行制御部11は、操縦者が、送信機21を介して、第1の無人航空機30に対して、着陸を指示しているかどうかを判定する。
【0059】
ステップA6の判定の結果、第1の無人航空機が着陸モードに移行していない場合は、飛行制御部11は、再度ステップA1を実行する。一方、ステップA6の判定の結果、第1の無人航空機が着陸モードに移行している場合は、飛行制御部11は、第2の無人航空機40を着陸させ、処理を終了する(ステップA7)。
【0060】
[実施の形態における効果]
以上のように本実施の形態では、操縦者20は、自身が操縦する第1の無人航空機30の状況を、別の追随する第2の無人航空機40からの映像によって確認することができる。また、映像に表示されている状態に合わせて、送信機21の操作モードが設定されるので、操縦者20は、直感的に第1の無人航空機30を操作することができる。このため、本実施の形態によれば、操縦者20による第1の無人航空機30の目視が難しい状況下において、操縦ミスの発生を抑制しつつ、第1の無人航空機30の周囲の状況を容易に確認できるようにすることができる。
【0061】
更に、本実施の形態においては、第1の無人航空機30を俯瞰的な視点から撮影できるため、俯瞰点な視点での映像記録を行うことができる。このような記録は、作業の確証、事故の分析等に有用である。
【0062】
[プログラム]
本実施の形態におけるプログラムとしては、例えば、コンピュータに、
図8に示すステップA1~A7を実行させるプログラムが挙げられる。このプログラムをコンピュータにインストールし、実行することによって、本実施の形態における操縦支援装置10と操縦支援方法とを実現することができる。この場合、コンピュータのプロセッサは、飛行制御部11、画像表示部12、操作モード設定部13、及び位置情報取得部14として機能し、処理を行なう。
【0063】
また、本実施の形態におけるプログラムは、複数のコンピュータによって構築されたコンピュータシステムによって実行されても良い。この場合は、例えば、各コンピュータが、それぞれ、飛行制御部11、画像表示部12、操作モード設定部13、及び位置情報取得部14のいずれかとして機能しても良い。
【0064】
ここで、本実施の形態におけるプログラムを実行することによって、操縦支援装置10を実現するコンピュータについて
図9を用いて説明する。
図9は、本発明の実施の形態における操縦支援装置を実現するコンピュータの一例を示すブロック図である。
【0065】
図9に示すように、コンピュータ110は、CPU111と、メインメモリ112と、記憶装置113と、入力インターフェイス114と、表示コントローラ115と、データリーダ/ライタ116と、通信インターフェイス117とを備える。これらの各部は、バス121を介して、互いにデータ通信可能に接続される。また、コンピュータ110は、CPU111に加えて、又はCPU111に代えて、GPU(Graphics Processing Unit)、又はFPGA(Field-Programmable Gate Array)を備えていても良い。
【0066】
CPU111は、記憶装置113に格納された、本実施の形態におけるプログラム(コード)をメインメモリ112に展開し、これらを所定順序で実行することにより、各種の演算を実施する。メインメモリ112は、典型的には、DRAM(Dynamic Random Access Memory)等の揮発性の記憶装置である。また、本実施の形態におけるプログラムは、コンピュータ読み取り可能な記録媒体120に格納された状態で提供される。なお、本実施の形態におけるプログラムは、通信インターフェイス117を介して接続されたインターネット上で流通するものであっても良い。
【0067】
また、記憶装置113の具体例としては、ハードディスクドライブの他、フラッシュメモリ等の半導体記憶装置が挙げられる。入力インターフェイス114は、CPU111と、キーボード及びマウスといった入力機器118との間のデータ伝送を仲介する。表示コントローラ115は、ディスプレイ装置119と接続され、ディスプレイ装置119での表示を制御する。
【0068】
データリーダ/ライタ116は、CPU111と記録媒体120との間のデータ伝送を仲介し、記録媒体120からのプログラムの読み出し、及びコンピュータ110における処理結果の記録媒体120への書き込みを実行する。通信インターフェイス117は、CPU111と、他のコンピュータとの間のデータ伝送を仲介する。
【0069】
また、記録媒体120の具体例としては、CF(Compact Flash(登録商標))及びSD(Secure Digital)等の汎用的な半導体記憶デバイス、フレキシブルディスク(Flexible Disk)等の磁気記録媒体、又はCD-ROM(Compact Disk Read Only Memory)などの光学記録媒体が挙げられる。
【0070】
なお、本実施の形態における操縦支援装置10は、プログラムがインストールされたコンピュータではなく、各部に対応したハードウェアを用いることによっても実現可能である。更に、操縦支援装置10は、一部がプログラムで実現され、残りの部分がハードウェアで実現されていてもよい。
【0071】
上述した実施の形態の一部又は全部は、以下に記載する(付記1)~(付記21)によって表現することができるが、以下の記載に限定されるものではない。
【0072】
(付記1)
操縦者が操縦している第1の無人航空機に、撮像装置を有する第2の無人航空機を追随させて飛行させ、更に、前記撮像装置によって前記第1の無人航空機が撮影されるように、前記第2の無人航空機の飛行を制御する、飛行制御部と、
前記撮像装置によって撮影された画像の画像データを取得し、取得した前記画像データによる画像を、表示装置の画面上に表示させる、画像表示部と、
を備えている、
ことを特徴とする操縦支援装置。
【0073】
(付記2)
付記1に記載の操縦支援装置であって、
前記第1の無人航空機の送信機の操作モードを設定する、操作モード設定部を更に備えている、
ことを特徴とする操縦支援装置。
【0074】
(付記3)
付記2に記載の操縦支援装置であって、
前記操作モード設定部が、前記画面上に表示されている前記第1の無人航空機の機首方向に基づいて、前記操作モードを設定する、
ことを特徴とする操縦支援装置。
【0075】
(付記4)
付記1~3のいずれかに記載の操縦支援装置であって、
前記第1の無人航空機の位置を特定する第1の位置情報、及び第2の無人航空機の位置を特定する第2の位置情報を取得する、位置情報取得部を更に備え、
前記飛行制御部は、取得された前記第1の位置情報及び前記第2の位置情報に基づいて、前記第2の無人航空機を制御する、
ことを特徴とする操縦支援装置。
【0076】
(付記5)
付記4に記載の操縦支援装置であって、
前記飛行制御部は、前記第1の位置情報及び前記第2の位置情報に基づいて、前記第2の無人航空機が、前記第1の無人航空機に対して、上空側、側面側、及び後方側うち、いずれかに位置するように、追随させる、
ことを特徴とする操縦支援装置。
【0077】
(付記6)
付記4または5に記載の操縦支援装置であって、
前記飛行制御部は、
前記第1の位置情報及び前記第2の位置情報に基づいて、前記第1の無人航空機と前記第2の無人航空機との間に、目標点を設定し、
前記第2の無人航空機の機首及び進行方向が前記目標点を向くように、前記第2の無人航空機を制御する、
ことを特徴とする操縦支援装置。
【0078】
(付記7)
付記4または5に記載の操縦支援装置であって、
前記飛行制御部は、
前記第1の位置情報に基づいて、前記第1の無人航空機の胴体の後方側の一定距離をおいた位置に、目標点を設定し、
前記第2の無人航空機の機首が前記第1の無人航空機を向き、前記第2の無人航空機の進行方向が前記目標点を向くように、前記第2の無人航空機を制御する、
ことを特徴とする操縦支援装置。
【0079】
(付記8)
(a)操縦者が操縦している第1の無人航空機に、撮像装置を有する第2の無人航空機を追随させて飛行させ、更に、前記撮像装置によって前記第1の無人航空機が撮影されるように、前記第2の無人航空機の飛行を制御する、ステップと、
(b)前記撮像装置によって撮影された画像の画像データを取得し、取得した前記画像データによる画像を、表示装置の画面上に表示させる、ステップと、
を有する、
ことを特徴とする操縦支援方法。
【0080】
(付記9)
付記8に記載の操縦支援方法であって、
(c)前記第1の無人航空機の送信機の操作モードを設定する、ステップを更に有する、ことを特徴とする操縦支援方法。
【0081】
(付記10)
付記9に記載の操縦支援方法であって、
前記(c)のステップにおいて、前記画面上に表示されている前記第1の無人航空機の機首方向に基づいて、前記操作モードを設定する、
ことを特徴とする操縦支援方法。
【0082】
(付記11)
付記8~10のいずれかに記載の操縦支援方法であって、
(d)前記第1の無人航空機の位置を特定する第1の位置情報、及び第2の無人航空機の位置を特定する第2の位置情報を取得する、ステップを更に有し、
前記(a)のステップにおいて、取得された前記第1の位置情報及び前記第2の位置情報に基づいて、前記第2の無人航空機を制御する、
ことを特徴とする操縦支援方法。
【0083】
(付記12)
付記11に記載の操縦支援方法であって、
前記(a)のステップにおいて、前記第1の位置情報及び前記第2の位置情報に基づいて、前記第2の無人航空機が、前記第1の無人航空機に対して、上空側、側面側、及び後方側うち、いずれかに位置するように、追随させる、
ことを特徴とする操縦支援方法。
【0084】
(付記13)
付記11または12に記載の操縦支援方法であって、
前記(a)のステップにおいて、
前記第1の位置情報及び前記第2の位置情報に基づいて、前記第1の無人航空機と前記第2の無人航空機との間に、目標点を設定し、
前記第2の無人航空機の機首及び進行方向が前記目標点を向くように、前記第2の無人航空機を制御する、
ことを特徴とする操縦支援方法。
【0085】
(付記14)
付記11または12に記載の操縦支援方法であって、
前記(a)のステップにおいて、
前記第1の位置情報に基づいて、前記第1の無人航空機の胴体の後方側の一定距離をおいた位置に、目標点を設定し、
前記第2の無人航空機の機首が前記第1の無人航空機を向き、前記第2の無人航空機の進行方向が前記目標点を向くように、前記第2の無人航空機を制御する、
ことを特徴とする操縦支援方法。
【0086】
(付記15)
コンピュータに、
(a)操縦者が操縦している第1の無人航空機に、撮像装置を有する第2の無人航空機を追随させて飛行させ、更に、前記撮像装置によって前記第1の無人航空機が撮影されるように、前記第2の無人航空機の飛行を制御する、ステップと、
(b)前記撮像装置によって撮影された画像の画像データを取得し、取得した前記画像データによる画像を、表示装置の画面上に表示させる、ステップと、
を実行させる、プログラム。
【0087】
(付記16)
付記15に記載のプログラムであって、
前記コンピュータに、
(c)前記第1の無人航空機の送信機の操作モードを設定する、ステップを更に実行させる、
ことを特徴とするプログラム。
【0088】
(付記17)
付記16に記載のプログラムであって、
前記(c)のステップにおいて、前記画面上に表示されている前記第1の無人航空機の機首方向に基づいて、前記操作モードを設定する、
ことを特徴とするプログラム。
【0089】
(付記18)
付記15~17のいずれかに記載のプログラムであって、
前記コンピュータに、
(d)前記第1の無人航空機の位置を特定する第1の位置情報、及び第2の無人航空機の位置を特定する第2の位置情報を取得する、ステップを更に実行させ、
前記(a)のステップにおいて、取得された前記第1の位置情報及び前記第2の位置情報に基づいて、前記第2の無人航空機を制御する、
ことを特徴とするプログラム。
【0090】
(付記19)
付記18に記載のプログラムであって、
前記(a)のステップにおいて、前記第1の位置情報及び前記第2の位置情報に基づいて、前記第2の無人航空機が、前記第1の無人航空機に対して、上空側、側面側、及び後方側うち、いずれかに位置するように、追随させる、
ことを特徴とするプログラム。
【0091】
(付記20)
付記18または19に記載のプログラムであって、
前記(a)のステップにおいて、
前記第1の位置情報及び前記第2の位置情報に基づいて、前記第1の無人航空機と前記第2の無人航空機との間に、目標点を設定し、
前記第2の無人航空機の機首及び進行方向が前記目標点を向くように、前記第2の無人航空機を制御する、
ことを特徴とするプログラム。
【0092】
(付記21)
付記18または19に記載のプログラムであって、
前記(a)のステップにおいて、
前記第1の位置情報に基づいて、前記第1の無人航空機の胴体の後方側の一定距離をおいた位置に、目標点を設定し、
前記第2の無人航空機の機首が前記第1の無人航空機を向き、前記第2の無人航空機の進行方向が前記目標点を向くように、前記第2の無人航空機を制御する、
ことを特徴とするプログラム。
【0093】
以上、実施の形態を参照して本願発明を説明したが、本願発明は上記実施の形態に限定されるものではない。本願発明の構成や詳細には、本願発明のスコープ内で当業者が理解し得る様々な変更をすることができる。
【0094】
この出願は、2019年6月18日に出願された日本出願特願2019-112716を基礎とする優先権を主張し、その開示の全てをここに取り込む。
【産業上の利用可能性】
【0095】
本発明によれば、操縦者による無人航空機の目視が難しい状況下において、操縦ミスの発生を抑制しつつ、無人航空機の周囲の状況を容易に確認できるようにすることができる。本発明は、無人航空機の利用が求められる各種分野において有用である。
【符号の説明】
【0096】
10 操縦支援装置
11 飛行制御部
12 画像表示部
13 操作モード設定部
14 位置情報取得部
20 操縦者
21 送信機
22 表示装置
23 操作スティック
24 第1ボタン
25 第2ボタン
30 第1の無人航空機
31 位置測定部
32 制御部
33 駆動用モータ
34 通信部
40 第2の無人航空機
41 位置測定部
42 制御部
43 駆動用モータ
44 通信部
46 撮像装置
110 コンピュータ
111 CPU
112 メインメモリ
113 記憶装置
114 入力インターフェイス
115 表示コントローラ
116 データリーダ/ライタ
117 通信インターフェイス
118 入力機器
119 ディスプレイ装置
120 記録媒体
121 バス