特許 6962812 情報処理装置、飛行制御指示方法、プログラム、及び記録媒体

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】6962812

(24)【登録日】2021年10月18日

(45)【発行日】2021年11月5日

(54)【発明の名称】情報処理装置、飛行制御指示方法、プログラム、及び記録媒体

(51)【国際特許分類】

   H04N 5/232 20060101AFI20211025BHJP

   B64C 19/02 20060101ALI20211025BHJP

   B64D 47/08 20060101ALI20211025BHJP

   B64C 27/08 20060101ALI20211025BHJP

   B64C 39/02 20060101ALI20211025BHJP

   H04N 5/222 20060101ALI20211025BHJP

   G05D 1/00 20060101ALI20211025BHJP

【ＦＩ】

   H04N5/232 935

   B64C19/02

   B64D47/08

   B64C27/08

   B64C39/02

   H04N5/222 100

   H04N5/232 030

   H04N5/232 290

   H04N5/232 960

   H04N5/232 990

   G05D1/00 B

【請求項の数】24

【全頁数】32

(21)【出願番号】特願2017-249297(P2017-249297)

(22)【出願日】2017年12月26日

(65)【公開番号】特開2019-115012(P2019-115012A)

(43)【公開日】2019年7月11日

【審査請求日】2019年12月9日

(73)【特許権者】

【識別番号】513068816

【氏名又は名称】エスゼット ディージェイアイ テクノロジー カンパニー リミテッド

【氏名又は名称原語表記】ＳＺ ＤＪＩ ＴＥＣＨＮＯＬＯＧＹ ＣＯ．，ＬＴＤ

(74)【代理人】

【識別番号】110002000

【氏名又は名称】特許業務法人栄光特許事務所

(72)【発明者】

【氏名】周 杰旻

【審査官】 高野 美帆子

(56)【参考文献】

【文献】 韓国公開特許第１０−２０１８−００７４３２５（ＫＲ，Ａ）

【文献】 特開２０１７−０２７３５５（ＪＰ，Ａ）

【文献】 特開２０１４−２１２４７９（ＪＰ，Ａ）

【文献】 特開２０１７−１１２４３８（ＪＰ，Ａ）

【文献】 特開２０１６−２２５８７４（ＪＰ，Ａ）

【文献】 国際公開第２０１７／１９９７９４（ＷＯ，Ａ１）

(58)【調査した分野】（Int.Cl.，ＤＢ名）

Ｈ０４Ｎ ５／２２２−５／２５７

Ｂ６４Ｃ １９／０２

Ｂ６４Ｄ ４７／０８

Ｂ６４Ｃ ２７／０８

Ｂ６４Ｃ ３９／０２

Ｇ０５Ｄ １／００

(57)【特許請求の範囲】

【請求項1】

複数の飛行体の飛行の制御を指示する情報処理装置であって、
処理部を備え、
前記処理部は、
各飛行体により撮像された複数の第１の撮像画像を取得し、
前記複数の第１の撮像画像を合成して第１の合成画像を生成し、
前記第１の合成画像の画像範囲である第１の画像範囲を変更するための変更操作の情報を取得し、
前記変更操作に基づいて、前記複数の飛行体の飛行の制御を指示し、
前記変更操作の情報は、前記第１の画像範囲のサイズを、細かく調整する微調整モードと、粗く調整する粗調整モードと、を少なくとも含み、
前記処理部は、
前記微調整モードを取得した場合、前記変更操作に基づいて、高度方向への前記複数の飛行体の移動を指示する第１の移動指示を行い、
前記粗調整モードを取得した場合、前記変更操作に基づいて、水平方向への前記複数の飛行体の移動を指示する第２の移動指示を行う、
情報処理装置。

【請求項2】

前記変更操作の情報は、前記変更操作の種別と前記変更操作の操作量との情報を含み、
前記処理部は、
前記第１の画像範囲を算出し、
前記第１の画像範囲と前記変更操作の種別と前記変更操作の操作量とに基づいて、第２の画像範囲を算出し、
各飛行体により撮像される複数の第２の撮像画像を合成した場合の第２の合成画像の画像範囲が前記第２の画像範囲となるように、前記複数の飛行体の飛行の制御を指示する、
請求項１に記載の情報処理装置。

【請求項3】

前記処理部は、前記複数の飛行体が同一の距離移動するよう、前記第１の移動指示を行う、
請求項１に記載の情報処理装置。

【請求項4】

前記処理部は、前記複数の飛行体における隣り合う２つの飛行体の間の距離が等間隔となるよう、前記第２の移動指示を行う、
請求項１に記載の情報処理装置。

【請求項5】

前記処理部は、前記複数の飛行体における隣り合う２つの飛行体の間の距離が閾値以上の距離となるよう、前記第２の移動指示を行う、
請求項１または４に記載の情報処理装置。

【請求項6】

前記処理部は、前記複数の飛行体における隣り合う２つの飛行体により撮像される撮像画像の画像範囲の少なくとも一部が重複するよう、前記第２の移動指示を行う、
請求項１、４、５のいずれか１項に記載の情報処理装置。

【請求項7】

前記変更操作の情報は、前記第１の画像範囲のサイズを、細かく調整するか粗く調整するかを自動的に決定する自動モードを更に含み、
前記処理部は、前記自動モードを取得した場合、前記複数の飛行体の飛行可能区域の制限情報に基づいて、前記第１の移動指示を行うか前記第２の移動指示を行うかを決定する、
請求項１に記載の情報処理装置。

【請求項8】

前記処理部は、
前記第１の画像範囲を回転するための前記変更操作の情報を取得し、
前記変更操作に基づいて、前記複数の飛行体の位置関係を維持して前記複数の飛行体における基準位置を基準として回転するよう、前記複数の飛行体の飛行の制御を指示する、
請求項１〜７のいずれか１項に記載の情報処理装置。

【請求項9】

前記処理部は、
前記第１の画像範囲を他の地理的範囲に水平方向に移動するための前記変更操作の情報を取得し、
前記変更操作に基づいて、複数の飛行体の移動を指示する、
請求項１〜８のいずれか１項に記載の情報処理装置。

【請求項10】

前記処理部は、前記変更操作の情報の取得が終了するまで、前記変更操作に基づく前記複数の飛行体の飛行の制御の指示を反復して実行する、
請求項１〜９のいずれか１項に記載の情報処理装置。

【請求項11】

前記処理部は、前記変更操作の情報の取得が終了した後に、前記変更操作に基づく飛行体の飛行の制御を指示する、
請求項１〜１０のいずれか１項に記載の情報処理装置。

【請求項12】

複数の飛行体の飛行の制御を指示する情報処理装置における飛行制御指示方法であって、
各飛行体により撮像された複数の第１の撮像画像を取得するステップと、
前記複数の第１の撮像画像を合成して第１の合成画像を生成するステップと、
前記第１の合成画像の画像範囲である第１の画像範囲を変更するための変更操作の情報を取得するステップと、
前記変更操作に基づいて、前記複数の飛行体の飛行の制御を指示するステップと、を含み、
前記変更操作の情報は、前記第１の画像範囲のサイズを、細かく調整する微調整モードと、粗く調整する粗調整モードと、を少なくとも含み、
前記飛行制御指示方法は、更に、
前記微調整モードを取得した場合、前記変更操作に基づいて、高度方向への前記複数の飛行体の移動を指示する第１の移動指示を行うステップと、
前記粗調整モードを取得した場合、前記変更操作に基づいて、水平方向への前記複数の飛行体の移動を指示する第２の移動指示を行うステップと、
を含む飛行制御指示方法。

【請求項13】

前記変更操作の情報は、前記変更操作の種別と前記変更操作の操作量との情報を含み、
前記複数の飛行体の飛行の制御を指示するステップは、
前記第１の画像範囲を算出するステップと、
前記第１の画像範囲と前記変更操作の種別と前記変更操作の操作量とに基づいて、第２の画像範囲を算出するステップと、
各飛行体により撮像される複数の第２の撮像画像を合成した場合の第２の合成画像の画像範囲が前記第２の画像範囲となるように、前記複数の飛行体の飛行の制御を指示するステップと、を含む、
請求項１２に記載の飛行制御指示方法。

【請求項14】

前記複数の飛行体の飛行の制御を指示するステップは、前記複数の飛行体が同一の距離移動するよう、前記第１の移動指示を行うステップを含む、
請求項１２に記載の飛行制御指示方法。

【請求項15】

前記複数の飛行体の飛行の制御を指示するステップは、前記複数の飛行体における隣り合う２つの飛行体の間の距離が等間隔となるよう、前記第２の移動指示を行うステップを含む、
請求項１２に記載の飛行制御指示方法。

【請求項16】

前記複数の飛行体の飛行の制御を指示するステップは、前記複数の飛行体における隣り合う２つの飛行体の間の距離が閾値以上の距離となるよう、前記第２の移動指示を行うステップを含む、
請求項１２または１５に記載の飛行制御指示方法。

【請求項17】

前記複数の飛行体の飛行の制御を指示するステップは、前記複数の飛行体における隣り合う２つの飛行体により撮像される撮像画像の画像範囲の少なくとも一部が重複するよう、前記第２の移動指示を行うステップを含む、
請求項１２、１５、１６のいずれか１項に記載の飛行制御指示方法。

【請求項18】

前記変更操作の情報は、前記第１の画像範囲のサイズを、細かく調整するか粗く調整するかを自動的に決定する自動モードを更に含み、
前記変更操作の情報を取得するステップにおいて、前記自動モードを取得した場合、
前記決定するステップは、前記複数の飛行体の飛行可能区域の制限情報に基づいて、前記第１の移動指示を行うか前記第２の移動指示を行うかを決定するステップを含む、
請求項１２に記載の飛行制御指示方法。

【請求項19】

前記変更操作の情報を取得するステップは、前記第１の画像範囲を回転するための前記変更操作の情報を取得するステップを含み、
前記複数の飛行体の飛行の制御を指示するステップは、前記変更操作に基づいて、前記複数の飛行体の位置関係を維持して前記複数の飛行体における基準位置を基準として回転するよう、前記複数の飛行体の飛行の制御を指示するステップを含む、
請求項１２〜１８のいずれか１項に記載の飛行制御指示方法。

【請求項20】

前記変更操作の情報を取得するステップは、前記第１の画像範囲を他の地理的範囲に水平方向に移動するための前記変更操作の情報を取得するステップを含み、
前記複数の飛行体の飛行の制御を指示するステップは、前記変更操作に基づいて、複数の飛行体の移動を指示するステップを含む、
請求項１２〜１９のいずれか１項に記載の飛行制御指示方法。

【請求項21】

前記複数の飛行体の飛行の制御を指示するステップは、前記変更操作の情報の取得が終了するまで、前記変更操作に基づく前記複数の飛行体の飛行の制御の指示を反復して実行するステップを含む、
請求項１２〜２０のいずれか１項に記載の飛行制御指示方法。

【請求項22】

前記複数の飛行体の飛行の制御を指示するステップは、前記変更操作の情報の取得が終了した後に、前記変更操作に基づく飛行体の飛行の制御を指示するステップを含む、
請求項１２〜２１のいずれか１項に記載の飛行制御指示方法。

【請求項23】

複数の飛行体の飛行の制御を指示する情報処理装置に、
各飛行体により撮像された複数の第１の撮像画像を取得するステップと、
前記複数の第１の撮像画像を合成して第１の合成画像を生成するステップと、
前記第１の合成画像の画像範囲である第１の画像範囲を変更するための変更操作の情報を取得するステップと、
前記変更操作に基づいて、前記複数の飛行体の飛行の制御を指示するステップと、
を実行させるためのプログラムであって、
前記変更操作の情報は、前記第１の画像範囲のサイズを、細かく調整する微調整モードと、粗く調整する粗調整モードと、を少なくとも含み、
前記プログラムは、更に、前記情報処理装置に、
前記微調整モードを取得した場合、前記変更操作に基づいて、高度方向への前記複数の飛行体の移動を指示する第１の移動指示を行うステップと、
前記粗調整モードを取得した場合、前記変更操作に基づいて、水平方向への前記複数の飛行体の移動を指示する第２の移動指示を行うステップと、
を実行させるためのプログラム。

【請求項24】

複数の飛行体の飛行の制御を指示する情報処理装置に、
各飛行体により撮像された複数の第１の撮像画像を取得するステップと、
前記複数の第１の撮像画像を合成して第１の合成画像を生成するステップと、
前記第１の合成画像の画像範囲である第１の画像範囲を変更するための変更操作の情報を取得するステップと、
前記変更操作に基づいて、前記複数の飛行体の飛行の制御を指示するステップと、
を実行させるためのプログラムを記録したコンピュータ読取り可能な記録媒体であって、
前記変更操作の情報は、前記第１の画像範囲のサイズを、細かく調整する微調整モードと、粗く調整する粗調整モードと、を少なくとも含み、
前記プログラムは、更に、前記情報処理装置に、
前記微調整モードを取得した場合、前記変更操作に基づいて、高度方向への前記複数の飛行体の移動を指示する第１の移動指示を行うステップと、
前記粗調整モードを取得した場合、前記変更操作に基づいて、水平方向への前記複数の飛行体の移動を指示する第２の移動指示を行うステップと、
を実行させるためのプログラムを記録したコンピュータ読取り可能な記録媒体。

【発明の詳細な説明】

【技術分野】

【0001】

本開示は、複数の飛行体の飛行の制御を指示する情報処理装置、飛行制御指示方法、プログラム、及び記録媒体に関する。

【背景技術】

【0002】

従来、無人航空機は、無人航空機に搭載されたカメラにより空撮可能であり、農業や災害時の救助等、様々な分野で活用が検討されている。

【0003】

先行技術として、カメラが搭載された無人飛行体と、無人飛行体の位置を移動させる操作装置とを備える移動制御システムが知られる（特許文献１参照）。この移動制御システムでは、操作装置は、カメラで撮像された画像を表示するタッチパネルを有する。操作装置は、ユーザによるタッチパネルに対するタッチ操作がピンチアウト操作である場合、無人飛行体を被写体の方向に前進させ、ピンチイン操作である場合、無人飛行体を被写体の方向から後退させる。

【先行技術文献】

【特許文献】

【0004】

【特許文献1】特開２０１７−１３９５８２号公報

【発明の概要】

【発明が解決しようとする課題】

【0005】

特許文献１には、１つの無人飛行体に搭載されたカメラが撮像する際に、無人飛行体の位置をピンチアウト操作やピンチイン操作により移動させる操作に関する技術が開示されている。一方、複数の無人飛行体のカメラで同時に撮像する場合については考慮されていない。例えば、複数の無人飛行体のカメラで同時に撮像された複数の画像について画像範囲に変更する場合、複数の無人飛行体を効率的に移動させることは困難である。

【課題を解決するための手段】

【0006】

一態様において、情報処理装置は、複数の飛行体の飛行の制御を指示する情報処理装置であって、処理部を備え、処理部は、各飛行体により撮像された複数の第１の撮像画像を取得し、複数の第１の撮像画像を合成して第１の合成画像を生成し、第１の合成画像の画像範囲である第１の画像範囲を変更するための変更操作の情報を取得し、変更操作に基づいて、複数の飛行体の飛行の制御を指示する。

【0007】

変更操作の情報は、変更操作の種別と変更操作の操作量との情報を含んでよい。処理部は、第１の画像範囲を算出し、第１の画像範囲と変更操作の種別と変更操作の操作量とに基づいて、第２の画像範囲を算出し、各飛行体により撮像される複数の第２の撮像画像を合成した場合の第２の合成画像の画像範囲が第２の画像範囲となるように、複数の飛行体の飛行の制御を指示してよい。

【0008】

処理部は、第１の画像範囲のサイズを変更するための変更操作の情報を取得し、変更操作に基づいて、水平方向と垂直な方向への複数の飛行体の移動を指示する第１の移動指示を行ってよい。

【0009】

処理部は、複数の飛行体が同一の距離移動するよう、第１の移動指示を行ってよい。

【0010】

処理部は、第１の画像範囲のサイズを変更するための変更操作の情報を取得し、変更操作に基づいて、水平方向への複数の飛行体の移動を指示する第２の移動指示を行ってよい。

【0011】

処理部は、複数の飛行体における隣り合う２つの飛行体の間の距離が等間隔となるよう、第２の移動指示を行ってよい。

【0012】

処理部は、複数の飛行体における隣り合う２つの飛行体の間の距離が閾値以上の距離となるよう、第２の移動指示を行ってよい。

【0013】

処理部は、複数の飛行体における隣り合う２つの飛行体により撮像される撮像画像の画像範囲の少なくとも一部が重複するよう、第２の移動指示を行ってよい。

【0014】

処理部は、水平方向と垂直な方向への複数の飛行体の移動を指示する第１の移動指示を行うか、水平方向への複数の飛行体の移動を指示する第２の移動指示を行うか、を決定してよい。

【0015】

処理部は、複数の飛行体の飛行可能区域の制限情報に基づいて、第１の移動指示を行うか第２の移動指示を行うかを決定してよい。

【0016】

処理部は、第１の移動指示を行うか第２の移動指示を行うかを選択するための操作情報を取得し、操作情報に基づいて、第１の移動指示を行うか第２の移動指示を行うかを決定してよい。

【0017】

処理部は、第１の画像範囲を回転するための変更操作の情報を取得し、変更操作に基づいて、複数の飛行体の位置関係を維持して複数の飛行体における基準位置を基準として回転するよう、複数の飛行体の飛行の制御を指示してよい。

【0018】

処理部は、第１の画像範囲を他の地理的範囲に水平方向に移動するための変更操作の情報を取得し、変更操作に基づいて、複数の飛行体の移動を指示してよい。

【0019】

処理部は、変更操作の情報の取得が終了するまで、変更操作に基づく複数の飛行体の飛行の制御の指示を反復して実行してよい。

【0020】

処理部は、変更操作の情報の取得が終了した後に、変更操作に基づく飛行体の飛行の制御を指示してよい。

【0021】

一態様において、飛行制御指示方法は、複数の飛行体の飛行の制御を指示する飛行制御指示方法であって、各飛行体により撮像された複数の第１の撮像画像を取得するステップと、複数の第１の撮像画像を合成して第１の合成画像を生成するステップと、第１の合成画像の画像範囲である第１の画像範囲を変更するための変更操作の情報を取得するステップと、変更操作に基づいて、複数の飛行体の飛行の制御を指示するステップと、を含む。

【0022】

変更操作の情報は、変更操作の種別と変更操作の操作量との情報を含んでよい。複数の飛行体の飛行の制御を指示するステップは、第１の画像範囲を算出するステップと、第１の画像範囲と変更操作の種別と変更操作の操作量とに基づいて、第２の画像範囲を算出するステップと、各飛行体により撮像される複数の第２の撮像画像を合成した場合の第２の合成画像の画像範囲が第２の画像範囲となるように、複数の飛行体の飛行の制御を指示するステップと、を含んでよい。

【0023】

変更操作の情報を取得するステップは、第１の画像範囲のサイズを変更するための変更操作の情報を取得するステップ、を含んでよい。複数の飛行体の飛行の制御を指示するステップは、変更操作に基づいて、水平方向と垂直な方向への複数の飛行体の移動を指示する第１の移動指示を行うステップ、を含んでよい。

【0024】

複数の飛行体の飛行の制御を指示するステップは、複数の飛行体が同一の距離移動するよう、第１の移動指示を行うステップを含んでよい。

【0025】

変更操作の情報を取得するステップは、第１の画像範囲のサイズを変更するための変更操作の情報を取得するステップを含んでよい。複数の飛行体の飛行の制御を指示するステップは、変更操作に基づいて、水平方向への複数の飛行体の移動を指示する第２の移動指示を行うステップを含んでよい。

【0026】

複数の飛行体の飛行の制御を指示するステップは、複数の飛行体における隣り合う２つの飛行体の間の距離が等間隔となるよう、第２の移動指示を行うステップを含んでよい。

【0027】

複数の飛行体の飛行の制御を指示するステップは、複数の飛行体における隣り合う２つの飛行体の間の距離が閾値以上の距離となるよう、第２の移動指示を行うステップを含んでよい。

【0028】

複数の飛行体の飛行の制御を指示するステップは、複数の飛行体における隣り合う２つの飛行体により撮像される撮像画像の画像範囲の少なくとも一部が重複するよう、第２の移動指示を行うステップを含んでよい。

【0029】

飛行制御指示方法は、水平方向と垂直な方向への複数の飛行体の移動を指示する第１の移動指示を行うか、水平方向への複数の飛行体の移動を指示する第２の移動指示を行うか、を決定するステップ、を更に含んでよい。

【0030】

決定するステップは、複数の飛行体の飛行可能区域の制限情報に基づいて、第１の移動指示を行うか第２の移動指示を行うかを決定するステップを含んでよい。

【0031】

決定するステップは、第１の移動指示を行うか第２の移動指示を行うかを選択するための操作情報を取得するステップと、操作情報に基づいて、第１の移動指示を行うか第２の移動指示を行うかを決定するステップと、を含んでよい。

【0032】

変更操作の情報を取得するステップは、第１の画像範囲を回転するための変更操作の情報を取得するステップを含んでよい。複数の飛行体の飛行の制御を指示するステップは、変更操作に基づいて、複数の飛行体の位置関係を維持して複数の飛行体における基準位置を基準として回転するよう、複数の飛行体の飛行の制御を指示するステップを含んでよい。

【0033】

変更操作の情報を取得するステップは、第１の画像範囲を他の地理的範囲に水平方向に移動するための変更操作の情報を取得するステップを含んでよい。複数の飛行体の飛行の制御を指示するステップは、変更操作に基づいて、複数の飛行体の移動を指示するステップを含んでよい。

【0034】

複数の飛行体の飛行の制御を指示するステップは、変更操作の情報の取得が終了するまで、変更操作に基づく複数の飛行体の飛行の制御の指示を反復して実行するステップを含んでよい。

【0035】

複数の飛行体の飛行の制御を指示するステップは、変更操作の情報の取得が終了した後に、変更操作に基づく飛行体の飛行の制御を指示するステップを含んでよい。

【0036】

一態様において、プログラムは、複数の飛行体の飛行の制御を指示する情報処理装置に、各飛行体により撮像された複数の第１の撮像画像を取得するステップと、複数の第１の撮像画像を合成して第１の合成画像を生成するステップと、第１の合成画像の画像範囲である第１の画像範囲を変更するための変更操作の情報を取得するステップと、変更操作に基づいて、複数の飛行体の飛行の制御を指示するステップと、を実行させるための、プログラムである。

【0037】

一態様において、記録媒体は、複数の飛行体の飛行の制御を指示する情報処理装置に、各飛行体により撮像された複数の第１の撮像画像を取得するステップと、複数の第１の撮像画像を合成して第１の合成画像を生成するステップと、第１の合成画像の画像範囲である第１の画像範囲を変更するための変更操作の情報を取得するステップと、変更操作に基づいて、複数の飛行体の飛行の制御を指示するステップと、を実行させるためのプログラムを記録したコンピュータ読取り可能な記録媒体である。

【0038】

なお、上記の発明の概要は、本開示の特徴の全てを列挙したものではない。また、これらの特徴群のサブコンビネーションもまた、発明となりうる。

【図面の簡単な説明】

【0039】

【図1】実施形態における飛行体群制御システムの第１構成例を示す模式図

【図2A】実施形態における飛行体群制御システムの第２構成例を示す模式図

【図2B】実施形態における飛行体群制御システムの第３構成例を示す模式図

【図3】無人航空機の具体的な外観の一例を示す図

【図4】無人航空機のハードウェア構成の一例を示すブロック図

【図5】端末のハードウェア構成の一例を示すブロック図

【図6】複数の無人航空機によって撮像される画像を基に生成される合成画像を示す図

【図7】端末のタッチパネルに対するピンチイン操作及びピンチアウト操作によって、合成画像の画像範囲のサイズを拡大又は縮小させる第１動作例を示す図

【図8】端末のタッチパネルに対するピンチイン操作及びピンチアウト操作によって、合成画像の画像範囲のサイズを拡大又は縮小させる第２動作例を示す図

【図9】ユーザによるピンチイン操作及びピンチアウト操作によって各無人航空機を水平方向に移動させる場合に、各無人航空機が移動する距離の算出例を説明する図

【図10】動作モードの設定画面の一例を示す図

【図11】タッチパネルに対するツイスト操作によって、合成画像の画像範囲を回転させる動作例を示す図

【図12】ユーザによるツイスト操作によって無人航空機群を回転させる場合の回転角度の算出を説明する図

【図13】タッチパネルＴＰに対するフリック操作によって、無人航空機群を移動させる動作例を示す図

【図14】端末及び各無人航空機の動作手順を示すシーケンス図

【発明を実施するための形態】

【0040】

以下、発明の実施形態を通じて本開示を説明するが、以下の実施形態は特許請求の範囲に係る発明を限定するものではない。実施形態の中で説明されている特徴の組み合わせの全てが発明の解決手段に必須とは限らない。

【0041】

特許請求の範囲、明細書、図面、及び要約書には、著作権による保護の対象となる事項が含まれる。著作権者は、これらの書類の何人による複製に対しても、特許庁のファイル又はレコードに表示される通りであれば異議を唱えない。ただし、それ以外の場合、一切の著作権を留保する。

【0042】

以下の実施形態では、飛行体として、無人航空機（ＵＡＶ：Unmanned Aerial Vehicle）を例示する。無人航空機は、空中を移動する航空機を含む。本明細書に添付する図面では、無人航空機を「ＵＡＶ」と表記する。また、情報処理装置として、端末を例示する。なお、情報処理装置は、携帯端末に限らず、ＰＣ（personal computer）や送信機（プロポ（proportional controller））であってもよい。また、飛行制御指示方法は、情報処理装置の動作が規定されたものである。また、記録媒体は、プログラム（情報処理装置に各種の処理を実行させるプログラム）が記録されたものである。

【0043】

図１は、実施形態における飛行体群制御システム１０の第１構成例を示す模式図である。飛行体群制御システム１０は、無人航空機１００及び端末８０を備える。無人航空機１００及び端末８０は、相互に有線通信又は無線通信（例えば無線ＬＡＮ（Local Area Network））により通信可能である。図１では、端末８０が携帯端末（例えばスマートフォン、タブレット端末）であることを例示している。端末８０は情報処理装置の一例である。

【0044】

図２Ａは、実施形態における飛行体群制御システム１０の第２構成例を示す模式図である。図２Ａでは、端末８０がＰＣであることを例示している。図１及び図２Ａのいずれであっても、端末８０が有する機能は同じでよい。

【0045】

図２Ｂは、実施形態における飛行体群制御システム１０の第３構成例を示す模式図である。図２Ｂでは、飛行体群制御システム１０は、無人航空機１００、送信機５０、及び端末８０を備えた構成である。無人航空機１００、送信機５０、及び端末８０は、相互に有線通信又は無線通信により通信可能である。また、端末８０は、送信機５０を介して又は送信機５０を介さずに、無人航空機１００と通信してよい。

【0046】

図３は、無人航空機１００の具体的な外観の一例を示す図である。図３には、無人航空機１００が移動方向ＳＴＶ０に飛行する場合の斜視図が示される。無人航空機１００は飛行体の一例である。

【0047】

図３に示すように、地面と平行であって移動方向ＳＴＶ０に沿う方向にロール軸（ｘ軸参照）が定義されたとする。この場合、地面と平行であってロール軸に垂直な方向にピッチ軸（ｙ軸参照）が定められ、更に、地面に垂直であってロール軸及びピッチ軸に垂直な方向にヨー軸（ｚ軸参照）が定められる。

【0048】

無人航空機１００は、ＵＡＶ本体１０２と、ジンバル２００と、撮像部２２０と、複数の撮像部２３０とを含む構成である。

【0049】

ＵＡＶ本体１０２は、複数の回転翼（プロペラ）を備える。ＵＡＶ本体１０２は、複数の回転翼の回転を制御することにより無人航空機１００を飛行させる。ＵＡＶ本体１０２は、例えば４つの回転翼を用いて無人航空機１００を飛行させる。回転翼の数は、４つに限定されない。また、無人航空機１００は、回転翼を有さない固定翼機でもよい。

【0050】

撮像部２２０は、所望の撮像範囲に含まれる被写体（例えば、撮像対象となる上空の様子、山や川等の景色、地上の建物）を撮像する撮像用のカメラである。

【0051】

複数の撮像部２３０は、無人航空機１００の飛行を制御するために無人航空機１００の周囲を撮像するセンシング用のカメラである。２つの撮像部２３０が、無人航空機１００の機首である正面に設けられてよい。さらに、他の２つの撮像部２３０が、無人航空機１００の底面に設けられてよい。正面側の２つの撮像部２３０はペアとなり、いわゆるステレオカメラとして機能してよい。底面側の２つの撮像部２３０もペアとなり、ステレオカメラとして機能してよい。複数の撮像部２３０により撮像された画像に基づいて、無人航空機１００の周囲の３次元空間データが生成されてよい。なお、無人航空機１００が備える撮像部２３０の数は４つに限定されない。無人航空機１００は、少なくとも１つの撮像部２３０を備えていればよい。無人航空機１００は、無人航空機１００の機首、機尾、側面、底面、及び天井面のそれぞれに少なくとも１つの撮像部２３０を備えてよい。撮像部２３０で設定できる画角は、撮像部２２０で設定できる画角より広くてよい。撮像部２３０は、単焦点レンズ、魚眼レンズ、又はズームレンズを有してよい。

【0052】

図４は、無人航空機１００のハードウェア構成の一例を示すブロック図である。無人航空機１００は、ＵＡＶ制御部１１０と、通信インタフェース１５０と、メモリ１６０と、ストレージ１７０と、ジンバル２００と、回転翼機構２１０と、撮像部２２０と、撮像部２３０と、ＧＰＳ受信機２４０と、慣性計測装置（ＩＭＵ：Inertial Measurement Unit）２５０と、磁気コンパス２６０と、気圧高度計２７０と、超音波センサ２８０と、レーザー測定器２９０と、を含む構成である。

【0053】

ＵＡＶ制御部１１０は、例えばＣＰＵ（Central Processing Unit）、ＭＰＵ（Micro Processing Unit）又はＤＳＰ（Digital Signal Processor）を用いて構成される。ＵＡＶ制御部１１０は、無人航空機１００の各部の動作を統括して制御するための信号処理、他の各部との間のデータの入出力処理、データの演算処理及びデータの記憶処理を行う。

【0054】

ＵＡＶ制御部１１０は、メモリ１６０に格納されたプログラムに従って無人航空機１００の飛行を制御する。ＵＡＶ制御部１１０は、送信機５０や端末８０による飛行の制御の指示に従って、飛行を制御してよい。ＵＡＶ制御部１１０は、撮像部２２０や撮像部２３０に画像を撮像させてよい。

【0055】

ＵＡＶ制御部１１０は、無人航空機１００の位置を示す位置情報を取得する。ＵＡＶ制御部１１０は、ＧＰＳ受信機２４０から、無人航空機１００が存在する緯度、経度及び高度を示す位置情報を取得してよい。ＵＡＶ制御部１１０は、ＧＰＳ受信機２４０から無人航空機１００が存在する緯度及び経度を示す緯度経度情報、並びに気圧高度計２７０から無人航空機１００が存在する高度を示す高度情報をそれぞれ位置情報として取得してよい。ＵＡＶ制御部１１０は、超音波センサ２８０による超音波の放射点と超音波の反射点との距離を高度情報として取得してよい。

【0056】

ＵＡＶ制御部１１０は、磁気コンパス２６０から無人航空機１００の向きを示す向き情報を取得してよい。向き情報は、例えば無人航空機１００の機首の向きに対応する方位で示されてよい。

【0057】

ＵＡＶ制御部１１０は、撮像部２２０が撮像すべき撮像範囲を撮像する時に無人航空機１００が存在すべき位置を示す位置情報を取得してよい。ＵＡＶ制御部１１０は、無人航空機１００が存在すべき位置を示す位置情報をメモリ１６０から取得してよい。ＵＡＶ制御部１１０は、無人航空機１００が存在すべき位置を示す位置情報を、通信インタフェース１５０を介して他の装置から取得してよい。ＵＡＶ制御部１１０は、３次元地図データベースを参照して、無人航空機１００が存在可能な位置を特定して、その位置を無人航空機１００が存在すべき位置を示す位置情報として取得してよい。

【0058】

ＵＡＶ制御部１１０は、撮像部２２０及び撮像部２３０のそれぞれの撮像範囲を示す撮像範囲情報を取得してよい。ＵＡＶ制御部１１０は、撮像範囲を特定するためのパラメータとして、撮像部２２０及び撮像部２３０の画角を示す画角情報を撮像部２２０及び撮像部２３０から取得してよい。ＵＡＶ制御部１１０は、撮像範囲を特定するためのパラメータとして、撮像部２２０及び撮像部２３０の撮像方向を示す情報を取得してよい。ＵＡＶ制御部１１０は、例えば撮像部２２０の撮像方向を示す情報として、ジンバル２００から撮像部２２０の姿勢の状態を示す姿勢情報を取得してよい。撮像部２２０の姿勢情報は、ジンバル２００のピッチ軸及びヨー軸の基準回転角度からの回転角度を示してよい。

【0059】

ＵＡＶ制御部１１０は、撮像範囲を特定するためのパラメータとして、無人航空機１００が存在する位置を示す位置情報を取得してよい。ＵＡＶ制御部１１０は、撮像部２２０及び撮像部２３０の画角及び撮像方向、並びに無人航空機１００が存在する位置に基づいて、撮像部２２０が撮像する地理的な範囲を示す撮像範囲を画定し、撮像範囲情報を生成することで、撮像範囲情報を取得してよい。

【0060】

ＵＡＶ制御部１１０は、メモリ１６０から撮像範囲情報を取得してよい。ＵＡＶ制御部１１０は、通信インタフェース１５０を介して撮像範囲情報を取得してよい。

【0061】

ＵＡＶ制御部１１０は、ジンバル２００、回転翼機構２１０、撮像部２２０及び撮像部２３０を制御する。ＵＡＶ制御部１１０は、撮像部２２０の撮像方向又は画角を変更することによって、撮像部２２０の撮像範囲を制御してよい。ＵＡＶ制御部１１０は、ジンバル２００の回転機構を制御することで、ジンバル２００に支持されている撮像部２２０の撮像範囲を制御してよい。

【0062】

撮像範囲とは、撮像部２２０又は撮像部２３０により撮像される地理的な範囲をいう。撮像範囲は、緯度、経度、及び高度で定義される。撮像範囲は、緯度、経度、及び高度で定義される３次元空間データにおける範囲でよい。撮像範囲は、緯度及び経度で定義される２次元空間データにおける範囲でもよい。撮像範囲は、撮像部２２０又は撮像部２３０の画角及び撮像方向、並びに無人航空機１００が存在する位置に基づいて特定されてよい。撮像部２２０及び撮像部２３０の撮像方向は、撮像部２２０及び撮像部２３０の撮像レンズが設けられた正面が向く方位と俯角とから定義されてよい。撮像部２２０の撮像方向は、無人航空機１００の機首の方位と、ジンバル２００に対する撮像部２２０の姿勢の状態とから特定される方向でよい。撮像部２３０の撮像方向は、無人航空機１００の機首の方位と、撮像部２３０が設けられた位置とから特定される方向でよい。

【0063】

ＵＡＶ制御部１１０は、複数の撮像部２３０により撮像された複数の画像を解析することで、無人航空機１００の周囲の環境を特定してよい。ＵＡＶ制御部１１０は、無人航空機１００の周囲の環境に基づいて、例えば障害物を回避して飛行を制御してよい。

【0064】

ＵＡＶ制御部１１０は、無人航空機１００の周囲に存在するオブジェクトの立体形状（３次元形状）を示す立体情報（３次元情報）を取得してよい。オブジェクトは、例えば、建物、道路、車、木等の風景の一部でよい。立体情報は、例えば、３次元空間データである。ＵＡＶ制御部１１０は、複数の撮像部２３０から得られたそれぞれの画像から、無人航空機１００の周囲に存在するオブジェクトの立体形状を示す立体情報を生成することで、立体情報を取得してよい。ＵＡＶ制御部１１０は、メモリ１６０又はストレージ１７０に格納された３次元地図データベースを参照することにより、無人航空機１００の周囲に存在するオブジェクトの立体形状を示す立体情報を取得してよい。ＵＡＶ制御部１１０は、ネットワーク上に存在するサーバが管理する３次元地図データベースを参照することで、無人航空機１００の周囲に存在するオブジェクトの立体形状に関する立体情報を取得してよい。

【0065】

ＵＡＶ制御部１１０は、回転翼機構２１０を制御することで、無人航空機１００の飛行を制御する。つまり、ＵＡＶ制御部１１０は、回転翼機構２１０を制御することにより、無人航空機１００の緯度、経度、及び高度を含む位置を制御する。ＵＡＶ制御部１１０は、無人航空機１００の飛行を制御することにより、撮像部２２０の撮像範囲を制御してよい。ＵＡＶ制御部１１０は、撮像部２２０が備えるズームレンズを制御することで、撮像部２２０の画角を制御してよい。ＵＡＶ制御部１１０は、撮像部２２０のデジタルズーム機能を利用して、デジタルズームにより、撮像部２２０の画角を制御してよい。

【0066】

撮像部２２０が無人航空機１００に固定され、撮像部２２０を動かせない場合、ＵＡＶ制御部１１０は、特定の日時に特定の位置に無人航空機１００を移動させることにより、所望の環境下で所望の撮像範囲を撮像部２２０に撮像させてよい。あるいは撮像部２２０がズーム機能を有さず、撮像部２２０の画角を変更できない場合でも、ＵＡＶ制御部１１０は、特定された日時に、特定の位置に無人航空機１００を移動させることで、所望の環境下で所望の撮像範囲を撮像部２２０に撮像させてよい。

【0067】

通信インタフェース１５０は、端末８０や送信機５０と通信する。通信インタフェース１５０は、任意の無線通信方式により無線通信してよい。通信インタフェース１５０は、任意の有線通信方式により有線通信してよい。通信インタフェース１５０は、撮像画像や撮像画像に関する付加情報（メタデータ）を、端末８０や送信機５０に送信してよい。付加情報は、撮像範囲に関する情報を含んでよい。

【0068】

メモリ１６０は、ＵＡＶ制御部１１０がジンバル２００、回転翼機構２１０、撮像部２２０、撮像部２３０、ＧＰＳ受信機２４０、慣性計測装置２５０、磁気コンパス２６０、気圧高度計２７０、超音波センサ２８０、及びレーザー測定器２９０を制御するのに必要なプログラム等を格納する。メモリ１６０は、コンピュータ読み取り可能な記録媒体でよく、ＳＲＡＭ（Static Random Access Memory）、ＤＲＡＭ（Dynamic Random Access Memory）、ＥＰＲＯＭ（Erasable Programmable Read Only Memory）、ＥＥＰＲＯＭ（Electrically Erasable Programmable Read-Only Memory）、及びＵＳＢ（Universal Serial Bus）メモリ等のフラッシュメモリの少なくとも１つを含んでよい。メモリ１６０は、ＵＡＶ本体１０２から取り外し可能であってよい。メモリ１６０は、作業用メモリとして動作してよい。

【0069】

ストレージ１７０は、ＨＤＤ（Hard Disk Drive）、ＳＳＤ（Solid State Drive）、ＳＤカード、ＵＳＢメモリ、その他のストレージの少なくとも１つを含んでよい。ストレージ１７０は、各種情報、各種データを保持してよい。ストレージ１７０は、ＵＡＶ本体１０２から取り外し可能であってよい。ストレージ１７０は、撮像画像や合成画像を記録してよい。

【0070】

ジンバル２００は、ヨー軸、ピッチ軸、及びロール軸を中心に撮像部２２０を回転可能に支持してよい。ジンバル２００は、ヨー軸、ピッチ軸、及びロール軸の少なくとも１つを中心に撮像部２２０を回転させることで、撮像部２２０の撮像方向を変更してよい。

【0071】

回転翼機構２１０は、複数の回転翼と、複数の回転翼を回転させる複数の駆動モータと、を有する。回転翼機構２１０は、ＵＡＶ制御部１１０により回転を制御されることにより、無人航空機１００を飛行させる。回転翼２１１の数は、例えば４つでもよいし、その他の数でもよい。回転翼２１１の数が多い程、無人航空機１００の揚力が大きくなる。

【0072】

ＧＰＳ受信機２４０は、複数の航法衛星（つまり、ＧＰＳ衛星）から発信された時刻及び各ＧＰＳ衛星の位置（座標）を示す複数の信号を受信する。ＧＰＳ受信機２４０は、受信された複数の信号に基づいて、ＧＰＳ受信機２４０の位置（つまり、無人航空機１００の位置）を算出する。ＧＰＳ受信機２４０は、無人航空機１００の位置情報をＵＡＶ制御部１１０に出力する。なお、ＧＰＳ受信機２４０の位置情報の算出は、ＧＰＳ受信機２４０の代わりにＵＡＶ制御部１１０により行われてよい。この場合、ＵＡＶ制御部１１０には、ＧＰＳ受信機２４０が受信した複数の信号に含まれる時刻及び各ＧＰＳ衛星の位置を示す情報が入力される。

【0073】

慣性計測装置２５０は、無人航空機１００の姿勢を検出し、検出結果をＵＡＶ制御部１１０に出力する。慣性計測装置２５０は、無人航空機１００の姿勢として、無人航空機１００の前後、左右、及び上下の３軸方向の加速度と、ピッチ軸、ロール軸、及びヨー軸の３軸方向の角速度とを検出してよい。

【0074】

磁気コンパス２６０は、無人航空機１００の機首の方位を検出し、検出結果をＵＡＶ制御部１１０に出力する。

【0075】

気圧高度計２７０は、無人航空機１００が飛行する高度を検出し、検出結果をＵＡＶ制御部１１０に出力する。

【0076】

超音波センサ２８０は、超音波を放射し、地面や物体により反射された超音波を検出し、検出結果をＵＡＶ制御部１１０に出力する。検出結果は、無人航空機１００から地面までの距離つまり高度を示してよい。検出結果は、無人航空機１００から物体（被写体）までの距離を示してよい。

【0077】

レーザー測定器２９０は、物体にレーザー光を照射し、物体で反射された反射光を受光し、反射光により無人航空機１００と物体（被写体）との間の距離を測定する。レーザー光による距離の測定方式は、一例として、タイムオブフライト方式でよい。

【0078】

図５は、端末８０のハードウェア構成の一例を示すブロック図である。端末８０は、端末制御部８１、操作部８３、通信部８５、メモリ８７、表示部８８、及びストレージ８９を備える。端末８０は、複数の無人航空機１００の飛行制御の指示を希望するユーザに所持され得る。

【0079】

端末制御部８１は、例えばＣＰＵ、ＭＰＵ又はＤＳＰを用いて構成される。端末制御部８１は、端末８０の各部の動作を統括して制御するための信号処理、他の各部との間のデータの入出力処理、データの演算処理及びデータの記憶処理を行う。端末制御部８１は、処理部の一例である。

【0080】

端末制御部８１は、通信部８５を介して、無人航空機１００からのデータや情報（例えば、各種計測データ、画像データ、無人航空機１００の位置情報）を取得してもよい。端末制御部８１は、操作部８３を介して入力されたデータや情報を取得してもよい。端末制御部８１は、メモリ８７に保持されたデータや情報を取得してもよい。端末制御部８１は、通信部８５を介して、無人航空機１００へ、データや情報を送信させてもよい。端末制御部８１は、データや情報を表示部８８に送り、このデータや情報に基づく表示情報を表示部８８に表示させてもよい。

【0081】

端末制御部８１は、複数の無人航空機１００（無人航空機群１００Ｇとも称する）の飛行制御を指示するためのアプリケーションを実行してもよい。端末制御部８１は、アプリケーションで用いられる各種のデータを生成してもよい。

【0082】

操作部８３は、端末８０のユーザにより入力されるデータや情報を受け付けて取得する。操作部８３は、ボタン、キー、タッチスクリーン、マイクロホン、等の入力装置を含んでもよい。ここでは、主に、操作部８３と表示部８８とがタッチパネルＴＰにより構成されることを例示する。この場合、操作部８３は、タッチ操作、タップ操作、ドラック操作、ピンチイン操作、ピンチアウト操作、ツイスト操作、フリック操作、等を受付可能である。操作部８３により入力された情報は、無人航空機１００へ送信されてもよい。

【0083】

通信部８５は、各種の無線通信方式により、無人航空機１００との間で無線通信する。この無線通信の無線通信方式は、例えば、無線ＬＡＮ、Ｂｌｕｅｔｏｏｔｈ（登録商標）、又は公衆無線回線を介した通信を含んでよい。通信部８５は、任意の有線通信方式により有線通信してよい。

【0084】

メモリ８７は、例えば端末８０の動作を規定するプログラムや設定値のデータが格納されたＲＯＭと、端末制御部８１の処理時に使用される各種の情報やデータを一時的に保存するＲＡＭを有してもよい。メモリ８７は、ＲＯＭ及びＲＡＭ以外のメモリが含まれてよい。メモリ８７は、端末８０の内部に設けられてよい。メモリ８７は、端末８０から取り外し可能に設けられてよい。プログラムは、アプリケーションプログラムを含んでよい。

【0085】

表示部８８は、例えばＬＣＤ（Liquid Crystal Display）を用いて構成され、端末制御部８１から出力された各種の情報やデータを表示する。表示部８８は、アプリケーションの実行に係る各種データや情報を表示してもよい。

【0086】

ストレージ８９は、各種データ、情報を蓄積し、保持する。ストレージ８９は、ＨＤＤ、ＳＳＤ、ＳＤカード、ＵＳＢメモリ、等でよい。ストレージ８９は、端末８０の内部に設けられてもよい。ストレージ８９は、端末８０から取り外し可能に設けられてもよい。ストレージ８９は、無人航空機１００から取得された撮像画像や合成画像や付加情報を保持してよい。付加情報は、メモリ８７に保持されてよい。

【0087】

なお、送信機５０（図２Ｂ参照）は、端末８０と同様の構成部を有するので、詳細な説明については省略する。送信機５０は、制御部、操作部、通信部、メモリ、等を有する。操作部は、例えば、無人航空機１００の飛行の制御を指示するためのコントロールスティック（制御棒）を含んでよい。送信機５０は、表示部を有し、各種情報を表示してもよい。送信機５０は、端末８０が有する機能の少なくとも一部を有してもよい。この場合、端末８０が省略されてもよい。

【0088】

次に、複数の無人航空機１００を含む無人航空機群１００Ｇの飛行制御の指示に関する機能について説明する。

【0089】

端末８０の端末制御部８１は、無人航空機群１００Ｇの飛行制御の指示に関する処理を行う。無人航空機群１００Ｇは、互いに連携して飛行する複数の無人航空機１００で編成される。無人航空機群１００Ｇにおける各無人航空機１００の撮像部２２０又は撮像部２３０は、例えば地表に対して（重力方向に沿う方向を）、撮像（空撮）を行う。各無人航空機１００のＵＡＶ制御部１１０は、通信インタフェース１５０を介して、撮像部２２０又は撮像部２３０で撮像された画像データを端末８０に送信する。なお、撮像部２２０，２３０は、画角が固定された単焦点レンズ（単眼レンズ）を有してもよいし、ズームレンズを有してもよい。

【0090】

図６は、複数の無人航空機１００によって撮像される画像を基に生成される合成画像を示す図である。端末８０の端末制御部８１は、通信部８５を介して、無人航空機群１００Ｇの各無人航空機１００から受信した複数の画像データをメモリ８７に記憶させる。端末制御部８１は、無人航空機群１００Ｇで撮像された複数の画像ｇｍ１〜ｇｍ９を基に、合成画像ＧＺを生成する。合成画像ＧＺにおいて、図中斜線で示される領域は、複数の画像ｇｍ１〜ｇｍ９が重なっている部分である。合成画像ＧＺは、例えばパノラマ画像、距離画像、ステレオ画像、３次元画像、等であってよい。

【0091】

合成画像ＧＺの外周部に囲まれた範囲が、合成画像ＧＺの画像範囲ＳＡとなる。画像範囲ＳＡは、複数の画像ｇｍ１〜ｇｍ９の輪郭のうち一番外側の輪郭を連続的に接続した線により囲まれた範囲でよい。画像範囲ＳＡは、各無人航空機１００により撮像された撮像画像の各撮像範囲に基づいて定まる。撮像範囲の情報は、各無人航空機１００から端末８０へ送られる付加情報に含まれる。

【0092】

端末制御部８１は、無人航空機群１００Ｇで撮像された複数の画像ｇｍ１〜ｇｍ９を基に得られる合成画像ＧＺの画像範囲ＳＡを変更する場合、無人航空機群１００Ｇに対し、例えば後述する第１動作例〜第４動作例で示すように、各種の移動制御の指示を行ってよい。例えば、端末制御部８１は、無人航空機群１００Ｇの各無人航空機１００を移動させることで、画像範囲ＳＡが拡大された合成画像ＧＺ１や、画像範囲ＳＡが縮小された合成画像ＧＺ２を得る。

【0093】

（第１の動作例）
図７は、端末８０のタッチパネルＴＰに対するピンチイン操作及びピンチアウト操作によって、合成画像の画像範囲ＳＡのサイズを拡大又は縮小させる第１動作例を示す図である。第１動作例では、端末制御部８１は、ピンチイン操作に応じて、無人航空機群１００Ｇの各無人航空機１００を上昇させる。また、端末制御部８１は、ピンチアウト操作に応じて、無人航空機群１００Ｇの各無人航空機１００を下降させる。ピンチイン操作及びピンチアウト操作は、合成画像の画像範囲ＳＡを変更するための変更操作の１つである。

【0094】

ピンチイン操作又はピンチアウト操作では、例えば、端末制御部８１は、タッチパネルＴＰにおける２つの位置に対する入力の情報を２つの時点で取得し、入力された２つの位置の間の距離を２つの時点でそれぞれ算出する。２つの時点のうち後の時点の距離が前の時点の距離が長い場合、端末制御部８１は、ピンチアウト操作を検出する。２つの時点のうち後の時点の距離が前の時点の距離が短い場合、端末制御部８１は、ピンチイン操作を検出する。

【0095】

ユーザは、タッチパネルＴＰに対し、２本の指（例えば親指ｆｇ１と人差し指ｆｇ２）をタッチした状態で狭めるピンチイン操作を行う。端末制御部８１は、タッチパネルＴＰを介してピンチイン操作及びその操作量を検出する。端末制御部８１は、ピンチイン操作を検出すると、その操作量に対応する上昇距離を算出する。上昇距離は、各無人航空機１００の飛行高度を高くして上昇するための無人航空機１００の移動距離でよい。例えば、操作量が大きい程、上昇距離が長く、操作量が小さい程、上昇距離が短くてよい。

【0096】

端末制御部８１は、各無人航空機群１００Ｇに対し、通信部８５を介して、算出した上昇距離分の上昇を指示するための指示情報を送信する。無人航空機群１００Ｇの各無人航空機１００のＵＡＶ制御部１１０は、通信インタフェース１５０を介して、この指示情報を受信する。ＵＡＶ制御部１１０は、受信した指示情報に従って、回転翼機構２１０を駆動し、ピンチインの操作量に応じた上昇距離分、各無人航空機１００を上昇させる。

【0097】

なお、無人航空機群１００Ｇに属する各無人航空機１００の飛行高度はピンチイン操作前には同じでもよいし、異なっていてもよい。上昇距離については、各無人航空機１００で同じである。つまり、各無人航空機１００で高度の変更量は同じである。なお、各無人航空機１００で高度の変更量が異なるようにしてもよい。

【0098】

各無人航空機１００の撮像部２２０によって撮像される各撮像範囲は、例えば、各無人航空機１００の上昇によって領域Ｓｑ１から領域Ｓｑ２に拡大する。この結果、無人航空機群１００Ｇの各無人航空機１００により撮像された撮像画像に基づく合成画像の画像範囲ＳＡは、上昇前と比較して拡大する。

【0099】

ユーザは、タッチパネルＴＰに対し、２本の指（例えば親指ｆｇ１と人差し指ｆｇ２）をタッチした状態で拡げるピンチアウト操作を行う。端末制御部８１は、タッチパネルＴＰを介してピンチアウト操作及びその操作量を検出する。端末制御部８１は、ピンチアウト操作を検出すると、その操作量に対応する下降距離を算出する。下降距離は、各無人航空機１００の飛行高度を低くして下降するための無人航空機１００の移動距離でよい。例えば、操作量が大きい程、下降距離が長く、操作量が小さい程、下降距離が短くてよい。

【0100】

端末制御部８１は、無人航空機群１００Ｇに対し、通信部８５を介して、算出した下降距離分の下降を指示するための指示情報を送信する。無人航空機群１００Ｇの各無人航空機１００のＵＡＶ制御部１１０は、通信インタフェース１５０を介して、この指示情報を受信する。ＵＡＶ制御部１１０は、受信した指示情報に従って、回転翼機構２１０を駆動し、無人航空機１００をピンチアウトの操作量に応じた下降距離分、各無人航空機１００を下降させる。

【0101】

なお、無人航空機群１００Ｇに属する各無人航空機１００の飛行高度はピンチアウト操作前には同じでもよいし、異なっていてもよい。下降距離については、各無人航空機１００で同じである。つまり、各無人航空機１００で高度の変更量は同じである。なお、各無人航空機１００で高度の変更量が異なるようにしてもよい。

【0102】

各無人航空機１００の撮像部２２０によって撮像される各撮像範囲は、例えば、各無人航空機１００の下降によって領域Ｓｑ２から領域Ｓｑ１に縮小する。この結果、無人航空機群１００Ｇの各無人航空機１００により撮像された撮像画像に基づく合成画像の画像範囲ＳＡは、下降前と比較して縮小する。

【0103】

無人航空機群１００Ｇを上昇又は下降させて高度を変更する場合、各無人航空機１００に搭載された撮像部２２０が撮像する撮像範囲の変化は、無人航空機群１００Ｇの各無人航空機１００が水平方向に移動する場合と比較して、小さい。この場合、端末８０は、ピンチイン操作又はピンチアウト操作によって、各無人航空機群１００Ｇの撮像に係る撮像範囲を細かく調整でき、よって、合成画像の画像範囲ＳＡを細かく調整できる。

【0104】

また、ユーザがピンチイン操作又はピンチアウト操作を行う際、端末制御部８１は、操作部８３を介して、指移動の操作及びその操作量（操作範囲）の他、指移動の速度を検出してもよい。端末制御部８１は、指移動の速度を検出した場合、その指移動の速度に対応する速度で、無人航空機群１００Ｇの各無人航空機１００を上昇又は下降させるよう、速度を指示情報に含めて無人航空機群１００Ｇの各無人航空機１００へ送信してよい。無人航空機群１００Ｇの各無人航空機１００のＵＡＶ制御部１１０は、通信インタフェース１５０を介して、この指示情報を受信してよい。ＵＡＶ制御部１１０は、指示情報に従って、指移動の速度に対応する速度で、無人航空機１００を上昇又は下降させてよい。これにより、端末８０は、ユーザ操作に応じて、合成画像の画像範囲ＳＡのサイズを変化させるスピードを任意に変更できる。

【0105】

このように、端末制御部８１は、合成画像の画像範囲ＳＡ（第１の画像範囲の一例）のサイズを変更するためのピンチイン操作又はピンチアウト操作（変更操作の一例）の情報を取得してよい。端末制御部８１は、ピンチイン操作又はピンチアウト操作に基づいて、水平方向と垂直な方向（高度方向）への複数の無人航空機１００の移動を指示してよい。この指示は、第１の移動指示の一例である。

【0106】

これにより、端末８０は、高度方向へ各無人航空機１００を移動させることで、水平方向へ各無人航空機１００を移動させる場合よりも、合成画像の画像範囲ＳＡの変化が小さいので、微調整に有益である。例えば、無人航空機１００が飛行可能な区域が水平方向において制限されている等、水平方向への無人航空機１００の移動が困難な場合でも、画像範囲ＳＡのサイズを変更できる。

【0107】

また、端末制御部８１は、複数の無人航空機１００が高度方向のいて同一の距離移動するよう、複数の無人航空機１００の飛行の制御を指示してよい。これにより、各無人航空機１００により撮像される撮像画像の撮像範囲のそれぞれの大小関係が、変更操作の前後で維持されるので、端末８０は、これらの撮像画像を基に生成される合成画像の画像範囲ＳＡの画質を維持できる。

【0108】

（第２の動作例）
図８は、端末８０のタッチパネルＴＰに対するピンチイン操作及びピンチアウト操作によって、合成画像の画像範囲ＳＡのサイズを拡大又は縮小させる第２動作例を示す図である。第２動作例では、端末制御部８１は、ピンチイン操作に応じて、無人航空機群１００Ｇを水平方向に拡げる（拡張させる）。また、端末制御部８１は、ピンチアウト操作に応じて、無人航空機群１００Ｇを水平方向に縮める（収縮させる）。

【0109】

本実施形態では、無人航空機群１００Ｇの拡張とは、無人航空機群１００Ｇに属する各無人航空機１００の間隔が大きくなることを指し、実空間における無人航空機群１００Ｇが存在する範囲が拡がる（拡張される）を指してよい。無人航空機群１００Ｇの収縮とは、無人航空機群１００Ｇに属する各無人航空機１００の間隔が小さくなることを指し、実空間における無人航空機群１００Ｇが存在する範囲が縮まる（収縮される）を指してよい。

【0110】

ユーザは、タッチパネルＴＰに対し、ピンチイン操作を行う。端末制御部８１は、タッチパネルの操作部８３を介してピンチイン操作及びその操作量を検出する。端末制御部８１は、ピンチイン操作を検出すると、その操作量に対応する拡張距離を算出する。拡張距離は、隣り合う無人航空機１００の間隔を大きくするための無人航空機１００の移動距離でよい。例えば、操作量が大きい程、拡張距離が長く、操作量が小さい程、拡張距離が短くてよい。

【0111】

端末制御部８１は、無人航空機群１００Ｇに対し、通信部８５を介して、算出した拡張距離分の拡張を指示するための指示情報を送信する。無人航空機群１００Ｇの各無人航空機１００は、通信インタフェース１５０を介して、この指示情報を受信する。ＵＡＶ制御部１１０は、受信した情報指示に従って、無人航空機１００をピンチインの操作量に応じた距離だけ拡張距離分、各無人航空機１００を水平方向に移動させる。

【0112】

例えば、無人航空機群１００Ｇに属する複数の無人航空機１００のうち中心に位置する無人航空機１００ｏに対し、無人航空機１００ｆによって撮像される撮像範囲は、無人航空機１００ｆの移動によって領域Ｓｑ３から領域Ｓｑ４に移動する。この結果、２つの無人航空機１００ｏ，１００ｆによって撮像される撮像範囲は、領域Ｓｑ５から領域Ｓｑ６に拡がる。したがって、無人航空機群１００Ｇの各無人航空機１００により撮像された複数の撮像画像に基づく合成画像の画像範囲ＳＡは、無人航空機群１００Ｇの拡張前と比較して拡大する。

【0113】

ユーザは、タッチパネルＴＰに対し、ピンチアウト操作を行う。端末制御部８１は、タッチパネルＴＰを介してピンチアウト操作及びその操作量を検出する。端末制御部８１は、ピンチアウト操作を検出すると、その操作量に対応する収縮距離を算出する。収縮距離は、隣り合う無人航空機１００の間隔を小さくするための無人航空機１００の移動距離でよい。例えば、操作量が大きい程、収縮距離が長く、操作量が小さい程、収縮距離が短くてよい。

【0114】

端末制御部８１は、無人航空機群１００Ｇに対し、通信部８５を介して、算出した収縮距離分の収縮を指示するための指示情報を送信する。無人航空機群１００Ｇの各無人航空機１００は、通信インタフェース１５０を介して、この指示情報を受信する。ＵＡＶ制御部１１０は、受信した指示情報に従って、回転翼機構２１０を駆動し、無人航空機１００をピンチアウトの操作量に応じた収縮距離分、各無人航空機１００を水平方向に移動させる。

【0115】

例えば、無人航空機群１００Ｇに属する複数の無人航空機１００のうち中心に位置する無人航空機１００ｏに対し、無人航空機１００ｆによって撮像される撮像範囲は、無人航空機１００ｆの移動によって領域Ｓｑ４から領域Ｓｑ３に移動する。この結果、２つの無人航空機１００ｏ，１００ｆによって撮像される撮像範囲は、領域Ｓｑ６から領域Ｓｑ５に縮まる。したがって、無人航空機群１００Ｇの各無人航空機１００により撮像された撮像画像に基づく合成画像の画像範囲ＳＡは、無人航空機群１００Ｇの収縮前と比較して、縮小する。

【0116】

無人航空機群１００Ｇの各無人航空機１００を水平方向に移動させる場合、各無人航空機１００を高度方向（重力方向、水平方向と垂直な方向）に移動させる場合よりも、各無人航空機１００の撮像部２２０が撮像する撮像範囲の変化が大きい。したがって、端末８０は、ピンチイン操作又はピンチアウト操作によって、各無人航空機１００による撮像によって得られる合成画像の画像範囲ＳＡを粗く調整でき、高速に調整できる。

【0117】

また、ユーザがピンチイン操作またはピンチアウト操作を行う際、端末制御部８１は、操作部８３を介して、指移動の操作及びその操作量（操作範囲）の他、指移動の速度を検出してもよい。端末制御部８１は、指移動の速度を検出した場合、その指移動の速度に対応する速度で、無人航空機群１００Ｇが拡張又は縮小するよう、指示情報に含めて無人航空機群１００Ｇの各無人航空機１００へ送信してよい。無人航空機群１００Ｇの各無人航空機１００のＵＡＶ制御部１１０は、通信インタフェース１５０を介して、この指示情報を受信してよい。ＵＡＶ制御部１１０は、指示情報に従って、指移動の速度に対応する速度で、各無人航空機１００の間隔を拡張又は縮小させてよい。端末８０は、ユーザ操作に応じて、合成画像の画像範囲ＳＡを変化させるスピードを任意に変更できる。

【0118】

端末制御部８１は、水平方向に無人航空機群１００Ｇに属する各無人航空機１００を移動させる場合、以下の制約を考慮してよい。

【0119】

例えば、無人航空機群１００Ｇが収縮する場合、端末制御部８１は、無人航空機１００間の距離を安全距離（例えば３〜４ｍ）以上に確保されるように、つまり隣り合う無人航空機１００の間の距離が閾値ｔｈ１以上となるように、複数の無人航空機１００の飛行の制御を指示してよい。これにより、端末８０は、複数の無人航空機１００が同時に水平方向に移動する場合でも、隣り合う無人航空機１００が互いに過度に接近して衝突することを抑制できる。

【0120】

例えば、無人航空機群１００Ｇが拡張する場合、端末制御部８１は、隣り合う無人航空機１００の撮像部２２０又は撮像部２３０の撮像範囲（撮像画像の画像範囲）の少なくとも一部が重複するように、つまり隣り合う無人航空機１００の間隔が閾値ｔｈ２以下となるように、複数の無人航空機１００の飛行の制御を指示してよい。これにより、端末８０は、無人航空機群１００Ｇに属する複数の無人航空機１００により撮像される複数の撮像画像の間においてオーバーラップを確保でき、合成画像を確実に生成できる。

【0121】

図９は、ユーザによるピンチイン操作及びピンチアウト操作によって各無人航空機１００を水平方向に移動させる場合に、各無人航空機１００が移動する距離の算出例を説明する図である。

【0122】

図９では、９つの無人航空機１００ｃ〜１００ｋ（１００ｃ，１００ｄ，１００ｅ，１００ｆ，１００ｏ，１００ｈ，１００ｉ，１００ｊ，１００ｋ）が矩形状の格子点を形成
するように配置される。図９は、無人航空機群１００Ｇを正面又は背面から見た図でもよいし、無人航空機群１００Ｇを真上又は真下から見た図でもよい。無人航空機群１００Ｇに属する無人航空機１００の数は一例であり、９つ以外でもよい。

【0123】

９つの無人航空機１００ｃ〜１００ｋのうち、中心に位置する無人航空機１００ｏの位置を座標（０，０）とする。無人航空機１００ｏに対し、図中右方向に隣り合う無人航空機１００ｆの位置を座標（ｘｆ，ｙｆ）とする。無人航空機１００ｏに対し、図中右斜め上方向に隣り合う無人航空機１００ｋの位置を座標（ｘｋ，ｙｋ）とする。無人航空機１００ｏの位置は基準点の一例である。

【0124】

ユーザがタッチパネルＴＰに対しピンチイン操作を行った場合、端末制御部８１は、ピンチイン操作の操作量を操作部８３から取得する。端末制御部８１は、ピンチインの操作量を基に、無人航空機１００ｏの位置からそれぞれ移動する各無人航空機１００（１００ｃ，１００ｄ，１００ｅ，１００ｆ，１００ｈ，１００ｉ，１００ｊ，１００ｋ）の移動
量を、飛行隊形を維持するように算出する。

【0125】

飛行隊形とは、無人航空機群１００Ｇに属する各無人航空機１００が飛行する際に形成する飛行形状であり、各無人航空機１００の位置関係により定まってよい。飛行隊形は、３次元空間における隊形で示されてよいし、二次元空間における隊形で示されてよい。３次元空間における飛行隊形の形状は、多角柱形状、多角錐形状、球体形状、楕円体形状、その他の３次元形状を含んでよい。２次元空間における飛行隊形の形状は、多角形状、円形状、楕円形状、その他の２次元形状を含んでよい。

【0126】

端末制御部８１は、ピンチイン操作の操作量に応じて、無人航空機群１００Ｇが拡がる際の拡張率を算出してよい。操作量と拡張率との関係性は、線形性を有してもよいし、非線形性を有してもよい。拡張率は、無人航空機群１００Ｇに属する各無人航空機１００の、移動前後における基準位置に対する距離の拡張率であってよい。各無人航空機１００が、算出された拡張率に対応する位置に移動するように、端末制御部８１は、移動前の各無人航空機１００の位置からの移動量（拡張距離）を算出してよい。なお、無人航空機１００毎に基準位置までの距離が異なるので、算出される拡張距離は無人航空機１００毎に異なってよい。したがって、各無人航空機１００へ送られる指示情報に含まれる拡張距離は、無人航空機１００毎に異なってよい。

【0127】

また、例えば、端末制御部８１は、無人航空機１００ｆを図中右方向に移動させるための移動量ｄｆ、及び無人航空機１００ｋを図中右斜め上方向に移動させるための移動量ｄｋを算出する。飛行隊形が正方形である場合、飛行隊形を維持するように算出される移動量ｄｋと移動量ｄｆの関係は、例えば式（１）で表される。
移動量ｄｋ ＝ ２^1/2＊移動量ｄｆ ……（１）
式（１）において、（１／２）乗は、平方根（√）を示す。アスタリスク（＊）は、乗算符号を示す。移動後の無人航空機１００ｆの位置は、図９における座標（ｘｆ１，ｙｆ１）である。移動後の無人航空機１００ｋの位置は、図９における座標（ｘ１ｋ，ｙ１ｋ）である。

【0128】

ここでは、端末制御部８１は、無人航空機群１００Ｇの中心を基準点とし、基準点から各無人航空機１００が拡がる（遠ざかる）、又は基準点に向かって各無人航空機１００が狭まる（近づく）ように、各無人航空機１００の移動量を算出する場合を示した。なお、無人航空機群１００Ｇの中心を基準点とすることなく、無人航空機群１００Ｇにおける任意の位置（例えば任意の無人航空機１００の位置）が基準点にされてもよい。また、無人航空機群１００Ｇの飛行隊形が三角形である場合、基準点は三角形の重心や中心でよい。さらに、端末制御部８１は、飛行隊形を維持することなく、飛行隊形が変化するように、各無人航空機１００の位置を算出してもよい。

【0129】

なお、端末制御部８１は、ピンチイン操作の場合と同様に、ピンチアウト操作においても、上記移動量（収縮距離に相当）の算出を同様に行ってよい。ピンチアウト操作では、ピンチイン操作の場合と比較して、無人航空機群１００Ｇの拡張、収縮が逆になる。

【0130】

このように、端末制御部８１は、ピンチイン操作又はピンチアウト操作に基づいて、水平方向への複数の無人航空機１００の移動を指示してよい。この指示は、第２の移動指示の一例である。

【0131】

これにより、端末８０は、画像範囲ＳＡの変更操作に伴って水平方向へ各無人航空機１００を移動させることで、高度方向へ各無人航空機１００が移動する場合よりも、合成画像の画像範囲ＳＡの変化を大きくできる。したがって、水平方向へ各無人航空機１００を移動させることは、大まかな画像範囲ＳＡの調整に有益であり、調整速度も高速となる。また、端末８０は、例えば、飛行可能区域が高度方向において制限されている等、高度方向への無人航空機１００の移動が困難な場合でも、画像範囲ＳＡのサイズを変更できる。

【0132】

また、端末制御部８１は、各無人航空機１００の水平方向への移動の結果、隣り合う２つの無人航空機１００の間の距離のそれぞれが同じ距離となるよう、複数の無人航空機１００の飛行の制御を指示してよい。つまり、図９に例示するように、無人航空機群１００Ｇにおける各無人航空機１００間の間隔のそれぞれが等間隔となってよい。

【0133】

これにより、各無人航空機１００により撮像される撮像画像の重複部分の面積が統一され、同じになる。したがって、合成画像の画像範囲ＳＡにおいて合成画像の各部分を生成するための情報量が同程度に統一されるので、端末８０は、合成画像の画像品質を高くできる。

【0134】

図１０は、動作モードの設定画面の一例を示す図である。図１０では、タッチパネルＴＰの操作画面及びその操作例が示されている。この動作モードは、ピンチイン操作及びピンチアウト操作時に各無人航空機１００を高度方向に移動させるか水平方向に移動させるかを決定するための動作モードである。動作モードは、例えば、細かく調整する微調整モード、粗く調整する粗調整モード、細かく調整するか粗く調整するかを自動的に決定する自動モード、を含んでよい。

【0135】

端末制御部８１は、タッチパネルＴＰに、微調整モードを選択するためのｆｉｎｅボタンｂｎ１、粗調整モードを選択するためのｃｏａｒｓｅボタンｂｎ２、及び自動モードを選択するためのａｕｔｏボタンｂｎ３を表示させる。微調整モードでは、第１動作例で示した無人航空機群１００Ｇの上昇／下降によって合成画像の画像範囲ＳＡの変更が行われる。粗調整モードでは、第２動作例で示した無人航空機群１００Ｇの拡張／収縮によって合成画像の画像範囲ＳＡの変更が行われる。自動モードでは、端末制御部８１が微調整モードと粗調整モードのいずれかを自動的に決定して、合成画像の画像範囲ＳＡの変更が行われる。

【0136】

端末制御部８１は、自動モードにおいて、微調整モードと粗調整モードのいずれかを決定する場合、種々の制約条件を基に判断してよい。端末制御部８１は、制約条件の情報を取得し、制約条件を基に、自動モードにおいて微調整モードとするか粗調整モードとするかを決定してよい。例えば、端末制御部８１は、制約条件によって水平方向の移動の範囲が制限されている（例えば、地理的に飛行禁止区域が定められている、高層ビルに囲まれたエリアである）場合、自動モードの設定によって微調整モードが設定されてよい。例えば、制約条件によって高度方向の移動の範囲が制限されている（例えば、高度制限されている、室内である）場合、端末制御部８１は、自動モードの設定によって粗調整モードを設定してよい。また、端末制御部８１は、ピンチイン又はピンチアウトの操作量が大きく、画像範囲ＳＡの変化量が閾値ｔｈ３以上であることを認識した場合、自動モードの設定によって粗調整モードを設定してよい。また、端末制御部８１は、ピンチイン又はピンチアウトの操作量が小さく、画像範囲ＳＡの変化が閾値ｔｈ３未満であることを認識した場合、自動モードの設定によって微調整モードを設定してよい。

【0137】

端末制御部８１は、タッチパネルＴＰに対するｆｉｎｅボタンｂｎ１、ｃｏａｒｓｅボタンｂｎ２、及びａｕｔｏボタンｂｎ３のうちいずれかのボタンに対する操作の情報（操作情報の一例）を検出し、動作モードを、検出されたボタンに対応する微調整モード、粗調整モード、自動モードのいずれかに設定する。

【0138】

例えば、微調整モードにおいて、ユーザがタッチパネルＴＰに対し、ピンチイン操作を行ってよい。端末制御部８１は、ピンチイン操作の指移動の範囲（例えば操作量、操作方向）及び指移動の速度（例えば操作速度）を取得してよい。端末制御部８１は、指移動の範囲及び速度に対応する、無人航空機群１００Ｇの下降量及び下降速度を算出し、通信部８５を介して、無人航空機群１００Ｇを下降させるための指示情報を通知してよい。各無人航空機１００のＵＡＶ制御部１１０は、通信インタフェース１５０を介して、端末８０から下降量及び下降速度を含む指示情報を受信すると、この下降量及び下降速度に従って、無人航空機１００を移動させてよい。

【0139】

例えば、粗調整モードにおいて、ユーザがタッチパネルＴＰに対し、ピンチアウト操作を行ってよい。端末制御部８１は、ピンチアウト操作の指移動の範囲（例えば操作量、操作方向）及び速度（例えば操作速度）を取得してよい。端末制御部８１は、指移動の範囲及び速度に対応する、無人航空機群１００Ｇの水平方向の移動量及び移動速度を算出し、通信部８５を介して、無人航空機群１００Ｇを水平方向に移動させるための指示情報を通知してよい。各無人航空機１００のＵＡＶ制御部１１０は、通信インタフェース１５０を介して、端末８０から水平方向への移動量及び移動速度を含む指示情報を受信すると、この水平方向への移動量及び移動速度に従って、無人航空機１００を移動させてよい。

【0140】

このように、端末制御部８１は、複数の無人航空機１００が高度方向に移動するよう指示（第１の移動指示の一例）を行うか、複数の無人航空機１００が水平方向に移動するよう指示（第２の移動指示の一例）を行うかを、決定してよい。これにより、端末８０は、画像範囲ＳＡのサイズを変更する際に、様々な変更方法のバリエーションから１つを決定できる。

【0141】

また、端末制御部８１は、複数の無人航空機１００の飛行可能区域の制限情報に基づいて、複数の無人航空機１００を高度方向に移動させるか水平方向に移動させるかを決定してよい。これにより、端末８０は、飛行可能区域の制約を加味して、複数の無人航空機１００の移動を指示できる。よって、端末８０は、制約条件を加味しつつ、合成画像の画像範囲ＳＡのサイズを変更できる。なお、端末８０は、制約条件を加味して複数の無人航空機１００の移動を指示する場合、操作部８３（例えばタッチパネルＴＰ）へのユーザ操作を受けなくてよく、ユーザ操作を加味しなくてよい。

【0142】

また、端末制御部８１は、端末制御部８１がタッチパネルＴＰ１に対する各種ボタン（例えば、ｆｉｎｅボタンｂｎ１、ｃｏａｒｓｅボタンｂｎ２、ａｕｔｏボタンｂｎ３）の操作の情報を取得し、操作の情報に基づいて、複数の無人航空機１００を高度方向に移動させるか水平方向に移動させるかを決定してよい。これにより、端末８０は、ユーザ所望の移動指示方法により、各無人航空機１００に対して移動を指示できる。

【0143】

（第３動作例）
図１１は、タッチパネルＴＰに対するツイスト操作によって、合成画像の画像範囲ＳＡを回転させる動作例（第３動作例）を示す図である。第３動作例では、無人航空機群１００Ｇを、基準点（例えば無人航空機群１００Ｇの中心点）を中心に、水平方向において回転させる動作を示す。図１１では、各無人航空機１００自体は回転（自転とも称する）せず、基準点を中心に、無人航空機群１００Ｇを回転（公転とも称する）させる場合を示す。ツイスト操作は、合成画像の画像範囲ＳＡを変更するための変更操作の１つである。なお、自転では、無人航空機１００が移動せずに無人航空機１００の向きを変更する。

【0144】

端末８０の端末制御部８１は、無人航空機群１００Ｇを公転させるとともに、各無人航空機１００自体を自転させてもよい。無人航空機群１００Ｇを公転かつ自転させる場合、合成画像の画像範囲ＳＡの輪郭は、無人航空機群１００Ｇの回転の前後で変化しない。例えば、回転前の無人航空機群１００Ｇの飛行隊形が矩形状である場合、回転後の無人航空機群１００Ｇの飛行隊形も同じ矩形状に維持される。一方、端末制御部８１が、各無人航空機１００自体を自転させずに無人航空機群１００Ｇを公転させる場合、合成画像の画像範囲ＳＡの輪郭は、無人航空機群１００Ｇの回転前後で変化し得る。例えば、回転前の無人航空機群１００Ｇの飛行隊形が矩形状である場合、回転後の無人航空機群１００Ｇの飛行隊形が略平行四辺形の形状に変化し得る。

【0145】

ツイスト操作では、例えば、端末制御部８１は、タッチパネルＴＰにおける２つの位置に対する入力の情報を２つの時点で取得し、入力された２つの位置を結ぶ線を上記の２つの時点で取得（例えば算出）する。端末制御部８１は、２つの時点で取得された２つの線が成す角度（回転角度）を算出し、算出した角度が閾値ｔｈ４以上である場合、ツイスト操作を検出してよい。

【0146】

ユーザは、タッチパネルＴＰに対し、２本の指（例えば親指ｆｇ１と人差し指ｆｇ２）をタッチした状態で捻るツイスト操作を行う。端末制御部８１は、タッチパネルＴＰを介して、ツイスト操作及びその操作量を検出する。端末制御部８１は、ツイスト操作を検出すると、その操作量に応じた回転角度を算出する。回転角度は、回転前後で無人航空機群１００Ｇが回転する角度、つまり無人航空機群１００Ｇの各無人航空機１００が基準点を中心に回転する角度を示す。例えば、操作量が大きい程、回転角度が大きく、操作量が小さい程、上昇距離が小さくよい。

【0147】

端末制御部８１は、無人航空機群１００Ｇの各無人航空機１００に対し、通信部８５を介して、算出した回転角度分の回転を指示するための指示情報を送信する。無人航空機群１００Ｇの各無人航空機１００は、通信インタフェース１５０を介して、この指示情報を受信する。ＵＡＶ制御部１１０は、受信した指示情報に従って、回転翼機構２１０を駆動し、基準点を中心に無人航空機群１００Ｇが回転角度分、回転するように、各無人航空機１００を移動させる。

【0148】

図１２は、ユーザによるツイスト操作によって無人航空機群１００Ｇを回転させる場合の回転角度θの算出例を説明する図である。回転角度θは、例えば、操作前（回転前）のタッチパネルＴＰに対する親指ｆｇ１の接点と人差し指ｆｇ２の接点を結ぶ直線と、操作後のタッチパネルＴＰに対する親指ｆｇ１の接点と人差し指ｆｇ２の接点を結ぶ直線と、が成す角度でよい。回転角度θは、上記２つの直線がなす角度に、所定の演算（例えば所定の係数を乗算）を行った値であってもよい。

【0149】

図１２では、図９と同様、９つの無人航空機１００ｃ〜１００ｋが矩形状の格子点を形成するように配置されている場合を示す。９つの無人航空機１００ｃ〜１００ｋのうち、中心に位置する無人航空機１００ｏに対し、図中左斜め上方向の無人航空機１００ｉの位置を座標（ｘｉ，ｙｉ）とする。

【0150】

ユーザがタッチパネルＴＰに対しツイスト操作を行った場合、端末制御部８１は、ツイスト操作の操作量を操作部８３から取得する。端末制御部８１は、ツイスト操作量を基に、回転角度θを算出する。端末制御部８１は、回転角度θを基に、基準点の一例である無人航空機１００ｏを中心に、無人航空機１００ｉが移動する位置の座標（ｘ´ｉ，ｙ´ｉ）を算出する。この場合、端末制御部８１は、回転行列を用いた式（２）に従って算出してよい。

【0151】

【数1】

【0152】

端末制御部８１は、無人航空機群１００Ｇが回転するように各無人航空機１００を移動させるための指示情報を送信する。この場合、端末制御部８１は、算出した回転後の無人航空機群１００Ｇの位置の座標を含む指示情報を、通信部８５を介して、無人航空機群１００Ｇに通知してよい。各無人航空機１００のＵＡＶ制御部１１０は、通信インタフェース１５０を介して、端末８０から回転後の位置の座標を含む指示情報を受信すると、回転翼機構２１０を駆動し、受信した回転後の位置の座標に、無人航空機１００を移動させる。図１２では、回転後の無人航空機群１００Ｇの各無人航空機１００により撮像された撮像画像に基づく合成画像の画像範囲ＳＡ（図中、斜線範囲）は、回転前と比較すると、回転角度θに対応する領域に移り、略平行四辺形の輪郭に変化している。

【0153】

なお、ユーザがツイスト操作を行う際、端末制御部８１は、操作部８３を介して、指移動の操作及びその操作量の他、指移動の速度を検出してもよい。端末制御部８１は、指移動の速度を検出した場合、その指移動の速度に基づいて、無人航空機群１００Ｇの回転速度を決定し、回転速度を含む指示情報を各無人航空機１００へ送信してよい。各無人航空機１００のＵＡＶ制御部１１０は、通信インタフェース１５０を介して、この指示情報を受信してよい。ＵＡＶ制御部１１０は、指示情報に従って、決定された無人航空機群１００Ｇの回転速度で、無人航空機群１００Ｇが回転するように各無人航空機１００を移動させてよい。これにより、端末８０は、ユーザ操作に応じて、合成画像の画像範囲ＳＡを回転させるスピードを任意に変更できる。

【0154】

このように、端末８０の端末制御部８１は、合成画像の画像範囲ＳＡを回転するためのツイスト操作（変更操作の一例）の情報を取得し、ツイスト操作に基づいて、無人航空機群１００Ｇにおける各無人航空機１００の位置関係を維持して、各無人航空機１００が基準位置を基準として回転するよう、各無人航空機１００へ飛行の制御を指示してよい。これにより、端末８０は、ユーザ操作に応じて画像範囲ＳＡを回転できるので、ユーザ所望に直感的に画像範囲ＳＡを回転できる。

【0155】

（第４動作例）
図１３は、タッチパネルＴＰに対するフリック操作によって、無人航空機群１００Ｇを移動させる動作例（第４動作例）を示す図である。第４動作例では、無人航空機群１００Ｇを所望の方向に所定距離だけ移動させる動作を示す。フリック操作は、合成画像の画像範囲ＳＡを変更するための変更操作の１つである。

【0156】

フリック操作では、例えば、端末制御部８１は、タッチパネルＴＰにおける１つの位置に対する入力を２つの時点で取得する。端末制御部８１は、例えば、この２つの時点の間において入力位置が連続的に変化していることを検出すると、フリック操作を検出する。

【0157】

ユーザは、タッチパネルＴＰに対し、１本の指（例えば人差し指ｆｇ２）をタッチして弾くフリック操作を行う。端末制御部８１は、タッチパネルＴＰを介して、人差し指ｆｇ２の接触開始点ｔｉと接触終了点ｔｏを基に、フリック操作及びその操作量を検出する。端末制御部８１は、フリック操作を検出すると、その操作量に応じた各無人航空機１００の移動距離を算出する。この移動距離は、各無人航空機１００の水平方向への移動距離でよい。各無人航空機１００の移動距離は同じでよい。例えば、操作量が大きい程、移動距離が長く、操作量が小さい程、移動距離が短くてよい。

【0158】

また、端末制御部８１は、フリック操作に応じた各無人航空機１００の移動方向を決定してよい。端末制御部８１は、タッチパネルＴＰにおける接触開始点ｔｉの位置及び接触終了点ｔｏの位置に基づいて、各無人航空機１００の移動方向を決定してよい。例えば、端末制御部８１は、タッチパネルＴＰに表示された接触開始点ｔｉに対応する実空間の位
置から接触終了点ｔｏに対応する実空間の位置に向かう方向を、各無人航空機１００の移動方向としてよい。この結果、タッチパネルＴＰに表示される被写体の位置は、各無人航空機１００の移動方向αと逆方向に移動してよい。

【0159】

端末制御部８１は、無人航空機群１００Ｇに対し、通信部８５を介して、算出した移動距離及び移動方向の移動を指示するための指示情報を送信する。無人航空機群１００Ｇの各無人航空機１００のＵＡＶ制御部１１０は、通信インタフェース１５０を介して、この指示情報を受信する。ＵＡＶ制御部１１０は、受信した指示情報に従って、回転翼機構２１０を駆動し、フリック操作に応じた移動方向へ移動距離分、各無人航空機１００を移動させる。この場合、無人航空機群１００Ｇの各無人航空機１００が同じ移動方向に同じ移動距離で移動するので、合成画像の画像範囲ＳＡのサイズは変わらず、画像範囲ＳＡに含まれる地理的な範囲が変化（移動）する。

【0160】

また、ユーザがフリック操作を行う際、端末制御部８１は、操作部８３を介して、指移動の操作及びその操作量の他、指移動の速度を検出してもよい。端末制御部８１は、指移動の速度を検出した場合、その指移動の速度に対応する移動初速度で、無人航空機群１００Ｇが移動するよう、移動速度を指示情報に含めて無人航空機群１００Ｇの各無人航空機１００へ送信してよい。無人航空機群１００Ｇの各無人航空機１００のＵＡＶ制御部１１０は、通信インタフェース１５０を介して、この指示情報を受信してよい。ＵＡＶ制御部１１０は、指示情報に従って、指移動の速度に対応する移動初速度で、無人航空機１００を移動させてよい。これにより、端末８０は、ユーザ操作に応じて、合成画像の画像範囲ＳＡを移動させるスピードを任意に変更できる。なお、無人航空機１００は、フリック操作に基づいて、最初は移動初速度で移動し、移動方向と逆方向の加速度を受けて移動速度を小さくしながら移動してよい。したがって、移動距離は、タッチパネルＴＰに表示された接触開始点ｔｉに対応する実空間の位置と接触終了点ｔｏに対応する実空間の位置との距離よりも長くてもよい。

【0161】

このように、端末８０の端末制御部８１は、合成画像の画像範囲ＳＡを他の地理的範囲に水平方向に移動するためのフリック操作（変更操作の一例）の情報を取得し、フリック操作に基づいて、各無人航空機１００へ飛行（水平方向の移動）の制御を指示してよい。これにより、端末８０は、ユーザ操作に応じて画像範囲ＳＡの地理的範囲を変更できるので、ユーザ所望に直感的に合成画像の画像範囲ＳＡを移動できる。

【0162】

次に、飛行体群制御システム１０の動作について説明する。

【0163】

図１４は端末８０及び各無人航空機１００の動作手順を示すシーケンス図である。図１４では、無人航空機群１００Ｇが飛行して撮像を行っている状態において、無人航空機群１００Ｇで撮像される画像範囲ＳＡを変更する動作を示す。ここでは、無人航空機１００の動作として、無人航空機１００が移動することを例示する。

【0164】

各無人航空機１００では、ＵＡＶ制御部１１０は、飛行中、撮像部２２０に被写体（例えば地面方向）を撮像させ、通信インタフェース１５０を介して、撮像により得られた撮像画像の画像データを端末８０に送信する（Ｓ１１）。

【0165】

端末８０では、端末制御部８１は、通信部８５を介して各無人航空機１００から画像データを受信して取得する（Ｓ１）。また、端末制御部８１は、通信部８５を介して各無人航空機１００から撮像画像に関する付加情報を受信して取得する。付加情報には、撮像画像の撮像範囲の情報が含まれる。端末制御部８１は、各無人航空機１００で撮像された画像を合成し、合成画像を生成する（Ｓ２）。また、端末制御部８１は、各無人航空機１００から取得された撮像範囲の情報に基づいて、合成画像の画像範囲ＳＡを算出する。端末制御部８１は、生成された合成画像をタッチパネルＴＰに表示させる（Ｓ３）。

【0166】

端末制御部８１は、タッチパネルＴＰを介して、画像範囲ＳＡを変更するための変更操作の情報を取得する（Ｓ４）。変更操作は、例えば、ピンチイン操作、ピンチアウト操作、ツイスト操作、又はフリック操作である。端末制御部８１は、変更操作に基づき、各無人航空機１００の飛行を制御するための移動制御情報を生成し、生成した移動制御情報を各無人航空機１００に送信する（Ｓ５）。この移動制御情報は、例えば上述の指示情報に相当する。

【0167】

端末制御部８１は、画像範囲ＳＡを変更するための変更操作が終了したか否か判別する（Ｓ６）。変更操作が終了したか否かは、例えば、変更操作のためのタッチパネルＴＰへのユーザ操作が終了したか否かによって判定されてよく、変更操作のために接触していたユーザの指がタッチパネルＴＰから離れたか否かによって判定されてよい。変更操作を終了しない場合、端末制御部８１は、Ｓ１の処理に戻る。変更操作を終了する場合、端末制御部８１は本動作を終了する。

【0168】

各無人航空機１００では、ＵＡＶ制御部１１０は、通信インタフェース１５０を介して、端末８０から移動制御情報を受信する（Ｓ１２）。ＵＡＶ制御部１１０は、回転翼機構２１０を駆動し、無人航空機１００を移動制御情報に基づく位置に移動させる（Ｓ１３）。そして、ＵＡＶ制御部１１０は、Ｓ１１の処理に戻る。

【0169】

このように、端末８０の端末制御部８１は、各無人航空機１００により撮像された複数の撮像画像（第１の撮像画像の一例）を取得する。端末制御部８１は、複数の撮像画像を合成して合成画像（第１の合成画像の一例）を生成する。端末制御部８１は、合成画像の画像範囲ＳＡ（第１の画像範囲の一例）を変更するための変更操作の情報を取得する。端末制御部８１は、変更操作に基づいて、複数の無人航空機１００の飛行の制御を指示する。

【0170】

これにより、端末８０は、変更操作に基づいて無人航空機群１００Ｇにおける複数の無人航空機１００の移動を指示できる。そのため、例えば、各無人航空機１００を移動させずに各無人航空機１００が有するデジタルズームを利用して撮像される撮像画像の画像範囲を変更する場合と比較して、端末８０は、撮像画像の画質が劣化することを抑制できる。したがって、端末８０は、複数の撮像画像を合成した合成画像の画質の劣化も抑制できる。また、端末８０は、ユーザ操作により合成画像の画像範囲ＳＡの変更を指示することで、より直感的に無人航空機１００を移動させることができる。

【0171】

また、変更操作の情報は、変更操作の種別（例えばピンチイン操作、ピンチアウト操作、ツイスト操作、フリック操作、のうちいずれの操作であるか）と変更操作の操作量との情報を含んでよい。端末制御部８１は、画像範囲ＳＡを算出し、画像範囲ＳＡと変更操作の種別と変更操作の操作量とに基づいて、画像範囲ＳＡ２（第２の画像範囲の一例）を算出してよい。端末制御部８１は、変更操作に基づいて各無人航空機１００が移動した後に撮像される複数の撮像画像（第２の撮像画像の一例）を合成した場合の合成画像（第２の合成画像の一例）の画像範囲が、画像範囲ＳＡ２となるように、複数の無人航空機１００の飛行の制御を指示してよい。この場合、端末制御部８１は、例えば、変更操作の操作量に基づいて、無人航空機１００の移動量や回転角度を決定してよい。端末制御部８１は、変更前の画像範囲ＳＡと決定された移動量や回転角度とを基に、変更後の画像範囲ＳＡ２を導出してよい。

【0172】

これにより、端末８０は、ユーザが意図した変更操作の操作量の分だけ無人航空機群１００Ｇの飛行の制御を指示するので、ユーザが意図した合成画像の画像範囲ＳＡに変更でき、更に直感的に無人航空機１００を移動させることができる。

【0173】

また、図１４では、端末制御部８１は、Ｓ５において変更操作に基づいて移動制御情報を生成して送信し、Ｓ６において変更操作が終了するまで、Ｓ５における変更操作に基づく移動制御情報の生成及び送信を反復する。つまり、端末制御部８１は、変更操作の情報の取得が終了するまで、変更操作に基づく複数の無人航空機１００の飛行の制御の指示を反復して実行してよい。

【0174】

これにより、端末８０は、変更操作を継続しながら、複数の無人航空機１００を順次移動させることができる。端末８０が、移動した無人航空機１００により撮像された撮像画像に基づく合成画像を順次表示することで、ユーザは、所望の合成画像となっているかを表示によって直接確認しながら、変更操作の終了のタイミングを図ることができる。また、端末８０は、変更操作の終了を待って複数の無人航空機１００を移動させるよりも、無人航空機群１００Ｇを高速に移動させることができる。

【0175】

なお、図１４とは異なり、端末制御部８１は、変更操作の情報の取得が終了した後に、変更操作に基づく無人航空機１００の飛行の制御を指示してもよい。

【0176】

これにより、端末８０は、変更操作が終了してから、複数の無人航空機１００を一度に移動させることができる。よって、端末８０は、変更操作の操作中に複数の無人航空機１００を順次移動させるよりも、端末８０と複数の無人航空機１００との間の通信量を削減でき、ネットワーク負荷を低減できる。

【0177】

以上、本開示を実施形態を用いて説明したが、本開示の技術的範囲は上述した実施形態に記載の範囲には限定されない。上述した実施形態に、多様な変更又は改良を加えることが当業者に明らかである。その様な変更又は改良を加えた形態も本開示の技術的範囲に含まれ得ることが、特許請求の範囲の記載からも明らかである。

【0178】

特許請求の範囲、明細書、及び図面中において示した装置、システム、プログラム、及び方法における動作、手順、ステップ、及び段階等の各処理の実行順序は、特段「より前に」、「先立って」等と明示しておらず、前の処理の出力を後の処理で用いるのでない限り、任意の順序で実現可能である。特許請求の範囲、明細書、及び図面中の動作フローに関して、便宜上「先ず、」、「次に」等を用いて説明したとしても、この順で実施することが必須であることを意味するものではない。

【0179】

上記実施形態では、無人航空機群１００Ｇにおける各無人航空機１００が上方から地面に向かって（つまり重力方向に沿って）撮像する場合を主に示した。なお、各無人航空機１００は、重力方向以外の方向を撮像してもよい。例えば、無人航空機群１００Ｇにおける各無人航空機１００が重力方向に配列された場合、水平方向に存在する被写体を撮像する場合、又は無人航空機群１００Ｇが重力方向や水平方向に対して角度を有して配列された場合においても、本実施形態を適用可能である。この場合、上記（地面を撮像する場合）の重力方向（高度方向）の移動は、被写体の方向である撮像方向に沿った移動となり、上記の水平方向の移動は、撮像方向に垂直な方向に沿った移動となる。

【符号の説明】

【0180】

１０ 飛行体群制御システム
５０ 送信機
８０ 端末
８１ 端末制御部
８３ 操作部
８５ 通信部
８７ メモリ
８８ 表示部
８９ ストレージ
１００ 無人航空機
１００Ｇ 無人航空機群
１１０ ＵＡＶ制御部
１５０ 通信インタフェース
１６０ メモリ
１７０ ストレージ
２００ ジンバル
２１０ 回転翼機構
２２０，２３０ 撮像部
２４０ ＧＰＳ受信機
２５０ 慣性計測装置
２６０ 磁気コンパス
２７０ 気圧高度計
２８０ 超音波センサ
２９０ レーザー測定器
ＳＡ 合成画像の画像範囲

【図1】

【図2A】

【図2B】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】