特許 6875196 モバイルプラットフォーム、飛行体、支持装置、携帯端末、撮像補助方法、プログラム、及び記録媒体

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】6875196

(24)【登録日】2021年4月26日

(45)【発行日】2021年5月19日

(54)【発明の名称】モバイルプラットフォーム、飛行体、支持装置、携帯端末、撮像補助方法、プログラム、及び記録媒体

(51)【国際特許分類】

   H04N 5/232 20060101AFI20210510BHJP

   B64C 39/02 20060101ALI20210510BHJP

   B64C 13/20 20060101ALI20210510BHJP

   B64C 27/08 20060101ALI20210510BHJP

   B64D 47/08 20060101ALI20210510BHJP

   H04N 5/222 20060101ALI20210510BHJP

   G03B 17/00 20210101ALI20210510BHJP

   G03B 17/56 20210101ALI20210510BHJP

   G03B 15/00 20210101ALI20210510BHJP

   G05D 1/00 20060101ALI20210510BHJP

【ＦＩ】

   H04N5/232 220

   H04N5/232 990

   H04N5/232 030

   B64C39/02

   B64C13/20 Z

   B64C27/08

   B64D47/08

   H04N5/232 290

   H04N5/232 450

   H04N5/222 100

   G03B17/00 Q

   G03B17/56 A

   G03B15/00 Q

   G03B15/00 P

   G05D1/00 B

【請求項の数】38

【全頁数】40

(21)【出願番号】特願2017-104737(P2017-104737)

(22)【出願日】2017年5月26日

(65)【公開番号】特開2018-201119(P2018-201119A)

(43)【公開日】2018年12月20日

【審査請求日】2019年10月9日

(73)【特許権者】

【識別番号】513068816

【氏名又は名称】エスゼット ディージェイアイ テクノロジー カンパニー リミテッド

【氏名又は名称原語表記】ＳＺ ＤＪＩ ＴＥＣＨＮＯＬＯＧＹ ＣＯ．，ＬＴＤ

(74)【代理人】

【識別番号】110002000

【氏名又は名称】特許業務法人栄光特許事務所

(72)【発明者】

【氏名】周 杰旻

【審査官】 中嶋 樹理

(56)【参考文献】

【文献】 中国特許出願公開第１０６３３１５０８（ＣＮ，Ａ）

【文献】 特開２０１４−２３６３３４（ＪＰ，Ａ）

【文献】 特開２００８−０６１２０９（ＪＰ，Ａ）

【文献】 特開２０１０−１９９６８１（ＪＰ，Ａ）

【文献】 特開２０００−０９８４５６（ＪＰ，Ａ）

(58)【調査した分野】（Int.Cl.，ＤＢ名）

Ｈ０４Ｎ ５／２３２

Ｂ６４Ｃ １３／２０

Ｂ６４Ｃ ２７／０８

Ｂ６４Ｃ ３９／０２

Ｂ６４Ｄ ４７／０８

Ｇ０３Ｂ １５／００

Ｇ０３Ｂ １７／００

Ｇ０３Ｂ １７／５６

Ｇ０５Ｄ １／００

Ｈ０４Ｎ ５／２２２

(57)【特許請求の範囲】

【請求項1】

撮像装置による第２の画像の撮像を補助するモバイルプラットフォームであって、
第１の画像を取得する画像取得部と、
前記第１の画像に含まれる１つ以上の被写体のうち、第１の被写体の情報を取得し、前記第２の画像における前記第１の被写体を含む１つ以上の被写体の位置を規定する１つ以上の構図のうち、第１の構図の情報を取得する情報取得部と、
前記第１の構図に従って前記第２の画像を撮像するための前記撮像装置の動作に関する動作情報を生成する生成部と、
を備え、
前記生成部は、前記動作情報として、前記撮像装置の移動に関する移動情報を生成し、
前記生成部は、前記第１の画像における前記第１の被写体の位置と、前記第１の構図における前記第１の被写体の位置と、前記第１の画像における移動距離と実空間における移動距離との対応関係に基づいて、前記撮像装置の移動量及び移動方向を決定する、
モバイルプラットフォーム。

【請求項2】

前記情報取得部は、前記第１の画像に含まれる複数の被写体から前記第１の被写体を選択して取得する、
請求項１に記載のモバイルプラットフォーム。

【請求項3】

前記情報取得部は、前記第１の画像に含まれる被写体の色成分に基づいて、前記第１の被写体の情報を取得する、
請求項１または２に記載のモバイルプラットフォーム。

【請求項4】

前記情報取得部は、前記第１の画像に含まれる被写体の空間周波数に基づいて、前記第１の被写体の情報を取得する、
請求項１または２に記載のモバイルプラットフォーム。

【請求項5】

前記情報取得部は、前記撮像装置の位置情報を取得し、前記撮像装置の位置情報に基づいて、前記第１の被写体の情報を取得する、
請求項１に記載のモバイルプラットフォーム。

【請求項6】

前記情報取得部は、前記撮像装置による前記第２の画像の撮像時の撮像モードに基づいて、前記第１の被写体の情報を取得する、
請求項１に記載のモバイルプラットフォーム。

【請求項7】

前記情報取得部は、複数の前記構図から前記第１の構図を選択して取得する、
請求項１〜６のいずれか１項に記載のモバイルプラットフォーム。

【請求項8】

前記第１の被写体の形状を認識する認識部、を更に備え、
前記情報取得部は、前記第１の被写体の形状に基づいて、前記第１の構図の情報を取得する、
請求項１〜７のいずれか１項に記載のモバイルプラットフォーム。

【請求項9】

前記第２の画像が撮像される際のシーンを認識する認識部、を更に備え、
前記情報取得部は、前記シーンに基づいて、前記第１の構図の情報を取得する、
請求項１〜７のいずれか１項に記載のモバイルプラットフォーム。

【請求項10】

前記生成部は、前記動作情報として、前記撮像装置を回転可能に支持する支持部材の回転に関する回転情報を生成する、
請求項１〜９のいずれか１項に記載のモバイルプラットフォーム。

【請求項11】

前記生成部は、前記第１の画像における前記第１の被写体の位置と前記第１の構図における前記第１の被写体の位置とに基づいて、前記支持部材の回転量及び回転方向を決定する、
請求項１０に記載のモバイルプラットフォーム。

【請求項12】

前記生成部は、前記第１の画像における前記第１の被写体のサイズと前記第１の構図における前記第１の被写体のサイズとに基づいて、重力方向に沿った前記撮像装置の移動量を決定する、
請求項１〜１１のいずれか１項に記載のモバイルプラットフォーム。

【請求項13】

前記動作情報を提示する提示部、を更に備える、
請求項１〜１２のいずれか１項に記載のモバイルプラットフォーム。

【請求項14】

前記第１の画像は、前記撮像装置により撮像された画像である、
請求項１〜１３のいずれか１項に記載のモバイルプラットフォーム。

【請求項15】

前記モバイルプラットフォームは、
前記撮像装置及び前記撮像装置を回転可能に支持する支持部材を備える飛行体であり、
前記動作情報に基づいて、前記飛行体の飛行又は前記支持部材の回転を制御する制御部、を更に備える、
請求項１、３〜６、８〜１４のいずれか１項に記載のモバイルプラットフォーム。

【請求項16】

前記モバイルプラットフォームは、
使用時にユーザに把持され、前記撮像装置を回転可能に支持する支持部材を備える支持装置であり、
前記動作情報に基づいて、前記支持部材の回転を制御する制御部、を更に備える、
請求項１、３〜６、８〜１４のいずれか１項に記載のモバイルプラットフォーム。

【請求項17】

前記モバイルプラットフォームは、
携帯端末であり、
前記動作情報を、飛行体又は支持装置へ送信する通信部、を更に備える、
請求項１〜４、７〜１４のいずれか１項に記載のモバイルプラットフォーム。

【請求項18】

飛行体であって、
撮像装置と、
前記撮像装置を回転可能に支持する支持部材と、
請求項１〜４、７〜１４のいずれか１項に記載のモバイルプラットフォームにより生成された前記動作情報を取得する動作情報取得部と、
前記動作情報に基づいて、前記飛行体の飛行又は前記支持部材の回転を制御する制御部と、
を備える飛行体。

【請求項19】

支持装置であって、
撮像装置を回転可能に支持する支持部材と、
請求項１〜４、７〜１４のいずれか１項に記載のモバイルプラットフォームにより生成された前記動作情報を取得する動作情報取得部と、
前記動作情報に基づいて、前記支持部材の回転を制御する制御部と、
を備える支持装置。

【請求項20】

撮像装置による第２の画像の撮像を補助するモバイルプラットフォームにおける撮像補助方法であって、
第１の画像を取得するステップと、
前記第１の画像に含まれる１つ以上の被写体のうち、第１の被写体の情報を取得するステップと、
前記第２の画像における前記第１の被写体を含む１つ以上の被写体の位置を規定する１つ以上の構図のうち、第１の構図の情報を取得するステップと、
前記第１の構図に従って前記第２の画像を撮像するための前記撮像装置の動作に関する動作情報を生成するステップと、
を有し、
前記動作情報を生成するステップは、前記動作情報として、前記撮像装置の移動に関する移動情報を生成するステップを含み、
前記動作情報を生成するステップは、前記第１の画像における前記第１の被写体の位置と、前記第１の構図における前記第１の被写体の位置と、前記第１の画像における移動距離と実空間における移動距離との対応関係に基づいて、前記撮像装置の移動量及び移動方向を決定するステップを含む、
撮像補助方法。

【請求項21】

前記第１の被写体の情報を取得するステップは、前記第１の画像に含まれる複数の被写体から前記第１の被写体を選択して取得するステップを含む、
請求項２０に記載の撮像補助方法。

【請求項22】

前記第１の被写体の情報を取得するステップは、前記第１の画像に含まれる被写体の色成分に基づいて、前記第１の被写体の情報を取得するステップを含む、
請求項２０または２１に記載の撮像補助方法。

【請求項23】

前記第１の被写体の情報を取得するステップは、前記第１の画像に含まれる被写体の空間周波数に基づいて、前記第１の被写体の情報を取得するステップを含む、
請求項２０または２１に記載の撮像補助方法。

【請求項24】

前記撮像装置の位置情報を取得するステップ、を更に含み、
前記第１の被写体の情報を取得するステップは、前記撮像装置の位置情報に基づいて、前記第１の被写体の情報を取得するステップを含む、
請求項２０に記載の撮像補助方法。

【請求項25】

前記第１の被写体の情報を取得するステップは、前記撮像装置による前記第２の画像の撮像時の撮像モードに基づいて、前記第１の被写体の情報を取得するステップを含む、
請求項２０に記載の撮像補助方法。

【請求項26】

前記第１の構図の情報を取得するステップは、複数の前記構図から前記第１の構図を選択して取得するステップを含む、
請求項２０〜２５のいずれか１項に記載の撮像補助方法。

【請求項27】

前記第１の被写体の形状を認識するステップ、を更に含み、
前記第１の構図の情報を取得するステップは、前記第１の被写体の形状に基づいて、前記第１の構図の情報を取得するステップを含む、
請求項２６に記載の撮像補助方法。

【請求項28】

前記第２の画像が撮像される際のシーンを認識するステップ、を更に含み、
前記第１の構図の情報を取得するステップは、前記シーンに基づいて、前記第１の構図の情報を取得するステップを含む、
請求項２６に記載の撮像補助方法。

【請求項29】

前記動作情報を生成するステップは、前記動作情報として、前記撮像装置を回転可能に支持する支持部材の回転に関する回転情報を生成するステップを含む、
請求項２０〜２８のいずれか１項に記載の撮像補助方法。

【請求項30】

前記動作情報を生成するステップは、前記第１の画像における前記第１の被写体の位置と前記第１の構図における前記第１の被写体の位置とに基づいて、前記支持部材の回転量及び回転方向を決定するステップを含む、
請求項２９に記載の撮像補助方法。

【請求項31】

前記動作情報を生成するステップは、前記第１の画像における前記第１の被写体のサイズと前記第１の構図における前記第１の被写体のサイズとに基づいて、重力方向に沿った前記撮像装置の移動量を決定するステップを含む、
請求項２０〜３０のいずれか１項に記載の撮像補助方法。

【請求項32】

前記動作情報を提示部に提示するステップ、を更に含む、
請求項２０〜３１のいずれか１項に記載の撮像補助方法。

【請求項33】

前記第１の画像は、前記撮像装置により撮像された画像である、
請求項２０〜３２のいずれか１項に記載の撮像補助方法。

【請求項34】

前記モバイルプラットフォームは、前記撮像装置及び前記撮像装置を回転可能に支持する支持部材を備える飛行体であり、
前記動作情報に基づいて、前記飛行体の飛行又は前記支持部材の回転を制御するステップ、を更に含む、
請求項２０、２２〜２５、２７〜３３のいずれか１項に記載の撮像補助方法。

【請求項35】

前記モバイルプラットフォームは、使用時にユーザに把持され、前記撮像装置を回転可能に支持する支持部材を備える支持装置であり、
前記動作情報に基づいて、前記支持部材の回転を制御するステップ、を更に含む、
請求項２０、２２〜２５、２７〜３３のいずれか１項に記載の撮像補助方法。

【請求項36】

前記モバイルプラットフォームは、携帯端末であり、
前記動作情報を、飛行体又は支持装置へ送信するステップ、を更に含む、
請求項２０〜２３、２６〜３３のいずれか１項に記載の撮像補助方法。

【請求項37】

撮像装置による第２の画像の撮像を補助するモバイルプラットフォームに、撮像補助方法の各ステップを実行させるプログラムであって、
前記撮像補助方法は、
第１の画像を取得するステップと、
前記第１の画像に含まれる１つ以上の被写体のうち、第１の被写体の情報を取得するステップと、
前記第２の画像における前記第１の被写体を含む１つ以上の被写体の位置を規定する１つ以上の構図のうち、第１の構図の情報を取得するステップと、
前記第１の構図に従って前記第２の画像を撮像するための前記撮像装置の動作に関する動作情報を生成するステップと、
を有し、
前記動作情報を生成するステップは、前記動作情報として、前記撮像装置の移動に関する移動情報を生成するステップを含み、
前記動作情報を生成するステップは、前記第１の画像における前記第１の被写体の位置と、前記第１の構図における前記第１の被写体の位置と、前記第１の画像における移動距離と実空間における移動距離との対応関係に基づいて、前記撮像装置の移動量及び移動方向を決定するステップを含む、
プログラム。

【請求項38】

撮像装置による第２の画像の撮像を補助するモバイルプラットフォームに、撮像補助方法の各ステップを実行させるプログラムを記録したコンピュータ読取り可能な記録媒体であって、
前記撮像補助方法は、
第１の画像を取得するステップと、
前記第１の画像に含まれる１つ以上の被写体のうち、第１の被写体の情報を取得するステップと、
前記第２の画像における前記第１の被写体を含む１つ以上の被写体の位置を規定する１つ以上の構図のうち、第１の構図の情報を取得するステップと、
前記第１の構図に従って前記第２の画像を撮像するための前記撮像装置の動作に関する動作情報を生成するステップと、
を有し、
前記動作情報を生成するステップは、前記動作情報として、前記撮像装置の移動に関する移動情報を生成するステップを含み、
前記動作情報を生成するステップは、前記第１の画像における前記第１の被写体の位置と、前記第１の構図における前記第１の被写体の位置と、前記第１の画像における移動距離と実空間における移動距離との対応関係に基づいて、前記撮像装置の移動量及び移動方向を決定するステップを含む、
記録媒体。

【発明の詳細な説明】

【技術分野】

【0001】

本開示は、画像の撮像を支援するモバイルプラットフォーム、飛行体、支持装置、携帯端末、撮像補助方法、プログラム、及び記録媒体に関する。

【背景技術】

【0002】

従来、実証済みの撮像技術を用いてカメラショットを計算して、コンピュータ生成のストーリーを可視化し、イベントを再生し、カメラビューを動的に更新する仮想カメラシステムが知られている。この仮想カメラシステムは、所望の角度や距離で、最小限の閉塞によって、被写体を表示するためのカメラ配置位置を分析する。

【0003】

この仮想カメラシステムは、主に、３Ｄゲームカメラシステムに用いられ、任意の仮想３次元空間を表現する３次元画像データが予め用意されている。この仮想カメラシステムは、任意の構図となるように、仮想３次元空間における、特定の視点から見た領域を表現可能である。この仮想カメラシステムは、例えば、予め用意された仮想３次元画像データから、制約のある構図、１つの被写体を加味した３分割法を利用した構図、全体の要素を加味した３分割法を利用した構図、均等化された構図、に従って、３次元画像データの一部をディスプレイに表示できる（非特許文献１参照）。

【先行技術文献】

【非特許文献】

【0004】

【非特許文献1】William Bares, ”A Photographic Composition Assistant for Intelligent Virtual 3D Camera Systems ”, Millsaps College, Department of Computer Science, Jackson MS 39210, USA, インターネット＜URL：http://link.springer.com/chapter/10.1007/11795018_16＞

【発明の概要】

【発明が解決しようとする課題】

【0005】

非特許文献１に記載された仮想カメラシステムを、実空間で撮像された画像を扱うカメラシステムに適用すると、カメラシステムは、予め撮像された３次元画像データを基に、任意の構図となるように加工することになる。そのため、カメラシステムは、未だ撮像されていない画像の構図を決定することはできない。よって、例えば被写体を撮像するカメラのユーザが撮像に不慣れな場合、所望の画像を魅力的に撮像することが困難である。

【課題を解決するための手段】

【0006】

一態様において、モバイルプラットフォームは、撮像装置による第２の画像の撮像を補助するモバイルプラットフォームであって、第１の画像を取得する画像取得部と、第１の画像に含まれる１つ以上の被写体のうち、第１の被写体の情報を取得し、第２の画像における第１の被写体を含む１つ以上の被写体の位置を規定する１つ以上の構図のうち、第１の構図の情報を取得する情報取得部と、第１の構図に従って第２の画像を撮像するための撮像装置の動作に関する動作情報を生成する生成部と、を備える。

【0007】

情報取得部は、第１の画像に含まれる複数の被写体から第１の被写体を選択して取得してよい。

【0008】

情報取得部は、第１の画像に含まれる被写体の色成分に基づいて、第１の被写体の情報を取得してよい。

【0009】

情報取得部は、第１の画像に含まれる被写体の空間周波数に基づいて、第１の被写体の情報を取得してよい。

【0010】

情報取得部は、撮像装置の位置情報を取得し、撮像装置の位置情報に基づいて、第１の被写体の情報を取得してよい。

【0011】

情報取得部は、撮像装置による第２の画像の撮像時の撮像モードに基づいて、第１の被写体の情報を取得してよい。

【0012】

情報取得部は、複数の構図から第１の構図を選択して取得してよい。

【0013】

モバイルプラットフォームは、第１の被写体の形状を認識する認識部、を更に備えてよい。情報取得部は、第１の被写体の形状に基づいて、第１の構図の情報を取得してよい。

【0014】

モバイルプラットフォームは、第２の画像が撮像される際のシーンを認識する認識部、を更に備えてよい。情報取得部は、シーンに基づいて、第１の構図の情報を取得してよい。

【0015】

生成部は、動作情報として、撮像装置を回転可能に支持する支持部材の回転に関する回転情報を生成してよい。

【0016】

生成部は、第１の画像における第１の被写体の位置と第１の構図における第１の被写体の位置とに基づいて、支持部材の回転量及び回転方向を決定してよい。

【0017】

生成部は、動作情報として、撮像装置の移動に関する移動情報を生成してよい。

【0018】

生成部は、第１の画像における第１の被写体のサイズと第１の構図における第１の被写体のサイズとに基づいて、重力方向に沿った撮像装置の移動量を決定してよい。

【0019】

生成部は、第１の画像における第１の被写体の位置と、第１の構図における第１の被写体の位置と、第１の画像における移動距離と実空間における移動距離との対応関係に基づいて、撮像装置の移動量及び移動方向を決定してよい。

【0020】

動作情報を提示する提示部、を更に備えてよい。

【0021】

第１の画像は、撮像装置により撮像された画像でよい。

【0022】

モバイルプラットフォームは、撮像装置及び撮像装置を回転可能に支持する支持部材を備える飛行体であり、動作情報に基づいて、飛行体の飛行又は支持部材の回転を制御する制御部、を更に備えてよい。

【0023】

モバイルプラットフォームは、使用時にユーザに把持され、撮像装置を回転可能に支持する支持部材を備える支持装置であり、動作情報に基づいて、支持部材の回転を制御する制御部、を更に備えてよい。

【0024】

モバイルプラットフォームは、携帯端末であり、動作情報を、飛行体又は支持装置へ送信する通信部、を更に備えてよい。

【0025】

一態様において、飛行体は、撮像装置と、撮像装置を回転可能に支持する支持部材と、モバイルプラットフォームにより生成された動作情報を取得する動作情報取得部と、動作情報に基づいて、飛行体の飛行又は支持部材の回転を制御する制御部と、を備える。

【0026】

一態様において、支持装置は、撮像装置を回転可能に支持する支持部材と、モバイルプラットフォームにより生成された動作情報を取得する動作情報取得部と、動作情報に基づいて、支持部材の回転を制御する制御部と、を備える。

【0027】

一態様において、撮像補助方法は、撮像装置による第２の画像の撮像を補助するモバイルプラットフォームにおける撮像補助方法であって、第１の画像を取得するステップと、
第１の画像に含まれる１つ以上の被写体のうち、第１の被写体の情報を取得するステップと、第２の画像における第１の被写体を含む１つ以上の被写体の位置を規定する１つ以上の構図のうち、第１の構図の情報を取得するステップと、第１の構図に従って第２の画像を撮像するための撮像装置の動作に関する動作情報を生成するステップと、を有する。

【0028】

第１の被写体の情報を取得するステップは、第１の画像に含まれる複数の被写体から第１の被写体を選択して取得するステップを含んでよい。

【0029】

第１の被写体の情報を取得するステップは、第１の画像に含まれる被写体の色成分に基づいて、第１の被写体の情報を取得するステップを含んでよい。

【0030】

第１の被写体の情報を取得するステップは、第１の画像に含まれる被写体の空間周波数に基づいて、第１の被写体の情報を取得するステップを含んでよい。

【0031】

撮像補助方法は、撮像装置の位置情報を取得するステップ、を更に含んでよい。第１の被写体の情報を取得するステップは、撮像装置の位置情報に基づいて、第１の被写体の情報を取得するステップを含んでよい。

【0032】

第１の被写体の情報を取得するステップは、撮像装置による第２の画像の撮像時の撮像モードに基づいて、第１の被写体の情報を取得するステップを含んでよい。

【0033】

第１の構図の情報を取得するステップは、複数の構図から第１の構図を選択して取得するステップを含んでよい。

【0034】

撮像補助方法は、第１の被写体の形状を認識するステップ、を更に含んでよい。第１の構図の情報を取得するステップは、第１の被写体の形状に基づいて、第１の構図の情報を取得するステップを含んでよい。

【0035】

撮像補助方法は、第２の画像が撮像される際のシーンを認識するステップ、を更に含んでよい。第１の構図の情報を取得するステップは、シーンに基づいて、第１の構図の情報を取得するステップを含んでよい。

【0036】

動作情報を生成するステップは、動作情報として、撮像装置を回転可能に支持する支持部材の回転に関する回転情報を生成するステップを含んでよい。

【0037】

動作情報を生成するステップは、第１の画像における第１の被写体の位置と第１の構図における第１の被写体の位置とに基づいて、支持部材の回転量及び回転方向を決定するステップを含んでよい。

【0038】

動作情報を生成するステップは、動作情報として、撮像装置の移動に関する移動情報を生成するステップを含んでよい。

【0039】

動作情報を生成するステップは、第１の画像における第１の被写体のサイズと第１の構図における第１の被写体のサイズとに基づいて、重力方向に沿った撮像装置の移動量を決定するステップを含んでよい。

【0040】

動作情報を生成するステップは、第１の画像における第１の被写体の位置と、第１の構図における第１の被写体の位置と、第１の画像における移動距離と実空間における移動距離との対応関係に基づいて、撮像装置の移動量及び移動方向を決定するステップを含んでよい。

【0041】

撮像補助方法は、動作情報を提示部に提示するステップ、を更に含んでよい。

【0042】

第１の画像は、撮像装置により撮像された画像でよい。

【0043】

モバイルプラットフォームは、撮像装置及び撮像装置を回転可能に支持する支持部材を備える飛行体でよい。撮像補助方法は、動作情報に基づいて、飛行体の飛行又は支持部材の回転を制御するステップ、を更に含んでよい。

【0044】

モバイルプラットフォームは、使用時にユーザに把持され、撮像装置を回転可能に支持する支持部材を備える支持装置でよい。撮像補助方法は、動作情報に基づいて、支持部材の回転を制御するステップ、を更に含んでよい。

【0045】

モバイルプラットフォームは、携帯端末でよい。撮像補助方法は、動作情報を、飛行体又は支持装置へ送信するステップ、を更に含んでよい。

【0046】

一態様において、プログラムは、撮像装置による第２の画像の撮像を補助するモバイルプラットフォームに、第１の画像を取得するステップと、第１の画像に含まれる１つ以上の被写体のうち、第１の被写体の情報を取得するステップと、第２の画像における第１の被写体を含む１つ以上の被写体の位置を規定する１つ以上の構図のうち、第１の構図の情報を取得するステップと、第１の構図に従って第２の画像を撮像するための撮像装置の動作に関する動作情報を生成するステップと、を実行させるためのプログラムである。

【0047】

一態様において、記録媒体は、撮像装置による第２の画像の撮像を補助するモバイルプラットフォームに、第１の画像を取得するステップと、第１の画像に含まれる１つ以上の被写体のうち、第１の被写体の情報を取得するステップと、第２の画像における第１の被写体を含む１つ以上の被写体の位置を規定する１つ以上の構図のうち、第１の構図の情報を取得するステップと、第１の構図に従って第２の画像を撮像するための撮像装置の動作に関する動作情報を生成するステップと、を実行させるためのプログラムを記録したコンピュータ読取り可能な記録媒体である。

【0048】

なお、上記の発明の概要は、本開示の特徴の全てを列挙したものではない。また、これらの特徴群のサブコンビネーションもまた、発明となりうる。

【図面の簡単な説明】

【0049】

【図1】第１の実施形態における撮像補助システムの構成例を示す模式図

【図2】第１の実施形態における無人航空機のハードウェア構成の一例を示すブロック図

【図3】第１の実施形態におけるＵＡＶ制御部の機能構成の一例を示すブロック図

【図4】第１の実施形態における携帯端末のハードウェア構成の一例を示すブロック図

【図5】撮像補助システムの動作概要を説明するための図

【図6A】ライブビュー画像の一例を示す図

【図6B】色によりライブビュー画像が区分された色区分画像の一例を示す図

【図6C】主被写体の選択例を示す図

【図7】構図の選択例を示す図

【図8A】決定された構図で空撮するための撮像範囲の回転例を示す図

【図8B】決定された構図で空撮するための無人航空機の移動例を示す図

【図8C】水平方向から見た無人航空機の移動を説明するための図

【図9】第１の実施形態における撮像補助システムの動作例を示すシーケンス図

【図10】第２の実施形態における撮像補助システムの構成例を示す模式図

【図11】第２の実施形態における無人航空機のハードウェア構成の一例を示すブロック図

【図12】第２の実施形態におけるＵＡＶ制御部の機能構成の一例を示すブロック図

【図13】第２の実施形態における携帯端末のハードウェア構成の一例を示すブロック図

【図14】第２の実施形態における端末制御部の機能構成の一例を示すブロック図

【図15】第２の実施形態における撮像補助システムの動作例を示すシーケンス図

【図16】第３の実施形態におけるジンバル装置及び携帯端末を含む撮像補助システムの構成例を示す斜視図

【図17A】第４の実施形態におけるジンバル装置の構成例を示す正面斜視図

【図17B】第４の実施形態におけるジンバル装置及び携帯端末を含む撮像補助システムの構成例を示す背面斜視図

【発明を実施するための形態】

【0050】

以下、発明の実施形態を通じて本開示を説明するが、以下の実施形態は特許請求の範囲に係る発明を限定するものではない。実施形態の中で説明されている特徴の組み合わせの全てが発明の解決手段に必須とは限らない。

【0051】

特許請求の範囲、明細書、図面、及び要約書には、著作権による保護の対象となる事項が含まれる。著作権者は、これらの書類の何人による複製に対しても、特許庁のファイル又はレコードに表示される通りであれば異議を唱えない。ただし、それ以外の場合、一切の著作権を留保する。

【0052】

以下の実施形態では、飛行体として、無人航空機（ＵＡＶ：Unmanned Aerial Vehicle）を例示する。飛行体は、空中を移動する航空機を含む。本明細書に添付する図面では、無人航空機を「ＵＡＶ」と表記する。また、モバイルプラットフォームとして、飛行体、携帯端末、ジンバル装置、ジンバルカメラ装置を例示する。なお、モバイルプラットフォームは、これら以外の装置でもよく、例えば送信機、ＰＣ（Personal Computer）、又はその他のモバイルプラットフォームでもよい。撮像補助方法は、モバイルプラットフォームにおける動作が規定されたものである。記録媒体は、プログラム（例えばモバイルプラットフォームに各種の処理を実行させるプログラム）が記録されたものである。

【0053】

（第１の実施形態）
図１は、第１の実施形態における撮像補助システム１０の構成例を示す模式図である。撮像補助システム１０は、無人航空機１００、送信機５０及び携帯端末８０を備える。無人航空機１００、送信機５０及び携帯端末８０は、相互に有線通信又は無線通信（例えば無線ＬＡＮ（Local Area Network））により通信可能である。

【0054】

無人航空機１００は、送信機５０による遠隔操作に従って飛行し、又は事前に設定された飛行経路に従って飛行してよい。無人航空機１００は、空撮するための構図を決定し、決定された構図となるように無人航空機１００の動作情報を生成する。無人航空機１００は、動作情報に従って無人航空機１００の動作を制御する。送信機５０は、遠隔操作によって無人航空機１００の飛行の制御を指示してよい。つまり、送信機５０は、リモートコントローラとして動作してよい。携帯端末８０は、送信機５０とともに、無人航空機１００を用いた空撮を予定しているユーザに所持され得る。携帯端末８０は、無人航空機１００による構図の決定を補助し、撮像を補助する。

【0055】

図２は、無人航空機１００のハードウェア構成の一例を示すブロック図である。無人航空機１００は、ＵＡＶ制御部１１０と、通信インタフェース１５０と、メモリ１６０と、ストレージ１７０と、ジンバル２００と、回転翼機構２１０と、撮像部２２０と、撮像部２３０と、ＧＰＳ受信機２４０と、慣性計測装置（ＩＭＵ：Inertial Measurement Unit）２５０と、磁気コンパス２６０と、気圧高度計２７０と、超音波センサ２８０と、レーザー測定器２９０と、を含む構成である。ジンバル２００は、支持部材の一例である。撮像部２２０、撮像部２３０は、撮像装置の一例である。

【0056】

ＵＡＶ制御部１１０は、例えばＣＰＵ（Central Processing Unit）、ＭＰＵ（Micro Processing Unit）又はＤＳＰ（Digital Signal Processor）を用いて構成される。ＵＡＶ制御部１１０は、無人航空機１００の各部の動作を統括して制御するための信号処理、他の各部との間のデータの入出力処理、データの演算処理及びデータの記憶処理を行う。

【0057】

ＵＡＶ制御部１１０は、メモリ１６０に格納されたプログラムに従って無人航空機１００の飛行を制御する。例えば、ＵＡＶ制御部１１０は、携帯端末８０と連携して決定された構図を実現するよう、無人航空機１００の飛行を制御してよい。ＵＡＶ制御部１１０は、通信インタフェース１５０を介して遠隔の送信機５０から受信した命令に従って、無人航空機１００の飛行を制御する。メモリ１６０は無人航空機１００から取り外し可能であってもよい。

【0058】

ＵＡＶ制御部１１０は、無人航空機１００の位置を示す位置情報を取得する。ＵＡＶ制御部１１０は、ＧＰＳ受信機２４０から、無人航空機１００が存在する緯度、経度及び高度を示す位置情報を取得してよい。ＵＡＶ制御部１１０は、ＧＰＳ受信機２４０から無人航空機１００が存在する緯度及び経度を示す緯度経度情報、並びに気圧高度計２７０から無人航空機１００が存在する高度を示す高度情報をそれぞれ位置情報として取得してよい。

【0059】

ＵＡＶ制御部１１０は、磁気コンパス２６０から無人航空機１００の向きを示す向き情報を取得する。向き情報には、例えば無人航空機１００の機首の向きに対応する方位が示される。

【0060】

ＵＡＶ制御部１１０は、撮像部２２０及び撮像部２３０のそれぞれの撮像範囲を示す撮像範囲情報を取得する。ＵＡＶ制御部１１０は、撮像範囲を特定するためのパラメータとして、撮像部２２０及び撮像部２３０の画角を示す画角情報を撮像部２２０及び撮像部２３０から取得する。ＵＡＶ制御部１１０は、撮像範囲を特定するためのパラメータとして、撮像部２２０及び撮像部２３０の撮像方向を示す情報を取得する。ＵＡＶ制御部１１０は、例えば撮像部２２０の撮像方向を示す情報として、ジンバル２００から撮像部２２０の姿勢の状態を示す姿勢情報を取得する。ＵＡＶ制御部１１０は、無人航空機１００の向きを示す情報を取得する。撮像部２２０の姿勢の状態を示す情報は、ジンバル２００のピッチ軸及びヨー軸の基準回転角度からの回転角度を示す。ＵＡＶ制御部１１０は、撮像範囲を特定するためのパラメータとして、無人航空機１００が存在する位置を示す位置情報を取得する。ＵＡＶ制御部１１０は、撮像部２２０及び撮像部２３０の画角及び撮像方向、並びに無人航空機１００が存在する位置に基づいて、撮像部２２０が撮像する地理的な範囲を示す撮像範囲を画定し、撮像範囲情報を生成することで、撮像範囲情報を取得してよい。

【0061】

ＵＡＶ制御部１１０は、ジンバル２００、回転翼機構２１０、撮像部２２０、及び撮像部２３０を制御する。ＵＡＶ制御部１１０は、撮像部２２０の撮像方向又は画角を変更することによって、撮像部２２０の撮像範囲を制御する。ＵＡＶ制御部１１０は、ジンバル２００の回転機構を制御することで、ジンバル２００に支持されている撮像部２２０の撮像範囲を制御する。

【0062】

撮像範囲とは、撮像部２２０又は撮像部２３０により撮像される地理的な範囲をいう。撮像範囲は、緯度、経度、及び高度で定義される。撮像範囲は、緯度、経度、及び高度で定義される３次元空間データにおける範囲でよい。撮像範囲は、撮像部２２０又は撮像部２３０の画角及び撮像方向、並びに無人航空機１００が存在する位置に基づいて特定される。撮像部２２０及び撮像部２３０の撮像方向は、撮像部２２０及び撮像部２３０の撮像レンズが設けられた正面が向く方位と俯角とから定義される。撮像部２２０の撮像方向は、無人航空機１００の機首の方位と、ジンバル２００に対する撮像部２２０の姿勢の状態とから特定される方向である。撮像部２３０の撮像方向は、無人航空機１００の機首の方位と、撮像部２３０が設けられた位置とから特定される方向である。

【0063】

ＵＡＶ制御部１１０は、撮像部２２０又は撮像部２３０により撮像された撮像画像（空撮画像）に対して、この空撮画像に関する情報を付加情報（メタデータの一例）として付加してよい。付加情報は、空撮時の無人航空機１００の飛行に関する情報（飛行情報）と空撮時の撮像部２２０又は撮像部２３０による撮像に関する情報（撮像情報）とを含む。飛行情報は、空撮位置情報、空撮経路情報、及び空撮時刻情報のうち少なくとも１つを含んでよい。撮像情報は、空撮画角情報、空撮方向情報、空撮姿勢情報、撮像範囲情報、及び被写体距離情報のうち少なくとも１つを含んでよい。

【0064】

空撮位置情報は、空撮画像が空撮された位置（空撮位置）を示す。空撮位置情報は、ＧＰＳ受信機２４０により取得された位置情報に基づいてよい。空撮経路情報は、空撮画像が空撮された経路（空撮経路）を示す。空撮経路情報は、空撮位置が連続的に連なる空撮位置の集合により構成されてよい。空撮時刻情報は、空撮画像が空撮された時刻（空撮時刻）を示す。空撮時刻情報は、ＵＡＶ制御部１１０が参照するタイマの時刻情報に基づいてよい。

【0065】

空撮画角情報は、空撮画像が空撮された際の撮像部２２０又は撮像部２３０の画角情報を示す。空撮方向情報は、空撮画像が空撮された際の撮像部２２０又は撮像部２３０の撮像方向（空撮方向）を示す。空撮姿勢情報は、空撮画像が空撮された際の撮像部２２０又は撮像部２３０の姿勢情報を示す。撮像範囲情報は、空撮画像が空撮された際の撮像部２２０又は撮像部２３０の撮像範囲を示す。被写体距離情報は、撮像部２２０又は撮像部２３０から被写体までの距離の情報を示す。被写体距離情報は、超音波センサ２８０又はレーザー測定器２９０による検出情報に基づいてよい。被写体距離情報は、同じ被写体を含む画像が複数枚撮像され、これらの画像がステレオ画像として利用され、被写体までの距離が算出されてもよい。また、撮像情報は、空撮時の無人航空機１００の向きの情報を含んでもよい。

【0066】

通信インタフェース１５０は、送信機５０及び携帯端末８０と通信する。通信インタフェース１５０は、空撮画像を携帯端末８０へ送信してよい。通信インタフェース１５０は、空撮画像とともに、その付加情報の少なくとも一部を携帯端末８０へ送信してよい。

【0067】

通信インタフェース１５０は、撮像部２２０又は撮像部２３０により撮像予定の空撮画像の構図を決定するための情報を受信してよい。撮像予定の空撮画像の構図を決定するための情報は、例えば、空撮画像（ライブビュー画像）における主被写体を選択するための選択情報、構図を選択するための選択情報、を含んでよい。通信インタフェース１５０は、撮像部２２０又は撮像部２３０により撮像された空撮画像（例えばライブビュー画像などの空撮動画、空撮静止画）を、携帯端末８０へ送信してよい。通信インタフェース１５０は、携帯端末８０との間で直接通信してもよいし、送信機５０を介して携帯端末８０との間で通信してもよい。

【0068】

メモリ１６０は、ＵＡＶ制御部１１０がジンバル２００、回転翼機構２１０、撮像部２２０、撮像部２３０、ＧＰＳ受信機２４０、慣性計測装置２５０、磁気コンパス２６０、気圧高度計２７０、超音波センサ２８０、及びレーザー測定器２９０を制御するのに必要なプログラム等を格納する。メモリ１６０は、コンピュータ読み取り可能な記録媒体でよく、ＳＲＡＭ（Static Random Access Memory）、ＤＲＡＭ（Dynamic Random Access Memory）、ＥＰＲＯＭ（Erasable Programmable Read Only Memory）、ＥＥＰＲＯＭ（Electrically Erasable Programmable Read-Only Memory）、及びＵＳＢ（Universal Serial Bus）メモリ等のフラッシュメモリの少なくとも１つを含んでよい。

【0069】

メモリ１６０は、通信インタフェース１５０を介して取得された各種情報、各種データを保持する。メモリ１６０は、画像を撮像するための様々な構図のサンプル情報を格納してよい。構図のサンプル情報は、テーブル形式で格納されてよい。メモリ１６０は、ＵＡＶ制御部１１０により決定された構図の情報を保持してよい。メモリ１６０は、決定された構図での撮像を実現するための無人航空機１００の動作に関する動作情報を保持してよい。無人航空機１００の動作情報は、空撮時にメモリ１６０から読み出されてよく、無人航空機１００は、この動作情報に沿って動作してよい。

【0070】

ジンバル２００は、ヨー軸、ピッチ軸、及びロール軸を中心に撮像部２２０を回転可能に支持してよい。ジンバル２００は、ヨー軸、ピッチ軸、及びロール軸の少なくとも１つを中心に撮像部２２０を回転させることで、撮像部２２０の撮像方向を変更してよい。

【0071】

ヨー軸、ピッチ軸、及びロール軸は、以下のように定められてよい。例えば、水平方向（地面と平行な方向）にロール軸が定義されたとする。この場合、地面と平行であってロール軸に垂直な方向にピッチ軸が定められ、地面に垂直であってロール軸及びピッチ軸に垂直な方向にヨー軸（ｚ軸参照）が定められる。

【0072】

撮像部２２０は、所望の撮像範囲の被写体を撮像して撮像画像のデータを生成する。撮像部２２０の撮像により得られた画像データは、撮像部２２０が有するメモリ、又はメモリ１６０に格納される。

【0073】

撮像部２３０は、無人航空機１００の周囲を撮像して撮像画像のデータを生成する。撮像部２３０の画像データは、メモリ１６０に格納される。

【0074】

ＧＰＳ受信機２４０は、複数の航法衛星（つまり、ＧＰＳ衛星）から発信された時刻及び各ＧＰＳ衛星の位置（座標）を示す複数の信号を受信する。ＧＰＳ受信機２４０は、受信された複数の信号に基づいて、ＧＰＳ受信機２４０の位置（つまり、無人航空機１００の位置）を算出する。ＧＰＳ受信機２４０は、無人航空機１００の位置情報をＵＡＶ制御部１１０に出力する。なお、ＧＰＳ受信機２４０の位置情報の算出は、ＧＰＳ受信機２４０の代わりにＵＡＶ制御部１１０により行われてよい。この場合、ＵＡＶ制御部１１０には、ＧＰＳ受信機２４０が受信した複数の信号に含まれる時刻及び各ＧＰＳ衛星の位置を示す情報が入力される。

【0075】

慣性計測装置２５０は、無人航空機１００の姿勢を検出し、検出結果をＵＡＶ制御部１１０に出力する。慣性計測装置ＩＭＵ２５０は、無人航空機１００の姿勢として、無人航空機１００の前後、左右、及び上下の３軸方向の加速度と、ピッチ軸、ロール軸、及びヨー軸の３軸方向の角速度とを検出する。

【0076】

磁気コンパス２６０は、無人航空機１００の機首の方位を検出し、検出結果をＵＡＶ制御部１１０に出力する。

【0077】

気圧高度計２７０は、無人航空機１００が飛行する高度を検出し、検出結果をＵＡＶ制御部１１０に出力する。なお、気圧高度計２７０以外のセンサにより、無人航空機１００が飛行する高度が検出されてもよい。

【0078】

超音波センサ２８０は、超音波を放射し、地面や物体により反射された超音波を検出し、検出結果をＵＡＶ制御部１１０に出力する。検出結果は、無人航空機１００から地面までの距離つまり高度を示してよい。検出結果は、無人航空機１００から物体（被写体）までの距離を示してよい。

【0079】

レーザー測定器２９０は、物体にレーザー光を照射し、物体で反射された反射光を受光し、反射光により無人航空機１００と物体（被写体）との間の距離を測定する。レーザー光による距離の測定方式は、一例として、タイムオブフライト方式でよい。

【0080】

図３は、ＵＡＶ制御部１１０の機能構成の一例を示すブロック図である。ＵＡＶ制御部１１０は、画像取得部１１１、主被写体決定部１１２、構図決定部１１３、動作情報生成部１１４及び動作制御部１１５を備える。主被写体決定部１１２及び構図決定部１１３は、情報取得部の一例である。構図決定部１１３は、認識部の一例である。動作情報生成部１１４は、生成部の一例である。動作制御部１１５は、制御部の一例である。

【0081】

画像取得部１１１は、メモリ１６０に保持された画像（例えば撮像部２２０又は撮像部２３０により空撮された空撮画像）を取得してよい。画像取得部１１１は、撮像部２２０又は撮像部２３０により空撮中の空撮画像を取得してよい。空撮画像は、動画でも静止画でもよい。空撮中の空撮動画は、ライブビュー画像（第１の画像の一例）とも称される。画像取得部１１１により取得される空撮画像として、主にライブビュー画像を例示する。

【0082】

主被写体決定部１１２は、画像取得部１１１により取得されたライブビュー画像に含まれる１つ以上の被写体のうち、主被写体（第１の被写体の一例）を決定（特定）する。主被写体の決定は、主被写体の情報の取得の一例である。主被写体の決定は、例えば携帯端末８０のユーザによる手動で行われてもよいし、無人航空機１００により自動で行われてもよい。主被写体は、ライブビュー画像外の被写体（例えば、ユーザ所望の空撮範囲に対応する地図情報に含まれる任意の被写体）とされてもよい。この場合、無人航空機１００による撮像範囲を超えて、所望の被写体に適した構図が決定され得る。

【0083】

構図決定部１１３は、決定された主被写体を撮像するための構図を決定する。主被写体を撮像するための構図の決定は、主被写体を撮像するための構図の情報の取得の一例である。この構図は、未だ撮像されていない撮像予定の構図であるので、予定構図（第１の構図の一例）とも称する。構図は、画像における、１つ以上の被写体の位置関係を規定する情報でよい。構図決定部１１３は、メモリ１６０に保持された構図のサンプル情報を参照し、主被写体の情報に応じて、予定構図を決定してよい。予定構図の決定は、例えば携帯端末８０のユーザによる手動で行われてもよいし、無人航空機１００により自動で行われてもよい。

【0084】

構図のサンプル情報は、例えば、三分割構図（Rule of Thirds）、二分割構図、三角構図、対角構図、アルファベット構図、中央一点構図、額縁構図、サンドイッチ構図、トンネル構図、のうち少なくとも１つの構図の情報をサンプル情報として含んでよい。また、構図のサンプル情報は、主被写体を各構図の所定の交点や分割点（例えば黄金分割点）に配置される情報を含んでもよい。

【0085】

動作情報生成部１１４は、決定された予定構図に従った空撮を実現するための無人航空機１００の動作情報を生成する。無人航空機１００の動作情報は、例えば、無人航空機１００の移動に関する移動情報（例えば、無人航空機１００の移動量、移動方向）、無人航空機１００の回転に関する回転情報（例えば、無人航空機１００の回転量、回転方向）、ジンバル２００の回転に関する回転情報（例えば、ジンバル２００の回転量、回転方向）、その他の無人航空機１００の動作情報、の少なくとも一部を含んでよい。

【0086】

動作制御部１１５は、生成された動作情報（例えば無人航空機１００の移動量、移動方向）に従って、無人航空機１００の飛行を制御してよい。動作制御部１１５は、生成された動作情報（例えば無人航空機１００の回転量、回転方向）に従って、無人航空機１００の向きを制御してよい。このように、動作制御部１１５は、無人航空機１００を移動させることで、撮像部２２０の撮像範囲を変更可能とする。

【0087】

動作制御部１１５は、生成された動作情報（例えばジンバル２００の回転量、回転方向）に従って、ジンバル２００の回転を制御してよい。動作制御部１１５は、動作情報に従って、無人航空機１００の姿勢を制御するとともに、ジンバル２００の回転によりジンバル２００の姿勢を制御してもよい。このように、動作制御部１１５は、ジンバル２００を回転させることで、撮像部２２０の撮像範囲を変更可能とする。

【0088】

図４は、携帯端末８０のハードウェア構成の一例を示すブロック図である。携帯端末８０は、端末制御部８１、インタフェース部８２、操作部８３、無線通信部８５、メモリ８７、及び表示部８８を備えてよい。操作部８３は、情報取得部の一例である。無線通信部８５は、通信部の一例である。

【0089】

端末制御部８１は、例えばＣＰＵ、ＭＰＵ又はＤＳＰを用いて構成される。端末制御部８１は、携帯端末８０の各部の動作を統括して制御するための信号処理、他の各部との間のデータの入出力処理、データの演算処理及びデータの記憶処理を行う。

【0090】

端末制御部８１は、無線通信部８５を介して、無人航空機１００からのデータや情報を取得してよい。端末制御部８１は、インタフェース部８２を介して、送信機５０からのデータや情報を取得してよい。端末制御部８１は、操作部８３を介して入力されたデータや情報を取得してよい。端末制御部８１は、メモリ８７に保持されたデータや情報を取得してよい。端末制御部８１は、データや情報を表示部８８に送り、このデータや情報に基づく表示情報を表示部８８に表示させてよい。

【0091】

端末制御部８１は、撮像補助アプリケーションを実行してよい。撮像補助アプリケーションは、無人航空機１００により所望の構図で空撮するための補助を行うアプリケーションでよい。端末制御部８１は、アプリケーションで用いられる各種のデータを生成してよい。

【0092】

インタフェース部８２は、送信機５０と携帯端末８０との間の情報やデータの入出力を行う。インタフェース部８２は、例えばＵＳＢケーブルを介して入出力してよい。インタフェース部６５は、ＵＳＢ以外のインタフェースでもよい。

【0093】

操作部８３は、携帯端末８０のユーザにより入力されるデータや情報を受け付けて取得する。操作部８３は、ボタン、キー、タッチパネル、マイクロホン、等を含んでよい。ここでは、主に、操作部８３と表示部８８とがタッチパネルにより構成されることを例示する。この場合、操作部８３は、タッチ操作、タップ操作、ドラック操作等を受付可能である。操作部８３は、主被写体を選択するための選択操作を受け付けることで、主被写体の選択情報を取得してよい。操作部８３は、構図を選択するための選択操作を受け付けることで、構図の選択情報を取得してよい。

【0094】

無線通信部８５は、各種の無線通信方式により、無人航空機１００との間で無線通信する。この無線通信の無線通信方式は、例えば、無線ＬＡＮ、Ｂｌｕｅｔｏｏｔｈ（登録商標）、又は公衆無線回線を介した通信を含んでよい。無線通信部５５は、主被写体の選択情報や構図の選択情報を無人航空機１００へ送信してよい。

【0095】

メモリ８７は、例えば携帯端末８０の動作を規定するプログラムや設定値のデータが格納されたＲＯＭと、端末制御部８１の処理時に使用される各種の情報やデータを一時的に保存するＲＡＭを有してよい。メモリ８７は、ＲＯＭ及びＲＡＭ以外のメモリが含まれてよい。メモリ８７は、携帯端末８０の内部に設けられてよい。メモリ８７は、携帯端末８０から取り外し可能に設けられてよい。プログラムは、アプリケーションプログラムを含んでよい。

【0096】

表示部８８は、例えばＬＣＤ（Liquid Crystal Display）を用いて構成され、端末制御部８１から出力された各種の情報やデータを表示する。表示部８８は、撮像補助アプリケーションの実行に係る各種データや情報を表示してよい。表示部８８は、主被写体を選択するための選択画面や構図を選択するための選択画面を表示してよい。

【0097】

なお、携帯端末８０は、ホルダを介して送信機５０に装着されてよい。携帯端末８０と送信機５０とは、有線ケーブル（例えばＵＳＢケーブル）を介して接続されてよい。携帯端末８０が送信機５０に装着されず、携帯端末８０と送信機５０がそれぞれ独立して設けられてもよい。撮像補助システム１０は、送信機５０を備えなくてもよい。

【0098】

次に、撮像補助システム１０の動作概要について説明する。
図５は、撮像補助システム１０の動作概要を説明するための図である。

【0099】

図５では、山Ｍ１の中に道路Ｒ１があり、道路Ｒ１上に人物Ｈ１が所在する。無人航空機１００は、空撮しながら山Ｍ１の上空を飛行している。無人航空機１００は、山Ｍ１のライブビュー画像を撮像し、携帯端末８０へ送信する。携帯端末８０は、無人航空機１００からのライブビュー画像Ｇ１を受信し、表示部８８にライブビュー画像Ｇ１を表示する。これにより、携帯端末８０のユーザは、ライブビュー画像Ｇ１を確認可能である。

【0100】

ユーザは、ライブビュー画像Ｇ１の映り込んだ被写体をより魅力的に撮像するために構図調整を希望するとする。この場合、携帯端末８０は、操作部８３を介して構図調整を指示する操作を受け付け、構図調整コマンドを無人航空機１００へ送信する。無人航空機１００は、構図調整コマンドを受信すると、ライブビュー画像Ｇ１内の主被写体（例えば人物Ｈ１）を決定し、予定構図を決定し、無人航空機１００の動作情報を生成する。

【0101】

無人航空機１００は、動作情報に従って移動等を行い、所望の位置に移動した旨（移動完了）を携帯端末８０へ通知する。携帯端末８０は、移動完了通知を受信すると、例えば操作部８３を介したユーザ指示を基に、撮像コマンドを無人航空機１００へ送信する。なお、携帯端末８０は、移動完了通知を受信した際、移動後の無人航空機１００の位置でのライブビュー画像を、無線通信部８５を介して取得してよい。この場合、ユーザは、移動後のライブビュー画像を表示により確認でき、この位置で空撮すべきか否かを判断できる。無人航空機１００は、撮像コマンドを受信すると、撮像コマンドに従って、撮像部２２０又は２３０により空撮し、空撮画像（第２の画像の一例）を得る。

【0102】

これにより、無人航空機１００は、所望の予定構図の空撮画像を取得できる。図５では、ライブビュー画像において主被写体としての人物Ｈ１が任意の位置に配置されていたが、構図調整されて空撮された空撮画像では、主被写体としての人物Ｈ１が３分割構図における３分割線の交点上に位置する。このように、無人航空機１００は、所望の構図を実現するために動作（ここでは移動）して、空撮できる。

【0103】

なお、撮像コマンドは、携帯端末８０ではなく送信機５０が送信してもよい。この場合、送信機５０が、通信等を用いて携帯端末８０と連携し、送信機５０が有する撮像ボタン（不図示）に対する押下の情報を、無人航空機１００へ送信してよい。

【0104】

次に、主被写体の決定例について説明する。

【0105】

図６Ａは、無人航空機１００により撮像されたライブビュー画像Ｇ１の一例を示す図である。図６Ｂは、色によりライブビュー画像Ｇ１が区分された色区分画像Ｇ２の一例を示す図である。図６Ｃは、色区分画像Ｇ２を用いた主被写体の選択例を示す図である。

【0106】

ライブビュー画像Ｇ１には、複数の色成分（例えば青色、水色）を有する海と、緑色成分を有する森が存在する島と、が含まれる。無人航空機１００では、通信インタフェース１５０が、ライブビュー画像Ｇ１を携帯端末８０へ送信する。携帯端末８０では、無線通信部８５が、ライブビュー画像Ｇ１を無人航空機１００から受信し、表示部８８がライブビュー画像Ｇ１を表示してよい。

【0107】

主被写体決定部１１２は、ライブビュー画像Ｇ１を、複数の画像ブロック（例えば１６×１６のブロック）に分割してよい。主被写体決定部１１２は、ライブビュー画像Ｇ１を、各画像ブロックの色成分により１つ以上の領域に区分し、色区分画像Ｇ２を生成してよい。図６Ｂでは、海の青色部分が領域Ａとして区分され、海の水色部分が領域Ｂとして区分され、島の緑色部分が領域Ｃとして区分されてよい。携帯端末８０では、無線通信部８５が、色区分画像Ｇ２を無人航空機１００から受信し、表示部８８が色区分画像Ｇ２を表示してよい。

【0108】

主被写体決定部１１２は、色区分画像Ｇ２におけるいずれかの色成分の領域を、主被写体として決定してよい。図６Ｃに示すように、表示部８８は、撮像補助アプリケーションに従って、色区分画像Ｇ２を表示するとともに、どの領域（ここでは領域Ａを示すＺＡ，領域Ｂを示すＺＢ，領域Ｃを示すＺＣ）を主被写体として選択するかを決定するためのガイド表示を行ってよい。図６Ｃでは、操作部８３を介して領域Ｃが主被写体として選択されることが例示されている。この場合、携帯端末８０では、無線通信部８５は、操作部８３を介して得られた主被写体の選択情報を無人航空機１００へ送信する。無人航空機１００では、通信インタフェース１５０が、主被写体の選択情報を受信する。主被写体決定部１１２は、主被写体の選択情報に基づいて、主被写体を決定する。この場合、主被写体は、撮像画像においてユーザが意図した撮像対象に対応する画素の集合となる。

【0109】

主被写体決定部１１２は、ライブビュー画像Ｇ１の端部において被写体の一部の情報が欠落している場合、言い換えるとライブビュー画像Ｇ１の画像内と画像外とで被写体が分断されている場合、この被写体の画素情報を補間してもよい。例えば、主被写体決定部１１２は、ライブビュー画像Ｇ１の画像内の被写体周囲の画素情報（例えば画素値）を基に、被写体の画素情報を補間してよい。主被写体決定部１１２は、ライブビュー画像Ｇ１の画像内の被写体周囲の画素情報（例えば画素値）をそのまま、被写体の画素情報として補間してよい。主被写体決定部１１２は、被写体周囲の複数の画素情報を収集して、複数の画素情報を基に重み付けしたり平均化したりして新たな色を生成し、被写体の画素情報として補間してよい。主被写体決定部１１２は、補間技術として、最近傍補間法（Nearest neighbor）、双一次補間法（Bilinear）、双三次補間法（Bicubic）、等を用いてよい。

【0110】

このように、主被写体決定部１１２は、通信インタフェース１５０を介して主被写体の選択情報を取得し、この選択情報に基づいて主被写体を決定してよい。これにより、無人航空機１００は、ライブビュー画像Ｇ１に基づく色区分画像Ｇ２に含まれる被写体の中から、ユーザが希望する主被写体を決定できる。よって、無人航空機１００は、ユーザが希望する主被写体を基準とした構図の調整が可能となる。

【0111】

主被写体決定部１１２は、被写体の選択情報を用いずに、主被写体を決定してよい。また、主被写体が複数決定されてもよい。

【0112】

例えば、主被写体決定部１１２は、色区分画像Ｇ２における色成分の領域のうち、所定の領域を主被写体として決定してよい。つまり、主被写体決定部１１２は、色でライブビュー画像Ｇ１をグループ化し、所定の色グループを主被写体として認識してよい。この場合、主被写体決定部１１２は、例えば、各色成分に包囲された中心に位置する領域（例えば、図６Ｂにおける島の領域である領域Ｃ）を、主被写体として決定してよい。これにより、無人航空機１００は、周囲の領域に包囲されることにより目立つ被写体を主被写体とすることができる。

【0113】

また、主被写体決定部１１２は、色成分により区分された領域のうち、所定サイズ以下（例えば最小）の領域を主被写体として決定してよい。これにより、無人航空機１００は、ライブビュー画像Ｇ１において他の領域よりも判別が困難な小さなサイズの領域を基準として、構図を調整可能となる。例えば、山中に迷い込んだ人物を主被写体として決定できる。

【0114】

また、主被写体決定部１１２は、操作部８３やメモリ８７から得られた所定の色の領域を、主被写体として決定してよい。これにより、無人航空機１００は、ユーザが希望する色の被写体や予め主要な撮像対象として定められていた色の被写体を主被写体として決定できる。

【0115】

このように、無人航空機１００は、被写体を、山、海、人物の服装、等の色毎におおまかに判別できる。よって、無人航空機１００は、例えば特定の色成分を注目すべき被写体として登録しておき、色によって自動的に主被写体を判別できる。

【0116】

主被写体決定部１１２は、空間周波数に基づいて、ライブビュー画像Ｇ１を１つ以上の領域に区分し、所定の領域を主被写体として決定してよい。つまり、主被写体決定部１１２は、空間周波数でライブビュー画像Ｇ１をグループ化し、所定の空間周波数の範囲のグループを主被写体として認識してよい。

【0117】

空間周波数が高くなる程、画像にエッジが多くなり、鮮明な画像となる。一方、空間周波数が低い程、画像にエッジが少なくなり、ぼやけた画像となる。したがって、主被写体決定部１１２は、空間周波数により区分された領域のうち、空間周波数が所定周波数以上の（例えば最も高い）領域を、主被写体として決定してよい。これにより、無人航空機１００は、比較的鮮明な領域を基準として、構図を調整可能となる。

【0118】

また、主被写体決定部１１２は、操作部８３やメモリ８７から得られた所定の空間周波数を有する領域を、主被写体として決定してよい。これにより、無人航空機１００は、ユーザが希望する空間周波数の被写体や予め主要な撮像対象として定められていた空間周波数の被写体を主被写体として決定できる。

【0119】

主被写体決定部１１２は、ライブビュー画像Ｇ１が空撮された空撮位置の情報に基づいて、ライブビュー画像Ｇ１に含まれる１つ以上の被写体のうち、所定の被写体を主被写体として決定してよい。この場合、主被写体決定部１１２は、通信インタフェース１５０を介して外部サーバ等が蓄積する地図ＤＢの地図情報を取得してよい。地図情報には、被写体の種別（例えば山、川、海、建物）の情報が含まれてよい。主被写体決定部１１２は、被写体の種別や被写体のサイズに基づいて、主被写体を決定してよい。

【0120】

これにより、無人航空機１００は、無人航空機１００の地理的な情報や地形情報に基づいて、構図を調整可能である。

【0121】

また、主被写体決定部１１２は、通信インタフェース１５０を介して、外部サーバ等から、ライブビュー画像Ｇ１に含まれる被写体の空撮画像に関する評価情報を取得してよい。主被写体決定部１１２は、この評価情報が所定基準以上の（例えば最高評価の）被写体を、主被写体として決定してよい。

【0122】

これにより、無人航空機１００は、他者が高く評価した被写体を基準として、構図を調整可能である。なお、空撮位置の情報は、ＧＰＳ受信機２４０が取得する情報により得られてよい。

【0123】

また、主被写体決定部１１２は、決定される主被写体が空撮される際に設定される撮像モードに基づいて、主被写体を決定してよい。また、夕焼けモードが設定される場合には、太陽や太陽が沈む水平線付近や地平線付近が主被写体として決定されてよい。

【0124】

これにより、無人航空機１００は、被写体が考慮される撮像モードを加味して、主被写体を決定できる。よって、無人航空機１００は、撮像モードに応じて設定される撮像情報（カメラパラメータ）に適した主被写体を決定でき、鮮明な空撮画像が得られることを期待できる。

【0125】

主被写体決定部１１２は、例えば上述のいずれかの方法に基づく主被写体の決定情報を、ライブビュー画像Ｇ１等の撮像範囲の情報とともに、メモリ１６０に蓄積してよい。主被写体決定部１１２は、メモリ１６０に蓄積された主被写体の決定情報（つまり過去に実績のある主被写体の決定情報）に基づいて、ライブビュー画像Ｇ１に含まれる被写体のうち主被写体を決定してよい。例えば、主被写体決定部１１２は、同様（例えば同一）の撮像範囲において、過去に所定回数以上（例えば最も多く）主被写体とされた被写体や、過去に所定頻度以上（例えば最も高頻度で）主被写体とされた被写体を、主被写体として決定してよい。

【0126】

これにより、無人航空機１００は、過去の実績に応じて、言い換えるとユーザの選択傾向や無人航空機１００の決定傾向に応じて、機械学習的に主被写体を決定できる。無人航空機１００は、機械学習的に決定された主被写体を基準として、構図を調整可能である。

【0127】

次に、構図の決定例について説明する。
図７は、構図の選択例を示す図である。

【0128】

構図決定部１１３は、主被写体が決定されると、主被写体に基づいて、メモリ１６０から空撮予定の構図候補の情報を取得する。例えば、構図決定部１１３は、ライブビュー画像の構図とメモリ１６０に保持された構図のサンプル情報とを比較し、ライブビュー画像の構図と所定基準以上の一致度を有する構図のサンプル情報を、１つ以上の構図候補として決定してよい。構図決定部１１３は、ライブビュー画像の構図と構図のサンプル情報との一致度は、両構図内での主被写体の形状や位置やサイズ、両構図内での複数の被写体の形状や位置やサイズや位置関係、等の少なくとも１つによって判定してよい。

【0129】

一例として、図７に示すように、主被写体決定部１１２により、細長い形状を有する川が主被写体として選択されたとする。この場合、構図決定部１１３は、メモリ１６０が保持する構図のサンプル情報を参照し、例えば、細長い形状の領域を空撮するために適した対角構図、３分割構図、又はその他の構図を、構図候補として取得してよい。対角構図では、主被写体としての川が構図内の対角線に沿って配置されてよい。３分割構図では、主被写体として川が３分割するための分割線上に沿って又は分割線と重複して配置されてよい。構図決定部１１３は、取得された構図候補を、通信インタフェース１５０を介して携帯端末８０へ送信してよい。携帯端末８０では、無線通信部８５が、構図候補の情報を取得してよい。図７に示すように、表示部８８が、構図候補の情報を表示してよい。

【0130】

表示部８８は、撮像補助アプリケーションに従って、構図候補を表示するとともに、どの構図候補（ここでは対角構図、３分割構図）を予定構図として選択するかを決定するためのガイド表示を行ってよい。図７では、操作部８３を介して対角構図が予定構図として選択されることが例示されている。この場合、携帯端末８０では、無線通信部８５は、操作部８３を介して得られた構図の選択情報を無人航空機１００へ送信する。無人航空機１００では、通信インタフェース１５０が、構図の選択情報を受信する。構図決定部１１３は、構図の選択情報に基づいて、予定構図を決定する。

【0131】

表示部８８に表示される構図候補の画像は、メモリ１６０に保持されて携帯端末８０へ送られた画像（例えば構図のサンプル情報としての構図の画像）でよい。表示部８８に表示される構図候補の画像は、構図決定部１１３により生成されて携帯端末８０へ送られた画像でもよい。この場合、構図決定部１１３は、主被写体の形状に応じた構図の情報と、ライブビュー画像Ｇ１と、基づいて、表示される構図候補の画像を生成してよい。例えば、構図決定部１１３は、ライブビュー画像Ｇ１において主被写体として川があり、その両側に被写体として山が存在する場合、これらの被写体の形状を例えば簡略化して、構図候補の位置関係に従って各被写体が配置された画像を生成してよい。また、構図決定部１１３の代わりに、携帯端末８０の端末制御部８１が、無人航空機１００から取得された主被写体の形状に応じた構図の情報とライブビュー画像Ｇ１と基づいて、構図候補の画像を生成してもよい。

【0132】

このように、構図決定部１１３は、例えば主被写体の形状を加味して、構図候補を決定できる。携帯端末８０の表示部８８は、決定された構図候補を表示でき、ユーザの選択を促すことができる。表示部８８は、構図候補を静止画像で表示してもよいし、動画のプレビューで表示してもよい。構図決定部１１３は、通信インタフェース１５０を介して構図の選択情報を取得し、この選択情報に基づいて予定構図を決定してよい。

【0133】

これにより、無人航空機１００は、主被写体が空撮予定の空撮画像において所望の位置に配置された構図を決定でき、主被写体を魅力的に空撮可能となる。また、構図決定部１１３は、構図候補を自動的に決定でき、様々な構図のサンプル情報の中から、構図候補を限定して提示できる。構図決定部１１３は、選択情報に基づいて予定構図を決定するので、予定構図の選択にユーザの意思を反映できる。

【0134】

なお、構図決定部１１３は、構図候補の提示を行うことなく、主被写体の形状に応じて構図を決定してもよい。これにより、無人航空機１００は、主被写体の形状を加味してバランスの優れた予定構図を用いて空撮でき、主被写体を魅力的に空撮可能となる。

【0135】

構図決定部１１３は、構図の選択情報を用いずに、構図を決定してよい。

【0136】

例えば、構図決定部１１３は、シーン認識アルゴリズムにより、ライブビュー画像Ｇ１のシーンを認識してよい。構図決定部１１３は、シーンの認識結果に応じて、そのシーンに適した構図を決定したり、構図候補を提示させたりしてよい。例えば、ライブビュー画像Ｇ１が日の出（Sun Rise）のシーンであると認識された場合、構図決定部１１３は、このシーンの撮像に適した中央一点構図や２分割構図などの構図を決定したり、これらの構図候補を提示させたりしてよい。シーン認識には、例えば、ディープラーニングが用いられてよく、畳み込みニューラルネットワークが用いられてよい。

【0137】

これにより、無人航空機１００は、ライブビュー画像Ｇ１が空撮されたシーンに合わせて、このシーンを魅力的に空撮可能な構図を決定できる。

【0138】

構図決定部１１３は、例えば上述のいずれかの方法に基づく構図の決定情報を、ライブビュー画像Ｇ１等の撮像範囲の情報とともに、メモリ１６０に蓄積してよい。構図決定部１１３は、メモリ１６０に蓄積された構図の決定情報（つまり過去に実績のある構図の決定情報）に基づいて、主被写体を考慮した構図を決定してよい。例えば、構図決定部１１３は、同様（例えば同一）の撮像範囲において、過去に所定回数以上（例えば最も多く）使用された構図や、過去に所定頻度以上（例えば最も高頻度で）使用された構図を、空撮予定の構図として決定してよい。

【0139】

これにより、無人航空機１００は、過去の実績に応じて、言い換えるとユーザの選択傾向や無人航空機１００の決定傾向に応じて、機械学習的に構図を決定できる。無人航空機１００は、機械学習的に決定された構図により、主被写体を魅力的に空撮可能となる。

【0140】

また、構図決定部１１３は、通信インタフェース１５０を介して、外部サーバ等から、構図を用いた空撮画像に関する評価情報を取得してよい。主被写体決定部１１２は、この評価情報が所定基準以上の（例えば最高評価の）構図を、予定構図として決定してよい。

【0141】

これにより、無人航空機１００は、他者が高く評価した構図を予定構図として決定できる。よって、無人航空機１００は、客観的に好ましい構図で被写体が配置された空撮画像を取得できる。

【0142】

次に、動作情報の生成例について説明する。

【0143】

動作情報生成部１１４は、決定された構図に従って空撮するために、撮像範囲を決定する。撮像範囲は、無人航空機１００の位置、無人航空機１００の向き、撮像部２２０の向き、撮像部２２０又は撮像部２３０の画角、等によって特定され得る。よって、動作情報生成部１１４は、ライブビュー画像Ｇ１が空撮された無人航空機１００の動作状態から、決定された構図を実現するための無人航空機１００の動作状態へ変更するための情報を、動作情報として生成してよい。

【0144】

例えば、動作情報生成部１１４は、動作情報として、移動前（ライブビュー画像Ｇ１が空撮された際）の無人航空機１００の位置から移動後の（決定された構図を実現するための）無人航空機１００の位置へ移動するための無人航空機１００の移動情報を含んでよい。

【0145】

動作情報生成部１１４は、動作情報として、変更前（ライブビュー画像Ｇ１が空撮された際）の無人航空機１００の向きから変更後の（決定された構図を実現するための）無人航空機１００の向きへ変更するための無人航空機１００の回転情報を含んでよい。

【0146】

動作情報生成部１１４は、動作情報として、変更前のジンバル２００の回転状態（例えば回転角度）（撮像部２２０の向きに相当）から変更後のジンバル２００の回転状態へ変更するためのジンバル２００の回転情報を含んでよい。

【0147】

動作情報生成部１１４は、動作情報として、変更前の撮像部２２０又は撮像部２３０の画角から変更後の撮像部２２０又は撮像部２３０の向きへ変更するための撮像部２２０又は撮像部２３０の画角変更情報を含んでよい。撮像部２２０又は撮像部２３０の画角は、撮像部２２０又は撮像部２３０のズーム倍率に対応してよい。つまり、動作情報生成部１１４は、動作情報として、変更前の撮像部２２０又は撮像部２３０のズーム倍率から変更後の撮像部２２０又は撮像部２３０のズーム倍率へ変更するためのズーム倍率変更情報を含んでよい。

【0148】

図８Ａは、決定された構図で空撮するための撮像範囲の回転例を示す図である。図８Ｂは、決定された構図で空撮するための無人航空機１００の移動例を示す図である。図８Ｃは、水平方向から見た無人航空機１００の移動を説明するための図である。

【0149】

図８Ａでは、ライブビュー画像が簡略化されて表現された構図としての現構図Ｃ１と、予定構図Ｃ２と、を示している。図８Ａでは、図７と同様に、川ＲＶ１１の両側に山Ｍ１１，Ｍ１２が存在する。予定構図Ｃ２が対角構図とされている。

【0150】

動作情報生成部１１４は、現構図Ｃ１における被写体のサイズと予定構図Ｃ２における被写体のサイズとを比較する。動作情報生成部１１４は、現構図Ｃ１における被写体のサイズと予定構図Ｃ２における被写体のサイズとに基づいて、無人航空機１００の高度の変化量（つまり重力方向の移動量）を算出してよい。例えば、現構図Ｃ１における被写体のサイズに対して予定構図Ｃ２における被写体のサイズが２倍である場合、動作情報生成部１１４は、無人航空機１００の高度が１／２となるように移動方向及び移動量を算出してよい。例えば、現構図Ｃ１における被写体のサイズに対して予定構図Ｃ２における被写体のサイズが１／２である場合、動作情報生成部１１４は、無人航空機１００の高度が２倍となるように移動方向及び移動量を算出してよい。なお、現構図Ｃ１における無人航空機１００の高度の情報は、ライブビュー画像Ｇ１が空撮された際の空撮高度でよく、気圧高度計２７０等により取得されてよい。

【0151】

図８Ａでは、現構図Ｃ１と予定構図Ｃ２とでは、川ＲＶ１１のサイズや山Ｍ１１，Ｍ１２のサイズが同じである。つまり、被写体としての川ＲＶ１１や山Ｍ１１，Ｍ１２までの距離（被写体距離）が変更されていないことを示している。この場合、動作情報生成部１１４は、無人航空機１００の高度は変化されておらず、重力方向の移動量は値０であると判別してよい。

【0152】

これにより、無人航空機１００は、現構図Ｃ１と予定構図Ｃ２との比較により、容易に高度の変化量（つまり重力方向の移動量）を算出できる。したがって、無人航空機１００は、２次元空間（水平方向）の移動に限らず、３次元空間での移動を可能にできる。

【0153】

なお、無人航空機１００の高度を変更する代わりに、撮像部２２０又は撮像部２３０のズーム倍率が変更されてもよい。

【0154】

動作情報生成部１１４は、現構図Ｃ１における各被写体の位置関係と予定構図Ｃ２における各被写体の位置関係とを比較してよい。動作情報生成部１１４は、現構図Ｃ１における各被写体の位置関係と予定構図Ｃ２における各被写体の位置関係に基づいて、構図の回転量及び回転方向、つまり無人航空機１００の回転量及び回転方向、若しくは、撮像部２２０又は撮像部２３０の回転量及び回転方向を算出してよい。ここでの回転方向は、例えば水平方向に沿った方向でよい。なお、各被写体の位置関係の情報は、数学的な座標変換によるマッピングにより算出されて取得されてよい。

【0155】

図８Ａでは、現構図Ｃ１の各被写体に対して予定構図Ｃ２の各被写体が反時計周りに３０度回転した位置関係となっている。この場合、動作情報生成部１１４は、反時計回りの回転方向であり、撮像部２２０又は撮像部２３０の光軸を中心とした３０度の回転量であることを算出する。

【0156】

これにより、無人航空機１００は、現構図Ｃ１と予定構図Ｃ２との比較により、容易に構図の回転量を算出できる。

【0157】

動作情報生成部１１４は、ジンバル２００の回転情報を生成してよい。例えば、動作情報生成部１１４は、撮像部２２０の画角情報と、ライブビュー画像Ｇ１における携帯端末８０の表示部８８での被写体の画面位置と、予定構図における表示部８８での同じ被写体の画面位置と、に基づいて、ジンバル２００の回転情報を算出してよい。画面上での同じ被写体の移動距離とジンバル２００の回転角度の変化量（回転量）とは比例する。

【0158】

図８Ｂでは、現構図Ｃ１と予定構図Ｃ２とでは、同じ被写体Ｍ２１の画面位置の距離ｗ１（画面上での移動距離に相当）が、表示部８８の画面の一辺ｗの１／６の長さであるとする。また、撮像部２２０の画角情報が示す撮像画角が９０度であるとする。この場合、予定構図Ｃ２を実現するためのジンバル２００の回転角度（角度θ２）は、１５度となる。また、動作情報生成部１１４は、実空間での移動方向と表示部８８の画面上での移動方向との対応関係を基に、ジンバル２００の回転方向を導出（例えば算出）してよい。なお、実空間での移動方向と表示部８８の画面上での移動方向とは、逆方向となってよい。例えば、図６Ａを空撮中にジンバル２００を重力方向（下方向）に回転すると、空撮画像における島の位置は図６Ａにおける上方向に移動する。

【0159】

動作情報生成部１１４は、無人航空機１００の移動情報を生成してよい。例えば、動作情報生成部１１４は、無人航空機１００が所定距離（例えば所定の短距離）飛行するよう、動作制御部１１５へ指示する。無人航空機１００は、動作制御部１１５の制御に従って、所定距離飛行する。動作情報生成部１１４は、携帯端末８０の端末制御部８１と連携して、実空間での飛行による移動距離と表示部８８の画面上での移動距離との対応関係を判定してよい。

【0160】

具体的には、動作情報生成部１１４は、この飛行に係る所定距離の情報を、通信インタフェース１５０を介して、携帯端末８０へ通知してよい。携帯端末８０の端末制御部８１は、この飛行中の空撮画像において、無人航空機１００の所定距離の移動に伴って、表示部８８の画面上で同じ被写体が移動した移動距離の情報を検出してよい。端末制御部８１は、無線通信部８５を介して、移動距離の情報を無人航空機１００へ送信してよい。動作情報生成部１１４は、通信インタフェース１５０を介して移動距離の情報を受信してよい。このようにして、動作情報生成部１１４は、実空間での飛行による移動距離と画面上での移動距離との対応関係を判定し、この対応関係の情報をメモリ８７等に保持しておいてよい。例えば、メモリ１６０は、実空間での移動距離が画面上での移動距離のα倍であるという情報を保持しておいてよい。

【0161】

また、端末制御部８１は、実空間での移動方向と画面上での移動方向との対応関係の情報も、メモリ１６０に保持させてよい。なお、実空間での移動前後の位置は、例えばＧＰＳ受信機２４０により取得されてよい。

【0162】

図８Ｂでは、撮像部２２０により撮像された同じ被写体Ｍ２１が、位置ｐ１から位置ｐ２へ移動している。位置ｐ１と位置ｐ２との距離ｄ１（移動距離に相当）とメモリ１２０ｄに保持された対応関係の情報（例えばα倍）に基づいて、予定構図を実現するための無人航空機１００の移動距離を算出してよい。

【0163】

これにより、無人航空機１００は、多数のセンサを備えない場合でも、予定構図Ｃ２を実現するために位置すべき無人航空機１００の位置を判定可能であり、予定構図Ｃ２を実現するための移動量及び移動方向の情報を取得できる。

【0164】

また、動作情報生成部１１４は、他の方法より移動情報を生成してよい。図８Ｃは、移動前後における撮像部２２０の画角の変化と水平方向の移動距離との関係の一例を示す図である。図８Ｃの各位置を示す点は、側方から見た様子を示している。

【0165】

例えば、動作情報生成部１１４は、ライブビュー画像Ｇ１の空撮時におけるジンバル２００の重力方向に対する角度θ１を取得してよい。角度θ１は、ライブビュー画像Ｇ１の空撮時における無人航空機１００の重力方向に対する傾きと、ジンバル２００の無人航空機１００に対するが傾きと、に基づいて算出されてよい。動作情報生成部１１４は、無人航空機１００の高度と、ジンバル２００の角度θ１と、に基づいて、無人航空機１００の水平方向の位置ｐ１１と無人航空機１００の撮像範囲の中央部が位置する水平方向の位置ｐ１２との距離ｄ１１を算出してよい。

【0166】

そして、動作情報生成部１１４は、撮像部２２０の画角情報と、現構図Ｃ１における被写体の画面位置と、予定構図Ｃ２における表示部８８での同じ被写体の画面位置と、に基づいて、ジンバル２００の回転情報（例えば角度θ２に相当する回転角度）を算出してよい。この際、動作情報生成部１１４は、メモリ１６０に保持された、実空間での飛行による移動距離と画面上での移動距離との対応関係の情報を参照してよい。動作情報生成部１１４は、無人航空機１００の高度ｈと、重力方向に対するジンバル２００の回転後の角度（θ１＋θ２）と、に基づいて、無人航空機１００の水平方向の位置ｐ１１と回転後（予定構図Ｃ２実現時）の無人航空機１００の撮像範囲の中央部が位置する水平方向の位置ｐ１３との距離ｄ１＋ｄ２を算出してよい。よって、動作情報生成部１１４は、回転前（ライブビュー画像Ｇ１の空撮時）の無人航空機１００の撮像範囲の中央部が位置する水平方向の位置ｐ１２と、回転後（予定構図Ｃ２実現時）の無人航空機１００の撮像範囲の中央部が位置する水平方向の位置ｐ１３と、の差分、つまり角度θ２に対応する移動距離ｄ１２を算出可能である。

【0167】

これにより、無人航空機１００は、予め実空間での移動距離と画面上での移動距離との対応関係の情報が得られておらず、この対応関係が不明である場合でも、予定構図を実現するための移動量及び移動方向を算出できる。

【0168】

動作情報生成部１１４は、上述の方法により、水平方向における１つの軸の方向（例えば図８Ｃに示すｘ方向）の移動距離ｄ１２を算出する。同様に、動作情報生成部１１４は、水平方向における１つの軸に直交する他の１つの方向（例えばｙ方向）の移動距離ｄ２２（不図示）を算出してよい。動作情報生成部１１４は、移動距離ｄ１２と移動距離ｄ２２とを合成することで、水平方向（ｘｙ方向）における移動距離を算出してよい。また、動作情報生成部１１４は、ｘ方向成分とｙ方向成分の移動距離を合成することで、移動方向を算出してよい。

【0169】

このように、無人航空機１００は、動作情報を生成することで、現構図Ｃ１から予定構図Ｃ２とするために必要な無人航空機１００の動作を把握できる。また、無人航空機１００は、動作情報としてジンバル２００の回転情報を生成することで、ジンバル２００の調整により撮像範囲を変更し、所望の予定構図Ｃ２とするための動作情報を提供できる。この場合、無人航空機１００は、ジンバル２００の回転により撮像範囲を変更可能であるので、無人航空機１００の移動を必要とせず、無人航空機１００が飛行するための消費電力を節約でき、低コストを実現できる。

【0170】

また、無人航空機１００は、現構図Ｃ１と予定構図Ｃ２とにおける被写体の位置を基に、比較的簡単な演算により、ジンバル２００の回転角度を算出できる。よって、無人航空機１００は、演算処理負荷を低く抑制できる。

【0171】

また、無人航空機１００は、動作情報として無人航空機１００の移動情報を生成することで、無人航空機１００の地理的な位置調整により撮像範囲を変更し、所望の予定構図Ｃ２とするための動作情報を提供できる。つまり、無人航空機１００が空間的に移動することで撮像範囲を変更し、適切な予定構図Ｃ２を実現できる。

【0172】

次に、撮像補助システム１０の動作例について説明する。
図９は、撮像補助システム１０の動作例を示すシーケンス図である。

【0173】

まず、無人航空機１００では、撮像部２２０は、空撮画像を撮像する。（Ｓ１０１）。通信インタフェース１５０は、撮像された空撮画像（例えばライブビュー画像）を携帯端末８０へ送信する（Ｓ１０２）。ここでは、一例として、Ｓ１０１の空撮画像をライブビュー画像として説明する。

【0174】

携帯端末８０では、無線通信部８５は、ライブビュー画像を受信する（Ｓ１５１）。表示部８８は、例えばライブビュー画像を表示してよい。ユーザは、ライブビュー画像の表示を確認し、構図の調整を希望する場合には、操作部８３を介して構図を調整するための操作を行ってよい。端末制御部８１は、操作部８３により構図の調整操作を受け付けると、撮像補助アプリケーションを起動し、無線通信部８５を介して構図調整コマンドを無人航空機１００へ送信する（Ｓ１５２）。

【0175】

無人航空機１００では、ＵＡＶ制御部１１０は、通信インタフェース１５０を介して構図調整コマンドを取得すると（Ｓ１０３）、撮像補助アプリケーションを起動する。主被写体決定部１１２は、ライブビュー画像における主被写体を決定する（Ｓ１０４）。Ｓ１０４では、主被写体決定部１１２は、通信インタフェース１５０を介して、携帯端末８０へ主被写体を選択するための画面情報を提供してよい。携帯端末８０では、無線通信部８５は、無人航空機１００から主被写体を選択するための画面情報を受信し、操作部８３は、主被写体の選択操作を受け付け、無線通信部８５は、主被写体の選択操作に基づく選択情報を無人航空機１００へ送信してよい（Ｓ１５３）。主被写体決定部１１２は、通信インタフェース１５０を介して主被写体の選択情報を取得し、主被写体の選択情報に基づいて主被写体を決定してよい。

【0176】

構図決定部１１３は、決定された主被写体に基づいて、構図を決定する（Ｓ１０５）。Ｓ１０５では、構図決定部１１３は、通信インタフェース１５０を介して、携帯端末８０へ主構図を選択するための画面情報を提供してよい。携帯端末８０では、無線通信部８５は、無人航空機１００から構図を選択するための画面情報を受信し、操作部８３は、構図の選択操作を受け付け、無線通信部８５は、構図の選択操作に基づく選択情報を無人航空機１００へ送信してよい（Ｓ１５４）。構図決定部１１３は、通信インタフェース１５０を介して構図の選択情報を取得し、構図の選択情報に基づいて構図を決定してよい。

【0177】

動作情報生成部１１４は、決定された構図に基づいて、無人航空機１００の動作情報（例えば、無人航空機１００の移動方向、移動量の情報）を生成（例えば算出）する（Ｓ１０６）。ここでの無人航空機１００の移動方向及び移動量は、例えば、Ｓ１０１のライブビュー画像が空撮位置から予定構図を実現するための空撮位置への移動方向及び移動量であってよい。

【0178】

動作制御部１１５は、算出された移動方向及び移動量に基づく目的地へ向かって飛行制御し、移動する（Ｓ１０７）。この目的地は、移動前のライブビュー画像の位置から移動方向及び移動量の分だけ移動した位置である。動作制御部１１５は、目的地への移動が完了したか否かを判定する（Ｓ１０８）。目的地への移動が完了していない場合には、Ｓ１０７に進む。

【0179】

目的地への移動が完了した場合、通信インタフェース１５０は、移動完了通知を携帯端末８０へ送信する（Ｓ１０９）。携帯端末８０では、無線通信部８５は、無人航空機１００からの移動完了通知を受信する（Ｓ１５５）。操作部８３は、移動後の無人航空機１００が備える撮像部２２０又は撮像部２３０により撮像するための操作を受け付けてよい。端末制御部８１は、操作部８３により撮像操作を受け付けると、無線通信部８５を介して撮像コマンドを無人航空機１００へ送信する（Ｓ１５６）。

【0180】

無人航空機１００では、通信インタフェース１５０は、携帯端末８０からの撮像コマンドを受信する（Ｓ１１０）。撮像部２２０又は撮像部２３０は、撮像コマンドに応じて、空撮画像を撮像する（Ｓ１１１）。この空撮画像は、予定構図を実現するために無人航空機１００が移動した位置で空撮された画像となり、予定構図に従った画像となる。

【0181】

なお、撮像コマンドの送信及び受信が省略されてもよい。この場合、無人航空機１００は、動作情報に基づく移動を完了した際又は完了した後、移動後の位置で空撮してよい。

【0182】

なお、Ｓ１０１〜Ｓ１０６の処理は、無人航空機１００の非移動中に（移動せずに所定位置に所在する際に）実施されてもよいし、無人航空機１００の移動中に実施されてもよい。

【0183】

なお、動作情報が、無人航空機１００の移動情報ではなく、ジンバル２００の回転情報でもよい。この場合、Ｓ１０６では、動作情報生成部１１４は、決定された構図に基づいて、無人航空機１００の動作情報（例えば、ジンバル２００の回転方向、回転量の情報）を生成（例えば算出）する。ここでのジンバル２００の回転方向及び回転量は、例えば、Ｓ１０１のライブビュー画像が空撮位置から予定構図を実現するためのジンバル２００の回転方向及び回転量であってよい。Ｓ１０７では、動作制御部１１５は、算出された回転方向及び回転量に基づく目標回転位置に向かって回転制御し、ジンバル２００を回転させる。この目的回転位置は、移動前のライブビュー画像の撮像時のジンバル２００の角度から回転方向及び回転量の分だけ回転した位置である。Ｓ１０８では、動作制御部１１５は、目標回転位置への回転が完了したか否かを判定する。目標回転位置への回転が完了していない場合には、Ｓ１０７に進み、動作制御部１１５は、回転動作を継続させる。

【0184】

なお、動作制御部１１５は、ジンバル２００の回転制御と無人航空機１００の飛行制御とのいずれか一方を行ってもよいし、双方を行ってもよい。なお、ジンバル２００の回転による撮像範囲の変更は、無人航空機１００の移動を伴わないため、撮像範囲の変更具合が小さい。一方、無人航空機１００の移動による撮像範囲の変更は、無人航空機１００の移動を伴うため、撮像範囲の変更具合が大きい。よって、ジンバル２００の回転制御後に無人航空機１００の飛行制御を行うと、ジンバル２００の回転では所望の構図に至らない場合でも、無人航空機１００の飛行制御により所望の構図の実現のための補助が可能である。つまり、無人航空機１００は、ジンバル２０の回転制御により省エネルギーを図りつつ、無人航空機１００の飛行制御により所望の構図を確実に実現できる。

【0185】

このように、無人航空機１００及び撮像補助システム１０によれば、所望の被写体を魅力的に空撮するための構図を、この所望の被写体を加味して決定できる。つまり、無人航空機１００及び撮像補助システム１０は、単に所望の被写体を撮像画像内に収めるだけでなく、撮像画像の構図を向上させることを考慮して、画像の撮像を補助できる。よって、ユーザが写真撮像に関して十分なノウハウを有しない場合でも、無人航空機１００により構図の決定を補助でき、所望の被写体の空撮を補助できる。また、無人航空機１００は、構図に合わせた動作（例えば無人航空機１００の移動、ジンバル２００の回転角度の調整）が可能であるので、将来的な空撮において予定構図を利用可能である。

【0186】

また、無人航空機１００は、撮像補助に係る主被写体の決定、構図の決定、及び動作情報の生成を行うことで、この動作情報に基づく無人航空機１００の動作を迅速に実施できる。また、無人航空機１００は、撮像補助に係る主被写体の決定、構図の決定、及び動作情報の生成を行うことで、携帯端末８０の処理負荷を低減でき、携帯端末８０との間の通信負荷の低減も実現できる。したがって、携帯端末８０は、携帯端末８０自身の処理負荷を低減しながら、無人航空機１００と連携して撮像補助に係る処理に貢献できる。

【0187】

また、無人航空機１００は、Ｓ１０１，Ｓ１０２のライブビュー画像を基に主被写体の決定、構図の決定、等を行うことで、ライブビュー画像に含まれる所望の被写体を基準とした予定構図を生成できる。よって、無人航空機１００は、一連の撮像を行う流れの中で、所望の被写体を所望の構図により空撮できる。また、無人航空機１００は、本撮像前の仮撮像時に映り込んだ被写体に含まれる主被写体に適した構図で、本撮像できる。

【0188】

なお、表示部８８は、動作情報を表示してもよい。動作情報に係る表示情報は、「東方向へ１０ｍ移動してください」、「ジンバル２００を重力方向に２０度回転してください」、等でよい。表示部８８による動作情報の表示の代わりに、他の提示部により動作情報が提示されてもよい。例えば、音声出力部（不図示）が動作情報に係る音声情報を出力してもよいし、振動部（不図示）が動作情報を示す振動を行ってもよい。

【0189】

無人航空機１００が動作情報を提示することで、ユーザは、動作情報の内容を確認できる。そのため、動作情報を確認したユーザが、送信機５０を操作することで、送信機５０から無人航空機１００へ動作指示が送られてよい。無人航空機１００は、通信インタフェース１５０を介して、動作指示を取得し、予定構図を実現するための空撮位置に無人航空機１００を移動させてもよい。この場合、無人航空機１００は、動作制御部１１５の機能を有していなくても、予定構図を実現するための無人航空機１００の動作を実施できる。

【0190】

（第２の実施形態）
第１の実施形態では、無人航空機が、主被写体の決定、構図の決定、及び動作情報の生成を行うことを例示した。第２の実施形態では、携帯端末が、主被写体の決定、構図の決定、及び動作情報の生成を行うことを例示する。なお、第２の実施形態において、第１の実施形態と同様の構成や動作については、説明を省略又は簡略化する。

【0191】

図１０は、第２の実施形態における撮像補助システム１０Ａの構成例を示す模式図である。撮像補助システム１０Ａは、無人航空機１００Ａ、送信機５０及び携帯端末８０Ａを備える。無人航空機１００Ａ、送信機５０及び携帯端末８０Ａは、相互に有線通信又は無線通信（例えば無線ＬＡＮ（Local Area Network））により通信可能である。

【0192】

携帯端末８０Ａは、無人航空機１００Ａにより空撮するための構図を決定し、決定された構図となるように無人航空機１００Ａの動作情報を生成する。無人航空機１００Ａは、動作情報に従って無人航空機１００Ａの動作を制御する。携帯端末８０Ａは、送信機５０とともに、無人航空機１００Ａを用いた空撮を予定しているユーザに所持され得る。携帯端末８０Ａは、無人航空機１００Ａによる空撮を補助する。

【0193】

図１１は、無人航空機１００Ａのハードウェア構成の一例を示すブロック図である。無人航空機１００Ａは、第１の実施形態における無人航空機１００と比較すると、ＵＡＶ制御部１１０の代わりにＵＡＶ制御部１１０Ａを備える。なお、図１１の無人航空機１００Ａにおいて、図２に示した無人航空機１００の構成と同様の構成については、同一の符号を付し、その説明を省略又は簡略化する。なお、メモリ１６０は、撮像補助に係る情報（例えば構図のサンプル情報、実空間での距離と画面上での距離との対応関係の情報）を保持しなくてもよい。

【0194】

図１２は、ＵＡＶ制御部１１０Ａの機能構成の一例を示すブロック図である。ＵＡＶ制御部１１０Ａは、動作制御部１１５及び動作情報取得部１１６を備える。なお、図１２のＵＡＶ制御部１１０Ａにおいて、図３に示したＵＡＶ制御部１１０の構成と同様の構成については、同一の符号を付し、その説明を省略又は簡略化する。

【0195】

動作情報取得部１１６は、例えば通信インタフェース１５０を介して、携帯端末８０Ａから無人航空機１００Ａの動作情報を取得する。動作制御部１１５は、取得された動作情報に従って、無人航空機１００Ａの動作を制御する。無人航空機１００Ａの動作制御の内容は、第１の実施形態と同様でよい。

【0196】

図１３は、携帯端末８０Ａのハードウェア構成の一例を示すブロック図である。携帯端末８０Ａは、第１の実施形態における携帯端末８０と比較すると、端末制御部８１の代わりに端末制御部８１Ａを備える。なお、図１３の携帯端末８０Ａにおいて、図４に示した携帯端末８０の構成と同様の構成については、同一の符号を付し、その説明を省略又は簡略化する。なお、メモリ８７は、第１の実施形態における無人航空機１００が備えるメモリ１６０と同様に、撮像補助に係る情報（例えば構図のサンプル情報、実空間での距離と画面上での距離との対応関係の情報、機械学習に係る情報）を保持してよい。

【0197】

図１４は、端末制御部８１Ａの機能構成の一例を示すブロック図である。端末制御部８１Ａは、画像取得部８１１は、主被写体決定部８１２、構図決定部８１３及び動作情報生成部８１４を備える。主被写体決定部８１２及び構図決定部８１３は、情報取得部の一例である。動作情報生成部１１４は、生成部の一例である。

【0198】

画像取得部８１１は、メモリ８７に保持された画像（例えば無人航空機１００Ａの撮像部２２０又は撮像部２３０により空撮された空撮画像）を取得してよい。画像取得部８１１は、例えば通信インタフェース１５０を介して、撮像部２２０又は撮像部２３０により空撮中の空撮画像を取得してよい。空撮画像は、動画でも静止画でもよい。空撮中の空撮動画は、ライブビュー画像とも称される。画像取得部８１１により取得される空撮画像として、主にライブビュー画像を例示する。

【0199】

主被写体決定部８１２は、画像取得部８１１により取得されたライブビュー画像に含まれる１つ以上の被写体のうち、主被写体を決定（特定）する。主被写体の決定は、主被写体の情報の取得の一例である。主被写体決定部８１２による主被写体の決定方法は、第１の実施形態における無人航空機１００が備える主被写体決定部１１２による主被写体の決定方法と同様でよい。

【0200】

構図決定部８１３は、決定された主被写体を撮像するための構図を決定する。主被写体を撮像するための構図の決定は、主被写体を撮像するための構図の情報の取得の一例である。構図決定部８１３による構図の決定方法は、第１の実施形態における無人航空機１００が備える構図決定部１１３による構図の決定方法と同様でよい。

【0201】

動作情報生成部８１４は、決定された構図に従った空撮を実現するための無人航空機１００Ａの動作情報を生成する。動作情報生成部８１４による動作情報の生成方法は、第１の実施形態における無人航空機１００が備える動作情報生成部１１４による動作情報の生成方法と同様でよい。生成された動作情報は、例えば無線通信部８５により、無人航空機１００Ａへ送信されてよい。

【0202】

次に、撮像補助システム１０Ａの動作例について説明する。
図１５は、撮像補助システム１０Ａの動作例を示すシーケンス図である。

【0203】

まず、無人航空機１００Ａは、Ｓ１０１，Ｓ１０２の処理を実施する。携帯端末８０Ａは、Ｓ１５１の処理を実施する。

【0204】

携帯端末８０Ａでは、表示部８８は、例えばライブビュー画像を表示してよい。ユーザは、ライブビュー画像の表示を確認し、構図の調整を希望する場合には、操作部８３を介して構図を調整するための操作を行ってよい。この操作は、構図調整開始指示の一例である。端末制御部８１は、操作部８３により構図の調整操作を受け付けると、撮像補助アプリケーションを起動する（Ｓ１６１）。

【0205】

主被写体決定部８１２は、ライブビュー画像における主被写体を決定する（Ｓ１６２）。Ｓ１６２では、主被写体決定部８１２は、主被写体を選択するための選択画面を表示部８８に表示させてよい。操作部８３は、主被写体の選択操作を受け付けることで、主被写体の選択情報を取得してよい。主被写体決定部８１２は、この主被写体の選択情報に基づいて主被写体を決定してよい。

【0206】

構図決定部８１３は、決定された主被写体に基づいて、構図を決定する（Ｓ１６３）。Ｓ１６３では、構図決定部８１３は、予定構図を選択するための選択画面を表示部８８に表示させてよい。操作部８３は、構図の選択操作を受け付けることで、予定構図の選択情報を取得してよい。構図決定部８１３は、この構図の選択情報に基づいて構図を決定してよい。

【0207】

動作情報生成部８１４は、決定された構図に基づいて、無人航空機１００Ａの動作情報を生成する（Ｓ１６４）。例えば無線通信部８５は、生成された無人航空機１００Ａの動作情報を、無人航空機１００Ａへ送信する（Ｓ１６５）。

【0208】

無人航空機１００Ａでは、通信インタフェース１５０は、携帯端末８０Ａからの無人航空機１００Ａの動作情報を受信する（Ｓ１２１）。

【0209】

続いて、無人航空機１００Ａは、Ｓ１０７〜Ｓ１１１の処理を実施し、携帯端末８０Ａは、Ｓ１５５，Ｓ１５６の処理を実施する。

【0210】

このように、携帯端末８０Ａ及び撮像補助システム１０Ａによれば、所望の被写体を魅力的に空撮するための構図を、この所望の被写体を加味して決定できる。つまり、携帯端末８０Ａ及び撮像補助システム１０Ａは、単に所望の被写体を撮像画像内に収めるだけでなく、撮像画像の構図を向上させることを考慮して、画像の撮像を補助できる。よって、ユーザが写真撮像に関して十分なノウハウを有しない場合でも、携帯端末８０Ａにより構図の決定を補助でき、所望の被写体の空撮を補助できる。また、無人航空機１００Ａは、構図に合わせた動作（例えば無人航空機１００Ａの移動、ジンバル２００の回転角度の調整）が可能であるので、将来的な空撮において予定構図を利用可能である。

【0211】

また、携帯端末８０Ａは、撮像補助に係る主被写体の決定、構図の決定、及び動作情報の生成を行うことで、無人航空機１００Ａの処理負荷を低減でき、空撮画像の処理や飛行制御等の処理に無人航空機1００Ａを集中させることができる。また、無人航空機１００Ａは、他装置である携帯端末８０等により生成された動作情報に従って動作できるので、無人航空機１００の処理負荷を低減しても、所望の構図を実現するための所望の動作を実施できる。

【0212】

なお、携帯端末８０Ａ以外の情報処理装置（例えば送信機５０、ＰＣ、その他の情報処理装置）が、携帯端末８０Ａが有する撮像補助機能（例えば主被写体決定機能、構図決定機能、動作情報生成機能）を有してもよい。

【0213】

（第３の実施形態）
第１，第２の実施形態では、無人航空機による空撮を補助することを例示した。第３の実施形態では、ジンバル装置に取り付けられた撮像装置による撮像を補助することを例示する。なお、第３の実施形態において、第１，第２の実施形態と同様の構成や動作については、説明を省略又は簡略化する。

【0214】

図１６は、第３の実施形態における撮像補助システム１０Ｂの構成例を示す斜視図である。撮像補助システム１０Ｂは、ジンバル装置３００及び携帯端末８０Ｂを備える。ジンバル装置３００及び携帯端末８０Ｂは、相互に有線通信（例えばＵＳＢ通信）又は無線通信（例えば無線ＬＡＮ、Ｂｌｕｅｔｏｏｔｈ（登録商標）、近距離通信、公衆無線回線）により通信可能である。ジンバル装置３００は、支持装置の一例である。

【0215】

携帯端末８０Ｂは、ジンバル装置３００に取り付けられた携帯端末８０Ｂが備える撮像部８２０により撮像するための構図を決定し、決定された構図となるようにジンバル装置３００の動作情報を生成してよい。又は、ジンバル装置３００は、ジンバル装置３００に取り付けられた携帯端末８０Ｂが備える撮像部８２０により撮像するための構図を決定し、決定された構図となるようにジンバル装置３００の動作情報を生成してよい。ジンバル装置３００は、動作情報に従ってジンバル装置３００の動作を制御する。ジンバル装置３００は、携帯端末８０Ｂを用いた撮像を予定しているユーザに所持され得る。携帯端末８０Ｂ又はジンバル装置３００は、ジンバル装置３００に取り付けられた携帯端末８０Ｂによる撮像を補助する。なお、撮像部８２０は、撮像装置の一例である。

【0216】

図１６に示すように、ジンバル装置３００は、ジンバル３１０、取付部３１５、及び把持部３３０を備える。取付部３１５は、ジンバル装置３００に携帯端末８０Ｂを取り付け、ジンバル装置３００に対する携帯端末８０Ｂの位置や向きを固定する。

【0217】

ジンバル３１０は、ヨー軸、ピッチ軸、及びロール軸を中心に、携帯端末８０Ｂを回転可能に支持してよい。ジンバル３１０は、ヨー軸、ピッチ軸、及びロール軸の少なくとも１つを中心に携帯端末８０Ｂを回転させることで、携帯端末８０Ｂが備える撮像部８２０の撮像方向を変更してよい。携帯端末８０Ｂにおける撮像部８２０の位置は固定されているので、携帯端末８０Ｂの回転は撮像部８２０の回転に対応すると言える。

【0218】

把持部３３０は、使用時（撮像時）にユーザに把持されてよい。図１６に示す把持部３３０は一例であり、図１６とは異なる把持部３３０の形状、ジンバル装置３００に対する把持部３３０の位置、ジンバル装置３００に対する把持部３３０のサイズ、でもよい。なお、図１６においてジンバル３１０を示す点線が携帯端末８０Ｂ付近で分断されているが、これはジンバル３１０が携帯端末８０Ｂよりも奥側に位置することを示している。

【0219】

次に、ジンバル装置３００及び携帯端末８０Ｂの構成例について説明する。

【0220】

不図示であるが、ジンバル装置３００は、無人航空機１００又は無人航空機１００Ａのハードウェア構成の少なくとも一部を有する。不図示であるが、ジンバル装置３００は、無人航空機１００又は無人航空機１００Ａの機能構成の少なくとも一部を有する。

【0221】

不図示であるが、携帯端末８０Ｂは、携帯端末８０又は携帯端末８０Ａのハードウェア構成と同様でよい。不図示であるが、携帯端末８０Ｂは、携帯端末８０又は携帯端末８０の機能構成と同様でよい。

【0222】

撮像補助システム１０Ｂにおいて、携帯端末８０Ｂが第１の実施形態の携帯端末８０の機能を有する場合、ジンバル装置３００は、第１の実施形態の無人航空機１００の機能を有してよい。つまり、ジンバル装置３００が、撮像部８２０により撮像された画像（例えばライブビュー画像）における主被写体の決定機能、構図の決定機能、及びジンバル装置３００の動作情報の生成機能を有してよい。また、ジンバル装置３００が、動作情報に基づくジンバル装置３００の動作の制御機能を有してよい。

【0223】

撮像補助システム１０Ｂにおいて、携帯端末８０Ｂが第２の実施形態の携帯端末８０Ａの機能を有する場合、ジンバル装置３００は、第２の実施形態の無人航空機１００Ａの機能を有してよい。つまり、携帯端末８０Ｂが、撮像部８２０により撮像された画像（例えばライブビュー画像）における主被写体の決定機能、構図の決定機能、及びジンバル装置３００の動作情報の生成機能を有してよい。ジンバル装置３００が、ジンバル装置３００の動作情報の取得機能を有してよい。また、ジンバル装置３００が、動作情報に基づくジンバル装置３００の動作の制御機能を有してよい。

【0224】

なお、ジンバル装置３００は、無人航空機１００，１００Ａとは異なり、飛行することが考慮されない。そのため、動作情報は、ジンバル３１０の回転情報でよい。よって、ジンバル装置３００は、動作情報に基づいて、ジンバル３１０の回転を制御してよい。

【0225】

このように、ジンバル装置３００、携帯端末８０Ｂ及び撮像補助システム１０Ｂによれば、所望の被写体を魅力的に空撮するための構図を、この所望の被写体を加味して決定できる。つまり、ジンバル装置３００、携帯端末８０Ｂ及び撮像補助システム１０Ｂは、単に所望の被写体を撮像画像内に収めるだけでなく、撮像画像の構図を向上させることを考慮して、画像の撮像を補助できる。よって、ユーザが写真撮像に関して十分なノウハウを有しない場合でも、ジンバル装置３００又は携帯端末８０Ｂにより構図の決定を補助でき、所望の被写体の撮像を補助できる。また、ジンバル装置３００は、構図に合わせた動作（例えばジンバル３１０の回転角度の調整）が可能であるので、将来的な撮像において予定構図を利用可能である。

【0226】

また、ジンバル装置３００は、撮像補助に係る主被写体の決定、構図の決定、及び動作情報の生成を行うことで、この動作情報に基づくジンバル装置３００の動作を迅速に実施できる。また、ジンバル装置３００は、撮像補助に係る主被写体の決定、構図の決定、及び動作情報の生成を行うことで、携帯端末８０Ｂの処理負荷を低減でき、携帯端末８０Ｂとの間の通信負荷の低減も実現できる。したがって、携帯端末８０Ｂは、携帯端末８０Ｂ自身の処理負荷を低減しながら、ジンバル装置３００と連携して撮像補助に係る処理に貢献できる。また、ジンバル装置３００は、ジンバル３１０の回転制御に、撮像補助により生成された動作情報を用いることができる。つまり、第１，第２の実施形態のような無人航空機１００による空撮のためだけでなく、ジンバル装置３００を用いた撮像のために、撮像補助による撮像支援が実施され得る。

【0227】

また、携帯端末８０Ｂは、撮像補助に係る主被写体の決定、構図の決定、及び動作情報の生成を行うことで、ジンバル装置３００の処理負荷を低減でき、撮像画像の処理等にジンバル装置３００を集中させることができる。また、ジンバル装置３００は、他装置である携帯端末８０Ｂ等により生成された動作情報に従って動作できるので、ジンバル装置３００の処理負荷を低減しても、所望の構図を実現するための所望の動作を実施できる。

【0228】

（第４の実施形態）
第３の実施形態では、ジンバル装置に取り付けられた撮像装置による撮像を補助することを例示した。第４の実施形態では、ジンバル装置が備える撮像部による撮像を補助することを例示する。なお、第４の実施形態において、第１〜第３の実施形態と同様の構成や動作については、説明を省略又は簡略化する。

【0229】

図１７Ａは、第４の実施形態におけるジンバル装置３００Ｃの構成例を示す正面斜視図である。図１７Ｂは、第４の実施形態における撮像補助システム１０Ｃの構成例を示す背面斜視図である。撮像補助システム１０Ｃは、ジンバル装置３００Ｃ及び携帯端末８０Ｃを備える。ジンバル装置３００Ｃ及び携帯端末８０Ｃは、相互に有線通信（例えばＵＳＢ通信）又は無線通信（例えば無線ＬＡＮ、Ｂｌｕｅｔｏｏｔｈ（登録商標）、近距離通信、公衆無線回線）により通信可能である。ジンバル装置３００Ｃは、支持装置の一例である。

【0230】

携帯端末８０Ｃは、ジンバル装置３００Ｃに内蔵された撮像部３２０により撮像するための構図を決定し、決定された構図となるようにジンバル装置３００Ｃの動作情報を生成してよい。又は、ジンバル装置３００Ｃは、撮像部３２０により撮像するための構図を決定し、決定された構図となるようにジンバル装置３００Ｃの動作情報を生成してよい。ジンバル装置３００Ｃは、動作情報に従ってジンバル装置３００Ｃの動作を制御する。ジンバル装置３００Ｃは、ジンバル装置３００Ｃを用いた撮像を予定しているユーザに所持され得る。携帯端末８０Ｃ又はジンバル装置３００Ｃは、ジンバル装置３００Ｃによる撮像を補助する。

【0231】

図１７Ａ及び図１７Ｂに示すように、ジンバル装置３００Ｃは、ジンバル３１０Ｃ、撮像部３２０、及び把持部３３０を備える。撮像部３２０は、撮像装置の一例である。図１７Ａ及び図１７Ｂのジンバル装置３００Ｃ及び撮像補助システム１０Ｃにおいて、図１６に示したジンバル装置３００及び撮像補助システム１０Ｂと同様の構成については、同一の符号を付し、その説明を省略又は簡略化する。

【0232】

ジンバル３１０Ｃは、ヨー軸、ピッチ軸、及びロール軸を中心に、撮像部３２０を回転可能に支持してよい。ジンバル３１０Ｃは、ヨー軸、ピッチ軸、及びロール軸の少なくとも１つを中心に撮像部３２０を回転させることで、撮像部３２０の撮像方向を変更してよい。撮像部３２０は、例えば、紙面において奥方向を撮像してよい。撮像部３２０は、撮像方向を変更可能でよい。把持部３３０は、例えばユーザの手ＨＤ１により把持されてよい。

【0233】

次に、ジンバル装置３００及び携帯端末８０Ｂの構成例について説明する。

【0234】

不図示であるが、ジンバル装置３００Ｃは、無人航空機１００又は無人航空機１００Ａのハードウェア構成の少なくとも一部を有する。不図示であるが、ジンバル装置３００Ｃは、無人航空機１００又は無人航空機１００Ａの機能構成の少なくとも一部を有する。

【0235】

不図示であるが、携帯端末８０Ｃは、携帯端末８０又は携帯端末８０Ａのハードウェア構成と同様でよい。不図示であるが、携帯端末８０Ｃは、携帯端末８０又は携帯端末８０の機能構成と同様でよい。

【0236】

撮像補助システム１０Ｃにおいて、携帯端末８０Ｃが第１の実施形態の携帯端末８０の機能を有する場合、ジンバル装置３００Ｃは、第１の実施形態の無人航空機１００の機能を有してよい。つまり、ジンバル装置３００Ｃが、撮像部３２０により撮像された画像（例えばライブビュー画像）における主被写体の決定機能、構図の決定機能、及びジンバル装置３００Ｃの動作情報の生成機能を有してよい。また、ジンバル装置３００Ｃが、動作情報に基づくジンバル装置３００Ｃの動作の制御機能を有してよい。

【0237】

撮像補助システム１０Ｃにおいて、携帯端末８０Ｃが第２の実施形態の携帯端末８０Ａの機能を有する場合、ジンバル装置３００Ｃは、第２の実施形態の無人航空機１００Ａの機能を有してよい。つまり、携帯端末８０Ｃが、撮像部３２０により撮像された画像（例えばライブビュー画像）における主被写体の決定機能、構図の決定機能、及びジンバル装置３００Ｃの動作情報の生成機能を有してよい。ジンバル装置３００Ｃが、ジンバル装置３００Ｃの動作情報の取得機能を有してよい。また、ジンバル装置３００Ｃが、動作情報に基づくジンバル装置３００Ｃの動作の制御機能、を有してよい。

【0238】

なお、ジンバル装置３００Ｃは、無人航空機１００，１００Ａとは異なり、飛行することが考慮されない。そのため、動作情報は、ジンバル３１０Ｃの回転情報でよい。よって、ジンバル装置３００Ｃは、動作情報に基づいて、ジンバル３１０Ｃの回転を制御してよい。

【0239】

このように、ジンバル装置３００Ｃ、携帯端末８０Ｃ及び撮像補助システム１０Ｃによれば、所望の被写体を魅力的に空撮するための構図を、この所望の被写体を加味して決定できる。つまり、ジンバル装置３００Ｃ、携帯端末８０Ｃ及び撮像補助システム１０Ｃは、単に所望の被写体を撮像画像内に収めるだけでなく、撮像画像の構図を向上させることを考慮して、画像の撮像を補助できる。よって、ユーザが写真撮像に関して十分なノウハウを有しない場合でも、ジンバル装置３００Ｃ又は携帯端末８０Ｃにより構図の決定を補助でき、所望の被写体の撮像を補助できる。また、ジンバル装置３００Ｃは、構図に合わせた動作（例えばジンバル３１０Ｃの回転角度の調整）が可能であるので、将来的な撮像において予定構図を利用可能である。

【0240】

また、ジンバル装置３００Ｃは、撮像補助に係る主被写体の決定、構図の決定、及び動作情報の生成を行うことで、この動作情報に基づくジンバル装置３００Ｃの動作を迅速に実施できる。また、ジンバル装置３００Ｃは、撮像補助に係る主被写体の決定、構図の決定、及び動作情報の生成を行うことで、携帯端末８０Ｃの処理負荷を低減でき、携帯端末８０Ｃとの間の通信負荷の低減も実現できる。したがって、携帯端末８０Ｃは、携帯端末８０Ｃ自身の処理負荷を低減しながら、ジンバル装置３００Ｃと連携して撮像補助に係る処理に貢献できる。また、ジンバル装置３００Ｃは、ジンバル３１０Ｃの回転制御に、撮像補助により生成された動作情報を用いることができる。つまり、第１，第２の実施形態のような無人航空機１００による空撮のためだけでなく、ジンバル装置３００Ｃを用いた撮像のために、撮像補助による撮像支援が実施され得る。

【0241】

また、携帯端末８０Ｃは、撮像補助に係る主被写体の決定、構図の決定、及び動作情報の生成を行うことで、ジンバル装置３００Ｃの処理負荷を低減でき、撮像画像の処理等にジンバル装置３００Ｃを集中させることができる。また、ジンバル装置３００Ｃは、他装置である携帯端末８０Ｃ等により生成された動作情報に従って動作できるので、ジンバル装置３００Ｃの処理負荷を低減しても、所望の構図を実現するための所望の動作を実施できる。

【0242】

以上、本開示を実施形態を用いて説明したが、本開示の技術的範囲は上述した実施形態に記載の範囲には限定されない。上述した実施形態に、多様な変更又は改良を加えることが当業者に明らかである。その様な変更又は改良を加えた形態も本開示の技術的範囲に含まれ得ることが、特許請求の範囲の記載からも明らかである。

【0243】

特許請求の範囲、明細書、及び図面中において示した装置、システム、プログラム、及び方法における動作、手順、ステップ、及び段階等の各処理の実行順序は、特段「より前に」、「先立って」等と明示しておらず、前の処理の出力を後の処理で用いるのでない限り、任意の順序で実現可能である。特許請求の範囲、明細書、及び図面中の動作フローに関して、便宜上「先ず、」、「次に」等を用いて説明したとしても、この順で実施することが必須であることを意味するものではない。

【符号の説明】

【0244】

１０，１０Ａ 撮像補助システム
５０ 送信機
８０，８０Ａ，８０Ｂ，８０Ｃ 携帯端末
８１，８１Ａ 端末制御部
８２ インタフェース部
８３ 操作部
８５ 無線通信部
８７ メモリ
８８ 表示部
１００，１００Ａ 無人航空機
１１０，１１０Ａ ＵＡＶ制御部
１１１ 画像取得部
１１２ 主被写体決定部
１１３ 構図決定部
１１４ 動作情報生成部
１１５ 動作制御部
１１６ 動作情報取得部
１５０ 通信インタフェース
１６０ メモリ
２００ ジンバル
２１０ 回転翼機構
２２０，２３０ 撮像部
２４０ ＧＰＳ受信機
２５０ 慣性計測装置
２６０ 磁気コンパス
２７０ 気圧高度計
２８０ 超音波センサ
２９０ レーザー測定器
３００，３００Ｃ ジンバル装置
３１０，３１０Ｃ ジンバル
３１５ 取付部
３２０ 撮像部
３３０ 把持部
８１１ 画像取得部
８１２ 主被写体決定部
８１３ 構図決定部
８１４ 動作情報生成部
８２０ 撮像部

【図1】

【図2】

【図3】

【図4】

【図5】

【図6A】

【図6B】

【図6C】

【図7】

【図8A】

【図8B】

【図8C】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】

【図15】

【図16】

【図17A】

【図17B】