(58)【調査した分野】(Int.Cl.,DB名)
前記第2の取得部は、前記撮像モードの情報と、前記経路形状の情報と、前記経路形状に基づく空撮経路で空撮された空撮画像に含まれる被写体の形状を示す被写体形状の情報と、を記録する記録装置から、少なくとも1つの情報を取得する、
請求項1に記載の情報処理装置。
前記生成部は、前記分割部により取得された被写体形状の情報及び前記記録装置に記録された被写体形状の情報に基づいて、前記経路形状を加工して前記第1の空撮経路を生成する、
請求項5又は6に記載の情報処理装置。
前記第2の取得部は、前記記録装置は、前記撮像モードの情報と、前記経路形状の情報と、前記経路形状に基づく空撮経路で空撮された第2の空撮画像が空撮された際の第2の撮像情報と、を記録する記録装置から、少なくとも1つの情報を取得する、
請求項4〜9のいずれか1項に記載の情報処理装置。
前記撮像モードの情報、前記経路形状の情報、と記録する記録装置に、前記撮像モードとして前記第1の撮像モードが記録されていない場合、前記第1の撮像モードの情報が前記記録装置に記録されていない旨の情報を提示する提示部、を更に備える、
請求項1〜13のいずれか1項に記載の情報処理装置。
前記情報を取得するステップは、撮像モードの情報と、経路形状の情報と、前記経路形状に基づく空撮経路で空撮された第2の空撮画像に含まれる被写体の形状を示す被写体形状の情報と、を記録する記録装置から、少なくとも1つの情報を取得するステップを含む、
請求項17に記載の空撮経路生成方法。
前記第1の空撮経路を生成するステップは、前記被写体形状の情報を取得するステップにおいて取得された被写体形状の情報及び前記記録装置に記録された被写体形状の情報に基づいて、前記経路形状を加工して前記第1の空撮経路を生成するステップを含む、
請求項21又は22に記載の空撮経路生成方法。
前記情報を取得するステップは、前記撮像モードの情報と、前記経路形状の情報と、前記経路形状に対する評価情報と、を記録する記録装置から、少なくとも1つの情報を取得する、
請求項17に記載の空撮経路生成方法。
前記情報を取得するステップは、前記撮像モードの情報と、前記経路形状の情報と、前記経路形状に基づく空撮経路で空撮された第2の空撮画像が空撮された際の第2の撮像情報と、を記録する記録装置から、少なくとも1つの情報を取得するステップを含む、
請求項20〜25のいずれか1項に記載の空撮経路生成方法。
前記撮像モードの情報、前記経路形状の情報、と記録する記録装置に、前記撮像モードとして前記第1の撮像モードが記録されていない場合、前記第1の撮像モードの情報が前記記録装置に記録されていない旨の情報を提示するステップ、を更に含む、
請求項17〜29のいずれか1項に記載の空撮経路生成方法。
飛行体により第1の空撮画像を空撮するための第1の空撮経路を生成する情報処理装置と、空撮画像を空撮するための1つ以上の撮像モードの情報と1つ以上の空撮経路の形状を示す経路形状の情報とを蓄積するサーバ装置と、を備える空撮経路生成システムであって、
前記情報処理装置は、
前記第1の空撮画像を空撮するための空撮範囲の情報を取得し、
前記空撮範囲に存在する被写体の特徴毎に、前記空撮範囲を複数の領域に分割し、
分割された複数の領域に基づいて、前記第1の空撮画像を空撮するための第1の撮像モードを判定し、
前記サーバ装置から、前記第1の撮像モードに基づいて、少なくとも1つ前記経路形状の情報を取得し、
取得された前記経路形状に基づいて、前記第1の空撮経路を生成する、
空撮経路生成システム。
【発明の概要】
【発明が解決しようとする課題】
【0004】
特許文献1に記載された無人機では、固定経路を通りながら撮像するが、この固定経路は画一的な空撮経路となり、ユーザの嗜好に合った空撮経路とは限らない。つまり、画像を空撮するための空撮経路が、主観的又は客観的に評価されるような魅力的な空撮画像を取得できる空撮経路とはならないことがある。
【0005】
一方、魅力的な空撮画像を得るためには、ユーザが手動でテスト撮像を行い、所望の空撮経路を探ることになる。具体的には、ユーザがリモートコントローラ(プロポ)を操作し、リモートコントローラが、無人機を所望の方向へ飛行させ、無人機に撮像指示を送り画像を撮像させる。ユーザは、無人機により撮像された画像を確認する。このようなテスト撮像は、空撮高度、空撮経路、空撮時のカメラの設定など多数の要素を確認するために、複数回繰り返して実施される。リモートコントローラは、ユーザ操作により、テスト撮像において無人機が飛行した複数の空撮経路のうち、所望の空撮経路を選択し、将来の空撮で用いるための空撮経路として記録する。
【0006】
また、特許文献1の技術では、例えば、重点的な撮像対象としての被写体の特定や、特定された被写体の特徴(例えば被写体の形状)に合わせて空撮することが困難である。例えば、撮像対象としての被写体が位置する範囲が過去に撮像されたことがない場合、被写体の形状に合った空撮経路で空撮することができず、被写体を魅力的に撮像することが困難である可能性がある。
【課題を解決するための手段】
【0007】
一態様において、情報処理装置は、飛行体により第1の空撮画像を空撮するための第1の空撮経路を生成する情報処理装置であって、第1の空撮画像を空撮するための空撮範囲の情報を取得する第1の取得部と、空撮範囲に存在する被写体の特徴毎に、空撮範囲を複数の領域に分割する分割部と、分割された領域に基づいて、第1の空撮画像を空撮するための第1の撮像モードを判定する判定部と、1つ以上の撮像モードの情報、1つ以上の空撮経路の形状を示す経路形状の情報、及び第1の撮像モードに基づいて、少なくとも1つ経路形状の情報を取得する第2の取得部と、取得された経路形状に基づいて、第1の空撮経路を生成する生成部と、を備える。
【0008】
情報処理装置は、複数の経路形状の情報から1つの経路形状の情報を選択するための第1の操作を受け付ける操作部、を更に備えてよい。生成部は、選択された経路形状に基づいて、第1の空撮経路を生成してよい。
【0009】
情報処理装置は、経路形状を加工するための第2の操作を受け付ける操作部、を更に備えてよい。生成部は、経路形状と第2の操作とに基づいて、第1の空撮経路を生成してよい。
【0010】
第2の取得部は、撮像モードの情報と、経路形状の情報と、経路形状に基づく空撮経路で空撮された空撮画像に含まれる被写体の形状を示す被写体形状の情報と、を記録する記録装置から、少なくとも1つの情報を取得してよい。
【0011】
分割部は、空撮範囲に存在する被写体の形状を示す被写体形状の情報を取得してよい。第2の取得部は、第1の撮像モードに基づいて、分割部により取得された被写体形状に近似し、記録装置に記録された被写体形状の情報に対応する経路形状の情報を取得してよい。
【0012】
分割部により取得された被写体形状の情報及び記録装置に記録された被写体形状の情報は、3次元形状データで示されてよい。
【0013】
生成部は、分割部により取得された被写体形状の情報及び記録装置に記録された被写体形状の情報に基づいて、経路形状を加工して第1の空撮経路を生成してよい。
【0014】
第2の取得部は、撮像モードの情報と、経路形状の情報と、経路形状に対する評価情報と、を記録する記録装置から、少なくとも1つの情報を取得してよい。
【0015】
第2の取得部は、第1の撮像モード及び評価情報に基づいて、経路形状の情報を取得してよい。
【0016】
第2の取得部は、撮像モードの情報と、経路形状の情報と、経路形状に基づく空撮経路で空撮された第2の空撮画像が空撮された際の第2の撮像情報と、を記録する記録装置から、少なくとも1つの情報を取得してよい。
【0017】
第2の取得部は、取得される経路形状に対応する第2の撮像情報を取得してよい。生成部は、取得された第2の撮像情報に基づいて、第1の空撮画像を空撮するための第1の撮像情報を生成してよい。
【0018】
判定部は、複数の領域のそれぞれの大きさに基づいて、1つの第1の撮像モードを判定してよい。
【0019】
判定部は、複数の領域毎に、複数の第1の撮像モードを判定してよい。第2の取得部は、複数の第1の撮像モードのそれぞれに基づいて、複数の経路形状の情報のそれぞれを取得してよい。生成部は、複数の経路形状のそれぞれに基づいて、複数の第1の空撮経路の部分を生成し、複数の第1の空撮経路の部分を接続して第1の空撮経路を生成してよい。
【0020】
撮像モードの情報、経路形状の情報、と記録する記録装置に、撮像モードとして第1の撮像モードが記録されていない場合、第1の撮像モードの情報が記録装置に記録されていない旨の情報を提示する提示部、を更に備えてよい。
【0021】
情報処理装置は、制御部、を更に備えてよい。生成部は、第1の撮像モードでの空撮に用いられる経路形状の情報を生成してよい。制御部は、記録装置に、第1の撮像モードの情報と、経路形状の情報と、を関連付けて登録するよう制御してよい。
【0022】
情報処理装置は、経路形状の情報を入力するための第3の操作を受け付ける操作部、を更に備えてよい。生成部は、第3の操作に基づいて、経路形状の情報を生成してよい。
【0023】
一態様において、空撮経路生成方法は、飛行体により第1の空撮画像を空撮するための第1の空撮経路を生成する空撮経路生成方法であって、第1の空撮画像を空撮するための空撮範囲の情報を取得するステップと、空撮範囲に存在する被写体の特徴毎に、空撮範囲を複数の領域に分割するステップと、分割された複数の領域に基づいて、第1の空撮画像を空撮するための第1の撮像モードを判定するステップと、1つ以上の撮像モードの情報、1つ以上の空撮経路の形状を示す経路形状の情報、及び第1の撮像モードに基づいて、少なくとも1つ経路形状の情報を取得するステップと、取得された経路形状に基づいて、第1の空撮経路を生成するステップと、を有する。
【0024】
空撮経路生成方法は、複数の経路形状の情報から1つの経路形状の情報を選択するための第1の操作を受け付けるステップ、を更に含んでよい。第1の空撮経路を生成するステップは、選択された経路形状に基づいて、第1の空撮経路を生成するステップを含んでよい。
【0025】
空撮経路生成方法は、経路形状を加工するための第2の操作を受け付けるステップ、を更に含んでよい。第1の空撮経路を生成するステップは、経路形状と第2の操作とに基づいて、第1の空撮経路を生成するステップを含んでよい。
【0026】
情報を取得するステップは、撮像モードの情報と、経路形状の情報と、経路形状に基づく空撮経路で空撮された第2の空撮画像に含まれる被写体の形状を示す被写体形状の情報と、を記録する記録装置から、少なくとも1つの情報を取得するステップを含んでよい。
【0027】
空撮経路生成方法は、空撮範囲に存在する被写体の形状を示す被写体形状の情報を取得するステップ、を更に含んでよい。情報を取得するステップは、第1の撮像モードに基づいて、被写体形状の情報を取得するステップにおいて取得された被写体形状に近似し、記録装置に記録された被写体形状の情報に対応する経路形状の情報を取得するステップを含んでよい。
【0028】
被写体形状の情報を取得するステップにおいて取得された被写体形状の情報及び記録装置に記録された被写体形状の情報は、3次元形状データで示されてよい。
【0029】
第1の空撮経路を生成するステップは、被写体形状の情報を取得するステップにおいて取得された被写体形状の情報及び記録装置に記録された被写体形状の情報に基づいて、経路形状を加工して第1の空撮経路を生成するステップを含んでよい。
【0030】
情報を取得するステップは、撮像モードの情報と、経路形状の情報と、経路形状に対する評価情報と、を記録する記録装置から、少なくとも1つの情報を取得してよい。
【0031】
情報を取得するステップは、第1の撮像モード及び評価情報に基づいて、経路形状の情報を取得するステップを含んでよい。
【0032】
情報を取得するステップは、撮像モードの情報と、経路形状の情報と、経路形状に基づく空撮経路で空撮された第2の空撮画像が空撮された際の第2の撮像情報と、を記録する記録装置から、少なくとも1つの情報を取得するステップを含んでよい。
【0033】
空撮経路生成方法は、取得される経路形状に対応する第2の撮像情報を取得するステップと、取得された第2の撮像情報に基づいて、第1の空撮画像を空撮するための第1の撮像情報を生成するステップと、を更に含んでよい。
【0034】
第1の撮像モードを判定するステップは、複数の領域のそれぞれの大きさに基づいて、1つの第1の撮像モードを判定してよい。
【0035】
第1の撮像モードを判定するステップは、複数の領域毎に、複数の第1の撮像モードを判定するステップを含んでよい。情報を取得するステップは、複数の第1の撮像モードのそれぞれに基づいて、複数の経路形状の情報のそれぞれを取得するステップを含んでよい。第1の空撮経路を生成するステップは、複数の経路形状のそれぞれに基づいて、複数の第1の空撮経路の部分を生成し、複数の第1の空撮経路の部分を接続して第1の空撮経路を生成するステップを含んでよい。
【0036】
空撮経路生成方法は、撮像モードの情報、経路形状の情報、と記録する記録装置に、撮像モードとして第1の撮像モードが記録されていない場合、第1の撮像モードの情報が記録装置に記録されていない旨の情報を提示するステップ、を更に含んでよい。
【0037】
空撮経路生成方法は、第1の撮像モードでの空撮に用いられる経路形状の情報を生成するステップと、記録装置に、第1の撮像モードの情報と、経路形状の情報と、を関連付けて登録するよう制御するステップと、を更に含んでよい。
【0038】
空撮経路生成方法は、経路形状の情報を入力するための第3の操作を受け付けるステップ、を更に含んでよい。経路形状の情報を生成するステップは、第3の操作に基づいて、経路形状の情報を生成するステップを含んでよい。
【0039】
一態様において、空撮経路生成システムは、飛行体により第1の空撮画像を空撮するための第1の空撮経路を生成する情報処理装置と、空撮画像を空撮するための1つ以上の撮像モードの情報と1つ以上の空撮経路の形状を示す経路形状の情報とを蓄積するサーバ装置と、を備える空撮経路生成システムであって、情報処理装置は、第1の空撮画像を空撮するための空撮範囲の情報を取得し、空撮範囲に存在する被写体の特徴毎に、空撮範囲を複数の領域に分割し、分割された複数の領域に基づいて、第1の空撮画像を空撮するための第1の撮像モードを判定し、サーバ装置から、第1の撮像モードに基づいて、少なくとも1つ経路形状の情報を取得し、取得された経路形状に基づいて、第1の空撮経路を生成する。
【0040】
一態様において、プログラムは、飛行体により第1の空撮画像を空撮するための第1の空撮経路を生成する情報処理装置に、第1の空撮画像を空撮するための空撮範囲の情報を取得するステップと、空撮範囲に存在する被写体の特徴毎に、空撮範囲を複数の領域に分割するステップと、分割された複数の領域に基づいて、第1の空撮画像を空撮するための第1の撮像モードを判定するステップと、1つ以上の撮像モードの情報、1つ以上の空撮経路の形状を示す経路形状の情報、及び第1の撮像モードに基づいて、少なくとも1つ経路形状の情報を取得するステップと、取得された経路形状に基づいて、第1の空撮経路を生成するステップと、を実行させるためのプログラムである。
【0041】
一態様において、記録媒体は、飛行体により第1の空撮画像を空撮するための第1の空撮経路を生成する情報処理装置に、第1の空撮画像を空撮するための空撮範囲の情報を取得するステップと、空撮範囲に存在する被写体の特徴毎に、空撮範囲を複数の領域に分割するステップと、分割された複数の領域に基づいて、第1の空撮画像を空撮するための第1の撮像モードを判定するステップと、1つ以上の撮像モードの情報、1つ以上の空撮経路の形状を示す経路形状の情報、及び第1の撮像モードに基づいて、少なくとも1つ経路形状の情報を取得するステップと、取得された経路形状に基づいて、第1の空撮経路を生成するステップと、を実行させるためのプログラムを記録したコンピュータ読取り可能な記録媒体である。
【0042】
なお、上記の発明の概要は、本開示の特徴の全てを列挙したものではない。また、これらの特徴群のサブコンビネーションもまた、発明となりうる。
【発明を実施するための形態】
【0044】
以下、発明の実施形態を通じて本開示を説明するが、以下の実施形態は特許請求の範囲に係る発明を限定するものではない。実施形態の中で説明されている特徴の組み合わせの全てが発明の解決手段に必須とは限らない。
【0045】
特許請求の範囲、明細書、図面、及び要約書には、著作権による保護の対象となる事項が含まれる。著作権者は、これらの書類の何人による複製に対しても、特許庁のファイル又はレコードに表示される通りであれば異議を唱えない。ただし、それ以外の場合、一切の著作権を留保する。
【0046】
以下の実施形態では、飛行体として、無人航空機(UAV:Unmanned Aerial Vehicle)を例示する。飛行体は、空中を移動する航空機を含む。本明細書に添付する図面では、無人航空機を「UAV」と表記する。また、情報処理装置として、携帯端末を例示する。なお、情報処理装置は、携帯端末以外でもよく、例えば無人航空機、送信機、PC(Personal Computer)、又はその他の情報処理装置でもよい。空撮経路生成方法は、情報処理装置における動作が規定されたものである。記録媒体は、プログラム(例えば情報処理装置に各種の処理を実行させるプログラム)が記録されたものである。
【0047】
(第1の実施形態)
図1は、第1の実施形態における空撮経路生成システム10の構成例を示す模式図である。空撮経路生成システム10は、1台以上の無人航空機100、送信機50、携帯端末80、及びサーバ装置90を備える。無人航空機100、送信機50、携帯端末80、及びサーバ装置90は、相互に有線通信又は無線通信(例えば無線LAN(Local Area Network))により通信可能である。携帯端末80は、情報処理装置の一例である。サーバ装置90は、記録装置の一例である。
【0048】
無人航空機100は、送信機50による遠隔操作に従って飛行し、又は事前に設定された飛行経路に従って飛行可能である。送信機50は、遠隔操作によって無人航空機100の飛行の制御を指示する。つまり、送信機50は、リモートコントローラとして動作する。携帯端末80は、送信機50とともに、無人航空機100を用いた空撮を予定しているユーザに所持され得る。携帯端末80は、サーバ装置90と連携して、無人航空機100の空撮経路や無人航空機100による撮像に関する撮像情報を生成する。サーバ装置90は、無人航空機100により空撮するための空撮経路の形状を示す経路形状のサンプルを保持する。サーバ装置90は、携帯端末80からの要求に応じて、保持された経路形状のサンプルを提供可能である。
【0049】
図2は、無人航空機100のハードウェア構成の一例を示すブロック図である。無人航空機100は、UAV制御部110と、通信インタフェース150と、メモリ160と、ストレージ170と、ジンバル200と、回転翼機構210と、撮像装置220と、撮像装置230と、GPS受信機240と、慣性計測装置(IMU:Inertial Measurement Unit)250と、磁気コンパス260と、気圧高度計270と、超音波センサ280と、レーザー測定器290と、を含む構成である。
【0050】
UAV制御部110は、例えばCPU(Central Processing Unit)、MPU(Micro Processing Unit)又はDSP(Digital Signal Processor)を用いて構成される。UAV制御部110は、無人航空機100の各部の動作を統括して制御するための信号処理、他の各部との間のデータの入出力処理、データの演算処理及びデータの記憶処理を行う。
【0051】
UAV制御部110は、メモリ160に格納されたプログラムに従って無人航空機100の飛行を制御する。例えば、携帯端末80から取得された空撮経路に従って、無人航空機100の飛行を制御してよい。UAV制御部110は、通信インタフェース150を介して遠隔の送信機50から受信した命令に従って、無人航空機100の飛行を制御する。メモリ160は無人航空機100から取り外し可能であってもよい。
【0052】
UAV制御部110は、無人航空機100の位置を示す位置情報を取得する。UAV制御部110は、GPS受信機240から、無人航空機100が存在する緯度、経度及び高度を示す位置情報を取得してよい。UAV制御部110は、GPS受信機240から無人航空機100が存在する緯度及び経度を示す緯度経度情報、並びに気圧高度計270から無人航空機100が存在する高度を示す高度情報をそれぞれ位置情報として取得してよい。
【0053】
UAV制御部110は、磁気コンパス260から無人航空機100の向きを示す向き情報を取得する。向き情報には、例えば無人航空機100の機首の向きに対応する方位が示される。
【0054】
UAV制御部110は、撮像装置220及び撮像装置230のそれぞれの撮像範囲を示す情報を取得する。UAV制御部110は、撮像範囲を特定するためのパラメータとして、撮像装置220及び撮像装置230の画角を示す画角情報を撮像装置220及び撮像装置230から取得する。UAV制御部110は、撮像範囲を特定するためのパラメータとして、撮像装置220及び撮像装置230の撮像方向を示す情報を取得する。UAV制御部110は、例えば撮像装置220の撮像方向を示す情報として、ジンバル200から撮像装置220の姿勢の状態を示す姿勢情報を取得する。UAV制御部110は、無人航空機100の向きを示す情報を取得する。撮像装置220の姿勢の状態を示す情報は、ジンバル200のピッチ軸及びヨー軸の基準回転角度からの回転角度を示す。UAV制御部110は、撮像範囲を特定するためのパラメータとして、無人航空機100が存在する位置を示す位置情報を取得する。UAV制御部110は、撮像装置220及び撮像装置230の画角及び撮像方向、並びに無人航空機100が存在する位置に基づいて、撮像装置220が撮像する地理的な範囲を示す撮像範囲を画定し、撮像範囲を示す情報を生成することで、撮像範囲を示す情報を取得してよい。
【0055】
UAV制御部110は、ジンバル200、回転翼機構210、撮像装置220、及び撮像装置230を制御する。UAV制御部110は、撮像装置220の撮像方向又は画角を変更することによって、撮像装置220の撮像範囲を制御する。UAV制御部110は、ジンバル200の回転機構を制御することで、ジンバル200に支持されている撮像装置220の撮像範囲を制御する。
【0056】
撮像範囲とは、撮像装置220又は撮像装置230により撮像される地理的な範囲をいう。撮像範囲は、緯度、経度、及び高度で定義される。撮像範囲は、緯度、経度、及び高度で定義される3次元空間データにおける範囲でよい。撮像範囲は、撮像装置220又は撮像装置230の画角及び撮像方向、並びに無人航空機100が存在する位置に基づいて特定される。撮像装置220及び撮像装置230の撮像方向は、撮像装置220及び撮像装置230の撮像レンズが設けられた正面が向く方位と俯角とから定義される。撮像装置220の撮像方向は、無人航空機100の機首の方位と、ジンバル200に対する撮像装置220の姿勢の状態とから特定される方向である。撮像装置230の撮像方向は、無人航空機100の機首の方位と、撮像装置230が設けられた位置とから特定される方向である。
【0057】
UAV制御部110は、撮像装置220又は撮像装置230により撮像された撮像画像(空撮画像)に対して、この空撮画像に関する情報を付加情報(メタデータの一例)として付加する。空撮画像は、空撮動画でよい。付加情報は、空撮時の無人航空機100の飛行に関する情報(飛行情報)と空撮時の撮像装置220又は撮像装置230による撮像に関する情報(撮像情報)とを含む。飛行情報は、空撮位置情報、空撮経路情報、空撮時刻情報、空撮時期情報、及び空撮天候情報のうち少なくとも1つを含んでよい。撮像情報は、空撮画角情報、空撮方向情報、空撮姿勢情報、撮像範囲情報、及び被写体距離情報、のうち少なくとも1つを含んでよい。
【0058】
空撮経路情報は、空撮画像が空撮された経路(空撮経路)を示す。空撮経路情報は、空撮画像として動画が取得された場合の経路情報であり、空撮位置が連続的に連なる空撮位置の集合により構成されてよい。空撮経路情報は、空撮動画が撮像された位置の集合に関する情報でよい。空撮位置は、GPS受信機240により取得された位置に基づいてよい。空撮時刻情報は、空撮画像が空撮された時刻(空撮時刻)を示す。空撮時刻情報は、UAV制御部110が参照するタイマの時刻情報に基づいてよい。空撮時期情報は、空撮画像が空撮された時期(空撮時期)(例えば季節)を示す。空撮時刻情報は、UAV制御部110が参照するタイマの日時情報に基づいてよい。空撮天候情報は、空撮画像が空撮された際の天候を示す。空撮天候情報は、例えば、無人航空機100が図示しない温度計や湿度計を用いて検出した検出情報に基づいてよいし、通信インタフェース150を介して外部サーバから取得した天候に関する情報に基づいてよい。
【0059】
空撮画角情報は、空撮画像が空撮された際の撮像装置220又は撮像装置230の画角情報を示す。空撮方向情報は、空撮画像が空撮された際の撮像装置220又は撮像装置230の撮像方向(空撮方向)を示す。空撮姿勢情報は、空撮画像が空撮された際の撮像装置220又は撮像装置230の姿勢情報を示す。撮像範囲情報は、空撮画像が空撮された際の撮像装置220又は撮像装置230の撮像範囲を示す。被写体距離情報は、撮像装置220又は撮像装置230から被写体までの距離の情報を示す。被写体距離情報は、超音波センサ280又はレーザー測定器290による検出情報に基づいてよい。また、撮像情報は、空撮時の無人航空機100の向きの情報やその他の撮像に関するパラメータを含んでもよい。
【0060】
通信インタフェース150は、送信機50、携帯端末80及びサーバ装置90と通信する。通信インタフェース150は、空撮経路を生成した装置から空撮経路の情報や撮像情報を受信する。空撮経路を生成した装置は、送信機50、携帯端末80、又は他の装置でよい。
【0061】
通信インタフェース150は、遠隔の送信機50からUAV制御部110に対する各種の命令や情報を受信する。
【0062】
メモリ160は、UAV制御部110がジンバル200、回転翼機構210、撮像装置220、撮像装置230、GPS受信機240、慣性計測装置250、磁気コンパス260、及び気圧高度計270、超音波センサ280、レーザー測定器290を制御するのに必要なプログラム等を格納する。メモリ160は、コンピュータ読み取り可能な記録媒体でよく、SRAM(Static Random Access Memory)、DRAM(Dynamic Random Access Memory)、EPROM(Erasable Programmable Read Only Memory)、EEPROM(Electrically Erasable Programmable Read-Only Memory)、及びUSB(Universal Serial Bus)メモリ等のフラッシュメモリの少なくとも1つを含んでよい。
【0063】
メモリ160は、通信インタフェース150等を介して取得された空撮経路の情報や撮像情報を格納可能である。空撮経路の情報は、空撮時にメモリ160から読み出されてよく、無人航空機100は、この空撮経路に沿って飛行してよい。撮像情報は、空撮時にメモリ160から読み出されてよく、撮像装置220又は撮像装置230は、この撮像情報従って空撮してよい。
【0064】
ジンバル200は、ヨー軸、ピッチ軸、及びロール軸を中心に撮像装置220を回転可能に支持してよい。ジンバル200は、ヨー軸、ピッチ軸、及びロール軸の少なくとも1つを中心に撮像装置220を回転させることで、撮像装置220の撮像方向を変更してよい。
【0065】
ヨー軸、ピッチ軸、及びロール軸は、以下のように定められてよい。例えば、水平方向(地面と平行な方向)にロール軸が定義されたとする。この場合、地面と平行であってロール軸に垂直な方向にピッチ軸が定められ、地面に垂直であってロール軸及びピッチ軸に垂直な方向にヨー軸(z軸参照)が定められる。
【0066】
撮像装置220は、所望の撮像範囲の被写体を撮像して撮像画像のデータを生成する。撮像装置220の撮像により得られた画像データは、撮像装置220が有するメモリ、又はメモリ160に格納される。
【0067】
撮像装置230は、無人航空機100の周囲を撮像して撮像画像のデータを生成する。撮像装置230の画像データは、メモリ160に格納される。
【0068】
GPS受信機240は、複数の航法衛星(つまり、GPS衛星)から発信された時刻及び各GPS衛星の位置(座標)を示す複数の信号を受信する。GPS受信機240は、受信された複数の信号に基づいて、GPS受信機240の位置(つまり、無人航空機100の位置)を算出する。GPS受信機240は、無人航空機100の位置情報をUAV制御部110に出力する。なお、GPS受信機240の位置情報の算出は、GPS受信機240の代わりにUAV制御部110により行われてよい。この場合、UAV制御部110には、GPS受信機240が受信した複数の信号に含まれる時刻及び各GPS衛星の位置を示す情報が入力される。
【0069】
慣性計測装置250は、無人航空機100の姿勢を検出し、検出結果をUAV制御部110に出力する。慣性計測装置IMU250は、無人航空機100の姿勢として、無人航空機100の前後、左右、及び上下の3軸方向の加速度と、ピッチ軸、ロール軸、及びヨー軸の3軸方向の角速度とを検出する。
【0070】
磁気コンパス260は、無人航空機100の機首の方位を検出し、検出結果をUAV制御部110に出力する。
【0071】
気圧高度計270は、無人航空機100が飛行する高度を検出し、検出結果をUAV制御部110に出力する。なお、気圧高度計270以外のセンサにより、無人航空機100が飛行する高度が検出されてもよい。
【0072】
超音波センサ280は、超音波を放射し、地面や物体により反射された超音波を検出し、検出結果をUAV制御部110に出力する。検出結果は、無人航空機100から地面までの距離つまり高度を示してよい。検出結果は、無人航空機100から物体(被写体)までの距離を示してよい。
【0073】
レーザー測定器290は、物体にレーザー光を照射し、物体で反射された反射光を受光し、反射光により無人航空機100と物体(被写体)との間の距離を測定する。レーザー光による距離の測定方式は、一例として、タイムオブフライト方式でよい。
【0074】
図3は、携帯端末80のハードウェア構成の一例を示すブロック図である。携帯端末80は、端末制御部81、インタフェース部82、操作部83、無線通信部85、メモリ87、及び表示部88を備えてよい。携帯端末80は、情報処理装置の一例である。端末制御部81は、制御部の一例である。操作部83は、操作部の一例である。表示部88は、提示部の一例である。
【0075】
端末制御部81は、例えばCPU、MPU又はDSPを用いて構成される。端末制御部81は、携帯端末80の各部の動作を統括して制御するための信号処理、他の各部との間のデータの入出力処理、データの演算処理及びデータの記憶処理を行う。
【0076】
端末制御部81は、無線通信部85を介して、無人航空機100からのデータや情報を取得してよい。端末制御部81は、インタフェース部82を介して、送信機50からのデータや情報を取得してよい。端末制御部81は、操作部83を介して入力されたデータや情報を取得してよい。端末制御部81は、メモリ87に保持されたデータや情報を取得してよい。端末制御部81は、データや情報を表示部88に送り、このデータや情報に基づく表示情報を表示部88に表示させてよい。
【0077】
端末制御部81は、空撮経路生成アプリケーションを実行してよい。空撮経路生成アプリケーションは、無人航空機100により画像を空撮するための空撮経路を生成するアプリケーションでよい。端末制御部81は、アプリケーションで用いられる各種のデータを生成してよい。
【0078】
インタフェース部82は、送信機50と携帯端末80との間の情報やデータの入出力を行う。インタフェース部82は、例えばUSBケーブルを介して入出力してよい。インタフェース部65は、USB以外のインタフェースでもよい。
【0079】
操作部83は、携帯端末80のユーザにより入力されるデータや情報を受け付ける。操作部83は、ボタン、キー、タッチパネル、マイクロホン、等を含んでよい。ここでは、主に、操作部83と表示部88とがタッチパネルにより構成されることを例示する。この場合、操作部83は、タッチ操作、タップ操作、ドラック操作等を受付可能である。
【0080】
無線通信部85は、各種の無線通信方式により、無人航空機100やサーバ装置90との間で無線通信する。この無線通信の無線通信方式は、例えば、無線LAN、Bluetooth(登録商標)、又は公衆無線回線を介した通信を含んでよい。
【0081】
メモリ87は、例えば携帯端末80の動作を規定するプログラムや設定値のデータが格納されたROMと、端末制御部81の処理時に使用される各種の情報やデータを一時的に保存するRAMを有してよい。メモリ87は、ROM及びRAM以外のメモリが含まれてよい。メモリ87は、携帯端末80の内部に設けられてよい。メモリ87は、携帯端末80から取り外し可能に設けられてよい。プログラムは、アプリケーションプログラムを含んでよい。
【0082】
表示部88は、例えばLCD(Liquid Crystal Display)を用いて構成され、端末制御部81から出力された各種の情報やデータを表示する。表示部88は、空撮経路生成アプリケーションの実行に係る各種データや情報を表示してよい。
【0083】
なお、携帯端末80は、ホルダを介して送信機50に装着されてよい。携帯端末80と送信機50とは、有線ケーブル(例えばUSBケーブル)を介して接続されてよい。携帯端末80が送信機50に装着されず、携帯端末80と送信機50がそれぞれ独立して設けられてもよい。
【0084】
図4は、端末制御部81の機能構成の一例を示すブロック図である。端末制御部81は、空撮範囲取得部811、領域分割部812、撮像モード判定部813、サーバ情報取得部814、情報加工部815、空撮経路生成部816、及び撮像情報生成部817を備える。空撮範囲取得部811は、第1の取得部の一例である。領域分割部812は、分割部の一例である。撮像モード判定部813は、判定部の一例である。サーバ情報取得部814は、第2の取得部の一例である。空撮経路生成部816は、生成部の一例である。撮像情報生成部817は、生成部の一例である。情報加工部815は、生成部の一例である。
【0085】
空撮範囲取得部811は、無線通信部85を介して外部サーバ等が蓄積する地
図DBの地図情報(地図画像)を取得する。空撮範囲取得部811は、表示部88を介して地図情報を表示し、操作部83を介して地図情報でのタッチ操作等により、空撮範囲を選択して、空撮範囲の情報を取得してよい。空撮範囲は、無人航空機100により空撮する地理的な空撮対象範囲でよい。空撮範囲の情報は、具体的な2次元位置(例えば緯度、経度の値)の情報であってよい。また、空撮範囲の情報は、具体的な地理的場所を示す地理的な名称(例えば「台場」)の情報であってもよい。地図画像は、空撮範囲を示す地図画像であり、2次元空間(例えば緯度・経度)で示された2次元画像でもよいし、3次元空間(例えば緯度・経度・高度)で示された3次元画像でもよい。
【0086】
領域分割部812は、取得された空撮範囲の地図画像に対して撮像領域を解析して、空撮範囲を複数の領域に分割する。領域分割部812は、意味的領域分割(semantic segmentation)を行ってよい。意味的領域分割では、領域分割部812は、空撮範囲内の地図画像に含まれる被写体(例えば、山、海、建物、川)毎に、つまり被写体の特徴毎に、空撮範囲を複数の領域に分割する。例えば、地図画像での各画素の画素値が、被写体毎におおまかに一致する。したがって、同様の画素値の配列となっている領域は、同じ被写体が含まれる領域であると推測されてよい。よって、異なる被写体が存在する箇所で領域が分割され得る。このようにして、空撮範囲は、例えば山の領域、海の領域、建物の領域、川の領域のうちの少なくとも2つに分割されてよい。
【0087】
なお、領域分割部812による画像認識は、外部サーバ(例えば地図画像を蓄積する地図情報サーバ)により実施され、無線通信部85を介して意味的領域分割された領域情報や各領域内に存在する被写体の情報が取得されてもよい。
【0088】
撮像モード判定部813は、空撮画像を空撮するための撮像モードを判定する。撮像モードは、例えば山モード、海モード、建物モード、川モードが含まれてよい。撮像モード判定部813は、分割された複数の領域のそれぞれが空撮範囲に対して占める割合や位置関係に応じて、撮像モードを判定してよい。例えば無人航空機100が山モードに設定された場合、空撮範囲に存在する被写体としての山を中心とした空撮が行われる。撮像モード判定部813により判定される撮像モードは、将来の空撮時の撮像モードを加味しているので、予定撮像モードとも称する。
【0089】
サーバ情報取得部814は、例えば無線通信部85を介して、サーバ装置90からのデータや情報を取得する。サーバ装置90から取得されるデータや情報は、携帯端末80が送信した空撮範囲の情報に基づく経路形状のサンプルの情報を含む。サーバ情報取得部814は、経路形状DB991に記録された経路形状のサンプルの情報を取得してよい。
【0090】
情報加工部815は、経路形状のサンプルを空撮範囲の被写体を空撮するための空撮経路に適用するために、経路形状のサンプルを加工(process)し、加工情報を生成する。例えば、情報加工部815は、山の形状に関する情報や山を空撮する際の撮像情報に基づいて、山を空撮するための経路形状のサンプルを加工してよい。山の形状に関する情報は、地面断面での山の半径や山の高さ、その他の特徴的な形状の情報を含んでよい。山を空撮する際の撮像情報は、例えば、無人航空機100から山までの距離(被写体までの距離)、山を撮像するための無人航空機100やジンバル200の姿勢(空撮姿勢)、撮像装置220又は撮像装置230の画角(空撮画角)、撮像装置220又は撮像装置230を向ける方向(空撮方向)の情報を含んでよい。情報加工部815は、例えば操作部83への操作に応じて加工情報を生成してよい。
【0091】
空撮経路生成部816は、空撮範囲に含まれる空撮経路を生成する。空撮経路生成部816は、経路形状のサンプルと加工情報とに基づいて、無人航空機100が将来空撮するための空撮経路(予定空撮経路とも称する)を生成してよい。予定空撮経路は、第1の空撮経路の一例である。
【0092】
撮像情報生成部817は、空撮範囲に含まれる予定空撮経路を飛行して空撮する際の撮像装置220又は撮像装置230の撮像情報(予定撮像情報とも称する)を生成する。撮像情報生成部817は、加工情報に基づいて、予定撮像情報を生成してよい。また、撮像情報生成部817は、撮像モード判定部813により判定された撮像モードに基づいて、撮像情報が生成されてもよい。つまり、撮像モード毎に、撮像情報が決定され、メモリ87等に保持されていてよい。例えば、山モードの場合には山に向けて(側方に向けて)空撮されてよく、海モードの場合には海に向けて(地面方向に向けて)空撮されてよい。
【0093】
図5は、サーバ装置90のハードウェア構成の一例を示すブロック図である。サーバ装置90は、サーバ制御部91、無線通信部95、メモリ97、及びストレージ99を備えてよい。
【0094】
サーバ制御部91は、例えばCPU、MPU又はDSPを用いて構成される。サーバ制御部91は、サーバ装置90の各部の動作を統括して制御するための信号処理、他の各部との間のデータの入出力処理、データの演算処理及びデータの記憶処理を行う。
【0095】
サーバ制御部91は、無線通信部95を介して、無人航空機100や携帯端末80からのデータや情報を取得してよい。サーバ制御部91は、メモリ97やストレージ99に保持されたデータや情報を取得してよい。サーバ制御部91は、データや情報を携帯端末80へ送り、このデータや情報に基づく表示情報を表示部88に表示させてよい。
【0096】
無線通信部95は、各種の無線通信方式により、無人航空機100及び携帯端末80との間で通信する。無線通信方式は、例えば、無線LAN、Bluetooth(登録商標)、又は公衆無線回線を介した通信を含んでよい。
【0097】
メモリ97は、例えばサーバ装置90の動作を規定するプログラムや設定値のデータが格納されたROMと、サーバ制御部91の処理時に使用される各種の情報やデータを一時的に保存するRAMを有してよい。メモリ97は、ROM及びRAM以外のメモリが含まれてよい。メモリ97は、サーバ装置90の内部に設けられてよい。メモリ97は、サーバ装置90から取り外し可能に設けられてよい。
【0098】
ストレージ99は、各種データ、情報を蓄積し、保持する。ストレージ99は、経路形状DB991を備える。ストレージ99は、HDD(Hard Disk Drive)、SSD(Solid State Drive)、SDカード、USBメモリ、等でよい。ストレージ99は、サーバ装置90の内部に設けられてよい。ストレージ99は、サーバ装置90から取り外し可能に設けられてよい。
【0099】
経路形状DB991は、撮像モード毎に経路形状のサンプルを蓄積し、保持する。経路形状DB991は、サーバ制御部91からの要求に応じて、経路形状のサンプルをサーバ制御部91へ送ってよい。
【0100】
図6は、サーバ装置90の機能構成の一例を示すブロック図である。サーバ制御部91は、端末情報取得部911、DB情報抽出部912、情報通知部913、及びDB更新部914を備える。
【0101】
端末情報取得部911は、無線通信部95を介して、携帯端末80からの情報(例えば予定撮像モードの情報)を取得する。
【0102】
DB情報抽出部912は、取得された予定撮像モードに基づいて、経路形状DB991を検索し、経路形状DB991からデータや情報を抽出する。例えば、DB情報抽出部912は、予定撮像モードに対応する(例えば一致する)撮像モード(DB撮像モード)をキーとして、このDB撮像モードに属する被写体を空撮するための経路形状のサンプルを1つ以上抽出してよい。
【0103】
情報通知部913は、無線通信部95を介して、経路形状DB991から抽出されたデータや情報(例えば1つ以上の経路形状のサンプル)を、携帯端末80へ送信する。情報通知部913は、取得された予定撮像モードに対応する(例えば一致する)DB撮像モードが経路形状DB991に存在しない場合、予定撮像モードが経路形状DB991に存在しない旨を、携帯端末80へ通知してよい。
【0104】
DB更新部914は、端末情報取得部911により取得された携帯端末80からの情報(例えば新規な予定撮像モードや経路形状の情報)を経路形状DB991へ登録する。DB更新部914は、携帯端末80からの情報を新たに保持させることで、経路形状DB991を更新する。
【0105】
図7は、経路形状DB991に格納された情報をテーブル形式で示す模式図である。経路形状DB991は、撮像モード(DB撮像モード)毎に、経路形状のサンプルを保持する。
図7では、各撮像モードでの被写体(例えば山、海、建物)は点線で示され、被写体を空撮するための経路形状のサンプルは、太実線で示されている。
【0106】
図7では、経路形状DB991には、DB撮像モード「山」において、形状M1〜M5が登録されている。形状M1は、山の周囲を螺旋状(ヘリカル状)に旋回するための空撮経路の形状を示す。形状M2は、山の稜線に沿って飛行するための空撮経路の形状を示す。形状M3は、山の上空を同一高度で一周飛行するための空撮経路の形状を示す。形状M4は、山の上空を同一高度で螺旋状(スパイラル状)に旋回するための空撮経路の形状を示す。形状M5は、山の側方を重力方向に沿って飛行するための空撮経路の形状を示す。なお、形状M1,M2,M5は、山を側方から見たイメージを示す。形状M3,M4は、山を上方から見たイメージを示す。
【0107】
図7では、経路形状DB991には、DB撮像モード「海」において、形状S1〜S3が登録されている。形状S1は、海の上空を同一高度で一方向に飛行するための空撮経路の形状を示す。形状S2は、海の上空を同一高度で直線的に折り返しながら飛行するための空撮経路の形状を示す。形状S3は、海の上空を同一高度で螺旋状(スパイラル状)に旋回するための空撮経路の形状を示す。なお、形状S1,S2S3は、海を上方から見たイメージを示す。
【0108】
図7では、経路形状DB991には、DB撮像モード「建物」において、形状B1〜B3が登録されている。形状B1は、建物の側方を重力方向に沿って飛行するための空撮経路の形状を示す。形状B2は、建物の周囲を螺旋状(ヘリカル状)に旋回するための空撮経路の形状を示す。なお、形状B1,B2は、建物を側方から見たイメージを示す。
【0109】
なお、
図7では、DB撮像モードの下位に経路形状のサンプルが属することを例示したが、経路形状のサンプルをある程度まとめた経路形状クラスの層が存在してもよい。つまり、DB撮像モード(例えば山モード)の下位に経路形状クラス(例えば螺旋状クラス)が存在し、経路形状クラスに経路形状サンプル(例えば形状M4)が属するようにしてもよい。
【0110】
図8は、空撮範囲の入力例を説明するための図である。
【0111】
携帯端末80は、空撮を予定しているユーザに所持され得る。携帯端末80では、操作部83が、空撮範囲A1の情報を入力する。操作部83は、空撮範囲A1として、地図情報MA1に示された空撮を望む所望の範囲のユーザ入力を受け付けてよい。また、操作部83は、空撮を望む所望の地名、場所を特定可能な建造物やその他の情報の名称(地名等とも称する)を入力してよい。この場合、空撮範囲取得部811が、地名等の示す範囲を空撮範囲A1として取得してよいし、地名等の周囲の所定範囲(例えば地名が示す位置を中心として半径100mの範囲)を空撮範囲A1として取得してよい。
【0112】
図9は、予定撮像モードの判定を説明するための図である。
【0113】
図9では、空撮範囲A1の地図画像に、山、川、市街地(建物)が映り込んでいる。領域分割部812により意味的領域分割されると、山の領域、川の領域、建物の領域が形成される。撮像モード判定部813は、空撮範囲A1における各領域のうち、山の領域が最大であるので、空撮範囲A1を空撮するための撮像モードは、山モードであると判定してよい。また、操作部83を介して、ユーザにより手動で撮像モードが選択されてもよい。
【0114】
これにより、携帯端末80は、予定撮像モードにおいて代表的な被写体(例えば山モードでは山)の空撮に適した予定空撮経路を生成できる。
【0115】
また、撮像モード判定部813は、空撮範囲A1において分割された領域毎に、予定撮像モードを決定してよい。この場合、
図9では、山の領域、川の領域、建物の領域が存在するので、山の領域では山モード、川の領域では川モード、建物の領域では建物モードであると判定される。
【0116】
図10は、経路形状のサンプルの選択を説明するための図である。
【0117】
サーバ情報取得部814により複数の経路形状のサンプルが取得された場合、表示部88は、これらの経路形状のサンプルを表示してよい。携帯端末80のユーザは、表示部88の表示を確認し、操作部83を介して、複数の経路形状のサンプルからいずれか1つの経路形状のサンプルを選択してよい。なお、サーバ情報取得部814により1つの経路形状のサンプルが取得された場合、携帯端末80は、
図10に示す選択操作を行わずに、取得された経路形状のサンプルを空撮支援に採用する経路形状のサンプルとして決定してよい。なお、携帯端末80は、ユーザにより選択された経路形状の選択情報又は選択指示を入力し、選択された経路形状を取得してよい。
【0118】
これにより、携帯端末80は、ユーザが空撮しようとする空撮範囲A1における被写体に合わせて、1つの経路形状をユーザの意思に基づいて決定できる。よって、所望の被写体(例えば山)を撮像しようとした場合に、被写体を適切に空撮するための空撮経路を知らない場合でも、サンプルとして用意された空撮経路の形状を容易に決定できる。
【0119】
図11は、経路形状以外のパラメータ(加工情報)の生成を説明するための図である。
【0120】
表示部88は、加工情報を入力するために、加工情報に含まれる各パラメータの内容を表示してよい。ここでは、経路形状のサンプルとして、山モードでの形状M1を想定する。
図11では、形状M1をヘリカル形状と記載している。
図11では、形状M1の水平方向長さ(水平方向の直径に相当)、形状M1の高さ方向の長さ、被写体までの距離、空撮画角、空撮方向の情報が、入力対象となっている。携帯端末80のユーザは、入力対象となっている各パラメータの情報を、操作部83を介して入力してよい。
図11に示したパラメータ以外のパラメータ(形状M1の場合の無人航空機100の進行方向がどちらの方向か、形状M1の螺旋一周した場合の高さの変化がどの程度か、等)が入力対象となってもよい。
【0121】
これにより、携帯端末80は、画一的に定められた経路形状を一部加工し、空撮範囲に存在する実際の被写体に合わせて空撮経路を生成可能となる。よって、同じ予定撮像モードとしての山モードであっても、どの山であるかによって形状も高さも1つ1つ異なるが、加工情報に基づいて、所望の被写体に合わせて経路形状を加工できる。また、操作部83を介したユーザ入力を基に、加工情報を生成することで、ユーザの意思を反映して空撮経路を生成できる。
【0122】
なお、加工情報の生成は、ユーザ入力に基づかなくてもよい。例えば、山に関する情報は、地図情報から少なくとも一部の情報が抽出され、加工情報に用いられてよい。
【0123】
図12は、空撮経路生成システム10による予定空撮経路の生成時の動作例を示すシーケンス図である。ここでは、携帯端末80の予定撮像モードに対応するDB撮像モードでの経路形状のサンプルが経路形状DB991に1つ存在することを想定する。
【0124】
まず、携帯端末80では、操作部83が、空撮範囲A1を指定するための入力を受け付け(S101)、空撮範囲取得部811が、空撮範囲の地図情報を取得する(S102)。領域分割部812は、地図情報を解析し、意味的領域分割する(S103)。撮像モード判定部104は、空撮範囲おける分割された領域に基づいて、予定撮像モードを判定する(S104)。無線通信部85は、予定撮像モードの判定結果(予定撮像モードの情報)を、サーバ装置90へ送信する(S105)。
【0125】
サーバ装置90では、端末情報取得部911が、予定撮像モードの情報を受信する(S111)。DB情報抽出部912は、経路形状DB991を参照し、予定撮像モードに対応するDB撮像モードに属する1つ以上の経路形状のサンプルを抽出する(S112)。情報通知部913は、無線通信部95を介して、抽出された経路形状のサンプルを携帯端末80へ送信する(S113)。
【0126】
携帯端末80では、サーバ情報取得部814は、無線通信部85を介して、経路形状のサンプルをサーバ装置90から取得する(S106)。操作部83は、取得された複数の経路形状のサンプルから、1つの経路形状のサンプルを選択するための操作を受け付ける(S107)。情報加工部815は、操作部83を介して、経路形状以外の他パラメータ、つまり加工情報の少なくとも一部を入力する(S108)。空撮経路生成部816は、選択された1つの経路形状のサンプル及び入力された加工情報に基づいて、予定空撮経路を生成する(S109)。撮像情報生成部817は、入力された加工情報に基づいて、予定撮像情報を生成する(S109)。生成された予定空撮経路及び予定撮像情報は、無人航空機100に送られ、無人航空機100に空撮経路及び撮像情報として設定される。
【0127】
図12に示した動作によれば、携帯端末80及び空撮経路生成システム10は、予め登録された経路形状のサンプルを基に、空撮経路を生成できる。よって、例えば無人航空機100により空撮したいユーザが希望する場所において空撮を過去に実施したことがなくても、携帯端末80及び空撮経路生成システム10は、撮像モード(例えば山モード、海モード)が一致する被写体の形状に合ったいくつかの経路形状で示される空撮パターンのバリエーションの中から、空撮パターンを取得できる。そのため、ユーザが、希望する場所で魅力的な空撮画像を得るために、手動でテスト撮像を行い、所望の空撮経路を探ることを不要にできる。よって、携帯端末80及び空撮経路生成システム10は、ユーザの操作の煩雑性を軽減でき、ユーザの利便性を向上できる。また、携帯端末80及び空撮経路生成システム10は、テスト撮像を不要にできるので、無人航空機100がテスト撮像時に何らかの物体に衝突したり、墜落したりすることを低減でき、飛行中の無人航空機100の安全性を向上できる。
【0128】
また、撮像モード判定部813が領域毎に複数の予定撮像モードを判定する場合を考察する。この場合、S104では、撮像モード判定部813が複数の予定撮像モードが存在すると判定してよい。S105では、無線通信部85が、複数の予定撮像モードの情報を送信してよい。S111では、無線通信部95が、複数の予定撮像モードの情報を受信してよい。S112では、DB情報抽出部912が、複数の予定撮像モードのそれぞれに基づいて、複数の経路形状のサンプルのそれぞれを経路形状DB991から抽出してよい。S113では、無線通信部95が、それぞれの経路形状の情報を送信してよい。S106では、無線通信部95が、それぞれの経路形状の情報を受信してよい。S109では、空撮経路生成部816が、それぞれの経路形状に基づいて、それぞれの空撮経路の部分を生成してよい。そして、空撮経路生成部816は、それぞれの空撮経路の部分を接続して、1つの空撮経路を生成してよい。
【0129】
これにより、携帯端末80及び空撮経路生成システム10は、空撮範囲に存在する被写体を連続的に空撮でき、空撮効率を向上できる。また、携帯端末80は、それぞれの被写体に適した経路形状のサンプルから空撮経路の各部分が生成可能である。したがって、携帯端末80は、各被写体に適した空撮経路の部分を得ることができ、空撮経路全体としても空撮範囲の空撮に適した空撮経路を提供できる。なお、空撮経路の各部分に対応して、複数の撮像情報が生成されてよい。
【0130】
次に、経路形状DB991への撮像モード及び経路形状のサンプルの登録について説明する。
【0131】
図13は、新規の経路形状の生成を説明するための図である。
【0132】
図13では、予定撮像モード「川」について、新規の経路形状を生成することが例示されている。
図13では、表示部88に新規経路生成画面が表示され、情報加工部815が、操作部83を介してユーザの指FG等からの入力を受け付けて、経路形状ps1を生成する。無線通信部85は、予定撮像モードの情報及び経路形状ps1の情報を送信する。サーバ装置90では、無線通信部95は、予定撮像モードの情報及び経路形状ps1の情報を受信する。
【0133】
新規の経路形状のサンプルを追加する前の経路形状DB991の状態が
図7であったとする。この場合、経路形状DB991にはDB撮像モード「川」が存在していないので、DB更新部914が、DB撮像モード「川」の情報を新たに登録し、DB撮像モード「川」に属する新規の経路形状のサンプルとして、経路形状ps1を新たに登録する。
【0134】
また、携帯端末80により、予定撮像モード「山」の新規な経路形状を生成したとする。この場合、経路形状DB991にはDB撮像モード「山」が既に存在する。そのため、DB更新部914が、既存のDB撮像モード「山」に属する新規の経路形状のサンプルとして、携帯端末80により生成された経路形状を新たに登録する。
【0135】
このように、携帯端末80は、ユーザから操作部83を介して、所望の予定撮像モードにより空撮を希望する経路形状の入力を受け付け、新たな経路形状を生成できる。よって、携帯端末80は、経路形状DB991にDB撮像モードや経路形状のサンプルが不足していても、所望の撮像モードや経路形状を追加できる。
【0136】
図14は、経路形状DB991への新規登録を説明するための図である。なお、
図14では、既存の登録情報の記載は省略されている。
【0137】
DB更新部914は、携帯端末80から取得した予定撮像モードの情報が経路形状DB991に存在しない場合、新規のDB撮像モードとして登録する。そして、DB更新部914は、携帯端末80から取得した経路形状の情報が経路形状DB991に存在しない場合、新規の経路形状のサンプルとして登録する。
【0138】
また、DB更新部914は、携帯端末80から取得した予定撮像モードの情報が経路形状DB991に存在し、携帯端末80から取得した経路形状の情報が経路形状DB991に存在しない場合、予定撮像モードに対応する既存のDB撮像モードの新規の経路形状のサンプルとして登録する。
【0139】
図14では、新規のDB撮像モード「川」が登録されている。また、DB撮像モード「川」において、形状R1〜R3が新規に登録されている。形状R1は、川に沿って飛行するための空撮経路の形状を示す。形状R2は、川に沿って進行しながら川の両岸を往復飛行するための空撮経路の形状を示す。形状R3は、川に沿って一方の川岸を一方向に飛行し且つ川に沿って他方の川岸を反対方向に飛行するための空撮経路の形状を示す。なお、形状R1,R2,R3は、川を上方から見たイメージを示す。
【0140】
図15は、空撮経路生成システム10による経路形状DB991への情報登録時の動作例を示すシーケンス図である。
図15では、携帯端末80が空撮経路を生成しようとした場合に、予定撮像モードに対応するDB撮像モードが経路形状DB991に存在しない場合を想定する。なお、空撮経路生成システム10は、空撮経路の生成とは別個に独立して、新規の撮像モードや経路形状を登録してもよい。なお、
図15において、
図12と同一のステップについては、同一のステップ番号を付し、その説明を省略又は簡略化する。
【0141】
まず、携帯端末80では、端末制御部81が、S101〜S105の処理を行う。サーバ装置90では、サーバ制御部91が、S111の処理行う。
【0142】
サーバ装置90では、DB情報抽出部912が、経路形状DB991を参照し、予定撮像モードに対応するDB撮像モードが存在するか否かを判定する。予定撮像モードに対応するDB撮像モードが経路形状DB991に存在しない場合、情報通知部913は、無線通信部95を介して、予定撮像モードが経路形状DB991に存在しない旨を携帯端末80へ通知する(S211)。
【0143】
携帯端末80では、無線通信部85は、予定撮像モードが経路形状DB991に存在しない旨を受信する(S201)。この場合、表示部88は、予定撮像モードが経路形状DB991に存在しない旨を表示し、新規経路生成画面を表示する。情報加工部815は、操作部83を介して、予定撮像モードに属する新規の経路形状の入力を受け付け、新規の経路形状の情報を生成する(S202)。無線通信部85は、この予定撮像モード及び生成された経路形状の情報をサーバ装置90へ送信する(S203)。つまり、端末制御部81は、無線通信部85を介して、予定撮像モード及び生成された経路形状の情報を経路形状DB991に登録するよう制御する。なお、予定撮像モードが経路形状DBに存在しない旨は、表示の代わりに、携帯端末80において音声出力により表現されたり、振動により表現されたりしてよい。
【0144】
サーバ装置90では、端末情報取得部911は、無線通信部95を介して、予定撮像モード及び経路形状の情報を受信する(S212)。DB更新部914は、経路形状DB991に、受信された予定撮像モードを新規のDB撮像モードとして新規登録し、受信された経路形状の情報を、この新規のDB撮像モードに属する経路形状のサンプルとして新規登録する(S213)。
【0145】
図15に示した動作によれば、携帯端末80及び空撮経路生成システム10は、経路形状DB991に記録されたDB撮像モードの情報や経路形状のサンプルが不足していても、携帯端末80のユーザやサーバ装置90の管理者にその旨通知できる。よって、携帯端末80等の情報処理装置を用いて、DB撮像モードや経路形状のサンプルの不足分を補充できる。したがって、空撮範囲において判定された予定撮像モードに対応するDB撮像モードが不足し、又は経路形状のサンプルが不足することにより、空撮経路の生成を補助不能となることを抑制できる。また、以前に撮像したことのない新たな被写体を撮像する場合でも、撮像モードや経路形状の情報を新規登録可能であるので、以後に経路形状DB991を利用して被写体を空撮するための空撮経路や撮像情報を生成しようとする携帯端末80に対して、有益な情報をスムーズに提供できる。また、携帯端末80以外の情報処理装置を用いてもよく、例えばサーバ装置90の管理者がPC等を用いて経路形状のサンプルを追加可能である。
【0146】
なお、携帯端末80以外の情報処理装置(例えば送信機50、無人航空機100、PC、その他の情報処理装置)が、携帯端末80が有する空撮支援機能(空撮経路生成機能や撮像情報生成機能)を有してもよい。
【0147】
(第2の実施形態)
第1の実施形態では、経路形状DBが保持する経路形状のサンプルに基づいて空撮経路を生成することを例示した。第2の実施形態では、経路形状DBが保持する経路形状のサンプル以外の情報にも基づいて空撮経路を生成すること例示する。なお、第2の実施形態において、第1の実施形態と同様の構成や動作については、説明を省略又は簡略化する。
【0148】
図16は、第2の実施形態における空撮経路生成システム10Aの構成例を示す模式図である。空撮経路生成システム10Aは、1台以上の無人航空機100A、送信機50、携帯端末80A、及びサーバ装置90Aを備える。無人航空機100A、送信機50、携帯端末80A、及びサーバ装置90Aは、相互に有線通信又は無線通信(例えば無線LAN)により通信可能である。
【0149】
図17は、無人航空機100Aのハードウェア構成の一例を示すブロック図である。無人航空機100Aは、第1の実施形態における無人航空機100と比較すると、UAV制御部110の代わりにUAV制御部110Aを備える。
【0150】
UAV制御部110Aは、UAV制御部110が有する機能に加え、下記の機能を有する。UAV制御部110Aは、通信インタフェース150を介して、空撮画像及び空撮画像の付加情報の少なくとも一部を、サーバ装置90Aへ送信する。この空撮画像は、経路形状のサンプルに基づく予定空撮経路に従った飛行中に撮像装置220又は撮像装置230により撮像された画像である。送信された空撮画像及びその付加情報は、サーバ装置90Aが備える経路形状DB991Aへの登録対象のデータや情報となる。
【0151】
図18は、携帯端末80Aのハードウェア構成の一例を示すブロック図である。携帯端末80Aは、第1の実施形態における携帯端末80と比較すると、端末制御部81の代わりに端末制御部81Aを備える。
【0152】
図19は、端末制御部81Aの機能構成の一例を示すブロック図である。端末制御部810Aは、空撮範囲取得部811、領域分割部812、撮像モード判定部813、サーバ情報取得部814A、空撮経路生成部816A、撮像情報生成部817A、及び被写体形状取得部818を備える。被写体形状取得部818は、分割部の一例である。
図19に示す端末制御部81Aにおいて、
図4に示した端末制御部81と同様の構成については、同一の符号を付し、その説明を省略又は簡略化する。
【0153】
サーバ情報取得部814Aは、サーバ情報取得部814の機能を有する。また、サーバ情報取得部814Aは、例えば無線通信部85を介して、経路形状のサンプルに基づく空撮経路に従って空撮された空撮画像に関する付加情報の少なくとも一部を取得する。サーバ情報取得部814Aが取得する付加情報は、経路形状DB991Aに記録された空撮画像が撮像された際の撮像情報(過去撮像情報とも称する)を含んでよい。過去撮像情報は、上述のように、空撮画像が空撮された際の空撮画角情報、空撮方向情報、空撮姿勢情報、撮像範囲情報、の少なくとも1つを含んでよい。
【0154】
空撮経路生成部816Aは、空撮経路生成部816Aは、サーバ装置90Aから取得された経路形状のサンプルと付加情報の少なくとも一部の情報に基づいて、予定空撮経路を生成してよい。また、取得された付加情報の少なくとも一部を補助するために、情報加工部815(不図示)により前述の加工情報を生成してよい。この場合、空撮経路生成部816Aは、経路形状のサンプルと付加情報の少なくとも一部の情報と加工情報とに基づいて、予定空撮経路を生成してよい。
【0155】
撮像情報生成部817Aは、サーバ装置90Aから取得された付加情報に含まれる撮像情報の少なくとも一部の情報に基づいて、予定撮像情報を生成してよい。また、取得された付加情報の少なくとも一部を補助するために、情報加工部815(不図示)により前述の撮像情報に関する加工情報を生成してよい。この場合、空撮経路生成部816Aは、付加情報に含まれる撮像情報の少なくとも一部の情報と加工情報とに基づいて、予定撮像情報を生成してよい。
【0156】
被写体形状取得部818は、空撮範囲に含まれる被写体(例えば決定された撮像モードにおける主要な被写体(例えば山))の形状(被写体形状とも称する)の情報を取得する。被写体形状取得部818が取得する被写体形状は、空撮予定の被写体の形状であり、予定被写体形状とも称する。被写体形状は、平面的な地図データ等の平面的な2次元形状データでもよいし、3次元形状データでもよい。被写体形状が2次元形状である場合、外部サーバ(例えば2次元地図データベース)から被写体形状の2次元形状データを取得してよい。2次元形状データは、被写体が位置する緯度・経度の情報を含んでよい。被写体形状が3次元形状である場合、外部サーバ(例えば3次元地図データベース)から被写体形状の3次元形状データを取得してよい。3次元形状データは、被写体が位置する緯度・経度・高度の情報を含んでよい。緯度・経度・高度の情報は、同じ外部サーバから取得されてもよいし、2つ以上の異なる外部サーバから取得されてもよい。
【0157】
図20は、サーバ装置90Aのハードウェア構成の一例を示すブロック図である。サーバ装置90Aは、第1の実施形態におけるサーバ装置90と比較すると、サーバ制御部91の代わりにサーバ制御部91Aを備え、経路形状DB991の代わりに経路形状DB991Aを備える。
【0158】
経路形状DB991Aは、DB撮像モード毎に、経路形状のサンプル、経路形状のサンプルのユーザ評価情報、経路形状のサンプルの使用頻度に基づく選択度情報を保持する。経路形状のサンプルの評価情報は、ユーザ評価情報及び選択度情報の少なくとも1つに基づいてよい。また、経路形状DB991Aは、無線通信部95を介して取得された空撮画像及びその付加情報を、その空撮画像が得られた空撮経路の元となった経路形状のサンプルに関連付けて蓄積し、保持する。蓄積される空撮画像(過去空撮画像とも称する)は、1台以上の無人航空機100Aが撮像して送信した空撮画像を含んでよい。付加情報は、前述したように、過去空撮画像に関連する空撮時の無人航空機100Aの飛行に関する情報(過去飛行情報)や空撮時の撮像装置220、230に関する情報(過去撮像情報)を含んでよい。過去飛行情報は、過去空撮画像に含まれる被写体の形状に関する情報(過去被写体形状の情報)を含んでよい。経路形状DB991Aは、サーバ制御部91からの要求に応じて、該当するDB撮像モードの経路形状のサンプルとともに、過去空撮画像及びその付加情報の少なくとも一部をサーバ制御部91Aへ送ってよい。
【0159】
図21は、サーバ制御部91Aの機能構成の一例を示すブロック図である。サーバ制御部91Aは、端末情報取得部911A、DB情報抽出部912A、情報通知部913、DB更新部914A、UAV情報取得部915、及び被写体形状取得部916を備える。
図21に示すサーバ制御部91Aにおいて、
図6に示したサーバ制御部91と同様の構成については、同一の符号を付し、その説明を省略又は簡略化する。
【0160】
端末情報取得部911Aは、端末情報取得部911の機能を有する。また、端末情報取得部911Aは、無線通信部95を介して、携帯端末80Aから、経路形状DB991Aに記録された経路形状のサンプルに対する評価に関するユーザ評価情報を取得する。例えば、ユーザが、経路形状のサンプルを基に生成された空撮経路において空撮された空撮画像を確認し、ユーザ評価情報を決定してよい。なお、ユーザ評価情報は、携帯端末80A以外の情報処理装置(例えばPC、タブレット端末)から取得されてもよい。
【0161】
DB情報抽出部912は、経路形状DB991Aに記録され予定撮像モードに対応するDB撮像モードに属する過去被写体形状の情報と、端末情報取得部911Aにより取得された予定被写体形状の情報と、を比較してよい。つまり、DB情報抽出部912は、予定被写体形状の情報と、予定撮像モードと一致するDB撮像モードに属する過去被写体形状の情報と、を順に比較して、予定被写体形状に形状が近い(近似する)過去被写体形状の情報を特定してよい。つまり、DB情報抽出部912は、経路形状DB991Aに蓄積され、空撮予定の被写体の形状に近い過去に撮像された被写体の形状の情報を特定してよい。
【0162】
予定被写体形状の情報と過去被写体形状の情報とが近似するか否かは、例えば両者の一致度で判定されてよい。例えば、予定被写体の輪郭の特徴と、過去被写体の輪郭の特徴と、の一致度が高い場合、この過去被写体形状の情報が特定される。また、DB情報抽出部912は、予定被写体の大きさと過去被写体の大きさとを同程度にして比較するために、被写体の大きさを正規化してよい。また、DB情報抽出部912は、予定被写体形状との一致度が閾値以上である過去被写体形状を特定してよく、その閾値を柔軟に変更してよい。
【0163】
DB情報抽出部912は、特定された予定被写体形状の情報に近似する過去被写体形状の情報に対応する経路形状のサンプルを抽出する。過去被写体形状に対応する経路形状のサンプルは、過去被写体形状を有する被写体が空撮された空撮画像の空撮経路の元となったサンプルである。DB情報抽出部912は、空撮経路がどの経路形状のサンプルに基づいて生成されたかは、経路形状の一致度が高いことから判断可能である。DB情報抽出部912は、この空撮画像の付加情報の少なくとも一部を1つ以上抽出してよい。
【0164】
DB情報抽出部912は、予定撮像モードに対応するDB撮像モードに属する経路形状のサンプルのうち、評価の高い経路形状のサンプルを1つ以上抽出してよい。評価の高い経路形状のサンプルとは、例えば、例えばユーザ評価情報が所定基準以上(例えば評価値が3.5以上、評価A,B,CのうちのB以上)である経路形状サンプルでもよいし、選択度が所定値以上である経路形状のサンプルでもよいし、その他の評価判断により特定されるサンプルでもよい。DB情報抽出部912は、抽出される経路形状のサンプルとともに、この経路形状のサンプルに基づく空撮経路で空撮された空撮画像の付加情報を抽出してよい。
【0165】
UAV情報取得部915は、無線通信部95を介して、無人航空機100Aからの情報(例えば空撮画像及びその付加情報)を取得する。取得された空撮画像及びその付加情報は、経路形状DB991Aへの登録対象となる。
【0166】
被写体形状取得部916は、UAV情報取得部915により取得された空撮画像に対して画像認識処理し、空撮画像に含まれる被写体を抽出する。被写体形状取得部916は、抽出された被写体(例えば山)の形状(過去被写体形状)の情報を取得する。例えば、被写体形状取得部916は、空撮画像が空撮された空撮経路を基に、空撮画像が得られた位置情報を取得してよい。被写体形状取得部916は、空撮画像に対する被写体の位置関係、空撮画像が撮像された際の撮像情報、等に基づいて、被写体の位置情報を取得してよい。被写体の位置情報が取得されることで、地図情報の参照が可能である。過去被写体形状は、予定被写体形状と同様に、平面的な地図データ等の平面的な2次元形状データでもよいし、3次元形状データでもよい。2次元形状データ及び3次元形状データの取得方法は、予定被写体形状の場合と同様でよい。
【0167】
DB更新部914Aは、取得された無人航空機100Aからの情報(例えば空撮画像及びその付加情報)やユーザ評価情報を経路形状DB991Aへ登録する。DB更新部914Aは、経路形状DB991Aから経路形状のサンプルが抽出された回数に基づいて、選択度情報を更新してよい。なお、経路形状DB991Aにおいて空撮画像をどの経路形状のサンプルと関連付けるかは、空撮画像が実際に空撮された空撮経路との近似性(一致度)により判断されてよい。この判断は、DB更新部914Aで実施されてもよいし、他部で実施されてもよい。
【0168】
図22A及び
図22Bは、経路形状DB991Aに格納された情報をテーブル形式で示す模式図である。経路形状DB991Aは、DB撮像モード毎に、空撮形状のサンプル、ユーザ評価情報、選択度情報を保持してよい。経路形状DB991Aは、DB撮像モード毎に、空撮形状のサンプルに基づく空撮経路で空撮された空撮画像とその付加情報を保持する。空撮画像とその付加情報は、空撮形状のサンプル毎に0個又は1つ以上保持されてよい。
図22A及び
図22Bでは、DB撮像モード「山」について代表して示されており、他のDB撮像モードの情報は省略されている。
【0169】
図22A及び
図22Bでは、付加情報は、被写体形状の情報、空撮経路情報、空撮時刻情報、空撮時期情報、空撮天候情報、空撮画角情報、空撮方向情報、空撮姿勢情報、及び撮像範囲情報、及び被写体距離情報を含む。
図22A及び
図22Bは、説明のために図示が分離されているが、1つのテーブルに格納されてよい。
【0170】
ユーザ評価情報は、経路形状DB991Aに登録された空撮画像に対するユーザの評価を示す。例えば、ユーザが携帯端末80Aを操作し、携帯端末80Aが、経路形状DB991Aに登録された空撮画像を受信し、再生し、表示する。ユーザは、空撮画像を確認し、携帯端末80Aの操作部83を介して、この空撮画像が撮像された空撮経路の元となった経路形状のサンプルに対する評価を入力する。入力された評価情報は、携帯端末80Aの無線通信部85を介してサーバ装置90Aへ送信され、サーバ装置90Aの経路形状DB991Aに登録される。ユーザ評価は、Web上のアプリケーションやSNS(Social Networking Service)を介して実施されてよい。
【0171】
入力された評価情報は、例えば、0点〜5点のいずれかの点数で示されるユーザ評価値でよい。ユーザ評価情報は、各ユーザのユーザ評価値の平均値等の統計値で示されてよい。入力された評価情報は、良い・悪い、好き・嫌い、○・×などの情報でもよい。ユーザ評価情報は、良い、好き、○の合計値等の統計値で示されてよい。入力された評価情報は、評価A、評価B、評価C、などでもよい。ユーザ評価情報は、各ユーザのユーザ評価の平均等の統計情報でよい。このようなユーザ評価情報が、複数のユーザにより登録され得る。
【0172】
選択度情報は、経路形状DB991Aに登録された経路形状のサンプルが、1つ以上の携帯端末80Aからの要求により抽出された回数を示す。つまり、選択度情報は、経路形状DB991Aに記録された経路形状のサンプルがどの程度選択されたかを示す。この選択度は、同じ経路形状のサンプルが選択された回数(選択回数)でもよいし、全経路形状のサンプルの選択回数に対する1つの経路形状のサンプルの選択回数の割合(選択率)でもよいし、その他の経路形状のサンプルの選択に関する情報でもよい。選択度情報は、DB情報抽出部912により経路形状のサンプルが経路形状DB991Aから抽出される度に、DB情報抽出部912により更新されてよい。つまり、経路形状のサンプルが頻繁に使用されると、選択度が大きくなる。
【0173】
なお、経路形状DB991Aは、過去空撮画像の付加情報が記録され、過去空撮画像そのものは記録が省略されてもよい。
【0174】
次に、予定撮像情報の生成例について説明する。
【0175】
サーバ装置90Aでは、DB情報抽出部912Aは、予定撮像モードに対応するDB撮像モードをキーとして、このDB撮像モードに属し、予定被写体形状に近似する過去被写体形状に対応する経路形状のサンプルを抽出してよい。この抽出される経路形状のサンプルには、経路形状のサンプルに基づく空撮経路に従った空撮により、形状が良く似た被写体の空撮画像が得られた実績がある。そのため、空撮予定の被写体の空撮においても、信頼性の高いと言える。この場合、経路形状のサンプルとともに、空撮画角や空撮方向などの撮像情報についても、予定被写体形状に近似する過去被写体形状を有する被写体の空撮に適していたと言える。そのため、撮像情報生成部817Aは、経路形状DB991Aから抽出された経路形状のサンプルに対応する過去撮像情報に基づいて、予定撮像情報を生成してよい。
【0176】
サーバ装置90Aでは、DB撮像モードをキーとして、このDB撮像モードに属する評価の高い経路形状のサンプルを抽出する。この抽出される経路形状のサンプルは、経路形状のサンプルに基づく空撮経路で空撮された空撮画像の評価が高いので、経路形状のサンプルを利用した他のユーザにとって魅力的な空撮が可能であったと言える。この場合、経路形状のサンプルとともに、空撮画角や空撮方向などの撮像情報についても、被写体の空撮のために適していたと言える。そのため、撮像情報生成部817Aは、経路形状DB991Aから抽出された経路形状のサンプルに対応する過去撮像情報に基づいて、予定撮像情報を生成してよい。
【0177】
例えば、撮像情報生成部817Aは、サーバ情報取得部814Aにより取得された過去撮像情報をそのまま予定撮像情報としてよい。また、撮像情報生成部817Aは、サーバ情報取得部814Aにより取得された過去撮像情報の少なくとも一部の情報を加工して、予定撮像情報を生成してよい。この場合、撮像情報生成部817Aは、予定被写体形状の情報と付加情報に含まれる過去被写体形状の情報との差分(例えば山の高さの違い、山の幅(半径)の違い)を加味して加工情報を生成し、この加工情報を基に予定撮像情報を生成してもよい。
【0178】
無人航空機100Aが経路形状に基づく空撮経路において単に空撮する場合には、無人航空機100Aが備える撮像装置が被写体を向いておらず、撮像範囲に含まれなかったり、画角の設定が不十分であったりすることが考えられる。これに対し、携帯端末80Aは、無人航空機100Aの撮像装置220又は撮像装置230による所望の撮像方法(撮像情報)も決定できる。よって、被写体を撮像するための撮像情報の設定、つまりカメラ設定ができ、被写体を高精度に撮像できる可能性が一層高くなる。また、携帯端末80Aは、過去に空撮され経路形状DB991Aに蓄積された過去撮像情報を用いて予定撮像情報を生成するので、カメラ設定を自動的に実施でき、ユーザ手動によるカメラ設定が不要となり、ユーザの利便性を向上できる。
【0179】
図23は、空撮経路生成システム10Aによる予定空撮経路の生成時の第1動作例を示すシーケンス図である。なお、
図23において、
図12と同一のステップについては、同一のステップ番号を付し、その説明を省略又は簡略化する。
【0180】
まず、携帯端末80Aでは、端末制御部81Aが、S101〜S104の処理を行う。被写体形状取得部818は、空撮範囲における被写体(例えば予定撮像モードの主領域の被写体)の予定被写体形状の情報を取得する(S104A)。無線通信部95は、撮像モードの情報及び予定被写体形状の情報をサーバ装置90Aへ送信する(S105A)。
【0181】
サーバ装置90Aでは、端末情報取得部911Aが、予定撮像モード及び予定被写体形状の情報を受信する(S111A)。DB情報抽出部912Aは、経路形状DB991Aを参照し、予定撮像モードに対応するDB撮像モードに属し、取得された予定被写体形状に近似する過去被写体形状を特定する(S112B)。DB情報抽出部912Aは、特定された過去被写体形状に対応する経路形状のサンプルと付加情報の少なくとも一部とを抽出する(S112C)。情報通知部913は、無線通信部95を介して、抽出された経路形状のサンプルと付加情報の少なくとも一部とを携帯端末80Aへ送信する(S113A)。
【0182】
携帯端末80Aでは、サーバ情報取得部814Aは、無線通信部85を介して、経路形状のサンプルと付加情報の少なくとも一部とをサーバ装置90Aから取得する(S106A)。空撮経路生成部816Aは、経路形状のサンプル及び取得された付加情報に基づいて、予定空撮経路を生成する(S109A)。例えば、空撮経路生成部816Aは、予定被写体形状の情報と付加情報に含まれる過去被写体形状の情報との差分(例えば山の高さの違い、山の幅や地面断面の半径の違い)からこの差分を相殺するように(スケールを合わせるように)加工情報を生成し、この加工情報を基に予定空撮経路を生成してよい。撮像情報生成部817は、取得された付加情報に含まれる撮像情報の少なくとも一部に基づいて、予定撮像情報を生成する(S109A)。生成された予定空撮経路及び予定撮像情報は、無人航空機100Aに送られ、無人航空機100Aに空撮経路及び撮像情報として設定される。
【0183】
なお、予定空撮経路及び予定撮像情報の生成では、第1の実施形態と同様に、操作部83を介した入力に基づく加工情報が用いられてもよい。また、経路形状DB991Aから経路形状のサンプルが複数抽出された場合、第1の実施形態と同様に、携帯端末80Aは、操作部83を介して、複数の経路形状のサンプルから1つの経路形状サンプルを選択してよい。
【0184】
図23に示した動作によれば、携帯端末80A及び空撮経路生成システム10Aは、予定被写体形状と過去被写体形状の一致度に基づいて、経路形状のサンプルを取得できる。よって、空撮経路生成システム10Aは、サーバ装置90Aによる演算処理によって経路形状のサンプルを指定できるので、操作部83を介して経路形状のサンプルを選択するよりも、ユーザの利便性を向上させることができる。また、過去被写体形状に合わせて指定された経路形状のサンプルが利用されるので、過去被写体形状に対応する過去空撮経路と似た空撮経路となることが予想でき、ユーザの信頼性を向上させることができる。また、携帯端末80A及び空撮経路生成システム10Aは、例えば過去に空撮された山と形状が似た山に沿って空撮経路が生成されるので、山に衝突したり墜落したりする可能性を低減できる。
【0185】
また、携帯端末80A及び空撮経路生成システム10Aは、予定被写体形状と過去被写体形状との差分(例えば山の高さの違い、山の幅や地面断面の半径の違い)を相殺するように、経路形状のサンプルを微調整できる。よって、正規化した場合に、形状の似た被写体に対して同様の飛行経路となるように調整される。したがって、携帯端末80A及び空撮経路生成システム10Aは、ユーザが操作部83を介して加工情報の全てを入力する必要はなく、ユーザの利便性を向上できる。また、過去に空撮された被写体と形状の似た被写体が空撮される場合に、同様の空撮画像が得られる確率を高めることができ、携帯端末80A及び空撮経路生成システム10Aは、安定性した空撮を提供できる。
【0186】
また、携帯端末80A及び空撮経路生成システム10Aは、予定被写体形状と過去被写体形状が3次元形状である場合、山の地面断面での形状だけでなく、山の高さ方向の輪郭も加味して経路形状のサンプルを取得できる。よって、例えば山の中腹あたりに特徴的な形状があり、魅力的な場所がある場合でも、携帯端末80A及び空撮経路生成システム10Aは、この形状が加味された経路形状のサンプルを取得でき、予定空撮経路を生成できる。
【0187】
図24は、空撮経路生成システム10による予定空撮経路の生成時の第2動作例を示すシーケンス図である。なお、なお、
図24において、
図12又は
図23と同一のステップについては、同一のステップ番号を付し、その説明を省略又は簡略化する。
【0188】
まず、携帯端末80Aは、S101〜S105の処理を行う。サーバ装置90Aは、S111の処理行う。
【0189】
サーバ装置90Aでは、DB情報抽出部912Aは、経路形状DB991Aを参照し、予定撮像モードに対応するDB撮像モードに属する経路形状のサンプルのうち、評価の高い(例えば最高評価の)経路形状のサンプルを抽出する。また、DB情報抽出部912Aは、この経路形状のサンプルに対応する付加情報の少なくとも一部を抽出する(S112D)。
【0190】
サーバ装置90Aは、S113Aの処理を行う。携帯端末80Aは、S106A,S109Aの処理を行う。
【0191】
図25は、空撮経路生成システム10Aによる経路形状DB991Aへの空撮画像に関する情報登録時の動作例を示すシーケンス図である。
【0192】
無人航空機100Aでは、いずれかの経路形状のサンプルに基づく空撮経路に従った飛行中に、撮像装置220又は撮像装置230は、画像を撮像し、空撮画像を取得する(S301)。UAV制御部110Aは、付加情報を取得する(S302)。通信インタフェース150は、空撮画像及びその付加情報をサーバ装置90Aへ送信する(S303)。
【0193】
サーバ装置90Aでは、無線通信部95は、空撮画像及びその付加情報を無人航空機100Aから受信する(S311)。DB更新部914Aは、空撮画像及びその付加情報を経路形状DB991Aに登録する(S312)。
【0194】
また、携帯端末80Aでは、無線通信部85は、サーバ装置90Aから所望の空撮経路のサンプルに対応する空撮画像を取得する。携帯端末80Aのユーザは、表示部88を介して、取得された空撮画像を確認し、ユーザ評価を決定する。携帯端末80Aの操作部83は、ユーザからユーザ評価情報を入力する(S321)。無線通信部85は、ユーザ評価情報をサーバ装置90Aへ送信する(S322)。
【0195】
サーバ装置90Aでは、無線通信部95は、ユーザ評価情報を携帯端末80Aから受信する(S313)。DB更新部914Aは、受信されたユーザ評価情報に基づいて、経路形状DB991Aに記録された、該当する空撮経路のサンプルのユーザ評価情報を更新する(S314)。
【0196】
図24,
図25に示した動作によれば、携帯端末80A及び空撮経路生成システム10Aは、無人航空機100Aが空撮するために飛行開始する前に、携帯端末80Aは、サーバ装置90Aと連携し、空撮しようとしている領域(空撮範囲A1)内に存在する被写体に応じて、経路形状のサンプルを取得する。よって、無人航空機100Aは、経路形状のサンプルに基づく予定空撮経路を飛行して空撮すると、この空撮画像とその付加情報とが経路形状DB991Aに登録される。よって、経路形状DB991Aに基づいて各無人航空機100Aが空撮する度に、空撮画像とその付加情報が登録されていく。また、この経路形状のサンプルに基づく空撮経路への評価情報も、経路形状DBに登録され得る。例えば評価の高い経路形状のサンプルを選択すると、他のユーザも満足した経路形状のサンプルであるから、空撮を予定しているユーザの満足度も高いことが期待できる。また、評価の高い経路形状のサンプルに基づく空撮経路は、飛行される頻度も高くなり、ユーザ評価も一層高くなることが予想される。よって、サーバ装置90Aは、機械学習的に、経路形状DB991Aに記録されたお勧めの経路形状のサンプルの情報を提供できる。
【0197】
なお、携帯端末80A以外の情報処理装置(例えば送信機50、無人航空機100A、PC、その他の情報処理装置)が、携帯端末80Aが有する空撮支援機能(空撮経路生成機能や撮像情報生成機能)を有してもよい。
【0198】
第2の実施形態では、サーバ装置90Aが、経路形状DB991Aに登録されていない新規の撮像モードや経路形状のサンプルを登録してよい。例えば、DB更新部914Aは、経路形状のサンプルに基づかない空撮経路に従って、同じ被写体(例えば山)が空撮された複数の空撮画像のそれぞれの複数の空撮経路のそれぞれを平均化してよい。つまり、DB更新部914Aは、同じ被写体を撮像する撮像モードにおいて、平均化された空撮経路を典型的な空撮経路の形状としてモデル化でき、経路形状のサンプルとして生成できる。
【0199】
これにより、サーバ装置90Aは、この被写体を空撮する際に頻繁に利用される空撮経路の形状に近い経路形状のサンプルを生成し、経路形状DB991Aに登録できる。また、サーバ装置90Aは、操作部83を介した新規の撮像モードや経路形状のサンプルの登録が不要にでき、ユーザの利便性を向上できる。
【0200】
第1及び第2の実施形態では、携帯端末80,80Aが実施する処理の一部を、サーバ装置90,90Aが実施してもよい。同様に、サーバ装置90,90Aが実施する処理の一部を、携帯端末80,80Aが実施してもよい。
【0201】
これにより、サーバ装置90,90A及び空撮経路生成システム10,10Aは、サーバ装置90のリソースを用い、携帯端末80,80Aの処理負荷を軽減して、予定空撮経路及び予定撮像情報を生成できる。この際、空撮支援するためのユーザの利便性の向上や無人航空機100,100Aの安全性の向上も実現できる。
【0202】
第1及び第2の実施形態では、経路形状DB991,991Aは、いずれかの携帯端末80,80A等の情報処理装置に設けられてもよい。
【0203】
また、各実施形態が組み合わせて実施されてもよい。
【0204】
以上、本開示を実施形態を用いて説明したが、本開示の技術的範囲は上述した実施形態に記載の範囲には限定されない。上述した実施形態に、多様な変更又は改良を加えることが当業者に明らかである。その様な変更又は改良を加えた形態も本開示の技術的範囲に含まれ得ることが、特許請求の範囲の記載からも明らかである。
【0205】
特許請求の範囲、明細書、及び図面中において示した装置、システム、プログラム、及び方法における動作、手順、ステップ、及び段階等の各処理の実行順序は、特段「より前に」、「先立って」等と明示しておらず、前の処理の出力を後の処理で用いるのでない限り、任意の順序で実現可能である。特許請求の範囲、明細書、及び図面中の動作フローに関して、便宜上「先ず、」、「次に」等を用いて説明したとしても、この順で実施することが必須であることを意味するものではない。