特開 2023-184050 無人航空機用撮影装置および撮影方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2023184050

(43)【公開日】2023-12-28

(54)【発明の名称】無人航空機用撮影装置および撮影方法

(51)【国際特許分類】

   B64D 47/08 20060101AFI20231221BHJP

   G08G 1/09 20060101ALI20231221BHJP

   G08G 1/13 20060101ALI20231221BHJP

   G08G 5/00 20060101ALI20231221BHJP

   G03B 15/00 20210101ALI20231221BHJP

   G03B 17/56 20210101ALI20231221BHJP

   G03B 17/00 20210101ALI20231221BHJP

   B64C 39/02 20060101ALI20231221BHJP

   H04N 23/60 20230101ALI20231221BHJP

   H04N 5/222 20060101ALI20231221BHJP

【ＦＩ】

B64D47/08

G08G1/09 H

G08G1/13

G08G5/00 A

G03B15/00 U

G03B17/56 B

G03B17/00 Q

G03B17/00 B

B64C39/02

H04N5/232 290

H04N5/222 100

【審査請求】未請求

【請求項の数】5

【出願形態】ＯＬ

(21)【出願番号】P 2022097949

(22)【出願日】2022-06-17

(71)【出願人】

【識別番号】308036402

【氏名又は名称】株式会社ＪＶＣケンウッド

(72)【発明者】

【氏名】神保 靖

(72)【発明者】

【氏名】永野 雅之

【テーマコード（参考）】

2H105

5C122

5H181

【Ｆターム（参考）】

2H105AA12

2H105AA13

5C122EA61

5C122FH09

5C122FH11

5C122FH18

5C122GC52

5C122GD11

5C122HA75

5C122HB01

5C122HB02

5H181AA26

5H181AA27

5H181BB04

5H181CC04

5H181FF04

5H181FF05

(57)【要約】

【課題】ドローンで撮影された映像に他のドローンが含まれている場合であっても、適切な映像を取得することができる、無人航空機用撮影装置および撮影方法を提供する。
【解決手段】無人航空機用撮影装置１は、カメラ１０１の撮影を制御して第１映像を取得する撮影制御部１１と、自機の飛行位置を示す飛行位置情報を取得する位置情報取得部１２と、カメラ１０１の撮影方向を示す第１撮影方向情報を取得する撮影方向取得部１３と、他の無人航空機との通信を制御する通信制御部１４と、第１映像に含まれる他の無人航空機を検出し、他の無人航空機の飛行位置情報と、自機の飛行位置情報および第１撮影方向に基づいて、検出された他の無人航空機を特定する特定部１５と、特定した他の無人航空機が撮影している第２映像を取得させ、第１映像における他の無人航空機が含まれる範囲に対し、第２映像を用いて修正を行う修正制御部２０と、を備える。
【選択図】図１４

【特許請求の範囲】

【請求項1】

カメラの撮影を制御し、前記カメラが撮影した第１映像を取得する撮影制御部と、
自機の飛行位置を示す飛行位置情報を取得する位置情報取得部と、
前記カメラの撮影方向を示す第１撮影方向情報を取得する撮影方向取得部と、
所定範囲内に存在する他の無人航空機との通信を制御する通信制御部と、
前記第１映像に含まれる他の無人航空機を検出し、前記通信制御部によって取得した他の無人航空機の飛行位置情報と、自機の飛行位置情報および前記第１撮影方向に基づいて、検出された前記他の無人航空機を特定する特定部と、
前記特定部が、前記第１映像に他の無人航空機が含まれていることを検出し、前記他の無人航空機を特定した場合、特定した前記他の無人航空機が撮影している第２映像を前記通信制御部によって取得させ、前記第１映像における前記他の無人航空機が含まれる範囲に対し、前記第２映像を用いて修正を行う修正制御部と、
を備える、無人航空機用撮影装置。

【請求項2】

前記特定部は、前記他の無人航空機のカメラの撮影方向を示す第２撮影方向を前記通信制御部によってさらに取得し、前記通信制御部によって取得した他の無人航空機の飛行位置情報と、前記飛行位置情報、および前記第１撮影方向と前記第２撮影方向に基づいて、検出された前記他の無人航空機を特定する、
請求項１に記載の無人航空機用撮影装置。

【請求項3】

前記特定部は、前記第１映像における被写体を特定する第１撮影情報を取得するともに、前記他の無人航空機のカメラの被写体を特定する第２撮影情報を前記通信制御部によってさらに取得し、前記通信制御部によって取得した他の無人航空機の飛行位置情報と、前記飛行位置情報、および前記第１撮影情報と前記第２撮影情報に基づいて、検出された前記他の無人航空機を特定する、
請求項１に記載の無人航空機用撮影装置。

【請求項4】

前記特定部は、前記第１映像から被写体となる物体の範囲を検出し、前記第１映像における前記被写体となる物体の範囲に含まれる他の無人航空機を検出する、
請求項１または２に記載の無人航空機用撮影装置。

【請求項5】

カメラの撮影を制御し、前記カメラが撮影した第１映像を取得する撮影制御ステップと、
前記第１映像に含まれる他の無人航空機を検出する検出ステップと、
通信によって取得した他の無人航空機の飛行位置情報と、自機の飛行位置情報および前記カメラの撮影方向を示す第１撮影方向情報に基づいて、検出された前記他の無人航空機を特定する特定ステップと、
前記検出ステップにおいて前記第１映像に他の無人航空機が含まれていることが検出され、前記特定ステップにおいて前記他の無人航空機が特定された場合、特定した前記他の無人航空機が撮影している第２映像を通信によって取得し、前記第１映像における前記他の無人航空機が含まれる範囲に対し、前記第２映像を用いて修正を行う修正制御ステップと、
を無人航空機用撮影装置が実行する撮影方法。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は無人航空機用撮影装置および撮影方法に関し、特に詳しくは、無人航空機を用いて映像の撮影を行うための無人航空機用撮影装置および撮影方法に関する。

【背景技術】

【0002】

ドローンと呼ばれる無人航空機などを用いた写真や動画像の撮影が普及している（例えば、特文献１参照）。

【先行技術文献】

【特許文献】

【0003】

【特許文献1】特開２０１９－０１８６６４号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

例えば特許文献１のような技術を用い、ドローンによる空撮を行った場合、特定の被写体に対して複数のドローンが同時に撮影を行うこともある。複数のドローンが同一の被写体を撮影する場合、ドローンが撮影を行う位置によっては、撮影範囲に他のドローンが映りこんでしまう場合がある。他のドローンが映りこんでしまった映像に対して、例えば、映像加工技術を用いて、他のドローンの消去などを行うこともできるが、他のドローンの映像に対する大きさや、被写体との重なり方によっては、適切に消去できない場合や、不自然な映像となる場合もある。

【0005】

本発明は、上記問題に鑑み、ドローンで撮影された映像に他のドローンが含まれている場合であっても、適切な映像を取得することを目的とする。

【課題を解決するための手段】

【0006】

本発明に係る無人航空機用撮影装置は、カメラの撮影を制御し、前記カメラが撮影した第１映像を取得する撮影制御部と、自機の飛行位置を示す飛行位置情報を取得する位置情報取得部と、前記カメラの撮影方向を示す第１撮影方向情報を取得する撮影方向取得部と、所定範囲内に存在する他の無人航空機との通信を制御する通信制御部と、前記第１映像に含まれる他の無人航空機を検出し、前記通信制御部によって取得した他の無人航空機の飛行位置情報と、自機の飛行位置情報および前記第１撮影方向に基づいて、検出された前記他の無人航空機を特定する特定部と、前記特定部が、前記第１映像に他の無人航空機が含まれていることを検出し、前記他の無人航空機を特定した場合、特定した前記他の無人航空機が撮影している第２映像を前記通信制御部によって取得させ、前記第１映像における前記他の無人航空機が含まれる範囲に対し、前記第２映像を用いて修正を行う修正制御部と、を備える。

【0007】

本発明に係る撮影方法は、カメラの撮影を制御し、前記カメラが撮影した第１映像を取得する撮影制御ステップと、前記第１映像に含まれる他の無人航空機を検出する検出ステップと、通信によって取得した他の無人航空機の飛行位置情報と、自機の飛行位置情報および前記カメラの撮影方向を示す第１撮影方向情報に基づいて、検出された前記他の無人航空機を特定する特定ステップと、前記検出ステップにおいて前記第１映像に他の無人航空機が含まれていることが検出され、前記特定ステップにおいて前記他の無人航空機が特定された場合、特定した前記他の無人航空機が撮影している第２映像を通信によって取得し、前記第１映像における前記他の無人航空機が含まれる範囲に対し、前記第２映像を用いて修正を行う修正制御ステップと、を無人航空機用撮影装置が実行する。

【発明の効果】

【0008】

本発明によれば、ドローンで撮影された映像に他のドローンが含まれている場合であっても、適切な映像を取得することを目的とする。

【図面の簡単な説明】

【0009】

【図1】本発明の第一実施形態に係る無人航空機用撮影システムの構成例を示す概念図である。

【図2】本発明の第一実施形態に係る無人航空機の構成例を示すブロック図である。

【図3】本発明の第一実施形態に係る無人航空機用コントローラの構成例を示すブロック図である。

【図4】本発明の第一実施形態に係る無人航空機用撮影装置の構成例を示すブロック図である。

【図5】本発明の第一実施形態に係る無人航空機用撮影装置の処理例を示すフローチャートである。

【図6】本発明の第一実施形態に係る無人航空機用撮影装置の撮影例を概念的に示す図である。

【図7】本発明の第一実施形態に係る無人航空機用撮影装置によって生成される映像例を概念的に示す図である。

【図8】本発明の第一実施形態に係る無人航空機用撮影装置によって撮影された映像例を概念的に示す図である。

【図9】本発明の第二実施形態に係る無人航空機用撮影装置の処理例を示すフローチャートである。

【図10】本発明の第三実施形態に係る無人航空機用撮影装置によって生成される映像例を概念的に示す図である。

【図11】本発明の第三実施形態に係る無人航空機用撮影装置の処理例を示すフローチャートである。

【図12】本発明の第四実施形態に係る無人航空機用撮影装置によって生成される映像例を概念的に示す図である。

【図13】本発明の第四実施形態に係る無人航空機用撮影装置の処理例を示すフローチャートである。

【図14】本発明の第五実施形態に係る無人航空機用撮影装置の構成例を示すブロック図である。

【図15】本発明の第五実施形態に係る無人航空機用撮影装置によって生成される映像例を概念的に示す図である。

【図16】本発明の第五実施形態に係る無人航空機用撮影装置の処理例を示すフローチャートである。

【図17】本発明の第五実施形態に係る無人航空機用撮影装置によって撮影された映像例を概念的に示す図である。

【発明を実施するための形態】

【0010】

以下、図面を参照して、本発明の実施の形態について説明する。本発明に係る無人航空機用撮影装置は、ドローンと呼ばれる無人航空機に用いられる。また、本発明に係る無人航空機用撮影装置は、ドローンとドローンを制御するためのコントローラからなる無人航空機用撮影システムの各々の機能によって実現されてもよい。また、以下の実施形態により本発明が限定されるものではない。以下、無人航空機はドローンと称して説明する。

【0011】

図１から図８を参照して、本発明の第一実施形態について説明する。図１は、第一実施形態に係る無人航空機用撮影システムＤＳ１の概略図である。無人航空機用撮影システムＤＳ１は、ドローンＤＲ１およびコントローラＣＲ１とで構成される。ドローンＤＲ１およびコントローラＣＲ１は、無線によって通信を行う。ドローンＤＲ１は、映像を撮影するためのカメラである撮影部１０１を備える。コントローラＣＲ１は、ドローンＤＲ１を操作するための操作部２０１と、ドローンＤＲ１から取得した映像などを表示するための表示部２０２を備える。ドローンＤＲ１は、コントローラＣＲ１からの指示を受信して、飛行や撮影部１０１による撮影を行う。コントローラＣＲ１は、ドローンＤＲ１が備える撮影部１０１が撮影した映像を受信して、表示部２０２への表示や記録などを行う。ドローンＤＲ１が備える撮影部１０１が撮影した映像は、ドローンＤＲ１に記録されてもよい。

【0012】

図２は、本発明の第一実施形態に係るドローンＤＲ１の構成例を示すブロック図であり、図３は、本発明の第一実施形態に係るコントローラＣＲ１の構成例を示すブロック図である。図２および図３に図示した構成は、本発明の実現に必要な構成を中心に記載しており、図示している構成以外にも様々な構成要素を含む。

【0013】

図２において、ドローンＤＲ１は、撮影部１０１、ＧＮＳＳ（Global Navigation Satellite System）受信部１０２、通信部１０４、記憶部１０６、センサ部１０７、駆動部１０８および制御部１００を備える。

【0014】

撮影部１０１は、ドローンＤＲ１の周辺の映像を撮影するカメラである。撮影部１０１は、静止画像撮影と動画像撮影のいずれか、または双方の撮影を行うカメラであってもよい。撮影部１０１は、ドローンＤＲ１に搭載されており、制御部１００の撮影制御部１５１の制御によって、撮影動作の制御、ズーム、チルトの制御などが行われる。撮影部１０１のパン方向の制御は、ドローンＤＲ１の飛行向きによって決定されるため、撮影部１０１のパン方向はドローンＤＲ１に対して固定であることが好ましい。撮影部１０１は、撮影した映像を、制御部１００の撮影制御部１５１に出力する。撮影部１０１は、前周囲カメラであってもよい。

【0015】

ＧＮＳＳ受信部１０２は、例えば、ＧＰＳ（Global Positioning System）衛星などからの信号を受信する受信装置およびアンテナなどで構成される。ＧＮＳＳ受信部１０２は、受信した信号を位置情報取得部１５２に出力する。

【0016】

通信部１０４は、例えば、ドローンＤＲ１とコントローラＣＲ１との間で無線通信を行うための無線通信モジュールであり、例えば、Ｗｉ－Ｆｉ（登録商標）の通信モジュールである。通信部１０４は、ドローンＤＲ１と他のドローンとの無線通信を行うための無線通信モジュールを含んでいてもよい。ドローンＤＲ１と他のドローンとの無線通信は、例えば、Ｂｌｕｅｔｏｏｔｈ（登録商標）の通信モジュールである。

【0017】

記憶部１０６は、撮影制御部１５１が取得した第１映像、および他のドローンから取得した第２映像を記録する記憶装置であり、例えば、メモリカードやＳＳＤ（Solid State Drive）などの記録媒体である。記憶部１０６は、ドローンＤＲ１側で第１映像および第２映像を記録する際に用いられる。

【0018】

センサ部１０７は、ドローンの安全な飛行を行うための様々なセンサを含む。センサ部１０７におけるセンサの例としては、ジャイロセンサ、地磁気センサ、高度センサ、周囲確認用カメラ、測距センサなどである。センサ部１０７における各センサの出力値は、センサ情報取得部１５７に出力される。センサ部１０７は、上述したセンサ以外のセンサを含んでもよい。また、６軸のジャイロセンサのように、複数のセンサに対応する測定機能が組み合わせられているセンサであってもよい。センサ部１０７を構成する周囲確認用カメラは、撮影部１０１としてのカメラであってもよい。

【0019】

駆動部１０８は、ドローンＤＲ１を飛行させるプロペラおよびプロペラを回転させるモータなどで構成される。駆動部１０８は、制御部１００の駆動制御部１５８からの制御制御信号によってモータの回転が制御され、ドローンＤＲ１の離着陸、前進、旋回、上昇、下降およびホバリングなどの各種飛行動作を行う。

【0020】

制御部１００は、例えば、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）などで構成された演算処理装置（制御装置）である。制御部１００は、記憶されているプログラムをメモリにロードして、プログラムに含まれる命令を実行する。制御部１００には図示しない内部メモリが含まれ、内部メモリは制御部１００におけるデータの一時記憶などに用いられる。

【0021】

制御部１００は、その構成または実行されるプログラムによって実現する機能として、撮影制御部１５１、位置情報取得部１５２、通信制御部１５４、記録制御部１５６、センサ情報取得部１５７、駆動制御部１５８、および飛行制御部１５９を備える。

【0022】

撮影制御部１５１は、撮影部１０１による映像の撮影を制御する。撮影制御部１５１は、撮影部１０１に映像の撮影を行わせ、撮影部１０１が撮影した第１映像を取得する。撮影制御部１５１は、取得した第１映像を、記録制御部１５６によって記憶部１０６に記録させる。または、撮影制御部１５１は、取得した第１映像を、通信制御部１５４によってコントローラＣＲ１に送信させる。撮影制御部１５１は、コントローラＣＲ１からの操作に基づき、撮影部１０１のズーム、チルトの制御を行う。撮影制御部１５１は、撮影部１０１が撮影した映像に対するエンコード処理など行ってもよい。

【0023】

位置情報取得部１５２は、ＧＮＳＳ受信部１０２が受信した電波に基づいて、ドローンＤＲ１の現在位置、つまりドローンＤＲ１の飛行位置を公知の方法によって算出する。
位置情報取得部１５２は、ＧＮＳＳ受信部１０２が受信した電波に基づいて、ドローンＤＲ１の緯度経度情報、および高度情報を取得する。ドローンＤＲ１の高度情報は、センサ情報取得部１５７が取得する高度センサによる情報を用いてもよい。

【0024】

通信制御部１５４は、通信部１０４による無線通信を制御する。通信制御部１５４は、通信部１０４を用いて、コントローラＣＲ１との無線通信を行う。通信制御部１５４は、コントローラＣＲ１との無線通信によって、コントローラＣＲ１からの操作指示の受信、ドローンＤＲ１のフィードバック情報のコントローラＣＲ１への送信、撮影制御部１５１が取得した第１映像のコントローラＣＲ１への送信などを行う。

【0025】

通信制御部１５４は、通信部１０４を用いて、所定範囲内に存在する他のドローンとの無線通信を行う。他のドローンとの無線通信は、他のドローンに対して直接的に通信が行われてもよく、図示しないサーバを介して通信が行われてもよい。通信制御部１５４は、他のドローンとの無線通信によって、撮影制御部１５１が取得した第１映像の他のドローンへの送信、他のドローンが撮影した第２映像の受信などを行う。

【0026】

記録制御部１５６は、撮影制御部１５１が取得した第１映像を記憶部１０６に記録させる制御を行う。記録制御部１５６は、通信制御部１５４が取得した第２映像を記憶部１０６に記録させる制御を行う。記録制御部１５６は、後述する特定部１５が特定した他のドローンから取得した第２映像を、記憶部１０６に記録させる制御を行う。

【0027】

記録制御部１５６は、第２映像を取得した場合、第２映像と撮影時刻が一致する第１映像に対応付けて第２映像を記録する。記録制御部１５６は、第２映像を取得した場合、第２映像と撮影時刻が一致する第１映像に第２映像を差し替えて記録してもよい。

【0028】

センサ情報取得部１５７は、センサ部１０７からセンサデータを取得する。センサ情報取得部１５７は、センサ部１０７がジャイロセンサである場合、ドローンＤＲ１に加わる角速度を示す情報を取得する。センサ情報取得部１５７は、センサ部１０７が地磁気センサである場合、ドローンＤＲ１が向いている方角を示す情報を取得する。センサ情報取得部１５７は、センサ部１０７が高度センサである場合、ドローンＤＲ１の飛行高度を示す情報を取得する。センサ情報取得部１５７は、センサ部１０７が周囲確認用カメラである場合、ドローンＤＲ１の周囲を撮影した映像を取得する。この場合、撮影制御部１５１が、周囲確認用カメラとしての撮影部１０１から映像を取得するセンサ情報取得部１５７として機能してもよい。センサ情報取得部１５７は、センサ部１０７が測距センサである場合、ドローンＤＲ１から周囲の物体までの距離を示す情報を取得する。

【0029】

駆動制御部１５８は、飛行制御部１５９からの飛行制御信号に基づき、駆動部１０８を制御する制御信号を出力する。より詳しくは、駆動制御部１５８は、ドローンＤＲ１のプロペラの回転を制御する制御信号を出力する。駆動制御部１５８は、ドローンＤＲ１が備える複数のプロペラの回転数を各々制御する。

【0030】

飛行制御部１５９は、ドローンＤＲ１の飛行を制御する。具体的には、飛行制御部１５９は、コントローラＣＲ１から取得した操作信号に基づくドローンＤＲ１の飛行制御、およびドローンＤＲ１の自律飛行制御を行う。ドローンＤＲ１の自律飛行とは、予め設定された飛行ルートに沿った飛行制御、突発的な危険回避を行うための飛行制御などである。飛行制御部１５９は、飛行制御を行うための飛行制御信号を駆動制御部１５８に出力する。

【0031】

飛行制御部１５９は、位置情報取得部１５２からドローンＤＲ１の現在位置情報を取得する。また、飛行制御部１５９は、センサ情報取得部１５７から、各種センサ情報を取得する。また、飛行制御部１５９は、通信制御部１５４から、コントローラＣＲ１の操作信号を取得する。飛行制御部１５９は、位置情報取得部１５２、センサ情報取得部１５７および通信制御部１５４などから取得した情報に基づいて、ドローンＤＲ１の飛行制御を行う。

【0032】

図３において、コントローラＣＲ１は、操作部２０１、表示部２０２、通信部２０４、記憶部２０６および制御部２００を備える。

【0033】

操作部２０１は、コントローラＣＲ１を用いたドローンＤＲ１の操作を行うユーザインターフェースであり、操作スティック、押し釦、タッチパネルなどで構成される。操作部２０１は、ドローンＤＲ１の飛行操作、撮影部１０１による撮影操作などを行うことができる。操作部２０１は、操作に基づく操作信号を操作制御部２５１に出力する。

【0034】

表示部２０２は、ドローンＤＲ１やコントローラＣＲ１に関する様々な情報や映像の表示させる表示装置であり、例えば、液晶ディスプレイまたは有機ＥＬ（Organic Electro-Luminescence）ディスプレイなどを含むディスプレイである。表示部２０２は、表示制御部２５２の制御によって出力される映像信号に基づく表示を行う。

【0035】

通信部２０４は、例えば、コントローラＣＲ１とドローンＤＲ１との間で無線通信を行うための無線通信モジュールであり、例えば、Ｗｉ－Ｆｉの通信モジュールである。通信部２０４は、コントローラＣＲ１と他のドローンとの無線通信を行うための無線通信モジュールを含んでいてもよい。コントローラＣＲ１と他のドローンとの無線通信は、例えば、Ｂｌｕｅｔｏｏｔｈの通信モジュールである。通信部２０４は、コントローラＣＲ１と他のドローンとの無線通信を、Ｗｉ－Ｆｉや移動体通信回線を用いて、図示しないサーバを介して行ってもよい。

【0036】

記憶部２０６は、通信制御部２５４が取得した第１映像、および他のドローンから取得した第２映像を記録する記憶装置であり、例えば、メモリカードやＳＳＤ（Solid State Drive）などの記録媒体である。記憶部２０６は、コントローラＣＲ１側で第１映像および第２映像を記録する際に用いられる。記憶部２０６は、通信部２０４を介して接続される外部のサーバ等の記録装置であってもよい。

【0037】

制御部２００は、例えば、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）などで構成された演算処理装置（制御装置）である。制御部２００は、記憶されているプログラムをメモリにロードして、プログラムに含まれる命令を実行する。制御部２００には図示しない内部メモリが含まれ、内部メモリは制御部２００におけるデータの一時記憶などに用いられる。

【0038】

制御部２００は、その構成または実行されるプログラムによって実現する機能として、操作制御部２５１、表示制御部２５２、通信制御部２５４および記録制御部２５６を備える。

【0039】

操作制御部２５１は、操作部２０１から取得した、ドローンＤＲ１やコントローラＣＲ１に関する操作信号に基づき、各種操作を指示する制御を行う。

【0040】

表示制御部２５２は、表示部２０２に、ドローンＤＲ１やコントローラＣＲ１に関する様々な情報や映像の表示させる制御を行う。表示制御部２５２は、コントローラＣＲ１によるドローンＤＲ１の操作中は、通信制御部２５４が取得したドローンＤＲ１の撮影部１０１が撮影した第１映像を、表示部２０２に表示させる。

【0041】

通信制御部２５４は、通信部２０４による無線通信を制御する。通信制御部２５４は、通信部２０４を用いて、コントローラＣＲ１とドローンＤＲ１との無線通信を行う。通信制御部２５４は、ドローンＤＲ１との無線通信によって、操作部２０１で操作された操作指示の送信、ドローンＤＲ１から送信された第１映像の受信などを行う。

【0042】

通信制御部１５４は、通信部２０４を用いて、所定範囲内に存在する他のドローンとの無線通信を行う。他のドローンとの無線通信は、他のドローンに対して直接的に通信が行われてもよく、図示しないサーバを介して通信が行われてもよい。通信制御部２５４は、他のドローンとの無線通信によって、ドローンＤＲ１が撮影した第１映像の他のドローンへの送信、他のドローンが撮影した第２映像の受信などを行う。

【0043】

記録制御部２５６は、通信制御部２５４がドローンＤＲ１から取得した第１映像を記憶部２０６に記録させる制御を行う。記録制御部２５６は、通信制御部２５４が取得した第２映像を記憶部２０６に記録させる制御を行う。記録制御部２５６は、後述する特定部１５が特定した他のドローンから取得した第２映像を、記憶部２０６に記録させる制御を行う。

【0044】

記録制御部２５６は、第２映像を取得した場合、第２映像と撮影時刻が一致する第１映像に対応付けて第２映像を記録する。記録制御部２５６は、第２映像を取得した場合、第２映像と撮影時刻が一致する第１映像に第２映像を差し替えて記録してもよい。

【0045】

次に、図４を用いて、本発明に係る無人航空機用撮影装置について説明する。図４は、本発明の第一実施形態に係る無人航空機用撮影装置１の構成例を示すブロック図である。図４に示すように、無人航空機用撮影装置１は、撮影制御部１１、位置情報取得部１２、撮影方向制御部１３、通信制御部１４、特定部１５および記録制御部１６を備える。無人航空機用撮影装置１の各機能は、ドローンＤＲ１の制御部１００の機能として実現されてもよく、ドローンＤＲ１の制御部１００とコントローラＣＲ１の制御部２００で協働した機能として実現されてもよい。したがって、無人航空機用撮影装置１の機能をドローンＤＲ１の制御部１００の機能として実現する場合は、コントローラＣＲ１の制御部２００における同等の機能は無くてもよい。

【0046】

撮影制御部１１は、カメラである撮影部１０１の撮影を制御し、撮影部１０１が撮影した第１映像を取得する。撮影制御部１１は、ドローンＤＲ１の制御部１００の機能として実現される場合は、撮影制御部１５１である。撮影制御部１１は、ドローンＤＲ１の制御部１００とコントローラＣＲ１の制御部２００の機能として実現される場合は、撮影制御部１５１が取得した第１映像を、コントローラＣＲ１の制御部２００が通信部２０４を介して取得する。

【0047】

位置情報取得部１２は、自機であるドローンＤＲ１の飛行位置を示す飛行位置情報を取得する。位置情報取得部１２は、ドローンＤＲ１の制御部１００の機能として実現される場合は、位置情報取得部１５２である。位置情報取得部１２は、ドローンＤＲ１の制御部１００とコントローラＣＲ１の制御部２００の機能として実現される場合は、位置情報取得部１５２が取得した飛行位置情報を、コントローラＣＲ１の制御部２００が通信部２０４を介して取得する。

【0048】

撮影方向取得部１３は、ドローンＤＲ１の撮影部１０１の撮影方向を示す第１撮影方向情報を取得する。撮影方向取得部１３は、ドローンＤＲ１の制御部１００の機能として実現される場合は、位置情報取得部１５２およびセンサ情報取得部１５７が取得した、ドローンＤＲ１の緯度経度および高度を示す情報、さらに、撮影制御部１５１による撮影部１０１のチルト角情報に基づいて、撮影部１０１の撮影方向を示す第１撮影方向情報を取得する。撮影方向取得部１３は、ドローンＤＲ１の制御部１００とコントローラＣＲ１の制御部２００の機能として実現される場合は、位置情報取得部１５２およびセンサ情報取得部１５７が取得した、ドローンＤＲ１の緯度経度および高度を示す情報を、コントローラＣＲ１の制御部２００が通信部２０４を介して取得し、さらに、操作部２０１で指示された撮影部１０１のチルト角情報に基づいて、撮影部１０１の撮影方向を示す第１撮影方向情報を取得する。

【0049】

通信制御部１４は、所定範囲内に存在する他のドローンとの通信を行う通信部による通信を制御する。通信制御部１４は、ドローンＤＲ１の制御部１００の機能として実現される場合は、通信制御部１５４であり、制御される通信部は、通信部１０４である。通信制御部１４は、コントローラＣＲ１の制御部２００の機能として実現される場合は、通信制御部２５４であり、制御される通信部は、通信部２０４である。

【0050】

特定部１５は、第１映像に含まれる他のドローンを検出し、通信制御部１４によって取得した他のドローンの飛行位置情報、およびドローンＤＲ１の飛行位置情報および第１撮影方向に基づいて、検出された他のドローンを特定する。特定部１５は、ドローンＤＲ１の制御部１００の機能として実現される場合は、撮影制御部１５１が取得した第１映像に対して、制御部１００が、ドローンの映像を機械学習させた検出モデルを用いて、第１映像に含まれる他のドローンを検出する。特定部１５は、コントローラＣＲ１の制御部２００の機能として実現される場合は、通信部２０４を介して取得した第１映像に対して、制御部２００が、ドローンの映像を機械学習させた検出モデルを用いて、第１映像に含まれる他のドローンを検出する。

【0051】

また、特定部１５は、第１映像に他のドローンが含まれていると判断した場合は、ドローンＤＲ１の周囲に存在する他のドローンに対して、飛行位置情報を要求する信号を送信する。特定部１５は、他のドローンから取得した他のドローンの飛行位置情報と、位置情報取得部１２が取得したドローンＤＲ１の飛行位置情報、および撮影方向取得部１３が取得した第１撮影方向情報に基づき、検出された他のドローンを特定する。他のドローンの特定とは、言い換えると、第１映像に含まれている他のドローンから映像を取得可能とすることである。

【0052】

記録制御部１６は、第１映像を記録し、特定部１５が、撮影制御部１１が取得した映像に他のドローンが含まれていることを検出し、他のドローンを特定した場合、特定した他のドローンが撮影している第２映像を通信制御部１４によって取得させて記録する。記録制御部１６は、ドローンＤＲ１の制御部１００の機能として実現される場合は、記録制御部１５６であり、特定した他のドローンから通信部１０４を介して第２映像を取得する。つまり、記録制御部１５６は、特定した他のドローンに、第２映像を要求する。また、記録制御部１５６は、特定した他のドローンから取得した第２映像を、記憶部１０６に記録する。記録制御部１６は、コントローラＣＲ１の制御部２００の機能として実現される場合は、記録制御部２５６であり、特定した他のドローンから通信部２０４を介して第２映像を取得する。つまり、記録制御部２５６は、特定した他のドローンに、第２映像を要求する。また、記録制御部２５６は、特定した他のドローンから取得した第２映像を、記憶部２０６に記録する。

【0053】

次に、図５を用いて、第一実施形態に係る無人航空機用撮影装置１が実行する処理の流れについて説明する。無人航空機用撮影装置１が実行する撮影方法は、無人航空機用撮影装置１として動作するコンピュータとしての制御部１００、または制御部１００および制御部２００が、プログラムに基づき実行する。

【0054】

図５に示す処理は、無人航空機用撮影装置１が撮影を開始することで開始される。言い換えると、ドローンＤＲ１が撮影部１０１による映像の撮影を開始することで、図５に示す処理が開始する。本実施形態における第１映像および第２映像は、動画像の例として説明するが、静止画像であっても処理は同様である。

【0055】

無人航空機用撮影装置１による撮影が開始されることによって、撮影制御部１１は、撮影部１０１が撮影した第１映像の取得を開始する。言い換えると、撮影制御部１１は、撮影部１０１による撮影を制御し、撮影部１０１が撮影した第１映像を取得する撮影制御ステップを実行する。また、位置情報取得部１２は、ドローンＤＲ１の位置情報の取得を開始する。さらに、記録制御部１６は、第１映像の記録を開始する。

【0056】

先ず、特定部１５は、撮影制御部１１が取得した第１映像に含まれる他のドローンの検出を開始し、第１映像に、他のドローンが検出されたか否か、つまり、第１映像に他のドローンが映りこんでいるか否かを判断する（ステップＳ１０１）。言い換えると、特定部１５は、第１映像に含まれる他のドローンを検出する検出ステップを実行する。ステップＳ１０１で、第１映像に他のドローンが検出されたと判断された場合（ステップＳ１０１：Ｙｅｓ）、ステップＳ１０２に進む。ステップＳ１０１で、第１映像に他のドローンが検出されたと判断されない場合、言い換えると、第１映像に他のドローンが検出されない場合（ステップＳ１０１：Ｎｏ）、ステップＳ１０６に進む。

【0057】

ステップＳ１０２では、特定部１５は、通信制御部１４に、ドローンＤＲ１の周囲に存在する他のドローンに対して、飛行位置情報を要求する信号を送信させることで、ドローンＤＲ１の周囲に存在する他のドローンから、飛行位置情報を取得し、ステップＳ１０３に進む。ステップＳ１０２における、ドローンＤＲ１の周囲に存在する他のドローンとは、ドローンＤＲ１が備える通信部１０４によるＢｌｕｅｔｏｏｔｈを用いた通信範囲に存在する他のドローン、または、コントローラＣＲ１が備える通信部２０４によるＢｌｕｅｔｏｏｔｈを用いた通信範囲に存在する他のドローンである。具体的には、ドローンＤＲ１またはコントローラＣＲ１から、１００ｍ～２００ｍ程度の範囲内に存在する他のドローンである。

【0058】

ステップＳ１０３では、特定部１５は、ステップＳ１０２で取得した他のドローンの飛行位置情報と、ドローンＤＲ１の飛行位置情報および第１撮影方向に基づいて、検出された他のドローンを特定する。言い換えると、特定部１５は、取得した他のドローンの飛行位置情報と、自機の飛行位置情報および第１撮影方向情報に基づいて、検出された他のドローンを特定する特定ステップを実行する。つまり、ステップＳ１０３では、飛行位置情報を送信してきた他のドローンとの相対的な位置関係から、ステップ１０１で検出された他のドローンを特定する。ステップＳ１０３では、飛行位置情報を送信してきた他のドローンが複数存在する場合、複数の他のドローンからステップＳ１０１で検出された他のドローンを特定する。

【0059】

ステップＳ１０３における、他のドローンの特定手法例について、図６および図７を用いて説明する。ドローンＤＲ１は、自機の飛行位置情報、撮影部１０１の撮影方向および撮影画角情報を常時取得している。撮影部１０１の撮影画角情報は、予め記憶されており、撮影部１０１にズーム機能が備えられている場合はズーム動作によって撮影画角情報は変動する。

【0060】

図６におけるドローンＤＲ１は、無人航空機用撮影装置１が備えられているドローンである。図６は、ドローンＤＲ２が被写体ＳＵ１を撮影しており、ドローンＤＲ１も被写体ＳＵ１を撮影している状態を示す。ドローンＤＲ１のカメラによる撮影範囲はＳＲ１で示され、ドローンＤＲ２のカメラによる撮影範囲はＳＲ２で示される。図７は、図６のような状態における、ドローンＤＲ１が撮影した第１映像Ｐ１の例およびドローンＤＲ２が撮影した第２映像Ｐ２の例を示している。第１映像Ｐ１には、被写体ＳＵ１に加えて、ドローンＤＲ２が撮影されている。また、第２映像Ｐ２には、被写体ＳＵ１が撮影されている。

【0061】

図７の第１映像Ｐ１に対して、特定部１５は、他のドローンを検出している。このとき、ドローンＤＲ１は、自機の飛行位置情報と、撮影部１０１の撮影画角情報を反映した第１撮影方向情報で示される範囲に、ドローンＤＲ２の飛行位置情報が含まれていることから、第１映像Ｐ１で検出された他のドローンは、ドローンＤＲ２であることを特定する。

【0062】

図５に戻り、ステップＳ１０３において、他のドローンが特定された場合（ステップＳ１０３：Ｙｅｓ）、ステップＳ１０４に進む。ステップＳ１０３において、他のドローンが特定されない場合（ステップＳ１０３：Ｎｏ）、ステップＳ１０６に進む。他のドローンが特定されない場合とは、例えば、ステップＳ１０２で取得した周囲の他のドローンの飛行位置情報が、いずれもステップＳ１０１で検出された他のドローンに該当しない場合、または、ステップＳ１０２で周囲の他のドローンの飛行位置情報が取得できない場合などである。

【0063】

ステップＳ１０４では、ステップＳ１０３で特定した他のドローンから、映像を取得する。他のドローンから取得する映像を、第２映像とする。ステップＳ１０４で取得する第２映像は、第１映像が動画像の場合、第１映像に他のドローンが含まれている期間と同一期間の第２映像を取得することが好ましい。また、第１映像が静止画像の場合、他のドローンが含まれている静止画像と同一撮影時刻、または、例えば第１映像を撮影した時刻の前後５分以内などの所定期間内に撮影された第２映像であることが好ましい。

【0064】

図８を用いて、第１映像および第２映像の例について説明する。図８は、第１映像と第２映像を模式的に示しており、紙面の左側から右側へ時間ｔが経過していることを示している。ドローンＤＲ１が第１映像Ｐ１を撮影し、ドローンＤＲ２が第２映像Ｐ２を撮影している期間において、時刻ｔ１に、第１映像Ｐ１に他のドローンが含まれていることが検出され、第１映像Ｐ１に他のドローンが含まれていることが時刻ｔ２まで継続している。このとき、時刻ｔ１以降において、第１映像Ｐ１に含まれている他のドローンがドローンＤＲ２であることが特定されている。したがって、記録制御部１６は、ドローンＤＲ２が撮影している第２映像Ｐ２から、時刻ｔ１から時刻ｔ２までの期間の第２映像Ｐ２′を取得する。

【0065】

ステップＳ１０５では、特定部１５が特定した他のドローンから取得した第２映像を、記録制御部１６が記録する。言い換えると、記録制御部１６は、特定部１５が特定した他のドローンから取得した第２映像を記録する記録ステップを実行する。ステップＳ１０５においては、図８に示すように、第１映像Ｐ１に加えて、第１映像Ｐ１にドローンＤＲ２が含まれている期間である時刻ｔ１から時刻ｔ２までの第２映像Ｐ１を記録してもよい。この場合、第１映像Ｐ１における時刻ｔ１から時刻ｔ２までの期間と、第２映像Ｐ２における時刻ｔ１から時刻ｔ２までの期間が対応つけて記録される。このため、第１映像Ｐ１の再生時に、時刻ｔ１から時刻ｔ２までの期間の再生においては、第２映像Ｐ２が再生される。

【0066】

第一実施形態においては、ドローンで撮影された映像に他のドローンが含まれている場合であっても、他のドローンが含まれていない映像を取得し、記録することができる。

【0067】

次に、図９を参照して、本発明の第二実施形態について説明する。第二実施形態に係る無人航空機用撮影システムの構成、および無人航空機用撮影装置の構成は、第一実施形態に係る無人航空機用撮影システムＤＳ１の構成、および無人航空機用撮影装置１の構成と同一であるため、説明は省略する。

【0068】

第二実施形態に係る無人航空機用撮影装置１においては、特定部１５の機能が、第一実施形態に係る無人航空機用撮影装置１と異なる。第二実施形態においては、ドローンＤＲ１の撮影向きを示す第１撮影方向は、第１撮影情報の一例として扱う。特定部１５は、他のドローンが備えるカメラの撮影情報を示す第２撮影情報を通信制御部１４によってさらに取得し、他のドローンの飛行位置情報と、自機の飛行位置情報、および第１撮影方向と第２撮影情報に基づいて、検出された前記他の無人航空機を特定する。したがって、特定部１５は、第１映像に他のドローンが含まれていると判断した場合は、ドローンＤＲ１の周囲に存在する他のドローンに対して、飛行位置情報および第２撮影情報を要求する信号を送信する。

【0069】

特定部１５が取得する第２撮影情報の例は、他のドローンが備えるカメラの撮影向き情報を示す第２撮影方向であり、第１撮影情報と同様、他のドローンの緯度経度および高度を示す情報、およびカメラのチルト角情報に基づく、撮影方向を示す情報である。特定部１５が取得する第２撮影情報の他の例は、他のドローンが備えるカメラが撮影している被写体を特定する情報であり、撮影している映像に対する物体検出を行い、被写体として撮影されている対象の物体名等を特定した情報である。また、特定部１５が、第２撮影情報として他のドローンが備えるカメラが撮影している被写体を特定する情報を取得する場合は、特定部１５は、自機のカメラである撮影部１０１が撮影している被写体を特定する情報を、例えば、物体検出等の処理を行うことで取得する。

【0070】

また、特定部１５は、第１撮影情報と第２撮影情報との共通性を判断する。第１撮影情報と第２撮影情報との共通性の判断の例は、第１撮影情報が第１撮影方向であり、第２撮影情報が第２撮影方向である場合は、第１撮影方向と第２撮影方向が同一の向きを示していることを判断する。この場合の同一の向きとは、角度として２～５度程度の誤差を許容してもよい。第１撮影情報と第２撮影情報との共通性の判断の他の例は、第１映像における被写体を特定する情報と、他のドローンが備えるカメラが撮影している被写体を特定する情報が、同一の被写体を示していることを判断する。この場合の同一の被写体とは、被写体名の一致に加えて、被写体の分類など被写体名を示す上位概念が一致することを含んでもよい。

【0071】

次に、図９を用いて、第二実施形態に係る無人航空機用撮影装置１が実行する処理の流れについて説明する。無人航空機用撮影装置１が実行する撮影方法は、無人航空機用撮影装置１として動作するコンピュータとしての制御部１００、または制御部１００および制御部２００が、プログラムに基づき実行する。

【0072】

図９に示す処理において、ステップＳ２０１、ステップＳ２０３およびステップＳ２０５からステップＳ２０７の処理は、図５に示すステップＳ１０１、ステップＳ１０３およびステップＳ１０４からステップＳ１０６の処理と同一であるため、説明は省略する。

【0073】

ステップＳ２０２では、特定部１５は、通信制御部１４に、ドローンＤＲ１の周囲に存在する他のドローンに対して、飛行位置情報および第２撮影情報を要求する信号を送信させることで、ドローンＤＲ１の周囲に存在する他のドローンから、飛行位置情報および第２撮影情報を取得し、ステップＳ２０３に進む。

【0074】

ステップＳ２０４では、特定部１５は、自機の第１撮影情報と、ステップＳ２０３で特定した他のドローンからステップＳ２０２の処理で取得している第２撮影情報とが、共通しているか否かを判定する。

【0075】

ステップＳ２０４では、第１撮影方向と第２撮影方向が同一の向きを示している場合に、第１撮影情報と第２撮影情報とが共通していると判断する。ステップＳ２０４では、例えば図６に示すように、ドローンＤＲ１の撮影範囲ＳＲ１が示す撮影方向と、特定された他のドローンであるドローンＤＲ２の撮影範囲ＳＲ２が示す撮影方向とが、同一の向きを示しているか否かを判断する。

【0076】

また、ステップＳ２０４では、第１映像における被写体を特定する情報と、他のドローンが備えるカメラが撮影している被写体を特定する情報が、同一の被写体を示している場合に、第１撮影情報と第２撮影情報とが共通していると判断する。ステップＳ２０４では、例えば図６に示すように、ドローンＤＲ１が撮影している被写体である被写体ＳＵ１と、特定された他のドローンであるドローンＤＲ２が撮影している被写体である被写体ＳＵ１とが同一の被写体を示しているか否かを判断する。

【0077】

ステップＳ２０４で、第１撮影情報と第２撮影情報とが共通していると判断された場合（ステップＳ２０４：Ｙｅｓ）、ステップＳ２０５に進み、第１撮影情報と第２撮影情報とが共通していると判断されない場合（ステップＳ２０４：Ｎｏ）、ステップＳ２０７に進む。ステップＳ２０４がＹｅｓと判断されることは、ドローンＤＲ１と特定された他のドローンとが、同一の向きを撮影している、または同一の被写体を撮影していることを示す。

【0078】

第二実施形態においては、ドローンで撮影された映像に他のドローンが含まれている場合であっても、他のドローンが含まれていない、同一方向を撮影した映像や、同一の被写体を撮影した映像を取得し、記録することができる。

【0079】

次に、図１０および図１１を参照して、本発明の第三実施形態について説明する。第三実施形態に係る無人航空機用撮影システムの構成、および無人航空機用撮影装置の構成は、第一実施形態に係る無人航空機用撮影システムＤＳ１の構成、および無人航空機用撮影装置１の構成と同一であるため、説明は省略する。

【0080】

第三実施形態に係る無人航空機用撮影装置１においては、特定部１５の機能が、第一実施形態に係る無人航空機用撮影装置１と異なる。特定部１５は、第１映像おける中央部の範囲に含まれる他のドローンを検出する。第１映像の中央部とは、第１映像を構成する画像の中心を含む所定の範囲である。例えば、第１映像が、縦方向２０００ピクセル、横方向４０００ピクセルの映像である場合、第１映像の中心部から縦方向１０００ピクセル、横方向２０００ピクセルで構成される範囲を、第１映像の中央部として設定する。

【0081】

特定部１５が検出する他のドローンは、第１映像において他のドローンが占める範囲が、第１映像における中央部の範囲に全て含まれることを検出の条件としてもよく、一部分が含まれることも検出の条件に含めてもよい。図１０は、図６のような状態における、ドローンＤＲ１が撮影した第１映像Ｐ１の例およびドローンＤＲ２が撮影した第２映像Ｐ２の例を示している。第１映像Ｐ１には、被写体ＳＵ１に加えて、ドローンＤＲ２が撮影されている。また、第２映像Ｐ２には、被写体ＳＵ１が撮影されている。第１映像Ｐ１には、第１映像の中央部ＣＳ１が設定されている。第１映像の中央部ＣＳ１は、視覚的に示される必要はないが、説明を容易にするために、図１０においては矩形の線として示している。図１０においては、ドローンＤＲ２は、その一部分が中央部ＣＳ１に含まれているため、特定部１５は、ドローンＤＲ２を検出する対象の他のドローンとして扱う。

【0082】

次に、図１１を用いて、第三実施形態に係る無人航空機用撮影装置１が実行する処理の流れについて説明する。無人航空機用撮影装置１が実行する撮影方法は、無人航空機用撮影装置１として動作するコンピュータとしての制御部１００、または制御部１００および制御部２００が、プログラムに基づき実行する。

【0083】

図１１に示す処理において、ステップＳ３０２からステップＳ３０６までの処理は、図５に示すステップＳ１０２からステップＳ１０６の処理と同一であるため、説明は省略する。

【0084】

ステップＳ３０１では、特定部１５は、撮影制御部１１が取得した第１映像の中央部に他のドローンが検出されたか否か、言い換えると、第１映像の中央部に他のドローンが映りこんでいるか否かを判断する。ステップＳ３０１で、第１映像の中央部に他のドローンが検出されたと判断された場合（ステップＳ３０１：Ｙｅｓ）、ステップＳ３０２に進む。ステップＳ３０１で、第１映像の中央部に他のドローンが検出されたと判断されない場合、言い換えると、第１映像の中央部に他のドローンが検出されない場合（ステップＳ３０１：Ｎｏ）、ステップＳ３０６に進む。

【0085】

第三実施形態においては、ドローンで撮影された映像の中央部に他のドローンが含まれている場合、他のドローンが含まれていない映像を取得し、記録することができる。ドローンによる空撮においては、被写体が映像の中央部に配置されることが多い。このため、第１映像の中央部に他のドローンが含まれている場合に、他のドローンが含まれていない映像を取得し、記録することができる。

【0086】

第三実施形態の説明においては、第１映像の中央部を矩形として説明したが、第１映像の中央部は円形や楕円形として定義されていてもよい。また、第三実施形態にかかる技術は、第一実施形態の応用例として説明したが、第二実施形態に対して適用することも可能である。

【0087】

次に、図１２および図１３を参照して、本発明の第四実施形態について説明する。第四実施形態に係る無人航空機用撮影システムの構成、および無人航空機用撮影装置の構成は、第一実施形態に係る無人航空機用撮影システムＤＳ１の構成、および無人航空機用撮影装置１の構成と同一であるため、説明は省略する。

【0088】

第四実施形態に係る無人航空機用撮影装置１においては、特定部１５の機能が、第一実施形態に係る無人航空機用撮影装置１と異なる。特定部１５は、第１映像から被写体となる物体の範囲を検出し、第１映像における被写体となる物体の範囲に含まれる他の無人航空機を検出する。したがって、特定部１５は、第１映像に含まれる被写体を、例えば、物体検出等の処理を行うことで検出し、被写体となる物体の範囲を特定する。

【0089】

特定部１５が検出する他のドローンは、第１映像において他のドローンが占める範囲が、第１映像における被写体となる物体の範囲に全て含まれることを検出の条件としてもよく、一部分が含まれることも検出の条件に含めてもよい。図１２は、図６のような状態における、ドローンＤＲ１が撮影した第１映像Ｐ１の例およびドローンＤＲ２が撮影した第２映像Ｐ２の例を示している。第１映像Ｐ１には、被写体ＳＵ１に加えて、ドローンＤＲ２が撮影されている。また、第２映像Ｐ２には、被写体ＳＵ１が撮影されており、被写体ＳＵ１の範囲を示す範囲Ｆ１が設定されている。被写体ＳＵ１の範囲Ｆ１は、視覚的に示される必要はないが、説明を容易にするために、図１２においては矩形の線として示している。図１２においては、ドローンＤＲ２は、その一部分が被写体ＳＵ１の範囲Ｆ１に含まれているため、特定部１５は、ドローンＤＲ２を検出する対象の他のドローンとして扱う。

【0090】

次に、図１３を用いて、第四実施形態に係る無人航空機用撮影装置１が実行する処理の流れについて説明する。無人航空機用撮影装置１が実行する撮影方法は、無人航空機用撮影装置１として動作するコンピュータとしての制御部１００、または制御部１００および制御部２００が、プログラムに基づき実行する。

【0091】

図１３に示す処理において、ステップＳ４０２からステップＳ４０６までの処理は、図５に示すステップＳ１０２からステップＳ１０６の処理と同一であるため、説明は省略する。

【0092】

ステップＳ４０１では、特定部１５は、撮影制御部１１が取得した第１映像の被写体となる物体の範囲に他のドローンが検出されたか否か、言い換えると、第１映像の被写体となる物体の範囲に他のドローンが映りこんでいるか否かを判断する。ステップＳ４０１で、第１映像の被写体となる物体の範囲に他のドローンが検出されたと判断された場合（ステップＳ４０１：Ｙｅｓ）、ステップＳ４０２に進む。ステップＳ４０１で、第１映像の被写体となる物体の範囲に他のドローンが検出されたと判断されない場合、言い換えると、第１映像の被写体となる物体の範囲に他のドローンが検出されない場合（ステップＳ４０１：Ｎｏ）、ステップＳ４０６に進む。

【0093】

第四実施形態においては、ドローンで撮影された映像の被写体となる物体の範囲に他のドローンが含まれている場合、他のドローンが含まれていない映像を取得し、記録することができる。第四実施形態においては、撮影対象である被写体に明らかに重なっている他のドローンが存在する場合に、他のドローンが含まれていない映像を取得し、記録することができる。

【0094】

第四実施形態の説明においては、被写体となる物体の範囲を、被写体の形状を問わず矩形として説明したが、被写体が全て含まれる範囲であれば、被写体となる物体の範囲は、円形や楕円形として定義されていてもよい。また、被写体となる物体の範囲を、被写体の外形をなぞるように定義してもよい。また、第四実施形態にかかる技術は、第一実施形態の応用例として説明したが、第二実施形態に対して適用することも可能である。

【0095】

次に、図１４から図１７を参照して、本発明の第五実施形態について説明する。図１４は、本発明の第五実施形態に係る無人航空機用撮影装置１Ａの構成例を示すブロック図である。図１４に示すように、無人航空機用撮影装置１Ａは、撮影制御部１１、位置情報取得部１２、撮影方向取得部１３、通信制御部１４、特定部１５、記録制御部１６および修正制御部２０を備える。無人航空機用撮影装置１Ａの各機能は、ドローンＤＲ１の制御部１００の機能として実現されてもよく、ドローンＤＲ１の制御部１００とコントローラＣＲ１の制御部２００で協働した機能として実現されてもよい。したがって、無人航空機用撮影装置１の機能をドローンＤＲ１の制御部１００の機能として実現する場合は、コントローラＣＲ１の制御部２００における同等の機能は無くてもよい。

【0096】

図１４に示す撮影制御部１１、位置情報取得部１２、撮影方向取得部１３、通信制御部１４、特定部１５および記録制御部１６は、図４に示す撮影制御部１１、位置情報取得部１２、撮影方向取得部１３、通信制御部１４、特定部１５および記録制御部１６と同一であるため、説明は省略する。

【0097】

修正制御部２０は、第１映像に対する修正処理を行うための画像処理機能部である。修正制御部２０は、特定部１５が、第１映像に他のドローンが含まれていることを検出し、他のドローンを特定した場合、特定した他のドローンが撮影している第２映像を通信制御部１４によって取得させ、第１映像における他のドローンが含まれる範囲に対し、第２映像を用いて修正を行う。

【0098】

修正制御部２０が行う修正処理は、第１映像に含まれる他のドローンを消去する修正処理である。修正制御部２０は、第１映像に含まれる他のドローンの背景情報として、第２映像を利用する。修正制御部２０は、第１映像に含まれる他のドローンに該当する画素に対して、第２映像を用いて、背景に該当する範囲の置き換え、画素情報の補間、色調の調整等を行うことで、第１映像に含まれる他のドローンを消去する修正処理を行う。

【0099】

図１５は、図６のような状態における、ドローンＤＲ１が撮影した第１映像Ｐ１の例およびドローンＤＲ２が撮影した第２映像Ｐ２の例、さらに、修正制御部２０が第１映像Ｐ１を修正した映像である第１映像Ｐ１′の例を示している。修正制御部２０は、第１映像Ｐ１における他のドローンＤＲ２が含まれる範囲を修正範囲Ｒ１として特定し、第２映像Ｐ２における修正範囲Ｒ１の背景に該当する背景範囲Ｒ２に基づき、修正した第１映像Ｐ１′を生成する。第１映像Ｐ１における修正範囲Ｒ１は、第１映像Ｐ１′における修正範囲Ｒ１′のように、第２映像を用いることで、違和感のない修正を行うことができる。

【0100】

修正制御部２０が、ドローンＤＲ１の制御部１００の機能として実現される場合は、修正制御部２０は、通信制御部１５４に第２映像を取得させ、修正した第１映像を、記憶部１０６に記録させるか、コントローラＣＲ１に送信する。修正制御部２０が、コントローラＣＲ１の機能として実現される場合は、修正制御部２０は、通信制御部２５４に第２映像を取得させ、修正した第１映像を、記憶部２０６に記録させるか、表示部２０２に表示させる。

【0101】

次に、図１６を用いて、第五実施形態に係る無人航空機用撮影装置１Ａが実行する処理の流れについて説明する。無人航空機用撮影装置１Ａが実行する撮影方法は、無人航空機用撮影装置１Ａとして動作するコンピュータとしての制御部１００、または制御部１００および制御部２００が、プログラムに基づき実行する。

【0102】

図１６に示す処理において、ステップＳ５０１からステップＳ５０４、ステップＳ５０６の処理は、図５に示すステップＳ１０１からステップＳ１０４、ステップＳ１０６の処理と同一であるため、説明は省略する。

【0103】

ステップＳ５０５では、修正制御部２０は、第１映像における他のドローンが含まれている範囲に対して、ステップＳ５０４で取得した第２映像を用いて、他のドローンを消去する修正処理を行う。言い換えると、修正制御部２０は、修正制御ステップを実行する。

【0104】

図１７を用いて、第１映像および第２映像の例について説明する。図１７は、第１映像と第２映像を模式的に示しており、紙面の左側から右側へ時間ｔが経過していることを示している。ドローンＤＲ１が第１映像Ｐ１を撮影し、ドローンＤＲ２が第２映像Ｐ２を撮影している期間において、時刻ｔ１に、第１映像Ｐ１に他のドローンが含まれていることが検出され、第１映像Ｐ１に他のドローンが含まれていることが時刻ｔ２まで継続している。このとき、時刻ｔ１以降において、第１映像Ｐ１に含まれている他のドローンがドローンＤＲ２であることが特定されている。したがって、修正制御部２０は、ドローンＤＲ２が撮影している第２映像Ｐ２から、時刻ｔ１から時刻ｔ２までの期間の第１映像を修正した第１映像Ｐ１′を生成する。

【0105】

一般的なオブジェクト消去処理は、例えば、第１映像を用いて、第１映像における他のドローンを構成する画素の周囲の画素から、背景を推定または置き換えなどを行う。このような処理を適用する場合、他のドローンの背景によっては、不自然な修正画像となってしまう場合や、修正箇所に違和感が生じる場合がある。本実施形態においては、不自然さや違和感のない第１映像を生成することができる。また、第五実施形態に係る技術は、第二実施形態から第四実施形態に係る技術を組み合わせて実行することも可能である。

【0106】

なお、本発明は上記実施の形態に限られたものではなく、趣旨を逸脱しない範囲で適宜変更することが可能である。また、上述した処理をコンピュータに実行させるためのプログラムは、様々なタイプの非一時的なコンピュータ可読媒体を用いて格納され、または様々な通信回線を介して提供可能であり、無人航空機用撮影装置として動作するコンピュータに供給することができる。

【符号の説明】

【0107】

１、１Ａ 無人航空機用撮影装置
１００、２００ 制御部
１１、１５１ 撮影制御部
１２、１５２ 位置情報取得部
１３ 撮影方向取得部
１４ １５４、２５４ 通信制御部
１５ 特定部
１６、１５６、２５６ 記録制御部
２０ 修正制御部
１０１ 撮影部
１０２ ＧＮＳＳ受信部
１０４、２０４ 通信部
１０６、２０６ 記憶部
１０７ センサ部
１０８ 駆動部
１５７ センサ情報取得部
１５８ 駆動制御部
１５９ 飛行制御部
２０１ 操作部
２０２ 表示部
２５１ 操作制御部
２５２ 表示制御部

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】

【図15】

【図16】

【図17】