特許 7552589 情報処理装置、情報処理方法、プログラム、及び情報処理システム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2024-09-09

(45)【発行日】2024-09-18

(54)【発明の名称】情報処理装置、情報処理方法、プログラム、及び情報処理システム

(51)【国際特許分類】

   G01C 11/00 20060101AFI20240910BHJP

   B64C 39/02 20060101ALI20240910BHJP

【ＦＩ】

G01C11/00

B64C39/02

【請求項の数】 17

(21)【出願番号】P 2021518311

(86)(22)【出願日】2020-03-16

(86)【国際出願番号】 JP2020011395

(87)【国際公開番号】W WO2020225979

(87)【国際公開日】2020-11-12

【審査請求日】2023-01-25

(31)【優先権主張番号】P 2019089144

(32)【優先日】2019-05-09

(33)【優先権主張国・地域又は機関】JP

(73)【特許権者】

【識別番号】000002185

【氏名又は名称】ソニーグループ株式会社

(74)【代理人】

【識別番号】110003339

【氏名又は名称】弁理士法人南青山国際特許事務所

(72)【発明者】

【氏名】中井 幹夫

【審査官】櫻井 仁

(56)【参考文献】

【文献】特開２００１－１４１４５２（ＪＰ，Ａ）

【文献】特開２０１９－０５３５００（ＪＰ，Ａ）

【文献】米国特許出願公開第２０１５／０２２６５７５（ＵＳ，Ａ１）

【文献】特開平１０－２４６６３２（ＪＰ，Ａ）

【文献】特開２００６－１３３１７１（ＪＰ，Ａ）

【文献】JOUBERT NIELS ET AL，An interactive tool for designing quadrotor camera shots，ACM TRANSACTIONS ON GRAPHICS，米国，ACM,NY，2015年10月26日，Vol.34,No.6，1-11

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ０１Ｃ １１／００

Ｂ６４Ｃ ３９／０２

(57)【特許請求の範囲】

【請求項1】

地図上の所定の領域に関する画像データを取得する取得部と、
前記画像データに基づいて、前記所定の領域内で撮影が行われた場合に取得されると予測される予測画像を生成する画像生成部と、
撮影機能を有する移動体の前記所定の領域内における移動及び撮影に関する計画情報の生成に関する指示に基づいて、前記予測画像を提示する提示部とを備え、
前記画像生成部は、前記所定の領域内に存在する対象物を選択する指示に基づいて、前記対象物が撮影されている前記予測画像を生成し、
前記対象物を選択する指示に関する前記予測画像の生成ルールに基づいて、前記予測画像を生成し、
前記生成ルールは、前記対象物を分類する分類情報と、前記分類情報に関連付けられた情報として、前記対象物に対する相対的な撮影位置、又は前記予測画像内の前記対象物の表示状態の少なくとも一方の情報とを含む
情報処理装置。

【請求項2】

地図上の所定の領域に関する画像データを取得する取得部と、
前記画像データに基づいて、前記所定の領域内で撮影が行われた場合に取得されると予測される予測画像を生成する画像生成部と、
撮影機能を有する移動体の前記所定の領域内における移動及び撮影に関する計画情報の生成に関する指示に基づいて、前記予測画像を提示する提示部とを備え、
前記画像生成部は、前記所定の領域内に存在する対象物を選択する指示に基づいて、前記対象物が撮影されている前記予測画像を生成し、
選択対象となった前記対象物の位置情報に基づいて予測候補画像を生成し、
前記予測画像内の前記対象物の表示状態に関して前記予測候補画像を評価することで、前記予測画像を生成する
情報処理装置。

【請求項3】

地図上の所定の領域に関する画像データを取得する取得部と、
前記画像データに基づいて、前記所定の領域内で撮影が行われた場合に取得されると予測される予測画像を生成する画像生成部と、
撮影機能を有する移動体の前記所定の領域内における移動及び撮影に関する計画情報の生成に関する指示に基づいて、前記予測画像を提示する提示部とを備え、
前記画像データは、全天球画像データを含む
情報処理装置。

【請求項4】

地図上の所定の領域に関する画像データを取得する取得部と、
前記画像データに基づいて、前記所定の領域内で撮影が行われた場合に取得されると予測される予測画像を生成する画像生成部と、
撮影機能を有する移動体の前記所定の領域内における移動及び撮影に関する計画情報の生成に関する指示に基づいて、前記予測画像を提示する提示部とを備え、
前記画像データは、撮影機能を有する走査用の移動体が、前記所定の領域内を走査しながら撮影することで取得された画像データであり、
前記走査用の移動体の前記所定の領域内の走査及び撮影に関する走査用の計画情報を生成する走査用生成部を具備し、
前記走査用の計画情報は、走査経路に関するコスト情報を含み、
前記コスト情報は、過去に通過した走査経路に基づいて生成される
情報処理装置。

【請求項5】

請求項１乃至４に記載の情報処理装置であって、
前記提示部は、前記計画情報の生成に関する指示を入力するための、前記予測画像を含むＧＵＩ（Graphical User Interface）を出力する
情報処理装置。

【請求項6】

請求項１乃至４に記載の情報処理装置であって、
前記画像生成部は、前記所定の領域内の位置、又は撮影条件の少なくとも一方に関する指示に基づいて、前記予測画像を生成する。
情報処理装置。

【請求項7】

請求項６に記載の情報処理装置であって、
前記撮影条件は、撮影方向、撮影時間、又は前記所定の領域に関する環境情報の少なくとも１つを含む
情報処理装置。

【請求項8】

請求項１乃至４に記載の情報処理装置であって、さらに、
入力された前記計画情報の生成に関する指示に基づいて、前記計画情報を生成する計画生成部を具備する
情報処理装置。

【請求項9】

請求項８に記載の情報処理装置であって、
前記計画生成部は、提示された前記予測画像を選択する指示に基づいて、前記計画情報を生成する
情報処理装置。

【請求項10】

請求項１乃至４に記載の情報処理装置であって、
前記計画情報は、経由地点、移動時間、又は撮影条件のうち少なくとも１つを含む
情報処理装置。

【請求項11】

請求項１乃至４に記載の情報処理装置であって、さらに、
前記計画情報に基づいて、前記撮影機能を有する移動体の移動及び撮影に関する動作を制御する制御部を具備する
情報処理装置。

【請求項12】

地図上の所定の領域に関する画像データを取得し、
前記画像データに基づいて、前記所定の領域内で撮影が行われた場合に取得されると予測される予測画像を生成し、
撮影機能を有する移動体の前記所定の領域内における移動及び撮影に関する計画情報の生成に関する指示に基づいて、前記予測画像を提示し、
前記所定の領域内に存在する対象物を選択する指示に基づいて、前記対象物が撮影されている前記予測画像を生成し、
前記対象物を選択する指示に関する前記予測画像の生成ルールに基づいて、前記予測画像を生成し、
前記生成ルールは、前記対象物を分類する分類情報と、前記分類情報に関連付けられた情報として、前記対象物に対する相対的な撮影位置、又は前記予測画像内の前記対象物の表示状態の少なくとも一方の情報とを含む
ことをコンピュータシステムが実行する情報処理方法。

【請求項13】

地図上の所定の領域に関する画像データを取得し、
前記画像データに基づいて、前記所定の領域内で撮影が行われた場合に取得されると予測される予測画像を生成し、
撮影機能を有する移動体の前記所定の領域内における移動及び撮影に関する計画情報の生成に関する指示に基づいて、前記予測画像を提示し、
前記所定の領域内に存在する対象物を選択する指示に基づいて、前記対象物が撮影されている前記予測画像を生成し、
選択対象となった前記対象物の位置情報に基づいて予測候補画像を生成し、
前記予測画像内の前記対象物の表示状態に関して前記予測候補画像を評価することで、前記予測画像を生成する
ことをコンピュータシステムが実行する情報処理方法。

【請求項14】

地図上の所定の領域に関する画像データを取得し、
前記画像データに基づいて、前記所定の領域内で撮影が行われた場合に取得されると予測される予測画像を生成し、
撮影機能を有する移動体の前記所定の領域内における移動及び撮影に関する計画情報の生成に関する指示に基づいて、前記予測画像を提示し、
前記画像データは、全天球画像データを含む
ことをコンピュータシステムが実行する情報処理方法。

【請求項15】

地図上の所定の領域に関する画像データを取得し、
前記画像データに基づいて、前記所定の領域内で撮影が行われた場合に取得されると予測される予測画像を生成し、
撮影機能を有する移動体の前記所定の領域内における移動及び撮影に関する計画情報の生成に関する指示に基づいて、前記予測画像を提示し、
前記画像データは、撮影機能を有する走査用の移動体が、前記所定の領域内を走査しながら撮影することで取得された画像データであり、
前記走査用の移動体の前記所定の領域内の走査及び撮影に関する走査用の計画情報を生成し、
前記走査用の計画情報は、走査経路に関するコスト情報を含み、
前記コスト情報は、過去に通過した走査経路に基づいて生成される
情報処理装置。

【請求項16】

地図上の所定の領域に関する画像データを取得するステップと、
前記画像データに基づいて、前記所定の領域内で撮影が行われた場合に取得されると予測される予測画像を生成するステップと、
撮影機能を有する移動体の前記所定の領域内における移動及び撮影に関する計画情報の生成に関する指示に基づいて、前記予測画像を提示するステップと、
前記所定の領域内に存在する対象物を選択する指示に基づいて、前記対象物が撮影されている前記予測画像を生成するステップと、
選択対象となった前記対象物の位置情報に基づいて予測候補画像を生成するステップと、
前記予測画像内の前記対象物の表示状態に関して前記予測候補画像を評価することで、前記予測画像を生成するステップと
をコンピュータシステムに実行させるプログラム。

【請求項17】

地図上の所定の領域に関する画像データを取得する取得部と、
前記画像データに基づいて、前記所定の領域内で撮影が行われた場合に取得されると予測される予測画像を生成する画像生成部と、
撮影機能を有する移動体の前記所定の領域内における移動及び撮影に関する計画情報の生成に関する指示に基づいて、前記予測画像を提示する提示部と
入力された前記計画情報の生成に関する指示に基づいて、前記計画情報を生成する計画生成部とを備え、
前記画像生成部は、前記所定の領域内に存在する対象物を選択する指示に基づいて、前記対象物が撮影されている前記予測画像を生成し、
選択対象となった前記対象物の位置情報に基づいて予測候補画像を生成し、
前記予測画像内の前記対象物の表示状態に関して前記予測候補画像を評価することで、前記予測画像を生成する
情報処理装置と、
撮影部を有し、前記情報処理装置により生成された前記計画情報に基づいて、前記所定の領域内を移動しながら撮影を実行する移動体と
を具備する情報処理システム。

【発明の詳細な説明】

【技術分野】

【0001】

本技術は、移動体の自律移動の制御に適用可能な情報処理装置、情報処理方法、プログラム、及び情報処理システムに関する。

【背景技術】

【0002】

特許文献１には、航空写真測量を行う航空機等の移動経路をシミュレーションするための技術が開示されている。特許文献１に記載のシミュレーション方法は、焦点距離等の撮影条件と、投影不可領域の大きさに関する閾値とが設定された撮影コースがコンピュータに入力される。設定された撮影コース内の領域の大きさが閾値を超えた場合、その領域が投影不可領域と判定される。また判定された投影不可領域が撮影コースを占める割合が多い場合、その撮影コースがシミュレーションとして適切ではないと判定される。これにより、１回で有効な航空写真を撮像することができる撮影コースが立てられるため、安価で正確な航空写真測量が可能となるように図られている（特許文献１の明細書段落［００１３］［００２８］図１、図３等）。

【先行技術文献】

【特許文献】

【0003】

【文献】特開２００１－１４１４５２号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

このように、撮影機能を有する移動体の移動及び撮影に関して、移動前に予め撮影画像又は映像を予測し、その画像又は映像を検証して得られる計画情報を生成する事が可能となる技術が求められている。

【0005】

以上のような事情に鑑み、本技術の目的は、撮影機能を有する移動体の移動及び撮影に関して、計画情報を生成する事が可能な情報処理装置、情報処理方法、プログラム、及び情報処理システムを提供することにある。

【課題を解決するための手段】

【0006】

上記目的を達成するため、本技術の一形態に係る情報処理装置は、取得部と、画像生成部と、提示部とを具備する。
前記取得部は、地図上の所定の領域に関する画像データを取得する。
前記画像生成部は、前記画像データに基づいて、前記所定の領域内で撮影が行われた場合に取得されると予測される予測画像を生成する。
前記提示部は、撮影機能を有する移動体の前記所定の領域内における移動及び撮影に関する計画情報の生成に関する指示に基づいて、前記予測画像を提示する。

【0007】

この情報処理装置では、地図上の所定の領域に関する画像データが取得される。画像データに基づいて、所定の領域内で撮影が行われた場合に取得されると予測される予測画像が生成される。予測画像は、撮影機能を有する移動体の所定の領域内における移動及び撮影に関する計画情報の生成に関する指示に基づいて提示される。これにより、撮影機能を有する移動体の移動及び撮影に関して、計画情報を生成することができる。

【0008】

前記提示部は、前記計画情報の生成に関する指示を入力するための、前記予測画像を含むＧＵＩ（Graphical User Interface）を出力してもよい。

【0009】

前記画像生成部は、前記所定の領域内の位置、又は撮影条件の少なくとも一方に関する指示に基づいて、前記予測画像を生成してもよい。

【0010】

前記撮影条件は、撮影方向、撮影時間、又は前記所定の領域に関する環境情報の少なくとも１つを含んでもよい。

【0011】

前記画像生成部は、前記所定の領域内に存在する対象物を選択する指示に基づいて、前記対象物が撮影されている前記予測画像を生成してもよい。

【0012】

前記画像生成部は、前記対象物を選択する指示に関する前記予測画像の生成ルールに基づいて、前記予測画像を生成してもよい。

【0013】

前記生成ルールは、前記対象物を分類する分類情報と、前記分類情報に関連付けられた情報として、前記対象物に対する相対的な撮影位置、又は前記予測画像内の前記対象物の表示状態の少なくとも一方の情報とを含んでもよい。

【0014】

前記画像生成部は、選択対象となった前記対象物の位置情報に基づいて予測候補画像を生成し、前記予測画像内の前記対象物の表示状態に関して前記予測候補画像を評価することで、前記予測画像を生成してもよい。

【0015】

前記情報処理装置は、さらに、入力された前記計画情報の生成に関する指示に基づいて、前記計画情報を生成する計画生成部を具備してもよい。

【0016】

前記計画生成部は、提示された前記予測画像を選択する指示に基づいて、前記計画情報を生成してもよい。

【0017】

前記計画情報は、経由地点、移動時間、又は撮影条件のうち少なくとも１つを含んでもよい。

【0018】

前記画像データは、撮影機能を有する走査用の移動体が、前記所定の領域内を走査しながら撮影することで取得された画像データであってもよい。

【0019】

前記画像データは、全天球画像データを含んでもよい。

【0020】

前記情報処理装置は、さらに、前記計画情報に基づいて、前記撮影機能を有する移動体の移動及び撮影に関する動作を制御する制御部を具備してもよい。

【0021】

前記情報処理装置は、さらに、前記走査用の移動体の前記所定の領域内の走査及び撮影に関する走査用の計画情報を生成する走査用生成部を具備してもよい。

【0022】

前記走査用の計画情報は、走査経路に関するコスト情報を含んでもよい。この場合、前記コスト情報は、過去に通過した走査経路に基づいて生成されてもよい。

【0023】

本技術の一形態に係る情報処理方法は、コンピュータシステムにより実行される情報処理方法であって、地図上の所定の領域に関する画像データを取得することを含む。
前記画像データに基づいて、前記所定の領域内で撮影が行われた場合に取得されると予測される予測画像が生成される。
撮影機能を有する移動体の前記所定の領域内における移動及び撮影に関する計画情報の生成に関する指示に基づいて、前記予測画像が提示される。

【0024】

本技術の一形態に係るプログラムは、コンピュータシステムに以下のステップを実行させる。
地図上の所定の領域に関する画像データを取得するステップ。
前記画像データに基づいて、前記所定の領域内で撮影が行われた場合に取得されると予測される予測画像を生成するステップ。
撮影機能を有する移動体の前記所定の領域内における移動及び撮影に関する計画情報の生成に関する指示に基づいて、前記予測画像を提示するステップ。

【0025】

本技術の一形態に関わる情報処理システムは、情報処理装置と、移動体とを具備する。
前記情報処理装置は、取得部と、画像生成部と、提示部と、計画生成部とを有する。
前記取得部は、地図上の所定の領域に関する画像データを取得する。
前記画像生成部は、前記画像データに基づいて、前記所定の領域内で撮影が行われた場合に取得されると予測される予測画像を生成する。
前記提示部は、撮影機能を有する移動体の前記所定の領域内における移動及び撮影に関する計画情報の生成に関する指示に基づいて、前記予測画像を提示する。
前記計画生成部は、入力された前記計画情報の生成に関する指示に基づいて、前記計画情報を生成する。
前記移動体は、撮影部を有し、前記情報処理装置により生成された前記計画情報に基づいて、前記所定の領域内を移動しながら撮影を実行する。

【図面の簡単な説明】

【0026】

【図1】第１の実施形態に係るドローン撮影システムの構成例を示す概略図である。

【図2】ドローン撮影システムを利用した撮影例の概要を示すフローチャートである。

【図3】サーバ装置の機能的な構成例を示すブロック図である。

【図4】計画生成用ＧＵＩの一例を示す模式図である。

【図5】シナリオ計画情報の生成の具体的な処理例を示すフローチャートである。

【図6】走査用ドローン及びサーバ装置の機能的な構成例を示すブロック図である。

【図7】走査用ドローンの走査を実行させるための走査計画生成用ＧＵＩを示す模式図である。

【図8】走査用ドローンによる走査の具体的な一例を示す模式図である。

【図9】第２の実施形態に係るサーバ装置の機能的な構成例を示すブロック図である。

【図10】候補画像を用いる場合の計画生成用ＧＵＩの一例を示す模式図である。

【図11】候補画像を用いたシナリオ計画情報の生成の具体的な処理例を示すフローチャートである。

【図12】撮影ルールの一例を示す図である。

【図13】第３の実施形態のサーバ装置の機能的な構成例を示すブロック図である。

【図14】候補画像を生成するための判定例を示すフローチャートである。

【図15】サーバ装置のハードウェア構成例を示すブロック図である。

【発明を実施するための形態】

【0027】

以下、本技術に係る実施形態を、図面を参照しながら説明する。

【0028】

＜第１の実施形態＞
［ドローン撮影システム］
図１は、本技術の第１の実施形態に係るドローン撮影システム１００の構成例を示す概略図である。ドローン撮影システム１００は、本技術に関わる情報処理システムの一実施形態に相当する。

【0029】

ドローン撮影システム１００は、サーバ装置１０と、ユーザ端末３０と、ドローン５０とを含む。サーバ装置１０と、ユーザ端末３０と、ドローン５０とは、ネットワーク３５を介して通信可能に接続される。

【0030】

ネットワーク３５は、例えばインターネットや広域通信回線網等により構築される。その他、任意のＷＡＮ（Wide Area Network）やＬＡＮ（Local Area Network）等が用いられてよく、ネットワーク３５を構築するためのプロトコルは限定されない。

【0031】

サーバ装置１０は、ドローン撮影システム１００に関するアプリケーションサービスを提供可能である。本実施形態では、サーバ装置１０は、ユーザ３１の指示に基づいて、ドローン５０の計画情報を生成する。計画情報は、地図上の所定の領域内における移動及び撮影に関する計画情報であり、後に詳しく説明する。サーバ装置１０は、本技術に係る情報処理装置の一実施形態として機能する。

【0032】

サーバ装置１０は、データベース５を有し、ドローン撮影システム１００に関する種々の情報を記憶させることが可能である。またサーバ装置１０は、データベース５から種々の情報を読み出して、ユーザ端末３０等に出力することが可能である。

【0033】

ユーザ端末３０は、ユーザ３１により使用可能な種々の装置を含む。例えばＰＣ（Personal Computer）やスマートフォン等が、ユーザ端末３０として用いられる。ユーザ３１は、ユーザ端末３０を介して、ドローン撮影システム１００を利用可能である。

【0034】

ドローン５０は、自律移動制御部（図示は省略）、撮像装置５１、及びプロペラ５２を含む駆動系を有する移動体である。自律移動制御部は、ドローン５０の自律移動（自律飛行）に関する種々の制御を行う。例えば、自律移動制御部は、自己位置推定、周囲の状況分析、コストマップ等を用いた行動計画、駆動系の制御等を実行する。

【0035】

また自律移動制御部は、撮像装置５１による撮影動作を制御することも可能である。本実施形態では、サーバ装置１０により生成された計画情報に基づいて、ドローン５０の自律飛行及び自動撮影が実行される。ドローン５０の自律飛行及び自動撮影を実現するための構成や方法等は限定されず、任意の技術が用いられてよい。

【0036】

撮像装置５１としては、例えばＣＭＯＳ（Complementary Metal-Oxide Semiconductor）センサやＣＣＤ（Charge Coupled Device）センサ等のイメージセンサを備えるデジタルカメラが用いられる。その他、例えば赤外線ＬＥＤ等の赤外線照明を搭載した赤外線カメラが用いられてもよい。本実施形態において、ドローン５０は、撮影機能を有する移動体に相当する。また撮像装置５１は、撮影部に相当する。
撮像装置５１により撮影される画像は、静止画像及び動画像（映像）の両方を含む。本開示において、「画像」は、静止画像及び動画像（映像）の両方を含む概念である。

【0037】

本実施形態では、ネットワーク３５、サーバ装置１０、及びデータベース５により、いわゆるクラウドサービスが提供される。従ってユーザ端末３０は、クラウドネットワークに接続されているとも言える。
なお、サーバ装置１０とユーザ端末３０とを通信可能に接続するための方法は限定されない。例えば、クラウドネットワークを構築することなく、Bluetooth（登録商標）等の近距離無線通信により両者が接続されてもよい。

【0038】

図２は、ドローン撮影システム１００を利用した撮影例の概要を示すフローチャートである。
ユーザ３１は、ドローン５０により、所望の風景や建物等を撮影させるために、ドローン撮影システム１００を利用する。例えばユーザ３１により、ユーザ端末３０を介して、ドローン撮影システム１００に関するアプリケーションプログラムが起動される。

【0039】

サーバ装置１０により、計画情報を生成するための計画生成用ＧＵＩ（Graphical User Interface）が生成され、ユーザ端末３０に送信される。送信された計画生成用ＧＵＩは、ユーザ端末３０のディスプレイ等に表示される（ステップ１０１）。

【0040】

本開示にて、計画情報とは、撮影機能を有する移動体の、所定の領域内における移動及び撮影に関する計画情報である。本実施形態では、サーバ装置１０が生成する、地図上の所定の領域内における移動及び撮影に関する計画情報が相当する。例えば、ドローン５０を所定の領域内においてどのように移動させ、どのように撮影させるかに関する種々の情報が、計画情報に含まれる。
なお地図上の所定の領域は、典型的には、ユーザ３１がドローン５０を飛ばして撮影を実行させた領域であり、ユーザ３１により指定される。
計画情報は、例えば経由地点（ウェイポイント）、経路、移動時間、撮影条件、機体姿勢等を含む。

【0041】

経由地点は、ドローン５０が経由する地点であり、例えば緯度、経度、高度等により規定される。移動時間は、ドローン５０が経由地点を通過する時間や、経由地点間の経路を移動する際にかかる時間等を含む。移動時間として、絶対的な時間情報が設定されてもよい。あるいは、ドローン５０が飛行を開始したタイミングを基準とした相対的な時間情報が設定されてもよい。
撮影条件は、例えば撮影方向、撮影時間、所定の領域に関する環境情報等を含む。撮影方向は、撮像装置５１の撮影する向き（撮影光軸方向）に相当し、例えば機体姿勢を基準とした撮像装置５１の向きにより規定される。従って、機体姿勢を、撮影条件に含まれる情報として見做すことも可能である。

【0042】

環境情報は、周囲の環境に関する情報である。例えば、天候、季節、日照時間、明るさ、太陽の位置、及び月の位置等の情報が、環境情報に含まれる。例えばユーザ３１は、晴れた日の夕日や、冬の満月を撮影する旨等の計画情報を生成することも可能である。

【0043】

ユーザ端末３０に表示された計画生成用ＧＵＩを介して、計画情報生成指示が入力される（ステップ１０２）。本実施形態において、ユーザ３１により入力される計画情報生成指示は、撮影機能を有する移動体の、所定の領域内における移動及び撮影に関する計画情報の生成に関する指示に相当する。
サーバ装置１０により、入力された計画情報生成指示に基づいて、計画情報が生成される（ステップ１０３）。生成された計画情報は、ドローン５０に送信される（ステップ１０４）。
ドローン５０は、サーバ装置１０により生成された計画情報に従って、自律飛行及び自動撮影を実行する（ステップ１０５）。

【0044】

また計画情報は、シナリオ計画情報、及び走査計画情報を含む。
シナリオ計画情報は、後に説明する予測画像又は予測動画の生成後に特定された、地図上の所定の領域内における移動及び撮影に関する計画情報である。本実施形態では、ドローン５０は、サーバ装置１０から送信されたシナリオ計画情報に従い自律飛行し、撮影を行う。
走査計画情報は、後に説明する走査範囲に関する指示情報に基づいて生成された計画情報である。例えば、走査計画情報は、走査用のドローン（以下、走査用ドローン６０と記載する）が走査する走査範囲の面積（体積）や形状、走査する際の撮影等の走査設定を含む。走査用ドローン６０は、送信された走査計画情報に従い自律飛行し、撮影を行う。
なお、走査用ドローン６０に送信される走査計画情報の生成に対しても上記のステップ１０１からステップ１０５の処理が行われる。

【0045】

図３は、本実施形態に係るサーバ装置１０の機能的な構成例を示すブロック図である。図４は、計画生成用ＧＵＩの一例を示す模式図である。
サーバ装置１０は、例えばＣＰＵ、ＲＯＭ、ＲＡＭ、及びＨＤＤ等のコンピュータの構成に必要なハードウェアを有する（図１５参照）。ＣＰＵがＲＯＭ等に予め記録されている本技術に係るプログラムをＲＡＭにロードして実行することにより、図３に例示する各機能ブロックが実現され、本技術に係る情報処理方法が実行される。
例えばＰＣ等の任意のコンピュータにより、サーバ装置１０を実現することが可能である。もちろんＦＰＧＡ、ＡＳＩＣ等のハードウェアが用いられてもよい。また図３に示す各ブロックを実現するために、ＩＣ（集積回路）等の専用のハードウェアが用いられてもよい。
プログラムは、例えば種々の記録媒体を介してサーバ装置１０にインストールされる。あるいは、インターネット等を介してプログラムのインストールが実行されてもよい。

【0046】

図３に示すように、サーバ装置１０は、通信制御部１１と、ＧＵＩ生成部１２と、シナリオ計画情報生成部１３とを有する。

【0047】

通信制御部１１は、ユーザ端末３０及びドローン５０との通信を制御する。例えば通信制御部１１により、ユーザ端末３０を介して入力されたシナリオ計画情報の生成指示が受信され、ＧＵＩ生成部１２及びシナリオ計画情報生成部１３に供給される。またシナリオ計画情報生成部１３により生成されたシナリオ計画情報がドローン５０に送信される。
本実施形態において、通信制御部１１は、シナリオ計画情報に基づいて、撮影機能を有する移動体の移動及び撮影に関する動作を制御する制御部として機能する。すなわちドローン５０へのシナリオ計画情報の送信が、ドローン５０の自律飛行及び自動撮影の制御となる。
これに限定されず、サーバ装置１０により、ドローン５０の自律飛行及び自動撮影が、遠隔でリアルタイムに制御されてもよい。この場合、ドローン５０を遠隔で制御するブロックが、制御部として機能する。

【0048】

ＧＵＩ生成部１２は、地図データ取得部１４、地図画像生成部１５、タイムライン生成部１６、指示情報取得部１７、画像データ取得部１８、予測画像生成部１９、及び画像データ送信部２０を有する。なお地図データＤＢ２４及び画像データＤＢ２５は、図１に示すデータベース５内に構築される。
ＧＵＩ生成部１２に含まれる各ブロックが協働することで、図４に例示する計画生成用ＧＵＩ１１０が生成される。
本実施形態では、計画生成用ＧＵＩ１１０は、地図表示部１１１と、撮影条件設定部１１２と、タイムライン表示部１１３と、予測画像表示部１１４と、プレビュー設定ボタン１１５と、動画プレビューボタン１１６と、シナリオ実行ボタン１１７と、開くボタン１２６と、保存ボタン１２７とを有する。

【0049】

地図表示部１１１には、建物や道路等を含む地図が表示される。なお図４では、シナリオ計画情報に含まれる経由地点と、経由地点間を結ぶ経路とが図示され、道路や地図等の地図に関する図示は省略されている。なお、ユーザ３１の指示により、地図及び経由地点等が両方表示されるモード、地図のみが表示されるモード、及び経由地点等のみが表示されるモードが、切替可能であってもよい。
ユーザ３１により、地図表示部１１１に表示される地図が指定される。例えば、ドローン５０により撮影を所望する領域を含む地図が指定される。地図を指定する方法は限定されず、例えば住所の入力に基づいて地図が表示され、その後、スクロール操作や拡大／縮小操作等により、地図表示部１１１に、撮影を所望する領域を含む地図が表示される。

【0050】

あるいは、ユーザ３１により、特定の建物、山、湖等（以下、ランドマークと記載する）が指定されてもよい。特定のランドマークを指定する指示に応じて、当該ランドマークを含む地図が、地図表示部１１１に表示される。もちろん、これらの方法に限定されず、他の任意の方法が採用されてよい。
本実施形態において、ランドマークは、所定の領域内に存在する対象物に相当する。また撮影を所望する領域は、地図上の所定の領域に相当する。典型的には、地図表示部１１１に表示される領域全体が、撮影を所望する領域として設定される。

【0051】

図３に示す指示情報取得部１７により、計画生成用ＧＵＩ１１０を介して、ユーザ３１から入力される種々の指示に関する指示情報が取得される。地図表示部１１１での地図の表示に関する指示（指示情報）は、地図データ取得部１４に出力される。

【0052】

地図データ取得部１４により、指示情報に基づいて、地図データＤＢ２４から地図データが取得される。例えば地図データＤＢ２４には、種々の地図データが格納される。例えば、ランドマークの情報と、緯度経度の情報とが関連付けられて記憶される。これにより、ランドマークの指定に応じて、ランドマークを含む地図データを取得することが可能となる。
地図画像生成部１５は、地図データ取得部１４により取得された地図データに基づいて、計画生成用ＧＵＩ１１０の地図表示部１１１に表示される地図の画像データを生成する。例えば、表示領域、倍率、ランドマークの表示の有無等が、適宜設定される。
地図画像生成部１５により生成された画像データは、画像データ送信部２０により、ユーザ端末３０に送信される。これにより、計画生成用ＧＵＩ１１０内の地図表示部１１１に、地図が表示される。またユーザが地図をスクロールする操作等に応じて、地図の表示が適宜更新される。

【0053】

また本実施形態では、図４に例示するように、ユーザ３１により、地図表示部１１１に表示された地図内の任意の地点が選択可能である。選択された地点は、経由地点１２１として設定され識別可能に表示される。複数の経由地点１２１同士が結ばれることで、ドローン５０の移動経路１２２が生成される。
このように、本実施形態では、計画生成用ＧＵＩ１１０を介して、地図（撮影を所望する領域）内の位置を指示することが可能である。
経由地点１２１の指示は、地図上にポインタを移動させ、決定ボタンを選択することで入力可能である。あるいは、緯度及び経度の入力が実行されてもよい。あるいは、地図上の所定のランドマークを選択することにより、経由地点１２１を指示することも可能である。
例えばランドマークとして、東京タワーが選択されると、東京タワーが存在する地点（東京タワーの緯度及び経度の地点）が、経由地点１２１として指定される。もちろん、東京タワーの選択に応じて、東京タワーの近辺の地点が、経由地点１２１として指定されてもよい。
またドローン５０の移動経路１２２を生成する方法は限定されない。例えば、ユーザ３１が選択した経由地点の順番ごとに結ばれてもよい。また建物等によりドローン５０が地図表示部１１１に表示される移動経路１２２に従って移動できない場合に、移動経路１２２が生成できない旨の表示がされてもよい。

【0054】

本実施形態では、経由地点１２１を指定する指示情報に基づいて、地図画像生成部１５により、経由地点１２１及び移動経路１２２を含む画像データが生成される。もちろん、地図画像生成部１５とは別のブロックにより、経由地点１２１及び移動経路１２２の画像が生成され、地図に重畳されてもよい。

【0055】

図４に示す撮影条件設定部１１２は、撮影条件を設定するためのＧＵＩである。本実施形態では、経由地点１２１ごとに撮影条件が設定される。すなわち経由地点１２１に到達したドローン５０により、どのような撮影を実行させるかに関する指示を、入力することが可能である。もちろん移動経路を進行中のドローン５０に撮影を実行させることも可能である。
図４に示すように、本実施形態では、高度（ｍ）、機体姿勢（度）、カメラの向き（ロール角、ピッチ角、ヨー角）を入力することが可能である。
例えば、高度は地面との距離として設定することができる。機体姿勢は、ドローン５０の地面に設置された状態や所定の方角を基準に所定の方向にヨー角として傾いた角度として設定することができる。また例えばカメラの向きは、ドローン５０の正面方向を基準として、ロール角、ピッチ角、及びヨー角を設定することができる。なお、機体姿勢や、カメラの向きを規定するための座標系は、任意に設定されてよい。例えば飛行前のドローン５０の設置状態等を基準に座標系が設定される。もちろんこれに限定される訳ではない。またカメラの向きは、撮影方向に相当する。

【0056】

図４に例示する撮影条件設定部１１２を下方にスクロールすることで、他のパラメータを指定することも可能である。例えば撮影時間、環境情報、移動速度、移動を開始する時刻、移動の終了時刻等、種々の撮影条件や自律飛行に関する種々のパラメータが設定可能であってよい。

【0057】

なお、撮影条件が設定される対象となる経由地点１２３については、他の経由地点と識別可能に表示される。例えば図４に示す例では、撮影条件が設定される経由地点１２３が、星印で表示される。もちろん、このような表示形態に限定される訳ではない。

【0058】

予測画像表示部１１４には、ドローン５０により撮影が行われた場合に取得されると予測される予測画像１２４が表示される。予測画像１２４の表示は、ドローン５０によって撮影が行われた場合に取得されると予測される画像のプレビュー表示とも言える。また予測画像１２４は、ドローン５０が撮影を行った場合の、シミュレーション画像とも言える。

【0059】

図３に示す指示情報取得部１７により、経由地点１２１の選択に関する指示情報と、経由地点１２１ごとの撮影条件の指定に関する指示情報とが取得され、画像データ取得部１８に出力される。

【0060】

画像データ取得部１８は、指示情報に基づいて、画像データＤＢ２５から、地図上の所定の領域に関する画像データを取得する。本実施形態では、ユーザ３１により指定された地図（撮影を所望する領域）の画像データが取得される。なお、本実施形態において、画像データ取得部１８は、地図上の所定の領域に関する画像データを取得する取得部に相当する。

【0061】

画像データＤＢ２５には、地図上の種々の領域や種々のランドマーク等に関する画像データが格納されている。
例えば、地図上の領域を３６０°カメラ等を有したドローンが走査しながら撮影を行うことで取得される全天球画像の画像データが格納される。すなわち、撮影機能を有する走査用の移動体が、所定の領域内を走査しながら撮影することで、画像データが取得されてもよい。もちろん全天球画像データ以外の撮影画像データが用いられてもよい。
あるいは画像データとして、３Ｄポリゴン等の仮想的な画像が用いられてもよい。例えば所定の領域に含まれる建物や風景等を、任意の座標及び高度、任意の方向から見た仮想的な画像が、画像データとして保持されてもよい。
図３に示す地図データＤＢ２４に格納される地図データ、及び画像データＤＢ２５に格納される画像データの取得方法やデータ形式等は限定されない。例えば、ネットワーク３５を介して、地図データ及び画像データが取得されてもよい。
本実施形態において、画像データは、地図上の所定の領域に関する画像データに相当する。

【0062】

予測画像生成部１９により、画像データ取得部１８により取得された画像データに基づいて、予測画像１２４が生成される。
予測画像生成部１９は、指示情報に含まれる経由地点１２３及び撮影条件に基づいて、予測画像１２４を生成する。例えば、経由地点１２３の緯度、経度、及び高度と、撮影方向とに基づいて、ドローン５０が実際に撮影した場合に、取得されると予測される予測画像が生成される。
その他、予測画像１２４の生成方法は限定されず、任意の方法が採用されてよい。例えば経由地点１２３から走査用のドローンにより撮影された画像が存在する場合、その画像に基づいて予測画像１２４が生成される。例えば、走査用のドローンにより撮影された画像が、そのまま予測画像１２４として用いられてもよい。

【0063】

ユーザ３１が指定した経由地点１２３から走査用のドローンが撮影行っていない場合は、例えば、周辺の地点から撮影された複数の画像に基づいて、予測画像１２４を生成することも可能である。例えば、自由視点映像技術等を用いることで、周辺の画像から予測画像１２４を生成することが可能である。これにより、精度の高い予測画像１２４を生成することが可能となり、高品質な計画情報を生成することが可能となる。
あるいは、ユーザ３１が指定した経由地点１２３から走査用のドローンが撮影行っていない場合には、経由地点に最も近い地点から撮影された画像に基づいて、予測画像１２４が生成される。すなわち画像データに含まれる最も近いであろう１つの画像が、予測画像１２４として選択される。これにより、処理負担の軽減化、処理の高速化を図ることが可能となる。
その他、例えばＤＮＮ（Deep Neural Network：深層ニューラルネットワーク）等を用いた任意の機械学習アルゴリズムが用いられてもよい。例えばディープラーニング（深層学習）を行うＡＩ（人工知能）等を用いることで、予測画像１２４の生成精度を向上させることが可能となる。なお、機械学習については、本開示内の他の種々の技術に関しても同様に適用されてよい。

【0064】

予測画像生成部１９により生成された予測画像１２４の画像データは、画像データ送信部２０により、ユーザ端末３０に送信される。これにより、計画生成用ＧＵＩ１１０内の予測画像表示部１１４に、予測画像１２４が表示される。またユーザによる経由地点１２３を切替える指示や、撮影条件を変更する指示等に応じて、予測画像１２４の表示が適宜更新される。

【0065】

このように、本実施形態では、撮影機能を有する移動体の地図上の所定の領域内における移動及び撮影に関するシナリオ計画情報の生成に関する指示に基づいて、予測画像１２４が提示される。具体的には、シナリオ計画情報の生成指示を入力するために、予測画像１２４を含む計画生成用ＧＵＩが出力される。すなわち、計画生成用ＧＵＩの出力が、予測画像１２４の提示に含まれる。
本実施形態において、ＧＵＩ生成部１２は、撮影機能を有する移動体の所定の領域内における移動及び撮影に関する計画情報の生成に関する指示に基づいて、予測画像を提示する提示部に相当する。また予測画像生成部１９は、画像データに基づいて、所定の領域内で撮影が行われた場合に取得されると予測される予測画像を生成する画像生成部に相当する。

【0066】

タイムライン表示部１１３には、ドローン５０の飛行開始から飛行終了までの、時系列に沿った所定のパラメータの変化が表示される。例えば、所定の時間単位を基準として、ドローン５０の高度、機体姿勢、カメラの向き等の撮影条件の時系列に沿った変化が、タイムラインとして表示される。またタイムライン表示部１１３は、ドローン５０が各経由地点１２１に到達する際の時間情報も表示される。
タイムラインに表示される時間情報は、絶対的な時間情報が用いられてもよいし、ドローン５０がシナリオ計画情報に従って自律飛行を開始する時間を基準とした、相対的な時間情報が表示されてもよい。
図４に示すように、タイムライン表示部１１３を横方向にスクロールすることで、所望の時間帯の撮影条件を確認することが可能となる。またタイムライン表示部１１３を縦方向にスクロールすることで、種々のパラメータの時系列に沿った変化を確認することが可能となる。

【0067】

図３に示す指示情報取得部１７により、経由地点１２３の選択に関する指示情報と、経由地点１２３ごとの撮影条件の指定に関する指示情報とが取得され、タイムライン生成部１６に出力される。
タイムライン生成部１６は、指示情報に基づいて、タイムラインの画像データを生成する。
タイムライン生成部１６により生成されたタイムラインの画像データは、画像データ送信部２０により、ユーザ端末３０に送信される。これにより、計画生成用ＧＵＩ１１０内のタイムライン表示部１１３に、タイムラインが表示される。またユーザ３１による経由地点１２３を切替える指示や、撮影条件を変更する指示等に応じて、タイムラインの表示が適宜更新される。

【0068】

プレビュー設定ボタン１１５は、予測画像表示部１１４に表示される予測画像の表示（プレビュー表示）に関する種々の設定を行うためのボタンである。ユーザ３１によりプレビュー設定ボタン１１５が選択された場合、所定の画面が開き、予測画像１２４に関する種々の設定を変更することが可能となる。
予測画像の表示設定としては、例えば予測画像１２４の精度、予測画像の加工、及び予測画像として表示される動画のＦＰＳ（Frames Per Second）等の設定が挙げられる。

【0069】

予測画像の精度について、例えば予測画像１２４の精度が高い高精度モードと、精度が低い低精度モードとを切替え可能に設定することが可能である。
例えば、上記した自由視点映像技術や機械学習等を実行することで、非常に精度の高い予測画像１２４を生成することが可能となる。一方、経由地点１２３に最も近い地点から撮影された画像を、予測画像１２４として選択することで、精度は落ちるが、処理負担が低く高速に予測画像１２４を表示することが可能となる。
例えば、高精度モードが設定されている場合、予測画像１２４の表示にタイムラグが発生する可能性がある。そのため予測画像１２４の精度が異なる２つのモードが計画生成用ＧＵＩ１１０上で切替可能に構成することで、操作性の向上を図ることが可能となる。

【0070】

予測画像の加工について、本実施形態では、図３に例示する予測画像生成部１９により、ドローン５０の撮影を行う際の撮影方向、撮影時間、又は所定の領域に関する環境情報の少なくとも１つに基づいて、予測画像が加工される。
例えば、太陽、月、明るさ、及び天気等の時間で変わる要素に基づいて、予測画像に画像加工フィルタがかけられる。また例えば、ドローン５０が撮影する時間帯のうち、明度が低い場合（夜や曇り等）に、予測画像の明度を下げるような画像加工が行われる。なお、太陽、月、明るさ、及び天気等の時間で変わる要素は、撮影環境に関する環境情報に含まれる情報である。
なお、画像加工フィルタ等の種類は限定されない。例えば、計画生成用ＧＵＩ１１０上でユーザに指定されてもよい。また天気等は緯度経度及び時刻がＷｅｂサービス等から取得されてもよい。また予測画像を加工する方法は限定されず、機械学習等が用いられてもよい。またユーザ３１の指示に基づいて、複数の予測画像を時間的に繋げることで動画とすることも加工に含まれる。

【0071】

動画のＦＰＳの設定について、予測画像が動画像として表示される場合、ユーザ３１により任意のフレームレートを選択することが可能である。例えば、データ量を少なくしたい場合は、フレームレートを落とすような設定を行うことが可能である。

【0072】

動画プレビューボタン１１６は、予測画像表示部１１４に表示される予測画像１２４を、動画として表示させるためのボタンである（動画として表示される予測画像を、予測動画と記載する場合がある）。
ユーザ３１により動画プレビューボタン１１６が選択された場合、ユーザ３１により設定された移動経路及び撮影条件に基づいて、予測動画が表示される。例えば、移動経路１２２を移動するドローン５０の各地点での撮影条件が設定された場合、ドローン５０の各地点の予測画像が生成される。生成された予測画像を撮影された順番に並べることで、予測動画が生成される。
もちろん、各経由地点にて、動画が撮影される旨の指示が入力される場合等において、各経由地点における予測画像１２４が連続的に合成されて、１つの予測動画として表示されてもよい。

【0073】

シナリオ実行ボタン１１７は、ユーザ３１により設定された移動経路及び撮影条件をドローン５０に実行させるためのボタンである。シナリオ実行ボタン１１７が選択されると、それまでに入力されたシナリオ計画情報が決定される。
すなわち、予測画像１２４又は予測動画の生成後に特定された、地図上の所定の領域内におけるドローン５０の移動及び撮影に関する計画情報が決定される。
また計画生成用ＧＵＩ１１０は、生成されたシナリオ計画情報を保存することができる保存ボタン１２７と、保存されているシナリオ計画情報を表示することができる開くボタン１２６とを有する。これにより、例えば生成途中のシナリオ計画情報等の保存及び再表示が可能となる。

【0074】

図３に示す計画生成部２１により、シナリオ実行ボタン１１７の選択に応じて、シナリオ計画情報が生成される。生成されたシナリオ計画情報は、計画保持部２２により保持され、データベース５に格納される。なお、保持されるシナリオ計画情報の数や保存期間等は限定されない。
図４に示す開くボタン１２６が選択されると、データベース５からシナリオ計画情報が読み出され、ユーザ端末３０に送信される。そしてユーザ端末３０に、例えば生成途中のシナリオ計画情報等が展開される。

【0075】

図５は、シナリオ計画情報の生成の具体的な処理例を示すフローチャートである。

【0076】

計画生成用ＧＵＩ１１０の地図表示部１１１に、ユーザ３１が指定した地図が表示される（ステップ２０１）。ユーザ３１により、地図表示部１１１に表示された地図から任意の地点が選択される。またユーザ３１により、撮影条件設定部１１２を介して、選択された各地点に関する撮影条件が設定される。

【0077】

ユーザ３１により指定された各経由地点の撮影条件に基づいて、予測画像が生成される。これにより、予測画像表示部１１４にユーザ３１により設定されたシナリオ計画情報に基づく予測画像が表示される（ステップ２０２）。

【0078】

ユーザ３１がプレビュー設定ボタン１１５の予測画像の表示設定を変更した場合（ステップ２０３のＹＥＳ）、予測画像の表示設定に基づいて予測画像が加工される（ステップ２０４）。すなわち、ユーザ３１によりプレビュー設定ボタン１１５が選択され、設定が変更されることで予測画像表示部１１４内に加工された予測画像１２４が表示される。

【0079】

ユーザ３１によりプレビュー設定ボタン１１５の予測画像１２４の設定が変更されたことにより、加工された予測画像１２４がプレビュー設定ボタン１１５に表示される（ステップ２０５）。もちろん予測画像１２４の設定が変更されなかった場合（ステップ２０３のＮＯ）、予測画像は表示された状態が維持される。ユーザ３１によりシナリオ実行ボタン１１７が選択された場合（ステップ２０６）、計画生成部２１はシナリオ計画情報を生成する（ステップ２０７）。

【0080】

図６は、走査用ドローン６０及びサーバ装置８０の機能的な構成例を示すブロック図である。図７は、走査用ドローン６０の走査を実行させるための走査計画生成用ＧＵＩ１３０を示す模式図である。なお、本実施形態において、走査用ドローン６０は、撮影機能を有する走査用の移動体に相当する。

【0081】

走査用ドローン６０は、動力部６１と、センサ群６２と、カメラ６３と、機体制御部６４と、障害物検知部６５と、移動体情報算出部６６と、画像データ記録部６７と、行動計画部６８と、コストマップ生成部６９と、通信制御部７０とを有する。

【0082】

動力部６１は、走査用ドローン６０の移動を行うための駆動系に関わる各種の装置を備える。例えば、動力部６１は、トルクを指定可能なサーボモータ、走査用ドローン６０自体の移動の動きを分解・置換するモーションコントローラ並びに、各モータ内のセンサによるフィードバック制御装置を備える。
また例えば、動力部６１は、４基ないし６基の機体上向きのプロペラを持つモータ、走査用ドローン６０自体の移動の動きを各モータの回転量に分解・置換するモーションコントローラを備える。

【0083】

センサ群６２は、走査用ドローン６０の外部や内部の情報及び走査用ドローン６０の自己位置を検出するための各種のセンサを備える。具体的には、例えば、センサ群６２は、自己位置を検出するためのＧＰＳ（Global Positioning System）や走査用ドローン６０の姿勢を計測するための磁気センサ、及び慣性計測装置（ＩＭＵ）等を備える。
また例えば、センサ群６２は、障害物等を検出するためのレーザ測距センサ、接触センサ、超音波センサ、レーダ、ＬｉＤＡＲ（Light Detection and Ranging、Laser Imaging Detection and Ranging）や気圧を測るバロメータ等を備える。

【0084】

カメラ６３は、走査用ドローン６０の周辺を撮影し、画像データを取得する。本実施形態では、カメラ６３は、周囲３６０度を同時に撮像可能な全方位カメラであり、ユーザ３１により指定された領域内を撮影する。すなわち本実施形態では、画像データは全天球画像である。但し、画像データは、一般的な平面画像であってもよい。
なお、カメラ６３の種類は限定されない。例えばＣＭＯＳセンサやＣＣＤセンサ等のイメージセンサを備えるデジタルカメラが用いられてもよい。なお、カメラ６３は、センサ群６２として機能してもよい。例えば、周囲３６０度を同時に撮像可能なカメラとは他に、障害物を検知するためのステレオカメラ等がセンサ群６２として機能してもよい。

【0085】

機体制御部６４は、行動計画部６８から供給される行動計画に基づいて、走査用ドローン６０の動作の制御を行う。例えば、制御信号に基づいて動力部６１が動作することで、走査用ドローン６０が移動する。本実施形態では、動力部６１（機体制御部６４）により、所定の領域を移動可能な移動機構が実現される。

【0086】

障害物検知部６５は、センサ群６２からのデータ又は信号に基づいて、走査用ドローン６０の移動を妨げる障害物を検知する。例えば、走査用ドローン６０の走査計画情報の移動経路を防げるような建物等が該当する。

【0087】

移動体情報算出部６６は、センサ群６２からのデータ又は信号に基づいて、走査用ドローン６０の状態を算出する。例えば、移動体情報として、走査用ドローン６０の自己位置や機体姿勢が算出される。それ以外にも、走査用ドローン６０の速度、加速度、異常の有無及び内容、並びに、その他の走査用ドローン６０に搭載される機器の状態等が算出される。

【0088】

画像データ記録部６７は、カメラ６３により撮影された画像データを記録する。本実施形態では、移動体情報算出部６６から供給される走査用ドローン６０の各時間における緯度経度、高度、及び機体姿勢と画像データが紐づけられて記録される。また画像データ記録部６７は、通信制御部７０を介して、画像データをサーバ装置８０へと送信する。なお、画像データを送信するタイミングは限定されない。例えば、画像データが取得された時間にリアルタイムで送信されてもよいし、走査が終了した後に一括で送信されてもよい。

【0089】

行動計画部６８は、コストマップ生成部６９及び通信制御部７０から供給される情報に基づいて、走査するための走査用ドローン６０の行動計画を計画する。例えば、行動計画部６８は、発進、停止、進行方向（例えば、前進、後退、左折、右折、方向転換等）、移動速度、及び撮影に関する設定等の計画を行う。また行動計画は、走査計画情報を含む。すなわち、行動計画は、走査用ドローン６０の障害物の回避等の自律飛行と、所定の領域内の走査を行うための移動及び撮影とを含む。
より詳細には、行動計画部６８は、ユーザ３１により指示された走査範囲、撮影密度、撮影間隔、及びコストマップ等に基づいて、行動計画を計画する。例えば、走査範囲の体積（面積）に対して、走査の時間が長く設定された場合、走査範囲内の走査用ドローン６０の走査する間隔が密となる。

【0090】

本実施形態では、走査範囲は、直方体や球体等の形状情報、緯度経度及び高度等の位置情報、体積及び面積等のスケール情報の少なくとも１つを含む。
例えば、走査範囲が球状に設定された場合、球状の重心の位置を中心に所定の半径を持つ走査範囲が規定される。
なお、走査範囲の設定は限定されない。例えば、走査範囲の形状に応じた重心等や回転角度等が設定されてもよい。また本実施形態では、行動計画は走査範囲と走査に関する設定と移動経路とを含む。

【0091】

なお、行動計画が生成される具体的なアルゴリズム等は限定されず、例えば、環境を格子状に区切って、到達判定及び経路の重みを最適化して最良のパスを生成するA*algorithm（A star探索アルゴリズム）、グラフ上の２頂点間の最短経路を求めるDijkstra's algorithm（ダイクストラ法）、及び、自己位置からインクリメンタルに到達可能な場所へのパスを適切に枝刈りしながら伸ばしていくRRT(Rapidly-exploring Random Tree) algorithmなどにより行動計画が生成されてもよい。

【0092】

コストマップ生成部６９は、障害物検知部６５及び移動体情報算出部６６からの情報に基づいて、コストマップを生成する。本実施形態では、走査用ドローン６０の経路を妨げる障害物等の情報と走査用ドローン６０の自己位置や姿勢に基づいて、コストマップが生成される。

【0093】

通信制御部７０は、サーバ装置８０との通信を可能とする通信制御部９０との通信をする。なお通信制御部７０（９０）同士を通信可能に接続する方法は限定されない。例えばＷＡＮやＬＡＮ等の任意のネットワーク等が用いられる。通信制御部７０（９０）は、通信を確立するためのモジュールや、ルータ等の通信機器を制御することで、種々の情報（データ）を送信及び受信することが可能である。

【0094】

サーバ装置８０は、ＧＵＩ生成部８１と走査計画情報部８２とを有する。ＧＵＩ生成部８１は、地図データ取得部８３、地図画像生成部８４、走査範囲設定部８６、指示情報取得部８５、走査時間予測部８７、画像データ保持部８８、画像データ送信部８９、及び通信制御部９０を有する。走査計画情報部８２は、走査計画生成部９１及び走査計画保持部９２を有する。
なお、地図データ取得部８３、地図画像生成部８４、及び画像データ送信部８９は、第１の実施形態と同様の機能を持つ。また通信制御部９０は、通信制御部７０と同様の機能を持つ。またサーバ装置８０は、サーバ装置１０の地図データＤＢ２４を有する。

【0095】

図７に示すように、走査計画生成用ＧＵＩ１３０は、計画生成用ＧＵＩ１１０の地図表示部１１１と、走査範囲表示部１３２と、走査時間表示部１３３と、走査設定表示部１３４と、走査実行部１３５とを有する。

【0096】

図６に示す指示情報取得部８５により、走査用ドローン６０の走査範囲に関する指示情報が走査範囲設定部８６に出力される。すなわち、走査用ドローン６０の走査計画情報が走査範囲に関する指示情報に基づいて生成される。

【0097】

走査範囲設定部８６は、走査範囲に関する指示情報に基づいて、走査用ドローン６０の走査範囲を設定する。本実施形態では、走査範囲１３６の体積（面積）や形状等を設定することができる。例えば、ユーザ３１は、走査範囲１３６を六角形、丸、四角等の様々な形状にすることが可能である。本実施形態では、走査範囲１３６を領域として決定する以外にも走査範囲１３６を線状に決定することも出来る。
走査範囲設定部８６により設定された走査範囲の画像データは、画像データ送信部８９により、ユーザ端末３０に送信される。これにより、走査計画生成用ＧＵＩ１３０内の走査範囲表示部１３２に、走査範囲１３６が表示される。
なお、走査範囲１３６の決定方法は限定されない。例えば、エリア選択表示部１３７内に表示される予め決まっている形状を選択してもよいし、ユーザ３１が自由に走査範囲１３６を決定してもよい。また例えば、特定のランドマークが選択された際にそのランドマークを中心に所定の半径を持つ走査範囲１３６が決定されてもよい。

【0098】

なお、本実施形態において、指示情報取得部８５及び走査範囲設定部８６は、走査用の移動体の所定の領域内の走査及び撮影に関する走査用の計画情報を生成する走査用生成部に相当する。

【0099】

図６に示す指示情報取得部８５により、走査範囲に関する指示情報が取得され、走査時間予測部８７に出力される。
走査時間予測部８７は、走査範囲に関する指示情報に基づいて、走査に実際にかかる時間を予測する。典型的には、走査範囲１３６の広さや走査用ドローン６０の移動する速度等に基づいて、所要時間が決定される。もちろん、所要時間が予め決定されて、所要時間に基づいて走査の設定が決定されてもよい。
走査時間予測部８７により予測された走査に実際にかかる時間の画像データは、画像データ送信部８９により、ユーザ端末３０に送信される。これにより、走査計画生成用ＧＵＩ１３０内の走査時間表示部１３３に、走査に実際にかかる時間が表示される。

【0100】

走査設定表示部１３４は、走査の設定をするためのＧＵＩである。本実施形態では、ユーザ３１の指示により、走査用ドローン６０の有するカメラ６３の撮影密度や走査用ドローン６０の走査する時間や経路等が設定可能である。
例えば、撮影密度は、走査範囲１３６の体積（面積）に対して、どれくらいの時間をかけて走査を行うかを示す。すなわち、（走査範囲１３６の体積）／（走査する時間）＝撮影密度となる。また例えば、撮影密度は、走査用ドローン６０が進んだ距離に応じて、撮影を行うかを示す。例えば、走査用ドローン６０が３ｍ進むごとに１回撮影をする等の設定がされてもよい。

【0101】

画像データ保持部８８は、通信制御部９０を介して、画像データ記録部６７から送信される画像データを保持する。保持された画像データは、図示しない画像データ取得部により取得され、図示しない予測画像生成部により予測画像として生成される。
本実施形態では、カメラ６３により取得された全天球画像が保持される。そのため、予測画像生成部は、カメラ６３の撮影方向、及び走査用ドローン６０の機体姿勢に基づいて、画像データからカメラ６３の画角に当たる部分を切り取る。切り取られた画像データに対してレンズ湾曲（歪み）補正が行われることで予測画像が生成される。

【0102】

図６に示す走査計画生成部９１により、走査実行部１３５の選択に応じて、走査計画情報が生成される。生成された走査計画情報は、走査計画保持部９２により保持され、データベース５に格納される。なお、保持される走査計画情報の数や保存期間等は限定されない。

【0103】

図８は、走査用ドローン６０の走査の具体的な一例を示す模式図である。図８Ａは、走査用ドローン６０の走査する移動経路の一例を示す模式図である。図８Ｂは、走査用ドローン６０の移動経路を算出する方法の一例を示す模式図である。

【0104】

図８Ａに示すように、ユーザ３１の指示により走査範囲１４０が決定される。この時、ユーザ３１の決定した撮影密度等の設定に基づいて、走査用ドローン６０の走査を行うための移動経路１４１が決定される。

【0105】

図８Ａに示すように、行動計画部６８は、走査範囲１４０内に障害物が無い場合、走査範囲１４０内の画像データを十分に取得できるように移動経路１４１を計画する。例えば、移動経路１４１は、高度が一定である走査範囲１４０の面を波状に設定される。また走査範囲１４０の面を走査し終わった場合に高度を一定距離変えて、波状に更に走査するように設定される。
例えば、走査範囲１４０の高さが５０ｍと設定された場合、高さ１０ｍごとに移動経路１４１が設定されてもよい。すなわち、走査用ドローン６０は、走査範囲１４０を異なる高さで５回走査を行う。
なお、移動経路１４１の設定方法は限定されない。例えば、走査用ドローン６０の有するカメラ６３の撮影範囲等の性能に基づいて、移動経路の間隔が設定されてもよい。また例えば、ユーザ３１が走査範囲内の所定の位置を決定し、その位置同士を結ぶように移動経路１４１が設定されてもよい。

【0106】

図８Ｂに示すように、コストマップ生成部６９は、走査用ドローン６０の移動した移動経路１４２に対してコストマップ１４３を生成する。本実施形態では、コストマップ生成部６９により走査用ドローン６０が一度通過した経路周辺のコストが高く設定される。例えば、移動経路１４２を中心に円状に半径が短い程コストが高く設定される。すなわち、コストマップ生成部６９は、走査用ドローン６０が通過した経路を中心に３次元の筒状のコストマップ１４３を生成する。なお本実施形態において、コストマップ１４３は走査経路に関するコスト情報に相当する。
またコストマップ生成部６９は、障害物検知部６５により移動経路１４２上に障害物１４４が存在していた場合、障害物１４４周辺のコストを高く設定する。すなわち、走査用ドローン６０が障害物１４４を避けるように移動経路１４５が生成される。

【0107】

行動計画部６８は、コストマップ生成部６９により生成されたコストマップに基づいて、走査用ドローン６０の次の移動経路１４７をコストが低くなるように生成する。すなわち、本実施形態では、高さ（Ｚ軸）が異なる移動経路１４６に対して移動経路１４７が高さ方向（Ｚ軸方向）から見て重ならない様に生成される。

【0108】

なお、コストマップの生成方法は限定されない。例えば、A star探索アルゴリズム、ダイクストラ法等の経路探索アルゴリズム等によりコストマップが生成されてもよい。また任意の機械学習アルゴリズムが用いられてもよい。また一度生成されたコストマップが随時更新されてもよい。
これにより、一度通った経路のコストを増大させることで３次元空間の走査範囲を均一に走査することが可能となる。なお、本実施形態において、移動経路１４５は、過去に通過した走査経路に相当する。

【0109】

以上、本実施形態に係るサーバ装置１０では、地図上の撮影を所望する領域に関する画像データが取得される。画像データに基づいて、撮影を所望する領域内にて撮影が行われた場合に取得されると予測される予測画像１２４が生成される。撮影機能を有するドローン５０の撮影を所望する領域内における移動及び撮影に関するシナリオ計画情報の生成に関する指示に基づいて、予測画像１２４が提示される。これにより、撮影機能を有する移動体の移動及び撮影に関して、高品質な計画情報を生成する事ができる。

【0110】

ドローンを用いて撮影する場合、事前に移動経路を指定しても、撮影される映像がどのような画角、流れになるかが事前にイメージするのが難しい。そのため、撮影をドローンで行う場合には、人によるマニュアル走査に強く依存する。
例えば、ドローンの有するカメラを操作する役とドローンを操作する役との２人体制で撮影が行われる。また１人でカメラとドローンとを操作する場合は、操作が難しく映像を上手く撮れない。

【0111】

一方で、ユーザが事前に指定した経路を自動で飛行するドローンの自律飛行技術は容易になってきている。
そこで、本技術では、移動経路を生成する段階で、移動経路と各移動経路におけるカメラの方向とから撮影されると予測される画像データを確認しながら、移動経路とカメラの方向を指定することで、自律飛行によって撮影することが実現される。

【0112】

これにより、ドローンの高度な操作技術がなくとも、撮影したい映像を簡単に撮影することが可能となる。また撮影する際の試行錯誤の回数を減らすことができ、低コスト化が可能となる。

【0113】

＜第２の実施形態＞
本技術に係る第２の実施形態のドローン撮影システム２００について説明する。これ以降の説明では、上記の実施形態で説明したドローン撮影システム１００における構成及び作用と同様な部分については、その説明を省略又は簡略化する。

【0114】

第１の実施形態では、シナリオ計画情報の生成をする際にユーザの選択した経由地点１２１の予測画像が表示された。第２の実施形態では、ユーザが地図表示部に表示されるランドマークを選択することによって、予測画像を表示させることが可能となる。

【0115】

図９は、本技術に係る第２の実施形態のサーバ装置１５０の機能的な構成例を示すブロック図である。サーバ装置１５０のＧＵＩ生成部１５１は、サーバ装置１０のＧＵＩ生成部１２に対して候補点生成部１５３、及び候補画像生成部１５４が追加される。
またサーバ装置１５０では、データベース５の一例として、地図データＤＢ２４と画像データＤＢ２５に加え撮影ルールＤＢ１５５が追加される。なお、シナリオ計画情報生成部は、第１の実施形態のシナリオ計画情報生成部１３と同様であるため図示が省略されている。

【0116】

図１０は、候補画像を用いる場合の計画生成用ＧＵＩ１６０の一例を示す模式図である。図１０に示すように計画生成用ＧＵＩ１６０は、計画生成用ＧＵＩ１１０の地図表示部１１１、タイムライン表示部１１３、動画プレビューボタン１１６、シナリオ実行ボタン１１７、開くボタン１２６、及び保存ボタン１２７を有する。これに加え、計画生成用ＧＵＩ１６０は、ランドマーク情報表示部１６２と、候補画像生成部１６３と、候補画像表示部１６４と、候補画像追加部１６５とを有する。

【0117】

図１１は、候補画像を用いたシナリオ計画情報の生成の具体的な処理例を示すフローチャートである。ステップ３０１、ステップ３０６、及びステップ３０７の処理は、第１の実施形態と同じステップのため説明は省略する。

【0118】

図１０に示すように、ユーザにより地図表示部１１１に表示される地図上に特定のランドマークが選択される（ステップ３０２）。選択されたランドマークの情報がランドマーク情報表示部１６２に表示される。なお、第２の実施形態では、地図表示部１１１上に選択されたランドマークを示す模式図１７０が表示されている。例えば、ユーザがランドマークとして東京タワーを選択した場合に、模式図１７０は、選択された経由地点１７１（星印）の付近に東京タワーを模した図で表示される。

【0119】

図９に示す指示情報取得部１５２により、経由地点１７１の選択に関する指示情報が取得され、候補点生成部１５３に出力される。
候補点生成部１５３は、撮影ルールＤＢ１５５に保持される撮影ルールに基づいて、ユーザに選択されたランドマークの候補点を生成する。
候補点は、ユーザに選択されたランドマークごとに設定された位置情報を示す。例えば、東京タワーから東西南北に３０ｍ離れた位置等の位置情報が各ランドマークに設定される。
なお、本実施形態において、候補点は、選択対象となったランドマークの分類ごとに設定されたドローン５０の相対的な撮影位置、又は取得される画像内のランドマークの表示状態の少なくとも一方の点を示す。

【0120】

ランドマーク情報表示部１６２には、撮影ルールＤＢ１５５に保持されたランドマークに関する情報が表示される。例えば、ユーザに選択されたランドマークの名前、緯度経度、建物等の種別が表示される。これに限定されず、山や建物であれば高さ等が表示されてもよい。

【0121】

候補画像自動生成ボタン１６３は、ユーザにより選択対象となったランドマークの候補画像を生成するためのボタンである。本実施形態では、選択されたランドマークに設定された撮影ルールに基づいて、ランドマークの候補画像１７６及び１７７等が生成される（ステップ３０３）。
なお、本実施形態において、候補画像は、選択対象となった対象物の位置情報に基づいて生成される予測候補画像に相当する。

【0122】

候補画像生成部１５４は、生成された候補点からドローン５０により撮影された場合の候補画像を生成する。
候補画像生成部１５４は、候補画像の画像データを生成する。候補画像生成部１５４により生成された候補画像の画像データは、画像データ送信部２０により、ユーザ端末３０に送信される。これにより、計画生成用ＧＵＩ１６０内の候補画像表示部１６４に、候補画像１７６及び１７７が表示される（ステップ３０４）。
本実施形態では、ユーザは、撮影ルールに基づいて、生成された候補画像１７６及び１７７を選択することができる。また候補画像表示部１６４を下方にスクロールすることで、他の候補画像を選択することも可能である。

【0123】

撮影ルールＤＢ１５５は、様々なランドマークの撮影に関する撮影ルールが保持される。撮影ルールの一例は図１２を参照して説明する。

【0124】

候補画像追加ボタン１６５は、ユーザにより選択されたランドマークの候補画像を移動経路に追加するためのボタンである。すなわち、ユーザが選択した候補画像に紐づけられた経由地点１７１の位置と撮影ルールとがシナリオ計画情報に追加される（ステップ３０５）。
例えば図１０に示すように、ユーザにより候補画像追加部１６５が選択されることで、経由地点１７１と経由地点１７２及び１７３を結ぶ破線１７４が地図表示部１１１に表示される。すなわち、経由地点１７１を通過するような移動経路（破線１７４と実線１７５）がドローン５０のシナリオ計画情報として生成される。
すなわち、候補画像表示部１６４に表示される複数の候補画像は、予測画像とも言える。また候補画像に紐づけられた経由地点の位置及び撮影ルールは、予測画像の生成後に特定された、地図上の所定の領域内における移動及び撮影に関する計画情報とも言える。動画プレビューボタン１１６が選択されることにより生成される候補動画も同様である。

【0125】

図１２は、撮影ルールの一例を示す図である。本実施形態では、撮影ルールとしてランドマーク種別、対象からの距離、撮影方位、撮影高度、及び画角位置が設定される。

【0126】

ランドマーク種別は、ランドマークの分類を示す。例えば、高層建築物、山、橋、及び家等が設定される。もちろんこれ以外のランドマークの分類が設定されてもよい。なお、本実施形態において、ランドマーク種別は、対象物を分類する分類情報に相当する。

【0127】

対象からの距離は、選択されたランドマークとドローン５０との距離を示す。例えば、「距離０」と設定されている場合、対象物である建物の真上又は真下から撮影することが可能な距離（位置）が候補点となる。また「４０％」と設定されている場合、対象物がドローン５０の有するカメラの画角の全体の高さの４０％を占めるように撮影することが可能な距離が候補点となる。
また例えば、対象からの距離が「１４０％」と設定されている場合、ランドマークがカメラの画角の全体の高さである１００％を占める状態から、１．４倍に拡大されて表示される。すなわち、ドローン５０は、対象からの距離が「１００％」の場合よりもランドマークに近い位置で撮影をする。
すなわち、対象からの距離は、カメラの画角の全体の高さに対してランドマークがどれぐらいを占めるような画像が撮影される距離として規定される。

【0128】

撮影方位は、ドローン５０が対象のランドマークを撮影する方向を示す。本実施形態では、ランドマークに対して、東、西、南、北、及び真上が設定される。撮影高度は、対象物の高さに対する位置を示す。例えば、「５０％」と設定されている場合、建物の高さの５０％の位置が候補点となる。なお、本実施形態において、対象からの距離及び撮影高度は、対象物に対する相対的な撮影位置に相当する。

【0129】

画角位置は、ドローン５０が撮影した画像内に対象物が映る位置を示す。例えば、建物を中央に映すことが可能な位置又はカメラの向きが候補点となる。

【0130】

これらの様々な撮影ルールの組み合わせにより複数の候補点が生成される。例えば、ランドマーク種別が「建物」、対象からの距離が「距離０（真上）」、撮影方位が「真上」、撮影高度が「１２０％」、画各位置が「中央」と設定された撮影ルールにより、建物を画像の中心に真上から撮影した場合の候補点が生成される。すなわち、撮影ルールは、候補点の撮影条件とも言える。なお、本実施形態において、撮影方位及び画角位置は、予測画像内の前記対象物の表示状態に相当する。
なお、撮影ルールの条件は限定されない。例えば、ユーザにより任意の撮影ルールが設定されてもよい。なお、本実施形態において、対象からの距離、撮影方位、撮影高度、及び画角位置は、対象物と移動体との相対位置に相当する。なお、本実施形態において、撮影ルールは、対象物を選択する指示に関する予測画像の生成ルールに相当する。

【0131】

これにより、シナリオ計画情報を生成する際に、ドローン５０の緯度経度、高度、及びカメラの方向等のシナリオ計画情報が候補点を選択することで設定できることにより、容易にシナリオ計画情報を生成することが可能となる。

【0132】

＜第３の実施形態＞
本技術に係る第３の実施形態のドローン撮影システム３００について説明する。
第２の実施形態では、選択されたランドマークに対して複数ある候補点の撮影ルールごとの候補画像が候補画像表示部１６４に表示された。第３の実施形態では、複数ある候補点の内から１つだけランダムに選ばれ、選ばれた候補点の候補画像が生成される。生成された候補画像にランドマークが存在するかが画像認識される事で候補画像が選出される。

【0133】

図１３は、本技術に係る第３の実施形態のサーバ装置１８０の機能的な構成例を示すブロック図である。サーバ装置１８０は、ＧＵＩ生成部１８１とシナリオ計画情報生成部１８２を有する。ＧＵＩ生成部１８１は、第２の実施形態のサーバ装置１５０に対して認識器取得部１８３、候補画像判定部１８４、及び候補画像保持部１８５が追加される。なお、シナリオ計画情報生成部１８２は、第１の実施形態と同様なため図示は省略されている。

【0134】

第２の実施形態と同様に、指示情報取得部１５２により、経由地点１７１の選択に関する指示情報が取得され、候補点生成部１５３に出力される。
候補点生成部１５３は、ユーザからの指示及び撮影ルールＤＢ１５５に保持される撮影ルールに基づいて、候補点を生成する。第３の実施形態では、候補点が１つだけ選ばれ、選ばれた候補点の候補画像が生成される。

【0135】

認識器取得部１８３は、候補画像生成部１５４により生成された予測画像に対して画像認識を行うための認識器を取得する。例えば、候補画像が風景や建物の判定、又は建物の劣化状況の検査等の様々な用途に応じた認識器が取得される。また指示情報取得部１５２により、認識器の取得に関する指示情報が取得され、認識器取得部１８３に出力されてもよい。

【0136】

候補画像判定部１８４は、生成された候補画像内に選択されたランドマークが存在するかを判定する。本実施形態では、候補画像判定部１８４により候補画像内のランドマークの信頼度が所定の閾値を超えたかが判定される。すなわち、認識器を用いて候補画像が目的に沿った画像になっているかが評価（スコアリング）される。
なお、画像認識を実行するための具体的なアルゴリズム等は限定されず、例えば機械学習が用いられてもよい。例えば、ランドマークを示すテンプレート画像と候補画像に映るランドマークとがテンプレートマッチングにより判定されてもよい。また例えば、プロの写真家が撮影した精度の高いランドマークを撮影した画像の特徴点等でマッチングすることで候補画像の精度が向上されてもよい。

【0137】

候補画像保持部１８５は、候補画像判定部１８４により信頼度が所定の閾値を超えたと判定された候補画像を保持する。本実施形態では、候補画像保持部１８５により信頼度が所定の閾値を超えた候補画像が所定の数に到達するまで保持が続けられる。所定の数に到達した場合、供給された候補画像が候補画像表示部１６４に表示される。
すなわち、予測画像は、選択対象となった対象物の位置情報に基づいて予測候補画像が生成され、予測画像内の対象物の表示状態に関して予測候補画像が評価されることで生成される。

【0138】

図１４は、候補画像を生成するための判定例を示すフローチャートである。ステップ４０１、ステップ４０２、ステップ４０６、ステップ４０７、ステップ４０８、及びステップ４０９の処理は、第１の実施形態と同じステップのため説明は省略する。

【0139】

図１０を参照して、ユーザにより地図表示部１１１に表示されたランドマークが選択される。候補点生成部１５３によりランドマークに紐づけられた撮影ルールに基づく複数の候補点からランダムに１つ選択され、その候補点の候補画像が生成される（ステップ４０３）。
例えば、ユーザの選択したランドマークの種別が山の場合、西から山の高さの１０％から撮影され、山が画角の中央に画角の高さ６０％を占めるように表示される候補画像が生成される。

【0140】

候補画像判定部１８４により生成された候補画像に選択されたランドマークが存在するかが判定される（ステップ４０４）。例えば、ユーザによりランドマークとして東京タワーが選択された場合、生成された候補画像に対して候補画像判定部１８４が画像認識を行うことで候補画像内に東京タワーが存在するかが判定される。

【0141】

候補画像に選択されたランドマークが存在すると判定された場合（ステップ４０４のＹｅｓ）、候補画像保持部１８５によりその候補画像が保持される。候補画像が規定の枚数に達した場合（ステップ４０５のＹｅｓ）、候補画像保持部１８５により保持された候補画像が候補画像表示部１６４に表示される（ステップ４０６）。

【0142】

候補画像内に選択されたランドマークが存在しないと判定された場合（ステップ４０４のＮｏ）、又は候補画像が規定の枚数に達していない場合（ステップ４０５のＮｏ）、候補点生成部１５３により選択されたランドマークの候補点が生成され、候補画像生成部１５４により生成された候補点の候補画像が新たに生成される。

【0143】

これにより、画像認識器による評価結果を用いることで表示される予測画像を高精度にすることができる。

【0144】

＜その他の実施形態＞
本技術は、以上説明した実施形態に限定されず、他の種々の実施形態を実現することができる。

【0145】

図１５は、サーバ装置１０のハードウェア構成例を示すブロック図である。もちろん、サーバ装置１０のハードウェアの構成例はサーバ装置８０、１５０、及び１８０に対しても同様に実施可能である。

【0146】

サーバ装置１０は、ＣＰＵ２０１、ＲＯＭ（Read Only Memory）２０２、ＲＡＭ２０３、入出力インタフェース２０５、及びこれらを互いに接続するバス２０４を備える。入出力インタフェース２０５には、表示部２０６、入力部２０７、記憶部２０８、通信部２０９、及びドライブ部２１０等が接続される。

【0147】

表示部２０６は、例えば液晶、ＥＬ（Electro-Luminescence）等を用いた表示デバイスである。入力部２０７は、例えばキーボード、ポインティングデバイス、タッチパネル、その他の操作装置である。入力部２０７がタッチパネルを含む場合、そのタッチパネルは表示部２０６と一体となり得る。

【0148】

記憶部２０８は、不揮発性の記憶デバイスであり、例えばＨＤＤ、フラッシュメモリ、その他の固体メモリである。ドライブ部２１０は、例えば光学記録媒体、磁気記録テープ等、リムーバブルの記録媒体２１１を駆動することが可能なデバイスである。

【0149】

通信部２０９は、ＬＡＮ、ＷＡＮ等に接続可能な、他のデバイスと通信するためのモデム、ルータ、その他の通信機器である。通信部２０９は、有線及び無線のどちらを利用して通信するものであってもよい。通信部２０９は、サーバ装置１０とは別体で使用される場合が多い。
本実施形態では、通信部２０９により、ネットワークを介した他の装置との通信が可能となる。

【0150】

上記のようなハードウェア構成を有するサーバ装置１０による情報処理は、記憶部２０８またはＲＯＭ２０２等に記憶されたソフトウェアと、サーバ装置１０のハードウェア資源との協働により実現される。具体的には、ＲＯＭ２０２等に記憶された、ソフトウェアを構成するプログラムをＲＡＭ２０３にロードして実行することにより、本技術に係る情報処理方法が実現される。

【0151】

プログラムは、例えば記録媒体２１１を介してサーバ装置１０にインストールされる。あるいは、グローバルネットワーク等を介してプログラムがサーバ装置１０にインストールされてもよい。その他、コンピュータ読み取り可能な非一過性の任意の記憶媒体が用いられてよい。

【0152】

上記の第３の実施形態では、走査用ドローン６０の走査計画情報が生成されることで、走査用ドローン６０が自律飛行し、画像データが取得された。これに限定されず、ユーザが走査用ドローン６０を操作することで、画像データが取得されてもよい。

【0153】

上記の第１の実施形態及び第２の実施形態では、タイムライン表示部１１３に撮影条件がタイムラインで表示された。これに限定されず、タイムライン表示部１１３に表示されている高度、基体姿勢、及びカメラの向き等の撮影条件がユーザに選択されることで制御されてもよい。例えば、ユーザにより経由地点のドローン５０の高度を示すタイムラインが選択され、ドラックされることで高度が制御されてもよい。

【0154】

上記の第１の実施形態及び第２の実施形態では、ランドマークに紐づけられた撮影ルールの「対象からの距離」は、カメラの画角の全体の高さに対してランドマークがどれぐらいを占めるような画像が撮影される距離として規定された。これに限定されず、カメラの画角の高さ方向と直交する水平方向の長さに対してランドマークがどれぐらいを占めるような画像が撮影される距離として規定されてもよい。また、候補画像が見上げるような写真等の下端及び上端が撮影されない場合も対象からの距離に含まれる。

【0155】

上記の第１の実施形態、第２の実施形態、及び第３の実施形態では、サーバ装置は、ネットワーク３５を介してユーザ端末３０にドローン撮影システムを提供した。これに限定されず、サーバ装置として機能する構成がユーザ端末３０やドローン５０に含まれてもよい。

【0156】

上記の第１の実施形態、第２の実施形態、及び第３の実施形態では、ドローン５０及び走査用ドローン６０がシナリオ計画情報及び走査計画情報を１度の自律飛行で行った。これに限定されず、例えば、バッテリー等がシナリオ計画情報及び走査計画情報を終了させるまで持たないと判断された場合、どこの地点まで撮影したかを保持がされてもよい。またＲＴＨ(Return To Home)等でバッテリー交換、又は充電された後に撮影途中の箇所から自律飛行が継続されてもよい。またドローン５０及び走査用ドローン６０は、空中の飛行だけではなく、地面や水上を移動可能な移動機構を有してもよい。

【0157】

また上記の第１の実施形態、第２の実施形態、及び第３の実施形態では、計画生成用ＧＵＩがアプリケーションとして提示された。これに限定されず、例えば、本ドローン開発システムに関連するＷｅｂサイトが構築され、ユーザ端末３０を介してＷｅｂサイト内の所定のＷｅｂページにアクセスして計画生成用ＧＵＩが提示されてもよい。

【0158】

通信端末に搭載されたコンピュータとネットワーク等を介して通信可能な他のコンピュータとが連動することにより本技術に係る情報処理装置、情報処理方法、プログラム、及び情報処理システムが実行され、本技術に係る情報処理装置が構築されてもよい。

【0159】

すなわち本技術に係る情報処理装置、情報処理方法、プログラム、及び情報処理システムは、単体のコンピュータにより構成されたコンピュータシステムのみならず、複数のコンピュータが連動して動作するコンピュータシステムにおいても実行可能である。なお、本開示において、システムとは、複数の構成要素（装置、モジュール（部品）等）の集合を意味し、すべての構成要素が同一筐体中にあるか否かは問わない。したがって、別個の筐体に収納され、ネットワークを介して接続されている複数の装置、及び、１つの筐体の中に複数のモジュールが収納されている１つの装置は、いずれもシステムである。

【0160】

コンピュータシステムによる本技術に係る情報処理装置、情報処理方法、プログラム、及び情報処理システムの実行は、例えば、シナリオ計画情報の生成、画像データの取得、及び予測画像の生成等が、単体のコンピュータにより実行される場合、及び各処理が異なるコンピュータにより実行される場合の両方を含む。また所定のコンピュータによる各処理の実行は、当該処理の一部又は全部を他のコンピュータに実行させその結果を取得することを含む。

【0161】

すなわち本技術に係る情報処理装置、情報処理方法、プログラム、及び情報処理システムは、１つの機能をネットワークを介して複数の装置で分担、共同して処理するクラウドコンピューティングの構成にも適用することが可能である。

【0162】

各図面を参照して説明したＧＵＩ生成部、画像データ取得部、予測画像生成部、計画生成部等の各構成、通信システムの制御フロー等はあくまで一実施形態であり、本技術の趣旨を逸脱しない範囲で、任意に変形可能である。すなわち本技術を実施するための他の任意の構成やアルゴリズム等が採用されてよい。

【0163】

なお、本開示中に記載された効果はあくまで例示であって限定されるものでは無く、また他の効果があってもよい。上記の複数の効果の記載は、それらの効果が必ずしも同時に発揮されるということを意味しているのではない。条件等により、少なくとも上記した効果のいずれかが得られることを意味しており、もちろん本開示中に記載されていない効果が発揮される可能性もある。

【0164】

以上説明した各形態の特徴部分のうち、少なくとも２つの特徴部分を組み合わせることも可能である。すなわち各実施形態で説明した種々の特徴部分は、各実施形態の区別なく、任意に組み合わされてもよい。

【0165】

なお、本技術は以下のような構成も採ることができる。
（１）地図上の所定の領域に関する画像データを取得する取得部と、
前記画像データに基づいて、前記所定の領域内で撮影が行われた場合に取得されると予測される予測画像を生成する画像生成部と、
撮影機能を有する移動体の前記所定の領域内における移動及び撮影に関する計画情報の生成に関する指示に基づいて、前記予測画像を提示する提示部と
を具備する情報処理装置。
（２）（１）に記載の情報処理装置であって、
前記提示部は、前記計画情報の生成に関する指示を入力するための、前記予測画像を含むＧＵＩ（Graphical User Interface）を出力する
情報処理装置。
（３）（１）又は（２）に記載の情報処理装置であって、
前記画像生成部は、前記所定の領域内の位置、又は撮影条件の少なくとも一方に関する指示に基づいて、前記予測画像を生成する。
情報処理装置。
（４）（３）に記載の情報処理装置であって、
前記撮影条件は、撮影方向、撮影時間、又は前記所定の領域に関する環境情報の少なくとも１つを含む
情報処理装置。
（５）（１）から（４）のうちいずれか１つに記載の情報処理装置であって、
前記画像生成部は、前記所定の領域内に存在する対象物を選択する指示に基づいて、前記対象物が撮影されている前記予測画像を生成する
情報処理装置。
（６）（５）に記載の情報処理装置であって、
前記画像生成部は、前記対象物を選択する指示に関する前記予測画像の生成ルールに基づいて、前記予測画像を生成する
情報処理装置。
（７）（６）に記載の情報処理装置であって、
前記生成ルールは、前記対象物を分類する分類情報と、前記分類情報に関連付けられた情報として、前記対象物に対する相対的な撮影位置、又は前記予測画像内の前記対象物の表示状態の少なくとも一方の情報とを含む
情報処理装置。
（８）（５）から（７）のうちいずれか１項に記載の情報処理装置であって、
前記画像生成部は、選択対象となった前記対象物の位置情報に基づいて予測候補画像を生成し、前記予測画像内の前記対象物の表示状態に関して前記予測候補画像を評価することで、前記予測画像を生成する
情報処理装置。
（９）（１）から（８）のうちいずれか１つに記載の情報処理装置であって、さらに、
入力された前記計画情報の生成に関する指示に基づいて、前記計画情報を生成する計画生成部を具備する
情報処理装置。
（１０）（９）に記載の情報処理装置であって、
前記計画生成部は、提示された前記予測画像を選択する指示に基づいて、前記計画情報を生成する
情報処理装置。
（１１）（１）から（１０）のうちいずれか１つに記載の情報処理装置であって、
前記計画情報は、経由地点、移動時間、又は撮影条件のうち少なくとも１つを含む
情報処理装置。
（１２）（１）から（１１）のうちいずれか１つに記載の情報処理装置であって、
前記画像データは、撮影機能を有する走査用の移動体が、前記所定の領域内を走査しながら撮影することで取得された画像データである
情報処理装置。
（１３）（１）から（１２）のうちいずれか１つに記載の情報処理装置であって、
前記画像データは、全天球画像データを含む
情報処理装置。
（１４）（１）から（１３）のうちいずれか１つに記載の情報処理装置であって、さらに、
前記計画情報に基づいて、前記撮影機能を有する移動体の移動及び撮影に関する動作を制御する制御部を具備する
情報処理装置
（１５）（１２）に記載の情報処理装置であって、さらに、
前記走査用の移動体の前記所定の領域内の走査及び撮影に関する走査用の計画情報を生成する走査用生成部を具備する
情報処理装置。
（１６）（１５）に記載の情報処理装置であって、
前記走査用の計画情報は、走査経路に関するコスト情報を含み、
前記コスト情報は、過去に通過した走査経路に基づいて生成される
情報処理装置。
（１７）地図上の所定の領域に関する画像データを取得し、
前記画像データに基づいて、前記所定の領域内で撮影が行われた場合に取得されると予測される予測画像を生成し、
撮影機能を有する移動体の前記所定の領域内における移動及び撮影に関する計画情報の生成に関する指示に基づいて、前記予測画像を提示する
ことをコンピュータシステムが実行する情報処理方法。
（１８）地図上の所定の領域に関する画像データを取得するステップと、
前記画像データに基づいて、前記所定の領域内で撮影が行われた場合に取得されると予測される予測画像を生成するステップと、
撮影機能を有する移動体の前記所定の領域内における移動及び撮影に関する計画情報の生成に関する指示に基づいて、前記予測画像を提示するステップと
をコンピュータシステムに実行させるプログラム。
（１９） 地図上の所定の領域に関する画像データを取得する取得部と、
前記画像データに基づいて、前記所定の領域内で撮影が行われた場合に取得されると予測される予測画像を生成する画像生成部と、
撮影機能を有する移動体の前記所定の領域内における移動及び撮影に関する計画情報の生成に関する指示に基づいて、前記予測画像を提示する提示部と、
入力された前記計画情報の生成に関する指示に基づいて、前記計画情報を生成する計画生成部と
を有する情報処理装置と、
撮影部を有し、前記情報処理装置により生成された前記計画情報に基づいて、前記所定の領域内を移動しながら撮影を実行する移動体と
を具備する情報処理システム。

【符号の説明】

【0166】

１０…サーバ装置
１１、７０、９０…通信制御部
１２、８１、１５１、１８１…ＧＵＩ生成部
１３…シナリオ計画情報生成部
１８…画像データ取得部
１９…予測画像生成部
２０…画像加工部
５０…ドローン
５１…撮像装置
６０…走査用ドローン
６３…カメラ
６８…行動計画部
６９…コストマップ生成部
８２…走査計画情報部
８６…走査計画設定部
１００…ドローン撮影システム
１１０、１６０…計画生成用ＧＵＩ
１５４…候補画像生成部
１５５…撮影ルールＤＢ
１８４…候補画像判定部

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】

【図15】