(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B1)
(11)【特許番号】
(24)【登録日】2022-07-08
(45)【発行日】2022-07-19
(54)【発明の名称】飛行計画生成装置、飛行計画生成方法及びプログラム
(51)【国際特許分類】
G08G 5/00 20060101AFI20220711BHJP
B64C 39/02 20060101ALI20220711BHJP
B64D 47/08 20060101ALI20220711BHJP
B64F 1/00 20060101ALI20220711BHJP
【FI】
G08G5/00
B64C39/02
B64D47/08
B64F1/00 Z
(21)【出願番号】P 2022063253
(22)【出願日】2022-04-06
(62)【分割の表示】P 2021127552の分割
【原出願日】2021-08-03
【審査請求日】2022-04-06
【早期審査対象出願】
(73)【特許権者】
【識別番号】000208891
【氏名又は名称】KDDI株式会社
(74)【代理人】
【識別番号】100166006
【氏名又は名称】泉 通博
(74)【代理人】
【識別番号】100154070
【氏名又は名称】久恒 京範
(74)【代理人】
【識別番号】100153280
【氏名又は名称】寺川 賢祐
(72)【発明者】
【氏名】田中 卓弥
(72)【発明者】
【氏名】宮沢 光善
【審査官】岡澤 洋
(56)【参考文献】
【文献】特開2021-97268(JP,A)
【文献】特開2020-125110(JP,A)
(58)【調査した分野】(Int.Cl.,DB名)
G05D 1/10
H04N 5/232
G08G 5/00
B64C 39/02
B64D 47/08
B64F 1/00
(57)【特許請求の範囲】
【請求項1】
撮像部が撮像した撮像画像を飛行中に無線通信により送信可能な飛行装置の飛行計画を前記飛行装置の飛行前に生成し、生成した前記飛行計画を前記飛行装置に送信して前記飛行計画に沿って前記飛行装置を飛行させる飛行計画生成装置であって、
前記飛行装置の飛行中に前記撮像部により撮像される撮像対象を特定するための対象情報と、前記撮像対象の撮像画像の要求画質を特定するための画質情報とを取得する第1取得部と、
前記飛行装置の飛行空域を少なくとも含む所定エリアにおける無線通信品質に関する通信品質情報を取得する第2取得部と、
取得された前記対象情報、前記画質情報及び前記通信品質情報に基づいて、前記飛行装置の飛行経路と前記撮像部の撮像パラメータとを含む飛行計画を生成する飛行計画生成部と、
を備える飛行計画生成装置。
【請求項2】
前記第1取得部は、ユーザ端末から、ユーザにより入力された前記飛行装置の飛行経路と前記撮像部の撮像方向とを含む前記対象情報を取得する、
請求項1に記載の飛行計画生成装置。
【請求項3】
前記飛行計画生成部は、前記飛行経路、前記撮像方向、前記画質情報及び前記通信品質情報に基づいて、ユーザにより入力された前記飛行経路とは異なる推奨飛行経路を含む前記飛行計画を生成する、
請求項2に記載の飛行計画生成装置。
【請求項4】
前記飛行計画生成部は、取得された前記飛行経路と前記撮像方向から特定される撮像対象を撮像可能であり、かつ前記要求画質を満たす前記撮像画像を無線通信により送信可能な推奨飛行経路を含む前記飛行計画を生成する、
請求項2又は3に記載の飛行計画生成装置。
【請求項5】
前記飛行計画生成部は、前記推奨飛行経路が存在しない場合には、その旨をユーザに通知する、
請求項4に記載の飛行計画生成装置。
【請求項6】
前記飛行計画生成部により生成された飛行計画を前記ユーザ端末に送信する送信部を更に備える、
請求項2から5のいずれか1項に記載の飛行計画生成装置。
【請求項7】
前記飛行計画生成部は、前記ユーザ端末に送信された前記飛行計画を前記ユーザが承認したことを条件として、前記飛行計画を前記飛行装置の飛行を制御する飛行制御部に出力する、
請求項6に記載の飛行計画生成装置。
【請求項8】
前記撮像パラメータは、前記飛行装置の飛行中の前記撮像部の撮像方向と、前記撮像画像の画質を特定するための画質情報とを含む、
請求項1から7のいずれか1項に記載の飛行計画生成装置。
【請求項9】
前記画質情報は、前記撮像画像の解像度、ビットレート及びフレームレートの少なくともいずれか一つを含む、
請求項1から8のいずれか1項に記載の飛行計画生成装置。
【請求項10】
前記撮像パラメータは、前記撮像画像の画角、明るさ及び画像圧縮率の少なくともいずれか一つを含む、
請求項1から9のいずれか1項に記載の飛行計画生成装置。
【請求項11】
前記第1取得部は、複数の前記要求画質に関する情報の中から前記撮像部の機種に応じてユーザが選択した前記画質情報を取得する、
請求項1から10のいずれか1項に記載の飛行計画生成装置。
【請求項12】
前記第2取得部は、前記飛行装置が過去に前記所定エリアを飛行した際の無線通信品質、又は他の飛行装置が過去に前記所定エリアを飛行した際の無線通信品質に基づく前記通信品質情報を取得する、
請求項1から11のいずれか1項に記載の飛行計画生成装置。
【請求項13】
前記第2取得部は、シミュレータによって推定された無線通信品質を示す前記通信品質情報を取得する、
請求項1から11のいずれか1項に記載の飛行計画生成装置。
【請求項14】
撮像部が撮像した撮像画像を飛行中に無線通信により送信可能な飛行装置の飛行計画を前記飛行装置の飛行前に生成し、生成した前記飛行計画を前記飛行装置に送信して前記飛行計画に沿って前記飛行装置を飛行させる飛行計画生成方法であって、
前記飛行装置の飛行中に前記撮像部により撮像される撮像対象を特定するための対象情報と、前記撮像対象の撮像画像の要求画質を特定するための画質情報とを取得するステップと、
前記飛行装置の飛行空域を少なくとも含む所定エリアにおける無線通信品質に関する通信品質情報を取得するステップと、
取得された前記対象情報、前記画質情報及び前記通信品質情報に基づいて、前記飛行装置の飛行経路と前記撮像部の撮像パラメータとを含む飛行計画を生成するステップと、
を有する、飛行計画生成方法。
【請求項15】
撮像部が撮像した撮像画像を飛行中に無線通信により送信可能な飛行装置の飛行計画を前記飛行装置の飛行前に生成し、生成した前記飛行計画を前記飛行装置に送信して前記飛行計画に沿って前記飛行装置を飛行させるコンピュータに、
前記飛行装置の飛行中に前記撮像部により撮像される撮像対象を特定するための対象情報と、前記撮像対象の撮像画像の要求画質を特定するための画質情報とを取得するステップと、
前記飛行装置の飛行空域を少なくとも含む所定エリアにおける無線通信品質に関する通信品質情報を取得するステップと、
取得された前記対象情報、前記画質情報及び前記通信品質情報に基づいて、前記飛行装置の飛行経路と前記撮像部の撮像パラメータとを含む飛行計画を生成するステップと、
を実行させるための、プログラム。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、飛行計画生成装置、飛行計画生成方法及びプログラムに関する。
【背景技術】
【0002】
撮影対象を撮像する撮像部を備える飛行装置を、所定の飛行ルートに沿って飛行させる技術が普及している。飛行装置は、無線通信を用いて外部装置と通信可能であり、撮像部が撮像した撮像画像を外部装置に送信可能となっている(例えば、特許文献1を参照)。
【先行技術文献】
【特許文献】
【0003】
【発明の概要】
【発明が解決しようとする課題】
【0004】
近年、飛行装置の飛行中に、撮像部が撮像した撮像画像を無線通信を用いてリアルタイムに送信することが検討されている。
しかし、無線通信の通信品質はエリアによって異なることがあるため、飛行装置の飛行中の位置によっては、通信品質が十分に確保されず、撮像画像の送信が途切れたり、低ビットレートの画像が送信されたりするおそれがある。
【0005】
そこで、本発明はこれらの点に鑑みてなされたものであり、飛行装置の撮像部が撮像対象を適切に撮像した撮像画像を所望画質で送信することを目的とする。
【課題を解決するための手段】
【0006】
本発明の第1の態様においては、撮像部が撮像した撮像画像を飛行中に無線通信により送信可能な飛行装置の飛行計画を前記飛行装置の飛行前に生成し、生成した前記飛行計画を前記飛行装置に送信して前記飛行計画に沿って前記飛行装置を飛行させる飛行計画生成装置であって、前記飛行装置の飛行中に前記撮像部により撮像される撮像対象を特定するための対象情報と、前記撮像対象の撮像画像の要求画質を特定するための画質情報とを取得する第1取得部と、前記飛行装置の飛行空域を少なくとも含む所定エリアにおける無線通信品質に関する通信品質情報を取得する第2取得部と、取得された前記対象情報、前記画質情報及び前記通信品質情報に基づいて、前記飛行装置の飛行経路と前記撮像部の撮像パラメータとを含む飛行計画を生成する飛行計画生成部と、を備える飛行計画生成装置を提供する。
【0007】
また、前記第1取得部は、ユーザ端末から、ユーザにより入力された前記飛行装置の飛行経路と前記撮像部の撮像方向とを含む前記対象情報を取得することとしてもよい。
【0008】
また、前記飛行計画生成部は、前記飛行経路、前記撮像方向、前記画質情報及び前記通信品質情報に基づいて、ユーザにより入力された前記飛行経路とは異なる推奨飛行経路を含む前記飛行計画を生成することとしてもよい。
【0009】
また、前記飛行計画生成部は、取得された前記飛行経路と前記撮像方向から特定される撮像対象を撮像可能であり、かつ前記要求画質を満たす前記撮像画像を無線通信により送信可能な推奨飛行経路を含む前記飛行計画を生成することとしてもよい。
【0010】
また、前記飛行計画生成部は、前記推奨飛行経路が存在しない場合には、その旨をユーザに通知することとしてもよい。
【0011】
また、前記飛行計画生成部により生成された飛行計画を前記ユーザ端末に送信する送信部を更に備えることとしてもよい。
【0012】
また、前記飛行計画生成部は、前記ユーザ端末に送信された前記飛行計画を前記ユーザが承認したことを条件として、前記飛行計画を前記飛行装置の飛行を制御する飛行制御部に出力することとしてもよい。
【0013】
また、前記撮像パラメータは、前記飛行装置の飛行中の前記撮像部の撮像方向と、前記撮像画像の画質を特定するための画質情報とを含むこととしてもよい。
【0014】
また、前記画質情報は、前記撮像画像の解像度、ビットレート及びフレームレートの少なくともいずれか一つを含むこととしてもよい。
【0015】
また、前記撮像パラメータは、前記撮像画像の画角、明るさ及び画像圧縮率の少なくともいずれか一つを含むこととしてもよい。
【0016】
また、前記第1取得部は、複数の前記要求画質に関する情報の中から前記撮像部の機種に応じてユーザが選択した前記画質情報を取得することとしてもよい。
【0017】
また、前記第2取得部は、前記飛行装置が過去に前記所定エリアを飛行した際の無線通信品質、又は他の飛行装置が過去に前記所定エリアを飛行した際の無線通信品質に基づく前記通信品質情報を取得することとしてもよい。
【0018】
また、前記第2取得部は、シミュレータによって推定された無線通信品質を示す前記通信品質情報を取得することとしてもよい。
【0019】
本発明の第2の態様においては、撮像部が撮像した撮像画像を飛行中に無線通信により送信可能な飛行装置の飛行計画を前記飛行装置の飛行前に生成し、生成した前記飛行計画を前記飛行装置に送信して前記飛行計画に沿って前記飛行装置を飛行させる飛行計画生成方法であって、前記飛行装置の飛行中に前記撮像部により撮像される撮像対象を特定するための対象情報と、前記撮像対象の撮像画像の要求画質を特定するための画質情報とを取得するステップと、前記飛行装置の飛行空域を少なくとも含む所定エリアにおける無線通信品質に関する通信品質情報を取得するステップと、取得された前記対象情報、前記画質情報及び前記通信品質情報に基づいて、前記飛行装置の飛行経路と前記撮像部の撮像パラメータとを含む飛行計画を生成するステップと、を有する、飛行計画生成方法を提供する。
【0020】
本発明の第3の態様においては、撮像部が撮像した撮像画像を飛行中に無線通信により送信可能な飛行装置の飛行計画を前記飛行装置の飛行前に生成し、生成した前記飛行計画を前記飛行装置に送信して前記飛行計画に沿って前記飛行装置を飛行させるコンピュータに、前記飛行装置の飛行中に前記撮像部により撮像される撮像対象を特定するための対象情報と、前記撮像対象の撮像画像の要求画質を特定するための画質情報とを取得するステップと、前記飛行装置の飛行空域を少なくとも含む所定エリアにおける無線通信品質に関する通信品質情報を取得するステップと、取得された前記対象情報、前記画質情報及び前記通信品質情報に基づいて、前記飛行装置の飛行経路と前記撮像部の撮像パラメータとを含む飛行計画を生成するステップと、を実行させるための、プログラムを提供する。
【発明の効果】
【0021】
本発明によれば、飛行装置の撮像部が撮像対象を適切に撮像した撮像画像を所望画質で送信できるという効果を奏する。
【図面の簡単な説明】
【0022】
【
図1】一の実施形態に係る飛行管理システムによる飛行管理の概要を説明するための模式図である。
【
図2】ユーザ端末100の構成を説明するためのブロック図である。
【
図3】飛行管理システム200の構成を説明するためのブロック図である。
【
図4】飛行計画生成装置210の構成を説明するためのブロック図である。
【
図5】ユーザが入力した入力飛行経路を説明するための模式図である。
【
図6】推奨飛行経路を説明するための模式図である。
【
図7】飛行装置300の構成を説明するためのブロック図である。
【
図8】飛行管理システム200の動作例を説明するためのフローチャートである。
【発明を実施するための形態】
【0023】
<飛行装置の飛行管理の概要>
一の実施形態に係る飛行管理システムによる飛行装置の飛行管理の概要について、
図1を参照しながら説明する。
【0024】
図1は、一の実施形態に係る飛行管理システムによる飛行管理の概要を説明するための模式図である。飛行管理システム200は、飛行装置300の飛行を管理するシステムである。飛行管理システム200は、承認した飛行計画に沿って飛行装置300を飛行させる。飛行管理システム200は、飛行装置300が飛行計画に沿って飛行中に、飛行装置300の撮像部がリアルタイムで撮像した撮像画像を受信する。
【0025】
ユーザ端末100は、飛行装置300のユーザが使用する端末である。ユーザ端末100は、例えば、スマートフォン、タブレット端末等である。ユーザ端末は、情報を表示する表示部と、ユーザが入力操作を行う入力部を有する。ユーザ端末100は、飛行管理システム200との間で情報を送受信する。ユーザは、飛行装置300の飛行経路等に関する飛行予定計画を、ユーザ端末100に入力可能である。ユーザ端末100は、ユーザが入力した情報(例えば、飛行予定計画)を、飛行管理システム200に送信する。
【0026】
飛行装置300は、例えばドローン等の無人飛行装置であり、監視、点検、空撮、配送等が可能である。飛行装置300には、周囲を撮像する撮像部330が搭載されている。飛行装置300は、所定の飛行経路を飛行し、所定の作業を行う。例えば、飛行装置300は、飛行管理システム200が生成した飛行経路を飛行中に、所定の作業として撮像対象を撮像する。
【0027】
本実施形態の飛行管理システム200は、撮像部330が撮像対象を撮像した所望画質の撮像画像を飛行装置300がリアルタイムで送信できるように、飛行装置300の飛行計画を生成する。以下では、飛行管理システム200が実行する処理の概要を、
図1を参照しながら説明する。
【0028】
飛行管理システム200は、ユーザ端末100から、飛行装置300の撮像部が撮像する撮像対象を特定するための対象情報と、撮像対象の撮像画像の要求品質を特定するための画質情報とを取得する(
図1の処理(1))。
【0029】
飛行管理システム200は、飛行装置300の飛行空域を少なくとも含む所定エリアにおける無線通信品質に関する通信品質情報を取得する(
図1の処理(2))。例えば、飛行管理システム200は、エリア毎の無線通信品質を記憶しているデータベースから、通信品質情報を取得する。ここで、無線通信品質は、例えば、LTE受信品質を示すRSRP(Reference Signal Received Power)やSINR(Signal to Interference plus Noise power Ratio)である。RSRPは、電波の受信レベルを評価するパラメータを表す。SINRは、受信信号のうち、所望信号の電力と所望信号以外(例えば、干渉波および熱雑音)の電力の比を表す。
【0030】
飛行管理システム200は、上記の処理(1)、(2)で取得された対象情報、画質情報及び通信品質情報に基づいて、飛行装置300の飛行経路と撮像部330の撮像パラメータとを含む飛行計画を生成する(
図1の処理(3))。例えば、飛行管理システム200は、ユーザ端末100においてユーザが入力した飛行予定計画が不適切である場合には、代替となる飛行計画を生成する。なお、飛行管理システム200は、上述したRSRPやSINRの値が所定の閾値よりも大きいエリアを通過する経路を含む飛行計画を生成してもよい。
【0031】
飛行管理システム200は、生成した飛行計画に基づいて、飛行装置300を飛行させる(
図1の処理(4))。飛行装置300は、飛行計画中の飛行経路に沿って飛行し、飛行計画中の撮像パラメータに基づいて撮像対象を撮像する。飛行管理システム200は、飛行装置300から、飛行中に撮像した撮像画像をリアルタイムで受信する(
図1の処理(5))。飛行管理システム200は、受信した撮像画像をユーザ端末100に送信してもよい。
【0032】
上述した処理(3)のように対象情報、画質情報及び通信品質情報に基づいて飛行計画を生成することにより、飛行装置300の飛行経路を無線通信品質の安定した経路に設定できると共に、撮像部330が要求画質を満たす撮像画像を撮像できる。この結果、生成した飛行計画に沿って飛行する飛行装置300は、撮像部330が撮像対象を撮像した所望画質の撮像画像をリアルタイムで飛行管理システム200に送信できる。
【0033】
<ユーザ端末の構成>
図2は、ユーザ端末100の構成を説明するためのブロック図である。ユーザ端末100は、
図2に示すように、入力部110、通信部120、記憶部130及び制御部140を備える。
【0034】
入力部110は、ユーザが入力操作を行う部分である。入力部110は、例えば、画像又は文字等を表示する表示面に対するユーザの入力操作を検出するタッチパネルである。通信部120は、無線通信ネットワークを介して、飛行管理システム200と通信するための無線通信モジュールである。
【0035】
記憶部130は、ROM(Read Only Memory)及びRAM(Random Access Memory)等を含む記憶媒体である。記憶部130は、制御部140が実行するプログラムを記憶している。制御部140は、例えば、CPU(Central Processing Unit)である。制御部140は、記憶部130が記憶しているプログラムを実行することにより、操作受付部141及び通信制御部142として機能する。
【0036】
操作受付部141は、入力部110にユーザが入力した操作を受け付ける。例えば、操作受付部141は、ユーザが入力した飛行装置300の飛行予定経路(以下、入力飛行経路とも呼ぶ)を受け付ける。また、操作受付部141は、ユーザが入力した、飛行装置300の撮像部330が撮像する撮像対象や、撮像対象の撮像画像の要求画質を受け付ける。
【0037】
通信制御部142は、通信部120を介して、飛行管理システム200と通信する。例えば、通信制御部142は、操作受付部141が受け付けた入力飛行経路に関する情報を、飛行管理システム200に送信する。
【0038】
<飛行管理システムの構成>
図3は、飛行管理システム200の構成を説明するためのブロック図である。飛行管理システム200は、
図3に示すように、飛行計画生成装置210と、飛行制御装置240と、シミュレータ250と、データベース260を備える。
【0039】
飛行計画生成装置210は、飛行装置300の飛行計画を生成する。例えば、飛行計画生成装置210は、ユーザ端末100によりユーザが入力した飛行予定計画が適切でない場合には、代替計画としての飛行計画を生成する。飛行計画生成装置210は、ユーザ端末100においてユーザが入力した撮像対象及び撮像画像の要求画質に関する情報に基づいて、飛行計画を生成する。また、飛行計画生成装置210は、シミュレータ250が行ったシミュレーション結果や、データベース260に記憶された情報(例えば、無線通信品質に関する情報)に基づいて、飛行計画を生成する。
【0040】
飛行計画生成装置210は、生成した飛行計画をユーザ端末100に提示させ、ユーザの承認を受けてもよい。飛行計画生成装置210は、ユーザが承認したことを条件として、生成した飛行計画を飛行制御装置240に出力する。なお、飛行計画生成装置210の詳細構成については、後述する。
【0041】
飛行制御装置240は、飛行装置300の飛行を制御する。飛行制御装置240は、飛行計画生成装置210が生成した飛行計画に沿って、飛行装置300の飛行を制御する。例えば、飛行制御装置240は、飛行計画中の飛行経路に沿って飛行装置300を飛行させると共に、飛行計画中の撮像パラメータに基づいて撮像部330に撮像させる。
【0042】
シミュレータ250は、無線通信に関するシミュレーションを行う。例えば、シミュレータ250は、飛行装置300の飛行予定のエリアの無線通信品質に関するシミュレーションを行う。また、シミュレータ250は、撮像部330が撮像する画角に関するシミュレーションを行ってもよい。
【0043】
データベース260は、飛行装置300が飛行しうるエリア毎の無線通信品質に関する通信品質情報を記憶する。また、データベース260は、飛行装置300の機種に関する機種情報を記憶する。
【0044】
(飛行計画生成装置210の詳細構成)
図4は、飛行計画生成装置210の構成を説明するためのブロック図である。飛行計画生成装置210は、
図4に示すように、記憶部215と、制御部220を備える。
【0045】
記憶部215は、ROM(Read Only Memory)及びRAM(Random Access Memory)等を含む記憶媒体である。記憶部215は、制御部220が実行するプログラムを記憶している。
【0046】
制御部220は、例えば、CPU(Central Processing Unit)である。制御部220は、記憶部215が記憶しているプログラムを実行することにより、第1取得部221、第2取得部222及び飛行計画生成部223として機能する。
【0047】
第1取得部221は、飛行装置300の飛行中に撮像部330が撮像する撮像対象を特定するための対象情報と、撮像対象の撮像画像の要求画質を特定するための画質情報とを取得する。例えば、第1取得部221は、ユーザがユーザ端末100で入力した対象情報及び画質情報を、ユーザ端末100から取得する。
【0048】
対象情報は、撮像対象及び周囲を含む情報である。対象情報には、撮像対象を撮像するための飛行装置300の飛行経路が含まれる。また、対象情報には、飛行装置300の飛行中に撮像部30が撮像対象を撮像する撮像方向が含まれる。飛行経路及び撮像方向は、ここではユーザがユーザ端末100で入力したものであるため、第1取得部221は、ユーザによって入力された飛行装置300の飛行経路と撮像部330の撮像方向とを含む対象情報を取得する。なお、対象情報は、飛行経路の代わりに、撮像対象の位置情報を含んでもよい。この場合には、飛行計画生成部223は、撮像対象の位置情報を取得することで、飛行経路を求めてもよい。
【0049】
画質情報は、要求画質を特定する情報であればよく、例えば撮像画像の解像度を含む。ただし、これに限定されず、画質情報は、撮像画像のビットレートやフレームレートを更に含んでもよい。
【0050】
第1取得部221は、複数の要求画質に関する情報の中から撮像部330の機種に応じてユーザが選択した画質情報を取得してもよい。飛行装置300には、様々な機種の撮像部330が搭載可能であり、撮像部330の性能は機種に応じて異なり得るため、撮像部330の撮像画像の画質も機種に応じて異なる。そこで、ユーザは、ユーザ端末100において、撮像部330の機種に応じた画質情報を選択できる。これにより、撮像部330の機種に適した画質で撮像することが可能となる。
【0051】
第2取得部222は、飛行装置300の飛行空域を少なくとも含む所定エリアにおける無線通信品質に関する通信品質情報を取得する。例えば、第2取得部222は、第1取得部221が取得した飛行経路から所定エリアを特定し、特定した所定エリアに対応する通信品質情報を取得する。
【0052】
第2取得部222は、データベース260(
図3)に記憶された、過去に所定エリアを飛行した際の無線通信品質に関する通信品質情報を取得する。例えば、第2取得部222は、飛行装置300が過去に所定エリアを飛行した際の無線通信品質に基づく通信品質情報を取得する。又は、第2取得部222は、他の飛行装置300が過去に所定エリアを飛行した際の無線通信品質に基づく通信品質情報を取得する。これにより、実際の無線通信品質に基づく通信品質情報を取得できるので、信頼性の高い通信品質情報を利用できる。
【0053】
所定エリアの無線通信品質は、過去に実際に測定した値ではなく、推定した値であってもよい。例えば、第2取得部222は、シミュレータ250(
図3)によって推定された所定エリアの無線通信品質を示す通信品質情報を取得する。すなわち、第2取得部222は、シミュレータ250が所定エリアの無線通信品質についてシミュレーションした結果としての通信品質情報を取得する。これにより、初めて飛行する所定エリアであっても、通信品質情報を取得できる。
【0054】
飛行計画生成部223は、飛行装置300の飛行計画を生成する。飛行計画生成部223は、第1取得部221及び第2取得部222が取得した情報に基づいて、飛行計画を生成する。具体的には、飛行計画生成部223は、第1取得部221が取得した対象情報及び画質情報と、第2取得部222が取得した通信品質情報とに基づいて、飛行装置300の飛行経路と撮像部330の撮像パラメータとを含む飛行計画を生成する。
【0055】
生成した飛行計画に含まれる撮像パラメータは、飛行装置300の飛行中の撮像部330の撮像方向と、撮像画像の画質を特定するための画質情報とを含む。ここで、撮像方向は、飛行装置300の飛行中に、撮像対象を向く方向である。例えば、飛行計画生成部223は、飛行装置300が蛇行しながら飛行する場合には、撮像部330が常に撮像対象を向くように撮像方向を設定する。
【0056】
撮像パラメータに含まれる画質情報は、撮像画像の解像度、ビットレート及びフレームレートのうちのいずれかを含みうる。ただし、これに限定されず、画質情報は、解像度、ビットレート及びフレームレートの全てを含んでもよい。このように、画質情報は、撮像画像の解像度、ビートレート及びフレームレートの少なくともいずれか一つを含む。これにより、飛行装置300が低画質の撮像画像を送信することを抑制できる。
【0057】
なお、撮像パラメータは、撮像画像の画角、明るさ及び画像圧縮率のうちのいずれかを含みうる。ただし、これに限定されず、撮像パラメータは、画角、明るさ及び画像圧縮率の全てを含んでもよい。このように、飛行計画に含まれる撮像パラメータは、撮像画像の画角、明るさ及び画像圧縮率の少なくともいずれか一つを含む。
【0058】
飛行計画生成部223は、第1取得部221が取得した対象情報に含まれる飛行予定経路が飛行中の無線通信に適した経路か否かを判定する。例えば、飛行計画生成部223は、飛行予定経路と、第2取得部222が取得した所定エリア(上記の飛行経路を含むエリア)の通信品質情報とに基づいて、飛行予定経路が無線通信に適した経路か否かを判定する。通信品質情報は、無線通信が可能な通信エリアを示しており、飛行予定経路が通信エリアに対して重なる割合が所定の閾値未満であれば、飛行予定経路が適切でないと判定する。一方で、飛行予定経路が通信エリアに対して重なる割合が閾値以上であれば、飛行計画生成部223は、飛行予定経路が適切であると判定する。この場合、飛行計画生成部223は、対象情報に含まれる飛行予定経路を、飛行経路として採用する。
【0059】
飛行計画生成部223は、対象情報に含まれる飛行予定経路(具体的には、ユーザが入力した入力飛行経路)が適切でないと判定した場合には、入力飛行経路とは異なる推奨飛行経路を生成する。例えば、飛行計画生成部223は、取得された対象情報から特定される撮像対象を撮像可能であり、かつ要求画質を満たす撮像画像を無線通信により送信可能な推奨飛行経路を含む飛行計画を生成する。これにより、通信品質を十分に確保できるので、撮像画像の送信が途切れたり、低ビットレートの画像が送信されたりすることを防止できる。以下では、
図5及び
図6を参照して、具体的に説明する。
【0060】
図5は、ユーザが入力した入力飛行経路を説明するための模式図である。
図5には、飛行装置300の飛行空域を含む所定エリアが示されている。ハッチングされた領域は、ここではLTE(Long Term Evolution)方式での無線通信が可能な圏内エリアであり、ハッチングされていない領域は、無線通信ができない圏外エリアである。ユーザは、圏内エリアと圏外エリアを判別できず、
図5に示す入力飛行経路R1を入力したものとする。入力飛行経路R1は、飛行装置300の出発地P1と目的地P2を一直線に結んだ経路である。入力飛行経路R1を飛行する際の撮像部330の撮像方向(
図5の矢印で示す方向)は、飛行方向と同じとなっている。
図5に示すように、入力飛行経路R1の大部分は、圏外エリアとなっている。このため、飛行装置300が入力飛行経路R1に沿って飛行する際には、撮像画像を送信することが困難である。
【0061】
飛行計画生成部223は、入力飛行経路とは異なる飛行経路として、飛行装置300が圏内エリアを飛行する推奨飛行経路を生成する。一例として、飛行計画生成部223は、
図6に示す推奨飛行経路を生成する。
【0062】
図6は、推奨飛行経路を説明するための模式図である。推奨飛行経路R3は、飛行装置300の出発地P1と目的地P3を結んだ経路である。目的地P3は、
図5に示す目的地P2とは異なる位置であり、圏内エリアに位置する。また、推奨飛行経路R3は、
図5に示す入力飛行経路R1とは異なり、
図6に示すように圏内エリアに位置するように折れ曲がった経路である。また、推奨飛行経路R3を飛行する際の撮像部330の撮像方向は、
図6に示す矢印の方向であり、撮像部330が撮像対象を向く方向である。このため、飛行装置300が推奨飛行経路R3に沿って飛行する際には、撮像対象を適切に撮像した撮像画像をリアルタイムに送信できる。
【0063】
飛行計画生成部223は、推奨飛行経路が存在しない場合には、その旨をユーザに通知してもよい。例えば、飛行計画生成部223は、推奨飛行経路が存在しない旨の情報をユーザ端末100に送信し、当該情報を受信したユーザ端末100は、表示部にその旨を表示する。これにより、ユーザは、推奨飛行経路が存在しないことが認識できる。
【0064】
飛行計画生成部223は、生成した飛行計画をユーザに提示する機能を有する。例えば、飛行計画生成部223は、生成した飛行計画をユーザ端末100に送信し、ユーザ端末100は、受信した飛行計画を表示部に表示させる。これにより、ユーザは、生成された飛行計画を確認できるので、当該飛行計画を承認したり、他の飛行計画を再度入力したりできる。飛行計画生成部223は、提示された飛行計画をユーザが承認したことを条件として、生成した飛行計画を飛行装置300の飛行を制御する飛行制御装置240に出力する。このため、飛行制御装置240は、ユーザが承認した飛行計画に沿って、飛行装置300を飛行させる。これにより、ユーザが望まない飛行計画に沿って飛行装置300が飛行することを防止できる。
【0065】
(変形例1)
飛行計画生成部223は、飛行計画を生成する際に、所定エリアの地上に設置された撮像部(以下、設置撮像部)に関する撮像部情報を参照してもよい。設置撮像部は、例えば、飛行装置300の離陸地点や着陸地点になり得る位置に設置された撮像部である。これらの設置撮像部は、飛行装置300の撮像部330が撮像するよりも、離陸地点及び着陸地点を適切に撮像できる。
【0066】
撮像部情報は、ここでは記憶部215に記憶されている。例えば、撮像部情報は、設置撮像部の設置位置と、設置撮像部の機種とを関連づけて記憶している。この際、飛行計画生成部223は、記憶部215に記憶された撮像部情報に更に基づいて飛行計画を生成する。例えば、飛行計画生成部223は、2つの設置撮像部を離陸地点と着陸地点にする飛行計画を生成する。この場合、飛行装置300の離陸時及び着陸時は、撮像部330に代えて、設置撮像部が撮像を行う。
【0067】
(変形例2)
上記では、飛行計画生成部223は、入力飛行計画とは異なる推奨飛行計画を生成することとしたが、飛行装置300の飛行目的(別言すれば撮像目的)に基づいて飛行計画の生成を制御してもよい。以下において、詳細に説明する。
【0068】
第1取得部221は、飛行装置300の飛行目的に関する飛行目的情報を取得する。飛行目的情報は、例えばユーザがユーザ端末100に入力した情報であり、第1取得部221はユーザ端末100から飛行目的情報を取得する。飛行装置300の飛行目的は、例えば、監視、点検、空撮、配送である。
【0069】
飛行計画生成部223は、第1取得部221が取得した飛行目的情報に更に基づいて、飛行計画の生成を制御する。例えば、飛行計画生成部223は、飛行目的が監視や空撮の場合には、飛行経路が多少変わっても目的は達成できると考えられるため、飛行経路及び撮像パラメータも変更するように推奨飛行計画を生成する。飛行目的が配送の場合、撮像の目的は飛行装置が飛行する上で周囲が安全かを確認することであり、どこを撮像しているかは問題とならないため、飛行計画生成部223は、飛行経路を変更する一方で、撮像パラメータを変更しない推奨飛行計画を生成する。飛行目的が点検の場合は、撮像方向によって、飛行経路を変更しても所望の点検対象を撮像できるか否かが異なるため、撮像方向に応じて推奨飛行計画の生成を行うか否かを決定する。例えば、撮像方向が真下である場合、飛行経路を変更してしまうと点検対象を撮像できなくなってしまうので、飛行計画生成部223は、推奨飛行計画を生成しない。
【0070】
なお、監視中には、飛行装置300の撮像部330によって、飛行方向と飛行装置300の機体の状況とを確認することが望ましい。また、監視したい監視エリアを所望の解像度(例えば、人物を判別できる解像度)で撮像する。夜間の監視の場合には、サーマルカメラで監視したり、LEDライトから監視エリアへ光を照射して監視したりしてもよい。
点検中には、撮像部330によって、飛行方向と飛行装置300の機体の状況とを確認することが望ましい。また、点検したい点検対象物を所望の解像度(例えば、鉄塔等の建物のクラックを判別できる解像度)及び角度で撮像する。この際、太陽の逆光とならない方位からの撮像が望ましい。
【0071】
また、空撮中には、撮像部330によって、飛行方向と飛行装置300の機体の状況とを確認することが望ましい。また、空撮したい風景や構造物を所望の解像度(例えば、テレビで見て綺麗な解像度)及び角度で撮像する。この際、太陽の逆光とならない方位からの撮像が望ましい。配送中には、撮像部330によって、飛行方向と飛行装置300の機体の状況とを確認することが望ましい。
【0072】
上記では、飛行中の監視等について説明したが、飛行装置300の離陸時や着陸時には以下のような動作が望ましい。監視、点検、空撮及び配送の離陸時には、離陸地点の周辺を見渡せる画像を撮像し、第三者が離陸地点に入っていない(又は、離陸地点に入ろうしていない)ことを確認することが望ましい。また、監視、点検、空撮及び配送の着陸時には、着陸地点の周辺を見渡せる画像を撮像し、障害物がないこと、第三者が着陸地点に入っていない(又は、着陸地点に入ろうとしていない)ことを確認することが望ましい。
【0073】
<飛行装置の構成>
図7は、飛行装置300の構成を説明するためのブロック図である。飛行装置300は、例えばドローンである。飛行装置300は、
図7に示すように、通信部310、飛行機構部320、撮像部330、記憶部340及び制御部350を備える。飛行装置300は、撮像部330が撮像した撮像画像を、飛行中に無線通信により送信可能である。ここでは、飛行装置300は、リアルタイムに、撮像画像を無線通信に飛行管理システム200に送信する。
【0074】
通信部310は、飛行管理システム200と無線通信するための通信モジュールである。例えば、通信部310は、LTEの通信規格を利用して、無線通信を行う。
飛行機構部320は、例えば、複数のプロペラと、各プロペラを回転させるモータとを含む。プロペラの回転数を制御することで、飛行装置300の上昇、下降、旋回、及び前後左右移動が可能となる。
撮像部330は、飛行装置300の周囲を撮像する。例えば、撮像部330は、飛行装置300の飛行中に、下方に位置する撮像対象を撮像する。
【0075】
記憶部340は、ROM及びRAM等を含む記憶媒体である。記憶部340は、制御部350が実行するプログラムを記憶している。
制御部350は、例えば、CPUである。制御部350は、記憶部340が記憶しているプログラムを実行することにより、通信制御部351、飛行制御部352及び撮像制御部353として機能する。
【0076】
通信制御部351は、通信部310を介して、飛行管理システム200と通信する。通信制御部351は、飛行管理システム200から、飛行計画を受信する。通信制御部351は、飛行装置300の飛行中に撮像部330が撮像した撮像画像を、飛行管理システム200にリアルタイムに送信する。
【0077】
飛行制御部352は、飛行機構部320を駆動させて、飛行装置300の飛行を制御する。飛行制御部352は、飛行管理システム200から受信した飛行計画に含まれる飛行経路に沿って、飛行装置300を飛行させる。
【0078】
撮像制御部353は、撮像部330の撮像を制御する。撮像制御部353は、飛行管理システム200から受信した飛行計画に含まれる撮像パラメータに基づいて、撮像部330の撮像を制御する。例えば、撮像制御部353は、撮像パラメータに含まれる撮像方向に基づいて、飛行装置300の飛行中に撮像部330の向きを調整する。また、撮像制御部353は、撮像パラメータに含まれる解像度、ビットレート及びフレームレートに基づいて、撮像部330に撮像させる。これにより、撮像対象を高画質の撮像画像として撮像できる。
【0079】
<飛行管理システム200の動作例>
図8は、飛行管理システム200の動作例を説明するためのフローチャートである。
図8のフローチャートは、飛行管理システム200の飛行計画生成装置210が、ユーザ端末100において入力された飛行予定計画を受信するところから開始される(ステップS102)。飛行予定計画には、飛行装置300の撮像部330の撮像対象に関する情報や、撮像画像の画質に関する情報が含まれている。また、飛行予定計画には、飛行予定経路が含まれている。
【0080】
次に、飛行計画生成装置210の第1取得部221は、受信した飛行予定計画から、撮像部330が撮像する撮像対象を特定するための対象情報と、撮像画像の要求画質を特定するための画質情報とを取得する(ステップS104)。
【0081】
次に、第2取得部222は、飛行装置300の飛行予定経路を含む所定エリアにおける無線通信品質に関する通信品質情報を取得する(ステップS106)。例えば、第2取得部222は、記憶部215に記憶された、過去に飛行装置300が所定エリアを飛行した際の無線通信品質に基づく通信品質情報を取得する。
【0082】
次に、飛行計画生成部223は、ステップS104で取得した対象情報及び画質情報と、ステップS106で取得した通信品質情報とに基づいて、飛行装置300の飛行経路と撮像部330の撮像パラメータを含む飛行計画を生成する(ステップS108)。例えば、飛行計画生成部223は、
図6で説明したように圏内エリアを通過する飛行経路と、飛行中に撮像部330が撮像対象を向く撮像方向とを含む飛行計画を生成する。
【0083】
次に、飛行管理システム200の飛行制御装置240は、生成した飛行計画を飛行装置300に送信し、飛行装置300を飛行計画に沿って飛行させる(ステップS110)。すなわち、飛行制御装置240は、飛行計画の飛行経路に沿って飛行装置300を飛行させると共に、飛行中に撮像部330を撮像パラメータに基づいて動作させて撮像対象を撮像させる。
【0084】
飛行管理システム200は、飛行装置300の飛行中に撮像部330が撮像した撮像画像をリアルタイムに受信する(ステップS112)。飛行管理システム200は、受信した撮像画像をユーザ端末100に転送する。これにより、ユーザ端末100のユーザが、撮像部330が撮像した撮像画像をリアルタイムに確認できる。
【0085】
<本実施形態における効果>
本実施形態に係る飛行計画生成装置210は、飛行装置300の撮像部330の撮像対象を特定する対象情報と、撮像画像の要求画質を特定する画質情報と、飛行装置300の飛行空域を含む所定エリアの無線通信品質に関する通信品質情報とを取得する。そして、飛行計画生成装置210は、取得した対象情報、画質情報及び通信品質情報に基づいて、飛行装置300の飛行経路と撮像部330の撮像パラメータとを含む飛行計画を生成する。
これにより、飛行装置300の飛行経路を無線通信品質の安定した経路に設定できると共に、撮像部330が要求画質を満たす撮像画像を撮像できる。この結果、生成した飛行計画に沿って飛行する飛行装置300は、撮像部330が撮像対象を撮像した所望画質の撮像画像をリアルタイムで飛行管理システム200に送信できる。
【0086】
なお、本発明により、国連が主導する持続可能な開発目標(SDGs)の目標9「産業と技術革新の基盤をつくろう」に貢献することが可能となる。
【0087】
以上、本発明を実施の形態を用いて説明したが、本発明の技術的範囲は上記実施の形態に記載の範囲には限定されず、その要旨の範囲内で種々の変形及び変更が可能である。例えば、装置の全部又は一部は、任意の単位で機能的又は物理的に分散・統合して構成することができる。また、複数の実施の形態の任意の組み合わせによって生じる新たな実施の形態も、本発明の実施の形態に含まれる。組み合わせによって生じる新たな実施の形態の効果は、もとの実施の形態の効果を併せ持つ。
【符号の説明】
【0088】
210 飛行計画生成装置
215 記憶部
221 第1取得部
222 第2取得部
223 飛行計画生成部
240 飛行制御装置
300 飛行装置
330 撮像部
【要約】
【課題】飛行装置の撮像部が撮像対象を適切に撮像した撮像画像を所望画質で送信する。
【解決手段】撮像部が撮像した撮像画像を飛行中に無線通信により送信可能な飛行装置の飛行計画を飛行装置の飛行前に生成し、生成した飛行計画を飛行装置に送信して飛行計画に沿って飛行装置を飛行させる飛行計画生成装置210は、飛行装置の飛行中に撮像部により撮像される撮像対象を特定するための対象情報と、撮像対象の撮像画像の要求画質を特定するための画質情報とを取得する第1取得部221と、飛行装置の飛行空域を少なくとも含む所定エリアにおける無線通信品質に関する通信品質情報を取得する第2取得部222と、取得された対象情報、画質情報及び通信品質情報に基づいて、飛行装置の飛行経路と撮像部の撮像パラメータとを含む飛行計画を生成する飛行計画生成部223を備える。
【選択図】
図4