特許 7496683 表示制御装置、表示制御方法及び表示制御用プログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2024-05-30

(45)【発行日】2024-06-07

(54)【発明の名称】表示制御装置、表示制御方法及び表示制御用プログラム

(51)【国際特許分類】

   G08G 5/00 20060101AFI20240531BHJP

   G09G 5/00 20060101ALI20240531BHJP

   H04N 7/18 20060101ALI20240531BHJP

【ＦＩ】

G08G5/00 A

G09G5/00 510A

G09G5/00 530M

H04N7/18 U

【請求項の数】 7

(21)【出願番号】P 2019212651

(22)【出願日】2019-11-25

(65)【公開番号】P2021086229

(43)【公開日】2021-06-03

【審査請求日】2022-10-19

【前置審査】

(73)【特許権者】

【識別番号】000005016

【氏名又は名称】パイオニア株式会社

(73)【特許権者】

【識別番号】321011767

【氏名又は名称】ジオテクノロジーズ株式会社

(74)【代理人】

【識別番号】110000958

【氏名又は名称】弁理士法人インテクト国際特許事務所

(72)【発明者】

【氏名】倉持 敬太

(72)【発明者】

【氏名】大橋 圭

(72)【発明者】

【氏名】菊地 泰己

【審査官】貞光 大樹

(56)【参考文献】

【文献】国際公開第２０１４／０７７０４６（ＷＯ，Ａ１）

【文献】国際公開第２０１８／２１１５９１（ＷＯ，Ａ１）

【文献】特開２０１７－１９００５６（ＪＰ，Ａ）

【文献】特開２０１８－１３６６９８（ＪＰ，Ａ）

【文献】国際公開第２０１５／１５２３０４（ＷＯ，Ａ１）

【文献】特開２０１７－１６５３６５（ＪＰ，Ａ）

【文献】特開２００８－２２０６４（ＪＰ，Ａ）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ０８Ｇ １／００ － ９９／００

Ｈ０４Ｎ ７／１８

Ｇ０９Ｇ ５／００ － ５／４２

Ｇ０１Ｃ ２１／００ － ２１／３６

Ｇ０１Ｃ ２３／００ － ２５／００

Ｇ０９Ｂ ２９／００ － ２９／１４

(57)【特許請求の範囲】

【請求項1】

撮像手段が搭載されている飛翔体の飛翔が制限される制限空域を示す制限空域データであって当該制限空域に相当する地上の範囲を示す地上範囲データを含む制限空域データを取得する第１取得手段と、
前記飛翔体の現在位置を示す現在位置データ及び前記撮像手段により撮像した撮像画像データを取得する第２取得手段と、
前記現在位置を含む地図を示す地図データを取得する第３取得手段と、
前記取得された制限空域データ、現在位置データ及び撮像画像データ並びに地図データに基づいて、前記制限空域データにより示される制限空域を示す制限空域画像を、前記取得した撮像画像データに相当する撮像画像における当該制限空域に相当する位置に重ねて表示させる制御手段と、
を備え、
前記制御手段は、前記制限空域と前記現在位置との距離が予め設定された閾値距離より長い場合は第１表示態様により前記制限空域画像を表示させ、当該距離が当該閾値距離以下である場合は第２表示態様により前記制限空域画像を表示させ、
前記第１表示態様は、前記地上範囲データにより示される前記範囲を示す前記制限空域画像のみを、前記撮像画像における前記範囲に相当する前記地上の位置に重ねて表示させる表示態様であり、
前記第２表示態様は、前記撮像画像における前記制限空域に相当する位置に重ねられた立体画像として前記制限空域画像を表示させる表示態様であることを特徴とする表示制御装置。

【請求項2】

請求項１に記載の表示制御装置において、
前記制限空域データは、前記制限空域の高さを示す高さデータ及び前記地上範囲データを含んでおり、
前記第２表示態様として前記制御手段は、前記地上範囲データ及び前記高さデータに基づき、前記制限空域画像を、前記撮像画像における前記制限空域に相当する位置に重ねられた半透明の立体画像として表示させることを特徴とする表示制御装置。

【請求項3】

請求項１又は請求項２に記載の表示制御装置において、
前記第２表示態様として前記制御手段は、前記制限空域画像における前記制限空域の外縁に相当する画像に、前記制限空域に関連する関連画像を重ねて表示させることを特徴とする表示制御装置。

【請求項4】

請求項１から請求項３のいずれか一項に記載の表示制御装置において、
前記制御手段は、前記飛翔時の天候又は飛翔時刻の少なくともいずれか一つに応じて前記制限空域画像の表示態様を変化させて表示させることを特徴とする表示制御装置。

【請求項5】

請求項１から請求項４のいずれか一項に記載の表示制御装置において、
前記飛翔の制限は、当該制限空域内の飛翔禁止、又は予め設定された属性を有する前記飛翔体の飛翔のみの当該制限空域内における許可のいずれか一方であることを特徴とする表示制御装置。

【請求項6】

第１取得手段と、第２取得手段と、第３取得手段と、制御手段と、を備える表示制御装置において実行される表示制御方法であって、
撮像手段が搭載されている飛翔体の飛翔が制限される制限空域を示す制限空域データであって当該制限空域に相当する地上の範囲を示す地上範囲データを含む制限空域データを前記第１取得手段により取得する第１取得工程と、
前記飛翔体の現在位置を示す現在位置データ及び前記撮像手段により撮像した撮像画像データを前記第２取得手段により取得する第２取得工程と、
前記現在位置を含む地図を示す地図データを前記第３取得手段により取得する第３取得工程と、
前記制御手段により、前記取得された制限空域データ、現在位置データ及び撮像画像データ並びに地図データに基づいて、前記制限空域データにより示される制限空域を示す制限空域画像を、前記取得した撮像画像データに相当する撮像画像における当該制限空域に相当する位置に重ねて表示させる制御工程と、
を含み、
前記制御工程において前記制御手段は、前記制限空域と前記現在位置との距離が予め設定された閾値距離より長い場合は第１表示態様により前記制限空域画像を表示させ、当該距離が当該閾値距離以下である場合は第２表示態様により前記制限空域画像を表示させ、
前記第１表示態様は、前記地上範囲データにより示される前記範囲を示す前記制限空域画像のみを、前記撮像画像における前記範囲に相当する前記地上の位置に重ねて表示させる表示態様であり、
前記第２表示態様は、前記撮像画像における前記制限空域に相当する位置に重ねられた立体画像として前記制限空域画像を表示させる表示態様であることを特徴とする表示制御方法。

【請求項7】

コンピュータを、
撮像手段が搭載されている飛翔体の飛翔が制限される制限空域を示す制限空域データであって当該制限空域に相当する地上の範囲を示す地上範囲データを含む制限空域データを取得する第１取得手段、
前記飛翔体の現在位置を示す現在位置データ及び前記撮像手段により撮像した撮像画像データを取得する第２取得手段、
前記現在位置を含む地図を示す地図データを取得する第３取得手段、及び、
前記取得された制限空域データ、現在位置データ及び撮像画像データ並びに地図データに基づいて、前記制限空域データにより示される制限空域を示す制限空域画像を、前記取得した撮像画像データに相当する撮像画像における当該制限空域に相当する位置に重ねて表示させる制御手段、
として機能させる表示制御用プログラムであって、
前記制御手段として機能させる前記コンピュータを、前記制限空域と前記現在位置との距離が予め設定された閾値距離より長い場合は第１表示態様により前記制限空域画像を表示させ、当該距離が当該閾値距離以下である場合は第２表示態様により前記制限空域画像を表示させるように機能させ、
前記第１表示態様は、前記地上範囲データにより示される前記範囲を示す前記制限空域画像のみを、前記撮像画像における前記範囲に相当する前記地上の位置に重ねて表示させる表示態様であり、
前記第２表示態様は、前記撮像画像における前記制限空域に相当する位置に重ねられた立体画像として前記制限空域画像を表示させる表示態様であることを特徴とする表示制御用プログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本願は、表示制御装置、表示制御方法及び表示制御用プログラムの技術分野に属する。より詳細には、カメラ等の撮像手段が搭載されているドローン等の飛翔体の飛翔に関する画像の表示を制御する表示制御装置及び表示制御方法並びに当該表示制御用のプログラムの技術分野に属する。

【背景技術】

【0002】

近年、いわゆるドローン等の小型の飛翔体を飛翔させて種々の情報を収集する技術等に関する様々な研究／開発が行われている。このような従来技術を開示している先行技術文献としては、例えば下記特許文献１が挙げられる。この特許文献１には、ドローンにカメラを搭載して撮影を行う際の撮影範囲の設定方法について種々記載されている。

【先行技術文献】

【特許文献】

【0003】

【文献】特開２０１７－４６３２８号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

しかしながら上記特許文献１には、飛行するドローンに搭載されたカメラで撮像して得られるカメラ画像を表示した当該ドローンの操縦画面上で、当該ドローンと当該撮影範囲との関係を表示することについては、考慮されていない。

【0005】

そして近年では、上記撮影範囲やドローンを飛行させる空域自体について様々な制限事項が決められる場合があるが、このような制限事項を遵守しつつドローンを飛行させるためには、ドローンの上記操縦画面上で上記撮影範囲や上記飛行空域等との関係が認識し易く表示されると便利である。

【0006】

そこで本願は、上記の要請に鑑みて為されたもので、その課題の一例は、例えば飛翔体を操縦する操縦者に、上記飛行空域等の存在を直感的且つ迅速に認識させることができることが可能な表示制御装置及び表示制御方法並びに当該表示制御用のプログラムを提供することにある。

【課題を解決するための手段】

【0007】

上記の課題を解決するために、請求項１に記載の発明は、撮像手段が搭載されている飛翔体の飛翔が制限される制限空域を示す制限空域データであって当該制限空域に相当する地上の範囲を示す地上範囲データを含む制限空域データを取得する第１取得手段と、前記飛翔体の現在位置を示す現在位置データ及び前記撮像手段により撮像した撮像画像データを取得する第２取得手段と、前記現在位置を含む地図を示す地図データを取得する第３取得手段と、前記取得された制限空域データ、現在位置データ及び撮像画像データ並びに地図データに基づいて、前記制限空域データにより示される制限空域を示す制限空域画像を、前記取得した撮像画像データに相当する撮像画像における当該制限空域に相当する位置に重ねて表示させる制御手段と、を備え、前記制御手段は、前記制限空域と前記現在位置との距離が予め設定された閾値距離より長い場合は第１表示態様により前記制限空域画像を表示させ、当該距離が当該閾値距離以下である場合は第２表示態様により前記制限空域画像を表示させ、前記第１表示態様は、前記地上範囲データにより示される前記範囲を示す前記制限空域画像のみを、前記撮像画像における前記範囲に相当する前記地上の位置に重ねて表示させる表示態様であり、前記第２表示態様は、前記撮像画像における前記制限空域に相当する位置に重ねられた立体画像として前記制限空域画像を表示させる表示態様であるように構成される。

【0008】

上記の課題を解決するために、請求項６に記載の発明は、第１取得手段と、第２取得手段と、第３取得手段と、制御手段と、を備える表示制御装置において実行される表示制御方法であって、撮像手段が搭載されている飛翔体の飛翔が制限される制限空域を示す制限空域データであって当該制限空域に相当する地上の範囲を示す地上範囲データを含む制限空域データを前記第１取得手段により取得する第１取得工程と、前記飛翔体の現在位置を示す現在位置データ及び前記撮像手段により撮像した撮像画像データを前記第２取得手段により取得する第２取得工程と、前記現在位置を含む地図を示す地図データを前記第３取得手段により取得する第３取得工程と、前記制御手段により、前記取得された制限空域データ、現在位置データ及び撮像画像データ並びに地図データに基づいて、前記制限空域データにより示される制限空域を示す制限空域画像を、前記取得した撮像画像データに相当する撮像画像における当該制限空域に相当する位置に重ねて表示させる制御工程と、を含み、前記制御工程において前記制御手段は、前記制限空域と前記現在位置との距離が予め設定された閾値距離より長い場合は第１表示態様により前記制限空域画像を表示させ、当該距離が当該閾値距離以下である場合は第２表示態様により前記制限空域画像を表示させ、前記第１表示態様は、前記地上範囲データにより示される前記範囲を示す前記制限空域画像のみを、前記撮像画像における前記範囲に相当する前記地上の位置に重ねて表示させる表示態様であり、前記第２表示態様は、前記撮像画像における前記制限空域に相当する位置に重ねられた立体画像として前記制限空域画像を表示させる表示態様であるように構成される。

【0009】

上記の課題を解決するために、請求項７に記載の発明は、コンピュータを、撮像手段が搭載されている飛翔体の飛翔が制限される制限空域を示す制限空域データであって当該制限空域に相当する地上の範囲を示す地上範囲データを含む制限空域データを取得する第１取得手段、前記飛翔体の現在位置を示す現在位置データ及び前記撮像手段により撮像した撮像画像データを取得する第２取得手段、前記現在位置を含む地図を示す地図データを取得する第３取得手段、及び、前記取得された制限空域データ、現在位置データ及び撮像画像データ並びに地図データに基づいて、前記制限空域データにより示される制限空域を示す制限空域画像を、前記取得した撮像画像データに相当する撮像画像における当該制限空域に相当する位置に重ねて表示させる制御手段、として機能させる表示制御用プログラムであって、前記制御手段として機能させる前記コンピュータを、前記制限空域と前記現在位置との距離が予め設定された閾値距離より長い場合は第１表示態様により前記制限空域画像を表示させ、当該距離が当該閾値距離以下である場合は第２表示態様により前記制限空域画像を表示させるように機能させ、前記第１表示態様は、前記地上範囲データにより示される前記範囲を示す前記制限空域画像のみを、前記撮像画像における前記範囲に相当する前記地上の位置に重ねて表示させる表示態様であり、前記第２表示態様は、前記撮像画像における前記制限空域に相当する位置に重ねられた立体画像として前記制限空域画像を表示させる表示態様であるように構成される。

【図面の簡単な説明】

【0010】

【図1】実施形態の表示制御装置の概要構成を示すブロック図である。

【図2】実施例の飛行管理システムの構成を示すブロック図である。

【図3】実施例の状態表示処理を示すフローチャートである。

【図4】実施例の表示画像の一例を示す図である。

【発明を実施するための形態】

【0011】

次に、本願を実施するための形態について、図１を用いて説明する。なお図１は、実施形態の表示制御装置Ｓの概要構成を示すブロック図である。

【0012】

図１に示すように、実施形態の端末装置Ｔは、第１取得手段1と、第２取得手段1Ａと、第３取得手段1Ｂと、制御手段１１と、を備える。

【0013】

このとき第１取得手段１は、撮像手段が搭載されている飛翔体の飛翔が制限される制限空域を示す制限空域データを取得する。

【0014】

また第２取得手段１Ａは、上記飛翔体の現在位置を示す現在位置データ及び上記撮像手段により撮像した撮像画像データを取得する。更に第３取得手段１Ｂは、上記現在位置を含む地図を示す地図データを取得する。

【0015】

これらにより、制御手段１１は、第１取得手段１により取得された制限空域データ、第２取得手段１Ａにより取得された現在位置データ及び撮像画像データ、並びに第３取得手段１Ｂにより取得された地図データに基づいて、上記制限空域データにより示される制限空域を示す制限空域画像を、第２取得手段１Ａにより取得した撮像画像データに相当する撮像画像における当該制限空域に相当する位置に重ねて表示させる。

【0016】

以上説明したように、実施形態の表示制御装置Ｓの構成によれば、飛翔体の飛翔が制限される制限空域を示す制限空域画像が、飛翔体に搭載されている撮像手段による撮像画像における当該制限空域に相当する位置に重ねて表示されるので、例えば飛翔体を操縦する操縦者に、制限空域の存在を直感的且つ迅速に認識させることができる。

【実施例】

【0017】

次に、上述した実施形態に対応する具体的な実施例について、図２乃至図４を用いて説明する。なお以下に説明する実施例は、例えば、いわゆるドローンに代表される無人小型航空機の飛行管理を行う飛行管理システムにおいて、当該無人小型航空機が飛行している地域や領域の状態を表示する状態表示処理に本願を適用した場合の実施例である。

【0018】

また、図２は実施例の飛行管理システムの構成を示すブロック図であり、図３は実施例の状態表示処理を示すフローチャートであり、図４は実施例の表示画像の一例を示す図である。このとき図２では、図１に示した実施形態の表示制御装置Ｓにおける各構成部材に対応する実施例の構成部材それぞれについて、当該表示制御装置Ｓにおける各構成部材と同一の部材番号を用いている。

【0019】

図２に示すように、実施例の飛行管理システムＳＳは、実施形態の飛翔体及び実施例の無人小型航空機の一例としてのドローンＤＲと、当該ドローンＤＲを操縦又は管理する操縦管理者により操作される端末装置Ｔと、により構成されている。なお図２では、一のドローンＤＲが一の端末装置Ｔにおける上記操縦管理者の操作により制御される場合について示すが、これ以外に、複数のドローンＤＲの飛行が一の端末装置Ｔにおける当該操縦管理者の操作により制御されてもよい。

【0020】

一方、実施例のドローンＤＲは、ＧＰＳ（Global Positioning System）受信部２０Ａ、各種センサ２０Ｂ及びカメラ２０Ｃを含むセンサ部２０と、ＣＰＵ（Central Processing System）、ＲＯＭ（Read Only Memory）及びＲＡＭ（Random Access Memory）等からなる制御部２１と、送受信部２２と、により構成されており、これらセンサ部２０、制御部２１及び送受信部２２は、バス２３により相互にデータの授受が可能に接続されている。このときカメラ２０Ｃが本願の「撮像手段」の一例に相当する。

【0021】

以上の構成においてＧＰＳ受信部２０Ａは、制御部２１の制御の下、ＧＰＳに含まれる図示しない航法衛星から受信する航法電波に基づき、ドローンＤＲの現在位置を示す位置データを生成し、当該生成した位置データを制御部２１に出力する。この現在位置は、例えば、緯度及び経度並びに高度を使って表されるドローンＤＲの現在位置である。またカメラ２０Ｃは、制御部２１の制御の下、その撮像範囲にある地物を撮像し、当該撮像結果を含む画像データを生成して制御部２１に出力する。このとき、上記撮像範囲は、通常はドローンＤＲの飛行方向前方及び下方である場合が多いが、ドローンＤＲの飛行方向後方や上方が撮像範囲に含まれていてもよい。また上記地物とは、例えば、ドローンＤＲの周囲にある地上の施設や地形等の地物である。更に各種センサ２０Ｂは、制御部２１の制御の下、ドローンＤＲに備えられた図示しないプロペラの回転状態やドローンＤＲ自体の速度及び姿勢等を検出し、当該検出結果を含むセンサデータを生成して制御部２１に出力する。一方、送受信部２２は、制御部２１の制御の下、端末装置Ｔとの間の例えば無線によるデータ（上記画像データを含む）の授受を制御する。これらにより制御部２１は、送受信部２２を介して端末装置Ｔから受信した指令情報等に基づき、ドローンＤＲの飛行を制御すると共に、実施例の状態表示処理を実行する。

【0022】

他方、実施例の端末装置Ｔは、ＣＰＵ、ＲＯＭ及びＲＡＭ等からなる制御部１と、ＨＤＤ（Hard Disc Drive）又はＳＳＤ（Solid State Drive）等からなる記録部２と、送受信部３と、例えば操作スティック及び操作ボタン等からなる操作部４と、表示制御部ＧＦと、液晶ディスプレイ等からなるディスプレイＤと、により構成されており、上記制御部１、記録部２、送受信部３、操作部４及び表示制御部ＧＦは、バス５により相互にデータの授受が可能に接続されている。また、表示制御部ＧＦは、カメラ画像表示制御部１０と、制限空域画像表示制御部１１と、により構成されている。このとき、上記カメラ画像表示制御部１０及び制限空域画像表示制御部１１は、表示制御部Ｓを構成するＣＰＵ等のハードウェアロジック回路により実現されていてもよいし、後述する実施例の状態表示処理に相当するプログラムを読み出して実行することによりソフトウェア的に実現されるものであってもよい。一方、記録部２には、ドローンＤＲが飛行する予定の空域の下の地上にある地物を少なくとも示す地図データＭＤが不揮発性に記録されている。また記録部２には、上記飛行する予定の空域に実施例の制限空域がある場合、その制限空域を示す制限空域データＬＤが不揮発性に記録されている。

【0023】

ここで、実施例の制限空域とは、例えば、ドローンＤＲの飛行が種々の理由で禁止されている空域、又は予め設定された特定のドローンＤＲのみ飛行が許可されており、その他のドローンＤＲの飛行が禁止されている空域を言う。これらの制限空域は、例えば公的機関が設定するものもあれば、その設定を行う者（例えば、上空におけるドローンＤＲの飛行を禁止する必要のある施設等の管理者等）が設定し、それを第三者が閲覧可能に公開することで当該制限空域であることを周知する場合も考えられる。そして、このような制限空域を示す上記制限空域データＬＤには、制限空域ごとに以下の各データが含まれており、これらのデータが記録部２に予め記録されている。

【0024】

（１）制限空域が地上に設定されている場合の、その外縁に含まれる地上の地点を示す位置データ。
（２）制限空域が空中に設定されている場合の、その制限空域の外縁から鉛直下方向に下ろした面と地上との交線に含まれる地上の地点を示す位置データ。
（３）制限空域が高さで特定されている場合には、その高さを示す高さデータ。なお制限空域の高さを示す上記高さデータは、制限空域が地上に設定されている場合における当該地上からその制限空域の上端部までの高さを示す高さデータと、制限空域が空中に設定されている場合における地上からその制限空域の下端部までの高さ、及び当該下端部から制限空域の上端部までの高さ（換言すれば、制限空域自体の高さ）を示す高さデータと、を含む。
（４）制限空域が設定される日付及び時間帯を示す日付／時間帯データ。
（５）制限空域の属性（即ち、全てのドローンＤＲの飛行が禁止される空域なのか、又は予め設定された特定のドローンＤＲのみの飛行が許可されており、その他のドローンＤＲの飛行が禁止されている空域などの属性）を示す属性データ。なお、この属性データが本願の「関連情報」の一例に相当する。
（６）その他、制限空域の設定にあたって第三者に周知させるべきデータ。
そして、制御部１が実施形態の第１取得手段１の一例、第２取得手段１Ａの一例及び第３取得手段１Ｂの一例にそれぞれ相当し、制限空域表示制御部１１が実施形態の制御手段１１の一例に相当する。

【0025】

以上の構成において送受信部３は、制御部１の制御の下、端末装置Ｔと接続されているドローンＤＲとの間のデータ（上記画像データを含む）の授受を制御する。また記録部２は、制御部１の制御の下、必要に応じて、上記地図データＭＤ及び制限空域データＬＤを読み出して制御部１に出力する。更に表示制御部Ｓのカメラ画像表示制御部１０は、制御部１の制御の下、ドローンＤＲから送信されてきた上記画像データを用いて、後述する実施形態の撮像画像Ｇを生成してディスプレイＤに表示する。これに加えて表示制御部Ｓの制限空域表示制御部１１は、制御部１の制御の下、後述する実施例の制限空域画像Ｗを生成し、上記撮像画像Ｇが表示されているディスプレイＤに合わせて表示する。このとき当該制限空域画像Ｗとは、上記制限空域データＬＤに基づいて、当該制限空域画像Ｗが示す制限空域を立体的且つ半透明として表す画像である。制限空域画像Ｗを表示するための素材画像は、例えば記録部２に予め記録されている。更に操作部４は、当該操作部４において上記操縦管理者により実行された操作に対応する操作信号を生成し、制御部１に出力する。これらにより制御部１は、操作部４からの上記操作信号と、送受信部３を介してドローンＤＲから受信した例えば上記位置データ等と、に基づき、ドローンＤＲの飛行を制御すると共に、実施例の状態表示処理を実行する。

【0026】

次に、実施例の状態表示処理について、具体的に図２乃至図４を用いて説明する。実施例の状態表示処理が開始される前提としては、ドローンＤＲが飛行すべき上記飛行ルートが含まれる空域の下の地上にある地物を少なくとも示す地図データＭＤも、予め記録部２に記録されている。また記録部２には、実施例の制限空域画像Ｗを表示するための上記素材画像のデータも、予め記録されている。更にまた、ドローンＤＲの飛行中においては、上記制御部２１の制御下で、ドローンＤＲの上記カメラ２０Ｃによる撮像結果に対応する上記画像データ、上記センサデータ及び上記位置データ等が、ドローンＤＲから端末装置Ｔに随時送信される。

【0027】

そして、図３に対応するフローチャートを示すように、実施例の状態表示処理は、例えば、ドローンＤＲ及び端末装置Ｔそれぞれの電源がオンとされ、更にドローンＤＲが端末装置Ｔの制御の下で離陸したタイミングで開始される。実施例の状態表示処理が開始されると、端末装置Ｔの制御部１は、ドローンＤＲから上記センサデータ及び上記位置データ及び上記画像データを取得し（ステップＳ１）、当該取得した位置データに基づいてドローンＤＲの現在位置を認識すると共に、表示制御部ＧＦのカメラ画像表示制御部１０を用いて、当該取得した画像データに基づいてカメラ２０Ｃの撮像結果に相当するカメラ画像をディスプレイＤに表示する（ステップＳ２）。

【0028】

ドローンＤＲの現在位置の認識及びカメラ画像の表示が開始されると、制御部１は次に、例えばドローンＤＲが目的地に到達した等の理由によりその飛行を終了するか否かを判定する（ステップＳ３）。ステップＳ３の判定においてドローンＤＲの飛行が終了する場合（ステップＳ３：ＹＥＳ）、制御部１は上記現在位置の認識及び上記カメラ画像の表示を含む実施例の状態表示処理を終了する。なお、上記ステップＳ３の判定として、ドローンＤＲとしての飛行は継続するが、実施例の状態表示処理を終了するか否かを判定してもよい。一方、ステップＳ３の判定においてドローンＤＲの飛行が継続される場合（ステップＳ３：ＮＯ）、制御部１は次に、上記認識されたドローンＤＲの現在位置に基づき、記録部２に記録されている上記制限空域データＬＤに含まれている特に上記位置データ、上記高さデータ及び上記日付／時間帯データ並びに地図データＭＤを参照して、当該制限空域データＬＤにより示される制限空域のいずれかが、現在のドローンＤＲのカメラ２０Ｃの撮像範囲内に存在するか否かを判定する（ステップＳ４）。ステップＳ４の判定において、カメラ２０Ｃの撮像範囲内に制限空域が存在しない場合（ステップＳ４：ＮＯ）、制御部１は、上記ステップＳ２に戻り、現在位置の認識及び表示制御部ＧＦのカメラ画像表示制御部１０を用いたカメラ画像の表示を継続する。他方、ステップＳ４の判定において、カメラ２０Ｃの撮像範囲内に制限空域のいずれかが存在する場合（ステップＳ４：ＹＥＳ）、制御部１は、上記素材画像を用いて、表示制御部ＧＦの制限空域画像表示制御部１１により、当該撮像範囲内に存在する制限空域を示す制限空域画像Ｗを、現在ディスプレイＤに表示されているカメラ画像上における当該制限空域に相当する位置に重ねせて表示する（ステップＳ５）。

【0029】

ここで、実施例の制限空域画像Ｗとしては、図４に例示するように、ドローンＤＲの現在位置におけるカメラ２０Ｃの撮像結果に相当するカメラ画像Ｇに重ねて、その撮像範囲内にある制限空域を示す制限空域画像Ｗが、当該制限空域に相当する位置に立体的且つ半透明に表示される。図４に例示する場合は、カメラ２０Ｃの撮像範囲前方にあるゴルフ場の一部に、ドローンＤＲの飛行を禁止する制限空域が設定されている。この制限空域については、当該制限空域に対応する地上の範囲の上空が全て制限空域とされており、その旨の制限空域データＬＤが記録部２から読み出されている。そして、当該読み出された制限空域データＬＤに基づき、上記素材画像を用いて、当該制限空域の範囲を壁状に示す制限空域画像Ｗが立体的且つ半透明として表示される。また、制限空域画像Ｗを構成する各壁部には、その制限空域の属性を示す属性情報ＭＧが、同様に立体的に表示される。図４に例示する場合は、その制限空域内が飛行禁止である（即ち当該制限空域に進入禁止である）ことを示す「ＤＯ ＮＯＴ ＣＲＯＳＳ」の属性情報ＭＧが表示されている。この属性情報ＭＧは、制限空域データＬＤに含まれている上記属性データに基づき、上記素材画像を用いて表示される。

【0030】

なお、制限空域画像Ｗとしては、それにより示される制限空域が地上に設定されている場合に、上記（１）の位置データを用いて、その外縁（即ち当該制限空域に相当する地上の範囲）に含まれる地上の地点を結んで地上に引かれた線のみで示す制限空域画像を、当該制限空域に相当するカメラ画像Ｇの位置に重ねて表示してもよい。

【0031】

また、制限空域が空中に設定されている場合（即ち、当該制限空域の上方及び下方をドローンＤＲが飛行可能である場合）には、上記（２）の位置データ及び上記（３）の高さデータを用いて、当該空中の制限空域を示す（例えば雲状又は立体方形状の）制限空域画像を、その制限空域に相当するカメラ画像Ｇの位置に重ねて表示してもよい。

【0032】

更に、制限空域画像Ｗ自体の表示態様は、特に視認性の向上の観点から、例えば、ドローンＤＲの飛行時の天候、現在時刻又は制限空域とドローンＤＲの現在位置との距離の少なくともいずれか一つに応じて変化させてもよい。

【0033】

より具体的には、例えば、飛行時の天候と現在時刻に応じて、制限空域画像Ｗ自体を半透明のべた塗りで表示する（図４参照）か、線の組み合わせ（即ち当該線と線の間は透過状態となる）で表示するか、又はテクスチャ（繊維状の模様）として表示するか、を変更してもよい。一例としては、晴れの場合は制限空域画像Ｗを半透明のべた塗りで表示し、雨天の場合は制限空域画像Ｗを線の組み合わせで表示し、霧の場合はテクスチャで表示するように構成することができる。これらの場合には、当該天候と地上の地物等との組み合わせにより、制限空域画像Ｗの最適な表現方法が選択されればよい。

【0034】

また、制限空域とドローンＤＲの現在位置との距離に応じて、例えば制限空域が遠方である場合は、現在位置における視界確保の観点から制限空域に相当する地上の範囲のみをべた塗り又はその外縁線のみで表示し、予め設定された閾値距離まで制限空域に接近したら半透明の制限空域画像Ｗ（図４参照）を表示するように構成してもよい。

【0035】

ステップＳ５により制限空域画像Ｗが表示されたら、次に制御部１は、上記認識されたドローンＤＲの現在位置に基づき、上記制限空域データＬＤに含まれている特に上記位置データ、上記高さデータ及び上記日付／時間帯データを参照して、現在表示されている制限空域画像Ｗにより示される制限空域が、ドローンＤＲの飛行に伴ってカメラ２０Ｃの撮像範囲外になったか否か判定する（ステップＳ６）。ステップＳ６の判定において、制限空域画像Ｗにより示される制限空域がカメラ２０Ｃの撮像範囲外になっていない場合（ステップＳ６：ＮＯ）、制御部１は、上記ステップＳ５に戻って上記制限空域画像Ｗの表示を継続する。一方、ステップＳ６の判定において、制限空域画像Ｗにより示される制限空域がカメラ２０Ｃの撮像範囲外となった場合（ステップＳ６：ＹＥＳ）、制御部１は、制限空域画像表示制御部１１により、現在表示されている制限空域画像Ｗの表示を停止し（ステップＳ７）、上記ステップＳ２に戻ってカメラ画像表示制御部１０によるカメラ画像Ｇの表示のみに切り換え、その後は、上述した実施例の状態表示処理を繰り返す。

【0036】

以上説明したように、実施例の状態表示処理によれば、ドローンＤＲの飛行が制限される制限空域を示す制限空域画像Ｗが、ドローンＤＲに搭載されているカメラ２０Ｃのカメラ画像Ｇにおける当該制限空域に相当する位置に重ねて表示されるので、例えばドローンＤＲを操縦する操縦者に、制限空域の存在を直感的且つ迅速に認識させることができる。

【0037】

また、制限空域に相当する地上の範囲を示す制限空域画像Ｗがカメラ画像Ｇにおける当該地上の範囲に相当する位置に重ねて表示される場合は、地上における制限空域の範囲を直感的に認識させることができる。

【0038】

更に、制限空域画像Ｗが半透明の立体画像として表示される場合（図４参照）は、制限空域の存在をより直感的に認識させることができる。

【0039】

更にまた、制限空域画像Ｗにおける制限空域の外縁に相当する画像に属性情報ＭＧが重ねて表示されるので、制限空域における制限の内容等を直感的に認識させることができる。

【0040】

また、飛行時の天候、飛行時刻又は制限空域とドローンＤＲの現在位置との距離の少なくともいずれか一つに応じて制限空域画像Ｗの表示態様を変化させる場合は、制限空域の視認性を高めることができる。

【0041】

更に、制限空域内における飛行の制限が、飛行禁止、又は既定の属性を有するドローンＤＲの飛行のみの許可のいずれか一方である場合は、より具体的な制限空域を直感的且つ迅速に認識させることができる。

【0042】

なお上述した実施例では、無人小型航空機の一例としてのドローンＤＲの飛行状態を表示処理について本願を適用したが、これ以外に、有人小型航空機の操縦席における飛行状態の表示に本願を適用することもできる。

【0043】

また、複数のドローンＤＲの飛行状態を一元的に表示する場合において、選択された一のドローンＤＲの飛行状態のみを例えば拡大して表示する場合に本願を適用して表示するように構成してもよい。

【0044】

更に、図３に示したフローチャートに相当するプログラムを、光ディスク等の記録媒体に記録しておき、或いはインターネット等のネットワークを介して取得しておき、これを汎用のマイクロコンピュータ等に読み出して実行することにより、当該マイクロコンピュータ等を実施例に係る制御部１及び表示制御部ＧＦとして機能させることも可能である。

【符号の説明】

【0045】

１ 第１取得手段
１Ａ 第２取得手段
１Ｂ 第３取得手段
１０ カメラ画像表示制御部
１１ 制御手段（制限空域画像表示制御部）
Ｄ 表示手段
Ｇ カメラ画像
Ｗ 制限空域画像
Ｔ 端末装置
ＤＲ ドローン

【図1】

【図2】

【図3】

【図4】