特許 6831949 表示制御システム、表示制御装置及び表示制御方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】6831949

(24)【登録日】2021年2月2日

(45)【発行日】2021年2月17日

(54)【発明の名称】表示制御システム、表示制御装置及び表示制御方法

(51)【国際特許分類】

   B64D 45/00 20060101AFI20210208BHJP

   B64D 47/08 20060101ALI20210208BHJP

   B64C 39/02 20060101ALI20210208BHJP

   B64C 13/20 20060101ALI20210208BHJP

   G05D 1/00 20060101ALI20210208BHJP

   H04N 7/18 20060101ALI20210208BHJP

【ＦＩ】

   B64D45/00 A

   B64D47/08

   B64C39/02

   B64C13/20 Z

   G05D1/00 B

   H04N7/18 U

【請求項の数】13

【全頁数】16

(21)【出願番号】特願2020-547432(P2020-547432)

(86)(22)【出願日】2018年11月30日

(86)【国際出願番号】JP2018044181

(87)【国際公開番号】WO2020110292

(87)【国際公開日】20200604

【審査請求日】2020年9月10日

【早期審査対象出願】

(73)【特許権者】

【識別番号】399037405

【氏名又は名称】楽天株式会社

(74)【代理人】

【識別番号】110000154

【氏名又は名称】特許業務法人はるか国際特許事務所

(72)【発明者】

【氏名】中澤 満

(72)【発明者】

【氏名】岩瀬 裕章

【審査官】 諸星 圭祐

(56)【参考文献】

【文献】 特開２０１８−１２１２６７（ＪＰ，Ａ）

【文献】 特開２０１８−１６５０６６（ＪＰ，Ａ）

【文献】 特開２０１８−１６４２２３（ＪＰ，Ａ）

【文献】 国際公開第２０１７／１７０１４８（ＷＯ，Ａ１）

【文献】 米国特許出願公開第２０１６／０３４９８４９（ＵＳ，Ａ１）

(58)【調査した分野】（Int.Cl.，ＤＢ名）

Ｂ６４Ｄ ４５／００

Ｂ６４Ｃ １３／２０

Ｂ６４Ｃ ３９／０２

Ｂ６４Ｄ ４７／０８

Ｇ０５Ｄ １／００

Ｈ０４Ｎ ７／１８

(57)【特許請求の範囲】

【請求項1】

飛行中の無人航空機が備えるカメラにより撮影される航空機撮影画像を取得する画像取得手段と、
前記無人航空機及び当該無人航空機の操縦者のうちの少なくとも一方に関するセンシングデータに基づいて、当該操縦者により当該無人航空機が視認可能であるか否かを判定する判定手段と、
前記判定手段による判定結果に応じて、表示部における前記航空機撮影画像の表示状態を制御する表示制御手段と、
を含むことを特徴とする表示制御システム。

【請求項2】

前記表示制御手段は、前記判定手段による判定結果に応じて、前記表示部に前記航空機撮影画像を表示させるか否かを制御する、
ことを特徴とする請求項１に記載の表示制御システム。

【請求項3】

前記表示制御手段は、前記判定手段による判定結果に応じて、前記表示部に表示される前記航空機撮影画像のサイズを制御する、
ことを特徴とする請求項１に記載の表示制御システム。

【請求項4】

前記判定手段は、前記無人航空機と前記操縦者との間の距離に基づいて、当該操縦者により当該無人航空機が視認可能であるか否かを判定する、
ことを特徴とする請求項１から３のいずれか一項に記載の表示制御システム。

【請求項5】

前記判定手段は、前記航空機撮影画像に基づいて、前記操縦者により前記無人航空機が視認可能であるか否かを判定する、
ことを特徴とする請求項１から４のいずれか一項に記載の表示制御システム。

【請求項6】

前記表示制御手段は、前記判定手段による判定結果に応じて、前記操縦者が装着するヘッドマウントディスプレイが備える前記表示部における前記航空機撮影画像の表示状態を制御する、
ことを特徴とする請求項１から５のいずれか一項に記載の表示制御システム。

【請求項7】

前記表示制御手段は、前記操縦者により前記無人航空機が視認可能であると判定される場合は、前記航空機撮影画像が前記表示部に表示されず前記操縦者の頭部に配置されたカメラにより撮影される操縦者撮影画像が前記表示部に表示されるよう制御し、前記操縦者により前記無人航空機が視認可能であると判定されない場合は、前記操縦者撮影画像が前記表示部に表示されず前記航空機撮影画像が前記表示部に表示されるよう制御する、
ことを特徴とする請求項１から６のいずれか一項に記載の表示制御システム。

【請求項8】

前記判定手段は、前記操縦者の頭部に配置されたカメラにより撮影される操縦者撮影画像に基づいて、前記操縦者により前記無人航空機が視認可能であるか否かを判定する、
ことを特徴とする請求項１から６のいずれか一項に記載の表示制御システム。

【請求項9】

前記判定手段は、前記操縦者が装着するヘッドマウントディスプレイが備えるカメラが撮影する操縦者撮影画像に基づいて、前記操縦者により前記無人航空機が視認可能であるか否かを判定し、
前記表示制御手段は、前記判定手段による判定結果に応じて、前記ヘッドマウントディスプレイが備える前記表示部における前記航空機撮影画像の表示状態を制御する、
ことを特徴とする請求項１から６のいずれか一項に記載の表示制御システム。

【請求項10】

前記表示制御手段は、前記操縦者により前記無人航空機が視認可能であると判定される場合は、前記航空機撮影画像が前記表示部に表示されず前記操縦者撮影画像が前記表示部に表示されるよう制御し、前記操縦者により前記無人航空機が視認可能であると判定されない場合は、前記操縦者撮影画像が前記表示部に表示されず前記航空機撮影画像が前記表示部に表示されるよう制御する、
ことを特徴とする請求項８又は９に記載の表示制御システム。

【請求項11】

前記操縦者により前記無人航空機が視認可能であって、前記操縦者が前記無人航空機を目視していない場合に、前記無人航空機を目視できるよう前記操縦者を案内する案内情報を前記操縦者に提供する案内手段、をさらに含む、
ことを特徴とする請求項１から１０のいずれか一項に記載の表示制御システム。

【請求項12】

飛行中の無人航空機が備えるカメラにより撮影される航空機撮影画像を取得する画像取得手段と、
前記無人航空機及び当該無人航空機の操縦者のうちの少なくとも一方に関するセンシングデータに基づいて、当該操縦者により当該無人航空機が視認可能であるか否かを判定する判定手段と、
前記判定手段による判定結果に応じて、表示部における前記航空機撮影画像の表示状態を制御する表示制御手段と、
を含むことを特徴とする表示制御装置。

【請求項13】

飛行中の無人航空機が備えるカメラにより撮影される航空機撮影画像を取得するステップと、
前記無人航空機及び当該無人航空機の操縦者のうちの少なくとも一方に関するセンシングデータに基づいて、当該操縦者により当該無人航空機が視認可能であるか否かを判定するステップと、
前記判定するステップでの判定結果に応じて、表示部における前記航空機撮影画像の表示状態を制御するステップと、
を含むことを特徴とする表示制御方法。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、表示制御システム、表示制御装置及び表示制御方法に関する。

【背景技術】

【0002】

無人航空機を飛行させる際には、当該無人航空機やその周囲の安全を確保するため、原則として、当該無人航空機の操縦者が当該無人航空機を目視している必要がある。そして無人航空機の操縦者が当該無人航空機を視認可能でない状況においては、例えば当該無人航空機が備えたカメラが周囲を撮影する画像（以下、航空機撮影画像と呼ぶ。）などによって無人航空機の操縦者が当該無人航空機の周囲の状況を把握できるようにすることが求められる。

【0003】

航空機撮影画像を当該無人航空機の操縦者に提示する技術の一例として、特許文献１には、無人ヘリコプタに取り付けられた全方位カメラにより撮影された全方位画像から作成された操縦用画像を操縦者に提示する遠隔操縦システムが記載されている。

【0004】

また特許文献２には、操縦者の頭部に装着されるヘッドマウントディスプレイに、無人飛行体のカメラによって撮影された映像が表示されることが記載されている。

【先行技術文献】

【特許文献】

【0005】

【特許文献1】特開２００３−２６７２９５号公報

【特許文献2】特開２０１７−１１９５０１号公報

【発明の概要】

【発明が解決しようとする課題】

【0006】

無人航空機の操縦者が当該無人航空機を視認可能な状況においては、目視を妨げないよう航空機撮影画像の当該操縦者への提示はできる限り抑制されることが望ましい。一方で、無人航空機の操縦者が当該無人航空機を視認可能でない状況になったら当該抑制は解除される必要がある。

【0007】

この点、特許文献１に記載の技術では、上述の操縦用画像は操縦者に常に提示されてしまう。また特許文献２に記載の技術においても、無人飛行体のカメラによって撮影された映像は、ヘッドマウントディスプレイに表示されたままとなる。

【0008】

本発明は、上記課題に鑑みてなされたものであって、その目的の一つは、無人航空機が備えたカメラが撮影する画像の表示状態を適切に制御できる表示制御システム、表示制御装置及び表示制御方法を提供することにある。

【課題を解決するための手段】

【0009】

上記課題を解決するために、本発明に係る表示制御システムは、飛行中の無人航空機が備えるカメラにより撮影される航空機撮影画像を取得する画像取得手段と、前記無人航空機及び当該無人航空機の操縦者のうちの少なくとも一方に関するセンシングデータに基づいて、当該操縦者により当該無人航空機が視認可能であるか否かを判定する判定手段と、前記判定手段による判定結果に応じて、表示部における前記航空機撮影画像の表示状態を制御する表示制御手段と、を含む。

【0010】

本発明の一態様では、前記表示制御手段は、前記判定手段による判定結果に応じて、前記表示部に前記航空機撮影画像を表示させるか否かを制御する。

【0011】

あるいは、前記表示制御手段は、前記判定手段による判定結果に応じて、前記表示部に表示される前記航空機撮影画像のサイズを制御する。

【0012】

また、本発明の一態様では、前記判定手段は、前記無人航空機と前記操縦者との間の距離に基づいて、当該操縦者により当該無人航空機が視認可能であるか否かを判定する。

【0013】

また、本発明の一態様では、前記判定手段は、前記航空機撮影画像に基づいて、前記操縦者により前記無人航空機が視認可能であるか否かを判定する。

【0014】

また、本発明の一態様では、前記判定手段は、前記操縦者の頭部に配置されたカメラにより撮影される操縦者撮影画像に基づいて、前記操縦者により前記無人航空機が視認可能であるか否かを判定する。

【0015】

また、本発明の一態様では、前記表示制御手段は、前記判定手段による判定結果に応じて、前記操縦者が装着するヘッドマウントディスプレイが備える前記表示部における前記航空機撮影画像の表示状態を制御する。

【0016】

また、本発明の一態様では、前記判定手段は、前記操縦者が装着するヘッドマウントディスプレイが備えるカメラが撮影する操縦者撮影画像に基づいて、前記操縦者により前記無人航空機が視認可能であるか否かを判定し、前記表示制御手段は、前記判定手段による判定結果に応じて、前記ヘッドマウントディスプレイが備える前記表示部における前記航空機撮影画像の表示状態を制御する。

【0017】

また、本発明の一態様では、前記操縦者により前記無人航空機が視認可能であって、前記操縦者が前記無人航空機を目視していない場合に、前記無人航空機を目視できるよう前記操縦者を案内する案内情報を前記操縦者に提供する案内手段、をさらに含む。

【0018】

また、本発明に係る表示制御装置は、飛行中の無人航空機が備えるカメラにより撮影される航空機撮影画像を取得する画像取得手段と、前記無人航空機及び当該無人航空機の操縦者のうちの少なくとも一方に関するセンシングデータに基づいて、当該操縦者により当該無人航空機が視認可能であるか否かを判定する判定手段と、前記判定手段による判定結果に応じて、表示部における前記航空機撮影画像の表示状態を制御する表示制御手段と、を含む。

【0019】

また、本発明に係る表示制御方法は、飛行中の無人航空機が備えるカメラにより撮影される航空機撮影画像を取得するステップと、前記無人航空機及び当該無人航空機の操縦者のうちの少なくとも一方に関するセンシングデータに基づいて、当該操縦者により当該無人航空機が視認可能であるか否かを判定するステップと、前記判定するステップでの判定結果に応じて、表示部における前記航空機撮影画像の表示状態を制御するステップと、を含む。

【図面の簡単な説明】

【0020】

【図1】本発明の一実施形態に係る表示制御システムの全体構成の一例を示す図である。

【図2A】本発明の一実施形態に係るヘッドマウントディスプレイの構成の一例を示す図である。

【図2B】本発明の一実施形態に係る無人航空機の構成の一例を示す図である。

【図3】無人航空機の位置と操縦者の位置との関係の一例を模式的に示す図である。

【図4】本発明の一実施形態に係るヘッドマウントディスプレイで実装される機能の一例を示す機能ブロック図である。

【図5】本発明の一実施形態に係るヘッドマウントディスプレイにおいて行われる処理の流れの一例を示すフロー図である。

【発明を実施するための形態】

【0021】

以下、本発明の一実施形態について、図面を参照しながら説明する。

【0022】

図１は、本発明の一実施形態に係る表示制御システム１の全体構成の一例を示す図である。図１に示すように、本実施形態に係る表示制御システム１には、ヘッドマウントディスプレイ（ＨＭＤ）１０、無人航空機１２、及び、操縦端末１４が含まれる。

【0023】

図１に示すように、操縦端末１４と無人航空機１２とは互いに通信可能となっている。またＨＭＤ１０と操縦端末１４とは互いに通信可能となっている。なおＨＭＤ１０と無人航空機１２とは、操縦端末１４を介さずに直接互いに通信可能でも構わない。

【0024】

ＨＭＤ１０は、無人航空機１２の操縦者が頭部に装着可能なディスプレイ装置である。なお以下の説明では、本実施形態に係るＨＭＤ１０は、映像透過型（ビデオシースルー型）であることとする。そのため、無人航空機１２の操縦者は、後述するカメラ部３０が撮影する画像（以下、操縦者撮影画像と呼ぶ。）を通して、ＨＭＤ１０を装着している状態で実空間の様子を視認可能である。

【0025】

本実施形態に係るＨＭＤ１０には、例えば図２Ａに示すように、プロセッサ２０、記憶部２２、通信部２４、表示部２６、センサ部２８、カメラ部３０が含まれる。なお、ＨＭＤ１０に、スピーカなどの音声出力部が含まれていてもよい。

【0026】

プロセッサ２０は、例えばＨＭＤ１０にインストールされるプログラムに従って動作するマイクロプロセッサ等のプログラム制御デバイスである。

【0027】

記憶部２２は、例えばＲＯＭ、ＲＡＭ、フラッシュメモリ等の記憶素子などである。記憶部２２には、プロセッサ２０によって実行されるプログラムなどが記憶される。

【0028】

通信部２４は、例えば無線ＬＡＮモジュールやブルートゥース（登録商標）モジュールなどの通信インタフェースである。

【0029】

表示部２６は、ＨＭＤ１０の前側に配置されている、例えば液晶ディスプレイや有機ＥＬディスプレイ等のディスプレイである。本実施形態に係る表示部２６は、例えば左目用の画像と右目用の画像を表示することによって三次元画像を表示させることができるようになっている。なお表示部２６は三次元画像の表示ができず二次元画像の表示のみができるものであっても構わない。

【0030】

センサ部２８は、例えばＧＰＳ（Global Positioning System）等のＧＮＳＳ（Global Navigation Satellite System）受信機、加速度センサやジャイロセンサ等の慣性センサ、地磁気センサなどを含むデバイスである。センサ部２８は、ＨＭＤ１０の位置や姿勢を計測可能である。センサ部２８は、ＨＭＤ１０の位置や姿勢などの計測結果を所定のサンプリングレートで、プロセッサ２０に出力してもよい。

【0031】

カメラ部３０は、ＨＭＤ１０の装着者の視野の範囲の画像である操縦者撮影画像を撮影する１又は複数のカメラを含むデバイスである。カメラ部３０は、所定のサンプリングレートで操縦者撮影画像を撮影してもよい。

【0032】

無人航空機１２は、人が搭乗しない航空機であり、例えば、バッテリーやエンジンで駆動する無人航空機（いわゆるドローン）である。本実施形態に係る無人航空機１２が自律飛行機能を備えていてもよい。

【0033】

本実施形態に係る無人航空機１２には、例えば図２Ｂに示すように、プロセッサ４０、記憶部４２、通信部４４、センサ部４６、カメラ部４８が含まれる。なお、無人航空機１２には、プロペラ、モーター、バッテリーなどの一般的なハードウェアも含まれるが、ここでは省略している。

【0034】

プロセッサ４０は、例えば無人航空機１２にインストールされるプログラムに従って動作するマイクロプロセッサ等のプログラム制御デバイスである。

【0035】

記憶部４２は、例えばＲＯＭ、ＲＡＭ、フラッシュメモリ等の記憶素子などである。記憶部４２には、プロセッサ４０によって実行されるプログラムなどが記憶される。

【0036】

通信部４４は、例えば無線ＬＡＮモジュールやブルートゥースモジュールなどの通信インタフェースである。

【0037】

センサ部４６は、例えばＧＰＳ等のＧＮＳＳ受信機、気圧センサ、ＬＩＤＡＲ(Light Detection and Ranging)、音波センサ等の高度センサ、慣性センサ、風速センサなどを含むデバイスである。センサ部４６は、無人航空機１２の位置や姿勢を計測可能である。センサ部４６は、無人航空機１２の位置や姿勢などの計測結果を所定のサンプリングレートで、プロセッサ４０に出力してもよい。また通信部４４が、当該計測結果を所定のサンプリングレートでＨＭＤ１０に送信してもよい。

【0038】

カメラ部４８は、例えば無人航空機１２の周囲を撮影する１又は複数のカメラを含むデバイスである。カメラ部４８には、例えば無人航空機１２の周囲を全方位にわたって撮影可能な全方位カメラが含まれていてもよい。以下、無人航空機１２のカメラ部４８が撮影する画像を航空機撮影画像と呼ぶこととする。カメラ部４８は、所定のサンプリングレートで航空機撮影画像を撮影してもよい。また通信部４４が、所定のサンプリングレートで航空機撮影画像をＨＭＤ１０に送信してもよい。

【0039】

本実施形態に係る操縦端末１４は、例えば無人航空機１２を操縦するための機器である。

【0040】

本実施形態では例えば、原則として、ＨＭＤ１０のカメラ部３０が撮影する操縦者撮影画像がＨＭＤ１０の表示部２６に表示される。例えば、図３に示す位置Ｐ１に無人航空機１２が存在しており、図３に示す位置Ｐ０に無人航空機１２の操縦者が存在していることとする。ここで位置Ｐ１は、位置Ｐ０からの距離が所定の距離より短く、無人航空機１２は操縦者撮影画像により視認可能であることとする。この場合は、ＨＭＤ１０のカメラ部３０が撮影する操縦者撮影画像がＨＭＤ１０の表示部２６に表示される。そのため無人航空機１２の操縦者は、表示部２６に表示される操縦者撮影画像を介して無人航空機１２を視認可能である。なおこの場合は、無人航空機１２のカメラ部４８が撮影する航空機撮影画像は表示部２６に表示されない。

【0041】

一方、図３に示す位置Ｐ２に無人航空機１２が存在しており、図３に示す位置Ｐ０に無人航空機１２の操縦者が存在していることとする。ここで位置Ｐ２は、位置Ｐ０からの距離が所定の距離よりも長く、無人航空機１２は操縦者撮影画像により視認可能でないこととする。この場合は、無人航空機１２のカメラ部４８が撮影する航空機撮影画像が表示部２６に表示される。そのため無人航空機１２の操縦者は、表示部２６に表示される航空機撮影画像を介して無人航空機１２の周囲を視認可能である。なおこの場合は、ＨＭＤ１０のカメラ部３０が撮影する操縦者撮影画像は表示部２６に表示されない。

【0042】

また、図３に示す位置Ｐ３に無人航空機１２が存在しており、図３に示す位置Ｐ０に無人航空機１２の操縦者が存在していることとする。ここで位置Ｐ３は、位置Ｐ０からの距離が所定の距離より短いが、位置Ｐ３と位置Ｐ０との間に存在する木５０などの障害物に阻まれ、位置Ｐ０において無人航空機１２は操縦者撮影画像により視認可能でないこととする。この場合も、無人航空機１２のカメラ部４８が撮影する航空機撮影画像が表示部２６には表示される。そのため無人航空機１２の操縦者は、表示部２６に表示される航空機撮影画像を介して無人航空機１２の周囲を視認可能である。なおこの場合は、ＨＭＤ１０のカメラ部３０が撮影する操縦者撮影画像は表示部２６に表示されない。

【0043】

なお、ＨＭＤ１０の表示部２６に操縦者撮影画像と航空機撮影画像の両方が表示されるようにしてもよい。この場合に例えば、図３に示す位置Ｐ１に無人航空機１２が存在している場合は、操縦者撮影画像が航空機撮影画像よりも大きく表示されるようにしてもよい。あるいは表示部２６の全画面に操縦者撮影画像が表示され、表示部２６の一部に航空機撮影画像がワイプ表示されるようにしてもよい。

【0044】

また例えば、図３に示す位置Ｐ２あるいは位置Ｐ３に無人航空機１２が存在している場合は、航空機撮影画像が操縦者撮影画像よりも大きく表示されるようにしてもよい。あるいは表示部２６の全画面に航空機撮影画像が表示され、表示部２６の一部に操縦者撮影画像がワイプ表示されるようにしてもよい。

【0045】

無人航空機１２を飛行させる際には、無人航空機１２やその周囲の安全を確保するため、原則として、無人航空機１２の操縦者が無人航空機１２を目視している必要がある。そして無人航空機１２の操縦者が無人航空機１２を視認可能でない状況においては、航空機撮影画像などによって無人航空機１２の操縦者が無人航空機１２の周囲の状況を把握できるようにすることが求められる。また仮に無人航空機１２が自律飛行可能な場合であっても、操縦者が無人航空機１２を視認し、状況に応じて自律飛行から切り替えて操縦者が操縦を行うことでより安全を確保できる。

【0046】

無人航空機１２の操縦者が無人航空機１２を視認可能な状況においては、目視を妨げないよう航空機撮影画像の当該操縦者への提示はできる限り抑制されることが望ましい。一方で、無人航空機１２の操縦者が無人航空機１２を視認可能でない状況になったら当該抑制は解除される必要がある。

【0047】

本実施形態では、無人航空機１２の操縦者が当該無人航空機１２を視認可能な状況であるか否かが随時判定される。そして無人航空機１２の操縦者が当該無人航空機１２を視認可能な状況であるか否かに応じて、表示部２６における航空機撮影画像の表示状態が制御される。このようにして本実施形態によれば、航空機撮影画像の表示状態を適切に制御できる。

【0048】

なお無人航空機１２を操縦者が視認可能な間は目視で操縦し、無人航空機１２が視認可能でなくなったら操縦者がＨＭＤ１０を装着して航空機撮影画像を見ながら操縦を行うという運用も考えられる。しかしこの場合操縦者にとってＨＭＤ１０を着脱するといった余計な作業が発生し、また、操縦者が操縦できない期間が発生してしまう。本実施形態によればこのような運用を行う必要がない。

【0049】

以下、本実施形態に係るＨＭＤ１０の機能並びに本実施形態に係るＨＭＤ１０で実行される処理についてさらに説明する。

【0050】

図４は、本実施形態に係るＨＭＤ１０で実装される機能の一例を示す機能ブロック図である。なお、本実施形態に係るＨＭＤ１０で、図４に示す機能のすべてが実装される必要はなく、また、図４に示す機能以外の機能が実装されていても構わない。

【0051】

図４に示すように、本実施形態に係るＨＭＤ１０には、機能的には例えば、センシングデータ取得部６０、判定部６２、表示制御部６４、案内部６６、が含まれる。センシングデータ取得部６０は、プロセッサ２０、通信部２４、センサ部２８、及び、カメラ部３０を主として実装される。判定部６２は、プロセッサ２０を主として実装される。表示制御部６４、案内部６６は、プロセッサ２０及び表示部２６を主として実装される。

【0052】

以上の機能は、コンピュータであるＨＭＤ１０にインストールされた、以上の機能に対応する指令を含むプログラムをプロセッサ２０で実行することにより実装されてもよい。また、このプログラムは、例えば、光ディスク、磁気ディスク、磁気テープ、光磁気ディスク等のコンピュータ読み取り可能な情報記憶媒体を介して、あるいは、インターネットなどを介してＨＭＤ１０に供給されてもよい。

【0053】

センシングデータ取得部６０は、本実施形態では例えば、無人航空機１２及び当該無人航空機１２の操縦者のうちの少なくとも一方に関するセンシングデータを取得する。センシングデータ取得部６０は、例えば、ＨＭＤ１０のセンサ部２８や無人航空機１２のセンサ部４６による計測結果を示すセンシングデータを取得してもよい。またセンシングデータ取得部６０が取得するセンシングデータに、飛行中の無人航空機１２が備えるカメラ部４８により撮影される航空機撮影画像が含まれてもよい。またセンシングデータ取得部６０が取得するセンシングデータに、無人航空機１２の操縦者の頭部に配置されたカメラ部３０により撮影される操縦者撮影画像が含まれてもよい。

【0054】

またセンシングデータ取得部６０は、所定のサンプリングレートで生成される航空機撮影画像及び操縦者撮影画像を含むセンシングデータを、所定のサンプリングレートで取得してもよい。

【0055】

判定部６２は、本実施形態では例えば、無人航空機１２及び無人航空機１２の操縦者のうちの少なくとも一方に関するセンシングデータに基づいて、当該操縦者により当該無人航空機１２が視認可能であるか否かを判定する。ここでは例えば、センシングデータ取得部６０により取得されるセンシングデータに基づいて、操縦者により無人航空機１２が視認可能であるか否かが判定される。

【0056】

また本実施形態において、判定部６２が、無人航空機１２と操縦者との間の距離に基づいて、操縦者により無人航空機１２が視認可能であるか否かを判定してもよい。ここでＨＭＤ１０の位置を操縦者の位置とみなしてもよい。そして判定部６２が、無人航空機１２の位置とＨＭＤ１０の位置との間の距離に基づいて、操縦者により無人航空機１２が視認可能であるか否かを判定してもよい。

【0057】

また、判定部６２が、操縦者の頭部に配置されたカメラにより撮影される操縦者撮影画像に基づいて、当該操縦者により無人航空機１２が視認可能であるか否かを判定してもよい。ここで例えば、センシングデータ取得部６０により取得される、ＨＭＤ１０が備えるカメラ部３０により撮影される操縦者撮影画像に基づいて、当該操縦者により無人航空機１２が視認可能であるか否かが判定されてもよい。また例えば、操縦者撮影画像が白飛びしているか否かに基づいて、操縦者により無人航空機１２が視認可能であるか否かが判定されてもよい。

【0058】

また、判定部６２が、航空機撮影画像に基づいて、操縦者により無人航空機１２が視認可能であるか否かを判定してもよい。例えば、判定部６２が、センシングデータ取得部６０により取得される航空機撮影画像からＨＭＤ１０の像が検出されるか否かに基づいて、操縦者により無人航空機１２が視認可能であるか否かを判定してもよい。

【0059】

また判定部６２が、航空機撮影画像から、ＨＭＤ１０の像の代わりに、あるいは、ＨＭＤ１０の像に加えて、ＨＭＤ１０の操縦者の像が検出されるか否かに基づいて、操縦者により無人航空機１２が視認可能であるか否かを判定してもよい。例えば操縦者が、無人航空機１２が存在する向きとは逆の向きを向いている際には、ＨＭＤ１０はカメラ部４８から見た際に操縦者の頭部に隠れた死角にある可能性が高い。このような場合には、判定部６２は、操縦者の像の方がＨＭＤ１０の像よりも航空機撮影画像から検出しやすいものと思われる。

【0060】

また判定部６２は、操縦者により無人航空機１２が視認可能であると判定された場合、当該操縦者が無人航空機１２を目視しているか否かを、さらに判定してもよい。例えば、判定部６２は、カメラ部３０の視野（Field of View (FOV)）の範囲に基づいて、無人航空機１２を操縦者が目視しているか否かを判定してもよい。

【0061】

表示制御部６４は、本実施形態では例えば、判定部６２による判定結果に応じて、ＨＭＤ１０が備える表示部２６における航空機撮影画像の表示状態を制御する。表示制御部６４は、判定部６２による判定結果に応じて、表示部２６に航空機撮影画像を表示させるか否かを制御してもよい。なお表示制御部６４が、無人航空機１２の速度、無人航空機１２の位置（緯度、経度及び高度など）、操縦者から無人航空機１２までの距離、目的地までの距離、バッテリー残量、などといった無人航空機１２に関する情報を表示させてもよい。

【0062】

案内部６６は、本実施形態では例えば、操縦者により無人航空機１２が視認可能であって、操縦者が無人航空機１２を目視していない場合に、無人航空機１２を目視できるよう操縦者を案内する案内情報を操縦者に提供する。例えば、判定部６２によって、操縦者により無人航空機１２が視認可能であり、かつ、当該操縦者が無人航空機１２を目視していないと判定される場合に、案内情報が操縦者に提供されてもよい。ここで例えば案内部６６が、無人航空機１２が存在する向きを示す矢印の画像などといった案内画像が重畳された操縦者撮影画像を生成してもよい。

【0063】

なお本実施形態における操縦者とは、無人航空機１２を操縦可能な状態にある者であればよく、操縦者が無人航空機１２を実際に操縦している必要はない。例えば無人航空機１２が自律飛行機能を備えており自律飛行している状態と自律飛行していない状態とが切替可能な場合に、無人航空機１２が自律飛行をしている際において、操縦端末１４を把持している者は、本実施形態における操縦者に相当することとなる。

【0064】

以下、本実施形態に係るＨＭＤ１０で実行される処理の流れの一例を、図５に示すフロー図を参照しながら説明する。

【0065】

また本実施形態では例えば、上述の所定のサンプリングレートに相当する所定のフレームレートで表示部２６に画像が表示されることとする。そして当該所定のフレームレートでＳ１０１〜Ｓ１０８に示す処理が繰り返し実行されることとする。

【0066】

まず、センシングデータ取得部６０が、当該フレームにおけるセンシングデータを取得する（Ｓ１０１）。当該センシングデータには、当該フレームにおける航空機撮影画像、及び、当該フレームにおける操縦者撮影画像が含まれる。

【0067】

そして、判定部６２が、Ｓ１０１に示す処理で取得されたセンシングデータに基づいて、ＨＭＤ１０の位置と無人航空機１２の位置との間の距離が所定の距離以下であるか否かを判定する（Ｓ１０２）。ここでＨＭＤ１０の位置として、センサ部２８により計測される位置や、センサ部２８による計測結果に基づいて特定されるカメラ部３０の位置などが用いられてもよい。また無人航空機１２の位置として、センサ部４６により計測される位置や、センサ部４６による計測結果に基づいて特定されるカメラ部４８の位置などが用いられてもよい。

【0068】

また上述の所定の距離は、表示部２６の解像度や画角などの設計値や、カメラ部３０の解像度や画角などの設計値などに基づいて予め決定されていてもよい。また、上述の所定の距離は、三次元空間における距離であってもよいし、水平面上における、ＨＭＤ１０を当該水平面に投影した位置と無人航空機１２を当該水平面に投影した位置との間の距離であってもよい。

【0069】

また水平方向と高さ方向とで上述の所定の距離が異なっていてもよい。例えば水平面上における、ＨＭＤ１０を当該水平面に投影した位置と無人航空機１２を当該水平面に投影した位置との間の距離が第１の距離として特定されてもよい。また、鉛直線上における、ＨＭＤ１０を当該鉛直線に投影した位置と無人航空機１２を当該鉛直線に投影した位置との間の距離が第２の距離として特定されてもよい。そして第１の距離が第１の所定の距離以下であり、かつ、第２の距離を示す値が第２の所定の距離以下である場合に、ＨＭＤ１０の位置と無人航空機１２の位置との間の距離が所定の距離以下であると判定されてもよい。そしてそうでない場合に、ＨＭＤ１０の位置と無人航空機１２の位置との間の距離が所定の距離以下ではないと判定されてもよい。

【0070】

Ｓ１０２に示す処理でＨＭＤ１０の位置と無人航空機１２の位置との間の距離が所定の距離以下であると判定されたとする（Ｓ１０２：Ｙ）。この場合、判定部６２が、Ｓ１０１に示す処理で取得された航空機撮影画像からＨＭＤ１０の像が検出されるか否かを判定する（Ｓ１０３）。ここで公知の画像認識技術を用いて当該検出が行われてもよい。

【0071】

Ｓ１０３に示す処理で、航空機撮影画像からＨＭＤ１０の像が検出されると判定されたとする（Ｓ１０３：Ｙ）。この場合、判定部６２は、Ｓ１０１に示す処理で取得された操縦者撮影画像が白飛びしているか否かを判定する（Ｓ１０４）。ここで公知の画像処理技術を用いて当該判定が行われてもよい。

【0072】

Ｓ１０４に示す処理で、操縦者撮影画像が白飛びしていると判定されたとする（Ｓ１０４：Ｙ）。この場合、表示制御部６４が、Ｓ１０１に示す処理で取得された航空機撮影画像を表示部２６に表示させて（Ｓ１０５）、Ｓ１０１に示す処理に戻る。Ｓ１０２に示す処理でＨＭＤ１０の位置と無人航空機１２の位置との間の距離が所定の距離以下でないと判定された場合（Ｓ１０２：Ｎ）も同様に、表示制御部６４が、当該航空機撮影画像を表示部２６に表示させて（Ｓ１０５）、Ｓ１０１に示す処理に戻る。また、Ｓ１０３に示す処理で航空機撮影画像からＨＭＤ１０の像が検出されないと判定された場合（Ｓ１０３：Ｎ）も同様に、表示制御部６４が、当該航空機撮影画像を表示部２６に表示させて（Ｓ１０５）、Ｓ１０１に示す処理に戻る。

【0073】

Ｓ１０４に示す処理で、操縦者撮影画像が白飛びしていないと判定されたとする（Ｓ１０４：Ｎ）。この場合、判定部６２が、無人航空機１２がカメラ部３０の視野の範囲内であるか否かを判定する（Ｓ１０６）。

【0074】

ここでカメラ部３０の視野の範囲とは、例えば、操縦者の頭部の姿勢、操縦者の位置、及び、カメラ部３０の画角等の設計値に基づいて特定される三次元空間内の錐台が占める範囲を指す。なお操縦者の頭部の姿勢、及び、操縦者の位置は、例えば、センサ部２８による計測結果に基づいて特定される。

【0075】

なおＳ１０６に示す処理におけるカメラ部３０の視野の範囲とは、障害物の影響を考慮しない視野の範囲を意味する。そのため、例えば、図３に示す位置Ｐ３に無人航空機１２が存在しており、操縦者が位置Ｐ０から位置Ｐ３を向いている際には、無人航空機１２がカメラ部３０の視野の範囲内であると判定される。

【0076】

なお、判定部６２は、上述のようにカメラ部３０の視野の範囲を特定して上述の判定を行う代わりに、操縦者撮影画像から無人航空機１２を検出できるか否かに基づいて、無人航空機１２が視野の範囲内であるか否かを判定してもよい。あるいは、判定部６２は、上述のようにして特定されるカメラ部３０の視野の範囲、及び、操縦者撮影画像から無人航空機１２を検出できるか否かに基づいて、無人航空機１２が視野の範囲内であるか否かを判定してもよい。ここで、操縦者撮影画像からの無人航空機１２の検出は公知の画像認識技術を用いて行われてもよい。

【0077】

Ｓ１０６に示す処理で無人航空機１２がカメラ部３０の視野の範囲内であると判定されたとする（Ｓ１０６：Ｙ）。この場合、表示制御部６４が、Ｓ１０１に示す処理で取得された操縦者撮影画像を表示部２６に表示させて（Ｓ１０７）、Ｓ１０１に示す処理に戻る。

【0078】

一方、Ｓ１０６に示す処理で無人航空機１２がカメラ部３０の視野の範囲内でないと判定されたとする（Ｓ１０６：Ｎ）。この場合、表示制御部６４が、無人航空機１２が視認可能となるよう操縦者を案内する案内画像が重畳された操縦者撮影画像を表示部２６に表示させて（Ｓ１０８）、Ｓ１０１に示す処理に戻る。

【0079】

Ｓ１０８に示す処理では、例えば、案内部６６が、カメラ部３０の視野の範囲と無人航空機１２の位置とに基づいて、無人航空機１２が存在する向きを特定してもよい。この向きは例えば、無人航空機１２がカメラ部３０の視野の範囲内となるようにするためにカメラ部３０を動かすべき向きに相当する。そして案内部６６が、特定される向きを表す矢印の画像である案内画像が重畳された操縦者撮影画像を生成してもよい。例えば、カメラ部３０の向きに対して無人航空機１２が左上に存在する場合は、左上を向いた矢印の画像である案内画像が重畳された操縦者撮影画像が生成されてもよい。そして表示制御部６４が、このようにして生成された案内画像が重畳された操縦者撮影画像を表示部２６に表示させてもよい。

【0080】

上述の処理例では、Ｓ１０２〜Ｓ１０４に示す処理において、操縦者により当該無人航空機１２が視認可能であるか否かが判定されている。ここでは例えば、ＨＭＤ１０を適切な方向に向けた場合に無人航空機１２の像を含む操縦者撮影画像を操縦者が目視できる状況であれば、操縦者により当該無人航空機１２が視認可能な状態であると判定される。一方、ＨＭＤ１０をどの方向に向けても無人航空機１２の像を含む操縦者撮影画像を操縦者が目視できない状況であれば、操縦者により当該無人航空機１２が視認可能な状態でないと判定される。

【0081】

上述の処理例では一般的に、Ｓ１０２に示す処理よりもＳ１０３に示す処理の方が、処理負荷が高い。またＳ１０２に示す処理よりもＳ１０４に示す処理の方が、処理負荷が高い。そのため、Ｓ１０２に示す処理でＨＭＤ１０の位置と無人航空機１２の位置との間の距離が所定の距離以下でないと判定された場合は、処理負荷が高い処理が実行されることなく航空機撮影画像を表示部２６に表示させることが可能となる。

【0082】

なお、Ｓ１０２〜Ｓ１０４に示す処理の順序は図５に示すものに限定されない。Ｓ１０２〜Ｓ１０４に示す処理が図５に示すものとは異なる順序で実行されてもよい。またＳ１０２〜Ｓ１０４に示す処理がすべて実行される必要はない。

【0083】

またＳ１０２〜Ｓ１０４に示す処理は、操縦者により当該無人航空機１２が視認可能であるか否かを判定する処理の一例にすぎず、操縦者により当該無人航空機１２が視認可能であるか否かを判定する処理はＳ１０２〜Ｓ１０４に示す処理には限定されない。

【0084】

またＳ１０６〜Ｓ１０８に示す処理が実行されなくてもよい。この場合に例えば、Ｓ１０４に示す処理で操縦者撮影画像が白飛びしていないと判定された際に、表示制御部６４が、操縦者撮影画像を表示部２６に表示させて、Ｓ１０１に示す処理に戻ってもよい。

【0085】

また表示制御部６４は、判定部６２による判定結果に応じて、表示部２６に表示される航空機撮影画像のサイズを制御してもよい。例えばＳ１０７及びＳ１０８に示す処理において、表示制御部６４が、操縦者撮影画像が航空機撮影画像よりも大きく表示されるよう制御してもよい。そしてこの場合にＳ１０５に示す処理において、表示制御部６４が、航空機撮影画像が操縦者撮影画像よりも大きく表示されるよう制御してもよい。

【0086】

あるいは例えばＳ１０７及びＳ１０８に示す処理において、表示制御部６４が、表示部２６の全画面に航空機撮影画像が表示され、表示部２６の一部に操縦者撮影画像がワイプ表示されるよう制御してもよい。そしてこの場合にＳ１０５に示す処理において、表示制御部６４が、表示部２６の全画面に航空機撮影画像が表示され、表示部２６の一部に操縦者撮影画像がワイプ表示されるよう制御してもよい。

【0087】

また、表示部２６に表示される画像が、航空機撮影画像から操縦者撮影画像に切り替わる場合、又は、操縦者撮影画像から航空機撮影画像に切り替わる場合に、ＨＭＤ１０がその旨を表示出力あるいは音声出力などにより操縦者に通知してもよい。またこの場合に例えば、画像を切り替えるか否かにつき操縦者が選択可能であってもよい。例えば操縦者の操作に応じてＨＭＤ１０は表示部２６に表示される画像を切り替えてもよい。

【0088】

また例えば、所定回数連続して、あるいは、所定時間にわたって継続して、操縦者により無人航空機１２が視認可能であると判定された場合に、操縦者撮影画像が表示部２６に表示されるようにしてもよい。また例えば、所定回数連続して、あるいは、所定時間にわたって継続して、操縦者により無人航空機１２が視認可能でないと連続して判定された場合に、航空機撮影画像が表示部２６に表示されるようにしてもよい。ここで上述の所定回数や所定時間にヒステリシスが設けられていてもよい。例えば操縦者撮影画像が表示される際の所定回数と航空機撮影画像が表示される際の所定回数とは異なっていてもよい。また例えば操縦者撮影画像が表示される際の所定時間と航空機撮影画像が表示される際の所定時間とは異なっていてもよい。このようにすれば表示される画像が頻繁に切り替わることを防ぐことができる。

【0089】

また、Ｓ１０２に示す処理において、操縦者撮影画像が表示されている際の所定の距離と航空機撮影画像が表示されている際の所定の距離とが異なっていてもよい。例えば、操縦者撮影画像が表示されている際の所定の距離よりも航空機撮影画像が表示されている際の所定の距離の方が長くてもよい。あるいは、航空機撮影画像が表示されている際の所定の距離よりも操縦者撮影画像が表示されている際の所定の距離の方が長くてもよい。このようにすれば表示される画像が頻繁に切り替わることを防ぐことができる。

【0090】

また案内部６６が、矢印の画像に加えて、あるいは、矢印の画像に代えて、「ドローンは左上を飛行しています」「左上を向いてください」などといった、操縦者を案内する文章を表す文字列の画像が配置された案内画像を生成してもよい。そして案内部６６が、当該案内画像が重畳された操縦者撮影画像を生成してもよい。また案内部６６が、案内画像の重畳に加えて、あるいは、案内画像の重畳に代えて、「ドローンは左上を飛行しています」「左上を向いてください」などといった、操縦者を案内する音声を操縦者に出力してもよい。

【0091】

なお、本発明は上述の実施形態に限定されるものではない。

【0092】

例えば以上の説明ではＨＭＤ１０は映像透過型（ビデオシースルー型）のＨＭＤ１０であることとしたが、本発明は、ＨＭＤ１０が光学透過型（オプティカルシースルー型）のＨＭＤ１０の場合であっても適用可能である。ここで例えば、表示制御部６４が、Ｓ１０５に示す処理では、航空機撮影画像を表示部２６に表示させ、Ｓ１０７やＳ１０８に示す処理では、航空機撮影画像を表示部２６に表示させないよう制御してもよい。航空機撮影画像を表示部２６に表示させないよう制御されている場合は、操縦者は、表示部２６を透過する実空間の様子を見ることができる。あるいは、Ｓ１０５に示す処理では、航空機撮影画像を大きく表示させ、Ｓ１０７やＳ１０８に示す処理では、航空機撮影画像を小さく表示させてもよい。航空機撮影画像の表示が抑制されると、操縦者は無人航空機１２を目視しやすくなる。

【0093】

なおこの場合、Ｓ１０６に示す処理では、カメラ部３０の視野の範囲の代わりに、操縦者の視野の範囲が用いられてもよい。ここで操縦者の視野の範囲は、例えば、操縦者の頭部の姿勢と、所与の操縦者の視野角と、に基づいて特定されてよい。またＳ１０２に示す処理における所定の距離は、操縦者の視力に応じて設定されてもよい。またこの場合、カメラ部３０により撮影される操縦者撮影画像は、Ｓ１０４に示す処理においてのみ用いられてもよい。

【0094】

またこの場合、表示制御部６４は、Ｓ１０８に示す処理において、案内画像を表示部２６にＡＲ（Augmented Reality）表示させてもよい。

【0095】

またＳ１０７やＳ１０８に示す処理において、表示制御部６４が、操縦支援のための情報を表示部２６にＡＲ表示させてもよい。この場合、当該情報は無人航空機１２の目視の邪魔にならないよう、中央部を避けて配置されたり、透過度が高い状態で配置されたりすることが望ましい。

【0096】

また本発明の適用範囲はＨＭＤ１０にも限定されない。例えば、操縦者がＨＭＤ１０ではないディスプレイを見ながら無人航空機１２を操縦する場面についても本発明は適用可能である。この場合に、ＨＭＤ１０のカメラ部３０の代わりに、無人航空機１２の離陸地点や着陸地点に設けられたカメラが撮影する画像が操縦者撮影画像として用いられてもよい。また当該カメラは、固定カメラである必要はなく、例えば操縦者が姿勢を制御可能なカメラ（パンチルトカメラ等）であってもよい。

【0097】

また本実施形態において、図４に示す機能の一部又は全部が、無人航空機１２、又は、操縦端末１４において実装されてもよい。

【0098】

また、上記の具体的な文字列や数値及び図面中の具体的な文字列や数値は例示であり、これらの文字列や数値には限定されない。

【図1】

【図2A】

【図2B】

【図3】

【図4】

【図5】