特開 2024-126785 情報表示システムおよび情報表示方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2024126785

(43)【公開日】2024-09-20

(54)【発明の名称】情報表示システムおよび情報表示方法

(51)【国際特許分類】

   G06T 19/00 20110101AFI20240912BHJP

【ＦＩ】

G06T19/00 600

【審査請求】有

【請求項の数】6

【出願形態】ＯＬ

(21)【出願番号】P 2023035419

(22)【出願日】2023-03-08

(11)【特許番号】

(45)【特許公報発行日】2024-07-10

(71)【出願人】

【識別番号】302060926

【氏名又は名称】株式会社フジタ

(71)【出願人】

【識別番号】520283510

【氏名又は名称】南国アールスタジオ株式会社

(74)【代理人】

【識別番号】110000408

【氏名又は名称】弁理士法人高橋・林アンドパートナーズ

(72)【発明者】

【氏名】小林 礼

(72)【発明者】

【氏名】影嶋 宏一

(72)【発明者】

【氏名】山本 新吾

(72)【発明者】

【氏名】秦 勝敏

(72)【発明者】

【氏名】村上 正樹

【テーマコード（参考）】

5B050

【Ｆターム（参考）】

5B050AA03

5B050BA06

5B050BA09

5B050BA11

5B050BA13

5B050BA18

5B050CA07

5B050EA04

5B050EA19

5B050EA26

5B050FA02

(57)【要約】

【課題】大量の学習データを必要とすることなく、現実空間において撮影された画像に仮想空間における物体とを重ね合わせて表示することができる情報表示システムおよび情報表示方法を提供する。
【解決手段】情報表示システムは、カメラ、ＧＰＳモジュール、高度センサを備えるドローンと、プロポと、コンピュータとを含む。コンピュータの情報演算部は、ドローンから各情報を取得する情報取得部と、情報取得部が取得した現実空間における位置情報、方向情報および範囲情報を、仮想空間内における位置情報、方向情報および範囲情報に変換して、仮想空間においてカメラが撮影する場合に撮影することとなる仮想物体の画像を生成し、生成した仮想物体の画像を現実画像に重ね合わせてディスプレイに表示する、表示制御部と、を備える。表示制御部は、現実空間において選択された基準位置と仮想空間における原点を一致させる。
【選択図】図３

【特許請求の範囲】

【請求項1】

本体、前記本体に可動に取り付けられ、画像を撮影する撮影装置、および前記撮影装置の位置を測定する位置測定装置、を備える飛翔体と、
前記飛翔体から、世界座標系によって定義される現実空間における前記撮影装置の位置情報、前記撮影装置の前記本体に対する方向情報、前記撮影装置が撮影する画像の範囲情報、および前記撮影装置が撮影した現実画像を取得する情報取得部と、
前記情報取得部が取得した前記現実空間における前記位置情報、前記方向情報および前記範囲情報を、仮想空間内における前記撮影装置の位置情報、方向情報および範囲情報に変換して、前記仮想空間において前記撮影装置が撮影する場合に撮影することとなる仮想物体の画像を生成し、生成した前記仮想物体の画像を前記現実画像に重ね合わせて表示する、表示制御部と、を備え、
前記表示制御部は、前記現実空間において選択された基準位置と前記仮想空間における原点を一致させる、
情報表示システム。

【請求項2】

前記仮想物体は前記仮想空間において設計された２つ以上の建築物であり、
前記表示制御部は、各前記建築物について、前記仮想物体の画像を生成する、
請求項１に記載の情報表示システム。

【請求項3】

前記基準位置は、前記飛翔体が飛翔を開始する位置である、
請求項１に記載の情報表示システム。

【請求項4】

前記仮想空間は、平面直交座標系によって定義されている、
請求項１に記載の情報表示システム。

【請求項5】

前記飛翔体に移動または旋回の方向を指示する操作に基づいて、前記移動または旋回の方向に対応する識別符号を計算する操作情報算出部を備え、
前記表示制御部は、前記操作情報算出部によって計算された前記識別符号に基づいて、前記移動または旋回の方向に対応する図形を、前記現実画像に重ね合わせて表示する、
請求項１に記載の情報表示システム。

【請求項6】

本体、前記本体に可動に取り付けられ、画像を撮影する撮影装置、および前記撮影装置の位置を測定する位置測定装置、を備える飛翔体から、世界座標系によって定義される現実空間における前記撮影装置の位置情報、前記撮影装置の前記本体に対する方向情報、前記撮影装置が撮影する画像の範囲情報、および前記撮影装置が撮影した現実画像を取得する情報取得ステップと、
前記情報取得ステップにおいて取得した前記現実空間における前記位置情報、前記方向情報および前記範囲情報を、仮想空間内における前記撮影装置の位置情報、方向情報および範囲情報に変換して、前記仮想空間において前記撮影装置が撮影する場合に撮影することとなる仮想物体の画像を生成し、生成した前記仮想物体の画像を前記現実画像に重ね合わせて表示する、表示制御ステップと、
前記現実空間において選択された基準位置と前記仮想空間における原点を一致させる対応付けステップと、を含み、
前記対応付けステップは、前記情報取得ステップが実行される前に実行される、
情報表示方法。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、情報表示システムおよび情報表示方法に関する。

【背景技術】

【0002】

コンピュータを利用して建築物を設計し、建設および管理に利用することが行われている。コンピュータを利用して設計された建築物は、コンピュータ上で３次元（３Ｄ）データとして生成される。

【0003】

ドローンを含む無人航空機（ＵＡＶ、Unmanned Aerial Vehicle）に搭載されたカメラに撮影される風景に建築物のデータを重ね合わせて表示することができれば、設計中の建築物が現実にあるかのようにユーザに仮想的な体験をさせることができる。

【0004】

しかし、建築物の３Ｄデータは直交座標系を用いて表現されるに対し、ドローンに搭載されるＧＰＳモジュールは、世界座標系を用いて自機の位置を表現する。このため、カメラに撮影される風景に、コンピュータ上で設計された建築物の画像を重ね合わせるには、異なる座標系を対応付ける必要がある。

【先行技術文献】

【特許文献】

【0005】

【特許文献1】特開２０１９－０８７２２９号公報

【発明の概要】

【発明が解決しようとする課題】

【0006】

対応付ける方法の一つである特許文献１に記載された技術は、ドローンの仮想空間における位置を画像から推定するものである。特許文献１に記載された技術は、機械学習により学習したモデルを用いて推定する。

【0007】

しかしながら、特許文献１に記載された技術は、機械学習を用いるため、仮想空間における位置を求めるには、大量の学習データが必要となるという問題がある。

【0008】

本発明は、上記の問題点に鑑み、大量の学習データを必要とすることなく、現実空間において撮影された画像に仮想空間における物体とを重ね合わせて表示することができる情報表示システムおよび情報表示方法を提供することを目的とする。

【課題を解決するための手段】

【0009】

本発明の１つの観点に係る情報表示システムは、本体、本体に可動に取り付けられ、画像を撮影する撮影装置、および撮影装置の位置を測定する位置測定装置、を備える飛翔体と、飛翔体から、世界座標系によって定義される現実空間における撮影装置の位置情報、撮影装置の本体に対する方向情報、撮影装置が撮影する画像の範囲情報、および撮影装置が撮影した現実画像を取得する情報取得部と、情報取得部が取得した現実空間における位置情報、方向情報および範囲情報を、仮想空間内における撮影装置の位置情報、方向情報および範囲情報に変換して、仮想空間において撮影装置が撮影する場合に撮影することとなる仮想物体の画像を生成し、生成した仮想物体の画像を現実画像に重ね合わせて表示する、表示制御部と、を備え、表示制御部は、現実空間において選択された基準位置と仮想空間における原点を一致させる。

【0010】

仮想物体は、仮想空間において設計された２つ以上の建築物であり、表示制御部は、各建築物について、仮想画像を生成してもよい。

【0011】

基準位置は、飛翔体が飛翔を開始する位置であってもよい。

【0012】

仮想空間は、平面直交座標系によって定義されていてもよい。

【0013】

本発明の１つの観点に係る情報表示システムは、飛翔体に移動または旋回の方向を指示する操作に基づいて、移動または旋回の方向に対応する識別符号を計算する操作情報算出部を備え、表示制御部は、操作情報算出部によって計算された識別符号に基づいて、移動または旋回の方向に対応する図形を、現実画像に重ね合わせて表示してもよい。

【0014】

本発明の別の観点に係る情報表示方法は、本体、本体に可動に取り付けられ、画像を撮影する撮影装置、および撮影装置の位置を測定する位置測定装置、を備える飛翔体から、世界座標系によって定義される現実空間における撮影装置の位置情報、撮影装置の本体に対する方向情報、撮影装置が撮影する画像の範囲情報、および撮影装置が撮影した現実画像を取得する情報取得ステップと、情報取得ステップにおいて取得した現実空間における位置情報、方向情報および範囲情報を、仮想空間内における撮影装置の位置情報、方向情報および範囲情報に変換して、仮想空間において撮影装置が撮影する場合に撮影することとなる仮想物体の画像を生成し、生成した仮想物体の画像を現実画像に重ね合わせて表示する、表示制御ステップと、現実空間において選択された基準位置と仮想空間における原点を一致させる対応付けステップと、を含み、対応付けステップは、情報取得ステップが実行される前に実行される。

【発明の効果】

【0015】

本発明に係る情報表示システムおよび情報表示方法によれば、大量の学習データを必要とすることなく、現実空間において撮影された画像に仮想空間における物体とを重ね合わせて表示することができる。

【図面の簡単な説明】

【0016】

【図1】本発明の第１の実施の形態に係る情報表示システムの概要を示す図である。

【図2】本発明の第１の実施の形態に係る情報表示システムの機能を実現するコンピュータの一例を示す図である。

【図3】本発明の第１の実施の形態に係る情報表示システムの機能ブロック図である。

【図4】本発明の第１の実施の形態に係る情報表示システムにおいて用いられるデータ構造の例を示す図である。

【図5】本発明の第１の実施の形態に係る情報表示システムの動作の例を説明するフローチャートである。

【図6】本発明の第１の実施の形態に係る情報表示システムの動作の例を説明する別のフローチャートである。

【図7】本発明の第１の実施の形態に係る情報表示システムにおける異なる座標系の関係を説明する図である。

【図8】本発明の第１の実施の形態に係る情報表示システムの動作の例を説明する別のフローチャートである。

【図9】本発明の第１の実施の形態に係る情報表示システムに含まれるディスプレイに表示される画像の例を示す図である。

【図10】本発明の第２の実施の形態に係る情報表示システムの機能ブロック図である。

【図11】本発明の第２の実施の形態に係る情報表示システムにおいて用いられるデータ構造の例を示す図である。

【図12】本発明の第２の実施の形態に係る情報表示システムに含まれるディスプレイに表示される画像の例を示す図である。

【図13】本発明の第２の実施の形態に係る情報表示システムに含まれるディスプレイに表示される別の画像の例を示す図である。

【図14】本発明の第２の実施の形態に係る情報表示システムに含まれるディスプレイに表示される別の画像の例を示す図である。

【図15】本発明の第２の実施の形態に係る情報表示システムに含まれるディスプレイに表示される別の画像の例を示す図である。

【図16】本発明の第２の実施の形態に係る情報表示システムに含まれるディスプレイに表示される別の画像の例を示す図である。

【図17】本発明の第２の実施の形態に係る情報表示システムに含まれるディスプレイに表示される別の画像の例を示す図である。

【発明を実施するための形態】

【0017】

以下、本発明の実施の形態を、図面等を参照しながら説明する。

【0018】

（情報表示システム１）
図１に示す第１の実施の形態に係る情報表示システム１は、ドローン２、プロポ３およびコンピュータ４を含む。ドローン２の飛行は、ユーザがプロポ３を操作することによって制御される。コンピュータ４には、予め建築物の３Ｄデータが記憶されている。コンピュータ４は、建築予定地上空を飛行するドローン２の位置、向き等に応じて、３Ｄデータとして記憶されている建築物が建築予定地にあるかのような画像を生成する。

【0019】

（ドローン２）
ドローン２は、プロペラ、制御回路、電池などを搭載した本体２１と、本体２１に取り付けられたカメラ２２と、通信機２３と、ＧＰＳ（Global Positioning System）モジュール２４と、方向センサ２５と、画角情報設定取得部２６と、高度センサ２７と、を備える。

【0020】

ＧＰＳモジュール２４は、複数のＧＰＳ衛星が発する電波を受信し、これを比較することで、ＧＰＳモジュール２４の位置に関する情報を出力する装置である。ＧＰＳモジュール２４は、本体２１の中央付近で、カメラ２２に近い位置に配置されているため、以下、ＧＰＳモジュール２４の位置をドローン２の位置またはカメラ２２の位置ということがある。

【0021】

方向センサ２５は、本体２１およびカメラ２２が向いている方向に関する情報を測定する装置である。方向センサ２５は、例えば、電子コンパス、ジャイロセンサを含み、本体２１が向いている方向、および本体２１が向いている方向に対してカメラ２２が向いている相対的な方向をそれぞれ測定することができる。

【0022】

画角情報設定取得部２６は、カメラ２２のズーム倍率、画角等を切り替える装置である。画角情報設定取得部２６は、例えば、カメラ２２のイメージセンサに接続されたデジタルズームの倍率を設定および取得する値を保持するレジスタである。ズームの倍率と画角が対応しているため、画角情報設定取得部２６に設定する倍率の値によって、カメラ２２の画角が切り替えられる。また、画角情報設定取得部２６に設定された倍率の値を読み出すことで、カメラ２２に設定されている画角を取得することができる。

【0023】

高度センサ２７は、圧力センサを備え、気圧を測定して高度を出力する装置である。ドローン２は、飛翔体の一例である。

【0024】

（プロポ３）
プロポ３は、ドローン２と無線で接続され、相互に通信することにより、ドローン２に上昇、下降、右旋回、左旋回、前後左右への移動を指示して、ドローン２を操縦する装置である。

【0025】

プロポ３は、本体３１と、本体３１に配置され、操縦者が手で本体３１を掴んで、左右の親指で押して倒すことができる左スティック３２、右スティック３３と、本体３１に内蔵され、ドローン２および後述するコンピュータ４と通信する通信機３４と、を備える。左スティック３２は、本体３１の左側に配置され、右スティック３３は、本体３１の右側に配置されている。

【0026】

通信機３４は、ユーザが左スティック３２、右スティック３３を操作することにより、飛行するドローン２の高度、進行方向を変えたり、ドローン２を旋回させたり、カメラ２２の向きを変えたりする信号を発する。通信機３４は、例えば、ドローン２の通信機２３と２．４ＧＨｚ帯の帯域で通信を行う。

【0027】

また、通信機３４は、ドローン２のカメラ２２が撮影した画像を、通信機２３を介して取得する。通信機３４は、取得した画像を、後述するコンピュータ４に送信する。通信機３４は、ドローン２のＧＰＳモジュール２４、方向センサ２５、画角情報設定取得部２６、高度センサ２７が出力した情報を、通信機２３を介して取得する。通信機３４は、取得した情報を、後述するコンピュータ４に送信する。

【0028】

左スティック３２、右スティック３３を各方向に倒したり、押し込んだりした場合に通信機３４が発する信号および通信機２３がそれらの信号を検知してドローン２の飛行を制御する規則は、上述したものに限られない。

【0029】

（コンピュータ４）
コンピュータ４は、情報演算装置４１と、ディスプレイ４２と、通信機４３と、を備える。情報演算装置４１は、詳しくは後述するが、ドローン２から取得した各種の情報を処理して、処理した結果をディスプレイ４２に表示する装置である。通信機４３は、例えば、無線ネットワークインタフェースであり、プロポ３の通信機３４と相互に通信することができる装置である。

【0030】

（情報演算装置４１のハードウェア構成）
図２に情報演算装置４１のハードウェア構成の一例を示す。情報演算装置４１は、プロセッサ４１ａ、主記憶部４１ｂ、通信部４１ｃ、補助記憶部４１ｄおよびバス４１ｅを備える。プロセッサ４１ａは、主記憶部４１ｂまたは補助記憶部４１ｄに記憶されているプログラムを実行して、後述する機能を実現する。

【0031】

（情報演算部５）
図３に、情報表示システム１の機能的構成を示す。情報演算部５は、各種情報をドローン２から取得する情報取得部５１と、コンピュータ４のディスプレイ４２に表示する情報を制御する表示制御部５２と、を備える。

【0032】

位置情報測定部６１、方向情報測定部６２、画角情報測定部６３、画像撮影部６４および高度測定部６５は、図１に示したＧＰＳモジュール２４、方向センサ２５、画角情報設定取得部２６、カメラ２２および高度センサ２７にそれぞれ対応する。位置情報測定部６１は、ドローン２の位置を測定する機能を有する。方向情報測定部６２は、ドローン２のカメラ２２の撮影方向を測定する機能を有する。画角情報測定部６３は、カメラ２２によって撮影される画像の画角を測定する機能を有する。高度測定部６５は、ドローン２の高度を測定する機能を有する。画像撮影部６４は、画像を撮影する機能を有する。

【0033】

（情報取得部５１）
情報取得部５１は、位置情報測定部６１、方向情報測定部６２、画角情報測定部６３および画像撮影部６４と接続されている。以下、情報取得部５１が取得する情報について説明する。情報取得部５１がドローン２から取得する情報は、以下で説明するものに限られず、異なる情報または追加の情報が取得されてもよい。

【0034】

（データ構造）
情報取得部５１が取得するカメラ２２の位置に関する情報は、例えば、図４に示す位置データ１、２を含む。位置データ１、２は、より具体的には、緯度および経度を示す数値である。

【0035】

情報取得部５１が取得するカメラ２２の方向に関する情報は、例えば、図４に示す方向データ１～６を含む。方向データ１～３は、より具体的には、ドローン２の本体２１の正面の向き３Ｄベクトルとして表した場合のｘ、ｙ、ｚ成分である。方向データ４～６は、より具体的には、ドローン２の本体２１の正面の向きに対するカメラ２２の正面の向きを３Ｄベクトルとして表した場合のｘ、ｙ、ｚ成分である。

【0036】

情報取得部５１が取得するカメラ２２の画角に関する情報は、例えば、図４に示す画角データ１、２を含む。画角データ１、２は、より具体的には、カメラ２２が撮影する画像の水平方向と垂直方向の広がりをそれぞれ角度で表した数値である。

【0037】

情報取得部５１が取得するカメラ２２の画像は、例えば、図４に示す画素データ１～Ｎを含む。画素データ１～Ｎは、より具体的には、カメラ２２が撮影する各画像の輝度を画像の走査の起点から終点まで並べたものである。

【0038】

（表示制御部５２）
表示制御部５２は、情報取得部５１から取得した情報に基づいて、飛行しているドローン２のカメラ２２が撮影している映像に、建築物の３Ｄデータを重ね合わせてＡＲ表示をする制御を行う。以下、表示制御部５２が行う制御について説明する。

【0039】

図５に示すように、表示制御部５２が行うＡＲ表示の処理は、大要、座標の対応付け（Ｓ１００）と表示（Ｓ２００）の２つのステップを含む。

【0040】

図６に、座標の対応付けステップ（図５：Ｓ１００）の詳細を示す。まず、表示制御部５２は、現実空間における基準位置および基準方向を決定する（Ｓ１０１）。ユーザは、例えば、ドローン２の電源を入れて、ドローン２がプロポ３を介してコンピュータ４と通信可能な状態になった後、コンピュータ４の入力装置を操作して、飛行を開始するドローン２の位置を選択する。また、ユーザは、例えば、プロポ３を操作するなどして、カメラ２２の向きを任意の位置に変えた後、コンピュータ４の入力装置を操作して、操作時のドローン２のカメラの方向を選択する。情報取得部５１は、ユーザによって選択された位置を位置情報測定部６１から取得する。情報取得部５１は、ユーザによって選択された方向を方向情報測定部６２から取得する。表示制御部５２は、情報取得部５１が取得した位置および方向を、それぞれ基準位置および基準方向として決定する。

【0041】

なお、情報取得部５１が基準位置および基準方向を決定する方法は上述したものに限られない。情報取得部５１は、ユーザによる選択なしに、ドローン２が離陸したこと、ドローン２が無線でプロポ３と接続されたこと等のイベントを検知して、基準位置および基準方向として決定してもよい。

【0042】

次に、表示制御部５２は、現実空間における座標と仮想空間における座標を対応付ける変換パラメータＴＰを求める（Ｓ１０２）。表示制御部５２は、決定したドローン２の基準位置Ｐ（緯度と経度）を取得する。また、表示制御部５２は、情報取得部５１を介して方向情報測定部６２からカメラ２２の向きを示す３ＤベクトルＤ（ｄｘ、ｄｙ、ｄｚ）を取得する。

【0043】

より具体的には、図７に示すように、表示制御部５２は、現実空間と仮想空間の間で位置、方向および尺度をそれぞれ対応させた変換パラメータＴＰを求める。現実空間における基準位置Ｐの緯度、経度は、仮想空間における原点Ｏ（０，０，０）に対応する。世界座標系から平面直交座標系への変換は、公知の変換式を用いることができる。変換した後にｘ座標とｙ座標がともに０となるよう、座標軸を平行移動してもよい。さらに、表示制御部５２は、基準位置において高度測定部６５が測定する高度が仮想空間における高度０となるよう、ｚ軸を平行移動してもよい。現実空間における基準方向Ｄは、仮想空間におけるｙ方向に対応する。現実空間における単位距離（例えば１メートル）は、仮想空間における単位距離（例えば１メートル）に対応する。

【0044】

なお、表示制御部５２が現実空間における基準位置に合わせる仮想空間の座標は、任意のオフセットを含んでいてもよい。同様に、表示制御部５２が現実空間における基準方向に合わせる仮想空間の方向は、任意のオフセットを含んでいてもよい。

【0045】

以上の流れによって、図５に示した座標の対応付け（Ｓ１００）が完了する。なお、基準位置Ｐの決定と基準方向Ｄの決定は、いずれか一方が他方の先に行われてもよく、同時に行われてもよい。

【0046】

表示制御部５２は、座標の対応付け（図６：Ｓ１０２）において求められた変換パラメータＴＰを利用して、ＡＲ表示を行う（Ｓ２００）。

【0047】

以下、図８を参照して、ドローン２が撮影する画像に、コンピュータ４上で設計された３Ｄデータとしての建築物を重ね合わせてディスプレイ４２に表示するＡＲ表示の詳細を説明する。

【0048】

まず、情報取得部５１は、位置情報測定部６１から位置情報を取得する（Ｓ２０１）。位置情報は、例えば、図４に示した位置データ１（値３６．０６１３）と位置データ２（値１４０．０５１６）である。

【0049】

情報取得部５１は、方向情報測定部６２から方向情報を取得する（Ｓ２０２）。方向情報は、例えば、図４に示した方向データ１（値０．７３２７）、方向データ２（値０．８５２３）、方向データ３（値－０．４２９１）、方向データ４（値０．９６３１）、方向データ５（値０．０４４８）、方向データ６（値－０．３７３７）である。

【0050】

情報取得部５１は、画像撮影部６４から範囲情報を取得する（Ｓ２０３）。範囲情報は、次のステップで取得される画像の水平画角と垂直画角を表すものであり、例えば、図４に示した画角データ１（値８３．２１９２）、画角データ２（値４６．３２２９）である。

【0051】

情報取得部５１は、画像撮影部６４から画像を取得する（Ｓ２０４）。画像は、例えば、図４に示した各画素データの値（輝度値３２、輝度値２９、…、輝度値２１５）である。なお、画素は、各画素の輝度値で表されてなくてもよく、赤、緑、青のチャネル別の輝度値を含んでいてもよく、色差情報を含んでいてもよい。画像は、圧縮され、符号化された情報であってもよい。

【0052】

表示制御部５２は、建築物の背景画像を生成する（Ｓ２０５）。表示制御部５２は、建築物の背景に表示する画像として、例えば、情報取得部５１が画像撮影部６４から取得した画像を、画像バッファに描画する。

【0053】

表示制御部５２は、背景画像の上に建築物を描画する（Ｓ２０６）。表示制御部５２は、ステップＳ１０２において求められた変換パラメータＴＰと、ステップＳ２０１～Ｓ２０３において取得した位置情報、方向情報および範囲情報から、仮想的なカメラＶＣが撮影する建築物の画像を生成する。例えば、表示制御部５２は、現実空間におけるカメラの座標を、変換パラメータＴＰによって仮想空間における位置に変換する。また、表示制御部５２は、ドローン２の正面の向きと、その正面の向きに対するカメラの向きによって表されている現実空間における相対的なカメラの方向を、現実空間におけるカメラの絶対的な方向に変換する。続いて、表示制御部５２は、変換パラメータＴＰによって、現実空間におけるカメラの方向を仮想空間における方向に変換する。生成する建築物の画像の大きさは、仮想的なカメラＶＣの方向を中心として、水平方向に水平画角の範囲、垂直方向に垂直画角の範囲に仮想的なスクリーンがあるものとして求められる。そして、表示制御部５２は、求めたカメラの方向およびスクリーンの大きさに対応する画像バッファに建築物の画像をレンダリングする。建築物が２つ以上である場合には、それぞれの建築物についてレンダリングを行う。

【0054】

Ｓ２０１からＳ２０６を実行することにより、現実空間において撮影されている背景画像の上に、建築物のデータが重ねられたＡＲ画像を表示することができる。

【0055】

なお、ステップＳ２０６に続けて、表示制御部５２は、画像バッファに現実空間における位置情報、変換パラメータＴＰ、変換パラメータＴＰによって変換された後の仮想空間における位置情報等をディスプレイに重ねて表示してもよい。

【0056】

（ＡＲ表示のイメージ）
図９は、カメラ２２が撮影した画像ＢＧに２つの建築物ＶＢを重ね合わせて表示した画像ＥＩの一例である。画像ＢＧの上に建築物ＶＢが表示されているため、画像ＢＧの一部が建築物ＶＢに隠れたように見え、自然な画像として認識される。また、図示した例においては、現実空間における位置情報（緯度、経度）、変換パラメータＴＰによって変換された後の仮想空間における位置情報（ｘ座標、ｙ座標、ｚ座標）を文字および数字で示す領域ＳＤが重ねて表示されている。画像ＢＧ、建築物ＶＢに領域ＳＤを重ねて表示することにより、ユーザは、基準位置および基準方向を選択する際の手がかりが得られ、現実空間における座標と仮想空間における座標の対応付けの修正を直感的に行うことができる。

【0057】

以上説明したように、情報表示システム１は、機械学習を用いたものではないため、大量の学習データを必要としない。

【0058】

また、ユーザによって選択され、表示制御部５２によって決定された基準位置および基準方向と仮想空間における原点Ｏが対応付けられるため、情報表示システム１のユーザが現地の測量、方位の測定等を行う必要はない。このため、情報表示システム１によれば、現実空間における座標と仮想空間における座標の対応付けに複雑な操作は必要とされず、直感的に行うことができる。

【0059】

以上のようにして、１フレーム分のＡＲ表示が完了する。これを、カメラ２２が新しい画像を撮影する度に、または所定のフレームレート分の時間が経過する度に、繰り返す。

【0060】

カメラ２２が撮影している画像が表示されるため、あたかもドローン２が仮想空間を飛行し、建築物が存在するかのような映像を映し出すことができる。

【0061】

ＧＰＳ情報は位置情報の一例であり、これに限られない。情報表示システム１は、ＧＰＳモジュール２４の代わりにＧＰＳ情報以外のＧＮＳＳ情報を測定するＧＮＳＳモジュールを備えていてもよい。

【0062】

（第２の実施の形態）
情報表示システム１は、仮想空間における物体、現実空間において撮影された画像および情報取得部５１が取得した各種情報を表示するシステムである。これに対し、図１０に機能的構成を示す情報表示システム７は、仮想空間における物体、現実空間において撮影された画像に加えて、ドローン２の操作に関する情報を表示するシステムである。以下、図１０、図１１および図１を参照して、情報表示システム１と異なる部分について説明する。

【0063】

情報表示システム７の情報演算部８は、情報取得部５１、表示制御部５２に加え、図１に示したプロポ３から入力され、ドローン２を操作する情報に関する情報を計算する操作情報算出部８１と、を備える。

【0064】

（データ構造）
操作情報算出部８１が計算するドローン２に対する操作に関する情報は、例えば、図１１に示す操作データ１～３を含む。操作データ１～３はそれぞれ、より具体的には、旋回操作の方向を示す識別符号（ＩＤ）、平行移動操作の方向を示すＩＤ、上昇下降操作の方向を示すＩＤである。

【0065】

操作データ１は、例えば、本体２１の正面方向に対する平行移動の操作が行われていない場合に値「０」、前後方向または左右方向の平行移動の操作が行われている場合に以下の「１」～「４」のいずれかの値となるデータである。例えば、図１に示したプロポ３の左スティック３２が上方向に倒された場合に、操作情報算出部８１は、操作データ１として値「１」を計算する。左スティック３２が下方向に倒された場合に、操作情報算出部８１は、操作データ１として値「２」を計算する。右スティック３３が左方向に倒された場合に、操作情報算出部８１は、操作データ１として値「３」を計算する。右スティック３３が右方向に倒された場合に、操作情報算出部８１は、操作データ１として値「４」を計算する。

【0066】

図１２～図１５にそれぞれ示すように、前後左右の各方向に平行移動の操作が行われた場合に、操作情報算出部８１によって各方向に対応して計算された値に応じて、表示制御部５２は、画像ＢＧおよび建築物ＶＢに重ねて各方向を示す矢印ＯＡを表示する。

【0067】

操作データ２は、例えば、旋回操作が行われていない場合に値「０」、左（反時計回り）旋回操作が行われている場合に値「１」、右（時計回り）旋回操作が行われている場合に値「２」となるデータである。例えば、左スティック３２が左方向に倒された場合に、操作情報算出部８１は、操作データ２として値「１」を計算する。左スティック３２が右方向に倒された場合に、操作情報算出部８１は、操作データ２として値「２」を計算する。

【0068】

図１６、１７にそれぞれ示すように、左右の各方向に旋回移動の操作が行われた場合に、操作情報算出部８１によって各方向に対応して計算された値に応じて、表示制御部５２は、画像ＢＧおよび建築物ＶＢに重ねて各方向を示す矢印ＯＡを表示する。

【0069】

操作データ３は、例えば、上昇下降操作が行われていない場合に値「０」、上昇操作が行われている場合に値「１」、下降操作が行われている場合に値「２」となるデータである。例えば、右スティック３３が上方向に倒された場合に、操作情報算出部８１は、操作データ３として値「１」を計算する。右スティック３３が下方向に倒された場合に、操作情報算出部８１は、操作データ３として値「２」を計算する。

【0070】

上下の各方向に上昇下降操作が行われた場合に、操作情報算出部８１によって各方向に対応して計算された値に応じて、表示制御部５２は、図１４、図１５に示した矢印ＯＡを、それぞれ上向きまたは下向きにして、画像ＢＧおよび建築物ＶＢに重ねて表示する。

【0071】

操作データ１～３のうち２つ以上のデータの値が「０」以外の値である場合、表示制御部５２は、対応する複数の矢印を重ねて表示してもよく、その複数の矢印を合体させた別の矢印を表示してもよい。例えば、操縦者がドローン２を上昇させながら前方に移動させるため左スティック３２と右スティック３３をともに上方向に倒した場合、操作情報算出部８１は、図１１に示した操作データ１～３を計算する。表示制御部５２は、操作データ１～３に応じて、図１２に示した奥向きの矢印ＯＡと図１８に示した上向きの矢印ＯＡを重ねて表示してもよく、これらの矢印ＯＡを並べて表示してもよい。また、表示制御部５２は、例えば、前方向の平行移動操作と上昇操作を合わせた操作を示す、図１２に示した矢印ＯＡの先端を画面の手前側に起こした形状の矢印ＯＡを表示してもよい。

【0072】

ドローン２から取得された情報に加えて、プロポ３から取得した情報に基づいて計算された図形を表示することにより、ドローン２の操縦者にとって操縦しやすくなり、より容易に建築物の見たい部分に接近することができる。

【0073】

本発明は、本発明の広義の精神と範囲を逸脱することなく、様々な実施の形態及び変形が可能とされるものである。また、上述した実施の形態は、この発明を説明するためのものであり、本発明の範囲を限定するものではない。すなわち、本発明の範囲は、実施の形態ではなく、特許請求の範囲によって示される。そして、特許請求の範囲内及びそれと同等の発明の意義の範囲内で施される様々な変形が、この発明の範囲内とみなされる。

【符号の説明】

【0074】

１、７ 情報表示システム
２ ドローン
２１ 本体
２２ カメラ
２３ 通信機
２４ ＧＰＳモジュール
２５ 方向センサ
２６ 画角情報設定取得部
２７ 高度センサ
３ プロポ
３１ 本体
３２ 左スティック
３３ 右スティック
３４ 通信機
４ コンピュータ
４１ 情報演算装置
４２ ディスプレイ
４３ 通信機
５、８ 情報演算部
５１ 情報取得部
５２ 表示制御部
６１ 位置情報測定部
６２ 方向情報測定部
６３ 画角情報測定部
６４ 画像撮影部
６５ 高度測定部
８１ 操作情報算出部

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】

【図15】

【図16】

【図17】