(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2022-12-15
(45)【発行日】2022-12-23
(54)【発明の名称】情報表示システム、情報表示方法及び情報表示プログラム
(51)【国際特許分類】
G06T 19/00 20110101AFI20221216BHJP
G02B 27/02 20060101ALI20221216BHJP
【ＦＩ】
G06T19/00 600
G02B27/02 Z
【請求項の数】
15
(21)【出願番号】P 2018213586
(22)【出願日】2018-11-14
(65)【公開番号】P2020080089
(43)【公開日】2020-05-28
【審査請求日】2021-03-02
(73)【特許権者】
【識別番号】397065480
【氏名又は名称】エヌ・ティ・ティ・コムウェア株式会社
(74)【代理人】
【識別番号】100161207
【弁理士】
【氏名又は名称】西澤 和純
(74)【代理人】
【識別番号】100126664
【弁理士】
【氏名又は名称】鈴木 慎吾
(74)【代理人】
【識別番号】100181124
【弁理士】
【氏名又は名称】沖田 壮男
(72)【発明者】
【氏名】椋木 大介
(72)【発明者】
【氏名】日野 直樹
(72)【発明者】
【氏名】松原 初江
(72)【発明者】
【氏名】山根 正也
【審査官】橘 高志
(56)【参考文献】
【文献】特許第６３４９４８１（ＪＰ，Ｂ１）
【文献】特開２０１６－０８２４４１（ＪＰ，Ａ）
【文献】国際公開第２０１８／１４７３２９（ＷＯ，Ａ１）
【文献】特開２０１０－１１８０１９（ＪＰ，Ａ）
【文献】特表２０１７－５３２２３７（ＪＰ，Ａ）
【文献】特開２０１９－０３２２３４（ＪＰ，Ａ）
(58)【調査した分野】(Int.Cl.，ＤＢ名)
Ｇ０６Ｔ １９／００
Ｇ０２Ｂ ２７／０２
(57)【特許請求の範囲】
【請求項1】
ホログラムを表示する表示部と、移動体の実際の飛行の位置に関する実飛行情報を取得する取得処理部と、
前記移動体の飛行予定の位置に関する飛行予定情報、及び前記実飛行情報を仮想空間に対応付けた仮想空間情報と、現実空間の構造物の情報を含む現実空間情報とに基づいて、前記飛行予定情報及び前記実飛行情報を、前記現実空間の前記移動体の前記飛行予定の前記位置及び前記現実空間の実際の前記飛行の前記位置にそれぞれ重ね合わせて、ホログラムとして前記表示部に表示する表示処理部と、を備え、
前記仮想空間情報は、前記移動体が過去に取得した前記構造物の情報に基づいて生成された前記構造物の３次元モデルを前記仮想空間に対応付けた構造物情報と前記実飛行情報の３次元情報とを更に含み、
前記表示処理部は、前記３次元モデル上に前記移動体の実際の飛行の位置をマッピングし、前記移動体の実際の飛行の位置がマッピングされた３次元モデルを包含する仮想領域を作成し、作成した仮想領域内に、前記移動体の実際の飛行の位置がマッピングされた３次元モデルを投影する、情報表示システム。
【請求項2】
前記３次元モデルは、前記構造物を示す点群として特定する３次元点群モデルであり、前記点群に関する情報は、各点の緯度、経度、高度の情報を含むデータである、請求項１に記載の情報表示システム。
【請求項3】
入力部を更に備え、前記表示処理部は、前記入力部から入力された情報に基づいて、前記ホログラムの表示位置の調整を行う、
請求項１または２に記載の情報表示システム。
【請求項4】
前記飛行予定情報は、前記移動体が経由する位置である飛行経由ポイントに関する飛行経由情報を含み、前記表示処理部は、前記飛行経由ポイントを前記ホログラムとして表示する、
請求項１から請求項３のいずれか一項に記載の情報表示システム。
【請求項5】
前記飛行経由情報は、前記飛行経由ポイントの経由順に関する経由順情報を含み、前記表示処理部は、前記飛行経由ポイントに関連付けて前記経由順情報を前記ホログラムとして表示する、
請求項４に記載の情報表示システム。
【請求項6】
前記表示処理部は、前記飛行経由情報及び前記実飛行情報に基づいて、前記移動体が前記飛行経由ポイントの近傍を通過したか否かを判定する判定処理を行い、前記表示処理部は、前記判定処理の結果、前記移動体が前記飛行経由ポイントの近傍を通過した場合、当該飛行経由ポイントを、前記移動体が前記飛行経由ポイントの近傍を通過していない場合と異なる前記ホログラムとして表示する、
請求項４または請求項５に記載の情報表示システム。
【請求項7】
前記飛行予定情報は、前記移動体の飛行予定経路に関する飛行予定経路情報を含み、前記表示処理部は、前記飛行予定経路情報を前記ホログラムとして表示する、請求項１から請求項６のいずれか一項に記載の情報表示システム。
【請求項8】
前記実飛行情報は、前記移動体の前記飛行の一定時間毎の前記位置に関する移動体位置情報を含み、前記表示処理部は、前記移動体位置情報を前記ホログラムとして表示する、
請求項１から請求項７のいずれか一項に記載の情報表示システム。
【請求項9】
前記実飛行情報は、前記移動体位置情報に基づく前記移動体の一定時間毎の移動に関する移動体移動情報を含み、前記表示処理部は、前記移動体移動情報を前記ホログラムとして表示する、
請求項８に記載の情報表示システム。
【請求項10】
前記表示処理部は、前記移動体移動情報を破線状の前記ホログラムとして表示する、請求項９に記載の情報表示システム。
【請求項11】
前記表示処理部は、前記移動体の前記移動の方向を示す情報を前記ホログラムとして表示する、請求項９又は請求項１０に記載の情報表示システム。
【請求項12】
前記飛行予定情報は、撮影を行う前記移動体の前記撮影の予定に関する撮影予定情報を含み、前記実飛行情報は、前記移動体の前記撮影の結果に関する撮影結果情報を含む、
請求項１から請求項１１のいずれか一項に記載の情報表示システム。
【請求項13】
前記飛行予定情報は、前記移動体の過去の前記撮影における前記実飛行情報に基づいて決定される、請求項１２に記載の情報表示システム。
【請求項14】
ホログラムを表示する表示部を備える情報表示システムの情報表示方法であって、取得処理部が、移動体の実際の飛行の位置に関する実飛行情報を取得する取得処理ステップと、
表示処理部が、前記移動体の飛行予定の位置に関する飛行予定情報、及び前記実飛行情報を仮想空間に対応付けた仮想空間情報と、現実空間の構造物の情報を含む現実空間情報とに基づいて、前記飛行予定情報及び前記実飛行情報を、前記現実空間の前記移動体の前記飛行予定の前記位置及び前記現実空間の実際の前記飛行の前記位置にそれぞれ重ね合わせて、ホログラムとして前記表示部に表示する表示処理ステップと、を含み、
前記仮想空間情報は、前記移動体が過去に取得した前記構造物の情報に基づいて生成された前記構造物の３次元モデルを前記仮想空間に対応付けた構造物情報と前記実飛行情報の３次元情報とを更に含み、
前記表示処理ステップは、前記３次元モデル上に前記移動体の実際の飛行の位置をマッピングし、前記移動体の実際の飛行の位置がマッピングされた３次元モデルを包含する仮想領域を作成し、作成した仮想領域内に、前記移動体の実際の飛行の位置がマッピングされた３次元モデルを投影する、情報表示方法。
【請求項15】
ホログラムを表示する表示部を備える情報表示システムのコンピュータに、移動体の実際の飛行の位置に関する実飛行情報を取得する取得処理ステップと、
前記移動体の飛行予定の位置に関する飛行予定情報、及び前記実飛行情報を仮想空間に対応付けた仮想空間情報と、現実空間の構造物の情報を含む現実空間情報とに基づいて、前記飛行予定情報及び前記実飛行情報を、前記現実空間の前記移動体の前記飛行予定の前記位置及び前記現実空間の実際の前記飛行の前記位置にそれぞれ重ね合わせて、ホログラムとして前記表示部に表示する表示処理ステップと、を実行させ、
前記仮想空間情報は、前記移動体が過去に取得した前記構造物の情報に基づいて生成された前記構造物の３次元モデルを前記仮想空間に対応付けた構造物情報と前記実飛行情報の３次元情報とを更に含み、
前記表示処理ステップは、前記３次元モデル上に前記移動体の実際の飛行の位置をマッピングし、前記移動体の実際の飛行の位置がマッピングされた３次元モデルを包含する仮想領域を作成し、作成した仮想領域内に、前記移動体の実際の飛行の位置がマッピングされた３次元モデルを投影する、情報表示プログラム。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、情報表示システム、情報表示方法及び情報表示プログラムに関する。
【背景技術】
【0002】
近年、立体構造物と立体構造物のモデルとを重ねて表示する技術が知られている（例えば、特許文献１参照）。
【先行技術文献】
【特許文献】
【0003】
【文献】特開２０１７－０９１０７８号公報
【発明の概要】
【発明が解決しようとする課題】
【0004】
しかしながら、特許文献１においては、立体構造物とモデルとの重ね合わせは、構造物のエッジ線とモデルの稜線との対応付けを使用者が指定しなければならず、現場においてユーザが、現実の構造物に関する情報を容易に把握することが難しいという課題があった。
【0005】
本発明は、上記の課題を解決すべくなされたもので、その目的は、現実空間の情報を容易に把握することができる情報表示システム、情報表示方法及び情報表示プログラムを提供することにある。
【課題を解決するための手段】
【0006】
本発明は上記の課題を解決するためになされたものであり、本発明の一態様は、ホログラムを表示する表示部と、移動体の実際の飛行の位置に関する実飛行情報を取得する取得処理部と、前記移動体の飛行予定の位置に関する飛行予定情報、及び前記実飛行情報を仮想空間に対応付けた仮想空間情報と、現実空間の構造物の情報を含む現実空間情報とに基づいて、前記飛行予定情報及び前記実飛行情報を、前記現実空間の前記移動体の前記飛行予定の前記位置及び前記現実空間の実際の前記飛行の前記位置にそれぞれ重ね合わせて、ホログラムとして前記表示部に表示する表示処理部と、を備え、前記仮想空間情報は、前記移動体が過去に取得した前記構造物の情報に基づいて生成された前記構造物の３次元モデルを前記仮想空間に対応付けた構造物情報と前記実飛行情報の３次元情報とを更に含み、前記表示処理部は、前記３次元モデル上に前記移動体の実際の飛行の位置をマッピングし、前記移動体の実際の飛行の位置がマッピングされた３次元モデルを包含する仮想領域を作成し、作成した仮想領域内に、前記移動体の実際の飛行の位置がマッピングされた３次元モデルを投影する、を備える、情報表示システムである。
【0007】
また、本発明の一態様は、上記の情報表示システムにおいて、前記３次元モデルは、前記構造物を示す点群として特定する３次元点群モデルであり、前記点群に関する情報は、各点の緯度、経度、高度の情報を含むデータである。
【0008】
また、本発明の一態様は、上記の情報表示システムにおいて、入力部を更に備え、前記表示処理部は、前記入力部から入力された情報に基づいて、前記ホログラムの表示位置の調整を行う、ことを特徴とする。
【0009】
また、本発明の一態様は、上記の情報表示システムにおいて、前記飛行予定情報は、前記移動体が経由する位置である飛行経由ポイントに関する飛行経由情報を含み、前記表示処理部は、前記飛行経由ポイントを前記ホログラムとして表示する、ことを特徴とする。
【0010】
また、本発明の一態様は、上記の情報表示システムにおいて、前記飛行経由情報は、前記飛行経由ポイントの経由順に関する経由順情報を含み、前記表示処理部は、前記飛行経由ポイントに関連付けて前記経由順情報を前記ホログラムとして表示する、ことを特徴とする。
【0011】
また、本発明の一態様は、上記の情報表示システムにおいて、前記表示処理部は、前記飛行経由情報及び前記実飛行情報に基づいて、前記移動体が前記飛行経由ポイントの近傍を通過したか否かを判定する判定処理を行い、前記表示処理部は、前記判定処理の結果、前記移動体が前記飛行経由ポイントの近傍を通過した場合、当該飛行経由ポイントを、前記移動体が前記飛行経由ポイントの近傍を通過していない場合と異なる前記ホログラムとして表示する、ことを特徴とする。
【0012】
また、本発明の一態様は、上記の情報表示システムにおいて、前記飛行予定情報は、前記移動体の飛行予定経路に関する飛行予定経路情報を含み、前記表示処理部は、前記飛行予定経路情報を前記ホログラムとして表示する、ことを特徴とする。
【0013】
また、本発明の一態様は、上記の情報表示システムにおいて、前記実飛行情報は、前記移動体の一定時間毎の位置に関する移動体位置情報を含み、前記表示処理部は、前記移動体位置情報を前記ホログラムとして表示する、ことを特徴とする。
【0014】
また、本発明の一態様は、上記の情報表示システムにおいて、前記表示処理部は、前記移動体位置情報に基づく前記移動体の一定時間毎の移動に関する移動体移動情報を前記ホログラムとして表示する、ことを特徴とする。
【0015】
また、本発明の一態様は、上記の情報表示システムにおいて、前記表示処理部は、前記移動体移動情報を破線状の前記ホログラムとして表示する、ことを特徴とする。
【0016】
また、本発明の一態様は、上記の情報表示システムにおいて、前記表示処理部は、前記移動体の前記移動の方向を示す情報を前記ホログラムとして表示する、ことを特徴とする。
【0017】
また、本発明の一態様は、上記の情報表示システムにおいて、前記飛行予定情報は、撮影を行う前記移動体の前記撮影の予定に関する撮影予定情報を含み、前記実飛行情報は、前記移動体の前記撮影の結果に関する撮影結果情報を含む、ことを特徴とする。
【0018】
また、本発明の一態様は、上記の情報表示システムにおいて、前記飛行予定情報は、前記移動体の過去の前記実飛行情報に基づいて決定される、ことを特徴とする。
【0019】
また、本発明の一態様は、ホログラムを表示する表示部を備える情報表示システムの情報表示方法であって、取得処理部が、移動体の実際の飛行の位置に関する実飛行情報を取得する取得処理ステップと、表示処理部が、前記移動体の飛行予定の位置に関する飛行予定情報、及び前記実飛行情報を仮想空間に対応付けた仮想空間情報と、現実空間の構造物の情報を含む現実空間情報とに基づいて、前記飛行予定情報及び前記実飛行情報を、前記現実空間の前記移動体の前記飛行予定の前記位置及び前記現実空間の実際の前記飛行の前記位置にそれぞれ重ね合わせて、ホログラムとして前記表示部に表示する表示処理ステップと、を含み、前記仮想空間情報は、前記移動体が過去に取得した前記構造物の情報に基づいて生成された前記構造物の３次元モデルを前記仮想空間に対応付けた構造物情報と前記実飛行情報の３次元情報とを更に含み、前記表示処理ステップは、前記３次元モデル上に前記移動体の実際の飛行の位置をマッピングし、前記移動体の実際の飛行の位置がマッピングされた３次元モデルを包含する仮想領域を作成し、作成した仮想領域内に、前記移動体の実際の飛行の位置がマッピングされた３次元モデルを投影する、情報表示方法である。
【0020】
また、本発明の一態様は、ホログラムを表示する表示部を備える情報表示システムのコンピュータに、移動体の実際の飛行の位置に関する実飛行情報を取得する取得処理ステップと、前記移動体の飛行予定の位置に関する飛行予定情報、及び前記実飛行情報を仮想空間に対応付けた仮想空間情報と、現実空間の構造物の情報を含む現実空間情報とに基づいて、前記飛行予定情報及び前記実飛行情報を、前記現実空間の前記移動体の前記飛行予定の前記位置及び前記現実空間の実際の前記飛行の前記位置にそれぞれ重ね合わせて、ホログラムとして前記表示部に表示する表示処理ステップと、を実行させ、前記仮想空間情報は、前記移動体が過去に取得した前記構造物の情報に基づいて生成された前記構造物の３次元モデルを前記仮想空間に対応付けた構造物情報と前記実飛行情報の３次元情報とを更に含み、前記表示処理ステップは、前記３次元モデル上に前記移動体の実際の飛行の位置をマッピングし、前記移動体の実際の飛行の位置がマッピングされた３次元モデルを包含する仮想領域を作成し、作成した仮想領域内に、前記移動体の実際の飛行の位置がマッピングされた３次元モデルを投影する、情報表示プログラムである。
【発明の効果】
【0021】
本発明によれば、現実空間の情報を容易に把握することができる。
【図面の簡単な説明】
【0022】
【図1】第１の実施形態に係る情報表示システム１の一例を示す概要図である。
【図2】本実施形態に係る処理装置２の一例を示すブロック図である。
【図3】本実施形態に係る表示情報記憶部２２２のデータ例を示す図である。
【図4】本実施形態に係るホログラム装置６の一例を示すブロック図である。
【図5】本実施形態に係る仮想空間投影処理の一例を示すフローチャートである。
【図6】本実施形態に係るホログラム装置６のホログラム表示処理の一例を示すフローチャートである。
【図7】本実施形態に係るホログラム装置６のホログラム表示更新処理の一例を示すフローチャートである。
【図8】本実施形態に係るホログラム装置６の表示画面の一例を示す図である。
【図9】本実施形態に係るホログラム装置６の表示画面の別の一例を示す図である。
【図10】本実施形態に係るホログラム装置６の表示画面の別の一例を示す図である。
【図11】本実施形態に係るホログラム装置６の表示画面の別の一例を示す図である。
【図12】第２の実施形態に係る情報表示システム１ａの一例を示す概要図である。
【図13】本実施形態に係る処理装置２ａの一例を示すブロック図である。
【図14】本実施形態に係る表示情報記憶部２２２ａのデータ例を示す図である。
【図15】本実施形態に係るホログラム装置６ａの一例を示すブロック図である。
【図16】本実施形態に係るホログラム装置６ａのホログラム表示更新処理の一例を示すフローチャートである。
【図17】本実施形態に係るホログラム装置６ａの表示画面の一例を示す図である。
【図18】本実施形態に係るホログラム装置６ａの表示画面の別の一例を示す図である。
【発明を実施するための形態】
【0023】
以下、本発明の実施形態による情報表示システム、及び情報表示方法について、図面を参照して説明する。
【0024】
［第１の実施形態］
まず、図面を参照しながら本発明の第１の実施形態について説明する。
図１は、本実施形態に係る情報表示システム１の一例を示す概要図である。
情報表示システム１は、装置間で、例えば、構造物９の不具合（特定の対象の一例）の位置を仮想空間に投影した仮想空間情報や、構造物９の不具合に関する不具合情報（対象情報の一例）などの情報の送受信を行う情報表示システム１である。情報表示システム１は、処理装置２、ＧＰＳ装置３、ホログラム装置６を備える。
ホログラム装置６は、ホログラムを現実空間に重ねて表示可能なＨＭＤ（Ｈｅａｄ Ｍｏｕｎｔｅｄ Ｄｉｓｐｌａｙ）であり、不具合情報を、ホログラムを用いて表示する。また、ホログラム装置６は、撮影部６２を備え、撮影部６２から不具合情報の更新情報を取得する。ＧＰＳ装置３は、ホログラム装置６を装着するユーザが保持し、ＧＰＳ衛星からホログラム装置６を装着するユーザのＧＰＳ情報を取得し、ホログラム装置６にホログラム表示を開始する際のホログラム装置６の平面上の位置に関する情報を提供する。ホログラム装置６、ＧＰＳ装置３についての詳細は後述する。
構造物９は、情報表示システム１が情報を表示する対象となる構造物であり、例えば、生活インフラ、社会インフラ、公共インフラ、公益インフラなど各種インフラの施設を含む。構造物９は、例えば、電気、ガス、水道、通信などに関する構造物、学校、病院、住宅などの建物、道路、港湾、鉄道などに関する施設などを含む。
なお、本実施形態では、説明の都合上、図示を省略するが、情報表示システム１は、ＧＰＳ装置３と、ホログラム装置６とのそれぞれを複数備えることが可能である。また、複数のホログラム装置６は、同一の仮想空間情報に基づいて、同時にホログラム表示することが可能である。
まず、図面を参照しながら本発明の第１の実施形態について説明する。
図１は、本実施形態に係る情報表示システム１の一例を示す概要図である。
情報表示システム１は、装置間で、例えば、構造物９の不具合（特定の対象の一例）の位置を仮想空間に投影した仮想空間情報や、構造物９の不具合に関する不具合情報（対象情報の一例）などの情報の送受信を行う情報表示システム１である。情報表示システム１は、処理装置２、ＧＰＳ装置３、ホログラム装置６を備える。
ホログラム装置６は、ホログラムを現実空間に重ねて表示可能なＨＭＤ（Ｈｅａｄ Ｍｏｕｎｔｅｄ Ｄｉｓｐｌａｙ）であり、不具合情報を、ホログラムを用いて表示する。また、ホログラム装置６は、撮影部６２を備え、撮影部６２から不具合情報の更新情報を取得する。ＧＰＳ装置３は、ホログラム装置６を装着するユーザが保持し、ＧＰＳ衛星からホログラム装置６を装着するユーザのＧＰＳ情報を取得し、ホログラム装置６にホログラム表示を開始する際のホログラム装置６の平面上の位置に関する情報を提供する。ホログラム装置６、ＧＰＳ装置３についての詳細は後述する。
構造物９は、情報表示システム１が情報を表示する対象となる構造物であり、例えば、生活インフラ、社会インフラ、公共インフラ、公益インフラなど各種インフラの施設を含む。構造物９は、例えば、電気、ガス、水道、通信などに関する構造物、学校、病院、住宅などの建物、道路、港湾、鉄道などに関する施設などを含む。
なお、本実施形態では、説明の都合上、図示を省略するが、情報表示システム１は、ＧＰＳ装置３と、ホログラム装置６とのそれぞれを複数備えることが可能である。また、複数のホログラム装置６は、同一の仮想空間情報に基づいて、同時にホログラム表示することが可能である。
【0025】
また、処理装置２と、ＧＰＳ装置３と、ホログラム装置６とは、ネットワークＮＷを介して接続されており、ネットワークＮＷを介して互いに通信する。
【0026】
ネットワークＮＷは、例えば、携帯電話網、ＰＨＳ（Ｐｅｒｓｏｎａｌ Ｈａｎｄｙ－ｐｈｏｎｅ Ｓｙｓｔｅｍ）網、ＶＰＮ（Ｖｉｒｔｕａｌ Ｐｒｉｖａｔｅ Ｎｅｔｗｏｒｋ）網、専用通信回線網、ＷＡＮ（Ｗｉｄｅ Ａｒｅａ Ｎｅｔｗｏｒｋ）、ＬＡＮ（Ｌｏｃａｌ Ａｒｅａ Ｎｅｔｗｏｒｋ）、ＰＳＴＮ（Ｐｕｂｌｉｃ Ｓｗｉｔｃｈｅｄ Ｔｅｌｅｐｈｏｎｅ Ｎｅｔｗｏｒｋ；公衆交換電話網）などによって構成される情報通信ネットワークであり、または、これらの組み合わせである。
【0027】
処理装置２は、例えば、サーバ装置である。処理装置２は、例えば、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）や記憶装置を備える。処理装置２は、構造物９の３次元モデルと、構造物９の不具合の位置を示す位置情報を含む不具合情報とに基づいて、仮想空間に構造物９の３次元モデルと不具合情報とを投影する仮想空間投影処理を行う。また、処理装置２は、投影した情報である仮想空間情報と、不具合のメタデータと、ホログラム表示関連情報とを、ネットワークＮＷを介して、ホログラム装置６に送信する。また、処理装置２は、ホログラム装置６が新たに取得した不具合のメタデータを、ネットワークＮＷを介して、ホログラム装置６から受信する。また、処理装置２は、ホログラム装置６がホログラム表示を開始する際の、現実空間におけるホログラム装置６の位置の高さや方向に関する初期位置情報を、ネットワークＮＷを介してＧＰＳ装置３やホログラム装置６に送信する。
【0028】
図２は、本実施形態に係る処理装置２の一例を示すブロック図である。
処理装置２は、通信部２１、記憶部２２、及び、処理部２３を備える。
処理装置２は、通信部２１、記憶部２２、及び、処理部２３を備える。
【0029】
通信部２１は、有線ＬＡＮ（Ｌｏｃａｌ Ａｒｅａ Ｎｅｔｗｏｒｋ）通信、無線ＬＡＮ通信などを利用してネットワークＮＷに接続し、ネットワークＮＷを介して各種通信を行う。通信部２１は、例えば、ネットワークＮＷを介して、ＧＰＳ装置３及びホログラム装置６に接続し、ＧＰＳ装置３又はホログラム装置６との間で、各種通信を行う。
【0030】
記憶部２２は、例えば、ＨＤＤ（Ｈａｒｄ Ｄｉｓｃ Ｄｒｉｖｅ）、フラッシュメモリ、ＥＥＰＲＯＭ（Ｅｌｅｃｔｒｉｃａｌｌｙ Ｅｒａｓａｂｌｅ Ｐｒｏｇｒａｍｍａｂｌｅ Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒy）、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）、またはＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）などを備え、ファームウェアやアプリケーションプログラムなど、処理装置２が備えるＣＰＵが実行するための各種プログラムやＣＰＵが実行した処理の結果などを記憶する。処理装置２は、例えば、処理装置２の備えるＣＰＵが記憶部２２に記憶されているプログラムを実行することによって機能する。
記憶部２２は、３次元モデル記憶部２２１、表示情報記憶部２２２、ホログラム表示関連情報記憶部２２３、仮想空間情報記憶部２２４、及び初期位置情報記憶部２２５を備える。
記憶部２２は、３次元モデル記憶部２２１、表示情報記憶部２２２、ホログラム表示関連情報記憶部２２３、仮想空間情報記憶部２２４、及び初期位置情報記憶部２２５を備える。
【0031】
３次元モデル記憶部２２１は、例えば、構造物９の３次元モデルを記憶する。３次元モデル記憶部２２１は、３次元モデルとして、例えば、構造物９を示す点群を記憶する。なお、３次元モデルはこれには限られない。他の方法によって、構造物９の３次元モデルが記憶されてもよい。以下では、説明を簡単にするため、３次元モデル記憶部２２１は、構造物９を点群である３次元点群モデルとして記憶する例について説明する。なお、点群モデルは、視認性向上のため、点群を用いたメッシュ構造などであってもよい。
【0032】
３次元モデル記憶部２２１は、３次元点群モデルの各点に関する情報として、例えば３次元ＧＩＳ（Ｇｅｏｇｒａｐｈｉｃ Ｉｎｆｏｒｍａｔｉｏｎ Ｓｙｓｔｅｍ）データなどの情報を記憶する。３次元ＧＩＳデータは、各点の緯度、経度、高度の情報を含む。３次元ＧＩＳデータは、例えば、ドローンなどの移動体による過去の撮影によって得られた情報に基づいて生成された情報などである。以下では、説明を簡単にするため、３次元モデル記憶部２２１は、各点が３次元ＧＩＳデータを含む情報を持つ、３次元点群モデルとして、構造物９の３次元モデルを記憶する例について説明する。
なお、３次元モデル記憶部２２１は、構造物９の周囲にあるものについての３次元モデルを含めて記憶してもよい。
なお、３次元モデル記憶部２２１は、構造物９の周囲にあるものについての３次元モデルを含めて記憶してもよい。
【0033】
表示情報記憶部２２２は、例えば、構造物９の不具合の位置を示す不具合位置情報を含む不具合情報を記憶する。ここで、不具合とは、例えば、ひび割れ、欠損、タイル剥がれ、浮き、さび、塗装剥がれ、穴、断線、漏電などの構造物９の構造に関するものや、構造物９に存在する設備などから発せされる電磁波の受信強度など、電磁波に関するものを含む。なお、不具合は、ドローンなどの移動体などによって撮影された情報に基づいて、人の目によって判断された情報に基づいたものであってもよいし、ディープラーニングなどの手法によって不具合と判定された情報に基づいたものであってもよい。
不具合位置情報とは、不具合の中心の位置の緯度、経度、高度の３次元情報を示す。また、不具合が電磁波に関する場合、不具合位置情報は、弱い受信強度が測定された複数の地点をつないで生成される空間の３次元情報であってもよい。この場合、弱い受信強度が測定された複数の地点の位置を不具合位置情報として記憶してもよい。
不具合情報とは、不具合位置情報と、不具合のメタデータを含む。不具合のメタデータは、例えば、不具合の種類、重要度などを含む。不具合の重要度とは、不具合の危険度や、作業の観点から決定される重要性の程度を示す指標である。また、不具合がある領域を示す空間で示される場合、不具合のメタデータは、空間を示す点群の一部であること示す情報などを含んでもよい。
また、不具合のメタデータは、不具合の修理に関する修理情報を含む。修理情報は、不具合の修理方法のマニュアル、不具合に関する作業者のメモ、不具合の作業完了時の日時や、修理結果を示す写真などの情報を含む。
表示情報記憶部２２２は、例えば、図３に示すように、不具合情報を記憶する。
不具合位置情報とは、不具合の中心の位置の緯度、経度、高度の３次元情報を示す。また、不具合が電磁波に関する場合、不具合位置情報は、弱い受信強度が測定された複数の地点をつないで生成される空間の３次元情報であってもよい。この場合、弱い受信強度が測定された複数の地点の位置を不具合位置情報として記憶してもよい。
不具合情報とは、不具合位置情報と、不具合のメタデータを含む。不具合のメタデータは、例えば、不具合の種類、重要度などを含む。不具合の重要度とは、不具合の危険度や、作業の観点から決定される重要性の程度を示す指標である。また、不具合がある領域を示す空間で示される場合、不具合のメタデータは、空間を示す点群の一部であること示す情報などを含んでもよい。
また、不具合のメタデータは、不具合の修理に関する修理情報を含む。修理情報は、不具合の修理方法のマニュアル、不具合に関する作業者のメモ、不具合の作業完了時の日時や、修理結果を示す写真などの情報を含む。
表示情報記憶部２２２は、例えば、図３に示すように、不具合情報を記憶する。
【0034】
図３は、本実施形態に係る表示情報記憶部２２２のデータ例を示す図である。
図３に示すように、表示情報記憶部２２２は、例えば、「不具合ＩＤ」と「緯度」と「経度」と「高度」と「不具合の種類」と「不具合の重要度」とを対応付けて不具合情報を記憶する。「不具合ＩＤ」は、不具合情報を一意に識別する識別情報を示す。「緯度」、「経度」、及び「高度」は、不具合の位置を示す不具合位置情報であり、それぞれ、不具合の中心の緯度、経度、高度を示す。「不具合の種類」は不具合の種類を識別する識別情報を示す。不具合の種類を識別する識別情報は、例えば、“１”は剥離、“２”はさび、“３”はひび割れなどのように不具合の内容と対応した識別情報である。「不具合の重要度」は不具合の重要度を、段階的に区分けしたものを識別する識別情報を示す。重要度は、例えば、“１”は重要度小、“２”は重要度中、“３”は重要度大などのように、数値が大きくなるほど重要性が高い不具合であることを示す。
図３に示す例では、「不具合ＩＤ」が“ＸＸＸＸ００１”に対応する「緯度」は“３６．１１０２７０９０５１１２２”であり、「経度」は“１３９．６５５３６２０５４３３４０”であり、「高度」は“３２．０６０２５２３５２４５９４”であり、「不具合の種類」は“１”、すなわち剥離であることを示し、「不具合の重要度」は“３”、つまり重要度が大きいことを示す。
図３に示すように、表示情報記憶部２２２は、例えば、「不具合ＩＤ」と「緯度」と「経度」と「高度」と「不具合の種類」と「不具合の重要度」とを対応付けて不具合情報を記憶する。「不具合ＩＤ」は、不具合情報を一意に識別する識別情報を示す。「緯度」、「経度」、及び「高度」は、不具合の位置を示す不具合位置情報であり、それぞれ、不具合の中心の緯度、経度、高度を示す。「不具合の種類」は不具合の種類を識別する識別情報を示す。不具合の種類を識別する識別情報は、例えば、“１”は剥離、“２”はさび、“３”はひび割れなどのように不具合の内容と対応した識別情報である。「不具合の重要度」は不具合の重要度を、段階的に区分けしたものを識別する識別情報を示す。重要度は、例えば、“１”は重要度小、“２”は重要度中、“３”は重要度大などのように、数値が大きくなるほど重要性が高い不具合であることを示す。
図３に示す例では、「不具合ＩＤ」が“ＸＸＸＸ００１”に対応する「緯度」は“３６．１１０２７０９０５１１２２”であり、「経度」は“１３９．６５５３６２０５４３３４０”であり、「高度」は“３２．０６０２５２３５２４５９４”であり、「不具合の種類」は“１”、すなわち剥離であることを示し、「不具合の重要度」は“３”、つまり重要度が大きいことを示す。
【0035】
ホログラム表示関連情報記憶部２２３は、例えば、不具合情報のホログラム表示関連情報を記憶する。ホログラム表示関連情報とは、不具合情報をホログラムとして表示する際の、表示するホログラムの形状、色、大きさなどの表示態様に関する情報である。また、ホログラム表示関連情報は、後述するように不具合の位置がホログラム装置６を装着するユーザの視界外にある場合、当該不具合の位置の表示方法に関する情報なども含む。また、ホログラム表示関連情報は、不具合が構造物の内部、壁の向こう側など直接視認できない場所に位置する場合のホログラムの表示方法に関する情報なども含む。
ホログラム表示関連情報記憶部２２３は、例えば、不具合をホログラムとして表示する際の、不具合毎の表示方法に関する情報を、不具合のメタデータと表示方法とを対応付けて記憶する。不具合毎の表示方法に関する情報については後述する。ホログラム表示関連情報記憶部２２３は、例えば、不具合の種類とホログラムの色とを対応付けて記憶する。また、ホログラム表示関連情報記憶部２２３は、例えば、不具合の重要度とホログラムの形状とを対応させて記憶する。また、ホログラム表示関連情報記憶部２２３は、後述するように、不具合がホログラム装置６のユーザの視界外に存在する際に、視界外の該不具合に関する情報のホログラム表示に関する情報を記憶する。
ホログラム表示関連情報記憶部２２３は、例えば、不具合をホログラムとして表示する際の、不具合毎の表示方法に関する情報を、不具合のメタデータと表示方法とを対応付けて記憶する。不具合毎の表示方法に関する情報については後述する。ホログラム表示関連情報記憶部２２３は、例えば、不具合の種類とホログラムの色とを対応付けて記憶する。また、ホログラム表示関連情報記憶部２２３は、例えば、不具合の重要度とホログラムの形状とを対応させて記憶する。また、ホログラム表示関連情報記憶部２２３は、後述するように、不具合がホログラム装置６のユーザの視界外に存在する際に、視界外の該不具合に関する情報のホログラム表示に関する情報を記憶する。
【0036】
仮想空間情報記憶部２２４は、後述する仮想空間投影処理によって、仮想空間に構造物９の３次元モデルと構造物９の不具合位置情報とを対応付けた（以下、この対応付け処理を「投影」とも称する）情報を含む仮想空間情報を記憶する。
【0037】
初期位置情報記憶部２２５は、後述するホログラム装置６の起動処理において、ホログラム装置６がホログラム処理を開始する際の、ホログラム装置６の高さ方向の情報と上下左右の方向とに関する初期位置情報を記憶する。
【0038】
処理部２３は、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）などを含むプロセッサであり、処理装置２の統括的な制御処理を行う。処理部２３は、例えば、３次元モデル記憶部２２１及び表示情報記憶部２２２から、それぞれ３次元モデル及び不具合位置情報を取得し、３次元モデル上に不具合位置をマッピングする処理を行う。また、処理部２３は、例えば、マッピングした情報を仮想空間上に投影する仮想空間投影処理を行い、投影した仮想空間情報を仮想空間情報記憶部２２４に記憶させる。また、処理部２３は、例えば、仮想空間情報、不具合のメタデータ、及び、ホログラム表示関連情報を、通信部２１を介して、ホログラム装置６に送信する仮想空間情報転送処理を行う。また、処理部２３は、例えば、通信部２１を介して、ホログラム装置６から、不具合のメタデータを受信し、表示情報記憶部２２２に記憶させる。また、処理部２３は、例えば、初期位置情報を、通信部２１を介してＧＰＳ装置３に送信する。
処理部２３は、仮想空間投影部２３１と、転送処理部２３２と、表示情報取得部２３３とを備える。
処理部２３は、仮想空間投影部２３１と、転送処理部２３２と、表示情報取得部２３３とを備える。
【0039】
仮想空間投影部２３１は、３次元モデル上に不具合位置をマッピングし、マッピングした不具合位置と３次元モデルとを仮想空間上に投影する。具体的には、仮想空間投影部２３１は、３次元モデル記憶部２２１から、３次元モデルを読み出す。また、仮想空間投影部２３１は、表示情報記憶部２２２から、不具合位置情報を読み出す。仮想空間投影部２３１は、読みだした３次元モデルの各点の３次元ＧＩＳデータと、不具合位置情報が含む３次元ＧＩＳデータとに基づいて、３次元モデル上に、不具合の位置をマッピングする。仮想空間投影部２３１は、マッピングした３次元モデル（以下、「マップ済３次元モデル」とも称する）に基づいて、マップ済み３次元モデルの全ての点を包含することのできる仮想立方体を作成する。この際、仮想空間投影部２３１は、仮想立方体の中心点と、マップ済み３次元モデルの中心を合わせ、仮想立方体内にマップ済み３次元モデルを展開する展開処理を行う。ここで、展開処理とは、仮想立方体上の座標と、マップ済み３次元モデル上の座標である３次元ＧＩＳデータとを対応付ける処理を示す。仮想空間投影部２３１は、展開処理を行った情報を仮想空間情報として、仮想空間情報記憶部２２４に記憶させる。
【0040】
転送処理部２３２は、仮想空間情報と不具合のメタデータとホログラム表示関連情報と初期位置情報とをホログラム装置６に送信する処理を行う。転送処理部２３２は、仮想空間情報記憶部２２４、表示情報記憶部２２２、ホログラム表示関連情報記憶部２２３、初期位置情報記憶部２２５から、仮想空間情報、不具合のメタデータ、ホログラム表示関連情報、及び初期位置情報を読み出す。また、転送処理部２３２は、例えば、読み出した仮想空間情報と不具合のメタデータとホログラム表示関連情報と初期位置情報とを、通信部２１を介してホログラム装置６に送信する転送処理を行う。
また、転送処理部２３２は、例えば、初期位置情報記憶部２２５から読みだした初期位置情報を、通信部２１を介して、ＧＰＳ装置３に送信する。
また、転送処理部２３２は、例えば、初期位置情報記憶部２２５から読みだした初期位置情報を、通信部２１を介して、ＧＰＳ装置３に送信する。
【0041】
表示情報取得部２３３は、更新された不具合のメタデータを受信する。表示情報取得部２３３は、例えば、不具合に関する作業員のメモ、不具合の作業完了時の日時や、修理結果を示す写真などの情報を、通信部２１を介して、ホログラム装置６から取得する。表示情報取得部２３３は、取得した不具合のメタデータを、表示情報記憶部２２２に記憶させる。
【0042】
ＧＰＳ装置３は、例えば、パーソナルコンピュータ、タブレット、スマートフォンなどであって、後述するホログラム装置６を装着したユーザが保持する。ＧＰＳ装置３は、通信部、ＧＰＳ情報取得部、及び表示部を少なくとも備える。ＧＰＳ情報取得部は、ＧＰＳ衛星などからＧＰＳ装置３の位置を示すＧＰＳ情報を取得する。通信部は、ＧＰＳ情報取得部が取得したＧＰＳ情報を、ネットワークＮＷを介して、ホログラム装置６に送信する。また、通信部は、ホログラム装置６の起動時の初期位置情報を、ネットワークＮＷを介して、処理装置２から受信する。ＧＰＳ装置３は、受信した初期位置情報を表示部に表示する。なお、ＧＰＳ装置３は、ＧＰＳ情報を、ネットワークＮＷを介して、ホログラム装置６に送信する代わりに、表示部に、例えば、２次元バーコードなどの形式で表示してもよい。ＧＰＳ装置３を保持するユーザは、処理装置２から受信した初期位置情報とＧＰＳ情報とに基づいて、ホログラム装置６のホログラム表示を開始する際のユーザの位置に移動し、初期位置情報に示される方向を向く。
【0043】
ホログラム装置６は、例えば、ホログラムを現実空間に重ねて表示可能なＨＭＤである。ホログラム装置６は、例えば、仮想空間情報、不具合のメタデータ、ホログラム表示関連情報及び、初期位置情報を、ネットワークＮＷを介して、処理装置２から受信し、記憶部６６に記憶させる。また、ホログラム装置６は、起動時のホログラム装置６の位置のＧＰＳに関する情報を、ネットワークＮＷを介して、又は、後述する撮影部６２を介して、ＧＰＳ装置３から取得する。また、ホログラム装置６は、取得した初期位置情報と、仮想空間情報と、後述するセンサ部６４から取得する３次元情報と、ホログラム表示関連情報とに基づいて、不具合情報をホログラムとして表示するホログラム表示処理を定期的に行う。また、ホログラム装置６は、後述する入力部６３から入力される情報であってホログラム装置６を操作する操作情報と、ホログラム表示関連情報とに基づいて、操作情報をホログラムとして表示するホログラム表示処理を定期的に行う。また、ホログラム装置６は、後述する入力部６３から入力された情報に基づいて、不具合のメタデータに関する情報を取得し、取得した情報に基づいた処理を行う。また、ホログラム装置６は、不具合のメタデータの更新情報を、ネットワークＮＷを介して、処理装置２に送信する。
【0044】
図４は、本実施形態に係るホログラム装置６の一例を示すブロック図である。
ホログラム装置６は、通信部６１、撮影部６２、入力部６３、センサ部６４、表示部６５、記憶部６６、及び処理部６７を備える。
ホログラム装置６は、通信部６１、撮影部６２、入力部６３、センサ部６４、表示部６５、記憶部６６、及び処理部６７を備える。
【0045】
通信部６１は、有線ＬＡＮ通信、無線ＬＡＮ通信などを利用してネットワークＮＷに接続し、ネットワークＮＷを介して各種通信を行う。通信部２１は、例えば、ネットワークＮＷを介して、処理装置２及びＧＰＳ装置３に接続し、処理装置２又はＧＰＳ装置３との間で、各種通信を行う。
【0046】
撮影部６２は、例えば、イメージセンサを有し３次元動画像、動画像及び静止画像を撮影する。イメージセンサは、ＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ Ｍｅｔａ Ｏｘｉｄｅ Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）イメージセンサ又はＣＣＤ（Ｃｈａｒｇｅ Ｃｏｕｐｌｅｄ Ｄｅｖｉｃｅ）イメージセンサ等を用いることができる。３次元動画像とは、撮影部の撮影範囲にある構造物、人物などの物体の表面の凹凸などの情報を含む動画像である。撮影部６２は、ホログラム装置６のユーザの視点からの上記各動画像、静止画像に近い各動画像、静止画像を撮影する。撮影部６２は、撮影した撮影情報を、後述する入力・撮影情報処理部６７２に出力する。なお、撮影部６２は、撮影部６２から撮影する各動画像、静止画像を、ホログラム装置６を装着するユーザの視点からの各動画像、静止画像に補正する補正部を備えてもよい。この場合、撮影部６２は、補正した各動画像、静止画像を入力・撮影情報処理部６７２に出力する。撮影部６２は、例えば、ホログラム装置６を装着するユーザが不具合を修理するなどによって、不具合の状態が変化した場合に、その変化後の状態を撮影する。
【0047】
入力部６３は、例えば、カメラやイメージセンサを有し、ホログラム装置６のユーザのジェスチャーや音声などの入力を示す情報を取得する。入力部６３は、例えば、ユーザが入力を始めることを示す特定のジェスチャーや音声の情報を認識する認識部を備える。入力部６３は、例えば、認識部が入力を始めることを示す情報を認識すると、それ以降のジェスチャーや音声を入力情報として取得する。また、入力部６３は、例えば、取得したジェスチャーや音声の情報により指示される操作信号を生成し、入力・撮影情報処理部６７２に出力する。なお、入力部６３は、撮影部６２の機能を有して形成されてもよい。また、入力部６３は、キーボードやコントローラーなどを有し、入力部６３は、これらを用いて入力を示す情報を取得してもよい。キーボードやコントローラーは、現実に存在するものであってもよいし、後述する表示部６５でホログラムとして表示される仮想的なキーボードやコントローラーであってもよい。以下、説明を簡単にするため、以下、ホログラム装置６のユーザは、ジェスチャーによって入力を行う場合について説明するが、これには限られない。例えば、ホログラム装置６のユーザは、音声、キーボード、コントローラー、又はこれらの組み合わせによって入力を行ってもよい。
【0048】
センサ部６４は、例えば、６軸センサを有し、ホログラム装置６の移動、向き、回転に関する情報を検知する。６軸センサは、例えば、３軸の加速度センサと、３軸のジャイロセンサの組み合わせを用いることができる。また、６軸センサは、例えば、３軸の加速度センサと、東西南北を検出する地磁気センサの組み合わせを用いることもできる。センサ部６４は、検知した情報を、３次元情報処理部６７３に出力する。
【0049】
表示部６５は、例えば、ホログラムディスプレイ装置などであり、各種情報をホログラム表示する。また、表示部６５は、ビデオ透過型、又は、光学透過型のどちらでもよい。ホログラム装置６のユーザは、現実空間の様子とホログラムとを、表示部６５を介して、重ね合わせて見ることができる。表示部６５は、ビデオ透過型の場合、撮影部６２の機能を有して形成されてもよい。以下では、説明の簡単のため、表示部６５は光学透過型である場合について説明する。
表示部６５は、例えば、各種情報をホログラム表示する。表示部６５は、例えば、不具合情報をホログラム表示する。また、表示部６５は、例えば、各種操作画面や情報の入力画面などの情報をホログラム表示する。ここで、各種操作画面や情報の入力画面とは、例えば、ホログラム装置６を操作するためのコントローラー、選択肢を示すボタン、文字などを入力するキーボードなどである。
表示部６５は、例えば、各種情報をホログラム表示する。表示部６５は、例えば、不具合情報をホログラム表示する。また、表示部６５は、例えば、各種操作画面や情報の入力画面などの情報をホログラム表示する。ここで、各種操作画面や情報の入力画面とは、例えば、ホログラム装置６を操作するためのコントローラー、選択肢を示すボタン、文字などを入力するキーボードなどである。
【0050】
記憶部６６は、例えば、ＨＤＤ、フラッシュメモリ、ＥＥＰＲＯＭ、ＲＯＭ、またはＲＡＭなどを備え、ファームウェアやアプリケーションプログラムなど、ホログラム装置６が備えるＣＰＵが実行するための各種プログラムやＣＰＵが実行した処理の結果などを記憶する。ホログラム装置６は、例えば、ホログラム装置６の備えるＣＰＵが記憶部６６に記憶されているプログラムを実行することによって機能する。
記憶部６６は、仮想空間情報記憶部６６１、視界情報記憶部６６２、及び、表示情報記憶部６６３を備える。
記憶部６６は、仮想空間情報記憶部６６１、視界情報記憶部６６２、及び、表示情報記憶部６６３を備える。
【0051】
仮想空間情報記憶部６６１は、処理装置２から受信した情報であって、マップ済み３次元モデルを仮想空間に投影した仮想空間情報を記憶する。
視界情報記憶部６６２は、ホログラム装置６を装着しているユーザの視界に関する視界情報を記憶する。視界情報は、例えば、視点の位置（「視点位置」とも称する）と方向（「視点方向」とも称する）を示す視点情報、視野の領域を示す視野領域情報を含む。ここで、視点位置とは、後述する表示部６５の表示画面の中心点を示し、視点方向とは、視点位置における表示画面の接平面の法線方向を示す。なお、視界情報は、ホログラム装置６を装着するユーザに応じて調整されるものであってもよい。視野の領域はユーザによって厳密には異なるが、平均的な視野の領域の情報を視野領域情報としてもよいし、予めホログラム装置６の装着時に調整されるものであってもよい。また、視界情報記憶部６６２は、ＧＰＳ装置３から受け入れたＧＰＳ情報を記憶する。
表示情報記憶部６６３は、不具合のメタデータと、ホログラム表示関連情報とを記憶する。
視界情報記憶部６６２は、ホログラム装置６を装着しているユーザの視界に関する視界情報を記憶する。視界情報は、例えば、視点の位置（「視点位置」とも称する）と方向（「視点方向」とも称する）を示す視点情報、視野の領域を示す視野領域情報を含む。ここで、視点位置とは、後述する表示部６５の表示画面の中心点を示し、視点方向とは、視点位置における表示画面の接平面の法線方向を示す。なお、視界情報は、ホログラム装置６を装着するユーザに応じて調整されるものであってもよい。視野の領域はユーザによって厳密には異なるが、平均的な視野の領域の情報を視野領域情報としてもよいし、予めホログラム装置６の装着時に調整されるものであってもよい。また、視界情報記憶部６６２は、ＧＰＳ装置３から受け入れたＧＰＳ情報を記憶する。
表示情報記憶部６６３は、不具合のメタデータと、ホログラム表示関連情報とを記憶する。
【0052】
処理部６７は、ＣＰＵなどを含むプロセッサであり、ホログラム装置６の統括的な制御処理を行う。処理部６７は、例えば、処理装置２から、通信部６１を介して、仮想空間情報、不具合のメタデータ、ホログラム表示関連情情報、及び初期位置情報などを受信し、記憶部６６に記憶させる。また、処理部６７は、例えば、ＧＰＳ装置３から、通信部６１を介して、又は撮影部６２を介して、ＧＰＳ情報を受信し、記憶部６６に記憶させる。また、処理部６７は、例えば、撮影部６２から撮影情報を取得し、記憶部６６に記憶させる。また、処理部６７は、例えば、入力部６３から入力された入力情報を示す操作信号を受け入れ、後述する入力情報に対応する各種処理を行う。また、処理部６７は、例えば、更新された不具合のメタデータを、通信部６１を介して、処理装置２に送信する送信処理を行う。また、処理部６７は、例えば、センサ部６４から取得した情報に基づいて、ホログラム装置６の視界情報を取得し、記憶部６６に記憶させる。また、処理部６７は、例えば、入力された情報と記憶部６６から読み出した情報とに基づいて、表示部６５にホログラムを表示させるホログラム表示処理を行う。
処理部６７は、取得処理部６７１と、入力・撮影情報処理部６７２と、３次元情報処理部６７３と、表示処理部６７４と、送信処理部６７５とを備える。
処理部６７は、取得処理部６７１と、入力・撮影情報処理部６７２と、３次元情報処理部６７３と、表示処理部６７４と、送信処理部６７５とを備える。
【0053】
取得処理部６７１は、処理装置２及びＧＰＳ装置３から、通信部２１を介して、各種情報を取得する。取得処理部６７１は、例えば、仮想空間情報、不具合のメタデータ、ホログラム表示関連情報、及び、初期位置情報を、通信部６１を介して受信する。また、取得処理部６７１は、例えば、受信した仮想空間情報を、仮想空間情報記憶部６６１に記憶させる。また、取得処理部６７１は、例えば、受信した不具合のメタデータ、及びホログラム表示関連情報を、表示情報記憶部６６３に記憶させる。また、取得処理部６７１は、例えば、受信した初期位置情報を、視界情報記憶部６６２に記憶させる。また、取得処理部６７１は、例えば、ＧＰＳ情報を、通信部６１を介して受信し、受信したＧＰＳ情報を視界情報記憶部６６２に記憶させる。
【0054】
入力・撮影情報処理部６７２は、撮影部６２及び入力部６３から、撮影した撮影情報及び入力情報を取得する。また、入力・撮影情報処理部６７２は、仮想空間情報、視界情報、及び、不具合のメタデータを仮想空間情報記憶部６６１、視界情報記憶部６６２、表示情報記憶部６６３から取得する。また、入力・撮影情報処理部６７２は、ホログラム装置６の操作に関する情報を記憶部６６から取得する。入力・撮影情報処理部６７２は、取得した情報に基づいて、以下に示す各種処理を行う。
【0055】
入力・撮影情報処理部６７２は、例えば、入力部６３からホログラム装置６を操作する入力情報を取得した場合、入力情報に対応する操作を行うか、または入力情報に対応する操作に関連する情報を表示処理部６７４に出力する。また、入力・撮影情報処理部６７２は、例えば、ホログラム表示の調整を行う入力情報を取得した場合、取得した情報を、３次元情報処理部６７３に出力する。
【0056】
また、入力・撮影情報処理部６７２は、例えば、入力部６３から、不具合を修理するためのマニュアルや、作業者のメモの表示の指示、不具合の修理完了時の修理部位の撮影指示など、不具合のメタデータに関する指示を示す情報を入力部６３から取得した場合、まず指示対象となっている不具合（以下、「対象不具合」とも称する）を特定する不具合特定処理を行う。
【0057】
まず、入力・撮影情報処理部６７２は、仮想空間情報記憶部６６１、視界情報記憶部６６２、表示情報記憶部６６３から、それぞれ仮想空間情報、視界情報、不具合のメタデータを取得する。また、入力・撮影情報処理部６７２は、例えば、取得した仮想空間情報と、視界情報とから、ホログラム装置６の視界内にある不具合のうち、最近傍に存在する不具合を判定し、判定した不具合が対象不具合であると決定する。以上で、不具合特定処理を終了する。
【0058】
続いて、入力・撮影情報処理部６７２は、例えば、対象不具合のメタデータを参照し、入力部６３から入力された指示内容に対応するメタデータであって、表示部６５に表示するメタデータを取得する。また、入力・撮影情報処理部６７２は、対象不具合と表示するメタデータとを示す情報を、表示処理部６７４に出力する。
【0059】
また、入力・撮影情報処理部６７２は、例えば、不具合の修理完了時の修理部位の撮影情報を、撮影部６２から取得した場合、上述した不具合特定処理を行い、対象不具合を特定する。入力・撮影情報処理部６７２は、例えば、対象不具合の撮影情報を、対象不具合のメタデータとして、表示情報記憶部６６３に記憶させる。また、入力・撮影情報処理部６７２は、対象不具合の重要度を、修理完了を示す情報に更新する。また、入力・撮影情報処理部６７２は、送信処理部６７５にメタデータが更新されたことを示す情報を出力する。また、入力・撮影情報処理部６７２は、撮影が完了し、メタデータが更新されたことを示す情報を、表示処理部６７４に出力する。
【0060】
また、入力・撮影情報処理部６７２は、例えば、ＧＰＳ装置３のＧＰＳ情報の撮影情報を、撮影部６２から取得した場合、撮影情報から、ＧＰＳ情報を取得する。入力・撮影情報処理部６７２は、取得したＧＰＳ情報を視界情報記憶部６６２に記憶させる。
【0061】
３次元情報処理部６７３は、ＧＰＳ情報、初期位置情報及びホログラム装置６の移動、向き、回転に関する情報（以下、「センサ情報」とも称する）を取得し、取得した情報に基づいて、視界情報を取得する。
【0062】
３次元情報処理部６７３は、表示部６５にホログラム表示する情報（以下、「表示情報」とも称する）の表示を行うホログラム表示処理をホログラム装置６が開始する場合、仮想空間情報記憶部６６１から仮想空間情報を取得する。また、３次元情報処理部６７３は、視界情報記憶部６６２から、ＧＰＳ情報と初期位置情報とを取得する。３次元情報処理部６７３は、仮想空間情報における仮想立方体と３次元ＧＩＳデータとを対応付ける情報と、ＧＰＳ情報の緯度、経度情報に基づいて、ホログラム装置６の初期位置のうち、仮想空間上の視点の平面上の位置を決定する。ここで、平面上の位置とは、仮想空間の高さ方向の情報を含まない２次元の情報である。３次元情報処理部６７３は、続いて初期位置情報に基づいて、開始時の高さ方向の情報（高度）と方向の情報を取得し、取得した情報に基づいて、仮想空間上の開始時の視点位置と視点方向とを決定し、決定した情報を視界情報記憶部６６２に記憶させる。
【0063】
また、３次元情報処理部６７３は、例えば、入力・撮影情報処理部６７２から、ホログラム表示の調整を行う情報を入力された場合、視界情報記憶部６６２から視界情報を読み出す。３次元情報処理部６７３は、入力された視界情報に基づいて、視界情報が示す視点位置及び視点方向を入力情報に従って調整する。３次元情報処理部６７３は、調整した視点情報を視界情報記憶部６６２に記憶させる。
【0064】
上述したホログラム表示処理の開始時以外の場合、３次元情報処理部６７３は、定期的に、センサ情報を取得する。３次元情報処理部６７３は、視界情報記憶部６６２から、視界情報を取得し、取得したセンサ情報と視界情報とに基づいて、視界情報に含まれる視点位置と視点方向とを更新する。３次元情報処理部６７３は、更新した視界情報を視界情報記憶部６６２に記憶させる。
【0065】
表示処理部６７４は、記憶部６６に記憶される各種情報、及び入力・撮影情報処理部６７２から入力される情報に基づいて、表示部６５にホログラムを表示させるホログラム表示処理を行う。表示処理部６７４は、例えば、ホログラム装置６のホログラム表示の開始時において、仮想空間情報記憶部６６１、視界情報記憶部６６２から、仮想空間情報、視点情報を読み出す。また、表示処理部６７４は、例えば、仮想空間情報に含まれる構造物９の情報と視界情報とに基づいて、表示部６５にホログラム表示する構造物９の表示情報を決定する。表示情報は、視界内に含まれる構造物９の３次元モデルである。表示情報に含まれる３次元モデルは、例えば、構造物９を示す点群をつないだメッシュ構造であってもよい。
【0066】
また、表示処理部６７４は、例えば、仮想空間情報記憶部６６１、視界情報記憶部６６２、表示情報記憶部６６３から、仮想空間情報、視点情報、視野領域情報、不具合のメタデータ、及び、ホログラム表示関連情報を取得する。表示処理部６７４は、例えば、視点情報と視野領域情報とに基づいて、仮想空間内における視界の範囲内となる空間の３次元情報（以下、「仮想空間内視界情報」とも称する）を求める。
【0067】
表示処理部６７４は、例えば、仮想空間内視界情報と仮想空間情報とホログラム表示関連情報とに基づいて、表示部６５にホログラム表示する不具合を決定する。ホログラム表示する不具合は、仮想空間の視野の範囲内に含まれる不具合と、仮想空間の視野の範囲外であるが、仮想空間の視野の近傍に位置する不具合のうち、表示関連情報に含まれる条件を満たす不具合である。表示関連情報に含まれる条件とは、例えば、視点位置からの距離が所定距離以内であって、視点方向からの角度が所定角度以内の領域（以下、この領域を「視界近傍領域」とも称する）に含まれる不具合である。なお、表示する不具合は複数であってもよい。
【0068】
また、表示処理部６７４は、例えば、ホログラム表示する個々の不具合について、不具合のメタデータ及びホログラム表示関連情報を参照し、不具合情報を表示するホログラムの色、形状、大きさなどの表示方法などのホログラム表示関連情報を取得する。また、表示処理部６７４は、例えば、仮想空間上の不具合位置情報と視点位置情報とに基づいて、仮想空間上での視点位置及び視点方向から不具合位置までの距離と方向とを算出し、不具合をホログラム表示する位置を決定する。また、表示処理部６７４は、例えば、求めた距離を仮想空間情報に含まれる、仮想空間と現実空間とを対応付ける対応情報（以下、「位置対応情報」とも称する）に基づいて、現実空間での距離を算出する。位置対応情報は、仮想空間上の座標と、現実空間上の３次元ＧＩＳデータとを対応付ける情報を含む。また、位置対応情報は、仮想空間上の単位長さと、仮想空間上の単位長さに対応する現実空間の長さとを対応付けた情報を含んでもよい。また、表示処理部６７４は、例えば、視界近傍領域にある不具合について、仮想空間上の不具合位置と視点位置とを結ぶ直線と、視界範囲の境界との交点を求める。表示処理部６７４は、交点近傍の直線上であって、視界範囲内にある領域を、視界近傍領域にある不具合を示す情報を表示する領域（表示位置）として決定する。
【0069】
また、表示処理部６７４は、入力・撮影情報処理部６７２から、対象不具合と表示情報である対象不具合のメタデータとが入力された場合、表示情報記憶部６６３から、入力されたメタデータをホログラム表示するためのホログラム表示関連情報を取得する。
また、表示処理部６７４は、ホログラム装置６の操作に関する情報が入力・撮影情報処理部６７２から入力された場合、操作を表示するホログラムに関するホログラム表示関連情報を表示情報記憶部６６３から取得する。
表示処理部６７４は、以上の処理で決定した表示情報と、取得したホログラム表示関連情報とに基づいて、表示情報を表示部６５にホログラム表示させる。
また、表示処理部６７４は、ホログラム装置６の操作に関する情報が入力・撮影情報処理部６７２から入力された場合、操作を表示するホログラムに関するホログラム表示関連情報を表示情報記憶部６６３から取得する。
表示処理部６７４は、以上の処理で決定した表示情報と、取得したホログラム表示関連情報とに基づいて、表示情報を表示部６５にホログラム表示させる。
【0070】
送信処理部６７５は、入力・撮影情報処理部６７２から、メタデータの更新を示す情報が入力されると、更新された不具合のメタデータを、通信部６１を介して、処理装置２に送信する。送信処理部６７５は、例えば、表示情報記憶部６６３から、不具合のメタデータを読み出し、更新された不具合のメタデータを取得する。また、送信処理部６７５は、取得したメタデータを、通信部６１を介して、処理装置２に送信する。
【0071】
次に、図面を参照して、本実施形態に係る情報表示システム１の動作について説明する。
【0072】
【0073】
まず、処理装置２の仮想空間投影部２３１は、３次元モデル記憶部２２１及び表示情報記憶部２２２から、３次元モデル及び不具合位置情報を取得する（ステップＳ１０１）。取得すると、仮想空間投影部２３１は処理をステップＳ１０２に進める。
【0074】
次に、仮想空間投影部２３１は、３次元モデルに含まれる３次元ＧＩＳデータと、不具合情報に含まれる３次元ＧＩＳデータとに基づいて、不具合位置情報を、３次元モデル上にマッピングし、マップ済３次元モデルを生成する。生成処理が終了すると、仮想空間投影部２３１は、処理をステップＳ１０３に進める。
【0075】
次に、仮想空間投影部２３１は、マップ済み３次元モデルが全て包含可能な仮想立方体を生成する（ステップＳ１０３）。包含可能な仮想立方体とは、例えば、マップ済み３次元モデルを包含する最小の直方体の最大辺の長さよりも所定の長さだけ大きな一辺を持つ立方体である。この仮想立方体は、ホログラム装置６が記憶可能な仮想空間に対応する。従って、例えば、ホログラム装置６が記憶可能な仮想空間が立方体以外の場合には、仮想立方体の形状も異なってもよい。仮想空間投影部２３１は、仮想立方体の生成処理が終了すると、処理をステップＳ１０４に進める。
【0076】
次に、仮想空間投影部２３１は、仮想立方体の中心点と、マップ済み３次元モデルの中心点を求め、２点を重ね合わせて、仮想立方体内にマップ済み３次元モデルを展開する展開処理を行う。マップ済み３次元モデルの中心点は、マップ済み３次元モデルを包含する最小の直方体の中心点である。この際、仮想空間投影部２３１は、現実空間の単位長さと仮想空間の単位長さとの対応関係を示す情報（仮想空間情報の一部）を算出する。仮想空間投影部２３１は、以上の処理で生成された仮想空間情報を仮想空間情報記憶部２２４に記憶させる（ステップＳ１０４）。処理が終了すると、処理部２３は、処理をステップＳ１０５に進める。
【0077】
転送処理部２３２は、仮想空間情報と不具合のメタデータと表示関連情報と初期位置情報とを、通信部２１を介して、ホログラム装置６に送信する転送処理を行う。ホログラム装置６は、受信した各種情報を記憶部６６に記憶する（ステップＳ１０５）。転送処理部２３２は、処理を終了すると、仮想空間投影処理を終了する。なお、上述した仮想空間転送処理は、後述するホログラム装置６のホログラム表示処理の開始時より前の時点で別途行われてもよいし、ホログラム表示処理の開始時に行われるものであってもよい。
【0078】
【0079】
まず、ホログラム装置６を装着したユーザは、ＧＰＳ装置３に表示される初期位置情報に基づいて、ホログラム装置６を所定の初期高さ及び方向においてホログラムの表示処理を開始させる（ステップＳ２０１）。表示処理の開始とは、例えば、ホログラム装置６の起動などである。表示処理を開始すると、ホログラム装置６の処理部は処理をステップＳ２０２に進める。
【0080】
続いて、ホログラム装置６の処理部６７は、表示処理の開始時に、ＧＰＳ情報を取得する（ステップＳ２０２）。処理部６７は、ＧＰＳ装置３から、ネットワークＮＷを介して、又は、ＧＰＳ装置３に表示されたＧＰＳ情報を撮影部６２で撮影し解析することによって、ホログラム装置６の位置に関する情報を取得する。処理部６７は、ＧＰＳ情報を取得すると、処理をステップＳ２０３に進める。
【0081】
次に、３次元情報処理部６７３は、初期位置情報とＧＰＳ情報とに基づいて、視点位置を決定する（ステップＳ２０３）。なお、ホログラム装置６がＧＰＳ受信部を備える場合には、ＧＰＳ受信部から取得した情報に基づいて、ホログラム装置６の視点位置を決定してもよい。処理部６７は、視点位置を決定すると、処理をステップＳ２０４に進める。
【0082】
次に、表示処理部６７４は、仮想空間情報に含まれる構造物９の情報をホログラムとして表示部６５に表示させる。表示処理部６７４は、仮想空間情報記憶部６６１及び視界情報記憶部６６２から、仮想空間情報及び視界情報をそれぞれ取得する。表示処理部６７４は、視界情報に基づいて仮想空間情報から構造物９を示す点群のうち、視界に入る、すなわち表示部６５に表示可能な点群とその表示位置とを決定する。表示処理部６７４は、表示情報記憶部６６３から構造物９のホログラム表示に関するホログラム表示関連情報を読み出し、ホログラム表示関連情報に含まれる表示方法で、決定した点群を表示部６５にホログラム表示させる。例えば、表示処理部６７４は、点群を線で結んだメッシュ構造とするホログラムを表示部６５に表示させる（ステップＳ２０４）。処理部６７は処理が終了すると、処理をステップＳ２０５に進める。
【0083】
ホログラム装置６を装着したユーザは、表示部６５に表示される構造物９のホログラムと、現実空間での構造物９の情報とを比較し、構造物９と重なって見える位置（以下、「正しい位置」とも称する）にホログラムが表示されているか否かを判定する（ステップＳ２０５）。ホログラム装置６のユーザは、比較した結果、ホログラム表示が正しい位置に表示されていない場合、微調整を行う入力を示すジェスチャーを行う。処理部６７は、入力部６３から微調整を行う入力情報を取得した場合、表示にずれがあると判定し（ステップＳ２０５：ＹＥＳ）、処理をステップＳ２０６に進める。ホログラム装置６のユーザは、比較した結果、ホログラム表示が正しい位置に表示されている場合、微調整を行わない入力を示すジェスチャーを行う。処理部６７は、微調整を行わない入力情報を取得した場合、表示にずれがないと判定し（ステップＳ２０５：ＮＯ）、処理をステップＳ２０７に進める。
【0084】
処理部６７は、微調整に関する入力情報に基づいて、微調整を行う（ステップＳ２０６）。まず、入力・撮影情報処理部６７２は、入力された情報に基づいて、微調整を行う操作画面の情報を表示処理部６７４に出力する。表示処理部６７４は、入力された情報とホログラム表示関連情報とに基づいて、表示部６５に微調整を行う操作画面をホログラム表示する。入力・撮影情報処理部６７２は、つづいて微調整（上下、左右、遠近、３軸方向の回転）を示す入力情報である微調整情報を取得し、取得した微調整情報を３次元情報処理部６７３に出力する。３次元情報処理部６７３は、視界情報記憶部６６２から視点情報を読み出し、読み出した視点情報と、微調整情報とに基づいて、視点情報を更新する。３次元情報処理部６７３は、更新した視点情報を視界情報記憶部６６２に記憶させる。処理部６７は、上述した処理が終了すると、処理をステップＳ２０４に戻す。処理部６７は、ユーザから、微調整を行わない入力を示すジェスチャーが行われるまで、ステップＳ２０４からステップＳ２０６までを繰り返す。
【0085】
処理部６７は、表示情報を表示部６５に表示させるホログラム表示処理を定期的に繰り返すホログラム表示更新処理を行う（ステップＳ２０７）。ホログラム表示更新処理については後述する。処理部６７は、ホログラム表示を中止するジェスチャーの入力など、ホログラム表示の中止を示す情報である入力情報を取得すると、ホログラム表示処理を終了する。
【0086】
【0087】
まず、３次元情報処理部６７３は、センサ部６４から、センサ情報を取得する（ステップＳ３０１）。取得すると、３次元情報処理部６７３は、処理をステップＳ３０２に進める。
【0088】
続いて、３次元情報処理部６７３は、取得したセンサ情報に基づいて、視点情報を更新する処理を行う（ステップＳ３０２）。まず、３次元情報処理部６７３は、仮想空間情報記憶部６６１から、位置対応情報を取得する。３次元情報処理部６７３は、取得したセンサ情報と対応情報とに基づいて、仮想空間における視点情報の移動量に関する情報を求める。次に、３次元情報処理部６７３は、視界情報記憶部６６２から、視点情報を取得する。３次元情報処理部６７３は、取得した視点情報と、視点情報の移動量に関する情報に基づいて、視点情報を更新する。３次元情報処理部６７３は、更新した視点情報を視界情報記憶部６６２に記憶させる。なお、３次元情報処理部６７３は、以上の視点情報の更新処理を仮想空間上で行ったが、現実空間上の情報として処理してもよい。例えば、３次元情報処理部６７３は、視点情報と対応情報に基づいて、現実空間における視点位置を算出した後、センサ情報に基づいて、現実空間における視点情報を更新し、更新した視点情報と対応情報とに基づいて、仮想空間における更新された視点情報を取得してもよい。処理部６７は、上述した処理が終了すると、処理をステップＳ３０３に進める。
【0089】
続いて、表示処理部６７４は、ホログラム表示を行う不具合情報を決定する（ステップＳ３０３）。まず、表示処理部６７４は、視界情報記憶部６６２から視界情報を取得する。また、表示処理部６７４は、仮想空間情報記憶部６６１から、仮想空間情報の不具合位置情報を取得する。表示処理部６７４は、視界情報と不具合位置情報とに基づいて、視界内に含まれる不具合を求める。また、表示処理部６７４は、表示情報記憶部６６３から、ホログラム表示関連情報を取得し、視界情報、不具合位置情報、及びホログラム表示関連情報に基づいて、視界近傍領域に存在する不具合を求める。表示処理部６７４は、表示部６５にホログラム表示させる不具合を決定すると、処理をステップＳ３０４に進める。
以降、不具合情報毎に、表示するホログラムを決定する処理（ステップＳ３０４からステップＳ３１０まで）を繰り返す。以下、処理対象である不具合を「ホログラム処理対象不具合」とも称する。
以降、不具合情報毎に、表示するホログラムを決定する処理（ステップＳ３０４からステップＳ３１０まで）を繰り返す。以下、処理対象である不具合を「ホログラム処理対象不具合」とも称する。
【0090】
表示処理部６７４は、ホログラム処理対象不具合の視点位置及び視点方向からの距離と方向を算出する（ステップＳ３０４）。表示処理部６７４は、視界情報記憶部６６２から、視点情報を取得する。また、表示処理部６７４は、仮想空間情報記憶部６６１から、ホログラム処理対象不具合の不具合位置情報と、位置対応情報を取得する。表示処理部６７４は、取得した情報に基づいて、現実空間における不具合と視点との間の距離を算出する。また、表示処理部６７４は、視点情報と不具合位置情報とに基づいて、ホログラム処理対象不具合の視点方向からの方向である角度情報を取得する。表示処理部６７４は、ホログラム処理対象不具合の視点位置からの距離と視点方向からの方向を算出すると、処理をステップＳ３０５に進める。
【0091】
表示処理部６７４は、ホログラム表示関連情報と、ホログラム処理対象不具合の視点位置からの距離及び視点方向からの方向に基づいて、表示するホログラムを決定する（ステップＳ３０５）。表示処理部６７４は、表示情報記憶部６６３から、ホログラム表示関連情報を取得する。表示処理部６７４は、ホログラム処理対象不具合の視点位置からの距離及び方向に基づいて、表示情報に対応するホログラムを決定する。表示処理部６７４は、表示するホログラムを決定すると、処理をステップＳ３０６に進める。
【0092】
表示処理部６７４は、入力・撮影情報処理部６７２から、ホログラム処理対象不具合に関する何らかの表示に関する情報が入力されているか否かを判定する（ステップＳ３０６）。入力・撮影情報処理部６７２から上述した情報が入力されている場合、表示処理部６７４は、ホログラム処理対象不具合に関する入力情報があると判定し（ステップＳ３０６：ＹＥＳ）、処理をステップＳ３０７に進める。表示処理部６７４は、入力・撮影情報処理部６７２から、上述した情報が入力されていない場合、入力情報がないと判定し（ステップＳ３０６：ＮＯ）、他の不具合について表示するホログラムを決定する処理に移行する。
【0093】
表示処理部６７４は、入力・撮影情報処理部６７２から入力された入力情報を取得し（ステップＳ３０７）、処理をステップＳ３０８に進める。
【0094】
表示処理部６７４は、入力・撮影情報処理部６７２から入力された入力情報が、撮影を指示する情報であるか否かを判定する（ステップＳ３０８）。表示処理部６７４は、撮影を指示する情報が入力された場合、撮影指示であると判定し（ステップＳ３０８：ＹＥＳ）、撮影を指示する情報を入力・撮影情報処理部６７２に出力し、処理をステップＳ３０９に進める。表示処理部６７４は、マニュアルの表示や、作業員のメモの表示を指示する情報が入力された場合、撮影指示ではないと判定し（ステップＳ３０８：ＮＯ）、処理をステップＳ３１０に進める。
【0095】
入力・撮影情報処理部６７２は、撮影指示が入力された場合、撮影部６２から、撮影情報を取得し、撮影情報の処理を行う（ステップＳ３０９）。入力・撮影情報処理部６７２は、不具合特定処理を行い、対象不具合の撮影情報を、対象不具合のメタデータとして、表示情報記憶部６６３に記憶させる。また、対象不具合の重要度を、修理完了を示す情報に更新する。入力・撮影情報処理部６７２は、撮影処理の終了と、メタデータの更新を示す情報を表示処理部６７４に出力する。表示処理部６７４は、入力・撮影情報処理部６７２から上述した情報が入力されると、処理をステップＳ３１０に進める。
【0096】
表示処理部６７４は、入力情報に基づいて、表示するホログラムを決定する（ステップＳ３１０）。表示処理部６７４は、表示情報記憶部６６３から、表示するメタデータとその表示方法に関するホログラム表示関連情報を取得する。表示処理部６７４は、表示情報記憶部６６３から取得した情報に基づいて、表示部６５に表示するホログラムを、ステップＳ３０５で決定したホログラムから置き換える。表示処理部６７４は、処理を終了すると、他の不具合についての処理を繰り返す。表示する全ての不具合についての処理が終了すると、処理をステップＳ３１１に進める。
【0097】
表示処理部６７４は、入力・撮影情報処理部６７２から不具合以外に関する何らかの情報が入力されているか否かを判定する（ステップＳ３１１）。不具合以外に関する何らかの情報とは、例えば、ホログラム装置６の操作に関する情報などである。表示処理部６７４は、上述した情報が入力されている場合、その他の入力情報があると判定し（ステップＳ３１１：ＹＥＳ）、処理をステップＳ３１２に進める。表示処理部６７４は、上述した情報が入力されていない場合、その他の入力情報がないと判定し（ステップＳ３１１：ＮＯ）、処理をステップＳ３１４に進める。
【0098】
表示処理部６７４は、入力・撮影情報処理部６７２から、不具合に以外に関する何らかの情報が入力されている場合、入力された情報を取得し（ステップＳ３１２）、処理をステップＳ３１３に進める。
【0099】
表示処理部６７４は、記憶部６６から入力された情報に対応する表示情報を決定し、表示情報を表示するホログラムを決定する（ステップＳ３１３）。表示処理部６７４は、表示情報記憶部６６３から、表示情報に関するホログラム表示関連情報を読み出し、表示情報とホログラム表示関連情報とに基づいて、表示するホログラムを決定し、処理をステップＳ３１４に進める。
【0100】
表示処理部６７４は、以上の処理で決定したホログラムを、表示部６５に表示させ、定期的な表示処理を終了する（ステップＳ３１５）。
【0101】
次に、ステップＳ３１５で表示処理部６７４が表示部６５に表示情報をホログラム表示させる場合の、表示部６５の表示画面のいくつかの例について、図を参照して説明する。
【0102】
まず、図８を参照して、本実施形態に係るホログラム装置６の表示画面の一例について説明する。
図８は、本実施形態に係るホログラム装置６の表示画面の一例を示す図である。図８（Ａ）は、視界内に不具合が１つあり、視界近傍領域に不具合が２つある場合の表示画面の一例を示す図である。図８（Ｂ）は、図８（Ａ）における視界内の不具合にホログラム装置６を装着したユーザが近づいた場合の、表示画面の一例を示す図である。図８（Ｃ）は、図８（Ａ）における視界内の不具合にホログラム装置６を装着したユーザが更に近づいた場合の、表示画面の一例を示す図である。
図８は、本実施形態に係るホログラム装置６の表示画面の一例を示す図である。図８（Ａ）は、視界内に不具合が１つあり、視界近傍領域に不具合が２つある場合の表示画面の一例を示す図である。図８（Ｂ）は、図８（Ａ）における視界内の不具合にホログラム装置６を装着したユーザが近づいた場合の、表示画面の一例を示す図である。図８（Ｃ）は、図８（Ａ）における視界内の不具合にホログラム装置６を装着したユーザが更に近づいた場合の、表示画面の一例を示す図である。
【0103】
図８（Ａ）は、視界内に不具合が１つあり、視界近傍領域に不具合が２つある場合の表示画面Ｄ１００のホログラム表示例を示す。図８（Ａ）において、点線で示される情報は説明のために示すもので、表示画面Ｄ１００には表示されない情報である。表示画面Ｄ１００は、中心点Ｚ１０１、視界内不具合を示すホログラム表示Ｐ１０２、視界近傍領域の不具合Ｐ１０４及びＰ１０６、視界近傍領域の不具合Ｐ１０４に関するホログラム表示Ａ１０５、及び、視界近傍領域の不具合Ｐ１０６に関するホログラム表示Ａ１０７を含んで構成される。また、表示画面Ｄ１００には表示されない、視界近傍領域外の不具合Ｐ１０３についてもここで説明する。
【0104】
中心点Ｚ１０１は、表示画面Ｄ１００の中心点であり、視点位置を示す。視界近傍領域の不具合は、中心点Ｚ１０１からの距離及び方向に基づいて、表示画面Ｄ１００の画面端近傍に不具合の情報をホログラム表示される。図８（Ａ）では、ホログラム表示Ａ１０５、Ａ１０７が画面端近傍に表示されるホログラムである。視界近傍領域のホログラム表示の詳細については後述する。
【0105】
視界内不具合のホログラム表示Ｐ１０２は、視界内に不具合がある場合のホログラム表示である。ホログラム表示Ｐ１０２は、中心点Ｚ１０１からの距離と方向との情報に基づいて、表示画面Ｄ１００内に、不具合の中心点を中心とする赤色の球状のホログラムとして表示されている。ホログラムの色及び形状は、表示情報記憶部６６３に記憶されたホログラム表示関連情報に基づいて決定される。本実施形態の例では、赤色のホログラムは、不具合の重要度が高いことを示す。また、球状のホログラムは、不具合が剥離であることを示す。
表示情報記憶部６６３は、中心点Ｚ１０１からの距離に基づいて、不具合のメタデータのホログラム表示方法を異なるものにする。本実施形態の例では、距離が１０ｍ以上の場合は、所定の大きさのホログラムと、中心点Ｚ１０１からの不具合までの距離の情報をホログラムとして、不具合の位置、種類、重要度を示すホログラムの近傍に表示する。ホログラム表示Ｐ１０２の例では、赤色かつ球状のホログラムの近傍に、実空間での距離の情報である“１２ｍ”という不具合の表示情報をホログラム表示する。なお、ホログラム表示Ｐ１０２の例では、距離情報が球体の上部にホログラム表示されているが、表示位置についてはこれに限られない。また、ホログラム表示も、例えば“１０ｍ以上遠方”などのように厳密な距離を示すものでなくてもよい。また、表示するホログラムの透明度、大きさなどが視点位置からの距離に応じて異なるものであってもよい。
表示情報記憶部６６３は、中心点Ｚ１０１からの距離に基づいて、不具合のメタデータのホログラム表示方法を異なるものにする。本実施形態の例では、距離が１０ｍ以上の場合は、所定の大きさのホログラムと、中心点Ｚ１０１からの不具合までの距離の情報をホログラムとして、不具合の位置、種類、重要度を示すホログラムの近傍に表示する。ホログラム表示Ｐ１０２の例では、赤色かつ球状のホログラムの近傍に、実空間での距離の情報である“１２ｍ”という不具合の表示情報をホログラム表示する。なお、ホログラム表示Ｐ１０２の例では、距離情報が球体の上部にホログラム表示されているが、表示位置についてはこれに限られない。また、ホログラム表示も、例えば“１０ｍ以上遠方”などのように厳密な距離を示すものでなくてもよい。また、表示するホログラムの透明度、大きさなどが視点位置からの距離に応じて異なるものであってもよい。
【0106】
視界近傍領域外の不具合Ｐ１０３は、中心点Ｚ１０１からの距離が所定の距離以上、もしくは、視点方向からの角度が所定の角度以上であるために、視界近傍領域外となっており、不具合の情報が表示画面Ｄ１００に表示されない。ホログラム装置６を装着したユーザが、表示画面Ｄ１００を不具合Ｐ１０３の方向に向くなどの動作をすることによって、不具合Ｐ１０３が視界近傍領域に含まれた場合には、中心点Ｚ１０１からの距離、方向に基づいて、表示画面Ｄ１００の画面端近傍に不具合Ｐ１０３の情報がホログラム表示される。
視界近傍領域の不具合Ｐ１０４は、中心点Ｚ１０１からの距離が所定の距離未満、かつ視点方向からの角度が所定の角度内であるが、視界外の視界近傍領域に存在する不具合である。この場合、表示画面Ｄ１００には、中心点Ｚ１０１から不具合Ｐ１０４への仮想的な直線（図８（Ａ）では点線で表示されている）と視界の境界領域に不具合の位置・方向を示すホログラム表示Ａ１０５が表示される。
視界近傍領域の不具合Ｐ１０４は、中心点Ｚ１０１からの距離が所定の距離未満、かつ視点方向からの角度が所定の角度内であるが、視界外の視界近傍領域に存在する不具合である。この場合、表示画面Ｄ１００には、中心点Ｚ１０１から不具合Ｐ１０４への仮想的な直線（図８（Ａ）では点線で表示されている）と視界の境界領域に不具合の位置・方向を示すホログラム表示Ａ１０５が表示される。
【0107】
なお、ホログラム表示Ａ１０５の表示態様は、図示したものに限られない。例えば、ホログラム表示Ａ１０５の形状は、矢印であるがこれには限られない。また、ホログラム表示Ａ１０５の色は、例えば、不具合の重要度に応じて異なるものであってもよい。ここでは、ホログラム表示Ａ１０５のホログラムの色は不具合が視界内にある場合に表示されるホログラムと同様の色である。すなわち、不具合Ｐ１０４が重要度の高い不具合である場合、ホログラム表示Ａ１０５は赤色で表示される。また、図８（Ａ）の例では、ホログラム表示Ａ１０５の大きさは、不具合Ｐ１０４までの距離と方向によって定められる。表示情報記憶部６６３は、視界近傍領域を表示する矢印の大きさを、不具合までの距離に応じて数段階に分類し、また、視点方向から不具合までの角度に応じて数段階に分類する。表示処理部６７４は、上述した情報を表示情報記憶部６６３から読み取り、矢印の大きさを、距離に応じた大きさと、方向に応じた大きさの積算によって決定する。図８（Ａ）の例では、矢印は、例えば、距離が１５ｍで０％になるよう、距離に比例した大きさとする。また、角度は９０度で０％になるように、角度に比例した大きさとし、両者の積算によって、最終的に表示するホログラム（矢印）の大きさを決定する。ホログラム表示Ａ１０５の矢印は、不具合Ｐ１０４までの距離は近いものの、角度が９０度に近いため、小さい矢印となる。
【0108】
視界近傍領域の別の不具合Ｐ１０６は、不具合の重要度が中程度であるため、ホログラム表示Ａ１０７はホログラム表示Ａ１０５とは違う色で表示される。また、不具合Ｐ１０６は、不具合Ｐ１０４に比べると、距離が近く、また角度も小さいため、ホログラム表示Ａ１０７の矢印は、ホログラム表示Ａ１０５よりも大きい。
【0109】
図８（Ｂ）は、図８（Ａ）における視界内の不具合（ホログラム表示Ｐ１０２に対応する不具合）にホログラム装置６を装着したユーザが近づいた場合の、表示画面Ｄ１１０の一例を示す図である。
表示画面Ｄ１１０は、不具合位置、重要度、種類を示すホログラム表示Ｐ１１１と、不具合のメタデータのホログラム表示Ｄ１１２とを含んで構成される。
表示画面Ｄ１１０は、不具合位置、重要度、種類を示すホログラム表示Ｐ１１１と、不具合のメタデータのホログラム表示Ｄ１１２とを含んで構成される。
【0110】
ホログラム表示Ｐ１１１は、ホログラム表示Ｐ１０２と同じ不具合を示すが、不具合までの距離が近いため、ホログラム表示Ｐ１０２のホログラムよりも大きなホログラムとして表示される。
【0111】
ホログラム表示Ｄ１１２は、不具合のメタデータを示すホログラムである。本実施形態の例では、表示情報記憶部６６３は、中心点Ｚ１０１からの距離が３ｍ以上１０ｍ未満の場合は不具合のメタデータを含む吹き出し状のホログラムを、不具合の位置、種類、重要度を示すホログラムの近傍に表示する。図８（Ｂ）の例では、メタデータとして、不具合を識別する識別情報（“ＩＤ：ＸＸＸＸ００１”）と、不具合が登録された日時情報（“２０１８／６／１１”）と、不具合の種類と重要度（“タイル剥離：レベル３”）とがホログラム表示される。
【0112】
図８（Ｃ）は、図８（Ａ）における視界内の不具合（ホログラム表示Ｐ１０２に対応する不具合）にホログラム装置６を装着したユーザが３ｍ以内に近づいた場合の、表示画面Ｄ１２０の一例を示す図である。
表示画面Ｄ１２０は、不具合位置、重要度、種類を示すホログラム表示Ｐ１２１と、不具合のメタデータの表示情報Ｄ１２２と、ホログラム表示された不具合の修理に関するボタンＢＴ１２３、ＢＴ１２４、ＢＴ１２５を含んで構成される。
表示画面Ｄ１２０は、不具合位置、重要度、種類を示すホログラム表示Ｐ１２１と、不具合のメタデータの表示情報Ｄ１２２と、ホログラム表示された不具合の修理に関するボタンＢＴ１２３、ＢＴ１２４、ＢＴ１２５を含んで構成される。
【0113】
ホログラム表示Ｐ１２１は、ホログラム表示Ｐ１０２、ホログラム表示Ｐ１１１と同じ不具合を示すが、不具合までの距離が近いため、ホログラム表示Ｐ１１１のホログラムよりも大きなホログラムとして表示される。
【0114】
ホログラム表示Ｄ１２２は、不具合のメタデータを示す情報であり、ホログラム表示Ｄ１１２と同様の情報を示している。ホログラム表示Ｄ１２２は、不具合までの距離が近いため、ホログラム表示Ｄ１１２のホログラムより大きなホログラムとして表示される。
【0115】
ボタンＢＴ１２３は、不具合の修理のマニュアルの表示を指示するボタンをホログラム表示したものである。ホログラム装置６のユーザのジェスチャーによって、ボタンＢＴ１２３の押下が入力される場合、表示処理部６７４は、不具合のマニュアルをホログラムで表示させる。表示詳細については後述する。
【0116】
ボタンＢＴ１２４は、不具合についての作業員のメモの表示を指示するボタンをホログラム表示したものである。ホログラム装置６のユーザのジェスチャーによって、ボタンＢＴ１２４の押下が入力される場合、表示処理部６７４は、不具合についての作業員のメモをホログラムで表示させる。表示詳細については後述する。
【0117】
ボタンＢＴ１２５は、不具合の作業が完了したことを指示するボタンをホログラム表示したものである。ホログラム装置６のユーザのジェスチャーによって、ボタンＢＴ１２５の押下が入力される場合、表示処理部６７４は、不具合の作業完了時の写真撮影に関する情報をホログラムで表示させる。表示詳細については後述する。
【0118】
なお、上述したメタデータの表示方法は、上述した方法に限られない。例えば、上述した方法では、１０ｍや３ｍを、表示方法の変更を行う閾値としていたが、この閾値は他の値であってもよい。メタデータの表示位置や表示方法、表示するメタデータの内容についても、上述した方法と別の形状、表現、内容で示されるものであってもよい。
【0119】
次に、図９を参照し、本実施形態に係るホログラム装置６のマニュアル表示画面の一例について説明する。
【0120】
表示処理部６７４は、図８（Ｃ）の状態において、ボタンＢＴ１２３の押下を示すジェスチャーを示す入力情報が入力・撮影情報処理部６７２から行われた場合、図９の表示画面Ｄ１３０を表示させる。
表示画面Ｄ１３０は、マニュアル表示Ｄ１３１と、表示停止ボタンＢＴ１３２とを含んで構成される。
表示画面Ｄ１３０は、マニュアル表示Ｄ１３１と、表示停止ボタンＢＴ１３２とを含んで構成される。
【0121】
マニュアル表示Ｄ１３１は、表示情報記憶部６６３に記憶されたマニュアルであって、対象不具合のメタデータに含まれるマニュアルをホログラム表示したものである。例えば。図９の例では、タイル剥離の修理に関するマニュアルを図解したものが表示されている。なお、表示するマニュアルは、図解したものに限られない。例えば、マニュアルを文章で表示したものや動画であってもよい。
表示停止ボタンＢＴ１３２は、マニュアル表示Ｄ１３１に表示されているマニュアルのホログラム表示を停止し、図８（Ｃ）と同様のホログラム表示を行うことを指示するためのボタンである。ホログラム装置６のユーザのジェスチャーによって、ボタンＢＴ１３２の押下が入力される場合、表示処理部６７４は、マニュアル表示を中止し、図８（Ｃ）と同様のホログラムをホログラム表示させる。
表示停止ボタンＢＴ１３２は、マニュアル表示Ｄ１３１に表示されているマニュアルのホログラム表示を停止し、図８（Ｃ）と同様のホログラム表示を行うことを指示するためのボタンである。ホログラム装置６のユーザのジェスチャーによって、ボタンＢＴ１３２の押下が入力される場合、表示処理部６７４は、マニュアル表示を中止し、図８（Ｃ）と同様のホログラムをホログラム表示させる。
【0122】
次に、図１０を参照し、本実施形態に係るホログラム装置６のメモ表示画面の一例について説明する。
【0123】
表示処理部６７４は、図８（Ｃ）の状態において、ボタンＢＴ１２４の押下を示すジェスチャーを示す入力情報が入力・撮影情報処理部６７２から行われた場合、図１０の表示画面Ｄ１４０を表示させる。
表示画面Ｄ１４０は、メモ表示Ｄ１４１と、表示停止ボタンＢＴ１４２とを含んで構成される。
表示画面Ｄ１４０は、メモ表示Ｄ１４１と、表示停止ボタンＢＴ１４２とを含んで構成される。
【0124】
メモ表示Ｄ１４１は、表示情報記憶部６６３に記憶された不具合に対する作業員のメモであって、対象不具合のメタデータに含まれるメモをホログラム表示したものである。例えば、図１０の例では、“周囲も点検が必要。タイル浮きが激しい。錆が浮いている。”というメモが表示されている。
表示停止ボタンＢＴ１４２は、メモ表示部Ｄ１４１に表示されている作業員のメモのホログラム表示を停止し、図８（Ｃ）と同様のホログラム表示を行うことを指示するためのボタンである。ホログラム装置６のユーザのジェスチャーによって、ボタンＢＴ１４２の押下が入力される場合、表示処理部６７４は、メモ表示を中止し、図８（Ｃ）と同様のホログラムを表示させる。
表示停止ボタンＢＴ１４２は、メモ表示部Ｄ１４１に表示されている作業員のメモのホログラム表示を停止し、図８（Ｃ）と同様のホログラム表示を行うことを指示するためのボタンである。ホログラム装置６のユーザのジェスチャーによって、ボタンＢＴ１４２の押下が入力される場合、表示処理部６７４は、メモ表示を中止し、図８（Ｃ）と同様のホログラムを表示させる。
【0125】
次に、図１１を参照し、本実施形態に係るホログラム装置６の作業完了時の表示画面の一例について説明する。
図１１（Ａ）は、作業完了時に撮影を行うためのメッセージを表示する場合の表示画面の一例を示す。図１１（Ｂ）は、撮影を実際に行った場合の撮影情報を表示する場合の表示画面の一例を示す。図１１（Ｃ）は、不具合のメタデータが更新された場合の表示画面の一例を示す。
図１１（Ａ）は、作業完了時に撮影を行うためのメッセージを表示する場合の表示画面の一例を示す。図１１（Ｂ）は、撮影を実際に行った場合の撮影情報を表示する場合の表示画面の一例を示す。図１１（Ｃ）は、不具合のメタデータが更新された場合の表示画面の一例を示す。
【0126】
表示処理部６７４は、図８（Ｃ）の状態において、ボタンＢＴ１２５の押下を示すジェスチャーを示す入力情報が入力・撮影情報処理部６７２から行われた場合、図１１（Ａ）の表示画面Ｄ２００を表示させる。
表示画面Ｄ２００は、メッセージ表示Ｄ２０１と、撮影ボタンＢＴ２０２とを含んで構成される。
表示画面Ｄ２００は、メッセージ表示Ｄ２０１と、撮影ボタンＢＴ２０２とを含んで構成される。
【0127】
メッセージ表示Ｄ２０１は、作業結果の撮影の操作方法を示すメッセージのホログラム表示である。図１１（Ａ）の例では、“作業結果を撮影します（「Ｐｈｏｔｏ」で撮影）”と、撮影ボタンＢＴ２０２の押下をジェスチャーで行うことで、撮影が行われることを示す情報がホログラム表示されている。
撮影ボタンＢＴ２０２は、撮影部６２で撮影を行い、撮影された情報をホログラム表示することを指示するボタンである。ホログラム装置６を装着したユーザのジェスチャーによって、撮影ボタンＢＴ２０２の押下が入力される場合、入力・撮影情報処理部６７２は、撮影部６２から撮影された情報を取得し、表示処理部６７４に出力する。表示処理部６７４は、入力された情報に基づいて、例えば、図１１（Ｂ）のような表示情報を表示画面に表示させる。
撮影ボタンＢＴ２０２は、撮影部６２で撮影を行い、撮影された情報をホログラム表示することを指示するボタンである。ホログラム装置６を装着したユーザのジェスチャーによって、撮影ボタンＢＴ２０２の押下が入力される場合、入力・撮影情報処理部６７２は、撮影部６２から撮影された情報を取得し、表示処理部６７４に出力する。表示処理部６７４は、入力された情報に基づいて、例えば、図１１（Ｂ）のような表示情報を表示画面に表示させる。
【0128】
図１１（Ｂ）は、図１１（Ａ）において撮影ボタンＢＴ２０２の押下が入力された後、撮影部６２が撮影した情報を表示する場合の表示画面Ｄ２１０の一例を示す図である。
表示画面Ｄ２１０は、撮影情報表示Ｄ２１１と、再撮影を指示する再撮影ボタンＢＴ２１２と、撮影完了を指示する完了ボタンＢＴ２１３とを含んで構成される。
表示画面Ｄ２１０は、撮影情報表示Ｄ２１１と、再撮影を指示する再撮影ボタンＢＴ２１２と、撮影完了を指示する完了ボタンＢＴ２１３とを含んで構成される。
【0129】
撮影情報表示Ｄ２１１は、撮影部６２で撮影された情報をホログラム表示する。
再撮影ボタンＢＴ２１２は、撮影部６２で撮影され、撮影情報表示Ｄ２１１にホログラム表示される撮影情報を破棄し、再び撮影部６２で撮影を行い、撮影された情報をホログラム表示させることを指示するボタンをホログラム表示したものである。ホログラム装置６を装着したユーザのジェスチャーによって、再撮影ボタンＢＴ２１２の押下が入力される場合、入力・撮影情報処理部６７２は、先に撮影部６２から撮影された情報を破棄し、再度撮影部６２から撮影された情報を取得し、表示処理部６７４に出力する。表示処理部６７４は、入力された情報に基づいて、再び、図１１（Ｂ）のような表示情報を表示画面に表示させる。
完了ボタンＢＴ２１３は、撮影された情報を、対象不具合のメタデータとして保存し、不具合の重要度を更新し、作業完了のホログラムの表示を指示するボタンをホログラム表示したものである。ホログラム装置６を装着したユーザのジェスチャーによって、完了ボタンＢＴ２１３の押下が入力される場合、入力・撮影情報処理部６７２は、撮影部６２から撮影された情報を対象不具合のメタデータとして、表示情報記憶部６６３に記憶させる。また、入力・撮影情報処理部６７２は、不具合のメタデータのうち、重要度の項目を、作業完了を示す情報に更新し、表示情報記憶部６６３に記憶させる。入力・撮影情報処理部６７２は、表示情報記憶部６６３に上述した情報を記憶させると、更新完了の情報を表示処理部６７４に出力する。表示処理部６７４は、更新完了の情報に基づいて、作業完了のホログラムを表示部６５に表示させる。
再撮影ボタンＢＴ２１２は、撮影部６２で撮影され、撮影情報表示Ｄ２１１にホログラム表示される撮影情報を破棄し、再び撮影部６２で撮影を行い、撮影された情報をホログラム表示させることを指示するボタンをホログラム表示したものである。ホログラム装置６を装着したユーザのジェスチャーによって、再撮影ボタンＢＴ２１２の押下が入力される場合、入力・撮影情報処理部６７２は、先に撮影部６２から撮影された情報を破棄し、再度撮影部６２から撮影された情報を取得し、表示処理部６７４に出力する。表示処理部６７４は、入力された情報に基づいて、再び、図１１（Ｂ）のような表示情報を表示画面に表示させる。
完了ボタンＢＴ２１３は、撮影された情報を、対象不具合のメタデータとして保存し、不具合の重要度を更新し、作業完了のホログラムの表示を指示するボタンをホログラム表示したものである。ホログラム装置６を装着したユーザのジェスチャーによって、完了ボタンＢＴ２１３の押下が入力される場合、入力・撮影情報処理部６７２は、撮影部６２から撮影された情報を対象不具合のメタデータとして、表示情報記憶部６６３に記憶させる。また、入力・撮影情報処理部６７２は、不具合のメタデータのうち、重要度の項目を、作業完了を示す情報に更新し、表示情報記憶部６６３に記憶させる。入力・撮影情報処理部６７２は、表示情報記憶部６６３に上述した情報を記憶させると、更新完了の情報を表示処理部６７４に出力する。表示処理部６７４は、更新完了の情報に基づいて、作業完了のホログラムを表示部６５に表示させる。
【0130】
図１１（Ｃ）は、図１２（Ｂ）において、完了ボタンＢＴ２１３が押下された場合の、表示画面Ｄ２２０の一例を示す図である。
表示画面Ｄ２２０は、不具合位置、重要度、種類を示すホログラム表示Ｐ２２１、不具合のメタデータのホログラム表示Ｄ２２２、及び完了状態を示すホログラム表示Ｄ２２３を含んで構成される。
表示画面Ｄ２２０は、不具合位置、重要度、種類を示すホログラム表示Ｐ２２１、不具合のメタデータのホログラム表示Ｄ２２２、及び完了状態を示すホログラム表示Ｄ２２３を含んで構成される。
【0131】
ホログラム表示Ｐ２２１は、図８（Ｃ）のホログラム表示Ｐ１２１と同じ不具合を表示する。ホログラム表示Ｐ２２１は、修理が完了したため、ホログラム表示Ｐ１２１と異なる色のホログラムとして表示されている。ここでは、ホログラム表示Ｐ２２１は、修理完了を示す青色のホログラムが表示されている。
【0132】
ホログラム表示Ｄ２２２は、不具合のメタデータを表示するホログラムである。ホログラム表示Ｄ２２２に表示される情報は、図８（Ｃ）の表示情報Ｄ２２１と基本的に同じ情報であるが、図１１（Ｃ）の場合には、修理が完了しているので、不具合の種類と重要度については“タイル剥離：修理完了”と、修理が完了したことを示す情報が表示される。
【0133】
ホログラム表示Ｄ２２３は、不具合の完了状態を表示するホログラムである。図１１（Ｃ）の場合には、ホログラム表示Ｄ２２３には、“完了済み”と修理が完了したことを示す文字情報と、完了時の撮影情報であって、対象不具合のメタデータである撮影情報とがホログラム表示される。
なお、表示画面Ｄ２２０は、対象不具合が視点位置から３ｍ以内の場合の例であり、例えば、それより離れている場合には、図８（Ａ）、図８（Ｂ）に準じた表示画面を表示する。即ち、例えば、１０ｍ以上距離が離れている場合には、図８（Ａ）で示されるホログラム表示Ｐ１０２のホログラムが青色で示されるようであってもよい。
また、作業完了時の撮影に関する表示画面は上述したものに限られない。写真撮影を行わなくてもよいし、撮影を行った場合でも、ホログラム表示Ｄ２２３にホログラムとして表示しなくてもよい。
なお、表示画面Ｄ２２０は、対象不具合が視点位置から３ｍ以内の場合の例であり、例えば、それより離れている場合には、図８（Ａ）、図８（Ｂ）に準じた表示画面を表示する。即ち、例えば、１０ｍ以上距離が離れている場合には、図８（Ａ）で示されるホログラム表示Ｐ１０２のホログラムが青色で示されるようであってもよい。
また、作業完了時の撮影に関する表示画面は上述したものに限られない。写真撮影を行わなくてもよいし、撮影を行った場合でも、ホログラム表示Ｄ２２３にホログラムとして表示しなくてもよい。
【0134】
以上説明したように、本実施形態による情報表示システム１は、ホログラムを表示する表示部６５と、構造物９に関する特定の対象の位置を仮想空間に対応付けた仮想空間情報と、現実空間の前記構造物の情報を含む現実空間情報とに基づいて、特定の対象に関する対象情報をホログラムとして、現実空間の特定の対象の位置に重ね合わせて表示部６５に表示する表示処理部６７４を備える、情報表示システムである。
【0135】
これにより、本実施形態による情報表示システム１は、例えば、構造物の特定の対象の位置や特定の対象の状況などの対象情報を、構造物９に重ね合わせて表示することができる。そのため、本実施形態による情報表示システム１を利用するユーザは、例えば、構造物が存在する場所でホログラム装置６を装着するだけで、必要な情報を感覚的に把握することができ、現実空間の情報を容易に把握することができる。
【0136】
また、本実施形態では、上記の情報表示システム１において、仮想空間情報は、移動体が過去に取得した構造物９の情報に基づいて生成された構造物９の３次元モデルを仮想空間に対応付けた構造物情報を更に含み、表示処理部６７４は、現実空間情報と構造物情報とに基づいて、ホログラムの表示位置を決定する、ことを特徴とする。
これにより、本実施形態による情報表示システム１は、例えば、複雑な処理を行うことなく、ホログラム装置６を装着するだけで、対象情報を感覚的に把握することができ、現実空間の情報を容易に把握することができる。
これにより、本実施形態による情報表示システム１は、例えば、複雑な処理を行うことなく、ホログラム装置６を装着するだけで、対象情報を感覚的に把握することができ、現実空間の情報を容易に把握することができる。
【0137】
また、本実施形態では、上記の情報表示システム１において、入力部６３を更に備え、表示処理部６７４は、入力部６３から入力された情報に基づいて、表示位置の調整を行う、ことを特徴とする。
これにより、本実施形態による情報表示システム１は、例えば、表示される情報が現実空間の情報と一致していない場合でも、調整し一致して見える位置に表示させることができ、現実空間の情報を容易に把握することができる。
これにより、本実施形態による情報表示システム１は、例えば、表示される情報が現実空間の情報と一致していない場合でも、調整し一致して見える位置に表示させることができ、現実空間の情報を容易に把握することができる。
【0138】
また、本実施形態では、上記の情報表示システム１において、ホログラムは、対象情報に応じて表示態様が異なる、ことを特徴とする。
これにより、本実施形態による情報表示システム１は、例えば、特定の対象の近くにいる際に、特定の対象の詳細に関する情報を他の場所を見て確認しなくても、特定の対象に関する詳細情報を感覚的に把握することができ、現実空間の情報を容易に把握することができる。
これにより、本実施形態による情報表示システム１は、例えば、特定の対象の近くにいる際に、特定の対象の詳細に関する情報を他の場所を見て確認しなくても、特定の対象に関する詳細情報を感覚的に把握することができ、現実空間の情報を容易に把握することができる。
【0139】
また、本実施形態では、上記の情報表示システム１において、表示処理部６７４は、表示部６５の表示領域に関する情報と仮想空間情報に基づいて、表示領域に前記ホログラムが表示できない場合に、特定の対象が視界外の場合に、特定の対象の位置を示す指示情報を表示領域に表示する、ことを特徴とする。
これにより、本実施形態による情報表示システム１は、例えば、視界外に存在する特定の対象についても、その情報を感覚的に把握することができ、現実空間の情報を容易に把握することができる。
これにより、本実施形態による情報表示システム１は、例えば、視界外に存在する特定の対象についても、その情報を感覚的に把握することができ、現実空間の情報を容易に把握することができる。
【0140】
また、本実施形態では、上記の情報表示システム１において、表示部６５の位置情報を取得する取得処理部６７１を更に備え、表示処理部６７４は、位置情報と対象情報とに基づいて求められる、表示部６５から特定の対象までの距離及び方向に応じて、指示情報を異なる表示にする、ことを特徴とする。
これにより、本実施形態による情報表示システム１は、例えば、視界外など、距離感をつかみにくい状況においても、正確に特定の対象が存在する場所を把握することができ、現実空間の情報を容易に把握することができる。
これにより、本実施形態による情報表示システム１は、例えば、視界外など、距離感をつかみにくい状況においても、正確に特定の対象が存在する場所を把握することができ、現実空間の情報を容易に把握することができる。
【0141】
また、本実施形態では、上記の情報表示システム１において、表示処理部６７４は、対象情報に関連付けて距離を表示する、ことを特徴とする。
これにより、本実施形態による情報表示システム１は、例えば、視界内であっても、距離感をつかみにくい状況において、正確に特定の対象が存在する場所を把握することができ、現実空間の情報を容易に把握することができる。
これにより、本実施形態による情報表示システム１は、例えば、視界内であっても、距離感をつかみにくい状況において、正確に特定の対象が存在する場所を把握することができ、現実空間の情報を容易に把握することができる。
【0142】
また、本実施形態では、上記の情報表示システム１において、特定の対象の修理に関する修理情報を更に含み、表示処理部６７４は、距離が所定の距離以内である場合に、対象情報に関連付けて修理情報を表示する、ことを特徴とする。
これにより、本実施形態による情報表示システム１は、例えば、ユーザが特定の対象の修理を行う際に、修理方法などの情報を、特定の対象を見ながら把握することができ、現実空間の情報を容易に把握することができる。
これにより、本実施形態による情報表示システム１は、例えば、ユーザが特定の対象の修理を行う際に、修理方法などの情報を、特定の対象を見ながら把握することができ、現実空間の情報を容易に把握することができる。
【0143】
また、本実施形態では、上記の情報表示システム１において、特定の対象は不具合である、ことを特徴とする。
これにより、本実施形態による情報表示システム１は、例えば、インフラを支えるための構造物９の不具合について、該不具合を見ながら不具合の詳細情報を把握することができ、現実空間の情報を容易に把握することができる。
これにより、本実施形態による情報表示システム１は、例えば、インフラを支えるための構造物９の不具合について、該不具合を見ながら不具合の詳細情報を把握することができ、現実空間の情報を容易に把握することができる。
【0144】
また、本実施形態では、上記の情報表示システム１において、不具合は、電磁波の受信状況に関する不具合を含む、ことを特徴とする。
これにより、本実施形態による情報表示システム１は、例えば、インフラを支えるため様々な用途で用いられるが、通常目視することができない電磁波について、構造物９の近傍の空間における受信状況の不具合についても、現実空間を見ながら把握することができ、現実空間の情報を容易に把握することができる。
これにより、本実施形態による情報表示システム１は、例えば、インフラを支えるため様々な用途で用いられるが、通常目視することができない電磁波について、構造物９の近傍の空間における受信状況の不具合についても、現実空間を見ながら把握することができ、現実空間の情報を容易に把握することができる。
【0145】
［第２の実施形態］
次に、図面を参照しながら本発明の第２の実施形態について説明する。
本実施形態では、ドローンの操縦者がホログラム装置を装着し、予め定められた飛行予定に従って、ドローンを操縦する場合の変形例について説明する。
次に、図面を参照しながら本発明の第２の実施形態について説明する。
本実施形態では、ドローンの操縦者がホログラム装置を装着し、予め定められた飛行予定に従って、ドローンを操縦する場合の変形例について説明する。
【0146】
図１２は、本実施形態に係る情報表示システム１ａの一例を示す概要図である。情報表示システム１ａは、装置間で、例えば、構造物９の周辺でのドローン４の飛行予定の情報である飛行予定情報や実際の飛行情報である実飛行情報など情報の送受信を行う情報表示システム１ａである。
情報表示システム１ａは、処理装置２ａ、ＧＰＳ装置３、ドローン４（移動体の一例）、ドローン情報取得装置５、及び、ホログラム装置６ａを備える。なお、この図において、上述した図１と同一の構成には、同一の符号を付与して、ここでの説明を省略する。
ホログラム装置６ａは、ドローン４の飛行予定情報やドローン情報取得装置５が取得するドローン４の実飛行情報などを処理装置２ａから取得し、該情報をホログラムとして表示する。各装置の詳細については後述する。なお、本実施形態では、説明の都合上、図示を省略するが、情報表示システム１ａは、ＧＰＳ装置３と、ホログラム装置６ａとのそれぞれを複数備えることが可能である。
情報表示システム１ａは、処理装置２ａ、ＧＰＳ装置３、ドローン４（移動体の一例）、ドローン情報取得装置５、及び、ホログラム装置６ａを備える。なお、この図において、上述した図１と同一の構成には、同一の符号を付与して、ここでの説明を省略する。
ホログラム装置６ａは、ドローン４の飛行予定情報やドローン情報取得装置５が取得するドローン４の実飛行情報などを処理装置２ａから取得し、該情報をホログラムとして表示する。各装置の詳細については後述する。なお、本実施形態では、説明の都合上、図示を省略するが、情報表示システム１ａは、ＧＰＳ装置３と、ホログラム装置６ａとのそれぞれを複数備えることが可能である。
【0147】
また、処理装置２ａと、ＧＰＳ装置３と、ドローン４と、ドローン情報取得装置５と、ホログラム装置６ａとは、ネットワークＮＷを介して接続されており、ネットワークＮＷを介して互いに通信する。
【0148】
処理装置２ａは、例えば、サーバ装置である。処理装置２ａは、例えば、ＣＰＵや記憶装置を備える。処理装置２ａは、３次元モデルと、ドローン４の飛行予定情報と、ドローン４の実飛行情報とに基づいて、仮想空間に３次元モデルと飛行予定情報と実飛行情報とを投影する仮想空間投影処理を行う。また、処理装置２ａは、投影した情報である仮想空間情報と、飛行予定情報及び実飛行情報のメタデータと、ホログラム表示関連情報と、初期位置情報とを、ネットワークＮＷを介して、ホログラム装置６ａに送信する。また、処理装置２ａは、ドローン情報取得装置５が取得したドローン４の実飛行情報のメタデータを、ネットワークＮＷを介して、ドローン情報取得装置５から受信する。また、処理装置２ａは、ホログラム装置６ａにおける表示処理を開始する際の現実空間におけるホログラム装置６ａの初期位置情報を、ネットワークＮＷを介してＧＰＳ装置３に送信する。処理装置２ａの基本的な機能は、処理装置２と同様である。
【0149】
図１３は、本実施形態に係る処理装置２ａの一例を示すブロック図である。
処理装置２ａは、通信部２１、記憶部２２ａ、及び、処理部２３ａを備える。
処理装置２ａは、通信部２１、記憶部２２ａ、及び、処理部２３ａを備える。
【0150】
通信部２１ａは、有線ＬＡＮ通信、無線ＬＡＮ通信などを利用してネットワークＮＷに接続し、ネットワークＮＷを介して各種通信を行う。通信部２１ａの基本的な機能は、通信部２１と同様である。通信部２１ａは、例えば、ネットワークＮＷを介して、ＧＰＳ装置３、ドローン情報取得装置５及びホログラム装置６ａに接続し、ＧＰＳ装置３、ドローン情報取得装置５又はホログラム装置６ａとの間で、各種通信を行う。
【0151】
記憶部２２ａは、例えば、ＨＤＤ、フラッシュメモリ、ＥＥＰＲＯＭ、ＲＯＭ、またはＲＡＭなどを備え、ファームウェアやアプリケーションプログラムなど、処理装置２ａが備えるＣＰＵが実行するための各種プログラムやＣＰＵが実行した処理の結果などを記憶する。記憶部２２ａの基本的な機能は記憶部２２と同様である。
記憶部２２ａは、３次元モデル記憶部２２１、表示情報記憶部２２２ａ、ホログラム表示関連情報記憶部２２３ａ、仮想空間情報記憶部２２４ａ、及び初期位置情報記憶部２２５を備える。
記憶部２２ａは、３次元モデル記憶部２２１、表示情報記憶部２２２ａ、ホログラム表示関連情報記憶部２２３ａ、仮想空間情報記憶部２２４ａ、及び初期位置情報記憶部２２５を備える。
【0152】
表示情報記憶部２２２ａは、例えば、構造物９の周辺を飛行するドローン４の飛行予定の位置に関する飛行予定情報や、ドローン４の実際の飛行の位置に関する実飛行情報などを記憶する。
飛行予定情報は、ドローン４が飛行の開始（離陸）から終了（着陸）までに通過（経由）する特定の位置（以下、「飛行経由ポイント」とも称する）を識別する識別情報と、緯度、経度、高度の３次元情報と、経由順を示す情報（経由順情報の一例）と、飛行経由ポイントを説明する情報を含む。ドローン４は、飛行予定において、飛行経由ポイントを経由順に線分で結んだ折れ線を飛行予定経路として、飛行経由ポイントを経由しながら飛行を行うことが予定される。なお、飛行経由ポイントを直線的に移動する経路上に構造物９が存在し、直線状に移動することが不可能な場合、飛行予定情報は、構造物９を回避するような飛行経路を示す飛行経路情報を含んでもよい。
また、飛行予定情報は、ドローン４が飛行経由ポイントで撮影を行う場合、撮影に関する情報（撮影予定情報の一例）も含む。また、飛行予定情報は、ドローン４が飛行経由ポイントを通過したか否かを示す通過情報も含む。また、以降、飛行経由ポイントの経由順を示す情報、飛行経由ポイントを説明する情報、撮影に関する情報、及び、通過情報などを「飛行予定情報のメタデータ」とも称する。
表示情報記憶部２２２ａは、例えば、図３に示すように、飛行予定情報を記憶する。
飛行予定情報は、ドローン４が飛行の開始（離陸）から終了（着陸）までに通過（経由）する特定の位置（以下、「飛行経由ポイント」とも称する）を識別する識別情報と、緯度、経度、高度の３次元情報と、経由順を示す情報（経由順情報の一例）と、飛行経由ポイントを説明する情報を含む。ドローン４は、飛行予定において、飛行経由ポイントを経由順に線分で結んだ折れ線を飛行予定経路として、飛行経由ポイントを経由しながら飛行を行うことが予定される。なお、飛行経由ポイントを直線的に移動する経路上に構造物９が存在し、直線状に移動することが不可能な場合、飛行予定情報は、構造物９を回避するような飛行経路を示す飛行経路情報を含んでもよい。
また、飛行予定情報は、ドローン４が飛行経由ポイントで撮影を行う場合、撮影に関する情報（撮影予定情報の一例）も含む。また、飛行予定情報は、ドローン４が飛行経由ポイントを通過したか否かを示す通過情報も含む。また、以降、飛行経由ポイントの経由順を示す情報、飛行経由ポイントを説明する情報、撮影に関する情報、及び、通過情報などを「飛行予定情報のメタデータ」とも称する。
表示情報記憶部２２２ａは、例えば、図３に示すように、飛行予定情報を記憶する。
【0153】
図１４は、本実施形態に係る表示情報記憶部２２２ａの飛行予定情報のデータ例を示す図である。
図１４に示すように、表示情報記憶部２２２ａは、例えば、「ポイントＩＤ」と「ポイント名」と「緯度」と「経度」と「高度」と「通過」を対応付けて飛行予定情報を記憶する。「ポイントＩＤ」は、飛行経由ポイントを一意に識別する識別情報であり、またドローン４の飛行時の経由順を示す情報である。なお、経由順を示す情報は、ポイントＩＤとは異なる情報として記憶してもよい。「ポイント名」は各飛行経由ポイントを説明する情報を示す。例えば、ポイント名は撮影を行う飛行経由ポイントであることを示す情報を含む。「緯度」、「経度」、及び「高度」は、飛行経由ポイントの３次元情報を示し、それぞれ飛行経由ポイントの緯度、経度、高度を示す。「通過」は飛行経由ポイントを実際にドローン４が通過したか否かを示す情報である。
図１４に示す例では、「ポイントＩＤ」が“１”に対応する「ポイント名」は“離陸地点”であり、「緯度」は“３６．５５７００００００００００”であり、「経度」は“１４０．１５３６９９９９９９９９０”であり、「高度」は“２９．６００００００００００００”であり、「通過」は“〇”で、ドローン４が通過したことを示す。
図１４に示すように、表示情報記憶部２２２ａは、例えば、「ポイントＩＤ」と「ポイント名」と「緯度」と「経度」と「高度」と「通過」を対応付けて飛行予定情報を記憶する。「ポイントＩＤ」は、飛行経由ポイントを一意に識別する識別情報であり、またドローン４の飛行時の経由順を示す情報である。なお、経由順を示す情報は、ポイントＩＤとは異なる情報として記憶してもよい。「ポイント名」は各飛行経由ポイントを説明する情報を示す。例えば、ポイント名は撮影を行う飛行経由ポイントであることを示す情報を含む。「緯度」、「経度」、及び「高度」は、飛行経由ポイントの３次元情報を示し、それぞれ飛行経由ポイントの緯度、経度、高度を示す。「通過」は飛行経由ポイントを実際にドローン４が通過したか否かを示す情報である。
図１４に示す例では、「ポイントＩＤ」が“１”に対応する「ポイント名」は“離陸地点”であり、「緯度」は“３６．５５７００００００００００”であり、「経度」は“１４０．１５３６９９９９９９９９０”であり、「高度」は“２９．６００００００００００００”であり、「通過」は“〇”で、ドローン４が通過したことを示す。
【0154】
実飛行情報は、ドローン４が実際に飛行を行う場合にドローン情報取得装置５がドローン４から定期的に取得するドローン４の位置に関する各種情報を含む。実飛行情報は、例えば、ドローン４の飛行位置の情報を取得した取得時刻と、取得した飛行位置の緯度、経度、高度の３次元情報（移動体位置情報の一例）を含む。また、実飛行情報は、ドローン４のテレメトリ情報を含む。テレメトリ情報とは、ドローン４の初期位置からの高度、距離の情報、及び、ドローン４の速度情報を含む。また、実飛行情報は、ドローン４のバッテリ残量情報、ドローン操作上注意すべき情報であるアラート情報を含む。また、実飛行情報は、ドローン４が撮影を行う場合には、ドローン４の撮影部から撮影された動画像や静止画像などの撮影情報を含む。以下では、説明の簡単のため、ドローン４は、常に撮影部から動画像を撮影しており、所定の飛行経由ポイントでは、静止画像（撮影結果情報の一例）を撮影するものとする。また、以降ドローン４の飛行位置の３次元情報以外の全ての情報を「実飛行情報のメタデータ」とも称する。なお、ドローン４の撮影部が移動中に動画像ではなく、静止画像を撮影してもよいし、所定の飛行経由ポイントで静止画像でなく動画像を撮影してもよい。
【0155】
ホログラム表示関連情報記憶部２２３ａは、例えば、ホログラムを表示する場合の、表示するホログラムに関する情報であるホログラム表示関連情報を記憶する、ホログラム表示関連情報は、例えば、飛行予定情報及び実飛行情報をホログラム表示する場合の表示するホログラムに関する情報や、ホログラム装置６ａの操作に関する情報をホログラム表示する場合の表示するホログラムに関する情報である。
【0156】
仮想空間情報記憶部２２４ａは、後述する仮想空間投影処理によって、仮想空間に投影された構造物９の３次元モデルと飛行経由ポイントの３次元情報と実飛行情報の飛行位置（以降、「ドローン位置」とも称する）の３次元情報とを含む仮想空間情報を記憶する。
【0157】
処理部２３ａは、ＣＰＵなどを含むプロセッサであり、処理装置２ａの統括的な制御処理を行う。処理部２３ａの基本的な機能は、処理部２３と同様である。処理部２３ａは、例えば、３次元モデル記憶部２２１及び表示情報記憶部２２２ａから、それぞれ３次元モデル、飛行経由ポイントの３次元情報、及び、実飛行情報の飛行位置を取得し、３次元モデル上に飛行経由ポイントやドローン位置をマッピングする処理を行う。また、処理部２３ａは、例えば、マッピングした情報を仮想空間上に投影する仮想空間投影処理を行い、投影した仮想空間情報を仮想空間情報記憶部２２４ａに記憶させる。また、処理部２３ａは、例えば、仮想空間情報、及び、ホログラム表示関連情報を、通信部２１ａを介して、ホログラム装置６ａに送信する仮想空間情報転送処理を行う。また、処理部２３ａは、例えば、通信部２１ａを介して、ドローン情報取得装置５から、ドローン４の実飛行情報を受信する。また、処理部２３ａは、受信した情報を表示情報記憶部２２２ａに記憶させる。また、処理部２３ａは、受信した情報に基づいて各種処理を行い、処理した情報を表示情報記憶部２２２ａに記憶させる。また、処理部２３ａは、例えば、ホログラム装置６ａの初期位置情報を、通信部２１ａを介してＧＰＳ装置３やホログラム装置６ａに送信する。
処理部２３ａは、仮想空間投影部２３１ａと、転送処理部２３２ａと、表示情報取得部２３３ａと、実飛行情報処理部２３４とを備える。
処理部２３ａは、仮想空間投影部２３１ａと、転送処理部２３２ａと、表示情報取得部２３３ａと、実飛行情報処理部２３４とを備える。
【0158】
仮想空間投影部２３１ａは、３次元モデル上に飛行経由ポイントとドローン位置をマッピングし、マッピングした情報を仮想空間上に投影する。なお、マッピングするドローン位置は、後述する実飛行情報処理部２３４によってホログラムに表示することが示されたドローン位置である。仮想空間投影部２３１ａの基本的な機能は仮想空間投影部２３１と同様である。仮想空間投影部２３１ａは、３次元モデル記憶部２２１から、３次元モデルを読み出す。また、仮想空間投影部２３１ａは、表示情報記憶部２２２ａから、飛行経由ポイントとドローン位置とを読み出す。仮想空間投影部２３１ａは、読みだした情報に基づいて、３次元モデル上に、飛行経由ポイント及びドローン位置をマッピングする。仮想空間投影部２３１ａは、マップ済３次元モデルに基づいて、マップ済み３次元モデルの全ての点を包含することのできる仮想立方体を作成し、仮想立方体内にマップ済み３次元モデルを展開する展開処理を行う。仮想空間投影部２３１ａは、展開処理を行った情報を仮想空間情報として、仮想空間情報記憶部２２４ａに記憶させる。なお、仮想空間投影部２３１ａは、後述する実飛行情報処理部２３４によって、実飛行情報が更新されるたびに上述した処理を繰り返す。
【0159】
転送処理部２３２ａは、仮想空間情報、飛行予定情報のメタデータ、実飛行情報のメタデータ、ホログラム表示関連情報、及び初期位置情報をホログラム装置６ａに送信する処理を行う。転送処理部２３２ａの基本的な機能は転送処理部２３２と同様である。転送処理部２３２ａは、仮想空間情報記憶部２２４ａ、表示情報記憶部２２２ａ、ホログラム表示関連情報記憶部２２３ａ、初期位置情報記憶部２２５から、仮想空間情報、飛行予定情報のメタデータ、実飛行情報のメタデータ、ホログラム表示関連情報、及び初期位置情報を読み出し、読み出した情報を、通信部２１ａを介してホログラム装置６ａに送信する転送処理を行う。なお、転送処理部２３２ａは、仮想空間情報、飛行予定情報のメタデータ、及び、実飛行情報のメタデータが更新されるたびに、転送処理を行う。
また、転送処理部２３２ａは、例えば、初期位置情報記憶部２２５から読みだした初期位置情報を、通信部２１ａを介して、ＧＰＳ装置３及びホログラム装置６ａに送信する。
また、転送処理部２３２ａは、例えば、初期位置情報記憶部２２５から読みだした初期位置情報を、通信部２１ａを介して、ＧＰＳ装置３及びホログラム装置６ａに送信する。
【0160】
表示情報取得部２３３ａは、ドローン４の実飛行情報を、通信部２１ａを介してドローン情報取得装置５から受信する。表示情報取得部２３３ａは、取得した実飛行情報を、表示情報記憶部２２２ａに記憶させる。
【0161】
実飛行情報処理部２３４は、表示情報記憶部２２２ａから取得したドローン４の実飛行情報に基づいて、各種処理を行い、処理した情報を表示情報記憶部２２２ａに記憶させる。実飛行情報処理部２３４は、実飛行情報に含まれる取得時刻に基づいて、ドローン位置を示す情報のうち、ホログラム表示を行う情報を求める。表示情報記憶部２２２ａは、ドローン４の時刻と位置とを対応付けた情報を多数記憶するが、その全てについてホログラム表示を行うと現時点の位置を捉えにくくなる。そこで、最近のドローンの位置のみをホログラム表示することで、現時点の位置を捉えやすくなる。そこで、実飛行情報処理部２３４は、例えば、最新の取得時刻から所定の秒数だけ遡った時刻から、最新の取得時刻までに含まれる時刻のドローンの位置のみをホログラム表示する。実飛行情報処理部２３４は、表示情報記憶部２２２ａから過去の実飛行情報を読み出し、所定の時刻範囲に取得されたドローン位置を示す情報について、ホログラム表示することを示す情報を付加し、実飛行情報処理部２３４に記憶させる。
【0162】
また、実飛行情報処理部２３４は、例えば、取得した撮影情報に静止画像が含まれる場合には、表示情報記憶部２２２ａから飛行予定情報を読み出し、静止画像が取得された時刻のドローン位置の３次元情報と飛行予定情報とに基づいて、対応する飛行経由ポイントを決定する。実飛行情報処理部２３４は、決定した飛行経由ポイントと撮影情報とを対応付けて、実飛行情報のメタデータとして、表示情報記憶部２２２ａに記憶させる。
また、実飛行情報処理部２３４は、取得したドローン位置と、飛行経由ポイントとに基づいて、飛行経由ポイントをドローン４が通過したか否かを判定する。例えば、実飛行情報処理部２３４は、ドローン位置と飛行経由ポイントとの距離を算出し、算出した距離が所定の距離以内である場合、当該飛行経由ポイントを通過したと判定し、当該飛行経由ポイントの通過を示す情報を、飛行予定情報のメタデータとして表示情報記憶部２２２ａに記憶させる。
また、実飛行情報処理部２３４は、取得したドローン位置と、飛行経由ポイントとに基づいて、飛行経由ポイントをドローン４が通過したか否かを判定する。例えば、実飛行情報処理部２３４は、ドローン位置と飛行経由ポイントとの距離を算出し、算出した距離が所定の距離以内である場合、当該飛行経由ポイントを通過したと判定し、当該飛行経由ポイントの通過を示す情報を、飛行予定情報のメタデータとして表示情報記憶部２２２ａに記憶させる。
【0163】
また、実飛行情報処理部２３４は、取得したドローン位置と、飛行予定情報とに基づいて、飛行予定ルートの近傍をドローンが飛行しているか否かを判定する。飛行予定ルートとは、経由順が隣り合う飛行経由ポイント間を直線で結んだ場合の、直線を示す。実飛行情報処理部２３４は、飛行予定ルートとドローン位置との距離を計算し、所定の数値より大きいときは、飛行予定ルートを飛行していないと判定する。この場合、実飛行情報処理部２３４は、飛行予定ルートとドローン位置とに基づいて、どちらにドローンを操作すると飛行予定ルートに近づくかを求め、求めた情報をアラート情報として、表示情報記憶部２２２ａに記憶させる。
【0164】
ドローン４は、ホログラム装置６を装着するユーザが保持する図示せぬコントローラーによって操作される。ドローン４は、例えば、構造物９の周囲を飛行し、構造物９の動画像や静止画像を撮影する。ドローン４は、撮影部と、センサ部と、ＧＰＳ受信部と、通信部と、処理部とを少なくとも備える。
【0165】
撮影部は、例えば、イメージセンサを有し、動画像及び静止画像を撮影する。イメージセンサは、ＣＭＯＳイメージセンサ又はＣＣＤイメージセンサ等を用いることができる。撮影部は撮影した情報を処理部に出力する。
センサ部は、例えば、６軸センサを有し、ドローン４の移動、向き、回転に関する情報を検知する。６軸センサは、例えば、３軸の加速度センサと、３軸のジャイロセンサの組み合わせを用いることができる。また、６軸センサは、例えば、３軸の加速度センサと、東西南北を検出する地磁気センサの組み合わせを用いることもできる。センサ部は、検知した情報を、処理部に出力する。
ＧＰＳ受信部は、ＧＰＳ衛星などから、ドローン４の位置を示すＧＰＳ情報を受信し、受信したＧＰＳ情報を処理部に出力する。
センサ部は、例えば、６軸センサを有し、ドローン４の移動、向き、回転に関する情報を検知する。６軸センサは、例えば、３軸の加速度センサと、３軸のジャイロセンサの組み合わせを用いることができる。また、６軸センサは、例えば、３軸の加速度センサと、東西南北を検出する地磁気センサの組み合わせを用いることもできる。センサ部は、検知した情報を、処理部に出力する。
ＧＰＳ受信部は、ＧＰＳ衛星などから、ドローン４の位置を示すＧＰＳ情報を受信し、受信したＧＰＳ情報を処理部に出力する。
【0166】
通信部は、無線ＬＡＮ通信などを利用してネットワークＮＷに接続し、ネットワークＮＷを介して各種通信を行う。通信部は、例えば、ネットワークＮＷを介して、ドローン情報取得装置５に接続し、ドローン情報取得装置５との間で、各種通信を行う。また、通信部は、ホログラム装置６を装着するユーザが保持するコントローラーとの間で操作に関する情報の送受信を行う。
処理部は、ＣＰＵなどを含むプロセッサであり、ドローン４のホログラム装置６の統括的な制御処理を行う。処理部は、例えば、ドローン４の姿勢制御を行う。また、処理部は、撮影部、センサ部、ＧＰＳ受信部から入力された情報を、通信部を介して、ドローン情報取得装置５に定期的に送信する。
処理部は、ＣＰＵなどを含むプロセッサであり、ドローン４のホログラム装置６の統括的な制御処理を行う。処理部は、例えば、ドローン４の姿勢制御を行う。また、処理部は、撮影部、センサ部、ＧＰＳ受信部から入力された情報を、通信部を介して、ドローン情報取得装置５に定期的に送信する。
【0167】
ドローン情報取得装置５は、例えば、パーソナルコンピュータ、携帯電話、タブレット、スマートフォンなどである。ドローン情報取得装置５は、ドローン４から実飛行情報を取得する。ドローン情報取得装置５は、通信部と、時刻取得部と、処理部とを少なくとも備える。
通信部は、有線ＬＡＮ通信、無線ＬＡＮ通信などを利用してネットワークＮＷに接続し、ネットワークＮＷを介して各種通信を行う。通信部は、例えば、ネットワークＮＷを介して、処理装置２ａ及びドローン４に接続し、処理装置２ａ又はドローン４との間で、各種通信を行う。時刻取得部は、ドローン４から各種情報を取得した時刻情報を取得し、処理部に出力する。処理部は、ドローン４から通信部を介して取得した各種情報と、時刻取得部取得した時刻情報とに基づいて実飛行情報を作成し、通信部を介して、処理装置２ａに送信する。
通信部は、有線ＬＡＮ通信、無線ＬＡＮ通信などを利用してネットワークＮＷに接続し、ネットワークＮＷを介して各種通信を行う。通信部は、例えば、ネットワークＮＷを介して、処理装置２ａ及びドローン４に接続し、処理装置２ａ又はドローン４との間で、各種通信を行う。時刻取得部は、ドローン４から各種情報を取得した時刻情報を取得し、処理部に出力する。処理部は、ドローン４から通信部を介して取得した各種情報と、時刻取得部取得した時刻情報とに基づいて実飛行情報を作成し、通信部を介して、処理装置２ａに送信する。
【0168】
ホログラム装置６ａは、例えば、ホログラムを現実空間に重ねて表示可能なＨＭＤであり、基本的な機能は、ホログラム装置６と同様である。ホログラム装置６ａは、例えば、仮想空間情報、飛行予定情報のメタデータ、実飛行情報のメタデータ、ホログラム表示関連情報、及び初期位置情報を、ネットワークＮＷを介して、処理装置２から受信し、記憶部６６ａに記憶させる。また、ホログラム装置６ａは、受信した情報と、後述するセンサ部６４から取得する３次元情報とに基づいて、飛行予定情報及び実飛行情報をホログラムとして表示する表示処理を行う。
【0169】
図１５は、本実施形態に係るホログラム装置６ａの一例を示すブロック図である。
ホログラム装置６は、通信部６１、撮影部６２、入力部６３、センサ部６４、表示部６５ａ、記憶部６６ａ、及び処理部６７ａを備える。
ホログラム装置６は、通信部６１、撮影部６２、入力部６３、センサ部６４、表示部６５ａ、記憶部６６ａ、及び処理部６７ａを備える。
【0170】
表示部６５ａは、例えば、ホログラムディスプレイ装置などであり、各種情報をホログラムとして表示する。表示部６５ａの基本的な機能は表示部６５と同様である。表示部６５ａは、例えば、飛行予定情報や実飛行情報をホログラム表示する。
【0171】
記憶部６６ａは、例えば、ＨＤＤ、フラッシュメモリ、ＥＥＰＲＯＭ、ＲＯＭ、またはＲＡＭなどを備える。記憶部６６ａの基本的な機能は記憶部６６と同様である。
記憶部６６ａは、仮想空間情報記憶部６６１、視界情報記憶部６６２、及び、表示情報記憶部６６３ａを備える。
表示情報記憶部６６３ａは、飛行予定情報のメタデータ、実飛行情報のメタデータ、及びホログラム表示関連情報を記憶する。
記憶部６６ａは、仮想空間情報記憶部６６１、視界情報記憶部６６２、及び、表示情報記憶部６６３ａを備える。
表示情報記憶部６６３ａは、飛行予定情報のメタデータ、実飛行情報のメタデータ、及びホログラム表示関連情報を記憶する。
【0172】
処理部６７ａは、ＣＰＵなどを含むプロセッサである。処理部６７ａの基本的な機能は処理部６７と同様である。処理部６７と異なる機能として、処理部６７ａは、例えば、処理装置２ａから、通信部６１を介して、仮想空間情報、飛行予定情報のメタデータ、実飛行情報のメタデータ、及びホログラム表示関連情情報などを受信し、仮想空間情報記憶部６６１、表示情報記憶部６６３ａに記憶させる。また、記憶部６６ａに記憶された各種情報に基づいて、表示部６５ａにホログラムを表示させる。
処理部６７ａは、取得処理部６７１ａと、入力・撮影情報処理部６７２ａと、３次元情報処理部６７３と、表示処理部６７４ａとを備える。
処理部６７ａは、取得処理部６７１ａと、入力・撮影情報処理部６７２ａと、３次元情報処理部６７３と、表示処理部６７４ａとを備える。
【0173】
取得処理部６７１ａは、処理装置２ａ及びＧＰＳ装置３から、通信部２１ａを介して、各種情報を取得する。取得処理部６７１ａの基本的な機能は、取得処理部６７１と同様である。取得処理部６７１と異なる点として、取得処理部６７１ａは、例えば、飛行予定情報のメタデータ、実飛行情報のメタデータを、通信部６１を介して受信し、受信した情報を、表示情報記憶部６６３ａに記憶させる。
【0174】
入力・撮影情報処理部６７２ａは、撮影部６２及び入力部６３から、撮影した撮影情報及び入力情報を取得する。入力・撮影情報処理部６７２ａは、例えば、入力部６３からホログラム装置６ａを操作する入力情報を取得した場合、対応する操作を行うか、または対応する操作に基づいた情報を表示処理部６７４ａに出力する。また、入力・撮影情報処理部６７２ａは、例えば、ホログラム表示の調整を行う入力情報を取得した場合、取得した情報を、３次元情報処理部６７３に出力する。また、入力・撮影情報処理部６７２ａは、例えば、ＧＰＳ装置３のＧＰＳ情報の撮影情報を、撮影部６２から取得した場合、撮影情報から、ＧＰＳ情報を取得する。入力・撮影情報処理部６７２ａは、取得したＧＰＳ情報を視界情報記憶部６６２に記憶させる。
【0175】
表示処理部６７４ａは、記憶部６６ａに記憶される各種情報、及び入力・撮影情報処理部６７２ａから入力される情報に基づいて、表示部６５ａにホログラムを表示させるホログラム表示処理を行う。表示処理部６７４ａの基本的な機能は、表示処理部６７４と同様である。
【0176】
表示処理部６７４の機能と異なる点として、表示処理部６７４ａは、例えば、仮想空間内視界情報と仮想空間情報とに基づいて、表示部６５ａにホログラム表示する飛行経由ポイント及びドローン位置を決定する。ホログラム表示する飛行経由ポイントは、仮想空間の視野の範囲内に含まれる飛行予定情報である。また、ホログラム表示するドローン位置は、実飛行情報処理部２３４によって表示することが決定されたドローン位置のうち、仮想空間の視野の範囲内に含まれるドローン位置である。また、表示処理部６７４ａは、飛行予定情報のメタデータのうち、表示する飛行経由ポイントに関する飛行予定情報のメタデータを表示部６５に表示する表示情報として決定する。また、表示処理部６７４ａは、実飛行情報のメタデータのうち、ホログラム表示するドローン位置に関する実飛行情報のメタデータを表示情報として決定する。
【0177】
また、表示処理部６７４ａは、例えば、仮想空間情報と視点情報とに基づいて、ホログラム表示する飛行予定情報に含まれる飛行経由ポイント毎に、視点位置からの距離と視点方向からの方向を算出し、ホログラムを表示する表示位置を決定する。
【0178】
また、表示処理部６７４ａは、例えば、視界内の飛行予定ルートを表示情報として決定する。表示処理部６７４ａは、飛行経由ポイントと視点位置とに基づいて、視界内に存在する飛行予定ルートをドローン４の飛行予定ルートのホログラムを表示する位置として決定する。この時、一方の飛行経由ポイントが仮想空間の視野の範囲外である場合、表示処理部６７４ａは、飛行経由ポイントを結ぶ線分（飛行予定ルート）のうち、視野の範囲内に存在する線分をホログラム表示する位置として決定する。
【0179】
また、表示処理部６７４ａは、例えば、仮想空間情報と視点情報とに基づいて表示するドローン位置情報に含まれるドローン位置毎に、視点位置からの距離と方向を算出し、ホログラムを表示する表示位置を決定する。
【0180】
また、表示処理部６７４ａは、例えば、実飛行情報処理部２３４によって表示することが決定されたドローン位置に基づいて、過去のドローン位置の間を結ぶ線分を、ドローン４の飛行軌跡（移動体移動情報の一例）とし、飛行軌跡を表示情報として決定する。この時、一方のドローン位置が仮想空間の視界外に存在する場合、表示処理部６７４ａは、ドローン位置を結ぶ線分（飛行軌跡）のうち、視界内に存在する線分を、ホログラム表示する飛行軌跡の位置として決定する。
【0181】
また、表示処理部６７４ａは、例えば、表示情報記憶部６６３からドローン４のテレメトリ情報、バッテリ残量情報、アラート情報、動画像情報を読み出し、表示情報として決定する。
また、表示処理部６７４ａは、ホログラム装置６ａの操作に関する情報が入力・撮影情報処理部６７２ａから入力された場合、操作を表示するホログラムに関する情報を記憶部６６ａから読み出し、表示情報を取得する。
また、表示処理部６７４ａは、ホログラム装置６ａの操作に関する情報が入力・撮影情報処理部６７２ａから入力された場合、操作を表示するホログラムに関する情報を記憶部６６ａから読み出し、表示情報を取得する。
【0182】
また、表示処理部６７４は、表示情報記憶部６６３から、以上の処理で決定した表示情報をホログラム表示するためのホログラム表示情報を読み出し、表示情報と、読み出したホログラム表示情報とに基づいて、表示するホログラムを決定する。
表示処理部６７４ａは、例えば、表示する飛行予定情報の飛行経由ポイントと、ホログラム表示関連情報とを参照し、飛行経由ポイントを表示するホログラムの色、形状、大きさなどの表示方式に関する情報を取得し、上述した表示位置の情報と合わせて表示するホログラムを決定する。
表示処理部６７４ａは、例えば、表示する飛行予定情報の飛行経由ポイントと、ホログラム表示関連情報とを参照し、飛行経由ポイントを表示するホログラムの色、形状、大きさなどの表示方式に関する情報を取得し、上述した表示位置の情報と合わせて表示するホログラムを決定する。
【0183】
また、表示処理部６７４ａは、例えば、表示する飛行予定ルートと、ホログラム表示関連情報とに基づいて、飛行予定ルートを表示する線状のホログラムの色、形状、大きさなどの表示方式に関する情報を取得し、上述した表示位置の情報と合わせて、表示するホログラムを決定する。飛行予定ルートを示すホログラムの線の太さは、視点位置から飛行経由ポイントまでの距離に応じて異なるようなものであってもよい。このとき、表示処理部６７４ａは、表示するホログラムを、例えば、無限遠方の線の太さが０（点状）になるように線の太さを変化するようなホログラムとしてもよい。また、飛行予定ルートを示すホログラムの形状は線状でなくともよい。例えば、ホログラムの形状は点線、破線、矢印、又はこれらの組み合わせなどであってもよい。
【0184】
また、表示処理部６７４ａは、表示する実飛行情報のドローン位置と、ホログラム表示関連情報とを参照し、ドローン位置を表示するホログラムの色、形状、大きさなどの表示方式に関する情報を取得し、上述した表示位置の情報と合わせて、表示するホログラムを決定する。なお、ドローン位置を表示するホログラムは、飛行経由ポイントを示すホログラムと区別がつくホログラムとする。例えば、両者を表すホログラムは、色、形状、大きさなどが異なるようにする。
【0185】
また、表示処理部６７４ａは、例えば、ホログラム表示関連情報とドローン位置とに基づいて、飛行軌跡を表示するホログラムの色、形状、大きさなどの表示方式に関する情報を取得する。飛行軌跡を示すホログラムの線の太さは、視点位置からドローン位置までの距離に応じて異なるようなものであってもよい。また、線の太さは、例えば、無限遠方の線の太さが０（点状）になるように線の太さが変化するようなものであってもよい。また、実飛行ルートを示すホログラムの形状は線状でなくともよい。例えば、ホログラムの形状は点線、破線、矢印、又はこれらの組み合わせなどであってもよい。表示処理部６７４ａは、取得した表示方式に関する情報と上述した表示位置の情報とに基づいて、表示するホログラムを決定する。
【0186】
また、表示処理部６７４ａは、例えば、ホログラム表示関連情報と、操作に関する表示情報とに基づいて、操作に関する表示情報を表示するホログラムを決定する。
【0187】
また、表示処理部６７４ａは、例えば、上述した方法で決定したホログラムを表示部６５ａに表示させる。
【0188】
次に、図面を参照して、本実施形態に係る情報表示システム１ａの動作について説明する。
なお、情報表示システム１ａの仮想空間投影処理については、基本的に図５を用いて説明した情報表示システム１の仮想空間投影処理と同様である。情報表示システム１の処理と異なる点は、仮想空間に投影する情報が、３次元モデルと、飛行予定情報と、実飛行情報とである点と、ホログラム装置６ａに送信する情報が、仮想空間情報、飛行予定情報のメタデータ、実飛行情報のメタデータ、ホログラム表示関連情報、及び、初期位置情報である点が異なる。それ以外の点については、情報表示システム１と同様であるので、ここでは説明を省略する。
また、情報表示システム１ａの表示処理における表示位置の調整までの処理については、図６を用いて説明した情報表示システム１の処理と同様であるので、ここでは説明を省略し、定期的に行われるホログラム表示更新処理（図６のステップＳ２０７）について、以降説明する。
なお、情報表示システム１ａの仮想空間投影処理については、基本的に図５を用いて説明した情報表示システム１の仮想空間投影処理と同様である。情報表示システム１の処理と異なる点は、仮想空間に投影する情報が、３次元モデルと、飛行予定情報と、実飛行情報とである点と、ホログラム装置６ａに送信する情報が、仮想空間情報、飛行予定情報のメタデータ、実飛行情報のメタデータ、ホログラム表示関連情報、及び、初期位置情報である点が異なる。それ以外の点については、情報表示システム１と同様であるので、ここでは説明を省略する。
また、情報表示システム１ａの表示処理における表示位置の調整までの処理については、図６を用いて説明した情報表示システム１の処理と同様であるので、ここでは説明を省略し、定期的に行われるホログラム表示更新処理（図６のステップＳ２０７）について、以降説明する。
【0189】
図１６は、本実施形態に係るホログラム表示更新処理の一例を示すフローチャートである。
【0190】
まず、３次元情報処理部６７３は、センサ部６４から、センサ情報を取得する（ステップＳ４０１）。取得すると、３次元情報処理部６７３は、処理をステップＳ４０２に進める。
【0191】
続いて、３次元情報処理部６７３は、取得したセンサ情報に基づいて、視点位置を更新する処理を行う（ステップＳ４０２）。視点位置を更新する処理は、図７のステップＳ３０２と同様であるので説明を省略する。処理部６７ａは、視点位置の更新処理が終了すると、処理をステップＳ４０３に進める。
【0192】
続いて、表示処理部６７４ａは、表示処理を行う飛行予定情報、実飛行情報、操作情報を決定する（ステップＳ４０３）。まず、表示処理部６７４ａは、視界情報記憶部６６２から視界情報を取得する。また、表示処理部６７４ａは、仮想空間情報記憶部６６１及び表示情報記憶部６６３ａから、飛行予定情報、ドローン位置情報を取得する。表示処理部６７４ａは、視界情報と飛行予定情報とに基づいて、視界内に含まれる飛行予定情報を求める。また、表示処理部６７４ａは、視界情報とドローン位置情報とに基づいて、視界内に含まれるドローン位置を求める。また、表示処理部６７４ａは、表示情報記憶部６６３ａから、テレメトリ情報、バッテリ残量情報、アラート情報を読み出す。また、表示処理部６７４ａは、視界情報と最新のドローン位置情報とに基づいて、視点位置からのドローンの方向を算出する。また、表示処理部６７４ａは、表示情報記憶部６６３ａから、ドローン４が撮影した動画像、静止画像を取得する。また、表示処理部６７４ａは、入力・撮影情報処理部６７２ａから、ホログラム装置６ａの操作を行う入力情報が入力された場合、入力された情報に対応する表示情報を記憶部６６ａから読み出す。表示処理部６７４ａは、表示する情報を決定すると、処理をステップＳ４０４に進める。
【0193】
続いて、表示処理部６７４ａは、表示情報記憶部６６３ａを参照し、表示情報毎に表示するホログラムの表示位置を算出する（ステップＳ４０４）。表示処理部６７４ａは、飛行予定情報や、ドローン位置情報、飛行軌跡、飛行経由ポイントで撮影された静止画像について、ホログラムを表示する位置を算出し、処理をステップＳ４０５に進める。なお、テレメトリ情報、バッテリ残量情報、アラート情報、飛行経由ポイント以外での撮影情報については、表示位置が固定されているので、この処理を行わず、表示処理部６７４ａは処理をステップＳ４０５に進める。
【0194】
続いて、表示処理部６７４ａは、表示情報記憶部６６３ａからホログラム表示関連情報を読み出し、読み出した情報と表示情報とに基づいて、表示部６５に表示するホログラムを決定する（ステップＳ４０５）。
【0195】
表示処理部６７４ａは、以上の処理で決定したホログラムを、表示部６５ａに表示させ、ホログラム表示更新処理を終了する（ステップＳ４０６）。
【0196】
次に、ステップＳ４０６で、表示処理部６７４ａが表示部６５ａに表示させるホログラムの例を、表示部６５ａの表示画面の図を参照して説明する。
【0197】
まず、図１７を参照して、本実施形態に係るホログラム装置６ａの表示画面の一例について説明する。
図１７は、本実施形態に係るホログラム装置６ａの表示画面の一例を示す図である。図１７は、ドローン４が離陸する前の時点における、表示部６５ａの表示画面Ｄ３００の一例を示す図である。
表示画面Ｄ３００は、飛行経由ポイントに関するホログラム表示Ｄ３０１、飛行予定ルートに関するホログラム表示Ｌ３０２、バッテリ残量に関するホログラム表示Ｄ３０３、アラート情報に関するホログラム表示Ｄ３０４、テレメトリ情報に関するホログラム表示Ｄ３０５、動画情報に関するホログラム表示Ｄ３０６、及び、方向情報に関するホログラム表示Ｄ３０７を含んで構成される。
図１７は、本実施形態に係るホログラム装置６ａの表示画面の一例を示す図である。図１７は、ドローン４が離陸する前の時点における、表示部６５ａの表示画面Ｄ３００の一例を示す図である。
表示画面Ｄ３００は、飛行経由ポイントに関するホログラム表示Ｄ３０１、飛行予定ルートに関するホログラム表示Ｌ３０２、バッテリ残量に関するホログラム表示Ｄ３０３、アラート情報に関するホログラム表示Ｄ３０４、テレメトリ情報に関するホログラム表示Ｄ３０５、動画情報に関するホログラム表示Ｄ３０６、及び、方向情報に関するホログラム表示Ｄ３０７を含んで構成される。
【0198】
ホログラム表示Ｄ３０１は、飛行経由ポイントに関するホログラム表示である。ホログラム表示Ｄ３０１は、飛行経由ポイントを示すホログラムの近傍に表示するホログラムであって、飛行経由ポイントの名称、経由順を示す情報などのホログラムを含む。図１７の例では、ホログラム表示Ｄ３０１は、飛行経由ポイントを示す球体のホログラムと、その近傍に“１：離陸地点”と経由順と、飛行経由ポイントの名称を示す吹き出し状のホログラムを表示する。
【0199】
ホログラム表示Ｌ３０２は、飛行予定ルートに関するホログラム表示である。図１７の例では、飛行予定ルートのホログラムの線の太さは、飛行経由ポイントの距離に応じて異なるように表示される。この場合、ホログラム表示Ｌ３０２に表示されるホログラムは、“１：離陸地点”の名称が示される飛行経由ポイントよりも、“２：経由点α”の名称が示される飛行経由ポイントの方が視点位置から遠くにあることを示す。
【0200】
ホログラム表示Ｄ３０３は、ドローン４のバッテリ残量をホログラム表示する。図１７の例では、バッテリ残量が９９％であることを示す情報がホログラム表示される。また、ホログラム表示Ｄ３０３は、ホログラム装置６ａを装着したユーザがドローンの位置の視認を妨害しないように、表示画面Ｄ３００の端に表示される。図１７の例では、ホログラム表示Ｄ３０３は表示画面Ｄ３００の画面左上部に位置する。
【0201】
ホログラム表示Ｄ３０４は、ドローン４のアラート情報をホログラム表示する。図１７の例では、ドローン４のＧＰＳ情報取得部が、ＧＰＳ衛星の不足のためにＧＰＳ情報を十全に取得できていないことを示す情報を、ホログラム表示Ｄ３０４は“ＧＰＳ衛星が不足”という文字情報としてホログラム表示する。また、ホログラム表示Ｄ３０４は、ホログラム装置６ａを装着したユーザがドローンの位置の視認を妨害しないように、表示画面Ｄ３００の端に表示される。図１７の例では、ホログラム表示Ｄ３０４は表示画面Ｄ３００の画面上部に位置する。
【0202】
ホログラム表示Ｄ３０５は、ドローン４のテレメトリ情報を表示する。図１７の例では、ドローンの初期位置（離陸地点）からの水平方向と垂直方向との移動距離と、ドローンの現在の水平方向と垂直方向との速度とを表示している。また、ホログラム表示Ｄ３０５は、ホログラム装置６ａを装着したユーザがドローンの位置の視認を妨害しないように、表示画面Ｄ３００の端に表示される。図１７の例では、ホログラム表示Ｄ３０５は表示画面Ｄ３００の画面下部に位置する。
【0203】
ホログラム表示Ｄ３０６は、ドローン４が撮影している動画情報を表示する。また、ホログラム表示Ｄ３０６は、ホログラム装置６ａを装着したユーザがドローンの位置の視認を妨害しないように、表示画面Ｄ３００の端に表示される。図１７の例では、ホログラム表示Ｄ３０６は表示画面Ｄ３００の画面右部に位置する。
【0204】
ホログラム表示Ｄ３０７は、視点位置から見た場合のドローン４が存在する方向に関する情報を表示する。図１７の例では、ドローンは離陸地点にいるので、その方向を示す情報が表示されている。また、ホログラム表示Ｄ３０７は、ホログラム装置６ａを装着したユーザがドローンの位置の視認を妨害しないように、表示画面Ｄ３００の端に表示される。図１７の例では、ホログラム表示Ｄ３０７は表示画面Ｄ３００の画面右下部に位置する。
【0205】
次に、図１８を参照して、本実施形態に係るホログラム装置６ａの表示画面の別の一例について説明する。
図１８は、本実施形態に係るホログラム装置６ａの表示画面の別の一例を示す図である。図１８は、ドローン４が飛行中の時点における、表示部６５ａの表示画面Ｄ４００の一例を示す図である。ここでは、図１７における表示画面Ｄ３００と同様のホログラム表示については説明を省略し、異なる点について、以下説明する。
図１８は、本実施形態に係るホログラム装置６ａの表示画面の別の一例を示す図である。図１８は、ドローン４が飛行中の時点における、表示部６５ａの表示画面Ｄ４００の一例を示す図である。ここでは、図１７における表示画面Ｄ３００と同様のホログラム表示については説明を省略し、異なる点について、以下説明する。
【0206】
表示画面Ｄ４００は、ドローン位置に関するホログラム表示Ｄ４０１、通過済経由ポイントに関するホログラム表示Ｄ４０２、及び、経由ポイントでの撮影情報に関するホログラム表示Ｄ４０３を含んで構成される。
【0207】
ホログラム表示Ｄ４０１は、直近のドローンの位置を示す情報を表示する。ホログラム表示Ｄ４０１は、複数のドローン位置を表示するホログラムと、その間の飛行軌跡を示すホログラムとを含む。図１８の例では、表示部６５ａは、最新のドローン位置と、それ以前の３つの時間におけるドローン位置の情報をホログラム表示する。また、表示部６５ａは、飛行軌跡を複数の矢印によってホログラム表示する。また、図１８の例では、表示部６５ａは、ドローン位置、及び飛行軌跡について、飛行予定情報のホログラム表示と異なる色で表示する。
【0208】
ホログラム表示Ｄ４０２は、ドローン４が近傍を通過した飛行経由ポイントを表示する。図１８の例では、ホログラム表示Ｄ４０２は、図１７における飛行経由ポイントに関するホログラム表示Ｄ３０１で表示される表示情報と同様の情報を表示するホログラムを含むが、ホログラム表示Ｄ３０１とは表示するホログラムの色が異なる。
【0209】
ホログラム表示Ｄ４０３は、飛行経由ポイントが撮影ポイントである場合に、ドローン４が撮影した情報を、飛行経由ポイントの近傍に表示する。図１８の例では、ホログラム表示Ｄ４０３は、ホログラム表示Ｄ４０２と同様の表示に加えて、ドローン４が撮影した情報である写真を経由ポイント近傍にホログラム表示する。
【0210】
なお、図１７、図１８の例で説明したホログラムの表示位置、表示方法については、上述した位置、方法に限られない。例えば、テレメトリ情報、バッテリ残量情報、アラート情報、動画情報、ドローン４の方向を示す情報などの各種情報を表示する位置は、他の位置や他の表示方法であってもよい。また、通常時には表示せず、ホログラム装置６ａを装着したユーザのジェスチャーによって表示する情報を受け入れた場合にのみ表示するようであってもよい。また、バッテリ残量情報は、表示する必要がある場合にのみ表示するようであってもよい。表示する必要がある場合とは、例えば、バッテリ残量が所定の閾値以下である場合などである。
【0211】
以上説明したように、本実施形態による情報表示システム１ａは、表示部６５ａと、移動体の実際の飛行の位置に関する実飛行情報を取得する取得処理部６７１ａと、移動体の飛行予定の位置に関する飛行予定情報、及び実飛行情報を仮想空間に対応付けた仮想空間情報と、現実空間の構造物９の情報を含む現実空間情報とに基づいて、飛行予定情報及び実飛行情報を、現実空間の移動体の飛行予定の位置及び現実空間の実際の飛行の位置にそれぞれ重ね合わせて、ホログラムとして表示部６５ａに表示する表示処理部６７４ａ、を備える。
【0212】
これにより、本実施形態による情報表示システム１ａは、例えば、移動体の操縦者が、その操縦に関する情報を、移動体を視認しながら把握することができ、現実空間の情報を容易に把握することができる。
【0213】
また、本実施形態による情報表示システム１ａは、仮想空間情報は、移動体が過去に取得した構造物９の情報に基づいて生成された構造物９の３次元モデルを仮想空間に対応付けた構造物情報を更に含み、表示処理部６７４ａは、現実空間情報と構造物情報とに基づいて、ホログラムの表示位置を決定することを特徴とする。
これにより、本実施形態による情報表示システム１ａのユーザは、例えば、複雑な処理を行うことなく、ホログラム装置６を装着するだけで、移動体の飛行に関する情報を感覚的に把握することができ、現実空間の情報を容易に把握することができる。
これにより、本実施形態による情報表示システム１ａのユーザは、例えば、複雑な処理を行うことなく、ホログラム装置６を装着するだけで、移動体の飛行に関する情報を感覚的に把握することができ、現実空間の情報を容易に把握することができる。
【0214】
また、本実施形態による情報表示システム１ａは、入力部６３を更に備え、表示処理部６７４ａは、入力部６３から入力された情報に基づいて、表示位置の調整を行うことを特徴とする。
これにより、本実施形態による情報表示システム１ａのユーザは、例えば、表示される情報が現実空間の情報と一致していない場合でも、調整し一致して見える位置に表示させることができ、現実空間の情報を容易に把握することができる。
これにより、本実施形態による情報表示システム１ａのユーザは、例えば、表示される情報が現実空間の情報と一致していない場合でも、調整し一致して見える位置に表示させることができ、現実空間の情報を容易に把握することができる。
【0215】
また、本実施形態による情報表示システム１ａは、飛行予定情報は、移動体が経由する位置である飛行経由ポイントに関する飛行経由情報を含み、表示処理部は、飛行経由ポイントをホログラムとして表示する、ことを特徴とする。
これにより、本実施形態による情報表示システム１ａのユーザは、例えば、移動体をどの位置を経由させて飛行させればよいかを、移動体を見ながら感覚的に把握することができ、現実空間の情報を容易に把握することができる。
これにより、本実施形態による情報表示システム１ａのユーザは、例えば、移動体をどの位置を経由させて飛行させればよいかを、移動体を見ながら感覚的に把握することができ、現実空間の情報を容易に把握することができる。
【0216】
また、本実施形態による情報表示システム１ａは、飛行経由情報は、飛行経由ポイントの経由順に関する経由順情報を含み、表示処理部６７４ａは、飛行経由ポイントに関連付けて経由順情報をホログラムとして表示する、ことを特徴とする。
これにより、本実施形態による情報表示システム１ａのユーザは、例えば、移動体が通過しなければならない地点を、移動体を見ながら感覚的に把握することができ、現実空間の情報を容易に把握することができる。
これにより、本実施形態による情報表示システム１ａのユーザは、例えば、移動体が通過しなければならない地点を、移動体を見ながら感覚的に把握することができ、現実空間の情報を容易に把握することができる。
【0217】
また、本実施形態による情報表示システム１ａは、表示処理部６７４ａは、飛行経由情報及び実飛行情報に基づいて、移動体が飛行経由ポイントの近傍を通過したか否かを判定する判定処理を行い、表示処理部６７４ａは、判定処理の結果、移動体が飛行経由ポイントの近傍を通過した場合、当該飛行経由ポイントを、移動体が飛行経由ポイントの近傍を通過していない場合と異なるホログラムとして表示する、ことを特徴とする。
これにより、本実施形態による情報表示システム１ａのユーザは、例えば、移動体の飛行予定において経由すべき飛行経由ポイントのうち、どのポイントをすでに飛行したのかを、移動体を見ながら感覚的に把握することができ、現実空間の情報を容易に把握することができる。
これにより、本実施形態による情報表示システム１ａのユーザは、例えば、移動体の飛行予定において経由すべき飛行経由ポイントのうち、どのポイントをすでに飛行したのかを、移動体を見ながら感覚的に把握することができ、現実空間の情報を容易に把握することができる。
【0218】
また、本実施形態による情報表示システム１ａは、飛行予定情報は、移動体の飛行予定経路に関する飛行予定経路情報を含み、表示処理部６７４ａは、飛行予定経路情報をホログラムとして表示する、ことを特徴とする。
これにより、本実施形態による情報表示システム１ａのユーザは、例えば、移動体の飛行経由ポイントがどのような理由で飛行経由するべきなのかを、移動体を見ながら感覚的に把握することができ、現実空間の情報を容易に把握することができる。
これにより、本実施形態による情報表示システム１ａのユーザは、例えば、移動体の飛行経由ポイントがどのような理由で飛行経由するべきなのかを、移動体を見ながら感覚的に把握することができ、現実空間の情報を容易に把握することができる。
【0219】
また、本実施形態による情報表示システム１ａは、移動体の一定時間毎の位置に関する移動体位置情報を含み、表示処理部６７４ａは、移動体位置情報をホログラムとして表示する、ことを特徴とする。
これにより、本実施形態による情報表示システム１ａのユーザは、例えば、移動体が現時点の近傍で視界のどのあたりを飛行しているのかを、移動体を見ながら感覚的に把握することができ、現実空間の情報を容易に把握することができる。
これにより、本実施形態による情報表示システム１ａのユーザは、例えば、移動体が現時点の近傍で視界のどのあたりを飛行しているのかを、移動体を見ながら感覚的に把握することができ、現実空間の情報を容易に把握することができる。
【0220】
また、本実施形態による情報表示システム１ａは、表示処理部６７４ａは、前記移動体位置情報に基づく移動体の一定時間毎の移動に関する移動体移動情報をホログラムとして表示する、ことを特徴とする。
これにより、本実施形態による情報表示システム１ａのユーザは、例えば、移動体が現時点の近傍でどのように飛行しているのかを、移動体を見ながら感覚的に把握することができ、現実空間の情報を容易に把握することができる。
これにより、本実施形態による情報表示システム１ａのユーザは、例えば、移動体が現時点の近傍でどのように飛行しているのかを、移動体を見ながら感覚的に把握することができ、現実空間の情報を容易に把握することができる。
【0221】
また、本実施形態による情報表示システム１ａは、移動体移動情報を破線状のホログラムとして表示する、ことを特徴とする。
これにより、本実施形態による情報表示システム１ａのユーザは、例えば、移動体がホログラムによって見えづらくならないようにすることができ、現実空間の情報を容易に把握することができる。
これにより、本実施形態による情報表示システム１ａのユーザは、例えば、移動体がホログラムによって見えづらくならないようにすることができ、現実空間の情報を容易に把握することができる。
【0222】
また、本実施形態による情報表示システム１ａは、移動体の移動の方向を示す情報をホログラムとして表示する、ことを特徴とする。
これにより、本実施形態による情報表示システム１ａのユーザは、例えば、移動体がどの方向に移動しているかを、移動体を見ながら感覚的に把握することができ、現実空間の情報を容易に把握することができる。
これにより、本実施形態による情報表示システム１ａのユーザは、例えば、移動体がどの方向に移動しているかを、移動体を見ながら感覚的に把握することができ、現実空間の情報を容易に把握することができる。
【0223】
また、本実施形態による情報表示システム１ａは、飛行予定情報は、撮影を行う移動体の撮影の予定に関する撮影予定情報を含み、実飛行情報は、移動体の撮影の結果に関する撮影結果情報を含む、ことを特徴とする。
これにより、本実施形態による情報表示システム１ａのユーザは、例えば、移動体がどのような撮影を行ったかを、移動体を見ながら感覚的に把握することができ、現実空間の情報を容易に把握することができる。
これにより、本実施形態による情報表示システム１ａのユーザは、例えば、移動体がどのような撮影を行ったかを、移動体を見ながら感覚的に把握することができ、現実空間の情報を容易に把握することができる。
【0224】
また、本実施形態による情報表示システム１ａは、飛行予定情報は、移動体の過去の実飛行情報に基づいて決定される、ことを特徴とする。
これにより、本実施形態による情報表示システム１ａのユーザは、例えば、移動体を用いて、過去の飛行における撮影と同じように撮影を行う場合に、どのように移動体を操縦したらいいかを、移動体を見ながら感覚的に把握することができ、現実空間の情報を容易に把握することができる。
これにより、本実施形態による情報表示システム１ａのユーザは、例えば、移動体を用いて、過去の飛行における撮影と同じように撮影を行う場合に、どのように移動体を操縦したらいいかを、移動体を見ながら感覚的に把握することができ、現実空間の情報を容易に把握することができる。
【0225】
なお、本発明は、上記の各実施形態に限定されるものではなく、本発明の趣旨を逸脱しない範囲で変更可能である。
例えば、上述した第１の実施形態において、対象不具合を決定する場合に、ホログラム装置６の視界内にある不具合のうち、最近傍に存在する不具合を対象不具合として決定する例を説明したが、対象不具合を、ジェスチャーが行われた位置の最近傍に存在する不具合として決定してもよい。この場合、入力・撮影情報処理部６７２は、撮影部６２から取得した３次元動画像に基づいて、ジェスチャーが行われた場所について、視点位置からの距離及び方向の情報を取得する。入力・撮影情報処理部６７２は、取得したジェスチャーの位置に関する情報と、仮想空間情報とに基づいて、ジェスチャーが行われた位置の最近傍の不具合を対象不具合として決定する。
例えば、上述した第１の実施形態において、対象不具合を決定する場合に、ホログラム装置６の視界内にある不具合のうち、最近傍に存在する不具合を対象不具合として決定する例を説明したが、対象不具合を、ジェスチャーが行われた位置の最近傍に存在する不具合として決定してもよい。この場合、入力・撮影情報処理部６７２は、撮影部６２から取得した３次元動画像に基づいて、ジェスチャーが行われた場所について、視点位置からの距離及び方向の情報を取得する。入力・撮影情報処理部６７２は、取得したジェスチャーの位置に関する情報と、仮想空間情報とに基づいて、ジェスチャーが行われた位置の最近傍の不具合を対象不具合として決定する。
【0226】
また、上述した第１の実施形態において、不具合のメタデータとして、修理前の撮影情報を含んでもよい。この場合、不具合の修理完了時の修理部位の撮影情報を、撮影部６２から取得した場合に行う不具合特定処理を、修理前の撮影情報と、修理後の撮影情報とを用いて行ってもよい。この場合、入力・撮影情報処理部６７２は、修理前の不具合の撮影情報をメタデータに含む不具合の情報を表示情報記憶部６６３から取得し修理前の撮影情報と、修理後の撮影情報とを画像解析の手法を用いて比較し、修理後の撮影情報と最も似ていると判定された修理前の撮影情報をメタデータとして含む不具合を、対象不具合として決定する。
【0227】
また、上述した実施形態において、ホログラム表示処理の開始時に、ホログラム装置６（６ａ）のユーザは、所定の初期位置及び方向において開始する例を説明したが、これには限られない。例えば、起動時に撮影部６２から構造物９の３次元動画像を取得し、取得した情報と、仮想空間情報記憶部６６１に含まれる構造物９の３次元モデルとを比較し、比較した情報に基づいて、ホログラム装置６（６ａ）を装着したユーザの３次元情報や向いている方向に関する情報を取得し、視点位置を決定してもよい。この場合、入力・撮影情報処理部６７２は、撮影部６２から取得した３次元動画像に基づいて、構造物９の特徴点を抽出する処理を行う。構造物９は、抽出した特徴点の情報と３次元モデルとに基づいて、視点位置、視点方向を決定する。また、ホログラム装置６（６ａ）のユーザが所定の初期位置において開始し、ホログラム装置６（６ａ）の方向については、撮影部６２から取得した上記情報に基づいて決定してもよい。
また、上述した実施形態において、微調整を行う処理を、入力部６３から入力されたユーザの微調整を行う情報に基づいて行う例を説明したが、上述した構造物９の３次元動画像の情報を用いる方法によって、微調整を行ってもよい。
また、上述した実施形態において、微調整を行う処理を、入力部６３から入力されたユーザの微調整を行う情報に基づいて行う例を説明したが、上述した構造物９の３次元動画像の情報を用いる方法によって、微調整を行ってもよい。
【0228】
また、上述した第１の実施形態において、視界の範囲内にある不具合については、視点位置から実際にその位置が視認できるか否かを考慮せず同様のホログラム表示を行う例について説明したが、これには限られない。例えば、視点位置から見た場合に、構造物９の向こう側や、構造物９の内部などに位置し、直接的には視認できないような位置に存在する不具合については、その不具合をホログラム表示する場合に、視認できる位置にある不具合の表示方法とは異なる表示方法を用いて表示するようにしてもよい。この場合、ホログラム表示関連情報記憶部２２３や、表示情報記憶部６６３は予め視認できない不具合についてのホログラム表示に関する情報を記憶する。表示処理部６７４は、仮想空間情報記憶部６６１と視界情報記憶部６６２から、構造物９の３次元モデルと不具合位置と視点位置とを読み出す。表示処理部６７４は読み出した情報に基づいて、表示する不具合のうち、視点位置から視認できる不具合と視認できない不具合とを判別する。表示処理部６７４は、判別した情報と、表示情報記憶部６６３に記憶された情報とに基づいて、視認できる不具合と視認できない不具合について、表示するホログラムを異なるものとする。例えば、視認できない不具合を示すホログラムは視認できる不具合を示すホログラムに比べ、ホログラムの透明度、色、形状などを異なるものにする。
【0229】
また、例えば構造物９の壁など、ある面上に存在する不具合については、その面のどちら側に存在する不具合であるかをホログラム装置６のユーザが視認しやすいように、表示するホログラムを変更してもよい。上述した第１の実施形態においては、不具合について、球状のホログラムを表示する例を説明したが、これを構造物９の面を含む平面で切断し、構造物９の不具合が視認できる側に半球体のホログラムを表示させるようにしてもよい。この場合、表示処理部６７４は仮想空間情報記憶部６６１から、構造物９の３次元モデルを取得し、取得した情報に基づいて、表示するホログラムを決定する。
【0230】
なお、上述した視認できない不具合や面上の不具合について、それ以外の不具合と異なる表示にするのは、構造物９の近傍にホログラム装置６を装着したユーザがいる場合に限ってもよい。例えば、構造物９から所定の距離以上離れている場合には、上述した処理を行わなくてもよい。
【0231】
また、上述した第２の実施形態において、ドローン４の位置を取得毎に３次元モデル、飛行経由ポイント、及びドローン位置を仮想空間に投影する仮想空間投影処理を行う例を説明したが、これには限られない。例えば、処理装置２ａの２３１ａは、ドローン位置については、対応する仮想空間における位置の情報のみを算出する処理を行い、ホログラム装置６ａに送信してもよい。この場合、仮想空間情報記憶部２２４及び仮想空間情報記憶部６６１は、３次元モデルと飛行経由ポイントとを仮想空間に投影した仮想空間情報を記憶する。ホログラム装置６ａの表示処理部６７４は、仮想空間情報記憶部６６１に記憶された仮想空間情報と、仮想空間内のドローン位置についての情報とに基づいて、ドローン位置のホログラム表示位置を決定する。
【0232】
また、上述した第２の実施形態において、ドローン４の実飛行情報のメタデータに関する情報を表示部６５ａに表示する例を説明したが、例えばホログラム装置６ａを装着するユーザであって、ドローン４を操作しないユーザがいる場合には、当該ユーザが装着するホログラム装置６ａについては、実飛行情報のメタデータをホログラム表示しないようであってもよいし、実飛行情報のメタデータの一部のみをホログラム表示するようであってもよい。
【0233】
また、上述した第２の実施形態において、ドローン４が撮影する飛行経由ポイントについて説明したが、ドローン４が撮影を行った場合に、撮影情報を表示部６５ａに表示し、撮影情報を記憶させるか、再度撮影をやり直すか指示するようであってもよい。この場合、ホログラム装置６ａは、表示処理部６７４ａは、第１の実施形態におけるステップＳ３０６からステップＳ３１０までの処理と同様の処理を行う。また、ホログラム装置６ａは、送信処理部６７５ａを備え、記憶させる撮影情報とその撮影情報を撮影した撮影ポイントとを通信部６１を介して、処理装置２ａに送信する。また、処理装置２ａは、受信した情報を表示情報記憶部２２２ａに記憶させる。
【0234】
また、上記処理を、ドローン４を操作しない他のユーザに装着されたホログラム装置６ａの表示処理部６７４ａで行ってもよい。この場合、処理装置２ａは、記憶させる撮影情報とその撮影情報を撮影した撮影ポイントとを、撮影情報の判定に関する処理を行ったホログラム装置６ａ以外のホログラム装置６ａに、通信部２１ａを介して送信する。この場合、ドローン４を操作するユーザの表示部６５ａには、処理装置２ａから受信した表示情報記憶部６６３ａに記憶された撮影情報がホログラム表示される。
【0235】
また、ドローン４の操作を行うユーザがドローン４を把握しやすいように、表示部６５ａの表示画面中心部に、ドローン４に照準を合わせるためのレティクルや、ドローン４を捉えるターゲット枠をホログラム表示してもよい。
【0236】
また、上述した第２の実施形態において、飛行予定情報は、ドローン４の飛行経由ポイントを複数含む情報である例を説明したが、この飛行予定情報は、例えば、以前ドローン４が構造物９の周辺を飛行した場合の実飛行情報に基づく情報であってもよい。例えば、構造物９の修理を行うために、修理を行う前に、ドローン４を用いて構造物９の状況を把握した場合、当該把握のためのドローン４の飛行に基づいて、飛行予定情報を決定する。また、修理が完了した後の飛行の場合、修理を行う場合のドローン４の飛行軌跡において、修理が行われた箇所に近い場所を、飛行予定情報の撮影ポイントとして設定してもよい。また、ドローン４を使用せずに構造物９の撮影を行った場合の撮影を行った場所の情報に基づいて、撮影ポイントを決定してもよい。また、飛行予定ルートが別途定められている場合に、修理が行われた位置から最も近い３次元モデルの点群の位置から最も近い飛行予定ルート上の位置を、撮影ポイントとして設定してもよい。
【0237】
また、上述した実施形態において、処理装置２（２ａ）が行う仮想空間投影処理は、ホログラム装置６（６ａ）が行ってもよい。また、上述した第２の実施形態において、ドローン情報取得装置５が取得する各種情報を処理装置２ａが処理する例を説明したが、処理装置２ａの外部に別のドローン情報処理装置を設け、実飛行情報に関する処理を行うようにしてもよい。この場合、ホログラム装置６ａは、飛行予定情報を処理装置２ａから受信し、また、実飛行情報をドローン情報処理装置から受信する。表示処理部６７４ａは受信した情報に基づいて、表示部６５ａに表示するホログラムを決定し、表示部６５ａに表示させる。
【0238】
また、上述した各実施形態における処理装置２（２ａ）やホログラム装置６（６ａ）の一部、例えば、処理部２３（２３ａ）、処理部６７（６７ａ）などをコンピュータで実現するようにしてもよい。その場合、この機能を実現するためのプログラムをコンピュータ読み取り可能な記録媒体に記録して、この記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行することによって実現してもよい。なお、ここでいう「コンピュータシステム」とは、処理装置２（２ａ）やホログラム装置６（６ａ）に内蔵されたコンピュータシステムであって、ＯＳ（Ｏｐｅｒａｔｉｎｇ Ｓｙｓｔｅｍ）や周辺機器等のハードウェアを含むものとする。
【0239】
また、「コンピュータ読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、ＲＯＭ、ＣＤ－ＲＯＭ等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置のことをいう。さらに「コンピュータ読み取り可能な記録媒体」とは、インターネット等のネットワークや電話回線等の通信回線を介してプログラムを送信する場合の通信線のように、短時間、動的にプログラムを保持するもの、その場合のサーバやクライアントとなるコンピュータシステム内部の揮発性メモリのように、一定時間プログラムを保持しているものも含んでもよい。また上記プログラムは、前述した機能の一部を実現するためのものであってもよく、さらに前述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせで実現できるものであってもよい。
【0240】
また、上述した実施形態における処理部２３（２３ａ）、処理部６７（６７ａ）の一部、または全部を、ＬＳＩ（Ｌａｒｇｅ Ｓｃａｌｅ Ｉｎｔｅｇｒａｔｉｏｎ）等の集積回路として実現してもよい。処理部２３（２３ａ）、処理部６７（６７ａ）の各機能部は個別にプロセッサ化してもよいし、一部、または全部を集積してプロセッサ化してもよい。また、集積回路化の手法はＬＳＩに限らず専用回路、または汎用プロセッサで実現してもよい。また、半導体技術の進歩によりＬＳＩに代替する集積回路化の技術が出現した場合、当該技術による集積回路を用いてもよい。
【0241】
以上、図面を参照してこの発明の一実施形態について詳しく説明してきたが、具体的な構成は上述のものに限られることはなく、この発明の要旨を逸脱しない範囲内において様々な設計変更等をすることが可能である。
【符号の説明】
【0242】
１、１ａ・・・情報表示システム、
２、２ａ・・・処理装置
３・・・ＧＰＳ装置
４・・・ドローン
５・・・ドローン情報取得装置
６、６ａ・・・ホログラム装置
９・・・構造物
２１、２１ａ、６１・・・通信部
２２、２２ａ、６６、６６ａ・・・記憶部
２３、２３ａ、６７、６７ａ・・・処理部
６２・・・撮影部
６３・・・入力部
６４・・・センサ部
６５、６５ａ・・・表示部
２２１・・・３次元モデル記憶部
２２２、２２２ａ・・・表示情報記憶部
２２３、２２３ａ・・・ホログラム表示関連情報記憶部
２２４、２２４ａ、６６１・・・仮想空間情報記憶部
２２５・・・初期位置情報記憶部
２３１、２３１ａ・・・仮想空間投影部
２３２、２３２ａ・・・転送処理部
２３３、２３３ａ・・・表示情報取得部
２３４・・・実飛行情報処理部
６６２・・・視界情報記憶部
６６３、６６３ａ・・・表示情報記憶部
６７１、６７１ａ・・・取得処理部
６７２、６７２ａ・・・入力・撮影情報処理部
６７３・・・３次元情報処理部
６７４、６７４ａ・・・表示処理部
６７５・・・送信処理部
２、２ａ・・・処理装置
３・・・ＧＰＳ装置
４・・・ドローン
５・・・ドローン情報取得装置
６、６ａ・・・ホログラム装置
９・・・構造物
２１、２１ａ、６１・・・通信部
２２、２２ａ、６６、６６ａ・・・記憶部
２３、２３ａ、６７、６７ａ・・・処理部
６２・・・撮影部
６３・・・入力部
６４・・・センサ部
６５、６５ａ・・・表示部
２２１・・・３次元モデル記憶部
２２２、２２２ａ・・・表示情報記憶部
２２３、２２３ａ・・・ホログラム表示関連情報記憶部
２２４、２２４ａ、６６１・・・仮想空間情報記憶部
２２５・・・初期位置情報記憶部
２３１、２３１ａ・・・仮想空間投影部
２３２、２３２ａ・・・転送処理部
２３３、２３３ａ・・・表示情報取得部
２３４・・・実飛行情報処理部
６６２・・・視界情報記憶部
６６３、６６３ａ・・・表示情報記憶部
６７１、６７１ａ・・・取得処理部
６７２、６７２ａ・・・入力・撮影情報処理部
６７３・・・３次元情報処理部
６７４、６７４ａ・・・表示処理部
６７５・・・送信処理部
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図13】
【図14】
【図15】
【図16】
【図17】
【図18】