特開 2024-49815 情報表示システム、情報表示方法、プログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2024049815

(43)【公開日】2024-04-10

(54)【発明の名称】情報表示システム、情報表示方法、プログラム

(51)【国際特許分類】

   H04N 7/18 20060101AFI20240403BHJP

   G09G 5/377 20060101ALI20240403BHJP

   G09G 5/00 20060101ALI20240403BHJP

   G09G 5/36 20060101ALI20240403BHJP

   G09G 5/38 20060101ALI20240403BHJP

   G06F 3/01 20060101ALI20240403BHJP

【ＦＩ】

H04N7/18 D

G09G5/36 520M

G09G5/36 520L

G09G5/00 530M

G09G5/00 530H

G09G5/36 520D

G09G5/38 A

G06F3/01 510

【審査請求】未請求

【請求項の数】9

【出願形態】ＯＬ

(21)【出願番号】P 2022156278

(22)【出願日】2022-09-29

【公序良俗違反の表示】

（特許庁注：以下のものは登録商標）

１．ＱＲコード

(71)【出願人】

【識別番号】000232254

【氏名又は名称】日本電気通信システム株式会社

(74)【代理人】

【識別番号】100124811

【弁理士】

【氏名又は名称】馬場 資博

(74)【代理人】

【識別番号】100088959

【弁理士】

【氏名又は名称】境 廣巳

(74)【代理人】

【識別番号】100097157

【弁理士】

【氏名又は名称】桂木 雄二

(74)【代理人】

【識別番号】100187724

【弁理士】

【氏名又は名称】唐鎌 睦

(72)【発明者】

【氏名】安達 ゆり

(72)【発明者】

【氏名】上野 悟己

(72)【発明者】

【氏名】高岡 真則

(72)【発明者】

【氏名】青木 教之

(72)【発明者】

【氏名】河野 研二

【テーマコード（参考）】

5C054

5C182

5E555

【Ｆターム（参考）】

5C054CA04

5C054CC02

5C054DA07

5C054FA04

5C054FC12

5C054FE14

5C054HA19

5C182AA04

5C182AA31

5C182AB02

5C182AB08

5C182AB33

5C182AB34

5C182AB35

5C182AC02

5C182AC03

5C182BA04

5C182BA14

5C182BA29

5C182BA35

5C182BA46

5C182BA47

5C182CB13

5C182CB14

5C182CB32

5C182CB42

5C182CB44

5C182CB52

5C182CB54

5C182DA02

5C182DA44

5E555AA22

5E555AA27

5E555AA28

5E555AA64

5E555BA01

5E555BA04

5E555BB01

5E555BB04

5E555BC04

5E555BD01

5E555BE16

5E555BE17

5E555CA42

5E555CA45

5E555CB01

5E555CB21

5E555CB82

5E555CC01

5E555DA01

5E555DA08

5E555DA09

5E555DB15

5E555DB37

5E555DB56

5E555DB57

5E555DC09

5E555DC43

5E555DC72

5E555DC84

5E555DD06

5E555DD07

5E555DD09

5E555EA07

5E555EA08

5E555EA09

5E555EA14

5E555EA22

5E555FA00

(57)【要約】

【課題】現場で行う監視業務の効率化を図ることができないこと。
【解決手段】本開示の情報表示システム１００は、表示装置に表示された現実空間像内の所定の領域に対応する仮想画像を生成する生成部１２１と、表示装置に表示された現実空間像内における所定の領域とは異なる位置に、仮想画像を現実空間像に重畳して表示するよう制御する表示制御部１２２と、仮想画像に対する操作を受け付ける操作部１２３と、を備える。
【選択図】図１２

【特許請求の範囲】

【請求項1】

表示装置に表示された現実空間像内の所定の領域に対応する仮想画像を生成する生成部と、
前記表示装置に表示された前記現実空間像内における前記所定の領域とは異なる位置に、前記仮想画像を前記現実空間像に重畳して表示するよう制御する表示制御部と、
前記仮想画像に対する操作を受け付ける操作部と、
を備えた情報表示システム。

【請求項2】

請求項１に記載の情報表示システムであって、
前記生成部は、前記現実空間像内の前記所定の領域に対応する枠で囲まれた前記仮想画像を生成し、
前記表示制御部は、前記枠で囲まれた前記仮想画像を前記現実空間像に重畳して表示するよう制御する、
情報表示システム。

【請求項3】

請求項２に記載の情報表示システムであって、
前記表示制御部は、前記現実空間像内の前記所定の領域に対応する位置に、前記枠を重畳して表示するよう制御し、前記現実空間像内の前記所定の領域とは異なる位置に、前記枠で囲まれた前記仮想画像を表示する、
情報表示システム。

【請求項4】

請求項１に記載の情報表示システムであって、
前記表示制御部は、前記現実空間像内において前記所定の領域よりも近くの位置に、前記仮想画像を表示する、
情報表示システム。

【請求項5】

請求項１に記載の情報表示システムであって、
前記操作部は、前記仮想画像の位置、向き、大きさの少なくとも１つを変更する操作を受け付け、
前記表示制御部は、受け付けた操作に応じて前記仮想画像を処理して表示する、
情報表示システム。

【請求項6】

請求項１に記載の情報表示システムであって、
前記操作部は、前記仮想画像に対する情報付与の操作を受け付け、
前記表示制御部は、受け付けた操作に応じて前記仮想画像に情報を付与して表示する、
情報表示システム。

【請求項7】

表示装置に表示された現実空間像内の所定の領域に対応する仮想画像を生成し、
前記表示装置に表示された前記現実空間像内における前記所定の領域とは異なる位置に、前記仮想画像を前記現実空間像に重畳して表示するよう制御し、
前記仮想画像に対する操作を受け付ける、
情報表示方法。

【請求項8】

請求項７に記載の情報表示方法であって、
前記仮想画像の位置、向き、大きさの少なくとも１つを変更する操作を受け付け、
受け付けた操作に応じて前記仮想画像を処理して表示する、
情報表示方法。

【請求項9】

表示装置に表示された現実空間像内の所定の領域に対応する仮想画像を生成し、
前記表示装置に表示された前記現実空間像内における前記所定の領域とは異なる位置に、前記仮想画像を前記現実空間像に重畳して表示するよう制御し、
前記仮想画像に対する操作を受け付ける、
処理をコンピュータに実行させるためのプログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本開示は、情報表示システム、情報表示方法、プログラムに関する。

【背景技術】

【0002】

インフラや工場などにおける点検監視・保守運用管理では、作業の簡易化やデジタル化が求められており、インフラや工場内の設備の３次元的な把握や空間の３次元的な認識が技術的な課題となる。そこで、３次元センサを利用した点検監視・保守管理が一般的に考えられる。３次元センサで得られる３次元点群データを利用することで、電柱等大きなものの距離を測定し、点検を容易にできたり、物流における貨物の積載量可視化ができたりする。また、３次元センサにより遠方にある物体や環境をセンシングすることができる。

【0003】

ここで、監視業務に用いるシステムの一例として、特許文献１には、ヘッドマウント型ディスプレイを用いるシステムが記載されている。具体的に、特許文献１では、まず、監視対象を仮想３次元空間上に表現する３次元構造データを記憶している。そして、監視対象の区域内に設置されたカメラから画像データを収集し、かかる画像データから監視箇所において異常を検知した検知結果データを取得し、ヘッドマウント型ディスプレイの位置データ、方位データを含む測位結果データを取得する。その後、３次元構造データと検知結果データと測位結果データとに基づいて、全ての位置関係を統合した３次元統合データを生成して、監視業務時にヘッドマウント型ディスプレイに仮想画像を表示している。

【先行技術文献】

【特許文献】

【0004】

【特許文献1】特開２０１２－２３９０６８号公報

【発明の概要】

【発明が解決しようとする課題】

【0005】

しかしながら、上述した特許文献１に記載のシステムでは、監視対象の異常の検知結果を表示しているだけであって、監視者が実際に現場を訪れた際に、監視対象の詳細な状態を調べることが困難である。その結果、現場で行う監視業務の効率化を図ることができない、という問題が生じる。

【0006】

このため、本開示の目的は、上述した課題である、現場で行う監視業務の効率化を図ることができない、ことを解決することができる情報表示システムを提供することにある。

【課題を解決するための手段】

【0007】

本開示の一形態である情報表示システムは、
表示装置に表示された現実空間像内の所定の領域に対応する仮想画像を生成する生成部と、
前記表示装置に表示された前記現実空間像内における前記所定の領域とは異なる位置に、前記仮想画像を前記現実空間像に重畳して表示するよう制御する表示制御部と、
前記仮想画像に対する操作を受け付ける操作部と、
を備えた、
という構成をとる。

【0008】

また、本開示の一形態である情報表示方法は、
表示装置に表示された現実空間像内の所定の領域に対応する仮想画像を生成し、
前記表示装置に表示された前記現実空間像内における前記所定の領域とは異なる位置に、前記仮想画像を前記現実空間像に重畳して表示するよう制御し、
前記仮想画像に対する操作を受け付ける、
という構成をとる。

【0009】

また、本開示の一形態であるプログラムは、
表示装置に表示された現実空間像内の所定の領域に対応する仮想画像を生成し、
前記表示装置に表示された前記現実空間像内における前記所定の領域とは異なる位置に、前記仮想画像を前記現実空間像に重畳して表示するよう制御し、
前記仮想画像に対する操作を受け付ける、
処理をコンピュータに実行させる、
という構成をとる。

【発明の効果】

【0010】

本開示は、以上のように構成されることにより、現場で行う監視業務の効率化を図ることができる。

【図面の簡単な説明】

【0011】

【図1】本開示の実施形態１における情報表示システムの概要を示す図である。

【図2】図１に開示した情報表示システムの概要を示す図である。

【図3】図１に開示した情報表示システムの全体構成を示すブロック図である。

【図4】図１に開示した利用者端末の構成を示すブロック図である。

【図5】図１に開示した情報処理サーバの構成を示すブロック図である。

【図6】図１に開示した利用者端末における表示画像の一例を示す図である。

【図7】図１に開示した利用者端末における表示画像の一例を示す図である。

【図8】図１に開示した利用者端末における表示画像の一例を示す図である。

【図9】図１に開示した情報処理サーバの動作を示すフローチャートである。

【図10】図１に開示した利用者端末の動作を示すフローチャートである。

【図11】本開示の実施形態２における情報表示システムのハードウェア構成を示すブロック図である。

【図12】本開示の実施形態２における情報表示システムの構成を示すブロック図である。

【発明を実施するための形態】

【0012】

＜実施形態１＞
本開示の第１の実施形態を、図１乃至図１０を参照して説明する。まずはじめに、情報表示システムの概要について説明する。

【0013】

［概要］
本実施形態における情報表示システムは、図１及び図２に示すように、利用者Ｐが利用する表示装置である利用者端末２０と、所定の対象物を撮影する撮影装置であるセンサ４０と、表示画像を処理する情報処理サーバ１０と、を備えて構成される。そして、本実施形態における情報表示システムは、利用者Ｐが、電柱や電線といったインフラや、高さ制限されている地域における樹木などの点検や監視を行うために利用される。例えば、図１の左図に示すように、利用者Ｐは、ヘッドマウント型ディスプレイからなる利用者端末２０を装着して、かかる利用者端末２０越しに監視場所を見る。すると、図１の右図に示すように、ヘッドマウント型ディスプレイである利用者端末２０の表示部Ａには現実空間像が表示される。なお、利用者端末２０に表示される現実空間像は、表示部Ａを透過させて現実空間を見た像であってもよく、現実空間をデジタルデータに変換して表示部Ａに表示させた像であってもよい。

【0014】

そして、センサ４０は、図２に示すように、監視箇所における符号Ｒｃの範囲に示すような撮影画像である撮影データ３０を取得する。撮影データ３０は、後述するように、撮影範囲に存在する監視の対象物となる電柱や電線の三次元座標を示す位置情報である三次元点群データが含まれることとなる。この撮影データ３０は、利用者端末２０を介して、あるいは、センサ４０から直接、情報処理サーバ１０に送信される。

【0015】

情報処理サーバ１０は、センサ４０で撮影された撮影データ３０に含まれる三次元点群データから、現実空間像の所定の領域Ｒ１の仮想画像を生成する。このとき、情報処理サーバ１０は、必要に応じて、利用者端末２０とセンサ４０との位置情報を取得して、これらの位置合わせを行う。つまり、情報処理サーバ１０は、図２の符号Ｒｄの範囲に示す利用者端末２０の視野と、符号Ｒｃの範囲に示すセンサ４０による撮影領域と、の差異に基づいて、利用者端末２０の位置に対して、センサ４０によって撮影された撮影データ３０の位置を対応させるよう位置合わせを行う。そして、情報処理サーバ１０は、利用者端末２０に位置合わせした撮影データ３０に基づいて生成した仮想画像を利用者端末２０に送信し、利用者端末２０に映る現実空間像に、仮想画像を重ねて表示するよう制御する。

【0016】

ここで、図１の右図に、利用者端末２０の表示部Ａの表示例を示す。表示部Ａには、利用者端末２０からみた現実空間像が表示されると共に、かかる現実空間像の所定の領域Ｒ１の仮想画像Ｒ２が重畳して表示される。このとき、情報処理サーバ１０は、仮想画像Ｒ２を生成した現実空間像における所定の領域Ｒ１の位置に枠を表示すると共に、表示部Ａ上の所定の領域Ｒ１の位置とは異なる位置に、仮想画像Ｒ２を表示する表示領域Ｂを設け、かかる表示領域Ｂ内に所定の領域Ｒ１に対応する枠で囲まれた仮想画像Ｒ２を表示するよう制御する。なお、利用者端末２０の表示部Ａには、利用者Ｐの操作状況を示す操作表示部Ｃも表示される。以下、各構成及び動作について、図３乃至図１０を参照して詳しく説明する。

【0017】

［構成］
図３は、情報処理システム全体のシステム構成図である。利用者端末２０は、センサ４０で撮影された撮影データ３０を取得し、情報処理サーバ１０を通して他の利用者端末２０リアルタイムにデータを相互に連携する。

【0018】

ここで、センサ４０は、ＬＩＤＡＲ（Ｌｉｇｈｔ Ｄｅｔｅｃｔｉｏｎ ａｎｄ Ｒａｎｇｉｎｇ、Ｌａｓｅｒ Ｉｍａｇｉｎｇ Ｄｅｔｅｃｔｉｏｎ ａｎｄ Ｒａｎｇｉｎｇ）やＴｏＦカメラ（Ｔｉｍｅ ｏｆ Ｆｌｉｇｈｔ Ｃａｍｅｒａ）、ステレオカメラ等の３Ｄセンサ（三次元センサ）等である。但し、センサ４０は、３Ｄセンサに限定されず、ハイパースペクトルカメラやＲＧＢカメラ、その他センサ類でもよい。

【0019】

利用者端末２０は、ヘッドマウント型ディスプレイといったＭＲグラス（Ｍｉｘｅｄ Ｒｅａｌｉｔｙ Ｇｌａｓｓ）である。このため、利用者端末２０は、現実空間像を表示すると共に、かかる現実空間像に仮想画像データを重ねて表示することができるよう構成されている。なお、利用者端末２０は、ＭＲグラスであることに限定されず、ＶＲグラス（Ｖｉｒｔｕａｌ Ｒｅａｌｉｔｙ Ｇｌａｓｓ）などその他の眼鏡型デバイスであったり、パーソナルコンピュータやタブレット端末、スマートフォンなど、表示部を有する情報処理端末であればいかなるものであってもよい。そして、利用者端末２０は、利用者が携帯してもよく、現場に存在し利用者との情報をやりとりするシステム（例えば、プロジェクタで情報を利用者に提示し、センサや音声で利用者から情報を取得することが可能なシステムなど）であってもよい。

【0020】

なお、利用者端末２０は、センサ４０を具備せず直接撮影データ３０を取得することなく、情報処理サーバ１０からのみデータを取得してもよい。つまり、利用者端末２０は、撮影データ３０を撮影するセンサ４０と接続されたものやセンサ４０自体を搭載したものであってもよく、センサ４０と接続されておらずヘッドマウント型ディスプレイで表示を行うだけのものであってもよい。なお、以下では、主にセンサ４０と接続された利用者端末２０の構成を説明する。

【0021】

図５は、利用者端末２０のシステム構成図である。利用者端末２０は、演算装置と記憶装置と表示部とを備えた情報処理端末にて構成される。そして、利用者端末２０は、図５に示すように、データ収集部２１、情報表示部２２、情報操作部２３、データ配送部２４、を備える。データ収集部２１、情報表示部２２、情報操作部２３、データ配送部２４の各機能は、演算装置が記憶装置に格納された各機能を実現するためのプログラムを実行することにより実現することができる。

【0022】

データ収集部２１は、上述したセンサ４０で取得した撮影データ３０や、情報処理サーバ１０に保存された仮想画像などのデータを取得する。また、データ収集部２１は、利用者端末２０の位置情報、及び、センサ４０の位置情報を取得する。例えば、データ収集部２１は、利用者端末２０に装備されたＧＰＳ（Ｇｌｏｂａｌ Ｐｏｓｉｔｉｏｎｉｎｇ Ｓｙｓｔｅｍ）装置や方位センサから、利用者端末２０の位置及び撮影方向を含む位置情報を取得する。また、データ収集部２１は、センサ４０に装備されたＧＰＳ装置や方位センサから、センサ４０の位置及び撮影方向を含む位置情報を取得する。なお、データ収集部２１は、利用者端末２０に搭載されたカメラで、センサ４０に表示されたＱＲコードを撮影して、当該ＱＲコードに含まれるセンサ４０の識別情報を取得してもよい。このとき、センサ４０の識別情報には、かかるセンサ４０の位置及び撮影方向を含む位置情報が予め関連付けられていることとする。なお、ＱＲコード自体に、センサ４０の位置情報が含められていてもよい。

【0023】

情報表示部２２は、データ収集部２１で取得した情報を、表示部Ａに表示させるよう制御する。具体的に、情報表示部２２は、図１の右図に示すように、表示部Ａに透過表示された、あるいは、デジタルデータに変換されて表示された現実空間像に、後述するように情報処理サーバ１０から送信された仮想画像Ｒ２などのデータを重畳（オーバーレイ）表示させる。例えば、仮想画像Ｒ２は、後述するように、現実空間内の所定の領域Ｒ１である対象領域Ｒ１に対応する三次元点群データから生成された三次元画像であり、利用者Ｐから現実空間像では見えない部分のデータを補間した画像であってもよく、メッシュ化やポリゴン化された画像であってもよい。このとき、情報表示部２２は、図１の右図に示すように、利用者Ｐから指定された現実空間内の対象領域Ｒ１を囲う枠を表示部Ａに表示したり、現実空間内の対象領域Ｒ１とは異なる領域に表示領域Ｂを設け、かかる表示領域Ｂ内に対象領域Ｒ１に対応する枠で囲まれた仮想画像Ｒ２を表示することとなる。特に、情報表示部２２は、現実空間像内で指定した対象領域Ｒ１が遠方であっても、表示部Ａの下部、つまり、利用者Ｐにとって表示部Ａ内において対象領域Ｒ１よりも近くの位置に表示領域Ｂを表示して仮想画像Ｒ２を表示する。なお、情報表示部２２は、上述した対象領域Ｒ１を囲う枠や仮想画像Ｒ２等を、後述するように情報処理サーバ１０から送信された情報に応じて表示するが、情報表示部２２によって生成された情報に応じて表示してもよい。

【0024】

また、情報表示部２２は、後述するように表示領域Ｂに表示された仮想画像Ｒ２に対する利用者Ｐからの操作に応じて、表示領域Ｂ内の仮想画像Ｒ２の表示や、現実空間像内の対象領域Ｒ１を囲う枠の表示を制御する。なお、これらの表示の制御については後述する。

【0025】

情報操作部２３は、利用者Ｐによる現実空間像上の対象領域Ｒ１を指定する操作を受け付ける。このとき、情報操作部２３は、利用者端末２０に装備されている利用者Ｐが手で操作可能な操作装置に対する操作を受け付けて、かかる操作装置に対する操作状況を表す操作表示部Ｃを、表示部Ａの表示領域Ｂ内に表示してもよい。例えば、情報操作部２３は、現実空間像上において仮想画像化する対象領域Ｒ１を指定する矩形や直方体の枠の入力を受け付ける。このとき、対象領域Ｒ１の指定は枠であることに限定されず、球や不定形の任意の形状でもよく、２次元平面などでもよい。一例として、利用者Ｐは、枠の指定を、遠隔で操作装置を介して大雑把に指定（ポイントや範囲）して、そのポインタや範囲を移動して指定することや、該当オブジェクトや範囲（ＲＯＩ）のＩＤや名前などの情報による指定、また他の外部システムや他のユーザからの情報に基づいて指定してもよい。また、枠の指定において、状況に応じた補正や適切な場所にスナップ（位置を合わせる）などをおこなってもよい。

【0026】

また、情報操作部２３は、表示部Ａの表示領域Ｂに表示された仮想画像Ｒ２に対する操作も受け付ける。例えば、情報操作部２３は、図６に示すように仮想画像Ｒ２の枠の位置を移動させる操作、枠の向きを回転させる操作、図７に示すように仮想画像Ｒ２の枠の大きさを拡大・縮小させる操作などを受け付け、さらには、図８に示すように仮想画像Ｒ２の枠内に文字などの情報を付与する操作を受け付ける。なお、情報操作部２３は、利用者Ｐが仮想画像Ｒ２つまり対象領域Ｒ１に対して確認・点検を行ったことを示す操作を受け付けてもよい。併せて、情報操作部２３は、図６から図８の操作表示部Ｃ，Ｃ’に示すように、操作状況を表す情報を表示する。

【0027】

さらに、上記操作に応じて、上述した情報表示部２２は、図６から図８に示すように、表示領域Ｂにおいて仮想画像Ｒ２を移動、回転、拡大・縮小させて表示し、また、仮想画像Ｒ２に文字などの情報を付与する。また、情報表示部２２は、現実空間像に重畳表示している対象領域Ｒ１の枠を、移動、回転、拡大・縮小させて表示し、また、現実空間像に文字などの付与された情報を重畳表示する。具体的に、図６の例では、表示領域Ｂ内で仮想画像Ｒ２を符号Ｒ２’に示すように移動し、また、対象領域Ｒ１の枠を符号Ｒ１’に示すように移動するよう表示する。また、図７の例では、表示領域Ｂ内で仮想画像Ｒ２を拡大・縮小する表示し、一例として、図２の右図に仮想画像Ｒ２を拡大表示した様子を示す。また、図８の例では、表示領域Ｂ内で仮想画像Ｒ２に文字情報Ｄを付与し、また、対象領域Ｒ１の枠内に対応する文字情報Ｄ’を付与するよう表示する。なお、情報表示部２２は、利用者Ｐによって確認・点検が行われたことの操作を受けた場合には、対象領域Ｒ１に対して確認済み・点検済みを示すような仮想画像、例えば、対象領域Ｒ１を別の色の枠で囲うような仮想画像や確認済み・点検済みの文字などの仮想画像を、現実空間像に重畳表示してもよい。

【0028】

なお、情報表示部２２は、上述した対象領域Ｒ１を囲う枠や、表示領域Ｂ及び仮想画像Ｒ２を、後述するように情報処理サーバ１０にて生成された仮想画像などの送信された情報に従って表示するが、情報表示部２２による処理によって表示してもよい。また、情報処理サーバ１０から送信され表示される仮想画像は、上述した操作に応じてそのデータ種別が変更されてもよい。例えば、移動などの操作を加える場合は、ＲＧＢ画像で分かりやすく表示し、情報付与や計測などの処理を行いたい場合には３次元情報を表示してもよい。

【0029】

データ配送部２４は、上述した撮影データ３０や位置情報、操作情報などの情報を情報処理サーバ１０に送信して、情報処理サーバ１０に保存する。撮影データ等の配送は、取得する毎に全データでもよく差分データだけでもよいし、伝送の負荷を考慮してスロットリングやタイミングの調整等も行ってもよい。

【0030】

図５は、情報処理サーバ１０のシステム構成図である。情報処理サーバ１０は、演算装置と記憶装置とを備えた１台又は複数台の情報処理装置にて構成される。そして、情報処理サーバ１０は、図６に示すように、位置情報取得部１１、位置合わせ機能部１２、データ収集部１３、情報管理部１４、データ配送部１７、を備える。なお、情報管理部１４は、さらに情報調整部１５を備える。位置情報取得部１１、位置合わせ機能部１２、データ収集部１３、情報管理部１４、情報調整部１５、データ配送部１７の各機能は、演算装置が記憶装置に格納された各機能を実現するためのプログラムを実行することにより実現することができる。また、情報処理サーバ１０の情報管理部１４は、情報保有部１６を備える。情報保有部１６は、記憶装置により構成される。以下、各構成について詳述する。

【0031】

まず、データ収集部１３は、利用者端末２０から送信されたデータを収集する。例えば、データ収集部１３は、利用者端末２０、センサ４０の位置情報を収集したり、センサ４０にて撮影された撮影データ３０の三次元点群データを収集する。収集された位置情報は、位置情報取得部１１にて取得されて位置合わせ機能部１２にて用いられたり、収集された三次元点群データは情報保有部１６に保存される。また、データ収集部１３（操作部）は、上述したように利用者Ｐから利用者端末２０に入力された操作情報を収集する。例えば、データ収集部１３は、現実空間像内における対象領域Ｒ１の枠を指定する操作の情報や、表示領域Ｂにおいて仮想画像Ｒ２の枠を移動、回転、拡大・縮小させたり、文字などの情報を付与したり、確認済み・点検済み、などの操作の情報を取得する。かかる操作情報は、情報調整部１５で利用される。

【0032】

位置情報取得部１１は、利用者端末２０、センサ４０、撮影データ３０内の対象物等の位置情報を取得する。例えば、位置情報取得部１１は、利用者端末２０から得られたデータや付与された情報から位置情報を取得する。例えば、位置情報取得部１１は、利用者端末２０及びセンサ４０のＧＰＳや方位センサから得られた情報から、利用者端末２０及びセンサ４０の位置及び撮影方向の位置情報を取得する。また、位置情報取得部１１は、撮影データの点群データから、撮影データに映る電柱や樹木などの対象物の三次元座標からなる位置情報を取得する。なお、位置情報取得部１１は、センサ４０のＱＲコードから得られた当該センサ４０の識別情報を得られた場合には、かかる識別情報に関連付けられて記憶されているセンサ４０の位置情報を取得する。

【0033】

位置合わせ機能部１２は、上述したように取得した位置情報をもとに、利用者端末２０とセンサ４０との位置合わせを行う。具体的に、位置合わせ機能部１２は、利用者端末２０とセンサ４０との位置の差異に基づいて、利用者端末２０の位置に対して、センサ４０によって撮影された撮影データ３０の位置を対応させるよう位置合わせを行う。つまり、センサ４０にて取得した撮影データ３０の三次元座標を、利用者端末２０の位置及び撮影方向に対応させる。なお、このとき、位置合わせを行う利用者端末２０は、センサ４０と接続された利用者端末２０に限らず、センサ４０と接続されていない利用者端末２０も含む。複数の同じあるいは異なる種類のセンサ４０から取得した撮影データを収集することで、それらのセンサ４０を矛盾なく整合させて位置合わせができる。なお、位置合わせ機能部１２による位置合わせは、必要に応じて行われればよく、場合によっては行われなくてもよい。

【0034】

情報管理部１４の情報調整部１５（生成部）は、センサ４０にて撮影された撮影データ３０を調整して仮想画像を生成する。具体的に、情報調整部１５は、各利用者端末２０からの操作に応じて、撮影データを選択して仮想画像を生成する。例えば、利用者端末２０から現実空間像における対象領域Ｒ１を指定する操作情報を取得した場合には、かかる対象領域Ｒ１の範囲に相当する仮想画像を生成するようデータを調整する。一例として、情報調整部１５は、仮想画像が単に表示されたり移動などの操作が行われる場合には、ＲＧＢカメラ画像を用いて仮想画像を生成したり、文字の付与や計測などの空間の操作が行われる場合には、三次元情報を用いて仮想画像を生成するなど、撮影データの種別を適宜選択して生成してもよい。

【0035】

また、情報調整部１５は、利用者端末２０から表示領域Ｂにおける仮想画像Ｒ２の枠に対する移動、回転、拡大・縮小の操作や、仮想画像Ｒ２に文字などの情報を付与する操作の情報を取得した場合には、かかる操作に対応する仮想画像を生成する。例えば、図６に示すように、表示領域Ｂ内で仮想画像Ｒ２の枠を移動する操作を受けると、かかる移動先の現実空間像の位置における仮想画像Ｒ２’を生成する。また、図７に示すように、表示領域Ｂ内で仮想画像Ｒ２の枠を拡大・縮小したり回転する操作を受けると、その枠内の仮想画像を拡大・縮小したり回転した仮想画像を生成する。また、図８に示すように、表示領域Ｂ内で仮想画像Ｒ２に文字情報Ｄを付与する操作を受けると、文字情報Ｄを付与した仮想画像Ｒ２を生成する。このように、情報調整部１５は、各撮影データに対する直接の処理や補正、もしくは各撮影データに対する処理や補正のメタデータの生成などを行う。例えば、重畳表示の度合いや、拡大率に合わせた表示や操作対象の指定や切り替え指示、各種操作に対してどのデータを使うかといった振る舞いなどが調整される。

【0036】

また、情報調整部１５は、利用者端末２０から対象領域Ｒ１が指定されたり、移動・回転・拡大などの操作や文字を付加する操作を受けると、表示部Ａの現実空間像に、操作に対応する対象領域Ｒ１の枠や文字情報を重畳表示するための情報、例えば、枠や文字を表す情報やその表示位置を表す座標など、表示制御するための情報を生成してもよい。なお、情報調整部１５は、利用者端末２０に装備されてもよく、三次元点群データを見やすくしたり表示処理を軽くしたりするために（リソース低減・高速化）、メッシュ化やポリゴン化等を行って仮想画像を生成してもよい。また、情報調整部１５では、一方向からでは物に隠れて見えない部分を人が操作しやすいようにデータを補完・補足した仮想画像を生成してもよい。

【0037】

データ配送部１７（表示制御部）は、上述したように生成した仮想画像などの情報を、利用者端末２０に送信する。例えば、データ配送部１７は、上述した利用者端末２０の表示部Ａの表示領域Ｂに現実空間像に対して重畳表示するよう仮想画像を送信したり、対象領域Ｒ１の枠を表示するための情報や、仮想画像に付与する情報を表示するための情報を、上述した利用者端末２０の表示部Ａに現実空間像に対して重畳表示するよう送信する。これにより、上述したように、図１の右図や図６から図８に示すよう、利用者端末２０の表示部Ａの現実空間像上に、対象領域Ｒ１，Ｒ１’の枠や、仮想画像Ｒ２，Ｒ２、文字などの付与情報Ｄ，Ｄ’、確認済み・点検済みを表す情報、などが重畳表示されることとなる。

【0038】

［動作］
次に、上述した情報表示システムの動作を、図９乃至図１０のフローチャートを参照して説明する。まずはじめに、情報処理サーバ１０の動作を図９のフローチャートを参照して説明する。

【0039】

情報処理サーバ１０は、利用者端末２０やセンサ４０、撮影データ３０等の位置情報（撮影位置や撮影方向、撮影の設定や状況、付加情報など）を取得する（ステップＳ１）。そして、情報処理サーバ１０は、必要に応じてセンサ４０と利用者端末２０との位置に応じて、利用者端末２０に対応するよう撮影データの位置合わせを行い、情報保有部１６に必要なもしくは全ての処理データを保存する。（ステップＳ２）。なお、情報処理サーバ１０は、上述した処理を繰り返し行い、必要なもしくは全てのデータ更新を行うことで（ステップＳ３）、常にリアルタイムな情報を表示できる。

【0040】

そして、情報処理サーバ１０は、各利用者端末２０からの操作に応じて、撮影データの調整を行って仮想画像等の情報を生成する（ステップＳ４）。例えば、情報処理サーバ１０は、操作により指定された対象領域Ｒ１に対応する仮想画像や、移動・回転・拡大・縮小や文字の付与等の操作に応じた仮想画像、対象領域Ｒ１の枠などの情報を生成する。そして、情報処理サーバ１０は、生成した仮想画像などの情報を、現実空間像に重畳表示するよう各利用者端末２０に送信する（ステップＳ５）。

【0041】

続いて、利用者端末２０の動作を図１０のフローチャートを参照して説明する。利用者端末２０は、センサ４０を用いて撮影データ３０を撮影しつつ（ステップＳ１１）、情報処理サーバ１０から送信された仮想画像等の情報を取得する（ステップＳ１２）。そして、利用者端末２０は、表示部Ａに透過あるいはデジタル変換された現実空間像を表示しつつ、情報処理サーバ１０から取得した情報に従い、かかる現実空間像に仮想画像や枠を重畳して表示する（ステップＳ１３）。なお、センサ４０が接続されていない利用者端末２０の場合は、ステップＳ１１の工程はなくてもよい。なお、利用者端末２０で仮想画像を生成する場合には、かかる仮想画像を表示してもよい。

【0042】

その後、利用者端末２０は、必要に応じて操作範囲を選択したり、メッセージ等の情報を付与するなどの操作を行ってもよい（ステップＳ１４）。この場合、利用者端末２０は、かかる操作に応じて情報処理サーバ１０で調整され生成された情報に従って、仮想画像などの表示の更新を行う。そして、利用者端末２０は、情報処理サーバ１０に、撮影データや位置データなどの情報を送信する（ステップＳ１５）。

【0043】

以上のように、本実施形態によると、広大な敷地において電柱や樹木などの対象物を撮影してその仮想画像を生成し、かかる仮想画像を、ＭＲグラスなどの利用者端末２０の表示部Ａに映る現実空間像上に重畳表示している。特に、本実施形態では、現実空間像の対象領域とは異なる位置に仮想画像を重畳表示し、さらに仮想画像に対する操作を行うことが可能である。このため、利用者から遠くの位置にあるような対象物であっても、その詳細な状態を調べることが容易となり、現場で行う監視業務の効率化を図ることができる。

【0044】

＜実施形態２＞
次に、本開示の第２の実施形態を、図１１乃至図１２を参照して説明する。図１１乃至図１２は、実施形態２における情報表示システムの構成を示すブロック図である。なお、本実施形態では、上述した実施形態で説明した情報表示システムの構成の概略を示している。

【0045】

まず、図１１を参照して、本実施形態における情報表示システム１００のハードウェア構成を説明する。情報表示システム１００は、一般的な情報処理装置にて構成されており、一例として、以下のようなハードウェア構成を装備している。
・ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）１０１（演算装置）
・ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）１０２（記憶装置）
・ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）１０３（記憶装置）
・ＲＡＭ１０３にロードされるプログラム群１０４
・プログラム群１０４を格納する記憶装置１０５
・情報処理装置外部の記憶媒体１１０の読み書きを行うドライブ装置１０６
・情報処理装置外部の通信ネットワーク１１１と接続する通信インタフェース１０７
・データの入出力を行う入出力インタフェース１０８
・各構成要素を接続するバス１０９

【0046】

なお、図１１は、情報表示システム１００である情報処理装置のハードウェア構成の一例を示しており、情報処理装置のハードウェア構成は上述した場合に限定されない。例えば、情報処理装置は、ドライブ装置１０６を有さないなど、上述した構成の一部から構成されてもよい。また、情報処理装置は、上述したＣＰＵの代わりに、ＧＰＵ（Ｇｒａｐｈｉｃ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）、ＤＳＰ（Ｄｉｇｉｔａｌ Ｓｉｇｎａｌ Ｐｒｏｃｅｓｓｏｒ）、ＭＰＵ（Ｍｉｃｒｏ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）、ＦＰＵ（Ｆｌｏａｔｉｎｇ ｐｏｉｎｔ ｎｕｍｂｅｒ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）、ＰＰＵ（Ｐｈｙｓｉｃｓ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）、ＴＰＵ（ＴｅｎｓｏｒＰｒｏｃｅｓｓｉｎｇＵｎｉｔ）、量子プロセッサ、マイクロコントローラ、又は、これらの組み合わせなどを用いることができる。

【0047】

そして、情報表示システム１００は、プログラム群１０４をＣＰＵ１０１が取得して当該ＣＰＵ１０１が実行することで、図１２に示す生成部１２１と表示制御部１２２と操作部１２３とを構築して装備することができる。なお、プログラム群１０４は、例えば、予め記憶装置１０５やＲＯＭ１０２に格納されており、必要に応じてＣＰＵ１０１がＲＡＭ１０３にロードして実行する。また、プログラム群１０４は、通信ネットワーク１１１を介してＣＰＵ１０１に供給されてもよいし、予め記憶媒体１１０に格納されており、ドライブ装置１０６が該プログラムを読み出してＣＰＵ１０１に供給してもよい。但し、上述した生成部１２１と表示制御部１２２と操作部１２３とは、かかる手段を実現させるための専用の電子回路で構築されるものであってもよい。

【0048】

上記生成部１２１は、表示装置に表示された現実空間像内の所定の領域に対応する仮想画像を生成する。このとき、生成部１２１は、枠で囲まれた表示形態で仮想画像を生成する。

【0049】

上記表示制御部１２２は、表示装置に表示された現実空間像内における所定の領域とは異なる位置に、仮想画像を現実空間像に重畳して表示するよう制御する。例えば、表示制御部１２２は、現実空間像の所定の領域よりも利用者にとって近い位置に、仮想画像を表示する。

【0050】

上記操作部１２３は、表示装置に表示された仮想画像に対する操作を受け付ける。例えば、操作部１２３は、仮想画像に対する位置や向き、大きさを変更する操作を受け付ける。これにより、上記表示制御部１２２は、操作に応じて仮想画像を変更して表示する。

【0051】

本開示は、以上のように構成されることにより、利用者端末に表示された現実空間像の所定の領域とは異なる位置に、かかる所定の領域に対応する仮想画像を重畳表示し、さらに仮想画像に対する操作を行うことが可能である。このため、利用者から遠くの位置にあるような対象物であっても、その詳細な状態を調べることが容易となり、現場で行う監視業務の効率化を図ることができる。

【0052】

なお、上述したプログラムは、様々なタイプの非一時的なコンピュータ可読媒体（non-transitory computer readable medium）を用いて格納され、コンピュータに供給することができる。非一時的なコンピュータ可読媒体は、様々なタイプの実体のある記録媒体（tangible storage medium）を含む。非一時的なコンピュータ可読媒体の例は、磁気記録媒体（例えばフレキシブルディスク、磁気テープ、ハードディスクドライブ）、光磁気記録媒体（例えば光磁気ディスク）、ＣＤ－ＲＯＭ（Read Only Memory）、ＣＤ－Ｒ、ＣＤ－Ｒ／Ｗ、半導体メモリ（例えば、マスクＲＯＭ、ＰＲＯＭ（Programmable ROM）、ＥＰＲＯＭ（Erasable PROM）、フラッシュＲＯＭ、ＲＡＭ（Random Access Memory））を含む。また、プログラムは、様々なタイプの一時的なコンピュータ可読媒体（transitory computer readable medium）によってコンピュータに供給されてもよい。一時的なコンピュータ可読媒体の例は、電気信号、光信号、及び電磁波を含む。一時的なコンピュータ可読媒体は、電線及び光ファイバ等の有線通信路、又は無線通信路を介して、プログラムをコンピュータに供給できる。

【0053】

以上、上記実施形態等を参照して本開示を説明したが、本開示は、上述した実施形態に限定されるものではない。本開示の構成や詳細には、本開示の範囲内で当業者が理解しうる様々な変更をすることができる。また、上述した生成部１２１と表示制御部１２２と操作部１２３との機能のうちの少なくとも一以上の機能は、ネットワーク上のいかなる場所に設置され接続された情報処理装置で実行されてもよく、つまり、いわゆるクラウドコンピューティングで実行されてもよい。

【0054】

＜付記＞
上記実施形態の一部又は全部は、以下の付記のようにも記載されうる。以下、本開示における情報表示システム、情報表示方法、プログラムの構成の概略を説明する。但し、本開示は、以下の構成に限定されない。
（付記１）
表示装置に表示された現実空間像内の所定の領域に対応する仮想画像を生成する生成部と、
前記表示装置に表示された前記現実空間像内における前記所定の領域とは異なる位置に、前記仮想画像を前記現実空間像に重畳して表示するよう制御する表示制御部と、
前記仮想画像に対する操作を受け付ける操作部と、
を備えた情報表示システム。
（付記２）
付記１に記載の情報表示システムであって、
前記生成部は、前記現実空間像内の前記所定の領域に対応する枠で囲まれた前記仮想画像を生成し、
前記表示制御部は、前記枠で囲まれた前記仮想画像を前記現実空間像に重畳して表示するよう制御する、
情報表示システム。
（付記３）
付記２に記載の情報表示システムであって、
前記表示制御部は、前記現実空間像内の前記所定の領域に対応する位置に、前記枠を重畳して表示するよう制御し、前記現実空間像内の前記所定の領域とは異なる位置に、前記枠で囲まれた前記仮想画像を表示する、
情報表示システム。
（付記４）
付記１に記載の情報表示システムであって、
前記表示制御部は、前記現実空間像内において前記所定の領域よりも近くの位置に、前記仮想画像を表示する、
情報表示システム。
（付記５）
付記１に記載の情報表示システムであって、
前記操作部は、前記仮想画像の位置、向き、大きさの少なくとも１つを変更する操作を受け付け、
前記表示制御部は、受け付けた操作に応じて前記仮想画像を処理して表示する、
情報表示システム。
（付記６）
付記１に記載の情報表示システムであって、
前記操作部は、前記仮想画像に対する情報付与の操作を受け付け、
前記表示制御部は、受け付けた操作に応じて前記仮想画像に情報を付与して表示する、
情報表示システム。
（付記７）
表示装置に表示された現実空間像内の所定の領域に対応する仮想画像を生成し、
前記表示装置に表示された前記現実空間像内における前記所定の領域とは異なる位置に、前記仮想画像を前記現実空間像に重畳して表示するよう制御し、
前記仮想画像に対する操作を受け付ける、
情報表示方法。
（付記８）
付記７に記載の情報表示方法であって、
前記仮想画像の位置、向き、大きさの少なくとも１つを変更する操作を受け付け、
受け付けた操作に応じて前記仮想画像を処理して表示する、
情報表示方法。
（付記９）
表示装置に表示された現実空間像内の所定の領域に対応する仮想画像を生成し、
前記表示装置に表示された前記現実空間像内における前記所定の領域とは異なる位置に、前記仮想画像を前記現実空間像に重畳して表示するよう制御し、
前記仮想画像に対する操作を受け付ける、
処理をコンピュータに実行させるためのプログラム。

【符号の説明】

【0055】

１０ 情報処理サーバ
１１ 位置情報取得部
１２ 位置合わせ機能部
１３ データ収集部
１４ 情報管理部
１５ 情報調整部
１６ 情報保有部
１７ データ配送部
２０ 利用者端末
２１ データ収集部
２２ 情報表示部
２３ 情報操作部
２４ データ配送部
３０ 撮影データ
４０ センサ
１００ 情報表示システム
１０１ ＣＰＵ
１０２ ＲＯＭ
１０３ ＲＡＭ
１０４ プログラム群
１０５ 記憶装置
１０６ ドライブ装置
１０７ 通信インタフェース
１０８ 入出力インタフェース
１０９ バス
１１０ 記憶媒体
１１１ 通信ネットワーク
１２１ 生成部
１２２ 表示制御部
１２３ 操作部

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】