特許 7277410 拡張現実表示装置

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2023-05-10

(45)【発行日】2023-05-18

(54)【発明の名称】拡張現実表示装置

(51)【国際特許分類】

   G06T 19/00 20110101AFI20230511BHJP

【ＦＩ】

G06T19/00 600

【請求項の数】 3

(21)【出願番号】P 2020059922

(22)【出願日】2020-03-30

(65)【公開番号】P2021157717

(43)【公開日】2021-10-07

【審査請求日】2020-03-30

【前置審査】

(73)【特許権者】

【識別番号】522068452

【氏名又は名称】東邦ガスネットワーク株式会社

(74)【代理人】

【識別番号】110000291

【氏名又は名称】弁理士法人コスモス国際特許商標事務所

(72)【発明者】

【氏名】吉野 充徳

【審査官】片岡 利延

(56)【参考文献】

【文献】特開２０１９－２１２２２５（ＪＰ，Ａ）

【文献】特開２００５－２５０５６０（ＪＰ，Ａ）

【文献】特開２０１８－０１７９５３（ＪＰ，Ａ）

【文献】特開２０１６－１７１９８９（ＪＰ，Ａ）

【文献】登録実用新案第３０９５０３０（ＪＰ，Ｕ）

【文献】特開２０１７－１９２１０６（ＪＰ，Ａ）

【文献】特開２０１８－００７０４１（ＪＰ，Ａ）

【文献】特開２０１７－０４６１０５（ＪＰ，Ａ）

【文献】特開２０１８－１６９８２４（ＪＰ，Ａ）

【文献】特開２０１５－１１４８２３（ＪＰ，Ａ）

【文献】特開２０１７－０７３１３９（ＪＰ，Ａ）

【文献】特開平１０－２２０６８６（ＪＰ，Ａ）

【文献】矢口竜太郎（日経XTECH），ARで堀り間違いをゼロに、部門間の壁もなくす，[online]，2017年06月20日，https://xtech.nikkei.com/it/atcl/column/17/061300233/061600002/

【文献】PR TIMES，自由に角度調整できる雲台付きで、省スペースに設置できるカメラ用一脚を１０月５日発売，[online]，2018年10月05日，https://prtimes.jp/main/html/rd/p/000001611.000011495.html，［検索日：2021-04-20］

【文献】PR TIMES，自由に角度調整できる雲台付きで、省スペースに設置できるカメラ用一脚を１０月５日発売，[online]，2018年10月05日，https://prtimes.jp/main/html/rd/p/000001611.000011495.html，［検索日：2021-04-20］

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ０６Ｔ １９／００

(57)【特許請求の範囲】

【請求項1】

埋設物位置確認用の拡張現実表示装置であって、地面を撮影する撮像部と、前記撮像部により撮影された撮影画像を表示する表示部と、前記拡張現実表示装置の位置情報を取得する位置情報取得部と、を備え、前記撮像部により撮影される前記地面における埋設物に関する仮想オブジェクトを表示する拡張現実表示装置において、
前記仮想オブジェクトは、前記埋設物の敷設状態を表す図面データにより生成されたものであり、少なくとも前記埋設物の位置情報を有すること、
前記拡張現実表示装置は、
前記位置情報取得部により取得した位置情報と、前記撮像部と前記仮想オブジェクトの投影対象としての前記地面との距離である距離情報と、前記撮像部の画角と、に基づき、前記表示部に表示される前記地面の表示範囲を算出し、
前記仮想オブジェクトの、前記表示範囲の範囲外となる部分をトリミングし、
前記トリミングされた後の前記仮想オブジェクトを前記撮影画像に重畳して前記表示部に、実空間の尺度で表示する仮想オブジェクト合成プログラムを有すること、
前記撮像部と前記地面との距離を定める位置決め部材を有すること、
前記位置決め部材は、前記撮像部の中央に位置すること、
前記撮像部が前記地面とともに撮影するユーザの足を、前記撮影画像中で、前記撮影画像に重畳して表示される前記仮想オブジェクトの位置に合わせ、前記埋設物の位置を特定すること、
を特徴とする拡張現実表示装置。

【請求項2】

請求項１に記載の拡張現実表示装置において、
前記撮像部はズーム機能を有すること、
前記画角は、前記ズーム機能による焦点距離の変動に応じて算出されること、
を特徴とする拡張現実表示装置。

【請求項3】

請求項１または２に記載の拡張現実表示装置において、
前記図面データは、少なくとも既設の埋設物および未設の埋設物の両方、またはいずれか一方に関するものであること、
を特徴とする拡張現実表示装置。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、埋設物位置確認用の拡張現実表示装置であって、地面を撮影する撮像部と、撮像部により撮影された撮影画像を表示する表示部と、拡張現実表示装置の位置情報を取得する位置情報取得部と、を備え、撮像部により撮影される地面における埋設物に関する仮想オブジェクトを表示する拡張現実表示装置に関するものである。

【背景技術】

【0002】

例えば、新規に水道管などを地中に敷設しようとする場合、敷設しようとする位置に、水道管を敷設するための設置溝を掘り起こし、当該設置溝に水道管を敷設する。この設置溝を掘り起こす際、既設のガス管などの埋設物があれば、当該埋設物を避けて工事を行わなければならない。このため、工事を行う現場では、既設のガス管の敷設状態を示す竣工図等に基づいて測量を行うなどし、埋設物の位置を割り出した後、設置溝を掘り起こす位置を定めている。この測量等によって埋設物の位置を割り出す作業は、時間がかかるため、作業時間の短縮化が求められている。

【0003】

そこで注目されるのが、実空間に仮想オブジェクトを重畳して表示する拡張現実（ＡＲ：Ａｕｇｍｅｎｔｅｄ Ｒｅａｌｉｔｙ）と呼ばれる技術である。撮像部および撮像部により撮影された撮影画像を表示させる拡張現実表示装置を用い、既設のガス管などを仮想オブジェクトとして、撮像部により撮影された実空間（地面など）の撮影画像に重畳して表示すれば、上記のように測量等の時間を要することなく、埋設物の位置を確認することができる。

【0004】

ここで、ＡＲ技術には、ビジョンベースＡＲと呼ばれる技術と、ロケーションベースＡＲと呼ばれる技術がある。

【0005】

ビジョンベースＡＲは、マーカーや構造物等を事前に登録しておき、その登録されたマーカーや構造物等の位置において、仮想オブジェクトを表示させる技術である。しかし、仮想オブジェクトとしてガス管等の埋設物を表示しようとした場合、ガス管等の埋設物は広範囲に渡って埋設されるため、マーカーや構造物の登録作業が膨大となってしまう。よって、ガス管等の埋設物の位置を確認するために、ビジョンベースＡＲを利用することは現実的でない。

【0006】

一方のロケーションベースＡＲは、ＧＰＳ機器等により取得する位置情報に紐づけて仮想オブジェクトを表示する技術であり、ガス管等の埋設物を広範囲に表示させることに向いている。そこで、例えば、特許文献１に示すように、ガス管等の埋設物の位置を確認するためには、ロケーションベースＡＲの活用が考えられる。

【先行技術文献】

【特許文献】

【0007】

【文献】特開平１０－３１３５１５号公報

【発明の概要】

【発明が解決しようとする課題】

【0008】

しかしながら、上記従来技術には次のような問題があった。
ロケーションベースＡＲは、ＧＰＳ機器により拡張現実表示装置の位置は特定できるが、撮影画像上のどこに仮想オブジェクトを表示させるのかを正確に特定することができない。このため、撮影画像に重畳される仮想オブジェクトの尺度が、撮影画像上の実空間の物の尺度と合わない場合がある。すると、仮想オブジェクトとして既設のガス管等の埋設物を、撮影画像に重畳させて表示させても、実際に埋設されている位置とはずれて仮想オブジェクトが表示されたり、実際の埋設物よりも大きいサイズ（または小さいサイズ）の仮想オブジェクトが表示されたりしてしまうおそれがある。すると、既設の埋設物がある場所で、新規に水道管などを敷設しようとした場合、既設の埋設物と干渉してしまうような位置に水道管を敷設する計画となっていても、実際に埋設されている位置とはずれて表示される仮想オブジェクトによって、問題ないと判断され、地面を掘り起こす際に、既設の埋設物を損傷させるおそれがあった。

【0009】

本発明は、上記問題点を解決するためのものであり、仮想オブジェクトの尺度を実空間の尺度に合わせて、正確な位置に表示させることが可能な埋設物位置確認用の拡張現実表示装置を提供することを目的とする。

【課題を解決するための手段】

【0010】

上記課題を解決するために、本発明の拡張現実表示装置は、次のような構成を有している。
（１）埋設物位置確認用の拡張現実表示装置であって、地面を撮影する撮像部と、撮像部により撮影された撮影画像を表示する表示部と、拡張現実表示装置の位置情報を取得する位置情報取得部と、を備え、撮像部により撮影される地面における埋設物に関する仮想オブジェクトを表示する拡張現実表示装置において、仮想オブジェクトは、埋設物の敷設状態を表す図面データにより生成されたものであり、少なくとも埋設物の位置情報を有すること、拡張現実表示装置は、位置情報取得部により取得した位置情報と、撮像部と仮想オブジェクトの投影対象としての地面との距離である距離情報と、撮像部の画角と、に基づき、表示部に表示される地面の表示範囲を算出し、仮想オブジェクトの、表示範囲の範囲外となる部分をトリミングし、トリミングされた後の仮想オブジェクトを撮影画像に重畳して表示部に、実空間の尺度で表示する仮想オブジェクト合成プログラムを有すること、撮像部と地面との距離を定める位置決め部材を有すること、位置決め部材は、撮像部の中央に位置すること、撮像部が地面とともに撮影するユーザの足を、撮影画像中で、撮影画像に重畳して表示される仮想オブジェクトの位置に合わせ、埋設物の位置を特定すること、を特徴とする。

【0011】

（１）に記載の拡張現実表示装置によれば、仮想オブジェクト合成プログラムが、位置情報取得部により取得した位置情報と、撮像部と地面との距離である距離情報と、撮像部の画角と、に基づき、表示部に表示される撮影画像の表示範囲を算出し、仮想オブジェクトの、表示範囲の範囲外となる部分をトリミングする。仮想オブジェクトは、埋設物の位置情報を有するため、位置情報取得部により取得した拡張現実表示装置の位置情報と照らし合わせ、仮想オブジェクトの内、表示範囲の範囲外となる部分を正確にトリミングすることが可能である。よって、仮想オブジェクトの尺度を実空間の尺度に合わせて、撮影画像の正確な位置に重畳して表示部に表示することが可能である。また、拡張現実表示装置を使用する場所に関わらず、位置決め部材（例えば、一脚や三脚のような棒状部材）によって撮像部と地面との距離が定まるため、当該定められた距離を距離情報として用いて、撮影画像の表示範囲を算出することができる。なお、この場合の距離情報は、仮想オブジェクト合成プログラムにおいて予め定められた値として用いられても良いし、拡張現実表示装置を使用する際に、手入力より距離情報を入力しても良い。

【0016】

（４）（１）乃至（３）のいずれか１つに記載の拡張現実表示装置において、撮像部はズーム機能を有すること、画角は、ズーム機能による焦点距離の変動に応じて算出されること、を特徴とする。

【0017】

（４）に記載の拡張現実表示装置によれば、地面に広範囲に渡って埋設される埋設物について、撮像部の有するズーム機能によって、埋設物の工事等に必要な部分の仮想オブジェクトを表示させることができる。

【0018】

（５）（１）乃至（４）のいずれか１つに記載の拡張現実表示装置において、図面データは、少なくとも既設の埋設物および未設の埋設物の両方、またはいずれか一方に関するものであること、を特徴とする。

【0019】

（５）に記載の拡張現実表示装置によれば、既設の埋設物を仮想オブジェクトとして、実空間の尺度に合わせて撮影画像に重畳して表示することができるため、既設の埋設物の位置を、容易にかつ正確に確認できるようになる。そうすると、例えば、ガス管等の既設の埋設物がある場所に、新規に水道管などを敷設しようとする場合、既設の埋設物を避けて工事をすることが容易となる。
また、例えば工事計画中の未設の埋設物を仮想オブジェクトとして、実空間の尺度に合わせて撮影画像に重畳して表示することができる。工事予定の現場において、正確な尺度で未設の埋設物の位置を仮想オブジェクトによって確認することができれば、例えば、舗装道路のカッター工事を行う際のカッターラインをマーキングする等の作業が容易になるなど、工事の準備作業が容易になる。また、既設の埋設物等の障害物を避けた計画となっているか等、工事計画の妥当性を容易にかつ正確に確認可能となる。

【発明の効果】

【0022】

本発明の拡張現実表示装置によれば、仮想オブジェクトの尺度を実空間の尺度に合わせて、正確な位置に表示させることが可能となる。

【図面の簡単な説明】

【0023】

【図1】第１の実施形態に係る拡張現実表示装置の外観の構成を示す図である。

【図2】第１の実施形態に係る拡張現実表示装置のハードウェア構成を示すブロック図である。

【図3】第１の実施形態に係る拡張現実表示装置の使用状態の一例を示す図である。

【図4】（ａ）～（ｃ）は、既設の埋設物に関する仮想オブジェクトを撮影画像に重畳する場合を説明する図である。（ａ）は、仮想オブジェクト重畳前のディスプレイに表示される撮影画像であり、（ｂ）は、仮想ガス管を表す図であり、（ｃ）は、仮想オブジェクト重畳後のディスプレイに表示される撮影画像である。

【図5】（ａ）および（ｂ）は、既設の埋設物に加え、未設の埋設物に関する仮想オブジェクトを撮影画像に重畳する場合を説明する図である。（ａ）は、仮想オブジェクト重畳前のディスプレイに表示される撮影画像であり、（ｂ）は、仮想オブジェクト重畳後のディスプレイに表示される撮影画像である。

【図6】仮想オブジェクト合成プログラムの動作を表すフローチャートである。

【図7】従来技術によって仮想オブジェクトを重畳しディスプレイに表示される撮影画像である。

【図8】第２の実施形態に係る拡張現実表示装置のハードウェア構成を示すブロック図である。

【図9】第２の実施形態に係る拡張現実表示装置の使用状態の一例を示す図である。

【発明を実施するための形態】

【0024】

本発明の拡張現実表示装置の実施形態について、図面を参照しながら詳細に説明する。

【0025】

（第１の実施形態）
まず、第１の実施形態に係る拡張現実表示装置１の構成について説明する。図１は、本実施形態に係る拡張現実表示装置１の外観の構成を示す図である。図２は、拡張現実表示装置１のハードウェア構成を示すブロック図である。図３は、拡張現実表示装置１の使用状態の一例を示す図である。

【0026】

拡張現実表示装置１は、図１に示すように、端末装置１１と、ＧＰＳ機器（位置情報取得部の一例）１２と、カメラ（撮像部の一例）１３と、定尺棒（位置決め部材の一例）１４と、からなる。

【0027】

端末装置１１は、図１に示すように、ディスプレイ（表示部の一例）１１５を表面に備えており、該ディスプレイ１１５には、表面にタッチパネル（後述する操作部１１４）が設けられている。

【0028】

ＧＰＳ機器１２は、ＧＰＳ衛星が発するＧＰＳ信号を受信することで、拡張現実表示装置１の位置情報（経度、緯度）を取得する。

【0029】

カメラ１３は、後述する定尺棒１４の接地面１４ａ側（図１中の下方）を向いて取り付けられており、実空間を撮影するためのものである。そして、カメラ１３により撮影した撮影画像は、ディスプレイ１１５に表示させることが可能である。また、カメラ１３はズーム機能を有しており、不図示のズームレンズにより、屈折率や焦点距離を調整することが可能である。なお、カメラ１３は、ズーム機能を有さず、単焦点レンズを有するものとしても良い。

【0030】

定尺棒１４は、円筒状の形状を有しており、一方の端部（図１中の上端部）にＧＰＳ機器１２が取り付けられている。また、他方の端部（図１中の下端部）は、接地面１４ａとなっており、拡張現実表示装置１は、図３に示すように、接地面１４ａを地面３０に当接させ、定尺棒１４を地面３０に対して垂直となるように使用者が保持して使用する。このように拡張現実表示装置１が保持されることで、カメラ１３と地面３０との距離Ｄ１１が、拡張現実表示装置１を使用する場所に関わらず、定まることとなる。

【0031】

次に、拡張現実表示装置１のハードウェアの構成について説明する。端末装置１１は、図２に示すように、ＣＰＵ１１１と、メモリ１１２と、方位センサ１１３と、慣性センサ１１７と、操作部１１４と、ディスプレイ１１５と、通信部１１６とを有している。そして、メモリ１１２には、仮想オブジェクトを、カメラ１３により撮影した撮影画像に重畳してディスプレイ１１５に表示させるための仮想オブジェクト合成プログラム１１２ａが記憶されている。

【0032】

ＣＰＵ１１１と、メモリ１１２と、方位センサ１１３と、操作部１１４と、ディスプレイ１１５と、通信部１１６とは、それぞれ相互にデータの授受が可能なように電気的に接続されている。また、ＣＰＵ１１１には、端末装置１１の外部に設けられているＧＰＳ機器１２およびカメラ１３も、相互にデータの授受が可能なように電気的に接続されている。

【0033】

ＣＰＵ１１１は、仮想オブジェクト合成プログラム１１２ａに従って、端末装置１１全体を制御する。

【0034】

メモリ１１２は、コンピュータに内蔵されるＲＯＭ、ＲＡＭ、ハードディスク等の記憶装置である。

【0035】

方位センサ１１３は、端末装置１１が向く方角を検知するセンサである。例えば、地磁気センサが用いられる。

【0036】

慣性センサ１１７は、端末装置１１の、地面３０に対する角度など、姿勢を検知するためのセンサである。加速度センサや角速度センサが用いられる。

【0037】

操作部１１４は、例えば上述したディスプレイ１１５の表面に設けられたタッチパネルである。キーボード等の入力装置を設けることとしても良い。

【0038】

ディスプレイ１１５は、カメラ１３により撮影した撮影画像や、タッチパネルの操作の用に供される仮想的なボタン（後述する操作ボタン２０１，２０２（図４，図５参照））等を表示する。

【0039】

通信部１１６は、サーバ等の外部の装置との間で通信ネットワークを介して情報の授受を実行する。授受される情報とは、例えば、カメラ１３により撮影される撮影画像に重畳するために予め生成された仮想オブジェクトである。

【0040】

ここで、仮想オブジェクトとは、拡張現実表示装置１を使用する位置（ＧＰＳ機器１２により取得する位置情報に基づく）における埋設物を表示するものであり、当該埋設物の敷設状態を表す図面データ（例えば、３次元点群データや、オルソ画像など）により生成されるものである。また、上記図面データとは、例えば既設の埋設物に関する竣工図等の管理図面や、工事計画中の未設の埋設物に関する図面が挙げられる。

【0041】

既設の埋設物に関する竣工図等の管理図面により生成された仮想オブジェクトは、拡張現実表示装置１を使用する位置において、その地下に実際に埋設されている埋設物を表すものであり、拡張現実表示装置１の使用者は、どのような埋設物が敷設されているのか、撮影画像に重畳される仮想オブジェクトにより確認することができる。

【0042】

一方で、工事計画中の未設の埋設物に関する図面により生成された仮想オブジェクトは、拡張現実表示装置１を使用する位置において、これから敷設される予定の埋設物を表すものであり、拡張現実表示装置１の使用者は、どのような計画で埋設物が敷設されるのか、撮影画像に重畳される仮想オブジェクトにより確認することができる。

【0043】

次に、拡張現実表示装置１の使用態様および仮想オブジェクト合成プログラム１１２ａの動作について説明する。例えば、図３に示すように、地面３０の地下にガス管（埋設物の一例）２０が敷設されている場所において、新規に水道管を埋設しようとする場合に、ガス管２０の埋設位置を確認するために、拡張現実表示装置１を使用したとする。

【0044】

ガス管２０は、直管２１Ａ～２１Ｅおよび継手２２Ａ～２２Ｄからなっている。直管２１Ａ，２１Ｅは、ともに地面３０から同一の深さ（例えば、３０ｃｍの深さ）に埋設されるとともに、地面３０に対して平行に敷設されている。そして、直管２１Ａに継手２２Ａを介して接続された直管２１Ｂと、直管２１Ｅに継手２２Ｄを介して接続された直管２１Ｄとは、地面３０に対して直角に敷設されている。継手２２Ｂ，２２Ｃにより、直管２１Ｃと直管２１Ｄとを接続する直管２１Ｃは、直管２１Ａ，２１Ｅよりも深い位置（例えば、地面３０から６０ｃｍの深さ）において、地面３０に対して平行に敷設されている。

【0045】

拡張現実表示装置１を使用するには、定尺棒１４の接地面１４ａを地面３０に当接させ、定尺棒１４を地面３０に対して垂直となるように使用者が保持して使用する。このとき、カメラ１３は、地面３０の側を向いており、地面３０を撮影する。

【0046】

そして、カメラ１３により撮影された撮影画像はディスプレイ１１５に表示される。撮影画像としてディスプレイ１１５に表示される表示範囲Ｒ１１は、拡張現実表示装置１の使用される位置と、カメラ１３の画角Ａ１１と、カメラ１３と地面３０との距離Ｄ１１により定まるものである。なお、画角Ａ１１は、カメラ１３がズーム機能を有するため、ズームレンズにより屈折率や焦点距離が変更されるに応じて変動するものである。

【0047】

図４（ａ）は、仮想オブジェクト重畳前のディスプレイ１１５に表示される撮影画像である。画面２００に示す撮影画像は、表示範囲Ｒ１１に対応している。また、画面２００は、実空間のみを表示しているのであり、仮想オブジェクトはまだ表示されていない状態である。

【0048】

画面２００には、地面３０と、地面３０上に描かれた埋設計画ライン３１，カッターライン３２，舗装ライン３３とが表示されている他、地面３０のひび割れ３４や、地面３０上に落ちている小石３５、拡張現実表示装置１の使用者の足３６も表示されている。ここで、埋設計画ライン３１とは、新規に埋設しようとしている水道管の埋設位置をマーキングしたものである。カッターライン３２とは、新規に埋設しようとする水道管を埋設する際に、地面３０を掘り起こす範囲をマーキングしたものである。舗装ライン３３とは、例えば、歩道と車道とを区切る白線である。なお、画面２００において破線で表されているものは、埋設されているガス管２０であり、実際にはディスプレイ１１５に表示されていない。

【0049】

また、画面２００には、タッチパネルにより操作可能な仮想的なボタンとして、操作ボタン２０１，２０２が表示されている。操作ボタン２０１は、使用者が、撮影画像に仮想オブジェクトを重畳して表示させたいときに押すものである。操作ボタン２０１を押すと、仮想オブジェクト合成プログラム１１２ａが動作し、ディスプレイ１１５に、撮影画像に仮想オブジェクトが重畳されて表示される。操作ボタン２０２は、使用者が、仮想オブジェクトの表示を終了させたいときに押すものである。操作ボタン２０２を押すと、仮想オブジェクトの表示が終了され、ディスプレイ１１５に、撮影画像のみが表示される。そして、仮想オブジェクト合成プログラム１１２ａの動作が終了する。

【0050】

操作ボタン２０１が押されたとき、仮想オブジェクト合成プログラム１１２ａは以下のように動作する。図６は、仮想オブジェクト合成プログラム１１２ａの動作を表すフローチャートである。

【0051】

まず、ＣＰＵ１１１は、ＧＰＳ機器１２により、拡張現実表示装置１の位置情報を取得する（Ｓ１１）。そして、ＣＰＵ１１１は、ＧＰＳ機器１２によって取得した位置情報に対応する位置における埋設物に関わる仮想オブジェクトの情報を、通信部１１６を介して取得する（Ｓ１２）。ここでは、仮想オブジェクトとして、地面３０に埋設されたガス管２０を表す仮想ガス管５０（図４（ｂ）参照）の情報を取得する。

【0052】

図４（ｂ）は、仮想ガス管５０を表す図である。なお、図４（ｂ）に示す仮想ガス管５０は、地面３０の側から見たガス管２０を表している。仮想ガス管５０の仮想直管５１Ａ，５１Ｃ，５１Ｅは、それぞれガス管２０の直管２１Ａ，２１Ｃ，２１Ｅに対応している。なお、直管２１Ｂ，２１Ｄは、地面３０側からガス管２０を見た場合、それぞれ継手２２Ａ，２２Ｄに隠れて見えないため、ここでは省略されている。また、仮想ガス管５０の仮想継手５２Ａ～５２Ｄは、それぞれガス管２０の継手２２Ａ～２２Ｄに対応している。

【0053】

この仮想ガス管５０は、例えば、ガス管２０の３次元点群データや、オルソ画像等の竣工図に基づいて生成されたものであり、ガス管２０の位置情報（経度、緯度、高度）や、寸法情報（ガス管２０の長さや、地面３０からの深さ、管径等）を有している。例えば、３次元点群データに基づいて生成された仮想ガス管５０は、無数の点が集合することで構成されるオブジェクトであり、当該無数の点のそれぞれが自身の位置情報を有することとなる。

【0054】

図６のフローチャートの説明に戻ると、ＣＰＵ１１１は、通信部１１６により仮想オブジェクトの情報を取得した後、カメラ１３と地面３０との距離Ｄ１１の情報をメモリ１１２から読み出す（Ｓ１３）。この距離Ｄ１１は、定尺棒１４により予め定められている値である。なお、距離Ｄ１１の情報は、使用者がタッチパネルにより端末装置１１に入力するものとしても良い。

【0055】

次に、ＣＰＵ１１１は、画角Ａ１１を算出する（Ｓ１４）。この画角Ａ１１は、カメラ１３に用いられるイメージセンサのサイズや、ズーム機能によって調整される屈折率や焦点距離を考慮して算出されるものである。

【0056】

さらに、ＣＰＵ１１１は、ＧＰＳ機器１２により取得した位置情報と、メモリ１１２から読み出した距離Ｄ１１と、算出した画角Ａ１１に基づいて、三角関数により撮影画像の表示範囲Ｒ１１を算出する（Ｓ１５）。仮想オブジェクトの内、表示範囲Ｒ１１の範囲外となる部分を特定して、当該特定された部分をトリミングする（Ｓ１６）。

【0057】

図４（ｂ）に示すように、仮想ガス管５０の内、表示範囲Ｒ１１の外側の部分（図４（ｂ）中の斜線部分）が、表示範囲Ｒ１１の範囲外となる部分として特定され、トリミングされる。仮想ガス管５０は、ガス管２０の位置情報を有するため、当該位置情報を、ＧＰＳ機器１２により取得した拡張現実表示装置１の位置情報と照らし合わせることで、仮想ガス管５０の内、表示範囲Ｒ１１の範囲外となる部分を正確にトリミングすることが可能である。例えば、仮想ガス管５０が３次元点群データにより生成されたものであれば、仮想ガス管５０を構成する無数の点のそれぞれが有する自身の位置情報と、拡張現実表示装置１の位置情報との差分により、表示範囲Ｒ１１の範囲内か範囲外かの判断がなされる。なお、トリミングの方法はこれに限定されず、仮想ガス管５０は管の長さ等の寸法情報を有するため、算出された表示範囲Ｒ１１と照らし合わせることによっても、仮想ガス管５０の内、表示範囲Ｒ１１の範囲外となる部分を正確にトリミングすることが可能である。

【0058】

そして、ＣＰＵ１１１は、トリミングされた後の仮想オブジェクトを、方位センサ１１３や、慣性センサ１１７により検知した端末１１の向く方角や姿勢に合わせて、撮影画像とマッチングした上、重畳してディスプレイ１１５に表示させる（Ｓ１７）。本実施形態では、トリミングされた後の仮想ガス管５０が、撮影画像としての地面３０に重畳されて、ディスプレイ１１５に表示される。

【0059】

図４（ｃ）は、仮想オブジェクト重畳後のディスプレイ１１５に表示される撮影画像である。画面２１０に示す撮影画像には、表示範囲Ｒ１１に基づいてトリミングされた仮想ガス管５０を撮影画像とマッチングした上、重畳されているため、仮想ガス管５０の尺度が実空間の尺度と合致され、仮想ガス管５０が実際のガス管２０の位置に精度高く表示されている。

【0060】

このように精度高く埋設物が表示されることで、既設の埋設物がある場所で、例えば新規に水道管を埋設しようとする場合に、その埋設しようとする計画に問題が無いか、容易にかつ正確に確認することができる。

【0061】

また、実際に新規の水道管を埋設する工事を行う際、ガス管２０が埋設されている位置を掘り起こさないように、地面３０に、ガス管２０が埋設されている位置のマーキングを行う。このマーキングを行う際にも、使用者は、ディスプレイ１１５に表示される画面２１０を見ながら、足３６のつま先を仮想ガス管５０に合わせるなどし、そのつま先位置でマーキングすることができる。よって、測量等を行う必要がなく、マーキング作業が容易となる。

【0062】

画面２１０の例では、新規に埋設しようとしている水道管の埋設位置をマーキングした埋設計画ライン３１が、仮想ガス管５０の仮想継手５２Ａと、ほぼ接触するような位置となっていることが分かる。仮想ガス管５０は、ガス管２０の位置に精度良く表示されているため、埋設計画ライン３１が、仮想継手５２Ａと接触しているということは、即ち、埋設計画ライン３１が、実際の継手２２Ａと接触しているのであると、容易にかつ正確に確認される。このまま埋設計画ライン３１に沿って工事を進めると、ガス管２０を損傷させることとなるため、水道管の埋設位置の迂回等、計画の変更が必要であるとの判断がなされる。

【0063】

図７は、従来技術によって仮想オブジェクトを重畳しディスプレイ１１５に表示される撮影画像である。従来技術のロケーションベースＡＲでは、図７に示すように、仮想ガス管５０が、実空間との尺度が合わず、実際のガス管２０よりも大きく表示される場合がある。このような場合、図７中の右側のカッターライン３２を、左側にずらせば問題なく工事が行えるように見えてしまうため、図７中の右側のカッターライン３２の位置を変更するのみで工事が行われてしまう。しかし、実際には、上述の通り埋設計画ライン３１が、実際の継手２２Ａと接触しているのであるから、ガス管２０を損傷させる結果となってしまう。拡張現実表示装置１によれば、容易かつ確実にこのような事態を避けることができる。

【0064】

図６のフローチャートの説明に戻ると、使用者が仮想オブジェクトの確認を終え、操作ボタン２０２を押すと、仮想オブジェクトの表示が終了され（Ｓ１８）、ディスプレイ１１５の表示は、撮影画像のみが表示される画面２００に戻る。そして、仮想オブジェクト合成プログラム１１２ａの動作が終了する。

【0065】

以上は、既設の埋設物のみに関する仮想オブジェクトを撮影画像に重畳する場合について説明したが、撮影画像には、工事計画中の未設の埋設物に関する図面により生成された仮想オブジェクトを重畳し、ディスプレイ１１５に表示させることも可能である。当該仮想オブジェクトは、拡張現実表示装置１を使用する位置において、その地下にこれから埋設される予定の埋設物を表すものであり、拡張現実表示装置１の使用者は、どのような埋設物が敷設される予定なのか、撮影画像に重畳される仮想オブジェクトにより確認することができる。

【0066】

例えば、ガス管２０が敷設されている地面３０に、新規に水道管を埋設しようとする場合に、予め当該水道管の工事計画図面などに基づき、仮想オブジェクトを生成しておく。そして、地面３０には、新規に埋設しようとしている水道管の埋設位置や、地面３０を掘り起こす範囲をマーキングする埋設計画ライン３１およびカッターライン３２は、未だ描かれていない状態で、拡張現実表示装置１を使用したとする。

【0067】

この場合、カメラ１３により撮影され、ディスプレイ１１５に表示された撮影画像は、図５（ａ）の画面２２０のようになる。撮影画像には、舗装ライン３３、地面３０のひび割れ３４、地面３０上に落ちている小石３５、拡張現実表示装置１の使用者の足３６のみが表示されている。地面３０には、埋設計画ライン３１およびカッターライン３２は描かれていないため、画面２００と異なり、撮影画像に埋設計画ライン３１およびカッターライン３２は表示されていない。なお、画面２２０に表示されている撮影画像は、表示範囲Ｒ１１に対応している。また、画面２２０は、実空間のみを表示しているのであり、仮想オブジェクトはまだ表示されていない状態である。

【0068】

使用者が操作ボタン２０１を押すと、仮想オブジェクト合成プログラム１１２ａが動作し、図５（ｂ）の画面２３０のように、撮影画像に仮想オブジェクトが重畳され、ディスプレイ１１５に表示される。画面２３０に表示されている仮想オブジェクトは、新規に埋設予定の水道管の工事計画図面に基づいて生成された仮想埋設計画ライン５４および仮想カッターライン５５と、先に説明した画面２１０と同様の既設のガス管２０を表す仮想ガス管５０である。

【0069】

このように、工事予定の現場において、正確な尺度で埋設予定の水道管の位置を仮想オブジェクトによって確認することができるため、実際に地面３０に埋設計画ライン３１およびカッターライン３２をマーキングする作業が容易になるなど、工事の準備作業が容易になる。また、既設の埋設物（ガス管２０）等の障害物を避けた計画となっているか等、工事計画の妥当性を容易にかつ正確に確認可能となる。なお、画面２３０には、既設の埋設物である仮想ガス管５０と、未設の埋設物に関する仮想埋設計画ライン５４および仮想カッターライン５５とを同時に表示しているが、それぞれを別個に表示できるようにしても良い。

【0070】

また、仮想オブジェクトは、管の長さや、埋設物の深さ、管径等の寸法情報を有しているため、画面２３０に示すように、寸法情報５６Ａ，５６Ｂ，５６Ｃを仮想オブジェクトとともに表示することが可能である。寸法情報５６Ａは直管２１Ｅの地面３０からの深さ、寸法情報５６Ｂは直管２１Ｃの地面３０からの深さ、寸法情報５６Ｃは直管２１Ａの地面３０からの深さを表している。直管２１Ａ～２１Ｅの管径を表示することも可能である。

【0071】

さらにまた、既設のガス管２０の交換が計画されている場合には、その工事計画図面に基づき、ガス管２０の交換のために地面３０を掘り起こす範囲を示す仮想カッターライン５３を表示することも可能である。

【0072】

以上説明したように、第１の実施形態の拡張現実表示装置１によれば、
（１）埋設物位置確認用の拡張現実表示装置１であって、地面３０を撮影するカメラ１３と、カメラ１３により撮影された撮影画像を表示するディスプレイ１１５と、拡張現実表示装置１の位置情報を取得するＧＰＳ機器１２と、を備え、カメラ１３により撮影される地面３０における埋設物（例えば、既設のガス管２０や工事計画中の未設の水道管）に関する仮想オブジェクト（例えば、仮想ガス管５０、仮想埋設計画ライン５４、仮想カッターライン５５）を表示する拡張現実表示装置１において、仮想オブジェクトは、埋設物の敷設状態を表す図面データにより生成されたものであり、少なくとも埋設物の位置情報を有すること、拡張現実表示装置１は、ＧＰＳ機器１２により取得した位置情報と、カメラ１３と地面３０との距離Ｄ１１である距離情報と、カメラ１３の画角Ａ１１と、に基づき、ディスプレイ１１５に表示される撮影画像の表示範囲Ｒ１１を算出し、仮想オブジェクトの、表示範囲Ｒ１１の範囲外となる部分をトリミングし、トリミングされた後の仮想オブジェクトを撮影画像に重畳してディスプレイ１１５に表示する仮想オブジェクト合成プログラム１１２ａを有すること、を特徴とする。

【0073】

（１）に記載の拡張現実表示装置１によれば、仮想オブジェクト合成プログラム１１２ａが、ＧＰＳ機器１２により取得した位置情報と、カメラ１３と地面３０との距離Ｄ１１である距離情報と、カメラ１３の画角Ａ１１と、に基づき、ディスプレイ１１５に表示される撮影画像の表示範囲Ｒ１１を算出し、仮想オブジェクトの、表示範囲Ｒ１１の範囲外となる部分をトリミングする。仮想オブジェクトは、埋設物の位置情報を有するため、ＧＰＳ機器１２により取得した拡張現実表示装置１の位置情報と照らし合わせ、仮想オブジェクトの内、表示範囲の範囲外となる部分を正確にトリミングすることが可能である。よって、仮想オブジェクトの尺度を実空間の尺度に合わせて、撮影画像の正確な位置に重畳してディスプレイ１１５に表示することが可能である。

【0074】

（２）（１）に記載の拡張現実表示装置１において、カメラ１３と地面３０との距離Ｄ１１を定める定尺棒１４を有すること、を特徴とする。

【0075】

（２）に記載の拡張現実表示装置１によれば、拡張現実表示装置１を使用する場所に関わらず、定尺棒１４によってカメラ１３と地面３０との距離が定まるため、当該定められた距離Ｄ１１を距離情報として用いて、撮影画像の表示範囲Ｒ１１を算出することができる。なお、この場合の距離情報は、仮想オブジェクト合成プログラム１１２ａにおいて予め定められた値として用いられても良いし、拡張現実表示装置１を使用する際に、手入力より距離情報を入力しても良い。

【0076】

（４）（１）乃至（３）のいずれか１つに記載の拡張現実表示装置において、カメラ１３はズーム機能を有すること、画角Ａ１１は、ズーム機能による焦点距離の変動に応じて算出されること、を特徴とする。

【0077】

（４）に記載の拡張現実表示装置１によれば、地面３０に広範囲に渡って埋設される埋設物について、カメラ１３の有するズーム機能によって、埋設物の工事等に必要な部分の仮想オブジェクトを表示させることができる。

【0078】

（５）（１）乃至（４）のいずれか１つに記載の拡張現実表示装置１において、図面データは、少なくとも既設の埋設物（例えば、ガス管２０）に関するものであること、を特徴とする。

【0079】

（５）に記載の拡張現実表示装置１によれば、既設の埋設物を仮想オブジェクトとして、実空間の尺度に合わせて撮影画像に重畳して表示することができるため、既設の埋設物の位置を、容易にかつ正確に確認できるようになる。そうすると、例えば、ガス管２０等の既設の埋設物がある場所に、新規に水道管などを敷設しようとする場合、既設の埋設物を避けて工事をすることが容易となる。

【0080】

（６）（１）乃至（５）のいずれか１つに記載の拡張現実表示装置１において、図面データは、少なくとも未設の埋設物（例えば、工事計画中の未設の水道管）に関するものであること、を特徴とする。

【0081】

（４）に記載の拡張現実表示装置１によれば、例えば工事計画中の未設の埋設物を仮想オブジェクトとして、実空間の尺度に合わせて撮影画像に重畳して表示することができる。工事予定の現場において、正確な尺度で未設の埋設物の位置を仮想オブジェクトによって確認することができれば、例えば、舗装道路のカッター工事を行う際のカッターライン３２をマーキングする等の作業が容易になるなど、工事の準備作業が容易になる。また、既設の埋設物等の障害物を避けた計画となっているか等、工事計画の妥当性を容易にかつ正確に確認可能となる。

【0082】

（第２の実施形態）
次に、第２の実施形態に係る拡張現実表示装置１００について図８および図９を参照して、第１の実施形態と異なる点のみ説明する。図８は、第２の実施形態に係る拡張現実表示装置１００のハードウェア構成を示すブロック図である。図９は、第２の実施形態に係る拡張現実表示装置１００の使用状態の一例を示す図である。

【0083】

拡張現実表示装置１００は、ＧＰＳ機器１２とカメラ１３が端末装置１１に内蔵されている。また、距離センサ１１８が、ＣＰＵ１１１と相互にデータの授受が可能なように電気的に接続されている。

【0084】

そして、図９に示すように、地面３０の上で拡張現実表示装置１００を用いることで、距離センサ１１８によって、拡張現実表示装置１００を使用する度にカメラ１３と地面３０との距離Ｄ１１を検出し、表示範囲Ｒ１１の算出を行う。つまり、第１の実施形態においては、図６のＳ１３で、カメラ１３と地面３０との距離Ｄ１１の情報をメモリ１１２から読み出しているが、第２の実施形態においては、距離Ｄ１１の情報をメモリ１１２から読み出す代わりに、距離センサ１１８によって、カメラ１３と地面３０との距離Ｄ１１を検出し、この測定された距離Ｄ１１を距離情報として、表示範囲Ｒ１１の算出に用いるのである。なお、距離センサ１１８としては、光学式のものや、超音波式のものが考えられる。

【0085】

また、拡張現実表示装置１００に定尺棒１４や三脚等を用いることとしても良い。定尺棒１４や三脚を用いることで、拡張現実表示装置１００の位置決めがなされるため、より正確に距離センサ１１８が距離Ｄ１１を検出することが可能となる。

【0086】

以上説明したように、第２の実施形態の拡張現実表示装置１００によれば、
（３）（１）に記載の拡張現実表示装置１００において、カメラ１３と地面３０との距離を検出する距離センサ１１８を有すること、を特徴とする。

【0087】

（３）に記載の拡張現実表示装置１００によれば、拡張現実表示装置１００を使用する場所に関わらず、距離センサ１１８によってカメラ１３と地面３０との距離Ｄ１１を検出可能であるため、当該検出された距離Ｄ１１を距離情報として用いて、撮影画像の表示範囲Ｒ１１を算出することができる。なお、距離センサとしては、光学式のものや、超音波式のものが考えられる。

【0088】

なお、上記実施形態は単なる例示にすぎず、本発明を何ら限定するものではない。したがって本発明は当然に、その要旨を逸脱しない範囲内で様々な改良、変形が可能である。例えば、上記実施形態においては、位置情報取得部としてのＧＰＳ機器１２および撮像部としてのカメラ１３が、端末装置１１の外部に設けられているが、ＧＰＳ機器１２およびカメラ１３は、端末装置１１に内蔵されるものとしても良い。また、仮想オブジェクトのデータを通信部１１６によって取得することとしているが、端末装置１１のメモリ１１２に記憶されているものとしても良い。

【符号の説明】

【0089】

１ 拡張現実表示装置
１２ ＧＰＳ機器（位置情報取得部の一例）
１３ カメラ（撮像部の一例）
２０ ガス管（埋設物の一例）
３０ 地面
５０ 仮想ガス管（仮想オブジェクトの一例）
５４ 仮想埋設計画ライン（仮想オブジェクトの一例）
５５ 仮想カッターライン（仮想オブジェクトの一例）
１１２ａ 仮想オブジェクト合成プログラム
１１５ ディスプレイ（表示部の一例）
Ａ１１ 画角
Ｄ１１ カメラと地面との距離
Ｒ１１ 表示範囲

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】