特開 2023-77070 現実空間に対するヴァーチャル空間の位置合わせ方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2023077070

(43)【公開日】2023-06-05

(54)【発明の名称】現実空間に対するヴァーチャル空間の位置合わせ方法

(51)【国際特許分類】

   G06T 19/00 20110101AFI20230529BHJP

   G06T 7/33 20170101ALI20230529BHJP

   G06T 7/70 20170101ALI20230529BHJP

【ＦＩ】

G06T19/00 600

G06T7/33

G06T7/70 Z

【審査請求】未請求

【請求項の数】5

【出願形態】ＯＬ

(21)【出願番号】P 2021190196

(22)【出願日】2021-11-24

(71)【出願人】

【識別番号】519372663

【氏名又は名称】ＨＭＳ株式会社

(72)【発明者】

【氏名】コ シンテイ

【テーマコード（参考）】

5B050

5L096

【Ｆターム（参考）】

5B050BA09

5B050BA13

5B050CA07

5B050DA01

5B050DA10

5B050EA05

5B050EA07

5B050EA13

5B050EA18

5B050EA19

5B050EA27

5B050FA02

5B050FA09

5B050GA08

5L096FA06

5L096FA12

5L096FA19

5L096FA67

5L096FA69

(57)【要約】

【課題】様々な環境で高い精度を発揮することができる、現実空間に対するヴァーチャル空間の位置合わせ方法を提供する。
【解決手段】本開示における、現実空間に対するヴァーチャル空間の位置合わせ方法は、現実空間における角部または縁部に沿ってマーカを設置するステップと、構造物の角部または縁部に対する前記マーカの位置及び姿勢を測定するステップと、ＡＲデバイスの撮像部でマーカを撮像した画像情報に基づいて、マーカに対するＡＲデバイスの相対的な位置及び姿勢を算出するステップと、測定するステップで得た情報と、算出するステップで得た情報とに基づいて、現実空間の座標系に対する予め記憶部に記憶されたヴァーチャル空間の座標系の位置合わせを行うステップと、を含む。
【選択図】図７

【特許請求の範囲】

【請求項1】

現実空間における角部または縁部に沿ってマーカを設置するステップと、
前記角部または縁部に対する前記マーカの位置及び姿勢を測定するステップと、
ＡＲデバイスの撮像部でマーカを撮像した画像情報に基づいて、マーカに対するＡＲデバイスの相対的な位置及び姿勢を算出するステップと、
前記測定するステップで得た情報と、前記算出するステップで得た情報とに基づいて、現実空間の座標系に対する予め記憶部に記憶されたヴァーチャル空間の座標系の位置合わせを行うステップと、を含む、現実空間に対するヴァーチャル空間の位置合わせ方法。

【請求項2】

前記マーカを設置するステップにおいて、複数の前記マーカをそれぞれ別の平面に設置する、請求項１に記載の現実空間に対するヴァーチャル空間の位置合わせ方法。

【請求項3】

前記マーカを設置するステップにおいて、複数の前記マーカを、互いに直交する平面にそれぞれ設置する、請求項１または２に記載の現実空間に対するヴァーチャル空間の位置合わせ方法。

【請求項4】

前記マーカを設置するステップにおいて、前記ＡＲデバイスの撮像部で同時に撮像できる領域内に、複数の前記マーカを設置する、請求項１～３の何れかに記載の現実空間に対するヴァーチャル空間の位置合わせ方法。

【請求項5】

前記マーカを設置するステップにおいて、前記縁部と、四角形の前記マーカの一辺とが平行となるように前記マーカを設置する、請求項１～４の何れかに記載の現実空間に対するヴァーチャル空間の位置合わせ方法。

【発明の詳細な説明】

【技術分野】

【0001】

本開示は、現実空間に対するヴァーチャル空間の位置合わせ方法に関する。

【背景技術】

【0002】

従来、ARグラス、スマートフォン、タブレット端末等のＡＲ（拡張現実）を表示するＡＲデバイスを用いて、現実空間（実世界）の風景や撮影画像に、ヴァーチャル画像（例えば３Ｄ－ＣＡＤデータ等）を重ね合わせて表示することが知られている（例えば特許文献１参照）。

【先行技術文献】

【特許文献】

【0003】

【特許文献1】特開２０１４－１１５９５７号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

上記のようなＡＲデバイスにおいて、現実世界の風景にヴァーチャル画像の位置を合わせるために、現実世界におけるＡＲデバイスの位置、姿勢、移動などの情報を取得する必要がある。特に、土木、建築分野等の現場ではＧＰＳの使用が困難であることが多いため、例えばＶＳＬＡＭと呼ばれる手法で自己位置の推定と環境地図作成を同時に行うことが考えられる。

【0005】

しかしながら、例えばトンネル工事のように現実世界の風景に特徴点が少なかったり、類似する風景要素が多かったり、あるいは、環境が常に変化していたりする場合には、従来の手法では、現実空間とヴァーチャル空間との位置合わせの精度が低下し易いという問題がある。

【0006】

そこで、本開示は上記技術課題に鑑みてなされたものであり、その目的は、様々な環境で高い精度を発揮することができる、現実空間に対するヴァーチャル空間の位置合わせ方法を提供することである。

【課題を解決するための手段】

【0007】

本開示における、現実空間に対するヴァーチャル空間の位置合わせ方法は、現実空間における角部または縁部に沿ってマーカを設置するステップと、構造物の角部または縁部に対する前記マーカの位置及び姿勢を測定するステップと、ＡＲデバイスの撮像部でマーカを撮像した画像情報に基づいて、マーカに対するＡＲデバイスの相対的な位置及び姿勢を算出するステップと、測定するステップで得た情報と、算出するステップで得た情報とに基づいて、現実空間の座標系に対する予め記憶部に記憶されたヴァーチャル空間の座標系の位置合わせを行うステップと、を含む。

【発明の効果】

【0008】

本開示によれば、様々な環境で高い精度を発揮することができる、現実空間に対するヴァーチャル空間の位置合わせ方法を提供することが可能となる。

【図面の簡単な説明】

【0009】

【図1】本開示の一実施形態に係るＡＲシステムの構成例を示す図である。

【図2】本実施形態に係るＡＲデバイスの構成例を示す図である。

【図3】本実施形態に係るサーバの構成例を示す図である。

【図4】本実施形態に係るＡＲマーカの設置例を示す図である。

【図5】本実施形態に係るＡＲデバイスの自己位置推定方法に係るフローチャート図である。

【図6】本実施形態に係るＡＲマーカの他の設置例を示す図である。

【図7】本実施形態の現実空間とヴァーチャル空間の位置合わせ方法に係るフローチャート図である。

【図8】本実施形態に係るマーカの設置例を示す平面図である。

【図9】本実施形態の現実空間に対するヴァーチャル空間の位置合わせ方法に係るフローチャート図である。

【発明を実施するための形態】

【0010】

以下に添付図面を参照しながら、本開示の好適な実施の形態について詳細に説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。

【0011】

図１は、本発明の一実施形態に係るＡＲシステムの一例を示す。図１に示すように、本例のＡＲシステムは、ＡＲデバイス１０と、サーバ２０とを備える。ＡＲデバイス１０とサーバ２０とは、ネットワーク３０を介して接続され、通信可能である。

【0012】

＜ＡＲデバイス＞
本例のＡＲデバイス１０は、眼鏡型の情報処理端末であるＡＲグラスである。なお、ＡＲデバイス１０は、ＡＲグラスに限られず、スマートフォン、タブレット端末等の情報処理装置であってもよい。

【0013】

図２は、ＡＲデバイス１０の構成の概略を説明するブロック図である。図示のように、ＡＲデバイス１０は、例えば、制御部１１、記憶部１２、表示部１３、通信部１４、撮像部１５、センサ部１６を備え、これらが互いにバス１７を介して接続される。

【0014】

制御部１１は、各部間のデータの受け渡しを行うとともに、ＡＲデバイス１０全体の制御を行うものである。例えばＣＰＵ（Central Processing Unit）やＧＰＵ（Ｇｒａｐｈｉｃｓ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）等のプロセッサによって実現される。制御部１１は、記憶部１２にアクセス可能であり、記憶部１２に情報を格納したり、記憶部１２から情報を読み出したりすることができる。

【0015】

制御部１１は、記憶部１２に記憶されたプログラムを実行することによって、各種データの取得、生成、出力等を行う。制御部１１は、撮像部１５、センサ部１６、サーバ２０等の他の装置から取得した情報を取得し、当該情報と記憶部１２の情報等に基づいて、ＡＲグラスの位置及び姿勢（向き）を推定することができる。

【0016】

記憶部１２は、１つ以上のステップを行うためのプログラム、コード等を記憶しており、制御部１１は、当該プログラム等に従って、各部の動作を制御する。記憶部１２は、システムプログラムが記憶された読取専用の記憶領域である不揮発性記憶装置と、制御部１１による演算処理のワーク領域として使用される書き換え可能な記憶領域である揮発性記憶装置とを有している。不揮発性記憶装置は、例えば、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）やフラッシュメモリ、ハードディスクなどによって実現され、揮発性記憶装置は、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）やＶＲＡＭ（Ｖｉｄｅｏ Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）などによって実現される。

【0017】

記憶部１２は、たとえば、ＳＤカードやランダムアクセスメモリ（ＲＡＭ）などの分離可能な媒体または外部の記憶装置を含んでいてもよい。記憶部１２は、撮像部１５やセンサ部１６から取得した各データを記憶することができる。例えば、撮像部１５としてのカメラで撮像した静止画・動画等の画像データが内蔵メモリ又は外部メモリに記憶されるようにしてもよい。

【0018】

表示部１３は、例えば液晶表示装置などの表示装置を備えている。表示装置としては、例えば、ウェイブガイド形式のディスプレイ（Ｗａｖｅ Ｇｕｉｄｅ Ｄｉｓｐｌａｙ）とすることができる。表示装置には、制御部１１により制御される画像が表示される。つまり、表示部１３は、制御部１１が生成した画像を表示させることができる。また、表示装置は、一部または全体が透明または半透明に構成された透明部を有し、当該透明部を通して現実空間の風景を視認しつつ、ヴァーチャル画像をその風景に重ねて表示させることができる。表示部１３は、表示装置とは別に、１以上のレンズを備えていてもよい。

【0019】

表示部１３は、現実空間の画像（例えば後述するマーカ等）が撮像（撮影）された際のＡＲグラスの位置（撮像位置）及び姿勢（撮像方向）に応じたヴァーチャル画像（３Ｄ－ＣＡＤモデル、ＣＧモデル等）を、表示装置のレンズを透過して見える現実空間の風景に重ね合わせて表示させる。なお、表示部１３は、撮像部１５によって撮像された画像にヴァーチャル画像を重ね合わせたＡＲ画像を制御部１１等により生成し、当該ＡＲ画像を表示するようにしてもよい。

【0020】

通信部１４は、ＡＲデバイス１０を、インターネットを含むネットワーク３０に接続する。この通信部１４は、Ｂｌｕｅｔｏｏｔｈ（登録商標）やＢＬＥ（Ｂｌｕｅｔｏｏｔｈ Ｌｏｗ Ｅｎｅｒｇｙ）といった近距離通信インターフェースを具備するものであってもよい。

【0021】

撮像部１５は、１以上の撮像装置（カメラ）を備えている。制御部１１は、撮像装置によって撮像された静止画または動画の画像データを記憶部１２、サーバ２０等に送ることができる。撮像装置は、例えば、RGBカメラ、VSLAM用の左右一対の魚眼カメラ（fisheye Camera）、ＴｏＦカメラ（Time-of-Flight Camera）等を含むことができる。このような撮像装置は、センサ部１６としても機能し得る。例えば、ＴｏＦカメラ（Time-of-Flight Camera）は、光の飛行時間を測定することで対象物との距離することができるものであり、ＴｏＦセンサとも称される。

【0022】

撮像部１５は、ユーザの操作に応じて、あるいは予め設定された指示情報に基づいて、所定時間にわたって連続した画像を撮像することができる。また、撮像部１５は、ユーザの操作、あるいは予め設定された指示情報に基づいて、非連続的な１時点の画像を撮像することもできる。つまり、撮像部１５は、静止画、動画の撮像が可能である。

【0023】

センサ部１６は、例えば、３軸加速度センサ、３軸ジャイロセンサ、方位センサ、ＧＰＳ等とすることができる。各センサは、各センサが検出した位置、姿勢、移動の速度、加速度等の情報（検出信号）を制御部１１に伝達（入力）することができる。

【0024】

ＡＲグラスは、ユーザ等からの要求（指示）の入力を受け付ける入力部を備えてもよい。入力部は、例えば、タッチパネル、機械的なスイッチとすることができる。なお、入力部は、アイトラッキング技術を用いた視線入力や、マイク等を用いた音声入力を受け付けるものであってもよい。入力部は、スマートフォン等の別の情報処理装置からの入力を受け付けるようにしてもよい。ＡＲグラスは、音声等を出力するスピーカ等の出力部を備えてもよい。

【0025】

＜サーバ＞
サーバ２０は、システム管理者等が各種サービス等を運営・管理する際に利用する情報処理装置であり、例えば、ワークステーションやパーソナルコンピュータのような汎用コンピュータとしてもよいし、或いはクラウド・コンピューティング技術によって論理的に実現されてもよい。

【0026】

図３に示すように、サーバ２０は、例えば、制御部２１、記憶部２２、出力部２３、通信部２４、入力部２５を備え、これらが互いにバス２６を介して接続される。サーバ２０は、通信部２４を介してＡＲグラスと通信可能である。サーバ２０は、ＡＲグラス等から各種の要求信号を受信すると、制御部２１においてプログラムによる処理を実行し、処理結果（例えば、生成された画像や音声等）を適宜ＡＲグラス等に送信したり、記憶部２２に記憶したりする。なお、上記プログラムの一部は、ＡＲグラスに送信されてＡＲグラス上で実行されてもよい。

【0027】

制御部２１は、各部間のデータの受け渡しを行うとともに、サーバ２０全体の制御を行うものであり、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）やＧＰＵ（Ｇｒａｐｈｉｃｓ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）が所定のメモリ（記憶部）に格納されたプログラムを実行することによって実現される。

【0028】

記憶部２２は、システムプログラムが記憶された読取専用の記憶領域である不揮発性記憶装置と、制御部２１による演算処理のワーク領域として使用される書き換え可能な記憶領域である揮発性記憶装置とを有している。不揮発性記憶装置は、例えば、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）やフラッシュメモリ、ハードディスクなどによって実現され、揮発性記憶装置は、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）やＶＲＡＭ（Ｖｉｄｅｏ Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）などによって実現される。

【0029】

記憶部２２は、ヴァーチャル空間に関する情報、ヴァーチャル画像に関する情報、マーカに関する情報、各座標系（現実空間座標系、ＡＲデバイス座標系、マーカ座標系、仮想空間座標系）関する情報等を記憶することができる。

【0030】

記憶部２２は、ＡＲカメラ等から受信した情報を記憶することができる。また、記憶部２２は、上記ＡＲカメラの記憶部１２に記憶された情報を記憶するようにしてもよい。

【0031】

出力部２３は、音声を出力するスピーカ、画像を表示するディスプレイ等で構成される。

【0032】

通信部２４は、サーバ２０を、インターネットを含むネットワーク３０に接続する。この通信部２４は、Ｂｌｕｅｔｏｏｔｈ（登録商標）やＢＬＥ（Ｂｌｕｅｔｏｏｔｈ Ｌｏｗ Ｅｎｅｒｇｙ）といった近距離通信インターフェースを具備するものであってもよい。

【0033】

入力部２５は、キーボードやマウス、あるいはタッチパネル等とすることができる。

【0034】

図４は、ＡＲデバイス１０としてのＡＲグラスと、現場の構造物５０の壁面に設置したマーカ４０を用いて、ＡＲデバイス１０の自己位置推定の精度を高める方法を示す図である。

【0035】

＜マーカ＞
マーカ４０は、例えば、ＡｐｒｉｌＴａｇとすることができるが、これに限られず、ＡＲＴａｇ、ＡＲＴｏｏｌｋｉｔ、ＡＲＴｏｏｌｋｉｔＰｌｕｓ、ＲＵＮＥ－Ｔａｇ、ｒｅａｃＴＩＶｉｓｏｎ等の、他のＡＲマーカ（ＡＲタグ）とすることができる。マーカ４０は、例えば、全体として正方形である。マーカ４０は、複数の正方形をした画素が二次元に配列されたマトリクス構造を有するものであり、各画素が白または黒で表示される。マーカ４０の形状、描かれた図形はこれに限定されない。

【0036】

マーカ４０として、ＡｐｒｉｌＴａｇを採用する場合、例えば３６ｈ１１マークシリーズは５８７個のマーカで構成される。ＡＲデバイス１０のカメラで任意のマーカ４０を撮像するだけで、それぞれのマーカ４０固有のＩＤ（識別情報）を取得することができる。なお、ＡＲデバイス１０のカメラで任意のマーカ４０を撮像する際には、マーカ４０を正面から撮像してもよいし、斜めから撮像してもよく、制御部による画像処理によって、各マーカ４０固有の識別情報、位置、姿勢の情報を取得することができる。それぞれのマーカ４０の画像と、各画像に対応するＩＤ情報とが予め関連付けられて記憶部２２（もしくは記憶部１２）に記憶されている。

【0037】

具体的には、例えば、ＡＲグラスのカメラで撮像した画像データをサーバ２０に送信すると、サーバ２０の制御部２１が記憶部２２に記憶されたデータを参照し、そのマーカ４０に対応するＩＤ情報を、ＡＲグラスに送信する。これにより、ＡＲグラスの制御部１１がそのマーカ４０に対応するＩＤを取得することができる。このＩＤ情報として、例えば、現実空間における位置、姿勢等の情報を関連付けて記憶部２２に記憶させておくことができる。これによれば、カメラでマーカ４０を撮像するだけで、マーカ４０のＩＤに加えて、当該マーカの現実空間における位置、姿勢等の情報を正確に把握することができる。

【0038】

このようなマーカ４０に関する情報は、ＡＲグラスの表示部１３に表示させることができる。ユーザは、ＡＲグラスのカメラでマーカ４０を撮像するだけで、そのマーカ４０のＩＤ、位置、姿勢等の情報を表示部１３から確認することができる。なお、カメラで撮像したマーカ４０の画像に基づいて、そのマーカ４０のＩＤを取得する処理は、（サーバ２０と通信せずに）ＡＲカメラのみで一連の処理を行うようにしてもよい。その場合、ＡＲカメラの記憶部１２に、マーカ４０に関する情報を予め記憶しておく。

【0039】

＜座標系＞
ここで、図４に示すように、ＡＲグラスには、ＡＲグラス固有の座標系（ＡＲデバイス座標系）が設定される。また、マーカ４０には、マーカ４０固有の座標系（マーカ座標系）が設定されている。さらに、現実空間には、現実空間座標系（世界座標系）が設定され、ヴァーチャルモデルには、ヴァーチャル空間座標系（仮想空間座標系）が設定される。

【0040】

各座標系は、例えば３次元の直交座標系であり、直行する３本の座標軸（ｘ軸、ｙ軸、ｚ軸）と、３本の座標軸が交わる原点を有する。各座標系の情報は、記憶部１２、２２に記憶することができる。すなわち、各座標系の原点位置、座標軸の向き、並びに、各座標系同士の相対的な位置、姿勢（向き）の関係を、記憶部１２、２２に記憶することができる。なお、位置とは３次元の座標で表現され、姿勢とは、３次元の方向（x軸、y軸、z軸それぞれの軸の周りでの回転角度）で表現され得る。

【0041】

＜ヴァーチャルデータ＞
記憶部２２は、３次元のヴァーチャル空間（仮想空間）に関する情報、及び、ヴァーチャル空間において所定の位置、姿勢で位置決めされたヴァーチャルモデル（３次元又は２次元のＣＧモデル）に関する情報を記憶することができる。ヴァーチャルデータは、ヴァーチャル空間座標系の情報を有する。仮想空間データは、所定の現実空間（例えば建築現場）の空間データに対応していることが好ましい。仮想空間における位置、方向、座標系は、現実空間における位置、方向、座標系に対応付けられる。ヴァーチャル空間座標系の原点位置は、現実空間における所定の位置に一致（または対応）させることができる。また、ヴァーチャル空間座標系の３本の座標軸は、現実空間に設定された３本の座標軸に一致（または対応）させることができる。また、ヴァーチャルモデルの仮想空間上の形状、位置及び向きは、例えば、現実空間における実際の建築現場に設けられる建物等の形状、位置及び向きに対応している。

【0042】

ヴァーチャルモデルは、例えば、対象物の３Ｄ－ＣＡＤデータ、あるいはＢＩＭ（Building Information Modeling）データから作成することができる。なお、ヴァーチャル画像の作成方法や、画像データの種類は特に限定されない。記憶部１２は、仮想空間の座標系の原点に対するヴァーチャルモデルの位置情報、当該仮想空間座標系においてどの方向を向いているかを示す姿勢情報を有する。また、仮想空間の設定、ヴァーチャルモデルの配置は、例えば、ＢＩＭデータといった設計データに基づいて予め行われる。また、ヴァーチャルモデルは、平面図（例えば、２Ｄの施工図又は平面詳細図）に基づくものであってもよい。ヴァーチャルモデルの生成は、サーバ２０で行われてもよいし、他の装置で行われてもよい。ＡＲグラスは、サーバ２０からヴァーチャルモデルに関するデータを予め取得しておいてもよいし、ＡＲグラスの使用中に連続的に（もしくは断続的に）ヴァーチャルモデルに関するデータを繰り返し取得するようにしてもよい。

【0043】

ＡＲデバイス座標系の原点及び各座標軸は、ＡＲグラスに対して所定の位置、向きで設定されている。制御部１１（もしくは制御部２１）は、ＡＲグラスの撮像部１５で撮像した画像に基づいて、ＡＲグラスの位置、姿勢を推定し、ヴァーチャルデータを現実空間座標系に対応させることができる。

【0044】

ＡＲグラスは、撮像部１５で撮像された現実空間の画像（映像）に基づいて、物体のヴァーチャル画像を現実空間の風景（もしくは現実世界の画像）に重ね合わせて表示させる装置である。ＡＲグラスは、例えば、土木、建築、鉄道、交通の現場において、作業員、監督者等のユーザが頭部に装着するなど、携帯して用いられる。当該現場の現実空間の風景に、設置予定の部材や建物等のヴァーチャル画像を設置予定の位置、設置予定の向き（姿勢）で、現実空間の風景（もしくは現実世界の画像）に重ね合わせて表示させる。ヴァーチャル画像は、３Ｄ－ＣＡＤ等により予め生成し、ＡＲデバイス１０又はサーバ２０等の記憶部１２、２２に記憶される。

【0045】

ＡＲグラスは、ＡＲグラスの位置、姿勢（角度）の情報を取得して、制御部１１が、記憶部１２のデータを取得、参照しつつ、当該位置、姿勢に対応する画像データを生成する。そして、生成した画像データ（ヴァーチャル画像のデータ）を、表示部１３に表示させる。これにより、ＡＲグラスの位置、姿勢に応じたヴァーチャル画像が、現実世界の風景に重なるようにＡＲグラスに表示される。現場において、ユーザがヴァーチャル画像を確認することで、作業過程又は最終的なイメージを持ちながら作業することができ、作業ミスを抑制しながら確実に作業を進めることができる。また、離れた場所から指示をする場合にも、立体的なヴァーチャル画像を見ながら会話することで、効率的に指示することができる。

【0046】

ＡＲグラスの位置情報、姿勢情報（方向情報）は、例えば自己位置推定の技術により取得することができる。自己位置推定の技術は、例えば、Ｖｉｓｕａｌ ＳＬＡＭ（Ｓｉｍｕｌｔａｎｅｏｕｓ Ｌｏｃａｌｉｚａｔｉｏｎ Ａｎｄ Ｍａｐｐｉｎｇ）、ＶＩＯ（Ｖｉｓｕａｌ Ｉｎｅｒｔｉａｌ Ｏｄｏｍｅｔｒｙ）等の画像情報を活用した技術があり、ＡＲグラスには上記技術を実現するためのカメラやセンサ等が搭載され得る。このような自己位置推定技術は、特に非ＧＰＳ環境下においては有効である。本例のＡＲグラスは、所謂「Ｖｉｓｕａｌ ＳＬＡＭ」により、撮像部１５で撮像した映像から自己位置推定と環境地図（ヴァーチャル空間）の作成を同時に行うことができる。

【0047】

本実施形態のＡＲグラスは、ユーザが頭部に装着する眼鏡型の表示装置であり、1枚以上のレンズ（表示部１３と一体または別体）、レンズ等を支持するフレーム（枠体）、制御部１１、撮像部１５、センサ部１６、表示部１３、通信部、記憶部１２、入力部等を備えることができる。なお、ＡＲグラスの一部の構成（制御部１１等）を別ユニットとして分離し、有線もしくは無線で接続するようにしてもよいし、制御部１１や記憶部１２を用いて行う処理を、サーバ２０で実行するようにしてもよい。

【0048】

ＡＲグラスの位置及び姿勢は、制御部１１における自己位置推定部によって決定される。ＡＲグラスは、インターネット等のネットワークを介して、あるいは直接的にサーバ２０等の情報処理装置に通信接続するための通信部を備える。これにより、通信部を備えた他の情報処理装置との間で、各種データの送受信を行うことができる。例えば、ＡＲグラスで撮像した画像データ、制御部１１で生成した画像データ、センサ部１６で取得したセンサデータ等をサーバ２０に送信してサーバ２０側で記憶、処理したり、サーバ２０から送信された画像等のデータを受信したりすることができる。

【0049】

なお、ＡＲデバイス１０の撮像部１５で撮像した画像をサーバ２０に送信して、サーバ２０の制御部２１において、ＡＲデバイス１０に表示する画像を生成するようにしてもよい。

【0050】

制御部１１は、撮像部１５（カメラ）の位置（撮像位置）及び姿勢（撮像方向）の情報を取得して、当該画像が撮像された際の撮像部１５の位置及び姿勢に応じたヴァーチャルモデルの画像を（記憶部１２の情報に基づいて）生成し、表示部１３に出力する。

【0051】

制御部１１は、画像を撮像部１５で撮像した際の位置及び姿勢と同じ条件で、当該撮像部１５が仮想空間にあると仮定した仮想カメラで仮想空間内に設置されたヴァーチャルモデルを撮像した場合のヴァーチャルモデルの画像を生成し、表示部１３は現実空間の風景（もしくは現実空間の画像）に重なり合うように表示する。

【0052】

ヴァーチャルモデルをＡＲグラスの表示部１３に表示する際には、カメラの位置及び姿勢だけではなく、例えば、現実空間の明るさ等の他のパラメータを考慮してもよい。また、ヴァーチャルモデルを半透明にして、ヴァーチャルモデル画像が重なる部分（隠れる部分）も視認できるようにしてもよい。なお、ＡＲグラスの表示部１３は、カメラの位置及び姿勢に対応して、表示するヴァーチャル画像を設定したり、修正したりする。

【0053】

制御部１１は、撮像部１５又はセンサ部１６からの情報に基づいて、ＡＲグラスの撮像装置の移動状態（移動の有無、移動方向、移動速度等）を推定することができる。制御部１１は、当該移動状態情報に応じて、仮想空間におけるカメラの位置及び姿勢（カメラが仮想空間にあるとした場合の位置及び姿勢）を算出する。表示部１３は、修正した位置及び姿勢に基づいて画像に対するヴァーチャルモデルの重ね合わせを行う。このような処理を連続的に行うことで、ユーザの動きに応じたＡＲグラスの移動に追従したヴァーチャル画像を、表示部１３に表示させることができる。

【0054】

表示部１３は、撮影される画像を入力する度（連続的または断続的）に、また、センサ部等から移動状態を示す情報を受け付ける度に、表示される画像の生成及びディスプレイへの出力を行う。即ち、表示部１３は、カメラの移動状態に追従するように現実空間の風景又は画像にヴァーチャルモデルを重ね合わせて表示する。表示部１３の当該機能は、公知のＡＲの方法（例えば、ＡＲＴｏｏｌＫｉｔのトラッキングアルゴリズム、ＳＬＡＭ機能）によって実現することができる。

【0055】

以下、図４、図５を参照しつつ、マーカ４０を用いた自己位置及び姿勢を校正（補正）する方法について説明する。

【0056】

まず、図４に示すように、マーカ４０を、建築現場等の所定の位置に、予め位置決めして設置しておく（ステップＳ１）。現実空間座標系におけるマーカ４０の位置、姿勢（向き）は、予めＡＲグラスかサーバ２０の少なくとも何れかの記憶部（１２、２２）に記憶しておく。図４の例では、構造物５０の鉛直な壁面にマーカ４０を設置しているが、水平面等でもよい。また、構造物５０の壁面の上縁（上端部に位置する水平な縁部）と側縁（側端部に位置する鉛直な縁部）に対して、マーカ４０の２辺が平行になるように貼り付けられているが、これに限られない。

【0057】

ユーザは、ＡＲグラスのカメラの撮像範囲内に当該マーカ４０が位置するようにカメラの向きを調整し、カメラでマーカ４０を撮像する（ステップＳ２）。

【0058】

制御部（１１、２１）は、撮影されたマーカ４０の画像データに基づいて、ＡＲデバイス座標系（カメラ座標系）上でのマーカ４０の３次元の位置、姿勢を算出する。その際、正方形のマーカ４０の何れかの角を構成する１点と、当該１点の角で直行する２辺（エッジ）を参照要素（参照点、参照線）として、マーカ４０の位置と姿勢を決定する。制御部（１１、２１）は、ＡＲグラス座標系と、マーカ座標系との３次元の相対的な位置関係（座標変換マトリクス（Ｒ、Ｔ））を算出する。

【0059】

また制御部（１１、２１）は、ＡＲデバイス座標系上でのマーカ４０の位置、姿勢に基づいて、座標変換マトリクス（Ｒ、Ｔ）を用いて逆算することにより、マーカ座標系上でのＡＲグラスの位置、姿勢を算出する。これにより、制御部（１１、２１）は、マーカ４０に対するＡＲグラスの相対的な位置、姿勢を算出する（ステップＳ３）。

【0060】

制御部（１１、２１）は、撮影されたマーカ４０の画像データに基づいて、現実空間座標系でのマーカ４０の識別情報、位置、姿勢の情報を記憶部（１２、２２）から取得する。換言すると、制御部（１１、２１）は、マーカ座標系と、現実空間座標系との３次元の相対的な位置関係（座標変換マトリクス（Ｒ０、Ｔ０））を記憶部（１２、２２）から取得する。現実空間座標系上のマーカ４０の位置及び姿勢、現実空間座標系とマーカ座標系との相対的な３次元の位置関係（位置と姿勢）は予め記憶部（１２、２２）に記憶されている。制御部（１１、２１）は、位置や形状が既知の物体の画像と、それを撮像したカメラの位置及び姿勢を求める、いわゆるＰｎＰ問題（Perspective n-Point）を解くことで、カメラ及びこれを含むARグラスの位置座標（撮像位置座標）及び姿勢が推定可能となる。

【0061】

制御部（１１、２１）は、マーカ４０に対するＡＲグラスの相対的な位置、姿勢の情報と、現実空間座標系とマーカ座標系との相対的な３次元の位置関係とに基づいて、（つまり、座標変換マトリクス（Ｒ０、Ｔ０）を用いて逆算することにより、）現実空間座標系上でのＡＲグラスの位置、姿勢を算出する（ステップＳ４）。

【0062】

このような方法により、ＡＲグラスは、高い精度で現実空間座標系上での自己位置と姿勢を推定することができる。

【0063】

以下に、図６、図７を参照しつつ、現実空間に対するヴァーチャル空間の位置合わせ方法について説明する。より具体的には、ＡＲデバイスを現場で用いる際の初期設定の方法について説明する。

【0064】

本実施形態に係る、現実空間に対するヴァーチャル空間の位置合わせ方法にあっては、現実空間における角部または縁部に沿ってマーカを設置するステップと、構造物の角部または縁部に対する前記マーカの位置及び姿勢を測定するステップと、ＡＲデバイスの撮像部でマーカを撮像した画像情報に基づいて、マーカに対するＡＲデバイスの相対的な位置及び姿勢を算出するステップと、前記測定するステップで得た情報と、前記算出するステップで得た情報とに基づいて、現実空間の座標系に対する予め記憶部に記憶されたヴァーチャル空間の座標系の位置合わせを行うステップと、を含む。このような構成により、どのような環境であっても、つまり様々な環境において、高い精度で現実空間に対するヴァーチャル空間の位置合わせを実行することができる。

【0065】

具体的に、例えば、現場においてＡＲグラスを最初に使用する際に、ユーザは初期設定（セットアップ）を行う。まず、ＡＲグラスの電源スイッチをオンにすること等により、ＡＲグラスに記憶されたアプリケーションを起動させる。そして、初期設定として、３次元のヴァーチャル画像が設定されるヴァーチャル空間座標系（ヴァーチャル世界）と、現実空間座標系（現実世界）との最初の位置合わせを行う。ヴァーチャル画像が設定されるヴァーチャル空間座標系の情報は、記憶部１２、２２に記憶される。ヴァーチャル空間座標系の情報は、ヴァーチャル座標系と、ヴァーチャルモデルの情報、ヴァーチャル空間におけるマーカの情報を含む。

【0066】

現場において、例えば建物や構造物等が設置される空間の入り口付近において、３次元の設計図面（３Ｄ－ＣＡＤ等）で参照し易い位置の近傍にマーカ４０を設置する（ステップＳ１１）。参照し易い位置とは、例えば、建物の角部（外面の角部または内面の角部）や縁部（例えば直線状のエッジ）である。なお、制御部がＶＳＬＡＭ等で自己位置推定とマッピング（地図形成）を行う際には、隣接する２つの平面が交わるエッジ（縁部）、３つの平面が交わる角部を参照点Ｐとすることができる。マーカを設置する際には、接着手段等を用いて貼り付けることで、対象物にマーカを着脱可能な状態で固定することができる。

【0067】

図６に示す例では、建物内の互いに直交する３面（水平な床面と、２つの鉛直な壁面）が交わる角部（内角部）を、参照点Ｐとしている。そして、床面に第１のマーカ４０ａを設置し、壁面（側壁の表面）に第２のマーカ４０ｂを設置している。

【0068】

マーカ４０を設置する際には、複数のマーカ４０をそれぞれ別の平面（壁面、床面）に設置することが好ましい。これによれば、１つのマーカ４０のみを使って位置合わせする場合に比べて、多くの情報を参照することができるので、位置合わせの精度を高めることができる。なお、マーカ４０を設置する位置は、鉛直な壁面、水平な床面が好ましいが、これに限られない。また、位置合わせの精度を高める観点から、互いに直交する平面にそれぞれマーカ４０を設置することが好ましい。これによれば、互いに対して斜めに延在する平面にマーカを設置する場合に比べて、位置合わせの精度を高めることができる。

【0069】

また、参照点Ｐである角部を構成する複数の壁面にそれぞれマーカ４０を設置することが好ましい。これによれば、参照点Ｐである角部の周囲に複数のマーカを異なる角度で設置することができ、位置合わせの精度をさらに高めることができる。

【0070】

また、ＡＲデバイス１０の撮像部１５で同時に撮像できる領域内に、（つまり比較的近接した位置に）複数のマーカ４０を配置することが好ましい。図６の例では、第１のマーカ４０ａと第２のマーカ４０ｂがそれぞれ互いに直交する平面（床面と壁面）に設置されている。なお、本例のように、２つのマーカ４０で縁部（２つの平面が交わる直線状のエッジ）を両側から挟むように、当該２つのマーカ４０を設置することが好ましい。例えば、２つのマーカ４０の間に位置する縁部に沿う方向において、２つのマーカ４０が部分的にまたは全体が重なる位置にあることが好ましい。これにより、２つのマーカ４０が近接した位置に配置される。

【0071】

マーカ４０は、建物の角部、縁部（エッジ）に沿って設置することが好ましい。より具体的に、建物の内壁面の角部を構成する壁面の、直行する２辺と、正方形状のマーカの角を形成する２辺とがそれぞれ互いに平行になるように、マーカ４０を設置することが好ましい。あるいは、建物等の構造物の何れかの縁部と、四角形のマーカ４０の１辺とが平行になるように配置することが好ましい。このようにすることで、マーカ４０を適切な位置、姿勢で設置し易く、現実空間に対するヴァーチャル空間の位置決めも容易となる。なお、マーカは、所定の位置（緯度、経度）において、所定の姿勢（例えば、東西南北の何れかの方角にマーカの１辺が平行等）で、地面に位置決めした状態で設置してもよい。マーカ４０は、墨出し等の方法により、基準となる角、エッジに対して、平面に沿ってオフセットさせて配置することもできる。

【0072】

レーザー測位計などの測定装置を用いて、３Ｄ-ＣＡＤ設計図面の参照点Ｐと座標軸（方位軸）からの相対的な各マーカ４０のずれ（つまりマーカ４０の相対的な位置及び姿勢）を示すデータ（Ｒ０，Ｔ０）を計測する（ステップＳ１２）。ずれの原因としては、例えば、設計図面と現実の建物との間の公差（許容誤差）、マーカの設置誤差等がある。また、ＡＲグラスのカメラ等によるマーカの位置姿勢認識の誤差もあり得る。具体的に、現実空間において、建物の角部（参照点Ｐ）及びエッジを基準として、マーカ４０の位置、姿勢をそれぞれ測定（実測）する。これにより、現実空間座標系と、それぞれのマーカ座標系との関係（位置、姿勢）を算出できる。現実空間におけるマーカ４０の位置、姿勢の情報は、サーバ２０の記憶部２２に記憶される。サーバ２０からＡＲグラスに当該情報を送信する。なお、ずれを示すデータ（座標変換マトリクス（Ｒ０，Ｔ０））をＡＲグラスの記憶部１２に記憶するようにしてもよい。測定装置は、レーザー測位計に限られず、現実空間における特定の２点間の距離、姿勢等を測定できるものであればよい。例えば、水平器や、遠い距離から角度や距離を測る望遠鏡であってもよい。また例えば、自動墨出し装置、レーザー墨出し器等を含めた墨出しによる測定方法を用いてもよい。自動墨出し装置は、装置の基準点に対する相対位置を計測して現在位置を判断したり、基準線の位置において、床に線を引いたりすることができる。測定装置は、例えば、カメラによって撮影した画像から床、壁、参照点の形状、寸法を算出するものであってもよい。または、測定器は、レーザーによる距離測定計を用いて床の寸法を取得するものであってもよい。

【0073】

そして、現場において、ＡＲグラスの撮像部１５で設置したマーカ４０（４０ａ，４０ｂ）を撮像する（ステップＳ１３）。ＡＲグラスの制御部は、マーカ４０を自動的に検出する。制御部は、各マーカ４０（４０ａ，４０ｂ）に対するＡＲグラスの相対的な位置と姿勢を算出する（ステップＳ１４）。そして、各マーカ４０（４０ａ，４０ｂ）に対するＡＲグラスの相対的な位置と姿勢の情報と、上記のずれを示すデータ（Ｒ０，Ｔ０）とを利用して、現実空間に対するヴァーチャル空間の最初の位置合わせが実現される（ステップＳ１５）。つまり、現実空間座標系と、ヴァーチャル空間座標系とが関連付けられる。好ましくは、現実空間座標系の原点位置及び３本の座標軸の方向に、ヴァーチャル空間座標系の原点位置及び３本の座標軸の方向を一致させる。

【0074】

なお、本例のように、マーカ４０を直交する２つの平面に設置することが好ましく、これによれば、位置合わせの精度をさらに高めることができる。また、互いに直交する３つの平面にそれぞれマーカ４０を設置することで、さらに位置合わせの精度を高めることが可能となる。

【0075】

本開示の技術は、例えば、トンネル工事のように特徴点が少ない場所、類似する風景が多い場所、あるいは、常に環境が変化する状況において、特に有効である。そして、このような課題を有する分野として、例えば、土木、建築、鉄道、交通などの分野が挙げられる。

【0076】

以下、図８、図９を参照しつつ、複数のマーカ４０を用いた自己位置及び姿勢を校正（補正）する方法について説明する。図８は、現実空間の建物の内部に、入口から複数のマーカを所定の一定間隔で設置する場合を示す平面図である。設置するマーカの位置は床面でも壁面でもよいし、他の位置でもよい。なお、図８の例では、６個のマーカを設置しているが、これに限られない。なお、各マーカ４０は、上述のように、参照点となる現時空間の角部、縁部に沿って設置することが好ましい。

【0077】

本実施形態に係るマーカの設置方法は、現実空間において複数のマーカを所定間隔で設置するステップと、前記現実空間の前記複数のマーカに対応する複数の仮想マーカを含むヴァーチャルデータを記憶部に記憶するステップと、ＡＲデバイスの撮像部で前記現実空間の前記マーカを撮像した画像データにおける前記マーカと、前記画像データに重ねて表示されるヴァーチャルデータの前記仮想マーカとの間のずれを測定するステップと、前記ずれに応じて、複数のマーカの前記間隔を調整するステップと、を含む。このような構成により、マーカを用いてＡＲデバイスにおけるヴァーチャル空間と現実空間との位置合わせを行う際に、効率的に複数のマーカを設置することができる。

【0078】

図８、図９に示すように、現実空間において一定の間隔で複数のマーカ４０を設置する（ステップＳ２１）。例えば、建物や構造物等の空間の入り口付近に、上記位置合わせ用の第１のマーカ４０を設置する。複数のマーカ４０はそれぞれ、互いに同一のものでも、異なる種類のマーカ４０であってもよい。

【0079】

次いで、第１のマーカ４０からの距離が特定距離（例えば１０ｍ等）となるように、空間に合わせて第２のマーカ４０を設置する。同様に、第２のマーカ４０からの距離が上記特定距離となるように、第３のマーカ４０を設置し、第３のマーカ４０からの距離が特定距離となるように第４のマーカ４０を設置する。このように、現場の空間（状況）に合わせて、等間隔でマーカ４０を設置する。なお、特定距離は特に限定されず、適宜変更可能な数値である。

【0080】

ここで、ヴァーチャル空間に仮想マーカを設定する（ステップＳ２２）。なお、仮想マーカの設定は、現実空間にマーカを設置するステップＳ２１の前でも後でもよい。例えば、記憶部に記憶されるヴァーチャル空間のヴァーチャルモデルにおいて、現実空間のマーカの位置、姿勢と一致するように、それぞれのマーカ４０を描画（３Ｄモデリング）し、記憶する。これにより、ＡＲグラスの表示部１３に表示されるヴァーチャル画像として、現実空間のマーカ４０に対応する仮想マーカが表示される。なお、現実空間の現場に設置される壁や床等を含む構造物に対応する（同形状）の壁や床を含むヴァーチャルモデルが、ヴァーチャル空間に位置決めされたヴァーチャルデータとして予め記憶部に記憶されている。

【0081】

そして、ＡＲグラスに表示されるヴァーチャル画像を確認しながら、現実空間の現場の入口から空間内を移動し、第１のマーカから第２，第３・・というようにＡＲグラスの撮像部で撮像しながら移動する。その際、現実空間の各マーカ４０に重ねて表示されることを想定したそれぞれの仮想マーカ（ＡＲグラスに表示される仮想マーカ）の位置、姿勢と、現実空間のマーカ４０の位置、姿勢とを比較する。なお、ＡＲグラスはＶＳＬＡＭ等により自己位置と姿勢を推定し続け、それに応じたヴァーチャル画像を表示部に表示する。そして、現実空間のマーカの位置、姿勢と、仮想マーカの位置、姿勢との間のずれ量が、所定の閾値を超えているか否かを確認する（ステップＳ２３）。閾値は、予め管理者側で定めた値が記憶部に記憶されるようにしてもよいし、ユーザが入力部を介して数値を入力したり、または複数の予め設定された選択肢の中から選択したりすることで、ユーザが設定できるようにしてもよい。位置のずれの閾値は５ｍｍといったように距離で示され、姿勢のずれの閾値は５°といったように角度で示される。

【0082】

ずれ量の測定は、例えば、ＡＲグラス、またはサーバの制御部が実行することができる。ユーザがＡＲグラスの撮像部でマーカを撮像すると、制御部は、ＡＲグラスの撮像部で撮像した画像と、ＡＲグラスの表示部に表示させるためのヴァーチャル画像とを重ね合わせて、現実空間を撮像した画像のマーカの位置、姿勢と、ヴァーチャル画像の位置、姿勢とのずれを、測定する。より具体的には、現実空間を撮像した画像のマーカのマーカ座標系と、ヴァーチャル空間の仮想マーカの仮想マーカ座標系とを比較することができる。現実のマーカ座標系の原点と仮想マーカ座標系の原点同士の距離を測定したり、現実のマーカ座標系の座標軸と仮想マーカ座標系の座標軸の向き（姿勢）とを比較し、それらの差（角度）を測定したりする。また、例えば、参照点同士を比較し、測定することができる。例えば、四角形のマーカ４０の特定の角同士の距離を測定したり、辺同士の距離、相対的な角度を測定したりすることで、現実画像のマーカとヴァーチャル画像のマーカとのずれを測定する。なお、ずれの測定方法はこれに限られない。

【0083】

そして、ずれ量が閾値を超えている場合、マーカ４０間の距離を調整する（ステップＳ２４）。例えば、現実の第２マーカ４０と、第２の仮想マーカとの位置のずれ量が１０ｍｍを超えている場合、マーカ４０間の距離を短くする。具体的に、上記のようにマーカ４０間の距離を１０ｍとしてずれ量を確認した結果、ずれ量が閾値を超えていた場合には、例えば、マーカ間の距離を２ｍ小さくして８ｍにする等、当初の距離１０ｍよりも短い距離にする。本例では、まず第２のマーカの位置を調整し、例えば、第１のマーカに近い位置となるように、第２のマーカを移動させる（近い位置に設置する）。どの程度距離を短く調整するかは、予め定めて記憶部に記憶させてもよいし、ユーザが決めてもよい。あるいは、ずれ量の大きさに応じて、調整距離を決定してもよい。その場合、ずれ量が大きければ調整距離も大きくし、逆にずれ量が小さければ、調整距離も短くすることができる。なお、上記例においては、調整距離を２ｍとしている。ずれ量がほとんどない場合、マーカ間の距離を大きくしてもよい。その場合も、どの程度距離を長くするかは、予め定めて記憶部に記憶させてもよいし、ユーザが決めてもよい。あるいは、ずれ量の大きさに応じて、調整距離を決定してもよい。

【0084】

現実空間においてマーカの位置、姿勢を調整した後は、ヴァーチャル空間における仮想マーカの位置もそれに合わせて変更し、記憶部に記憶する。その際、例えばレーザ測位計などの測定装置を用いて、現時空間のマーカの位置、姿勢を測定してもよい。これによれば、より正確な位置、姿勢で、仮想マーカをモデリングすることができる。

【0085】

上記の通り、現実空間のマーカと、ヴァーチャル画像の仮想マーカとの位置、姿勢のずれを確認することで、ＡＲグラスの移動検出等の精度を確認することができる。そして、（ＡＲグラスの精度に応じて）マーカ４０間の距離が適切かどうかを確認することができる。その結果、また、マーカ４０を適切な感覚で設置することができるので、マーカ４０の使用効率を高めることができる。つまり、無駄に多くのマーカ４０を使用してしまうことを防止することができる。

【0086】

以上、添付図面を参照しながら本開示の好適な実施形態について詳細に説明したが、本開示の技術的範囲はかかる例に限定されない。本開示の技術分野における通常の知識を有する者であれば、特許請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本開示の技術的範囲に属するものと了解される。

【0087】

本明細書において説明した装置は、単独の装置として実現されてもよく、一部または全部がネットワークで接続された複数の装置（例えばクラウドサーバ）等により実現されてもよい。例えば、サーバ２０の制御部２１および記憶部２２は、互いにネットワークで接続された異なるサーバにより実現されてもよい。

【0088】

本明細書において説明した装置による一連の処理は、ソフトウェア、ハードウェア、及びソフトウェアとハードウェアとの組合せのいずれを用いて実現されてもよい。本実施形態に係るＡＲデバイス１０、サーバ２０の各機能を実現するためのコンピュータプログラムを作製し、ＰＣ等に実装することが可能である。また、このようなコンピュータプログラムが格納された、コンピュータで読み取り可能な記録媒体も提供することができる。記録媒体は、例えば、磁気ディスク、光ディスク、光磁気ディスク、フラッシュメモリ等である。また、上記のコンピュータプログラムは、記録媒体を用いずに、例えばネットワークを介して配信されてもよい。

【0089】

また、本明細書においてフローチャート図を用いて説明した処理は、必ずしも図示された順序で実行されなくてもよい。いくつかの処理ステップは、並列的に実行されてもよい。また、追加的な処理ステップが採用されてもよく、一部の処理ステップが省略されてもよい。

【0090】

また、本明細書に記載された効果は、あくまで説明的または例示的なものであって限定的ではない。つまり、本開示に係る技術は、上記の効果とともに、または上記の効果に代えて、本明細書の記載から当業者には明らかな他の効果を奏しうる。

【0091】

なお、以下のような構成も本開示の技術的範囲に属する。
（項目１）
現実空間における角部または縁部に沿ってマーカを設置するステップと、
前記角部または縁部に対する前記マーカの位置及び姿勢を測定するステップと、
ＡＲデバイスの撮像部でマーカを撮像した画像情報に基づいて、マーカに対するＡＲデバイスの相対的な位置及び姿勢を算出するステップと、
前記測定するステップで得た情報と、前記算出するステップで得た情報とに基づいて、現実空間の座標系に対する予め記憶部に記憶されたヴァーチャル空間の座標系の位置合わせを行うステップと、を含む、現実空間に対するヴァーチャル空間の位置合わせ方法。
（項目２）
前記マーカを設置するステップにおいて、複数の前記マーカをそれぞれ別の平面に設置する、項目１に記載の現実空間に対するヴァーチャル空間の位置合わせ方法。
（項目３）
前記マーカを設置するステップにおいて、複数の前記マーカを、互いに直交する平面にそれぞれ設置する、項目１または２に記載の現実空間に対するヴァーチャル空間の位置合わせ方法。
（項目４）
前記マーカを設置するステップにおいて、前記ＡＲデバイスの撮像部で同時に撮像できる領域内に、複数の前記マーカを設置する、項目１～３の何れかに記載の現実空間に対するヴァーチャル空間の位置合わせ方法。
（項目５）
前記マーカを設置するステップにおいて、前記縁部と、四角形の前記マーカの一辺とが平行となるように前記マーカを設置する、項目１～５の何れかに記載の現実空間に対するヴァーチャル空間の位置合わせ方法。

【符号の説明】

【0092】

１ ＡＲシステム
１０ ＡＲデバイス
２０ サーバ
３０ ネットワーク
４０ マーカ

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】