特許 7462755 位置合わせ装置及び位置合わせ方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2024-03-28

(45)【発行日】2024-04-05

(54)【発明の名称】位置合わせ装置及び位置合わせ方法

(51)【国際特許分類】

   G06T 19/00 20110101AFI20240329BHJP

【ＦＩ】

G06T19/00 600

【請求項の数】 7

(21)【出願番号】P 2022534552

(86)(22)【出願日】2020-07-08

(86)【国際出願番号】 JP2020026680

(87)【国際公開番号】W WO2022009329

(87)【国際公開日】2022-01-13

【審査請求日】2023-04-05

(73)【特許権者】

【識別番号】591036457

【氏名又は名称】三菱電機エンジニアリング株式会社

(74)【代理人】

【識別番号】110003166

【氏名又は名称】弁理士法人山王内外特許事務所

(72)【発明者】

【氏名】向山 弘記

(72)【発明者】

【氏名】大神 航

(72)【発明者】

【氏名】山崎 亮平

【審査官】村松 貴士

(56)【参考文献】

【文献】特開２０１５－１２１８９２（ＪＰ，Ａ）

【文献】特開２０１２－１５１８５１（ＪＰ，Ａ）

【文献】米国特許出願公開第２０１７／０１５４４７１（ＵＳ，Ａ１）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ０６Ｔ １９／００

Ｇ０６Ｆ ３／０１

Ｇ０６Ｆ ３／０４８ － ３／０４８９５

(57)【特許請求の範囲】

【請求項1】

仮想オブジェクトを有する現実空間を模した第１の仮想空間に存在する第１の平面、及び、現実空間を模した第２の仮想空間に存在する当該第１の平面に相当する第２の平面を設定する平面設定部と、
前記平面設定部による設定結果に基づいて、第１の仮想空間に存在する第１の平面と交わる第３の平面、及び、第２の仮想空間に存在する第３の平面に相当する第４の平面を抽出する平面抽出部と、
前記平面設定部による設定結果及び前記平面抽出部による抽出結果に基づいて、第１の仮想空間における位置及び方向を、第２の仮想空間における位置及び方向に合わせる変換部と
を備えた位置合わせ装置。

【請求項2】

前記変換部は、
第１の仮想空間における第１の方向を、第２の仮想空間における第１の方向に相当する第２の方向に合わせるように傾ける第１の方向変換部と、
第１の仮想空間に存在する第１の点を、第２の仮想空間に存在する第１の点に相当する第２の点に合わせるように移動させる位置変換部と、
第１の仮想空間における第１の方向に垂直な方向である第３の方向を、第２の仮想空間における第３の方向に相当する第４の方向に合わせるように傾ける第２の方向変換部とを有する
ことを特徴とする請求項１記載の位置合わせ装置。

【請求項3】

前記第１の方向変換部は、
１つの第１の平面と１つの第３の平面とが交わる第１の交差線を求め、当該第１の平面と当該第３の平面とは平行ではない１つの第３の平面とが交わる第２の交差線を求め、第１の交差線及び第２の交差線と同一方向のベクトルの外積から第１の方向と同一方向のベクトルを求め、
１つの第２の平面と１つの第４の平面とが交わる第３の交差線を求め、当該第２の平面と当該第４の平面とは平行ではない１つの第４の平面とが交わる第４の交差線を求め、第３の交差線及び第４の交差線と同一方向のベクトルの外積から第２の方向と同一方向のベクトルを求める
ことを特徴とする請求項２記載の位置合わせ装置。

【請求項4】

前記位置変換部は、
第１の交差線及び第２の交差線の組合せのうち、同一平面上に存在する第１の交差線及び第２の交差線の交点座標を第１の点として求め、
第３の交差線及び第４の交差線の組合せのうち、同一平面上に存在する第１の交差線及び第２の交差線に相当する第３の交差線及び第４の交差線の交点座標を第２の点として求める
ことを特徴とする請求項３記載の位置合わせ装置。

【請求項5】

前記第２の方向変換部は、
第１の交差線又は第２の交差線と同一方向のベクトルと、第１の方向と同一方向のベクトルとの外積により、第３の方向と同一方向のベクトルを求め、
第３の交差線又は第４の交差線と同一方向のベクトルと、第２の方向と同一方向のベクトルとの外積により、第４の方向と同一方向のベクトルを求める
ことを特徴とする請求項４記載の位置合わせ装置。

【請求項6】

前記平面抽出部は、
第１の平面と交わる平面を抽出し、当該平面を法線方向によりグループに分け、当該グループ毎に当該平面の法線方向における位置を示す第１の分布情報を作成し、
第２の平面と交わる平面を抽出し、当該平面を法線方向によりグループに分け、当該グループ毎に当該平面の法線方向における位置を示す第２の分布情報を作成し、
第１の分布情報及び第２の分布情報から位置関係が一致するグループを抽出し、第１の仮想空間における当該抽出したグループに第３の平面が含まれている場合、第２の仮想空間における当該抽出したグループに含まれる、当該第３の平面と同じ位置関係にある平面を、第４の平面とする
ことを特徴とする請求項１から請求項５のうちの何れか１項記載の位置合わせ装置。

【請求項7】

平面設定部が、仮想オブジェクトを有する現実空間を模した第１の仮想空間に存在する第１の平面、及び、現実空間を模した第２の仮想空間に存在する当該第１の平面に相当する第２の平面を設定するステップと、
平面抽出部が、前記平面設定部による設定結果に基づいて、第１の仮想空間に存在する第１の平面と交わる第３の平面、及び、第２の仮想空間に存在する第３の平面に相当する第４の平面を抽出するステップと、
変換部が、前記平面設定部による設定結果及び前記平面抽出部による抽出結果に基づいて、第１の仮想空間における位置及び方向を、第２の仮想空間における位置及び方向に合わせるステップと
を有する位置合わせ方法。

【発明の詳細な説明】

【技術分野】

【0001】

本開示は、２つの仮想空間の位置及び方向を合わせる位置合わせ装置及び位置合わせ方法に関する。

【背景技術】

【0002】

従来、ディスプレイに仮想オブジェクトを表示することで、ユーザに対して現実空間に仮想オブジェクトが存在しているかのように認識させるＭＲ（Ｍｉｘｅｄ Ｒｅａｌｉｔｙ）デバイスが知られている（例えば特許文献１参照）。このＭＲデバイスでは、仮想オブジェクトが現実空間における特定の位置及び方向に存在しているかのように仮想オブジェクトの表示を行う場合、仮想オブジェクトを有する現実空間を模した仮想空間と、ディスプレイを通してユーザから見える現実空間を模した仮想空間との位置及び方向を一致させる必要がある。この２つの仮想空間の位置及び方向は、ユーザによる移動操作及び回転操作により合わせられる。

【先行技術文献】

【特許文献】

【0003】

【文献】特表２０１９－５３２３８２号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

上記のように、従来のＭＲデバイスでは、２つの仮想空間の位置及び方向を一致させる際に、ユーザが移動操作又は回転操作を行う必要がある。

【0005】

本開示は、上記のような課題を解決するためになされたもので、２つの仮想空間を一致させる際に、ユーザによる操作を不要とする位置合わせ装置を提供することを目的としている。

【課題を解決するための手段】

【0006】

本開示に係る位置合わせ装置は、仮想オブジェクトを有する現実空間を模した第１の仮想空間に存在する第１の平面、及び、現実空間を模した第２の仮想空間に存在する当該第１の平面に相当する第２の平面を設定する平面設定部と、平面設定部による設定結果に基づいて、第１の仮想空間に存在する第１の平面と交わる第３の平面、及び、第２の仮想空間に存在する第３の平面に相当する第４の平面を抽出する平面抽出部と、平面設定部による設定結果及び平面抽出部による抽出結果に基づいて、第１の仮想空間における位置及び方向を、第２の仮想空間における位置及び方向に合わせる変換部とを備えたことを特徴とする。

【発明の効果】

【0007】

本開示によれば、上記のように構成したので、２つの仮想空間を一致させる際に、ユーザによる操作が不要となる。

【図面の簡単な説明】

【0008】

【図1】実施の形態１に係るＭＲデバイスの構成例を示す図である。

【図2】実施の形態１に係る演算処理部の構成例を示す図である。

【図3】実施の形態１に係る演算処理部の動作例を示すフローチャートである。

【図4】実施の形態１における平面設定部の動作例を示す図である。

【図5】実施の形態１における平面抽出部の動作例を示す図である。

【図6】実施の形態１における平面抽出部の動作例を示す図である。

【図7】実施の形態１における平面抽出部の動作例を示す図である。

【図8】実施の形態１における平面抽出部の動作例を示す図である。

【図9】実施の形態１における変換部の動作例を示す図である。

【図10】実施の形態１における変換部の動作例を示す図である。

【図11】実施の形態１における変換部の動作例を示す図である。

【図12】実施の形態１における変換部の動作例を示す図である。

【図13】実施の形態１における変換部の動作例を示す図である。

【図14】実施の形態１における変換部の動作例を示す図である。

【図15】実施の形態１における変換部の動作例を示す図である。

【図16】図１６Ａ、図１６Ｂは、実施の形態１に係る演算処理部のハードウェア構成例を示す図である。

【発明を実施するための形態】

【0009】

以下、実施の形態について図面を参照しながら詳細に説明する。
実施の形態１．
図１は実施の形態１に係るＭＲデバイス（仮想オブジェクト表示装置）の構成例を示す図である。
ＭＲデバイスは、ディスプレイ１に仮想オブジェクトを表示することで、ユーザに対して現実空間に仮想オブジェクトが存在しているかのように認識させる。ＭＲデバイスとしては、例えば、Ｈｏｌｏｌｅｎｓ（登録商標）、Ｈｏｌｏｌｅｎｓ２又はＭａｇｉｃ Ｌｅａｐ（登録商標）等のヘッドマウントディスプレイ方式のウェアラブルコンピュータが挙げられる。ＭＲデバイスは、図１に示すように、ディスプレイ１、記憶部２、センサ部３、演算処理部（位置合わせ装置）４及び表示制御部５を備えている。

【0010】

ディスプレイ１は、透明な表示デバイスである。ディスプレイ１としては、ヘッドマウントディスプレイ又はゴーグル等が挙げられる。

【0011】

記憶部２は、ＭＲデバイスで扱われる各種情報を示すデータを記憶する。例えば、記憶部２は、仮想空間（第１の仮想空間）１０ａを示す形状データを記憶している。仮想空間１０ａは、ディスプレイ１に表示される仮想オブジェクトを有する仮想空間であり、現実空間を模して事前に作成された仮想空間である。

【0012】

センサ部３は、ユーザがディスプレイ１を通して見ている現実空間の形状を認識し、当該形状に基づいて仮想空間（第２の仮想空間）１０ｂを作成する。仮想空間１０ｂは、ＭＲデバイスが仮想空間内の自己位置を定めるために作成する仮想空間であり、現実空間を模した仮想空間である。この仮想空間１０ｂは、ユーザがディスプレイ１を通して見ている現実空間に対し、位置及び方向が一致（略一致の意味を含む）している。

【0013】

演算処理部４は、記憶部２に記憶された仮想空間１０ａの位置及び方向を、センサ部３により作成された仮想空間１０ｂの位置及び方向に合わせる。この演算処理部４の詳細については後述する。

【0014】

表示制御部５は、演算処理部４による処理結果に基づいて、記憶部２に記憶されたデータが示す仮想オブジェクトを、ディスプレイ１に表示する。

【0015】

なお図１では、演算処理部４がＭＲデバイスの内部に設けられた場合を示した。しかしながら、これに限らず、演算処理部４はＭＲデバイスの外部に設けられていてもよい。

【0016】

次に、演算処理部４の構成例について、図２を参照しながら説明する。
演算処理部４は、図２に示すように、平面設定部４１、平面抽出部４２及び変換部４３を備えている。

【0017】

平面設定部４１は、仮想空間１０ａに存在する平面（第１の平面）１１ａ、及び、仮想空間１０ｂに存在する平面（第２の平面）１１ｂを設定する。すなわち、平面設定部４１は、平面１１ａの方程式及び平面１１ｂの方程式を生成する。平面１１ａは、例えば床面又は天井面等の水平平面である。平面１１ｂは、平面１１ａに相当する平面である。

【0018】

平面抽出部４２は、平面設定部４１による設定結果に基づいて、仮想空間１０ａに存在する平面（第３の平面）１２ａ、及び、仮想空間１０ｂに存在する平面（第４の平面）１２ｂを抽出する。すなわち、平面抽出部４２は、平面１２ａの方程式及び平面１２ｂの方程式を生成する。平面１２ａは、平面１１ａと交わる平面である。平面１２ｂは、平面１２ａに相当する平面であり、平面１１ｂと交わる平面である。

【0019】

なお、平面抽出部４２は、平面１２ｂについては、以下の手順で抽出を行う。
まず、平面抽出部４２は、平面１１ａと交わる平面を抽出し、当該平面を法線方向によりグループに分ける。なお、平面が平面１１ａと交わるかは、当該平面の方程式から得た法線の傾きから判別可能である。そして、平面抽出部４２は、グループ毎に第１の分布情報を作成する。第１の分布情報は、上記平面の法線方向（奥行き方向）における位置を示す情報である。この際、平面抽出部４２は、平面１１ａと上記平面との交差線を求め、当該交差線の位置から第１の分布情報を作成する。
同様に、平面抽出部４２は、平面１１ｂと交わる平面を抽出し、当該平面を法線方向によりグループに分ける。なお、平面が平面１１ｂと交わるかは、当該平面の方程式から得た法線の傾きから判別可能である。そして、平面抽出部４２は、グループ毎に第２の分布情報を作成する。第２の分布情報は、上記平面の法線方向（奥行き方向）における位置を示す情報である。この際、平面抽出部４２は、平面１１ｂと上記平面との交差線を求め、当該交差線の位置から第２の分布情報を作成する。
そして、平面抽出部４２は、第１の分布情報及び第２の分布情報から位置関係が一致するグループを抽出する。そして、平面抽出部４２は、仮想空間１０ａにおける上記抽出したグループに平面１２ａが含まれている場合、仮想空間１０ｂにおける当該抽出したグループに含まれる、当該平面１２ａと同じ位置関係にある平面を、平面１２ｂとする。

【0020】

変換部４３は、平面設定部４１による設定結果及び平面抽出部４２による抽出結果に基づいて、仮想空間１０ａにおける位置及び方向を、仮想空間１０ｂにおける位置及び方向に合わせる。変換部４３は、図２に示すように、方向変換部（第１の方向変換部）４４、位置変換部４５及び方向変換部（第２の方向変換部）４６を有している。

【0021】

方向変換部４４は、仮想空間１０ａにおける方向（第１の方向）１３ａを、仮想空間１０ｂにおける方向（第２の方向）１３ｂに合わせるように傾ける。方向１３ｂは、方向１３ａに相当する。

【0022】

この際、まず、方向変換部４４は、仮想空間１０ａに存在する交差線（第１の交差線）１４ａ及び交差線（第２の交差線）１５ａを求める。交差線１４ａは、１つの平面１１ａと１つの平面１２ａとが交わる線分である。交差線１５ａは、上記平面１１ａと上記平面１２ａとは平行ではない１つの平面１２ａとが交わる線分である。そして、方向変換部４４は、交差線１４ａ及び交差線１５ａと同一方向のベクトルの外積から、方向１３ａと同一方向のベクトルを求める。
同様に、方向変換部４４は、仮想空間１０ｂに存在する交差線（第３の交差線）１４ｂ及び交差線（第４の交差線）１５ｂを求める。交差線１４ｂは、１つの平面１１ｂと１つの平面１２ｂとが交わる線分である。交差線１５ｂは、上記平面１１ｂと上記平面１２ｂとは平行ではない１つの平面１２ｂとが交わる線分である。そして、方向変換部４４は、交差線１４ｂ及び交差線１５ｂと同一方向のベクトルの外積から、方向１３ｂと同一方向のベクトルを求める。
その後、方向変換部４４は、仮想空間１０ａにおける方向１３ａを、仮想空間１０ｂにおける方向１３ａに合わせるように傾ける。この際、方向変換部４４は、仮想空間１０ａに存在する交差線１４ａ及び交差線１５ａも傾ける。

【0023】

位置変換部４５は、仮想空間１０ａに存在する点（第１の点）１６ａを、仮想空間１０ｂに存在する点（第２の点）１６ｂに合わせるように移動させる。点１６ａは、一意の点である。点１６ｂは、点１６ａに相当する点であり、一意の点である。

【0024】

この際、まず、位置変換部４５は、交差線１４ａ及び交差線１５ａの組合せのうち、同一平面上に存在する交差線１４ａ及び交差線１５ａの交点座標を点１６ａとして求める。
同様に、位置変換部４５は、交差線１４ｂ及び交差線１５ｂの組合せのうち、同一平面上に存在する交差線１４ａ及び交差線１５ａに相当する交差線１４ｂ及び交差線１５ｂの交点座標を点１６ｂとして求める。
その後、位置変換部４５は、仮想空間１０ａに存在する点１６ａを、仮想空間１０ｂに存在する点１６ｂに合わせるように移動させる。

【0025】

方向変換部４６は、仮想空間１０ａにおける方向（第３の方向）１７ａを、仮想空間１０ｂにおける方向（第４の方向）１７ｂに合わせるように傾ける。方向１７ａは、方向１３ａに垂直な方向である。方向１７ｂは、方向１７ａに相当する方向であり、方向１３ｂに垂直な方向である。

【0026】

この際、方向変換部４６は、交差線１４ａ又は交差線１５ａと同一方向のベクトルと、方向１３ａと同一方向のベクトルとの外積により、方向１７ａと同一方向のベクトルを求める。
同様に、方向変換部４６は、交差線１４ｂ又は交差線１５ｂと同一方向のベクトルと、方向１３ｂと同一方向のベクトルとの外積により、方向１７ｂと同一方向のベクトルを求める。
その後、方向変換部４６は、仮想空間１０ａにおける方向１７ａを、仮想空間１０ｂにおける方向１７ｂに合わせるように傾ける。すなわち、方向変換部４６は、仮想空間１０ａを方向１３ａ回りに回転させる。

【0027】

なおここでは、演算処理部４がＭＲデバイスに適用された場合を示した。しかしながら、これに限らず、演算処理部４は、ＡＲ（Ａｕｇｍｅｎｔｅｄ Ｒｅａｌｉｔｙ）デバイスに適用されていてもよい。

【0028】

次に、図２に示す実施の形態１における演算処理部４の動作例について、図３を参照しながら説明する。
ここで、ＭＲデバイスによる仮想オブジェクトの表示では、ディスプレイ１を通して見える現実空間のどこに仮想オブジェクトを仮想的に存在させるかを決める必要がある。現行では、ＭＲデバイスが自己の保有するセンサ部で認識した現実空間の形状に基づいて仮想空間を構築し、表示する仮想オブジェクトを仮想空間内の不定の位置又はユーザ操作による位置指定によって表示位置を決める。

【0029】

ここで、仮想オブジェクトを現実空間における特定の位置及び方向に存在しているかのように表示する場合、仮想オブジェクトが存在する仮想空間における特定の座標値及び方向を、ＭＲデバイスが自己位置を推定するために現実空間の特徴に基づいて作成した仮想空間における特定の座標値及び方向に一致させる必要がある。

【0030】

具体例を挙げれば、現実空間における気流の流れをＭＲにより可視化する場合、第１の仮想空間及び第２の仮想空間の位置及び方向を一致させなければならない。なお、第１の仮想空間は、現実空間（現存する建築物の空間形状）のＢＩＭ（Ｂｕｉｌｄｉｎｇ Ｉｎｆｏｒｍａｔｉｏｎ Ｍｏｄｅｌｉｎｇ）データ等の建築ＣＡＤ（Ｃｏｍｐｕｔｅｒ－Ａｉｄｅｄ Ｄｅｓｉｇｎ）データの形状（気流解析に用いる形状）で作成された仮想空間である。第２の仮想空間は、ＭＲデバイスが現実空間に基づいて作成した仮想空間である。

【0031】

ＭＲデバイスが表示を開始した後に、ユーザによる移動操作及び回転操作により、第１の仮想空間の位置及び方向を、第２の仮想空間に合わせることは可能である。しかしながら、この方法では、作業が煩雑であり、ユーザが期待するものではない。そのため、２つの仮想空間はユーザによる移動操作及び回転操作を行わずに一致させることが求められる。

【0032】

しかしながら、予め用意された仮想オブジェクトが存在する第１の仮想空間と、ＭＲデバイスが自己の位置を推定するために作成した第２の仮想空間は、それぞれ独立した仮想空間である。また、ＭＲデバイスが作成した第２の仮想空間の位置及び方向は、作成時の条件（空間認識を開始した位置及び方向等）により変動する。よって、第１の仮想空間と第２の仮想空間とを一致させる情報は事前に決められるものではない。

【0033】

ＭＲデバイスを起動して現実空間の認識を開始する瞬間の、現実空間における位置及び向きを、固定された三脚等により厳密に指定できれば、ＭＲデバイスにより作成される仮想空間の位置及び方向を予め想定することは可能である。しかしながら、この方法は、現実的な運用方法とは言えない。

【0034】

一方、特許文献１では、仮想オブジェクトを仮想空間に再配置する方法が提示されている。しかしながら、この方法は仮想オブジェクトをＭＲデバイスが現実空間に基づいて作成した仮想空間上の任意の平面（例えば壁又は机の上）に沿うように、自動で回転させ配置するように、ユーザによる仮想オブジェクトを空間内で移動させる際の疲労を低減させることを目的とした、仮想オブジェクトの移動に緩い拘束条件を発生させるものである。

【0035】

そのため、この方法では前述のような２つの仮想空間の一致を、ユーザの何らかのインタラクションによる移動操作及び回転操作を伴わずに実行することはできない。

【0036】

この問題を解決するためには、形状が一致する２つの仮想空間の位置及び方向を必ず一意に決めることができる厳格な拘束条件を導き出す必要がある。

【0037】

そこで、実施の形態１に係る演算処理部４は、まず、仮想空間１０ａの方向１３ａを仮想空間１０ｂの方向１３ｂに合わせる。そして、演算処理部４は、仮想空間１０ａと仮想空間１０ｂに存在する一意の点１６ａ，１６ｂを一致させる。これにより、演算処理部４は、２つの仮想空間を、上記一意の点１６ａ，１６ｂを通る軸周りの回転誤差を除いて、一致させる。最後に、演算処理部４は、仮想空間１０ａの方向１７ａを仮想空間１０ｂの方向１７ｂに合わせる。これにより、演算処理部４は、仮想空間１０ａを仮想空間１０ｂに対し、位置及び方向（傾き）ともに一致させる。

【0038】

これにより、演算処理部４は、表示用に予め用意した仮想オブジェクトが属する仮想空間１０ａの位置及び方向を、センサ部３が現実空間の形状を基に作成した仮想空間１０ｂの位置及び方向と一致させることができる。そのため、仮想オブジェクト表示装置は、表示したい仮想オブジェクトを、ユーザが移動操作及び回転操作することなく、ディスプレイ１を通して見える現実空間の任意の位置及び向きに存在しているかのように表示可能になる。

【0039】

なお以下では、平面１１ａ及び平面１１ｂが水平平面であり、平面１２ａ及び平面１２ｂが垂直平面であるとする。また、方向１３ａ及び方向１３ｂが垂直方向であり、方向１７ａ及び方向１７ｂが水平方向であるとする。

【0040】

演算処理部４の動作例では、図３に示すように、まず、平面設定部４１は、仮想空間１０ａに存在する水平平面、及び、仮想空間１０ｂに存在する水平平面を設定する（ステップＳＴ３０１）。以下では、図４に示すように、仮想空間１０ａに存在する水平平面をＡ－ＨＰｌａｎｅ（ｎ）と称し、仮想空間１０ｂに存在する水平平面をＢ－ＨＰｌａｎｅ（ｎ）と称す。図４では、Ａ－ＨＰｌａｎｅ（１），Ｂ－ＨＰｌａｎｅ（１）が図示されている。

【0041】

水平平面としては、通常、仮想空間内の床面又は天井面が選択されることが想定される。また、床面及び天井面は、法線の向き、及び、平面が仮想空間内の平面の集合のうちの上端及び下端の何れに属しているかによって、容易に選択可能である。
また、水平平面として、机の上面等のように、床面及び天井面以外の平面が選択されてもよい。この場合、仮想空間内の高さ方向の情報から容易に平面の選択が可能である。

【0042】

次いで、平面抽出部４２は、平面設定部４１による設定結果に基づいて、仮想空間１０ａに存在する垂直平面、及び、仮想空間１０ｂに存在する垂直平面を抽出する（ステップＳＴ３０２）。以下では、図５に示すように、仮想空間１０ａに存在する垂直平面をＡ－Ｐｌａｎｅ（ｎ）と称し、仮想空間１０ｂに存在する垂直平面をＢ－Ｐｌａｎｅ（ｎ）と称す。図５では、Ａ－Ｐｌａｎｅ（１），Ａ－Ｐｌａｎｅ（２），Ｂ－Ｐｌａｎｅ（１），Ｂ－Ｐｌａｎｅ（２）が図示されている。

【0043】

ここで、平面抽出部４２は、仮想空間１０ａ及び仮想空間１０ｂから、同等の平面の組合せを抽出する必要がある。ここで課題となるのは、仮想空間１０ｂは、センサ部３が現実空間の形状を認識した後に作成されるため、仮想空間１０ａに存在する平面１２ａに相当する平面１２ｂを予め選定できない点である。また、ＭＲデバイスが仮想空間の描画のために定義する表示計算用の３次元空間内において、仮想空間１０ｂが作成される位置及び方向は、センサ部３が現実空間の形状の認識を始める時点での、センサ部３と現実空間との位置関係により相対的に決まる。そのため、仮想空間１０ａに存在する平面１２ａの位置を基に、仮想空間１０ｂに存在する平面１２ｂを選定できない点も課題である。
そのため、平面抽出部４２は、上記の課題の下、仮想空間１０ｂから、仮想空間１０ａの平面１２ａに相当する平面１２ｂを抽出するため、以下のような処理を行う。

【0044】

まず、図６に示すように、平面抽出部４２は、Ａ－ＨＰｌａｎｅ（ｎ）と交わる平面を抽出し、当該平面を法線方向によりグループに分ける。なお、平面がＡ－ＨＰｌａｎｅ（ｎ）と交わるかは、当該平面の方程式から得た法線の傾きから判別可能である。図６では、同一グループの平面として、Ａ－Ｐｌａｎｅ（２）～Ａ－Ｐｌａｎｅ（６）が図示されている。なお、Ａ－Ｐｌａｎｅ（５），Ａ－Ｐｌａｎｅ（６）が抽出される部位は、部屋の柱等の一面であり、図４等では図示されていない部位である。そして、図７に示すように、平面抽出部４２は、グループ毎に第１の分布情報を作成する。この際、平面抽出部４２は、Ａ－ＨＰｌａｎｅ（ｎ）と上記平面との交差線を求め、当該交差線の位置から第１の分布情報を作成する。図７では、図６に示されるグループの第１の分布情報が示す位置として、Ａ－Ｐ（１）～Ａ－Ｐ（４）が示されている。
同様に、平面抽出部４２は、Ｂ－ＨＰｌａｎｅ（ｎ）と交わる平面を抽出し、当該平面を法線方向によりグループに分ける。なお、平面がＢ－Ｐｌａｎｅ（ｎ）と交わるかは、当該平面の方程式から得た法線の傾きから判別可能である。図８では、同一グループの平面として、Ｂ－Ｐｌａｎｅ（２）～Ｂ－Ｐｌａｎｅ（６）が図示されている。なお、Ｂ－Ｐｌａｎｅ（５），Ｂ－Ｐｌａｎｅ（６）が抽出される部位は、部屋の柱等の一面であり、図４等では図示されていない部位である。そして、平面抽出部４２は、グループ毎に第２の分布情報を作成する。この際、平面抽出部４２は、Ａ－ＨＰｌａｎｅ（ｎ）と上記平面との交差線を求め、当該交差線の位置から第２の分布情報を作成する。図８では、図８に示されるグループの第２の分布情報が示す位置として、Ｂ－Ｐ（１）～Ｂ－Ｐ（４）が示されている。
そして、図８に示すように、平面抽出部４２は、第１の分布情報及び第２の分布情報から位置関係が一致するグループを抽出する。そして、平面抽出部４２は、仮想空間１０ａにおける上記抽出したグループにＡ－Ｐｌａｎｅ（ｎ）が含まれている場合、仮想空間１０ｂにおける当該抽出したグループに含まれる、当該Ａ－Ｐｌａｎｅ（ｎ）と同じ位置関係にある平面を、Ｂ－Ｐｌａｎｅ（ｎ）とする。

【0045】

なお図８に示すように、仮想空間１０ｂ内に対象とされる平面が複数存在する場合も想定される。図８では、仮想空間１０ｂにおいて、Ａ－Ｐ（２）と同じ位置関係にあるものはＢ－Ｐ（２）であり、そのＢ－Ｐ（２）に位置する平面はＢ－Ｐｌａｎｅ（３），Ｂ－Ｐｌａｎｅ（４）の２つである。しかしながら、この平面は無限平面として定義されるため、同一平面上に存在する平面であればどの平面が選択されてもよく、同一の結果が得られる。

【0046】

なお、対象とする現実空間が例えば何も物が置かれていない立方体状の空間である場合、同一の仮想空間内に奥行き方向の位置関係が全く同じグループが複数存在することも考えられる。このような場合、仮想空間１０ａについては予め方位を示す情報を付与し、仮想空間１０ｂについては、ＭＲデバイスにジャイロセンサ等の方位を検知可能なセンサを設け、当該センサにより検知された方位を示す情報を付与する。そして、平面抽出部４２は、仮想空間１０ａに付与された方位を示す情報及び仮想空間１０ｂに付与された方位を示す情報に基づいて、平面１２ｂ（ここではＢ－Ｐｌａｎｅ（ｎ））の抽出を行う。

【0047】

次いで、方向変換部４４は、仮想空間１０ａにおける垂直方向を、仮想空間１０ｂにおける垂直方向に合わせるように傾ける（ステップＳＴ３０３）。

【0048】

この際、まず、図９，１０に示すように、方向変換部４４は、仮想空間１０ａに存在する交差線１４ａ及び交差線１５ａを求める。交差線１４ａは、１つのＡ－ＨＰｌａｎｅ（ｎ）と１つのＡ－Ｐｌａｎｅ（ｎ）とが交わる線分である。図９では、交差線１４ａは、Ａ－ＨＰｌａｎｅ（１）とＡ－Ｐｌａｎｅ（１）とが交わる線分である。交差線１５ａは、上記Ａ－ＨＰｌａｎｅ（ｎ）と上記Ａ－Ｐｌａｎｅ（ｎ）とは平行ではない１つのＡ－Ｐｌａｎｅ（ｎ）とが交わる線分である。図１０では、交差線１５ａは、Ａ－ＨＰｌａｎｅ（１）とＡ－Ｐｌａｎｅ（２）とが交わる線分である。そして、図１１に示すように、方向変換部４４は、交差線１４ａ及び交差線１５ａと同一方向のベクトル１４ａ’，１５ａ’の外積から、垂直方向と同一方向のベクトル１３ａ’を求める。
同様に、図９，１０に示すように、方向変換部４４は、仮想空間１０ｂに存在する交差線１４ｂ及び交差線１５ｂを求める。交差線１４ｂは、１つのＢ－ＨＰｌａｎｅ（ｎ）と１つのＢ－Ｐｌａｎｅ（ｎ）とが交わる線分である。図９では、交差線１４ｂは、Ｂ－ＨＰｌａｎｅ（１）とＢ－Ｐｌａｎｅ（１）とが交わる線分である。交差線１５ｂは、上記Ｂ－ＨＰｌａｎｅ（ｎ）と上記Ｂ－Ｐｌａｎｅ（ｎ）とは平行ではない１つのＢ－Ｐｌａｎｅ（ｎ）とが交わる線分である。図１０では、交差線１５ｂは、Ｂ－ＨＰｌａｎｅ（１）とＢ－Ｐｌａｎｅ（２）とが交わる線分である。そして、図１１に示すように、方向変換部４４は、交差線１４ｂ及び交差線１５ｂと同一方向のベクトル１４ｂ’，１５ｂ’の外積から、垂直方向と同一方向のベクトル１３ｂ’を求める。
その後、図１３に示すように、方向変換部４４は、仮想空間１０ａにおける垂直方向を、仮想空間１０ｂにおける垂直方向に合わせるように傾ける。この際、方向変換部４４は、仮想空間１０ａに存在する交差線１４ａ及び交差線１５ａも傾ける。

【0049】

次いで、位置変換部４５は、仮想空間１０ａに存在する点１６ａを、仮想空間１０ｂに存在する点１６ｂに合わせるように移動させる（ステップＳＴ３０４）。

【0050】

この際、まず、図１２に示すように、位置変換部４５は、交差線１４ａ及び交差線１５ａの組合せのうち、同一平面上に存在する交差線１４ａ及び交差線１５ａの交点座標を点１６ａとして求める。なお図１２では、方向変換部４４が仮想空間１０ａの方向を変換する前に、位置変換部４５が点１６ａを求めている。そのため、方向変換部４４は、仮想空間１０ａに対する方向変換に伴い、上記点１６ａも傾ける。
同様に、図１２に示すように、位置変換部４５は、交差線１４ｂ及び交差線１５ｂの組合せのうち、同一平面上に存在する交差線１４ａ及び交差線１５ａに相当する交差線１４ｂ及び交差線１５ｂの交点座標を点１６ｂとして求める。
その後、図１４に示すように、位置変換部４５は、仮想空間１０ａに存在する点１６ａを、仮想空間１０ｂに存在する点１６ｂに合わせるように移動させる（符号１４０１参照）。

【0051】

次いで、方向変換部４６は、仮想空間１０ａにおける水平方向を、仮想空間１０ｂにおける水平方向に合わせるように傾ける（ステップＳＴ３０５）。

【0052】

この際、図１５に示すように、方向変換部４６は、交差線１４ａ又は交差線１５ａと同一方向のベクトルと、垂直方向と同一方向のベクトル１３ａ’との外積により、水平方向と同一方向のベクトル１７ａ’を求める。
同様に、方向変換部４６は、交差線１４ｂ又は交差線１５ｂと同一方向のベクトルと、垂直方向と同一方向のベクトル１３ｂ’との外積により、水平方向と同一方向のベクトル１７ｂ’を求める。
その後、方向変換部４６は、仮想空間１０ａにおける水平方向を、仮想空間１０ｂにおける水平方向に合わせるように傾ける。すなわち、方向変換部４６は、仮想空間１０ａを垂直方向回りに回転させる（符号１５０１参照）。

【0053】

以上のように、この実施の形態１によれば、演算処理部（位置合わせ装置）４は、仮想オブジェクトを有する現実空間を模した仮想空間１０ａに存在する平面１１ａ、及び、現実空間を模した仮想空間１０ｂに存在する当該平面１１ａに相当する平面１１ｂを設定する平面設定部４１と、平面設定部４１による設定結果に基づいて、仮想空間１０ａに存在する平面１１ａと交わる平面１２ａ、及び、仮想空間１０ｂに存在する平面１２ａに相当する平面１２ｂを抽出する平面抽出部４２と、平面設定部４１による設定結果及び平面抽出部４２による抽出結果に基づいて、仮想空間１０ａにおける位置及び方向を、仮想空間１０ｂにおける位置及び方向に合わせる変換部４３とを備えた。これにより、実施の形態１に係る演算処理部４は、２つの仮想空間を一致させる際に、ユーザによる操作が不要となる。

【0054】

最後に、図１６を参照して、実施の形態１における演算処理部４のハードウェア構成例を説明する。
演算処理部４における平面設定部４１、平面抽出部４２、方向変換部４４、位置変換部４５及び方向変換部４６の各機能は、処理回路１０１により実現される。処理回路１０１は、図１６Ａに示すように、専用のハードウェアであってもよいし、図１６Ｂに示すように、メモリ１０３に格納されるプログラムを実行するＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ、中央処理装置、処理装置、演算装置、マイクロプロセッサ、マイクロコンピュータ、プロセッサ、又はＤＳＰ（Ｄｉｇｉｔａｌ Ｓｉｇｎａｌ Ｐｒｏｃｅｓｓｏｒ）ともいう）１０２であってもよい。

【0055】

処理回路１０１が専用のハードウェアである場合、処理回路１０１は、例えば、単一回路、複合回路、プログラム化したプロセッサ、並列プログラム化したプロセッサ、ＡＳＩＣ（Ａｐｐｌｉｃａｔｉｏｎ Ｓｐｅｃｉｆｉｃ Ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔ）、ＦＰＧＡ（Ｆｉｅｌｄ Ｐｒｏｇｒａｍｍａｂｌｅ Ｇａｔｅ Ａｒｒａｙ）、又はこれらを組み合わせたものが該当する。平面設定部４１、平面抽出部４２、方向変換部４４、位置変換部４５及び方向変換部４６の各部の機能それぞれを処理回路１０１で実現してもよいし、各部の機能をまとめて処理回路１０１で実現してもよい。

【0056】

処理回路１０１がＣＰＵ１０２の場合、平面設定部４１、平面抽出部４２、方向変換部４４、位置変換部４５及び方向変換部４６の機能は、ソフトウェア、ファームウェア、又はソフトウェアとファームウェアとの組み合わせにより実現される。ソフトウェア及びファームウェアはプログラムとして記述され、メモリ１０３に格納される。処理回路１０１は、メモリ１０３に記憶されたプログラムを読み出して実行することにより、各部の機能を実現する。すなわち、演算処理部４は、処理回路１０１により実行されるときに、例えば図３に示した各ステップが結果的に実行されることになるプログラムを格納するためのメモリ１０３を備える。また、これらのプログラムは、平面設定部４１、平面抽出部４２、方向変換部４４、位置変換部４５及び方向変換部４６の手順及び方法をコンピュータに実行させるものであるともいえる。ここで、メモリ１０３としては、例えば、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）、フラッシュメモリ、ＥＰＲＯＭ（Ｅｒａｓａｂｌｅ Ｐｒｏｇｒａｍｍａｂｌｅ ＲＯＭ）、ＥＥＰＲＯＭ（Ｅｌｅｃｔｒｉｃａｌｌｙ ＥＰＲＯＭ）等の不揮発性又は揮発性の半導体メモリ、磁気ディスク、フレキシブルディスク、光ディスク、コンパクトディスク、ミニディスク、又はＤＶＤ（Ｄｉｇｉｔａｌ Ｖｅｒｓａｔｉｌｅ Ｄｉｓｃ）等が該当する。

【0057】

なお、平面設定部４１、平面抽出部４２、方向変換部４４、位置変換部４５及び方向変換部４６の各機能について、一部を専用のハードウェアで実現し、一部をソフトウェア又はファームウェアで実現するようにしてもよい。例えば、平面設定部４１については専用のハードウェアとしての処理回路１０１でその機能を実現し、平面抽出部４２、方向変換部４４、位置変換部４５及び方向変換部４６については処理回路１０１がメモリ１０３に格納されたプログラムを読み出して実行することによってその機能を実現することが可能である。

【0058】

このように、処理回路１０１は、ハードウェア、ソフトウェア、ファームウェア、又はこれらの組み合わせによって、上述の各機能を実現することができる。

【0059】

なお、実施の形態の任意の構成要素の変形、若しくは実施の形態の任意の構成要素の省略が可能である。

【産業上の利用可能性】

【0060】

本開示に係る位置合わせ装置は、２つの仮想空間を一致させる際に、ユーザによる操作が不要となり、２つの仮想空間の位置及び方向を合わせる位置合わせ装置等に用いるのに適している。

【符号の説明】

【0061】

１ ディスプレイ、２ 記憶部、３ センサ部、４ 演算処理部、５ 表示制御部、４１ 平面設定部、４２ 平面抽出部、４３ 変換部、４４ 方向変換部（第１の方向変換部）、４５ 位置変換部、４６ 方向変換部（第２の方向変換部）、１０１ 処理回路、１０２ ＣＰＵ、１０３ メモリ。

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】

【図15】

【図16】