特開 2024-18888 分離型仮想システムの空間位置特定方法、仮想システム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2024018888

(43)【公開日】2024-02-08

(54)【発明の名称】分離型仮想システムの空間位置特定方法、仮想システム

(51)【国際特許分類】

   G06F 3/01 20060101AFI20240201BHJP

   G06F 3/0346 20130101ALI20240201BHJP

【ＦＩ】

G06F3/01 510

G06F3/0346 422

G06F3/0346 425

【審査請求】有

【請求項の数】12

【出願形態】ＯＬ

(21)【出願番号】P 2023019257

(22)【出願日】2023-02-10

(31)【優先権主張番号】202210910072.4

(32)【優先日】2022-07-29

(33)【優先権主張国・地域又は機関】CN

【公序良俗違反の表示】

（特許庁注：以下のものは登録商標）

１．ＪＡＶＡ

(71)【出願人】

【識別番号】520027176

【氏名又は名称】小派科技（上海）有限責任公司

【氏名又は名称原語表記】Ｐｉｍａｘ Ｔｅｃｈｎｏｌｏｇｙ （Ｓｈａｎｇｈａｉ） ＣＯ．， ＬＴＤ

【住所又は居所原語表記】Ｒｏｏｍ ４０６－Ｃ， Ｂｕｉｌｄｉｎｇ Ａ， Ｂｌｏｃｋ １， Ｎｏ．３０００ Ｌｏｎｇｄｏｎｇ Ａｖｅｎｕｅ， Ｐｉｌｏｔ Ｆｒｅｅ Ｔｒａｄｅ Ｚｏｎｅ， Ｓｈａｎｇｈａｉ， ＣＨＩＮＡ

(74)【代理人】

【識別番号】110002262

【氏名又は名称】ＴＲＹ国際弁理士法人

(72)【発明者】

【氏名】翁 志彬

(72)【発明者】

【氏名】周 克

(72)【発明者】

【氏名】陳 磊

【テーマコード（参考）】

5B087

5E555

【Ｆターム（参考）】

5B087AA02

5B087BC32

5B087BC34

5E555AA64

5E555BA02

5E555BA05

5E555BA06

5E555BA08

5E555BB02

5E555BB05

5E555BB06

5E555BB08

5E555BC04

5E555BE17

5E555CA42

5E555CA44

5E555CB47

5E555CB82

5E555CC05

5E555DA08

5E555EA22

5E555FA00

(57)【要約】

【課題】従来技術において仮想システムを分離して設置できず且つ正確に位置特定できない技術的問題を解決する。
【解決手段】一実施例による分離型仮想システムの空間位置特定方法は、モバイル端末が仮想ヘッドマウント表示装置に取り付けられて、モバイル端末が仮想モードに入ると、モバイル端末に設置される撮影装置が撮影した第１画像から並進自由度を決定し、且つモバイル端末に設置される第１慣性センサによって回転自由度を取得し、更に仮想ヘッドマウント表示装置の空間位置特定情報を決定し、モバイル端末の空間位置特定の正確性を向上させる。また、空間位置特定情報に基づいてマンマシンインタラクションを行ってゲーム体験を向上させ、それによりモバイル端末の分離型ヘッドマウント表示装置の性能を向上させる。
【選択図】図１

【特許請求の範囲】

【請求項1】

分離型仮想システムの空間位置特定方法であって、
仮想ヘッドマウント表示装置と、前記仮想ヘッドマウント表示装置に取り外し可能に取り付けられるモバイル端末と、前記モバイル端末に通信接続される制御ハンドルと、を備え、前記モバイル端末に第１慣性センサが設けられ、前記モバイル端末及び／又は前記仮想ヘッドマウント表示装置に撮影装置が設けられ、前記第１慣性センサが前記モバイル端末のＩＭＵデータを検出するためのものであり、
前記分離型仮想システムの空間位置特定方法は、
前記モバイル端末が前記仮想ヘッドマウント表示装置に取り付けられることを決定する場合、前記撮影装置を制御して前記仮想ヘッドマウント表示装置の位置する環境を撮影させて、第１画像を形成することと、
前記第１慣性センサを制御して前記仮想ヘッドマウント表示装置のＩＭＵデータを検出させることと、
前記仮想ヘッドマウント表示装置のＩＭＵデータ及び前記第１画像に基づいて計算を行って、前記仮想ヘッドマウント表示装置の空間位置特定情報を生成することと、を含むことを特徴とする分離型仮想システムの空間位置特定方法。

【請求項2】

前記仮想ヘッドマウント表示装置のＩＭＵデータ及び前記第１画像に基づいて計算を行って、前記仮想ヘッドマウント表示装置の空間位置特定情報を生成することは、
前記第１画像に基づいて前記仮想ヘッドマウント表示装置の並進自由度データを決定することと、
前記仮想ヘッドマウント表示装置の前記並進自由度データ及び前記仮想ヘッドマウント表示装置の前記ＩＭＵデータに基づいて前記仮想現実ヘッドマウント表示装置の６ＤＯＦデータを決定することと、を含み、
前記仮想ヘッドマウント表示装置の空間位置特定情報が前記仮想ヘッドマウント表示装置の６ＤＯＦデータを含むことを特徴とする請求項１に記載の分離型仮想システムの空間位置特定方法。

【請求項3】

前記第１画像に基づいて前記仮想ヘッドマウント表示装置の並進自由度データを決定することは、
前記第１画像から画像特徴点を抽出し、参照画像から参照特徴点を抽出することと、
前記画像特徴点と前記参照特徴点をマッチングして、有効特徴点を生成することと、
前記有効特徴点に基づいて、スライディングウィンドウ法に基づいて前記第１画像からキー領域を抽出することと、
前記キー領域、前記有効特徴点及び前記仮想表示装置の位置する空間の地図に基づいて、地図点を生成することと、
前記地図点及び前記地図に基づいて前記並進自由度データを含む前記仮想表示装置の地図情報を決定することと、を含むことを特徴とする請求項２に記載の分離型仮想システムの空間位置特定方法。

【請求項4】

スライディングウィンドウ法に基づいて前記第１画像からキー領域を抽出する前に、前記第１画像に基づいて前記仮想ヘッドマウント表示装置の並進自由度データを決定することは、
前記第１画像が初期化されるかどうかを判断することと、
前記第１画像が初期化されることを決定する場合、前記有効特徴点に基づいて、スライディングウィンドウ法に基づいて前記第１画像からキー領域を抽出することと、を更に含むことを特徴とする請求項３に記載の分離型仮想システムの空間位置特定方法。

【請求項5】

前記第１画像に基づいて前記仮想ヘッドマウント表示装置の並進自由度データを決定することは、
前記第１画像が初期化されていないことを決定する場合、前記地図に基づいて前記第１画像を改めて位置特定して、前記第１画像の位置特定状態を決定することを更に含み、
前記有効特徴点に基づいて、スライディングウィンドウ法に基づいて前記第１画像からキー領域を抽出することは、
前記第１画像の位置特定状態に応じて、前記有効特徴点に基づいて、スライディングウィンドウ法に基づいて前記第１画像からキー領域を抽出することを含むことを特徴とする請求項４に記載の分離型仮想システムの空間位置特定方法。

【請求項6】

前記第１画像が初期化されることを決定する場合、前記有効特徴点に基づいて、スライディングウィンドウ法に基づいて前記第１画像からキー領域を抽出することは、
前記第１画像におけるスライディングウィンドウのスライディングウィンドウ状態を決定することと、
前記スライディングウィンドウ状態に応じて前記第１画像の位置特定状態を決定することと、
前記位置特定状態に応じて、前記スライディングウィンドウを前記第１画像からスワイプすることと、
前記スライディングウィンドウをスワイプする画像領域を検出して、有効特徴点を検出したスライディングウィンドウを前記キー領域として保存することと、を含むことを特徴とする請求項４に記載の分離型仮想システムの空間位置特定方法。

【請求項7】

制御ハンドルに赤外線センサ及び第２慣性センサが取り付けられ、前記モバイル端末上の前記撮影装置は更に前記赤外線センサのスポット画像を撮影することに用いられ、
前記分離型仮想システムの空間位置特定方法は、
前記モバイル端末が前記仮想ヘッドマウント表示装置に取り付けられることを決定する場合、前記撮影装置を制御して前記制御ハンドル上の前記赤外線センサを撮影させて、スポット画像を形成することと、
前記第２慣性センサを制御して前記制御ハンドルのＩＭＵデータを検出させることと、
前記仮想ヘッドマウント表示装置の空間位置特定情報、前記制御ハンドルのＩＭＵデータ及び前記スポット画像に基づいて計算を行って、前記制御ハンドルの空間位置特定情報を生成することと、を更に含むことを特徴とする請求項１に記載の分離型仮想システムの空間位置特定方法。

【請求項8】

前記モバイル端末が前記仮想ヘッドマウント表示装置に取り付けられることを決定する場合、前記撮影装置を制御して前記仮想ヘッドマウント表示装置の位置する環境を撮影させて、第１画像を形成することは、
前記モバイル端末の接続プラグインが前記仮想ヘッドマウント表示装置の接続プラグインに接すると、前記撮影装置を制御して前記仮想ヘッドマウント表示装置の位置する環境を撮影させて、第１画像を形成することを含むことを特徴とする請求項１に記載の分離型仮想システムの空間位置特定方法。

【請求項9】

分離型仮想システムであって、
モバイル端末と、
前記モバイル端末のＩＭＵデータを検出するためのものであって、前記モバイル端末に設置される第１慣性センサと、
スマート端末が取り外し可能に取り付けられる仮想ヘッドマウント表示装置と、
前記モバイル端末及び／又は前記仮想ヘッドマウント表示装置に設置される撮影装置と、
それぞれ前記モバイル端末、前記第１慣性センサ及び前記撮影装置に通信接続される分離型仮想システムの空間位置特定コントローラと、を備え、
前記空間位置特定コントローラは、
前記モバイル端末が前記仮想ヘッドマウント表示装置に取り付けられることを決定する場合、前記モバイル端末の機能を仮想ヘッドマウント表示機能に切り替えるための機能切替ユニットと、
前記撮影装置を制御して前記仮想ヘッドマウント表示装置の位置する環境を撮影させて、第１画像を形成するための撮影制御ユニットと、
前記第１慣性センサを制御して前記仮想ヘッドマウント表示装置のＩＭＵデータを検出させるためのセンサ制御ユニットと、
前記仮想ヘッドマウント表示装置のＩＭＵデータ及び前記第１画像に基づいて計算を行って、前記仮想ヘッドマウント表示装置の空間位置特定情報を生成するための位置特定ユニットと、を備えることを特徴とする分離型仮想システム。

【請求項10】

前記位置特定ユニットは、
前記第１画像に基づいて前記仮想ヘッドマウント表示装置の並進自由度データを決定するための並進自由度決定モジュールと、
前記仮想ヘッドマウント表示装置の前記並進自由度データ及び前記仮想ヘッドマウント表示装置の前記ＩＭＵデータに基づいて前記仮想現実ヘッドマウント表示装置の６ＤＯＦデータを決定するための６自由度決定モジュールと、を備え、
前記仮想ヘッドマウント表示装置の空間位置特定情報が前記仮想ヘッドマウント表示装置の６ＤＯＦデータを含むことを特徴とする請求項９に記載の分離型仮想システム。

【請求項11】

前記並進自由度決定モジュールは、
前記第１画像から画像特徴点を抽出し、参照画像から参照特徴点を抽出し、且つ前記画像特徴点と前記参照特徴点をマッチングして、有効特徴点を生成するための特徴決定モジュールと、
前記有効特徴点に基づいて、スライディングウィンドウ法に基づいて前記第１画像からキー領域を抽出するための領域抽出モジュールと、
前記キー領域、前記有効特徴点及び前記仮想表示装置の位置する空間の地図に基づいて、地図点を生成するための地図点生成モジュールと、
前記地図点及び前記地図に基づいて前記並進自由度データを含む前記仮想表示装置の地図情報を決定するための地図情報決定モジュールと、を備えることを特徴とする請求項１０に記載の分離型仮想システム。

【請求項12】

制御ハンドルと、
前記制御ハンドルに設置される赤外線センサ及び第２慣性センサであって、前記第２慣性センサが前記制御ハンドルのＩＭＵデータを測定することに用いられる赤外線センサ及び第２慣性センサと、を更に備え、
前記モバイル端末上の前記撮影装置は更に前記赤外線センサのスポット画像を撮影することに用いられ、
前記撮影制御ユニットは更に前記撮影装置を制御して前記制御ハンドル上の前記赤外線センサを撮影させて、スポット画像を形成することに用いられ、
前記センサ制御ユニットは更に前記第２慣性センサを制御して前記制御ハンドルのＩＭＵデータを検出させることに用いられ、
前記位置特定ユニットは更に前記仮想ヘッドマウント表示装置の空間位置特定情報、前記制御ハンドルのＩＭＵデータ及び前記スポット画像に基づいて計算を行って、前記制御ハンドルの空間位置特定情報を生成することに用いられることを特徴とする請求項９に記載の分離型仮想システム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は仮想技術分野に関し、具体的に分離型仮想システムの空間位置特定方法、仮想システムに関する。

【背景技術】

【0002】

現在、市場にはＶＲボックスとモバイル端末とからなる新型の仮想現実（ＶＲ、Ｖｉｒｔｕａｌ Ｒｅａｌｉｔｙ）ヘッドマウント表示装置が大量に出現している。このような新型のＶＲヘッドマウント表示装置の性能は主にモバイル端末の性能によって決定され、その性能は従来のコンピュータ－ＶＲヘッドマウント表示装置又はＶＲ一体型機器よりも遥かに低い。コンピュータ－ＶＲヘッドマウント表示装置又はＶＲ一体型機器のディスプレイとＶＲ仮想ヘッドマウント表示装置は一般的に分離不可能なものであり、組み合わせて使用されるだけであり、このため、利便性が制限されている。

【0003】

しかしながら、モバイル端末を取り外してから改めて制御ハンドル及びヘッドマウント表示装置を正確に位置特定する必要があり、そうでなければ、スムーズなマンマシンインタラクションを行うことができず、更にゲーム体験に影響してしまう。そして、モバイル端末の分離可能なＶＲヘッドマウント表示装置を正確に位置特定する方法がまだない。

【発明の概要】

【発明が解決しようとする課題】

【0004】

これに鑑みて、本発明は分離型仮想システムの空間位置特定方法及び仮想システムを提供し、従来技術において仮想システムを分離して設置できず且つ正確に位置特定できない技術的問題を解決した。

【課題を解決するための手段】

【0005】

本発明の第１態様として、本発明は分離型仮想システムの空間位置特定方法を提供し、前記分離型仮想システムは、仮想ヘッドマウント表示装置と、前記仮想ヘッドマウント表示装置に取り外し可能に取り付けられるモバイル端末と、前記モバイル端末に通信接続される制御ハンドルと、を備え、前記モバイル端末に第１慣性センサが設けられ、前記モバイル端末及び／又は前記仮想ヘッドマウント表示装置に撮影装置が設けられ、前記第１慣性センサが前記モバイル端末のＩＭＵデータを検出するためのものであり、前記分離型仮想システムの空間位置特定方法は、前記モバイル端末が前記仮想ヘッドマウント表示装置に取り付けられることを決定する場合、前記撮影装置を制御して前記仮想ヘッドマウント表示装置の位置する環境を撮影させて、第１画像を形成することと、前記第１慣性センサを制御して前記仮想ヘッドマウント表示装置のＩＭＵデータを検出させることと、前記仮想ヘッドマウント表示装置のＩＭＵデータ及び前記第１画像に基づいて計算を行って、前記仮想ヘッドマウント表示装置の空間位置特定情報を生成することと、を含む。

【0006】

本発明の一実施例では、前記仮想ヘッドマウント表示装置のＩＭＵデータ及び前記第１画像に基づいて計算を行って、前記仮想ヘッドマウント表示装置の空間位置特定情報を生成することは、前記第１画像に基づいて前記仮想ヘッドマウント表示装置の並進自由度データを決定することと、前記仮想ヘッドマウント表示装置の前記並進自由度データ及び前記仮想ヘッドマウント表示装置の前記ＩＭＵデータに基づいて前記仮想現実ヘッドマウント表示装置の６ＤＯＦデータを決定することと、を含み、前記仮想ヘッドマウント表示装置の空間位置特定情報が前記仮想ヘッドマウント表示装置の６ＤＯＦデータを含む。

【0007】

本発明の一実施例では、前記第１画像に基づいて前記仮想ヘッドマウント表示装置の並進自由度データを決定することは、前記第１画像から画像特徴点を抽出し、参照画像から参照特徴点を抽出することと、前記画像特徴点と前記参照特徴点をマッチングして、有効特徴点を生成することと、前記有効特徴点に基づいて、スライディングウィンドウ法に基づいて前記第１画像からキー領域を抽出することと、前記キー領域、前記有効特徴点及び前記仮想表示装置の位置する空間の地図に基づいて、地図点を生成することと、前記地図点及び前記地図に基づいて前記並進自由度データを含む前記仮想表示装置の地図情報を決定することと、を含む。

【0008】

本発明の一実施例では、スライディングウィンドウ法に基づいて前記第１画像からキー領域を抽出する前に、前記第１画像に基づいて前記仮想ヘッドマウント表示装置の並進自由度データを決定することは、前記第１画像が初期化されるかどうかを判断することと、前記第１画像が初期化されることを決定する場合、前記有効特徴点に基づいて、スライディングウィンドウ法に基づいて前記第１画像からキー領域を抽出することと、を更に含む。

【0009】

本発明の一実施例では、前記第１画像に基づいて前記仮想ヘッドマウント表示装置の並進自由度データを決定することは、前記第１画像が初期化されていないことを決定する場合、前記地図に基づいて前記第１画像を改めて位置特定して、前記第１画像の位置特定状態を決定することを更に含み、前記有効特徴点に基づいて、スライディングウィンドウ法に基づいて前記第１画像からキー領域を抽出することは、前記第１画像の位置特定状態に応じて、前記有効特徴点に基づいて、スライディングウィンドウ法に基づいて前記第１画像からキー領域を抽出することを含む。

【0010】

本発明の一実施例では、前記第１画像が初期化されることを決定する場合、前記有効特徴点に基づいて、スライディングウィンドウ法に基づいて前記第１画像からキー領域を抽出することは、前記第１画像におけるスライディングウィンドウのスライディングウィンドウ状態を決定することと、前記スライディングウィンドウ状態に応じて前記第１画像の位置特定状態を決定することと、前記位置特定状態に応じて、前記スライディングウィンドウを前記第１画像からスワイプすることと、前記スライディングウィンドウをスワイプする画像領域を検出して、有効特徴点を検出したスライディングウィンドウを前記キー領域として保存することと、を含む。

【0011】

本発明の一実施例では、制御ハンドルに赤外線センサ及び第２慣性センサが取り付けられ、前記モバイル端末上の前記撮影装置は更に前記赤外線センサのスポット画像を撮影することに用いられ、前記分離型仮想システムの空間位置特定方法は、前記モバイル端末が前記仮想ヘッドマウント表示装置に取り付けられることを決定する場合、前記撮影装置を制御して前記制御ハンドル上の前記赤外線センサを撮影させて、スポット画像を形成することと、前記第２慣性センサを制御して前記制御ハンドルのＩＭＵデータを検出させることと、前記仮想ヘッドマウント表示装置の空間位置特定情報、前記制御ハンドルのＩＭＵデータ及び前記スポット画像に基づいて計算を行って、前記制御ハンドルの空間位置特定情報を生成することと、を更に含む。

【0012】

本発明の一実施例では、前記モバイル端末が前記仮想ヘッドマウント表示装置に取り付けられることを決定する場合、前記撮影装置を制御して前記仮想ヘッドマウント表示装置の位置する環境を撮影させて、第１画像を形成することは、前記モバイル端末の接続プラグインが前記仮想ヘッドマウント表示装置の接続プラグインに接すると、前記撮影装置を制御して前記仮想ヘッドマウント表示装置の位置する環境を撮影させて、第１画像を形成することを含む。

【0013】

本発明の第２態様として、本発明は分離型仮想システムを提供し、モバイル端末と、前記モバイル端末のＩＭＵデータを検出するためのものであって、前記モバイル端末に設置される第１慣性センサと、前記スマート端末が取り外し可能に取り付けられる仮想ヘッドマウント表示装置と、前記モバイル端末及び／又は前記仮想ヘッドマウント表示装置に設置される撮影装置と、それぞれ前記モバイル端末、前記第１慣性センサ及び前記撮影装置に通信接続される分離型仮想システムの空間位置特定コントローラと、を備え、前記空間位置特定コントローラは、前記モバイル端末が前記仮想ヘッドマウント表示装置に取り付けられることを決定する場合、前記モバイル端末の機能を仮想ヘッドマウント表示機能に切り替えるための機能切替ユニットと、前記撮影装置を制御して前記仮想ヘッドマウント表示装置の位置する環境を撮影させて、第１画像を形成するための撮影制御ユニットと、前記第１慣性センサを制御して前記仮想ヘッドマウント表示装置のＩＭＵデータを検出させるためのセンサ制御ユニットと、前記仮想ヘッドマウント表示装置のＩＭＵデータ及び前記第１画像に基づいて計算を行って、前記仮想ヘッドマウント表示装置の空間位置特定情報を生成するための位置特定ユニットと、を備える。

【0014】

本発明の一実施例では、前記位置特定ユニットは、前記第１画像に基づいて前記仮想ヘッドマウント表示装置の並進自由度データを決定するための並進自由度決定モジュールと、前記仮想ヘッドマウント表示装置の前記並進自由度データ及び前記仮想ヘッドマウント表示装置の前記ＩＭＵデータに基づいて前記仮想現実ヘッドマウント表示装置の６ＤＯＦデータを決定するための６自由度決定モジュールと、を備え、前記仮想ヘッドマウント表示装置の空間位置特定情報が前記仮想ヘッドマウント表示装置の６ＤＯＦデータを含む。

【0015】

本発明の一実施例では、前記並進自由度決定モジュールは、前記第１画像から画像特徴点を抽出し、参照画像から参照特徴点を抽出し、且つ前記画像特徴点と前記参照特徴点をマッチングして、有効特徴点を生成するための特徴決定モジュールと、前記有効特徴点に基づいて、スライディングウィンドウ法に基づいて前記第１画像からキー領域を抽出するための領域抽出モジュールと、前記キー領域、前記有効特徴点及び前記仮想表示装置の位置する空間の地図に基づいて、地図点を生成するための地図点生成モジュールと、前記地図点及び前記地図に基づいて前記並進自由度データを含む前記仮想表示装置の地図情報を決定するための地図情報決定モジュールと、を備える。

【0016】

本発明の一実施例では、前記分離型仮想システムは、制御ハンドルと、前記制御ハンドルに設置される赤外線センサ及び第２慣性センサであって、前記第２慣性センサが前記制御ハンドルのＩＭＵデータを測定することに用いられる赤外線センサ及び第２慣性センサと、を更に備え、前記モバイル端末上の前記撮影装置は更に前記赤外線センサのスポット画像を撮影することに用いられ、前記撮影制御ユニットは更に前記撮影装置を制御して前記制御ハンドル上の前記赤外線センサを撮影させて、スポット画像を形成することに用いられ、前記センサ制御ユニットは更に前記第２慣性センサを制御して前記制御ハンドルのＩＭＵデータを検出させることに用いられ、前記位置特定ユニットは更に前記仮想ヘッドマウント表示装置の空間位置特定情報、前記制御ハンドルのＩＭＵデータ及び前記スポット画像に基づいて計算を行って、前記制御ハンドルの空間位置特定情報を生成することに用いられる。

【発明の効果】

【0017】

本発明に係る分離型仮想システムの空間位置特定方法は、モバイル端末が仮想ヘッドマウント表示装置に取り付けられて、モバイル端末が仮想モードに入ると、モバイル端末に設置される撮影装置が撮影した第１画像から並進自由度を決定し、且つモバイル端末に設置される第１慣性センサによって回転自由度を取得し、更に仮想ヘッドマウント表示装置の空間位置特定情報を決定し、モバイル端末の空間位置特定の正確性を向上させる。また、空間位置特定情報に基づいてマンマシンインタラクションを行ってゲーム体験を向上させ、それによりモバイル端末分離型ヘッドマウント表示装置の性能を向上させる。

【図面の簡単な説明】

【0018】

図面を参照しながら本発明の実施例をより詳しく説明することにより、本発明の上記及び他の目的、特徴及び優位性はより明らかになる。図面は本発明の実施例のさらなる理解を提供するためのものであり、且つ明細書の一部を構成し、本発明の実施例とともに本発明を解釈するためのものであり、本発明を制限するものではない。図面において、同じ参照番号は一般的に同じ部材又はステップを代表する。

【図1】本発明の一実施例に係る分離型仮想システムの空間位置特定方法のフローチャートである。

【図2】本発明の他の実施例に係る分離型仮想システムの空間位置特定方法のフローチャートである。

【図3】本発明の他の実施例に係る分離型仮想システムの空間位置特定方法のフローチャートである。

【図4】本発明の他の実施例に係る分離型仮想システムの空間位置特定方法のフローチャートである。

【図5】本発明の他の実施例に係る分離型仮想システムの空間位置特定方法のフローチャートである。

【図6】本発明の他の実施例に係る分離型仮想システムの空間位置特定方法のフローチャートである。

【図7】本発明の一実施例に係る分離型仮想システムの動作原理図である。

【図8】本発明の他の実施例に係る分離型仮想システムの動作原理図である。

【図9】本発明の他の実施例に係る分離型仮想システムの動作原理図である。

【図10】本発明の他の実施例に係る分離型仮想システムの動作原理図である。

【図11】本発明の一実施例に係る電子機器の動作原理図である。

【発明を実施するための形態】

【0019】

本発明の説明において、特に明確且つ具体的に限定しない限り、「複数」の意味は少なくとも２つ、例えば２つ、３つなどである。本発明の実施例におけるすべての方向性指示（例えば上、下、左、右、前、後、頂、底…）はある特定の姿勢（図面に示される）において各部材同士の相対位置関係、運動状況などだけを解釈するためのものであり、該特定の姿勢が変化すると、該方向性指示も対応して変化する。また、用語「含む」、「有する」及びそれらのいかなる変形は非排他的包含を網羅することが意図される。例えば、一連のステップ又はユニットを含む過程、方法、システム、製品又は設備は列挙したステップ又はユニットに限らず、選択的に列挙しないステップ又はユニットを更に含み、又は、選択的にこれらの過程、方法、製品又は設備固有の他のステップ又はユニットを更に含む。

【0020】

また、本明細書に言及した「実施例」は、実施例を参照して説明した特定の特徴、構造又は特性が本発明の少なくとも１つの実施例に含まれてもよいことを意味する。明細書の各箇所に該用語が出現することは必ずいずれも同じ実施例を指すとは限らず、他の実施例と排他性のある独立した又は代替の実施例でもない。当業者であれば明示的及び暗示的に理解されるように、本明細書に説明される実施例が他の実施例と組み合わせられてもよい。

【0021】

以下、本発明の実施例の図面を参照しながら、本発明の実施例の技術案を明確且つ完全に説明し、明らかに、説明される実施例は単に本発明の実施例の一部であり、実施例の全部ではない。本発明の実施例に基づいて、当業者が進歩性のある労働を必要とせずに取得する他の実施例は、いずれも本発明の保護範囲に属する。

【0022】

図１は本発明に係る分離型仮想システムの空間位置特定方法のフローチャートであり、分離型システムは、仮想ヘッドマウント表示装置と、仮想ヘッドマウント表示装置に取り外し可能に取り付けられるモバイル端末と、モバイル端末に通信接続される制御ハンドルと、を備え、モバイル端末に第１慣性センサが設けられ、モバイル端末及び／又は仮想ヘッドマウント表示装置に撮影装置が設けられ、第１慣性センサがモバイル端末のＩＭＵデータを検出するためのものである。具体的に、撮影装置の数及び取付位置については、第（１）としては、撮影装置の数が１に等しく、撮影装置がモバイル端末に取り付けられてもよく、仮想ヘッドマウント表示装置に取り付けられてもよく、第（２）としては、撮影装置の数が１よりも大きく、撮影装置がいずれもモバイル端末に取り付けられてもよく、いずれも仮想ヘッドマウント表示装置に取り付けられてもよく、第（３）としては、撮影装置の数が１よりも大きく、一部の撮影装置がモバイル端末に取り付けられ、残りの撮影装置が仮想ヘッドマウント表示装置に取り付けられる、という３つの状況であってもよい。

【0023】

具体的に、慣性センサ（Ｉｎｅｒｔｉａｌ Ｍｅａｓｕｒｅｍｅｎｔ Ｕｎｉｔ、ＩＭＵと略称される）は物体の３軸姿勢角（又は、角速度）及び加速度を測定する装置である。一般的に、１つのＩＭＵは３つの単軸の加速度計及び３つの単軸のジャイロを備え、加速度計が物体の媒体座標システムにおける独立した３軸の加速度信号を検出するが、ジャイロが媒体のナビゲーション座標系に対する角速度信号を検出し、従って、慣性センサは物体の三次元空間における角速度及び加速度を測定し、且つこれに基づいて物体の姿勢を計算し、例えば物体の回転自由度を計算することができ、回転自由度とは上下、前後、左右の３つの位置に関連する自由度を指す。ＩＭＵデータは慣性センサが物体を検出する結果データ、即ち慣性センサが検出した１つの物体の三次元空間における角速度及び加速度データである。従って、モバイル端末に設置される第１慣性センサはモバイル端末のＩＭＵデータを検出することができ、且つモバイル端末のＩＭＵデータによりモバイル端末の姿勢例えばモバイル端末の回転自由度を計算することができ、回転自由度とは上下、前後、左右の３つの位置に関連する自由度を指す。

【0024】

図１に示すように、該分離型仮想システムの空間位置特定方法は以下のステップを含む。
Ｓ１０１、モバイル端末が仮想ヘッドマウント表示装置に取り付けられることを決定する場合、撮影装置を制御して仮想ヘッドマウント表示装置の環境を撮影させて、第１画像を形成し、
モバイル端末の仮想ヘッドマウント表示装置が取り外し可能に接続されるため、モバイル端末は仮想ヘッドマウント表示機能を有するだけでなく、更に他の機能を有し、例えば、モバイル端末がスマートフォンである場合、モバイル端末が仮想ヘッドマウント表示装置に取り付けられていない場合、モバイル端末はスマートフォンとして使用されることができ、スマートフォンが有すべき機能例えば通信機能、表示機能等を有する。モバイル端末が仮想ヘッドマウント表示装置に取り付けられる場合、モバイル端末は仮想ヘッドマウント表示機能を実行し、仮想ヘッドマウント表示装置及び制御ハンドルとともに仮想システムを構成し、例えば、仮想表示装置がＶＲヘルメットである場合、即ちモバイル端末がＶＲヘルメットに取り付けられる場合、モバイル端末はＶＲヘルメット及び制御ハンドルとともにＶＲシステムを構成する。

【0025】

具体的に、モバイル端末が仮想ヘッドマウント表示装置に取り外し可能に取り付けられる場合の具体的な取り外し可能な取付方式は、仮想ヘッドマウント表示装置に取付溝を予約し、モバイル端末を仮想ヘッドマウント表示装置に予約する取付溝に取り付けることにより、モバイル端末を仮想ヘッドマウント表示装置に固定することであってもよい。

【0026】

具体的に、モバイル端末と制御ハンドルとの通信接続方式は、接続ポートに接する接続線により制御ハンドルに接続するように、モバイル端末の両端に接続ポートを設けることであってもよい。理解されるように、更にブルートゥース（登録商標）などの無線方式でモバイル端末と制御ハンドルとを接続してもよい。モバイル端末と制御ハンドルとの接続が成功した後、仮想モードに入ることを確認する。仮想モードに入ると、モバイル端末はゲームインターフェース表示、画像処理などの機能を有する。

【0027】

モバイル端末が仮想ヘッドマウント表示装置に取り付けられることを決定する場合、即ちモバイル端末が仮想ヘッドマウント表示機能を実行する場合、モバイル端末と制御ハンドルも通信接続を実現し、このとき、モバイル端末は仮想ヘッドマウント表示機能を実行し、即ちモバイル端末は制御ハンドル及び仮想ヘッドマウント表示装置とともに仮想システムを構成し、仮想システムの動作過程において、モバイル端末と制御ハンドルはいずれも空間位置特定を行う必要があり、このとき、モバイル端末に位置する撮影装置を制御して仮想ヘッドマウント表示装置の環境を撮影させ、撮影装置は制御によって動作を開始し、仮想ヘッドマウント表示装置の位置する環境を撮影して、モバイル端末に対して空間位置特定を行うための第１画像を形成する。

【0028】

Ｓ１０２、第１慣性センサを制御して仮想ヘッドマウント表示装置のＩＭＵデータを検出させ、
モバイル端末が仮想ヘッドマウント表示装置に接続されることを決定した後、モバイル端末は仮想ヘッドマウント表示装置及び制御ハンドルとともに仮想システムを構成し、ユーザーは仮想システムを操作して仮想シーンを体験し、このとき、第１慣性センサを制御して動作を開始させ、第１慣性センサは制御によって仮想ヘッドマウント表示装置のＩＭＵデータを検出し、
モバイル端末に設置される第１慣性センサを制御してモバイル端末のＩＭＵデータを検出させる。

【0029】

Ｓ１０３、仮想ヘッドマウント表示装置のＩＭＵデータ及び第１画像を計算して、仮想ヘッドマウント表示装置の空間位置特定情報を生成する。

【0030】

撮影装置が伝送した第１画像及び第１慣性センサが伝送したＩＭＵデータを取得した後、ＩＭＵデータ及び第１画像に対してモバイル端末の空間位置特定情報即ちモバイル端末の６自由度データ（以下に６ＤＯＦデータと略称される）を決定することができ、即ち、並進自由度及び回転自由度に基づいて６つの角度の自由度を取得することができる。
本発明に係る分離型仮想システムの空間位置特定方法は、モバイル端末が仮想ヘッドマウント表示装置に取り付けられて、モバイル端末が仮想モードに入ると、モバイル端末に設置される撮影装置が撮影した第１画像及びモバイル端末に設置される第１慣性センサによって回転自由度を取得し、更に仮想ヘッドマウント表示装置の空間位置特定情報を決定し、モバイル端末の空間位置特定の正確性を向上させる。また、空間位置特定情報に基づいてマンマシンインタラクションを行ってゲーム体験を向上させ、それによりモバイル端末分離型ヘッドマウント表示装置の性能を向上させる。

【0031】

本発明の一実施例において、図２は本発明の他の実施例に係る分離型仮想システムの空間位置特定方法のフローチャートであり、図２に示すように、ステップＳ１０３（仮想ヘッドマウント表示装置のＩＭＵデータ及び第１画像を計算して、仮想ヘッドマウント表示装置の空間位置特定情報を生成する）は具体的に以下のステップを含む。

【0032】

ステップＳ１０３１、第１画像に基づいて仮想ヘッドマウント表示装置の並進自由度データを決定し、
並進自由度とは仮想ヘッドマウント表示装置の空間における左右、上下、前後の移動データを指す。

【0033】

ステップＳ１０３２、仮想ヘッドマウント表示装置の並進自由度データ及び仮想ヘッドマウント表示装置のＩＭＵデータに基づいて仮想現実ヘッドマウント表示装置の６ＤＯＦデータを決定し、仮想ヘッドマウント表示装置の空間位置特定情報が仮想ヘッドマウント表示装置の６ＤＯＦデータを含む。

【0034】

仮想ヘッドマウント表示装置のＩＭＵデータとは仮想ヘッドマウント表示装置の回転ＩＭＵデータを指し、回転ＩＭＵデータとは仮想ヘッドマウント表示装置の３つの回転自由度データを指す。仮想ヘッドマウント表示装置の並進ＩＭＵデータ及び回転ＩＭＵデータに基づいて仮想ヘッドマウント表示装置の６自由度データ即ち６ＤＯＦデータを決定することができ、仮想ヘッドマウント表示装置の６ＤＯＦデータに基づいて仮想ヘッドマウント表示装置の空間内での正確な位置特定を正確に追跡することができ、仮想ヘッドマウント表示装置の現実世界における移動を仮想シーンにおいて正確にマッピングすることができる。

【0035】

本発明の一実施例では、図３は本発明の他の実施例に係る分離型仮想システムの空間位置特定方法のフローチャートであり、図３に示すように、ステップＳ１０３１（第１画像に基づいて仮想ヘッドマウント表示装置の並進自由度データを決定する）は具体的に以下のステップを含む。
ステップＳ１、第１画像から画像特徴点を抽出し、参照画像から参照特徴点を抽出し、
参照画像とは仮想ヘッドマウント表示装置の位置する空間環境の地図における一部の画像を指し、例えば、仮想ヘッドマウント表示装置の位置する空間環境がリビングルームである場合、地図がリビングルーム地図であり、参照画像が空間地図における一部の画像例えばリビングルームの隅の画像である。

【0036】

ステップＳ２、画像特徴点と参照特徴点をマッチングして、有効特徴点を生成し、
画像特徴点と参照特徴点をマッチングし、マッチングに成功した画像特徴点を有効特徴点とする。

【0037】

ステップＳ３、前記有効特徴点に基づいて、スライディングウィンドウ法に基づいて第１画像からキー領域を抽出し、
スライディングウィンドウ法はスライディングウィンドウの最左側からスワイプする部分によって検索空間を剪定することができ、それにより繰り返し計算を減らし、時間複雑度を低減し、乱暴な検索を回避する。

【0038】

ステップＳ４、キー領域、有効特徴点及び仮想表示装置の位置する空間の地図に基づいて、地図点を生成する。

【0039】

ステップＳ５、地図点及び地図に基づいて並進自由度データを含む仮想表示装置の地図情報を決定する。

【0040】

本発明は空間の地図及び参照画像に基づいて第１画像における有効特徴点を決定し、次に有効特徴点に基づいてスライディングウィンドウ法に基づいて第１画像におけるキー領域を抽出し、並進自由度データの正確性を向上させることができるだけでなく、更に繰り返し計算を減らし、時間複雑性を低減し、効率を向上させる。

【0041】

本発明の一実施例では、図４は本発明の他の実施例に係る分離型仮想システムの空間位置特定方法のフローチャートであり、図４に示すように、ステップＳ３（前記有効特徴点に基づいて、スライディングウィンドウ法に基づいて第１画像からキー領域を抽出する）の前に、ステップＳ１０３１（第１画像に基づいて仮想ヘッドマウント表示装置の並進自由度データを決定する）は更に以下のステップを含む。

【0042】

ステップＳ１０、第１画像が初期化されるかどうかを判断し、
ステップＳ１０における判断結果がＹＥＳであり、即ち第１画像が初期化された場合、ステップＳ３を実行し、即ち有効特徴点に基づいてスライディングウィンドウ法に基づいて第１画像からキー領域を抽出し、第１画像が初期化される画像である。

【0043】

第１画像が初期化されることとは、第１画像の輝度、グレースケール、解像度が所定要件を満たす場合、初期化される画像として決定することを意味する。

【0044】

ステップＳ１０における判断結果がＮＯであり、即ち第１画像が初期化されていない場合、ステップＳ６を実行する。

【0045】

ステップＳ６、地図に基づいて第１画像を改めて位置特定して、第１画像の位置特定状態を決定し、
このとき、ステップＳ３（前記有効特徴点に基づいて、スライディングウィンドウ法に基づいて第１画像からキー領域を抽出する）は具体的に、第１画像の位置特定状態に応じて、前記有効特徴点に基づいて、スライディングウィンドウ法に基づいて第１画像からキー領域を抽出するＳ３１を含む。

【0046】

本発明の一実施例では、図５は本発明の他の実施例に係る分離型仮想システムの空間位置特定方法のフローチャートであり、図５に示すように、ステップＳ３（前記有効特徴点に基づいて、スライディングウィンドウ法に基づいて第１画像からキー領域を抽出する）は具体的に、
第１画像におけるスライディングウィンドウのスライディングウィンドウ状態を決定するステップＳ３２と、
スライディングウィンドウ状態に応じて第１画像の位置特定状態を決定するステップＳ３３と、
位置特定状態に応じて、スライディングウィンドウを第１画像からスワイプするステップＳ３４と、
スライディングウィンドウをスワイプする画像領域を検出して、有効特徴点を検出したスライディングウィンドウをキー領域として保存するステップＳ３５と、を含む。

【0047】

本発明の一実施例では、制御ハンドルに赤外線センサ及び第２慣性センサが取り付けられ、モバイル端末上の撮影装置は更に赤外線センサのスポット画像を撮影することに用いられ、図６は本発明の他の実施例に係る分離型仮想システムの空間位置特定方法のフローチャートであり、図６に示すように、分離型仮想システムの空間位置特定方法は更に以下を含む。

【0048】

ステップＳ１０４、モバイル端末が仮想ヘッドマウント表示装置に取り付けられることを決定する場合、撮影装置を制御して制御ハンドル上の赤外線センサを撮影させて、スポット画像を形成し、
モバイル端末が仮想ヘッドマウント表示装置に取り付けられることを決定する場合、制御ハンドルとモバイル端末が通信接続を実現し、このとき、モバイル端末に設置される撮影装置を制御して制御ハンドル上の赤外線センサを撮影させることにより、赤外線センサのスポット画像を形成する。

【0049】

ステップＳ１０５、第２慣性センサを制御して制御ハンドルのＩＭＵデータを検出させ、
モバイル端末が仮想ヘッドマウント表示装置に取り付けられることを決定する場合、制御ハンドルとモバイル端末が通信接続を実現し、このとき、第２慣性センサを制御して動作を開始させて、制御ハンドルのＩＭＵデータを検出させる。

【0050】

ステップＳ１０６、仮想ヘッドマウント表示装置の空間位置特定情報、制御ハンドルのＩＭＵデータ及びスポット画像に基づいて計算を行って、制御ハンドルの空間位置特定情報を生成する。

【0051】

ステップＳ１０４～ステップＳ１０６によって制御ハンドルの空間位置特定を実現することができる。即ち、モバイル端末上の撮影装置によって制御ハンドル上の赤外線センサのスポット画像を撮影し、及び第２慣性センサが検出した制御ハンドルのＩＭＵデータによって制御ハンドルの空間位置特定情報を決定することができる。

【0052】

本発明の一実施例では、ステップＳ１０１（モバイル端末が仮想ヘッドマウント表示装置に取り付けられることを決定する場合、撮影装置を制御して仮想ヘッドマウント表示装置の環境を撮影させて、第１画像を形成する）は具体的に以下のステップを含む。

【0053】

ステップＳ１０１１、モバイル端末の接続プラグインと仮想ヘッドマウント表示装置の接続プラグインが接するかどうかを判断し、
具体的に、モバイル端末の接続プラグイン及び仮想ヘッドマウント表示装置の接続プラグインは通信接続部材であってもよく、機械的接続部材であってもよい。

【0054】

ステップＳ１０１１における判断結果がＹＥＳである場合、即ちモバイル端末の接続プラグインが仮想ヘッドマウント表示装置の接続プラグインに接する場合、モバイル端末が仮想ヘッドマウント表示モードを実行すると説明され、このとき、ステップＳ１０１２を実行する。

【0055】

ステップＳ１０１２、撮影装置を制御して仮想ヘッドマウント表示装置の位置する環境を撮影させて、第１画像を形成する。

【0056】

説明されるように、ステップＳ１０１１～ステップＳ１０１２はモバイル端末が仮想ヘッドマウント表示装置に接するかどうかを判断する過程である。モバイル端末が仮想ヘッドマウント表示装置に接することを判断する場合、モバイル端末が仮想モードを実行すると説明される。本発明の第２態様として、本発明は更に分離型仮想システムの空間位置特定コントローラを提供し、図７は本発明の一実施例に係る分離型仮想システムの動作原理図であり、図７に示すように、該分離型仮想システムは、
モバイル端末２と、
モバイル端末に設置される第１慣性センサ２０及び撮影装置３０であって、第１慣性センサ２０がモバイル端末のＩＭＵデータを検出することに用いられる第１慣性センサ２０及び撮影装置３０と、
スマート端末２が取り外し可能に取り付けられる仮想ヘッドマウント表示装置と、
それぞれモバイル端末２、第１慣性センサ２０及び撮影装置３０に通信接続される分離型仮想システムの空間位置特定コントローラ１０と、を備え、
空間位置特定コントローラ１０は、機能切替ユニット１００、撮影制御ユニット２００、センサ制御ユニット３００及び位置特定ユニット４００を備え、
機能切替ユニット１００は、モバイル端末が仮想ヘッドマウント表示装置に取り付けられることを決定する場合、モバイル端末の機能を仮想ヘッドマウント表示機能に切り替えるためのものであり、
撮影制御ユニット２００は、機能切替ユニット１００に通信接続され、機能切替ユニット１００がモバイル端末の機能を仮想ヘッドマウント表示機能として決定する場合、機能切替ユニット１００が切替成功信号を撮影制御ユニット２００に伝送し、このとき、モバイル端末が仮想ヘッドマウント表示装置及び制御ハンドルとともに仮想システムを構成し、ユーザーが仮想システムを使用するとき、撮影制御ユニット２００が撮影装置３０を制御して仮想ヘッドマウント表示装置の環境を撮影させて、第１画像を形成し、これによりモバイル端末の空間位置特定情報のために準備をする。

【0057】

センサ制御ユニット３００は、第１慣性センサ２０を制御して仮想ヘッドマウント表示装置のＩＭＵデータを検出させるためのものであり、
センサ制御ユニット３００は、機能切替ユニット１００に通信接続され、機能切替ユニット１００がモバイル端末の機能を仮想ヘッドマウント表示機能として決定する場合、機能切替ユニット１００が切替成功信号を撮影制御ユニット２００に伝送し、このとき、モバイル端末が仮想ヘッドマウント表示装置及び制御ハンドルとともに仮想システムを構成し、ユーザーが仮想システムを使用するとき、センサ制御ユニット３００が第１慣性センサ２０を制御して仮想ヘッドマウント表示装置のＩＭＵデータ即ち回転ＩＭＵデータを検出させる。

【0058】

位置特定ユニット４００は、仮想ヘッドマウント表示装置のＩＭＵデータ及び第１画像に基づいて計算を行って、仮想ヘッドマウント表示装置の空間位置特定情報を生成するためのものである。

【0059】

位置特定ユニット４００はそれぞれ機能切替ユニット１００、撮影装置３０及び第１慣性センサ２０に通信接続され、撮影装置３０が撮影制御ユニット２００の制御によって仮想ヘッドマウント表示装置の周囲環境を撮影して、第１画像を形成し、撮影装置３０が第１画像を位置特定ユニット４００に送信するとともに、第１慣性センサ２０がセンサ制御ユニット３００の制御によって仮想ヘッドマウント表示装置のＩＭＵデータを検出し、且つ仮想ヘッドマウント表示装置のＩＭＵデータを位置特定ユニット４００に伝送し、位置特定ユニット４００が第１画像及び仮想ヘッドマウント表示装置のＩＭＵデータを受信した後、第１画像及びＩＭＵデータを計算して、仮想ヘッドマウント表示装置の空間位置特定情報を生成する。

【0060】

本発明に係る分離型仮想システムの空間位置特定コントローラは、モバイル端末が仮想ヘッドマウント表示装置に取り付けられて、モバイル端末が仮想モードに入ると、コントローラがモバイル端末に設置される撮影装置を制御して仮想ヘッドマウント表示装置の位置する環境の第１画像を撮影させ、モバイル端末に設置される第１慣性センサを制御して仮想ヘッドマウント表示装置のＩＭＵデータを検出させ、次に仮想ヘッドマウント表示装置の空間位置特定情報を決定し、モバイル端末の空間位置特定の正確性を向上させる。また、空間位置特定情報に基づいてマンマシンインタラクションを行ってゲーム体験を向上させ、それによりモバイル端末分離型ヘッドマウント表示装置の性能を向上させる。

【0061】

選択肢として、該位置特定コントローラ１０はモバイル端末に設置されてもよく、位置特定コントローラがモバイル端末に設置される場合、該位置特定コントローラは仮想ヘッドマウント表示機能を実行する際にモバイル端末の空間位置特定を実現することができるだけでなく、モバイル端末が他の機能を実行する際の空間位置特定を実現することもでき、例えば、モバイル端末が携帯電話である場合、携帯電話が通信機能を実行するとき、該位置特定コントローラは依然として携帯電話の通信空間位置特定を行うことができる。モバイル端末がゲームハンドルとともにゲーム携帯端末を構成する場合、使用者がゲームをより良く体験するように、該位置特定コントローラは依然としてモバイル端末の空間位置を位置特定することができる。

【0062】

選択肢として、該位置特定コントローラ１０は更に仮想ヘッドマウント表示装置又は制御ハンドルに設置されてもよい。

【0063】

本発明の一実施例では、図８は本発明の他の実施例に係る分離型仮想システムの動作原理図であり、図８に示すように、位置特定ユニット４００は並進自由度決定モジュール４０１及び６自由度決定モジュール４０２を備え、
並進自由度決定モジュール４０１は、第１画像に基づいて仮想ヘッドマウント表示装置の並進自由度データを決定するためのものであり、
並進自由度決定モジュール４０１は撮影装置３０に通信接続され、撮影装置３０が撮影した第１画像を並進自由度決定モジュール４０１に伝送し、並進決定自由度モジュール４０１が第１画像に基づいて仮想ヘッドマウント表示装置の並進自由度データを決定し、
６自由度決定モジュール４０２は、仮想ヘッドマウント表示装置の並進自由度データ及び仮想ヘッドマウント表示装置のＩＭＵデータに基づいて仮想ヘッドマウント表示装置の６ＤＯＦデータを含む仮想現実ヘッドマウント表示装置の６ＤＯＦデータを決定するためのものであり、
６自由度決定モジュール４０２はそれぞれ並進自由度モジュール４０１及び第１慣性センサ２０に通信接続され、６自由度決定モジュール４０２は並進自由度決定モジュール４０１が伝送した並進自由度データ及び第１慣性センサ２０が伝送したＩＭＵデータを受信し、且つＩＭＵデータ及び並進自由度データに基づいて計算を行って、仮想ヘッドマウント表示装置の６ＤＯＦデータを生成する。

【0064】

本発明の一実施例では、図９は）本発明の他の実施例に係る分離型仮想システムの動作原理図であり、図９に示すように、並進自由度決定モジュール４０１は、
第１画像から画像特徴点を抽出し、参照画像から参照特徴点を抽出し、且つ画像特徴点と参照特徴点をマッチングして、有効特徴点を生成するための特徴決定モジュール４０４と、
前記有効特徴点に基づいて、スライディングウィンドウ法に基づいて第１画像からキー領域を抽出するための領域抽出モジュール４０５と、
キー領域、有効特徴点及び仮想表示装置の位置する空間の地図に基づいて、地図点を生成するための地図点生成モジュール４０６と、
地図点及び地図に基づいて並進自由度データを含む仮想表示装置の地図情報を決定するための地図情報決定モジュール４０７と、を備える。

【0065】

本発明の一実施例では、図１０は本発明の他の実施例に係る分離型仮想システムの動作原理図であり、図１０に示すように、該分離型仮想システムは、制御ハンドル４と、制御ハンドル４に設置される赤外線センサ５０及び第２慣性センサ４０と、を更に備え、モバイル端末２上の撮影装置３０は更に赤外線センサのスポット画像を撮影することに用いられ、図１０に示すように、撮影制御ユニット２００は更に撮影装置３０を制御して制御ハンドル上の赤外線センサ５０を撮影させて、スポット画像を形成することに用いられ、センサ制御ユニット３００は更に第２慣性センサ４０を制御して制御ハンドル４のＩＭＵデータを検出させることに用いられ、位置特定ユニット４００は更に仮想ヘッドマウント表示装置の空間位置特定情報、制御ハンドル４のＩＭＵデータ及びスポット画像に基づいて計算を行って、制御ハンドル４の空間位置特定情報を生成することに用いられる。即ち、撮影装置３０を制御して赤外線センサを撮影させ、及び第２慣性センサ４０を制御して制御ハンドル４上のＩＭＵデータを検出させることができ、それにより制御ハンドルの空間位置特定情報を決定することができる。

【0066】

以下、図１１を参照して本発明の実施例に係る電子機器について説明する。図１１は本発明の一実施例に係る電子機器の構造模式図である。

【0067】

図１１に示すように、電子機器９００は１つ又は複数のプロセッサ９０１及びメモリ９０２を備える。

【0068】

プロセッサ９０１は中央処理ユニット（ＣＰＵ）又はデータ処理能力及び／又は情報実行能力を持つ他の形式の処理ユニットであってもよく、且つ所望の機能を実行するように電子機器９００の他のコンポーネントを制御することができる。

【0069】

メモリ９０２は１つ又は複数のコンピュータプログラム製品を含んでもよく、前記コンピュータプログラム製品は様々な形式のコンピュータ可読記憶媒体、例えば揮発性メモリ及び／又は不揮発性メモリを含んでもよい。前記揮発性メモリは例えばランダムアクセスメモリ（ＲＡＭ）及び／又はキャッシュメモリ（ｃａｃｈｅ）などを含んでもよい。前記不揮発性メモリは例えば読み出し専用メモリ（ＲＯＭ）、ハードディスク、フラッシュメモリなどを含んでもよい。前記コンピュータ可読記憶媒体に１つ又は複数のコンピュータプログラム情報が記憶されてもよく、プロセッサ９０１は前記プログラム情報を実行することにより、以上に記載の本発明の各実施例の分離型仮想システムの空間位置特定方法又は他の所望の機能を実現することができる。

【0070】

一例では、電子機器９００は更に入力装置９０３及び出力装置９０４を備えてもよく、これらのコンポーネントはバスシステム及び／又は他の形式の接続機構（図示せず）により互いに接続される。

【0071】

該入力装置９０３は例えばキーボード、マウスなどを含んでもよい。

【0072】

該出力装置９０４は外部に様々な情報を出力することができる。該出力装置９０４は例えばディスプレイ、通信ネットワーク及びそれに接続される遠隔出力装置などを備えてもよい。

【0073】

当然ながら、簡素化のために、図１１には該電子機器９００における本発明に関連するコンポーネントの一部のみを示し、例えばバス、入力／出力インターフェースなどのコンポーネントを省略する。それ以外に、具体的な応用状況に応じて、電子機器９００は、いかなる他の適切なコンポーネントを更に備えてもよい。

【0074】

上記方法及び装置以外に、本発明の実施例は更にコンピュータプログラム情報を含むコンピュータプログラム製品であってもよく、前記コンピュータプログラム情報はプロセッサにより実行される際に前記プロセッサに本明細書に説明される本発明の様々な実施例に係る分離型仮想システムの空間位置特定方法におけるステップを実行させる。

【0075】

前記コンピュータプログラム製品は１種類又は複数種類のプログラム設計言語の任意の組合せで本発明の実施例の操作を実行するためのプログラムコードを作成することができ、前記プログラム設計言語はオブジェクト指向プログラム設計言語、例えばＪａｖａ、Ｃ＋＋などを含み、通常の手続きプログラム設計言語、例えば「Ｃ」言語又は類似のプログラム設計言語を更に含む。プログラムコードは完全にユーザー計算装置において実行され、部分的にユーザー装置において実行され、１つの独立したパッケージソフトウェアとして実行され、部分的にユーザー計算装置において実行されて部分的に遠隔計算装置において実行され、又は完全に遠隔計算装置又はサーバにおいて実行されてもよい。

【0076】

また、本発明の実施例は更にコンピュータプログラム情報が記憶されるコンピュータ可読記憶媒体であってもよく、前記コンピュータプログラム情報はプロセッサにより実行される際に前記プロセッサに本明細書における本発明の様々な実施例に係る分離型仮想システムの空間位置特定方法におけるステップを実行させる。

【0077】

前記コンピュータ可読記憶媒体は１つ又は複数の可読媒体の任意の組合せを用いてもよい。可読媒体は可読信号媒体又は可読記憶媒体であってもよい。可読記憶媒体は例えば電気、磁気、光、電磁、赤外線又は半導体のシステム、装置又はデバイス、又は任意の以上の組合せを含んでもよいが、それらに限らない。可読記憶媒体のより具体的な例（網羅しないリスト）は、１つ又は複数の導線を有する通信接続、ポータブルディスク、ハードディスク、ランダムアクセスメモリ（ＲＡＭ）、読み出し専用メモリ（ＲＯＭ）、消去可能プログラム可能読み出し専用メモリ（ＥＰＲＯＭ又はフラッシュメモリ）、光ファイバ、ポータブルコンパクトディスク読み出し専用メモリ（ＣＤ－ＲＯＭ）、光記憶デバイス、磁気記憶デバイス、又は上記の任意の適切な組合せを含む。

【0078】

以上は具体的な実施例を参照して本発明の基本原理を説明したが、指摘されるように、本発明に言及した利点、優位性、効果などは例示的なものであって制限のためのものではなく、これらの利点、優位性、効果などは本発明の各実施例が備えなければならないものと見なされるべきではない。また、上記開示される具体的な細部は単に例示のためのもの及び理解しやすくするためのものであり、制限のためのものではなく、上記細部は本発明が必ず上記具体的な細部を用いて実現されなければならないように制限されるものではない。

【0079】

本発明に言及したデバイス、装置、設備、システムのブロック図は単に例示的な例とされ、且つ必ずブロック図に示される方式に基づいて接続、レイアウト、配置しなければならないように求め又は示唆することが意図されない。当業者であれば分かるように、任意の方式でこれらのデバイス、装置、設備、システムを接続、レイアウト、配置することができる。例えば「含む」、「包含」、「有する」などのワードはオープンクラス語彙であり、「〇〇を含むが、それに限らない」を意味し、且つそれと交換して使用されることができる。コンテクストに明確に指示しない限り、ここで使用される語彙「又は」と「及び」は語彙「及び／又は」を指し、且つそれと交換して使用されることができる。ここで使用される語彙「例えば」は連語「例えば○○が挙げられるが、それに限らない」を意味し、且つそれと交換して使用されることができる。

【0080】

更に指摘されるように、本発明の装置、設備及び方法において、各部材又は各ステップは分解及び／又は新たな組合せが可能なものである。これらの分解及び／又は新たな組合せは本発明の均等物と見なされるべきである。

【0081】

当業者が本発明を実行又は使用できるように、開示される態様の上記説明を提供する。これらの態様についての様々な修正は当業者にとって明らかなものであり、且つここで定義する一般的な原理は本発明の範囲を逸脱せずに他の態様に応用され得る。従って、本発明はここで示す態様に制限されるように意図されるものではなく、ここの発明の原理及び新規の特徴に一致する最も広い範囲に応じるものである。

【0082】

以上の説明は単に本発明創造の好適な実施例に過ぎず、本発明創造を制限するためのものではなく、本発明創造の主旨及び原則内に行われるいかなる修正、等価置換などは、いずれも本発明創造の保護範囲内に含まれるべきである。

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】