特許 7267314 分離式ヘッドマウントディスプレイシステム及びインタラクション方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2023-04-21

(45)【発行日】2023-05-01

(54)【発明の名称】分離式ヘッドマウントディスプレイシステム及びインタラクション方法

(51)【国際特許分類】

   G06F 3/04815 20220101AFI20230424BHJP

   G06F 3/01 20060101ALI20230424BHJP

【ＦＩ】

G06F3/04815

G06F3/01 570

【請求項の数】 8

(21)【出願番号】P 2020573502

(86)(22)【出願日】2019-04-26

(65)【公表番号】

(43)【公表日】2021-12-09

(86)【国際出願番号】 CN2019084552

(87)【国際公開番号】W WO2020001151

(87)【国際公開日】2020-01-02

【審査請求日】2021-04-16

(31)【優先権主張番号】201810673525.X

(32)【優先日】2018-06-26

(33)【優先権主張国・地域又は機関】CN

【前置審査】

(73)【特許権者】

【識別番号】520514779

【氏名又は名称】朱光

(74)【代理人】

【識別番号】100091683

【弁理士】

【氏名又は名称】▲吉▼川 俊雄

(72)【発明者】

【氏名】朱光

【審査官】▲高▼瀬 健太郎

(56)【参考文献】

【文献】特表２０１６－５２５７４１（ＪＰ，Ａ）

【文献】米国特許出願公開第２０１７／０３５８１４０（ＵＳ，Ａ１）

【文献】特開２０１５－１９４８８０（ＪＰ，Ａ）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ０６Ｆ ３／０４８１５

Ｇ０６Ｆ ３／０１

(57)【特許請求の範囲】

【請求項1】

分離して設置される本体（１０）と、複数のヘッドマウントディスプレイ（２０）を含み、
前記本体（１０）は、情報収集ユニット（１１）、メモリ（１２）、ＣＰＵ（１３）及び第１通信ユニット（１４）を含み、前記ヘッドマウントディスプレイ（２０）は、前記第１通信ユニット（１４）と通信接続を構築する第２通信ユニット（２１）と、前記第２通信ユニット（２１）に接続される現在位置ユニット（２２）及び画像出力ユニット（２３）を含み、
前記情報収集ユニット（１１）は、周辺環境を測定して構築し、ターゲット画像ソース情報を取得して前記メモリ（１２）に送信するために用いられ、前記ターゲット画像ソース情報が前記周辺環境によって演算された空間形状を含み、
前記現在位置ユニット（２２）は、前記ヘッドマウントディスプレイ（２０）の位置情報を取得し、前記第２通信ユニット（２１）及び前記第１通信ユニット（１４）を通じて前記メモリ（１２）に送信するために用いられ、
前記ＣＰＵ（１３）は、前記メモリ（１２）を通じて前記ターゲット画像ソース情報及び前記ヘッドマウントディスプレイ（２０）の位置情報を受信し、前記ヘッドマウントディスプレイ（２０）に対応する第１画像情報を前記メモリ（１２）に送信するとともに、前記第１通信ユニット（１４）及び前記第２通信ユニット（２１）を通じて前記画像出力ユニット（２３）に送信し、
複数の前記ヘッドマウントディスプレイ（２０）は、メインヘッドマウントディスプレイ（２０）を１つ含み、前記本体（１０）が、いずれか１つのヘッドマウントディスプレイ（２０）をメインヘッドマウントディスプレイとして設定し、
前記メインヘッドマウントディスプレイ（２０）は、前記第２通信ユニット（２１）に接続される命令入力ユニット（２４）を含み、前記命令入力ユニット（２４）は、前記メインヘッドマウントディスプレイのユーザから入力された命令を受信するために用いられ、前記ＣＰＵ（１３）は、前記ユーザから入力された命令を受信すると、前記ユーザから入力された命令に対応する第２画像情報を全ての前記ヘッドマウントディスプレイ（２０）に送信し、
前記メインヘッドマウントディスプレイ（２０）が第１画像情報を修正した後、前記本体（１０）は、複数の前記ヘッドマウントディスプレイ（２０）の各ヘッドマウントディスプレイ（２０）の位置情報に基づいて、複数の前記ヘッドマウントディスプレイ（２０）に対応する第２画像情報を生成し、
同一のタイミングで前記本体（１０）と通信接続する前記メインヘッドマウントディスプレイ（２０）は１つのみであり、
前記本体（１０）と通信接続するすべての前記ヘッドマウントディスプレイ（２０）は、いずれも指示入力ユニット（２４）を含むが、前記メインヘッドマウントディスプレイ（２０）の命令入力ユニット（２４）のみが、前記本体（１０）が対応する操作を実行できるようにするユーザから入力された命令を受信することを特徴とする分離式ヘッドマウントディスプレイシステム。

【請求項2】

前記命令入力ユニット（２４）は、ジェスチャ収集ユニット（２５）と視線入力ユニット（２６）を含み、前記ジェスチャ収集ユニット（２５）は、前記ヘッドマウントディスプレイ（２０）のユーザのジェスチャを受信して、対応する命令を入力するために用いられ、前記視線入力ユニット（２６）は、前記ヘッドマウントディスプレイ（２０）のユーザの眼球の凝視方向を受信するために用いられることを特徴とする請求項１に記載の分離式ヘッドマウントディスプレイシステム。

【請求項3】

前記ジェスチャ収集ユニット（２５）は、更に、前記ヘッドマウントディスプレイに対応する予め定められたユーザジェスチャを収集するために用いられ、前記ＣＰＵ（１３）は、前記予め定められたユーザジェスチャを取得すると、前記ヘッドマウントディスプレイ（２０）を前記メインヘッドマウントディスプレイとして設定することを特徴とする請求項２に記載の分離式ヘッドマウントディスプレイシステム。

【請求項4】

前記ＣＰＵ（１３）は、前記情報収集ユニット（１１）、メモリ（１２）及び第１通信ユニット（１４）にそれぞれ制御可能に接続される制御装置（１３２）と、前記メモリ（１２）にデータ接続される演算装置（１３１）を含むことを特徴とする請求項１に記載の分離式ヘッドマウントディスプレイシステム。

【請求項5】

前記情報収集ユニット（１１）は被写界深度カメラを含み、及び／又は
前記メインヘッドマウントディスプレイ（２０）は、更に、前記第２通信ユニット（２１）に接続される音声出力ユニットを含むことを特徴とする請求項１に記載の分離式ヘッドマウントディスプレイシステム。

【請求項6】

本体（１０）が、周辺環境を測定して構築し、ターゲット画像ソース情報を取得するとともに、ヘッドマウントディスプレイ（２０）を通じて前記ヘッドマウントディスプレイ（２０）の位置情報を取得し、
前記本体（１０）は、前記ターゲット画像ソース情報と前記ヘッドマウントディスプレイ（２０）の位置情報に基づいて、前記ヘッドマウントディスプレイ（２０）に対応する第１画像情報を前記ヘッドマウントディスプレイ（２０）に送信し、
前記ヘッドマウントディスプレイ（２０）は複数であり、
前記本体（１０）は、複数の前記ヘッドマウントディスプレイ（２０）のいずれか１つをメインヘッドマウントディスプレイとして設定し、前記メインヘッドマウントディスプレイのユーザから入力された命令を受信すると、前記ユーザから入力された命令に対応する第２画像情報を前記ヘッドマウントディスプレイ（２０）に送信し、
前記メインヘッドマウントディスプレイ（２０）が第１画像情報を修正した後、前記本体（１０）は、複数の前記ヘッドマウントディスプレイ（２０）の各ヘッドマウントディスプレイ（２０）の位置情報に基づいて、複数の前記ヘッドマウントディスプレイ（２０）に対応する第２画像情報を生成し、
同一のタイミングで前記本体（１０）と通信接続する前記メインヘッドマウントディスプレイ（２０）は１つのみであり、
前記本体（１０）と通信接続するすべての前記ヘッドマウントディスプレイ（２０）は、いずれも指示入力ユニット（２４）を含むが、前記メインヘッドマウントディスプレイ（２０）の命令入力ユニット（２４）のみが、前記本体（１０）が対応する操作を実行できるようにするユーザから入力された命令を受信することを特徴とする分離式ヘッドマウントディスプレイシステムのインタラクション方法。

【請求項7】

前記本体（１０）がいずれか１つのヘッドマウントディスプレイ（２０）をメインヘッドマウントディスプレイとして設定する際には、
前記ヘッドマウントディスプレイ（２０）が前記ヘッドマウントディスプレイ（２０）の第１ユーザジェスチャを取得して前記本体（１０）に送信し、前記本体（１０）が、前記第１ユーザジェスチャに基づいて、前記ヘッドマウントディスプレイ（２０）を前記メインヘッドマウントディスプレイとして固定するか、或いは、
前記本体（１０）が、所定の順序に基づいて、前記ヘッドマウントディスプレイ（２０）を前記メインヘッドマウントディスプレイとして順番に固定することを特徴とする請求項６に記載の分離式ヘッドマウントディスプレイシステムのインタラクション方法。

【請求項8】

更に、前記メインヘッドマウントディスプレイは、前記メインヘッドマウントディスプレイの第２ユーザジェスチャを受信して前記本体（１０）に送信し、前記本体（１０）は前記メインヘッドマウントディスプレイを解除することを特徴とする請求項７に記載の分離式ヘッドマウントディスプレイシステムのインタラクション方法。

【発明の詳細な説明】

【技術分野】

【0001】

本発明はＡＲ分野に関し、より具体的には、分離式ヘッドマウントディスプレイシステム及びインタラクション方法に関する。

【背景技術】

【0002】

通常、従来のヘッドマウントディスプレイは、一体的な単一の独立した電子システムである。即ち、ディスプレイごとに、処理ユニットと複数のセンサが内部における伝送と演算を行って画像を出力する。このような単一の独立した電子システムは、ユーザが増えた場合に、単一のシステムでその他のユーザとの表示のインタラクションを行うことが難しく、複数の電子システム同士が連携することで従来のウェアラブルなヘッドマウントディスプレイを動作させねばならない。

【発明の概要】

【発明が解決しようとする課題】

【0003】

本発明が解決しようとする技術的課題は、従来技術における上記の欠点に対し、分離式ヘッドマウントディスプレイシステム及びインタラクション方法を提供することである。

【課題を解決するための手段】

【0004】

本発明が技術的課題を解決するために用いる技術方案は以下の通りである。

【0005】

即ち、分離して設置される本体と、少なくとも１つのヘッドマウントディスプレイを含む分離式ヘッドマウントディスプレイシステムを構成する。

【0006】

前記本体は、情報収集ユニット、メモリ、ＣＰＵ及び第１通信ユニットを含む。前記ヘッドマウントディスプレイは、前記第１通信ユニットと通信接続を構築する第２通信ユニットと、前記第２通信ユニットに接続される現在位置ユニット及び画像出力ユニットを含む。

【0007】

前記情報収集ユニットは、ターゲット画像ソース情報を取得して前記メモリに送信するために用いられる。

【0008】

前記現在位置ユニットは、前記ヘッドマウントディスプレイの位置情報を取得し、前記第２通信ユニット及び第１通信ユニットを通じて前記メモリに送信するために用いられる。

【0009】

前記ＣＰＵは、前記メモリを通じて前記ターゲット画像ソース情報及び前記ヘッドマウントディスプレイの位置情報を受信し、前記ヘッドマウントディスプレイに対応する第１画像情報を前記メモリに送信するとともに、前記第１通信ユニット及び第２通信ユニットを通じて前記画像出力ユニットに送信する。

【0010】

好ましくは、前記少なくとも１つのヘッドマウントディスプレイは、メインヘッドマウントディスプレイを１つ含む。

【0011】

前記メインヘッドマウントディスプレイは、前記第２通信ユニットに接続される命令入力ユニットを含む。前記命令入力ユニットは、前記メインヘッドマウントディスプレイのユーザから入力された命令を受信するために用いられる。前記ＣＰＵは、前記ユーザから入力された命令を受信すると、前記ユーザから入力された命令に対応する第２画像情報を全ての前記ヘッドマウントディスプレイに送信する。

【0012】

好ましくは、前記命令入力ユニット（２４）は、ジェスチャ収集ユニット（２５）と視線入力ユニットを含む。前記ジェスチャ収集ユニットは、前記ヘッドマウントディスプレイ（２０）のユーザのジェスチャを受信して、対応する命令を入力するために用いられる。前記視線入力ユニットは、前記ヘッドマウントディスプレイ（２０）のユーザの眼球の凝視方向を受信するために用いられる。

【0013】

好ましくは、前記ジェスチャ収集ユニット（２５）は、更に、前記ヘッドマウントディスプレイに対応する第１ユーザジェスチャを収集するために用いられる。前記ＣＰＵは、前記第１ユーザジェスチャを取得すると、前記ヘッドマウントディスプレイを前記メインヘッドマウントディスプレイとして設定する。

【0014】

前記ＣＰＵは、前記情報収集ユニット、メモリ及び第１通信ユニットにそれぞれ制御可能に接続される制御装置と、前記メモリにデータ接続される演算装置を含む。

【0015】

好ましくは、前記情報収集ユニットは被写界深度カメラを含む。

【0016】

好ましくは、前記メインヘッドマウントディスプレイは、更に、前記第２通信ユニットに接続される音声出力ユニットを含む。

【0017】

本発明は、更に、分離式ヘッドマウントディスプレイシステムのインタラクション方法を提供する。当該方法は、以下を含む。

【0018】

本体は、ターゲット画像ソース情報を取得するとともに、ヘッドマウントディスプレイを通じて前記ヘッドマウントディスプレイの位置情報を取得する。

【0019】

前記本体は、前記ターゲット画像ソース情報と前記ヘッドマウントディスプレイの位置情報に基づいて、前記ヘッドマウントディスプレイに対応する第１画像情報を前記ヘッドマウントディスプレイに送信する。

【0020】

好ましくは、前記ヘッドマウントディスプレイが複数のヘッドマウントディスプレイを含む場合、前記方法は更に以下を含む。

【0021】

前記本体は、いずれか１つのヘッドマウントディスプレイをメインヘッドマウントディスプレイとして設定し、前記メインヘッドマウントディスプレイのユーザから入力された命令を受信すると、前記ユーザから入力された命令に対応する第２画像情報を前記ヘッドマウントディスプレイに送信する。

【0022】

好ましくは、前記本体がいずれか１つのヘッドマウントディスプレイをメインヘッドマウントディスプレイとして設定する際には、以下含む。

【0023】

前記ヘッドマウントディスプレイは、前記ヘッドマウントディスプレイの第１ユーザジェスチャを取得して前記本体に送信する。前記本体は、前記第１ユーザジェスチャに基づいて、前記ヘッドマウントディスプレイを前記メインヘッドマウントディスプレイとして固定する。

【0024】

或いは、前記本体は、所定の順序に基づいて、前記ヘッドマウントディスプレイを前記メインヘッドマウントディスプレイとして順番に固定する。

【0025】

好ましくは、前記方法では、更に、前記メインヘッドマウントディスプレイが、前記メインヘッドマウントディスプレイの第２ユーザジェスチャを受信して前記本体に送信し、前記本体が前記メインヘッドマウントディスプレイを解除する。

【発明の効果】

【0026】

本発明における分離式ヘッドマウントディスプレイシステム及びインタラクション方法を実施すれば、１台の本体で複数のヘッドマウントディスプレイをサーボ可能となり、複数ユーザが使用する際のインタラクションコストが低下するとの有益な効果が得られる。

【0027】

以下に、図面と実施例を組み合わせて本発明につき更に説明する。

【図面の簡単な説明】

【0028】

【図1】図１は、本発明に係る分離式ヘッドマウントディスプレイシステムの本体の第１実施例の回路ブロック図である。

【図2】図２は、本発明に係る分離式ヘッドマウントディスプレイシステムにおけるヘッドマウントディスプレイの第１実施例の回路ブロック図である。

【図3】図３は、本発明に係る分離式ヘッドマウントディスプレイシステムの本体の第２実施例の回路ブロック図である。

【発明を実施するための形態】

【0029】

本発明の技術的特徴、目的及び効果がより明確に理解されるよう、図面を参照して本発明の具体的実施形態について詳細に説明する。

【0030】

分離式ヘッドマウントディスプレイ２０システムは、分離して設置される本体１０と、少なくとも１つのヘッドマウントディスプレイ２０を含む。図１に示すように、本体１０は、情報収集ユニット１１、メモリ１２、ＣＰＵ１３及び第１通信ユニット１４を含む。図２に示すように、ヘッドマウントディスプレイ２０は、第１通信ユニット１４と通信接続を構築する第２通信ユニット２１と、第２通信ユニット２１に接続される現在位置ユニット２２及び画像出力ユニット２３を含む。情報収集ユニット１１は、ターゲット画像ソース情報を取得してメモリ１２に送信するために用いられる。現在位置ユニット２２は、ヘッドマウントディスプレイ２０の位置情報を取得し、第２通信ユニット２１及び第１通信ユニット１４を通じてメモリ１２に送信するために用いられる。ＣＰＵ１３は、メモリ１２を通じてターゲット画像ソース情報及びヘッドマウントディスプレイ２０の位置情報を受信し、ヘッドマウントディスプレイ２０に対応する第１画像情報をメモリ１２に送信するとともに、第１通信ユニット１４及び第２通信ユニット２１を通じて画像出力ユニット２３に送信する。具体的に、本体１０は、情報収集ユニット１１により周辺環境を測定して構築する。ここでは、演算により空間形状等の情報を取得するが、当該空間形状等の情報が即ちターゲット画像ソース情報であると理解すればよい。ヘッドマウントディスプレイ２０は、画像を表示する際に当該ターゲット画像ソース情報を参照する。本体１０は、当該ターゲット画像ソース情報をメモリ１２に記憶する。空間構築が完了すると、本体１０は第１通信ユニット１４を通じてヘッドマウントディスプレイ２０と通信接続を構築する。ここでの通信接続は無線通信接続とすればよい。即ち、１つの本体１０が、第１通信ユニット１４を通じて１又は複数のヘッドマウントディスプレイ２０と無線通信接続を構築可能である。ここでの無線通信接続にはＷｉＦｉやブルートゥース（登録商標）が含まれるが、これらに限らない。注意すべき点として、空間構築（即ち、ターゲット画像ソース情報の取得）、及び本体１０とヘッドマウントディスプレイ２０が通信接続を構築するプロセスは、必要に応じて主体的に調整可能である。例えば、本体１０は、通信接続を構築したあとにターゲット画像ソース情報を取得してもよい。

【0031】

ヘッドマウントディスプレイ２０は、現在位置ユニット２２によりヘッドマウントディスプレイ２０の位置情報を取得し、構築済みの通信接続リンクを通じてメモリ１２に送信する。ＣＰＵ１３は、メモリ１２を通じて当該ターゲット画像ソース情報とヘッドマウントディスプレイ２０の位置情報を取得したあと、ヘッドマウントディスプレイ２０の位置情報に基づいて判断を行う。そして、当該ヘッドマウントディスプレイ２０に対応する第１画像情報をメモリ１２に送信するとともに、通信リンクを通じてヘッドマウントディスプレイ２０の画像出力ユニット２３に送信する。これにより、ヘッドマウントディスプレイ２０は最終画像を表示可能となる。ヘッドマウントディスプレイ２０が表示する画像は自身の現在位置に関連していると理解すればよい。例えば、テーブルをターゲット画像ソース情報とする場合、テーブルに対するヘッドマウントディスプレイ２０の方向の違いによって、当該テーブルに基づき表示される第１画像は異なる。複数のヘッドマウントディスプレイ２０が存在する場合、テーブルに対するこれらの方向の違いによって、テーブルに基づき表示される第１画像は異なると理解すればよい。

【0032】

更に、少なくとも１つのヘッドマウントディスプレイ２０は、メインヘッドマウントディスプレイ２０を１つ含む。メインヘッドマウントディスプレイ２０は、第２通信ユニット２１に接続される命令入力ユニット２４を含む。命令入力ユニット２４は、メインヘッドマウントディスプレイ２０のユーザから入力された命令を受信するために用いられる。ＣＰＵ１３は、ユーザから入力された命令を受信すると、ユーザから入力された命令に対応する第２画像情報を全てのヘッドマウントディスプレイ２０に送信する。具体的に、本体１０は、メインヘッドマウントディスプレイ２０を１つ設定する。ここで、メインヘッドマウントディスプレイ２０の設定プロセスとしては、本体１０が、ヘッドマウントディスプレイ２０と通信接続を構築する過程において、当該ヘッドマウントディスプレイ２０をメインヘッドマウントディスプレイ２０として設定すればよい。即ち、本体１０とヘッドマウントディスプレイ２０の各々が通信接続を構築したあと、本体１０は、何らかの特定条件に従って、いずれか１つのヘッドマウントディスプレイ２０をメインヘッドマウントディスプレイ２０として設定すればよい。メインヘッドマウントディスプレイ２０には、ユーザ命令が入力される命令入力ユニット２４が設けられている。本体１０は、当該ユーザ命令を受信すると、第１画像情報を変更し、当該ユーザから入力された命令に対応する第２画像情報を生成する。また、同一のタイミングで同一の本体１０と通信接続するメインヘッドマウントディスプレイ２０は１つのみである。ここで、本体１０と通信接続するヘッドマウントディスプレイ２０はいずれも当該命令入力ユニット２４を含み得るが、メインヘッドマウントディスプレイ２０として設定されたときにのみ、その命令入力ユニット２４がユーザから入力された命令を受信可能となり、本体１０が然るべき操作を実行すると理解すればよい。更に、第２画像情報もまた各ヘッドマウントディスプレイ２０に関連していると理解すればよい。即ち、メインヘッドマウントディスプレイ２０が第１画像情報を修正したあとも、本体１０は各ヘッドマウントディスプレイ２０の位置情報に基づいて当該ヘッドマウントディスプレイ２０に対応する第２画像情報を生成する。また、ここでのユーザから入力される命令は、仮想キーボードを通じて入力されてもよい。

【0033】

更に、命令入力ユニット２４は、ジェスチャ収集ユニット２５と視線入力ユニット２６を含む。ジェスチャ収集ユニット２５は、ヘッドマウントディスプレイのユーザのジェスチャを受信して、対応する命令を入力するために用いられる。視線入力ユニット２６は、ヘッドマウントディスプレイのユーザの眼球の凝視方向を受信するために用いられる。具体的に、ジェスチャ収集ユニット２５は、使用者のジェスチャ入力要求を捉えて受信すると、本体にワイヤレス伝送する。そして、入力状態に入ったことが確認されると、ジェスチャ収集ユニット２５は使用者の片手又は両手の動作及び軌道をリアルタイムで追跡し、命令入力の目的を達成する。例えば、現実のテーブル上に仮想の将棋ゲームが表示されている場合、入力の確認後、使用者は将棋盤上の仮想の駒を手に取って特定の位置に置くことが可能となる。ジェスチャ収集の利点は明白であり、どのような使用者であっても、特別な学習を必要とすることなく、両手で持ち上げたり下ろしたりといった一連の動作を行うことができる。しかし、これと同時に、ジェスチャ収集の欠点もまた悩ましく、追跡に誤差が存在するため的確な操作を行うことができない。上述した将棋の場合を例示すると、ターゲットである駒の位置の周囲に複数の駒が存在する場合、ターゲットの駒を持ち上げるのはそれほど容易ではない。こうした場合には、視線入力の介入と連携が必要となる。視線入力ユニット２６は、使用者の眼球の凝視方向をセンサによりリアルタイムで追跡するものである。これはマウスのポインタと類似しており、ジェスチャと合わせて収集すれば、非常に的確な効果を得ることが可能となる。更に、上述した将棋の場合を例示すると、ターゲットの駒の周囲に複数の駒が存在し、ある程度遮られている場合には、ジェスチャの追跡だけでは迅速且つ的確にターゲットを持ち上げることはできない。しかし、視線入力で補助することで、使用者の焦点位置（ターゲットの駒）を分析してジェスチャを補足すれば、簡単にターゲットの駒を持ち上げることが可能となる。誤差をゼロにすることはできないが、ジェスチャ収集のみの場合と比べれば、２種類の入力方式を連携させることで非常に高い精度が得られる。使用者にターゲットとなる物体の触感を付与できないことを除き、例えば、将棋を指す、泥人形をつかむ、或いは仮想キーボードを叩いて文字を入力するといったその他の簡単な操作についてはいずれも達成可能である。このほか、音声アシスタント機能を有するヘッドマウントディスプレイの場合には、当該命令入力ユニットが音声入力ユニットを更に含み、音声入力ユニットによって音声アシスタントに音声コマンドを入力してもよい。音声入力ユニットを用いることで入力の手順が簡略化され、性能体験が向上する。

【0034】

更に、ヘッドマウントディスプレイ２０における第２通信ユニット２１に接続されるジェスチャ収集ユニット２５は、ヘッドマウントディスプレイ２０に対応する第１ユーザジェスチャを収集するためにも用いられる。ＣＰＵ１３は、当該第１ユーザジェスチャを取得すると、ヘッドマウントディスプレイ２０をメインヘッドマウントディスプレイ２０として設定する。具体的に、いくつかの実施例において、各ヘッドマウントディスプレイ２０はカメラ又はセンサを有して特定のジェスチャを識別可能である（即ち、ジェスチャ収集ユニット２５によりユーザジェスチャを取得する）。当該特定のジェスチャを識別することで、本体１０は、当該特定のジェスチャのヘッドマウントディスプレイ２０をメインヘッドマウントディスプレイ２０として設定可能である。これは、次のように理解すればよい。即ち、全てのヘッドマウントディスプレイ２０は、各々のジェスチャ収集ユニット２５が特定のジェスチャを取得したか否かを検出する。そして、いずれか１つのジェスチャ収集ユニット２５が当該特定のジェスチャを取得すると、当該特定のジェスチャが本体１０に伝送され、本体１０が、そのジェスチャ収集ユニット２５に対応するヘッドマウントディスプレイ２０に提示情報を送信する。ユーザは、ヘッドマウントディスプレイ２０を通じて当該提示情報を確認することが可能である。例えば、入力状態に入ったか否かについて、入力状態に入ったことをユーザが確認すると、当該ヘッドマウントディスプレイ２０がメインヘッドマウントディスプレイ２０として設定されて、本体１０にユーザ命令を入力可能な状態となる。一方、その他のヘッドマウントディスプレイ２０は観察のみが可能な状態となり、入力可能なインターフェースは提供されない。なお、言うまでもなく、複数のジェスチャ収集ユニット２５が当該特定のジェスチャを取得した場合には、本体１０が、最も早く当該特定のジェスチャを取得したヘッドマウントディスプレイ２０にのみ提示情報を送信すると理解すればよい。そして、当該提示情報が確認されると、当該ヘッドマウントディスプレイ２０がメインヘッドマウントディスプレイ２０として設定される。ここでの提示情報の確認は、例えばインターフェース上の提示情報をクリックするというように、ユーザによる主体的な確認とすればよい。

【0035】

図３に示す実施例において、ＣＰＵ１３は、情報収集ユニット１１、メモリ１２及び第１通信ユニット１４にそれぞれ制御可能に接続される制御装置１３２と、メモリ１２にデータ接続される演算装置１３１を含む。具体的に、本体１０は、ターゲット画像ソース情報を構築する過程で、ＣＰＵ１３内の制御装置１３２によって情報収集ユニット１１を制御する。メモリ１２と第１通信ユニット１４は、制御信号により提供されたリンクに基づき各種情報の伝送を行い、ＣＰＵ１３の演算装置１３１へと伝送する。また、演算装置１３１は、各種情報を処理してからメモリ１２に送信する。制御装置１３２は、処理された情報を所望のリンクに基づき伝送するよう制御する。例えば、第１通信ユニット１４を経由してヘッドマウントディスプレイ２０に伝送する。

【0036】

更に、情報収集ユニット１１は被写界深度カメラを含む。具体的に、被写界深度カメラは、所望のターゲット画像ソース情報を構築するために、ヘッドマウントディスプレイ２０に対し、本体１０又はヘッドマウントディスプレイ２０の位置に関連する外部環境を取得する。

【0037】

更に、ヘッドマウントディスプレイ２０は、第２通信ユニット２１に接続される音声出力ユニットを含む。具体的に、ヘッドマウントディスプレイ２０は、使用時の多くの場合、画像に特殊な音声を組み合わせる必要がある。この場合には、例えば、スピーカや、イヤホンに外付け可能な音声ユニットといった音声出力ユニットを通じて、本体１０は当該第１画像に対応する音声ファイルを送信することができる。これにより、ヘッドマウントディスプレイ２０の使用過程全般にわたる体験がいっそう良好になる。

【0038】

このほか、本発明は、分離式ヘッドマウントディスプレイ２０システムのインタラクション方法を提供する。当該方法は、以下を含む。

【0039】

本体１０は、ターゲット画像ソース情報を取得するとともに、ヘッドマウントディスプレイ２０を通じてヘッドマウントディスプレイ２０の位置情報を取得する。

【0040】

本体１０は、ターゲット画像ソース情報とヘッドマウントディスプレイ２０の位置情報に基づいて、ヘッドマウントディスプレイ２０に対応する第１画像情報をヘッドマウントディスプレイ２０に送信する。

【0041】

具体的に、本体１０は周辺環境を取得する。ここでは、演算により空間形状等の情報を取得するが、当該空間形状等の情報が即ちターゲット画像ソース情報であると理解すればよい。ヘッドマウントディスプレイ２０は、画像を表示する際に当該ターゲット画像ソース情報を参照する。本体１０は、ヘッドマウントディスプレイ２０と通信接続を構築する。ここでの通信接続は無線通信接続とすればよい。即ち、１つの本体１０が１又は複数のヘッドマウントディスプレイ２０と無線通信接続を構築可能である。ここでの無線通信接続にはＷｉＦｉやブルートゥースが含まれるが、これらに限らない。注意すべき点として、空間構築（即ち、ターゲット画像ソース情報の取得）、及び本体１０とヘッドマウントディスプレイ２０が通信接続を構築するプロセスは、必要に応じて主体的に調整可能である。例えば、本体１０は、通信接続を構築したあとにターゲット画像ソース情報を取得してもよい。

【0042】

ヘッドマウントディスプレイ２０は、ヘッドマウントディスプレイ２０の位置情報を取得し、構築済みの通信接続リンクを通じて本体１０に送信する。本体１０は、当該ターゲット画像ソース情報とヘッドマウントディスプレイ２０の位置情報を取得したあと、ヘッドマウントディスプレイ２０の位置情報に基づいて判断を行う。そして、通信リンクを通じて、当該ヘッドマウントディスプレイ２０に対応する第１画像情報をヘッドマウントディスプレイ２０に送信し、画像を表示する。これにより、ヘッドマウントディスプレイ２０は最終画像を表示可能となる。ヘッドマウントディスプレイ２０が表示する画像は自身の現在位置に関連していると理解すればよい。例えば、テーブルをターゲット画像ソース情報とする場合、テーブルに対するヘッドマウントディスプレイ２０の方向の違いによって、当該テーブルに基づき表示される第１画像は異なる。また、複数のヘッドマウントディスプレイ２０が存在する場合、テーブルに対するこれらの方向の違いによって、テーブルに基づき表示される第１画像は異なると理解すればよい。

【0043】

更に、ヘッドマウントディスプレイ２０が複数のヘッドマウントディスプレイ２０を含む場合、方法は更に以下を含む。

【0044】

本体１０は、いずれか１つのヘッドマウントディスプレイ２０をメインヘッドマウントディスプレイ２０として設定する。そして、メインヘッドマウントディスプレイ２０のユーザから入力された命令を受信すると、ユーザから入力された命令に対応する第２画像情報をヘッドマウントディスプレイ２０に送信する。具体的に、メインヘッドマウントディスプレイ２０は、ユーザが入力するユーザ命令を受信可能である。本体１０は、当該ユーザ命令を受信すると、第１画像情報を変更し、当該ユーザから入力された命令に対応する第２画像情報を生成する。ここでは、修正時の矛盾を回避するために、同一のタイミングで同一の本体１０と通信接続するメインヘッドマウントディスプレイ２０は１つのみである。また、ここで、本体１０と通信接続するヘッドマウントディスプレイ２０はいずれも当該命令入力ユニット２４を含み得るが、メインヘッドマウントディスプレイ２０として設定されたときにのみユーザから入力された命令を受信可能となり、本体１０が然るべき操作を実行すると理解すればよい。更に、第２画像情報もまた各ヘッドマウントディスプレイ２０に関連していると理解すればよい。即ち、メインヘッドマウントディスプレイ２０が第１画像情報を修正したあとも、本体１０は各ヘッドマウントディスプレイ２０の位置情報に基づいて当該ヘッドマウントディスプレイ２０に対応する第２画像情報を生成する。また、ここでのユーザから入力される命令は、仮想キーボードを通じて入力可能である。

【0045】

更に、いくつかの実施例では、本体１０がいずれか１つのヘッドマウントディスプレイ２０をメインヘッドマウントディスプレイ２０として設定する際に、ヘッドマウントディスプレイ２０が、ヘッドマウントディスプレイ２０の第１ユーザジェスチャを取得して本体１０に送信する。本体１０は、第１ユーザジェスチャに基づいて、ヘッドマウントディスプレイ２０をメインヘッドマウントディスプレイ２０として固定する。具体的に、各ヘッドマウントディスプレイ２０は、いずれもカメラ又はセンサを有して特定のジェスチャを識別可能である。当該特定のジェスチャを識別することで、本体１０は、当該特定のジェスチャのヘッドマウントディスプレイ２０をメインヘッドマウントディスプレイ２０として設定可能である。全てのヘッドマウントディスプレイ２０は各々のジェスチャ収集ユニット２５が特定のジェスチャを取得したか否かを検出する。そして、いずれか１つのジェスチャ収集ユニット２５が当該特定のジェスチャを取得すると、当該特定のジェスチャが本体１０に伝送され、本体１０が、そのジェスチャ収集ユニット２５に対応するヘッドマウントディスプレイ２０に提示情報を送信する。ユーザは、ヘッドマウントディスプレイ２０を通じて当該提示情報を確認することが可能である。例えば、入力状態に入ったか否かについて、入力状態に入ったことをユーザが確認すると、当該ヘッドマウントディスプレイ２０がメインヘッドマウントディスプレイ２０として設定されて、本体１０にユーザ命令を入力可能な状態となる。このとき、その他のヘッドマウントディスプレイ２０は観察のみが可能な状態となり、入力可能なインターフェースは提供されない。なお、言うまでもなく、複数のヘッドマウントディスプレイ２０に当該特定のジェスチャが入力された場合には、本体１０が、最も早く当該特定のジェスチャを取得したヘッドマウントディスプレイ２０にのみ提示情報を送信すると理解すればよい。そして、当該提示情報が確認されると、当該ヘッドマウントディスプレイ２０がメインヘッドマウントディスプレイ２０として設定される。ここでの提示情報の確認は、例えばインターフェース上の提示情報をクリックするというように、ユーザによる主体的な確認とすればよい。

【0046】

いくつかの実施例では、本体１０がいずれか１つのヘッドマウントディスプレイ２０をメインヘッドマウントディスプレイ２０として設定する際に、本体１０は、所定の順序に基づいて、ヘッドマウントディスプレイ２０をメインヘッドマウントディスプレイ２０として順番に固定して行く。具体的に、本体１０は、何らかの特定の順序に基づいて、全てのヘッドマウントディスプレイ２０を入力可能な状態に交互に設定することができる。

【0047】

更に、方法は以下を含む。即ち、メインヘッドマウントディスプレイ２０は、メインヘッドマウントディスプレイ２０の第２ユーザジェスチャを受信して本体１０に送信し、本体１０がメインヘッドマウントディスプレイ２０を解除する。入力状態にあるユーザは、操作を終えたときに終了のための第２の特定のジェスチャを出す必要がある。すると、本体１０は同様に確認を行い、入力状態からログアウトして最初の入力検出状態となる。ここでの第２ユーザジェスチャは、メインヘッドマウントディスプレイの入力インターフェースにおける解除入力を含み得る。これに凝視の焦点が組み合わされ、手でのクリックにより確認がなされると、ヘッドマウントディスプレイを解除してメインヘッドマウントディスプレイとすることができる。メインヘッドマウントディスプレイが解除されたあと、本体は第１ユーザジェスチャの検索状態に入る。

【0048】

入力時にユーザがほかの外部要因の干渉を受けないよう、同一タイミングにおいて、メインヘッドマウントディスプレイは唯一性を有する。よって、当該ユーザは入力を終えると、まず入力権限を解除して現在の状態からログアウトする必要がある。現在のメインヘッドマウントディスプレイがログアウトしたあと、システムは動作中のソフトウェアの要求に基づいて次の入力要求を自動的に検出する。且つ、本体もソフトウェアの要求に基づいて、一定の順序でメインヘッドマウントディスプレイを自動的に変更する。この場合、現在のメインヘッドマウントディスプレイがログアウトしたあとは、検出を行うことなく、順序中の次のヘッドマウントディスプレイがメインヘッドマウントディスプレイとして自動的に設定される。なお、メインヘッドマウントディスプレイは同一タイミングに１つしか存在しないとしたが、これは必須ではない。本体は、ソフトウェアの動作要求に基づいて、現在入力が必要か否かを判断し、入力が不要な場合にはメインヘッドマウントディスプレイを判定する必要はない。例示して説明すると、２人のユーザが将棋を指す場合、まずはメインヘッドマウントディスプレイのユーザが将棋のソフトウェアを開く必要があるが、その後の対局の過程では２人の入力権限が交互に変更される。そして、対局を終える際（勝敗が決まった際）、システムは、例えば駒を元の位置に戻すといった自動表示によるアニメーション効果に進む。この過程では何らの入力も必要としない。即ち、本体はメインヘッドマウントディスプレイの判定を行う必要がない。

【0049】

以上の実施例は、本発明の好ましい実施形態を理解し得るために示したものにすぎず、比較的具体的且つ詳細に記載はしたが、これにより本発明の特許請求の範囲が制限されると解釈してはならない。特筆すべき点として、当業者であれば、本発明の構想を逸脱しないことを前提に、上記の技術的特性を自由に組み合わせることも、若干の変形及び改良を加えることも可能であり、これらはいずれも本発明の保護の範囲に属する。従って、本発明の特許請求の範囲に基づいて行われる等価の変形及び補足は、いずれも本発明の請求項の範囲に属するものとする。

【図1】

【図2】

【図3】