知財求人 - 知財ポータルサイト「IP Force」
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2024014910
(43)【公開日】2024-02-01
(54)【発明の名称】表示装置
(51)【国際特許分類】
H04N 5/64 20060101AFI20240125BHJP
G06T 19/00 20110101ALI20240125BHJP
G06F 3/01 20060101ALI20240125BHJP
G09G 5/00 20060101ALI20240125BHJP
G02B 27/02 20060101ALN20240125BHJP
【ＦＩ】
H04N5/64 511A
G06T19/00 A
G06F3/01 510
G09G5/00 510G
G09G5/00 550C
G02B27/02 Z
【審査請求】有
【請求項の数】15
【出願形態】ＯＬ
(21)【出願番号】P 2023190649
(22)【出願日】2023-11-08
(62)【分割の表示】P 2021528604の分割
【原出願日】2019-06-21
(71)【出願人】
【識別番号】000005810
【氏名又は名称】マクセル株式会社
(74)【代理人】
【識別番号】110002066
【氏名又は名称】弁理士法人筒井国際特許事務所
(72)【発明者】
【氏名】橋本 康宣
(72)【発明者】
【氏名】吉澤 和彦
(72)【発明者】
【氏名】中出 眞弓
(72)【発明者】
【氏名】秋山 仁
(57)【要約】
【課題】ＨＭＤの技術に関して、高度な機能と重量低減とをバランス良く実現でき、ユーザの使い勝手を向上できる技術を提供する。
【解決手段】実施の形態のＨＭＤは、ユーザの視野に画像を表示できるヘッドマウントディスプレイ装置であって、ユーザの頭部に装着され、画像を表示する表示面を持つ頭装着部と、頭装着部と通信し、ユーザの体幹の一部に装着される体幹装着部とを備え、頭装着部と体幹装着部との相対的な位置関係を計測し、位置関係に基づいて、頭装着部の位置および方向を含む状態および体幹装着部の位置および方向を含む状態を把握する。
【選択図】図１
【解決手段】実施の形態のＨＭＤは、ユーザの視野に画像を表示できるヘッドマウントディスプレイ装置であって、ユーザの頭部に装着され、画像を表示する表示面を持つ頭装着部と、頭装着部と通信し、ユーザの体幹の一部に装着される体幹装着部とを備え、頭装着部と体幹装着部との相対的な位置関係を計測し、位置関係に基づいて、頭装着部の位置および方向を含む状態および体幹装着部の位置および方向を含む状態を把握する。
【選択図】図１
【特許請求の範囲】
【請求項1】
表示装置であって、
画像を表示する表示部と、
前記表示部と通信を行う検出部と、を備え、
前記表示部と前記検出部との相対的な位置関係を測定し、
前記位置関係に基づく前記表示部の位置および方向を含む状態、ならびに前記検出部の位置および方向を含む状態を把握し、
前記画像を表示する際の基準となる座標系として、
世界座標系と、
前記検出部に固定される検出座標系と、
前記表示部に固定される表示座標系と、
慣性座標系と、
を有し、
前記慣性座標系は、前記表示部または前記検出部の位置の変化に追随して原点が移動し、前記画像の配置位置に関して前記表示部および前記検出部の方向の変化に対して追随しない座標系であり、
前記画像に関する情報毎に、前記基準となる座標系を選択して設定する、
表示装置。
画像を表示する表示部と、
前記表示部と通信を行う検出部と、を備え、
前記表示部と前記検出部との相対的な位置関係を測定し、
前記位置関係に基づく前記表示部の位置および方向を含む状態、ならびに前記検出部の位置および方向を含む状態を把握し、
前記画像を表示する際の基準となる座標系として、
世界座標系と、
前記検出部に固定される検出座標系と、
前記表示部に固定される表示座標系と、
慣性座標系と、
を有し、
前記慣性座標系は、前記表示部または前記検出部の位置の変化に追随して原点が移動し、前記画像の配置位置に関して前記表示部および前記検出部の方向の変化に対して追随しない座標系であり、
前記画像に関する情報毎に、前記基準となる座標系を選択して設定する、
表示装置。
【請求項2】
請求項１記載の表示装置において、
前記検出部は、ユーザの首または肩の付近に装着され、前記ユーザの首または肩に対し左右に配置される筐体と、前記左右の筐体を接続するように前記ユーザの首または肩に対し後ろに配置される筐体とを有する、
表示装置。
前記検出部は、ユーザの首または肩の付近に装着され、前記ユーザの首または肩に対し左右に配置される筐体と、前記左右の筐体を接続するように前記ユーザの首または肩に対し後ろに配置される筐体とを有する、
表示装置。
【請求項3】
請求項１記載の表示装置において、
前記検出部には、前記表示装置の位置および方向を含む状態を検出するためのセンサの少なくとも一部を有し、
前記センサで検出した情報と、前記位置関係とに基づいて、前記表示装置の位置および方向を含む状態を計算し、前記状態に応じて前記画像の表示を制御する、
表示装置。
前記検出部には、前記表示装置の位置および方向を含む状態を検出するためのセンサの少なくとも一部を有し、
前記センサで検出した情報と、前記位置関係とに基づいて、前記表示装置の位置および方向を含む状態を計算し、前記状態に応じて前記画像の表示を制御する、
表示装置。
【請求項4】
請求項１記載の表示装置において、
前記表示部と前記検出部との少なくとも一方には、前記位置関係を測定するための測距センサを有する、
表示装置。
前記表示部と前記検出部との少なくとも一方には、前記位置関係を測定するための測距センサを有する、
表示装置。
【請求項5】
請求項４記載の表示装置において、
前記検出部に有する前記測距センサから、前記表示部の筐体に設けられている複数のマーカの位置を測定する、または、前記表示部に有する前記測距センサから、前記検出部の筐体に設けられている複数のマーカの位置を測定する、
表示装置。
前記検出部に有する前記測距センサから、前記表示部の筐体に設けられている複数のマーカの位置を測定する、または、前記表示部に有する前記測距センサから、前記検出部の筐体に設けられている複数のマーカの位置を測定する、
表示装置。
【請求項6】
請求項１記載の表示装置において、
前記検出部には、前記検出部の位置および方向を含む状態を検出するための体幹センサを有し、
前記検出部は、前記位置関係を測定し、前記体幹センサで検出した情報と、前記位置関係とに基づいて、前記表示部の位置および方向を含む状態を計算し、前記検出部の位置および方向を含む状態を用いた前記画像の表示制御と、前記表示部の位置および方向を含む状態を用いた前記画像の表示制御とを行う、
表示装置。
前記検出部には、前記検出部の位置および方向を含む状態を検出するための体幹センサを有し、
前記検出部は、前記位置関係を測定し、前記体幹センサで検出した情報と、前記位置関係とに基づいて、前記表示部の位置および方向を含む状態を計算し、前記検出部の位置および方向を含む状態を用いた前記画像の表示制御と、前記表示部の位置および方向を含む状態を用いた前記画像の表示制御とを行う、
表示装置。
【請求項7】
請求項１記載の表示装置において、
前記表示部には、前記表示部の位置および方向を含む状態を検出するための頭部センサを有し、
前記表示部は、前記位置関係を測定し、前記頭部センサで検出した情報と、前記位置関係とに基づいて、前記検出部の位置および方向を含む状態を計算し、前記表示部の位置および方向を含む状態を用いた前記画像の表示制御と、前記検出部の位置および方向を含む状態を用いた前記画像の表示制御とを行う、
表示装置。
前記表示部には、前記表示部の位置および方向を含む状態を検出するための頭部センサを有し、
前記表示部は、前記位置関係を測定し、前記頭部センサで検出した情報と、前記位置関係とに基づいて、前記検出部の位置および方向を含む状態を計算し、前記表示部の位置および方向を含む状態を用いた前記画像の表示制御と、前記検出部の位置および方向を含む状態を用いた前記画像の表示制御とを行う、
表示装置。
【請求項8】
請求項１記載の表示装置において、
前記検出部は、メインコントローラを有し、
前記メインコントローラは、前記位置関係に基づいて前記状態を把握し、前記状態に応じた前記画像の表示制御のための表示データを前記表示部に送信する、
表示装置。
前記検出部は、メインコントローラを有し、
前記メインコントローラは、前記位置関係に基づいて前記状態を把握し、前記状態に応じた前記画像の表示制御のための表示データを前記表示部に送信する、
表示装置。
【請求項9】
請求項１記載の表示装置において、
前記検出部と前記表示部とを接続する接続線を備え、
前記接続線は、ユーザの体幹に対し左右対称に配置される２本の接続線を有する、
表示装置。
前記検出部と前記表示部とを接続する接続線を備え、
前記接続線は、ユーザの体幹に対し左右対称に配置される２本の接続線を有する、
表示装置。
【請求項10】
請求項１記載の表示装置において、
前記検出部は、ユーザの体幹に対し左右の筐体に、メインバッテリを有し、
前記検出部と前記表示部とを接続する接続線を備え、
前記検出部から前記接続線を通じて前記表示部に給電される、
表示装置。
前記検出部は、ユーザの体幹に対し左右の筐体に、メインバッテリを有し、
前記検出部と前記表示部とを接続する接続線を備え、
前記検出部から前記接続線を通じて前記表示部に給電される、
表示装置。
【請求項11】
請求項１記載の表示装置において、
前記検出部は、ユーザの体幹に対し左右の筐体に、マイクおよびスピーカを有する、
表示装置。
前記検出部は、ユーザの体幹に対し左右の筐体に、マイクおよびスピーカを有する、
表示装置。
【請求項12】
請求項１記載の表示装置において、
前記検出部と前記表示部とを接続する接続線を備え、
前記検出部の有線通信回路と前記表示部の有線通信回路との間で前記接続線を通じて有線通信を行う、
表示装置。
前記検出部と前記表示部とを接続する接続線を備え、
前記検出部の有線通信回路と前記表示部の有線通信回路との間で前記接続線を通じて有線通信を行う、
表示装置。
【請求項13】
請求項１記載の表示装置において、
前記検出部の無線通信回路と前記表示部の無線通信回路との間で無線通信を行う、
表示装置。
前記検出部の無線通信回路と前記表示部の無線通信回路との間で無線通信を行う、
表示装置。
【請求項14】
請求項１記載の表示装置において、
前記検出部と前記表示部とを接続する接続線を備え、
前記検出部には、無線給電のための送電回路および送電アンテナ部を有し、
前記表示部には、前記無線給電のための受電回路を有し、
前記接続線には、前記無線給電のための受電アンテナ部を有し、
前記送電アンテナ部と前記受電アンテナ部が近接配置され、前記送電アンテナ部と前記受電アンテナ部との間で前記無線給電を行う、
表示装置。
前記検出部と前記表示部とを接続する接続線を備え、
前記検出部には、無線給電のための送電回路および送電アンテナ部を有し、
前記表示部には、前記無線給電のための受電回路を有し、
前記接続線には、前記無線給電のための受電アンテナ部を有し、
前記送電アンテナ部と前記受電アンテナ部が近接配置され、前記送電アンテナ部と前記受電アンテナ部との間で前記無線給電を行う、
表示装置。
【請求項15】
請求項１記載の表示装置において、
前記検出部または前記表示部には、ユーザの視野を撮影するカメラを有する、
表示装置。
前記検出部または前記表示部には、ユーザの視野を撮影するカメラを有する、
表示装置。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、ヘッドマウントディスプレイ装置（Head Mounted Display：ＨＭＤ）の技術に関する。
【背景技術】
【0002】
ユーザの頭部に装着されるＨＭＤは、透過型または非透過型の表示面に仮想物体等の画像を表示できる。従来のＨＭＤは、表示面に画像を表示する方式としては、世界座標系に合わせた位置に表示する方式や、ユーザの頭（対応するＨＭＤ）の方向に合わせた位置に表示する方式がある。また、他の方式としては、ユーザの胴体等の体幹の方向に合わせた位置に表示する方式も提案されている。
【0003】
上記ＨＭＤに係わる先行技術例として、特開２０１９－２８６３８号公報（特許文献１）が挙げられる。特許文献１には、ヘッドマウントディスプレイ等として、頭部の向きを検出する頭部センサー、体幹の向きを検出する体幹センサー等を備え、装着者の周囲の仮想空間に、体幹レイヤーと頭部レイヤーの２層からなるとともに連続的な情報表示領域を構成する仮想デスクトップを構築する旨が記載されている。
【先行技術文献】
【特許文献】
【0004】
【特許文献1】特開２０１９－２８６３８号公報
【発明の概要】
【発明が解決しようとする課題】
【0005】
ＨＭＤは、機能の高度化等に伴って重量が大きくなる傾向がある。ＨＭＤの重量によってユーザの身体的負担が大きくなり、例えば長時間の利用はしにくくなる。ユーザの身体的負担を低減するためには、ＨＭＤの重量をなるべく低減することが要求される。
【0006】
ＨＭＤの機能の高度化の例としては、ユーザの状態に応じて表示面への画像の表示を制御する機能が挙げられる。例えば、ユーザの頭方向に合わせた画像表示と体幹方向に合わせた画像表示とを併用できる機能が挙げられる。特許文献１の例では、ユーザの体幹に装着されたセンサから計測した体幹の方向を、画像の表示基準として用いている。特許文献１の例では、頭方向と体幹方向との２つの方向を検出できるように、頭部のＨＭＤとユーザの体幹との両方に、３軸角速度センサのようなセンサを備える。
【0007】
ＨＭＤの機能の高度化のためには、センサを含む各種のデバイスの実装が必要である。しかし、重いデバイスや多数のデバイスを実装するほど、ＨＭＤの重量が増加する。特許文献１の例では、同じ種類のセンサを二重に設ける必要があり、このような構成は、センサの有効利用の観点では改善余地がある。ＨＭＤの実装では、高度な機能の観点と重量の観点とでバランス良く設計する必要がある。
【0008】
本発明の目的は、ＨＭＤの技術に関して、高度な機能と重量低減とをバランス良く実現でき、ユーザの使い勝手を向上できる技術を提供することである。上記以外の課題等については、発明を実施するための形態において示される。
【課題を解決するための手段】
【0009】
本発明のうち代表的な実施の形態は、以下に示す構成を有する。一実施の形態の表示装置は、画像を表示する表示部と、前記表示部と通信を行う検出部と、を備え、前記表示部と前記検出部との相対的な位置関係を測定し、前記位置関係に基づく前記表示部の位置および方向を含む状態、ならびに前記検出部の位置および方向を含む状態を把握し、前記画像を表示する際の基準となる座標系として、世界座標系と、前記検出部に固定される検出座標系と、前記表示部に固定される表示座標系と、慣性座標系と、を有し、前記慣性座標系は、前記表示部または前記検出部の位置の変化に追随して原点が移動し、前記画像の配置位置に関して前記表示部および前記検出部の方向の変化に対して追随しない座標系であり、前記画像に関する情報毎に、前記基準となる座標系を選択して設定する。
【発明の効果】
【0010】
本発明のうち代表的な実施の形態によれば、高度な機能と重量低減とをバランス良く実現でき、ユーザの使い勝手を向上できる。
【図面の簡単な説明】
【0011】
【図1】本発明の実施の形態１のヘッドマウントディスプレイ装置（ＨＭＤ）を含む、表示システムの構成を示す図である。
【図2】実施の形態１のＨＭＤの構成を示す図である。
【図3】実施の形態１のＨＭＤで、制御部等の構成を示す図である。
【図4】実施の形態１のＨＭＤで、主な処理フローを示す図である。
【図5】実施の形態１のＨＭＤで、座標系および位置関係の測距等について示す図である。
【図6】実施の形態１のＨＭＤで、位置関係の計算等について示す図である。
【図7】実施の形態１のＨＭＤで、首装着部での要素の実装例を示す図である。
【図8】実施の形態１のＨＭＤで、接続線に関する構成例を示す図である。
【図9】実施の形態１のＨＭＤで、筐体の幅についての構成例を示す図である。
【図10】実施の形態１のＨＭＤで、構成要素を分離する構成例を示す図である。
【図11】実施の形態１のＨＭＤで、表示情報および座標系情報の構成例を示す図である。
【図12】本発明の実施の形態２のＨＭＤの構成を示す図である。
【図13】本発明の実施の形態３のＨＭＤの構成を示す図である。
【図14】本発明の実施の形態４のＨＭＤの構成を示す図である。
【図15】本発明の実施の形態５のＨＭＤにおける、第１表示制御例の第１状態等を示す図である。
【図16】実施の形態５のＨＭＤで、第１表示制御例の第２状態を示す図である。
【図17】実施の形態５のＨＭＤで、第１表示制御例の第３状態を示す図である。
【図18】実施の形態５のＨＭＤで、第１表示制御例の第４状態を示す図である。
【図19】実施の形態５のＨＭＤで、第２表示制御例として頭部座標系を基準としたアプリアイコンの表示例を示す図である。
【図20】実施の形態５のＨＭＤで、第２表示制御例として首部座標系を基準としたアプリアイコンの表示例を示す図である。
【図21】実施の形態５のＨＭＤで、第３表示制御例を示す図である。
【図22】実施の形態５のＨＭＤで、第４表示制御例として、アプリの表示座標系の設定例を示す図である。
【図23】実施の形態５のＨＭＤで、第４表示制御例として、アプリアイコンの表示座標系の設定例を示す図である。
【図24】実施の形態５のＨＭＤで、第４表示制御例として、作業用ツールの表示座標系の設定例を示す図である。
【図25】実施の形態５のＨＭＤで、第５表示制御例として、慣性座標系の概念を示す図である。
【発明を実施するための形態】
【0012】
以下、本発明の実施の形態を図面に基づいて詳細に説明する。
【0013】
【0014】
実施の形態１のＨＭＤは、分離型の構成を有し、大別して頭装着部と首装着部との２つの部分で構成される。ＨＭＤ機能の構成要素は、それらの２つの部分に分かれて実装される。例えば、頭装着部には、表示デバイスが実装され、首装着部には、主要なセンサ群、コントローラ、およびバッテリ等が実装される。このような分離型の構成によって、頭装着部に実装されるデバイスを低減でき、高度な機能のために必要なセンサ群のうち少なくとも一部のセンサの頭装着部への実装を省略することができる。これにより、このＨＭＤは、ユーザの頭部に装着される頭装着部の重量を、従来のＨＭＤに比べて低減できる。よって、このＨＭＤは、ユーザの装着感が良くなり、長時間の利用もしやすくなる。
【0015】
また、このＨＭＤは、ユーザの動きに応じて、首装着部の位置および方向（対応する姿勢）と、頭装着部の位置および方向（対応する姿勢）とが、独立的に変化し得る。そのため、このＨＭＤは、首装着部と頭装着部との相対的な位置関係を測定するための手段を備える。その手段の例として、このＨＭＤは、首装着部に測距センサを備え、首装着部から頭装着部の位置および方向を測定する。そして、このＨＭＤは、測定した位置関係を用いて、座標系の回転等の計算に基づいて、首装着部の位置および方向等の状態と、頭装着部の位置および方向等の状態との両方を把握する。
【0016】
このＨＭＤは、上記位置関係を用いて、頭装着部または首装着部の一方のセンサで検出した状態（対応するセンサデータ等）を、頭装着部または首装着部の他方の座標系での状態（対応するセンサデータ等）に補正、変換することができる。すなわち、このＨＭＤは、頭装着部のセンサで検出した頭部座標系での状態を、位置関係を用いて、首装着部の首部座標系での状態に変換できる。また、このＨＭＤは、首装着部のセンサで検出した首部座標系での状態を、位置関係を用いて、頭装着部の頭部座標系での状態に変換できる。
【0017】
実施の形態１のＨＭＤは、このような構成によって、ユーザの頭方向（対応する頭装着部の方向）と、体幹方向（対応する首装着部の方向）との両方を検出でき、それらの２つの方向の各方向を用いた仮想物体の表示制御が可能である。このＨＭＤは、例えば、頭部座標系での頭方向に合わせた位置への画像の表示と、首部座標系での体幹方向に合わせた位置への画像の表示とが、併用できる。このような高度な機能によって、ユーザの作業を支援できる等、利便性を高めることができる。
【0018】
実施の形態１のＨＭＤは、特に、頭装着部ではなく首装着部に、位置姿勢センサを実装する。この位置姿勢センサは、首・肩を含む体幹を基準とした位置や方向（対応する姿勢）を検出するセンサであり、言い換えると首部座標系での状態を検出するセンサである。このセンサで検出した状態は、そのままでは、頭（対応する頭装着部および頭部座標系）を基準とした状態とは異なる。そのため、このＨＭＤは、首装着部で検出した状態から、上記位置関係に基づいて、座標系の計算によって、頭部座標系を基準とした状態を得る。
【0019】
［表示システム］
図１は、実施の形態１のＨＭＤ１を含む、表示システムの構成を示す。ＨＭＤ１は、頭装着部１Ａと首装着部１Ｂとが接続線４で接続されている。頭装着部１Ａと首装着部１Ｂは、ケーブルである接続線４によって、通信および給電が可能に接続されている。図１では示していないが、ＨＭＤ１を装着するユーザの身体が存在する。ユーザの頭には頭装着部１Ａが装着され、ユーザの首・肩の付近には首装着部１Ｂが装着される。ＨＭＤ１は、オプションとして、リモコンである操作器２が付属してもよい。ユーザは、手に持った操作器２によるＨＭＤ１の操作が可能である。例えば首装着部１Ｂと操作器２が近距離無線通信を行う。ＨＭＤ１は、外部の機器と通信してもよい。例えば、ＨＭＤ１は、通信網を介して事業者のサーバ３Ａや自宅のＰＣ３Ｂ等と接続されてもよい。なお、説明上の方向として、座標系とは別に、Ｘ，Ｙ，Ｚ方向を用いる場合がある。Ｘ方向は、ユーザの身体およびＨＭＤ１に対して前後方向に対応する。Ｙ方向は、ユーザの身体およびＨＭＤ１に対して左右方向に対応する。Ｚ方向は、ユーザの身体およびＨＭＤ１に対して上下方向に対応する。
図１は、実施の形態１のＨＭＤ１を含む、表示システムの構成を示す。ＨＭＤ１は、頭装着部１Ａと首装着部１Ｂとが接続線４で接続されている。頭装着部１Ａと首装着部１Ｂは、ケーブルである接続線４によって、通信および給電が可能に接続されている。図１では示していないが、ＨＭＤ１を装着するユーザの身体が存在する。ユーザの頭には頭装着部１Ａが装着され、ユーザの首・肩の付近には首装着部１Ｂが装着される。ＨＭＤ１は、オプションとして、リモコンである操作器２が付属してもよい。ユーザは、手に持った操作器２によるＨＭＤ１の操作が可能である。例えば首装着部１Ｂと操作器２が近距離無線通信を行う。ＨＭＤ１は、外部の機器と通信してもよい。例えば、ＨＭＤ１は、通信網を介して事業者のサーバ３Ａや自宅のＰＣ３Ｂ等と接続されてもよい。なお、説明上の方向として、座標系とは別に、Ｘ，Ｙ，Ｚ方向を用いる場合がある。Ｘ方向は、ユーザの身体およびＨＭＤ１に対して前後方向に対応する。Ｙ方向は、ユーザの身体およびＨＭＤ１に対して左右方向に対応する。Ｚ方向は、ユーザの身体およびＨＭＤ１に対して上下方向に対応する。
【0020】
頭装着部１Ａは、例えば眼鏡状の筐体１０を有し、筐体１０には、透過型の表示面５を含む表示デバイスや、カメラ６等の構成要素が実装されている。筐体１０の一部、例えば左右の側面の付近には、測距のためのマーカ部１３を含み、マーカ部１３には、測定点となる複数のマーカ１７が形成されている。
【0021】
首装着部１Ｂは、例えば弧形状の筐体として、筐体１１および筐体１２を有する。筐体１１は、ユーザの首・肩に対し左右の位置に配置される部分であり、右側筐体１１Ｒと左側筐体１１Ｌとを有する。筐体１２は、左右の筐体１１を接続し、ユーザの首・肩の後ろの位置に配置される部分である。筐体１１には、測距センサ７、マイク８、スピーカ９、操作入力部１４等が実装されている。
【0022】
ＨＭＤ１は、従来のＨＭＤのように初期化状態からの変位の差によってＨＭＤの位置や方向等の状態を測定する構成ではなく、首装着部１Ｂの測距センサ７から直接的に頭装着部１Ａの位置や方向等の位置関係を測定する構成である。これにより、このＨＭＤ１は、頭装着部１Ａにおける位置姿勢センサ等の構成要素の搭載を省略し、頭装着部１Ａの重量低減を図る。
【0023】
従来のＨＭＤにおける位置や姿勢の測定用のセンサとしては、加速度センサ、角速度センサ（ジャイロセンサ）、地磁気センサ、ＧＰＳ受信器、カメラ、および測距センサ等が挙げられる。なお、カメラを含め、これらのデバイスをセンサと総称する場合がある。加速度センサは、ＨＭＤの移動量を計測すると共に、静止時には重力加速度ベクトルを計測できるので、ＨＭＤの傾きを計測することができる。角速度センサは、ＨＭＤの向きの変化を計測する。地磁気センサは、地磁気の方向の検出に基づいてＨＭＤの向きを推定する。ＧＰＳ受信器は、ＧＰＳ電波によって受信できる情報に基づいて、ＨＭＤの位置を緯度および経度の値として知ることができる。カメラは、外界の特徴点を撮影する。特徴点がある方向と地図情報とからＨＭＤの位置および向きが推定できる。測距センサは、外界の特徴点までの距離を測定する。その距離と地図情報とからＨＭＤの位置および向きが推定できる。
【0024】
実施の形態１のＨＭＤ１は、上記のようなＨＭＤの状態を測定するためのセンサの少なくとも一部のセンサを、頭装着部１Ａではなく首装着部１Ｂに実装する。そのため、ＨＭＤ１は、首装着部１Ｂと頭装着部１Ａとの相対的な位置関係を測定するための機能を備える。ＨＭＤ１は、その位置関係を用いて、首装着部１Ｂのセンサで測定したデータと、頭装着部１Ａのセンサで測定したデータとの間での変換を行う。
【0025】
ＨＭＤ１は、首装着部１Ｂに実装されている測距センサ７から、頭装着部１Ａの筐体１０に対し、位置関係の把握のための測距を行う。特に、測距センサ７は、筐体１０の複数のマーカ１７の位置を、複数の特徴点として計測する。複数の特徴点は、同一直線上にない３点以上の点とすればよい。首装着部１Ｂは、計測した特徴点に基づいて、頭装着部１Ａの頭部座標系と首装着部１Ｂの首部座標系との位置関係を得ることができる（後述の図５）。
【0026】
ＨＭＤ１は、得た位置関係を用いて、首装着部１Ｂのセンサで検出した状態を、頭装着部１Ａの頭部座標系を基準とした状態に補正、変換することができる。また、ＨＭＤ１は、得た位置関係を用いて、頭装着部１Ａのセンサで検出した状態を、首装着部１Ｂの首部座標系を基準とした状態に補正、変換することができる。よって、ＨＭＤ１は、頭部座標系を基準とした頭の位置および方向等の状態と、首部座標系を基準とした体幹の位置および方向等の状態との両方を把握できる。ＨＭＤ１は、それらの状態のデータを用いて、頭方向等に応じた仮想物体の表示制御と、体幹方向等に応じた仮想物体の表示制御との両方を行うことができる。
【0027】
［ＨＭＤ］
図２は、実施の形態１のＨＭＤ１の機能ブロック構成を示す。頭装着部１Ａは、プロセッサ１００、メモリ１２０、通信インタフェース部１３０、電源回路１４１、サブバッテリ１４２、表示デバイス１５０、カメラ６、操作入力部１８等を備え、それらはバス等を介して相互に接続されている。
図２は、実施の形態１のＨＭＤ１の機能ブロック構成を示す。頭装着部１Ａは、プロセッサ１００、メモリ１２０、通信インタフェース部１３０、電源回路１４１、サブバッテリ１４２、表示デバイス１５０、カメラ６、操作入力部１８等を備え、それらはバス等を介して相互に接続されている。
【0028】
プロセッサ１００は、頭装着部１Ａを制御するサブコントローラである。メモリ１２０には、プロセッサ１００等が扱うデータや情報が記憶される。通信インタフェース部１３０は、首装着部１Ｂとの間で接続線４を介して有線通信を行う通信回路等の部分である。電源回路１４１は、首装着部１Ｂから接続線４を通じて給電を受ける部分であり、サブバッテリ１４２に充電を行う。サブバッテリ１４２は、頭装着部１Ａ内の各部に電力を供給する。サブバッテリ１４２の実装は省略してもよい。その場合、電源回路１４１から各部へ給電を行う。表示デバイス１５０は、表示データに基づいて表示面５の領域に仮想物体等の映像、画像を表示する。カメラ６は、頭装着部１Ａの前方を含む周囲の画像を撮影する。操作入力部１８は、例えばＨＭＤ１の操作のための操作ボタン等を含む。操作入力部１８の実装は省略可能である。マーカ部１３は、複数のマーカ１７を含み、マーカ１７の発光を制御する回路等を含んでもよい。
【0029】
首装着部１Ｂは、プロセッサ２００、メモリ２２０、通信インタフェース部２３０、電源回路２４１、メインバッテリ２４２、操作入力部１４、測距センサ７、位置姿勢センサ７０、音声入力部、および音声出力部等を備え、それらはバス等を介して相互に接続されている。
【0030】
プロセッサ２００は、首装着部１Ｂを含むＨＭＤ１全体を制御するメインコントローラである。メモリ２２０には、プロセッサ２００等が扱うデータや情報が記憶される。通信インタフェース部２３０は、頭装着部１Ａとの間で接続線４を介して有線通信を行う通信回路等の部分である。また、通信インタフェース部２３０は、外部との無線通信や、操作器２との間での近距離無線通信も行う。電源回路２４１は、外部電源からメインバッテリ２４２に充電を行い、また、接続線４を通じて首装着部１Ｂへ給電を行う部分である。メインバッテリ２４２は、首装着部１Ｂ内の各部に電力を供給する。操作入力部１４は、例えばＨＭＤ１の操作のための操作ボタン等を含む。測距センサ７は、後述の併用タイプであり、マーカ１７の測距と、通常の測距との両方を行う。位置姿勢センサ７０は、加速度センサ７１、角速度センサ７２、地磁気センサ７３、およびＧＰＳ受信器７４を含む。音声入力部は、左右のマイク８を含む。音声出力部は、左右のスピーカ９およびイヤホンを含む。
【0031】
メモリ２２０には、ＨＭＤ１の機能を構成するための制御プログラム、各アプリケーションを実現するアプリケーションプログラム、および設定情報等も記憶される。設定情報は、システム設定情報やユーザ設定情報を含む。制御プログラムまたはアプリケーションプログラムは、例えばユーザの視界に作業支援のためのグラフィカル・ユーザ・インタフェース（ＧＵＩ）を含む仮想物体（対応する表示オブジェクト）を表示するプログラムである。
【0032】
実施の形態１では、首装着部１Ｂは、ユーザの体幹のうちの首・肩の付近に装着される部分としたが、これに限らず可能である。首装着部１Ｂは、ユーザの体幹の方向等の状態を検出できる構成であればよいので、体幹のうちのいずれかの箇所に装着される部分としての体幹装着部とすることができる。すなわち、体幹装着部は、胸、背中、腹、腰等に装着される部分としてもよい。
【0033】
実施の形態１で装着箇所として首付近が選択されている理由としては、スピーカやマイクの利用にも便利である点の他に、以下の点もある。すなわち、頭装着部と体幹装着部との距離をなるべく短くし、それらを有線で接続する場合のケーブル（対応する接続線４）の長さをなるべく短くする点がある。ケーブルが短いほど、身体にケーブルがまとわりつく感じを低減でき、ユーザの装着感、動き易さ、使い勝手をより良好にできる。変形例として、頭装着部１Ａと首装着部１Ｂとの通信および給電に関する接続は、有線に限らず、無線としてもよい。
【0034】
［ＨＭＤ－処理部］
図３は、頭装着部１Ａのプロセッサ１００および首装着部１Ｂのプロセッサ２００によって実現される制御部等の機能ブロック構成を示す。
図３は、頭装着部１Ａのプロセッサ１００および首装着部１Ｂのプロセッサ２００によって実現される制御部等の機能ブロック構成を示す。
【0035】
頭装着部１Ａは、プロセッサ１００等によって実現される制御部内の各処理部として、データ取得部１００ａ、データ処理部１００ｂ、通信制御部１００ｃ、および表示制御部１００ｄを有する。頭装着部１Ａは、メモリ１２０等によって実現される記憶部に、表示情報Ｄ１１等を記憶する。表示情報Ｄ１１は、首装着部１Ｂから受信した表示データ等である。
【0036】
首装着部１Ｂは、プロセッサ２００等によって実現される制御部内の各処理部として、データ取得部２００ａ、データ処理部２００ｂ、通信制御部２００ｃ、および表示制御部２００ｄを有する。首装着部１Ｂは、メモリ２２０等によって実現される記憶部に、表示情報Ｄ２１、座標系情報Ｄ２２等を記憶する。表示情報Ｄ２１は、表示制御のための画像や制御情報を含む表示データに相当し、頭装着部１Ａへ送信するデータを含む。座標系情報Ｄ２２は、後述の頭部座標系や首部座標系の各座標系と、それらの位置関係とを管理および制御するための情報に相当する。
【0037】
頭装着部１Ａのデータ取得部１００ａは、カメラ６で撮影した画像等のデータを取得し、記憶部に記憶する。なお、頭装着部１Ａに他のセンサを備える場合には、データ取得部１００ａは、そのセンサで検出したデータを取得し、記憶部に記憶する。データ処理部１００ｂは、データ取得部１００ａが取得したデータを必要に応じて処理し、通信制御部１００ｃに渡す。通信制御部１００ｃは、そのデータを、通信インタフェース部１３０を通じて首装着部１Ｂに送信する制御を行う。
【0038】
首装着部１Ｂのデータ取得部２００ａは、位置姿勢センサ７０の各センサで検出したデータや、測距センサ７の通常の測距で検出したデータを取得し、記憶部に記憶する。通信制御部２００ｃは、頭装着部１Ａの通信制御部１００ｃからのデータを、通信インタフェース部２３０を通じて受信し、データ処理部２００ｂに渡す。また、プロセッサ２００は、測距センサ７を用いて、頭装着部１Ａのマーカ１７についての測距を行わせる。データ取得部２００ａは、その測距のデータも取得する。データ処理部２００ｂは、データ取得部２００ａで取得した各データや、頭装着部１Ａからの各データを、必要に応じて処理する。
【0039】
データ処理部２００ｂは、マーカ１７の測距データに基づいて、首装着部１Ｂに対する頭装着部１Ａの相対的な位置関係を計算する。この位置関係は、首部座標系と頭部座標系との間における、原点の位置関係や回転の関係に相当する。データ処理部２００ｂは、計算した位置関係に関するデータを、座標系情報Ｄ２２に記憶する。
【0040】
データ処理部２００ｂは、位置関係を用いて、首部座標系の位置および方向等の状態と、頭部座標系の位置および方向等の状態とを計算する。その際、データ処理部２００ｂは、首装着部１Ｂの位置姿勢センサ７０で検出したデータから、位置関係に基づいて、頭部座標系での状態を表すデータへの補正、変換を行う。その際、データ処理部２００ｂは、後述の座標系の回転の計算に基づいて、その補正、変換を行う。データ処理部２００ｂは、計算して得た状態等のデータを、座標系情報Ｄ２２に記憶する。
【0041】
表示制御部２００ｄは、データ処理部２００ｂで得た状態等のデータを参照し、表示面５への仮想物体の表示制御を行う。表示制御部２００ｄは、例えば、頭方向に合わせた位置に画像を表示するための表示データと、体幹方向に合わせた位置に画像を表示するための表示データとを作成し、表示情報Ｄ２２に記憶する。また、表示制御部２００ｄは、頭装着部１Ａのカメラ６の画像データ等を用いた表示制御を行ってもよい。
【0042】
通信制御部２００ｃは、表示情報Ｄ２１の表示データを、通信インタフェース部２３０を通じて頭装着部１Ａに送信する制御を行う。頭装着部１Ａの通信制御部１００ｃは、その表示データを受信し、表示情報Ｄ１１に記憶する。表示制御部１００ｄは、その表示データに従って表示デバイス１５０を制御し、表示面５に画像を表示させる。
【0043】
なお、実施の形態１では、表示制御部１００ｄは表示制御部２００ｄからの表示データに従ってそのまま表示面５への画像表示を行う構成であるため、表示制御部１００ｄの実装は省略または簡略にできる。他の実施の形態では、表示制御部１００ｄは、表示制御部２００ｄによる表示制御とは独立で、頭装着部１Ａでの特有の表示制御を行ってもよい。例えば、表示制御部１００ｄは、カメラ６の画像を用いた表示制御を行ってもよい。また、頭装着部１Ａに視線検出機能を備える場合、表示制御部１００ｄは、その機能を用いて検出した視線方向に応じた画像表示制御を行ってもよい。また、頭装着部１Ａにカメラ６や他のセンサを備えない構成とする場合、データ処理部１００ｂの実装を省略または簡略にできる。主な処理を首装着部１Ｂのメインコントローラで行う構成とすることで、頭装着部１Ａのデバイスの実装を低減できる。
【0044】
また、実施の形態１では、首装着部１Ｂのデータ処理部２００ｂによって、位置関係を用いた状態の変換等の計算を行うが、他の実施の形態では、首装着部１Ｂから頭装着部１Ａへ位置関係のデータを送信し、頭装着部１Ａのデータ処理部１００ｂによって同様の計算を行ってもよい。
【0045】
［ＨＭＤ－処理フロー］
図４は、実施の形態１のＨＭＤ１における主な処理フローを示す。図４は、首装着部１ＢによるステップＳ１１～Ｓ１７と、頭装着部１ＡによるステップＳ２１～Ｓ２６とを有する。ステップＳ１１で、首装着部１Ｂは、ユーザの操作に基づいて電源がＯＮ状態にされると、起動処理を行って回路動作を開始すると共に、頭装着部１Ａへ通信を行う。ステップＳ２１で、頭装着部１Ａは、首装着部１Ｂからの通信に応じて回路動作を開始する。
図４は、実施の形態１のＨＭＤ１における主な処理フローを示す。図４は、首装着部１ＢによるステップＳ１１～Ｓ１７と、頭装着部１ＡによるステップＳ２１～Ｓ２６とを有する。ステップＳ１１で、首装着部１Ｂは、ユーザの操作に基づいて電源がＯＮ状態にされると、起動処理を行って回路動作を開始すると共に、頭装着部１Ａへ通信を行う。ステップＳ２１で、頭装着部１Ａは、首装着部１Ｂからの通信に応じて回路動作を開始する。
【0046】
ステップＳ１２で、首装着部１Ｂは、データ取得部２００ａによって各データを取得する。この際の取得データは、位置姿勢センサ７０による検出データや、測距センサ７によるマーカ１７の測距の測距データを含む。ステップＳ２２で、頭装着部１Ａは、データ取得部１００ａによってデータを取得する。ステップＳ２３で、頭装着部１Ａは、通信制御部１００ｃによってデータを首装着部１Ｂへ送信する。ステップＳ１３で、首装着部１Ｂは、通信制御部２００ｃによってそのデータを受信する。
【0047】
ステップＳ１４で、データ処理部２００ｂは、取得データを用いて、頭装着部１Ａとの位置関係を計算し、位置関係を用いて、位置姿勢センサ７０で検出した状態に関する補正、変換を行う。これにより、データ処理部２００ｂは、首部座標系での状態を表すデータと、頭部座標系での状態を表すデータとの両方を得て、座標系情報Ｄ２２を更新する。
【0048】
ステップＳ１５で、表示制御部２００ｄは、座標系情報Ｄ２２に基づいて、仮想物体の表示制御のための表示データを作成し、表示情報Ｄ２１に記憶する。ステップＳ１６で、通信制御部２００ｃは、表示データを頭装着部１Ａへ送信する。ステップＳ２４で、頭装着部１Ａの通信制御部１００ｃは、その表示データを受信する。ステップＳ２５で、表示制御部１００ｄは、その表示データに基づいて、表示面５に画像を表示する。
【0049】
ステップＳ１７で、首装着部１Ｂは、ユーザの操作に基づいて電源がＯＦＦ状態にされた場合（Yes）には、首装着部１Ｂの終了処理を行い、本フローが終了となる。終了処理の際には、頭装着部１Ａへの通信も行われる。電源がＯＮ状態のままの場合（No）には、ステップＳ１２に戻り、同様の繰り返しである。また、ステップＳ２６で、頭装着部１Ａは、首装着部１Ｂの電源がＯＦＦ状態にされた場合（Yes）には、頭装着部１Ａの終了処理を行い、本フローが終了となる。電源がＯＮ状態のままの場合（No）には、ステップＳ２２に戻り、同様の繰り返しである。
【0050】
［座標系および位置関係］
図５は、実施の形態１のＨＭＤ１における、各座標系および位置関係に係わる構成を示す。なお、図５は接続線４やユーザの身体等の図示を省略している。（Ａ）はＨＭＤ１の状態の第１例を示し、（Ｂ）は状態の第２例を示す。（Ａ）の状態では、ユーザの首等の体幹の方向と頭の方向とが殆ど同じであり、前向きである。対応して、首装着部１Ｂの方向（軸ＸＮ）と頭装着部１Ａの方向（軸ＸＨ）とが殆ど同じである。頭装着部１Ａにおける座標系を、頭部座標系ＣＨ｛軸ＸＨ，ＹＨ，ＺＨ｝とし、原点を原点ＯＨとする。首装着部１Ｂにおける座標系を、首部座標系ＣＮ｛軸ＸＮ，ＹＮ，ＺＮ｝とし、原点を原点ＯＮとする。原点ＯＮの位置は、首装着部１Ｂの各部（特に測距センサ７の位置）からの相対的な位置関係に基づいて規定される。この状態では、軸ＸＨおよびＸＮは前方向に対応し、軸ＹＨおよびＹＮは左方向に対応し、軸ＺＨおよびＺＮは上方向に対応している。首部座標系ＣＮは、言い換えると体幹座標系である。
図５は、実施の形態１のＨＭＤ１における、各座標系および位置関係に係わる構成を示す。なお、図５は接続線４やユーザの身体等の図示を省略している。（Ａ）はＨＭＤ１の状態の第１例を示し、（Ｂ）は状態の第２例を示す。（Ａ）の状態では、ユーザの首等の体幹の方向と頭の方向とが殆ど同じであり、前向きである。対応して、首装着部１Ｂの方向（軸ＸＮ）と頭装着部１Ａの方向（軸ＸＨ）とが殆ど同じである。頭装着部１Ａにおける座標系を、頭部座標系ＣＨ｛軸ＸＨ，ＹＨ，ＺＨ｝とし、原点を原点ＯＨとする。首装着部１Ｂにおける座標系を、首部座標系ＣＮ｛軸ＸＮ，ＹＮ，ＺＮ｝とし、原点を原点ＯＮとする。原点ＯＮの位置は、首装着部１Ｂの各部（特に測距センサ７の位置）からの相対的な位置関係に基づいて規定される。この状態では、軸ＸＨおよびＸＮは前方向に対応し、軸ＹＨおよびＹＮは左方向に対応し、軸ＺＨおよびＺＮは上方向に対応している。首部座標系ＣＮは、言い換えると体幹座標系である。
【0051】
ベクトルＶ１は、首装着部１Ｂに対する頭装着部１Ａの相対的な位置関係を表すベクトルであり、原点ＯＮから原点ＯＨへのベクトルである。なお、ベクトルＶ１の逆向きのベクトルを考えた場合、そのベクトルは、頭装着部１Ａに対する首装着部１Ｂの相対的な位置関係を表すベクトルである。
【0052】
（Ｂ）の状態は、（Ａ）の状態から、ユーザが体幹を殆ど変化させずに、頭の向きおよび位置を変化させた場合の例である。（Ｂ）の状態は、（Ａ）の状態に対し、首装着部１Ｂの状態は殆ど変化していない。（Ｂ）の状態は、（Ａ）の状態に対し、頭装着部１Ａの位置が少し前に移動しており、かつ、頭装着部１Ａの方向が左側に少し回転している。
【0053】
ＨＭＤ１は、首装着部１Ｂの測距センサ７から、頭装着部１Ａの複数のマーカ１７を測距する。ベクトルｖ１は、その測距の際の、測距センサ７の位置からマーカ１７の位置までのベクトルである。ＨＭＤ１は、測距データに基づいて、首装着部１Ｂからの頭装着部１Ａの相対的な位置関係を計算する。この位置関係は、原点間のベクトルＶ１と、頭部座標系ＣＨと首部座標系ＣＮ座標系との間の回転とで表される。
【0054】
位置関係を計算するために測距が必要な測定点（対応するマーカ１７）は、少なくとも同一直線上にはない３点である。図示の例では、左右の２つの測距センサ７を用いて左右で合計４点を測距する構成であるが、これに限らず、結果として３点の測距ができれば、位置関係の計算が可能である。マーカ１７の位置は、図示の例では、筐体１０の側面における前方の端の一箇所と、途中の一箇所とに有するが、これに限らず可能である。また、この構成例では、左右の２つの測距センサ７によって、それぞれ、筐体１０の左右の２点ずつを測距する。これに限らず、１つの測距センサ７から筐体１０の左右のマーカ１７を測距してもよい。
【0055】
また、図５で、測距センサ７は、併用タイプであり、位置関係計算用の測距５０１と、通常の測距５０２との２種類の測距が可能である。測距５０１は、ベクトルｖ１を含むようなマーカ１７の測距である。通常の測距５０２は、ＨＭＤ１の前方を含む周囲の物体に対する測距である。通常の測距５０２は、例えば周囲の部屋の構造を把握するための測距である。これに限らず、変形例のＨＭＤでは、位置関係計算用の測距５０１のための測距センサと、通常の測距５０２のための測距センサとが、別体で設けられてもよい。例えば、筐体１１の前側の位置に通常の測距５０２用の測距センサが設けられ、筐体１１の中間または後側の位置、または筐体１２に、測距５０１用の測距センサが設けられてもよい。また、それらの２種類の測距センサは、頭装着部１Ａと首装着部１Ｂに分かれて実装されてもよい。
【0056】
［測距センサ］
測距センサ７は、ＴＯＦセンサ（ＴＯＦ：Time Of Flight）やステレオ方式のカメラ等が適用できる。ＴＯＦセンサは、照射した参照光が物体に当たって戻ってくる光を検出し、その光の飛行時間から距離を計算する。ＴＯＦセンサを適用する場合、参照光の波長の光を効率よく反射する反射部材を、頭装着部１Ａにマーカ１７として配置してもよい。参照光の波長は、例えば近赤外域の波長である。これにより、ＴＯＦセンサの反射光の強度が増して、測定誤差が低減でき、特徴点の検出も容易になる。また、近赤外域の参照光を用いる場合、屋外での外乱光の影響に強くなる効果もある。
測距センサ７は、ＴＯＦセンサ（ＴＯＦ：Time Of Flight）やステレオ方式のカメラ等が適用できる。ＴＯＦセンサは、照射した参照光が物体に当たって戻ってくる光を検出し、その光の飛行時間から距離を計算する。ＴＯＦセンサを適用する場合、参照光の波長の光を効率よく反射する反射部材を、頭装着部１Ａにマーカ１７として配置してもよい。参照光の波長は、例えば近赤外域の波長である。これにより、ＴＯＦセンサの反射光の強度が増して、測定誤差が低減でき、特徴点の検出も容易になる。また、近赤外域の参照光を用いる場合、屋外での外乱光の影響に強くなる効果もある。
【0057】
ステレオ方式のカメラは、撮像した左右の画像内の特徴点の差から距離を計算する。ステレオ方式のカメラを適用する場合、頭装着部１Ａのマーカ１７として、発光マーカを配置してもよい。マーカ部１３がマーカ１７の発光を制御してもよい。この発光マーカは、例えば近赤外光を発光する。これにより、ステレオ方式のカメラにおける入射光が増して、測定誤差が低減でき、特徴点の検出も容易になり、ＴＯＦカメラの場合と同様の効果が得られる。
【0058】
また、首装着部１Ｂの測距センサ７から頭装着部１Ａのマーカ１７を測距する際に、何らかの影響によって、測距が難しい場合もあるかもしれない。その場合、ＨＭＤ１は、首装着部１Ｂ側の測距センサ７と、頭装着部１Ａ側のカメラ６または他のセンサとの両方により、マーカ１７以外での外界の任意の特徴点を測定し、それらの両方の測定データに基づいて位置関係を推定してもよい。変形例として、首装着部１Ｂと頭装着部１Ａの両方に測距センサ７を備えてもよく、その場合、上下の２つの測距センサ７による測距データを利用して位置関係を推定できる。
【0059】
測距センサ７は、併用タイプとすることで、実装するデバイスの数および重量を低下できる。測距センサ７は、通常の測距用と位置関係の測距用とで別体とする場合、実装するデバイスの数および重量が増えるが、測定距離に応じた最適な測距センサを選択できる利点がある。
【0060】
［位置関係計算および表示制御］
図６は、前述の位置関係の計算等についての処理例を示す。首装着部１Ｂは、ステップＳ０１で、測距センサ７によるマーカ１７の測距の測距データＤＭを得る。首装着部１Ｂは、ステップＳ０２で、測距データＤＭを用いて、頭装着部１Ａとの位置関係を計算し、位置関係データＤＬを得る。首装着部１Ｂは、ステップＳ０３で、位置姿勢センサ７０による、首部座標系ＣＮを基準とした位置および方向等の状態のセンサデータＳＮ等のデータを得る。首装着部１Ｂは、ステップＳ０４で、首部座標系ＣＮのセンサデータＳＮから、位置関係データＤＬを用いて、座標系の回転に基づいた補正、変換の処理によって、頭部座標系ＣＨを基準とした位置および方向等の状態を表すセンサデータＳＨ等のデータを得る。
図６は、前述の位置関係の計算等についての処理例を示す。首装着部１Ｂは、ステップＳ０１で、測距センサ７によるマーカ１７の測距の測距データＤＭを得る。首装着部１Ｂは、ステップＳ０２で、測距データＤＭを用いて、頭装着部１Ａとの位置関係を計算し、位置関係データＤＬを得る。首装着部１Ｂは、ステップＳ０３で、位置姿勢センサ７０による、首部座標系ＣＮを基準とした位置および方向等の状態のセンサデータＳＮ等のデータを得る。首装着部１Ｂは、ステップＳ０４で、首部座標系ＣＮのセンサデータＳＮから、位置関係データＤＬを用いて、座標系の回転に基づいた補正、変換の処理によって、頭部座標系ＣＨを基準とした位置および方向等の状態を表すセンサデータＳＨ等のデータを得る。
【0061】
首装着部１Ｂは、ステップＳ０５で、首部座標系ＣＮのセンサデータＳＮを用いた表示制御、および頭部座標系ＣＨのセンサデータＳＨを用いた表示制御の処理を行う。首装着部１Ｂは、例えば、頭方向に合わせた仮想物体の表示のための表示データと、体幹方向に合わせた仮想物体の表示のための表示データとを作成し、頭装着部１Ａへ送信する。
【0062】
頭装着部１Ａは、ステップＳ０６で、首装着部１Ｂからの表示データに基づいて、表示面５に各画像を表示する。すなわち、頭装着部１Ａは、首部座標系ＣＮを基準とした表示データに従って体幹方向に合わせた位置に画像を表示し、また、頭部座標系ＣＨを基準とした表示データに従って頭方向に合わせた位置に画像を表示する。
【0063】
［首装着部］
図７は、首装着部１Ｂにおける構成要素の実装例を示す。首装着部１Ｂは、Ｙ方向で左右の筐体１１（１１Ｌ，１１Ｒ）のそれぞれの内部に、左右対称の配置として、制御回路７０１、およびバッテリ７０２が実装されている。筐体１１には、Ｘ方向で前側にバッテリ７０２が配置され、後側に制御回路７０１が配置されている。制御回路７０１は、図２のプロセッサ２００、メモリ２２０、および通信インタフェース部２３０等の各部が実装されているＩＣ基板等の部分に対応する。バッテリ７０２は、メインバッテリ２４２が実装されている部分に対応する。
図７は、首装着部１Ｂにおける構成要素の実装例を示す。首装着部１Ｂは、Ｙ方向で左右の筐体１１（１１Ｌ，１１Ｒ）のそれぞれの内部に、左右対称の配置として、制御回路７０１、およびバッテリ７０２が実装されている。筐体１１には、Ｘ方向で前側にバッテリ７０２が配置され、後側に制御回路７０１が配置されている。制御回路７０１は、図２のプロセッサ２００、メモリ２２０、および通信インタフェース部２３０等の各部が実装されているＩＣ基板等の部分に対応する。バッテリ７０２は、メインバッテリ２４２が実装されている部分に対応する。
【0064】
ある構成要素は、少なくとも、左右の筐体１１または後ろの筐体１２のうちのいずれかの箇所に配置されている。あるいは、ある構成要素は、左右の筐体１１に分かれて複数の部分として配置されてもよい。また、ある構成要素は、左右の筐体１１に分かれて二重化されていてもよい。例えば、プロセッサ２００は、左右の制御回路７０１の一方に配置されており、他方の制御回路７０１には別の構成要素が配置されている。例えば、メインバッテリ２４２は、左右のバッテリ７０２の２つの部分として分かれて配置され、二重化されている。一方のバッテリ７０２を現用とし、他方のバッテリ７０２を充電用として使用してもよい。左右の各バッテリ７０２を交換可能な構成としてもよい。この場合、ユーザは、一方のバッテリ７０２を使用したまま、電源を落とさずに、他方のバッテリ７０２を交換することができる。また、例えば、測距センサ７は、左右の筐体１１に２つの測距センサとして分かれて配置されている。測距センサ７や他のセンサを二重化し、左右の一方のみでも機能するようにしてもよい。
【0065】
本例のように、各構成要素の実装に関して、なるべく左右対称の構成とすることで、ＨＭＤ１全体で左右の重量のバランスをとる。すなわち、右側筐体１１Ｒの重量と左側筐体１１Ｌの重量とをほぼ同じとする。また、筐体１２を含めて前後方向でも重量のバランスをとる。これにより、ユーザのＨＭＤ１の装着感がより良くなる。ある構成要素を左右の筐体１１に二重化する冗長構成の場合には、可用性向上等の効果が得られる。なお、図７の配置に限らず、例えばＸ方向で前側に制御回路７０１、後側にバッテリ７０２を配置してもよい。マイク８やスピーカ９等の他の構成要素についても、左右で重量のバランスをとるように、左右の筐体１１にそれぞれ配置されている。
【0066】
ＨＭＤは、機能の高度化に応じて消費電力も増加する傾向がある。これに応じて、バッテリを実装する場合に必要なバッテリ容量や重量も増加する傾向がある。よって、実施の形態１の例では、首装着部１Ｂにメインバッテリ２４２を実装することで、頭装着部１Ａの重量低減を図っている。それと共に、首装着部１Ｂの左右の筐体１１に２つのバッテリ７０２として同じ重量の部品を対称に配置することで、首装着部１Ｂの左右の重量のバランスをとっている。左右の重量のバランスは、左右に同じ部品を配置することでとる構成でもよいし、ある構成要素（例えばプロセッサ２００）と他の構成要素との間でとる構成でもよい。これにより、ＨＭＤ１の全体で重量のバランスがとりやすく、装着時の首装着部１Ｂの位置ずれの要因も低減される。
【0067】
［接続線］
図８は、ＨＭＤ１における接続線４の取り付け等に関する構成例を示す。（Ａ）は第１構成例であり、装着のしやすさを考慮した構成例である。ＨＭＤ１は、左右の各々の接続線４（４Ｌ，４Ｒ）を有する。接続線４における一方端は、頭装着部１Ａの筐体１０の左右部分の中央付近、装着時のユーザの耳に対し手前の位置の端子に接続される。接続線４における他方端は、首装着部１Ｂの左右の筐体１１の中央付近の位置の端子に接続される。接続線４は、ユーザの耳の前を通って垂れ下がる状態となる。間隔８０１は、Ｙ方向において、頭装着部１Ａの筐体１０の左右の接続線４（４Ｌ，４Ｒ）の取り付け位置間の距離である。間隔８０２は、Ｙ方向において、首装着部１Ｂの筐体１１の左右の接続線４の取り付け位置間の距離である。ＨＭＤ１では、頭に対する表示面５の位置ずれが表示性能に影響する。そのため、このように、左右対称に２本の接続線４によって頭装着部１Ａと首装着部１Ｂを接続する構成とする。これにより、左右の重量のバランスがとれ、位置ずれの要因が減るので、好適である。
図８は、ＨＭＤ１における接続線４の取り付け等に関する構成例を示す。（Ａ）は第１構成例であり、装着のしやすさを考慮した構成例である。ＨＭＤ１は、左右の各々の接続線４（４Ｌ，４Ｒ）を有する。接続線４における一方端は、頭装着部１Ａの筐体１０の左右部分の中央付近、装着時のユーザの耳に対し手前の位置の端子に接続される。接続線４における他方端は、首装着部１Ｂの左右の筐体１１の中央付近の位置の端子に接続される。接続線４は、ユーザの耳の前を通って垂れ下がる状態となる。間隔８０１は、Ｙ方向において、頭装着部１Ａの筐体１０の左右の接続線４（４Ｌ，４Ｒ）の取り付け位置間の距離である。間隔８０２は、Ｙ方向において、首装着部１Ｂの筐体１１の左右の接続線４の取り付け位置間の距離である。ＨＭＤ１では、頭に対する表示面５の位置ずれが表示性能に影響する。そのため、このように、左右対称に２本の接続線４によって頭装着部１Ａと首装着部１Ｂを接続する構成とする。これにより、左右の重量のバランスがとれ、位置ずれの要因が減るので、好適である。
【0068】
ユーザは、ＨＭＤ１を装着する際には、首・肩に首装着部１Ｂを掛け、頭の眼前に頭装着部１Ａを掛ける。ユーザは、休息時等、頭装着部１Ａによる画像表示を利用しない場合には、頭装着部１Ａを頭から外して胸前に下げた状態にすることもできる。なお、この構成例では、ユーザによって筐体の端子に対し接続線４を接続および非接続が可能であるが、接続線４が筐体に固定で接続されている形態としてもよい。
【0069】
（Ｂ）は第２構成例である。左右の各接続線４（４Ｌ，４Ｒ）における一方端は、頭装着部１Ａの筐体１０の左右部分の後端位置、装着時のユーザの耳に対し後ろの位置に接続される。接続線４における他方端は、首装着部１Ｂの左右の筐体１１の後ろ寄りの位置に接続される。接続線４は、ユーザの耳の後ろを通って垂れ下がる状態となる。間隔８０３および間隔８０４は、同様に、接続線４の取り付け位置間の距離を示す。
【0070】
接続線４の態様は、図８の例に限らず可能である。他の態様では、接続線４の他方端が首装着部１Ｂの後ろの筐体１２に接続されてもよいし、左右に分けずに１本の接続線４としてまとめられてもよい。
【0071】
接続線４の間隔について、（Ａ）の第１構成例では、間隔８０１と間隔８０２が概略的に同じである場合を示す。（Ｂ）の第２構成例では、間隔８０３よりも間隔８０４が少し広い場合を示す。
【0072】
ＨＭＤ１の筐体および接続線４の間隔等の構成については、各種の態様が可能である。頭部側の間隔８０１と首部側の間隔８０２とを同じとしてもよい。頭部側の間隔８０１よりも首部側の間隔８０２を大きくしてもよい。頭部側の間隔８０１よりも首部側の間隔８０２を小さくしてもよい。また、上記間隔は、予め固定に設計されているが、他の形態としては、例えば筐体を柔軟性や可撓性を持つ構成や変形可能な構成とすることで、上記間隔をユーザが調節できるようにしてもよい。例えば、首装着部１Ｂにおいて、左右の筐体１１が剛性の部材で構成され、後ろの筐体１２が曲がる部材で構成されてもよい。ユーザは、体格や服装や装着感等に合わせて、首装着部１Ｂの間隔８０２を調節できる。また、間隔８０２の調節の際、ＨＭＤ１は、例えば測距センサ７または他のセンサを用いて、その時の間隔８０２を測定してもよい。上記間隔８０１，８０２や、ＨＭＤ１の筐体に配置されている各種のセンサ等の構成要素の間の位置関係については、ＨＭＤ１の機能の実現のために、予め設定値として設定されている。上記間隔８０２等が変更された場合、上記設定値も更新される。
【0073】
首装着部１Ｂは、弧形状に限らず可能であり、例えば筐体１１の首前が閉じる形状でもよい。左右の筐体１１を棒状としたが、これに限らず、肩パッドのように平らに近い形状としてもよい。首装着部１Ｂを、例えばベストや作業着のような衣服の形状としてもよい。
【0074】
図９は、図８に関連して、Ｙ方向における、ＨＭＤ１の筐体の左右の部分間の間隔についての構成例を示す。図９は、ユーザが頭装着部１Ａおよび首装着部１Ｂを装着した状態の正面を模式的に示す。幅Ｗ１は、頭装着部１Ａの筐体１０の左右の部分のＹ方向の幅を示す。幅Ｗ２は、首装着部１Ｂの筐体１１の左右の部分のＹ方向の幅を示す。（Ａ）は、幅Ｗ１と幅Ｗ２が同程度である場合を示す。（Ｂ）は、幅Ｗ１よりも幅Ｗ２の方が大きい場合（Ｗ１＜Ｗ２）を示す。
【0075】
ＨＭＤ１は、首装着部１Ｂの測距センサ７から頭装着部１Ａのマーカ１７への測距がしやすいように、測距センサ７およびマーカ１７等の位置や、各部の幅等の寸法が設計されていることが望ましい。（Ａ）の場合、測距センサ７から上方にマーカ１７を測定する。（Ｂ）の場合、測距センサ７から上方のやや斜め方向でマーカ１７を測定する。実施の形態１では、装着のしやすさ、位置ずれ要因の低減、測距のしやすさ等を考慮して、首部側の幅Ｗ２を、頭部側の幅Ｗ１以上とする（Ｗ１≦Ｗ２）。これに限らず可能であり、他の形態では、首部側の幅Ｗ２の方が小さい構成（Ｗ１＞Ｗ２）としてもよい。
【0076】
なお、マーカ１７は、筐体１０の下向きの面に配置されてもよいし、横向きの面に配置されてもよい。測距センサ７は、筐体１１の上向きの面に配置されてもよいし、横向きの面に配置されてもよい。変形例としては、（Ａ）で、首装着部１Ｂの筐体１１から左右の外側に延長して離れた位置９０１に測距センサ７または他のセンサ等の部位が配置されてもよい。また、その延長の長さをユーザによって調節できる形態でもよい。
【0077】
［分離構成例］
図１０は、実施の形態１および各変形例のＨＭＤ１において、頭装着部１Ａと首装着部１Ｂとの上下部位に構成要素を分離して実装するいくつかの構成例をまとめた表を示す。
図１０は、実施の形態１および各変形例のＨＭＤ１において、頭装着部１Ａと首装着部１Ｂとの上下部位に構成要素を分離して実装するいくつかの構成例をまとめた表を示す。
【0078】
まず、実施の形態１における構成は、前述の図２等の通りであるが、首装着部１Ｂには、測距センサ７、位置姿勢センサ７０、メインバッテリ２４２、マイク８およびスピーカ９等が設けられ、頭装着部１Ａには、カメラ６、表示デバイス１５０、サブバッテリ１４２等が設けられている。位置姿勢センサ７０は、前述の加速度センサ７１、角速度センサ７２、地磁気センサ７３、およびＧＰＳ受信器７４を含み、測距センサ７およびカメラ６については分けて考えている。首装着部１Ｂはユーザの体幹に固定されるため、この位置姿勢センサ７０は、ユーザの体幹の方向等の状態を検出する。測距センサ７は、通常の測距では、首装着部１Ｂの周囲の物体との距離を測定する（図５）。カメラ６による外界の撮影は、ユーザの視点に近く外界が撮影しやすい方が有利である。そのため、実施の形態１では、首装着部１Ｂよりも高い位置にある頭装着部１Ａにカメラ６を設ける。
【0079】
次に、実施の形態１の変形例１は、実施の形態１と異なる構成点として、カメラ６についても、首装着部１Ｂに設ける。これにより、頭装着部１Ａの重量をより低減できる。なお、変形例１では、カメラ６の画像は、首部座標系ＣＮを基準とした画像である。そのため、頭部座標系ＣＨを基準とした画像情報を得たい場合には、カメラ６の画像に対し、前述の位置関係を用いた補正、変換を行ってもよい。変形例１は、頭装着部１Ａの重量低減を重視し、多くの構成要素が首装着部１Ｂに実装されている。
【0080】
次に、変形例２は、実施の形態１と異なる構成点として、頭装着部１Ａに、首装着部１Ｂの測距センサ７とは別に、通常の測距用の測距センサを第２測距センサとして設ける。外界の物体の測距は、外界が見えやすい方が有利であるため、変形例２では、より高い位置である頭装着部１Ａに第２測距センサを設ける。
【0081】
次に、変形例３は、実施の形態１と異なる構成点として、位置姿勢センサ７０の一部のセンサを頭装着部１Ａに設け、他の一部のセンサを首装着部１Ａに設ける。特に、頭装着部１Ａには加速度センサ７１および角速度センサ７２を実装し、首装着部１Ｂには地磁気センサ７３およびＧＰＳ受信器７４を実装する。頭部の回転方向および重力方向の検出の精度は特に重要であるため、高度な機能を重視する場合、変形例３のように、頭装着部１Ａにセンサを搭載する利点がある。
【0082】
次に、変形例４は、首装着部１Ｂおよび頭装着部１Ａの両方に、種類が重複するが、位置姿勢センサを設ける。特に、首装着部１Ｂには高性能のセンサをメインセンサとして実装し、頭装着部１Ａには軽量のセンサをサブセンサとして実装する。例えば、ＨＭＤ１は、通常時には、首装着部１Ｂのセンサを使用して高精度のデータを取得し、何らかの理由で首装着部１Ｂのセンサデータが取得できない場合には、頭装着部１Ａのセンサデータを取得してもよい。変形例４は、頭装着部１Ａの重量を抑制しつつ、高精度や可用性を重視する構成である。
【0083】
他の変形例としては、首装着部１Ｂではなく頭装着部１Ａにマイク８およびスピーカ９等が設けられてもよい。上記のような各種の構成を組み合わせる形態も勿論可能である。
【0084】
［座標系］
図５の頭装着部１Ａの頭部座標系ＣＨと首装着部１Ｂの首部座標系ＣＮとの座標系の関係等について以下に説明する。なお、以下の説明では、座標系は右手系に統一する。頭部座標系ＣＨと首部座標系ＣＮとの間での座標系の回転は、オイラー角や正規化四元数で表すことができる。以下では、座標系の回転を表すため、正規化四元数を用いる。プロセッサ２００（特に図３のデータ処理部２００ｂ）は、このような座標系の回転を含む計算を行う。
図５の頭装着部１Ａの頭部座標系ＣＨと首装着部１Ｂの首部座標系ＣＮとの座標系の関係等について以下に説明する。なお、以下の説明では、座標系は右手系に統一する。頭部座標系ＣＨと首部座標系ＣＮとの間での座標系の回転は、オイラー角や正規化四元数で表すことができる。以下では、座標系の回転を表すため、正規化四元数を用いる。プロセッサ２００（特に図３のデータ処理部２００ｂ）は、このような座標系の回転を含む計算を行う。
【0085】
正規化四元数とは、ノルムが１の四元数であり、ある軸の回りの回転を表すことができる。単位ベクトル（ｎＸ，ｎＹ，ｎＺ）を回転軸とした角度ηの回転を表す正規化四元数ｑは、下記の式１となる。
式１： ｑ＝ｃｏｓ（η／２）＋ｎＸｓｉｎ（η／２）ｉ＋ｎＹｓｉｎ（η／２）ｊ＋ｎＺｓｉｎ（η／２）ｋ
式１： ｑ＝ｃｏｓ（η／２）＋ｎＸｓｉｎ（η／２）ｉ＋ｎＹｓｉｎ（η／２）ｊ＋ｎＺｓｉｎ（η／２）ｋ
【0086】
ｉ，ｊ，ｋは四元数の単位である。ベクトル（ｎＸ，ｎＹ，ｎＺ）の向きに向いた場合の右回りの回転が、ηが正の回転方向である。任意の座標系の回転は、この正規化四元数で表すことができる。
【0087】
記号の用法をまとめる。四元数ｑの実数部分を、Ｓｃ（ｑ）で表す。四元数ｑの共役四元数を、ｑ＊で表す。四元数ｑのノルムを１に正規化する演算子を、［・］で定義する。ｑを任意の四元数とすると、次の式２が、演算子［・］の定義である。式２の右辺の分母が四元数ｑのノルムである。
式２： ［ｑ］＝ｑ／（ｑｑ＊）１／２
式２： ［ｑ］＝ｑ／（ｑｑ＊）１／２
【0088】
次に、座標点あるいはベクトル（ｐＸ，ｐＹ，ｐＺ）を表現する四元数ｐを、次の式３で定義する。
式３： ｐ＝ｐＸｉ＋ｐＹｊ＋ｐＺｋ
式３： ｐ＝ｐＸｉ＋ｐＹｊ＋ｐＺｋ
【0089】
本明細書では、特に断りが無い限り、成分表示でない座標点やベクトルを表す記号は四元数表示であるとする。また、回転を表す記号は正規化四元数であるとする。
【0090】
単位ベクトルｎ方向と垂直な平面へのベクトルの射影演算子を、ＰＴ（ｎ）とする。ベクトルｐの射影は、次の式４で表される。
式４： ＰＴ（ｎ）ｐ＝ｐ＋ｎＳｃ（ｎｐ）
式４： ＰＴ（ｎ）ｐ＝ｐ＋ｎＳｃ（ｎｐ）
【0091】
座標点あるいは方向ベクトルｐ１が、四元数ｑで表される原点中心の回転操作により、座標点あるいは方向ベクトルｐ２に変換されたとする。すると、方向ベクトルｐ２は次の式５で計算できる。
式５： ｐ２＝ｑｐ１ｑ＊
式５： ｐ２＝ｑｐ１ｑ＊
【0092】
単位ベクトルｎ１を単位ベクトルｎ２に重ねるように、ｎ１とｎ２を含む平面に垂直な軸回りに回転させる正規化四元数を、Ｒ（ｎ１，ｎ２）とする。Ｒ（ｎ１，ｎ２）は下記の式６となる。
式６： Ｒ（ｎ１，ｎ２）＝［１－ｎ２ｎ１］
式６： Ｒ（ｎ１，ｎ２）＝［１－ｎ２ｎ１］
【0093】
次に、頭装着部１Ａの頭部座標系ＣＨと首装着部１Ｂの首部座標系ＣＮとの２つの座標系の関係を説明する。ユーザが首や頭を動かすと、２つの座標系間の位置関係が変わる。例えば、図５の（Ａ）の状態から（Ｂ）の状態に変わる。実施の形態１のＨＭＤ１は、首装着部１Ｂの測距センサ７から頭装着部１Ａのマーカ１７で示す特徴点の測定を常時に行うことで、２つの座標系間の位置関係を把握する。
【0094】
頭部座標系ＣＨにおける測定点（対応するマーカ１７）の座標、言い換えると筐体１０の形状等は、予め設計上分かっている。頭部座標系ＣＨにおけるこれらの３点の座標値を、ｐＨ０，ｐＨ１，ｐＨ２とする。首部座標系ＣＮにおける３点の座標値は、測距センサ７による測定で分かる。これらの３点の座標値を、ｐＮ０，ｐＮ１，ｐＮ２とする。
【0095】
ＨＭＤ１は、まず、座標系の方向を合わせるための回転を計算する。３個の測定点を、第１測定点、第２測定点、第３測定点とする。第１測定点から第２測定点および第３測定点へ向かう各方向への単位ベクトルの頭部座標系ＣＨでの表現を、ｎＨ１，ｎＨ２とする。同様に、首部座標系ＣＮでの表現を、ｎＮ１，ｎＮ２とする。これらは具体的には下記の式７となる。なお、向きの異なる２つの方向ベクトルが得られればよく、測定点の数は３に限られない。
式７：
ｎＨ１＝［ｐＨ１－ｐＨ０］
ｎＨ２＝［ｐＨ２－ｐＨ０］
ｎＮ１＝［ｐＮ１－ｐＮ０］
ｎＮ２＝［ｐＮ２－ｐＮ０］
式７：
ｎＨ１＝［ｐＨ１－ｐＨ０］
ｎＨ２＝［ｐＨ２－ｐＨ０］
ｎＮ１＝［ｐＮ１－ｐＮ０］
ｎＮ２＝［ｐＮ２－ｐＮ０］
【0096】
最初に、頭部座標系ＣＨの表現における回転において、ｎＨ１をｎＮ１に重ねる回転である回転ｑＴＡを考える。ここでは、回転ｑＴＡは下記の式８とする。
式８： ｑＴＡ＝Ｒ（ｎＨ１，ｎＮ１）
式８： ｑＴＡ＝Ｒ（ｎＨ１，ｎＮ１）
【0097】
次に、この回転ｑＴＡにより、ｎＨ１，ｎＨ２が回転された方向を、ｎＡ１，ｎＡ２とする。この方向は下記の式９である。
式９：
ｎＡ１＝ｑＴＡｎＨ１ｑＴＡ＊＝ｎＮ１
ｎＡ２＝ｑＴＡｎＨ２ｑＴＡ＊
式９：
ｎＡ１＝ｑＴＡｎＨ１ｑＴＡ＊＝ｎＮ１
ｎＡ２＝ｑＴＡｎＨ２ｑＴＡ＊
【0098】
同じ方向間の角度であるから、ｎＡ１とｎＡ２のなす角度は、ｎＮ１とｎＮ２のなす角度に等しい。また、３つの測定点は同一直線上にはないので、ｎＮ１とｎＮ２のなす角度は０ではない。従って、ｎＡ１すなわちｎＮ１を軸とした回転ｑＴＢが一意に決まり、ｎＡ２をｎＮ２に重ねることができる。具体的には、回転ｑＴＢは下記の式１０で与えられる。
式１０： ｑＴＢ＝Ｒ（[ＰＴ（ｎＮ１）ｎＡ２］，［ＰＴ（ｎＮ１）ｎＮ２］）
式１０： ｑＴＢ＝Ｒ（[ＰＴ（ｎＮ１）ｎＡ２］，［ＰＴ（ｎＮ１）ｎＮ２］）
【0099】
この回転ｑＴＢにより、ｎＡ１とｎＡ２は、下記の式１１のｎＮ１とｎＮ２に回転される。
式１１：
ｎＮ１＝ｑＴＢｎＡ１ｑＴＢ＊
ｎＮ２＝ｑＴＢｎＡ２ｑＴＢ＊
式１１：
ｎＮ１＝ｑＴＢｎＡ１ｑＴＢ＊
ｎＮ２＝ｑＴＢｎＡ２ｑＴＢ＊
【0100】
あらためて、回転ｑＴを下記の式１２で定義する。この回転ｑＴが、首部座標系ＣＮの方向を頭部座標系ＣＨの方向に合わせる、頭部座標系ＣＨにおける回転である。
式１２： ｑＴ＝ｑＴＢｑＴＡ
式１２： ｑＴ＝ｑＴＢｑＴＡ
【0101】
最後に、座標原点の関係を求める。頭部座標系ＣＨにおける、首部座標系ＣＮの座標原点をＯＮＨとすると、ＯＮＨは下記の式１３で与えられる。
式１３： ＯＮＨ＝ｐＨ０－ｑＴ＊ｐＮ０ｑＴ
式１３： ＯＮＨ＝ｐＨ０－ｑＴ＊ｐＮ０ｑＴ
【0102】
以上より、首装着部１Ｂから、頭装着部１Ａの特徴点のうち同一直線上にない３点以上の特徴点（対応するマーカ１７）の位置を測定できれば、首部座標系ＣＮの方向と頭部座標系ＣＨの方向との関係、すなわち前述の位置関係を求めることができる。これにより、ＨＭＤ１は、頭部座標系ＣＨと首部座標系ＣＮを統合的に用いることができる。
【0103】
上記のように計算した頭部座標系ＣＨと首部座標系ＣＮとの関係が分かれば、位置姿勢センサ等のセンサが頭装着部１Ａと首装着部１Ｂのどちらに配置されていたとしても、一方の座標系の値から他方の座標系の値へ相互に変換できる。そのため、前述の位置姿勢センサ７０、具体的には加速度センサ７１、角速度センサ７２、地磁気センサ７３、およびＧＰＳ受信器７４と、カメラ６と、測距センサ７とを含む各種のデバイスは、基本的に頭装着部１Ａと首装着部１Ｂのどちらに実装されていてもよい。実施の形態１のＨＭＤ１は、上記デバイスの少なくとも一部を頭装着部１Ａではなく首装着部１Ｂに実装する構成である。これにより、上記デバイスを用いた高度な機能と共に、頭装着部１Ａの重量を低減できる。
【0104】
［表示情報および座標系情報］
図１１は、首装着部１Ｂにおける表示情報Ｄ２１および座標系情報Ｄ２２の構成例を示す。表示情報Ｄ２１のＤＢ（データベース）には、表示オブジェクト情報テーブルＴ０１を含む。表示オブジェクト情報テーブルＴ０１には、表示面５に表示する表示オブジェクト毎に、オブジェクトＩＤ、表示座標系、配置座標、および配置方向等の情報が記憶されている。表示座標系は、各座標系から選択できる。配置座標および配置方向は、表示座標系における位置座標および方向である。
図１１は、首装着部１Ｂにおける表示情報Ｄ２１および座標系情報Ｄ２２の構成例を示す。表示情報Ｄ２１のＤＢ（データベース）には、表示オブジェクト情報テーブルＴ０１を含む。表示オブジェクト情報テーブルＴ０１には、表示面５に表示する表示オブジェクト毎に、オブジェクトＩＤ、表示座標系、配置座標、および配置方向等の情報が記憶されている。表示座標系は、各座標系から選択できる。配置座標および配置方向は、表示座標系における位置座標および方向である。
【0105】
座標系情報Ｄ２２のＤＢには、座標系情報テーブルＴ０２を含む。座標系情報テーブルＴ０２には、各種の座標系毎に、原点位置や正面方向等の情報が記憶されている。各種の座標系は、世界座標系（ＣＷとする）、頭部座標系ＣＨ、首部座標系ＣＮ、および後述の慣性座標系（ＣＩとする）等がある。各座標系の原点は、世界座標系ＣＷの原点Ｇ１、頭部座標系ＣＨの原点Ｇ２（＝ＯＨ）、首部座標系ＣＮの原点Ｇ３（＝ＯＮ）、慣性座標系ＣＩの原点Ｇ４とし、それぞれ、ある座標系を基準とした位置座標を持つ。各座標系の正面方向は、例えばある１つの軸の方向として表される。
【0106】
［効果等］
上記のように、実施の形態１のＨＭＤ１によれば、分離型の構成により、高度な機能と重量低減とをバランス良く実現でき、ユーザの使い勝手を向上できる。
上記のように、実施の形態１のＨＭＤ１によれば、分離型の構成により、高度な機能と重量低減とをバランス良く実現でき、ユーザの使い勝手を向上できる。
【0107】
変形例として、首装着部１Ｂ側にカメラ６を備える構成（図１０の変形例１）とする場合、そのカメラ６としては、広角カメラを適用してもよい。広角カメラは、例えば１８０度以上の画角で撮像可能なカメラである。ＨＭＤ１は、その広角カメラで撮影した広角画像の中から、頭装着部１Ａの頭方向に対応する一部の画像を判断して切り取り、その切り取った画像を、頭方向を基準とした画像表示制御に使用してもよい。この構成は、特に、非透過型の表示面５の場合に有効である。また、その広角カメラを、通常の外界の撮影用と、位置関係の測定用とに併用してもよい。
【0108】
（実施の形態２）
図１２を用いて、本発明の実施の形態２のＨＭＤについて説明する。以下、実施の形態２等における実施の形態１とは異なる構成部分について説明する。実施の形態２のＨＭＤ１は、頭装着部１Ａに測距センサ７を設け、首装着部１Ｂに複数のマーカ１７を設ける。すなわち、実施の形態２における首装着部１Ｂと頭装着部１Ａとの位置関係の測距は、実施の形態１に対し反対の関係となる。ＨＭＤ１は、頭装着部１Ａの測距センサ７から首装着部１Ｂの複数のマーカ１７を特徴点として測距し、測距データに基づいて、頭装着部１Ａに対する首装着部１Ｂの位置関係を計算する。ＨＭＤ１は、その位置関係を用いて、頭装着部１Ａのセンサで検出した状態のデータと、首装着部１Ｂのセンサで検出した状態のデータとの間での補正、変換を行う。この計算は実施の形態１と同様に実現できる。
図１２を用いて、本発明の実施の形態２のＨＭＤについて説明する。以下、実施の形態２等における実施の形態１とは異なる構成部分について説明する。実施の形態２のＨＭＤ１は、頭装着部１Ａに測距センサ７を設け、首装着部１Ｂに複数のマーカ１７を設ける。すなわち、実施の形態２における首装着部１Ｂと頭装着部１Ａとの位置関係の測距は、実施の形態１に対し反対の関係となる。ＨＭＤ１は、頭装着部１Ａの測距センサ７から首装着部１Ｂの複数のマーカ１７を特徴点として測距し、測距データに基づいて、頭装着部１Ａに対する首装着部１Ｂの位置関係を計算する。ＨＭＤ１は、その位置関係を用いて、頭装着部１Ａのセンサで検出した状態のデータと、首装着部１Ｂのセンサで検出した状態のデータとの間での補正、変換を行う。この計算は実施の形態１と同様に実現できる。
【0109】
図１２は、実施の形態２のＨＭＤ１の構成を示す。頭装着部１Ａには、測距センサ７、カメラ６、および表示デバイス１５０等が実装されている。首装着部１Ｂには、位置姿勢センサ７０、バッテリ（メインバッテリ２４２）、マイク８、およびスピーカ９等が実装されている。本例では、頭装着部１Ａの測距センサ７は、通常の測距用と位置関係の測距用との併用タイプを用いる。この測距センサ７は、左右対称で２個の測距センサとして、筐体１０の前側の左右端の付近に配置されており、概略的に下方にある複数のマーカ１７を測距する。また、本例では、首装着部１Ｂの左右の筐体１１のそれぞれには、３個ずつで合計６個のマーカ１７が配置されている。ベクトルＶ２は、頭座標系ＣＨの原点ＯＨからみた首座標系ＣＮの原点ＯＮへの位置関係を表すベクトルである。
【0110】
実施の形態２のＨＭＤ１によれば、実施の形態１と同様の効果が実現できる。ただし、頭装着部１Ａの重量の観点では、実施の形態１のように首装着部１Ｂに測距センサ７を設ける方が有利である。実施の形態２の変形例としては、頭装着部１Ａに、通常の測距用の第２測距センサを別体として設けてもよい。首装着部１Ｂにその第２測距センサを設けてもよい。また、変形例として、カメラ６を首装着部１Ｂ側に実装してもよい。
【0111】
（実施の形態３）
図１３を用いて、実施の形態３のＨＭＤについて説明する。ユーザの服装等の影響によって、頭装着部１Ａと首装着部１Ｂとの位置関係が、測距センサ７を用いて光学的に測定できない場合があるかもしれない。実施の形態３では、そのような場合にも位置関係を測定できる方式を示す。
図１３を用いて、実施の形態３のＨＭＤについて説明する。ユーザの服装等の影響によって、頭装着部１Ａと首装着部１Ｂとの位置関係が、測距センサ７を用いて光学的に測定できない場合があるかもしれない。実施の形態３では、そのような場合にも位置関係を測定できる方式を示す。
【0112】
図１３は、実施の形態３のＨＭＤ１の構成を示す。このＨＭＤ１は、実施の形態１に対し異なる構成点として、位置姿勢センサ７０について、頭装着部１Ａ、首装着部１Ｂに加速度センサ７１および地磁気センサ７３を含むセンサを有する。
【0113】
まず、首装着部１Ｂから見た頭装着部１Ａの回転中心位置は、個人に応じて定まり、略一定であるので、これを定位置に取る。ＨＭＤ１には、その位置を予め設定しておく。あるいは、ＨＭＤ１には、測距センサ７等によってその平均的な回転中心位置を光学的に測定できた時の値を設定しておく。例えば、頭装着部１Ａの回転中心を頭部座標系ＣＨの座標原点に取れば、座標系間の方向の関係を求めることにより座標系間の関係が定まる。次に、各座標系の方向の関係を求める。垂直方向の方向の関係については、加速度センサ７１である３軸加速度センサにより重力加速度が測定できるので、その重力加速度の向きの各座標系での測定値の差から求めることができる。そして、頭（対応する頭部座標系ＣＨ）と体幹（対応する首部座標系ＣＮ）とにおける水平面での方向の差については、頭装着部１Ａと首装着部１Ｂとの双方に備える地磁気センサ７３を用いて、双方の水平面での方位の差を求めることができる。地磁気センサは、外界の影響で、方位の絶対値にずれが生じることがあるが、相対値については比較的安定に求めることができる。以上により、頭部座標系ＣＨと首部座標系ＣＮとの間の方向の関係は、実施の形態１と同様に計算できる。
【0114】
上記のように、実施の形態３では、実施の形態１で説明した３つの測定点における第１測定点から第２測定点および第３測定点へ向かう各方向の代わりに、各座標系における重力加速度の方向と、地磁気での例えば北方向とを用いて、座標系間の方向の関係を計算する。これにより、実施の形態３では、頭装着部１Ａと首装着部１Ｂとの位置関係が光学的に測定できない状況の場合でも、位置関係を推定することができる。
【0115】
上記のように、実施の形態３によれば、高度な機能を重視する観点で、実施の形態１と同様の効果を得られる。実施の形態３の変形例として、測距センサ７を備えない構成としてもよい。
【0116】
他の変形例として以下も可能である。ＨＭＤ１は、首装着部１Ｂと頭装着部１Ａとの位置関係を一時的に測定できない状況になることがあり得る。その場合、ＨＭＤ１は、位置関係を用いた変換ができないことから、首部座標系ＣＮを基準とした画像の表示、または、頭部座標系ＣＨを基準とした画像の表示ができない場合がある。この場合に、ＨＭＤ１は、例外的対応処理として、位置関係を用いない表示、例えば頭部座標系ＣＨを基準とした画像の表示、または首部座標系ＣＮを基準とした画像の表示を行うようにしてもよい。ＨＭＤ１は、その後、再び位置関係が測定できた場合に、上記例外的対応処理を停止し、元の表示に戻る。
【0117】
（実施の形態４）
図１４を用いて、実施の形態４について説明する。実施の形態４のＨＭＤは、頭装着部１Ａと首装着部１Ｂとの給電に関して無線給電機能を実装し、頭装着部１Ａと首装着部１Ｂとの間で無線通信を行う構成である。
図１４を用いて、実施の形態４について説明する。実施の形態４のＨＭＤは、頭装着部１Ａと首装着部１Ｂとの給電に関して無線給電機能を実装し、頭装着部１Ａと首装着部１Ｂとの間で無線通信を行う構成である。
【0118】
図１４は、実施の形態４のＨＭＤ１の構成例を示す。接続線４は、１本で構成され、頭装着部１Ａの筐体１０との接続によってループ形状を成している。接続線４の一方端は、頭装着部１Ａの筐体１０の例えば左側の部分の後端に接続され、筐体１０内の電源回路１４１（図２）と接続されている。接続線４の他方端は、筐体１０の例えば右側の部分の後端に接続されている。この電源回路１４１は、無線給電の受電回路を含む。
【0119】
接続線４のうちの中間の部分は、首装着部１Ｂの筐体１２に接して配置される部分であり、受電アンテナ部４Ｃが実装されている。筐体１２には、送電アンテナ部１２Ｃが実装されている。送電アンテナ部１２Ｃは、筐体１１の電源回路２４１と接続されている。この電源回路２４１は、無線給電の送電回路を含む。送電アンテナ部１２Ｃおよび受電アンテナ部４Ｃには、例えばそれぞれコイルが形成されている。近接している送電アンテナ部１２Ｃと受電アンテナ部４Ｃとの間では、電磁誘導の作用によって無線給電が行われる。なお、無線給電の方式については限定しない。
【0120】
頭装着部１Ａの筐体１０の例えば右側の部分には、無線通信インタフェースに対応した無線通信回路１０Ｃが実装されている。首装着部１Ｂの筐体１１の一部、例えば右側筐体１１Ｒの一部には、無線通信回路１１Ｃが実装されている。このＨＭＤ１は、頭装着部１Ａの無線通信回路１０Ｃと首装着部１Ｂの無線通信回路１１Ｃとの間で適宜に無線通信を行うことで、上下部位が連携して機能を実現する。なお、無線通信用のアンテナが接続線４や筐体１２に形成されてもよい。
【0121】
なお、接続線４と筐体１２との接続部分については、ユーザによって分離と固定ができる構成としてもよい。接続線４はフレキシブルであり、ある程度以上の長さが余裕として確保されているため、ユーザは自由に首や頭を動かすことができる。
【0122】
（実施の形態５）
図１５を用いて、実施の形態５について説明する。実施の形態５のＨＭＤは、前述の表示制御に関する機能を有し、ユーザの頭の状態と体幹の状態とに応じた画像の表示制御の例を示す。
図１５を用いて、実施の形態５について説明する。実施の形態５のＨＭＤは、前述の表示制御に関する機能を有し、ユーザの頭の状態と体幹の状態とに応じた画像の表示制御の例を示す。
【0123】
［表示制御］
従来技術例のＨＭＤは、仮想物体等の画像の表示方式としては、外界の世界座標系と、頭に合わせた局所座標系（実施の形態１では頭部座標系ＣＨ）との２つの基準を用いている。あるいは、特許文献１の例のように、頭に合わせた座標系と、体幹に合わせた座標系（実施の形態１では首部座標系ＣＮ）との２つの基準を用いる提案もある。これらに対し、実施の形態５のＨＭＤ１は、世界座標系ＣＷ、頭部座標系ＣＨ、および首部座標系ＣＮの３つの基準を全て用い、各座標系での画像表示を制御する。これにより、このＨＭＤ１は、高度な機能を実現し、ユーザの利便性を向上させる。
従来技術例のＨＭＤは、仮想物体等の画像の表示方式としては、外界の世界座標系と、頭に合わせた局所座標系（実施の形態１では頭部座標系ＣＨ）との２つの基準を用いている。あるいは、特許文献１の例のように、頭に合わせた座標系と、体幹に合わせた座標系（実施の形態１では首部座標系ＣＮ）との２つの基準を用いる提案もある。これらに対し、実施の形態５のＨＭＤ１は、世界座標系ＣＷ、頭部座標系ＣＨ、および首部座標系ＣＮの３つの基準を全て用い、各座標系での画像表示を制御する。これにより、このＨＭＤ１は、高度な機能を実現し、ユーザの利便性を向上させる。
【0124】
なお、非透過型の表示面５の方式において、ユーザの視野全面がＶＲの画像を表示するディスプレイとなる没入型の方式もある。その場合にも、画像内の「仮想世界」をユーザが移動していく態様では、その「仮想世界」を本発明で呼ぶ「世界」と解釈すれば、同様の表示方式が構成でき、同様の効果も得られる。従って、本発明における表示方式は、特に断りがない限り、透過型、非透過型（特に没入型）の両方を含む。没入型の場合をさらに詳述すると、「仮想世界」内での移動が、実際のＨＭＤの外界での移動によりなされる場合と、コントローラ（操作器２）による制御入力による場合とがある。いずれも、世界内でのユーザの意図による移動として捉えることができる。
【0125】
実施の形態５のＨＭＤ１では、表示面５に画像を表示する位置の制御を含む表示制御に関して、以下の３種類の制御を併用する。
【0126】
（１）世界座標系ＣＷを基準とした画像表示位置制御。この表示制御は、例えば、外界の物体の近傍の位置に例えば作業支援のための仮想物体を表示させる場合等に用いる。
【0127】
（２）頭部座標系ＣＨを基準とした画像表示位置制御。この表示制御は、例えば、ＨＭＤ１のグラフィカル・ユーザ・インタフェース（ＧＵＩ）におけるシステム情報、メニュー、コマンド、およびアイコン等の画像を、ユーザの頭方向に対応した視界内に表示させる場合に用いる。
【0128】
（３）首部座標系ＣＮを基準とした画像表示位置制御。一方、ある種の仮想物体の表示については、上記世界座標系ＣＷでの表示や頭部座標系ＣＨでの表示では、利便性が良くない場合もある。例えば、作業手順や作業用ツール等の表示が挙げられる。この種の仮想物体は、例えば世界座標系ＣＷを基準とした固定の位置に配置された場合、ユーザの移動の都度、配置のやり直しの手間が発生する。なお、ここでのユーザの移動とは、実空間でのユーザの移動の他、コントローラ（操作器２）等による仮想空間内でのユーザ視点の移動も含む。
【0129】
そこで、実施の形態５では、この種の仮想物体の表示制御に関して、首部座標系ＣＮを基準とした配置を利用する。すなわち、ＨＭＤ１は、この種の仮想物体を、ユーザの体幹方向に合わせた位置に配置する。この配置の場合、ユーザの移動に伴って仮想物体も追随した位置に表示されるので、配置のやり直しの手間が省ける。
【0130】
また一方、上記仮想物体を、頭部座標系ＣＨを基準とした位置に配置する場合、ユーザの移動には追随して表示されるが、ユーザの視野正面の固定位置に配置されるので、視野正面が見え難くなる場合もある。例えば、仮想物体が視野正面の中心位置に配置された場合、作業対象や作業の手元が見え難くなる。仮想物体が視野正面の中心位置から外した位置に配置された場合、仮想物体が見え難くなるか、大きなサイズの仮想物体や多数の仮想物体を配置できないという制限がある。
【0131】
そこで、実施の形態５では、この種の仮想物体に関して、首部座標系ＣＮを基準とした表示制御を利用する。すなわち、この表示制御では、対象の仮想物体を、世界座標系ＣＷ内でのユーザの意図的な移動に追随して首装着部１Ｂの体幹方向に合わせるように表示すると共に、頭方向の変化には追随しないように表示する。この表示制御では、対象の仮想物体を、首装着部１Ｂの体幹方向に対する頭装着部１Ａの頭方向の変化に応じて、表示面５に対する表示の位置および方向が変化するように表示する。これにより、上記制限が無く、作業しやすくなる等の効果が得られる。ユーザは、例えば作業対象の実物がある正面方向を避けた位置に作業ツール等の仮想物体を配置することができ、頭の方向を変えればその仮想物体の視認にも支障は無く、大きなサイズの仮想物体や多数の仮想物体を配置することもできる。
【0132】
［表示制御例（１）］
図１５～図１８は、各座標系を基準とした表示制御例を示す。まず、図１５の（Ａ）は、ＨＭＤ１を装着したユーザの視野全体５Ａの例を示す。視野全体５Ａで中心にはＦＯＶ（field of view）５Ｂがあり、実物の例として、作業台５Ｃ上の作業対象物５Ｄがある。視野全体５Ａは、ユーザが視認できる範囲全体である。視野全体５Ａは、ユーザが作業対象物５Ｄに向かって立っており、体幹および顔も自然に正面を向いている時の視野全体を示す。ＦＯＶ５Ｂは、透過型のＨＭＤ１における表示面５で表示オブジェクトが表示できる範囲、表示領域を示す。点Ｐ１はＦＯＶ５Ｂの中心点を示す。（Ａ）は、ユーザの視点から表示面５を透過して作業対象物５Ｄ等が見えている状態である。
図１５～図１８は、各座標系を基準とした表示制御例を示す。まず、図１５の（Ａ）は、ＨＭＤ１を装着したユーザの視野全体５Ａの例を示す。視野全体５Ａで中心にはＦＯＶ（field of view）５Ｂがあり、実物の例として、作業台５Ｃ上の作業対象物５Ｄがある。視野全体５Ａは、ユーザが視認できる範囲全体である。視野全体５Ａは、ユーザが作業対象物５Ｄに向かって立っており、体幹および顔も自然に正面を向いている時の視野全体を示す。ＦＯＶ５Ｂは、透過型のＨＭＤ１における表示面５で表示オブジェクトが表示できる範囲、表示領域を示す。点Ｐ１はＦＯＶ５Ｂの中心点を示す。（Ａ）は、ユーザの視点から表示面５を透過して作業対象物５Ｄ等が見えている状態である。
【0133】
なお、非透過型のＨＭＤの場合、視野全体５Ａを表示領域として表示オブジェクトを表示でき、その場合のＦＯＶ５Ｂは、ユーザの頭および両眼の正面にある視認しやすい範囲の目安に相当する。非透過型の表示面５の場合、作業対象物５Ｄ等は、ビデオシースルーまたはシミュレーションによる、実物に対応する仮想物体として表示される。
【0134】
（Ｂ）は、（Ａ）の視野全体５Ａに対し、表示面５のＦＯＶ５Ｂで仮想物体等の表示オブジェクトを重畳表示する例を示し、第１状態とする。実物以外の要素は、透過型、非透過型のいずれの方式の場合でも、仮想物体等の表示オブジェクト（対応する画像）である。本例では、表示オブジェクトとして、システム情報６１、ＨＭＤメニュー６２、作業説明６３、および作業用ツール６４を有する。
【0135】
システム情報６１は、ＨＭＤ１のシステムがユーザに提供する情報であり、例えば電波強度、時刻、バッテリ残量等の状態を表す画像がある。また、ＨＭＤメニュー６２は、ユーザが指示等を入力するためのＧＵＩ部品であり、例えばＨＯＭＥボタン等の仮想物体である。システム情報６１およびＨＭＤメニュー６２は、頭部座標系ＣＨを基準とした表示の例であり、ＦＯＶ５Ｂにおける固定の位置に表示される。例えば、システム情報６１は、ＦＯＶ５Ｂ内の上辺の領域に表示されており、ＨＭＤメニュー６２であるＨＯＭＥボタンは、ＦＯＶ５Ｂ内の左下に表示されている。システム情報６１等は、ユーザの動きによってＨＭＤ１の位置や方向が変わった場合でも、視野全体５ＡおよびＦＯＶ５Ｂ内で同じ位置に表示される。
【0136】
作業説明６３は、ユーザに作業対象物５Ｄに関する作業を説明するための仮想物体である。作業説明６３は、世界座標系ＣＷを基準とした表示の例であり、作業対象物５Ｄの近傍の固定の位置に表示される。作業説明６３は、ユーザの移動等によってＨＭＤ１の位置や方向が変わった場合でも、世界座標系ＣＷ内の同じ位置に表示される。
【0137】
作業用ツール６４は、ユーザの作業を支援するためのツール等の仮想物体である。作業用ツール６４Ａは、作業の手順を伝える動画やアニメーション等を表示する。作業用ツール６４Ｂは、操作のためのコマンドが設けられている。作業説明６３や作業用ツール６４は、例えば作業支援アプリケーションによって生成される。作業用ツール６４は、首部座標系ＣＮを基準とした表示の例であり、ユーザの体幹方向に合わせた位置に表示される。作業用ツール６４は、首装着部１Ｂと頭装着部１Ａとの位置関係が変化した場合、視野全体５Ａ内での表示位置が変化する。以下、首部座標系ＣＮを基準とした作業用ツール６４の表示の変化について説明する。
【0138】
図１６は、図１５の第１状態からの変化後の状態の例である第２状態を示す。図１６は、ユーザの体幹の向きがそのままで、ユーザが頭を斜め下に向けることで、顔の正面を作業対象物５Ｄに向けた状態である。ＦＯＶ５Ｂの点Ｐ１には作業説明６３がある。作業用ツール６４は、視野基準で言うと上方に移動して、ＦＯＶ５Ｂから完全に外れている。
【0139】
図１７は、図１５の第１状態からの変化後の状態の例である第３状態を示す。図１７は、ユーザの体幹の向きはそのままで、ユーザが顔を左上方向に向けることで、視野全体５Ｂ内で作業用ツール６４を右下方向に下げ、左側の作業用ツール６４ＡをＦＯＶ５Ｂ内に納めた状態である。点Ｐ１には作業用ツール６４Ａがある。
【0140】
図１８は、図１５の第１状態からの変化後の状態の例である第４状態を示す。図１８は、ユーザが顔の向きを体幹に対して変化させずに体幹を左斜め前に向けた状態である。この場合、世界座標系ＣＷを基準とした表示オブジェクトである作業説明６３は、視野全体５Ａ内で右に移動している。一方、首部座標系ＣＮを基準とした表示オブジェクトである作業用ツール６４は、体幹方向に合わせて配置されるので、視野全体５Ａ内で位置を変えていない。このような首部座標系ＣＮを基準とした表示は、例えばユーザが移動しながら同じ作業用ツール６４を使用する場合等に好適である。
【0141】
上記例のように、実施の形態５のＨＭＤ１では、検出および計算した状態のデータに基づいて、仮想物体の表示制御の方式として、世界座標系ＣＷ、頭部座標系ＣＨ、および首部座標系ＣＮの各座標系を基準とした仮想物体の表示を、選択および併用可能である。特に、首部座標系ＣＮを基準とした表示方式では、仮想物体の配置位置に関して、ユーザおよびＨＭＤ１の移動に追随しながらも、頭装着部１Ａおよび頭の方向の変化には追随しないような表示が可能である。これにより、表示オブジェクトの種類や性質に応じたきめ細かな表示が可能であり、ユーザの作業を好適に支援できる等、利便性が向上する。
【0142】
［表示制御例（２）］
図１９～図２０は、実施の形態５における第２表示制御例を示す。図１９は、ＨＭＤ１の表示面５で、ＦＯＶ５Ｂ内に、頭部座標系ＣＨを基準とする方式を用いて、複数のアプリアイコン６６を表示する例を示す。本例では、ユーザによる前述のＨＭＤメニュー６２のＨＯＭＥボタンの選択実行に応じて、ＨＭＤ１は、ホーム画面を開き、ホーム画面において複数（本例では８個）のアプリアイコン６６を並列に表示する。アプリアイコン６６は、ＧＵＩ部品である仮想物体の例であり、ユーザによる選択実行に応じて対応するアプリケーションの表示等を制御するためのアイコンである。ＨＭＤ１は、通常時には、頭座標系ＣＨを基準としてＦＯＶ５Ｂ内の固定の位置にアプリアイコン６６を表示する方式を用いる。ユーザによるＨＭＤメニュー６２のＣＬＯＳＥボタンの選択実行により、元の表示状態であるアプリアイコン６６を表示しない状態に戻る。ユーザが頻繁に使用するアプリアイコン６６等の仮想物体については、このようにＦＯＶ５Ｂ内の固定の位置に表示された方が、利便性が高い。
図１９～図２０は、実施の形態５における第２表示制御例を示す。図１９は、ＨＭＤ１の表示面５で、ＦＯＶ５Ｂ内に、頭部座標系ＣＨを基準とする方式を用いて、複数のアプリアイコン６６を表示する例を示す。本例では、ユーザによる前述のＨＭＤメニュー６２のＨＯＭＥボタンの選択実行に応じて、ＨＭＤ１は、ホーム画面を開き、ホーム画面において複数（本例では８個）のアプリアイコン６６を並列に表示する。アプリアイコン６６は、ＧＵＩ部品である仮想物体の例であり、ユーザによる選択実行に応じて対応するアプリケーションの表示等を制御するためのアイコンである。ＨＭＤ１は、通常時には、頭座標系ＣＨを基準としてＦＯＶ５Ｂ内の固定の位置にアプリアイコン６６を表示する方式を用いる。ユーザによるＨＭＤメニュー６２のＣＬＯＳＥボタンの選択実行により、元の表示状態であるアプリアイコン６６を表示しない状態に戻る。ユーザが頻繁に使用するアプリアイコン６６等の仮想物体については、このようにＦＯＶ５Ｂ内の固定の位置に表示された方が、利便性が高い。
【0143】
なお、アプリアイコン６６の表示の妨害となる表示オブジェクトについては表示を一時的に停止してもよいし、アプリアイコン６６を上層に重畳表示するようにしてもよい。また、例えば、ＦＯＶ５Ｂ内で複数のページの各ページにアイコンが配置され、ＨＭＤメニュー６２の１つのページ変更ボタン等によるページ変更操作を受け付ける方式を用いてもよい。これにより、表示面５に総合的に表示できるアイコン数を増やすことができる。
【0144】
さらに、図２０は、首部座標系ＣＮを基準としてアプリアイコン６６を表示する例を示す。ＨＭＤ１は、体幹方向に合わせて、視野全体５Ａ内に複数のアプリアイコン６６を並列に配置する。ＦＯＶ５Ｂ内には、そのうちの一部のアプリアイコン６６が表示されている。ユーザが体幹の向きをそのままで顔の向きを変えることにより、ＦＯＶ５Ｂ内に表示されるアプリアイコン６６を変えることができる。例えば、ユーザが顔を左上に向ければ、“Ａ”のアプリアイコン６６がＦＯＶ５Ｂ内に入る。このように、首部座標系ＣＮを基準とした表示方式では、体幹に対する頭の向きの変更によって、従来よりも多数のアプリアイコン６６の全てをＦＯＶ５Ｂ内で視認できる。
【0145】
［表示制御例（３）］
図２１は、実施の形態５における第３表示制御例を示す。さらに、世界座標系ＣＷを基準としたアプリアイコンの配置方式を用いてもよい。例えば、特定の装置の操作用のアプリケーションは、その装置の場所で用いることが多いので、そのアプリケーションの仮想物体を、世界座標系ＣＷ内のその装置の近傍の位置に配置すると、利便性が高い。
図２１は、実施の形態５における第３表示制御例を示す。さらに、世界座標系ＣＷを基準としたアプリアイコンの配置方式を用いてもよい。例えば、特定の装置の操作用のアプリケーションは、その装置の場所で用いることが多いので、そのアプリケーションの仮想物体を、世界座標系ＣＷ内のその装置の近傍の位置に配置すると、利便性が高い。
【0146】
図２１の（Ａ）は、視野全体５Ａ内で、世界座標系ＣＷ内における作業台５Ｃ上の作業対象物５Ｄの近傍の固定の位置に、作業対象物５Ｄの操作用のアプリケーションの制御のためのアプリアイコン６７を表示する例を示す。
【0147】
また、その際、世界座標系ＣＷ内での表示オブジェクトとしてのアプリアイコン６７の配置は、ユーザのいる方向を基準とした位置および向きでの配置としてもよい。また、その際、ユーザの作業の邪魔にならないように、ユーザと作業対象物５Ｄの作業箇所を結ぶ線上を避けた位置にアプリアイコン６７を配置してもよい。図２１の（Ｂ）は、そのアプリアイコン６７の配置の例を、鉛直上方から見下ろした位置関係として示す。一点鎖線の矢印の方向２１０１は、ユーザおよびＨＭＤ１の代表点と作業対象物５Ｄの代表点とを結ぶ、頭方向または体幹方向に対応した方向である。破線の矢印の方向２１０２は、ユーザおよびＨＭＤ１の代表点と、アプリアイコン６７の配置位置とを結ぶ方向である。アプリアイコン６７の配置位置は、作業対象物５Ｄに重ならないように例えば右隣とされている。アプリアイコン６７の配置方向は、方向２１０２に合わせられている。
【0148】
［表示制御例（４）］
図２２は、実施の形態５における第４表示制御例を示す。上記各座標系を基準とする表示方式については、ユーザの指示や事前設定に応じて選択可能としてもよいし、ＨＭＤ１が判断して選択してもよい。対象の仮想物体毎や種類毎、アプリケーション毎に、表示方式を選択可能としてもよい。図２２は、アプリケーションの表示に用いる座標系の設定例を示す。図２２は、あるアプリのプロパティ（対応する仮想物体）の表示であり、そのアプリのアイコンやツール等の仮想物体を表示する座標系を、頭部座標系ＣＨ、首部座標系ＣＮ、および世界座標系ＣＷから選択して設定できる例を示す。
図２２は、実施の形態５における第４表示制御例を示す。上記各座標系を基準とする表示方式については、ユーザの指示や事前設定に応じて選択可能としてもよいし、ＨＭＤ１が判断して選択してもよい。対象の仮想物体毎や種類毎、アプリケーション毎に、表示方式を選択可能としてもよい。図２２は、アプリケーションの表示に用いる座標系の設定例を示す。図２２は、あるアプリのプロパティ（対応する仮想物体）の表示であり、そのアプリのアイコンやツール等の仮想物体を表示する座標系を、頭部座標系ＣＨ、首部座標系ＣＮ、および世界座標系ＣＷから選択して設定できる例を示す。
【0149】
また、図２３は、仮想物体に、表示座標系を表す画像を重畳表示する例を示す。図２３は、あるアプリアイコン６６において、一部に、表示座標系を表す画像６８が重畳表示されている。本例の画像６８は、世界座標系ＣＷを表す画像であり、このアプリアイコン６６の表示座標系が世界座標系ＣＷであることを表している。常時に画像６８を表示するようにしてもよいし、ユーザがアプリアイコン６６を仮選択した場合や所定の指示を入力した場合等に、画像６８を表示するようにしてもよい。
【0150】
さらに、この表示座標系を表す画像６８を、表示座標系の制御ボタンとして用いてもよい。ＨＭＤ１は、ユーザによる画像６８の選択実行に応じて、対応する仮想物体の表示座標系を、頭部座標系ＣＨ、首部座標系ＣＮ、および世界座標系ＣＷの間で切り替えるように設定する。例えば、画像６８は、３つの座標系を循環的に切り替えるボタンでもよい。例えばアプリアイコン６６の画像６８の選択状態は、対応するアプリケーションの起動時の表示座標系を表す。アプリアイコン６６が選択実行された場合、ＨＭＤ１は、その時の画像６８の選択状態に応じた表示座標系の位置に、対応するアプリケーションを起動する。すなわち、その表示座標系の位置に、作業用ツール等の仮想物体が配置される。また、このアプリアイコン６６の画像６８の選択動作は、即時の表示座標系の切り替えに用いてもよい。例えば、最初、アプリアイコン６６の画像６８の状態が頭部座標系ＣＨであり、前述の図１９の例のように表示される。次に、ユーザによる画像６８の選択操作によって画像６８の状態が首部座標系ＣＮに変更される。この時、ＨＭＤ１は、そのアプリアイコン６６が配置されている座標系および位置を、首部座標系ＣＮ内の位置に変更する。座標系の変更は、前述の座標系間の関係に基づいて可能である。
【0151】
図２４の（Ａ）は、前述の作業用ツール６４Ａの例において、仮想物体の表示座標系の切り替えの一例を示す。本例は、仮想物体の近傍に配置したボタン等の仮想物体に対するユーザの選択実行に応じて表示座標系の切り替えを行う例である。作業用ツール６４Ａは、作業手順を伝える動画等の表示オブジェクト６４ａの領域に対し、隣接する位置、例えば上辺領域に、表示座標系の切り替え等の操作を可能とする制御用の表示オブジェクト６４ｂが表示されている。表示オブジェクト６４ｂ内には、表示座標系の切り替えの操作を可能とするボタン６４ｃ、“－”で示す縮小ボタン６４ｄ、“×”で示す終了ボタン６４ｅが含まれている。
【0152】
ボタン６４ｃは、表示座標系切り替えボタンであり、図２３の画像６８と同様に循環的な切り替えボタンとしてもよい。ボタン６４ｃは、頭部座標系ＣＨ、首部座標系ＣＮ、および世界座標系ＣＷの各座標系を表す画像（対応するボタン）を含む。現在選択されている表示座標系に対応する画像は、例えば枠で囲って強調表示されている。ユーザは、所望の表示座標系のボタンの選択操作によって、この作業用ツール６４Ａの表示座標系を切り替えることができる。
【0153】
表示座標系切り替えの利用例としては、ユーザは、ある場所で、世界座標系ＣＷに配置されている複数の表示オブジェクトの表示座標系を、首部座標系ＣＮもしくは頭部座標系ＣＨに変更する。ユーザは、その場所から移動することで、それらの表示オブジェクトを運搬するようなことができる。そして、ユーザは、移動後の場所で、それらの表示オブジェクトの表示座標系を、例えば世界座標系ＣＷに戻す。これにより、ユーザは、少ない手間で、各表示オブジェクトの世界座標系ＣＷ内での位置を変更することができる。
【0154】
上記運搬時や、しばらく注視しなくてもよい表示オブジェクトについては、縮小表示すると、表示スペースの有効利用ができる。ＨＭＤ１は、ユーザの指示等に応じて、仮想物体の表示サイズを変更する。図２４の（Ｂ）は、（Ａ）の縮小ボタン６４ｄの操作によって、作業用ツール６４Ａを縮小表示した例を示す。制御用ボタンの１つには、矩形で示す拡大ボタン６４ｆがあり、拡大ボタン６４ｆの操作によって、作業用ツール６４Ａを元の状態に戻すことができる。縮小表示に限らず、アイコンに変化させる等の態様も可能である。以上のように、仮想物体毎に表示座標系を切り替える機能により、ユーザの利便性を高めることができる。
【0155】
［表示制御例（５）］
図２５は、実施の形態５における第５表示制御例を示す。頭装着部１Ａと首装着部１Ｂとの位置関係が分からない場合に、首部座標系ＣＮの代替として使用する座標系を設けてもよい。ここでは、この座標系を慣性座標系ＣＩと呼ぶ。この慣性座標系ＣＩは、具体的には、世界座標系ＣＷの座標原点を、頭部座標系ＣＨ（対応する頭装着部１Ａ）または首部座標系ＣＮ（対応する首装着部１Ｂ）の移動に追随させて構成する座標系である。例えば、ある地点で、ユーザから見て北の方向の慣性座標系ＣＩ上の位置に配置した表示オブジェクトは、ユーザが移動しても、また向きを変えても、常にユーザに対し北の方向の位置に表示される。
図２５は、実施の形態５における第５表示制御例を示す。頭装着部１Ａと首装着部１Ｂとの位置関係が分からない場合に、首部座標系ＣＮの代替として使用する座標系を設けてもよい。ここでは、この座標系を慣性座標系ＣＩと呼ぶ。この慣性座標系ＣＩは、具体的には、世界座標系ＣＷの座標原点を、頭部座標系ＣＨ（対応する頭装着部１Ａ）または首部座標系ＣＮ（対応する首装着部１Ｂ）の移動に追随させて構成する座標系である。例えば、ある地点で、ユーザから見て北の方向の慣性座標系ＣＩ上の位置に配置した表示オブジェクトは、ユーザが移動しても、また向きを変えても、常にユーザに対し北の方向の位置に表示される。
【0156】
このような慣性座標系ＣＩを基準とした表示方式も、仮想物体の配置位置に関して、ユーザおよびＨＭＤ１の移動に追随しながらも頭装着部１Ａの向きの変化には追随しないという表示方式である。ユーザの身体の正面方向（首部座標系ＣＮの体幹方向）が分からない場合に、慣性座標系ＣＩを用いることで、ユーザの近辺に配置しておきたい仮想物体を、ユーザの周囲の広範囲の方向に配置できる等の効果を持つ。この表示方式は、世界座標系ＣＷを測定できるＨＭＤであれば適用可能である。
【0157】
ＨＭＤ１は、例えば何らかの原因で頭装着部１Ａと首装着部１Ｂとの位置関係が一時的に分からなくなり、首部座標系ＣＮの方向が分からなくなった場合に、首部座標系ＣＮに配置されている表示オブジェクトの表示座標系を慣性座標系ＣＩに切り替える。ＨＭＤ１は、再び首部座標系ＣＮの方向が分かるようになった時点で、その表示オブジェクトの表示座標系を慣性座標系ＣＩから首部座標系ＣＮに戻す。あるいは、ＨＭＤ１は、ユーザの指示（例えば第４表示制御例と同様の操作）に応じて、対象の仮想物体等の表示座標系として慣性座標系ＣＩを選択し、切り替えるようにしてもよい。
【0158】
図２５は、慣性座標系ＣＩの概念を示す。最初、世界座標系ＣＷ内の位置Ｐ０１に、ＨＭＤ１を装着したユーザがいる。ユーザの体幹および頭の方向は例えば北向きである。北向きに対応するＦＯＶ２５Ａ内には、仮想物体２５１，２５２，２５３等が見えている。慣性座標系ＣＩの３軸を（ＸＩ，ＹＩ，ＺＩ，）で示す。軸ＺＩは鉛直方向、軸ＸＩは北方向、軸ＹＩは西方向に対応する。ＨＭＤ１は、所定の契機で、仮想物体２５１等の表示座標系を例えば首部座標系ＣＮから慣性座標系ＣＩに変更する。
【0159】
ユーザが位置Ｐ０１から移動し、頭の向きを回転するように変更した場合を、位置Ｐ０２に示す。頭方向は、例えば北向きから右側に４５度程度回転している。慣性座標系ＣＩの原点は、位置Ｐ０１から位置Ｐ０２に移動している。仮想物体２５１等は、慣性座標系ＣＩと共に移動しており、ユーザの位置Ｐ０２から位置関係を保持したまま北方向の位置に配置されている。位置Ｐ０２での頭方向のＦＯＶ２５Ｂ内では、仮想物体２５１は見えず、仮想物体２５２は見えている。ＨＭＤ１は、所定の契機で、仮想物体２５１等の表示座標系を、慣性座標系ＣＩから例えば首部座標系ＣＮに戻す。以上のように、新たな座標系の導入により、多様な条件下で、仮想物体の表示制御ができ、ユーザの利便性をより向上できる。
【0160】
以上、本発明を実施の形態に基づいて具体的に説明したが、本発明は前述の実施の形態に限定されず、要旨を逸脱しない範囲で種々変更可能である。
【符号の説明】
【0161】
１…ＨＭＤ、１Ａ…頭装着部、１Ｂ…首装着部、２…操作器（リモコン）、３Ａ…サーバ、３Ｂ…ＰＣ、４…接続線、５…表示面、６…カメラ、７…測距センサ、８…マイク、９…スピーカ、１０，１１，１２…筐体、１４…操作入力部、１７…マーカ。
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図13】
【図14】
【図15】
【図16】
【図17】
【図18】
【図19】
【図20】
【図21】
【図22】
【図23】
【図24】
【図25】