ホーム > 特許ランキング > セイコーエプソン株式会社
知財求人 - 知財ポータルサイト「IP Force」
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2024-06-10
(45)【発行日】2024-06-18
(54)【発明の名称】表示システム、情報処理装置及び表示システムの表示制御方法
(51)【国際特許分類】
G09G 5/00 20060101AFI20240611BHJP
G06F 3/01 20060101ALI20240611BHJP
G09G 5/38 20060101ALI20240611BHJP
H04N 5/64 20060101ALI20240611BHJP
【ＦＩ】
G09G5/00 510V
G06F3/01 510
G09G5/00 550C
G09G5/00 550X
G09G5/00 555D
G09G5/38
H04N5/64 511A
【請求項の数】
10
(21)【出願番号】P 2020060698
(22)【出願日】2020-03-30
(65)【公開番号】P2021162607
(43)【公開日】2021-10-11
【審査請求日】2023-03-13
(73)【特許権者】
【識別番号】000002369
【氏名又は名称】セイコーエプソン株式会社
(74)【代理人】
【識別番号】110001081
【氏名又は名称】弁理士法人クシブチ国際特許事務所
(72)【発明者】
【氏名】藤巻 由貴
【審査官】川俣 郁子
(56)【参考文献】
【文献】国際公開第２０１４／００２３４７（ＷＯ，Ａ１）
【文献】特開２０１６－１６１６１１（ＪＰ，Ａ）
【文献】国際公開第２０１６／１５８０００（ＷＯ，Ａ１）
【文献】特開２０１３－１７４６４２（ＪＰ，Ａ）
【文献】米国特許出願公開第２０１５／０３３１５７６（ＵＳ，Ａ１）
【文献】韓国公開特許第１０－２０１９－０００１３４８（ＫＲ，Ａ）
(58)【調査した分野】(Int.Cl.，ＤＢ名)
Ｇ０６Ｆ３／０１
３／０４８－３／０４８９５
Ｇ０９Ｇ５／００－５／４２
Ｈ０４Ｎ５／６４－５／６５５
(57)【特許請求の範囲】
【請求項1】
表示面にオブジェクト画像を表示させる表示装置と、使用者の頭部に装着され、オブジェクト画像を、外景とともに視認できるように表示する頭部装着型表示装置と、
前記表示装置及び前記頭部装着型表示装置に通信可能に接続された情報処理装置と、
を備え、
前記頭部装着型表示装置は、
前記頭部装着型表示装置の位置を検出する位置検出部と、
前記使用者の頭部の向きと、鉛直方向に対する頭部の角度とを検出する頭部向き検出部と、を備え、
前記位置検出部が検出した前記頭部装着型表示装置の位置と、前記頭部向き検出部が検出した前記頭部の向き及び角度と、を通知情報として前記情報処理装置に送信し、
前記情報処理装置は、
前記オブジェクト画像が対応づけられた実空間の位置と、前記実空間での前記表示面の位置とが記録されたマップデータを記憶する第１記憶部と、
前記通知情報により通知された前記頭部の向き及び角度に基づいて前記使用者の視野範囲を推定し、推定した視野範囲において視認可能な実空間の位置に対応づけられた前記オブジェクト画像と、前記表示面の前記実空間の位置と、を前記マップデータを参照して取得し、
前記頭部装着型表示装置から通知された前記頭部装着型表示装置の位置と、取得した前記オブジェクト画像が対応づけられた実空間の位置と、取得した前記表示面の前記実空間での位置とに基づき、取得した前記オブジェクト画像を前記表示装置に表示させるのか、前記頭部装着型表示装置に表示させるのかを選択する制御部と、
を備えることを特徴とする表示システム。
【請求項2】
前記制御部は、検出した前記オブジェクト画像のうち、前記頭部装着型表示装置の位置と、前記オブジェクト画像が対応づけられた実空間の位置との距離が、前記頭部装着型表示装置と前記表示面との距離よりも近い場合、前記オブジェクト画像の画像データを前記頭部装着型表示装置に送信して前記オブジェクト画像を前記頭部装着型表示装置に表示させ、検出した前記オブジェクト画像のうち、前記頭部装着型表示装置の位置と、前記オブジェクト画像が対応づけられた実空間の位置との距離が、前記頭部装着型表示装置と前記表示面との距離よりも離れている場合、前記オブジェクト画像の画像データを前記表示装置に送信して前記オブジェクト画像を前記表示装置に表示させる、請求項１の記載の表示システム。
【請求項3】
前記頭部装着型表示装置は、前記頭部装着型表示装置を識別する識別情報を記憶した第２記憶部を備え、
前記位置検出部が検出した前記頭部装着型表示装置の位置と、前記頭部装着型表示装置の識別情報とを前記通知情報として前記情報処理装置に送信し、
前記第１記憶部は、前記オブジェクト画像を識別する識別情報と、前記頭部装着型表示装置を識別する識別情報とを対応づけて記憶し、
前記制御部は、前記頭部装着型表示装置の位置と、前記オブジェクト画像が対応づけられた実空間の位置との距離が、前記頭部装着型表示装置と前記表示面との距離よりも近い場合であって、前記オブジェクト画像の識別情報が、前記頭部装着型表示装置の識別情報に対応付けられている場合に、前記頭部装着型表示装置に、前記オブジェクト画像の画像データを送信する、請求項１又は２に記載の表示システム。
【請求項4】
前記制御部は、前記頭部装着型表示装置の位置と、前記オブジェクト画像が対応づけられた実空間の位置との距離が、前記頭部装着型表示装置と前記表示面との距離より離れている場合、前記頭部装着型表示装置の位置と、前記オブジェクト画像が対応づけられた実空間の位置とに基づき前記オブジェクト画像を表示させる前記表示面の位置を決定し、
決定した前記表示面の位置を示す位置情報を、前記オブジェクト画像の画像データと共に前記表示装置に送信する、請求項２に記載の表示システム。
【請求項5】
前記制御部は、前記頭部装着型表示装置の位置と、前記オブジェクト画像が対応づけられた実空間の位置と、前記オブジェクト画像を表示させる前記表示面の位置とが直線上に並ぶように、前記オブジェクト画像を表示させる前記表示面の位置を決定する、請求項４記載の表示システム。
【請求項6】
前記頭部装着型表示装置は、第１頭部装着型表示装置と、第２頭部装着型表示装置とを備え、前記制御部は、前記第１頭部装着型表示装置の位置と、前記オブジェクト画像が対応づけられた実空間の位置との距離が、前記第１頭部装着型表示装置と前記表示面との距離より離れ、前記第２頭部装着型表示装置の位置と、前記オブジェクト画像が対応づけられた実空間の位置との距離が、前記第２頭部装着型表示装置と前記表示面との距離より離れている場合、前記第１頭部装着型表示装置の位置と、前記第２頭部装着型表示装置の位置と、前記オブジェクト画像が対応づけられた実空間の位置と、に基づき前記オブジェクト画像を表示させる前記表示面の位置を決定し、
決定した前記表示面の位置を示す位置情報を、前記オブジェクト画像の画像データと共に前記表示装置に送信する、請求項４記載の表示システム。
【請求項7】
前記制御部は、前記第１頭部装着型表示装置の位置と、前記オブジェクト画像が対応づけられた実空間の位置とを結ぶ直線上に位置するように前記オブジェクト画像の前記表示面の第１表示位置を選択し、
前記第２頭部装着型表示装置の位置と、前記オブジェクト画像が対応づけられた実空間の位置とを結ぶ直線上に位置するように前記オブジェクト画像の前記表示面の第２表示位置を選択し、前記第１表示位置と、前記第２表示位置との間に、前記オブジェクト画像を表示させる前記表示面の位置を決定し、
決定した前記表示面の位置を示す位置情報を、前記オブジェクト画像の画像データと共に前記表示装置に送信する、請求項６記載の表示システム。
【請求項8】
前記頭部装着型表示装置は、前記使用者の操作を受け付ける受付部を備え、前記オブジェクト画像が対応づけられた実空間の位置を変更する操作、及び、前記実空間の位置を移動させる移動量及び移動方向を指定する操作を前記受付部により受け付けると、受け付けた移動量及び移動方向を示す情報を前記情報処理装置に送信し、前記制御部は、前記頭部装着型表示装置から受信した前記移動量及び移動方向を示す情報に基づいて、前記オブジェクト画像が対応づけられた実空間の位置を変更する、請求項１から７のいずれか一項に記載の表示システム。
【請求項9】
表示面にオブジェクト画像を表示させる表示装置と、使用者の頭部に装着され、オブジェクト画像を、外景とともに視認できるように表示する頭部装着型表示装置と、に通信可能に接続された情報処理装置であって、前記オブジェクト画像が対応づけられた実空間の位置と、前記表示面の前記実空間での位置とが記録されたマップデータを記憶する第１記憶部と、
前記頭部装着型表示装置が検出した前記頭部装着型表示装置の位置と、前記頭部の向き、及び、鉛直方向に対する前記頭部の角度と、を含む通知情報を受信する受信部と、
受信した前記通知情報に含まれる前記頭部の向き及び角度に基づいて前記使用者の視野範囲を推定し、推定した視野範囲において視認可能な実空間の位置に対応づけられた前記オブジェクト画像と、前記表示面の前記実空間の位置と、を前記マップデータを参照して取得し、
前記頭部装着型表示装置から通知された前記頭部装着型表示装置の位置と、取得した前記オブジェクト画像が対応づけられた実空間の位置と、取得した前記表示面の前記実空間での位置とに基づき、検出した前記オブジェクト画像を前記表示装置に表示させるのか、前記頭部装着型表示装置に表示させるのかを選択する制御部と、を備える、情報処理装置。
【請求項10】
表示面にオブジェクト画像を表示させる表示装置と、使用者の頭部に装着され、オブジェクト画像を、外景とともに視認できるように表示する頭部装着型表示装置と、前記表示装置及び前記頭部装着型表示装置に通信可能に接続された情報処理装置と、を備える表示システムの表示制御方法であって、前記頭部装着型表示装置は、
前記頭部装着型表示装置の位置と、前記使用者の頭部の向き、及び、鉛直方向に対する頭部の角度と、を検出し、
検出した前記頭部装着型表示装置の位置と、前記頭部の向き及び角度と、を通知情報として前記情報処理装置に送信し、
前記情報処理装置は、
前記通知情報に含まれる前記頭部の向き及び角度に基づいて前記使用者の視野範囲を推定し、前記オブジェクト画像が対応づけられた実空間の位置と、実空間での前記表示面の位置とが記録されたマップデータを参照して、推定した前記視野範囲において視認可能な実空間の位置に対応づけられた前記オブジェクト画像と、前記表示面の前記実空間の位置と、を取得し、
前記頭部装着型表示装置から通知された前記頭部装着型表示装置の位置と、取得した前記オブジェクト画像が対応づけられた実空間の位置と、取得した前記表示面の前記実空間での位置とに基づき、検出した前記オブジェクト画像を前記表示装置に表示させるのか、前記頭部装着型表示装置に表示させるのかを選択する、
ことを特徴とする表示システムの表示制御方法。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、表示システム、情報処理装置及び表示システムの表示制御方法に関する。
【背景技術】
【0002】
従来、外景を透過し、外景とともに視認できるように画像を表示する頭部装着型表示装置が知られている。頭部装着型表示装置は、画像を表示した状態で外景を視認できるため、頭部装着型表示装置を、他の表示装置と連動させる仕組みが提案されている。
【0003】
例えば、特許文献１が開示する透過型の表示装置は、外部表示装置が表示する表示画像のデータを取得し、表示画像をカメラで撮影する。表示装置は、カメラの撮影画像により、外部表示装置が表示する表示画像の一部が障害物によって遮られ、視認不可能、或いは視認しにくくなったことを検出し、この表示画像の一部を表示して視認可能とする。
【先行技術文献】
【特許文献】
【0004】
【文献】特開２０１６－３１３７３号公報
【発明の概要】
【発明が解決しようとする課題】
【0005】
頭部装着型表示装置は、頭部装着型表示装置を装着した使用者に違和感のない画像を視認させるため、画像のフレームレートを高フレームレート化する傾向にあり、頭部装着型表示装置の負荷は増加傾向にある。また、頭部装着型表示装置は、画像を実空間に重畳して表示させるが、画像を重畳させる実空間の位置が使用者から離れすぎると、意図した画像を使用者に視認させることができない場合がある。例えば、頭部装着型表示装置により立体画像を表示させる場合、立体画像を重畳させる実空間の位置が使用者から離れすぎると、使用者は、立体画像として視認できなくなるという問題がある。
【課題を解決するための手段】
【0006】
上記課題を解決する一態様は、表示面にオブジェクト画像を表示させる表示装置と、使用者の頭部に装着され、オブジェクト画像を、外景とともに視認できるように表示する頭部装着型表示装置と、を備え、前記オブジェクト画像が対応づけられた実空間の位置と、前記表示面の前記実空間での位置とが記録されたマップデータを参照して、前記オブジェクト画像が対応づけられた実空間の位置と、前記表示面の前記実空間の位置とを取得し、前記頭部装着型表示装置から通知された前記頭部装着型表示装置の位置と、取得した前記オブジェクト画像が対応づけられた実空間の位置と、取得した前記表示面の前記実空間での位置とに基づき、前記オブジェクト画像を、前記表示装置と、前記頭部装着型表示装置とのいずれか一方に表示せる、ことを特徴とする表示システムである。
【0007】
上記課題を解決する別の一態様は、表示面にオブジェクト画像を表示させる表示装置と、使用者の頭部に装着され、オブジェクト画像を、外景とともに視認できるように表示する頭部装着型表示装置と、に通信可能に接続された情報処理装置であって、前記オブジェクト画像が対応づけられた実空間の位置と、前記表示面の前記実空間での位置とが記録されたマップデータを記憶した第１記憶部と、前記頭部装着型表示装置から通知された前記頭部装着型表示装置の位置と、前記オブジェクト画像が対応づけられた実空間の位置と、前記表示面の前記実空間での位置とに基づき、前記オブジェクト画像を、前記表示装置と、前記頭部装着型表示装置とのいずれか一方に表示せる制御部と、を備える、情報処理装置である。
【0008】
上記課題を解決する別の一態様は、表示面にオブジェクト画像を表示させる表示装置と、使用者の頭部に装着され、オブジェクト画像を、外景とともに視認できるように表示する頭部装着型表示装置と、を備える表示システムの表示制御方法であって、前記頭部装着型表示装置から前記頭部装着型表示装置の位置を通知する通知情報を受信し、前記オブジェクト画像が対応づけられた実空間の位置と、前記表示面の前記実空間での位置とが記録されたマップデータを参照して、前記オブジェクト画像が対応づけられた実空間の位置と、前記表示面の前記実空間での位置とを取得し、前記頭部装着型表示装置の位置と、取得した前記オブジェクト画像が対応づけられた実空間の位置と、取得した前記表示面の前記実空間での位置とに基づき、前記オブジェクト画像を、前記表示装置と、前記頭部装着型表示装置とのいずれか一方に表示せる、ことを特徴とする表示システムの表示制御方法である。
【図面の簡単な説明】
【0009】
【図1】表示システムの概略構成を示す図。
【図2】プロジェクターの構成を示すブロック構成図。
【図3】ＨＭＤの構成を示すブロック構成図。
【図4】情報処理装置の構成を示すブロック構成図。
【図5】使用者の視野範囲を示す図である。
【図6】オブジェクト画像の表示面での表示位置を示す図。
【図7】オブジェクト画像の表示面での表示位置を示す図。
【図8】表示システムにより表示されるオブジェクト画像の例を示す図。
【図9】情報処理装置の動作を示すフローチャート。
【発明を実施するための形態】
【0010】
以下、本発明の実施形態について図面を参照しながら説明する。
図１は、表示システム１の概略構成を示す図である。
表示システム１は、プロジェクター１００と、頭部装着型表示装置２００と、情報処理装置３００とを備える。プロジェクター１００は、本発明の表示装置に相当する。情報処理装置３００は、プロジェクター１００及び頭部装着型表示装置２００にデータ通信可能に接続される。図１には、情報処理装置３００とプロジェクター１００とをケーブルにより有線接続し、情報処理装置３００とＨＭＤ２００とを無線により接続した例を示すが、情報処理装置３００とプロジェクター１００とを無線により接続してもよい。以下では、頭部装着型表示装置２００を、ＨＭＤ２００と表記する。ＨＭＤは、Ｈｅａｄ Ｍｏｕｎｔｅｄ Ｄｉｓｐｌａｙを省略した表記である。
図１は、表示システム１の概略構成を示す図である。
表示システム１は、プロジェクター１００と、頭部装着型表示装置２００と、情報処理装置３００とを備える。プロジェクター１００は、本発明の表示装置に相当する。情報処理装置３００は、プロジェクター１００及び頭部装着型表示装置２００にデータ通信可能に接続される。図１には、情報処理装置３００とプロジェクター１００とをケーブルにより有線接続し、情報処理装置３００とＨＭＤ２００とを無線により接続した例を示すが、情報処理装置３００とプロジェクター１００とを無線により接続してもよい。以下では、頭部装着型表示装置２００を、ＨＭＤ２００と表記する。ＨＭＤは、Ｈｅａｄ Ｍｏｕｎｔｅｄ Ｄｉｓｐｌａｙを省略した表記である。
【0011】
図１には、プロジェクター１００と情報処理装置３００とを１台ずつ示し、ＨＭＤ２００としてＨＭＤ２００Ａと、ＨＭＤ２００Ｂとの２台を示すが、プロジェクター１００、ＨＭＤ２００及び情報処理装置３００の台数は任意である。例えば、情報処理装置３００に複数のプロジェクター１００及び複数のＨＭＤ２００を接続した構成であってもよい。また、複数のプロジェクター１００及び複数のＨＭＤ２００を接続した情報処理装置３００を複数設けてもよい。以下の説明において、ＨＭＤ２００Ａ及びＨＭＤ２００Ｂを総称する場合、ＨＭＤ２００と表記する。ＨＭＤ２００Ａは、本発明の第１頭部装着型表示装置に相当し、ＨＭＤ２００Ｂは、本発明の第２頭部装着型表示装置に相当する。
【0012】
プロジェクター１００は、情報処理装置３００から供給されるコンテンツデータ３６３に基づく画像光を生成し、生成した画像光を表示面１０に投射する。表示面１０は、幕状のスクリーンであってもよいし、建造物の外壁や室内の壁面、設置物の平面等を表示面１０としてもよい。また、表示面１０は、平面に限らず、曲面や凹凸を有する面であってもよい。
【0013】
ＨＭＤ２００は、使用者Ｕの頭部に装着される画像表示部２１０と、この画像表示部２１０を制御する制御装置２３０と備える。ＨＭＤ２００は、情報処理装置３００から受信したコンテンツデータ３６３に基づく画像を画像表示部２１０により表示させる。ＨＭＤ２００は、画像表示部２１０を頭部に装着した使用者Ｕに虚像を視認させるとともに、外景も直接視認可能な光学透過型の表示装置である。
【0014】
また、制御装置２３０は、ＨＭＤ２００のために専用に設けられた装置であってもよいし、画像表示部２１０に接続した接続装置を介して、スマートフォン等の外部装置を接続する構成であってもよい。接続装置を介して外部装置を接続する構成の場合、接続装置は、画像表示部２１０が備える各種センサーを動作させたり、外部装置から入力される映像データや表示データに基づき、画像表示部２１０に画像を表示させたりする処理を実行する。
【0015】
情報処理装置３００は、プロジェクター１００やＨＭＤ２００にコンテンツデータ３６３を供給する装置である。より詳細には、情報処理装置３００は、ＨＭＤ２００から通知されるＨＭＤ２００の位置情報に基づき、コンテンツデータ３６３に基づく画像をＨＭＤ２００に表示させるのか、プロジェクター１００に表示させるのかを選択する。情報処理装置３００は、選択したＨＭＤ２００又はプロジェクター１００にコンテンツデータ３６３を送信し、コンテンツデータ３６３に基づく画像を表示させる。
【0016】
ＨＭＤ２００や、プロジェクター１００は、コンテンツデータ３６３に基づく画像の一例として、オブジェクト画像５００を表示する。オブジェクト画像５００は、例えば、テーブルや、机、家具、家等の静止物であってもよいし、動物や人等の動体であってもよい。
ＨＭＤ２００により表示されるオブジェクト画像５００は、仮想オブジェクトとして表示される。仮想オブジェクトは、実空間には存在しないが、使用者Ｕが画像表示部２１０を通して視認することで実空間に重畳され、あたかも実空間に存在するように使用者Ｕに感じさせる画像である。プロジェクター１００は、オブジェクト画像５００を表示面１０に表示させる。
ＨＭＤ２００により表示されるオブジェクト画像５００は、仮想オブジェクトとして表示される。仮想オブジェクトは、実空間には存在しないが、使用者Ｕが画像表示部２１０を通して視認することで実空間に重畳され、あたかも実空間に存在するように使用者Ｕに感じさせる画像である。プロジェクター１００は、オブジェクト画像５００を表示面１０に表示させる。
【0017】
図２は、プロジェクター１００の構成を示すブロック構成図である。
図２を参照しながらプロジェクター１００の構成について説明する。
プロジェクター１００は、通信部１１０、画像処理部１２０、フレームメモリー１３０、駆動部１４０、投射部１５０及びＰＪ制御部１６０を備える。
図２を参照しながらプロジェクター１００の構成について説明する。
プロジェクター１００は、通信部１１０、画像処理部１２０、フレームメモリー１３０、駆動部１４０、投射部１５０及びＰＪ制御部１６０を備える。
【0018】
通信部１１０は、所定の通信規格に準拠したコネクター及びインターフェイス回路を備え、ケーブルを介して接続された情報処理装置３００とデータの送受信を行う。通信部１１０は、情報処理装置３００からコンテンツデータ３６３を受信すると、受信したコンテンツデータ３６３をＰＪ制御部１６０に出力する。
【0019】
画像処理部１２０には、ＰＪ制御部１６０から画像データが入力される。画像データは、コンテンツデータ３６３に含まれるデータである。画像処理部１２０は、ＰＪ制御部１６０から入力された画像データをフレームメモリー１３０に展開する。画像処理部１２０は、フレームメモリー１３０に展開した画像データに対して、例えば、解像度変換処理又はリサイズ処理、歪曲収差の補正、形状補正処理、デジタルズーム処理、画像の色合いや輝度の調整等の画像処理を行う。画像処理部１２０は、上記のうち複数の画像処理を組み合わせて実行することも勿論可能である。画像処理部１２０は、画像処理が終了すると、フレームメモリー１３０に展開された画像データに対応した表示信号を生成し、生成した表示信号を駆動部１４０に出力する。
【0020】
駆動部１４０は、画像処理部１２０から入力された表示信号に基づいて光変調装置１５１を駆動する。また、駆動部１４０は、ＰＪ制御部１６０の制御に従い、光源を点灯させたり、消灯させたり、投射光学系のズームやフォーカスを調整する。
【0021】
投射部１５０は、光変調装置１５１及び投射光学系１５３を備える。光変調装置１５１は、例えば、赤、緑及び青の色ごとに設けられた３枚の液晶パネルを備える。光変調装置１５１は、駆動部１４０によって駆動され、３枚の液晶パネルの光透過率が変更される。具体的には、３枚の液晶パネルの光透過率が表示信号に対応した光透過率に変更される。光源が射出した光が、光変調装置１５１を透過することで、表示信号に対応した画像光が生成される。投射光学系１５３は、レンズやミラー等の光学素子を備え、光変調装置１５１で生成された画像光を表示面１０に結像させる。
【0022】
ＰＪ制御部１６０は、ＰＪ記憶部１６１及びプロセッサー１６３を備える。
ＰＪ記憶部１６１は、例えば、ＲＯＭやＲＡＭ、フラッシュメモリー等のメモリーを備える。ＲＯＭは、Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙを省略した表記であり、ＲＡＭは、Ｒａｎｄｏｍ ａｃｃｅｓｓ ｍｅｍｏｒｙを省略した表記である。
ＰＪ記憶部１６１は、プロセッサー１６３が実行するプログラムや、プロセッサー１６３により処理される各種データを不揮発的に記憶する。
ＰＪ記憶部１６１は、例えば、ＲＯＭやＲＡＭ、フラッシュメモリー等のメモリーを備える。ＲＯＭは、Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙを省略した表記であり、ＲＡＭは、Ｒａｎｄｏｍ ａｃｃｅｓｓ ｍｅｍｏｒｙを省略した表記である。
ＰＪ記憶部１６１は、プロセッサー１６３が実行するプログラムや、プロセッサー１６３により処理される各種データを不揮発的に記憶する。
【0023】
ＰＪ制御部１６０は、プロセッサー１６３がプログラムを実行することで、プロジェクター１００の各部を制御する。ＰＪ制御部１６０がプロジェクター１００の各部を制御することで、プロジェクター１００は、情報処理装置３００から受信したコンテンツデータ３６３に基づく画像光を生成し、生成した画像光を表示面１０に表示させる。
【0024】
プロジェクター１００は、いわゆるプロジェクションマッピングにより建物等の３次元的な投射対象に映像等のコンテンツを表示させることができる。また、プロジェクター１００は、複数台のプロジェクター１００を並べて配置し、並べて配置された複数台のプロジェクター１００により表示面１０に画像を投射するマルチプロジェクションを行うことも可能である。
【0025】
次に、図３を参照しながらＨＭＤ２００の構成について説明する。
なお、ＨＭＤ２００ＡとＨＭＤ２００Ｂとは、同一の構成を備えるため、ここでは、ＨＭＤ２００の構成として説明する。
画像表示部２１０は、図１に示すように眼鏡形状の部材である。画像表示部２１０は、右保持部２１と、左保持部２３と、前部フレーム２７とを有する本体に、右表示部２２、左表示部２４、右導光板２６及び左導光板２８を備える。また、画像表示部２１０には、センサーとして、カメラ２１１、地磁気センサー２１３及び６軸センサー２１５が搭載される。
なお、ＨＭＤ２００ＡとＨＭＤ２００Ｂとは、同一の構成を備えるため、ここでは、ＨＭＤ２００の構成として説明する。
画像表示部２１０は、図１に示すように眼鏡形状の部材である。画像表示部２１０は、右保持部２１と、左保持部２３と、前部フレーム２７とを有する本体に、右表示部２２、左表示部２４、右導光板２６及び左導光板２８を備える。また、画像表示部２１０には、センサーとして、カメラ２１１、地磁気センサー２１３及び６軸センサー２１５が搭載される。
【0026】
右保持部２１及び左保持部２３は、前部フレーム２７の両端部から後方に延び、使用者Ｕの頭部に画像表示部２１０を保持する。
前部フレーム２７は、右導光板２６の一端と左導光板２８の一端とを互いに連結した形状を有し、この連結位置は、使用者Ｕが画像表示部２１０を装着する装着状態で、使用者Ｕの眉間に対応する。
前部フレーム２７は、右導光板２６の一端と左導光板２８の一端とを互いに連結した形状を有し、この連結位置は、使用者Ｕが画像表示部２１０を装着する装着状態で、使用者Ｕの眉間に対応する。
【0027】
右表示部２２及び左表示部２４は、それぞれ、光学ユニット及び周辺回路をユニット化したモジュールである。右表示部２２は、右導光板２６により画像を表示させ、左表示部２４は左導光板２８により画像を表示させる。右表示部２２は右保持部２１に取り付けられ、左表示部２４は左保持部２３に取り付けられる。
【0028】
右表示部２２は、右眼に画像を視認させる構成として、画像光を発する右ＯＬＥＤユニットや、右ＯＬＥＤユニットが発する画像光を右導光板２６に導く右光学系を備える。ＯＬＥＤはＯｒｇａｎｉｃ Ｌｉｇｈｔ Ｅｍｉｔｔｉｎｇ Ｄｉｏｄｅを省略した表記である。右ＯＬＥＤユニットや、右光学系の図示は省略する。
左表示部２４は、左眼に画像を視認させる構成として、画像光を発する左ＯＬＥＤユニットや、左ＯＬＥＤユニットが発する画像光を左導光板２８に導く左光学系を備える。左ＯＬＥＤユニットや、左光学系の図示は省略する。
左表示部２４は、左眼に画像を視認させる構成として、画像光を発する左ＯＬＥＤユニットや、左ＯＬＥＤユニットが発する画像光を左導光板２８に導く左光学系を備える。左ＯＬＥＤユニットや、左光学系の図示は省略する。
【0029】
カメラ２１１は、前部フレーム２７において、右導光板２６及び左導光板２８を透過する外光を遮らない位置に設けられる。カメラ２１１は、ＣＣＤやＣＭＯＳ等の撮像素子及び撮像レンズ等を備えるデジタルカメラであり、単眼カメラであってもよいし、ステレオカメラであってもよい。カメラ２１１の画角は、画像表示部２１０を装着した使用者Ｕが右導光板２６及び左導光板２８を透過して視認する外景の範囲の少なくとも一部を含む。
【0030】
地磁気センサー２１３は、Ｘ軸方向、Ｙ軸方向及びＺ軸方向における磁界を検出する３軸のセンサーである。Ｘ軸、Ｙ軸及びＺ軸は、図１に示すように相互に直交する３軸方向であり、Ｚ軸方向が鉛直方向に対応し、Ｘ軸方向が使用者Ｕの頭部の左右方向に対応し、Ｙ軸方向が使用者Ｕの頭部の前後方向に対応する。
【0031】
６軸センサー２１５は、３軸加速度センサー及び３軸ジャイロセンサーを備えるモーションセンサーである。６軸センサー２１５は、上記のセンサーがモジュール化されたＩＭＵを採用してもよい。
【0032】
６軸センサー２１５及び地磁気センサー２１３は、例えば、５０ｍｓｅｃ等の所定の周期毎にサンプリングを実行し、検出結果を示すアナログ電圧値を出力する。出力された電圧値は、Ａ／Ｄ変換器によってデジタル信号に変換され、ＨＭＤ制御部２５０に出力される。
【0033】
次に、制御装置２３０について説明する。
制御装置２３０は、操作部２３１、通信部２３３、ビーコン受信部２３５及びＨＭＤ制御部２５０を備える。
制御装置２３０は、操作部２３１、通信部２３３、ビーコン受信部２３５及びＨＭＤ制御部２５０を備える。
【0034】
操作部２３１は、ボタンやスイッチ等を備え、使用者Ｕの操作を受け付ける受付部である。操作部２３１は、受け付けた操作に対応した操作信号を制御装置２３０に出力する。
【0035】
通信部２３３は、ＢｌｕｅｔｏｏｔｈやＷｉ－Ｆｉ等の無線通信プロトコルに対応し、情報処理装置３００との無線通信を実行する。Ｂｌｕｅｔｏｏｔｈ及びＷｉ－Ｆｉは登録商標である。
【0036】
ビーコン受信部２３５は、ビーコン信号を受信する。
フィールドには、ビーコン信号を送信する複数のビーコン装置が設置される。フィールドとは、プロジェクター１００や情報処理装置３００、表示面１０が設置され、使用者Ｕが移動可能な領域であり、屋外であってもよいし、屋内であってもよい。ビーコン受信部２３５は、これらのビーコン装置から送信されるビーコン信号を受信する。
フィールドには、ビーコン信号を送信する複数のビーコン装置が設置される。フィールドとは、プロジェクター１００や情報処理装置３００、表示面１０が設置され、使用者Ｕが移動可能な領域であり、屋外であってもよいし、屋内であってもよい。ビーコン受信部２３５は、これらのビーコン装置から送信されるビーコン信号を受信する。
【0037】
ＨＭＤ制御部２５０は、ＨＭＤ記憶部２６０及びプロセッサー２７０を備える。
【0038】
ＨＭＤ記憶部２６０は、ＲＯＭやＲＡＭを備える。また、ＨＭＤ記憶部２６０は、ＲＯＭやＲＡＭに加えてフラッシュメモリー等の不揮発性メモリーを備える構成であってもよい。ＨＭＤ記憶部２６０は、本発明の第２記憶部に相当する。
ＨＭＤ記憶部２６０は、プロセッサー２７０が実行するプログラムや、プロセッサー２７０により処理される各種データを不揮発的に記憶する。例えば、ＨＭＤ記憶部２６０は、プロセッサー２７０が実行する基本制御プログラムとしてのオペレーティングシステム、及び、オペレーティングシステム上で動作するアプリケーションプログラム等を記憶する。また、プロセッサー２７０は、アプリケーションプログラムの実行時に処理されるデータや処理結果のデータを記憶する。
ＨＭＤ記憶部２６０は、プロセッサー２７０が実行するプログラムや、プロセッサー２７０により処理される各種データを不揮発的に記憶する。例えば、ＨＭＤ記憶部２６０は、プロセッサー２７０が実行する基本制御プログラムとしてのオペレーティングシステム、及び、オペレーティングシステム上で動作するアプリケーションプログラム等を記憶する。また、プロセッサー２７０は、アプリケーションプログラムの実行時に処理されるデータや処理結果のデータを記憶する。
【0039】
また、ＨＭＤ記憶部２６０は、ＨＭＤ２００を識別する識別情報２６５を記憶する。さらに、ＨＭＤ記憶部２６０は、ビーコン信号を送信するビーコン装置のフィールド内での設置位置を示す位置情報や、各ビーコン装置を識別する識別情報を記憶する。
【0040】
プロセッサー２７０は、ＣＰＵ、マイコン、ＤＳＰ等で構成され、プログラムを実行することにより制御装置２３０の各部を制御する。プロセッサー２７０は、プロセッサー２７０及びＨＭＤ記憶部２６０を統合したＳｏＣであってもよい。ＤＳＰは、Ｄｉｇｉｔａｌ Ｓｉｇｎａｌ Ｐｒｏｃｅｓｓｏｒを省略した表記である。ＳｏＣは、Ｓｙｓｔｅｍ－ｏｎ－ａ－ｃｈｉｐを省略した表記である。
【0041】
ＨＭＤ制御部２５０は、ＨＭＤ記憶部２６０が記憶するプログラムをプロセッサー２７０が実行することで各種の機能的構成を実現する。ＨＭＤ制御部２５０は、機能的構成として、通信制御部２７１、位置検出部２７３、頭部向き検出部２７５、音声処理部２７７、表示制御部２７９及び検出制御部２８１を備える。
【0042】
通信制御部２７１は、通信部２３３を制御して情報処理装置３００とのデータ通信を実行する。
【0043】
位置検出部２７３は、６軸センサー２１５に含まれる３軸の加速度センサー及び３軸のジャイロセンサーのセンサーデータに基づいて、ＨＭＤ２００の移動量や移動方向を検出する。位置検出部２７３は、検出した移動量及び移動方向に基づき、フィールド内でのＨＭＤ２００の位置を検出する。
【0044】
また、位置検出部２７３は、ビーコン受信部２３５が受信したビーコン信号に基づいてフィールド内でのＨＭＤ２００の位置を検出する。位置検出部２７３は、少なくとも３つのビーコン装置からビーコン信号を受信し、受信したビーコン信号の信号強度に基づき、ビーコン信号の送信元のビーコン装置とＨＭＤ２００との距離を推定する。そして、位置検出部２７３は、推定した少なくとも３つのビーコン装置とＨＭＤ２００との距離に基づき、３点測位又は４点測位によりＨＭＤ２００の現在位置を推定する。位置検出部２７３がビーコン信号に基づいて現在位置を推定するためには、ＨＭＤ２００を静止させた状態で、少なくとも３つのビーコン装置からビーコン信号を受信する必要がある。このため、ビーコン装置は、複数のビーコン装置が送信するビーコン信号の到達範囲が一部分で重なるように配置し、ビーコン装置の送信電力を設定する必要がある。また、複数のビーコン装置を近接して配置する場合、ビーコン信号の送信タイミングが一致しないように送信期間が調整される。これは、ＨＭＤ２００が複数のビーコン装置から送信されるビーコン信号を同時に受信した場合に、一部のビーコン信号の受信に失敗したり、ビーコン信号に重畳された情報の取得に失敗したりする確率を高めてしまうのを防ぐためである。
また、位置検出部２７３は、ビーコン信号の信号強度に基づいて検出したＨＭＤ２００の位置を、６軸センサー２１５に含まれる３軸の加速度センサーや、３軸のジャイロセンサーのセンサーデータにより補正する構成であってもよい。
また、位置検出部２７３は、ビーコン信号の信号強度に基づいて検出したＨＭＤ２００の位置を、６軸センサー２１５に含まれる３軸の加速度センサーや、３軸のジャイロセンサーのセンサーデータにより補正する構成であってもよい。
【0045】
頭部向き検出部２７５は、６軸センサー２１５や地磁気センサー２１のセンサーデータに基づき、使用者Ｕの頭部の位置や動きを検出する。また、頭部向き検出部２７５は、使用者Ｕの頭部を含む上半身の動きを検出してもよい。
頭部向き検出部２７５は、地磁気センサー２１３のセンサーデータに基づいて、使用者Ｕの頭部が向いた方向を示す方位角を検出する。方位角は、本発明の頭部の向きに相当する。また、頭部向き検出部２７５は、６軸センサー２１５に含まれるジャイロセンサーのセンサーデータに基づき、頭部のＸ軸周りの回転角であるピッチ角を検出する。検出されるピッチ角は、頭部の左右方向に設定したＸ軸、及び頭部の前後方向に設定したＹ軸を含む面である水平面に対する傾きとなる。この傾きが、仰角又は俯角となる。仰角又は俯角が、本発明の鉛直方向に対する頭部の角度に相当する。
頭部向き検出部２７５は、地磁気センサー２１３のセンサーデータに基づいて、使用者Ｕの頭部が向いた方向を示す方位角を検出する。方位角は、本発明の頭部の向きに相当する。また、頭部向き検出部２７５は、６軸センサー２１５に含まれるジャイロセンサーのセンサーデータに基づき、頭部のＸ軸周りの回転角であるピッチ角を検出する。検出されるピッチ角は、頭部の左右方向に設定したＸ軸、及び頭部の前後方向に設定したＹ軸を含む面である水平面に対する傾きとなる。この傾きが、仰角又は俯角となる。仰角又は俯角が、本発明の鉛直方向に対する頭部の角度に相当する。
【0046】
ＨＭＤ制御部２５０は、ＨＭＤ２００の位置を示す位置情報と、頭部の向きを示す方位角情報、及び仰角又は俯角情報と、ＨＭＤ２００の識別情報とを含む通知情報を、所定時間ごとに情報処理装置３００に送信する。
【0047】
音声処理部２７７は、情報処理装置３００から受信したコンテンツデータ３６３に音声データが含まれる場合、コンテンツに含まれる音声を処理してイヤホン２２０より出力させる。
【0048】
表示制御部２７９は、情報処理装置３００から受信したコンテンツデータ３６３に含まれる映像データに基づき、画像表示部２１０に画像を表示させるための各種処理を実行する。表示制御部２７９は、映像データからフレームの切り出し、解像度変換、スケーリング、中間フレーム生成、フレームレート変換等の各種処理を実行し、各種処理を実行後の映像データを左表示部２４及び右表示部２２に出力する。
【0049】
検出制御部２８１は、カメラ２１１の撮影画像を解析して、使用者Ｕが行った操作を検出する。カメラ２１１及び検出制御部２８１は、本発明の受付部に相当する。
検出制御部２８１は、画像表示部２１０によりオブジェクト画像５００を表示している状態で、予め設定された操作を操作部２３１が受け付けると、カメラ２１１の撮影画像から使用者Ｕの手の画像を検出して、オブジェクト画像５００の移動量及び移動方向を指定する操作を受け付ける。検出制御部２８１は、連続して撮影されたカメラ２１１の撮影画像から検出される手の画像に基づいて、使用者Ｕの手が動いた方向である移動方向や、使用者Ｕの手が動いた移動量を検出する。この他、使用者Ｕは、操作部２３１を操作して、オブジェクト画像５００を対応づけるフィールド内の位置を移動させる移動方向、及び移動量を入力してもよい。
検出制御部２８１は、画像表示部２１０によりオブジェクト画像５００を表示している状態で、予め設定された操作を操作部２３１が受け付けると、カメラ２１１の撮影画像から使用者Ｕの手の画像を検出して、オブジェクト画像５００の移動量及び移動方向を指定する操作を受け付ける。検出制御部２８１は、連続して撮影されたカメラ２１１の撮影画像から検出される手の画像に基づいて、使用者Ｕの手が動いた方向である移動方向や、使用者Ｕの手が動いた移動量を検出する。この他、使用者Ｕは、操作部２３１を操作して、オブジェクト画像５００を対応づけるフィールド内の位置を移動させる移動方向、及び移動量を入力してもよい。
【0050】
検出制御部２８１は、手の移動量や移動方向を検出すると、検出した移動量や移動方向を示す情報を情報処理装置３００に送信する。情報処理装置３００は、ＨＭＤ２００から移動量及び移動方向を示す情報を受信すると、後述する３次元マップデータ３６１に記録されたオブジェクト画像５００が対応づけられたフィールドの位置を書き換える。
【0051】
次に、図４を参照しながら情報処理装置３００の構成について説明する。図４は、情報処理装置３００の構成を示すブロック構成図である。
情報処理装置３００は、いわゆるコンピューター装置であり、ノートＰＣデスクトップＰＣが用いられる。ＰＣは、Ｐｅｒｓｏｎａｌ Ｃｏｍｐｕｔｅｒを省略した表記である。情報処理装置３００は、第１通信部３１０、第２通信部３２０、入出力Ｉ／Ｆ３３０、表示部３３１、入力装置３３３及び処理制御部３５０を備える。第１通信部３１０、第２通信部３２０、入出力Ｉ／Ｆ３３０及び処理制御部３５０は、バス３０５を介して相互に接続される。Ｉ／Ｆは、Ｉｎｔｅｒｆａｃｅを省略した表記である。
情報処理装置３００は、いわゆるコンピューター装置であり、ノートＰＣデスクトップＰＣが用いられる。ＰＣは、Ｐｅｒｓｏｎａｌ Ｃｏｍｐｕｔｅｒを省略した表記である。情報処理装置３００は、第１通信部３１０、第２通信部３２０、入出力Ｉ／Ｆ３３０、表示部３３１、入力装置３３３及び処理制御部３５０を備える。第１通信部３１０、第２通信部３２０、入出力Ｉ／Ｆ３３０及び処理制御部３５０は、バス３０５を介して相互に接続される。Ｉ／Ｆは、Ｉｎｔｅｒｆａｃｅを省略した表記である。
【0052】
第１通信部３１０は、所定の通信規格に準拠したコネクター及びインターフェイス回路を備え、ケーブルを介して接続されたプロジェクター１００とデータの送受信を行う。
【0053】
第２通信部３２０は、ＢｌｕｅｔｏｏｔｈやＷｉ－Ｆｉ等の無線通信プロトコルに対応し、ＨＭＤ２００ＡやＨＭＤ２００Ｂと無線通信を実行する。
【0054】
入出力Ｉ／Ｆ３３０は、表示部３３１や、入力装置３３３に接続され、バス３０５を介して入力したデータを表示部３３１に出力したり、入力装置３３３から入力されるデータを処理制御部３５０に出力したりする。
【0055】
表示部３３１は、例えば、液晶パネル等の表示パネルを備え、処理制御部３５０により生成された表示画像を表示させる。液晶パネルの図示は省略する。
【0056】
入力装置３３３は、マウスやキーボード等の入力デバイスを備え、使用者の操作を受け付ける。入力装置３３３は、受け付けた操作に対応した操作信号を、入出力Ｉ／Ｆ３３０を介して処理制御部３５０に出力する。なお、使用者は、ＨＭＤ２００の画像表示部２１０を頭部に装着した使用者Ｕとは異なる。
【0057】
処理制御部３５０は、処理装置記憶部３６０及びプロセッサー３７０を備える。処理装置記憶部３６０は、ＲＯＭやＲＡＭ、フラッシュメモリー等のメモリーや、ＨＤＤやＳＳＤ等のストレージ装置を備える。ＨＤＤは、Ｈａｒｄ Ｄｉｓｋ Ｄｒｉｖｅを省略した表記であり、ＳＳＤは、Ｓｏｌｉｄ Ｓｔａｔｅ Ｄｒｉｖｅを省略した表記である。処理装置記憶部３６０は、本発明の第１記憶部に相当する。
【0058】
処理装置記憶部３６０は、基本制御プログラムとしてのオペレーティングシステムや、オペレーティングシステム上で動作するアプリケーションプログラムを記憶する。また、処理装置記憶部３６０は、プロジェクター１００により表示面１０に表示させる背景画像のデータである背景画像データを記憶する。
【0059】
さらに、処理装置記憶部３６０は、３次元マップデータ３６１、コンテンツデータ３６３及び識別情報登録テーブル３６５を記憶する。３次元マップデータ３６１は、本発明のマップデータに相当する。
【0060】
３次元マップデータ３６１には、オブジェクト画像５００や表示面１０が対応付けられたフィールド内の位置を示す情報が登録される。フィールドは、本発明の実空間に相当する。フィールド内での位置を示す情報は、フィールドに設定された３次元直交座標系の座標情報であってもよいし、フィールド内の位置を示す緯度や経度であってもよい。本実施形態では、フィールドの位置を示す情報が３次元直交座標系の座標情報である場合について説明する。以下では、３次元直交座標系の座標軸を、ｘ軸、ｙ軸及びｚ軸と表記する。ｚ軸は、フィールドの鉛直方向に延びる軸であり、ｘ軸は、ｚ軸に対して垂直な軸であり、ｙ軸は、ｚ軸及びｘ軸に対して垂直な軸である。また、以下では、オブジェクト画像５００や表示面１０が対応付けられたフィールド内の位置を対応位置という。
【0061】
３次元マップデータ３６１に登録されたオブジェクト画像５００の対応位置を示す座標情報は、入力装置３３３の操作により変更することができる。処理制御部３５０は、オブジェクト画像５００の対応位置を変更する操作を入力装置３３３により受け付けると、受け付けた操作に応じて、３次元マップデータ３６１に登録したオブジェクト画像５００の対応位置を示す座標情報を書き換える。
【0062】
コンテンツデータ３６３は、オブジェクト画像５００の画像データである。コンテンツデータ３６３は、静止画の画像データであってもよいし、動画像の画像データであってもよい。また、コンテンツデータ３６３は、音声データを含んでもよい。
【0063】
コンテンツデータ３６３には、オブジェクト画像５００をＡＲにより表示するためのデータが含まれる。ＡＲは、Ａｕｇｍｅｎｔｅｄ Ｒｅａｌｉｔｙを省略した表記である。ＡＲ表示された仮想オブジェクトの画像は、使用者Ｕが画像表示部２１０を通して視認する外景、すなわち実空間の景色や物体に重ねて視認される画像である。ＡＲ表示された仮想オブジェクトの画像を表示するときの外景の視認性は、右表示部２２及び左表示部２４がそれぞれ発する画像光の光量と、画像表示部２１０の外から使用者Ｕの右眼及び左眼に入射する外光の光量との比により特定される。
【0064】
また、コンテンツデータ３６３には、オブジェクト画像５００を立体表示するためのデータが含まれる。オブジェクト画像５００を立体表示するためのデータは、動画像でも静止画像でもよい。オブジェクト画像５００を立体表示するためのデータには、右表示部２２により表示される右眼用の画像データと、左表示部２４により表示される左眼用の画像データとを含む。右眼用の画像データと左眼用の画像データとの視差は、予め設定されてもよい。また、この視差は、ＨＭＤ２００により調整可能であってもよく、使用者Ｕの操作により視差を指定できる構成であってもよい。
【0065】
識別情報登録テーブル３６５は、ＨＭＤ２００の識別情報と、処理装置記憶部３６０が記憶するコンテンツデータ３６３の識別情報とを対応づけて登録したテーブルである。処理装置記憶部３６０が記憶するコンテンツデータ３６３には、予め設定された特定の使用者Ｕだけが視認又は試聴を許可されるコンテンツが含まれる。識別情報登録テーブル３６５には、特定の使用者Ｕにだけ視認又は試聴が許可されたコンテンツの識別情報と、このコンテンツの視認又は試聴を許可された使用者Ｕが装着するＨＭＤ２００の識別情報とが対応づけて登録される。
【0066】
プロセッサー３７０は、ＣＰＵ、マイコン、ＤＳＰ等で構成され、プログラムを実行することにより情報処理装置３００の各部を制御する。プロセッサー３７０は、プロセッサー３７０及び処理装置記憶部３６０を統合したＳｏＣであってもよい。
【0067】
処理制御部３５０は、プロセッサー３７０が、処理装置記憶部３６０が記憶するオペレーティングシステムや、アプリケーションプログラムを実行することで各種の機能的構成を実現する。
【0068】
次に、処理制御部３５０の動作について説明する。
情報処理装置３００の第２通信部３２０は、ＨＭＤ２００から送信される通知情報を受信する。第２通信部３２０は、ＨＭＤ２００が所定時間ごとに送信する通知情報を受信する。第２通信部３２０が受信した通知情報は、処理制御部３５０に入力される。処理制御部３５０は、通知情報が入力されることで処理を開始する。
情報処理装置３００の第２通信部３２０は、ＨＭＤ２００から送信される通知情報を受信する。第２通信部３２０は、ＨＭＤ２００が所定時間ごとに送信する通知情報を受信する。第２通信部３２０が受信した通知情報は、処理制御部３５０に入力される。処理制御部３５０は、通知情報が入力されることで処理を開始する。
【0069】
処理制御部３５０は、まず、通知情報に含まれるＨＭＤ２００の位置情報や、方位角情報、及び仰角又は俯角情報を取得する。処理制御部３５０は、使用者Ｕが視認可能な視野範囲を推定する。処理制御部３５０は、取得した位置情報や、方位角情報、及び仰角又は俯角情報に基づいて使用者Ｕの視野範囲４０５を設定する。視野範囲４０５の設定方法について図５を参照しながら説明する。図５は、使用者Ｕの視野範囲４０５を示す図である。
【0070】
まず、処理制御部３５０は、取得した位置情報が示す座標を、使用者位置に設定する。使用者位置は、ＨＭＤ２００を装着した使用者Ｕの位置である。次に、処理制御部３５０は、位置情報に基づき、ＨＭＤ２００を装着した使用者Ｕの眼の位置である視点位置４０１を設定する。使用者Ｕのフィールド内での位置は、通知情報に含まれる位置情報を使用し、高さは、予め設定された所定の高さに設定される。この高さは、男女で異なる値に設定することで、より精度を高めることができる。また、使用者Ｕの伸長、又は眼までの高さを示す情報を事前に取得しておいてもよい。
【0071】
次に、処理制御部３５０は、通知情報に含まれる方位角情報、及び仰角又は俯角情報に基づき、使用者Ｕの視野範囲４０５を設定する。処理制御部３５０は、設定した視点位置４０１を基準にして方位角情報、及び仰角又は俯角情報に基づき視線方向４０３を設定する。図５には、方位角情報が方位角を角度αとし、仰角情報が示す仰角を角度βとした視線方向４０３を示す。次に、処理制御部３５０は、視線方向４０３を中心とし、この視線方向４０３から上下左右方向に所定距離の範囲を視野範囲４０５に設定する。このとき、視点位置４０１と、視野範囲４０５との水平方向の距離は、予め設定された距離に設定される。例えば、使用者Ｕの位置から視線方向４０３におけるフィールドの端部までの距離であってもよい。
【0072】
処理制御部３５０は、視野範囲４０５を設定すると、視点位置４０１と、視野範囲４０５の４つの頂点とを結んだ範囲内に、対応づけられたフィールドの位置が含まれるオブジェクト画像５００を検出する。視点位置４０１と、視野範囲４０５の４つの頂点とを結んだ範囲を検出範囲という。
例えば、処理制御部３５０は、オブジェクト画像５００が対応づけられたフィールド内の位置を示す座標情報が、ｘ軸、ｙ軸及びｚ軸の３次元の情報を有している場合、検出範囲に位置が対応づけられたオブジェクト画像５００を検出する。
また、処理制御部３５０は、オブジェクト画像５００が対応づけられたフィールド内の位置を示す座標情報が、ｘ軸及びｙ軸の２次元の情報を有している場合、検出範囲を、ｘ軸及びｙ軸により構成されるｘｙ平面での範囲に変換する。処理制御部３５０は、検出範囲のｘｙ平面における範囲内に位置が対応づけられたオブジェクト画像５００を検出する。
例えば、処理制御部３５０は、オブジェクト画像５００が対応づけられたフィールド内の位置を示す座標情報が、ｘ軸、ｙ軸及びｚ軸の３次元の情報を有している場合、検出範囲に位置が対応づけられたオブジェクト画像５００を検出する。
また、処理制御部３５０は、オブジェクト画像５００が対応づけられたフィールド内の位置を示す座標情報が、ｘ軸及びｙ軸の２次元の情報を有している場合、検出範囲を、ｘ軸及びｙ軸により構成されるｘｙ平面での範囲に変換する。処理制御部３５０は、検出範囲のｘｙ平面における範囲内に位置が対応づけられたオブジェクト画像５００を検出する。
【0073】
処理制御部３５０は、オブジェクト画像５００を検出すると、検出したオブジェクト画像５００に識別情報が設定されているか否かを判定する。処理制御部３５０は、検出したオブジェクト画像５００に識別情報が設定されていない場合、検出したオブジェクト画像５００に対応したコンテンツデータ３６３を処理装置記憶部３６０から読み出す。処理制御部３５０は、読み出したコンテンツデータ３６３を、通知情報を受信したＨＭＤ２００に送信する。
【0074】
また、処理制御部３５０は、検出したオブジェクト画像５００が、識別情報が設定されたオブジェクト画像５００である場合、識別情報登録テーブル３６５を参照する。処理制御部３５０は、識別情報登録テーブル３６５を参照してオブジェクト画像５００の識別情報が、通知情報を受信したＨＭＤ２００の識別情報に対応づけられているか否かを判定する。
【0075】
オブジェクト画像５００の識別情報が、通知情報を受信したＨＭＤ２００の識別情報に対応づけられている場合、処理制御部３５０は、検出したオブジェクト画像５００に対応したコンテンツデータ３６３を処理装置記憶部３６０から読み出す。処理制御部３５０は、読み出したコンテンツデータ３６３をＨＭＤ２００に送信する。
また、処理制御部３５０は、オブジェクト画像５００の識別情報が、通知情報を受信したＨＭＤ２００の識別情報に対応づけられていない場合、コンテンツデータ３６３をＨＭＤ２００には送信しない。これにより、試聴又は視認を許可された使用者Ｕだけが、コンテンツデータ３６３を試聴又は視認することができる。
また、処理制御部３５０は、オブジェクト画像５００の識別情報が、通知情報を受信したＨＭＤ２００の識別情報に対応づけられていない場合、コンテンツデータ３６３をＨＭＤ２００には送信しない。これにより、試聴又は視認を許可された使用者Ｕだけが、コンテンツデータ３６３を試聴又は視認することができる。
【0076】
次に、設定した視野範囲４０５に含まれるオブジェクト画像５００であったが、使用者Ｕの位置と、オブジェクト画像５００の対応位置との距離が、基準距離よりも離れている場合について説明する。
処理制御部３５０は、ＨＭＤ２００の位置と、オブジェクト画像５００の対応位置との位置関係に基づき、オブジェクト画像５００をプロジェクター１００に表示させるのか、ＨＭＤ２００に表示させるのかを選択する。本実施形態では、処理制御部３５０は、ＨＭＤ２００と表示面１０との距離を基準距離として、ＨＭＤ２００との距離が、基準距離よりも近いオブジェクト画像５００をＨＭＤ２００に表示させる。また、処理制御部３５０は、ＨＭＤ２００との距離が、基準距離よりも離れているオブジェクト画像５００を、プロジェクター１００により表示面１０に表示させる。
処理制御部３５０は、ＨＭＤ２００の位置と、オブジェクト画像５００の対応位置との位置関係に基づき、オブジェクト画像５００をプロジェクター１００に表示させるのか、ＨＭＤ２００に表示させるのかを選択する。本実施形態では、処理制御部３５０は、ＨＭＤ２００と表示面１０との距離を基準距離として、ＨＭＤ２００との距離が、基準距離よりも近いオブジェクト画像５００をＨＭＤ２００に表示させる。また、処理制御部３５０は、ＨＭＤ２００との距離が、基準距離よりも離れているオブジェクト画像５００を、プロジェクター１００により表示面１０に表示させる。
【0077】
処理制御部３５０は、位置情報が示す使用者位置から表示面１０までの距離を算出する。処理制御部３５０は、例えば、使用者位置から表示面１０の中心までの距離を算出してもよい。また、処理制御部３５０は、使用者位置に最も近い表示面１０の位置、又は使用者位置から最も離れた表示面１０の位置を、表示面１０までの距離として検出してもよい。ここで算出された距離を、基準距離という。
【0078】
処理制御部３５０は、基準距離を算出すると、検出したオブジェクト画像５００に、使用者位置からの距離が、基準距離よりも離れているオブジェクト画像５００があるか否かを判定する。処理制御部３５０は、使用者位置の座標と、オブジェクト画像５００の対応位置の座標とに基づき、オブジェクト画像５００までの距離を算出し、算出した距離を基準距離と比較する。
【0079】
処理制御部３５０は、使用者位置からの距離が、基準距離よりも離れているオブジェクト画像５００を検出すると、このオブジェクト画像５００を表示面１０に表示させる画像と判定する。
処理制御部３５０は、視野範囲４０５内に対応位置が含まれるオブジェクト画像５００であって、使用者位置からの距離が、基準距離よりも離れたオブジェクト画像５００を検出した場合、このオブジェクト画像５００を表示面１０に表示させる画像と判定する。
処理制御部３５０は、視野範囲４０５内に対応位置が含まれるオブジェクト画像５００であって、使用者位置からの距離が、基準距離よりも離れたオブジェクト画像５００を検出した場合、このオブジェクト画像５００を表示面１０に表示させる画像と判定する。
【0080】
次に、処理制御部３５０は、オブジェクト画像５００を表示させる表示面１０の位置を決定する。この処理について、図６及び図７を参照しながら説明する。図６及び図７は、オブジェクト画像５００の表示面１０での対応位置を示す図である。
【0081】
まず、オブジェクト画像５００を視認可能な位置にいる使用者Ｕの人数が１人である場合について図６を参照しながら説明する。
処理制御部３５０は、図６に示すように、使用者Ｕの視点位置４０１と、オブジェクト画像５００の中心とを結ぶ直線５３１を設定し、設定した直線５３１が表示面１０と交差する位置に、オブジェクト画像５００の中心が位置するように表示面１０での表示位置を決定する。
処理制御部３５０は、図６に示すように、使用者Ｕの視点位置４０１と、オブジェクト画像５００の中心とを結ぶ直線５３１を設定し、設定した直線５３１が表示面１０と交差する位置に、オブジェクト画像５００の中心が位置するように表示面１０での表示位置を決定する。
【0082】
次に、オブジェクト画像５００を視認可能な位置にいる使用者Ｕの人数が複数である場合について図７を参照しながら説明する。ここでは、オブジェクト画像５００を視認可能な位置にいる使用者Ｕとして、使用者Ｕ１と、使用者Ｕ２の２人の使用者が存在する場合について説明する。使用者Ｕ１は、ＨＭＤ２００Ａを装着した使用者であり、使用者Ｕ２は、ＨＭＤ２００Ｂを装着した使用者である。
【0083】
処理制御部３５０は、図７に示すように、使用者Ｕ１の視点位置４０１と、オブジェクト画像５００の中心とを結ぶ第１直線５３３を設定し、使用者Ｕ２の視点位置４０１と、オブジェクト画像５００の中心とを結ぶ第２直線５３５を設定する。また、処理制御部３５０は、第１直線５３３の表示面１０との交点を第１表示位置５４１として求め、第２直線５３５の表示面１０との交点を第２表示位置５４３として求める。
【0084】
処理制御部３５０は、設定した第１直線５３３と、第２直線５３５とによって挟まれた範囲内に、オブジェクト画像５００の表示位置を設定する。例えば、処理制御部３５０は、第１表示位置５４１と第２表示位置５４３とを結ぶ第３直線５４５を設定する。さらに、処理制御部３５０は、第４直線５３７を設定する。この第４直線５３７は、第１表示位置５４１から第２表示位置５４３までの間で第３直線５４５に交差し、第１直線５３３との成す角度θ、及び第２直線５３５との成す角度θとが同一の角度になるように設定される。処理制御部３５０は、この第４直線５３７が表示面１０と交差する交差位置に、オブジェクト画像５００の中心が位置するように表示位置を決定する。
【0085】
処理制御部３５０は、オブジェクト画像５００の表示位置を決定すると、コンテンツデータ３６３と、決定した表示位置を示す位置情報とを、プロジェクター１００に出力する。プロジェクター１００は、情報処理装置３００から入力されるコンテンツデータ３６３を、設定情報が示す背景画像の表示位置に重畳させ、オブジェクト画像５００として表示面１０に表示させる。
【0086】
これにより、図８に示すように、使用者位置から表示面１０までの距離である基準距離よりも近い位置のオブジェクト画像５００は、ＨＭＤ２００によりＡＲ表示、又は立体表示されることにより、仮想オブジェクトとして使用者Ｕに認識される。また、基準距離よりも離れた位置のオブジェクト画像５００は、プロジェクター１００により表示面１０に二次元の画像として表示される。
【0087】
図８には、表示面１０を１つだけ設置した場合を示すが、表示面１０は、フィールド内に複数設置してもよい。例えば、２枚の表示面１０を貼り合わせ、２機設置したプロジェクター１００により２枚の表示面１０にそれぞれ画像を表示してもよい。この場合、貼り合わせた表示面１０の両側が、フィールドなり、貼り合わせた表示面１０の両側にオブジェクト画像５００の表示位置が設定されることになる。
【0088】
図９は、画像表示方法を実行する情報処理装置３００の動作を示すフローチャートである。図９のフローチャートを参照しながら情報処理装置３００の動作を説明する。
処理制御部３５０は、入力装置３３３により予め設定された操作を受け付けると、まず、処理装置記憶部３６０から背景画像データを読み出す。処理制御部３５０は、読み出した背景画像データをプロジェクター１００に送信する。処理装置記憶部３６０に、複数の背景画像データが記憶されている場合、処理制御部３５０は、入力装置３３３により選択された背景画像データや、入力装置３３３により選択されたテーマに対応した背景画像データを選択する。
プロジェクター１００は、情報処理装置３００から背景画像データを受信すると、受信した背景画像データに基づく画像である背景画像を表示画１０に表示させる。
処理制御部３５０は、入力装置３３３により予め設定された操作を受け付けると、まず、処理装置記憶部３６０から背景画像データを読み出す。処理制御部３５０は、読み出した背景画像データをプロジェクター１００に送信する。処理装置記憶部３６０に、複数の背景画像データが記憶されている場合、処理制御部３５０は、入力装置３３３により選択された背景画像データや、入力装置３３３により選択されたテーマに対応した背景画像データを選択する。
プロジェクター１００は、情報処理装置３００から背景画像データを受信すると、受信した背景画像データに基づく画像である背景画像を表示画１０に表示させる。
【0089】
次に、処理制御部３５０は、ＨＭＤ２００から識別情報、位置情報及び方位角情報、仰角又は俯角情報を含む通知情報を受信したか否かを判定する（ステップＳ２）。処理制御部３５０は、ＨＭＤ２００から通知情報を受信していない場合（ステップＳ２／ＮＯ）、ステップＳ１４の判定に移行する。ステップＳ２は、本発明の受信ステップに相当する。
【0090】
処理制御部３５０は、ＨＭＤ２００から通知情報を受信すると（ステップＳ２／ＹＥＳ）、プロジェクター１００により表示面１０に表示させるオブジェクト画像５００を判定する。まず、処理制御部３５０は、受信した位置情報が示す使用者Ｕの位置から表示面１０までの距離である基準距離を算出する。例えば、処理制御部３５０は、使用者Ｕの位置から表示面１０の中心までの距離を基準距離として算出する。
【0091】
次に、処理制御部３５０は、使用者Ｕの位置から、３次元マップデータ３６１に登録された対応位置までの距離が、算出した基準距離よりも離れているオブジェクト画像５００があるか否かを判定する（ステップＳ３）。使用者Ｕの現在位置からの距離が、基準距離よりも離れているオブジェクト画像５００がない場合（ステップＳ３／ＮＯ）、処理制御部３５０は、ステップＳ８の処理に移行する。ステップＳ３は、本発明の選択ステップに相当する。
【0092】
また、処理制御部３５０は、使用者Ｕの位置から対応位置までの距離が、基準距離よりも離れているオブジェクト画像５００がある場合、他のＨＭＤ２００から通知情報を受信しているか否かを判定する（ステップＳ４）。すなわち、処理制御部３５０は、表示システム１を利用する他の使用者Ｕがいるか否かを判定する。処理制御部３５０は、他のＨＭＤ２００から通知情報を受信していない場合（ステップＳ４／ＮＯ）、ステップＳ２で受信した通知情報に含まれる位置情報に基づき、オブジェクト画像５００を表示させる表示面１０の表示位置を決定する（ステップＳ６）。
【0093】
また、処理制御部３５０は、他のＨＭＤ２００から通知情報を受信している場合（ステップＳ４／ＹＥＳ）、複数の使用者Ｕの位置情報に基づき、オブジェクト画像５００を表示させる表示面１０の表示位置を決定する（ステップＳ５）。処理制御部３５０は、決定した表示位置と、オブジェクト画像５００のコンテンツデータ３６３とをプロジェクター１００に送信する（ステップＳ７）。ステップＳ７は、本発明の送信ステップに相当する。
【0094】
次に、処理制御部３５０は、通知情報を受信したＨＭＤ２００の画像表示部２１０に表示させるオブジェクト画像５００を選択する。まず、処理制御部３５０は、使用者Ｕの視野範囲４０５を設定する（ステップＳ８）。処理制御部３５０は、受信した通知情報に含まれる位置情報や、方位角情報、及び仰角又は俯角情報に基づき、使用者Ｕが視認可能な視野範囲４０５を設定する。処理制御部３５０は、視野範囲４０５を設定すると、視点位置４０１と、視野範囲４０５の４つの頂点とを結んだ範囲内に対応位置が含まれるオブジェクト画像５００を検出する（ステップＳ９）。
【0095】
次に、処理制御部３５０は、検出したオブジェクト画像５００に識別情報が設定されているか否かを判定する（ステップＳ１０）。処理制御部３５０は、検出したオブジェクト画像５００に識別情報が設定されている場合（ステップＳ１０／ＹＥＳ）、オブジェクト画像５００の識別情報に、ＨＭＤ２００の識別情報が対応づけられているか否かを判定する（ステップＳ１１）。
【0096】
処理制御部３５０は、オブジェクト画像５００の識別情報に、ＨＭＤ２００の識別情報が対応づけられていない場合（ステップＳ１１／ＮＯ）、ステップＳ１４の判定に移行する。また、処理制御部３５０は、オブジェクト画像５００の識別情報に、ＨＭＤ２００の識別情報が対応づけられている場合（ステップＳ１１／ＹＥＳ）、検出したオブジェクト画像５００のコンテンツデータ３６３を処理装置記憶部３６０から取得する（ステップＳ１２）。処理制御部３５０は、取得したコンテンツデータ３６３を該当のＨＭＤ２００に送信する（ステップＳ１３）。
【0097】
また、処理制御部３５０は、ステップＳ１０において、検出したオブジェクト画像５００に識別情報が設定されていない場合（ステップＳ１０／ＮＯ）、検出したオブジェクト画像５００のコンテンツデータ３６３を処理装置記憶部３６０から取得する（ステップＳ１２）。処理制御部３５０は、取得したコンテンツデータ３６３を該当のＨＭＤ２００に送信する（ステップＳ１３）。
【0098】
次に、処理制御部３５０は、終了操作を受け付けたか否かを判定する（ステップＳ１２）。処理制御部３５０は、終了操作を受け付けていない場合（ステップＳ１２／ＮＯ）、ステップＳ２の判定に移行する。また、処理制御部３５０は、終了操作を受け付けた場合（ステップＳ１２／ＹＥＳ）、この処理フローを終了させる。
【0099】
以上説明したように本実施形態の表示システム１は、表示面１０にオブジェクト画像５００を表示させるプロジェクター１００と、使用者Ｕの頭部に装着され、オブジェクト画像５００を、外景とともに視認できるように表示するＨＭＤ２００と、プロジェクター１００及びＨＭＤ２００に通信可能に接続された情報処理装置３００とを備える。
情報処理装置３００は、オブジェクト画像５００が対応づけられた実空間の位置と、表示面１０の実空間での位置とが記録された３次元マップデータ３６１を参照して、オブジェクト画像５００が対応づけられた実空間の位置と、表示面１０の実空間の位置とを取得する。
また、情報処理装置３００は、ＨＭＤ２００から通知されたＨＭＤ２００の位置と、取得したオブジェクト画像５００が対応づけられた実空間の位置と、取得した表示面１０の実空間での位置とに基づき、オブジェクト画像５００を、プロジェクター１００と、ＨＭＤ２００とのいずれか一方に表示せる。
情報処理装置３００は、オブジェクト画像５００が対応づけられた実空間の位置と、表示面１０の実空間での位置とが記録された３次元マップデータ３６１を参照して、オブジェクト画像５００が対応づけられた実空間の位置と、表示面１０の実空間の位置とを取得する。
また、情報処理装置３００は、ＨＭＤ２００から通知されたＨＭＤ２００の位置と、取得したオブジェクト画像５００が対応づけられた実空間の位置と、取得した表示面１０の実空間での位置とに基づき、オブジェクト画像５００を、プロジェクター１００と、ＨＭＤ２００とのいずれか一方に表示せる。
【0100】
情報処理装置３００は、ＨＭＤ２００の位置と、オブジェクト画像５００が対応づけられた実空間の位置との位置関係に基づき、オブジェクト画像５００を、プロジェクター１００と、ＨＭＤ２００とのいずれか一方に表示せる。
例えば、ＨＭＤ２００の位置と、オブジェクト画像５００が対応づけられた実空間の位置とが、ＨＭＤ２００と表示面１０との位置より近い場合には、オブジェクト画像５００を、ＨＭＤ２００に表示させることができる。また、ＨＭＤ２００の位置と、オブジェクト画像５００が対応づけられた実空間の位置とが、ＨＭＤ２００と表示面１０との位置より離れている場合には、オブジェクト画像５００を、表示面１０に表示させることができる。
従って、ＨＭＤ２００にすべてのオブジェクト画像５００を表示させる場合と比較して、ＨＭＤ２００の処理負荷を軽減させることができる。また、一部のオブジェクト画像５００が表示面１０に表示されるので、使用者Ｕに与える臨場感の低下を抑制しつつ、ＨＭＤ２００の装置の処理負荷を軽減することができる。
例えば、ＨＭＤ２００の位置と、オブジェクト画像５００が対応づけられた実空間の位置とが、ＨＭＤ２００と表示面１０との位置より近い場合には、オブジェクト画像５００を、ＨＭＤ２００に表示させることができる。また、ＨＭＤ２００の位置と、オブジェクト画像５００が対応づけられた実空間の位置とが、ＨＭＤ２００と表示面１０との位置より離れている場合には、オブジェクト画像５００を、表示面１０に表示させることができる。
従って、ＨＭＤ２００にすべてのオブジェクト画像５００を表示させる場合と比較して、ＨＭＤ２００の処理負荷を軽減させることができる。また、一部のオブジェクト画像５００が表示面１０に表示されるので、使用者Ｕに与える臨場感の低下を抑制しつつ、ＨＭＤ２００の装置の処理負荷を軽減することができる。
【0101】
ＨＭＤ２００は、地磁気センサー２１３、６軸センサー２１５及びビーコン受信部２３５と、これらから出力されるデータに基づいてＨＭＤ２００の位置を検出する位置検出部２７３を備える。ＨＭＤ２００は、位置検出部２７３が検出したＨＭＤ２００の位置を通知情報として情報処理装置３００に送信する。
また、情報処理装置３００は、処理装置制御部３５０と、３次元マップデータ３６１を記憶した処理装置記憶部３６０と、を備える。
処理装置制御部３５０は、通知情報により通知されたＨＭＤ２００の位置と、オブジェクト画像５００が対応づけられた実空間の位置との距離が、ＨＭＤ２００と表示面１０との距離より離れている場合、オブジェクト画像５００のコンテンツデータ３６３をプロジェクター１００に送信する。
プロジェクター１００は、情報処理装置３００から受信したコンテンツデータ３６３に基づくオブジェクト画像５００を表示面１０に表示させる。
例えば、ＨＭＤ２００により、オブジェクト画像５００を立体表示する場合、オブジェクト画像５００が対応づけられた実空間の位置が使用者Ｕから離れ過ぎると、使用者Ｕには、オブジェクト画像５００が立体として認識できない場合がある。このため、使用者Ｕが立体として認識できないオブジェクト画像５００を、プロジェクター１００により表示面１０に表示させることで、臨場感の低下を抑制しつつ、ＨＭＤ２００の処理負荷を軽減することができる。
また、情報処理装置３００は、処理装置制御部３５０と、３次元マップデータ３６１を記憶した処理装置記憶部３６０と、を備える。
処理装置制御部３５０は、通知情報により通知されたＨＭＤ２００の位置と、オブジェクト画像５００が対応づけられた実空間の位置との距離が、ＨＭＤ２００と表示面１０との距離より離れている場合、オブジェクト画像５００のコンテンツデータ３６３をプロジェクター１００に送信する。
プロジェクター１００は、情報処理装置３００から受信したコンテンツデータ３６３に基づくオブジェクト画像５００を表示面１０に表示させる。
例えば、ＨＭＤ２００により、オブジェクト画像５００を立体表示する場合、オブジェクト画像５００が対応づけられた実空間の位置が使用者Ｕから離れ過ぎると、使用者Ｕには、オブジェクト画像５００が立体として認識できない場合がある。このため、使用者Ｕが立体として認識できないオブジェクト画像５００を、プロジェクター１００により表示面１０に表示させることで、臨場感の低下を抑制しつつ、ＨＭＤ２００の処理負荷を軽減することができる。
【0102】
処理装置制御部３５０は、ＨＭＤ２００の位置と、オブジェクト画像５００が対応づけられた実空間の位置との距離が、ＨＭＤ２００と表示面１０との距離よりも近い場合、オブジェクト画像５００のコンテンツデータ３６３をＨＭＤ２００に送信する。
ＨＭＤ２００は、情報処理装置３００から受信したオブジェクト画像５００のコンテンツデータ３６３に基づく画像を、外景を視認可能に表示する。
従って、ＨＭＤ２００が立体表示可能なオブジェクト画像５００をＨＭＤ２００により表示させることで、使用者Ｕに与える臨場感の低下を抑制することができる。
ＨＭＤ２００は、情報処理装置３００から受信したオブジェクト画像５００のコンテンツデータ３６３に基づく画像を、外景を視認可能に表示する。
従って、ＨＭＤ２００が立体表示可能なオブジェクト画像５００をＨＭＤ２００により表示させることで、使用者Ｕに与える臨場感の低下を抑制することができる。
【0103】
ＨＭＤ２００は、使用者Ｕの頭部の向きと、鉛直方向に対する頭部の角度とを検出する頭部向き検出部２７５を備える。ＨＭＤ２００は、頭部向き検出部２７５が検出した頭部の向き及び角度を通知情報として情報処理装置３００に送信する。
処理装置制御部３５０は、通知情報により通知された頭部の向き及び角度に基づいて使用者Ｕの視野範囲４０５を推定し、推定した視野範囲４０５において視認可能な実空間の位置に対応づけられたオブジェクト画像５００を候補として検出する。また、処理装置制御部３５０は、候補として検出したオブジェクト画像５００をプロジェクター１００に表示させるのか、ＨＭＤ２００に表示させるのかを選択する。
従って、ＨＭＤ２００の使用者Ｕから視認可能なオブジェクト画像５００を候補として選択し、ＨＭＤ２００又はプロジェクター１００により表示させることができる。
処理装置制御部３５０は、通知情報により通知された頭部の向き及び角度に基づいて使用者Ｕの視野範囲４０５を推定し、推定した視野範囲４０５において視認可能な実空間の位置に対応づけられたオブジェクト画像５００を候補として検出する。また、処理装置制御部３５０は、候補として検出したオブジェクト画像５００をプロジェクター１００に表示させるのか、ＨＭＤ２００に表示させるのかを選択する。
従って、ＨＭＤ２００の使用者Ｕから視認可能なオブジェクト画像５００を候補として選択し、ＨＭＤ２００又はプロジェクター１００により表示させることができる。
【0104】
ＨＭＤ２００は、ＨＭＤ２００を識別する識別情報を記憶したＨＭＤ記憶部２６０を備える。ＨＭＤ２００は、位置検出部２７３が検出したＨＭＤ２００の位置と、ＨＭＤ２００の識別情報とを通知情報として情報処理装置３００に送信する。
処理装置記憶部３６０は、オブジェクト画像５００を識別する識別情報と、ＨＭＤ２００を識別する識別情報とを対応づけて登録した識別情報登録テーブル３６５を記憶する。
処理装置制御部３５０は、ＨＭＤ２００の位置と、オブジェクト画像５００が対応づけられた実空間の位置との距離が、ＨＭＤ２００と表示面１０との距離よりも近い場合であって、オブジェクト画像５００の識別情報が、ＨＭＤ２００の識別情報に対応付けられている場合に、ＨＭＤ２００に、オブジェクト画像５００のコンテンツデータ３６３を送信する。
従って、オブジェクト画像５００の識別情報が対応づけられたＨＭＤ２００にだけ、オブジェクト画像５００を表示させることができる。
処理装置記憶部３６０は、オブジェクト画像５００を識別する識別情報と、ＨＭＤ２００を識別する識別情報とを対応づけて登録した識別情報登録テーブル３６５を記憶する。
処理装置制御部３５０は、ＨＭＤ２００の位置と、オブジェクト画像５００が対応づけられた実空間の位置との距離が、ＨＭＤ２００と表示面１０との距離よりも近い場合であって、オブジェクト画像５００の識別情報が、ＨＭＤ２００の識別情報に対応付けられている場合に、ＨＭＤ２００に、オブジェクト画像５００のコンテンツデータ３６３を送信する。
従って、オブジェクト画像５００の識別情報が対応づけられたＨＭＤ２００にだけ、オブジェクト画像５００を表示させることができる。
【0105】
処理装置制御部３５０は、ＨＭＤ２００の位置と、オブジェクト画像５００が対応づけられた実空間の位置との距離が、ＨＭＤ２００と表示面１０との距離より離れている場合、ＨＭＤ２００の位置と、オブジェクト画像５００が対応づけられた実空間の位置とに基づきオブジェクト画像５００を表示させる表示面１０の位置を決定する。
また、処理制御部３５０は、決定した表示面１０の位置を示す位置情報を、オブジェクト画像５００のコンテンツデータ３６３と共にプロジェクター１００に送信する。
従って、ＨＭＤ２００の位置と、オブジェクト画像５００が対応づけられた実空間の位置とに基づきオブジェクト画像５００を表示させる表示面１０の位置を決定することができる。
また、処理制御部３５０は、決定した表示面１０の位置を示す位置情報を、オブジェクト画像５００のコンテンツデータ３６３と共にプロジェクター１００に送信する。
従って、ＨＭＤ２００の位置と、オブジェクト画像５００が対応づけられた実空間の位置とに基づきオブジェクト画像５００を表示させる表示面１０の位置を決定することができる。
【0106】
処理装置制御部３５０は、ＨＭＤ２００の位置と、オブジェクト画像５００が対応づけられた実空間の位置と、オブジェクト画像５００を表示させる表示面１０の位置とが直線上に並ぶように、オブジェクト画像５００を表示させる表示面１０の位置を決定する。
従って、オブジェクト画像５００が対応づけられた実空間の位置の方向に対応する表示面１０の位置に、オブジェクト画像５００を表示させることができる。
従って、オブジェクト画像５００が対応づけられた実空間の位置の方向に対応する表示面１０の位置に、オブジェクト画像５００を表示させることができる。
【0107】
表示システム１は、ＨＭＤ２００としてＨＭＤ２００Ａ及びＨＭＤ２００Ｂを備える。
処理装置制御部３５０は、ＨＭＤ２００Ａの位置と、オブジェクト画像５００が対応づけられた実空間の位置との距離が、ＨＭＤ２００Ａと表示面１０との距離より離れ、ＨＭＤ２００Ｂの位置と、オブジェクト画像５００が対応づけられた実空間の位置との距離が、ＨＭＤ２００Ｂと表示面１０との距離より離れている場合、ＨＭＤ２００Ａの位置と、ＨＭＤ２００Ｂの位置と、オブジェクト画像５００が対応づけられた実空間の位置とに基づきオブジェクト画像５００を表示させる表示面１０の位置を決定する。
処理装置制御部３５０は、決定した表示面１０の位置を示す位置情報を、オブジェクト画像５００のコンテンツデータ３６３と共にプロジェクター１００に送信する。
従って、ＨＭＤ２００Ａの位置と、ＨＭＤ２００Ｂの位置と、オブジェクト画像５００が対応づけられた実空間の位置とに基づきオブジェクト画像５００を表示させる表示面１０の位置を決定することができる。
処理装置制御部３５０は、ＨＭＤ２００Ａの位置と、オブジェクト画像５００が対応づけられた実空間の位置との距離が、ＨＭＤ２００Ａと表示面１０との距離より離れ、ＨＭＤ２００Ｂの位置と、オブジェクト画像５００が対応づけられた実空間の位置との距離が、ＨＭＤ２００Ｂと表示面１０との距離より離れている場合、ＨＭＤ２００Ａの位置と、ＨＭＤ２００Ｂの位置と、オブジェクト画像５００が対応づけられた実空間の位置とに基づきオブジェクト画像５００を表示させる表示面１０の位置を決定する。
処理装置制御部３５０は、決定した表示面１０の位置を示す位置情報を、オブジェクト画像５００のコンテンツデータ３６３と共にプロジェクター１００に送信する。
従って、ＨＭＤ２００Ａの位置と、ＨＭＤ２００Ｂの位置と、オブジェクト画像５００が対応づけられた実空間の位置とに基づきオブジェクト画像５００を表示させる表示面１０の位置を決定することができる。
【0108】
処理装置制御部３５０は、ＨＭＤ２００Ａの位置と、オブジェクト画像５００が対応づけられた実空間の位置とを結ぶ直線上に位置するようにオブジェクト画像５００の表示面１０の第１表示位置５４１を選択する。また、処理装置制御部３５０は、ＨＭＤ２００Ｂの位置と、オブジェクト画像５００が対応づけられた実空間の位置とを結ぶ直線上に位置するようにオブジェクト画像５００の表示面１０の第２表示位置５４３を選択する。
処理装置制御部３５０は、第１表示位置５４１と、第２表示位置５４３との間に、オブジェクト画像５００を表示させる表示面１０の位置を決定し、決定した表示面１０の位置を示す位置情報を、オブジェクト画像５００のコンテンツデータ３６３と共にプロジェクター１００に送信する。
従って、ＨＭＤ２００Ａの使用者Ｕの位置から、オブジェクト画像５００が対応づけられた実空間の位置の方向を見た場合と、ＨＭＤ２００Ｂの使用者Ｕの位置から、オブジェクト画像５００が対応づけられた実空間の位置の方向を見た場合とのズレが小さくなるように、オブジェクト画像５００が表示される表示面１０の位置を設定することができる。
処理装置制御部３５０は、第１表示位置５４１と、第２表示位置５４３との間に、オブジェクト画像５００を表示させる表示面１０の位置を決定し、決定した表示面１０の位置を示す位置情報を、オブジェクト画像５００のコンテンツデータ３６３と共にプロジェクター１００に送信する。
従って、ＨＭＤ２００Ａの使用者Ｕの位置から、オブジェクト画像５００が対応づけられた実空間の位置の方向を見た場合と、ＨＭＤ２００Ｂの使用者Ｕの位置から、オブジェクト画像５００が対応づけられた実空間の位置の方向を見た場合とのズレが小さくなるように、オブジェクト画像５００が表示される表示面１０の位置を設定することができる。
【0109】
ＨＭＤ２００は、使用者Ｕの操作を受け付ける受付部として、操作部２３１、又は、カメラ２１１及び検出制御部２８１を備える。
ＨＭＤ２００は、オブジェクト画像５００が対応づけられた実空間の位置を変更する操作、及び、実空間の位置を移動させる移動量及び移動方向を指定する操作を受付部により受け付けると、受け付けた移動量及び移動方向を示す情報を情報処理装置３００に送信する。
処理装置制御部３５０は、ＨＭＤ２００から受信した移動量及び移動方向を示す情報に基づいて、オブジェクト画像５００が対応づけられた実空間の位置を変更する。
従って、ＨＭＤ２００の使用者Ｕの操作により、オブジェクト画像５００が対応づけられる実空間の位置を変更することができる。
ＨＭＤ２００は、オブジェクト画像５００が対応づけられた実空間の位置を変更する操作、及び、実空間の位置を移動させる移動量及び移動方向を指定する操作を受付部により受け付けると、受け付けた移動量及び移動方向を示す情報を情報処理装置３００に送信する。
処理装置制御部３５０は、ＨＭＤ２００から受信した移動量及び移動方向を示す情報に基づいて、オブジェクト画像５００が対応づけられた実空間の位置を変更する。
従って、ＨＭＤ２００の使用者Ｕの操作により、オブジェクト画像５００が対応づけられる実空間の位置を変更することができる。
【0110】
次に、表示システム１の適用例について、具体例を挙げて説明する。
表示システム１は、例えば、使用者Ｕが機器を操作する作業を行う場合に、機器の操作を説明し、案内するなど、遠隔地から援助者が機器の操作に関する情報を提供して、作業を支援する目的で使用できる。具体的には、パーソナルコンピューターを作業対象物として、セットアップやアプリケーションプログラムの操作を行う場合に適用できる。また、例えば、工作機械、工業機械、家庭用各種電子機器などの機械を作業対象物として、機械の操作やメンテナンスを行う場合に適用できる。すなわち、各種機械のメンテナンスを行う使用者Ｕが、ユーザーの依頼に応じて作業対象の機械の設置場所を訪問し、メンテナンスを行う場合に、習熟度の低い使用者Ｕを援助者が支援する用途で表示システム１を使用できる。
表示システム１は、例えば、使用者Ｕが機器を操作する作業を行う場合に、機器の操作を説明し、案内するなど、遠隔地から援助者が機器の操作に関する情報を提供して、作業を支援する目的で使用できる。具体的には、パーソナルコンピューターを作業対象物として、セットアップやアプリケーションプログラムの操作を行う場合に適用できる。また、例えば、工作機械、工業機械、家庭用各種電子機器などの機械を作業対象物として、機械の操作やメンテナンスを行う場合に適用できる。すなわち、各種機械のメンテナンスを行う使用者Ｕが、ユーザーの依頼に応じて作業対象の機械の設置場所を訪問し、メンテナンスを行う場合に、習熟度の低い使用者Ｕを援助者が支援する用途で表示システム１を使用できる。
【0111】
この例において、作業対象の作業対象物として、工作機械、工業機械、家庭用各種電子機器などの機械、パーソナルコンピューター等を、作業台に設置することができる。また、これらの機器やパーソナルコンピューター等が設置された位置を、作業台を見なすこともできる。この場合、ＨＭＤ２００を装着する使用者Ｕは、作業対象である工作機械、工業機械、家庭用各種電子機器などの機械、パーソナルコンピューター等の設置場所において、ハンズフリーで作業を行うことができる。
【0112】
このような場合、遠隔地の被援助サイトにいる使用者Ｕとサービスセンター等の援助サイトにいる援助者が情報を共有し、援助サイトの援助者は、ＨＭＤ２００にＡＲ画像を表示させて、指示、表示の変更ができる。そして、ＨＭＤ２００により、援助サイトにいる援助者の手や手指による操作をバーチャル画像として見せて、支援できる。この場合、援助サイトにおいて援助者の前に被援助サイトの作業対象物と同じ機器を置いて実際に操作しながら説明することも有効である。援助者にとっては、現場の現物の特定部位に対して位置指示操作により指示や教示を行うことができ、シンプルな操作で効率よく支援できる。
【0113】
また、情報処理装置３００には、作業の全体の工程を示す工程表や、ＨＭＤ２００に表示させたＡＲ画像の拡大画像を表示させてもよい。
【0114】
本発明は上記各実施形態で説明した構成に限られるものではなく、その要旨を逸脱しない範囲において種々の態様において実施することが可能である。
例えば、カメラ２１１の撮影画像に基づいて、ＨＭＤ２００の現在位置を検出してもよい。この場合、ＨＭＤ記憶部２６０に、フィールド内に存在する物体の配置が記載された地図データを記憶させておく。ＨＭＤ制御部２５０は、カメラ２１１の撮影画像に写った物体を検出し、検出した物体との距離に基づいてＨＭＤ２００の現在位置を検出してもよい。
例えば、カメラ２１１の撮影画像に基づいて、ＨＭＤ２００の現在位置を検出してもよい。この場合、ＨＭＤ記憶部２６０に、フィールド内に存在する物体の配置が記載された地図データを記憶させておく。ＨＭＤ制御部２５０は、カメラ２１１の撮影画像に写った物体を検出し、検出した物体との距離に基づいてＨＭＤ２００の現在位置を検出してもよい。
【0115】
また、ポジショントラッキングセンサーにより使用者Ｕの頭部の動きや、位置を検出してもよい。例えば、フィールド内の固定位置に赤外線センサーを設置する。この赤外線センサーを用いて、ＨＭＤ２００の表面に設けられた赤外線発光体又は赤外線反射マーカーを検知することにより、ＨＭＤ２００を装着した使用者Ｕの頭の向きや、ＨＭＤ２００の位置を検出してもよい。
【0116】
図２～図４に示した各機能ブロックのうち少なくとも一部は、ハードウェアにより実現してもよいし、ハードウェアとソフトウェアの協働により実現される構成としてもよく、図に示した通りに独立したハードウェア資源を配置する構成に限定されない。また、情報処理装置３００のプロセッサー３７０が実行するプログラムは、外部の装置に記憶されたプログラムを第１通信部３１０又は第２通信部３２０を介して取得して実行する構成としてもよい。
【符号の説明】
【0117】
２１…右保持部、２２…表示部、２３…左保持部、２４…左表示部、２６…右導光板、２７…前部フレーム、２８…左導光板、１００…プロジェクター、１１０…通信部、１２０…画像処理部、１３０…フレームメモリー、１４０…駆動部、１５０…投射部、１５１…光変調装置、１５３…投射光学系、１６０…ＰＪ制御部、１６１…ＰＪ記憶部、１６３…プロセッサー、２００…ＨＭＤ、２１０…画像表示部、２１１…カメラ、２１３…地磁気センサー、２１５…６軸センサー、２２０…イヤホン、２３０…制御装置、２３１…操作部、２３３…通信部、２３５…ビーコン受信部、２５０…ＨＭＤ制御部、２６０…ＨＭＤ記憶部、２６５…識別情報、２７０…プロセッサー、２７１…通信制御部、２７３…位置検出部、２７５…頭部向き検出部、２７７…音声処理部、２７９…表示制御部、３００…情報処理装置、３０５…バス、３１０…第１通信部、３２０…第２通信部、３３０…入出力Ｉ／Ｆ、３３１…表示部、３３３…入力装置、３５０…処理制御部、３６０…処理装置記憶部、３６１…３次元マップデータ、３６３…コンテンツデータ、３６５…識別情報登録テーブル、３７０…プロセッサー、４０１…視点位置、４０３…視線方向、４０５…視野範囲、５００…オブジェクト画像、５３１…直線、５３３…第１直線、５３５…第２直線、５３７…第４直線、５４１…第１表示位置、５４３…第２表示位置、５４５…第３直線。
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】