知財求人 - 知財ポータルサイト「IP Force」
特許7550313ウェアラブル端末装置、プログラム、表示方法および仮想画像配信システム
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2024-09-04
(45)【発行日】2024-09-12
(54)【発明の名称】ウェアラブル端末装置、プログラム、表示方法および仮想画像配信システム
(51)【国際特許分類】
G06F 3/01 20060101AFI20240905BHJP
G06F 3/04815 20220101ALI20240905BHJP
【ＦＩ】
G06F3/01 510
G06F3/04815
【請求項の数】
5
(21)【出願番号】P 2023529393
(86)(22)【出願日】2021-06-25
(86)【国際出願番号】 JP2021024081
(87)【国際公開番号】W WO2022269888
(87)【国際公開日】2022-12-29
【審査請求日】2023-07-31
(73)【特許権者】
【識別番号】000006633
【氏名又は名称】京セラ株式会社
(74)【代理人】
【識別番号】100090033
【弁理士】
【氏名又は名称】荒船 博司
(74)【代理人】
【識別番号】100093045
【弁理士】
【氏名又は名称】荒船 良男
(72)【発明者】
【氏名】伊東 伸悟
(72)【発明者】
【氏名】足立 智和
(72)【発明者】
【氏名】清水 解
【審査官】星野 裕
(56)【参考文献】
【文献】米国特許出願公開第２０１９／０３７１２７９（ＵＳ，Ａ１）
【文献】特開２０２１－０４３４７６（ＪＰ，Ａ）
【文献】中国実用新案第２０３８５８４１４（ＣＮ，Ｕ）
【文献】米国特許出願公開第２０１９／００６８５２９（ＵＳ，Ａ１）
(58)【調査した分野】(Int.Cl.，ＤＢ名)
Ｇ０６Ｆ ３／０１
Ｇ０６Ｆ ３／０４８
(57)【特許請求の範囲】
【請求項1】
ユーザが装着して使用するウェアラブル端末装置であって、少なくとも一つのプロセッサを備え、
前記少なくとも一つのプロセッサは、
空間内に位置する多面体の仮想画像を表示部に表示させ、
前記多面体のうちの第１の面に第１情報を表示させ、
前記第１情報は、自装置を装着したユーザが視認可能であり、他のウェアラブル端末装置を装着したユーザが視認不可能である、
ウェアラブル端末装置。
【請求項2】
ユーザが装着して使用するウェアラブル端末装置に設けられたコンピュータに、空間内に位置する多面体の仮想画像を表示部に表示させる処理、
前記多面体のうちの第１の面に、自装置を装着したユーザが視認可能であり、他のウェアラブル端末装置を装着したユーザが視認不可能な第１情報を表示させる処理、
を実行させるプログラム。
【請求項3】
ユーザが装着して使用するウェアラブル端末装置における表示方法であって、空間内に位置する多面体の仮想画像を表示部に表示させ、
前記多面体のうちの第１の面に、自装置を装着したユーザが視認可能であり、他のウェアラブル端末装置を装着したユーザが視認不可能な第１情報を表示させる、
表示方法。
【請求項4】
複数のウェアラブル端末装置と、前記複数のウェアラブル端末装置を管理する管理装置と、
を備え、
前記管理装置は、少なくとも一つのプロセッサを備え、
前記少なくとも一つのプロセッサは、
前記複数のウェアラブル端末装置が共有する空間内に位置する多面体の仮想画像を、前記複数のウェアラブル端末装置の表示部のそれぞれに表示させ、
前記多面体のうちの第１の面に、前記複数のウェアラブル端末装置のうち、一のウェアラブル端末装置を装着したユーザが視認可能であり、他のウェアラブル端末装置を装着したユーザが視認不可能な第１情報を表示させる、
仮想画像配信システム。
【請求項5】
ユーザが装着して使用するウェアラブル端末装置であって、
少なくとも一つのプロセッサを備え、
前記少なくとも一つのプロセッサは、
空間内に位置する仮想画像を表示部に表示させ、
前記仮想画像は、自装置を装着したユーザが視認可能な画像であり、他のウェアラブル端末装置を装着したユーザが視認不可能な画像である、
ウェアラブル端末装置。
【発明の詳細な説明】
【技術分野】
【0001】
本開示は、ウェアラブル端末装置、プログラム、表示方法および仮想画像配信システムに関する。
【背景技術】
【0002】
従来、ユーザが頭部に装着するウェアラブル端末装置を用いて、仮想画像および／または仮想空間をユーザに体感させる技術として、ＶＲ（仮想現実）、ＭＲ（複合現実）およびＡＲ（拡張現実）が知られている。ウェアラブル端末装置は、ユーザが装着したときにユーザの視界を覆う表示部を有する。この表示部に、ユーザの位置および向きに応じて仮想画像および／または仮想空間を表示することで、あたかもこれらが存在しているかのような視覚効果を実現する（例えば、米国特許出願公開第２０１９／００８７０２１号明細書、および米国特許出願公開第２０１９／０３４０８２２号明細書）。
【0003】
ＭＲは、ユーザに現実空間を視認させつつ、現実空間の所定位置に仮想画像が存在しているように見せる表示を行うことで、現実空間と仮想画像とが融合した複合現実を体感させる技術である。また、ＶＲは、ＭＲにおける現実空間に代えて仮想空間をユーザに視認させることで、あたかもユーザが仮想空間にいるように体感させる技術である。
【0004】
ＶＲおよびＭＲにおいて表示される仮想画像は、ユーザが位置する空間における表示位置が定められており、その表示位置がユーザの視認領域の内部にある場合に表示部に表示されてユーザに視認される。
【発明の概要】
【0005】
本開示の一の態様のウェアラブル端末装置は、ユーザが装着して使用するウェアラブル端末装置であって、少なくとも一つのプロセッサを備える。前記少なくとも一つのプロセッサは、空間内に位置する多面体の仮想画像を表示部に表示させる。前記少なくとも一つのプロセッサは、前記多面体のうちの第１の面に第１情報を表示させる。前記第１情報は、自装置を装着したユーザが視認可能であり、他のウェアラブル端末装置を装着したユーザが視認不可能である。ここで、多面体の仮想画像には、表面と裏面の２面からなる平面状の仮想画像が含まれるものとする。また、本開示の他の態様のウェアラブル端末装置は、ユーザが装着して使用するウェアラブル端末装置であって、少なくとも一つのプロセッサを備える。前記少なくとも一つのプロセッサは、空間内に位置する仮想画像を表示部に表示させる。前記仮想画像は、自装置を装着したユーザが視認可能な画像であり、他のウェアラブル端末装置を装着したユーザが視認不可能な画像である。
【0006】
また、本開示のプログラムは、ユーザが装着して使用するウェアラブル端末装置に設けられたコンピュータに、空間内に位置する多面体の仮想画像を表示部に表示させる処理を実行させる。前記プログラムは、前記コンピュータに、前記多面体のうちの第１の面に、自装置を装着したユーザが視認可能であり、他のウェアラブル端末装置を装着したユーザが視認不可能な第１情報を表示させる処理を実行させる。
【0007】
また、本開示の表示方法は、ユーザが装着して使用するウェアラブル端末装置における表示方法である。当該表示方法では、空間内に位置する多面体の仮想画像を表示部に表示させる。当該表示方法では、前記多面体のうちの第１の面に、自装置を装着したユーザが視認可能であり、他のウェアラブル端末装置を装着したユーザが視認不可能な第１情報を表示させる。
【0008】
また、本開示の仮想画像配信システムは、複数のウェアラブル端末装置と、前記複数のウェアラブル端末装置を管理する管理装置と、を備える。前記管理装置は、少なくとも一つのプロセッサを備える。前記少なくとも一つのプロセッサは、前記複数のウェアラブル端末装置が共有する空間内に位置する多面体の仮想画像を、前記複数のウェアラブル端末装置の表示部のそれぞれに表示させる。前記少なくとも一つのプロセッサは、前記多面体のうちの第１の面に、前記複数のウェアラブル端末装置のうち、一のウェアラブル端末装置を装着したユーザが視認可能であり、他のウェアラブル端末装置を装着したユーザが視認不可能な第１情報を表示させる。
【図面の簡単な説明】
【0009】
【図1】第１の実施形態に係るウェアラブル端末装置の構成を示す模式斜視図である。
【図2】ウェアラブル端末装置を装着しているユーザが視認する視認領域および仮想画像の例を示す図である。
【図3】空間における視認領域を説明する図である。
【図4】ウェアラブル端末装置の主要な機能構成を示すブロック図である。
【図5】仮想画像表示処理の制御手順を示すフローチャートである。
【図6】ユーザにとってウィンドウ画面の仮想画像の表面と裏面のどちらが視認し易い状態にあるかの判定方法を説明する図である。
【図7】ユーザにとってウィンドウ画面の仮想画像の表面と裏面のどちらが視認し易い状態にあるかの判定方法を説明する図である。
【図8】ユーザにとってウィンドウ画面の仮想画像の表面と裏面のどちらが視認し易い状態にあるかの判定方法を説明する図である。
【図9】ウィンドウ画面の仮想画像の表面の表示態様を示す図である。
【図12】一のユーザと他のユーザとが共有する空間内に位置するウィンドウ画面の仮想画像を当該一のユーザが表面側から視認するとともに当該他のユーザが裏面側から視認している状態を示す図である。
【図13】一のユーザと他のユーザとが共有する空間内に位置するウィンドウ画面の仮想画像を当該一のユーザが表面側から視認したときの表示態様を示す図である。
【図15】一のユーザと他のユーザとが共有する空間内に位置するウィンドウ画面の仮想画像を当該一のユーザが表面側から視認したときの表示態様を示す図である。
【図17】一のユーザと他のユーザとが共有する空間内に位置するウィンドウ画面の仮想画像を当該一のユーザが表面側から視認したときの表示態様を示す図である。
【図19】一のユーザと他のユーザとが共有する空間内に位置するウィンドウ画面の仮想画像を当該一のユーザが表面側から視認したときの表示態様を示す図である。
【図22】第２の実施形態に係る表示システムの構成を示す模式図である。
【図23】情報処理装置の主要な機能構成を示すブロック図である。
【発明を実施するための形態】
【0010】
以下、実施の形態を図面に基づいて説明する。ただし、以下で参照する各図は、説明の便宜上、実施形態を説明する上で必要な主要部材のみを簡略化して示したものである。したがって、本開示のウェアラブル端末装置１０および情報処理装置２０は、参照する各図に示されていない任意の構成部材を備え得る。
【0011】
〔第１の実施形態〕
図１に示すように、ウェアラブル端末装置１０は、本体部１０ａ、および当該本体部１０ａに取り付けられたバイザー１４１（表示部材）などを備える。
図１に示すように、ウェアラブル端末装置１０は、本体部１０ａ、および当該本体部１０ａに取り付けられたバイザー１４１（表示部材）などを備える。
【0012】
本体部１０ａは、その周長を調整可能な環状の部材である。本体部１０ａの内部には、深度センサー１５３およびカメラ１５４などの種々の機器が内蔵されている。本体部１０ａを頭部に装着すると、ユーザの視界がバイザー１４１によって覆われるようになっている。
【0013】
バイザー１４１は、光透過性を有する。ユーザは、バイザー１４１を通して現実空間を視認することができる。バイザー１４１のうちユーザの目に対向する表示面には、本体部１０ａに内蔵されたレーザースキャナー１４２（図４参照）から仮想画像等の画像が投影されて表示される。ユーザは、表示面からの反射光により仮想画像を視認する。このとき、ユーザは、併せてバイザー１４１越しに現実空間も視認しているため、あたかも現実空間に仮想画像が存在しているかのような視覚効果が得られる。
【0014】
図２に示すように、仮想画像３０が表示された状態では、ユーザは、空間４０における所定位置に、所定方向を向いた仮想画像３０を視認する。本実施形態では、空間４０は、ユーザがバイザー１４１越しに視認する現実空間である。仮想画像３０は、光透過性を有するバイザー１４１に投影されているため、現実空間に重なる半透明の画像として視認される。図２では、仮想画像３０として平面状のウィンドウ画面を例示しているが、これに限られず、仮想画像３０は、例えば各種の立体画像であってもよい。仮想画像３０がウィンドウ画面である場合には、仮想画像３０は表面（第１の面）３０Ａおよび裏面（第２の面）３０Ｂを有し、この表面３０Ａおよび裏面３０Ｂのいずれにも必要な情報が表示されるようになっている。なお、ウィンドウ画面の仮想画像３０に関しては、当該仮想画像３０が所定の厚みを上限とする範囲内において厚みを有する場合があるものとする。
【0015】
ウェアラブル端末装置１０は、空間４０におけるユーザの位置および向き（言い換えると、ウェアラブル端末装置１０の位置および向き）に基づいて、ユーザの視認領域４１を検出する。図３に示すように、視認領域４１は、空間４０のうち、ウェアラブル端末装置１０を装着しているユーザＵの前方に位置する領域である。例えば、視認領域４１は、ユーザＵの正面から左右方向および上下方向にそれぞれ所定角度範囲内の領域である。この場合、視認領域４１の形状に相当する立体を、ユーザＵの正面方向に垂直な平面で切り取ったときの切り口の形状は矩形である。なお、視認領域４１の形状は、当該切り口の形状が矩形以外（例えば、円形または楕円形等）となるように定められていてもよい。視認領域４１の形状（例えば、正面から左右方向および上下方向の角度範囲）は、例えば以下の方法で特定することができる。
【0016】
ウェアラブル端末装置１０では、初回起動時等の所定のタイミングにおいて、所定の手順で視野の調整（以下、キャリブレーションと記す）が行われる。このキャリブレーションにより、ユーザが視認できる範囲が特定され、以降、当該範囲内に仮想画像３０が表示される。このキャリブレーションにより特定された視認可能な範囲の形状を、視認領域４１の形状とすることができる。
【0017】
また、キャリブレーションは、上記の所定の手順で行われるものに限られず、ウェアラブル端末装置１０の通常の操作を行っている中で自動的にキャリブレーションが行われてもよい。例えば、ユーザからのリアクションがなされるべき表示に対してリアクションがなされない場合に、当該表示を行っている範囲をユーザの視野の範囲外であるとみなして視野（および視認領域４１の形状）を調整してもよい。また、視野の範囲外として定められている位置に試験的に表示を行い、当該表示に対するユーザのリアクションがあった場合に、当該表示を行っている範囲をユーザの視野の範囲内であるとみなして視野（および視認領域４１の形状）を調整してもよい。
【0018】
なお、視認領域４１の形状は、出荷時等において、視野の調整結果に基づかずに予め定められて固定されていてもよい。例えば、視認領域４１の形状は、表示部１４の光学設計上、最大限表示可能な範囲に定められていてもよい。
【0019】
仮想画像３０は、ユーザの所定の操作に応じて、空間４０における表示位置および向きが定められた状態で生成される。ウェアラブル端末装置１０は、生成された仮想画像３０のうち、視認領域４１の内部に表示位置が定められている仮想画像３０をバイザー１４１に投影させて表示する。図２においては、視認領域４１が鎖線で示されている。
【0020】
バイザー１４１における仮想画像３０の表示位置および向きは、ユーザの視認領域４１の変化に応じてリアルタイムに更新される。すなわち、「設定された位置および向きで空間４０内に仮想画像３０が位置している」とユーザが認識するように、視認領域４１の変化に応じて仮想画像３０の表示位置および向きが変化する。例えば、ユーザが仮想画像３０の表側から裏側に向かって移動すると、この移動に応じて表示される仮想画像３０の形状（角度）が徐々に変化する。また、ユーザが仮想画像３０の裏側に回り込んだ後で当該仮想画像３０の方向を向くと、仮想画像３０の裏面３０Ｂが視認されるように裏面３０Ｂが表示される。また、視認領域４１の変化に応じて、表示位置が視認領域４１から外れた仮想画像３０は表示されなくなり、表示位置が視認領域４１に入った仮想画像３０があれば当該仮想画像３０が新たに表示される。
【0021】
図２に示すように、ユーザが手（または指）を前方にかざすと、手を伸ばした方向がウェアラブル端末装置１０により検出され、当該方向に延びる仮想線５１と、ポインタ５２とがバイザー１４１の表示面に表示されてユーザに視認される。ポインタ５２は、仮想線５１と仮想画像３０との交点に表示される。仮想線５１が仮想画像３０と交差しない場合には、仮想線５１と空間４０の壁面等との交点にポインタ５２が表示されてもよい。ユーザの手と仮想画像３０との距離が所定の基準距離以内である場合に、仮想線５１の表示を省略して、ユーザの指先の位置に応じた位置にポインタ５２を直接表示させてもよい。
【0022】
ユーザが手を伸ばす方向を変えることで、仮想線５１の方向およびポインタ５２の位置を調整することができる。仮想画像３０に含まれる所定の操作対象（例えば、機能バー３１、ウィンドウ形状変更ボタン３２、およびクローズボタン３３等）にポインタ５２が位置するように調整した状態で所定のジェスチャーを行うことで、当該ジェスチャーがウェアラブル端末装置１０により検出され、操作対象に対する所定の操作を行うことができる。例えば、ポインタ５２をクローズボタン３３に合わせた状態で、操作対象を選択するジェスチャー（例えば、指先をつまむジェスチャー）を行うことで、仮想画像３０を閉じる（削除する）ことができる。また、ポインタ５２を機能バー３１に合わせた状態で選択するジェスチャーを行い、選択状態のまま手を前後左右に移動させるジェスチャーを行うことで、仮想画像３０を奥行方向および左右方向に移動させることができる。仮想画像３０に対する操作はこれらに限られない。
【0023】
このように、本実施形態のウェアラブル端末装置１０は、あたかも現実空間に仮想画像３０が存在するかのような視覚効果を実現し、仮想画像３０に対するユーザの操作を受け付けて仮想画像３０の表示に反映させることができる。すなわち、本実施形態のウェアラブル端末装置１０はＭＲを提供する。
【0024】
次に、図４を参照してウェアラブル端末装置１０の機能構成について説明する。
ウェアラブル端末装置１０は、ＣＰＵ１１（Central Processing Unit）と、ＲＡＭ１２（Random Access Memory）と、記憶部１３と、表示部１４と、センサー部１５と、通信部１６などを備え、これらの各部はバス１７により接続されている。図４に示す構成要素のうち表示部１４のバイザー１４１を除いた各部は、本体部１０ａに内蔵されており、同じく本体部１０ａに内蔵されているバッテリーから供給される電力により動作する。
ウェアラブル端末装置１０は、ＣＰＵ１１（Central Processing Unit）と、ＲＡＭ１２（Random Access Memory）と、記憶部１３と、表示部１４と、センサー部１５と、通信部１６などを備え、これらの各部はバス１７により接続されている。図４に示す構成要素のうち表示部１４のバイザー１４１を除いた各部は、本体部１０ａに内蔵されており、同じく本体部１０ａに内蔵されているバッテリーから供給される電力により動作する。
【0025】
ＣＰＵ１１は、各種演算処理を行い、ウェアラブル端末装置１０の各部の動作を統括制御するプロセッサである。ＣＰＵ１１は、記憶部１３に記憶されたプログラム１３１を読み出して実行することで、各種制御動作を行う。ＣＰＵ１１は、プログラム１３１を実行することで、例えば視認領域検出処理および表示制御処理などを実行する。このうち視認領域検出処理は、空間４０内におけるユーザの視認領域４１を検出する処理である。また、表示制御処理は、空間４０における位置が定められた仮想画像３０のうち、視認領域４１の内部に位置が定められている仮想画像３０を表示部１４に表示させる処理である。
【0026】
なお、図４では単一のＣＰＵ１１が図示されているが、これに限られない。ＣＰＵ等のプロセッサが２以上設けられていてもよく、本実施形態のＣＰＵ１１が実行する処理を、これらの２以上のプロセッサが分担して実行してもよい。
【0027】
ＲＡＭ１２は、ＣＰＵ１１に作業用のメモリ空間を提供し、一時データを記憶する。
【0028】
記憶部１３は、コンピュータとしてのＣＰＵ１１により読み取り可能な非一時的な記録媒体である。記憶部１３は、ＣＰＵ１１により実行されるプログラム１３１、および各種設定データなどを記憶する。プログラム１３１は、コンピュータ読み取り可能なプログラムコードの形態で記憶部１３に格納されている。記憶部１３としては、例えばフラッシュメモリを備えたＳＳＤ（Solid State Drive）などの不揮発性の記憶装置が用いられる。
【0029】
記憶部１３に記憶されるデータとしては、仮想画像３０に係る仮想画像データ１３２などがある。仮想画像データ１３２は、仮想画像３０の表示内容に係るデータ（例えば画像データ）、表示位置のデータ、および向きのデータなどを含む。
【0030】
表示部１４は、バイザー１４１と、レーザースキャナー１４２と、当該レーザースキャナー１４２から出力された光をバイザー１４１の表示面に導く光学系とを有する。レーザースキャナー１４２は、ＣＰＵ１１からの制御信号に従って、画素ごとにオン／オフが制御されたパルス状のレーザー光を所定方向にスキャンしつつ光学系に照射する。光学系に入射したレーザー光は、バイザー１４１の表示面において２次元の画素マトリクスからなる表示画面を形成する。レーザースキャナー１４２の方式は、特には限られないが、例えばＭＥＭＳ（Micro Electro Mechanical Systems）によりミラーを動作させてレーザー光をスキャンする方式を用いることができる。レーザースキャナー１４２は、例えばＲＧＢの色のレーザー光を射出する３つの発光部を有する。表示部１４は、これらの発光部からの光をバイザー１４１に投影することでカラー表示を行うことができる。
【0031】
センサー部１５は、加速度センサー１５１、角速度センサー１５２、深度センサー１５３、カメラ１５４およびアイトラッカー１５５などを備える。なお、センサー部１５は、図４に示されていないセンサーをさらに有していてもよい。
【0032】
加速度センサー１５１は、加速度を検出して検出結果をＣＰＵ１１に出力する。加速度センサー１５１による検出結果から、ウェアラブル端末装置１０の直交３軸方向の並進運動を検出することができる。
【0033】
角速度センサー１５２（ジャイロセンサー）は、角速度を検出して検出結果をＣＰＵ１１に出力する。角速度センサー１５２による検出結果から、ウェアラブル端末装置１０の回転運動を検出することができる。
【0034】
深度センサー１５３は、ＴｏＦ（Time of Flight）方式で被写体までの距離を検出する赤外線カメラであり、距離の検出結果をＣＰＵ１１に出力する。深度センサー１５３は、視認領域４１を撮影できるように本体部１０ａの前面に設けられている。空間４０においてユーザの位置および向きが変化するごとに深度センサー１５３による計測を繰り返し行って結果を合成することで、空間４０の全体の３次元マッピングを行う（すなわち、３次元構造を取得する）ことができる。
【0035】
カメラ１５４は、ＲＧＢの撮像素子群により空間４０を撮影し、撮影結果としてカラー画像データを取得してＣＰＵ１１に出力する。カメラ１５４は、視認領域４１を撮影できるように本体部１０ａの前面に設けられている。カメラ１５４からの出力画像は、ウェアラブル端末装置１０の位置および向きなどの検出に用いられるほか、通信部１６から外部機器に送信されて、ウェアラブル端末装置１０のユーザの視認領域４１を外部機器において表示するためにも用いられる。
【0036】
アイトラッカー１５５は、ユーザの視線を検出して検出結果をＣＰＵ１１に出力する。視線の検出方法は、特には限られないが、例えば、ユーザの目における近赤外光の反射点をアイトラッキングカメラで撮影し、その撮影結果と、カメラ１５４による撮影画像とを解析してユーザが視認している対象を特定する方法を用いることができる。アイトラッカー１５５の構成の一部は、バイザー１４１の周縁部などに設けられていてもよい。
【0037】
通信部１６は、アンテナ、変復調回路、信号処理回路などを有する通信モジュールである。通信部１６は、所定の通信プロトコルに従って外部機器との間で無線通信によるデータの送受信を行う。
【0038】
このような構成のウェアラブル端末装置１０において、ＣＰＵ１１は、以下のような制御動作を行う。
【0039】
ＣＰＵ１１は、深度センサー１５３から入力された被写体までの距離データに基づいて空間４０の３次元マッピングを行う。ＣＰＵ１１は、ユーザの位置および向きが変化するたびにこの３次元マッピングを繰り返し行い、都度結果を更新する。また、ＣＰＵ１１は、一繋がりの空間４０を単位として３次元マッピングを行う。よって、壁などにより仕切られた複数の部屋の間をユーザが移動する場合には、ＣＰＵ１１は、それぞれの部屋を１つの空間４０と認識し、部屋ごとに別個に３次元マッピングを行う。
【0040】
ＣＰＵ１１は、空間４０内におけるユーザの視認領域４１を検出する。詳しくは、ＣＰＵ１１は、加速度センサー１５１、角速度センサー１５２、深度センサー１５３、カメラ１５４およびアイトラッカー１５５による検出結果と、蓄積されている３次元マッピングの結果と、に基づいて、空間４０におけるユーザ（ウェアラブル端末装置１０）の位置および向きを特定する。そして、特定した位置および向きと、予め定められている視認領域４１の形状と、に基づいて視認領域４１を検出（特定）する。また、ＣＰＵ１１は、ユーザの位置および向きの検出をリアルタイムで継続して行い、ユーザの位置および向きの変化に連動して視認領域４１を更新する。なお、視認領域４１の検出は、加速度センサー１５１、角速度センサー１５２、深度センサー１５３、カメラ１５４およびアイトラッカー１５５のうちの一部による検出結果を用いて行われてもよい。
【0041】
ＣＰＵ１１は、ユーザの操作に応じて仮想画像３０に係る仮想画像データ１３２を生成する。すなわち、ＣＰＵ１１は、仮想画像３０の生成を指示する所定の操作（ジェスチャー）を検出すると、仮想画像の表示内容（例えば画像データ）、表示位置、および向きを特定し、これらの特定結果を表すデータを含む仮想画像データ１３２を生成する。
【0042】
ＣＰＵ１１は、視認領域４１の内部に表示位置が定められている仮想画像３０を表示部１４に表示させる。ＣＰＵ１１は、仮想画像データ１３２に含まれる表示位置の情報に基づいて視認領域４１の内部に表示位置が定められている仮想画像３０を特定し、その時点における視認領域４１と、特定された仮想画像３０の表示位置との位置関係に基づいて、表示部１４に表示させる表示画面の画像データを生成する。ＣＰＵ１１は、この画像データに基づいてレーザースキャナー１４２にスキャン動作を行わせ、バイザー１４１の表示面に、特定された仮想画像３０を含む表示画面を形成させる。すなわち、ＣＰＵ１１は、バイザー１４１を通して視認される空間４０に仮想画像３０が視認されるように、仮想画像３０をバイザー１４１の表示面に表示させる。ＣＰＵ１１は、この表示制御処理を連続して行うことで、ユーザの動き（視認領域４１の変化）に合わせて表示部１４による表示内容をリアルタイムで更新する。ウェアラブル端末装置１０が電源オフ状態となっても仮想画像データ１３２が保持される設定となっている場合には、次にウェアラブル端末装置１０が起動したときには、既存の仮想画像データ１３２が読み込まれ、視認領域４１の内部に位置する仮想画像３０があれば表示部１４に表示される。
【0043】
なお、通信部１６を介して外部機器から取得した指示データに基づいて仮想画像データ１３２を生成し、当該仮想画像データ１３２に基づいて仮想画像３０を表示させてもよい。あるいは、通信部１６を介して外部機器から仮想画像データ１３２そのものを取得し、当該仮想画像データ１３２に基づいて仮想画像３０を表示させてもよい。例えば、遠隔指示者が操作する外部機器にウェアラブル端末装置１０のカメラ１５４の映像を表示させるとともに、外部機器から仮想画像３０を表示する指示を受け付け、指示された仮想画像３０をウェアラブル端末装置１０の表示部１４に表示させてもよい。これにより、例えば、作業対象物の近傍に作業内容を示す仮想画像３０を表示させて、遠隔指示者からウェアラブル端末装置１０のユーザに対して作業を指示するといった動作が可能となる。
【0044】
ＣＰＵ１１は、深度センサー１５３およびカメラ１５４による撮像画像に基づいてユーザの手（および／または指）の位置および向きを検出し、検出した方向に延びる仮想線５１と、ポインタ５２とを表示部１４に表示させる。また、ＣＰＵ１１は、深度センサー１５３およびカメラ１５４による撮像画像に基づいてユーザの手（および／または指）のジェスチャーを検出し、検出したジェスチャーの内容と、その時点におけるポインタ５２の位置とに応じた処理を実行する。
【0045】
次に、視認領域４１の内部に仮想画像３０があるときのウェアラブル端末装置１０の動作について説明する。
【0046】
上述のとおり、ウェアラブル端末装置１０では、視認領域４１の内部に表示位置が定められている仮想画像３０が表示部１４に表示され、ユーザに視認されるようになっているが、従来、ウィンドウ画面の仮想画像３０が表示部１４に表示された場合、当該仮想画像３０の裏面には何の情報も表示されていなかった。
【0047】
そこで、本実施形態のウェアラブル端末装置１０のＣＰＵ１１は、ウィンドウ画面の仮想画像３０を表示部１４に表示させた際に、当該仮想画像３０の表面３０Ａに第１情報を有する第１画像を表示させ、裏面に第２情報を有する第２画像を表示させる。これにより、ウィンドウ画面の仮想画像３０の裏面を有効活用することができる。以下、ウィンドウ画面の仮想画像３０の表示の例を、図５～図２１を参照して説明する。
【0048】
まず、図５のフローチャートを参照して、本開示の一側面に係る仮想画像表示処理のＣＰＵ１１による制御手順について説明する。図５の仮想画像表示処理は、ウィンドウ画面の仮想画像３０を表示部１４に表示させた際に、当該仮想画像３０の表面３０Ａに第１情報を有する第１画像を表示させ、裏面に第２情報を有する第２画像を表示させる特徴を少なくとも含むものである。
【0049】
図５に示す仮想画像表示処理が開始されると、ＣＰＵ１１は、ユーザの位置および向きに基づいて視認領域４１を検出する（ステップＳ１０１）。
【0050】
次いで、ＣＰＵ１１は、検出した視認領域４１の内部に表示位置が定められている仮想画像３０があるか否かを判別する（ステップＳ１０２）。
【0051】
ステップＳ１０２において、検出した視認領域４１の内部に表示位置が定められている仮想画像３０がないと判別された場合（ステップＳ１０２；ＮＯ）、ＣＰＵ１１は、処理をステップＳ１０９に進める。
【0052】
また、ステップＳ１０２において、検出した視認領域４１の内部に表示位置が定められている仮想画像３０があると判別された場合（ステップＳ１０２；ＹＥＳ）、ＣＰＵ１１は、当該仮想画像３０を表示部１４に表示させる（ステップＳ１０３）。
【0053】
次いで、ＣＰＵ１１は、表示部１４に表示された仮想画像３０のなかに表面と裏面の２面からなる仮想画像３０があるか、すなわちウィンドウ画面の仮想画像３０があるか否かを判別する（ステップＳ１０４）。
【0054】
ステップＳ１０４において、表示部１４に表示された仮想画像３０のなかに表面と裏面の２面からなる仮想画像３０がないと判別された場合（ステップＳ１０４；ＮＯ）、ＣＰＵ１１は、処理をステップＳ１０９に進める。
【0055】
また、ステップＳ１０４において、表示部１４に表示された仮想画像３０のなかに表面と裏面の２面からなる仮想画像３０すなわちウィンドウ画面の仮想画像３０があると判別された場合（ステップＳ１０４；ＹＥＳ）、ＣＰＵ１１は、ユーザにとって当該仮想画像３０の表面３０Ａが視認し易い状態にあるか否かを判別する（ステップＳ１０５）。
【0056】
ここで、ユーザにとってウィンドウ画面の仮想画像３０の表面３０Ａと裏面３０Ｂのどちらが視認し易い状態にあるかの判定方法について説明する。
【0057】
第１の判定方法としては、例えば、図６に示すように、ユーザＵがウィンドウ画面の仮想画像３０の表面３０Ａと対向する位置に存する場合であって、アイトラッカー１５５により検出されるユーザＵの視線と当該仮想画像３０との交わる箇所が当該仮想画像３０の表面３０Ａ側である場合、ＣＰＵ１１は、ユーザＵにとって当該仮想画像３０の表面３０Ａが視認し易い状態であると判定する。一方、例えば、ユーザＵが当該仮想画像３０の表面３０Ａの側から裏面３０Ｂの側へ回り込み、アイトラッカー１５５により検出されるユーザＵの視線と当該仮想画像３０との交わる箇所が当該仮想画像３０の裏面３０Ｂの側となった場合、ＣＰＵ１１は、ユーザＵにとって当該仮想画像３０の裏面３０Ｂが視認し易い状態であると判定する。これにより、当該判定を正確に行うことができる。
なお、判定方法は、上記の方法に限定されるものではなく、下記の第２の判定方法や第３の判定方法を採用してもよい。
なお、判定方法は、上記の方法に限定されるものではなく、下記の第２の判定方法や第３の判定方法を採用してもよい。
【0058】
第２の判定方法としては、例えば、図７に示すように、ユーザＵがウィンドウ画面の仮想画像３０の表面３０Ａと対向する位置に存する場合であって、ユーザが手を伸ばした方向に延びる仮想線５１と当該仮想画像３０との交わる箇所が当該仮想画像３０の表面３０Ａの側である場合、ＣＰＵ１１は、ユーザＵにとって当該仮想画像３０の表面３０Ａが視認し易い状態であると判定する。一方、例えば、ユーザＵが当該仮想画像３０の表面３０Ａの側から裏面３０Ｂの側へ回り込み、ユーザＵが手を伸ばした方向に延びる仮想線５１と当該仮想画像３０との交わる箇所が当該仮想画像３０の裏面３０Ｂの側となった場合、ＣＰＵ１１は、ユーザＵにとって当該仮想画像３０の裏面３０Ｂが視認し易い状態であると判定する。これにより、当該判定を正確に行うことができる。
【0059】
また、第３の判定方法としては、例えば、図８に示すように、ユーザＵがウィンドウ画面の仮想画像３０の表面３０Ａと対向する位置に存する場合、すなわち表面３０Ａと裏面３０Ｂとの境界を基準としてユーザＵが表面３０Ａの側に位置する場合、ＣＰＵ１１は、ユーザＵにとって当該仮想画像３０の表面３０Ａが視認し易い状態であると判定する。一方、例えば、当該仮想画像３０の境界を跨いで表面３０Ａの側から裏面３０Ｂの側へ移動したことにより、ユーザＵが当該境界を基準として裏面３０Ｂの側に位置するようになった場合、ユーザＵが当該仮想画像３０の裏面３０Ｂを視認しているか否かに関わらず、ＣＰＵ１１は、ユーザＵにとって当該仮想画像３０の裏面３０Ｂが視認し易い状態であると判定する。これにより、当該判定を正確に行うことができる。
【0060】
仮想画像表示処理の制御手順の説明に戻り、ステップＳ１０５において、ユーザにとって上記仮想画像３０の表面３０Ａが視認し易い状態にあると判別された場合（ステップＳ１０５；ＹＥＳ）、ＣＰＵ１１は、当該仮想画像３０の表面３０Ａに所定の第１画像（第１情報を有する第１画像）を表示させる（ステップＳ１０６）。また、かかる場合に、ＣＰＵ１１は、上記仮想画像３０の裏面３０Ｂに対するユーザ操作を無効とするとともに、当該仮想画像３０の表面３０Ａと裏面３０Ｂとを反転させるユーザ操作を無効とする。そして、ＣＰＵ１１は、処理をステップＳ１０７に進める。
【0061】
また、ステップＳ１０５において、ユーザにとって上記仮想画像３０の表面３０Ａが視認し易い状態にないと判別された場合（ステップＳ１０５；ＮＯ）、ＣＰＵ１１は、ステップＳ１０６をスキップして、処理をステップＳ１０７に進める。
【0062】
次いで、ＣＰＵ１１は、ユーザにとって上記仮想画像３０の裏面３０Ｂが視認し易い状態にあるか否かを判別する（ステップＳ１０７）。
【0063】
ステップＳ１０７において、ユーザにとって上記仮想画像３０の裏面３０Ｂが視認し易い状態にあると判別された場合（ステップＳ１０７；ＹＥＳ）、ＣＰＵ１１は、当該仮想画像３０の裏面３０Ｂに所定の第２画像（第２情報を有する第２画像）を表示させる（ステップＳ１０８）。また、かかる場合に、ＣＰＵ１１は、上記仮想画像３０の表面３０Ａに対するユーザ操作を無効とするとともに、当該仮想画像３０の表面３０Ａと裏面３０Ｂとを反転させるユーザ操作を無効とする。そして、ＣＰＵ１１は、処理をステップＳ１０９に進める。
【0064】
また、ステップＳ１０７において、ユーザにとって上記仮想画像３０の裏面３０Ｂが視認し易い状態にないと判別された場合（ステップＳ１０７；ＮＯ）、ＣＰＵ１１は、ステップＳ１０８をスキップして、処理をステップＳ１０９に進める。
【0065】
次いで、ＣＰＵ１１は、ウェアラブル端末装置１０による表示動作を終了させる指示がなされたか否かを判別する（ステップＳ１０９）。
【0066】
ステップＳ１０９において、ウェアラブル端末装置１０による表示動作を終了させる指示がなされていないと判別された場合（ステップＳ１０９；ＮＯ）、ＣＰＵ１１は、処理をステップＳ１０１に戻し、それ以降の処理を繰り返し行う。
【0067】
また、ステップＳ１０９において、ウェアラブル端末装置１０による表示動作を終了させる指示がなされたと判別された場合（ステップＳ１０９；ＹＥＳ）、ＣＰＵ１１は、仮想画像表示処理を終了させる。
【0068】
以下では、ステップＳ１０６における仮想画像３０の表面３０Ａへの表示動作がなされた際の具体的な表示態様と、ステップＳ１０８における当該仮想画像３０の裏面３０Ｂへの表示動作がなされた際の具体的な表示態様と、について説明する。
【0069】
ユーザにとって仮想画像３０の表面３０Ａが視認し易い状態にあると判別された場合、ＣＰＵ１１は、図９に示すように、当該仮想画像３０の表面３０Ａに所定の第１画像（第１情報を有する第１画像）として或るウェブページを表示させる。一方、ユーザにとって上記仮想画像３０の裏面３０Ｂが視認し易い状態にあると判別された場合、ＣＰＵ１１は、図１０に示すように、当該仮想画像３０の裏面３０Ｂにも上記ウェブページ（第１画像と同一内容の画像）を表示させる。これにより、上記仮想画像３０の表面３０Ａ側からでも裏面３０Ｂ側からでも上記ウェブページを視認できるので、ユーザが当該ウェブページを視認することを目的として当該仮想画像３０の周囲を移動する手間を省くことができる。
【0070】
他の表示態様としては、ユーザにとって仮想画像３０の表面３０Ａが視認し易い状態にあると判別された場合、ＣＰＵ１１は、図９に示すように、当該仮想画像３０の表面３０Ａに所定の第１画像（第１情報を有する第１画像）として或るウェブページを表示させる。一方、ユーザにとって上記仮想画像３０の裏面３０Ｂが視認し易い状態にあると判別された場合、ＣＰＵ１１は、図１１に示すように、当該仮想画像３０の裏面３０Ｂにブラウザアイコン（当該ウェブページに関するアイコン）３４を表示させる。このブラウザアイコン３４にポインタ５２が当たるようにユーザ操作が行われると、ＣＰＵ１１は、上記仮想画像３０の表面３０Ａに表示させたウェブページを裏面３０Ｂにも表示させる。これにより、ユーザが上記仮想画像３０の裏面３０Ｂ側に存する場合に、当該仮想画像３０の表面３０Ａに何が表示されているかを推測できる。また、上記のユーザ操作によって、上記仮想画像３０の表面３０Ａに表示させたウェブページを裏面３０Ｂにも表示させることができるので、ユーザが当該ウェブページを視認することを目的として上記仮想画像３０の裏面３０Ｂ側から表面３０Ａ側へ移動する手間を省くことができる。
【0071】
また、他の表示態様としては、図１２に示すように、ユーザＵ１にとって仮想画像３０の表面３０Ａが視認し易い状態にあると判別された場合、ＣＰＵ１１は、当該仮想画像３０の表面３０Ａに所定の第１画像（第１情報を有する第１画像）として、ユーザＵ１が装着して使用するウェアラブル端末装置１０Ａにおいて視認可能な画像を表示させる。一方、ユーザＵ１にとって上記仮想画像３０の裏面３０Ｂが視認し易い状態にあると判別された場合、ＣＰＵ１１は、当該仮想画像３０の裏面３０Ｂに、ユーザＵ１とは別のユーザＵ２が装着して使用するウェアラブル端末装置１０Ｂにおいて視認可能な画像を表示させる。
なお、上記仮想画像３０の表面３０Ａに表示されるユーザＵ１が装着して使用するウェアラブル端末装置１０Ａにおいて視認可能な画像は、ユーザＵ２が装着して使用するウェアラブル端末装置１０Ｂにおいては視認できないようになっている。したがって、ウェアラブル端末装置１０Ｂを装着したユーザＵ２が上記仮想画像３０の裏面３０Ｂ側から表面３０Ａ側に回り込んで当該表面３０Ａを視認しても、当該表面３０Ａの上記画像を視認できないようになっている。この場合、仮想画像３０の表面３０Ａがウェアラブル端末装置１０Ａにおいて視認可能であり、ウェアラブル端末装置１０Ｂにおいては視認できない旨が、ウェアラブル端末装置１０ＡによってユーザＵ１に、ウェアラブル端末装置１０ＢによってユーザＵ２に、それぞれ報知されてもよい。
なお、上記仮想画像３０の表面３０Ａに表示されるユーザＵ１が装着して使用するウェアラブル端末装置１０Ａにおいて視認可能な画像は、ユーザＵ２が装着して使用するウェアラブル端末装置１０Ｂにおいては視認できないようになっている。したがって、ウェアラブル端末装置１０Ｂを装着したユーザＵ２が上記仮想画像３０の裏面３０Ｂ側から表面３０Ａ側に回り込んで当該表面３０Ａを視認しても、当該表面３０Ａの上記画像を視認できないようになっている。この場合、仮想画像３０の表面３０Ａがウェアラブル端末装置１０Ａにおいて視認可能であり、ウェアラブル端末装置１０Ｂにおいては視認できない旨が、ウェアラブル端末装置１０ＡによってユーザＵ１に、ウェアラブル端末装置１０ＢによってユーザＵ２に、それぞれ報知されてもよい。
【0072】
ここで、ユーザＵ１が装着して使用するウェアラブル端末装置１０Ａは通信部１６を介してユーザＵ２が装着して使用するウェアラブル端末装置１０Ｂと通信接続されており、ウェアラブル端末装置１０Ａが通信部１６を介して上記仮想画像３０に係る仮想画像データ１３２をウェアラブル端末装置１０Ｂに送信することにより当該仮想画像３０をウェアラブル端末装置１０Ａとウェアラブル端末装置１０Ｂとで共有できるようになっている。図１２の例では、１台のウェアラブル端末装置１０Ｂが示されているが、ウェアラブル端末装置１０Ｂは複数台であってもよい。すなわち複数のユーザＵ２がそれぞれウェアラブル端末装置１０Ｂを装着して使用することによって上記仮想画像３０の裏面３０Ｂに表示された画像を視認できるようにしてもよい。
【0073】
なお、上記仮想画像３０の共有方法は、上述のようにウェアラブル端末装置１０Ａが通信部１６を介して上記仮想画像３０に係る仮想画像データ１３２をウェアラブル端末装置１０Ｂに送信する方法に限られない。例えば、ウェアラブル端末装置１０Ａとウェアラブル端末装置１０Ｂとを管理する管理装置（図示省略）がそれぞれのウェアラブル端末装置１０Ａ，１０Ｂに対して上記仮想画像３０に係る仮想画像データを配信することによって当該仮想画像３０を共有するようにしてもよい。かかる場合、管理装置のＣＰＵ（図示省略）によって、ユーザＵ１とユーザＵ２とが共有する空間内に位置するウィンドウ画面の仮想画像３０を、ウェアラブル端末装置１０Ａの表示部とウェアラブル端末装置１０Ｂの表示部とのそれぞれに表示させ、当該仮想画像３０の表面３０ＡにユーザＵ１がウェアラブル端末装置１０Ａにおいて視認可能な画像を表示させ、裏面３０ＢにユーザＵ２がウェアラブル端末装置１０Ｂにおいて視認可能な画像を表示させるようにする。
【0074】
以下では、ウェアラブル端末装置１０Ａとウェアラブル端末装置１０Ｂとで共有される上記仮想画像３０の表面３０Ａと裏面３０Ｂのそれぞれに表示される画像の具体的な表示態様について説明する。
【0075】
図１３に示すように、ＣＰＵ１１は、ウェアラブル端末装置１０Ａとウェアラブル端末装置１０Ｂとで共有される上記仮想画像３０の表面３０Ａに、プレゼンテーション用のアプリケーションに関する画像であって、例えば、プレゼンテーション資料の作成を行うための作業画面のように当該アプリケーションにおける各種の機能を選択可能な画像を表示させる。一方、図１４に示すように、ＣＰＵ１１は、上記仮想画像３０の裏面３０Ｂに、例えば“プレゼン準備中”の文字を表した画像を表示させる。なお、表面３０Ａに表示させる画像は、プレゼンテーション用のアプリケーションに関する画像に限られず、例えば、文書作成アプリケーションや表作成アプリケーションに関する画像であってもよい。また、裏面３０Ｂに表示させる画像は、上記のプレゼンテーション用のアプリケーションに関係しない画像、または当該アプリケーションにおける各種の機能を選択不可能な画像であればよく、例えば予め指定されたスクリーンセーバーや動画像などでもよい。
【0076】
また、他の表示態様としては、図１５に示すように、ＣＰＵ１１は、ウェアラブル端末装置１０Ａとウェアラブル端末装置１０Ｂとで共有される上記仮想画像３０の表面３０Ａに、メモ領域を含むプレゼンテーション用のアプリケーションに関する画像を表示させる。この画像はプレゼンテーション中に発表者（ユーザＵ１）が利用する画像である。一方、図１６に示すように、ＣＰＵ１１は、上記仮想画像３０の裏面３０Ｂに、プレゼンテーションを行う際に聞き手（ユーザＵ２）に見せるスライドのように上記メモ領域を含まないプレゼンテーション用のアプリケーションに関する画像を表示させる。
【0077】
また、他の表示態様としては、図１７に示すように、ＣＰＵ１１は、ウェアラブル端末装置１０Ａとウェアラブル端末装置１０Ｂとで共有される上記仮想画像３０の表面３０Ａに、プレゼンテーション用のアプリケーションに関する画像を表示させている際に、例えば、ユーザＵ１の操作に応じて、裏面３０Ｂに表示させる所望のデータを指定する一連の指定操作画面を表示させる。一方、図１８に示すように、ＣＰＵ１１は、表面３０Ａにおいて所望のデータ（例えば、ファイルＡ）が指定された場合、上記仮想画像３０の裏面３０Ｂに、当該所望のデータに関する画像を表示させる。
【0078】
また、他の表示態様としては、ユーザＵ１の操作に応じて、所謂テキスト変換アプリケーションが起動された場合、図１９に示すように、ＣＰＵ１１は、ウェアラブル端末装置１０Ａとウェアラブル端末装置１０Ｂとで共有される上記仮想画像３０の表面３０Ａに、発話を促すマイクアイコン３５を表示させる。一方、図２０に示すように、ＣＰＵ１１は、ウェアラブル端末装置１０Ａが備える音声データ取得手段としてのマイク（図示省略）により取得されたユーザＵ１の音声データ（例えば「私は佐藤太郎です。」の音声データ）を文字データに変換し、上記仮想画像３０の裏面３０Ｂに、当該文字データ（例えば「私は佐藤太郎です。」の文字データ）を表示させる。なお、ユーザＵ１の操作ではなく、ユーザＵ２の操作に応じてテキスト変換アプリケーションが起動されて、ユーザＵ１の音声データの文字データへの変換、および、当該文字データの裏面３０Ｂへの表示が実行されてもよい。
【0079】
また、他の表示態様としては、ユーザＵ１の操作に応じて、所謂翻訳アプリケーションが起動された場合、図１９に示すように、ＣＰＵ１１は、ウェアラブル端末装置１０Ａとウェアラブル端末装置１０Ｂとで共有される上記仮想画像３０の表面３０Ａに、発話を促すマイクアイコン３５を表示させる。一方、図２１に示すように、ＣＰＵ１１は、ウェアラブル端末装置１０Ａが備える音声データ取得手段としてのマイク（図示省略）により取得されたユーザＵ１の音声データ（例えば「私は佐藤太郎です。」の音声データ）に基づいて、所定の言語（例えば、英語）の文字データに翻訳し、上記仮想画像３０の裏面３０Ｂに、翻訳後の当該文字データ（例えば「I am Taro Sato.」の文字データ）を表示させる。なお、ユーザＵ１の操作ではなく、ユーザＵ２の操作に応じて翻訳アプリケーションが起動されて、ユーザＵ１の音声データの文字データへの翻訳、および、当該翻訳後の文字データの裏面３０Ｂへの表示を実行されてもよい。
【0080】
〔第２の実施形態〕
次に、第２の実施形態に係る表示システム１の構成について説明する。第２の実施形態は、第１の実施形態においてウェアラブル端末装置１０のＣＰＵ１１が実行していた処理の一部を外部の情報処理装置２０が実行する点で第１の実施形態と異なる。以下では、第１の実施形態との相違点について説明し、共通する点については説明を省略する。
次に、第２の実施形態に係る表示システム１の構成について説明する。第２の実施形態は、第１の実施形態においてウェアラブル端末装置１０のＣＰＵ１１が実行していた処理の一部を外部の情報処理装置２０が実行する点で第１の実施形態と異なる。以下では、第１の実施形態との相違点について説明し、共通する点については説明を省略する。
【0081】
図２２に示すように、表示システム１は、ウェアラブル端末装置１０と、当該ウェアラブル端末装置１０に通信接続された情報処理装置２０（サーバ）とを備える。ウェアラブル端末装置１０と情報処理装置２０との間の通信経路の少なくとも一部は、無線通信によるものであってもよい。ウェアラブル端末装置１０のハードウェア構成は、第１の実施形態と同様とすることができるが、情報処理装置２０が実行する処理と同一の処理を行うためのプロセッサは省略してもよい。
【0082】
図２３に示すように、情報処理装置２０は、ＣＰＵ２１と、ＲＡＭ２２と、記憶部２３と、操作表示部２４と、通信部２５などを備え、これらの各部はバス２６により接続されている。
【0083】
ＣＰＵ２１は、各種演算処理を行い、情報処理装置２０の各部の動作を統括制御するプロセッサである。ＣＰＵ２１は、記憶部２３に記憶されたプログラム２３１を読み出して実行することで、各種制御動作を行う。
【0084】
ＲＡＭ２２は、ＣＰＵ２１に作業用のメモリ空間を提供し、一時データを記憶する。
【0085】
記憶部２３は、コンピュータとしてのＣＰＵ２１により読み取り可能な非一時的な記録媒体である。記憶部２３は、ＣＰＵ２１により実行されるプログラム２３１、および各種設定データなどを記憶する。プログラム２３１は、コンピュータ読み取り可能なプログラムコードの形態で記憶部２３に格納されている。記憶部２３としては、例えばフラッシュメモリを備えたＳＳＤ、またはＨＤＤ（Hard Disk Drive）などの不揮発性の記憶装置が用いられる。
【0086】
操作表示部２４は、液晶ディスプレイ等の表示装置と、マウスおよびキーボードといった入力装置とを備える。操作表示部２４は、表示装置において表示システム１の動作ステータスや処理結果等の各種表示を行う。ここで、表示システム１の動作ステータスには、ウェアラブル端末装置１０のカメラ１５４によるリアルタイムの撮影画像が含まれてもよい。また、操作表示部２４は、入力装置に対するユーザの入力操作を操作信号に変換してＣＰＵ２１に出力する。
【0087】
通信部２５は、ウェアラブル端末装置１０と通信を行ってデータを送受信する。例えば、通信部２５は、ウェアラブル端末装置１０のセンサー部１５による検出結果の一部または全部を含むデータ、およびウェアラブル端末装置１０が検出したユーザの操作（ジェスチャー）に係る情報などを受信する。また、通信部２５は、ウェアラブル端末装置１０以外の他の装置との通信が可能であってもよい。
【0088】
このような構成の表示システム１において、情報処理装置２０のＣＰＵ２１は、第１の実施形態においてウェアラブル端末装置１０のＣＰＵ１１が実行していた処理の少なくとも一部を実行する。例えば、ＣＰＵ２１は、深度センサー１５３による検出結果に基づいて空間４０の３次元マッピングを行ってもよい。また、ＣＰＵ２１は、センサー部１５の各部による検出結果に基づいて空間４０内におけるユーザの視認領域４１を検出してもよい。また、ＣＰＵ２１は、ウェアラブル端末装置１０のユーザの操作に応じて仮想画像３０に係る仮想画像データ１３２を生成してもよい。また、ＣＰＵ２１は、深度センサー１５３およびカメラ１５４による撮像画像に基づいてユーザの手（および／または指）の位置および向きを検出してもよい。
【0089】
ＣＰＵ２１による上記の処理結果は、通信部２５を介してウェアラブル端末装置１０に送信される。ウェアラブル端末装置１０のＣＰＵ１１は、受信した処理結果に基づいてウェアラブル端末装置１０の各部（例えば表示部１４）を動作させる。また、ＣＰＵ２１は、ウェアラブル端末装置１０に制御信号を送信して、ウェアラブル端末装置１０の表示部１４の表示制御を行ってもよい。
【0090】
このように、情報処理装置２０において処理の少なくとも一部を実行することで、ウェアラブル端末装置１０の装置構成を簡素化することができ、また製造コストを低減することができる。また、より高性能な情報処理装置２０を用いることで、ＭＲに係る各種の処理を高速化および高精度化することができる。よって、空間４０の３Ｄマッピングの精度を高めたり、表示部１４による表示品質を高めたり、ユーザの動作に対する表示部１４の反応速度を高めたりすることができる。
【0091】
〔その他〕
なお、上記実施形態は例示であり、様々な変更が可能である。
例えば、上記の各実施形態では、ユーザに現実空間を視認させるために、光透過性を有するバイザー１４１を用いたが、これに限られない。例えば、遮光性を有するバイザー１４１を用い、カメラ１５４により撮影された空間４０の画像をユーザに視認させてもよい。すなわち、ＣＰＵ１１は、カメラ１５４により撮影された空間４０の画像、および当該空間４０の画像に重ねられた仮想画像３０を表示部１４に表示させてもよい。このような構成によっても、現実空間に仮想画像３０を融合させるＭＲを実現できる。
なお、上記実施形態は例示であり、様々な変更が可能である。
例えば、上記の各実施形態では、ユーザに現実空間を視認させるために、光透過性を有するバイザー１４１を用いたが、これに限られない。例えば、遮光性を有するバイザー１４１を用い、カメラ１５４により撮影された空間４０の画像をユーザに視認させてもよい。すなわち、ＣＰＵ１１は、カメラ１５４により撮影された空間４０の画像、および当該空間４０の画像に重ねられた仮想画像３０を表示部１４に表示させてもよい。このような構成によっても、現実空間に仮想画像３０を融合させるＭＲを実現できる。
【0092】
また、カメラ１５４による現実空間の撮影画像に代えて、予め生成された仮想空間の画像を用いることで、仮想空間にいるように体感させるＶＲを実現できる。このＶＲにおいても、ユーザの視認領域４１が特定されて、仮想空間のうち視認領域４１の内部に表示位置が定められている仮想画像３０が表示される。
【0093】
ウェアラブル端末装置１０は、図１に例示した環状の本体部１０ａを有するものに限られず、装着時にユーザが視認可能な表示部を有していれば、どのような構造であってもよい。例えば、ヘルメットのように頭部全体を覆う構成であってもよい。また、メガネのように、耳に掛けるフレームを有し、フレーム内に各種機器が内蔵されていてもよい。
【0094】
ユーザのジェスチャーを検出して入力操作として受け付ける例を用いて説明したが、これに限られない。例えば、ユーザが手に持ったり、体に装着したりして使用するコントローラにより入力操作が受け付けられてもよい。
【0095】
上記実施形態では、ウェアラブル端末装置１０Ａとウェアラブル端末装置１０Ｂとで共有されるウィンドウ画面の仮想画像３０の表面３０Ａと裏面３０Ｂのそれぞれに表示される画像の表示態様を例示したが、その他の例として、当該仮想画像３０の表面３０Ａにコメント領域を含む文書作成アプリケーションに関する画像を表示させ、裏面３０Ｂにコメント領域を含まない文書作成アプリケーションに関する画像を表示させるようにしてもよい。また、当該仮想画像３０の表面３０Ａに特定のシートを含む表作成アプリケーションに関する画像を表示させ、裏面３０Ｂに特定のシートを含まない表作成アプリケーションに関する画像を表示させるようにしてもよい。
【0096】
また、上記実施形態では、例えば、図１５および図１６で示したように、ウェアラブル端末装置１０Ａとウェアラブル端末装置１０Ｂとで共有される上記仮想画像３０の表面３０Ａに、メモ領域を含むプレゼンテーション用のアプリケーションに関する画像を表示させるとともに、裏面３０Ｂに、メモ領域を含まないプレゼンテーション用のアプリケーションに関する画像を表示させた際、ユーザＵ１による表面３０Ａへの所定の操作に応じて、このとき裏面３０Ｂに表示されているメモ領域を含まないプレゼンテーション用のアプリケーションに関する画像を表面３０Ａに表示できるようにしてもよい。なお、図１３と図１４、図１７と図１８、図１９と図２０、図１９と図２１の各組において説明した表示態様のケースにおいても、ユーザＵ１による表面３０Ａへの所定の操作に応じて、このとき裏面３０Ｂに表示されている画像を表面３０Ａに表示できるようにしてもよい。
【0097】
また、上記実施形態の仮想画像表示処理（図５参照）では、第１の面としての表面３０Ａと第２の面としての裏面３０Ｂの２面からなる仮想画像３０（ウィンドウ画面の仮想画像３０）に限定して、当該仮想画像３０の表面３０Ａに所定の第１画像を表示させ、裏面３０Ｂに所定の第２画像を表示させる制御手順としたが、第１の面に所定の第１画像を表示させ、第２の面に所定の第２画像を表示させる対象の仮想画像３０は、上記の表面３０Ａと裏面３０Ｂの２面からなる仮想画像３０に限られず、四面体や六面体などの仮想画像であってもよい。例えば、仮想画像が六面体である場合、所定の第２画像を表示させる第２の面は、所定の第１画像を表示させる第１の面と辺を共有する面であってよいし、当該第１の面と辺を共有しない面であってもよい。
【0098】
その他、上記実施の形態で示した構成および制御の具体的な細部は、本開示の趣旨を逸脱しない範囲において適宜変更可能である。また、本開示の趣旨を逸脱しない範囲において、上記実施の形態で示した構成および制御を適宜組み合わせ可能である。
【産業上の利用可能性】
【0099】
本開示は、ウェアラブル端末装置、プログラム、表示方法および仮想画像配信システムに利用することができる。
【符号の説明】
【0100】
１ 表示システム
１０，１０Ａ，１０Ｂ ウェアラブル端末装置
１０ａ 本体部
１１ ＣＰＵ（プロセッサ）
１２ ＲＡＭ
１３ 記憶部
１３１ プログラム
１３２ 仮想画像データ
１４ 表示部
１４１ バイザー（表示部材）
１４２ レーザースキャナー
１５ センサー部
１５１ 加速度センサー
１５２ 角速度センサー
１５３ 深度センサー
１５４ カメラ
１５５ アイトラッカー
１６ 通信部
１７ バス
２０ 情報処理装置
２１ ＣＰＵ
２２ ＲＡＭ
２３ 記憶部
２３１ プログラム
２４ 操作表示部
２５ 通信部
２６ バス
３０ 仮想画像
３０Ａ 表面（第１の面）
３０Ｂ 裏面（第２の面）
３１ 機能バー
３２ ウィンドウ形状変更ボタン
３３ クローズボタン
４０ 空間
４１ 視認領域
５１ 仮想線
５２ ポインタ
Ｕ ユーザ
Ｕ１ ユーザ（一のユーザ）
Ｕ２ ユーザ（他のユーザ）
１０，１０Ａ，１０Ｂ ウェアラブル端末装置
１０ａ 本体部
１１ ＣＰＵ（プロセッサ）
１２ ＲＡＭ
１３ 記憶部
１３１ プログラム
１３２ 仮想画像データ
１４ 表示部
１４１ バイザー（表示部材）
１４２ レーザースキャナー
１５ センサー部
１５１ 加速度センサー
１５２ 角速度センサー
１５３ 深度センサー
１５４ カメラ
１５５ アイトラッカー
１６ 通信部
１７ バス
２０ 情報処理装置
２１ ＣＰＵ
２２ ＲＡＭ
２３ 記憶部
２３１ プログラム
２４ 操作表示部
２５ 通信部
２６ バス
３０ 仮想画像
３０Ａ 表面（第１の面）
３０Ｂ 裏面（第２の面）
３１ 機能バー
３２ ウィンドウ形状変更ボタン
３３ クローズボタン
４０ 空間
４１ 視認領域
５１ 仮想線
５２ ポインタ
Ｕ ユーザ
Ｕ１ ユーザ（一のユーザ）
Ｕ２ ユーザ（他のユーザ）
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図13】
【図14】
【図15】
【図16】
【図17】
【図18】
【図19】
【図20】
【図21】
【図22】
【図23】