(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2024109620
(43)【公開日】2024-08-14
(54)【発明の名称】ウェアラブル端末装置、プログラムおよび表示方法
(51)【国際特許分類】
G06F 3/01 20060101AFI20240806BHJP
G06F 3/0481 20220101ALI20240806BHJP
【ＦＩ】
G06F3/01 510
G06F3/0481
【審査請求】有
【請求項の数】21
【出願形態】ＯＬ
(21)【出願番号】P 2024074244
(22)【出願日】2024-05-01
(62)【分割の表示】P 2023509925の分割
【原出願日】2021-03-29
(71)【出願人】
【識別番号】000006633
【氏名又は名称】京セラ株式会社
(74)【代理人】
【識別番号】100090033
【弁理士】
【氏名又は名称】荒船 博司
(74)【代理人】
【識別番号】100093045
【弁理士】
【氏名又は名称】荒船 良男
(72)【発明者】
【氏名】伊東 伸悟
(72)【発明者】
【氏名】足立 智和
(72)【発明者】
【氏名】清水 解
(57)【要約】 （修正有）
【課題】ＶＲおよびＭＲにおいて、ユーザの視認領域の外部にある仮想画像の存在を認識できるようなウェアラブル端末装置の提供。
【解決手段】ユーザが装着して使用するウェアラブル端末装置は、少なくとも一つのプロセッサを備える。少なくとも一つのプロセッサは、空間内における前記ユーザの視認領域を検出する。少なくとも一つのプロセッサは、空間に位置する仮想画像のうち、視認領域の内部に位置する第１の仮想画像を表示部に表示させる。少なくとも一つのプロセッサは、視認領域の外部に位置する第２の仮想画像がある場合に、第２の仮想画像の存在を所定の態様で示す表示を表示部に行わせる。
【選択図】図６
【解決手段】ユーザが装着して使用するウェアラブル端末装置は、少なくとも一つのプロセッサを備える。少なくとも一つのプロセッサは、空間内における前記ユーザの視認領域を検出する。少なくとも一つのプロセッサは、空間に位置する仮想画像のうち、視認領域の内部に位置する第１の仮想画像を表示部に表示させる。少なくとも一つのプロセッサは、視認領域の外部に位置する第２の仮想画像がある場合に、第２の仮想画像の存在を所定の態様で示す表示を表示部に行わせる。
【選択図】図６
【特許請求の範囲】
【請求項1】
ユーザが装着して使用するウェアラブル端末装置であって、
少なくとも一つのプロセッサを備え、
前記少なくとも一つのプロセッサは、
空間内における前記ユーザの視認領域を検出し、
前記空間に位置する仮想画像のうち、前記視認領域の内部に位置する第１の仮想画像を表示部に表示させ、
前記視認領域の外部に位置する第２の仮想画像がある場合に、前記第２の仮想画像の存在を所定の態様で示す表示を前記表示部に行わせる、ウェアラブル端末装置。
少なくとも一つのプロセッサを備え、
前記少なくとも一つのプロセッサは、
空間内における前記ユーザの視認領域を検出し、
前記空間に位置する仮想画像のうち、前記視認領域の内部に位置する第１の仮想画像を表示部に表示させ、
前記視認領域の外部に位置する第２の仮想画像がある場合に、前記第２の仮想画像の存在を所定の態様で示す表示を前記表示部に行わせる、ウェアラブル端末装置。
【請求項2】
前記表示部は、光透過性を有する表示部材を備え、
前記少なくとも一つのプロセッサは、前記表示部材を通して視認される前記空間に前記第１の仮想画像が視認されるように、前記第１の仮想画像を前記表示部材の表示面に表示させる、請求項１に記載のウェアラブル端末装置。
前記少なくとも一つのプロセッサは、前記表示部材を通して視認される前記空間に前記第１の仮想画像が視認されるように、前記第１の仮想画像を前記表示部材の表示面に表示させる、請求項１に記載のウェアラブル端末装置。
【請求項3】
前記空間を撮影するカメラを備え、
前記少なくとも一つのプロセッサは、前記カメラにより撮影された前記空間の画像、および当該空間の画像に重ねられた前記第１の仮想画像を前記表示部に表示させる、請求項１に記載のウェアラブル端末装置。
前記少なくとも一つのプロセッサは、前記カメラにより撮影された前記空間の画像、および当該空間の画像に重ねられた前記第１の仮想画像を前記表示部に表示させる、請求項１に記載のウェアラブル端末装置。
【請求項4】
前記少なくとも一つのプロセッサは、前記視認領域の外部に位置する前記第２の仮想画像がある場合に、前記第２の仮想画像のリストを含むリスト画面を前記表示部に表示させる、請求項１～３のいずれか一項に記載のウェアラブル端末装置。
【請求項5】
前記少なくとも一つのプロセッサは、前記視認領域の外部に位置する前記第２の仮想画像がある場合に、前記第１の仮想画像および前記第２の仮想画像のリストを含むリスト画面を前記表示部に表示させる、請求項１～３のいずれか一項に記載のウェアラブル端末装置。
【請求項6】
前記リスト画面は、前記空間における前記ユーザの位置および向きによらず前記表示部における表示位置が固定されている、請求項４または５に記載のウェアラブル端末装置。
【請求項7】
前記少なくとも一つのプロセッサは、前記リスト画面に含まれる一の仮想画像に対する所定の操作に応じて、当該一の仮想画像の表示態様を変化させる、請求項４～６のいずれか１つに記載のウェアラブル端末装置。
【請求項8】
前記少なくとも一つのプロセッサは、前記リスト画面に含まれる一の前記第２の仮想画像に対する所定の操作に応じて、前記第２の仮想画像が位置する方向を示す表示を前記表示部に行わせる、請求項４～６のいずれか一項に記載のウェアラブル端末装置。
【請求項9】
前記少なくとも一つのプロセッサは、前記リスト画面に含まれる一の仮想画像に対する所定の複製操作に応じて、当該一の仮想画像を複製して前記表示部に表示させる、請求項４～８のいずれか一項に記載のウェアラブル端末装置。
【請求項10】
前記複製操作は、前記リスト画面に含まれる一の仮想画像に対するドラッグ操作およびドロップ操作を含み、
前記少なくとも一つのプロセッサは、前記ドロップ操作がなされた位置に前記一の仮想画像を複製して前記表示部に表示させる、請求項９に記載のウェアラブル端末装置。
前記少なくとも一つのプロセッサは、前記ドロップ操作がなされた位置に前記一の仮想画像を複製して前記表示部に表示させる、請求項９に記載のウェアラブル端末装置。
【請求項11】
前記少なくとも一つのプロセッサは、複製した前記一の仮想画像を編集する操作を受け付けた場合に、当該操作による編集内容を、複製元の前記一の仮想画像に反映させる、請求項９または１０に記載のウェアラブル端末装置。
【請求項12】
前記少なくとも一つのプロセッサは、前記リスト画面に含まれる一の仮想画像に対する所定の移動操作に応じて、当該一の仮想画像を前記移動操作に応じた位置に移動させる、請求項４～８のいずれか一項に記載のウェアラブル端末装置。
【請求項13】
前記移動操作は、前記リスト画面に含まれる一の仮想画像に対するドラッグ操作およびドロップ操作を含み、
前記少なくとも一つのプロセッサは、前記ドロップ操作がなされた位置に前記一の仮想画像を移動させる、請求項１２に記載のウェアラブル端末装置。
前記少なくとも一つのプロセッサは、前記ドロップ操作がなされた位置に前記一の仮想画像を移動させる、請求項１２に記載のウェアラブル端末装置。
【請求項14】
前記少なくとも一つのプロセッサは、前記リスト画面に含まれる一または二以上の仮想画像を選択する操作を含む削除操作に応じて、選択された仮想画像、または前記リスト画面に含まれる仮想画像のうち選択されなかった仮想画像を前記空間から削除する、請求項４～１３のいずれか一項に記載のウェアラブル端末装置。
【請求項15】
前記少なくとも一つのプロセッサは、第１の操作に基づいて、前記第２の仮想画像を前記表示部に表示させる、請求項１～３のいずれか一項に記載のウェアラブル端末装置。
【請求項16】
前記少なくとも一つのプロセッサは、前記視認領域のうち前記ユーザの位置から所定の操作対象範囲内の位置に前記第２の仮想画像を表示させる、請求項１５に記載のウェアラブル端末装置。
【請求項17】
前記少なくとも一つのプロセッサは、前記第２の仮想画像の大きさを変更して前記表示部に表示させる、請求項１５または１６に記載のウェアラブル端末装置。
【請求項18】
前記少なくとも一つのプロセッサは、前記第１の仮想画像および前記第２の仮想画像を所定の態様で整列させる、請求項１５～１７のいずれか一項に記載のウェアラブル端末装置。
【請求項19】
前記仮想画像は、第１面および第２面を有し、
前記少なくとも一つのプロセッサは、前記ユーザに前記第１面および前記第２面のうち一方が向くように前記第１の仮想画像および前記第２の仮想画像を前記表示部に表示させる、請求項１５～１８のいずれか一項に記載のウェアラブル端末装置。
前記少なくとも一つのプロセッサは、前記ユーザに前記第１面および前記第２面のうち一方が向くように前記第１の仮想画像および前記第２の仮想画像を前記表示部に表示させる、請求項１５～１８のいずれか一項に記載のウェアラブル端末装置。
【請求項20】
前記少なくとも一つのプロセッサは、前記第１の仮想画像を第１の規則に従う態様で前記表示部に表示させ、前記第２の仮想画像を前記第１の規則とは異なる第２の規則に従う態様で前記表示部に表示させる、請求項１５～１９のいずれか一項に記載のウェアラブル端末装置。
【請求項21】
前記仮想画像は、第１面および第２面を有し、
前記少なくとも一つのプロセッサは、前記第２の仮想画像を前記表示部に表示させた後、所定の操作に応じて少なくとも一部の仮想画像の表示する面を変更する、請求項１５～２０のいずれか一項に記載のウェアラブル端末装置。
前記少なくとも一つのプロセッサは、前記第２の仮想画像を前記表示部に表示させた後、所定の操作に応じて少なくとも一部の仮想画像の表示する面を変更する、請求項１５～２０のいずれか一項に記載のウェアラブル端末装置。
【請求項22】
前記少なくとも一つのプロセッサは、前記第１の仮想画像および前記第２の仮想画像を所定の条件に基づく順序で配列させる、請求項１５～２１のいずれか一項に記載のウェアラブル端末装置。
【請求項23】
前記少なくとも一つのプロセッサは、複数の前記第２の仮想画像を前記表示部に表示させる場合に、スクロール操作によって当該複数の第２の仮想画像の任意の一部を表示可能なスクロール画面を前記表示部に表示させる、請求項１５～２２のいずれか一項に記載のウェアラブル端末装置。
【請求項24】
前記少なくとも一つのプロセッサは、前記第１の仮想画像の少なくとも一部に重なるように前記第２の仮想画像を前記表示部に表示させる、請求項１５～２３のいずれか一項に記載のウェアラブル端末装置。
【請求項25】
前記少なくとも一つのプロセッサは、前記第１の仮想画像および前記第２の仮想画像の一方を、他方よりも目立たせる所定の強調態様で前記表示部に表示させる、請求項１５～２４のいずれか一項に記載のウェアラブル端末装置。
【請求項26】
前記少なくとも一つのプロセッサは、前記第１の操作に基づいて前記第２の仮想画像を前記表示部に表示させているときに第２の操作がなされた場合に、少なくとも一部の前記第２の仮想画像を元の位置に戻す、請求項１５～２５のいずれか一項に記載のウェアラブル端末装置。
【請求項27】
前記少なくとも一つのプロセッサは、前記第２の仮想画像を、前記ユーザの正面を通る経路で元の位置まで移動させる、請求項２６に記載のウェアラブル端末装置。
【請求項28】
前記少なくとも一つのプロセッサは、元の位置に戻した前記第２の仮想画像と、前記視認領域内の所定位置とを紐付けるラインを前記表示部に表示させる、請求項２６または２７に記載のウェアラブル端末装置。
【請求項29】
前記少なくとも一つのプロセッサは、前記ラインに対する所定の操作に応じて、前記ラインが紐付けられている前記第２の仮想画像を前記表示部に表示させる、請求項２８に記載のウェアラブル端末装置。
【請求項30】
前記少なくとも一つのプロセッサは、
第１空間、および前記第１空間とは別個の第２空間のいずれか一方に位置する前記仮想画像を生成し、
前記第１空間に自装置が位置している場合に、前記第２空間に位置する前記第２の仮想画像の存在を示す前記表示を前記表示部に行わせる、請求項１～２９のいずれか一項に記載のウェアラブル端末装置。
第１空間、および前記第１空間とは別個の第２空間のいずれか一方に位置する前記仮想画像を生成し、
前記第１空間に自装置が位置している場合に、前記第２空間に位置する前記第２の仮想画像の存在を示す前記表示を前記表示部に行わせる、請求項１～２９のいずれか一項に記載のウェアラブル端末装置。
【請求項31】
前記少なくとも一つのプロセッサは、自装置が前記第２空間から前記第１空間に移動した場合に、前記第２空間に位置する前記第２の仮想画像の存在を示す前記表示を前記表示部に行わせる、請求項３０に記載のウェアラブル端末装置。
【請求項32】
ユーザが装着して使用するウェアラブル端末装置に設けられたコンピュータに、
空間内における前記ユーザの視認領域を検出する処理、
前記空間に位置する仮想画像のうち、前記視認領域の内部に位置する第１の仮想画像を表示部に表示させる処理、
前記視認領域の外部に位置する第２の仮想画像がある場合に、前記第２の仮想画像の存在を所定の態様で示す表示を前記表示部に行わせる処理、
を実行させる、プログラム。
空間内における前記ユーザの視認領域を検出する処理、
前記空間に位置する仮想画像のうち、前記視認領域の内部に位置する第１の仮想画像を表示部に表示させる処理、
前記視認領域の外部に位置する第２の仮想画像がある場合に、前記第２の仮想画像の存在を所定の態様で示す表示を前記表示部に行わせる処理、
を実行させる、プログラム。
【請求項33】
ユーザが装着して使用するウェアラブル端末装置における表示方法であって、
空間内における前記ユーザの視認領域を検出し、
前記空間に位置する仮想画像のうち、前記視認領域の内部に位置する第１の仮想画像を表示部に表示させ、
前記視認領域の外部に位置する第２の仮想画像がある場合に、前記第２の仮想画像の存在を所定の態様で示す表示を前記表示部に行わせる、表示方法。
空間内における前記ユーザの視認領域を検出し、
前記空間に位置する仮想画像のうち、前記視認領域の内部に位置する第１の仮想画像を表示部に表示させ、
前記視認領域の外部に位置する第２の仮想画像がある場合に、前記第２の仮想画像の存在を所定の態様で示す表示を前記表示部に行わせる、表示方法。
【発明の詳細な説明】
【技術分野】
【0001】
本開示は、ウェアラブル端末装置、プログラムおよび表示方法に関する。
【背景技術】
【0002】
従来、ユーザが頭部に装着するウェアラブル端末装置を用いて、仮想画像および／または仮想空間をユーザに体感させる技術として、ＶＲ（仮想現実）、ＭＲ（複合現実）およびＡＲ（拡張現実）が知られている。ウェアラブル端末装置は、ユーザが装着したときにユーザの視界を覆う表示部を有する。この表示部に、ユーザの位置および向きに応じて仮想画像および／または仮想空間を表示することで、あたかもこれらが存在しているかのような視覚効果を実現する（例えば、特許文献１及び特許文献２）。
【0003】
ＭＲは、ユーザに現実空間を視認させつつ、現実空間の所定位置に仮想画像が存在しているように見せる表示を行うことで、現実空間と仮想画像とが融合した複合現実を体感させる技術である。また、ＶＲは、ＭＲにおける現実空間に代えて仮想空間をユーザに視認させることで、あたかもユーザが仮想空間にいるように体感させる技術である。
【0004】
ＶＲおよびＭＲにおいて表示される仮想画像は、ユーザが位置する空間における表示位置が定められており、その表示位置がユーザの視認領域の内部にある場合に表示部に表示されてユーザに視認される。
【先行技術文献】
【特許文献】
【0005】
【特許文献1】米国特許出願公開第２０１９／００８７０２１号明細書
【特許文献2】米国特許出願公開第２０１９／０３４０８２２号明細書
【発明の概要】
【0006】
本開示のウェアラブル端末装置は、ユーザが装着して使用するウェアラブル端末装置であって、少なくとも一つのプロセッサを備える。前記少なくとも一つのプロセッサは、空間内における前記ユーザの視認領域を検出する。前記少なくとも一つのプロセッサは、前記空間に位置する仮想画像のうち、前記視認領域の内部に位置する第１の仮想画像を表示部に表示させる。前記少なくとも一つのプロセッサは、前記視認領域の外部に位置する第２の仮想画像がある場合に、前記第２の仮想画像の存在を所定の態様で示す表示を前記表示部に行わせる。
【0007】
また、本開示のプログラムは、ユーザが装着して使用するウェアラブル端末装置に設けられたコンピュータに、空間内における前記ユーザの視認領域を検出する処理を実行させる。前記プログラムは、前記コンピュータに、前記空間に位置する仮想画像のうち、前記視認領域の内部に位置する第１の仮想画像を表示部に表示させる処理を実行させる。前記プログラムは、前記コンピュータに、前記視認領域の外部に位置する第２の仮想画像がある場合に、前記第２の仮想画像の存在を所定の態様で示す表示を前記表示部に行わせる処理を実行させる。
【0008】
また、本開示の表示方法は、ユーザが装着して使用するウェアラブル端末装置における表示方法である。当該表示方法では、空間内における前記ユーザの視認領域を検出する。前記表示方法では、前記空間に位置する仮想画像のうち、前記視認領域の内部に位置する第１の仮想画像を表示部に表示させる。前記表示方法では、前記視認領域の外部に位置する第２の仮想画像がある場合に、前記第２の仮想画像の存在を所定の態様で示す表示を前記表示部に行わせる。
【図面の簡単な説明】
【0009】
【図1】第１の実施形態に係るウェアラブル端末装置の構成を示す模式斜視図である。
【図2】ウェアラブル端末装置を装着しているユーザが視認する視認領域および仮想画像の例を示す図である。
【図3】空間における視認領域を説明する図である。
【図4】ウェアラブル端末装置の主要な機能構成を示すブロック図である。
【図5】仮想画像表示処理の制御手順を示すフローチャートである。
【図6】第２の仮想画像の存在を認識させるためのリスト画面、および当該リスト画面に対する操作に応じて表示されるインジケーターを示す図である。
【図7】リスト画面に対する操作に応じた表示態様の変化を示す図である。
【図8】リスト画面に対する操作に応じた仮想画像の複製動作を示す図である。
【図9】リスト画面に対する操作に応じた仮想画像の移動動作を示す図である。
【図10】リスト画面に対する操作に応じた仮想画像の削除動作を示す図である。
【図11】リスト画面の他の例を示す図である。
【図12】インジケーターにより第２の仮想画像の存在を認識させる表示動作を示す図である。
【図13】仮想画像表示処理の制御手順を示すフローチャートである。
【図14】第２の仮想画像の存在を認識させるために第２の仮想画像を視認領域内に移動させる動作を示す図である。
【図15】表面を向けた状態で仮想画像を整列させる例を示す図である。
【図16】裏面を向けた状態で仮想画像を整列させる例を示す図である。
【図17】第１の仮想画像と第２の仮想画像とを異なる規則に従って整列させる例を示す図である。
【図18】スクロール画面を表示させる例を示す図である。
【図19】第１の仮想画像に重ねて第２の仮想画像を表示させる例を示す図である。
【図20】第２の仮想画像を所定の強調態様で表示させる例を示す図である。
【図21】第１の仮想画像を所定の抑制態様で表示させる例を示す図である。
【図22】第１の仮想画像および第２の仮想画像が重ならないように仮想画像を移動させる表示動作を示す図である。
【図23】第２の仮想画像を元の位置に戻す表示動作を示す図である。
【図24】元の位置に戻した第２の仮想画像に紐付けられたラインを示す図である。
【図25】複数の空間がある場合のリスト画像の例を示す図である。
【図26】複数の空間がある場合に第２の仮想画像を視認領域内に移動させる動作を示す図である。
【図27】第２の実施形態に係る表示システムの構成を示す模式図である。
【図28】情報処理装置の主要な機能構成を示すブロック図である。
【発明を実施するための形態】
【0010】
以下、実施の形態を図面に基づいて説明する。ただし、以下で参照する各図は、説明の便宜上、実施形態を説明する上で必要な主要部材のみを簡略化して示したものである。したがって、本開示のウェアラブル端末装置１０および情報処理装置２０は、参照する各図に示されていない任意の構成部材を備え得る。
【0011】
〔第１の実施形態〕
図１に示すように、ウェアラブル端末装置１０は、本体部１０ａ、および当該本体部１０ａに取り付けられたバイザー１４１（表示部材）などを備える。
図１に示すように、ウェアラブル端末装置１０は、本体部１０ａ、および当該本体部１０ａに取り付けられたバイザー１４１（表示部材）などを備える。
【0012】
本体部１０ａは、その周長を調整可能な環状の部材である。本体部１０ａの内部には、深度センサー１５３およびカメラ１５４などの種々の機器が内蔵されている。本体部１０ａを頭部に装着すると、ユーザの視界がバイザー１４１によって覆われるようになっている。
【0013】
バイザー１４１は、光透過性を有する。ユーザは、バイザー１４１を通して現実空間を視認することができる。バイザー１４１のうちユーザの目に対向する表示面には、本体部１０ａに内蔵されたレーザースキャナー１４２（図４参照）から仮想画像等の画像が投影されて表示される。ユーザは、表示面からの反射光により仮想画像を視認する。このとき、ユーザは、併せてバイザー１４１越しに現実空間も視認しているため、あたかも現実空間に仮想画像が存在しているかのような視覚効果が得られる。
【0014】
図２に示すように、仮想画像３０が表示された状態では、ユーザは、空間４０における所定位置に、所定方向を向いた仮想画像３０を視認する。本実施形態では、空間４０は、ユーザがバイザー１４１越しに視認する現実空間である。仮想画像３０は、光透過性を有するバイザー１４１に投影されているため、現実空間に重なる半透明の画像として視認される。図２では、仮想画像３０として平面状のウィンドウ画面を例示しているが、これに限られず、仮想画像３０は、例えば矢印等のオブジェクトであってもよいし、各種の立体画像であってもよい。仮想画像３０がウィンドウ画面である場合には、仮想画像３０は表面（第１面）および裏面（第２面）を有し、このうち表面に必要な情報が表示され、通常、裏面には情報が表示されない。
【0015】
ウェアラブル端末装置１０は、空間４０におけるユーザの位置および向き（言い換えると、ウェアラブル端末装置１０の位置および向き）に基づいて、ユーザの視認領域４１を検出する。図３に示すように、視認領域４１は、空間４０のうち、ウェアラブル端末装置１０を装着しているユーザＵの前方に位置する領域である。例えば、視認領域４１は、ユーザＵの正面から左右方向および上下方向にそれぞれ所定角度範囲内の領域である。この場合、視認領域４１の形状に相当する立体を、ユーザＵの正面方向に垂直な平面で切り取ったときの切り口の形状は矩形である。なお、視認領域４１の形状は、当該切り口の形状が矩形以外（例えば、円形または楕円形等）となるように定められていてもよい。視認領域４１の形状（例えば、正面から左右方向および上下方向の角度範囲）は、例えば以下の方法で特定することができる。
【0016】
ウェアラブル端末装置１０では、初回起動時等の所定のタイミングにおいて、所定の手順で視野の調整（以下、キャリブレーションと記す）が行われる。このキャリブレーションにより、ユーザが視認できる範囲が特定され、以降、当該範囲内に仮想画像３０が表示される。このキャリブレーションにより特定された視認可能な範囲の形状を、視認領域４１の形状とすることができる。
【0017】
また、キャリブレーションは、上記の所定の手順で行われるものに限られず、ウェアラブル端末装置１０の通常の操作を行っている中で自動的にキャリブレーションが行われてもよい。例えば、ユーザからのリアクションがなされるべき表示に対してリアクションがなされない場合に、当該表示を行っている範囲をユーザの視野の範囲外であるとみなして視野（および視認領域４１の形状）を調整してもよい。また、視野の範囲外として定められている位置に試験的に表示を行い、当該表示に対するユーザのリアクションがあった場合に、当該表示を行っている範囲をユーザの視野の範囲内であるとみなして視野（および視認領域４１の形状）を調整してもよい。
【0018】
なお、視認領域４１の形状は、出荷時等において、視野の調整結果に基づかずに予め定められて固定されていてもよい。例えば、視認領域４１の形状は、表示部１４の光学設計上、最大限表示可能な範囲に定められていてもよい。
【0019】
仮想画像３０は、ユーザの所定の操作に応じて、空間４０における表示位置および向きが定められた状態で生成される。ウェアラブル端末装置１０は、生成された仮想画像３０のうち、視認領域４１の内部に表示位置が定められている仮想画像３０をバイザー１４１に投影させて表示する。図２においては、視認領域４１が鎖線で示されている。
【0020】
バイザー１４１における仮想画像３０の表示位置および向きは、ユーザの視認領域４１の変化に応じてリアルタイムに更新される。すなわち、「設定された位置および向きで空間４０内に仮想画像３０が位置している」とユーザが認識するように、視認領域４１の変化に応じて仮想画像３０の表示位置および向きが変化する。例えば、ユーザが仮想画像３０の表側から裏側に向かって移動すると、この移動に応じて表示される仮想画像３０の形状（角度）が徐々に変化する。また、ユーザが仮想画像３０の裏側に回り込んだ後で当該仮想画像３０の方向を向くと、仮想画像３０の裏面が視認されるように裏面が表示される。また、視認領域４１の変化に応じて、表示位置が視認領域４１から外れた仮想画像３０は表示されなくなり、表示位置が視認領域４１に入った仮想画像３０があれば当該仮想画像３０が新たに表示される。
【0021】
図２に示すように、ユーザが手（または指）を前方にかざすと、手を伸ばした方向がウェアラブル端末装置１０により検出され、当該方向に延びる仮想線５１と、ポインタ５２とがバイザー１４１の表示面に表示されてユーザに視認される。ポインタ５２は、仮想線５１と仮想画像３０との交点に表示される。仮想線５１が仮想画像３０と交差しない場合には、仮想線５１と空間４０の壁面等との交点にポインタ５２が表示されてもよい。ユーザの手と仮想画像３０との距離が所定の基準距離以内である場合に、仮想線５１の表示を省略して、ユーザの指先の位置に応じた位置にポインタ５２を直接表示させてもよい。
【0022】
ユーザが手を伸ばす方向を変えることで、仮想線５１の方向およびポインタ５２の位置を調整することができる。仮想画像３０に含まれる所定の操作対象（例えば、機能バー３１、ウィンドウ形状変更ボタン３２、およびクローズボタン３３等）にポインタ５２が位置するように調整した状態で所定のジェスチャーを行うことで、当該ジェスチャーがウェアラブル端末装置１０により検出され、操作対象に対する所定の操作を行うことができる。例えば、ポインタ５２をクローズボタン３３に合わせた状態で、操作対象を選択するジェスチャー（例えば、指先をつまむジェスチャー）を行うことで、仮想画像３０を閉じる（削除する）ことができる。また、ポインタ５２を機能バー３１に合わせた状態で選択するジェスチャーを行い、選択状態のまま手を前後左右に移動させるジェスチャーを行うことで、仮想画像３０を奥行方向および左右方向に移動させることができる。仮想画像３０に対する操作はこれらに限られない。
【0023】
このように、本実施形態のウェアラブル端末装置１０は、あたかも現実空間に仮想画像３０が存在するかのような視覚効果を実現し、仮想画像３０に対するユーザの操作を受け付けて仮想画像３０の表示に反映させることができる。すなわち、本実施形態のウェアラブル端末装置１０はＭＲを提供する。
【0024】
次に、図４を参照してウェアラブル端末装置１０の機能構成について説明する。
ウェアラブル端末装置１０は、ＣＰＵ１１（Central Processing Unit）と、ＲＡＭ１２（Random Access Memory）と、記憶部１３と、表示部１４と、センサー部１５と、通信部１６などを備え、これらの各部はバス１７により接続されている。図４に示す構成要素のうち表示部１４のバイザー１４１を除いた各部は、本体部１０ａに内蔵されており、同じく本体部１０ａに内蔵されているバッテリーから供給される電力により動作する。
ウェアラブル端末装置１０は、ＣＰＵ１１（Central Processing Unit）と、ＲＡＭ１２（Random Access Memory）と、記憶部１３と、表示部１４と、センサー部１５と、通信部１６などを備え、これらの各部はバス１７により接続されている。図４に示す構成要素のうち表示部１４のバイザー１４１を除いた各部は、本体部１０ａに内蔵されており、同じく本体部１０ａに内蔵されているバッテリーから供給される電力により動作する。
【0025】
ＣＰＵ１１は、各種演算処理を行い、ウェアラブル端末装置１０の各部の動作を統括制御するプロセッサである。ＣＰＵ１１は、記憶部１３に記憶されたプログラム１３１を読み出して実行することで、各種制御動作を行う。ＣＰＵ１１は、プログラム１３１を実行することで、例えば視認領域検出処理および表示制御処理などを実行する。このうち視認領域検出処理は、空間４０内におけるユーザの視認領域４１を検出する処理である。また、表示制御処理は、空間４０における位置が定められた仮想画像３０のうち、視認領域４１の内部に位置が定められている仮想画像３０を表示部１４に表示させる処理である。
【0026】
なお、図４では単一のＣＰＵ１１が図示されているが、これに限られない。ＣＰＵ等のプロセッサが２以上設けられていてもよく、本実施形態のＣＰＵ１１が実行する処理を、これらの２以上のプロセッサが分担して実行してもよい。
【0027】
ＲＡＭ１２は、ＣＰＵ１１に作業用のメモリ空間を提供し、一時データを記憶する。
【0028】
記憶部１３は、コンピュータとしてのＣＰＵ１１により読み取り可能な非一時的な記録媒体である。記憶部１３は、ＣＰＵ１１により実行されるプログラム１３１、および各種設定データなどを記憶する。プログラム１３１は、コンピュータ読み取り可能なプログラムコードの形態で記憶部１３に格納されている。記憶部１３としては、例えばフラッシュメモリを備えたＳＳＤ（Solid State Drive）などの不揮発性の記憶装置が用いられる。
【0029】
記憶部１３に記憶されるデータとしては、仮想画像３０に係る仮想画像データ１３２などがある。仮想画像データ１３２は、仮想画像３０の表示内容に係るデータ（例えば画像データ）、表示位置のデータ、および向きのデータなどを含む。
【0030】
表示部１４は、バイザー１４１と、レーザースキャナー１４２と、当該レーザースキャナー１４２から出力された光をバイザー１４１の表示面に導く光学系とを有する。レーザースキャナー１４２は、ＣＰＵ１１からの制御信号に従って、画素ごとにオン／オフが制御されたパルス状のレーザー光を所定方向にスキャンしつつ光学系に照射する。光学系に入射したレーザー光は、バイザー１４１の表示面において２次元の画素マトリクスからなる表示画面を形成する。レーザースキャナー１４２の方式は、特には限られないが、例えばＭＥＭＳ（Micro Electro Mechanical Systems）によりミラーを動作させてレーザー光をスキャンする方式を用いることができる。レーザースキャナー１４２は、例えばＲＧＢの色のレーザー光を射出する３つの発光部を有する。表示部１４は、これらの発光部からの光をバイザー１４１に投影することでカラー表示を行うことができる。
【0031】
センサー部１５は、加速度センサー１５１、角速度センサー１５２、深度センサー１５３、カメラ１５４およびアイトラッカー１５５などを備える。なお、センサー部１５は、図４に示されていないセンサーをさらに有していてもよい。
【0032】
加速度センサー１５１は、加速度を検出して検出結果をＣＰＵ１１に出力する。加速度センサー１５１による検出結果から、ウェアラブル端末装置１０の直交３軸方向の並進運動を検出することができる。
【0033】
角速度センサー１５２（ジャイロセンサー）は、角速度を検出して検出結果をＣＰＵ１１に出力する。角速度センサー１５２による検出結果から、ウェアラブル端末装置１０の回転運動を検出することができる。
【0034】
深度センサー１５３は、ＴｏＦ（Time of Flight）方式で被写体までの距離を検出する赤外線カメラであり、距離の検出結果をＣＰＵ１１に出力する。深度センサー１５３は、視認領域４１を撮影できるように本体部１０ａの前面に設けられている。空間４０においてユーザの位置および向きが変化するごとに深度センサー１５３による計測を繰り返し行って結果を合成することで、空間４０の全体の３次元マッピングを行う（すなわち、３次元構造を取得する）ことができる。
【0035】
カメラ１５４は、ＲＧＢの撮像素子群により空間４０を撮影し、撮影結果としてカラー画像データを取得してＣＰＵ１１に出力する。カメラ１５４は、視認領域４１を撮影できるように本体部１０ａの前面に設けられている。カメラ１５４からの出力画像は、ウェアラブル端末装置１０の位置および向きなどの検出に用いられるほか、通信部１６から外部機器に送信されて、ウェアラブル端末装置１０のユーザの視認領域４１を外部機器において表示するためにも用いられる。
【0036】
アイトラッカー１５５は、ユーザの視線を検出して検出結果をＣＰＵ１１に出力する。視線の検出方法は、特には限られないが、例えば、ユーザの目における近赤外光の反射点をアイトラッキングカメラで撮影し、その撮影結果と、カメラ１５４による撮影画像とを解析してユーザが視認している対象を特定する方法を用いることができる。アイトラッカー１５５の構成の一部は、バイザー１４１の周縁部などに設けられていてもよい。
【0037】
通信部１６は、アンテナ、変復調回路、信号処理回路などを有する通信モジュールである。通信部１６は、所定の通信プロトコルに従って外部機器との間で無線通信によるデータの送受信を行う。
【0038】
このような構成のウェアラブル端末装置１０において、ＣＰＵ１１は、以下のような制御動作を行う。
【0039】
ＣＰＵ１１は、深度センサー１５３から入力された被写体までの距離データに基づいて空間４０の３次元マッピングを行う。ＣＰＵ１１は、ユーザの位置および向きが変化するたびにこの３次元マッピングを繰り返し行い、都度結果を更新する。また、ＣＰＵ１１は、一繋がりの空間４０を単位として３次元マッピングを行う。よって、壁などにより仕切られた複数の部屋の間をユーザが移動する場合には、ＣＰＵ１１は、それぞれの部屋を１つの空間４０と認識し、部屋ごとに別個に３次元マッピングを行う。
【0040】
ＣＰＵ１１は、空間４０内におけるユーザの視認領域４１を検出する。詳しくは、ＣＰＵ１１は、加速度センサー１５１、角速度センサー１５２、深度センサー１５３、カメラ１５４およびアイトラッカー１５５による検出結果と、蓄積されている３次元マッピングの結果と、に基づいて、空間４０におけるユーザ（ウェアラブル端末装置１０）の位置および向きを特定する。そして、特定した位置および向きと、予め定められている視認領域４１の形状と、に基づいて視認領域４１を検出（特定）する。また、ＣＰＵ１１は、ユーザの位置および向きの検出をリアルタイムで継続して行い、ユーザの位置および向きの変化に連動して視認領域４１を更新する。なお、視認領域４１の検出は、加速度センサー１５１、角速度センサー１５２、深度センサー１５３、カメラ１５４およびアイトラッカー１５５のうちの一部による検出結果を用いて行われてもよい。
【0041】
ＣＰＵ１１は、ユーザの操作に応じて仮想画像３０に係る仮想画像データ１３２を生成する。すなわち、ＣＰＵ１１は、仮想画像３０の生成を指示する所定の操作（ジェスチャー）を検出すると、仮想画像の表示内容（例えば画像データ）、表示位置、および向きを特定し、これらの特定結果を表すデータを含む仮想画像データ１３２を生成する。
【0042】
ＣＰＵ１１は、視認領域４１の内部に表示位置が定められている仮想画像３０を表示部１４に表示させる。以下では、視認領域４１の内部に表示位置が定められている仮想画像３０、すなわち視認領域４１の内部に位置する仮想画像３０を「第１の仮想画像３０Ａ」とも記す。また、視認領域４１の外部に表示位置が定められている仮想画像３０、すなわち視認領域４１の外部に位置する仮想画像３０を「第２の仮想画像３０Ｂ」とも記す。ここで、「視認領域４１の外部」には、ユーザが位置している空間４０とは別個の空間４０が含まれるものとする。ＣＰＵ１１は、仮想画像データ１３２に含まれる表示位置の情報に基づいて第１の仮想画像３０Ａを特定し、その時点における視認領域４１と、第１の仮想画像３０Ａの表示位置との位置関係に基づいて、表示部１４に表示させる表示画面の画像データを生成する。ＣＰＵ１１は、この画像データに基づいてレーザースキャナー１４２にスキャン動作を行わせ、バイザー１４１の表示面に、第１の仮想画像３０Ａを含む表示画面を形成させる。すなわち、ＣＰＵ１１は、バイザー１４１を通して視認される空間４０に第１の仮想画像３０Ａが視認されるように、第１の仮想画像３０Ａをバイザー１４１の表示面に表示させる。ＣＰＵ１１は、この表示制御処理を連続して行うことで、ユーザの動き（視認領域４１の変化）に合わせて表示部１４による表示内容をリアルタイムで更新する。ウェアラブル端末装置１０が電源オフ状態となっても仮想画像データ１３２が保持される設定となっている場合には、次にウェアラブル端末装置１０が起動したときには、既存の仮想画像データ１３２が読み込まれ、視認領域４１の内部に位置する第１の仮想画像３０Ａがあれば表示部１４に表示される。
【0043】
なお、通信部１６を介して外部機器から取得した指示データに基づいて仮想画像データ１３２を生成し、当該仮想画像データ１３２に基づいて仮想画像３０を表示させてもよい。あるいは、通信部１６を介して外部機器から仮想画像データ１３２そのものを取得し、当該仮想画像データ１３２に基づいて仮想画像３０を表示させてもよい。例えば、遠隔指示者が操作する外部機器にウェアラブル端末装置１０のカメラ１５４の映像を表示させるとともに、外部機器から仮想画像３０を表示する指示を受け付け、指示された仮想画像３０をウェアラブル端末装置１０の表示部１４に表示させてもよい。これにより、例えば、作業対象物の近傍に作業内容を示す仮想画像３０を表示させて、遠隔指示者からウェアラブル端末装置１０のユーザに対して作業を指示するといった動作が可能となる。
【0044】
ＣＰＵ１１は、深度センサー１５３およびカメラ１５４による撮像画像に基づいてユーザの手（および／または指）の位置および向きを検出し、検出した方向に延びる仮想線５１と、ポインタ５２とを表示部１４に表示させる。また、ＣＰＵ１１は、深度センサー１５３およびカメラ１５４による撮像画像に基づいてユーザの手（および／または指）のジェスチャーを検出し、検出したジェスチャーの内容と、その時点におけるポインタ５２の位置とに応じた処理を実行する。
【0045】
次に、視認領域４１の外部に第２の仮想画像３０Ｂがあるときのウェアラブル端末装置１０の動作について説明する。
【0046】
上述のとおり、ウェアラブル端末装置１０では、視認領域４１の内部に表示位置が定められている第１の仮想画像３０Ａが表示部に表示され、ユーザに視認される。このため、従来、視認領域４１の外部に第２の仮想画像３０Ｂがあるか否かについて、ユーザは、その体勢のままでは確認することができないという課題があった。仮想画像３０は、一旦生成されると削除されるまで空間４０に残留する。このため、仮想画像３０を生成したままユーザが移動すると、どの位置にどのような仮想画像３０があるか把握しておくのが困難となり、上記の課題が問題となる。特に、ウェアラブル端末装置１０が電源オフ状態となっても仮想画像３０（仮想画像データ１３２）が消去されない設定の場合には、再度ウェアラブル端末装置１０を起動したときに、視認領域４１の外部にある既存の第２の仮想画像３０Ｂを認識できないのは不便であった。
【0047】
そこで、本実施形態のウェアラブル端末装置１０のＣＰＵ１１は、視認領域４１の外部に位置する第２の仮想画像３０Ｂがある場合に、当該第２の仮想画像３０Ｂの存在を所定の態様で示す表示を表示部１４に行わせる。これにより、ユーザは、体勢を変えなくても、視認領域４１の外部に第２の仮想画像３０Ｂが存在することを簡易に認識することができる。
なお、視認領域４１の内部と外部は、例えば、カメラ１５４からの出力画像を外部機器に表示させたとき、当該外部機器で表示している領域を視認領域４１の内部、当該外部機器で表示していない領域を視認領域４１の外部とみなしてよい。すなわち、ウェアラブル端末装置１０が認識する視認領域４１は、前記外部機器で表示しているカメラ１５４からの出力画像と一致してもよい。
また、カメラ１５４の視野角（画角）と、人間の視野角と、が一致しない場合、ウェアラブル端末装置１０が認識する視認領域４１は、カメラ１５４からの出力画像と同じでなくてもよい。すなわち、カメラ１５４の視野角（画角）が人間の視野角より広い場合、ウェアラブル端末装置１０が認識する視認領域４１は、前記外部機器で表示しているカメラ１５４からの出力画像のうちの一部に対応する領域であってもよい。また、人間の視野は、人間が視力を高く維持し、細かいものを認識できる範囲である有効視野（一般的に、左右両目を用いた有効視野は、水平方向に約６０度、垂直方向に約４０度）と、当該有効視野以外の範囲（細かいものを認識できない範囲）である周辺視野と、に大別することができる。視認領域４１は、有効視野と対応するように定義されてもよいし、周辺視野まで含めた視野（一般的に、左右両目を用いた視野で、水平方向に約２００度、垂直方向に約１３０度）と対応するように定義されてもよい。また視認領域４１は、有効視野と対応するように定義されたものと、周辺視野まで含めた視野と対応するように定義されたものと、を含んでよく、ウェアラブル端末装置１０のＣＰＵ１１は、所定条件（例えば、ユーザの所定の操作によるモード変更、等）により、視認領域４１がいずれの定義に基づくものか適宜変更してもよい。
以下、第２の仮想画像３０Ｂの存在を示す表示の例を、図５～図２６を参照して説明する。
なお、視認領域４１の内部と外部は、例えば、カメラ１５４からの出力画像を外部機器に表示させたとき、当該外部機器で表示している領域を視認領域４１の内部、当該外部機器で表示していない領域を視認領域４１の外部とみなしてよい。すなわち、ウェアラブル端末装置１０が認識する視認領域４１は、前記外部機器で表示しているカメラ１５４からの出力画像と一致してもよい。
また、カメラ１５４の視野角（画角）と、人間の視野角と、が一致しない場合、ウェアラブル端末装置１０が認識する視認領域４１は、カメラ１５４からの出力画像と同じでなくてもよい。すなわち、カメラ１５４の視野角（画角）が人間の視野角より広い場合、ウェアラブル端末装置１０が認識する視認領域４１は、前記外部機器で表示しているカメラ１５４からの出力画像のうちの一部に対応する領域であってもよい。また、人間の視野は、人間が視力を高く維持し、細かいものを認識できる範囲である有効視野（一般的に、左右両目を用いた有効視野は、水平方向に約６０度、垂直方向に約４０度）と、当該有効視野以外の範囲（細かいものを認識できない範囲）である周辺視野と、に大別することができる。視認領域４１は、有効視野と対応するように定義されてもよいし、周辺視野まで含めた視野（一般的に、左右両目を用いた視野で、水平方向に約２００度、垂直方向に約１３０度）と対応するように定義されてもよい。また視認領域４１は、有効視野と対応するように定義されたものと、周辺視野まで含めた視野と対応するように定義されたものと、を含んでよく、ウェアラブル端末装置１０のＣＰＵ１１は、所定条件（例えば、ユーザの所定の操作によるモード変更、等）により、視認領域４１がいずれの定義に基づくものか適宜変更してもよい。
以下、第２の仮想画像３０Ｂの存在を示す表示の例を、図５～図２６を参照して説明する。
【0048】
まず、図５のフローチャートを参照して、本開示の一側面に係る仮想画像表示処理のＣＰＵ１１による制御手順について説明する。図５の仮想画像表示処理は、第２の仮想画像３０Ｂがある場合に所定のリスト画面６１（図６参照）を表示させる特徴を少なくとも含むものである。
【0049】
図５に示す仮想画像表示処理が開始されると、ＣＰＵ１１は、ユーザの位置および向きに基づいて視認領域４１を検出する（ステップＳ１０１）。
【0050】
ＣＰＵ１１は、検出した視認領域４１の内部に表示位置が定められている第１の仮想画像３０Ａがあるか否かを判別し（ステップＳ１０２）、第１の仮想画像３０Ａがあると判別された場合には（ステップＳ１０２で“ＹＥＳ”）、第１の仮想画像３０Ａを表示部１４に表示させる（ステップＳ１０３）。
【0051】
ステップＳ１０３が終了した場合、またはステップＳ１０２において第１の仮想画像３０Ａがないと判別された場合には（ステップＳ１０２で“ＮＯ”）、ＣＰＵ１１は、視認領域４１の外部に表示位置が定められている第２の仮想画像３０Ｂがあるか否かを判別する（ステップＳ１０４）。第２の仮想画像３０Ｂがあると判別された場合には（ステップＳ１０４で“ＹＥＳ”）、ＣＰＵ１１は、所定のリスト画面６１を表示部１４に表示させる。
【0052】
ステップＳ１０５が終了した場合、またはステップＳ１０４において第２の仮想画像３０Ｂがないと判別された場合には（ステップＳ１０４で“ＮＯ”）、ＣＰＵ１１は、ウェアラブル端末装置１０による表示動作を終了させる指示がなされたか否かを判別する（ステップＳ１０６）。ＣＰＵ１１は、当該指示がなされていないと判別された場合には（ステップＳ１０６で“ＮＯ”）、処理をステップＳ１０１に戻し、当該指示がなされたと判別された場合には（ステップＳ１０６で“ＹＥＳ”）、仮想画像表示処理を終了させる。
【0053】
以下では、ステップＳ１０５におけるリスト画面６１の具体的な表示動作について説明する。
【0054】
図６に示すように、ＣＰＵ１１は、視認領域４１の外部に位置する第２の仮想画像３０Ｂがある場合に、第１の仮想画像３０Ａおよび第２の仮想画像３０Ｂのリストを含むリスト画面６１を表示部１４に表示させる。図６では、視認領域４１の内部に３つの第１の仮想画像３０Ａ（画像ａ～画像ｃ）が表示されており、視認領域４１の外部に、１つの第２の仮想画像３０Ｂ（画像ｄ）が存在する。図６の状態では、画像ｄは表示部１４に表示されていない。この場合において、画像ａ～画像ｄがリストアップされたリスト画面６１が視認領域４１に表示される。これにより、ユーザは、視認領域４１の外部に画像ｄが存在することを簡易に認識することができる。
【0055】
リスト画面６１は、画像ａ～画像ｄがリストアップされていることをユーザが認識可能であればどのような表示態様であってもよい。例えば、リスト画面６１には、画像ａ～画像ｄのファイル名、画像ａ～画像ｄを示すアイコン、画像ａ～画像ｄを縮小表示したもの、またはこれらの組み合わせが表示されてもよい。
【0056】
リスト画面６１は、空間４０におけるユーザの位置および向きによらず表示部１４における表示位置が固定されていてもよい。言い換えると、リスト画面６１は、空間４０における表示位置が設定（固定）されておらず、視認領域４１が移動した場合においても、バイザー１４１の表示面における所定位置に表示され続けてもよい。これにより、ユーザは、自身の位置および向きによらず常にリスト画面６１を視認することができる。
【0057】
図６に示すように、ＣＰＵ１１は、リスト画面６１に含まれる一の第２の仮想画像３０Ｂ（ここでは、画像ｄ）に対する所定の操作に応じて、当該第２の仮想画像３０Ｂが位置する方向を示すインジケーター６２を表示部１４に表示させてもよい。インジケーター６２を表示させることで、ユーザは、画像ｄが位置している方向を直感的に把握することができる。上記の所定の操作は、図６では、リスト画面６１における画像ｄの項目を指でタップする操作であるが、これに限られず、例えばポインタ５２を用いて画像ｄの項目を選択する操作などであってもよい。インジケーター６２の形状および表示態様は、第２の仮想画像３０Ｂが位置する方向を示すことが可能なものであればよく、図６に示したものに限られない。
【0058】
図７に示すように、ＣＰＵ１１は、リスト画面６１に含まれる一の仮想画像３０（ここでは、画像ａ）に対する所定の操作に応じて、当該仮想画像３０の表示態様を変化させてもよい。具体的には、ＣＰＵ１１は、リスト画面６１における画像ａの項目をタップする操作に応じて、画像ａの色を変化させて（例えば色を濃くして）ハイライト表示させる。これにより、ユーザは、画像ａの位置を直感的に把握することができる。表示態様の変化はハイライト表示に限られず、例えば仮想画像３０の大きさを変化させたり、点滅させたり、仮想画像３０の向きをユーザに正対する向きに変更したり、仮想画像３０をユーザの近傍の見やすい位置に移動させたり、仮想画像３０の近傍に所定のマークを表示させたりしてもよい。また、上記の所定の操作は、ポインタ５２を用いてリスト画面６１の項目を選択する操作などであってもよい。また、リスト画面６１における第２の仮想画像３０Ｂの項目に対する操作がなされた場合に、当該第２の仮想画像３０Ｂの表示態様を変化させてもよい。これにより、ユーザは、当該第２の仮想画像３０Ｂが視認領域４１に入ったときに、簡易に当該第２の仮想画像３０Ｂを認識することができる。
【0059】
図８に示すように、ＣＰＵ１１は、リスト画面６１に含まれる一の仮想画像３０（ここでは、画像ｄ）に対する所定の複製操作に応じて、当該一の仮想画像３０を複製して表示部１４に表示させてもよい。ここで、複製操作は、例えば、リスト画面６１に含まれる一の仮想画像３０の項目に対するドラッグ操作およびドロップ操作を含む。この場合、ＣＰＵ１１は、ドロップ操作がなされた位置に当該一の仮想画像３０を複製して表示部１４に表示させる。ここで複製されるのは、リスト画面６１に含まれる画像ｄの項目（ファイル名およびアイコン等）ではなく、視認領域４１の外部に位置している画像ｄそのものである。これにより、ユーザは、自身の位置や向きを変えなくても、視認領域４１の外部にある第２の仮想画像３０Ｂの内容を確認することができる。なお、リスト画面６１に含まれる画像ｄの項目が、画像ｄそのものの内容の少なくとも一部を含む場合（例えば、縮小画像である場合）などにおいて、ドラッグ操作およびドロップ操作に応じて、リスト画面６１に含まれる画像ｄの項目を（必要に応じて拡大して）複製してもよい。また、複製操作の対象は、第２の仮想画像３０Ｂに限られず、第１の仮想画像３０Ａであってもよい。例えば、視認領域４１の内部に位置しているものの、ユーザから遠く内容を確認しにくい第１の仮想画像３０Ａを、ユーザの近傍位置に複製することで、当該第１の仮想画像３０Ａの内容を簡易に確認することができる。
【0060】
また、ＣＰＵ１１は、複製した一の仮想画像３０（ここでは、画像ｄ）を編集する操作を受け付けた場合に、当該操作による編集内容を、複製元の仮想画像３０、すなわち、視認領域４１の外部に位置する画像ｄに反映させてもよい。これにより、ユーザは、自身の位置や向きを変えなくても、視認領域４１の外部にある第２の仮想画像３０Ｂの内容を編集することができる。
【0061】
図９に示すように、ＣＰＵ１１は、リスト画面６１に含まれる一の仮想画像３０（ここでは、画像ｄ）に対する所定の移動操作に応じて、当該一の仮想画像３０を移動操作に応じた位置に移動させてもよい。ここで、移動操作は、例えば、リスト画面６１に含まれる一の仮想画像３０の項目に対するドラッグ操作およびドロップ操作を含む。この場合、ＣＰＵ１１は、ドロップ操作がなされた位置に当該一の仮想画像３０を移動させる。ここで移動させるのは、リスト画面６１に含まれる画像ｄの項目（ファイル名およびアイコン等）ではなく、視認領域４１の外部に位置している画像ｄそのものである。これにより、ユーザは、自身の位置や向きを変えなくても、視認領域４１の外部にある第２の仮想画像３０Ｂの内容を確認することができる。移動操作の対象は、第２の仮想画像３０Ｂに限られず、第１の仮想画像３０Ａであってもよい。例えば、視認領域４１内に位置しているものの、ユーザから遠く内容を確認しにくい第１の仮想画像３０Ａを、ユーザの近傍位置に移動させることで、当該第１の仮想画像３０Ａの内容を簡易に確認することができる。移動させた仮想画像３０は、所定の操作に応じて元の位置に戻すことが可能となっていてもよい。
【0062】
図１０に示すように、ＣＰＵ１１は、リスト画面６１に含まれる一または二以上の仮想画像３０（ここでは、画像ｃおよび画像ｄ）を選択する操作を含む削除操作に応じて、選択された仮想画像３０を空間４０から削除してもよい。具体的には、図１０の上図のリスト画面６１では、各項目の右側に、当該項目の仮想画像３０を選択するためのチェックボックス６３が表示されている。削除する仮想画像３０のチェックボックス６３をチェックした状態で削除ボタン６４を選択することで、図１０の下図に示すように、チェックした仮想画像３０を一括して空間４０から削除（消去）することができる。これにより、ユーザは、仮想画像３０を操作可能な位置に移動しなくても、不要な仮想画像３０を簡易に削除することができる。なお、チェックボックス６３および削除ボタン６４は、ユーザから呼び出された場合に表示されてもよい。また、ウェアラブル端末装置１０の電源オフが指示された場合にチェックボックス６３および削除ボタン６４を表示して、各仮想画像３０を削除するか否かをユーザに問い合わせてもよい。また、リスト画面６１に含まれる仮想画像３０のうち、チェックされなかった（選択されなかった）仮想画像３０を空間４０から削除してもよい。
【0063】
図１１に示すように、ＣＰＵ１１は、視認領域４１の外部に位置する第２の仮想画像３０Ｂ（ここでは、画像ｄおよび画像ｅ）がある場合に、第２の仮想画像３０Ｂのリストを含むリスト画面６１を前記表示部に表示させてもよい。すなわち、視認領域４１において視認されている第１の仮想画像３０Ａ（画像ａ～画像ｃ）についてはリスト画面６１にリストアップせず、視認されていない第２の仮想画像３０Ｂ（画像ｄおよび画像ｅ）のみをリスト画面６１にリストアップしてもよい。これにより、視認領域４１の外部に位置する第２の仮想画像３０Ｂを簡易に把握することができる。
【0064】
なお、図６～図１１の態様に代えて、図１２に示すように、リスト画面６１を表示せずに、第２の仮想画像３０Ｂ（ここでは、画像ｄ）が位置する方向を示すインジケーター６２を表示部１４に表示させてもよい。このようにインジケーター６２を表示させることによっても、ユーザに第２の仮想画像３０Ｂの存在を認識させることができる。すなわち、インジケーター６２の表示は、「第２の仮想画像３０Ｂの存在を所定の態様で示す表示」の一態様である。インジケーター６２の形状および表示態様は、第２の仮想画像３０Ｂが位置する方向を示すことが可能なものであればよく、図１２に示したものに限られない。
【0065】
次に、図１３のフローチャートを参照して、本開示の他の一側面に係る仮想画像表示処理のＣＰＵ１１による制御手順について説明する。図１３の仮想画像表示処理は、第２の仮想画像３０Ｂがあり、かつ、ユーザから第１の操作がなされた場合に、第２の仮想画像３０Ｂを表示部１４に（すなわち、視認領域４１の内部に）表示させる特徴を少なくとも含むものである。
【0066】
図１３に示す仮想画像表示処理が開始されると、ＣＰＵ１１は、ユーザの位置および向きに基づいて視認領域４１を検出する（ステップＳ２０１）。
【0067】
ＣＰＵ１１は、検出した視認領域４１の内部に表示位置が定められている第１の仮想画像３０Ａがあるか否かを判別し（ステップＳ２０２）、第１の仮想画像３０Ａがあると判別された場合には（ステップＳ２０２で“ＹＥＳ”）、第１の仮想画像３０Ａを表示部１４に表示させる（ステップＳ２０３）。
【0068】
ステップＳ２０３が終了した場合、またはステップＳ２０２において第１の仮想画像３０Ａがないと判別された場合には（ステップＳ２０２で“ＮＯ”）、ＣＰＵ１１は、視認領域４１の外部に表示位置が定められている第２の仮想画像３０Ｂがあるか否かを判別する（ステップＳ２０４）。
【0069】
第２の仮想画像３０Ｂがあると判別された場合には（ステップＳ２０４で“ＹＥＳ”）、ＣＰＵ１１は、所定の第１の操作がなされたか否かを判別する（ステップＳ２０５）。第１の操作がなされたと判別された場合には（ステップＳ２０５で“ＹＥＳ”）、ＣＰＵ１１は、第２の仮想画像３０Ｂを視認領域４１に移動させて表示部１４に表示させる（ステップＳ２０６）。
【0070】
ステップＳ２０６が終了した場合、ステップＳ２０４において第２の仮想画像３０Ｂがないと判別された場合（ステップＳ２０４で“ＮＯ”）、またはステップＳ２０５において第１の操作がなされていないと判別された場合には（ステップＳ２０５で“ＮＯ”）、ＣＰＵ１１は、ウェアラブル端末装置１０による表示動作を終了させる指示がなされたか否かを判別する（ステップＳ２０７）。ＣＰＵ１１は、当該指示がなされていないと判別された場合には（ステップＳ２０７で“ＮＯ”）、処理をステップＳ２０１に戻し、当該指示がなされたと判別された場合には（ステップＳ２０７で“ＹＥＳ”）、仮想画像表示処理を終了させる。
【0071】
以下では、ステップＳ２０６における第２の仮想画像３０Ｂの具体的な表示動作について説明する。
【0072】
図１４に示すように、ＣＰＵ１１は、第１の操作に基づいて、第２の仮想画像３０Ｂ（ここでは、画像ｄおよび画像ｅ）を表示部１４に表示させる。すなわち、ＣＰＵ１１は、第２の仮想画像３０Ｂを視認領域４１の内部に移動させる。これにより、ユーザは、自身の位置や向きを変えなくても、視認領域４１の外部に第２の仮想画像３０Ｂがあることを認識できるとともに、第２の仮想画像３０Ｂの内容を確認することができる。上記の第１の操作は、予め定められた任意の操作とすることができる。例えば、第１の操作は、ポインタ５２がいずれの操作対象とも重なっていない状態で手を握るジェスチャーを行う操作であってもよい。移動後の第２の仮想画像３０Ｂの位置は、任意に定めることができる。例えば、視認領域４１に対して左側にあった第２の仮想画像３０Ｂ（図１４の画像ｄ）を視認領域４１における左半分の範囲内に表示させ、視認領域４１に対して右側にあった第２の仮想画像３０Ｂ（図１４の画像ｅ）を視認領域４１における右半分の範囲内に表示させてもよい。
【0073】
ここで、ＣＰＵ１１は、視認領域４１のうちユーザの位置から所定の操作対象範囲内の位置に第２の仮想画像３０Ｂを表示させてもよい。操作対象範囲は、適宜定めることができる。例えば、仮想線５１を用いずにポインタ５２による操作が可能な範囲であってもよいし、予めユーザにより設定された距離範囲としてもよい。
【0074】
また、ＣＰＵ１１は、第２の仮想画像３０Ｂ（ここでは、画像ｅ）の大きさを変更して表示部１４に表示させてもよい。図１４に示すように、移動前の画像ｅが小さく視認しにくいような場合に、画像ｅを拡大した上で視認領域４１に移動させてもよい。また、移動させた複数の第２の仮想画像３０Ｂの大きさを揃えてもよい。
【0075】
また、ＣＰＵ１１は、第１の操作に基づいて第２の仮想画像３０Ｂを表示部１４に表示させているときに第２の操作がなされた場合に、少なくとも一部の第２の仮想画像３０Ｂを元の位置に戻してもよい。これにより、第２の仮想画像３０Ｂの内容を確認した後で、簡易に第２の仮想画像３０Ｂを元の配置に戻すことができる。上記の第２の操作は、第１の操作と同一の操作であってもよいし、第１の操作とは異なる操作として予め定められていてもよい。例えば、第２の操作は、指を弾くジェスチャーであってもよい。また、第１の操作がなされたときに視認領域４１内で移動した第１の仮想画像３０Ａがあった場合において、第２の操作に応じて当該第１の仮想画像３０Ａを元の位置に戻してもよい。任意の仮想画像３０を選択可能とし、第２の操作に応じて、選択されている仮想画像３０を元の位置に戻してもよい。あるいは、選択されていない仮想画像３０を元の位置に戻してもよい。
【0076】
図１５に示すように、ＣＰＵ１１は、第１の仮想画像３０Ａおよび第２の仮想画像３０Ｂを所定の態様で整列させてもよい。ここでは、第１の仮想画像３０Ａおよび第２の仮想画像３０Ｂを、マトリクス状に配列させている。配列の態様はこれに限られず、例えば一列に配列させてもよい。これにより、各仮想画像３０を視認しやすくすることができる。
【0077】
また、ＣＰＵ１１は、ユーザに表面（第１面）および裏面（第２面）のうち一方が向くように第１の仮想画像３０Ａおよび第２の仮想画像３０Ｂを表示部１４に表示させてもよい。図１５では、ユーザに表面が向くように第２の仮想画像３０Ｂが表示されているとともに、第１の仮想画像３０Ａの向きが変更されている。これにより、各仮想画像３０の表面の内容を確認することができる。あるいは、図１６に示すように、ユーザに裏面が向くように第１の仮想画像３０Ａおよび第２の仮想画像３０Ｂを表示させてもよい。これにより、仮想画像３０を挟んでユーザとは反対側にいる別のユーザに対して仮想画像３０を見せるといった動作が可能となる。
【0078】
図１７に示すように、ＣＰＵ１１は、第１の仮想画像３０Ａを第１の規則に従う態様で表示部１４に表示させ、第２の仮想画像３０Ｂを第１の規則とは異なる第２の規則に従う態様で表示部１４に表示させてもよい。図１７の例において、第１の規則は、「仮想画像３０の表裏を反転させないまま、ユーザに正対する向きに調整する」である。また、第２の規則は、「ユーザに表面が向くように表示させる」である。第１の規則および第２の規則は、これらに限られない。これにより、ユーザが所望する態様で第１の仮想画像３０Ａおよび第２の仮想画像３０Ｂを表示することができる。
【0079】
また、ＣＰＵ１１は、第２の仮想画像３０Ｂを表示部１４に表示させた後、所定の操作に応じて少なくとも一部の仮想画像３０の表示する面を変更してもよい。例えば、一旦、図１７の下図に示すように表裏が入り混じった状態で第１の仮想画像３０Ａおよび第２の仮想画像３０Ｂを表示させた後に、所定の操作に応じて、図１５の下図に示すように全ての仮想画像３０の表面がユーザに向くように表示面を反転させてもよい。また、所定の操作に応じた表示の遷移はこれに限られず、例えば、図１４～図１７のうち任意の２つの下図の状態間で遷移させてもよい。これにより、ユーザが所望する表示態様に簡易に遷移させることができる。
【0080】
また、ＣＰＵ１１は、第１の仮想画像３０Ａおよび第２の仮想画像３０Ｂを所定の条件に基づく順序で配列させてもよい。例えば、仮想画像３０の名称に基づく順序、仮想画像３０の表示サイズに基づく順序、仮想画像３０の属性に基づく順序、仮想画像３０の表示位置とユーザの位置との間の距離に基づく順序、ユーザに対する仮想画像３０の対向面（表面または裏面）に基づく順序などにしたがって仮想画像３０を配列させてもよい。配列の態様は、図１５のようにマトリクス状に並べるものであってもよいし、一列に並べるものであってもよい。また、ユーザから見て複数の仮想画像３０の少なくとも一部が重畳するように、奥行方向に配列させてもよい。これにより、所望の仮想画像３０を見つけやすくすることができる。
【0081】
図１８に示すように、ＣＰＵ１１は、複数の第２の仮想画像３０Ｂを表示部１４に表示させる場合に、スクロール操作によって当該複数の第２の仮想画像３０Ｂの任意の一部を表示可能なスクロール画面６５を前記表示部に表示させてもよい。図１８に示すスクロール画面６５では、第１の仮想画像３０Ａおよび第２の仮想画像３０Ｂが縦方向に一列に配列されており、この配列の一部が表示されている。スクロール画面６５において表示させる部分は、スクロールバー６６を上下に移動させることによって変更することができる。ここでは、第２の仮想画像３０Ｂとともに第１の仮想画像３０Ａがスクロール画面６５に表示されているが、第２の仮想画像３０Ｂのみをスクロール画面６５に表示させてもよい。また、スクロール画面６５において、上述したように所定の条件に基づく順序で仮想画像３０が配列されていてもよい。このようなスクロール画面６５を表示することにより、多数の第２の仮想画像３０Ｂが存在する場合であっても、簡易に第２の仮想画像３０Ｂを確認することができる。
【0082】
図１９に示すように、ＣＰＵ１１は、第１の仮想画像３０Ａの少なくとも一部に重なるように第２の仮想画像３０Ｂを表示部１４に表示させてもよい。これにより、第１の仮想画像３０Ａの表示状態を維持しつつ、視認しやすい状態で第２の仮想画像３０Ｂを表示させることができる。
【0083】
図２０に示すように、ＣＰＵ１１は、第１の仮想画像３０Ａおよび第２の仮想画像３０Ｂの一方を、他方よりも目立たせる所定の強調態様で表示部１４に表示させてもよい。これにより、第１の仮想画像３０Ａと第２の仮想画像３０Ｂとを容易に区別することができる。図２０では、第２の仮想画像３０Ｂの色を変化させて（例えば色を濃くして）ハイライト表示させることで、第２の仮想画像３０Ｂを第１の仮想画像３０Ａよりも目立たせている例が示されている。これとは逆に、第１の仮想画像３０Ａを第２の仮想画像３０Ｂよりも目立たせてもよい。強調表示は、図２０に示すようなハイライト表示に限られず、例えば仮想画像３０の大きさを変化させたり、点滅させたり、仮想画像３０の向きをユーザに正対する向きに変更したり、仮想画像３０をユーザの近傍の見やすい位置に移動させたり、仮想画像３０の近傍に所定のマークを表示させたりしてもよい。なお、図１４～図１８、および後述する図２１および図２２において上記の強調表示を行ってもよい。
【0084】
図２１に示すように、ＣＰＵ１１は、第１の仮想画像３０Ａおよび第２の仮想画像３０Ｂの一方を、他方よりも目立たなくする所定の抑制態様で表示部１４に表示させてもよい。これによっても、第１の仮想画像３０Ａと第２の仮想画像３０Ｂとを容易に区別することができる。図２１では、第１の仮想画像３０Ａの透明度を上げることで、第１の仮想画像３０Ａを第２の仮想画像３０Ｂよりも目立たたなくする例が示されている。これとは逆に、第２の仮想画像３０Ｂを第１の仮想画像３０Ａよりも目立たたなくさせてもよい。抑制態様は、図２１に示すような透明度を上げる表示態様に限られず、例えば仮想画像３０を小さくしたり、仮想画像３０を一時的に消去したりするものであってもよい。なお、図１４～図１８、および後述する図２２において上記の抑制表示を行ってもよい。
【0085】
図２２に示すように、ＣＰＵ１１は、特定の仮想画像３０を避けるように、当該特定の仮想画像３０以外の仮想画像３０の位置を変更してもよい。例えば、ユーザから見て、第２の仮想画像３０Ｂに第１の仮想画像３０Ａが重ならないように、第１の仮想画像３０Ａの位置を変更してもよい。また、ユーザから見て全ての仮想画像３０が互いに重ならないように各仮想画像３０の位置を変更してもよい。これにより、仮想画像３０の視認性を向上させることができる。
【0086】
図２３に示すように、ＣＰＵ１１は、上述した第２の操作がなされた場合に、特定の仮想画像３０のみを元の位置に戻してもよい。ここで、特定の仮想画像３０は、例えばユーザが指定した仮想画像３０であってもよいし、所定条件を満たすもの（一例を挙げると、移動前に視認領域４１の外部にあった第２の仮想画像３０Ｂ）であってもよい。特定の仮想画像３０は、もともと視認領域４１の内部にあり、位置が移動された第１の仮想画像３０Ａであってもよい。特定の仮想画像３０を、図２３に示すように強調態様で表示してもよい。また、ＣＰＵ１１は、第２の操作がなされた場合に、第２の仮想画像３０Ｂを、ユーザの正面（目の前）を通る経路６７で元の位置まで移動させてもよい。これにより、第２の仮想画像３０Ｂが元の位置に戻ることを把握しやすくできる。また、どの第２の仮想画像３０Ｂが元の位置に戻るのかを確認することができる。
【0087】
図２４に示すように、ＣＰＵ１１は、元の位置に戻した第２の仮想画像３０Ｂと、視認領域４１内の所定位置とを紐付けるライン６８を表示部１４に表示させてもよい。ライン６８は、直線状であってもよいし、視認領域４１の内部を通る距離が長くなるように湾曲していてもよい。このようなライン６８を表示させることで、元の位置に戻った第２の仮想画像３０Ｂがあること、および当該第２の仮想画像３０Ｂの方向を認識しやすくすることができる。
【0088】
また、図２４の下図に示すように、ＣＰＵ１１は、ライン６８に対する所定の操作（第３の操作）に応じて、ライン６８が紐付けられている第２の仮想画像３０Ｂを表示部１４に表示させてもよい。これにより、視認領域４１の外部に戻した第２の仮想画像３０Ｂのうち所望の第２の仮想画像３０Ｂを、簡易に再度表示させて内容を確認することができる。上記の第３の操作は、例えば６８を指でタッチする操作、またはポインタ５２を用いて選択する操作とすることができるが、これらに限られない。
【0089】
図６～図２４を参照して説明した各動作は、第１の仮想画像３０Ａと第２の仮想画像３０Ｂとが別個の空間に位置している場合にも適用できる。以下では、第１空間４０Ａに位置が定められた３つの第１の仮想画像３０Ａ（画像ａ～画像ｃ）があり、第１空間４０Ａとは別個の第２空間４０Ｂに位置が定められた２つの第２の仮想画像３０Ｂ（画像ｄおよび画像ｅ）がある場合を例に挙げて説明する。このような例において、ＣＰＵ１１は、第１空間４０Ａに自装置（ユーザ）が位置している場合に、第２空間４０Ｂに位置する第２の仮想画像３０Ｂの存在を示す表示を表示部１４に行わせてもよい。また、ＣＰＵ１１は、自装置（ユーザ）が第２空間４０Ｂから第１空間４０Ａに移動した場合に、第２空間４０Ｂに位置する第２の仮想画像３０Ｂの存在を示す表示を表示部１４に行わせてもよい。これにより、ユーザが部屋を移動した場合のように、一の空間から他の空間に移動した場合において、ユーザは、移動前の空間に第２の仮想画像３０Ｂが存在することを簡易に認識することができる。
【0090】
具体的には、図２５に示すように、ＣＰＵ１１は、第２空間４０Ｂに位置する第２の仮想画像３０Ｂ（ここでは、画像ｄおよび画像ｅ）のリストを含むリスト画面６１を表示部１４に表示させてもよい。第１空間４０Ａのうち視認領域４１の外部にも第２の仮想画像３０Ｂがある場合には、当該第２の仮想画像３０Ｂをさらにリスト画面６１に表示させてもよい。
【0091】
また、図２６に示すように、ＣＰＵ１１は、第１の操作に基づいて、第２空間４０Ｂにある第２の仮想画像３０Ｂ（ここでは、画像ｄおよび画像ｅ）を表示部１４に表示させてもよい。これにより、第１空間４０Ａにいながら、第２空間４０Ｂにある第２の仮想画像３０Ｂの内容を確認することができる。
【0092】
〔第２の実施形態〕
次に、第２の実施形態に係る表示システム１の構成について説明する。第２の実施形態は、第１の実施形態においてウェアラブル端末装置１０のＣＰＵ１１が実行していた処理の一部を外部の情報処理装置２０が実行する点で第１の実施形態と異なる。以下では、第１の実施形態との相違点について説明し、共通する点については説明を省略する。
次に、第２の実施形態に係る表示システム１の構成について説明する。第２の実施形態は、第１の実施形態においてウェアラブル端末装置１０のＣＰＵ１１が実行していた処理の一部を外部の情報処理装置２０が実行する点で第１の実施形態と異なる。以下では、第１の実施形態との相違点について説明し、共通する点については説明を省略する。
【0093】
図２７に示すように、表示システム１は、ウェアラブル端末装置１０と、当該ウェアラブル端末装置１０に通信接続された情報処理装置２０（サーバ）とを備える。ウェアラブル端末装置１０と情報処理装置２０との間の通信経路の少なくとも一部は、無線通信によるものであってもよい。ウェアラブル端末装置１０のハードウェア構成は、第１の実施形態と同様とすることができるが、情報処理装置２０が実行する処理と同一の処理を行うためのプロセッサは省略してもよい。
【0094】
図２８に示すように、情報処理装置２０は、ＣＰＵ２１と、ＲＡＭ２２と、記憶部２３と、操作表示部２４と、通信部２５などを備え、これらの各部はバス２６により接続されている。
【0095】
ＣＰＵ２１は、各種演算処理を行い、情報処理装置２０の各部の動作を統括制御するプロセッサである。ＣＰＵ２１は、記憶部２３に記憶されたプログラム２３１を読み出して実行することで、各種制御動作を行う。
【0096】
ＲＡＭ２２は、ＣＰＵ２１に作業用のメモリ空間を提供し、一時データを記憶する。
【0097】
記憶部２３は、コンピュータとしてのＣＰＵ２１により読み取り可能な非一時的な記録媒体である。記憶部２３は、ＣＰＵ２１により実行されるプログラム２３１、および各種設定データなどを記憶する。プログラム２３１は、コンピュータ読み取り可能なプログラムコードの形態で記憶部２３に格納されている。記憶部２３としては、例えばフラッシュメモリを備えたＳＳＤ、またはＨＤＤ（Hard Disk Drive）などの不揮発性の記憶装置が用いられる。
【0098】
操作表示部２４は、液晶ディスプレイ等の表示装置と、マウスおよびキーボードといった入力装置とを備える。操作表示部２４は、表示装置において表示システム１の動作ステータスや処理結果等の各種表示を行う。ここで、表示システム１の動作ステータスには、ウェアラブル端末装置１０のカメラ１５４によるリアルタイムの撮影画像が含まれてもよい。また、操作表示部２４は、入力装置に対するユーザの入力操作を操作信号に変換してＣＰＵ２１に出力する。
【0099】
通信部２５は、ウェアラブル端末装置１０と通信を行ってデータを送受信する。例えば、通信部２５は、ウェアラブル端末装置１０のセンサー部１５による検出結果の一部または全部を含むデータ、およびウェアラブル端末装置１０が検出したユーザの操作（ジェスチャー）に係る情報などを受信する。また、通信部２５は、ウェアラブル端末装置１０以外の他の装置との通信が可能であってもよい。
【0100】
このような構成の表示システム１において、情報処理装置２０のＣＰＵ２１は、第１の実施形態においてウェアラブル端末装置１０のＣＰＵ１１が実行していた処理の少なくとも一部を実行する。例えば、ＣＰＵ２１は、深度センサー１５３による検出結果に基づいて空間４０の３次元マッピングを行ってもよい。また、ＣＰＵ２１は、センサー部１５の各部による検出結果に基づいて空間４０内におけるユーザの視認領域４１を検出してもよい。また、ＣＰＵ２１は、ウェアラブル端末装置１０のユーザの操作に応じて仮想画像３０に係る仮想画像データ１３２を生成してもよい。また、ＣＰＵ２１は、深度センサー１５３およびカメラ１５４による撮像画像に基づいてユーザの手（および／または指）の位置および向きを検出してもよい。また、ＣＰＵ２１は、リスト画面６１の表示に係る処理、および／または第２の仮想画像３０Ｂを視認領域４１に移動させる処理を実行してもよい。
【0101】
ＣＰＵ２１による上記の処理結果は、通信部２５を介してウェアラブル端末装置１０に送信される。ウェアラブル端末装置１０のＣＰＵ１１は、受信した処理結果に基づいてウェアラブル端末装置１０の各部（例えば表示部１４）を動作させる。また、ＣＰＵ２１は、ウェアラブル端末装置１０に制御信号を送信して、ウェアラブル端末装置１０の表示部１４の表示制御を行ってもよい。
【0102】
このように、情報処理装置２０において処理の少なくとも一部を実行することで、ウェアラブル端末装置１０の装置構成を簡素化することができ、また製造コストを低減することができる。また、より高性能な情報処理装置２０を用いることで、ＭＲに係る各種の処理を高速化および高精度化することができる。よって、空間４０の３Ｄマッピングの精度を高めたり、表示部１４による表示品質を高めたり、ユーザの動作に対する表示部１４の反応速度を高めたりすることができる。
【0103】
〔その他〕
なお、上記実施形態は例示であり、様々な変更が可能である。
例えば、上記の各実施形態では、ユーザに現実空間を視認させるために、光透過性を有するバイザー１４１を用いたが、これに限られない。例えば、遮光性を有するバイザー１４１を用い、カメラ１５４により撮影された空間４０の画像をユーザに視認させてもよい。すなわち、ＣＰＵ１１は、カメラ１５４により撮影された空間４０の画像、および当該空間４０の画像に重ねられた第１の仮想画像３０Ａを表示部１４に表示させてもよい。このような構成によっても、現実空間に仮想画像３０を融合させるＭＲを実現できる。
なお、上記実施形態は例示であり、様々な変更が可能である。
例えば、上記の各実施形態では、ユーザに現実空間を視認させるために、光透過性を有するバイザー１４１を用いたが、これに限られない。例えば、遮光性を有するバイザー１４１を用い、カメラ１５４により撮影された空間４０の画像をユーザに視認させてもよい。すなわち、ＣＰＵ１１は、カメラ１５４により撮影された空間４０の画像、および当該空間４０の画像に重ねられた第１の仮想画像３０Ａを表示部１４に表示させてもよい。このような構成によっても、現実空間に仮想画像３０を融合させるＭＲを実現できる。
【0104】
また、カメラ１５４による現実空間の撮影画像に代えて、予め生成された仮想空間の画像を用いることで、仮想空間にいるように体感させるＶＲを実現できる。このＶＲにおいても、ユーザの視認領域４１が特定されて、仮想空間のうち視認領域４１の内部にある部分、および視認領域４１の内部に表示位置が定められている仮想画像３０が表示される。よって、上記各実施形態と同様に、視認領域４１の外部にある第２の仮想画像３０Ｂを示すための表示動作を適用できる。
【0105】
ウェアラブル端末装置１０は、図１に例示した環状の本体部１０ａを有するものに限られず、装着時にユーザが視認可能な表示部を有していれば、どのような構造であってもよい。例えば、ヘルメットのように頭部全体を覆う構成であってもよい。また、メガネのように、耳に掛けるフレームを有し、フレーム内に各種機器が内蔵されていてもよい。
【0106】
仮想画像３０は必ずしも空間４０において静止していなくてもよく、所定の軌跡で空間４０の内部を移動していてもよい。
【0107】
ユーザのジェスチャーを検出して入力操作として受け付ける例を用いて説明したが、これに限られない。例えば、ユーザが手に持ったり、体に装着したりして使用するコントローラにより入力操作が受け付けられてもよい。
【0108】
その他、上記実施の形態で示した構成および制御の具体的な細部は、本開示の趣旨を逸脱しない範囲において適宜変更可能である。また、本開示の趣旨を逸脱しない範囲において、上記実施の形態で示した構成および制御を適宜組み合わせ可能である。
【産業上の利用可能性】
【0109】
本開示は、ウェアラブル端末装置、プログラムおよび表示方法に利用することができる。
【符号の説明】
【0110】
１ 表示システム
１０ ウェアラブル端末装置
１０ａ 本体部
１１ ＣＰＵ（プロセッサ）
１２ ＲＡＭ
１３ 記憶部
１３１ プログラム
１３２ 仮想画像データ
１４ 表示部
１４１ バイザー（表示部材）
１４２ レーザースキャナー
１５ センサー部
１５１ 加速度センサー
１５２ 角速度センサー
１５３ 深度センサー
１５４ カメラ
１５５ アイトラッカー
１６ 通信部
１７ バス
２０ 情報処理装置
２１ ＣＰＵ
２２ ＲＡＭ
２３ 記憶部
２３１ プログラム
２４ 操作表示部
２５ 通信部
２６ バス
３０ 仮想画像
３０Ａ 第１の表示画像
３０Ｂ 第２の表示画像
３１ 機能バー
３２ ウィンドウ形状変更ボタン
３３ クローズボタン
４０ 空間
４０Ａ 第１空間
４０Ｂ 第２空間
４１ 視認領域
５１ 仮想線
５２ ポインタ
６１ リスト画面
６２ インジケーター
６３ チェックボックス
６４ 削除ボタン
６５ スクロール画面
６６ スクロールバー
６７ 経路
６８ ライン
Ｕ ユーザ
１０ ウェアラブル端末装置
１０ａ 本体部
１１ ＣＰＵ（プロセッサ）
１２ ＲＡＭ
１３ 記憶部
１３１ プログラム
１３２ 仮想画像データ
１４ 表示部
１４１ バイザー（表示部材）
１４２ レーザースキャナー
１５ センサー部
１５１ 加速度センサー
１５２ 角速度センサー
１５３ 深度センサー
１５４ カメラ
１５５ アイトラッカー
１６ 通信部
１７ バス
２０ 情報処理装置
２１ ＣＰＵ
２２ ＲＡＭ
２３ 記憶部
２３１ プログラム
２４ 操作表示部
２５ 通信部
２６ バス
３０ 仮想画像
３０Ａ 第１の表示画像
３０Ｂ 第２の表示画像
３１ 機能バー
３２ ウィンドウ形状変更ボタン
３３ クローズボタン
４０ 空間
４０Ａ 第１空間
４０Ｂ 第２空間
４１ 視認領域
５１ 仮想線
５２ ポインタ
６１ リスト画面
６２ インジケーター
６３ チェックボックス
６４ 削除ボタン
６５ スクロール画面
６６ スクロールバー
６７ 経路
６８ ライン
Ｕ ユーザ
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図13】
【図14】
【図15】
【図16】
【図17】
【図18】
【図19】
【図20】
【図21】
【図22】
【図23】
【図24】
【図25】
【図26】
【図27】
【図28】
【手続補正書】
【提出日】2024-05-01
【手続補正1】
【補正対象書類名】明細書
【補正対象項目名】０００６
【補正方法】変更
【補正の内容】
【0006】
本開示のウェアラブル端末装置は、ユーザが装着して使用するウェアラブル端末装置であって、少なくとも一つのプロセッサを備える。前記少なくとも一つのプロセッサは、空間内における前記ユーザの視認領域を検出する。前記少なくとも一つのプロセッサは、前記空間に位置する仮想画像のうち、前記視認領域の内部に位置する第１の仮想画像を表示部に表示させる。前記少なくとも一つのプロセッサは、前記視認領域の外部に位置する第２の仮想画像がある場合に、第１の操作に基づいて、前記第２の仮想画像を前記表示部に表示させる。
【手続補正2】
【補正対象書類名】明細書
【補正対象項目名】０００７
【補正方法】変更
【補正の内容】
【0007】
また、本開示のプログラムは、ユーザが装着して使用するウェアラブル端末装置の表示部を制御可能なコンピュータに、空間内における前記ユーザの視認領域を検出する処理を実行させる。前記プログラムは、前記コンピュータに、前記空間に位置する仮想画像のうち、前記視認領域の内部に位置する第１の仮想画像を前記表示部に表示させる処理を実行させる。前記プログラムは、前記コンピュータに、前記視認領域の外部に位置する第２の仮想画像がある場合に、第１の操作に基づいて、前記第２の仮想画像を前記表示部に表示させる処理を実行させる。
【手続補正3】
【補正対象書類名】明細書
【補正対象項目名】０００８
【補正方法】変更
【補正の内容】
【0008】
また、本開示の表示方法は、ユーザが装着して使用するウェアラブル端末装置における表示方法である。当該表示方法では、空間内における前記ユーザの視認領域を検出する。前記表示方法では、前記空間に位置する仮想画像のうち、前記視認領域の内部に位置する第１の仮想画像を表示部に表示させる。前記表示方法では、前記視認領域の外部に位置する第２の仮想画像がある場合に、第１の操作に基づいて、前記第２の仮想画像を前記表示部に表示させる。
【手続補正4】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項1】
ユーザが装着して使用するウェアラブル端末装置であって、
少なくとも一つのプロセッサを備え、
前記少なくとも一つのプロセッサは、
空間内における前記ユーザの視認領域を検出し、
前記空間に位置する仮想画像のうち、前記視認領域の内部に位置する第１の仮想画像を表示部に表示させ、
前記視認領域の外部に位置する第２の仮想画像がある場合に、第１の操作に基づいて、前記第２の仮想画像を前記表示部に表示させる、ウェアラブル端末装置。
少なくとも一つのプロセッサを備え、
前記少なくとも一つのプロセッサは、
空間内における前記ユーザの視認領域を検出し、
前記空間に位置する仮想画像のうち、前記視認領域の内部に位置する第１の仮想画像を表示部に表示させ、
前記視認領域の外部に位置する第２の仮想画像がある場合に、第１の操作に基づいて、前記第２の仮想画像を前記表示部に表示させる、ウェアラブル端末装置。
【請求項2】
前記表示部は、光透過性を有する表示部材を備え、
前記少なくとも一つのプロセッサは、前記表示部材を通して視認される前記空間に前記第１の仮想画像が視認されるように、前記第１の仮想画像を前記表示部材の表示面に表示させる、請求項１に記載のウェアラブル端末装置。
前記少なくとも一つのプロセッサは、前記表示部材を通して視認される前記空間に前記第１の仮想画像が視認されるように、前記第１の仮想画像を前記表示部材の表示面に表示させる、請求項１に記載のウェアラブル端末装置。
【請求項3】
前記空間を撮影するカメラを備え、
前記少なくとも一つのプロセッサは、前記カメラにより撮影された前記空間の画像、および当該空間の画像に重ねられた前記第１の仮想画像を前記表示部に表示させる、請求項１に記載のウェアラブル端末装置。
前記少なくとも一つのプロセッサは、前記カメラにより撮影された前記空間の画像、および当該空間の画像に重ねられた前記第１の仮想画像を前記表示部に表示させる、請求項１に記載のウェアラブル端末装置。
【請求項4】
前記少なくとも一つのプロセッサは、前記視認領域のうち前記ユーザの位置から所定の操作対象範囲内の位置に前記第２の仮想画像を表示させる、請求項１～３のいずれか一項に記載のウェアラブル端末装置。
【請求項5】
前記少なくとも一つのプロセッサは、前記第２の仮想画像の大きさを変更して前記表示部に表示させる、請求項１～４のいずれか一項に記載のウェアラブル端末装置。
【請求項6】
前記少なくとも一つのプロセッサは、前記第１の仮想画像および前記第２の仮想画像を所定の態様で整列させる、請求項１～５のいずれか一項に記載のウェアラブル端末装置。
【請求項7】
前記仮想画像は、第１面および第２面を有し、
前記少なくとも一つのプロセッサは、前記ユーザに前記第１面および前記第２面のうち一方が向くように前記第１の仮想画像および前記第２の仮想画像を前記表示部に表示させる、請求項１～６のいずれか一項に記載のウェアラブル端末装置。
前記少なくとも一つのプロセッサは、前記ユーザに前記第１面および前記第２面のうち一方が向くように前記第１の仮想画像および前記第２の仮想画像を前記表示部に表示させる、請求項１～６のいずれか一項に記載のウェアラブル端末装置。
【請求項8】
前記少なくとも一つのプロセッサは、前記第１の仮想画像を第１の規則に従う態様で前記表示部に表示させ、前記第２の仮想画像を前記第１の規則とは異なる第２の規則に従う態様で前記表示部に表示させる、請求項１～７のいずれか一項に記載のウェアラブル端末装置。
【請求項9】
前記仮想画像は、第１面および第２面を有し、
前記少なくとも一つのプロセッサは、前記第２の仮想画像を前記表示部に表示させた後、所定の操作に応じて少なくとも一部の仮想画像の表示する面を変更する、請求項１～８のいずれか一項に記載のウェアラブル端末装置。
前記少なくとも一つのプロセッサは、前記第２の仮想画像を前記表示部に表示させた後、所定の操作に応じて少なくとも一部の仮想画像の表示する面を変更する、請求項１～８のいずれか一項に記載のウェアラブル端末装置。
【請求項10】
前記少なくとも一つのプロセッサは、前記第１の仮想画像および前記第２の仮想画像を所定の条件に基づく順序で配列させる、請求項１～９のいずれか一項に記載のウェアラブル端末装置。
【請求項11】
前記少なくとも一つのプロセッサは、複数の前記第２の仮想画像を前記表示部に表示させる場合に、スクロール操作によって当該複数の第２の仮想画像の任意の一部を表示可能なスクロール画面を前記表示部に表示させる、請求項１～１０のいずれか一項に記載のウェアラブル端末装置。
【請求項12】
前記少なくとも一つのプロセッサは、前記第１の仮想画像の少なくとも一部に重なるように前記第２の仮想画像を前記表示部に表示させる、請求項１～１１のいずれか一項に記載のウェアラブル端末装置。
【請求項13】
前記少なくとも一つのプロセッサは、前記第１の仮想画像および前記第２の仮想画像の一方を、他方よりも目立たせる所定の強調態様で前記表示部に表示させる、請求項１～１２のいずれか一項に記載のウェアラブル端末装置。
【請求項14】
前記少なくとも一つのプロセッサは、前記第１の操作に基づいて前記第２の仮想画像を前記表示部に表示させているときに第２の操作がなされた場合に、少なくとも一部の前記第２の仮想画像を元の位置に戻す、請求項１～１３のいずれか一項に記載のウェアラブル端末装置。
【請求項15】
前記少なくとも一つのプロセッサは、前記第２の仮想画像を、前記ユーザの正面を通る経路で元の位置まで移動させる、請求項１４に記載のウェアラブル端末装置。
【請求項16】
前記少なくとも一つのプロセッサは、元の位置に戻した前記第２の仮想画像と、前記視認領域内の所定位置とを紐付けるラインを前記表示部に表示させる、請求項１４または１５に記載のウェアラブル端末装置。
【請求項17】
前記少なくとも一つのプロセッサは、前記ラインに対する所定の操作に応じて、前記ラインが紐付けられている前記第２の仮想画像を前記表示部に表示させる、請求項１６に記載のウェアラブル端末装置。
【請求項18】
前記少なくとも一つのプロセッサは、
第１空間、および前記第１空間とは別個の第２空間のいずれか一方に位置する前記仮想画像を生成し、
前記第１空間に自装置が位置している場合に、前記第２空間に位置する前記第２の仮想画像を前記表示部に表示させる、請求項１～１７のいずれか一項に記載のウェアラブル端末装置。
第１空間、および前記第１空間とは別個の第２空間のいずれか一方に位置する前記仮想画像を生成し、
前記第１空間に自装置が位置している場合に、前記第２空間に位置する前記第２の仮想画像を前記表示部に表示させる、請求項１～１７のいずれか一項に記載のウェアラブル端末装置。
【請求項19】
前記少なくとも一つのプロセッサは、自装置が前記第２空間から前記第１空間に移動した場合に、前記第２空間に位置する前記第２の仮想画像を前記表示部に表示させる、請求項１８に記載のウェアラブル端末装置。
【請求項20】
ユーザが装着して使用するウェアラブル端末装置の表示部を制御可能なコンピュータに、
空間内における前記ユーザの視認領域を検出する処理、
前記空間に位置する仮想画像のうち、前記視認領域の内部に位置する第１の仮想画像を前記表示部に表示させる処理、
前記視認領域の外部に位置する第２の仮想画像がある場合に、第１の操作に基づいて、前記第２の仮想画像を前記表示部に表示させる処理、
を実行させる、プログラム。
空間内における前記ユーザの視認領域を検出する処理、
前記空間に位置する仮想画像のうち、前記視認領域の内部に位置する第１の仮想画像を前記表示部に表示させる処理、
前記視認領域の外部に位置する第２の仮想画像がある場合に、第１の操作に基づいて、前記第２の仮想画像を前記表示部に表示させる処理、
を実行させる、プログラム。
【請求項21】
ユーザが装着して使用するウェアラブル端末装置における表示方法であって、
空間内における前記ユーザの視認領域を検出し、
前記空間に位置する仮想画像のうち、前記視認領域の内部に位置する第１の仮想画像を表示部に表示させ、
前記視認領域の外部に位置する第２の仮想画像がある場合に、第１の操作に基づいて、前記第２の仮想画像を前記表示部に表示させる、表示方法。
空間内における前記ユーザの視認領域を検出し、
前記空間に位置する仮想画像のうち、前記視認領域の内部に位置する第１の仮想画像を表示部に表示させ、
前記視認領域の外部に位置する第２の仮想画像がある場合に、第１の操作に基づいて、前記第２の仮想画像を前記表示部に表示させる、表示方法。