特許 7537023 ウェアラブル端末装置、プログラムおよび表示方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2024-08-09

(45)【発行日】2024-08-20

(54)【発明の名称】ウェアラブル端末装置、プログラムおよび表示方法

(51)【国際特許分類】

   G06F 3/01 20060101AFI20240813BHJP

   G06F 3/04842 20220101ALI20240813BHJP

【ＦＩ】

G06F3/01 510

G06F3/04842

【請求項の数】 21

(21)【出願番号】P 2023531137

(86)(22)【出願日】2021-06-28

(86)【国際出願番号】 JP2021024314

(87)【国際公開番号】W WO2023275919

(87)【国際公開日】2023-01-05

【審査請求日】2023-07-31

(73)【特許権者】

【識別番号】000006633

【氏名又は名称】京セラ株式会社

(74)【代理人】

【識別番号】100090033

【弁理士】

【氏名又は名称】荒船 博司

(74)【代理人】

【識別番号】100093045

【弁理士】

【氏名又は名称】荒船 良男

(72)【発明者】

【氏名】伊東 伸悟

(72)【発明者】

【氏名】足立 智和

(72)【発明者】

【氏名】清水 解

【審査官】木村 慎太郎

(56)【参考文献】

【文献】国際公開第２０１４／１６２８５２（ＷＯ，Ａ１）

【文献】特開２０１８－０１８３１５（ＪＰ，Ａ）

【文献】特開２０２１－０２００７４（ＪＰ，Ａ）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ０６Ｆ ３／０１

Ｇ０６Ｆ ３／０４８４２

(57)【特許請求の範囲】

【請求項1】

ユーザが装着して使用するウェアラブル端末装置であって、
少なくとも一つのプロセッサと、
前記ユーザの視認領域として空間を撮影するカメラと、
遠隔指示者が使用する外部機器との間でデータ通信を行う通信部と、
を備え、
前記少なくとも一つのプロセッサは、
前記カメラによる撮影画像を、前記通信部を介して前記外部機器に送信し、
前記外部機器において前記撮影画像に基づいて行われた指示画像の生成指示に係る指示情報を、前記通信部を介して受信し、
前記空間のうち、受信した前記指示情報に基づく位置に視認されるように前記指示画像を表示部に表示させ、
表示させた前記指示画像の変更を行うためのユーザ操作を受け付けて、当該ユーザ操作に応じて前記指示画像の表示を更新し、
前記指示画像の変更は、前記指示画像に対する情報の付加を含み、
前記少なくとも一つのプロセッサは、
前記情報の付加を行う場合には、前記情報を含む仮想画像を前記表示部に表示させ、
前記空間における自装置の位置の変化に応じて、前記仮想画像のうち前記情報を含む部分が自装置を向くように前記仮想画像の方向を変更する、ウェアラブル端末装置。

【請求項2】

ユーザが装着して使用するウェアラブル端末装置であって、
少なくとも一つのプロセッサと、
前記ユーザの視認領域として空間を撮影するカメラと、
遠隔指示者が使用する外部機器との間でデータ通信を行う通信部と、
を備え、
前記少なくとも一つのプロセッサは、
前記カメラによる撮影画像を、前記通信部を介して前記外部機器に送信し、
前記外部機器において前記撮影画像に基づいて行われた指示画像の生成指示に係る指示情報を、前記通信部を介して受信し、
前記空間のうち、受信した前記指示情報に基づく位置に視認されるように前記指示画像を表示部に表示させ、
表示させた前記指示画像の変更を行うためのユーザ操作を受け付けて、当該ユーザ操作に応じて前記指示画像の表示を更新し、
前記指示画像の変更を行うための前記ユーザ操作がなされた場合に、前記指示画像の変更の許可を要求する要求信号を、前記通信部を介して前記外部機器に送信し、
前記要求信号の送信後に、前記指示画像の変更を許可する許可信号を前記通信部が受信した場合に前記指示画像を変更する、ウェアラブル端末装置。

【請求項3】

前記表示部は、光透過性を有する表示部材を備え、
前記少なくとも一つのプロセッサは、前記表示部材を通して視認される前記空間に前記指示画像が視認されるように、前記指示画像を前記表示部材の表示面に表示させる、請求項１または２に記載のウェアラブル端末装置。

【請求項4】

前記少なくとも一つのプロセッサは、前記カメラにより撮影された前記空間の画像、および当該空間の画像に重ねられた前記指示画像を前記表示部に表示させる、請求項１または２に記載のウェアラブル端末装置。

【請求項5】

前記指示画像の変更は、前記指示画像に対する注釈の付加を含み、
前記少なくとも一つのプロセッサは、前記注釈を含む前記指示画像を前記表示部に表示させる、請求項１～４のいずれか一項に記載のウェアラブル端末装置。

【請求項6】

前記少なくとも一つのプロセッサは、前記指示画像に対して前記注釈を付加する場合に、前記通信部を介して、前記注釈の内容を含む注釈情報を前記外部機器に送信する、請求項５に記載のウェアラブル端末装置。

【請求項7】

前記指示画像の変更は、前記指示画像の表示位置の変更を含む、請求項１～６のいずれか一項に記載のウェアラブル端末装置。

【請求項8】

前記少なくとも一つのプロセッサは、前記表示位置の変更に応じて変更後の表示位置へ移動している前記指示画像、および前記表示位置の変更が完了した前記指示画像の少なくとも一方を、前記表示位置の変更前における前記指示画像の表示態様とは異なる表示態様で表示させる、請求項７に記載のウェアラブル端末装置。

【請求項9】

前記情報は、前記ユーザ操作を行った前記ユーザを表す識別情報である、請求項１に記載のウェアラブル端末装置。

【請求項10】

前記指示画像の変更は、前記指示画像の色の変更を含む、請求項１～９のいずれか一項に記載のウェアラブル端末装置。

【請求項11】

前記少なくとも一つのプロセッサは、
前記指示画像の変更を行うための前記ユーザ操作がなされた場合に、前記指示画像の変更の許可を要求する要求信号を、前記通信部を介して前記外部機器に送信し、
前記要求信号の送信後に、前記指示画像の変更を許可する許可信号を前記通信部が受信した場合に前記指示画像を変更する、請求項１に記載のウェアラブル端末装置。

【請求項12】

前記少なくとも一つのプロセッサは、前記指示画像を変更する場合に、当該指示画像を変更する旨の通知を、前記通信部を介して前記外部機器に送信する、請求項１～１１のいずれか一項に記載のウェアラブル端末装置。

【請求項13】

前記通信部は、前記外部機器との間のリアルタイムの音声データ通信、および前記外部機器に対するリアルタイムの前記撮影画像の送信の少なくとも一方を含むライブ通信を行い、
前記少なくとも一つのプロセッサは、前記ライブ通信が行われているライブ通信期間においては、前記指示画像の変更を行わず、前記ライブ通信期間を除いた期間においては、前記指示画像の変更を行う、請求項１～１２のいずれか一項に記載のウェアラブル端末装置。

【請求項14】

前記少なくとも一つのプロセッサは、前記表示部に前記指示画像を表示させたときの当該指示画像および前記撮影画像を含むキャプチャ画像を記憶部に記憶させ、当該キャプチャ画像を前記表示部に表示させる、請求項１～１３のいずれか一項に記載のウェアラブル端末装置。

【請求項15】

前記少なくとも一つのプロセッサは、前記外部機器おいて表示される前記撮影画像に、前記生成指示に応じて前記指示画像が重畳表示されたときのキャプチャ画像を、前記通信部を介して受信し、当該キャプチャ画像を前記表示部に表示させる、請求項１～１３のいずれか一項に記載のウェアラブル端末装置。

【請求項16】

前記少なくとも一つのプロセッサは、
前記指示画像の表示位置が前記ユーザの視認領域に含まれるか否かを判別し、
前記指示画像の表示位置が前記ユーザの視認領域に含まれると判別した場合には、前記表示部に前記キャプチャ画像を表示させる、請求項１４または１５に記載のウェアラブル端末装置。

【請求項17】

前記少なくとも一つのプロセッサは、自装置の電源がオフ状態となった後に電源がオン状態となった場合に、電源が前記オフ状態となる前に前記表示部に表示させた前記指示画像に係る前記指示情報または当該指示情報に基づいて生成された指示画像情報を取得し、前記指示情報または前記指示画像情報に基づいて前記指示画像を再表示させる、請求項１～１６のいずれか一項に記載のウェアラブル端末装置。

【請求項18】

ユーザが装着して使用し、前記ユーザの視認領域として空間を撮影するカメラと、遠隔指示者が使用する外部機器との間でデータ通信を行う通信部と、を備えたウェアラブル端末装置に設けられたコンピュータに、
前記カメラによる撮影画像を、前記通信部を介して前記外部機器に送信する処理、
前記外部機器において前記撮影画像に基づいて行われた指示画像の生成指示に係る指示情報を、前記通信部を介して受信する処理、
前記空間のうち、受信した前記指示情報に基づく位置に視認されるように前記指示画像を表示部に表示させる処理、
表示させた前記指示画像の変更を行うためのユーザ操作を受け付け、当該ユーザ操作に応じて前記指示画像の表示を更新する処理、
を実行させるプログラムであって、
前記指示画像の変更は、前記指示画像に対する情報の付加を含み、
前記コンピュータに、
前記情報の付加を行う場合に、前記情報を含む仮想画像を前記表示部に表示させる処理、
前記空間における自装置の位置の変化に応じて、前記仮想画像のうち前記情報を含む部分が自装置を向くように前記仮想画像の方向を変更する処理、
を実行させるプログラム。

【請求項19】

ユーザが装着して使用し、前記ユーザの視認領域として空間を撮影するカメラと、遠隔指示者が使用する外部機器との間でデータ通信を行う通信部と、を備えたウェアラブル端末装置に設けられたコンピュータに、
前記カメラによる撮影画像を、前記通信部を介して前記外部機器に送信する処理、
前記外部機器において前記撮影画像に基づいて行われた指示画像の生成指示に係る指示情報を、前記通信部を介して受信する処理、
前記空間のうち、受信した前記指示情報に基づく位置に視認されるように前記指示画像を表示部に表示させる処理、
表示させた前記指示画像の変更を行うためのユーザ操作を受け付け、当該ユーザ操作に応じて前記指示画像の表示を更新する処理、
前記指示画像の変更を行うための前記ユーザ操作がなされた場合に、前記指示画像の変更の許可を要求する要求信号を、前記通信部を介して前記外部機器に送信する処理、
前記要求信号の送信後に、前記指示画像の変更を許可する許可信号を前記通信部が受信した場合に前記指示画像を変更する処理、
を実行させるプログラム。

【請求項20】

ユーザが装着して使用し、前記ユーザの視認領域として空間を撮影するカメラと、遠隔指示者が使用する外部機器との間でデータ通信を行う通信部と、を備えたウェアラブル端末装置に設けられたコンピュータが実行する表示方法であって、
前記カメラによる撮影画像を、前記通信部を介して前記外部機器に送信し、
前記外部機器において前記撮影画像に基づいて行われた指示画像の生成指示に係る指示情報を、前記通信部を介して受信し、
前記空間のうち、受信した前記指示情報に基づく位置に視認されるように前記指示画像を表示部に表示させ、
表示させた前記指示画像の変更を行うためのユーザ操作を受け付け、当該ユーザ操作に応じて前記指示画像の表示を更新し、
前記指示画像の変更は、前記指示画像に対する情報の付加を含み、
前記情報の付加を行う場合に、前記情報を含む仮想画像を前記表示部に表示させ、
前記空間における自装置の位置の変化に応じて、前記仮想画像のうち前記情報を含む部分が自装置を向くように前記仮想画像の方向を変更する、
表示方法。

【請求項21】

ユーザが装着して使用し、前記ユーザの視認領域として空間を撮影するカメラと、遠隔指示者が使用する外部機器との間でデータ通信を行う通信部と、を備えたウェアラブル端末装置に設けられたコンピュータが実行する表示方法であって、
前記カメラによる撮影画像を、前記通信部を介して前記外部機器に送信し、
前記外部機器において前記撮影画像に基づいて行われた指示画像の生成指示に係る指示情報を、前記通信部を介して受信し、
前記空間のうち、受信した前記指示情報に基づく位置に視認されるように前記指示画像を表示部に表示させ、
表示させた前記指示画像の変更を行うためのユーザ操作を受け付け、当該ユーザ操作に応じて前記指示画像の表示を更新し、
前記指示画像の変更を行うための前記ユーザ操作がなされた場合に、前記指示画像の変更の許可を要求する要求信号を、前記通信部を介して前記外部機器に送信し、
前記要求信号の送信後に、前記指示画像の変更を許可する許可信号を前記通信部が受信した場合に前記指示画像を変更する、
表示方法。

【発明の詳細な説明】

【技術分野】

【0001】

本開示は、ウェアラブル端末装置、プログラムおよび表示方法に関する。

【背景技術】

【0002】

従来、ユーザが頭部に装着するウェアラブル端末装置を用いて、仮想画像および／または仮想空間をユーザに体感させる技術として、ＶＲ（仮想現実）、ＭＲ（複合現実）およびＡＲ（拡張現実）が知られている。ウェアラブル端末装置は、ユーザが装着したときにユーザの視界を覆う表示部を有する。この表示部に、ユーザの位置および向きに応じて仮想画像および／または仮想空間を表示することで、あたかもこれらが存在しているかのような視覚効果を実現する（例えば、米国特許出願公開第２０１９／００８７０２１号明細書、および米国特許出願公開第２０１９／０３４０８２２号明細書）。

【0003】

ＭＲは、ユーザに現実空間を視認させつつ、現実空間の所定位置に仮想画像が存在しているように見せる表示を行うことで、現実空間と仮想画像とが融合した複合現実を体感させる技術である。また、ＶＲは、ＭＲにおける現実空間に代えて仮想空間をユーザに視認させることで、あたかもユーザが仮想空間にいるように体感させる技術である。

【0004】

ＶＲおよびＭＲにおいて表示される仮想画像は、ユーザが位置する空間における表示位置が定められており、その表示位置がユーザの視認領域の内部にある場合に表示部に表示されてユーザに視認される。

【発明の概要】

【0005】

本開示のウェアラブル端末装置は、ユーザが装着して使用するウェアラブル端末装置であって、少なくとも一つのプロセッサと、前記ユーザの視認領域として空間を撮影するカメラと、遠隔指示者が使用する外部機器との間でデータ通信を行う通信部と、を備える。前記少なくとも一つのプロセッサは、前記カメラによる撮影画像を、前記通信部を介して前記外部機器に送信する。前記少なくとも一つのプロセッサは、前記外部機器において前記撮影画像に基づいて行われた指示画像の生成指示に係る指示情報を、前記通信部を介して受信する。前記少なくとも一つのプロセッサは、前記空間のうち、受信した前記指示情報に基づく位置に視認されるように前記指示画像を表示部に表示させる。前記少なくとも一つのプロセッサは、表示させた前記指示画像の変更を行うためのユーザ操作を受け付けて、当該ユーザ操作に応じて前記指示画像の表示を更新する。前記指示画像の変更は、前記指示画像に対する情報の付加を含み、前記少なくとも一つのプロセッサは、前記情報の付加を行う場合には、前記情報を含む仮想画像を前記表示部に表示させ、前記空間における自装置の位置の変化に応じて、前記仮想画像のうち前記情報を含む部分が自装置を向くように前記仮想画像の方向を変更する。
本開示の他のウェアラブル端末装置は、ユーザが装着して使用するウェアラブル端末装置であって、少なくとも一つのプロセッサと、前記ユーザの視認領域として空間を撮影するカメラと、遠隔指示者が使用する外部機器との間でデータ通信を行う通信部と、を備える。前記少なくとも一つのプロセッサは、前記カメラによる撮影画像を、前記通信部を介して前記外部機器に送信する。前記少なくとも一つのプロセッサは、前記外部機器において前記撮影画像に基づいて行われた指示画像の生成指示に係る指示情報を、前記通信部を介して受信する。前記少なくとも一つのプロセッサは、前記空間のうち、受信した前記指示情報に基づく位置に視認されるように前記指示画像を表示部に表示させる。前記少なくとも一つのプロセッサは、表示させた前記指示画像の変更を行うためのユーザ操作を受け付けて、当該ユーザ操作に応じて前記指示画像の表示を更新する。前記少なくとも一つのプロセッサは、前記指示画像の変更を行うための前記ユーザ操作がなされた場合に、前記指示画像の変更の許可を要求する要求信号を、前記通信部を介して前記外部機器に送信し、前記要求信号の送信後に、前記指示画像の変更を許可する許可信号を前記通信部が受信した場合に前記指示画像を変更する。

【0006】

また、本開示のプログラムは、ユーザが装着して使用し、前記ユーザの視認領域として空間を撮影するカメラと、遠隔指示者が使用する外部機器との間でデータ通信を行う通信部と、を備えたウェアラブル端末装置に設けられたコンピュータに、前記カメラによる撮影画像を、前記通信部を介して前記外部機器に送信する処理を実行させる。前記プログラムは、前記コンピュータに、前記外部機器において前記撮影画像に基づいて行われた指示画像の生成指示に係る指示情報を、前記通信部を介して受信する処理を実行させる。前記プログラムは、前記コンピュータに、前記空間のうち、受信した前記指示情報に基づく位置に視認されるように前記指示画像を表示部に表示させる処理を実行させる。前記プログラムは、前記コンピュータに、表示させた前記指示画像の変更を行うためのユーザ操作を受け付け、当該ユーザ操作に応じて前記指示画像の表示を更新する処理を実行させる。前記指示画像の変更は、前記指示画像に対する情報の付加を含み、前記プログラムは、前記コンピュータに、前記情報の付加を行う場合に、前記情報を含む仮想画像を前記表示部に表示させる処理、前記空間における自装置の位置の変化に応じて、前記仮想画像のうち前記情報を含む部分が自装置を向くように前記仮想画像の方向を変更する処理、を実行させる。
本開示の他のプログラムは、ユーザが装着して使用し、前記ユーザの視認領域として空間を撮影するカメラと、遠隔指示者が使用する外部機器との間でデータ通信を行う通信部と、を備えたウェアラブル端末装置に設けられたコンピュータに、前記カメラによる撮影画像を、前記通信部を介して前記外部機器に送信する処理を実行させる。前記プログラムは、前記コンピュータに、前記外部機器において前記撮影画像に基づいて行われた指示画像の生成指示に係る指示情報を、前記通信部を介して受信する処理を実行させる。前記プログラムは、前記コンピュータに、前記空間のうち、受信した前記指示情報に基づく位置に視認されるように前記指示画像を表示部に表示させる処理を実行させる。前記プログラムは、前記コンピュータに、表示させた前記指示画像の変更を行うためのユーザ操作を受け付け、当該ユーザ操作に応じて前記指示画像の表示を更新する処理を実行させる。前記プログラムは、前記コンピュータに、前記指示画像の変更を行うための前記ユーザ操作がなされた場合に、前記指示画像の変更の許可を要求する要求信号を、前記通信部を介して前記外部機器に送信する処理、前記要求信号の送信後に、前記指示画像の変更を許可する許可信号を前記通信部が受信した場合に前記指示画像を変更する処理、を実行させる。

【0007】

また、本開示の表示方法は、ユーザが装着して使用し、前記ユーザの視認領域として空間を撮影するカメラと、遠隔指示者が使用する外部機器との間でデータ通信を行う通信部と、を備えたウェアラブル端末装置に設けられたコンピュータが実行する表示方法である。当該表示方法では、前記カメラによる撮影画像を、前記通信部を介して前記外部機器に送信する。前記表示方法では、前記外部機器において前記撮影画像に基づいて行われた指示画像の生成指示に係る指示情報を、前記通信部を介して受信する。前記表示方法では、前記空間のうち、受信した前記指示情報に基づく位置に視認されるように前記指示画像を表示部に表示させる。前記表示方法では、表示させた前記指示画像の変更を行うためのユーザ操作を受け付け、当該ユーザ操作に応じて前記指示画像の表示を更新する。前記指示画像の変更は、前記指示画像に対する情報の付加を含み、前記表示方法では、前記情報の付加を行う場合に、前記情報を含む仮想画像を前記表示部に表示させ、前記空間における自装置の位置の変化に応じて、前記仮想画像のうち前記情報を含む部分が自装置を向くように前記仮想画像の方向を変更する。
本開示の他の表示方法は、ユーザが装着して使用し、前記ユーザの視認領域として空間を撮影するカメラと、遠隔指示者が使用する外部機器との間でデータ通信を行う通信部と、を備えたウェアラブル端末装置に設けられたコンピュータが実行する表示方法である。当該表示方法では、前記カメラによる撮影画像を、前記通信部を介して前記外部機器に送信する。前記表示方法では、前記外部機器において前記撮影画像に基づいて行われた指示画像の生成指示に係る指示情報を、前記通信部を介して受信する。前記表示方法では、前記空間のうち、受信した前記指示情報に基づく位置に視認されるように前記指示画像を表示部に表示させる。前記表示方法では、表示させた前記指示画像の変更を行うためのユーザ操作を受け付け、当該ユーザ操作に応じて前記指示画像の表示を更新する。前記表示方法では、前記指示画像の変更を行うための前記ユーザ操作がなされた場合に、前記指示画像の変更の許可を要求する要求信号を、前記通信部を介して前記外部機器に送信し、前記要求信号の送信後に、前記指示画像の変更を許可する許可信号を前記通信部が受信した場合に前記指示画像を変更する。

【図面の簡単な説明】

【0008】

【図1】第１の実施形態に係る表示システムの構成を示す模式図である。

【図2】ウェアラブル端末装置の構成を示す模式斜視図である。

【図3】ウェアラブル端末装置を装着しているユーザが視認する視認領域および仮想画像の例を示す図である。

【図4】空間における視認領域を説明する図である。

【図5】ウェアラブル端末装置の主要な機能構成を示すブロック図である。

【図6】外部機器の主要な機能構成を示すブロック図である。

【図7】ウェアラブル端末装置のユーザの視認領域を示す図である。

【図8】外部機器の指示者用画面において指示画像を表示させた状態を示す図である。

【図9】ウェアラブル端末装置のユーザの視認領域において指示画像の表示が反映された状態を示す図である。

【図10】別の角度から指示画像を見たときの視認領域を示す図である。

【図11】指示画像の表示位置の変更方法の例を示す図である。

【図12】表示位置が変更された指示画像を含む視認領域を示す図である。

【図13】注釈が付加された指示画像を含む視認領域を示す図である。

【図14】注釈が付加された指示画像の他の例を示す図である。

【図15】コメントを表示させたときの指示画像を示す図である。

【図16】キャプチャ画像が表示された視認領域を示す図である。

【図17】遠隔指示処理の制御手順を示すフローチャートである。

【図18】遠隔指示処理の制御手順を示すフローチャートである。

【図19】第２の実施形態に係る表示システムの構成を示す模式図である。

【図20】情報処理装置の主要な機能構成を示すブロック図である。

【発明を実施するための形態】

【0009】

以下、実施の形態を図面に基づいて説明する。ただし、以下で参照する各図は、説明の便宜上、実施形態を説明する上で必要な主要部材のみを簡略化して示したものである。したがって、本開示のウェアラブル端末装置１０、外部機器２０および情報処理装置８０は、参照する各図に示されていない任意の構成部材を備え得る。

【0010】

〔第１の実施形態〕
図１に示すように、表示システム１は、ウェアラブル端末装置１０と、複数の外部機器２０とを備える。表示システム１と外部機器２０とは、ネットワークＮを介して通信接続されている。ネットワークＮは、例えばインターネットとすることができるが、これに限られない。なお、表示システム１は、複数のウェアラブル端末装置１０を備えていてもよい。また、表示システム１が備える外部機器２０は１つであってもよい。

【0011】

ウェアラブル端末装置１０は、ユーザ（装着者）に対してＭＲを体感させることのできる装置である。本実施形態では、所定の作業を行うユーザがウェアラブル端末装置１０を装着する。また、ウェアラブル端末装置１０を装着しているユーザに対し、ウェアラブル端末装置１０を介して遠隔地から指示を行う遠隔指示者が外部機器２０を操作する。ウェアラブル端末装置１０および外部機器２０では、所定の認証操作（例えば、ユーザアカウントごとに固有のＩＤ、およびパスワードを入力する操作）を行うことにより、認証に用いたユーザアカウントでログインすることができる。このログイン処理により、ウェアラブル端末装置１０および外部機器２０を操作しているユーザが特定される。以下では、ウェアラブル端末装置１０をユーザＡが操作し、１つの外部機器２０を遠隔指示者Ｂが操作する場合を例に挙げて説明する。

【0012】

図２に示すように、ウェアラブル端末装置１０は、本体部１０ａ、および当該本体部１０ａに取り付けられたバイザー１４１（表示部材）などを備える。

【0013】

本体部１０ａは、その周長を調整可能な環状の部材である。本体部１０ａの内部には、深度センサー１５３およびカメラ１５４などの種々の機器が内蔵されている。本体部１０ａを頭部に装着すると、ユーザの視界がバイザー１４１によって覆われるようになっている。

【0014】

バイザー１４１は、光透過性を有する。ユーザは、バイザー１４１を通して現実空間を視認することができる。バイザー１４１のうちユーザの目に対向する表示面には、本体部１０ａに内蔵されたレーザースキャナー１４２（図５参照）から仮想画像等の画像が投影されて表示される。ユーザは、表示面からの反射光により仮想画像を視認する。このとき、ユーザは、併せてバイザー１４１越しに現実空間も視認しているため、あたかも現実空間に仮想画像が存在しているかのような視覚効果が得られる。

【0015】

図３に示すように、仮想画像３０が表示された状態では、ユーザは、空間４０における所定位置に、所定方向を向いた仮想画像３０を視認する。本実施形態では、空間４０は、ユーザがバイザー１４１越しに視認する現実空間である。仮想画像３０は、光透過性を有するバイザー１４１に投影されているため、現実空間に重なる半透明の画像として視認される。図３では、仮想画像３０として平面状のウィンドウ画面が例示されている。また、仮想画像３０は、ウェアラブル端末装置１０のユーザに対して指示または説明などを行うための指示画像３１を含む。すなわち、指示画像３１は、仮想画像３０の一態様である。図３では、矢印の指示画像３１と、ペン入力の軌跡の指示画像３１とが例示されている。指示画像３１は、これらに限られず、作業内容の手順などを示すドキュメント画像などであってもよい。また、仮想画像３０は、ウィンドウ画面や上記の指示画像３１に限られず、例えば各種の立体画像（立体の仮想オブジェクト）などであってもよい。仮想画像３０がウィンドウ画面である場合には、仮想画像３０は表面（第１面）および裏面（第２面）を有し、このうち表面に必要な情報が表示され、通常、裏面には情報が表示されない。

【0016】

ウェアラブル端末装置１０は、空間４０におけるユーザの位置および向き（言い換えると、ウェアラブル端末装置１０の位置および向き）に基づいて、ユーザの視認領域４１を検出する。図４に示すように、視認領域４１は、空間４０のうち、ウェアラブル端末装置１０を装着しているユーザＡの前方に位置する領域である。例えば、視認領域４１は、ユーザＡの正面から左右方向および上下方向にそれぞれ所定角度範囲内の領域である。この場合、視認領域４１の形状に相当する立体を、ユーザＡの正面方向に垂直な平面で切り取ったときの切り口の形状は矩形である。なお、視認領域４１の形状は、当該切り口の形状が矩形以外（例えば、円形または楕円形等）となるように定められていてもよい。視認領域４１の形状（例えば、正面から左右方向および上下方向の角度範囲）は、例えば以下の方法で特定することができる。

【0017】

ウェアラブル端末装置１０では、初回起動時等の所定のタイミングにおいて、所定の手順で視野の調整（以下、キャリブレーションと記す）が行われる。このキャリブレーションにより、ユーザが視認できる範囲が特定され、以降、当該範囲内に仮想画像３０が表示される。このキャリブレーションにより特定された視認可能な範囲の形状を、視認領域４１の形状とすることができる。

【0018】

また、キャリブレーションは、上記の所定の手順で行われるものに限られず、ウェアラブル端末装置１０の通常の操作を行っている中で自動的にキャリブレーションが行われてもよい。例えば、ユーザからのリアクションがなされるべき表示に対してリアクションがなされない場合に、当該表示を行っている範囲をユーザの視野の範囲外であるとみなして視野（および視認領域４１の形状）を調整してもよい。また、視野の範囲外として定められている位置に試験的に表示を行い、当該表示に対するユーザのリアクションがあった場合に、当該表示を行っている範囲をユーザの視野の範囲内であるとみなして視野（および視認領域４１の形状）を調整してもよい。

【0019】

なお、視認領域４１の形状は、出荷時等において、視野の調整結果に基づかずに予め定められて固定されていてもよい。例えば、視認領域４１の形状は、表示部１４の光学設計上、最大限表示可能な範囲に定められていてもよい。

【0020】

仮想画像３０は、ユーザの所定の操作に応じて、空間４０における表示位置および向きが定められた状態で生成される。また、仮想画像３０のうち指示画像３１は、例えば外部機器２０からウェアラブル端末装置１０に送信される指示情報１３３（図５参照）に基づいて生成される。また、指示画像３１は、ウェアラブル端末装置１０のユーザが備忘などの目的で自ら生成することもできる。ウェアラブル端末装置１０は、生成された仮想画像３０のうち、視認領域４１の内部に表示位置が定められている仮想画像３０をバイザー１４１に投影させて表示する。図３においては、視認領域４１が鎖線で示されている。

【0021】

バイザー１４１における仮想画像３０の表示位置および向きは、ユーザの視認領域４１の変化に応じてリアルタイムに更新される。すなわち、「設定された位置および向きで空間４０内に仮想画像３０が位置している」とユーザが認識するように、視認領域４１の変化に応じて仮想画像３０の表示位置および向きが変化する。例えば、ユーザが仮想画像３０の表側から裏側に向かって移動すると、この移動に応じて表示される仮想画像３０の形状（角度）が徐々に変化する。また、ユーザが仮想画像３０の裏側に回り込んだ後で当該仮想画像３０の方向を向くと、仮想画像３０の裏面が視認されるように裏面が表示される。また、視認領域４１の変化に応じて、表示位置が視認領域４１から外れた仮想画像３０は表示されなくなり、表示位置が視認領域４１に入った仮想画像３０があれば当該仮想画像３０が新たに表示される。

【0022】

図３に示すように、ユーザが手（または指）を前方にかざすと、手を伸ばした方向がウェアラブル端末装置１０により検出され、当該方向に延びる仮想線４１１と、ポインタ４１２とがバイザー１４１の表示面に表示されてユーザに視認される。ポインタ４１２は、仮想線４１１と仮想画像３０との交点に表示される。仮想線４１１が仮想画像３０と交差しない場合には、仮想線４１１と空間４０の壁面等との交点にポインタ４１２が表示されてもよい。ユーザの手と仮想画像３０との距離が所定の基準距離以内である場合に、仮想線４１１の表示を省略して、ユーザの指先の位置に応じた位置にポインタ４１２を直接表示させてもよい。

【0023】

ユーザが手を伸ばす方向を変えることで、仮想線４１１の方向およびポインタ４１２の位置を調整することができる。仮想画像３０に含まれる所定の操作対象（例えば、機能バー３０１、ウィンドウ形状変更ボタン３０２、およびクローズボタン３０３等）にポインタ４１２が位置するように調整した状態で所定のジェスチャーを行うことで、当該ジェスチャーがウェアラブル端末装置１０により検出され、操作対象に対する所定の操作を行うことができる。例えば、ポインタ４１２をクローズボタン３０３に合わせた状態で、操作対象を選択するジェスチャー（例えば、指先をつまむジェスチャー）を行うことで、仮想画像３０を閉じる（削除する）ことができる。また、ポインタ４１２を機能バー３０１に合わせた状態で選択するジェスチャーを行い、選択状態のまま手を前後左右に移動させるジェスチャーを行うことで、仮想画像３０を奥行方向および左右方向に移動させることができる。仮想画像３０に対する操作はこれらに限られない。

【0024】

このように、本実施形態のウェアラブル端末装置１０は、あたかも現実空間に仮想画像３０が存在するかのような視覚効果を実現し、仮想画像３０に対するユーザの操作を受け付けて仮想画像３０の表示に反映させることができる。すなわち、本実施形態のウェアラブル端末装置１０はＭＲを提供する。

【0025】

次に、図５を参照してウェアラブル端末装置１０の機能構成について説明する。
ウェアラブル端末装置１０は、ＣＰＵ１１（Central Processing Unit）と、ＲＡＭ１２（Random Access Memory）と、記憶部１３と、表示部１４と、センサー部１５と、通信部１６と、マイク１７と、スピーカー１８などを備え、これらの各部はバス１９により接続されている。図５に示す構成要素のうち表示部１４のバイザー１４１を除いた各部は、本体部１０ａに内蔵されており、同じく本体部１０ａに内蔵されているバッテリーから供給される電力により動作する。

【0026】

ＣＰＵ１１は、各種演算処理を行い、ウェアラブル端末装置１０の各部の動作を統括制御するプロセッサである。ＣＰＵ１１は、記憶部１３に記憶されたプログラム１３１を読み出して実行することで、各種制御動作を行う。ＣＰＵ１１は、プログラム１３１を実行することで、例えば視認領域検出処理および表示制御処理などを実行する。このうち視認領域検出処理は、空間４０内におけるユーザの視認領域４１を検出する処理である。また、表示制御処理は、空間４０における位置が定められた仮想画像３０のうち、視認領域４１の内部に位置が定められている仮想画像３０を表示部１４に表示させる処理である。

【0027】

なお、図５では単一のＣＰＵ１１が図示されているが、これに限られない。ＣＰＵ等のプロセッサが２以上設けられていてもよく、本実施形態のＣＰＵ１１が実行する処理を、これらの２以上のプロセッサが分担して実行してもよい。

【0028】

ＲＡＭ１２は、ＣＰＵ１１に作業用のメモリ空間を提供し、一時データを記憶する。

【0029】

記憶部１３は、コンピュータとしてのＣＰＵ１１により読み取り可能な非一時的な記録媒体である。記憶部１３は、ＣＰＵ１１により実行されるプログラム１３１、および各種設定データなどを記憶する。プログラム１３１は、コンピュータ読み取り可能なプログラムコードの形態で記憶部１３に格納されている。記憶部１３としては、例えばフラッシュメモリを備えたＳＳＤ（Solid State Drive）などの不揮発性の記憶装置が用いられる。

【0030】

記憶部１３に記憶されるデータとしては、仮想画像３０に係る仮想画像データ１３２、および外部機器２０から取得した指示情報１３３などがある。

【0031】

仮想画像データ１３２は、仮想画像３０の表示内容に係るデータ（例えば画像データ）、表示位置のデータ、および向きのデータなどを含む。また、仮想画像データ１３２は、指示画像３１を表示させるための指示画像データ１３２１（指示画像情報）を含む。例えば、矢印の指示画像３１に係る指示画像データ１３２１は、矢印の大きさ、色、表示位置、および向きのデータなどを含む。また、ペン入力の軌跡の指示画像３１に係る指示画像データ１３２１は、軌跡の太さ、色、表示位置（軌跡の各点の座標を含む）、および向きのデータなどを含む。また、ドキュメント画像の指示画像３１に係る仮想画像データ１３２は、ドキュメント画像の内容、ウィンドウの大きさ、色、表示位置、および向きのデータなどを含む。

【0032】

指示情報１３３は、ウェアラブル端末装置１０において指示画像３１を表示させるために外部機器２０からウェアラブル端末装置１０に送信されたデータである。指示情報１３３の内容は、特には限られず、外部機器２０において表示が指示された指示画像３１をウェアラブル端末装置１０において表示させることが可能な情報が少なくとも含まれていればよい。例えば、指示情報１３３は、矢印またはペン入力の軌跡といった指示画像３１の種別を指定する情報を含んでいてもよい。また、指示情報１３３は、指示画像３１の大きさ、色、および向きなどを指定する情報を含んでいてもよい。また、指示情報１３３は、空間４０における指示画像３１の表示位置を特定可能な情報を含んでいてもよい。ここで、空間４０における指示画像３１の表示位置を決定可能な情報は、空間４０における位置を直接特定するものに限られず、他のオブジェクトとの位置関係や、空間４０を撮像した２次元の画像における位置を表すものであってもよい。ＣＰＵ１１は、指示情報１３３を受信すると、当該１３３に基づいて上記の指示画像データ１３２１を生成する。

【0033】

表示部１４は、バイザー１４１と、レーザースキャナー１４２と、当該レーザースキャナー１４２から出力された光をバイザー１４１の表示面に導く光学系とを有する。レーザースキャナー１４２は、ＣＰＵ１１からの制御信号に従って、画素ごとにオン／オフが制御されたパルス状のレーザー光を所定方向にスキャンしつつ光学系に照射する。光学系に入射したレーザー光は、バイザー１４１の表示面において２次元の画素マトリクスからなる表示画面を形成する。レーザースキャナー１４２の方式は、特には限られないが、例えばＭＥＭＳ（Micro Electro Mechanical Systems）によりミラーを動作させてレーザー光をスキャンする方式を用いることができる。レーザースキャナー１４２は、例えばＲＧＢの色のレーザー光を射出する３つの発光部を有する。表示部１４は、これらの発光部からの光をバイザー１４１に投影することでカラー表示を行うことができる。

【0034】

センサー部１５は、加速度センサー１５１、角速度センサー１５２、深度センサー１５３、カメラ１５４およびアイトラッカー１５５などを備える。なお、センサー部１５は、図５に示されていないセンサーをさらに有していてもよい。

【0035】

加速度センサー１５１は、加速度を検出して検出結果をＣＰＵ１１に出力する。加速度センサー１５１による検出結果から、ウェアラブル端末装置１０の直交３軸方向の並進運動を検出することができる。

【0036】

角速度センサー１５２（ジャイロセンサー）は、角速度を検出して検出結果をＣＰＵ１１に出力する。角速度センサー１５２による検出結果から、ウェアラブル端末装置１０の回転運動を検出することができる。

【0037】

深度センサー１５３は、ＴｏＦ（Time of Flight）方式で被写体までの距離を検出する赤外線カメラであり、距離の検出結果をＣＰＵ１１に出力する。深度センサー１５３は、視認領域４１を撮影できるように本体部１０ａの前面に設けられている。空間４０においてユーザの位置および向きが変化するごとに深度センサー１５３による計測を繰り返し行って結果を合成することで、空間４０の全体の３次元マッピングを行う（すなわち、３次元構造を取得する）ことができる。

【0038】

カメラ１５４は、ＲＧＢの撮像素子群により空間４０を撮影し、撮影結果としてカラー画像データを取得してＣＰＵ１１に出力する。カメラ１５４は、視認領域４１を撮影できるように本体部１０ａの前面に設けられている。カメラ１５４からの出力画像は、ウェアラブル端末装置１０の位置および向きなどの検出に用いられるほか、通信部１６から外部機器２０に送信されて、ウェアラブル端末装置１０のユーザの視認領域４１を外部機器２０において表示するためにも用いられる。

【0039】

アイトラッカー１５５は、ユーザの視線を検出して検出結果をＣＰＵ１１に出力する。視線の検出方法は、特には限られないが、例えば、ユーザの目における近赤外光の反射点をアイトラッキングカメラで撮影し、その撮影結果と、カメラ１５４による撮影画像とを解析してユーザが視認している対象を特定する方法を用いることができる。アイトラッカー１５５の構成の一部は、バイザー１４１の周縁部などに設けられていてもよい。

【0040】

通信部１６は、アンテナ、変復調回路、信号処理回路などを有する通信モジュールである。通信部１６は、所定の通信プロトコルに従って外部機器２０との間で無線通信によるデータの送受信を行う。また、通信部１６は、外部機器２０との間で音声データ通信を行うことができる。すなわち、通信部１６は、マイク１７により収集された音声データを外部機器２０に送信し、スピーカー１８から音声を出力させるために外部機器２０から送信された音声データを受信する。

【0041】

マイク１７は、ユーザの声などの音を電気信号に変換してＣＰＵ１１に出力する。

【0042】

スピーカー１８は、入力された音声データを機械的な振動に変換して音として出力する。

【0043】

このような構成のウェアラブル端末装置１０において、ＣＰＵ１１は、以下のような制御動作を行う。

【0044】

ＣＰＵ１１は、深度センサー１５３から入力された被写体までの距離データに基づいて空間４０の３次元マッピングを行う。ＣＰＵ１１は、ユーザの位置および向きが変化するたびにこの３次元マッピングを繰り返し行い、都度結果を更新する。また、ＣＰＵ１１は、一繋がりの空間４０を単位として３次元マッピングを行う。よって、壁などにより仕切られた複数の部屋の間をユーザが移動する場合には、ＣＰＵ１１は、それぞれの部屋を１つの空間４０と認識し、部屋ごとに別個に３次元マッピングを行う。

【0045】

ＣＰＵ１１は、空間４０内におけるユーザの視認領域４１を検出する。詳しくは、ＣＰＵ１１は、加速度センサー１５１、角速度センサー１５２、深度センサー１５３、カメラ１５４およびアイトラッカー１５５による検出結果と、蓄積されている３次元マッピングの結果と、に基づいて、空間４０におけるユーザ（ウェアラブル端末装置１０）の位置および向きを特定する。そして、特定した位置および向きと、予め定められている視認領域４１の形状と、に基づいて視認領域４１を検出（特定）する。また、ＣＰＵ１１は、ユーザの位置および向きの検出をリアルタイムで継続して行い、ユーザの位置および向きの変化に連動して視認領域４１を更新する。なお、視認領域４１の検出は、加速度センサー１５１、角速度センサー１５２、深度センサー１５３、カメラ１５４およびアイトラッカー１５５のうちの一部による検出結果を用いて行われてもよい。

【0046】

ＣＰＵ１１は、ユーザの操作に応じて仮想画像３０に係る仮想画像データ１３２を生成する。すなわち、ＣＰＵ１１は、仮想画像３０の生成を指示する所定の操作（ジェスチャー）を検出すると、仮想画像の表示内容（例えば画像データ）、表示位置、および向きを特定し、これらの特定結果を表すデータを含む仮想画像データ１３２を生成する。

【0047】

ＣＰＵ１１は、仮想画像データ１３２に基づいて、視認領域４１の内部に表示位置が定められている仮想画像３０を表示部１４に表示させる。また、仮想画像データ１３２に指示画像データ１３２１が含まれている場合には、視認領域４１の内部に表示位置が定められている指示画像３１を表示部１４に表示させる。詳しくは、ＣＰＵ１１は、仮想画像データ１３２に基づいて仮想画像３０の表示位置を特定し、また、指示画像データ１３２１に基づいて指示画像３１の表示位置を特定する。ＣＰＵ１１は、その時点における視認領域４１と、特定した表示位置との位置関係に基づいて、表示位置に仮想画像３０および／または指示画像３１が視認されるように、表示部１４に表示させる表示画面の画像データを生成する。ＣＰＵ１１は、この画像データに基づいてレーザースキャナー１４２にスキャン動作を行わせ、バイザー１４１の表示面に、仮想画像３０および／または指示画像３１を含む表示画面を形成させる。すなわち、ＣＰＵ１１は、バイザー１４１を通して視認される空間４０に仮想画像３０および／または指示画像３１が視認されるように、バイザー１４１の表示面に仮想画像３０および／または指示画像３１を表示させる。ＣＰＵ１１は、この表示制御処理を連続して行うことで、ユーザの動き（視認領域４１の変化）に合わせて表示部１４による表示内容をリアルタイムで更新する。ウェアラブル端末装置１０が電源オフ状態となっても仮想画像データ１３２および指示画像データ１３２１が保持される設定となっている場合には、次にウェアラブル端末装置１０が起動したときには、既存の仮想画像データ１３２および指示画像データ１３２１が読み込まれ、視認領域４１の内部に位置する仮想画像３０および／または指示画像３１があれば表示部１４に表示される。

【0048】

ＣＰＵ１１は、深度センサー１５３およびカメラ１５４による撮像画像に基づいてユーザの手（および／または指）の位置および向きを検出し、検出した方向に延びる仮想線４１１と、ポインタ４１２とを表示部１４に表示させる。また、ＣＰＵ１１は、深度センサー１５３およびカメラ１５４による撮像画像に基づいてユーザの手（および／または指）のジェスチャーを検出し、検出したジェスチャーの内容と、その時点におけるポインタ４１２の位置とに応じた処理を実行する。

【0049】

次に、図６を参照して外部機器２０の機能構成について説明する。
外部機器２０は、ＣＰＵ２１と、ＲＡＭ２２と、記憶部２３と、操作表示部２４と、通信部２５と、マイク２６と、スピーカー２７などを備え、これらの各部はバス２８により接続されている。

【0050】

ＣＰＵ２１は、各種演算処理を行い、外部機器２０の各部の動作を統括制御するプロセッサである。ＣＰＵ２１は、記憶部２３に記憶されたプログラム２３１を読み出して実行することで、各種制御動作を行う。

【0051】

ＲＡＭ２２は、ＣＰＵ２１に作業用のメモリ空間を提供し、一時データを記憶する。

【0052】

記憶部２３は、コンピュータとしてのＣＰＵ２１により読み取り可能な非一時的な記録媒体である。記憶部２３としては、例えばフラッシュメモリを備えたＳＳＤ、またはＨＤＤ（Hard Disk Drive）などの不揮発性の記憶装置が用いられる。記憶部２３には、ＣＰＵ２１により実行されるプログラム２３１、および各種設定データなどが記憶されている。プログラム２３１は、コンピュータ読み取り可能なプログラムコードの形態で記憶部２３に格納されている。

【0053】

操作表示部２４は、液晶ディスプレイ等の表示装置と、マウスおよびキーボードといった入力装置とを備える。操作表示部２４は、表示装置において表示システム１の動作ステータスや処理結果等の各種表示を行う。当該表示には、例えば、ウェアラブル端末装置１０のカメラ１５４により撮影された視認領域４１の画像を含む指示者用画面２４１が含まれる。指示者用画面２４１の内容については、後に詳述する。また、操作表示部２４は、入力装置に対するユーザの入力操作を操作信号に変換してＣＰＵ２１に出力する。

【0054】

通信部２５は、所定の通信プロトコルに従ってウェアラブル端末装置１０との間でデータの送受信を行う。また、通信部２５は、ウェアラブル端末装置１０との間で音声データ通信を行うことができる。すなわち、通信部２５は、マイク２６により収集された音声データをウェアラブル端末装置１０に送信し、スピーカー２７から音声を出力させるためにウェアラブル端末装置１０から送信された音声データを受信する。通信部２５は、ウェアラブル端末装置１０以外の他の装置との通信が可能であってもよい。

【0055】

マイク２６は、遠隔指示者の声などの音を電気信号に変換してＣＰＵ２１に出力する。

【0056】

スピーカー２７は、入力される音声データを機械的な振動に変換して音として出力する。

【0057】

次に、表示システム１の動作について説明する。
本実施形態の表示システム１では、ウェアラブル端末装置１０と、一または二以上の外部機器２０との間で双方向のデータ通信を行うことで、種々のデータを共有して共同作業を行うことができる。例えば、ウェアラブル端末装置１０のカメラ１５４により撮影されている画像（撮影画像）のデータを外部機器２０に送信して、操作表示部２４において指示者用画面２４１として表示させることで、ウェアラブル端末装置１０のユーザＡが見ているものを、遠隔指示者Ｂがリアルタイムで認識することができる。また、ウェアラブル端末装置１０のマイク１７、および外部機器２０のマイク２６によりそれぞれ収集された音声を双方向のリアルタイムの音声データ通信で送信することで、音声通話を行うことができる。よって、ウェアラブル端末装置１０および外部機器２０により音声データ通信が実行されている期間は、ウェアラブル端末装置１０のユーザＡと遠隔指示者Ｂとが音声通話中である期間を含む。以下では、ウェアラブル端末装置１０と外部機器２０との間のリアルタイムの音声データ通信、およびウェアラブル端末装置１０から外部機器２０へのリアルタイムの撮影画像の送信の少なくとも一方を含む通信を「ライブ通信」と記す。遠隔指示者Ｂは、ライブ通信中に、リアルタイムのカメラ画像を見ながら音声通話によってウェアラブル端末装置１０のユーザＡに対する指示および支援を行う、といったことが可能である。なお、ウェアラブル端末装置１０のユーザＡと、二以上の外部機器２０を操作する二以上の遠隔指示者とを含む三者以上でライブ通信を行ってもよい。

【0058】

さらに、外部機器２０を操作する遠隔指示者Ｂは、ウェアラブル端末装置１０のカメラ１５４の撮影画像が表示されている指示者用画面２４１を見ながら所定の操作を行うことで、指示者用画面２４１の所望の位置に指示画像３１を表示させることができる。また、外部機器２０のＣＰＵ２１は、遠隔指示者Ｂによる上記操作に応じて、ウェアラブル端末装置１０において指示画像３１を表示させるための指示情報１３３を生成してウェアラブル端末装置１０に送信する。ウェアラブル端末装置１０がこの指示情報１３３を受信すると、指示情報１３３の内容に応じて、空間４０のうち、指示者用画面２４１における指示画像３１の表示位置と対応する位置に指示画像３１が表示される。よって、ウェアラブル端末装置１０のユーザＡは、外部機器２０の遠隔指示者Ｂが生成した指示画像３１を視認領域４１において視認することができる。このような指示画像３１の表示を行うために、ウェアラブル端末装置１０のＣＰＵ１１は以下のような制御を行う。すなわち、ＣＰＵ１１は、カメラ１５４による撮影画像を、通信部１６を介して外部機器２０に送信し、外部機器２０において撮影画像に基づいて行われた指示画像３１の生成指示に係る指示情報１３３を、通信部１６を介して受信し、空間４０のうち、受信した指示情報１３３に基づく位置に視認されるように指示画像３１を表示部１４に表示させる。これにより、遠隔指示者Ｂは、例えばライブ通信中に、ウェアラブル端末装置１０を装着しているユーザＡの視認領域４１の所望の位置に矢印の指示画像３１を表示させて、ユーザＡに対して作業対象の位置を指示する、といったことが可能となる。

【0059】

ところで、従来、外部機器２０からの指示に応じてウェアラブル端末装置１０において指示画像３１が表示された場合に、ウェアラブル端末装置１０側の操作によって、指示画像３１の変更を行うことはできなかった。ここで、指示画像３１の変更は、例えば、指示画像３１の表示位置、色、形状、向き、または大きさ等の変更、および注釈または各種標識の付加などを含む。また、指示画像３１の色の変更は、指示画像３１のうち一部の色の変更を含む。

【0060】

しかしながら、ウェアラブル端末装置１０において表示された指示画像３１の位置や向きが、ウェアラブル端末装置１０を装着しているユーザＡにとっては適切でないと感じられる場合がある。また、ユーザＡが、自身の備忘のため、あるいは他のユーザへの申し送りなどのために、指示画像３１に対して注釈を付加したい場合がある。これらのような場合に、ウェアラブル端末装置１０側の操作で指示画像３１の変更が一切できないのは、ウェアラブル端末装置１０のユーザＡにとって不便であり、作業効率が低減したり、遠隔指示者との円滑な意思疎通が妨げられたりする要因となっていた。

【0061】

これに対し、本開示のウェアラブル端末装置１０では、外部機器２０からの指示に応じて表示された指示画像３１の変更を行うことが可能となっている。すなわち、ウェアラブル端末装置１０のＣＰＵ１１は、表示部１４に表示させた指示画像３１の変更を行うためのユーザ操作を受け付けて、当該ユーザ操作に応じて指示画像３１の表示を更新する。以下では、図７～図１６を参照して、このような指示画像３１の表示および変更に係る動作について説明する。

【0062】

図７は、ある時点におけるウェアラブル端末装置１０のユーザＡの視認領域４１を示す。ここでは、視認領域４１にモニター５１および飲料のボトル５２が含まれている例を挙げて説明する。モニター５１は、テーブルの上に設置されており、ボトル５２は、テーブルの上においてモニター５１の手前（ウェアラブル端末装置１０に近い側）に置かれている。図７では、ウェアラブル端末装置１０にユーザＡがログインしていることを示す表示がなされているが、これは説明の便宜上のものであり、実際の視認領域４１では表示が省略されてもよい。

【0063】

図８は、ウェアラブル端末装置１０とライブ通信中である外部機器２０において、図７と同じタイミングで操作表示部２４に表示されている指示者用画面２４１を示す。指示者用画面２４１には、ウェアラブル端末装置１０からリアルタイムで送信されているカメラ１５４による撮影画像が表示されている。よって、指示者用画面２４１には、テーブル上のモニター５１およびボトル５２が表示されている。 図８では、外部機器２０にユーザＢがログインしていることを示す表示がなされているが、これは説明の便宜上のものであり、実際の指示者用画面２４１では表示が省略されてもよい。指示者用画面２４１の上部には、ライブ通信の各種設定を行うための設定パネル６１と、指示画像３１の表示指示を行うための矢印アイコン６２、ペン入力アイコン６３および画像アイコン６４が表示されている。矢印アイコン６２は、矢印の指示画像３１を表示させる場合に選択される。ペン入力アイコン６３は、ペン入力の軌跡の指示画像３１を表示させる場合に選択される。画像アイコン６４は、ドキュメント画像の指示画像３１を表示させる場合に選択される。

【0064】

例えば、図８に示すように矢印アイコン６２を選択した状態で、指示者用画面２４１上の位置を指示する指示操作が行われると、外部機器２０のＣＰＵ２１は、指示者用画面２４１のうち指示された位置に矢印の指示画像３１を表示させる。図８の例では、遠隔指示者Ｂは、モニター５１の右端部を指す意図で矢印の指示画像３１の表示を指示しているものとする。また、ＣＰＵ２１は、上記の指示操作が行われると、ウェアラブル端末装置１０において指示画像３１を表示させるための指示情報１３３を生成してウェアラブル端末装置１０に送信する。指示情報１３３は、例えば、指示画像３１の種別（ここでは、矢印）を指定する情報、指示画像３１の大きさ、色、および向きなどを指定する情報、および空間における指示画像３１の表示位置を特定可能な情報を含む。指示画像３１の表示位置を特定可能な情報は、ここでは、指示者用画面２４１に表示されているカメラ１５４の２次元の撮影画像における指示画像３１の位置（矢印の先端の位置）を示す情報であるものとする。指示情報１３３には、ウェアラブル端末装置１０から受信したカメラ１５４の撮影画像のデータが含まれていてもよく、当該撮影画像上の座標により指示画像３１の位置が示されていてもよい。

【0065】

ウェアラブル端末装置１０のＣＰＵ１１は、指示情報１３３を受信すると、図９に示すように、空間のうち指示情報１３３に基づく位置に指示画像３１が視認されるように、表示部１４に指示画像３１を表示させる。詳しくは、ＣＰＵ１１は、受信した指示情報１３３に基づいて空間における指示画像３１の表示位置を特定し、当該表示位置の情報を含む指示画像データ１３２１を生成する。そして、ＣＰＵ１１は、指示画像データ１３２１に基づいて表示部１４に指示画像３１を表示させる。指示情報１３３に基づいて空間における指示画像３１の表示位置を特定する方法は、特には限られないが、例えば以下の第１の方法または第２の方法を用いることができる。

【0066】

＜第１の方法＞
第１の方法では、ＣＰＵ１１は、指示情報１３３から、２次元の撮影画像における指示画像３１の位置情報（矢印の先端の位置情報）を取得する。ＣＰＵ１１は、この位置情報から、空間のうち撮影画像に相当するＸＹ面における表示位置（以下、「ＸＹ面表示位置」と記す）を特定する。また、ＣＰＵ１１は、ＸＹ面に垂直なＺ方向（奥行方向）についての指示画像３１の位置を、ＸＹ面表示位置からＺ方向に延ばした線分が最初に当接する物体の位置に設定する。空間における物体の三次元配置は、深度センサー１５３の計測結果に基づいて生成された３次元マップから特定することができる。図８および図９の例では、指示画像３１のＸＹ面表示位置は、図８の２次元画像における指示画像３１の矢印の先端位置、すなわちモニター５１の右端部の位置である。また、図９に示す空間において、ＸＹ面表示位置から奥行方向に延ばしたときに最初に当接する物体は、モニター５１であるため、指示画像３１のＺ方向についての位置は、モニター５１の位置と特定される。

【0067】

＜第２の方法＞
第２の方法では、ＣＰＵ１１は、第１の方法と同様に、指示情報１３３から、２次元の撮影画像における指示画像３１の位置情報（矢印の先端の位置情報）を取得する。また、ＣＰＵ１１は、指示情報１３３に含まれる２次元画像から、当該画像に含まれる各物体の特徴を検出し、指定された指示画像３１の位置に最も近い位置に存在する物体を指示対象として特定する。例えば、図８に示す例では、指示画像３１の矢印の先端がモニター５１に重なっているため、モニター５１が指示対象として特定される。ＣＰＵ１１は、現実の空間において、指示対象の物体の位置を特定し、Ｚ方向（奥行方向）についての指示画像３１の位置を、当該指示対象の物体（図８および図９の例では、モニター５１）の位置に合うように設定する。なお、外部機器２０のＣＰＵ２１が、指示者用画面２４１上で指示対象の物体を特定し、当該指示対象の物体を示す情報を指示情報１３３に記録してもよい。この場合における指示対象の物体の特定は、ＣＰＵ２１が画像データから判別してもよいし、物体を指定する遠隔指示者Ｂの操作に基づいて行われてもよい。

【0068】

なお、第１の方法および第２の方法のいずれにおいても、ウェアラブル端末装置１０のＣＰＵ１１が実行していた処理を外部機器２０のＣＰＵ２１が実行してもよい。すなわち、空間における指示画像３１の表示位置を、外部機器２０のＣＰＵ２１が特定してもよい。この場合には、外部機器２０のＣＰＵ２１は、当該位置の特定に必要な情報（例えば、３次元マップ）をウェアラブル端末装置１０から取得してもよい。

【0069】

ところで、上記の第１の方法では、空間の最新の構造が３次元マップに反映されていなかったり、３次元マップの精度が低かったりする場合などにおいて、指示画像３１の奥行方向の位置が、遠隔指示者Ｂの所望する位置からずれる場合がある。また、第２の方法においても、指示対象の物体の特定が適切に行われなかった場合などにおいて、指示画像３１の位置が、遠隔指示者Ｂの所望する位置からずれる場合がある。

【0070】

このため、例えば図８および図９のように、遠隔指示者Ｂが指示画像３１をモニター５１の位置に表示させる意図で操作を行っても、図１０に示すように、図９とは異なる角度からユーザＡが指示画像３１を見たときに、指示画像３１がモニター５１から離間してしまう場合がある。図１０の状態では、指示画像３１がモニター５１およびボトル５２のいずれを指しているのか不明確である。このような場合に、ウェアラブル端末装置１０のユーザＡは、所定の操作を行うことで指示画像３１の位置を変更することができる。

【0071】

図１１は、指示画像３１の位置の変更方法の例を示す図である。図１１に示すように、ユーザＡは、所定のジェスチャ操作を行うことで、指示画像３１を移動させて、空間における指示画像３１の表示位置を変更することができる。このように、指示画像３１の変更は、指示画像３１の表示位置の変更を含む。上記のジェスチャ操作は、例えば、指示画像３１の一部を指でつまんだ状態で（または、ポインタ４１２により選択した状態で）手を動かす操作であってもよい。当該ジェスチャ操作に応じて、ＣＰＵ１１は、指示画像データ１３２１における指示画像３１の表示位置の情報を変更し、変更後の指示画像データ１３２１に基づいて指示画像３１の表示を更新する（再表示させる）。この表示の更新動作を、ユーザＡの手の移動中に繰り返し行うことで、ユーザＡの手の動きに追従するように指示画像３１が移動しているような視覚効果を実現できる。

【0072】

また、ＣＰＵ１１は、表示位置の変更に応じて変更後の表示位置へ移動している指示画像３１、および表示位置の変更が完了した指示画像３１の少なくとも一方を、表示位置の変更前における指示画像３１の表示態様とは異なる表示態様で表示させてもよい。例えば、図１１に示すように、表示位置の変更が完了した指示画像３１の色を、変更前の指示画像３１の色と異ならせてもよい。すなわち、指示画像３１の変更は、指示画像３１の色の変更を含んでいてもよい。これにより、ユーザＡの操作によって指示画像３１の表示位置が変更されていることを視覚的に分かりやすく示すことができる。なお、変更する表示態様は、色に限られず、指示画像３１の外形線を強調したり、指示画像３１を明滅させたりしてもよい。

【0073】

また、指示画像３１の表示位置の変更をはじめとする各種変更は、外部機器２０を操作する遠隔指示者Ｂの許可を待って実行することとしてもよい。このために、ＣＰＵ１１は、指示画像３１の変更を行うためのユーザ操作がなされた場合に、指示画像３１の変更の許可を要求する要求信号を、通信部１６を介して外部機器２０に送信し、要求信号の送信後に、指示画像３１の変更を許可する許可信号を通信部１６が受信した場合に、指示画像３１を変更してもよい。これにより、指示画像３１の作成者である遠隔指示者Ｂの意図に反して指示画像３１が変更されないようにすることができる。

【0074】

また、ＣＰＵ１１は、指示画像３１を変更する場合に、当該指示画像３１を変更する旨の通知を、通信部１６を介して外部機器２０に送信してもよい。これにより、指示画像３１の作成者である遠隔指示者Ｂに対し、指示画像３１が変更されることを通知することができる。この場合において、図１１に示すように、外部機器２０の遠隔指示者Ｂに対して通知が行われることを、ウェアラブル端末装置１０のユーザＡに対して通知するための通知仮想画像３２が表示部１４に表示されてもよい。なお、通知仮想画像３２は、仮想画像の形式でない通常の画像であってもよい。ここで、通常の画像は、空間における表示位置が特定されずに、表示部１４の表示面上の所定の位置に表示される画像である。

【0075】

また、図１２に示すように、指示画像３１の表示位置を変更したユーザ（ここでは、ユーザＡ）を表す識別情報３１１ａを指示画像３１に付加してもよい。また、識別情報３１１ａの付加を行う場合には、識別情報３１１ａを含む識別標識としての付加仮想画像３１１を表示部１４に表示させてもよい。付加仮想画像３１１は、指示画像３１の一部を構成する。付加仮想画像３１１には、表示位置が変更されてからの経過時間などの情報がさらに表示されていてもよい。このような付加仮想画像３１１（識別情報３１１ａ）の付加も、指示画像３１の変更の一態様である。すなわち、指示画像３１の変更は、指示画像３１に対する、ユーザ操作を行ったユーザを表す識別情報３１１ａの付加を含んでいてもよく、ＣＰＵ１１は、識別情報３１１ａを含む指示画像３１を表示部１４に表示させてもよい。これによれば、ウェアラブル端末装置１０のユーザこれにより、指示画像３１の変更を行ったユーザを容易に判別することができる。なお、識別情報３１１ａおよび付加仮想画像３１１は、表示位置の変更以外の指示画像３１の任意の変更が行われた場合に指示画像３１に付加されてもよい。また、付加仮想画像３１１を追加表示せずに、指示画像３１の本体（例えば、矢印の内部）に識別情報３１１ａを表示してもよい。

【0076】

また、ＣＰＵ１１は、空間におけるウェアラブル端末装置１０の位置の変化に応じて、付加仮想画像３１１のうち識別情報３１１ａを含む部分がウェアラブル端末装置１０を向くように付加仮想画像３１１の方向を変更してもよい。これにより、ウェアラブル端末装置１０のユーザＡが空間内を移動した場合においても、付加仮想画像３１１を容易に視認できるようにすることができる。また、ＣＰＵ１１は、空間におけるウェアラブル端末装置１０の位置の変化に応じて付加仮想画像３１１あるいは識別情報３１１ａの表示の大きさを変更してもよい。特に、ＣＰＵ１１は、空間におけるウェアラブル端末装置１０の位置が付加仮想画像３１１からより離れた位置に移動した場合に、付加仮想画像３１１あるいは識別情報３１１ａの表示がより大きくなるように変更してもよい。これにより、ウェアラブル端末装置１０のユーザＡが空間内で付加仮想画像３１１からより離れた位置に移動した場合においても、付加仮想画像３１１を容易に視認できるようにすることができる。

【0077】

上記では、指示画像３１の変更の一例として、指示画像３１の表示位置を変更する場合について説明したが、指示画像３１の変更はこれに限られない。例えば、図１３に示すように、指示画像３１の変更は、指示画像３１に対する注釈としての注釈仮想画像３１２の付加を含んでいてもよい。この場合には、ＣＰＵ１１は、注釈仮想画像３１２を含む指示画像３１を表示部１４に表示させる。注釈仮想画像３１２は、指示画像３１の一部を構成する。これにより、指示画像３１に注釈を付加することができる。よって、ユーザＡが備忘のため、あるいは他のユーザへの申し送りなどのために、コメントを記録することができる。

【0078】

図１３に示す注釈仮想画像３１２には、「矢印は何を指している？」とのユーザＡのコメントと、注釈仮想画像３１２を付加した時刻が表示されている。また、注釈仮想画像３１２には、注釈仮想画像３１２を付加したユーザ（ここでは、ユーザＡ）を表す識別情報３１２ａが表示されている。注釈仮想画像３１２を付加するための操作は、特には限られないが、例えば、指示画像３１を手またはポインタ４１２により選択した状態で、図示略のメニュー画面から注釈の付加を選択し、図示略のソフトウェアキーボード仮想画像を用いてコメントを入力する方法であってもよい。注釈仮想画像３１２を付加するためのユーザ操作が行われた場合には、ＣＰＵ１１は、指示画像データ１３２１において注釈仮想画像３１２の情報を追加し、当該情報の追加後の指示画像データ１３２１に基づいて指示画像３１の表示を更新する（再表示させる）。注釈仮想画像３１２は、図１２に示した付加仮想画像３１１と同様に、空間におけるウェアラブル端末装置１０の位置の変化に応じて、注釈仮想画像３１２のうち情報が表示されている部分がウェアラブル端末装置１０を向くように方向が変更されてもよい。

【0079】

また、ＣＰＵ１１は、指示画像３１に対して注釈としての注釈仮想画像３１２を付加する場合に、通信部１６を介して、注釈の内容を含む注釈情報を外部機器２０に送信してもよい。これにより、指示画像３１の作成者である遠隔指示者Ｂに対し、指示画像３１に付加される注釈の内容を通知することができる。この場合において、図１３に示すように、外部機器２０の遠隔指示者Ｂに対して通知が行われることを、ウェアラブル端末装置１０のユーザＡに対して通知するための通知仮想画像３３が表示部１４に表示されてもよい。なお、通知仮想画像３３は、仮想画像の形式でない通常の画像であってもよい。また、指示画像３１に対する注釈の付加は、外部機器２０を操作する遠隔指示者Ｂの許可を待って行うこととしてもよい。

【0080】

指示画像３１に対して注釈を付加する態様は、図１３に示したものに限られない。例えば、図１４に示すように、指示画像３１の矢印本体の内部に注釈が付加されてもよい。図１４の指示画像３１には、ライクボタン７１、ディスライクボタン７２、およびコメント表示ボタン７３が表示されている。ライクボタン７１、ディスライクボタン７２、コメント表示ボタン７３、及びこれらの各ボタンの上部に表示される数値は、注釈の一態様である。

【0081】

ライクボタン７１は、ウェアラブル端末装置１０のユーザがその指示画像３１に対して肯定的な評価を行う場合に選択される。ディスライクボタン７２は、ウェアラブル端末装置１０のユーザがその指示画像３１に対して否定的な評価を行う場合に選択される。ライクボタン７１およびディスライクボタン７２は、指示画像３１を視認した異なる複数のユーザにより、異なるタイミングで複数回操作され得る。ライクボタン７１を選択する操作が行われると、ライクボタン７１の上部の数値がインクリメントされる。当該数値により、指示画像３１に対して肯定的な評価を行ったユーザの数を判別することができる。ディスライクボタン７２を選択する操作が行われると、ディスライクボタン７２の上部の数値がインクリメントされる。当該数値により、指示画像３１に対して否定的な評価を行ったユーザの数を判別することができる。

【0082】

コメント表示ボタン７３の上部には、その指示画像３１に対して記録されたコメントの数が示されている。コメント表示ボタン７３を選択する操作が行われると、図１５に示すように、記録されているコメントの内容を含む注釈仮想画像３１３が表示されるとともに、指示画像３１には、コメントを記録したユーザの名前（ここでは、ユーザＡ）が表示される。注釈仮想画像３１３は、注釈の一態様である。ここでは、注釈仮想画像３１３において、「矢印の位置がおかしい。位置の修正を記録したので、反映をお願いします。」とのコメントが表示されている。このように、コメントの内容が、指示画像３１の変更の許可を求めるものであり、かつ、当該注釈仮想画像３１３を視認しているユーザが、変更の許可の権限を有している場合には、指示画像３１の変更を反映させるための変更反映ボタン３１４が併せて指示画像３１に表示される。変更反映ボタン３１４を選択する操作が行われると、指示画像３１の変更が反映される（図１５の例では、指示画像３１の表示位置の変更が実行される）。

【0083】

ウェアラブル端末装置１０のユーザＡが指示画像３１を視認しているときに、その指示画像３１がどのような状況で表示されたのかを参照したい場合がある。そこで、本開示のウェアラブル端末装置１０では、ＣＰＵ１１は、表示部１４に指示画像３１を表示させたときの当該指示画像３１と、カメラ１５４による撮影画像とを含むキャプチャ画像を記憶部１３に記憶させる。また、ＣＰＵ１１は、ユーザの指示に応じて、またはキャプチャ画像の所定の表示条件が満たされている場合に、図１６に示すように、当該キャプチャ画像３４として表示部１４に表示させる。キャプチャ画像３４は、指示画像３１が表示されたときのユーザＡの視認領域４１をそのまま画像として記録したものに相当する。よって、表示された当該キャプチャ画像３４を参照することで、ユーザＡは、指示画像３１が、どのような状況で、またどのような目的で表示されたものかを容易に判別することができる。例えば、図１６に示すように、矢印の指示画像３１が指している対象が不明確であるような場合に、キャプチャ画像３４を参照することで、矢印が指す対象を特定しやすくすることができる。なお、キャプチャ画像３４は、空間における表示位置が定められた仮想画像であってもよく、仮想画像の形式でない通常の画像であってもよい。

【0084】

上記の所定の表示条件は、特には限られないが、例えば指示画像３１の表示位置がユーザＡの視認領域４１に含まれていること、とすることができる。この場合、ＣＰＵ１１は、指示画像３１の表示位置がユーザＡの視認領域４１に含まれるか否かを判別し、指示画像３１の表示位置がユーザＡの視認領域４１に含まれると判別した場合には、表示部１４にキャプチャ画像３４を表示させる。これにより、ユーザＡが特段の操作を行わなくても、適切なタイミングでキャプチャ画像３４を表示することができる。

【0085】

また、キャプチャ画像は、外部機器２０において記録されてウェアラブル端末装置１０に送信されてもよい。すなわち、ＣＰＵ１１は、外部機器２０おいて指示者用画面２４１として表示される撮影画像に、生成指示に応じて指示画像３１が重畳表示されたときのキャプチャ画像３４を、通信部１６を介して受信し、当該キャプチャ画像３４を表示部１４に表示させてもよい。これにより、外部機器２０の遠隔指示者Ｂによる指示画像３１の生成意図を把握しやすいキャプチャ画像を参照することができる。

【0086】

次に、上述のように指示画像３１の表示および変更を行うための遠隔指示処理について、図１７および図１８のフローチャートを参照して説明する。このフローチャートでは、ウェアラブル端末装置１０において実行される遠隔指示処理のＣＰＵ１１による制御手順と、外部機器２０において実行される遠隔指示処理のＣＰＵ２１による制御手順とが並列に記載されている。

【0087】

図１７に示すように、ウェアラブル端末装置１０のＣＰＵ１１は、ウェアラブル端末装置１０の電源がオン状態に切り替えられた場合に（ステップＳ１０１）、前回の電源オフ時に指示画像３１の表示が行われていたか否かを判別する（ステップＳ１０２）。ここでは、ＣＰＵ１１は、記憶部１３の仮想画像データ１３２に指示画像データ１３２１が含まれている場合に、指示画像３１の表示が行われていたと判別する。前回の電源オフ時に指示画像３１の表示が行われていたと判別された場合には（ステップＳ１０２で“ＹＥＳ”）、ＣＰＵ１１は、指示画像データ１３２１に基づいて指示画像３１を再表示させる（ステップＳ１０３）。このように、ＣＰＵ１１は、ウェアラブル端末装置１０の電源がオフ状態となった後に電源がオン状態となった場合に、電源がオフ状態となる前に表示部１４に表示させた指示画像３１に係る指示画像データ１３２１を取得し、当該指示画像データ１３２１に基づいて指示画像３１を再表示させる。これにより、電源をオフ状態とした後にも、必要な指示画像３１を参照することができる。

【0088】

ステップＳ１０３が終了した場合、または、ステップＳ１０２において、前回の電源オフ時に指示画像３１の表示が行われていなかったと判別された場合には（ステップＳ１０２で“ＮＯ”）、ＣＰＵ１１は、ユーザＡの指示に応じて、外部機器２０との間で音声データ通信を開始し、これにより音声通話を開始する（ステップＳ１０４）。また、ＣＰＵ１１は、カメラ１５４による撮影画像の外部機器２０への送信を開始する（ステップＳ１０４）。また、外部機器２０のＣＰＵ２１は、遠隔指示者Ｂの指示に応じて、ウェアラブル端末装置１０との間で音声データ通信を開始し、これにより音声通話を開始する（ステップＳ１０５）。また、ＣＰＵ２１は、ウェアラブル端末装置１０のカメラ１５４による撮影画像の受信を開始する（ステップＳ１０５）。これにより、ライブ通信が開始される。以降、ＣＰＵ２１は、受信中の撮影画像に基づいて指示者用画面２４１を表示させ、指示者用画面２４１において撮影画像をリアルタイムで動画表示させる。

【0089】

外部機器２０のＣＰＵ２１は、指示画像３１を生成して表示させるための遠隔指示者Ｂの指示操作を受け付ける（ステップＳ１０６）。指示操作の受け付け中は、指示者用画面２４１におけるカメラ画像を一時停止させて静止画としてもよい。

【0090】

ＣＰＵ２１は、指示操作の内容に応じて指示情報１３３を生成し、指示画像３１を指示者用画面２４１に表示させる（ステップＳ１０７）。また、ＣＰＵ２１は、生成した指示情報１３３をウェアラブル端末装置１０に送信する（ステップＳ１０８）。

【0091】

ウェアラブル端末装置１０のＣＰＵ１１は、指示情報１３３を受信すると、指示情報１３３に基づいて空間における指示画像３１の表示位置を特定し、指示画像データ１３２１を生成する（ステップＳ１０９）。また、ＣＰＵ１１は、指示画像データ１３２１に基づいて指示画像３１を表示部１４に表示させる（ステップＳ１１０）。また、ＣＰＵ１１は、指示画像３１を表示させたときのキャプチャ画像を記録する（すなわち、記憶部１３に記憶させる）（ステップＳ１１０）。

【0092】

ＣＰＵ１１は、指示画像３１を変更するためのユーザ操作を受け付ける（ステップＳ１１１）。ＣＰＵ１１は、指示画像３１に注釈を付加するユーザ操作が行われたか否かを判別する（ステップＳ１１２）。当該ユーザ操作が行われたと判別された場合には（ステップＳ１１２で“ＹＥＳ”）、注釈の内容を含む注釈情報を外部機器２０に送信し（ステップＳ１１３）、指示画像３１に対する注釈の付加を反映させる（ステップＳ１１４）。すなわち、ＣＰＵ１１は、指示画像データ１３２１に注釈の情報を追加し、当該情報の追加後の指示画像データ１３２１に基づいて指示画像３１の表示を更新する。

【0093】

ステップＳ１１４の処理が終了した場合、またはステップＳ１１２において指示画像３１に注釈を付加するユーザ操作が行われていないと判別された場合には（ステップＳ１１２で“ＮＯ”）、ＣＰＵ１１は、指示画像３１の表示位置を変更するユーザ操作が行われたか否かを判別する（ステップＳ１１５）。当該ユーザ操作が行われたと判別された場合には（ステップＳ１１５で“ＹＥＳ”）、ＣＰＵ１１は、指示画像３１の表示位置の変更に許可が必要な設定となっているか否かを判別する（ステップＳ１１６）。当該許可が必要な設定となっていると判別された場合には（ステップＳ１１６で“ＹＥＳ”）、ＣＰＵ１１は、外部機器２０に対し、指示画像３１の表示位置を変更する旨の通知、および表示位置の変更の許可を求める許可要求信号を送信する（ステップＳ１１７）。

【0094】

外部機器２０のＣＰＵ１１は、許可要求信号を受信すると、遠隔指示者Ｂによる許可操作に応じて、許可信号をウェアラブル端末装置１０に送信する（ステップＳ１１８）。

【0095】

ウェアラブル端末装置１０のＣＰＵ１１は、許可信号を受信した場合、またはステップＳ１１６において表示位置の変更に許可が必要な設定となっていないと判別された場合には（ステップＳ１１６で“ＮＯ”）、指示画像３１の表示位置および表示態様（例えば、色）を変更し、変更したユーザＡを表す識別情報３１１ａを含む付加仮想画像３１１を指示画像３１に付加する（ステップＳ１１９）。すなわち、ＣＰＵ１１は、指示画像データ１３２１において指示画像３１の表示位置および表示態様を変更し、付加仮想画像３１１の情報を追加した上で、変更後の指示画像データ１３２１に基づいて指示画像３１を表示させる。なお、ステップＳ１１６で“ＮＯ”と分岐した場合に、外部機器２０に対して、指示画像３１の表示位置を変更する旨の通知を送信してもよい。

【0096】

ステップＳ１１９が終了した場合、またはステップＳ１１５において指示画像３１の表示位置を変更するユーザ操作が行われていないと判別された場合には（ステップＳ１１５で“ＮＯ”）、ＣＰＵ１１は、指示画像３１に係る他の変更を行うためのユーザ操作が行われたか否かを判別する（ステップＳ１２０）。ステップＳ１２０で受け付けられるユーザ操作は、特には限られないが、例えば指示画像３１の表示態様（色など）、向き、大きさ、および種別などを変更するためのユーザ操作であってもよい。当該ユーザ操作が行われたと判別された場合には（ステップＳ１２０で“ＹＥＳ”）、ＣＰＵ１１は、当該ユーザ操作に応じて指示画像３１の表示を変更する（ステップＳ１２１）。

【0097】

ステップＳ１２１が終了した場合、またはステップＳ１２０において指示画像３１に係る他の変更を行うためのユーザ操作が行われていないと判別された場合には（ステップＳ１２０で“ＮＯ”）、ＣＰＵ１１は、キャプチャ画像の表示条件を満たすか否かを判別する（ステップＳ１２３）。ここでは、ＣＰＵ１１は、ユーザＡの視認領域４１に指示画像３１の表示位置が含まれている場合に、キャプチャ画像の表示条件を満たすと判別する。キャプチャ画像の表示条件を満たすと判別された場合には（ステップＳ１２２で“ＹＥＳ”）、ＣＰＵ１１は、キャプチャ画像３４を表示部１４に表示させる（ステップＳ１２３）。なお、キャプチャ画像３４を表示させるためのユーザ操作に応じてステップＳ１２３を実行してもよい。

【0098】

ステップＳ１２３が終了した場合、またはステップＳ１２２においてキャプチャ画像の表示条件を満たさないと判別された場合には（ステップＳ１２２で“ＮＯ”）、ＣＰＵ１１は、ユーザＡによりライブ通信を終了させる指示がなされたか否かを判別する（ステップＳ１２４）。当該指示がなされていないと判別された場合には（ステップＳ１２４で“ＮＯ”）、ＣＰＵ１１は、処理をステップＳ１０９に戻す。当該指示がなされたと判別された場合には（ステップＳ１２４で“ＹＥＳ”）、ＣＰＵ１１は、音声通話およびカメラ１５４による撮影画像の送信を終了させ（ステップＳ１２５）、遠隔指示処理を終了させる。

【0099】

外部機器２０のＣＰＵ２１は、ステップＳ１１８が終了すると、遠隔指示者Ｂによりライブ通信を終了させる指示がなされたか否かを判別する（ステップＳ１２６）。当該指示がなされていないと判別された場合には（ステップＳ１２６で“ＮＯ”）、ＣＰＵ２１は、処理をステップＳ１０６に戻す。当該指示がなされたと判別された場合には（ステップＳ１２６で“ＹＥＳ”）、ＣＰＵ２１は、音声通話およびカメラ１５４による撮影画像の受信を終了させ（ステップＳ１２７）、遠隔指示処理を終了させる。

【0100】

〔第２の実施形態〕
次に、第２の実施形態に係る表示システム１の構成について説明する。第２の実施形態は、第１の実施形態においてウェアラブル端末装置１０のＣＰＵ１１が実行していた処理の一部を外部の情報処理装置８０が実行する点で第１の実施形態と異なる。以下では、第１の実施形態との相違点について説明し、共通する点については説明を省略する。

【0101】

図１９に示すように、表示システム１は、ウェアラブル端末装置１０と、複数の外部機器２０と、ウェアラブル端末装置１０およびネットワークＮに通信接続された情報処理装置８０（サーバ）とを備える。ウェアラブル端末装置１０と情報処理装置８０との間の通信経路の少なくとも一部は、無線通信によるものであってもよい。ウェアラブル端末装置１０のハードウェア構成は、第１の実施形態と同様とすることができるが、情報処理装置８０が実行する処理と同一の処理を行うためのプロセッサは省略してもよい。

【0102】

図２０に示すように、情報処理装置８０は、ＣＰＵ８１と、ＲＡＭ８２と、記憶部８３と、操作表示部８４と、通信部８５などを備え、これらの各部はバス８６により接続されている。

【0103】

ＣＰＵ８１は、各種演算処理を行い、情報処理装置８０の各部の動作を統括制御するプロセッサである。ＣＰＵ８１は、記憶部８３に記憶されたプログラム８３１を読み出して実行することで、各種制御動作を行う。

【0104】

ＲＡＭ８２は、ＣＰＵ８１に作業用のメモリ空間を提供し、一時データを記憶する。

【0105】

記憶部８３は、コンピュータとしてのＣＰＵ８１により読み取り可能な非一時的な記録媒体である。記憶部８３は、ＣＰＵ８１により実行されるプログラム８３１、および各種設定データなどを記憶する。プログラム８３１は、コンピュータ読み取り可能なプログラムコードの形態で記憶部８３に格納されている。記憶部８３としては、例えばフラッシュメモリを備えたＳＳＤ、またはＨＤＤなどの不揮発性の記憶装置が用いられる。

【0106】

操作表示部８４は、液晶ディスプレイ等の表示装置と、マウスおよびキーボードといった入力装置とを備える。操作表示部８４は、表示装置において表示システム１の動作ステータスや処理結果等の各種表示を行う。ここで、表示システム１の動作ステータスには、ウェアラブル端末装置１０のカメラ１５４によるリアルタイムの撮影画像が含まれてもよい。また、操作表示部８４は、入力装置に対するユーザの入力操作を操作信号に変換してＣＰＵ８１に出力する。

【0107】

通信部８５は、ウェアラブル端末装置１０と通信を行ってデータを送受信する。例えば、通信部８５は、ウェアラブル端末装置１０のセンサー部１５による検出結果の一部または全部を含むデータ、およびウェアラブル端末装置１０が検出したユーザの操作（ジェスチャー）に係る情報などを受信する。また、通信部８５は、ウェアラブル端末装置１０以外の他の装置、例えば外部機器２０との通信が可能であってもよい。

【0108】

このような構成の表示システム１において、情報処理装置８０のＣＰＵ８１は、第１の実施形態においてウェアラブル端末装置１０のＣＰＵ１１が実行していた処理の少なくとも一部を実行する。例えば、ＣＰＵ８１は、深度センサー１５３による検出結果に基づいて空間４０の３次元マッピングを行ってもよい。また、ＣＰＵ８１は、センサー部１５の各部による検出結果に基づいて空間４０内におけるユーザの視認領域４１を検出してもよい。また、ＣＰＵ８１は、ウェアラブル端末装置１０のユーザの操作に応じて、または外部機器２０から受信した指示情報に基づいて、仮想画像３０に係る仮想画像データ１３２、および指示画像３１に係る指示画像データ１３２１を生成してもよい。また、ＣＰＵ８１は、深度センサー１５３およびカメラ１５４による撮像画像に基づいてユーザの手（および／または指）の位置および向きを検出してもよい。

【0109】

ＣＰＵ２１による上記の処理結果は、通信部２５を介してウェアラブル端末装置１０に送信される。ウェアラブル端末装置１０のＣＰＵ１１は、受信した処理結果に基づいてウェアラブル端末装置１０の各部（例えば表示部１４）を動作させる。また、ＣＰＵ８１は、ウェアラブル端末装置１０に制御信号を送信して、ウェアラブル端末装置１０の表示部１４の表示制御、および／またはスピーカー１８の出力制御を行ってもよい。

【0110】

このように、情報処理装置８０において処理の少なくとも一部を実行することで、ウェアラブル端末装置１０の装置構成を簡素化することができ、また製造コストを低減することができる。また、より高性能な情報処理装置８０を用いることで、ＭＲに係る各種の処理を高速化および高精度化することができる。よって、空間４０の３Ｄマッピングの精度を高めたり、表示部１４による表示品質を高めたり、ユーザの動作に対する表示部１４の反応速度を高めたりすることができる。

【0111】

〔その他〕
なお、上記実施形態は例示であり、様々な変更が可能である。

【0112】

例えば、上記実施形態では、ユーザに現実空間を視認させるために、光透過性を有するバイザー１４１を用いたが、これに限られない。例えば、遮光性を有するバイザー１４１を用い、カメラ１５４により撮影された空間４０の画像をユーザに視認させてもよい。すなわち、ＣＰＵ１１は、カメラ１５４により撮影された空間４０の画像、および当該空間４０の画像に重ねられた仮想画像３０を表示部１４に表示させてもよい。このような構成によっても、現実空間に仮想画像３０を融合させるＭＲを実現できる。

【0113】

また、カメラ１５４による現実空間の撮影画像に代えて、予め生成された仮想空間の画像を用いることで、仮想空間にいるように体感させるＶＲを実現できる。このＶＲにおいても、ユーザの視認領域４１が特定されて、仮想空間のうち視認領域４１の内部にある部分、および視認領域４１の内部に表示位置が定められている仮想画像３０が表示される。よって、上記各実施形態と同様に、指示者ごとに異なる表示態様で指示画像３１を表示させる表示動作を適用できる。

【0114】

また、上記実施形態では、ウェアラブル端末装置１０および外部機器２０がライブ通信を行っている期間に、ウェアラブル端末装置１０のユーザＡによるユーザ操作に応じて指示画像３１の表示を変更する例を挙げて説明したが、これに限られない。例えば、ウェアラブル端末装置１０のユーザＡと、外部機器２０の遠隔指示者Ｂとの意思疎通を行いやすいライブ通信期間中には、ユーザＡによる指示画像３１の変更を受け付けず、ライブ通信が行われていない期間に、ユーザＡによる指示画像３１の変更を受け付けるようにしてもよい。すなわち、ＣＰＵ１１は、ライブ通信が行われているライブ通信期間においては、指示画像３１の変更を行わず、ライブ通信期間を除いた期間においては、指示画像３１の変更を行うこととしてもよい。これにより、ウェアラブル端末装置１０のユーザＡは、ライブ通信を介して遠隔指示者Ｂとの意思疎通を行うことができない期間において、注釈の付加によりメモを記録したり、指示画像３１の表示位置を適切な位置に変更したりすることができる。なお、ライブ通信期間を除いた期間においてウェアラブル端末装置１０における指示画像３１の変更を可能とし、ライブ通信期間においては、外部機器２０を操作する遠隔指示者Ｂの指示に応じて、ウェアラブル端末装置１０における指示画像３１の変更を可能とするか否かを切り替えてもよい。

【0115】

また、仮想画像データ１３２および指示画像データ１３２１は、ウェアラブル端末装置１０の外部に設けられた外部記憶装置（例えば、第２の実施形態における情報処理装置８０）に記憶されていてもよい。この場合には、ウェアラブル端末装置１０のＣＰＵ１１は、外部記憶装置から仮想画像データ１３２を取得して仮想画像３０を表示し、また、外部記憶装置から指示画像データ１３２１を取得して指示画像３１を表示する。

【0116】

また、上記実施形態では、ウェアラブル端末装置１０において指示画像３１を変更するためのユーザ操作がなされた場合に、当該ユーザ操作に応じて指示画像データ１３２１を変更し、変更後の指示画像データ１３２１に基づいて指示画像３１の表示を更新したが、これに限られない。例えば、上記ユーザ操作に応じて、外部機器２０から受信した指示情報１３３を変更してもよい。その上で、変更後の指示情報１３３に基づいて、再度指示画像データ１３２１を生成し、当該指示画像データ１３２１に基づいて指示画像３１を表示させてもよい。

【0117】

また、外部機器２０から受信した指示情報１３３に、上記実施形態の指示画像データ１３２１に相当する情報が含まれている場合には、指示画像データ１３２１の生成を省略し、指示情報１３３に基づいて指示画像３１を表示させてもよい。この場合には、ウェアラブル端末装置１０において指示画像３１を変更するためのユーザ操作が行われると、当該ユーザ操作の内容に応じて指示情報１３３の内容が変更され、変更後の指示情報１３３に基づいて指示画像３１の表示が更新される。

【0118】

また、指示画像３１の変更が、一または二以上のユーザによって複数回行われた場合に、指示画像３１の変更が行われるごとに、別個の指示画像データ１３２１を生成して記憶部１３に記憶させてもよい。これによれば、各変更が行われた直後のバージョンを含む複数のバージョンの指示画像３１を、変更の履歴として残すことができる。よって、所望のバージョンに対応する指示画像データ１３２１に基づいて指示画像３１を表示させることで、所望のバージョンの指示画像３１を表示させることができる。また、最初の変更が行われる前の指示画像３１に対応する指示画像データ１３２１を残しておくことで、変更前の状態の指示画像３１を表示させることもできる。

【0119】

ウェアラブル端末装置１０は、図１に例示した環状の本体部１０ａを有するものに限られず、装着時にユーザが視認可能な表示部を有していれば、どのような構造であってもよい。例えば、ヘルメットのように頭部全体を覆う構成であってもよい。また、メガネのように、耳に掛けるフレームを有し、フレーム内に各種機器が内蔵されていてもよい。

【0120】

仮想画像３０は必ずしも空間４０において静止していなくてもよく、所定の軌跡で空間４０の内部を移動していてもよい。

【0121】

また、ユーザのジェスチャーを検出して入力操作として受け付ける例を用いて説明したが、これに限られない。例えば、ユーザが手に持ったり、体に装着したりして使用するコントローラにより入力操作が受け付けられてもよい。

【0122】

音声データ通信による音声通話の実行中に、外部機器２０からウェアラブル端末装置１０に対して指示画像３１の表示指示が行われる例を用いて説明したが、これに限定されず、音声データ通信を伴わずに指示画像３１の表示指示が行われてもよい。

【0123】

ウェアラブル端末装置１０および外部機器２０の間で音声通話を行う例を用いて説明したが、これに限られず、ビデオ通話が可能であってもよい。この場合には、遠隔操作者を撮影するウェブカメラを外部機器２０に設け、当該ウェブカメラで撮影している画像データをウェアラブル端末装置１０に送信して表示部１４にて表示させればよい。

【0124】

指示画像３１は、ウェアラブル端末装置１０のユーザに対する作業指示のために表示されるものに限られない。指示画像３１は、ウェアラブル端末装置１０のユーザに視認させることを目的として、指示者（ユーザ自身を含む）の指示に基づいてウェアラブル端末装置１０において表示される任意の仮想画像３０を含む。

【0125】

その他、上記実施の形態で示した構成および制御の具体的な細部は、本開示の趣旨を逸脱しない範囲において適宜変更可能である。また、本開示の趣旨を逸脱しない範囲において、上記実施の形態で示した構成および制御を適宜組み合わせ可能である。

【産業上の利用可能性】

【0126】

本開示は、ウェアラブル端末装置、プログラムおよび表示方法に利用することができる。

【符号の説明】

【0127】

１ 表示システム
１０ ウェアラブル端末装置
１０ａ 本体部
１１ ＣＰＵ（プロセッサ）
１２ ＲＡＭ
１３ 記憶部
１３１ プログラム
１３２ 仮想画像データ
１３２１ 指示画像データ（指示画像情報）
１３３ 指示情報
１４ 表示部
１４１ バイザー（表示部材）
１４２ レーザースキャナー
１５ センサー部
１５１ 加速度センサー
１５２ 角速度センサー
１５３ 深度センサー
１５４ カメラ
１５５ アイトラッカー
１６ 通信部
１７ マイク
１８ スピーカー
１９ バス
２０ 外部機器
２１ ＣＰＵ
２３ 記憶部
２３１ プログラム
２４ 操作表示部
２４１ 指示者用画面
３０ 仮想画像
３１ 指示画像
３１１ 付加仮想画像
３１１ａ、３１２ａ 識別情報
３１２ 注釈仮想画像
３１３ 注釈仮想画像
３１４ 変更反映ボタン
３２、３３ 通知仮想画像
３４ キャプチャ画像
４０ 空間
４１ 視認領域
４１１ 仮想線
４１２ ポインタ
５１ モニター
５２ ボトル
６１ 設定パネル
６２ 矢印アイコン
６３ ペン入力アイコン
６４ 画像アイコン
７１ ライクボタン
７２ ディスライクボタン
７３ コメント表示ボタン
８０ 情報処理装置
８１ ＣＰＵ
８３ 記憶部
８３１ プログラム
Ａ ユーザ
Ｂ 遠隔指示者
Ｎ ネットワーク

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】

【図15】

【図16】

【図17】

【図18】

【図19】

【図20】