特開 2024-112713 仮想入力装置、仮想入力システム、仮想入力方法、およびプログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2024112713

(43)【公開日】2024-08-21

(54)【発明の名称】仮想入力装置、仮想入力システム、仮想入力方法、およびプログラム

(51)【国際特許分類】

   G06F 3/01 20060101AFI20240814BHJP

【ＦＩ】

G06F3/01 510

【審査請求】有

【請求項の数】10

【出願形態】ＯＬ

(21)【出願番号】P 2023017951

(22)【出願日】2023-02-08

(71)【出願人】

【識別番号】000227205

【氏名又は名称】ＮＥＣプラットフォームズ株式会社

(74)【代理人】

【識別番号】100109313

【弁理士】

【氏名又は名称】机 昌彦

(74)【代理人】

【識別番号】100149618

【弁理士】

【氏名又は名称】北嶋 啓至

(72)【発明者】

【氏名】野澤 善明

(72)【発明者】

【氏名】嶋田 大祐

(72)【発明者】

【氏名】柳生 拓哉

(72)【発明者】

【氏名】山中 信一

【テーマコード（参考）】

5E555

【Ｆターム（参考）】

5E555AA27

5E555AA48

5E555BA08

5E555BA18

5E555BB08

5E555BB18

5E555BE16

5E555BE17

5E555CA42

5E555DB37

5E555FA00

(57)【要約】

【課題】仮想空間に表示された仮想端末に対する継続的な操作を実現できる仮想入力装置等を提供する。
【解決手段】仮想現実表示装置のカメラによって撮影された画像データを取得し、仮想現実表示装置の表示部に表示される表示情報を仮想現実表示装置に出力する入出力部と、画像データを解析して仮想端末を表示させる位置を特定する映像解析部と、仮想現実表示装置を装着したユーザのユーザ情報に応じた仮想端末を含む表示情報を生成する表示情報生成部と、を備える仮想入力装置とする。
【選択図】 図１

【特許請求の範囲】

【請求項1】

仮想現実表示装置のカメラによって撮影された画像データを取得し、前記仮想現実表示装置の表示部に表示される表示情報を前記仮想現実表示装置に出力する入出力手段と、
前記画像データを解析して仮想端末を表示させる位置を特定する映像解析手段と、
前記仮想現実表示装置を装着したユーザのユーザ情報に応じた前記仮想端末を含む前記表示情報を生成する表示情報生成手段と、を備える仮想入力装置。

【請求項2】

前記表示情報生成手段は、
前記ユーザ情報に応じて、前記仮想端末に含まれる複数のキーのうち、前記ユーザが操作すべきキーが強調表示させた前記表示情報を生成する請求項１に記載の仮想入力装置。

【請求項3】

前記映像解析手段は、
実世界に配置された操作端末を前記画像データから検出し、
前記仮想現実表示装置の前記表示部における前記操作端末の位置を特定し、
前記表示情報生成手段は、
特定された前記操作端末の位置に前記仮想端末が表示される前記表示情報を生成する請求項２に記載の仮想入力装置。

【請求項4】

前記画像データを解析して前記ユーザの操作を認識する操作認識手段を備え、
前記表示情報生成手段は、
認識された前記ユーザの操作に応じた前記表示情報を生成する請求項３に記載の仮想入力装置。

【請求項5】

前記ユーザ情報に応じた関連情報を取得する関連情報取得手段を備え、
前記表示情報生成手段は、
前記関連情報に応じたキーを強調表示させた前記表示情報を生成する請求項３に記載の仮想入力装置。

【請求項6】

前記仮想現実表示装置を使用する前記ユーザの認証情報を取得し、取得した前記認証情報に基づいて前記ユーザを認証するユーザ情報取得手段を備え、
前記表示情報生成手段は、
認証された前記ユーザが使用する前記仮想現実表示装置に対して前記表示情報を生成する請求項１に記載の仮想入力装置。

【請求項7】

請求項１乃至６のいずれか一項に記載の仮想入力装置と、
カメラと表示部を有し、前記カメラによって撮影された画像データを前記仮想入力装置に出力し、前記仮想入力装置から出力された表示情報を取得し、取得した前記表示情報に応じた画像を前記表示部に表示させる仮想現実表示装置と、を備える仮想入力システム。

【請求項8】

実世界に配置され、前記仮想入力装置を装着したユーザによって操作される操作端末を備え、
前記仮想入力装置は、
前記操作端末の位置に仮想端末が表示される前記表示情報を生成し、
生成された前記表示情報を前記仮想現実表示装置に出力し、
前記仮想現実表示装置は、
前記表示情報に応じた画像を前記表示部に表示させる請求項７に記載の仮想入力システム。

【請求項9】

コンピュータが、
仮想現実表示装置のカメラによって撮影された画像データを取得し、
前記画像データを解析して仮想端末を表示させる位置を特定し、
前記仮想現実表示装置を装着したユーザのユーザ情報に応じた前記仮想端末を含む表示情報を生成し、
生成された前記表示情報を、前記仮想現実表示装置の表示部に表示される前記仮想現実表示装置に出力する仮想入力方法。

【請求項10】

仮想現実表示装置のカメラによって撮影された画像データを取得する処理と、
前記画像データを解析して仮想端末を表示させる位置を特定する処理と、
前記仮想現実表示装置を装着したユーザのユーザ情報に応じた前記仮想端末を含む表示情報を生成する処理と、
生成された前記表示情報を、前記仮想現実表示装置の表示部に表示される前記仮想現実表示装置に出力する処理と、をコンピュータに実行させるプログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本開示は、仮想空間における入力操作を受け付ける仮想入力装置等に関する。

【背景技術】

【0002】

ヘッドマウントディスプレイ（ＨＭＤ：Head Mounted Display）のように、人体に装着可能なディスプレイを有する仮想現実表示装置が開発されている。そのような装置を装着すれば、ディスプレイに表示された視覚情報を視認できる。

【0003】

特許文献１には、ＨＭＤに仮想現実環境を表示する方法について開示されている。特許文献１の方法においては、実世界オブジェクトとのユーザ・インタラクションのための仮想現実環境において、オポチュニティが存在するか否かを決定する。特許文献１の方法においては、決定されたオポチュニティに応答して、ヘッドマウントディスプレイのユーザの実世界視点内に位置設定された実世界オブジェクトを検出する。特許文献１の方法においては、検出された実世界物理オブジェクトの画像を、ヘッドマウントディスプレイに表示させる。

【先行技術文献】

【特許文献】

【0004】

【特許文献1】特許第６８２６０２９号公報

【発明の概要】

【発明が解決しようとする課題】

【0005】

特許文献１の手法を用いれば、ディスプレイに表示された仮想空間における操作を受け付けるユーザインターフェースを実現できる。例えば、ＨＭＤを被ったユーザが仮想空間に構築された視覚情報に対して操作を行うことによって、所定の入力処理が実行されるユーザインターフェースを実現できる。そのような手法では、ＨＭＤのディスプレイに表示された視覚情報を視認し続けるために、注意力や集中力を払い続ける必要がある。そのため、仮想現実表示装置を用いた操作の継続に起因する疲労によって、仮想空間に構築されたタッチパネルやスイッチ等が見落とされて、誤った操作が行われる可能性がある。

【0006】

本開示の目的は、仮想空間に表示された仮想端末に対する継続的な操作を実現できる仮想入力装置等を提供することにある。

【課題を解決するための手段】

【0007】

本開示の一態様の仮想入力装置は、仮想現実表示装置のカメラによって撮影された画像データを取得し、仮想現実表示装置の表示部に表示される表示情報を仮想現実表示装置に出力する入出力部と、画像データを解析して仮想端末を表示させる位置を特定する映像解析部と、仮想現実表示装置を使用するユーザのユーザ情報に応じた仮想端末を含む表示情報を生成する表示情報生成部と、を備える。

【0008】

本開示の一態様の仮想入力方法においては、仮想現実表示装置のカメラによって撮影された画像データを取得し、画像データを解析して仮想端末を表示させる位置を特定し、仮想現実表示装置を使用するユーザのユーザ情報に応じた仮想端末を含む表示情報を生成し、生成された表示情報を、仮想現実表示装置の表示部に表示される仮想現実表示装置に出力する。

【0009】

本開示の一態様のプログラムは、仮想現実表示装置のカメラによって撮影された画像データを取得する処理と、画像データを解析して仮想端末を表示させる位置を特定する処理と、仮想現実表示装置を使用するユーザのユーザ情報に応じた仮想端末を含む表示情報を生成する処理と、生成された表示情報を、仮想現実表示装置の表示部に表示される仮想現実表示装置に出力する処理と、をコンピュータに実行させる。

【発明の効果】

【0010】

本開示によれば、仮想空間に表示された仮想端末に対する継続的な操作を実現できる仮想入力装置等を提供することが可能になる。

【図面の簡単な説明】

【0011】

【図1】第１の実施形態に係る仮想入力システムの構成の一例を示す概念図である。

【図2】第１の実施形態に係る仮想入力システムが備える仮想現実表示装置の表示部に表示される画像の一例を示す概念図である。

【図3】第１の実施形態に係る仮想入力システムが備える仮想現実表示装置の表示部に表示された仮想端末の一例を示す概念図である。

【図4】第１の実施形態に係る仮想入力システムが備える仮想現実表示装置の表示部に表示された仮想端末に対する操作の一例を示す概念図である。

【図5】第１の実施形態に係る仮想入力システムが備える仮想現実表示装置の表示部に表示された仮想端末が重畳された実世界の操作端末に対する操作の一例を示す概念図である。

【図6】第１の実施形態に係る仮想入力システムが備える仮想現実表示装置の構成の一例を示すブロック図である。

【図7】第１の実施形態に係る仮想入力システムが備える仮想入力装置の構成の一例を示すブロック図である。

【図8】第１の実施形態に係る仮想入力システムが備える仮想入力装置の動作の一例について説明するためのフローチャートである。

【図9】第１の実施形態に係る仮想入力システムが備える仮想入力装置の動作の一例について説明するためのフローチャートである。

【図10】第２の実施形態に係る仮想入力装置の構成の一例を示すブロック図である。

【図11】第２の実施形態に係る仮想入力装置によって生成された表示情報の表示例を示す概念図である。

【図12】第２の実施形態に係る仮想入力装置が用いる関連リストの一例を示す表である。

【図13】第２の実施形態に係る仮想入力装置によって生成された表示情報の表示例を示す概念図である。

【図14】第２の実施形態に係る仮想入力装置が用いる関連リストの一例を示す表である。

【図15】第２の実施形態に係る仮想入力装置によって生成された表示情報の表示例を示す概念図である。

【図16】第２の実施形態に係る仮想入力装置が用いる関連リストの一例を示す表である。

【図17】第２の実施形態に係る仮想入力装置によって生成された表示情報の表示例を示す概念図である。

【図18】第２の実施形態に係る仮想入力装置によって生成された表示情報の表示例を示す概念図である。

【図19】第２の実施形態に係る仮想入力装置の動作の一例について説明するためのフローチャートである。

【図20】第３の実施形態に係る仮想入力装置の構成の一例を示すブロック図である。

【図21】第３の実施形態に係る仮想入力装置の動作の一例について説明するためのフローチャートである。

【図22】第４の実施形態に係る仮想入力装置の構成の一例を示すブロック図である。

【図23】各実施形態に係る処理を実行するハードウェアの構成の一例を示すブロック図である。

【発明を実施するための形態】

【0012】

以下に、本発明を実施するための形態について図面を用いて説明する。ただし、以下に述べる実施形態には、本発明を実施するために技術的に好ましい限定がされているが、発明の範囲を以下に限定するものではない。なお、以下の実施形態の説明に用いる全図においては、特に理由がない限り、同様箇所には同一符号を付す。また、以下の実施形態において、同様の構成・動作に関しては繰り返しの説明を省略する場合がある。

【0013】

（第１の実施形態）
まず、第１の実施形態に係る仮想入力システムについて図面を参照しながら説明する。本実施形態の仮想入力システムは、ヘッドマウントディスプレイ（ＨＭＤ：Head Mounted Display）のように、人体に装着可能な表示部を有する仮想現実表示装置を備える。以下においては、仮想現実ＶＲ（Virtual Reality）の利用シーンを想定して、仮想現実表示装置が非透過型のＨＭＤによって実現される例について説明する。本実施形態の仮想入力システムは、拡張現実ＡＲ（Augmented Reality）や複合現実ＭＲ（Mixed Reality）などの利用シーンにも適用される。そのため、利用シーンに応じて、仮想現実表示装置が透過型のＨＭＤであってもよい。本実施形態においては、仮想入力システムが、仮想現実表示装置と仮想入力装置とを含む例をあげる。以下においては、仮想現実表示装置と仮想入力装置とが別の装置で構成される例について説明される。仮想入力装置は、仮想現実表示装置に内蔵されてもよい。

【0014】

本実施形態の仮想現実表示装置は、ユーザの視界の範囲に相当する実世界を撮影する一対のカメラと、ユーザによって視認される仮想現実が表示される表示部とを有する。以下においては、一対のカメラを区別するために、右目側のカメラにはアルファベットのＲ（Right）、左目側のカメラにはアルファベットのＬ（Light）を付す。なお、右目側と左目側とでカメラを区別しない場合は、符号の末尾のＲやＬを省略する場合がある。

【0015】

（構成）
図１は、本実施形態に係る仮想入力システム１の構成の一例を示す概念図である。本実施形態の仮想入力システム１は、仮想入力装置１０、仮想現実表示装置１００、および操作端末１７０を備える。仮想入力装置１０は、有線または無線によって、仮想現実表示装置１００および操作端末１７０に接続される。仮想入力装置１０は、仮想現実表示装置１００に内蔵されてもよい。仮想入力装置１０と、仮想現実表示装置１００および操作端末１７０との接続方式については、特に限定を加えない。後述するように、操作端末１７０は、入力機能を有さないモックアップで実現されてもよい。

【0016】

仮想現実表示装置１００は、制御装置１１０、カメラ１２０Ｒ、カメラ１２０Ｌ、および表示部１３０を有する。また、仮想現実表示装置１００は、後述するドライバを有する。制御装置１１０は、カメラ１２０Ｒおよびカメラ１２０Ｌのうち少なくともいずれかに対応して配置されればよい。カメラ１２０Ｒおよびカメラ１２０Ｌは、同様の構成である。以下においては、カメラ１２０Ｒとカメラ１２０Ｌとを区別せずに、カメラ１２０と記載する場合がある。また、仮想現実表示装置１００は、カバー１４０、およびバンド１６０を備える。カバー１４０の人体側には、表示部１３０が固定される。バンド１６０は、仮想現実表示装置１００を頭部に固定するための帯である。

【0017】

仮想現実表示装置１００は、カメラ１２０によって、仮想現実表示装置１００の前方の画像や映像を撮影する。仮想現実表示装置１００は、カメラ１２０によって撮影された像を仮想入力装置１０に送信する。図１の例において、仮想現実表示装置１００は、２つのカメラ１２０を有する。仮想現実表示装置１００には、単一のカメラ１２０が構成されてもよいし、３つのカメラ１２０が構成されてもよい。カメラ１２０が配置される位置は、カバー１４０の両脇ではなくておよい。例えば、カバー１４０の上下や前面にカメラ１２０が配置されてもよい。例えば、人の目に対応する位置にカメラ１２０が配置されれば、人が視認する像に近い映像を撮影できる。

【0018】

カメラ１２０Ｌおよびカメラ１２０Ｒは、外景を撮影する一対のカメラである。カメラ１２０Ｌおよびカメラ１２０Ｒは、ステレオカメラを構成する。カメラ１２０Ｌおよびカメラ１２０Ｒは、撮影した外景に応じた画像データを生成する。カメラ１２０Ｌおよびカメラ１２０Ｒのそれぞれが撮影した画像データにおける位置から、仮想現実表示装置１００を装着したユーザにとってカバー１４０（表示部１３０）の向こう側の実世界における外景の奥行方向の情報を計測できる。例えば、仮想現実表示装置１００は、カメラ１２０Ｌおよびカメラ１２０Ｒの撮影した画像データの画素位置の差から、仮想現実表示装置１００と対象物との距離を算出できる。カメラ１２０Ｌおよびカメラ１２０Ｒは、一般的なデジタルカメラによって実現できる。また、カメラ１２０Ｌおよびカメラ１２０Ｒは、赤外線カメラや紫外線カメラによって実現されてもよい。

【0019】

また、仮想現実表示装置１００は、仮想入力装置１０から表示情報を取得する。表示情報には、表示部１３０に表示される像と、その像が表示される座標とが含まれる。仮想現実表示装置１００は、取得した表示情報に応じた像を表示させる。仮想現実表示装置１００の表示部１３０に表示された像は、ユーザにとってカバー１４０（表示部１３０）の向こう側の実世界に相当する。そのため、仮想現実表示装置１００の表示部１３０には、実世界の位置にある像が表示される。本実施形態においては、実世界の位置にある操作端末１７０に相当する像（仮想キーボード）が、仮想現実表示装置１００の表示部１３０に表示される。

【0020】

図２は、仮想現実表示装置１００の表示部１３０に表示される像の一例を示す概念図である。図２の例において、表示部１３０には、仮想モニターＶＭ１および仮想モニターＶＭ２が表示される。また、図２には、表示部１３０の向こう側の実世界に配置された操作端末１７０や、ユーザの手の位置を破線で示す。仮想モニターＶＭ１および仮想モニターＶＭ２（以下、仮想モニターＶＭ）には、ユーザが利用する情報が表示される。例えば、仮想モニターＶＭには、ユーザに対する指示や通知が表示される。ユーザは、操作端末１７０を用いて、仮想モニターＶＭに表示された指示や通知に応じた入力を行うことができる。

【0021】

図３は、仮想現実表示装置１００の表示部１３０に表示される像の一例を示す概念図である。図３の例において、表示部１３０には、仮想モニターＶＭ１および仮想モニターＶＭ２（仮想モニターＶＭ）が表示される。また、図３の例において、表示部１３０には、その表示部１３０の向こう側の実世界に配置された操作端末１７０の位置に対応付けて、仮想端末ＶＴが表示される。また、表示部１３０には、実世界におけるユーザの手の位置に対応付けて、カメラ１２０によって撮影された手の像が表示される。図３には、次の選択対象のキーＫ０を強調表示させた表示状態を示す。表示される手の像は、実際の手の像であってもよいし、手を模した絵であってもよい。例えば、仮想端末ＶＴや手は、カメラ１２０によって操作端末１７０や手が撮影されたタイミングに合わせて、表示部１３０に表示される。

【0022】

仮想端末ＶＴのキー配列やキーバインドは、ユーザ情報に応じて設定されてもよい。例えば、仮想端末ＶＴのキー配列やキーバインドは、ユーザの所属する組織に応じて、設定される。ユーザの所属する組織ごとに仮想端末ＶＴのキー配列やキーバインドが設定されれば、組織ごとのニーズに合わせて作業を効率化できる。例えば、仮想端末ＶＴのキー配列やキーバインドは、ユーザごとに設定される。ユーザごとに仮想端末ＶＴのキー配列やキーバインドが設定されれば、ユーザごとのニーズに合わせて作業を効率化できる。

【0023】

図４は、仮想現実表示装置１００の表示部１３０に表示される像の別の一例を示す概念図である。図４は、強調表示されたキーＫ０に対して、ユーザが入力操作を行った状態を示す。仮想現実表示装置１００を装着したユーザは、表示部１３０に表示された仮想端末ＶＴにおいて強調表示されたキーＫ０に対して、入力操作を行う。その結果、そのユーザは、実世界に配置された操作端末１７０のキーＫ０を押下する。

【0024】

図５は、実世界に配置された操作端末１７０に対する入力操作の一例を示す概念図である。図４のように表示部１３０に表示された仮想端末ＶＴに対してユーザが入力操作を実行しようとすることによって、実世界に配置された操作端末１７０に対する入力操作が実行される。実世界に配置された操作端末１７０に対する入力操作によって、仮想現実表示装置１００に対する入力が実行される。ユーザは、仮想端末ＶＴを操作している感覚で、操作端末１７０を操作する。そのため、ユーザは、操作端末１７０を操作する感触を感じながら、仮想端末ＶＴを操作できる。

【0025】

操作端末１７０は、仮想現実表示装置１００への入力を受け付ける端末装置である。操作端末１７０は、キー入力等の入力操作を実行できれば、限定を加えない。例えば、操作端末１７０は、汎用のキーボードである。例えば、操作端末１７０は、組織や業務にカスタマイズされた専用端末であってもよい。

【0026】

操作端末１７０には、その操作端末１７０の位置や姿勢を検出するための少なくとも一つの目印が付される。目印は、可視光によって検出できる印であってもよいし、赤外光によって検出できる印であってもよい。また、目印は、意図的に付された印ではなく、操作端末１７０の表面から抽出される特徴であってもよい。例えば、目印は、物体指紋認証技術等の機械判読技術により認識識別可能な傷や文字等であってもよい。操作端末１７０に付された目印を基準位置と、仮想端末ＶＴバーチャルの基準位置とを合わせれば、実世界と仮想空間とが対応付けて表示される。複数の基準点を用いれば、実世界に配置された操作端末１７０が任意の角度で回転しても、その操作端末１７０と仮想端末ＶＴとを重畳させて表示させることができる。また、操作端末１７０の傾きを検出するセンサと連動させて、仮想端末ＶＴの傾きが計算されてもよい。例えば、実世界に配置された操作端末１７０を画像認識で検出し、検出された操作端末１７０と仮想端末ＶＴの基準位置を合わせるように構成された場合は、操作端末１７０に目印を付さなくてもよい。例えば、操作端末１７０の頂点などの特徴点を検出すれば、操作端末１７０の位置や角度をキャリブレーションできる。

【0027】

操作端末１７０には、仮想現実表示装置１００への入力を受け付けるキーＫが少なくとも一つ配置される。例えば、操作端末１７０は、一般的なキーボードによって実現される。例えば、キーＫには、アルファベットや数字などの記号や、特定の機能が割り当てられる。キーＫには、特定の機能が予め割り当てられてもよいし、ユーザの設定に応じて特定の機能が割り当てられてもよい。例えば、キーＫには、仮想現実表示装置１００を使用するユーザや、そのユーザが所属するグループ、そのユーザの役割に応じて、特定の機能が割り当てられてもよい。例えば、操作端末１７０は、特定の機能の入力に特化した専用端末であってもよい。

【0028】

例えば、操作端末１７０は、消防指令センターで用いられている専用端末に適用できる。消防指令センターで用いられている専用端末は、組織ごとに使用頻度の高いキーが異なる。そのため、同じ専用端末であっても、使用頻度の高いキーを目立たせるために、組織ごとに専用端末がカスタマイズされている。このようなカスタマイズは、消防署や、消防署内の部署ごとになされている。実際の利用シーンでは、キーのファンクションを個人ごとにアレンジすることが求められる。本実施形態の仮想入力システム１を用いれば、仮想空間に表示された仮想端末ＶＴの表示を変更できるため、組織ごとに専用端末をカスタマイズする必要がない。

【0029】

例えば、操作端末１７０が実世界に配置されなくてもよい。その場合、カメラ１２０によって撮影された実世界におけるユーザの指や手の位置や動きに応じて、仮想端末ＶＴに対する入力操作が行われるように構成されればよい。仮想端末ＶＴのキーとユーザの指や手との位置や動きが対応付けられれば、仮想端末ＶＴに対する入力を実現できる。

【0030】

例えば、操作端末１７０の替わりに、キー操作に対する触感をフィードバックするモックアップが実世界に配置されてもよい。モックアップは、実際の端末装置と同様のデザインであってもよいし、無地であってもよい。その場合、実世界に配置されたモックアップに触れたユーザは、実世界に配置された操作端末を実際に操作している感覚で、仮想端末ＶＴに対する入力操作を行うことができる。モックアップは、キー操作に応じた触感をフィードバックすれば、特に限定を加えない。例えば、キー操作に対する触感をフィードバックする汎用的なモックアップを用いて、仮想的な操作入力が成されるように構成されてもよい。そのように構成された場合、モックアップと仮想端末ＶＴとは、キー配列が異なってもよい。また、モックアップのキー配列に対応付けて、仮想端末ＶＴのキー配列が並び替えられて、表示部１３０に表示されてもよい。

【0031】

図２～図５の例では、表示部１３０に表示された仮想端末ＶＴを用いて入力する例をあげた。本実施形態の仮想入力システム１は、仮想端末ＶＴを用いずに、表示部１３０に表示された仮想モニターＶＭに対する操作に応じて、入力がなされるように構成されてもよい。そのように構成されれば、仮想モニターＶＭに表示された表示情報に対する直感的な操作によって、目的に応じた入力を実行できる。

【0032】

〔仮想現実表示装置〕
次に、仮想現実表示装置１００の詳細構成について図面を参照しながら説明する。図６は、仮想現実表示装置１００の構成の一例を示すブロック図である。仮想現実表示装置１００は、制御装置１１０、カメラ１２０Ｒ、カメラ１２０Ｌ、表示部１３０、およびドライバ１５０を有する。制御装置１１０は、カメラ１２０Ｒおよびカメラ１２０Ｌのうち少なくともいずれかに対応して配置されればよい。カメラ１２０Ｒおよびカメラ１２０Ｌは、同様の構成である。以下においては、カメラ１２０Ｒとカメラ１２０Ｌとを区別せずに、カメラ１２０と記載する場合がある。また、仮想現実表示装置１００は、カバー１４０、およびバンド１６０を備える。カバー１４０の人体側には、表示部１３０が固定される。バンド１６０は、仮想現実表示装置１００を頭部に固定するための帯である。

【0033】

制御装置１１０は、通信部１１１、表示コントローラ１１３、メモリ１１５、および電源１１７を備える。例えば、制御装置１１０は、カメラ１２０Ｌおよびカメラ１２０Ｒのうち少なくともいずれかに対応付けて配置される。制御装置１１０は、筐体の内部に構成される。制御装置１１０は、カバー１４０やバンド１６０に配置されてもよい。例えば、制御装置１１０は、ＣＰＵ（Central Processing Unit）やＲＡＭ（Random Access Memory）、ＲＯＭ（Read Only Memory）、フラッシュメモリ等を有するハードウェアによって実現される。

【0034】

通信部１１１（通信手段）は、仮想入力装置１０との間で通信を行う通信インターフェースである。通信部１１１は、仮想入力装置１０との間でデータを送受信する。例えば、通信部１１１は、Ｂｌｕｅｔｏｏｔｈ（登録商標）やＷｉＦｉ（登録商標）、無線ＬＡＮ（Local Area Network）などの無線通信によって、仮想入力装置１０に接続される。通信部１１１は、Ｂｌｕｅｔｏｏｔｈ（登録商標）やＷｉＦｉ（登録商標）、無線ＬＡＮ以外の無線方式で、仮想入力装置１０と接続されてもよい。また、通信部１１１は、ユーザの作業性に影響が及ばなければ、有線ケーブルを介して、仮想入力装置１０に接続されてもよい。

【0035】

通信部１１１は、カメラ１２０Ｌおよびカメラ１２０Ｒに接続される。通信部１１１は、カメラ１２０Ｌおよびカメラ１２０Ｒから画像データを取得する。通信部１１１は、取得した画像データを仮想入力装置１０に送信する。通信部１１１は、時間的に連続する複数の画像データ（フレーム）によって構成される映像データを仮想入力装置１０に送信するように構成されてもよい。

【0036】

また、通信部１１１は、表示コントローラ１１３に接続される。通信部１１１は、表示部１３０に表示させる表示情報を、仮想入力装置１０から受信する。表示情報には、表示部１３０に表示される画像と、その画像が表示される座標とが含まれる。通信部１１１は、受信した表示情報を表示コントローラ１１３に出力する。

【0037】

表示コントローラ１１３は、通信部１１１、メモリ１１５、およびドライバ１５０に接続される。表示コントローラ１１３は、仮想入力装置１０から送信された表示情報を、通信部１１１から取得する。表示コントローラ１１３は、取得した表示情報に応じた画像データをメモリ１１５から取得する。表示コントローラ１１３は、取得した表示情報や画像データに応じた画像が表示されるように、ドライバ１５０を制御する。例えば、表示コントローラ１１３は、仮想入力装置１０から送信された表示情報に含まれる画像と、メモリ１１５から取得した画像データに応じた画像とが重畳されるように、ドライバ１５０を制御する。

【0038】

メモリ１１５は、表示コントローラ１１３に接続される。メモリ１１５には、表示部１３０に表示させる画像が記憶される。例えば、メモリ１１５には、表示部１３０に表示させる画像に対応した画像データが記憶される。例えば、メモリ１１５には、表示部１３０に表示させる形状や文字に対応した画像データが記憶される。

【0039】

電源１１７は、仮想入力装置１０を駆動させるための二次電池である。例えば、電源１１７は、電源ケーブルを介して給電できる二次電池である。例えば、電源１１７は、無線給電によって充電可能な二次電池であってもよい。

【0040】

表示部１３０は、ドライバ１５０に接続される。表示部１３０は、ユーザによって視認される情報が表示されるディスプレイである。表示部１３０には、実世界の形状や色彩を表現できるように、複数の画素がアレイ状に配列される。表示部１３０には、ドライバ１５０の制御に応じて、ユーザによって視認される情報が表示される。

【0041】

例えば、表示部１３０は、液晶ディスプレイや有機ＥＬ（Electro-Luminescence）ディスプレイによって実現される。例えば、表示部１３０は、マイクロＬＥＤ（Light Emitting Diode）ディスプレイや、無機ＥＬディスプレイによって実現されてもよい。表示部１３０は、仮想現実表示装置１００が視認できるディスプレイであれば、その形態には特に限定を加えない。

【0042】

ドライバ１５０は、表示部１３０に画像を表示させる駆動部である。例えば、ドライバ１５０は、水平方向の表示を駆動させる第１駆動回路（図示しない）と、垂直方向の表示を駆動させる第２駆動回路（図示しない）とを有する。例えば、第１駆動回路は、表示部１３０の上方に配置される。第１駆動回路は、垂直方向の表示位置を設定する。例えば、第２駆動回路は、表示部１３０の側方に配置される。第２駆動回路は、水平方向の表示位置を設定する。第１駆動回路と第２駆動回路とを駆動させることで、表示部１３０の任意の座標に、画像を形成する画素を表示できる。

【0043】

〔仮想入力装置〕
次に、仮想入力装置１０の詳細構成について図面を参照しながら説明する。図７は、仮想入力装置１０の構成の一例を示すブロック図である。仮想入力装置１０は、ユーザ情報取得部１１、映像取得部１２、表示情報出力部１３、映像解析部１５、操作認識部１６、および表示情報生成部１７を有する。映像取得部１２および表示情報出力部１３は、入出力部１４を構成する。

【0044】

ユーザ情報取得部１１（ユーザ情報取得手段）は、仮想現実表示装置１００を装着したユーザに関するユーザ情報を取得する。ユーザ情報取得部１１は、取得したユーザ情報を、表示情報生成部１７に出力する。ユーザ情報は、ユーザの個人情報や属性、スキル、所属等の情報を含む。例えば、ユーザ情報は、記憶部（図示しない）に記憶される。例えば、ユーザ情報取得部１１は、仮想現実表示装置１００を利用するユーザに応じて予め設定されたユーザ情報を、記憶部から取得する。例えば、ユーザ情報取得部１１は、記憶部に記憶された複数のユーザ情報のうちいずれかを選択する。例えば、ユーザ情報取得部１１は、仮想入力装置１０に接続された認証装置（図示しない）から、その仮想入力装置１０を利用するユーザに関するユーザ情報を取得する。

【0045】

映像取得部１２（映像取得手段）は、仮想現実表示装置１００から画像データを取得する。画像データは、仮想現実表示装置１００のカメラ１２０（カメラ１２０Ｌ、カメラ１２０Ｒ）によって撮影された画像データである。映像取得部１２は、取得した画像データを映像解析部１５に出力する。映像取得部１２は、時間的に連続する複数の画像データ（フレーム）によって構成される映像データを取得するように構成されてもよい。そのように構成された場合、映像取得部１２は、取得した映像データを映像解析部１５に出力する。

【0046】

表示情報出力部１３（表示情報取得手段）は、表示情報生成部１７によって生成された表示情報を、仮想現実表示装置１００に出力する。表示情報には、仮想現実表示装置１００の表示部１３０に表示される画像と、その画像が表示される座標とが含まれる。

【0047】

映像取得部１２と表示情報出力部１３は、入出力部１４（入出力手段）を構成する。例えば、入出力部１４は、Ｂｌｕｅｔｏｏｔｈ（登録商標）やＷｉＦｉ（登録商標）、無線ＬＡＮなどの無線通信によって、仮想現実表示装置１００に接続される。入出力部１４は、Ｂｌｕｅｔｏｏｔｈ（登録商標）やＷｉＦｉ（登録商標）、無線ＬＡＮ以外の無線方式で、仮想現実表示装置１００と接続されてもよい。また、入出力部１４は、ユーザの作業性に影響が及ばなければ、有線ケーブルを介して、仮想現実表示装置１００に接続されてもよい。

【0048】

映像解析部１５（映像解析手段）は、映像取得部１２から映像データを取得する。映像解析部１５は、取得した映像データを解析して、操作端末１７０を検出する。映像解析部１５は、操作端末１７０に付された少なくとも一つの目印の位置を検出する。映像解析部１５は、操作端末１７０から検出される特徴に応じて、操作端末１７０に目印を設定してもよい。映像解析部１５は、検出された少なくとも一つの目印の位置を、表示情報生成部１７に出力する。

【0049】

また、映像解析部１５は、操作端末１７０を操作するユーザの手や指の位置を検出する。映像解析部１５は、ユーザの手や指の位置と、操作端末１７０に付された少なくとも一つの目印の位置とを操作認識部１６に出力する。例えば、目印は、操作端末１７０の表面に物理的に付される。目印は、操作端末１７０の外形や特徴に基づいて、特定されてもよい。

【0050】

操作認識部１６（映像認識手段）は、ユーザの手や指の位置と、操作端末１７０に付された目印の位置とを、映像解析部１５から取得する。操作認識部１６は、操作端末１７０に付された目印の位置に基づいて、操作端末１７０のキーの位置を特定する。例えば、操作端末１７０に付された目印の位置を基準とする操作端末１７０のキーの相対的な位置を、記憶部（図示しない）に記憶させておけば、目印の位置に基づいて操作端末１７０のキーの位置を特定できる。また、操作認識部１６は、ユーザの手や指の位置と、操作端末１７０のキーの位置とを対応付けて、ユーザが操作入力したキーを特定する。操作認識部１６は、特定されたキーに関する情報を、表示情報生成部１７に出力する。

【0051】

表示情報生成部１７（表示情報生成手段）は、ユーザ情報取得部１１からユーザ情報を取得する。また、表示情報生成部１７は、操作端末１７０に付された少なくとも一つの目印の位置を映像解析部１５から取得する。表示情報生成部１７は、取得した少なくとも一つの目印の位置に合わせて、ユーザ情報に応じた仮想端末ＶＴの画像を生成する。

【0052】

また、表示情報生成部１７は、特定されたキーに関する情報を操作認識部１６から取得する。表示情報生成部１７は、特定されたキーに応じて、仮想現実表示装置１００の表示部１３０に表示される仮想モニターＶＭの画像を生成する。表示情報生成部１７は、生成した画像（表示情報）を表示情報出力部１３に出力する。

【0053】

（動作）
次に、本実施形態に係る仮想入力システム１の動作の一例について図面を参照しながら説明する。以下においては、仮想入力システム１が備える仮想入力装置１０の動作の一例について説明する。

【0054】

図８は、仮想入力装置１０の動作の一例について説明するためのフローチャートである。図８のフローチャートは、ユーザ情報に応じた仮想端末ＶＴを表示する段階に関する。図８のフローチャートに沿った処理においては、仮想入力装置１０を動作主体とする。

【0055】

図８において、まず、仮想入力装置１０は、仮想現実表示装置１００を使用するユーザのユーザ情報を取得する（ステップＳ１１１）。

【0056】

次に、仮想入力装置１０は、仮想現実表示装置１００のカメラ１２０によって撮影された映像データ（画像データ）を取得する（ステップＳ１１２）。

【0057】

次に、仮想入力装置１０は、取得した映像データ（画像データ）を解析して、操作端末１７０を検出する（ステップＳ１１３）。

【0058】

映像データ（画像データ）から操作端末１７０を検出すると（ステップＳ１１３でＹｅｓ）、仮想入力装置１０は、実世界における操作端末１７０の位置を特定する（ステップＳ１１４）。操作端末１７０が検出されなかった場合（ステップＳ１１３でＮｏ）、仮想入力装置１０は、新たな映像データ（画像データ）を取得する（ステップＳ１１２）。

【0059】

ステップＳ１１４の次に、仮想入力装置１０は、実世界における操作端末１７０の位置に合わせて、ユーザ情報に応じた仮想端末ＶＴを含む表示情報を生成する（ステップＳ１１５）。

【0060】

次に、仮想入力装置１０は、生成された表示情報を仮想現実表示装置１００に出力する（ステップＳ１１６）。仮想現実表示装置１００の表示部１３０には、仮想入力装置１０から出力された表示情報に応じた映像（画像）が表示される。ステップＳ１１６の次は、図９のフローチャートの処理に移行する。

【0061】

図９は、仮想入力装置１０の動作の一例について説明するためのフローチャートである。図９のフローチャートは、ユーザ情報に応じて表示された仮想端末ＶＴに対するユーザの操作に応じて、表示を変更する段階に関する。図９のフローチャートに沿った処理においては、仮想入力装置１０を動作主体とする。

【0062】

図９において、まず、仮想入力装置１０は、仮想現実表示装置１００のカメラ１２０によって撮影された映像データ（画像データ）を取得する（ステップＳ１２１）。

【0063】

次に、仮想入力装置１０は、取得した映像データ（画像データ）を解析して、操作端末１７０の位置の変化を検出する（ステップＳ１２２）。

【0064】

映像データ（画像データ）から操作端末１７０の位置の変化を検出すると（ステップＳ１２２でＹｅｓ）、仮想入力装置１０は、実世界における操作端末１７０の位置の変化に合わせて、仮想端末ＶＴを含む表示情報を変更する（ステップＳ１２３）。操作端末１７０の位置の変化が検出されなかった場合（ステップＳ１２２でＮｏ）、ステップＳ１２４に進む。

【0065】

ステップＳ１２３の次、またはステップＳ１２２でＮｏの場合、仮想入力装置１０は、映像データ（画像データ）に基づいて、操作端末１７０に対するユーザの操作を認識する（ステップＳ１２４）。

【0066】

操作端末１７０に対するユーザの操作を認識すると（ステップＳ１２４でＹｅｓ）、仮想入力装置１０は、ユーザの操作に応じた表示情報を生成する（ステップＳ１２５）。操作端末１７０に対するユーザの操作が認識されなかった場合（ステップＳ１２４でＮｏ）、ステップＳ１２７に進む。

【0067】

ステップＳ１２５の次に、仮想入力装置１０は、ユーザの操作に応じた表示情報を生成する（ステップＳ１２５）。

【0068】

次に、仮想入力装置１０は、生成された表示情報を仮想現実表示装置１００に出力する（ステップＳ１２６）。仮想現実表示装置１００の表示部１３０には、仮想入力装置１０から出力された表示情報に応じた映像（画像）が表示される。

【0069】

ステップＳ１２６の次、またはステップＳ１２４でＮｏの場合、ステップＳ１２１に戻る。一連の処理を終了する場合（ステップＳ１２７でＮｏ）、図９のフローチャートに沿った処理は終了である。

【0070】

以上のように、本実施形態の仮想入力システムは、仮想現実表示装置、仮想入力装置、および操作端末を備える。仮想現実表示装置は、カメラと表示部を有する。仮想現実表示装置は、カメラによって撮影された画像データを仮想入力装置に出力する。仮想現実表示装置は、仮想入力装置から出力された表示情報を取得する。仮想現実表示装置は、取得した表示情報に応じた画像を表示部に表示させる。仮想入力装置は、ユーザ情報取得部、映像取得部、映像解析部、操作認識部、表示情報生成部、および表示情報出力部を備える。映像取得部および表示情報出力部は、入出力部を構成する。ユーザ情報取得部は、仮想現実表示装置を使用するユーザのユーザ情報を取得する。映像取得部は、仮想現実表示装置のカメラによって撮影された画像データを取得する。映像解析部は、画像データを解析して仮想端末を表示させる位置を特定する。表示情報生成部は、仮想現実表示装置を装着したユーザのユーザ情報に応じた仮想端末を含む表示情報を生成する。表示情報出力部は、仮想現実表示装置の表示部に表示される表示情報を仮想現実表示装置に出力する。操作端末は、実世界に配置される。操作端末は、仮想入力装置を装着したユーザによって操作される。

【0071】

本実施形態の仮想入力システムに含まれる仮想入力装置は、仮想現実表示装置のカメラによって撮影された実世界の画像データに基づいて、仮想端末を表示させる位置を特定する。本実施形態の仮想入力装置は、特定された位置に仮想端末が表示される表示情報を、仮想現実表示装置に出力する。ユーザによって装着された仮想現実表示装置の表示部には、実世界の状況が反映された位置に、そのユーザのユーザ情報に応じた仮想端末が表示される。仮想現実表示装置を装着したユーザは、実世界の状況が反映された位置に表示された仮想端末を視認する。ユーザは、そのユーザにカスタマイズされた仮想端末を、実世界に操作端末が配置されている感覚で、違和感なく操作できる。そのため、本実施形態の仮想入力システムによれば、仮想空間に表示された仮想端末に対する継続的な操作を実現できる。

【0072】

例えば、本実施形態の仮想入力システムは、消防指令センターで用いられる専用端末の代替として適用できる。消防指令センターで用いられている専用端末は、組織ごとに使用頻度の高いキーが異なる。そのため、同じ専用端末であっても、使用頻度の高いキーを目立たせるために、組織ごとに専用端末がカスタマイズされている。本実施形態の仮想入力システムを用いれば、表示部の表示を変更することによって、組織ごとに仮想端末をカスタマイズできる。

【0073】

本実施形態の仮想入力システムは、消防指令センター以外の用途にも適用できる。例えば、本実施形態の仮想入力システムは、警察署の通信指令センターに適用できる。例えば、本実施形態の仮想入力システムは、通話を通じたコミュニケーションを行うコールセンターに適用できる。例えば、本実施形態の仮想入力システムは、ＰＯＳ（Point Of Sale）システムに適用できる。本実施形態の仮想入力システムは、ＨＭＤのような仮想現実表示装置を用いたシステムであれば、任意のシステムに適用できる。

【0074】

本実施形態の仮想入力システムは、拡張現実ＡＲや複合現実ＭＲなどの利用シーンにも適用できる。拡張現実ＡＲや複合現実ＭＲなどの利用シーンでは、透過型の仮想現実表示装置が使用される。透過型の仮想現実表示装置を用いれば、表示部を通じて実世界を見ながら、実世界とのインタラクティブな操作が実現される。その場合、仮想端末を表示せずに、実世界の操作端末のキーに重畳させて、そのキーを強調表示させればよい。

【0075】

また、本実施形態の仮想入力システムは、代替現実ＳＲ（Substitutional Reality）の利用シーンに適用されてもよい。代替現実ＳＲの利用シーンにおいて、本実施形態の仮想入力システムは、リアルタイムの実世界ではなく、過去の実世界や想像上の仮想世界とのインタラクティブな操作を実現する。例えば、過去の実世界とのインタラクティブな操作は、実際に発生した火災や事故に対応するための訓練などに好適である。例えば、想像上の仮想世界とのインタラクティブな操作は、ゲームなどに好適である。

【0076】

本実施形態の一態様において、表示情報生成部は、ユーザ情報に応じて、仮想端末に含まれる複数のキーのうち、ユーザが操作すべきキーが強調表示させた表示情報を生成する。そのため、本態様によれば、仮想現実表示装置を装着したユーザは、強調表示されたキーを視認することによって、操作すべきキーを見落とすことなく直感的に把握できる。

【0077】

本実施形態の一態様において、映像解析部は、実世界に配置された操作端末を画像データから検出する。映像解析部は、仮想現実表示装置の表示部における操作端末の位置を特定する。表示情報生成部は、特定された操作端末の位置に仮想端末が表示される表示情報を生成する。本態様では、実世界に配置された操作端末に重畳されて、仮想現実表示装置の表示部に仮想端末が表示される。本態様によれば、仮想現実表示装置の表示部に表示された仮想端末を視認しながら、実世界に配置された操作端末を操作できる。本態様によれば、実世界に配置された操作端末の触感を得ながら仮想端末を操作できるため、自然な操作感覚で仮想端末を継続的に操作できる。

【0078】

本実施形態の一態様の仮想入力装置は、画像データを解析してユーザの操作を認識する操作認識部を備える。表示情報生成部は、認識されたユーザの操作に応じた表示情報を生成する。本態様によれば、実世界に配置された操作端末に対するユーザの操作を認識することによって、その操作端末に重畳された仮想端末を視認しながら作業するユーザの操作入力を実現できる。ユーザは、実世界に配置された操作端末に触れながら、その操作端末に重畳された仮想端末を違和感なく操作できる。

【0079】

（第２の実施形態）
次に、第２の実施形態に係る仮想入力装置について図面を参照しながら説明する。本実施形態の仮想入力装置は、予め登録されたリストの内容に応じて、仮想端末の表示が設定される。本実施形態の仮想入力装置は、第１の実施形態に係る仮想入力装置の替わりに、第１の実施形態の仮想入力システムに組み込まれる。

【0080】

（構成）
図１０は、仮想入力装置２０の構成の一例を示すブロック図である。仮想入力装置２０は、ユーザ情報取得部２１、映像取得部２２、表示情報出力部２３、映像解析部２５、操作認識部２６、表示情報生成部２７、および関連情報取得部２８を有する。映像取得部２２および表示情報出力部２３は、入出力部２４を構成する。仮想入力装置２０には、ユーザ情報に応じた関連リストＬが記憶される。

【0081】

ユーザ情報取得部２１（ユーザ情報取得手段）は、第１の実施形態のユーザ情報取得部１１と同様の構成である。ユーザ情報取得部２１は、仮想現実表示装置を装着したユーザに関するユーザ情報を取得する。

【0082】

映像取得部２２（映像取得手段）は、第１の実施形態の映像取得部１２と同様の構成である。映像取得部２２は、仮想現実表示装置から画像データを取得する。画像データは、仮想現実表示装置のカメラによって撮影された画像データである。映像取得部２２は、取得した画像データを映像解析部２５に出力する。映像取得部２２は、時間的に連続する複数の画像データ（フレーム）によって構成される映像データを取得するように構成されてもよい。そのように構成された場合、映像取得部２２は、取得した映像データを映像解析部２５に出力する。

【0083】

表示情報出力部２３（表示情報出力手段）は、第１の実施形態の表示情報出力部１３と同様の構成である。表示情報出力部２３は、表示情報生成部２７によって生成された表示情報を、仮想現実表示装置に出力する。表示情報には、仮想現実表示装置の表示部に表示される画像と、その画像が表示される座標とが含まれる。

【0084】

第１の実施形態と同様に、映像取得部２２と表示情報出力部２３は、入出力部２４（入出力手段）を構成する。例えば、入出力部２４は、Ｂｌｕｅｔｏｏｔｈ（登録商標）やＷｉＦｉ（登録商標）、無線ＬＡＮなどの無線通信によって、仮想現実表示装置に接続される。入出力部２４は、Ｂｌｕｅｔｏｏｔｈ（登録商標）やＷｉＦｉ（登録商標）、無線ＬＡＮ以外の無線方式で、仮想現実表示装置と接続されてもよい。また、入出力部２４は、ユーザの作業性に影響が及ばなければ、有線ケーブルを介して、仮想現実表示装置に接続されてもよい。

【0085】

映像解析部２５（映像解析手段）は、第１の実施形態の映像解析部１５と同様の構成である。映像解析部２５は、映像取得部２２から映像データを取得する。映像解析部２５は、取得した映像データを解析して、操作端末を検出する。映像解析部２５は、操作端末に付された少なくとも一つの目印の位置を検出する。映像解析部２５は、検出された少なくとも一つの目印の位置を、表示情報生成部２７に出力する。

【0086】

また、映像解析部２５は、操作端末を操作するユーザの手や指の位置を検出する。映像解析部２５は、操作端末から検出される特徴に応じて、操作端末に目印を設定してもよい。映像解析部２５は、ユーザの手や指の位置と、操作端末に付された少なくとも一つの目印の位置とを操作認識部２６に出力する。

【0087】

操作認識部２６（操作認識手段）は、ユーザの手や指の位置と、操作端末に付された目印の位置とを、映像解析部２５から取得する。操作認識部２６は、操作端末に付された目印の位置に基づいて、操作端末のキーの位置を特定する。また、操作認識部２６は、ユーザの手や指の位置と、操作端末のキーの位置とを対応付けて、ユーザが操作入力したキーを特定する。操作認識部２６は、特定されたキーに関する情報を、表示情報生成部２７に出力する。

【0088】

関連情報取得部２８（関連情報取得手段）は、ユーザ情報取得部２１から、仮想現実表示装置を使用するユーザのユーザ情報を取得する。関連情報取得部２８は、記憶部（図示しない）に記憶された関連リストＬから、ユーザ情報に応じた関連情報を取得する。関連リストＬは、システムの意図に応じた関連情報がまとめられたリストである。例えば、関連リストＬは、ユーザの職務に関する関連情報を含む。関連リストＬは、ユーザの職務のシナリオシーンに関する関連情報を含む。本実施形態において、関連情報は、シナリオシーンに応じてユーザが操作すべきキーに関する情報である。関連情報取得部２８は、取得した関連情報を表示情報生成部２７に出力する。

【0089】

関連情報取得部２８は、関連情報を外部から取得するように構成されてもよい。例えば、関連情報は、ユーザの職務に応じて取得されるシナリオに関する情報である。例えば、ユーザが消防指令センターの職員である場合、関連情報は、消防関係や救急関係などのシナリオに関する情報である。

【0090】

表示情報生成部２７（表示情報生成手段）は、ユーザ情報取得部２１からユーザ情報を取得する。また、表示情報生成部２７は、操作端末に付された少なくとも一つの目印の位置を映像解析部２５から取得する。さらに、表示情報生成部２７は、関連情報取得部２８から関連情報を取得する。表示情報生成部２７は、取得した少なくとも一つの目印の位置に合わせて、ユーザ情報および関連情報に応じた仮想端末ＶＴの画像を生成する。

【0091】

また、表示情報生成部２７は、特定されたキーに関する情報を操作認識部２６から取得する。表示情報生成部２７は、特定されたキーに応じて、仮想現実表示装置の表示部に表示される仮想モニターＶＭの画像を生成する。表示情報生成部２７は、生成した画像（表示情報）を表示情報出力部２３に出力する。

【0092】

図１１は、関連リストＬに含まれる関連情報に応じて表示状態が変更された仮想端末ＶＴが、仮想現実表示装置の表示部２３０に表示された例である。図１１の例において、表示部２３０には、仮想モニターＶＭ１および仮想モニターＶＭ２（仮想モニターＶＭ）が表示される。また、図１１の例において、表示部２３０には、その表示部２３０の向こう側の実世界に配置された操作端末の位置に対応付けて、仮想端末ＶＴが表示される。仮想端末ＶＴの領域Ｒ１には、シナリオに応じて表示状態が変更されたキーが表示される。領域Ｒ１のキーの表示状態は、他の領域に配置されたキーの表示状態と比べて、目立つ色や明るさで表示される。仮想端末ＶＴの領域Ｒ２には、キーに対応付けて、そのキーに関する文字情報が表示される。仮想現実表示装置を装着したユーザは、表示状態が変更されたキーを視認することによって、そのユーザの職務などに関連するキーに注目できる。

【0093】

例えば、関連情報に応じて仮想端末ＶＴの表示が変更された際に、仮想現実表示装置が音や振動を発するように構成されてもよい。そのように構成されれば、仮想現実表示装置を装着したユーザは、仮想現実表示装置から発せられた音や振動によって、仮想端末ＶＴの表示が変更されたことを認識できる。仮想現実表示装置の左右にスピーカが配置されている場合、仮想端末ＶＴの表示が変更された位置に応じて、左右のスピーカの音量を変えれば、仮想端末ＶＴのどのあたりのキーが変更されたのかを通知できる。仮想端末ＶＴの表示が変更されていなくても、仮想端末ＶＴが注目されるべきタイミングにおいて、仮想現実表示装置が音や振動を発するように構成されてもよい。このように構成されれば、適切なタイミングでユーザの注目を仮想端末ＶＴに向けることができる。

【0094】

〔関連リスト〕
次に、仮想入力装置２０に記憶される関連リストＬの一例について図面を参照しながら説明する。以下にあげる関連リストＬは、一例であって、仮想入力装置２０に記憶される関連リストＬを限定するものではない。

【0095】

図１２は、仮想入力装置２０に記憶される関連リストＬの一例（関連リストＬ１）である。関連リストＬ１には、シナリオに応じて表示状態が変更されるキーに関する情報が記憶される。関連リストＬ１の例では、シナリオＳ１にキー（Ｋ１、Ｋ２、Ｋ３）が関連付けられる。

【0096】

例えば、関連情報取得部２８は、ユーザ情報に応じて、関連リストＬ１に登録されたシナリオＳ１を選択する。関連情報取得部２８は、取得したシナリオＳ１に応じて、表示状態が変更されるキー（Ｋ１、Ｋ２、Ｋ３）に関する情報を、表示情報生成部２７に出力する。表示情報生成部２７は、表示状態が変更されるキー（Ｋ１、Ｋ２、Ｋ３）に関する情報を、関連情報取得部２８から取得する。表示情報生成部２７は、関連情報取得部２８から取得した情報に応じて、キー（Ｋ１、Ｋ２、Ｋ３）の表示状態を変更する。

【0097】

図１３は、関連リストＬ１に応じて表示状態が変更された仮想端末ＶＴが、仮想現実表示装置の表示部２３０に表示された例である。表示部２３０には、その表示部２３０の向こう側の実世界に配置された操作端末の位置に対応付けて、仮想端末ＶＴが表示される。キーＫ１、キーＫ２、およびキーＫ３の表示状態は、その他のキーの表示状態と比べて、目立つ色や明るさで表示される。仮想現実表示装置を装着したユーザは、表示状態が変更されたキーを視認することによって、そのユーザの職務などに関連するキーに注目できる。

【0098】

例えば、「Ｙｅｓ」または「Ｎｏ」の選択を行うシナリオシーンでは、「Ｙｅｓ」または「Ｎｏ」を選択するためのキーが強調表示される。仮想現実表示装置を装着したユーザは、強調表示された「Ｙｅｓ」または「Ｎｏ」を選択するためのキーのうちいずれかを選択することによって、そのシナリオシーンに応じて対応できる。

【0099】

例えば、事故や火災などの発生に応じて車両を手配するシナリオシーンでは、車両を手配するためのキーが強調表示される。そのようなシナリオシーンでは、例えば、「救急車」や「消防車」を選択するためのキーが強調表示される。仮想現実表示装置を装着したユーザは、強調表示された「救急車」や「消防車」を選択するためのキーのうち少なくともいずれかを選択することによって、そのシナリオシーンに応じた車両を手配できる。また、事故や火災のシナリオシーンであれば、火災や事故が発生した現場近辺の地図や、現場近辺の消防署の状況、現場の映像などを、仮想モニターＶＭに表示させてもよい。

【0100】

例えば、救急のシナリオシーンであれば、救急車を手配するためのキーを強調表示させる。仮想現実表示装置を装着したユーザは、強調表示された「救急車」を選択するためのキーを選択することによって、救急車を手配できる。また、救急のシナリオシーンであれば、救急車の配車先の住所や、搬送対象者の属性や状態などの付随情報を選択・入力するためのキーを強調表示させてもよい。

【0101】

図１４は、仮想入力装置２０に記憶される関連リストＬの一例（関連リストＬ２）である。関連リストＬ２には、仮想端末ＶＴのキーごとに関心度が記憶される。

【0102】

図１５は、関連リストＬ２に応じて表示状態が変更された仮想端末ＶＴが、仮想現実表示装置の表示部２３０に表示された例である。表示部２３０には、その表示部２３０の向こう側の実世界に配置された操作端末の位置に対応付けて、仮想端末ＶＴが表示される。仮想端末ＶＴには、関心度に応じて表示状態が変更されたキーが表示される。図１５の例では、関心度が大きいキーほど、大きく表示される。仮想現実表示装置を装着したユーザは、関心度に応じて表示状態が変更されたキーを視認することによって、自身のシナリオや状況に合ったキーに注目できる。

【0103】

図１６は、仮想入力装置２０に記憶される関連リストＬの一例（関連リストＬ３）である。関連リストＬ３には、間違って押されてはいけない無視すべきキーが記憶される。例えば、消防系のシナリオシーンでは、消防系とは関係の薄いシナリオシーン（例えば、救急系）のキーが、無視すべきキーとして関連リストＬ３に記憶される。

【0104】

図１７は、関連リストＬ３に応じて表示状態が変更された仮想端末ＶＴが、仮想現実表示装置の表示部２３０に表示された例である。表示部２３０には、その表示部２３０の向こう側の実世界に配置された操作端末の位置に対応付けて、仮想端末ＶＴが表示される。仮想端末ＶＴには、無視してもよいキーが表示されず、キーＫ１、キーＫ２、およびキー３のみが表示される。仮想現実表示装置を装着したユーザは、表示状態が変更されたキーを視認することによって、自身のシナリオや状況に合ったキーに注目できる。

【0105】

図１８は、特定のキーの選択に応じて、次の操作に関する案内が仮想現実表示装置の表示部２３０に表示された例である。表示部２３０には、その表示部２３０の向こう側の実世界に配置された操作端末の位置に対応付けて、仮想端末ＶＴが表示される。図１８の例では、仮想端末ＶＴのキーＫ０の選択に応じて、仮想モニターＶＭ１に、「次は、キーＫ１を押してください」という案内が表示される。また、表示部２３０に表示された仮想端末ＶＴの領域Ｒ１には、シナリオに応じて表示状態が変更されたキーが表示される。領域Ｒ１のキーの表示状態は、他の領域に配置されたキーの表示状態と比べて、目立つ色や明るさで表示される。特に、次の操作対象であるキーＫ１は、他のキーと比べて強調して表示される。例えば、仮想モニターＶＭ１や仮想端末ＶＴの表示は、関連リストのシナリオに応じて、変更される。仮想現実表示装置を装着したユーザは、仮想モニターＶＭ１に表示された案内と、仮想端末ＶＴにおいて強調して表示されたキーＫ１とを視認することによって、次に操作すべきキーＫ１を選択できる。次の操作に関する案内は、仮想モニターＶＭの表示のみならず、音声によってなされてもよい。

【0106】

（動作）
次に、本実施形態に係る仮想入力装置２０の動作の一例について図面を参照しながら説明する。以下においては、ユーザ情報および関連情報に応じた仮想端末ＶＴを表示する段階に関して説明する。ユーザ情報に応じて表示された仮想端末ＶＴに対するユーザの操作に応じて表示を変更する段階については、第１の実施形態（図９）と同様であるので、説明を省略する。

【0107】

図１９は、仮想入力装置２０の動作の一例について説明するためのフローチャートである。図１９のフローチャートに沿った処理においては、仮想入力装置２０を動作主体とする。

【0108】

図１９において、まず、仮想入力装置２０は、仮想現実表示装置を使用するユーザのユーザ情報を取得する（ステップＳ２１１）。

【0109】

次に、仮想入力装置２０は、記憶部（図示しない）に記憶された関連リストＬから、ユーザ情報に応じた関連情報を取得する（ステップＳ２１２）。

【0110】

次に、仮想入力装置２０は、仮想現実表示装置のカメラによって撮影された映像データ（画像データ）を取得する（ステップＳ２１３）。

【0111】

次に、仮想入力装置２０は、取得した映像データ（画像データ）を解析して、操作端末を検出する（ステップＳ２１４）。

【0112】

映像データ（画像データ）から操作端末を検出すると（ステップＳ２１４でＹｅｓ）、仮想入力装置２０は、実世界における操作端末の位置を特定する（ステップＳ２１５）。操作端末が検出されなかった場合（ステップＳ２１４でＮｏ）、仮想入力装置２０は、新たな映像データ（画像データ）を取得する（ステップＳ２１３）。

【0113】

ステップＳ２１５の次に、仮想入力装置２０は、実世界における操作端末の位置に合わせて、ユーザ情報および関連情報に応じた仮想端末ＶＴを含む表示情報を生成する（ステップＳ２１６）。

【0114】

次に、仮想入力装置２０は、生成された表示情報を仮想現実表示装置に出力する（ステップＳ２１７）。仮想現実表示装置の表示部２３０には、仮想入力装置２０から出力された表示情報に応じた映像（画像）が表示される。ステップＳ２１７の次は、第１の実施形態に係る処理（図９のフローチャート）に準じた処理移行する。

【0115】

以上のように、本実施形態の仮想入力装置は、ユーザ情報取得部、関連情報取得部、映像取得部、映像解析部、操作認識部、表示情報生成部、および表示情報出力部を備える。映像取得部および表示情報出力部は、入出力部を構成する。ユーザ情報取得部は、仮想現実表示装置を使用するユーザのユーザ情報を取得する。関連情報取得部は、ユーザ情報に応じた関連情報を取得する。映像取得部は、仮想現実表示装置のカメラによって撮影された画像データを取得する。映像解析部は、画像データを解析して仮想端末を表示させる位置を特定する。表示情報生成部は、仮想現実表示装置を装着したユーザのユーザ情報に応じた仮想端末を含む表示情報を生成する。また、表示情報生成部は、関連情報に応じたキーを強調表示させる。表示情報出力部は、仮想現実表示装置の表示部に表示される表示情報を仮想現実表示装置に出力する。

【0116】

本実施形態の仮想入力装置は、仮想現実表示装置のカメラによって撮影された実世界の画像データに基づいて、仮想端末を表示させる位置を特定する。本実施形態の仮想入力装置は、特定された位置に仮想端末が表示される表示情報を、仮想現実表示装置に出力する。ユーザによって装着された仮想現実表示装置の表示部には、実世界の状況が反映された位置に、そのユーザのユーザ情報に応じた仮想端末が表示される。仮想端末においては、関連情報に応じたキーが強調表示される。仮想現実表示装置を装着したユーザは、関連情報に応じたキーが強調表示された仮想端末を視認する。ユーザは、強調表示されたキーを視認することによって、操作すべきキーを認識できる。そのため、本実施形態の仮想入力装置によれば、仮想空間に表示された仮想端末に対する直感的な操作を実現できる。

【0117】

（第３の実施形態）
次に、第３の実施形態に係る仮想入力装置について図面を参照しながら説明する。本実施形態の仮想入力装置は、認証装置を用いて、ユーザを認証する。本実施形態の仮想入力装置は、第１の実施形態に係る仮想入力装置の替わりに、第１の実施形態の仮想入力システムに組み込まれる。本実施形態の仮想入力装置は、第２の実施形態に係る仮想入力装置と組み合わされてもよい。

【0118】

（構成）
図２０は、仮想入力装置３０の構成の一例を示すブロック図である。仮想入力装置３０は、ユーザ情報取得部３１、映像取得部３２、表示情報出力部３３、映像解析部３５、操作認識部３６、および表示情報生成部３７を有する。映像取得部３２および表示情報出力部３３は、入出力部３４を構成する。仮想入力装置３０は、認証装置３１０に接続される。

【0119】

認証装置３１０は、仮想現実表示装置を装着したユーザを認証する装置である。認証装置３１０は、認証されたユーザの認証情報を仮想入力装置３０に出力する。例えば、認証装置３１０は、認証されたユーザの認証情報として、そのユーザの識別子を仮想入力装置３０に出力する。認証装置３１０は、認証されなかったユーザの認証情報を仮想入力装置３０に出力しない。

【0120】

例えば、認証装置３１０は、ユーザのＩＤ（Identifier）およびパスワードの入力を受け付けて、ユーザを認証する。例えば、認証装置３１０は、ユーザの指紋や掌紋、指静脈、虹彩、顔、声などの生体情報を用いて、ユーザを認証する生体認証装置である。ユーザを認証できれば、認証装置３１０が行う認証方式には、限定を加えない。認証装置３１０は、仮想入力装置３０と接続される仮想現実表示装置とは別に設けられてもよいし、仮想現実表示装置に設けられてもよい。例えば、仮想現実表示装置の内側に内蔵されたカメラによって、ユーザの顔や虹彩を認証するように構成されてもよい。例えば、仮想現実表示装置に併設されたヒアラブルデバイスを用いた耳認証によって、ユーザを認証するように構成されてもよい。

【0121】

ユーザ情報取得部３１（ユーザ情報取得手段）は、ユーザ情報取得部３１は、認証装置３１０からユーザの認証情報を取得する。ユーザ情報取得部３１は、取得したユーザの認証情報に応じて、ユーザを認証する。ユーザが認証された場合、ユーザ情報取得部３１は、そのユーザに関するユーザ情報を取得する。ユーザ情報取得部３１は、取得したユーザ情報を、表示情報生成部３７に出力する。また、ユーザが認証されなかった場合、ユーザ情報取得部３１は、そのユーザが認証されなかったことを示す非認証情報を、表示情報生成部３７に出力する。

【0122】

映像取得部３２（映像取得手段）は、第１の実施形態の映像取得部１２と同様の構成である。映像取得部３２は、仮想現実表示装置から画像データを取得する。画像データは、仮想現実表示装置のカメラによって撮影された画像データである。映像取得部３２は、取得した画像データを映像解析部３５に出力する。映像取得部３２は、時間的に連続する複数の画像データ（フレーム）によって構成される映像データを取得するように構成されてもよい。そのように構成された場合、映像取得部３２は、取得した映像データを映像解析部３５に出力する。

【0123】

表示情報出力部３３（表示情報出力手段）は、第１の実施形態の表示情報出力部１３と同様の構成である。表示情報出力部３３は、表示情報生成部３７によって生成された表示情報を、仮想現実表示装置に出力する。表示情報には、仮想現実表示装置の表示部に表示される画像と、その画像が表示される座標とが含まれる。

【0124】

第１の実施形態と同様に、映像取得部３２と表示情報出力部３３は、入出力部３４を構成する。例えば、入出力部３４は、Ｂｌｕｅｔｏｏｔｈ（登録商標）やＷｉＦｉ（登録商標）、無線ＬＡＮなどの無線通信によって、仮想現実表示装置に接続される。入出力部３４は、Ｂｌｕｅｔｏｏｔｈ（登録商標）やＷｉＦｉ（登録商標）、無線ＬＡＮ以外の無線方式で、仮想現実表示装置と接続されてもよい。また、入出力部３４は、ユーザの作業性に影響が及ばなければ、有線ケーブルを介して、仮想現実表示装置に接続されてもよい。

【0125】

映像解析部３５（映像解析手段）は、第１の実施形態の映像解析部１５と同様の構成である。映像解析部３５は、映像取得部３２から映像データを取得する。映像解析部３５は、取得した映像データを解析して、操作端末を検出する。映像解析部３５は、操作端末に付された少なくとも一つの目印の位置を検出する。映像解析部３５は、検出された少なくとも一つの目印の位置を、表示情報生成部３７に出力する。

【0126】

また、映像解析部３５は、操作端末を操作するユーザの手や指の位置を検出する。映像解析部３５は、操作端末から検出される特徴に応じて、操作端末に目印を設定してもよい。映像解析部３５は、ユーザの手や指の位置と、操作端末に付された少なくとも一つの目印の位置とを操作認識部３６に出力する。

【0127】

操作認識部３６（操作認識手段）は、ユーザの手や指の位置と、操作端末に付された目印の位置とを、映像解析部３５から取得する。操作認識部３６は、操作端末に付された目印の位置に基づいて、操作端末のキーの位置を特定する。また、操作認識部３６は、ユーザの手や指の位置と、操作端末のキーの位置とを対応付けて、ユーザが操作入力したキーを特定する。操作認識部３６は、特定されたキーに関する情報を、表示情報生成部３７に出力する。

【0128】

表示情報生成部３７（表示情報生成手段）は、ユーザ情報取得部３１からユーザ情報を取得する。また、表示情報生成部３７は、操作端末に付された少なくとも一つの目印の位置を映像解析部３５から取得する。表示情報生成部３７は、取得した少なくとも一つの目印の位置に合わせて、ユーザ情報および関連情報に応じた仮想端末ＶＴの画像を生成する。

【0129】

また、表示情報生成部３７は、特定されたキーに関する情報を操作認識部３６から取得する。表示情報生成部３７は、特定されたキーに応じて、仮想現実表示装置の表示部に表示される仮想モニターＶＭの画像を生成する。表示情報生成部３７は、生成した画像（表示情報）を表示情報出力部３３に出力する。

【0130】

また、ユーザ情報取得部３１から非認証情報を取得した場合、表示情報生成部３７は、認証不可を示す表示情報を生成する。表示情報生成部３７は、生成した表示情報を表示情報出力部３３に出力する。非認証情報を取得した場合、表示情報生成部３７は、表示情報を生成しないように構成されてもよい。

【0131】

（動作）
次に、本実施形態に係る仮想入力装置３０の動作の一例について図面を参照しながら説明する。以下においては、ユーザ情報に応じた仮想端末ＶＴを表示する段階に関して説明する。ユーザ情報に応じて表示された仮想端末ＶＴに対するユーザの操作に応じて、表示を変更する段階については、第１の実施形態（図９）と同様であるので、説明を省略する。

【0132】

図２１は、仮想入力装置３０の動作の一例について説明するためのフローチャートである。図２１のフローチャートに沿った処理においては、仮想入力装置３０を動作主体とする。

【0133】

図２１において、まず、仮想入力装置３０は、仮想現実表示装置を装着したユーザの認証情報を取得する（ステップＳ３１１）。

【0134】

次に、仮想入力装置３０は、取得した認証情報を用いて、ユーザを認証する（ステップＳ３１２）。ユーザが認証されなかった場合（ステップＳ３１２でＮｏ）、仮想入力装置３０は、認証不可を示す表示情報を生成する（ステップＳ３１３）。ステップＳ３１３の次は、ステップＳ３１８に進む。

【0135】

ユーザが認証された場合（ステップＳ３１２でＹｅｓ）、仮想入力装置３０は、仮想現実表示装置のカメラによって撮影された映像データ（画像データ）を取得する（ステップＳ３１４）。

【0136】

次に、仮想入力装置３０は、取得した映像データ（画像データ）を解析して、操作端末を検出する（ステップＳ３１５）。

【0137】

映像データ（画像データ）から操作端末を検出すると（ステップＳ３１５でＹｅｓ）、仮想入力装置３０は、実世界における操作端末の位置を特定する（ステップＳ３１６）。操作端末が検出されなかった場合（ステップＳ３１５でＮｏ）、仮想入力装置３０は、新たな映像データ（画像データ）を取得する（ステップＳ３１４）。

【0138】

ステップＳ３１６の次に、仮想入力装置３０は、実世界における操作端末の位置に合わせて、ユーザ情報に応じた仮想端末を含む表示情報を生成する（ステップＳ３１７）。

【0139】

ステップＳ３１３、またはステップＳ３１７の次に、仮想入力装置３０は、生成された表示情報を仮想現実表示装置に出力する（ステップＳ３１８）。仮想現実表示装置の表示部には、仮想入力装置３０から出力された表示情報に応じた映像（画像）が表示される。ステップＳ３１８の次は、第１の実施形態に係る処理（図９のフローチャート）に準じた処理移行する。

【0140】

以上のように、本実施形態の仮想入力装置は、ユーザ情報取得部、映像取得部、映像解析部、操作認識部、表示情報生成部、および表示情報出力部を備える。映像取得部および表示情報出力部は、入出力部を構成する。ユーザ情報取得部は、仮想現実表示装置を使用するユーザのユーザ情報を取得する。また、ユーザ情報取得部は、仮想現実表示装置を使用するユーザの認証情報を取得する。映像取得部は、仮想現実表示装置のカメラによって撮影された画像データを取得する。映像解析部は、画像データを解析して仮想端末を表示させる位置を特定する。表示情報生成部は、認証されたユーザが使用する仮想現実表示装置に対して、表そのユーザのユーザ情報に応じた仮想端末を含む表示情報を生成する。表示情報出力部は、仮想現実表示装置の表示部に表示される表示情報を仮想現実表示装置に出力する。

【0141】

本実施形態の仮想入力装置は、仮想現実表示装置のカメラによって撮影された実世界の画像データに基づいて、仮想端末を表示させる位置を特定する。本実施形態の仮想入力装置は、認証されたユーザが使用する仮想現実表示装置に対して、特定された位置に仮想端末が表示される表示情報を出力する。認証されたユーザによって装着された仮想現実表示装置の表示部には、実世界の状況が反映された位置に、そのユーザのユーザ情報に応じた仮想端末が表示される。仮想現実表示装置の表示部に表示された仮想端末は、認証されたユーザのみが視認できる。そのため、本実施形態の仮想入力システムによれば、仮想空間に表示された仮想端末に対する操作のセキュリティを向上できる。

【0142】

（第４の実施形態）
次に、第４の実施形態に係る仮想入力装置の構成の一例について図面を参照しながら説明する。本実施形態の仮想入力装置は、第１～第３の実施形態の仮想入力装置を簡略化した構成である。

【0143】

図２２は、本実施形態に係る仮想入力装置４０の構成の一例を示すブロック図である。本実施形態の仮想入力装置４０は、入出力部４４、映像解析部４５、および表示情報生成部４７を備える。入出力部４４（入出力手段）は、仮想現実表示装置のカメラによって撮影された画像データを取得する。入出力部４４は、仮想現実表示装置の表示部に表示される表示情報を仮想現実表示装置に出力する。映像解析部４５（映像解析手段）は、画像データを解析して仮想端末を表示させる位置を特定する。表示情報生成部４７（表示情報生成手段）は、仮想現実表示装置を装着したユーザのユーザ情報に応じた仮想端末を含む表示情報を生成する。

【0144】

本実施形態の仮想入力装置は、仮想現実表示装置のカメラによって撮影された実世界の画像データに基づいて、仮想端末を表示させる位置を特定する。本実施形態の仮想入力装置は、特定された位置に仮想端末が表示される表示情報を、仮想現実表示装置に出力する。ユーザによって装着された仮想現実表示装置の表示部には、実世界の状況が反映された位置に、そのユーザのユーザ情報に応じた仮想端末が表示される。仮想現実表示装置を装着したユーザは、実世界の状況が反映された位置に表示された仮想端末を視認する。ユーザは、そのユーザにカスタマイズされた仮想端末を、実世界に操作端末が配置されている感覚で、違和感なく操作できる。そのため、本実施形態の仮想入力装置によれば、仮想空間に表示された仮想端末に対する継続的な操作を実現できる。

【0145】

（ハードウェア）
次に、本開示の各実施形態に係る制御や処理を実行するハードウェア構成について、図面を参照しながら説明する。ここでは、そのようなハードウェア構成の一例として、図２３の情報処理装置９０（コンピュータ）をあげる。図２３の情報処理装置９０は、各実施形態の制御や処理を実行するための構成例であって、本開示の範囲を限定するものではない。

【0146】

図２３のように、情報処理装置９０は、プロセッサ９１、主記憶装置９２、補助記憶装置９３、入出力インターフェース９５、および通信インターフェース９６を備える。図２３においては、インターフェースをＩ／Ｆ（Interface）と略記する。プロセッサ９１、主記憶装置９２、補助記憶装置９３、入出力インターフェース９５、および通信インターフェース９６は、バス９８を介して、互いにデータ通信可能に接続される。また、プロセッサ９１、主記憶装置９２、補助記憶装置９３、および入出力インターフェース９５は、通信インターフェース９６を介して、インターネットやイントラネットなどのネットワークに接続される。

【0147】

プロセッサ９１は、補助記憶装置９３等に格納されたプログラム（命令）を、主記憶装置９２に展開する。例えば、プログラムは、各実施形態の制御や処理を実行するためのソフトウェアプログラムである。プロセッサ９１は、主記憶装置９２に展開されたプログラムを実行する。プロセッサ９１は、プログラムを実行することによって、各実施形態に係る制御や処理を実行する。

【0148】

主記憶装置９２は、プログラムが展開される領域を有する。主記憶装置９２には、プロセッサ９１によって、補助記憶装置９３等に格納されたプログラムが展開される。主記憶装置９２は、例えばＤＲＡＭ（Dynamic Random Access Memory）などの揮発性メモリによって実現される。また、主記憶装置９２として、ＭＲＡＭ（Magneto resistive Random Access Memory）などの不揮発性メモリが構成／追加されてもよい。

【0149】

補助記憶装置９３は、プログラムなどの種々のデータを記憶する。補助記憶装置９３は、ハードディスクやフラッシュメモリなどのローカルディスクによって実現される。なお、種々のデータを主記憶装置９２に記憶させる構成とし、補助記憶装置９３を省略することも可能である。

【0150】

入出力インターフェース９５は、規格や仕様に基づいて、情報処理装置９０と周辺機器とを接続するためのインターフェースである。通信インターフェース９６は、規格や仕様に基づいて、インターネットやイントラネットなどのネットワークを通じて、外部のシステムや装置に接続するためのインターフェースである。外部機器と接続されるインターフェースとして、入出力インターフェース９５と通信インターフェース９６とが共通化されてもよい。

【0151】

情報処理装置９０には、必要に応じて、キーボードやマウス、タッチパネルなどの入力機器が接続されてもよい。それらの入力機器は、情報や設定の入力に使用される。入力機器としてタッチパネルが用いられる場合、タッチパネルの機能を有する画面がインターフェースになる。プロセッサ９１と入力機器とは、入出力インターフェース９５を介して接続される。

【0152】

情報処理装置９０には、情報を表示するための表示機器が備え付けられてもよい。表示機器が備え付けられる場合、情報処理装置９０には、表示機器の表示を制御するための表示制御装置（図示しない）が備えられる。情報処理装置９０と表示機器は、入出力インターフェース９５を介して接続される。

【0153】

情報処理装置９０には、ドライブ装置が備え付けられてもよい。ドライブ装置は、プロセッサ９１と記録媒体（プログラム記録媒体）との間で、記録媒体に格納されたデータやプログラムの読み込みや、情報処理装置９０の処理結果の記録媒体への書き込みを仲介する。情報処理装置９０とドライブ装置は、入出力インターフェース９５を介して接続される。

【0154】

以上が、本開示の各実施形態に係る制御や処理を可能とするためのハードウェア構成の一例である。図２３のハードウェア構成は、各実施形態に係る制御や処理を実行するためのハードウェア構成の一例であって、本開示の範囲を限定するものではない。各実施形態に係る制御や処理をコンピュータに実行させるプログラムも、本開示の範囲に含まれる。

【0155】

各実施形態に係るプログラムを記録したプログラム記録媒体も、本開示の範囲に含まれる。記録媒体は、例えば、ＣＤ（Compact Disc）やＤＶＤ（Digital Versatile Disc）などの光学記録媒体で実現できる。記録媒体は、ＵＳＢ（Universal Serial Bus）メモリやＳＤ（Secure Digital）カードなどの半導体記録媒体によって実現されてもよい。また、記録媒体は、フレキシブルディスクなどの磁気記録媒体、その他の記録媒体によって実現されてもよい。プロセッサが実行するプログラムが記録媒体に記録されている場合、その記録媒体はプログラム記録媒体に相当する。

【0156】

各実施形態の構成要素は、任意に組み合わせられてもよい。各実施形態の構成要素は、ソフトウェアによって実現されてもよい。各実施形態の構成要素は、回路によって実現されてもよい。

【0157】

以上、実施形態を参照して本発明を説明してきたが、本発明は上記実施形態に限定されるものではない。本発明の構成や詳細には、本発明のスコープ内で当業者が理解し得る様々な変更をすることができる。

【符号の説明】

【0158】

１ 仮想入力システム
１０、２０、３０、４０ 仮想入力装置
１１、２１、３１ ユーザ情報取得部
１２、２２、３２ 映像取得部
１３、２３、３３ 表示情報出力部
１４、２４、３４、４４ 入出力部
１５、２５、３５、４５ 映像解析部
１６、２６、３６ 操作認識部
１７、２７、３７、４７ 表示情報生成部
２８ 関連情報取得部
１００ 仮想現実表示装置
１１０ 制御装置
１１１ 通信部
１１３ 表示コントローラ
１１５ メモリ
１１７ 電源
１２０Ｒ、１２０Ｌ カメラ
１３０、２３０ 表示部
１４０ カバー
１５０ ドライバ
１７０ 操作端末
３１０ 認証装置

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】

【図15】

【図16】

【図17】

【図18】

【図19】

【図20】

【図21】

【図22】

【図23】