特許 7515590 情報処理端末、遠隔制御方法およびプログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2024-07-04

(45)【発行日】2024-07-12

(54)【発明の名称】情報処理端末、遠隔制御方法およびプログラム

(51)【国際特許分類】

   H04Q 9/00 20060101AFI20240705BHJP

   G06F 3/01 20060101ALI20240705BHJP

【ＦＩ】

H04Q9/00 331A

G06F3/01 510

【請求項の数】 11

(21)【出願番号】P 2022534560

(86)(22)【出願日】2020-07-08

(86)【国際出願番号】 JP2020026710

(87)【国際公開番号】W WO2022009338

(87)【国際公開日】2022-01-13

【審査請求日】2022-10-17

(73)【特許権者】

【識別番号】000005810

【氏名又は名称】マクセル株式会社

(74)【代理人】

【識別番号】110000442

【氏名又は名称】弁理士法人武和国際特許事務所

(72)【発明者】

【氏名】中出 眞弓

(72)【発明者】

【氏名】伊藤 保

【審査官】白井 亮

(56)【参考文献】

【文献】特開２０１２－１０５１３１（ＪＰ，Ａ）

【文献】特開２０１３－１７２４３２（ＪＰ，Ａ）

【文献】特表２００９－５１７９４９（ＪＰ，Ａ）

【文献】特表２００７－５１１１２８（ＪＰ，Ａ）

【文献】特開平０９－０１８９７１（ＪＰ，Ａ）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｈ０４Ｑ ９／００

Ｇ０６Ｆ ３／０１

(57)【特許請求の範囲】

【請求項1】

通信装置を備え、被制御機器に対して当該通信装置を介して制御コマンドを送信して当該被制御機器を遠隔制御する情報処理端末であって、
当該情報処理端末の周囲の画像である周囲画像に含まれる提示面に前記被制御機器を特定する被制御機器特定情報および所望の制御操作である所望制御操作を特定する所望制御操作特定情報が含まれている場合に、前記所望制御操作に対するユーザの操作指示を受け付ける受付オブジェクトを生成する仮想リモコン生成部と、
前記受付オブジェクトを介してユーザによる前記操作指示を受け付ける操作受付部と、
前記操作受付部が受け付けた前記操作指示に対応する前記制御コマンドを前記被制御機器に送信するコマンド送信部と、を備えること
を特徴とする情報処理端末。

【請求項2】

請求項１記載の情報処理端末であって、
前記仮想リモコン生成部は、
前記被制御機器特定情報を用いて当該被制御機器の制御データを取得する制御データ取得部と、
前記制御データに含まれる前記被制御機器を制御する制御コマンドと前記所望制御操作特定情報で特定される前記所望制御操作とを対応づける対応付部と、
前記受付オブジェクトを生成し、前記周囲画像を前記当該情報処理端末のディスプレイに表示した場合に前記所望制御操作を示す表記が表示される領域に当該受付オブジェクトを配置する仮想リモコン画像を生成する仮想画像生成部と、を備えること
を特徴とする情報処理端末。

【請求項3】

請求項２記載の情報処理端末であって、
前記仮想画像生成部は、生成した前記仮想リモコン画像を、当該情報処理端末が備えるディスプレイに、予め定めた期間表示させること
を特徴とする情報処理端末。

【請求項4】

請求項２記載の情報処理端末であって、
前記仮想画像生成部は、前記被制御機器が受け付けない制御操作が前記所望制御操作として特定された場合、前記受付オブジェクトに予め定めた不可表示を行うこと
を特徴とする情報処理端末。

【請求項5】

請求項２記載の情報処理端末であって、
前記被制御機器の前記制御データを、当該被制御機器に対応づけて記憶する制御データテーブルをさらに備え、
前記制御データ取得部は、前記制御データを、前記制御データテーブル、外部サーバ、および前記被制御機器のいずれかから取得すること
を特徴とする情報処理端末。

【請求項6】

請求項１記載の情報処理端末であって、
制御コマンドを出力する通信装置として、ＬＡＮ通信インタフェースおよび近距離通信インタフェースの少なくとも１つを備えること
を特徴とする情報処理端末。

【請求項7】

請求項２記載の情報処理端末であって、
前記提示面は、シート状であり、
前記提示面は、前記被制御機器を示す表記をさらに備え、
前記被制御機器を表す表記と前記所望制御操作を示す表記とは、ユーザが記載したものであること
を特徴とする情報処理端末。

【請求項8】

請求項１から７のいずれか１項記載の情報処理端末であって、
当該情報処理端末は、ヘッドマウントディスプレイであること
を特徴とする情報処理端末。

【請求項9】

請求項１から７のいずれか１項記載の情報処理端末であって、
当該情報処理端末は、スマートフォンであること
を特徴とする情報処理端末。

【請求項10】

通信装置を備え、被制御機器に対して当該通信装置を介して制御コマンドを送信して当該被制御機器を遠隔制御する情報処理端末における遠隔制御方法であって、
当該情報処理端末の周囲の画像である周囲画像に含まれる提示面に前記被制御機器を特定する被制御機器特定情報および所望の制御操作である所望制御操作を特定する所望制御操作特定情報が含まれている場合に、前記所望制御操作に対するユーザの操作指示を受け付ける受付オブジェクトを生成する仮想リモコン生成ステップと、
前記受付オブジェクトを介してユーザによる前記操作指示を受け付ける操作受付ステップと、
受け付けた前記操作指示に対応する前記制御コマンドを前記被制御機器に送信するコマンド送信ステップと、を備えること
を特徴とする遠隔制御方法。

【請求項11】

通信装置を備え、被制御機器に対して当該通信装置を介して制御コマンドを送信して当該被制御機器を遠隔制御する情報処理端末が備えるコンピュータに、
当該情報処理端末の周囲の画像である周囲画像に含まれる提示面に前記被制御機器を特定する被制御機器特定情報および所望の制御操作である所望制御操作を特定する所望制御操作特定情報が含まれている場合に、前記所望制御操作に対するユーザの操作指示を受け付ける受付オブジェクトを生成する仮想リモコン生成機能、
前記受付オブジェクトを介してユーザによる前記操作指示を受け付ける操作受付機能、
受け付けた前記操作指示に対応する前記制御コマンドを前記被制御機器に送信するコマンド送信機能を実現させるためのプログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、携帯情報端末を用いて遠隔制御を行う遠隔制御技術に関する。

【背景技術】

【0002】

携帯型情報端末として、眼鏡形式でグラス部の表示画面上に、実空間の映像と、コンピュータによる拡張現実（ＡＲ：Ａｕｇｍｅｎｔｅｄ Ｒｅａｌｉｔｙ）の生成画像（アバター等のＡＲオブジェクト）とを重畳させて表示するヘッドマウントディスプレイ（以下「ＨＭＤ」と記載する。）がある。

【0003】

一方、リモートコントローラ（以下、「リモコン」と記載する。）で操作する機器が増えている。これに対応し、種々のリモコン機能を集約した学習リモコン（各種リモコン機能を記憶させて対応）や、スマートリモコン（Ｗｉ－Ｆｉや無線ＬＡＮなどのインターネット通信を介して機器の動作を管理）などが一般化している。例えば、特許文献１には、指向性を持たせた汎用リモコンを、対象となる被遠隔制御機器に向けることで無線リンクを確立し、被遠隔制御機器から送信される操作アプリケーションを受信した当該汎用リモコンで、被遠隔制御機器を操作する遠隔操作システムが開示されている。

【先行技術文献】

【特許文献】

【0004】

【文献】国際公開第２０１２／１３２１７１号

【発明の概要】

【発明が解決しようとする課題】

【0005】

特許文献１に開示の技術によれば、汎用リモコンを遠隔操作したい機器に向けるだけで、機器を選択でき、かつ、その汎用リモコンを用いて選択した機器を遠隔操作できる。しかしながら、汎用リモコンに限らず、既製のリモコンは、普段使用しない機能の機能ボタンがあったり、機能ボタンの配置がユーザの好みと異なっていたり、等、必ずしもユーザフレンドリなインタフェースではない。また、汎用リモコンであっても、リモコンを探す煩わしさは、解消されない。

【0006】

本発明は、上記事情に鑑みてなされたもので、リモコンを探す煩わしさを解消し、ユーザの利便性を各段に向上させる遠隔制御技術を提供することを目的とする。

【課題を解決するための手段】

【0007】

本発明は、通信装置を備え、被制御機器に対して当該通信装置を介して制御コマンドを送信して当該被制御機器を遠隔制御する情報処理端末であって、当該情報処理端末の周囲の画像である周囲画像に含まれる提示面に前記被制御機器を特定する被制御機器特定情報および所望の制御操作である所望制御操作を特定する所望制御操作特定情報が含まれている場合に、前記所望制御操作に対するユーザの操作指示を受け付ける受付オブジェクトを生成する仮想リモコン生成部と、前記受付オブジェクトを介してユーザによる前記操作指示を受け付ける操作受付部と、前記操作受付部が受け付けた前記操作指示に対応する前記制御コマンドを前記被制御機器に送信するコマンド送信部と、を備えることを特徴とする。

【発明の効果】

【0008】

本発明によれば、リモコンを探す煩わしさを解消し、ユーザの利便性を各段に向上させる遠隔制御技術を提供する。上記した以外の課題、構成および効果は、以下の実施形態の説明により明らかにされる。

【図面の簡単な説明】

【0009】

【図1】本発明の実施形態の概要を説明するための説明図である。

【図2】本発明の実施形態の遠隔操作システムのシステム構成図である。

【図3】本発明の実施形態のＨＭＤのハードウェア構成図である。

【図4】本発明の実施形態のＨＭＤの機能ブロック図である。

【図5】本発明の実施形態の仮想リモコン画像の一例を説明するための説明図である。

【図6】本発明の実施形態の解析用テーブルの一例を説明するための説明図である。

【図7】（ａ）は、本発明の実施形態の制御データテーブルの一例を、（ｂ）は、本発明の実施形態のリモコンテーブルの一例を、それぞれ説明するための説明図である。

【図8】本発明の実施形態のジェスチャ動作テーブルの一例を説明するための説明図である。

【図9】本発明の実施形態の遠隔操作処理のフローチャートである。

【図10】本発明の実施形態の特定情報取得処理のフローチャートである。

【図11】本発明の実施形態の制御データ取得処理のフローチャートである。

【図12】（ａ）は、本発明の変形例の提示面の、（ｂ）および（ｃ）は、本発明の変形例の仮想リモコン画像の例を、それぞれ説明するための説明図である。

【図13】（ａ）は、本発明の変形例の提示面の、（ｂ）は、本発明の変形例の仮想リモコン画像の例を、それぞれ説明するための説明図である。

【図14】本発明の変形例の遠隔操作システムのシステム構成図である。

【図15】本発明の変形例の概要を説明するための説明図である。

【図16】本発明の変形例のスマートフォンのハードウェア構成図である。

【発明を実施するための形態】

【0010】

以下、本発明の実施形態を、図面を用いて説明する。

【0011】

本発明の実施形態を、図面を用いて説明する。実施形態の構成等の説明に先立ち、本実施形態の概要を説明する。なお、本明細書および図面において、同一物は同一符号を記載する。

【0012】

本実施形態は、例えば、リモートコントローラ（リモコン；遠隔操作装置）をなくしやすい年配のユーザ等の使用を念頭においたものである。年配のユーザは、リモコンをなくしやすいだけでなく、既製のリモコンに用意された多数のボタンにわずらわしさを感じることも多い。本実施形態では、これらを解決するために、例えば、いつでも、適当な紙に、手書き等で、必要最低限の制御操作を簡単に記載しさえすれば、それを、あたかも本物のリモコンのように使用できるようにする。

【0013】

図１は、本実施形態の概要を説明するための図である。本実施形態では、ＨＭＤ（ヘッドマウントディスプレイ）１００を装着したユーザ９０１が、操作したい機器（被制御機器）の名称と、所望の制御操作（所望制御操作）とを記載した紙等を用意する。以下、記載した紙等を提示面３００、記載された情報を記載情報３１０と呼ぶ。

【0014】

そして、ＨＭＤ１００は、ユーザ９０１がディスプレイ１３１を介して見た提示面３００の記載情報３１０から、被制御機器のリモコンの機能を、仮想リモコン画像４００として生成する。そして、ユーザ９０１の、提示面３００に対する操作を、仮想リモコン画像４００への操作として受け付け、ＨＭＤ１００から被制御機器を操作する。

【0015】

仮想リモコン画像４００は、ＨＭＤ１００が、提示面３００の記載情報３１０を読み取り、被制御機器の制御コマンドと対応付けることにより、生成される。生成された仮想リモコン画像４００は、ＨＭＤ１００のディスプレイ１３１上表示してもよい。例えば、提示面３００に記載された所望制御操作は、認識されると機能ボタン（受付オブジェクト）として、ＨＭＤ１００のディスプレイ１３１に表示されてもよい。そして、ユーザ９０１がジェスチャ等の操作を行い、その機能ボタンに対して指示を行うことにより、被制御機器を制御する。

【0016】

提示面３００は、例えば、上述の紙のようなシート状の部材であってもよい。また、記載情報３１０は、手書きで記載されていてもよい。しかしながら、提示面３００および記載情報３１０は、これに限定されない。

【0017】

これにより、本実施形態によれば、ユーザ９０１は、自分が用意した提示面３００をリモコンとして用いるかのように、被制御機器を操作できる。

【0018】

［システム構成］
以下、上記を実現する本実施形態の遠隔操作システム５００について、まず、システム構成を説明する。図２は、本実施形態の遠隔操作システム５００のシステム構成図である。

【0019】

本図に示すように、本実施形態の遠隔操作システム５００は、ＨＭＤ１００と、被制御機器５１０と、無線ルータ５２０と、ネットワークサーバ５５０と、を備える。

【0020】

無線ルータ５２０は、ネットワークサーバ５５０に、ネットワーク５３０を介して接続される。ＨＭＤ１００は、無線ルータ５２０を介してネットワークサーバ５５０に接続される。

【0021】

被制御機器５１０は無線ルータ５２０と有線ＬＡＮまたは無線ＬＡＮで接続される。ＨＭＤ１００は、無線ルータ５２０を介して、被制御機器５１０に制御コマンドを送信する。

【0022】

上記構成により、本実施形態では、ＨＭＤ１００を装着したユーザ９０１が、遠隔制御により被制御機器５１０を制御することができる。

【0023】

ネットワークサーバ５５０は、被制御機器５１０を制御するための、制御データが格納される外部サーバである。ＨＭＤ１００からの無線ルータ５２０およびネットワーク５３０を介して、要求があった被制御機器５１０の制御データを、送信元のＨＭＤ１００に、ネットワーク５３０および無線ルータ５２０を介して送信する。

【0024】

なお、ここでは、１台のネットワークサーバ５５０を代表して記載しているが、台数はこれに限定されない。例えば、被制御機器５１０のメーカが、それぞれネットワークサーバ５５０を提供してもよい。また、ネットワークサーバ５５０は、常に必要なものではない。ＨＭＤ１００が必要な情報をネットワークサーバ５５０から取得した後は、被制御機器５１０の制御は、ＨＭＤ１００と、無線ルータ５２０と、被制御機器５１０と間の通信により行う。

【0025】

被制御機器５１０は、ＨＭＤ１００を装着するユーザ９０１が、リモコンで制御したい機器である。例えば、エアコン、照明器具、ＴＶ、扇風機等の家電製品、ガス給湯器、床暖房等の、家庭用エネルギ管理システムであるＨＥＭＳ（Ｈｏｍｅ Ｅｎｅｒｇｙ Ｍａｎａｇｅｍｅｎｔ Ｓｙｓｔｅｍ）が適用できる機器等である。以下、本実施形態では、被制御機器５１０がエアコンを例にあげて説明する。なお、エアコンは、家庭用のエア・コンデショナー（以下、通称である「エアコン」と記載する。）を想定している。

【0026】

ＨＭＤ１００は、ユーザ９０１が頭部に装着して、処理した情報をディスプレイ１３１に表示する装置である。本実施形態のＨＭＤ１００は、眼鏡あるいはゴーグル形状を有し、眼鏡のレンズ位置にディスプレイ１３１を備える。ディスプレイ１３１は、透過型であっても、非透過型であってもよい。

【0027】

ＨＭＤ１００では、ユーザ９０１は、ディスプレイ１３１を介して、実空間の状況を観察できる。また、ディスプレイ１３１には、拡張現実のＡＲオブジェクトが表示される。従って、ユーザ９０１は、ディスプレイ１３１に表示されたＡＲオブジェクトと、実空間の状況との両者を同時に視認することができる。

【0028】

［ＨＭＤ］
次に、本実施形態のＨＭＤ１００のハードウェア構成および機能ブロックについて図面を用いて説明する。

【0029】

［ハードウェア構成］
以下、上記処理を実現する本実施形態のＨＭＤ１００について、ハードウェア構成を説明する。図３は、本実施形態のＨＭＤ１００の構成例を示すブロック図である。これらの図では、図１、図２に示した構成と同一のものには同一の符号を付す。

【0030】

本図に示すように、本実施形態のＨＭＤ１００は、メインプロセッサ１１１と、システムバス１１２と、記憶装置１１０と、操作受付装置１２０と、画像処理装置１３０と、音声処理装置１４０と、センサ１５０と、通信装置１６０と、拡張インタフェース（Ｉ／Ｆ）部１０５と、タイマ１０６と、を備える。

【0031】

メインプロセッサ１１１は、所定のプログラムに従ってＨＭＤ１００全体を制御する主制御部である。メインプロセッサ１１１は、ＣＰＵ（Ｃｅｎｔｏｒａｌ Ｐｒｏｃｅｓｓｏｒ Ｕｎｉｔ）またはマイクロプロセッサユニット（ＭＰＵ）で実現される。メインプロセッサ１１１は、記憶装置１１０に記憶されるオペレーティングシステム（Ｏｐｅｒａｔｉｎｇ Ｓｙｓｔｅｍ：ＯＳ）や各種の動作制御用アプリケーションなどのプログラムを実行することによって、ＨＭＤ１００全体の動作制御処理を行う。また、メインプロセッサ１１１は、各種のアプリの起動動作を制御する。メインプロセッサ１１１は、タイマ１０６が計測し、出力するクロック信号に従って、処理を行う。

【0032】

システムバス１１２は、メインプロセッサ１１１とＨＭＤ１００内の各部との間でデータ送受信を行うためのデータ通信路である。

【0033】

記憶装置１１０は、ＲＡＭ１１３とＲＯＭ１１４とフラッシュメモリ１１５と、を備える。記憶装置１１０には、オペレーティングシステムや、音楽、画像、文書等の各種の動作制御用アプリなどのプログラムが記憶される。また、オペレーティングシステムなどによる基本動作に必要なベースデータや、各種アプリなどで起動されるファイルデータなどの情報データが格納される。例えば、ＨＭＤ１００に搭載されている音楽アプリが起動し音楽のファイルデータが選択されると、ＨＭＤ１００では選択された音楽のファイルデータが再生されて、所望の音楽を聴くことができる。

【0034】

ＲＡＭ１１３は、基本動作プログラムやその他のアプリケーションプログラム実行時のプログラム領域である。また、ＲＡＭ１１３は、各種アプリケーションプログラム実行時に、必要に応じてデータを一時的に保持する一時記憶領域である。ＲＡＭ１１３は、メインプロセッサ１１１と一体構成であっても良い。

【0035】

ＲＯＭ１１４およびフラッシュメモリ１１５は、ＨＭＤ１００の機能を実現するための各種プログラムと、動作設定値、後述するセンサ１５０からの検出値を含むセンサ情報、仮想オブジェクトおよびコンテンツ等の各種表示用データを記憶する。

【0036】

フラッシュメモリ１１５は、ネットワーク５３０上からダウンロードした動作プログラムや前記動作プログラムで作成した各種データ等を記憶する。フラッシュメモリ１１５に記憶された各動作プログラムは、ネットワーク５３０上の各サーバ装置からのダウンロード処理により更新および機能拡張することができる。

【0037】

さらに、フラッシュメモリ１１５は、ネットワーク５３０上からダウンロードした動画や静止画や音声等のコンテンツを記憶できる。また、インカメラ１３４またはアウトカメラ１３３が撮影した動画や静止画等のデータを記憶する。

【0038】

ＲＯＭ１１４およびフラッシュメモリ１１５は、ＨＭＤ１００に外部から電源が供給されていない状態であっても記憶している情報を保持する、所謂不揮発性ストレージである。以下、ＲＯＭ１１４およびフラッシュメモリ１１５を、特に区別する必要がない場合は、両者を併せて内蔵メモリストレージ（Ｉｎｔｅｒｎａｌ Ｍｅｍｏｒｙ Ｓｔｏｒａｇｅ）と呼ぶ。メインプロセッサ１１１が、内蔵メモリストレージに記憶された新規アプリケーションプログラムをＲＡＭ１１３に展開し、実行することにより、ＨＭＤ１００は、多種の機能を実現できる。

【0039】

内蔵メモリストレージは、ＨＭＤ１００に電源が供給されていない状態であっても記憶している情報を保持する必要がある。従って、内蔵メモリストレージには、例えばフラッシュＲＯＭやＳＳＤ（Ｓｏｌｉｄ Ｓｔａｔｅ Ｄｒｉｖｅ）、ＨＤＤ（Ｈａｒｄ Ｄｉｓｃ Ｄｒｉｖｅ）等のデバイスが用いられる。

【0040】

操作受付装置１２０は、ＨＭＤ１００に対する操作指示の入力を受け付ける。本実施形態では、ボタンスイッチ１２１と、タッチパネル１２２と、を備える。ボタンスイッチ１２１は、電源キー、音量キー、ホームキー等である。また、タッチパネル１２２は、タッチパッドによる操作指示を受け付ける。なお、本実施形態のＨＭＤ１００は、必ずしも、これらの全ての操作受付装置１２０を備えなくてもよい。また、有線通信または無線通信により接続された別体の情報処理端末機器を介してＨＭＤ１００の操作を受け付けてもよい。

【0041】

操作受付装置１２０は、ＨＭＤ１００内でユーザ９０１が入力操作を行いやすい位置や形態に設ければよい。なお、ＨＭＤ１００の本体から分離し有線や無線で接続された形態でもよい。また、ユーザ９０１の視線を利用するものであってもよい。視線を利用するものは、例えば、ディスプレイ１３１内に入力操作画面を表示させ、後述するインカメラ１３４で検出したユーザ９０１の視線が向いている入力操作画面上の位置により入力操作情報を取り込む。ポインタを入力操作画面上に表示させ、ポインタを操作して入力操作情報を取り込んでもよい。また、ユーザ９０１が入力操作を示す音声を発声し、後述するマイク１４３で集音して入力操作情報を取り込んでもよい。

【0042】

画像処理装置１３０は、イメージ（ビデオ）プロセッサであり、ディスプレイ１３１と、アウトカメラ１３３と、インカメラ１３４と、を備える。

【0043】

ディスプレイ１３１は、例えば液晶パネル等の表示デバイス（ディスプレイ）であり、画像信号処理部で処理された画像データをＨＭＤ１００の使用者に提示する。ディスプレイ１３１は、左目用ディスプレイと、右目用ディスプレイと、を備える。ディスプレイ１３１は、透過型（光学透過型）ディスプレイまたは非透過型（ビデオ透過型）ディスプレイであってもよい。

【0044】

光学透過型ディスプレイは、起動アプリによる再生情報やユーザ９０１への通知情報など各種の情報を投影する投影部と投影された各種の情報を目の前で結像表示させる透明なハーフミラーを備える。また、ビデオ透過型ディスプレイは、アウトカメラ１３３で撮影された目の前の現実空間物体と各種の情報とを合わせて表示する液晶パネル等を備える。ディスプレイ１３１により、ユーザ９０１は、目の前の視界視野内の画像に加え、起動アプリによる音楽、画像、文書などの再生情報を合わせて視認する。

【0045】

なお、画像信号処理部は、アウトカメラ１３３およびインカメラ１３４から入力された画像を処理する、イメージ（ビデオ）シグナルプロセッサである。また、画像信号処理部は、メインプロセッサ１１１等により作成したオブジェクトを入力画像に重畳してディスプレイ１３１に出力する。画像信号処理部は、メインプロセッサ１１１により実現されてもよいし、メインプロセッサ１１１とは別に、画像専用のプロセッサを備え、それにより実現されてもよい。

【0046】

本実施形態では、ディスプレイ１３１に、ＡＲオブジェクトとして、リモコン画面を模した画像等が表示される。

【0047】

アウトカメラ１３３およびインカメラ１３４は、ＣＣＤ（Ｃｈａｒｇｅ Ｃｏｕｐｌｅｄ Ｄｅｖｉｃｅ）やＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ Ｍｅｔａｌ Ｏｘｉｄｅ Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）センサ等の電子デバイスを用いてレンズから入力した光を電気信号に変換することにより、周囲や対象物の画像データを入力するカメラである。

【0048】

アウトカメラ１３３は、ＨＭＤ１００の周囲の画像を取得する。アウトカメラ１３３は、ＨＭＤ１００の前面に設置され、前方の視界視野状態を撮影する。なお、ＨＭＤ１００には、ディスプレイ１３１の種類によって、光学透過型とビデオ透過型とがあるが、両者ともアウトカメラ１３３により撮影された、目の前の視野視界状態を撮影して取り込むものである。

【0049】

インカメラ１３４は、アウトカメラ１３３とは異なる領域の画像を取得する。例えば、ユーザ９０１の眼を撮影する。なお、本実施形態では、インカメラ１３４は、視線特定処理を行う処理部とともに、視線検出センサとして機能する。

【0050】

視線検出センサは、右目視線検出部と、左目視線検出部とを備え、それぞれ右目、左目の視線を検出する。なお、視線を検出する処理は、アイトラッキング処理として一般的に用いられている周知技術を利用すればよい。例えば、角膜反射を利用した方法では、赤外線ＬＥＤ（Ｌｉｇｈｔ Ｅｍｉｔｔｉｎｇ Ｄｉｏｄｅ）を顔に照射し、赤外線カメラで撮影し、赤外線ＬＥＤ照射でできた反射光の角膜上の位置（角膜反射）を基準点とし、角膜反射の位置に対する瞳孔の位置に基づいて視線を検出する。この場合、赤外線カメラ、赤外線ＬＥＤを備える。

【0051】

音声処理装置１４０は、音声を処理するオーディオプロセッサである。スピーカ１４１と、マイク１４３と、を備える。

【0052】

スピーカ１４１は、音声信号処理部で処理した音声信号を外部に出力する。音声信号処理部は、オーディオシグナルプロセッサである。ＨＭＤ１００では、例えば、ヘッドフォン等が用いられる。

【0053】

マイク１４３はマ、ユーザの声などを音声データに変換して入力する。例えば、外周音マイクと、発声音マイクとを備えてもよい。これらのマイクは、各々、外部からの音声、ユーザ９０１自身の発声を集音する。なお、ヘッドフォンが接続されてもよい。ヘッドフォンは、ユーザ９０１の耳部に装着されユーザ９０１への音声を聞き取る。

【0054】

センサ１５０は、ＨＭＤ１００の状態を検出するためのセンサ群である。本実施形態では、ＧＰＳ（Ｇｌｏｂａｌ Ｐｏｓｉｔｉｏｎｉｎｇ Ｓｙｓｔｅｍ）受信部１５１と、ジャイロセンサ１５２と、地磁気センサ１５３と、加速度センサ１５４と、深度センサ１５５とを備える。これらのセンサ群により、ＨＭＤ１００の位置、動き、傾き、方角等を検出する。また、深度センサ１５５は、ＨＭＤ１００から対象物までの距離情報を取得する。なお、その他のセンサを、さらに、備えていても良い。

【0055】

加速度センサ１５４は、単位時間当たりの速度の変化である加速度を検出するセンサであり、動き・振動・衝撃などを捉えることができる。また、ジャイロセンサ１５２は、回転方向の角速度を検出するセンサであり、縦・横・斜めの姿勢の状態を捉えることができる。ＨＭＤ１００に搭載されている加速度センサ１５４およびジャイロセンサ１５２を用いて、ＨＭＤ１００の動きを検出することができる。

【0056】

地磁気センサ１５３は、地球の磁力を検出するセンサであり、ＨＭＤ１００の向いている方向を検出するものである。前後方向と左右方向に加え上下方向の地磁気も検出する３軸タイプを用い、ＨＭＤ１００の動きに対する地磁気変化を捉まえることにより、ＨＭＤ１００の動きを検出してもよい。

【0057】

深度センサ１５５は、人や物などの対象物の形状を立体として捉えることができるセンサである。赤外線などのレーザー光を対象物に照射し、はね返ってくる散乱光を測定し遠距離にある対象物までの距離やその対象物の状態を分析検出するＬｉＤＡＲ（Ｌｉｇｈｔ Ｄｅｔｅｃｔｉｏｎ ａｎｄ Ｒａｎｇｉｎｇ）や、被写体に照射したパルス光の反射時間を画素ごとに計測して測距を行うＴＯＦ（Ｔｉｍｅ Ｏｆ Ｆｌｉｇｈｔ）センサ、ミリ波の電波を発射しその反射波を捉まえて反射している対象物までの距離や対の象物の状態を検出するミリ波レーダーなどが用いられる。

【0058】

通信装置１６０は、近距離無線通信、無線ＬＡＮ或いは基地局通信により、近傍にある他の情報端末と無線通信を行う通信インタフェースである。無線通信に際しては送受信アンテナを介して、データの送受信を行う。

【0059】

通信装置１６０は、ＬＡＮ（Ｌｏｃａｌ Ａｒｅａ Ｎｅｔｗｏｒｋ）通信インタフェース（Ｉ／Ｆ）１６１と、電話網通信Ｉ／Ｆ１６２と、ＢＴ（Ｂｌｕｅｔｏｏｔｈ（登録商標））通信Ｉ／Ｆ１６３と、赤外線通信Ｉ／Ｆ１６４と、を備える。

【0060】

ＬＡＮ通信Ｉ／Ｆ１６１は、無線アクセスポイント等を介してインターネット等のネットワーク５３０と接続され、ネットワーク５３０上の各サーバとデータの送受信を行う。無線アクセスポイント等との接続はＷｉ－Ｆｉ（登録商標）や、ＢｌｕｅＴｏｏｔｈ（登録商標）を用いてもよい。

【0061】

電話網通信Ｉ／Ｆ１６２は、移動体電話通信網を利用して通信ネットワークに接続され、通信ネットワーク上のサーバと情報の送受信を行う。用いられる通信方式には、例えば、ＧＳＭ（登録商標）（Ｇｌｏｂａｌ Ｓｙｓｔｅｍ ｆｏｒ Ｍｏｂｉｌｅ Ｃｏｍｍｕｎｉｃａｔｉｏｎｓ）方式、Ｗ－ＣＤＭＡ（Ｗｉｄｅｂａｎｄ Ｃｏｄｅ Ｄｉｖｉｓｉｏｎ Ｍｕｌｔｉｐｌｅ Ａｃｃｅｓｓ）方式やＣＤＭＡ２０００方式、ＵＭＴＳ（Ｕｎｉｖｅｒｓａｌ Ｍｏｂｉｌｅ Ｔｅｌｅｃｏｍｍｕｎｉｃａｔｉｏｎｓ Ｓｙｓｔｅｍ）方式などの第３世代移動通信システム（以下「３Ｇ」と表記する）、または、ＬＴＥ（Ｌｏｎｇ Ｔｅｒｍ Ｅｖｏｌｕｔｉｏｎ）方式、第４世代（４Ｇ）、第５世代（５Ｇ）と呼ばれる通信方式等がある。

【0062】

ＢＴ通信Ｉ／Ｆ１６３は、Ｂｌｕｅｔｏｏｔｈ規格により外部装置と通信を行うためのインタフェースである。赤外線通信Ｉ／Ｆ１６４は、赤外線により、外部装置と通信を行うためのインタフェースである。例えば、ＩｒＤＡ（Ｉｎｆｒａｒｅｄ Ｄａｔａ Ａｓｓｏｃｉａｔｉｏｎ、登録商標）などを用いる。

【0063】

なお、近距離無線通信として、Ｚｉｇｂｅｅ（登録商標）、ＨｏｍｅＲＦ（Ｈｏｍｅ Ｒａｄｉｏ Ｆｒｅｑｕｅｎｃｙ、登録商標）などを用いて行ってもよい。または、Ｗｉ－Ｆｉ（登録商標）などの無線ＬＡＮを用いて行なってもよい。また、超広帯域無線システム（Ｕｌｔｒａ Ｗｉｄｅ Ｂａｎｄ：ＵＷＢ）を用いてもよい。

【0064】

ＬＡＮ通信Ｉ／Ｆ１６１、電話網通信Ｉ／Ｆ１６２、ＢＴ通信Ｉ／Ｆ１６３および赤外線通信Ｉ／Ｆ１６４は、それぞれ符号化回路や復号回路、アンテナ等を備える。

【0065】

なお、通信装置１６０は、無線通信の手段として光通信音波による通信等、他の方法を使用してもよい。その場合、送受信アンテナの代わりにそれぞれ光発光／受光部、音波出力／音波入力部を用いる。

【0066】

拡張インタフェース部１０５は、ＨＭＤ１００の機能を拡張するためのインタフェース群であり、本実施形態では、充電端子、映像／音声インタフェース、ＵＳＢ（Ｕｎｉｖｅｒｓａｌ Ｓｅｒｉａｌ Ｂｕｓ）インタフェース、メモリインタフェース等を備える。映像／音声インタフェースは、外部映像／音声出力機器からの映像信号／音声信号の入力、外部映像／音声入力機器への映像信号／音声信号の出力、等を行う。ＵＳＢインタフェースはＳＢ機器の接続を行う。メモリインタフェースはメモリカードやその他のメモリ媒体を接続してデータの送受信を行う。

【0067】

なお、図３に示すＨＭＤ１００の構成例は、本実施形態に必須ではない構成も含んでいるが、これらが備えられていない構成であっても本実施形態の効果を損なうことはない。また、デジタル放送受信機能や電子マネー決済機能等、図示していない構成がさらに加えられていても良い。

【0068】

［ＨＭＤの機能ブロック］
次に、ＨＭＤ１００の、本実施形態に関連する機能構成について説明する。図４は、本実施形態のＨＭＤ１００の機能ブロック図である。本図に示す各機能は、メインプロセッサ１１１が内部メモリストレージに格納されたプログラムをＲＡＭ１１３にロードして実行することにより実現される。

【0069】

図４に示すように、ＨＭＤ１００は、主制御部２１０と、仮想リモコン生成部２２０と、操作受付部２３０と、コマンド送信部２４０と、データ記憶部２５０と、を備える。データ記憶部２５０には、解析用テーブル２５１と、制御データテーブル２５２と、リモコンテーブル２５３と、ジェスチャ動作テーブル２５４と、処理データ２５５と、が格納される。データ記憶部２５０は、内部メモリストレージまたはＲＡＭ１１３に構築される。

【0070】

主制御部２１０は、ＨＭＤ１００全体の動作を制御する。

【0071】

仮想リモコン生成部２２０は、提示面３００上の記載情報３１０から、被制御機器５１０の仮想リモコンを生成する。仮想リモコンは、ＨＭＤ１００のユーザ９０１が提示面３００上の記載情報３１０を、被制御機器５１０のリモコンのように使用できる機能である。本実施形態の仮想リモコン生成部２２０は、リモコンの機能ボタンを提示面３００の対応する記載情報３１０上に重畳して提示する仮想リモコン画像４００を生成する。なお、後述する操作受付部２３０が、この仮想リモコン画像４００上の機能ボタンに対するユーザ９０１の操作指示を受け付け、コマンド送信部２４０が被制御機器５１０に制御コマンドを送信する。

【0072】

本実施形態の仮想リモコン生成部２２０は、画像取得部２２１と、特定情報取得部２２２と、制御データ取得部２２３と、対応付部２２４と、仮想画像生成部２２５と、を備える。

【0073】

画像取得部２２１は、仮想リモコンのベースとなる提示面３００の画像を取得する。本実施形態では、アウトカメラ１３３で実空間を撮影し、周囲画像を取得する。撮影する実空間は、提示面３００の記載情報３１０を含む。

【0074】

特定情報取得部２２２は、特定情報取得処理を行う。特定情報取得処理は、画像取得部２２１が取得した周囲画像を解析し、ユーザ９０１が操作したい機器である被制御機器と、操作したい制御操作である所望制御操作とを特定する処理である。本実施形態では、提示面３００上の記載情報３１０を解析し、被制御機器と所望制御操作とを特定する。特定には、解析用テーブル２５１を用いる。特定結果は、それぞれ、被制御機器特定情報、所望制御操作特定情報として出力する。解析用テーブル２５１および特定情報取得処理については、後述する。

【0075】

制御データ取得部２２３は、制御データ取得処理を行う、制御データ取得処理は、特定情報取得部２２２で特定した被制御機器５１０の制御データを取得する処理である。制御データ取得部２２３は、まず、被制御機器５１０の制御データが自装置（ＨＭＤ１００）の制御データテーブル２５２に格納されているか否かを判別する。そして、格納されていない場合、接続可能な被制御機器５１０で制御データテーブル２５２に格納されていない被制御機器５１０の有無を確認する。制御データテーブル２５２に格納されていない被制御機器５１０が有る場合、被制御機器５１０から被制御機器５１０の情報、例えば、機器名や型番等を取得し、ネットワークサーバ５５０から制御データを取得する。ネットワークサーバ５５０から取得した制御データは、被制御機器５１０毎に付与される識別情報（ＩＤ）に対応づけて制御データテーブル２５２に格納される。制御データ取得処理および制御データテーブル２５２については、後述する。

【0076】

なお、制御データには、被制御機器５１０ごとの、可能な制御操作と、各制御操作の制御コマンドと、が含まれる。

【0077】

対応付部２２４は、特定情報取得部２２２が特定した所望制御操作と制御データに含まれる制御コマンドとを対応付ける対応付処理を行う。対応づけた結果は、リモコンテーブル２５３に格納する。このリモコンテーブル２５３が、ユーザ９０１が所望する仮想リモコンの制御データである。対応付処理およびリモコンテーブル２５３の詳細については、後述する。

【0078】

仮想画像生成部２２５は、仮想リモコンとして機能する仮想リモコン画像４００を生成し、ディスプレイ１３１に表示する。表示位置は、ユーザ９０１の視線方向に関し、提示面３００と合致する位置とする。仮想画像生成部２２５は、リモコンテーブル２５３を用いて、仮想リモコン画像４００を生成する。

【0079】

ここで、生成される仮想リモコン画像４００の一例を、図５に示す。本図に示すように、仮想リモコン画像４００は、被制御機器情報表示領域４１０と、所望制御操作表示領域４２０と、を備える。

【0080】

被制御機器情報表示領域４１０には、特定情報取得部２２２が特定した被制御機器を特定する情報として、被制御機器名４１１が表示される。本図の例では、「エアコン」と表示される。

【0081】

所望制御操作表示領域４２０には、特定情報取得部２２２が特定した所望制御操作に対するユーザ９０１の指示を受け付ける機能ボタンの受付オブジェクト４２１、４２２が表示される。受付オブジェクト４２１、４２２は、所望制御操作毎に作成される。受付オブジェクト４２１、４２２の表示位置は、提示面３００の、記載情報３１０のうち、所望制御操作に対応する情報が記載されている位置である。

【0082】

操作受付部２３０は、仮想リモコン（仮想リモコン画像４００）に対するユーザ９０１の操作指示を受け付ける。本実施形態では、例えば、受付オブジェクト４２１、４２２に対する操作指示が検出された場合、当該受付オブジェクト４２１、４２２に対応する所望制御操作の操作指示として受け付ける。

【0083】

操作指示は、例えば、ジェスチャ動作や視線操作等で行われる。操作受付部２３０は、これらの操作を、ジェスチャ動作テーブル２５４等を参照して解析し、操作指示を検出する。予め定めた動作があった場合、その受付オブジェクト４２１、４２２が選択されたものと判別する。そして、その受付オブジェクト４２１、４２２に対応づけられた所望制御操作を特定する。

【0084】

なお、操作受付部２３０は、ユーザ９０１のジェスチャ動作を、ＨＭＤ１００が備えるセンサ１５０やアウトカメラ１３３で撮影した画像から抽出した手の動き等により検出する。また、視線操作は、視線検出センサの機能を用いて検出する。

【0085】

コマンド送信部２４０は、特定された所望制御操作に対応づけられた制御コマンドを、被制御機器に送信する。本実施形態では、通信装置１６０および無線ルータ５２０を介して被制御機器５１０に送信する。制御コマンドは、リモコンテーブル２５３から取得する。

【0086】

［解析用テーブル］
ここで、解析用テーブル２５１の一例を説明する。解析用テーブル２５１は、特定情報取得部２２２が、記載情報３１０を解析する際に用いられる。記載情報３１０に記載される可能性のある文字列、図形、色等（以下、文字列等）に対応づけて、解析結果が登録されるテーブルである。

【0087】

図６は、本実施形態の解析用テーブル２５１の一例を示す図である。本図に示すように、解析用テーブル２５１は、記載内容２５１ａ毎に、解析内容２５１ｂと、記載種別２５１ｃとが対応づけて登録される。

【0088】

記載内容２５１ａには、例えば、ユーザ９０１が提示面３００に記載情報３１０として記載する文字列等の候補が格納される。例えば、エアコン、クーラ、照明器具、ライト、ランプ、テレビ、等の被制御機器５１０の名称や、冷房、暖房、除湿、送風、停止、点灯、消灯、等の所望制御操作の名称が格納される。ここでは、被制御機器５１０の名称および所望制御操作の名称それぞれについて、各種の異なる呼称、記載が併せて格納される。これらは、ユーザ９０１が記載する可能性のある文字列等である。

【0089】

解析内容２５１ｂには、記載内容２５１ａに記載された被制御機器５１０の名称または所望制御操作の名称の解析内容が格納される。解析内容は、多数のユーザ９０１が記載する可能性のある文字列等を一意に特定する情報である。

【0090】

本実施形態では、例えば、記載内容２５１ａが被制御機器５１０の名称である場合は、その被制御機器５１０を特定する機器名が格納される。具体的には、記載内容２５１ａが「エアコン」、「クーラ」、等である場合、「エアコン機器」が格納される。また、「照明器具」、「ライト」、「ランプ」である場合、「照明機器」が格納される。

【0091】

また、記載内容２５１ａが、所望制御操作の名称である場合、その所望制御操作を特定する情報が格納される。具体的には、記載内容２５１ａが、「冷房」等である場合は、「冷房機能オン」が、「停止」等である場合は、「停止」が格納される。

【0092】

記載種別２５１ｃには、記載内容２５１ａが表すものの種別が格納される。本実施形態では、被制御機器５１０を示すか、所望制御操作を示すかのいずれかが登録される。

【0093】

特定情報取得部２２２は、提示面３００の記載情報３１０を解析し、文字列等を抽出する。そして、抽出した文字列等に合致する情報を、解析用テーブル２５１の記載内容２５１ａを探索し、検出する。そして、それに対応して登録される解析内容２５１ｂと、記載種別２５１ｃと、を抽出する。そして、記載種別２５１ｃが被制御機器を示す場合、被制御機器特定情報として、解析内容２５１ｂを出力する。一方、記載種別２５１ｃが所望制御操作を示す場合、所望制御操作特定情報として解析内容２５１ｂを出力する。

【0094】

ここで、解析用テーブル２５１を例として、特定情報取得部２２２が、記載情報３１０を解析する具体例を説明する。特定情報取得部２２２は、提示面３００上に、記載情報３１０として記載されている内容を、記載内容２５１ａと照合し、合致するものがあるデータの解析内容２５１ｂおよび記載種別２５１ｃを解析結果とする。

【0095】

例えば、記載情報３１０として、「エアコン」や「クーラ」等と文字列が記載されている場合、解析内容２５１ｂおよび記載種別２５１ｃとして、それぞれ、「エアコン機器」、「被制御機器」を解析結果とする。

【0096】

また、記載情報３１０として、「レイボウ」、「レイ」、「冷房」、「冷」等と記載されている場合、「冷房機能オン」、「所望制御操作」を解析結果とする。

【0097】

記載情報３１０として、「テイシ」、「テイ」、「停止」、「停」等と記載されている場合、「停止」、「所望制御操作」を解析結果とする。

【0098】

記載情報３１０として、「ダンボウ」、「ダン」、「暖房」、「暖」等と記載されている場合、「ダンボウ機能オン」、「所望制御操作」を解析結果とする。

【0099】

記載情報３１０として、「ジョシツ」、「ジョ」、「除湿」、「除」等と記載されている場合、「除湿機能オン」、「所望制御操作」を解析結果とする。

【0100】

記載情報３１０として、「電気」、「デンキ」、「照明」、「ショウメイ」、「明かり」等と記載されている場合、「照明器具」、「被制御機器」を解析結果とする。

【0101】

解析用テーブル２５１は、一例であり、記載されていないその他の文字列および、その文字列に対する解析内容については、ここでの説明を省略する。また、各文字列は、あくまで一例である。また、記載情報３１０は、上述のように、文字列以外でも、図形（イラスト）、絵文字（雪マーク、炎マーク、等）、記号等も利用することができる。

【0102】

なお、記載情報３１０に記載された情報が、解析用テーブル２５１に未登録の場合、特定情報取得部２２２は、記載情報３１０を解析した結果（文字列等）を、記載内容２５１ａに新たに登録する。この場合、対応する解析内容２５１ｂ、記載種別２５１ｃは、ユーザ９０１から登録を受け付ける。

【0103】

［制御データテーブル］
制御データテーブル２５２は、被制御機器５１０の制御データが格納される。図７（ａ）は、本実施形態の制御データテーブル２５２の一例を示す図である。本図に示すように、制御データテーブル２５２は、被制御機器名２５２ａに対応付けて、その識別情報（ＩＤ）２５２ｂと、その被制御機器５１０の制御データ２５２ｃと、その被制御機器５１０の詳細情報２５２ｄと、が格納される。

【0104】

ＩＤ２５２ｂは、被制御機器５１０の制御データが一意に定まる情報であればよい。例えば、メーカが設定した型番等を用いてもよい。制御データ２５２ｃは、その被制御機器において、可能な制御操作毎の、制御コマンドの集合である。詳細情報２５２ｄは、例えば、名称、メーカ名、物理アドレス等である。詳細情報２５２ｄは、ＨＭＤ１００と被制御機器５１０との接続等に使用される。なお、詳細情報２５２ｄは、同じ、制御データテーブル２５２上ではなく、ＩＤ２５２ｂに紐づけられたサブテーブルとして保管してもよい。

【0105】

制御データテーブル２５２には、ユーザ９０１が以前に接続したことのある被制御機器５１０や、使用する可能性のある被制御機器５１０について、上記情報が予め登録される。また、制御データ取得部２２３が、ネットワークサーバ５５０から取得し、登録してもよい。

【0106】

［リモコンテーブル］
次に、リモコンテーブル２５３を説明する。リモコンテーブル２５３は、仮想リモコンの対象の被制御機器５１０を特定する情報と、所望制御操作毎の制御コマンドが格納されるテーブルである。

【0107】

図７（ｂ）は、本実施形態のリモコンテーブル２５３の一例を示す図である。本図に示すように、リモコンテーブル２５３には、記載種別２５３ａと、解析内容２５３ｂと、識別情報（ＩＤ）２５３ｃと、制御コマンド２５３ｄと、領域２５３ｅと、表示データ２５３ｆと、が格納される。なお、リモコンテーブル２５３は、作成日時２５３ｇが格納されてもよい。

【0108】

記載種別２５３ａは、記載情報３１０の種別（被制御機器または所望制御操作）である。本実施形態では、特定情報取得部２２２が、解析用テーブル２５１を用いて解析した結果得られた記載種別２５１ｃが格納される。

【0109】

解析内容２５３ｂは、特定情報取得部２２２が記載情報３１０を解析した結果である。本実施形態では、解析用テーブル２５１の解析内容２５１ｂが格納される。

【0110】

ＩＤ２５３ｃは、記載種別２５３ａが、被制御機器の場合、その被制御機器を一意に特定するＩＤが格納される。被制御機器５１０のＩＤは、特定情報取得部２２２が被制御機器の解析内容２５１ｂに基づいて、被制御機器本体やネットワーク等から取得する。

【0111】

制御コマンド２５３ｄは、記載種別２５３ａが、所望制御操作である場合、当該制御操作に対応する制御コマンドである。対応付部２２４が、制御データテーブル２５２から取得し、格納する。

【0112】

表示データ２５３ｆは、仮想リモコン画像４００に表示するデータである。領域２５３ｅは、仮想リモコン画像４００の表示領域を特定する情報である。本実施形態では、特定情報取得部２２２が、解析した結果が格納される。なお、領域２５３ｅには、例えば、ＨＭＤ１００が取得する画像の画素位置で特定される情報が格納される。

【0113】

なお、仮想画像生成部２２５は、提示面３００に記載される手書きの文字列を機能ボタンに見立てて、機能ボタン群の受付オブジェクトを生成する。

【0114】

例えば、仮想画像生成部２２５は、仮想リモコン画像４００を生成する際、被制御機器情報表示領域４１０に、記載種別２５３ａとして「被制御機器」が登録されているデータの、表示データ２５３ｆに登録されている情報を表示させる。図７（ｂ）の場合、「エアコン」である。

【0115】

また、仮想画像生成部２２５は、仮想リモコン画像４００の、所望制御操作表示領域４２０に、記載種別２５３ａに「所望制御操作」が登録されている全てのデータの、表示データ２５３ｆを表示させる。図７（ｂ）の場合、「冷房」および「停止」である。

【0116】

なお、主制御部２１０は、予め定めた期間が経過すると、または、ユーザ９０１から指示を受け付けると、仮想リモコン画像４００の表示を消去する。このとき、併せて、リモコンテーブル２５３も消去する。これにより、無駄なメモリの消費を避けることができる。予め定めた期間は、例えば、１分、１時間、登録日中、１週間等である。

【0117】

また、仮想リモコン画像４００の表示消去後、別に定めた一定時間経過後にリモコンテーブル２５３を消去してもよい。この場合、仮想リモコン画像４００の表示が消去されていても、リモコンテーブル２５３の消去前であれば、ユーザ９０１が被制御機器５１０を見たことを受け、仮想リモコン画像４００を再度表示し、操作を受け付ける。なお、リモコンテーブル２５３は、次の被制御機器５１０に対する仮想リモコン生成処理が開始された場合、消去するよう構成してもよい。

【0118】

［ジェスチャ動作テーブル］
次に、ジェスチャ動作テーブル２５４の一例を説明する。ジェスチャ動作テーブル２５４は、ユーザ９０１のジェスチャ毎の、操作指示を対応づけて登録したテーブルである。操作受付部２３０が検出したユーザ９０１のジェスチャ動作から、操作指示を特定する際に用いられる。

【0119】

図８は、本実施形態のジェスチャ動作テーブル２５４の一例を示す図である。本図に示すように、ジェスチャ動作テーブル２５４は、ジェスチャ動作２５４ａと、操作指示２５４ｂとを備える。

【0120】

ジェスチャ動作２５４ａは、操作受付部２３０が検出する可能性のある、ユーザ９０１のジェスチャである。

【0121】

操作指示２５４ｂは、各ジェスチャに対応する操作指示の内容が格納される。操作指示の内容は、予め定められる。ユーザ９０１が所望の操作指示を登録してもよい。

【0122】

例えば、操作受付部２３０は、ユーザ９０１のジェスチャ動作として、受付オブジェクト４２１、４２２である機能ボタンをタッチする動作を検出すると、操作受付部２３０は、対応する機能（ここでは、制御操作）の実行指示と判別し、当該実行指示に対応づけられた制御コマンドをリモコンテーブル２５３から取得する。コマンド送信部２４０は、当該制御コマンドを、被制御機器５１０に向けて送信する。

【0123】

その他、本図に示すように、例えば、ジェスチャ動作として、提示された機能ボタンを押さえながら機能ボタン群の表示領域内でスライドする動作を検出すると、操作受付部２３０は、その機能ボタンを移動する指示と判別する。また、ジェスチャ動作として、提示された機能ボタンを押さえながら機能ボタン表示領域外へスライドする動作を検出すると、操作受付部２３０は、その機能ボタンを消去する指示と判別する。また、ジェスチャ動作として、提示された機能ボタン群全体を囲む様に円弧を描く動作を検出すると、操作受付部２３０は、円弧で囲まれた機能ボタンを選択する指示と判別する。さらに、ユーザ９０１が手を横に移動するジェスチャ動作を検出すると、操作受付部２３０は、機能ボタン表示を終了する指示と判別する。

【0124】

各ジェスチャ動作は、あくまで一例であり、当然、他のジェスチャ動作を有効とすることもできる。例えば、上述したように、インカメラ１３４でユーザ９０１の視線を検出して、機能ボタンの選択等を行うようにしてもよい。

【0125】

このジェスチャ動作テーブル２５４を備えることにより、機能ボタンの配置を、ユーザ９０１が自由に設定できる。

【0126】

その他、処理に必要なデータ、処理中に生成されるデータ、および、処理の結果生成されるデータは、処理データ２５５に格納される。

【0127】

これらの各機能、データを用い、ユーザ９０１は、図１を用いて説明した遠隔操作処理を行う。すなわち、ＨＭＤ１００を装着したユーザ９０１は、ＨＭＤ１００のディスプレイ１３１を介して提示面３００を視認するだけで、あたかも、その提示面３００がリモコンになったかのような操作環境を得ることができる。

【0128】

［遠隔操作処理］
次に、本実施形態のＨＭＤ１００による、仮想リモコン生成処理を含む遠隔操作処理の流れを説明する。図９は、本実施形態の遠隔操作処理の処理フローである。本処理は、ユーザ９０１の指示、または、ＨＭＤ１００が提示面３００を検出したことを契機に開始される。なお、ここでは、仮想リモコン画像４００を作成後、所定期間経過後、データを消去する場合を例にあげて説明する。

【0129】

まず、画像取得部２２１が周囲画像を取得する（ステップＳ１１０１）。

【0130】

特定情報取得部２２２は、周囲画像から、特定情報（被制御機器特定情報と所望制御操作特定情報）を取得する、特定情報取得処理を行う（ステップＳ１１０２）。

【0131】

制御データ取得部２２３は、被制御機器特定情報に基づき、被制御機器５１０の制御データを取得する制御データ取得処理を行う（ステップＳ１１０３）。制御データは、自装置の記憶装置１１０内にあれば、記憶装置１１０から、なければ、通信装置１６０を介してネットワークサーバ５５０から取得される。

【0132】

制御データ取得部２２３は、ステップＳ１１０３で、被制御機器として特定した装置に関する制御情報を取得できたか否かを判別する（ステップＳ１１０４）。

【0133】

ここで、自装置またはネットワークサーバ５５０のいずれかから制御データを入手できた場合（Ｓ１１０４；Ｙｅｓ）、対応付部２２４は、リモコンテーブル２５３を完成させる対応付処理を行う（ステップＳ１１０５）。ここでは、所望制御操作に制御コマンドを対応づける。

【0134】

仮想画像生成部２２５は、リモコンテーブル２５３を参照し、仮想リモコン画像を生成する（ステップＳ１１０６）。ここでは、仮想画像生成部２２５は、制御コマンドに対応付けられた機能ボタンの受付オブジェクト４２１、４２２と、被制御機器５１０の名称の表示と、を含む表示データを作成する。作成する表示データは、画像取得部２２１が取得した周囲画像の、対応する領域にそれぞれ配置されるよう生成する。例えば、図１に示すように、提示面３００の「エアコン」が記載された領域に被制御機器名が、「冷房」が記載された領域に「冷房」の指示を受け付ける機能ボタンが、「停止」が記載された領域に「停止」の指示を受け付ける機能ボタンが表示されるよう生成する。

【0135】

なお、ディスプレイ１３１が透過型ディスプレイの場合、仮想リモコン画像は表示しなくてもよい。ただし、機能ボタン（受付オブジェクト４２１、４２２）の領域情報は保持し、ユーザ９０１の指示を受け付ける。例えば、受付オブジェクト４２１、４２２の配置位置、対応制御操作の情報を保持し、操作受付部２３０は、ユーザ９０１の操作指示を受け付ける。

【0136】

ここで、主制御部２１０は、タイマ１０６にタイマカウントを開始させる（ステップＳ１１０７）。そして、タイマの値ｔｍが、予め定めた期間Ｔｈを越えたか否か（ｔｍ≦Ｔｈ）を判別し（ステップＳ１１０８）、期間Ｔｈを超えていれば（ｔｍ＞Ｔｈ）、主制御部２１０は、リモコンテーブル２５３を消去し（ステップＳ１１１１）、処理を終了する。

【0137】

一方、期間内（ｔｍ≦Ｔｈ）である場合、操作受付部２３０が、ユーザ９０１による、所望制御操作に対する操作指示を受け付けると（ステップＳ１１０９）、操作受付部２３０は、受け付けた制御操作に対する制御コマンドを、リモコンテーブル２５３から抽出する。

【0138】

コマンド送信部２４０は、抽出された制御コマンドを、通信装置１６０を介して、被制御機器５１０へ送信し（ステップＳ１１１０）、ステップＳ１１０８へ戻る。

【0139】

ステップＳ１１０４で、制御データを取得できなかった場合（Ｓ１１０４；Ｎｏ）、主制御部２１０は、取得できなかった場合の表示処理（ＮＧ表示処理）を行い（ステップＳ１１１２）、処理を終了する。ＮＧ表示処理では、例えば、指定された被制御機器５１０の制御データが入手できなかったことを意味するメッセージを、ディスプレイ１３１に表示させたり、仮想リモコンを作成できないことを意味するメッセージをディスプレイ１３１に表示させたりする。

【0140】

［特定情報取得処理］
次に、特定情報取得部２２２による、特定情報取得処理の流れを説明する。図１０は、本実施形態の特定情報取得処理の処理フローである。本処理は、周囲画像を解析し、リモコンテーブル２５３の、記載種別２５３ａと解析内容２５３ｂと、ＩＤ２５３ｃとを完成させる処理である。

【0141】

特定情報取得部２２２は、まず、提示面形状把握処理（ステップＳ１２０１）を行う。この提示面形状把握処理は、提示面３００形状を把握する処理である。具体的には、アウトカメラ１３３で撮影した周囲画像を解析し、提示面３００の、予め決められた形状を検出する。本実施形態では、外枠３０５を検出する。検出した外枠３０５の領域内を、被制御機器５１０の名称や所望制御操作の情報を検出するための走査領域とする。上述したように、提示面３００には、被制御機器の名称と所望制御操作とが、記載情報３１０として描かれる。

【0142】

なお、外枠３０５の形状は、例えば、矩形とする。しかしながら、形状は限定されない。また、形状は正確な図形でなくともよく、例えば、手書きでは矩形の線が揺れていたり、角が多少丸まったりする場合もあるので、矩形らしさで、矩形と判断する。また、矩形の外枠３０５内に描かれたマークや文字を合わせて提示面３００と判断してもよい。例えば、「リモコン」、「リ」を丸で囲んだマークやユーザな好きなマーク等の各々の特徴をもって、提示面３００としてもよい。

【0143】

次に、特定情報取得部２２２は、提示面３００の走査領域に、被制御機器情報または所望制御操作情報に該当する可能性のある記載情報３１０が存在するか否かを判別する（ステップＳ１２０２）。情報の有無を判別する場合は、例えば、走査領域を２値化し、所定のサイズ以上の連続した黒領域があるか否か等の、簡単な画像解析処理で行う。

【0144】

ここで、記載情報３１０無し、と判別された場合（Ｓ１２０２；Ｎｏ）、ＮＧ表示処理を行い（ステップＳ１２１１）、処理を終了する。ＮＧ表示処理では、例えば、記載情報３１０が検出できないことを意味するメッセージ等を出力する。また、提示面３００であるか否かの判断時に提示面３００らしさの度合いを算出し、その度合いが、ある閾値以上である場合にメッセージを表示してもよい。

【0145】

記載情報３１０あり、と判別された場合（Ｓ１２０２；Ｙｅｓ）、特定情報取得部２２２は、走査領域を、詳細に解析する、提示面解析処理を行う（ステップＳ１２０３）。提示面解析処理では、記載情報３１０を解析して、被制御機器情報候補と所望制御操作情報候補とを抽出する。

【0146】

被制御機器情報候補と所望制御操作情報候補とは、記載情報３１０の解析結果と解析用テーブル２５１に登録されている記載内容２５１ａとを比較することにより抽出される。例えば、図１の例では、「エアコン」が被制御機器情報候補として抽出され、「冷房」と、「停止」とが、所望制御操作候補として抽出される。このとき、被制御機器情報候補と所望制御操作候補との各々に対応する解析内容２５１ｂを決定する。

【0147】

次に、特定情報取得部２２２は、被制御機器情報候補から被制御機器５１０の識別情報（ＩＤ）を取得するＩＤ取得処理を行う（ステップＳ１２０４）。ここで、ＩＤは、被制御機器５１０を一意に識別する情報で、例えば、型番等である。例えば、被制御機器５１０のメーカ名、機器の種類、物理アドレス等の機器詳細情報であってもよい。

【0148】

特定情報取得部２２２は、例えば、被制御機器情報候補を解析用テーブル２５１に照らし合わせて、機器の種類を選定する。なお、機器の種類は、例えば、解析用テーブル２５１の解析内容２５１ｂに登録される情報である。そして、選定した機器の種類が被制御機器名２５２ａとして登録されている全てのレコードの識別情報（ＩＤ）２５２ｂを、制御データテーブル２５２から取得し、取得した識別情報（ＩＤ）２５２ｂに対応する詳細情報２５２ｄを用いて、周囲に、接続確立要求を送信し、応答を得られるか否かで判別してもよい。これにより、該当する種類の機器のみから応答を受ける。

【0149】

なお、ＩＤ取得処理により、周囲に仮想リモコンにより制御コマンドを送信可能な被制御機器５１０があるか否かを判別できる。すなわち、特定情報取得部２２２は、所定期間内に応答があるか否かを判別する（ステップＳ１２０５）。

【0150】

所定期間内に応答を得た場合（Ｓ１２０５；Ｙｅｓ）、特定情報取得部２２２は、抽出、特定した解析内容２５１ｂとその記載種別２５１ｃとＩＤ２５２ｂとを、制御データ取得部２２３に出力する。また、特定情報取得部２２２は、さらに、抽出、特定した情報を、リモコンテーブル２５３に登録し（ステップＳ１２０６）、処理を終了する。ここで、登録する情報は、記載種別２５３ａ、解析内容２５３ｂ、ＩＤ２５３ｃと、提示面解析処理で得た、領域２５３ｅおよび表示データ２５３ｆとである。

【0151】

一方、応答を得ない場合（Ｓ１２０５；Ｎｏ）、ステップＳ１２１１へ移行し、ＮＧ表示処理を行い、処理を終了する。この場合のＮＧ表示処理では、周囲に、仮想リモコンで操作コマンドを送信可能な被制御機器５１０がないことを意味するメッセージを出力する。

【0152】

なお、複数の被制御機器５１０から応答を得た場合の、選択のルールは予め定めておく。ルールは、例えば、最も早く応答を送信してきた機器とする、ユーザ９０１の視線方向の機器とする、ユーザ９０１に提示し、選択を受け付ける、等である。

【0153】

また、特定情報取得部２２２は、所望の機器から応答を得ない場合、接続可能な被制御機器５１０を探索してもよい。このとき、制御データテーブル２５２に登録されてない新たな被制御機器５１０を検出した場合は、新たな被制御機器５１０の詳細情報を取得して、制御データテーブル２５２に登録する。そして、新たな被制御機器５１０の中で、被制御機器情報候補に該当する機器が無いかを確認する。

【0154】

また、例えば、新たな被制御機器５１０の存在が明らかな場合は、ユーザ９０１がアウトカメラ１３３により、被制御機器５１０のメーカ名や型番を撮影することにより、ＩＤ２５２ｂを取得してもよい。また、被制御機器５１０の外形形状を撮影し、撮影画像とともに、ネットワークサーバ５５０に問い合わせを行ってもよい。また、ユーザ９０１がメーカ等のホームページから取得してもよい。この場合、ユーザ９０１が、手書きで、提示面３００に詳細情報のいくつかを記載し、撮影データとして取得してもよい。さらに、ユーザ９０１が、詳細情報のいくつかを音声にて発生し、音声処理装置１４０で取得してもよい。

【0155】

この場合も、制御データテーブル２５２に登録時に登録された被制御機器５１０毎にＩＤは付与される。

【0156】

なお、ユーザ９０１は、提示面３００上に、被制御機器５１０の情報として、被制御機器５１０の名称を正確に記述する必要はない。例えば、「クーラ」や「冷風機」等の他の文字や、エアコンと判断可能な絵で描いてもよい。本実施形態では、解析用テーブル２５１に、ユーザ９０１が記載する可能性のある、想定される各種の表現を予め登録しておく。また、ユーザ９０１が記載情報３１０として提示面３００に記載した内容を解析するためにＡＩ（Ａｒｔｉｆｉｃｉａｌ Ｉｎｔｅｌｌｉｇｅｎｃｅ）を用いてもよい。

【0157】

［制御データ取得処理］
次に、制御データ取得部２２３による、制御データ取得処理について説明する。図１１は、本実施形態の制御データ取得処理の処理フローである。本処理は、特定情報取得処理で特定した被制御機器５１０の制御データを取得する処理である。

【0158】

制御データ取得部２２３は、特定情報取得部２２２が特定した、被制御機器５１０のＩＤを含む被制御機器特定情報に基づいて、当該機器の制御データが登録されているか否か、制御データテーブル２５２を検索する（ステップＳ１３０１）。ここでは、ＩＤに基づいて、制御データテーブル２５２を検索し、合致するＩＤ２５２ｂを有するデータが登録されているか否かを判別する。

【0159】

合致するデータがあり、制御データが登録されている場合（Ｓ１３０１；Ｙｅｓ）、制御データ取得部２２３は、制御コマンド抽出処理を行う（ステップＳ１３０２）。具体的には、合致するデータの制御データを参照し、所望制御操作の解析内容に対応付けられた制御コマンドを、所望制御操作毎に抽出する。なお、特定情報取得処理において、特定情報取得部２４２が、被制御機器５１０のＩＤを、ＩＤ制御データテーブル２５２から取得した場合は、再度制御データテーブル２５２を探索することなく、取得したＩＤ２５２ｂに対応付けられた制御データ２５２ｃから制御コマンドを抽出してもよい。

【0160】

そして、制御データ取得部２２３は、抽出した各制御コマンドを、それぞれ、所望制御操作に対応付けてリモコンテーブル２５３に登録し（ステップＳ１３０３）、処理を終了する。

【0161】

ここで、合致するデータがない場合（Ｓ１３０１；Ｎｏ）、制御データ取得部２２３は、ネットワークサーバ５５０にＩＤに対応する制御データを要求する（ステップＳ１３０４）。そして、折り返し制御データを受信したか否かを判別する（ステップＳ１３０５）。

【0162】

折り返し制御データを受信した場合（Ｓ１３０５；Ｙｅｓ）、制御データ取得部２２３は、受信した制御データを、被制御機器名、ＩＤに対応付けて、制御データテーブル２５２に登録し（ステップＳ１３０６）、ステップＳ１３０２へ移行する。

【0163】

なお、ステップＳ１３０５で、ネットワークサーバ５５０に要求したものの、制御データがない旨の応答を得た場合、あるいは、所定期間内に応答がない場合は（Ｓ１３０５；Ｎｏ）、制御データ取得部２２３は、ＮＧ表示処理を行い（ステップＳ１３１１）、処理を終了する。ここでは、被制御機器５１０の制御データが入手できないことを意味するメッセージ等を出力する。

【0164】

以上説明したように、本実施形態のＨＭＤ１００は、通信装置１６０を備え、被制御機器５１０に対して当該通信装置１６０を介して制御コマンドを送信して当該被制御機器５１０を遠隔制御する。そして、周囲の画像である周囲画像から被制御機器５１０および所望の制御操作である所望制御操作を特定するとともに、特定した所望制御操作に対するユーザ９０１の操作指示を受け付ける受付オブジェクト４２１、４２２を生成する仮想リモコン生成部２２０と、受付オブジェクト４２１、４２２を介してユーザ９０１による操作指示を受け付ける操作受付部２３０と、操作受付部２３０が受け付けた操作指示に対応する制御コマンドを被制御機器５１０に送信するコマンド送信部２４０と、を備える。

【0165】

また、周囲画像は、所望制御操作を示す表記を有する提示面３００を含む。仮想リモコン生成部２２０は、周囲画像から、被制御機器５１０を特定する被制御機器特定情報と、所望制御操作を特定する所望制御操作特定情報と、をそれぞれ取得する特定情報取得部２２２と、被制御機器特定情報を用いて当該被制御機器の制御データを取得する制御データ取得部２２３と、制御データに含まれる被制御機器５１０を制御する制御コマンドと所望制御操作とを対応づける対応付部２２４と、受付オブジェクト４２１、４２２を生成し、周囲画像をディスプレイ１３１に表示した場合に所望制御操作を示す表記が表示される領域に当該受付オブジェクト４２１、４２２を配置する仮想リモコン画像４００を生成する仮想画像生成部２２５と、を備える。

【0166】

このように、本実施形態によれば、リモコン機能ボタンを提示するための面（提示面３００）をＨＭＤ１００に搭載されたアウトカメラ１３３で撮像し、提示面３００に描かれた図形や文字から、操作する被制御機器５１０と機能（所望制御操作）とを把握し、機能が描かれた場所に被制御機器５１０を制御するリモコンの機能ボタンを、ＡＲオブジェクト（機能ボタン画像等）として提示する。このとき、ＡＲオブジェクトと、提示面３００に印刷もしくは記載済みの文字・画像等とを、提示面３００に重畳して提示する。

【0167】

また、機能ボタンに対するユーザ９０１のジェスチャ動作などにより、ユーザ９０１の機能ボタンに対する選択・移動・消去などの操作を受け付け、ＨＭＤ１００は、被制御機器を制御する。

【0168】

本実施形態によれば、ユーザ９０１がリモコンを紛失しても、いつでも仮想リモコンを生成できるとともに、この仮想リモコンでは、ユーザ９０１に必要な機能のみを機能ボタンとして表示することができる。また、仮想リモコンの基となる提示面３００は、紙等に描くことができ、冷蔵庫に貼ったり、ノート等のように複数枚綴じて置いておき、必要に応じて使いまわしたりすることができる。これにより、物忘れが著しいユーザ９０１であっても、リモコンを探しまわることなく、被制御機器５１０を容易に制御できる。

【0169】

すなわち、本実施形態によれば、ユーザ９０１が希望する機能をユーザ９０１が選択し、その選択した機能を実現するよう機能ボタンが配置される仮想リモコンを、ユーザ９０１が自由に設定、生成できる。

【0170】

本実施形態によれば、ユーザ９０１は、遠隔操作用のリモコンが手元になくても、手書きで紙等に必要な操作を記載すれば、それが、そのままリモコンとして機能する。このため、ユーザ９０１は、リモコンを探す必要がない。また、必要な機能のみ、機能ボタンとして作成できるので、わずらわしさもない。また、その配置も、好みのものとすることができるので、使いやすい。

【0171】

このように、本実施形態によれば、機器の遠隔制御において、リモコンを探す煩わしさを解消し、ユーザ９０１の利便性が各段に向上する。

【0172】

また、本実施形態では、１回でも、仮想リモコンを生成したことのある被制御機器５１０については、制御データテーブル２５２を、ＨＭＤ１００のデータ記憶部に保存する。この保存された制御データを用いることにより、次回からの被制御機器５１０への制御は、ネットワーク５３０を介さずに行うことができる。その結果、ネットワーク５３０での不具合（ネットワーク回線の込み具合による遅延や、回線切断等）を回避することができる。

【0173】

一方、本実施形態では、リモコンテーブル２５３は、使用を終えると消去し、次に必要になった場合は、改めて作成する。ユーザ９０１は、仮想リモコンをＨＭＤ１００のデータ記憶部２５０内で探す必要がない。また、無駄なメモリ消費を抑えることができる。

【0174】

＜変形例１＞
なお、上記実施形態において、ユーザ９０１が提示面３００に記載した所望制御操作のうち、被制御機器にない機能がある場合は、当該機能がないことを、明示するよう構成してもよい。

【0175】

この場合の、仮想リモコン画像例を図１２（ｂ）に示す。ここでは、例えば、ユーザ９０１が図１２（ａ）に示すように、提示面３００に記載した場合を例に示す。

【0176】

図１２（ａ）に示すように、ユーザ９０１は、被制御機器名３１１として、「エアコン」と記載し、所望制御操作３１２として、「レイボウ」、「テイシ」、「ダンボウ」を記載する。

【0177】

特定情報取得部２２２が取得した被制御機器５１０に暖房の機能がない場合、制御データ取得部２２３が取得する制御データには、暖房に対応する制御コマンドはない。制御データ取得部２２３は、それを、仮想画像生成部２２５に通知する。

【0178】

仮想画像生成部２２５は、「レイボウ」と「テイシ」の制御操作については、上記実施形態の手法で制御コマンドと対応付けて機能ボタンを生成し表示する。しかしながら、「ダンボウ」については、制御データ取得部２２３からの通知に応じて、使用不可であることを示す不可表示４３１を行う。

【0179】

図１２（ｂ）の例では、「ダンボウ」機能はないため、仮想リモコン画像４００では、不可表示４３１として、×印を付与したＡＲオブジェクトを作成し、「ダンボウ」の受付オブジェクト４２３に重畳させて表示させる。これにより、ユーザ９０１は、直感的に「ダンボウ」の機能が使用できないことを把握できる。

【0180】

同様に、上記実施形態では、被制御機器５１０の制御データが存在しない場合、その旨のメッセージを出力しているが、これに限定されない。例えば、図１２（ｃ）に示すように、仮想リモコンの被制御機器名４１１の上に不可表示４３１を行い、ユーザ９０１に通知してもよい。

【0181】

なお、本変形例では、Ｘ印のＡＲオブジェクトを、重畳させて提示しているが不可表示４３１はこれに限定されない。例えば、「該当する暖房機能はありません。」や、「操作できるエアコンがありません。」等の文字列のＡＲオブジェクトであってもよい。さらに、それらの文字列をスピーカ１４１より、音声として出力してもよい。

【0182】

本変形例により、ユーザの無駄な操作を軽減できる。

【0183】

＜変形例２＞
上記実施形態では、被制御機器５１０を、エアコンとして説明したが、被制御機器５１０は、エアコンに限定されない。例えば、照明器具であってもよい。

【0184】

図１３（ａ）に、被制御機器５１０が照明器具の場合、ユーザ９０１が作成する提示面３０１の一例を、図１３（ｂ）にその提示面３０１をＨＭＤ１００が解析して作成する仮想リモコン画像４０１の一例を示す。本図に示すように記載情報３１０から、被制御機器名４１１として「照明」、受付オブジェクト４２１、４２２として、それぞれ、「点灯」および「消灯」が表示された仮想リモコン画像４０１が生成される。

【0185】

＜変形例３＞
さらに、上記実施形態では、ＨＭＤ１００から、被制御機器５１０への制御コマンドを、ネットワーク５３０を介して送信している。しかしながら、ＨＭＤ１００から被制御機器５１０への制御コマンドの送信は、これに限定されない。

【0186】

例えば、図１４に示すように、赤外線通信、Ｂｌｕｅｔｏｏｔｈ等の、近距離通信Ｉ／Ｆを用いて、ＨＭＤ１００から被制御機器５１０に、直接、制御コマンドを送信してもよい。この場合、コマンド送信部２４０は、ユーザ９０１が選択した制御操作に対応する制御コマンドを、ＢＴ通信Ｉ／Ｆ１６３、赤外線通信Ｉ／Ｆ１６４を介して送信する。

【0187】

本変形例により、近距離通信Ｉ／Ｆを利用して被制御機器５１０を、ＨＭＤ１００により、ネットワーク５３０を介さずに制御することができる。その結果、ネットワーク５３０での不具合（ネットワーク回線の込み具合による遅延や、回線切断等）を考慮する必要が無い。

【0188】

なお、いずれの通信手段を用いてＨＭＤ１００から被制御機器５１０に制御コマンドを送信するかを、ユーザ９０１が選択可能に構成してもよい。

【0189】

＜変形例４＞
また、上記実施形態では、被制御機器の制御データは、予めＨＭＤ１００に登録されるか、ネットワークサーバ５５０から取得する。しかしながら、制御データは、被制御機器５１０そのものから取得してもよい。この場合、制御データ取得部２２３は、ＬＡＮ通信Ｉ／Ｆ１６１、ＢＴ通信Ｉ／Ｆ１６３、赤外線通信Ｉ／Ｆ１６４のいずれかを介して、被制御機器５１０にアクセスし、被制御機器５１０から取得する。

【0190】

特に、赤外線通信Ｉ／Ｆ１６４を介して制御情報を取得する場合、制御コマンドの代わりに、制御操作ごとの、一般のリモコン装置から発生する赤外線パターン（データフォーマット）を取得してもよい。

【0191】

そして、コマンド送信部２４０は、ユーザ９０１の操作に対応付けられた赤外線パターンを被制御機器５１０に送信する。これにより、通常のリモコンから発生する赤外線パターンと略同じ赤外線パターンを出力でき、精度よく指示を送信できる。

【0192】

なお、リモコンで使用する赤外線のデータフォーマットには、いくつかある。例えば、ＮＥＣフォーマット、家電協フォーマット、ＳＯＮＹフォーマット等である。本変形例では、被制御機器５１０が採用している赤外線のデータフォーマットを使用することは言うまでもない。

【0193】

また、ＢＴ通信Ｉ／Ｆ１６３を介してＢｌｕｅｔｏｏｔｈにより通信を行う場合は、前もってペアリングを行う必要がある。ペアリングに失敗した場合は、その旨、ユーザ９０１に通知する。

【0194】

＜変形例５＞
また、上記実施形態では、ユーザ９０１が使用する情報処理端末として、ＨＭＤ１００を例にあげて説明したが、使用する情報処理端末は、これに限定されない。例えば、スマートフォン（以下、スマホと呼ぶ。）やタブレット端末等の携帯型情報端末を用いてもよい。

【0195】

スマホを用いる場合の、仮想リモコンの処理の概要および表示例を図１５に示す。

【0196】

本図に示すように、ユーザ９０１は、提示面３００と自身の間にスマホ１０１を掲げ、提示面３００の記載情報３１０が含まれる領域を撮影し、周囲画像を得る。

【0197】

スマホ１０１は、周囲画像を解析し、被制御機器５１０と所望制御操作とを特定し、制御コマンドまたは赤外線フォーマットを対応付ける。そして、仮想リモコン画像４００を作成し、スマホ１０１のディスプレイ１３１に表示させる。そして、仮想リモコン画像４００を介してユーザ９０１からの操作指示を受け付けると、スマホ１０１は、被制御機器５１０に操作指示に応じた制御コマンド（赤外線フォーマット）を送信する。

【0198】

生成される仮想リモコン画像４００は、図１５に示すように、被制御機器情報表示領域４１０と、所望制御操作表示領域４２０と、を備える。本図の例では、冷房開始の指示を受け付ける「冷房」と、停止の指示を受け付ける「停止」との受付オブジェクト４２１、４２２が表示される。

【0199】

なお、これを実現するスマホ１０１のハードウェア構成を図１５に示す。スマホ１０１のハードウェア構成は、基本的にＨＭＤ１００のハードウェアと同じ構成を備える。ただし、スマホ１０１は、ＨＭＤ１００のように装着されて使われるのではなく、ユーザ９０１が手に持って使用する。このため、操作受付装置１２０が一部異なる。

【0200】

スマホ１０１は、操作受付装置１２０として、ボタンスイッチ１２１やタッチパネル１２２だけでなく、操作キー１２３を備える。

【0201】

なお、スマホ１０１が上記実施形態を実現する機能構成も、基本的にＨＭＤ１００と同じである。ただし、スマホ１０１の操作受付部２３０は、ジェスチャ動作を検出、解析してユーザ９０１を特定する必要はない。タッチパネル１２２の、機能受付ボタン表示領域のタッチ操作を検出することにより、ユーザ９０１の意思を受け付ける。

【0202】

なお、スマホやタブレットに限らず、同等または近似のハードウェア構成やソフトウェア構成があれば、本変形例を実現することができる。例えば、ノートＰＣやタブレットＰＣ等であってもよい。

【0203】

＜変形例６＞
上記実施形態では、提示面３００は、例えば、紙などのシート上のものを前提に説明した。しかし、提示面３００は、これに限定されない。例えば、ホワイトボード等であってもよい。ユーザ９０１が自在に書込み可能であり、撮影可能でありさえすれば、材質、形状は問わない。

【0204】

また、提示面３００は、例えば、被制御機器５１０のメーカが提供するものであってもよい。例えば、マニュアルのリモコンの記載等である。さらに、被制御機器５１０に備え付けのリモコンそのものであってもよい。

【0205】

記載情報３１０が予め用意されている場合、すなわち、ユーザ９０１が作成したものでない、マニュアルやリモコンそのものを提示面３００に用いる場合、仮想リモコンを作成する際、機能ボタンの受付オブジェクトは、全てを生成しなくてもよい。

【0206】

この場合、特定情報取得部２２２は、提示面３００の画像を解析し、制御操作を特定後、ユーザ９０１に提示し、仮想リモコン画像４００に表示させたい制御操作の選択を受け付ける。そして、選択を受け付けた制御操作を、所望制御操作と特定する。

【0207】

これにより、たとえ、既製の情報を提示面３００として用いた場合であっても、ユーザ９０１の所望の機能のみを、仮想リモコンに表示させることができる。

【0208】

＜変形例７＞
また、特定情報取得部２２２は、上記実施形態では、記載情報３１０を解析して文字を特定している。このとき、解析には、例えば、ＯＣＲ（Ｏｐｔｉｃａｌ ｃｈａｒａｃｔｅｒ ｒｅｃｏｇｎｉｔｉｏｎ）機能などの既存の文字解析を用いる。しかしながら、これに限定されない。例えば、予め、ユーザ９０１に手書き文字を登録させ、当該登録を参照して、パターンマッチング等の手法で解析してもよい。

【0209】

また、ユーザ９０１による手書き文字をＯＣＲ機能等で解析できない場合のみ、ユーザ９０１にデジタルデータを入力させ、手書き文字とデジタルデータとを対応付け、登録するように構成してもよい。この場合も、次回の提示面情報取得処理時に、登録された手書き文字をパターンとして、パターンマッチング処理を行い、文字を特定する。

【0210】

＜変形例８＞
また、上記実施形態では、記載情報３１０は、基本的に文字列である場合を例にあげて説明した。しかしながら、記載情報３１０は、文字列に限定されない。図形、色等であってもよい。この場合、解析用テーブル２５１において、記載内容２５１ａに、図形や色等を予め登録しておく。

【0211】

なお、登録は、ユーザ９０１が行ってもよい。ユーザ９０１が、自身が好みの図形や色を、特定の被制御機器５１０や、特定の所望制御操作を表すものとして、予め登録する。これにより、ユーザ９０１は、文字すら記載することなく、仮想リモコンを生成することができる。

【0212】

さらに、記載情報３１０の代わりに、音声等であってもよい。この場合、解析用テーブル２５１は、音声が登録される。すなわち、記載内容２５１ａの代わり、あるいは、追加で音声データが登録される。そして、音声データに対応づけて、解析内容２５１ｂや記載種別２５１ｃが登録される。

【0213】

＜変形例９＞
さらに、上記実施形態では、仮想リモコン画像を表示する場合、所定時間が経過すると、仮想リモコン画像４００の表示を消去する。しかし、これに限定されない。例えば、ユーザ９０１からの明示の指示に応じて、仮想リモコン画像４００の表示を消去するよう構成してもよい。

【0214】

さらに、仮想リモコン画像４００の表示だけでなく、仮想リモコン画像４００を生成する基となるリモコンテーブル２５３も、仮想リモコン画像４００の表示を消去するタイミングに同期して、消去するよう構成してもよい。

【0215】

＜変形例１０＞
ネットワーク５３０を介してメーカのホームページなどから被制御機器５１０の機能ボタンの配置（リモコンの機能ボタンの配置）情報が入手できる場合は、被制御機器５１０の機能ボタンの配置情報を、さらにデータ記憶部２５０に記憶してもよい。そして、仮想画像生成部２２５は、提示面３００の配置ではなく、被制御機器５１０の機能ボタンの配置に従って、仮想リモコン画像４００を生成してもよい。

【0216】

なお、本発明の技術を実現する構成は上述した実施形態および変形例に限られるものではなく、様々な変形例が考えられる。例えば、ある実施形態または変形例の構成の一部を、他の例の構成と置き換えることが可能である。また、ある実施形態または変形例の構成に他の例の構成を加えることも可能である。これらは全て本発明の範疇に属するものである。また、文中や図中に現れる数値やメッセージ等もあくまでも一例であり、異なるものを用いても本発明の効果を損なうことはない。

【0217】

前述した本発明の機能等は、それらの一部または全部を、例えば集積回路で設計する等によりハードウェアで実現しても良い。また、マイクロプロセッサユニット等がそれぞれの機能等を実現するプログラムを解釈して実行することによりソフトウェアで実現しても良い。ハードウェアとソフトウェアを併用しても良い。前記ソフトウェアは、製品出荷の時点で、予めＨＭＤ１００の内部メモリストレージ等に格納された状態であっても良い。製品出荷後に、インターネット上の各種サーバ装置等から取得するものであっても良い。また、メモリカードや光ディスク等で提供される前記ソフトウェアを取得するものであっても良い。

【0218】

また、図中に示した制御線や情報線は説明上必要と考えられるものを示しており、必ずしも製品上の全ての制御線や情報線を示しているとは限らない。実際には殆ど全ての構成が相互に接続されていると考えても良い。

【符号の説明】

【0219】

１００：ＨＭＤ、１０１：スマホ、１０５：拡張インタフェース部、１０６：タイマ、１１０：記憶装置、１１１：メインプロセッサ、１１２：システムバス、１１３：ＲＡＭ、１１４：ＲＯＭ、１１５：フラッシュメモリ、１２０：操作受付装置、１２１：ボタンスイッチ、１２２：タッチパネル、１２３：操作キー、１３０：画像処理装置、１３１：ディスプレイ、１３３：アウトカメラ、１３４：インカメラ、１４０：音声処理装置、１４１：スピーカ、１４３：マイク、１５０：センサ、１５１：受信部、１５２：ジャイロセンサ、１５３：地磁気センサ、１５４：加速度センサ、１５５：深度センサ、１６０：通信装置、１６１：ＬＡＮ通信Ｉ／Ｆ、１６２：電話網通信Ｉ／Ｆ、１６３：ＢＴ通信Ｉ／Ｆ、１６４：赤外線通信Ｉ／Ｆ、
２１０：主制御部、２２０：仮想リモコン生成部、２２１：画像取得部、２２２：特定情報取得部、２２３：制御データ取得部、２２４：対応付部、２２５：仮想画像生成部、２３０：操作受付部、２４０：コマンド送信部、２５０：データ記憶部、
２５１：解析用テーブル、２５１ａ：記載内容、２５１ｂ：解析内容、２５１ｃ：記載種別、２５２：制御データテーブル、２５２ａ：被制御機器名、２５２ｂ：ＩＤ、２５２ｃ：制御データ、２５２ｄ：詳細情報、２５３：リモコンテーブル、２５３ａ：記載種別、２５３ｂ：解析内容、２５３ｃ：ＩＤ、２５３ｄ：制御コマンド、２５３ｅ：領域、２５３ｆ：表示データ、２５３ｇ：作成日時、２５４：ジェスチャ動作テーブル、２５４ａ：ジェスチャ動作、２５４ｂ：操作指示、２５５：処理データ、
３００：提示面、３０１：提示面、３０５：外枠、３１０：記載情報、３１１：被制御機器名、３１２：所望制御操作、４００：仮想リモコン画像、４０１：仮想リモコン画像、４１０：被制御機器情報表示領域、４１１：被制御機器名、４２０：所望制御操作表示領域、４２１：受付オブジェクト、４２２：受付オブジェクト、４２３：受付オブジェクト、４３１：不可表示、
５００：遠隔操作システム、５１０：被制御機器、５２０：無線ルータ、５３０：ネットワーク、５５０：ネットワークサーバ、９０１：ユーザ

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】

【図15】

【図16】