ホーム > 特許ランキング > 株式会社ＮＴＴコノキュー
知財求人 - 知財ポータルサイト「IP Force」
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2025145162
(43)【公開日】2025-10-03
(54)【発明の名称】制御装置及び制御方法
(51)【国際特許分類】
G06F 3/01 20060101AFI20250926BHJP
G06F 3/0346 20130101ALI20250926BHJP
【ＦＩ】
G06F3/01 510
G06F3/0346 423
【審査請求】未請求
【請求項の数】7
【出願形態】ＯＬ
(21)【出願番号】P 2024045200
(22)【出願日】2024-03-21
(71)【出願人】
【識別番号】522470080
【氏名又は名称】株式会社ＮＴＴコノキュー
(74)【代理人】
【識別番号】110003177
【氏名又は名称】弁理士法人旺知国際特許事務所
(72)【発明者】
【氏名】西▲崎▼ 達哉
(72)【発明者】
【氏名】森永 康夫
(72)【発明者】
【氏名】長谷川 貴哉
(72)【発明者】
【氏名】高橋 勇気
【テーマコード（参考）】
5B087
5E555
【Ｆターム（参考）】
5B087AA09
5B087BC05
5B087BC32
5E555AA12
5E555AA64
5E555BA02
5E555BA38
5E555BB02
5E555BB38
5E555BC07
5E555BC13
5E555BE17
5E555CA42
5E555CA44
5E555CB65
5E555CB66
5E555CC03
5E555DA09
5E555DB06
5E555DB53
5E555DC13
5E555DD06
5E555DD07
5E555EA11
5E555EA22
5E555FA00
(57)【要約】
【課題】透過型ウェアラブルデバイスと電子デバイスとを共通の操作用デバイスにより、容易に操作することができる。
【解決手段】取得部１１１は、行動情報と画像情報とを取得する。行動情報は、ＭＲグラス１０を装着したユーザＵが端末装置２０を利用する意思を示すユーザＵの行動に関する情報である。画像情報は、ユーザＵ前方の領域に関する情報である。切替部１１３は、画像情報が示す画像に端末装置２０の画像が含まれ、且つ行動情報に基づいてユーザＵが端末装置２０を利用する意思があると認められる場合、操作用デバイス３０によって操作される操作対象をＭＲグラス１０から端末装置２０に切り替える。
【選択図】図１４
【解決手段】取得部１１１は、行動情報と画像情報とを取得する。行動情報は、ＭＲグラス１０を装着したユーザＵが端末装置２０を利用する意思を示すユーザＵの行動に関する情報である。画像情報は、ユーザＵ前方の領域に関する情報である。切替部１１３は、画像情報が示す画像に端末装置２０の画像が含まれ、且つ行動情報に基づいてユーザＵが端末装置２０を利用する意思があると認められる場合、操作用デバイス３０によって操作される操作対象をＭＲグラス１０から端末装置２０に切り替える。
【選択図】図１４
【特許請求の範囲】
【請求項1】
透過型ウェアラブルデバイスを装着したユーザが第１デバイスを利用する意思を示す前記ユーザの行動に関する行動情報と、前記ユーザ前方の領域の画像に関する画像情報とを取得する取得部と、
前記画像情報が示す画像に前記第１デバイスの画像が含まれ、且つ前記行動情報に基づいて前記ユーザが前記第１デバイスを利用する意思があると認められる場合、前記透過型ウェアラブルデバイスと前記第１デバイスとをそれぞれ制御可能な操作用デバイスによって操作される操作対象を前記透過型ウェアラブルデバイスから前記第１デバイスに切り替える切替部と、
を備える、
制御装置。
前記画像情報が示す画像に前記第１デバイスの画像が含まれ、且つ前記行動情報に基づいて前記ユーザが前記第１デバイスを利用する意思があると認められる場合、前記透過型ウェアラブルデバイスと前記第１デバイスとをそれぞれ制御可能な操作用デバイスによって操作される操作対象を前記透過型ウェアラブルデバイスから前記第１デバイスに切り替える切替部と、
を備える、
制御装置。
【請求項2】
前記行動情報は、前記ユーザの視線に関する情報である、
請求項１に記載の制御装置。
請求項１に記載の制御装置。
【請求項3】
前記行動情報に基づいて前記ユーザが前記第１デバイスを利用する意思があると認められる場合とは、一定期間、前記ユーザの前記視線が前記第１デバイスに向いている場合である、
請求項２に記載の制御装置。
請求項２に記載の制御装置。
【請求項4】
前記行動情報は、前記ユーザが前記透過型ウェアラブルデバイスの表示面上のポインタで指し示した位置に関するポインタ情報である、
請求項１に記載の制御装置。
請求項１に記載の制御装置。
【請求項5】
前記行動情報に基づいて前記ユーザが前記第１デバイスを利用する意思があると認められる場合とは、一定期間、前記ポインタと前記第１デバイスとが前記ユーザの視線上において重なっている場合である、
請求項４に記載の制御装置。
請求項４に記載の制御装置。
【請求項6】
前記操作用デバイスは、前記ユーザにより把持され、本体の姿勢を変更することによって前記ユーザが行う操作を受け付ける、
請求項１に記載の制御装置。
請求項１に記載の制御装置。
【請求項7】
透過型ウェアラブルデバイスを装着したユーザが第１デバイスを利用する意思を示す前記ユーザの行動に関する行動情報と、前記ユーザ前方の領域の画像に関する画像情報とを取得し、
前記画像情報が示す画像に前記第１デバイスの画像が含まれ、且つ前記行動情報に基づいて前記ユーザが前記第１デバイスを利用する意思があると認められる場合、前記透過型ウェアラブルデバイスと前記第１デバイスとをそれぞれ制御可能な操作用デバイスによって操作される操作対象を前記透過型ウェアラブルデバイスから前記第１デバイスに切り替える、
制御方法。
前記画像情報が示す画像に前記第１デバイスの画像が含まれ、且つ前記行動情報に基づいて前記ユーザが前記第１デバイスを利用する意思があると認められる場合、前記透過型ウェアラブルデバイスと前記第１デバイスとをそれぞれ制御可能な操作用デバイスによって操作される操作対象を前記透過型ウェアラブルデバイスから前記第１デバイスに切り替える、
制御方法。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、制御装置及び制御方法に関する。
【背景技術】
【0002】
ＡＲグラス等の透過型ウェアラブルデバイスを頭部に装着したユーザが、透過型ウェアラブルデバイス越しにＰＣ等の電子デバイスを操作することがある。例えば特許文献１は、装着型表示装置の姿勢及び情報処理装置の姿勢に基づく装着型表示装置と情報処理装置との相対的な配置関係に応じて、装着型表示装置における表示態様を変化させる表示システムを開示している。
【先行技術文献】
【特許文献】
【0003】
【特許文献1】特開２０２１－５６３７１号公報
【発明の概要】
【発明が解決しようとする課題】
【0004】
しかしながら、従来の表示システムでは、ユーザは、透過型ウェアラブルデバイスを操作する操作用デバイスと電子デバイスを操作する操作用デバイスとを併用する必要があるため、操作が煩わしいという課題があった。
【0005】
本発明は、上記のような課題を解決するために為されたものであり、透過型ウェアラブルデバイスと電子デバイスとを共通の操作用デバイスにより、容易に操作可能にすることを目的とする。
【課題を解決するための手段】
【0006】
本発明の好適な態様に係る制御装置は、透過型ウェアラブルデバイスを装着したユーザが第１デバイスを利用する意思を示す前記ユーザの行動に関する行動情報と、前記ユーザ前方の領域の画像に関する画像情報とを取得する取得部と、前記画像情報が示す画像に前記第１デバイスの画像が含まれ、且つ前記行動情報に基づいて前記ユーザが前記第１デバイスを利用する意思があると認められる場合、前記透過型ウェアラブルデバイスと前記第１デバイスとをそれぞれ制御可能な操作用デバイスによって操作される操作対象を前記透過型ウェアラブルデバイスから前記第１デバイスに切り替える切替部と、を備える。
【0007】
本発明の好適な態様に係る制御方法は、透過型ウェアラブルデバイスを装着したユーザが第１デバイスを利用する意思を示す前記ユーザの行動に関する行動情報と、前記ユーザ前方の領域の画像に関する画像情報とを取得し、前記画像情報が示す画像に前記第１デバイスの画像が含まれ、且つ前記行動情報に基づいて前記ユーザが前記第１デバイスを利用する意思があると認められる場合、前記透過型ウェアラブルデバイスと前記第１デバイスとをそれぞれ制御可能な操作用デバイスによって操作される操作対象を前記透過型ウェアラブルデバイスから前記第１デバイスに切り替える。
【発明の効果】
【0008】
本発明に係る制御装置によれば、透過型ウェアラブルデバイスと電子デバイスとを共通の操作用デバイスにより、容易に操作することができる。
【図面の簡単な説明】
【0009】
【図1】第１実施形態に係る制御装置を含む制御システムの全体構成を示す図である。
【図4】ＭＲグラスの表示面に表示される画像の一例である。
【図9】初期設定時における操作用デバイスの長手方向を示す図である。
【図10】方向ＬＶを回転軸とする操作用デバイスの回転の一例を示す図である。
【図11】方向ＬＨを回転軸とする操作用デバイスの回転の一例を示す図である。
【図12】端末装置、ＭＲグラス、及び左右眼球の位置関係を示す平面図である。
【図13】操作用デバイスによる端末装置の操作方法を説明する図である。
【図15】変形例１に係る処理装置の切替動作の一例を示すフローチャートである。
【図16】変形例２に係る制御装置を含む制御システムの全体構成を示す図である。
【発明を実施するための形態】
【0010】
【0011】
１．１．第１実施形態の構成
１．１．１．全体構成
図１は、第１実施形態に係る制御装置を含む制御システム１の全体構成を示す図である。図２は、図１の制御システム１の利用状況を示す図である。制御システム１は、ＡＲ（Augmented Reality）技術を用いてユーザＵに視認される補助画像を仮想オブジェクトとして外界画像に重畳することによって得られる画像を表示し、表示された画像を見ながらユーザＵが行う操作を補助するシステムである。
１．１．１．全体構成
図１は、第１実施形態に係る制御装置を含む制御システム１の全体構成を示す図である。図２は、図１の制御システム１の利用状況を示す図である。制御システム１は、ＡＲ（Augmented Reality）技術を用いてユーザＵに視認される補助画像を仮想オブジェクトとして外界画像に重畳することによって得られる画像を表示し、表示された画像を見ながらユーザＵが行う操作を補助するシステムである。
【0012】
制御システム１は、ＭＲ（Mixed Reality）グラス１０、端末装置２０、及び操作用デバイス３０を備えている。ユーザＵは、操作用デバイス３０を把持し、且つ頭部にＭＲグラス１０を装着している。
【0013】
ＭＲグラス１０は、ユーザＵの頭部に装着されるウェアラブルディスプレイデバイスである。ＭＲグラス１０は、ユーザＵの両眼に対応する各レンズにそれぞれ設けられている表示パネルに仮想オブジェクトを表示させる。ＭＲグラス１０の各レンズ及び表示パネルはシースルーである。従って、ＭＲグラス１０を装着したユーザＵは、ＭＲグラス１０の各レンズ及び表示パネル越しに現実空間を外界画像として視認可能である。外界画像は、ユーザＵの周囲を撮像することによって得られる仮想的な画像であってもよい。現実の外界画像を用いる方式は、光学シースルー方式と称される。仮想的な外界画像を用いる方式は、ビデオシースルー方式と称される。以下の説明では、ＭＲグラス１０は、光学シースルー方式を採用しているとして説明する。ＭＲグラス１０は、透過型ウェアラブルデバイスの一例である。
【0014】
端末装置２０は、パーソナルコンピュータ、タブレット端末、スマートフォン、スマートウォッチ等を含む。端末装置２０は、第１デバイスの一例である。
【0015】
操作用デバイス３０は、ユーザＵにより把持される。操作用デバイス３０は、操作用デバイス３０本体の姿勢を変更することによってユーザＵが行う操作を受け付ける装置である。操作用デバイス３０は、ＭＲグラス１０と端末装置２０とをそれぞれ制御可能である。
【0016】
制御システム１において、ＭＲグラス１０と操作用デバイス３０とは互いに通信可能に接続されており、端末装置２０と操作用デバイス３０とは互いに通信可能に接続されている。
【0017】
１．１．２．ＭＲグラスの構成
図３は、図１のＭＲグラス１０の外観を示す斜視図である。ＭＲグラス１０は、テンプル９４Ｌと、テンプル９４Ｒと、ブリッジ９６と、投射光学系９８Ｌと、投射光学系９８Ｒと、音出力装置１８とを備える。以下の説明では、同種の要素を区別する場合には、テンプル９４Ｌにおける「Ｌ」、テンプル９４Ｒにおける「Ｒ」のようなサフィックスが使用される。同種の要素を区別しない場合には、テンプル９４のように、サフィックスを有さない共通番号だけが使用される。
図３は、図１のＭＲグラス１０の外観を示す斜視図である。ＭＲグラス１０は、テンプル９４Ｌと、テンプル９４Ｒと、ブリッジ９６と、投射光学系９８Ｌと、投射光学系９８Ｒと、音出力装置１８とを備える。以下の説明では、同種の要素を区別する場合には、テンプル９４Ｌにおける「Ｌ」、テンプル９４Ｒにおける「Ｒ」のようなサフィックスが使用される。同種の要素を区別しない場合には、テンプル９４のように、サフィックスを有さない共通番号だけが使用される。
【0018】
テンプル９４は、耳介によって支えられる棒状の部品である。ブリッジ９６は、投射光学系９８Ｌと投射光学系９８Ｒとの間に配置される。投射光学系９８は、表示装置１７と、導光路９８１と、ハーフミラー９８２とを有する。ブリッジ９６には、撮像装置１５が設けられている。撮像装置１５は、ユーザＵ前方の外界を撮像する。
【0019】
表示装置１７は、テンプル９４内に配置される。表示装置１７は、画像を表示する。表示装置１７は、例えば、液晶パネル及び有機ＥＬ（Electro Luminescence）パネル等の各種の表示パネルを有する。表示装置１７が画像を表示すると、画像を表す光が表示装置１７から出射される。表示装置１７から出射された光は、導光路９８１によってハーフミラー９８２に導かれる。ハーフミラー９８２は、導光路９８１によって導かれた光を反射する。ハーフミラー９８２によって反射された光は、ユーザＵの網膜に投射される。この光によって、ユーザＵは、画像を認識する。ハーフミラー９８２は、ユーザと対向する面を有する。以下、この面を「表示面ＳＣ」と称する。表示装置１７が画像を表示しない場合、ユーザＵは、ハーフミラー９８２を通して外界を見ることができる。
【0020】
音出力装置１８は、テンプル９４の側面に配置される。音出力装置１８は、音を出力する。
【0021】
図４は、ＭＲグラス１０の表示面ＳＣに表示される画像の一例である。表示面ＳＣは、現実の外界画像に、ポインタＰ１と、文字入力画像８０と、が重畳された画像を表示する。表示面ＳＣに表示される画像を、以下、「表示画像」と称する。図４に示される表示画像では、文字入力画像８０にポインタＰ１が重畳されている。ポインタＰ１及び文字入力画像８０は、ＡＲ空間上の仮想オブジェクトである。表示面ＳＣは、平面又は曲面である。現実の外界画像には、端末装置２０が含まれる。端末装置２０の表示部ＤＰには、風景写真の壁紙にＷｅｂブラウザのウィンドウが開いている。
【0022】
ユーザＵは、現実の空間内に文字入力画像８０及びポインタＰ１が表示されたような画像を見ることができる。ユーザＵが認識する文字入力画像８０の位置は、導光路９８１の形状及びハーフミラー９８２の形状によって決定される。以下では、説明の簡略化のため、表示面ＳＣが平面であるとする。表示面ＳＣ上のＸ軸とＹ軸とは、図４に示されるように、互いに直交する。Ｘ軸は表示面ＳＣの横方向と平行であり、Ｙ軸は表示面ＳＣの高さ方向と平行である。
【0023】
文字入力画像８０は、入力文字領域８１と、文字入力のための複数のボタン８２とを有する。図４では、図面の煩雑化を抑えるため、複数のボタン８２のうち一部のボタン８２に符号が付されている。
【0024】
入力文字領域８１は、ユーザＵが入力した文字列を表示する領域である。ボタン８２は、ボタン８２に対するタップ操作によってボタン８２に応じた所定処理が実行されることを示す画像である。ボタン８２に応じた所定処理は、例えば、「１」を入力文字領域８１に記載する処理、及び、入力文字領域８１に表示された文字列を１文字削除する処理等である。所定処理を実行するかをユーザＵに理解させるため、ボタン８２は、ボタン８２に応じた所定処理の内容を示唆する画像又は記号を有する。
【0025】
図４は、「１２３」と入力しようとするユーザが「１２」までの入力を行った状況を示す。図４は、さらに、ポインタＰ１が、「３」を示すボタン８２に位置していることを示す。ポインタＰ１の位置は、操作用デバイス３０の姿勢に応じて決定される。「３」を示すボタン８２にポインタＰ１が位置する状態において、ユーザＵが操作用デバイス３０へのタップ操作を行うと、ＭＲグラス１０は、「３」を示すボタン８２に応じた所定処理として、「３」を入力文字領域８１に記載した画像を示す画像情報を生成する。ＭＲグラス１０は、生成した画像情報が示す表示画像を表示面ＳＣに表示する。
【0026】
以上の構成により、ユーザＵは、ＭＲグラス１０を頭部に装着することにより、左眼用及び右眼用それぞれの表示パネルに表示される画像を、外界の様子と重ね合わせて観察することができる。また、ＭＲグラス１０は、視差を伴う両眼画像のうち、左眼用画像を左眼用の表示パネルに表示させ、右眼用画像を右眼用の表示パネルに表示させる。これにより、ＭＲグラス１０は、ユーザＵに対し、表示された画像があたかも奥行き及び立体感を持つかのように知覚させることが可能となる。
【0027】
図５は、図１のＭＲグラス１０の構成例を示すブロック図である。ＭＲグラス１０は、処理装置１１、記憶装置１２、視線取得装置１３、動き検出装置１４、撮像装置１５、通信装置１６、表示装置１７、及び音出力装置１８を備えている。ＭＲグラス１０の各要素は、情報を通信するための単体又は複数のバスにより相互に接続されている。なお、本明細書における「装置」という用語は、回路、デバイス、ユニット等の他の用語に読み替えてもよい。
【0028】
処理装置１１は、ＭＲグラス１０の全体を制御するプロセッサであり、例えば、単数又は複数のチップを用いて構成されている。処理装置１１は、例えば、周辺装置とのインタフェース、演算装置、及びレジスタを含む中央処理装置（ＣＰＵ：Central Processing Unit）を用いて構成されている。なお、処理装置１１の機能の一部又は全部を、ＤＳＰ（Digital Signal Processor）、ＡＳＩＣ（Application Specific Integrated Circuit）、ＰＬＤ（Programmable Logic Device）、ＦＰＧＡ（Field Programmable Gate Array）等のハードウェアによって実現してもよい。処理装置１１は、各種の処理を並列的又は逐次的に実行する。
【0029】
記憶装置１２は、処理装置２１により読み取り及び書き込みが可能な記録媒体である。記憶装置１２は、例えば、不揮発性メモリと揮発性メモリとを含む。不揮発性メモリは、例えば、ＲＯＭ（Read Only Memory）、ＥＰＲＯＭ（Erasable Programmable Read Only Memory）、及びＥＥＰＲＯＭ（Electrically Erasable Programmable Read Only Memory）である。揮発性メモリは、例えば、ＲＡＭ（Random Access Memory）である。
【0030】
記憶装置１２は、処理装置１１が実行するための制御プログラムＰＲ１を含む複数のプログラムを記憶している。また、記憶装置１２は、処理装置１１のワークエリアとして機能する。
【0031】
視線取得装置１３は、ユーザＵの左右の眼球の動きを追跡するアイトラッキングにより、ユーザが見ている方向、即ち、ユーザの視線の方向を取得し、取得結果に基づいてユーザＵの視線の方向を示す視線情報を処理装置１１に出力する。
【0032】
より具体的に述べると、視線取得装置１３には、一対の光源及び一対のカメラが含まれる。一対の光源のそれぞれは、ユーザＵの左眼と右眼とに対応し、一対のカメラのそれぞれは、ユーザＵの左眼と右眼とに対応する。ユーザＵの左眼に対応する光源は、ユーザＵの左眼に赤外光を照射し、ユーザＵの左眼に対応するカメラは、照射された赤外光が反射することにより形成される像として、ユーザＵの左眼の角膜反射像を撮像する。同様に、ユーザＵの右眼に対応する光源は、ユーザＵの右眼に赤外光を照射し、ユーザＵの右眼に対応するカメラは、ユーザＵの右眼の角膜反射像を撮像する。
【0033】
視線取得装置１３は、取得された左眼の角膜反射像及び右眼の角膜反射像からユーザＵの目頭の位置と虹彩の位置とを検出し、検出されたユーザＵの目頭の位置と虹彩の位置とに基づいて、ユーザＵの視線情報を取得する。処理装置１１へ出力された視線情報は、処理装置１１へ出力される。なお、視線取得装置１３による視線の取得方法としては、上記の方法に限定されず、どのような方法が用いられてもよい。
【0034】
動き検出装置１４は、ＭＲグラス１０の動きを検出して、動きデータを処理装置１１へ出力する。動きデータは、Ｘ軸、Ｙ軸、及びＺ軸の各方向の加速度をそれぞれ示す加速度データ及びＸ軸、Ｙ軸、及びＺ軸の各軸を回転の中心とする角加速度をそれぞれ示す角加速度データを含んでいる。動き検出装置１４には、加速度を検出する加速度センサ、角加速度を検出するジャイロセンサ等の慣性センサ、及びＭＲグラス１０が向いている方角を検出する地磁気センサが含まれている。
【0035】
加速度センサは、互いに直交するＸ軸、Ｙ軸、及びＺ軸の各方向の加速度をそれぞれ検出する。ジャイロセンサは、Ｘ軸、Ｙ軸、及びＺ軸の各軸を回転の中心とする角加速度をそれぞれ検出する。地磁気センサは、Ｘ軸、Ｙ軸、及びＺ軸の各方向の地磁気をそれぞれ検出し、ＭＲグラス１０が向いている方角を検出する。動き検出装置１４は、ジャイロセンサからの出力情報に基づいて、ＭＲグラス１０の姿勢を示す姿勢情報を生成する。また、動き検出装置１４は、ＭＲグラス１０の動きに係る動き情報を処理装置１１へ出力する。
【0036】
撮像装置１５は、外界を撮像することにより得られた撮像情報を出力する。撮像装置１５は、例えば、レンズ、撮像素子、増幅器、及びＡＤ変換器を備えている。レンズを介して集光された光は、撮像素子によってアナログ信号である撮像信号に変換される。増幅器は、撮像信号を増幅したうえでＡＤ変換器に出力する。ＡＤ変換器は、アナログ信号である増幅された撮像信号を、デジタル信号である撮像情報に変換する。変換された撮像情報は、処理装置１１に出力される。
【0037】
通信装置１６は、他の装置と通信を行うための送受信デバイスとしてのハードウェアである。通信装置１６は、例えば、ネットワークデバイス、ネットワークコントローラ、ネットワークカード、通信モジュール等とも呼ばれる。通信装置１６は、有線接続用のコネクタを備え、コネクタに対応するインタフェース回路を備えていてもよい。また、通信装置１６は、無線通信インタフェースを備えていてもよい。有線接続用のコネクタ及びインタフェース回路としては、有線ＬＡＮ、ＩＥＥＥ１３９４、ＵＳＢ等に準拠した製品が挙げられる。また、無線通信インタフェースとしては、無線ＬＡＮ、Ｂｌｕｅｔｏｏｔｈ（登録商標）等に準拠した製品が挙げられる。
【0038】
表示装置１７は、画像を表示する装置である。表示装置１７は、処理装置１１による制御に基づいて各種の画像を表示する。表示装置１７は、左眼用の表示パネル及び右眼用の表示パネルを含んでいる。
【0039】
音出力装置１８は、音を出力する装置である。音出力装置１８は、処理装置１１による制御に基づいて各種の音を表示する。音出力装置１８は、左耳用のスピーカ及び右耳用のスピーカを含んでいる。
【0040】
処理装置１１は、例えば、記憶装置１２から制御プログラムＰＲ１を読み出して実行することにより、取得部１１１、判定部１１２、切替部１１３、及び表示制御部１１４として機能する。
【0041】
取得部１１１は、行動情報と画像情報とを取得する。
【0042】
行動情報は、ＭＲグラス１０を装着したユーザＵが端末装置２０を利用する意思を示すユーザＵの行動に関する情報である。行動情報は、例えば、視線情報及び操作情報を含む。視線情報は、ユーザＵの視線に関する情報である。操作情報は、ユーザＵによる操作に関する情報である。
【0043】
画像情報は、前方領域の画像に関する情報である。前方領域は、ユーザＵよりも前方の領域である。ここで、前方領域は、ユーザＵの視界の範囲に対応する領域である。前方領域の画像は、撮像装置１５により撮像される。
【0044】
また、取得部１１１は、視線取得装置１３から入力される視線情報、動き検出装置１４から入力される動き情報、及び撮像装置１５から入力される撮像情報を取得する。
【0045】
判定部１１２は、画像情報を解析し、画像情報が示す画像に端末装置２０の画像が含まれているか否かを判定する。画像情報の解析には、公知の画像認識技術が用いられる。より具体的に述べると、端末装置２０の画像は、予め撮影され、記憶装置１２に登録画像として記憶されている。判定部１１２は、登録画像を参照して、画像情報が示す画像に端末装置２０の画像が含まれているか否かを判定する。
【0046】
判定部１１２は、画像情報が示す画像に端末装置２０の画像が含まれている場合、さらに、ユーザＵの行動情報に基づいてユーザＵが端末装置２０を利用する意思があるか否かを判定する。ユーザＵの行動の態様は、以下の２つに大別される。
【0047】
ユーザＵの行動の第１の態様は、ユーザＵが端末装置２０を利用する意思を有していると認められるが、特にユーザＵが端末装置２０を利用する意思を有していることが明白な態様である。ユーザＵが、端末装置２０の利用を選択するためのスイッチ又はボタンを操作する態様は、第１の態様の一例である。或いは、ユーザＵが、端末装置２０を利用する意思があることを発話する態様は、第１の態様の一例である。
【0048】
また、端末装置２０を利用する意思をユーザＵが特定のジェスチャー又は合図を用いて伝える態様は、第１の態様の一例である。特定のジェスチャーとしては、首を小刻みに振る、所定回数だけまばたきする、等が考えられる。特定の合図としては、操作用デバイス３０を特定のパターンで振る、タッチセンサ３４を特定のパターンでタップする等が考えられる。
【0049】
ユーザＵの第２の態様は、ユーザＵが端末装置２０を利用する意思を有していると認められる態様である。例えば、一定期間以上、ユーザＵの視線が端末装置２０に向いている場合、ユーザＵが端末装置２０を利用する意思があると認められる。言い換えると、一定期間以上、ユーザＵの視線の先である注視位置が端末装置２０と重なっている場合、ユーザＵが端末装置２０を利用する意思があると認められる。
【0050】
以上のことから、ユーザＵの行動を示す行動情報は、意思表示情報と意思相関情報とに大別される。意思表示情報は、ユーザＵの端末装置２０の利用意思を明白に示す情報、即ち、第１の態様を示す情報である。意思相関情報は、ユーザＵが端末装置２０の利用意思があると認められることを示す情報、即ち、第２の態様を示す情報である。意思相関情報は、ユーザＵが端末装置２０を利用する意思の程度に相関するユーザＵの行動に関する情報であるとも言える。
【0051】
一定期間、ユーザＵの視線が端末装置２０に向いている場合、ユーザＵが端末装置２０を利用する意思があると認められる。ここで、一定期間とは、例えば、数秒程度の期間を言う。仮に一定期間が１秒以下であると、ユーザＵが端末装置２０を一瞥した場合も検出されるため、意図せず操作対象が切り替わるおそれがある。また、仮に一定期間が数秒よりも長い期間であると、ユーザＵが操作対象を切り替えるまで時間がかかるため、ユーザＵが煩わしさを感じるおそれがある。なお、操作対象は、操作用デバイス３０によって操作される対象となるデバイスである。
【0052】
そこで、判定部１１２は、画像情報が示す画像に端末装置２０の画像が含まれ、且つ一定期間、ユーザＵの視線が端末装置２０に向いているか否かを判定する。
【0053】
切替部１１３は、画像情報が示す画像に端末装置２０の画像が含まれ、且つ一定期間、ユーザＵの視線が端末装置２０に向いていると認められる場合、操作用デバイス３０の操作対象をＭＲグラス１０から端末装置２０に切り替える。言い換えると、切替部１１３は、操作用デバイス３０に対して、操作対象をＭＲグラス１０から端末装置２０に切り替えるよう指示する。
【0054】
表示制御部１１４は、表示装置１７における表示を制御する。本実施形態では、図４に示したように、表示装置１７を用いて、仮想オブジェクトとして、ポインタＰ１及び文字入力画像８０を表示面ＳＣに表示する。
【0055】
１．１．３．端末装置の構成
図６は、図１の端末装置２０の構成例を示すブロック図である。図６に示したように、端末装置２０は、処理装置２１、記憶装置２２、通信装置２３、表示装置２４、及び入力装置２５を備えている。端末装置２０が備えている各要素は、情報を通信するための単体又は複数のバスにより相互に接続されている。
図６は、図１の端末装置２０の構成例を示すブロック図である。図６に示したように、端末装置２０は、処理装置２１、記憶装置２２、通信装置２３、表示装置２４、及び入力装置２５を備えている。端末装置２０が備えている各要素は、情報を通信するための単体又は複数のバスにより相互に接続されている。
【0056】
処理装置２１は、端末装置２０の全体を制御するプロセッサであり、例えば、単数又は複数のチップを用いて構成されている。処理装置２１は、例えば、周辺装置とのインタフェース、演算装置、レジスタ等を含む中央処理装置（ＣＰＵ）を用いて構成されている。なお、処理装置２１が備えている機能の一部又は全部は、ＤＳＰ、ＡＳＩＣ、ＰＬＤ、ＦＰＧＡ等のハードウェアによって実現されてもよい。処理装置２１は、各種の処理を並列的又は逐次的に実行する。
【0057】
記憶装置２２は、処理装置２１により読み取り及び書き込みが可能な記録媒体である。記憶装置２２は、例えば、不揮発性メモリと揮発性メモリとを含む。不揮発性メモリは、例えば、ＲＯＭ、ＥＰＲＯＭ、及びＥＥＰＲＯＭである。揮発性メモリは、例えば、ＲＡＭである。
【0058】
記憶装置２２は、処理装置２１が実行するための制御プログラムＰＲ２を含む複数のプログラムを記憶している。また、記憶装置２２は、処理装置２１のワークエリアとして機能する。制御プログラムＰＲ２は、処理装置２１全体を制御するプログラムである。
【0059】
通信装置２３は、他の装置と通信を行うための送受信デバイスとしてのハードウェアである。通信装置２３は、例えば、ネットワークデバイス、ネットワークコントローラ、ネットワークカード、通信モジュール等とも呼ばれる。通信装置２３は、有線接続用のコネクタを備え、上記コネクタに対応するインタフェース回路を備えていてもよい。また、通信装置２３は、無線通信インタフェースを備えていてもよい。有線接続用のコネクタ及びインタフェース回路としては、有線ＬＡＮ、ＩＥＥＥ１３９４、ＵＳＢに準拠した製品が挙げられる。また、無線通信インタフェースとしては、無線ＬＡＮ及びＢｌｕｅｔｏｏｔｈ（登録商標）等に準拠した製品が挙げられる。
【0060】
表示装置２４は、画像及び文字情報を表示するデバイスである。表示装置２４は、処理装置２１による制御に基づいて各種の画像を表示する。例えば、液晶パネル及び有機ＥＬパネル等の各種の表示パネルが表示装置２４として好適に利用される。
【0061】
入力装置２５は、ユーザＵからの操作を受け付ける。例えば、入力装置２５は、キーボード、タッチパッド、タッチパネル、マウス等のポインティングデバイスを含んで構成されている。ここで、入力装置２５は、タッチパネルを含んで構成されている場合、表示装置２４を兼ねていてもよい。
【0062】
１．１．４．操作用デバイスの構成
図７は、図１の操作用デバイス３０の外観を示す斜視図である。図８は、図１の操作用デバイス３０の構成例を示すブロック図である。操作用デバイス３０は、処理装置３１、記憶装置３２、慣性センサ３３、タッチセンサ３４、及び通信装置３５を備えている。操作用デバイス３０が備えている各要素は、情報を通信するための単体又は複数のバスにより相互に接続されている。
図７は、図１の操作用デバイス３０の外観を示す斜視図である。図８は、図１の操作用デバイス３０の構成例を示すブロック図である。操作用デバイス３０は、処理装置３１、記憶装置３２、慣性センサ３３、タッチセンサ３４、及び通信装置３５を備えている。操作用デバイス３０が備えている各要素は、情報を通信するための単体又は複数のバスにより相互に接続されている。
【0063】
処理装置３１は、操作用デバイス３０の全体を制御するプロセッサであり、例えば、単数又は複数のチップを用いて構成されている。処理装置３１は、例えば、周辺装置とのインタフェース、演算装置、レジスタ等を含む中央処理装置（ＣＰＵ）を用いて構成されている。なお、処理装置３１が備えている機能の一部又は全部は、ＤＳＰ、ＡＳＩＣ、ＰＬＤ、ＦＰＧＡ等のハードウェアによって実現されてもよい。処理装置３１は、各種の処理を並列的又は逐次的に実行する。
【0064】
記憶装置３２は、処理装置３１により読み取り及び書き込みが可能な記録媒体である。記憶装置３２は、例えば、不揮発性メモリと揮発性メモリとを含む。不揮発性メモリは、例えば、ＲＯＭ、ＥＰＲＯＭ、及びＥＥＰＲＯＭである。揮発性メモリは、例えば、ＲＡＭである。
【0065】
記憶装置３２は、処理装置３１が実行するための制御プログラムＰＲ３を含む複数のプログラムを記憶している。また、記憶装置３２は、処理装置３１のワークエリアとして機能する。制御プログラムＰＲ３は、処理装置３１全体を制御するプログラムである。
【0066】
慣性センサ３３は、三次元空間において、操作用デバイス３０にかかる３軸の各々の方向における加速度と、この３軸の各々を回転軸とする操作用デバイス３０に掛かる角速度とを測定する。処理装置３１は、測定された３軸の各々の方向における加速度と、３軸の各々を回転軸とする角速度とに基づいて、姿勢情報ＰＩを生成する。姿勢情報ＰＩは、角度θ１及び角度θ２を含む。角度θ１は、方向ＬＶを回転軸として操作用デバイス３０が回転したとき、操作用デバイス３０の初期設定時における位置からの角度を示す。角度θ２は、方向ＬＨを回転軸として操作用デバイス３０が回転したとき、操作用デバイス３０の初期設定時における位置からの角度を示す。
【0067】
タッチセンサ３４は、ユーザＵが行うタップ操作、スワイプ操作等を検出する。処理装置３１は、タッチセンサ３４がタップ操作を検出した場合に、タップ情報ＴＩを生成する。タップ情報ＴＩは、ユーザＵが行うタップ操作を受け付けたことを示す情報である。処理装置３１は、タッチセンサ３４がスワイプ操作を検出した場合に、スワイプ情報ＳＩを生成する。スワイプ情報ＳＩは、ユーザＵが行うスワイプ操作を受け付けたことを示す情報である。
【0068】
通信装置３５は、他の装置と通信を行うための送受信デバイスとしてのハードウェアである。通信装置３５は、例えば、ネットワークデバイス、ネットワークコントローラ、ネットワークカード、通信モジュール等とも呼ばれる。通信装置３５は、有線接続用のコネクタを備え、上記コネクタに対応するインタフェース回路を備えていてもよい。また、通信装置３５は、無線通信インタフェースを備えていてもよい。有線接続用のコネクタ及びインタフェース回路としては、有線ＬＡＮ、ＩＥＥＥ１３９４、ＵＳＢに準拠した製品が挙げられる。また、無線通信インタフェースとしては、無線ＬＡＮ及びＢｌｕｅｔｏｏｔｈ（登録商標）等に準拠した製品が挙げられる。
【0069】
【0070】
図９は、初期設定時における操作用デバイス３０の長手方向を示す図である。ユーザＵが、タッチセンサ３４に対し、数秒以上の長押し操作を実行すると、操作用デバイス３０が操作用デバイス３０の長手方向を記憶する初期設定モードに遷移する。初期設定モードにおいて、操作用デバイス３０は、三次元空間における操作用デバイス３０の長手方向ＬＩＮを特定する。操作用デバイス３０は、特定された長手方向ＬＩＮを示す情報を記憶する。三次元空間における操作用デバイス３０の長手方向ＬＩＮは、操作用デバイス３０にかかる加速度に基づいて特定可能である。なお、操作用デバイス３０は、動作モードを初期設定モードへ遷移させるためのボタン、スイッチ等を備えていてもよい。
【0071】
また、操作用デバイス３０は、方向ＬＶと方向ＬＨとを特定する。方向ＬＶは、長手方向ＬＩＮに対して垂直な方向である。方向ＬＶは、さらに、操作用デバイス３０の高さ方向である。方向ＬＨは、長手方向ＬＩＮに対して垂直な方向である。方向ＬＨは、さらに、操作用デバイス３０の幅方向である。初期設定モードの終了後において、方向ＬＶを回転軸とする操作用デバイス３０の回転によって、表示面ＳＣのＸ軸方向におけるポインタＰ１の位置が変化する。初期設定モードの終了後において、方向ＬＨを回転軸とする操作用デバイス３０の回転によって、表示面ＳＣのＹ軸方向におけるポインタＰ１の位置が変化する。
【0072】
図１０は、方向ＬＶを回転軸とする操作用デバイス３０の回転の一例を示す図である。方向ＬＶを回転軸として、初期設定時における操作用デバイス３０の位置から操作用デバイス３０が回転した角度θ１に応じて、Ｘ軸方向におけるポインタＰ１の位置が変化する。角度θ１は、方向ＬＶから操作用デバイス３０を見た場合に、初期設定時における操作用デバイス３０の長手方向ＬＩＮに対して、現在の操作用デバイス３０の長手方向Ｌ１がなす角度であるとも言える。
【0073】
図１１は、方向ＬＨを回転軸とする操作用デバイス３０の回転の一例を示す図である。方向ＬＨを回転軸として、初期設定時における操作用デバイス３０の位置から操作用デバイス３０が回転した角度θ２に応じて、Ｙ軸方向におけるポインタＰ１の位置が変化する。角度θ２は、方向ＬＨから操作用デバイス３０を見た場合に、初期設定時における操作用デバイス３０の長手方向ＬＩＮに対して、現在の操作用デバイス３０の長手方向Ｌ１がなす角度であるとも言える。このように、操作対象がＭＲグラス１０である場合、操作用デバイス３０による操作は、ＡＲ空間上のポインタＰ１の座標を特定することである。
【0074】
１．２．第１実施形態に係る制御装置の動作
１．２．１．ユーザの視線の方向と端末装置の位置との関係
以下、図１２を参照することにより、ユーザＵの視線が端末装置２０に向いていることを検出する方法について説明する。図１２は、端末装置２０、ＭＲグラス１０、及び左右眼球の位置関係を示す平面図である。図１２では、端末装置２０として平面ディスプレイが想定されている。なお、説明を簡略化するために、図１２では、端末装置２０の主面とＭＲグラス１０の面とが平行な状態を仮定している。
１．２．１．ユーザの視線の方向と端末装置の位置との関係
以下、図１２を参照することにより、ユーザＵの視線が端末装置２０に向いていることを検出する方法について説明する。図１２は、端末装置２０、ＭＲグラス１０、及び左右眼球の位置関係を示す平面図である。図１２では、端末装置２０として平面ディスプレイが想定されている。なお、説明を簡略化するために、図１２では、端末装置２０の主面とＭＲグラス１０の面とが平行な状態を仮定している。
【0075】
図１２において、ユーザＵは、ＭＲグラス１０を通して端末装置２０の点Ｓ１を注視している。ユーザＵの左眼球ＥＹＬは、端末装置２０の点Ｓ１を向いている。左眼球ＥＹＬの視線ＬＳＬは、ハーフミラー９８２Ｌを通って点Ｓ１に向かっている。ユーザＵの右眼球ＥＹＲは、端末装置２０の点Ｓ１を向いている。右眼球ＥＹＲの視線ＬＳＲは、ハーフミラー９８２Ｒを通って点Ｓ１に向かっている。
【0076】
ハーフミラー９８２Ｌとハーフミラー９８２Ｒとの間に撮像装置１５が配置されている。撮像装置１５と左眼球ＥＹＬとの距離をｄＬ、撮像装置１５と右眼球ＥＹＲとの距離をｄＲとする。この場合、左眼球ＥＹＬと右眼球ＥＹＲとの距離は、「ｄＬ＋ｄＲ」により表される。左眼球ＥＹＬの視線ＬＳＬの方向は、ハーフミラー９８２Ｌの法線ＮＬＬと視線ＬＳＬとのなす角αＬにより表される。右眼球ＥＹＲの視線ＬＳＲの方向は、ハーフミラー９８２Ｒの法線ＮＬＲと視線ＬＳＲとのなす角αＲにより表される。
【0077】
左眼球ＥＹＬ及び右眼球ＥＹＲと、端末装置２０との距離をＤとすると、距離Ｄは、以下の（１）式により表される。
【0078】
Ｄ＝（ｄＬ＋ｄＲ）／（tanαＬ＋tanαＲ） ・・・（１）
【0079】
判定部１１２は、撮像装置１５から取得した画像から、距離Ｄ及び距離ｄＬを考慮して、左眼用の視差画像を生成する。判定部１１２は、撮像装置１５から取得した画像から、距離Ｄ及び距離ｄＲを考慮して、右眼用の視差画像を生成する。ここで、左眼用の視差画像とは、ユーザＵが左眼によって現実空間の外界画像を視認した画像に対応する画像である。右眼用の視差画像とは、ユーザＵが右眼によって現実空間の外界画像を視認した画像に対応する画像である。
【0080】
生成された左眼用の視差画像は、左眼用の表示面ＳＣＬに表示される画像と対応付けられる。生成された右眼用の視差画像は、右眼用の表示面ＳＣＲに表示される画像と対応付けられる。
【0081】
判定部１１２は、表示面ＳＣＬと視線ＬＳＬとの交点Ｉ１を、左眼用の視差画像上においてシミュレートする。表示面ＳＣＬ上の交点Ｉ１と端末装置２０とがユーザＵの視線ＬＳＬ上において重なると、左眼用の視差画像上においても、視線ＬＳＬと端末装置２０との交点である注視点が端末装置２０に重なる。同様に、判定部１１２は、表示面ＳＣＲと視線ＬＳＲとの交点Ｉ２を、右眼用の視差画像上においてシミュレートする。表示面ＳＣＲ上の交点Ｉ２と端末装置２０とがユーザＵの視線ＬＳＲ上において重なると、右眼用の視差画像上においても、注視点が端末装置２０に重なる。これにより、判定部１１２は、ユーザＵの視線ＬＳＬ及びＬＳＲが端末装置２０を向いていることを検出することができる。
【0082】
１．２．２．操作用デバイスによる端末装置の操作方法
【0083】
図１３は、操作用デバイス３０による端末装置２０の操作方法を説明する図である。ここでは、操作用デバイス３０の操作対象は端末装置２０である。図１３において、端末装置２０のディスプレイの横方向をＸ軸方向とし、ディスプレイの高さ方向をＹ軸方向とする。操作用デバイス３０は、操作対象をＭＲグラス１０から端末装置２０に切り替える旨の指示をＭＲグラス１０から受け付けると、操作対象をＭＲグラス１０から端末装置２０に切り替える。端末装置２０には、操作用デバイス３０による操作に適応するアプリケーションプログラムが予めインストールされる。
【0084】
図９～図１１を参照しながら説明したのと同様に、操作用デバイス３０は、初期設定時における操作用デバイス３０の位置から操作用デバイス３０が回転した角度θ１及びθ２に応じて、それぞれＸ軸方向におけるポインタＰ２の位置及びＹ軸方向におけるポインタＰ２の位置を変化させる。このように、操作対象が端末装置２０である場合、操作用デバイス３０による操作は、ディスプレイ上のポインタＰ２の座標を特定することである。
【0085】
１．２．３．処理装置の動作
図１４は、図５の処理装置１１の切替動作の一例を示すフローチャートである。以下、図１４を参照することにより、処理装置１１の切替動作について説明する。図１４のルーチンは、例えば、処理装置１１が起動されることにより開始され、一定の時間が経過するごとに実行されるようになっている。
図１４は、図５の処理装置１１の切替動作の一例を示すフローチャートである。以下、図１４を参照することにより、処理装置１１の切替動作について説明する。図１４のルーチンは、例えば、処理装置１１が起動されることにより開始され、一定の時間が経過するごとに実行されるようになっている。
【0086】
ステップＳ１１において、処理装置１１は、取得部１１１として機能することにより、ユーザＵの行動情報及び画像情報を取得する。
【0087】
ステップＳ１２において、処理装置１１は、判定部１１２として機能することにより、画像情報が示す画像に端末装置２０の画像が含まれるか否かを判定する。
【0088】
画像情報が示す画像に端末装置２０の画像が含まれていなかった場合、即ち、ステップＳ１２における判定結果が否定であった場合、処理装置１１は、本ルーチンを一旦終了する。
【0089】
一方、画像情報が示す画像に端末装置２０の画像が含まれていた場合、即ち、ステップＳ１２における判定結果が肯定であった場合、処理装置１１は、判定部１１２として機能することにより、ステップＳ１３において、ユーザＵが端末装置２０を利用する意思があると認められるか否かを判定する。
【0090】
ユーザＵが端末装置２０を利用する意思があると認められない場合、即ち、ステップＳ１３における判定結果が否定であった場合、処理装置１１は、本ルーチンを一旦終了する。
【0091】
一方、ユーザＵが端末装置を利用する意思があると認められる場合、即ち、ステップＳ１３における判定結果が肯定であった場合、処理装置１１は、切替部１１３として機能することにより、操作対象をＭＲグラス１０から端末装置２０に切り替えて、本ルーチンを一旦終了する。
【0092】
１．３．第１実施形態が奏する効果
以上の説明によれば、第１実施形態に係る制御装置は、取得部１１１と切替部１１３とを備える。取得部１１１は、行動情報と画像情報とを取得する。行動情報は、ＭＲグラス１０を装着したユーザＵが端末装置２０を利用する意思を示すユーザＵの行動に関する情報である。画像情報は、ユーザＵ前方の領域に関する情報である。切替部１１３は、画像情報が示す画像に端末装置２０の画像が含まれ、且つ行動情報に基づいてユーザＵが端末装置２０を利用する意思があると認められる場合、操作用デバイス３０によって操作される操作対象を、ＭＲグラス１０から端末装置２０に切り替える。操作用デバイス３０は、ＭＲグラス１０と端末装置２０とをそれぞれ制御可能である。
以上の説明によれば、第１実施形態に係る制御装置は、取得部１１１と切替部１１３とを備える。取得部１１１は、行動情報と画像情報とを取得する。行動情報は、ＭＲグラス１０を装着したユーザＵが端末装置２０を利用する意思を示すユーザＵの行動に関する情報である。画像情報は、ユーザＵ前方の領域に関する情報である。切替部１１３は、画像情報が示す画像に端末装置２０の画像が含まれ、且つ行動情報に基づいてユーザＵが端末装置２０を利用する意思があると認められる場合、操作用デバイス３０によって操作される操作対象を、ＭＲグラス１０から端末装置２０に切り替える。操作用デバイス３０は、ＭＲグラス１０と端末装置２０とをそれぞれ制御可能である。
【0093】
この態様によれば、制御装置は、端末装置２０がユーザＵの前方に存在し、且つ行動情報に基づいてユーザＵが端末装置２０を利用する意思があると認められる場合、操作対象がＭＲグラス１０から端末装置２０に切り替えられる。従って、ＭＲグラス１０から端末装置２０への操作対象の切り替えには、ユーザＵの意思がより反映される。その結果、ユーザＵは、ＭＲグラス１０と端末装置２０とを共通の操作用デバイス３０によって容易に操作することができる。つまり、ユーザＵは、操作用デバイス３０によって、ＡＲ空間上のポインタＰ１の座標を特定するとともに、現実空間のディスプレイ上のポインタＰ２の座標を特定することができる。
【0094】
また、行動情報は、ユーザＵの視線に関する情報である。
【0095】
この態様によれば、端末装置２０の利用をユーザＵが望む場合、ユーザＵは、端末装置２０に視線を向けることにより操作対象を端末装置２０に切り替えることができる。
【0096】
また、行動情報に基づいてユーザＵが端末装置２０を利用する意思があると認められる場合とは、一定期間、ユーザＵの視線が端末装置２０に向いている場合である。
【0097】
この態様によれば、操作対象が意図せず切り替わることを抑制できる。
【0098】
また、操作用デバイス３０は、ユーザＵにより把持される。操作用デバイス３０は、本体の姿勢を変更することによってユーザＵが行う操作を受け付ける。
【0099】
この態様によれば、ユーザＵは、操作用デバイス３０の姿勢を変更するだけで直感的にポインタＰ１又はＰ２を操作することができる。
【0100】
また、第１実施形態に係る制御方法は、行動情報と画像情報とを取得し、画像情報が示す画像に端末装置２０の画像が含まれ、且つ行動情報に基づいてユーザＵが端末装置２０を利用する意思があると認められる場合、操作用デバイス３０によって操作される操作対象をＭＲグラス１０から端末装置２０に切り替える。
【0101】
この態様によれば、端末装置２０がユーザＵの前方に存在し、且つ行動情報に基づいてユーザＵが端末装置２０を利用する意思があると認められる場合、操作対象がＭＲグラス１０から端末装置２０に切り替えられる。ＭＲグラス１０から端末装置２０への操作対象の切り替えには、ユーザＵの意思がより反映される。その結果、ユーザＵは、ＭＲグラス１０と端末装置２０とを共通の操作用デバイス３０によって容易に操作することができる。つまり、ユーザＵは、操作用デバイス３０によって、ＡＲ空間上のポインタＰ１の座標を特定するとともに、現実空間のディスプレイ上のポインタＰ２の座標を特定することができる。
【0102】
２．変形例
本開示は、以上に例示した実施形態に限定されない。具体的な変形の態様を以下に例示する。以下の例示から任意に選択された２以上の態様を組み合わせてもよい。また、上記実施形態の態様及び以下の変形の態様は、相互に矛盾しない限り任意に組み合わせることができる。
本開示は、以上に例示した実施形態に限定されない。具体的な変形の態様を以下に例示する。以下の例示から任意に選択された２以上の態様を組み合わせてもよい。また、上記実施形態の態様及び以下の変形の態様は、相互に矛盾しない限り任意に組み合わせることができる。
【0103】
２．１．変形例１
第１実施形態において、行動情報として視線情報が利用されるが、行動情報は、例えば、ユーザＵが操作用デバイス３０の表示面ＳＣ上のポインタＰ１で指し示した位置に関する情報であってもよい。以下、ユーザＵが操作用デバイス３０の表示面ＳＣ上のポインタＰ１で指し示した位置に関する情報は、「ポインタ情報」と称される。例えば、一定期間、ポインタＰ１と端末装置２０とがユーザＵの視線上において重なっている場合、ユーザＵが端末装置２０を利用する意思があると認められる。従って、判定部１１２は、視差画像上においてユーザＵの視線をシミュレートすることに代えて、ポインタＰ１の位置をシミュレートしてもよい。
第１実施形態において、行動情報として視線情報が利用されるが、行動情報は、例えば、ユーザＵが操作用デバイス３０の表示面ＳＣ上のポインタＰ１で指し示した位置に関する情報であってもよい。以下、ユーザＵが操作用デバイス３０の表示面ＳＣ上のポインタＰ１で指し示した位置に関する情報は、「ポインタ情報」と称される。例えば、一定期間、ポインタＰ１と端末装置２０とがユーザＵの視線上において重なっている場合、ユーザＵが端末装置２０を利用する意思があると認められる。従って、判定部１１２は、視差画像上においてユーザＵの視線をシミュレートすることに代えて、ポインタＰ１の位置をシミュレートしてもよい。
【0104】
判定部１１２は、表示面ＳＣＬ上のポインタＰ１Ｌの位置を、左眼用の視差画像上においてシミュレートする。表示面ＳＣＬ上のポインタＰ１Ｌと端末装置２０とがユーザＵの視線ＬＳＬ上において重なると、左眼用の視差画像上においても、ポインタＰ１Ｒが端末装置２０に重なる。同様に、判定部１１２は、表示面ＳＣＲ上のポインタＰ１Ｒの位置を、右眼用の視差画像上においてシミュレートする。表示面ＳＣＲ上のポインタＰ１Ｒと端末装置２０とがユーザＵの視線ＬＳＲ上において重なると、右眼用の視差画像上においても、ポインタＰ１Ｒが端末装置２０に重なる。これにより、判定部１１２は、ポインタＰ１Ｌと端末装置２０とがユーザＵの視線ＬＳＬ上において重なり、ポインタＰ１Ｒと端末装置２０とがユーザＵの視線ＬＳＲ上において重なっていることを検出することができる。
【0105】
図１５は、変形例１に係る処理装置１１の切替動作の一例を示すフローチャートである。以下、図１５を参照することにより、処理装置１１の切替動作について説明する。図１５のルーチンは、例えば、処理装置１１が起動されることにより開始され、一定の時間が経過するごとに実行されるようになっている。
【0106】
ステップＳ１１において、処理装置１１は、取得部１１１として機能することにより、行動情報及び画像情報を取得する。
【0107】
ステップＳ１２において、処理装置１１は、判定部１１２として機能することにより、画像情報が示す画像に端末装置２０の画像が含まれるか否かを判定する。
【0108】
画像情報が示す画像に端末装置２０の画像が含まれていなかった場合、即ち、ステップＳ１２における判定結果が否定であった場合、処理装置１１は、本ルーチンを一旦終了する。
【0109】
一方、画像情報が示す画像に端末装置２０の画像が含まれていた場合、即ち、ステップＳ１２における判定結果が肯定であった場合、処理装置１１は、判定部１１２として機能することにより、ステップＳ２１において、一定期間、ポインタＰ１と端末装置２０とがユーザＵの視線上において重なっているか否かを判定する。一定期間は、例えば、１～３秒程度に設定される。
【0110】
一定期間、ポインタＰ１と端末装置２０とがユーザＵの視線上において重なっていない場合、即ち、ステップＳ２１における判定結果が否定であった場合、処理装置１１は、本ルーチンを一旦終了する。
【0111】
一方、一定期間、ポインタＰ１と端末装置２０とがユーザＵの視線上において重なっている場合、即ち、ステップＳ２１における判定結果が肯定であった場合、処理装置１１は、切替部１１３として機能することにより、操作対象をＭＲグラス１０から端末装置２０に切り替えて、本ルーチンを一旦終了する。
【0112】
以上説明したように、行動情報は、ユーザＵがＭＲグラス１０の表示面ＳＣ上のポインタＰ１で指し示した位置に関するポインタ情報である。
【0113】
この態様によれば、端末装置２０の利用をユーザＵが望む場合、ユーザＵは、ポインタＰ１を端末装置２０の像に重ねるだけで操作対象を端末装置２０に切り替えることができる。
【0114】
また、行動情報に基づいてユーザＵが端末装置２０を利用する意思があると認められる場合とは、一定期間、ポインタＰ１と端末装置２０とがユーザＵの視線上において重なっている場合である。
【0115】
この態様によれば、操作対象が意図せず切り替わることを抑制できる。
【0116】
２．２．変形例２
第１実施形態において、画像情報の解析は、予め撮像された登録画像を参照することにより行われる。しかしながら、画像情報の解析はこのような方法に限定されない。例えば、画像情報の解析には、複数の端末装置の画像と、複数の端末装置の各々の種類との関係が学習済みの学習モデルが用いられてもよい。
第１実施形態において、画像情報の解析は、予め撮像された登録画像を参照することにより行われる。しかしながら、画像情報の解析はこのような方法に限定されない。例えば、画像情報の解析には、複数の端末装置の画像と、複数の端末装置の各々の種類との関係が学習済みの学習モデルが用いられてもよい。
【0117】
図１６は、変形例２に係る制御装置を含む制御システム１Ａの全体構成を示す図である。ＭＲグラス１０は、通信網ＮＥＴを介して学習サーバ４０と相互に通信可能に接続されている。学習サーバ４０は、学習済みの学習モデルを格納している。取得部１１１は、学習サーバ４０の学習モデルを用いて、画像情報を解析する。
【0118】
より具体的に述べると、取得された画像情報が学習モデルに入力されると、画像情報が示す画像に端末装置２０の画像が含まれている場合、学習モデルは、端末装置２０の種類及び端末装置２０の当該画像上の位置を特定する。学習サーバ４０は、特定された種類及び位置に関する端末情報をＭＲグラス１０へ送信する。画像情報が示す画像に端末装置２０の画像が含まれていない場合、学習モデルは、当該画像に端末装置２０が含まれていない旨を出力する。
【0119】
この態様によれば、学習モデルが各種の端末装置２０の種類を特定するため、事前に端末装置２０の画像を予め撮影して登録画像として準備する必要がない。従って、ユーザＵにとって利便性がより高くなる。なお、通信網ＮＥＴが利用される場合、ＭＲグラス１０と操作用デバイス３０との通信又は端末装置２０と操作用デバイス３０との通信は、通信網ＮＥＴを介して行われてもよい。
【0120】
２．３．変形例３
操作用デバイス３０は、本体の姿勢を変更することによってポインタＰ１又はＰ２を操作するデバイスに限定されない。操作用デバイス３０は、ポインタＰ１又はＰ２の移動先の位置を指定するデバイスであってもよい。ポインタの位置を指定する操作用デバイスは、例えば、ユーザＵが指し示す方向に仮想的な光線が本体から出力するように表示させる。ユーザＵは、ＭＲグラス１０の表示面ＳＣ上に投影される仮想的な光線を、ポインタＰ１を移動させたい位置に当てた状態で操作用デバイスのボタンをクリックする。これにより、仮想的な光線が当たった位置がポインタＰ１の移動先として指定され、当該位置にポインタが移動する。
操作用デバイス３０は、本体の姿勢を変更することによってポインタＰ１又はＰ２を操作するデバイスに限定されない。操作用デバイス３０は、ポインタＰ１又はＰ２の移動先の位置を指定するデバイスであってもよい。ポインタの位置を指定する操作用デバイスは、例えば、ユーザＵが指し示す方向に仮想的な光線が本体から出力するように表示させる。ユーザＵは、ＭＲグラス１０の表示面ＳＣ上に投影される仮想的な光線を、ポインタＰ１を移動させたい位置に当てた状態で操作用デバイスのボタンをクリックする。これにより、仮想的な光線が当たった位置がポインタＰ１の移動先として指定され、当該位置にポインタが移動する。
【0121】
操作対象がＭＲグラス１０から端末装置２０に切り替えられた場合、ユーザＵがＭＲグラス１０の表示面ＳＣ上に投影される仮想的な光線を端末装置２０の表示装置２４の像に当てた状態で操作用デバイスのボタンをクリックする。これにより、表示装置２４の対応する位置にポインタＰ２が移動する。
【0122】
なお、操作用デバイスは、上記に開示したデバイスに限られず、スマートフォン、スマートウォッチ等でもよいし、マウス、トラックボール等の入力デバイスであってもよい。
【0123】
２．４．変形例４
端末装置２０は、パーソナルコンピュータ、タブレット端末、スマートフォン、スマートウォッチ等に限定されない。通信機能を有するテレビ、エアコン、電子レンジ等の家電が含まれてもよい。例えば、操作対象がＭＲグラス１０からエアコンに切り替えられると、エアコンの操作メニューに関する情報がエアコンから操作用デバイス３０を経由してＭＲグラス１０へ送信され、表示面ＳＣにエアコンの操作メニューが表示される態様が考えられる。この態様では、表示面ＳＣに表示されたエアコンの操作メニューから、操作用デバイス３０を用いて希望の動作を選択することができる。
端末装置２０は、パーソナルコンピュータ、タブレット端末、スマートフォン、スマートウォッチ等に限定されない。通信機能を有するテレビ、エアコン、電子レンジ等の家電が含まれてもよい。例えば、操作対象がＭＲグラス１０からエアコンに切り替えられると、エアコンの操作メニューに関する情報がエアコンから操作用デバイス３０を経由してＭＲグラス１０へ送信され、表示面ＳＣにエアコンの操作メニューが表示される態様が考えられる。この態様では、表示面ＳＣに表示されたエアコンの操作メニューから、操作用デバイス３０を用いて希望の動作を選択することができる。
【0124】
２．５．変形例５
第１実施形態において、ＭＲグラス１０には、光学シースルー方式が採用されていたが、ビデオシースルー方式が採用されてもよい。
第１実施形態において、ＭＲグラス１０には、光学シースルー方式が採用されていたが、ビデオシースルー方式が採用されてもよい。
【0125】
２．６．変形例６
第１実施形態において、制御装置はＭＲグラス１０の処理装置１１に含まれていたが、制御装置は操作用デバイス３０に含まれてもよい。
第１実施形態において、制御装置はＭＲグラス１０の処理装置１１に含まれていたが、制御装置は操作用デバイス３０に含まれてもよい。
【0126】
３．その他
（１）上述した実施形態では、記憶装置１２、記憶装置２２、及び記憶装置３２は、ＲＯＭ及びＲＡＭなどを例示したが、フレキシブルディスク、光磁気ディスク(例えば、コンパクトディスク、デジタル多用途ディスク、Ｂｌｕ－ｒａｙ（登録商標）ディスク)、スマートカード、フラッシュメモリデバイス(例えば、カード、スティック、キードライブ)、ＣＤ－ＲＯＭ（Compact Disc－ＲＯＭ）、レジスタ、リムーバブルディスク、ハードディスク、フロッピー（登録商標）ディスク、磁気ストリップ、データベース、サーバその他の適切な記憶媒体である。また、プログラムは、電気通信回線を介してネットワークから送信されてもよい。また、プログラムは、電気通信回線を介して通信網ＮＥＴから送信されてもよい。
（１）上述した実施形態では、記憶装置１２、記憶装置２２、及び記憶装置３２は、ＲＯＭ及びＲＡＭなどを例示したが、フレキシブルディスク、光磁気ディスク(例えば、コンパクトディスク、デジタル多用途ディスク、Ｂｌｕ－ｒａｙ（登録商標）ディスク)、スマートカード、フラッシュメモリデバイス(例えば、カード、スティック、キードライブ)、ＣＤ－ＲＯＭ（Compact Disc－ＲＯＭ）、レジスタ、リムーバブルディスク、ハードディスク、フロッピー（登録商標）ディスク、磁気ストリップ、データベース、サーバその他の適切な記憶媒体である。また、プログラムは、電気通信回線を介してネットワークから送信されてもよい。また、プログラムは、電気通信回線を介して通信網ＮＥＴから送信されてもよい。
【0127】
（２）上述した実施形態において、説明した情報、信号などは、様々な異なる技術のいずれかを使用して表されてもよい。例えば、上記の説明全体に渡って言及され得るデータ、命令、コマンド、情報、信号、ビット、シンボル、チップなどは、電圧、電流、電磁波、磁界若しくは磁性粒子、光場若しくは光子、又はこれらの任意の組み合わせによって表されてもよい。
【0128】
（３）上述した実施形態において、入出力された情報等は特定の場所（例えば、メモリ）に保存されてもよいし、管理テーブルを用いて管理してもよい。入出力される情報等は、上書き、更新、又は追記され得る。出力された情報等は削除されてもよい。入力された情報等は他の装置へ送信されてもよい。
【0129】
（４）上述した実施形態において、判定は、１ビットを用いて表される値（０か１か）によって行われてもよいし、真偽値（Boolean：true又はfalse）によって行われてもよいし、数値の比較（例えば、所定の値との比較）によって行われてもよい。
【0130】
（５）上述した実施形態において例示した処理手順、シーケンス、フローチャートなどは、矛盾の無い限り、順序を入れ替えてもよい。例えば、本開示において説明した方法については、例示的な順序を用いて様々なステップの要素を提示しており、提示した特定の順序に限定されない。
【0131】
（６）図１～図１６に例示された各機能は、ハードウェア及びソフトウェアの少なくとも一方の任意の組み合わせによって実現される。また、各機能ブロックの実現方法は特に限定されない。すなわち、各機能ブロックは、物理的又は論理的に結合した１つの装置を用いて実現されてもよいし、物理的又は論理的に分離した２つ以上の装置を直接的又は間接的に（例えば、有線、無線などを用いて）接続し、これら複数の装置を用いて実現されてもよい。機能ブロックは、上記１つの装置又は上記複数の装置にソフトウェアを組み合わせて実現されてもよい。
【0132】
（７）上述した実施形態において例示したプログラムは、ソフトウェア、ファームウェア、ミドルウェア、マイクロコード、ハードウェア記述言語と呼ばれるか、他の名称を用いて呼ばれるかを問わず、命令、命令セット、コード、コードセグメント、プログラムコード、プログラム、サブプログラム、ソフトウェアモジュール、アプリケーション、ソフトウェアアプリケーション、ソフトウェアパッケージ、ルーチン、サブルーチン、オブジェクト、実行可能ファイル、実行スレッド、手順、機能などを意味するよう広く解釈されるべきである。
【0133】
また、ソフトウェア、命令、情報などは、伝送媒体を介して送受信されてもよい。例えば、ソフトウェアが、有線技術（同軸ケーブル、光ファイバケーブル、ツイストペア、デジタル加入者回線（ＤＳＬ：Digital Subscriber Line）など）及び無線技術（赤外線、マイクロ波など）の少なくとも一方を使用してウェブサイト、サーバ、又は他のリモートソースから送信される場合、これらの有線技術及び無線技術の少なくとも一方は、伝送媒体の定義内に含まれる。
【0134】
（８）前述の各形態において、「システム」及び「ネットワーク」という用語は、互換的に使用される。
【0135】
（９）本開示において説明した情報、パラメータなどは、絶対値を用いて表されてもよいし、所定の値からの相対値を用いて表されてもよいし、対応する別の情報を用いて表されてもよい。
【0136】
（１０）上述した実施形態において、ＭＲグラス１０及び学習サーバ４０は、移動局（ＭＳ：Mobile Station）である場合が含まれる。移動局は、当業者によって、加入者局、モバイルユニット、加入者ユニット、ワイヤレスユニット、リモートユニット、モバイルデバイス、ワイヤレスデバイス、ワイヤレス通信デバイス、リモートデバイス、モバイル加入者局、アクセス端末、モバイル端末、ワイヤレス端末、リモート端末、ハンドセット、ユーザエージェント、モバイルクライアント、クライアント、又はいくつかの他の適切な用語で呼ばれる場合もある。また、本開示においては、「移動局」、「ユーザ端末（user terminal）」、「ユーザ装置（ＵＥ：User Equipment）」、「端末」等の用語は、互換的に使用され得る。
【0137】
（１１）上述した実施形態において、「接続された(connected)」、「結合された(coupled)」という用語、又はこれらのあらゆる変形は、２又はそれ以上の要素間の直接的又は間接的なあらゆる接続又は結合を意味し、互いに「接続」又は「結合」された２つの要素間に１又はそれ以上の中間要素が存在することを含むことができる。要素間の結合又は接続は、物理的な結合又は接続であっても、論理的な結合又は接続であっても、或いはこれらの組み合わせであってもよい。例えば、「接続」は「アクセス」を用いて読み替えられてもよい。本開示において使用する場合、２つの要素は、１又はそれ以上の電線、ケーブル及びプリント電気接続の少なくとも一つを用いて、並びにいくつかの非限定的かつ非包括的な例として、無線周波数領域、マイクロ波領域及び光（可視及び不可視の両方）領域の波長を有する電磁エネルギーなどを用いて、互いに「接続」又は「結合」されると考えることができる。
【0138】
（１２）上述した実施形態において、「に基づいて」という記載は、別段に明記されていない限り、「のみに基づいて」を意味しない。言い換えれば、「に基づいて」という記載は、「のみに基づいて」と「に少なくとも基づいて」の両方を意味する。
【0139】
（１３）本開示において使用される「判断(determining)」、「決定(determining)」という用語は、多種多様な動作を包含する場合がある。「判断」、「決定」は、例えば、判定(judging)、計算(calculating)、算出(computing)、処理(processing)、導出(deriving)、調査(investigating)、探索(looking up、search、inquiry)（例えば、テーブル、データベース又は別のデータ構造での探索）、確認(ascertaining)した事を「判断」「決定」したとみなす事などを含み得る。また、「判断」、「決定」は、受信(receiving)（例えば、情報を受信すること）、送信(transmitting)(例えば、情報を送信すること)、入力(input)、出力(output)、アクセス(accessing)（例えば、メモリ中のデータにアクセスすること）した事を「判断」「決定」したとみなす事などを含み得る。また、「判断」、「決定」は、解決(resolving)、選択(selecting)、選定(choosing)、確立(establishing)、比較(comparing)などした事を「判断」「決定」したとみなす事を含み得る。つまり、「判断」「決定」は、何らかの動作を「判断」「決定」したとみなす事を含み得る。また、「判断（決定）」は、「想定する（assuming）」、「期待する（expecting）」、「みなす（considering）」などで読み替えられてもよい。
【0140】
（１４）上述した実施形態において、「含む（include）」、「含んでいる（including）」及びそれらの変形が使用されている場合、これらの用語は、用語「備える（comprising）」と同様に、包括的であることが意図される。更に、本開示において使用されている用語「又は（or）」は、排他的論理和ではないことが意図される。
【0141】
（１５）本開示において、例えば、英語でのa, an及びtheのように、翻訳により冠詞が追加された場合、本開示は、これらの冠詞の後に続く名詞が複数形であることを含んでもよい。
【0142】
（１６）本開示において、「ＡとＢが異なる」という用語は、「ＡとＢが互いに異なる」ことを意味してもよい。なお、当該用語は、「ＡとＢがそれぞれＣと異なる」ことを意味してもよい。「離れる」、「結合される」等の用語も、「異なる」と同様に解釈されてもよい。
【0143】
（１７）本開示において説明した各態様／実施形態は単独で用いてもよいし、組み合わせて用いてもよいし、実行に伴って切り替えて用いてもよい。また、所定の情報の通知（例えば、「Ｘであること」の通知）は、明示的に行う通知に限られず、暗黙的（例えば、当該所定の情報の通知を行わない）ことによって行われてもよい。
【0144】
以上、本開示について詳細に説明したが、当業者にとっては、本開示が本開示中に説明した実施形態に限定されないということは明らかである。本開示は、請求の範囲の記載により定まる本開示の趣旨及び範囲を逸脱することなく修正及び変更態様として実施できる。したがって、本開示の記載は、例示説明を目的とし、本開示に対して何ら制限的な意味を有さない。
【符号の説明】
【0145】
１０…ＭＲグラス、２０…端末装置、３０…操作用デバイス、１１１…取得部、１１３…切替部、ＬＳＬ，ＬＳＲ…視線、Ｐ１…ポインタ、ＳＣ，ＳＣＬ，ＳＣＲ…表示面、Ｕ…ユーザ。
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図13】
【図14】
【図15】
【図16】