特開 2024-100340 ユーザインタフェース装置およびユーザインタフェースプログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2024100340

(43)【公開日】2024-07-26

(54)【発明の名称】ユーザインタフェース装置およびユーザインタフェースプログラム

(51)【国際特許分類】

   G06F 3/04842 20220101AFI20240719BHJP

   G06F 3/04815 20220101ALI20240719BHJP

   G06F 3/04812 20220101ALI20240719BHJP

   G06F 3/038 20130101ALI20240719BHJP

   G06T 19/00 20110101ALI20240719BHJP

   G06F 3/0346 20130101ALN20240719BHJP

【ＦＩ】

G06F3/04842

G06F3/04815

G06F3/04812

G06F3/038 350R

G06T19/00 C

G06F3/0346 424

【審査請求】未請求

【請求項の数】9

【出願形態】ＯＬ

(21)【出願番号】P 2023004276

(22)【出願日】2023-01-16

(71)【出願人】

【識別番号】516366135

【氏名又は名称】株式会社Ｔｈｉｒｄｖｅｒｓｅ

(74)【代理人】

【識別番号】100105784

【弁理士】

【氏名又は名称】橘 和之

(72)【発明者】

【氏名】南 知宏

【テーマコード（参考）】

5B050

5B087

5E555

【Ｆターム（参考）】

5B050BA09

5B050CA07

5B050EA07

5B050EA12

5B050FA02

5B050FA14

5B087AA02

5B087AA07

5B087AB02

5B087AB14

5B087BC02

5B087DD03

5B087DD06

5B087DE03

5B087DE07

5E555AA06

5E555AA27

5E555BA38

5E555BB38

5E555BC08

5E555BE17

5E555CA06

5E555CA44

5E555CB21

5E555CB45

5E555CB55

5E555CC05

5E555DA08

5E555DA09

5E555DB06

5E555DB31

5E555DB51

5E555DB53

5E555DB56

5E555DC09

5E555DC11

5E555DC13

5E555DC19

5E555DC26

5E555DC27

5E555DC43

5E555DC52

5E555DC57

5E555DC84

5E555DD06

5E555EA11

5E555EA14

5E555FA00

(57)【要約】

【課題】３次元仮想空間画像内にある操作対象物と指示体との距離感や位置関係を直感的に把握して、狙った位置に指示体を正確に操作できるようにする。
【解決手段】指示体１２０の近傍位置に第１マーカＭ１を表示するとともに、操作対象物１１０の表面上で指示体１２０によって指し示される指示位置に第２マーカＭ２を表示し、指示体１２０と操作対象物１１０との距離が短くなるほど大きさが小さくなるように拡縮して第２マーカＭ２を表示することにより、第１マーカＭ１と第２マーカＭ２との相対位置関係や相対サイズ関係をもとに、操作対象物１１０と指示体１２０との距離感や、指示体１２０が指し示している位置をユーザが容易に把握することができようにし、第１マーカＭ１と第２マーカＭ２とが重なるように指示体１２０の位置を調整することで、操作対象物１１０の所望位置に正しく接触することができるようにする。
【選択図】図５Ｂ

【特許請求の範囲】

【請求項1】

３次元仮想空間画像内にある操作対象物を３次元仮想空間画像内にある指示体によって操作するようになされたユーザインタフェース装置であって、
上記指示体の近傍位置に第１マーカを表示するとともに、上記操作対象物の表面上で上記指示体によって指し示される指示位置に第２マーカを表示するマーカ表示部と、
上記操作対象物の位置を基準として上記操作対象物の少なくとも一部を含む範囲に設定される接触検出領域の中に上記指示体が存在するときに、上記操作対象物の表面上で上記指示体によって指し示される指示位置に対して接触操作が行われたと判定する接触判定部とを備え、
上記マーカ表示部は、上記指示体が上記接触検出領域の外に存在するときに、上記指示体と上記操作対象物との距離が短くなるほど少なくとも上記第２マーカの大きさが小さくなって上記第１マーカの大きさに近づくように、上記距離に応じて少なくとも上記第２マーカを拡縮して表示する
ことを特徴とするユーザインタフェース装置。

【請求項2】

上記マーカ表示部は、上記指示体が上記接触検出領域の外に存在するときに、上記第１マーカおよび上記第２マーカの両方を、上記指示体と上記操作対象物との距離が短くなるほど大きさが小さくなるように拡縮して表示し、上記第１マーカの最大サイズよりも上記第２マーカの最大サイズの方が大きく、上記指示体の単位移動距離当たりのマーカの拡縮率が上記第１マーカよりも上記第２マーカの方が大きいことを特徴とする請求項１に記載のユーザインタフェース装置。

【請求項3】

上記マーカ表示部は、上記指示体と上記操作対象物との距離によらず上記第１マーカを固定の大きさで表示する一方、上記指示体が上記接触検出領域の外に存在するときに上記指示体と上記操作対象物との距離が短くなるほど大きさが小さくなるように上記第２マーカを拡縮して表示することを特徴とする請求項１に記載のユーザインタフェース装置。

【請求項4】

上記第１マーカおよび上記第２マーカは同形状のマーカであり、
上記マーカ表示部は、上記指示体と上記操作対象物との距離が短くなるにつれて少なくとも上記第２マーカが小さくなっていき、上記指示体が上記接触検出領域の中に入ったときに上記第１マーカと上記第２マーカとが一致するように、上記第１マーカおよび上記第２マーカを表示することを特徴とする請求項１～３の何れか１項に記載のユーザインタフェース装置。

【請求項5】

上記マーカ表示部は、上記第１マーカと上記第２マーカとが一致した後、上記指示体が上記接触検出領域の中に存在する間、上記第１マーカまたは上記第２マーカの何れか一方のみを表示することを特徴とする請求項４に記載のユーザインタフェース装置。

【請求項6】

上記接触判定部により上記接触操作が行われたと判定された後に、上記指示体が上記接触検出領域の外に移動して、上記接触検出領域から離間した位置に設定される解除検出領域の中に上記指示体が入ったときに、上記接触操作が解除されたと判定する解除判定部を更に備えたことを特徴とする請求項１に記載のユーザインタフェース装置。

【請求項7】

上記接触判定部により上記接触操作が行われたと判定された後に、上記指示体が上記接触検出領域の外に移動して、上記接触検出領域から離間した位置に設定される解除検出領域の中に上記指示体が入ったときに、上記接触操作が解除されたと判定する解除判定部を更に備え、
上記マーカ表示部は、上記解除判定部より上記接触操作が解除されたと判定されたときに、上記第１マーカまたは上記第２マーカの何れか一方のみを表示していた状態から、上記第１マーカおよび上記第２マーカの両方を表示する状態に切り替える
ことを特徴とする請求項５に記載のユーザインタフェース装置。

【請求項8】

上記マーカ表示部は、上記操作対象物の位置を基準として上記操作対象物の少なくとも一部を含み上記接触検出領域よりも広い範囲に設定される表示対象領域の中に上記指示体が存在するときに、上記第１マーカおよび上記第２マーカを表示する
ことを特徴とする請求項１に記載のユーザインタフェース装置。

【請求項9】

３次元仮想空間画像内にある操作対象物を３次元仮想空間画像内にある指示体によって操作するようになされたユーザインタフェースを提供するための処理を行うプログラムであって、
上記指示体の近傍位置に第１マーカを表示するとともに、上記操作対象物の表面上で上記指示体によって指し示される指示位置に第２マーカを表示するマーカ表示手段、および
上記操作対象物の位置を基準として上記操作対象物の少なくとも一部を含む範囲に設定される接触検出領域の中に上記指示体が存在するときに、上記操作対象物の表面上で上記指示体によって指し示される指示位置に対して接触操作が行われたと判定する接触判定手段、
としてコンピュータを機能させ、
上記マーカ表示手段は、上記指示体が上記接触検出領域の外に存在するときに、上記指示体と上記操作対象物との距離が短くなるほど少なくとも上記第２マーカの大きさが小さくなって上記第１マーカの大きさに近づくように、上記距離に応じて少なくとも上記第２マーカを拡縮して表示する
ことを特徴とするユーザインタフェースプログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、ユーザインタフェース装置およびユーザインタフェースプログラムに関し、特に、３次元仮想空間画像内にある操作対象物を３次元仮想空間画像内にある指示体によって操作するようになされたユーザインタフェース装置に用いて好適なものである。

【背景技術】

【0002】

従来、仮想現実の３次元空間画像内でオブジェクトを操作するためのユーザインタフェース技術が種々提供されている。例えば、ユーザの手の動きをグローブやコントローラ等の３次元センサにより検出し、検出した手の動きに応じて、３次元仮想空間画像上にあるポインタ（ユーザの指を模擬した指画像等）を移動させてオブジェクトを操作するようになされた技術が知られている。このようなユーザインタフェースにおいては、ユーザの手の動きに対応してポインタが３次元仮想空間画像内を自在に移動するので、ユーザは画像を見ながら手を動かすだけで、画像内の任意のオブジェクトをポインティングすることができる。

【0003】

しかしながら、３次元仮想空間は現実空間に比べて人間の五感に制限があるために、ユーザの狙った位置にポインタを正確に操作するのが難しいという問題があった。すなわち、仮想空間の画像はコンピュータによって合成されるグラフィック画像で構成されるため、現実空間に比べて立体感や３次元的な距離感を掴みづらい。また、ユーザは、指画像等のポインタがオブジェクトと接触しても物理的手応えを感じることができない。このため、指示しようとするオブジェクトとポインタとの位置関係を一見して把握し、正確で効率的なポインティング操作を行うことは困難であった。

【0004】

なお、指などの指示体により指示された画面上の位置にマーカ等の画像を表示し、指示体と画面内の操作対象物との距離に応じてマーカの態様を変えて表示することにより、指示体により指し示される位置を認識しやすくなるようにした技術が知られている（例えば、特許文献１，２参照）。

【0005】

特許文献１に記載のシステムでは、タッチパネルに設けられた距離センサによって、ユーザの指などの指示体とタッチパネルとの距離を検出するとともに、距離検出位置の座標を検出し、検出された距離に応じた表示形態のポインタ画像をディスプレイの表示面において距離検出位置に表示させる。これにより、ポインタ画像の表示された位置が、タッチパネル（表示面）において指示体がタッチしようとしている位置となるので、ポインタ画像の表示位置と操作対象物の表示位置とが重なるように指示体の位置を調整することで、操作対象物に正しくタッチすることが可能となる。

【0006】

特許文献２に記載のシステムでは、モニタ画面上においてユーザの指により指し示される操作対象物の位置にリング状のアイコンを表示し、指と操作対象物との距離が短くなるにつれてアイコンが徐々に小さくなるように表示する。具体的に、特許文献２に記載のシステムでは、モニタ画面に向かって突き出したユーザの指が、モニタ画面とユーザとの間の空間上に設定された仮想操作面に対し一定の距離まで近づくと、比較的大きなアイコンがモニタ画面に表示される。その後、ユーザの指が仮想操作面に近づくにつれて、操作目標であるボタンに向かってアイコンが徐々に近づきつつ小さくなり、アイコンが一定の大きさまで小さくなったときに特別なアイコンに切り替えて表示される。その状態で指が仮想操作面を横切ると、指し示す位置のボタンが選択されたと判定される。

【先行技術文献】

【特許文献】

【0007】

【特許文献1】特開２００６－２８５４９１号公報

【特許文献2】特許第４７０１４２４号公報

【発明の概要】

【発明が解決しようとする課題】

【0008】

上記特許文献１の記載によれば、ユーザは、操作対象物が表示されたタッチパネルの表示面と指との距離感や、指が表示面のどこに近づいているのかを容易に把握することができ、タッチパネル上の操作対象物に正しくタッチすることが可能とされる。また、上記特許文献２の記載によれば、ユーザは、目には見えていない仮想操作面の位置を直感的に認識して、モニタ画面上の操作対象物に対するポインティング操作を行うことが可能とされる。

【0009】

しかしながら、特許文献１に記載の技術は、現実空間のタッチパネルをユーザの現実の指でタッチすることを対象としたものであり、３次元仮想空間画像内にある操作対象物を３次元仮想空間画像内にある指示体によって操作するものではない。そのため、３次元仮想空間画像内にある操作対象物を３次元仮想空間画像内にある指示体によって操作するようになされたシステムに対して特許文献１に記載の技術を適用することはできない。

【0010】

一方、特許文献２に記載の技術は、現実空間のモニタ画面に表示された操作対象物をユーザの現実の指で実際にタッチすることを想定したものではなく、図１７には、モニタ画面に表示された画像の中にユーザの手指の動きと連動する手形のポインタ（上述したリング形状のアイコンとは異なる）を表示する例も示されている。しかしながら、モニタ画面に表示される画像は３次元仮想空間画像ではないし、ポインタは固定の大きさで画面内を平行移動するだけである。そのため、特許文献２に記載の例では、モニタ画面に表示された操作対象物とポインタとの３次元的な距離感を掴みにくいという問題は生じない。そのため、３次元仮想空間画像内にある操作対象物を３次元仮想空間画像内にある指示体によって操作するようになされたシステムに対して特許文献２に記載の技術を適用しても、上述した従来の問題は解消することができない。

【0011】

本発明は、このような問題を解決するために成されたものであり、３次元仮想空間画像内にある操作対象物を３次元仮想空間画像内にある指示体によって操作するシステムにおいて、操作対象物と指示体との３次元的な距離感や位置関係を直感的に把握して、ユーザの狙った位置に指示体を正確に操作することができるようにすることを目的とする。

【課題を解決するための手段】

【0012】

上記した課題を解決するために、本発明では、３次元仮想空間画像内にある指示体の近傍位置に第１マーカを表示するとともに、指示体と同じ３次元仮想空間画像内にある操作対象物の表面上で指示体によって指し示される指示位置に第２マーカを表示する。ここで、操作対象物の位置を基準として当該操作対象物の少なくとも一部を含む範囲に設定される接触検出領域の外に指示体が存在するときに、指示体と操作対象物との距離が短くなるほど少なくとも第２マーカの大きさが小さくなって第１マーカの大きさに近づくように、距離に応じて少なくとも第２マーカを拡縮して表示するようにしている。そして、接触検出領域の中に指示体が存在するときに、操作対象物の表面上で指示体によって指し示される指示位置に対して接触操作が行われたと判定する。

【発明の効果】

【0013】

上記のように構成した本発明によれば、操作対象物の表面において指示体によって指し示される指示位置に第２マーカが表示されるだけでなく、指示体の近傍位置にも第１マーカが表示される。そして、指示体が操作対象物に近づくにつれて、第１マーカと第２マーカの位置が近付きつつ、第２マーカの大きさが小さくなって第１マーカの大きさに近づいていく。このためユーザは、第１マーカと第２マーカとの相対位置関係や相対サイズ関係をもとに、操作対象物と指示体との距離感や、指示体が操作対象物のどこを指し示しているのかを容易に把握することができ、指示体の近傍位置に表示される第１マーカと操作対象物の表面に表示される第２マーカとが重なるように指示体の位置を調整することで、操作対象物の所望位置に正しく接触することが可能となる。このように本発明によれば、３次元仮想空間画像内にある操作対象物を３次元仮想空間画像内にある指示体によって操作する場合においても、操作対象物と指示体との３次元的な距離感や位置関係を直感的に把握して、ユーザの狙った位置に指示体を正確に操作することができる。

【図面の簡単な説明】

【0014】

【図1】本実施形態のユーザインタフェース装置が適用されたＶＲ画像表示システムの全体構成例を示す図である。

【図2】ＨＭＤに表示される３次元仮想空間画像の１シーンの一例を示す図である。

【図3】本実施形態によるユーザインタフェース装置の機能構成例を示すブロック図である。

【図4】本実施形態の接触検出領域、解除検出領域および表示対象領域を示す図である。

【図5A】第１マーカおよび第２マーカの表示例を示す図である。

【図5B】第１マーカおよび第２マーカの表示例を示す図である。

【図5C】第１マーカおよび第２マーカの表示例を示す図である。

【図5D】第１マーカおよび第２マーカの表示例を示す図である。

【発明を実施するための形態】

【0015】

以下、本発明の一実施形態を図面に基づいて説明する。図１は、本実施形態のユーザインタフェース装置が適用されたＶＲ画像表示システムの全体構成例を示す図である。本実施形態のＶＲ画像表示システムは、本実施形態のユーザインタフェース装置を含む制御装置１と、ユーザの頭部に装着して使用されるヘッドマウントディスプレイ（ＨＭＤ）２と、ユーザが左右の手に把持して使用するコントローラ３Ｌ，３Ｒとを備えて構成される。なお、制御装置１がＨＭＤ２に内蔵される構成としてもよい。

【0016】

ＨＭＤ２のタイプは任意である。すなわち、ＨＭＤ２は、両眼タイプでもよいし、単眼タイプでもよい。また、ＨＭＤ２は、目を完全に覆う非透過型でもよいし、透過型でもよい。また、ＨＭＤ２は、ゴーグル型、眼鏡型、帽子型の何れであってもよい。ＨＭＤ２には動きセンサが搭載されている。動きセンサは、加速度センサやジャイロセンサなどを組み合わせて構成される公知のセンサであり、ユーザの頭の動きの方向や速さ、姿勢の変化等に応じた加速度や角速度を検出し、これらの動き検出情報を制御装置１に無線で送信する。

【0017】

コントローラ３Ｌ，３Ｒは、ユーザが所望の指示を制御装置１に与えるためのものであり、所定の操作ボタンが設けられている。コントローラ３Ｌ，３Ｒにも動きセンサが搭載されており、ユーザの両手の動きの方向や速さ、姿勢の変化等に応じた加速度や角速度を検出し、これらの動き検出情報を制御装置１に無線で送信する。

【0018】

制御装置１は、内蔵の記憶媒体あるいは外部接続された記憶媒体に記憶されている３次元仮想空間画像を再生してＨＭＤ２に表示させる。ここで、制御装置１は、ＨＭＤ２から送信される動き検出情報に基づいて、ユーザの頭の動きに応じてＨＭＤ２の表示上に実現される３次元仮想空間画像の視界が動的に変わるように、３次元仮想空間画像の表示を制御する。

【0019】

３次元仮想空間画像の中には、操作対象物の画像（以下、単に操作対象物という）および指示体の画像（以下、単に指示体という）が含まれている。制御装置１は、コントローラ３Ｌ，３Ｒから送信される動き検出情報に基づいて、ユーザの両手の動きに応じて操作対象物および指示体の位置や姿勢が動的に変わるように、操作対象物および指示体の表示を制御する。制御装置１は、３次元仮想空間画像内にある操作対象物を３次元仮想空間画像内にある指示体によって操作するようになされたユーザインタフェース装置を含んでいる。

【0020】

図２は、ＨＭＤ２に表示される３次元仮想空間画像の１シーンの一例を示す図である。図２に示すように、３次元仮想空間画像１００の中に操作対象物１１０および指示体１２０が含まれている。なお、図２において、操作対象物１１０および指示体１２０以外の背景の画像は図示を省略している（図５Ａ～図５Ｄについても同様）。操作対象物１１０は、例えばタッチパネルを模擬したオブジェクトであり、押下操作可能な１つ以上のボタン１１１が含まれている。指示体１２０は、例えば手の形を模擬したオブジェクトである。図２の例では、人差し指を伸ばした状態の手が表示されており、厳密にはこの人差し指の指先が指示体１２０に相当する。

【0021】

図３は、制御装置１が備える本実施形態によるユーザインタフェース装置１０の機能構成例を示すブロック図である。図３に示すように、本実施形態のユーザインタフェース装置１０は、機能構成として、操作対象物表示部１１、指示体表示部１２、接触判定部１３、解除判定部１４およびマーカ表示部１５を備えている。

【0022】

これらの機能ブロック１１～１５は、ハードウェア、ＤＳＰ（Digital Signal Processor）、ソフトウェアの何れによっても構成することが可能である。例えばソフトウェアによって構成する場合、上記機能ブロック１１～１５は、実際にはコンピュータのＣＰＵ、ＲＡＭ、ＲＯＭなどを備えて構成され、ＲＡＭやＲＯＭ、ハードディスクまたは半導体メモリ等の記録媒体に記憶されたユーザインタフェースプログラムが動作することによって実現される。

【0023】

操作対象物表示部１１は、３次元仮想空間画像１００の中に操作対象物１１０を表示させる処理を行う。ここで、操作対象物表示部１１は、例えば左手用のコントローラ３Ｌから送信される動き検出情報に基づいて、ユーザの左手の動きに応じて操作対象物１１０の位置や姿勢が動的に変わるように、操作対象物１１０の表示を制御する。すなわち、操作対象物表示部１１は、左手用のコントローラ３Ｌから送信される動き検出情報に基づいて、３次元仮想空間画像１００のワールド座標系における操作対象物１１０の表示座標を算出し、算出した表示座標に基づいて操作対象物１１０を表示する。

【0024】

指示体表示部１２は、３次元仮想空間画像１００の中に指示体１２０を表示させる処理を行う。ここで、指示体表示部１２は、例えば右手用のコントローラ３Ｒから送信される動き検出情報に基づいて、ユーザの右手の動きに応じて指示体１２０の位置や姿勢が動的に変わるように、指示体１２０の表示を制御する。すなわち、指示体表示部１２は、右手用のコントローラ３Ｒから送信される動き検出情報に基づいて、３次元仮想空間画像１００のワールド座標系における指示体１２０の表示座標を算出し、算出した表示座標に基づいて指示体１２０を表示する。

【0025】

接触判定部１３は、操作対象物表示部１１により算出された操作対象物１１０の表示座標および指示体表示部１２により算出された指示体１２０の表示座標に基づいて、操作対象物１１０に対する指示体１２０の接触判定を行う。すなわち、接触判定部１３は、３次元仮想空間画像１００の中に設定される接触検出領域の中に指示体１２０が存在するときに、操作対象物１１０の表面上で指示体によって指し示される指示位置に対して接触操作が行われたと判定する。接触検出領域は、３次元仮想空間画像１００内に表示された操作対象物１１０の位置を基準として当該操作対象物１１０を含む範囲に設定される。

【0026】

図４（ａ）は、接触検出領域を説明するための図である。この図４（ａ）は、横の長さがｈおよび縦の長さがｖの平面状のタッチパネルを模擬した操作対象物１１０に関するローカル座標系を示している。このローカル座標系において、操作対象物１１０はｚ＝０のｘｙ平面上に存在しているものとする。なお、ｚ＞０の方向は、３次元仮想空間画像１００の中で操作対象物１１０を見ている仮想的なユーザがいる方向、すなわち操作対象物１１０よりも手前側の方向であり、この方向の範囲に指示体１２０が存在する。また、ｚ＜０の方向は、仮想的なユーザから見て操作対象物１１０よりも奥側の方向である。

【0027】

図４（ａ）に示す操作対象物１１０のローカル座標系において、接触検出領域は、横ｈ×縦ｖ×操作対象物１１０からの高さ｜ｄ１｜（ｄ１≦０）で表される直方体の領域として設定される。すなわち、ｚ＝０におけるｘｙ平面の操作対象物１１０の位置を基準として、当該操作対象物１１０を端面とする直方体で、当該操作対象物１１０よりも奥側に高さｄ１を有する直方体の領域が接触検出領域として設定される。ｄ１＝０のｘｙ平面上に存在する操作対象物１１０の表面だけを接触検出領域としてもよいが、接触検出領域にｄ１＜０の領域を含めているのは、指示体１２０で操作対象物１１０を突き抜けるように押下した後に指示体１２０の位置を見失わないようにするためである。

【0028】

指示体１２０の位置Ｐ（ｘ_p, ｙ_p, ｚ_p）が接触検出領域内にあるとき、接触判定部１３は、ｘｙ座標（ｘ_p, ｙ_p）を接触位置情報として出力する。このｘｙ座標（ｘ_p, ｙ_p）は、指示体１２０の存在する位置Ｐ（ｘ_p, ｙ_p, ｚ_p）からｚ＝０のｘｙ平面に垂線を下ろしたときに交点となる位置の座標である。すなわち、指示体１２０が接触検出領域内にある場合、そのときの指示体１２０のｘｙ座標（ｘ_p, ｙ_p）が、操作対象物１１０の表面上で指示体１２０によって指し示される指示位置の座標となる。接触判定部１３は、当該指示位置が対して接触操作が行われたと判定し、指示位置のｘｙ座標（ｘ_p, ｙ_p）を接触位置情報として出力する。指示体１２０によって指示されたｘｙ座標（ｘ_p, ｙ_p）の接触位置にボタン１１１が存在する場合、制御装置１は、ボタン１１１の操作に応じてあらかじめ決められた処理を実行する。なお、接触判定部１３は、ｚ_p＞０の状態からｚ_p＝０の状態になったとき（操作対象物１１０の表面に指示体１２０が接触したとき）のｘｙ座標（ｘ_p, ｙ_p）を接触位置情報として出力し、その後ｚ_p＜０の状態においてはｘｙ座標（ｘ_p, ｙ_p）を出力しないようにしてもよい。

【0029】

解除判定部１４は、操作対象物表示部１１により算出された操作対象物１１０の表示座標および指示体表示部１２により算出された指示体１２０の表示座標に基づいて、操作対象物１１０に対する指示体１２０の接触操作の解除判定を行う。すなわち、解除判定部１４は、接触判定部１３により接触操作が行われたと判定された後に、指示体１２０が接触検出領域の外に移動して、接触検出領域から離間した位置に設定される解除検出領域の中に指示体１２０が入ったときに、接触操作が解除されたと判定する。

【0030】

図４（ｂ）は、解除検出領域を説明するための図である。この図４（ｂ）も図４（ａ）と同様のローカル座標系を示している。図４（ｂ）に示す操作対象物１１０のローカル座標系において、解除検出領域は、操作対象物１１０からの高さｄ２の位置を基準として、横ｈ×縦ｖ×高さｄ３－ｄ２（０＜ｄ２＜ｄ３）で表される直方体の領域として設定される。すなわち、ｚ＝０に位置にある接触検出領域の端面から手前側の方向にｚ＝ｄ２だけ離間した位置を端面とする直方体で、高さｄ３－ｄ２を有する直方体の領域が解除検出領域として設定される。ｚ＝０の操作対象物１１０の位置を端面とする解除検出領域を設定してもよいが、ｚ＝ｄ２だけ離間した位置から解除検出領域を設定しているのは、指示体１２０の振動で連続的に接触操作の検出が行われる状態を避けるためである。

【0031】

指示体１２０の位置Ｐ（ｘ_p, ｙ_p, ｚ_p）が解除検出領域内にあるとき、解除判定部１４は、ｘｙ座標（ｘ_p, ｙ_p）を解除位置情報として出力する。このｘｙ座標（ｘ_p, ｙ_p）の解除位置にボタン１１１が存在する場合、制御装置１は、ボタン１１１の操作解除に応じてあらかじめ決められた処理を実行する。なお、解除判定部１４は、ｚ_p＜ｄ２の状態からｚ_p＝ｄ２の状態になったときのｘｙ座標（ｘ_p, ｙ_p）を解除位置情報として出力し、その後ｚ_p＞ｄ２の状態においてはｘｙ座標（ｘ_p, ｙ_p）を出力しないようにしてもよい。

【0032】

マーカ表示部１５は、指示体１２０の近傍位置に第１マーカを表示するとともに、操作対象物１１０の表面上で指示体１２０によって指し示される指示位置に第２マーカを表示する。ここで、マーカ表示部１５は、操作対象物１１０の位置を基準として当該操作対象物１１０を含み接触検出領域よりも広い範囲に設定される表示対象領域の中に指示体１２０が存在するときに、第１マーカおよび第２マーカを表示する。指示体１２０が接触検出領域の外側にあるときに、指示体１２０によって指し示される指示位置は、図４に示すローカル座標系において指示体１２０の存在する位置Ｐ（ｘ_p, ｙ_p, ｚ_p）からｚ＝０のｘｙ平面に垂線を下ろしたときに交点となる位置である。

【0033】

図４（ｃ）は、表示対象領域を説明するための図である。この図４（ｃ）も図４（ａ）および図４（ｂ）と同様のローカル座標系を示している。図４（ｃ）に示す操作対象物１１０のローカル座標系において、表示対象領域は、横ｈ×縦ｖ×高さ｜ｄ１｜＋｜ｄ３｜（ｄ１＜０、ｄ３＞０）で表される直方体の領域として設定される。すなわち、ｚ＝０の位置にある操作対象物１１０を一断面として含む直方体で、当該操作対象物１１０よりも手前側に高さｄ３および操作対象物１１０よりも奥側に高さｄ１を有する直方体の領域が表示対象領域として設定される。

【0034】

なお、ｚ＝０の位置にある操作対象物１１０を基準として、横ｈ×縦ｖ×高さ｜ｄ１｜＋｜ｄ３｜（ｄ１＜０、ｄ３＞０）で表される直方体の領域をマーカの表示対象領域、ｚ＝０の位置に存在する横ｈ×縦ｖのｘｙ平面（操作対象物１１０の表面）を接触検出領域、ｚ＝ｄ２（ｄ２＞０）の位置に存在する横ｈ×縦ｖのｘｙ平面（操作対象物１１０の表面から手前側にｄ２だけ離間した位置に存在する平面）を解除検出領域として設定するようにしてもよい。

【0035】

本実施形態において、マーカ表示部１５は、指示体１２０が表示対象領域の中で且つ接触検出領域の外に存在するときに、指示体１２０と操作対象物１１０との距離が短くなるほど少なくとも第２マーカＭ２の大きさが小さくなって第１マーカＭ１の大きさに近づくように、距離に応じて少なくとも第２マーカＭ２を拡縮して表示する。本実施形態では一例として、第１マーカおよび第２マーカの両方を、指示体１２０と操作対象物１１０との距離が短くなるほど大きさが小さくなるように拡縮して表示する。ここで、マーカ表示部１５は、第１マーカの最大サイズよりも第２マーカの最大サイズの方が大きく、指示体１２０の単位移動距離当たりのマーカＭ１，Ｍ２の拡縮率が第１マーカＭ１よりも第２マーカＭ２の方が大きくなるようにして、第１マーカおよび第２マーカを表示する。

【0036】

第１マーカおよび第２マーカは同形状のマーカであり、マーカ表示部１５は、指示体１２０と操作対象物１１０との距離が短くなるにつれて第１マーカおよび第２マーカが小さくなっていき、指示体１２０が接触検出領域の中に入ったときに第１マーカと第２マーカとが一致するように、第１マーカおよび第２マーカを表示する。以下に説明するように、本実施形態において第１マーカおよび第２マーカは、何れもリング形状のマーカである。

【0037】

図５Ａ～図５Ｄは、第１マーカおよび第２マーカの表示例を示す図である。ここでは、指示体１２０を操作対象物１１０に近づけていったときにおける第１マーカおよび第２マーカの表示状態の変化を示している。図５Ａは、指示体１２０が表示対象領域の中に入っておらず、第１マーカおよび第２マーカが表示されていない状態を示している。

【0038】

図５Ｂは、指示体１２０を操作対象物１１０の方に近づけて、指示体１２０が表示対象領域の中に入った直後の状態を示している。図５Ｂに示すように、指示体１２０が表示対象領域の中に入った直後で、指示体１２０が表示対象領域の最も手前側の位置（ｚ≒ｄ３の位置）にあるときに、第１マーカＭ１および第２マーカＭ２がそれぞれの最大サイズで表示される。このとき、指示体１２０の近傍位置にある第１マーカＭ１よりも、操作対象物１１０の表面上で指示体１２０によって指し示される指示位置にある第２マーカＭ２の方が大きく表示される。

【0039】

図５Ｃは、図５Ｂの状態よりも更に指示体１２０を操作対象物１１０の方に近づけた状態を示している。第１マーカＭ１および第２マーカＭ２はそれぞれ、図５Ｂの状態よりも小さく表示されている。ここで、第１マーカＭ１および第２マーカＭ２の大きさは、操作対象物１１０のローカル座標系において指示体１２０の位置Ｐ（ｘ_p, ｙ_p, ｚ_p）におけるｚ方向の値ｚ_pに応じて拡縮される。このとき、指示体１２０の単位移動距離当たりのマーカＭ１，Ｍ２の拡縮率は、第１マーカＭ１よりも第２マーカＭ２の方が大きい。

【0040】

図５Ｄは、図５Ｃの状態よりも更に指示体１２０を操作対象物１１０の方に近づけて、指示体１２０が接触検出領域の中に入ったときの状態を示している。このとき、第２マーカＭ２よりも小さな縮小率で縮小されていった第１マーカＭ１と、第１マーカＭ１よりも大きな縮小率で縮小されていった第２マーカＭ２とが一致する。ここでいう一致とは、第１マーカＭ１の表示位置および表示サイズと、第２マーカＭ２の表示位置および表示サイズとが互いに同じになるということである。

【0041】

マーカ表示部１５は、第１マーカＭ１と第２マーカＭ２とが一致した後、指示体１２０が接触検出領域の中に存在する間、第１マーカＭ１または第２マーカＭ２の何れか一方のみを表示する。図５Ｄでは、第１マーカＭ１のみを表示した状態を示している。また、マーカ表示部１５は、解除判定部１４より接触操作が解除されたと判定されたときに、第１マーカＭ１または第２マーカＭ２の何れか一方のみを表示していた状態から、第１マーカＭ１および第２マーカＭ２の両方を表示する状態に切り替える。

【0042】

ここでは、第１マーカＭ１および第２マーカＭ２の両方を拡縮して表示する例について説明したが、本発明はこれに限定されない。例えば、マーカ表示部１５は、指示体１２０と操作対象物１１０との距離によらず第１マーカＭ１を固定の大きさで表示する一方、指示体１２０が接触検出領域の外に存在するときに指示体１２０と操作対象物１１０との距離が短くなるほど大きさが小さくなるように第２マーカＭ２を拡縮して表示するようにしてもよい。

【0043】

以上詳しく説明したように、本実施形態では、３次元仮想空間画像内にある指示体１２０の近傍位置に第１マーカＭ１を表示するとともに、指示体１２０と同じ３次元仮想空間画像内にある操作対象物１１０の表面上で指示体１２０によって指し示される指示位置に第２マーカＭ２を表示する。ここで、指示体１２０が接触検出領域の外に存在するときに、指示体１２０と操作対象物１１０との距離が短くなるほど少なくとも第２マーカＭ２の大きさが小さくなって第１マーカＭ１の大きさに近づくように、距離に応じて各マーカＭ１，Ｍ２を拡縮して表示する。そして、指示体１２０が接触検出領域の中に入ったときに、操作対象物１１０の表面上で指示体１２０によって指し示される指示位置に対して接触操作が行われたと判定し、このときに第１マーカＭ１と第２マーカＭ２とが一致した状態で表示されるようにしている。

【0044】

このように構成した本実施形態によれば、操作対象物１１０の表面において指示体１２０によって指し示される指示位置に第２マーカＭ２が表示されるだけでなく、指示体１２０の近傍位置にも第１マーカＭ１が表示される。そして、指示体１２０が操作対象物１１０に近づくにつれて、第１マーカＭ１と第２マーカＭ２の位置が近付きつつ、第２マーカＭ２の大きさが小さくなって第１マーカＭ１の大きさに近づいていく。このためユーザは、第１マーカＭ１と第２マーカＭ２との相対位置関係や相対サイズ関係をもとに、操作対象物１１０と指示体１２０との距離感や、指示体１２０が操作対象物１１０のどこを指し示しているのかを容易に把握することができ、指示体１２０の近傍位置に表示される第１マーカＭ１と操作対象物１１０の表面に表示される第２マーカＭ２とが重なるように指示体１２０の位置を調整することで、操作対象物１１０の所望位置に正しく接触することが可能となる。

【0045】

このように本実施形態によれば、３次元仮想空間画像内にある操作対象物１１０を３次元仮想空間画像内にある指示体１２０によって操作する場合においても、操作対象物１１０と指示体１２０との３次元的な距離感や位置関係を直感的に把握して、ユーザの狙った位置に指示体１２０を正確に操作することができる。

【0046】

なお、上記実施形態では、操作対象物１１０の位置を基準として当該操作対象物１１０を含む範囲（操作対象物１１０の平面を一断面または端面とする直方体領域）に表示対象領域および接触検出領域を設定する例について説明したが、本発明はこれに限定されない。例えば、操作対象物１１０の一部の平面を含む範囲に表示対象領域および接触検出領域を設定するようにしてもよい。操作対象物１１０の一部の平面は、例えば、図２のように押下可能なボタン１１１が操作対象物１１０の中の一部領域のみに存在する場合、ボタン１１１の周辺領域のみを含む範囲に表示対象領域および接触検出領域を設定するようにしてもよい。

【0047】

また、上記実施形態では、操作対象物１１０の平面を一断面とする直方体領域を表示対象領域として設定する例について説明したが、本発明はこれに限定されない。例えば、操作対象物１１０よりも広い平面を一断面とする直方体領域を表示対象領域として設定するようにしてもよい。例えば、３次元仮想空間画像１００が表示される範囲を全て表示対象領域としてもよい。

【0048】

この場合、操作対象物１１０の表面上で指示体１２０によって指し示される指示位置は、指示体１２０から操作対象物１１０の表面に垂線を下した交点位置ではなく、直線状に形成された指示体１２０の当該直線方向の延長線と操作対象物１１０との交点位置とする。マーカ表示部１５は、指示体１２０が表示対象領域内にあるときは指示体１２０の近傍に第１マーカＭ１を常に表示するが、交点位置が検出されるときのみ第２マーカＭ２を表示し、交点位置が検出されないときは第２マーカＭ２を非表示とする。

【0049】

また、上記実施形態では、第１マーカＭ１および第２マーカＭ２をリング形状とする例について説明したが、これ以外の形状であってもよい。

【0050】

その他、上記実施形態は、何れも本発明を実施するにあたっての具体化の一例を示したものに過ぎず、これによって本発明の技術的範囲が限定的に解釈されてはならないものである。すなわち、本発明はその要旨、またはその主要な特徴から逸脱することなく、様々な形で実施することができる。

【符号の説明】

【0051】

１ 制御装置
２ ＨＭＤ
３Ｌ，３Ｒ コントローラ
１０ ユーザインタフェース装置
１１ 操作対象物表示部
１２ 指示体表示部
１３ 接触判定部
１４ 解除判定部
１５ マーカ表示部
１００ ３次元仮想空間画像
１１０ 操作対象物
１１１ ボタン
１２０ 指示体

【図1】

【図2】

【図3】

【図4】

【図5A】

【図5B】

【図5C】

【図5D】