特開2017-228300(P2017-228300A)IP Force 特許公報掲載プロジェクト 2015.5.11 β版

知財求人 - 知財ポータルサイト「IP Force」

▶ ソニー株式会社の特許一覧
特開2017-228300画像表示装置、ヘッドマウントディスプレイ、情報表示装置、表示処理方法及びプログラム
<>
  • 特開2017228300-画像表示装置、ヘッドマウントディスプレイ、情報表示装置、表示処理方法及びプログラム 図000003
  • 特開2017228300-画像表示装置、ヘッドマウントディスプレイ、情報表示装置、表示処理方法及びプログラム 図000004
  • 特開2017228300-画像表示装置、ヘッドマウントディスプレイ、情報表示装置、表示処理方法及びプログラム 図000005
  • 特開2017228300-画像表示装置、ヘッドマウントディスプレイ、情報表示装置、表示処理方法及びプログラム 図000006
  • 特開2017228300-画像表示装置、ヘッドマウントディスプレイ、情報表示装置、表示処理方法及びプログラム 図000007
  • 特開2017228300-画像表示装置、ヘッドマウントディスプレイ、情報表示装置、表示処理方法及びプログラム 図000008
  • 特開2017228300-画像表示装置、ヘッドマウントディスプレイ、情報表示装置、表示処理方法及びプログラム 図000009
  • 特開2017228300-画像表示装置、ヘッドマウントディスプレイ、情報表示装置、表示処理方法及びプログラム 図000010
  • 特開2017228300-画像表示装置、ヘッドマウントディスプレイ、情報表示装置、表示処理方法及びプログラム 図000011
  • 特開2017228300-画像表示装置、ヘッドマウントディスプレイ、情報表示装置、表示処理方法及びプログラム 図000012
  • 特開2017228300-画像表示装置、ヘッドマウントディスプレイ、情報表示装置、表示処理方法及びプログラム 図000013
  • 特開2017228300-画像表示装置、ヘッドマウントディスプレイ、情報表示装置、表示処理方法及びプログラム 図000014
  • 特開2017228300-画像表示装置、ヘッドマウントディスプレイ、情報表示装置、表示処理方法及びプログラム 図000015
  • 特開2017228300-画像表示装置、ヘッドマウントディスプレイ、情報表示装置、表示処理方法及びプログラム 図000016
  • 特開2017228300-画像表示装置、ヘッドマウントディスプレイ、情報表示装置、表示処理方法及びプログラム 図000017
  • 特開2017228300-画像表示装置、ヘッドマウントディスプレイ、情報表示装置、表示処理方法及びプログラム 図000018
< >
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】特開2017-228300(P2017-228300A)
(43)【公開日】2017年12月28日
(54)【発明の名称】画像表示装置、ヘッドマウントディスプレイ、情報表示装置、表示処理方法及びプログラム
(51)【国際特許分類】
   G06F 3/0488 20130101AFI20171201BHJP
   G09G 5/00 20060101ALI20171201BHJP
   G09G 5/377 20060101ALI20171201BHJP
   G06F 3/0481 20130101ALI20171201BHJP
   G06F 3/01 20060101ALI20171201BHJP
   H04N 5/64 20060101ALI20171201BHJP
   G06F 3/041 20060101ALI20171201BHJP
   G02B 27/02 20060101ALN20171201BHJP
【FI】
   G06F3/0488
   G09G5/00 510H
   G09G5/00 510V
   G09G5/00 550C
   G09G5/36 520M
   G06F3/0481
   G06F3/01 510
   H04N5/64 511A
   G06F3/041 600
   G02B27/02 Z
【審査請求】有
【請求項の数】17
【出願形態】OL
【全頁数】27
(21)【出願番号】特願2017-137445(P2017-137445)
(22)【出願日】2017年7月13日
(62)【分割の表示】特願2016-124526(P2016-124526)の分割
【原出願日】2011年12月26日
(71)【出願人】
【識別番号】000002185
【氏名又は名称】ソニー株式会社
(74)【代理人】
【識別番号】100104215
【弁理士】
【氏名又は名称】大森 純一
(74)【代理人】
【識別番号】100117330
【弁理士】
【氏名又は名称】折居 章
(74)【代理人】
【識別番号】100168181
【弁理士】
【氏名又は名称】中村 哲平
(74)【代理人】
【識別番号】100168745
【弁理士】
【氏名又は名称】金子 彩子
(74)【代理人】
【識別番号】100176131
【弁理士】
【氏名又は名称】金山 慎太郎
(72)【発明者】
【氏名】塚原 翼
(72)【発明者】
【氏名】上野 正俊
(72)【発明者】
【氏名】樺澤 憲一
(72)【発明者】
【氏名】栗屋 志伸
(72)【発明者】
【氏名】後藤 哲郎
(72)【発明者】
【氏名】菅野 尚子
(72)【発明者】
【氏名】川上 大介
(72)【発明者】
【氏名】中川 俊之
【テーマコード(参考)】
2H199
5C182
5E555
【Fターム(参考)】
2H199CA03
2H199CA04
2H199CA23
2H199CA25
2H199CA30
2H199CA50
2H199CA53
2H199CA68
2H199CA87
2H199CA94
5C182AA03
5C182AA31
5C182AB34
5C182AB35
5C182AC03
5C182AC38
5C182BA02
5C182BA06
5C182BA30
5C182BA65
5C182BB01
5C182BC22
5C182BC25
5C182BC26
5C182CA01
5C182CA33
5C182CB13
5C182CB14
5C182CB47
5C182CB54
5C182DA65
5E555AA25
5E555BA38
5E555BB06
5E555BC08
5E555BE17
5E555CA13
5E555CB08
5E555CB14
5E555CB20
5E555CB74
5E555CC22
5E555DA08
5E555DA09
5E555DB03
5E555DB06
5E555DC19
5E555DC26
5E555DD06
5E555EA11
5E555FA00
(57)【要約】
【課題】ユーザの直感に即し、優れた操作性を有するヘッドマウントディスプレイ及び情報表示装置を提供する。
【解決手段】本技術の一形態に係るヘッドマウントディスプレイ1は、受信部12と、画像表示素子14と、表示処理部132とを具備する。受信部12は、入力デバイス2から出力される、入力操作面21に接触する検出対象の相対位置に関する情報を含む操作信号を受信する。画像表示素子14は、ユーザに提示される画像V1を形成する。表示処理部132は、操作信号に基づき、画像V1に検出対象の位置を示す補助画像Pが重畳した操作画像V10を、画像表示素子14に表示させる。
【選択図】図5
【特許請求の範囲】
【請求項1】
入力デバイスから出力される、入力操作面に接触する検出対象の相対位置に関する情報を含む操作信号を受信する受信部と、
ユーザに提示される画像を形成する画像表示素子と、
前記操作信号に基づき、前記画像に前記検出対象の位置を示す補助画像が重畳した操作画像を、前記画像表示素子に表示させる表示処理部と
を具備するヘッドマウントディスプレイ。
【請求項2】
請求項1に記載のヘッドマウントディスプレイであって、
前記受信部は、前記入力デバイスから出力される画像信号をさらに受信し、
前記表示処理部は、前記画像信号に基づき、前記画像を前記画像表示素子に表示させる
ヘッドマウントディスプレイ。
【請求項3】
請求項1又は2に記載のヘッドマウントディスプレイであって、
前記表示処理部は、前記操作信号に基づき、前記画像の表示領域において前記補助画像を移動させる
ヘッドマウントディスプレイ。
【請求項4】
請求項1〜3のいずれか1つに記載のヘッドマウントディスプレイであって、
前記操作信号は、前記入力操作面に対する前記検出対象の接触圧に関する情報を含み、
前記表示処理部は、前記入力操作面に対する前記検出対象の接触圧に応じて前記補助画像の表示形態を変化させる
ヘッドマウントディスプレイ。
【請求項5】
請求項1〜4のいずれか1つに記載のヘッドマウントディスプレイであって、
前記操作信号に基づいて、前記入力操作面上の前記検出対象の座標位置を算出する演算部をさらに具備し、
前記表示処理部は、前記演算部で算出された前記検出対象の座標位置に基づき、前記操作画像を前記画像表示素子に表示させる
ヘッドマウントディスプレイ。
【請求項6】
入力操作面と、前記入力操作面に対する検出対象の接触を検出し、前記入力操作面上の前記検出対象の座標位置に関する情報を出力するセンサ部と、を有する入力デバイスと、
ユーザに提示される画像を形成する画像表示素子と、前記センサ部の出力に基づき、前記画像に前記検出対象の位置を示す補助画像が重畳した操作画像を前記画像表示素子に形成させる表示処理部と、を有するヘッドマウントディスプレイと
を具備する情報表示装置。
【請求項7】
請求項6に記載の情報表示装置であって、
前記入力デバイスは、
前記入力操作面に画像を表示させる表示素子をさらに有し、
前記ヘッドマウントディスプレイは、前記入力操作面に表示される画像に前記補助画像を重畳させた画像を前記操作画像として表示する
情報表示装置。
【請求項8】
請求項6又は7に記載の情報表示装置であって、
前記センサ部は、前記検出対象によって前記入力操作面に加えられた接触圧を検出する
情報表示装置。
【請求項9】
請求項8に記載の情報表示装置であって、
前記ヘッドマウントディスプレイは、前記操作面からの前記検出対象の接触圧に応じて、前記補助画像の表示形態を変化させる
情報表示装置。
【請求項10】
請求項6〜9のいずれか1つに記載の情報表示装置であって、
前記センサ部は、前記入力操作面上における前記検出対象の動きを検出し、
前記ヘッドマウントディスプレイは、検出された前記検出対象の動きに応じて移動する前記補助画像を表示する
情報表示装置。
【請求項11】
入力操作面と、前記検出対象による前記入力操作面への接触を検出するセンサ部と、を有する入力デバイスと、
ユーザに提示される画像を形成する画像表示素子と、前記センサ部の出力に基づいて前記入力操作面上の前記検出対象の座標位置を算出する演算部と、前記演算部で算出された前記検出対象の座標位置に基づき、前記画像に検出対象の位置を示す補助画像が重畳した操作画像を前記画像表示素子に形成させる表示処理部と、を有するヘッドマウントディスプレイと
を具備する情報表示装置。
【発明の詳細な説明】
【技術分野】
【0001】
本技術は、ヘッドマウントディスプレイ及び情報表示装置に関する。
【背景技術】
【0002】
ユーザの頭部に装着され、眼前に配置されたディスプレイ等によってユーザ個人に画像を提示することが可能な、ヘッドマウントディスプレイ(HMD)が知られている。HMDとしては、外光を透過させず、ユーザに所定の画像のみを表示する非透過型HMDと、ユーザに外界を視認させつつ、例えば所定の画像をユーザの視界に重ねて表示する透過型HMDとに分類される。例えば特許文献1には、HMD本体にボタン等の操作入力部を配置した非透過型HMDが記載されている。
【0003】
一方、近年、情報処理装置等への入力方法として、占有面積が大きく多様化に限界があるボタン等に替わり、指示項目(GUI:Graphical User Interface)を切り替えてユーザに多数のGUIを提示可能なタッチパネル方式が主流となりつつある。そこで、特許文献2には、ユーザの視野範囲にタッチパネルの入力操作面を配置して入力操作を行う、透過型のHMDが記載されている。
【先行技術文献】
【特許文献】
【0004】
【特許文献1】特開2008−70817号公報
【特許文献2】特開2010−145861号公報
【発明の概要】
【発明が解決しようとする課題】
【0005】
しかしながら、特許文献2に記載の透過型HMDでは、タッチパネルの入力操作面をHMDを介した視野範囲に配置して使用しなくてはならず、入力操作と画像上の表示との矛盾が生じやすく、操作性に問題があった。
【0006】
以上のような事情に鑑み、本技術の目的は、ユーザの直感に即し、優れた操作性を有するヘッドマウントディスプレイ及び情報表示装置を提供することにある。
【課題を解決するための手段】
【0007】
上記目的を達成するため、本技術の一形態に係るヘッドマウントディスプレイは、受信部と、画像表示素子と、表示処理部とを具備する。
上記受信部は、入力デバイスから出力される、入力操作面に接触する検出対象の相対位置に関する情報を含む操作信号を受信する。
上記画像表示素子は、ユーザに提示される画像を形成する。
上記表示処理部は、上記操作信号に基づき、上記画像に上記検出対象の位置を示す補助画像が重畳した操作画像を、上記画像表示素子に表示させる。
【0008】
上記ヘッドマウントディスプレイ(HMD)を装着することで、ユーザは、入力操作面に接触する指等の検出対象の相対位置に関する情報を、HMDによって提示される操作画像中の補助画像によって視認することができる。これにより、ユーザは、入力操作面を確認することなく、HMDによる操作画像を見ながら直感に即した操作を行うことが可能となる。
【0009】
上記ヘッドマウントディスプレイにおいて、上記受信部は、上記入力デバイスから出力される画像信号をさらに受信し、上記表示処理部は、上記画像信号に基づき、上記画像を上記画像表示素子に表示させてもよい。
このような構成のHMDは、専用の入力デバイスだけではなく、例えばタッチパネルが搭載された携帯端末等を入力デバイスとして用いることが可能となる。これにより、上記HMDによって携帯端末等の多様なアプリケーション等を使用することが可能となる。
【0010】
上記表示処理部は、上記操作信号に基づき、上記画像の表示領域において上記補助画像を移動させてもよい。
これにより、ユーザは、上記操作画像によって、入力操作面上に接触するの検出対象の経時的な相対位置を確認することができ、より操作性を高めることが可能となる。
【0011】
また、上記操作信号は、上記入力操作面に対する上記検出対象の接触圧に関する情報を含み、上記表示処理部は、上記入力操作面に対する上記検出対象の接触圧に応じて上記補助画像の表示形態を変化させてもよい。
これにより、上記HMDは、例えばユーザの入力操作面上での「押し込み」操作を操作画像上に反映することができる。したがって、ユーザは、入力操作面への接触と「押し込み」とを組み合わせた多彩な操作を行うことが可能となる。
【0012】
上記ヘッドマウントディスプレイは、上記操作信号に基づいて、上記入力操作面上の上記検出対象の座標位置を算出する演算部をさらに具備し、上記表示処理部は、上記演算部で算出された上記検出対象の座標位置に基づき、上記操作画像を上記画像表示素子に表示させてもよい。
上記ヘッドマウントディスプレイは、入力デバイスから検出された信号を処理することができ、単純な装置構成の入力デバイスであっても使用することが可能となる。
【0013】
上記目的を達成するため、本技術の一形態に係る情報表示装置は、入力デバイスと、ヘッドマウントディスプレイとを具備する。
上記入力デバイスは、入力操作面と、上記入力操作面に対する検出対象の接触を検出し、上記入力操作面上の上記検出対象の座標位置に関する情報を出力するセンサ部と、を有する。
上記ヘッドマウントディスプレイは、ユーザに提示される画像を形成する画像表示素子と、上記センサ部の出力に基づき、上記画像に上記検出対象の位置を示す補助画像が重畳した操作画像を上記画像表示素子に形成させる表示処理部と、を有する。
【0014】
上記情報表示装置は、ヘッドマウントディスプレイによって入力デバイスへの入力操作に基づいた画像をユーザに提示することができ、ユーザは、入力操作面を確認することなく直感に即した操作を行うことが可能となる。
【0015】
上記センサ部は、上記検出対象によって上記入力操作面に加えられた接触圧を検出するように構成されてもよい。
さらに、この際、上記ヘッドマウントディスプレイは、上記操作面からの上記検出対象の接触圧に応じて、上記補助画像の表示形態を変化させてもよい。
上記入力デバイスは、入力操作面に対する検出対象による接触圧(押し込み力)を検出することができ、その情報をHMDによる操作画像に反映することが可能となる。これにより、ユーザは、より多様な操作が可能となる。
【0016】
また、上記センサ部は、上記入力操作面上における上記検出対象の動きを検出し、上記ヘッドマウントディスプレイは、検出された上記検出対象の動きに応じて移動する上記補助画像を表示してもよい。
【0017】
上記入力デバイスは、上記入力操作面に画像を表示させる表示素子をさらに有し、
上記ヘッドマウントディスプレイは、上記入力操作面に表示される画像に上記補助画像を重畳させた画像を上記操作画像として表示してもよい。
【0018】
上記目的を達成するため、本技術の一形態に係る情報表示装置は、入力デバイスと、ヘッドマウントディスプレイとを具備する。
上記入力デバイスは、入力操作面と、上記検出対象による上記入力操作面への接触を検出するセンサ部と、を有する。
上記ヘッドマウントディスプレイは、ユーザに提示される画像を形成する画像表示素子と、上記センサ部の出力に基づいて上記入力操作面上の上記検出対象の座標位置を算出する演算部と、上記演算部で算出された上記検出対象の座標位置に基づき、上記画像に検出対象の位置を示す補助画像が重畳した操作画像を上記画像表示素子に形成させる表示処理部と、を有する。
【0019】
上記情報表示装置は、入力デバイスの構成を単純なものとすることができる。これにより、入力デバイスの軽量化等が実現でき、長時間の操作においても疲労感の少ない情報表示装置を提供することができる。
【発明の効果】
【0020】
以上のように、本技術によれば、ユーザの直感に即し、優れた操作性を有するヘッドマウントディスプレイ及び情報表示装置を提供することが可能となる。
【図面の簡単な説明】
【0021】
図1】本技術の第1の実施形態に係る情報処理装置を示す模式的な斜視図である。
図2】本技術の第1の実施形態に係る入力デバイスの内部構成を示すブロック図である。
図3】本技術の第1の実施形態に係るヘッドマウントディスプレイ(HMD)の内部構成を示すブロック図である。
図4】本技術の第1の実施形態に係る情報処理装置の一動作例におけるフローチャートである。
図5】本技術の第1の実施形態に係る情報表示装置の典型的な動作例を説明する図であり、(A)は、ユーザが入力操作を行っている入力デバイスの入力操作面を示し、(B)は、HMDを介してユーザに提示される操作画面を示す。
図6】本技術の第2の実施形態に係る情報表示装置の一動作例を示すフローチャートである。
図7】本技術の第3の実施形態に係る入力デバイスの内部構成を示すブロック図である。
図8】本技術の第3の実施形態に係るHMDの内部構成を示すブロック図である。
図9】本技術の第3の実施形態に係る情報表示装置の典型的な動作例を説明する図であり、(A)は、ユーザが入力操作を行っている入力デバイスの入力操作面を示し、(B)は、HMDを介してユーザに提示される操作画面を示す。
図10】本技術の第4の実施形態に係るHMDの内部構成を示すブロック図である。
図11】本技術の第5の実施形態において、指による接触圧に応じてHMDの画像上の補助画像が大きくなる例を示す図であり、(A)は、ユーザの指が入力操作面に軽く接触した態様を示し、(B)は、その際のHMDの操作画像を示す。
図12】本技術の第5の実施形態において、指による接触圧に応じてHMDの画像上の補助画像が大きくなる例を示す図であり、(A)は、ユーザの指が入力操作面上に押し込まれた態様を示し、(B)は、その際のHMDの操作画像を示す。
図13】本技術の第5の実施形態に係る操作画像の一例を示す図であり、指による接触圧に応じてHMDの画像上の補助画像の色が変化する例を示す。
図14】本技術の第5の実施形態に係る操作画像の一例を示す図であり、指による接触圧に応じてHMDの画像上の補助画像の色が変化する例を示す。
図15】本技術の第2の実施形態の変形例を示す図であり、(A)は、ユーザが入力操作面上で2本の指を押し込みつつこれらの距離を広げた態様を示し、(B)は、この際に操作画像が拡大する態様を示す。
図16】本技術の第2の実施形態の変形例を示す図であり、(A)は、ユーザが入力操作面上で2本の指を押し込みつつこれらの距離を狭めた態様を示し、(B)は、この際に操作画像が縮小する態様を示す。
【発明を実施するための形態】
【0022】
以下、本技術に係る実施形態を、図面を参照しながら説明する。
【0023】
<第1の実施形態>
[情報表示装置]
図1は、本技術の一実施形態に係る情報表示装置を示す模式的な斜視図である。本実施形態の情報表示装置100は、ヘッドマウントディスプレイ(HMD)1と、入力デバイス2とを有する。
【0024】
HMD1は、本実施形態において、透過型HMDとして構成される。HMD1は、全体としてメガネ型の形状を有し、ユーザが頭部に装着して外界を視認しつつ、入力デバイス2から出力された情報に基づく画像をユーザに提示させることが可能に構成される。
【0025】
入力デバイス2は、無線でHMD1と通信可能に接続されているが、ケーブル等によって有線でHMD1と通信可能に構成されてもよい。本実施形態では、入力デバイス2は、例えばタッチパネルを有する携帯端末で構成され、インターネット等にも接続されることが可能に構成される。また、入力デバイス2は、HMD1のいわゆるリモートコントローラとして機能し、HMD1の各種設定等に関する入力操作が可能に構成されることも可能である。
【0026】
以下、入力デバイス2及びHMD1について説明する。
【0027】
[入力デバイス]
入力デバイス2は、例えばユーザが把持できる大きさの筐体2Aを有する。筐体2Aは、x軸方向に長手方向、y軸方向に短手方向、z軸方向に厚み方向を有する略直方体であり、筐体2Aの一方の表面には入力操作面21が形成されている。入力操作面21は、x軸及びこれに直交するy軸に座標軸を有する2次元的な座標系に属し、x軸方向に平行な長辺と、y軸方向に平行な短辺とを有する、z軸に垂直な矩形状を有する。
【0028】
入力デバイス2は、例えばユーザの手指を検出対象とし、入力操作面21上における指のxy座標位置及びその変化を検出する機能を有する。入力デバイス2はさらに、指による入力操作面21のz軸方向の撓み量、すなわち接触圧を検出する機能を有する。これにより、入力操作面21上における指の移動方向、移動速度、移動量等とともに、指による入力操作面21へのz軸方向の接触圧が取得される。なお、検出対象はユーザの指に限られず、スタイラス等とすることもできる。
【0029】
入力操作面21は、本実施形態において、光透過性の表示カバー等で構成され、検出対象による入力操作が行われるとともに、画像を表示させる画面としての機能も有する。入力操作面21は、例えば、筐体2Aの表面に形成された開口部21Aを覆うように配置され、周縁が筐体2Aに固定される。また、入力操作面21は、所定以上の接触圧に対して撓み変形が可能なように、その材料、厚み及び大きさ等が設定される。入力操作面21を構成する材料としては、例えば、アクリル樹脂、ポリカーボネート樹脂、PET(ポリエチレンテレフタレート)等の透明プラスチック板、ガラス板、セラミックス板等が採用される。
【0030】
図2は、入力デバイス2の内部構成を示すブロック図である。入力デバイス2は、筐体2Aと、入力操作面21と、タッチセンサ22と、感圧センサ23と、表示素子24と、制御部25と、記憶部26と、送受信器27と、通信部28と、バッテリBTとを有する。タッチセンサ22と、感圧センサ23とは、本実施形態において「センサ部」を構成する。
【0031】
タッチセンサ22は、入力操作面21とほぼ同一の形状及び大きさのパネル形状を有する。タッチセンサ22は、入力操作面21の直下に配置され、入力操作面21に接触する検出対象(指)を検出する。タッチセンサ22は、入力操作面21上の検出対象のxy平面上での動きに対応する座標位置を検出し、その座標位置に応じた検出信号を出力する。
【0032】
タッチセンサ22は、本実施形態において、入力操作面21に接触する検出対象を静電的に検出することが可能な静電容量方式のタッチパネルが用いられる。静電容量方式のタッチパネルは、プロジェクテッドキャパシティブ式(投影型)でもよいし、サーフェイスキャパシティブ式(表面型)でもよい。この種のタッチセンサ22は、典型的には、y軸方向に平行な第1の配線がx軸方向に複数配列されたx位置検出用の第1のセンサ22xと、x軸方向に平行な第2の配線がy軸方向に複数配列された位置検出用の第2のセンサ22yとを有し、これら第1及び第2のセンサ22x,22yはz軸方向に相互に対向して配置される。タッチセンサ22は、例えば後述する制御部25に含まれる駆動回路によって、第1及び第2の配線へ信号電流が順次供給される。
【0033】
上記以外にも、タッチセンサ22としては、検出対象の座標位置を検出できるセンサであれば特に限定されず、抵抗膜式、赤外線式、超音波式、表面弾性波式、音響波照合式、赤外線イメージセンサなどの種々のタイプが適用可能である。
【0034】
感圧センサ23としては、本実施形態において、検出対象による入力操作面21のZ軸方向の接触圧を静電的に検出することが可能な感圧センサが用いられる。感圧センサ23は、例えば、入力操作面21と筐体2Aとの間に配置されz軸方向に対向する1対以上の電極を有し、入力操作面21の撓みによって生じた電極間の静電容量の変化によって接触圧を検出する。また感圧センサ23として、上記一対の電極間に弾性体が配置されたものが採用されてもよく、この場合、入力操作面21への押圧操作に伴う上記弾性体の弾性変形によって生じた電極間の静電容量の変化によって上記接触圧が検出される。なお感圧センサ23は、例えば後述する制御部25に含まれる駆動回路によって駆動されることが可能である。
【0035】
感圧センサ23としては、上記の構成に限られない。例えば、圧電素子を用いた圧電センサや、ストレインゲージ等を用いることも可能である。
【0036】
表示素子24は、入力操作面21及びタッチセンサ22の直下に配置される。本実施形態における表示素子24としては特に限られず、液晶ディスプレイや有機ELディスプレイ等を用いることが可能である。これにより、入力操作面21に文字や絵柄等の画像を表示させることが可能となる。
【0037】
制御部25は、典型的には、CPU(Central Processing Unit)あるいはMPU(Micro-Processing Unit)で構成される。本実施形態において制御部25は、演算部251と信号生成部252とを有し、記憶部26に格納されたプログラムに従って各種機能を実行する。演算部251は、タッチセンサ22及び感圧センサ23から出力される電気的な信号に対して所定の演算処理を実行し、入力操作面21に接触する検出対象の相対位置に関する情報を含む操作信号を生成する。信号生成部252は、これらの演算結果に基づいて、表示素子24に画像を表示させるための画像信号を生成する。制御部25は、タッチセンサ22を駆動するための駆動回路を有し、本実施形態において当該駆動回路は演算部251に組み込まれる。
【0038】
演算部251は、具体的には、タッチセンサ22及び感圧センサ23から出力される信号に基づいて、入力操作面21上における指のxy座標位置及び接触圧を算出する。さらに、演算部251は、上記算出結果に基づき、例えば、検出対象が所定のxy座標位置にあることが検出され、さらに、その座標位置において所定の閾値以上の接触圧が検出された場合、その座標位置に対応するGUIに割り当てられた所定の処理を実行する。演算部251によるこれらの処理結果は、信号生成部252に送信される。
【0039】
信号生成部252では、演算部251から送信された処理結果に基づき、表示素子24に表示させる画像を形成するための画像信号を生成する。この際、信号生成部252は、入力操作面21上の画像の検出対象のxy座標位置に対応する位置にポインタあるいは輝度、彩度の変化した領域等の補助画像を表示させる信号を生成することも可能である。また、信号生成部252は、検出対象の接触圧に応じて、補助画像の表示形態を変化させる信号を生成することも可能である。
【0040】
制御部25の演算部251で算出されたxy座標位置及び接触圧に関する操作信号と、信号生成部252で生成された画像信号とは、送受信器27を介してHMD1へ送信されるように構成される。また図示せずとも、入力装置2は、タッチセンサ22や感圧センサ23から出力される検出信号(アナログ信号)をデジタル信号に変換するA/Dコンバータや、デジタル信号をアナログ信号に変換するD/Aコンバータを含む。
【0041】
記憶部26は、RAM(Random Access Memory)、ROM(Read Only Memory)及びその他の半導体メモリ等で構成され、制御部25による種々の演算に用いられるプログラム等を格納する。例えば、ROMは、不揮発性メモリで構成され、制御部25にxy座標位置及び接触圧の算出等の演算処理を実行させるためのプログラムや設定値を格納する。また、記憶部26は、例えば不揮発性の半導体メモリによって、検出対象のxy座標位置及び接触圧と、これらに対応して割り当てられた機能を実行するためのプログラム等を格納することが可能となる。さらに、半導体メモリ等に予め格納されたこれらのプログラムは、RAMにロードされ、制御部25の演算部251によって実行されるようにしてもよい。
【0042】
送受信器27は、制御部25によって生成された各種制御信号を、例えば無線でHMD1へ送信可能に構成される。また送受信器27は、HMD2から送信される所定の信号を受信可能に構成される。一方、通信部28は、インターネット等の通信網と接続される。通信部28は、例えばアプリケーション等の所定のプログラムを入力デバイス2にダウンロードする際に用いられる。通信部28における情報の送受信は、LANケーブル等を用いた有線によるものでもよいし、高速データ通信等の無線によるものでもよい。
【0043】
バッテリBTは、入力デバイス2の電源を構成し、筐体2A内部の各部へ必要な電力を供給する。バッテリBTは、一次電池でもよいし、二次電池でもよい。またバッテリBTは、太陽電池で構成されてもよい。さらに、入力デバイス2は、押圧により入力デバイス2の起動等を制御する図示しない外部スイッチを有することも可能である。
【0044】
[HMD]
HMD1は透過型HMDであり、ユーザに外界を視認させつつ、その視野領域に所定の画像を提示することが可能に構成される。本実施形態に係るHMD1は、画像表示装置11と、支持部16とを有し、全体としてメガネ型の形状を有する。例えば、HMD1として透過型のHMDを採用することにより、入力デバイス2の操作中であっても外界を視認することが可能となり、操作中の安全性を向上させることができる。
【0045】
支持部16は、ユーザの頭部に装着されることが可能であり、装着時に、後述する画像表示素子14がユーザの眼前に支持されるように構成される。支持部16の形状は特に限られないが、本実施形態において、全体としてメガネ型の形状とすることができる。支持部16は、例えば、ユーザの左右の耳に装着されることが可能なテンプル状構造を有する。支持部16の鼻梁付近には、例えばノーズパッド161が取り付けられることも可能である。また、イヤホン162が支持部16に装備されていてもよい。支持部16を構成する材料は、例えば、金属や合金、プラスチック等を採用することができ、特に制限されない。
【0046】
画像表示装置11は、筐体11Aを含み、例えば支持部16の所定位置に配置される。画像表示装置11の配置は特に制限されず、例えば、筐体11Aが、ユーザの視野領域に含まれないように、ユーザの左右の目の外側に配置される。
【0047】
図3は、画像表示装置11の内部構成を示すブロック図である。画像表示装置11は、本実施形態において、筐体11Aと、送受信器(受信部)12と、制御部13と、画像表示素子14と、記憶部15とを有する。本実施形態においては、制御部13が「表示処理部」を構成する。
【0048】
送受信器12は、入力デバイス2の送受信器27から出力され、入力操作面21に接触する検出対象のxy座標位置及び接触圧に関する情報を含む操作信号を受信する。さらに、入力デバイス2の入力操作面21に表示される画像の画像信号を受信することも可能である。上記信号の伝送方法は特に限定されない。例えば、無線通信として、「Wi Fi」(登録商標)、「ZigBee」(登録商標)、「Bluetooth」(登録商標)などの機器間通信、またインターネットを経由した通信等を用いることができる。また、USB(Universal Serial Bus)、HDMI(登録商標)等を介した有線によるものでも可能である。
【0049】
制御部13は、典型的には、CPUあるいはMPUで構成され、記憶部15に格納されたプログラムに従って各種機能を実行する。本実施形態において制御部13は、送受信器12により受信された操作信号及び画像信号に基づき、ユーザに提示される画像を画像表示素子14に形成させるための制御信号を生成する。これにより、例えば入力操作面21に表示された画像と同様の画像に、検出対象の位置を示す補助画像が重畳した操作画像を、画像表示素子14に表示させることが可能となる。補助画像の形状は特に限られず、例えば環状(リング状)のポインタ、あるいは輝度、彩度の変化した領域等で構成される。
【0050】
画像表示素子14は、本実施形態において、液晶表示素子(LCD)141と、光学系142とを有し、LCD141によって形成された画像を、光学系142を介してユーザに提示するように構成される。
【0051】
LCD141は、複数の画素がマトリクス状に配置されている。LCD141は、LED(発光ダイオード)等からなる図示しない光源から入射される光を、制御部13によって生成された制御信号に応じて画素毎に変調し、ユーザに提示される画像を形成する光を出射する。LCD141は、例えば、R(赤),G(緑),B(青)の各色に対応する画像光を同時に出射する単板方式でもよいし、各色に対応する画像光を個々に出射する3板方式でもよい。
【0052】
光学系142は、LCD141から出射された光を偏向し、ユーザの目に導くことが可能に構成される。光学系142は、例えば、全反射による導光が可能な透明基板からなる導光板と、回折反射が可能な反射型体積ホログラム回折格子等とで構成されることができる。導光板は、例えば、矩形または円形の平板形状等で形成され、メガネのレンズのようにユーザの眼前に配置される。ホログラム回折格子等は、導光板内に適宜配置され、LCD141から出射される光を反射させ、ユーザの目に導くことが可能に作製される。また、ホログラム回折格子以外にも、例えば反射板等を採用することができる。
【0053】
このような構成の光学系142は、LCD141から出射された光が所定位置で反射されることで、ユーザの視野領域に操作画像を提示することが可能となる。また、導光板が透明基板で形成されることによって、ユーザに外界を視認させつつ、操作画像を視野領域内に重畳的に提示することが可能となる。
【0054】
記憶部15は、RAM、ROM及びその他の半導体メモリ等で構成され、制御部13による種々の演算に用いられるプログラム等を格納する。
【0055】
スピーカ17は、入力デバイス2より送信され、あるいは制御部13等によって生成された電気的な音声信号を物理的な振動に変換し、イヤホン162を介してユーザに音声を提供する。なお、スピーカ17の構成は特に限られない。
【0056】
なお、画像表示装置11は、両目に対応して2個配置される構成に限られない。例えば、左右一方の目のみに対応して1個配置される構成とすることも可能である。
【0057】
[情報表示装置の動作例]
次に、情報表示装置100の基本的な動作例について説明する。
【0058】
図4は、HMD1(制御部13)及び入力デバイス2(制御部25)の一動作例におけるフローチャートである。図5は、情報表示装置100の典型的な動作例を説明する図であり、(A)は、ユーザが入力操作を行っている入力デバイス2の入力操作面21を示し、(B)は、HMD1を介してユーザに提示される操作画面を示す。ここでは、ユーザがHMD1を装着し、入力デバイス2の入力操作面21上の所定位置で押し込み操作を行った際の情報表示装置100の動作例を示す。なお、図中のX軸方向及びY軸方向は、入力操作面21のx軸方向及びy軸方向にそれぞれ対応し、いずれも直交する平面方向を示す。Z軸方向は、入力操作面21のz軸方向に対応し、X軸方向及びY軸方向にそれぞれ直交する方向を示す。
【0059】
起動された入力デバイス2の入力操作面21上には、例えば、GUIが多数表示された画像v1が表示されている(図5(A))。画像v1は、例えばHMD1の各種設定のメニュー選択画面であり、各GUIは、HMD1の消音モードへの切り替え、音量調節、操作画像の拡大・縮小あるいはポインタの表示形態の変更等に対応している。すなわち、入力デバイス2は、ユーザによって特定のGUIが選択されることで、HMD1の設定を変更することが可能に構成される。
【0060】
この際、入力デバイス2と接続され、起動されたHMD1を装着したユーザにも、HMD1を介して視野領域に画像v1と同様の画像V1が提示される。
【0061】
入力デバイス2は、タッチセンサ22によって入力操作面21上でのユーザの指(検出対象)の接触を判定する(ステップST101)。接触が検出された際(ステップST101でYES)、タッチセンサ22は、指が接触した入力操作面21上のxy座標位置に関する検出信号を制御部25へ出力する。
【0062】
制御部25の演算部251は、上記検出信号に基づいて、入力操作面21上における指のxy座標位置を算出する(ステップST102)。演算部251によって算出されたxy座標位置に関する信号は、送受信器27に出力される。
【0063】
送受信器27は、HMD1の送受信器12に上記xy座標位置に関する操作信号を送信する。
【0064】
HMD1の制御部13は、送受信器12で受信した操作信号及び画像信号に基づいて、画像V1に検出対象の位置を示す補助画像(ポインタP)が重畳した操作画像V10を制御する信号を生成する。この制御信号が出力された画像表示素子14は、ユーザに操作画像V10を提示する(ステップST103、図5(B))。これにより、ユーザは、手元の入力操作面21を見ずとも、HMD1によって提示される操作画像V10上のポインタPの動きを確認することで、所望の操作を行うことが可能となり、ユーザの直感に即した操作を行うことが可能となる。なお、この際、入力操作面21に表示される画像は、画像v1のみであってもよいし、画像v1にポインタ等が重畳された画像であってもよい。
【0065】
また、ユーザの指が入力操作面21上で接触しつつ移動した場合(図5(A)(B)における矢印参照)、経時的に変化するxy座標位置の情報がタッチセンサ22によって取得される。この情報は、入力デバイス2の制御部25によって操作信号として処理され、送受信器27、12を介してHMD1の制御部13へ出力される。これにより、制御部13は、上記操作信号に基づき、ポインタPを移動させるような制御信号をLCD141に出力することができ、ユーザの指の移動に応じて、画像V1の表示領域におけるポインタPを移動させることが可能となる。
【0066】
入力デバイス2の制御部25は、算出されたxy座標位置に最も近いGUI(以下、選択GUIとする)を選択候補とする(ステップST104)。これに対応して、入力操作面21及びHMD1に表示される画像v1、V10の選択候補のGUIは、例えば枠の色彩等の表示形態を変化させてもよい。またユーザは、HMD1によって表示された画像V10を視認することで、選択候補のGUIを確認することが可能となる。
【0067】
制御部25は、経時的に指と入力操作面21との接触状態を判定する(ステップST105)。ここで、ユーザが入力操作面21から指を離間させると、タッチセンサ22は、指が接触していないときの信号を出力する。制御部25は、当該タッチセンサ22の出力に基づいて、入力操作面21と指との非接触を判定する(ステップST105でYES)。この場合は、HMD1の操作画像V10からポインタPが消滅し、画像V1に戻る。
【0068】
一方、ユーザが入力操作面21から指を離間させていない場合、タッチセンサ22は、指が接触しているときの信号を出力する。制御部25は、当該タッチセンサ22の出力に基づいて、ユーザの指が入力操作面21に接触していると判定し(ステップST105でNO)、その後、感圧センサ21の出力に基づいて入力操作面21に対する指の接触圧を検出する(ステップST106)。
【0069】
選択候補GUIは、当該選択候補GUIの表示位置に対するユーザの押圧操作によって選択(決定)される。制御部25は、感圧センサ23の出力に基いて、演算部251において接触圧を算出する。ここで、算出された接触圧が所定の閾値以上の場合(ステップST106でYES)、制御部25は、当該選択候補のGUIを選択GUIとして判定し、記憶部26に格納されたこの選択GUIに対応するコード情報を取得する(ステップST107)。
【0070】
一方、制御部25は、算出された接触圧が所定の閾値未満の場合(ステップST106でNO)、選択候補のGUIは選択されなかったものと判定する。この場合、制御部25は、ステップST105へ戻り、上述した処理を繰り返す。
【0071】
さらに、制御部25は、取得した上記コード情報を、送受信器27を介してHMD1へ送信する(ステップST108)。HMD1の制御部13は、送受信器12を介して受信した上記コード情報に基づき、選択GUIに対応する処理を実行する。この処理は、例えば記憶部15に格納されたプログラム等に基づいて実行される。例えば、選択GUIに対応する機能が「消音モードへの切り替え」であった場合、制御部13は、当該GUIに対応するコード情報に基づいて処理を実行することにより、HMD1の設定を消音モードに切り替えることが可能となる。
【0072】
また、ステップST107で取得されたコード情報が、例えば音量調整等であれば、制御部13は、このコード情報に基づく画像制御信号を生成し、画像表示素子14へ出力することもできる。これにより、HMD1を装着したユーザには、例えば音量調節バー等が重畳された新たな操作画像(図示せず)が提示される。この場合は、制御部13で生成された画像制御信号が送受信器12から入力デバイス2へ出力されることもできる。これにより、入力デバイス2の入力操作面21上においても、HMD1によって提示される新たな操作画像と同様の画像を表示させることが可能となる。
【0073】
本実施形態においては、入力デバイス2が感圧センサ23を有している。したがって、ユーザが入力操作面21上で指を押し込むことにより、入力デバイス1及びHMD1に対し、所望のGUIに対応する処理を実行させること等が可能である。これによって、例えば入力デバイス2が鞄やポケット等の内部にある場合でも、これらに入れたまま外側から入力操作することも可能であり、利便性を向上させることができる。また、入力操作面21への接触操作と押し込み操作とを組み合わせることで、多彩な操作を行うことが可能となる。
【0074】
また、入力操作面21上への接触と、押し込みとを組み合わせて上記操作を行うことにより、接触のみで容易にGUIが選択されることがなく、誤動作を防止することが可能となる。
【0075】
さらに、HMD1によって、入力デバイス2の入力操作面21に表示される画像よりも大きな画像を見ながら操作することが可能となるため、小さな画面が見づらい高齢者等にとっても携帯端末の使用を容易にすることが可能となる。
【0076】
また、本実施形態においては、入力デバイス2の入力操作面21にも画像v1が表示さされる。これにより、入力デバイス2がHMD1に専用の機器に限定されず、タッチパネルディスプレイを搭載した携帯端末を接続して利用することが可能である。したがって、この場合は、当該携帯端末の豊富なアプリケーションを利用しつつ、HMD1の上記作用効果を享受することが可能となる。
【0077】
<第2の実施形態>
図6は本技術の第2の実施形態に係る情報表示装置の一動作例を示すフローチャートである。本実施形態では、第1の実施形態の構成および作用と同様な部分についてはその説明を省略または簡略化し、第1の実施形態と異なる部分を中心に説明する。
【0078】
本実施形態においても、HMD1によってユーザに提示される操作画像及び入力操作面21上に表示される画像は、例えば、多数のGUIが配置されたメニュー選択画像であるとして説明する。第1の実施形態と異なる点は、ステップST207〜212において、制御部25が、ユーザに提示される操作画像中の補助画像(ポインタP)及び選択したGUIを所望の位置に移動させ、GUIの配置を変更等することが可能な点である。すなわち、本実施形態によれば、「ドラッグ アンド ドロップ」の操作が可能となる。
【0079】
図6のステップST201〜206は、それぞれ図5のステップST101〜106に対応するため、簡略に説明する。まず、制御部25が、ユーザの指による入力操作面21上への接触を検出し(ステップST201でYES)、指の接触したxy座標位置を算出する(ステップST202)。当該xy座標位置に基づいて、HMD1の制御部13は、画像V1上にポインタPを表示させる(ST203)。
【0080】
一方、入力デバイス2の制御部25は、当該xy座標位置に最も近いGUIを選択候補とする(ステップST204)。制御部25は、タッチセンサ22からの出力によって指の接触状態を判定し(ステップST205でNO)、感圧センサ23から出力されるz軸方向の接触圧が閾値以上であると判定した場合(ステップST206でYES)、閾値以上の接触圧が所定時間以上出力されるか否かを判定する(ステップST207)。
【0081】
ここで、所定時間以下の場合は(ステップST207でNO)、制御部25は、ステップST206へ戻り、上述した処理を繰り返す。
【0082】
一方、上記接触圧が一定時間以上検出された場合は(ステップST207でYES)、制御部25は選択候補のGUIをドラッグ可能なGUI(以下ドラッグ可能GUIとする)と判定する(ステップST208)。
【0083】
制御部25は、入力操作面21上での指の移動に伴い、タッチセンサ22から検出されるxy座標位置を経時的に算出する(ステップST209)。さらに、この信号が送受信器27を介してHMD1の制御部13に経時的に出力される。制御部13は、xy座標位置の変化に基づき、画像V10上でポインタPとドラッグ可能GUIとを移動させるような画像信号を生成する(ステップST210)。
【0084】
上記移動の際、制御部25は、感圧センサ23から出力される接触圧を経時的に算出し、その接触圧が閾値以上であるか判定し続ける(ステップST211でYES)。ここで、制御部25は、接触圧が閾値未満であり(ステップST211でNO)、さらに指の非接触を判定した場合(ステップST212でYES)、ドラッグ可能GUIを「ドロップ」する処理を実行する(ステップST213)。ドラッグ可能GUIがドロップされる位置は、制御部25によって接触圧が閾値未満であると判定された(ステップST211でNO)時点での、xy座標位置に対応する位置である。
【0085】
一方で、制御部25が非接触を判定しなければ(ステップST214でNO)、制御部25は、ステップST206に戻り、再度感圧センサ23から出力される接触圧が閾値以上であるか判定する。
【0086】
以上より、本実施形態に係る情報表示装置100によって、ユーザは、手元の入力操作面21を確認せず、HMD1の操作画像のみを注視することによって、操作画像中のGUI、フォルダ等を移動させることができる。すなわち、タッチセンサ22と感圧センサ23との出力とによって、「ドラッグ アンド ドロップ」操作を行うことが可能となり、ユーザの操作性をより向上させることが可能となる。
【0087】
<第3の実施形態>
図7〜9は、本技術の第3の実施形態を説明する図である。図7は本実施形態に係る入力デバイスの内部構成を示すブロック図であり、図8は、本実施形態のヘッドマウントディスプレイに係る画像表示装置の内部構成を示すブロック図である。図9は、情報表示装置の典型的な動作例を説明する図であり、(A)は、ユーザが入力操作を行っている入力デバイスの入力操作面を示し、(B)は、HMDを介してユーザに提示される操作画面を示す。本実施形態では、第1の実施形態の構成および作用と同様な部分についてはその説明を省略または簡略化し、第1の実施形態と異なる部分を中心に説明する。
【0088】
本実施形態の入力デバイス20は、表示素子及び制御部を有さず、入力操作面210には画像が表示されない点で、上述の第1の実施形態と異なる。すなわち、タッチセンサ220によるxy座標位置の検出信号と、感圧センサ230による接触圧の検出信号とが、操作信号として、送受信器270を介してHMD10へ送信されることが可能に構成される。これにより、図9(A)のように、入力操作面210には画像が表示されず、入力デバイス20は、いわゆるタッチパネルのみ有する構成とすることができる。すなわち、本実施形態に係る入力デバイス20は、HMD10に専用のリモートコントローラとすることが可能である。
【0089】
入力デバイス20の入力操作面210は、本実施形態において、検出対象による入力操作が行われるのみであるため、光透過性を有しない材料で構成することが可能である。これにより、第1の実施形態で列挙した材料に加えて、例えば、所定以上の接触圧に対して撓み変形が可能な合成樹脂等を採用することができる。
【0090】
HMD10の画像表示装置110に係る制御部130は、本実施形態において、演算部131と表示処理部132とを有する。演算部131では、タッチセンサ220によるxy座標位置の検出信号と、感圧センサ230による接触圧の検出信号とから、xy座標位置及び接触圧をそれぞれ算出する。表示処理部132では、演算部131から入力された処理結果に基づき、画像表示素子140に表示させる画像を形成するための画像信号を生成する。この際、表示処理部132は、入力操作面210上の画像の検出対象のxy座標位置に対応する位置にポインタ等の補助画像を表示させる信号を生成することも可能である。これにより、図9(B)に示されるように、HMD10は、第1の実施形態に係る操作画像V10と同様の操作画像V30をユーザに表示することが可能となる。
【0091】
さらに、HMD10によってユーザに提示される画像は、インターネット等から入力デバイス20の通信部280を介して取得されることも可能である。また、HMD10に通信部170を設けて、HMD10によって直接取得された情報に基づいて画像を生成することも可能である。
【0092】
本実施形態においては、入力デバイス20の構成を簡略化することが可能である。これにより、入力デバイス20を小型化、軽量化することが可能となり、長時間のタッチ操作でも疲れにくく、持ち運びも容易な入力デバイス20を提供することが可能となる。
【0093】
<第4の実施形態>
図10は、本技術の第4の実施形態に係る入力デバイスの内部構成を示すブロック図である。本実施形態では、第1の実施形態の構成および作用と同様な部分については同一の符号を付してその説明を省略または簡略化し、第1の実施形態と異なる部分を中心に説明する。
【0094】
本実施形態に係る入力デバイス200は、感圧センサを有さない点で上述の第1の実施形態と異なる。すなわち、本実施形態において、入力デバイス200は、タッチセンサ2200によって、入力操作面21上の検出対象のxy平面上での動きに対応する座標位置を検出するとともに、接触圧を検出することが可能に構成される。タッチセンサ2200は、本実施形態において、「センサ部」を構成する。
【0095】
タッチセンサ2200としては、例えば、第1の実施形態と同様に、入力操作面21に接触する検出対象を静電的に検出することが可能な静電容量方式のタッチパネルを用いることができる。タッチセンサ2200は、入力操作面21上の検出対象のxy平面上での動きに対応する座標位置を検出し、その座標位置に応じた検出信号を制御部2500へ出力する。さらに、タッチセンサ2200は、例えば検出対象により当該座標位置において押圧操作がなされた場合、検出対象の接触圧に応じた静電容量又はその変化量を検出する。これにより、タッチセンサ2200は、当該座標位置における接触圧に応じた検出信号を出力することが可能となる。
【0096】
なお上記以外にも、例えば抵抗膜式のタッチパネルを用いることも可能である。抵抗膜式のタッチセンサ2200は、典型的には、入力操作面21の直下に所定の間隙を介して対向配置される2枚の透明電極等を有し、検出対象の接触圧に応じた大きさの電圧(接触抵抗)を出力する。これによって、制御部2500は、検出対象による接触圧を算出することが可能となる。また、抵抗膜式の他にも、本実施形態に係るタッチセンサとして、赤外線式、超音波式、表面弾性波式、など種々のタッチパネルセンサを適用することが可能である。
【0097】
制御部2500は、演算部2510において、タッチセンサ2200からの出力に基づき、検出対象のxy座標位置及びその位置での接触圧を算出することが可能に構成される。
【0098】
以下、入力デバイス200(制御部2500)の一動作例について簡略に説明する。ここでは、第1の実施形態で説明した動作例と同様に、ユーザによって入力操作面21及びHMD1に表示される画像上の特定のGUIが選択される例について示す。
【0099】
まず、制御部2500は、タッチセンサ2200からのxy座標位置の検出信号を取得する。これにより、制御部2500は、xy座標位置に最も近いGUI等を選択候補GUI等と判定する(図4ステップST104参照)。
【0100】
続いて、制御部2500は、タッチセンサ2200から出力される静電容量の変化量を接触圧の検出信号として、当該変化量が所定の閾値以上であるか判定する(図4ステップST106参照)。閾値以上の場合は、第1の実施形態と同様に、選択GUI等に対応する処理の実行等を行う(図4ステップST107参照)。
【0101】
一方、制御部2500は、タッチセンサ2200から出力される静電容量値あるいはその変化量自体を接触圧の検出信号として、静電容量値が所定の閾値以上であるか判定するよう構成されることも可能である。
【0102】
以上のような構成の入力デバイス200を有する情報表示装置は、低コスト化及び生産性の向上等に貢献することができ、かつ、入力デバイス200を軽量化、小型化させることが可能となる。
【0103】
<第5の実施形態>
図11〜14は本技術の第4の実施形態を説明する図である。本実施形態では、第1の実施形態の構成および作用と同様な部分については同一の符号を付すとともにその説明を省略または簡略化し、第1の実施形態と異なる部分を中心に説明する。
【0104】
本実施形態においては、入力操作面21に対する検出対象(指)の接触圧に応じて補助画像(ポインタ)P4(P411〜422)の表示形態を変化させる点で第1の実施形態と異なる。
【0105】
図11、12は、指による接触圧に応じて画像V4上の環状のポインタP411が大きくなる例を示している。例えば、ユーザの指が入力操作面21に軽く接触した場合(図11(A))、所定の大きさでポインタP411が重畳された操作画像V411が表示される(図11(B))。さらにその状態から、ユーザが入力操作面212に対して指を押し込んだ場合(図12(A))、ポインタP411よりも大きなポインタP412が画像V4上に重畳された操作画像V412が表示される(図12(B))。
【0106】
情報表示装置100の動作としては、例えば、制御部25は、感圧センサ23によって取得された接触圧が所定の閾値以上であると判定した場合、その情報をHMD1の制御部13に出力する。これにより、制御部13は、接触圧に応じた大きさのポインタを表示させる制御信号を生成する。その結果、操作画像V411,412には、接触圧に応じた大きさのポインタP411、P412が入力操作面21の指の接触位置に対応する位置に表示される。
【0107】
また、図13、14は、指による接触圧に応じて、画像V4上の環状のポインタP421、P422の色が変化する例を示している。例えば、入力操作面21上にユーザの指が軽く接触した場合、ポインタP421が黒色の操作画像V421となり(図13)、さらにその状態からユーザが入力操作面212に対して指を押し込んだ場合、灰色のポインタP422が画像V4上に重畳された操作画像V422が表示される(図14)。
【0108】
また、指による接触圧に応じて、画像V4上の環状のポインタP4の透過率が変化するように構成されることも可能である。
【0109】
以上のような情報表示装置100によって、ユーザは、自身の押し込み量(接触圧)を視覚的に確認することができる。これにより、ユーザは、HMD1による操作画像を確認することで、接触と押し込みとを組み合わせた操作をより正確に行うことが可能となる。
【0110】
以上、本技術の実施形態について説明したが、本技術はこれに限定されることはなく、本技術の技術的思想に基づいて種々の変形が可能である。
【0111】
例えば、図15、16は第2の実施形態の変形例を説明する図である。情報表示装置100は、入力デバイス2のタッチセンサ22及び感圧センサ23が入力操作面21上の2箇所以上の接触位置をそれぞれ検出することが可能に構成されている。さらに、これらの指を入力操作面21へ押し込みつつ移動させることにより、画像V21、22を拡大または縮小させる、いわゆる「ピンチズーム」の操作を行うことが可能となる。
【0112】
例えば、制御部25が、感圧センサ23によって取得された接触圧を所定の閾値以上と判定した際は、「ピンチズーム」を開始する。例えば、図15(A)のように、ユーザが入力操作面21上で2本の指を押し込みつつこれらの距離を広げた場合、図15(B)のように、検出された距離及びその変化に応じて、画像V21を拡大することが可能となる。一方、図16(A)のように、ユーザが入力操作面211上で2本の指を押し込みつつこれらの距離を狭めた場合、図16(B)のように、検出された距離及びその変化に応じて、画像V22を縮小することが可能となる。
【0113】
以上のように、上記変形例によれば、入力操作面21を見ずに画像の表示領域を変化させることが可能となる。これにより、例えば画像V21が小さくて見にくい場合は、表示領域を大きくすることが容易となる。さらに、外界に注視したい場合は、画像V22を小さくすることにより、外界をより視認しやすくすることも可能となる。したがって、ユーザにとって長時間の装着でもより使用しやすい情報表示装置100を提供することが可能となる。
【0114】
また、同様の「ピンチズーム」操作によって、表示領域の拡大、縮小のみならず、画像の一部(例えば特定のコマンド等)の拡大、縮小も行うことが可能となる。
【0115】
例えば、第1の実施形態の変形例として、入力操作面21上の指の位置に対応する領域の輝度、彩度等を変化させた操作画像を形成することも可能である。この場合、「補助画像」は、輝度、彩度等を変化させた領域の画像とすることができる。
【0116】
上記変形例における情報表示装置100の具体的な動作例について説明する。例えば、制御部25は、タッチセンサ22からの検出信号に基づいて、入力操作面21上における指のxy座標位置を算出し、その情報をHMD1の制御部13へ出力する。制御部13は、その情報に基づいて、対応するXY座標位置の輝度、彩度を変化させる制御信号を生成する。
【0117】
これにより、HMD1は、指の接触位置に対応する領域と他の領域とで輝度、彩度等が異なる操作画像をユーザに提示することが可能となる。したがって、上記変形例によっても、ユーザは、HMD1によって表示された操作画像を視認することで、入力操作面上の指等の接触位置を確認することが可能となる。
【0118】
例えば、以上の実施形態において、入力デバイスがユーザが把持して使用する携帯端末等であると説明したが、これに限られない。例えば、ユーザの手首に装着される腕時計型であってもよいし、ユーザの腕に装着されるリストバンド型であってもよい。また、衣服に装着または付着する形態であってもよい。このように、本技術においては、入力操作面に対して検出対象が接触することができる機器であれば、様々な形態の入力デバイスを用いることが可能である。
【0119】
また、以上の実施形態では透過型のHMDとして説明したが、これに限られず、非透過型のHMDとすることも可能である。この場合も、ユーザは、HMDによって提示される画像を視認しつつ操作を行うことによって、入力デバイスの入力操作面を見ずとも直感に即した操作が可能となる。
【0120】
また、HMDに撮像素子を搭載し、外部を撮影可能に構成することもできる。これにより、例えば撮影した画像をHMD及び入力デバイスに表示させることも可能となる。
【0121】
以上の実施形態においては、ポインタの形状を環状の例で説明したが、勿論これに限られない。例えば、矢印、三角形、四角形、円形等の任意の形状を採用することが可能である。
【0122】
なお、本技術は以下のような構成も採ることができる。
(1)入力デバイスから出力される、入力操作面に接触する検出対象の相対位置に関する情報を含む操作信号を受信する受信部と、
ユーザに提示される画像を形成する画像表示素子と、
上記操作信号に基づき、上記画像に上記検出対象の位置を示す補助画像が重畳した操作画像を、上記画像表示素子に表示させる表示処理部と
を具備するヘッドマウントディスプレイ。
(2)上記(1)に記載のヘッドマウントディスプレイであって、
上記受信部は、上記入力デバイスから出力される画像信号をさらに受信し、
上記表示処理部は、上記画像信号に基づき、上記画像を上記画像表示素子に表示させる
ヘッドマウントディスプレイ。
(3)上記(1)または(2)に記載のヘッドマウントディスプレイであって、
上記表示処理部は、上記操作信号に基づき、上記画像の表示領域において上記補助画像を移動させる
ヘッドマウントディスプレイ。
(4)上記(1)から(3)のうちいずれか1つに記載のヘッドマウントディスプレイであって、
上記操作信号は、上記入力操作面に対する上記検出対象の接触圧に関する情報を含み、
上記表示処理部は、上記入力操作面に対する上記検出対象の接触圧に応じて上記補助画像の表示形態を変化させる
ヘッドマウントディスプレイ。
(5)上記(3)または(4)に記載のヘッドマウントディスプレイであって、
上記操作信号に基づいて、上記入力操作面上の上記検出対象の座標位置を算出する演算部をさらに具備し、
上記表示処理部は、上記演算部で算出された上記検出対象の座標位置に基づき、上記操作画像を上記画像表示素子に表示させる
ヘッドマウントディスプレイ。
(6)入力操作面と、上記入力操作面に対する検出対象の接触を検出し、上記入力操作面上の上記検出対象の座標位置に関する情報を出力するセンサ部と、を有する入力デバイスと、
ユーザに提示される画像を形成する画像表示素子と、上記センサ部の出力に基づき、上記画像に上記検出対象の位置を示す補助画像が重畳した操作画像を上記画像表示素子に形成させる表示処理部と、を有するヘッドマウントディスプレイと
を具備する情報表示装置。
(7)上記(6)に記載の情報表示装置であって、
上記入力デバイスは、
上記入力操作面に画像を表示させる表示素子をさらに有し、
上記ヘッドマウントディスプレイは、上記入力操作面に表示される画像に上記補助画像を重畳させた画像を上記操作画像として表示する
情報表示装置。
(8)上記(6)または(7)に記載の情報表示装置であって、
上記センサ部は、上記検出対象によって上記入力操作面に加えられた接触圧を検出する
情報表示装置。
(9)上記(8)に記載の情報表示装置であって、
上記ヘッドマウントディスプレイは、上記操作面からの上記検出対象の接触圧に応じて、上記補助画像の表示形態を変化させる
情報表示装置。
(10)上記(6)から(9)のうちいずれか1つに記載の情報表示装置であって、
上記センサ部は、上記入力操作面上における上記検出対象の動きを検出し、
上記ヘッドマウントディスプレイは、検出された上記検出対象の動きに応じて移動する上記補助画像を表示する
情報表示装置。
(11)入力操作面と、上記検出対象による上記入力操作面への接触を検出するセンサ部と、を有する入力デバイスと、
ユーザに提示される画像を形成する画像表示素子と、上記センサ部の出力に基づいて上記入力操作面上の上記検出対象の座標位置を算出する演算部と、上記演算部で算出された上記検出対象の座標位置に基づき、上記画像に検出対象の位置を示す補助画像が重畳した操作画像を上記画像表示素子に形成させる表示処理部と、を有するヘッドマウントディスプレイと
を具備する情報表示装置。
【符号の説明】
【0123】
1・・・HMD(ヘッドマウントディスプレイ)
2,20・・・入力デバイス
12,120・・・送受信器(受信部)
13・・・制御部(表示処理部)
131・・・演算部
132・・・表示処理部
14,140・・・画像表示素子
21,210・・・入力操作面
22,220・・・タッチセンサ(センサ部)
23,230・・・感圧センサ(センサ部)
24・・・表示素子
100・・・情報表示装置
P,P411,P412,P421,P422・・・ポインタ(補助画像)
V10,V30,V411,V412,V421,V422・・・操作画像
図1
図2
図3
図4
図5
図6
図7
図8
図9
図10
図11
図12
図13
図14
図15
図16
【手続補正書】
【提出日】2017年8月9日
【手続補正1】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項1】
入力デバイスから出力される入力操作面に接触する検出対象の位置情報を含む操作信号と、画像信号と、を受信する受信部と、
前記画像信号に基づき、ユーザの眼前に位置するように構成される画像表示素子にユーザに提示される画像を表示させ、前記操作信号が前記ユーザのピンチ操作に関する情報を含む場合に、前記ピンチ操作に応じて前記画像の表示領域の大きさ又は前記画像の一部の大きさを制御する表示処理部と
を具備する画像表示装置。
【請求項2】
請求項1に記載の画像表示装置であって、
前記画像表示素子は、前記ユーザに外界を視認させつつ、その視野領域に前記画像を提示することが可能に構成される
画像表示装置。
【請求項3】
請求項1又は2に記載の画像表示装置であって、
前記表示処理部は、前記入力操作面に接触する前記検出対象の2箇所の接触位置の距離を広げる前記ピンチ操作に関する情報を含む前記操作信号に基づいて、前記画像の表示領域の大きさ又は前記画像の一部の大きさを拡大させる
画像表示装置。
【請求項4】
請求項1〜3のいずれか1つに記載の画像表示装置であって、
前記表示処理部は、前記入力操作面に接触する前記検出対象の2箇所の接触位置の距離を縮める前記ピンチ操作に関する情報を含む前記操作信号に基づいて、前記画像の表示領域の大きさ又は前記画像の一部の大きさを縮小させる
画像表示装置。
【請求項5】
請求項1〜4のいずれか1つに記載の画像表示装置であって、
前記表示処理部は、前記操作信号に基づき、前記画像に前記検出対象の位置を示す補助画像が重畳した操作画像を、前記画像表示素子に表示させる
画像表示装置。
【請求項6】
請求項5に記載の画像表示装置であって、
前記表示処理部は、前記操作信号に基づき、前記画像の表示領域において前記補助画像を移動させる
画像表示装置
【請求項7】
請求項6に記載の画像表示装置であって、
前記画像には複数のGUIが配置され、
前記表示処理部は、前記操作信号に基づき、前記画像の表示領域において前記補助画像及び前記ユーザにより選択された前記GUIを移動させる
画像表示装置
【請求項8】
請求項5〜7のいずれか1つに記載の画像表示装置であって、
前記操作信号は、前記入力操作面に対する前記検出対象の接触圧に関する情報を含み、
前記表示処理部は、前記入力操作面に対する前記検出対象の接触圧に応じて前記補助画像の表示形態を変化させる
画像表示装置
【請求項9】
請求項8に記載の画像表示装置であって、
前記表示処理部は、前記検出対象の接触圧に応じて前記補助画像の大きさを変化させる
画像表示装置
【請求項10】
入力デバイスから出力される、入力操作面に接触する検出対象の相対位置に関する情報を含む操作信号及び画像信号を受信する受信部と、
ユーザに提示させる画像を形成する画像表示素子と、
前記画像信号に基づき、前記画像表示素子に前記画像を表示させ、前記操作信号が前記ユーザのピンチ操作に関する情報を含む場合に、前記ピンチ操作に応じて前記画像の表示領域の大きさ又は前記画像の一部の大きさを制御する表示処理部と
を具備するヘッドマウントディスプレイ。
【請求項11】
請求項10に記載のヘッドマウントディスプレイであって、
前記画像表示素子は、前記ユーザに外界を視認させつつ、その視野領域に前記画像を提示することが可能に構成される
ヘッドマウントディスプレイ。
【請求項12】
請求項11に記載のヘッドマウントディスプレイであって、
前記画像表示素子は、前記ユーザに外界を視認させつつ、その視野領域に前記画像を重畳的に提示することが可能に構成される
ヘッドマウントディスプレイ。
【請求項13】
入力操作面と、前記入力操作面に対する検出対象の接触を検出し、前記入力操作面上の前記検出対象の座標位置に関する情報を出力するセンサ部と、を有する入力デバイスと、
ユーザに提示される画像を形成する画像表示素子と、前記センサ部の出力に基づき、前記画像表示素子に前記画像を表示させ、前記入力操作面に対する前記ユーザによる前記検出対象のピンチ操作に関する情報に基づいて、前記画像の表示領域の大きさ又は画像の一部の大きさを制御する表示処理部と、を有するヘッドマウントディスプレイと
を具備する情報表示装置。
【請求項14】
請求項13に記載の情報表示装置であって、
前記入力デバイスは、前記入力操作面に画像を表示させる表示素子をさらに有し、
前記ヘッドマウントディスプレイは、前記入力操作面に表示される画像に前記検出対象の位置を示す補助画像を重畳させた操作画像を表示する
情報表示装置。
【請求項15】
請求項13又は14に記載の情報表示装置であって、
前記入力デバイスと前記ヘッドマウントディスプレイとは無線又は有線で通信可能に構成される
情報表示装置
【請求項16】
入力デバイスから出力される入力操作面に接触する検出対象の位置情報を含む操作信号と、画像信号と、を取得し、
前記画像信号に基づき、ユーザの眼前に位置するように構成される画像表示素子にユーザに提示される画像を表示させ、前記操作信号が前記ユーザのピンチ操作に関する情報を含む場合に、前記ピンチ操作に応じて前記画像の表示領域の大きさ又は前記画像の一部の大きさを制御する
表示処理方法。
【請求項17】
入力デバイスから出力される入力操作面に接触する検出対象の位置情報を含む操作信号と、画像信号と、を取得し、
前記画像信号に基づき、ユーザの眼前に位置するように構成される画像表示素子にユーザに提示される画像を表示させ、前記操作信号が前記ユーザのピンチ操作に関する情報を含む場合に、前記ピンチ操作に応じて前記画像の表示領域の大きさ又は前記画像の一部の大きさを制御する
プログラム。