特許第6248931号(P6248931)IP Force 特許公報掲載プロジェクト 2015.5.11 β版

知財求人 - 知財ポータルサイト「IP Force」

▶ ソニー株式会社の特許一覧
<>
  • 特許6248931-画像表示装置および画像表示方法 図000002
  • 特許6248931-画像表示装置および画像表示方法 図000003
  • 特許6248931-画像表示装置および画像表示方法 図000004
  • 特許6248931-画像表示装置および画像表示方法 図000005
  • 特許6248931-画像表示装置および画像表示方法 図000006
  • 特許6248931-画像表示装置および画像表示方法 図000007
  • 特許6248931-画像表示装置および画像表示方法 図000008
  • 特許6248931-画像表示装置および画像表示方法 図000009
  • 特許6248931-画像表示装置および画像表示方法 図000010
  • 特許6248931-画像表示装置および画像表示方法 図000011
  • 特許6248931-画像表示装置および画像表示方法 図000012
  • 特許6248931-画像表示装置および画像表示方法 図000013
  • 特許6248931-画像表示装置および画像表示方法 図000014
  • 特許6248931-画像表示装置および画像表示方法 図000015
< >
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】6248931
(24)【登録日】2017年12月1日
(45)【発行日】2017年12月20日
(54)【発明の名称】画像表示装置および画像表示方法
(51)【国際特許分類】
   G02B 27/02 20060101AFI20171211BHJP
   G09G 5/00 20060101ALI20171211BHJP
   G09G 5/36 20060101ALI20171211BHJP
   G09G 5/38 20060101ALI20171211BHJP
   H04N 5/64 20060101ALI20171211BHJP
【FI】
   G02B27/02 Z
   G09G5/00 550C
   G09G5/36 510V
   G09G5/38 A
   H04N5/64 511A
   G09G5/00 510D
   G09G5/00 530H
   G09G5/00 550D
【請求項の数】10
【全頁数】26
(21)【出願番号】特願2014-526871(P2014-526871)
(86)(22)【出願日】2013年7月17日
(86)【国際出願番号】JP2013069378
(87)【国際公開番号】WO2014017348
(87)【国際公開日】20140130
【審査請求日】2016年5月23日
(31)【優先権主張番号】特願2012-163324(P2012-163324)
(32)【優先日】2012年7月24日
(33)【優先権主張国】JP
(73)【特許権者】
【識別番号】000002185
【氏名又は名称】ソニー株式会社
(74)【代理人】
【識別番号】100093241
【弁理士】
【氏名又は名称】宮田 正昭
(74)【代理人】
【識別番号】100101801
【弁理士】
【氏名又は名称】山田 英治
(74)【代理人】
【識別番号】100095496
【弁理士】
【氏名又は名称】佐々木 榮二
(74)【代理人】
【識別番号】100086531
【弁理士】
【氏名又は名称】澤田 俊夫
(74)【代理人】
【識別番号】110000763
【氏名又は名称】特許業務法人大同特許事務所
(72)【発明者】
【氏名】森藤 孝文
(72)【発明者】
【氏名】緒形 昌美
【審査官】 山本 貴一
(56)【参考文献】
【文献】 特開平07−311361(JP,A)
【文献】 特開2002−328330(JP,A)
【文献】 特開2003−279882(JP,A)
【文献】 特開2005−311754(JP,A)
【文献】 特開2012−042654(JP,A)
【文献】 国際公開第2009/066475(WO,A1)
【文献】 米国特許出願公開第2012/0068913(US,A1)
(58)【調査した分野】(Int.Cl.,DB名)
G02B 27/01,27/02,27/22
G09G 3/20,3/36,5/00,5/38
H04N 5/64,13/04
Scopus
(57)【特許請求の範囲】
【請求項1】
第1のセンサ出力による観察者眼の眼球位置の推定結果に基づいて表示素子に表示された画像を上記観察者眼に導く光学系の上記観察者眼に対する第1の位置ずれを求め、第2のセンサ出力による上記光学系の傾きの推定結果に基づいて上記第1の位置ずれを補正して第2の位置ずれを求める位置関係検出部と、
上記位置関係検出部で求められた上記第2の位置ずれに基づいて、上記光学系と上記観察者眼の位置関係を補正する位置関係補正部とを備える
画像表示装置。
【請求項2】
上記位置関係補正部は、
上記位置関係検出部で求められた上記第2の位置ずれに基づいて、上記表示素子に表示される画像の表示位置をシフトする
請求項1に記載の画像表示装置。
【請求項3】
上記位置関係補正部は、
上記位置関係検出部で求められた上記第2の位置ずれに基づいて、上記光学系を移動させる
請求項1に記載の画像表示装置。
【請求項4】
上記位置関係補正部は、
上記位置関係検出部で求められた上記第2の位置ずれを観察者に提示する位置関係提示部と、
上記観察者の操作に応じて、上記光学系と上記観察者眼の位置関係を制御する制御部と
を有する
請求項1に記載の画像表示装置。
【請求項5】
上記制御部は、
上記観察者の操作に応じて、上記表示素子に表示される画像の表示位置のシフト制御を行う
請求項4に記載の画像表示装置。
【請求項6】
上記制御部は、
上記観察者の操作に応じて、上記光学系の移動制御を行う
請求項4に記載の画像表示装置。
【請求項7】
上記位置関係提示部は、
上記表示素子に、上記位置関係検出部で求められた上記第2の位置ずれを表示す
請求項4に記載の画像表示装置。
【請求項8】
上記表示素子に表示された画像を上記観察者眼に導く光学系を更に備える
請求項1に記載の画像表示装置。
【請求項9】
上記光学系として、表示素子に表示された左眼画像を観察者の左眼に導く第1の光学系と、表示素子に表示された右眼画像を観察者の右眼に導く第2の光学系が存在する
請求項に記載の画像表示装置。
【請求項10】
第1のセンサ出力による観察者眼の眼球位置の推定結果に基づいて表示素子に表示された画像を上記観察者眼に導く光学系の上記観察者眼に対する第1の位置ずれを求め、第2のセンサ出力による上記光学系の傾きの推定結果に基づいて上記第1の位置ずれを補正して第2の位置ずれを求める位置関係検出ステップと、
上記位置関係検出ステップ求められた上記第2の位置ずれに基づいて、上記光学系と上記観察者眼の位置関係を補正する位置関係補正ステップを有す
画像表示方法。
【発明の詳細な説明】
【技術分野】
【0001】
本技術は、画像表示装置および画像表示方法に関し、特に、表示素子に表示された画像を拡大光学系によって観察者眼に導くように構成されたヘッドマウントディスプレイなどの画像表示装置等に関する。
【背景技術】
【0002】
近年、使用者の頭部に装着されるヘッドマウントディスプレイ(HMD:Head-Mounted Display)が知られている。このヘッドマウントディスプレイは、原理的には、小型の表示素子に表示された画像を、拡大光学系で拡大して、観察者眼に導く構成である。つまり、ヘッドマウントディスプレイは、表示素子に表示された画像を光学的に拡大し、拡大された虚像として使用者に観察させるように構成されている。
【0003】
この種のヘッドマウントディスプレイでは、例えば、図14(a)に示すように、光学系の中心と観察者眼の位置にずれが生じた場合、快適な画像観察に映像を及ぼす。この場合、例えば、ずれ量に応じて、色ずれが発生したり、コントラストが低下したり、画像歪が発生したりする。なお、図14(b)は、光学系の中心と観察者眼の位置にずれがない場合を示している。
【0004】
例えば、特許文献1には、光学系を移動可能に構成し、観察者が光学系を手動で移動調整して観察者眼と光学系の位置ずれを補正し得るヘッドマウントディスプレイが提案されている。
【先行技術文献】
【特許文献】
【0005】
【特許文献1】特開2009−116196号公報
【発明の概要】
【発明が解決しようとする課題】
【0006】
上述の特許文献1に記載される補正技術にあっては、観察者は、観察者眼と光学系の位置ずれがどの程度であるかを正確に知る手段がなく、光学系の位置を最適な位置に移動調整することが困難であった。
【0007】
本技術の目的は、光学系と観察者眼の位置ずれの補正を適切に行い得るようにすることにある。
【課題を解決するための手段】
【0008】
本技術の概念は、
観察者眼の眼球位置に基づいて、表示素子に表示された画像を上記観察者眼に導く光学系と上記観察者眼の位置関係を検出する位置関係検出部と、
上記位置関係検出部で検出された位置関係に基づいて、上記光学系と上記観察者眼の位置関係を補正する位置関係補正部とを備える
画像表示装置にある。
【0009】
本技術においては、位置関係検出部により、表示素子に表示された画像を上記観察者眼に導く光学系と観察者眼の位置関係が検出される。表示素子に表示された画像が、光学系により、観察者眼に導かれる。これにより、表示素子に表示された画像は、光学的に拡大され、拡大された虚像として観察者に観察される。例えば、光学系として、表示素子に表示された左眼画像を観察者の左眼に導く第1の光学系と、表示素子に表示された右眼画像を観察者の右眼に導く第2の光学系が存在する、ようにされてもよい。例えば、表示素子に表示された画像を観察者眼に導く光学系を更に備える、ようにされてもよい。
【0010】
例えば、観察者眼の眼球位置を推定する眼球位置推定部を更に備え、位置関係検出部は、この眼球位置推定部により推定された眼球位置に基づいて、光学系と観察者眼の位置関係を検出する、ようにされてもよい。この眼球位置の推定は、例えば、強膜反射法、EOG(Electro-Oculogram)法、顔認識技術の応用などにより行う、ようにされてもよい。位置関係検出部により、推定された眼球位置に基づいて、光学系と観察者眼の位置関係が検出される。
【0011】
位置関係補正部により、位置関係検出部で検出された位置関係に基づいて、光学系と観察者眼の位置関係が補正される。例えば、位置関係補正部は、位置関係検出部で検出された位置関係に基づいて、表示素子に表示される画像の表示位置をシフトする、ようにされてもよい。また、例えば、位置関係補正部は、位置関係検出部で検出された位置関係に基づいて、光学系を移動させる、ようにされてもよい。
【0012】
また、例えば、位置関係補正部は、位置関係検出部で検出された位置関係を観察者に提示する位置関係提示部と、観察者の操作に応じて、光学系と観察者眼の位置関係を制御する制御部とを有する、ようにされてもよい。
【0013】
例えば、この場合、制御部は、観察者の操作に応じて、表示素子に表示される画像の表示位置のシフト制御を行う、ようにされてもよい。また、例えば、この場合、制御部は、観察者の操作に応じて、光学系の移動制御を行う、ようにされてもよい。
【0014】
また、例えば、この場合、位置関係提示部は、表示素子に、位置関係検出部で検出された位置関係を表示する、ようにされてもよい。この場合、例えば、光学系と観察者眼のずれがゲージや文字等により表示されてもよい。また、この際、ずれを小さくするための、例えばリモコン装置の操作方法を表示する、ようにされてもよい。なお、この位置関係の表示を、上述の表示素子とは別個の表示素子に表示するようにされてもよい。また、この位置関係の提示を、音声、振動、さらには発光の強弱によって行う、ようにされてもよい。
【0015】
このように本技術においては、光学系と観察者眼の位置関係の検出結果に基づいて、光学系と観察者眼の位置ずれが補正される。そのため、光学系と観察者眼の位置ずれの補正を適切に行うことが可能となる。
【0016】
なお、本技術において、例えば、光学系の傾きを推定する傾き推定部をさらに備え、位置関係検出部は、推定された眼球位置と共に、推定された傾きに基づいて、光学系と観察者眼の位置関係を検出する、ようにされてもよい。この場合、光学系が傾いている場合にあっても、光学系と観察者眼の位置関係を精度よく検出でき、光学系と観察者眼の位置ずれの補正を適切に行うことが可能となる。
【発明の効果】
【0017】
本技術によれば、光学系と観察者眼の位置ずれの補正を適切に行うことができる。
【図面の簡単な説明】
【0018】
図1】第1の実施の形態としての光学透過のヘッドマウントディスプレイ(両眼)の概略的な構成例を示す図である。
図2】光学系と眼球との位置関係の一例を示す図である。
図3】光学系と眼球との位置関係の他の例を示す図である。
図4】左眼画像、右眼画像の表示位置のシフト制御を概略的に示す図である。
図5】第2の実施の形態としての光学透過のヘッドマウントディスプレイ(両眼)の概略的な構成例を示す図である。
図6】第3の実施の形態としての光学透過のヘッドマウントディスプレイ(両眼)の概略的な構成例を示す図である。
図7】OSD表示の一例を示す図である。
図8】第4の実施の形態としての光学透過のヘッドマウントディスプレイ(両眼)の概略的な構成例を示す図である。
図9】第5の実施の形態としての光学透過のヘッドマウントディスプレイ(単眼)の概略的な構成例を示す図である。
図10】第6の実施の形態としての光学透過のヘッドマウントディスプレイ(単眼)の概略的な構成例を示す図である。
図11】第7の実施の形態としての光学透過のヘッドマウントディスプレイ(単眼)の概略的な構成例を示す図である。
図12】第8の実施の形態としての光学透過のヘッドマウントディスプレイ(単眼)の概略的な構成例を示す図である。
図13】赤外線センサの取り付け例を示す図である。
図14】従来のヘッドマウントディスプレイを説明するための図である。
【発明を実施するための形態】
【0019】
以下、発明を実施するための形態(以下、「実施の形態」とする)について説明する。なお、説明を以下の順序で行う。
1.第1の実施の形態
2.第2の実施の形態
3.第3の実施の形態
4.第4の実施の形態
5.第5の実施の形態
6.第6の実施の形態
7.第7の実施の形態
8.第8の実施の形態
9.変形例
【0020】
<1.第1の実施の形態>
[ヘッドマウントディスプレイ(両眼)の構成例]
図1は、第1の実施の形態としての光学透過のヘッドマウントディスプレイ(HMD)100の概略的な構成例を示している。この構成例は両眼HMDである。このHMD100は、左側のメガネレンズ部101Lと、右側のメガネレンズ部101Rを有している。メガネレンズ部101Lとメガネレンズ部101Rは、接続部材102により一体的に接続されている。
【0021】
メガネレンズ部101L,101Rは、それぞれ、メガネレンズとHOE(Holographic Optical Element)シートとが一体化されたものである。このHOEシートは、外界光と表示光とを合成するハーフミラーのような機能と、表示画像を拡大する凹面や自由曲面の機能を併せ持っている。
【0022】
メガネレンズ部101L,101Rに、それぞれ、赤外線センサ103L,103Rが取り付けられている。この場合、赤外線センサ103Lは、メガネレンズ部101Lの水平方向の中心位置(左眼光学系の水平方向の中心位置)に取り付けられている。また、赤外線センサ103Rは、メガネレンズ部101Rの水平方向の中心位置(右眼光学系の水平方向の中心位置)に取り付けられている。また、メガネレンズ部101Lに、メガネレンズ部101L,101Rを含む光学系の傾きを検出するためのジャイロセンサ104が取り付けられている。
【0023】
赤外線センサ103L,103Rのセンサ出力は、強膜反射法による眼球位置推定のために使用される。強膜反射法は、角膜(黒目)と強膜(白目)においての反射率が異なることを利用した手法である。この場合、赤外線センサは、観察者眼側に照射する微弱赤外線を水平方向にスキャンし、その反射光を検出する。角膜(黒目)と強膜(白目)における反射光の強さが大きく異なるので、センサ出力から観察者の眼球位置を推定することが可能となる。
【0024】
また、HMD100は、画像補正部111と、ディスプレイドライバ112L,112Rと、ディスプレイ113L,113Rと、眼球位置推定部114と、傾き推定部115と、表示制御部116を有している。
【0025】
ディスプレイ113Lは、表示素子を構成し、左眼画像を表示する。このディスプレイ113Lは、例えばLCD(Liquid Crystal Display)により構成され、ディスプレイドライバ112Lにより駆動されて、立体画像を構成する左眼画像を表示する。また、ディスプレイ113Rは、表示素子を構成し、右眼画像を表示する。このディスプレイ113Rは、例えばLCD(Liquid Crystal Display)により構成され、ディスプレイドライバ112Rにより駆動されて、立体画像を構成する右眼画像を表示する。
【0026】
眼球位置推定部114は、赤外線センサ103L,103Rからのセンサ出力に基づいて、観察者の左眼、右眼の眼球位置を推定する。この場合、眼球位置推定部114は、赤外線センサ103Lのセンサ出力のレベルに基づいて、角膜(黒目)スキャン時の角度ωLを、左眼の眼球位置の推定結果とする。また、この場合、眼球位置推定部114は、赤外線センサ103Rのセンサ出力のレベルに基づいて、角膜(黒目)スキャン時の角度ωRを、右眼の眼球位置の推定結果とする。
【0027】
傾き推定部115は、ジャイロセンサ104のセンサ出力に基づいて、メガネレンズ部101L,101Rを含む光学系の水平方向に対する傾きθを推定する。表示制御部116は、左眼、右眼の眼球位置推定結果および光学系の傾き推定結果に基づいて、左眼光学系と左眼との位置関係を検出すると共に、右眼光学系と右眼との位置関係を検出する。
【0028】
すなわち、表示制御部116は、左眼の眼球位置の推定結果である角度ωLに基づいて左眼光学系の観察者の左眼に対する位置ずれdLを求め、右眼の眼球位置の推定結果である角度ωRに基づいて右眼光学系の観察者の右眼に対する位置ずれdRを求める。そして、表示制御部116は、このように求められた位置ずれdL,dRと、既知である赤外線センサ103L,103Rのセンサ間距離dsに基づいて、両眼間隔deを算出する。
【0029】
図2は、光学系と眼球との位置関係の一例を示している。この例の場合、両眼間隔dsは、以下の数式(1)に示すように表される。
de=ds−dL−dR ・・・(1)
【0030】
なお、図2の例は、光学系の傾きθが0である場合を示している。しかし、光学系の傾きθが0でない場合もある。その場合、表示制御部116は、このように求められた位置ずれdL,dRと、既知である赤外線センサ103L,103Rのセンサ間距離dsと、さらに傾きθに基づいて、両眼間隔deを算出する。
【0031】
図3は、その場合における光学系と眼球との位置関係の一例を示している。この例の場合、両眼間隔deは、以下の数式(2)に示すように表される。このように傾きθを考慮することで、両眼間隔deを精度よく取得することが可能となる。
de=ds/cosθ−dL/cosθ+dR/cosθ
=(ds−dL+dR)/cosθ ・・・(2)
【0032】
表示制御部116は、両眼間隔deに基づいて、左眼画像、右眼画像の表示位置を、水平方向の互いに逆方向にシフト制御する。つまり、表示制御部116は、画像を操作し、電子的に光学系を移動させることにより、自動で光学系と観察者の眼球位置の位置ずれを補正する。
【0033】
表示制御部116は、両眼間隔deと、傾きθを考慮したセンサ間距離ds・cosθとの差s(de−ds・cosθ)に応じて、左眼画像、右眼画像の表示位置をシフトさせる。図4は、左眼画像、右眼画像の表示位置のシフト制御を概略的に示している。S=0である場合には、図4(a)に示すように、左眼画像、右眼画像の水平方向へのシフト量は0とされる。
【0034】
また、S>0である場合には、図4(b)に示すように、左眼画像、右眼画像の水平方向へのシフト量はそれぞれs/2とされ、表示位置が互いに離れるようにされる。また、S<0である場合には、図4(c)に示すように、左眼画像、右眼画像の水平方向へのシフト量はそれぞれ|s|/2とされ、表示位置が互いに近づくようにされる。
【0035】
図1に戻って、画像補正部111は、立体(3D)画像を表示するための左眼画像データ、右眼画像データに対して、表示制御部116の制御のもと、表示位置をシフトさせるための画像補正処理を行う。画像補正部111は、補正後の左眼画像データをディスプレイドライバ112Lに供給し、補正後の右眼画像データをディスプレイドライバ112Rに供給する。
【0036】
[位置ずれ補正時の動作]
図1に示すHMD100における光学系と観察者眼の位置ずれ補正時の動作を説明する。この位置ずれ補正時には、例えば、テスト用の左眼画像データおよび右眼画像データが使用される。
【0037】
左眼画像データは、画像補正部111を介してディスプレイドライバ112Lに供給される。このディスプレイドライバ112Lによりディスプレイ113Lが駆動され、このディスプレイ113Lに左眼画像が表示される。同様に、右眼画像データは、画像補正部111を介してディスプレイドライバ112Rに供給される。このディスプレイドライバ112Rによりディスプレイ113Rが駆動され、このディスプレイ113Rに右眼画像が表示される。
【0038】
ディスプレイ113Lに表示された左眼画像からの光は、メガネレンズ部101Lで反射されて観察者の左眼に届く。これにより、ディスプレイ113Lに表示された左眼画像は、メガネレンズ部101Lで光学的に拡大され、拡大された虚像として、観察者の左眼で観察される。同様に、ディスプレイ113Rに表示された右眼画像からの光は、メガネレンズ部101Rで反射されて観察者の右眼に届く。これにより、ディスプレイ113Rに表示された右眼画像は、メガネレンズ部101Rで光学的に拡大され、拡大された虚像として、観察者の右眼で観察される。このように観察者の左眼、右眼にそれぞれ左眼画像、右眼画像が観察されることで、観察者には拡大された立体(3D)画像が知覚される。
【0039】
この画像表示状態で、メガネレンズ部101Lの水平方向の中心位置(左眼光学系の水平方向の中心位置)に取り付けられている赤外線センサ103Lから観察者眼側に微弱赤外線が照射されて水平方向にスキャンされる。また、この画像表示状態で、メガネレンズ部101Rの水平方向の中心位置(右眼光学系の水平方向の中心位置)に取り付けられている赤外線センサ103Rから観察者眼側に微弱赤外線が照射されて水平方向にスキャンされる。
【0040】
赤外線センサ103L,103Rのセンサ出力はそれぞれ眼球位置推定部114に供給される。この眼球位置推定部114では、赤外線センサ103L,103Rからのセンサ出力に基づいて、観察者の左眼、右眼の眼球位置が推定される。この眼球位置推定部114からは、左眼、右眼の眼球位置の推定結果として、角膜(黒目)スキャン時の角度ωL,ωRが出力される(図2図3参照)。
【0041】
また、メガネレンズ部101Lに取り付けられているジャイロセンサ104のセンサ出力は傾き推定部115に供給される。この傾き推定部115では、ジャイロセンサ104のセンサ出力に基づいて、メガネレンズ部101L,101Rを含む光学系の水平方向に対する傾きθが推定される(図3参照)。
【0042】
眼球位置推定部114の推定結果である角度ωL,ωRは表示制御部116に供給される。また、傾き推定部115の推定結果である傾きθは表示制御部116に供給される。表示制御部116では、左眼、右眼の眼球位置推定結果および光学系の傾き推定結果に基づいて、左眼光学系の観察者の左眼に対する位置ずれdLと、右眼光学系の観察者の右眼に対する位置ずれdRが求められる(図2図3参照)。
【0043】
表示制御部116では、位置ずれdL,dRと、既知である赤外線センサ103L,103Rのセンサ間距離dsと、さらに傾きθに基づいて、両眼間隔deが算出される((2)式参照)。この場合、傾きθが考慮されることで、両眼間隔deが高い精度で求められる。
【0044】
そして、表示制御部116により、画像補正部111が制御され、ディスプレイ113L,113Rに表示される左眼画像、右眼画像の表示位置がシフト制御される。この場合、両眼間隔deと、傾きθを考慮したセンサ間距離ds・cosθとの差s(de−ds・cosθ)に応じて、その差sが0となるように制御される。これにより、観察者の左眼に左眼画像の水平方向の中心が一致するようにされ、観察者の右眼に右眼画像の水平方向の中心が一致するようにされ、光学系と観察者眼の位置ずれが補正される。
【0045】
上述したように、図1に示すHMD100においては、光学系と観察者眼の位置関係の検出結果に基づいて、左眼画像、右眼画像の表示位置がシフト制御され、光学系と観察者眼の位置ずれが電子的に補正される。そのため、光学系と観察者眼の位置ずれの補正を適切に行うことができる。
【0046】
<2.第2の実施の形態>
[ヘッドマウントディスプレイ(両眼)の構成例]
図5は、第2の実施の形態としての光学透過のヘッドマウントディスプレイ(HMD)100Aの概略的な構成例を示している。この構成例は両眼HMDである。この図5において、図1と対応する部分には同一符号を付し、適宜、その詳細説明は省略する。
【0047】
このHMD100Aは、左側のメガネレンズ部101Lと、右側のメガネレンズ部101Rを有している。メガネレンズ部101Lとメガネレンズ部101Rは、光学系調整機構122によりにより接続されている。この光学系調整機構122は、左右の光学系の間隔、つまり左眼光学系を構成するメガネレンズ部101Lと、右眼光学系を構成するメガネレンズ部101Rの間隔を伸縮する。
【0048】
メガネレンズ部101L,101Rに、それぞれ、赤外線センサ103L,103Rが取り付けられている。また、メガネレンズ部101Lに、メガネレンズ部101L,101Rを含む光学系の傾きを検出するためのジャイロセンサ104が取り付けられている。赤外線センサ103L,103Rのセンサ出力は、強膜反射法による眼球位置推定のために使用される。
【0049】
また、HMD100Aは、ディスプレイドライバ112L,112Rと、ディスプレイ113L,113Rと、眼球位置推定部114と、傾き推定部115と、表示制御部116Aと、光学系位置補正部117を有している。ディスプレイ113Lは、ディスプレイドライバ112Lにより駆動されて、立体画像を構成する左眼画像を表示する。また、ディスプレイ113Rは、ディスプレイドライバ112Rにより駆動されて、立体画像を構成する右眼画像を表示する。
【0050】
眼球位置推定部114は、赤外線センサ103L,103Rからのセンサ出力に基づいて、観察者の左眼、右眼の眼球位置を推定し、角膜(黒目)スキャン時の角度ωL,ωRを、眼球位置の推定結果として出力する(図2図3参照)。傾き推定部115は、ジャイロセンサ104のセンサ出力に基づいて、メガネレンズ部101L,101Rを含む光学系の水平方向に対する傾きθを推定結果として出力する(図3参照)。
【0051】
表示制御部116Aは、角度ωLに基づいて左眼光学系の観察者の左眼に対する位置ずれdLを求め、角度ωRに基づいて右眼光学系の観察者の右眼に対する位置ずれdRを求める。表示制御部116Aは、この位置ずれdL,dRと、既知である赤外線センサ103L,103Rのセンサ間距離dsと、さらに傾きθに基づいて、両眼間隔deを算出する((2)式参照)。
【0052】
そして、表示制御部116Aは、両眼間隔deと、傾きθを考慮したセンサ間距離ds・cosθとの差s(de−ds・cosθ)に応じて、左眼光学系、右眼光学系の位置を、水平方向の互いに逆方向にシフト制御する。つまり、表示制御部116Aは、機械的に光学系を移動させることにより、自動で光学系と観察者の眼球位置の位置ずれを補正する。このシフト制御は、上述した左眼画像、右眼画像の表示位置のシフト制御と同様である(図4参照)。
【0053】
光学系位置補正部117は、表示制御部116Aの制御のもと、光学系位置を補正する。すなわち、光学系位置補正部117は、光学系調整機構122の伸縮を調整し、メガネレンズ部101Lとメガネレンズ部101Rの水平方向位置を調整する。また、これに伴って、光学系位置補正部117は、ディスプレイ113L,113Rの位置も調整する。
【0054】
[位置ずれ補正時の動作]
図5に示すHMD100Aにおける光学系と観察者眼の位置ずれ補正時の動作を説明する。この位置ずれ補正時には、例えば、テスト用の左眼画像データおよび右眼画像データが使用される。
【0055】
左眼画像データはディスプレイドライバ112Lに供給される。このディスプレイドライバ112Lによりディスプレイ113Lが駆動され、このディスプレイ113Lに左眼画像が表示される。同様に、右眼画像データはディスプレイドライバ112Rに供給される。このディスプレイドライバ112Rによりディスプレイ113Rが駆動され、このディスプレイ113Rに右眼画像が表示される。
【0056】
ディスプレイ113Lに表示された左眼画像からの光は、メガネレンズ部101Lで反射されて観察者の左眼に届く。これにより、ディスプレイ113Lに表示された左眼画像は、メガネレンズ部101Lで光学的に拡大され、拡大された虚像として、観察者の左眼で観察される。同様に、ディスプレイ113Rに表示された右眼画像からの光は、メガネレンズ部101Rで反射されて観察者の右眼に届く。これにより、ディスプレイ113Rに表示された右眼画像は、メガネレンズ部101Rで光学的に拡大され、拡大された虚像として、観察者の右眼で観察される。このように観察者の左眼、右眼にそれぞれ左眼画像、右眼画像が観察されることで、観察者には拡大された立体(3D)画像が知覚される。
【0057】
この画像表示状態で、メガネレンズ部101Lの水平方向の中心位置(左眼光学系の水平方向の中心位置)に取り付けられている赤外線センサ103Lから観察者眼側に微弱赤外線が照射されて水平方向にスキャンされる。また、この画像表示状態で、メガネレンズ部101Rの水平方向の中心位置(右眼光学系の水平方向の中心位置)に取り付けられている赤外線センサ103Rから観察者眼側に微弱赤外線が照射されて水平方向にスキャンされる。
【0058】
赤外線センサ103L,103Rのセンサ出力はそれぞれ眼球位置推定部114に供給される。この眼球位置推定部114では、赤外線センサ103L,103Rからのセンサ出力に基づいて、観察者の左眼、右眼の眼球位置が推定される。この眼球位置推定部114からは、左眼、右眼の眼球位置の推定結果として、角膜(黒目)スキャン時の角度ωL,ωRが出力される(図2図3参照)。
【0059】
また、メガネレンズ部101Lに取り付けられているジャイロセンサ104のセンサ出力は傾き推定部115に供給される。この傾き推定部115では、ジャイロセンサ104のセンサ出力に基づいて、メガネレンズ部101L,101Rを含む光学系の水平方向に対する傾きθが推定される(図3参照)。
【0060】
眼球位置推定部114の推定結果である角度ωL,ωRは表示制御部116Aに供給される。また、傾き推定部115の推定結果である傾きθは表示制御部116Aに供給される。表示制御部116Aでは、左眼、右眼の眼球位置推定結果および光学系の傾き推定結果に基づいて、左眼光学系の観察者の左眼に対する位置ずれdLと、右眼光学系の観察者の右眼に対する位置ずれdRが求められる(図2図3参照)。
【0061】
表示制御部116Aでは、位置ずれdL,dRと、既知である赤外線センサ103L,103Rのセンサ間距離dsと、さらに傾きθに基づいて、両眼間隔deが算出される((2)式参照)。この場合、傾きθが考慮されることで、両眼間隔deが高い精度で求められる。
【0062】
そして、表示制御部116Aにより、光学系位置補正部117が制御され、左眼光学系、右眼光学系の位置、つまりメガネレンズ部101L,101Rの位置およびディスプレイ113L,113Rの位置がシフト制御される。この場合、両眼間隔deと、傾きθを考慮したセンサ間距離ds・cosθとの差s(de−ds・cosθ)に応じて、その差sが0となるように制御される。これにより、観察者の左眼に左眼光学系の水平方向の中心が一致するようにされ、観察者の右眼に右眼光学系の水平方向の中心が一致するようにされ、光学系と観察者眼の位置ずれが補正される。
【0063】
上述したように、図5に示すHMD100Aにおいては、光学系と観察者眼の位置関係の検出結果に基づいて、左眼光学系、右眼光学系の位置がシフト制御され、光学系と観察者眼の位置ずれが機械的に補正される。そのため、光学系と観察者眼の位置ずれの補正を適切に行うことができる。
【0064】
<3.第3の実施の形態>
[ヘッドマウントディスプレイ(両眼)の構成例]
図6は、第3の実施の形態としての光学透過のヘッドマウントディスプレイ(HMD)100Bの概略的な構成例を示している。この構成例は両眼HMDである。この図6において、図1と対応する部分には同一符号を付し、適宜、その詳細説明は省略する。このHMD100Bは、左側のメガネレンズ部101Lと、右側のメガネレンズ部101Rを有している。メガネレンズ部101Lとメガネレンズ部101Rは、接続部材102により一体的に接続されている。
【0065】
メガネレンズ部101L,101Rに、それぞれ、赤外線センサ103L,103Rが取り付けられている。また、メガネレンズ部101Lに、メガネレンズ部101L,101Rを含む光学系の傾きを検出するためのジャイロセンサ104が取り付けられている。赤外線センサ103L,103Rのセンサ出力は、強膜反射法による眼球位置推定のために使用される。
【0066】
また、HMD100Bは、ディスプレイドライバ112L,112Rと、ディスプレイ113L,113Rと、眼球位置推定部114と、傾き推定部115と、表示制御部116Bと、画像補正部111と、OSD重畳部118を有している。ディスプレイ113Lは、ディスプレイドライバ112Lにより駆動されて、立体画像を構成する左眼画像を表示する。また、ディスプレイ113Rは、ディスプレイドライバ112Rにより駆動されて、立体画像を構成する右眼画像を表示する。
【0067】
眼球位置推定部114は、赤外線センサ103L,103Rからのセンサ出力に基づいて、観察者の左眼、右眼の眼球位置を推定し、角膜(黒目)スキャン時の角度ωL,ωRを、眼球位置の推定結果として出力する(図2図3参照)。傾き推定部115は、ジャイロセンサ104のセンサ出力に基づいて、メガネレンズ部101L,101Rを含む光学系の水平方向に対する傾きθを推定結果として出力する(図3参照)。
【0068】
表示制御部116Bは、角度ωLに基づいて左眼光学系の観察者の左眼に対する位置ずれdLを求め、角度ωRに基づいて右眼光学系の観察者の右眼に対する位置ずれdRを求める。表示制御部116Bは、この位置ずれdL,dRと、既知である赤外線センサ103L,103Rのセンサ間距離dsと、さらに傾きθに基づいて、両眼間隔deを算出する((2)式参照)。
【0069】
そして、表示制御部116Bは、両眼間隔deと、傾きθを考慮したセンサ間距離ds・cosθとの差s(de−ds・cosθ)に応じて、この差sのOSD表示、あるいは、この差sを補正する操作をユーザに促すためのOSD表示を行う。図7は、OSD表示の一例を示している。図7(a)は、差s(位置ずれの量)を示すゲージを表示する例であって、ゲージを画面左端側に表示したものである。
【0070】
図7(b)も、差s(位置ずれの量)を示すゲージを表示する例であって、ゲージを画面上端側に表示したものである。図7(c)も差s(位置ずれの量)を示すゲージを表示する例であって、ゲージを画面中央に表示したものである。ゲージを画面中央に表示することで、観察者がゲージ自体に注目して視線がずれることを防止できる。図7(d)、(e)は、差s(位置ずれの量)を示す文字を表示する例である。また、図7(f)は、差sを補正する操作をユーザに促すためのOSD表示の例を示しており、矢印Pで示すように、ユーザが操作すべきリモコン装置の操作ボタン(操作箇所)が示されている。なお、ゲージの表示、文字の表示、リモコン装置の操作ボタンの表示などを適宜組み合わせて表示することも考えられる。
【0071】
また、表示制御部116Bは、ユーザ操作取得部119で取得されたユーザ操作に基づいて、左眼画像、右眼画像の表示位置をシフトさせる。なお、この場合、ユーザは、上述したように、差sのOSD表示、あるいは、この差sを補正する操作をユーザに促すためのOSD表示に基づいて、差sが0となるように、補正操作を行うことになる。
【0072】
画像補正部111は、立体(3D)画像を表示するための左眼画像データ、右眼画像データに対して、表示制御部116Bの制御のもと、表示位置をシフトさせるための画像補正処理を行う。画像補正部111は、OSD重畳部118を介して、補正後の左眼画像データをディスプレイドライバ112Lに供給し、補正後の右眼画像データをディスプレイドライバ112Rに供給する。OSD重畳部118は、表示制御部116Bから出力されるOSD表示用の表示信号を、左眼画像データ、右眼画像データに重畳する。
【0073】
[位置ずれ補正時の動作]
図6に示すHMD100Bにおける光学系と観察者眼の位置ずれ補正時の動作を説明する。この位置ずれ補正時には、例えば、テスト用の左眼画像データおよび右眼画像データが使用される。
【0074】
左眼画像データは、画像補正部111を介してディスプレイドライバ112Lに供給される。このディスプレイドライバ112Lによりディスプレイ113Lが駆動され、このディスプレイ113Lに左眼画像が表示される。同様に、右眼画像データは、画像補正部111を介してディスプレイドライバ112Rに供給される。このディスプレイドライバ112Rによりディスプレイ113Rが駆動され、このディスプレイ113Rに右眼画像が表示される。
【0075】
ディスプレイ113Lに表示された左眼画像からの光は、メガネレンズ部101Lで反射されて観察者の左眼に届く。これにより、ディスプレイ113Lに表示された左眼画像は、メガネレンズ部101Lで光学的に拡大され、拡大された虚像として、観察者の左眼で観察される。同様に、ディスプレイ113Rに表示された右眼画像からの光は、メガネレンズ部101Rで反射されて観察者の右眼に届く。これにより、ディスプレイ113Rに表示された右眼画像は、メガネレンズ部101Rで光学的に拡大され、拡大された虚像として、観察者の右眼で観察される。このように観察者の左眼、右眼にそれぞれ左眼画像、右眼画像が観察されることで、観察者には拡大された立体(3D)画像が知覚される。
【0076】
この画像表示状態で、メガネレンズ部101Lの水平方向の中心位置(左眼光学系の水平方向の中心位置)に取り付けられている赤外線センサ103Lから観察者眼側に微弱赤外線が照射されて水平方向にスキャンされる。また、この画像表示状態で、メガネレンズ部101Rの水平方向の中心位置(右眼光学系の水平方向の中心位置)に取り付けられている赤外線センサ103Rから観察者眼側に微弱赤外線が照射されて水平方向にスキャンされる。
【0077】
赤外線センサ103L,103Rのセンサ出力はそれぞれ眼球位置推定部114に供給される。この眼球位置推定部114では、赤外線センサ103L,103Rからのセンサ出力に基づいて、観察者の左眼、右眼の眼球位置が推定される。この眼球位置推定部114からは、左眼、右眼の眼球位置の推定結果として、角膜(黒目)スキャン時の角度ωL,ωRが出力される(図2図3参照)。
【0078】
また、メガネレンズ部101Lに取り付けられているジャイロセンサ104のセンサ出力は傾き推定部115に供給される。この傾き推定部115では、ジャイロセンサ104のセンサ出力に基づいて、メガネレンズ部101L,101Rを含む光学系の水平方向に対する傾きθが推定される(図3参照)。
【0079】
眼球位置推定部114の推定結果である角度ωL,ωRは表示制御部116Bに供給される。また、傾き推定部115の推定結果である傾きθは表示制御部116Bに供給される。表示制御部116Bでは、左眼、右眼の眼球位置推定結果および光学系の傾き推定結果に基づいて、左眼光学系の観察者の左眼に対する位置ずれdLと、右眼光学系の観察者の右眼に対する位置ずれdRが求められる(図2図3参照)。
【0080】
表示制御部116Bでは、位置ずれdL,dRと、既知である赤外線センサ103L,103Rのセンサ間距離dsと、さらに傾きθに基づいて、両眼間隔deが算出される((2)式参照)。この場合、傾きθが考慮されることで、両眼間隔deが高い精度で求められる。
【0081】
そして、表示制御部116Bからは、両眼間隔deと、傾きθを考慮したセンサ間距離ds・cosθとの差s(de−ds・cosθ)が求められ、この差sのOSD表示、あるいは、この差sを補正する操作をユーザに促すためのOSD表示のための表示信号が出力される。この表示信号は、OSD重畳部118に供給され、左眼画像データ、右眼画像データに重畳される。これにより、ディスプレイ113L,113Rに、OSD表示される。
【0082】
観察者により、このOSD表示に基づいて、差sが0となるように、補正操作が行われる。ユーザ操作取得部119は、このユーザ操作を取得し、表示制御部116Bに送る。この補正操作に基づいて、表示制御部116Bにより、画像補正部111が制御され、ディスプレイ113L,113Rに表示される左眼画像、右眼画像の表示位置がシフト制御される。これにより、観察者の左眼に左眼画像の水平方向の中心が一致するようにされ、観察者の右眼に右眼画像の水平方向の中心が一致するようにされ、光学系と観察者眼の位置ずれが補正される。
【0083】
上述したように、図6に示すHMD100Bにおいては、光学系と観察者眼の位置関係の検出結果に基づいて、光学系と観察者眼の位置ずれがOSD表示される。このOSD表示に基づいて、観察者により、位置ずれをなくすように補正操作が行われる。そして、この補正操作に応じて、左眼画像、右眼画像の表示位置がシフト制御され、光学系と観察者眼の位置ずれが電子的に補正される。そのため、光学系と観察者眼の位置ずれの補正を適切に行うことができる。
【0084】
<4.第4の実施の形態>
[ヘッドマウントディスプレイ(両眼)の構成例]
図8は、第4の実施の形態としての光学透過のヘッドマウントディスプレイ(HMD)100Cの概略的な構成例を示している。この構成例は両眼HMDである。この図8において、図2図6と対応する部分には同一符号を付し、適宜、その詳細説明は省略する。このHMD100Cは、左側のメガネレンズ部101Lと、右側のメガネレンズ部101Rを有している。メガネレンズ部101Lとメガネレンズ部101Rは、光学系調整機構122によりにより接続されている。
【0085】
メガネレンズ部101L,101Rに、それぞれ、赤外線センサ103L,103Rが取り付けられている。また、メガネレンズ部101Lに、メガネレンズ部101L,101Rを含む光学系の傾きを検出するためのジャイロセンサ104が取り付けられている。赤外線センサ103L,103Rのセンサ出力は、強膜反射法による眼球位置推定のために使用される。
【0086】
また、HMD100Cは、ディスプレイドライバ112L,112Rと、ディスプレイ113L,113Rと、眼球位置推定部114と、傾き推定部115と、表示制御部116Cと、光学系位置補正部117と、OSD重畳部118と、ユーザ操作取得部119を有している。ディスプレイ113Lは、ディスプレイドライバ112Lにより駆動されて、立体画像を構成する左眼画像を表示する。また、ディスプレイ113Rは、ディスプレイドライバ112Rにより駆動されて、立体画像を構成する右眼画像を表示する。
【0087】
眼球位置推定部114は、赤外線センサ103L,103Rからのセンサ出力に基づいて、観察者の左眼、右眼の眼球位置を推定し、角膜(黒目)スキャン時の角度ωL,ωRを、眼球位置の推定結果として出力する(図2図3参照)。傾き推定部115は、ジャイロセンサ104のセンサ出力に基づいて、メガネレンズ部101L,101Rを含む光学系の水平方向に対する傾きθを推定結果として出力する(図3参照)。
【0088】
表示制御部116Cは、角度ωLに基づいて左眼光学系の観察者の左眼に対する位置ずれdLを求め、角度ωRに基づいて右眼光学系の観察者の右眼に対する位置ずれdRを求める。表示制御部116Cは、この位置ずれdL,dRと、既知である赤外線センサ103L,103Rのセンサ間距離dsと、さらに傾きθに基づいて、両眼間隔deを算出する((2)式参照)。
【0089】
表示制御部116Cは、両眼間隔deと、傾きθを考慮したセンサ間距離ds・cosθとの差s(de−ds・cosθ)に応じて、この差sのOSD表示、あるいは、この差sを補正する操作をユーザに促すためのOSD表示を行う。
【0090】
また、表示制御部116Cは、ユーザ操作取得部119で取得されたユーザ操作に基づいて、左眼光学系、右眼光学系の位置をシフトさせる。なお、この場合、ユーザは、上述したように、差sのOSD表示、あるいは、この差sを補正する操作をユーザに促すためのOSD表示に基づいて、差sが0となるように、補正操作を行うことになる。
【0091】
光学系位置補正部117は、表示制御部116Cの制御のもと、光学系位置を補正する。すなわち、光学系位置補正部117は、光学系調整機構122の伸縮を調整し、メガネレンズ部101Lとメガネレンズ部101Rの水平方向位置を調整する。また、これに伴って、光学系位置補正部117は、ディスプレイ113L,113Rの位置も調整する。OSD重畳部118は、表示制御部116Cから出力されるOSD表示用の表示信号を、左眼画像データ、右眼画像データに重畳する。
【0092】
[位置ずれ補正時の動作]
図8に示すHMD100Cにおける光学系と観察者眼の位置ずれ補正時の動作を説明する。この位置ずれ補正時には、例えば、テスト用の左眼画像データおよび右眼画像データが使用される。
【0093】
左眼画像データはディスプレイドライバ112Lに供給される。このディスプレイドライバ112Lによりディスプレイ113Lが駆動され、このディスプレイ113Lに左眼画像が表示される。同様に、右眼画像データはディスプレイドライバ112Rに供給される。このディスプレイドライバ112Rによりディスプレイ113Rが駆動され、このディスプレイ113Rに右眼画像が表示される。
【0094】
ディスプレイ113Lに表示された左眼画像からの光は、メガネレンズ部101Lで反射されて観察者の左眼に届く。これにより、ディスプレイ113Lに表示された左眼画像は、メガネレンズ部101Lで光学的に拡大され、拡大された虚像として、観察者の左眼で観察される。同様に、ディスプレイ113Rに表示された右眼画像からの光は、メガネレンズ部101Rで反射されて観察者の右眼に届く。これにより、ディスプレイ113Rに表示された右眼画像は、メガネレンズ部101Rで光学的に拡大され、拡大された虚像として、観察者の右眼で観察される。このように観察者の左眼、右眼にそれぞれ左眼画像、右眼画像が観察されることで、観察者には拡大された立体(3D)画像が知覚される。
【0095】
この画像表示状態で、メガネレンズ部101Lの水平方向の中心位置(左眼光学系の水平方向の中心位置)に取り付けられている赤外線センサ103Lから観察者眼側に微弱赤外線が照射されて水平方向にスキャンされる。また、この画像表示状態で、メガネレンズ部101Rの水平方向の中心位置(右眼光学系の水平方向の中心位置)に取り付けられている赤外線センサ103Rから観察者眼側に微弱赤外線が照射されて水平方向にスキャンされる。
【0096】
赤外線センサ103L,103Rのセンサ出力はそれぞれ眼球位置推定部114に供給される。この眼球位置推定部114では、赤外線センサ103L,103Rからのセンサ出力に基づいて、観察者の左眼、右眼の眼球位置が推定される。この眼球位置推定部114からは、左眼、右眼の眼球位置の推定結果として、角膜(黒目)スキャン時の角度ωL,ωRが出力される(図2図3参照)。
【0097】
また、メガネレンズ部101Lに取り付けられているジャイロセンサ104のセンサ出力は傾き推定部115に供給される。この傾き推定部115では、ジャイロセンサ104のセンサ出力に基づいて、メガネレンズ部101L,101Rを含む光学系の水平方向に対する傾きθが推定される(図3参照)。
【0098】
眼球位置推定部114の推定結果である角度ωL,ωRは表示制御部116Cに供給される。また、傾き推定部115の推定結果である傾きθは表示制御部116Cに供給される。表示制御部116Cでは、左眼、右眼の眼球位置推定結果および光学系の傾き推定結果に基づいて、左眼光学系の観察者の左眼に対する位置ずれdLと、右眼光学系の観察者の右眼に対する位置ずれdRが求められる(図2図3参照)。
【0099】
表示制御部116Cでは、位置ずれdL,dRと、既知である赤外線センサ103L,103Rのセンサ間距離dsと、さらに傾きθに基づいて、両眼間隔deが算出される((2)式参照)。この場合、傾きθが考慮されることで、両眼間隔deが高い精度で求められる。
【0100】
そして、表示制御部116Cからは、両眼間隔deと、傾きθを考慮したセンサ間距離ds・cosθとの差s(de−ds・cosθ)が求められ、この差sのOSD表示、あるいは、この差sを補正する操作をユーザに促すためのOSD表示のための表示信号が出力される。この表示信号は、OSD重畳部118に供給され、左眼画像データ、右眼画像データに重畳される。これにより、ディスプレイ113L,113Rに、OSD表示される。
【0101】
観察者により、このOSD表示に基づいて、差sが0となるように、補正操作が行われる。ユーザ操作取得部119は、このユーザ操作を取得し、表示制御部116Cに送る。この補正操作に基づいて、表示制御部116Cにより、光学系位置補正部117が制御され、左眼光学系、右眼光学系の位置、つまりメガネレンズ部101L,101Rの位置およびディスプレイ101L,101Rの位置がシフト制御される。これにより、観察者の左眼に左眼光学系の水平方向の中心が一致するようにされ、観察者の右眼に右眼光学系の水平方向の中心が一致するようにされ、光学系と観察者眼の位置ずれが補正される。
【0102】
上述したように、図8に示すHMD100Cにおいては、光学系と観察者眼の位置関係の検出結果に基づいて、光学系と観察者眼の位置ずれがOSD表示される。このOSD表示に基づいて、観察者により、位置ずれをなくすように補正操作が行われる。そして、この補正操作に応じて、左眼光学系、右眼光学系がシフト制御され、光学系と観察者眼の位置ずれが機械的に補正される。そのため、光学系と観察者眼の位置ずれの補正を適切に行うことができる。
【0103】
<5.第5の実施の形態>
[ヘッドマウントディスプレイ(単眼)の構成例]
図9は、第5の実施の形態としての光学透過のヘッドマウントディスプレイ(HMD)100Dの概略的な構成例を示している。この構成例は単眼HMDである。この図9において、図1と対応する部分には同一符号を付し、適宜、その詳細説明は省略する。
【0104】
このHMD100Dは、単眼HMDであることから、図1に示すHMD100が2個のメガネレンズ部101L,101Rを有しているのに対して、1個のメガネレンズ部101を有している。メガネレンズ部101に赤外線センサ103が取り付けられている。この赤外線センサ103は、図1に示すHMD100における赤外線センサ103L,103Rと同様に機能し、そのセンサ出力を眼球位置推定部114に送る。また、メガネレンズ部101に、メガネレンズ部101を含む光学系の傾きを検出するためのジャイロセンサ104が取り付けられている。ジャイロセンサ104は、そのセンサ出力を傾き推定部105に送る。
【0105】
また、HMD100Dは、単眼HMDであるので、1系統のディスプレイドライバ112と、ディスプレイ113を有している。ディスプレイ113は、ディスプレイドライバ112により駆動されて、画像を表示する。ディスプレイ113に表示された画像からの光は、メガネレンズ部101で反射されて観察者眼(左眼または右眼)に届く。これによりディスプレイ113に表示された画像は、メガネレンズ部101で光学的に拡大され、拡大された虚像として、観察者眼で観察される。
【0106】
眼球位置推定部114は、図1のHMD100における眼球位置推定部114と同様に、赤外線センサ103からのセンサ出力に基づいて、観察者眼の眼球位置を推定し、眼球位置の推定結果として、角膜(黒目)スキャン時の角度ωを出力する(図2図3参照)。また、傾き推定部115は、図1のHMD100における傾き推定部115と同様に、ジャイロセンサ104のセンサ出力に基づいて、メガネレンズ部101を含む光学系の水平方向に対する傾きθを推定する(図3参照)。
【0107】
表示制御部116Dは、眼球位置推定結果および光学系の傾き推定結果に基づいて、光学系の観察者眼に対する位置ずれdを求める。この位置ずれdは、図3を参照すると、dL/cosθあるいはdR/cosθに相当するものである。表示制御部116Dは、この位置ずれdに基づき、その値が0となるように、画像補正部111を制御し、ディスプレイ113に表示される画像の表示位置を水平方向にシフト制御する。これにより、観察者眼に画像の水平方向の中心が一致するようにされ、光学系と観察者眼の位置ずれが補正される。
【0108】
図9に示すHMD100Dのその他は、詳細説明は省略するが、図1に示すHMD100と同様に構成され、同様に動作する。上述したように、図9に示すHMD100Dにおいては、光学系と観察者眼の位置関係の検出結果に基づいて、画像の表示位置がシフト制御され、光学系と観察者眼の位置ずれが電子的に補正される。そのため、光学系と観察者眼の位置ずれの補正を適切に行うことができる。
【0109】
<6.第6の実施の形態>
[ヘッドマウントディスプレイ(単眼)の構成例]
図10は、第6の実施の形態としての光学透過のヘッドマウントディスプレイ(HMD)100Eの概略的な構成例を示している。この構成例は単眼HMDである。この図10において、図5図9と対応する部分には同一符号を付し、適宜、その詳細説明は省略する。
【0110】
このHMD100Eは、単眼HMDであることから、図5に示すHMD100Aが2個のメガネレンズ部101L,101Rを有しているのに対して、1個のメガネレンズ部101を有している。メガネレンズ部101に赤外線センサ103が取り付けられている。この赤外線センサ103は、図5に示すHMD100Aにおける赤外線センサ103L,103Rと同様に機能し、そのセンサ出力を眼球位置推定部114に送る。また、メガネレンズ部101に、メガネレンズ部101を含む光学系の傾きを検出するためのジャイロセンサ104が取り付けられている。ジャイロセンサ104は、そのセンサ出力を傾き推定部105に送る。
【0111】
また、HMD100Eは、単眼HMDであるので、1系統のディスプレイドライバ112と、ディスプレイ113を有している。ディスプレイ113は、ディスプレイドライバ112により駆動されて、画像を表示する。ディスプレイ113に表示された画像からの光は、メガネレンズ部101で反射されて観察者眼(左眼または右眼)に届く。これによりディスプレイ113に表示された画像は、メガネレンズ部101で光学的に拡大され、拡大された虚像として、観察者眼で観察される。
【0112】
眼球位置推定部114は、図5のHMD100Aにおける眼球位置推定部114と同様に、赤外線センサ103からのセンサ出力に基づいて、観察者眼の眼球位置を推定し、眼球位置の推定結果として、角膜(黒目)スキャン時の角度ωを出力する(図2図3参照)。また、傾き推定部115は、図5のHMD100Aにおける傾き推定部115と同様に、ジャイロセンサ104のセンサ出力に基づいて、メガネレンズ部101を含む光学系の水平方向に対する傾きθを推定する(図3参照)。
【0113】
表示制御部116Eは、眼球位置推定結果および光学系の傾き推定結果に基づいて、光学系の観察者眼に対する位置ずれdを求める。この位置ずれdは、図3を参照すると、dL/cosθあるいはdR/cosθに相当するものである。表示制御部116Eは、この位置ずれdに基づき、その値が0となるように、光学系位置補正部117を制御し、メガネレンズ部101、つまり光学系の位置を水平方向にシフト制御する。また、表示制御部116Eは、メガネレンズ部101のシフト制御に伴って、ディスプレイ113の位置も制御する。これにより、観察者眼に画像の水平方向の中心が一致するようにされ、光学系と観察者眼の位置ずれが補正される。
【0114】
図10に示すHMD100Eのその他は、詳細説明は省略するが、図5に示すHMD100Aと同様に構成され、同様に動作する。上述したように、図10に示すHMD100Eにおいては、光学系と観察者眼の位置関係の検出結果に基づいて、光学系がシフト制御され、光学系と観察者眼の位置ずれが機械的に補正される。そのため、光学系と観察者眼の位置ずれの補正を適切に行うことができる。
【0115】
<7.第7の実施の形態>
[ヘッドマウントディスプレイ(単眼)の構成例]
図11は、第7の実施の形態としての光学透過のヘッドマウントディスプレイ(HMD)100Fの概略的な構成例を示している。この構成例は単眼HMDである。この図11において、図6図9と対応する部分には同一符号を付し、適宜、その詳細説明は省略する。
【0116】
このHMD100Fは、単眼HMDであることから、図6に示すHMD100Bが2個のメガネレンズ部101L,101Rを有しているのに対して、1個のメガネレンズ部101を有している。メガネレンズ部101に赤外線センサ103が取り付けられている。この赤外線センサ103は、図6に示すHMD100Bにおける赤外線センサ103L,103Rと同様に機能し、そのセンサ出力を眼球位置推定部114に送る。また、メガネレンズ部101に、メガネレンズ部101を含む光学系の傾きを検出するためのジャイロセンサ104が取り付けられている。ジャイロセンサ104は、そのセンサ出力を傾き推定部105に送る。
【0117】
また、HMD100Fは、単眼HMDであるので、1系統のディスプレイドライバ112と、ディスプレイ113を有している。ディスプレイ113は、ディスプレイドライバ112により駆動されて、画像を表示する。ディスプレイ113に表示された画像からの光は、メガネレンズ部101で反射されて観察者眼(左眼または右眼)に届く。これによりディスプレイ113に表示された画像は、メガネレンズ部101で光学的に拡大され、拡大された虚像として、観察者眼で観察される。
【0118】
眼球位置推定部114は、図6のHMD100Bにおける眼球位置推定部114と同様に、赤外線センサ103からのセンサ出力に基づいて、観察者眼の眼球位置を推定し、眼球位置の推定結果として、角膜(黒目)スキャン時の角度ωを出力する(図2図3参照)。また、傾き推定部115は、図6のHMD100Bにおける傾き推定部115と同様に、ジャイロセンサ104のセンサ出力に基づいて、メガネレンズ部101を含む光学系の水平方向に対する傾きθを推定する(図3参照)。
【0119】
表示制御部116Fは、眼球位置推定結果および光学系の傾き推定結果に基づいて、光学系の観察者眼に対する位置ずれdを求める。この位置ずれdは、図3を参照すると、dL/cosθあるいはdR/cosθに相当するものである。表示制御部116Fは、位置ずれdのOSD表示、あるいは、この位置ずれdを補正する操作をユーザに促すためのOSD表示のための表示信号を出力し、OSD重畳部118に供給する。これにより、ディスプレイ113に、そのOSD表示が行われる。
【0120】
観察者により、このOSD表示に基づいて、位置ずれdが0となるように、補正操作が行われる。ユーザ操作取得部119は、このユーザ操作を取得し、表示制御部116Fに送る。表示制御部116Fは、この補正操作に基づいて、ディスプレイ113に表示される画像の表示位置をシフト制御する。これにより、観察者眼に画像の水平方向の中心が一致するようにされ、光学系と観察者眼の位置ずれが補正される。
【0121】
上述したように、図11に示すHMD100Fにおいては、光学系と観察者眼の位置関係の検出結果に基づいて、光学系と観察者眼の位置ずれがOSD表示される。このOSD表示に基づいて、観察者により、位置ずれをなくすように補正操作が行われる。そして、この補正操作に応じて、画像の表示位置がシフト制御され、光学系と観察者眼の位置ずれが電子的に補正される。そのため、光学系と観察者眼の位置ずれの補正を適切に行うことができる。
【0122】
<8.第8の実施の形態>
[ヘッドマウントディスプレイ(単眼)の構成例]
図12は、第8の実施の形態としての光学透過のヘッドマウントディスプレイ(HMD)100Gの概略的な構成例を示している。この構成例は単眼HMDである。この図12において、図8図9と対応する部分には同一符号を付し、適宜、その詳細説明は省略する。
【0123】
このHMD100Gは、単眼HMDであることから、図8に示すHMD100Cが2個のメガネレンズ部101L,101Rを有しているのに対して、1個のメガネレンズ部101を有している。メガネレンズ部101に赤外線センサ103が取り付けられている。この赤外線センサ103は、図8に示すHMD100Cにおける赤外線センサ103L,103Rと同様に機能し、そのセンサ出力を眼球位置推定部114に送る。また、メガネレンズ部101に、メガネレンズ部101を含む光学系の傾きを検出するためのジャイロセンサ104が取り付けられている。ジャイロセンサ104は、そのセンサ出力を傾き推定部105に送る。
【0124】
また、HMD100Gは、単眼HMDであるので、1系統のディスプレイドライバ112と、ディスプレイ113を有している。ディスプレイ113は、ディスプレイドライバ112により駆動されて、画像を表示する。ディスプレイ113に表示された画像からの光は、メガネレンズ部101で反射されて観察者眼(左眼または右眼)に届く。これによりディスプレイ113に表示された画像は、メガネレンズ部101で光学的に拡大され、拡大された虚像として、観察者眼で観察される。
【0125】
眼球位置推定部114は、図8のHMD100Cにおける眼球位置推定部114と同様に、赤外線センサ103からのセンサ出力に基づいて、観察者眼の眼球位置を推定し、眼球位置の推定結果として、角膜(黒目)スキャン時の角度ωを出力する(図2図3参照)。また、傾き推定部115は、図8のHMD100Cにおける傾き推定部115と同様に、ジャイロセンサ104のセンサ出力に基づいて、メガネレンズ部101を含む光学系の水平方向に対する傾きθを推定する(図3参照)。
【0126】
表示制御部116Gは、眼球位置推定結果および光学系の傾き推定結果に基づいて、光学系の観察者眼に対する位置ずれdを求める。この位置ずれdは、図3を参照すると、dL/cosθあるいはdR/cosθに相当するものである。表示制御部116Gは、位置ずれdのOSD表示、あるいは、この位置ずれdを補正する操作をユーザに促すためのOSD表示のための表示信号を出力し、OSD重畳部118に供給する。これにより、ディスプレイ113に、そのOSD表示が行われる。
【0127】
観察者により、このOSD表示に基づいて、位置ずれdが0となるように、補正操作が行われる。ユーザ操作取得部119は、このユーザ操作を取得し、表示制御部116Gに送る。表示制御部116Gは、この補正操作に基づいて、光学系位置補正部117を制御し、光学系の位置、つまりメガネレンズ部101の位置およびディスプレイ103の位置をシフト制御する。これにより、観察者眼に光学系の水平方向の中心が一致するようにされ、光学系と観察者眼の位置ずれが補正される。
【0128】
上述したように、図12に示すHMD100Gにおいては、光学系と観察者眼の位置関係の検出結果に基づいて、光学系と観察者眼の位置ずれがOSD表示される。このOSD表示に基づいて、観察者により、位置ずれをなくすように補正操作が行われる。そして、この補正操作に応じて、光学系がシフト制御され、光学系と観察者眼の位置ずれが機械的に補正される。そのため、光学系と観察者眼の位置ずれの補正を適切に行うことができる。
【0129】
<9.変形例>
なお、上述実施の形態では、光学系の傾きθを考慮することで補正精度を高めるようにしている。しかし、この光学系の傾きθを考慮しない簡易的な構成も考えられる。その場合には、ジャイロセンサ104、傾き推定部115等の構成要素は不要となる。
【0130】
また、上述実施の形態では、ジャイセンサ104がメガネレンズ部101Lに取り付けられたジャイセンサ104のセンサ出力に基づいて光学系全体としての傾きθを推定する例を示した。しかし、左眼側と右眼側の光学系の傾きをそれぞれ検出する構成も考えられる。その場合には、メガネレンズ部101Lの他に、メガネレンズ部101Rにもジャイロセンサが取り付けられることになる。
【0131】
また、上述実施の形態では、ディスプレイ113L,113Rに表示される左眼画像、右眼画像を水平方向にシフト制御することで、光学系と観察者眼の水平方向の位置ずれを補正する例を示した。詳細説明は省略するが、同様にして、さらに、光学系と観察者眼の垂直方向の位置ずれを補正することも考えられる。
【0132】
また、上述実施の形態では、各メガネレンズ部に1個の赤外線センサが取り付けられ、観察者側に照射される微弱赤外線がスキャン操作される例を示した。しかし、例えば、図13(a)に示すように、メガネレンズ部GLに複数個の赤外線センサIRSを取り付け、各赤外線センサIRSのセンサ出力に基づいて観察者眼の位置を総合的に判断するように構成することも考えられる。この場合、赤外線センサIRSの個数が多い場合には、各赤外線センサIRSから観察者側に照射される微弱赤外線をスキャン操作しなくてもよくなる。
【0133】
また、上述実施の形態では、各メガネレンズ部に赤外線センサが取り付けられる例を示した。しかし、例えば、図13(b)に示すように、反射シートRSを利用することで、赤外線センサIRSをメガネレンズ部GLからある程度離れた場所に設置することも可能である。なお、この場合にあっても、図13(c)に示すように、複数個の赤外線センサIRSを配置して、各赤外線センサIRSのセンサ出力に基づいて観察者眼の位置を総合的に判断するように構成することも考えられる。
【0134】
また、上述実施の形態では、画像補正部111では、画像の表示位置を水平方向にシフトさせる例を示した。厳密に、さらに、垂直方向へのシフト、回転、拡大、縮小等により位置合わせを行うことも考えられる。
【0135】
また、上述実施の形態では、眼球位置推定を強膜反射法を応用することで行っている。しかし、その他の技術、例えばEOG(Electro-Oculogram)法や顔認識技術等を応用することも考えられる。
【0136】
また、上述実施の形態では、画像表示のためのディスプレイに、位置関係検出部で検出された位置関係(差s、位置ずれdなど)をOSD表示する例を示した。しかし、この位置関係を、画像表示のためのディスプレイとは別個の表示素子に表示するようにされてもよい。また、これらと共に、あるいはこれらの代わりに、位置関係を、音声、振動、さらには発光の強弱によって提示することも考えられる。
【0137】
例えば、振動を利用する場合には、バイブレータを装備し、位置ずれの量が大きいほど振動が大きくなるように構成される。また、例えば、音声を利用する場合には、ずれ量や操作方法を再生し、あるいはずれ量が大きいほど音量が大きくなるように構成される。
【0138】
また、上述実施の形態においては、本技術をHMDに適用した例を示した。しかし、本技術は、これに限定されるものではなく、その他の画像表示装置、例えば、カメラのファインダ、電子双眼鏡などにも広く適用することが可能である。
【0139】
また、本技術は、以下のような構成をとることもできる。
(1)観察者眼の眼球位置に基づいて、表示素子に表示された画像を上記観察者眼に導く光学系と上記観察者眼の位置関係を検出する位置関係検出部と、
上記位置関係検出部で検出された位置関係に基づいて、上記光学系と上記観察者眼の位置関係を補正する位置関係補正部とを備える
画像表示装置。
(2)上記位置関係補正部は、
上記位置関係検出部で検出された位置関係に基づいて、上記表示素子に表示される画像の表示位置をシフトする
前記(1)に記載の画像表示装置。
(3)上記位置関係補正部は、
上記位置関係検出部で検出された位置関係に基づいて、上記光学系を移動させる
前記(1)に記載の画像表示装置。
(4)上記位置関係補正部は、
上記位置関係検出部で検出された位置関係を観察者に提示する位置関係提示部と、
上記観察者の操作に応じて、上記光学系と上記観察者眼の位置関係を制御する制御部とを有する
前記(1)に記載の画像表示装置。
(5)上記制御部は、
上記観察者の操作に応じて、上記表示素子に表示される画像の表示位置のシフト制御を行う
前記(4)に記載の画像表示装置。
(6)上記制御部は、
上記観察者の操作に応じて、上記光学系の移動制御を行う
前記(4)に記載の画像表示装置。
(7)上記位置関係提示部は、
上記表示素子に、上記位置関係検出部で検出された位置関係を表示する
前記(4)から(6)のいずれかに記載の画像表示装置。
(8)上記光学系の傾きを推定する傾き推定部をさらに備え、
上記位置関係検出部は、
上記推定された眼球位置と共に、上記推定された傾きに基づいて、上記光学系と上記観察者眼の位置関係を検出する
前記(1)から(7)のいずれかに記載の画像表示装置。
(9)上記表示素子に表示された画像を上記観察者眼に導く光学系を更に備える
前記(1)から(8)のいずれかに記載の画像表示装置。
(10)上記光学系として、表示素子に表示された左眼画像を観察者の左眼に導く第1の光学系と、表示素子に表示された右眼画像を観察者の右眼に導く第2の光学系が存在する
前記(9)に記載の画像表示装置。
(11)上記観察者眼の眼球位置を推定する眼球位置推定部を更に備え、
上記位置関係検出部は、上記眼球位置推定部により推定された眼球位置に基づいて、上記光学系と上記観察者眼の位置関係を検出する
前記(9)または(10)に記載の画像表示装置。
(12)表示素子に表示された画像を観察者眼に導く光学系と該観察者眼の位置関係を検出する位置関係検出ステップと、
上記検出された位置関係に基づいて、上記光学系と上記観察者眼の位置関係を補正する位置関係補正ステップとを備える
画像表示方法。
【符号の説明】
【0140】
100,100A〜100G・・・ヘッドマウントディスプレイ
101,101L,101R・・・メガネレンズ部
102・・・接続部材
103,103L,103R・・・赤外線センサ
104・・・ジャイロセンサ
111・・・画像補正部
112,112L,112R・・・ディスプレイドライバ
113,113L,113R・・・ディスプレイ
114・・・眼球位置推定部
115・・・傾き推定部
116,116A〜116G・・・表示制御部
117・・・光学系位置補正部
118・・・OSD重畳部
119・・・ユーザ操作取得部
122・・・光学系調整機構
図1
図2
図3
図4
図5
図6
図7
図8
図9
図10
図11
図12
図13
図14