(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2024-07-29
(45)【発行日】2024-08-06
(54)【発明の名称】頭部装着型表示装置、画像表示システム、及び画像表示方法
(51)【国際特許分類】
H04N 5/64 20060101AFI20240730BHJP
【FI】
H04N5/64 511A
(21)【出願番号】P 2021561252
(86)(22)【出願日】2020-11-02
(86)【国際出願番号】 JP2020041057
(87)【国際公開番号】W WO2021106502
(87)【国際公開日】2021-06-03
【審査請求日】2023-09-21
(31)【優先権主張番号】P 2019216423
(32)【優先日】2019-11-29
(33)【優先権主張国・地域又は機関】JP
(73)【特許権者】
【識別番号】000002185
【氏名又は名称】ソニーグループ株式会社
(74)【代理人】
【識別番号】100112874
【氏名又は名称】渡邊 薫
(72)【発明者】
【氏名】高田 将弘
【審査官】橋爪 正樹
(56)【参考文献】
【文献】特開2016-122177(JP,A)
【文献】特開2010-262232(JP,A)
(58)【調査した分野】(Int.Cl.,DB名)
H04N 5/64- 5/655
(57)【特許請求の範囲】
【請求項1】
頭部に対する頭部装着型表示装置の位置の変化を検出するセンサ
と、
ユーザの視線を検出する視線検出装置と、を備えており、
前記センサが、前記頭部装着型表示装置を装着したユーザの眼球の参照軸を検出するものでなく、
前記視線検出装置が、前記センサにより検出された前記位置の変化に応じた補正値を適用して前記視線を検出する、頭部装着型表示装置。
【請求項2】
前記センサが、前記頭部に対する前記センサの配置部分の位置変化に基づき、前記頭部装着型表示装置の位置の変化を検出するものである、請求項1に記載の頭部装着型表示装置。
【請求項3】
前記頭部装着型表示装置が、前記センサにより検出された前記位置の変化に応じて、前記頭部装着型表示装置により投射される画像表示光の投射位置を変更する、請求項1に記載の頭部装着型表示装置。
【請求項4】
前記センサが、前記頭部装着型表示装置のうち、頭部に接触する部位に配置されている、請求項1に記載の頭部装着型表示装置。
【請求項5】
前記センサが、前記頭部装着型表示装置のうち、頭部に接触する部位に配置されており、且つ、当該部位の頭部に対する接触圧力を検出するものである、請求項1に記載の頭部装着型表示装置。
【請求項6】
前記センサが、前記頭部装着型表示装置のうち、頭部に接触しない部位に配置されている、請求項1に記載の頭部装着型表示装置。
【請求項7】
前記センサが、前記頭部装着型表示装置のうち、頭部に接触しない部位に配置されており、且つ、当該部位の頭部基準位置に対する位置の変化を検出するものである、請求項1に記載の頭部装着型表示装置。
【請求項8】
前記頭部装着型表示装置が、前記センサにより検出された位置の変化に基づき画像を補正する、請求項1に記載の頭部装着型表示装置。
【請求項9】
前記頭部装着型表示装置が画像表示部を含み、
前記画像表示部が、画像表示光が瞳孔付近に集光されそして網膜に照射されてマクスウェル視を行えるように構成されている、
請求項1に記載の頭部装着型表示装置。
【請求項10】
前記頭部装着型表示装置が、ユーザの両目のそれぞれに画像表示光を投射するように構成されている、請求項1に記載の頭部装着型表示装置。
【請求項11】
前記視線検出装置が、フォトダイオード方式又は撮像方式の視線検出装置である、請求項
1に記載の頭部装着型表示装置。
【請求項12】
前記頭部装着型表示装置が、当該頭部装着型表示装置から射出される画像表示光の投射位置を調整する投射位置調整機構をさらに含む、請求項1に記載の頭部装着型表示装置。
【請求項13】
前記投射位置調整機構が、視線に追従して画像表示光の投射位置を調整する、請求項
12に記載の頭部装着型表示装置。
【請求項14】
前記頭部装着型表示装置が、両眼メガネ様形状、単眼メガネ様形状、ゴーグル様形状、又はヘルメット様形状を有する頭部装着型表示装置である、請求項1に記載の頭部装着型表示装置。
【請求項15】
頭部に対する頭部装着型表示装置の位置の変化を検出するセンサ
と、
ユーザの視線を検出する視線検出装置と、を備えている頭部装着型表示装置と、
前記頭部装着型表示装置に画像データを送信する情報処理装置と、
を含
み、
前記センサが、前記頭部装着型表示装置を装着したユーザの眼球の参照軸を検出するものでなく、
前記視線検出装置が、前記センサにより検出された前記位置の変化に応じた補正値を適用して前記視線を検出する、画像表示システム。
【請求項16】
頭部に対する頭部装着型表示装置の位置の変化を検出する検出工程
と、
ユーザの視線を検出する視線検出工程と、
前記検出工程において検出された位置の変化に基づき、前記頭部装着型表示装置からの画像表示光が投射される位置を調整する調整工程
と、を含み、
前記検出工程が、前記頭部装着型表示装置を装着したユーザの眼球の参照軸を検出するものでなく、
前記視線検出工程が、前記検出工程により検出された前記位置の変化に応じた補正値を適用して前記視線を検出する、画像表示方法。
【発明の詳細な説明】
【技術分野】
【0001】
本技術は、頭部装着型表示装置、画像表示システム、及び画像表示方法に関する。より詳細には、本技術は、頭部に対する、特には眼球に対する、頭部装着型表示装置の位置の変化を検出する頭部装着型表示装置、当該頭部装着型表示装置を含む画像表示システム、及び、頭部装着型表示装置の位置の変化に基づき画像表示光の投射位置を調整する画像表示方法に関する。
【背景技術】
【0002】
近年、例えば現実の風景などの外界の光景に画像を重ねて表示する技術に注目が集まっている。当該技術は、拡張現実(AR)技術とも呼ばれる。この技術を利用した製品の一つとして、ヘッドマウントディスプレイが挙げられる。ヘッドマウントディスプレイは、ユーザの頭部に装着して使用される。ヘッドマウントディスプレイを用いた画像表示方法では、例えば外界からの光に加えてヘッドマウントディスプレイからの光がユーザの眼に到達することで、外界の像に当該ディスプレイからの光による映像が重畳されているようにユーザは認識する。
【0003】
ヘッドマウントディスプレイは、ユーザが頭部に装着した状態で、ユーザの目に向けて画像表示光を投射する。しかしながら、例えばユーザの頭部が動いた場合に、ヘッドマウントディスプレイの頭部に対する装着位置がずれることがある。また、ユーザが頭部装着型表示装置を装着した状態で動いた場合(特には運動した場合)、頭部装着型表示装置は、その重量によって頭部からずれることもある。頭部装着型表示装置は、例えばAR情報のために視線検出機構及び視線追従機構を備えている場合が多く、この場合は特にその重量が大きくなり、特にずれやすい。このような装着ズレに対処する手法として、眼球の画像情報に基づき装着ズレを検出しそして表示画像を補正する手法がこれまでにいくつか提案されている。例えば、下記特許文献1に記載の画像表示装置は、装着ズレによる観察者眼の瞳位置のズレ量を算出する演算部を含み、画像光を前記観察者眼の瞳位置のズレ量に応じて変化させる。
【先行技術文献】
【特許文献】
【0004】
【発明の概要】
【発明が解決しようとする課題】
【0005】
眼球の画像情報に基づく装着ズレの検出では、装着ズレを正確に測定することができない場合がある。例えば人間の生理的な変化及び/又は個人差によって、装着ズレの正確な測定が困難になりうる。前記生理的な変化の例として、例えば瞳孔の大きさの変化を挙げることができる。また、前記個人差の例として、髪の毛及び/又はまつ毛による眼球画像への影響、まぶたの開閉の程度、又は瞬きによる瞳孔の遮蔽などを挙げることができる。
【0006】
装着ズレの正確な測定は、網膜直描方式の頭部装着型表示装置にとって特に重要である。網膜直描方式の画像表示では、瞳孔付近で画像表示光が集光される必要があり、瞳孔位置の正確な把握が必要である。例えば明所における瞳孔直径は約2mmであり、1mm以下の精度で瞳孔位置を把握する必要がある。装着ズレを正確に把握できない場合、当該頭部装着型表示装置は、ユーザに画像を提示することが困難になりうる。
【0007】
本技術は、装着ズレを正確に把握することを可能とする頭部装着型表示装置を提供することを目的とする。
【課題を解決するための手段】
【0008】
本技術は、頭部に対する頭部装着型表示装置の位置の変化を検出するセンサを備えている頭部装着型表示装置を提供する。
前記センサは、前記頭部装着型表示装置を装着したユーザの眼球の参照軸を検出するものでなくてよい。
前記センサは、前記頭部に対する前記センサの配置部分の位置変化に基づき、前記頭部装着型表示装置の位置の変化を検出するものであってよい。
前記頭部装着型表示装置は、前記センサにより検出された前記位置の変化に応じて、前記頭部装着型表示装置により投射される画像表示光の投射位置を変更しうる。
本技術の一つの実施態様に従い、前記センサは、前記頭部装着型表示装置のうち、頭部に接触する部位に配置されていてよい。
本技術の一つの実施態様に従い、前記センサが、前記頭部装着型表示装置のうち、頭部に接触する部位に配置されており、且つ、当該部位の頭部に対する接触圧力を検出するものであってよい。
本技術の他の実施態様に従い、前記センサは、前記頭部装着型表示装置のうち、頭部に接触しない部位に配置されていてよい。
本技術の他の実施態様に従い、前記センサが、前記頭部装着型表示装置のうち、頭部に接触しない部位に配置されており、且つ、当該部位の頭部基準位置に対する位置の変化を検出するものであってよい。
前記頭部装着型表示装置は、前記センサにより検出された位置の変化に基づき画像を補正しうる。
前記頭部装着型表示装置は画像表示部を含み、
前記画像表示部が、画像表示光が瞳孔付近に集光されそして網膜に照射されてマクスウェル視を行えるように構成されていてよい。
前記頭部装着型表示装置は、ユーザの両目のそれぞれに画像表示光を投射するように構成されていてよい。
前記頭部装着型表示装置は、ユーザの視線を検出する視線検出装置をさらに含みうる。
前記視線検出装置は、フォトダイオード方式又は撮像方式の視線検出装置でありうる。
前記頭部装着型表示装置は、当該頭部装着型表示装置から射出される画像表示光の投射位置を調整する投射位置調整機構をさらに含みうる。
前記投射位置調整機構は、視線に追従して画像表示光の投射位置を調整しうる。
前記頭部装着型表示装置は、両眼メガネ様形状、単眼メガネ様形状、ゴーグル様形状、又はヘルメット様形状を有する頭部装着型表示装置であってよい。
【0009】
また、本技術は、頭部に対する頭部装着型表示装置の位置の変化を検出するセンサを備えている頭部装着型表示装置と、
前記頭部装着型表示装置に画像データを送信する情報処理装置と、
を含む画像表示システムも提供する。
【0010】
また、本技術は、頭部に対する頭部装着型表示装置の位置の変化を検出する検出工程、及び
前記検出工程において検出された位置の変化に基づき、前記頭部装着型表示装置からの画像表示光が投射される位置を調整する調整工程
を含む画像表示方法も提供する。
【図面の簡単な説明】
【0011】
【
図1】本技術に従う頭部装着型表示装置の模式的な上面図である。
【
図2】本技術に従う頭部装着型表示装置の模式的な正面図である。
【
図3】光量の変化に基づき押圧を検出するセンサの一例を示す図である。
【
図4】光の検出位置の変化に基づき押圧を検出するセンサの一例を示す図である。
【
図5】3つのレーザ光源を含む画像表示部の構成例を示す模式図である。
【
図7】投射位置調整機構の他の構成例を示す図である。
【
図8】本技術に従う頭部装着型表示装置の主な構成要素を示すブロック図である。
【
図9】本技術に従う頭部装着型表示装置による画像表示処理のフロー図の一例を示す。
【
図10】本技術に従う頭部装着型表示装置の構成例を示す図である。
【
図11】マックスウェル視光学系を説明するための図である。
【発明を実施するための形態】
【0012】
以下、本技術を実施するための好適な形態について説明する。なお、以下に説明する実施形態は、本技術の代表的な実施形態を示したものであり、本技術の範囲がこれらの実施形態に限定されることはない。なお、本技術の説明は以下の順序で行う。
1.第1の実施形態(頭部装着型表示装置)
(1)第1の実施形態の説明
(2)第1の実施形態の例
(2-1)画像表示部
(2-2)頭部に対する頭部装着型表示装置の位置の変化を検出するセンサ
(2-3)視線検出装置
(2-4)投射位置調整機構
(2-5)制御部及び記憶部
(2-6)画像表示処理の例
(3)センサの詳細
(4)頭部装着型表示装置の構成例
2.第2の実施形態(画像表示システム)
3.第3の実施形態(画像表示方法)
【0013】
1.第1の実施形態(頭部装着型表示装置)
【0014】
(1)第1の実施形態の説明
【0015】
本技術に従う頭部装着型表示装置は、頭部に対する頭部装着型表示装置の位置の変化を検出するセンサを備えている。例えば、前記センサは、前記頭部に対する前記センサの配置部分の位置変化に基づき、前記頭部装着型表示装置の位置の変化を検出するものであってよい。前記頭部装着型表示装置は、前記センサにより検出された前記位置の変化に応じて、前記頭部装着型表示装置により投射される画像表示光の投射位置を変更しうる。
【0016】
前記センサは、頭部に対する頭部装着型表示装置の位置の変化を検出するので、本技術に従う頭部装着型表示装置は、頭部装着型表示装置の装着ズレを正確に把握することができる。これにより画像表示光を適切な位置に投射することが可能となる。これにより、視線検出の精度を向上することもできる。また、本技術により、装着ズレを把握するに際して、例えば上記で述べた人間の生理的な変化若しくは個人差による影響を受けないか、又は当該影響が低減される。
【0017】
前記センサは、前記頭部装着型表示装置を装着したユーザの眼球の参照軸を検出するものでなくてよい。本明細書内において、「眼球の参照軸」とは、視軸(視線ともいう)、光軸、瞳孔中心線、固視線、注視線、及び照準線を包含する概念である。眼球の参照軸のうち視線を検出(又は推定)する技術が知られている。前記センサにける前記位置の変化の検出は、眼球の参照軸の検出に基づくものでなくてよく、視線検出に基づくものでなくてもよい。なお、「前記センサが前記参照軸を検出するものでない」とは、本技術の頭部装着型表示装置が視線検出装置を備えてはならないことを意味するものでなく、例えば、前記センサによる前記位置変化の検出が、視線検出装置から独立して行われることを意味する。
【0018】
また、前記センサは、前記頭部装着型表示装置を装着したユーザの眼の画像情報を使うものでなくてよい。眼の画像情報は、例えば撮像装置又はフォトダイオードなどにより得られる画像情報である。
【0019】
本技術の一つの実施態様に従い、前記センサは、前記頭部装着型表示装置のうち、頭部に接触する部位に配置されていてよい。この実施態様において、前記センサは、例えば当該部位の頭部に対する接触圧力を検出するものであってよい。
本技術の他の実施態様に従い、前記センサは、前記頭部装着型表示装置のうち、頭部に接触しない部位に配置されていてよい。この実施態様において、前記センサは、例えば当該部位の頭部基準位置に対する位置の変化を検出するものであってよい。
これらの実施態様において用いられうるセンサの詳細は、以下(3)において説明する。
【0020】
本技術の一つの実施態様に従い、前記頭部装着型表示装置は、画像表示部を含み、前記画像表示部が、画像表示光が瞳孔付近に集光されそして網膜に照射されてマクスウェル視を行えるように構成されていてよい。マクスウェル視によりユーザに画像を提示するためには、上記で述べたとおり、画像表示光が瞳孔付近で集光される必要があり、装着ズレが正確に把握できない場合は、適切な位置で画像表示光が集光されないことになりうる。本技術に従う頭部装着型表示装置は、装着ズレを正確に把握することができるので、マクスウェル視による画像表示のために特に適している。
【0021】
マックスウェル視光学系について、
図11を参照しながら以下で説明する。マックスウェル視光学系では、画像表示部11から投射された画像表示光は、例えばホログラムレンズ12を通って瞳13に到達する。画像表示光は瞳孔付近で集光されそして網膜に照射される。マックスウェル視光学系において、表示画像中の1ドット(最小表示単位)が水晶体上の1点を通るので、網膜上の1ドットの像が水晶体の状態による影響を受けにくい。例えば近視、遠視、又は乱視などを有するユーザであっても、映像をはっきりを認識することができる。また、空間に浮かんで見える虚像は、フォーカスフリーであり、虚像が目からどの距離にあってもピントが合う。マックスウェル視光学系において、画像表示光は瞳孔付近で集光されてよく、例えば瞳孔上で集光されてもよく又は光軸方向に瞳孔から数mm~十数mm程度(例えば1mm~20mm、特には2mm~15mm)ずれてもよい。後者のとおり焦点が瞳孔上になくても、マックスウェル視を実現することができる。焦点を光軸方向にずらすことで、映像がずれても、ユーザが映像を失いにくくすることができる。
【0022】
本技術の頭部装着型表示装置に含まれる画像表示部は、マクスウェル視による画像表示方式以外の方式で、ユーザに画像を提示するように構成されていてもよい。例えば、本技術の他の実施態様に従い、前記画像表示部は、拡大光学系により画像をユーザに提示するように構成されていてよい。
【0023】
拡大光学系について
図12を参照しながら以下で説明する。
図12に示されるとおり、拡大光学系において、画像表示部21から投射された画像表示光は、例えばホログラムレンズ22を通って瞳23に到達する。画像表示光の光速は、瞳(瞳孔)23の全体を通り、網膜上でフォーカスする。そのため、瞳23又はホログラムレンズ22がずれた場合であっても、視野を確保しやすく、画像が消えにくい。また、空間に浮かんで見える虚像24は、固定された距離でフォーカスが合うので、ユーザの視力に応じて、認識される映像が異なりうる。拡大光学系により画像表示光を投射する光学系は、例えばLEDなどの光源部と例えば液晶などの映像表示部とを含みうる。
【0024】
本技術の頭部装着型表示装置は、ユーザの両目のそれぞれに画像表示光を投射するように構成されていてよい。例えば、本技術の頭部装着型表示装置は、左目用の画像表示部と右目用の画像表示部とを含みうる。この場合、装着ズレの影響は、右目と左目とで異なることがあり、装着ズレを正確に把握することが特に重要である。本技術の頭部装着型表示装置は装着ズレを正確に把握することが可能であるので、この左目用の画像表示部と右目用の画像表示部とを含む実施態様において特に適している。
代替的には、本技術の頭部装着型表示装置は、右目又は左目の一方だけに画像表示光を投射するように構成されていてよい。すなわち、本技術の頭部装着型表示装置は、左目用の画像表示部又は右目用の画像表示部のいずれかを含みうる。
【0025】
本技術の頭部装着型表示装置は、例えば両眼メガネ様形状、単眼メガネ様形状、ゴーグル様形状、又はヘルメット様形状を有する頭部装着型表示装置であってよいが、これらに限定されない。
【0026】
前記頭部装着型表示装置が両眼メガネ様形状又は単眼メガネ様形状を有する場合、前記センサは、両眼メガネ様形状又は単眼メガネ様形状のレンズ部(当該レンズ部は必ずしもレンズ機能を有していなくてよい)を頭部に保持するための構成要素(例えばフレーム部)のいずれかの位置に設けられていてよい。前記構成要素として、例えばヨロイ部、ブリッジ部、リム部、ヒンジ部、モダン部、ツル部、鼻あて部、及びクリングス部を挙げることができ、これらのうちのいずれか1つ又は2つ以上の構成要素に前記センサが設けられていてよい。又は、前記センサは、両眼メガネ様形状又は単眼メガネ様形状のレンズ部のいずれかの位置に設けられていてもよい。又は、前記センサは、両眼メガネ様形状又は単眼メガネ様形状を有する頭部装着型表示装置を頭部に固定するためのヘッドバンド部(例えばカチューシャ様のヘッドバンド部など)のいずれかの位置に設けられていてもよい。前記センサが設けられる位置はこれらに限定されず、例えば以下(2)において説明するとおり、フレーム部に接続されたヘッドバンド部に設けられていてもよい。例えば、前記センサは、フレーム部及び/又はレンズ部と頭部との位置関係を検出し、特にはこれら構成要素のいずれか1つ又はそれ以上と頭部との位置関係を検出しうる。
両眼メガネ様形状は、両眼式メガネの形状、両眼式メガネと類似する形状、及び、AR(Augmented Reality)分野又はVR(Virtual Reality)分野において用いられる両眼式アイウェア形状を包含する。両眼メガネ様形状は、例えばメガネのレンズに相当する構成要素(当該構成要素は必ずしもレンズ機能を有していなくてよい)を2つ含み、これら2つの構成要素が両目のそれぞれの前方に配置されるように構成されている形状であってよい。
単眼メガネ様形状は、単眼式メガネの形状、単眼式メガネと類似する形状、及び、AR分野又はVR分野において用いられる単眼式アイウェア形状を包含する。単眼メガネ様形状は、例えばモノクルの形状及びいわゆるスカウターの形状を包含する。単眼メガネ様形状は、例えばメガネのレンズに相当する構成要素(当該構成要素は必ずしもレンズ機能を有していなくてよい)を1つ含み、当該1つの構成要素が1つの目の前方に配置されるように構成されている形状であってよい。
【0027】
前記頭部装着型表示装置がゴーグル様形状を有する場合、前記センサは、ゴーグル様形状の構成要素のうちのいずれかの位置に設けられていてよい。当該構成要素として、例えば、フレーム部、レンズ部、ストラップ部、及びフォーム部(ゴーグルと顔面とより密着させるための綿状部材)を挙げることができる。これらのうちのいずれか1つ又は2つ以上の構成要素に前記センサが設けられていてよい。例えば、前記センサは、これら構成要素のうちのいずれか1つ又はそれ以上と頭部との位置関係を検出しうる。
ゴーグル様形状は、ゴーグルの形状、ゴーグルと類似する形状、及び、AR分野又はVR分野において用いられるゴーグル型アイウェア形状を包含する。ゴーグル様形状は、例えばAR又はVRをユーザに提示することができるように構成されていてよい。
【0028】
前記センサがヘルメット様形状を有する場合、前記センサは、ヘルメット様形状の構成要素のうちのいずれかの位置に設けられていてよい。当該構成要素として、例えば、シェル部、ライナー部、アウターバイザー部、インナーバイザー部、シールド部、ストラップ部、ヘッドバンド部、イヤーパッド部、及びチンガード部を挙げることができる。これらのうちのいずれか1つ又は2つ以上の構成要素に前記センサが設けられていてよい。例えば、前記センサは、これら構成要素のうちのいずれか1つ又は2つ以上と頭部との位置関係を検出しうる。
ヘルメット様形状は、ヘルメットの形状、ヘルメットと類似する形状、及びAR分野又はVR分野において用いられるヘルメット型ディスプレイの形状を包含する。ヘルメット様形状は、頭部を保護するようにかぶることができる形状を有していてよく、特には頭部のうち少なくとも前頭部、頭頂部、側頭部、及び後頭部を保護するようにかぶることができる形状を有しうる。
【0029】
本技術に従う頭部装着型表示装置によりユーザに提示される画像は、動画像、静止画像、又はこれらの両方であってよい。当該画像は、例えばユーザに情報を提示するための画像であってよく、より具体的にはユーザの動作を補助するための画像であってよい。当該画像の例として、ユーザへのティーチングのための画像、ユーザへのナビゲーションのための画像、及びユーザがゲームを行うための画像であってよいが、これらに限定されない。本技術に従う頭部装着型表示装置は装着ズレを正確に把握することができるので、ユーザの動作により装着ズレが生じた場合においても、良好な画像表示が可能となる。
【0030】
(2)第1の実施形態の例
【0031】
以下で、本技術に従う頭部装着型表示装置の例を、
図1及び2を参照しながら説明する。
図1は、ユーザの頭部に装着された本技術に従う頭部装着型表示装置の模式的な上面図である。
図2は、ユーザの頭部に装着された本技術に従う頭部装着型表示装置の模式的な正面図である。
図1に示される頭部装着型表示装置は、画像表示部、頭部に対する頭部装着型表示装置の位置の変化を検出するセンサ(本明細書内において、頭部に対する頭部装着型表示装置の位置の変化を検出するセンサを「変位センサ」又は「センサ」ともいう)、視線検出装置、投射位置調整機構、制御部、及び記憶部を含む。以下でこれらの構成要素について説明する。
【0032】
(2-1)画像表示部
【0033】
図1に示されるとおり、頭部装着型表示装置100は、メガネ状の形状を有し、両目のそれぞれに画像表示光を投射するように構成されている。すなわち、頭部装着型表示装置100は、左目に画像表示光を投射する画像表示部及び右目に画像表示光を投射する画像表示部を含む。左目に画像表示光を投射する画像表示部は、光源部101L、投影光学系102L、及びホログラフィック光学素子(以下、HOEともいう)103Lを含む。
【0034】
光源部101Lは画像表示光を出射する。当該画像表示光を出射するための構成として、光源部101Lは、例えばレーザ光源120L、ミラー121L、及び走査ミラー122Lを含みうる。レーザ光源120Lから出射されたレーザ光が、ミラー121Lによって反射され、そして走査ミラー122Lに到達する。走査ミラー122Lは、当該レーザ光を二次元的に走査する。走査ミラー122Lは、例えばMEMSミラーであってよい。走査ミラー122Lは、当該レーザ光の方向を、網膜上に画像が形成されるように高速に移動させうる。
【0035】
投影光学系102Lは、当該画像表示光をHOE103Lの所望の領域及び/又は位置に到達するように、当該画像表示光の方向を調整する。例えば、走査ミラー122Lによって走査された画像表示光を平行光にする。
【0036】
HOE103Lは、当該画像表示光が、ユーザの瞳孔付近で集光されそして網膜に照射されるように回折する。HOE103Lは、例えば反射型の回折素子であってよい。HOE103Lは、当該画像表示光の波長範囲の光に対してはレンズとして働き且つ当該波長範囲外の波長の光は透過させる光学特性を有しうる。当該光学特性によって、ユーザは、HOE103Lを介して例えば視線方向の先の風景を認識し、且つ、当該画像表示光による画像を認識することができる。すなわち、外界の風景に、当該画像表示光による画像が重畳させることができる。HOE103Lとして、例えばホログラムレンズ、好ましくはフィルム状のホログラムレンズ、より好ましくは透明なフィルム状ホログラムレンズを挙げることができる。フィルム状のホログラムレンズは、例えばガラスなどに貼り付けて用いられてよい。当技術分野で既知の技法により、ホログラムレンズに所望の光学特性を付与することができる。ホログラムレンズとして、市販入手可能なホログラムレンズが用いられてよく、又は、ホログラムレンズは、当技術分野において公知の技法により製造されてもよい。
【0037】
以上のとおり、光源部101L、投影光学系102L、及びHOE103Lが、画像表示光をユーザの左目に到達させる。
【0038】
頭部装着型表示装置100は、メガネ形状の一部であるツル部109L及びリム部108Lを有する。ツル部109Lに、光源部101L及び投影光学系102Lが配置されている。リム部108Lに、HOE103Lが保持されている。より具体的には、リム部108Lに、投射位置調整機構105L-2を介して内側リム部106Lが保持されており、且つ、内側リム部106Lに、投射位置調整機構105L-1を介してHOE103Lが保持されている。
【0039】
ユーザの右目に画像表示光を投射する画像表示部は、光源部101R、投影光学系102R、及びHOE103Rを含む。光源部101L、投影光学系102L、及びHOE103Lについての説明が、光源部101R、投影光学系102R、及びHOE103Rについても当てはまる。
左目用の画像表示部と同様に、ツル部109Rに、光源部101R及び投影光学系102Rが配置されている。リム部108Rに、HOE103Rが保持されている。より具体的には、リム部108Rに、投射位置調整機構105R-2を介して内側リム部106Rが保持されており、且つ、内側リム部106Rに、投射位置調整機構105R-1を介してHOE103Rが保持されている。
【0040】
頭部装着型表示装置100のリム部108L及び108Rは、ブリッジ部110を介してつながっている。ブリッジ部110は、ユーザが頭部装着型表示装置100を装着したときに、ユーザの鼻にかかる部分である。
また、頭部装着型表示装置100のリム部108L及び108Rの両方が、ヘッドバンド部111につながっている。ヘッドバンド部111は、ユーザが頭部装着型表示装置100を装着したときに、
図2に示されるように、ユーザの頭頂部に接触する部分である。
【0041】
図1に示される光源部101Lは1つのレーザ光源120Lを含むが、光源部101Lに含まれるレーザ光源の数は2つ以上であってよく、例えば2~5であってよい。これら複数のレーザ光源は、互いに異なる波長のレーザ光を出力するものであってよい。
図5に、3つのレーザ光源を含む場合の画像表示部の構成例が示されている。
図5に示される光源部150Lは、レーザ光源151L-1、151L-2、及び151L-3を含む。これら3つのレーザ光源は、互いに異なる波長のレーザ光を出力する。これら3つのレーザ光源から出力されたレーザ光が、ミラー152L-1、152L-2、及び152L-3によって合波され、当該合波されたレーザ光がミラー153Lによって反射され、走査ミラー154Lに到達する。走査ミラー154Lが、当該合波されたレーザ光を二次元的に走査する。走査ミラー154Lは、当該レーザ光の方向を、網膜上に画像が形成されるように高速に移動させうる。光源部150Rも、光源部150Lと同様の構成を有する。
【0042】
(2-2)頭部に対する頭部装着型表示装置の位置の変化を検出するセンサ
【0043】
頭部装着型表示装置100はさらに、ユーザの頭部に対する頭部装着型表示装置100の位置の変化を検出するセンサ104L、104R、104C、及び104Tを備えている。これらセンサにより検出される位置の変化は、例えば位置の変化の方向及び/又は位置の変化の量であってよい。これらセンサの具体的な構成例については、以下(3)を参照されたい。
なお、本明細書内において、センサ104L、104R、104C、及び104Tをまとめて、センサ104と言うことがある。
【0044】
センサ104Lは、頭部装着型表示装置100を構成するツル部109Lのうち、頭部に接触する部位に配置されている。例えば、センサ104Lは、ツル部109Lのうち、ユーザの左耳付近の頭部表面に接触する部位に配置される。
【0045】
センサ104Lは、ユーザの頭部に対する前記部位の位置変化(すなわち、ユーザの頭部に対するセンサ104Lが配置されている部分の位置変化)を検出する。センサ104Lは、例えば、ユーザの左耳付近の頭部表面に接触する部位での当該頭部表面に対する接触圧力の変化に基づき、位置の変化を検出しうる。
【0046】
センサ104Lにより検出される位置の変化は、例えば、頭部装着型表示装置100の水平方向(
図1におけるx方向。例えばユーザの両耳を結ぶ直線における方向であってよい。)における位置の変化であってよい。例えば首振り動作時などに頭部装着型表示装置100に対して水平方向に加速度がかかり、装着ズレが生じうる。当該x軸方向における装着ズレを検出するセンサによって、このような装着ズレに対処することができる。
【0047】
センサ104Lは、検出した位置の変化に関するデータを、後述する制御部112に送信する。前記位置の変化に関するデータは、例えば位置の変化の方向に関するデータ及び/又は位置の変化の量に関するデータを含み、好ましくはこれらデータの両方を含む。制御部112は、受信した位置の変化に関するデータに基づき、光源部101Lによる画像表示光の投射位置の調整又は画像表示光自体の調整を行いうる。また、制御部112は、受信した位置の変化に関するデータに基づき、視線の補正及び/又は投射位置調整機構の駆動を行いうる。
【0048】
センサ104Rは、ツル部109Rのうち、頭部に接触する部位に配置されている。例えば、センサ104Rは、ツル部109Rのうち、ユーザの右耳付近の頭部表面に接触する部位に配置される。
【0049】
センサ104Rは、ユーザの頭部に対する前記部位の位置変化(すなわち、ユーザの頭部に対するセンサ104Rが配置されている部分の位置変化)を検出する。センサ104Rは、例えば、ユーザの右耳付近の頭部表面に接触する部位での当該頭部表面に対する接触圧力の変化に基づき、位置の変化を検出しうる。
【0050】
センサ104Rにより検出される位置の変化は、例えば、頭部装着型表示装置100の水平方向(
図1におけるx方向。例えばユーザの両耳を結ぶ直線における方向であってよい。)における位置の変化であってよい。
【0051】
センサ104Rは、検出した位置の変化に関するデータを制御部112に送信する。前記位置の変化に関するデータは、例えば位置の変化の方向に関するデータ及び/又は位置の変化の量に関するデータを含み、好ましくはこれらデータの両方を含む。
【0052】
センサ104Cは、頭部装着型表示装置100のブリッジ部110に配置されている。センサ104Cは、ユーザが頭部装着型表示装置100を装着したときに、ユーザの鼻付近に接触する部位に配置されている。
【0053】
センサ104Cは、ユーザの頭部に対する前記部位の位置変化(すなわち、ユーザの頭部に対するセンサ104Cが配置されている部分の位置変化)を検出する。センサ104Cは、例えば、ユーザの鼻付近の頭部表面に接触する部位での当該頭部表面に対する接触圧力の変化に基づき、位置の変化を検出しうる。
【0054】
センサ104Cにより検出される位置の変化は、例えば、ユーザの前後方向(
図1におけるy方向。例えばユーザの鼻と後頭部とを結ぶ直線における方向であってよい。)における頭部装着型表示装置100の位置の変化であってよい。例えば首振り動作時などに頭部装着型表示装置100に対して水平方向に加速度がかかり、装着ズレが生じうる。当該y軸方向における装着ズレを検出するセンサによって、このような装着ズレに対処することができる。
【0055】
センサ104Cは、検出した位置の変化に関するデータを制御部112に送信する。前記位置の変化に関するデータは、例えば位置の変化の方向に関するデータ及び/又は位置の変化の量に関するデータを含み、好ましくはこれらデータの両方を含む。
【0056】
センサ104Tは、頭部装着型表示装置100のヘッドバンド部111に配置されている。センサ104Tは、ユーザが頭部装着型表示装置100を装着したときに、ユーザの頭頂部付近に接触する部位に配置されている。
【0057】
センサ104Tは、ユーザの頭部に対する前記部位の位置変化(すなわち、ユーザの頭部に対するセンサ104Tが配置されている部分の位置変化)を検出する。センサ104Tは、例えば、ユーザの頭頂部付近の頭部表面に接触する部位での当該頭部表面に対する接触圧力の変化に基づき、位置の変化を検出しうる。
【0058】
センサ104Tにより検出される位置の変化は、例えば、頭部装着型表示装置100の上下方向(
図2におけるz方向。例えばユーザの頭頂部と首部とを結ぶ直線の方向であってよい。)における位置の変化であってよい。例えば歩行動作時などに頭部装着型表示装置100に対して重力方向に加速度がかかり、装着ズレが生じうる。当該z軸方向における装着ズレを検出するセンサによって、このような装着ズレに対処することができる。
【0059】
センサ104Tは、検出した位置の変化に関するデータを制御部112に送信する。前記位置の変化に関するデータは、例えば位置の変化の方向に関するデータ及び/又は位置の変化の量に関するデータを含み、好ましくはこれらデータの両方を含む。
【0060】
以上のとおり、センサ104L及び104Rが、ユーザの頭部に対する頭部装着型表示装置100の水平方向における位置変化を検出し、センサ104Cが、ユーザの頭部に対する頭部装着型表示装置100の前後方向における位置変化を検出し、且つ、センサ104Tが、ユーザの頭部に対する頭部装着型表示装置100の上下方向における位置変化を検出する。これにより、装着ズレを三次元的に把握することができる。
【0061】
(2-3)視線検出装置
【0062】
頭部装着型表示装置100は、ユーザの視線を検出する視線検出装置107L及び107Rをさらに含みうる。本明細書内において、視線検出装置107L及び107Rをまとめて、視線検出装置107ということがある。頭部装着型表示装置100がこれら視線検出装置を含むことによって、ユーザに提示される画像の位置を、より適切な位置へと調整することが可能となる。例えば、外界の像に頭部装着型表示装置100により提示される画像を重畳する場合に、ユーザの視線を検出することによって、当該画像をより適切な位置に表示することができる。すなわち、視線検出装置107を含むことは、AR情報の提示にとって好ましい。
【0063】
視線検出装置107は、例えば撮像方式の視線検出装置であってよく又はフォトダイオード方式の視線検出装置であってよい。以下で、これら視線検出装置についてより詳細に説明する。
【0064】
視線検出装置107Lは、ユーザの左目の視線を検出する。視線検出装置107Lは、例えばリム部108Lのいずれかの位置に設けられていてよいが、左目の視線を検出することができれば、他の要素(例えば内側リム部106Lなど)のいずれかの位置に設けられていてもよい。
【0065】
視線検出装置107Lは、例えばフォトダイオード方式の視線検出装置であってよい。フォトダイオード方式の視線検出装置は、例えば光源とフォトダイオードとの組合せを含みうる。
前記光源は、左目に光を照射するように構成される。前記光源は、好ましくは赤外光照明光源である。これにより、ユーザによる外界の像の認識及び画像表示光の認識に影響を及ぼすことを防ぐことができる。
前記フォトダイオードは、前記光源から出射された光(特には赤外光)の眼球での反射光を検出するように構成されうる。前記フォトダイオードは、例えば黒目部分(瞳孔)での反射光量と白目部分(強膜)での反射光量との違いを検出できるものでありうる。
前記フォトダイオード方式の視線検出装置は、例えば前記フォトダイオードにより検出される黒目部分の面積割合及び白目部分の面積割合に基づき、視線を検出しうる。
【0066】
フォトダイオード方式の視線検出装置は、装着ズレが発生しても、当該装着ズレを検出することができない。そのため、装着ズレが発生した場合には、当該視線検出装置の視線検出精度が低下しうる。
本技術の頭部装着型表示装置は、上記のとおり、頭部に対する頭部装着型表示装置の位置の変化を検出するセンサを備えており、これにより装着ズレを検出することができる。当該センサにより検出された装着ズレに基づき視線補正を行うことで、視線検出装置による視線検出精度が向上する。本技術の頭部装着型表示装置は、例えば3mm以下、特には2mm以下、より特には1mm以下の精度で、視線を検出しうる。このような精度での視線検出は、マックスウェル視による画像提示にとって特に好ましい。
【0067】
代替的には、視線検出装置107Lは、撮像方式の視線検出装置であってもよい。撮像方式の視線検出装置は、例えば光源と撮像素子との組合せを含みうる。
前記光源は、フォトダイオード方式の場合と同様に、左目に光を照射するように構成される。前記光源は、好ましくは赤外光照明光源である。
前記撮像素子は、例えば前記光源の眼球(特には角膜)での反射像(いわゆるプルキニエ像)及び瞳孔の重心を取得可能な画像を得ることができるように構成されていてよい。前記撮像素子は、例えば赤外線用撮像素子であってよい。
前記撮像方式の視線検出装置は、例えば前記プルキニエ像と前記画像とに基づき、眼球の光軸を推定しうる。前記視線検出装置は、当該推定された光軸を視軸に変換して、視線を検出しうる。
【0068】
前記プルキニエ像と前記画像とに基づく視線検出において、前記光源と眼球の位置関係が固定されていれば、プルキニエ像のできる位置が固定される。装着ズレは、当該位置関係のズレをもたらし、これによりプルキニエ像のできる位置が変化しうる。加えて、当該視線検出は、瞬き又は髪の毛若しくはまつ毛などの影響を受けやすい。さらに、前記視線検出において、個人差の補正のためのキャリブレーションが通常は実施されるところ、装着ズレが生じた場合には再度キャリブレーションを実施する必要が生じる。
本技術の頭部装着型表示装置は、上記のとおり、頭部に対する頭部装着型表示装置の位置の変化を検出するセンサを備えており、これにより装着ズレを検出することができる。そのため、例えば装着ズレの量に応じた補正値を予め用意しておき(例えば記憶部などに記憶しておき)、装着ズレが生じたことに応じて当該補正値を用いて補正を行うことで、精度よく視線検出を行うことが可能となる。加えて、装着ズレの検出は、瞬き又は髪の毛若しくはまつ毛などの影響を受けにくい。さらに、検出された装着ズレに基づく補正を行うことで、キャリブレーションを行う回数を減らすこともできる。
【0069】
(2-4)投射位置調整機構
【0070】
頭部装着型表示装置100は、頭部装着型表示装置100から射出される画像表示光の投射位置を調整する投射位置調整機構105L-1及び105L-2並びに105R-1及び105R-2をさらに含みうる。なお、本明細書内においてこれら4つの投射位置調整機構をまとめて、投射位置調整機構105という場合がある。投射位置調整機構105は、例えば視線に追従して画像表示光の投射位置を調整するように構成されていてよく、すなわち視線追従機構であってよい。投射位置調整機構105によって、画像表示光の投射位置を装着ズレに応じて調整することができる。
【0071】
加えて、投射位置調整機構105によって、眼球の回転移動又は視線の移動に応じて画像表示光の投射位置を調整することができる。例えば、頭部装着型表示装置100が投射位置調整機構105を含むことによって、ユーザに提示される画像の位置を、より適切な位置へと調整することが可能となる。例えば、外界の像に頭部装着型表示装置100により提示される画像を重畳する場合に、ユーザの視線を検出することによって、当該画像をより適切な位置に表示することができる。すなわち、視線検出装置107を含むことは、AR情報の提示にとって好ましい。また、これら投射位置調整機構によって、マックスウェル視による画像表示において画像表示光が集光される位置を調整することもできる。
【0072】
投射位置調整機構105について、
図6を参照しながら説明する。
図6は、当該投射位置調整機構を説明するための図である。
【0073】
投射位置調整機構105L-1及び105L-2は、左目に投射される画像表示光の投射位置を調整する。
投射位置調整機構105L-1は、内側リム部106Lとリム部108Lとのz軸方向における位置関係を調整する。例えば、投射位置調整機構105L-1は、内側リム部106Lを、リム部108Lに対してz軸方向に移動させる。これにより、HOE103Lのz軸方向における位置が調整される。
投射位置調整機構105L-2は、HOE103Lと内側リム部106Lとのx軸方向における位置関係を調整する。例えば、投射位置調整機構105L-2は、HOE103Lを、内側リム部106Lに対してx軸方向に移動させる。これにより、HOE103Lのx軸方向における位置が調整される。
【0074】
投射位置調整機構105L-1による内側リム部106Lとリム部108Lとのz軸方向における位置関係の調整を駆動するための駆動素子は、例えばピエゾ素子、アクチュエータ、又はバイメタルであってよいが、これらに限定されない。
投射位置調整機構105L-2によるHOE103Lと内側リム部106Lとのx軸方向における位置関係の調整を駆動するための駆動素子も、例えばピエゾ素子、アクチュエータ、又はバイメタルであってよいが、これらに限定されない。
【0075】
投射位置調整機構105L-1は、内側リム部106Lとリム部108Lとのz軸方向における位置関係の調整を、例えば、センサ104L、104R、104C、及び104Tのうちの1つ、2つ、3つ、又は4つ全てにより検出された頭部装着型表示装置100の位置の変化に基づき行いうる。また、投射位置調整機構105L-1は、前記位置関係の調整を、当該位置の変化と、視線検出装置107Lにより検出された視線と、に基づき行ってもよい。
投射位置調整機構105L-2は、HOE103Lと内側リム部106Lとのx軸方向における位置関係の調整を、例えば、センサ104L、104R、104C、及び104Tのうちの1つ、2つ、3つ、又は4つ全てにより検出された頭部装着型表示装置100の位置の変化に基づき行いうる。また、投射位置調整機構105L-2は、前記位置関係の調整を、当該位置の変化と、視線検出装置107Lにより検出された視線と、に基づき行ってもよい。
【0076】
投射位置調整機構105R-1及び105R-2は、右目に投射される画像表示光の投射位置を調整する。当該調整は、投射位置調整機構105L-1及び105L-2と同様に行われてよい。
【0077】
本技術の頭部装着型表示装置に含まれる投射位置調整機構の他の構成例を
図7に示す。
図7に示される頭部装着型表示装置200は、左目に画像表示光を投射するための構成として、HOE203Lとリム部208Lとを含む。
HOE203Lとリム部208Lとが、投射位置調整機構251L-1を介して接続されており、投射位置調整機構251L-1は、HOE203Lとリム部208Lとのx軸方向における位置関係を調整しうる。
ツル部209Lとリム部208Lとが、投射位置調整機構251L-2を介して接続されており、投射位置調整機構251L-2は、ツル部209Lとリム部208Lとのy軸方向における位置関係を調整しうる。
右目に画像表示光を投射するための構成も、左目用のものと同様である。
以上のとおりの構成とすることによって、リム部の構成を簡素化することができる。
【0078】
(2-5)制御部及び記憶部
【0079】
頭部装着型表示装置100は、制御部112を有する。頭部装着型表示装置100の主な構成要素を示すブロック図である
図8に示されるとおり、制御部112は、画像制御部181、投射位置制御部182、及び視線補正部183を含む。
【0080】
画像制御部181は、画像表示部による画像表示光の投射を制御する。画像制御部181は、例えば光源部101L及び101R、特にはこれら光源部に含まれるレーザ光源及び走査ミラーを駆動して、画像表示光を出力させる。画像制御部181は、例えば記憶部184に格納されている画像データを取得し、当該画像データに基づき、光源部101L及び101Rに画像表示光を出力させうる。画像制御部181は、センサ104により検出された、頭部に対する頭部装着型表示装置100の位置の変化に基づき、当該画像データを補正してもよい。画像制御部181は、補正後の画像データに基づき、光源部101L及び101Rに画像表示光を出力させてもよい。すなわち、頭部装着型表示装置100は、頭部に対する頭部装着型表示装置の位置の変化を検出するセンサにより検出された位置の変化に基づき画像を補正してもよい。
【0081】
投射位置制御部182は、投射位置調整機構105L-1、105L-2、105R-1、及び105R-2を制御し、これにより画像表示光の投射位置が制御されうる。
例えば、投射位置制御部182は、視線検出装置107L及び107Rにより検出された視線に基づき、投射位置調整機構105L-1、105L-2、105R-1、及び105R-2のうちの1つ~4つを駆動して、画像表示光の投射位置を調整しうる。例えば当該視線に追従するように、画像表示光の投射位置が調整されうる。
投射位置制御部182は、後述の視線補正部183による補正後の視線に基づき、投射位置調整機構105L-1、105L-2、105R-1、及び105R-2のうちの1つ~4つを駆動して、画像表示光の投射位置を調整してもよい。例えば当該補正後の視線に追従するように、画像表示光の投射位置が調整されうる。
投射位置制御部182は、センサ104L、104R、104C、及び104Tのうちの1つ~4つにより検出された、頭部に対する頭部装着型表示装置100の位置の変化に関するデータ(以下「変位データ」ともいう)に基づき、投射位置調整機構105L-1、105L-2、105R-1、及び105R-2のうちの1つ~4つを駆動して、画像表示光の投射位置を調整してもよい。
【0082】
投射位置制御部182は、例えば、前記変位データと補正係数とに基づき、各投射位置調整機構による位置調整量を算出しうる。投射位置制御部182は、算出された位置調整量だけ位置関係が変更されるように各投射位置調整機構を駆動しうる。
投射位置制御部182は、例えば記憶部184に予め格納されている補正テーブルから補正係数を取得し、当該補正係数を前記位置調整量の算出のために用いてよい。当該補正テーブルは、例えば複数の補正係数を有していてよく、投射位置制御部182は、これら複数の補正係数のうちから、変位データに応じて所定の補正係数を選択しうる。また、補正テーブルは、例えば投射位置調整機構毎に設けられていてよい。当該補正テーブルは、頭部装着型表示装置100に予め備えられていてよく、又は、ユーザによる頭部装着型表示装置100の使用に応じて更新されてもよい。補正テーブル又は補正係数の選択又は更新によって、投射位置制御の精度を向上させることができる。
投射位置制御部182は、前記位置調整量の算出のために、視線検出装置により検出された視線又は視線補正部183による補正後の視線を用いてもよい。
【0083】
視線補正部183は、前記変位データに基づき、視線検出装置107L及び107Rにより検出された視線の補正を行う。これにより、視線補正部183によって、装着ズレを考慮した視線の同定が可能となり、視線検出精度が向上する。当該補正は、眼球の光軸に対して行われてよく、眼球の視軸に対して行われてもよく、又はその他の参照軸に対して行われてもよい。
視線補正部183も、例えば記憶部184に予め格納されている補正テーブルから補正係数を取得し、当該補正係数を前記視線補正のために用いてよい。当該補正テーブルは、例えば複数の補正係数を有していてよく、視線補正部183は、これら複数の補正係数のうちから、変位データに応じて所定の補正係数を選択しうる。当該補正テーブルは、頭部装着型表示装置100に予め備えられていてよく、又は、ユーザによる頭部装着型表示装置100の使用に応じて更新されてもよい。補正テーブル又は補正係数の選択又は更新によって、視線補正の精度を向上させることができる。
【0084】
頭部装着型表示装置100はさらに記憶部184を含んでいてよい。記憶部は、画像表示部により投射される画像表示光に関するデータ、投射位置制御部122による投射位置の制御に用いられる補正テーブル、及び、視線補正部123による視線補正のために用いられる補正テーブルを格納していてよい。
【0085】
(2-6)画像表示処理の例
【0086】
頭部装着型表示装置100による画像表示処理のフロー図を
図9に示す。
【0087】
ステップS101において、頭部装着型表示装置100は、ユーザへの画像の提示を開始する。具体的には、制御部112(特には画像制御部181)が光源部101を駆動して画像表示光の出力を開始する。例えば、画像制御部181が、記憶部184に格納されている画像データを読み出し、そして、当該画像データに基づき光源部101に画像表示光を出力させる。
【0088】
ステップS101に先立ち、頭部装着型表示装置100は、当該装置を装着したユーザに対し、例えば画像、音声、又はこれらの両方などの情報を提示することによって、当該装置がキャリブレーションを行うために必要な動作を行うように促してもよい。当該キャリブレーションは、例えばセンサ104、投射位置調整機構105、若しくは視線検出装置107の設定を更新するための補正であってよく、又は、上記で述べた各種補正テーブルの更新のための補正であってもよい。
【0089】
前記キャリブレーションは、例えば以下の通りに行われうる。まず、ユーザが頭部に頭部装着型表示装置100を装着する。次に、頭部装着型表示装置100が、例えば位置調整用マーカー画像などの画像をユーザに提示して、ユーザに装置100の位置調整を促す。次に、ユーザが、当該画像を参照して、装置100の位置を調整し、そして、装置100と頭部との位置関係を固定する。次に、装置100が、当該位置関係を初期の位置関係として記憶する。ここで、装置100は、IPD(Inter Pupillary Distance、瞳孔間距離)を記憶してもよい。次に、装置100は、当該初期の位置関係に基づき、ユーザの視線を検出及び/又は追尾できているかを確認する。装置100は、ユーザの視線を検出及び/又は追尾できていることを確認したら、キャリブレーションを終了する。確認できない場合は、再度、前記位置調整を促すことから前記確認までを繰り返す。
【0090】
前記初期の位置関係(又は前記初期の位置関係及びIPD)は、各ユーザの初期調整量として記憶部に記憶されてよい。これにより、複数のユーザが同じ頭部装着型表示装置を使う場合において、使用するユーザの初期調整量を記憶部から呼び出すことで、キャリブレーションに要する時間を省くことができる。
【0091】
ステップS102において、前記画像の提示の開始に伴い、制御部112は、頭部に対する頭部装着型表示装置100の位置の変化を検出するセンサ104が起動する。そして、センサ104が、当該位置の変化の有無を継続的な監視を開始する。当該検出についての詳細は上記(2-2)において説明したとおりである。
ステップS102において、画像の提示の開始に伴い、視線検出装置107が起動されてもよい。そして、視線検出装置107が、画像が提示されている間においてユーザの視線を連続的に検出しうる。視線の移動に応じて、画像表示光の投射位置が当該視線を追従するように変更されてもよい。
【0092】
ステップS103において、センサ104が前記位置の変化を検出した場合において、センサ104は、前記位置の変化に関するデータ(変位データ)を、制御部112に送信する。制御部112は、前記変位データを受信したことに応じて、処理をステップS103に進める。
前記位置の変化が検出されない場合は、センサ104は、引き続き前記位置の変化の有無の監視を継続する。
【0093】
ステップS104において、制御部112(特には投射位置制御部182)が、前記位置の変化に基づき、画像表示光が投射される位置を調整する。例えば、投射位置制御部182が、前記変位データに基づき位置調整量を算出する。そして、投射位置制御部182は、投射位置調整機構105を駆動して、画像表示光の投射位置を算出された位置調整量だけ移動する。
【0094】
投射位置制御部182は、前記位置調整量の算出のために、例えば補正テーブルを用いうる。例えば、投射位置制御部182は、記憶部184に格納されている補正テーブルを読み出し、当該補正テーブルと前記変位データとを用いて位置調整量を算出しうる。当該補正テーブルは、複数の補正係数を含んでいてよく、例えば、当該補正テーブルに含まれる複数の補正係数のうちから、前記変位データに応じて、当該算出のための補正係数が選択されうる。
【0095】
ステップS104における投射位置の調整において、例えば前記位置調整量の算出において、視線検出装置107により検出された視線の位置が用いられてもよい。
【0096】
ステップS104において、投射位置制御部182は、前記算出された位置調整量だけ投射位置が変更されるように、投射位置調整機構を駆動する。これにより画像表示光が投射される位置が調整される。
【0097】
ステップS103における位置変化の検出及びステップS104における投射位置の調整は、例えば画像表示部による画像表示光の投射が行われている間に行われてよい。すなわち、画像表示部による画像表示光の投射が連続的に行われている間に、ステップS103及びステップS104が行われうる。これにより、途切れることなく画像がユーザに提示されながら、頭部に対する頭部装着型表示装置100の位置の変化に応じて、画像表示光の投射位置が調整される。例えば、画像が視線を追従しているようにユーザが認識しうる。
代替的には、ステップS103において位置変化が検出された後に、画像表示部による画像の提示が一時的に中止されてもよい。例えば頭部に対する頭部装着型表示装置100の位置の変化の程度が大きい場合には、ユーザの視野範囲外へ画像が移動しうる。このような場合において、ステップS103において検出された位置の変化が大きいことに応じて、画像制御部181は画像の提示を中止し、そして、ステップS104における調整が完了した後に、画像制御部181が画像の提示を再開してもよい。これにより、視野範囲外から画像が戻ってくるのでなく、視野範囲外に消えた画像が視線方向に再度現れるようにユーザが認識しうる。
【0098】
なお、取得された前記変位データは、頭部装着型表示装置100の頭部への固定力を定量化するために用いられてもよい。当該固定力が定量化されることで、ユーザは、頭部装着型表示装置100を適切な固定力で頭部へ締め付けることできる。また、適切な固定力での締め付けは、頭部装着型表示装置100をより長い時間快適に装着することに貢献し、加えて、装着ズレの抑制にも貢献しうる。
【0099】
(3)センサの詳細
【0100】
図1には、頭部に対する頭部装着型表示装置の位置の変化を検出するセンサを4つ有する頭部装着型表示装置が示されているが、本技術の頭部装着型表示装置は、頭部に対する頭部装着型表示装置の位置の変化を検出するセンサを少なくとも1つ有すればよい。すなわち、本技術の頭部装着型表示装置は頭部に対する頭部装着型表示装置の位置の変化を検出するセンサを1つ以上有し、例えば当該装置に備えられている当該センサの数はより具体的には1~10であってよく、より特には1~6、さらにより特には1~4でありうる。
【0101】
図1に示されるとおり、前記センサは、前記頭部装着型表示装置のうち、頭部に接触する部位に配置されていてよい。例えば、前記センサが、前記頭部装着型表示装置のうち、頭部に接触する部位に配置されており、且つ、当該部位の頭部に対する接触圧力を検出するものでありうる。
【0102】
前記接触圧力を検出するセンサは、例えば押圧を検出するセンサであってよい。当該押圧を検出するセンサは、例えば光学的に押圧を検出するセンサ、静電容量に基づき押圧を検出するセンサ、又は磁気的に押圧を検出するセンサであってよいが、これらに限定されない。
【0103】
前記光学的に押圧を検出するセンサは、例えば光量の変化に基づき押圧を検出するセンサ又は光の検出位置の変化に基づき押圧を検出するセンサであってよい。
【0104】
光量の変化に基づき押圧を検出するセンサの一例を、以下で
図3を参照しながら説明する。
図3に示されるセンサ30は、光源31、光量検出器32、光量制限部33、及びバネ34を含む。光源31は、放射状に光を出射する光源であってよく、例えばLEDであってよい。光量検出器32は、例えばフォトダイオードであってよい。光量制限部33は、ピンホール35が設けられた板状部材であってよい。光量制限部33は、光源31から射出された光がピンホール35を通過して光量検出器32に到達するように構成されている。
【0105】
光源31は、光源保持筐体36に保持されている。光量検出器32及び光量制限部33は、光量検出器保持筐体37に保持されている。光源保持筐体36と光量検出器保持筐体37とは、バネ34によって接続されている。光量検出器32及び光量制限部33は光量検出器保持筐体37に固定されており、光量検出器32と光量制限部33(特にはピンホール35)の位置関係は固定されている。一方で、光源31と光量検出器32との位置関係は固定されていない。例えば、光量検出器保持筐体37を光源保持筐体36に向かって押すことによって、バネ34が縮み、光量検出器32が光源31に近づく。当該押すことを解除することによって、バネ34が伸び、光量検出器32が光源31から離れる。
【0106】
例えば
図3のAに示されるとおり、光量検出器保持筐体37に押圧を加えることによって、光量検出器保持筐体37が光源31に近づき、これに伴い光量制限部33及びピンホール35が光源31に近づく。ピンホール35が光源31に近づくことで、光量検出器32によって検出される光量は多くなる。当該押圧が一部解除されると、バネ34が伸び、例えば
図3のBに示される状態になる。
図3のBの状態において、ピンホール35が光源31から離れ、これによって光量検出器32によって検出される光量が、
図3のAに比べる場合と比べて少なくなる。当該押圧が完全に解除されると、バネ34がさらに伸び、例えば
図3のCに示される状態になる。
図3のCの状態において、ピンホール35が光源31からさらに離れるので、光量検出器32によって検出される光量が、
図3のBに比べる場合と比べて少なくなる。以上のとおり、光量検出器32によって検出される光量と光量検出器保持筐体37を光源保持筐体36との距離は、例えば
図3の下部のグラフに示されるとおり、所定の関係を有する。当該距離は押圧によって変化するものであるので、センサ30は、本技術において、光量の変化に基づき押圧を検出するセンサとして利用できる。
【0107】
光の検出位置の変化に基づき押圧を検出するセンサの一例を、以下で
図4を参照しながら説明する。
図4に示されるセンサ40は、光源41、光検出器42、ミラー43、及びバネ44を含む。光源41は、指向性が高い光を出射する光源であってよく、例えば半導体レーザ(LD)であってよい。光検出器42は、光の到達位置を検出することができる検出器であってよく、例えば位置検出素子(Position Sensing Detector)であってよい。
【0108】
光源41は、光源保持筐体46に保持されている。また、光検出器42も、仕切り45を介して、光源保持筐体46に保持されている。光検出器42は、光源41から出射されそしてミラー43で反射された光が到達する位置に配置されている。ミラー43は、ミラー保持筐体47に保持されている。光源保持筐体46とミラー保持筐体47とは、バネ44によって接続されている。光源41及び光検出器42は光量保持筐体46に固定されており、光源41及び光検出器42の位置関係は固定されている。一方で、光源41とミラー43との位置関係は固定されていない。例えば、ミラー保持筐体47を光源保持筐46に向かって押すことによって、バネ44が縮み、ミラー43が光源41に近づく。当該押すことを解除することによって、バネ44が伸び、ミラー43が光源41から離れる。
【0109】
例えば
図4のAに示されるとおり、ミラー保持筐体47に押圧を加えることによって、ミラー保持筐体47が光源41に近づき、これに伴いミラー43も光源41に近づく。ミラー43が光源41に近づくことで、光検出器42によって検出される光の到達位置は、光源41に近づく。当該押圧が一部解除されると、バネ44が伸び、例えば
図4のBに示される状態になる。
図4のBの状態において、ミラー43が光源41から離れ、これによって光検出器42によって検出される光の位置が、
図4のAに比べる場合と比べて、光源41から離れる。当該押圧が完全に解除されると、バネ44がさらに伸び、例えば
図4のCに示される状態になる。
図4のCの状態において、ミラー43が光源41からさらに離れるので、光検出器42によって検出される光の位置が、
図4のBに比べる場合と比べて、光源41から離れる。以上のとおり、光検出器42によって検出される光の位置とミラー保持筐体47を光源保持筐体46との距離は、例えば
図4の下部のグラフに示されるとおり、所定の関係を有する。当該距離は押圧によって変化するものであるので、センサ40は、本技術において、光の検出位置の変化に基づき押圧を検出するセンサとして利用できる。
【0110】
本技術において用いられる前記静電容量に基づき押圧を検出するセンサは、例えば変形可能な導体層と当該導体層の変形を検出する電極基板とを含みうる。当該変形の検出が、静電容量の変化に基づき行われる。当該センサは、例えばシート形状を有しうる。このようなセンサの例として、例えば特開2014-179620号公報に記載されたセンサ装置を挙げることができる。当該センサ装置は、変形可能なシート状の第1の導体層と前記第1の導体層に対向して配置される第2の導体層と、前記第1及び第2の導体層の間に変形可能に配置された電極基板とを含む。当該センサ装置は、第1の導体層上から押圧した際に第1及び第2の導体層各々と電極基板との間の相対距離がそれぞれ変化し、その距離の変化に基づいて押圧を静電的に検出する。
本技術において用いられる前記静電容量に基づき押圧を検出するセンサは、上記センサ装置に限定されず、他の構成を有するものであってもよい。
【0111】
本技術において用いられる磁気的に押圧を検出するセンサは、例えばホール効果を利用したセンサであってよい。当該センサは、例えばホール素子と磁石とを含みうる。ホール素子と磁石との位置関係に応じて、ホール素子から出力される電圧が変化する。
【0112】
本技術において、頭部に対する頭部装着型表示装置の位置の変化を検出するセンサは、例えば二次元的な位置の変化を検出するセンサであってよく、より好ましくは、三次元的な位置の変化を検出するセンサであってよい。例えば、頭部に対する頭部装着型表示装置の位置の変化を検出するセンサは、複数のセンサの組合せによって、二次元的又は三次元的な位置の変化を検出するものであってよく、又は、1つのセンサによって二次元的又は三次元的な位置の変化を検出するものであってよい。
【0113】
例えば、頭部に対する頭部装着型表示装置の位置の変化を検出する1つのセンサが1軸方向の位置の変化を検出するものである場合、当該センサを2つ又は3つ以上組み合わせることで、二次元的又は三次元的な位置の変化を検出することができる。例えば、
図3及び4に示したセンサは、1つのセンサによって1軸方向の位置の変化を検出するものであり、これを2つ以上組み合わせることで二次元的又は三次元的な位置の変化を検出することができる。
また、頭部に対する頭部装着型表示装置の位置の変化を検出する1つのセンサが2軸方向又は3軸方向の位置の変化を検出するものである場合、当該センサ1つによって二次元的又は三次元的な位置の変化を検出することができる。2軸方向又は3軸方向の前記位置の変化を検出するセンサとして、市販入手可能なセンサ又は当技術分野において公知のセンサが用いられてよい。当該センサの一例として、例えばショッカクポット(タッチエンス株式会社)を挙げることができる。
【0114】
図1に示されるセンサは頭部に接触する部位に配置されるものであるが、本技術において、頭部に対する頭部装着型表示装置の位置の変化を検出するセンサは、前記頭部装着型表示装置のうち、頭部に接触しない部位に配置されていてもよい。例えば、前記センサは、前記頭部装着型表示装置のうち、頭部に接触しない部位に配置されており、且つ、当該部位の頭部基準位置に対する位置の変化を検出するものであってよい。
【0115】
前記頭部基準位置は、例えば頭部表面に存在する特徴位置であってよい。当該特徴位置は例えば頭部表面画像に基づき設定されてよく、例えばホクロ、シミ、毛、若しくは凹凸、又は、特定の色の配置を有する領域(例えば皮膚表面の模様など)が、特徴位置として設定されうる。代替的には、特定の色の変化を有する領域が、特徴位置として設定されてもよい。特定の色の変化を有する領域の例として、例えば目頭又は目尻などを挙げることができる
【0116】
前記頭部に接触しない部位に配置されるセンサ(以下、「非接触型センサ」ともいう)の例として、例えば測距センサ、特にはTOFセンサを挙げることができる。測距センサによって、頭部基準位置と測距センサとの距離を測定し、測定された距離の変化を、頭部の頭部装着型表示装置に対する位置の変化として用いられてよい。
非接触型センサは、例えば画像センサ、特にはCMOS又はCCDであってもよい。画像センサにより撮像された頭部表面画像中の頭部基準位置の変化に基づき、頭部の頭部装着型表示装置に対する位置の変化が検出されてもよい。画像センサが用いられる場合、例えば頭部表面画像中の2つ以上の特徴点の傾き及び/又は間隔などの変化に基づき、又は、前記2つ以上の特徴点の傾き及び/又は間隔などの撮像倍率の変化に基づき、頭部の頭部装着型表示装置に対する位置の変化が検出されうる。
【0117】
(4)頭部装着型表示装置の構成例
【0118】
以下で、
図10を参照しながら、本技術の頭部装着型表示装置の構成の一例を説明する。
【0119】
図10に示される頭部装着型表示装置1000は、CPU(Central Processing Unit)1001、RAM1002、及びROM1003を備えている。CPU1001、RAM1002、及びROM1003は、バス1004を介して相互に接続されている。バス1004には、さらに入出力インタフェース1005が接続されている。
【0120】
入出力インタフェース1005には、通信装置1006、記憶部1007、ドライブ1008、出力部1009、及び入力部1010が接続されている、
【0121】
通信装置1006は、頭部装着型表示装置1000をネットワーク1011に有線又は無線で接続する。通信装置1006によって、頭部装着型表示装置1000は、ネットワーク1010を介して各種データ(例えば画像データなど)を取得することができる。取得したデータは、例えばディスク1007に格納されうる。通信装置1006の種類は当業者により適宜選択されてよい。
【0122】
記憶部1007は、オペレーティング・システム(例えば、WINDOWS(登録商標)、UNIX(登録商標)、LINUX(登録商標)、ANDROID(登録商標)、又はiOS(登録商標)など)、本技術に従う画像表示方法を頭部装着型表示装置に実現させるためのプログラム、及び他の種々のプログラム、並びに、画像データ、音声データ、本技術に従う画像表示方法において用いられる各種データ(例えば補正テーブルなど)、及び他の種々のデータが格納されうる。
【0123】
ドライブ1008は、記録媒体に記録されているデータ(例えば画像データ及び音声データなど)又はプログラムを読み出して、RAM1003に出力することができる。記録媒体は、例えば、microSDメモリカード、SDメモリカード、又はフラッシュメモリであるが、これらに限定されない。
【0124】
出力部1009は、画像データに基づき、画像表示部に画像表示光を出力させる。また、出力部1009、音声データに基づき、例えばスピーカ及びヘッドホンなどの音声出力装置に音声を出力させてもよい。入力部1010は、例えばユーザによる頭部装着型表示装置の操作を受け付ける。
【0125】
2.第2の実施形態(画像表示システム)
【0126】
本技術は、頭部に対する頭部装着型表示装置の位置の変化を検出するセンサを備えている頭部装着型表示装置と、前記頭部装着型表示装置に画像データを送信する情報処理装置と、を含む画像表示システムも提供する。
【0127】
前記頭部装着型表示装置は、上記1.において説明したとおりであり、その説明が本実施形態においても当てはまる。
【0128】
前記情報処理装置は、前記頭部装着型表示装置に画像データを送信することができればよく、例えばスマートフォン、タブレット、パーソナルコンピュータ、又はサーバであってよい。前記情報処理装置は、例えばCPU、RAM、及びROMに加えて、通信装置及び記憶部を備えていてよい。
【0129】
前記情報処理装置は、前記記憶部に記憶されている画像データ又は画像データと音声データとを、通信装置を用いて前記頭部装着型表示装置に送信する。当該送信は、例えば有線又は無線によりネットワークを介して又は介さずに行われてよい。
【0130】
前記頭部装着型表示装置は、画像データ又は画像データと音声データと通信装置によって受信する。これらのデータは、例えば前記頭部装着型表示装置の記憶部に格納されうる。前記頭部装着型表示装置は、これらのデータに基づき、画像表示光を出力しうる。
【0131】
3.第3の実施形態(画像表示方法)
【0132】
本技術は、頭部に対する頭部装着型表示装置の位置の変化を検出する検出工程、及び、前記検出工程において検出された位置の変化に基づき、前記頭部装着型表示装置からの画像表示光が投射される位置を調整する調整工程、を含む画像表示方法も提供する。
【0133】
本技術に従う画像表示方法は、前記検出工程を含むので、装着ズレを検出することができる。本技術に従う画像表示方法は、さらに前記調整工程を含むので、装着ズレに応じた画像表示光の投射位置の調整を行うことができる。
【0134】
前記検出工程及び前記調整工程は、例えば前記頭部装着型表示装置を装着したユーザへ当該頭部装着型表示装置による画像の表示が行われている間に行われてよい。これにより、頭部装着型表示装置による画像の表示が行われている間に装着ズレが生じた場合に、当該装着ズレに応じた画像表示光の投射位置の調整が可能となる。
【0135】
本技術の画像表示方法は、例えば本技術の頭部装着型表示装置100により実行されうる。前記検出工程は、例えば頭部装着型表示装置100のうちセンサ104によって行われうる。前記調整工程は、投射位置調整機構105により行われうる。そのため、上記1.における頭部装着型表示装置100に関する説明、特にはセンサ104及び投射位置調整機構105に関する説明が、本技術の画像表示方法及び当該画像表示方法に含まれる前記検出工程及び前記調整工程ついても当てはまる。
【0136】
本技術の画像表示方法のフローは、上記1.の(2-6)において
図9を参照しながら説明したとおりである。
図9のフロー図のうち、ステップS102及びS103、特にはステップS103が、前記検出工程に相当する。ステップS104が、前記調整工程に相当する。そのため、これらステップについての説明が、前記検出工程及び前記調整工程にも当てはまる。
【0137】
なお、本技術は、以下のような構成をとることもできる。
〔1〕頭部に対する頭部装着型表示装置の位置の変化を検出するセンサを備えている頭部装着型表示装置。
〔2〕前記センサが、前記頭部装着型表示装置を装着したユーザの眼球の参照軸を検出するものでない、〔1〕に記載の頭部装着型表示装置。
〔3〕前記センサが、前記頭部に対する前記センサの配置部分の位置変化に基づき、前記頭部装着型表示装置の位置の変化を検出するものである、〔1〕又は〔2〕に記載の頭部装着型表示装置。
〔4〕前記頭部装着型表示装置が、前記センサにより検出された前記位置の変化に応じて、前記頭部装着型表示装置により投射される画像表示光の投射位置を変更する、〔1〕~〔3〕のいずれか一つに記載の頭部装着型表示装置。
〔5〕前記センサが、前記頭部装着型表示装置のうち、頭部に接触する部位に配置されている、〔1〕~〔4〕のいずれか一つに記載の頭部装着型表示装置。
〔6〕前記センサが、前記頭部装着型表示装置のうち、頭部に接触する部位に配置されており、且つ、当該部位の頭部に対する接触圧力を検出するものである、〔1〕~〔4〕のいずれか一つに記載の頭部装着型表示装置。
〔7〕前記センサが、前記頭部装着型表示装置のうち、頭部に接触しない部位に配置されている、〔1〕~〔4〕のいずれか一つに記載の頭部装着型表示装置。
〔8〕前記センサが、前記頭部装着型表示装置のうち、頭部に接触しない部位に配置されており、且つ、当該部位の頭部基準位置に対する位置の変化を検出するものである、〔1〕~〔4〕のいずれか一つに記載の頭部装着型表示装置。
〔9〕前記頭部装着型表示装置が、前記センサにより検出された位置の変化に基づき画像を補正する、〔1〕~〔8〕のいずれか一つに記載の頭部装着型表示装置。
〔10〕前記頭部装着型表示装置が画像表示部を含み、
前記画像表示部が、画像表示光が瞳孔付近に集光されそして網膜に照射されてマクスウェル視を行えるように構成されている、
〔1〕~〔9〕のいずれか一つに記載の頭部装着型表示装置。
〔11〕前記頭部装着型表示装置が、ユーザの両目のそれぞれに画像表示光を投射するように構成されている、〔1〕~〔10〕のいずれか一つに記載の頭部装着型表示装置。
〔12〕前記頭部装着型表示装置が、ユーザの視線を検出する視線検出装置をさらに含む、〔1〕~〔11〕のいずれか一つに記載の頭部装着型表示装置。
〔13〕前記視線検出装置が、フォトダイオード方式又は撮像方式の視線検出装置である、〔12〕に記載の頭部装着型表示装置。
〔14〕前記頭部装着型表示装置が、当該頭部装着型表示装置から射出される画像表示光の投射位置を調整する投射位置調整機構をさらに含む、〔1〕~〔3〕のいずれか一つに記載の頭部装着型表示装置。
〔15〕前記投射位置調整機構が、視線に追従して画像表示光の投射位置を調整する、〔14〕に記載の頭部装着型表示装置。
〔16〕前記頭部装着型表示装置が、両眼メガネ様形状、単眼メガネ様形状、ゴーグル様形状、又はヘルメット様形状を有する頭部装着型表示装置である、〔1〕~〔15〕のいずれか一つに記載の頭部装着型表示装置。
〔17〕頭部に対する頭部装着型表示装置の位置の変化を検出するセンサを備えている頭部装着型表示装置と、
前記頭部装着型表示装置に画像データを送信する情報処理装置と、
を含む画像表示システム。
〔18〕頭部に対する頭部装着型表示装置の位置の変化を検出する検出工程、及び
前記検出工程において検出された位置の変化に基づき、前記頭部装着型表示装置からの画像表示光が投射される位置を調整する調整工程
を含む画像表示方法。
【符号の説明】
【0138】
100 頭部装着型表示装置
101 光源部
102 投影光学系
103 HOE
104 変位センサ
105 投射位置調整機構