IP Force 特許公報掲載プロジェクト 2022.1.31 β版

知財求人 - 知財ポータルサイト「IP Force」

▶ アーエムエス インターナショナル アーゲーの特許一覧

(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公表特許公報(A)
(11)【公表番号】
(43)【公表日】2024-06-18
(54)【発明の名称】眼球移動の決定
(51)【国際特許分類】
   G02B 27/02 20060101AFI20240611BHJP
   A61B 3/113 20060101ALI20240611BHJP
   G06F 3/01 20060101ALI20240611BHJP
   G09G 5/37 20060101ALI20240611BHJP
   G09G 5/391 20060101ALI20240611BHJP
   G09G 5/00 20060101ALI20240611BHJP
   G01S 17/58 20060101ALI20240611BHJP
【FI】
G02B27/02 Z
A61B3/113
G06F3/01 510
G09G5/37 320
G09G5/391
G09G5/00 550C
G01S17/58
【審査請求】有
【予備審査請求】未請求
(21)【出願番号】P 2023571730
(86)(22)【出願日】2022-05-03
(85)【翻訳文提出日】2024-01-16
(86)【国際出願番号】 EP2022061864
(87)【国際公開番号】W WO2022243027
(87)【国際公開日】2022-11-24
(31)【優先権主張番号】2107238.4
(32)【優先日】2021-05-20
(33)【優先権主張国・地域又は機関】GB
(81)【指定国・地域】
(71)【出願人】
【識別番号】521548733
【氏名又は名称】アーエムエス インターナショナル アーゲー
【氏名又は名称原語表記】AMS INTERNATIONAL AG
【住所又は居所原語表記】Eichwiesstrasse 18b, Jona, Switzerland
(74)【代理人】
【識別番号】110002952
【氏名又は名称】弁理士法人鷲田国際特許事務所
(72)【発明者】
【氏名】ナイエル ダニエル
(72)【発明者】
【氏名】ガイガー イェンス
(72)【発明者】
【氏名】スアレス フェラン
(72)【発明者】
【氏名】ヌヴー ローラン
(72)【発明者】
【氏名】マウテ スヴェンヤ
【テーマコード(参考)】
2H199
4C316
5C182
5E555
5J084
【Fターム(参考)】
2H199CA45
2H199CA47
2H199CA68
2H199CA96
4C316AA21
4C316AB01
4C316FC04
4C316FC28
4C316FZ03
5C182AB33
5C182BA14
5C182BA56
5C182CB12
5C182CB44
5C182DA66
5E555AA66
5E555BA90
5E555BB40
5E555BC04
5E555BE17
5E555CA42
5E555CB65
5E555CC01
5E555DA08
5E555DB53
5E555DC43
5E555FA00
5J084AA07
5J084AB07
5J084AD04
5J084BA51
(57)【要約】
仮想現実(VR)または拡張現実(AR)ヘッドセット(1)のディスプレイを操作するための方法であって、本方法は、ユーザの眼(6)の移動方向を決定することと、決定された移動方向から将来の視線方向を推定することと、ディスプレイ上に、推定された視線方向を含む領域におけるより高い解像度の画像データと、決定された視線方向を含む領域の外側のより低い解像度の画像データとを含む画像をレンダリングすることと、を含む方法。ユーザの眼(6)の移動方向を決定することは、第1のレーザ(4)によって放出された光ビーム(11)を用いてユーザの眼を照明することと、第1のレーザ(4)において、ユーザの眼(6)から方向転換された光(12)を受け取って、レーザキャビティ内で、第1のレーザによって生成された光とユーザの眼(12)から方向転換された光との間で自己混合干渉(14)が生じるようにすることと、自己混合干渉(14)を測定することと、測定された自己混合干渉(14)からユーザの眼(6)の移動方向を決定することと、を含む、方法。
【選択図】図1
【特許請求の範囲】
【請求項1】
仮想現実(VR)または拡張現実(AR)ヘッドセット(1)のディスプレイを操作するための方法であって、前記方法は、
ユーザの眼(6)の移動方向を決定することと、
前記決定された移動方向から将来の視線方向を推定することと、
前記ディスプレイ上に、前記推定された視線方向を含む領域におけるより高い解像度の画像データと、前記決定された視線方向を含む前記領域の外側のより低い解像度の画像データとを含む画像をレンダリングすることと、を含み、
前記ユーザの眼(6)の移動方向を決定することは、
第1のレーザ(4)によって放出された光ビーム(11)を用いて前記ユーザの眼を照明することと、
前記第1のレーザ(4)において、前記ユーザの眼(6)から方向転換された光(12)を受け取って、レーザキャビティ内で、前記第1のレーザによって生成された光と前記ユーザの眼(12)から方向転換された前記光との間で自己混合干渉(14)が生じるようにすることと、
前記自己混合干渉(14)を測定することと、
前記測定された自己混合干渉(14)から、前記ユーザの眼(6)の移動方向を決定することと、を含む前記方法。
【請求項2】
前記ユーザの眼(6)を照明することは、前記ユーザの眼(6)の強膜のみを照明することを含む、請求項1に記載の方法。
【請求項3】
前記方法はさらに、前記測定された自己混合干渉(14)から前記ユーザの眼(6)の移動速度を決定することを含む、請求項1または2に記載の方法。
【請求項4】
前記自己混合干渉(14)から前記ユーザの眼(6)の前記移動方向を決定することは、前記ユーザの眼(6)の移動に起因する前記方向転換された光(12)のドップラーシフトによって生じる自己混合干渉(14)から、前記ユーザの眼(6)の前記移動方向を決定することを含む、請求項1~3のいずれか1項に記載の方法。
【請求項5】
前記ユーザの眼(6)の移動に起因する前記方向転換された光(12)のドップラーシフトによって生じる自己混合干渉(14)から、前記ユーザの眼(6)の前記移動方向を決定することは、前記測定された自己混合干渉に対してフーリエ変換を行うことを含む、請求項4に記載の方法。
【請求項6】
前記方法は、
前記第1のレーザ(4a)によって第1の方向に放出された光ビームを用いてユーザの眼を照明することと、
第2のレーザ(4b)によって第2の方向に放出された光ビームを用いてユーザの眼を照明することであって、前記第2の方向は前記第1の方向とは非平行である、前記照明することと、
前記第1のレーザ(4a)において、前記ユーザの眼から方向転換された光を受け取って、前記第1のレーザのレーザキャビティ内で、前記第1のレーザ(4a)によって生成された光と前記ユーザの眼から方向転換された光(6)との間で自己混合干渉が生じるようにすることと、
前記第2のレーザ(4b)において、前記ユーザの眼から方向転換された光を受け取って、前記第2のレーザのレーザキャビティ内で、前記第2のレーザ(4b)によって生成された光と前記ユーザの眼から方向転換された光(6)との間で自己混合干渉が生じるようにすることと、
前記第1のレーザ(4a)の前記レーザキャビティ内の前記自己混合干渉を測定し、前記第2のレーザ(4b)の前記レーザキャビティ内の前記自己混合干渉を測定することと、
前記第1のレーザ(4a)の前記レーザキャビティ内の前記測定された自己混合干渉から、前記第1の方向における前記ユーザの眼(6)の移動を決定し、前記第2のレーザ(4b)の前記レーザキャビティ内の前記測定された自己混合干渉から、前記第2の方向における前記ユーザの眼(6)の移動を決定することと、を含む、請求項1~5のいずれか1項に記載の方法。
【請求項7】
前記自己混合干渉を測定することは、前記レーザ(4)の電圧または電流を測定することを含む、請求項1~6のいずれか1項に記載の方法。
【請求項8】
仮想現実(VR)または拡張現実(AR)ヘッドセット(1)であって、
ユーザの頭部に取り付けるためのフレームと、
前記フレーム内に組み込まれるかまたは前記フレーム上に配置された眼球移動を決定するためのデバイスであって、前記デバイスは、
使用中にユーザの眼(6)を照明するための光ビーム(11)を放出し、前記ユーザの眼(6)から方向転換された光(12)を受け取るように構成された第1のレーザ(4)であって、レーザキャビティ内で、前記第1のレーザ(4)によって生成された光と前記ユーザの眼(6)から方向転換された前記光(12)との間で自己混合干渉(14)が生じるように構成されている、前記第1のレーザ(4)と、
前記自己混合干渉を測定するように構成された測定装置と、
前記測定された自己混合干渉(14)から前記ユーザの眼(8)の移動方向を決定するように構成された処理ユニット(8)であって、前記処理ユニット(8)はさらに、前記決定された前記ユーザの眼(6)の移動方向から将来の視線方向を推定するように構成されている、前記処理ユニット(8)と、を含む前記デバイスと、
ディスプレイ上に、前記決定された将来の視線方向での表示領域におけるより高い解像度の画像データと、前記決定された将来の視線方向での前記表示領域の外側のより低い解像度の画像データとを含む画像をレンダリングするように構成されたディスプレイと、を含む、仮想現実(VR)または拡張現実(AR)ヘッドセット(1)。
【請求項9】
前記第1のレーザ(4)は、前記ユーザの眼(6の強膜)に向けてのみ光を放出するように構成されている、請求項8に記載のVRまたはARヘッドセット(1)。
【請求項10】
前記処理ユニット(8)はさらに、前記測定された自己混合干渉(14)から前記ユーザの眼(6)の移動速度を決定するように構成されている、請求項8または9に記載のVRまたはARヘッドセット(1)。
【請求項11】
前記処理ユニット(8)は、前記ユーザの眼(6)の移動に起因する前記方向転換された光(12)のドップラーシフトによって生じる自己混合干渉(14)から、前記ユーザの眼(6)の前記移動方向を決定するように構成されている、請求項8~10のいずれか1項に記載のVRまたはARヘッドセット(1)。
【請求項12】
前記第1のレーザ(4)は垂直共振器面発光レーザ(VCSEL)を含む、請求項8~11のいずれか1項に記載のVRまたはARヘッドセット(1)。
【請求項13】
前記測定装置は光検出器(17)を含む、請求項8~12のいずれか1項に記載のVRまたはARヘッドセット(1)。
【請求項14】
前記処理ユニット(8)は、前記光検出器(17)に入射する光の周波数変調を決定するように構成されている、請求項13に記載のVRまたはAR(1)ヘッドセット。
【請求項15】
前記第1のレーザ(4)は垂直共振器面発光レーザ(VCSEL)を含み、前記光検出器(17)は前記VCSELと単一の半導体デバイスとして一体化されている、請求項13または14に記載のVRまたはARヘッドセット(1)。
【請求項16】
前記光検出器(17)は前記第1のレーザ(4)から空間的に分離されており、前記デバイスはさらに、前記自己混合干渉の少なくとも一部を前記光検出器(17)に向けて方向転換するように構成された光学素子(18、19)を含む、請求項13または14に記載のVRまたはARヘッドセット(1)。
【請求項17】
前記測定装置は、前記レーザ(4)の電圧入力または電流入力を測定するように構成されたセンサを含む、請求項8~12のいずれか1項に記載のVRまたはARヘッドセット(1)。
【請求項18】
前記第1のレーザ(4)は、前記放出された光ビーム(11)の光軸が前記ユーザの眼(6)の表面に対して鋭角を形成するように前記光ビーム(11)を放出するように構成されている、請求項8~17のいずれか1項に記載のVRまたはARヘッドセット(1)。
【請求項19】
前記デバイスは、
使用中に前記ユーザの眼(6)を照明するための光ビームを放出するようにそれぞれ構成された第1のレーザ対(4a、4b)を含み、
前記第1のレーザ対は、前記第1のレーザ(4a)と第2のレーザ(4b)とを含み、前記第1のレーザ(4a)は第1の方向に光を放出するように構成され、前記第2のレーザ(4b)は第2の方向に光を放出するように構成され、前記第2の方向は前記第1の方向とは非平行である、請求項8~18のいずれか1項に記載のVRまたはARヘッドセット(1)。
【請求項20】
使用中に前記ユーザの眼を照明するための光ビームを放出するようにそれぞれ構成された第2のレーザ対(4c、4d)を含み、前記第2のレーザ対は、第3のレーザ(4c)と第4のレーザ(4d)とを含む、請求項19に記載のVRまたはARヘッドセット(1)。
【請求項21】
前記第3のレーザ(4c)は、前記第1の方向と平行な方向に光を放出するように構成され、前記第4のレーザ(4d)は、前記第2の方向と平行な方向に光を放出するように構成されている、請求項20に記載のVRまたはARヘッドセット(1)。
【請求項22】
前記デバイスは、前記第1のレーザ(4a)からの前記放出された光ビームの、前記ユーザの眼(6)の中心を二分する第1の平面に対するオフセットが、前記第3のレーザ(4c)からの前記放出された光ビームの、前記ユーザの眼(6)の中心を二分する前記第1の平面に対するオフセットに等しくなるように構成され、
前記デバイスは、前記第2のレーザ(4b)からの前記放出された光ビームの、前記ユーザの眼(6)の中心を二分する第2の平面に対するオフセットが、前記第4のレーザ(4d)からの前記放出された光ビームの、前記ユーザの眼(6)の中心を二分する前記第2の平面に対するオフセットに等しくなるように構成されている、請求項21に記載のVRまたはARヘッドセット(1)。
【請求項23】
前記第3のレーザ(4c)は第3の方向に光を放出するように構成され、前記第3の方向は前記第1の方向とは異なり、
前記第4のレーザ(4d)は、前記第2の方向とは異なり前記第3の方向とは非平行である第4の方向に光を放出するように構成されている、請求項20に記載のVRまたはARヘッドセット(1)。
【発明の詳細な説明】
【技術分野】
【0001】
本出願は、仮想現実(VR)または拡張現実(AR)ヘッドセット、及びVRまたはARヘッドセットを操作するための方法に関し、詳細には、共振光源の自己混合干渉から眼球移動の方向を決定し、ディスプレイ上に画像を、ユーザの視線方向においてより高い解像度でレンダリングするように構成されたデバイスに関する。
【背景技術】
【0002】
仮想現実(VR)、拡張現実(AR)、または複合現実(MR)ヘッドセットにおいて使用されるようなスマートガラスディスプレイでは、フォービエイテッドレンダリングを使用することが知られている。フォービエイテッドレンダリングは、眼が現在見ている方向(視線方向として知られている)を中心とした狭い立体角においてのみ高解像度画像を計算することによって、計算能力を節約することができる(したがって、電力消費を低減し、それに応じてバッテリ寿命を延ばすことができる)。狭い立体角の外側では、ディスプレイによって生成された画像は、はるかに少ない処理能力を必要とするぼやけた低解像度画像である。視線方向の外側領域の低解像度は、ユーザには認識されない。
【0003】
従来技術の追跡装置では、ユーザの眼を画像化するためのカメラを、照明用の複数のLEDとともに利用している。これらのカメラベースのシステムでは、大量のイメージ処理とともにLEDを動作させることを含むため、大量のパワーを使用し、バッテリ寿命を低下させる。
【0004】
いくつかの従来技術のシステムでは、眼を、異なる半径及び屈折率を有する2つの球体(角膜及び眼球)としてモデル化する。半径または屈折率の変化を利用して、角膜の周囲、従ってユーザの視線方向を決定することができる。
【0005】
Sarkar et al.,「A resonant eye-tracking microsystem for velocity estimation of saccades and foveated rendering」,IEEE 30th International Conference on Micro Electro Mechanical Systems(MEMS),304(2017)は、所与の時間において眼の位置を決定するためにスキャニングレーザ、ミラー、及びフォトダイオードを使用するスマートガラスに関する。これにより、眼の位置データから眼の移動速度を間接的に測定することができる。しかし、このデバイスは可動部品を含み、眼鏡がユーザに対して動くときに時間のかかる較正が必要である。また、角膜の境界を特定するスキャニングレーザに依拠しており、ユーザの眼の安全性にとって有害である可能性がある。
【0006】
Sangu et al.,Proceedings of the SPIE 11310,113101F(2020)は、VCSELアレイ、凹面鏡、及び2D感光検出器を使用する視線追跡に関する。これは、角膜の照明にも依拠し(ユーザの眼の安全性にとって有害である可能性がある)、大きなフォームファクタを有し、ユーザの眼の速度を直接には測定しない。
【0007】
Meyer et al.(Bosch)-「Low Power Scanned Laser Eye Tracking for Retinal Projection AR Glasses」は、視線追跡用のIR-VCSEL-スキャニングを有するレーザビームスキャニング(LBS)ディスプレイに関する。これは、角膜の照明にも依拠し(ユーザの眼の安全性にとって有害である可能性がある)、ユーザの眼の速度を直接には測定しない。
【0008】
Meyer(Trumpf,Bosch)et al.,「A Novel Eye-Tracking Sensor for AR Glasses Based on Laser Self-Mixing Showing Exceptional Robustness Against Illumination」は、自己混合干渉を利用してユーザの眼の位置を決定するための遠隔反射体として、眼の網膜を使用する視線追跡に関する。これは、網膜の照明に依拠し(ユーザの眼の安全性にとって有害である可能性がある)、ユーザの眼の速度を直接には測定しない。
【0009】
低消費電力で、較正を必要せず、ユーザの眼の安全性が改善され、可動部品がない眼球移動方向測定装置を有するVRまたはARヘッドセットを提供することが望ましい。
【発明の概要】
【0010】
全般的に、本開示は、ユーザの眼の移動方向を直接に決定するために、共振光源(レーザなど)から放出された光とユーザの眼から方向転換された光との間の自己混合干渉法を使用するデバイスを提供することによって、前述の問題のうちの少なくとも一部を打開することを提案する。
【0011】
態様及び好ましい特徴は、添付の特許請求の範囲に述べられている。
【0012】
提案する方法及びデバイスによって、以下の利点が得られる。
- デバイスは、移動方向を直接測定し、移動方向を測定するより正確で電力消費が少ない方法を提供する。
- デバイスは、従来技術のデバイスと比較して応答時間が非常に短い。
- デバイスは機械的な可動部品を含まない。
- 光検出器または光学素子を位置合わせする必要がなく、機械的な可動部品もないので、大幅な再較正がデバイスのユーザに必要とされることはない。
- 本開示の実施形態は、別個の光検出器を必要としないため電力消費がさらに低減されるか、または共振光源に組み込まれた光検出器を利用する。
- デバイスは、従来技術のデバイスと比較してフォームファクタが小さい。
- デバイスは、周囲光からの外乱に対する感度がない(本方法及びデバイスが干渉を測定するため)。
- デバイスは、電力消費が低減され、したがってバッテリ寿命が長くなる。
- デバイスの操作は、角膜または網膜の照明を必要としないため、眼の安全性が向上する。
【0013】
提案する方法及びデバイスを使用して、VRまたはARヘッドセットにおける視線方向を推定し、フォービエイテッドレンダリングを向上させ得る。提案する方法及びデバイスは、疲労検出にも使用し得る。
【0014】
本開示の第1の態様によれば、仮想現実(VR)または拡張現実(AR)ヘッドセットのディスプレイを操作するための方法であって、方法は、ユーザの眼の移動方向を決定することと、決定された移動方向から将来の視線方向を推定することと、ディスプレイ上に、推定された視線方向を含む領域におけるより高い解像度の画像データと、決定された視線方向を含む領域の外側のより低い解像度の画像データとを含む画像をレンダリングすることと、を含み、ユーザの眼の移動方向を決定することは、第1のレーザによって放出された光ビームを用いてユーザの眼を照明することと、第1のレーザにおいて、ユーザの眼から方向転換された光を受け取って、レーザキャビティ内で、第1のレーザによって生成された光とユーザの眼から方向転換された光との間で自己混合干渉が生じるようにすることと、自己混合干渉を測定することと、測定された自己混合干渉から、ユーザの眼の移動方向を決定することと、を含む方法が提供される。
【0015】
本明細書では、方向転換された光を用いて、ユーザの眼から反射または散乱された光を指す場合がある。
【0016】
本方法はさらに、自己混合干渉法(SMI)を介してユーザの眼の移動速度を決定することを含んでいてもよい。SMIによって、反射光を受け取るためのさらなるフォトダイオードを必要とすることなく、正確な移動方向または速度の測定が可能になる。SMIを使用して、放出光の一部がユーザの眼の表面から方向転換され、各レーザに戻る。レーザキャビティ内に再び結合された反射光は、元のレーザ光線と干渉して、レーザ放射特性を変調させる。レーザ放射特性(たとえばレーザパワー出力、接合電圧など)の変化を測定すれば、ユーザの眼の移動についての情報を得ることができる。ディスプレイ上に、推定された視線方向を含む領域におけるより高い解像度の画像データと、決定された視線方向を含む領域の外側のより低い解像度の画像データとを含む画像をレンダリングすることによって、処理及び電力消費を低減しながら、ユーザはその視野において高解像度画像を見ることができる。
【0017】
本方法によって、ユーザの眼の移動速度または方向を直接測定し得る。ユーザの眼の位置を測定することなく、速度及び/または方向を直接測定することによって、方向または速度を測定するために使用される処理能力が減り、移動の方向及び速度の測定を非常に速く(高頻度で)かつより高精度で得ることができる。ユーザの眼の移動速度及び/または方向を測定することで、ユーザの視線方向を予測することができる。さらに、機械的な可動部品が使用されていないため、デバイスの重量、及びユーザの眼の移動速度または方向を測定するために使用される消費電力がさらに低減される。
【0018】
ユーザの眼を照明することは、ユーザの眼の強膜のみを照明することを含んでいてもよい。ユーザの眼を照明することは、角膜を照明することを含んでいなくてもよい。本明細書では、ユーザの眼の強膜を用いて、角膜の領域から離れているが依然として瞼の間にあるユーザの眼球の領域を指す。これによって、角膜(直径がより小さく、曲率がより大きい)と、直径がより大きいユーザの眼の他の領域との間の形状差に起因して生じる誤った速度測定の影響が減る。このような誤った速度測定は、レーザが角膜領域を第1の時点で照明し、角膜外側を2回目に照明した場合に生じる可能性がある。さらに、これによって、ユーザの眼に損傷を与える可能性がある角膜及び網膜への照明が減る。
【0019】
自己混合干渉からユーザの眼の移動方向を決定することは、ユーザの眼の移動に起因する方向転換された光のドップラーシフトによって生じる自己混合干渉から、ユーザの眼の移動方向を決定することを含んでいてもよい。
【0020】
ユーザの眼の移動に起因する方向転換された光のドップラーシフトによって生じる自己混合干渉からユーザの眼の移動方向を決定することは、測定された自己混合干渉に対してフーリエ変換を行うことを含んでいてもよい。
【0021】
本方法は、第1のレーザによって第1の方向に放出された光ビームを用いてユーザの眼を照明することと、第2のレーザによって第2の方向に放出された光ビームを用いてユーザの眼を照明することであって、第2の方向は第1の方向とは非平行である、照明することと、第1のレーザにおいて、ユーザの眼から方向転換された光を受け取って、第1のレーザのレーザキャビティ内で、第1のレーザによって生成された光とユーザの眼から方向転換された光との間で自己混合干渉が生じるようにすることと、第2のレーザにおいて、ユーザの眼から方向転換された光を受け取って、第2のレーザのレーザキャビティ内で、第2のレーザによって生成された光とユーザの眼から方向転換された光との間で自己混合干渉が生じるようにすることと、第1のレーザのレーザキャビティ内の自己混合干渉を測定し、第2のレーザのレーザキャビティ内の自己混合干渉を測定することと、第1のレーザのレーザキャビティ内の測定された自己混合干渉から、第1の方向におけるユーザの眼の移動を決定し、第2のレーザのレーザキャビティ内の測定された自己混合干渉から、第2の方向におけるユーザの眼の移動を決定することと、を含んでいてもよい。これによって、2つの方向での移動速度を測定するための方法が可能になる。
【0022】
自己混合干渉を測定することは、レーザの電圧または電流を測定することを含んでいてもよい。ユーザの眼の移動は、各レーザに入力される電流または電圧から決定してもよい。SMIはレーザ出力に影響するので、レーザへの電力供給にも影響する。これは、ユーザの眼の移動方向または速度を決定するために測定することができる。これによって、別個の光検出器を必要とすることなく、ユーザの眼の移動方向及び/または速度を測定することができ、これによって消費電力が低減される。
【0023】
代替的に、SMIは光学的検出を使用してもよく、ユーザの眼の移動が各レーザ源の光出力から決定される。たとえば、フォトダイオードをレーザの近くに配置して、レーザの出力強度を測定してもよい。フォトダイオードは、レーザエピタキシ内に一体化してもよいし、またはレーザの背後に配置してもよく、光がユーザの眼に進むときに通るミラーとは反対側のレーザミラーから出力されるパワーをモニタリングするように配置してもよい。
【0024】
本開示のさらなる態様によれば、仮想現実または拡張現実ヘッドセットであって、ユーザの頭部に取り付けるためのフレームと、フレーム内に組み込まれるかまたはフレーム上に配置された眼球移動を決定するためのデバイスであって、デバイスは、使用中にユーザの眼を照明するための光ビームを放出し、ユーザの眼から方向転換された光を受け取るように構成された第1のレーザであって、レーザキャビティ内で、第1のレーザによって生成された光とユーザの眼から方向転換された光との間で自己混合干渉が生じるように構成されている第1のレーザと、自己混合干渉を測定するように構成された測定装置と、測定された自己混合干渉からユーザの眼の移動方向を決定するように構成された処理ユニットであって、処理ユニットはさらに、決定されたユーザの眼の移動方向から将来の視線方向を推定するように構成されている、処理ユニットと、ディスプレイ上に、決定された将来の視線方向での表示領域におけるより高い解像度の画像データと、決定された将来の視線方向での表示領域の外側のより低い解像度の画像データとを含む画像をレンダリングするように構成されたディスプレイと、を含むデバイスが提供される。
【0025】
第1のレーザは、(たとえば、ユーザの眼の通常の移動範囲に対して)ユーザの眼の強膜に向けてのみ光を放出するように構成してもよい。本明細書では、ユーザの眼の強膜を用いて、角膜の領域から離れているが、依然として瞼の間にあるユーザの眼球の領域を指す。
【0026】
本明細書では、方向転換された光を用いて、ユーザの眼から反射または散乱された光を指す場合がある。光を用いて、可視光線を指す場合があるが、可視スペクトル外の電磁放射(たとえば、赤外線放射)を指す場合がある。
【0027】
処理ユニットはさらに、測定された自己混合干渉からユーザの眼の移動速度を決定するように構成してもよい。
【0028】
処理ユニットは、ユーザの眼の移動に起因する方向転換された光のドップラーシフトによって生じる自己混合干渉から、ユーザの眼の移動方向を決定するように構成してもよい。本明細書では、ドップラーシフトを用いて、第1のレーザから放出された光と、ユーザの眼の移動に起因するユーザの眼から方向転換された光との間の周波数差を指す場合がある。
【0029】
第1のレーザは単色(狭帯域)であってもよい。第1のレーザは、正確な方向または速度測定のために高コヒーレンスを有していてもよい(たとえば、コヒーレンス長が2cmを超える、より好ましくはコヒーレンスが2mまたは200mを超える)。
【0030】
第1のレーザは、赤外線または近赤外線スペクトルにおける波長において動作するように構成してもよい。たとえば、第1のレーザは、波長が850nm~1500nm、たとえば940nmの光を放出するように構成してもよい。波長が長いほど、通常は、眼の安全性の観点からより優れており、したがって比較的より高い出力パワーで使用することができ、より優れた信号対雑音比をもたらし得る。
【0031】
第1のレーザは、端面発光レーザ、分布帰還型(DFB)レーザ、または分布ブラッグ反射器(DBR)レーザなどのレーザダイオードを含んでいてもよい。
【0032】
第1のレーザは、垂直共振器面発光レーザ(VCSEL)を含んでいてもよい。VCSELSは、比較的安価であり、低消費電力であるため、デバイスのバッテリ寿命が延びる。さらに、VCSELSはフォームファクタが小さいため、より省スペースのデバイスが得られる。
【0033】
測定装置は、光検出器を含んでいてもよい。
【0034】
処理ユニットは、光検出器に入射する光の周波数変調を決定するように構成してもよい。レーザにおける光の周波数変調は、レーザキャビティに再び入る反射光によって誘導されてもよい。
【0035】
第1のレーザは、垂直共振器面発光レーザ(VCSEL)を含んでいてもよく、光検出器は、VCSELと単一の半導体デバイスとして一体化されていてもよい。これにより、再較正または光検出器の位置合わせへの要件が取り除かれる。
【0036】
光検出器は、第1のレーザから空間的に分離されていてもよく、デバイスはさらに、自己混合干渉の少なくとも一部を光検出器に向けて方向転換するように構成された光学素子を含んでいてもよい。光学素子は、ビームスプリッタであってもよいし、またはデバイスに組み込むことができるかまたはデバイスを含むVRもしくはARヘッドセットまたはスマートグラスに組み込むことができる他の光学素子(カバーガラスなど)であってもよい。
【0037】
測定装置は、レーザの電圧入力または電流入力を測定するように構成されたセンサを含んでいてもよい。これにより、別個の光検出器を必要とすることなく、ユーザの眼の移動方向及び速度を測定することができる。これにより、電力消費が低減され、フォームファクタがより小さくなり、デバイスの設計配置における柔軟性が増加したデバイスが可能になる。別個の光検出器は必要ではないので、デバイスは、より高い生産収率及びより大きな設計自由度で実施及び製造するために、より単純でより費用対効果が高い。
【0038】
第1のレーザは、放出された光ビームの光軸がユーザの眼の表面に対して鋭角を形成するように光ビームを放出するように構成してもよい。この角度は、第1のレーザの入射角と言ってもよい。光ビームは鋭角であってもよく、ユーザの眼の表面に垂直でなくてもよいので、ビームは、ユーザの眼の回転中にユーザの眼の移動方向に成分を有して、ユーザの眼の回転に起因するドップラーシフトを経てもよい。
【0039】
デバイスは、使用中にユーザの眼を照明するための光ビームを放出するようにそれぞれ構成された第1のレーザ対を含んでいてもよく、第1のレーザ対は、第1のレーザと第2のレーザとを含んでいてもよい。第1のレーザは、第1の方向に光を放出するように構成してもよく、第2のレーザは、第2の方向に光を放出するように構成してもよく、第2の方向は第1の方向とは非平行である。
【0040】
第2のレーザは、第1のレーザと同様の方法で動作してもよい。しかし、第2のレーザは、異なる方向に光を放出するように構成してもよい。また第2のレーザは、使用中にユーザの眼を照明するための光ビームを放出し、ユーザの眼から方向転換された光を受け取って、第2のレーザのレーザキャビティ内で、第2のレーザによって生成された光とユーザの眼から方向転換された光との間で自己混合干渉が生じるように構成してもよい。デバイスはさらに、第2のレーザの自己混合干渉を測定するように構成された第2の測定装置を含んでいてもよい。処理ユニットはさらに、第2のレーザからの測定された自己混合干渉からユーザの眼の移動方向を決定するように構成してもよい。
【0041】
デバイスは、使用中にユーザの眼を照明するための光ビームを放出するようにそれぞれ構成された第2のレーザ対を含んでいてもよく、第2のレーザ対は、第3のレーザと第4のレーザとを含んでいてもよい。第3のレーザは、第1の方向と平行な方向に光を放出するように構成してもよく、第4のレーザは、第2の方向と平行な方向に光を放出するように構成してもよい。
【0042】
デバイスは、第1のレーザからの放出された光ビームの、ユーザの眼の中心を二分する第1の平面に対するオフセットが、第3のレーザからの放出された光ビームの、ユーザの眼の中心を二分する第1の平面に対するオフセットに等しくなるように構成してもよく、またデバイスは、第2のレーザからの放出された光ビームの、ユーザの眼を二分する第2の平面に対するオフセットが、第4のレーザからの放出された光ビームの、ユーザの眼を二分する第2の平面に対するオフセットに等しくなるように構成してもよい。第1及び第3のレーザは、第1の平面と平行な方向に光を放出するように構成してもよく、第2及び第4のレーザは、第2の平面と平行な方向に光を放出するように構成してもよい。
【0043】
第3のレーザからのビームと第1のレーザからのビームとが、平行であり、またユーザの眼の中心を二分する平面に対して等しいオフセットを有するということは、第1のレーザからの放出された光ビームの入射角を、第3のレーザからの放出された光ビームの入射角と等しくなるように構成できることを意味する。同様に、第2のレーザからのビームと第4のレーザからのビームとが、平行であり、またユーザの眼の中心を二分する平面に対して等しいオフセットを有するということは、第2のレーザからの放出された光ビームの入射角を、第4のレーザからの放出された光ビームの入射角と等しくなるように構成できることを意味する。この構成によれば、第1のレーザと第3のレーザとを使用して、眼の速度ベクトルの互いに同じ成分を測定することができ、第2のレーザと第4のレーザとを使用して、互いに同じ速度ベクトルを測定することができる。そして、これらを互いにクロスチェックすることができる。
【0044】
第3のレーザは、第3の方向に光を放出するように構成してもよく、第3の方向は第1の方向とは異なっており、第4のレーザは、第2の方向とは異なり第3の方向とは非平行である第4の方向に光を放出するように構成してもよい。この構成によれば、レーザの第1及び第2の対は、眼の速度ベクトルの同じ絶対値を測定する。
【0045】
第1のレーザ対は、ユーザの眼の第1の領域を照明するように構成してもよく、第2のレーザ対は、ユーザの眼の第2の領域を照明するように構成してもよく、第2の領域は第1の領域から離れている。
【0046】
次に、本開示のいくつかの実施形態を、添付図面を参照しながら単に一例として説明する。
【図面の簡単な説明】
【0047】
図1】眼球移動を決定するためのデバイスを含むVRまたはARヘッドセットの概略平面図である。
図2】2つのレーザ対を含む眼球移動を決定するためのデバイスの概略断面図である。
図3】ユーザの眼を照明する2つのレーザの概略図である。
図4】ユーザの眼を照明する2つのレーザ対の概略図である。
図5】眼球移動を決定するためのデバイスを含む代替的なVRまたはARヘッドセットの概略平面図である。
図6図5のVRまたはARヘッドセットで使用するホログラフィック楕円ミラーを例示する図である。
図7】眼球移動を決定するためのデバイスにおいて使用されるレーザの概略図である。
図8図6のレーザのレーザキャビティ内での光の自己混合干渉を示す図である。
図9a】光の自己混合干渉を測定する眼の変位を示す図である。
図9b】光の自己混合干渉を測定する電圧信号を示す図である。
図9c】光の自己混合干渉を測定する光電流信号を示す図である。
図9d】光の自己混合干渉を測定する光電流信号を示す図である。
図10図9bに示した電圧信号または図9cに示した光電流信号の時間微分を示す図である。
図11】自己混合干渉を測定する電圧信号の高速フーリエ変換を示す図である。
図12a】眼球移動を決定するためのデバイスにおいて使用されるVCSEL及びフォトダイオードの代替的な構成を例示する図である。
図12b】眼球移動を決定するためのデバイスにおいて使用されるVCSEL及びフォトダイオードの代替的な構成を例示する図である。
図12c】眼球移動を決定するためのデバイスにおいて使用されるVCSEL及びフォトダイオードの代替的な構成を例示する図である。
図12d】眼球移動を決定するためのデバイスにおいて使用されるVCSEL及びフォトダイオードの代替的な構成を例示する図である。
図13】レーザ接合部における電圧読み出しを例示する図である。
【発明を実施するための形態】
【0048】
全般的に言って、本開示によって、VRまたはARヘッドセットのディスプレイを操作するための方法であって、共振光源及び対応するVRまたはARヘッドセットの自己混合干渉から眼球移動を決定することを含む方法が提供される。
【0049】
解決策のいくつかの例を、添付図に示す。
【0050】
図1に、ステム3を有するフレーム2を含む1対のスマートガラス1(たとえば、仮想現実(VR)、拡張現実(AR)または複合現実(MR)ヘッドセット)内に組み込まれた眼球移動を決定するためのデバイスの概略平面図を例示する。
【0051】
デバイスは、ユーザの眼6を照明するためにレーザビーム5を放出するように構成されたレーザ4(たとえば、VCSELレーザ)を含む。レーザビーム5の一部は、ユーザの眼6から方向転換(反射または散乱)されて、レーザ4内に戻る。したがって、レーザ4は、方向転換された光を受け取るためのレシーバーユニットでもある。方向転換された光は、レーザ4の出力を変化させる自己混合干渉(SMI)を通してレーザ4のレーザキャビティ内で、放出された光ビームと干渉する。レーザ4の出力強度(またはレーザ4への入力電圧または入力電流)をモニタリングすることによって、ユーザの眼6の移動方向及び速度を決定することができる。デバイスはまた、SMIに基づいてユーザの眼6の移動方向及び速度を決定するための処理ユニット8を含む。
【0052】
処理ユニット8は、図7に関連して説明するように、ユーザの眼の移動に起因する方向転換された光のドップラーシフトによって生じる自己混合干渉から、ユーザの眼の移動方向及び速度を決定するように構成されている。これにより、直接的な速度測定が可能になる。
【0053】
レーザビームは、眼鏡のユーザ/着用者の眼6の強膜(角膜7の外側の領域)を照明してもよい。これにより、角膜領域7(直径がより小さく、曲率がより大きい)と、直径がより大きいユーザの眼6の他の領域との間の形状差に起因して生じる誤った速度測定の影響が減る。このような誤った速度測定は、レーザが角膜領域7を第1の時点で照明し、角膜外側7を2回目に照明した場合に生じる可能性がある。さらに、これによって、ユーザの眼6に損傷を与える可能性がある角膜7及び網膜への照明が減る。
【0054】
図1に示す例では、レーザ4は、眼鏡のフレーム2の角部(またはテンプル)に配置されているが、レーザ4は、フレーム2のブリッジ上を含む他の場所に配置してもよい。図示した例では、処理ユニット8は、ステム3上に配置されているが、眼鏡上の他の場所に配置してもよい。
【0055】
ディスプレイは、スマートガラスのフレーム2内に配置してもよい。処理ユニットを使用してユーザの将来の視線方向を決定してもよく、ディスプレイを、フォービエイテッドレンダリングを使用して、眼が見ている方向(視線方向)を中心とした狭い立体角のみにおいて高解像度画像を表示するように構成してもよい。狭い立体角の外側では、ディスプレイによって生成された画像は、はるかに少ない処理能力を必要とするぼやけた低解像度画像である。
【0056】
図2に、2つのレーザ対を含む眼球移動を決定するためのデバイスの概略正面図を例示する。デバイスは、第1のレーザ対4a、4bと、第2のレーザ対4c、4dと、を含む。
【0057】
各レーザ4は、ユーザの眼6を照明するためにレーザビーム5を放出するように構成されている。レーザビーム5の一部は、ユーザの眼6から方向転換されて、レーザ4内に戻る。したがって、レーザ4は、方向転換された光を受け取るためのレシーバーユニットでもある。方向転換された光は、レーザ4の出力を変化させる自己混合干渉(SMI)を通して、レーザ4のレーザキャビティ内で、放出された光ビームと干渉する。レーザ4の出力強度、またはレーザ4への入力電圧または入力電流をモニタリングすることによって、ユーザの眼6の移動方向及び速度を決定することができる。デバイスは、測定されたSMIに基づいてユーザの眼6の移動方向及び速度を決定するための処理ユニット(図示せず)も含んでいる。
【0058】
第1のレーザ対の第1のレーザ4aは、第1の方向に光を放出して、第1の方向におけるユーザの眼の移動速度の成分を測定するように構成されている。第1のレーザ対の第2のレーザ4bは、第2の方向に光を放出するように構成されている。第1の方向とは異なる方向におけるユーザの眼の移動速度の成分を測定するために、第2の方向は第1の方向とは非平行である。第1のレーザ対の第2のレーザ4bは、第1のレーザ4aと直交する方向に光を放出して、第1の方向と垂直な方向における移動の成分を測定するように構成してもよい。
【0059】
レーザビームは、ユーザの眼6の強膜9(開いた瞼10間で角膜7の外側の領域)を照明してもよい。これにより、(前述したように)角膜領域7間の形状差に起因して生じる誤った速度測定の影響が減る。ユーザの眼6に損傷を与える可能性がある角膜及び網膜に対する照明も減る。
【0060】
第1のレーザ対4a、4bは、ユーザの眼の上の第1の領域または点を照明するように構成されており、第2のレーザ対4c、4dは、ユーザの眼の上の第2の領域または点を照明するように構成されている。第2の点は、第1の領域から離間に配置されている。この例では、第1の点は、第1の方向において角膜から離間に配置され、第2の点は、第2の方向において角膜から離間に配置されている。言い換えれば、第1及び第2の領域(または点)は、角膜領域7の反対側にある。
【0061】
一実施形態では、第2のレーザ対の第1のレーザ4cは、第1のレーザ対の第1のレーザ4aによって放出される光の方向と平行な方向に光を放出するように構成することができる。第2のレーザ対の第2のレーザ4dは、第1のレーザ対の第2のレーザ4bによって放出される光の方向と平行な方向に光を放出するように構成することができる。この構成を図3に示す。
【0062】
この構成を使用する場合、第1のレーザ4a、4cは(レーザ4a、4cが、ほぼ球状の眼球の角膜領域7の外側の眼球を照明する場合)、同じ速度成分v1,||,3,||だが、反対の符号を決定するはずである。図3に示したように、第1のレーザ4aからの放出された光ビームの、ユーザの眼6を二分する第1の平面に対するオフセットΔxは、第3のレーザ4cからの放出された光ビームの、ユーザの眼6を二分する第1の平面に対するオフセットΔxと等しい。これによって、第1のレーザ4a、4cの入射角の入射角が同一であることが保証される。これにより、第1のレーザ4a、4cは、眼球の接線速度ベクトルvの、レーザビームと平行な同じ絶対速度成分v||を測定することができる。決定された速度成分は、符号を除いて同一である。これは、ユーザの眼6の測定された移動方向または速度をクロスチェックすることができ、レーザビームが眼球ではなく角膜に誤って当たった場合に測定されるわずかな不正確な速度も、特定できることを意味する。これは、第2のレーザ4b、4d(図示せず)にも適用される。
【0063】
代替的に、第2のレーザ対の第1のレーザ4cは、第1のレーザ対の第1のレーザ4aによって放出される光の第1の方向kとは異なる方向kに光を放出するように構成することができる。同様に、第2のレーザ対の第2のレーザ4dは、第2のレーザ対の第2のレーザ4bによって放出される光の第2の方向kとは異なる方向kに光を放出するように構成することができる。これを図4に示す。この実施形態では、いずれのレーザも互いと平行な方向に光を放出する必要はなく、4つのレーザはそれぞれ、互いに異なる方向に光を放出してもよい。各レーザ対を使用して、眼の速度ベクトルの絶対値|v|,|v|を、レーザビームと平行な測定された速度成分v||を使用して測定することができる。そして、眼の速度ベクトルの絶対値|v|,|v|を、両レーザ対を使用してクロスチェックすることができる。
【0064】
2つのレーザ対を使用することによって、測定された速度を、2対間でクロスチェックまたは平均化することができる。さらに、角膜領域7とユーザの眼6の他の領域との間の形状差に起因して生じる誤った速度測定の影響を、角膜を照明するレーザ対によって決定される速度を拒否することによって、なくすことができる。角膜7の場所(どの速度測定値を無視すべきかを決定するために使用される)を、視線方向から決定することができる。
【0065】
したがって、2つのレーザ対を使用することで、ユーザの眼の移動方向及び速度を決定することが簡素化されて精度が増加し、決定がよりロバストで安定する。
【0066】
図2に2つのレーザ対を示すが、デバイスは、単一のレーザ4または1つのレーザ対のみを用いて動作してもよい。各レーザは、個々のレーザ4から放出される光ビーム5と平行な方向におけるユーザの眼の移動速度の成分を検出することができる。
【0067】
2つのレーザ対を用いた実施形態では、第1のレーザ対は、眼鏡のテンプルまたはステム上に配置してもよく、第2のレーザ対は、眼鏡のブリッジ上に配置してもよい。
【0068】
代替的に、デバイスは、図5に示したように、眼鏡のテンプル上のレーザと、レーザビームをユーザの眼に向けて方向転換するために眼鏡のレンズの前方に配置されたホログラフィック反射器と、を含んでいてもよい。
【0069】
図5に、ステム3を有するフレーム2を含む1対の眼鏡1(たとえばARスマートガラス)内に組み込まれた視線追跡デバイスを示す。この実施形態では、デバイスは、VCSELレーザである2つのレーザ源を含むレーザ出力ユニットを含む。デバイス1はまた、レーザ出力ユニット4からのレーザビーム5を方向転換するためのミラーである第1の光学素子20を含む。
【0070】
デバイスはさらに、第2の光学素子21を含む。第2の光学素子21は、反射及びコリメーティングレンズ(たとえば、ブラッグ反射器)であり、これはユーザの眼6上に平面波照明場を提供する。レーザビーム5の一部は、ユーザの眼6から反射して戻って、レーザ出力ユニット4内に入る。したがって、レーザ出力ユニット4は、反射光を受け取るためのレシーバーユニットでもある。方向転換された光は、レーザ出力ユニット4のレーザ源の出力を変化させる自己混合干渉(SMI)を通して、レーザ4のレーザキャビティ内で、放出された光ビームと干渉する。レーザ4の出力強度(またはレーザ4への入力電圧または入力電流)をモニタリングすることによって、ユーザの眼6の移動方向及び速度を決定することができる。デバイスはまた、SMIに基づいてユーザの眼6の移動方向及び速度を決定するための処理ユニット8も含む。
【0071】
図5では、角膜7を照明するこの例のレーザビーム5を示しているが、レーザビームは、その代わりに、眼鏡のユーザ/着用者の眼6の強膜(角膜7の外側の領域)を照明してもよい。
【0072】
第2の光学素子は、図6に示すように、ホログラフィック楕円ミラーであってもよい。図6では、ホログラフィック楕円ミラー21から反射されて、ターゲット23(たとえば、ユーザの眼)上に平面波照明場22をもたらす発散レーザビーム5の概略図を示す。
【0073】
他の実施形態では、レーザ出力ユニット4を、眼6の前方のフレーム内に配置して、反射要素を必要とすることなく、レーザビーム5をユーザの眼上に直接送信してもよい。また、レーザ出力ユニット4内にレーザ源を有する必要もない。その代わりに、レーザ源をデバイスから離して配置して、レーザビーム5を送信するために導波路に接続してもよい。
【0074】
図7に、眼球移動を決定するためのデバイスにおいて使用するレーザの概略図を例示する。レーザ4は、1対のミラー間のレーザキャビティ13内にダイオード接合部を有するダイオードレーザであってもよい。ダイオードレーザは、第1の(アウトカップリングとして知られている)ミラー16と、第2の(高反射率として知られている)ミラー15とを有する。第1及び第2のミラー15、16は、互いに面する反射面を有して、その間にレーザキャビティ13を形成している。第1のミラー15は部分的に透過性であり、これにより、生成された光の一部がレーザキャビティ13から出ることができ、方向転換された光の一部がレーザキャビティ13に再び入ることができる。
【0075】
駆動電流がターンオンされると、ダイオード接合部において光が放出され、ミラー対15、16間で前後に反射される。循環光の一部は、アウトカップリングミラー16を通ってレーザビーム11としてレーザキャビティ13を出る。放出されたレーザビーム11がユーザの眼6に当たると、光12の一部は、ユーザの眼から方向転換され、レーザ4に向けて戻るように方向転換される。方向転換された光12の一部は、レーザキャビティ13に入り、レーザキャビティ13内を循環する光と混合して、自己混合干渉14を生成する。
【0076】
ユーザの眼6が、速度vで移動している場合、方向転換された光12の周波数は、ドップラーシフトに起因して以下の等式に従って、量fだけ変化する。
【0077】
【数1】
【0078】
ここで、λは、レーザ4によって放出され、レーザキャビティ13によって与えられる光11の波長である。周波数変化fの符号は、ユーザの眼に入射する光11の放出方向に対する、ユーザの眼の移動の相対的な方向に依存する。
【0079】
レーザ4からの放出された光11の周波数はfであり、したがって、ユーザの眼から方向転換された光のドップラーシフトされた周波数はf±fである。したがって、図8に示したように、放出されたビーム11と方向転換されたビーム12との自己混合干渉14は、次のビート信号を含む。
【0080】
【数2】
自己混合干渉(SMI)によって、レーザ4の出力が変化する。レーザ4の出力強度、またはレーザ4への入力電圧または入力電流をモニタリングすることによって、ユーザの眼6の移動方向及び速度を決定することができる。デバイスはまた、レーザ4の出力強度、またはレーザ4への入力電圧または入力電流に基づいて、ユーザの眼6の移動方向及び速度を決定するための処理ユニット(図示せず)を含む。
【0081】
またドップラーシフトは、定電流で駆動されるときのレーザの電圧、定電圧で駆動されるときのレーザの電流、及び自己混合干渉を検出する光検出器によって生成される電流または電圧にも存在する。
【0082】
レーザからの放出光11の波長は、ビート周波数を有する三角波形によって変調してもよい。これは、変調された三角形状のランプ電流をレーザに印加することによって行うことができ、その結果、レーザの電界の位相変化が生じる。眼が回転している場合、ユーザの眼から方向転換された光は、ドップラーシフトを受ける。電流の三角波形の各半周期(すなわち、電流を増加させた後に、電流を減少させたとき)に対応するSMI信号のフーリエ変換(FFT)を計算し、そして、2つのFFT値を減算することによって、(計算の出力符号を用いて)回転速度及び回転方向を得ることができる。
【0083】
図9aに、レーザと移動するターゲットとの間の距離を、したがって、レーザに対するターゲットの変位を、時間で示す。たとえば、これは、レーザとユーザの眼との間の距離を示してもよい。この図において、レーザが眼の中心を指しており、レーザとユーザの眼との間が最小距離である場合、時間スケールはゼロを中心としている。
【0084】
図9bにレーザの電圧信号を示し、図9cに、SMIを測定するフォトダイオードの光電流を示す。光電流は、図9aに示したような、レーザに対するターゲットの変位に対応する。時間領域では、電圧信号及び光電流信号は通常、丸みを帯びた鋸歯(または歪んだコサイン)であり、図9dに示すようなユーザの眼の瞬時の移動速度に比例する周期性を有する。信号フィードバックに応じて、電圧信号または電流信号は、正弦関数または余弦関数から鋸歯関数に、さらには無秩序の多評価関数に変化する可能性がある。丸みを帯びた鋸歯状信号の非対称性によって、各「歯」の一方の側における信号変化が他方の側よりもはるかに急になり、これによって、電圧信号の時間微分にスパイクが生じる。ユーザの眼の移動方向に依存して、ドップラーシフトされた電圧は、より長いまたはより短い波長を有し、これは、鋸歯状の最大値が左にシフトしたかまたは右にシフトしたかを規定する。
【0085】
またレーザの電圧信号と、固定距離において回転する眼に起因するSMIを測定するフォトダイオードの光電流とが、図9b及び図9cに示したものと同様になる。
【0086】
鋸歯が左に傾いているか右に傾いているかに応じて、誘導体内のスパイクは、図10に示したように正または負の極性を有し、したがって、移動方向を決定することができる。鋸歯が左に傾いている場合、これは第1の方向への移動を意味し、鋸歯が右に傾いている場合、これは第1の方向とは反対の方向への移動を意味する。
【0087】
電圧信号の高速フーリエ変換(FFT)は、図11に示したように複数の周波数成分を含んでいる場合があり、これには、周波数0におけるDC成分及び基本ビートが含まれる。干渉信号の最も強い周波数成分は、レーザによって生成された電磁放射とレーザの共振キャビティ内に戻って受け取られた電磁放射との間のドップラーシフトによって生じる周波数成分として解釈することができる。この例では、ドップラーシフトの周波数成分は1065Hzである。
【0088】
周波数領域では、非対称性によって、フーリエ変換の位相の符号の変化が生じる。この符号の変化によって、移動方向の検出も可能になる。
【0089】
図7のレーザ4は、眼球移動を決定するためのデバイスとしての処理ユニットとともに使用することができ、このデバイスは以下の利点を有する。
【0090】
- 直接の速度測定を可能にする
- 非常に短い応答時間を有する
- 機械的な可動部品を含まない
- 大幅な再較正を必要としない
- 別個の光検出器を必要としない
- 必要な干渉に起因して、周囲光からの外乱に対して実質的に感度がない
- 視線の絶対的な方向を検出する他の技術と組み合わせることができる。
【0091】
これにより、眼球移動の方向及び速度を決定するための簡単で、ロバストで、迅速な方法及びデバイスが提供される。
【0092】
このデバイスは低消費電力である(直接の速度測定に必要とされる比較的低い処理能力、光検出器が必要とされないこと、非常に低消費電力であるVCSELを使用することによる)。
【0093】
使用するレーザはVCSELであってもよい。VCSELは、非常に小さくすることができるため、デバイスを非常に省スペースな方法で実現することができる。さらに、別個の光検出器のためのさらなるスペースが必要でない。
【0094】
図12a~図12dに、眼球移動を決定するためのデバイスにおいて使用されるVCSEL4及びフォトダイオード17の代替的な構成を例示する。自己混合干渉14は、放出光11及び方向転換された光12のビーム経路に沿った任意の点で検出することができる。フォトダイオード17は、レーザの光キャビティ内での自己混合干渉に起因して変調するビームの光出力を検出してもよい。これによって、光検出器17配置の高度の柔軟性が、したがってデバイスのデザインにおける高い柔軟性が可能になる。さらに、フォトダイオード17の光信号は、レーザ4の得られる電気信号よりもノイズが少ない。加えて、少なくとも図12a、図12b、及び図12dに示す実施形態では、光検出器は、VCSELに対して一定の位置であってもよく、したがって、較正の必要性が取り除かれる。
【0095】
図12aに、ビーム経路に沿ってビームスプリッタ18が配置される第1の構成を例示する。(自己混合干渉を受けた)ビームの一部は、ビームスプリッタ18によって、光検出器17(レーザ4から横方向に離間に配置されている)に向けて方向転換される。この例では、ビームスプリッタ18は、ビーム経路に対して45°の角度で配置されている。ビームスプリッタは、レーザ4のアウトカップリングミラーの近くに位置決めすることができる。ビームスプリッタは、出口ミラーを出る光の大部分をビームスプリッタ18を通過させ、一部を光検出器17に反射してもよい。
【0096】
図12bに、カバーガラス19が、光検出器17に向けて光を方向転換するビームスプリッタとして作用する第2の構成を例示する。光検出器17は、レーザ4から横方向に離間に配置されている。この例では、カバーガラス19は、ビーム経路に垂直に配置されている。
【0097】
図12cに、光検出器17がユーザの眼6上にまたはユーザの眼6の上方に配置されている第3の構成を例示する。
【0098】
図12dに、光検出器17がレーザ4の背後に配置されている第4の構成を例示する。バックミラー(図7の高反射率ミラーとして示す)を、部分的に透過性(たとえば、100%反射性ではなく99%反射性)に形成することができ、光検出器17は、そのバックミラーの近くに位置決めされている。この例では、レーザビームの一部が、レーザキャビティを出て高反射率ミラー15を通って光検出器17に行ってもよい。これは、レーザ4を光検出器17上に積層することによって、または光検出器17をレーザ4に一体することによって達成してもよい。これにより、空間的に分離された光検出器17を使用する場合よりもコンパクトな解決策が得られる。
【0099】
図13に、レーザ接合部における電圧読み出しを例示する。これは、電圧読み出しを用いて自己混合干渉を測定する代替的な方法を示している。自己混合干渉のフィードバックによって、レーザ閾値及びレーザの他の動作パラメータの変化が生じる。これを、図13のグラフ上に見ることができる。結果として、干渉フィードバックは、光検出器へのパワーと同様にレーザ接合電圧を変調する。レーザ電圧における摂動を使用して、ユーザの眼の移動速度及び方向を決定することができる。
【0100】
デバイスの動作中に、レーザに対する入力信号をモニタリングして、自己混合干渉を測定し、ユーザの眼の移動方向及び速度を決定することができる。たとえば、レーザを定電流で駆動してもよく、電圧の変化を測定する。またはレーザを定電圧で駆動してもよく、電流の変化を測定する。自己混合干渉の電気的検出によって、別個の光検出器の必要性が取り除かれる。
【0101】
図7のレーザを、電圧センサなどの電気センサと結合して、レーザの接合電圧を測定してもよい。電圧センサは、レーザと定電流駆動回路との間の接合部に容量結合(たとえば、AC結合)することができ、接合電圧のDC成分を取り除きながら、接合部の変調された電圧を検知してもよい。処理ユニットが、接合電圧から得られた自己混合干渉信号の高速フーリエ変換(FFT)を計算してもよく、前述したように、FFTから(たとえば、ドップラ周波数から)ユーザの眼の移動速度及び方向を決定してもよい。
【0102】
実施形態のいくつかの態様を電圧変調に関して説明してきたが、本発明の実施形態は、電流変調またはレーザからの光出力の変調を使用してもよい。
【0103】
特定の実施形態について前述で説明してきたが、特許請求の範囲はこれらの実施形態に限定されない。開示した各特徴を、説明した実施形態のいずれかに、単独でまたは本明細書で開示した他の特徴との適切な組み合わせで、組み込んでもよい。
【符号の説明】
【0104】
1 スマートガラス
2 フレーム
3 ステム
4 レーザ
4a 第1のレーザ
4b 第2のレーザ
4c 第3のレーザ
4c 第4のレーザ
5 レーザビーム
6 眼
7 角膜
8 処理ユニット
9 強膜
10 瞼
11 レーザによって生成された光
12 方向転換された光
13 レーザキャビティ
14 自己混合干渉
15 高反射率ミラー
16 アウトカップリングミラー
17 光検出器
18 ビームスプリッタ
19 カバーガラス
20 第1の光学素子
21 第2の光学素子
22 平面波照明
23 ターゲット
図1
図2
図3
図4
図5
図6
図7
図8
図9a
図9b
図9c
図9d
図10
図11
図12a
図12b
図12c
図12d
図13
【手続補正書】
【提出日】2024-01-16
【手続補正1】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項1】
仮想現実(VR)または拡張現実(AR)ヘッドセット(1)のディスプレイを操作するための方法であって、前記方法は、
ユーザの眼(6)の移動方向を決定することと、
前記決定された移動方向から将来の視線方向を推定することと、
前記ディスプレイ上に、前記推定された視線方向を含む領域におけるより高い解像度の画像データと、前記決定された視線方向を含む前記領域の外側のより低い解像度の画像データとを含む画像をレンダリングすることと、を含み、
前記ユーザの眼(6)の移動方向を決定することは、
第1のレーザ(4)によって放出された光ビーム(11)を用いて前記ユーザの眼を照明することと、
前記第1のレーザ(4)において、前記ユーザの眼(6)から方向転換された光(12)を受け取って、レーザキャビティ内で、前記第1のレーザによって生成された光と前記ユーザの眼(12)から方向転換された前記光との間で自己混合干渉(14)が生じるようにすることと、
前記自己混合干渉(14)を測定することと、
前記測定された自己混合干渉(14)から、前記ユーザの眼(6)の移動方向を決定することと、を含む前記方法。
【請求項2】
前記ユーザの眼(6)を照明することは、前記ユーザの眼(6)の強膜のみを照明することを含む、請求項1に記載の方法。
【請求項3】
前記方法はさらに、前記測定された自己混合干渉(14)から前記ユーザの眼(6)の移動速度を決定することを含む、請求項1または2に記載の方法。
【請求項4】
前記自己混合干渉(14)から前記ユーザの眼(6)の前記移動方向を決定することは、前記ユーザの眼(6)の移動に起因する前記方向転換された光(12)のドップラーシフトによって生じる自己混合干渉(14)から、前記ユーザの眼(6)の前記移動方向を決定することを含む、請求項1または2に記載の方法。
【請求項5】
前記ユーザの眼(6)の移動に起因する前記方向転換された光(12)のドップラーシフトによって生じる自己混合干渉(14)から、前記ユーザの眼(6)の前記移動方向を決定することは、前記測定された自己混合干渉に対してフーリエ変換を行うことを含む、請求項4に記載の方法。
【請求項6】
前記方法は、
前記第1のレーザ(4a)によって第1の方向に放出された光ビームを用いてユーザの眼を照明することと、
第2のレーザ(4b)によって第2の方向に放出された光ビームを用いてユーザの眼を照明することであって、前記第2の方向は前記第1の方向とは非平行である、前記照明することと、
前記第1のレーザ(4a)において、前記ユーザの眼から方向転換された光を受け取って、前記第1のレーザのレーザキャビティ内で、前記第1のレーザ(4a)によって生成された光と前記ユーザの眼から方向転換された光(6)との間で自己混合干渉が生じるようにすることと、
前記第2のレーザ(4b)において、前記ユーザの眼から方向転換された光を受け取って、前記第2のレーザのレーザキャビティ内で、前記第2のレーザ(4b)によって生成された光と前記ユーザの眼から方向転換された光(6)との間で自己混合干渉が生じるようにすることと、
前記第1のレーザ(4a)の前記レーザキャビティ内の前記自己混合干渉を測定し、前記第2のレーザ(4b)の前記レーザキャビティ内の前記自己混合干渉を測定することと、
前記第1のレーザ(4a)の前記レーザキャビティ内の前記測定された自己混合干渉から、前記第1の方向における前記ユーザの眼(6)の移動を決定し、前記第2のレーザ(4b)の前記レーザキャビティ内の前記測定された自己混合干渉から、前記第2の方向における前記ユーザの眼(6)の移動を決定することと、を含む、請求項1または2に記載の方法。
【請求項7】
前記自己混合干渉を測定することは、前記レーザ(4)の電圧または電流を測定することを含む、請求項1または2に記載の方法。
【請求項8】
仮想現実(VR)または拡張現実(AR)ヘッドセット(1)であって、
ユーザの頭部に取り付けるためのフレームと、
前記フレーム内に組み込まれるかまたは前記フレーム上に配置された眼球移動を決定するためのデバイスであって、前記デバイスは、
使用中にユーザの眼(6)を照明するための光ビーム(11)を放出し、前記ユーザの眼(6)から方向転換された光(12)を受け取るように構成された第1のレーザ(4)であって、レーザキャビティ内で、前記第1のレーザ(4)によって生成された光と前記ユーザの眼(6)から方向転換された前記光(12)との間で自己混合干渉(14)が生じるように構成されている、前記第1のレーザ(4)と、
前記自己混合干渉を測定するように構成された測定装置と、
前記測定された自己混合干渉(14)から前記ユーザの眼(8)の移動方向を決定するように構成された処理ユニット(8)であって、前記処理ユニット(8)はさらに、前記決定された前記ユーザの眼(6)の移動方向から将来の視線方向を推定するように構成されている、前記処理ユニット(8)と、を含む前記デバイスと、
ディスプレイ上に、前記決定された将来の視線方向での表示領域におけるより高い解像度の画像データと、前記決定された将来の視線方向での前記表示領域の外側のより低い解像度の画像データとを含む画像をレンダリングするように構成されたディスプレイと、を含む、仮想現実(VR)または拡張現実(AR)ヘッドセット(1)。
【請求項9】
前記第1のレーザ(4)は、前記ユーザの眼(6の強膜)に向けてのみ光を放出するように構成されている、請求項8に記載のVRまたはARヘッドセット(1)。
【請求項10】
前記処理ユニット(8)はさらに、前記測定された自己混合干渉(14)から前記ユーザの眼(6)の移動速度を決定するように構成されている、請求項8または9に記載のVRまたはARヘッドセット(1)。
【請求項11】
前記処理ユニット(8)は、前記ユーザの眼(6)の移動に起因する前記方向転換された光(12)のドップラーシフトによって生じる自己混合干渉(14)から、前記ユーザの眼(6)の前記移動方向を決定するように構成されている、請求項8または9に記載のVRまたはARヘッドセット(1)。
【請求項12】
前記第1のレーザ(4)は垂直共振器面発光レーザ(VCSEL)を含む、請求項8または9に記載のVRまたはARヘッドセット(1)。
【請求項13】
前記測定装置は光検出器(17)を含む、請求項8または9に記載のVRまたはARヘッドセット(1)。
【請求項14】
前記処理ユニット(8)は、前記光検出器(17)に入射する光の周波数変調を決定するように構成されている、請求項13に記載のVRまたはAR(1)ヘッドセット。
【請求項15】
前記第1のレーザ(4)は垂直共振器面発光レーザ(VCSEL)を含み、前記光検出器(17)は前記VCSELと単一の半導体デバイスとして一体化されている、請求項13に記載のVRまたはARヘッドセット(1)。
【請求項16】
前記光検出器(17)は前記第1のレーザ(4)から空間的に分離されており、前記デバイスはさらに、前記自己混合干渉の少なくとも一部を前記光検出器(17)に向けて方向転換するように構成された光学素子(18、19)を含む、請求項13に記載のVRまたはARヘッドセット(1)。
【請求項17】
前記測定装置は、前記レーザ(4)の電圧入力または電流入力を測定するように構成されたセンサを含む、請求項8または9に記載のVRまたはARヘッドセット(1)。
【請求項18】
前記第1のレーザ(4)は、前記放出された光ビーム(11)の光軸が前記ユーザの眼(6)の表面に対して鋭角を形成するように前記光ビーム(11)を放出するように構成されている、請求項8または9に記載のVRまたはARヘッドセット(1)。
【請求項19】
前記デバイスは、
使用中に前記ユーザの眼(6)を照明するための光ビームを放出するようにそれぞれ構成された第1のレーザ対(4a、4b)を含み、
前記第1のレーザ対は、前記第1のレーザ(4a)と第2のレーザ(4b)とを含み、前記第1のレーザ(4a)は第1の方向に光を放出するように構成され、前記第2のレーザ(4b)は第2の方向に光を放出するように構成され、前記第2の方向は前記第1の方向とは非平行である、請求項8または9に記載のVRまたはARヘッドセット(1)。
【請求項20】
使用中に前記ユーザの眼を照明するための光ビームを放出するようにそれぞれ構成された第2のレーザ対(4c、4d)を含み、前記第2のレーザ対は、第3のレーザ(4c)と第4のレーザ(4d)とを含む、請求項19に記載のVRまたはARヘッドセット(1)。
【請求項21】
前記第3のレーザ(4c)は、前記第1の方向と平行な方向に光を放出するように構成され、前記第4のレーザ(4d)は、前記第2の方向と平行な方向に光を放出するように構成されている、請求項20に記載のVRまたはARヘッドセット(1)。
【請求項22】
前記デバイスは、前記第1のレーザ(4a)からの前記放出された光ビームの、前記ユーザの眼(6)の中心を二分する第1の平面に対するオフセットが、前記第3のレーザ(4c)からの前記放出された光ビームの、前記ユーザの眼(6)の中心を二分する前記第1の平面に対するオフセットに等しくなるように構成され、
前記デバイスは、前記第2のレーザ(4b)からの前記放出された光ビームの、前記ユーザの眼(6)の中心を二分する第2の平面に対するオフセットが、前記第4のレーザ(4d)からの前記放出された光ビームの、前記ユーザの眼(6)の中心を二分する前記第2の平面に対するオフセットに等しくなるように構成されている、請求項21に記載のVRまたはARヘッドセット(1)。
【請求項23】
前記第3のレーザ(4c)は第3の方向に光を放出するように構成され、前記第3の方向は前記第1の方向とは異なり、
前記第4のレーザ(4d)は、前記第2の方向とは異なり前記第3の方向とは非平行である第4の方向に光を放出するように構成されている、請求項20に記載のVRまたはARヘッドセット(1)。
【国際調査報告】