特許 6837805 ディスプレイ・システムにおける前庭動眼反射の修正の設計および方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】6837805

(24)【登録日】2021年2月15日

(45)【発行日】2021年3月3日

(54)【発明の名称】ディスプレイ・システムにおける前庭動眼反射の修正の設計および方法

(51)【国際特許分類】

   H04N 5/64 20060101AFI20210222BHJP

   G02B 27/02 20060101ALI20210222BHJP

   G09G 5/00 20060101ALI20210222BHJP

   G09G 5/38 20060101ALI20210222BHJP

【ＦＩ】

   H04N5/64 511A

   G02B27/02 Z

   G09G5/00 510G

   G09G5/00 550C

   G09G5/38 A

【請求項の数】2

【外国語出願】

【全頁数】12

(21)【出願番号】特願2016-209335(P2016-209335)

(22)【出願日】2016年10月26日

(65)【公開番号】特開2017-130909(P2017-130909A)

(43)【公開日】2017年7月27日

【審査請求日】2019年10月25日

(31)【優先権主張番号】14/925,012

(32)【優先日】2015年10月28日

(33)【優先権主張国】US

(73)【特許権者】

【識別番号】500575824

【氏名又は名称】ハネウェル・インターナショナル・インコーポレーテッド

【氏名又は名称原語表記】Ｈｏｎｅｙｗｅｌｌ Ｉｎｔｅｒｎａｔｉｏｎａｌ Ｉｎｃ．

(74)【代理人】

【識別番号】100118902

【弁理士】

【氏名又は名称】山本 修

(74)【代理人】

【識別番号】100140109

【弁理士】

【氏名又は名称】小野 新次郎

(74)【代理人】

【識別番号】100075270

【弁理士】

【氏名又は名称】小林 泰

(74)【代理人】

【識別番号】100101373

【弁理士】

【氏名又は名称】竹内 茂雄

(74)【代理人】

【識別番号】100138759

【弁理士】

【氏名又は名称】大房 直樹

(72)【発明者】

【氏名】シャオホン・リンダ・リー

(72)【発明者】

【氏名】ケン・リーフォン

(72)【発明者】

【氏名】ジェームズ・シー．・フェ

(72)【発明者】

【氏名】ジェリー・ボール

(72)【発明者】

【氏名】ウィリアム・レイ・ハンコック

【審査官】 西谷 憲人

(56)【参考文献】

【文献】 特開平０８−２９２３９４（ＪＰ，Ａ）

【文献】 米国特許出願公開第２０１５／０２１２５７６（ＵＳ，Ａ１）

【文献】 国際公開第２０１０／０３２４２４（ＷＯ，Ａ１）

【文献】 特開２０１４−１６８５０６（ＪＰ，Ａ）

(58)【調査した分野】（Int.Cl.，ＤＢ名）

Ｈ０４Ｎ ５／６４

Ｇ０２Ｂ ２７／０２

Ｇ０９Ｇ ５／００

Ｇ０９Ｇ ５／３８

(57)【特許請求の範囲】

【請求項1】

ユーザーの前庭動眼反射（ＶＯＲ）の応答に関する補償を行う頭部装着型ディスプレイ（ＨＭＤ）デバイスでイメージを表示する方法であって、
第１イメージを生成し、前記第１イメージを前記ＨＭＤデバイスで表示するステップと、
前記ユーザーの頭の回転レートを感知するステップと、
前記ユーザーの頭の前記感知した回転レートに基づいて、ＶＯＲの影響に起因する前記ユーザーの目の回転運動を推定するステップであって、目の角ＶＯＲ運動予測数学モデルを用いるステップと、ＶＯＲの影響に起因する目の予測される位置を生成するステップとを含む、推定するステップと
前記第１イメージに基づき且つ目の予測される位置に基づき、連続するイメージのストリームの一部として、後続する第２イメージを生成し、前記第２イメージを前記ＨＭＤデバイスで表示するステップと
を含む方法。

【請求項2】

請求項１の方法であって、目の角位置追跡数学モデルを用いるステップと、頭の動きを追跡するように前記目の予測される位置を修正するステップとを更に含む方法。

【発明の詳細な説明】

【技術分野】

【0001】

[0001] ここで説明する例示の実施形態は、一般的に、航空機や移動車両のオペレーションに関し、より特定的には、前庭動眼反射（vestibulo-ocular reflex）（ＶＯＲ）の応答に関しての修正を行うようにして対象物のイメージを表示することに関する。

【背景技術】

【0002】

[0002] パイロットにとって、航空機のオペレーションの状態を監視しつつ、コックピットの窓の外を見ることにより周囲を認識することは、有益である。より一般的には、何れの形のビークルのオペレーションにおいても、オペレーターにとって、状況認識の向上は有益である。航空機のオペレーションの例に戻るが、伝統的に、パイロットは、コックピットのディスプレイ・スクリーンを信頼しており、ディスプレイ・スクリーンは、パイロットの座席に対して位置および方向が固定されている。パイロットがアビオニクス・ディスプレイ・ユニットから電子情報を受け取りつつも目を上げることを可能にする最新のヘッドアップ・ディスプレイ（head-up display）（ＨＵＤ）アビオニクスを用いても、パイロットの頭がそのアビオニクス・ディスプレイ・ユニットの位置から離れるように動かされると、飛行情報は、注意を向けるようには提供されない。より一般的には、オペレーターの注意をディスプレイ・ユニットに集中させる必要がある全てのビークルのオペレーションでは、一時的にそのディスプレイから頭が離れる動きでさえも、情報を失う結果となり得る。

【0003】

[0003] 上記の航空機の例のように、ビークルのオペレーションが複雑になると、適切なオペレーションを保証するために、ビークルのオペレーター、例えば、フライト・クルーが、注意を行き届かせ、適時でありポータブルな様式で情報を受け取ることが、好ましい。ポータブルの情報を提供する１つの手段は、ヘッドマウント式ディスプレイ（ＨＭＤ）システムである。ヘッドマウント式ディスプレイ・システムは、１つのタイプの頭部装着型ディスプレイ・システムであり、これは、ディスプレイを一方または双方の目の前に置くために、バイザー、ヘルメット、ゴーグル、または他の頭部装着型マウントを用いる。典型的に、頭部装着型ディスプレイは、ディスプレイ・シンボル体系を呈示する半透明の光学的結合エレメントを含む。シンボル体系のソースは、液晶ディスプレイ（ＬＣＤ）、リキッド・クリスタル・オン・シリコン（ＬＣｏＳ）ディスプレイ、または有機発光ダイオード（ＯＬＥＤ）ディスプレイとすることができる。結合エレメントは、ＨＭＤディスプレイに呈示される情報を、可視シーンに重ねること、およびビークルのオペレーターが頭を動かしたときに変更することを、可能にする。このＨＭＤシステムは頭部装着型なので、考慮されることが好ましい幾つかの特有の人体とビジョン・システムとの結合特性がある。それらの１つは、人間の前庭動眼反射（ＶＯＲ）である。

【0004】

[0004] 通常のＶＯＲ応答は、補償する目の動き（compensatory eye movement）であり、これは、空間における頭の動きを人間の神経系が検出したときに、その頭の動きに対応するものである。例えば、頭を、水平面で右へ回転させると、頭の座標フレームに相対しての左への目の回転を誘発させることにより、頭が動いている間、注視の視軸を安定させ、網膜にイメージが固定され続けるようにする。更に、ＶＯＲに起因するこの目の動きは、神経センサーおよび動眼神経応答からの動的な影響により、頭の動きと完全に逆のものとはならない。

【0005】

[0005] 合成視覚イメージ処理を用いるＨＭＤデバイスの現在の実施では、イメージは、通常は、目のＶＯＲの影響の動的補償をせず、感知した頭の動きに関して補償される。即ち、ＨＭＤ設計の現在の実施では、頭が動いているときに目の注視の方向が変化していることと、目の注視は頭の向いている方向と同じ方向に整合すると通常は想定されることとを反映するように、表示されるイメージはシフトされる。実際には、無意識の前庭動眼反射に起因する目の動きは、頭の動きと整合せず、また、頭の動きの完全な逆の動きとも整合しない。目のＶＯＲの影響を動的に補償しない場合、結果的に得られるイメージは、不均一な地勢でのビークルのオペレーションや、乱流環境での航空機のオペレーションなどのような、振動している環境にある人間のオペレーターには、読み取り不可能となり得る。

【0006】

[0006] 従って、特に、高振動環境での使用の際の、ＨＭＤデバイスのイメージの安定化および追跡の設計の性能を向上させるために、目のＶＯＲの補償を組み込むことが望ましい。更に、例示の実施形態の他の望ましい特徴および特性は、添付の図面と上記の技術分野および背景とを関連付けた後の詳細な説明および添付の特許請求の範囲から明らかになる。即ち、この開示のＶＯＲ補償を用いる例示の実施形態は、頭部装着型ディスプレイ・システムと関連するが、この開示は、表示情報の認識力を向上させるために画像処理にＶＯＲ補償を組み込むことにより、高振動の環境や変化する環境で使用される任意のイメージ・ディスプレイ・システムに適用可能であることは、明らかである。

【発明の概要】

【0007】

[0007] ユーザーの前庭動眼反射（ＶＯＲ）の応答に関する補償を行う頭部装着型ディスプレイ（ＨＭＤ）デバイスでイメージを表示する方法は、第１イメージを生成し、前記第１イメージを前記ＨＭＤディスプレイ・デバイスで表示するステップと、前記ＨＭＤディスプレイ・デバイスの角運動を感知するステップと、前記ＨＭＤディスプレイ・デバイスの感知した前記角運動に応答して、前記ユーザーの目の角運動を推定するステップとを含む。前記推定するステップは、目の角ＶＯＲ運動予測数学モデルを用いるステップと、ＶＯＲの影響に起因する目の予測される位置を生成するステップと、目の角位置追跡数学モデルを用いるステップと、頭の動きが静まった後に前記目の予測される位置を修正するステップとを含む。更に、方法は、前記第１イメージに基づき且つ修正された目の予測される位置に基づき、連続するイメージのストリームの一部として、後続する第２イメージを生成することと、前記第２イメージを前記ＨＭＤディスプレイ・デバイスで表示することとを含む。

【0008】

[0008] この簡潔な概要は、後の詳細な説明に更に記載する概念のうちの選択さたれものを簡潔な形で紹介するために、提供したものである。この概要は、特許請求される主題事項の鍵となる特徴や本質的な特徴を特定することは意図しておらず、また、特許請求される主題事項の範囲を決定する際の支援に用いることを意図していない。

【0009】

[0009] 以下において、下記の図面と関連させて本開示を説明するが、図面では、同様の数字は同様のエレメントを表す。

【図面の簡単な説明】

【0010】

【図1】[0010] 図１は、飛行ディスプレイ・システムの機能ブロック図である。

【図2】[0011] 図２は、ＨＭＤシステムの例示の実施形態である。

【図3】[0012] 図３は、図２のＨＭＤシステムの機能ブロック図である。

【図4】[0013] 図４は、基準座標系を規定する。

【図5】[0014] 図５は、１つの軸における例示の目の角ＶＯＲ運動予測モデルを示す。

【図6】[0015] 図６は、１つの軸における例示の目の角位置追跡モデルを示す。

【図7】[0016] 図７は、３つの軸における図５のモデルおよび図６のモデルの双方の統合方法を示す。

【発明を実施するための形態】

【0011】

[0017] 下記の詳細な説明は、本来、単なる例示であり、主題事項の実施形態や出願、および実施形態の使用を限定することは、意図していない。ここで例として説明される全てのインプリメンテーションは、必ずしも他のインプリメンテーションより好適または有利なものであると考えなくてもよい。更に、先の技術分野、背景、簡潔な概要、または下記の詳細な説明に示された何れの明示又は暗示された理論に縛られることも、意図されていない。

【0012】

序論

【0013】

[0018] 本開示は、頭部装着型ディスプレイ・デバイスで用いられる合成視覚や他のイメージ呈示に関してのＶＯＲの影響を補償するための解決法を広く提供する。より広くは、最初に述べたように、本開示は、ＨＭＤデバイスでの使用に限定されず、むしろ、表示情報の認識力を向上させるために画像処理にＶＯＲ補償を組み込むことにより、高振動の環境や変化する環境で用いられる任意のイメージ・ディスプレイ・システムでの応用が見いだされるであろう。

【0014】

[0019] より特定的には、本開示は、角ＶＯＲの影響に起因する目の回転運動を予測するアルゴリズムを提供し、頭の動きが停止した後にＨＭＤデバイスに表示される静的イメージを、目の運きが追跡することを可能にする。本開示のアーキテクチャーは、とりわけ、１）目の角ＶＯＲ（ａＶＯＲ）運動予測モデルと、２）目の角位置（頭の座標フレームで定義される）追跡数学モデルとを含むものであり、ＶＯＲが生じ、そして頭の動きが静まった後に、目の位置を、頭の位置と逆になるように（即ち、面するようにするという観点から）整合させる。

【0015】

[0020] 以下の幾つかの段落では、エレメント１）および２）のそれぞれの簡単な概観を提供し、その後、図面に記載されているＨＭＤシステムと、ＨＭＤシステムを用いてのエレメント１）および２）のインプリメンテーションとの説明を提供する。最初に、エレメント１）に関して、頭が動いているときの人間の目の眼球運動機構および逆反射運動（counter reflex）を表すために、チューン可能時間遅延およびチューン可能フォワード・ゲインを用いて、目の角ＶＯＲ運動予測モデル、動的一般逆行列伝達関数（dynamic pseudo-inverse transfer function）が開発される。頭の位置からの目の位置のドリフトを軽減するために、目の角位置フィードバック・ループを持つフィードバック・コントローラーが設計される。このモデルは、３軸の目の角ＶＯＲ運動に関しての頭の動きの３つの角レートおよび位置を用いる。このモデルの出力は、ＶＯＲにより生じるものであり頭の座標において定められる目の予測される角位置である。次に、ＶＯＲに起因する目のデルタ（角）位置が、ＶＯＲに起因する目の予測角位置と、逆になる頭の位置との間の差として、生成される。

【0016】

[0021] 次に、エレメント２）に関して、目の角位置追跡モデルは、ＶＯＲの影響が少なくなった後、頭の位置に対する目の追跡を可能にする。相対的に静止している頭の動きを検出した後に、目のデルタ位置をゼロに低減するように設計される。即ち、最終的な目の位置は、頭の動きが停止した後の頭の位置と整合させられる。同等に、この追跡の特徴は、表示されるイメージが、逆になる頭の位置によりシフトされたときに、目の動きが静止イメージを追跡することを可能にする。この追跡モデルはまた、コントローラーのノイズのジッタリングを除くためのロジックを用いて設計される。更に、このモデルは、特定の人間のオペレーターによるＶＯＲゲインおよび遅延の影響のチューニングを可能にし、従って、ＶＯＲに起因する目の予測される動きを、調節することができ、従って、様々な人間のＶＯＲ応答に関して頭および目の動きと動的に相関させることができる。

【0017】

[0022] ディスプレイ・システムにおける開示されるＶＯＲ補償に関して、ここでは、専門技術および科学技術を、機能および／または論理ブロック・コンポーネントに関して、および様々な計算用コンポーネントやデバイスにより行われ得るオペレーション、処理タスク、および機能のシンボル表現を参照して、説明する。そのようなオペレーション、タスク、および機能は、コンピューターで実行するもの、コンピューター化されたもの、ソフトウェアによりインプリメントされたもの、また、コンピューターによりインプリメントされたものとして呼ばれることがある。実際には、１以上のプロセッサー・デバイスが、システム・メモリのメモリ位置にあるデータ・ビットを表す電気信号を操作して、および他の信号処理により、説明するオペレーション、タスク、および機能を行うことができる。例示の実施形態の方法およびシステムは、任意の形の移動車両、例えば、自動車や船や重機、任意の形の車両以外での応用、例えば、手術や機械やビルディングのメンテナンス、テレロボティクスおよび他の遠隔視、およびビークルやスーツへの取り付けを含む任意の形の宇宙での応用で用いることができるが、航空機システムでの使用を例として説明する。

【0018】

[0023] 一般に、ここで開示する例示の実施形態は、頭部装着型ディスプレイ・デバイスを含み、これは、航空機のパイロットなどのようなビークルのオペレーターが、空中にいるときや地上にいるときに、ビークルや航空機の外の実際のイメージのコンフォーマル・ビデオ・イメージを見ることを可能にする。ＨＭＤ頭追跡システムは、視覚的走査のために、左から右の範囲の動き、例えば、３６０度の動きを提供する。表示用に生成されるグラフィックスは、パイロットの頭の動きを追跡する。例えば、ジンバル支持された頭追跡用カメラ、固定センサーのアレイ、またはデータから作成された仮想または合成環境からの入力は、物体に関して空、地形、または滑走路／誘導路を走査する能力を、オペレーター／パイロットに与える。ビークルの姿勢（方向）は、慣性センサー、加速度計、コンパス、およびエア・データ・センサーから決定することができる。ＨＭＤシステムは、例えば、カメラやセンサーから作成された、または格納されたデータから合成的に作成された実際のビデオ・イメージを処理する。

【0019】

[0024] 図１を参照すると、一般化された例示のディスプレイ・システム１００は、ユーザー・インターフェイス１０２と、プロセッサー１０４と、センサー１１２と、外部データ・ソース１１４と、１以上のディスプレイ・デバイス１１６（後に詳細に説明するＨＭＤシステム１１７を含む）とを含む。ユーザー・インターフェイス１０２は、プロセッサー１０４と通信するものであり、オペレーター１０９から入力を受信するように、そして、ユーザーの入力に応答してコマンド信号をプロセッサー１０４へ供給するように、構成される。図示した実施形態では、プロセッサー１０４は、オンボードのＲＡＭ（ランダム・アクセス・メモリ）１０３と、オンボードのＲＯＭ（リード・オンリー・メモリ）１０５とを含む。プロセッサー１０４を制御するプログラム命令を、ＲＡＭ１０３とＲＯＭ１０５との何れかまたは双方に格納することができる。プロセッサー１０４がどのように具体的に実装されようと、プロセッサー１０４は、ディスプレイ・デバイス１１６と通信するものであり、様々なタイプの運動データをセンサー１１２から受信するように、および様々な他のビークル・データを外部データ・ソース１１４から受信するように、結合される。プロセッサー１０４は、適切な表示コマンドをディスプレイ・デバイス１１６へ供給するように構成される。ディスプレイ・デバイス１１６は、表示コマンドに応答して、様々なタイプのテキスト、グラフィック、および／またはアイコンの情報を選択的に表示する。センサー１１２は、様々なタイプの運動データ、例えば、ビークルのスピード、進行方向、高度、および姿勢を含むビークルの状態を表す運動データ供給するために、既知の又は将来に開発される様々なタイプの慣性センサー、システム、および／またはサブシステムを用いて、インプリメントすることができる。

【0020】

[0025] オペレーター１０９が見ることができるフォーマットでテキスト、グラフィック、および／またはアイコンの情報を表示するために適切である多数の既知のディスプレイ・デバイスのうちの任意のものを用いてディスプレイ・デバイス１１６をインプリメントできることが、理解されるであろう。そのようなディスプレイ・デバイスの例は、様々なタイプのＬＣＤ（液晶ディスプレイ）、ＴＦＴ（薄膜トランジスター）ディスプレイ、およびプロジェクション・ディスプレイＬＣＤ光エンジンなどのような、様々なフラット・パネル・ディスプレイを含むが、これは限定ではない。ディスプレイ・デバイス１１６は、更に、パネル取付型ディスプレイや、多数の既知の技術の何れかのものとして、インプリメントすることができる。

【0021】

[0026] 先に述べたように、ディスプレイ・デバイス１１６はＨＭＤディスプレイ・システム１１７を含む。多くの既知のＨＭＤシステムがある。１つの既知の例示の実施形態は、本発明の譲受人に譲渡された米国特許第８５５２８５０号に記載されており、この参照により、この文献の全体がここに組み込まれるものとする。本願の図２に示す実施形態は、ＨＭＤディスプレイ・システム１１７を装着しているビークルのオペレーター１０９を含み、オペレーター１０９は、航空機のフライト・クルーのメンバーなどである。ＨＭＤディスプレイ・システム１１７は、好適には半透明であるＨＭＤディスプレイ２０８と結合されたヘッドバンド２０６を含む。オペレーター１０９が正しく装着した場合、ＨＭＤディスプレイ２０８は、右目２１０から所定の距離において右目２１０の視線のところに位置する。このようにして、ＨＭＤディスプレイ２０８上で、その先のほうに見える景色、例えば、コックピット内の制御装置や他のアイテムおよび／またはコックピットの窓を通しての外の景色と重ねて、情報をオペレーター１０９に呈示することができる。適切な情報をＨＭＤディスプレイ２０８で呈示するために、任意の時点でオペレーター１０９の頭が面している方向（例えば、上に向く、下に向く、コックピットの一部の方に向く、または別の部分に向く）を感知するために、発行ダイオード（ＬＥＤ）２１４がヘッドバンド２０６の部分２１２に配される。頭の動きを追跡するための他のシステムは、ヘッドバンドにおけるカメラやエミッターを含み、また、追跡システムは、光学的なものではなく、磁気や慣性を用いるものとすることもできる。このようにして、コンフォーマル・グラフィックスおよび／または他の情報を含む適切な透明なビューをＨＭＤディスプレイ２０８上に生成および呈示するために、任意の時点でのオペレーターの頭の方向を感知することができる。ＨＭＤディスプレイ・システム１１７の構成は、図２に示すデバイスに限定されない。例えば、ＨＭＤディスプレイ・システム１１７は単眼ＨＭＤディスプレイ・システムであるが、本実施形態において両眼ＨＭＤディスプレイ・システムを用いることもできる。

【0022】

[0027] 図３は、本実施形態に従ったビークル・オペレーションのためのシステムのブロック図を示す。ＨＭＤディスプレイ・システム１１７は、ＨＭＤディスプレイ２０８と、ＨＭＤセンサー３０１と、ＨＭＤ追跡コントローラー３０２と、オプションの慣性測定ユニット（ＩＭＵ）３０３とを含む。ＨＭＤ追跡コントローラー３０２は、カメラ（図示せず）などのようなＨＭＤセンサー３０１から信号を受信し、ＨＭＤディスプレイ２０８へ提供される信号を生成する。信号は、オペレーター１０９へ呈示するためのコンフォーマル・グラフィックスや他の情報のビューを生成するために、適切な情報をＨＭＤディスプレイ２０８で呈示する。

【0023】

[0028] ＨＭＤ追跡コントローラー３０２はまた、ＨＭＤセンサー３０１により監視される情報に応答して、オペレーター１０９の頭の方向に対応する焦点データを生成する。そのような情報は、オペレーター１０９の頭が外に向かって窓（図示せず）の方へ向きを変えたか及び何れの方向へ向けてか、ビークル内ディスプレイ３０６へと向きを変えたか、または他の興味の対象へと向きを変えたかを、含むことができる。ＨＭＤ追跡コントローラー３０２は、オペレーター１０９の頭の方向に対応する焦点データを提供するために、コントローラー３０４と結合される。焦点データ（例えば、ＨＭＤディスプレイ・システム１１７の位置および方向を監視することから結果的に得られるオペレーター１０９頭部追跡データ）は、コンフォーマル・イメージを呈示する際にコントローラー３０４により用いられる。背景となる風景を参照して、コンフォーマル・イメージがロードされ、実際の環境が表示される。ビークルのナビゲーションおよび性能の情報などのような他の情報は、ＨＭＤディスプレイ・システム１１７を装着しているオペレーターが向いた方向にかかわらず、ディスプレイ上で静止している。

【0024】

目の角ＶＯＲ運動予測数学モデル

【0025】

[0029] 先に説明したように、目の角ＶＯＲ運動予測モデルに関して、頭が動いているときの人間の目の眼球運動機構および逆反射運動を表すために、チューン可能時間遅延およびチューン可能フォワード・ゲインを用いて、動的一般逆行列伝達関数７３１が開発される。フィードバック信号として目の角位置を用いるフィードバック・コントローラー７３０は、頭の位置からの目の位置のドリフトを軽減するように設計される。これは、３軸の目の角ＶＯＲ運動に関しての頭の動きの３つの角レートおよび位置を用いる。このモデルの出力は、ＶＯＲにより生じるものであり頭の座標において定められる目の予測される角位置である。次に、ＶＯＲに起因する目のデルタ（角）位置が、ＶＯＲに起因する目の予測角位置と、逆になる頭の位置との間の差として、生成される。このタイプのモデルの背景の理解は、２００１年３月発行のNeural Networks、第１２巻、第２号の第２０１−２１６ページのT. Shibataその他による「Biomimetic Gaze Stabilization based on Feedback-Error-Learning with Nonparametric Regression Networks」から得ることができ、この参照により、この文献の全体がここに組み込まれるものとする。

【0026】

[0030] モデルは、運動の３つの軸、即ち、ｘ軸とｙ軸とｚ軸との全てにおいて動作する。従って、ここで図４を紹介するのが適切であり、図４は、後に詳細に記載する目の角ＶＯＲ運動予測モデルと目の角位置追跡モデルとの講義で参照するための、ユーザーの頭に関してのこれら３つの軸を例示する。図４に示すように、ｚ軸は、ユーザーの頭を垂直に通って延び、ｙ軸は、ユーザーの頭の横側を通って延び、ｘ軸はユーザーの頭の前側と後ろ側とを通って延びる。下記の個々のモデルに関しての頭の角加速度、速度、および位置、および目の位置は、この座標フレームに基づいて提供する。例えば、ピッチ面は、ｙ軸について回転すると定められ、その対応する頭の回転レート信号は、図７では、入力信号「Ｈ＿Ｒｙ＿ｒａｔｅ」７０２ｙと名付けられている。

【0027】

[0031] 目の角ＶＯＲ運動予測数学モデル７００は、図５に示している。図５は、簡素化するために、１つの軸のみに関する数学モデルを表示する。しかし、後に詳細に説明するように、および図７に更に具体的に記載されているように、モデルは、異なる数値パラメーターを用いる同じ基礎的モデルを用いて、３つの軸の全てに対して拡張されることに留意されたい。

【0028】

[0032] 目の角ＶＯＲ運動予測数学モデルは、入力として、ユーザーの頭の位置７０１（上記のように図５は１つの軸のみに関する入力を示すが、３つの軸のそれぞれにおいて定められる）と、ユーザーの頭の速度７０２（３つの軸のそれぞれにおいて定められる）と、チューニング「ノブ（knob）」７０３と呼ばれるチューニング・パラメーター（これも、３つの軸のそれぞれにおいて定められる）とを用いる。また、３つの軸のそれぞれにおける回転の各方向に関するＶＯＲ速度ゲイン（７１１、７１２）が提供される。これは、ＶＯＲ修正の影響に関しての感知した頭の角レートを減衰させるためのゲインである。各軸は、異なる頭の回転方向（７１１、７１２）に関して異なるＶＯＲスピード・ゲイン・ベースラインを有する。限定ではない単なる一例として、１つの実施形態では、ベースラインＶＯＲスピード・ゲインは、約０．９７ピッチ・アップおよび約１．１０ピッチ・ダウンとすることができる。各ゲインは、チューニング・ノブ７０３で制御可能な、チューン可能バイアスを有することができる。限定ではない単なる一例として、１つの実施形態では、バイアスは約＋／−０．０９とすることができる。下記では、各軸に関して、および各軸における各回転方向に関しての、ゲインに対してのノブ・チューニングの効果を説明する。ノブの範囲は、各軸に関して尺度が異なる。限定ではない単なる一例として、ノブ・チューニングの最大は、ピッチ軸に関して約０．０９バイアスであると解釈されるが、ヨー軸およびロール軸に関しては約０．０７バイアスと解釈される。ノブが、ゼロである中央にあるとき、ベースラインのゲインおよびデフォールトの遅延の値が用いられる。ノブが右へ回されると、ベースラインからの正バイアスでゲインが増加し、その結果、ベースラインから遅延時間が低減する。代わりに、ノブが左へ回されると、ベースラインからの負バイアスでゲインが低減し、ベースラインから遅延時間が増加する。チューン可能ゲインは、人毎に変わる様々なＶＯＲ応答を補償するために提供される。

【0029】

[0033] 目の角ＶＯＲ運動予測数学モデルは、図５で１つの軸に関して示すように、その出力として、３つの軸のそれぞれにおける目の予測位置７２０を生成する。それらの出力は、後に詳細に説明する目の角位置追跡数学モデルのための入力の１つとして用いられる。

【0030】

目の角位置追跡数学モデル

【0031】

[0034] 先に述べたように、目の角位置追跡モデルは、ＶＯＲの影響が減少した後に目が頭の位置を追跡することを可能にする。これは、静的な頭の動きを検出した後に、目のデルタ位置をゼロに低減するように設計される。即ち、最終的な目の位置は、頭の動きが停止した後の頭の位置と整合させられる。同等に、この追跡の特徴は、目の角位置が頭の位置と整合させられるので、目の動きが静止イメージを追跡することを可能にする。この追跡モデルはまた、コントローラーおよびセンサーのノイズを除去するロジックを用いて設計することができる。

【0032】

[0035] 目の角位置追跡数学モデル８００が図６に示されている。図６は、簡潔にするために、１つの軸のみに関する数学モデルを示している。しかし、後に詳細に説明するように、および図７に更に具体的に記載されているように、モデルは、異なる数値パラメーターを用いる同じ基礎的モデルを用いて、３つの軸の全てに対して拡張されることに留意されたい。

【0033】

[0036] 目の角位置追跡数学モデルは、入力として、ユーザーの頭の位置７０１（上記のように図６は１つの軸のみに関する入力を示すが、３つの軸のそれぞれにおいて定められる）と、ユーザーの頭の速度７０２（３つの軸のそれぞれにおいて定められる）と、目の角ＶＯＲ運動予測数学モデルからの目の予測位置７２０（これも、３つの軸のそれぞれにおいて定められる）とを用いる。更に示されるように、パラメーター８０１は、静的頭部運動を検出するためのパラメーターであり、ここでは、レートが秒あたりの所定の角度値（特定のインプリメンテーションに基づく）よりも少ないということが、頭の動きが停止したことを意味すると、考えられている。

【0034】

[0037] 図５に示すように、図６に示すモデルは眼球運動プラント設計パラメーター７３２を含み、フィードバック制御ループは、静的運動状態に関してデルタ入力が「０」に設定されている。更に、モデル８００は、運動のジッタリングの影響を軽減するための制御パラメーター８１１を含む。例えば、先に述べたように、実際の振動環境におけるＩＭＵ信号はノイズを含み、それは、頭の動きが減少または停止した後でさえ、イメージを急に変化させる。従って、通常は高周波数であり大きさは小さいものである意図されていない信号ノイズが原因で、ＨＭＤシステムは、測定された信号を実際の頭の動きであると誤解し、それに応じて表示イメージを調節し、その結果としてイメージのジッタリングが生じる。急な動き（加速度）の大きさがスレッショルドより下である場合、コンフォーマル・イメージは静止し、それにより、頭が動いている間に受信した実際のビデオ・イメージから生成され、また、急な動きが小さい大きさとして検出されたときに停止されるコンフォーマル・イメージのぎくしゃくした又は過敏な動きをなくす。望まれるように任意のスレッショルド値８０３を選択することができ、それは、限定ではない例示の実施形態では約０．０２である。

【0035】

[0038] 目の角位置追跡数学モデルは、図５において決定された目の位置を低減するために、その出力として、目の位置における変化（「デルタ」）８１０を生成する。図５および図６に示すモデルの出力に基づく統合された数学モデルは最終的な結果を生成し、これは、図７で後に説明するように、ＨＭＤシステムがＶＯＲの影響に対して表示イメージを修正することを可能にする。

【0036】

数学モデルの統合

【0037】

[0039] 図７は数学モデルを示し、これは、図５の目の角ＶＯＲ運動予測数学モデル７００と、図６の目の角位置追跡数学モデル８００とを組み合わせたインターワーキングを示す。図７では、３つの軸のそれぞれが示されており、頭の位置に関する入力は７０１ｘ，ｙ，ｚであり、頭の速度に関する入力は７０２ｘ，ｙ，ｚである。チューニング・ノブ７０３ｘ，ｙ，ｚも示されている。結果は、予測された目のＶＯＲ位置７２０ｘ，ｙ，ｚであり、これらは目のデルタ位置８１０ｘ，ｙ，ｚにより修正されて、最終的な目の位置が決定され、これがＨＭＤディスプレイの更新に用いられる。

【0038】

[0040]上記の詳細な説明では少なくとも１つの例示の実施形態を示したが、多数の変形形態が存在することを理解すべきである。また、１または複数の例示の実施形態は、単なる例であること、および範囲や適用や構成を何れのように限定することも意図していないことを、理解すべきである。むしろ、上記の詳細な説明は、例示の実施形態をインプリメントするための便利なロード・マップを当業者に提供するものであり、特許請求の範囲の記載の範囲から離れずに、例示の実施形態で説明されたエレメントの機能および配置における様々な変更を行え得ることは、理解されている。

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】