特許 7209316 車両内で仮想現実ヘッドセットを動作させるための方法および制御装置

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2023-01-12

(45)【発行日】2023-01-20

(54)【発明の名称】車両内で仮想現実ヘッドセットを動作させるための方法および制御装置

(51)【国際特許分類】

   H04N 5/64 20060101AFI20230113BHJP

   B60K 37/06 20060101ALI20230113BHJP

   G06F 3/01 20060101ALI20230113BHJP

   G06T 7/00 20170101ALI20230113BHJP

   G06T 7/70 20170101ALI20230113BHJP

   G02B 27/02 20060101ALN20230113BHJP

【ＦＩ】

H04N5/64 511A

B60K37/06

G06F3/01 510

G06T7/00 350C

G06T7/70 A

G02B27/02 Z

【請求項の数】 12

(21)【出願番号】P 2022513198

(86)(22)【出願日】2020-09-22

(65)【公表番号】

(43)【公表日】2022-10-25

(86)【国際出願番号】 EP2020076451

(87)【国際公開番号】W WO2021083584

(87)【国際公開日】2021-05-06

【審査請求日】2022-03-24

(31)【優先権主張番号】19205788.3

(32)【優先日】2019-10-29

(33)【優先権主張国・地域又は機関】EP

【早期審査対象出願】

(73)【特許権者】

【識別番号】522072792

【氏名又は名称】ホロライド ゲーエムベーハー

(74)【代理人】

【識別番号】110000659

【氏名又は名称】弁理士法人広江アソシエイツ特許事務所

(72)【発明者】

【氏名】ノビリ，シモナ

(72)【発明者】

【氏名】プロフェンディナー，ダニエル

【審査官】西谷 憲人

(56)【参考文献】

【文献】米国特許出願公開第２０１８／００８１４２６（ＵＳ，Ａ１）

【文献】米国特許出願公開第２０１９／０１８０７１７（ＵＳ，Ａ１）

【文献】国際公開第２０１７／１７２９８４（ＷＯ，Ａ２）

【文献】米国特許出願公開第２００２／０１９４９１４（ＵＳ，Ａ１）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｈ０４Ｎ ５／６４

Ｇ０２Ｂ ２７／０２

Ｇ０６Ｆ ３／０１

Ｇ０６Ｔ ７／７０

Ｇ０６Ｔ ７／００

Ｂ６０Ｋ ３７／０６

(57)【特許請求の範囲】

【請求項1】

車両（１）内で仮想現実ヘッドセット（３）を動作させるための方法であって、
－固定世界基準フレームに対する前記車両（１）の姿勢および／または動きを少なくとも部分的に特徴付ける車両位置特定データがキャプチャされて提供され、
－前記車両（１）の車室（９）に対する前記仮想現実ヘッドセット（３）の瞬間的な向きが、前記仮想現実ヘッドセット（３）上に配置された慣性計測装置（５）によって実行される慣性計測および前記車両位置特定データに基づいて連続的に判定され、それに基づいて、前記仮想現実ヘッドセット（３）によって表示される仮想環境の仮想視点がシミュレートされ、
－さらに、所定の時間間隔で、前記車両（１）の前記車室（９）に対する前記仮想現実ヘッドセット（３）の相対的な配置を判定する前記仮想現実ヘッドセット（３）上に配置された光キャプチャ装置（６）によって光学追跡が実行されることと、
－その後、前記車室（９）に対する前記仮想現実ヘッドセット（３）の少なくとも向きが、前記判定された瞬間的な向きと前記光学追跡を介して判定された前記仮想現実ヘッドセットの前記相対的な配置との融合によって判定され、それに基づいて、前記仮想現実ヘッドセット（３）によって表示される前記仮想環境の前記仮想視点がシミュレートされ、前記融合によって前記慣性計測装置のドリフトが打ち消されることとを特徴とする、方法。

【請求項2】

視覚的基準（８）が、車両部品上、特にヘッドレスト（７）の後側に配置され、前記光キャプチャ装置（６）が前記視覚的基準（８）を認識し、それに基づいて、前記車両部品とその近くの前記車室（９）に対する前記仮想現実ヘッドセット（３）の前記相対的な配置を判定することを特徴とする、
請求項１に記載の方法。

【請求項3】

使用される前記視覚的基準（８）が、ロゴもしくは２次元コード、特にＡｐｒｉｌタグまたはＱＲコード（登録商標）、または所定の光パターン、特に少なくとも１つのＬＥＤで動作する光源であることを特徴とする
請求項２に記載の方法。

【請求項4】

前記視覚的基準（８）が、燐光および／またはバックライトまたは照明されることを特徴とする、
請求項２または３に記載の方法。

【請求項5】

前記光キャプチャ装置（６）自体が、所定の車両部品を認識し、それに基づいて、前記車両部品、及びその近くの前記車室（９）に対する前記仮想現実ヘッドセット（３）の前記相対的な配置を判定することを特徴とする、
請求項１から４のいずれか一項に記載の方法。

【請求項6】

前記車両部品のデジタルモデルが提供され、前記光キャプチャ装置（６）が、前記デジタルモデルとの比較によって前記車両部品を認識することを特徴とする、
請求項５に記載の方法。

【請求項7】

前記デジタルモデルが、車両固有の方法で作成されることを特徴とする、
請求項６に記載の方法。

【請求項8】

前記デジタルモデルが、非車両固有モデルとして作成されることを特徴とする、
請求項６に記載の方法。

【請求項9】

前記車室（９）の一部に関して一連の画像がキャプチャされ、前記一連の画像の複数の個々の画像内で前記車室（９）の少なくとも１つの特徴および前記個々の画像におけるこの特徴の位置の変化が検出され、それに基づいて、前記車室（９）に対する前記仮想現実ヘッドセット（３）の前記相対的な配置が判定されることを特徴とする、
請求項１から８のいずれか一項に記載の方法。

【請求項10】

前記光キャプチャ装置（６）から所定の距離を超えて位置する物体は無視されることを特徴とする、
請求項９に記載の方法。

【請求項11】

畳み込みニューラルネットワークが、前記少なくとも１つの特徴を検出するために使用されることを特徴とする、
請求項９または１０に記載の方法。

【請求項12】

車両（１）内で仮想現実ヘッドセット（３）を動作させるための制御装置（４）であって、
－前記仮想現実ヘッドセット（３）上に配置された慣性計測装置（５）と、固定世界基準フレームに対する前記車両（１）の姿勢および／または動きを少なくとも部分的に特徴付ける提供される車両位置特定データとによって、前記仮想現実ヘッドセット（３）の少なくとも連続的に判定される瞬間的な向きに基づいて、前記仮想現実ヘッドセット（３）によって表示される仮想環境上の仮想視点をシミュレートするように構成され、
前記制御装置（４）がさらに、
－前記仮想現実ヘッドセット（３）上に配置された光キャプチャ装置（６）で実行された光学追跡によって、所定の時間間隔で判定される前記車両（１）の車室（９）に対する前記仮想現実ヘッドセット（３）の相対的な配置に基づいて、光学追跡を実行することと、
－少なくとも連続的に、前記判定された瞬間的な向きと、前記判定された相対的な配置、前記仮想現実ヘッドセット（３）の判定された向きとの融合によって、前記仮想現実ヘッドセット（３）によって表示される前記仮想環境上の前記仮想視点をシミュレートし、前記融合によって前記慣性計測装置のドリフトが打ち消されることとに基づいて、前記仮想現実ヘッドセット（３）を動作させるように構成されることを特徴とする、制御装置。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、車両内で仮想現実ヘッドセットを動作させるための方法および制御装置に関する。

【背景技術】

【0002】

仮想現実ヘッドセットは、しばしば仮想現実メガネまたは仮想現実ヘルメットとも呼ばれ、ユーザに仮想現実への視野を与えることを意図した一種のヘッドマウントディスプレイである。それらは、主にコンピュータおよびシミュレーションゲームで使用され、プレイヤに可能な限り最も現実的なゲーム感覚（没入感）を与えることを意図している。

【0003】

そのような仮想現実ヘッドセットは、車両、例えば自動車または他の車両で使用することもでき、その結果、車両乗員は、移動中に仮想コンテンツを楽しむことができる。多くの場合、そのような仮想現実ヘッドセットを使用するとき、ユーザは、ディスプレイなどによって表示される一種の仮想環境に没入することができることが意図される。仮想現実ヘッドセットを装着したユーザの頭部の動きは、表示される仮想環境上で対応する仮想視点の変化にほぼ１対１で変換されることがよくある。特に移動車両では、そのような仮想現実ヘッドセットを装着したユーザの頭部の動きを確実に、正確に、かつ必要な解像度でキャプチャすることは非常に困難であり得る。
国際公開第２０１７／１７２９８４Ａ２号パンフレットは、相対運動ヘッドトラッカーを備えた仮想現実ヘッドセットを記載している。後者は、センサデータを生成する１つ以上のセンサを備える。このセンサデータは、ヘッドセットの姿勢および／またはユーザがヘッドセットを使用する車両の姿勢に基づいて変化する１つ以上の特性を計測する。相対運動トラッカーのプロセッサは、前述のセンサデータを受信し、そこから車両に対するヘッドセットの姿勢を計算するように構成される。これはさらに、車両に対するヘッドセットの前述の姿勢に基づいて表示画像を生成、検索、選択、または修正し、表示画像をヘッドセットのディスプレイに送信するように構成される。
別の手法では、独国特許出願公開第１０２０１８１０９４２８号明細書は、投影現実のための車載システムを記載している。これは、投影現実画像を表示するためのヘッドセットと、車両内のヘッドセット姿勢を判定するためのローカライザ装置と、コンピューティングデバイスとを備える。後者は、ヘッドセット姿勢および車両慣性データを受信し、それに基づいて安定化画像を判定し、安定化画像をヘッドセットに提供するように構成される。
米国特許第１０４１６７５５号明細書は、複数のセンサモジュールと、それに結合されたコンピューティングデバイスとを備えるシステムを記載している。各センサモジュールは、慣性計測装置を有し、ユーザに取り付けられて、ユーザの一連の向きを識別する動きデータを生成する。複数のセンサモジュールは、共通のセンサモジュールを共有する第１および第２のサブセットを含む。コンピューティングデバイスは、第１および第２のサブセットによって生成された向き計測値を、それぞれ第１の人工ニューラルネットワークおよび第２の人工ニューラルネットワークに提供する。次いで、出力として、共通センサモジュールが取り付けられているユーザの共通部分の第１および第２の向き計測値をそれぞれ取得する。次いで、コンピューティングデバイスは、共通部品の第１および第２の向き計測値を組み合わせることから、共通部品の予測される向き計測値を生成する。

【発明の概要】

【発明が解決しようとする課題】

【0004】

したがって、本発明の課題は、ユーザが車両内で仮想現実ヘッドセットを装着している間の後者の頭部の動きに関して特に正確で高解像度のキャプチャを達成することができる解決策を提供することである。

【課題を解決するための手段】

【0005】

この課題は、独立請求項の特徴を有する、車両内で仮想現実ヘッドセットを動作させるための方法および制御装置によって解決される。本発明のさらなる可能な展開および構成は、従属請求項、明細書、および図に示されている。

【0006】

車両内で仮想現実ヘッドセットを動作させるための本発明による方法では、固定世界基準フレームに対する車両の姿勢および／または動きを少なくとも部分的に特徴付ける車両位置特定データがキャプチャ（保存）されて提供される。言い換えれば、この車両位置特定データは、外界に静止的に固定された座標系における車両の位置、向きおよび／または動きを記述する。車両位置特定データは、例えば、車両に固定的に取り付けられた慣性計測装置、すなわち略してＩＭＵ、全地球測位システムなどによってキャプチャされてもよい。車両位置特定データは、最低でも、車両にしっかりと取り付けられたＩＭＵの出力、すなわち直線加速度および角速度データ、および／または車両用のセンサフュージョンの出力としての向きデータを含むことができる。さらに、仮想現実ヘッドセットの少なくとも瞬間的な向きは、仮想現実ヘッドセットに配置された慣性計測装置（ＩＭＵ）によって連続的に判定される。少なくとも部分的にそれに基づいて、仮想現実ヘッドセットによって表示される仮想環境上の仮想視点がシミュレートされる。当該仮想環境が仮想現実ヘッドセットによって表示されている間、仮想現実ヘッドセットに取り付けられた慣性計測装置は、仮想現実ヘッドセットの少なくとも瞬間的な向き、したがって車両位置特定データと組み合わせて、仮想現実ヘッドセットの向きまたは姿勢、したがって車両に着席している間に仮想現実ヘッドセットを装着したユーザの頭部の向きまたは姿勢も連続的にキャプチャする。仮想現実ヘッドセットの頭部の動き、したがって関係するユーザの頭部の動きは、表示される仮想環境内の対応する視点の変化に１対１で変換される。仮想現実ヘッドセットに取り付けられた慣性計測装置は、外界、すなわち局所重力ベクトルに対する仮想現実ヘッドセットの動きをキャプチャまたは計測する。しかしながら、この慣性計測装置自体は、車両が静止している間の仮想現実ヘッドセットの動き、仮想現実ヘッドセットが車両に対して静止している間の車両の動き、およびそれらの組み合わせを区別することはできず、外界、すなわち固定世界基準フレームに対する車両の動きと、車両、特に車両の車室に対する仮想現実ヘッドセットの動きとの重畳をキャプチャまたは計測することしかできない。仮想現実ヘッドセットに取り付けられた慣性計測装置からのデータを車両位置特定データと組み合わせることによって、車室に対する仮想現実ヘッドセットの動きを分離する、すなわち判定することができる。例えば、車両位置特定データまたはそれが記述する車両の動きは、簡単に言えば、仮想現実ヘッドセットに取り付けられた慣性計測装置によってキャプチャまたは計測されたデータまたはそれによって記述される動きもしくは向きから差し引くことができる。

【0007】

本発明はさらに、そのような慣性計測装置の使用において、いわゆるドリフトが発生し得るという洞察に基づく。慣性計測装置は、典型的には、加速度および角速度を計測し、これらを統合して空間内の向き、すなわち３自由度（ＤＯＦ）を判定することができる。これは、特に、仮想現実ヘッドセットの回転運動または旋回運動が慣性計測装置によって統合され、特定の時間の後、仮想現実ヘッドセットの、したがって仮想現実ヘッドセットの装着者の頭部の検出された位置合わせが実際の位置合わせに対応しなくなることを意味し得る。慣性計測装置は、例えば、線形加速度センサや角速度センサなどのいくつかの慣性センサの空間的組み合わせを含むことができる。

【0008】

このいわゆるドリフトを打ち消すために、本発明による方法は、車両の車室に対する仮想現実ヘッドセットの相対的な配置が、仮想現実ヘッドセットに配置された光キャプチャ（保存、捕獲）装置を使用した視覚追跡または光学追跡によって所定の時間間隔で判定されることを提供する。光学追跡は、車室内、すなわち車室に対する仮想現実ヘッドセットの配置を判定する。例えば、慣性計測装置が、仮想現実ヘッドセットの瞬間的な向きを、光キャプチャ装置が車室に対する仮想現実ヘッドセットの相対的な配置を判定するよりも実質的に高い速度で判定することが提供され得る。しかしながら、慣性計測装置からのデータが経時的にドリフトする傾向があり、光学追跡が経時的にドリフトしない固定基準に依存する可能性があるため、光学追跡に基づいて判定される相対的な配置は、慣性計測装置のみによって判定される瞬間的な向きよりも正確かつ／またはより確実になり得る。

【0009】

仮想現実ヘッドセットに取り付けられた慣性計測装置からのデータおよび車両位置特定データに基づいて判定された仮想現実ヘッドセットの瞬間的な向きと、光学追跡を介して判定された仮想現実ヘッドセットの相対的な配置とが融合される。例えば、両方のデータは、フィルタ、特にカルマンフィルタ、特にエラー状態拡張カルマンフィルタ（ＥＳＫＦ：Ｅｒｒｏｒ－Ｓｔａｔｅ Ｅｘｔｅｎｄｅｄ Ｋａｌｍａｎ Ｆｉｌｔｅｒ）への入力として提供され得る。これは、実質的に、慣性計測装置によって判定された向きと、光キャプチャ装置によって決定された仮想現実ヘッドセットの向きとの間で比較が実行されることを意味する。それにより、結果として、車両が動いているか否かにかかわらず、車室に対する仮想現実ヘッドセットの向きが判定される。これに基づいて、仮想現実ヘッドセットによって表示される仮想環境上の仮想視点がシミュレートされる。光学追跡は、慣性計測装置および光キャプチャ装置からのデータのソースまたはストリームの両方の融合によって信頼性の高い、すなわち正しいデータを提供するので、慣性計測装置からのドリフトまたは不正確さは滑らかに補正される。言い換えれば、少なくともデータ融合から生じる判定された向き、したがって仮想視点は、表示された仮想環境またはその上の仮想視点におけるジャンプまたは不連続性なしに正しい値に向かって引っ張られる。

【0010】

仮想現実ヘッドセットの向きは、融合またはフィルタの出力が利用可能になると、それらに基づいて連続的または繰り返し判定され得る。低周波光学追跡からの更新の間、仮想現実ヘッドセットの少なくとも向きは、慣性計測装置に基づいてのみ、または主に慣性計測装置に基づいて判定することができる。これは、車室に対する仮想現実ヘッドセットの瞬間的な相対的な配置が光キャプチャ装置によって再び決定されるまで行われ得、その後、この光学的に判定された配置は、少なくとも仮想現実ヘッドセットの向きを自動的に補正し、続いて仮想視点のシミュレーションを自動的に補正するために、フィルタまたはデータ融合プロセスに再び供給され得る。

【0011】

したがって、慣性計測装置からのデータの当該補正は、光学追跡の周波数に応じて指定された間隔で繰り返し実行され、その結果、慣性計測装置の前述のドリフトを打ち消すことができる。これにより、特に移動車両において、仮想現実ヘッドセットの瞬間的な向き、したがって仮想現実ヘッドセットの装着者の頭部の瞬間的な向きが常に確実かつ正確に判定され得ることと、仮想現実ヘッドセットの装着者の頭部の動きが仮想環境内の対応する視点の変化に正しく変換され得ることとを保証することができる。これは、仮想現実ヘッドセットの装着者に特に没入的な体験をもたらし、酔いの症状を回避または制限するのを助けることができる。

【0012】

本発明による方法では、特に、仮想現実ヘッドセットのそれぞれの位置合わせ、したがって仮想現実ヘッドセットの装着者の頭部位置合わせを特に堅牢で高解像度の方法で判定することが可能である。慣性計測装置は、仮想現実ヘッドセットの瞬間的な向き、したがって頭部の位置合わせを非常に高い時間分解能で連続的に判定することができる。例えば、光キャプチャ装置が、対応するクロック速度または時間分解能で仮想現実ヘッドセットの位置合わせを判定することができない場合、その間、仮想環境の仮想視点をシミュレートするための基礎として、該当する場合には車両位置特定データと組み合わせて、慣性計測装置からの情報のみまたは主に慣性計測装置からの情報を使用することが可能である。少なくとも車両の内部に対する仮想現実ヘッドセットの相対的な向きが光キャプチャ装置によって再び判定されたときはいつでも、このデータにおける記述された融合による当該補正は、必要に応じて実行される。光キャプチャ装置のキャプチャ範囲を可能な限り大きくするために、仮想現実ヘッドセットの異なる位置に取り付けられた様々な光センサを有することができる。

【0013】

仮想現実ヘッドセットに取り付けられた慣性計測装置は、３つの向きの自由度で仮想現実ヘッドセットの向きを提供することができる。光キャプチャ装置による光学追跡は、例えば、光学追跡および／または光学追跡に使用される光学基準の複雑さおよび精度に応じて、１つ以上、特に最大３つの位置自由度をさらに提供することができる。これらの追加の自由度により、空間内の仮想現実ヘッドセットの位置は、例えば、車室に固定された所与の基準フレームまたは座標系内またはそれらに関して記述することができる。したがって、理想的には、６自由度（ＤＯＦ）における仮想現実ヘッドセットの完全な姿勢、すなわちその向きおよび位置が判定され得る。３自由度を超える仮想現実ヘッドセットの姿勢を記述する姿勢または対応する姿勢のデータは、データ融合のための、すなわち慣性計測装置のドリフトを補正または打ち消すための入力として使用することができる。表示された仮想環境上の仮想視点は、仮想現実ヘッドセットの判定された向きだけではなく、１つ以上の自由度で空間内の仮想現実ヘッドセットの位置を記述する任意またはすべての追加の判定された位置データに基づいてシミュレートされ得る。

【0014】

光学追跡またはそこで使用される任意の光学的または視覚的基準が、仮想現実ヘッドセットの完全な姿勢を判定するために必要な複雑さ、定義、解像度および／または信頼性を欠いている場合、すなわち、向きおよび位置を完全に決定するための十分な制約を提供しない場合、仮想現実ヘッドセットの姿勢データを４または５自由度、すなわち３つの向きの自由度および任意の利用可能な位置自由度でのみ決定し提供することが可能である。これは、少なくともそれぞれの自由度において慣性計測装置からのデータの起こり得るドリフトの影響を補正または制限することによって、精度および信頼性の向上を提供またはもたらすために依然として有益であり得る。光キャプチャ装置から取得されたデータが精度を欠いているか、または比較的低い信頼値を有する場合、対応するより低い重みを、仮想現実ヘッドセットに取り付けられた慣性計測装置からのデータとの融合のためにそれに適用することができる。一般に、光学追跡は、基準として、または１～６自由度のどこかを補正するために使用することができる。これは、光学追跡を使用して、慣性計測装置によってカバーされるものとは異なる自由度および／または慣性計測装置によってカバーされる１つ以上の自由度のための追加のデータを提供できることを意味する。例えば、光学追跡は、少なくとも１つの方向、最も有益には仮想現実ヘッドセットのそれぞれの装着者またはユーザによって占有される座席の前向きの方向の基準を提供することができ、したがって、少なくとも１つの方向または向きまたは角度について慣性計測装置によって提供される向きデータを補正することができる。

【0015】

全体として、慣性計測装置と光学追跡との組み合わせは、方法およびそれぞれのシステムまたは装置に改善されたロバスト性を提供することができ、一方、車両位置特定データを含めることは、移動車両においても仮想視点の正確なシミュレーションを可能にすることができる。例えば、光学追跡に使用される光学的基準または視覚的基準が光キャプチャ装置の現在の視野内にない場合、および／または光キャプチャ装置によってキャプチャされた画像データが、例えば、暗闇、動きのぼやけなどのために有効ではない場合、慣性計測装置からのデータは、光キャプチャ装置からの有効な画像データが再び利用可能になるまで、少なくとも仮想現実ヘッドセットの向きの判定または追跡を継続するために少なくともしばらくの間信頼することができる。

【0016】

本発明の可能な構成は、視覚的基準または光学的基準が車両部品上、特にヘッドレストの後側に配置され、キャプチャ装置が視覚的基準を認識し、それに基づいて、車両部品、したがって車室に対する仮想現実ヘッドセットの相対的な配置を判定することを提供する。仮想現実ヘッドセットの装着者が車両の後部領域、例えば自動車両の後部座席に着席している場合、通常、装着者の前方にヘッドレストが常に存在する。このヘッドレストは、慣性計測装置からのデータまたは仮想現実ヘッドセットの向きまたは姿勢を繰り返し補正するように機能することができ、前述の視覚的基準は、キャプチャ装置が視覚的基準を認識し、それに基づいて、車両部品、すなわちヘッドレスト、したがって車室に対する仮想現実ヘッドセットの相対的な配置を判定することができるように、ヘッドレストの後部に配置される。視覚的基準は、特に、キャプチャ装置が視覚的基準を特に容易かつ明確に認識することができ、したがってそれを車室内の他の要素から区別することができるように設計することができる。これにより、キャプチャ装置によって車室に対する仮想現実ヘッドセットの相対的な配置を特に簡単で信頼性の高い方法で判定し、必要に応じてこれに基づいて慣性計測装置からのデータを補正することが可能になる。

【0017】

現在、車両または車両の構成部品が言及されるときはいつでも、それぞれの特徴、展開、またはプロセスを車両の複数の構成部品または車室全体に適用することができる。

【0018】

本発明のさらなる可能な構成は、ロゴまたは２次元コード、特にＡｐｒｉｌタグまたはＱＲコード（登録商標）、または所定の光パターンで動作する光源が視覚的基準として使用されることを提供する。ロゴ、例えばＡｐｒｉｌタグまたはＱＲコード（登録商標）の形態の２次元コードは、車室に対する仮想現実ヘッドセットの相対的な配置を判定するために、キャプチャ装置によって特に容易かつ確実に認識することができる。例えば、１つ以上のＬＥＤを前述の車両部品、例えばヘッドレストの後部に取り付けることも可能であり、それに基づいて、車室に対する仮想現実ヘッドセットの相対的な配置を判定するために、キャプチャ装置によって特に容易かつ確実に認識され得る特定の光パターンが生成される。１つのＬＥＤのみが使用される場合、これは、１自由度または２自由度で仮想現実ヘッドセットの姿勢を判定するのに十分であり得る。仮想現実ヘッドセットの姿勢をより多くの自由度で判定することを可能にするために、より多くのＬＥＤを設けることができる。この目的のために、複数のＬＥＤを所定のパターンまたは配置で、例えば、隣接するＬＥＤの異なる対の間に別個のまたは異なる距離を置いて配置することができる。ＬＥＤのそれぞれは、例えば、それぞれ放出された光の個々の固有の色、固有の点滅パターンおよび／または周波数などによって、固有に識別可能であり得る。点滅パターン、すなわち、個々のＬＥＤがオンおよびオフに切り替えられる方法は、例えば、各ＬＥＤに割り当てられた反復２進数を符号化することができる。これらの適合は、ＬＥＤのパターンまたはアレイに関する姿勢を、異なる視点から、かつキャプチャ装置の異なる向きの下で、より確実かつ正確に識別可能にすることができる。

【0019】

本発明の別の可能な構成によれば、視覚的基準が燐光および／またはバックライトまたは照明されることが提供される。これは、視覚的基準自体を照らすことができない場合に特に有用である。この場合、それにもかかわらず、不十分な照明条件であっても、キャプチャ装置によって視覚的基準を確実に認識することが可能であり、その結果、それに基づいて、車室に対する仮想現実ヘッドセットの相対的な配置を常に判定することができる。

【0020】

本発明のさらなる可能な構成は、キャプチャ装置自体が所与の車両部品を認識し、それに基づいて、車両部品に対する仮想現実ヘッドセットの相対的な配置を判定することを提供する。車両部品は、前述の車両部品、すなわち、例えばヘッドレストであり得る。あるいは、車室内の他のタイプの車両部品も可能である。したがって、この場合、キャプチャ装置は、前述の車両部品自体を認識するように構成され、すなわち、車両部品に特定の視覚的基準を取り付ける必要がない。したがって、車両乗員の場合、関係する車両部品は、視覚的基準などが取り付けられていないため、通常の外観を有する。

【0021】

本発明のさらなる可能な実施形態では、車両部品のデジタルモデルが提供され、キャプチャ装置が、このデジタルモデルとの比較によって車両部品を認識することが提供される。デジタルモデルは、一種のメッシュまたはグリッドモデル、または別の種類のデジタルモデル、特に３Ｄモデルであってもよい。デジタルモデルは、対応するデータの量を減らすために比較的疎であってもよく、車両部品のより正確で詳細な表現を提供することができるように比較的密であってもよい。車両部品のデジタルモデルを提供することにより、キャプチャ装置を使用して、デジタルモデルと比較して車室内の光学的にキャプチャされた要素を特に簡単で信頼性の高い方法でチェックし、必要に応じて、それらが関係する車両部品の一部であるかどうかを認識して、車両の車室に対する仮想現実ヘッドセットの相対位置を再度判定することが可能である。モデルまたはそのメタデータの一部として、車室内および車室に対する車両部品の固定姿勢を提供することができる。

【0022】

本発明のさらなる可能な構成は、デジタルモデルが車両固有の方法で作成されることを提供する。例えば、車両部品がヘッドレストである場合、特定の車両変形形態に設置されたこのヘッドレストは、デジタルモデルとして提供される。この目的のために、例えば、関係する車両部品のデジタルモデルを生成するために、関係する車両モデルに対して内部スキャンなどを１回実行することができる。この手順の利点は、デジタルモデルが、キャプチャされる車両部品と少なくとも実質的にまたはさらには完全に同一であることである。これにより、キャプチャ装置は、関連する車両部品を特に容易に認識することができ、それに基づいて、車両の車室に対する仮想現実ヘッドセットの相対的な配置を判定することができる。

【0023】

本発明の代替の可能な実施形態は、デジタルモデルが非車両固有モデルとして作成されることを提供する。したがって、各車両変形形態または車両部品変形形態について非常に正確なデジタルモデルを作成する代わりに、車両変形形態または車両部品変形形態に固有ではない一般的または標準的またはデフォルトのデジタルモデルを作成および提供することも提供され得る。例えば、車両部品が前述のヘッドレストである場合、ヘッドレストは通常、特定の共通の特徴を有すると仮定することができる。これらの共通の特徴は、非車両固有または非車両部品固有のデジタルモデルに組み込むことができる。これは、関係するすべての車室または車両部品の正確なデジタルモデルを提供する必要がないことを意味する。代わりに、非車両固有または非部品固有のデジタルモデルを提供すれば十分であり得、キャプチャ装置は依然として、デジタルモデルに基づいて、関係する車両部品を十分に認識して、車両の車室に対する仮想現実ヘッドセットの相対的な配置を判定することができる。提供される予め構築されたモデルと特定の車両内の実際の車両部品との間にはいくつかの違いがある可能性があるため、ＲＡＮＳＡＣ法や反復最接近点（ＩＣＰ：Ｉｔｅｒａｔｉｖｅ Ｃｌｏｓｅｓ Ｐｏｉｎｔ）法などの、誤差または外れ値の存在下でのモデルマッチングのための所定の手法を適用することができる。それにより、提供されるデジタルモデルを、キャプチャ装置によってキャプチャされたそれぞれの実際の車両部品の画像、または画像もしくは画像のシーケンスから構築されたそれぞれの実際の車両部品のデジタルモデルと位置合わせするために、対応する変換を計算することができる。これにより、提供される一般的なデジタルモデルとの一致が不完全であるにもかかわらず、関係する実際の車両部品のより正確で信頼性の高い認識を容易にすることができる。

【0024】

提供されるモデルは、予め構築することができ、すなわち、本発明による方法を実行するためのシステムまたは装置の一部として、例えば車両または仮想現実ヘッドセットの最初の送達とともに提供することができる。あるいは、提供されるモデルは、例えば、仮想現実ヘッドセットが最初にオンにされるか、または車両で最初に使用される初期化プロセスにおいて、仮想現実ヘッドセットに取り付けられたキャプチャ装置によってキャプチャされた画像データから自動的に生成することができる。車両部品または車室の一部に関する最初の観測値を、提供されるデジタルモデルとして使用することが可能であり、このデジタルモデルに対して、その後のすべての観測値、すなわちキャプチャ装置によって作成される画像を一致させることができる。

【0025】

キャプチャ装置によって行われた現在の画像または観測値の、提供されるデジタルモデルに対するマッチングが不正確すぎる場合、すなわち、所定の閾値より大きい位置合わせ誤差を有する場合、仮想現実ヘッドセットの追跡は、３自由度、すなわちその向きにダウングレードされ得る。車両部品のデジタルモデルは、車室の仮想現実ヘッドセットのユーザまたは装着者の位置が既知であると仮定して、車室に対する少なくとも１つの方向、特に実際の前方方向の視覚的基準として、またはそれを判定するために、依然として使用することができる。これは、特に前方方向が通常、仮想視点のシミュレーションに最も関連する方向であるため、慣性計測装置のドリフトを打ち消す上で依然として大きな利点を提供することができる。

【0026】

本発明のさらなる可能な構成は、車室の一部に関する一連の画像がキャプチャされ、一連の画像のいくつかの個々の画像内で車室の少なくとも１つの特徴が検出され、個々の画像上のこの特徴の位置の変化が判定され、それに基づいて、車室に対する仮想現実ヘッドセットの相対的な配置が判定されることを提供する。この手順は、フレーム間視覚追跡と呼ぶことができる。このようにして、特徴の検出または抽出、特に特徴抽出、異なる個々の画像間の特徴マッチング、さらには個々の画像間の特徴追跡を実行することができる。特に、関係する車室の関連する特徴が一度計測され、関係する車両座標系内のどこに特徴が位置するかに関してデータが提供されることも提供され得る。車両内の問題の特徴の位置が固定されていると仮定すると、個々の画像上の検出された特徴の位置の変化を監視することによって、キャプチャ装置、したがって仮想現実ヘッドセットがどのように移動されたかを判定することは比較的容易である。このようにして、仮想現実ヘッドセットが任意の所与の瞬間に実際にどのように向けられるかを非常に正確に判定することが可能であり、次いで、この情報は、必要に応じて慣性計測装置のドリフトを補正するために前述の方法で使用され得る。この方法はまた、仮想現実ヘッドセットの姿勢が３つを超える向きの自由度、特に６自由度、すなわちロール、ピッチ、ヨー、ｘ、ｙ、およびｚにおける全姿勢で判定され得るように、位置情報を提供することもでき、後者は車両座標系における空間内の位置を示す。

【0027】

この手法では、光学追跡のための特定の固定基準を提供する必要はない。しかしながら、ループクロージャを使用して、慣性計測装置からのデータ、すなわちそれぞれのデータ融合結果におけるデータと組み合わせて、フレーム間視覚追跡のドリフトを補償することができる。

【0028】

本発明のさらなる可能な構成では、キャプチャ装置から所定の距離に位置する物体が無視されることが提供される。したがって、例えば、一連の画像をキャプチャして評価するときに、キャプチャ装置から数センチメートル離れて位置する物体がまったく考慮されないようにすることが提供され得る。このようにして、特に、車両の外側に位置する物体がまったく考慮されないことを保証することができ、これは、特に、車両の外側のすべてが、通常、例えば、認識される前述の車両部品、特に前述のヘッドレストより遠くにあり、また、車両とは独立して移動する可能性があり、それにより正確な追跡を妨げる可能性があると想定され得るためである。この手順はまた、例えば、仮想現実ヘッドセットの装着者の隣または少なくとも同じ車両内のどこかに着席している他の乗客に注意が払われないことを保証するために使用することもできる。例えば４０ｃｍ、５０ｃｍなどの距離で個々の画像を評価するときに、キャプチャ装置から前述の所定の距離を超えて位置する物体がまったく考慮されないという事実は、特に信頼性の高い結果が達成され得ることを意味する。これは、光キャプチャ装置によって判定された仮想現実ヘッドセットの実際の位置合わせが特に正確であることを意味する。

【0029】

本発明の別の可能な構成は、特徴を検出する、すなわち抽出するために畳み込みニューラルネットワーク（ＣＮＮ：Ｃｏｎｖｏｌｕｔｉｏｎａｌ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋ）が使用されることを提供する。特に、そのようなニューラルネットワークを使用して、異なる画像ピクセルを、これらが車室または車両の外部の構成部品に関連するかどうかに関してラベル付けすることも可能である。例えば、畳み込みニューラルネットワークを使用して、車両の外部の環境および車両乗員に関連するピクセルをマスクすることができ、その結果、一連の画像における各個々の画像内には、車室内の関連点のみが存在する。次いで、これらのピクセルまたは点のみを使用して、仮想現実ヘッドセットが現在どのように前述の方法で実際に位置合わせされているかを特定の精度で判定することができる。ニューラルネットワークは、提供される訓練データ、すなわち正しくラベル付けされた様々な画像を使用して訓練され得る。訓練データは、車室が通常ほぼ単色であるという洞察に基づいて自動的または半自動的に生成され得る。したがって、ピクセル色に基づいて、車室に属するピクセルと、外部環境または乗客に属するピクセルとを区別する自動または半自動プロセスを実施することができる。特定の車両について、車室の主な色は、入力パラメータとして提供され得るか、または自動的に判定され得る。ニューラルネットワークのラベル付き訓練データを自動的または半自動的に生成するそのようなプロセスは、速度を大幅に増加させ、訓練されたニューラルネットワークを作成するために必要な労力を低減することができる。

【0030】

車両内で仮想現実ヘッドセットを動作させるための本発明による制御装置は、仮想現実ヘッドセットに配置された慣性計測装置によって連続的に判定される仮想現実ヘッドセットの少なくとも瞬間的な向きと、固定世界基準フレームに対する車両の姿勢および／または動きを少なくとも部分的に特徴付けまたは記述する提供される車両位置特定データとに基づいて、仮想現実ヘッドセットによって表示される仮想環境上の仮想視点をシミュレートするように構成される。さらに、制御装置は、仮想現実ヘッドセットに配置された光キャプチャ装置によって実行される光学追跡によって所定の時間間隔で判定される車両の車室に対する仮想現実ヘッドセットの相対的な配置に基づいて、そのように構成される。さらに、制御装置は、仮想現実ヘッドセットの少なくとも判定された瞬間的な向きと光学的に判定された相対的な配置との融合によって連続的にまたは繰り返し判定された仮想現実ヘッドセットの少なくとも向きに基づいて、仮想現実ヘッドセットによって表示される仮想環境上の仮想視点をシミュレートするように構成される。本発明による方法の記載された構成は、制御装置の可能な構成とみなされるべきであり、またその逆も同様であり、特に、制御装置は、本発明による方法のプロセスステップを実行するための手段を備える。

【0031】

本発明のさらなる特徴は、図の以下の説明および図面から導き出すことができる。説明において上述した特徴および特徴の組み合わせ、ならびに図の説明および／または図のみにおいて以下に示される特徴および特徴の組み合わせは、本発明の範囲から逸脱することなく、それぞれの場合に示される組み合わせだけでなく、他の組み合わせにおいて、または単独でも使用され得る。

【0032】

この図面は、単一の図において、仮想現実ヘッドセットを装着したユーザが着席している自動車両の概略図を示す。

【図面の簡単な説明】

【0033】

【図1】自動車両１が非常に概略的に示されている。

【発明を実施するための形態】

【0034】

自動車両には、仮想現実ヘッドセット３を装着した人物２が着席している。仮想現実ヘッドセット３は、仮想現実ヘッドセット３を制御するための制御装置４、慣性計測装置５、およびキャプチャ装置６をさらに備える。慣性計測装置５およびキャプチャ装置６は、いずれも仮想現実ヘッドセット３に取り付けられている。人物２の前方には、視覚的基準８が適用されるヘッドレスト７も概略的に示されている。自動車両１は、外界における、すなわち固定世界基準フレームまたは座標系に対する自動車両１０の姿勢および／または動きを記述した車両位置特定データを、例えば無線データ接続を介して制御装置４に提供することができる車両位置特定システム１０を固定的に装備している。

【0035】

仮想現実ヘッドセット３を動作させる手順について以下に説明する。仮想現実ヘッドセット３によって仮想環境が表示されている間、慣性計測装置５は、仮想現実ヘッドセット３の瞬間的な向きを連続的に判定する。慣性計測装置５は、自動車に対してではなく外部固定世界基準フレームに対して仮想現実ヘッドセットの向きを計測するので、そのデータは、車両位置特定システム１０によって提供される車両位置特定データと組み合わせることができる。これにより、自動車両１、特にその車室９、すなわち自動車両１と共に移動する車両座標系に対する仮想現実ヘッドセット３の瞬間的な向きに関する向きの判定が可能になる。仮想現実ヘッドセット３の少なくともそれぞれの瞬間的な向き、および場合によっては位置を特徴付ける対応するデータが、制御装置４に送信される。これらのデータに基づいて、制御装置４は、仮想現実ヘッドセット３によって現在表示されている仮想環境上の人物２の仮想視点をシミュレートする。仮想環境は、例えば、コンピュータゲームの１シーンとすることができる。仮想現実ヘッドセット３をオンにした人物２が頭部を例えば左または右に回すと、コンピュータゲーム内に表示される仮想視点はそれに応じて変化する。表示される仮想環境内で、人物２もそれに応じて頭部を左右に動かす。具体的には、人物２の頭部の旋回運動は、このようにして、表示される仮想環境内でほぼ１対１に変換される。もちろん、それに応じて人物２の頭部の並進運動も実施され得る。

【0036】

このような慣性計測装置５では、例えば、慣性計測装置５の加速度センサ、角速度センサ、および／または他のセンサによって取得されたデータが、統合されたときに視覚的にわずかに誤ったデータを提供する場合、すなわち、人物２の実際の頭部の向きまたは仮想現実ヘッドセット３の実際の向きがもはや正確に再現されない場合、いわゆるドリフトが経時的に発生するという問題が生じる可能性がある。

【0037】

したがって、自動車両１の車室９に対する仮想現実ヘッドセット３の相対的な配置、特に姿勢が、仮想現実ヘッドセット３に配置された光キャプチャ装置６によって所定の時間間隔で判定されることが提供される。したがって、光キャプチャ装置６は、その部分について、仮想現実ヘッドセット３の位置合わせまたは向きを判定することができ、それを車室９に対して行う。慣性計測装置５およびキャプチャ装置６によって判定された仮想現実ヘッドセット３のそれぞれ判定された向きまたは姿勢は、特に、制御装置４の一部として提供される誤差状態拡張カルマンフィルタに入力として与えることによって、互いに融合される。これは、フィルタの出力として、慣性計測装置５のドリフトに対して滑らかに補正された仮想現実ヘッドセット３の補正された向きまたは姿勢を提供する。ここで、光キャプチャ装置６によって判定された仮想現実ヘッドセット３の位置合わせまたは配置は、正しい位置合わせであると仮定される。次いで、仮想現実ヘッドセット３によって表示される仮想環境の仮想視点が適合される、すなわち、補正された向きまたは姿勢に基づいてシミュレートされる。指定された時間間隔で、光キャプチャ装置６は、車室９に対する仮想現実ヘッドセット３の向きまたは姿勢を判定するために独自の手順を再び実行し、その結果、このようにして取得されたデータに基づいて、必要に応じて、慣性計測装置５のドリフトの前述の円滑な補正を、それぞれのデータの融合によって再び実行することができる。融合、すなわち、一方では慣性計測装置５および車両位置特定システム１０から、他方では光キャプチャ装置６から得られたデータの組み合わせまたは比較は、車両位置特定データを使用して、慣性計測装置５によって検出された全運動から、車室９に対する仮想現実ヘッドセット３のこの動きの成分を分離することによって可能になる。

【0038】

光キャプチャ装置６は、例えば、ヘッドレスト７上の視覚的基準８を認識し、それに基づいて、ヘッドレスト７に対する、したがって車室９に対する仮想現実ヘッドセット３の相対的な配置を判定するように構成することができる。視覚的基準８は、例えばいわゆるＡｐｒｉｌタグまたはＱＲコード（登録商標）の形態のロゴまたは２次元コードとすることができる。視覚的基準８はまた、例えば、特定の光パターンで動作する１つ以上のＬＥＤであってもよく、その結果、光キャプチャ装置６は、この光パターンまたは関連するＬＥＤを特に容易に検出することができる。

【0039】

特に、視覚的基準８が何らかの形態の光源ではない場合、視覚的基準８は燐光および／またはバックライトまたは照明されることが提供され得る。このようにして、劣悪な照明条件であっても、光キャプチャ装置６は常に視覚的基準８を容易に認識することができる。

【0040】

視覚的基準８をヘッドレスト７に設ける代わりに、キャプチャ装置６がヘッドレスト７自体を認識し、これに基づいて、ヘッドレスト７に対する、したがって車室９に対する仮想現実ヘッドセット３の相対的な配置を判定するように構成されることも提供され得る。この目的のために、例えば、ヘッドレスト７の正確なデジタルモデルを提供することができ、その結果、光キャプチャ装置６は、このデジタルモデルとの比較によってヘッドレスト７を認識することができる。異なる自動車両１または異なるヘッドレスト７に対して異なる特定のデジタルモデルを提供する必要がないように、特定の縁部または幾何学的特性などの特定の典型的なヘッドレスト特徴が提供される、すべての車両またはヘッドレストに有効なデジタルモデルが提供されることも提供され得る。この場合、光キャプチャ装置６は、関係するデジタルモデルとの比較によってそれぞれのヘッドレスト７を認識し、したがってヘッドレスト７に対する、したがって車室９に対する仮想現実ヘッドセット３の位置合わせを判定することも可能である。

【0041】

また、キャプチャ装置６が、検出されている車室９の少なくとも１つの特徴で、一連の画像のいくつかの個々の画像において、車室９の一部に関する一連の画像をキャプチャすることも可能であり、個々の画像上のこの特徴の位置の変化が判定され、それに基づいて、車室９に対する仮想現実ヘッドセット３の相対的な配置が判定される。特徴は、例えば、ヘッドレスト７の一部であってもよく、または車室９内の完全に異なる構成部品であってもよい。このいわゆるフレーム間視覚追跡はまた、必要に応じて、このデータに基づいて慣性計測装置５によって提供される向きデータまたは姿勢データに関する前述の補正を実行するために、光キャプチャ装置６によって、指定された間隔で車室９に対する仮想現実ヘッドセット３の正確な位置合わせまたは配置を判定することを可能にする。これに関連して、特に、キャプチャ装置６から所定の距離を超えて位置する物体を無視するように設けられてもよい。例えば、ヘッドレスト７が光キャプチャ装置６によって認識される場合、これは、例えば、後部座席に着席している車両乗員の場合にキャプチャ装置６から最大７０ｃｍの距離にあり、キャプチャ装置６から７０ｃｍを超えるすべての物体はまったく考慮されないと指定することができる。このようにして、例えば、自動車両１の外側に位置する物体または図示されていない他の車両乗員が追跡または検出されることを排除することができる。このようにして、仮想現実ヘッドセット３の実際の位置合わせが光キャプチャ装置６によって特に正確な方法で判定され得ることが保証され得る。代替的または追加的に、例えば、畳み込みニューラルネットワークを使用して前述の特徴を検出することも可能である。そのようなニューラルネットワークによって、例えば、個々の画像ピクセルを分類し、これに基づいて、ピクセルのうちのどれが車室９に属し、どれが属していないかを認識することが可能である。車室９に属していない画素は、例えばマスクアウトすることができる。

【0042】

仮想現実ヘッドセット３を動作させるための記載された方法によって、仮想現実ヘッドセット３によって表示される仮想環境において人物２のそれぞれの頭部の位置合わせまたは頭部の動きを実施するために、仮想現実ヘッドセット３の位置合わせ、したがって人物２の頭部の位置合わせを非常に正確に判定することが特に信頼性の高い方法で可能である。

【符号の説明】

【0043】

１ 自動車両
２ 人物
３ 仮想現実ヘッドセット
４ 制御装置
５ 慣性計測装置
６ キャプチャ装置
７ ヘッドレスト
８ 視覚的基準
９ 車室
１０ 車両位置特定システム

【図1】