特許 7138175 バーチャルコンテンツを表示するためのヘッドマウント式電子ディスプレイ装置の操作方法およびバーチャルコンテンツを表示するためのディスプレイシステム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2022-09-07

(45)【発行日】2022-09-15

(54)【発明の名称】バーチャルコンテンツを表示するためのヘッドマウント式電子ディスプレイ装置の操作方法およびバーチャルコンテンツを表示するためのディスプレイシステム

(51)【国際特許分類】

   G06F 3/01 20060101AFI20220908BHJP

   G02B 27/02 20060101ALI20220908BHJP

【ＦＩ】

G06F3/01 510

G02B27/02 Z

【請求項の数】 4

(21)【出願番号】P 2020537869

(86)(22)【出願日】2018-09-24

(65)【公表番号】

(43)【公表日】2021-05-13

(86)【国際出願番号】 EP2018075776

(87)【国際公開番号】W WO2019063475

(87)【国際公開日】2019-04-04

【審査請求日】2020-05-22

(31)【優先権主張番号】102017217027.1

(32)【優先日】2017-09-26

(33)【優先権主張国・地域又は機関】DE

【前置審査】

(73)【特許権者】

【識別番号】591006586

【氏名又は名称】アウディ アクチェンゲゼルシャフト

【氏名又は名称原語表記】ＡＵＤＩ ＡＧ

(74)【代理人】

【識別番号】110001298

【氏名又は名称】弁理士法人森本国際特許事務所

(72)【発明者】

【氏名】キューネ、マルクス

(72)【発明者】

【氏名】プロフェンディナー、ダニエル

【審査官】岩橋 龍太郎

(56)【参考文献】

【文献】米国特許第０９４５９６９２（ＵＳ，Ｂ１）

【文献】国際公開第２０１６／１６６８８７（ＷＯ，Ａ１）

【文献】特開２０１６－１２２２４４（ＪＰ，Ａ）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ０６Ｆ ３／０１

Ｇ０６Ｆ ３／０４８－３／０４８９５

Ｇ０９Ｇ ５／００－５／４０

Ｇ０２Ｂ ２７／００－３０／６０

(57)【特許請求の範囲】

【請求項1】

頭部に着用することができる電子ディスプレイ装置（２）の操作方法であって、電子ディスプレイ装置（２）に配置された検出装置（３）が、車両（５）の車室内（７）に対する電子ディスプレイ装置（２）の動きを検出し、電子ディスプレイ装置（２）の着用者（６）のバーチャルパースペクティブを、検出された相対移動に従ってバーチャルコンテンツに適合させるに際し、
車室内（７）に対する電子ディスプレイ装置（２）の相対移動の検出に関して、車両外部環境（８）に対する車両（５）の相対移動に起因する誤りの発生を排除するために、検出装置（３）の検出領域を車室内（７）に制限し、
電子ディスプレイ装置（２）が第１モードで操作されている場合は検出装置（３）の検出領域を車室内（７）にのみ制限し、電子ディスプレイ装置（２）が第２モードで操作されている場合は、車両外部環境（８）に対する電子ディスプレイ装置（２）の相対移動の検出を行うとともに、検出装置（３）の検出領域が車室内（７）を超え、かつ電子ディスプレイ装置（２）の着用者（６）のバーチャルパースペクティブを、車室内（７）と車両外部環境（８）に対する決定された相対移動にしたがってバーチャルコンテンツに適合させることを特徴とするバーチャルコンテンツを表示するためのヘッドマウント式電子ディスプレイ装置の操作方法。

【請求項2】

所定のユーザ入力が検出されると、すぐに検出装置（３）の検出領域が車室内（７）を超えて拡張され、これにより第２のモードを起動させることを特徴とする請求項１記載のバーチャルコンテンツを表示するためのヘッドマウント式電子ディスプレイ装置の操作方法。

【請求項3】

電子ディスプレイ装置（２）を使用してアプリケーションを実行すると、第１のモードが自動的にアクティブになり、この第１のモードでは、電子ディスプレイ装置（２）の車室内（７）への相対移動の検出のみが要求されることを特徴とする請求項１または２記載のバーチャルコンテンツを表示するためのヘッドマウント式電子ディスプレイ装置の操作方法。

【請求項4】

第２のモードは、電子ディスプレイ装置（２）によってアプリケーションが実行されると自動的にアクティブになり、この第２のモードでは、電子ディスプレイ装置（２）の、車室内（７）と車両外部環境（８）とに対する両方の相対移動の検出が要求されることを特徴とする請求項１または２記載のバーチャルコンテンツを表示するためのヘッドマウント式電子ディスプレイ装置の操作方法。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、バーチャルコンテンツを表示するための頭部に着用することができるヘッドマウント式電子ディスプレイ装置の操作方法およびバーチャルコンテンツを表示するためのディスプレイシステムに関する。これらは独立請求項の前提要件部において規定されている。

【背景技術】

【0002】

将来的には、運転中のサポートや運転中のエンターテインメントまたはリラクゼーションなど、車において没入型テクノロジーを使用する人がますます増えると期待される。頭部に着用することができる電子ディスプレイ装置によって車両に表示されるバーチャルコンテンツが、この電子ディスプレイ装置の着用者の動きによって引き起こされると有利であろう。これは、いわゆる位置追跡を必要とし、それにより、頭部に着用することができる電子ディスプレイ装置の、周囲に対する相対的な動きが記録される。

【0003】

このような電子ディスプレイ装置の動きを記録するために、いわゆるインサイドアウト式トラッキングがますます使用されている。インサイドアウトト式トラッキングの場合、そのような電子ディスプレイ装置の動きは、電子ディスプレイ装置自体に検出装置を取り付けることによって検出される。検出装置は、頭部に着用することができる電子ディスプレイ装置の環境を検出し、それによって、環境に密接に関連した電子表示デバイスの移動を検出するように構成されている。このようなインサイドアウトト式トラッキングの方法を使用することは、移動中の車両内では特に問題になる。たとえば、電子ディスプレイ装置の着用者が移動中の自動車に座っている場合は、車内から見た、樹木や、他の道路利用者などの、多種多様な物体が車両の窓を通過する。従来のインサイドアウト式トラッキングには、これらの物体も含まれる。表示されたバーチャルコンテンツに対応してバーチャルパースペクティブが適合された場合は、自動車の外部に位置する物体に対する電子ディスプレイ装置の相対的な動きが、誤って考慮に入れられるであろう。したがって、そのような電子ディスプレイ装置の着用者は、通常、同着用者の頭部の動きが１：１となるように、つまりバーチャル環境に実装されるように望んでいる。着用者が移動中の車両内に座っている場合は、着用者が、外部環境に対してではなく、車両に対してどのように頭を動かすかを考慮する必要がある。前者の状況が発生した場合は、バーチャルコンテンツを表示するときに、誤った頭部の動きが仮定されて、間違った実装が行われる。

【0004】

アメリカ特許第９４５９６９２号明細書（特許文献１）は、車両の運転中に操作できるバーチャルリアリティヘッドセットについて説明している。最初に説明した問題は、検出装置として機能するカメラを使用し、これをヘッドセットに取り付けて一連の画像を生成し、この画像を記録し、かつ画像シーケンスを分析することによって、解決される。このようにして、バーチャルリアリティヘッドセットの着用者が、車両の内部に対してどの程度まで頭を動かすかを決定することが可能となるべきである。代替的または追加的に、検出装置として機能するカメラによって記録された画像を車内の参照画像と比較することで、バーチャルリアリティのヘッドセットが、車内に対してのみ移動し、車外に存在する物体に対しては移動しないことが篩分けされる。

【0005】

国際公開第２０１７／０３１２７３号明細書（特許文献２）は、車両の運転中にバーチャルリアリティ眼鏡を操作する方法を説明している。バーチャルリアリティ眼鏡が車両内部に対して動かされた程度を特に信頼できる方法で記録できるようにするために、車両の動きに関するデータを供給する車両センサシステムを使用するようになっている。バーチャルリアリティ眼鏡によって記録された動きは、車両の動きを特徴付けるデータと比較され、これによって、バーチャルリアリティ眼鏡が車内に対してどの程度動いたかを判断することができる。

【0006】

国際公開第２０１０／００４５４７号明細書（特許文献３）も、車両の運転中にバーチャルコンテンツを適合させる方法を記載している。いくつかのセンサが車両の動きを検出し、表示されたバーチャルコンテンツは検出された動きに応じて調整される。

【先行技術文献】

【特許文献】

【0007】

【文献】アメリカ特許第９４５９６９２号明細書

【文献】国際公開第２０１７／０３１２７３号明細書

【文献】国際公開第２０１０／００４５４７号明細書

【発明の概要】

【発明が解決しようとする課題】

【0008】

本発明の目的は、車両内部に対する電子ディスプレイ装置の相対的な動きを、特に簡単かつ信頼できる手法で決定することができる方法およびシステムを提供することにある。

【課題を解決するための手段】

【0009】

この目的は、独立請求項の特徴を備えた、頭部に着用することができる電子ディスプレイ装置の操作方法と、バーチャルコンテンツを表示する表示システムとによって達成される。本発明の好都合で重要な発展を伴う有利な改良は、従属請求項に明記されている。

【0010】

頭部に着用できる電子ディスプレイ装置を操作するための本発明による方法において、車両の車室内に対する電子ディスプレイ装置の相対運動は、電子ディスプレイ装置に設置された検出装置によって決定され、電子ディスプレイ装置の着用者のバーチャルパースペクティブは、決定された相対運動にしたがってバーチャルコンテンツに適合される。車両に対する電子ディスプレイ装置の検出された相対運動に関して、車両外部環境に対する車両の相対運動に起因する誤りを排除するために、本発明は、検出装置の検出領域が車室内に限定されることを提案する。

【0011】

したがって、本発明による方法では、上記の手順と比較して、たとえば、車両の動きを特徴付けるセンサデータを、表示装置に取り付けられた検出装置のセンサデータと複雑な方法で比較したうえで、電子ディスプレイ装置が車両の車室内においてどの程度相対的に移動したか確実に判断できるようにする必要はない。さらに、検出装置によって記録されたセンサデータを、車室内についての、データが格納されている参照モデルと比較する必要もない。

【0012】

代わりに、本発明は、検出装置の検出領域が車室内に限定されることを提供する。その結果、検出装置は、車室内のみを検出することができ、したがって、車室内に対する電子ディスプレイ装置の相対的な動きのみを検出することもできる。本発明による方法では、検出装置が車両の外部に対する相対的な動きを検出することは単に全く不可能である。たとえば、車両のサイドウィンドウにおいて車両の外部環境が通り過ぎたり、他の道路利用者の運転による通過が起こった場合でも、検出装置はこれを全く検出することができない。検出装置の検出領域が車室内に制限されるためである。

【0013】

これにより、車室内に対する電子ディスプレイ装置の相対移動のみが検出され、車外に対する相対移動は常に確実に検出されない。このため、車室内に対する電子ディスプレイ装置の検出された相対的な動きに依存するところの、検出された頭部の動きにしたがって、電子ディスプレイ装置の着用者のバーチャルパースペクティブを常に適合させることが可能である。

【0014】

本発明による方法は、車両が動いているときに特に有利である。しかしながら、本発明による方法は、車両が静止しているときにも特に有利であり得る。たとえば、車両が混雑した道路に駐車され、多数の他の車両が電子ディスプレイ装置の着用者が着座している駐車中の車両を通過するときにも特に有利であり得る。この場合にも、電子ディスプレイ装置に設けられた検出装置が、通過車両を検出して、電子ディスプレイ装置の相対移動に関する誤った情報を出力することを、確実に防止することができる。

【0015】

したがって、本発明の方法では、外側の動き、すなわち、車両の外部での動きは、無視される。バーチャルコンテンツは、任意のバーチャルコンテンツにすることができる。電子ディスプレイ装置の着用者が完全に没頭しているバーチャル環境を表示することができる。あるいは、バーチャルコンテンツを表示してリアリティを拡張することも可能である。いずれにせよ、電子ディスプレイ装置の着用者のバーチャルパースペクティブは、車室内に対する電子ディスプレイ装置について正確に決定された相対運動にしたがって確実に適合される。

【0016】

本発明の有利な実施形態は、検出装置のセンサを使用することにより制限が行われることを規定し、その検出範囲は、設計によって車室内に制限される。たとえば、単に車室内のみを検出できる範囲の超音波センサを使用することができる。検出装置における他のセンサも使用でき、その検出範囲は設計により車室内に制限される。

【0017】

本発明のさらに有利な実施形態によれば、制限は検出装置のセンサを使用することによって行われ、その検出範囲は車室内に制限される。これは、センサが必ずしも車内に制限された範囲を持つだけではないことを意味する。ただし、センサは、その検出範囲したがってその検出領域に関して、可変調整することができる。次に、この制限は、前記センサの場合に検出範囲を単に車室内に制限することによって達成される。電子ディスプレイ装置が車室内で使用される場合、センサはしたがって車室内のみを検出することができる。一方、ディスプレイ装置が車外で使用される場合、可変調整可能な検出範囲または可変調整可能な検出空間を備えたセンサは、外部環境における比較的離れた領域を検出するために使用することもできる。

【0018】

本発明のさらに有利な実施形態では、検出装置のカメラを使用することによって制限が行われ、それによって車室内よりも外側の領域の焦点をぼかすことが提供される。たとえば、カメラはレンズを含むことができ、それによって特定の距離から周囲がデフォーカスされ得る。これにより、カメラを検出装置の一部として使用する場合でも、簡単な手法で車室内のみを検出することができる。

【0019】

本発明のさらに有利な実施形態によれば、電子ディスプレイ装置によって車両が動いているかどうかを検出することが提供され、その場合に検出装置の検出領域が車室内に制限される。車両が動いていることを電子ディスプレイ装置が検出するとすぐに、検出領域が車室内に制限される。したがって、電子ディスプレイ装置の着用者の介入なしに、車両内部に対する着用者の頭部の動きも、確実に、バーチャルパースペクティブについての対応する適応に、自動的に正しく変換されることができる。

【0020】

本発明のさらに有利な実施形態では、所定のユーザ入力が検出されるとすぐに、検出装置の検出領域が車室内に制限される。このため、たとえば、電子ディスプレイ装置の着用者が、検出領域を車室内に限定するように手動で指定することも可能である。これにより、電子ディスプレイ装置の着用者が検出領域を車室内に制限する時期を簡単に特定できるようにすることが容易になる。たとえば、検出領域が制限されている状況に関係なく、車室内の寸法を表すデータも提供することができる。このデータに基づいて、検出領域の制限を正確に設定することができる。さらに、適切なセンサを使用して検出装置の位置を決定することもできる。また、車室内の検出装置の現在の位置に応じて、車室内の寸法が分かれば、検出領域の正確な制限を実行できる。

【0021】

本発明のさらに有利な実施形態によれば、車室内での使用に制限されている電子ディスプレイ装置によってアプリケーションが実行されるとすぐに、検出装置の検出領域が車室内に制限されることが提供される。たとえば、電子ディスプレイ装置は、車両での使用に制限されているドライブインシネマ・アプリケーションを実行することができる。このようなアプリケーションが実行されるとすぐに、検出装置の検出領域は自動的に車室内に制限される。車室内での使用に制限され、したがって車室内でのみ使用される電子ディスプレイ装置によってアプリケーションが実行されるとすぐに、検出装置の検出領域が自動的に適合される。

【0022】

本発明のさらに有利な実施形態では、電子ディスプレイ装置が車室内に配置されているかどうかを同電子ディスプレイ装置が検出することが提供され、車室内に配置されている場合は、検出装置の検出領域は車室内に制限される。たとえば、ＲＦＩＤトランスポンダを電子ディスプレイ装置に取り付けることができ、このトランスポンダは車両側で検出することができ、または逆に、電子ディスプレイ装置自体が車両内にあるかどうかを検出することができる。後者の場合、たとえば、電子ディスプレイ装置を検出できるＲＦＩＤトランスポンダを車両側に配置することもできる。電子ディスプレイ装置が車室内に配置されるとすぐに、検出領域の自動適合または車室内への検出領域の制限がなされることは、車両が静止しているときでさえ、その車両を通過する他の道路利用者が、車室内に対する電子ディスプレイ装置の相対移動の検出に誤りを生じさせないことに貢献するというという利点を有する。

【0023】

バーチャルコンテンツを表示するための本発明によるディスプレイシステムは、頭部に着用することができる電子ディスプレイ装置と、電子ディスプレイ装置上に配置されるとともに、車両の車室内に対する電子ディスプレイ装置の相対移動を検出するように設計された検出装置と、決定された相対運動にしたがって電子ディスプレイ装置の着用者のバーチャルパースペクティブをバーチャルコンテンツに適合させるように設定された制御装置とを含む。制御装置は、車室内に対する電子ディスプレイ装置の相対移動の検出に関し、車両外部環境に対する車両の相対移動の結果としての誤りの発生を排除するために、検出装置の検出領域を車室内に制限するように設定される。本発明による方法の有利な改良は、本発明によるディスプレイシステムの有利な改良と見なされるべきであり、逆もまた同様であり、本発明のディスプレイシステムは、特に、本発明の方法を実行するための手段を有する。電子ディスプレイ装置は、好ましくは、バーチャルリアリティ眼鏡または拡張現実眼鏡である。

【図面の簡単な説明】

【0024】

【図1】バーチャルコンテンツを表示するためのバーチャルリアリティ眼鏡を備えた、バーチャルコンテンツを表示するためのディスプレイシステムの概略図である。

【図2】バーチャルリアリティ眼鏡の着用者が座っている自動車の概略側面図である。

【発明を実施するための形態】

【0025】

本発明のさらなる利点、特徴、詳細は、好ましい例示的な実施形態についての以下の説明および図面から生じる。上述した特徴および特徴の組み合わせ、ならびに図について以下に言及しおよび、または図に示した特徴および特徴の組み合わせは、本発明の範囲から外れることなしに、それぞれの場合に示される組み合わせだけでなく、他の組み合わせまたはそれら自体でも使用できる。

【0026】

図中、同じ機能の要素には同じ参照記号が与えられている。

【0027】

バーチャルコンテンツを表示するためのディスプレイシステム１が、図１の概略図に示されている。ディスプレイシステム１は、バーチャルリアリティ眼鏡２の形で頭部に着用することができる電子ディスプレイ装置と、バーチャルリアリティ眼鏡２に配置された検出装置３とを備え、検出装置３は、図示されていない車両におけるやはり図示されていない内部を判定するために、バーチャルリアリティ眼鏡２の相対移動を検出するように設計されている。さらに、ディスプレイシステム１は、バーチャルリアリティ眼鏡２の着用者のバーチャルパースペクティブを決定された相対移動に従ってバーチャルコンテンツに適合させるように設定された制御装置４も有する。

【0028】

図２は、バーチャルリアリティ眼鏡２の着用者６が着座している自動車２を示している。制御装置４は、バーチャルリアリティ眼鏡２の車室内７への相対移動の検出に関して、自動車５が車両外部環境８に対して相対移動することに起因する誤りを排除するために、図２には示されていない検出装置３の検出領域を車室内７に制限するように設定される。

【0029】

検出装置３の検出領域は、たとえば、検出装置３のセンサ（ここでは図示せず）を使用することによって、いずれにしても車室内７の範囲に制限することができる。たとえば超音波センサを使用することができ、これはとにかく車室内７を検出することができるような範囲のみを有するものである。

【0030】

代替としてまたは追加として、同様にここでは図示されていない検出装置３のためのセンサを使用することも可能であり、このセンサの範囲は、たとえば制御装置４によって、車室内７に制限される。このセンサは、たとえば、その設計のために、またさらなる範囲を有することができ、それにより、理論的には、車室内7を超える物体も検出でき、したがって車両外部環境８に対するバーチャルリアリティ眼鏡２の動きも検出できる。しかしながら、検出装置３の検出範囲を制限するための前記センサの場合は、このセンサの範囲は単に車室内７に制限される。よって、そのようなセンサは車室内７のみを検出することができ、したがって、バーチャルリアリティ眼鏡２の相対運動が検出されるときに、車両外部環境８は完全に隠される。

【0031】

代替としてまたは追加として、検出装置３のカメラ（ここでは詳細には図示せず）を使用することにより、検出装置３の検出領域を制限し、それによって、車室内７よりも外側の領域の、特に車両外部環境８の焦点をぼかすことも可能である。カメラは、たとえば電気的に調整可能なレンズを有することができ、このレンズは制御装置４によって制御することができる。この場合に、制御装置４は、検出装置３の前記カメラが単に車室内７を鋭く検出することができるだけであるように、レンズを単に調整することができる。この場合も、検出装置３によって提供されるセンサデータに基づいて、車室内７に対するバーチャルリアリティ眼鏡２の相対的な動きのみを検出できることを保証することができる。

【0032】

したがって、検出装置３の検出領域を区切ることにより、たとえば、木や、建物や、他の車両などの、車両外部環境８内において自動車５の窓を通り過ぎて移動する物体が、自動車５が動いているときに検出装置３によって全く検出されないことを、保証できる。その結果、自動車５の車両外部環境８に対する相対運動は検出装置３には全く無関係であるために、この検出装置３はそのような相対運動を全く検出することができず、そのため車室内７に対するバーチャルリアリティ眼鏡２の相対運動の検出に関して不良化はあり得ない。

【0033】

たとえば、バーチャルリアリティ眼鏡２自体が自動車５が動いているかどうかを検出することができ、その場合、検出装置３の検出領域は、制御装置４によって自動的に車室内７に制限される。代替的または追加的に、検出装置３の検出領域が確実に車室内７に制限されるようにするために、たとえば、着用者６がバーチャルリアリティ眼鏡２のボタンを押すか、または他の所定のユーザ入力を行うことも可能である。さらに、自動車５で使用するように制限されているバーチャルリアリティ眼鏡２を用いてアプリケーションを実行すると同時に、検出装置３の検出領域を車室内７に限定することも可能である。たとえば、バーチャルリアリティ眼鏡２は、自動車５での使用に制限されているタイプのドライブインシネマ・アプリケーションを実行するように設定することができる。このアプリケーションが実行されるとすぐに、検出装置３の検出領域は自動的に車室内７に制限される。

【0034】

原則として、たとえば、バーチャルリアリティ眼鏡２が車室内７にあるかどうかを、バーチャルリアリティ眼鏡２が自動的に検出することも可能であり、その場合に、検出装置３の検出領域は自動的に車室内７に制限される。もしバーチャルリアリティ眼鏡２の着用者６が車室内７に居ない場合は、検出装置３の検出領域も、車室内７のサイズの領域しかカバーできないという制限は受けない。したがって、バーチャルリアリティ眼鏡２は、独立して前後に切り替わり、検出装置３の検出範囲を、対応する状況、すなわちバーチャルリアリティ眼鏡２が現在車室内７にあるか自動車５の外にあるかに、適合させることができる。

【図1】

【図2】