特開 2023-52450 頭部着用型の電子表示装置の操作方法および仮想コンテンツを表示する表示システム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2023052450

(43)【公開日】2023-04-11

(54)【発明の名称】頭部着用型の電子表示装置の操作方法および仮想コンテンツを表示する表示システム

(51)【国際特許分類】

   G06T 19/00 20110101AFI20230404BHJP

   A63F 13/25 20140101ALI20230404BHJP

   A63F 13/428 20140101ALI20230404BHJP

   A63F 13/525 20140101ALI20230404BHJP

   A63F 13/213 20140101ALI20230404BHJP

【ＦＩ】

G06T19/00 A

A63F13/25

A63F13/428

A63F13/525

A63F13/213

【審査請求】有

【請求項の数】7

【出願形態】ＯＬ

(21)【出願番号】P 2023005520

(22)【出願日】2023-01-18

(62)【分割の表示】P 2020520566の分割

【原出願日】2018-09-12

(31)【優先権主張番号】102017218215.6

(32)【優先日】2017-10-12

(33)【優先権主張国・地域又は機関】DE

(71)【出願人】

【識別番号】591006586

【氏名又は名称】アウディ アクチェンゲゼルシャフト

【氏名又は名称原語表記】ＡＵＤＩ ＡＧ

(74)【代理人】

【識別番号】110001298

【氏名又は名称】弁理士法人森本国際特許事務所

(72)【発明者】

【氏名】キューネ、マルクス

(57)【要約】      （修正有）

【課題】簡単に車両内の物理的限界を知覚する頭部着用型の電子表示装置の操作方法及び仮想コンテンツを表示する表示システムを提供する。
【解決手段】表示システム１において、頭部着用型の電子表示装置２の操作方法は、電子表示装置２に配置された検出装置３によって、車両の車室内に対する電子表示装置２の相対移動を決定するとともに、決定した相対移動にしたがって、電子表示装置２を着用した着用者が存在する車室内の仮想視点を、表示された仮想コンテンツに適合させ、そのときに、検出装置３によって、車室内の輪郭を検出し、かつ、車室内の輪郭に対応する仮想輪郭を永続的に表示する。
【選択図】図１

【特許請求の範囲】

【請求項1】

頭部に着用することができる電子表示装置（２）を操作するための方法であって、電子表示装置（２）に配置された検出装置（３）によって、車両（５）の車室内（７）に対する電子表示装置（２）の相対移動を決定するとともに、決定された相対移動にしたがって、電子表示装置（２）を着用した着用者が存在する車室内（７）の仮想視点を、表示された仮想コンテンツ（９）に適合させ、そのときに、検出装置（３）によって、車室内（７）の輪郭（８）を検出し、かつ車室内（７）の輪郭（８）に対応する仮想輪郭（１０）を永続的に表示することを特徴とする頭部着用型の電子表示装置の操作方法。

【請求項2】

検出装置（３）は、通過時間を測定することに基づくセンサ装置を有し、このセンサ装置によって車室内（７）の輪郭（８）を検出することを特徴とする請求項１記載の頭部着用型の電子表示装置の操作方法。

【請求項3】

通過時間を測定することに基づくセンサ装置として、飛行時間型カメラを用いることを特徴とする請求項２記載の頭部着用型の電子表示装置の操作方法。

【請求項4】

検出装置（３）はカメラを有し、このカメラによって、車室内（７）を記録し、この車室内（７）の記録に基づいて車室内（７）の輪郭（８）を検出することを特徴とする請求項１から３までのいずれか１項記載の頭部着用型の電子表示装置の操作方法。

【請求項5】

電子表示装置（２）によってゲームを表示し、車室内（７）の輪郭（８）に対応する仮想輪郭（１０）をゲームの現在のシーンに適合させることを特徴とする請求項１から４までのいずれか１項記載の頭部着用型の電子表示装置の操作方法。

【請求項6】

仮想コンテンツ（９）を表示するための表示システム（１）であって、
頭部に着用することができる電子表示装置（２）と、
電子表示装置（２）に配置されるとともに、車両（５）の車室内（７）に対する電子表示装置（２）の相対移動を決定するように設計された検出装置（３）と、
決定された相対移動にしたがって、車室内（７）に存在する電子表示装置（２）の着用者（６）の視野を、表示された仮想コンテンツ（９）に適合させるように設定された制御装置（４）とを備え、
前記検出装置（３）は、車室内（７）の輪郭（８）を検出するようにも設計されており、そして
前記制御装置（４）は、車室内（７）の輪郭（８）に対応する仮想輪郭（１０）を永続的に表示するために電子表示装置（２）を制御するように設定されていることを特徴とする仮想コンテンツを表示する表示システム。

【請求項7】

電子ディスプレイ装置（２）は、仮想現実眼鏡または拡張現実眼鏡であることを特徴とする請求項６記載の仮想コンテンツを表示する表示システム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、頭部に着用することができる電子表示装置を操作する方法および仮想コンテンツを表示する表示システムに関する。

【背景技術】

【0002】

将来的には、運転業務のためのサポートのためや、運転中のエンターテインメントやリラクゼーションのために、車に没入型テクノロジーを使用することが、多数の人々によってますます求められている。車両の乗員は、仮想現実技術または拡張現実技術を使用して、メディアを再生したり、メディアを消費したり、リラックスしたりする。特に、車内にいる遊び心のある体験や他の仮想または実在の人々とのやり取りを行う場合に、各ユーザーが、実際に自身を取り巻く、車両の物理的な限界を知っていることが重要である。これらの限界は車両のタイプによって大きく異なる可能性があるため、そのような車両の内装についてのデータを事前に提供することは、非常に高額でコストのかかる作業になる。

【0003】

車両において仮想現実眼鏡を使用することは、例えば特許文献１に示されている。この公開公報の焦点は、仮想現実眼鏡の着用者におけるいわゆる乗り物酔いを防ぐことにある。これは、たとえば、車両の周囲の環境がカメラシステムによって記録され、さらに仮想現実眼鏡を使用して取り入れられることで達成される。

【0004】

特許文献２もまた、いわゆる乗り物酔いの防止に焦点を当てている。この公報に提案されている方法では、後部座席の領域に配置された表示装置を用いて車両周囲を表示し、それによって、後部座席の領域の乗客の気分が悪くならないようにすることが提供される。

【0005】

最後に、特許文献３も、車両の運転中に仮想現実眼鏡を操作する方法を示す。これは、仮想コンテンツ自体に加えて、実際の車両の周囲環境の画像を表すことを目的とする。

【先行技術文献】

【特許文献】

【0006】

【特許文献1】ドイツ特許出願公開第１０２０１５００３８８２号明細書

【特許文献2】アメリカ特許出願公開第２００６/００１５０００号明細書

【特許文献3】ドイツ特許出願公開第１０２０１４００３１７８号明細書

【発明の概要】

【発明が解決しようとする課題】

【0007】

本発明の目的は、頭部に着用することができる電子表示装置を操作する方法と、仮想コンテンツを表示する表示システムとを提供することにある。そのような電子表示装置の着用者は、この電子表示装置を使用して、特に簡単な方法で車両内の物理的限界を知覚することができる。

【課題を解決するための手段】

【0008】

この目的は、頭部に着用することができる電子表示装置を操作する方法によって達成され、また独立請求項の機能を備えた仮想コンテンツを表示する表示システムによって解決される。本発明の好都合で重要な発展を伴う有利な実施形態は、残りの請求項で特定されている。

【0009】

本発明による、頭部に着用することができる電子表示装置を操作する方法によれば、車両の車室内に対する電子表示装置の相対移動は、電子表示装置に配置された検出装置によって決定される。そして、決定された相対移動にしたがって、車室内に存在する電子表示装置の着用者の仮想視点が、表示された仮想コンテンツに適合される。また、検出装置によって車室内の輪郭が検出され、車室内の輪郭に対応する仮想輪郭が表示される。

【0010】

本発明によれば、電子表示装置に配置された検出装置によって、いわゆるインサイドアウト追跡が行われる。インサイドアウト追跡では、電子ディスプレイ装置自体に取り付けられた検出装置によって、この電子表示装置の動きが記録される。検出装置は、頭部に着用することができる電子表示装置の環境を検出し、それによって、環境に対する電子表示装置の動きを、すなわち特定の用途における車室内に関連した電子表示装置の動きを、推定するように設計されている。

【0011】

本発明によれば、インサイドアウト追跡用に設計された検出装置を、車内の輪郭を検出するためにさらに使用することが行われる。そのときに、車室内の輪郭に対応する仮想輪郭が、頭部に着用可能な電子表示装置によって表示される。したがって、電子表示装置に取り付けられた検出装置によって、車両内部の形状または構造を認識し、それらを電子表示装置によってそれぞれの仮想現実アプリケーション内または拡張現実アプリケーション内に実装することが可能である。

【0012】

検出された車室内の輪郭に対応する仮想輪郭は、実際の車室内と正確に同じである必要はない。唯一の重要な点は、仮想輪郭が、その形状に関して、検出された車両内部の輪郭に対応していることにある。言い換えれば、本発明による方法は、電子表示装置の着用者が車室内に座っている間に、電子表示装置を使用して、車両における同着用者の周囲を、すでに表示されている仮想コンテンツに加えて、一種の構造またはレリーフとして表示することを可能にする。

【0013】

電子表示装置の着用者が現在どのタイプの車両に座っているかに関係なく、本発明による方法により、電子表示装置の着用者は、電子表示装置が着用されていても、実際に表示装置を取り巻いている車両の物理的限界を、いつでも認識することができる。電子表示装置の着用者が他の仮想人物と交流するか、または同様に実際に車内にいる人々と交流するかに関係なく、同着用者は、電子表示装置を着用しているにもかかわらず、いつでも、または少なくとも必要に応じて、車内の物理的な限界を認識することができる。

【0014】

本発明の有利な実施形態では、仮想輪郭が永続的に表示される。したがって、電子表示装置の着用者は、電子表示装置を着用しているにもかかわらず、いつでも、車内の実際の物理的限界からどれだけ離れているかを認識する。とりわけ、これによって、電子表示装置の着用者が車室内の輪郭と衝突することを確実に防止する。

【0015】

本発明の別の有利な実施形態によれば、仮想輪郭は、所定の身体部分を有する電子表示装置の着用者が、車室内の輪郭から所定の距離を下回って存在したときにのみ表示される。所定の身体部分は、たとえば、電子表示装置の着用者の頭および／または手であり得る。この別の有利な実施形態では、所定の身体部分を有する電子表示装置の着用者が、車室内の輪郭から所定の距離を下回って存在したときにのみ仮想輪郭が表示され、仮想コンテンツの特に没入型の表現がサポートされる。特定の身体部分を備えた電子表示装置の着用者が車室内の輪郭から十分に離れている限り、車室内の検出された輪郭に幾何学的に対応する仮想輪郭は表示されない。着用者の所定の身体部分が車室内の実際の輪郭に近づきすぎると、すぐに、車室内の輪郭に対応する仮想輪郭が電子表示装置によって表示される。これにより、また、電子表示装置の着用者が車室内の実際の輪郭と確実に衝突しないようにすることができる。

【0016】

本発明のさらに有利な実施形態では、検出装置が通過時間の測定に基づくセンサ装置を有し、そのセンサ装置によって車両内部の輪郭が検出される。通過時間の測定に基づくセンサ装置として、たとえば飛行時間型カメラを使用することができる。通過時間の測定により、特に正確で信頼性の高い方法で、車室内の実際の輪郭を記録することができる。その結果、仮想輪郭はまた、車室内の実際の輪郭に対応して少なくとも多かれ少なかれ一対一で生成され、さらに電子表示装置によって表示され得る。これによって、電子表示装置の着用者が車室内の実際の輪郭に衝突することを、特に確実に防止することができる。換言すれば、通過時間の測定により、特に正確な方法で車室内の実際の輪郭を測定することができる。このため、電子表示装置の着用者は、着用されている表示装置によって、車室内の実際の輪郭からどれだけ離れているかを、少なくとも必要なときに、表示されている上記の仮想輪郭によって、いつでも認識することができる。

【0017】

本発明のさらに有利な実施形態では、検出装置がカメラを有し、このカメラによって車室内が記録され、その記録に基づいて車室内の輪郭が検出される。従来型のカメラを使用することは、たとえば、通常、飛行時間型カメラよりもはるかに安価であるという利点を有する。従来型のカメラだけを単独で使用すると、コストが大幅に削減される。あるいは、ランタイム測定と従来型のカメラとを組み合わせることも可能である。たとえば、必要に応じて、仮想輪郭を現実の車内のように実際に表示することができる。これは、通過時間の測定とカメラ画像とを組み合わせることによって行うことができる。３次元データが、通過時間の測定によって生成される。光学系に実際に関係しているデータは、従来型のカメラによって提供される。

【0018】

本発明のさらなる有利な実施形態では、電子表示装置によってゲームが表示され、車室内の輪郭に対応する仮想輪郭が、ゲームの現在のシーンに適合される。たとえば、電子表示装置の着用者がこの電子表示装置によって表示される仮想環境内の橋の上に立つ場合には、仮想の欄干が表示される。これは、たとえばダッシュボードの輪郭など、車室内の検出された輪郭に対応する。車室内の構造は別にして、この仮想の欄干の視覚的な外観は、現在表示されているゲームのシーンに適合させることができる。同様に、メディアなどの他の仮想コンテンツも表示装置によって表示することができ、車室内の輪郭に対応する仮想輪郭は、それぞれの仮想コンテンツに適合した方法で表示される。その結果、電子表示装置によって多種多様なコンテンツを表示するときの没入感が、サポートされるか、あるいは大幅に改善される。

【0019】

仮想コンテンツを表示するための本発明による表示システムは、頭部に着用することができる電子表示装置と、この電子表示装置に配置され、車両の車室内に対する電子表示装置の相対移動を決定するように設計された検出装置と、決定された相対移動に従って、表示された仮想コンテンツに、車室内に存在する電子表示装置の着用者の仮想視点を適合させるように設定された制御装置とを備える。検出装置はまた、車室内の輪郭を検出するように設計されており、制御装置は、車室内の輪郭に対応する仮想輪郭を表示するための電子表示装置を制御するように設定される。本発明の方法による有利な改良は、本発明の表示装置による有利な改良と見なされるべきであり、逆もまた同様である。表示システムは、特に、方法ステップを実行するための手段を有する。電子表示装置は、たとえば仮想現実眼鏡または拡張現実眼鏡であってよい。

【図面の簡単な説明】

【0020】

【図1】仮想コンテンツを表示するための表示システムの概略図であり、この表示システムが、頭部に着用することができる電子表示装置と、この電子表示装置に配置された検出装置と、制御装置とを有することを示す図である。

【図2】電子表示装置の着用者が着座している自動車の概略側面図である。

【図3】電子表示装置によって表示される仮想コンテンツの概略図である。

【発明を実施するための形態】

【0021】

本発明のさらなる利点、特徴および詳細は、以下の好ましい例示的な実施形態の説明および図面から生じる。前述した特徴および特徴の組み合わせと、図面を参照して後述する特徴および特徴の組み合わせと、図面だけに記載された特徴および特徴の組み合わせとのうちの、少なくともいずれかは、本発明の範囲から逸脱することなしに、それぞれの場合に示されている組み合わせだけでなく、他の組み合わせまたは単独で、用いることができる。

【0022】

図において、同一または機能的に同一の要素は、同じ参照記号が与えられている。

【0023】

仮想コンテンツを表示するための表示システム１が、図１の概略図に示されている。表示システム１は電子表示装置２を備え、この電子表示装置２は、頭部に着用することができ、たとえば、仮想現実眼鏡または拡張現実眼鏡であり得る、電子表示装置２を備える。また、表示システム１は、電子表示装置２に配置された検出装置３も有している。検出装置３は、たとえば、飛行時間型カメラを有することができ、また検出装置３は、代替的または追加的に、たとえば、従来のカメラを有することもできる。さらに、表示システム１は、電子表示装置２および検出装置３にデータ技術的に接続された制御装置４も有する。

【0024】

図２の概略側面図に車両５が示されており、着用者６は、車両５の運転中に電子表示装置２を着用している。車両５の車室内７に対する電子表示装置２の相対移動は、電子表示装置２上に配置されかつここでは図示されていない検出装置３によって決定される。決定された相対移動にしたがって、車室内７に配置された電子表示装置２の着用者６の仮想視点が、電子表示装置２によって表示される仮想コンテンツ９に適合される。言い換えると、検出装置３は、電子表示装置２のいわゆるインサイドアウト追跡に使用される。

【0025】

前記仮想コンテンツ９は、図３において非常に概略的な方法で示されている。ここではステアリングホイールによって概略的に示されている車室内７の輪郭８も、検出装置３によって検出される。そして、実際の仮想コンテンツ９に加えて、車室内７の輪郭８に対応する仮想輪郭１０が表示される。

【0026】

仮想輪郭１０が永続的に表示されることが行われ得る。しかしながら、これに代えて、仮想輪郭１０は、電子表示装置２の着用者６が、たとえば、彼の頭または手を車室内７の実際の輪郭８に十分近づけたときにのみ表示されることも可能である。たとえば、特定の距離を指定することができ、車室内７の実際の輪郭８までの距離がこの指定された距離を下回ったことが検出されるとすぐに、車室内７の実際の輪郭８に幾何学的に対応する仮想輪郭１０が表示される。仮想輪郭１０が永続的に表示されるか、または必要に応じてのみ表示されるかにかかわらず、仮想輪郭１０は、その構造、またはその形状および寸法に関して、車室内７の実際の輪郭８に対応することが不可欠である。そうでなければ、重ね合わされた仮想輪郭１０は、純粋に光学的に車室内７の実際の輪郭８のようには見えずに、全く異なって見える。

【0027】

たとえば、車両５を運転しながら電子表示装置２を用いてゲームを仮想コンテンツ９として表示することができる。車室内７の実際の輪郭８に対応する仮想輪郭１０は、ゲームにおける現在のシーンに適合される。これは、重ね合わされた仮想輪郭１０が車両内部７のように見えない代わりに、仮想輪郭１０は、構造または形状に関して車両内部７の実際の輪郭８にのみ対応することを意味する。このとき、仮想輪郭１０のその他の光学的外観は、電子ディスプレイ装置２によって表示されるところの、現在表示されているまたは現在プレイされているゲームに適合される。

【0028】

したがって、着用者６は、電子表示装置２によって任意の仮想コンテンツを表示することができる。車室内７の実際の輪郭８は、永続的に表示されるか、または必要に応じて電子表示装置２によって仮想輪郭１０をフェードインすることによって着用者６に識別される。

【0029】

したがって、表示システム１の検出装置３は、二重の機能を有する。第１に、検出装置３は、既に述べたインサイドアウト追跡によって、電子表示装置２のいわゆる位置追跡を実行する役割を果たす。第２に、検出装置３は、車室内７の実際の輪郭８を検出する機能をさらに引き受け、その結果、電子表示装置２は、上述の方法によって、車内７の輪郭８に対応した前記仮想輪郭１０を表示することもできる。

【0030】

したがって、電子表示装置２の着用者６は、少なくとも必要なときに、すなわち電子表示装置２が近接しているときに、電子表示装置２を取り巻く車両５の物理的限界をいつでも認識する。車室内７における実際の輪郭８を実際に検出することに加えて、検出装置３は、たとえば、ここには示されていない、さらなる乗員を検出できることも好ましい。これに関して、電子表示装置２は、検出された乗員に対応する仮想輪郭を示すことも可能である。この場合、電子表示装置２の着用者６は、電子表示装置２を着用したときに、車室内７の実際の輪郭８だけでなく他の乗員に衝突することをも回避することができる。

【図1】

【図2】

【図3】