特許 7012153 自動車において少なくとも１つの仮想現実眼鏡を操作する方法およびシステム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2022-01-19

(45)【発行日】2022-01-27

(54)【発明の名称】自動車において少なくとも１つの仮想現実眼鏡を操作する方法およびシステム

(51)【国際特許分類】

   G06F 3/01 20060101AFI20220120BHJP

   B60W 50/08 20200101ALI20220120BHJP

【ＦＩ】

G06F3/01 510

B60W50/08

【請求項の数】 11

(21)【出願番号】P 2020520567

(86)(22)【出願日】2018-09-12

(65)【公表番号】

(43)【公表日】2020-12-17

(86)【国際出願番号】 EP2018074554

(87)【国際公開番号】W WO2019072479

(87)【国際公開日】2019-04-18

【審査請求日】2020-06-09

(31)【優先権主張番号】102017218214.8

(32)【優先日】2017-10-12

(33)【優先権主張国・地域又は機関】DE

(73)【特許権者】

【識別番号】591006586

【氏名又は名称】アウディ アクチェンゲゼルシャフト

【氏名又は名称原語表記】ＡＵＤＩ ＡＧ

(74)【代理人】

【識別番号】110001298

【氏名又は名称】特許業務法人森本国際特許事務所

(72)【発明者】

【氏名】キューネ、マルクス

(72)【発明者】

【氏名】プロフェンディナー、ダニエル

(72)【発明者】

【氏名】ヴォルニー、ニルス

【審査官】田川 泰宏

(56)【参考文献】

【文献】米国特許出願公開第２０１７／０１０３５７１（ＵＳ，Ａ１）

【文献】特開２０１７－１４６９６３（ＪＰ，Ａ）

【文献】中国特許出願公開第１０５６０７７４２（ＣＮ，Ａ）

【文献】特開２０１７－０２０８５９（ＪＰ，Ａ）

【文献】特開２０１７－１１０９９０（ＪＰ，Ａ）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ０６Ｆ ３／０１

Ｂ６０Ｗ ５０／０８

(57)【特許請求の範囲】

【請求項1】

自動車（１）において少なくとも１つの仮想現実眼鏡（４、５）を操作するための方法であって、
仮想環境内の特定の仮想交通手段を定義する仮想テーマを指定するステップと、
指定された仮想テーマに最も適したルートを持つ経路を選択するステップと、
選択した経路に沿って走行中の自動車（１）自体の動きを検出し、そして仮想現実眼鏡（４、５）を着用した車両の搭乗者（２、３）が、検出された自動車（１）自体の動きと、あらかじめ定義された仮想被写体についてのあらかじめ定義された仮想移動モードとに従って、仮想環境内で仮想的に移動するように、仮想現実眼鏡（４、５）を活性化させるステップと、
を含むことを特徴とする自動車において少なくとも１つの仮想現実眼鏡を操作する方法。

【請求項2】

仮想テーマが、次の仮想現実のいずれかに関係することを特徴とする請求項１記載の自動車において少なくとも１つの仮想現実眼鏡を操作する方法。
自動車（１）による仮想走行
飛行体による仮想飛行
水上走行体による仮想走行

【請求項3】

仮想テーマが選択されると、その仮想テーマについての経路をあらかじめ適合させることを特徴とする請求項１または２記載の自動車において少なくとも１つの仮想現実眼鏡を操作する方法。

【請求項4】

仮想テーマが選択されたときに、その仮想テーマに最も適合するカーブを有する経路を選択することを特徴とする請求項１または２記載の自動車において少なくとも１つの仮想現実眼鏡を操作する方法。

【請求項5】

仮想テーマが選択されたときに、その仮想テーマに最も適合する標高のプロファイルを有する経路を選択することを特徴とする請求項１または２または４記載の自動車において少なくとも１つの仮想現実眼鏡を操作する方法。

【請求項6】

選択のために複数の仮想テーマを提供し、これらの仮想テーマのそれぞれによって、それぞれの仮想環境内で異なるタイプの仮想走行を定義し、ユーザの選択に応じて、走行のための仮想テーマを指定することを特徴とする請求項１から５までのいずれか１項記載の自動車において少なくとも１つの仮想現実眼鏡を操作する方法。

【請求項7】

自動車（１）が、選択されたルートを、部分的に自律的にまたは完全に自律的にたどることを特徴とする請求項１から６までのいずれか１項記載の自動車において少なくとも１つの仮想現実眼鏡を操作する方法。

【請求項8】

手順がサービスの形で予約されていることを特徴とする請求項１から７までのいずれか１項記載の自動車において少なくとも１つの仮想現実眼鏡を操作する方法。

【請求項9】

少なくとも１つの第２の仮想現実眼鏡（５）を制御して、この第２の仮想現実眼鏡（５）を着用している別の車両搭乗者（３）が、検出された自動車（１）自体の動きおよび所定の仮想対象の所定の仮想走行モードにしたがって仮想環境内で仮想的に動くようにさせることを特徴とする請求項１から８までのいずれか１項記載の自動車において少なくとも１つの仮想現実眼鏡を操作する方法。

【請求項10】

両方の車両搭乗者（２、３）を検出し、車両搭乗者（２、３）のそれぞれの仮想表現を仮想現実眼鏡（４、５）を使用して表示することを特徴とする請求項１から９までのいずれか１項記載の自動車において少なくとも１つの仮想現実眼鏡を操作する方法。

【請求項11】

自動車（１）において少なくとも1つの仮想現実眼鏡（４、５）を操作するためのシステム（６）であって、以下を行うようにセットアップされていることを特徴とする自動車において少なくとも１つの仮想現実眼鏡を操作するシステム。
仮想環境内の特定のタイプの仮想移動を定義する仮想テーマを指定すること。
指定された仮想テーマに最適な経路を選択すること。
選択された経路に沿った走行中に検出された自動車（１）自体の運動に基づき仮想現実眼鏡（４、５）を制御して、この仮想現実眼鏡を着用した車両搭乗者（２、３）を、仮想環境内において、検出された自動車（１）自体の動きと、あらかじめ定義された仮想被写体についてのあらかじめ定義された仮想移動モードとにしたがって、仮想環境内で仮想的に移動させること。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、自動車内の少なくとも１つの仮想現実眼鏡を操作するための方法およびシステムに関する。

【背景技術】

【0002】

将来、ますます多くの人々が、たとえば、運転業務を実行しながらそのサポートを提供するために、あるいは単に娯楽やリラクゼーションのために、車中において没入型テクノロジーを使用するようになるであろう。特に、いわゆるシミュレータ病またはシミュレータ酔いが発生する可能性があるため、車両での仮想現実アプリケーションの使用も問題になる可能性がある。これは一種の特殊な形態の乗物酔いであり、見ているものと自己の運動との不協和によって起こる。これは、仮想現実眼鏡の着用者が、走行車両に基づく実際の動きとは異なった動きを同着用者に視覚的に示唆する仮想コンテンツによって示される可能性があることを意味する。

【0003】

これに対抗するための既知の方法は、車両の実際の動きに対応した電子データ眼鏡とコンテンツとによって、実際の仮想現実コンテンツまたは拡張現実コンテンツの表現に反駁することである。例えば、特許文献１は、車両内において電子データ眼鏡を操作する方法を示している。例えば、テキストが第１の領域に表示され、車両の実際の動きに応じて動くコンテンツが第２の領域に表示される。

【0004】

特許文献２は、乗物酔いによる疾患を軽減する方法を示している。この文献では、光学再生装置を介して画像信号を運転中に提供することが提案されている。これは、表示される画像の視覚的印象が、搭乗者によって現在主観的に認識されている位置および動きの値と相関するように、走行状態に応じて変更される。

【0005】

さらに、特許文献３は、自動車において電子データ眼鏡を使用することを非常に一般的に示している。

【先行技術文献】

【特許文献】

【0006】

【文献】ドイツ出願公開第１０２０１４０１９５７９号明細書

【文献】ドイツ特許第１０１５６２１９号明細書

【文献】ドイツ出願公開第１０２０１４２１４５１６号明細書

【発明の概要】

【発明が解決しようとする課題】

【0007】

本発明の目的は、走行中の自動車において仮想現実眼鏡を操作するときに、そのような眼鏡の着用者が病気になることを防止できる、特に信頼できる可能性を提供することにある。

【課題を解決するための手段】

【0008】

この目的は、独立請求項の特徴を備えた少なくとも１つの仮想現実眼鏡を操作するための方法およびシステムによって達成される。便宜的かつ自明ではない発展を伴う本発明の有利な改良は、従属請求項に明記されている。

【0009】

自動車で少なくとも１つの仮想現実眼鏡を操作するための本発明による方法では、仮想環境内における特定タイプの仮想走行を定義する仮想テーマが指定される。このような仮想テーマは、例えば、自動車による仮想走行、飛行体による仮想飛行、水上走行体による仮想移動などに関連することができる。仮想テーマは、関連付けられた仮想環境内の特定のタイプの仮想走行についての何らかの形に常に関連していることが好ましい。仮想テーマ自体は、遊び心があったり、有益であったり、さらには面白いものであったりすることができる。例えば、仮想テーマが、特に現実の風景に沿って、または空想の風景に沿って、フライングカーペットにより仮想飛行することに関連することも考えられる。原則として、任意の仮想テーマを指定でき、これは、特定の仮想環境内の特定の仮想走行手段を定義する。

【0010】

本発明による方法では、仮想テーマを指定した後に経路が選択され、その経路は、所与の仮想テーマに最も適合する。選択された経路に沿った移動中に、自動車自体の動きが記録され、仮想現実眼鏡は、仮想現実眼鏡をかけた車両搭乗者が、検出された自動車自体の動きに従って、および所定の仮想対象の所定の仮想走行モードに従って、仮想環境内で仮想的に動くように制御される。

【0011】

したがって、本発明によれば、車両の搭乗者が、仮想現実眼鏡をかけているとき、所定の仮想テーマに従って仮想環境内で仮想的に移動することが提供される。ここで、その仮想的な移動は、実際に選択されたルートに沿って走行する際の、検出された自動車自体の動きと相関する。例えば、自動車が右折すると、仮想現実眼鏡の着用者も、表示された仮想環境内で右折する。たとえば、自動車が丘陵景色を上下に移動する場合は、仮想現実眼鏡の着用者も、表示された仮想環境内で上下に動く。

【0012】

経路が特定の仮想テーマに最も適した方法で選択されるという事実によって、仮想現実眼鏡の制御が特に簡単になる。実際の経路が実際の仮想テーマからどれだけ逸脱しているかに応じて、表示された仮想コンテンツ、つまり表示された仮想環境内の仮想移動は、運転状況に動的に適応することが可能または必要である。しかしながら、選択された実際の経路についての、所与の仮想テーマと比較したときの類似性により、仮想現実眼鏡を制御するときの適応のための労力、したがって計算の労力は、比較的低いものである。

【0013】

仮想現実眼鏡の側では、コンピューティングに関しては、そして場合によっては提供されるメモリのパフォーマンスについては、比較的少ない量のハードウェアで保証することができる。そして、仮想現実眼鏡を着用した搭乗者が、表示された仮想環境内で検出された自動車自体の動きに従って、仮想現実的な方法で動く。仮想現実眼鏡の着用者は、表示された仮想環境に完全に浸る。仮想移動が少なくとも本質的に検出された自動車自体の動きに対応するように仮想現実眼鏡が制御されるという事実により、冒頭で述べたシミュレータ酔いやシミュレータ病は、敏感なユーザであっても、起きないか、あるいは最小限に抑えることができる。

【0014】

さらに、特に面白い仮想テーマを、仮想現実眼鏡を使用して再生できる。そのため、自動車を運転するときに、車両の搭乗者に付加価値がある。自動車は、必ずしも公道上に存在する必要はない。代わりに、たとえば、自動車を運転しているときの経験特性が、仮想現実眼鏡をかけたまま前景に強く存在することも可能である。この場合、たとえば、非公道およびしたがって閉鎖されたルートも適切な経路で運転することができるため、仮想現実眼鏡を使用して特に没入型体験が可能になる。

【0015】

本発明の有利な実施形態では、ルートが経路として選択され、その経路は以前に仮想テーマに適合されていたものである。したがって、好ましくは、車両が運転される前であっても、仮想テーマが非常に特定の経路およびそのルートに特に適合される。次に、この適合された仮想テーマ、より正確にはこの点でのデータレコードは、たとえば、仮想現実眼鏡または別のメモリにロードできる。非常に特定の経路で以前に適合された仮想テーマを知ることで、自動車が走行するこの経路を正確に選択することができる。その結果生じるところの、特にコーナリング走行、または、上り坂および下り坂の運転に関する自動車の独自の走行は、表示された仮想環境内の対応する仮想動きに変換されるのに特に適している。

【0016】

本発明の別の有利な実施形態では、ルートが経路として選択され、そのカーブが所与の仮想テーマに最もよく一致する。さらに、代替としてまたは追加として、ルートが経路として選択され、その標高のプロファイルが所定の仮想テーマに最も適するようにすることもできる。きわめて特定的で事前に設定されている仮想テーマをきわめて特定的な実際のルートに事前に適合させる必要がないようにすることも可能である。それに代えて、特に指定された仮想テーマに最もよく一致する、標高のプロファイルやカーブのプロファイルによって、仮想テーマが指定された後に、自動車の位置の周りの特定の検索半径内で、可能な限り適切な経路を選択することが可能である。この手順では、選択された経路が所定の仮想テーマに特によく適合するため、仮想現実眼鏡によって表示される仮想コンテンツを、特に簡単な方法でそれぞれの運転状況に動的に適合させることも、特に容易である。仮想テーマが、例えば特に多数のカーブが存在する仮想環境内の走行に関連している場合は、特に特定の目的地へのカーブの少ない別の経路が利用できる場合であっても、多数のカーブが含まれるように経路を選択することができる。この手順では、特定の目的地に特にすばやく到達する必要はない。それに代えて、特定の仮想テーマの特性に特によく合うように選択された経路に、焦点が当てられる。本発明のさらに有利な実施形態によれば、複数の仮想テーマが選択のために提供され、それぞれの仮想テーマがそれぞれの仮想環境内の異なる仮想走行モードを定義し、走行のための仮想テーマは、ユーザの選択の関数として事前に定義される。したがって、車両の搭乗者は、さまざまな仮想テーマから選択して、最適なテーマを見つけることができる。テーマを選択するのが、最も楽しいことである。その後、搭乗者の選択にしたがって、上記の手順により最適な経路が選択される。

【0017】

本発明のさらなる有利な実施形態では、自動車が、選択された経路を、部分的に自律的に、または完全に自律的に、走行する。特に後者の場合、走行経路によっては、運転者が自動車に着座する必要がない場合がある。自動車が、選択された経路を部分的に自律的に、完全に自律的に、または手動で走行するかどうかに関係なく、この方法は、例えばタクシー会社などのモビリティサービスプロバイダによって、追加サービスとして提供することができる。そのようなモビリティサービスプロバイダは、適切な技術を車両に装備することができ、それにより本発明による方法または本発明による方法の有利な実施形態を提供することで競合他社と差別化し、そして追加的な収入源を生み出す。方法がサービスの形で予約されている場合は、特に有利である。言い換えれば、このプロセスは、サービスとして提供および予約できる。これにより、すでに述べた利点が得られる。予約は、たとえば、自分の車両のために、または別の車両での走行中に、行うことができる。

【0018】

本発明のさらなる有利な実施形態では、第２の仮想現実眼鏡を着用するさらなる車両搭乗者が、検出された自動車自体の動きにしたがって、またあらかじめ定められた仮想テーマについてあらかじめ定められた仮想モードにしたがって、仮想環境内で仮想的に移動するように、少なくとも１つの上記した第２の仮想現実眼鏡が制御される。両方の車両搭乗者が検出されることが好ましく、車両搭乗者のそれぞれの仮想表現が、仮想現実眼鏡を使用して表示される。自動車に複数の車両搭乗者がいて、それぞれが仮想現実眼鏡をかけている場合、彼らは、提供された仮想テーマにしたがって、例えば同じ仮想環境内で仮想的に一緒に移動し、互いに相互作用し、そして仮想的な方法で互いのそれぞれの表現を知覚することができる。複数の車両搭乗者が１つの開始地点から目的地まで移動することもできる。その間、車両搭乗者には、遊び心のある、または有益な、または純粋に楽しい性質の、高度に没入型の体験が提供される。前述のように、車両搭乗者は、表示された仮想環境内で互いを見ることができ、またあらかじめ定められた仮想テーマにしたがって、相互にやり取りすることができる。

【0019】

自動車において少なくとも１つの仮想現実眼鏡を操作するための、本発明によるシステムは、以下を行うようにセットアップされている。すなわち、仮想環境内の特定のタイプの仮想移動を定義する仮想テーマを指定することを行い、指定された仮想テーマに最適な経路を選択することを行い、さらに、選択した経路に沿った移動中に記録された自動車自体の動きに基づいて仮想現実眼鏡を制御して、仮想現実眼鏡をかけた車両搭乗者を、仮想環境内において、検出された自動車自体の動きと、あらかじめ定義された仮想被写体についてのあらかじめ定義された仮想移動モードとにしたがって、仮想環境内で仮想的に移動させることを行うように、セットアップされている。本発明の方法の有利な改良は、本発明のシステムの有利な改良と見なされるべきであり、逆もまた同様である。このシステムは、特に、本発明の方法ステップを実行するための手段を有する。

【図面の簡単な説明】

【0020】

【図1】複数の仮想現実眼鏡を操作するためのシステムが配置されている自動車の略図を示す図である。

【発明を実施するための形態】

【0021】

本発明のさらなる利点と特徴と詳細とは、好ましい例示的な実施形態についての、以下の説明および図面から生じる。上述した特徴および特徴の組み合わせと、図面にもとづく以下の記載にて示される特徴および特徴の組み合わせとは、本発明の範囲から逸脱することなしに、それぞれの場合において示される組み合わせのみならず、他の組み合わせや単独でも用いることができる。

【0022】

図１において、自動車１が非常に概略的に示されている。自動車１には２人の搭乗者２、３が居り、それぞれが仮想現実眼鏡４、５を着用している。さらに、２つの仮想現実眼鏡４、５を操作するためのシステム６が、自動車１に配置されている。さらに、検出装置７も自動車１に配置されており、この検出装置７は、自動車１の運転中に自動車１自体の動きを検出するように設計されている。

【0023】

検出装置７は、加速度や速度などを検出するために、例えば車両側に設置される多種多様なセンサを有することができる。現状の図示とは異なって、代替的にまたは追加的に、検出装置７がシステム６の一部であることも可能である。ここで、検出装置７自体は対応するセンサを有し。このセンサは、車両側ではなくシステム側に設置される。システム６全体は、携帯型であることもできる。このため、必ずしも車両に固定して設置する必要はない。この場合は、システム６は一種の携帯型電子ハードウェアボックスであると考えることができる。

【0024】

２つの仮想現実眼鏡４、５を操作する方法が、以下においてより詳細に説明される。まず、システム６によって少なくとも１つの仮想テーマが指定される。この仮想テーマは、仮想環境内の特定のタイプの仮想走行を定義する。この仮想テーマは、非常に具体的な仮想体験の形として理解でき、これは、車両の搭乗者２、３がサービスとして、たとえば事前に、または自動車1の運転中に、予約することができる。例えば、自動車１を完全に自律的に運転することが可能であり、それにより、両方の搭乗者２、３は、危険なしに完全に仮想現実眼鏡４、５を使用することができる。

【0025】

前記した仮想テーマは、特定の仮想環境内の特定のタイプの仮想走行を定義する。例えば、仮想テーマは、自動車による仮想走行、または飛行体による仮想飛行、または水上走行体による仮想走行に関連し得る。原則として、さまざまな仮想テーマまたは仮想体験が可能である。たとえば、スペースグライダーを使用したフライトを、仮想テーマとして提供することもできる。それぞれの仮想テーマは、好ましくは常に、非常に特定のタイプの仮想走行、例えば、特定の関連する仮想環境内の、陸上車両、または航空機、または、例えば船舶や潜水艦などの水上走行体による移動すなわち走行を含む。そのようないくつかの主題を、システム６が選択のために提供することも可能であり、そのときに、車両の搭乗者２、３は、これを例えば有料サービスとして選択し予約することができる。

【0026】

非常に特定の仮想テーマが車両の搭乗者２、３の１人によって選択されるとすぐに、対応して選択された仮想テーマに最も適した経路が選択される。そのとき、基本的に２つの異なるアプローチがある。例えば、仮想テーマが予め適合されたルートを、経路として選択することができる。この場合に、例えば、仮想テーマに関するデータレコードは、非常に特定の経路の非常に特定のルートに基づいて事前に作成されている。この場合、このルートを正確に経路として選択できる。これは、経路に関して、以前に適応された仮想テーマに特に適している。

【0027】

あるいは、ルートが経路として選択され、そのカーブが所与の仮想テーマに最もよく適合することも可能である。また、選択する経路の標高のプロファイルが特定の仮想テーマに最適であることも考慮に入れることができる。この場合、非常に具体的な仮想テーマが最初に指定され、その後いくつかの可能な経路のうちの１つが選択される。このとき、仮想テーマは、選択された経路に対して事前に適合されてはいない。経路の選択は、特にカーブのコースとその標高のプロファイルとに関して、経路が選択された仮想テーマに一致するように行われる、という事実がある。この事実によって、仮想現実眼鏡４、５を操作するときに、選択されたルートへの動的適応の手間が制限される。

【0028】

仮想テーマが指定され、対応する経路が選択されると、すぐに、自動車１はその経路をたどる。この場合、自動車１自体の動きは、検出装置７によって連続的に検出される。関連するデータがシステム６に流れ込み、システム６は、２つの仮想現実眼鏡４、５を、次のように制御する。すなわち、各搭乗者２、３が、検出された自動車１自体の動きにしたがって、および所定の仮想テーマの所定の仮想走行モードにしたがって、それぞれの仮想現実眼鏡４、５によって表示される仮想環境内において仮想的に動くように制御する。

【0029】

自動車１がきつい右カーブを走行している場合、仮想現実眼鏡４、５も制御され、車両の搭乗者２、３は、表示された仮想環境内で強い右カーブを走行しているかのように見え、または、そうでなければ、強い右カーブを進んでいるように見える。同じことが、自動車１についての他の動きにも当てはまる。自動車１での移動中に、車両の搭乗者２、３は、したがって、仮想現実眼鏡４、５を使用して、表示された仮想環境内で特に現実的に見える仮想走行を経験する。一方において、自動車１を運転することは特に面白いことである。他方において、仮想現実眼鏡４、５を着用しているにも拘わらず、車両の搭乗者２、３が病気になることを回避することもできる。なぜなら、仮想現実眼鏡４、５によって表示される仮想コンテンツが、自動車１の運動により搭乗者のバランス器官が感じるものを、搭乗者２、３に正確に視覚的に示唆するためである。

【0030】

さらに、車両における２人の搭乗者２、３が、例えば、自動車１を運転している間にカメラシステムによって捉えられ、それぞれのカメラデータがシステム６に送信されることも可能である。そしてシステム６は、仮想現実眼鏡４、５を制御して、着用された仮想現実眼鏡４、５によって、車両の搭乗者２、３に、表示された仮想環境内の搭乗者のそれぞれについての仮想表現が示されるようにする。したがって、車両の搭乗者２、３は、仮想現実眼鏡４、５によって表示される仮想環境内のそれぞれの仮想表現を介して、互いに見ることもでき、そして必要に応じて互いに相互作用することもできる。

【0031】

上述のシステム６およびこれに関連して仮想現実眼鏡４、５を操作するための方法は、例えば、タクシー会社または他のモビリティサービスプロバイダによって、支払いに対する追加のサービスとして提供され得る。このように、表示された仮想コンテンツは、運転中の自動車自体の動きと相関関係があるので、車両の搭乗者は、走行中に、気分を悪くすることなく、多種多様な仮想コンテンツを楽しむことができる。

【図1】