特許 7143443 車両の搭乗者及び遠隔ユーザのための共有環境

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2022-09-16

(45)【発行日】2022-09-28

(54)【発明の名称】車両の搭乗者及び遠隔ユーザのための共有環境

(51)【国際特許分類】

   G06T 19/00 20110101AFI20220920BHJP

【ＦＩ】

G06T19/00 600

【請求項の数】 18

(21)【出願番号】P 2020564638

(86)(22)【出願日】2019-05-06

(65)【公表番号】

(43)【公表日】2021-09-13

(86)【国際出願番号】 EP2019061501

(87)【国際公開番号】W WO2019219423

(87)【国際公開日】2019-11-21

【審査請求日】2021-01-18

(31)【優先権主張番号】15/984,065

(32)【優先日】2018-05-18

(33)【優先権主張国・地域又は機関】US

(73)【特許権者】

【識別番号】516000549

【氏名又は名称】ヴァレオ、コンフォート、アンド、ドライビング、アシスタンス

【氏名又は名称原語表記】ＶＡＬＥＯ ＣＯＭＦＯＲＴ ＡＮＤ ＤＲＩＶＩＮＧ ＡＳＳＩＳＴＡＮＣＥ

(74)【代理人】

【識別番号】100091487

【弁理士】

【氏名又は名称】中村 行孝

(74)【代理人】

【識別番号】100105153

【弁理士】

【氏名又は名称】朝倉 悟

(74)【代理人】

【識別番号】100127465

【弁理士】

【氏名又は名称】堀田 幸裕

(74)【代理人】

【識別番号】100158964

【弁理士】

【氏名又は名称】岡村 和郎

(72)【発明者】

【氏名】デイビッド、ソウル、ヘルミナ、マルティネス

(72)【発明者】

【氏名】ユージニア、イ、ジェン、ルー

(72)【発明者】

【氏名】デルバート、ブラムレット、ブーン、ザ、セカンド

(72)【発明者】

【氏名】モハメド、アムル、モハメド、ナダール、アブエルフォウトゥ

(72)【発明者】

【氏名】クリストファー、スティーブン、ノバコフスキー

(72)【発明者】

【氏名】ジャン－パトリック、クリスチャン、マリー、ファビィエ

(72)【発明者】

【氏名】フェリクス、ルイ、ジャン、マルケット

(72)【発明者】

【氏名】ジュリー、マリー、アルドワン、アロウナ

(72)【発明者】

【氏名】シエフ－クオン、クオック

【審査官】村松 貴士

(56)【参考文献】

【文献】米国特許出願公開第２０１８／００８９９００（ＵＳ，Ａ１）

【文献】米国特許出願公開第２０１７／０２９３８０９（ＵＳ，Ａ１）

【文献】特開２０００－２４４８８６（ＪＰ，Ａ）

【文献】特表２０１６－５１５３２５（ＪＰ，Ａ）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ０６Ｔ １９／００

Ｇ０６Ｆ ３／０１

Ｇ０６Ｆ ３／０４８ － ３／０４８９５

(57)【特許請求の範囲】

【請求項1】

共有車両体験を提供するための方法において、
車両の外部環境を描写する外部ビデオストリームを捕捉するステップと、
遠隔ユーザの身体の動きを示す遠隔ユーザ情報を受信するステップと、
前記遠隔ユーザを前記車両内の仮想乗員として表わす動的アバターを含む拡張ビデオストリームを生成して表示するステップであって、前記拡張ビデオストリームが前記車両で表示されている間、前記遠隔ユーザ情報に基づいて前記動的アバターが更新される、ステップと、
前記外部ビデオストリーム及び搭乗者情報の少なくとも一部をコンピュータデバイスに送信するステップであって、前記コンピュータデバイスは、前記外部ビデオストリーム及び前記搭乗者情報の少なくとも一部に基づき、前記車両内にいるという体験を前記遠隔ユーザに提供する更なる拡張ビデオストリームを前記遠隔ユーザのディスプレイデバイスに出力させ、前記搭乗者情報は、前記拡張ビデオストリームが前記車両で表示されている間、車両内の１人以上の搭乗者の位置と１人以上の搭乗者の身体の動きとを示す、ステップと、
少なくとも前記車両内の搭乗者の数及び位置に基づいて前記仮想乗員の座席位置を選択するステップと、
前記拡張ビデオストリームにおいて、決定された座席位置で前記仮想乗員の前記動的アバターをレンダリングするステップと、
を含む方法。

【請求項2】

前記遠隔ユーザの表示ウィンドウに関する情報を受信するステップであって、前記遠隔ユーザに送信される前記外部ビデオストリームの少なくとも一部は、前記表示ウィンドウを通して見られる外部環境に対応する、ステップ
を更に含む、請求項１に記載の方法。

【請求項3】

前記拡張ビデオストリームは、前記車両の内部の３次元モデル内でレンダリングされる前記動的アバターのビデオを含む、請求項１に記載の方法。

【請求項4】

前記拡張ビデオストリームは、前記車両の少なくとも１つの窓を通して見られる外部環境に対応する前記外部ビデオストリームの一部を更に含む、請求項３に記載の方法。

【請求項5】

前記遠隔ユーザから捕捉される音と前記遠隔ユーザ情報とに基づいて前記車両の内部で音声を生成するステップであって、前記音声が前記車両内の前記仮想乗員の方向から生成され、前記音声が前記遠隔ユーザの頭の動きにしたがって動的に変化する、ステップ
を更に含む、請求項１に記載の方法。

【請求項6】

前記遠隔ユーザからの入力を受信するステップと、
前記遠隔ユーザからの入力に基づいてメディアを提示するべく車載ディスプレイを更新するステップと、
を更に含む、請求項１に記載の方法。

【請求項7】

トフカメラを使用して前記車両の１人以上の搭乗者の身体の動きを捕捉するステップ
を更に含む、請求項１に記載の方法。

【請求項8】

前記拡張ビデオストリームは、ミラーリング効果をもたらすべく水平方向に反転された態様で表示される、請求項１に記載の方法。

【請求項9】

１つ以上の車載ディスプレイに表示される情報を捕捉して前記遠隔ユーザに送信するステップ
を更に含む、請求項１に記載の方法。

【請求項10】

前記車両の搭乗者から捕捉される音に対応する、１つ以上の音声ストリームを生成するステップと、
空間音声出力のために前記１つ以上の音声ストリームを前記遠隔ユーザに送信するステップと、
を更に含む、請求項１に記載の方法。

【請求項11】

共有車両体験を提供するためのシステムにおいて、
車両の外部環境を描写する外部ビデオストリームを捕捉するように構成された少なくとも１つのセンサと、
１つ以上のプロセッサであって、
遠隔ユーザの身体の動きを示す遠隔ユーザ情報を受信するように構成され、
前記遠隔ユーザを前記車両内の仮想乗員として表わす動的アバターを含む拡張ビデオストリームを生成するように構成され、
前記拡張ビデオストリームが車載ディスプレイで出力されるように構成され、
前記拡張ビデオストリームが前記車両で表示されている間、前記遠隔ユーザ情報に基づいて前記動的アバターを更新するように構成され、
前記外部ビデオストリーム及び搭乗者情報の少なくとも一部をコンピュータデバイスに送信するように構成され、前記コンピュータデバイスは、前記外部ビデオストリーム及び前記搭乗者情報の少なくとも一部に基づき、前記車両内にいるという体験を前記遠隔ユーザに提供する更なる拡張ビデオストリームを前記遠隔ユーザのディスプレイデバイスに出力させ、前記搭乗者情報は、前記拡張ビデオストリームが前記車両で表示されている間、車両内の１人以上の搭乗者の位置と１人以上の搭乗者の身体の動きとを示し、
少なくとも前記車両内の搭乗者の数及び位置に基づいて前記仮想乗員のための座席位置を選択するように構成され、
前記拡張ビデオストリームにおいて、決定された座席位置で前記仮想乗員の前記動的アバターをレンダリングするように構成される、
１つ以上のプロセッサと、
を備えるシステム。

【請求項12】

前記１つ以上のプロセッサは、前記遠隔ユーザの表示ウィンドウに関する情報を受信するように更に構成され、前記遠隔ユーザに送信される前記外部ビデオストリームの少なくとも一部は、前記表示ウィンドウを通して見られる外部環境に対応する、請求項１１に記載のシステム。

【請求項13】

前記拡張ビデオストリームは、前記車両の内部の３次元モデル内でレンダリングされる前記動的アバターのビデオを含む、請求項１１に記載のシステム。

【請求項14】

前記拡張ビデオストリームは、前記車両の少なくとも１つの窓を通して見られる外部環境に対応する前記外部ビデオストリームの一部を更に含む、請求項１３に記載のシステム。

【請求項15】

前記１つ以上のプロセッサは、前記遠隔ユーザから捕捉される音と前記遠隔ユーザ情報とに基づいて前記車両の内部で音声を生成するように更に構成され、前記音声が前記車両内の前記仮想乗員の方向から生成され、前記音声が前記遠隔ユーザの頭の動きにしたがって動的に変化する、請求項１１に記載のシステム。

【請求項16】

前記１つ以上のプロセッサは、
前記遠隔ユーザからの入力を受信するとともに、
前記遠隔ユーザからの入力に基づいてメディアを提示するべく車載ディスプレイを更新する、
ように更に構成されている、請求項１１に記載のシステム。

【請求項17】

前記１つ以上のプロセッサは、１つ以上の車載ディスプレイに表示される情報を捕捉して前記遠隔ユーザに送信するように更に構成されている、請求項１１に記載のシステム。

【請求項18】

プログラムを記憶するコンピュータ可読記憶媒体であって、
前記プログラムは、コンピュータの１つ以上のプロセッサによって実行されるときに、前記１つ以上のプロセッサに下記のことを実行させる、
車両の外部環境を描写する外部ビデオストリームを捕捉する、
遠隔ユーザの身体の動きを示す遠隔ユーザ情報を受信する、
前記遠隔ユーザを前記車両内の仮想乗員として表わす動的アバターを含む拡張ビデオストリームを生成して表示し、前記拡張ビデオストリームが前記車両で表示されている間、前記遠隔ユーザ情報に基づいて前記動的アバターが更新される、及び、
前記外部ビデオストリーム及び搭乗者情報の少なくとも一部をコンピュータデバイスに送信し、前記コンピュータデバイスは、前記外部ビデオストリーム及び前記搭乗者情報の少なくとも一部に基づき、前記車両内にいるという体験を前記遠隔ユーザに提供する更なる拡張ビデオストリームを前記遠隔ユーザのディスプレイデバイスに出力させ、前記搭乗者情報は、前記拡張ビデオストリームが前記車両で表示されている間、車両内の１人以上の搭乗者の位置と１人以上の搭乗者の身体の動きとを示す、
少なくとも前記車両内の搭乗者の数及び位置に基づいて前記仮想乗員のための座席位置を選択する、
前記拡張ビデオストリームにおいて、決定された座席位置で前記仮想乗員の前記動的アバターをレンダリングする、
コンピュータ可読記憶媒体。

【発明の詳細な説明】

【技術分野】

【0001】

本開示の態様は、複合現実（ＭＲ）、拡張現実（ＡＲ）、及び／又は、仮想現実（ＶＲ）を使用して２以上の当事者間の視聴覚通信を容易にすることに関する。

【背景技術】

【0002】

遠隔通信技術により、人々は、異なる場所にいながら互いに通信できるようになった。１人以上の当事者が移動可能な場合、通信セッションを行なうためのオプションが制限される。例えば、ある人は、歩いている間は、携帯電話を介して音声会話に関与し得る一方で、同じ人が、机に座っている時は、ビデオ会議を行なうことができる。１人以上の当事者が車両の搭乗者であるときの通信のオプションも同様に制限される。

【発明の概要】

【0003】

本開示の実施形態の例は、車両内部のモデルを使用して生成される仮想世界の態様を含む視聴覚コンテンツの提示によって、車両の１人以上の搭乗者と１人以上の遠隔ユーザに共有車両体験を提供することに関する。提示は、車両の外部環境からの実世界コンテンツを含んでもよい。例えば、幾つかの実施形態において、搭乗者及び／又は遠隔ユーザは、外部環境のビデオストリームからの画像を提示されてもよい。視聴覚コンテンツは、搭乗者及び遠隔ユーザが実際の機能と仮想機能とを含む共通の環境内で互いにやりとりできるように提示され得る。

【0004】

本開示の実施形態の例は、アバターを使用して遠隔ユーザを車両内の仮想乗員として表わすことに関する。乗用車に関連して論じられるが、実施形態の例は他のタイプの車両に適用可能である。本明細書中で使用される「搭乗者」は車両内の任意の人を指し、また、「乗員」は車両のドライバー／操作者以外の車両内の任意の人を指す。アバターは、車両の内部のモデルに基づいて、更に外部環境からのビデオに基づいて生成されるビデオ上に重ね合わされ得る。本開示において、「ビデオ」という用語は、経時的な一連の画像（例えば、フレーム）を示し、必ずしも音声情報を含むとは限らない。別個のストリームとして論じられるが、音声及びビデオを送信のために組み合わせることができる。１つの実施形態において、視聴覚コンテンツの視覚的構成要素（例えば、拡張ビデオストリーム）は、車両のリアウィンドウ及び／又はサイドウィンドウを通して見られる外部環境からの画像と共にアバターを示すデジタルバックミラーの形態で提示される。

【0005】

本開示の実施形態の例は、アバターを使用して搭乗者を表わすことに関する。遠隔ユーザのアバターと同様に、搭乗者のアバターは、車両の内部のモデルに基づいて、更に外部環境からのビデオに基づいて生成されるビデオ上に重ね合わされ、それにより、拡張ビデオを形成できる。車両内部は通常、経時的にあまり変化しないため、車両内部のモデルに基づいてビデオを生成することで、車両内部の実際のビデオを捕捉するよりも処理及び帯域幅上の利点がある。アバターは、アバターが表わす人物の発話及び／又は身体の動きに基づいて動的に更新され得る。例えば、アバターは、搭乗者又は遠隔ユーザの身振り、顔の表情、唇の動きなどにしたがってアニメーション化されてもよい。したがって、遠隔ユーザ及び搭乗者は１つ以上のアバターを介してやりとりできる。

【0006】

１つの実施形態において、視聴覚コンテンツの視覚的構成要素は、仮想乗員の観点から仮想シーンを描写するＶＲヘッドセット又は他のＶＲデバイスを介して遠隔ユーザに提示される。ＶＲヘッドセット／デバイスは、車両内にいるという体験をシミュレートし、それにより、遠隔ユーザは、あたかも自身が実際に車両の窓から見ているかのように外部環境の画像が提示されつつ車両の内部を見ることができる。

【0007】

本開示の実施形態は、共有車両体験を提供するための方法、及び、１つ以上のプロセッサに方法を実行させる命令を記憶するコンピュータ可読媒体を対象とし、方法は、車両の外部環境を描写する外部ビデオストリームを捕捉するステップと、遠隔ユーザの身体の動きを示す遠隔ユーザ情報を受信するステップとを含む。方法は、遠隔ユーザを車両内の仮想乗員として表わす動的アバターを含む拡張ビデオストリームを生成して表示するステップを更に含む。動的アバターは、拡張ビデオストリームが車両内で表示されている間、遠隔ユーザ情報に基づいて更新される。方法は、外部ビデオストリーム及び搭乗者情報の少なくとも一部をコンピュータデバイスに送信するステップを更に含み、コンピュータデバイスは、外部ビデオストリーム及び搭乗者情報の少なくとも一部に基づき、車両内にいるという体験を遠隔ユーザに提供する更なる拡張ビデオストリームを遠隔ユーザのディスプレイデバイスに出力させる。コンピュータデバイスは、ディスプレイデバイスと通信する遠隔コンピュータであってもよい（例えば、インターネットなどの１つ以上の通信ネットワークを介してＶＲヘッドセットと通信する中央サーバ）。或いは、コンピュータデバイスは、ディスプレイデバイス（例えば、有線接続により又は無線でＶＲヘッドセットに通信可能に結合されるローカルコンピュータ）と共に併置され得、或いはディスプレイデバイス（例えば、一体型ディスプレイスクリーンのスマートフォン）と一体化され得る。搭乗者情報は、拡張ビデオストリームが車両内で表示されている間、車両内の１人以上の搭乗者の位置と１人以上の搭乗者の身体の動きとを示す。

【0008】

本開示の実施形態は、共有車両体験を提供するためのシステムを対象とする。システムは、車両の外部環境を描写する外部ビデオストリームを捕捉するように構成された少なくとも１つのセンサと、１つ以上のプロセッサとを含む。プロセッサは、遠隔ユーザの身体の動きを示す遠隔ユーザ情報を受信し、遠隔ユーザを車両内の仮想乗員として表わす動的アバターを含む拡張ビデオストリームを生成し、拡張ビデオストリームが車載ディスプレイで出力されるよう構成される。プロセッサは、拡張ビデオストリームが車両で表示されている間、遠隔ユーザ情報に基づいて動的アバターを更新するとともに、外部ビデオストリーム及び搭乗者情報の少なくとも一部をコンピュータデバイスに送信するように更に構成され、コンピュータデバイスは、外部ビデオストリーム及び搭乗者情報の少なくとも一部に基づき、車両内にいるという体験を前記遠隔ユーザに提供する更なる拡張ビデオストリームを遠隔ユーザのディスプレイデバイスに出力させる。搭乗者情報は、拡張ビデオストリームが車両内で表示されている間、車両内の１人以上の搭乗者の位置と１人以上の搭乗者の身体の動きとを示す。

【0009】

本開示の実施形態は、共有車両体験を提供するための方法、１つ以上のプロセッサに方法を実行させる命令を記憶するコンピュータ可読媒体、及び、方法を実行するように構成された１つ以上のプロセッサを含む対応するシステムに関する。１つ以上のプロセッサは、遠隔コンピュータ（例えば、中央サーバ）、ローカルコンピュータ（例えば、パーソナルコンピュータ、ＶＲコンソール、又は、スマートフォン）、又は、これらの組み合わせを含む１つ以上のコンピュータデバイスに配置され得る。方法は、車両の外部環境に対応する１つ以上のビデオストリームを受信するステップと、車両内の１人以上の搭乗者の位置を示す搭乗者情報を受信するステップとを含む。搭乗者情報は、ユーザの身体の動きに基づくビデオストリームが車両で表示されている間の１人以上の搭乗者の身体の動きを更に示す。方法は、ユーザのディスプレイデバイスで出力するための拡張ビデオストリームを生成するステップを更に含み、拡張ビデオストリームは、車両の各搭乗者を表わす１つ以上の動的アバターを含む。動的アバターは、搭乗者情報に基づいて生成される。拡張ビデオストリームは、車両の外部環境に対応する１つ以上のビデオストリームに基づいて更に生成される。方法は、拡張ビデオストリームが表示されている間は、ユーザの身体の動きを示す情報を捕捉するとともにユーザからの音を捕捉するステップを更に含む。方法は、ユーザの身体の動き及び捕捉された音を示す情報を車両に送信するステップを更に含む。

【0010】

本開示の態様が一例として示される。添付の図では、同様の参照番号が同様の要素を示す。

【図面の簡単な説明】

【0011】

【図1】一実施形態に係るシステム内の様々な構成要素間の相互作用を示す機能ブロック図である。

【図2】一実施形態に係るシステムの簡略化されたブロック図である。

【図3】アバターを表示するデジタルバックミラーの一例を示す。

【図4】車両搭乗者に共有車両体験を提供するための一実施形態に係る方法のフローチャートである。

【図5】遠隔ユーザに共有車両体験を提供するための一実施形態に係る方法のフローチャートである。

【図6A】遠隔ユーザのビューをレンダリングするために使用される仮想カメラのための位置の一例を示す。

【図6B】搭乗者のビューをレンダリングするために使用される仮想カメラのための位置の一例を示す。

【図7】一実施形態に係る仮想現実環境を構築するための方法のフローチャートである。

【図8】車両内部の３Ｄモデルに基づいて生成される仮想車両シーンを示す。

【図9】遠隔ユーザに対して表示するための、様々な車載ディスプレイデバイスから仮想現実環境へのメディアコンテンツのレンダリングを示す。

【図10】搭乗者と遠隔ユーザとの間でメディアを共有するための一実施形態に係る方法のフローチャートである。

【図11】車両の外部環境内に置かれる物体に注釈を付けるための一実施形態に係る方法のフローチャートである。

【図12】注釈付きシーンの一例を示す。

【発明を実施するための形態】

【0012】

本開示は、車両の１人以上の搭乗者と１人以上の遠隔ユーザに共有車両体験を提供するためのシステム、装置、及び、対応する方法に関する。ウェブカメラなどのデバイス及びビデオ会議アプリケーションによって人々は顔を合わせて通信できるが、１人以上の当事者が移動できる設定でのそのような通信の実施は非常に困難である。例えば、搭乗者のうちの１人が乗用車内にいる場合、その車両にはビデオ会議機能が装備されていない場合がある。更に、従来のビデオ会議は、有意な共有体験をもたらすには能力の制限があった。各当事者は、例えば、他の当事者のカメラの視野を越える環境を見ることができない。当事者がカメラを動かし又は調整することで見える環境の部分を変更することも想定し得るが、相手側の当事者は依然として部外者の視点から環境を見ている。したがって、当事者は、ビデオ会議の相手側の当事者が何を体験しているかを真に理解することができない。共有体験におけるこの欠如は、当事者が共通の参照ポイントにアクセスすることを困難又は不可能にし、他の当事者が関心を持つ項目を当事者の環境が含む状況で特に明白な不都合である。例えば、遠隔ユーザが関心のある物体が、車両の外部環境にある場合がある。他の例として、車両の内部環境は、遠隔ユーザも関心がある、提示されているメディア（例えば、音楽、写真、地理的地図、ウェブサイトなど）を含む場合がある。

【0013】

したがって、ユーザが共有環境を介してやりとりできることが望ましい。例えば、車両の搭乗者及び遠隔ユーザが混合現実、拡張現実、及び／又は、仮想現実を介してやりとりできるようにして、あたかも搭乗者と遠隔ユーザとが同じ車両内にいるかのように錯覚を生み出すシステムを提供することが望ましい場合がある。そのようなシステムは、車両の外部環境及び内部環境に関する詳細と遠隔ユーザに関する詳細（例えば、遠隔ユーザが何を言っているのか及び／又は遠隔ユーザが体をどのように動かしているのか）とを組み合わせることによって、あたかも遠隔ユーザが乗員であるかのように搭乗者が遠隔ユーザと関与できるようにするべく設計されてもよい。また、システムは、仮想乗員の観点から遠隔ユーザに車両の外部環境及び／又は内部環境の態様を提示することによって遠隔ユーザの利益のために動作してもよい。特定の実施形態は、単一の遠隔ユーザに関して記載される。ただし、本明細書中に記載される実施形態のいずれも複数の遠隔ユーザに適用可能であることが理解され得る。

【0014】

幾つかの実施形態は、搭乗者が、あたかも遠隔ユーザが車両内にいるかのように見る（例えば、笑ったり、周囲の物体を指差したりする）ことができる、あたかも遠隔ユーザが仮想乗員の場所から話しているかのように聞くことができ、及び、遠隔ユーザとメディア（例えば、写真、ビデオ、音楽、ウェブサイトなど）を共有できるようにしてもよい。同様に、本明細書中に記載される実施形態は、遠隔ユーザが、あたかも車両内にいるかのように車両の外部環境を見る（例えば、車両の窓を通して見られる景色を楽しむ）ことができる及び仮想乗員の観点から搭乗者とやりとりできるようにしてもよい。そのような実施形態の用途としては、共有ロードトリップ、仮想ツアーガイド、子供である乗員を世話する仮想乳母、車両内の一人旅行者のための仮想の付き添い仲間（例えば、遠隔ユーザは旅行者を眠らせないようにして警戒を怠らないようにすることができる）、及び、運転初心者又は高齢ドライバーのためのサポート、指示、及び／又は、監視を挙げることができるが、これらに限定されない。

【0015】

乗用車には、様々な状況でドライバーが手動で車両を扱うのを支援するように設計された、ますます多くのセンサ技術が装備されている。これらのセンサは、ドライバー監視、駐車支援、車線逸脱警報、及び、ブラインドスポット検出などの様々な機能を可能にする。他の目的のため既に存在する技術を使用して共有環境の形成をサポートできるように、既存の機器を活用することにより、現在の自動車工学との互換性を維持しつつ、前述のような共有環境を提供することが望ましい場合がある。例えば、自動車には、座席の占有を検出するための内部カメラ（例えば、車室内のトフカメラ（Time-of-Flight Camera））、ハンズフリー電話のための車載マイクロフォン、ノイズ依存型音量制御器、及び／又は、音声認識機能、デジタルバックミラーディスプレイ、外部環境のビデオ画像又は静止画像を捕捉する外部カメラ（例えば、駐車支援機能をサポートする又はデジタルバックミラーのための画像を提供するリアカメラ）、及び／又は、物体検出をサポートする外部測距センサが備えられている場合がある。

【0016】

図１は、車両の搭乗者を遠隔ユーザに接続するシステム１００内の様々な構成要素間の相互作用を示す機能ブロック図である。システム１００は実環境と仮想環境とに分割され、この場合、仮想世界１２０は、搭乗者の実世界１１０と遠隔ユーザの実世界１３０との間のブリッジとして作用する。図１の左の列は、実世界１１０の要素に対応する。右の列は、実世界１３０の要素に対応する。中央の列は、車両の実世界１１０と遠隔地の実世界１３０の両方からの入力に基づいて構築される仮想世界１２０の要素に対応する。

【0017】

図１に示されるように、様々な技術を使用して、実世界と仮想世界との間で情報を捕捉、作成、及び、伝達することができる。実世界１１０は車両の外部環境を含む。外部環境は、シーンと、シーン内に置かれる物体とを含む。シーンに関する情報は、外部カメラによって撮影される画像又はビデオを使用して生成されてもよく、外部カメラが外部環境のビューを撮影できる限り、（例えば窓に対向して）車両の外側又は車両の内側に取り付けられるなど、車両の任意の場所に配置され得る。外部カメラの典型的な場所としては、バックミラー上、一方又は両方のサイドミラー上、フロントガラス上、バックウィンドウ上、車両の前部、及び、車両の後部のうちの１つ以上が挙げられる。Ａ外部環境が経時的に比較的一定である状況の場合（例えば、特徴のない周囲環境を通過して走行している間、或いは、霧が深い天候又は夜間に）、低フレームレートで及び／又は不規則なフレームレートで外部ビデオストリームを捕捉するよう外部カメラが制御される。

【0018】

シーン情報は、仮想世界１２０内の実世界シーンの態様を複製するために使用されてもよい。同様に、１つ以上の外部センサ（レーダー、カメラ、超音波センサ、光検出・測距（ＬＩＤＡＲ）センサなど）を使用して、実世界の物体が検出され、分類されてもよく、及び、その動きパラメータが推定されてもよく、及び、物体に関する情報を使用して仮想世界内の物体の態様を複製してもよい。

【0019】

実世界１１０は、車両の内部環境、すなわち、車両内部及びその搭乗者も含む。車両内部は、車両の車室の物理的レイアウト、及び、車載ディスプレイとメディアコンテンツ（例えばデジタルメディアなど）を搭乗者に提示する他のデバイスとを含むユーザインタフェースを与える様々な電子機器を備える。車両のレイアウトを３次元（３Ｄ）モデルの状態で記憶することができ、該モデルは、光学的走査によって捕捉され得る又は他の３Ｄモデリング技術を使用して構築され得る。３Ｄモデルは、車両内部の仮想レプリカの形成に用いるのに３Ｄモデルを利用できるように、搭乗者と遠隔ユーザとの間の通信セッションに先立って生成され得る。１つの実施形態では、車両の３Ｄモデルが使用中の車両の正確な製造元及びモデルに対応してもよい。他の実施形態において、３Ｄモデルは、本開示の教示内容から逸脱することなく車両の一般的な内部又は任意の他の３Ｄモデルに対応してもよい。ユーザインタフェースによって仮想世界に提示されるメディアに関する情報を提供するために、ユーザインタフェースには、メディアミラーリング機能、クラウドストリーミング又は任意の他のメディア転送及び／又は通信機能が備えられてもよい。例えば、車載ディスプレイの仮想対応物上に同じメディアを表示するために、車載ディスプレイ上に示される視覚メディア（例えば、計器クラスタ、ナビゲーションシステム、センターコンソールなど）をミラーリングによって複製できる。

【0020】

車両は、搭乗者に関する情報を捕捉するために使用され得る様々なタイプの内部センサを含んでもよい。そのようなセンサは、座席に取り付けられる重量センサ、可視及び／又は赤外線スペクトルカメラ、又は、トフカメラを含んでもよく、また、搭乗者の物理的属性及び／又は物理的状態の変化、並びに、搭乗者の感情属性及び／又は感情状態の変化を検出するように動作してもよい。例えば、内部センサを使用して、搭乗者の着座位置及び身体の動きを決定してもよい。身体の動きの例としては、頭の動き、眼の動き、唇の動き、顔の表情、及び、手及び／又は腕を使用して行なわれる身振り（例えば、外部環境内の物体を指差す）が挙げられるが、これらに限定されない。身体の動きは、車載センサ及び身体に装着されるセンサ（例えば、赤外線又は超音波動きセンサ、加速度計、又は、ジャイロスコープのうちの１つ以上を含む手袋或いは他の装着型器具）を含み、撮像センサ（例えばビデオカメラ）及び／又は非撮像センサを使用して捕捉され得る。システムは、身体の動き情報を解析して、例えば、搭乗者の身体の姿勢を決定してもよい、又は、搭乗者が内部又は外部のどの物体を見ているか又は指差しているかを決定してもよい。

【0021】

更に、車両は、搭乗者からの音を捕捉するセンサ（例えば、発話声又は他の人間の音を捕捉するマイクロフォン）、及び、搭乗者が装着するヘッドセット又は車両内部に配置されるスピーカなどの音声出力デバイスを含んでもよい。車両は、搭乗者が遠隔ユーザと会話できるよう搭乗者から発話を捕捉して仮想世界１２０に送信するデータ処理システム（ＤＰＳ）を含んでもよい。

【0022】

システム１００は、遠隔ユーザの仮想世界１２０と実世界１３０との間で情報を捕捉する、生成する、及び、送信する構成要素を含む。これらの構成要素の幾つかは、実世界１１０に関して前述した構成要素に類似していてもよい。例えば、実世界１３０は、仮想世界１２０で提示されるメディア（例えば、実世界１１０からミラーリングされるデジタルメディア）を送信し遠隔ユーザに提示するユーザインタフェースを含んでもよい。また、ユーザインタフェースは、遠隔ユーザが実世界１１０内で再生するメディアコンテンツ（例えば、遠隔ユーザがアクセス可能なコンピュータデバイスに記憶されたメディアアイテム）を選択して送信できるようにし、それにより、メディアを搭乗者と共有できるようにしてもよい。幾つかの実施形態において、システム１００は、遠隔ユーザが仮想乗員を配置するための車両内の空席を選択できるようにするユーザインタフェースを含む。システムによって実行されるアルゴリズムに基づいて仮想乗員の位置を自動的に割り当てることもできる。

【0023】

搭乗者の場合と同様に、様々なタイプのセンサを使用して、遠隔ユーザにより生成される音と共に、遠隔ユーザの身体の動き又は感情状態に関する情報を捕捉できる。センサを使用して、例えば、遠隔ユーザが座っているか又は立っているか（又は任意の他の体位）どうか、及び、遠隔ユーザがどこを見ている又は向いている（例えば、実世界１１０内の物体の仮想対応物を見つめている）かを決定できる。システム１００は、遠隔ユーザから捕捉される音を処理して搭乗者に音声ストリームとして送信する音声モジュールを伴うコンピュータデバイスを含んでもよい。音声モジュールは、搭乗者からの音声を再生のために遠隔ユーザに送信するために１つ以上の音声出力デバイス（例えば、ＶＲヘッドセットに組み込まれるヘッドホン）と通信可能に結合されてもよい。

【0024】

幾つかの実施形態において、音声は、空間音声体験を提供するために指向性態様で搭乗者及び／又は遠隔ユーザに出力され得る。例えば、車両は、内部の全体にわたって配置され（例えば、仮想上位に割り当てられる座席位置に基づいて）仮想乗員の方向からの音声をシミュレートするように選択的に制御される複数のスピーカを含んでもよい。同様に、遠隔ユーザが装着するＶＲヘッドセットは、搭乗者の方向からの音声をシミュレートするように制御され得るイヤピースを含んでもよい。よりリアルなオーディオ体験を提供するために、遠隔ユーザ又は搭乗者の頭部位置の変化に応じて音声出力を変えることもできる。したがって、遠隔ユーザは、あたかも遠隔ユーザが車両内に物理的に存在するかのように搭乗者と会話することができる。

【0025】

幾つかの実施形態において、搭乗者及び遠隔ユーザは、互いにフィードバックを提供するために身体の動きを介して相互作用できる。例えば、搭乗者の身振りを解析して、搭乗者が実世界１１０内の物体を指差していると決定してもよい。それに応じて、遠隔ユーザのディスプレイデバイスの出力を更新して、実世界の物体の仮想対応物を強調表示してもよく或いは仮想対応物の周囲の領域を強調表示してもよい。同様に、遠隔ユーザの身振りを解析して、遠隔ユーザが仮想物体を指差していると決定することができ、それにより、車載ディスプレイ上に仮想物体を描く画像を強調表示することができる、或いは該画像に注釈を付けて実世界の対応物に対する注意を引くことができる。

【0026】

図２は、図１に関して前述した機能を実装するシステム２００の簡略化されたブロック図である。システム２００は、車両システム２１０、サーバ２２０、及び、ＶＲシステム２３０を含む。車両システム２１０、サーバ２２０、及び、ＶＲシステム２３０はそれぞれ、本明細書中に記載される機能を付与するための命令を実行する１つ以上のコンピュータプロセッサを含んでもよい。しかしながら、システム２００又は本明細書中に記載される方法のいずれかにおける処理ステップは、ハードウェア（例えば、プロセッサ又は回路）で又はハードウェア、ソフトウェア、及び／又は、ファームウェアの組み合わせで具現化されてもよい。サーバ２２０は別途示され、車両システム２１０及び／又はＶＲシステム２３０の一部である構成要素を含むことができる。したがって、サーバ２２０は、車両システム２１０又はＶＲシステム２３０のいずれかと共に配置され得る、車両システム２１０及びＶＲシステム２３０の両方に重複され得る、或いは（図２に示されるように）、第３の場所に別々に存在し得る。車両システム２１０、サーバ２２０、及び、ＶＲシステム２３０の間の通信は、セルラーネットワーク又はＷｉ－Ｆｉネットワーク或いはそれらの組み合わせなどの１つ以上の無線通信ネットワークを介して行なわれてもよい。通信は、図示しない更なるエンティティを介して経路付けられてもよい。更に、ＶＲシステム２３０は１つののみ示されているが、システム２００は、それぞれが対応する遠隔ユーザによって動作される複数のＶＲシステムを含んでもよい。したがって、システム２００は、１人以上の車両搭乗者と複数の遠隔ユーザに共有車両体験を提供することができ、この場合、遠隔ユーザは必ずしも物理的に同じ場所にいる必要はない。

【0027】

車両システム２１０は、外部センサ２１２、内部センサ２１４、１つ以上のビデオ出力デバイス２１６（例えば、少なくとも１つの車載ディスプレイ）、音声出力デバイス２１７、メディアプレーヤ２１８（車載ディスプレイを含むこともできる）、及び、データストア２１９を含む。外部センサ２１２は、車両の外部環境の静止画像又はビデオ画像を捕捉するカメラを含んでもよい。幾つかの実施形態において、外部センサ２１２は、車両の周囲３６０度の範囲のパノラマビデオを形成するように処理されるビデオを捕捉する。パノラマビデオは、複数の外部センサ２１２からのビデオをつなぎ合わせることによって形成され得る。

【0028】

内部センサ２１４は、車両の搭乗者の身体の動き及び搭乗者により生成される音を捕捉する。また、内部センサ２１４は、１つ以上の音声捕捉センサ、例えば、ハンズフリー電話をサポートするマイクロフォンを含んでもよい。内部センサ２１４のうちの１つ以上は、ドライバー監視システムの構成要素であってもよい。車両システム２１０は、複数の人が車両を占める場合、内部センサ２１４によって捕捉されるデータに基づいて、搭乗者間を区別するように構成されてもよい。例えば、車両システム２１０は、車両の全体にわたって様々な位置に配置されるマイクロフォンから受信される発話入力、遠隔ユーザとの通信に関与していない搭乗者の音声をフィルタ除去するため又は重み付けオーディオパンニング又は他の音声出力技術を使用して空間音声として遠隔ユーザに出力するための別個の音声ストリーム（個々の搭乗者ごとに１つのストリーム）を生成するための音声認識に適用してもよい。遠隔ユーザに対する空間音声出力は、車両内の各搭乗者の位置を示す受信された位置情報に基づいて生成され得る。

【0029】

また、車両システム２１０は、デジタル信号処理技術を適用し、例えば、頭又は眼の動きを追跡して搭乗者が注視している方向を特定することによって或いは搭乗者の腕又は指により規定される方向に沿って光線追跡して外部環境内の物体を特定することによって、搭乗者が見ている又は向いている場所を決定することもできる。

【0030】

ビデオ出力デバイス２１６は、実世界及び仮想世界の要素を組み合わせる拡張ビデオストリームを提示するように構成されてもよい。ビデオ出力デバイスのために使用されてもよいディスプレイ技術の例としては、例えば、液晶ディスプレイ（ＬＣＤ）パネル、有機発光ダイオード（ＯＬＥＤ）パネル、及び、量子ドットディスプレイが挙げられる。１つの実施形態において、ビデオ出力デバイス２１６は、車両の背後の後方シーンのビデオを表示するデジタルバックミラーである。後方シーンのビデオは、遠隔ユーザを仮想乗員として表わすアバターを含むように拡張されてもよい。他の実施形態において、ビデオ出力デバイス２１６は、携帯可能又は装着可能なＡＲ、ＶＲ、又は、ＭＲデバイスである。ＡＲデバイスを装着する搭乗者は、仮想乗員に割り当てられる物理的な座席上に重ね合わされる遠隔ユーザのアバターを見ることができる。搭乗者がどこにいるか及び搭乗者が関与するタスクが何であるのかに応じて、異なるタイプのビデオ出力デバイスを使用できる。例えば、ＶＲヘッドセットは、ＡＲメガネと比べてより没入した体験をもたらし得るが、自律走行車両に乗る場合を除いてドライバーは前方の道路に注意を払う必要があるため、ドライバーによる使用に適さない場合がある。

【0031】

図３は、車両内部３２０内の仮想乗員として遠隔ユーザのアバター３１０を表示するデジタルバックミラー３００の一例を示す。車両内部３２０は、局所的に及び／又は遠隔的に（例えば、データストア２１９内に又はサーバ２２０に）記憶され得る３Ｄモデルを使用してレンダリングされ得る。また、デジタルバックミラー３００は、例えば、後方に面する外部カメラが捉える風景３１５と側方に面する外部カメラが捉える風景３１７，３１９とを含む実世界からの風景を示してもよい。風景３１５，３１７，３１９は、車両内部３２０及びアバター３１０の詳細をオーバーレイすることによって拡張されるビデオストリームに組み合わせられてもよい。したがって、デジタルバックミラー３００は、車両のサイドウィンドウ又はリアウィンドウのうちの少なくとも一方を通して見られる外部環境に対応するビデオストリームの一部を表示してもよい。同様のディスプレイが、例えばタブレットデバイスを介して、後部座席の乗員のために設けられてもよい。

【0032】

デジタルバックミラー３００は、あたかも風景３１５，３１７，３１９及びアバター３１０が光学ミラーを通して見られているかのように、ミラーリングされた（水平方向に反転された）画像を表示するように構成されてもよい（例えば、ミラーリング効果をもたらす）。他のタイプのビデオ出力デバイスを、ミラーリングされた画像及び／又はビデオストリームを表示するように構成することもできる。例えば、ミラーリングされたビデオストリームは、後部座席の搭乗者が見るために車両の前部座席の背後に取り付けられるディスプレイパネル（「シートバックディスプレイ」とも呼ばれる）で又は天井に取り付けられるディスプレイで提示されてもよい。

【0033】

デジタルバックミラー３００は、例えば、ズームイン又はズームアウトすることによって、拡張ビデオストリームと非拡張ビデオストリーム（例えば、後方に面するカメラが捉えるような外部環境のみを示すビデオストリーム）を切り換えることによって、或いは、分割画面モードを起動させて拡張ビデオストリームと非拡張ビデオストリームとを同時に表示することによって調整され得る。デジタルバックミラーを使用することの１つの利点は、搭乗者が、例えばフロントガラス３４０を通して見ることによって、外部環境への注意を保ちつつ遠隔ユーザとやりとりできるという点である。

【0034】

アバター３１０は２次元（２Ｄ）又は３Ｄアバターであってもよい。幾つかの実施形態において、アバター３１０は、遠隔ユーザの似顔絵（例えば、遠隔ユーザの捕捉された画像を使用して形成される）に基づいて生成されてもよい。アバター３１０は、遠隔ユーザを仮想乗員として表わすために使用されるがそれ以外には更新されない静的アバターであってもよい。或いは、アバター３１０は、身体の動き又は新しい座席位置の手動選択などの遠隔ユーザからの入力に応じて動的に更新され得る。遠隔ユーザが立ち上がる或いは自分の着席位置を移動する場合、アバターも同様に立ち上がる又は移動するように更新できる。同様に、アバターは、唇の動き（唇同期）、頭部の動き、体位、又は、身振り（例えば、手振り又は指差し）を真似することができる。アニメーション化された３Ｄアバターは、関節及び骨を規定する骨格表示であるキャラクターリグを使用して形成され得る。そのようなリグの複雑さは、捕捉されてアニメーション化されるべき動きの範囲に基づいていてもよい。幾つかの実施形態において、ユーザ／搭乗者の感情状態に基づいてアバターの顔のアニメーションを更新することができ、この場合、感情状態は、センサデータに基づいて（例えば、捕捉された発話又は顔画像の解析により）検出される。

【0035】

図２に戻ると、音声出力デバイス２１７は、車両ドア上、ダッシュボードに沿い、又は、後部乗員座席の背後など、車両内部全体に配置されるスピーカを含んでもよい。音声出力デバイス２１７は、遠隔ユーザから捕捉される音に対応する空間音声を出すべく音声信号処理によって制御され得る。空間音声は、仮想乗員の位置を示す受信された位置情報に基づいて出力される。空間音声は、例えば、遠隔ユーザから捕捉される音が仮想乗員の座席から出ているように車両全体にわたる様々な位置にある音声出力デバイスの音量及びタイミングを動的に調整することによって実現され得る。複数の音源が音声出力デバイス２１７を介して同時に再生してもよい。例えば、車両内で音楽を再生している状態で遠隔ユーザが話をするときには、音声スピーカが音楽を再生し続ける間にユーザの発話に対応する空間音声を生成するために音楽及び遠隔ユーザの発話の両方を混合できる。幾つかの実施形態では、音声出力デバイス２１７のうちの１つ以上は、例えばワイヤレスヘッドホンなどの装着可能なデバイスである。

【0036】

メディアプレーヤ２１８は、遠隔ユーザによって共有されるコンテンツの提示を含めて、搭乗者に対して再生するため、音声メディア、視覚メディア、又は、マルチメディアコンテンツなどのメディアの提示のために使用されてもよい。例えば、車両は、ドライバー又は助手席の乗員に対して視覚メディアを再生するためのセンターコンソールディスプレイ、及び、後部座席の乗員のための二次ディスプレイを含んでもよい。

【0037】

データストア２１９は、通信セッション中に使用される情報を記憶する１つ以上のメモリデバイスを含んでもよい。そのような情報の例としては、車両内部の３Ｄモデル、メディアコンテンツ、アバター画像又はモデル、外部カメラによって捕捉される又はサーバ２２０から送信されるビデオストリーム、及び、ユーザプロファイル又はユーザ構成設定が挙げられる。

【0038】

サーバ２２０は、車両システム２１０とＶＲシステム２３０との間で情報を送信する１つ以上のコンピュータデバイスを含んでもよい。サーバ２２０は、仮想現実モジュール２２２を使用してこの情報を処理して、実要素と仮想要素との複合体として仮想世界１２０を形成してもよい。例えば、仮想現実モジュール２２２は、サーバ２２０のプロセッサによる実行のための命令を生成してもよく、この命令により、プロセッサは、ＶＲシステム２３０によって表示用の拡張ビデオストリームを生成する。また、サーバ２２０は、メディアコンテンツの処理（例えば、メディアフォーマットの変換又は車両システム２１０とＶＲシステム２３０との間のメディアの送信の促進）及び搭乗者又は遠隔ユーザからの音声の処理を扱ってもよい。

【0039】

視聴覚コンテンツ（例えば、メディアコンテンツ、ビデオストリーム、又は、音声ストリーム）の処理の一部は、車両システム２１０又はＶＲシステム２３０で局所的に行なわれてもよい。例えば、拡張ビデオストリームのためのソースビデオが車両内のカメラを使用して捕捉されるため、デジタルバックミラーに示される拡張ビデオストリームを車両システム２１０によって生成することができ、したがって、車両搭乗者に出力するための拡張ビデオストリームを生成する目的でソースビデオをサーバ２２０に送信する必要がない場合がある。他方で、遠隔ユーザのＶＲヘッドセット又は他のＶＲデバイスを介して体験され得る３Ｄ仮想環境を形成するように特に構成されたコンピュータリソース（例えば、仮想現実モジュール２２２）をサーバが含む場合があるため、遠隔ユーザに出力するための拡張ビデオストリームの生成にサーバ２２０が対処し得る。

【0040】

サーバ２２０は、通信セッション中に使用される情報を記憶するデータストア２２４を含んでもよい。データストア２２４に含まれる情報は、車両システムのデータストア２１９内又はＶＲシステム２３０のデータストア２３９内に含まれる情報と重複してもよい。例えば、データストア２２４は、メディアミラーリング中にメディアコンテンツの一時的な記憶を行なってもよく、一方、データストア２１９，２３９は、メディアコンテンツの恒久的な記憶を行なう。また、データストア２２４は、音声ストリーム又はビデオストリームの一時的な記憶のためのバッファメモリを含んでもよい。

【0041】

ＶＲシステム２３０は、動き・音声捕捉センサ２３４、ビデオ出力デバイス２３６、音声出力デバイス２３７、ユーザインタフェース２３８、及び、データストア２３９を含んでもよい。要素２３４，２３６，２３７，２３９はそれぞれ、車両システムの内部センサ２１４、ビデオ出力デバイス２１６、音声出力デバイス２１７、及び、データストア２１９に類似しているが、必ずしも同一の機能を付与するとは限らない。例えば、動き・音声捕捉センサ２３４の動きセンサは、ＶＲヘッドセット内のジャイロスコープ、加速度計、構造化された照明システムなどを使用して頭の動きを追跡してもよく、また、動き追跡コントローラ又はトフカメラを使用して手／身体の動きを追跡してもよく、これに対し、内部センサ２１４は車室内トフカメラを含んでもよい。他の例として、音声出力デバイス２１７での空間音声の出力は、音声出力デバイス２３７での出力とは異なって行なわれてもよい（例えば、車両内の５つ以上のスピーカ対ＶＲヘッドセット内の２つのスピーカを制御する）。

【0042】

ユーザインタフェース２３８は、搭乗者と共有するためのメディアコンテンツの選択を可能にしてもよい。ユーザインタフェース２３８を介して選択されるメディアコンテンツは、局所的に（例えば、データストア２３９内に）又は遠隔的に（例えば、データストア２２４内に）記憶され得る。ユーザインタフェース２３８は、外部ディスプレイモニタ上又はタッチスクリーン上のグラフィカルユーザインタフェースであってもよい。幾つかの実施形態において、ユーザインタフェース２３８は、例えば更なる仮想車載ディスプレイとして、仮想環境内でレンダリングされる。

【0043】

ビデオ出力デバイス２３６は、仮想現実システムの一部として説明されるが、遠隔ユーザが車両体験を共有するための完全没入型ＶＲ出力である必要はない。場合によっては、ビデオ出力デバイス２３６は、更には、例えばスマートフォン又はテレビに２Ｄディスプレイとして実装されてもよい。しかしながら、遠隔ユーザは、車両を運転する責任を負わず、一般に自由に動き回れる余地があるため、遠隔設定ではＶＲ出力が有利な場合がある。したがって、ビデオ出力デバイス２３６は、ＶＲヘッドセットとして、又は、場合によっては、ＡＲデバイス又はＭＲデバイスとして実装され得る。ホログラフィックディスプレイ、光学ミラーを利用する非装着型ＶＲディスプレイなどの他のタイプのビデオ出力デバイスが使用されてもよい。システム２００の様々な要素を汎用又は専用のコンピュータデバイスとして実装することができ、各コンピュータデバイスは、中央処理ユニット又はグラフィックプロセッサなどの１つ以上のプロセッサを有する。更に、要素を組み合わせて単一のコンピュータデバイスにしてもよい。例えば、ビデオ出力デバイス２３６及び音声出力デバイス２３７は、ＶＲヘッドセット又はスマートフォンの一部であってもよいが、パーソナルコンピュータ、外部ディスプレイモニタ、及び、外部スピーカの組み合わせを使用して実装することもできる。

【0044】

ビデオ出力デバイス２３６が表示ウィンドウを備えてもよく、該表示ウィンドウを通じて遠隔ユーザが仮想乗員の位置に配置される観察者の観点（視点）から車両内部及び外部環境を見ることができる。ビデオ出力デバイス２３６は、表示ウィンドウを制御するための入力要素を含んでもよい。例えば、ビデオ出力デバイスがスマートフォンである場合、遠隔ユーザは、ジャイロスコープ又は加速度計を起動させるべくスマートフォンを傾ける又は回転させることにより又はスマートフォンの並進移動によって、或いは、スマートフォンのタッチスクリーンをスワイプすることにより、表示ウィンドウの位置の変更をもたらしてもよい。同様に、ビデオ出力デバイスがＶＲヘッドセットである場合、遠隔ユーザは、自分の頭を動かすことによって表示ウィンドウを再配置し、それにより、仮想乗員の位置に座った状態で車両を見回す体験をシミュレートしてもよい。遠隔ユーザのアバター３１０がデジタルバックミラーに示される図３の例と同様に、ビデオ出力デバイス２３６は、１つ以上の車両搭乗者のアバターを表示してもよい。或いは、搭乗者のアバターをディスプレイから省くことができ、その場合、遠隔ユーザは、搭乗者とやりとりするために音声通信に依存してもよい。

【0045】

音声出力デバイス２３７は、車両内のスピーカと同様の態様で配置される又は車両の座席に対応する位置に配置される外部スピーカを含んでもよい。これに代えて又は加えて、音声出力デバイス２３７は、ＶＲヘッドセット内に又は音声出力デバイス２３７及びビデオ出力デバイス２３６の両方を含む他の装着可能なデバイス内にスピーカを含んでもよい。

【0046】

ここで、図１及び図２の実施形態に係るシステムで実行されてもよい方法について説明する。本明細書中に記載される各方法は、ステップのシーケンスとして提示されるが、特定のステップが異なる順序で実行、省略、又は、並列に実行されてもよい。

【0047】

図４は、一実施形態に係る、車両搭乗者に共有車両体験を提供するための方法４００のフローチャートである。方法４００は、車両に表示するための拡張ビデオストリームを提示することを伴う。ステップ４１０では、１つ以上の外部カメラを使用して車両の外部環境に対応するビデオストリームが捕捉される。便宜上、外部環境を描写するストリームは、本明細書中では「外部ビデオストリーム」と称されるものとする。車両は、例えばパノラマビデオを生成するために、外部環境の異なるビューを捕捉するための複数の外部カメラを含んでもよい。

【0048】

ステップ４１２では、遠隔ユーザの身体の動きを示すユーザ情報が、遠隔ユーザ側のコンピュータデバイス（例えばＶＲシステム２３０）から受信される。サーバ２２０で遠隔ユーザ情報を受信し処理することができ、また、遠隔ユーザ情報を処理のために車両システム２１０に送信することもできる。前述のように、身体の動きとしては、頭、唇、眼、又は、顔の動き、並びに、腕又は指での身振り或いは任意の他のタイプの身体の動きを挙げることができる。

【0049】

ステップ４１４では、遠隔ユーザを車両内の仮想乗員として表わすアバターを含むように拡張ビデオストリームが生成される。拡張ビデオストリームは、車両システム２１０及び／又はサーバ２２０によって生成され得る。拡張ビデオストリームは随意的に搭乗者のためのアバターを含んでもよい。例えば、デジタルバックミラーを見ているドライバーは、搭乗者が車両内に物理的に存在する場合でも、遠隔ユーザを表わす第１のアバターと仮想乗員の隣に座っている搭乗者を表わす第２のアバターとを見ることができる。拡張ビデオストリームは、車両内部の３Ｄモデルを使用して、更には外部ビデオストリーム（例えば、１つ以上の外部カメラによって捕捉されるビデオ）を使用して生成されてもよい。仮想乗員の位置は、遠隔ユーザ又は搭乗者により手動で選択され得る、或いは、例えばいずれの座席が空いているかの決定、搭乗者の総数、搭乗者の位置、割り当ての好ましい順序、又は、これらと他の要因との組み合わせに基づいて座席を割り当てるアルゴリズムを使用して自動的に選択され得る。拡張ビデオストリームは、ミラーリングされたビデオストリームであってもよく、また、（例えば、デジタルバックミラーを使用して）車両のビデオ出力デバイスに表示される。拡張ビデオストリームは、遠隔ユーザの動きに関して生のフィードバックを与えるために、拡張ビデオストリームが車両で表示されている間、遠隔ユーザ情報に基づいて（例えば、アバターを更新することによって）更新され得る。

【0050】

ステップ４１６において、車両システム２１０は、例えば外部ビデオストリーム及び搭乗者情報をＶＲシステム２３０又はサーバ２２０に送信する遠隔ユーザのための出力を生成するために外部ビデオストリームの少なくとも一部を捕捉して搭乗者情報と共にコンピュータデバイスに送信してもよい。幾つかの実施形態では、遠隔ユーザの表示ウィンドウに関連する外部ビデオストリームのその部分のみが送信される。搭乗者情報は、搭乗者情報が１人以上の搭乗者の身体の動きを示し得るという点で遠隔ユーザ情報に類似しており、したがって、搭乗者のアバターを含む拡張ビデオを形成するために同様の態様で使用され得る。更に、搭乗者情報は、１人以上の搭乗者の位置（例えば、各搭乗者が着席している場所及び各搭乗者の識別情報）を示してもよい。搭乗者情報又は遠隔ユーザ情報は、対象が見ている又は向いている場所を示してもよく、したがって、外部環境の画像に注釈を付けるために使用され得る。

【0051】

搭乗者情報は、拡張ビデオストリームが車両で表示されている間、１人以上の搭乗者の位置及び身体の動きを示してもよく、また、更なる別個の拡張ビデオストリームを遠隔ユーザ側で生成するために外部ビデオストリームと共に送信されてもよい。外部ビデオストリーム及び搭乗者情報は、遠隔ユーザのディスプレイデバイス上（例えば、ビデオ出力デバイス２３６上）に表示するための別個の拡張ビデオストリームを生成するためにコンピュータデバイスによって（例えば、サーバ２２０からの支援を伴ってＶＲシステム２３０によって又はサーバ２２０のみによって）処理され得る。また、車両システムは、１人以上の搭乗者から捕捉される音に対応する音声ストリームを送信してもよい。音声ストリームは、遠隔ユーザに対し表示される拡張ビデオストリームと同期する音声出力（例えば、空間音声）を生成するために使用されてもよい。

【0052】

ステップ４１８において、車両システムは、１つ以上の車載ディスプレイに提示されるメディアコンテンツを捕捉して、捕捉されたメディアコンテンツを遠隔ユーザに出力するために送信してもよい。メディアコンテンツは、仮想環境内で（例えば、車載ディスプレイの仮想対応物で）又は遠隔ユーザの別個のディスプレイデバイスでレンダリングされ得る。ステップ４１８は、車両の内部及び外部環境の変化に関しリアルタイムで更新すべくステップ４１６と同時に実行され得る。

【0053】

図５は、一実施形態に係る、遠隔ユーザに共有車両体験を提供するための方法５００のフローチャートである。方法５００は、車両及びその搭乗者に関連する情報を受信する様々なステップを含む。そのような情報は、車両からＶＲシステム２３０へ直接送信されてもよく或いはサーバ２２０などの媒介を通じて送信されてもよい。

【0054】

ステップ５１０では、車両の外部環境に対応する１つ以上のビデオストリームが例えばサーバ２２０によって受信される。

【0055】

ステップ５１２では、車両内の１人以上の搭乗者の身体の動き及び各搭乗者の位置を示す搭乗者情報が例えばサーバ２２０によって受信される。これに加えて又は代えて、搭乗者情報は、各搭乗者の位置（例えば、座席位置）を示してもよく或いは各搭乗者を（例えば、実際の名前又はユーザ名によって）特定してもよい。

【0056】

ステップ５１４において、ＶＲシステム２３０及び／又はサーバ２２０は、ステップ５１０で受信されたビデオストリームに基づいて拡張ビデオストリームを生成し、拡張ビデオストリームを遠隔ユーザのディスプレイデバイスに出力させる。拡張ビデオストリームは、遠隔ユーザのための表示ウィンドウを決定して拡張ビデオストリームを表示ウィンドウにマッピングすることによって（例えば、図６Ａに関連して説明した仮想カメラを使用して）生成され得る。例えば、遠隔ユーザがＶＲヘッドセットを装着している場合、表示ウィンドウは、ユーザの頭部の位置及び／又は注視方向にしたがって、更には仮想乗員に割り当てられる座席の位置に基づいて規定されてもよい。幾つかの実施形態において、サーバ２２０は、ＶＲシステム２３０から、表示ウィンドウに関する情報を受信して、遠隔ユーザが見るように拡張ビデオをＶＲシステムに送信してもよい。拡張ビデオは、図４のステップ４１６で送信される外部ビデオストリームの少なくとも一部を含んでもよく、この場合、外部ビデオストリームの少なくとも一部は表示ウィンドウを通して見られる外部環境に対応する。

【0057】

図４におけるステップ４１４と同様に、拡張ビデオストリームは随意的に各搭乗者のためのアバターを含んでもよい。搭乗者のアバターの代わりに、拡張ビデオストリームが実際の搭乗者を描くビデオを含んでもよい。実際の搭乗者のビデオを捕捉するために、例えば後部座席の乗員のビデオを捕捉するために、追加のカメラを使用する必要があるかもしれない。

【0058】

ステップ５１６において、ＶＲシステム２３０は、遠隔ユーザの身体の動きを示す情報を捕捉して搭乗者のコンピュータデバイスに送信し、搭乗者のコンピュータデバイスは、例えば、サーバ２２０を介して遠隔ユーザ情報を車両システム２１０に送信する。また、ＶＲシステム２３０は、遠隔ユーザからの音を捕捉し、音声ストリームを生成して搭乗者のコンピュータデバイスに送信してもよい。ＶＲシステム２３０から送信される情報は、例えば図４の方法にしたがって、搭乗者のための拡張ビデオストリーム及び／又は音声ストリームを生成するために使用され得る。

【0059】

ステップ５１８において、ＶＲシステム２３０は、捕捉されたメディアコンテンツを車両システム２１０から受信する。捕捉されたメディアコンテンツは、１つ以上の車載ディスプレイに提示されるコンテンツに対応し、サーバ２２０を介して送信され得る。ＶＲシステム２３０は、遠隔ユーザに対して、例えば、仮想ディスプレイ上で（この場合、捕捉されたメディアコンテンツがステップ５１０で表示される拡張ビデオストリームに組み込まれてもよい）又は外部モニタなどの別個のディスプレイデバイス上で、捕捉されたメディアコンテンツを提示する。

【0060】

ステップ５２０において、ＶＲシステム２３０は、遠隔ユーザからメディアコンテンツ（例えば、データストア２３９に記憶されてユーザインタフェース２３８を使用して選択されるメディアコンテンツ）の選択を受信し、選択されたメディアコンテンツを１人以上の車両搭乗者への出力のために（例えば、サーバ２２０を介して）送信する。選択されたメディアコンテンツは少なくとも１つの車載ディスプレイ上に提示されてもよい。例えば、複数の搭乗者がいる場合には、各搭乗者がメディアコンテンツを見ることができるように選択されたメディアコンテンツを異なる車載ディスプレイに同時に提示するよう出力できる。

【0061】

図６Ａ及び図６Ｂは、３Ｄ車両モデルに基づいて、遠隔ユーザ及び搭乗者のためのビューをレンダリングするために使用される仮想カメラのための位置の例を示す。図６Ａにおいて、仮想カメラ６０５は、同じ位置に座っている仮想乗員の視点から観察できるシーンをレンダリングするために車両の後部（例えば、空いている乗員席の背後）に配置される。レンダリングされたシーンは、車両の３Ｄモデル、１つ以上の外部環境の画像／ビデオストリーム、及び、１つ以上の搭乗者のアバターを含んでもよい。１つの例において、レンダリングされたシーンは、手などの仮想乗員のアバターの一部を含んでもよい。仮想カメラ６０５は、遠隔ユーザの表示ウィンドウにしたがって、遠隔ユーザに対して表示される拡張ビデオストリームを生成するための仮想環境の関連部を抽出するために使用され得る。抽出は、ＶＲシステム２３０によって局所的に又はサーバ２２０で実行され得る（サーバがＶＲシステムとは物理的に別個であると仮定する）。例えば、前述したように、サーバ２２０は、表示ウィンドウに関する情報を受信して、遠隔ユーザが見るよう拡張ビデオをＶＲシステム２３０に送信してもよい。

【0062】

図６Ｂにおいて、仮想カメラ６１０は、バックミラーを通して観察できるシーンをレンダリングするために車両の前部に（例えば、バックミラーとほぼ同じ位置に）配置される。レンダリングされたシーンは、車両の３Ｄモデル、１つ以上の外部環境の画像／ビデオストリーム、搭乗者及び／又は１つ以上の仮想乗員のアバターを含んでもよい。仮想カメラ６１０は、デジタルバックミラーに表示される拡張ビデオストリームを生成するための仮想環境の関連部を抽出するために使用され得る。抽出は、車両システム２１０によって局所的に又はサーバ２２０で実行され得る（サーバが車両システムとは物理的に別個であると仮定する）。搭乗者のビューをレンダリングするために使用される仮想カメラは、ビデオストリームが表示されるべき場所に応じて調整され得る。例えば、シートバックディスプレイを対象としたビデオストリームは、バックミラーディスプレイよりも短い距離から見ることができ、それにより、焦点距離がより短い及び／又は視野がより狭いことが望ましい場合がある。また、例えば、シートバックディスプレイが少なくとも２つの乗員席（例えば、仮想乗員に割り当てられる座席及び実際の乗員により占められる隣接する座席）の幅を描写することが望ましい場合もある。

【0063】

図７は、一実施形態に係るＶＲ環境を構築するための方法７００のフローチャートである。方法７００は、前述のように、車両システム２１０又はＶＲシステム２３０のいずれかに配置され得る、両方の位置で重複され得る、或いは、車両システム２１０及びＶＲシステムの両方から物理的に離れて配置され得るサーバ２２０で実行され得る。

【0064】

ステップ７１０では、ＶＲ環境の構築を開始するべく、車両の３Ｄモデルが例えば仮想現実モジュール２２２によってロードされる。３Ｄモデルはベースとしての機能を果たしてもよく、該ベースに基づき、ＶＲ環境を形成するべく画像コンテンツが加えられ、また、画像コンテンツは、車両の内部を含むことができ、並びに、幾つかの実施形態では、車両の外部を含むことができる。３Ｄモデルは、例えば、サーバ２２０のデータストア２２４又は車両システム２１０のデータストア２１９からロードされ得る。

【0065】

ステップ７１２では、車両の周囲で捕捉される１つ以上のビデオストリームからの外部風景がＶＲ環境に加えられる。ビデオストリームは、３Ｄモデルの車両ウィンドウにマッピングされてつなぎ合わされることで、車両周辺の３６０度ビューを提供する。例えば、フロントガラスを通して見られる外部環境のビューをシミュレートするべく前方に面するカメラが捉えるビデオストリームをフロントガラスにマッピングすることができ、左ミラーカメラ及び右ミラーカメラから捕捉される更なるビデオストリームがサイドウィンドウにマッピングされる。３６０度ビデオを生成するべく外部ビデオストリームを車両システム又はサーバのいずれかでつなぎ合わせることもでき、３６０度ビデオは、その後、単一のビデオストリームを形成するべく車両の３Ｄモデルの周囲にマッピングされ得る。このように、ＶＲ環境を更新して、実際の車両と同じ風景により囲まれている錯覚を作り出すことができる。

【0066】

ステップ７１４では、車載ディスプレイがＶＲ環境内の対応する位置にストリーミングされる。例えば、計器クラスタに示されるメディアコンテンツは、仮想計器クラスタに対してミラーリングされ得る。同様に、センターコンソールに示されるメディアコンテンツは、仮想センターコンソールに対してミラーリングされ得る。車載ディスプレイで出力されるテキスト又は他の情報などの非メディアコンテンツもストリーミングされ得る。

【0067】

ステップ７１６では、車両内の各搭乗者及び各遠隔ユーザのアバターがＶＲ環境に加えられる。搭乗者のアバターは、受信した各搭乗者の位置に関する情報に基づき、各搭乗者の実際の位置に対応する位置でＶＲ環境内に配置されてもよい。例えば、ドライバーのアバターがＶＲ環境のドライバーの座席に配置されてもよい。同様に、遠隔ユーザのアバターが仮想乗員の座席に配置されてもよい。例えば、第１の遠隔ユーザのアバターが空いている後部座席に配置され、第２の遠隔ユーザのアバターが空いている前部座席に配置されてもよい。

【0068】

ステップ７１２～７１６は任意の順序で行なうことができる。

【0069】

ステップ７１８において、仮想カメラの位置は、遠隔ユーザの観点からビューをレンダリングするとともに、搭乗者の観点から、例えば、あたかも自分がバックミラーを見ているかのようにドライバーの観点から、ビューをレンダリングするために設定される。例えば、図６Ａ及び図６Ｂに戻って参照すると、特定の遠隔ユーザ着座位置からシーンをレンダリングするために仮想カメラを図６Ａに示されるように位置させることができ、バックミラーを見ている仮想ビューをレンダリングするべく別個の仮想カメラが図６Ｂに示されるように配置される。

【0070】

図８は、車両内部の３Ｄモデル８１０に基づいて生成される典型的な仮想車両シーン８００を示す。仮想車両シーン８００は、前述したように、車両周辺の外部環境のビデオを捕捉し、ビデオをつないで車両周囲の３６０度ビューを形成するとともに、車両モデルにおける対応する位置にビデオをマッピングして仮想乗員の観点からシーンをレンダリングすることによって生成され得る。

【0071】

図９は、ＶＲヘッドセット９０５を装着している遠隔ユーザ９００に対して表示するために様々な車載ディスプレイデバイスから仮想現実環境へとメディアコンテンツをレンダリングすることを示す。車載ディスプレイデバイスは、デジタルバックミラー９１０、左デジタルミラー９２０、右デジタルミラー９３０、ヘッドアップディスプレイ（ＨＵＤ）９４０、計器クラスタ９５０、インフォテインメントシステム９６０、及び、スマートデバイス９７０を含むことができる。これらの各ディスプレイデバイスで提示されるメディアは、ＶＲヘッドセット９０５又は遠隔ユーザ９００の他のディスプレイデバイスにミラーリングするためにサーバ２２０に送信され得る。図９に示されるように、各ディスプレイデバイスは、仮想空間内の対応物、すなわち、デジタルバックミラー９１０’、左デジタルミラー９２０’、右デジタルミラー９３０’、ＨＵＤ９４０’、計器クラスタ９５０’、インフォテインメントシステム９６０’、及び、スマートデバイス９７０’を有してもよい。仮想対応物デバイスは、車両内部の３Ｄモデルで規定され得る。

【0072】

メディアミラーリングは、搭乗者と遠隔ユーザとの間でメディアの高品質共有を可能にする。画像センサを使用してディスプレイデバイスに示される視覚メディアの画像を捕捉する或いは音声センサを使用して音声デバイスで再生する音声メディアを捕捉するのとは対照的に、メディアミラーリングは、ネイティブフォーマットでの遠隔ユーザ９００への又は遠隔ユーザ９００からのメディアコンテンツのストリーミングを可能にする。例えば、図２のデータストア２１９に記憶される画像ファイルは、画質を損なうことなく遠隔ユーザ９００に表示するためにサーバ２２０に送信され得る。このようにして、１つ以上の車載ディスプレイに表示される情報のコピーを遠隔ユーザに送信できる。データ転送帯域幅を低減するために、車載ディスプレイモジュールのコピーをサーバ２２０で又はＶＲシステム２３０上で実行することができ、それにより、車載ディスプレイの状態のみを転送すれば済み、また、サーバ２２０又はＶＲシステム２３０は、状態情報に基づいて仮想環境内の車載ディスプレイを再生することができる。例えば、ライトインジケータのオン／オフ状態、現在の速度、走行距離、及び、燃料の割合のみを送信するだけで計器クラスタを十分に再生できる。

【0073】

図１０は、搭乗者と遠隔ユーザとの間でメディアを共有するための方法１０００のフローチャートである。方法１０００は、車両側で実行されるステップと、遠隔ユーザ側で実行されるステップとを含む。点線の左側のブロックは、搭乗者により選択されるメディアコンテンツを共有するためのステップを含む。点線の右側のブロックは、遠隔ユーザにより選択されるメディアコンテンツを共有するためのステップを含む。

【0074】

ステップ１０１０，１０１２は、１つ以上の車載ディスプレイでの変更をもたらす事象に対応する。ステップ１０１０では、搭乗者が車載ディスプレイと相互作用する。相互作用の例としては、ラジオ局の変更、温度設定の調整、再生する曲の選択、ナビゲーションシステムの起動、メディアコンテンツ（例えば、乗員のディスプレイに写る映画）の再生の選択が挙げられる。ステップ１０１０が搭乗者からの明示的な命令又はコマンドを含むのに対し、ステップ１０１２はそれらを含まない。ステップ１０１２では、車両のステータスが変更される。車両状態は、車両の現在の状態を表わす任意の数のパラメータを含むことができる。車両状態を決定するパラメータの例としては、速度、残りの燃料容量、走行距離計又はタコメータの出力、及び、自動警告（例えば、タイヤ空気圧の低下又はエンジンライトのチェック）が挙げられる。

【0075】

ステップ１０１４では、ステップ１０１０及び／又はステップ１０１２に応じて１つ以上の車載ディスプレイが更新される。例えば、搭乗者がラジオ局を変更した場合には、選択されたラジオ局の名前を表示するためにセンターコンソールが更新されてもよい。同様に、現在の速度、エンジン回転数、又は、現在の走行での移動距離を反映するべく計器クラスタが更新されてもよい。

【0076】

ステップ１０１６において、１つ以上の車載ディスプレイで提示されるコンテンツは、例えば、車両システム２１０によって捕捉される。捕捉されるコンテンツは、データストア２１９に記憶される音声コンテンツ、ビデオコンテンツ、又は、マルチメディアコンテンツを含んでもよい。また、捕捉されるコンテンツは、メディアコンテンツ以外の他の情報、例えば、車両の状態を示す情報を含んでもよい。

【0077】

ステップ１０１８において、捕捉されるコンテンツは、例えば、ＶＲシステム２３０又はサーバ２２０などの外部コンピュータにストリーミングされる。

【0078】

ステップ１０２０において、捕捉されるコンテンツは、車両内部の３Ｄモデルにおける車載ディスプレイの対応物である１つ以上の仮想ディスプレイにレンダリングされる。仮想ディスプレイは、ＶＲヘッドセット、スマートフォン、又は、外部モニタなどの遠隔ユーザのディスプレイデバイスを介して見られてもよい。

【0079】

ステップ１０２２において、遠隔ユーザは、例えば、コントローラ、タッチスクリーン、ジェスチャ認識システム、又は、何らかの他のユーザ入力デバイスを使用して、仮想ディスプレイと相互作用する。幾つかの実施形態において、遠隔ユーザは、車両内部の３Ｄモデルで規定される車載制御器の仮想表示（例えば、インフォテインメントシステム上のタッチスクリーン）を介して、或いはＶＲシステム２３０のために特別に開発されたカスタムインタラクションを介して相互作用してもよい。

【0080】

ステップ１０２４では、タッチスワイプ、長押しなどのコマンドを生成するために遠隔ユーザの相互作用が（例えば、ＶＲシステム２３０によって）捕捉される。コマンドは、現在選択されているメディアコンテンツの再生に影響を及ぼし得る（例えば、再生リスト内の次の曲にスキップする、ラジオチャンネルを変更する、又は、スライドショーの再生を一時停止する）。

【0081】

ステップ１０２６において、メディアコンテンツは、遠隔ユーザによって見えるが搭乗者には見えないユーザインタフェースでレンダリングされる。例えば、車載ディスプレイの仮想対応物に加えて、ＶＲシステム２３０が仮想デスクトップを与えてもよく、該仮想デスクトップによって、音楽、写真、ウェブサイトなどのメディアコンテンツを閲覧及び選択して搭乗者と共有することができる。

【0082】

ステップ１０２８において、遠隔ユーザは、ユーザインタフェースをナビゲートして、搭乗者と共有するメディアコンテンツを選択する。ユーザインタフェースは、選択されたメディア項目が共有されるべきであることを確認する前に、遠隔ユーザが選択されたメディア項目をプレビューできるようにする。

【0083】

ステップ１０３０において、ステップ１０２４で生成されたコマンド及び／又はステップ１０２８で選択されたメディアコンテンツは、１つ以上の車載ディスプレイを管理する制御ユニットに転送される。例えば、コマンド／選択されたコンテンツは、サーバ２２０を介して、車両内のインフォテインメントシステムを制御するプロセッサに送信され得る。

【0084】

ステップ１０３２において、制御ユニットは、コマンドを実行する及び／又は選択されたメディアコンテンツを処理する。安全を確保するために、運転に不可欠な車両操作に影響するコマンドの実行を防止することが望ましい場合がある。処理により、選択されたメディアコンテンツが、コンテンツのタイプに応じて異なる車載ディスプレイに提示されてもよい。例えば、コンテンツがナビゲーション方向又は地図に対応する場合には、車両のナビゲーションシステムを更新することによってコンテンツを提示できる。コンテンツがビデオであれば、ビデオが乗員ディスプレイ又は何らかの他の選択されたディスプレイに示されてもよい。したがって、ステップ１０３２は、ステップ１０１４にフィードバックし、そこで、車載ディスプレイがコマンド及び／又は選択されたメディアコンテンツに基づいて更新されてもよい。次に、ステップ１０１４は、ステップ１０２０で仮想対応物における車載ディスプレイで捕捉されたコンテンツのレンダリングをもたらしてもよい。

【0085】

本開示の一実施形態に係るシステムは、身体の動き、発話、及び、メディア共有に関する情報を通信することに加えて、車両の外部環境内に置かれる物体の注釈を提供してもよい。注釈は、図１１に示されるように、搭乗者及び／又は遠隔ユーザのディスプレイに適用され得る。

【0086】

図１１は、車両の外部環境内に置かれる物体に注釈を付けるための方法１１００のフローチャートである。ステップ１１１０では、車両センサが外部環境を捕捉するために周辺を走査する。走査は、ビデオカメラ、レーダー、ＬＩＤＡＲなどの撮像及び／又は非撮像センサによって実行され得る。

【0087】

ステップ１１１２では、外部環境内の物体を検出して認識するために車両センサにより捕捉されたデータが処理される。物体認識は、車両内で（例えば、車両センサ又は中央プロセッサにより）又は外部コンピュータで（例えば、サーバ２２０）実行され得る。物体認識は、車両に対する物体の位置などの物体に関する様々な情報項目、並びに、大きさ、速度、又は、物体クラス（例えば、乗用車、歩行者、建物、自転車等）などの他の属性を決定することを伴ってもよい。

【0088】

ステップ１１１４では、物体の位置が仮想環境にマッピングされる。マッピングは、位置を車両空間内の座標から３Ｄ仮想空間内の対応する座標へ変換することを伴ってもよく、例えば、センサデータの受信に応じてサーバ２２０により実行され得る。

【0089】

ステップ１１１６では、物体に注意を引くように注釈が拡張ビデオでレンダリングされる。注釈は、遠隔ユーザ又は搭乗者からの入力に応じてレンダリングされ得る。例えば、遠隔ユーザは、（遠隔ユーザが見る拡張ビデオストリームで描かれるように）手又は指で物体に向かってジェスチャすることにより、或いはマウス又はキーボードなどの入力デバイスを使用して注釈を付ける物体を選択してもよい。また、物体は、例えば、特定の期間にわたって、物体の方向を注視することによって選択されてもよい。同様に、搭乗者は、例えば、タッチスクリーンを使用して又はＡＲメガネを通して注視して、車載ディスプレイから物体を選択してもよい。搭乗者又は遠隔ユーザは、適用されるべき注釈のタイプを選択してもよい。前述のように、注釈は、物体又は物体の周囲の領域を強調表示することを含むことができる。テキストラベルを追加すること、物体に隣接してグラフィカルアイコンを表示すること、物体の色又は明るさを変更すること、物体の周囲に輪郭をレンダリングすることなどを含む、他のタイプの注釈も想定し得る。場合によっては、手動入力を伴わずに、物体認識に応じて注釈が自動的に適用されてもよい。注釈は、例えば関心のあるポイントにマーカーを追加するべくクラウドサービスなどの外部ソースからの情報を使用して生成することもできる。

【0090】

注釈は車載ディスプレイで実行できるが、遠隔ユーザが物体を見るために拡張ビデオに依存するのに対し、搭乗者は窓越しに見ることにより実際に物体を見ることができるため、注釈は遠隔ユーザにとって特に有益である。したがって、遠隔ユーザ側で表示される注釈（つまり、仮想環境に対応する拡張ビデオに適用される注釈）は、遠隔ユーザが共通の基準ポイントを簡単に特定できるようにすることで共有体験を向上させることができる。

【0091】

図１２は、物体の周りにボックスを描くことによって様々な物体に注釈が付けられた注釈付きシーンの一例を示す。ボックスは、例えば強調効果を生み出すべく半透明の色を使用して陰影付けされ得る。また、図１２は、時速数マイル（ｍｐｈ）で移動する／移動可能な各物体の推定速度及び物体のクラスを表わすアイコン（例えば、トラックアイコン１２１０及び車アイコン１２２０）を含む、センサデータから導き出される更なる注釈も示す。図示のように、アイコンの大きさは、車両からの物体までの距離に応じて変化してもよく、例えば、より近い物体は大きいアイコンとなっている。注釈を使用して、歩行者、自転車、又は、他の密閉されない車両、或いは、車両のドライバーが懸念し得る他の物体に特別な注意を引き付けることができる。例えば、アイコン１２３０は、自転車走行車に近づくときに注意を払うための警告として、自転車走行車の近くに適用されてもよい。道路標識１２４０などの固定物体にも注釈を付けることができる。

【0092】

注釈は、前述の共有機能と組み合わされる場合、搭乗者及び遠隔ユーザが共有体験について通信するための優れた方法を提供する。例えば、搭乗者は外部物体について話すことができ、また、遠隔ユーザは、搭乗者が何の物体について話しているかが分かる。同様に、遠隔ユーザは外部物体について話すことができ、また、搭乗者は、遠隔ユーザが何の物体について話しているかが分かる。他の例として、搭乗者は、外部物体を指差して、遠隔ユーザ側に描かれているように物体に関連して注釈を表示させることができる。同様に、遠隔ユーザは、外部物体を指差して或いは選択して、車載ディスプレイに注釈を表示させることができる。

【0093】

この説明の幾つかの部分は、アルゴリズム及び操作に関して本開示の実施形態を記載する。これらの操作は、コンピュータプログラム又は同等の電気回路、機械コードなどによって実施されると理解される。更に、一般性を失うことなく、操作のこれらの構成をモジュールと称することも便利であることが分かる。記載された操作及びそれらの関連するモジュールは、ソフトウェア、ファームウェア、及び／又は、ハードウェアで具現化されてもよい。

【0094】

記載されるステップ、操作、又は、プロセスは、単独で或いは他のデバイスと組み合わせて、１つ以上のハードウェア又はソフトウェアモジュールを使用して実行又は実施されてもよい。ステップ、操作、又は、プロセスは順番に記載されるが、幾つかの実施形態ではシーケンスの順序が記載された順序と異なってもよいことが理解され、例えば、この場合、特定のステップ、操作、又は、プロセスが省かれる或いは並列に又は同時に実行される。

【0095】

幾つかの実施形態において、ソフトウェアモジュールは、コンピュータプログラムコードを含む非一時的なコンピュータ可読記憶媒体を備えるコンピュータプログラムプロダクトにより実装され、コンピュータプログラムコードは、記載されるステップ、操作、又は、プロセスのいずれか又は全てを行なうために１つ以上のコンピュータプロセッサによって実行され得る。非一時的な記憶媒体の例としては、磁気ディスク又はテープ、コンパクトディスク（ＣＤ）又はデジタル多用途ディスク（ＤＶＤ）などの光記憶媒体、フラッシュメモリ、又は、他のメモリデバイスが挙げられるが、これらに限定されない。

【0096】

したがって、仕様及び図面は、限定的な意味ではなく例示的な意味で見なされるべきである。しかしながら、特許請求の範囲に記載されるより広い思想及び範囲から逸脱することなく、付加、差し引き、削除、及び、他の修正及び変更がこれらに対して行なわれ得ることは明らかである。したがって、特定の実施形態を説明してきたが、これらは限定することを意図するものではない。様々な修正及び同等物が以下の特許請求の範囲内にある。

【図1】

【図2】

【図3】

【図4】

【図5】

【図6A】

【図6B】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】