特表 2024-537978 車両乗員支援のための車両およびモバイルデバイスインターフェース

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公表特許公報(A)

(11)【公表番号】

(43)【公表日】2024-10-18

(54)【発明の名称】車両乗員支援のための車両およびモバイルデバイスインターフェース

(51)【国際特許分類】

   A61B 5/18 20060101AFI20241010BHJP

   G08G 1/16 20060101ALI20241010BHJP

   B60W 40/08 20120101ALI20241010BHJP

【ＦＩ】

A61B5/18

G08G1/16 F

B60W40/08

【審査請求】未請求

【予備審査請求】未請求

(21)【出願番号】P 2024518703

(86)(22)【出願日】2022-10-03

(85)【翻訳文提出日】2024-03-25

(86)【国際出願番号】 US2022077486

(87)【国際公開番号】W WO2023060049

(87)【国際公開日】2023-04-13

(31)【優先権主張番号】17/495,748

(32)【優先日】2021-10-06

(33)【優先権主張国・地域又は機関】US

(81)【指定国・地域】

(71)【出願人】

【識別番号】507364838

【氏名又は名称】クアルコム，インコーポレイテッド

(74)【代理人】

【識別番号】100108453

【弁理士】

【氏名又は名称】村山 靖彦

(74)【代理人】

【識別番号】100163522

【弁理士】

【氏名又は名称】黒田 晋平

(72)【発明者】

【氏名】ジアド・アスガル

(72)【発明者】

【氏名】ウェスリー・ジェームズ・ホランド

(72)【発明者】

【氏名】セイフラー・ハリト・オグズ

(72)【発明者】

【氏名】バラ・ラマサミー

(72)【発明者】

【氏名】レオニード・シェインブラット

【テーマコード（参考）】

3D241

4C038

5H181

【Ｆターム（参考）】

3D241DD01Z

4C038PP03

4C038PP05

4C038PQ03

5H181AA01

5H181BB04

5H181BB05

5H181BB20

5H181CC03

5H181CC04

5H181CC11

5H181CC12

5H181CC14

5H181FF05

5H181LL01

5H181LL09

5H181LL20

(57)【要約】

システム、方法、および非一時的媒体が、車両乗員支援のための車両およびモバイルデバイスインターフェースのために提供される。例示的な方法は、車両の内部の１つまたは複数の画像に基づいて、車両の座標系に対するモバイルデバイスの姿勢を判定することと、車両の乗員の状態を判定することと、乗員の状態および車両の座標系に対するモバイルデバイスの姿勢を示すデータを車両に送信することと、を含むことができる。

【特許請求の範囲】

【請求項1】

装置であって、
メモリと、
前記メモリに結合された１つまたは複数のプロセッサであって、
車両の内部の１つまたは複数の画像に基づいて、前記車両の座標系に対する前記装置の姿勢を判定し、
前記車両の乗員の状態を判定し、
前記乗員の前記状態および前記車両の前記座標系に対する前記装置の前記姿勢を示すデータを前記車両に送信する
ように構成される、装置。

【請求項2】

前記乗員の前記状態が、前記車両を操作することに関する前記乗員の障害を含む、請求項１に記載の装置。

【請求項3】

前記障害が、前記車両の動作および前記車両に関連付けられたイベントのうちの少なくとも１つに関する注意散漫状態、中毒状態、健康状態、覚醒状態、検出された感情状態、前記車両を制御するための障害位置、および障害視界のうちの少なくとも１つを含む、請求項２に記載の装置。

【請求項4】

前記乗員の前記状態を判定するために、前記１つまたは複数のプロセッサが、
前記車両から、前記車両の１つまたは複数のセンサに関連付けられたデータを受信し、
前記車両の前記１つまたは複数のセンサに関連付けられた前記データおよび前記装置の前記姿勢に基づいて、前記乗員の前記状態を判定する
ように構成される、請求項２に記載の装置。

【請求項5】

前記車両の前記１つまたは複数のセンサに関連付けられた前記データが、前記車両の状態および前記車両に関連付けられたイベントのうちの少なくとも１つを示す、請求項４に記載の装置。

【請求項6】

前記車両に関連付けられた前記イベントが、前記車両の経路内のオブジェクトの存在または前記車両の前記経路への閾値近接度、前記車両の前記経路に関連付けられた交通規制、ならびに前記車両が速度制限および車線区分線のうちの少なくとも１つ内に留まらなかったことのうちの少なくとも１つを含む、請求項５に記載の装置。

【請求項7】

前記車両の前記経路内の前記オブジェクトまたは前記車両の前記経路に対する前記閾値近接度が、歩行者、動物、および別の車両のうちの少なくとも１つを含む、請求項６に記載の装置。

【請求項8】

前記１つまたは複数のプロセッサが、
前記車両の前記乗員の視線を判定するように構成され、前記乗員の前記状態が前記乗員の前記視線を含み、前記乗員が前記装置に関連付けられる、請求項１に記載の装置。

【請求項9】

前記乗員の前記状態を判定するために、前記１つまたは複数のプロセッサが、
前記装置および前記乗員によって装着されるウェアラブルデバイスのうちの少なくとも１つに関連付けられた１つまたは複数のセンサから前記乗員に関連付けられた１つまたは複数の健康測定値を受信し、
前記１つまたは複数の健康測定値に基づいて前記乗員の前記状態を判定する
ように構成される、請求項１に記載の装置。

【請求項10】

前記１つまたは複数の健康測定値が、心拍数、血圧、体温、ガルバニック皮膚反応、前記乗員の心臓からの電気信号の測定値、前記乗員の脳の電気活動の測定値、目の赤みの量、および瞳孔サイズのうちの少なくとも１つを含む、請求項９に記載の装置。

【請求項11】

前記乗員の前記状態を判定するために、前記１つまたは複数のプロセッサが、
前記乗員の視線が、一定期間にわたって前記車両の前方の道路から離れて集中していることを判定し、
前記乗員の前記視線が、前記一定期間にわたって前記車両の前方の前記道路から離れて集中していることと、前記一定期間が閾値期間を超えるという判定とに基づいて、前記乗員の障害状態を判定する
ように構成される、請求項１に記載の装置。

【請求項12】

前記乗員の前記視線が前記一定期間にわたって前記車両の前方の前記道路から離れて集中していると判定するために、前記１つまたは複数のプロセッサが、
前記乗員の前記視線が前記一定期間の少なくとも一部にわたって、前記装置によってレンダリングされた仮想コンテンツに集中していると判定するように構成される、請求項１１に記載の装置。

【請求項13】

前記乗員の前記視線が前記一定期間にわたって前記車両の前方の前記道路から離れて集中していると判定するために、前記１つまたは複数のプロセッサが、
前記乗員の前記視線が前記車両の経路内の障害物の方向または前記車両の前記経路に対する閾値近接度とは異なる方向に集中していると判定するように構成される、請求項１１に記載の装置。

【請求項14】

前記１つまたは複数のプロセッサが、
前記乗員の前記状態の指標を、第２の車両、車両インフラストラクチャシステム、前記第２の車両の第２の乗員に関連付けられた第１のリモートデバイス、および歩行者に関連付けられた第２のリモートデバイスのうちの少なくとも１つに送信するように構成される、請求項１に記載の装置。

【請求項15】

前記乗員の前記状態を判定するために、前記１つまたは複数のプロセッサが、
前記装置を装着している前記乗員の視線を判定し、
前記装置の前記姿勢および前記乗員の前記視線に基づいて、前記乗員の前記状態を判定する
ように構成される、請求項１に記載の装置。

【請求項16】

前記装置の前記姿勢を判定するために、前記１つまたは複数のプロセッサが、
前記車両から、前記車両に関連付けられた１つまたは複数のマーカを含む車両テンプレートを受信し、
前記１つまたは複数の画像および前記車両テンプレートに基づいて、前記車両の前記座標系に対する前記装置の前記姿勢を判定する
ように構成される、請求項１に記載の装置。

【請求項17】

前記１つまたは複数のマーカが、前記車両の前記内部内のエリアおよび前記車両の前記内部に取り付けられたオブジェクトのうちの少なくとも一方の視覚パターン、前記車両の前記内部の要素、前記車両の前記内部内の表面、ならびに前記車両の内側の照明されたオブジェクトのうちの少なくとも１つを含む、請求項１６に記載の装置。

【請求項18】

前記１つまたは複数の画像が前記１つまたは複数のマーカを描写し、前記装置の前記姿勢を判定するために、前記１つまたは複数のプロセッサが、
前記１つまたは複数の画像内の前記１つまたは複数のマーカを検出し、
前記検出された１つまたは複数のマーカおよび前記車両テンプレートに基づいて、前記車両の前記座標系に対する前記装置の前記姿勢を判定する
ように構成される、請求項１６に記載の装置。

【請求項19】

前記１つまたは複数のプロセッサが、
前記装置の１つまたは複数の画像センサを使用して、前記車両の前記内部の画像のセットを取得することであって、前記画像のセットが、前記車両に関連付けられた１つまたは複数の視覚ランドマークを描写する、ことと、
前記画像のセットに基づいて、車両テンプレートを生成することであって、前記車両テンプレートが、前記１つまたは複数の視覚ランドマークを含む、ことと
を行うように構成される、請求項１に記載の装置。

【請求項20】

前記装置の前記姿勢を判定するために、前記１つまたは複数のプロセッサが、
前記装置に関連付けられた慣性センサデータを取得し、
前記１つまたは複数の画像および前記慣性センサデータに基づいて、前記装置の前記姿勢を判定する
ように構成される、請求項１に記載の装置。

【請求項21】

前記装置が、ヘッドマウントディスプレイを備える、請求項１に記載の装置。

【請求項22】

方法であって、
車両の内部の１つまたは複数の画像に基づいて、前記車両の座標系に対するモバイルデバイスの姿勢を判定するステップと、
前記車両の乗員の状態を判定するステップと、
前記乗員の前記状態および前記車両の前記座標系に対する前記モバイルモバイルデバイスの前記姿勢を示すデータを前記車両に送信するステップと
を含む、方法。

【請求項23】

前記乗員の前記状態が、前記車両を操作することに関する前記乗員の障害を含む、請求項２２に記載の方法。

【請求項24】

前記障害が、前記車両の動作および前記車両に関連付けられたイベントのうちの少なくとも１つに関する注意散漫状態、中毒状態、健康状態、覚醒状態、検出された感情状態、前記車両を制御するための障害位置、および障害視界のうちの少なくとも１つを含む、請求項２３に記載の方法。

【請求項25】

前記乗員の前記状態を判定するステップが、
前記車両から、前記車両の１つまたは複数のセンサに関連付けられたデータを受信するステップと、
前記車両の前記１つまたは複数のセンサに関連付けられた前記データおよび前記モバイルデバイスの前記姿勢に基づいて、前記乗員の前記状態を判定するステップと
を含む、請求項２３に記載の方法。

【請求項26】

前記車両の前記１つまたは複数のセンサに関連付けられた前記データが、前記車両の状態および前記車両に関連付けられたイベントのうちの少なくとも１つを示す、請求項２５に記載の方法。

【請求項27】

前記車両に関連付けられた前記イベントが、前記車両の経路内のオブジェクトの存在または前記車両の前記経路への閾値近接度、前記車両の前記経路に関連付けられた交通規制、ならびに前記車両が速度制限および車線区分線のうちの少なくとも１つ内に留まらなかったステップのうちの少なくとも１つを含む、請求項２６に記載の方法。

【請求項28】

前記車両の前記経路内の前記オブジェクトまたは前記車両の前記経路に対する前記閾値近接度が、歩行者、動物、および別の車両のうちの少なくとも１つを含む、請求項２７に記載の方法。

【請求項29】

前記車両の前記乗員の視線を判定するステップをさらに含み、前記乗員の前記状態が前記乗員の前記視線を含み、前記乗員が前記モバイルデバイスに関連付けられる、請求項２２に記載の方法。

【請求項30】

前記乗員の前記状態を判定するステップが、
前記モバイルデバイスおよび前記乗員によって装着されるウェアラブルデバイスのうちの少なくとも１つに関連付けられた１つまたは複数のセンサから、前記乗員に関連付けられた１つまたは複数の健康測定値を受信するステップと、
前記１つまたは複数の健康測定値に基づいて前記乗員の前記状態を判定するステップと
を含む、請求項２２に記載の方法。

【請求項31】

前記１つまたは複数の健康測定値が、心拍数、血圧、体温、ガルバニック皮膚反応、前記乗員の心臓からの電気信号の測定値、前記乗員の脳の電気活動の測定値、目の赤みの量、および瞳孔サイズのうちの少なくとも１つを含む、請求項３０に記載の方法。

【請求項32】

前記乗員の前記状態を判定するステップが、
前記乗員の視線が、一定期間にわたって前記車両の前方の道路から離れて集中しているステップを判定するステップと、
前記乗員の前記視線が、前記一定期間にわたって前記車両の前方の前記道路から離れて集中しているステップと、前記一定期間が閾値期間を超えるという判定とに基づいて、前記乗員の障害状態を判定するステップと
を含む、請求項２２に記載の方法。

【請求項33】

前記乗員の前記視線が前記一定期間にわたって前記車両の前方の前記道路から離れて集中していると判定するステップが、
前記乗員の前記視線が前記一定期間の少なくとも一部にわたって、前記モバイルデバイスによってレンダリングされた仮想コンテンツに集中していると判定するステップと
を含む、請求項３２に記載の方法。

【請求項34】

前記乗員の前記視線が前記一定期間にわたって前記車両の前方の前記道路から離れて集中していると判定するステップが、
前記乗員の前記視線が前記車両の経路内の障害物の方向または前記車両の前記経路に対する閾値近接度とは異なる方向に集中していると判定するステップを含む、請求項３２に記載の方法。

【請求項35】

前記乗員の前記状態の指標を、第２の車両、車両インフラストラクチャシステム、前記第２の車両の第２の乗員に関連付けられた第１のリモートデバイス、および歩行者に関連付けられた第２のリモートデバイスのうちの少なくとも１つに送信するステップをさらに含む、請求項２２に記載の方法。

【請求項36】

前記乗員の前記状態を判定するステップが、
前記モバイルデバイスを装着している前記乗員の視線を判定するステップと、
前記モバイルデバイスの前記姿勢および前記乗員の前記視線に基づいて前記乗員の前記状態を判定するステップと、
を含む、請求項２２に記載の方法。

【請求項37】

前記モバイルデバイスの前記姿勢を判定するステップが、
前記車両から、前記車両に関連付けられた１つまたは複数のマーカを含む車両テンプレートを受信するステップと、
前記１つまたは複数の画像および前記車両テンプレートに基づいて、前記車両の前記座標系に対する前記モバイルデバイスの前記姿勢を判定するステップと、
を含む、請求項２２に記載の方法。

【請求項38】

前記１つまたは複数のマーカが、前記車両の前記内部内のエリアおよび前記車両の前記内部に取り付けられたオブジェクトのうちの少なくとも一方の視覚パターン、前記車両の前記内部の要素、前記車両の前記内部内の表面、ならびに前記車両の内側の照明されたオブジェクトのうちの少なくとも１つを含む、請求項３７に記載の方法。

【請求項39】

前記１つまたは複数の画像が前記１つまたは複数のマーカを描写し、前記モバイルデバイスの前記姿勢を判定するステップが、
前記１つまたは複数の画像内の前記１つまたは複数のマーカを検出するステップと、
前記検出された１つまたは複数のマーカおよび前記車両テンプレートに基づいて、前記車両の前記座標系に対する前記モバイルデバイスの前記姿勢を判定するステップと、
を含む、請求項３７に記載の方法。

【請求項40】

前記モバイルデバイスの１つまたは複数の画像センサを使用して、前記車両の前記内部の画像のセットを取得するステップであって、前記画像のセットが、前記車両に関連付けられた１つまたは複数の視覚ランドマークを描写する、ステップと、
前記画像のセットに基づいて、車両テンプレートを生成するステップであって、前記車両テンプレートが、前記１つまたは複数の視覚ランドマークを含む、ステップと
をさらに含む、請求項２２に記載の方法。

【請求項41】

前記モバイルデバイスの前記姿勢を判定するステップが、
前記モバイルデバイスに関連付けられた慣性センサデータを取得するステップと、
前記１つまたは複数の画像および前記慣性センサデータに基づいて前記モバイルデバイスの前記姿勢を判定するステップと
を含む、請求項２２に記載の方法。

【発明の詳細な説明】

【技術分野】

【0001】

本開示は、概して、車両乗員支援のためのエクステンデッドリアリティに関する。例えば、本開示の態様は、車両におけるエクステンデッドリアリティのためのビークルトゥデバイスインターフェースに関する。

【背景技術】

【0002】

多くのデバイスおよびシステムは、シーンの画像（またはフレーム）および／またはビデオデータ（複数のフレームを含む）を生成することによって、シーンの取り込みを可能にする。例えば、カメラを有するデバイスは、シーンのフレームのシーケンス（例えば、シーンのビデオ）をキャプチャすることができる。場合によっては、フレームのシーケンスは、他の用途の中でも特に、１つまたは複数の機能のために処理され、表示のために出力され、他のデバイスによる処理および／または消費のために出力され得る。車両は、１つまたは複数のカメラを含み得るデバイスの一例である。例えば、車両は、車両の内部および／または車両の外部のエリアのフレームをキャプチャすることができるカメラを含むことができる。フレームは、他の目的の中でも特に、道路条件を判定または認識すること、車両に近接する他の車両、オブジェクト、歩行者、および／または障害物を識別することなどの様々な目的のために処理することができる。

【0003】

エクステンデッドリアリティ（ＸＲ）デバイスは、１つまたは複数のカメラを含むことができるデバイスの別の例である。ＸＲデバイスは、拡張現実（ＡＲ）デバイス、仮想現実（ＶＲ）デバイス、複合現実（ＭＲ）デバイスなどを含むことができる。例えば、ＡＲデバイスの例は、スマートグラスおよびヘッドマウントディスプレイ（ＨＭＤ）を含む。一般に、ＡＲデバイスは、カメラおよび様々なセンサを実装して、物理環境内のＡＲデバイスおよび他のオブジェクトの位置を追跡することができる。ＡＲデバイスは、追跡情報を使用して、ＡＲデバイスのユーザに現実的なＡＲ体験を提供することができる。例えば、ＡＲデバイスは、ユーザが没入型仮想環境若しくはコンテンツを体験することまたはそれらと対話することを可能にすることができる。現実的なＡＲ体験を提供するために、ＡＲ技術は、概して、仮想コンテンツを物理世界と統合することを目的とする。いくつかの例では、ＡＲ技術は、オブジェクトおよびデバイスの相対的な姿勢および動きを一致させることができる。例えば、ＡＲデバイスは、追跡情報を使用して、デバイス、オブジェクト、および／または実世界環境のマップの相対姿勢を計算し、デバイス、オブジェクト、および／または実世界環境の相対位置と動きとを一致させることができる。１つまたは複数のデバイス、オブジェクト、および／または実世界環境の姿勢および動きを使用して、ＡＲデバイスは、コンテンツを実世界環境に納得のいく様式で固定することができる。相対姿勢情報は、仮想コンテンツを、ユーザの知覚された動作、ならびにデバイス、オブジェクト、および実世界環境の時空間状態と一致させるために使用され得る。

【発明の概要】

【0004】

拡張現実（ＡＲ）デバイスなどのモバイルデバイスを車両の動作と統合するためのシステムおよび技術が、本明細書で説明される。少なくとも１つの例によれば、車両乗員支援のための拡張現実のための方法が提供される。本方法は、車両の内部の１つまたは複数の画像に基づいて、車両の座標系に対するモバイルデバイスの姿勢を判定することと、車両の乗員の状態を判定することと、乗員の状態および車両の座標系に対するモバイルの姿勢を示すデータを車両に送信することと、を含むことができる。

【0005】

少なくとも１つの例によれば、車両乗員支援のための拡張現実のための非一時的コンピュータ可読媒体が提供される。非一時的コンピュータ可読媒体は、記憶された命令を含むことができ、命令は、１つまたは複数のプロセッサによって実行されたとき、１つまたは複数のプロセッサに、車両の内部の１つまたは複数の画像に基づいて、車両の座標系に対するモバイルデバイス（例えば、装置）の姿勢を判定させ、車両の乗員の状態を判定させ、乗員の状態および車両の座標系に対するモバイルデバイスの姿勢を示すデータを車両に送信させる。

【0006】

少なくとも１つの例によれば、車両乗員支援のための拡張現実のための装置が提供される。本装置は、メモリと、メモリに結合された１つまたは複数のプロセッサとを含むことができ、１つまたは複数のプロセッサは、車両の内部の１つまたは複数の画像に基づいて、車両の座標系に対するモバイルデバイス（例えば、装置）の姿勢を判定し、車両の乗員の状態を判定し、乗員の状態および車両の座標系に対するモバイルデバイスの姿勢を示すデータを車両に送信する、ように構成される。

【0007】

少なくとも１つの例によれば、車両乗員支援のための拡張現実のための別の装置が提供される。本装置は、車両の内部の１つまたは複数の画像に基づいて、車両の座標系に対するモバイルデバイスの姿勢を判定するための手段と、車両の乗員の状態を判定するための手段と、乗員の状態および車両の座標系に対するモバイルの姿勢を示すデータを車両に送信するための手段と、を含むことができる。

【0008】

いくつかの態様では、上記で説明した方法、非一時的コンピュータ可読媒体、および装置は、１つまたは複数のセンサに関連するデータに基づいて、車両のコンテキストを判定することができる。いくつかの例では、コンテキストは、車両に関連するイベントを含むことができる。

【0009】

いくつかの態様では、上記で説明した方法、非一時的コンピュータ可読媒体、および装置は、車両の乗員の視線を判定することができる。いくつかの例では、乗員の状態は、乗員の視線を含み、乗員は、モバイルデバイス（例えば、乗員はモバイルデバイスを装着している）に関連付けられる。

【0010】

いくつかの例では、乗員の状態は、車両を操作することに関する乗員の障害を含むことができる。場合によっては、障害は、車両の動作および車両に関連付けられたイベントのうちの少なくとも１つに関する注意散漫状態、中毒状態、健康状態、覚醒状態、検出された感情状態、車両を制御するための障害位置、および障害視界のうちの少なくとも１つを含むことができる。

【0011】

場合によっては、乗員の状態を判定することは、車両から、車両の１つまたは複数のセンサに関連付けられたデータを受信することと、車両の１つまたは複数のセンサに関連付けられたデータおよびモバイルデバイスの姿勢に基づいて、乗員の状態を判定することとを含むことができる。いくつかの例では、車両の１つまたは複数のセンサに関連付けられたデータは、車両の状態および車両に関連付けられたイベントのうちの少なくとも１つを示す。

【0012】

いくつかの例では、車両に関連付けられたイベントが、車両の経路内のオブジェクトの存在または車両の経路への閾値近接度、車両の経路に関連付けられた交通規制、ならびに車両が速度制限および車線区分線のうちの少なくとも１つ内に留まらなかったこと、のうちの少なくとも１つを含むことができる。場合によっては、車両の経路内のオブジェクトまたは車両の経路に対する閾値近接度が、歩行者、動物、および別の車両のうちの少なくとも１つを含み得る。

【0013】

場合によっては、乗員の状態を判定することは、モバイルデバイスおよび乗員によって装着されるウェアラブルデバイスのうちの少なくとも１つに関連付けられた１つまたは複数のセンサから、乗員に関連付けられた１つまたは複数の健康測定値を受信することと、１つまたは複数の健康測定値に基づいて乗員の状態を判定することとを含むことができる。いくつかの例では、１つまたは複数の健康測定値は、心拍数、血圧、体温、ガルバニック皮膚反応、乗員の心臓からの電気信号の測定値、乗員の脳の電気活動の測定値、目の赤みの量、および瞳孔サイズのうちの少なくとも１つを含むことができる。

【0014】

いくつかの態様では、乗員の状態を判定することは、乗員の視線が、一定期間にわたって車両の前方の道路から離れて集中していることを判定することと、乗員の視線が、一定期間にわたって車両の前方の道路から離れて集中していることと、期間が閾値期間を超えるという判定とに基づいて、乗員の障害状態を判定することとを含むことができる。

【0015】

場合によっては、乗員の視線が一定期間にわたって車両の前方の道路から離れて集中していると判定することは、乗員の視線が一定期間の少なくとも一部にわたってモバイルデバイスによってレンダリングされた仮想コンテンツに集中していると判定することを含むことができる。

【0016】

いくつかの例では、乗員の視線が一定期間車両の前方の道路から離れて集中していると判定することは、乗員の視線が車両の経路内の障害物の方向または車両の経路に対する閾値近接度とは異なる方向に集中していると判定することを含むことができる。

【0017】

いくつかの態様では、上記で説明した方法、非一時的コンピュータ可読媒体、および装置は、乗員の状態の指標を、第２の車両、車両インフラストラクチャシステム、第２の車両の第２の乗員に関連付けられた第１のリモートデバイス、および歩行者に関連付けられた第２のリモートデバイスのうちの少なくとも１つに送信することができる。

【0018】

場合によっては、乗員の状態を判定することは、モバイルデバイスを装着している乗員の視線を判定することと、モバイルデバイスの姿勢および乗員の視線に基づいて乗員の状態を判定することと、を含むことができる。

【0019】

いくつかの例では、モバイルデバイスの姿勢を判定することは、車両から、車両に関連付けられた１つまたは複数のマーカを含む車両テンプレートを受信することと、１つまたは複数の画像および車両テンプレートに基づいて、車両の座標系に対するモバイルデバイスの姿勢を判定することとを含むことができる。

【0020】

いくつかの例では、１つまたは複数のマーカは、車両の内部内のエリアおよび車両の内部に取り付けられたオブジェクトのうちの少なくとも一方の視覚パターン、車両の内部の要素、車両の内部内の表面、ならびに車両の内側の照明されたオブジェクトのうちの少なくとも１つを含むことができる。

【0021】

いくつかの例では、１つまたは複数の画像が１つまたは複数のマーカを描写し、モバイルデバイスの姿勢を判定することは、１つまたは複数の画像内の１つまたは複数のマーカを検出することと、検出された１つまたは複数のマーカおよび車両テンプレートに基づいて、車両の座標系に対するモバイルデバイスの姿勢を判定することと、を含むことができる。

【0022】

いくつかの態様では、上記で説明した方法、非一時的コンピュータ可読媒体、および装置は、モバイルデバイスの１つまたは複数の画像センサを使用して、車両の内部の画像のセットを取得し、画像のセットが、車両に関連付けられた１つまたは複数の視覚ランドマークを描写し、画像のセットに基づいて、車両テンプレートを生成することができる。いくつかの例では、車両テンプレートは、１つまたは複数の視覚ランドマークを含むことができる。

【0023】

場合によっては、モバイルデバイスの姿勢を判定することは、モバイルデバイスに関連付けられた慣性センサデータを取得することと、１つまたは複数の画像および慣性センサデータに基づいてモバイルデバイスの姿勢を判定することとを含むことができる。

【0024】

いくつかの態様では、上述した装置の各々は、モバイルデバイス、ウェアラブルデバイス、カメラシステム、パーソナルコンピューティングデバイスおよび／またはエクステンデッドリアリティ（extended reality、ＸＲ）デバイス（例えば、仮想現実（virtual reality、ＶＲ）デバイス、拡張現実（augmented reality、ＡＲ）デバイス、または複合現実（mixed reality、ＭＲ）デバイス）である、それらの一部であってもよい、またはそれらを含むことができる。いくつかの例では、装置は、車両、モバイルデバイス（例えば、携帯電話またはいわゆる「スマートフォン」または他のモバイルデバイス）、ウェアラブルデバイス、パーソナルコンピュータ、ラップトップコンピュータ、タブレットコンピュータ、サーバコンピュータ、ロボティクスデバイスまたはシステム、航空システム、あるいは他のデバイスを含むか、またはそれらの一部であるおよび／またはそれらとインターフェースすることができる。いくつかの態様では、装置は、１つまたは複数の画像をキャプチャするための画像センサ（例えば、カメラ）または複数の画像センサ（例えば、複数のカメラ）を含む。いくつかの態様では、装置は、１つまたは複数の画像、通知、および／または他の表示可能なデータを表示するための１つまたは複数のディスプレイを含む。いくつかの態様では、装置は、１つまたは複数のスピーカ、１つまたは複数の発光デバイス、および／または１つまたは複数のマイクロフォンを含む。いくつかの態様では、上記で説明した装置は、１つまたは複数のセンサを含んでもよい。場合によっては、１つまたは複数のセンサは、装置の姿勢、装置の状態（例えば、追跡状態、動作状態、温度、湿度レベル、および／または他の状態）を判定するために、かつ／または他の目的のために使用することができる。本明細書で使用される場合、姿勢という用語は、座標系に対する装置、センサ、または他の実世界のデバイス若しくは構造の位置および向きを指す。

【0025】

本概要は、特許請求される主題の主要なまたは必須の特徴を特定することは意図されず、特許請求される主題の範囲を決定するために独立して使用されることも意図されない。本主題は、この特許の明細書全体、いずれかまたはすべての図面、および各請求項の適切な部分を参照することによって理解されるはずである。

【0026】

上記のことは、他の特徴および実施形態とともに、以下の明細書、特許請求の範囲、および添付図面を参照すると、より明らかになろう。

【0027】

本出願の説明のための例について、以下の図を参照しながら以下で詳細に説明する。

【図面の簡単な説明】

【0028】

【図1】本開示のいくつかの例による、モバイルデバイスのコンピューティングシステムの一例を示す図である。

【図2】本開示のいくつかの例による、車両のコンピューティングシステムの一例を示すブロック図である。

【図3】本開示のいくつかの例による、車両内位置特定のための例示的なシステムプロセスを示す図である。

【図4A】本開示のいくつかの例による、車両乗員支援のための拡張現実のための例示的なシステムプロセスを示す図である。

【図4B】本開示のいくつかの例による、車両乗員支援のための拡張現実のための例示的なシステムプロセスを示す図である。

【図5】本開示のいくつかの例による、車両の乗員のためにレンダリングされる仮想コンテンツを調整するための例示的なユースケースを示す図である。

【図6A】本開示のいくつかの例による、仮想コンテンツを調整するための例示的なユースケースを示す図である。

【図6B】本開示のいくつかの例による、仮想コンテンツを調整するための例示的なユースケースを示す図である。

【図6C】本開示のいくつかの例による、仮想コンテンツを調整するための例示的なユースケースを示す図である。

【図6D】本開示のいくつかの例による、仮想コンテンツを調整するための例示的なユースケースを示す図である。

【図6E】本開示のいくつかの例による、仮想コンテンツを調整するための例示的なユースケースを示す図である。

【図7A】本開示のいくつかの例による、車両を運転する乗員の異なる例示的な状態を示す図である。

【図7B】本開示のいくつかの例による、車両を運転する乗員の異なる例示的な状態を示す図である。

【図7C】本開示のいくつかの例による、車両を運転する乗員の異なる例示的な状態を示す図である。

【図7D】本開示のいくつかの例による、車両を運転する乗員の異なる例示的な状態を示す図である。

【図7E】本開示のいくつかの例による、車両を運転する乗員の異なる例示的な状態を示す図である。

【図7F】本開示のいくつかの例による、車両を運転する乗員の異なる例示的な状態を示す図である。

【図7G】本開示のいくつかの例による、車両を運転する乗員の異なる例示的な状態を示す図である。

【図7H】本開示のいくつかの例による、車両を運転する乗員の異なる例示的な状態を示す図である。

【図7I】本開示のいくつかの例による、車両を運転する乗員の異なる例示的な状態を示す図である。

【図8】本開示のいくつかの例による、乗員監視イベントを含むビークルトゥエブリシング通信の例を示す図である。

【図9】本開示のいくつかの例による、車両を運転する乗員によって装着されたモバイルデバイスによって判定された乗員状態に基づく例示的な車両緩和イベントを示す図である。

【図10】本開示のいくつかの例による、車両を運転する乗員によって装着されたモバイルデバイスによって判定された乗員状態に基づく例示的な車両緩和イベントを示す図である。

【図11】本開示のいくつかの例による、車両の動作中に仮想コンテンツの提示を制御するための例示的プロセスを示すフローチャートである。

【図12】本開示のいくつかの例による、車両の乗員を監視するための例示的なプロセスを示すフローチャートである。

【図13】本開示のいくつかの例による、車両の動作を制御するための例示的なプロセスを示すフローチャートである。

【図14】本開示のいくつかの例による、車両を、車両の乗員に関連付けられたモバイルデバイスとインターフェースするための例示的なプロセスを示すフローチャートである。

【図15】本開示のいくつかの例による、コンピューティングデバイスアーキテクチャの一例を示す図である。

【発明を実施するための形態】

【0029】

本開示のいくつかの態様および実施形態が、以下で提供される。当業者に明らかになるように、これらの態様および実施形態のうちのいくつかが独立して適用されてよく、それらのうちのいくつかは組み合わせて適用されてもよい。以下の説明では、説明の目的のために、本出願の実施形態の完全な理解をもたらすために具体的な詳細が記載される。しかしながら、様々な実施形態がこれらの具体的な詳細なしに実践され得ることが明らかとなろう。図および説明は限定的であることが意図されていない。

【0030】

以下の説明は、例示的な実施形態を提供するにすぎず、本開示の範囲、適用可能性、または構成を限定することを意図しない。むしろ、例示的な実施形態の以下の説明は、例示的な実施形態を実装することを可能にする説明を当業者に提供する。添付の特許請求の範囲に記載されるような本出願の範囲から逸脱することなく、要素の機能および構成において様々な変更が加えられてもよいことを理解されたい。

【0031】

エクステンデッドリアリティ（ＸＲ）システムまたはデバイスは、ＸＲ体験をユーザに提供するために、ユーザに仮想コンテンツを提供することができ、および／あるいは実世界または物理環境と（仮想コンテンツからなる）仮想環境とを組み合わせることができる。実世界環境は、本、人、車両、建物、テーブル、椅子、および／または他の実世界若しくは物理オブジェクトなどの実世界オブジェクト（物理オブジェクトとも呼ばれる）を含むことができる。ＸＲシステムまたはデバイスは、異なるタイプのＸＲ環境との対話を容易にすることができる（例えば、ユーザは、ＸＲシステムまたはデバイスを使用して、ＸＲ環境と対話することができる）。ＸＲシステムは、仮想現実（ＶＲ）環境との対話を容易にするＶＲシステム、拡張現実（ＡＲ）環境との対話を容易にするＡＲシステム、複合現実（ＭＲ）環境との対話を容易にするＭＲシステム、および／または他のＸＲシステムを含むことができる。本明細書で使用される場合、ＸＲシステムおよびＸＲデバイスという用語は互換的に使用される。ＸＲシステムまたはデバイスの例は、特に、ヘッドマウントディスプレイ（ＨＭＤ）、スマートグラスを含む。場合によっては、ＸＲシステムは、ユーザが仮想コンテンツのアイテムと対話することを可能にするために、ユーザの部分（例えば、ユーザの手および／または指先）を追跡することができる。

【0032】

ＡＲは、仮想コンテンツまたはコンピュータ生成コンテンツ（ＡＲコンテンツと称される）を、物理的な実世界のシーンまたは環境のユーザの視界にわたって提供する技術である。ＡＲコンテンツは、ビデオ、画像、グラフィックコンテンツ、ロケーションデータ（例えば、全地球測位システム（ＧＰＳ）データまたは他のロケーションデータ）、音、それらの任意の組み合わせ、および／または他の拡張コンテンツ等の仮想コンテンツを含むことができる。ＡＲシステムまたはデバイスは、現実の人の現在の知覚を置換するのではなく、強化（または拡張）するように設計される。例えば、ユーザは、ＡＲデバイスディスプレイを通して、実際の静止または移動する物理オブジェクトを見ることができるが、物理オブジェクトのユーザの視覚認知は、そのオブジェクトの仮想画像（例えば、ＤｅＬｏｒｅａｎの仮想画像によって置換される実世界の車）によって、物理オブジェクトに追加されるＡＲコンテンツ（例えば、生きている動物に追加される仮想翼）によって、物理オブジェクトに対して表示されるＡＲコンテンツ（例えば、建物上の標識の近傍に表示される情報仮想コンテンツ、１つまたは複数の画像内の実世界のテーブルに仮想的に係留される（例えば、その上に配置される）仮想コーヒーカップ等）によって、および／または他のタイプのＡＲコンテンツを表示することによって、拡張または強化されてもよい。様々なタイプのＡＲシステムが、ゲーム、娯楽、および／または他のアプリケーションのために使用され得る。

【0033】

場合によっては、ＡＲコンテンツを提供するために使用することができる２つのタイプのＡＲシステムは、ビデオシースルー（ビデオパススルーとも呼ばれる）ディスプレイおよび光学シースルーディスプレイを含む。ビデオシースルーおよび光学シースルーディスプレイは、実世界または物理オブジェクトのユーザの視覚認知を強化させるために使用されることができる。ビデオシースルーシステムでは、実世界のシナリオのライブビデオが表示される（例えば、ライブビデオ上で拡張または強化された１つまたは複数のオブジェクトを含む）。ビデオシースルーシステムは、モバイルデバイス（例えば、携帯電話ディスプレイ上のビデオ）、ＨＭＤ、またはビデオおよびコンピュータ生成オブジェクトをビデオの上に表示することができる他の適切なデバイスを使用して実装することができる。

【0034】

ＡＲ特徴を伴う光学シースルーシステムは、ＡＲコンテンツを実世界場面のビュー上に直接表示することができる（例えば、実世界シーンのビデオコンテンツを表示することなく）。例えば、ユーザは、ディスプレイ（例えば、眼鏡またはレンズ）を通して実世界シーン内の物理オブジェクトを視認してもよく、ＡＲシステムは、１つまたは複数の実世界オブジェクトの強化された視覚認知をユーザに提供するために、ディスプレイ上にＡＲコンテンツを表示する（例えば、投影または別様に表示される）ことができる。光学シースルーＡＲシステムまたはデバイスの実施例は、ＡＲメガネ、ＨＭＤ、別のＡＲヘッドセット、またはユーザが物理オブジェクトを伴う実世界シーンを直接見ることを可能にするために、各目の正面のレンズ若しくはガラス（または両眼の上の単一レンズ若しくはガラス）を含むことができる他の類似デバイスであり、また、そのオブジェクトの拡張画像または追加ＡＲコンテンツがディスプレイ上に投影され、ユーザの実世界シーンの視覚認知を強化することを可能にする。

【0035】

ＶＲは、３次元コンピュータ生成ＶＲ環境または実世界環境の仮想バージョンを描写するビデオにおける完全な没入型体験を提供する。ＶＲ環境は、一見したところ現実的または物理的な方法で相互作用できる。ＶＲ環境を体験しているユーザが現実世界において移動するにつれて、仮想環境においてレンダリングされる画像も変化し、ユーザがＶＲ環境内で移動しているという知覚をユーザに与える。例えば、ユーザは、左または右を向き、見上げるかまたは見下ろし、および／あるいは前方または後方に移動し、したがって、ＶＲ環境のユーザの視点を変更することができる。ユーザに提示されるＶＲコンテンツはそれに従って変化することができるので、ユーザの体験は現実世界と同じくらいシームレスである。ＶＲコンテンツは、いくつかの場合には、ＶＲビデオを含むことができ、ＶＲビデオは、極めて高い品質でキャプチャおよびレンダリングされ、真に没入型の仮想現実エクスペリエンスを潜在的に提供することができる。仮想現実の用途例は、特にゲーミング、訓練、教育、スポーツビデオ、オンラインショッピングを含むことができる。ＶＲコンテンツは、ＶＲ体験中にユーザの目を完全に覆うＶＲ ＨＭＤまたは他のＶＲヘッドセットなど、ＶＲシステムまたはデバイスを使用してレンダリングおよび表示され得る。

【0036】

ＭＲ技術は、ＶＲおよびＡＲの態様を組み合わせて、ユーザに没入型体験を提供することができる。例えば、ＭＲ環境では、実世界およびコンピュータ生成オブジェクトは、相互作用することができる（例えば、現実の人物は、仮想人物が現実の人物であるかのように仮想人物と相互作用することができる）。

【0037】

ＸＲデバイス（例えば、拡張現実（ＡＲ）または複合現実（ＭＲ）デバイス、仮想現実（ＶＲ）デバイスなど）、ネットワーキング／通信能力を有するウェアラブルデバイス、スマートフォン、パーソナルコンピューティングデバイスなどの車両およびモバイル（ポータブルおよび／またはウェアラブル）デバイスからのデータ、機能、アクション、および／またはデバイス能力を統合するためのシステム、装置、方法（プロセスとも呼ばれる）、およびコンピュータ可読媒体（本明細書では集合的に「システムおよび技術」と呼ばれる）が本明細書で説明される。いくつかの例では、本明細書に記載されるシステムおよび技術は、ＸＲデバイス（例えば、ＡＲデバイス、ＭＲデバイスなど）および／または車両からのデータおよび／または機能性を使用して車両の乗員に支援を提供することができる。例えば、場合によっては、本明細書で説明されるシステムおよび技術は、拡張現実支援のためのビークルトゥデバイス（例えば、車両・モバイルコンピューティングデバイス間）インターフェースを車両の乗員に提供することができる。

【0038】

いくつかの例では、車両は、車両の内部および／または車両の外部のエリア（例えば、車両周囲）のフレームをキャプチャすることができるカメラを含むことができる。フレームは、とりわけ、道路条件を判定または認識すること、車両内の人（単数または複数）のアイデンティティを認識することと、車両に近接する他の車両、オブジェクト、歩行者、および／または障害物を識別することなどの様々な目的のために処理することができる。車両に関連付けられた環境（例えば、車両の外部の環境、車両の内側の環境など）における活動および／またはイベントを判定および／または認識することなどの様々な目的のために処理することができる。車両はまた、様々な条件を測定および／または判定するための他のタイプのセンサシステムを含むおよび／または実装することができる。例えば、場合によっては、車両は、１つまたは複数の無線検出および測距（ＲＡＤＡＲ）システム、慣性測定ユニット（ＩＭＵ）、光検出および測距（ＬＩＤＡＲ）システム、超音波センサ、無線周波数（ＲＦ）センサ、音響航法および測距（ＳＯＮＡＲ）システム、電磁検出および測距（ＥｍＤＡＲ）システム、音響検出および測距（ＳＯＤＡＲ）システム、全地球航法衛星システム（ＧＮＳＳ）受信機システム（例えば、１つまたは複数の全地球測位システム（ＧＰＳ）受信機システム）、加速度計、ジャイロスコープ、速度センサ、赤外線センサシステム、レーザ測距システム、超音波センサシステム、超低周波センサシステム、マイクロフォン、それらの任意の組み合わせ、および／または他のセンサシステムを含む、および／または実装することができる。

【0039】

ＸＲデバイス（例えば、ヘッドマウントディスプレイＡＲデバイス、ＡＲスマートグラス、または他のＸＲデバイス）などのモバイルデバイスは、画像および／またはビデオをキャプチャすることができる１つまたは複数のカメラを含むこともできる。例えば、ＡＲデバイスは、カメラおよび様々なセンサを実装して、物理環境内のＡＲデバイスおよび他のオブジェクトの位置を判定および／または追跡することができる。ＡＲデバイスは、追跡情報を使用して、ＡＲデバイスのユーザに現実的なＡＲ体験を提供することができる。例えば、ＡＲデバイスは、ユーザが没入型仮想環境若しくはコンテンツを体験することまたはそれらと対話することを可能にすることができる。上述したように、現実的なＡＲ体験を提供するために、ＡＲ技術は、概して、仮想コンテンツを物理世界と統合することを目的とする。いくつかの例では、ＡＲデバイスは、１つまたは複数のセンサからの追跡情報を使用して、デバイス、オブジェクト、および／または実世界環境のマップの相対姿勢を計算し、デバイス、オブジェクト、および／または実世界環境の相対位置と動きとを一致させることができる。１つまたは複数のデバイス、オブジェクト、および／または実世界環境の姿勢および動きを使用して、ＡＲデバイスは、コンテンツを実世界環境に納得のいく様式で固定することができる。相対姿勢情報は、仮想コンテンツを、ユーザの知覚された動作、ならびにデバイス、オブジェクト、および実世界環境の時空間状態と一致させるために使用され得る。

【0040】

ＸＲデバイス（例えば、ＡＲデバイス）のユーザは、ユーザが車両内にいる間（例えば、ユーザが車両を運転している間、または車両内の乗客として）、ＸＲデバイスを装着することがある。例えば、場合によっては、ユーザは、車両を操作（例えば、運転）している間にＡＲデバイスを装着し得る。場合によっては、ＡＲデバイスを装着し、車両を操作するユーザ（例えば、運転者）は、例えば、注意散漫等の１つまたは複数の条件によって損なわれ得る。換言すれば、車両を操作するユーザの能力は、そのような条件によって損なわれる可能性がある。注意散漫は、ユーザの外部の原因などの様々なものによって引き起こされ得る。例えば、ユーザは、ＡＲデバイスによってレンダリングされる仮想コンテンツ（例えば、電子メール通知、ワールドロックされた仮想広告板または標識、アプリケーションコンテンツ、ビデオおよび／または画像コンテンツ、インターフェースコンテンツ等）、車両の外部の環境内で発生するオブジェクトおよび／または活動、車両の内側で発生するオブジェクトおよび／またはイベント、車両の他の乗員、思考および／または不注意（例えば、空想等）、音または雑音（例えば、車両の内側および／または外側）、ユーザデバイス等によって注意を逸らされ得る。

【0041】

そのような注意散漫がなくても、車両の乗員（例えば、運転者）は、一般に、他の障害に悩まされる可能性がある。他の障害は、例えば、知覚の制限、注意の制限、実世界のイベントおよび条件、睡眠妨害、中毒、健康状態などの特定の身体的および／または個人的な制限および／または条件を含むことができ、および／またはそれらから生じることができる。例えば、ＡＲデバイスを装着している車両の乗員（例えば、運転者）は、乗員の視点または視野から車両の周囲の特定のエリア／ビュー（例えば、車両の後ろのエリア、車両の下のエリア、車両の外部に近いエリア、１つまたは複数のオブジェクトおよび／または状態（例えば、照明不足など）によって遮られたエリア、車両の上のエリア、車両から特定の距離だけ離れたエリアなど）を見ることが困難な場合がある。さらに、溜まり水、氷、車両の１つまたは複数のライト（例えば、ヘッドライト、フォグランプ、オフロードライト、非常灯、信号灯、日中走行灯、後退灯、テールライト、ブレーキライトなど）の届かない障害物など、特定の道路条件が車両の乗員に見えないか、または見えにくい可能性がある。車両の乗員はまた、通過車両、歩行者、周囲の活動／イベント、ナビゲーション警報などの特定のイベントおよびオブジェクトによって注意を逸らされる可能性がある。場合によっては、そのような障害は、車両を安全に操作するか、または運転条件に対応する運転者の能力を妨げる可能性がある。

【0042】

いくつかの態様では、本明細書で説明されるシステムおよび技術は、車両およびＸＲデバイス（例えば、ＡＲデバイス）からのデータ、機能、アクション、および／またはデバイス能力を共有／統合するためなど、車両およびＸＲデバイスが互いにインターフェースすることを可能にすることができる。互いにインターフェースし、データを共有／統合することにより、車両およびＸＲデバイス（例えば、ＡＲデバイス）は、例えば、車両の運転者／操作者、車両の乗客などの車両の乗員に支援を提供することができる。いくつかの例では、ＸＲデバイス（例えば、ＡＲデバイス）は、車両および／またはＸＲデバイス上の１つまたは複数のセンサからのデータを使用して、車両内（例えば、車両キャビンなどの車両の内部内）でそれ自体の位置を特定する（その位置および／または向き、一般にその姿勢を判定する）ことができる。場合によっては、ＸＲデバイスは、車両内ランドマーク／マーカ（例えば、車両内のクイックレスポンス（ＱＲ）コード（登録商標）、車両内のライト、車両内のオブジェクト（例えば、ドア、窓、座席、ヘッドレスト、ダッシュボード構成要素、車両制御システム（例えば、ハンドル、ホーン、信号伝達システムなど）、車両内のパターン、車両内の形状など）の画像ベース（例えば、視覚ベース）および／またはオーディオベース（例えば、オーディオビームフォーミングを介して）の位置特定を実行することができる位置特定プロセスを実装することができる。位置特定プロセスは、そのような車両内ランドマーク／マーカを使用して、車両内のＸＲデバイスの位置を特定することができる。例えば、位置特定プロセスは、車両内ランドマーク／マーカを使用して、ＸＲデバイスおよび／または車両の座標系に対するＸＲデバイスの姿勢を判定することができる。

【0043】

場合によっては、位置特定プロセスは、１つまたは複数のカメラ、無線インターフェース、超音波センサ、レーダなど、ＸＲデバイス（例えば、ＡＲデバイス）上の１つまたは複数のデバイス（例えば、センサ、エミッタ、トランシーバ、撮像デバイスなど）からのデータに基づいて、車両内ランドマークを検出することができる。例えば、１つまたは複数のＩＭＵからの補助センサデータを使用して、ＸＲデバイスの姿勢を追跡することができる。場合によっては、位置特定プロセスは、車両テンプレートを使用して、車両テンプレート内で指定され、上述のように検出された１つまたは複数の車両内ランドマークに対するＸＲデバイスの位置を判定することができる。例えば、位置特定プロセスは、車両テンプレートを使用して、位置特定のために使用することができる１つまたは複数の車両内ランドマークを識別することができる。場合によっては、車両テンプレートは、１つまたは複数の車両内ランドマークの位置および／または向き情報などの座標を指定することができ、位置特定プロセスは、それを使用して、ＸＲデバイス（例えば、ＡＲデバイス）および／または車両の座標系に対してそれ自体を位置特定することができる。例えば、位置特定プロセスは、上述したような１つまたは複数のデバイス（例えば、センサ、エミッタ、トランシーバなど）からのデータを使用して、車両テンプレートにおいて識別された１つまたは複数の車両内ランドマークを検出することができる。車両テンプレートは、１つまたは複数の車両内ランドマークの座標を指定することができ、これは、車両の座標系に対する１つまたは複数の車両内ランドマークの位置および／または向きを定義することができる。車両テンプレートは、車両固有であってもよいし、車両モデル、仕様、シリーズ、クラス、またはそれらの組み合わせに固有であってもよい。位置特定プロセスは、車両テンプレートにおいて指定された座標を使用して、ＸＲデバイス（例えば、ＡＲデバイス）によって検出された１つまたは複数の車両内ランドマークの、車両の座標系に対する位置および／または向きを判定することができる。位置特定プロセスは、車両の座標系に対する１つまたは複数の車両内ランドマークのロケーションおよび／または向きを、ＸＲデバイスの座標系に対するロケーションおよび／または向きに変換、平行移動、および／または相関させることができる。ＸＲデバイス（例えば、ＡＲデバイス）は、１つまたは複数の車両内ランドマークに関連付けられたロケーション情報および／または向き情報を使用して、車両内の、ＸＲデバイスの座標系および／または車両の座標系に対するＸＲデバイスの姿勢を理解、判定、および／または追跡することができる。

【0044】

いくつかの態様では、ＸＲデバイスは、車両の状況、乗員の位置／向き、ＸＲデバイスによってレンダリングされる仮想コンテンツ、ＸＲデバイス上の１つまたは複数のカメラを使用する目追跡、慣性センサデータ、オーディオセンサデータ、レーダデータ、無線信号などに基づいて、障害についてユーザを監視することができる運転者監視プロセスなどの乗員監視プロセスを実施することができる。いくつかの例では、ＸＲデバイスは、車両および乗員監視プロセスからの状況に基づいて、仮想コンテンツが乗員（例えば、運転者または乗客）に提示されるのをフィルタリングまたはブロックすることができる仮想コンテンツフィルタリングプロセスを含むことができる。車両ユーザインターフェースプロセスは、例えば、車両および乗員監視プロセスからの状況に基づいて、ユーザインターフェース要素をレンダリングすることができる。

【0045】

場合によっては、車両は、車両、車両の乗員、および／または車両の周囲に関連する状況および／またはイベントを認識および監視することができる車両監視プロセスを実施することができる。車両監視プロセスは、そのような条件／イベントに関するデータを、車両とワイヤレス通信している、例えばペアリングされるＸＲデバイス（例えば、ＡＲデバイス）に（例えば、ワイヤレス無線リンクを介して）送信することができる。ＸＲデバイスは、乗員監視プロセス、仮想コンテンツフィルタリングプロセス、車両ユーザインターフェースプロセスなどのためにそのようなデータを使用することができる。いくつかの例では、車両は、ＸＲデバイスによって検出された乗員条件および／または活動など、ＸＲデバイスによって生成された乗員（例えば、運転者）監視イベントに基づいて、車両動作および／または自律運転ポリシーを変更することができるイベント緩和プロセスを実施することができる。

【0046】

前述したように、場合によっては、ＸＲデバイス（例えば、ＡＲデバイス）の車両内位置特定プロセスは、ＸＲデバイスが車両内のＸＲデバイスの姿勢を理解することを可能にすることができる。ＸＲデバイスは、位置特定プロセスを使用して、車両の座標系に対する、および／または車両の座標系内のその姿勢を判定することができる。例えば、車両ベースのセンサおよび／または命令からのデータおよび／またはイベントをレンダリングするために、ＸＲデバイスは、位置特定プロセスを使用して、車両の座標系に対するＸＲデバイスの姿勢の共通の理解を得ることができる。場合によっては、位置特定プロセスは、車両の座標系からＸＲの座標系への変換を実行することができる。場合によっては、ＸＲデバイスが車両内で自己位置を特定し、かつ／または車両の内部を３次元（３Ｄ）空間にマッピングするのを助けるために、車両は、車両テンプレートをＸＲデバイスに提供することができる。車両テンプレートは、例えば、限定はしないが、１つまたは複数の車両内ランドマークの視覚記述子、ＩＲ記述子、および／またはＲＦ記述子を含むことができる。車両内ランドマークの非限定的な例としては、とりわけ、車両の内部（例えば、キャビン）内のオブジェクトまたはエリア（例えば、キャビン内のオブジェクト／エリア、フロントガラス上のエリア、ダッシュボード上のオブジェクト／エリア、ドア上のオブジェクト／エリア、座席上のオブジェクト／エリアなど）に取り付けられた視覚パターン（例えば、ＱＲコード（登録商標）、チェッカー盤パターンなどの較正パターン、刻印／彫刻、パターン化材料、ラベルなど）、車両の内部内のオブジェクトおよび／またはエリアに取り付けられた能動照明（例えば、発光ダイオード（ＬＥＤ）など）、車両の内部の不動要素（例えば、インストルメントクラスタ、ダッシュボードのコーナー（単数または複数）、窓（単数または複数）および／またはフロントガラスのコーナー（単数または複数）、車両のルーフ、車両のセンターコンソールなど）、車両の本体から既知の位置／オフセットを有する車両の内部の可動要素（例えば、乗客席（単数または複数）、ハンドルなど）を挙げることができる。いくつかの例では、車両テンプレートは、車両の座標系に対する車両内ランドマークのロケーションおよび／または向きを含む／指定することができる。

【0047】

ＸＲデバイス（例えば、ＡＲデバイス）の位置特定プロセスは、車両内ランドマーク／マーカ、視覚記述子、ＩＲ記述子、および／またはＲＦ記述子、ならびにロケーション情報および／または向き情報を使用して、車両内ランドマークおよび車両の座標系に対してそれ自体を位置特定することができる。例えば、ＸＲデバイスの１つまたは複数のカメラを使用して、ＸＲデバイスは、位置特定プロセスを実施して、車両テンプレート内で指定された車両内ランドマークを（連続的に）検索し、車両内ランドマークおよび（ひいては）車両に対してそれ自体を位置特定することができる。場合によっては、ＸＲデバイスは、例えば、ＷｉＦｉデバイス、Ｂｌｕｅｔｏｏｔｈデバイス、超音波デバイス、ＩＭＵなどの他のセンサ／デバイスを使用して、位置特定を支援することもできる。

【0048】

車両監視プロセスは、ＸＲデバイス（例えば、ＡＲデバイス）、車両、および／または１つまたは複数の周囲などの状況を監視することができる。車両監視プロセスは、車両およびその周囲、運転条件、道路条件、車両条件などに関連するイベントを認識することができる。車両監視プロセスは、これらのイベントに関するデータをＸＲデバイスに送信することができ、ＸＲデバイスは、このデータを、乗員監視プロセス、仮想コンテンツフィルタリングプロセス、車両ユーザインターフェースプロセスなどのために使用することができる。車両監視プロセスによってＸＲデバイスに提供されるデータの非限定的な例は、計装読み取り値、センサデータ（例えば、カメラデータ、ＲＡＤＡＲデータ、ＳＯＮＡＲデータ、ＳＯＤＡＲデータ、ＥｍＤＡＲデータ、ＧＮＳＳデータ、ＬＩＤＡＲデータ、ＩＭＵデータ、ＧＰＳデータ等）、車両の経路内の条件（例えば、気象条件、交通条件、道路条件等）を示すインターネットデータ、ナビゲーション情報等、を含むことができる。いくつかの例では、センサデータは、ＸＲデバイスに提供される前に、例えば、画像処理、センサ融合、オブジェクト／対象検出等を適用することによって、車両によって前処理されてもよい。いくつかの例では、少なくともいくつかのセンサデータは、ＸＲデバイスに未処理で提供され得る。

【0049】

いくつかの例では、センサデータは、車両の動作状況、車両の運動状態、自律運転ポリシー、車両関連のイベント、例えば、車両部品の誤動作またはセンサトリガ警報、およびそれらの組み合わせ、車両の経路内または車両の経路に近づいてくるオブジェクトまたは障害物の存在（例えば、場合によっては、肯定的および否定的な例で訓練された機械学習分類器を介して判定される）、車両の経路内または車両の経路に近づいてくる歩行者の存在（例えば、場合によっては、肯定的および否定的な例で訓練された機械学習分類器を介して判定される）、車両の経路内の何か（例えば、窪み、事故、動物、道路のでこぼこの部分、車線区分線など）の存在（例えば、場合によっては、肯定的および否定的な例で訓練された機械学習分類器を介して判定される）、車両の経路の後ろまたは近くのオブジェクト（例えば、緊急車両など）の存在（例えば、場合によっては、肯定的および否定的な例で訓練された機械学習分類器を介して判定される）などの車両の状態または状況を示すことができる。場合によっては、センサデータは、車両が車線区分線に違反していること（例えば、場合によっては、正および負の例で訓練された機械学習分類器を介して判定される）、車両が制限速度を超えていること（例えば、場合によっては、車両の速度計および速度制限ゾーンのデータベースに基づいて判定される）などの、車両の経路（例えば、場合によっては、正および負の例で訓練された機械学習分類器を介して判定される）に沿った交通規制（例えば、停止標識、停止灯など）を示すことができる。

【0050】

場合によっては、車両監視プロセスは、ＸＲデバイス（例えば、ＡＲデバイス）ビークルトゥエブリシング（Ｖ２Ｘ）（例えば、ビークルトゥビークル（Ｖ２Ｖ）、ビークルトゥインフラストラクチャ（Ｖ２Ｉ）など）データおよび／またはイベントを提供することができる。車両監視プロセスがＸＲデバイスに提供することができるＶ２Ｘデータの非限定的な例は、車両の経路内の障害物の存在を示すＶ２Ｘデータ、車両の経路内または車両に近づいてくる歩行者の存在を示すＶ２Ｘデータ、車両の経路内の何か（例えば、窪み、動物、オブジェクトなど）の存在を示すＶ２Ｘデータ、車両の経路の後ろまたは近くの緊急車両の存在を示すＶ２Ｘデータ、車両の経路に沿った交通規制（例えば、停止標識、停止灯など）の存在を示すＶ２Ｘデータ、車両が車線区分線に違反していることを示すＶ２Ｘデータ、車両が速度制限を超えていることを示すＶ２Ｘデータ、車両の経路内の特定の条件（例えば、気象条件、道路条件、交通条件、事故など）の存在を示すＶ２Ｘデータなどを含む。

【0051】

いくつかの例では、乗員監視プロセスは、車両からのイベントデータおよび／または状況情報、ＸＲデバイス（例えば、ＡＲデバイス）によってレンダリングされる仮想コンテンツ、乗員の位置／向き、ユーザ活動（例えば、ジェスチャ、動きなど）、目追跡、慣性センサデータ、オーディオデータ（例えば、発話データ、音響データ、音波など）、ユーザ頭部姿勢などに基づいて、障害についてユーザ／乗員を監視することができる。場合によっては、乗員（例えば、運転者、乗客など）の障害は、ＸＲデバイスによってレンダリングされた仮想コンテンツおよび／または車両状況とは無関係に検出され得る。例えば、場合によっては、乗員障害は、例えば、目追跡、慣性感知、心拍数情報、温度データ等のセンサデータおよび／またはセンサデータ処理を使用して検出されることができる。場合によっては、目追跡、慣性感知、心拍数情報、温度データなどは、眠気、中毒、健康緊急事態（例えば、発作、心臓発作、意識喪失など）、ストレスまたは高まった感情状態、一般的な不注意／注意散漫などを示すことができる（例えば、場合によっては、正例および負例で訓練された機械学習分類器を介して判定される）。場合によっては、障害は、仮想コンテンツ、車両状況情報、および／またはセンサデータの組み合わせを使用して検出することができる。例えば、場合によっては、乗員障害は、乗員の視線が特定の（設定可能な）期間にわたって仮想コンテンツに集中していることを示す目追跡データ、車両イベントモニタが切迫したイベントまたはオブジェクト（例えば、障害物、歩行者、窪み、動物など）を検出したときに乗員の視線が他の場所に集中していることを示す目追跡データ、乗員の視線の光線追跡、車両テンプレート、報告された車両イベントにおけるロケーション情報、乗員の位置および／または動きを示すセンサデータなどに基づいて検出することができる。

【0052】

場合によっては、ＸＲデバイスは、ＸＲデバイスによって乗員に提示される仮想コンテンツを（例えば、仮想コンテンツフィルタリングプロセスおよび／またはユーザインターフェースプロセスを介して）調整／修正することができる。例えば、ＸＲデバイスは、乗員監視プロセスによる乗員が損なわれているという判定、車両監視プロセスからの車両イベントが差し迫っているまたは発生しているという報告、乗員によって要求された仮想コンテンツが、乗員を特定の運転および／または関連イベントから逸らす可能性があるという判定などに応答して、仮想コンテンツを調整することができる。いくつかの例では、ＸＲデバイスは、必要に応じてマークされた仮想コンテンツ（例えば、ヘッドアップディスプレイ（ＨＵＤ）コンテンツ、車両計装コンテンツなど）のサブセットを除くすべての仮想コンテンツ、乗員が集中している仮想コンテンツの任意の部分（例えば、場合によっては、乗員の視線の光線追跡および／または乗員の視線をキャプチャする画像データに基づいて判定される）、車両イベントを不明瞭にしている任意の仮想コンテンツ（例えば、場合によっては、ＸＲデバイスから車両イベントのロケーションまでの光線追跡、車両テンプレート、および／または報告された車両イベント内の情報に基づいて判定される）などを無効にし、減光し、または透明度を上げることによって、仮想コンテンツを調整することができる。

【0053】

場合によっては、気を逸らす仮想コンテンツを無効にすることに加えて、ＡＲデバイスは、他の仮想コンテンツをレンダリングして、障害のある乗員を目覚めさせ、かつ／または切迫した若しくは発生している車両イベントを強調することができる。いくつかの例では、ＸＲデバイスは、乗員の視野（ＦＯＶ）のエッジをパルス化し、表示された画像／ビデオ内の車両イベントのロケーションを丸で囲むまたは強調表示し、ヘッドロックされた矢印をレンダリングし、乗員の視界の周囲をパルス化し、他の方向インジケータを使用して乗員の頭部および／または視線を車両イベントの方向に向け、車両カメラフィード（例えば、バックアップカメラ、サイドビューカメラなど）を車両イベントのロケーションの近くにストリーミングし、車両状況（例えば、計装など）をヘッドロックされたＨＵＤまたはワールドロックされたユーザインターフェース（ＵＩ）要素としてストリーミングし、車両が透明または半透明に見え、車両イベントが見えるように、車両のエリア（例えば、車両壁など）にロックされた歪みを受けたおよび／またはパースペクティブ補正された外部ビューをレンダリングし、気を逸らす実世界コンテンツ（例えば、広告板、事故など）に取って代わる仮想コンテンツをレンダリングすることができる。場合によっては、そのような仮想コンテンツは、画像のデータベースから合成または「ディープフェイクされた」仮想コンテンツを生成するように訓練されたディープニューラルネットワークを使用してレンダリングされ、拡張現実デバイスおよび／または車両によって観察されるスタイルでレンダリングされ得る。

【0054】

車両監視プロセスは、先に説明したように、車両イベントをＸＲデバイス（例えば、ＡＲデバイス）に送信することができる。同様に、ＸＲデバイスの乗員監視プロセスは、乗員監視イベント（例えば、障害など）を車両に送信することができる。いくつかの例では、車両は、ＸＲデバイスによって生成された乗員監視イベントの知識から利益を得ることができる何らかの自律または半自律運転機能を有することができる。車両は、自律運転ポリシーまたは能力の一部としてそのようなイベントを使用することができる。例えば、乗員（例えば、運転者）の障害を示す乗員監視イベントを受信すると、車両は、自律機能を作動させて、乗員に警告し、および／または障害のある運転に関連する特定のイベントまたはリスクを防止し、既に作動している自律機能のレベルまたは信頼度を高めることができる。いくつかの例では、健康緊急事態を示す乗員監視イベントを受信すると、車両は、車両を安全に停止させるか、または支援のために特定のロケーション（例えば、病院、診療所など）に進むための自律機能に関与することができる。場合によっては、車両は、オンラインまたは強化学習アルゴリズムを使用して、どの車両および／または世界イベントが特定の運転者状態（例えば、特定の障害など）とより高い相関を有するかを経時的に学習し、その情報を使用してそのような状況を処理および／または回避することができる。例えば、乗員がしばしば広告板によって注意を逸らされる場合、車両は、速度を低下させるか、または広告板を有する環境においてより積極的に緊急制動を可能にし得る。

【0055】

場合によっては、ＸＲデバイスは、乗員監視プロセスを支援するために、乗員の１つまたは複数のウェアラブルデバイスからのデータを使用することができる。ウェアラブルデバイスは、乗員監視を支援することができる追加のおよび／または冗長なセンサモダリティを有することができる。ウェアラブルデバイスは、そのようなデータ（または関連イベントのダイジェスト）をＸＲデバイスに送信して、その乗員監視プロセスを支援することができる。いくつかの例では、ウェアラブルデバイスは、例えば、慣性センサデータ、心拍数測定値、血圧測定値、ガルバニック皮膚反応測定値、ＥＣＧ／ＥＫＧ／ＥＥＧデータ、温度データ、酸素レベル、運動情報、睡眠追跡情報などのセンサデータをＸＲデバイスに送信することができる。場合によっては、ウェアラブルデバイスからのデータは、眠気、中毒、健康緊急事態、ストレス、高まった感情状態、意識喪失などの障害を示すことができ、かつ／または（例えば、正例および負例で訓練された機械学習分類器を介して）障害を判定するために使用することができる。

【0056】

場合によっては、ＸＲデバイスは、車両から乗員監視情報を取得することができる。例えば、場合によっては、車両は、それ自体の乗員監視能力／機能を組み込むことができる。場合によっては、ＸＲデバイスは、（例えば、車両で処理された乗員監視イベントを送信することに加えて、またはその代わりに）車両の乗員監視システムとの融合処理のために、ＸＲデバイスの乗員監視プロセスからの生の乗員監視データを車両に送信することができる。

【0057】

場合によっては、車両は、運転者イベントの緩和を可能にするために、乗員監視イベントをインフラストラクチャおよび／または他の車両に送信することができる。例えば、車両は、他の車両にその運転者が障害を有していることを報告することができるので、他の車両が予防措置を取る、自律運転ポリシーを変更する（例えば、減速する、障害のある運転者に十分な距離を与えるなど）、運転者のＸＲデバイス（例えば、場合によっては、近くの車両が障害のある運転者を有することを仮想コンテンツで強調表示するまたは示すことができる）に通知するなどできる。場合によっては、運転者が障害を有していることを、インフラストラクチャを横断している歩行者（例えば、それにより、横断信号は、障害のある運転者を有する車両の前を歩行者が横断することを防止できるなど）、法執行機関（例えば、支援および／または保護のため）、歩行者のＸＲデバイスに報告することができる（例えば、それにより、歩行者のＸＲデバイスは、障害のある運転者を信号伝達する仮想コンテンツをレンダリングできるなど）。場合によっては、車両は、ＸＲデバイスに関して本明細書で説明される仮想コンテンツのいずれかをレンダリングすることができる。例えば、車両は、ＸＲおよび／またはモバイルデバイスに関して本明細書で説明したのと同じコンテンツおよび／またはコンテンツのタイプをレンダリングすることができる。車両は、ＸＲデバイスによる任意のコンテンツレンダリングに加えて、またはその代わりに、そのようなコンテンツをレンダリングすることができる。

【0058】

適用例の様々な態様が、図に関して説明される。

【0059】

図１は、モバイルデバイス１５０のコンピューティングシステム１００の一例を示す図である。モバイルデバイス１５０は、エンドユーザが使用できるコンピューティングデバイスの一例である。例えば、モバイルデバイス１５０は、ポータブルデバイス、携帯電話、ＸＲデバイス（例えば、ＨＭＤ、スマートグラスなど）、タブレットコンピュータ、ラップトップコンピュータ、ウェアラブルデバイス（例えば、スマートウォッチなど）、コネクテッドデバイス若しくはモノのインターネット（ＩｏＴ）デバイス、および／またはワイヤレス通信ネットワークを介して通信するためにユーザによって使用される任意の他のデバイスを含むことができる。コンピューティングシステム１００は、バスなどの通信システム１３４を介して電気的にまたは通信可能に結合されてもよい（または適宜別様に通信していてもよい）ソフトウェア構成要素およびハードウェア構成要素を含む。

【0060】

コンピューティングシステム１００は、１つまたは複数のセンサシステム１０２、計算構成要素１１０、１つまたは複数の入力デバイス１２０（例えば、マウス、キーボード、タッチスクリーン、タッチパッド、キーパッド、マイクロフォン、コントローラなど）、１つまたは複数の出力デバイス１２２（例えば、１つまたは複数のディスプレイ、スピーカ、発光デバイス、プリンタ、プロジェクタなど）、１つまたは複数のモデム１２６、１つまたは複数のワイヤレストランシーバ１２８、１つまたは複数のアンテナ１３０、および／または１つまたは複数のメモリデバイス１３２を含むことができる。場合によっては、コンピューティングシステム１００は、任意選択的に、１つまたは複数のＳＩＭ１２４を含むことができる。コンピューティングシステム１００は、コンピューティングシステム１００の構成要素間でデータを転送することができる通信システム１３４（例えば、バス）を含むことができる。いくつかの例では、１つまたは複数の出力デバイス１２２は、ＨＭＤ、スマートグラスなど、モバイルデバイス１５０の左ディスプレイおよび右ディスプレイを含むことができる。いくつかの例では、１つまたは複数の出力デバイス１２２は、スマートフォン、スマートウォッチなど、モバイルデバイス１５０の背面ディスプレイおよび／または前面ディスプレイを含むことができる。場合によっては、１つまたは複数の出力デバイス１２２は、１つまたは複数のプロジェクタなどの１つまたは複数の光学デバイスを含むことができる。

【0061】

いくつかの例では、通信システム１３４は、１つまたは複数のセンサシステム１０２、計算構成要素１１０、１つまたは複数の入力デバイス１２０、１つまたは複数の出力デバイス１２２、１つまたは複数のモデム１２６、１つまたは複数のワイヤレストランシーバ１２８、１つまたは複数のアンテナ１３０、および／または１つまたは複数のメモリデバイス１３２を相互接続することができる。例えば、場合によっては、計算構成要素１１０は、通信システム１３４を使用して、処理プロセッサ／コア間で、および／または、例えば、１つまたは複数のセンサシステム１０２、１つまたは複数の入力デバイス１２０、１つまたは複数の出力デバイス１２２、１つまたは複数のＳＩＭ１２４、１つまたは複数のモデム１２６、１つまたは複数のワイヤレストランシーバ１２８、１つまたは複数のアンテナ１３０、および／または１つまたは複数のメモリデバイス１３２などのコンピューティングシステム１００の任意のデバイス／構成要素と通信することができる。

【0062】

計算構成要素１１０は、例えば、１つまたは複数の中央処理ユニット（ＣＰＵ）１１２、グラフィックス処理ユニット（ＧＰＵ）１１４、デジタル信号プロセッサ（ＤＳＰ）１１６、および／または画像信号プロセッサ（ＩＳＰ）１１８を含むことができる。場合によっては、計算構成要素１１０は、追加または代替として、例えば、限定はしないが、１つまたは複数の特定用途向け集積回路（ＡＳＩＣ）、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）、アプリケーションプロセッサ（ＡＰ）、ビジョン処理ユニット（ＶＰＵ）、ニューラルネットワーク信号プロセッサ（ＮＳＰ）、マイクロコントローラ、コンピュータビジョン（ＣＶ）プロセッサ、専用ハードウェア、それらの任意の組み合わせ、および／または他の処理デバイス若しくはシステムなどの、図１に示されていない１つまたは複数の他の処理構成要素を含むことができる。場合によっては、１つまたは複数の計算構成要素１１０は、本明細書で説明する様々な動作のいずれかを実行するための、他の電子回路若しくはハードウェア、コンピュータソフトウェア、ファームウェア、またはそれらの任意の組み合わせを含むことができる。いくつかの例では、１つまたは複数の計算構成要素１１０は、図１に示す計算構成要素よりも多いまたは少ない計算構成要素を含むことができる。さらに、ＣＰＵ１１２、ＧＰＵ１１４、ＤＳＰ１１６、およびＩＳＰ１１８は、説明目的のために提供された計算構成要素の単なる例示的な例である。

【0063】

コンピューティングシステム１００は、１つまたは複数の計算構成要素１１０を使用して、例えば、エクステンデッドリアリティ動作（例えば、追跡、位置特定、オブジェクト検出、分類、姿勢推定、マッピング、コンテンツアンカリング、コンテンツレンダリングなど）、デバイス制御動作、画像／ビデオ処理、グラフィックスレンダリング、イベントマッピング、機械学習、データ処理、モデリング、計算、コンピュータビジョン、イベント監視、本明細書に記載の任意の動作、および／または任意の他の動作などの様々なコンピューティング動作を実行することができる。例えば、場合によっては、１つまたは複数の計算構成要素１１０は、センサシステム１０２、１つまたは複数の入力デバイス１２０、１つまたは複数のＳＩＭ１２４、１つまたは複数のモデム１２６、１つまたは複数のワイヤレストランシーバ１２８、１つまたは複数のアンテナ１３０、１つまたは複数のメモリデバイス１３２、図２に示す車両コンピューティングシステム２１０、および／または任意の他のデバイスからのデータを使用して、画像／ビデオ処理、イベントマッピング、ＸＲ処理、デバイス管理／制御、および／または本明細書に記載の他の動作を実行することができる。

【0064】

例示すると、いくつかの例では、１つまたは複数の計算構成要素１１０は、ユーザコンピューティングシステム１００、車両コンピューティングシステム２１０、および／または任意の他のシステム若しくは構成要素の構成要素のうちの１つまたは複数からのデータに基づいて、監視（例えば、デバイス監視、ユーザ監視、車両監視、イベント監視、活動監視、オブジェクト監視など）、デバイス制御／管理、追跡（例えば、デバイス追跡、オブジェクト追跡、手追跡、視線追跡など）、位置特定、オブジェクト検出および／または認識、オブジェクト分類、姿勢推定、形状推定、シーンマッピング、シーン検出および／またはシーン認識、顔検出および／または認識、感情検出および／または認識、コンテンツアンカリング、コンテンツレンダリング、コンテンツフィルタリング、画像処理、モデリング、コンテンツ生成、ジェスチャ検出および／または認識、ユーザインターフェース生成、電力管理、イベント検出および／または認識、および／または他の動作を実行することができる。

【0065】

いくつかの例では、１つまたは複数の計算構成要素１１０は、例えば、特徴抽出器（例えば、スケール不変特徴変換（ＳＩＦＴ）、高速化ロバスト特徴（ＳＵＲＦ）、指向ＦＡＳＴおよび回転ＢＲＩＥＦ（ＯＲＢ）など）、機械学習モデル、コンピュータビジョンアルゴリズム、ニューラルネットワーク、追跡アルゴリズム、位置特定アルゴリズム、オブジェクト検出アルゴリズム、認識アルゴリズム、マッピングアルゴリズム、アプリケーション（例えば、ＸＲアプリケーション、メッセージングアプリケーション、ソーシャルメディアネットワークアプリケーション、ウェブブラウザアプリケーション、生産性アプリケーション、ゲームアプリケーション、エンターテインメントアプリケーション、マルチメディアアプリケーション、認証アプリケーション、写真アプリケーション、スキャンアプリケーション、メディア再生アプリケーション、セキュリティアプリケーション、電子商取引アプリケーション、コンテンツ管理アプリケーション、インターフェースおよび／またはウィンドウアプリケーション、アシスタントアプリケーション、オートメーションアプリケーション、電子メールアプリケーション、音声アプリケーション、カメラアプリケーション、ナビゲーションアプリケーション、車両アプリケーションなど）、コンピュータビジョンアルゴリズム、画像処理アルゴリズム、コンテンツフィルタリングアルゴリズム、ならびに／あるいは任意の他のアルゴリズムおよび／または構成要素などの１つまたは複数のソフトウェアエンジンおよび／またはアルゴリズムを実装することができる。

【0066】

画像センサ１０４Ａおよび画像センサ１０４Ｎは、デジタルカメラセンサ、ビデオカメラセンサ、スマートフォンカメラセンサ、テレビまたはコンピュータなどの電子装置上の画像／ビデオキャプチャデバイス、カメラなどの任意の画像および／若しくはビデオセンサまたはキャプチャデバイスを含むことができる。場合によっては、画像センサ１０４Ａおよび画像センサ１０４Ｎは、デジタルカメラ、ビデオカメラ、ＩＰカメラ、スマートフォン、スマートテレビ、ゲームシステムなどのカメラまたはコンピューティングデバイスの一部であってもよい。さらに、場合によっては、画像センサ１０４Ａおよび画像センサ１０４Ｎは、後方および前方センサデバイスなどのデュアル（または複数の）画像センサシステムまたはセットアップを含むおよび／または実装することができる。いくつかの例では、画像センサ１０４Ａおよび画像センサ１０４Ｎは、デュアルカメラまたは他のマルチカメラアセンブリ（例えば、２つのカメラ、３つのカメラ、４つのカメラ、若しくは他の数のカメラを含む）の一部であってもよい。場合によっては、画像センサ１０４Ａおよび／または画像センサ１０４Ｎは、環境のＲＦおよび／またはＩＲ撮像を実行するように構成されたレーダセンサ、ＬＩＤＡＲセンサおよび／またはＩＲセンサなどのＲＦセンサを含むことができる。

【0067】

いくつかの例では、画像センサ１０４Ａおよび１０４Ｎの各々は、画像データをキャプチャし、画像データに基づいてフレームを生成し、ならびに／または画像データ若しくはフレームを、処理するために１つまたは複数の計算構成要素１１０に提供することができる。フレームは、ビデオシーケンスのビデオフレームまたは静止画像を含むことができる。フレームは、シーンを表すピクセルアレイを含むことができる。例えば、フレームは、ピクセルごとに赤、緑、および青の色成分を有する赤－緑－青（ＲＧＢ）フレーム、ピクセルごとに１つの輝度成分および２つの色差（色）成分（赤の色差および青の色差）を有する、輝度、赤の色差、青の色差（ＹＣｂＣｒ）フレーム、または任意の他の適切なタイプのカラーまたはモノクロ画像、であり得る。

【0068】

１つまたは複数のワイヤレストランシーバ１２８は、他のユーザデバイス、車両（例えば、図２に示す車両２０２）、ネットワークデバイス（例えば、ｅＮＢおよび／またはｇＮＢなどの基地局、ＷｉＦｉデバイス（例えば、ルータ、アクセスポイントなど）、サーバ、スイッチ、ルータ、ゲートウェイ、ファイアウォールなど）、クラウドネットワーク、プライベートネットワーク、パブリックネットワーク、データセンタ、インターネット、衛星、コネクテッドデバイス若しくはＩｏＴデバイス、インフラストラクチャデバイス／構成要素など、１つまたは複数の他のデバイスおよび／またはネットワークから、１つまたは複数のアンテナ１３０を介して、ワイヤレス信号（例えば、信号１４０）を受信することができる。いくつかの例では、コンピューティングシステム１００は、複数のアンテナを含むことができる。ワイヤレス信号１４０は、ワイヤレスネットワークを介して送信されてもよい。ワイヤレスネットワークは、セルラー若しくは電気通信ネットワーク（例えば、３Ｇ、４Ｇ、５Ｇなど）、ワイヤレスローカルエリアネットワーク（例えば、ＷｉＦｉネットワーク）、Ｂｌｕｅｔｏｏｔｈ（商標）ネットワーク、および／または任意の他のワイヤレスネットワークなどの、任意のワイヤレスネットワークであってもよい。いくつかの例では、１つまたは複数のワイヤレストランシーバ１２８は、無線周波数（ＲＦ）フロントエンドを含み得る。ＲＦフロントエンドは、構成要素の中でもとりわけ、１つまたは複数の増幅器、信号ダウンコンバージョンのためのミキサ（信号乗算器とも呼ばれる）、信号を１つまたは複数のミキサに提供する周波数シンセサイザ（発振器とも呼ばれる）、ベースバンドフィルタ、アナログデジタル変換器（ＡＤＣ）、電力増幅器、ＲＦポート（例えば、送信（Ｔｘ）および／または受信（Ｒｘ）ポート）、移相器、ＩＱ利得および位相補償器、アップサンプラ、利得制御装置、デジタルアナログ変換器（ＤＡＣ）、ビームフォーマ、ローパスフィルタ、時間遅延フィルタ等の１つまたは複数の構成要素を含むことができる。いくつかの例では、ＲＦフロントエンドは一般に、ワイヤレス信号１４０の選択およびベースバンド周波数または中間周波数への変換を扱うことができ、ＲＦ信号をデジタル領域に変換することができる。

【0069】

場合によっては、コンピューティングシステム１００は、１つまたは複数のワイヤレストランシーバ１２８を使用して送信および／または受信されるデータを符号化および／または復号するように構成されるコード化－復号デバイス（またはコーデック）を含むことができる。場合によっては、コンピューティングシステム１００は、１つまたは複数のワイヤレストランシーバ１２８によって送信および／または受信されるデータを（例えば、高度暗号化規格（ＡＥＳ）、データ暗号化規格（ＤＥＳ）および／または任意の他の規格に従って）暗号化および／または解読するように構成される暗号化－解読デバイスまたは構成要素を含むことができる。

【0070】

ＳＩＭは、特定の加入者またはユーザの国際移動体加入者識別（ＩＭＳＩ）番号および関連する鍵（例えば、暗号－復号鍵）をセキュアに記憶することができるデバイス（例えば、集積回路）である。ＩＭＳＩおよび鍵は、特定のＵＥで加入者を識別して認証するために使用され得る。図１において、１つまたは複数のＳＩＭ１２４の各々は、モバイルデバイス１５０のユーザに割り当てられたＩＭＳＩ番号および関連キーを安全に記憶することができる。ＩＭＳＩおよびキーを使用して、１つまたは複数のＳＩＭ１２４と関連付けられたネットワークサービスプロバイダまたはオペレータによって提供されるネットワークにアクセスするときに、加入者を識別および認証することができる。

【0071】

モデムは、１つまたは複数の搬送波信号を変調して送信のためにデジタル情報を符号化し、かつ信号を復調して送信される情報を復号する、デバイスである。１つまたは複数のモデム１２６は、１つまたは複数のワイヤレストランシーバ１２８を使用して情報を送信のために符号化するように１つまたは複数の信号を変調することができる。１つまたは複数のモデム１２６は、送信された情報を復号するために、１つまたは複数のワイヤレストランシーバ１２８によって受信される信号を復調することもできる。いくつかの例において、１つまたは複数のモデム１２６は、４Ｇ（またはＬＴＥ）モデム、５Ｇ（または新無線（ＮＲ））モデム、ビークルトゥエブリシング（Ｖ２Ｘ）通信のために構成されるモデム、および／または他のタイプのモデムを含むことができる。１つまたは複数のモデム１２６および１つまたは複数のワイヤレストランシーバ１２８は、１つまたは複数のＳＩＭ１２４のためのデータを通信するために使用することができる。

【0072】

上述したように、コンピューティングシステム１００は、１つまたは複数のセンサシステム１０２を含むことができる。いくつかの例では、１つまたは複数のセンサシステム１０２は、画像センサ１０４Ａおよび１０４Ｎなどの１つまたは複数の画像センサ（以下、集合的に「画像センサ１０４」）、ロケーションセンサ１０６（例えば、超音波センサ、超低周波センサ、ＳＯＮＡＲセンサ、ＲＦベースのセンサシステム（例えば、ＷｉＦｉ、Ｂｌｕｅｔｏｏｔｈなど）、マイクロフォンなど）、慣性測定ユニット（ＩＭＵ）１０８、および／または１つまたは複数の他のセンサを含むことができる。場合によっては、コンピューティングシステム１００は、任意選択的に、例えば、限定はしないが、ＲＡＤＡＲセンサシステム、ＬＩＤＡＲセンサシステム、電磁検出および測距（ＥｍＤＡＲ）センサシステム、赤外線センサシステム、レーザ測距システム、音響検出および測距（ＳＯＤＡＲ）システム、タッチセンサ、圧力センサ（例えば、気圧センサおよび／または任意の他の圧力センサ）、ジャイロスコープ、加速度計、磁力計、および／または任意の他のセンサなどの、１つまたは複数の他の／追加のセンサまたはセンサシステムを含むことができる。いくつかの例では、コンピューティングシステム１００は、例えば発光ダイオード（ＬＥＤ）デバイス、キャッシュ、ワイヤレスネットワークインターフェースなどの追加の構成要素を含むことができる。コンピューティングシステム１００によって実装され得る例示的なアーキテクチャおよび例示的なハードウェア構成要素は、図１５に関して以下でさらに説明される。

【0073】

コンピューティングシステム１００は、１つまたは複数の非一時的機械可読記憶媒体または記憶デバイス（例えば、１つまたは複数のメモリデバイス１３２）も含むことができ（かつ／またはそれと通信していてもよく）、これは、例えば、限定はされないが、（例えば、プログラム可能、および／またはフラッシュ更新可能などであり得る）ローカルストレージおよび／またはネットワークアクセス可能ストレージ、ディスクドライブ、ドライブアレイ、光記憶デバイス、ＲＡＭおよび／またはＲＯＭなどのソリッドステート記憶デバイスを含むことができる。そのような記憶デバイスは、限定はしないが、様々なファイルシステム、データベース構造などを含む、任意の適切なデータ記憶装置を実装するように構成されてもよい。

【0074】

いくつかの例では、機能は、１つまたは複数のコンピュータプログラム製品（例えば、命令またはコード）としてメモリデバイス（単数または複数）１３２内に記憶され、計算構成要素１１０によって実行され得る。コンピューティングシステム１００はまた、例えば、オペレーティングシステム、デバイスドライバ、実行可能ライブラリ、および／または１つまたは複数のアプリケーションプログラムなどの他のコードを含む、ソフトウェア要素（例えば、１つまたは複数のメモリデバイス１３２内に位置する）も含むことができ、１つまたは複数のアプリケーションプログラムは、様々な実施形態によって提供される機能を実施するコンピュータプログラムを備え得、かつ／または本明細書で説明する方法を実装すること、および／若しくは本明細書で説明するシステムを構成することを行うように設計されてもよい。

【0075】

いくつかの実装形態では、ユーザ機器（ＵＥ）はＤｕａｌ ＳＩＭ Ｄｕａｌ Ａｃｔｉｖｅ（ＤＳＤＡ）機能のために構成され得る。例えば、モバイルデバイス１５０、図２に示す車両２０２、および／または他のＵＥは、ＤＳＤＡ機能を装備することができる。ＤＳＤＡ機能のあるＵＥは、少なくとも２つのＳＩＭを装備することができる。１つの説明のための例では、ＤＳＤＡ機能のある車両（例えば、図２に示す車両２０２）およびユーザデバイス（例えば、モバイルデバイス１５０）は、車両および車両の乗員（例えば、運転者、乗客など）およびユーザデバイスが、独立したネットワーク事業者（または提供者）の契約を選ぶことを可能にでき、各事業者の契約は特定のＳＩＭと関連付けられる。例えば、車両は、ワイヤレス通信アクセスのために第１の事業者を使用することができ、ユーザデバイスは、ワイヤレス通信アクセスのために第２の事業者を使用することができる。

【0076】

場合によっては、ＤＳＤＡ機能は、ある車両について、図２の車両コンピューティングシステム２１０に関して以下に説明するものなどの、ＯＥＭ ＳＩＭおよびユーザＳＩＭを含む少なくとも２つの有効なＳＩＭをサポートすることができる。以下に述べるように、ＯＥＭ ＳＩＭおよび／またはユーザＳＩＭは、１つまたは複数のモデム（例えば、図２に示す通信システム２２２の図２に示すモデム２２８および／または他のモデム）とともに使用され得る。いくつかの実装形態では、ＯＥＭ ＳＩＭ、ユーザＳＩＭ、および車両のモデム（単数または複数）は、車両のテレマティック制御ユニット（ＴＣＵ）の一部とすることができるか、またはＴＣＵ（例えば、図２の通信システム２２２の一部として）のネットワークアクセスデバイス（ＮＡＤ）（場合によっては、ネットワーク制御ユニットまたはＮＣＵとも呼ばれる）の一部とすることができる。以下に説明するように、ＯＥＭ ＳＩＭは、車両ベースの動作のために（例えば、動作の中でもとりわけ、ｅＣａｌｌ機能のために、ソフトウェア更新などのために車両製造業者と通信するために）ワイヤレス通信を実行するためのアクセスを提供する情報を記憶することができる。ＯＥＭ ＳＩＭは、緊急通報を行うためのｅＣａｌｌを含む、車両のための様々なサービスをサポートする。ユーザＳＩＭは、とりわけ、通話、メッセージング、インフォテインメント関連サービスを支援することなどの、ユーザデータ接続をサポートするために、ユーザのＵＥのためのワイヤレスネットワークアクセスを実行するために使用され得る。

【0077】

ＤＳＤＡは、ＳＩＭおよび／またはＵＥのモデムの代わりに、ユーザＳＩＭおよび車両のモデムがワイヤレスネットワークアクセスのために（例えば、セルラー接続のために）使用されることを可能にできる。例えば、車両の通信範囲内に来ると、ユーザデバイス（例えば、モバイルデバイス）は、インターフェースを介して（例えば、Ｂｌｕｅｔｏｏｔｈ（商標）、ＷｉＦｉ（商標）、ＵＳＢポート、ｌｉｇｈｔｎｉｎｇポート、および／または他のワイヤレス若しくは有線インターフェースを介して）車両と接続することができる。接続されると、ユーザデバイスの通信ユニットは、ユーザデバイスから車両の通信ユニットにワイヤレスネットワークアクセス機能を移行することができる。車両の通信ユニットは、動作の中でもとりわけ、通話を支援すること、データ（例えば、メッセージング、ビデオ、オーディオなど）を送信および／または受信することなどの、１つまたは複数のワイヤレス通信動作を実行するために、基地局との対話を開始することができる。上で述べられたように、デバイス（例えば、車両、ユーザデバイス、他のＵＥ、路側ユニット（ＲＳＵ）など）の「通信ユニット」は、ＴＣＵ、ＮＡＤ、モデム、ＳＩＭ、トランシーバ（または個々のレシーバおよび／またはトランスミッタ）、これらの任意の組み合わせ、および／または、ワイヤレス通信動作を実行するように構成される他のシステム、デバイス、若しくは構成要素であり得る。１つの説明のための例では、ユーザデバイス（例えば、モバイルデバイス）のユーザＳＩＭ（例えば、ＳＩＭに記憶される情報および／または実際のＳＩＭカード）を車両のＴＣＵ ＮＡＤに移行することができ、その後、車両のモデムは、ユーザＳＩＭ情報を使用してユーザのためにワイヤレスネットワーク事業者と通信することができる。

【0078】

図２は、車両２０２の車両コンピューティングシステム２１０の例を示すブロック図である。車両２０２は、ネットワーク（例えば、ｅＮＢ、ｇＮＢ、測位ビーコン、ロケーション測定ユニット、および／または他のネットワークエンティティ）とおよび／または他のＵＥ（例えば、モバイルデバイス１５０）と通信することができ、（例えば、ＰＣ５インターフェースまたは他のデバイス間直接インターフェース）を介したＶ２Ｘ通信を使用して通信することができる、ＵＥの例である。示されるように、車両コンピューティングシステム２１０は、少なくとも、電力管理システム２１２、制御システム２１４、インフォテインメントシステム２１６、高度道路交通システム（ＩＴＳ）２１８、１つまたは複数のセンサシステム２２０、および通信システム２２２を含むことができる。場合によっては、車両コンピューティングシステム２１０は、１つまたは複数のＣＰＵ、ＤＳＰ、ＧＰＵ、ＩＳＰ、ＡＳＩＣ、ＦＰＧＡ、アプリケーションプロセッサ（ＡＰ）、ビジョン処理ユニット（ＶＰＵ）、ニューラル処理ユニット（ＮＰＵ）、制御電圧プロセッサ（ＣＶＰ）、マイクロコントローラ、専用ハードウェア、これらの任意の組み合わせ、および／または他の処理デバイス若しくはシステムなどの、任意のタイプの処理デバイス若しくはシステムを含むことができ、あるいはそれを使用して実装され得る。

【0079】

制御システム２１４は、車両２０２、電力管理システム２１２、コンピューティングシステム２１０、インフォテインメントシステム２１６、ＩＴＳ２１８、および／または車両２０２の１つまたは複数の他のシステム（例えば、制動システム、操舵システム、ＩＴＳ２１８以外の安全システム、キャビンシステム、および／または他のシステム）の１つまたは複数の動作を制御するように構成され得る。いくつかの例では、制御システム２１４は１つまたは複数の電子制御ユニット（ＥＣＵ）を含むことができる。ＥＣＵは、車両の中の電子システムまたはサブシステムの１つまたは複数を制御することができる。制御システム２１４の一部として含まれ得る具体的なＥＣＵの例は、とりわけ、エンジン制御モジュール（ＥＣＭ）、パワートレイン制御モジュール（ＰＣＭ）、送信制御モジュール（ＴＣＭ）、ブレーキ制御モジュール（ＢＣＭ）、中央制御モジュール（ＣＣＭ）、中央タイミングモジュール（ＣＴＭ）を含む。場合によっては、制御システム２１４は、１つまたは複数のセンサシステム２２０からセンサ信号を受信することができ、車両２０２を動作させるために車両コンピューティングシステム２１０の他のシステムと通信することができる。

【0080】

車両コンピューティングシステム２１０は、電力管理システム２１２も含む。いくつかの実装形態では、電力管理システム２１２は、電力管理集積回路（ＰＭＩＣ）、スタンバイバッテリー、および／または他の構成要素を含むことができる。場合によっては、車両コンピューティングシステム２１０の他のシステムは、１つまたは複数のＰＭＩＣ、バッテリー、および／または他の構成要素を含むことができる。電力管理システム２１２は、コンピューティングシステム２１０および／または車両の他の部分のための電源を管理することなどの、車両２０２のための電力管理機能を実行することができる。例えば、電力管理システム２１２は、車両のエンジンの始動などに基づいて、電力変動を考慮して安定した電源を提供することができる。別の例では、電力管理システム２１２は、周辺温度および／またはトランジスタ接合温度を確認することなどによって、熱監視動作を実行することができる。別の例では、電力管理システム２１２は、機能の中でもとりわけ、冷却システム（例えば、１つまたは複数のファン、空調システムなど）に車両コンピューティングシステム２１０のいくつかの構成要素（例えば、１つまたは複数のＥＣＵなどの制御システム２１４）を冷却させること、車両コンピューティングシステム２１０のいくつかの機能を停止すること（例えば、１つまたは複数のディスプレイを消すこと、ワイヤレスネットワークから切断することなどによって、インフォテインメントシステム２１６を制限すること）などの、何らかの機能をある温度レベルを検出したことに基づいて実行することができる。

【0081】

車両コンピューティングシステム２１０は、通信システム２２２を含むことができる。通信システム２２２は、ネットワーク（例えば、ｇＮＢまたは他のネットワークエンティティ）に信号を送信し、かつそれから信号を受信するための、および／または、他のＵＥから（例えば、ＰＣ５インターフェース、ＷｉＦｉインターフェース、Ｂｌｕｅｔｏｏｔｈ（商標）インターフェース、ならびに／または他のワイヤレスインターフェースおよび／若しくは有線インターフェースを介して別の車両またはＵＥに）信号を送信するための、ソフトウェア構成要素およびハードウェア構成要素を含むことができる。例えば、通信システム２２２は、任意の適切なワイヤレスネットワーク（例えば、３Ｇネットワーク、４Ｇネットワーク、５Ｇネットワーク、ＷｉＦｉネットワーク、Ｂｌｕｅｔｏｏｔｈ（商標）ネットワーク、および／または他のネットワーク）を介して、情報をワイヤレスに送信および受信するように構成され得る。通信システム２２２は、相手先商標製造業者（ＯＥＭ）加入者識別モジュール（ＳＩＭまたはＳＩＭカードと呼ばれる）２２４、ユーザＳＩＭ２２６、およびモデム２２８を含む、ワイヤレス通信機能を実行するために使用される、様々な構成要素またはデバイスを含む。車両コンピューティングシステム２１０が２つのＳＩＭおよび１つのモデムを有するものとして示されるが、いくつかの実装形態では、コンピューティングシステム２１０は、任意の数のＳＩＭ（例えば、１つのＳＩＭまたは２つ以上のＳＩＭ）および任意の数のモデム（例えば、１つのモデム、２つのモデム、または２つより多くのモデム）を有することができる。

【0082】

前述したように、ＳＩＭは、特定の加入者またはユーザの国際移動体加入者識別（ＩＭＳＩ）番号および関連する鍵（例えば、暗号－復号鍵）をセキュアに記憶することができるデバイス（例えば、集積回路）である。ＩＭＳＩおよび鍵は、特定のＵＥで加入者を識別して認証するために使用され得る。ＯＥＭ ＳＩＭ２２４は、動作の中でもとりわけ、緊急通報（ｅＣａｌｌ）機能を行うこと、（例えば、ソフトウェア更新などのために）車両製造業者の通信システムと通信することなどのために、車両ベースの動作のためのワイヤレス接続を確立するために、通信システム２２２によって使用され得る。ＯＥＭ ＳＩＭ２２４は、自動車事故または他の緊急事態のイベントの際に緊急通報を行うためのｅＣａｌｌなどの緊急サービスをＯＥＭ ＳＩＭがサポートする通信システムのために重要であり得る。例えば、ｅＣａｌｌは、車両事故のイベントの際に緊急通報番号（例えば、米国では「９－１－１」、欧州では「１－１－２」など）に自動的に電話をかけて、警察署、消防署などの緊急サービスに車両のロケーションを伝えるサービスを含むことができる。

【0083】

ユーザＳＩＭ２２６は、（例えば、とりわけ、通話、メッセージング、インフォテインメント関連のサービスを行うための）ユーザデータ接続をサポートするために、ワイヤレスネットワークアクセス機能を実行するための通信システム２２２によって使用され得る。場合によっては、ユーザのユーザデバイスは、インターフェース（例えば、ＰＣ５、Ｂｌｕｅｔｏｏｔｈ（商標）、ＷｉＦｉ（商標）、ユニバーサルシリアルバス（ＵＳＢ）ポート、および／または他のワイヤレスインターフェース若しくは有線インターフェース）を介して、車両コンピューティングシステム２１０と接続することができる。接続されると、ユーザデバイスは、ユーザデバイスから車両の通信システム２２２にワイヤレスネットワークアクセス機能を移行することができ、その場合、ユーザデバイスは、ワイヤレスネットワークアクセス機能の実行を（例えば、通信システム２２２がワイヤレスアクセス機能を実行している間）止めることができる。通信システム２２２は、動作の中でもとりわけ、通話を支援すること、データ（例えば、メッセージング、ビデオ、オーディオなど）を送信および／または受信することなどの、１つまたは複数のワイヤレス通信動作を実行するために、基地局との対話を開始することができる。そのような場合、車両コンピューティングシステム２１０の他の構成要素は、通信システム２２２によって受信されるデータを出力するために使用され得る。例えば、インフォテインメントシステム２１６（以下で説明される）は、通信システム２２２によって受信されるビデオを１つまたは複数のディスプレイに表示することができ、かつ／または、１つまたは複数のスピーカを使用して通信システム２２２によって受信されるオーディオを出力することができる。

【0084】

モデム２２８（および／または通信システム２２２の１つまたは複数の他のモデム）は、ＯＥＭ ＳＩＭ２２４および／またはユーザＳＩＭ２２６のためのデータの通信のために使用され得る。いくつかの例では、モデム２２８は４Ｇ（またはＬＴＥ）モデムを含むことができ、通信システム２２２の別のモデム（図示せず）は５Ｇ（またはＮＲ）モデムを含むことができる。いくつかの例では、通信システム２２２は、１つまたは複数のＢｌｕｅｔｏｏｔｈ（商標）モデム（例えば、Ｂｌｕｅｔｏｏｔｈ（商標）Ｌｏｗ Ｅｎｅｒｇｙ（ＢＬＥ）または他のタイプのＢｌｕｅｔｏｏｔｈ通信のための）、１つまたは複数のＷｉＦｉ（商標）モデム（例えば、専用狭域通信（ＤＳＲＣ）および／または他のＷｉＦｉ通信のための）、ワイドバンドモデム（例えば、ウルトラワイドバンド（ＵＷＢ）モデム）、これらの任意の組み合わせ、および／または他のタイプのモデムを含むことができる。

【0085】

場合によっては、モデム２２８（および／または通信システム２２２の１つまたは複数の他のモデム）は、Ｖ２Ｘ通信（例えば、ビークルトゥビークル（Ｖ２Ｖ）通信では車両との、デバイストゥデバイス（Ｄ２Ｄ）通信では他のデバイスとの、ビークルトゥインフラストラクチャ（Ｖ２Ｉ）通信ではインフラストラクチャシステムとの、ビークルトゥペデストリアン（Ｖ２Ｐ）通信では歩行者ＵＥとの、など）を実行するために使用され得る。いくつかの例では、通信システム２２２は、Ｖ２Ｘ通信（例えば、ＰＣ５インターフェースを介したサイドリンク通信）を実行するために使用されるＶ２Ｘモデムを含むことができ、その場合、Ｖ２Ｘモデムは、ワイヤレスネットワークアクセス機能のために（例えば、ネットワークまたはエアインターフェース（例えば、ユニバーサル移動体通信システム（ＵＭＴＳ）インターフェースまたは「Ｕｕインターフェース」などを介したネットワーク通信）および／またはＶ２Ｘ通信以外のサイドリンク通信のために）使用される１つまたは複数のモデムとは別であり得る。

【0086】

いくつかの例では、通信システム２２２は、テレマティクス制御ユニット（ＴＣＵ）であってもよく、またはそれを含んでもよい。いくつかの実装形態では、ＴＣＵは、ネットワークアクセスデバイス（ＮＡＤ）（場合によってはネットワーク制御ユニットまたはＮＣＵとも呼ばれる）を含むことができる。場合によっては、ＮＡＤは、モデム２２８、図２に示されない任意の他のモデム、ＯＥＭ ＳＩＭ２２４、ユーザＳＩＭ２２６、および／またはワイヤレス通信のために使用される他の構成要素を含むことができる。いくつかの例では、通信システム２２２は、全地球航法衛星システム（ＧＮＳＳ）を含むことができる。場合によっては、以下で説明されるように、ＧＮＳＳは１つまたは複数のセンサシステム２２０の一部であり得る。ＧＮＳＳは、１つまたは複数の位置サービス、ナビゲーションサービス、および／またはＧＮＳＳ機能を利用できる他のサービスを実行するための能力を、車両コンピューティングシステム２１０に提供することができる。

【0087】

場合によっては、通信システム２２２は、ワイヤレス通信を送信および受信するための１つまたは複数のワイヤレスインターフェース（例えば、各ワイヤレスインターフェースのための１つまたは複数のトランシーバおよび１つまたは複数のベースバンドプロセッサを含む）、１つまたは複数の有線接続を介して通信を実行するための１つまたは複数の有線インターフェース（例えば、ユニバーサルシリアルバス（ＵＳＢ）入力、ｌｉｇｈｔｅｎｉｎｇコネクタ、および／または他の有線インターフェースなどのシリアルインターフェース）、ならびに／または、車両２０２がネットワークおよび／若しくは他のＵＥと通信することを可能にできる他の構成要素を含むことができる。

【0088】

車両コンピューティングシステム２１０はまた、コンテンツを制御できるインフォテインメントシステム２１６、およびコンテンツを出力するために使用され得る車両２０２の１つまたは複数の出力デバイスを含むことができる。インフォテインメントシステム２１６はまた、車両内インフォテインメント（ＩＶＩ）システムまたは車内エンターテインメント（ＩＣＥ）システムとも呼ばれ得る。コンテンツは、コンテンツの中でもとりわけ、ナビゲーションコンテンツ、メディアコンテンツ（例えば、ビデオコンテンツ、音楽若しくは他のオーディオコンテンツ、および／または他のメディアコンテンツ）を含むことができる。１つまたは複数の出力デバイスは、１つまたは複数のグラフィカルユーザインターフェース、１つまたは複数のディスプレイ、１つまたは複数のスピーカ、１つまたは複数のエクステンデッドリアリティデバイス（例えば、ＶＲ、ＡＲ、および／またはＭＲヘッドセット）、１つまたは複数のハプティックフィードバックデバイス（例えば、座席、ハンドル、および／または車両２０２の他の部分を振動させるように構成される１つまたは複数のデバイス）、および／または他の出力デバイスを含むことができる。

【0089】

いくつかの例では、コンピューティングシステム２１０は、高度道路交通システム（ＩＴＳ）２１８を含むことができる。いくつかの例では、ＩＴＳ２１８はＶ２Ｘ通信を実装するために使用され得る。例えば、ＩＴＳ２１８のＩＴＳスタックは、ＩＴＳのアプリケーション層からの情報に基づいてＶ２Ｘメッセージを生成することができる。場合によっては、アプリケーション層は、ＩＴＳ２１８が使用するためのメッセージを生成するための、ならびに／または、他の車両（例えば、Ｖ２Ｖ通信の場合）、歩行者ＵＥ（例えば、Ｖ２Ｐ通信の場合）、および／若しくはインフラストラクチャシステム（例えば、Ｖ２Ｉ通信の場合）に送信されることになるメッセージを生成するための、何らかの条件が満たされるかどうかを判定することができる。場合によっては、通信システム２２２および／またはＩＴＳ２１８は、カーアクセスネットワーク（ＣＡＮ）情報を（例えば、ＣＡＮバスを介して車両の他の構成要素から）取得することができる。いくつかの例では、通信システム２２２（例えば、ＴＣＵ ＮＡＤ）は、ＣＡＮバスを介してＣＡＮ情報を取得することができ、ＣＡＮ情報をＩＴＳスタックに送信することができる。ＣＡＮ情報は、情報の中でもとりわけ、車両の向き、車両の速さ、制動情報などの、車両関連情報を含むことができる。ＣＡＮ情報は、ＩＴＳ２１８に継続的または定期的に（例えば、１ミリ秒（ｍｓ）ごと、１０ｍｓごとなど）提供され得る。

【0090】

メッセージを生成するかどうかを決定するために使用される条件は、道路の安全、交通の効率、インフォテインメント、ビジネスに関する用途、および／または他の用途を含む、安全関連の用途および／または他の用途に基づいて、ＣＡＮ情報を使用して決定され得る。１つの説明のための例では、ＩＴＳ２１８は車線変更の支援または調整を実行することができる。例えば、ＣＡＮ情報を使用して、ＩＴＳ２１８は、車両２０２または車両２０２の運転者が現在の車線から隣の車線などの別の車線に車線を変更しようとしていることを、（例えば、方向指示器が作動していること、ユーザが隣の車線へと方向を変えるまたは操舵することなどに基づいて）判定することができる。車両２０２が車線を変更しようとしているとの判定に基づいて、ＩＴＳ２１８は、その車両の近くにある隣の車線の他の車両に送信されるべきメッセージに関連する車線変更条件が満たされると判定することができる。ＩＴＳ２１８は、他の車両に送信するための１つまたは複数のメッセージをＩＴＳスタックに生成させることができ、これは、他の車両と車線変更を調整するために使用され得る。応用の他の例には、とりわけ、前方衝突警告、自動緊急ブレーキ、車線逸脱警告、歩行者回避または保護（例えば、ユーザのＵＥのＶ２Ｐ通信などに基づいて、歩行者が車両２０２の近くで検出されるとき）、交通標識認識がある。

【0091】

ＩＴＳ２１８は、任意の適切なプロトコルを使用してメッセージ（例えば、Ｖ２Ｘメッセージ）を生成することができる。ＩＴＳ２１８によって使用され得るプロトコルの例は、Ｓｏｃｉｅｔｙ ｏｆ Ａｕｔｏｍｏｔｉｖｅ Ｅｎｇｉｎｅｅｒｉｎｇ（ＳＡＥ）Ｊ２７３５、ＳＡＥ Ｊ２９４５、ＳＡＥ Ｊ３１６１などの、１つまたは複数のＳＡＥ規格、および／または他の規格を含む。

【0092】

ＩＴＳ２１８のセキュリティ層は、他の車両、歩行者ＵＥ、および／またはインフラストラクチャシステムなどの、Ｖ２Ｘ通信のために構成される他のＵＥに送信され、それらによって検証されるＩＴＳスタックからのメッセージに、セキュアに署名するために使用され得る。セキュリティ層は、そのような他のＵＥから受信されたメッセージを検証することもできる。いくつかの実装形態では、署名および検証プロセスは、車両２０２のセキュリティコンテキストに基づき得る。いくつかの例では、セキュリティコンテキストは、１つまたは複数の暗号化－復号アルゴリズム、暗号化－復号アルゴリズムを使用して署名を生成するために使用される公開鍵および／若しくは秘密鍵、ならびに／または他の情報を含んでもよい。例えば、ＩＴＳスタックによって生成される各ＩＴＳメッセージは、セキュリティ層によって署名され得る。署名は、公開鍵および暗号化－復号アルゴリズムを使用して導出され得る。署名されたメッセージを受信する車両、歩行者ＵＥ、および／またはインフラストラクチャシステムは、メッセージが承認された車両からのものであることを確実にするために、署名を検証することができる。いくつかの例では、１つまたは複数の暗号化－復号アルゴリズムは、１つまたは複数の対称暗号化アルゴリズム（例えば、高度暗号化標準（ＡＥＳ）、データ暗号化標準（ＤＥＳ）、および／または他の対称暗号化アルゴリズム）、公開鍵および秘密鍵を使用する１つまたは複数の非対称暗号化アルゴリズム（例えば、Ｒｉｖｅｓｔ－Ｓｈａｍｉｒ－Ａｄｌｅｍａｎ（ＲＳＡ）および／または他の非対称暗号化アルゴリズム）、および／または他の暗号化－復号アルゴリズムを含むことができる。

【0093】

いくつかの例では、ＩＴＳ２１８は、モバイルデバイス１５０などの他のＵＥから受信されたメッセージに基づいて実行すべきいくつかの動作（例えば、Ｖ２Ｘベースの動作）を判定することができる。動作は、例えば、限定はしないが、安全関連動作、ナビゲーション動作、運転動作、ならびに／または道路安全、交通効率、ナビゲーション、インフォテインメント、ビジネス、運転動作、および／若しくは他の用途のための動作などの他の動作を含むことができる。いくつかの例では、動作は、車両２０２（例えば、制御システム２１４）に、自動機能の中でもとりわけ、自動ブレーキ、自動操舵（例えば、特定の車線において向きを維持するための）、他の車両との自動車線変更調整、自動加速および／または減速などの、自動機能を実行させることを含むことができる。例示的な一例では、メッセージは、通信システム２２２によって、別の車両（例えば、ＰＣ５インターフェースを介して）またはモバイルデバイスなどの別のＵＥから受信され得る。メッセージは、他の車両が停止しつつあることを示すことができる。メッセージの受信に応答して、ＩＴＳ ２１８は、メッセージまたは命令を生成し、そのメッセージまたは命令を制御システム２１４に送信することができる。メッセージまたは命令は、制御システム２１４に、他の車両と衝突する前に（例えば、他の車両に衝突する前に）、車両２０２を自動的に制動させて車両２０２を停止させる（または車両２０２の速度を低下させる）ことができる。

【0094】

他の例示的な実施例では、動作は、とりわけ、別の車両が車両２０２の隣の車線にあることなどの車両関連のイベントを車両２０２の乗員（例えば、運転者）に警告するメッセージ、車両２０２を停止するよう乗員（例えば、運転者）に警告するメッセージ、歩行者が近づいてくる横断歩道（例えば、車両２０２の閾値近接度内の横断歩道、および／または特定の期間内に車両２０２に近づいていると推定される横断歩道など）にいることを乗員（例えば、運転者）に警告するメッセージ、料金所が車両２０２の特定の距離内（例えば、１マイルまたは任意の測定単位による任意の他の距離内）にあることを乗員（例えば、運転者）に警告するメッセージの提示／表示をトリガすることを含むことができる。

【0095】

コンピューティングシステム２１０は、１つまたは複数のセンサシステム２２０（例えば、第１のセンサシステムから第Ｎのセンサシステム、ここでＮは２以上の値である）を含み得る。いくつかの例では、センサシステム２２０は、車両２０２に、またはその様々な部分に配置され得る、様々なタイプのセンサシステムを含むことができる。いくつかの例では、センサシステム２２０は、１つまたは複数のカメラセンサシステム、ＬＩＤＡＲセンサシステム、ＲＡＤＡＲセンサシステム、ＥｍＤＡＲセンサシステム、ＳＯＮＡＲセンサシステム、ＳＯＤＡＲセンサシステム、ＧＮＳＳ受信機システム（例えば、１つまたは複数のＧＰＳ受信機システム）、加速度計、速度センサ、ジャイロスコープ、磁力計、圧力センサシステム、ＩＭＵ、赤外線センサシステム、無線周波数（ＲＦ）センサシステム、レーザ測距システム、超音波センサシステム、超低周波センサシステム、マイクロフォン、重量センサ、それらの任意の組み合わせ、および／または他のセンサシステムを含むことができる。任意の数のセンサまたはセンサシステムが、車両２０２のコンピューティングシステム２１０の一部として含まれ得ることを理解されたい。

【0096】

車両コンピューティングシステム２１０はいくつかの構成要素および／またはシステムを含むものとして示されるが、車両コンピューティングシステム２１０は図２に示されるものより多数または少数の構成要素を含むことができることを当業者は理解するだろう。例えば、車両コンピューティングシステム２１０は、１つまたは複数の入力デバイスおよび１つまたは複数の出力デバイス（図示せず）も含むことができる。いくつかの実装形態では、車両コンピューティングシステム２１０は、（例えば、制御システム２１４、インフォテインメントシステム２１６、通信システム２２２、および／若しくはセンサシステム２２０の一部として、またはそれらとは別に）少なくとも１つのプロセッサおよび少なくとも１つのプロセッサによって実行されるコンピュータ実行可能命令を有する少なくとも１つのメモリも含むことができる。少なくとも１つのプロセッサは、少なくとも１つのメモリと通信しており、かつ／またはそれに電気的に接続される（「結合される」または「通信可能に結合される」と呼ばれる）。少なくとも１つのプロセッサは、例えば、１つまたは複数のマイクロコントローラ、１つまたは複数のＣＰＵ、１つまたは複数のＦＰＧＡ、１つまたは複数のＡＳＩＣ、１つまたは複数のＧＰＵ、１つまたは複数のＮＰＵ、１つまたは複数のＤＳＰ、１つまたは複数のＩＳＰ、１つまたは複数のＶＰＵ、１つまたは複数のアプリケーションプロセッサ（Ａｐｓ）（例えば、１つまたは複数のソフトウェアアプリケーションを走らせ、または実行するための）、および／または他のプロセッサを含むことができる。少なくとも１つのメモリは、例えば、読み取り専用メモリ（ＲＯＭ）、ランダムアクセスメモリ（ＲＡＭ）（例えば、スタティックＲＡＭ（ＳＲＡＭ））、電気的消去可能プログラマブル読み取り専用メモリ（ＥＥＰＲＯＭ）、フラッシュメモリ、１つ若しくは複数のバッファ、１つ若しくは複数のデータベース、および／または他のメモリを含むことができる。少なくともメモリの中に、または少なくともメモリ上に記憶されるコンピュータ実行可能命令は、本明細書において説明される機能または動作の１つまたは複数を実施するために実行され得る。

【0097】

図３は、車両内位置特定のための例示的なシステムプロセス３００を示す図である。この例では、モバイルデバイス１５０は、車両２０２の内部に位置する。モバイルデバイス１５０は、車両２０２の運転者など、車両２０２の乗員によって装着されるＡＲデバイスを含むことができる。モバイルデバイス１５０は、システムプロセス３００を使用して、それ自体を車両２０２内で位置特定することができる。

【0098】

モバイルデバイス１５０は、車両内位置特定を使用して、車両２０２に対するその姿勢を理解し、車両２０２の乗員を監視して、乗員の任意の乗員障害（例えば、注意散漫、中毒、眠気、健康緊急事態／条件、ストレスおよび／または高まった感情状態、不注意など）を検出し、乗員活動／イベントを監視し、車両イベント／活動を監視／検出し、車両イベントを緩和し、および／または車両２０２の動作を制御し、乗員に対してどの（もしあれば）コンテンツ（例えば、仮想コンテンツ、イベント、データ、ユーザインターフェースなど）をレンダリング（および／またはフィルタリング）すべきかなどを判定することができる。場合によっては、モバイルデバイス１５０によってレンダリング／フィルタリングされるコンテンツは、センサ測定値、検出されたイベントなど、車両２０２および／またはモバイルデバイス１５０上のセンサシステム１０２からのデータを含む（またはそれらからのデータに基づく）ことができる。

【0099】

場合によっては、車両２０２は、乗員のためにコンテンツをレンダリング／フィルタリングすることもできる。例えば、車両２０２は、車両２０２上／におけるスクリーン、車両２０２上／におけるヘッドアップディスプレイ、車両２０２のダッシュボード上のディスプレイ、車両２０２上／におけるプロジェクタデバイス、および／または任意の他のディスプレイデバイスを使用してコンテンツをレンダリングすることができる。いくつかの例では、車両２０２によってレンダリングされるコンテンツは、車両２０２からのデータ、センサシステム１０２からのデータ、および／またはウェアラブルデバイス、別の車両のコンピューティングシステムなどの１つまたは複数の他のデバイスからのデータを含むことができる。場合によっては、車両２０２は、車両２０２の座標系に対するモバイルデバイス１５０の姿勢を受信し、姿勢情報を使用して、どのコンテンツをレンダリングおよび／若しくはフィルタリングするかを判定し、ならびに／またはそのようなコンテンツをどこでおよび／若しくはいつレンダリング／フィルタリングするかを判定することができる。

【0100】

示されるように、車両コンピューティングシステム２１０上の車両アプリケーション３０２は、車両テンプレート３０４をモバイルデバイス１５０に送信することができる。モバイルデバイス１５０は、本明細書でさらに説明するように、車両テンプレート３０４を使用して、それ自体を車両２０２内で位置特定することができる。車両テンプレート３０４は、車両２０２の内部のランドマーク／マーカ３０６を指定および／または記述することができる。車両テンプレート３０４は、車両２０２の座標系に対するランドマーク／マーカ３０６の座標を指定することもできる。ランドマーク／マーカ３０６の座標は、車両２０２の座標系に対するランドマーク／マーカ３０６の位置および／または向きを含み得る。ランドマーク／マーカ３０６は、モバイルデバイス１５０上の１つまたは複数の画像センサ（例えば、画像センサ１０４）を使用して撮像および検出され得る任意の視覚ランドマーク／マーカを含み得る。例えば、ランドマーク／マーカ３０６は、車両２０２内部の１つまたは複数の視覚パターン、車両２０２内部の能動照明、車両２０２内部の要素またはオブジェクト（可動および／または不動要素）、デバイス、車両２０２内部の一部、および／または任意の他の視覚ランドマーク／マーカを含み得る。いくつかの実施例では、画像センサのうちの１つまたは複数は、ＲＦおよび／またはＩＲ撮像を行うように構成されることができる。これらの例では、ランドマーク／マーカ３０６は、ＲＦおよび／またはＩＲで感知され得る車両２０２の内部のオブジェクトおよび／またはパターンを含み得る。

【0101】

いくつかの例では、ランドマーク／マーカ３０６は、車両２０２の内部（および／または内部のオブジェクト）に配置および／または固定された１つまたは複数のパターンまたはコード（例えば、クイックレスポンス（ＱＲ）コード（登録商標）、バーコード、チェッカー盤パターン、形状、シンボルなどのパターン化デザイン）、車両２０２の内部（および／または内部のオブジェクト）に配置および／または固定されたライト（例えば、発光ダイオード（ＬＥＤ）、電球など）、車両２０２の内部のオブジェクト（例えば、ドア、窓、座席、ヘッドレスト、車両２０２のダッシュボード／パネルおよび／またはセンターコンソールの構成要素（例えば、計装、ラジオ／メディアシステム（および／またはその構成要素））、ハンドル、ホーン、信号伝達システム、シフトレバー、カップホルダ、制御装置など）、車両２０２の内部の可動および／または不動要素（例えば、車両２０２の（例えば、フロントガラス、窓、ダッシュ、ドア、サイドパネル、リアウィンドウなどの）内部のコーナーなどの部分、カーシート、ハンドルなど）を含み得る。

【0102】

モバイルデバイス１５０は、ランドマーク／マーカ３０６を撮像するために１つまたは複数の画像センサ１０４を使用することができる。例えば、モバイルデバイス１５０は、１つまたは複数の画像センサ１０４を使用して、車両２０２内のランドマーク／マーカ３０６を示す１つまたは複数の画像をキャプチャすることができる。モバイルデバイス１５０の位置特定エンジン３１２は、１つまたは複数の画像センサ１０４からの１つまたは複数の画像および車両テンプレート３０４を使用して、車両２０２内でそれ自体を位置特定することができる。例えば、モバイルデバイス１５０は、１つまたは複数の画像センサ１０４によってキャプチャされた１つまたは複数の画像中に示されたランドマーク／マーカ３０６を検出することができる。位置特定エンジン３１２は、車両テンプレート３０４を使用して、車両２０２の座標系に対するランドマーク／マーカ３０６の座標（および向き）を判定することができる。位置特定エンジン３１２は、車両２０２の座標系に対するランドマーク３０６の座標を、モバイルデバイス１５０の座標系に対する関連付けられた座標に変換するために、変換などのアルゴリズムを実装することができる。位置特定エンジン３１２は、車両２０２に対するランドマーク／マーカ３０６の座標、およびモバイルデバイス１５０に対するランドマーク／マーカ３０６の座標を使用して、車両２０２内のモバイルデバイス１５０の姿勢（例えば、車両２０２の座標系に対する）を判定し得る。

【0103】

いくつかの例では、位置特定エンジン３１２は、モバイルデバイス１５０の座標系に対するモバイルデバイス１５０の追跡されたロケーション（例えば、モバイルデバイス１５０上の１つまたは複数のセンサからのセンサデータに基づく）を使用して、ランドマーク／マーカ３０６のロケーションおよび／または向きに対するモバイルデバイス１５０の姿勢を判定することができる。位置特定エンジン３１２は、車両２０２の座標系に対するモバイルデバイス１５０の姿勢を判定するために、ランドマーク／マーカ３０６のロケーションおよび／または向きに対するモバイルデバイス１５０の姿勢を使用することができる。

【0104】

場合によっては、位置特定エンジン３１２は、他のセンサ（例えば、ロケーションセンサ１０６、ＩＭＵ１０８など）からのデータを使用して、車両２０２内のモバイルデバイス１５０の姿勢を判定するのを支援することができる。例えば、ロケーションセンサ（単数または複数）１０６は、センサデータ／信号（例えば、ＷｉＦｉまたはＢｌｕｅｔｏｏｔｈなどのＲＦ信号、超音波信号など）を使用して、車両２０２内の１つまたは複数のオブジェクトに対するモバイルデバイス１５０の姿勢を判定することができる。ロケーションセンサ（単数または複数）１０６は、モバイルデバイス１５０の判定された姿勢を位置特定エンジン３１２に与えることができる。位置特定エンジン３１２は、車両２０２内のモバイルデバイス１５０を位置特定するために、前述したように、そのような姿勢情報ならびにランドマーク／マーカ３０６に基づいて判定されたロケーションおよび／または向き情報を使用することができる。

【0105】

車両内位置特定に基づいて、位置特定エンジン３１２は、車両２０２の座標系に対するモバイルデバイス１５０の姿勢を示す位置特定データ３１４を生成することができる。位置特定エンジン３１２は、位置特定データ３１４をモバイルデバイス１５０上のＡＲアプリケーション３１０に提供することができる。いくつかの例では、ＡＲアプリケーション３１０は、位置特定データ３１４を使用して、車両２０２の乗員のための（例えば、モバイルデバイス１５０のユーザのための）ユーザインターフェースをレンダリングし、乗員のために（もしあれば）どのコンテンツをレンダリングすべきかを判定し、（もしあれば）どのコンテンツをフィルタリングすべきかを判定し、乗員を（例えば、障害、活動／イベントなどについて）監視し、イベントを緩和し、ならびに／または本明細書で説明されるような任意の他の出力および／若しくは判定を行うことができる。場合によっては、位置特定エンジン３１２および／またはモバイルデバイス１５０は、位置特定データ３１４を車両コンピューティングシステム２１０に提供することができ、車両コンピューティングシステム２１０上の車両アプリケーション３０２は、位置特定データ３１４を使用して、ユーザインターフェースおよび／または本明細書に説明される任意の他のデータをレンダリングすることができる。場合によっては、車両アプリケーション３０２は、追加または代替として、イベントデータ、乗員の状態に関するデータ（例えば、乗員の障害を示すデータ）、車両計装データ、および／または任意の他のデータを使用して、ユーザインターフェースおよび／または乗員のための任意の他の仮想コンテンツをレンダリングすることができる。

【0106】

場合によっては、モバイルデバイス１５０は、１つまたは複数の画像を使用して、任意の他のデータおよび／またはモダリティを用いてまたは用いずに、モバイルデバイス１５０の姿勢を判定することができる。例えば、モバイルデバイス１５０は、車両２０２の座標系に対するモバイルデバイス１５０の姿勢を判定するために、車両２０２の内部の１つまたは複数の画像を使用することができる。１つまたは複数の画像は、車両２０２の内部における１つまたは複数のランドマーク／マーカを描写することができる。モバイルデバイス１５０は、１つまたは複数の画像を使用して、それ自体に対する１つまたは複数のランドマーク／マーカの位置を識別することができ、モバイルデバイス１５０は、それを使用して、車両２０２内のモバイルデバイス１５０の姿勢（例えば、１つまたは複数のランドマーク／マーカに対する、および／または車両２０２の座標系に対する）を判定することができる。

【0107】

図４Ａは、車両乗員支援のための拡張現実の例示的なシステムプロセス４００を示す図である。この例では、車両２０２は、前述のようにランドマーク３０６を含み得る。車両コンピューティングシステム２１０は、車両２０２上のセンサシステム２２０からセンサデータ４０６を取得することができる。センサデータ４０６は、本明細書でさらに説明するように、モバイルデバイス１５０に提供される車両データ４０８の少なくとも一部を生成するために使用され得る。いくつかの例では、センサデータ４０６はまた、車両アプリケーション３０２の車両監視エンジン４０２によって、車両２０２および／または車両２０２の動作を監視するために、および／または車両アプリケーション３０２のイベント緩和エンジン４０４によって、イベント緩和を実行する（例えば、運転者を支援する、運転者によって開始／トリガされたエラーおよび／または動作を訂正するなど）ために使用され得る。例えば、車両監視エンジン４０２は、センサデータ４０６を使用して、車両２０２およびその周囲に関連する状況イベントおよび／または他のイベント（例えば、切迫したイベントおよび／または発生しているイベント）を認識および／または監視することができる。別の例として、イベント緩和エンジン４０４は、センサデータ４０６を使用して、例えば、限定はしないが、１つまたは複数の車両機能、動作、および／またはアクションを防止および／または実施することと、運転者に対する警告／警報を生成することと、運転者によって開始／トリガされたエラーおよび／または動作を訂正することと、セーフガードを実施することと、１つまたは複数の自律運転能力を作動させることなどの、運転者イベント緩和アクションを実行することができる。いくつかの例では、イベント緩和エンジン４０４は、本明細書で説明するように、モバイルデバイス１５０からの１つまたは複数の運転者監視イベントの受信に応答して、運転者イベント緩和アクションを実行することができる。

【0108】

センサデータ４０６は、車両２０２の状況／状態、車両周囲の状況、ナビゲーション情報、運転／動作イベント、安全イベントなどに関する情報を提供することができる。例えば、センサデータ４０６は、車両２０２の動作（例えば、速度、進行方向／方向、加速度／減速度など）、車両２０２のロケーション、車両２０２に関連付けられた運転／動作統計、車両２０２に関連付けられた検出された活動／イベントに関連付けられたタイムスタンプ、任意の条件（例えば、オブジェクト、車線区分線、交通信号、歩行者、他の車両、動物、道路条件、交通、天候、インフラストラクチャ条件、照明、付近の障害物など）および／または車両２０２の外部の活動／イベント（例えば、車両２０２の経路に沿って、車両２０２の外部で発生、車両２０２の周囲、車両２０２の外部の環境、車両２０２の近傍など）、ナビゲーション情報などを示すデータを含むことができる。

【0109】

別の例として、センサデータ４０６は（追加または代替として）、車両２０２の任意の条件および／または状態（例えば、バッテリー充電状態、燃料残量、警告および／またはエラー、故障または誤動作など）、車両２０２の１つまたは複数の構成要素の任意の条件および／または状態（例えば、タイヤ、ブレーキ、車両センサ、エンジン、ドアロック、無線および／または音響システム、制御および／または信号伝達システム、車両コンピューティングシステム２１０、死角情報システム、運転者監視システム、ブレーキシステム、自律運転構成要素、駐車センサ、運転者支援システム、ナビゲーションシステム、自動車ヘッドアップディスプレイ、光センサ、車両ライト、車両通信システム（例えば、Ｖ２Ｖ、Ｖ２Ｉ、Ｖ２Ｘ）など）、車両２０２によって実装されるまたは実装される任意の機能／アクション（例えば、オートパイロット、トラクション制御、クルーズ制御、衝突回避、車線逸脱、車線中心化、安定性制御、ブレーキ支援、交通警報、車線維持、高速道路支援、駐車、交通標識認識、死角監視、運転者監視、交差点支援、車線変更支援、インテリジェント速度適応、タイヤ圧力監視、旋回、加速／減速、信号伝達など）、任意の車両安全関連イベント（例えば、切迫した衝突、動作エラー、１つまたは複数の規制の違反（例えば、速度制限、シートベルト規制、車線変更規制、道路安全規則など）、衝突および／または衝撃イベントなどを含み得る。

【0110】

場合によっては、センサデータ４０６は、車両２０２の乗員に関連付けられた測定値を含むことができる。例えば、センサデータ４０６は、車両２０２の１つまたは複数の座席上の１つまたは複数の重量センサからの測定値を含むことができる。１つまたは複数の重量センサからの測定値は、乗員が車両２０２の特定の座席にいることを示すことができる。いくつかの例では、１つまたは複数の重量センサの測定値は、本明細書でさらに説明するように、乗員および／またはモバイルデバイス１５０の位置を判定するのを助けるために使用され得る。例えば、測定値は、乗員が車両２０２の特定の座席にいることを示し得る。モバイルデバイス１５０は、本明細書でさらに説明するように、１つまたは複数のセンサを使用して乗員のロケーション／位置を確認することができる。

【0111】

車両２０２は、前述したようにランドマーク３０６を含み得る。車両コンピューティングシステム２１０は、車両データ４０８をモバイルデバイス１５０に提供することができる。車両データ４０８は、車両テンプレート（例えば、車両テンプレート３０４）を含むことができる。いくつかの例では、車両データ４０８はまた、センサデータ４０６および／またはセンサデータ４０６に基づいて生成されたデータのいずれかを含むことができる。場合によっては、センサデータ４０６に基づいて生成されるデータは、例えば、限定するものではないが、センサデータ４０６内の情報の記述（例えば、センサ測定値および／または車両計装の記述）、センサデータ４０６から生成される１つまたは複数の判定および／または予測（例えば、車両２０２の環境内で発生し、かつ／または車両２０２の動作（および／または関連する安全リスク）に影響を及ぼすと推定される、判定および／または予測されるイベントなど）、センサデータ４０６から生成される１つまたは複数の出力および／または推論、センサデータ４０６に関連する統計および／またはメトリック、センサデータ４０６によって識別および／または記述されるイベント、車両２０２に関連する状況情報（例えば、車両２０２の状況／状態）、センサデータ４０６の１つまたは複数の属性などを含むことができる。

【0112】

例えば、場合によっては、車両データ４０８は、車両テンプレートと、センサデータ４０６に含まれるおよび／若しくはセンサデータ４０６から生成されるイベントデータ、ならびに／またはセンサデータ４０６に含まれるおよび／若しくはセンサデータ４０６から生成される車両状況情報のうちの少なくとも１つとを含むことができる。場合によっては、イベントデータは、１つまたは複数のオブジェクトおよび／または対象（例えば、歩行者、動物、インフラストラクチャオブジェクト、建物、デバイス、自転車、バイク、交通、ゲート、標識など）、障害物（例えば、窪み、縁石、コーン、木、道路工事、事故、道路ブロック、電気ケーブル、路側のゴミまたは物体、デブリ、水分、氷、雪など）、事件（例えば、衝突、接近または切迫した遭遇、別の車両による操縦、路側活動、緊急または緊急車両など）、別の車両など、車両２０２を取り囲むおよび／または関連付けられた環境におけるイベント（例えば、進入／接近イベント、退出イベント、静止イベント、移動イベント、予測イベントなど）の指標を含むことができる。

【0113】

場合によっては、イベントは、１つまたは複数のイベントおよび／または車両のロケーション／軌道、および／または車両２０２の動作／ナビゲーションに対する関連性に基づく１つまたは複数のイベントを含むことができる。例えば、イベントは、車両２０２の経路内で／経路に沿って検出されたイベント、および／または車両２０２による閾値期間若しくは閾値移動距離内で車両２０２の経路内に／経路に沿って存在すると予測されるイベント、車両２０２および／または車両２０２の経路に対する閾値近接度／距離内のイベント、車両２０２による操縦（例えば、加速、減速、旋回、制動、車線中心化、衝突回避、停止、信号伝達等）および／または車両２０２の動作（例えば、ポリシー）の変更（例えば、経路変更、自律運転機能の変更または実施、１つまたは複数の運転パラメータおよび／または閾値の変更等）をトリガ／促すと推定されるイベント等を含み得る。

【0114】

車両データ４０８内の車両テンプレートは、車両２０２内のランドマーク３０６の指標と、車両２０２の座標系に対する（例えば、車両２０２上の車両コンピューティングシステム２１０の座標系に対する）ランドマーク／マーカ３０６の座標および／または向きとを含み得る。例えば、車両テンプレートは、車両２０２内のランドマーク／マーカの記述と、車両２０２の座標系に対するランドマーク／マーカの座標および／または向きとを含み得る。モバイルデバイス１５０は、前述のように、車両データ４０８（および車両データ４０８の任意の他の部分）内の車両テンプレートを使用して、それ自体を車両２０２内で位置特定することができる。いくつかの例では、モバイルデバイス１５０はまた、車両データ４０８を使用して、例えば、本明細書で説明されるＡＲ、監視、レンダリング、制御、通信、運転者支援、および／または緩和機能のいずれかなど、本明細書で説明される機能のいずれかを実行することができる。

【0115】

位置特定エンジン３１２は、車両２０２内のモバイルデバイス１５０を位置特定する位置特定データ３１４を生成することができる。位置特定エンジン３１２は、本明細書でさらに説明されるように、監視エンジン４１０、コンテンツフィルタリングエンジン４１２、および／または車両ユーザインターフェース４１４による使用のために、位置特定データ３１４をＡＲアプリケーション３１０に提供することができる。位置特定データ３１４は、車両２０２の座標系に対するモバイルデバイス１５０の姿勢を含むことができる。いくつかの例では、位置特定エンジン３１２は、車両データ４０８に基づいて（例えば、車両データ４０８内の車両テンプレートに基づいて）、およびモバイルデバイス１５０の１つまたは複数の画像センサ１０４からの画像データに基づいて、位置特定データ３１４を生成することができる。

【0116】

例えば、位置特定エンジン３１２は、１つまたは複数の画像センサ１０４から、ランドマーク／マーカ３０６の１つまたは複数の画像を取得することができる。１つまたは複数の画像は、ランドマーク／マーカ３０６のうちの１つまたは複数を描写することができる。位置特定エンジン３１２は、１つまたは複数の画像内に描写されるランドマーク／マーカ３０６を検出することができる。位置特定エンジン３１２は、車両テンプレートを使用して、車両テンプレートにおいて参照／記述された任意の検出されたランドマーク／マーカの座標および／または向きを判定することができる。車両テンプレート内の座標および／または向きに基づいて、位置特定エンジン３１２は、車両２０２の座標系に対する検出されたランドマーク／マーカの位置および／または向きを判定することができる。

【0117】

場合によっては、位置特定エンジン３１２はまた、追跡エンジン４２０からの追跡データ４２２を使用して、モバイルデバイス１５０の姿勢を判定することができる。いくつかの例では、追跡データ４２２は、以下でさらに説明するように、物理空間におけるモバイルデバイス１５０の姿勢を含むことができる。場合によっては、位置特定エンジン３１２は、車両２０２の座標系に対するモバイルデバイス１５０の姿勢を判定するために、検出されたランドマークに対するモバイルデバイス１５０の姿勢を判定することができる。例えば、位置特定エンジン３１２は、モバイルデバイス１５０の座標系に対するランドマーク／マーカ３０６の位置および／または向きを判定するために、ランドマーク／マーカ３０６を示す１つまたは複数の画像を使用することができる。位置特定エンジン３１２は、ランドマーク／マーカ３０６の位置および／または向きと、追跡エンジン４２０からの追跡データ４２２に示されるモバイルデバイス１５０の姿勢とを使用して、ランドマーク／マーカ３０６に対するモバイルデバイス１５０の姿勢を判定することができる。位置特定エンジン３１２は、モバイルデバイス１５０とランドマーク／マーカ３０６との相対姿勢を使用して、車両２０２の座標系に対するモバイルデバイス１５０の姿勢を判定することができる。

【0118】

いくつかの例では、車両２０２の座標系に対するモバイルデバイス１５０の姿勢を判定するために、位置特定エンジン３１２は、車両２０２の座標系に対する検出されたランドマークの座標を、モバイルデバイス１５０の座標系に対する対応する座標に変換（例えば、転換（convert）、平行移動（translate）等）し得る。例えば、場合によっては、位置特定エンジン３１２は、車両２０２の座標系に対する検出されたランドマーク／マーカの座標に対応する、モバイルデバイス１５０の座標系に対する座標を判定することができる。位置特定エンジン３１２は、車両２０２の座標系に対する検出されたランドマーク／マーカのロケーション（例えば、座標）、およびモバイルデバイス１５０の座標系に対する検出されたランドマーク／マーカのロケーション（例えば、座標）に対するモバイルデバイス１５０の座標系に対するモバイルデバイス１５０のロケーション（例えば、座標）を使用して、車両２０２の座標系に対するモバイルデバイス１５０の姿勢を判定することができる。

【0119】

場合によっては、位置特定エンジン３１２はまた、前述のように、ロケーションセンサ１０６からのデータを使用して、位置特定データ３１４の生成を支援することができる。例えば、場合によっては、ロケーションセンサ１０６は、例えば、ＲＦベースの位置特定／測位、超音波ベースの位置特定／測位など、１つまたは複数の位置特定信号／アルゴリズムを使用して、モバイルデバイス１５０の姿勢および／またはランドマーク／マーカ３０６のうちの１つまたは複数を判定することができる。

【0120】

場合によっては、センサデータ４０６は、車両２０２の１つまたは複数の座席上の１つまたは複数の重量センサからの測定値を含むことができる。１つまたは複数の重量センサからの測定値は、モバイルデバイス１５０を保持または装着している乗員が車両２０２の特定の座席にいることを示すことができる。この情報は、前に説明したように、モバイルデバイス１５０によって判定されたモバイルデバイス１５０のロケーション／位置を確認するために使用され得る。

【0121】

追跡エンジン４２０は、センサデータを取得し、追跡動作を実行するためにセンサデータを使用することができる。追跡動作は、モバイルデバイス１５０、車両２０２の乗員（および／または乗員の１つまたは複数の身体部分、例えば、手、目、指、頭部姿勢など）などの姿勢（例えば、ロケーション、向きなど）を追跡することができる。センサデータは、１つまたは複数の画像センサ１０４からの画像データ、ＩＭＵ１０８からの位置情報（例えば、角速度、線加速度、向き、および／またはピッチ、ロール、およびヨーの変化）、および／またはモバイルデバイス１５０および／または車両２０２のロケーションセンサ１０６などの１つまたは複数の他のセンサからのデータを含むことができる。いくつかの例では、追跡エンジン４２０は、モバイルデバイス１５０の姿勢を判定するために、モバイルデバイス１５０の位置追跡（例えば、６自由度（６ＤＯＦ）位置追跡など）を実行するために、１つまたは複数の画像センサ１０４、ＩＭＵ１０８、および／またはロケーションセンサ１０６からのデータを使用することができる。追跡エンジン４２０は、追跡データ４２２を生成し、監視エンジン４１０、コンテンツフィルタリングエンジン４１２、および／または車両ユーザインターフェース４１４による使用のために、追跡データ４２２をＡＲアプリケーション３１０に提供することができる。いくつかの例では、追跡データ４２２は、モバイルデバイス１５０の座標系に対するモバイルデバイス１５０の姿勢を含むことができる。

【0122】

追跡エンジン４２０は、カルマンフィルタ、手追跡アルゴリズム、機械学習アルゴリズム、光線追跡アルゴリズム、視線および／または目追跡アルゴリズム、コンピュータビジョンアルゴリズム、位置追跡アルゴリズムなどの１つまたは複数の追跡アルゴリズムを使用して、モバイルデバイス１５０および／または車両２０２の乗員の１つまたは複数の身体部分（例えば、目、手、指、頭など）を追跡することができる。乗員は、車両２０２の運転者または乗客を含むことができる。追跡エンジン４２０は、追跡データ４２２をＡＲアプリケーション３１０に提供することができる。追跡データ４２２は、本明細書でさらに説明されるように、位置および／または向き情報を含むことができる。

【0123】

場合によっては、追跡エンジン４２０は、複数の追跡動作を実行することができる。例えば、追跡エンジン４２０は、モバイルデバイス１５０と、車両２０２の乗員の１つまたは複数の身体部分（例えば、手、目、頭、指、姿勢など）とを追跡することができる。いくつかの例では、追跡エンジン４２０は、車両２０２の乗員の手（単数または複数）を追跡することができる。いくつかの例では、追跡エンジン４２０は、車両２０２の乗員の目および／または視線を追跡することができる。

【0124】

例示のために、図４Ｂを参照すると、追跡エンジン４２０は、デバイス追跡エンジン４３０、手追跡エンジン４３２、および／または目追跡エンジン４３４を含むことができる。デバイス追跡エンジン４３０は、先に説明したように、モバイルデバイス１５０の位置および／または向きを追跡することができる。デバイス追跡エンジン４３０は、ＡＲアプリケーション３１０のためのデバイス追跡データ４４０を生成することができる。場合によっては、デバイス追跡データ４４０は、図４Ａに示される追跡データ４２２の少なくとも一部を含むか、または表すことができる。

【0125】

デバイス追跡エンジン４３０は、モバイルデバイス１５０の姿勢を追跡するために、１つまたは複数の画像センサ１０４からの１つまたは複数の画像および／またはＩＭＵ１０８からの慣性センサデータを使用することができる。場合によっては、デバイス追跡エンジン４３０は、（追加または代替として）ロケーションセンサ１０６などの１つまたは複数の追加のセンサからのデータを使用して、モバイルデバイス１５０の姿勢を追跡することができる。例えば、ロケーションセンサ１０６は、１つまたは複数のＲＦ信号を取得し、１つまたは複数のＲＦ信号に関連付けられたラウンドトリップ時間（ＲＴＴ）、１つまたは複数のＲＦ信号に関連付けられた到着時間（ＴＯＡ）、１つまたは複数のＲＦ信号に関連付けられた受信信号強度インジケータ（ＲＳＳＩ）などに基づいて、モバイルデバイス１５０に関連付けられた姿勢情報を生成することができる。デバイス追跡エンジン４３０は、モバイルデバイス１５０の姿勢を追跡するためにロケーションセンサ１０６からの姿勢情報を使用することができる。

【0126】

手追跡エンジン４３２は、モバイルデバイス１５０に関連付けられた乗員の１つまたは複数の手を追跡することができる。手追跡エンジン４３２は、ＡＲアプリケーション３１０のための手追跡データ４４２を生成することができる。場合によっては、手追跡データ４４２は、図４Ａに示される追跡データ４２２の少なくとも一部を含むか、または表すことができる。手追跡エンジン４３２は、１つまたは複数の画像センサ１０４からの画像データを使用して、乗員の１つまたは複数の手を追跡することができる。画像データは、乗員の１つまたは複数の手の１つまたは複数の画像を含むことができる。手追跡エンジン４３２は、１つまたは複数の画像内の１つまたは複数の手を検出し、１つまたは複数の手を示す１つまたは複数の画像に基づいて物理空間内の１つまたは複数の手の姿勢を判定することができる。場合によっては、手追跡エンジン４３２は、（追加または代替として）ロケーションセンサ１０６などの１つまたは複数の追加のセンサからのデータを使用して、１つまたは複数の手の姿勢を追跡することができる。例えば、ロケーションセンサ１０６は、１つまたは複数のＲＦ信号を取得し、１つまたは複数のＲＦ信号に関連付けられたＲＴＴ、１つまたは複数のＲＦ信号に関連付けられたＴＯＡ、１つまたは複数のＲＦ信号に関連付けられたＲＳＳＩなどに基づいて、１つまたは複数の手に関連付けられた姿勢情報を生成することができる。手追跡エンジン４３２は、ロケーションセンサ１０６からの姿勢情報を使用して、１つまたは複数の手を追跡することができる。

【0127】

手追跡エンジン４３２は、手追跡アルゴリズム、機械学習アルゴリズム、光線追跡アルゴリズム、コンピュータビジョンアルゴリズムなどの１つまたは複数の追跡アルゴリズムを使用して、１つまたは複数の手を追跡することができる。手追跡エンジン４３２は、手追跡データ４４２をＡＲアプリケーション３１０に提供することができる。手追跡データ４４２は、物理空間における１つまたは複数の手の姿勢を含むことができる。

【0128】

目追跡エンジン４３４は、１つまたは複数の画像センサ１０４からの画像データを使用して、乗員の目および／または視線を追跡することができる。目追跡エンジン４３４は、ＡＲアプリケーション３１０のための目追跡データ４４４を生成することができる。目追跡データ４４４は、１つまたは複数の時間または期間において判定された乗員の視線を含むことができる。場合によっては、目追跡データ４４４は、図４Ａに示される追跡データ４２２の少なくとも一部を含むか、または表すことができる。

【0129】

画像データは、乗員の目を描写する１つまたは複数の画像を含むことができる。目追跡エンジン４３４は、１つまたは複数の画像内の目を検出し、１つまたは複数の画像内の検出された目に基づいて乗員の視線を判定することができる。いくつかの例では、目追跡エンジン４３４は、１つまたは複数の画像と、光線追跡アルゴリズム、機械学習アルゴリズム、コンピュータビジョンアルゴリズムなどの１つまたは複数のアルゴリズムとを使用して、乗員の視線を検出することができる。目追跡エンジン４３４は、前述のように、目追跡データ４４４をＡＲアプリケーション３１０に提供することができる。

【0130】

ＡＲアプリケーション３１０は、位置特定データ（例えば、位置特定データ３１４）および追跡データ（例えば、追跡データ４２２、デバイス追跡データ４４０、手追跡データ４４２、および／または目追跡データ４４４）を使用して、例えば、乗員監視（例えば、監視エンジン４１０を介して）、仮想コンテンツフィルタリング（例えば、コンテンツフィルタリングエンジン４１２を介して）、コンテンツレンダリング（例えば、車両ユーザインターフェース４１４を介して）、それらの組み合わせ、および／または本明細書に説明されるような他の機能等の種々の機能を行うことができる。例えば、場合によっては、ＡＲアプリケーション３１０は、車両２０２に関連付けられたイベントおよび／またはモバイルデバイス１５０に関連付けられた乗員を監視するように構成された監視エンジン４１０を実装することができる。

【0131】

ＡＲアプリケーション３１０は、追加または代替として、位置特定データ（例えば、位置特定データ３１４）、追跡データ（例えば、追跡データ４２２、デバイス追跡データ４４０、手追跡データ４４２、および／または目追跡データ４４４）、監視エンジン４０２からの乗員データ、車両アプリケーション３０２上の車両データ４０８および／または監視エンジン４１０からの車両状態データおよび／またはイベントデータ、センサデータ、および／または任意の他のデータを使用して、仮想コンテンツが乗員のためにレンダリングされるのをフィルタリング／ブロックし、かつ／または仮想コンテンツレンダリングからライブカメラフィードなどのライブコンテンツに切り替えるように構成されたコンテンツフィルタリングエンジン４１２を実装することができる。

【0132】

ＡＲアプリケーション３１０は、追加または代替として、仮想コンテンツ、ライブコンテンツ（例えば、カメラフィード等）、および／またはユーザインターフェース要素等のデータをレンダリングするように構成される、車両ユーザインターフェース４１４を実装することができる。車両ユーザインターフェース４１４は、位置特定データ（例えば、位置特定データ３１４）、追跡データ（例えば、追跡データ４２２、デバイス追跡データ４４０、手追跡データ４４２、および／または目追跡データ４４４）、監視エンジン４１０からの乗員データ、車両アプリケーション３０２上の車両データ４０８および／または監視エンジン４０２からの車両および／またはイベントデータ、センサデータ、および／または任意の他のデータに基づいて、データをレンダリングすることができる。

【0133】

監視エンジン４１０は、モバイルデバイス１５０に関連付けられた乗員を監視し、乗員の状態を検出することができる。いくつかの例では、乗員の状態は、乗員の視線、乗員の姿勢、乗員の活動、乗員の任意の障害、および／または乗員に関する任意の他の情報を含むことができる。乗員の障害は、車両２０２を安全に操作（例えば、運転、制御、管理等）する乗員の能力にインパクト／影響を与え得る任意のイベント、活動、注意散漫、状態、属性、挙動、および／または条件（例えば、認知的、感情的または心理的、生理学的、視覚的、オーディオ、および／または状況的イベント、条件、属性、活動、挙動、注意散漫、および／または状態）を含むことができる。例えば、障害は、車両２０２を操作し（例えば、運転する、制御する、管理する等）、車両２０２の動作中に車両２０２が遭遇する任意のイベント／条件を検出／認識し、車両２０２の動作中に車両２０２が遭遇するイベント／条件を回避および／または反応し、車両２０２を操作することに対する注意／集中の閾値量（および／または車両２０２に関連する任意のイベント／条件、車両２０２の動作、車両２０２の環境／周囲等）を維持する（および／または閾値期間にわたって注意／集中を維持する）などのための、乗員の能力（および／または関連する応答／反応時間）にネガティブにインパクト／影響を与え得るものを含み得る。

【0134】

いくつかの例では、障害は、（例えば、車両２０２および／または関連する車両および／または関連するイベントの動作からの）注意散漫、眠気の状態、中毒の状態、健康緊急事態（例えば、卒中、心臓発作、発作、緊張病状態、意識喪失など）、感情的または心理的ストレスの状態、高まった感情状態、意識喪失、無能力化、生理学的状態、乗員コンテキスト（例えば、乗員の位置／姿勢、乗員挙動、乗員の動き、乗員活動、乗員の車両２０２および／または乗員の環境との関わり、乗員の運動の自由度または柔軟性を抑制／制限し、かつ／または乗員の反応時間を短縮する衣服などの乗員衣服、処方眼鏡またはシートベルトなどの医療または安全デバイスを着用しなかったこと、乗員の視界が悪い条件でのサングラスなどの乗員の視界を低下させるアイテム、または乗員の視界を遮断または部分的に遮断し得る衣服など）、安全性リスクを増加させ、かつ／または乗員が車両２０２を制御し、かつ／または運転および／または車両関連イベントに応答する能力を低下させ得るもの、乗員の認知状態、車両２０２内の高雑音レベル（例えば、乗員が関連する音に集中し、かつ／または聞く能力を制限し得る）などを含み得る。

【0135】

場合によっては、障害は、車両２０２の動作および／または車両２０２に関連付けられたイベントに対する乗員の注意散漫状態、乗員の中毒状態、乗員の健康状態、乗員の覚醒状態、乗員の検出された感情状態、車両２０２を制御するための（乗員の）障害位置（例えば、運転中に屈む、車両２０２の１つまたは複数の制御装置から離れる、車両２０２の動作／挙動を制御するための運転制御装置以外の１つまたは複数のオブジェクトで占有された１つまたは複数の手など）、障害視界（例えば、道路および／または環境の視界／可視性の障害物、光および／または可視性条件の障害または低下など）、および／または任意の他の障害を含み得る。

【0136】

いくつかの例では、監視エンジン４１０は、位置特定データ（例えば、位置特定データ３１４）、追跡データ（例えば、追跡データ４２２、デバイス追跡データ４４０、手追跡データ４４２、および／若しくは目追跡データ４４４）、ならびに／または車両データ４０８（若しくはその一部）などの任意の他のイベント、状態、および／若しくはセンサデータを使用して、乗員（例えば、運転者、乗客など）を監視し、乗員の任意の障害を検出することができる。例えば、監視エンジン４１０は、（例えば、車両データ４０８および／またはセンサデータ４０６から判定される）車両２０２の（車両を安全に操作する乗員の能力、例えば、状態／状況、動作、車両イベントなどに関連する、特徴付ける、および／または影響を及ぼす）コンテキスト、（例えば、位置特定データ（例えば、位置特定データ３１４）、追跡データ（例えば、追跡データ４２２、デバイス追跡データ４４０、手追跡データ４４２、および／または目追跡データ４４４）、および／または１つまたは複数の画像センサ１０４、ＩＭＵ１０８、ロケーションセンサ１０６、および／または任意の他のセンサおよび／またはデータから判定される）乗員の姿勢、乗員に対してモバイルデバイス１５０によってレンダリングされた任意の仮想コンテンツ、および／またはレンダリングされた仮想コンテンツとの任意の検出されたユーザ相互作用（例えば、乗員相互作用）（例えば、入力、視線および／または集中、ジェスチャなど）、目追跡データ、慣性センサデータ、運転統計、他のセンサデータ、それらの任意の組み合わせ、および／または任意の他のデータに基づいて乗員の任意の障害を判定することができる。

【0137】

例えば、車両２０２のコンテキストは、特定のイベント（例えば、車両の安全な動作に影響を及ぼす）が発生した、または発生することが予想されることを示し得る。監視エンジン４１０は、特定のイベントに応答して車両２０２を制御し、かつ／または特定のイベントに関連付けられた安全性の問題および／またはリスクを回避するために、乗員がイベント（および／またはイベントに関連付けられた特定のエリア／方向）に集中し、かつ／または注意を払うべきであり、仮想コンテンツ（または他のコンテンツ）によって注意を逸らされるべきではなく、特定の方法で移動すべきではなく、特定の仮想コンテンツに関与すべきではなく、車両２０２の操作に注意を払うべきであり、車両２０２の特定の操作に関連しない特定の活動に関与すべきではなく、特定の方向に向いているべきであり、乗員が特定のイベント（および／または車両２０２の動作）に応答することを可能にするために特定の方法で位置決めされるべきである等を判定してもよい。あるいは、監視エンジン４１０は、車両２０２の状態／状況および／または乗員の位置、注意／集中、視線、向き、動き、コンテンツの関与、活動などに基づいて、乗員が障害状態であると判定し得る。

【0138】

場合によっては、車両２０２のコンテキストは、車両２０２の状態／状況、車両イベントなどを含むことができる。いくつかの例では、車両２０２に関連付けられたイベント（例えば、車両イベント）は、車両２０２の経路内の障害物、車両２０２の経路への閾値近接度内の障害物、車両２０２の経路内の異なる車両（例えば、車、バス、バイク、オフロード車両、自転車、列車、トラック等）、車両２０２の経路への閾値近接度内の異なる車両、（例えば、車両２０２の経路内／経路に沿って、車両２０２の経路に近接してなど）車両２０２の経路に関連付けられた交通規制（例えば、交通標識、案内標識、可変メッセージ標識、交通コーン、矢印ボード、建設用バレル、バリケード、交通マーカ、一時的な隆起した安全地帯、交通信号機等）、制限速度内に車両２０２が留まることができないこと、車線または車線区分線内に車両２０２が留まらなかったこと、道路内に車両２０２が留まらなかったこと、交通イベント（例えば、事故、交通ルート変更、停止、交通増加、道路閉鎖等）等を含み得る。いくつかの例では、障害物は、歩行者、動物、物体、別の車両、道路条件、木、障害物などを含むことができる。

【0139】

場合によっては、車両２０２の状態は、例えば、限定するものではないが、加速、減速、信号伝達（例えば、方向指示灯など）、選択された／アクティブなギア、警告（例えば、エンジン警告、バッテリー警告、燃料警告、タイヤ警告、ライト警告など）、操縦（例えば、方向転換、出口／退出、入口／進入、Ｕターン、停止／制動など）、車両および／または車両部品の条件／状況（例えば、エンジン、バッテリー、１つまたは複数の車両ライト（例えば、ヘッドライト、テールライト、日中走行灯、後退灯、非常灯、フォグライト、オフロードライト、信号灯、ブレーキライトなどの条件／状況）、タイヤ（例えば、タイヤ空気圧、タイヤ警告、パンク条件など）、１つまたは複数のブレーキまたはブレーキシステムの条件／状況、燃料状況および／または燃料読み取り値などの状態／状況）、１つまたは複数の車両構成要素／機能の故障または特定の動作、運転状態、自律状態、車両機能状態などの車両２０２の動作および／または状況を含むことができる。

【0140】

場合によっては、監視エンジン４１０は、乗員の状態（例えば、乗員の障害）を、様々なキュー（例えば、視覚キューおよび／またはオーディオキュー）および／または乗員に関する情報、例えば、乗員の条件、特性、および／または状態乗員の任意の活動／動き、乗員の挙動、乗員の視線などに基づいて判定することができる。例えば、監視エンジン４１０は、乗員の視線または目の動きのパターン（例えば、不規則な目の動き、刺激に対する応答性の低下、長期の目の視線、不規則な目の視線、特定のロケーションまたは方向への集中など）、目の特性（例えば、赤み、瞳孔サイズ、生気のない目など）、１つまたは複数のイベントに対する乗員による反応時間および／または特性（例えば、誇張された反応、反応時間の低下など）、乗員の顔の表情、乗員の頭の姿勢および／または頭の動き（例えば、ジャーキング、頭部回転、傾斜またはぐったりした頭部）、乗員の姿勢（例えば、ぐったりした、うずくまる、体が傾く、不規則な姿勢など）、乗員の動き（例えば、痙攣、運動機能、大げさな動きなど）、乗員による手のジェスチャ、乗員の運転姿勢（例えば、車両２０２の現在の状態／状況／動作を考慮して、および／または一般的に）、乗員の運転パターン（例えば、加速／減速のパターン、車線変更のパターン、制動のパターン、信号伝達のパターン（またはその欠如）、車両操縦のパターン、旋回のパターンなど）に基づいて障害を判定することができる。

【0141】

場合によっては、監視エンジン４１０は、（視覚キューに加えて、または視覚キューの代わりに）オーディオキューに基づいて乗員の障害を判定することができる。例えば、場合によっては、監視エンジン４１０は、モバイルデバイス１５０および／または車両２０２のマイクロフォンなどの１つまたは複数のセンサからオーディオデータを取得し、オーディオデータに基づいて障害を判定することができる。例示のために、監視エンジン４１０は、１つまたは複数の発話特性（例えば、不明瞭な発話、速い発話など）、乗員の声（例えば、声の大きさまたは柔らかさなど）、乗員の認識された発話の内容などに基づいて障害を判定することができる。

【0142】

場合によっては、監視エンジン４１０は、車両２０２の状態／状況および／またはモバイルデバイス１５０によってレンダリングされたコンテンツに基づいて、障害を判定することができる。例えば、車両２０２の状態が、車両が高速で移動していること、視界が悪い環境で移動していること、困難な条件（例えば、濡れたまたは氷のような条件、厳しい気象条件、急旋回、激しく通過したエリア、大量の歩行者および／または他の交通など）で移動していること、操縦を行っていることなどを示す場合、監視エンジン４１０は、乗員がモバイルデバイス１５０によってレンダリングされた仮想コンテンツに閾値期間にわたって集中しているか、または閾値期間にわたって特定のエリア／ロケーション（例えば、道路、車両イベントのロケーションなど）から離れて集中していると判定された場合、（例えば、車両２０２の操作または安全な操作（例えば、運転）に関係なく）乗員が他の活動に関わっていると判定された場合、乗員が特定の車両制御装置から離れて位置していると判定された場合、乗員が運転安全性を低下させるまたは運転リスクを増加させると判定された特定の姿勢／位置を有すると判定された場合（例えば、前かがみ、曲げ、回転など）、乗員がシートベルトを着用していない場合、視界が悪い条件（例えば、夜間、荒れ模様の気象条件中、濃霧中など）において、乗員が車両灯（例えば、ヘッドライト、フォグライト、テールライト、ブレーキライトなど）なしで車両２０２を操作しているなどの場合、乗員の障害を判定できる。監視エンジン４１０は、前述のように乗員に関する任意のキュー（視覚的および／またはオーディオ）に加えて、またはそのようなキューなしで、車両２０２の状態／状況および／またはモバイルデバイス１５０によってレンダリングされた内容に基づいて、障害を判定することができる。

【0143】

場合によっては、車両アプリケーション３０２の車両監視エンジン４０２は、同様に、乗員の任意の障害を判定することができる。車両監視エンジン４０２は、ＡＲアプリケーション３１０の監視エンジン４１０によって判定された任意の障害情報に加えて、またはその代わりに、任意の障害を判定することができる。例えば、場合によっては、車両監視エンジン４０２は、ＡＲアプリケーション３１０の監視エンジン４１０によって判定された障害情報と組み合わせて障害情報を判定することができる。別の例として、場合によっては、車両監視エンジン４０２は、ＡＲアプリケーション３１０の監視エンジン４１０によって判定されるいかなる障害情報とも別個に、および／またはそれを伴わずに、障害情報を判定することができる。さらに、車両監視エンジン４０２は、以下でさらに説明するように、車両２０２のコンテキストを示すデータなどの任意の車両データに加えて、任意の障害を判定することができる。

【0144】

いくつかの例では、コンテンツフィルタリングエンジン４１２は、位置特定データ（例えば、位置特定データ３１４）、追跡データ（例えば、追跡データ４２２、デバイス追跡データ４４０、手追跡データ４４２、および／または目追跡データ４４４）、監視エンジン４１０（および／または車両監視エンジン４０２）からの障害情報、ならびに／あるいは車両データ４０８（またはその一部）などの任意の他のイベント、状態、および／またはセンサデータを使用して、乗員のためにフィルタリング／ブロックおよび／またはレンダリングするコンテンツを判定／選択することができる。例えば、コンテンツフィルタリングエンジン４１２は、（例えば、車両コンピューティングシステム２１０の）車両２０２の座標系に対するモバイルデバイス１５０の姿勢と、車両２０２のコンテキスト（例えば、車両２０２の状態／状況、車両イベント／動作等）を示す車両データとを使用して、車両２０２の動作および／または車両イベントから乗員の注意を逸らし得る、車両イベントおよび／またはおよび／またはコンテンツフィルタリングエンジン４１２が乗員に見えるままであるべきと判定する車両２０２の外部の特定の領域に対する乗員の視界を妨げ得る特定のコンテンツをフィルタリング／ブロックすることができる。場合によっては、コンテンツをフィルタリング／ブロックする代わりに、またはそれに加えて、コンテンツフィルタリングエンジン４１２は、モバイルデバイス１５０によってレンダリングされた仮想コンテンツを、車両イベントまたは車両２０２の外部の環境に対する乗員の視界を妨げない可能性があるライブコンテンツ（例えば、ライブカメラフィード）に置き換えることができる。別の例として、コンテンツフィルタリングエンジン４１２は、モバイルデバイス１５０の姿勢および車両２０２の状態に関する情報を使用して、特定のイベントの方向／ロケーションなどの、特定の方向および／または特定のロケーションに乗員の注意を引く仮想コンテンツをレンダリングすることができる。

【0145】

場合によっては、コンテンツフィルタリングエンジン４１２は、車両２０２の座標系に対するモバイルデバイス１５０の姿勢を使用して、車両２０２からの情報および／または車両２０２に関連付けられた情報をモバイルデバイス１５０の姿勢と相関させることができる。例えば、車両２０２の状態／状況は、車両コンピューティングシステム２１０によって報告された車両イベントのロケーションを示し得る。車両イベントのロケーションは、車両の座標系に対するものであってもよい。したがって、モバイルデバイス１５０の姿勢は、車両の座標系に対して両方とも知られるので、車両イベントのロケーションに相関され得る。コンテンツフィルタリングエンジン４１２は、車両２０２の座標系に対するモバイルデバイス１５０の姿勢を使用して、乗員のためにレンダリングされた任意の仮想コンテンツが、車両２０２の座標系に対する車両２０２によって報告されたイベントに対する乗員の視界を遮るかどうかを判定することができる。コンテンツフィルタリングエンジン４１２が、車両２０２の座標系に対する特定のロケーションでコンテンツを遮ることを判定した場合、コンテンツフィルタリングエンジン４１２は、車両２０２の座標系に対するモバイルデバイス１５０の姿勢を使用して、特定のロケーションでレンダリングされることから任意のコンテンツをフィルタリング／ブロックすることができる。

【0146】

いくつかの例では、コンテンツフィルタリングエンジン４１２は、乗員の気を逸らしている、または乗員の気を逸らすと判定された任意の仮想コンテンツをフィルタリングすることができる。例えば、コンテンツフィルタリングエンジン４１２は、ビデオゲームコンテンツ（または任意の他のコンテンツ）が乗員の気を逸らす可能性があると判定し、任意のビデオゲームコンテンツをフィルタリングして、車両２０２を操作している間にそのようなコンテンツが乗員に対してレンダリングされることを防止することができる。他の例では、コンテンツフィルタリングエンジン４１２は、車両２０２の経路に沿った（または経路の近傍内の）障害物、交通イベント、または本明細書に記載の任意の車両イベントなどの特定のイベントに対する乗員の視界／可視性を遮断／妨害すると判定された任意の仮想コンテンツをフィルタリングすることができる。例えば、コンテンツフィルタリングエンジン４１２は、車両２０２の座標系に対するモバイルデバイス１５０の姿勢と、車両２０２の座標系に対する車両イベントのロケーション（例えば、車両データ４０８において示すことができる）とに基づいて、車両データ４０８において識別された車両イベントに対する乗員の視界が仮想コンテンツによって遮られると判定することができる。次いで、コンテンツフィルタリングエンジン４１２は、そのような仮想コンテンツをフィルタリング／ブロックして、車両イベントに対する乗員の視界が遮られるのを防止することができ、かつ／または仮想コンテンツのレンダリングからライブフィードの提供に切り替えることができる。いくつかの例では、ライブフィードは、車両イベントを描写してもよく、または車両イベントを妨害しないことがある。

【0147】

車両ユーザインターフェース４１４は、乗員のためのコンテンツおよび／またはユーザインターフェース要素をレンダリングすることができる。いくつかの例では、車両ユーザインターフェース４１４は、車両２０２の状態／状況に基づいてコンテンツおよび／またはユーザインターフェース要素をレンダリングまたは生成することができる。いくつかの例では、車両ユーザインターフェース４１４は、障害情報を使用して、コンテンツをレンダリングするかどうか、および／またはどのコンテンツを乗員のためにレンダリングするかを判定することができる。例えば、監視エンジン４１０からの障害情報が、乗員が注意を逸らされることを示す場合、車両ユーザインターフェース４１４は、そのような情報を使用して、乗員の注意を逸らし得る（若しくは逸らし続ける）コンテンツのレンダリングを停止するか、または乗員の注意を特定のロケーションおよび／若しくはアクション／動作に引き付ける（かつ乗員の注意を逸らす異なるロケーションおよび／若しくはアクション／動作から離れるように）ように構成されたコンテンツをレンダリングすることができる。

【0148】

車両ユーザインターフェース４１４は、車両２０２の座標系に対するモバイルデバイス１５０の姿勢を使用して、乗員のためにコンテンツをどこにレンダリングするか（またはレンダリングするかどうか）を判定することができる。例えば、車両２０２の座標系に対する何かに乗員の注意を引くために特定のロケーションでコンテンツをレンダリングするために、車両ユーザインターフェース４１４は、車両２０２の座標系に対するモバイルデバイス１５０の姿勢を使用して、その特定のロケーションでコンテンツをレンダリングすることができる。別の例として、車両コンピューティングシステム２１０が、車両２０２の座標系に対する特定のロケーションに関連付けられたあるデータを報告する場合、車両ユーザインターフェース４１４は、車両の座標系に対するモバイルデバイス１５０の姿勢を使用して、車両２０２の座標系に対するその特定のロケーションにデータをレンダリングするか、または車両２０２の座標系に対するその特定のロケーションに対して判定された異なるロケーションにデータをレンダリングすることができる。

【0149】

いくつかの例では、車両ユーザインターフェース４１４は、車両２０２の座標系に対するモバイルデバイス１５０の姿勢を使用して、乗員のためにコンテンツをどこにレンダリングするかを判定することができる。例えば、車両ユーザインターフェース４１４は、車両イベントに関連付けられた特定のロケーションに仮想コンテンツ（例えば、矢印、境界ボックス、画像、パルス光など）をレンダリングして、乗員の注意を車両イベントに引き付けることができる。別の例として、車両ユーザインターフェース４１４は、車両イベントのロケーションとは異なるロケーションに仮想コンテンツをレンダリングして、仮想コンテンツが車両イベントに対する乗員の視界を妨げることを防止することができる。いくつかの例では、車両ユーザインターフェース４１４は、乗員の状態および／または車両２０２のコンテキストに基づいて、乗員のためにレンダリングする特定のコンテンツを選択することができる。例えば、特定のイベントに対する乗員の視界を妨げることを回避するために、車両ユーザインターフェース４１４は、仮想コンテンツではなくライブコンテンツ（例えば、ライブカメラフィード）をレンダリングしてもよい。別の例として、乗員の気を逸らすことを回避するために、車両ユーザインターフェース４１４は、ライブコンテンツではなく仮想コンテンツをレンダリングすることができる。例示すると、車両２０２のコンテキストが、別の車両が道路脇で故障したこと、または警察によって引っ張られたことを示す場合、車両ユーザインターフェース４１４は、乗員がむやみに見ることを防止するために、ライブコンテンツではなく仮想コンテンツ（またはコンテンツなし）をレンダリングすることができる。代替として、コンテンツフィルタリングエンジン４１２は、むやみに見ることを防止するためにライブコンテンツをフィルタリングしてもよく、車両ユーザインターフェース４１４は、代わりに、仮想コンテンツをレンダリングしてもよく、またはコンテンツを全くレンダリングしなくてもよい。場合によっては、ライブコンテンツは、モバイルデバイス１５０上の１つまたは複数の画像センサ１０４および／または車両２０２の１つまたは複数の画像センサからのライブフィードを含むことができる。

【0150】

場合によっては、ＡＲアプリケーション３１０は、イベントデータ４２４を生成することができる。ＡＲアプリケーション３１０はまた、イベントデータ４２４を車両コンピューティングシステム２１０に送信することができる。場合によっては、ＡＲアプリケーション３１０は、位置特定データ（例えば、位置特定データ３１４）、追跡データ（例えば、追跡データ４２２、デバイス追跡データ４４０、手追跡データ４４２、および／または目追跡データ４４４）監視エンジン４１０、コンテンツフィルタリングエンジン４１２、および／または車両ユーザインターフェース４１４からの任意の出力および／またはデータ、モバイルデバイス１５０の任意のセンサ（例えば、画像センサ１０４、ロケーションセンサ１０６、ＩＭＵ１０８など）からのデータ、アプリケーションデータ、ユーザ入力、および／または任意の他のデータに基づいてイベントデータ４２４を生成することができる。場合によっては、イベントデータ４２４は、位置特定データ（例えば、位置特定データ３１４）を含むことができる。追跡データ（例えば、追跡データ４２２、デバイス追跡データ４４０、手追跡データ４４２、および／または目追跡データ４４４）監視エンジン４１０、コンテンツフィルタリングエンジン４１２、および／または車両ユーザインターフェース４１４からの任意の出力および／またはデータ、モバイルデバイス１５０の任意のセンサ（例えば、画像センサ１０４、ロケーションセンサ１０６、ＩＭＵ１０８など）からのデータ、アプリケーションデータ、ユーザ入力、および／または任意の他のデータに基づいてイベントデータ４２４を生成することができる。場合によっては、イベントデータ４２４は、追加または代替として、位置特定データ（例えば、位置特定データ３１４）から生成されたイベント、および／または位置特定データの記述を含むことができる。追跡データ（例えば、追跡データ４２２、デバイス追跡データ４４０、手追跡データ４４２、および／または目追跡データ４４４）監視エンジン４１０、コンテンツフィルタリングエンジン４１２、および／または車両ユーザインターフェース４１４からの任意の出力および／またはデータ、モバイルデバイス１５０の任意のセンサ（例えば、画像センサ１０４、ロケーションセンサ１０６、ＩＭＵ１０８など）からのデータ、アプリケーションデータ、ユーザ入力、および／または任意の他のデータに基づいてイベントデータ４２４を生成することができる。

【0151】

いくつかの例では、イベントデータ４２４は、上記で説明したように監視エンジン４１０によって判定された乗員の状態、ＡＲアプリケーション３１０からのコンテンツ、それらの任意の組み合わせ、ならびに／または任意の他の乗員および／若しくはデバイス情報を含む、示す、および／または記述することができる。いくつかの例では、乗員の状態は、監視エンジン４１０によって判定された乗員の障害を含むことができる。場合によっては、乗員の状態は、追加または代替として、乗員の姿勢（例えば、ロケーション、向き、姿勢等）、乗員の任意の動き、乗員による任意の活動、乗員の視線、乗員の頭部姿勢、乗員に関する任意の情報、および／または乗員の注意／集中を示す任意の他の情報、乗員の活動、乗員の動き、乗員の可視性または視野（ＦＯＶ）、乗員の挙動、乗員の位置（例えば、ロケーション、向き、姿勢等）、乗員のリーチ（例えば、１つまたは複数の車両制御装置へのリーチ）、乗員の関与、および／または乗員が車両２０２の動作を制御するおよび／または車両２０２に関連付けられたイベントに反応する能力（および／または可能性）を含むことができる。

【0152】

前述したように、ＡＲアプリケーション３１０は、イベントデータ４２４を車両２０２に送信することができる。例えば、ＡＲアプリケーション３１０は、イベントデータ４２４を車両コンピューティングシステム２１０に送信することができる。場合によっては、車両コンピューティングシステム２１０は、イベントデータ４２４を受信し、処理／分析のために車両アプリケーション３０２にイベントデータ４２４を提供することができる。場合によっては、車両アプリケーション３０２は、イベントデータ４２４および／またはセンサデータ４０６に基づいて、車両２０２の挙動、動作、機能、および／または状態を制御することができる。

【0153】

例えば、場合によっては、車両アプリケーション３０２のイベント緩和エンジン４０４は、イベントデータ４２４および／またはセンサデータ４０６に基づいて、車両２０２の挙動、動作、機能、および／または状態を制御（例えば、修正、実装、有効化、無効化、管理等）することができる。いくつかの例では、イベント緩和エンジン４０４は、１つまたは複数の車両機能、車両システム、自律能力などを制御および／または関与させることができる。例えば、イベント緩和エンジン４０４は、オートパイロット機能、トラクション制御機能、クルーズコントロール機能、衝突回避機能、車線逸脱機能、車線中心化機能、ブレーキ支援機能、車線維持機能、高速道路支援機能、車線変更支援機能、速度適応機能、信号機能、交差点支援機能、死角監視システム、運転者監視システム（例えば、監視エンジン４０２および／または任意の運転者監視システム）、ブレーキシステム、自律運転制御システム、運転者支援システム、ナビゲーションシステム、ステアリング制御システム、車両通信システム、自動車ヘッドアップディスプレイ、および／または任意の他の車両システム、機能、および／または能力を制御および／または関与させることができる。

【0154】

場合によっては、イベント緩和エンジン４０４は、イベントデータ４２４に基づいて車両２０２を制御して、乗員の状態および／またはイベントデータ４２４に含まれる乗員に関する他の情報から生じる任意のイベントおよび／またはリスクを緩和することができる。いくつかの例では、イベント緩和エンジン４０４は、イベントデータ４２４に基づいて、車両の１つまたは複数の先進運転者支援システム（ＡＤＡＳ）によって実行される機能などの１つまたは複数の運転者支援機能をアクティブ化すること、および／または車両の自律運転のポリシー／レベルを高めることができる。例示のために、イベントデータ４２４が、車両２０２の乗員が障害を受けている（例えば、注意を逸らしている、中毒であるなど）ことを示す場合、イベント緩和エンジン４０４は、乗員が障害を受けている間に車両２０２の動作の少なくとも部分的な制御を行うように、車両２０２の自律能力に関与し、および／または車両２０２の自律運転ポリシー／レベルを修正することができる。別の例として、イベントデータ４２４が、車両２０２の乗員がセンサデータ４０６において識別された近くの障害物に注意を払っていない、または近くの障害物を見ることができない（例えば、乗員の視線が異なる方向にあるため、乗員の視界が遮られるため、視界状態が悪いためなど）ことを示す場合、イベント緩和エンジン４０４は、少なくとも障害物が回避されるか、または潜在的な問題がなくなるまで、車両２０２の自律能力に関与し、および／または車両２０２の自律運転ポリシー／レベルを修正して、車両２０２の動作の少なくとも部分的な制御を行うことができる。

【0155】

いくつかの例では、イベント緩和エンジン４０４は、乗員の任意の検出された障害を他の外部デバイスに通知／警告することができる。例えば、イベント緩和エンジン４０４は、他の車両、他のユーザ（例えば、歩行者、別の車両の乗員、交通ガード／コントローラなど）に関連付けられた１つまたは複数のリモートコンピューティングデバイス、車両インフラストラクチャ（例えば、信号機、交通カメラ、街灯、サイネージ、パーキングメータ、車線マーカなど）、１つまたは複数の緊急応答システムおよび／または人員などに通知することができる。

【0156】

車両アプリケーション３０２の監視エンジン４０２は、センサデータ４０６を使用して、車両２０２のコンテキスト（車両を（安全に）動作させる乗員の能力に関連する、特徴付ける、および／または影響を及ぼす）を監視および／または検出することができる。先に説明したように、いくつかの例では、車両２０２のコンテキストは、車両２０２の状態（例えば、状況、動作、挙動、軌道、条件、構成、動作メトリック、環境、車両パラメータ、機能など）、車両イベントなどを含むことができる。例えば、車両２０２のコンテキストは、特定の車両イベント（車両の安全動作に影響を及ぼす、例えば、特定の活動、条件、事件、環境、動作など）が発生したか、または発生することが予想されることを示すことができる。別の例として、車両２０２のコンテキストは、車両２０２の動作、挙動、および／または状況を示すことができる。いくつかの例では、監視エンジン４０２は、センサデータ４０６を使用して、例えば、車両２０２の状態、車両イベントなど、車両２０２のコンテキストの任意の態様を判定することができる。

【0157】

例えば、監視エンジン４０２は、センサデータ４０６内の１つまたは複数の画像（例えば、センサシステム２２０の１つまたは複数の画像センサによってキャプチャされる車両２０２の外部のシーンおよび／または環境の一部の１つまたは複数の画像）上に示される１つまたは複数のアイテム（例えば、オブジェクト、イベント、人、動物、道路、車両、シーン、活動、交通規制、構造、障害物、デバイス、ジェスチャなど）を検出、認識、および／または位置特定し、１つまたは複数の動き測定値（例えば、速度、角速度、向き、進行方向、加速度、減速度など）を含むセンサデータ４０６から慣性センサデータを判定し、センサデータ４０６内の（例えば、全地球測位システム（ＧＰＳ）受信機または全地球航法衛星システム（ＧＮＳＳ）受信機などの１つまたは複数のロケーションデバイスからの）ロケーション情報を判定し、車両２０２に対する１つまたは複数のアイテムのロケーション／位置および／または車両２０２に対する１つまたは複数のアイテム（例えば、オブジェクト、イベント、人、動物、道路、木、車両、シーン、交通規制、活動、ジェスチャ、デバイス、構造、障害物など）の近接度／距離を示す／記述するセンサデータ４０６内の（例えば、ＲＡＤＡＲ、ＬＩＤＡＲ、画像センサ、ＲＦベースの測位システムなどの１つまたは複数のセンサからの）追加のロケーション情報を判定することなどによって、車両２０２のコンテキストを判定することができる。

【0158】

場合によっては、監視エンジン４０２はまた、モバイルデバイス１５０のＡＲアプリケーション３１０からのイベントデータ４２４を使用して、車両２０２のコンテキストを監視および／または検出することができる。例えば、監視エンジン４０２は、車両２０２のコンテキストを判定するときに、イベントデータ４２４に示される乗員の状態（例えば、障害、視線、位置、活動など）を考慮することができる。

【0159】

図５は、車両（例えば、車両２０２）の乗員５０２のためにレンダリングされる仮想コンテンツを調整するための例示的なユースケース５００を示す図である。前に説明したように、ＡＲアプリケーション３１０は、モバイルデバイス１５０によってレンダリングされる仮想コンテンツを（例えば、コンテンツフィルタリングエンジン４１２および／または車両ユーザインターフェース４１４を介して）調整／修正することができる。ＡＲアプリケーション３１０は、ＡＲアプリケーション３１０の監視エンジン４１０によって判定された乗員の状態、ならびに／または車両データ４０８において識別された、および／若しくは車両アプリケーション３０２の監視エンジン４０２によって判定された車両２０２のコンテキストに基づいて、仮想コンテンツを（例えば、コンテンツフィルタリングエンジン４１２および／または車両ユーザインターフェース４１４を介して）調整することができる。

【0160】

いくつかの例では、ＡＲアプリケーション３１０は、仮想コンテンツの特性（例えば、サイズ、輝度、透明度、ロケーション、向き等）を無効にする、減光する、または調整することによって、仮想コンテンツを調整することができる。場合によっては、ＡＲアプリケーション３１０は、ある期間にわたるすべての仮想コンテンツ、車両２０２の特定のコンテキスト中のすべての仮想コンテンツ、乗員の状態中のすべての仮想コンテンツ、除外または必要とされるものとしてマークされた仮想コンテンツのサブセットを除くすべての仮想コンテンツ（例えば、ＨＵＤコンテンツ、車両計装コンテンツ、ナビゲーションコンテンツ、緊急警報など）、乗員が集中している仮想コンテンツの任意の部分、車両イベントを不明瞭にしている任意の仮想コンテンツなどを調整することができる。

【0161】

例えば、ＡＲアプリケーション３１０は、モバイルデバイス１５０によってレンダリングされた１つまたは複数の仮想コンテンツアイテム（またはすべての仮想コンテンツ）を（例えば、コンテンツフィルタリングエンジン４１２を介して）フィルタリング／ブロックすることによって、仮想コンテンツを調整することができる。別の例として、ＡＲアプリケーション３１０は、どの仮想コンテンツが提示されるか、いつ仮想コンテンツが提示されるか、どこに仮想コンテンツが提示されるか、提示される仮想コンテンツの１つまたは複数の特性（例えば、透明度、サイズ、輝度、ロケーション、向きなど）などを（例えば、車両ユーザインターフェース４１４を介して）制御することによって、仮想コンテンツを調整することができる。いくつかの例では、ＡＲアプリケーション３１０は、ＡＲアプリケーション３１０の監視エンジン４１０によって判定された乗員の状態、ならびに／または車両データ４０８において識別された、および／若しくは車両アプリケーション３０２の監視エンジン４０２によって判定された車両２０２のコンテキストに基づいて、仮想コンテンツを（例えば、コンテンツフィルタリングエンジン４１２を介して）フィルタリング／ブロックすることができる。いくつかの例では、ＡＲアプリケーション３１０は、監視エンジン４０２によって判定された乗員の状態、ならびに／または車両データ４０８において識別されたおよび／若しくは監視エンジン４１０によって判定された車両２０２のコンテキストに基づいて、モバイルデバイス１５０によって提示される仮想コンテンツを（例えば、車両ユーザインターフェース４１４を介して）調整することができる。

【0162】

図５に示される例示的なユースケース５００では、車両２０２の乗員５０２は、車両２０２を運転するために車両２０２のハンドル５０５を使用しながら、ＨＭＤまたはスマートグラスなどのモバイルデバイス１５０を装着している。時間Ｔ_１において、モバイルデバイス１５０は、乗員５０２が車両２０２を運転している間に仮想コンテンツ５１０をレンダリングしている。次いで、モバイルデバイス１５０は、（例えば、車両データ４０８または車両アプリケーション３０２の監視エンジン４０２からの通知に基づいて）乗員５０２の注意および／または相互作用を必要とするイベント５１２が発生しているまたは切迫している（例えば、閾値期間内および／または車両２０２による移動距離の閾値量内に発生する）と判定する。場合によっては、モバイルデバイス１５０は、（例えば、車両データ４０８または車両アプリケーション３０２の監視エンジン４０２からの通知に基づいて）イベント５１２のロケーションを判定することができる。この例では、イベント５１２のロケーションは車両２０２の外部のロケーションであり、イベント５１２は車両２０２の経路を横切るベビーカーである。ここでのイベント５１２は、説明のために提供される１つの例示的な例にすぎない。したがって、他の例は、他のイベントおよび／またはイベントのタイプを含んでもよい。いくつかの例では、イベントは、車両アプリケーション３０２の監視エンジン４０２および／または車両ユーザインターフェース４１４によって、例えば、正例および負例に対して訓練された機械学習分類器を介して、乗員５０２の注意および／または対話を必要とするものとして分類され得る。

【0163】

モバイルデバイス１５０の座標系に対する仮想コンテンツ５１０のロケーションは、車両２０２の座標系に対するイベント５１２のロケーションに関連付けられる。本例では、仮想コンテンツ５１０は、モバイルデバイス１５０のロケーションからイベント５１２のロケーションまでの視線内に／視線に沿って位置する。したがって、モバイルデバイス１５０からの視線および／またはモバイルデバイス１５０からのイベント５１２のビュー／可視性は、レンダリングされる仮想コンテンツ５１０によってブロック／妨害される。

【0164】

仮想コンテンツ５１０が、乗員５０２がイベント５１２を見る能力を妨害／遮断することを防止するために、モバイルデバイス１５０は、仮想コンテンツ５１０の１つまたは複数の特性を調整することができる。この例では、時間Ｔ_２において、モバイルデバイス１５０は、仮想コンテンツ５１０の透明度を増加させて、仮想コンテンツ５１０を通したイベント５１２の可視性を可能にする。示されるように、時間Ｔ_２において、イベント５１２は、その透明度が増加された後、仮想コンテンツ５１０を通して見ることができる。これは、乗員５０２がイベント５１２を見て（および監視／追跡して）、乗員５０２がイベント５１２に基づいて必要と考える車両２０２の動作に対する任意の調整を行うことを可能にする。例えば、乗員５０２は、車両２０２を停止させて、イベント５１２に関連付けられたベビーカーが通過できるようにすることができる。乗員５０２は、ベビーカーが通過した後に、運転して離れることができる。別の例として、乗員５０２は、車両２０２を加速／減速させることができ、および／または車両２０２がイベント５１２に関連付けられたベビーカーを回避することを可能にし得る任意の操縦を実施することができる。

【0165】

一方、仮想コンテンツ５１０が、乗員５０２がイベント５１２を見ることを可能にするために上述のように調整されなかった場合、乗員５０２は、イベント５１２を見逃す／見落とす可能性がある。イベント５１２を見ることなく（または反応に間に合うようにイベント５１２を見ることなく）、乗員５０２は、イベント５１２に関連付けられたベビーカーを回避することができなかった可能性があるか、または急におよび／またはより近い距離から反応した可能性があり、これは危険を生み出した可能性があるか、またはベビーカーを回避するのに十分なタイミングでなかった可能性がある。

【0166】

図６Ａ～図６Ｅは、仮想コンテンツを調整するための例示的なユースケースを示す図である。図６Ａを参照すると、この例におけるモバイルデバイス１５０は、車両２０２の乗員６０２が注意を逸らしており、乗員６０２の視野（ＦＯＶ）６１０内でイベントが発生すると判定している。本開示では、乗員６０２のＦＯＶ６１０は、モバイルデバイス１５０によって修正または定義され得る。より具体的には、ＦＯＶ６１０は、モバイルデバイス１５０のそれぞれの表示エリア上で、またはそれを通して見える視野によって定義され得る。例として、スマートグラスを着用している乗員６０２のＦＯＶ６１０は、乗員の裸眼のＦＯＶと比較して一般的に縮小されるスマートグラスを通したＦＯＶによって定義され得る。別の例では、乗員の生理学的／解剖学的ＦＯＶは、ＨＭＤのディスプレイ上により大きなＦＯＶを表示することによって拡大され得る。いくつかの例では、ＦＯＶ６１０は、モバイルデバイス１５０が仮想コンテンツをレンダリングすることができるＦＯＶであり得る。ＦＯＶ６１０内のイベントを強調し、かつ／またはＦＯＶ６１０内のイベントに対する乗員６０２の注意を引くために、モバイルデバイス１５０は、ＦＯＶ６１０内にイベント関連仮想コンテンツ６１２をレンダリングすることができる。この例では、仮想コンテンツ６１２は、ＦＯＶ６１０のエッジ（または輪郭）のパルス化を含む。エッジのパルス化は、パルス化されたエッジ内のエリアを強調し、そのエリアに乗員６０２の注意を引くことができる。

【0167】

図６Ｂでは、モバイルデバイス１５０は、例えば、車両データ４０８に基づいて、歩行者６２０が木６１５の後ろから現れ、車両２０２の経路に向かって（または経路内に）移動している車両イベント６２５を検出している。歩行者６２０は、以前は木６１５によって遮られており、歩行者６２０が木６１５を通過して車両２０２の経路に向かって（または経路内に）移動するまで、乗員６０２またはモバイルデバイス１５０または車両２０２には見えなかった。乗員６０２の注意を車両イベント６２５（歩行者６２０を含む）に引き付けるために、および／または車両イベント６２５（歩行者６２０を含む）のロケーションを強調するために、モバイルデバイス１５０は、車両イベント６２５のロケーションの周囲に、より具体的には、車両イベント６２５に関連付けられた歩行者６２０のロケーションの周囲に強調表示６２２をレンダリングしている。

【0168】

いくつかの例では、モバイルデバイス１５０は、車両イベント６２５および／または歩行者６２０などのその一部の周りに境界ボックス（または任意の他の形状／幾何学的形状）をレンダリングすることができる。場合によっては、モバイルデバイス１５０は、乗員６０２の注意を引く（またはさらに引く）ように意図された１つまたは複数の特性に従って強調表示６２２をレンダリングすることができる。例えば、モバイルデバイス１５０は、特定のサイズ、色、パターン、形状、透明度、輝度、厚さ、アニメーション、および／または乗員６０２の注意をよりよく引くために強調表示６２２をレンダリングするための任意の他の特性に従って、強調表示６２２をレンダリングすることができる。

【0169】

図６Ｃは、車両イベント６２５（歩行者６２０を含む）に乗員６０２の注意を引くためのコンテンツをレンダリングし、かつ／または車両イベント６２５（歩行者６２０を含む）を強調するための別の例を示す。この例では、モバイルデバイス１５０は、乗員６０２のＦＯＶ６１０内に方向インジケータ６３０をレンダリングしている。方向インジケータ６３０は、乗員６０２の頭部および視線を、歩行者６２０を含む車両イベント６２５の方向に向ける。方向インジケータ６３０は、この例では、ヘッドロックされた矢印として示される。しかしながら、他の例は、方向インジケータの他のタイプおよび／または構成を含むことができる。

【0170】

場合によっては、モバイルデバイス１５０は、乗員６０２の注意を引く／捉える（またはさらに引く／捉える）ように意図された１つまたは複数の特性に従って、方向インジケータ６３０をレンダリングすることができる。例えば、モバイルデバイス１５０は、特定のサイズ、色、パターン、形状、透明度、輝度、厚さ、アニメーション、および／または任意の他の特性に従って方向インジケータ６３０をレンダリングすることができる。場合によっては、モバイルデバイス１５０は、乗員６０２の視覚／視界の周辺をパルス化して、乗員６０２の注意をさらに引く／捉えることができる。

【0171】

図６Ｄは、車両２０２の乗員６０２のためにモバイルデバイス１５０によって提示される車両イベントに対応するライブコンテンツの例を示す。この例における車両イベントは、前述のように、歩行者６２０が木６１５の後ろから横断／通過することを含む。しかしながら、この場合、乗員６０２のための仮想コンテンツをレンダリングする代わりに、モバイルデバイス１５０は、車両２０２の車両カメラ（例えば、バックアップカメラ、サイドビューカメラ、フロントカメラなど）からモバイルデバイス１５０によって取得されたカメラフィード６４０を提示している。カメラフィード６４０は、歩行者６２０を含む車両イベントを描写することができ、したがって、乗員６０２が車両イベントを観察することを可能にし得る。

【0172】

例えば、車両カメラは、そのフィードをモバイルデバイス１５０にストリーミングすることができる。次いで、モバイルデバイス１５０は、乗員６０２による消費のために、車両カメラからのカメラフィード６４０を提示することができる。カメラフィード６４０は、歩行者６２０を含む車両イベントを示すことができる。したがって、モバイルデバイス１５０によって提示されるカメラフィード６４０は、乗員６０２が、モバイルデバイス１５０によって提示されるカメラフィード６４０から車両イベント（歩行者６２０を含む）を見ることを可能にすることができる。

【0173】

図６Ｅは、モバイルデバイス１５０によってレンダリングされた車両イベント６２５の外部ビュー６５０を示す。この例における外部ビュー６５０は、車両壁６４１にロックされる（および／または投影される）。いくつかの例では、車両壁６４１は、本明細書で前述した車両テンプレートに基づくことができる。車両壁６４１は、車両２０２の乗客側の内壁として示される。しかしながら、外部ビュー６５０は、車両内部の任意の壁、側面、または部分にレンダリングおよび／またはロックすることができる。

【0174】

外部ビュー６５０は、歩行者６２０を含む車両イベント６２５を示すことができる。いくつかの例では、外部ビュー６５０は、車両イベント６２５の仮想コンテンツレンダリングを含むことができる。他の例では、外部ビュー６５０は、車両イベント６２５のライブコンテンツレンダリング（例えば、カメラフィード）を含むことができる。外部ビュー６５０は、車両壁６４１が乗員６０２にとって透明または半透明に見え、車両イベント６２５が乗員６０２にとって可視に見えるように（例えば、外部ビュー６５０によってレンダリングされるように）レンダリングすることができる。場合によっては、外部ビュー６５０は、車両の座標系に対するモバイルデバイス１５０（したがって、モバイルデバイス１５０を装着している乗員６０２）の位置および／または車両の座標系に対する車両イベント６２５の位置に基づいて、歪みを受けるおよび／またはパースペクティブ補正され得る。

【0175】

場合によっては、モバイルデバイス１５０によってレンダリングされるコンテンツは、車両データ（例えば、車両データ４０８）または車両データの一部を含むことができる。例えば、図６Ａ～図６Ｅに示される例のいずれかにおいてレンダリングされるコンテンツは、例えば、車両状況情報、車両計装データ、車両情報、車両２０２の１つまたは複数のセンサからのデータなどの車両データまたは車両データの一部を含むことができる。説明すると、モバイルデバイス１５０によってレンダリングされるコンテンツは、車両２０２の速度の指標、車両２０２の方向、車両２０２のルート、車両２０２のバッテリー状況、車両２０２の燃料状態、車両２０２のオイル状態、車両２０２に関連付けられた走行距離、車両２０２に関連付けられたナビゲーションデータ、車両２０２の１つまたは複数のタイヤに関連付けられたタイヤ圧力（および／またはタイヤ状態／状況）、車両２０２においてアクティブ／オン／有効である制御信号の指標、車両ブレーキに関する情報、車両警告、車両エラー、１つまたは複数の車両ライト（例えば、ヘッドライト、テールライト、後退灯、日中走行灯、フォグライト、オフロードライト、信号灯、ブレーキライト、緊急ライトなど）に関する情報（例えば、状態／状況、警告など）、ステアリングシステムに関する情報、１つまたは複数の車両システムおよび／または自律機能に関する情報、クルーズ制御状況情報、シートベルト情報、および／または任意の他の車両情報および／または計装を含むことができる。

【0176】

場合によっては、モバイルデバイス１５０は、車両２０２からストリーミングされた車両情報（例えば、車両状況情報、計装、ナビゲーション情報など）をレンダリングすることができる。いくつかの例では、モバイルデバイス１５０は、ヘッドロックされたＨＵＤまたはワールドロックされたユーザインターフェース（ＵＩ）要素として車両情報を提示することができる。場合によっては、モバイルデバイス１５０は、実世界のコンテンツおよび／または広告板、事故などの乗員の注意を逸らし得るイベントを置き換えるために仮想コンテンツをレンダリングすることができる。いくつかの態様では、モバイルデバイス１５０は、画像のデータベースから「ディープフェイクされた」（例えば、合成）仮想コンテンツを生成するように訓練されたディープニューラルネットワークを使用して、本明細書で説明される仮想コンテンツのいずれかをレンダリングすることができる。場合によっては、「ディープフェイクされた」仮想コンテンツは、モバイルデバイス１５０および／または車両２０２によって観察されるスタイルでレンダリングすることができる。

【0177】

前述のように、モバイルデバイス１５０のＡＲアプリケーション３１０の監視エンジン４１０は、車両２０２の１人以上の乗員の状態を監視し、理解することができる。場合によっては、車両コンピューティングシステム２１０の車両アプリケーション３０２の監視エンジン４０２は、代替または追加として（例えば、ＡＲアプリケーション３１０の監視エンジン４１０と組み合わせて、または別個に）、車両２０２の１人以上の乗員の状態を監視および理解することができる。いくつかの例では、乗員の状態は、例えば、検出された障害、視線、ロケーション、乗員の姿勢（例えば、向き、ロケーションなど）、乗員の頭部姿勢、ジェスチャ、顔の表情、手のジェスチャ、活動、感情、動き、アクションを実行する意図、および／または乗員の他の特性など、乗員の１つまたは複数の特性を含むことができる。

【0178】

例えば、監視エンジン４１０および／または監視エンジン４０２は（単独で、または監視エンジン４１０などのモバイルデバイス１５０からのデータと組み合わせて）、車両の乗員の様々な状態を検出および／または認識することができる。図７Ａ～図７Ｉは、モバイルデバイス１５０のＡＲアプリケーション３１０の監視エンジン４１０および／または車両２０２の監視エンジン４０２によって検出される、車両２０２を運転している乗員７５０の異なる例示的な状態を示す図である。図７Ａ～図７Ｉに示される例における乗員７５０は、モバイルデバイス１５０を装着している車両２０２の運転者である。

【0179】

図７Ａに示す例では、乗員７５０は、スマートグラスなどのモバイルデバイス１５０を装着しており、通常の運転活動７０２を行っている。監視エンジン４１０は、乗員７５０が通常の運転活動７０２を行っていると判定することができる。図示のように、この例における通常の運転活動７０２は、乗員７５０が両手でハンドルを握って車両２０２のフロントガラスの外を直接見ることを含む。さらに、通常の運転活動７０２の間、乗員７５０は損なわれていない（例えば、注意散漫など）。

【0180】

図７Ｂは、車両２０２を運転している間の乗員７５０の例示的な状態７０４を示す。この例では、状態７０４は、車両２０２を運転している間に携帯電話７５２を耳に保持することによって携帯電話７５２を使用する乗員７５０を含む。場合によっては、監視エンジン４１０は、乗員７５０が携帯電話７５２を使用していると判定し、携帯電話７５２の使用が乗員７５０を害する（例えば、気を逸らす）可能性があると判定することができる。したがって、いくつかの例では、監視エンジン４１０は、携帯電話７５２の使用に基づいて乗員７５０の障害を判定することができる。この例における障害は、注意散漫を含む。監視エンジン４１０はまた、乗員７５０が、ハンドルおよび／または任意の他の車両制御を制御するために、携帯電話７５２を保持する手を使用する必要がある場合、手が占有されることにより、ハンドルおよび／または任意の他の車両制御を制御する乗員の能力を遅延させ（したがって、損なわせ）、したがって、事故のリスクを増加させる可能性があると判定することができる。一般に、監視エンジン４１０は、乗員の一方または両方の手のロケーションおよび／または活動に基づいて、例えば、少なくとも一方の手がハンドル上にないと判定することに基づいて、障害の状態を検出することができる。いくつかの例では、監視エンジン４１０は、乗員が携帯電話を操作することに基づいて、障害の状態を検出することができる。

【0181】

図７Ｃは、車両２０２を運転している乗員７５０の別の例示的な状態７０６を示す。この例では、乗員７５０の状態７０６は、乗員７５０が飲料を飲むことを含む。監視エンジン４１０は、図７Ｃに示すように、乗員７５０が飲料を飲んでいることを判定することができる。場合によっては、監視エンジン４１０は、飲料を飲むことが乗員７５０を害する（例えば、車両２０２を運転する乗員７５０の能力を害する、車両イベントに対する乗員７５０の反応および／または反応時間を害する、車両２０２を運転することの困難さを増大させる、事故のリスクを増大させるなど）と判定することができる。例えば、監視エンジン４１０は、飲料を飲むことが乗員７５０の気を逸らし、および／または乗員７５０の手のうちの少なくとも１つを占有し、したがって乗員７５０がその手を使用して車両２０２を操作し、および／または車両イベントに応答することを妨げることを判定することができる。監視エンジン４１０はまた、乗員７５０が、ハンドルおよび／または任意の他の車両制御を制御するために、その手を使用する必要がある場合、手が占有されることにより、ハンドルおよび／または任意の他の車両制御を制御する乗員の能力を遅延させ（したがって、損なわせ）、したがって、事故のリスクを増加させる可能性があると判定することができる。一般に、監視エンジン４１０は、乗員の一方または両方の手のロケーションおよび／または活動に基づいて、例えば、少なくとも一方の手がハンドル上にないと判定することに基づいて、障害の状態を検出することができる。

【0182】

図７Ｄは、車両２０２を運転している乗員７５０の別の例示的な状態７０８を示す。この例では、状態７０８は、乗員７５０が自身の髪を調整することを含む。図示のように、乗員７５０は、髪を調整している間、車両２０２のハンドルから両手を離している。監視エンジン４１０は、乗員７５０が髪を調整しており、両手がハンドルから離れていると判定することができる。場合によっては、監視エンジン４１０は、ハンドルから両手を離すことが乗員７５０を害する（例えば、車両２０２を運転する乗員７５０の能力を害する、車両イベントに対する乗員７５０の反応および／または反応時間を害する、車両２０２を運転することの困難さを増大させる、事故のリスクを増大させるなど）と判定することができる。例えば、監視エンジン４１０は、髪を調整することが乗員７５０の気を逸らすこと、および／または両手をハンドルから離すことが、乗員７５０が車両２０２を操作するためおよび／またはイベントに応答するために手を使用することを妨げることを判定することができる。監視エンジン４１０はまた、乗員７５０がハンドル（および／または任意の他の車両制御）の制御を行う必要がある場合、自身の髪を調整するために自身の手をハンドルから離すことは、ハンドル（および／または任意の他の車両制御）の制御を行う能力を遅延させ（したがって低下させ）、したがって事故のリスクを増加させる可能性があると判定することができる。一般に、監視エンジン４１０は、乗員の一方または両方の手のロケーションおよび／または活動に基づいて、例えば、少なくとも一方の手がハンドル上にないと判定することに基づいて、障害の状態を検出することができる。

【0183】

図７Ｅは、車両２０２を運転している乗員７５０の別の例示的な状態７１０を示す。この例では、状態７１０は、車両２０２の運転者側窓から腕７５６を伸ばすことを含む。図示のように、乗員７５０は、腕７５６を運転者側窓の外側に延ばし、腕７５６の手をハンドルおよび他の車両制御装置から離しておく。監視エンジン４１０は、乗員７５０が、腕７５６を運転者側窓の外側に延ばし、その腕７５６の手をハンドルおよび任意の他の車両制御から離していることを判定することができる。場合によっては、監視エンジン４１０は、腕７５６を運転者側窓から出し、その腕７５６の手をハンドルおよび任意の他の車両制御から離すことが、乗員７５０を害する（例えば、車両２０２を運転する乗員７５０の能力を害する、車両イベントに対する乗員７５０の反応および／または反応時間を害する、車両２０２を運転する困難さを増大させる、事故のリスクを増大させるなど）と判定することができる。例えば、監視エンジン４１０は、腕７５６を運転者側窓から出し、その腕７５６の手をハンドルおよび任意の他の車両制御から離すことが、乗員７５０が車両２０２を操作し、および／またはイベントに応答するためにその手を迅速に使用することを妨げると判定することができる。いくつかの例では、監視エンジン４１０は、乗員７５０がハンドルおよび／または任意の他の車両制御を制御するために腕７５６の手を使用する必要がある場合、腕７５６およびその腕７５６の手を一時的に利用不可能にする（例えば、運転者側窓の外側に延在させる）ことは、ハンドルおよび／または任意の他の車両制御を制御する乗員の能力を遅延させる（したがって、損なう）可能性があり、したがって、事故のリスクを増加させることを判定することができる。一般に、監視エンジン４１０は、乗員の一方または両方の手のロケーションおよび／または活動に基づいて、例えば、少なくとも一方の手がハンドル上にないと判定することに基づいて、障害の状態を検出することができる。

【0184】

図７Ｆは、車両２０２を運転している乗員７５０の別の例示的な状態７１２を示す。この例では、状態７１２は、車両２０２の運転中のあくびを含む。監視エンジン４１０は、乗員７５０が車両２０２の運転中にあくびをしていると判定することができる。場合によっては、監視エンジン４１０は、あくびが乗員７５０の障害を示していると判定することができる。例えば、監視エンジン４１０は、あくびが、車両２０２を運転するおよび／または車両イベントに応答する乗員７５０の能力に悪影響を及ぼし得る、眠い状態および／または限られた集中／注意を示すことを判定することができる。一般に、監視エンジン４１０は、あくび、閉じた／垂れ下がった目／瞼などの顔の表情、および／または限定された／低減された集中／注意を有する乗員の状態を示す乗員の身体の姿勢に基づいて、障害の状態を検出することができる。

【0185】

図７Ｇは、車両２０２を運転している乗員７５０の別の例示的な状態７１４を示す。この例では、状態７１４は、車両２０２を運転している間に乗員７５０が乗員７５０の膝に向かって見下ろすことを含む。監視エンジン４１０は、車両２０２を運転している間に乗員７５０が乗員７５０の膝に向かって見下ろしていると判定することができる。場合によっては、監視エンジン４１０は、運転中に乗員７５０の膝の方を見下ろすことが、乗員７５０が車両２０２を操作し、かつ／または車両イベントに応答する能力を損なうこと判定することができる。例えば、監視エンジン４１０は、乗員７５０の膝に向かって見下ろすことが乗員７５０の気を逸らし、乗員７５０が道路および外部環境を見て、車両２０２の運転に関連付けられた車両イベントを迅速に検出して応答すること妨げると判定することができる。一般に、監視エンジン４１０は、あくび、閉じた／垂れ下がった目／瞼などの顔の表情、および／または限定された／低減された集中／注意を有する乗員の状態を示す乗員の身体の姿勢に基づいて、障害の状態を検出することができる。

【0186】

図７Ｈは、車両２０２を運転している乗員７５０の別の例示的な状態７１６を示す。この例では、状態７１６は、車両２０２を運転している間に、乗員７５０が車両２０２の運転者側窓の左側および外側を見ていることを含む。監視エンジン４１０は、車両２０２を運転している間に、乗員７５０が車両２０２の運転者側窓の左側および外側を見ていると判定することができる。場合によっては、車両２０２のコンテキストに応じて、監視エンジン４１０は、運転中に車両２０２の運転者側窓の左側および外側を見ることが、乗員７５０が車両２０２を操作するおよび／または車両イベントに応答する能力を損なうと判定することができる。例えば、車両２０２のコンテキストに応じて、監視エンジン４１０は、車両２０２の運転者側窓の左側および外側を見ることが乗員７５０の気を逸らし、乗員７５０が前方の道路および／または車両２０２の前方経路に沿った何かを見ることを妨げ、乗員７５０が車両２０２の前方経路に沿った車両イベントを検出して応答する能力を損なうと判定することができる。一般に、監視エンジン４１０は、前方の道路から離れた方向を見ている／集中しているなど、乗員の視線に基づいて障害の状態を検出することができる。

【0187】

他の場合には、車両２０２のコンテキストに応じて、監視エンジン４１０は、運転中に車両２０２の運転者側窓の左側および外側を見ることが、乗員７５０が車両２０２を操作するおよび／または車両イベントに応答する能力を損なわないと判定することができる。例えば、車両イベントが運転者側窓の外部で発生したことを車両２０２のコンテキストが示し、乗員７５０が車両イベントを認識し、かつ／または車両イベントに応答すべきである場合、監視エンジン４１０は、車両２０２の運転者側窓の左側および外側を見ることによって、乗員７５０が車両イベントを見て、車両イベントにどのように応答すべきか（または応答すべきかどうか）を判断することができると判定することができる。したがって、監視エンジン４１０は、この例示的なコンテキストでは、運転中に車両２０２の運転者側窓の左側および外側を見ている乗員７５０が適切であり、障害として分類または処理されるべきではないと判定し得る。

【0188】

図７Ｉは、車両２０２を運転している乗員７５０の別の例示的な状態７１８を示す。この例において、状態７１８は、車両２０２を運転している間にシートベルトが締められていない乗員７５０を含む。監視エンジン４１０は、車両２０２の運転中に乗員７５０がシートベルトを着用していないと判定することができる。場合によっては、監視エンジン４１０は、車両２０２の運転中にシートベルトが締められていないことが、乗員７５０および他者（例えば、車両２０２の任意の他の乗客、および他の車両の乗員、歩行者などの車両２０２の環境内の任意の他の人々）の安全に対するリスクを増加させる場合、障害であると判定することができる。他の場合には、監視エンジン４１０は、車両２０２を運転している間にシートベルトが締められていないことが、乗員７５０が車両２０２を運転する能力または車両イベントに応答する能力を損なわない場合、障害ではないと判定することができる。

【0189】

図８は、乗員監視イベントを含むＶ２Ｘ通信８００の例を示す図である。この例では、モバイルデバイス１５０は、車両２０２の乗員によって装着されるＨＭＤまたはＡＲメガネなどのウェアラブル拡張現実（ＡＲ）デバイスである。車両２０２の乗員はまた、スマートまたはコネクテッドウォッチ、ヘルストラッカ／モニタデバイス、スマートまたはコネクテッドブレスレットデバイス、ウェアラブル医療デバイス、または任意の他のウェアラブルデバイスなどのウェアラブルデバイス８０２を装着している。

【0190】

モバイルデバイス１５０および車両コンピューティングシステム２１０は、車両データ（例えば、車両コンテキスト情報、車両テンプレート、車両センサデータなど）、イベントデータ、および／または乗員データ（例えば、乗員状態情報、乗員センサ測定値、乗員健康測定値など）など、前述のようにデータを交換することができる。ウェアラブルデバイス８０２は、健康メトリクス、バイオメトリクス等の乗員に関する情報を追跡／測定することができるウェアラブルアプリケーション８０４を含むことができる。ウェアラブルデバイス８０２は、例えば、限定ではないが、酸素濃度計、皮膚センサ、光学心臓センサ、フォトプレチスモグラフィセンサ、電気心臓センサ、加速度計、ジャイロスコープ、心電図センサ、温度センサ、血圧センサ、ガルバニック皮膚反応センサ、脳波センサ、および／または任意の他のセンサ等の健康および他のセンサを含むことができる。

【0191】

いくつかの例では、ウェアラブルデバイス８０２は、乗員監視を支援することができる（例えば、モバイルデバイス１５０のセンサモダリティに対して）追加のおよび／または冗長なセンサモダリティを有することができる。ウェアラブルデバイス８０２は、そのようなデータ（または関連イベントのダイジェスト）をモバイルデバイス１５０に送信して、その乗員監視プロセスを支援することができる。いくつかの例では、ウェアラブルデバイス８０２は、例えば、慣性センサデータ、心拍数測定値、血圧測定値、ガルバニック皮膚反応測定値、ＥＣＧ／ＥＫＧ／ＥＥＧデータ、温度データ、酸素レベル、運動情報、睡眠追跡情報などのセンサデータをモバイルデバイス１５０に送信することができる。場合によっては、ウェアラブルデバイス８０２からのデータは、眠気、中毒、健康緊急事態、ストレス、高まった感情状態、意識喪失などの障害を示すことができ、かつ／または（例えば、正例および負例で訓練された機械学習分類器を介して）障害を判定するために使用することができる。

【0192】

ウェアラブルデバイス８０２のウェアラブルアプリケーション８０４は、ウェアラブルデバイス８０２上の１つまたは複数のセンサから健康測定値および任意の他の測定値を取得することができる。ウェアラブルデバイス８０２は、任意の健康測定値をモバイルデバイス１５０に送信することができる。モバイルデバイス１５０は、健康測定値を使用して、乗員の状態を監視することができる。モバイルデバイス１５０は、健康測定値を単独で、または監視エンジン４１０に関して前に説明した任意の測定値など、モバイルデバイス１５０からの他の測定値と組み合わせて使用することができる。いくつかの例では、モバイルデバイス１５０は、センサデータ融合を実行し、ウェアラブルデバイス８０２からの健康測定値と、モバイルデバイス１５０からの任意の乗員監視測定値および／またはデータとの組み合わせを使用して、乗員の状態を判定することができる。モバイルデバイス１５０は、前述のように、監視エンジン４１０を使用して、乗員の状態を判定することができる。監視エンジン４１０は、モバイルデバイス１５０および／またはウェアラブルデバイス８０２からのデータのいずれかを使用して、乗員の状態を判定することができる。

【0193】

場合によっては、モバイルデバイス１５０は、判定された乗員の状態を車両コンピューティングシステム２１０に送信することができる。モバイルデバイス１５０は、追加または代替として、前述のように、任意のイベントデータを車両コンピューティングシステム２１０に送信することができる。場合によっては、モバイルデバイス１５０は、判定された乗員の状態を、例えば、車両８１０（例えば、車両コンピューティングシステム８１２）、インフラストラクチャ８２０、および／または任意の他のデバイスなどの他のデバイスに送信することができる。インフラストラクチャ８２０は、例えば、限定するものではないが、信号機、交通カメラ、街灯、サイネージ、パーキングメータ、車線マーカ、１つまたは複数の緊急応答システム、それらの組み合わせ、および／または任意の他のインフラストラクチャシステム、デバイス、および／または構成要素など、任意のインフラストラクチャシステム、デバイス、および／または構成要素を含むことができる。場合によっては、車両コンピューティングシステム２１０は、判定された乗員の状態を、例えば、車両８１０（例えば、車両コンピューティングシステム８１２）、インフラストラクチャ８２０、および／または任意の他のデバイスなどの他のデバイスに送信／転送することができる。

【0194】

場合によっては、車両コンピューティングシステム２１０はまた、１つまたは複数の画像センサ、慣性センサ、重量センサ、圧力センサ、オーディオセンサなどの車両２０２の１つまたは複数のセンサからのデータ、および／またはモバイルデバイス１５０からのイベントデータ４２４を使用して、乗員の状態を（例えば、監視エンジン４０２を介して）判定することができる。例えば、場合によっては、車両コンピューティングシステム２１０は、モバイルデバイス１５０によって行われた乗員の状態の判定に加えて、乗員の状態を判定することができる。いくつかの例では、車両コンピューティングシステム２１０は、モバイルデバイス１５０、ウェアラブルデバイス８０２、および／または車両２０２の１つまたは複数のセンサからのセンサデータを使用して、乗員の状態を判定することができる。例えば、車両コンピューティングシステム２１０は、モバイルデバイス１５０、ウェアラブルデバイス８０２、および／または車両２０２の１つまたは複数のセンサからのセンサデータを融合して、乗員の状態を判定することができる。場合によっては、車両コンピューティングシステム２１０は、モバイルデバイス１５０から受信された乗員の状態を使用して、乗員の状態のそれ自体の判定を支援することができる。他の場合には、車両コンピューティングシステム２１０は、モバイルデバイス１５０および／またはモバイルデバイス１５０からのセンサデータによって判定される乗員の状態なしに、乗員の状態を別個に判定することができる。

【0195】

車両８１０の車両コンピューティングシステム２１０は、任意の車両データおよび／または乗員データを、例えば車両２０２および／またはインフラストラクチャ８２０などの他のデバイスに通信することができる。例えば、車両コンピューティングシステム２１０は、乗員の判定された状態を車両８１０および／またはインフラストラクチャ８２０に送信することができる（例えば、モバイルデバイス１５０が乗員の状態を車両８１０および／またはインフラストラクチャ８２０に送信することに加えて、またはその代わりに）。車両８１０および／またはインフラストラクチャ８２０は、モバイルデバイス１５０および／または車両２０２から受信された乗員の任意の状態情報を使用して、状態情報が乗員の障害を示す場合に乗員に対する支援を求め、かつ／または障害がある間に乗員によって操作される車両２０２との任意の事故または衝突を防止するための任意のアクションを実行することができる。

【0196】

例えば、車両２０２の車両コンピューティングシステム８１２の車両アプリケーション８１４は、車両８１０および／またはモバイルデバイス１５０からのデータを使用して、車両２０２の動作／挙動を調整し、車両８１０との任意の事故または衝突を回避することができる。場合によっては、車両２０２の車両コンピューティングシステム８１２の車両アプリケーション８１４は、車両８１０および／またはモバイルデバイス１５０からのデータを使用して、車両２０２を回避し、かつ／または車両８１０から少なくとも特定の距離を維持するように車両２０２の経路を変更することができる。車両コンピューティングシステム８１２は、図２と組み合わせて前述した車両コンピューティングシステム２１０と同一または類似の構成要素を含むように構成することができる。

【0197】

別の例として、インフラストラクチャ８２０のインフラストラクチャアプリケーション８２２は、車両２０２および／またはモバイルデバイス１５０からのデータを使用して、インフラストラクチャ８２０の動作／挙動を調整することができる。例示すると、インフラストラクチャ８２０のインフラストラクチャアプリケーション８２２は、車両２０２および／またはモバイルデバイス１５０からのデータを使用して、車両２０２の乗員の障害に基づいてインフラストラクチャ８２０に関連付けられた交通規制／信号を調整し、および／または車両２０２の乗員の障害を、法執行機関および／または他の緊急若しくは支援要員および／またはシステムに報告することができる。

【0198】

いくつかの例では、車両コンピューティングシステム２１０はまた、他の情報を車両８１０および／またはインフラストラクチャ８２０に送信することができる。例えば、車両コンピューティングシステム２１０は、車両２０２からのセンサデータおよび／または車両２０２の判定されたコンテキストを車両８１０および／またはインフラストラクチャ８２０に送信することができる。場合によっては、車両コンピューティングシステム２１０は、車両２０２の乗員に関する任意の状態情報に加えて、そのような情報を送信することができる。

【0199】

図９は、車両２０２を運転する乗員によって装着されたモバイルデバイス１５０によって判定された乗員状態に基づく例示的な車両緩和イベントを示す図である。この例では、モバイルデバイス１５０は、車両２０２を運転している乗員が健康緊急事態によって損なわれていることを示す乗員状態９１０を（例えば、監視エンジン４１０を介して、場合によってはウェアラブルデバイス８０２からのデータに基づいて）判定している。モバイルデバイス１５０は、乗員状態９１０を車両２０２の車両コンピュータシステム（例えば、車両コンピューティングシステム２１０）に送信して、乗員が健康緊急事態によって損なわれていることを車両２０２に通知することができる。

【0200】

車両２０２の車両コンピュータシステム（例えば、車両コンピューティングシステム２１０）は、車両２０２の動きの状態などの車両２０２の状態を記述する車両コンテキスト９１２を判定する。この例では、車両コンテキスト９１２は、車両２０２が時速１０マイル（ｍｐｈ）で西に移動しており、前方で車両イベントに遭遇したことを示す。この例における車両イベントは、車両２０２の経路に沿った障害物９０２である。

【0201】

モバイルデバイス１５０から取得された乗員状態９１０および車両コンテキスト９１２に基づいて、車両２０２の車両コンピューティングシステムは（例えば、イベント緩和エンジン４０４などのイベント緩和エンジンを介して）アクション９１６をトリガすることができる。この例では、アクション９１６は、乗員が健康緊急事態によって損なわれている間に、車両２０２を制御するために車両２０２の自律車両を制御することを含む。いくつかの例では、車両２０２は、自律機能を使用して、乗員を目的地経路まで運転することができる。他の例では、車両２０２は、自律能力を使用して、車両２０２の経路を変更し、乗員を病院／診療所または乗員が健康緊急事態のための治療を得ることができるロケーションに運転することができる。場合によっては、車両２０２はまた、乗員が健康の緊急事態を経験していることを示す、および／または健康緊急事態に対する支援を要求するメッセージ／通知を、健康緊急システムなどの遠隔システムに送信することができる。

【0202】

アクション９１６はまた、障害物９０２を回避するために操縦９０４を実行することを含む。車両２０２は、自律能力を使用して、障害物９０２を回避するために操縦９０４を実行することができる。この例では、操縦９０４は、障害物９０２の前の道路上で左折することを含む。

【0203】

図９に示される障害物９０２、操縦９０４、乗員状態９１０、車両コンテキスト９１２、およびアクション９１６は、説明のために提供される単なる例示的な例である。他の例は、同じまたは異なるおよび／または追加の障害物、操縦、乗員状態、車両コンテキスト、アクションなどを含むことができる。

【0204】

いくつかの例では、車両コンテキストは、車両の動作／運転に関する情報を含むことができる。イベントまたは車両イベントは、車両安全性、車両安全性イベント／条件などに関連する情報を含むことができる。乗員の状態は、乗員の一時的な注意散漫または健康状態を含み得る、および／または乗員の注意散漫または健康状態に関連し得る。場合によっては、注意散漫または健康状態は、乗員の一時的な注意散漫または健康状態を含むことができる。

【0205】

図１０は、車両２０２を運転する乗員によって装着されたモバイルデバイス１５０によって判定された乗員状態に基づく別の例示的な車両緩和イベントを示す図である。この例では、モバイルデバイス１５０は、車両２０２を運転している乗員が注意を逸らしていることを示す乗員状態１００２を（例えば、監視エンジン４１０を介して）判定している。モバイルデバイス１５０は、乗員が注意を逸らしていることを車両２０２に通知するために、車両２０２の車両コンピュータシステム（例えば、車両コンピューティングシステム２１０）に乗員状態１００２を送信することができる。

【0206】

車両２０２は、（例えば、監視エンジン４０２などの監視エンジンを介して）車両２０２が、車両２０２が走行している道路１０１０の中央車線１０１２または車線分割部を横断していることを検出することができる。乗員が注意を逸らしていることを示す乗員状態１００２と、車両２０２が道路１０１０の中央車線１０１２を横断しているという判定とに基づいて、時間Ｔ_１において、車両２０２は、注意を逸らしている乗員を支援するためのアクション１００４を（例えば、イベント緩和エンジン４０４などのイベント緩和エンジンを介して）トリガすることができる。この例では、アクション１００４は、車両２０２の車線維持支援機能を作動させて、車両２０２をその車線１０２０内に維持し、車両２０２が別の車線１０２２に交差するのを回避するための是正措置を行うことを含む。

【0207】

時間Ｔ_２において、車両２０２が車線維持支援機能に関与し、是正措置を取った後、車両２０２は、ここでその車線１０２０内を走行している。図１０に示されるように、乗員状態１００６はまた、時間Ｔ_２において車両の乗員が正常な状態にある（例えば、障害がない）ことを示す。車両２０２は、乗員が自律支援ありまたはなしで車両２０２を運転することを可能にすることができ、１つまたは複数の自律運転動作を実施し続けることができ、または車両２０２を手動で（完全にまたは部分的に）制御するかどうかを選択するオプションを乗員に提供して、車両２０２が自律的に動作することを可能にすることなどができる。

【0208】

図１１は、車両の動作中に仮想コンテンツの提示を制御するための例示的プロセス１１００を示すフローチャートである。ブロック１１０２において、プロセス１１００は、車両（例えば、車両２０２）の内部の１つまたは複数の画像に基づいて、車両の座標系に対するモバイルデバイス（例えば、モバイルデバイス１５０）の姿勢を判定することを含むことができる。

【0209】

ブロック１１０４において、プロセス１１００は、車両から、車両の１つまたは複数のセンサに関連付けられたデータを受信することを含むことができる。

【0210】

ブロック１１０６において、プロセス１１００は、モバイルデバイスのディスプレイデバイスを使用して、１つまたは複数のセンサに関連付けられたデータと、車両の座標系に対するモバイルデバイスの姿勢とに基づいて仮想コンテンツを表示することを含むことができる。

【0211】

いくつかの態様では、プロセス１１００は、１つまたは複数のセンサに関連付けられたデータに基づいて車両のコンテキストを判定することを含むことができる。いくつかの例では、コンテキストは、車両に関連するイベントを含むことができる。

【0212】

いくつかの態様では、プロセス１１００は、モバイルデバイスの座標系に対する仮想コンテンツのロケーションを、車両の座標系に対するイベントのロケーションに関連付けることと、モバイルデバイスの座標系に対する仮想コンテンツのロケーションと車両の座標系に対するイベントのロケーションとの関連付けに基づいて、モバイルデバイスの１つまたは複数の視覚画像センサからのライブコンテンツフィードを表示することと、を含むことができる。

【0213】

いくつかの例では、ライブコンテンツフィードを表示することは、車両の座標系に対するモバイルデバイスの姿勢と、イベントに対する車両の姿勢とに基づいて、イベントに対するモバイルデバイスの姿勢を判定することと、イベントに対するモバイルデバイスの姿勢と、モバイルデバイスの座標系に対する仮想コンテンツのロケーションと車両の座標系に対するイベントのロケーションとの関連付けとに基づいて、仮想コンテンツが、車両の乗員の視野内でイベントを少なくとも部分的に遮蔽することを判定することと、を含むことができる。

【0214】

いくつかの態様では、プロセス１１００は、モバイルデバイスの座標系に対する仮想コンテンツアイテムのロケーションを、車両の座標系に対するイベントのロケーションに関連付けることと、モバイルデバイスの座標系に対する仮想コンテンツのロケーションと車両の座標系に対するイベントのロケーションとの関連付けに基づいて、仮想コンテンツアイテムをフィルタリングまたは修正することとを含むことができる。

【0215】

いくつかの例では、仮想コンテンツアイテムをフィルタリングまたは修正することは、仮想コンテンツアイテムの１つまたは複数の特性を修正することを含むことができる。場合によっては、１つまたは複数の特性は、透明度、サイズ、仮想コンテンツアイテムのロケーション、および仮想コンテンツアイテムの輝度レベルのうちの少なくとも１つを含むことができる。

【0216】

いくつかの例では、仮想コンテンツアイテムをフィルタリングまたは修正することは、車両の乗員の視線を判定することであって、乗員はモバイルデバイスに関連付けられる、ことと、乗員の視線およびイベントのロケーションに基づいて、乗員に対するイベントの可視性を判定することと、乗員に対するイベントの可視性にさらに基づいて、仮想コンテンツアイテムをフィルタリングまたは修正することとを含むことができる。

【0217】

いくつかの例では、イベントが、車両の経路内のオブジェクトの存在または車両の経路への閾値近接度、車両の経路に関連付けられた交通規制、ならびに車両が速度制限および車線区分線のうちの少なくとも１つ内に留まらなかったこと、のうちの少なくとも１つを含むことができる。場合によっては、車両の経路内のオブジェクトまたは車両の経路に対する閾値近接度が、歩行者、動物、および別の車両のうちの少なくとも１つを含む。

【0218】

いくつかの態様では、プロセス１１００は、車両の乗員の視線を判定することであって、乗員はモバイルデバイスに関連付けられる、ことと、車両の乗員の視線の方向内に仮想コンテンツをレンダリングすることと、を含むことができる。

【0219】

場合によっては、乗員の視線の方向内に仮想コンテンツをレンダリングすることは、イベント、イベントのロケーション、およびイベントの方向のうちの少なくとも１つの仮想インジケータを備える仮想コンテンツオーバーレイをレンダリングすることを含むことができる。

【0220】

場合によっては、乗員の視線の方向内に仮想コンテンツをレンダリングすることは、仮想コンテンツの１つまたは複数の特性を修正することを含むことができる。場合によっては、１つまたは複数の特性は、透明度、サイズ、仮想コンテンツのロケーション、および輝度レベルのうちの少なくとも１つを含むことができる。

【0221】

いくつかの態様では、プロセス１１００は、車両のコンテキストおよびモバイルデバイスの姿勢に基づいて、仮想コンテンツの少なくとも一部をフィルタリングすることを含むことができる。

【0222】

場合によっては、仮想コンテンツの少なくとも一部をフィルタリングすることは、仮想コンテンツのサブセットの提示を可能にすることを含むことができる。いくつかの例では、仮想コンテンツのサブセットは、車両の状況の指標および車両計装情報のうちの少なくとも１つを含むことができる。

【0223】

いくつかの態様では、仮想コンテンツを表示することは、車両に関連付けられた仮想コンテンツアイテムをレンダリングすることを含み得、仮想コンテンツアイテムは、車両の表面に対してレンダリングされる。

【0224】

場合によっては、レンダリングされた仮想コンテンツアイテムは、１つまたは複数のセンサに関連付けられたデータにおいて識別されたイベントの第１の指標、車両のコンテキストの第２の指標、および車両のコンテキストに関連付けられた警報のうちの少なくとも１つを含むことができる。

【0225】

いくつかの態様では、仮想コンテンツアイテムをレンダリングすることは、車両のカメラデバイスからカメラフィードを受信することと、カメラフィードの少なくとも一部をモバイルデバイスの表示領域内に表示することとを含むことができる。

【0226】

場合によっては、モバイルデバイスの姿勢を判定することは、１つまたは複数の無線周波数（ＲＦ）信号を取得することと、１つまたは複数の画像と、１つまたは複数のＲＦ信号に関連付けられたラウンドトリップ時間、１つまたは複数のＲＦ信号に関連付けられた到着時間、および１つまたは複数のＲＦ信号に関連付けられた受信信号強度インジケータ（ＲＳＳＩ）のうちの少なくとも１つとに基づいて、モバイルデバイスの姿勢を判定することと、を含むことができる。

【0227】

場合によっては、モバイルデバイスの姿勢を判定することは、車両から、車両に関連付けられた１つまたは複数のマーカを含む車両テンプレートを受信することと、１つまたは複数の画像および車両テンプレートに基づいて、車両の座標系に対するモバイルデバイスの姿勢を判定することとを含むことができる。

【0228】

いくつかの例では、１つまたは複数のマーカは、車両の内部内のエリアおよび車両の内部に取り付けられたオブジェクトのうちの少なくとも一方の視覚パターン、車両の内部の要素、車両の内部内の表面、ならびに車両の内側の照明されたオブジェクトのうちの少なくとも１つを含むことができる。

【0229】

場合によっては、モバイルデバイスの姿勢を判定することは、１つまたは複数の画像内の１つまたは複数のマーカを検出することと、検出された１つまたは複数のマーカおよび車両テンプレートに基づいて、車両の座標系に対するモバイルデバイスの姿勢を判定することと、を含むことができる。

【0230】

いくつかの態様では、プロセス１１００は、モバイルデバイスの１つまたは複数の画像センサを使用して、車両の内部の画像のセットを取得することであって、画像のセットが、車両に関連付けられた１つまたは複数のマーカを描写する、ことと、画像のセットに基づいて、１つまたは複数のマーカを含む車両テンプレートを生成することと、を含むことができる。

【0231】

図１２は、車両の乗員を監視するための例示的なプロセス１２００を示すフローチャートである。ブロック１２０２において、プロセス１２００は、本方法は、車両の内部の１つまたは複数の画像に基づいて、車両の座標系に対するモバイルデバイスの姿勢を判定することを含むことができる。場合によっては、障害は、車両の動作および車両に関連付けられたイベントのうちの少なくとも１つに関する注意散漫状態、中毒状態、健康状態、覚醒状態、検出された感情状態、車両を制御するための障害位置、および障害視界のうちの少なくとも１つを含むことができる。

【0232】

ブロック１２０４において、プロセス１２００は、車両の乗員の状態を判定することを含むことができる。いくつかの例では、乗員の状態は、車両を操作することに関する乗員の障害を含むことができる。

【0233】

ブロック１２０６において、プロセス１２００は、乗員の状態および車両の座標系に対するモバイルの姿勢を示すデータを車両に送信することを含むことができる。

【0234】

いくつかの例では、乗員の状態を判定することは、車両から、車両の１つまたは複数のセンサに関連付けられたデータを受信することと、車両の１つまたは複数のセンサに関連付けられたデータおよびモバイルデバイスの姿勢に基づいて、乗員の状態を判定することとを含むことができる。

【0235】

場合によっては、車両の１つまたは複数のセンサに関連付けられたデータは、車両の状態および車両に関連付けられたイベントのうちの少なくとも１つを示す。

【0236】

場合によっては、車両に関連付けられたイベントが、車両の経路内のオブジェクトの存在または車両の経路への閾値近接度、車両の経路に関連付けられた交通規制、ならびに車両が速度制限および車線区分線のうちの少なくとも１つ内に留まらなかったこと、のうちの少なくとも１つを含むことができる。

【0237】

いくつかの例では、車両の経路内のオブジェクトまたは車両の経路に対する閾値近接度が、歩行者、動物、および別の車両のうちの少なくとも１つを含み得る。

【0238】

場合によっては、乗員の障害は、車両を安全に操作する乗員の能力に悪影響を与える任意のイベント、活動、注意散漫、状態、属性、挙動、および／または条件を含む。

【0239】

いくつかの態様では、プロセス１２００は、車両の乗員の視線を判定することを含むことができる。場合によっては、乗員の状態は、乗員の視線を含むことができ、乗員は、モバイルデバイスに関連付けられ得る。例えば、乗員は、モバイルデバイスを装着しているユーザであり得る。

【0240】

場合によっては、乗員の状態を判定することは、モバイルデバイスおよび乗員によって装着されるウェアラブルデバイスのうちの少なくとも１つに関連付けられた１つまたは複数のセンサから、乗員に関連付けられた１つまたは複数の健康測定値を受信することと、１つまたは複数の健康測定値に基づいて乗員の状態を判定することと、を含むことができる。

【0241】

いくつかの例では、１つまたは複数の健康測定値は、心拍数、血圧、体温、ガルバニック皮膚反応、乗員の心臓からの電気信号の測定値、乗員の脳の電気活動の測定値、目の赤みの量、および瞳孔サイズのうちの少なくとも１つを含むことができる。

【0242】

場合によっては、乗員の状態を判定することは、乗員の視線が、ある期間にわたって車両の前方の道路から離れて集中していることを判定することと、乗員の視線が、ある期間にわたって車両の前方の道路から離れて集中していることと、期間が閾値期間を超えるという判定とに基づいて、乗員の障害状態を判定することとを含むことができる。

【0243】

いくつかの例では、乗員の視線が一定期間にわたって車両の前方の道路から離れて集中していると判定することは、乗員の視線が一定期間の少なくとも一部にわたってモバイルデバイスによってレンダリングされた仮想コンテンツに集中していると判定することを含むことができる。

【0244】

場合によっては、乗員の視線が一定期間車両の前方の道路から離れて集中していると判定することは、乗員の視線が車両の経路内の障害物の方向または車両の経路に対する閾値近接度とは異なる方向に集中していると判定することを含むことができる。

【0245】

いくつかの態様では、プロセス１２００は、乗員の状態の指標を、第２の車両、車両インフラストラクチャシステム、第２の車両の第２の乗員に関連付けられた第１のリモートデバイス、および歩行者に関連付けられた第２のリモートデバイスのうちの少なくとも１つに送信することを含むことができる。

【0246】

場合によっては、乗員の状態を判定することは、モバイルデバイスを装着している乗員の視線を判定することと、モバイルデバイスの姿勢および乗員の視線に基づいて乗員の状態を判定することとを含むことができる。

【0247】

場合によっては、モバイルデバイスの姿勢を判定することは、車両から、車両に関連付けられた１つまたは複数のマーカを含む車両テンプレートを受信することと、１つまたは複数の画像および車両テンプレートに基づいて、車両の座標系に対するモバイルデバイスの姿勢を判定することとを含むことができる。

【0248】

場合によっては、１つまたは複数のマーカは、車両の内部内のエリアおよび車両の内部に取り付けられたオブジェクトのうちの少なくとも一方の視覚パターン、車両の内部の要素、車両の内部内の表面、ならびに車両の内側の照明されたオブジェクトのうちの少なくとも１つを含むことができる。

【0249】

場合によっては、１つまたは複数の画像が１つまたは複数のマーカを描写し、モバイルデバイスの姿勢を判定することは、１つまたは複数の画像内の１つまたは複数のマーカを検出することと、検出された１つまたは複数のマーカおよび車両テンプレートに基づいて、車両の座標系に対するモバイルデバイスの姿勢を判定することと、を含むことができる。

【0250】

いくつかの態様では、プロセス１２００は、モバイルデバイスの１つまたは複数の画像センサを使用して、車両の内部の画像のセットを取得することであって、画像のセットが、車両に関連付けられた１つまたは複数の視覚ランドマークを描写する、ことと、画像のセットに基づいて、車両テンプレートを生成することであって、車両テンプレートが、１つまたは複数のマーカを含むことと、をさらに含むことができる。

【0251】

場合によっては、モバイルデバイスの姿勢を判定することは、モバイルデバイスに関連付けられた慣性センサデータを取得することと、１つまたは複数の画像および慣性センサデータに基づいてモバイルデバイスの姿勢を判定することとを含むことができる。

【0252】

図１３は、車両の動作を制御する例示的なプロセス１３００を示すフローチャートである。ブロック１３０２において、プロセス１３００は、車両の乗員に関連付けられたモバイルデバイスから、車両の座標系に対する乗員の姿勢を受信することを含むことができる。ブロック１３０４において、プロセス１３００は、車両の座標系に対する乗員の姿勢に基づいて、車両の１つまたは複数の機能を制御することを含むことができる。

【0253】

いくつかの例では、車両の１つまたは複数の機能を制御することは、車両の１つまたは複数の車両機能に関与することを含むことができる。いくつかの例では、１つまたは複数の車両機能は、オートパイロット機能、トラクション制御機能、クルーズコントロール機能、衝突回避機能、車線逸脱機能、車線中心化機能、ブレーキ支援機能、車線維持機能、高速道路支援機能、車線変更支援機能、速度適応機能、および交差点支援機能のうちの少なくとも１つを含むことができる。

【0254】

いくつかの例では、車両の１つまたは複数の機能を制御することは、車両の１つまたは複数の自律車両システムを制御または係合することを含むことができる。いくつかの例では、１つまたは複数の自律車両システムは、死角監視システム、運転者監視システム、制動システム、自律運転制御システム、運転者支援システム、ナビゲーションシステム、ステアリング制御システム、車両通信システム、および自動車ヘッドアップディスプレイのうちの少なくとも１つを含むことができる。

【0255】

いくつかの態様では、プロセス１３００は、車両の１つまたは複数のセンサに関連付けられたデータを、モバイルデバイス、第２の車両、車両インフラストラクチャシステム、第２の車両の第２の乗員に関連付けられた第１のリモートデバイス、および歩行者に関連付けられた第２のリモートデバイスのうちの少なくとも１つに送信することを含み得る。

【0256】

いくつかの態様では、プロセス１３００は、乗員の状態を示すデータを、第２の車両、車両インフラストラクチャシステム、第２の車両の第２の乗員に関連付けられた第１のリモートデバイス、および歩行者に関連付けられた第２のリモートデバイスのうちの少なくとも１つに送信することを含むことができる。

【0257】

いくつかの態様では、プロセス１３００は、車両の座標系に対する乗員の姿勢を判定するための車両テンプレートをモバイルデバイスに送信することを含むことができ、車両テンプレートは、車両に関連付けられた１つまたは複数のマーカを含む。

【0258】

いくつかの例では、１つまたは複数のマーカは、車両の内部内のエリアおよび車両の内部に取り付けられたオブジェクトのうちの少なくとも一方の視覚パターン、車両の内部の要素、車両の内部内の表面、ならびに車両の内側の照明されたオブジェクトのうちの少なくとも１つを含むことができる。

【0259】

いくつかの態様では、プロセス１３００は、車両の座標系に対する乗員の姿勢に少なくとも部分的に基づいて出力を生成することを含むことができる。いくつかの例では、出力は、モバイルデバイスへの通信、車両の１つまたは複数の機能を修正する命令、および乗員の状態の指標のうちの少なくとも１つを含むことができる。

【0260】

場合によっては、モバイルデバイスへの通信は、仮想コンテンツアイテムおよび仮想コンテンツアイテムを表示する要求のうちの少なくとも１つを含むことができる。

【0261】

いくつかの態様では、プロセス１３００は、モバイルデバイスから、車両の乗員の状態を示すデータを受信することを含むことができる。場合によっては、データは、モバイルデバイスの１つまたは複数のセンサからのセンサデータと、モバイルデバイスの１つまたは複数のセンサからのセンサデータに基づいて生成された処理されたデータとのうちの少なくとも１つを含むことができる。

【0262】

場合によっては、処理されたデータは、乗員の状態の記述および乗員の状態を識別する分類出力のうちの少なくとも１つを含むことができる。

【0263】

いくつかの態様では、プロセス１３００は、モバイルデバイスから、車両の乗員の状態を示すデータを受信することを含むことができる。場合によっては、データは、乗員の視線の指標、車両の座標系に対する方法の姿勢、および乗員に関連付けられた１つまたは複数の健康測定値のうちの少なくとも１つを含むことができる。

【0264】

場合によっては、１つまたは複数の健康測定値は、心拍数、血圧、体温、ガルバニック皮膚反応、乗員の心臓からの電気信号の測定値、乗員の脳の電気活動の測定値、目の赤みの量、および瞳孔サイズのうちの少なくとも１つを含むことができる。

【0265】

いくつかの態様では、プロセス１３００は、車両の１つまたは複数のセンサから、車両の動作に関連するイベントの指標、乗員によって少なくとも部分的に制御される車両の１つまたは複数の動作中の１つまたは複数の運転パターンの指標、および車両計装データのうちの少なくとも１つを含むセンサデータを取得することを含むことができる。場合によっては、プロセス１３００は、センサデータにさらに基づいて車両の１つまたは複数の機能を制御することを含むことができる。

【0266】

いくつかの態様では、プロセス１３００は、乗員の状態を判定することを含むことができる。場合によっては、乗員の状態を判定することは、モバイルデバイスおよびウェアラブルデバイスのうちの少なくとも１つに関連付けられた１つまたは複数の健康センサから、乗員に関連付けられた１つまたは複数の健康測定値を受信することと、乗員に関連付けられた１つまたは複数の健康測定値に基づいて乗員の状態を判定することとを含むことができる。

【0267】

いくつかの態様では、プロセス１３００は、乗員の状態を取得することを含むことができる。いくつかの例では、乗員の状態は、車両を操作することに関する乗員の障害を含むことができる。いくつかの例では、乗員の障害は、乗員の一時的な障害を含むことができる。場合によっては、障害は、車両の動作および車両に関連付けられたイベントのうちの少なくとも１つに関する注意散漫状態、中毒状態、健康状態、覚醒状態、検出された感情状態、車両を制御するための障害位置、および障害視界のうちの少なくとも１つを含むことができる。場合によっては、乗員の障害は、車両を安全に操作する乗員の能力に悪影響を与える任意のイベント、活動、注意散漫、状態、属性、挙動、および／または条件を含む。

【0268】

いくつかの例では、イベントが、車両の経路内のオブジェクトの存在または車両の経路への閾値近接度、車両の経路に関連付けられた交通規制、ならびに車両が速度制限および車線区分線のうちの少なくとも１つ内に留まらなかったこと、のうちの少なくとも１つを含むことができる。いくつかの例では、オブジェクトは、歩行者、動物、および別の車両のうちの少なくとも１つを含むことができる。

【0269】

いくつかの態様では、プロセス１３００は、車両の内部の１つまたは複数の画像を取得することであって、１つまたは複数の画像が、車両に関連付けられた１つまたは複数の視覚ランドマークを示す、ことと、１つまたは複数の画像に基づいて車両テンプレートを生成することであって、車両テンプレートが、１つまたは複数の視覚ランドマークを記述する、こととを含むことができる。

【0270】

いくつかの態様では、プロセス１３００は、車両テンプレートをモバイルデバイスに送信することと、モバイルデバイスから、車両テンプレートにおいて定義された１つまたは複数の座標に対する乗員の姿勢を受信することとを含むことができる。いくつかの例では、１つまたは複数の座標は、１つまたは複数の視覚ランドマークに対するものであり、車両の座標系に対応する。

【0271】

いくつかの態様では、プロセス１３００は、モバイルデバイスから、乗員の状態を示すデータを受信することを含むことができる。場合によっては、車両の１つまたは複数の機能を制御することは、乗員の姿勢および乗員の状態を示すデータに基づいて車両の１つまたは複数の機能を制御することを含むことができる。

【0272】

いくつかの態様では、プロセス１３００は、車両の座標系に対する乗員の姿勢に少なくとも部分的に基づいて出力を生成することを含むことができる。いくつかの例では、出力は、車両の１つまたは複数の機能を修正するための命令および乗員の更新された状態のうちの少なくとも１つを含むことができる。

【0273】

いくつかの例では、車両の１つまたは複数の機能は、車両の１つまたは複数の機能および車両の１つまたは複数の自律車両システムのうちの少なくとも１つを制御するように構成された車両のコンピュータシステムを介して制御され得る。

【0274】

図１４は、車両を車両の乗員に関連付けられたモバイルデバイスとインターフェースするための例示的なプロセス１３００を示すフローチャートである。ブロック１４０２において、プロセス１４００は、車両のコンピュータシステムに接続された拡張現実（ＡＲ）デバイスから要求を受信することを含むことができる。いくつかの実施例では、要求は、例えば、車両の１つまたは複数のセンサからのデータ等、車両によって生成および／または取得されたデータを要求することができる。

【0275】

ブロック１４０４において、プロセス１４００は、要求に応答して、車両の１つまたは複数のセンサに関連付けられたデータをＡＲデバイスに送信することを含むことができる。いくつかの例では、データは、車両のコンテキストを示す車両データを含むことができる。いくつかの例では、車両のコンテキストは、車両の状態、および車両が遭遇した、または車両の１つまたは複数の動作中に発生すると判定された１つまたは複数のイベントのうちの少なくとも１つを含むことができる。

【0276】

いくつかの例では、１つまたは複数のイベントが、車両の経路内のオブジェクトの存在または車両の経路への閾値近接度、車両の経路に関連付けられた交通規制、ならびに車両が速度制限および車線区分線のうちの少なくとも１つ内に留まらなかったこと、のうちの少なくとも１つを含むことができる。場合によっては、車両の経路内のオブジェクトまたは車両の経路に対する閾値近接度が、歩行者、動物、および別の車両のうちの少なくとも１つを含み得る。

【0277】

いくつかの態様では、プロセス１４００は、ＡＲデバイスに、車両の座標系に対するＡＲデバイスの姿勢および１つまたは複数のイベントのそれぞれのロケーションのうちの少なくとも１つに対するロケーションにおける提示のための表示データを送ることを含むことができる。いくつかの例では、表示データは、車両データの少なくとも一部を含むことができる。

【0278】

いくつかの態様では、プロセス１４００は、ＡＲデバイスに、１つまたは複数のイベントのそれぞれのロケーションの指標を送ることを含むことができる。いくつかの態様では、プロセス１４００は、車両の座標系に対するＡＲデバイスの姿勢を判定するための車両テンプレートをＡＲデバイスに送信することを含むことができる。いくつかの例では、車両テンプレートは、車両の内部における１つまたは複数のマーカを記述することができる。

【0279】

いくつかの例では、１つまたは複数のマーカは、車両の内部内のエリアおよび車両の内部に取り付けられたオブジェクトのうちの少なくとも一方の視覚パターン、車両の内部の要素、車両の内部内の表面、ならびに車両の内側の照明されたオブジェクトのうちの少なくとも１つを含むことができる。

【0280】

いくつかの態様では、プロセス１４００は、ＡＲデバイスから、車両の座標系に対するＡＲデバイスの姿勢を受信することを含むことができる。

【0281】

いくつかの態様では、プロセス１４００は、１つまたは複数のセンサに関連付けられたデータおよび車両の座標系に対するＡＲデバイスの姿勢のうちの少なくとも１つに基づいて、車両に関連付けられた仮想コンテンツのコンピュータシステムによる提示を制御することを含むことができる。場合によっては、仮想コンテンツの提示を制御することは、車両の座標系に対するＡＲデバイスの姿勢に基づいて、車両の１つまたは複数の画像センサからのライブコンテンツフィードをＡＲデバイスに提供することを含むことができる。

【0282】

場合によっては、ライブコンテンツフィードを提供することは、車両の座標系に対するＡＲデバイスの姿勢および車両イベントに対する車両の位置に基づいて、車両イベントに対するＡＲデバイスの姿勢を判定することと、車両イベントに対するＡＲデバイスの姿勢に基づいて、コンピュータシステムおよびＡＲデバイスのうちの少なくとも１つに関連付けられた仮想コンテンツが、ＡＲデバイスの視野内で車両イベントを少なくとも部分的に遮ることを判定することとを含むことができる。

【0283】

いくつかの例では、仮想コンテンツの提示を制御することは、コンピュータシステムによってレンダリングされた仮想コンテンツアイテムのロケーションを車両の座標系に対する車両イベントのロケーションに関連付けることと、車両の座標系に対する仮想コンテンツのロケーションと車両イベントのロケーションとの関連付けに基づいて仮想コンテンツアイテムをフィルタリングまたは修正することとを含むことができる。

【0284】

場合によっては、仮想コンテンツアイテムをフィルタリングまたは修正することは、仮想コンテンツアイテムの１つまたは複数の特性を修正することを含むことができる。いくつかの例では、１つまたは複数の特性は、透明度、サイズ、仮想コンテンツアイテムのロケーション、および輝度レベルのうちの少なくとも１つを含むことができる。

【0285】

いくつかの例では、仮想コンテンツアイテムをフィルタリングまたは修正することは、車両の乗員の視線を受信することと、乗員の視線および車両イベントのロケーションに基づいて、乗員に対する車両イベントの可視性を判定することと、乗員に対する車両イベントの可視性にさらに基づいて、仮想コンテンツアイテムをフィルタリングまたは修正することと、を含むことができる。

【0286】

場合によっては、仮想コンテンツの提示を制御することは、車両の乗員の視線を受信することと、車両の乗員の視線の方向内に仮想コンテンツをレンダリングすることとを含むことができる。

【0287】

いくつかの例では、仮想コンテンツをレンダリングすることは、車両イベント、車両イベントのロケーション、および車両イベントの方向のうちの少なくとも１つの仮想インジケータを備える仮想コンテンツオーバーレイをレンダリングすることを含むことができる。

【0288】

場合によっては、仮想コンテンツをレンダリングすることは、仮想コンテンツの１つまたは複数の特性を修正することを含むことができる。いくつかの例では、１つまたは複数の特性は、透明度、サイズ、仮想コンテンツのロケーション、および輝度レベルのうちの少なくとも１つを含むことができる。

【0289】

いくつかの態様では、プロセス１４００は、１つまたは複数のディスプレイデバイスに、車両の動作に関する情報を提供する仮想コンテンツアイテムを表示する命令を送信することを含むことができる。場合によっては、命令は、乗員の視野内にある車両内のロケーションに対する仮想コンテンツアイテムの配置を示すことができる。

【0290】

いくつかの例では、仮想コンテンツアイテムは、コンピュータシステムによって検出された車両イベントの第１の指標、車両のコンテキストの第２の指標、および車両のコンテキストに関連付けられた警報のうちの少なくとも１つを含むことができる。

【0291】

いくつかの態様では、プロセス１４００は、車両上のカメラデバイスからカメラフィードを受信することと、表示のためにカメラフィードの少なくとも一部をＡＲデバイスに送信することとを含むことができる。

【0292】

いくつかの態様では、プロセス１４００は、乗員の状態の指標をＡＲデバイスに送信することを含むことができる。いくつかの例では、乗員の状態は、車両を操作することに関する乗員の障害を含むことができる。いくつかの例では、障害は、一時的な障害を含むことができる。場合によっては、障害は、車両の動作および車両に関連付けられたイベントのうちの少なくとも１つに関する注意散漫状態、中毒状態、健康状態、覚醒状態、検出された感情状態、車両を制御するための障害位置、および障害視界のうちの少なくとも１つを含むことができる。

【0293】

いくつかの態様では、プロセス１４００は、乗員の障害に基づいて車両の動作を制御することを含むことができる。いくつかの例では、乗員の障害は、車両を安全に操作する乗員の能力に悪影響を与える任意のイベント、活動、注意散漫、状態、属性、挙動、および／または条件を含む。

【0294】

いくつかの態様では、プロセス１４００は、乗員の障害に基づいて表示データを生成することを含むことができる。いくつかの例では、表示データは、車両イベントおよび車両計装データのうちの少なくとも１つを含むことができる。

【0295】

いくつかの態様では、プロセス１４００は、乗員の障害に基づいて、表示データをＡＲデバイスに送信することを含むことができる。いくつかの例では、表示データは、車両イベントおよび車両計装データのうちの少なくとも１つを含むことができる。

【0296】

いくつかの例では、コンピュータシステムは、車両の１つまたは複数の自律機能および車両の１つまたは複数の自律車両システムのうちの少なくとも１つを制御するように構成される。

【0297】

いくつかの例では、ＡＲデバイスは、ヘッドマウントディスプレイを含むことができる。いくつかの例では、ＡＲデバイスはウェアラブルＡＲデバイスを含むことができる。

【0298】

いくつかの例では、プロセス１１００、１２００、１３００、および／または１４００のいずれかは、１つまたは複数のコンピューティングデバイスまたは装置によって実行されてもよい。例示的な一実施例では、プロセス１１００、１２００、１３００、および／または１４００のいずれも、図１に示されるモバイルデバイス１５０および／または図２に示される車両２０２（および／または車両コンピューティングシステム２１０）によって実行することができる。いくつかの例では、プロセス１１００、１２００、１３００、および／または１４００のいずれかは、図１５に示すコンピューティングデバイスアーキテクチャ１５００を有する１つまたは複数のコンピューティングデバイスによって実行することができる。場合によっては、そのようなコンピューティングデバイスまたは装置は、プロセッサ、マイクロプロセッサ、マイクロコンピュータ、またはプロセス１１００、１２００、１３００、および／または１４００のうちのいずれかのステップを実行するように構成されたデバイスの他の構成要素を含んでもよい。いくつかの例では、そのようなコンピューティングデバイスまたは装置は、画像データおよび／または他のセンサ測定値を捕捉するように構成された１つまたは複数のセンサを含み得る。例えば、コンピューティングデバイスは、スマートフォン、ヘッドマウントディスプレイ、モバイルデバイス、または他の好適なデバイスを含むことができる。いくつかの例では、そのようなコンピューティングデバイスまたは装置は、１つまたは複数の画像またはビデオを捕捉するように構成されたカメラを含んでもよい。場合によっては、そのようなコンピューティングデバイスは、画像を表示するためのディスプレイを含んでもよい。いくつかの例では、１つまたは複数のセンサおよび／またはカメラは、コンピューティングデバイスから分離され、その場合、コンピューティングデバイスは感知されたデータを受信する。そのようなコンピューティングデバイスは、データを通信するように構成されたネットワークインターフェースをさらに含んでもよい。

【0299】

コンピューティングデバイスの構成要素は、回路構成の中に実装され得る。例えば、構成要素は、１つまたは複数のプログラマブル電子回路（例えば、マイクロプロセッサ、グラフィックス処理ユニット（ＧＰＵ）、デジタル信号プロセッサ（ＤＳＰ）、中央処理ユニット（ＣＰＵ）、および／または他の好適な電子回路）を含み得る、電子回路若しくは他の電子ハードウェアを含むことができ、かつ／またはそれらを使用して実装されることが可能であり、かつ／あるいは本明細書で説明する様々な動作を実行するために、コンピュータソフトウェア、ファームウェア、若しくはそれらの任意の組み合わせを含むことができ、かつ／またはそれらを使用して実装されることが可能である。コンピューティングデバイスは、ディスプレイ（出力デバイスの一例としてまたは出力デバイスに加えて）、データを通信および／若しくは受信するように構成されたネットワークインターフェース、任意のそれらの組み合わせ、ならびに／または他の構成要素をさらに含んでもよい。ネットワークインターフェースは、インターネットプロトコル（ＩＰ）ベースのデータまたは他のタイプのデータを通信および／または受信するように構成され得る。

【0300】

プロセス１１００、１２００、１３００、および１４００は、論理フロー図として示され、それらの動作は、ハードウェア、コンピュータ命令、またはそれらの組み合わせにおいて実施することができる動作のシーケンスを表す。コンピュータ命令のコンテキストでは、動作は、１つまたは複数のプロセッサによって実行されたとき、記載された動作を実行する、１つまたは複数のコンピュータ可読記憶媒体上に記憶されたコンピュータ実行可能命令を表す。概して、コンピュータ実行可能命令は、特定の機能を実行するかまたは特定のデータタイプを実装するルーチン、プログラム、オブジェクト、構成要素、データ構造などを含む。動作が説明される順序は、限定として解釈されることを意図せず、任意の数の説明する動作は、プロセスを実施するために任意の順序で、かつ／または並列に組み合わせられ得る。

【0301】

さらに、プロセス１１００、１２００、１３００、および／または１４００のいずれかは、実行可能命令で構成された１つまたは複数のコンピュータシステムの制御下で実施され得、まとめて１つまたは複数のプロセッサ上で、ハードウェアによって、またはそれらの組み合わせで実行するコード（例えば、実行可能命令、１つまたは複数のコンピュータプログラム、または１つまたは複数のアプリケーション）として実装され得る。上述のように、コードは、例えば、１つまたは複数のプロセッサによって実行可能な複数の命令を備えるコンピュータプログラムの形態で、コンピュータ可読記憶媒体または機械可読記憶媒体上に記憶されてよい。コンピュータ可読記憶媒体または機械可読記憶媒体は、非一時的であってよい。

【0302】

図１５は、本明細書で説明する様々な技術を実装することができる、例示的なコンピューティングデバイスの例示的なコンピューティングデバイスアーキテクチャ１５００を示す。例えば、コンピューティングデバイスアーキテクチャ１５００は、図１に示したコンピューティングシステム１００または図２に示したコンピューティングシステム２１０の少なくともいくつかの部分を実装することができる。コンピューティングデバイスアーキテクチャ１５００の構成要素は、バスなどの接続部１５０５を使用して、互いに電気通信するように示される。例示的なコンピューティングデバイスアーキテクチャ１５００は、処理ユニット（ＣＰＵまたはプロセッサ）１５１０と、リードオンリーメモリ（ＲＯＭ）１５２０およびランダムアクセスメモリ（ＲＡＭ）１５２５などのコンピューティングデバイスメモリ１５１５を含む様々なコンピューティングデバイス構成要素をプロセッサ１５１０に結合するコンピューティングデバイス接続部１５０５と、を含む。

【0303】

コンピューティングデバイスアーキテクチャ１５００は、プロセッサ１５１０に直接接続される、プロセッサ１５１０の近くにある、またはプロセッサ１５１０の一部として統合される高速メモリのキャッシュを含むことができる。コンピューティングデバイスアーキテクチャ１５００は、プロセッサ１５１０による高速アクセスのために、メモリ１５１５および／または記憶デバイス１５３０からデータをキャッシュ１５１２にコピーすることができる。このようにして、キャッシュは、データを待機する間のプロセッサ１５１０の遅延を回避する、パフォーマンスブーストを提供することができる。これらおよび他のモジュールは、様々なアクションを実行するようにプロセッサ１５１０を制御することができる、またはそれを制御するように構成され得る。他のコンピューティングデバイスメモリ１５１５も、使用可能であり得る。メモリ１５１５は、異なる性能特性を有する複数の異なるタイプのメモリを含むことができる。プロセッサ１５１０は、任意の汎用プロセッサ、および記憶デバイス１５３０に記憶されプロセッサ１５１０を制御するように構成されたハードウェアまたはソフトウェアサービス、ならびにソフトウェア命令がプロセッサ設計に組み込まれた専用プロセッサを含むことができる。プロセッサ１５１０は、複数のコアまたはプロセッサ、バス、メモリコントローラ、キャッシュなどを含む、自己完結型のシステムであってもよい。マルチコアプロセッサは、対称でも非対称であってもよい。

【0304】

コンピューティングデバイスアーキテクチャ１５００とのユーザの対話を可能にするために、入力デバイス１５４５は、発話のためのマイクロフォン、ジェスチャまたはグラフィカル入力のためのタッチ感知スクリーン、キーボード、マウス、動作入力、スピーチなどの、任意の数の入力機構を表すことができる。出力デバイス１５３５はまた、ディスプレイ、プロジェクタ、テレビ、スピーカデバイスなどの、当業者に知られるいくつかの出力機構のうちの１つまたは複数であってもよい。場合によっては、マルチモーダルコンピューティングデバイスにより、コンピューティングデバイスアーキテクチャ１５００と通信するためにユーザが複数のタイプの入力を提供することを可能にし得る。通信インターフェース１５４０は、一般に、ユーザ入力およびコンピューティングデバイス出力を支配して管理することができる。いかなる特定のハードウェア構成上で動作することに対しても制約はなく、したがって、改善されたハードウェアまたはファームウェア構成が開発されるにつれて、ここでの基本的機能がそれらと容易に置き換えられ得る。

【0305】

記憶デバイス１５３０は、不揮発性メモリであり、ハードディスク、または磁気カセット、フラッシュメモリカード、ソリッドステートメモリデバイス、デジタル多用途ディスク、カートリッジ、ランダムアクセスメモリ（ＲＡＭ）１５２５、リードオンリーメモリ（ＲＯＭ）１５２０、およびそれらのハイブリッドなどの、コンピュータによってアクセス可能なデータを記憶できる他のタイプのコンピュータ可読媒体であり得る。記憶デバイス１５３０は、プロセッサ１５１０を制御するためのソフトウェア、コード、ファームウェアなどを含むことができる。他のハードウェアまたはソフトウェアモジュールが企図される。記憶デバイス１５３０は、コンピューティングデバイス接続部１５０５に接続され得る。１つの態様では、特定の機能を実行するハードウェアモジュールは、機能を実行するために、プロセッサ１５１０、接続部１５０５、出力デバイス１５３５などの必要なハードウェア構成要素と接続している、コンピュータ可読媒体に記憶されるソフトウェア構成要素を含むことができる。

【0306】

「コンピュータ可読媒体」という用語は、限定はしないが、ポータブルまたは非ポータブルの記憶デバイス、光記憶デバイス、ならびに命令（複数可）および／またはデータを記憶、格納、または搬送できる様々な他の媒体を含む。コンピュータ可読媒体は、データがそこに記憶され得るとともに、ワイヤレスにまたは有線接続を介して伝搬する搬送波および／または一時的な電子信号を含まない、非一時的媒体を含んでもよい。非一時的媒体の例は、限定はしないが、磁気ディスク若しくはテープ、コンパクトディスク（ＣＤ）若しくはデジタル多用途ディスク（ＤＶＤ）などの光記憶媒体、フラッシュメモリ、メモリ、またはメモリデバイスを含んでもよい。コンピュータ可読媒体は、プロシージャ、関数、サブプログラム、プログラム、ルーチン、サブルーチン、モジュール、ソフトウェアパッケージ、クラス、または命令、データ構造、若しくはプログラムステートメントの任意の組み合わせを表し得る、その上に記憶されたコードおよび／または機械実行可能命令を有してもよい。コードセグメントは、情報、データ、引数、パラメータ、またはメモリ内容を渡すことおよび／または受けることによって、別のコードセグメントまたはハードウェア回路に結合されてもよい。情報、引数、パラメータ、データなどは、メモリ共有、メッセージパッシング、トークンパッシング、ネットワーク送信などを含む、任意の好適な手段を介して渡され、転送され、または送信されてもよい。

【0307】

いくつかの実施形態では、コンピュータ可読記憶デバイス、媒体、およびメモリは、ビットストリームなどを含むケーブルまたはワイヤレス信号を含み得る。しかしながら、述べられるとき、非一時的コンピュータ可読記憶媒体は、エネルギー、キャリア信号、電磁波、および信号自体などの媒体を明確に除外する。

【0308】

本明細書で提供する実施形態および例の完全な理解を与えるために、上記の説明において具体的な詳細が提供される。しかしながら、実施形態がこれらの具体的な詳細なしに実践され得ることが当業者によって理解されよう。説明を明快にするために、いくつかの事例では、本技術は、デバイスと、デバイス構成要素と、ソフトウェア、またはハードウェアとソフトウェアの組み合わせにおいて具現化された方法におけるステップまたはルーチンと、を備える個々の機能ブロックを含むものとして提示されてもよい。図の中に示されかつ／または本明細書で説明されるもの以外の、追加の構成要素が使用されてよい。例えば、不必要な詳細で実施形態を不明瞭にしないように、回路、システム、ネットワーク、プロセス、および他の構成要素がブロック図の形態で構成要素として示されることがある。他の事例では、実施形態を不明瞭にすることを避けるために、よく知られる回路、プロセス、アルゴリズム、構造、および技法は、不必要な詳細なしに示されることがある。

【0309】

個々の実施形態が、フローチャート、フロー図、データフロー図、構造図、またはブロック図として示されるプロセスまたは方法として上記で説明されることがある。フローチャートは、動作を逐次プロセスとして説明することがあるが、動作の多くは並列にまたは同時に実行することができる。加えて、工程の順番は並べ替えられてもよい。プロセスは、その動作が完了するときに終了するが、図に含まれない追加のステップを有することができる。プロセスは、メソッド、関数、プロシージャ、サブルーチン、サブプログラムなどに対応してもよい。プロセスが関数に対応するとき、その終了は、その関数が呼出し関数またはメイン関数に戻ることに対応することができる。

【0310】

上記で説明した例によるプロセスおよび方法は、記憶されるか、またはそうでなければコンピュータ可読媒体から入手可能なコンピュータ実行可能命令を使用して実装され得る。そのような命令は、例えば、汎用コンピュータ、専用コンピュータ、または処理デバイスが、ある機能または機能のグループを実施することを引き起こすか、あるいはさもなければそれらを実施するように構成する、命令とデータとを含むことができる。使用されるコンピュータリソースの部分は、ネットワークを介してアクセス可能であることができる。コンピュータ実行可能命令は、例えば、アセンブリ言語、ファームウェア、ソースコードなどのバイナリ、中間フォーマット命令であってもよい。命令、使用される情報、および／または記載した例による方法中に作成される情報を記憶するのに使用され得るコンピュータ可読媒体の例は、磁気または光ディスク、フラッシュメモリ、不揮発性メモリが設けられたＵＳＢデバイス、ネットワーク接続された記憶デバイスなどを含む。

【0311】

これらの開示に従ってプロセスおよび方法を実施するデバイスは、ハードウェア、ソフトウェア、ファームウェア、ミドルウェア、マイクロコード、ハードウェア記述言語、またはそれらの任意の組み合わせを含むことができ、様々なフォームファクタのうちのいずれかをとることができる。ソフトウェア、ファームウェア、ミドルウェア、またはマイクロコードにおいて実装されるとき、必要なタスクを実行するためのプログラムコードまたはコードセグメント（例えば、コンピュータプログラム製品）は、コンピュータ可読媒体または機械可読媒体に記憶されてもよい。プロセッサ（単数または複数）は必要なタスクを実行してよい。フォームファクタの典型的な例は、ラップトップ、スマートフォン、携帯電話、タブレットデバイスまたは他の小型フォームファクタパーソナルコンピュータ、携帯情報端末、ラックマウントデバイス、スタンドアロンデバイスなどを含む。本明細書で説明した機能性はまた、周辺装置またはアドインカードの中で具現され得る。そのような機能性はまた、更なる例として、異なるチップのうちの回路基板上、または単一のデバイスの中で実行する異なるプロセス上で実施され得る。

【0312】

命令、そのような命令を伝えるための媒体、命令を実行するためのコンピューティングリソース、およびそのようなコンピューティングリソースをサポートするための他の構造は、本開示で説明した機能を提供するための例示的な手段である。

【0313】

上記の説明では、本出願の態様はそれらの特定の実施形態を参照しながら説明されるが、本出願がそれらに限定されないことを当業者は認識されよう。したがって、本出願の例示的な実施形態が本明細書で詳細に説明されるが、本発明の概念が別のやり方で様々に具現および採用され得ること、ならびに従来技術によって限定される場合を除き、添付の特許請求の範囲がそのような変形を含むものと解釈されることが意図されることを理解されたい。上記で説明した本出願の様々な特徴および態様は、個別にまたは共同で使用され得る。さらに、実施形態は、本明細書のより広い範囲から逸脱することなく、本明細書に記載したもの以外の任意の数の環境および適用例において利用することができる。したがって、本明細書および図面は限定的ではなく例示的と見なされるべきである。例示の目的のために、方法は特定の順序で説明された。代替実施形態では、方法は説明された順序とは異なる順序で実行されてもよいことを諒解されたい。

【0314】

本明細書で使用される、よりも小さい（「＜」）およびよりも大きい（「＞」）という記号または専門用語は、本明細書の範囲から逸脱することなく、以下（「≦」）および以上（「≧」）という記号それぞれと置き換えることができることを、当業者は理解されよう。

【0315】

構成要素がいくつかの動作を実行する「ように構成される」ものとして説明される場合、そのような構成は、例えば、動作を実行するように電子回路若しくは他のハードウェアを設計することによって、動作を実行するようにプログラマブル電子回路（例えば、マイクロプロセッサ、または他の適切な電子回路）をプログラムすることによって、またはそれらの任意の組み合わせで達成され得る。

【0316】

「に結合される」という句は、直接若しくは間接的のいずれかで別の構成要素に物理的に接続される任意の構成要素、および／または直接若しくは間接的のいずれかで別の構成要素と通信している（例えば、有線接続若しくはワイヤレス接続および／または他の好適な通信インターフェースを介して他の構成要素に接続される）任意の構成要素を指す。

【0317】

集合「のうちの少なくとも１つ」、および／または集合のうちの「１つまたは複数」を記載する請求項の文言または本開示における他の文言は、集合のうちの１つのメンバーまたは（任意の組み合わせにおける）集合のうちの複数のメンバーが請求項を満足することを示す。例えば、「ＡおよびＢのうちの少なくとも１つ」または「ＡまたはＢのうちの少なくとも１つ」を記載する請求項の文言は、Ａ、Ｂ、またはＡおよびＢを意味する。別の例では、「Ａ、Ｂ、およびＣのうちの少なくとも１つ」または「Ａ、Ｂ、またはＣのうちの少なくとも１つ」を記載する請求項の文言は、Ａ、Ｂ、Ｃ、またはＡおよびＢ、またはＡおよびＣ、またはＢおよびＣ、またはＡおよびＢおよびＣを意味する。集合「のうちの少なくとも１つ」および／または集合のうちの「１つまたは複数」という文言は、集合の中で列挙される項目にその集合を限定しない。例えば、「ＡおよびＢのうちの少なくとも１つ」または「ＡまたはＢのうちの少なくとも１つ」と記載する請求項の文言は、Ａ、Ｂ、またはＡおよびＢを意味することができ、追加として、ＡおよびＢの集合の中で列挙されない項目を含むことができる。

【0318】

本明細書で開示した例に関して説明した様々な例示的な論理ブロック、モジュール、回路、およびアルゴリズムステップは、電子ハードウェア、コンピュータソフトウェア、ファームウェア、またはそれらの組み合わせとして実装されてもよい。ハードウェアとソフトウェアのこの互換性を明確に示すために、様々な例示的な構成要素、ブロック、モジュール、回路、およびステップについて、それらの機能に関して概略的に上記で説明した。そのような機能がハードウェアとして実装されるのかまたはソフトウェアとして実装されるのかは、具体的な適用例および全体的なシステムに課される設計制約に依存する。当業者は、説明した機能性を特定の適用例ごとに様々な方法で実施し得るが、そのような実装決定は、本出願の範囲からの逸脱を引き起こすものと解釈されるべきではない。

【0319】

本明細書で説明する技法はまた、電子ハードウェア、コンピュータソフトウェア、ファームウェア、またはそれらの任意の組み合わせにおいて実装され得る。そのような技法は、汎用コンピュータ、無線通信デバイスハンドセット、または無線通信デバイスハンドセットおよび他のデバイスにおける適用例を含む複数の用途を有する集積回路デバイスなどの、様々なデバイスのうちのいずれかにおいて実装されてもよい。モジュールまたは構成要素として説明した任意の特徴は、集積論理デバイスの中で一緒に、または個別であるが相互動作可能な論理デバイスとして別々に実装され得る。ソフトウェアで実装される場合、技術は、命令を含むプログラムコードを含むコンピュータ可読データ記憶媒体によって少なくとも部分的に実現されてもよく、命令が、実行されたときに、上記で説明した方法、アルゴリズム、および／または動作のうちの１つまたは複数を実行する。コンピュータ可読データ記憶媒体は、コンピュータプログラム製品の一部を形成してもよく、これはパッケージング材料を含んでもよい。コンピュータ可読媒体は、同期ダイナミックランダムアクセスメモリ（ＳＤＲＡＭ）などのランダムアクセスメモリ（ＲＡＭ）、読み取り専用メモリ（ＲＯＭ）、不揮発性ランダムアクセスメモリ（ＮＶＲＡＭ）、電気的消去可能プログラマブル読み取り専用メモリ（ＥＥＰＲＯＭ）、ＦＬＡＳＨメモリ、磁気または光データ記憶媒体などの、メモリまたはデータ記憶媒体を備えてもよい。技法は、追加または代替として、伝搬される信号または波などの、命令またはデータ構造の形態でのプログラムコードを搬送または通信するとともに、コンピュータによってアクセスされ、読み取られ、かつ／または実行され得る、コンピュータ可読通信媒体によって少なくとも部分的に実現されてよい。

【0320】

プログラムコードは、１つまたは複数のデジタル信号プロセッサ（ＤＳＰ）、汎用マイクロプロセッサ、特定用途向け集積回路（ＡＳＩＣ）、フィールドプログラマブル論理アレイ（ＦＰＧＡ）、または他の均等な集積論理回路構成若しくは個別論理回路構成などの１つまたは複数のプロセッサを含み得る、プロセッサによって実行されてよい。そのようなプロセッサは、本開示に記載された技法のいずれかを実施するように構成されてもよい。汎用プロセッサは、マイクロプロセッサであってもよいが、代替として、プロセッサは、任意の従来のプロセッサ、コントローラ、マイクロコントローラ、またはステートマシンでもあってもよい。プロセッサはまた、コンピューティングデバイスの組み合わせ、例えば、ＤＳＰとマイクロプロセッサとの組み合わせ、複数のマイクロプロセッサ、ＤＳＰコアと連携した１つまたは複数のマイクロプロセッサ、または任意の他のそのような構成として実装されてよい。したがって、本明細書で使用する「プロセッサ」という用語は、上記の構造、上記の構造の任意の組み合わせ、または本明細書で説明した技法の実装に適した任意の他の構造若しくは装置のうちのいずれかを指すことがある。

【0321】

本開示の例示的な例は、以下を含む。

【0322】

態様１．装置であって、メモリと、メモリに結合された１つまたは複数のプロセッサと、を備え、１つまたは複数のプロセッサが、車両の座標系に対する装置の姿勢を判定し、車両から、車両の１つまたは複数のセンサに関連付けられたデータを受信し、装置のディスプレイデバイスを使用して、１つまたは複数のセンサに関連付けられたデータと、車両の座標系に対する装置の姿勢とに基づいて、仮想コンテンツを表示する、ように構成される、装置。

【0323】

態様２．装置の姿勢を判定するために、１つまたは複数のプロセッサは、車両の内部の１つまたは複数の画像に基づいて、装置の姿勢を判定するように構成される、態様１に記載の装置。

【0324】

態様３．１つまたは複数のプロセッサが、１つまたは複数のセンサに関連付けられたデータに基づいて、車両のコンテキストを判定するように構成され、コンテキストが、車両に関連するイベントを含む、態様１または２に記載の装置。

【0325】

態様４．１つまたは複数のプロセッサは、車両の乗員の注意を車両の動作または車両イベントから逸らす、または車両イベントまたはカバー不可能と判定された車両の外部の領域に対する乗員の視界を遮る仮想コンテンツアイテムをフィルタリングまたは修正するようにさらに構成される、態様３に記載の装置。

【0326】

態様５．１つまたは複数のプロセッサが、装置の座標系に対する仮想コンテンツのロケーションを、車両の座標系に対するイベントのロケーションに関連付け、装置の座標系に対する仮想コンテンツのロケーションと車両の座標系に対するイベントのロケーションとの関連付けに基づいて、装置の１つまたは複数の視覚画像センサからのライブコンテンツフィードを表示するように構成される、態様３または４に記載の装置。

【0327】

態様６．ライブコンテンツフィードを表示するために、１つまたは複数のプロセッサが、車両の座標系に対する装置の姿勢と、イベントに対する車両の姿勢とに基づいて、イベントに対する装置の姿勢を判定し、イベントに対する装置の姿勢と、装置の座標系に対する仮想コンテンツのロケーションと車両の座標系に対するイベントのロケーションとの関連付けとに基づいて、仮想コンテンツが、車両の乗員の視野内でイベントを少なくとも部分的に遮蔽することを判定するように構成される、態様５に記載の装置。

【0328】

態様７．１つまたは複数のプロセッサが、仮想コンテンツが、イベントに対する１つまたは複数の画像センサの視界を少なくとも部分的に遮るという判定にさらに基づいて、ライブコンテンツを表示するように構成される、態様５に記載の装置。

【0329】

態様８．１つまたは複数のプロセッサが、装置の座標系に対する仮想コンテンツのロケーションを、車両の座標系に対するイベントのロケーションに関連付け、装置の座標系に対する仮想コンテンツアイテムのロケーションと車両の座標系に対するイベントのロケーションとの関連付けに基づいて、仮想コンテンツアイテムをフィルタリングまたは修正するように構成される、態様３から７のいずれかに記載の装置。

【0330】

態様９．仮想コンテンツアイテムをフィルタリングまたは修正するために、１つまたは複数のプロセッサは、仮想コンテンツアイテムの１つまたは複数の特性を修正し、１つまたは複数の特性が、透明度、サイズ、仮想コンテンツアイテムのロケーション、および仮想コンテンツアイテムの輝度レベルのうちの少なくとも１つを含む、ように構成される、態様８に記載の装置。

【0331】

態様１０．仮想コンテンツアイテムをフィルタリングまたは修正するために、１つまたは複数のプロセッサは、車両の乗員の視線を判定し、乗員は装置に関連付けられており、乗員の視線およびイベントのロケーションに基づいて、乗員に対するイベントの可視性を判定し、乗員に対するイベントの可視性にさらに基づいて、仮想コンテンツアイテムをフィルタリングまたは修正する、ように構成される、態様８または９に記載の装置。

【0332】

態様１１．イベントが、車両の経路内のオブジェクトの存在または車両の経路への閾値近接度、車両の経路に関連付けられた交通規制、ならびに車両が速度制限および車線区分線のうちの少なくとも１つ内に留まらなかったこと、のうちの少なくとも１つを含む、態様３に記載の装置。

【0333】

態様１２．車両の経路内のオブジェクトまたは車両の経路に対する閾値近接度が、歩行者、動物、および別の車両のうちの少なくとも１つを含む、態様１１に記載の装置。

【0334】

態様１３．１つまたは複数のプロセッサが、車両の乗員の視線を判定し、乗員は装置に関連付けられており、車両の乗員の視線の方向内に仮想コンテンツをレンダリングする、ように構成される、態様３に記載の装置。

【0335】

態様１４．乗員の視線の方向内に仮想コンテンツをレンダリングするために、１つまたは複数のプロセッサが、イベント、イベントのロケーション、およびイベントの方向のうちの少なくとも１つの仮想インジケータを備える仮想コンテンツオーバーレイをレンダリングするように構成される、態様１３に記載の装置。

【0336】

態様１５．乗員の視線の方向内に仮想コンテンツをレンダリングするために、仮想コンテンツをフィルタリングまたは修正するために、１つまたは複数のプロセッサは、仮想コンテンツの１つまたは複数の特性を修正し、１つまたは複数の特性が、透明度、サイズ、仮想コンテンツのロケーション、および仮想コンテンツの輝度レベルのうちの少なくとも１つを含む、ように構成される、態様１３または１４に記載の装置。

【0337】

態様１６．１つまたは複数のプロセッサが、車両のコンテキストおよび装置の姿勢に基づいて、仮想コンテンツの少なくとも一部をフィルタリングするように構成される、態様１から１５のいずれかに記載の装置。

【0338】

態様１７．仮想コンテンツの少なくとも一部をフィルタリングするために、１つまたは複数のプロセッサが、仮想コンテンツのサブセットの提示を可能にするように構成され、仮想コンテンツのサブセットが、車両の状況の指標および車両計装情報のうちの少なくとも１つを含む、態様１６に記載の装置。

【0339】

態様１８．仮想コンテンツを表示するために、１つまたは複数のプロセッサが、車両に関連付けられた仮想コンテンツアイテムをレンダリングするように構成され、仮想コンテンツアイテムが、車両の表面に対してレンダリングされる、態様１から１７のいずれか記載の装置。

【0340】

態様１９．レンダリングされた仮想コンテンツアイテムが、１つまたは複数のセンサに関連付けられたデータにおいて識別されたイベントの第１の指標、車両のコンテキストの第２の指標、および車両のコンテキストに関連付けられた警報のうちの少なくとも１つを含む、態様１８に記載の装置。

【0341】

態様２０．仮想コンテンツアイテムをレンダリングするために、１つまたは複数のプロセッサが、車両のカメラデバイスからカメラフィードを受信し、カメラフィードの少なくとも一部を装置の表示領域内に表示する、ように構成される、態様１８または１９に記載の装置。

【0342】

態様２１．装置の姿勢を判定するために、１つまたは複数のプロセッサが、１つまたは複数の無線周波数（ＲＦ）信号を取得し、車両の内部の１つまたは複数の画像と、１つまたは複数のＲＦ信号に関連付けられたラウンドトリップ時間、１つまたは複数のＲＦ信号に関連付けられた到着時間、および１つまたは複数のＲＦ信号に関連付けられた受信信号強度インジケータ（ＲＳＳＩ）のうちの少なくとも１つとに基づいて、装置の姿勢を判定する、ように構成される、態様１から２０のいずれかに記載の装置。

【0343】

態様２２．装置の姿勢を判定するために、１つまたは複数のプロセッサは、車両から、車両に関連付けられた１つまたは複数のマーカを含む車両テンプレートを受信し、車両の内部の１つまたは複数の画像および車両テンプレートに基づいて、車両の座標系に対する装置の姿勢を判定する、ように構成される、態様１から２１のいずれかに記載の装置。

【0344】

態様２３．１つまたは複数のマーカが、車両の内部内のエリアおよび車両の内部に取り付けられたオブジェクトのうちの少なくとも一方の視覚パターン、車両の内部の要素、車両の内部内の表面、ならびに車両の内側の照明されたオブジェクトのうちの少なくとも１つを含む、態様２２に記載の装置。

【0345】

態様２４．装置の姿勢を判定するために、１つまたは複数のプロセッサが、１つまたは複数の画像内の１つまたは複数のマーカを検出し、検出された１つまたは複数のマーカおよび車両テンプレートに基づいて、車両の座標系に対する装置の姿勢を判定する、ように構成される、態様２２または２３に記載の装置。

【0346】

態様２５．１つまたは複数のプロセッサは、装置の１つまたは複数の画像センサを使用して、車両の内部の画像のセットを取得し、画像のセットが、車両に関連付けられた１つまたは複数のマーカを描写し、画像のセットに基づいて、１つまたは複数のマーカを含む車両テンプレートを生成する、ように構成される、態様１から２４のいずれかに記載の装置。

【0347】

態様２６．ヘッドマウントディスプレイを備える、態様１から２５のいずれかに記載の装置。

【0348】

態様２７．１つまたは複数の画像センサをさらに備える、態様１から２６のいずれかに記載の装置。

【0349】

態様２８．方法は、車両の座標系に対するモバイルデバイスの姿勢を判定することと、車両から、車両の１つまたは複数のセンサに関連付けられたデータを受信することと、モバイルデバイスのディスプレイデバイスを使用して、１つまたは複数のセンサに関連付けられたデータと、車両の座標系に対するモバイルデバイスの姿勢とに基づいて、仮想コンテンツを表示することと、を含む、方法。

【0350】

態様２９．モバイルデバイスの姿勢を判定することは、車両の内部の１つまたは複数の画像に基づいて、モバイルデバイスの姿勢を判定することを含む、態様２８に記載の方法。

【0351】

態様３０．１つまたは複数のセンサに関連付けられたデータに基づいて、車両のコンテキストを判定することをさらに含み、コンテキストが、車両に関連するイベントを含む、態様２８または２９に記載の方法。

【0352】

態様３１．車両の乗員の注意を車両の動作または車両イベントから逸らす、または車両イベントまたはカバー不可能と判定された車両の外部の領域に対する乗員の視界を遮る仮想コンテンツアイテムをフィルタリングまたは修正することをさらに含む、態様３０に記載の方法。

【0353】

態様３２．モバイルデバイスの座標系に対する仮想コンテンツのロケーションを、車両の座標系に対するイベントのロケーションに関連付けることと、モバイルデバイスの座標系に対する仮想コンテンツのロケーションと車両の座標系に対するイベントのロケーションとの関連付けに基づいて、モバイルデバイスの１つまたは複数の視覚画像センサからのライブコンテンツフィードを表示することと、をさらに含む、態様３０または３１に記載の方法。

【0354】

態様３３．ライブコンテンツフィードを表示することは、車両の座標系に対するモバイルデバイスの姿勢と、イベントに対する車両の姿勢とに基づいて、イベントに対するモバイルデバイスの姿勢を判定することと、イベントに対するモバイルデバイスの姿勢と、モバイルデバイスの座標系に対する仮想コンテンツのロケーションと車両の座標系に対するイベントのロケーションとの関連付けとに基づいて、仮想コンテンツが、車両の乗員の視野内でイベントを少なくとも部分的に遮蔽することを判定することと、を含む、態様３２に記載の方法。

【0355】

態様３４．仮想コンテンツが、イベントに対するモバイルデバイスの１つまたは複数の画像センサの視界を少なくとも部分的に遮るという判定にさらに基づいて、ライブコンテンツを表示することをさらに含む、態様３２または３３に記載の方法。

【0356】

態様３５．モバイルデバイスの座標系に対する仮想コンテンツアイテムのロケーションを、車両の座標系に対するイベントのロケーションに関連付けることと、モバイルデバイスの座標系に対する仮想コンテンツのロケーションと車両の座標系に対するイベントのロケーションとの関連付けに基づいて、仮想コンテンツアイテムをフィルタリングまたは修正することとをさらに含む、態様３０に記載の方法。

【0357】

態様３６．仮想コンテンツアイテムをフィルタリングまたは修正するために、１つまたは複数のプロセッサは、仮想コンテンツアイテムの１つまたは複数の特性を修正し、１つまたは複数の特性が、透明度、サイズ、仮想コンテンツアイテムのロケーション、および仮想コンテンツアイテムの輝度レベルのうちの少なくとも１つを含む、ように構成される、態様３５に記載の方法。

【0358】

態様３７．仮想コンテンツアイテムをフィルタリングまたは修正するために、１つまたは複数のプロセッサは、車両の乗員の視線を判定し、乗員はモバイルデバイスに関連付けられており、乗員の視線およびイベントのロケーションに基づいて、乗員に対するイベントの可視性を判定し、乗員に対するイベントの可視性にさらに基づいて、仮想コンテンツアイテムをフィルタリングまたは修正するように構成される、態様３５または３６に記載の方法。

【0359】

態様３８．イベントが、車両の経路内のオブジェクトの存在または車両の経路への閾値近接度、車両の経路に関連付けられた交通規制、ならびに車両が速度制限および車線区分線のうちの少なくとも１つ内に留まらなかったこと、のうちの少なくとも１つを含む、態様３０に記載の方法。

【0360】

態様３９．車両の経路内のオブジェクトまたは車両の経路に対する閾値近接度が、歩行者、動物、および別の車両のうちの少なくとも１つを含む、態様３８に記載の方法。

【0361】

態様４０．車両の乗員の視線を判定することであって、乗員はモバイルデバイスに関連付けられる、ことと、車両の乗員の視線の方向内に仮想コンテンツをレンダリングすることと、をさらに含む、態様３０に記載の方法。

【0362】

態様４１．乗員の視線の方向内に仮想コンテンツをレンダリングすることは、イベント、イベントのロケーション、およびイベントの方向のうちの少なくとも１つの仮想インジケータを備える仮想コンテンツオーバーレイをレンダリングすることを含む、態様４０に記載の方法。

【0363】

態様４２．乗員の視線の方向内に仮想コンテンツをレンダリングするために、仮想コンテンツをフィルタリングまたは修正するために、１つまたは複数のプロセッサは、仮想コンテンツの１つまたは複数の特性を修正し、１つまたは複数の特性が、透明度、サイズ、仮想コンテンツのロケーション、および仮想コンテンツの輝度レベルのうちの少なくとも１つを含む、ように構成される、態様４０または４１に記載の方法。

【0364】

態様４３．車両のコンテキストおよびモバイルデバイスの姿勢に基づいて、仮想コンテンツの少なくとも一部をフィルタリングすることをさらに含む、態様２８から４２のいずれかに記載の方法。

【0365】

態様４４．仮想コンテンツの少なくとも一部をフィルタリングすることが、仮想コンテンツのサブセットの提示を可能にすることを含み、仮想コンテンツのサブセットが、車両の状況の指標および車両計装情報のうちの少なくとも１つを含む、態様４３に記載の方法。

【0366】

態様４５．仮想コンテンツを表示することが、車両に関連付けられた仮想コンテンツアイテムをレンダリングすることを含み、仮想コンテンツアイテムが、車両の表面に対してレンダリングされる、態様２８から４４のいずれかに記載の方法。

【0367】

態様４６．レンダリングされた仮想コンテンツアイテムが、１つまたは複数のセンサに関連付けられたデータにおいて識別されたイベントの第１の指標、車両のコンテキストの第２の指標、および車両のコンテキストに関連付けられた警報のうちの少なくとも１つを含む、態様４５に記載の方法。

【0368】

態様４７．仮想コンテンツアイテムをレンダリングすることは、車両のカメラデバイスからカメラフィードを受信することと、カメラフィードの少なくとも一部をモバイルデバイスの表示領域内に表示することを含む、態様４５または４６に記載の方法。

【0369】

態様４８．モバイルデバイスの姿勢を判定することは、１つまたは複数の無線周波数（ＲＦ）信号を取得することと、車両の内部の１つまたは複数の画像と、１つまたは複数のＲＦ信号に関連付けられたラウンドトリップ時間、１つまたは複数のＲＦ信号に関連付けられた到着時間、および１つまたは複数のＲＦ信号に関連付けられた受信信号強度インジケータ（ＲＳＳＩ）のうちの少なくとも１つとに基づいて、モバイルデバイスの姿勢を判定することと、を含む、態様２８から４７のいずれかに記載の方法。

【0370】

態様４９．モバイルデバイスの姿勢を判定することは、車両から、車両に関連付けられた１つまたは複数のマーカを含む車両テンプレートを受信することと、車両の内部の１つまたは複数の画像および車両テンプレートに基づいて、車両の座標系に対するモバイルデバイスの姿勢を判定することとを含む、態様２８から４８のいずれかに記載の方法。

【0371】

態様５０．１つまたは複数のマーカが、車両の内部内のエリアおよび車両の内部に取り付けられたオブジェクトのうちの少なくとも一方の視覚パターン、車両の内部の要素、車両の内部内の表面、ならびに車両の内側の照明されたオブジェクトのうちの少なくとも１つを含む、態様４９に記載の方法。

【0372】

態様５１．モバイルデバイスの姿勢を判定することは、１つまたは複数の画像内の１つまたは複数のマーカを検出することと、検出された１つまたは複数のマーカおよび車両テンプレートに基づいて、車両の座標系に対するモバイルデバイスの姿勢を判定することと、を含む、態様４９または５０に記載の方法。

【0373】

態様５２．モバイルデバイスの１つまたは複数の画像センサを使用して、車両の内部の画像のセットを取得することであって、画像のセットが、車両に関連付けられた１つまたは複数のマーカを描写する、ことと、画像のセットに基づいて、１つまたは複数のマーカを含む車両テンプレートを生成することと、をさらに含む、態様２８から５１のいずれかに記載の方法。

【0374】

態様５３．１つまたは複数のプロセッサによって実行されたとき、１つまたは複数のプロセッサに態様２８から５２のいずれかに記載の方法を実施させる命令を記憶した非一時的コンピュータ可読媒体。

【0375】

態様５４．態様２８から５２のいずれかに記載の方法を実行する手段を備える装置。

【0376】

態様５５．装置であって、メモリと、メモリに結合された１つまたは複数のプロセッサと、を備え、１つまたは複数のプロセッサが、車両の内部の１つまたは複数の画像に基づいて、車両の座標系に対する装置の姿勢を判定し、車両の乗員の状態を判定し、乗員の状態および車両の座標系に対する装置の姿勢を示すデータを車両に送信する、ように構成される、装置。

【0377】

態様５６．乗員の状態は、車両を操作することに関する乗員の障害を含む、態様５５に記載の装置。

【0378】

態様５７．乗員の障害は、車両を安全に操作する乗員の能力に悪影響を与える任意のイベント、活動、注意散漫、状態、属性、挙動、および／または条件を含む、態様５６に記載の装置。

【0379】

態様５８．障害は、車両の動作および車両に関連付けられたイベントのうちの少なくとも１つに関する注意散漫状態、中毒状態、健康状態、覚醒状態、検出された感情状態、車両を制御するための障害位置、および障害視界のうちの少なくとも１つを含む、態様５６または５７に記載の装置。

【0380】

態様５９．乗員の状態を判定するために、１つまたは複数のプロセッサは、車両から、車両の１つまたは複数のセンサに関連付けられたデータを受信し、車両の１つまたは複数のセンサに関連付けられたデータおよび装置の姿勢に基づいて、乗員の状態を判定するように構成される、態様５６から５８のいずれかに記載の装置。

【0381】

態様６０．車両の１つまたは複数のセンサに関連付けられたデータは、車両の状態および車両に関連付けられたイベントのうちの少なくとも１つを示す、態様５９に記載の装置。

【0382】

態様６１．車両に関連付けられたイベントが、車両の経路内のオブジェクトの存在または車両の経路への閾値近接度、車両の経路に関連付けられた交通規制、ならびに車両が速度制限および車線区分線のうちの少なくとも１つ内に留まらなかったこと、のうちの少なくとも１つを含む、態様６０に記載の装置。

【0383】

態様６２．車両の経路内のオブジェクトまたは車両の経路に対する閾値近接度が、歩行者、動物、および別の車両のうちの少なくとも１つを含む、態様６１に記載の装置。

【0384】

態様６３．乗員の障害は、車両を安全に操作する乗員の能力に悪影響を与える任意のイベント、活動、注意散漫、状態、属性、挙動、および／または条件を含む、態様５６から６２のいずれかに記載の装置。

【0385】

態様６４．１つまたは複数のプロセッサが、車両の乗員の視線を判定するように構成され、乗員の状態は乗員の視線を含み、乗員は装置に関連付けられる、態様５５から６３のいずれかに記載の装置。

【0386】

態様６５．乗員の状態を判定するために、１つまたは複数のプロセッサは、装置および乗員によって装着されるウェアラブルデバイスのうちの少なくとも１つに関連付けられた１つまたは複数のセンサから、乗員に関連付けられた１つまたは複数の健康測定値を受信し、１つまたは複数の健康測定値に基づいて乗員の状態を判定するように構成される、態様５５から６４のいずれかに記載の装置。

【0387】

態様６６．１つまたは複数の健康測定値は、心拍数、血圧、体温、ガルバニック皮膚反応、乗員の心臓からの電気信号の測定値、乗員の脳の電気活動の測定値、目の赤みの量、および瞳孔サイズのうちの少なくとも１つを含む、態様６５に記載の装置。

【0388】

態様６７．乗員の状態を判定するために、１つまたは複数のプロセッサは、乗員の視線が、ある期間にわたって車両の前方の道路から離れて集中していると判定し、乗員の視線が、ある期間にわたって車両の前方の道路から離れて集中していること、および期間が閾値期間を超えるという判定に基づいて、乗員の障害状態を判定するように構成される、態様５５から６６のいずれかに記載の装置。

【0389】

態様６８．乗員の視線が一定期間にわたって車両の前方の道路から離れて集中していると判定するために、１つまたは複数のプロセッサは、乗員の視線が一定期間の少なくとも一部にわたって、装置によってレンダリングされた仮想コンテンツに集中していると判定するように構成される、態様６７に記載の装置。

【0390】

態様６９．乗員の視線が一定期間にわたって車両の前方の道路から離れて集中していると判定するために、１つまたは複数のプロセッサは、乗員の視線が車両の経路内の障害物の方向または車両の経路に対する閾値近接度とは異なる方向に集中していると判定するように構成される、態様６７または６８に記載の装置。

【0391】

態様７０．１つまたは複数のプロセッサは、乗員の状態の指標を、第２の車両、車両インフラストラクチャシステム、第２の車両の第２の乗員に関連付けられた第１のリモートデバイス、および歩行者に関連付けられた第２のリモートデバイスのうちの少なくとも１つに送信するように構成される、態様５５から６９のいずれかに記載の装置。

【0392】

態様７１．乗員の状態を判定するために、１つまたは複数のプロセッサは、装置を装着している乗員の視線を判定し、装置の姿勢および乗員の視線に基づいて、乗員の状態を判定する、ように構成される、態様５５から７０のいずれかに記載の装置。

【0393】

態様７２．置の姿勢を判定するために、１つまたは複数のプロセッサは、車両から、車両に関連付けられた１つまたは複数のマーカを含む車両テンプレートを受信し、１つまたは複数の画像および車両テンプレートに基づいて、車両の座標系に対する装置の姿勢を判定する、ように構成される、態様５５から７１のいずれかに記載の装置。

【0394】

態様７３．１つまたは複数のマーカが、車両の内部内のエリアおよび車両の内部に取り付けられたオブジェクトのうちの少なくとも一方の視覚パターン、車両の内部の要素、車両の内部内の表面、ならびに車両の内側の照明されたオブジェクトのうちの少なくとも１つを含む、態様７２に記載の装置。

【0395】

態様７４．１つまたは複数の画像が１つまたは複数のマーカを描写し、装置の姿勢を判定するために、１つまたは複数のプロセッサが、１つまたは複数の画像内の１つまたは複数のマーカを検出し、検出された１つまたは複数のマーカおよび車両テンプレートに基づいて、車両の座標系に対する装置の姿勢を判定する、ように構成される、態様７２に記載の装置。

【0396】

態様７５．１つまたは複数のプロセッサは、装置の１つまたは複数の画像センサを使用して、車両の内部の画像のセットを取得し、画像のセットが、車両に関連付けられた１つまたは複数の視覚ランドマークを描写し、画像のセットに基づいて、車両テンプレートを生成し、車両テンプレートが、１つまたは複数の視覚ランドマークを含む、ように構成される、態様５５から７４のいずれかに記載の装置。

【0397】

態様７６．装置の姿勢を判定するために、１つまたは複数のプロセッサは、装置に関連付けられた慣性センサデータを取得し、１つまたは複数の画像および慣性センサデータに基づいて、装置の姿勢を判定するように構成される、態様５５から７５のいずれかに記載の装置。

【0398】

態様７７．ヘッドマウントディスプレイを備える、態様５５から７６のいずれかに記載の装置。

【0399】

態様７８．方法であって、車両の内部の１つまたは複数の画像に基づいて、車両の座標系に対するモバイルデバイスの姿勢を判定することと、車両の乗員の状態を判定することと、乗員の状態および車両の座標系に対するモバイルの姿勢を示すデータを車両に送信することと、を含む、方法。

【0400】

態様７９．乗員の状態は、車両を操作することに関する乗員の障害を含む、態様７８に記載の方法。

【0401】

態様８０．乗員の障害は、車両を安全に操作する乗員の能力に悪影響を与える任意のイベント、活動、注意散漫、状態、属性、挙動、および／または条件を含む、態様７８または７９のいずれかに記載の方法。

【0402】

態様８１．障害は、車両の動作および車両に関連付けられたイベントのうちの少なくとも１つに関する注意散漫状態、中毒状態、健康状態、覚醒状態、検出された感情状態、車両を制御するための障害位置、および障害視界のうちの少なくとも１つを含む、態様７８から８０のいずれかに記載の方法。

【0403】

態様８２．いくつかの例では、乗員の状態を判定することは、車両から、車両の１つまたは複数のセンサに関連付けられたデータを受信することと、車両の１つまたは複数のセンサに関連付けられたデータおよびモバイルデバイスの姿勢に基づいて、乗員の状態を判定することとを含む、態様７８から８１のいずれかに記載の方法。

【0404】

態様８３．車両の１つまたは複数のセンサに関連付けられたデータは、車両の状態および車両に関連付けられたイベントのうちの少なくとも１つを示す、態様８２に記載の方法。

【0405】

態様８４．車両に関連付けられたイベントが、車両の経路内のオブジェクトの存在または車両の経路への閾値近接度、車両の経路に関連付けられた交通規制、ならびに車両が速度制限および車線区分線のうちの少なくとも１つ内に留まらなかったこと、のうちの少なくとも１つを含む、態様８３に記載の方法。

【0406】

態様８５．車両の経路内のオブジェクトまたは車両の経路に対する閾値近接度が、歩行者、動物、および別の車両のうちの少なくとも１つを含む、態様８４に記載の方法。

【0407】

態様８６．車両の乗員の視線を判定することをさらに含み、乗員の状態が乗員の視線を含み、乗員がモバイルデバイスに関連付けられる、態様７８から８５のいずれかに記載の方法。

【0408】

態様８７．乗員の状態を判定することは、モバイルデバイスおよび乗員によって装着されるウェアラブルデバイスのうちの少なくとも１つに関連付けられた１つまたは複数のセンサから、乗員に関連付けられた１つまたは複数の健康測定値を受信することと、１つまたは複数の健康測定値に基づいて乗員の状態を判定することとを含む、態様７８から８６のいずれかに記載の方法。

【0409】

態様８８．１つまたは複数の健康測定値は、心拍数、血圧、体温、ガルバニック皮膚反応、乗員の心臓からの電気信号の測定値、乗員の脳の電気活動の測定値、目の赤みの量、および瞳孔サイズのうちの少なくとも１つを含む、態様８７に記載の方法。

【0410】

態様８９．乗員の状態を判定することは、乗員の視線が、ある期間にわたって車両の前方の道路から離れて集中していることを判定することと、乗員の視線が、ある期間にわたって車両の前方の道路から離れて集中していることと、期間が閾値期間を超えるという判定とに基づいて、乗員の障害状態を判定することとを含む、態様７８から８７のいずれかに記載の方法。

【0411】

態様９０．乗員の視線が一定期間にわたって車両の前方の道路から離れて集中していると判定することは、乗員の視線が一定期間の少なくとも一部にわたってモバイルデバイスによってレンダリングされた仮想コンテンツに集中していると判定することを含む、態様８９に記載の方法。

【0412】

態様９１．乗員の視線が一定期間車両の前方の道路から離れて集中していると判定することは、乗員の視線が車両の経路内の障害物の方向または車両の経路に対する閾値近接度とは異なる方向に集中していると判定することを含む、態様８９に記載の方法。

【0413】

態様９２．乗員の状態の指標を、第２の車両、車両インフラストラクチャシステム、第２の車両の第２の乗員に関連付けられた第１のリモートデバイス、および歩行者に関連付けられた第２のリモートデバイスのうちの少なくとも１つに送信することをさらに含む、態様７８から９１のいずれかに記載の方法。

【0414】

態様９３．乗員の状態を判定することは、モバイルデバイスを装着している乗員の視線を判定することと、モバイルデバイスの姿勢および乗員の視線に基づいて乗員の状態を判定することとを含む、態様７８から９２のいずれかに記載の方法。

【0415】

態様９４．モバイルデバイスの姿勢を判定することは、車両から、車両に関連付けられた１つまたは複数のマーカを含む車両テンプレートを受信することと、１つまたは複数の画像および車両テンプレートに基づいて、車両の座標系に対するモバイルデバイスの姿勢を判定することとを含む、態様７８から９３のいずれかに記載の方法。

【0416】

態様９５．１つまたは複数のマーカが、車両の内部内のエリアおよび車両の内部に取り付けられたオブジェクトのうちの少なくとも一方の視覚パターン、車両の内部の要素、車両の内部内の表面、ならびに車両の内側の照明されたオブジェクトのうちの少なくとも１つを含む、態様９４に記載の方法。

【0417】

態様９６．１つまたは複数の画像が１つまたは複数のマーカを描写し、モバイルデバイスの姿勢を判定することは、１つまたは複数の画像内の１つまたは複数のマーカを検出することと、検出された１つまたは複数のマーカおよび車両テンプレートに基づいて、車両の座標系に対するモバイルデバイスの姿勢を判定することと、を含む、態様９４に記載の方法。

【0418】

態様９７．モバイルデバイスの１つまたは複数の画像センサを使用して、車両の内部の画像のセットを取得することであって、画像のセットが、車両に関連付けられた１つまたは複数の視覚ランドマークを描写する、ことと、画像のセットに基づいて、車両テンプレートを生成することであって、車両テンプレートが、１つまたは複数の視覚ランドマークを含むことと、をさらに含む、態様７８から９６のいずれかに記載の方法。

【0419】

態様９８．モバイルデバイスの姿勢を判定することは、モバイルデバイスに関連付けられた慣性センサデータを取得することと、１つまたは複数の画像および慣性センサデータに基づいてモバイルデバイスの姿勢を判定することとを含む、態様７８から９７のいずれかに記載の方法。

【0420】

態様９９．乗員の障害は、車両を安全に操作する乗員の能力に悪影響を与える任意のイベント、活動、注意散漫、状態、属性、挙動、および／または条件を含む、態様７８または９８のいずれかに記載の方法。

【0421】

態様１００．１つまたは複数のプロセッサによって実行されたとき、１つまたは複数のプロセッサに態様７８から９９のいずれかに記載の方法を実施させる命令を記憶した非一時的コンピュータ可読媒体。

【0422】

態様１０１．態様７８から９９のいずれかに記載の方法を実行する手段を備える装置。

【0423】

態様１０２．車両の１つまたは複数の動作を制御するための方法であって、車両の乗員に関連付けられたモバイルデバイスから、車両の座標系に対する乗員の姿勢を受信することと、車両の座標系に対する乗員の姿勢に基づいて、車両の１つまたは複数の機能を制御することとを含む、方法。

【0424】

態様１０３．車両の１つまたは複数の機能を制御することは、車両の１つまたは複数の車両機能に関与することを含む、態様１０２に記載の方法。

【0425】

態様１０４．１つまたは複数の車両機能は、オートパイロット機能、トラクション制御機能、クルーズコントロール機能、衝突回避機能、車線逸脱機能、車線中心化機能、ブレーキ支援機能、車線維持機能、高速道路支援機能、車線変更支援機能、速度適応機能、および交差点支援機能のうちの少なくとも１つを含む、態様１０３に記載の方法。

【0426】

態様１０５．車両の動作を制御することは、車両の１つまたは複数の自律車両システムを制御または係合することを含む、態様１０２から１０４のいずれかに記載の方法。

【0427】

態様１０６．１つまたは複数の自律車両システムは、死角監視システム、運転者監視システム、制動システム、自律運転制御システム、運転者支援システム、ナビゲーションシステム、ステアリング制御システム、車両通信システム、および自動車ヘッドアップディスプレイのうちの少なくとも１つを含む、態様１０５に記載の方法。

【0428】

態様１０７．車両の１つまたは複数のセンサに関連付けられたデータを、モバイルデバイス、第２の車両、車両インフラストラクチャシステム、第２の車両の第２の乗員に関連付けられた第１のリモートデバイス、および歩行者に関連付けられた第２のリモートデバイスのうちの少なくとも１つに送信することをさらに含む、態様１０２から１０６のいずれかに記載の方法。

【0429】

態様１０８．乗員の状態を示すデータを、第２の車両、車両インフラストラクチャシステム、第２の車両の第２の乗員に関連付けられた第１のリモートデバイス、および歩行者に関連付けられた第２のリモートデバイスのうちの少なくとも１つに送信することをさらに含む、態様１０２から１０７のいずれかに記載の方法。

【0430】

態様１０９．車両の座標系に対する乗員の姿勢を判定するための車両テンプレートをモバイルデバイスに送信することをさらに含み、車両テンプレートは、車両に関連付けられた１つまたは複数のマーカを含む、態様１０２から１０８のいずれかに記載の方法。

【0431】

態様１１０．１つまたは複数のマーカが、車両の内部内のエリアおよび車両の内部に取り付けられたオブジェクトのうちの少なくとも一方の視覚パターン、車両の内部の要素、車両の内部内の表面、ならびに車両の内側の照明されたオブジェクトのうちの少なくとも１つを含む、態様１０９に記載の方法。

【0432】

態様１１１．車両の座標系に対する乗員の姿勢に少なくとも部分的に基づいて、出力を生成することであって、出力が、モバイルデバイスへの通信、車両の１つまたは複数の機能を修正する命令、および乗員の状態の指標のうちの少なくとも１つをさらに含む、態様１０９に記載の方法。

【0433】

態様１１２．モバイルデバイスへの通信は、仮想コンテンツアイテムおよび仮想コンテンツアイテムを表示する要求のうちの少なくとも１つを含む、態様１１１に記載の方法。

【0434】

態様１１３．モバイルデバイスから、車両の乗員の状態を示すデータを受信することをさらに含み、データは、モバイルデバイスの１つまたは複数のセンサからのセンサデータ、およびモバイルデバイスの１つまたは複数のセンサからのセンサデータに基づいて生成された処理されたデータのうちの少なくとも１つを含む、態様１０２から１１２のいずれかに記載の方法。

【0435】

態様１１４．処理されたデータは、乗員の状態の記述および乗員の状態を識別する分類出力のうちの少なくとも１つを含む、態様１１３に記載の方法。

【0436】

態様１１５．モバイルデバイスから、車両の乗員の状態を示すデータを受信することをさらに含み、データは、乗員の視線の指標、車両の座標系に対するモバイルデバイスの姿勢、および乗員に関連付けられた１つまたは複数の健康測定値のうちの少なくとも１つを含む、態様１０２から１１４のいずれかに記載の方法。

【0437】

態様１１６．１つまたは複数の健康測定値は、心拍数、血圧、体温、ガルバニック皮膚反応、乗員の心臓からの電気信号の測定値、乗員の脳の電気活動の測定値、目の赤みの量、および瞳孔サイズのうちの少なくとも１つを含む、態様１１５に記載の方法。

【0438】

態様１１７．車両の１つまたは複数のセンサから、車両の動作に関連するイベントの指標、乗員によって少なくとも部分的に制御される車両の１つまたは複数の動作中の１つまたは複数の運転パターンの指標、および車両計装データのうちの少なくとも１つを含むセンサデータを取得することと、センサデータにさらに基づいて、１つまたは複数の機能を制御することと、をさらに含む、態様１０２から１１６のいずれかに記載の方法。

【0439】

態様１１８．乗員の状態を判定することをさらに含み、乗員の状態を判定することが、モバイルデバイスおよびウェアラブルデバイスのうちの少なくとも１つに関連付けられた１つまたは複数の健康センサから、乗員に関連付けられた１つまたは複数の健康測定値を受信することと、乗員に関連付けられた１つまたは複数の健康測定値に基づいて乗員の状態を判定することとを含む、態様１１７に記載の方法。

【0440】

態様１１９．乗員の状態を取得することをさらに含み、乗員の状態は、車両を操作することに関する乗員の障害を含む、態様１０２から１１８のいずれかに記載の方法。

【0441】

態様１２０．乗員の障害が乗員の障害を含む、態様１１９に記載の方法。いくつかの例では、障害は、一時的な障害を含むことができる。

【0442】

態様１２１．障害は、車両の動作および車両に関連付けられたイベントのうちの少なくとも１つに関する注意散漫状態、中毒状態、健康状態、覚醒状態、検出された感情状態、車両を制御するための障害位置、および障害視界のうちの少なくとも１つを含む、態様１１９に記載の方法。

【0443】

態様１２２．イベントが、車両の経路内のオブジェクトの存在または車両の経路への閾値近接度、車両の経路に関連付けられた交通規制、ならびに車両が速度制限および車線区分線のうちの少なくとも１つ内に留まらなかったこと、のうちの少なくとも１つを含む、態様１２１に記載の方法。

【0444】

態様１２３．オブジェクトが、歩行者、動物、および別の車両のうちの少なくとも１つを含む、態様１２２に記載の方法。

【0445】

態様１２４．車両の内部の１つまたは複数の画像を取得することであって、１つまたは複数の画像が、車両に関連付けられた１つまたは複数の視覚ランドマークを描写する、ことと、１つまたは複数の画像に基づいて車両テンプレートを生成することであって、車両テンプレートが、１つまたは複数の視覚ランドマークを記述する、こととをさらに含む、態様１０２から１２３のいずれかに記載の方法。

【0446】

態様１２５．車両テンプレートをモバイルデバイスに送信することと、モバイルデバイスから、車両テンプレートにおいて定義された１つまたは複数の座標に対する乗員の姿勢を受信することとをさらに含み、１つまたは複数の座標は、１つまたは複数の視覚ランドマークに対するものであり、車両の座標系に対応する、態様１２４に記載の方法。

【0447】

態様１２６．モバイルデバイスから、乗員の状態を示すデータを受信することをさらに含み、車両の１つまたは複数の機能を制御することが、乗員の姿勢および乗員の状態を示すデータに基づいて車両の１つまたは複数の機能を制御することを含む、態様１２５に記載の方法。

【0448】

態様１２７．車両の座標系に対する乗員の姿勢に少なくとも部分的に基づいて、出力を生成することであって、出力が、車両の１つまたは複数の機能を修正する命令、および乗員の更新された状態のうちの少なくとも１つを含む、態様１２６に記載の方法。

【0449】

態様１２８．車両の１つまたは複数の機能は、車両の１つまたは複数の機能および車両の１つまたは複数の自律車両システムのうちの少なくとも１つを制御するように構成された車両のコンピュータシステムを介して制御される、態様１０２から１２８のいずれかに記載の方法。

【0450】

態様１２９．モバイルデバイスがウェアラブル拡張現実デバイスを含む、態様１０２から１２８のいずれかに記載の方法。

【0451】

態様１３０．モバイルデバイスがヘッドマウントディスプレイを備える、態様１０２から１２９のいずれかに記載の方法。

【0452】

態様１３１．乗員の障害は、車両を安全に操作する乗員の能力に悪影響を与える任意のイベント、活動、注意散漫、状態、属性、挙動、および／または条件を含む、態様１１９から１２１のいずれかに記載の方法。

【0453】

態様１３２．装置であって、メモリと、メモリに結合された１つまたは複数のプロセッサと、を備え、１つまたは複数のプロセッサが、態様１０２から１３１のいずれかに記載の方法を実行するように構成される、装置。

【0454】

態様１３３．態様１０２から１３１のいずれかに記載の方法を実行する手段を備える装置。

【0455】

態様１３４．１つまたは複数のプロセッサによって実行されたとき、１つまたは複数のプロセッサに態様１０２から１３１のいずれかに記載の方法を実施させる命令を記憶した非一時的コンピュータ可読媒体。

【0456】

態様１３５．車両の乗員に関連付けられたデバイスに車両データを提供するための方法であって、方法が、車両のコンピュータシステムに接続された拡張現実（ＡＲ）デバイスから要求を受信することと、要求に応答して、車両の１つまたは複数のセンサに関連付けられたデータをＡＲデバイスに送信することとを含む方法。

【0457】

態様１３６．データは、車両のコンテキストを示す車両データを含み、車両のコンテキストは、車両の状態、および車両が遭遇した、または車両の１つまたは複数の動作中に発生すると判定された１つまたは複数のイベントのうちの少なくとも１つを含む、態様１３５に記載の方法。

【0458】

態様１３７．１つまたは複数のイベントが、車両の経路内のオブジェクトの存在または車両の経路への閾値近接度、車両の経路に関連付けられた交通規制、ならびに車両が速度制限および車線区分線のうちの少なくとも１つ内に留まらなかったこと、のうちの少なくとも１つを含む、態様１３６に記載の方法。

【0459】

態様１３８．車両の経路内のオブジェクトまたは車両の経路に対する閾値近接度が、歩行者、動物、および別の車両のうちの少なくとも１つを含む、態様１３７に記載の方法。

【0460】

態様１３９．ＡＲデバイスに、車両の座標系に対するＡＲデバイスの姿勢および１つまたは複数のイベントのそれぞれのロケーションのうちの少なくとも１つに対するロケーションにおける提示のための表示データを送信することをさらに含み、ディスプレイデータが車両データの少なくとも一部を含む、態様１３６に記載の方法。

【0461】

態様１４０．ＡＲデバイスに、１つまたは複数のイベントのそれぞれのロケーションの指標を送信することをさらに含む、態様１３９に記載の方法。

【0462】

態様１４１．車両の座標系に対するＡＲデバイスの姿勢を判定するための車両テンプレートをＡＲデバイスに送信することをさらに含み、車両テンプレートが車両の内部の１つまたは複数のマーカを記述する、態様１３５から１４０のいずれかに記載の方法。

【0463】

態様１４２．１つまたは複数のマーカが、車両の内部内のエリアおよび車両の内部に取り付けられたオブジェクトのうちの少なくとも一方の視覚パターン、車両の内部の要素、車両の内部内の表面、ならびに車両の内側の照明されたオブジェクトのうちの少なくとも１つを含む、態様１４１に記載の方法。

【0464】

態様１４３．ＡＲデバイスから、車両の座標系に対するＡＲデバイスの姿勢を受信するステップをさらに含む、態様１４１に記載の方法。

【0465】

態様１４４．１つまたは複数のセンサに関連付けられたデータおよび車両の座標系に対するＡＲデバイスの姿勢のうちの少なくとも１つに基づいて、車両に関連付けられた仮想コンテンツのコンピュータシステムによる提示を制御することをさらに含む、態様１４３に記載の方法。

【0466】

態様１４５．仮想コンテンツの提示を制御することは、車両の座標系に対するＡＲデバイスの姿勢に基づいて、車両の１つまたは複数の画像センサからのライブコンテンツフィードをＡＲデバイスに提供することを含む、態様１４４に記載の方法。

【0467】

態様１４６．ライブコンテンツフィードを提供することは、車両の座標系に対するＡＲデバイスの姿勢および車両イベントに対する車両の位置に基づいて、車両イベントに対するＡＲデバイスの姿勢を判定することと、車両イベントに対するＡＲデバイスの姿勢に基づいて、コンピュータシステムおよびＡＲデバイスのうちの少なくとも１つに関連付けられた仮想コンテンツが、ＡＲデバイスの視野内で車両イベントを少なくとも部分的に遮ることを判定することとを含む、態様１４５に記載の方法。

【0468】

態様１４７．仮想コンテンツの提示を制御することは、コンピュータシステムによってレンダリングされた仮想コンテンツアイテムのロケーションを車両の座標系に対する車両イベントのロケーションに関連付けることと、車両の座標系に対する仮想コンテンツのロケーションと車両イベントのロケーションとの関連付けに基づいて仮想コンテンツアイテムをフィルタリングまたは修正することとを含む、態様１４４に記載の方法。

【0469】

態様１４８．仮想コンテンツアイテムをフィルタリングまたは修正することが、仮想コンテンツアイテムの１つまたは複数の特性を修正することであって、１つまたは複数の特性が、透明度、サイズ、仮想コンテンツアイテムのロケーション、および輝度レベルのうちの少なくとも１つを含む、ことを含む、態様１４７に記載の方法。

【0470】

態様１４９．仮想コンテンツアイテムをフィルタリングまたは修正することが、車両の乗員の視線を受信することと、乗員の視線および車両イベントのロケーションに基づいて、乗員に対する車両イベントの可視性を判定することと、乗員に対する車両イベントの可視性にさらに基づいて、仮想コンテンツアイテムをフィルタリングまたは修正することとを含む、態様１４７に記載の方法。

【0471】

態様１５０．仮想コンテンツの提示を制御することは、車両の乗員の視線を受信することと、車両の乗員の視線の方向内に仮想コンテンツをレンダリングすることとを含む、態様１４４に記載の方法。

【0472】

態様１５１．仮想コンテンツをレンダリングすることは、車両イベント、車両イベントのロケーション、および車両イベントの方向のうちの少なくとも１つの仮想インジケータを備える仮想コンテンツオーバーレイをレンダリングすることを含む、態様１５０に記載の方法。

【0473】

態様１５２．仮想コンテンツをレンダリングすることが、仮想コンテンツの１つまたは複数の特性を修正することであって、１つまたは複数の特性が、透明度、サイズ、仮想コンテンツのロケーション、および輝度レベルのうちの少なくとも１つを含む、ことを含む、態様１５１に記載の方法。

【0474】

態様１５３．１つまたは複数のディスプレイデバイスに、車両の動作に関する情報を提供する仮想コンテンツアイテムを表示する命令を送信することをさらに含み、命令が、乗員の視野内にある車両内のロケーションに対する仮想コンテンツアイテムの配置を示す、態様１３５から１５２のいずれかに記載の方法。

【0475】

態様１５４．仮想コンテンツアイテムは、コンピュータシステムによって検出された車両イベントの第１の指標、車両のコンテキストの第２の指標、および車両のコンテキストに関連付けられた警報のうちの少なくとも１つを含む、態様１５３に記載の方法。

【0476】

態様１５５．車両上のカメラデバイスからカメラフィードを受信することと、表示のためにカメラフィードの少なくとも一部をＡＲデバイスに送信することとをさらに含む、態様１３５から１５４のいずれかに記載の方法。

【0477】

態様１５６．乗員の状態の指標をＡＲデバイスに送信することをさらに含む、態様１３５から１５５のいずれかに記載の方法。

【0478】

態様１５７．乗員の状態が、車両を操作することに関する乗員の障害を含む、態様１５６に記載の方法。

【0479】

態様１５８．障害は、車両の動作および車両に関連付けられたイベントのうちの少なくとも１つに関する注意散漫状態、中毒状態、健康状態、覚醒状態、検出された感情状態、車両を制御するための障害位置、および障害視界のうちの少なくとも１つを含む、態様１５７に記載の方法。

【0480】

態様１５９．乗員の障害に基づいて車両の動作を制御することをさらに含む、態様１５７に記載の方法。

【0481】

態様１６０．乗員の障害に基づいて表示データを生成することをさらに含み、表示データは、車両イベントおよび車両計装データのうちの少なくとも１つを含む、態様１５７に記載の方法。

【0482】

態様１６１．乗員の障害に基づいて表示データをＡＲデバイスに送信することをさらに含み、表示データは、車両イベントおよび車両計装データのうちの少なくとも１つを含む、態様１５７に記載の方法。

【0483】

態様１６２．コンピュータシステムは、車両の１つまたは複数の自律機能および車両の１つまたは複数の自律車両システムのうちの少なくとも１つを制御するように構成される、態様１３５から１６１のいずれかに記載の方法。

【0484】

態様１６３．ＡＲデバイスがヘッドマウントディスプレイを備える、態様１３５から１６２のいずれかに記載の方法。

【0485】

態様１６４．ＡＲデバイスがウェアラブルＡＲデバイスを備える、態様１３５から１６３のいずれかに記載の方法。

【0486】

態様１６５．乗員の障害は、車両を安全に操作する乗員の能力に悪影響を与える任意のイベント、活動、注意散漫、状態、属性、挙動、および／または条件を含む、態様１５７または１５８のいずれかに記載の方法。

【0487】

態様１６６．装置であって、メモリと、メモリに結合された１つまたは複数のプロセッサと、を備え、１つまたは複数のプロセッサが、態様１３５から１６５のいずれかに記載の方法を実行するように構成される、装置。

【0488】

態様１６７．態様１３５から１６５のいずれかに記載の方法を実行する手段を備える装置。

【0489】

態様１６８．１つまたは複数のプロセッサによって実行されたとき、１つまたは複数のプロセッサに態様１３５から１６５のいずれかに記載の方法を実施させる命令を記憶した非一時的コンピュータ可読媒体。

【0490】

態様１６９．
方法であって、車両の内部の１つまたは複数の画像に基づいて、車両の座標系に対するモバイルデバイスの位置を判定することを含む、方法。方法は、車両から、車両の１つまたは複数のセンサに関連付けられたデータを受信することと、装置のディスプレイデバイスを使用して、１つまたは複数のセンサに関連付けられたデータと、車両の座標系に対する装置の位置とに基づいて、仮想コンテンツを表示することとをさらに含むことができる。追加または代替として、方法は、車両の乗員の状態を判定することと、乗員の状態および車両の座標系に対するモバイルデバイスの位置を示すデータを車両に送信することと、をさらに含むことができる。

【0491】

態様１７０．態様２８から５２および／または態様７８から９９のいずれかに記載の方法をさらに含む、態様１６９に記載の方法。

【0492】

態様１７１．装置であって、メモリと、メモリに結合された１つまたは複数のプロセッサと、を備え、１つまたは複数のプロセッサが、態様１６９または１７０に記載の方法を実行するように構成される、装置。

【0493】

態様１７２．態様１６９または１７０に記載の方法を実行する手段を備える装置。

【0494】

態様１７３．１つまたは複数のプロセッサによって実行されたとき、１つまたは複数のプロセッサに態様１６９または１７０に記載の方法を実施させる命令を記憶した非一時的コンピュータ可読媒体。

【0495】

態様１７４．方法であって、車両の内部の１つまたは複数の画像に基づいて、車両の座標系に対するモバイルデバイスの位置を判定することを含む、方法。方法は、車両の乗員の状態を判定することと、乗員の状態および車両の座標系に対するモバイルデバイスの位置を示すデータを車両に送信することと、をさらに含むことができる。追加または代替として、方法は、車両から、車両の１つまたは複数のセンサに関連付けられたデータを受信することと、装置のディスプレイデバイスを使用して、１つまたは複数のセンサに関連付けられたデータと、車両の座標系に対する装置の位置とに基づいて、仮想コンテンツを表示することとをさらに含むことができる。

【0496】

態様１７５．態様２８から５２および／または態様７８から９９のいずれかに記載の方法をさらに含む、態様１７４に記載の方法。

【0497】

態様１７６．装置であって、メモリと、メモリに結合された１つまたは複数のプロセッサと、を備え、１つまたは複数のプロセッサが、態様１７４または１７５に記載の方法を実行するように構成される、装置。

【0498】

態様１７７．態様１７４または１７５に記載の方法を実行する手段を備える装置。

【0499】

態様１８０．１つまたは複数のプロセッサによって実行されたとき、１つまたは複数のプロセッサに態様１７４または１７５に記載の方法を実施させる命令を記憶した非一時的コンピュータ可読媒体。

【0500】

態様１８１．方法であって、車両の乗員に関連付けられたモバイルデバイスから、車両の座標系に対する乗員の姿勢を受信することと、車両の座標系に対する乗員の姿勢に基づいて、車両の１つまたは複数の機能を制御することとを含む、方法。追加または代替として、方法は、車両のコンピュータシステムに接続された拡張現実（ＡＲ）デバイスから要求を受信することと、要求に応答して、車両の１つまたは複数のセンサに関連付けられたデータをＡＲデバイスに送信することとをさらに含むことができる。

【0501】

態様１８２．態様１０２から１３１のいずれか、および／または態様１３５から１６５のいずれかに記載の方法をさらに含む、態様１８１に記載の方法。

【0502】

態様１８３．装置であって、メモリと、メモリに結合された１つまたは複数のプロセッサと、を備え、１つまたは複数のプロセッサが、態様１８１または１８２に記載の方法を実行するように構成される、装置。

【0503】

態様１８４．態様１８１または１８２に記載の方法を実行する手段を備える装置。

【0504】

態様１８５．１つまたは複数のプロセッサによって実行されたとき、１つまたは複数のプロセッサに態様１８１または１８２に記載の方法を実施させる命令を記憶した非一時的コンピュータ可読媒体。

【0505】

態様１８６．方法であって、車両のコンピュータシステムに接続された拡張現実（ＡＲ）デバイスから要求を受信することと、要求に応答して、車両の１つまたは複数のセンサに関連付けられたデータをＡＲデバイスに送信することとを含む、方法。追加または代替として、方法は、車両の乗員に関連付けられたモバイルデバイスから、車両の座標系に対する乗員の姿勢を受信することと、車両の座標系に対する乗員の姿勢に基づいて、車両の１つまたは複数の機能を制御することとをさらに含むことができる。

【0506】

態様１８７．態様１０２から１３１のいずれか、および／または態様１３５から１６５のいずれかに記載の方法をさらに含む、態様１８６に記載の方法。

【0507】

態様１８３．装置であって、メモリと、メモリに結合された１つまたは複数のプロセッサと、を備え、１つまたは複数のプロセッサが、態様１８６または１８７に記載の方法を実行するように構成される、装置。

【0508】

態様１８４．態様１８６または１８７に記載の方法を実行する手段を備える装置。

【0509】

態様１８５．１つまたは複数のプロセッサによって実行されたとき、１つまたは複数のプロセッサに態様１８６または１８７に記載の方法を実施させる命令を記憶した非一時的コンピュータ可読媒体。

【図1】

【図2】

【図3】

【図4A】

【図4B】

【図5】

【図6A】

【図6B】

【図6C】

【図6D】

【図6E】

【図7A】

【図7B】

【図7C】

【図7D】

【図7E】

【図7F】

【図7G】

【図7H】

【図7I】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】

【図15】

【国際調査報告】